第258章 怎么总感觉是在给自己挖坑呢（第二更！） (第2/2页)

忘了这主人有多狗。
　　
　　自己给自己找活吗不是？
　　
　　有这时间我多看几集山海经赤影传说多好。
　　
　　娜扎好美啊，和热葩一样美。
　　
　　爱了爱了。
　　
　　就是那个心月狐太能装逼了，比狗主人都能装。
　　
　　“主人，臣妾做不到啊，真的做不到啊。”柚子哭天抢地。
　　
　　“现在的柚子架构下，M60只能有11%左右的算力是能够应用在橘子大模型上的，这还是我修改了核心指令的情况下才发挥出来的性能，否则利用率连8%都没有啊。”
　　
　　只能应用11%的算力？怎么会这么低？看负载挺高的啊。
　　
　　“不信你看看，主人，这是我之前做的分析。”柚子刷的通过埃瑟朗之核扔过来一页报告。
　　
　　“负载高不代表有效利用率高，M60中大量的计算单元柚子架构都不需要，也用不到，此前我通过改写核心指令，已经将M60对柚子架构的适用提升到了最高，再高一点也没法做到了。”
　　
　　方豫仔细一看，还真是。
　　
　　英伟达毕竟是一家显卡公司，做出的计算卡仍旧集成了大量的图形处理功能。
　　
　　纹理单元、光栅化单元、几何处理单元、渲染输出单元、混合抗锯齿单元……这些单元一个不差的都被保留了下来。
　　
　　但这些单元大部分的功能柚子框架都不需要。
　　
　　英伟达也真踏马奇葩，我要你这M60就是用来做简单计算的，你给我这么多显卡功能干什么？
　　
　　谁用M60打游戏啊。
　　
　　“也不能这么说，这些单元虽然柚子框架不需要，但很多其他的计算模型都需要，比如GaNs对抗网络，在对抗中生成图片时，如果有纹理单元，那么生成的速度就会更快。”
　　
　　“我能够把利用率提高到11%已经是极限了，哪怕英伟达的工程师亲自调试，也不过高于9.1%。”
　　
　　“没办法，毕竟英伟达的芯片不是为柚子框架特意准备的，必须适用所有的模型才可以。”
　　
　　柚子抓紧一切时机表功。
　　
　　方豫点了点头，刚要说什么，但听到柚子这最后一句话，突然好像错过了什么。
　　
　　“你刚才说什么？”方豫急切地问柚子。
　　
　　柚子语气懵懵的：“我说英伟达的芯片必须适用所有模型啊。”
　　
　　“不是这句，上一句！”
　　
　　“英伟达的芯片不是为柚子框架特意准备的？”柚子小心翼翼的试探问道。
　　
　　莫名其妙的，它感觉有点心慌。
　　
　　怎么总感觉是在给自己挖坑呢？
　　
　　“对！就是这句！”方豫猛地拍了下手，把旁边还在看pad的华泽成吓了一跳。
　　
　　“没事没事，想起来件重要的事。”方豫笑着拍了拍华泽成的大腿，在意识中继续和柚子沟通。
　　
　　“柚子，你现在搜集英伟达、AMD、英特尔、AMSL、瀛积电、ARM、高通的芯片技术资料，把它们都吃掉！”
　　
　　方豫毫不犹豫的通过埃瑟朗之核给柚子下了个指令。
　　
　　“啊？”柚子一下子就傻眼了，这得吃到什么时候去？
　　
　　就算现在我分身能够入侵到这些公司的内部服务器，想要把这些绝密资料不露痕迹的复制一份也得蚂蚁搬家式的一点一点倒腾啊。
　　
　　“这只是第一步。”方豫没理在埃瑟朗之核中拼命发哭脸表情的柚子，继续下指令。
　　
　　“吃掉他们的资料后，把它们的技术汇总一下，重修优化后，设计出一款只适用于柚子框架和橘子大模型的计算芯片出来！”
　　
　　汉宁公馆客厅里，柚子看着电视中的张悍瞬间觉得面目更可憎了。
　　
　　“主人，那这样的话，M60撤单不撤单？”柚子现在早学会了迂回沟通，“撤单的话，定金可就损失了。”
　　
　　方豫微微一笑：“不撤单，撤什么单，我又没说现在就要做芯片，你先把这款芯片设计搞出来再说。”
　　
　　软件+硬件，双管齐下，看来柚子架构注定是要一统江湖喽！
　　
　　近十年人工智能的发展，最重要的两个节点其实都是古狗引导的。
　　
　　第一个节点毫无疑问是deepmind的阿法狗，而第二个节点则是古狗大脑在2017年6月发的那篇惊世骇俗的论文《注意力是你需要的一切》（attentionisallyourneed）。
　　
　　在这篇论文中，古狗大脑的八位研究员，首次提出多头注意力机制在NPL上面的潜力。当时最原始的transformer模型仅仅只有100M，而这个模型，完全抛弃了循环神经网络（RNN）和卷积神经网络（CNN），取而代之的是完全不同的注意力机制以及编码器-解码器架构。
　　
　　值得注意的是，openAI中的伊利亚并不是这篇文章的作者之一的伊利亚波洛苏金。
　　
　　这篇文章在17年6月12日发布后，并没有第一时间造成很大影响，并且由于其难以收敛，并不比相对成熟的LSTM效率更高，因此在这个阶段，大部分研究者的视线并未投向注意力机制的transformer架构，这里也包括openAI。
　　
　　openAI在2018年年初，还在用LSTM进行训练，并且在Dota2里击败了人类。而仅仅几个月之后，openAI就发布了GPT-1。
　　
　　这说明，几个月的时间，足够制作一个大模型。