第307章 模型崩溃（4506） (第2/2页)

不用说橘子大模型，即使是柚子，生成的数据也不可能是百分之百完全正确的，虽然这些错误可能比人工数据要少，但错误的方式却缺乏多样性和复杂性。
　　
　　说白了，就是AI聪明的千篇一律，但人类却愚蠢的千奇百怪。
　　
　　但在种族传承的角度上来说，愚蠢的千奇百怪的人类，却比自己创造出比人类更聪明的AI具备更强的种族传承能力。
　　
　　窝草？这么一想，孟广康那种傻x，对人类文明的传承贡献还不小？
　　
　　差点把我的厌蠢症都治好了？
　　
　　重复使用这种数据进行训练，类似的错误会被大模型认为是真实，从而变成“思想钢印”，继续产出错误更多的内容。
　　
　　再用这些内容进行训练，就会产生“偏差-方差权衡”，也就是说，越大概率的内容被进一步强化，小概率的内容被不断忽视。
　　
　　越是下一代模型，损失的数据反而会越多。
　　
　　同时，因为大模型的特性，又会产生“函数近似误差”，大模型会把学的错误的东西也保留下来，一代代的积累，最终变成全部都是错误，从而丧失纠错能力。
　　
　　这种情况，确实和近亲繁殖所导致的近交衰退非常类似。
　　
　　从这个角度上看，AI大模型其实已经具备了一定的生物性。
　　
　　只不过这种生物种群过于单一，造成了近亲繁殖。
　　
　　这个问题目前还不算太紧迫，毕竟互联网上可以使用的原始数据非常多，无非就是加大数据组的投入，获取更多的原始数据，增加数据预处理人手和方式就能够解决。
　　
　　但从长远来看，不，不用太长远，AI的爆发一定是指数级的。可能两到三年后，互联网上可能超过百分之七十的数据就都是AI所生成的，而人类几乎无法区分这究竟是AI生成的数据还是真实的人工数据。
　　
　　那时候，AI大模型不管参数有多庞大，可能都会面临由于训练数据被AI生成数据污染，而造成性能下降或崩溃。
　　
　　“三十万亿。”方豫快速的估算出了一个数字。
　　
　　？？？
　　
　　几个组长都是一脸问号。
　　
　　“互联网上现存的有效数据，大概能支撑橘子大模型到三十万亿参数的规模，在此之后，就必然会受到近亲繁殖的影响。”
　　
　　方豫指了指显示器上的数据。
　　
　　三十万亿，还好还好，现在目前正在训练的橘子大模型不过一万五千亿参数，已经开始初步具备强人工智能的雏形。
　　
　　三十万亿的大模型，肯定已经实现超级人工智能，那时候，AI生成数据多样性的问题应该已经能找出解决方案了。
　　
　　那就没什么问题了。
　　
　　几个组长都松了一口气。
　　
　　没什么问题了吗？
　　
　　方豫目光闪动。
　　
　　就算是橘子大模型实现超级人工智能，只要多样性问题不解决，一样也会有这个问题。
　　
　　即使使用各种技术手段尽量提升AI数据的复杂性，最后不会造成模型崩溃，这个大模型也注定无法承载自己的愿景。
　　
　　之前参考“神之模型”所产生的一些想法，倒是正好可以解决这个问题……
　　
　　不过，在此之前，还是要先把搜索引擎这一块吃下去。
　　
　　吃掉搜索引擎，才能拥有足够的数据资源，支撑橘子大模型进化为超级人工智能。
　　
　　只有橘子大模型进化至超级人工智能后，参考“神之模型”所生成的第二代模型，才能真正具备用武之地。
　　
　　“舒窈，通知‘Y’项目组，五分钟之后，我要听“Y”项目的进度汇报。”
　　
　　方豫看了看时间，已经下午四点，再有半个小时，应该海西邑相关头头就会带着马斯克来公司了，正好够开个会的。
　　
　　晚上十一点还得去趟新镐，和大蜜蜜还有热葩叙叙旧，最近千寻给她们施加了不少压力，得过去帮她们解解压。
　　
　　正好明天上午在新镐把外公介绍人见一下，外公介绍的应该靠谱，但还是要先见一下再说。
　　
　　明天中午还得去趟洛圣都，斯嘉丽去了中土国拍攻壳机动队，肯豆倒是挺矜持，只是iMessage骚扰，她那个闺蜜吉吉哈迪德反倒是一个劲儿的发snapchat挑衅。
　　
　　必须去教训一下！——
　　
　　“这次“击剑门”丑闻对两派都是一次打击，不过对川宝的打击更大，卡尔罗夫甚至认为恭贺派应该召开全国委员会，取消川宝的参选资格。”
　　
　　马斯克一边打电话，一边给spacex各个员工发邮件，而电话那边，则是他的幕僚长萨姆泰勒在和他说目前迈国国内的情况。
　　
　　对于他这种级别的商人来说，无论是否讨厌郑智，也必须要关心郑智。
　　
　　“很难，至少需要三分之二的委员投票同意，这几乎是不可能的，看来这次希拉蕊赢定了。”马斯克手指在电脑上敲得飞快。
　　
　　“‘击剑门’爆发的太晚，印第安纳州初选丑闻第二天就已经计票结束了，虽然还没有召开全国大会获得党派提名，但川宝已经提前锁定了提名票数。”
　　
　　“如果这时候逼迫川宝退出选举，恭贺派极有可能会造成派系分裂，无论是保罗瑞安还是米奇麦康奈尔，即使他们不支持川宝，也不会冒着派系分裂的风险推动更换提名。当然，前提是川宝一家需要立刻与贾瑞德库斯纳切割，但这样一来，裘德财团必然会全力支持希拉蕊。”
　　
　　“你说的对，埃隆。目前普遍都在猜测，伊凡卡可能会在这几天宣布与贾瑞德库斯纳离婚，进行切割，摆出受害者姿态。不过那个视频中贾瑞德说川宝一家就是暴发户，伊凡卡和他结婚就是为了获取裘德财团支持，对川宝仍旧会造成非常大的打击。”
　　
　　“老板，已经开始降落了，还有五分钟进入三千米以下高度，飞机上的wifi就要关闭了。”
　　
　　马斯克的机长在机舱中使用扬声器通知马斯克。
　　
　　“你听到了，萨姆，我先断线了，保持联系。”
　　
　　“好吧，埃隆，其实这一次我去也是一样的，没必要你亲自跑一趟。”
　　
　　“不，这一次我一定要亲眼看一下这家柚子科技。”埃隆马斯克摇摇头，“这一个月里，至少已经诞生了一万款AI应用，百分之五十都是调用了橘子大模型的API接口，其他的用的也是开源的橘子大模型，而且这个数字还在继续上涨。”
　　
　　“我可以确信，现在已经开始正式运营的三千亿参数Juzi2.5并不是全部，他们现在内部即有可能已经有了一万亿甚至更多参数的大模型。”
　　
　　“我必须亲眼看一下，他们的到底已经达到了什么样的进度。”
　　
　　马斯克切断通话，透过舷窗向下望去。
　　
　　云层很厚，什么都看不见。