大语言模型的进化是否进入瓶颈期？

最近AI圈关于大语言模型改进的调整——ScalingLaw（可扩展性法则）是否触底的话题引发热议。像OpenAI、Google、An-thropic这样的行业领跑者似乎都面临这样的问题，算力和数据的投入越来越多，但是效果的提升并没有成正比，甚至不得不推迟计算下一代模型的发布时间。

“AI革命”：ChatGPT引领的生成式智能技术浪潮

自ChatGPT问世以来，生成式人工智能技术的倡导者们就深信不疑：随着科技巨头持续向AI模型输入庞大数据集，并伴随着计算能力迅猛增强，生成式AI的进步将以指数速度加快，实现接近人类智能水平的通用AI似乎近在咫尺。

据悉，由OpenAI推出的ChatGPT应用，领跑全球AI应用市场，下载量超过1.6亿次，收入近2.3亿美元，月活跃用户超过1.9亿人；快手可灵文生视频App，已经历十余次更新，已经可生成时长10秒的视频内容；字节跳动推出Gauth（AI教育工具）、Cici……随着技术的突破与应用场景的拓展，“AI+”给各行业各领域注入发展驱动力，大模型这股风迅速席卷全球，快速重塑各行各业。此前，IDC发布《中国智算服务市场跟踪》报告显示，2024上半年中国智算服务整体市场同比增长79.6%，市场规模达到146.1亿元人民币。

担任公司品牌设计的张少杰女士向记者透露，“日常工作已经离不开AI的协助了，目前生成图像和文案的速度已经非常快了，极大地丰富了我的设计灵感，提高了工作效率。”针对个人用户，AIGC技术已经满足了日常生活、办公的需求，涵盖了如社交、游戏、教育和内容创作等多个场景。

传统训练模式的瓶颈逐渐显现？

生成式AI的发展，是否真的会遵循我们所设想的“蓝图”发展呢？在12月中旬的NeurIPS2024会上，OpenAI联合创始人IlyaSu-tskever抛出了一个非常犀利的观点：预训练时代即将结束。Ilya表示，深度学习之所以成功，要归功于“规模假设”，即利用非常大的数据集来训练一个足够大的神经网络，只需要大力出奇迹，成功就“几乎可以预见”，这一暴力法则也被称为“Scalinglaw”。

而今，ScalingLaw似乎正遭遇危机。Ilya认为，当前提升计算能力的速度已经超过了可用于AI模型训练的总量，数据增长已接近瓶颈，“当前仍然可以使用现有数据进行训练，但趋势终将放缓，预训练时代也会逐步结束”。

不仅如此，据海外媒体报道，越来越多的从业者正在重新评估“Scalinglaw”的有效性和局限性。例如，投资了OpenAI的A16Z联合创始人Marc An-dreessen在播客中表示，目前AI模型似乎正在趋于同一能力上限。AI公司Anyscale联合创始人RobertNishihara则更为直接：“如果你只是投入更多计算，投入更多数据，那么模型就会变得更大——收益会递减。”

算力“战争”仍在继续

方式在悄然改变

行业策略正在经历转变。ScalingLaw不一定意味着达到极限，而是发现了更高效的途径。《人工智能应用通俗指南》作者林大兵表示：“在过去，我们拼的是基础模型的预训练，通过‘堆算力’‘喂数据’，实现更大更强更智能。现在，研究人员开始把重心转移到模型训练的后期训练和推理阶段。”不再需要从零开始构建一个更庞大的模型，而是在现有模型的基础上进行调整和优化，这样不仅提升了效率，也改善了效果。

实际上，OpenAI在9月份推出的推理模型o1已经展示了这一趋势，它展现出的推理能力更强，可达理科博士生水准，其特点就是会在回答之前花更多时间进行思考，就像人类思考解决问题的过程一样。这表明AI领域的竞争已经从比谁的模型更大转向了比谁用的更巧。

此外，作为AI算力领域的领导者，英伟达也持积极态度。其CEO黄仁勋明确指出，基础模型预训练仍有其价值，后期训练和推理阶段是扩展的新途径，并且对算力的需求还在疯狂增长中。

在12月26日，探索通用人工智能（AGI）本质的DeepSeekAI公司开源了最新的混合专家（MoE）语言模型DeepSeek-V3-Base。业内评价，超越Claude3.5紧追o1，DeepSeek新模型的编程能力暴增近31％。

众多纷纷网友表示，Claude终于迎来了真正强劲的对手，甚至在一定程度上DeepSeek-V3可以取代Claude3.5。还有人感叹道，开源模型继续以惊人的速度追赶SOTA，没有放缓的迹象，各种新奇的架构、范式、方法被发现，推动着AI向更高的维度进阶。 华商报大风新闻记者 胡宇宁