博弈硬生生刷出来的。
专门挑选数学证明和代码生成这类具备明确客观真值（ground truth）的任务，模型推导对了就给高维奖励信号，错了就切断反向传播。
成千上万轮的ppo策略迭代下来，模型自己就涌现出了极为恐怖的试错与纠偏本能。
台上直接甩出了一张test-time compute（测试时算力）的对数曲线。
同一套基座权重只要允许模型在推理阶段多消耗十倍的token进行内部演算，hard级别任务的准确率直接顺着曲线呈现指数级爬升。
报告还没讲完，台下已经是一片低低的议论声。
李东坐在水木的队伍中间，心里微微一动。
数学，恰恰就是这世上提供最优验证奖励反馈的终极数据集。
第二场的oral是来自普林斯顿和卡内基梅隆的一支联合团队，讲的是一种颠覆性的非transformer底层架构。
他们拿状态空间模型做线性递归，时间复杂度从平方砍到线性，百万token一口气吞下去，显存都不怎麽涨。
台下搞理论的当场就杠上了，两边谁也说服不了谁。
至於最後一场，gemini那边一位研究员讲的是世界模型。
他们不喂文本，直接喂视频，逼模型自己学会物理。
练到最後，给模型一张图就能凭空生出一个三维世界。
一上午听下来，李东心里大致也有了数
国外这几家卡在scaling law最前沿的巨头，早就跳出了单纯堆积参数量和清洗语料的低效内卷区，一个个全在底层范式上变道。
比的不再是谁的万卡集群规模更大，而是谁先在架构和推理机制上完成破局。
这些学术直觉，确实敏锐到了极点。
反观国内，多数厂家还在旧的红海路线里跟进。
猛灌通用指令微调，卷参数规模，刷榜单的分数，卷b端落地商业化。
报告也多半集中在分布式训练的通信优化或者显存切分等工程trick上。
不过……
当然也是不是全，也有一些国内团队搞出了一些不一样的东西。
有两篇做长序列高效kv cache稀疏化的，还有一篇用大模型反向生成高质量合成数据做自我蒸馏的，思路一样惊艳，台下举手要论文源码的人一样很多。
更有意思的
本章未完，请点击下一页继续阅读！