微软研究院底下有个组叫 AI Frontiers,人不多,满打满算五十号。2023 年 ChatGPT 出来之后建的,初衷挺朴素:那会儿大家都看出来,一个人再聪明,跑得也慢,基线凑不齐,好想法出来也晚,说服不了人。所以干脆攒一个组,把研究往一块儿拧。作者自己说,这既不是自上而下,也不是自下而上,多半是卡在中间那团乱麻里。
他们干出来的东西,名字听着都挺硬:Autogen,一个编排智能体的框架;Fara,一个能操作电脑的 agent。纽约那边几个人另走一路,搞的是底层的活儿——一个叫 Next Latent 的目标函数,说是能让模型外推;Dion3,把 Muon 优化器改了一版;还有 Full Bandwidth Transformer,靠递归把模型能力往上抬。听着零碎,其实是一件事:让 agent 真能跑起来。
还有个细节我觉得挺有意思。他们搞了个 monorepo,默认对全微软研究院开放,里面放着那套已经验证过的边缘规模预训练代码。作者说这好像是件小事,其实不是——他说他至少知道有四个团队在各自造模型流水线,另外三个还没公开。四个团队,重复造同一根管子。
九月初,这个组被并进了 Microsoft AI。表面看挺合理,两个 AI 部门合一块儿,力量集中。但作者说实际麻烦不小:MAI 那边是 Inflection 出来的班底,信的是 scaling,而且是很坚决地不信研究。这话搁一般人听着刺耳,可人家有账算——模型大就是好,从生意角度看,规模带来的回报比研究带来的回报可预测得多。
所以一个五十人的组,做的是探索性的活,被并进一个信规模的体系里。作者没把话说死,但意思在那儿摆着。