亚马逊云科技周一放了个工具出来,叫TorchNeuron。名字听着像个游戏引擎,其实是干一件特别具体的事:让用PyTorch写的AI应用,改一行配置,就能跑在亚马逊自家的Trainium芯片上。不用重写代码。
一行配置,这事儿小吗?不小。亚马逊自己说,大概85%的AI应用是用PyTorch写的。这玩意儿当年是Facebook做出来的,2022年归了Linux基金会管。也就是说,全世界绝大多数搞AI的人,敲的第一行代码大概率都在这套框架里。
问题就在这儿。英伟达这些年花了大力气,让它的CUDA软件跟PyTorch无缝对接——你要跑AI,你用PyTorch写,那你就顺理成章地跑在英伟达的卡上,几乎是默认的。这个默认值值多少钱,不用我说。亚马逊现在想干的事,就是在PyTorch这个入口上,把那个默认值给掰过来。
掰得动吗?其实亚马逊不是头一个。PyTorch的用户早就能改个配置把应用挪到AMD的卡上,甚至苹果的芯片上。亚马逊的说法是,挪到Trainium不光省事,你还能顺带用上它整个云。它负责芯片那位副总裁Brace话讲得挺直:你在AWS上建东西,不是押注一个只干一件事的算力提供商,然后手忙脚乱地自己搭别的。他还举了个例子,做AI语音的Deepgram挪到Trainium之后,同样一美元能多处理70%的音频。
Deepgram是ElevenLabs的竞争对手,这个例子挑得挺有讲究。不过那个70%是亚马逊自己说的,我没法验证。
真正有意思的是最后那半句,原文到这儿断了——亚马逊说它还在推动PyTorch变得不那么自动……不那么自动什么?没写完。我猜是想说不那么自动地往英伟达那边靠,但也只是猜。