大模型推理

已经进入搜索、办公、客服等日常使用,成本和速度仍在快速变化。

推理,指的是模型训练完之后,每次有人提问、模型给出回答的那个过程。训练是一次性的大投入,推理是每天都在发生的持续开销。用户越多、对话越长,推理要花的算力就越多,所以现在多数大模型公司的成本压力,落在推理上。

推理为什么贵,主要卡在三处:一是显存和带宽,模型参数和对话中间状态(KV 缓存)都要放在显存里反复读取;二是延迟,用户要的是边生成边显示,不能等;三是批处理,同一张卡同时服务的人越多,单次成本越低,但每个人等得越久。围绕这三处,行业的做法包括:量化(用更低精度存参数)、投机解码、把长对话的缓存拆到多张卡上,以及专为推理设计的芯片。

产业分三层:做模型的公司(OpenAI、Anthropic、谷歌,以及国内的阿里、智谱、MiniMax、月之暗面等)、专门卖推理服务的云公司(如 Fireworks AI),以及底下的芯片和服务器(英伟达是主导者,国内有寒武纪、海光等)。价格方面,同等能力的模型每百万 token 的调用价在过去两年持续下降,但最强的新模型往往仍然贵,所以账单没有明显变轻。

最新进展

全球头部公司

本页仅整理公开信息,不含估值与投资评级,不构成任何投资建议。