大模型推理
已经进入搜索、办公、客服等日常使用,成本和速度仍在快速变化。
推理,指的是模型训练完之后,每次有人提问、模型给出回答的那个过程。训练是一次性的大投入,推理是每天都在发生的持续开销。用户越多、对话越长,推理要花的算力就越多,所以现在多数大模型公司的成本压力,落在推理上。
推理为什么贵,主要卡在三处:一是显存和带宽,模型参数和对话中间状态(KV 缓存)都要放在显存里反复读取;二是延迟,用户要的是边生成边显示,不能等;三是批处理,同一张卡同时服务的人越多,单次成本越低,但每个人等得越久。围绕这三处,行业的做法包括:量化(用更低精度存参数)、投机解码、把长对话的缓存拆到多张卡上,以及专为推理设计的芯片。
产业分三层:做模型的公司(OpenAI、Anthropic、谷歌,以及国内的阿里、智谱、MiniMax、月之暗面等)、专门卖推理服务的云公司(如 Fireworks AI),以及底下的芯片和服务器(英伟达是主导者,国内有寒武纪、海光等)。价格方面,同等能力的模型每百万 token 的调用价在过去两年持续下降,但最强的新模型往往仍然贵,所以账单没有明显变轻。
最新进展
- 月之暗面发布 Kimi K3:据公司发布和媒体报道,具体参数、价格和是否开放权重,以公司官网为准。
- 推理云 Fireworks AI 完成 D 轮融资:据媒体报道,融资规模约 15 亿美元,用于扩充推理算力。金额以公司公告为准。
- OpenAI 完成新一轮融资:据报道金额约 1220 亿美元,投资方包括亚马逊、英伟达、软银等;其中很大一部分将用于算力。
- 智谱、MiniMax 先后在港交所上市:两家国内大模型公司相继登陆港交所。
全球头部公司
- OpenAI(美国,模型与应用公司):GPT 系列、ChatGPT
- Fireworks AI(美国,专门的推理云服务):开放模型的低延迟调用
- 英伟达(美国,算力芯片):GPU 加速卡与推理软件
- 浪潮信息(中国,服务器整机):AI 服务器
- Anthropic(美国,模型与应用公司):Claude 系列
- 寒武纪(中国,算力芯片):AI 加速芯片
- 中科曙光(中国,服务器整机):AI 服务器与液冷
- 谷歌(含 DeepMind)(美国,模型与应用公司):Gemini、自研 TPU
- 海光信息(中国,算力芯片):深算系列加速卡与 x86 CPU
- 阿里巴巴(通义千问)(中国,模型与应用公司):通义千问(Qwen)与阿里云
- 智谱(中国,模型与应用公司):GLM 系列
- MiniMax(中国,模型与应用公司):多模态模型与应用
- 月之暗面(Kimi)(中国,模型与应用公司):Kimi 系列
本页仅整理公开信息,不含估值与投资评级,不构成任何投资建议。