面对谷歌 TPU 的威胁，英伟达 CEO 老黄（黄仁勋）果断出手，斥资 200 亿美元联手热门芯片公司 Groq，以补齐 AI 推理环节的短板。知名投资人 Gavin Baker 指出，GPU 在推理场景中存在延迟瓶颈：prefill 阶段适合 GPU 并行处理，但 decode 阶段是串行任务，GPU 受限于 HBM 存储速度，算力常常闲置。
Groq LPU 芯片采用片上 SRAM 存储，速度比 GPU 快 100 倍，每秒可处理 300–500 个 token，满负荷运行下仍无瓶颈。但 LPU 内存容量仅 230MB，运行大型模型需要数百颗 LPU，相比 GPU 的高密度服务器占地更大，整体硬件投资依然巨大。
英伟达此举不仅是技术升级，更是战略布局：通过引入 Groq 的低延迟推理能力，抵御竞争者蚕食护城河，开拓 AI 应用层市场。TPU 的崛起揭示了 GPU 在推理场景的不足，而 Groq 的加入为英伟达在推理赛道提供了新动力。
