Groq 是 OPC 运行开源 LLM 最快的平台——800+ tokens/s 推理速度、OpenAI SDK 兼容、每天数百万免费 tokens。最适合实时语音、批量数据标注等对延迟极度敏感的场景。但它不托管闭源模型（Claude/GPT），模型可用性不稳定，且没有 fine-tuning。把它作为你 OPC 产品的「快车道」而非唯一 LLM 依赖。
以自研 LPU（语言处理单元）硬件加速 AI 推理的平台，提供业界最快的 token 生成速度。免费层慷慨且无限速，支持 Llama、Mistral、DeepSeek 等主流开源模型。独立开发者的终极选择——免费、极速、简单。
Groq 不训练自己的模型——它只托管第三方开源模型。模型可能随时被更新、替换或下架（取决于上游）。如果你的产品依赖特定模型版本，在 prompt 中硬测试并定期监控输出质量变化。
虽然免费 tokens 多，但并发请求数限制严格（通常 30 RPM）。如果你的 OPC 产品有多个用户同时使用，免费层会在流量峰值时返回 429。付费层可提升到 600+ RPM。
Groq 的架构优势是速度而非容量。虽然支持 128K 上下文，但超过 32K 后推理速度显著下降。长篇文档分析、代码库 review 等需求建议用 Anthropic API 或 DeepSeek（直接调用）。
Groq 目前只做 inference，不支持模型微调、embeddings 生成、或 function calling 的高级变体。如果你的 OPC 需要 fine-tune 一个模型或做语义搜索，需额外集成其他服务。
Groq 托管的是 Llama 3 蒸馏版 DeepSeek R1，不是 DeepSeek 自研的 671B MoE 原版。蒸馏版的推理质量有 5-15% 的差异。如果需要最强的开源推理模型，直接用 DeepSeek 官方 API。
| The Verge - Groq LPU AI 芯片深度报道 | 文章 | - |
