Deepgram 将 Nova-3 移植至 Trainium2 的推理优化

Deepgram 与 AWS FDE 团队合作，将 Nova-3 语音转文字模型移植到 AWS Trainium2，并完成内核级调优与数据并行 Rust 运行时改造，使 Deepgram 自有模型服务器可直接调用 Trainium。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。 据双方称，在 Deepgram 面向吞吐的离线批处理场景（如联络中心分析、医疗转写）中，按评估时的实例价格计算，该配置每美元处理的音频量比 Deepgram 原有算力方案高 11%–70%。这一结果仅对应上述批处理负载和当时的定价。 双方表示，这些收益也可能惠及在自有 VPC 的 Amazon SageMaker AI 上自托管 Deepgram 模型的客户。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。