DeepSeek 开源生产级推理框架 DeepInfer

宣布全面开源内部推理框架，在此前已开源大模型、TileLang编译工具及推理算子库。DeepInfer集成高性能算子与优化引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与昇腾，已支撑高吞吐低延迟服务；并同步开源deepseek-recipe编解码组件。 更多详情...