NVIDIA Dynamo是一款设计为高吞吐量低延迟的分布式推理框架，旨在为多节点分布式环境中生成式AI和推理模型提供高性能推理服务。Dynamo被设计为与具体推理引擎无关（支持TRT-LLM、vLLM、SGLang或其他推理引擎），并有效发挥大语言模型特定的功能。Dynamo通过Rust语言实现核心组件以提高性能，支持Python接口以提高可扩展性和快速迭代和生态构建。 NVIDIA Dynamo核心功能设计 Disaggregated prefill & decode inference Dynamo将…