model-router · 个人

model-router（模型路由）是一种智能调度系统，能够根据每个请求的特点（任务复杂度、预算、延迟要求、输入长度等），实时动态地将请求路由到最合适的大语言模型。它不是一个单一的模型，而是一个位于多个模型之上的决策层，通过评估查询复杂度、成本和性能等因素，在保证高质量结果的同时最小化成本。典型实现如 Azure AI Foundry 的 Model Router，可在单一部署后接入 OpenAI、Anthropic、DeepSeek 等多家厂商的 18+ 模型。