产品概述
LiteLLM是一站式LLM网关解决方案，简化对OpenAI、Anthropic、Azure、Bedrock、VertexAI等100多种主流语言模型的接入。所有交互均采用OpenAI兼容格式，无需针对不同服务商单独开发。平台同时提供开源Python SDK和Proxy代理服务器（LLM Gateway），支持输入转换、统一输出格式、费用追踪、预算管理与回退等高级功能。Netflix、Lemonade、RocketMoney等知名企业已在使用LiteLLM，助力团队快速集成新模型，并实现全面监控与用量管理。
主要功能
| 通用模型接入 | 通过统一的OpenAI兼容接口，标准化访问100多个主流提供商（包括OpenAI、Anthropic、Azure、Bedrock等）的LLM模型。 |
| 全面费用管理 | 内置追踪、预算和限流功能，可按项目、API密钥或模型进行灵活配置，帮助企业有效控制LLM成本。 |
| 强大可靠性保障 | 支持多LLM部署的高级重试与回退机制，即使主模型不可用也能保障应用稳定运行。 |
| 企业级可观测性 | 集成Prometheus、Langfuse、OpenTelemetry等主流工具，支持丰富日志和监控，并兼容云存储。 |
| 灵活部署方式 | 既可作为Python SDK直接集成，也可作为Proxy代理服务器用于组织级部署，并支持Docker容器化环境。 |
使用场景
- 企业级LLM基础设施：平台团队可为开发者提供受控的、开箱即用的最新LLM模型访问，同时实现对用量和成本的治理。
- 多模型应用场景：开发者可构建同时调用多种LLM的应用，无需为每个模型单独实现接入逻辑。
- 成本优化AI系统：企业可根据任务需求和预算，在高端与高性价比模型间智能路由，优化AI投入产出。
- 高可用AI服务：关键AI应用可通过自动回退机制，在主模型宕机时无缝切换至其他服务商，保障业务连续性。
- 集中化LLM治理：安全与合规团队可对所有LLM调用统一实施认证、日志和用量策略，提升组织管控能力。