### [LiteLLM](https://dkwy.com/)

**Published:** 2026-05-06T10:53:33

**Author:** 蛋壳

**Excerpt:** LiteLLM是一站式LLM网关解决方案，简化对OpenAI、Anthropic、Azure、Bedrock、VertexAI等100多种主流语言模型的接入。所有交互均采用OpenAI兼容格式，无需针对不同服务商单独开发。平台同时提供开源Python SDK和Proxy代理服务器（LLM Gateway），支持输入转换、统一输出格式、费用追踪、预算管理与回退等高级功能。Netflix、Lemonade、RocketMoney等知名企业已在使用LiteLLM，助力团队快速集成新模型，并实现全面监控与用量管理。

## 产品概述

LiteLLM是一站式LLM网关解决方案，简化对OpenAI、Anthropic、Azure、Bedrock、VertexAI等100多种主流语言模型的接入。所有交互均采用OpenAI兼容格式，无需针对不同服务商单独开发。平台同时提供开源Python SDK和Proxy代理服务器（LLM Gateway），支持输入转换、统一输出格式、费用追踪、预算管理与回退等高级功能。Netflix、Lemonade、RocketMoney等知名企业已在使用LiteLLM，助力团队快速集成新模型，并实现全面监控与用量管理。

## 主要功能

|     |     |
| --- | --- |
| **通用模型接入** | 通过统一的OpenAI兼容接口，标准化访问100多个主流提供商（包括OpenAI、Anthropic、Azure、Bedrock等）的LLM模型。 |
| **全面费用管理** | 内置追踪、预算和限流功能，可按项目、API密钥或模型进行灵活配置，帮助企业有效控制LLM成本。 |
| **强大可靠性保障** | 支持多LLM部署的高级重试与回退机制，即使主模型不可用也能保障应用稳定运行。 |
| **企业级可观测性** | 集成Prometheus、Langfuse、OpenTelemetry等主流工具，支持丰富日志和监控，并兼容云存储。 |
| **灵活部署方式** | 既可作为Python SDK直接集成，也可作为Proxy代理服务器用于组织级部署，并支持Docker容器化环境。 |

## 使用场景

-   **企业级LLM基础设施：**平台团队可为开发者提供受控的、开箱即用的最新LLM模型访问，同时实现对用量和成本的治理。
-   **多模型应用场景：**开发者可构建同时调用多种LLM的应用，无需为每个模型单独实现接入逻辑。
-   **成本优化AI系统：**企业可根据任务需求和预算，在高端与高性价比模型间智能路由，优化AI投入产出。
-   **高可用AI服务：**关键AI应用可通过自动回退机制，在主模型宕机时无缝切换至其他服务商，保障业务连续性。
-   **集中化LLM治理：**安全与合规团队可对所有LLM调用统一实施认证、日志和用量策略，提升组织管控能力。



---