### [TrueFoundry](https://dkwy.com/link/19527)

**Published:** 2026-05-06T10:51:59

**Author:** 蛋壳

**Excerpt:** TrueFoundry是一个Kubernetes原生的企业级平台，专为构建和管理生产级Agent AI系统的团…

## 产品概述

TrueFoundry是一个Kubernetes原生的企业级平台，专为构建和管理生产级Agent AI系统的团队设计。它提供统一的控制平面，结合了用于路由和治理的高级AI网关、用于LLM和Agent的灵活部署层，以及企业级基础设施管理。该平台使组织能够在任何云或本地环境中无缝编排复杂的AI工作流，同时保持严格的安全、合规和成本控制。TrueFoundry的架构消除了基础设施复杂性，让ML团队专注于创新而非DevOps问题。

## 主要功能

|     |     |
| --- | --- |
| **统一AI网关** | 集中控制平面，连接1000+模型和MCP服务器，具备智能路由、故障转移功能和OpenAI兼容API。整合多个LLM提供商的访问，同时在一个地方执行治理策略。 |
| **Agent编排与部署** | 框架无关的部署，支持LangGraph、CrewAI、AutoGen和自定义Agent。管理Agent记忆、工具编排、行动规划和模型控制协议(MCP)服务器配置，用于复杂的多步骤工作流。 |
| **全面的可观测性与追踪** | 从提示执行到GPU性能的框架无关追踪。与OpenTelemetry集成，无缝连接Grafana、Datadog和Prometheus，提供Agent行为和基础设施指标的完整可见性。 |
| **成本与治理控制** | 实时策略执行，包括速率限制、基于令牌的配额、成本预算和细粒度RBAC。不可变审计日志和符合合规要求的架构，支持SOC 2、HIPAA和GDPR标准。 |
| **多模型托管与微调** | 使用vLLM、TGI或Triton等优化后端部署任何LLM或嵌入模型。在自定义数据上启动微调任务，跟踪实验，并无缝将更新的检查点推广到生产环境。 |
| **自动化基础设施优化** | GPU编排，具备自动扩缩容、分数GPU支持(NVIDIA MIG和时间切片)，以及基于实际需求的实时资源分配，在维持SLA的同时减少基础设施浪费。 |

## 使用场景

-   **企业级Agent编排：**为复杂业务流程大规模部署和治理自主Agent。TrueFoundry使团队能够在财富1000强公司中管理数千个Agent，具备完整的可追溯性和合规审计跟踪。
-   **多模型GenAI应用：**构建和服务同时利用多个LLM和专业模型的应用。基于延迟、成本或能力智能路由请求，具备自动故障转移机制以确保可靠性。
-   **RAG与Agent技术栈部署：**快速部署完整的检索增强生成技术栈，包括管道、向量数据库、API和用户界面。TrueFoundry通过集成可观测性简化复杂多组件AI系统的管理。
-   **模型微调与实验：**在专有数据上执行微调任务，同时跟踪实验结果。通过内置版本控制和部署自动化，将成功的模型从开发无缝过渡到生产。
-   **跨云AI基础设施：**在VPC、本地、混合和多云环境中保持一致运行，零供应商锁定。在利用统一治理和部署模式的同时保持完整的数据主权。



---