产品概述
GMI Cloud是一个AI原生云平台，专为生产AI推理和训练而构建。它提供统一的技术栈，涵盖serverless推理、基于Kubernetes的集群编排和裸机GPU计算——全部基于NVIDIA H100、H200和即将推出的Blackwell GPU。该平台旨在消除超大规模云提供商的典型开销，恢复因虚拟化而损失的10-15%GPU性能，同时提供透明的按需付费定价，无配额或长期承诺限制。作为NVIDIA云合作伙伴，GMI Cloud提供对尖端GPU硬件的优先访问，具备企业级安全性和覆盖美国、欧盟和亚太地区的全球可用性。
主要功能
| Serverless推理引擎 | 即时部署AI模型，具备自动扩缩容、内置请求批处理和延迟感知调度功能——包括缩放至零以消除空闲成本。 |
| 专用GPU集群引擎 | 基于Kubernetes的编排环境，用于管理可扩展的GPU工作负载，具备实时监控、容器管理和安全的多租户隔离功能。 |
| 高性能GPU计算 | 按需访问配备InfiniBand网络的NVIDIA H100和H200 GPU，提供接近裸机的性能，无配额限制，无等待队列。 |
| 按请求推理定价 | 100+预部署模型，按请求计费，费用从$0.000001到$0.50/请求不等，无需长期合同即可实现成本高效的推理。 |
| 企业级安全与合规 | 部署在Tier-4数据中心，具备SOC 2 Type 1和ISO 27001:2022认证，确保高可用性、数据安全和监管合规。 |
使用场景
- 实时LLM服务：运行Llama或DeepSeek等开源模型的团队可以通过推理引擎以超低延迟提供服务，并自动进行流量扩缩容。
- 大规模AI训练：研究和工程团队可以在多节点GPU集群上运行分布式训练作业，配备RDMA就绪的InfiniBand网络以实现最大吞吐量。
- AI初创企业基础设施：早期团队可以从零前期成本的serverless开始，然后随着生产工作负载的增长迁移到专用GPU基础设施——无需重新架构。
- 企业AI部署：需要可预测性能、合规性和成本控制的企业可以利用专用裸机GPU，享受基于承诺的定价折扣。
- 多模态模型推理：生产就绪的API支持LLM和多模态模型部署，涵盖从文本生成到视觉任务的广泛推理工作负载。