产品概述
Not Diamond是一款先进的AI路由平台，将多种大型语言模型整合为元模型，能够根据输入动态选择最合适的LLM。在主要基准测试中始终调用表现最优的模型，最大化输出质量，并通过智能路由实现成本与延迟的灵活权衡。用户可通过实时反馈实现个性化路由，也可基于自身数据集训练定制化路由器，并通过Python、TypeScript或REST API无缝集成。Not Diamond作为推荐引擎运行，而非代理，支持客户端发起LLM请求，增强数据隐私与灵活性。
主要功能
| 智能模型路由 | 通过基于大量评测数据训练的元模型，自动判断并调用每个提示词最合适的LLM。 |
| 成本与延迟优化 | 支持灵活配置权衡，在不影响输出质量的前提下，优先使用更小、更经济的模型。 |
| 自定义路由器训练 | 允许用户上传评测数据集，快速生成针对特定场景优化的路由器。 |
| 基于反馈的个性化路由 | 根据个人用户反馈实时调整路由决策，提升模型选择的准确性。 |
| 灵活集成 | 支持Python、TypeScript及REST API，便于集成到多种开发环境。 |
| 注重隐私的架构设计 | 非代理架构，所有LLM请求均在客户端发起，支持私有化部署及模糊哈希保障数据安全。 |
使用场景
- 提升AI应用开发：开发者和初创企业可通过动态选择最佳模型，提升AI输出质量与效率。
- 高性价比AI扩展：企业可将简单请求路由到成本更低的模型，在保证质量的同时降低运营成本。
- 定制化AI解决方案：组织可基于自身数据集训练路由器，使AI响应更加贴合行业需求。
- 个性化用户体验：平台可根据用户偏好和反馈，动态调整AI响应，提升相关性。
- 安全的AI集成：企业可在客户端管理LLM调用，保障数据隐私，同时享受智能路由带来的优势。