产品概述
Relari AI 是一款先进平台，旨在提升生成式AI系统的可靠性与健壮性。开发者可通过自然语言合约明确智能体预期行为，生成丰富的合成测试数据集，并进行全面模块化评测。平台支持持续评估与监控，帮助在AI开发周期早期发现并解决问题，加快迭代，助力金融、企业搜索、合规等关键场景下的AI智能体安全部署。
主要功能
| 基于合约的开发 | 使用自然语言合约，协作定义并验证AI智能体在多种场景下的行为，确保预期结果的清晰与一致。 |
| 合成数据生成 | 创建大规模、定制化的合成数据集，用于模拟用户行为并对AI智能体进行压力测试，覆盖真实数据中常见的边缘情况。 |
| 模块化评测框架 | 利用开源框架，提供30+指标，支持文本生成、代码生成、检索、分类及智能体性能的评估。 |
| 全面追踪分析 | 通过详细的追踪分析，快速洞察AI智能体任务执行过程，助力问题的快速定位与解决。 |
| 持续监控与反馈闭环 | 集成用户反馈与生产数据，训练与人工判断一致的自定义评估器，持续提升AI系统表现。 |
使用场景
- AI智能体测试与验证：在部署前系统性测试和认证AI智能体行为，确保其在复杂真实场景下的可靠性。
- 合成数据集创建：生成多样化的合成数据集，扩大测试覆盖范围，模拟多种用户意图和交互模式。
- 根因分析：通过模块化评测和详细指标，定位AI流程中的性能问题及参数权衡。
- 加速AI开发：利用合成数据和自动化评测，加快迭代速度，快速验证改进效果。
- 生成式AI系统压力测试：在极端及边缘场景下评估AI模型，确保其在上线前具备足够的鲁棒性。