产品概述
Opal是Google设计的一套工具，帮助开发者使用LLM构建更安全、更负责任的应用。集成到Google AI Studio和Vertex AI中，Opal提供可配置的安全过滤器和评估功能，在部署前和部署期间评估模型输出是否符合安全策略和质量基准。
主要功能
| 可配置安全过滤器 | 跨骚扰、仇恨言论和危险内容等类别自定义和调整安全过滤器，以符合应用需求。 |
| LLM安全评估 | 使用自动化评估工具评估模型在既定安全策略下的表现，识别潜在风险和漏洞。 |
| 交互式原型设计 | 在Google AI Studio游乐场中实时测试提示和安全配置，即时观察模型行为。 |
| Vertex AI集成 | 从Google AI Studio的原型设计无缝转移到生产规模部署，使用Vertex AI中集成的Opal工具。 |
| 质量和事实性检查 | 除了安全性，还可运行评估来测量模型响应的事实准确性和整体质量。 |
使用场景
- 发布前风险评估：开发者可以在推出新的基于LLM的功能或应用之前系统性地评估和减轻潜在安全风险。
- 负责任的AI治理：信任和安全团队可以使用共享的安全设置在不同应用中实施和执行一致的内容策略。
- 迭代模型调优：AI工程师可以测试提示或模型版本的变化如何影响安全性和质量，实现快速开发周期。
- 内容审核增强：使用安全过滤器作为第一道审核层，减少应用生成的有害内容量。