产品概述
Captum 是一个基于 PyTorch 构建的综合模型可解释性库，旨在帮助研究人员和开发者分析哪些特征、概念或训练示例影响了模型预测。它支持广泛的 PyTorch 模型和包括视觉、文本和音频在内的多种模态。Captum 提供最先进的归因算法，如集成梯度和基于概念的方法（如TCAV），以及通过对抗攻击和扰动检测漏洞的鲁棒性工具。其可扩展设计有助于研究和实用故障排除，以提高模型透明度和可靠性。
主要功能
| 多模态可解释性 | 支持解释处理图像、文本、音频等模型，具有广泛的适用性。 |
| 丰富的归因方法 | 包含集成梯度（Integrated Gradients）、显著性图（Saliency Maps）、TCAV和分层相关传播（Layer-wise Relevance Propagation）等算法，用于详细的特征和概念分析。 |
| 鲁棒性和对抗工具 | 提供快速梯度符号法（fast-gradient sign method）和投影梯度下降（projected-gradient descent）等指标和攻击方法，用于评估和提高模型鲁棒性。 |
| 无缝 PyTorch 集成 | 与大多数 PyTorch 模型兼容，仅需少量修改，包括那些使用 torchvision 和 torchtext 构建的模型。 |
| 开源且可扩展 | 允许研究人员在库中轻松实现新的可解释性算法并进行基准测试。 |
使用场景
- 模型调试和改进：识别影响预测的关键特征和概念，以完善和排查模型问题。
- 可解释性研究：在各种模型类型和数据模态中开发和基准测试新的可解释性算法。
- 公平性和偏见分析：使用基于概念的方法（如TCAV）来检测和评估模型中与敏感属性相关的偏见。
- 生产模型监控：提高已部署模型的透明度，帮助排查问题并向最终用户解释输出结果。