产品概述
FuriosaAI专注于下一代AI加速器，为企业和云环境中部署大型语言模型（LLM）和计算机视觉应用提供卓越的吞吐量和能源效率。其旗舰产品RNGD采用独特的张量收缩处理器架构，最大化计算和内存效率，实现低延迟、高吞吐量推理，同时降低功耗。该硬件与全面的软件栈紧密集成，包括编译器、运行时和性能分析工具，以优化现代数据中心基础设施中的模型部署和可扩展性。
主要功能
| 张量收缩处理器架构 | 创新的计算设计专注于张量收缩操作，与传统矩阵乘法方法相比，提供卓越的性能和能源效率。 |
| 高吞吐低功耗 | RNGD在LLaMA 3.1-8B模型上实现每秒超过3,200个token的处理速度，同时保持180W的功耗范围，支持风冷数据中心部署。 |
| 全面的软件栈 | 包含编译器、运行时、模型压缩器、性能分析器和服务框架，专为大型AI模型的无缝集成和优化而设计。 |
| 灵活部署和可扩展性 | 支持容器化、Kubernetes和虚拟化技术（如SR-IOV），实现高效资源利用和多租户隔离。 |
| 强大的生态系统兼容性 | 完全兼容流行的AI框架，如PyTorch 2.x，并支持常见模型格式，包括TensorFlow Lite和ONNX。 |
使用场景
- 大型语言模型推理：高效部署和运行最先进的LLM，为会话AI、聊天机器人和自然语言处理任务提供高吞吐量和低延迟。
- 计算机视觉应用：加速图像分类、目标检测、OCR和超分辨率的深度学习模型，具有高能效。
- 云和数据中心AI工作负载：通过支持容器编排和虚拟化，优化云环境中的AI推理工作负载，最大化硬件利用率。
- 多模态AI处理：在单一高效硬件平台上处理结合文本、图像和其他数据类型的多样化AI任务。