Video2Game

Video2Game是一项技术，可以将单一视频转换成具有实时、互动、真实感和浏览器兼容性的高质量虚拟环境。它通过构建大规模的NeRF模型来实现高质量的表面几何形状，然后将该模型转换为带有对应刚体动力学的网格表示，以支持交互。使用UV映射的神经纹理，既能表达丰富，又与游戏引擎兼容。最终得到的是一个虚拟环境，虚拟角色可以与之互动，响应用户控制，并能从新的相机视角实时提供高分辨率渲染。该技术适用于游戏开发、模拟器创建、机器人模拟和教育等领域。