StereoCrafter是腾讯ai实验室开发的2D视频转换为立体3D视频的开源框架，它利用基础模型作为先验，通过深度估计和立体视频修复技术，将2D视频转换为沉浸式立体3D视频。通过深度估计和立体视频修复技术，StereoCrafter 提供高质量的 3D 视频生成，支持多种视频源，包括 电影、视频博客、3D 动画和 AI 生成内容。

StereoCrafter的简介

StereoCrafter 是腾讯 AI Lab 和 ARC Lab 共同推出的创新框架，旨在将单目视频（2D视频）转换为立体3D视频，满足日益增长的3D内容需求。该框架基于深度估计、视频splatting和立体视频修复三个核心步骤，实现高保真度的2D到3D视频转换。

StereoCrafter 使用预训练的稳定视频扩散模型作为基础，并针对立体视频修复任务进行微调，能够适应不同长度和分辨率的视频输入。通过这一框架，开发者可以轻松将传统的2D视频素材转换为沉浸式的3D版本，为数字媒体的未来发展提供新的可能性。

StereoCrafter的功能

1、2D到3D视频转换：将单目2D视频转换为沉浸式立体3D视频，适用于多种显示设备，如3D眼镜和Apple Vision Pro。

2、高保真度生成：使用深度学习技术，确保生成的视频具有高质量和一致性，满足现代3D显示设备的需求。

3、深度估计：基于先进的深度估计方法，获取输入视频的深度信息，为后续处理提供基础。

4、视频splatting：使用深度图进行视频变形，生成右视图并提取遮挡掩码，处理视频中的遮挡区域。

5、立体视频修复：填补变形后视频中的空缺区域，确保最终生成的立体视频完整且自然。

StereoCrafter的原理

1、深度估计：基于先进的深度估计模型（如DepthCrafter）从输入的单目视频中提取深度图。

2、视频splatting：基于深度图，将左视图视频变形为右视图，生成遮挡掩码，处理视频中的遮挡情况。

3、立体视频修复：使用生成的遮挡掩码，基于立体视频修复技术填补变形后视频中的空缺区域，生成最终的右视图视频。

4、数据处理流水线：构建高质量的数据集支持模型训练，确保生成结果的高保真度和一致性。

StereoCrafter的特点

高保真度：生成的立体视频具有高保真度，能够真实地还原视频内容。

长视频支持：与其他立体视频生成工具相比，StereoCrafter 支持更长时间的视频处理。

灵活的输入源：适用于多种视频源，包括电影、博客、3D动画和AIGC视频。

易于部署：项目提供了详细的安装和运行指南，支持Python 3.8和Cuda 11.8环境，易于在多种平台上部署。

开放源代码：StereoCrafter 是开源项目，社区可以自由使用、修改和分享。