华盛顿大学、华盛顿大学和华盛顿大学的研究人员开发了第一个端到端深度学习系统，可以将足球比赛视频转换为运动的 3D 全息图。

与 CNN 一起重建一场足球比赛

研究人员在研究论文中写道：“足球比赛的单目重建面临许多挑战。我们必须估计摄像机相对于场地的姿势，检测和跟踪每个球员，重建他们的身体形状和姿势，并渲染联合重建。”

图 1：以足球比赛视频作为输入，系统输出比赛的动态 3D 重建3d足球比赛下载，可以使用增强现实设备在桌面上以交互方式查看。

下面的视频演示了该系统：

这种方法的关键是卷积神经网络（CNN），研究人员训练它来估计每个玩家和拍摄比赛的摄像机之间的距离。 该网络分析了从足球视频游戏 FIFA 中提取的 12,000 个 2D 球员图像以及从游戏引擎中提取的相应 3D 数据，以了解两者之间的相关性。

通过这种方式，网络可以从看不见的 2D 图像中估计玩家的深度图。 当显示看不见的视频时，系统可以准确预测每个球员的深度图，并将其与彩色镜头相结合3d足球比赛下载，以 3D 方式重建每个球员。

图2：重建方法概述

以视频帧作为输入，我们使用场线来恢复相机参数。 然后，提取边界框、姿势和轨迹（跨多个帧）来分割玩家。 使用经过视频游戏数据训练的深度网络，我们重建游戏环境中每个玩家的深度图，以便可以将其显示在 3D 查看器或 AR 设备上。

然后，球员们被放置在虚拟足球场上。 结果令人惊叹，并且可以通过 3D 查看器或 AR 设备从任何角度观看游戏。

图 3：训练数据：从 FIFA 游戏中提取图像和相应的深度，显示了几个可视化为深度图和网格的示例。

该团队使用 GTX 1080 GPU 和 TITAN Xp GPU 以及 cuDNN 加速的深度学习框架，根据从世界杯比赛视频中提取的数小时 3D 球员数据来训练卷积神经网络。

基于这些比赛视频数据，神经网络能够重建场上每个球员的深度图，这些深度图可以呈现在 3D 查看器或 AR 设备上。

“事实证明，在玩 EA 的 FIFA 游戏并拦截游戏引擎和 GPU 之间的调用时，可以从视频游戏中提取深度图。具体来说，我们使用了 。研究团队表示：“FIFA 和大多数游戏一样，使用了延迟映射游戏过程中的渲染。 通过访问 GPU 调用，可以捕获每一帧的深度和颜色缓冲区。 一旦特定的帧捕获了深度和颜色，就可以将其提取出来。”

图 4：合成数据集的结果以及与最先进技术和事实的比较，以深度图和 3D 网格的形式可视化。 我们的方法更准确并且实现了更好的网格重建。

为了验证该系统，研究团队在他们找到的 10 个职业足球比赛的高分辨率视频上测试了他们的方法。 值得注意的是，该系统仅接受合成视频材料的训练。 不过3d足球比赛下载，在实际场景中，该系统也有着非常不错的效果。

研究人员使用微软的AR眼镜进行测试。 3D重建可以叠加到真实桌面上。 最终产品虽然不完美，但无法重现球，无法实时工作，并且只能从视频记录的球场一侧观看。 然而，该技术可能比当前最先进的 3D 运动重建方法更具可扩展性，后者需要在每个角度都有摄像机。 研究人员表示，这种方法也适用于其他预定义的活动，例如音乐会或戏剧。

研究人员承认他们的系统并不完美。 他们的下一个项目将侧重于训练系统以更好地检测球，并开发一个可以从任何角度查看的系统。

该研究将于 6 月 18 日至 22 日在犹他州盐湖城举行的年度计算机视觉和模式识别 (CVPR) 会议上首次亮相。