数字孪生融合技术│“恶魔之眼”艾肯泉视频建模与移动视频融合技术

数字孪生应用的动态视觉技术包括虚拟仿真及视频融合技术等，虚拟仿真技术就是用一个系统模仿另一个真实系统的技术，可借助视觉、听觉及触觉等多种传感通道与虚拟世界进行自然的交互。视频融合技术是虚拟现实技术的一个分支，或者说是虚拟现实的一个发展阶段。三维视频融合技术是把一个或多个由摄像机图像序列视频和与之相关的三维虚拟场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现虚拟场景与实时视频的融合，即虚实结合。

接下来，我们为大家呈现被称之为“恶魔之眼”艾肯泉视频实景模型与移动拍摄的视频融合应用，它是依据一段旅游视频作为建模数据，完成三维实景建模及泉水喷涌动态渲染，再将无人机航拍视频与三维实景模型融合完成三维视频融合任务。

1、艾肯泉三维实景模型及真实水体动态渲染

将航拍视频导入到ContextCapture Center Master抽帧建模，并对建好的三维模型修补破损水面、移除水面纹理、添加水底纹理、对水底地形进行建模等，再导入UE，添加水体、光照环境、粒子等，调整相关参数，完成渲染。

2、艾肯泉三维实景模型视频融合

视频融合技术多数使用的是固定拍摄的视频，对于移动拍摄的视频与实景模型实际位置一一对应融合难度很大。我们结合艾肯泉无人机移动拍摄的视频与实景模型融合技术的应用，首先将视频单帧提取序列图片导入相机路径反求软件PFTrack，计算视频每帧相机所在的位置，得到相机运动轨迹信息后导出dae或fbx模型，将带有相机运动轨迹的dae或fbx导入Blender,再导入实景模型对世界场景进行调整模型之间空间变换关系，选中需要对象导出通用场景描述格式文件。

最后，在UE里导入.usdc通用场景文件即可将场景里相机运行动画导入UE，使用光照函数、贴花材质将视频投影到模型上去，将带有光照函数的聚光灯或贴花附加在带相机运动的Actor作为子项约束一起运动，便可实现实景模型与移动视频融合。