WO2010025655A1

WO2010025655A1 - 3d视频通信方法、发送设备、系统及图像重构方法和系统

Info

Publication number: WO2010025655A1
Application number: PCT/CN2009/073542
Authority: WO
Inventors: 赵嵩; 刘源; 王静; 李凯
Original assignee: 华为终端有限公司
Priority date: 2008-09-02
Filing date: 2009-08-26
Publication date: 2010-03-11
Also published as: US9060165B2; EP2328337A4; US20110150101A1; EP2328337A1

Description

3D视频通信方法、发送设备、系统

及图像重构方法和系统本申请要求于 2008 年 09 月 02 日提交中国专利局、申请号为 200810119545.9、发明名称为" 3D视频通信方法、发送设备和系统"的中国专利申请，以及于 2008 年 10 月 30 日提交中国专利局、申请号为 200810225195.4、发明名称为 "图像重构方法和图像重构系统" 的中国专利申请的优先权，其全部内容通过引用结合在本申请中。技术领域

本发明涉及视频技术领域，特别涉及一种 3D视频通信方法、发送设备、系统及图像重构方法和系统。背景技术

目前传统的视频是一种二维图像信息的载体，它只能表现出物体的内容而忽略了物体的远近、位置等深度信息，是不完整的。作为视频观察的主体，人类需要获取比一幅二维图像信息更多的画面来获取必需的空间信息，以获得符合人类两只眼睛观察世界视觉感受的画面。

3D视频技术可以提供符合人类立体视觉原理的具有深度信息的画面，从而能够真实地重现客观世界的景象，表现出场景中物体的纵深感、层次感和真实性，也是当前视频技术发展的重要方向。获取场景的深度信息，即场景的深度是 3D视频系统中一个非常重要的内容，场景深度图也称为场景的视差图。目前，现有技术中获取场景的深度图主要有以下方法：

一种是利用立体图像匹配获取场景的深度图。立体图像匹配是利用摄像机拍摄获得场景的多幅彩色图像，该彩色图即为场景的 2D图像，通过对彩色图像进行分析、计算获得场景的深度图。其基本原理为：找到场景中的某一点在多幅彩色图中对应的成像点，然后再根据该点在多幅彩色图中的坐标求出其在空间中的坐标，从而得到该点的深度信息。

立体图像匹配技术主要包括基于窗口的匹配法和动态规划法，这两种方法均采用了基于灰度的匹配的算法。基于灰度的匹配的算法是将彩色图像分割成小的子区域，以其灰度值作为模版并在其它彩色图像中找到和其最相似灰度值分布的子区域，如果两个子区域满足相似性要求，就认为这两个子区域中的点是匹配的。在匹配过程中，通常使用相关函数衡量两个区域的相似性。基于灰度的匹配的算法一般可得到场景密集的深度图。

另外，也可以基于特征的匹配的算法进行立体图像匹配。基于特征的匹配的算法是利用由彩色图像的灰度信息导出的特征进行匹配，与利用简单的亮度和灰度变化信息进行匹配的算法相比，基于特征的匹配的算法更加稳定和准确。匹配的特征可认为是潜在的能够描述场景 3D结构的重要特征，如边缘和边缘的角点。基于特征的匹配一般可先得到场景稀疏的深度图，然后利用内插值等方法得到场景密集的深度图。

另一种是利用单台深度摄像机（Depth Camera )获取场景的深度图。深度摄像机的基本原理是通过发射红外线并检测场景中物体反射红外线的强度来判定物体的距离，因此，深度摄像机输出的深度图质量好，精度较高，应用前景好。目前深度摄像机主要用于手势识别、背景替换和合成等领域，在 3D视频系统中的应用较少，且一般均采用单台深度摄像机进行场景视频图像的采集。

在利用单台摄像机进行场景的视频图像采集中，获得场景的深度图比较精确，但是通过单台深度摄像机只可以获得一个视点的场景的一幅彩色图及对应的深度图。在重构小视差虚拟视点的图像时可能有较好的重构效果，但在进行重构大视差虚拟视点的图像时，由于获得的彩色图少，缺少足够多的彩色图像信息，重构出的虚拟视点的图像会产生较大的"空洞"，且无法进行修补，使得重构出的图像失真严重，重构效果较差。

如图 1所示，为现有技术中根据单台深度摄像机采集的视频图像进行虚拟视点图像重构时产生空洞的原理示意图。假如在 ol视点处获得物体 la和物体 lb的视频图，由于物体 lb遮挡住物体 la的 laO部分，因此实际获得的视频图信息中只包括物体 la的部分图像信息和物体 lb的图像信息，并没有物体 la的 laO 部分的图像信息。若想要获得虚拟视点 o2处物体 4a和物体 lb的视频图像，由于实际获得的视频图像信息中并未有物体 la的 laO部分的图像信息，在 o2视点处重构获得的图像中就会缺少物体 1 a的 1 aO部分图像，因此在 1 aO部分会产生空洞，使得重构出的图像失真严重，重构效果差。

发明人在实现本发明过程中，发现现有技术至少存在以下缺陷：现有技术中的立体匹配的算法必须依赖于场景的亮度和色度信息，极易受到光照的不均匀性、摄像机的噪声以及场景的重复纹理等的影响，因此，得到的视差 /深度图错误较多，基于深度图进行虚拟视点重构时效果差，重构出的图像不准确，且立体匹配的算法复杂，获得视差 /深度图的实时性不强，目前的技术还无法实现商用；而现有技术中利用单台深度摄像机获取深度信息进行重构大视差虚拟视点的图像时，会产生较大的 "空洞"，且无法进行修补，重构的图像失真严重，重构效果差，实用性也不强。发明内容

本发明的目的是提供一种 3D视频通信方法、发送设备、系统及图像重构方法和系统，以提高虚拟视点图像的重构效果。

本发明实施例提供了一种 3D视频通信方法，包括：

获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频图像数据由至少一台能输出场景深度信息的图像采集装置和至少一台能输出场景彩色 /灰度视频信息的图像采集装置，或由至少一台能输出场景深度信息和彩色 /灰度视频信息的图像采集装置获得；

对所述视频图像数据进行编码，获得视频图像编码数据；

将所述视频图像编码数据发送出去。

本发明实施例提供了一种 3D视频通信发送设备，包括：

视频采集单元，用于获取图像采集装置采集的场景的视频图像数据，所述视频图像数据包括至少一幅深度图和至少二幅彩色图，所述视频采集单元包括至少一台能输出场景的深度信息的图像采集装置和至少一台能输出场景的彩色 /灰度视频信息的图像采集装置，或包括至少一台能输出场景的深度信息和彩色 /灰度视频信息的图像采集装置；

视频编码单元，用于对所述视频图像数据进行编码，获得视频图像编码数据；

视频输出单元，用于将所述视频图像编码数据发送出去。

本发明实施例提供了一种图像重构方法，包括：

获取已知视点的彩色图；

获取所述已知视点的深度图；

对所述深度图进行深度视差转换，获取所述深度图对应的视差信息；根据所述已知视点的所述彩色图和所述视差信息重构虚拟视点的图像。本发明实施例提供了一种图像重构方法，包括：

获取已知第一视点的第一彩色图和已知第二视点的第二彩色图；获取所述已知第一视点的第一深度图；

根据所述第一彩色图、所述第二彩色图和所述第一深度图确定所述第一深度图的第一深度视差对应因子；

根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息；

根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像。本发明实施例提供了一种图像重构系统，包括：普通图像采集装置，用于获取已知视点的彩色图；

深度图像采集装置，用于获取所述已知视点的深度图；

转换装置，用于对所述深度图进行深度视差转换，获取所述深度图对应的视差信息；

重构装置，用于根据所述已知视点的所述彩色图和所述视差信息重构虚拟视点的图像。

本发明实施例提供了一种图像重构系统，包括：

第一普通图像采集装置，用于获取已知第一视点的第一彩色图；第二普通图像采集装置 , 用于获取已知第二视点的第二彩色图；第一深度图像采集装置，用于获取所述已知第一视点的第一深度图；第一确定装置，用于根据所述第一彩色图、所述第二彩色图和所述第一深度图确定所述第一深度图的第一深度视差对应因子；

第一转换装置，用于根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息；

第一重构装置，用于根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像。

本发明实施例提供了一种 3D视频通信系统，包括发送设备和接收设备，所述发送设备包括：

视频输出单元，用于将所述视频图像编码数据发送出去；所述接收设备包括：

视频接收单元，用于接收所述视频输出单元发送来的所述视频图像编码数据；

视频解码单元，用于对所述视频编码数据进行解码，获得视频图像解码数据。

本发明实施例通过可直接输出场景深度图的图像采集装置采集场景的深度图，获得的深度图准确可靠，且深度图采集实时性强，根据深度图获得的各虚拟视点的视频图像效果好、准确，可反映场景的真实效果；同时根据图像采集装置获得的场景的多幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补，使得重构出的视频图像更加准确，提高了虚拟视点图像的重构效果，具有较强的实用性；同时，在进行图像重构时可避免进行大量的、高复杂度的计算，提高了图像重构的实时性和重构图像的质量。附图说明

图 1为现有技术中根据单台深度图像采集装置采集的视频图像进行虚拟视点图像重构时产生空洞的原理示意图；

图 2为平行双图像采集装置 3D视频系统的原理示意图；

图 3为配备了超高速快门的 CCD图像采集装置和调强发光器进行深度图像的获取的原理示意图；

图 4为 HDTV Axi-Vision图像采集装置的基本构造图；

图 5为本发明 3D视频通信方法实施例一的流程示意图；

图 6为本发明 3D视频通信方法实施例二的流程示意图；

图 7为本发明实施例场景与视点关系示意图；

图 8为本发明实施例场景与像点关系示意图；

图 9为本发明图像重构方法实施例一的流程图；

图 10为本发明图像重构方法实施例二的流程图；图 11为本发明图像重构方法实施例三的流程图

图 12为本发明图像重构方法实施例四的流程图

图 13为本发明图像重构方法实施例五的流程图

图 14 为本发明 3D视频通信发送设备实施例一的结构示意图；图 15为本发明 3D视频通信发送设备实施例二的结构示意图；图 16为本发明 3D视频通信发送设备实施例中视频采集单元的结构示图 17A - 17C为本发明 3D视频通信发送设备实施例中图像采集的组合形式及与采集控制模块的连接示意图；

图 18为本发明图像重构系统实施例一的结构示意图

图 19为本发明图像重构系统实施例二的结构示意图

图 20为本发明图像重构系统实施例三的结构示意图

图 21为本发明图像重构系统实施例四的结构示意图

图 22为本发明图像重构系统实施例五的结构示意图

图 23为本发明 3D视频通信系统实施例的结构示意图；

图 24为本发明 3D视频通信系统实施例中接收设备的结构示意图具体实施方式

下面结合附图对本发明的具体实施例作进一步详细的说明。

本发明实施例是基于 3D视频的基本原理，通过获得场景的深度图和彩色图，并可通过重构获得各视点的 3D视频图像。具体地，本发明实施例主要通过图像采集装置获取场景的深度图和多幅彩色图，其中可利用能输出场景深度信息的深度图像采集装置获得场景的深度图，利用能输出场景彩色 /灰度视频信息的普通图像采集装置获得场景的彩色或灰度视频图。

下面以平行摄像机系统为例说明 3D视频的基本原理：

图 2为平行双图像采集装置 3D视频系统的原理示意图。如图 2所示，摄像机 ldl和摄像机 ld2水平放置，它们之间的距离为 B, 距离被拍摄工间点 lc的距离为 Z。那么水平方向的视差 /深度满足公式：

其中， f为焦距， Z为物体 lc与成像平面的距离， B为两台摄像机光心的间距， d为视差 /深度，是同一空间点在两台摄像机上成像像素的距离值， d包括水平方向的视差和垂直方向的视差，对于平行摄像机系统， = 0。可以看出， 3D图像的视差和观察者的距离 Z有关。因此只要知道某个空间点在一个图像上的成像位置和该点对应的视差 /深度，就可以求出其在另一个图像上的成像位置，只要获得场景足够多的深度图和彩色图，就可以重构出各种视点下场景的 3D视频图像。

多视点 ( Multi- Viewpoint, MV ) /自由视点 ( Free Viewpoint, FV )视频是当前视频领域研究的另一个热点。可通过多个摄像机同时拍摄场景，不同的摄像机的拍摄角度不同，产生多个视频流；这些不同视点的视频流送到用户终端，用户可以选择任意的视点和方向观看场景。用户选择的视点可以是预定义的固定的摄像机拍摄视点，也可以是一个虚拟视点，其图像由周围真实的摄像机拍摄的图像合成得到。

此外， 3D视频和多视点 /自由视点视频不是互相排斥的，可以融合为一个系统。多视点 /自由视点视频系统中的每一个视点可以采用 2D方式，也可以采用 3D方式观看。

目前 3D视频 /多视点视频 /自由视点视频系统中，采用彩色图 +深度图的方式进行视频图像的编码和传输是一种通用方式。采用深度图的主要作用是（ 1 )使用深度图能够有效地进行 3D视频图像的编解码；（2 )使用深度图能够有效地进行虚拟视点的重构，该虚拟视点即没有物理摄像机的视点。使用深度图可以重构其它视点的图像，因此可采用传输一幅彩色图 +深度图的方式即可解码得到多个视点的图像，且深度图为灰度图像，可以进行高效压缩，可以显著减少码流。此外，立体 /多视点显示器往往需要同时显示多个不同位置的图像，还可以利用彩色图 +深度图的方式根据一个视角的图像生成其它视角的图像，而不必要同时传输多个不同视点的 2D 图像，有效节约了带宽。

为保证场景深度图的准确性和实时性，提高虚拟视点场景视频图像的重构效果，本发明实施例利用深度图像采集装置获取场景的深度图，利用深度图像采集装置和 /或普通图像采集装置获取场景的彩色图，这样可利用深度图像采集装置获取具有良好效果的深度图，同时，配合普通图像采集装置获得的多幅彩色图就可获得各种视点的 3D视频图像。下面简要介绍一下深度图像采集装置的原理。

图 3为配备了超高速快门的 CCD图像采集装置和调强发光器进行深度图像的获取的原理示意图。图 3中显示了光照强度空间分布的一个快照，该分布随时间呈线性递增， 2c和 2d为同一时刻光照强度的空间分布的趋势。场景中有物体 2a和物体 2b, 物体 2a为方形物体，物体 2b为三角形物体。其中，较近物体 2a上的反射光线发射到图像采集装置 2e的瞬时的光照强度 Λ被图像采集装置探测装置的超高速快门 2f检测到，并得到在图像 A中的方形分布；物体 2b反射光线得到图像 A中的三角形分布。由于物体 2a距离图像采集装置 2e较近，图像采集装置 2e探测到的瞬时的光照强度 /,比/₂强，方形图像的亮度比三角形要亮，因此，可利用捕获到的图像 A的亮度的差异来检测物体的深度。但是，物体反射光的亮度会受物体的反射率、物体到图像采集装置的距离、光源的调制指数和照度的空间不均匀性等参数的影响。此时，可利用与光照强度空间分布呈线性递减的方式获得图像 B, 将图像 A和图像 B相结合，并通过信号处理算法可消除不利的影响，得到精确的深度图。

图 4为 HDTV Axi- Vision图像采集装置的基本构造图。如图 4所示，在高清晰度电视 ( High Definition Television , HDTV ) Axi -视觉 ( Axi-Vision )摄像机系统中，包括深度图像处理单元和彩色图像处理单元。近红外 LED 阵列用于调强发光器，其具有快速直接调制的能力，近红外 LED发射光的波长为 850 nm, 在可见光的范围之外，不会干扰可见光。 4个 LED单元环绕在摄像机镜头的周围，可均匀地照亮摄像的场景。同时还有一个可见光源，如荧光源，用于照射被摄像物体，该光源具有超过近红外光区域的频谱。当物体的反射光经过摄像机镜头的二向棱镜时，可见光和近红外光被分离，其中，可见光进入彩色图像处理单元并由彩色图像处理单元进行处理后，获得物体的彩色图像，即 2D图像，该彩色图像处理单元可为一个彩色 HDTV摄像机；近红外光则经过深度图像处理单元处理后，获得物体的深度图像。在深度图像处理单元中，经二向棱镜分离出的近红外光被聚焦到光电阴极上的同时，在光电阴极和微通道板 ( Micro Channel Plate, MCP )之间施加短脉冲偏压，实现十亿分之一秒的快门，利用快门的开启在磷光体上获得物体的光学图像，该光学图像再经过中继镜头聚焦到高分辨率的逐行 CCD摄像机上，转换为光电子图像，最后通过信号处理器形成物体的深度图。快门的开启和光线调制频率具有相同的频率，以获得更好的信噪比（ Signal to Noise Ratio , SNR ) 。由此可以看出，深度摄像机可以获得较好的深度图，利用深度摄像机获得的深度图可重构出具有较强效果的视频图像。

图 5为本发明 3D视频通信方法实施例一的流程示意图。具体地，如图 5所示，本实施例可包括以下步骤：

步骤 101、获取图像采集装置采集的场景的视频图像数据，该视频图像数据包括至少一幅深度图和至少二幅彩色图，该视频图像数据由至少一台能输出场景深度信息的图像采集装置和至少一台能输出场景彩色 /灰度视频信息的图像采集装置，或由至少一台能输出场景深度信息和彩色 /灰度视频信息的图像采集装置获得；本实施例 3D视频通信方法可通过图像采集装置获取场景的深度图和彩色图，其中深度图由能输出场景的深度信息的深度图像采集装置采集获得，彩色图由能输出场景的彩色视频信息的普通图像采集装置获得，此外，本实施例中也可以利用能输出灰度图的普通图像采集装置获得灰度图。具体地，在进行场景的视频图像采集时，可以通过设置多个视点不同的图像采集装置，该图像采集装置可由至少一台能获取场景深度图的深度图像采集装置和至少一台获取场景彩色图的普通图像采集装置组成，也可由至少一台能同时输出场景的深度信息和彩色 /灰度视频信息的深度图像采集装置组成。在进行场景的视频图像采集时，可实时的采集场景的深度图和彩色图，根据采集的深度图和彩色图可满足场景各虚拟视点的 3D视频图像的重构。在由多台图像采集装置组成的采集设备中，进行视频图像采集时，可根据需要有选择的控制部分视点位置较好的图像采集装置进行拍摄，以获得所需场景的深度图和彩色图，避免重复或不必要场景的拍摄，同时拍摄前，也可调整好各图像采集装置的拍摄位置，以获得较大视角的场景的视频图像。

步骤 102、对视频图像数据进行编码，获得视频图像编码数据；对步骤 101获取的场景的视频图像数据进行编码，获得场景的视频图像编码数据。对视频图像数据进行编码，便于视频图像数据的传输和存储。在对视频图像数据编码前，还可对视频图像数据进行校正等预处理操作，保证视频图像数据的准确性和可靠性。

步骤 103、将视频图像编码数据发送出去。

获得视频图像编码数据后，可将该视频图像编码数据发送到视频图像接收设备，由视频图像接收设备对该视频图像编码数据进行相应的解码以及各虚拟视点视频图像的重构等操作，最终可通过显示设备显示各视点的视频图像。具体地，视频图像接收设备可根据接收到的视频图像编码数据显示需要的视频图像，在进行视频图像显示时，可对各种虚拟视点的视频图像进行重构和渲染，以获得不同视点的场景的视频图像。在进行场景的视频图像显示时，也可以根据观看者的需要，显示各个视点的视频图像，由于步骤 101 中可以通过深度图像采集装置和普通图像采集装置获得场景的深度图和彩色图，获得的深度图准确可靠，在进行虚拟视点重构时，可利用多幅彩色图对重构的图像产生的空洞区域进行修补，提高了视频图像的重构效果，可获得各种虚拟视点的重构图像，且重构出的视频图像效果好，可反映出场景的真实效果。

本发明实施例通过可直接输出场景深度图的图像采集装置采集场景的深度图，获得的深度图准确可靠，且采集的深度图具有较强的时性，根据深度图获得的各虚拟视点的视频图像效果好、准确可靠，可反映场景的真实效果；同时根据图像采集装置获得的场景的多幅彩色图，可对只由一幅彩色图重构产生的空洞进行修补，使得重构出的视频图像更加准确，提高了虚拟视点图像的重构效果，具有较强的实用性。

图 6为本发明 3D视频通信方法实施例二的流程示意图。具体地，如图 6所示，本实施例可包括以下步骤：

步骤 201、控制各图像采集装置，使之对场景的图像采集同步；本实施例中，可设置多个视点位置不同的图像采集装置，该各视点位置不同的图像采集装置可包括至少一台能输出场景的深度信息的深度图像采集装置和至少一台能输出场景的彩色 /灰度视频信息的普通图像采集装置，或者包括至少一台可输出场景的深度信息和彩色 /灰度视频信息的深度图像采集装置。根据实际需要，视频图像采集前，可设置一定数量的深度图像采集装置和普通图像采集装置，只要采集到的场景的视频图像数据中包括至少一幅深度图和至少二幅彩色图。本步骤中，在进行场景的图像采集时，可控制各图像采集装置进行同步拍摄和图像的采集，保证采集到的视频图像的同步性，避免了同一视点或不同视点在同一时刻采集到的图像具有较大的差异，特别是对高速运动的物体，同步采集可获得较好的视频图像效果。

此外，在图像数据采集前，也可以将图像采集装置设置在不同的位置，获得最好的拍摄视角，以拍摄到更大视角的视频图像，保证各视点的 3D视频图像的重构和显示，提高虚拟视点视频图像的重构效果。例如，实际拍摄时，可以将深度图像采集装置放置在普通图像采集装置的中间，这样可以获得更大的拍摄视角，在进行虚拟视点视频图像重构时，也可以获得大视角的场景的视频图像。

本步骤在对各图像采集装置进行同步拍摄时，也可控制并产生同步信号，根据该同步信号同步各图像采集装置对场景的图像采集。具体地，该同步信号可通过硬件或软件时钟产生，也可以采用图像采集过程中的一台图像采集装置的视频输出信号作为同步信号，在控制各图像采集装置同步采集时，可通过将同步信号直接输入到各图像采集装置的外同步接口对各图像采集装置进行同步采集控制，也可以通过采集控制模块统一对各图像采集装置进行同步控制，该同步采集可达到帧同步或行 /场同步。

步骤 202、对各图像采集装置采集到的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数；

由于多台图像采集装置拍摄到的图像往往不是按扫描线对齐的，不符合人眼的成像模型，观看时，会对用户造成视觉疲劳。因此，需要将图像采集装置拍摄到的图像校正成符合人眼成像模型的图像，而通过图像采集装置标定获得的图像采集装置的内部参数和外部参数可作为对采集到的视频图像进行校正的依据，图像采集装置的标定可采用传统标定法和自标定法等。传统标定法包括了直接线性变换 ( direct linear transformation , DLT ) 标定法、基于径向排列约束 ( Radial alignment constraint , RAC ) 标定法和平面标定法等。传统标定法的基本原理是使用标定参照物建立图像采集装置成像模型线形方程组，并测出参照物中一组点的世界坐标和其在成像平面上的对应坐标，然后将这些坐标值代入该线形方程组中求出内部参数和外部参数。自标定法是指不需要标定参照物，仅仅通过图像点之间的对应关系就可以对图像采集装置进行标定的过程。自标定依据的是多幅图像中成像点间存在的特殊约束关系，如极线约束，因此可以不需要场景的结构信息。

通过图像采集装置标定，可以获得包括图像采集装置的内部参数和外部参数的标定信息，根据该图像采集装置的内部参数和外部参数可以对各图像采集装置拍摄到的视频图像进行校正处理，获得的视频图像更加符合人眼成像模型，根据该校正处理后的视频图像可获得更好的视觉效果。

步骤 203、根据所述内部参数和外部参数建立各图像采集装置采集的视频图像与各图像采集装置属性的对应关系，并作为场景的视频图像数据，图像采集装置属性包括图像采集装置的内部参数、外部参数以及视频图像每帧的采集时间戳；

根据内部参数和外部参数建立视频图像与各图像采集装置属性的对应关系，并作为场景的视频图像数据输出，该图像采集装置属性包括图像采集装置的内部参数、外部参数以及视频图像每帧的采集时间戳，通过建立图像采集装置属性和采集到的视频图像的对应关系，可以根据图像采集装置的属性对视频图像进行校正处理。

步骤 204、根据图像采集装置属性，对视频图像数据进行校正处理，获得校正处理后的视频图像数据；

根据图像采集装置属性以及视频图像与各图像采集装置属性的对应关系，对视频图像数据进行校正处理，可获得校正处理后的视频图像数据，具体地，对视频图像的校正处理可包括以下处理：

( 1 )根据图像采集装置标定的标定参数对彩色图和深度图进行校正，使彩色图和深度图对齐。为便于在某一视点进行图像的重构，该视点的彩色图和深度图的内容应相同。但普通图像采集装置和深度图像采集装置的位置不可能精确重合，因此需要利用图像采集装置标定结果对彩色图和深度图执行变换，使彩色图和深度图像比较精确地重合；

( 2 ) 可对不同图像采集装置因设置而导致的彩色图的亮度和色度的差异进行调节，使不同图像采集装置获得的彩色图色彩一致，以消除不同图像采集装置带来的图像差异；

( 3 ) 根据图像采集装置的标定参数对彩色图或深度图进行校正，可对图像进行径向畸变等校正。

步骤 205、对校正处理后的视频图像数据进行编码，获得视频图像编码数据；

本实施例可利用 MPEG-4、 H.264等编解码标准对校正处理后的彩色图和深度图数据进行编码，其中深度的描述可以采用 MPEG标准。目前有多种对彩色图 +深度图数据编码的方法，如，可利用基于分层的 3D视频编码方法，该方法主要是将 H.264协议中 SEI信息与分层编码思想相结合，将一个通道的视频数据采用常规方法编码为只包含 I 、 P帧的基本层，通道的彩色图数据，而后对另外一个通道的数据全部编码成 P帧，如深度图数据，预测时的参考帧采用本通道前一帧或基本层中对应的帧，这样解码时可具有较好的 2D/3D兼容性，对于传统的 2D显示，只需解码基本层数据即可；对于 3D显示，全部解码。这样，接收显示用户可选择 2D显示或 3D显示，并可控制视频解码模块进行相应的解码处理。

步骤 206、对视频图像编码数据进行分组处理，封装成数据包并进行发送。

在进行视频图像发送前，可对视频图像编码数据进行分组处理，并封装成数据包发送到视频图像接收设备，由接收设备对接收到的分组数据进行相应的处理，数据的发送可通过现有的网络，如 Internet网，进行发送。

此外，本实施例步骤 206中对视频图像编码数据进行分组处理并发送，具体可包括以下步骤：

步骤 2061、对视频图像编码数据进行复用，获得视频图像编码数据的复用数据；

本步骤可对编码的视频数据按帧 /场的方式对多个视频数据流进行复用，在进行按场方式进行复用时，可以将一个视频数据编码为奇场，另一个视频数据编码为偶场，并将奇偶场作为一帧进行传输。

步骤 2062、对视频图像编码数据的复用数据进行分组处理，封装成数据包并进行发送。

此外，本实施例还可接收编码语音数据、系统命令数据和 /或文件数据，进行分组处理并与视频图像编码数据一起发送出去，也可接收外部输入的控制信息，该控制信息包括观看视点、显示方式、显示距离信息等，根据该控制信息可对图像采集装置拍摄进行调整，选择较好的拍摄视角的图像采集装置进行场景的视频图像的采集，如可调整图像采集装置的拍摄角度、图像采集装置的拍摄数量等，提高了视频图像采集的实用性。视频接收设备可通过网络等接收该视频图像编码数据，并对接收到的数据进行相应的处理，如可对接收到的视频图像数据进行解复用、解码、重构、渲染、显示等处理，还可对接收到的编码语音数据进行解码，对接收到的文件数据进行相应的储存等处理，也可根据系统命令数据执行特定的操作，如可根据系统命令中的显示方式对接收到的视频图像进行显示。

视频图像接收设备可根据接收到的场景的深度图和彩色图，重构出各虚拟视点的场景的视频图像。由于场景的深度图由深度图像采集装置采集获得，获得的深度图准确可靠，而且可通过多台普通图像采集装置或深度图像采集装置获得场景的多幅彩色图或灰度图，这样，在进行场景的各视点视频图像的显示时，可以利用多幅彩色图对只由一幅彩色图重构时产生的空洞区域进行修补，提高了视点视频图像的重构效果。同时，利用图像采集装置采集场景的深度图和彩色图具有较强的实时性，采集出的视频图像数据也具有较强的实用性。

本实施例通过控制各图像采集装置进行场景的视频图像的同步采集和图像采集装置标定，获取同步的视频图像数据和图像采集装置的标定信息，并根据标定信息对图像采集装置采集的视频图像进行校正处理，使得视频图像的处理更加准确；同时，通过对视频图像进行编码处理，提高了视频图像数据存储和传输的便利性，便于对大量视频图像数据的存储和传输操作，本实施例进一步的提高了视频采集和处理的精度，提高了重构图像的效果，而且根据输入控制信息可对视频图像的采集进行有效控制，提高了视频图像采集的实用性。

在获得场景中各视点的深度图和彩色图后，本发明实施例即可利用已知视点的彩色图和深度图进行虚拟位置的图像重构。图 7为本发明实施例场景与视点关系示意图；图 8为本发明实施例场景与像点关系示意图。如图 7所示，在已知视点 1处和已知视点 2处利用图像采集装置拍摄场景图像，在所述已知视点 1处放置深度图像采集装置来获取场景的深度图，然后经过计算得到已知视点 1和已知视点 2之间的虚拟视点 (如虚拟视点 1和虚拟视点 2 ) 的场景图像。如图 8所示，设空间一点 Μ ( Χ,Υ,Ζ )在两个图像采集装置中的像点分别是 (xl,yl)、 (x2,y2), 则在知道基线长 B和焦距 f的情况下，可以计算出深度 Z:

ζ _ β _ β 则所述两个图像采集装置获取图像的视差为 ^ν ：

_ _ β

χ2 ~ ^χι = ν = 则中间虚拟视点 X处的视差为 ^v 。：

本发明实施例可通过在已知视点 ^χ2 , 已知视点 ^χι , 深度 Ζ , 和视点 ^χ。的情况下重构出 ^X。处的场景图像。由上面公式可知，要重构出 ^X。处的场景图像，需要知道 ^和视差 ^VX2。，由深度信息图像采集装置获取的深度图的深度信息 Z 仅具有相对意义，可以表示场景的深度关系，而不具有实际意义的视差信息。在进行重构时需要将不具有实际意义的场景深度信息转换为具有实际意义的视差信息，即由深度 Z求出 ^VX2。。

深度与视差的关系为：

ζ _ β _ β 在拍摄过程中系统参数摄像机焦距 f, 和两摄像机光心距离是恒定的，因此是恒定的。因此确定后，就可以完成由深度到视差的转换，这种转换的时间开销基本可以忽略。相对于采用匹配算法得到视差的方法来说，实时性的优势是显而易见的。

在本发明图像重构方法以及图像重构系统实施例的描述中，为了方便说明，所述已知视点 1为左视点，已知视点 2为右视点，因此，所述图像采集装置在已知视点 1处所获取的图像为左图像，在已知视点 2处所获取的图像为右图像，在已知视点 1处所获取的深度信息为左深度图，在已知视点 2处所获取的深度信息为右深度图。

先以一个实例对本发明图像重构方法实施例的思路进行详细的说明，所述实例以普通图像采集装置，和两个深度图像采集装置的配置进行说明，可以理解，对于其他配置，也属于本发明的保护范围。所述两个图像采集装置平行设置，深度图像采集装置和普通图像采集装置的光心需要尽可能重合，如果深度图像采集装置和普通图像采集装置的光心距离较大，则拍摄的图像不会完全重合，此时需要进行配准，即使得深度图像采集装置所获取图像中的点与普通图像采集装置所获取图像中的对应点在位置上完全相同。如场景中某点在普通图像采集装置中成像坐标为 (^ ），在深度图像采集装置中该点成像坐标为（ ³^) , 则有：

x\ ~^xd\ = 0 对于普通图像采集装置所获取的图像信息，在重构之前，需要将图像校正到平行状态，即两图像中只有水平视差，不存在垂直视差。如场景中某点在两个普通图像采集装置中的成像坐标分别是、 (¾J₂), 则有：

其中 d为左右图（已知视点 1和已知视点 2) 间的视差。

接下来需要将由深度图像采集装置所获取的不具有实际意义的深度信息 Z转换得到具有实际意义的视差信息 Vx, 即确定：

ζ_ β _β 中的 ffi的值。对此本发明实施例优选采用一种基于特征点匹配的方法来获取两个图像中特征点之间的视差。由于由深度图像采集装置实际获取到的深度图像是含有噪声的，因此本发明实施例优选采用计算 N个特征点，然后求取平均值的办法去除噪声，从而得到更为精确的 ffi值。

^D = \lz ^β = λ D

由此，确定了深度与视差的深度视差对应因子 , 接下来就可以将深度图中的所有点的深度信息转换成视差信息，即 Vx = * 。对于左深度图和右深度图分别采用上面的方法，确定左深度图的深度视差对应因子 ^和右深度图的深度视差对应因子 , 获得左视差图和右视差图。对于虚拟中间视点 ^，其与左普通图像采集装置（摄像机）光心距离为，则该点与左摄像机之间的视差 Vx'为：

Vx =D*X =ϋ*β'

由于中间视点 r与左摄像机的光心距离是已知的，则可以求出与左摄像机的视差与左右摄像机视差之间关系为：

则中间视点与左摄像机之间视差为：

Vx' =—Vx

B

因此，对于虚拟中间视点的每一点，都可以由与左摄像机图像的视差计算得出。

图 9为本发明图像重构方法实施例一的流程图。本实施例中，可在第一视点处设置即可输出深度图和彩色图的深度图像采集装置，在第二视点处设置能输出彩色图的普通图像采集装置，通过深度图像采集装置可获取第一视点的深度图和彩色图，通过普通图像采集装置可获取第二视点的彩色图。具体地，该方法可包括以下步骤：

步骤 310、获取已知第一视点的第一彩色图和已知第二视点的第二彩色图。

在已知第一视点和已知第二视点分别通过普通图像采集装置获取场景的彩色图。

步骤 320、获取所述已知第一视点的第一深度图。

步骤 330、确定所述第一深度图的第一深度视差对应因子。

根据所述第一彩色图、所述第二彩色图和所述第一深度图确定所述第一深度图的第一深度视差对应因子。

所述深度视差对应因子确定方法的详细过程已经在前面进行了详细描述，在此不再赘述。

步骤 340、根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息。

所述根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息的原理和过程在前面已经进行了详细描述，为了篇幅考虑，在此不再赘述。步骤 350、根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像。

其中，所述步骤 330中的深度视差因子确定以后，在以后每个图像重构过程中，重复使用所述确定的深度视差对应因子即可，不必重新确定深度视差对应因子。也就是说，确定了深度视差对应因子以后，所述步骤 330就不必再进行了。

本发明实施例通过直接获取深度图，并将所述深度图转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。

图 10为本发明图像重构方法实施例二的流程图。在上述本发明图像重构方法实施例一技术方案的基础上，若普通图像采集装置所获取图像中的点与深度图像采集装置所获取深度图像中的对应点不重合或普通图像采集装置所获取的两个图像不平行，则在确定深度视差对应因子前，本实施例方法还可包括步骤 313和步骤 314。具体地，本实施例方法可包括以下步骤：

步骤 311、获取已知第一视点的第一彩色图和已知第二视点的第二彩色图。

步骤 312、获取所述已知第一视点的第一深度图。

步骤 313、校正所述第一彩色图和所述第二彩色图，使所述第一彩色图中的点与所述第二彩色图中的对应点平行。

所述步骤 313也可以在步骤 31 1之后，本发明实施例并不对此进行限定。

步骤 314、配准所述第一彩色图和所述第一深度图，使所述第一彩色图中的点与所述第一深度图中的对应点重合。

步骤 315、确定所述第一深度图的第一深度视差对应因子。

所述深度视差对应因子确定方法的详细过程已经在前面进行了详细描述，在此不再贅述。

步骤 316、根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息。

所述根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息的原理和过程在前面已经进行了详细描述，为了篇幅考虑，在此不再贅述。

步骤 317、根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像。

其中，所述步骤 315中的深度视差因子确定以后，在以后每个图像重构过程中，重复使用所述确定的深度视差对应因子即可，不必重新确定深度视差对应因子。也就是说，确定了深度视差对应因子以后，所述步骤 315 就不必再进行了。

图 11为本发明图像重构方法实施例三的流程图。具体地，如图 1 1所示，包括以下步骤：

步骤 410、获取已知第一视点的第一彩色图和已知第二视点的第二彩色图。在已知第一视点和已知第二视点分别通过普通图像采集装置获取场景的彩色图。

步骤 420、获取所述已知第一视点的第一深度图和所述已知第二视点的第二深度图。

通过深度图像采集装置获取场景在已知第一视点处和已知第二视点处的深度图。

步骤 430、确定所述第一深度图的第一深度视差对应因子和所述第二深度图的第二深度视差对应因子。

根据所述第一彩色图、所述第二彩色图和所述第二深度图确定所述第二深度图的第二深度视差对应因子。

所述深度视差对应因子确定的方法在前面已经进行了详细描述，在此不再赘述。

步骤 440、根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息，根据所述第二深度视差对应因子对所述第二深度图进行深度视差转换，获取第二视差信息。

所述根据深度视差对应因子对深度图进行深度视差转换，获取视差信息的原理和过程在前面已经进行了详细描述，为了篇幅考虑，在此不再贅述。

步骤 450、根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像，根据所述第二彩色图和所述第二视差信息重构虚拟视点的第四图像。

步骤 460、根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。

如果普通图像采集装置所获取图像中的点与深度图像采集装置所获取深度图像中的对应点不重合或普通图像采集装置所获取的两个图像不平行，则在确定所述深度视差对应因子前还包括步骤：

校正所述第一彩色图和所述第二彩色图，使所述第一彩色图中的点与所述第二彩色图中的对应点平行。

配准所述第一彩色图和所述第一深度图，使所述第一彩色图中的点与所述第一深度图中的对应点重合。

配准所述第二彩色图和所述第二深度图，使所述第二彩色图中的点与所述第二深度图中的对应点重合。

本发明实施例通过直接获取深度图，并将所述深度图转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且提高了重构图像的质量。并且，通过获取场景足够多的深度图，解决了场景内的遮挡问题。而所述场景内的遮挡问题在采用立体匹配算法重构图像时是无法解决的。

可以理解的是，本发明图像重构方法实施例中，可采用两个视点的彩色图和深度图进行虚拟视点图像的重构。同时，也可采用更多视点的彩色图和深度图进行虚拟视点图像的重构，且所述重构过程的原理与采用两个视点相同。

图 12为本发明图像重构方法实施例四的流程图。具体地，如图 12所示，本法实施例方法可包括以下步骤：

步骤 510、获取已知视点的彩色图。

步骤 520、获取所述已知视点的深度图。

步骤 530、对所述深度图进行深度视差转换，获取所述深度图对应的视差信息。

在对所述深度图进行深度视差转换，获取所述深度图对应的视差信息前还需要：

确定所述深度图的深度视差对应因子。从而根据所述深度视差对应因子对所述深度图进行深度视差转换，获取所述深度图对应的视差信息。

步骤 540、根据所述已知视点的所述彩色图和所述视差信息重构虚拟视点的图像。

所述实施例采用一个已知视点的彩色图和深度图。其应用的场景是生成小视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行彩色图的校正。

图 13为本发明图像重构方法实施例五的流程图。具体地，如图 13所示，该方法可包括以下步骤：

步骤 511、获取已知视点的彩色图。

步骤 512、获取所述已知视点的深度图。

步骤 513、配准所述已知视点的彩色图和所述已知视点的深度图，使所述深度图中的点与所述彩色图中的对应点重合。

步骤 514、确定所述深度图的深度视差对应因子。

本实施例中的所述深度视差对应因子不具有实际的意义，深度视差对应因子的选择可以根据应用场景的需要来进行选择，如根据立体显示器的参数来进行选择。

步骤 515、根据所述深度视差对应因子对所述深度图进行深度视差转换，获取所述深度图对应的视差信息。

步骤 516、根据所述已知视点的所述彩色图和所述视差信息重构虚拟视点的图像。

所述实施例采用一个已知视点的彩色图和深度图。其应用的场景是生成小视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行彩色图的校正，但是需要进行彩色图与深度图的配准。所述配准过程与前面实施例的过程相同；在本实施例中，仍然需要确定深度视差对应因子，不过此时的深度视差对应因子不具有实际的意义，深度视差对应因子的选择可以根据应用场景的需要来进行选择，如根据立体显示器的参数来进行选择。

图 14为本发明 3D视频通信发送设备实施例一的结构示意图。本实施例 3D视频通信发送设备包括视频采集单元 11、视频编码单元 12和视频输出单元 13。其中，视频采集单元 11 用于获取图像采集装置采集的场景的视频图像数据，该视频图像数据包括至少一幅深度图和至少二幅彩色图，该视频采集单元 11 包括至少一台能输出场景深度信息的深度图像采集装置和至少一台能输出场景彩色 /灰度视频信息的普通图像采集装置，或包括至少一台能输出场景深度信息和彩色 /灰度视频信息的深度图像采集装置；视频编码单元 12用于对所述视频图像数据进行编码，获得视频图像编码数据；视频输出单元 13用于接收视频编码单元 12编码后的视频图像编码数据，并将该视频图像编码数据发送出去。

本实施例中，可通过视频采集单元 11 中的深度图像采集装置获取场景的深度图和 /或彩色图，普通图像采集装置获取场景的彩色图，然后将获得的场景的深度图和彩色图作为 3D 视频图像数据并传给视频编码单元 12, 由视频编码单元 12对采集到的视频图像数据进行编码处理，获得场景的视频图像编码数据 ,并将该视频图像编码数据发送到视频输出单元 13 , 由视频输出单元 13将该视频图像编码数据发送到视频图像接收设备。本实施例通过深度图像采集装置采集场景的深度图，获得的深度图准确可靠，同时可通过深度图像采集装置和 /或普通图像采集装置获取场景的多幅彩色图或灰度图，这样在进行各虚拟视点场景的 3D视频图像重构时，可以获得各种视点的 3D视频图像数据，在进行虚拟视点的视频图像重构时，可利用深度图像采集装置采集到的深度图和彩色图进行虚拟视点的重构，然后再利用普通图像采集装置采集到的彩色图对重构出的图像进行修补，消除可能产生的空洞区域，使得重构出的图像更加符合场景的真实效果，满足了用户的视觉效果，同时，在采集时，可以将深度图像采集装置和普通图像采集装置设置合适的拍摄视点，这样获得的场景的图像包含了较大视角的视频图像，可重构出更大视角范围的虚拟视点的图像，且具有较好的重构效果。

本实施例通过深度图像采集装置获取场景的深度图，获得的深度图准确可靠，且实时性强，根据深度图获得的各种虚拟视点的 3D视频图也就更加准确，可反映场景的真实效果；同时，通过深度图像采集装置和普通图像采集装置获得场景的多幅彩色图，在进行虚拟视点的 3D视频图重构时，可以获得大范围视点的 3D视频数据，且可对由一幅彩色图重构时产生的空洞区域进行修补，使得重构出的 3D视频图更加准确，更能反映场景的真实效果，提高了虚拟视点图像的重构效果，使得本发明实施例 3D 视频通信发送设备具有较强的实用性。

图 15为本发明 3D视频通信发送设备实施例二的结构示意图；图 16 为本发明 3D视频通信发送设备实施例中视频采集单元的结构示意图；图 17A - 17C为本发明 3D视频通信发送设备实施例中图像采集装置的组合形式及与采集控制模块的连接示意图。在上述本发明 3D视频通信发送设备实施例一的基础上，如图 16所示，本实施例中的视频采集单元 11可包括能输出场景深度图的深度图像采集装置 110, 或为能同时输出场景深度图和彩色图的深度图像采集装置 1 11 , 还包括可输出场景的彩色图或灰度图的普通图像采集装置 1 12。本实施例中视频采集单元 11还包括至少一个采集控制模块 1 13 , 用于控制与其连接的图像采集装置进行场景的拍摄，采集并输出拍摄所述场景的视频图像数据。如图 17A - 17C所示，深度图像采集装置 111可同时输出场景的深度图和彩色图，普通图像采集装置 112只能输出场景的彩色图或灰度图，深度图像采集装置 110只能输出场景的深度图。采集控制模块 1 13可与各图像采集装置组合进行连接，可按如下形式进行连接：

( a ) 如图 17A所示，采集控制模块 113连接有一台深度图像采集装置 1 11和一台普通图像采集装置 112; ( b ) 如图 17B所示，采集控制模块 1 13连接有一台深度图像采集装置 1 10和两台普通图像采集装置 112;

深度图像采集装置 110和普通图像采集装置 112的位置可任意放置，但为了获得最大的视角，深度图像采集装置 1 10可放置在一台普通图像采集装置 112的中间，这样获得的场景的深度图和彩色图的视角就会更大，可重构出更大范围内虚拟视点的 3D视频图像，且合成出的各虚拟视点的 3D视频图像效果更好。

( c ) 如图 17C所示，采集控制模块 1 13连接有两台或两台以上的深度图像采集装置 11 1。

多台深度图像采集装置 1 11可获得场景更多的深度图及与深度图对应的彩色图。因此，在进行虚拟视点的场景重构时可以获得更大的场景范围，且各深度图像采集装置获得的视频数据之间也可以进行参考，提高虚拟视点重构的精度。

上述采集控制模块 113与各图像采集装置组合的连接只是最基本的连接形式，根据实际需要可任意组合或添加图像采集装置的数量，以获得场景的更好的 3D视频数据，但在进行场景的视频采集时保证输出的视频图像数据应至少包括场景的一幅深度图和多幅彩色图。

如图 16所示，为降低系统的部署成本且保证视频采集的质量，本实施例采用上述的（a )和（b ) 两种基本组合形式的混合构成视频采集单元 11 , 其中包括两个采集控制模块 113 , 其中一个采集控制模块 113连接有一台深度图像采集装置 1 11和一台普通图像采集装置 112, 另一个采集控制模块 113 连接有一个深度图像采集装置 110 和一个普通图像采集装置 112。在进行场景的视频采集时，可合理分配各图像采集装置拍摄的视点位置，使得采集到的场景的各深度图和彩色图均有较好的视角，保证场景的各虚拟视点图像的重构效果。可以理解，采集控制模块 113连接的图像采集装置的数量越多，采集控制模块 113部署的数量越多，获得的场景的各深度图和彩色图的数量也就越多，获得场景的视角也就越大，在进行场景的各虚拟视点视频图像重构时的效果也就越好，根据实际需要，可选择合适的图像采集装置组合及连接方式。

本实施例中，如图 16所示，视频采集单元 11还可包括同步模块 114 和标定模块 1 15。同步模块 114用于产生同步信号，并将该同步信号输出至采集控制模块 113 , 由采集控制模块 113同步各图像采集装置对场景的拍摄；或，用于将同步信号输出至图像采集装置的外同步接口同步各图像采集装置对场景的拍摄，该同步信号由同步模块 114 自身产生或为图像采集过程中的一台图像采集装置的视频输出信号；标定模块 115用于接收图像采集装置采集的视频图像，根据采集的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数，并发送至采集控制模块 113; 采集控制模块 1 13 还用于根据内部参数和外部参数建立采集的视频图像与各图像采集装置属性的对应关系，并作为场景的视频图像数据输出，图像采集装置属性包括图像采集装置的内部参数和外部参数以及视频图像每帧的采集时间戳等。通过同步模块 1 14可实现各图像采集装置的同步采集，保证采集到的各视频图像的同步性。此外，通过图像采集装置标定，可获得图像采集装置的内部参数和外部参数，并可作为视频图像进行校正处理的参考依据，对不同图像采集装置拍摄出的视频图像进行校正处理，保证虚拟视点的重构效果。

如图 15所示，本实施例 3D视频图像通信发送设备还可包括预处理单元 14 , 用于从采集控制模块 113接收包括各图像采集装置采集到的视频图像和各图像采集装置属性，以及视频图像与各图像采集装置的属性的对应关系的视频图像数据，根据图像采集装置的内部参数和外部参数对视频图像数据进行校正处理，输出校正处理后的视频图像数据，视频编码单元 12可接收该预处理单元 14校正处理后的视频图像数据，对校正处理后的视频图像数据进行编码。其中，每个采集控制模块 113均有对应的预处理单元 14与之相连接，这样，可以保证对每个采集控制模块 113采集到的视频图像数据均可进行快速准确的处理，提高数据处理的效率。

此外，如图 15所示，本实施例中，视频输出单元 13也可包括输出处理模块 131和输出接口模块 132。其中，输出处理模块 131用于接收视频编码单元 12编码后的视频图像编码数据，并对该视频图像编码数据进行分组处理，封装成数据包；输出接口模块 132用于将进行分组处理，并封装成数据包的分组数据发送出去。本实施例还可包括复用单元 15 , 用于对视频图像编码数据进行复用，获得复用数据；输出处理模块 131还可用于接收复用数据，对复用数据进行分组处理并封装成数据包。

本实施例还可包括音频编码单元、系统控制单元和用户数据单元。音频编码单元用于对语音数据进行编码，并发送到输出处理模块 131 ; 系统控制单元用于将命令数据发送到输出处理模块 131 ; 用户数据单元用于将文件数据发送给输出处理模块 131 ; 输出处理模块 131还可用于对接收到编码语音数据、命令数据和 /或文件数据进行分组处理，并封装成数据包发送到输出接口模块 132。本实施例通过音频编码单元可将本地的语音信息与视频信息一同传输到视频的接收端，提高了 3D视频的实用性，此外，也可以将本地的一些文件数据，命令信息等发送到视频接收端，可满足用户的各种不同需求。本实施例也可包括控制输入单元 16, 与视频采集单元 11 中的采集控制模块 113 连接，用于获取控制信息，并将控制信息发送到采集控制模块，该控制信息可包括观看或显示视点、显示距离以及显示方式等信息，该控制信息可以由用户通过图形用户界面（ Graphical User Interface , GUI界面）或遥控设备进行输入，如显示或观看视点、距离和显示方式等信息，并可根据该信息对采集控制模块 1 13进行控制，若显示方式只需要 2D视频的显示，则可要求采集控制模块 113只选择普通图像采集装置进行场景的拍摄和采集，若需 3D视频显示，则可将深度图像采集装置和普通图像采集装置一同拍摄采集，根据观看或显示视点，可有选择的由部分图像采集装置进行场景的拍摄和图像采集，提高了图像采集效率，同时也可降低采集过多无用或重复的数据，给数据传输和处理带来不便。

为对本发明实施例有更好的了解，下面对本发明实施例中各主要功能模块或单元做具体的说明：

采集控制模块 113

采集控制模块用于控制与其连接的各图像采集装置进行视频图像的采集和输出。采集控制模块可以将模拟图像信号转换为数字视频图像信号或直接接收数字图像信号，采集控制模块可将采集到的图像数据以帧的形式保存在采集控制模块緩存中。此外，采集控制模块还可将采集到的视频数据提供给标定模块进行图像采集装置标定，标定模块将得到的图像采集装置的内部参数和外部参数的标定信息返回给对应的采集控制模块，采集控制模块再根据图像采集装置的标定信息建立起视频图像数据和对应的采集图像采集装置属性的一一对应关系，图像采集装置的属性包括图像采集装置的唯一的编码、图像采集装置的内部参数和外部参数以及每帧的采集时间戳等，并将图像采集装置的属性和视频图像数据按照一定的格式输出。同时，采集控制模块还可根据图像采集装置的标定信息通过图像采集装置的遥控接口对图像采集装置进行平移 /转动 /拉近 /拉远等操作，采集控制模块也可通过图像采集装置的同步接口向图像采集装置提供同步的适中信号，控制图像采集装置的同步采集。采集控制模块还可以根据控制输入单元接收到的观看或显示视点，可选择部分图像采集装置进行采集工作，关闭不需要的深度图像采集装置的采集，避免重复或无用的采集。

同步模块 1 14

同步模块用于控制多台图像采集装置的同步采集。对于高速运动的物体，同步采集是非常重要的，否则导致不同视点或是同一视点的图像在同一时刻差异很大，用户看到的 3D视频就会失真。同步模块可以通过硬件或软件时钟产生同步信号，并输出到图像采集装置的外同步接口对图像采集装置进行同步采集控制或是输出到采集控制模块，由采集控制模块通过控制线对图像采集装置进行同步采集控制。同步模块也可以采用一台图像采集装置的视频输出信号作为控制信号输入到其它图像采集装置进行同步采集控制。同步采集可实现帧同步或行 /场同步。

标定模块 115

标定模块主要实现图像采集装置标定，所谓图像采集装置标定，是获得图像采集装置的内部参数和外部参数。内部参数包括图像采集装置成像图像中心、焦距、镜头畸变等，外部参数包括图像采集装置位置的旋转和平移等参数。由于多台图像采集装置拍摄到的图像往往不是按扫描线对齐的，不符合人眼的成像模型，观看时，会对用户造成视觉疲劳。因此，需要将图像采集装置拍摄到的图像进行校正成符合人眼成像模型的图像，而通过图像采集装置标定获得的图像采集装置的内部参数和外部参数可作为对图像进行校正的依据。

在 3D视频的图像采集装置采集中，根据仿射变换原理，不考虑畸变情况下的某一点的理想成像方程可以表示为：

其中为成像点坐标； y_wZ_w为世界坐标； S为图像的尺度因子，是图像水平单位像素数/ _M和垂直单位像素数/ _ν·^ ； /为焦巨； "。，ν。为图像中心坐标； R为图像采集装置的旋转矩阵； t 为图像采集装置平移向量。其中 K为图像采集装置的内部参数， R和 t为图像采集装置的外部参数。

图像采集装置的标定可以采用传统标定法和自标定法等。传统标定法包括了直接线性变换标定法、基于径向排列约束标定法和平面标定法等。传统标定法的基本原理是使用标定参照物建立图像采集装置成像模型线形方程组，并测出参照物中一组点的世界坐标和其在成像平面上的对应坐标，然后将这些坐标值代入该线形方程组中求出内部参数和外部参数。自标定法是指不需要标定参照物，仅仅通过图像点之间的对应关系就可以对图像采集装置进行标定的过程。自标定依据的是多幅图像中成像点间存在的特殊约束关系，如极线约束，因此可以不需要场景的结构信息。

预处理单元 14

预处理单元从采集控制模块处接收采集的图像緩存和相应的图像采集装置参数，根据预处理算法对緩存的图像进行处理。预处理主要包括以下内容：

( 1 )根据图像采集装置标定的标定信息对彩色图和深度图进行校正，使彩色图和深度图对齐。为便于在某一视点进行图像的重构，该视点的彩色图和深度图的内容应相同。但普通图像采集装置和深度图像采集装置的位置不可能精确重合，因此需要利用图像采集装置标定结果对彩色图和深度图执行变换，使彩色图和深度图像比较精确地重合；

( 2 ) 消除不同图像采集装置带来的图像差异。可对不同图像采集装置因设置而导致的彩色图的亮度和色度的差异进行调节，使不同图像采集装置获得的彩色图色彩一致；

( 3 ) 根据图像采集装置的标定参数对彩色图或深度图进行校正，可对图像进行径向畸变等的校正。

视频编码单元 12

由于 3D视频系统中具有多个通道图像的视频数据，具有的视频数据非常大，给视频数据的传输和存储带来了困难。因此，需要一个较好的是视频编码单元对视频数据进行处理。目前 3D视频编码主要分为两类：基于块的编码和基于对象的编码。在 3D图像的的编码中，除了帧内预测和帧间预测消除空域和时域上的数据冗余度外，还必须消除多通道图像之间的空域数据冗余性。视差（Parallax )估计与补偿技术可用于消除多通道图像间的空域冗余度。视差估计与补偿的核心是找到两幅或多幅图像间的相关性，和运动估计补偿是类似的，但视差估计与补偿比运动估计补偿要复杂。运动估计补偿处理的是同一图像采集装置时间不同步的图像，而视差估计与补偿处理的是不同图像采集装置时间同步的图像。在视差估计与补偿中，可能所有像素的位置都会发生改变，距离很远的物体可以认为视差为 0。

本发明实施例中所述的视频编码单元可利用 MPEG-4、 H.264等编解码标准对预处理单元输出的彩色图和深度图数据进行编码，其中深度的描述可以采用 MPEG标准。目前有多种对彩色图 +深度图数据编码的方法，如基于分层的 3D视频编码方法，该方法主要是将 H.264协议中 SEI信息与分层编码思想相结合，将一个通道的视频数据采用常规方法编码为只包含 I 、 P 帧的基本层，通道的彩色图数据，而后对另外一个通道的数据全部编码成 P帧，如深度图数据，预测时的参考帧采用本通道前一帧或基本层中对应的帧，这样在解码时可具有较好的 2D/3D兼容性，对于传统的 2D显示，只需解码基本层数据即可；对于 3D显示，全部解码。

控制输入单元 16

控制输入单元主要用于接收视频用户或视频终端的输入，并反馈给视频采集单元以及视频编码单元。控制输入单元包括的信息主要有观看和显示视点、显示方式和用户的距离信息等。控制输入单元的信息可以由用户通过图形用户界面或遥控设备进行输入，如观看或显示视点、距离信息和显示方式。此外，控制输入单元还可以根据观看视点等信息有选择的对图像采集装置进行控制，如可只选择视频采集单元中的其中一台或多台图像采集装置进行视频图像的采集。同时，若控制输入单元接收的显示方式为 2D显示，可对图像处理单元中的视频编码单元进行控制，只对 2D显示所需的彩色图进行编码；若显示方式为 3D显示，则对输出彩色图和深度图数据进行编码。

本实施例中，通过采集控制模块控制各图像采集装置的图像采集，并可在采集中对图像采集装置的拍摄视角进行布置，可获得较大视角的场景的 3D 视频数据，在进行场景的各虚拟视点的重构时具有较好的重构效果；通过同步模块和标定模块，可获得同步的视频数据和图像采集装置标定参数，使得采集到的视频图像的处理更加准确；同时，对视频数据进行编码处理，提高了数据存储和传输的便利，便于对大量视频数据的存储和传输操作，本实施例进一步地提高了视频采集和处理的精度，提高了虚拟视点视频图像的重构效果。

图 18为本发明图像重构系统实施例一的结构示意图。具体地，如图 18 所示，该重构系统可包括：

第一普通图像采集装置 610 , 用于获取已知第一视点的第一彩色图。第二普通图像采集装置 620, 用于获取已知第二视点的第二彩色图。第一深度图像采集装置 630, 用于获取所述已知第一视点的第一深度图。第一确定装置 640, 用于根据所述第一彩色图、所述第二彩色图和所述第一深度图确定所述第一深度图的第一深度视差对应因子。

第一转换装置 650, 用于根据所述第一深度视差对应因子对所述第一深度图进行深度视差转换，获取第一视差信息。

第一重构装置 660, 用于根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像。

所述图像重构系统的工作过程和工作原理可参考前述本发明图像重构方法实施例，在此不再贅述。

本发明实施例通过直接获取深度图，通过将所述深度图转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。

图 19为本发明图像重构系统实施例二的结构示意图。在上述实施例一技术方案的基础上，若普通图像采集装置所获取图像中的点与深度图像采集装置所获取深度图像中的对应点不重合或普通图像采集装置所获取的两个图像不平行，则本实施例图像重构系统还可包括校正装置 611 和第一配准装置 612。具体地，本实施例图像重构系统可包括：

第一普通图像采集装置 610 , 用于获取已知第一视点的第一彩色图。第二普通图像采集装置 620, 用于获取已知第二视点的第二彩色图。第一深度图像采集装置 630, 用于获取所述已知第一视点的第一深度图。校正装置 611 , 用于校正所述第一彩色图和所述第二彩色图，使所述第一彩色图中的点与所述第二彩色图中的对应点平行。

第一配准装置 612, 用于配准所述第一彩色图和所述第一深度图，使所述第一彩色图中的点与所述第一深度图中的对应点重合。

第一确定装置 640, 用于根据所述第一彩色图、所述第二彩色图和所述第一深度图确定所述第一深度图的第一深度视差对应因子。

图 20为本发明图像重构系统实施例三的结构示意图。在上述实施例二技术方案的基石出上，本实施例还可包括：

第二深度图像采集装置 710, 用于获取所述已知第二视点的第二深度图。第二确定装置 720, 用于根据所述第一彩色图、所述第二彩色图和所述第二深度图确定所述第二深度图的第二深度视差对应因子。

第二转换装置 730, 用于根据所述第二深度视差对应因子对所述第二深度图进行深度视差转换，获取第二视差信息。第二重构装置 740, 用于根据所述第二彩色图和所述第二视差信息重构所述虚拟视点的第四图像。

空洞填补装置 750, 用于根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。

所述图像重构系统的工作过程和工作原理参考前面相关部分的描述，为了篇幅考虑，在此不进行详细描述。

为了使普通图像采集装置所获取图像中的点与深度图像采集装置所获取深度图像中的对应点重合，所述第一普通图像采集装置和所述第一深度图像采集装置、所述第二普通图像采集装置和所述第二深度图像采集装置优选重合或集成一体。

如果普通图像采集装置所获取图像中的点与深度图像采集装置所获取深度图像中的对应点不重合或普通图像采集装置所获取的两个图像不平行，则所述图像重构系统还包括：

校正装置 611、用于校正所述第一彩色图和所述第二彩色图，使所述第一彩色图中的点与所述第二彩色图中的对应点平行。

第二配准装置 613 , 用于配准所述第二彩色图和所述第二深度图，使所述第二彩色图中的点与所述第二深度图中的对应点重合。

本发明实施例通过直接获取深度图，通过将所述深度图转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且提高了重构图像的质量。并且，通过获取场景足够多的深度图，解决了场景内的遮挡问题。而所述场景内的遮挡问题在采用立体匹配算法重构图像时是无法解决的。

图 21为本发明图像重构系统实施例四的结构示意图。本实施例可包括：普通图像采集装置 810, 用于获取已知视点的彩色图。深度图像采集装置 820, 用于获取所述已知视点的深度图。

转换装置 830 , 用于对所述深度图进行深度视差转换，获取所述深度图对应的视差信息。

重构装置 840 , 用于根据所述已知视点的所述彩色图和所述视差信息重构虚拟视点的图像。

图 22为本发明图像重构系统实施例五的结构示意图。本实施例可包括：普通图像采集装置 810, 用于获取已知视点的彩色图。

深度图像采集装置 820, 用于获取所述已知视点的深度图。

确定装置 850, 用于确定所述深度图的深度视差对应因子。

配准装置 860 , 用于对所述普通图像采集装置所获取的图像和所述深度图像采集装置所获取的图像进行配准，使深度图中的点与图像中的对应点在位置上完全相同。

所述转换装置 830根据所述深度视差对应因子对所述深度图进行深度视差转换，获取所述深度图对应的视差信息。

本实施例采用一个已知视点的彩色图和深度图，其应用的场景是生成 d、视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行彩色图的校正，但是需要进行彩色图与深度图的配准。所述配准过程与前面实施例的过程相同。在本实施例中，仍然需要确定深度视差对应因子，不过此时的深度视差对应因子不具有实际的意义，深度视差对应因子的选择可以根据应用场景的需要来进行选择，如根据立体显示器的参数来进行选择。

图 23为本发明 3D视频通信系统实施例的结构示意图。具体地，如图 23 所示，本实施例包括发送设备 1和接收设备 2。其中，发送设备 1 包括视频采集单元 11、视频编码单元 12和视频输出单元 13。其中，视频采集单元 11 用于获取图像采集装置采集的场景的视频图像数据，该视频图像数据包括至少一幅深度图和至少二幅彩色图，该视频采集单元 11包括至少一台能输出场景深度信息的深度图像采集装置和至少一台能输出场景彩色 /灰度视频信息的普通图像采集装置，或包括至少一台能输出场景深度信息和彩色 /灰度视频信息的深度图像采集装置；视频编码单元 12用于对所述视频图像数据进行编码，获得视频图像编码数据；视频输出单元 13用于接收视频编码单元 12编码后的视频图像编码数据，并将该视频图像编码数据发送出去。接收设备 2 包括视频接收单元 21和视频解码单元 22。视频接收单元 21用于接收视频输出单元 13发送来的视频图像编码数据；视频解码单元 22用于对该视频图像编码数据进行解码，获得视频图像解码数据。发送设备 1和接收设备 2之间可直接连接，也可通过现有的通信网络，如 Internet网连接。

本实施例中，可通过视频采集单元 11 中的深度图像采集装置获取场景的深度图和 /或彩色图，普通图像采集装置获取场景的彩色图，然后将获得的场景的深度图和彩色图作为 3D 视频图像数据并传给视频编码单元 12, 由视频编码单元 12对采集到的视频图像数据进行编码处理，获得场景的视频图像编码数据 ,并将该视频图像编码数据发送到视频输出单元 13 , 由视频输出单元 13将该视频图像编码数据发送到视频图像接收设备。

本实施例通过深度图像采集装置采集场景的深度图，获得的深度图准确可靠，同时可通过深度图像采集装置和 /或普通图像采集装置获取场景的多幅彩色图或灰度图，这样在进行各虚拟视点场景的 3D视频图像重构时，可以获得各种视点的 3D视频图像数据，在进行虚拟视点的视频图像重构时，可利用深度图像采集装置采集到的深度图和彩色图进行虚拟视点的重构，然后再利用普通图像采集装置采集到的彩色图对重构出的图像进行修补，消除可能产生的空洞区域，使得重构出的图像更加符合场景的真实效果，满足了用户的视觉效果，同时，在采集时，可以将深度图像采集装置和普通图像采集装置设置合适的拍摄视点，这样获得的场景的图像包含了较大视角的视频图像，可重构出更大视角范围的虚拟视点的图像，且具有较好的重构效果。接收设备 2接收到发送设备 1发送来的的视频图像编码数据后，可根据接收到的视频图像编码数据进行相应的解码、视频图像的重构、渲染和显示等处理。由于本实施例深度图由深度图像采集装置采集得到，获得的深度图质量好，且深度图的采集具有较强的实时性，在进行各虚拟视点场景的 3D视频图像重构时，可利用深度图像采集装置采集到的深度图和一幅彩色图进行虚拟视点的重构，然后再利用普通图像采集装置采集到的彩色图对重构出的图像进行修补，消除可能产生的空洞区域，使得重构出的图像更加符合实际场景，满足用户的视觉效果。

图 24为本发明 3D视频通信系统实施例中接收设备的结构示意图。本实施例中，接收设备 2还可包括图像重构系统 23 , 用于根据显示信息和视频图像解码数据，重构需要显示的视点的视频图像。本实施例中的接收设备 2中还可包括解复用单元 24, 用于对视频接收单元 21接收到的复用数据进行解复用，该复用数据为视频图像编码数据的复用数据。其中，图像重构系统 23 可接收视频解码单元 22输出的视频图像解码数据，并根据视频图像解码数据中的深度图和彩色图进行显示视点视频图像的重建，获得显示视点的重建图像，并可根据视频图像解码数据中的彩色图对显示视点的重建图像中的空洞区域进行修补，和 /或采用线性或非线性插值的方法对显示视点的重建图像中的空洞区域进行修补，获得显示视点的视频图像。本实施例中的接收设备 2 中还可包括显示输入单元 25 , 用于获取显示信息，该显示信息包括显示或观看视点、显示方式以及显示距离等信息，图像重构系统 23可根据该显示信息对视频图像解码数据进行重构，重构出所需要显示的视点的视频图像。本实施例发送设备中还可包括渲染单元 26和显示单元 27, 其中，渲染单元 26用于接收显示视点的视频图像并渲染；显示单元 27用于接收渲染单元 26渲染的显示视点的图像数据，并显示显示视点的视频图像。其中，渲染单元 26也可接收视频解码单元 22直接发送过来的视频图像解码数据，进行渲染并送到显示单元 27进行显示。此外，接收设备 2中还可包括语音解码单元、系统控制单元和 /或用户数据单元，语音解码单元可用于对接收到的编码语音数据进行解码；系统控制单元可用于对接收到的系统命令数据进行相应的处理；用户数据单元可对接收到的文件数据等进行存储、编辑等处理，上述所述的语音解码单元、系统控制单元和用户数据单元未在附图中示出。

下面对图像重构系统 23的原理和作用进行具体的说明：

图像重构系统用于根据获得的场景的彩色图和深度图的数据进行虚拟视点图像的重建。可利用基于图像的渲染重构技术对虚拟视点图像的重建。基于图像的渲染的重构技术中， /。表示原始纹理图像，表示新的重建的视点图像， d表示深度图， d(x , y)表示像素 (X , y)处的视差值， "为偏移量的一个权值。以平行图像采集装置系统为例，对于重建的视点图像中的每个像素 (X , y) , 有下列关系：

(x, y) = I_N{x + a - d (x, y),y)

根据图像采集单元中图像采集装置的种类和数量，根据各图像采集装置获得深度图和彩色图进行虚拟视点的重构可采用不同的方式。

若采集视频数据的图像采集装置只包括一台或多台深度图像采集装置 110深度图像采集装置 111 , 可根据以下步骤对虚拟视点的图像进行重构：

( 1 )根据其中一台深度图像采集装置 D , 利用其输出的彩色图和深度图 A采用上述基于图像的渲染的重构技术的通用算法进行重构，得到图像采集装置组中的虚拟视点 V的一个重建图像 ( 2 )根据另外一台深度图像采集装置 DC₂ , 利用其输出的彩色图 /₂和深度图 D₂采用上述的通用算法进行重构，得到同样的虚拟视点 V的另一重建图像 /_v ² ;

( 3 )虚拟视点 V最终的重建图像可为和 /_v ²的并集，即 /_v = υ /_ν ² , /_v ²可以填补图像中的空洞。对于和/ 中的交集部分，最终可以采用加权的方式进行合成，如采用公式： /(JC，J =

为和视点位置相关的权值；

( 4 ) 对于步骤（3 )之后形成的重建图像 A中剩下的空洞区域，可以根据空洞周围像素的亮度、色度和深度信息确定空洞区域内像素相应的信息对空洞区域进行修补，如采用线性或非线性插值的方法进行修补，最终获得该虚拟视点的视频图像。

同样的，采集视频数据的图像采集装置只包括一台深度图像采集装置

1 10深度图像采集装置 111和一台普通图像采集装置 112, 可根据以下步骤进行虚拟视点重构：

( 1 )根据其中的深度图像采集装置 DC , 利用其输出的彩色图 A和深度图采用上述的通用算法进行重构，得到图像采集装置组中的虚拟视点 V的重建图像 /_v ;

( 2 )对于 /_v中出现的空洞，利用普通图像采集装置输出的彩色图像 /₂ 进行填补。填补的基本方法：首先，求出普通图像采集装置和深度图像采集装置之间的位置关系，如根据图像采集装置标定的标定参数；然后，利用深度图 D找到 /_v中空洞区域在 /₂中对应的位置，将 /₂在此位置处的像素经过投影变换映射到 /_v中用于填补 /_v中的空洞。

( 3 ) 对于步骤（2 )之后 /_v中剩下的空洞区域，采用线性或非线性插值等方法进行修补，最终获得该虚拟视点的视频图像。

同时，图像重构系统还可对重构出的视点的视频图像还可以进行滤波等图像处理，提高视频图像的效果。

实际应用中，如图 18 所示，本发明实施例中的图像重构系统具体可包括第一普通图像采集装置 610、第二普通图像采集装置 620、第一深度图像采集装置 630、第一确定装置 640、第一转换装置 650和第一重构装置 660。或者，如图 19所示，本发明实施例中的图像重构系统具体可包括第一普通图像采集装置 610、第二普通图像采集装置 620、第一深度图像采集装置 630、校正装置 611、第一配准装置 612、第一确定装置 640、第一转换装置 650和第一重构装置 660; 或者如图 20所示，本发明实施例中的图像重构系统具体可包括第一普通图像采集装置 610、第二普通图像采集装置 620、第一深度图像采集装置 630、校正装置 611、第一配准装置 612、第一确定装置 640、第一转换装置 650、第一重构装置 660、第二深度图像采集装置 710、第二确定装置 720、第二转换装置 730、第二重构装置 740和空洞填补装置 750; 或者，如图 21所示，本发明实施例中的图像重构系统具体可包括普通图像采集装置 810、深度图像采集装置 820、转换装置 830和重构装置 840; 或者，如图 22 所示，本发明实施例中的图像重构系统具体可包括普通图像采集装置 810、深度图像采集装置 820、转换装置 830、重构装置 840、确定装置 850、和配准装置 860。具体地，本实施例中的图像重构系统可具有与上述本发明图像重构系统实施例相同的结构和功能，在此不再贅述。

此外，本实施例中的发送设备 1 中的视频采集单元 11还可包括至少一个采集控制模块 113、同步模块 1 14和标定模块 115; 视频输出单元 13 可包括输出处理模块 131和输出接口模块 132; 发送设备 1还可包括预处理单元 14、复用单元 15、控制输入单元 16、音频编码单元、系统控制单元和用户数据单元。其中采集控制模块 113可与多种由深度图像采集装置和普通图像采集装置的组合进行连接，以控制各图像采集装置进行场景的拍摄和采集。具体地，本实施例中的发送设备 1 的结构与上述本发明 3D视频通信发送设备各实施例相同，在此不再贅述。此外，本实施例中的发送设备和接收设备可集成在一起，使得集成的设备即可以发送视频图像数据到其它设备，也可以接收并处理其它设备发送来的视频图像数据，同时也可接收并处理自身设备采集到的视频图像数据，可在本地实时显示视频图像，本实施例中的发送设备和接收设备也可通过现有的各种无线或有线网络连接，可应用于远程视频图像采集等。

本实施例中的发送设备通过图像采集装置采集到的包括深度图和彩色图的视频图像数据，采集到的深度图准确可靠，且具有较强的实时性，同时可将视频图像数据传输到接收设备，由接收设备对视频图像数据进行处理；由于采集的视频图像数据包括深度图和彩色图，在进行虚拟视点的视频图像重构时，可利用多幅彩色图对只由一幅彩色图重构时产生的空洞区域进行修补，使得重构出的图像效果好，具有较强的实用性，可满足 3D 视频的需要。

最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims

权利要求

1、一种 3D视频通信方法，其特征在于包括：

对所述视频图像数据进行编码，获得视频图像编码数据；

将所述视频图像编码数据发送出去。

2、根据权利要求 1所述的 3D视频通信方法，其特征在于，所述获取图像采集装置采集的场景的视频图像数据具体包括：

控制各图像采集装置，使之对所述场景的图像采集同步；

对所述各图像采集装置采集到的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数；

根据所述内部参数和外部参数建立各图像采集装置采集的所述视频图像与各图像采集装置属性的对应关系，并作为所述场景的视频图像数据，所述图像采集装置属性包括图像采集装置的内部参数、外部参数以及所述视频图像每帧的采集时间戳。

3、根据权利要求 2所述的 3D视频通信方法，其特征在于，所述控制各图像采集装置，使之对所述场景的图像采集同步，其过程具体包括：

提供同步信号，根据所述同步信号同步所述各图像采集装置对所述场景的图像采集。

4、根据权利要求 2所述的 3D视频通信方法，其特征在于，所述对所述视频图像数据进行编码之前还包括：

根据所述图像采集装置属性，对所述视频图像数据进行校正处理，获得校正处理后的视频图像数据。

5、根据权利要求 2所述的 3D视频通信方法，其特征在于，在所述控制各图像采集装置，使之对所述场景的图像采集同步之前还包括：

接收外部输入的控制信息，根据所述控制信息设定各图像采集装置的视角及拍摄距离，所述控制信息包括观看视点、显示方式以及显示距离信息。

6、一种 3D视频通信发送设备，其特征在于，包括：

视频输出单元，用于将所述视频图像编码数据发送出去。

7、根据权利要求 6所述的 3D视频通信发送设备，其特征在于，所述视频采集单元包括：

采集控制模块，用于控制与其连接的图像采集装置进行所述场景的图像采集；

同步模块，用于产生同步信号，并将所述同步信号输出至所述采集控制模块，由所述采集控制模块同步各图像采集装置对所述场景的图像采集；或，用于将所述同步信号输出至图像采集装置的外同步接口同步各图像采集装置对所述场景的图像采集，所述同步信号由所述同步模块自身产生或为所述各图像采集装置中的一台图像采集装置的视频输出信号；

标定模块，用于接收所述图像采集装置采集的视频图像，并根据所述采集的视频图像进行图像采集装置标定，获得各图像采集装置的内部参数和外部参数，并发送至所述采集控制模块；

所述采集控制模块还用于根据所述内部参数和外部参数建立各图像采集装置采集的所述视频图像与各图像采集装置属性的对应关系，并作为所述场景的视频图像数据输出 , 所述图像采集装置属性包括图像采集装置的内部参数、外部参数以及所述视频图像每帧的采集时间戳。

8、根据权利要求 7所述的 3D视频通信发送设备，其特征在于，所述 3D 视频通信发送设备还包括：

预处理单元，用于从所述采集控制模块接收包括所述视频图像和所述图像采集装置属性，以及所述视频图像与各图像采集装置的属性的对应关系的所述视频图像数据，根据所述图像采集装置的内部参数和外部参数对所述视频图像数据进行校正处理，输出校正处理后的视频图像数据。

9、根据权利要求 7所述的 3D视频通信发送设备，其特征在于，所述 3D 视频通信发送设备还包括：

控制输入单元，用于获取控制信息，并将所述控制信息发送到所述采集控制模块，所述控制信息包括观看视点、显示距离以及显示方式。

10、一种图像重构方法，其特征在于，包括：

获取已知视点的彩色图；

获取所述已知视点的深度图；

对所述深度图进行深度视差转换，获取所述深度图对应的视差信息；根据所述已知视点的所述彩色图和所述视差信息重构虚拟视点的图像。

11、根据权利要求 10所述的图像重构方法，其特征在于，所述对所述深度图进行深度视差转换，获取所述深度图对应的视差信息为：

根据所述深度图的深度视差对应因子对所述深度图进行深度视差转换，获取所述深度图对应的视差信息。

12、根据权利要求 11所述的图像重构方法，其特征在于，在所述对所述深度图进行深度视差转换，获取所述深度图对应的视差信息前还包括：

配准所述已知视点的彩色图和所述已知视点的深度图，使所述深度图中的点与所述彩色图中的对应点重合。

13、一种图像重构方法，其特征在于，包括：

根据所述第一彩色图和所述第一视差信息重构虚拟视点的第三图像。

14、根据权利要求 13所述的图像重构方法，其特征在于，还包括：获取所述已知第二视点的第二深度图；

根据所述第一彩色图、所述第二彩色图和所述第二深度图确定所述第二深度图的第二深度视差对应因子；

根据所述第二深度视差对应因子对所述第二深度图进行深度视差转换，获取第二视差信息；

根据所述第二彩色图和所述第二视差信息重构所述虚拟视点的第四图像。

15、根据权利要求 14所述的图像重构方法，其特征在于，重构所述虚拟视点的第三图像和第四图像后，还包括：

根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。

16、根据权利要求 13或 14或 15所述的图像重构方法，其特征在于，所述第一深度视差对应因子或所述第二深度视差对应因子根据以下公式确定：

N ( N为 1、 2、 3... ... )

其中，所述为深度视差对应因子，所述 ^νχ·为所述第一彩色图和所述第二彩色图中第 i特征点之间的视差 ,所述" '·为深度图中第 i特征点的深度图 ^Z■ 的倒数，即^⁰'^ ¹^。

17、根据权利要求 13或 14或 15所述的图像重构方法，其特征在于，确定所述第一深度图的第一深度视差对应因子前还包括：

校正所述第一彩色图和所述第二彩色图，使所述第一彩色图中的点与所述第二彩色图中的对应点平行；

18、根据权利要求 14或 15所述的图像重构方法，其特征在于，确定所述第二深度图的第二深度视差对应因子前还包括：

19、一种图像重构系统，其特征在于，包括：

普通图像采集装置，用于获取已知视点的彩色图；

深度图像采集装置，用于获取所述已知视点的深度图；

20、根据权利要求 19所述的图像重构系统，其特征在于，还包括：确定装置，用于确定所述深度图的深度视差对应因子；

所述转换装置根据所述深度视差对应因子对所述深度图进行深度视差转换，获取所述深度图对应的视差信息；

配准装置，用于配准所述已知视点的彩色图和所述已知视点的深度图，使所述深度图中的点与所述彩色图中的对应点重合。

21、一种图像重构系统，其特征在于，包括：第一普通图像采集装置，用于获取已知第一视点的第一彩色图；第二普通图像采集装置，用于获取已知第二视点的第二彩色图；第一深度图像采集装置，用于获取所述已知第一视点的第一深度图；第一确定装置，用于根据所述第一彩色图、所述第二彩色图和所述第一深度图确定所述第一深度图的第一深度视差对应因子；

22、根据权利要求 21所述的图像重构系统，其特征在于，还包括：第二深度图像采集装置，用于获取所述已知第二视点的第二深度图；第二确定装置，用于根据所述第一彩色图、所述第二彩色图和所述第二深度图确定所述第二深度图的第二深度视差对应因子；

第二转换装置，用于根据所述第二深度视差对应因子对所述第二深度图进行深度视差转换，获取第二视差信息；

第二重构装置，用于根据所述第二彩色图和所述第二视差信息重构所述虚拟视点的第四图像。

23、根据权利要求 22所述的图像重构系统，其特征在于，还包括：空洞填补装置，用于根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。

24、根据权利要求 21或 22或 23所述的图像重构系统，其特征在于，还包括：

校正装置，用于校正所述第一彩色图和所述第二彩色图，使所述第一彩色图中的点与所述第二彩色图中的对应点平行；

第一配准装置，用于配准所述第一彩色图和所述第一深度图，使所述第一彩色图中的点与所述第一深度图中的对应点重合。

25、根据权利要求 22或 23所述的图像重构系统，其特征在于，还包括：第二配准装置，用于配准所述第二彩色图和所述第二深度图，使所述第二彩色图中的点与所述第二深度图中的对应点重合。

26、一种 3D视频通信系统，包括发送设备和接收设备，其特征在于，所述发送设备包括：

视频输出单元，用于将所述视频图像编码数据发送出去；

所述接收设备包括：

27、根据权利要求 26所述的 3D视频通信系统，其特征在于，所述视频采集单元包括：

同步模块，用于产生同步信号，并将所述同步信号输出至所述采集控制模块，由所述采集控制模块同步各图像采集装置；或，用于将所述同步信号输出至图像采集装置的外同步接口同步各图像采集装置对所述场景的图像采集，所述同步信号由所述同步模块自身产生或为所述各图像采集装置中的一台图像采集装置的视频输出信号；

28、根据权利要求 27所述的 3D视频通信系统，其特征在于，所述发送设备还包括：

预处理单元，用于从所述采集控制模块接收包括所述视频图像和所述图像采集装置属性，以及所述视频图像与各个图像采集装置的属性的对应关系的所述视频图像数据，根据所述图像采集装置的内部参数和外部参数对所述视频图像数据进行校正处理，输出校正处理后的视频图像数据。

29、根据权利要求 26所述的 3D视频通信系统，其特征在于，所述接收设备还包括图像重构系统，其中，所述图像重构系统包括：

普通图像采集装置，用于获取已知视点的彩色图；

深度图像采集装置，用于获取所述已知视点的深度信息；

转换装置，用于对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息；

30、根据权利要求 26所述的 3D视频通信系统，其特征在于，所述接收设备还包括图像重构系统，其中，所述图像重构系统包括：

第一普通图像采集装置，用于获取已知第一视点的第一彩色图；第二普通图像采集装置，用于获取已知第二视点的第二彩色图；第一深度图像采集装置，用于获取所述已知第一视点的第一深度信息；第一确定装置，用于根据所述第一彩色图、所述第二彩色图和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子；

第一转换装置，用于根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息；

31、根据权利要求 30所述的 3D视频通信系统，其特征在于，所述图像重构系统还包括：

第二深度图像采集装置，用于获取所述已知第二视点的第二深度信息；第二确定装置，用于根据所述第一彩色图、所述第二彩色图和所述第二深度信息确定所述第二深度信息的第二深度视差对应因子；

第二转换装置，用于根据所述第二深度视差对应因子对所述第二深度信息进行深度视差转换，获取第二视差信息；

32、根据权利要求 31所述的 3D视频通信系统，其特征在于，所述图像重构系统还包括：

空洞填补装置，用于根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。