WO2013159568A1

WO2013159568A1 - 一种立体视频对产生方法及装置

Info

Publication number: WO2013159568A1
Application number: PCT/CN2013/000466
Authority: WO
Inventors: 虞露; 赵寅
Original assignee: 浙江大学
Priority date: 2012-04-25
Filing date: 2013-04-24
Publication date: 2013-10-31
Also published as: CN103379355B; US9888222B2; EP2843948B1; US20150334364A1; EP2843948A1; CN103379355A; EP2843948A4

Abstract

本发明公开了一种应用于多媒体通信领域的立体视频对产生方法，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；立体视频对在立体显示器D1上显示；显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端缩放系数S1；摄像机视点位置信息指示三维视频序列中一个摄像机视点C的位置；虚拟视点位置信息指示一个虚拟视点P1的位置；显示端缩放系数S1为所述立体显示器D1的水平分辨率Res1与水平宽度W1的比值；本发明还公开了立体视频对产生装置。本发明改善最终三维立体显示的视觉感受。

Description

一种立体视频对产生方法及装置

技术领域

本发明涉及一种多媒体通信领域，具体涉及一种立体视频对产生方法及装置。背景技术

三维视频（3D video)序列包括多路（通常为 2路）视频序列（对应于纹理信息）、对应的深度（depth) 序列（对应于深度信息），通常也被称为 MVD (multi-view video plus depth) 格式；每一路视频序列，通常由一个摄像机拍摄获得,所以称为一个摄像机视点视频序列，其对应的视点称为摄像机视点 (camera view) o 三维视频序列也包含每个视点的摄像机参数等信息。三维视频通过视点合成（view synthesis)技术产生一个虚拟视点视频序列，其对应的视点称为虚拟视点（virtual view)。传统的双目立体视频（stereoscopic video)仅由两个固定视点（即左视点和右视点）的视频序列构成，也称为一个立体视频对（stereos pair)。由双目摄像机获得的立体视频对可能存在两视图像视差过大的问题。观看这样的立体视频对会引起较严重的视觉疲劳，或者说这样的立体视频对并不适合于双目立体观看（stereoscopic viewing)。引入虚拟视点视频序列后，可以利用立体视频对中的一个视频序列和一个合成的虚拟视点视频序列构成一个更适合双目立体观看的立体视频对。对于不同显示器（不同分辨率或不同宽度)， N个像素的视差对应于不同的深度感受。

虚拟视点视频序列通过视点合成（view synthesis)技术产生。视点合成采用基于深度和图像渲染（depth-image-based rendering, 简称 DIBR) 技术，将一个摄像机视点图像的像素通过其对应的深度值和相应的摄像机参数（例如每个视点的焦距、坐标位置等），投影到另一虚拟视点上，从而生成投影图像；再通过空洞填充（hole filling). 滤波（filtering)、变采样（resampling) 等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合（view merging), 再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。

一个立体视频对包括两个视频序列，即左视点视频序列（用于显示给左眼观看）和右视点视频序列（用于显示给右眼观看）。为了改善立体视频对的立体感觉，通常可以采用水平平移（shifting)立体视频对图像的方法来调节显示器上呈现的视差（parallax) 范围。当左视点图像（即左视点视频序列的图像）相对于右视点图像向右平移时，负视差（negative parallax)增大，正视差（positive parallax) 减小；当左视图像相对于右视图像向左平移时，负视差（negative parallax)减小，正视差（positive parallax)增大。以左视点图像相对于右视点图像向右平移 N个像素为例，通常的方法有，依次将左视点图像中（从左向右）第 i列像素拷贝给第 i+N/2列，同时将右视点图像第 i列像素拷贝给第 i-N/2列；或者右视点图像保持不变，左视点图像的第 i列的图像拷贝给第 i+N列。将左视点图像相对于右视点图像向左平移 N个像素与上述方法类似。

显示器屏幕的物理分辨率，即显示面板上像素的物理分辨率，是显示器固有的参数，其含义指显示屏最高支持显示的水平和竖直方向像素数。显示器也可以不工作在这个由物理分辨率决定的最高分辨率下，例如可以将一个物理分辨率为 1920*1080的显示器设置在 1600*900或 1024*768等其它的屏幕分辨率下工作。因此，显示器的工作分辨率为显示器所处工作状态下的屏幕分辨率，而并不一定为显示器屏幕的物理分辨率。在电视、电影等应用中，显示器全屏显示输入图像，此时显示器屏幕实际有效的水平宽度（简称实际宽度）或水平尺寸即等于显示器的物理宽度。如果输入图像的分辨率，即输入显示器的图像的水平和竖直方向像素数，低于显示器当前工作分辨率时，则显示器通常会将输入图像上采样拉伸放大到全屏画幅显示（即常说的扩展显示），此时显示器显示的内容对应于输入图像中的所有像素，所以此时显示器的实际分辨率可以认为是输入图像的分辨率，而不是显示器的物理分辨率或工作分辨率。如果输入图像的分辨率高于显示器当前工作分辨率，则显示器通常会将输入图像下采样缩小到全屏画幅显示，此时显示器显示的内容也对应于输入图像中的所有像素，所以此时显示器的实际分辨率也可以认为是输入图像的分辨率。

但是，在有些应用中，例如常见的 "画中画"和窗口显示等，输入图像并不全屏显示，而是按照显示器工作状态下的实际分辨率，将输入图像显示在屏幕中的一个区域，例如位于屏幕中心或靠近右下角的一个矩形区域。因此，显示器屏幕的实际宽度可以统一地描述为实际用于显示图像的区域的物理宽度，显示器的实际分辨率可以认为是输入图像的分辨率。另外，显示应用中也有可能在显示屏幕上一个宽度为 X的区域内仅显示输入图像的一部分 Y, 其中 Y的水平像素数记为 M，则此时显示器屏幕的实际宽度可以认为是显示图像区域的宽度 X, 显示器的实际水平分辨率为 Y的水平像素数 M。上述实际宽度也可以用它的一个近似值来代替，并不一定要为高精确度的数值，例如该近似值与实际宽度的误差不超过 10°/。即可。

综上，为了统一简化描述，本发明中分辨率以水平和竖直方向的像素数来表示，显示器的实际分辨率指输入图像中实际上被用于显示的那部分区域图像对应的分辨率；显示器屏幕的实际宽度或水平尺寸是指实际上用于显示输入图像的那部分屏幕区域的物理宽度。特别的，当输入图像的分辨率等于显示器的物理分辨率、显示器工作分辨率也等于物理分辨率且图像被全屏显示时，显示器的实际分辨率等于屏幕的物理分辨率，显示器的实际宽度等于显示器的物理宽度。发明内容

为克服现有技术的上述缺陷，本发明的目的在于根据显示辅助信息（包含用于显示立体视频对的立体显示器的分辨率和屏幕宽度），对重建的三维视频序列进行处理，得到一个适合通过目标立体显示器观看的立体视频对，从而改善最终三维立体显示的视觉感受。

本发明第一技术方案是公开一种立体视频对产生方法，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述立体视频对在立体显示器 D1上显示；

所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端縮放系数 S1 ;

所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 c的位置；所述虚拟视点位置信息指示一个虚拟视点 P1的位置；

所述显示端缩放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1 的比值，即 Sl =Resl/Wl，所述水平宽度为显示器屏幕实际宽度的近似值；

所述对三维视频序列进行处理，得到一个立体视频对包括：

1 )选择所述三维视频序列中所述摄像机视点 C的视频序列作为所述立体视频对中的一个视频序列 VI；

2)确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/Κ倍，其中 K为一个常数。

作为优选，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；

所述"对三维视频序列进行处理，得到一个立体视频对 "还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 Sl Κ倍，即 X， = XS1/K。

本发明第二技术方案是公开一种立体视频对产生方法，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述的立体视频对在立体显示器 D1上显示；

所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数 S1和源端缩放系数 S2;

所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 C的位置；所述虚拟视点位置信息指示一个虛拟视点 P1的位置；

所述显示端缩放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值，即 Sl =Resl/Wl ;

所述源端缩放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2=Res2/W2;

所述对三维视频序列进行处理，得到一个立体视频对包括：

1 )选择所述三维视频序列中所述视点 C的视频序列作为所述立体视频对中的一个视频序列 VI；

2) 确定一个虚拟视点 P2，合成虚拟视点 P2的虛拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍。

所述"对三维视频序列进行处理，得到一个立体视频对 "还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 S1/S2倍，即 X， = XS1/S2。

本发明第三技术方案是公开一种立体视频对产生装置，包括以下两个模块: 摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 C的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列 VI；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点 C的视频序列作为所述立体视频对中的一个视频序列 VI；

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数 S1 ; 所述虚拟视点位置信息指示一个虛拟视点 P1的位置；所述显示端缩放系数 S1为所述立体显示器 D1 的水平分辨率 Resl与水平宽度 W1的比值，即 Sl =Resl/Wl ; 所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列 V2; 所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点 P2,合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在所述摄像机视点 C和虚拟视点 P1 的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/Κ倍，其中 K为一个常数。

作为优选，所述立体视频对产生装置还包括图像平移模块，其输入包括由所述视频序列 VI和视频序列 V2构成的立体视频对 Q1、所述的显示端缩放系数 S1和图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；其输出包括一个经过平移处理的立体视频对 Q2; 所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 Sl/Κ倍，即 X' = XS1/K。

本发明第四技术方案是公开一种立体视频对产生装置，包括以下两个模块: 摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 c的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列 VI；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点 C的视频序列作为所述立体视频对中的一个视频序列 VI；

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息、显示端缩放系数 SI和源端缩放系数 S2，所述虚拟视点位置信息指示一个虚拟视点 P1的位置，所述显示端缩放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值，即 Sl =Resl/Wl，所述源端缩放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2=Res2/W2_; 所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列 V2; 所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点 P2, 合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在所述摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍。

作为优选，所述立体视频对产生装置还包括图像平移模块，其输入包括由所述视频序列 VI和视频序列 V2构成的立体视频对 Ql、显示端缩放系数 Sl、源端缩放系数 S2和图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；其输出包括一个经过平移处理的立体视频对 Q2; 所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 S1/S2倍，即 X' = XS1/S2。

采用本发明的技术方案，具有如下有益效果：与现有技术相比，本发明的立体视频对产生方法及装置根据显示设备的参数为其提供一个适合双目立体观看的立体视频对，从而改善最终三维立体显示的视觉感受。附图说明

结合附图，本发明的其他特点和优点可从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。

图 1为本发明的实施例中立体视频对产生装置的一种结构示意图；图 2为本发明的实施例中立体视频对产生装置的另一结构示意图；图 3为本发明的实施例中立体视频对产生装置的又一结构示意图；图 4为本发明的实施例中立体视频对产生装置的再一结构示意图。具体实施方式

下面将结合附图对本发明的实施方式进行详细描述- 所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数 S;

所述显示端缩放系数 S1为用于播放立体视频对的立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值，即 Sl =Resl/Wl ; 所述的水平宽度为显示器屏幕实际宽度的近似值。

所述显示辅助信息还包括源端缩放系数 S2或平移像素信息之一，或其两者; 所述源端缩放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2=Res2/W2;

所述图像平移信息指示对所述立体视频对中两个视频序列的图像进行水平平移（shifting) 的像素数 X。

实施例 1

本发明的第一实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对 P，用于在立体显示器 D1上播放；

所述的显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端缩放系数 S1 ;

所述显示端缩放系数 S1为用于播放立体视频对的立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值，即 S1二 Resl/Wl ; 所述的水平宽度为显示器屏幕实际宽度的近似值。

所述的对三维视频序列进行处理，得到一个立体视频对包括以下处理：

1 )选择所述三维视频序列中由所述的摄像机视点位置信息指示的所述视点 C的视频序列作为所述立体视频对中的一个视频序列 VI；

2) 确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2; 所述的虚拟视点 P2在所述摄像机视点 C 和虚拟视点 P1 的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C 和虚拟视点 P1之间距离的 Sl/Κ倍，其中 K为一个常数。即由 P2和 C构成的矢量 Vec2为由 P1和 C构成的矢量 Vecl的 Sl/Κ倍（Vec2= VeclSl/K)。 K可以为一个固定的显示器 D3的水平分辨率 Res3与其水平宽度 W3的比值，即 K= Res3/W3; 其中所述的水平宽度 Wl和 W3为显示器 D1和 D3的屏幕水平宽度的近似值（近似误差例如小于 10%, 即 W1或 W3与 D1或 D3的真实屏幕水平宽度的差值小于真实屏幕水平宽度的 10°/。），例如显示器屏幕的实际水平尺寸为 1103，其可近似为 1100或者 1050等。所述的 Res3和 W3例如 Res3=1920， W3=1000厘米，或者 Res3=1920, W3=1100厘米，或者 Res3=1680, W3=500 厘米。

所述的合成虚拟视点 P2的虚拟视点视频序列的视点合成处理，可采用基于深度和图像渲染（depth-image-based rendering, 简称 DIBR) 技术，将一个摄像机视点（camera view)图像的像素通过其对应的深度值和相应的摄像机参数（例如每个视点的焦距、坐标位置等），投影到另一虚拟视点 (virtual view)上，从而生成投影图像；再通过空洞填充（hole filling ) , 滤波（filtering )、变采样

(resampling) 等处理产生最终用于显示的虚拟视点视频序列。视点合成还可以基于多个摄像机视点合成一个虚拟视点的图像，即分别将三维视频序列中多个摄像机视点的图像投影到该虚拟视点，并把投影图像融合起来，称为视点融合

(view merging), 再在融合的图像上进行空洞填充、滤波、变采样等处理，获得用于显示的虚拟视点视频序列。

实施例 2

本发明的第二实施方式涉及一种立体视频对产生方法。与实施例 1 不同的是，所述的显示辅助信息还包括源端缩放系数 S2;所述源端缩放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2二 Res2/W2。源端縮放系数通常由视频内容生成时设定，立体显示器 D2可以为一个推荐尺寸的立体显示器，例如对于手机播放的三维视频序列， D2为 5英寸屏幕，对家庭娱乐的三维视频序列， D2为 47英寸屏幕。其中所述的水平宽度 W2为显示器 D2的屏幕水平宽度的近似值。

2) 确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2; 所述的虚拟视点 P2在所述摄像机视点 C 和虚拟视点 P1 的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C 和虚拟视点 P1之间距离的 S1/S2倍。实施例 3

本发明的第三实施方式涉及一种立体视频对产生方法。由输入的显示辅助信息，对三维视频序列进行处理，得到一个立体视频对，用于在立体显示器 D1 上播放；

所述的显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息、显示端縮放系数 Sl、图像平移信息；

所述显示端缩放系数 S1为立体显示器 D1 的水平分辨率 Resl与水平宽度 W1的比值，即 Sl =Resl/Wl ;

所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移（shifting) 的像素数 X；

2) 确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2; 所述的虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/ 倍，其中 K为一个常数。即由 P2和 C构成的矢量 Vec2为由 P1和 C构成的矢量 Vecl的 Sl 倍（Vec2= VeclSl K)。 K可以为一个固定的显示器的水平分辨率 Res3与其水平宽度 W3的比值，即 K=Res3/W3，例如 Res3=1024, W3=300厘米，或者 Res3=1280， W3=375厘米。

3 )对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X，为所述像素数 X的 Sl/K倍，其中 K为一个常数，即 X， = XS1/K。当 X'由 X，= XSl/ 计算为非整数时，将 X，舍入为整数。 X'为正值表示左视点图像（即左视点视频序列的图像）相对于右视点图像向右（或向左）平移时 X'个像素； X'为负值表示左视点图像（即左视点视频序列的图像）相对于右视点图像向左（或向右）平移时 X'个像素。以左视点图像相对于右视点图像向右平移 N (N为正整数）个像素为例，通常的方法有以下三种之一，

1 )依次将左视点图像中（从左向右)第 i列像素拷贝给左视点图像中第 i+N/2 列，同时将右视点图像第 i列像素拷贝给右视点图像中第 i-N/2列； 2) 右视点图像保持不变，左视点图像的第 i列的图像拷贝给左视点图像中第 i+N列；

3 ) 左视点图像保持不变，右视点图像的第 i列的图像拷贝给右视点图像中第 i-N列。

将左视点图像相对于右视点图像向左平移 N个像素与上述方法类似。

实施例 4

本发明的第四实施方式涉及一种立体视频对产生方法。与实施例 3 不同的是，所述的显示辅助信息还包括源端缩放系数 S2;所述源端縮放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2=Res2/W2。

2) 确定一个虚拟视点 P2, 合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2; 所述的虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍；

3 )对所述的立体视频对中两个视频序列的图像进行水平平移，其平移的像素数 X，为所述像素数 X的 S1/S2倍，即 X， = XS1/S2。当 X，由 X， = XS1/S2计算为非整数时，将 X'舍入为整数。

实施例 5

本发明的第五实施方式涉及一种立体视频对产生装置。图 1 为立体视频对产生装置一种实施例的结构示意图。该装置包括两个模块：

摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息；所述的摄像机视点位置信息指示三维视频序列中一个摄像机视点 C的位置；所述的摄像机视点视频序列选取模块的输出包括所述摄像机视点 C的视频序列，即所述的立体视频对中的一个视频序列 VI；所述的摄像机视点视频序列选取模块完成的功能和实施方式与上述立体视频对产生方法中选择所述三维视频序列中所述视点 C 的视频序列作为所述立体视频对中的一个视频序列 VI 的功能和实施方式相同。

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数 S1 ; 所述的虚拟视点位置信息指示一个虚拟视点 P1 的位置；所述的显示端缩放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1 的比值，即 S1二 Resl/Wl ; 所述的虚拟视点视频序列合成模块的输出包括一个虚拟视点视频序列，即所述的立体视频对中的一个视频序列 V2; 所述的虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2的功能和实施方式相同；所述的虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl Κ倍，其中 K为一个常数，例如 K= 1.92 或 K= l。

实施例 6

本发明的第六实施方式涉及一种立体视频对产生装置。图 2为立体视频对产生装置另一种实施例的结构示意图。该装置与实施例 5 中所述装置不同在于以下两点：

1 )所述虚拟视点视频序列合成模块的输入还包括源端缩放系数 S2;所述源端縮放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2=Res2/W2;

2)所述虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2的功能和实施方式相同；所述的虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍。

实施例 7

本发明的第七实施方式涉及一种立体视频对产生装置。图 3 为立体视频对产生装置又一种实施例的结构示意图。该装置包括以下三个模块：

摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息；所述的摄像机视点位置信息指示三维视频序列中一个摄像机视点 C的位置；所述的摄像机视点视频序列选取模块的输出包括所述摄像机视点 C的视频序列，即所述的立体视频对中的一个视频序列 VI；所述的摄像机视点视频序列选取模块完成的功能和实施方式与上述立体视频对产生方法中选择所述三维视频序列中所述视点 C 的视频序列作为所述立体视频对中的一个视频序列 VI 的功能和实施方式相同。 2013/000466 虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端缩放系数 S1 ; 所述的虚拟视点位置信息指示一个虚拟视点 P1 的位置；所述的显示端縮放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1 的比值，即 Sl =Resl/Wl ; 所述的虚拟视点视频序列合成模块的输出包括一个虚拟视点视频序列，即所述的立体视频对中的一个视频序列 V2; 所述的虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2的功能和实施方式相同；所述的虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/Κ倍，其中 K为一个常数。

图像平移模块，其输入包括由所述的视频序列 VI和视频序列 V2构成的立体视频对 Ql、显示端缩放系数 S1和图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X，其输出包括一个经过平移处理的立体视频对 Q2; 所述的图像平移模块完成的功能和实施方式与上述立体视频对产生方法中对立体视频对中两个视频序列的图像进行水平平移且平移的像素数 X'为所述像素数 X 的 Sl/Κ倍的功能和实施方式相同，其中 K 为一个常数， X 为整数（即有 X' = XSl/K) o 当 X，由 X， = XS1/ 计算为非整数时，将 X'舍入为整数。

实施例 8

本发明的第八实施方式涉及一种立体视频对产生装置。图 4为立体视频对产生装置再一种实施例的结构示意图。该装置与实施例 7 中所述装置不同之处在于以下四点：

2)所述虚拟视点视频序列合成模块完成的功能和实施方式与上述立体视频对产生方法中确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列的功能和实施方式相同；所述的虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍；

3) 所述图像平移模块的输入还包括所述的源端缩放系数 S2; 4)所述图像平移模块完成的功能和实施方式与上述立体视频对产生方法中对立体视频对中两个视频序列的图像进行水平平移且平移的像素数 X'为所述像素数 X的 S1/S2倍（即有 X' = XS1/S2)的功能和实施方式相同，其中当 X'由 X' = XS1/ 计算为非整数时，将 X'舍入为整数。。

所述的立体视频对产生装置可以由多种方式实现，例如：

方法一：以电子计算机为硬件附加与所述立体视频对产生方法功能相同的软件程序来实现。

方法二：以单片机为硬件附加与所述立体视频对产生方法功能相同的软件程序来实现。

方法三：以数字信号处理器为硬件附加与立体视频对产生方法功能相同的软件程序来实现。

方法四：设计与所述立体视频对产生方法功能相同的电路来实现。

实现所述的立体视频对产生装置的方法还可以有其它的方法，不仅限于上述四种。虽然结合附图描述了本发明的实施方式，但是本领域普通技术人员可以在所附权利要求的范围内作出各种变形或修改。

Claims

权利要求

1、一种立体视频对产生方法，其特征在于，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述立体视频对在立体显示器 D1上显示；所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息和显示端缩放系数 S1 ;

所述显示端缩放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值；

所述对三维视频序列进行处理，得到一个立体视频对包括：

2) 确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/Κ倍，其中 K为一个常数。

2、如权利要求 1所述的立体视频对产生方法，其特征在于，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；所述 "对三维视频序列进行处理，得到一个立体视频对"还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 Sl/Κ倍，即 X， = XS1/K。

3、一种立体视频对产生方法，其特征在于，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述的立体视频对在立体显示器 D1 上显示；

所述显示端縮放系数 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值；所述源端缩放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值；

所述对三维视频序列进行处理，得到一个立体视频对包括：

2) 确定一个虛拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍。

4、如权利要求 3所述的立体视频对产生方法，其特征在于，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；所述 "对三维视频序列进行处理，得到一个立体视频对"还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 S1/S2倍，即 X， = XS1/S2。

5、一种立体视频对产生装置，其特征在于包括以下两个模块：

摄像机视点视频序列选取模块，其输入包括三维视频序列和摄像机视点位置信息，所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 C的位置；所述摄像机视点视频序列选取模块的输出包括立体视频对中的一个视频序列 VI；所述摄像机视点视频序列选取模块完成的处理包括选择所述三维视频序列中所述视点 C的视频序列作为所述立体视频对中的一个视频序列 VI；

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息和显示端縮放系数 S1 ; 所述虚拟视点位置信息指示一个虚拟视点 P1的位置；所述显示端縮放系数 S1为一个立体显示器 D1 的水平分辨率 Resl与水平宽度 W1的比值；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列 V2; 所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点 P2, 合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在所述摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/ 倍，其中 K为一个常数。

6、如权利要求 5所述的一种立体视频对产生装置，其特征在于还包括图像平移模块，其输入包括由所述视频序列 VI和视频序列 V2构成的立体视频对 Q1、所述的显示端缩放系数 S1和图像平移信息，所述图像平移信息指示对由所述 C 和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；其输出包括一个经过平移处理的立体视频对 Q2; 所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 Sl/Κ倍，即 X' = XS1/K。

7、一种立体视频对产生装置，其特征在于包括以下两个模块：

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息、显示端缩放系数 S1和源端缩放系数 S2，所述虚拟视点位置信息指示一个虚拟视点 P1的位置，所述显示端缩放系数 S1为一个立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值，即 Sl =Resl/Wl，所述源端缩放系数 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值，即 S2=Res2/W2; 所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列 V2; 所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在所述摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍。

8、如权利要求 7所述的一种立体视频对产生装置，其特征在于还包括图像平移模块，其输入包括由所述视频序列 VI和视频序列 V2构成的立体视频对 Q1、显示端缩放系数 Sl、源端缩放系数 S2和图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；其输出包括一个经过平移处理的立体视频对 Q2; 所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 S1/S2倍，即 X' = XS1/S2。

9、一种立体视频对产生方法，其特征在于，由显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述立体视频对在立体显示器 D1上显示；所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息；所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 C的位置；所述虚拟视点位置信息指示一个虚拟视点 P1的位置；

所述对三维视频序列进行处理，得到一个立体视频对包括：

2)确定一个虚拟视点 P2, 合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/Κ倍；其中， K为一个常数， S1为显示端缩放系数，所述 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值。

10、如权利要求 9所述的立体视频对产生方法，其特征在于，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；所述 "对三维视频序列进行处理，得到一个立体视频对"还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 Sl/Κ倍，即 X， = XS1/K。

11、一种立体视频对产生方法，其特征在于，由输入的显示辅助信息对三维视频序列进行处理，得到一个立体视频对；所述的立体视频对在立体显示器

D1上显示；

所述显示辅助信息包括摄像机视点位置信息、虚拟视点位置信息；所述摄像机视点位置信息指示三维视频序列中一个摄像机视点 c的位置；所述虚拟视点位置信息指示一个虚拟视点 P1的位置；

所述对三维视频序列进行处理，得到一个立体视频对包括：

2) 确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2, 所述虚拟视点 P2在摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍；其中， S1为显示端縮放系数，所述 S1为所述立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值， S2为源端缩放系数，所述 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值。

12、如权利要求 11所述的立体视频对产生方法，其特征在于，所述显示辅助信息还包括图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；所述 "对三维视频序列进行处理，得到一个立体视频对"还包括对所述立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 S1/S2倍，即 X， = XS1/S2。

13、一种立体视频对产生装置，其特征在于包括以下两个模块：

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息；所述虚拟视点位置信息指示一个虚拟视点 P1的位置；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列 V2; 所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在所述摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 Sl/Κ倍；其中， S1为显示端缩放系数，所述 S1为一个立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值， K为一个常数。

14、如权利要求 13所述的一种立体视频对产生装置，其特征在于还包括图像平移模块，其输入包括由所述视频序列 VI和视频序列 V2构成的立体视频对 Q1和图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；其输出包括一个经过平移处理的立体视频对 Q2; 所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 Sl/Κ倍，即 X， = XS1/K。

15、一种立体视频对产生装置，其特征在于包括以下两个模块：

虚拟视点视频序列合成模块，其输入包括三维视频序列、虚拟视点位置信息，所述虚拟视点位置信息指示一个虚拟视点 P1的位置；所述虚拟视点视频序列合成模块的输出包括立体视频对中的一个视频序列 V2; 所述虚拟视点视频序列合成模块完成的处理包括确定一个虚拟视点 P2，合成虚拟视点 P2的虚拟视点视频序列，作为所述立体视频对中的一个视频序列 V2，所述虚拟视点 P2在所述摄像机视点 C和虚拟视点 P1的连线上，且与所述摄像机视点 C的距离为所述摄像机视点 C和虚拟视点 P1之间距离的 S1/S2倍，其中， S1为显示端缩放系数，所述 S1为一个立体显示器 D1的水平分辨率 Resl与水平宽度 W1的比值， S2为源端缩放系数，所述 S2为一个立体显示器 D2的水平分辨率 Res2与水平宽度 W2的比值。

16、如权利要求 15所述的一种立体视频对产生装置，其特征在于还包括图像平移模块，其输入包括由所述视频序列 VI和视频序列 V2构成的立体视频对 Q1和图像平移信息，所述图像平移信息指示对由所述 C和 P1视点位置视频序列构成的立体视频对中两个视频序列的图像进行水平平移的像素数 X；其输出包括一个经过平移处理的立体视频对 Q2; 所述图像平移模块完成的处理包括对立体视频对中两个视频序列的图像进行水平平移，且平移的像素数 X'为所述像素数 X的 S1/S2倍，即 X， = XS1/S2。