WO2017028498A1

WO2017028498A1 - 3d场景展示方法及装置

Info

Publication number: WO2017028498A1
Application number: PCT/CN2016/071616
Authority: WO
Inventors: 王涛
Original assignee: 京东方科技集团股份有限公司
Priority date: 2015-08-19
Filing date: 2016-01-21
Publication date: 2017-02-23
Also published as: CN105120251A; US20170054972A1; US10045007B2

Abstract

一种3D场景展示方法及装置被提供。该3D场景展示方法，应用于3D场景显示装置，包括：加载3D场景信息，其中，所述3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息；在所述3D场景显示装置的可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息，其中，所述观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息；根据所述观测位置信息以及所述多个3D场景信息确定待展示的3D图像信息；以及将与所述待展示的3D图像信息相应的3D内容进行展示。这样，根据本发明实施例的3D场景展示方法及装置可以保证观看者在可视角度范围内的任一观测位置都可以看到不同的3D画面。

Description

3D场景展示方法及装置

技术领域

本发明的实施例涉及一种3D场景展示方法及装置。

背景技术

目前，随着显示技术的不断发展，3D显示技术已经备受关注，3D显示技术可以使得画面变得立体逼真，其最基本的原理是利用左右人眼分别接收不同画面，然后经过大脑对图像信息进行叠加重生，形成具有立体效果的影像。

然而，现有的3D显示技术仅能使观看者观看到单一的3D场景，无法观看到不同角度的3D场景。如图1所示，其中N为显示装置，以3D场景中的六面体M为例，一般情况下，站在观测位置A，仅能观看到该六面体的一个3D画面，该3D画面中仅能观看到面a、面b、面c，而无法观看到该六面体的其他面；当观看者移动到观测位置B时，观看到的仍然是之前的3D画面，观看者无法体验在现实情况中从各个角度观看得到不同3D画面的视觉效果，从而，降低了用户的观看体验。

发明内容

本发明的实施例提供一种3D图像场景的展示方法及装置，用以解决现有技术中存在的无法实现单一观看者随着观测位置的改变而观看到3D场景中不同3D画面的问题。

一方面，本发明的实施例提供一种3D场景展示方法，应用于3D场景显示装置，包括：加载3D场景信息，其中，所述3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息；在所述3D场景显示装置的可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息，其中，所述观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息；根据所述观测位置信息以及所述多个3D场景信息确定待展示的3D图像信息；以及将与所述待展示的3D图像信息相应的3D内容进行展示。

另一方面，本发明的实施例提供一种3D场景展示装置，包括：加载单元，构造为加载3D场景信息，其中，所述3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息；确定单元，构造为在所述3D场景展示装置的可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息，其中，所述观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息；处理单元，构造为根据所述观测位置信息以及所述3D场景信息确定待展示的3D图像信息；以及展示单元，构造为将与所述待展示的3D图像信息相应的3D内容进行展示。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中提供的观看者在可视角度范围内的位置A、B观看到相同3D画面的示意图；

图2为本发明实施例一提供的一种3D场景展示方法的流程示意图；

图3为本发明实施例一中所列举的一种3D场景M的简单示意图；

图4(a)为摄像机S拍摄3D场景M的示意图；

图4(b)为观看者R在3D场景展示装置N的可视角度范围内进行观看的示意图；

图5为观看者在可视角度范围内的位置A、B分别观看到的不同3D画面的示意图；

图6为观看者在位置A观看不同3D画面的示意图；

图7为本发明实施例二中提供的一种3D场景展示装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面通过具体的实施例对本发明所涉及的技术方案进行详细描述，本发明包括但并不限于以下实施例。

实施例一：

如图2所示，为本发明实施例一提供的一种3D场景展示方法的流程示意图，该方法应用于单一观看者的展示场景中，且观看者在3D场景展示装置的可视角度范围内移动，该方法主要包括以下步骤：

步骤11：加载3D场景信息。

其中，该3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息。

示例性地，该3D场景信息通过以下方式获取：确定待拍摄的3D场景；将图像采集装置设置在预设的起始拍摄点，并对应记录当前起始拍摄点的拍摄位置信息；在该3D场景的可视角度范围内移动所述图像采集装置进行拍摄，并对应记录移动所经过的路径上的全部拍摄位置信息；将拍摄得到的每个左右视点图像信息进行图像重构，形成多个3D图像信息。

示例性地，如图3所示，在确定3D场景M后，需要对该3D场景M进行全方位的拍摄，并同时记录每个拍摄角度的方位信息，图中虚线仅示出部分拍摄路径；需要说明的是，由于该方位信息与后续观看者的观测位置信息相互关联，而观测位置信息仅限于3D场景展示装置的显示屏一侧的可视角度范围内，显示屏另一侧是不可能涉及到观测位置信息的，因此，方位信息应当与观测位置信息相对应，观测位置信息与部分方位信息相重叠，且方位信息与观测位置信息的设置方式以及参考标的尽可能一致。其中，上述用于拍摄的图像采集装置可以为具有采集、图像处理功能的摄像机。

结合图4(a)和图4(b)所示，分别为摄像机S拍摄3D场景M的示意图，以及观看者R在3D场景展示装置N的可视角度范围内进行观看的示意图。其中，如图4(a)所示，摄像机S可以在三维空间任意可拍摄的角度范围内拍摄该3D场景M，因此，记录的拍摄位置信息可以为三维空间任意可拍摄角度范围内的方位信息。例如，拍摄结束后重构得到H个3D图像信息，同时，每个3D图像信息中还携带有相应拍摄位置信息，该拍摄位置信息可以依赖于任意一种能够表示3D场景中方位信息的物理坐标得到，用于表示相对于3D场景M的位置关系，例如：经、纬度，距3D场景M的直线距离等，例如，可以以3D场景M为坐标原点，拍摄位置信息可以为相对于坐标原点的X坐标、Y坐标和Z坐标等。如图4(b)所示，观看者R仅能在3D场景展示装置N的可视角度范围内观看到显示屏上展示的3D画面，因此，观看者R的观测位置信息仅限于可视角度范围内的方位信息。

需要说明的是，本发明的实施例还可以采用系统建模等方式获取3D场景信息。

步骤12：在当前可视角度范围内检测到观看者时，实时确定当前观看者的观测位置而得到观测位置信息。

其中，观测位置信息为当前观看者相对于3D场景展示装置的位置信息。

示例性地，该步骤12中实时获取当前观看者的观测位置信息，可以为：实时捕获观看者的眼部信息，并根据捕获到的眼部信息确定观看者的观测位置信息。在此，需要说明的是，本发明实施例中获取观测位置信息的方式包括但并不限于以上获取操作，还可以通过对观看者其他身体部位，例如，头部的捕获以确定观看者的观测位置。

其中，捕获观看者的眼部信息，具体可以通过基于单摄像头或多摄像头的人眼检测，此外，还可以通过配置在3D场景展示装置的显示屏上的红外检测装置进行人眼检测。示例性地，还可以将红外检测装置集成在摄像头中，两者共同协助进行人眼检测，以提高准确性。

步骤13：根据观测位置信息以及3D场景信息确定待展示的3D图像信息。

示例性地，该步骤13可以包括：根据观测位置信息查找3D场景信息，并将查找到的与观测位置信息对应的3D图像信息作为待展示的3D图像信息。

在实际的操作过程中，可以事先建立由每个3D图像信息与自身携带的拍摄位置信息构成的信息参数对应表，然后，将观测位置信息与信息参数对应表中每个拍摄位置信息进行一一比对，进而根据预设的观测位置与拍摄位置的关联性，将与观测位置信息对应的3D图像信息作为待展示的3D图像信息。

步骤14：将与待展示的3D图像信息相应的3D内容进行展示。

示例性地，若观看者在3D场景展示装置的可视角度范围内不移动，则上述方法还可以进一步包括以下步骤：

第一步，接收3D图像切换指令；其中，3D图像切换指令至少包括：旋转切换指令、缩小切换指令、放大切换指令、移动切换指令。

其中，3D图像切换指令可以是由观看者利用遥控器等类似的控制终端选择发送的键值信息，也可以是观看者的手势信息(针对具有触控屏幕的3D场景展示装置)。

第二步，对3D图像切换指令进行解析，确定切换类型以及切换后的拍摄位置信息；

第三步，根据确定的切换后的拍摄位置信息从3D场景信息中查找待切换的3D图像信息；

第四步，按照切换类型切换至待切换的3D图像信息，并将该待切换的3D图像信息相应的3D内容进行展示。

需要说明的是，第一步至第四步所涉及的实施方案，主要针对观看者不移动的情况，例如：观看者移动至可视角度范围的边界时，若由于想观看其他3D画面而向偏离3D场景展示装置的方向继续移动，则会进入不可视角度范围，因此，观看者的有限的观测位置信息限制了其不能观看除了该观测位置信息对应的3D图像信息以外的3D图像信息所展示的3D画面。即在观看者移动的情况下，若依靠自动识别方式，仅能观看有限的不同3D画面，而不能观看所有不同3D画面。

以下通过几个具体的实例对上述实施例一的方案进行更为详尽的描述。

实例1：

在3D场景展示装置经过初始化开机之后，加载待展示的3D场景信息，在未展示之前，首先在当前可视角度范围内检测是否有观看者，若检测不到，则按照预设的播放规则展示3D场景信息中的3D图像信息，例如：可以仅播放起始拍摄点的拍摄位置信息对应的3D图像信息。若检测到观看者，则进一步判断该观看者的观测位置是否发生移动，若确定发生移动，则利用自身配置的红外摄像头实时检测人眼信息，并根据人眼信息最终确定观看者的实时观测位置信息。以图5中观看者在3D场景展示装置的显示屏前方位置A水平移动至位置B为例，观看者在位置A时，首先，确定当前位置A的方位信息，然后根据该方位信息查找3D场景信息，并从中确定待展示的3D图像信息，并展示；如图中所示，观看者在位置A时，看到的是六面体的a1一个面。在观看者移动到位置B时，则重新确定当前观看者的方位信息，然后根据该方位信息确定此时待展示的3D图像信息，并展示，如图所示，观看者在位置B时，观看到的是则是a1、a2、a3三个面。从而，仿佛将观看者置于实际的3D场景中，而且，本实例1中假设位置A与位置B之间是衔接的，其切换两个画面的时间是可以忽略的，则观看者看到的应该是较为连续的3D画面。

在此需要强调的是，观看者在实际观看的时候，左、右眼会分别获取不同的画面，从而经过大脑对图像信息进行叠加重生，构成3D画面效果。本发明所涉及的所有实施例均为此类成像方式。

通过这样的方案处理，从而保证观看者在3D场景展示装置的可视角度范围内移动时，观看到不同角度的3D画面，而且，尽可能让观看者体验到在真实观看场景中观看所展示该3D场景的视觉效果。

实例2：

考虑到每个类似于3D场景展示装置的显示设备的可视角度范围都是有限的，因此，观看者移动过程中虽然能够观看到不同角度的3D画面(3D图像内容)，但是，该3D画面对应在实际3D场景中的背面却是无法观看到的。因此，为了能够更好的完善观看者的观看体验，本发明实例2还可以允许采用手动调整的方式协助观看者提升观看体验。实例2主要采用以下两种方式。

方式一：

针对具有触控功能的3D场景展示装置，可以根据接触触控方式在该3D场景展示装置上进行各种触控操作，从而转换成3D场景展示装置可以解析的3D图像切换指令，然后，根据解析结果确定切换类型以及切换后的拍摄位置信息，进而，从3D场景信息中查找待切换的3D图像信息，并将与该3D图像信息对应的3D内容进行展示。

例如：当前展示的为图6中左边的3D画面，观看者意图观看倾斜后的该六面体的3D画面，则通过将与旋转操作对应的触控操作施加到显示屏上，从而，3D场景展示装置接收该触控操作对应的3D图像切换指令，并解析，确定出需要切换的类型为旋转，切换后的拍摄位置信息可以根据该触控操作在显示屏上的施加范围确定。最终，切换至如图6右边的3D画面。

方式二：

然而，并不是所有的3D场景展示装置都具有触控功能，因此，针对没有触控功能的3D场景展示装置，可以使用类似遥控器等与3D场景展示装置配套使用的控制装置，并通过对预设的键值进行点击、长按等操作向3D场景展示装置发送3D图像切换指令，在3D场景展示装置接收并解析该3D图像切换指令，确定切换类型、切换后的拍摄位置信息，之后的操作与上述方式一相同，在此不做赘述。

需要说明的是，在本发明实施例中，3D图像切换指令包括但并不限于旋转切换指令、缩小切换指令、放大切换指令、移动切换指令。3D场景展示装置根据预设的指令解析方式解析出相应的切换类型以及切换后的拍摄位置信息。

需要说明的是，对于“在该3D场景的可视角度范围内移动所述图像采集装置进行拍摄，并对应记录移动所经过的路径上的全部拍摄位置信息”，这里，图像采集装置每次移动一定的步长，本领域的技术人员可以根据需要进行设定，例如，可以考虑计算速度和处理的数据量等而设定步长。示例性地，由于人眼的瞳距为65mm，相机的移动步长不应小于人眼瞳距，可将步长设置为瞳距。

与本发明上述实施例一提供的一种3D场景展示方法属于同一发明技术构思，本发明的实施例还提供了一种3D场景展示装置。下面通过实施例二详细说明。

实施例二：

在本发明实施例二中，该3D场景展示装置可以为一种显示装置，其可以为液晶显示装置或OLED显示装置或等离子显示装置等，本发明的实施例并不对此进行限定，只要是能够实现3D显示效果即可。该3D场景展示装置包括：显示屏，显示模组，驱动模组等结构部件，最为关键的是，在本发明实施例中，还主要包括能够实现本发明实施例功能目的的结构单元，如图7所示，该3D场景展示装置主要包括：

加载单元21，用于加载3D场景信息。其中，3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息。

示例性地，加载单元21中加载的3D场景信息可以通过以下方式获取：确定待拍摄的3D场景；将图像采集装置设置在预设的起始拍摄点，并对应记录当前起始拍摄点的拍摄位置信息；在该3D场景的可视角度范围内移动图像采集装置进行拍摄，并对应记录移动所经过的路径上的全部拍摄位置信息；将拍摄得到的每个左右视点图像信息进行图像重构，形成多个3D图像信息。

确定单元22，用于在当前可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息。其中，观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息。

示例性地，确定单元22，构造为：在当前可视角度范围内检测到观看者时，捕获观看者的眼部信息，并根据捕获到的眼部信息确定观看者的观测位置信息。

处理单元23，用于根据观测位置信息以及3D场景信息确定待展示的3D图像信息。

示例性地，处理单元23，构造为：根据观测位置信息查找3D场景信息，并将查找到的与观测位置信息对应的3D图像信息作为待展示的3D图像信息。

展示单元24，用于将与待展示的3D图像信息相应的3D内容进行。

示例性地，为了能够更加有效地提升观看者的观看体验，该3D场景展示装置还可以进一步包括：接收单元，用于在观看者在3D场景展示装置的可视角度范围内不移动时，接收3D图像切换指令。解析单元，用于对接收单元接收到的3D图像切换指令进行解析，确定切换类型以及切换后的拍摄位置信息。从而，处理单元还用于根据解析单元确定的切换后的拍摄位置信息从3D场景信息中查找待切换的3D图像信息。展示单元还用于按照解析单元确定的切换类型切换至待切换的3D图像信息，并将该待切换的3D图像信息相应的3D内容进行展示；其中，3D图像切换指令至少包括：旋转切换指令、缩小切换指令、放大切换指令、移动切换指令。

通过上述技术方案可知，本发明的实施例能够通过在3D场景展示装置中加载3D场景信息，该3D场景信息中存储有多个携带有相应的拍摄位置信息的3D图像信息，并根据确定的当前观看者的观测位置信息进一步确定待展示的3D图像信息，从而，保证观看者在可视角度范围内的任一观测位置都可以看到不同的3D画面，以及尽可能使观看者体验到在实际场景中观看该3D场景的效果。

在上述技术方案中，通过加载3D场景信息，该3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息；并在当前可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息，该观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息；然后，根据观测位置信息以及3D场景信息确定待展示的3D图像信息，并将与待展示的3D图像信息相应的3D内容进行展示。从而，保证了观看者可以在可视角度范围内的不同观测位置观看到不同的3D画面内容，有效提升了观看者的观看体验。

尽管已描述了本发明的实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

本申请要求于2015年8月19日递交的中国专利申请第201510512281.3号的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。

Claims

一种3D场景展示方法，应用于3D场景显示装置，包括：

加载3D场景信息，其中，所述3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息；

在所述3D场景显示装置的可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息，其中，所述观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息；

根据所述观测位置信息以及所述多个3D场景信息确定待展示的3D图像信息；

将与所述待展示的3D图像信息相应的3D内容进行展示。
如权利要求1所述的3D场景展示方法，其中所述多个3D场景信息通过以下方式获取：

确定待拍摄的3D场景；

将图像采集装置设置在预设的起始拍摄点，并对应记录当前起始拍摄点的拍摄位置信息；

在该3D场景的可视角度范围内移动所述图像采集装置进行拍摄，并对应记录移动所经过的路径上的全部拍摄位置信息；

将拍摄得到的每个左右视点图像信息进行图像重构，形成所述多个3D图像信息。
如权利要求1所述的3D场景展示方法，其中所述实时确定当前观看者的观测位置信息，包括：

实时捕获观看者的眼部信息，并根据捕获到的眼部信息确定观看者的观测位置信息。
如权利要求1所述的3D场景展示方法，其中根据所述观测位置信息以及所述3D场景信息确定待展示的3D图像信息，包括：

根据所述观测位置信息查找所述3D场景信息，并将查找到的与所述观测位置信息对应的3D图像信息作为待展示的3D图像信息。
如权利要求1-4任一所述的3D场景展示方法，其中若所述观看者在所述3D场景展示装置的可视角度范围内不移动，所述方法还包括：

接收3D图像切换指令；

解析所述3D图像切换指令，确定切换类型以及切换后的拍摄位置信息；

根据确定的切换后的拍摄位置信息从所述3D场景信息中查找待切换的3D图像信息；

按照所述切换类型切换至所述待切换的3D图像信息，并将该待切换的3D图像信息相应的3D内容进行展示；

其中，所述3D图像切换指令至少包括：旋转切换指令、缩小切换指令、放大切换指令、移动切换指令。
如权利要求1所述的3D场景展示方法，其中根据所述观测位置信息以及所述3D场景信息确定待展示的3D图像信息包括：

根据预设的观测位置与所述多个3D场景信息携带的拍摄位置信息的关联性，将与所述观测位置对应的3D图像信息作为所述待展示的3D图像信息。
如权利要求6所述的3D场景展示方法，其中所述根据所述观测位置信息以及所述3D场景信息确定待展示的3D图像信息，在根据预设的观测位置与所述多个3D场景信息携带的拍摄位置信息的关联性，将与所述观测位置对应的3D图像信息作为所述待展示的3D图像信息之前，还包括：

建立所述多个3D图像信息的每个与其携带的拍摄位置信息的信息参数对应表。
如权利要求5所述的3D场景展示方法，其中所述3D图像切换指令由所述观看者手动输入。
一种3D场景展示装置，包括：

加载单元，构造为加载3D场景信息，其中，所述3D场景信息中存储有多个3D图像信息，且每个3D图像信息携带有相应的拍摄位置信息；

确定单元，构造为在所述3D场景展示装置的可视角度范围内检测到观看者时，实时确定当前观看者的观测位置信息，其中，所述观测位置信息为当前观看者相对于所述3D场景展示装置的位置信息；

处理单元，构造为根据所述观测位置信息以及所述3D场景信息确定待展示的3D图像信息；以及

展示单元，构造为将与所述待展示的3D图像信息相应的3D内容进行展示。
如权利要求9所述的3D场景展示装置，其中所述3D场景信息通过以下方式获取：

确定待拍摄的3D场景；

将图像采集装置设置在预设的起始拍摄点，并对应记录当前起始拍摄点的拍摄位置信息；

在该3D场景的可视角度范围内移动所述图像采集装置进行拍摄，并对应记录移动所经过的路径上的全部拍摄位置信息；

将拍摄得到的每个左右视点图像信息进行图像重构，形成多个3D图像信息。
如权利要求9所述的3D场景展示装置，其中所述确定单元，构造为：捕获观看者的眼部信息，并根据捕获到的眼部信息确定观看者的观测位置信息。
如权利要求9所述的3D场景展示装置，其中所述处理单元，构造为：根据所述观测位置信息查找所述3D场景信息，并将查找到的与所述观测位置信息对应的3D图像信息作为待展示的3D图像信息。
如权利要求9-12中任一项所述的3D场景展示装置，其中所述装置还包括：

接收单元，构造为在观看者在3D场景展示装置的可视角度范围内不移动时，接收3D图像切换指令；

解析单元，用于对所述接收单元接收到的3D图像切换指令进行解析，确定切换类型以及切换后的拍摄位置信息；

所述处理单元，还用于根据解析单元确定的切换后的拍摄位置信息从所述3D场景信息中查找待切换的3D图像信息；

所述展示单元，还用于按照所述解析单元确定的切换类型切换至所述待切换的3D图像信息，并将该待切换的3D图像信息相应的3D内容进行展示；

其中，所述3D图像切换指令至少包括：旋转切换指令、缩小切换指令、放大切换指令、移动切换指令。
如权利要求9所述的3D场景展示装置，其中所述处理单元构造为：根据预设的观测位置与所述多个3D场景信息携带的拍摄位置信息的关联性，将与所述观测位置对应的3D图像信息作为所述待展示的3D图像信息。
如权利要求14所述的3D场景展示装置，其中所述处理单元还构造为：建立所述多个3D图像信息的每个与其携带的拍摄位置信息的信息参数对应表。
如权利要求13所述的3D场景展示装置，其中所述3D图像切换指令由所述观看者手动输入。