WO2020244576A1 - 基于光通信装置叠加虚拟对象的方法和相应的电子设备 - Google Patents

Abstract

一种基于光通信装置叠加虚拟对象的方法和相应的电子设备，该方法包括：设备获得光通信装置传递的标识信息，所述标识信息与一个或多个虚拟对象相关联；设备至少部分地通过所述光通信装置确定其位置信息；设备至少部分地通过所述光通信装置确定其姿态信息；设备通过所述标识信息获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，所述叠加信息包括所述虚拟对象的叠加位置信息；以及设备基于其位置信息和姿态信息以及所述虚拟对象的叠加信息，在所述设备的显示媒介上呈现所述虚拟对象。

Description

基于光通信装置叠加虚拟对象的方法和相应的电子设备 技术领域

本发明属于增强现实或虚拟现实技术领域，尤其涉及一种基于光通信装置叠加虚拟对象的方法和相应的电子设备。

背景技术

本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。

近年来，增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技术取得了长足的进展，并获得了越来越广泛的应用。

增强现实技术也被称为混合现实技术，其通过计算机技术将虚拟对象应用到现实场景，使得现实场景和虚拟对象实时地呈现到同一个画面或空间中，从而增强用户对现实世界的感知。由于增强现实技术具有能够对真实环境进行增强显示输出的特性，其在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等技术领域，获得了越来越广泛的应用并且具有明显的优势。在一种增强现实应用中，可以在视野中的固定位置处叠加一些数据信息，例如，飞行员在学习驾驶飞机的时候，可以通过佩戴显示头盔来查看在现实场景上叠加的飞行数据，这些数据通常都是显示在视野中的固定的位置处(例如，始终在左上角)。这种增强现实技术缺乏足够的灵活性。在另一种增强现实应用中，可以首先识别出现实场景中的真实物体，然后将虚拟对象叠加到屏幕上显示的该真实物体上或附近。但是，当前的增强现实技术难以做到在现实场景中的精确位置处叠加虚拟对象，特别是当虚拟对象的叠加位置与识别出的真实物体距离较远时。

虚拟现实技术是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种交互式的虚拟场景，其实体行为的仿真系统能够使用户沉浸到该虚拟场景中。在该虚拟场景中，通常具有许多虚拟对象，这些虚拟对象的叠加位置或呈现位置通常会根据用户的位置或姿态的改变而 改变。但是，当前的虚拟现实技术通常是基于设备内部的传感器(例如，加速度传感器、陀螺仪等)来跟踪用户的位置或姿态，这种方式存在误差，且误差会随着时间逐渐积累，导致难以根据用户的实际位置或姿态来准确地叠加虚拟对象。

发明内容

本发明的方案提供了一种基于光通信装置在现实场景或虚拟场景中叠加虚拟对象的方法，其通过使用光通信装置作为锚点，能够在现实场景或虚拟场景中的精确位置处叠加虚拟对象。

本发明的一个方面涉及一种基于光通信装置叠加虚拟对象的方法，包括：设备获得光通信装置传递的标识信息，所述标识信息与一个或多个虚拟对象相关联；设备至少部分地通过所述光通信装置确定其位置信息；设备至少部分地通过所述光通信装置确定其姿态信息；设备通过所述标识信息获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，所述叠加信息包括所述虚拟对象的叠加位置信息；以及设备基于其位置信息和姿态信息以及所述虚拟对象的叠加信息，在所述设备的显示媒介上呈现所述虚拟对象。

可选地，其中，所述设备具有图像采集器件，以及其中，通过如下方式确定所述设备的位置信息或姿态信息：所述设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其位置信息或姿态信息。

可选地，其中，所述设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其位置信息或姿态信息包括：所述设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其在采集所述图像时的位置信息或姿态信息；以及，所述设备使用内置的传感器跟踪其位置变化和/或姿态变化，以确定其当前的位置信息或姿态信息。

可选地，其中，所述虚拟对象的叠加位置信息是相对于所述光通信装置的叠加位置信息；和/或，所述设备的位置信息和姿态信息是相对于所述光通信装置的位置信息和姿态信息。

可选地，其中，所述设备的位置信息和姿态信息是所述设备在某个物理坐标系下的位置信息和姿态信息，以及其中，基于所述设备相对于所述光通信装置的位置信息和姿态信息以及所述光通信装置本身在所述物理坐标系下的位置信息和姿态信息，确定所述设备在所述物理坐标系下的位置信息和姿态信息。

可选地，其中，所述虚拟对象是背景透明的人物照片或视频。

可选地，其中，所述虚拟对象包括至少两个虚拟对象，以及其中，所述至少两个虚拟对象被配置以预定的时序呈现在所述设备的显示媒介上。

可选地，其中，所述通过所述标识信息获得待叠加的虚拟对象以及所述虚拟对象的叠加信息包括：通过所述标识信息以及所述设备的位置信息和/或姿态信息来获得待叠加的虚拟对象以及所述虚拟对象的叠加信息。

可选地，所述通过所述标识信息以及所述设备的位置信息和/或姿态信息来获得待叠加的虚拟对象以及所述虚拟对象的叠加信息包括：基于所述设备的位置信息确定所述设备的用户的特征信息；以及，基于所述设备的用户的特征信息选择需要叠加的虚拟对象。

可选地，其中，所述基于所述设备的位置信息确定所述设备的用户的特征信息包括：基于所述设备的位置信息确定所述设备的用户的身高信息。

可选地，其中，所述叠加信息还包括所述虚拟对象的叠加姿态信息或叠加时间信息。

可选地，其中，基于现实世界中的物体的位置来确定所述虚拟对象的叠加位置信息。

可选地，其中，所述物体是具有图像采集器件的另一设备，以及其中，所述另一设备至少部分地通过所述光通信装置来确定其位置信息。

本发明的再一个方面涉及一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述的方法。

本发明的再一个方面涉及一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述的方法。

通过采用本发明的方法，实现了一种基于光通信装置在现实场景或虚拟场景中叠加虚拟对象的方法，其通过使用光通信装置作为锚点，能够在现实场景或虚拟场景中的精确位置处叠加虚拟对象。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1示出了一种示例性的光标签；

图2示出了一种示例性的光标签网络；

图3示出了根据一个实施例的基于光标签在现实场景中叠加虚拟对象 的方法；

图4示出了根据另一个实施例的基于光标签在现实场景中叠加虚拟对象的方法；

图5示出了根据另一个实施例的基于光标签在现实场景中叠加虚拟对象的方法；

图6示出了根据一个实施例的在一个方向观察的叠加了虚拟对象后的现实场景；

图7示出了根据一个实施例的在另一个方向观察的叠加了虚拟对象后的现实场景；以及

图8示出了根据再一个实施例的基于光标签在现实场景中叠加虚拟对象的方法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过发出不同的光来传递信息，其具有识别距离远、可见光条件要求宽松、指向性强的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。

光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。图1示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用不同的驱动信号来控制光源的发光方式，从而使得当使用具有图像采集功能的设备拍摄光标签100时，其中的光源的图像可以呈现出不同的外观(例如，不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。

为了基于光标签向用户提供相应的服务，每个光标签可以被分配一个 标识信息(ID)，该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，而用户可以使用设备对光标签进行图像采集来获得该光标签传递的标识信息，从而可以基于该标识信息来访问相应的服务，例如，访问与光标签的标识信息相关联的网页、获取与标识信息相关联的其他信息(例如，与该标识信息对应的光标签的位置信息)、等等。本文提到的具有图像采集功能的设备例如可以是用户携带或控制的设备(例如，带有摄像头的手机、平板电脑、智能眼镜、智能头盔、智能手表等)，也可以是能够自主移动的机器(例如，无人机、无人驾驶汽车、机器人等)。设备例如可以通过其上的摄像头对光标签进行图像采集来获得包含光标签的图像，并通过内置的应用程序来分析每张图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。

光标签可以安装于固定的位置，并可以将光标签的标识信息(ID)以及任何其他信息(例如位置信息)存储于服务器中。在现实中，可以将大量的光标签构建成一个光标签网络。图2示出了一种示例性的光标签网络，该光标签网络包括多个光标签和至少一个服务器，其中，与每个光标签相关的信息可保存在服务器上。例如，可以在服务器上保存每个光标签的标识信息(ID)或任何其他信息，例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性，如光标签的位置信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置，其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。

可以将光标签作为锚点，来实现虚拟对象到现实场景或虚拟场景中的叠加。虚拟对象例如可以是图标、图片、文字、表情符号、虚拟的三维物体、三维场景模型、一段动画、一段视频、一个可跳转的网页链接、等等。在下文中，以在现实场景中叠加虚拟对象为例进行了说明，但需要说明的 是，这并非限制，本发明的方案同样适用于在虚拟场景中叠加虚拟对象。

图3示出了根据一个实施例的基于光标签在现实场景中叠加虚拟对象的方法，该方法包括如下步骤：

步骤301：设备获得光标签传递的标识信息。

例如，设备可以通过采集并分析光标签的图像，来识别出光标签传递的标识信息。该标识信息可以与一个或多个虚拟对象相关联。

步骤302：设备使用所述标识信息进行查询，以获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，该叠加信息包括叠加位置信息。

设备在识别出光标签传递的标识信息之后，可以使用该标识信息向服务器发出查询请求。在服务器处可以预先存储与该光标签相关的信息，其例如可以包括光标签的标识信息、与该光标签(或光标签的标识信息)相关联的一个或多个虚拟对象的描述信息、每个虚拟对象的叠加位置信息、等等。虚拟对象的描述信息是用于描述该虚拟对象的相关信息，例如可以包括虚拟对象中包含的图片、文字、图标、虚拟对象的标识信息、形状信息、颜色信息、尺寸信息、等等。基于该描述信息，设备可以呈现出相应的虚拟对象。虚拟对象的叠加位置信息可以是相对于光标签的位置信息(例如，虚拟对象的叠加位置相对于光标签的距离信息和相对于光标签的方向信息)，其用于指示虚拟对象的叠加位置。设备通过向服务器发出查询请求，可以获得要在设备当前呈现的现实场景中叠加的虚拟对象的描述信息以及该虚拟对象的叠加信息。在一个实施例中，在服务器处存储的虚拟对象描述信息可以仅仅是虚拟对象的标识信息，设备在获得该标识信息后，可以使用该标识信息在设备本地或从第三方获得用于虚拟对象的呈现的更为详细的描述信息。在一个实施例中，虚拟对象的叠加信息还可以包括虚拟对象的叠加姿态信息或叠加时间信息，该叠加姿态信息可以是虚拟对象相对于光标签的姿态信息，也可以是其在现实世界的坐标系中的姿态信息。

需要说明的是，为了确定虚拟对象的叠加姿态，并非必须使用虚拟对象的叠加姿态信息，而是也可以使用虚拟对象的叠加位置信息来确定虚拟对象的叠加姿态。例如，对于一个虚拟对象，可以确定其上的若干个点的叠加位置信息，这些不同的点的叠加位置信息能够用于确定该虚拟对象相对于光标签的姿态或者在现实世界坐标系中的姿态。

在一个实施例中，可以基于现实世界中位于光标签附近的其他物体 (例如，另一个设备)相对于光标签的位置来确定虚拟对象的叠加位置信息，如此，在叠加虚拟对象时，这些虚拟对象可以覆盖现实场景中的物体，或者可以在这些物体周围或附近呈现相关的虚拟对象，从而实现精确的增强现实效果。在一个实施例中，现实世界中的物体的位置可以变化，其可以是某个人或者某个物体的当前位置，该位置可以通过扫描光标签来确定，也可以通过扫描光标签并进行传感器跟踪来确定，也可以通过场景中布设的摄像头来确定，也可以通过将设备摄像头采集的图像与光标签周围的场景的模型进行比较来确定，等等。

步骤303：设备至少部分地通过光标签确定其位置信息。

在一个实施例中，设备可以通过采集包括光标签的图像并分析该图像来确定其相对于光标签的位置信息。例如，设备可以通过图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、设备的摄像头的焦距)来确定光标签与识别设备的相对距离(成像越大，距离越近；成像越小，距离越远)。设备可以使用光标签的标识信息从服务器获得光标签的实际物理尺寸信息，或者光标签可以具有统一的物理尺寸并在设备上存储该物理尺寸。设备可以通过包括光标签的图像中的光标签成像的透视畸变以及可选的其他信息(例如，光标签的成像位置)，来确定设备相对于光标签的方向信息。设备可以使用光标签的标识信息从服务器获得光标签的物理形状信息，或者光标签可以具有统一的物理形状并在设备上存储该物理形状。在一个实施例中，设备也可以通过其上安装的深度摄像头或双目摄像头等来直接获得光标签与识别设备的相对距离。设备也可以采用现有的任何其他定位方法来确定其相对于光标签的位置信息。

步骤304：设备至少部分地通过光标签确定其姿态信息。

在一个实施例中，设备可以确定其相对于光标签的姿态信息，例如，设备可以根据光标签的成像来确定其相对于光标签的姿态信息，当光标签的成像位置或成像区域位于设备成像视野的中心时，可以认为设备当前正对着光标签。在确定设备的姿态时可以进一步考虑光标签的成像的方向。

在一个实施例中，也可以以如下方式来确定设备相对于光标签的位置和姿态信息(可以统称为位姿信息)。具体地，可以根据光标签建立一个坐标系，该坐标系可以被称为光标签坐标系。可以将光标签上的一些点确定为在光标签坐标系中的一些空间点，并且可以根据光标签的物理尺寸信 息和/或物理形状信息来确定这些空间点在光标签坐标系中的坐标。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在设备相机拍摄的图像中找到与这些空间点分别对应的像点，并确定各个像点在图像中的位置。根据各个空间点在光标签坐标系中的坐标以及对应的各个像点在图像中的位置，结合设备相机的内参信息，可以计算得到拍摄该图像时设备相机在光标签坐标系中的位姿信息(R，t)，其中R为旋转矩阵，其可以用于表示设备相机在光标签坐标系中的姿态信息，t为位移向量，其可以用于表示设备相机在光标签坐标系中的位置信息。计算R、t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。旋转矩阵R和位移向量t实际上可以描述如何将某个点的坐标在光标签坐标系和设备相机坐标系之间转换。例如，通过旋转矩阵R和位移向量t，可以将某个点在光标签坐标系中的坐标转换为在设备相机坐标系中的坐标，并可以进一步转换为图像中的像点的位置。如此，对于具有多个特征点(虚拟对象的轮廓上的多个点)的虚拟对象，可以在该虚拟对象的叠加信息中包括该多个特征点在光标签坐标系中的坐标(也即，相对于光标签的位置信息)，基于多个特征点在光标签坐标系中的坐标，可以确定这些特征点在设备相机坐标系中的坐标，从而可以确定这些特征点在设备上的各自成像位置。虚拟对象的多个特征点的各自成像位置一旦确定，就可以相应地确定出该虚拟对象整体的成像的位置、大小、或姿态等。

在通过扫描光标签确定设备在空间中的位置和/或姿态之后，设备可能会发生平移和/或旋转，在这种情况下，可以例如使用设备内置的各种传感器(例如，加速度传感器、磁力传感器、方向传感器、重力传感器、陀螺仪、摄像头等)通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)来测量或跟踪其位置变化和/或姿态变化，从而确定设备的实时位置和/或姿态。

所确定的设备的位置和姿态信息可以是相对于光标签的位置和姿态信息，也可以是设备在其他物理坐标系下的位置和姿态信息，该物理坐标系例如可以是场所坐标系(例如，针对某个房间、建筑物、园区等建立的 坐标系)或者世界坐标系。在这种情况下，光标签可以具有在该物理坐标系下的位置和姿态信息，其可以被提前标定和存储。通过设备相对于光标签的位置和姿态信息以及光标签本身在某个物理坐标系下的位置和姿态信息，可以确定设备在该物理坐标系下的位置和姿态信息。设备可以识别光标签传递的信息(例如标识信息)，并使用该信息来获得(例如通过查询)光标签在某个物理坐标系下的位置和姿态信息。类似地，虚拟对象的叠加位置信息也可以是在其他物理坐标系下的位置信息。

步骤305：基于虚拟对象的叠加信息、设备的位置信息、设备的姿态信息，在设备的显示媒介上呈现所述虚拟对象，从而在现实场景中叠加所述虚拟对象。

在一个实施例中，在通过上述步骤获得了虚拟对象的叠加位置信息和设备相对于光标签的位置信息之后，实际上可以创建出以光标签为原点的三维空间坐标系，其中，设备和待叠加的虚拟对象均具有在该坐标系中的准确的空间坐标。在一个实施例中，也可以基于虚拟对象的叠加位置信息和设备相对于光标签的位置信息来确定待叠加的虚拟对象相对于设备的位置信息。在上述基础上，可以基于设备的姿态信息在现实场景中叠加该虚拟对象。例如，可以基于设备和待叠加的虚拟对象的相对距离来确定待叠加的虚拟对象的成像大小，可以基于设备和待叠加的虚拟对象的相对方向和设备的姿态信息来确定待叠加的虚拟对象在设备上的成像位置。基于该成像位置和成像大小，可以在现实场景中实现虚拟对象的准确叠加。在一个实施例中，待叠加的虚拟对象可以具有默认的成像大小，在这种情况下，可以仅确定待叠加的虚拟对象在设备上的成像位置，而不确定其成像大小。在叠加信息包括虚拟对象的叠加姿态信息的情况下，可以进一步确定所叠加的虚拟对象的姿态。在一个实施例中，可以根据上文所计算的设备(更准确地说，该设备的相机)相对于光标签的位姿信息(R，t)来确定待叠加的虚拟对象在设备上的成像的位置、大小或姿态等。

在上述实施例中，光标签实际上被用作了锚点，基于该锚点，实现了虚拟对象在现实场景中的精确叠加。而且，即使虚拟对象的叠加位置与光标签距离较远时，也可以实现精确叠加。

本领域技术人员可以理解，设备也可以在确定了其位置信息和/或姿态信息之后，使用光标签的标识信息查询待叠加的虚拟对象。在一个实施 例中，设备可以在确定了其位置信息和/或姿态信息之后，使用光标签的标识信息以及设备的位置信息和/或姿态信息进行查询，以确定待叠加的虚拟对象以及所述虚拟对象的叠加信息。如此，可以根据设备的位置和/或姿态筛选需要叠加的虚拟对象，从而减轻需要传输的网络流量。

在一个实施例中，可以基于设备的位置信息确定设备用户的特征信息，并基于该特征信息选择需要叠加的虚拟对象。例如，在用户使用诸如手机或智能眼镜之类的设备时，可以根据设备的位置信息确定设备离地面的高度，从而确定设备用户的大致身高信息，这可以用于判断设备用户是成人还是儿童，从而，如果设备用户是儿童，可以选择儿童喜爱的虚拟对象(例如，卡通形象的虚拟对象)进行叠加，以提供更好的使用体验。

在一个实施例中，设备可以使用各种可行的方式来呈现现实场景。例如，设备可以通过摄像头采集现实世界的信息并使用上述信息在显示屏幕上再现出现实场景，虚拟对象的图像可以被叠加在该显示屏幕上。设备(例如智能眼镜)也可以不通过显示屏幕来再现现实场景，而是可以简单地通过棱镜、透镜、反射镜、透明物体(例如玻璃)等来再现现实场景，虚拟对象的图像可以被光学地叠加到该现实场景中。上述显示屏幕、棱镜、透镜、反射镜、透明物体等可以统称为设备的显示媒介，虚拟对象可以被呈现在该显示媒介上。例如，在一种光学透视式增强现实设备中，用户通过特定的透镜观察到现实场景，同时该透镜可以将虚拟对象的成像反射到用户的眼中。在一个实施例中，设备的用户可以直接观察到现实场景或其部分，该现实场景或其部分在被用户的眼睛观察到之前不需要经过任何媒介进行再现，并且虚拟对象可以被光学地叠加到该现实场景中。因此，现实场景或其中的部分在被用户的眼睛观察到之前并不一定需要通过设备来呈现或再现。

在叠加了虚拟对象之后，设备可能会发生平移和/或旋转，在这种情况下，可以使用本领域已知的方法(例如，诸如手机之类的终端设备可使用其内置的加速度传感器、陀螺仪、视觉里程计等)来测量其位置变化以及姿态变化，从而对虚拟对象的显示进行调整，这在本领域中是已知的，不再赘述。

在一个实施例中，设备可以重新(例如，当光标签离开设备视野后重新进入设备视野时，或者在光标签保持在设备视野中的情况下每隔一定时间)扫描光标签以确定其位置信息和姿态信息，并基于虚拟对象的叠加位 置信息、设备的位置信息、设备的姿态信息，重新确定虚拟对象的成像位置和/或成像大小，从而校正所述虚拟对象在现实场景中的叠加。如此，可以避免叠加的虚拟对象的位置随着设备的转动或移动而发生漂移。

在某些情况下，可能存在与光标签关联的多个虚拟对象，并且在叠加这些虚拟对象时可能会出现重叠、遮挡等情形。在一个实施例中，当叠加多个虚拟对象时可以考虑这些虚拟对象之间的重叠、遮挡等情形，并且仅在现实场景中叠加或呈现未被遮挡的虚拟对象或者虚拟对象的未被遮挡的部分。在另一个实施例中，也可以考虑将遮挡其他虚拟对象的虚拟对象或其部分设置为半透明，并且也叠加或呈现被遮挡的虚拟对象或其部分，从而使得设备用户能够观察到所有虚拟对象。

在一个实施例中，在叠加虚拟对象时，设备可以根据需要仅叠加其当前视野范围内的一部分虚拟对象，而非视野范围内的所有虚拟对象。例如，对于一些叠加位置与设备位置非常接近的虚拟对象，如果在设备观察到的现实场景中叠加该虚拟对象，该虚拟对象可能会显示为具有非常大的尺寸(近大远小)，并会遮挡大量其他物体，从而影响设备用户的使用体验。对于一些叠加位置与设备位置相距非常远的虚拟对象，如果在设备观察到的现实场景中叠加该虚拟对象，该虚拟对象可能会显示为具有非常小的尺寸而难于观察，并不需要叠加。对于一些位于设备视野范围边缘处的虚拟对象，或者一些被实际物体或其他虚拟对象遮挡或部分遮挡的虚拟对象，也可以不进行叠加。

在一个实施例中，在叠加了虚拟对象之后，设备或其用户可以对该虚拟对象执行操作，以改变虚拟对象的属性。例如，设备或其用户可以移动虚拟对象的位置、改变虚拟对象的姿态、改变虚拟对象的大小或颜色、在虚拟对象上添加标注、等等。在一个实施例中，在设备或其用户改变了虚拟对象的属性之后，可以把虚拟对象的修改后的属性信息上传到服务器。服务器可以基于修改后的属性信息来修改其存储的虚拟对象的描述信息和叠加信息。如此，当之后其他用户使用其设备扫描光标签时，可以在现实场景中叠加修改后的虚拟对象。

在一个实施例中，为了提高虚拟对象叠加的灵活性、可定制性，可以为不同的设备或设备用户定制不同的虚拟对象。图4示出了根据另一个实施例的基于光标签在现实场景中叠加虚拟对象的方法，该方法包括如下步 骤(部分步骤与图3中的步骤类似，在此不再详细解释)：

步骤401：设备获得光标签传递的标识信息。

步骤402：设备使用所述标识信息以及所述设备或其用户的相关信息进行查询，以获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，该叠加信息包括叠加位置信息。

设备的相关信息例如可以是设备的标识信息、设备的型号信息、设备的配置信息等，设备的用户的相关信息例如可以是该用户的标识信息、身份信息、年龄信息、性别信息、职业信息、个人爱好信息等。设备在识别出光标签传递的标识信息之后，可以使用该标识信息和所述设备或其用户的相关信息向服务器发出查询请求。服务器在接收到查询请求后，可以基于光标签的标识信息和设备或其用户的相关信息，选择出合适的一个或多个虚拟对象，并向设备发送该一个或多个虚拟对象的描述信息以及每个虚拟对象的叠加信息。在一个实施例中，虚拟对象的叠加信息还可以包括虚拟对象的叠加姿态信息或叠加时间信息。

步骤403：设备至少部分地通过光标签确定其位置信息。

步骤404：设备至少部分地通过光标签确定其姿态信息。

步骤405：基于虚拟对象的叠加信息、设备的位置信息、设备的姿态信息，在设备的显示媒介上呈现所述虚拟对象，从而在现实场景中叠加所述虚拟对象。

如此，可以在相同的现实场景中为不同的设备或用户叠加不同的虚拟对象，这是非常有利的。

在一个实施例中，为了提高虚拟对象叠加的灵活性、可定制性，可以根据不同的时刻来配置要叠加的不同的虚拟对象。图5示出了根据另一个实施例的基于光标签在现实场景中叠加虚拟对象的方法，该方法包括如下步骤(部分步骤与图3中的步骤类似，在此不再详细解释)：

步骤501：设备获得光标签传递的标识信息。

步骤502：设备使用所述标识信息进行查询，以获得待叠加的一个或多个虚拟对象以及每个虚拟对象的叠加位置信息和叠加时间信息。

虚拟对象的叠加时间信息例如可以是一个时间段，其可以用叠加开始时间和叠加结束时间表示，用于指示该虚拟对象在现实场景中的生存期。不同虚拟对象的生存期可以重叠。设备在识别出光标签传递的标识信息之后，可以使用该标识信息向服务器发出查询请求。在服务器处可以预先存 储与该光标签相关的信息，其例如可以包括光标签的标识信息、与该光标签相关联的一个或多个虚拟对象的描述信息、每个虚拟对象的叠加位置信息、每个虚拟对象的叠加时间信息、等等。服务器可以基于当前时间信息和虚拟对象的叠加时间信息，从与光标签的标识信息相关联的多个虚拟对象中选择一个或多个虚拟对象(例如，叠加结束时间晚于当前时间的一个或多个虚拟对象)，并将所选择的一个或多个虚拟对象的描述信息、叠加位置信息、叠加时间信息发送给设备。

步骤503：设备至少部分地通过光标签确定其位置信息。

步骤504：设备至少部分地通过光标签确定其姿态信息。

步骤505：设备确定当前应叠加的虚拟对象。

设备可以根据收到的每个虚拟对象的叠加时间信息，确定出当前时刻应在现实场景中叠加的虚拟对象。

步骤506：基于当前应叠加的虚拟对象的叠加位置信息、设备的位置信息、设备的姿态信息，在现实场景中叠加所述当前应叠加的虚拟对象。

步骤507：随着时间的过去，根据每个虚拟对象的叠加位置信息和叠加时间信息在现实场景中叠加虚拟对象或删除虚拟对象。

例如，当某一个虚拟对象的生存期开始时，可以在现实场景中叠加该虚拟对象，当其生存期结束时，可以从现实场景中删除该虚拟对象。如此，可以根据不同的时刻来配置要在现实场景中叠加的不同的虚拟对象，并设定每个虚拟对象的生存期，这极大地提高了虚拟对象叠加的灵活性和可定制性。

在另一个实施例中，在图5所示的步骤502中可以进一步使用设备或其用户的相关信息，也即，设备可以使用光标签的标识信息和设备或其用户的相关信息进行查询，以确定针对该设备的待叠加的一个或多个虚拟对象以及每个虚拟对象的叠加位置信息和叠加时间信息。如此，可以为不同的设备或设备用户定制在不同时刻叠加的不同虚拟对象，进一步提高了虚拟对象叠加的灵活性和可定制性。

图6示出了根据一个实施例的在一个方向观察的叠加了虚拟对象后的现实场景，图7示出了根据一个实施例的在另一个方向观察的叠加了虚拟对象后的现实场景。在图6和图7中示出了安装于房间墙壁上的一个光标签(包括三个条状光源)，并且示出了在桌子上方叠加的一个虚拟对象，该虚拟对象是一个虚拟显示屏，其中可以显示图片、视频等。

在某些情况下，当用户设备使用光标签传递的标识信息查询要叠加的虚拟对象时，可能并不需要向其发送与该光标签关联的所有虚拟对象，也可能并不需要在设备上呈现位于设备视野范围内的所有虚拟对象，而是可以仅呈现适合设备当前位置和姿态的一个或多个虚拟对象，例如，仅呈现位于设备视野范围内并且距离适中的虚拟对象，或者仅呈现位于设备视野范围的中心区域附近的虚拟对象，或者仅呈现未被遮挡或覆盖的虚拟对象，等等。在某些情况下，设备的位置信息和/或姿态信息能够反映设备用户的一些特征，例如，儿童用户所持有的设备的位置一般较低，成人用户所持有的设备的位置一般较高，因此，可以基于设备的位置信息计算设备的高度(该高度可以反映设备用户的身高信息)，并为不同高度的设备呈现不同的虚拟对象，例如为较低高度的设备呈现卡通形式的虚拟对象。另外，如果与光标签关联的虚拟对象比较多，则当设备使用光标签传递的标识信息进行查询以确定待叠加的虚拟对象以及所述虚拟对象的叠加信息时，可能涉及从服务器到设备的大量的数据传输。例如，服务器可能需要向设备传输与该光标签关联的所有虚拟对象的描述信息、叠加信息(例如，叠加位置信息、叠加姿态信息、叠加时间信息)、等等，这会增加通信负担，增大延迟，并且影响用户的交互体验，这种问题在虚拟对象很多或者虚拟对象本身比较复杂的情况下尤为严重。图8示出了根据再一个实施例的基于光标签在现实场景中叠加虚拟对象的方法，其能够避免或减轻上述问题。该方法包括如下步骤(部分步骤与图3中的步骤类似，在此不再详细解释)：

步骤801：设备获得光标签传递的标识信息。

步骤802：设备至少部分地通过光标签确定其位置信息和姿态信息。

设备可以以与步骤303和304类似的方式确定其位置信息和姿态信息(可以一起称为位姿信息)。

步骤803：设备通过所述标识信息以及所述设备的位置信息和/或姿态信息，获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，所述叠加信息包括叠加位置信息。

设备在识别出光标签传递的标识信息并且获得了其位置信息和姿态信息之后，可以将该标识信息、位置信息、姿态信息发送给服务器。服务器在接收到这些信息后，可以使用这些信息来确定要叠加的虚拟对象以及这些虚拟对象的叠加信息。例如，服务器可以首先根据标识信息来确定与 该标识信息相关联的所有虚拟对象，然后，服务器可以根据设备的位置信息和/或姿态信息，从这些虚拟对象中筛选出待叠加的虚拟对象，并将这些筛选出的虚拟对象的描述信息以及叠加信息发送给设备。

需要理解的是，一方面，服务器所确定的待叠加的虚拟对象不一定处于设备的视野范围内。例如，设备可能确定出若干目前不处于设备视野范围内的虚拟对象，这些虚拟对象当前并不会被叠加到设备的显示媒介上，但当设备发生平移和/或旋转时，可能会进入设备的视野范围而被叠加。另一方面，处于设备当前视野范围内的虚拟对象也不一定会被服务器确定为待叠加的虚拟对象。例如，对于一些叠加位置与设备位置非常接近的虚拟对象，如果在设备观察到的现实场景中叠加该虚拟对象，该虚拟对象可能会显示为具有非常大的尺寸(近大远小)，并会遮挡大量其他物体，从而影响设备用户的使用体验。对于一些叠加位置与设备位置相距非常远的虚拟对象，如果在设备观察到的现实场景中叠加该虚拟对象，该虚拟对象可能会显示为具有非常小的尺寸而难于观察，因此并不需要叠加。对于一些被实际物体或其他虚拟对象遮挡或部分遮挡的虚拟对象，也可以不将其确定为待叠加的虚拟对象。

在一个实施例中，虚拟对象的叠加信息还可以包括虚拟对象的叠加姿态信息或叠加时间信息。

步骤804：设备基于所述位置信息、所述姿态信息以及所述叠加信息，在设备的显示媒介上呈现所述虚拟对象，从而在现实场景中叠加所述虚拟对象。

在一个实施例中，虚拟对象可以是人物照片或视频。在一个实施例中，该人物照片或视频可以是背景透明的照片或视频(例如，带alpha透明通道的照片或视频)，使得该照片或视频中只有人物，而不具备背景。如此，当叠加了该人物照片或视频之后，由于该照片或视频本身的背景不会被呈现，因此，人物就好像真实地位于现实场景中一样，从而可以实现更好的增强现实效果。

在上文中，以在现实场景中叠加虚拟对象为例进行了说明，但可以理解，本发明的方案同样适用于在虚拟场景中叠加虚拟对象。在设备呈现或显示的虚拟场景中可以包括各种虚拟对象，例如虚拟的三维场景模型、虚拟物体、虚拟人物、等等。在叠加各种虚拟对象时，设备可以通过摄像头识别出光标签，并将该光标签作为锚点来叠加各种虚拟对象，通过这种方 式，可以准确地跟踪用户的位置或姿态并准确地叠加各种虚拟对象。在虚拟场景中可以显示或不显示光标签或用于示出光标签的位置的图标或标识。

本文中提到的设备可以是用户携带或控制的设备，设备上可以安装有图像采集器件(例如摄像头)和显示媒介(例如显示屏)。

在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。

由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改 进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (15)

1. 一种基于光通信装置叠加虚拟对象的方法，包括：

   设备获得光通信装置传递的标识信息，所述标识信息与一个或多个虚拟对象相关联；

   设备至少部分地通过所述光通信装置确定其位置信息；

   设备至少部分地通过所述光通信装置确定其姿态信息；

   设备通过所述标识信息获得待叠加的虚拟对象以及所述虚拟对象的叠加信息，所述叠加信息包括所述虚拟对象的叠加位置信息；以及

   设备基于其位置信息和姿态信息以及所述虚拟对象的叠加信息，在所述设备的显示媒介上呈现所述虚拟对象。
2. 根据权利要求1所述的方法，其中，所述设备具有图像采集器件，以及其中，通过如下方式确定所述设备的位置信息或姿态信息：

   所述设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其位置信息或姿态信息。
3. 根据权利要求2所述的方法，其中，所述设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其位置信息或姿态信息包括：

   所述设备至少部分地通过采集包括所述光通信装置的图像并分析该图像来确定其在采集所述图像时的位置信息或姿态信息；以及

   所述设备使用内置的传感器跟踪其位置变化和/或姿态变化，以确定其当前的位置信息或姿态信息。
4. 根据权利要求1所述的方法，其中，

   所述虚拟对象的叠加位置信息是相对于所述光通信装置的叠加位置信息；和/或

   所述设备的位置信息和姿态信息是相对于所述光通信装置的位置信息和姿态信息。
5. 根据权利要求1所述的方法，其中，所述设备的位置信息和姿态 信息是所述设备在某个物理坐标系下的位置信息和姿态信息，以及其中，基于所述设备相对于所述光通信装置的位置信息和姿态信息以及所述光通信装置本身在所述物理坐标系下的位置信息和姿态信息，确定所述设备在所述物理坐标系下的位置信息和姿态信息。
6. 根据权利要求1所述的方法，其中，所述虚拟对象是背景透明的人物照片或视频。
7. 根据权利要求1所述的方法，其中，所述虚拟对象包括至少两个虚拟对象，以及其中，所述至少两个虚拟对象被配置以预定的时序呈现在所述设备的显示媒介上。
8. 根据权利要求1所述的方法，其中，所述通过所述标识信息获得待叠加的虚拟对象以及所述虚拟对象的叠加信息包括：

   通过所述标识信息以及所述设备的位置信息和/或姿态信息来获得待叠加的虚拟对象以及所述虚拟对象的叠加信息。
9. 根据权利要求8所述的方法，所述通过所述标识信息以及所述设备的位置信息和/或姿态信息来获得待叠加的虚拟对象以及所述虚拟对象的叠加信息包括：

   基于所述设备的位置信息确定所述设备的用户的特征信息；以及

   基于所述设备的用户的特征信息选择需要叠加的虚拟对象。
10. 根据权利要求9所述的方法，其中，所述基于所述设备的位置信息确定所述设备的用户的特征信息包括：

    基于所述设备的位置信息确定所述设备的用户的身高信息。
11. 根据权利要求1所述的方法，其中，所述叠加信息还包括所述虚拟对象的叠加姿态信息或叠加时间信息。
12. 根据权利要求1所述的方法，其中，基于现实世界中的物体的位置来确定所述虚拟对象的叠加位置信息。
13. 根据权利要求12所述的方法，其中，所述物体是具有图像采集器件的另一设备，以及其中，所述另一设备至少部分地通过所述光通信装置来确定其位置信息。
14. 一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-13中任一项所述的方法。
15. 一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-13中任一项所述的方法。

Images