WO2024140540A1 - 虚拟现实显示方法及装置、增强现实光学采集装置、介质 - Google Patents

虚拟现实显示方法及装置、增强现实光学采集装置、介质 Download PDF

Info

Publication number
WO2024140540A1
WO2024140540A1 PCT/CN2023/141474 CN2023141474W WO2024140540A1 WO 2024140540 A1 WO2024140540 A1 WO 2024140540A1 CN 2023141474 W CN2023141474 W CN 2023141474W WO 2024140540 A1 WO2024140540 A1 WO 2024140540A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
target object
virtual reality
coordinate system
reality image
Prior art date
Application number
PCT/CN2023/141474
Other languages
English (en)
French (fr)
Inventor
罗迤宝
崔巧云
贾蓉
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2024140540A1 publication Critical patent/WO2024140540A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • the present disclosure relates to the field of information technology, and in particular, to a virtual reality display method, a virtual reality display device, an augmented reality optical acquisition device, and a computer-readable medium.
  • an augmented reality optical acquisition device comprising: one or more second processors; and a second memory on which one or more programs are stored, and when the one or more programs are executed by the one or more second processors, the one or more second processors implement the virtual reality display method described in the second aspect of the present disclosure.
  • an augmented reality image of a target object is first constructed by an augmented reality optical acquisition device, and then the virtual reality image is presented to a user wearing a corresponding virtual reality display device (e.g., virtual reality display glasses) at the above-mentioned display angle.
  • a corresponding virtual reality display device e.g., virtual reality display glasses
  • the angle at which the user wearing the virtual reality glasses observes the virtual reality image is consistent with the relative position of the augmented reality optical acquisition device with respect to the target image, thereby enabling the user wearing the virtual reality glasses to obtain a real visual experience.
  • FIG1 is a schematic diagram of a flow chart of a virtual reality display method according to an embodiment of the present disclosure
  • FIG9 is a schematic diagram of a target object in a rectangular triangle coordinate system and a polar coordinate system according to an embodiment of the present disclosure
  • a virtual reality image is generated by augmenting a real image, which effectively reduces the data required to construct the virtual reality image, thereby improving the performance of the virtual reality display device. Processing speed and correspondingly increase the refresh frequency to reduce the occurrence of delays and reduce the user's sense of dizziness.
  • the perspective of the operator of the augmented reality optical acquisition device is consistent with the perspective of the augmented reality optical acquisition device.
  • the augmented reality optical acquisition device is a wearable device.
  • the operator wears the augmented reality optical acquisition device it can be considered that the perspective of the operator of the augmented reality optical acquisition device is consistent with the perspective of the augmented reality optical acquisition device;
  • the above virtual reality display method provided by the present disclosure can be executed.
  • the augmented reality optical acquisition device can remain stationary and rotate the target object. In this case, the relative position relationship between the augmented reality optical acquisition device and the target object sent to the current virtual reality display device will also change. In order to make the virtual reality image rotate accordingly.
  • FIG3 is a flow chart of step S140 according to an embodiment of the present disclosure. As shown in FIG3 , step S140 (ie, controlling the rotation of the virtual reality image) includes the following steps S141 to S144.
  • the preset angle step may be rotated clockwise or counterclockwise first, as long as the parallax angle between the virtual reality image and the augmented reality image is smaller than the preset threshold.
  • step S231 in the display state, a wireless measurement is sent to the target object. Signal.
  • FIG6 is a schematic diagram of a process of determining a polar coordinate system in step S220 according to an embodiment of the present disclosure.
  • step S220 ie, determining the coordinate system information of the coordinate system of the augmented reality image
  • steps S221 to S224 includes steps S221 to S224.
  • FIG. 7 is a schematic diagram of a wireless measurement module in a polar coordinate system.
  • the first processor 101 is a device with data processing capabilities, including but not limited to a central processing unit (CPU) and the like;
  • the first memory 102 is a device with data storage capabilities, including but not limited to random access memory (RAM, more specifically SDRAM, DDR, etc.), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), and flash memory (FLASH);
  • the first I/O interface (read-write interface) 103 is connected between the first processor 101 and the first memory 102, and can realize information interaction between the first processor 101 and the first memory 102, including but not limited to a data bus (Bus) and the like.
  • Buss data bus
  • FIG11 is a schematic diagram of an augmented reality optical acquisition device according to an embodiment of the present disclosure.
  • an augmented reality optical acquisition device including: one or more second processors 201; and a second memory 202, on which one or more programs are stored.
  • the one or more programs are executed by the one or more second processors 201, the one or more second processors 201 implement the virtual reality display method described with reference to FIG2 .
  • the electronic device may further include one or more second I/O interfaces 203 connected between the second processor 201 and the second memory 202 and configured to implement information exchange between the second processor and the second memory.
  • the second processor 201 is a device with data processing capabilities, including but not limited to a central processing unit (CPU) and the like;
  • the second memory 202 is a device with data storage capabilities, including but not limited to random access memory (RAM, more specifically SDRAM, DDR, etc.), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), and flash memory (FLASH);
  • the second I/O interface (read-write interface) 203 is connected between the second processor 201 and the second memory 202, and can realize information interaction between the second processor 201 and the second memory 202, including but not limited to a data bus (Bus) and the like.
  • Buss data bus
  • the optical acquisition module may include augmented reality glasses with a camera.
  • the optical acquisition module may include at least one camera.
  • the optical acquisition module moves along at least one shooting track to acquire image information of the target object, wherein the shooting track surrounds the target object.
  • the augmented reality optical acquisition device further includes: measuring A signal sending module, wherein the measurement signal sending module is used to send a wireless measurement signal to the target object.
  • the virtual reality image created by the virtual display method can be considered as a three-dimensional maintenance manual, so that the maintenance process can be better displayed.
  • the operator on the side of the virtual reality display device can also be guided to perform maintenance operations on the actual object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种虚拟现实显示方法，包括：获取目标物体的增强现实图像、增强现实光学采集装置和所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系的坐标系信息，其中，所述增强现实光学采集装置用于对所述目标物体进行图像采集以获取所述增强现实图像；根据所述增强现实光学采集装置和所述目标物体之间的相对位置关系和所述增强现实图像的坐标系信息生成所述目标物体的虚拟现实图像，其中，所述虚拟现实图像的坐标系与所述增强现实图像的坐标系对应，所述虚拟现实图像的展示角度与所述增强现实光学采集装置和所述目标物体的相对位置关系相匹配。本公开还提供一种虚拟现实显示装置、一种增强现实光学采集装置和一种计算机可读存储介质。

Description

虚拟现实显示方法及装置、增强现实光学采集装置、介质 技术领域
本公开涉及信息技术领域，具体地，涉及一种虚拟现实显示方法、一种虚拟现实显示装置、一种增强现实光学采集装置、一种计算机可读介质。
背景技术
虚拟现实(VR，Virtual Reality)技术以沉浸感、交互性、想象性为特点，通过在视觉、听觉、触觉等感官上的模拟，使用户能获得身临其境的超强体验。然而，目前虚拟现实在体验上普遍存在眩晕感，如何降低用户在使用虚拟现实设备时的眩晕感成为本领域亟待解决的技术问题。
发明内容
本公开实施例提供一种虚拟现实显示方法、一种虚拟现实显示装置、一种增强现实光学采集装置、一种计算机可读介质。
作为本公开的第一个方面，提供一种虚拟现实显示方法，包括：获取目标物体的增强现实图像、增强现实光学采集装置和所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系的坐标系信息，其中，所述增强现实光学采集装置用于对所述目标物体进行图像采集以获取所述增强现实图像；以及根据所述增强现实光学采集装置和所述目标物体之间的相对位置关系和所述增强现实图像的坐标系信息生成所述目标物体的虚拟现实图像，其中，所述虚拟现实图像的坐标系与所述增强现实图像的坐标系对应，所述虚拟现实图像的展示角度与所述增强现实光学采集装置和所述目标物体的相对位置关系相匹配。
作为本公开的第二个方面，提供一种虚拟现实显示方法，包括： 根据采集到的目标物体的图像信息生成所述目标物体的增强现实图像；确定所述增强现实图像的坐标系信息；确定展示状态下的当前增强现实光学采集装置与所述目标物体之间的相对位置关系；以及将展示状态下的所述增强现实图像、展示状态下的当前增强现实光学采集装置与所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系信息发送至虚拟现实显示装置。
作为本公开的第三个方面，提供一种虚拟现实显示装置，包括：一个或多个第一处理器；以及第一存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个第一处理器执行，使得所述一个或多个第一处理器实现本公开第一个方面所述的虚拟现实显示方法。
作为本公开的第四个方面，提供一种增强现实光学采集装置，包括：一个或多个第二处理器；以及第二存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个第二处理器执行，使得所述一个或多个第二处理器实现本公开第二个方面所述的虚拟现实显示方法。
作为本公开的第五个方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现所述虚拟现实显示方法。
在本公开所提供的虚拟现实显示方法中，首先通过增强现实光学采集装置构建目标物体的增强现实图像，随后虚拟现实图像以上述展示角度呈现给佩戴有相应虚拟现实显示装置(例如，虚拟现实显示眼镜)的用户，这样，佩戴虚拟现实眼镜的用户观察虚拟现实图像的角度，与增强现实光学采集装置相对于目标图像的相对位置是一致的，从而可以使得佩戴虚拟现实眼镜的用户获得真实的视觉体验。
在本公开中，通过增强现实图像来生成虚拟现实图像，有效降低了构建虚拟现实图像所需要的数据，从而提升虚拟现实显示装置的处理速度，并相应提高刷新频率，减少延迟的发生，降低用户的眩晕感。
附图说明
图1是根据本公开实施例的虚拟现实显示方法的流程示意图；
图2是根据本公开实施例的虚拟现实显示方法的流程示意图；
图3是根据本公开实施例的步骤S140的流程示意图；
图4是根据本公开实施例的虚拟现实显示方法的流程示意图；
图5是根据本公开实施例的步骤S230的流程示意图；
图6是根据本公开实施例的步骤S220中确定极坐标系的流程示意图；
图7是根据本公开实施例的无线测量模块在极坐标系中的示意图；
图8是根据本公开实施例的多个拍摄轨道的示意图；
图9是根据本公开实施例的目标物体在直角三角坐标系、以及极坐标系中的示意图；
图10是根据本公开实施例的虚拟现实显示装置的示意图；
图11是根据本公开实施例的增强现实光学采集装置的示意图；
图12是根据本公开实施例的计算机可读介质的示意图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的虚拟现实显示方法、虚拟现实显示装置、增强现实光学采集装置、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公 开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
本公开提供了一种虚拟现实显示方法。
图1是根据本公开实施例的虚拟现实显示方法的流程示意图，如图1所示，所述虚拟现实显示方法可以包括步骤S110和S120。
在步骤S110中，获取目标物体的增强现实图像、增强现实光学采集装置和所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系的坐标系信息，其中，所述增强现实光学采集装置用于对所述目标物体进行图像采集以获取所述增强现实图像。
在步骤S120中，根据所述增强现实光学采集装置和所述目标物体之间的相对位置关系和所述增强现实图像的坐标系信息生成所述目标物体的虚拟现实图像，其中，所述虚拟现实图像的坐标系与所述增强现实图像的坐标系对应，所述虚拟现实图像的展示角度与所述增强现实光学采集装置和所述目标物体的相对位置关系相匹配。
在本公开所提供的虚拟现实显示方法中，首先通过增强现实光学采集装置构建目标物体的增强现实图像，随后虚拟现实图像以上述展示角度呈现给佩戴有虚拟现实显示装置(例如，虚拟现实眼镜)的用户，这样，佩戴虚拟现实眼镜的用户观察虚拟现实图像的角度，与增强现实光学采集装置相对于目标图像的相对位置是一致的，从而可以使得佩戴虚拟现实眼镜的用户获得真实的视觉体验。
在本公开中，通过增强现实图像来生成虚拟现实图像，有效降低了构建虚拟现实图像所需要的数据，从而提升虚拟现实显示装置的 处理速度，并相应提高刷新频率，减少延迟的发生，降低用户的眩晕感。
在本公开中，增强现实图像的坐标系可以包括极坐标系和三维坐标系。在本公开中，“虚拟现实图像的坐标系与增强现实图像的坐标系对应”的情况可以包括虚拟现实图像的三维坐标系与增强现实图像的三维坐标系严格一致。通过极坐标系来管理驱动转动分量(控制虚拟现实图像转动)，通过三维坐标系来对其管理增强现实图像和虚拟现实图像的精准对应关系(例如让增强现实装置显示的实时维修物体和虚拟现实装置显示的虚拟维修物体在用户视角方向上做动态实时对齐)。
需要指出的是，在执行根据本公开的实施例的虚拟现实显示方法之前，需要对如下参数进行初始化：
第一、增强现实光学采集装置的操作者的视角与增强现实光学采集装置的视角一致，通常，增强现实光学采集装置为可穿戴设备，当操作者佩戴所述增强现实光学采集装置时，即可认为增强现实光学采集装置的操作者的视角与增强现实光学采集装置的视角一致；
第二、确定目标物体的极坐标系和增强现实图像的实时坐标系之间建立对应关系；
第三、确定增强现实图像的坐标系与虚拟现实图像的三维坐标系之间的对应关系；
第四、确定虚拟现实图像的坐标系和展示视角(可以被认为是虚拟人眼)之间的坐标系关系。
在实现上述初始化的步骤之后，即可执行本公开所提供的上述虚拟现实显示方法。
为了便于实现，可选地，在极坐标系下，所述虚拟现实图像的坐标系与所述增强现实图像的坐标系对应的情况还可以包括所述虚拟现实图像的Z轴与所述增强现实图像的Z轴一致。当然，本公开并不限于此。
在对目标物体进行展示时，通常需要对目标物体进行旋转，以展示目标物体的不同部分。为了实现虚拟现实图像旋转，需要对目标 物体进行旋转。增强现实光学采集装置可以保持不动，对目标物体进行旋转。在这种情况下，发送给当前虚拟现实显示装置的增强现实光学采集装置和所述目标物体的相对位置关系也会发生变化。为了使得虚拟现实图像发生相应的旋转。
图2是根据本公开实施例的虚拟现实显示方法的流程示意图，如图2所示，所述虚拟现实显示方法包括步骤S110至S140。图2中的步骤S110和S120与参照图1描述的步骤S110和S120相同，因此省略对其的重复描述。
在步骤S130中，确定虚拟现实图像和与虚拟现实图像对应的增强现实图像之间的视角差。
在步骤S140中，在所述视差角大于预设阈值的情况下，控制所述虚拟现实图像转动，直至所述虚拟现实图像和所述增强现实图像之间的视角差小于或等于所述预设阈值为止。
在本公开中，只要确定出了当前的虚拟现实图像与当前的增强现实图像之间的视角差，按照该视差角驱动虚拟现实图像旋转，即可改变虚拟现实图像的展示角度。所述“视角差”是在极坐标下确定的。
在本公开中，对所述预设阈值不做特殊的限定，只要是当前虚拟现实显示装置能够实现的精度即可。
图3是根据本公开实施例的步骤S140的流程示意图，如图3所示，步骤S140(即，所述控制所述虚拟现实图像转动)包括以下步骤S141至S144。
在步骤S141中，驱动所述虚拟现实图像沿第一方向旋转预定角度步长。
在步骤S142中，确定转过预定角度步长的虚拟现实图像与当前的增强现实图像之间的视角差。
在步骤S143中，在步骤S142中确定的视角差大于所述虚拟现实图像未旋转时的视角差的情况下，驱动所述虚拟现实图像沿第二方向旋转，直至所述视角差小于或等于所述预设阈值为止，其中，所述第一方向和所述第二方向中的一者为顺时针方向、另一者为逆时针方向。
可以先顺时针转动预定角度步长，也可以先逆时针转动预定角度步长，只要能够实现虚拟现实图像与增强现实图像之间的视差角小于所述预设阈值即可。
在步骤S144中，在步骤S142中确定的视角差小于所述虚拟现实图像未旋转时的视角差的情况下，驱动所述虚拟现实图像继续沿所述第一方向旋转，直至所述视角差小于或等于所述预设阈值为止。
图4是根据本公开实施例的虚拟现实显示方法的流程示意图，如图4所示，所述虚拟现实显示方法包括步骤S210至S240。
在步骤S210中，根据采集到的目标物体的图像信息生成所述目标物体的增强现实图像。
在步骤S220中，确定所述增强现实图像的坐标系的坐标系信息。
在步骤S230中，确定展示状态下的当前增强现实光学采集装置和所述目标物体之间的相对位置关系。
在步骤S240中，将展示状态下的所述增强现实图像、展示状态下的当前增强现实光学采集装置和所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系信息发送至虚拟现实显示装置。
根据本公开实施例的虚拟现实显示方法由增强现实光学采集装置所执行。将展示状态下的所述增强现实图像、展示状态下的当前增强现实光学采集装置与所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系信息发送至虚拟现实显示装置后，虚拟现实显示装置可以据此执行参照图1描述的虚拟现实显示方法。
上文中已经对所述虚拟现实显示方法进行了详细的介绍和说明，此处不再赘述。
根据本公开实施例，在极坐标系下，当前增强现实光学采集装置和所述目标物体之间的相对位置关系包括当前增强现实光学采集装置和所述目标物体之间的角度。
图5是根据本公开实施例的步骤S230的流程示意图。如图5所示，步骤S230(即，所述确定展示状态下当前增强现实采集装置与所述目标物体之间的相对位置关系)包括步骤S231和S232。
在步骤S231中，在展示状态下，向所述目标物体发送无线测量 信号。
在步骤S232中，根据所述目标物体反射的信号确定展示状态下的当前增强现实光学采集装置与所述目标物体之间的角度。
在本公开中，通过无线测距技术可以建立极坐标系，并确定当前增强现实光学采集装置和所述目标物体之间的角度。需要指出的是，在本公开中，可以通过光学采集建立三维坐标系。
根据本公开实施例，所述无线测量信号包括毫米波信号。
下面介绍如何通过无线测距技术来建立极坐标。
在目标物体上设置与无线测距模块匹配的第一无线定位标签和第二无线定位标签，第一无线定位标签、第二无线定位标签分别具有唯一的ID。第一无线定位标签和第二无线定位标签分别设置在目标物体上表面和下表面上。
所述增强现实图像的坐标系包括极坐标系，由集成在当前增强现实光学采集装置上的测量信号发送模块发出所述无线测量信号。
图6是根据本公开实施例的步骤S220中确定极坐标系的流程示意图，如图6所示，步骤S220(即，所述确定所述增强现实图像的坐标系的坐标系信息)包括步骤S221至S224。
在步骤S221中，向设置在所述目标物体的上表面的第一无线定位标签、以及设置在所述目标物体的下表面的第二无线定位标签发出无线测量信号。
在步骤S222中，根据所述第一无线定位标签的响应信号、以及所述第二无线定位标签的响应信号确定所述第一无线定位标签的位置以及所述第二无线定位标签的位置。
在步骤S223中，将所述第一无线定位标签的位置与所述第二无线定位标签之间的连线作为所述增强现实图像的极坐标系的Z轴。
在步骤S224中，将所述测量信号发送模块与所述第二无线定位标签之间的距离作为所述增强现实图像的极坐标系的半径。
如图7中所示的是无线测量模块在极坐标系中的示意图。
如上文中所述，通过确定虚拟现实图像与增强现实图像之间的视角差来驱动虚拟现实图像旋转，而虚拟现实图像与增强现实图像之 间的视角差是通过测量精度相对较低的无线测距技术来确定的，因此，在驱动虚拟现实图像运算时所需要处理的数据量降低，从而进一步降低了画面延迟。
在本公开中，对如何通过光学测量的方式来确定增强现实图像的三维坐标不做特殊的限定。例如，可以驱动增强现实光学测量装置沿至少一个轨道绕目标物体旋转，进行图像信息的采集。
为了获得精确的增强现实图像，可以驱动增强现实光学测量装置分别沿多个轨道绕目标物体旋转，获得尽可能多的图像信息。
多个轨道可以沿Z轴彼此间隔开，例如，多个轨道包括沿Z轴间隔设置的第一拍摄轨道、第二拍摄轨道和第三拍摄轨道。
为了采集得到精确的图像信息，可以在目标物体上设置多个定位反光元件。
图10是根据本公开实施例的虚拟现实显示装置的示意图，如图10所示，所述虚拟现实显示装置包括：一个或多个第一处理器101；和第一存储器102，第一存储器102上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个第一处理器101执行，使得所述一个或多个第一处理器101实现参照图1描述的虚拟现实显示方法。
所述电子设备还可以包括一个或多个第一I/O接口103，连接在第一处理器与第一存储器之间，配置为实现第一处理器与第一存储器的信息交互。
第一处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；第一存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；第一I/O接口(读写接口)103连接在第一处理器101与第一存储器102间，能实现第一处理器101与第一存储器102的信息交互，其包括但不限于数据总线(Bus)等。
根据本公开实施例，第一处理器101、第一存储器102和第一I/O接口103通过第一总线104相互连接，进而与计算设备的其它组件连接。
图11是根据本公开实施例的增强现实光学采集装置的示意图，如图11所示，提供一种增强现实光学采集装置，包括：一个或多个第二处理器201；和第二存储器202，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个第二处理器201执行，使得所述一个或多个第二处理器201实现参照图2描述的虚拟现实显示方法。
所述电子设备还可以包括一个或多个第二I/O接口203，连接在第二处理器201与第二存储器202之间，配置为实现第二处理器与第二存储器的信息交互。
第二处理器201为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；第二存储器202为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；第二I/O接口(读写接口)203连接在第二处理器201与第二存储器202间，能实现第二处理器201与第二存储器202的信息交互，其包括但不限于数据总线(Bus)等。
在一些实施例中，第二处理器201、第二存储器202和第二I/O接口203通过第二总线204相互连接，进而与计算设备的其它组件连接。
根据本公开实施例，所述增强现实光学采集装置还包括：光学采集模块，该光学采集模块用于采集目标物体的图像信息。
根据本公开实施例，光学采集模块可以包括具有摄像头的增强现实眼镜。作为本公开的另一种实施方式，光学采集模块可以包括至少一个摄像头。
根据本公开实施例，所述光学采集模块沿至少一个拍摄轨道移动，采集所述目标物体的图像信息，其中，所述拍摄轨道环绕所述目标物体。
根据本公开实施例，在所述光学采集模块沿多个拍摄轨道移动，且多个所述拍摄轨道沿所述增强现实图像的Z轴彼此间隔开。
根据本公开实施例，所述增强现实光学采集装置还包括：测量 信号发送模块，所述测量信号发送模块用于向所述目标物体发送无线测量信号。
根据本公开实施例，所述测量信号发送模块可以包括无线测距模块。
如上文中所述，可以通过无线测距技术建立极坐标系。具体地，下面通过一种可选的实施方式来介绍如何通过无线测距技术来建立极坐标。
在目标物体上设置与无线测距模块匹配的第一无线定位标签和第二无线定位标签，第一无线定位标签、第二无线定位标签分别具有唯一的ID。第一无线定位标签和第二无线定位标签分别设置在目标物体上表面和下表面上。
如上文参照图6所述，建立极坐标系的步骤(即步骤S220)包括步骤S221至S224。
在步骤S221中，向设置在所述目标物体的上表面的第一无线定位标签、以及设置在所述目标物体的下表面的第二无线定位标签发出无线测量信号。
在步骤S222中，根据所述第一无线定位标签的响应信号、以及所述第二无线定位标签的响应信号确定所述第一无线定位标签的位置以及所述第二无线定位标签的位置。
在步骤S223中，将所述第一无线定位标签的位置与所述第二无线定位标签之间的连线作为所述增强现实图像的极坐标系的Z轴。
在步骤S224中，将所述测量信号发送模块与所述第二无线定位标签之间的距离作为所述增强现实图像的极坐标系的半径。
在本公开中，无线测量模块可以是超宽带(UWB，Ultra Wide Band)模块，第一无线定位标签和第二无线定位标签都采用UWB标签。
根据本公开实施例，所述增强现实光学采集装置还包括至少一个反光定位元件，所述反光定位元件用于设置在所述目标物体上。
图8是根据本公开实施例的多个拍摄轨道的示意图，如图8所示，所述增强现实光学采集装置包括反光定位元件A、反光定位元件 B和反光定位元件C。
图9是根据本公开实施例的目标物体在直角三角坐标系、以及极坐标系中的示意图。摄像头和反光定位元件A、反光定位元件B、反光定位元件C三点位置如图8所示，摄像头和反光定位元件A、反光定位元件B、反光定位元件C三点构建的直角三角坐标系成为控制和VR的虚拟物品构建和观察者坐标系做一一映射，从关键点的角度偏差驱动虚拟现实显示图像在视角上的转动。
图12是根据本公开实施例的计算机可读介质的示意图，如图12所示，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开所提供的虚拟现实显示方法。
在本公开中，对所述虚拟现实显示方法的应用场景不做特殊的限定。例如，可以在线上培训、或者线上指导的过程中使用所述虚拟现实显示方法。
具体地，可以在线上指导设备维修的过程中采用所述虚拟现实显示方法。
在增强现实光学采集装置一侧，将两个UWB标签贴在被维修物体的上下对称表面上，通过增强现实光学采集装置的无线测量模块建立增强现实图像的极坐标系，通过增强现实光学采集装置的光学采集模块建立增强现实图像的实时三维坐标。
通过所述虚拟显示显示方法建立的虚拟现实图像可以被认为是一个三维的维修说明书，从而可以对维修过程进行更好的展示。并且，通过语音提示，还可以辅导虚拟现实显示设备一侧的操作人员对实际的物体进行维修操作。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为 硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (15)

  1. 一种虚拟现实显示方法，包括：
    获取目标物体的增强现实图像、增强现实光学采集装置和所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系的坐标系信息，其中，所述增强现实光学采集装置用于对所述目标物体进行图像采集以获取所述增强现实图像；以及
    根据所述增强现实光学采集装置和所述目标物体之间的相对位置关系和所述增强现实图像的坐标系的坐标系信息生成所述目标物体的虚拟现实图像，其中，所述虚拟现实图像的坐标系与所述增强现实图像的坐标系对应，所述虚拟现实图像的展示角度与所述增强现实光学采集装置和所述目标物体的相对位置关系相匹配。
  2. 根据权利要求1所述的虚拟现实显示方法，其中，所述增强现实图像的坐标系包括极坐标系，所述虚拟现实图像的坐标系包括极坐标系，并且
    在极坐标系下，所述虚拟现实图像的坐标系与所述增强现实图像的坐标系对应的情况包括所述虚拟现实图像的Z轴与所述增强现实图像的Z轴一致。
  3. 根据权利要求1或2所述的虚拟现实显示方法，其中，所述虚拟现实显示方法还包括：
    确定所述虚拟现实图像和与所述虚拟现实图像对应的增强现实图像之间的视角差；以及
    在所述视差角大于预设阈值的情况下，控制所述虚拟现实图像转动，直至所述视角差小于或等于所述预设阈值为止。
  4. 根据权利要求3所述的虚拟现实显示方法，其中，所述控制所述虚拟现实图像转动包括：
    驱动所述虚拟现实图像沿第一方向旋转预定角度步长；
    确定转过预定角度步长的虚拟现实图像与当前的增强现实图像之间的视角差；
    在所述视角差大于所述虚拟现实图像未旋转时的视角差的情况下，驱动所述虚拟现实图像沿第二方向旋转，直至所述视角差小于或等于所述预设阈值为止，其中，所述第一方向和所述第二方向中的一者为顺时针方向，另一者为逆时针方向；以及
    在所述视角差小于所述虚拟现实图像未旋转时的视角差的情况下，驱动所述虚拟现实图像继续沿所述第一方向旋转，直至所述视角差小于或等于所述预设阈值为止。
  5. 一种虚拟现实显示方法，包括：
    根据采集到的目标物体的图像信息生成所述目标物体的增强现实图像；
    确定所述增强现实图像的坐标系的坐标系信息；
    确定展示状态下的当前增强现实光学采集装置与所述目标物体之间的相对位置关系；以及
    将展示状态下的所述增强现实图像、展示状态下的当前增强现实光学采集装置与所述目标物体之间的相对位置关系、以及所述增强现实图像的坐标系信息发送至虚拟现实显示装置。
  6. 根据权利要求5所述的虚拟现实显示方法，其中，在极坐标系下，所述当前增强现实光学采集装置与所述目标物体之间的相对位置关系包括所述当前增强现实光学采集装置与所述目标物体之间的角度，并且
    所述确定展示状态下的当前增强现实采集装置与所述目标物体之间的相对位置关系包括：
    在展示状态下，向所述目标物体发送无线测量信号；以及
    根据所述目标物体反射的信号确定展示状态下的所述当前增强现实光学采集装置与所述目标物体之间的角度。
  7. 根据权利要求6所述的虚拟现实显示方法，其中，所述无线测量信号包括毫米波信号。
  8. 根据权利要求6所述的虚拟现实显示方法，其中，所述增强现实图像的坐标系包括极坐标系，由集成在所述当前增强现实光学采集装置上的测量信号发送模块发出所述无线测量信号，所述确定所述增强现实图像的坐标系的坐标系信息包括：
    向设置在所述目标物体的上表面的第一无线定位标签、以及设置在所述目标物体的下表面的第二无线定位标签发出无线测量信号；
    根据所述第一无线定位标签的响应信号、以及所述第二无线定位标签的响应信号确定所述第一无线定位标签的位置以及所述第二无线定位标签的位置；
    将所述第一无线定位标签的位置与所述第二无线定位标签之间的连线作为所述增强现实图像的极坐标系的Z轴；以及
    将所述测量信号发送模块与所述第二无线定位标签之间的距离作为所述增强现实图像的极坐标系的半径。
  9. 一种虚拟现实显示装置，包括：
    一个或多个第一处理器；以及
    第一存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个第一处理器执行，使得所述一个或多个第一处理器实现权利要求1至4中任意一项所述的虚拟现实显示方法。
  10. 一种增强现实光学采集装置，包括：
    一个或多个第二处理器；以及
    第二存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个第二处理器执行，使得所述一个或多个第二处理器实现权利要求5至8中任意一项所述的虚拟现实显示方法。
  11. 根据权利要求10所述的增强现实光学采集装置，其中，所 述增强现实光学采集装置还包括：
    光学采集模块，所述光学采集模块沿至少一个拍摄轨道移动，采集所述目标物体的图像信息，其中，所述拍摄轨道环绕所述目标物体。
  12. 根据权利要求11所述的增强现实光学采集装置，其中，所述光学采集模块沿多个拍摄轨道移动，且所述多个所述拍摄轨道沿所述增强现实图像的Z轴彼此间隔开。
  13. 根据权利要求10至12中任意一项所述的增强现实光学采集装置，其中，所述增强现实光学采集装置还包括：
    测量信号发送模块，所述测量信号发送模块用于向所述目标物体发送无线测量信号。
  14. 根据权利要求13所述的增强现实光学采集装置，其中，所述增强现实光学采集装置还包括至少一个定位反光元件，所述定位反光元件用于设置在所述目标物体上；
    所述增强现实光学采集装置还包括第一无线定位标签和第二无线定位标签，所述第一无线定位标签用于设置在所述目标物体的上表面，所述第二无线定位标签用于设置在所述目标物体的下表面；
    所述测量信号发送模块用于向设置在所述目标物体的上表面上的所述第一无线定位标签和设置在所述目标物体的下表面上的所述第二无线定位标签发出定位信号，并接收所述第一无线定位标签的响应信号、以及所述第二无线定位标签的响应信号。
  15. 一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现权利要求1至8中任意一项所述的虚拟现实显示方法。
PCT/CN2023/141474 2022-12-31 2023-12-25 虚拟现实显示方法及装置、增强现实光学采集装置、介质 WO2024140540A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211740661.9A CN118283242A (zh) 2022-12-31 2022-12-31 虚拟现实显示方法及装置、增强现实光学采集装置、介质
CN202211740661.9 2022-12-31

Publications (1)

Publication Number Publication Date
WO2024140540A1 true WO2024140540A1 (zh) 2024-07-04

Family

ID=91635209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/141474 WO2024140540A1 (zh) 2022-12-31 2023-12-25 虚拟现实显示方法及装置、增强现实光学采集装置、介质

Country Status (2)

Country Link
CN (1) CN118283242A (zh)
WO (1) WO2024140540A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
KR20180032138A (ko) * 2016-09-21 2018-03-29 주식회사 지오제니컨설턴트 Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
US20210192846A1 (en) * 2019-11-11 2021-06-24 Spin Master Ltd. Augmented reality system
US20210241534A1 (en) * 2020-01-31 2021-08-05 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
CN114067085A (zh) * 2021-09-30 2022-02-18 北京市商汤科技开发有限公司 一种虚拟对象的显示方法及装置、电子设备和存储介质
KR20220125536A (ko) * 2021-03-05 2022-09-14 주식회사 맘모식스 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180032138A (ko) * 2016-09-21 2018-03-29 주식회사 지오제니컨설턴트 Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
CN106791784A (zh) * 2016-12-26 2017-05-31 深圳增强现实技术有限公司 一种虚实重合的增强现实显示方法和装置
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
US20210192846A1 (en) * 2019-11-11 2021-06-24 Spin Master Ltd. Augmented reality system
US20210241534A1 (en) * 2020-01-31 2021-08-05 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
KR20220125536A (ko) * 2021-03-05 2022-09-14 주식회사 맘모식스 가상현실 사용자와 증강현실 사용자와의 상호 인터랙션 서비스 제공 시스템 및 동작방법
CN114067085A (zh) * 2021-09-30 2022-02-18 北京市商汤科技开发有限公司 一种虚拟对象的显示方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN118283242A (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
CN106502427B (zh) 虚拟现实系统及其场景呈现方法
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
EP3000011B1 (en) Body-locked placement of augmented reality objects
US11504624B2 (en) Method and apparatus for controlling movement of virtual object in augmented reality, and terminal
EP3289761B1 (en) Stereoscopic display of objects
CN108377381A (zh) 沉浸式vr视频渲染方法及装置
US11423518B2 (en) Method and device of correcting image distortion, display device, computer readable medium, electronic device
CN105916060A (zh) 数据传输的方法、装置及系统
US10523912B2 (en) Displaying modified stereo visual content
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
KR101788452B1 (ko) 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
US8224067B1 (en) Stereo image convergence characterization and adjustment
CN109727305A (zh) 虚拟现实系统画面处理方法、装置及存储介质
CN102682469A (zh) 具有制作三维模型的功能的图像处理装置及方法
JP2018085722A (ja) 自由視点映像データ配信システム
CN113411684B (zh) 视频播放方法和装置、存储介质及电子设备
JP2023515205A (ja) 表示方法、装置、端末機器及びコンピュータプログラム
US10636223B2 (en) Method and apparatus for placing media file, storage medium, and virtual reality apparatus
CN107065190B (zh) 一种在vr设备上显示信息的方法、装置及vr设备
US20180115854A1 (en) Sound-reproducing method and sound-reproducing system
KR101818839B1 (ko) 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법
WO2024140540A1 (zh) 虚拟现实显示方法及装置、增强现实光学采集装置、介质
US20210208390A1 (en) Inertial measurement unit signal based image reprojection
CN111654688B (zh) 一种获取目标控制参数的方法与设备
CN115268650A (zh) 画面截屏方法、装置、头戴式虚拟现实设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23910466

Country of ref document: EP

Kind code of ref document: A1