WO2023045254A1 - 图像显示方法、装置及电子设备 - Google Patents

图像显示方法、装置及电子设备 Download PDF

Info

Publication number
WO2023045254A1
WO2023045254A1 PCT/CN2022/078362 CN2022078362W WO2023045254A1 WO 2023045254 A1 WO2023045254 A1 WO 2023045254A1 CN 2022078362 W CN2022078362 W CN 2022078362W WO 2023045254 A1 WO2023045254 A1 WO 2023045254A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
user
environment
real environment
position information
Prior art date
Application number
PCT/CN2022/078362
Other languages
English (en)
French (fr)
Inventor
吴涛
Original Assignee
青岛小鸟看看科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛小鸟看看科技有限公司 filed Critical 青岛小鸟看看科技有限公司
Priority to EP22871320.2A priority Critical patent/EP4345738A1/en
Publication of WO2023045254A1 publication Critical patent/WO2023045254A1/zh
Priority to US18/400,575 priority patent/US20240135580A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • Embodiments of the present disclosure relate to the field of mixed reality technologies, and more specifically, to an image display method, device, and electronic equipment.
  • VR virtual reality
  • degree of freedom degrees of freedom
  • a virtual fence in a fixed safe area is generally preset. The safe area is fenced to remind users to pay attention to safety.
  • the current method can guarantee the safety of the user to a certain extent, however, when the user wears the VR device to experience the virtual environment, there are cases where the movement range is relatively large. In this case, the above method may not be able to timely Reminder question.
  • An object of the present disclosure is to provide a new technical solution of an image display method, device and electronic equipment, so as to solve the problem that the existing method cannot remind the user in time when the user is in a virtual environment and there are potential safety hazards.
  • an embodiment of an image display method including:
  • the acquiring first image data corresponding to the real environment and second image data corresponding to the virtual environment when the target position information satisfies a preset condition includes:
  • the acquiring first image data corresponding to the real environment and second image data corresponding to the virtual environment when the target position information satisfies a preset condition includes:
  • the first image data and the second image data are acquired, wherein the The target object is determined by the user preset.
  • the method is applied to a virtual reality device, and the virtual reality device includes an image acquisition device;
  • the acquiring the first image data corresponding to the real environment includes:
  • performing superposition and fusion processing on the first image data and the second image data to generate third image data includes:
  • said rendering all objects contained in the first image data to corresponding positions of the second image data to obtain the third image data includes:
  • the method is applied to at least one of the following electronic devices: a virtual reality device, an augmented reality device, and a mixed reality device.
  • An image data acquisition module configured to acquire first image data corresponding to the real environment in real time and second image data corresponding to the virtual environment in real time when the target position information satisfies a preset condition, wherein, Both the first image data and the second image data are based on the same coordinate space;
  • a display module configured to display the third image data, so that the user can view the environment data in the real environment while experiencing the virtual environment according to the third image data.
  • FIG. 1 is a schematic flowchart of an image display method provided by an embodiment of the present disclosure.
  • the virtual display device can automatically stop processing image data. Superimpose fusion processing, and keep displaying the second image data.
  • Computer-readable storage media include: portable computer diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM), or flash memory), static random access memory (SRAM), compact disc read only memory (CD-ROM), digital versatile disc (DVD), memory stick, floppy disk, mechanically encoded device, such as a printer with instructions stored thereon A hole card or a raised structure in a groove, and any suitable combination of the above.
  • RAM random access memory
  • ROM read-only memory
  • EPROM erasable programmable read-only memory
  • flash memory static random access memory
  • SRAM static random access memory
  • CD-ROM compact disc read only memory
  • DVD digital versatile disc
  • memory stick floppy disk
  • mechanically encoded device such as a printer with instructions stored thereon
  • a hole card or a raised structure in a groove and any suitable combination of the above.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented by a dedicated hardware-based system that performs the specified function or action , or may be implemented by a combination of dedicated hardware and computer instructions. It is well known to those skilled in the art that implementation by means of hardware, implementation by means of software, and implementation by a combination of software and hardware are all equivalent.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种图像显示方法、装置及电子设备，包括：在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息；在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间；对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据；显示所述第三图像数据，以使得所述用户在处于所述虚拟环境的情况下，查看所述真实环境中的环境数据。

Description

图像显示方法、装置及电子设备
优先权信息
本申请要求于2021年09月23日提交的，申请名称为“图像显示方法、装置及电子设备”的、中国专利申请号“202111116873.5”的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本公开实施例涉及混合现实技术领域，更具体地，涉及一种图像显示方法、装置及电子设备。
背景技术
随着虚拟现实(VR，Virtual Reality)技术的不断发展，目前的VR头设备通常可以支持6自由度(6DoF，degree of freedom)场景使用，即用户在穿戴VR设备的时候，可以通过来回自由随意走动，体验虚拟环境中的各种内容。
在用户穿戴VR设备体验虚拟环境的过程中，由于用户可以随意自由走动，因此，可能发生与真实环境中的障碍物发生碰撞，例如，与墙壁、桌面、沙发等真实环境中的各种对象发生碰撞，这样会对用户的安全带来一些危险隐患。目前，为了保护用户安全，在用户穿戴VR设备之前，一般会预先设置一个固定安全区域虚拟围栏，当用户在虚拟环境中自由走动时，若临近安全区域虚拟围栏，则会通过在虚拟环境中显示该安全区域围栏以提醒用户注意安全。
目前的方法虽然可以在一定程度上保障用户安全，然而，用户在穿戴VR设备体验虚拟环境的过程中，存在动作幅度较大的情况，在该种情况下，上述方式可能存在不能对用户进行及时提醒的问题。
发明内容
本公开的一个目的是提供一种图像显示方法、装置及电子设备的新的技术方案，以解决现有方法在用户处于虚拟环境并存在安全隐患的情况下，不能对用户进行及时提醒的问题。
根据本公开的第一方面，提供了图像显示方法的一个实施例，包括：
在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息；
在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图 像数据和与所述虚拟环境对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间；
对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据；
显示所述第三图像数据，以使得所述用户在处于所述虚拟环境的情况下，查看所述真实环境中的环境数据。
可选地，所述在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，包括：
在所述目标位置信息表示的位置与预设边界的第一距离小于第一预设阈值的情况下，获取所述第一图像数据和所述第二图像数据。
可选地，所述在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，包括：
在所述目标位置信息表示的位置与所述真实环境中目标对象的第二距离小于第二预设阈值的情况下，获取所述第一图像数据和所述第二图像数据，其中，所述目标对象由所述用户预先设置确定。
可选地，所述方法应用于虚拟现实设备，所述虚拟现实设备包括图像采集装置；
所述获取与所述真实环境对应的第一图像数据，包括：
获取所述图像采集装置采集到的、针对所述真实环境的第四图像数据；
将所述第四图像数据中包含的对象转换到所述第二图像数据对应的坐标空间中，获得所述第一图像数据。
可选地，所述对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据，包括：
将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据。
可选地，所述将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据，包括：
获取所述第一图像数据中第一对象的第一对象类别和第一位置信息，其中，所述第一对象为所述第一图像数据中的任意一对象；
获取所述第二图像数据中处于所述第一位置信息表示的位置处的第二对象的第二对象类别；
根据所述第一对象类别和所述第二对象类别，确定所述第一对象和所述第二对象的相对位置关系；
根据所述相对位置关系，将所述第一对象渲染至所述第二图像数据，获得所述第 三图像数据。
可选地，在显示所述第三图像数据之后，所述方法还包括：
获取所述用户的第三位置信息；
在所述第三位置信息不满足所述预设条件的情况下，停止生成和显示所述第三图像数据。
可选地，所述方法应用于以下至少一种电子设备中：虚拟现实设备、增强现实设备和混合现实设备中。
根据本公开的第二方面，提供了图像显示装置的一个实施例，包括：
目标位置信息获取模块，用于在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息；
图像数据获取模块，用于在所述目标位置信息满足预设条件的情况下，获取与所述真实环境实时对应的第一图像数据和与所述虚拟环境实时对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间；
数据融合模块，用于对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据；
显示模块，用于显示所述第三图像数据，以使得所述用户在根据所述第三图像数据体验所述虚拟环境的同时，查看所述真实环境中的环境数据。
根据本公开的第三方面，提供了电子设备的一个实施例，如本说明书的第二方面所述的装置；或者，
所述电子设备包括：
存储器，用于存储可执行的指令；
处理器，用于根据所述指令的控制运行所述电子设备执行如本说明书的第一方面所述的方法。
本公开实施例的一个有益效果在于，根据本公开的实施例，在用户处于虚拟环境的情况下，通过获取用户在真实环境中的目标位置信息，并在该目标位置信息满足预设条件的情况下，通过获取与真实环境对应的第一图像数据和与虚拟环境对应的第二图像数据，并通过将该第一图像数据和该第二图像数据进行叠加融合处理后生成的第三图像数据显示给用户，使得用户根据该第三图像数据，在不脱离虚拟环境的情况下，能够对真实环境中的障碍物和与障碍物的距离等信息进行了解和判断，以对用户提前进行预警，从而避免出现提醒不及时的问题。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。
图1是本公开实施例提供的图像显示方法的流程示意图。
图2是本公开实施例提供的图像显示装置的原理框图。
图3是本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
请参看图1，其是本公开实施例提供的图像显示方法的流程示意图。该方法可以应用于电子设备，该电子设备例如可以为虚拟现实设备、增强现实设备和混合现实设备等设备。
在本实施例中，以实施该方法的电子设备为虚拟现实设备，例如，VR头戴式一体机为例进行举例说明。该虚拟现实设备包括显示装置和至少两个图像采集装置，该至少两个图像采集装置可以模拟用户人眼的位置固定安装在该虚拟显示设备上，该虚拟现实设备可以通过立体视觉成像原理和计算机视觉技术，对该至少两个图像采集装置采集到的原始图像数据进行左右母立体对齐，并同时实时融合6DoF追踪信息，以使得用户可以在需要时根据该虚拟现实设备查看真实环境中的信息。在具体实施时，该至少两个图像采集装置的规格具体可以为用于采集黑白或彩色图像、帧率在30Hz以上、视场角(FOV，Field Of View)不小于120度及曝光方式为全景曝光(Global shutter)。
如图1所示，本实施例的方法可以包括步骤S1100-S1400，以下予以详细说明。
步骤S1100，在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息。
具体地，在本实施例中，为了保障用户安全，可以在用户穿戴电子设备，例如，VR头戴式一体机体验虚拟环境的过程中，通过该设备上的图像采集装置采集用户所处真实环境，例如，家庭环境、办公室环境或室外环境的真实环境数据，从而获得用户的目标位置信息，以根据该目标位置信息，确定是否有必要将用户所处真实环境中的各种实体对象叠加融合显示在其当前所处的虚拟环境中，以使得用户在不脱离虚拟环境的情况下，可以提前了解和判断其与真实环境中各种对象的距离，以避免与真实环境中的各种对象发生碰撞。
目标位置信息，是表示用户在真实环境中所处位置的信息。
在具体实施时，目标位置信息可以是用户在图像采集装置采集到的图像数据中的二维坐标数据，或者，也可以是将二维坐标数据转换到虚拟环境所处的坐标空间中后获得的三维立体坐标数据，此处不做特殊限定。
步骤S1200，在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间。
在一个实施例中，在该方法应用于虚拟现实设备且该虚拟现实设备包括图像采集装置的情况下，所述获取与所述真实环境对应的第一图像数据，包括：获取所述图像采集装置采集到的、针对所述真实环境的第四图像数据；将所述第四图像数据中包含的对象转换到所述第二图像数据对应的坐标空间中，获得所述第一图像数据。
所述第四图像数据可以为二维坐标数据，当然，在图像采集装置包含深度信息的情况下，该第四图像数据也可以为三维立体数据。
通常，图像采集装置采集到的第四图像数据所处的坐标空间并不相同，因此，为了便于在目标位置信息满足预设条件的情况下，能够方便及时的生成混合有真实环境中的对象的第三图像数据。在本公开的实施例中，在获得第四图像数据之后，可以根据立体视觉成像原理和计算机视觉技术，将该第四图像数据中包含的对象转换到虚拟环境所使用的坐标空间中，以获得第一图像数据，也即是说，在本公开的实施例中，第一图像数据中表示真实环境中的各种对象的位置信息的三维坐标数据的坐标系与第二图像数据中表示虚拟环境中的各种对象的位置细心你三维坐标数据的坐标系一致。
在一个实施例中，所述在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，包括：在所述 目标位置信息表示的位置与预设边界的第一距离小于第一预设阈值的情况下，获取所述第一图像数据和所述第二图像数据。
具体的，在该实施例中，在用户穿戴虚拟现实设备体验虚拟环境的过程中，用户可以根据需要进行自由走动，在此过程中，该虚拟现实设备可以通过其集成的至少两个图像采集装置，获得用户在真实环境中的目标位置信息，当该目标位置信息处于预先设置的安全区域虚拟围栏内，并且还与真实环境中的其他对象，也即是各种障碍物的第一距离大于或等于第一预设阈值时，可以判定用户当前的位置比较安全，不会发生碰撞问题，此时，虚拟现实设备的显示装置，例如显示屏中可以仅显示虚拟环境对应的图像数据，以保障用户有良好的体验。而当目标位置信息与安全区域虚拟围栏的边界的第一距离小于第一预设阈值，或者与真实环境中其他对象，例如，墙体、桌子或移动宠物的第一距离小于第一预设阈值的情况下，可以判定用户当前的位置可能存在安全隐患，此时可以触发将真实环境对应的图像数据与虚拟环境对应的图像数据进行叠加融合，以对用户进行及时提醒，保障用户安全。
在另一个实施例中，所述在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，包括：在所述目标位置信息表示的位置与所述真实环境中目标对象的第二距离小于第二预设阈值的情况下，获取所述第一图像数据和所述第二图像数据，其中，所述目标对象由所述用户预先设置。
具体地，在用户处于虚拟环境的过程中，也可能存在与真实环境中的各种对象进行互动的需求，例如，在不脱离虚拟环境的情况下，与真实环境中的宠物进行互动。因此，在该实施例中，可以由用户在虚拟现实设备中预先设置可以叠加显示的目标对象的目标信息，该目标信息可以为目标对象的类别、名称标识、图像等信息中的至少一项。
在具体实施时，在用户对应的目标位置信息满足以上任一实施例中设置的预设条件的情况下，即可触发将真实环境对应的图像数据叠加融合在虚拟环境对应的图像数据中的处理，即，触发生成混合现实数据的处理。
步骤S1300，对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据。
在一个实施例中，所述对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据，包括：将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据。
具体地，由于第一图像数据和第二图像数据为基于同一坐标系的图像数据，因此， 在用户对应的目标位置信息满足预设条件的情况下，为了能够在用户不脱离虚拟环境的情况下，及时、准确的对用户进行提醒，以避免带来安全隐患，在本公开的实施例中，可以通过将第一图像数据中包含的真实环境中的各种对象对应渲染至第二图像数据，即虚拟环境的对应位置处，以获得叠加融合虚拟世界和真实世界中的虚拟对象和真实对象的第三图像数据。
另外，在一个实施例中，所述将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据，包括：获取所述第一图像数据中第一对象的第一对象类别和第一位置信息，其中，所述第一对象为所述第一图像数据中的任意一对象；获取所述第二图像数据中处于所述第一位置信息表示的位置处的第二对象的第二对象类别；根据所述第一对象类别和所述第二对象类别，确定所述第一对象和所述第二对象的相对位置关系；根据所述相对位置关系，将所述第一对象渲染至所述第二图像数据，获得所述第三图像数据。
第一对象，可以为真实环境中的各种实体对象，例如，墙体、桌子、凳子、宠物等。
第二对象，可以为虚拟环境中的各种虚拟对象，例如，虚拟墙体、虚拟桌子、虚拟大厦等。
具体地，为提升用户体验，在叠加生成第三图像数据的过程中，在真实环境中的第一对象和虚拟环境中的第二对象的位置相同的情况下，为了提升用户体验，可以根据第一对象的第一对象类别和第二对象的第二对象类别，确定该两个对象的相对位置关系，以使得叠加融合得到的第三图像数据更贴合实际，观感更佳。
例如，即使真实环境中的桌子和虚拟环境中的椅子的位置相同，那么，其相对位置关系也应该是椅子在桌子旁边、或者椅子在桌子上面，而不会是桌子在椅子上。
步骤S1400，显示所述第三图像数据，以使得所述用户在根据所述第三图像数据体验所述虚拟环境的同时，查看所述真实环境中的环境数据。
在经过以上步骤获得第三图像数据之后，通过在虚拟现实设备的显示装置上显示该第三图像数据，即可使得用户预先获知其与真实环境中的各种对象的距离，以提前进行规避，避免出现安全问题。
在一个实施例中，在显示所述第三图像数据之后，所述方法还包括：获取所述用户的第三位置信息；在所述第三位置信息不满足所述预设条件的情况下，停止生成和显示所述第三图像数据。
即，在具体实施时，在判定用户对应的目标位置信息距离安全区域虚拟围栏的边界或者与真实环境中的各种对象的距离较近，并将叠加融合得到的第三图像数据显示 在显示屏上以对用户进行提醒之后，在用户进行规避并且其所处的第三位置信息不满足预设条件，即不存在安全隐患的情况下，为了提升用户观感，虚拟显示设备可以自动停止进行图像数据叠加融合处理，并保持继续显示第二图像数据。
综上所述，本公开的实施例提供的方法，在用户处于虚拟环境的情况下，通过获取用户在真实环境中的目标位置信息，并在该目标位置信息满足预设条件的情况下，通过获取与真实环境对应的第一图像数据和与虚拟环境对应的第二图像数据，并通过将该第一图像数据和该第二图像数据进行叠加融合处理后生成的第三图像数据显示给用户，使得用户根据该第三图像数据，在不脱离虚拟环境的情况下，能够对真实环境中的障碍物和与障碍物的距离等信息进行了解和判断，以对用户提前进行预警，从而避免出现提醒不及时的问题。
<装置实施例>
与上述方法实施例相对应，图2是本公开实施例提供的图像显示装置的原理框图。如图2所示，该图像显示装置可以包括目标位置信息获取模块2100、图像数据获取模块2200、数据融合模块2300和显示模块2400。
该目标位置信息获取模块2100，用于在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息。
该图像数据获取模块2200，用于在所述目标位置信息满足预设条件的情况下，获取与所述真实环境实时对应的第一图像数据和与所述虚拟环境实时对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间。
该数据融合模块2300，用于对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据。
该显示模块2400，用于显示所述第三图像数据，以使得所述用户在根据所述第三图像数据体验所述虚拟环境的同时，查看所述真实环境中的环境数据。
在一个实施例中，该图像数据获取模块2200具体可以用于在所述目标位置信息表示的位置与预设边界的第一距离小于第一预设阈值的情况下，获取所述第一图像数据和所述第二图像数据。
在一个实施例中，该图像数据获取模块2200具体可以用于在所述目标位置信息表示的位置与所述真实环境中目标对象的第二距离小于第二预设阈值的情况下，获取所述第一图像数据和所述第二图像数据，其中，所述目标对象由所述用户预先设置。
在一个实施例中，该装置应用于虚拟现实设备，所述虚拟现实设备包括图像采集装置，该图像数据获取模块2200在获取与所述真实环境对应的第一图像数据时，可以用于：获取所述图像采集装置采集到的、针对所述真实环境的第四图像数据；将所述 第四图像数据中包含的对象转换到所述第二图像数据对应的坐标空间中，获得所述第一图像数据。
在一个实施例中，该数据融合模块2300在对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据时，可以用于：将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据。
在一个实施例中，该数据融合模块2300在将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据时，可以用于：获取所述第一图像数据中第一对象的第一对象类别和第一位置信息，其中，所述第一对象为所述第一图像数据中的任意一对象；获取所述第二图像数据中处于所述第一位置信息表示的位置处的第二对象的第二对象类别；根据所述第一对象类别和所述第二对象类别，确定所述第一对象和所述第二对象的相对位置关系；根据所述相对位置关系，将所述第一对象渲染至所述第二图像数据，获得所述第三图像数据。
在一个实施例中，在显示所述第三图像数据之后，该装置还包括还原显示模块，用于获取所述用户的第三位置信息；在所述第三位置信息不满足所述预设条件的情况下，停止生成和显示所述第三图像数据。
<设备实施例>
与上述实施例相对应，在本实施例中，还提供一种电子设备，其可以包括根据本公开任意实施例的图像显示装置2000，用于实施本公开任意实施例的图像显示方法。
如图3所示，该电子设备300包括处理器310和存储器320，该存储器320用于存储可执行的计算机程序，该处理器310用于根据该计算机程序的控制，执行如以上任意方法实施例的图像显示方法。
以上图像显示装置2000的各模块可以由本实施例中的处理器310执行存储器320存储的计算机程序实现，也可以通过其他电路结构实现，在此不做限定。
<计算机可读存储介质实施例>
本实施例提供了一种计算机可读存储介质，该存储介质中存储有可执行命令，该可执行命令被处理器执行时，执行本说明书任意方法实施例中描述的图像显示方法。
本说明书的一个实施例或者多个实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子 (非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本说明书的各个方面。
这里参照根据本说明书实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一 个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (10)

  1. 一种图像显示方法，其特征在于，包括：
    在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息；
    在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间；
    对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据；
    显示所述第三图像数据，以使得所述用户在处于所述虚拟环境的情况下，查看所述真实环境中的环境数据。
  2. 根据权利要求1所述的方法，其特征在于，所述在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，包括：
    在所述目标位置信息表示的位置与预设边界的第一距离小于第一预设阈值的情况下，获取所述第一图像数据和所述第二图像数据。
  3. 根据权利要求1所述的方法，其特征在于，所述在所述目标位置信息满足预设条件的情况下，获取与所述真实环境对应的第一图像数据和与所述虚拟环境对应的第二图像数据，包括：
    在所述目标位置信息表示的位置与所述真实环境中目标对象的第二距离小于第二预设阈值的情况下，获取所述第一图像数据和所述第二图像数据，其中，所述目标对象由所述用户预先设置确定。
  4. 根据权利要求1所述的方法，其特征在于，所述方法应用于虚拟现实设备，所述虚拟现实设备包括图像采集装置；
    所述获取与所述真实环境对应的第一图像数据，包括：
    获取所述图像采集装置采集到的、针对所述真实环境的第四图像数据；
    将所述第四图像数据中包含的对象转换到所述第二图像数据对应的坐标空间中，获得所述第一图像数据。
  5. 根据权利要求1所述的方法，其特征在于，所述对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据，包括：
    将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据。
  6. 根据权利要求5所述的方法，其特征在于，所述将所述第一图像数据中包含的全部对象渲染至所述第二图像数据的对应位置处，获得所述第三图像数据，包括：
    获取所述第一图像数据中第一对象的第一对象类别和第一位置信息，其中，所述 第一对象为所述第一图像数据中的任意一对象；
    获取所述第二图像数据中处于所述第一位置信息表示的位置处的第二对象的第二对象类别；
    根据所述第一对象类别和所述第二对象类别，确定所述第一对象和所述第二对象的相对位置关系；
    根据所述相对位置关系，将所述第一对象渲染至所述第二图像数据，获得所述第三图像数据。
  7. 根据权利要求1所述的方法，其特征在于，在显示所述第三图像数据之后，所述方法还包括：
    获取所述用户的第三位置信息；
    在所述第三位置信息不满足所述预设条件的情况下，停止生成和显示所述第三图像数据。
  8. 根据权利要求1所述的方法，其特征在于，所述方法应用于以下至少一种电子设备中：虚拟现实设备、增强现实设备和混合现实设备中。
  9. 一种图像显示装置，其特征在于，包括：
    目标位置信息获取模块，用于在用户处于虚拟环境的情况下，获取所述用户在真实环境中的目标位置信息；
    图像数据获取模块，用于在所述目标位置信息满足预设条件的情况下，获取与所述真实环境实时对应的第一图像数据和与所述虚拟环境实时对应的第二图像数据，其中，所述第一图像数据和所述第二图像数据均基于同一坐标空间；
    数据融合模块，用于对所述第一图像数据和所述第二图像数据进行叠加融合处理，生成第三图像数据；
    显示模块，用于显示所述第三图像数据，以使得所述用户在根据所述第三图像数据体验所述虚拟环境的同时，查看所述真实环境中的环境数据。
  10. 一种电子设备，包括权利要求9所述的装置；或者，
    所述电子设备包括：
    存储器，用于存储可执行的指令；
    处理器，用于根据所述指令的控制运行所述电子设备执行如权利要求1-8任意一项所述的方法。
PCT/CN2022/078362 2021-08-31 2022-02-28 图像显示方法、装置及电子设备 WO2023045254A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22871320.2A EP4345738A1 (en) 2021-09-23 2022-02-28 Image display method and apparatus, and electronic device
US18/400,575 US20240135580A1 (en) 2021-08-31 2023-12-29 Image display method and apparatus, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111116873.5A CN113935931A (zh) 2021-09-23 2021-09-23 图像显示方法、装置及电子设备
CN202111116873.5 2021-09-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/400,575 Continuation US20240135580A1 (en) 2021-08-31 2023-12-29 Image display method and apparatus, and electronic device

Publications (1)

Publication Number Publication Date
WO2023045254A1 true WO2023045254A1 (zh) 2023-03-30

Family

ID=79276642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/078362 WO2023045254A1 (zh) 2021-08-31 2022-02-28 图像显示方法、装置及电子设备

Country Status (3)

Country Link
EP (1) EP4345738A1 (zh)
CN (1) CN113935931A (zh)
WO (1) WO2023045254A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935931A (zh) * 2021-09-23 2022-01-14 青岛小鸟看看科技有限公司 图像显示方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200058165A1 (en) * 2016-10-18 2020-02-20 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method therefor
CN112365605A (zh) * 2020-11-27 2021-02-12 上海影创信息科技有限公司 场地进入对象的提示方法和系统及其vr眼镜
CN112419509A (zh) * 2020-11-27 2021-02-26 上海影创信息科技有限公司 虚拟对象生成处理的方法和系统及其vr眼镜
CN112630964A (zh) * 2019-10-09 2021-04-09 未来市股份有限公司 头戴式显示系统及其场景扫描方法
CN113935931A (zh) * 2021-09-23 2022-01-14 青岛小鸟看看科技有限公司 图像显示方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200058165A1 (en) * 2016-10-18 2020-02-20 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method therefor
CN112630964A (zh) * 2019-10-09 2021-04-09 未来市股份有限公司 头戴式显示系统及其场景扫描方法
CN112365605A (zh) * 2020-11-27 2021-02-12 上海影创信息科技有限公司 场地进入对象的提示方法和系统及其vr眼镜
CN112419509A (zh) * 2020-11-27 2021-02-26 上海影创信息科技有限公司 虚拟对象生成处理的方法和系统及其vr眼镜
CN113935931A (zh) * 2021-09-23 2022-01-14 青岛小鸟看看科技有限公司 图像显示方法、装置及电子设备

Also Published As

Publication number Publication date
CN113935931A (zh) 2022-01-14
EP4345738A1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
Kot et al. Application of virtual reality in teleoperation of the military mobile robotic system TAROS
CN106575209B (zh) 具有现实世界对象的虚拟现实环境
CN105934227B (zh) 音频导航辅助
US20190102953A1 (en) Displaying three-dimensional virtual objects based on field of view
US20180356885A1 (en) Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
Pereira et al. Using panoramic augmented reality to develop a virtual safety training environment
Adcock et al. RemoteFusion: real time depth camera fusion for remote collaboration on physical tasks
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
Tönnis et al. Representing information–Classifying the Augmented Reality presentation space
Mai et al. TransparentHMD: revealing the HMD user's face to bystanders
CN110502097B (zh) 虚拟现实中的运动控制门户
US20210312887A1 (en) Systems, methods, and media for displaying interactive augmented reality presentations
CN103488292B (zh) 一种立体应用图标的控制方法及装置
US20240135580A1 (en) Image display method and apparatus, and electronic device
WO2023045254A1 (zh) 图像显示方法、装置及电子设备
Siang et al. Interactive holographic application using augmented reality EduCard and 3D holographic pyramid for interactive and immersive learning
Feldstein et al. Pedestrian simulators for traffic research: state of the art and future of a motion lab
Livatino et al. Stereo viewing and virtual reality technologies in mobile robot teleguide
WO2022179344A1 (en) Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
US11410330B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
US20240037944A1 (en) Computer-generated reality recorder
Boateng et al. Virtual shadow rendering for maintaining situation awareness in proximal human-robot teaming
WO2022089061A1 (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
US11176752B1 (en) Visualization of a three-dimensional (3D) model in augmented reality (AR)
Carozza et al. An immersive hybrid reality system for construction training

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22871320

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022871320

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022871320

Country of ref document: EP

Effective date: 20231229

NENP Non-entry into the national phase

Ref country code: DE