WO2022222349A1 - 一种虚拟现实场景的动态改变方法、装置及电子设备 - Google Patents

一种虚拟现实场景的动态改变方法、装置及电子设备 Download PDF

Info

Publication number
WO2022222349A1
WO2022222349A1 PCT/CN2021/118064 CN2021118064W WO2022222349A1 WO 2022222349 A1 WO2022222349 A1 WO 2022222349A1 CN 2021118064 W CN2021118064 W CN 2021118064W WO 2022222349 A1 WO2022222349 A1 WO 2022222349A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
data
area
virtual reality
user
Prior art date
Application number
PCT/CN2021/118064
Other languages
English (en)
French (fr)
Inventor
吴涛
Original Assignee
青岛小鸟看看科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛小鸟看看科技有限公司 filed Critical 青岛小鸟看看科技有限公司
Priority to US17/816,372 priority Critical patent/US11782505B1/en
Publication of WO2022222349A1 publication Critical patent/WO2022222349A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种虚拟现实场景的动态改变方法、装置及电子设备，涉及虚拟现实技术领域，虚拟现实场景的动态改变方法包括：获取用户的眼部追踪数据；根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域；根据所述注视区域确定场景可修改区域；对所述场景可修改区域的场景数据进行修改。

Description

一种虚拟现实场景的动态改变方法、装置及电子设备
本公开要求于2021年4月21日提交中国专利局、申请号为202110431238.X、发明名称“一种虚拟现实场景的动态改变方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本公开中。
技术领域
本公开实施例涉及虚拟现实技术领域，更具体地，涉及一种虚拟现实场景的动态改变方法、装置及电子设备。
背景技术
虚拟现实(Virtual reality，VR)是一种身临其境的技术，其中该技术的用户感知渲染的虚拟环境和其中的虚拟对象，就好像所感知的视觉信息是他们当前的现实一样。当用户沉浸在虚拟环境中时，通常在佩戴头戴式显示器(HMD，Head Mount Display)时，用户可以与虚拟环境进行交互，具有很好的沉浸效果。
然而，在用户开始虚拟场景体验期间存在对虚拟场景中的某些信息进行更新、增加等场景信息的改变，然而随着虚拟现实和增强现实头戴显示设备的视野越来越大，可用于动态场景的空间也越来越小，一个小的改变也有可能会被用户发现，会打破虚拟现实的沉浸感，影响用户体验。
发明内容
本公开实施例的一个目的是提供一种虚拟现实场景的动态改变方法、装置及电子设备的新的技术方案。
根据本公开的第一方面，提供了一种虚拟现实场景的动态改变方法，包括：获取用户的眼部追踪数据；根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域；根据所述注视区域确定场景可修改区域；对所述场景可 修改区域的场景数据进行修改。
进一步地，所述获取用户的眼部追踪数据，包括：获取眼部数据采集装置自身的运动数据以及眼部数据采集装置采集的眼部图像数据；根据所述眼部数据采集装置自身的运动数据和\或眼部数据采集装置采集的眼部图像数据得到所述眼部追踪数据；其中，所述眼部追踪数据包括眼睛的转动方向和眼睛的闭合状态。
进一步地，所述根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域，包括：根据所述眼部追踪数据中眼睛的转动方向确定用户在虚拟现实场景中的注视区域。
进一步地，所述根据所述注视区域确定场景可修改区域，包括：根据所述注视区域在虚拟现实场景中的位置数据，确定所述场景可修改区域为虚拟现实场景中的非注视区域；或者，确定所述场景可修改区域为注视区域周围预设范围内的区域。
进一步地，对所述场景可修改区域的场景数据进行修改，包括：获取所述注视区域的历史数据，判断所述场景可修改区域在所述注视区域的历史数据中的关注度；在所述关注度小于阈值的情况下，对所述场景可修改区域的场景数据进行修改。
进一步地，所述对所述场景可修改区域的场景数据进行修改，包括：在确定所述眼部追踪数据中眼睛的闭合状态为闭合的情况下，对所述场景可修改区域的场景数据进行修改。
进一步地，对所述场景可修改区域的场景数据进行修改，包括：获取所述注视区域内的虚拟现实场景数据；根据所述虚拟现实场景数据匹配对应的修改内容。
根据本公开的第二方面，还提供了一种虚拟现实场景的动态改变装置，所述装置包括：数据获取模块，设置为获取用户的眼部追踪数据；注视区域确定模块，设置为根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域；可修改区域确定模块，设置为根据所述注视区域确定场景可修改区域；场景修改模块，设置为对所述场景可修改区域的场景数据进行修改。
根据本公开的第三方面，还提供了一种电子设备，包括虚拟现实头盔，设置在虚拟现实头盔上的数据采集装置和处理器，所述数据采集装置包括追踪相机和红外光源，设置为采集用户的眼部图像数据；所述处理器设置为实现根据第一方面中任意一项所述的方法。
根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任意一项所述的方法。
本公开实施例的一个有益效果在于，根据眼部追踪数据来判断用户眼睛的转动方向和闭合状态，根据用户眼睛的转动方向来确定用户的注视区域，根据注视区域得到场景可修改区域，在得到场景可修改区域后对场景可修改区域的场景进行修改，能够避开用户的视线范围，使得动态修改在一个较隐蔽的状态下进行，避免打破用户的沉浸感。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1为本发明提供的一种虚拟现实场景的动态改变方法的步骤示意图；
图2是本发明提供的一种虚拟现实场景的动态改变装置的结构示意图；
图3是本发明提供的一种电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例的一个应用场景为当用户沉浸在虚拟现实场景中时，如何对虚拟现实场景中的数据进行更改，而不被用户察觉。其中虚拟现实也就是Virtual reality，VR技术，其中，本实施例也可以应用在增强现实也就是Augmented Reality，AR场景中。
本公开实施例提供一种虚拟现实场景的动态改变方法，参考图1，包括如下步骤：
S110、获取用户的眼部追踪数据。
为了隐藏即将在虚拟场景中所做的改变，本实施例通过采集用户眼部的数据来监测用户的眼部变化，得到用户的眼部追踪数据，根据用户的眼部追踪数据来判断用户的视线是否发生改变，从而确定可以修改的虚拟场景的区域。
具体地，眼部追踪数据可以通过眼部数据采集装置来获取，眼部数据采集装置可以是追踪摄像组件，例如追踪相机，采用追踪相机采集用户的眼部 图像数据，通过对眼部图像数据中眼球的位置来判断用户的视线是否发生变化。
本实施例首先需要获取眼部数据采集装置自身的运动数据眼部数据采集装置采集的眼部图像数据；再根据眼部数据采集装置自身的运动数据和\或眼部数据采集装置采集的眼部图像数据得到眼部追踪数据。
其中，眼部追踪数据包括眼睛的转动方向，具体地，眼部数据采集装置自身的运动数据可以理解为当追踪相机在拍摄眼部图像时，追踪相机自身的转动数据，在一个实施例中可以通过追踪相机自身的转动数据与虚拟现实头盔的显示屏幕中心位置的旋转和平移参数，由于眼睛和追踪相机处于相对的位置上，因此可以再对上述追踪相机自身的旋转和平移参数进行坐标矩阵转换，从而得到眼睛的转动方向，例如用户的眼睛向左或右移动。
在另一个可选的实施例中，也可以通过眼球在眼部图像中的位置，通过检测眼球在眼部图像中的位置变化来确定眼球的运动数据。
在另一个可选的实施例中，当追踪相机和眼球在眼部图像中的位置均发生改变时，此时就需要根据眼部数据采集装置自身的运动数据和眼部数据采集装置采集的眼部图像数据共同获取眼球的运动数据。
另外，眼部追踪数据包括眼睛的闭合状态，具体地，可以通过对眼部图像进行图像识别，来获取用户眼睛的闭合状态，例如，通过图像识别，获取瞳孔大小数据，通过瞳孔大小数据判断用户当前是否处于睁眼和闭眼状态，可以在用户闭眼时，对虚拟现实场景中的数据进行更改，也可以通过判断一定时间段的瞳孔大小数据，判断用户是否有一定时间段的闭眼状态，从而进一步确定用户在当前时间段内的眼睛是闭合的，确保对虚拟场景的改变不会被用户发现。其中，对虚拟场景的改变可以是改变色彩、增加图案或文字等操作。
需要说明的是本实施例中的眼部追踪数据也可以是用户的注视点、眼睛相对于用户头部的运动数据等可以通过追踪相机自身或采集到的图像数据得到的数据。
S120、根据眼部追踪数据获得用户在虚拟现实场景中的注视区域。
上述追踪数据包括眼睛的转动方向，那么在获得眼睛的转动方向之后， 就可以根据眼睛的视线范围确定用户在虚拟现实场景中的注视区域。
在一个可选的实施例中，可以分别获得左眼球和右眼球的位置，以眼球的正前方为中心，左右预设角度范围内的视线区域均为用户可能关注到的区域，该区域对应到虚拟场景中则为注视区域。
S130、根据注视区域确定场景可修改区域；
为了使用户不会发现场景中的变化，那么，场景可修改的区域就要避开注视区域，因此，本实施例中根据注视区域在虚拟现实场景中的位置数据，确定场景可修改区域为虚拟现实场景中的非注视区域，在一个区域集合中，也就是说场景可修改区域为虚拟现实场景与注视区域的非集，例如，此时用户的视线在VR场景中的右侧画面，那么此时左侧画面被关注的概率就低，那么左侧画面就可以确定为场景可修改区域。
或者，在另外一个实施例中，由于虚拟现实头盔的显示屏的可视面积也是一定的，不一定能在一个视线范围内看到全部的场景，那么可以确定场景可修改区域为注视区域周围预设范围内的区域。也就是说找到与注视区域最接近的可以修改的场景范围，但是又不至于大面积的搜寻可以更改的场景，一方面能够减少计算量，另一方面也有利于根据注视区域的内容，有针对性的在注视区域的附近显示与注视区域的内容匹配的改变数据。
需要说明的是，在另一个可选的实施例中，也可以通过对注视区域进行预判，例如，在确定注视区域之后，通过注视区域内的具体场景判断用户下一步即将要观察的区域，该区域为预注视区域。那么该预注视区域可能成为用户下一步即将要注视的区域，那么在选择场景可修改区域时，可以避开该预注视区域。
S140、对场景可修改区域的场景数据进行修改。
可以想到的是，在确定了场景可修改区域之后，需要对修改的时机和修改的内容进行计算，那么对于修改的时机，可以通过如下方式：
第一种方式，通过判断场景可修改区域被用户关注的可能性来计算，具体地，在现实应用中，用户的视线是不可控的，但是当用户频繁的去关注一个区域，那么说明用户对该区域比较感兴趣，则再去注视的可能性会高，那么为了保证不会在改变场景的过程中被用户发现，可以获取注视区域的历史 数据，判断场景可修改区域在注视区域的历史数据中的关注度；在关注度小于阈值的情况下，对场景可修改区域的场景数据进行修改。也就是说，当S130中得到的场景可修改区域在历史数据中被关注的程度比较小的情况下，则默认其未来被关注的可能性也小，则此时可以对场景可修改区域内的具体数据进行更改。
第二种方式，在确定眼部追踪数据中眼睛的闭合状态为闭合的情况下，可以想到，在用户眼睛闭合的状态下，对场景可修改区域的场景数据进行修改用户发现的可能性较小。
在上述确定了修改的时机之后，需要对具体的内容进行修改，本实施例中可以通过获取注视区域内的虚拟现实场景数据，根据虚拟现实场景数据匹配对应的修改内容。例如，用户当前的注视区域内存在一个恐龙，根据用户注视时长数据，可以判断出用户是否对恐龙感兴趣，当确定用户对该注视区域的关注时间较长时，例如大于3秒，则确定用户是否对该恐龙比较感兴趣，则可以在场景可修改区域内增加对恐龙的详细解释，例如恐龙的生长环境等介绍信息，该信息可以根据虚拟现实场景中的具体数据提前储存在处理器中，也可以通过云端获取。
本实施例通过获取眼部追踪数据，根据眼部追踪数据来判断用户眼睛的转动方向和闭合状态，根据用户眼睛的转动方向来确定用户的注视区域，根据注视区域得到场景可修改区域，在得到场景可修改区域后根据场景可修改区域在历史数据中的关注度或者眼睛的闭合状态来确定修改的时机，再通过注视区域内的场景数据确定对场景可修改区域的具体修改数据，能够避开用户的视线范围，使得动态修改在一个较隐蔽的状态下进行，避免打破用户的沉浸感。
参考图2，本实施例提供一种虚拟现实场景的动态改变装置200，该装置包括：
数据获取模块210，设置为获取用户的眼部追踪数据，眼部追踪数据可以通过眼部数据采集装置来获取，眼部数据采集装置可以是追踪摄像组件，例如追踪相机，采用追踪相机采集用户的眼部图像数据，通过对眼部图像数 据中眼球的位置来判断用户的视线是否发生变化，该模块的具体功能在上述步骤S110中均有描述，在此不做过多赘述。
注视区域确定模块220，设置为根据眼部追踪数据获得用户在虚拟现实场景中的注视区域，可以根据眼睛的视线范围确定用户在虚拟现实场景中的注视区域；该模块的具体功能在上述步骤S120中均有描述，在此不做过多赘述。
可修改区域确定模块230，设置为根据注视区域确定场景可修改区域，包括根据注视区域在虚拟现实场景中的位置数据，确定场景可修改区域为虚拟现实场景中的非注视区域；或者，确定场景可修改区域为注视区域周围预设范围内的区域，该模块的具体功能在上述步骤S130中均有描述，在此不做过多赘述。
场景修改模块240，设置为对场景可修改区域的场景数据进行修改，包括获取注视区域的历史数据，判断场景可修改区域在所述注视区域的历史数据中的关注度，或者，在关注度小于阈值的情况下，对场景可修改区域的场景数据进行修改，或者在确定眼部追踪数据中眼睛的闭合状态为闭合的情况下，对场景可修改区域的场景数据进行修改，以确定修改的时机。
以及，获取注视区域内的虚拟现实场景数据；根据虚拟现实场景数据匹配对应的修改内容，以确定修改的具体内容。该模块的具体功能在上述步骤S140中均有描述，在此不做过多赘述。
本实施例通过获取眼部追踪数据，根据眼部追踪数据来判断用户眼睛的转动方向和闭合状态，根据用户眼睛的转动方向来确定用户的注视区域，根据注视区域得到场景可修改区域，在得到场景可修改区域后根据场景可修改区域在历史数据中的关注度或者眼睛的闭合状态来确定修改的时机，再通过注视区域内的场景数据确定对场景可修改区域的具体修改数据，能够避开用户的视线范围，使得动态修改在一个较隐蔽的状态下进行，避免打破用户的沉浸感。
本实施例提供一种电子设备，参考图3，包括虚拟现实头盔300，设置 在虚拟现实头盔上的数据采集装置310和处理器320，
数据采集装置包括追踪相机311，设置为采集用户的眼部图像数据；追踪相机包括2个，分别用于实时拍摄追踪用户两只眼，追踪相机主要参数可以包括：
拍摄帧率：60Hz；
图像分辨率640*480；
可以拍摄的可见光波段范围：400～900。
其中两个追踪相机在物理上是同步的，同步精度误差小于50us，即物理上两个相机是同时拍摄眼球信息的，左相机拍摄左眼球信息，右相机拍摄右眼球信息。追踪相机可以是彩色相机，也可以是单色相机。
数据采集装置还包括红外光源312，红外光源按照一定规则和一定数量，在两个追踪相机的周围各自排布一组850nm红外光源，红外光源和对应的相机拍摄帧率在物理上实现同步，即每一帧相机的快门打开时，红外光源才会发光，相机的快门关闭时包括其他时间段光源是不发光状态。从而提高眼球拍照时的图像质量，可以提高识别的准确性和稳定性。
上述处理器设置为实现上述实施例中的虚拟现实场景的动态改变方法，主要用于获取用户的眼部追踪数据；根据眼部追踪数据获得用户在虚拟现实场景中的注视区域；根据注视区域确定场景可修改区域；对场景可修改区域的场景数据进行修改。以及上述实施例中提到的虚拟现实场景的动态改变方法包括的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现虚拟现实场景的动态改变方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储 设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或 可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通 过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (11)

  1. 一种虚拟现实场景的动态改变方法，包括：
    获取用户的眼部追踪数据；
    根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域；
    根据所述注视区域确定场景可修改区域；
    对所述场景可修改区域的场景数据进行修改。
  2. 根据权利要求1所述的方法，其中，所述获取用户的眼部追踪数据，包括：
    获取眼部数据采集装置自身的运动数据以及眼部数据采集装置采集的眼部图像数据；
    根据所述眼部数据采集装置自身的运动数据和\或眼部数据采集装置采集的眼部图像数据得到所述眼部追踪数据；
    其中，所述眼部追踪数据包括眼睛的转动方向和眼睛的闭合状态。
  3. 根据权利要求1所述的方法，其中，所述根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域，包括：
    根据所述眼部追踪数据中眼睛的转动方向确定用户在虚拟现实场景中的注视区域。
  4. 根据权利要求3所述的方法，其中，根据所述眼部追踪数据中眼睛的转动方向确定用户在虚拟现实场景中的注视区域之前，所述方法还包括：
    通过以下方式确定所述眼睛的转动方向：通过对所述眼部数据采集装置自身的转动数据与虚拟现实头盔的显示屏幕中心位置的旋转和平移参数进行坐标矩阵转换，得到所述眼睛的转动方向。
  5. 根据权利要求1所述的方法，其中，所述根据所述注视区域确定场景可修改区域，包括：
    根据所述注视区域在虚拟现实场景中的位置数据，确定所述场景可修改 区域为虚拟现实场景中的非注视区域；或者，
    确定所述场景可修改区域为注视区域周围预设范围内的区域。
  6. 根据权利要求1所述的方法，其中，对所述场景可修改区域的场景数据进行修改，包括：
    获取所述注视区域的历史数据，判断所述场景可修改区域在所述注视区域的历史数据中的关注度；
    在所述关注度小于阈值的情况下，对所述场景可修改区域的场景数据进行修改。
  7. 根据权利要求1所述的方法，其中，所述对所述场景可修改区域的场景数据进行修改，包括：
    在确定所述眼部追踪数据中眼睛的闭合状态为闭合的情况下，对所述场景可修改区域的场景数据进行修改。
  8. 根据权利要求1所述的方法，其中，对所述场景可修改区域的场景数据进行修改，包括：
    获取所述注视区域内的虚拟现实场景数据；
    根据所述虚拟现实场景数据匹配对应的修改内容。
  9. 一种虚拟现实场景的动态改变装置，所述装置包括：
    数据获取模块，设置为获取用户的眼部追踪数据；
    注视区域确定模块，设置为根据所述眼部追踪数据获得用户在虚拟现实场景中的注视区域；
    可修改区域确定模块，设置为根据所述注视区域确定场景可修改区域；
    场景修改模块，设置为对所述场景可修改区域的场景数据进行修改。
  10. 一种电子设备，包括虚拟现实头盔，设置在虚拟现实头盔上的数据 采集装置和处理器，
    所述数据采集装置包括追踪相机和红外光源，设置为采集用户的眼部图像数据；
    所述处理器设置为实现根据权利要求1至8中任意一项所述的方法。
  11. 一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至8中任意一项所述的方法。
PCT/CN2021/118064 2021-04-21 2021-09-13 一种虚拟现实场景的动态改变方法、装置及电子设备 WO2022222349A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/816,372 US11782505B1 (en) 2021-04-21 2022-07-29 Dynamic changing method and apparatus for virtual reality scene, and electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110431238.X 2021-04-21
CN202110431238.XA CN113262464A (zh) 2021-04-21 2021-04-21 一种虚拟现实场景的动态改变方法、装置及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/816,372 Continuation US11782505B1 (en) 2021-04-21 2022-07-29 Dynamic changing method and apparatus for virtual reality scene, and electronic device

Publications (1)

Publication Number Publication Date
WO2022222349A1 true WO2022222349A1 (zh) 2022-10-27

Family

ID=77227988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/118064 WO2022222349A1 (zh) 2021-04-21 2021-09-13 一种虚拟现实场景的动态改变方法、装置及电子设备

Country Status (3)

Country Link
US (1) US11782505B1 (zh)
CN (1) CN113262464A (zh)
WO (1) WO2022222349A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115957419A (zh) * 2023-02-15 2023-04-14 中国人民解放军军事科学院军事医学研究院 一种关于心理舒缓的信息处理方法、虚拟现实系统及装置
CN116700500A (zh) * 2023-08-07 2023-09-05 江西科技学院 多场景vr互动方法、系统及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113262464A (zh) 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实场景的动态改变方法、装置及电子设备
CN116156275B (zh) * 2023-04-19 2023-07-07 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) 一种气象信息播报方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2947545A1 (en) * 2014-05-20 2015-11-25 Alcatel Lucent System for implementing gaze translucency in a virtual scene
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
CN110413108A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
US20200409455A1 (en) * 2019-06-25 2020-12-31 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
CN113262464A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实场景的动态改变方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143286A1 (en) * 2011-05-11 2020-05-07 Ari M. Frank Affective Response-based User Authentication
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US20210257084A1 (en) * 2015-03-17 2021-08-19 Raytrx, Llc Ar/xr headset for military medical telemedicine and target acquisition
CN107656613B (zh) * 2017-09-08 2020-12-18 国网智能科技股份有限公司 一种基于眼动追踪的人机交互系统及其工作方法
CN108732746A (zh) * 2018-05-29 2018-11-02 北京理工大学 一种头戴式目视瞄准控制系统
CN109613984B (zh) * 2018-12-29 2022-06-10 歌尔光学科技有限公司 Vr直播中视频图像的处理方法、设备及系统
US11793403B2 (en) * 2020-03-16 2023-10-24 Vivid Vision, Inc. Apparatus, systems, and methods for vision assessment and treatment
CN111553972B (zh) * 2020-04-27 2023-06-30 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN111831119A (zh) * 2020-07-10 2020-10-27 Oppo广东移动通信有限公司 眼球追踪方法、装置、存储介质及头戴式显示设备
US20220179205A1 (en) * 2020-12-09 2022-06-09 Camden Taylor Marcotte System and method of use including patterned balls for training

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2947545A1 (en) * 2014-05-20 2015-11-25 Alcatel Lucent System for implementing gaze translucency in a virtual scene
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106412563A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN109683701A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于视线跟踪的增强现实交互方法和装置
US20200409455A1 (en) * 2019-06-25 2020-12-31 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
CN110413108A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN113262464A (zh) * 2021-04-21 2021-08-17 青岛小鸟看看科技有限公司 一种虚拟现实场景的动态改变方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115957419A (zh) * 2023-02-15 2023-04-14 中国人民解放军军事科学院军事医学研究院 一种关于心理舒缓的信息处理方法、虚拟现实系统及装置
CN116700500A (zh) * 2023-08-07 2023-09-05 江西科技学院 多场景vr互动方法、系统及存储介质

Also Published As

Publication number Publication date
US11782505B1 (en) 2023-10-10
CN113262464A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2022222349A1 (zh) 一种虚拟现实场景的动态改变方法、装置及电子设备
US20210321157A1 (en) Special effect processing method and apparatus for live broadcasting, and server
US11176737B2 (en) Textured mesh building
US10832448B2 (en) Display control device, display control method, and program
US20170287215A1 (en) Pass-through camera user interface elements for virtual reality
US10356481B2 (en) Real-time modifiable text captioning
US20140146148A1 (en) System and method for generating 3-d plenoptic video images
US20170329503A1 (en) Editing animations using a virtual reality controller
CN111598818A (zh) 人脸融合模型训练方法、装置及电子设备
US11245887B2 (en) Electronic device and operation method therefor
US11308698B2 (en) Using deep learning to determine gaze
CN112105983B (zh) 增强的视觉能力
US11914836B2 (en) Hand presence over keyboard inclusiveness
JP2020174345A (ja) 画像を取り込むシステムおよびカメラ機器
CN112634459A (zh) 解析关于模拟现实布景的自然语言歧义
US20190235886A1 (en) Video monitoring
WO2023116016A1 (zh) 增强现实设备的图像优化方法、装置、电子设备及系统
US11710281B1 (en) Rendering virtual environments using container effects
US11215817B1 (en) Systems and methods for generating spectator images of an artificial reality environment
US20230388109A1 (en) Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
EP3654644A1 (en) Electronic device and operation method therefor
CN115761249B (zh) 一种图像处理方法、系统、电子设备及计算机程序产品
US20240062508A1 (en) Monochrome and Color Images Fusion for Artificial Reality Systems
US20240119672A1 (en) Systems, methods, and media for generating visualization of physical environment in artificial reality
CN116736983A (zh) 一种切换视频区块的方法、装置、设备和可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21937571

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE