WO2022142403A1 - Vr系统及其定位追踪方法 - Google Patents

Vr系统及其定位追踪方法 Download PDF

Info

Publication number
WO2022142403A1
WO2022142403A1 PCT/CN2021/114361 CN2021114361W WO2022142403A1 WO 2022142403 A1 WO2022142403 A1 WO 2022142403A1 CN 2021114361 W CN2021114361 W CN 2021114361W WO 2022142403 A1 WO2022142403 A1 WO 2022142403A1
Authority
WO
WIPO (PCT)
Prior art keywords
handle
head
mounted display
time
data
Prior art date
Application number
PCT/CN2021/114361
Other languages
English (en)
French (fr)
Inventor
张秀志
周宏伟
柳光辉
郭衡江
Original Assignee
青岛小鸟看看科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 青岛小鸟看看科技有限公司 filed Critical 青岛小鸟看看科技有限公司
Priority to EP21913150.5A priority Critical patent/EP4192007A4/en
Publication of WO2022142403A1 publication Critical patent/WO2022142403A1/zh
Priority to US17/885,103 priority patent/US11819755B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi or piconet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
    • H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • the head-mounted display further includes a first wireless transmission module
  • the handle further includes a second wireless transmission module
  • the first wireless transmission module and the second wireless transmission module are physically Layer parses and replies to data signals.
  • the 6DOF data of the degree of freedom of the head-mounted display in the world coordinate system is obtained through the inertial data of the head-mounted display and the external environment image of the coordinate system of the head-mounted display captured by the first camera, and the outside of the handle coordinate system is captured by the second camera.
  • the environment image and the inertial data of the handle collected by the second inertial sensor obtain the 6DOF data of the handle in the world coordinate system, and generate the 6DOF data of the handle end on the head-mounted display.

Abstract

本公开提供一种VR系统及其定位追踪方法，VR系统包括头戴显示器和手柄，头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，手柄包括第二惯性传感器和多个第二拍摄装置，第一拍摄装置采集头戴显示器坐标系外部环境图像，第一惯性传感器采集头戴显示器的惯性数据，第二拍摄装置采集手柄坐标系外部环境图像，第二惯性传感器采集手柄的惯性数据，第一处理器通过头戴显示器的惯性数据及其外部环境图像获得头戴显示器在世界坐标系下6DOF数据，通过手柄惯性数据及其外部环境图像获得手柄在世界坐标系下6DOF数据，生成头戴显示器上手柄端的6DOF数据。

Description

VR系统及其定位追踪方法
交叉引用
本申请要求于2020年12月31日提交中国国家知识产权局、申请号为202011619535.9、发明名称“VR系统及其定位追踪方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及虚拟现实技术领域，尤其涉及一种VR系统及其定位追踪方法。
背景技术
现有的All-in-one VR(Virtual Reality，VR)6DOF一体机设计中，大部分是支持头部6DOF(Six Degrees of Freedom)追踪，通过光学，超声波，电磁等方案判断HMD(头戴显示器)和手柄的相对位置关系，在当前HMD 6DOF的基础上，通过相对关系的映射，把手柄的位置转换成手柄的世界坐标系。光学手柄存在FOV(视场角)的问题，在超出HMD camera的FOV外，会引入较大误差；超声波方案存在遮挡和反射问题，对无线同步的要求很高，无线波动也会引入一定的误差；电磁方案可以实现360度追踪，但受外界磁场影响较大，另外设备与设备之间的相互干扰也是一个困难的问题，通常情况下不支持很多设备同时工作。
电磁和超声波的相对位置转换是基于HMD上超声波和电磁接收器的位置，对产品组装一致性有很高的要求，后期使用中跌落等都会影响产品精度。
发明内容
本公开实施例提供一种高精度低延时获得头戴显示器上手柄6DOF数据的VR系统及其定位追踪方法。
本公开实施例提供的一种VR系统，包括头戴显示器和手柄，所述头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，所述手柄包括第二惯性传感器和多个第二拍摄装置，所述第一拍摄装置采集头戴显示器坐标系的外部环境图像，所述第一惯性传感器采集头戴显示器的惯性数据，所 述第二拍摄装置采集手柄坐标系的外部环境图像，所述第二惯性传感器采集手柄的惯性数据，所述第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的自由度6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
在至少一个示例性实施例中，所述VR系统还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
在至少一个示例性实施例中，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块，所述第一无线传输模块和所述第二无线传输模块在物理层解析和回复数据信号。
在至少一个示例性实施例中，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0：
T0＝(T2-T1-T4+T3)/2。
在至少一个示例性实施例中，所述VR系统还包括第二时间同步模块，设置为通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
在至少一个示例性实施例中，所述第二时间同步模块还包括：
第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
在至少一个示例性实施例中，所述VR系统还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
在至少一个示例性实施例中，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
在至少一个示例性实施例中，所述多个第一拍摄装置和所述多个第二拍摄装置设置为从不同的角度采集所述外部环境图像。
在至少一个示例性实施例中，所述手柄还包括操作部，其中，所述操作部包括多自由度运动操作的按键，所述第二拍摄装置设置为拍摄包括按键设定区域的外部环境图像。
在至少一个示例性实施例中，所述头戴显示器的所述惯性数据包括所述头戴显示器的相对位置信息和所述头戴显示器的相对姿态信息；所述手柄的所述惯性数据包括所述手柄的相对位置信息和所述手柄的相对姿态信息。
本公开实施例还提供一种VR系统的定位追踪方法，所述VR系统包括头戴显示器和手柄，所述定位追踪方法包括：
在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的自由度6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
在至少一个示例性实施例中，所述定位追踪方法还包括：
对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步。
在至少一个示例性实施例中，对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步包括：
将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
在至少一个示例性实施例中，所述主设备在T1时刻发送同步信号，所述从设备在T2时刻接收到同步信号，所述主设备将包含T1时刻的主设备数据包发送到所述从设备；延时设定时间后，在T3时刻，所述从设备将包含T3时刻的从设备数据包发送给所述主设备，在T4时刻，所述主设备接收到所述从设备数据包；所述主设备将包含T4时刻主设备数据包发送给所述从设备；通过下式获得所述头戴显示器和所述手柄的时间偏差T0：
T0＝(T2-T1-T4+T3)/2。
在至少一个示例性实施例中，对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步包括：
通过时间戳对所述头戴显示器的所述多个第一拍摄装置和所述手柄上所述多个第二拍摄装置进行时间同步。
在至少一个示例性实施例中，通过时间戳对所述头戴显示器的所述多个第一拍摄装置和所述手柄上所述多个第二拍摄装置进行时间同步包括：
按照曝光中心点时刻在所述第一拍摄装置采集的外部环境图像添加第一时间戳；
按照曝光中心点时刻在所述第二拍摄装置采集的外部环境图像添加第二时间戳；
通过所述第一时间戳和所述第二时间戳的统一对所述头戴显示器和所述手柄进行时间同步。
在至少一个示例性实施例中，所述定位追踪方法还包括：
基于数据中断在第一惯性传感器采集的姿态数据中添加时间戳，减去第一惯性传感器的延时获得第三时间戳。
在至少一个示例性实施例中，对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步包括：
根据图像传输延时对所述头戴显示器和所述手柄进行时间同步，根据所述第二拍摄装置采集的环境图像的灰度图像评估所述手柄中的第二无线传输模块和所述头戴显示器中的第一无线传输模块之间的图像传输延时。
本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据前述实施例及示例性实施例任一项所述的定位追踪方法。
本公开实施例所述VR系统及其定位追踪方法通过手柄端加入第二拍摄装置采集手柄的外部环境图像，将外部环境图像发送到头戴显示器处理直接生成手柄端的6DOF数据，实现高精度低延时手柄6DOF解决方案。
附图说明
图1是本公开实施例所述VR系统的构成框图；
图2为本公开实施例所述头戴显示器的示意图；
图3为本公开实施例所述手柄的示意图；
图4为本公开实施例所述VR系统的一个示例性实施方式的示意图；
图5是本公开实施例所述VR系统的定位追踪方法的流程图；
图6是本公开实施例所述头戴显示器和手柄时间同步的一个实施方式的示意图；
图7是本公开实施例所述头戴显示器和手柄时间同步的另一个实施方式的示意图；
图8是本公开实施例所述头戴显示器和手柄时间同步的第三个实施方式的示意图。
本公开目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
应当理解，此处所描述的示例性实施例和实施方式仅仅用以解释本公开，并不用于限定本公开。
头戴显示设备的定位技术有两种，一种是外向内追踪(Outside-inTracking)技术，该技术是目前的主流，但是该技术也存在一些缺点，比如用户的可移动范围仅限于传感器监测范围，需要使用外部传感器，容易受到遮挡物影响等。另一种是内向外追踪技术(Inside-out Tracking)，内向外追踪技术不需任何外接传感器，因此可以在无硬件搭建、无标记的环境中使用，也不受传感器监测范围限制，因此拥有更多样的移动性与更高的自由度。
本公开实施例采用inside-out追踪的VR系统，支持HMD的大场景追踪，尤其是支持手柄自适应追踪，通过手柄端的第二拍摄装置采集的环境图像，HMD可以准确判断手柄在世界坐标系的位置，也就是说，定位追踪手柄并实现VR一体机中手柄的6DOF功能。6DOF即六自由度，自由度总共有6个，可分成两种不同的类型：平移和旋转刚体可以在3个自由度中平移：向前/向后，向上/向下，向左/向右，刚体也可以在3个自由度中旋转：纵摇(Pitch)、横摇(Roll)和垂摇(Yaw)。因此，3种类型的平移自由度+3种类型的旋转自由度＝6自由度。
图1是本公开实施例所述VR系统的构成框图，如图1所示，所述VR系统包括头戴显示器(HMD)1和手柄2，所述头戴显示器包括第一处理器12、第一惯性传感器14和多个第一拍摄装置11，所述手柄2包括第二惯性传感器25和多个第二拍摄装置21，所述第一惯性传感器14采集头戴显示器的惯性数据，所述第一拍摄装置11采集头戴显示器坐标系的外部环境图像，所述第二拍摄装置21采集手柄坐标系的外部环境图像，所述第二惯性传感器25采集手柄的惯性数据，所述第一处理器12通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据， 生成头戴显示器上手柄端的6DOF数据。
第一惯性传感器和第二惯性传感器为惯性测量单元IMU(Inertial MeasurementUnit，简称IMU)，惯性测量单元是一种通过传感器来测量和报告速度、方向和重力的电子设备，惯性测量单元可以包括加速度计、陀螺仪和磁力计中的一种或多种的组合，可以分别获得头戴显示器和手柄的惯性数据，所述惯性数据包括相对位置信息和相对姿态信息。
在一个实施例中，VR系统还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
在一个可选实施例中，主设备和从设备之间的数据信号通过无线方式进行传输，也就是说，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块。
优选地，第一无线传输模块和第二无线传输模块在物理层解析和回复数据信号，保证主从设备交互时，数据链路传输时间相同。
另外，优选地，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0：
T0＝(T2-T1-T4+T3)/2。
在一个实施例中，VR系统还包括第二时间同步模块，设置为通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
优选地，所述第二时间同步模块还包括：
第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
在一个实施例中，VR系统还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
在本公开的一个示例性实施例中，头戴显示器1包括多个第一拍摄装置11、第一处理器12、第一无线传输模块13、第一惯性传感器14、距离传感器、电源、按键、指示灯和显示器；
手柄2包括第二拍摄装置21、图像处理模块22、第二处理器23、第二无线传输模块24、第二惯性传感器25、电源、按键和指示灯，图像处理模块22包括多传感图像处理器及数据通道221、矫正单元222、存储单元223、接口单元224和处理单元225，
其中，启动头戴显示器1的按键，第一无线传输模块和第二无线传输模块建立无线连接，通过第一惯性传感器检测头戴显示器的惯性数据传输至第一处理器，所述头戴显示器的惯性数据包括头戴显示器的相对位置信息和相对姿态信息，例如将头戴显示器的加速度、角度、方向等信息传输至第一处理器，通过第二惯性传感器检测手柄的惯性数据，所述手柄的惯性数据包括手柄的相对位置信息和相对姿态信息，例如将手柄的加速度、角度、方向等信息发送至第二处理器，通过第二无线传输模块和第一无线传输模块传输到第一处理器，通过头戴显示器的第一拍摄装置拍摄头戴显示器坐标系的外部环境，头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器的外部环境图像直接输送至第一处理器，第二拍摄装置拍摄手柄坐标系的外部环境图像，发送至图像处理模块，多传感图像处理器及数据通道对图像进行颜色空间转换和多通道数据传输，矫正单元222滤除多通道数据中的异常数据，存储单 元223设置为存储指令，该指令用于控制第二处理器进行操作和第一处理器12结合以执行本公开实施例提供的任意一项时间同步方法。手柄的外部环境图像通过第二无线传输模块和第一无线传输模块传送到第一处理器，第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。第二处理器还设置为图像处理模块22与第二处理器以及第二处理器与第二无线传输模块不同数据类型的处理。接口单元224包括连接第二拍摄装置和处理单元225的接口以及连接存储单元223和第二处理器23之间的接口。
本领域技术人员应当理解，尽管在图1中对头戴显示器以及手柄都示出了多个装置，但是，本公开可以仅涉及其中的部分装置，技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
在本公开实施例的一个示例性实施方式中，如图2和3所示，头戴显示器上布置有多个第一拍摄装置，手柄上布置有多个第二拍摄装置，从不同的角度采集环境图像，优选地，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
优选地，头盔显示器上布置有4个第一拍摄装置，手柄上布置有3个第二拍摄装置，4个第一拍摄装置处于同一高度，分别位于头戴显示器外表面矩形的四个顶角处，3个第二拍摄装置设置在手柄的边缘环凸起的等分线上。
如图3所示，手柄包括操作部和光学部，所述光学部与操作部的一端相交，操作部包括多自由度运动操作的按键，光学部包括多个第二拍摄装置，第二拍摄装置拍摄所述包括按键设定区域的外部环境图像。
如图4所示，HMD是由多个鱼眼相机组成的6DOF追踪系统，实现多个鱼眼相机同步；还包含一颗单独的无线芯片(第一无线传输模块)支持802.11ad，实现手柄和HMD的时间同步，传输手柄的IMU数据，按键数据，能够低延时传输手柄端的图像数据到HMD，用来实现手柄追踪以及通过手柄的鱼眼相机实现see through(透视)等功能；还包含惯性测量单元，实现HMD 6DOF的关键器件；还包含显示，存储，无线，声音，电源，按键，指示灯，距离传感器等部分。
手柄是多个鱼眼相机组成的6DOF追踪系统，实现多个鱼眼相机同步；还包含一颗单独的无线芯片(第二无线传输模块)支持802.11ad，实现手柄和HMD系统的时间同步，传输手柄的IMU数据，按键数据，6DOF数据等，无线芯片可传输手柄的图像数据到HMD，实现手柄的追踪和seethough功能。还包含多路MIPI转USB处理器，以及USB3.0转PCIe处理器(第二处理器23)。
在手柄中，鱼眼相机通过CSI(COMS Sensor Interface，相机串行接口)连接到多传感图像处理器及数据通道221，进行图像传输，通过I2C连接至8051(处理单元225)，采用I2C驱动鱼眼相机，在初始化时，通过RST引脚设置多个鱼眼相机依次工作，在每个鱼眼工作时，分别设置每个鱼眼相机的I2C地址，8051的FSIN引脚与多个鱼眼相机连接，鱼眼相机收到FSIN信号以后，复位输出的时钟，一段时间以后输出MIPI数据，该FSIN信号不改变已经产生的信号，为保证系统的稳定性，FSIN信号在曝光信号结束以后、在向头戴显示器发出同步信号之前能够完成多个鱼眼相机的同步功能，既保证了同步功能，又保证了信号的稳定性，该同步信号可以和鱼眼相机的帧率信号相同，也可以是帧率的1/2等。
图5是本公开实施例所述VR系统的定位追踪方法的流程图，如图5所示，所述定位追踪方法包括：
步骤S1，在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
步骤S2，在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
步骤S3，通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
步骤S4，通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
在一个实施例中，上述定位追踪方法还包括对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤。
在一个实施例中，所述对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤包括：将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
优选地，如图6所示，主设备在T1时刻发送同步信号，从设备在T2时刻接收到同步信号，主设备将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，从设备将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；主设备将包含T4时刻主设备数据包发送给从设备；通过下式获得头戴显示器和手柄的时间偏差T0，具体地：
T2-T1＝Td+To
T4-T3＝Td-To
Td＝(T2-T1+T4-T3)/2
T0＝(T2-T1-T4+T3)/2
其中，Td为无线数据传输时间。
在一个实施例中，如图7所示，所述对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤包括：通过时间戳对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步，具体地：
按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
优选地，还包括：基于数据中断在第一惯性传感器采集的姿态数据中添加时间戳，减去第一惯性传感器的延时获得第三时间戳。
在一个示例性实施例中，HMD的第一拍摄装置采集的外环境图像的时间戳按照曝光中心点时刻添加，所述时间戳可以基于FSIN信号和曝光时间计算，也可以使用MIPI SOF信号(MIPI帧起始信号)和曝光时间计算；HMD中IMU数据(惯性数据)的时间戳基于数据中断添加，由于IMU物理发生到中断产生有一定的延时IMU Latency(惯性延时)，所述惯性延时可以根据IMU配置 滤波参数确定，在中断添加时间戳以后减去这个延时时间，以得到精确的时间戳数据；
手柄端需要添加IMU时间戳，HMD时间系统和手柄时间系统同步以后，图像处理模块FSIN触发的中断和曝光数据计算图像的时间戳；在IMU中断时添加IMU时间戳，同样减去IMU本身的延时得到精确的时间戳数据。
多个第一拍摄装置通过FSIN信号实现图像同步功能，HMD和手柄端通过无线信号实现同步HMD时间系统和手柄时间系统。图像帧率及基本参数设置确定以后，手柄光学追踪曝光的中心点和FSIN信号有固定的时间间隔，可以确定HMD追踪手柄的时间点。
在一个实施例中，如图8所示，所述对头戴显示器的多个第一拍摄装置和手柄上多个第二拍摄装置进行时间同步的步骤包括：根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
在一个示例性实施方式中，无线传输延时按照4个CMOS，分辨率640x4808bits灰度图像评估按照802.11ad比较稳定的4Gbps左右带宽来评估，无线传输延时在2ms左右。802.11ad使用60GHz频段，干扰较少，传输稳定，也有利于6DOF的性能和稳定性。802.11ad传输距离较短，降低了多套设备的相互影响。
本公开VR系统及其定位追踪方法采用inside-out追踪支持HMD的大场景追踪尤其是支持手柄自适应追踪，通过手柄端的采集的黄精图像，HMD可以准确判断手柄在世界坐标系的位置。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本公开不限于上述示范性实施例的细节，而且在不背离本公开的精神或基本特征的情况下，能够以其他的具体形式实现本公开。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本公开的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本公开内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本公开的技术方案而非限制，尽管参照较佳实施例对本公开进行了详细说明，本领域的普通技术人员应当理解，可以对本公开的技术方案进行修改或等同替换，而不脱离本公开技术方案的精神和范围。

Claims (20)

  1. 一种虚拟现实VR系统，包括头戴显示器和手柄，其中，所述头戴显示器包括第一惯性传感器、第一处理器和多个第一拍摄装置，所述手柄包括第二惯性传感器和多个第二拍摄装置，所述第一拍摄装置采集头戴显示器坐标系的外部环境图像，所述第一惯性传感器采集头戴显示器的惯性数据，所述第二拍摄装置采集手柄坐标系的外部环境图像，所述第二惯性传感器采集手柄的惯性数据，所述第一处理器通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的自由度6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
  2. 如权利要求1所述的VR系统，其中，还包括第一时间同步模块，将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
  3. 如权利要求2所述的VR系统，其中，所述头戴显示器还包括第一无线传输模块，所述手柄还包括第二无线传输模块，所述第一无线传输模块和所述第二无线传输模块在物理层解析和回复数据信号。
  4. 如权利要求3所述的VR系统，其中，所述第一无线传输模块在T1时刻发送同步信号，第二无线传输模块在T2时刻接收到同步信号，第一无线传输模块将包含T1时刻的主设备数据包发送到从设备；延时设定时间后，在T3时刻，第二无线传输模块将包含T3时刻的从设备数据包发送给主设备，在T4时刻，主设备接收到从设备数据包；第一无线传输模块将包含T4时刻主设备数据包发送给从设备；所述第一时间同步模块通过下式获得头戴显示器和手柄的时间偏差T0：
    T0＝(T2-T1-T4+T3)/2。
  5. 如权利要求2所述的VR系统，其中，还包括第二时间同步模块，设置为通过时间戳对头戴显示器和手柄进行时间同步，所述第二时间同步模块包括：
    第一时间戳添加单元，按照曝光中心点时刻在第一拍摄装置采集的外部环境图像添加第一时间戳；
    第二时间戳添加单元，按照曝光中心点时刻在第二拍摄装置采集的外部环境图像添加第二时间戳；
    第一时间同步单元，通过第一时间戳和第二时间戳的统一对头戴显示器和手柄进行时间同步。
  6. 如权利要求5所述的VR系统，其中，所述第二时间同步模块还包括：
    第三时间戳添加单元，基于数据中断在第一惯性传感器采集的头戴显示器的惯性数据中添加第三时间戳，所述第三时间戳减去第一惯性传感器的延时获得误差修正后的第三时间戳；
    第四时间戳添加单元，基于数据中断在第二惯性传感器采集的手柄的惯性数据中添加第四时间戳，所述第四时间戳减去第二惯性传感器的延时获得误差修正后的第四时间戳；
    所述误差修正后的第三时间戳和误差修正后的第四时间戳包含在数据信号中，通过第一时间同步模块对头戴显示器和手柄进行时间同步。
  7. 如权利要求4所述的VR系统，其中，还包括第三时间同步模块，根据图像传输延时对头戴显示器和手柄进行时间同步，根据第二拍摄装置采集的环境图像的灰度图像评估第二无线传输模块和第一无线传输模块之间的图像传输延时。
  8. 如权利要求4所述的VR系统，其中，所述第一拍摄装置和第二拍摄装置为鱼眼相机。
  9. 如权利要求1所述的VR系统，其中，所述多个第一拍摄装置和所述多个第二拍摄装置设置为从不同的角度采集所述外部环境图像。
  10. 如权利要求1所述的VR系统，其中，所述手柄还包括操作部，其中，所述操作部包括多自由度运动操作的按键，所述第二拍摄装置设置为拍摄包括按键设定区域的外部环境图像。
  11. 如权利要求1所述的VR系统，其中，所述头戴显示器的所述惯性数据包括所述头戴显示器的相对位置信息和所述头戴显示器的相对姿态信息；所述手柄的所述惯性数据包括所述手柄的相对位置信息和所述手柄的相对姿态信息。
  12. 一种虚拟现实VR系统的定位追踪方法，所述VR系统包括头戴显示器和手柄，其中，所述定位追踪方法包括：
    在头戴显示器上设置多个第一拍摄装置，采集头戴显示器坐标系的外部环境图像；
    在手柄上设置多个第二拍摄装置，采集手柄坐标系的外部环境图像；
    通过第一惯性传感器和第二惯性传感器分别采集头戴显示器和手柄的惯性数据；
    通过头戴显示器的惯性数据和第一拍摄装置拍摄的头戴显示器坐标系的外部环境图像获得头戴显示器在世界坐标系下的自由度6DOF数据，通过第二拍摄装置拍摄的手柄坐标系的外部环境图像和第二惯性传感器采集的手柄的惯性数据获得手柄在世界坐标系下的6DOF数据，生成头戴显示器上手柄端的6DOF数据。
  13. 如权利要求12所述的VR系统的定位追踪方法，其中，还包括：
    对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步。
  14. 如权利要求13所述的VR系统的定位追踪方法，其中，对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步包括：
    将头戴显示器作为主设备，手柄作为从设备，通过数据信号在主设备和从设备之间的传输获得头戴显示器和手柄的时间偏差，实现头戴显示器和手柄的时间同步。
  15. 如权利要求12所述的VR系统的定位追踪方法,其中，
    所述主设备在T1时刻发送同步信号，所述从设备在T2时刻接收到同步信号，所述主设备将包含T1时刻的主设备数据包发送到所述从设备；延时设定时间后，在T3时刻，所述从设备将包含T3时刻的从设备数据包发送给所述主设备，在T4时刻，所述主设备接收到所述从设备数据包；所述主设备将包含T4时刻主设备数据包发送给所述从设备；通过下式获得所述头戴显示器和所述手柄的时间偏差T0：
    T0＝(T2-T1-T4+T3)/2。
  16. 如权利要求13所述的VR系统的定位追踪方法，其中，对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步包括：
    通过时间戳对所述头戴显示器的所述多个第一拍摄装置和所述手柄上所述多个第二拍摄装置进行时间同步。
  17. 如权利要求16所述的VR系统的定位追踪方法，其中，通过时间戳对所述头戴显示器的所述多个第一拍摄装置和所述手柄上所述多个第二拍摄装置进行时间同步包括：
    按照曝光中心点时刻在所述第一拍摄装置采集的外部环境图像添加第一时间戳；
    按照曝光中心点时刻在所述第二拍摄装置采集的外部环境图像添加第二时间戳；
    通过所述第一时间戳和所述第二时间戳的统一对所述头戴显示器和所述手柄进行时间同步。
  18. 如权利要求12所述的VR系统的定位追踪方法，其中，还包括：
    基于数据中断在第一惯性传感器采集的姿态数据中添加时间戳，减去第一惯性传感器的延时获得第三时间戳。
  19. 如权利要求13所述的VR系统的定位追踪方法，其中，对所述头戴显示器的多个第一拍摄装置和所述手柄上多个第二拍摄装置进行时间同步包括：
    根据图像传输延时对所述头戴显示器和所述手柄进行时间同步，根据所述第二拍摄装置采集的环境图像的灰度图像评估所述手柄中的第二无线传输模块和所述头戴显示器中的第一无线传输模块之间的图像传输延时。
  20. 一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求12-19中任一项所述的方法。
PCT/CN2021/114361 2020-12-31 2021-08-24 Vr系统及其定位追踪方法 WO2022142403A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21913150.5A EP4192007A4 (en) 2020-12-31 2021-08-24 VR SYSTEM AND POSITIONING AND TRACKING METHOD THEREOF
US17/885,103 US11819755B2 (en) 2020-12-31 2022-08-10 VR system and positioning and tracking method of VR system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011619535.9A CN112822480B (zh) 2020-12-31 2020-12-31 Vr系统及其定位追踪方法
CN202011619535.9 2020-12-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/885,103 Continuation US11819755B2 (en) 2020-12-31 2022-08-10 VR system and positioning and tracking method of VR system

Publications (1)

Publication Number Publication Date
WO2022142403A1 true WO2022142403A1 (zh) 2022-07-07

Family

ID=75855970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/114361 WO2022142403A1 (zh) 2020-12-31 2021-08-24 Vr系统及其定位追踪方法

Country Status (4)

Country Link
US (1) US11819755B2 (zh)
EP (1) EP4192007A4 (zh)
CN (1) CN112822480B (zh)
WO (1) WO2022142403A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
CN113687590B (zh) * 2021-08-10 2023-03-10 青岛小鸟看看科技有限公司 Vr系统中头戴与手柄的时间同步方法、系统
CN113721767B (zh) * 2021-08-30 2024-02-02 歌尔科技有限公司 一种手柄的追踪方法、装置、系统及介质
CN113849072A (zh) * 2021-10-11 2021-12-28 深圳市瑞立视多媒体科技有限公司 一种无线手柄以及动作捕捉系统
CN116823928A (zh) * 2022-03-21 2023-09-29 北京字跳网络技术有限公司 控制装置的定位、装置、设备、存储介质及计算机程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329593A (zh) * 2017-06-28 2017-11-07 歌尔科技有限公司 一种vr手柄定位方法及装置
CN207704395U (zh) * 2018-01-10 2018-08-07 深圳创维新世界科技有限公司 手柄、增强现实显示系统及头戴显示系统
CN109497944A (zh) * 2017-09-14 2019-03-22 张鸿 基于互联网的远程医疗检测系统
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN209373535U (zh) * 2018-11-02 2019-09-10 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
US20190344173A1 (en) * 2016-10-11 2019-11-14 Valve Corporation Electronic controller with hand retainer and finger motion sensing
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN112822480A (zh) * 2020-12-31 2021-05-18 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US8724887B2 (en) * 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US9471090B2 (en) * 2012-11-21 2016-10-18 Starkey Laboratories, Inc. Method and apparatus for synchronizing hearing instruments via wireless communication
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US11017712B2 (en) * 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10134192B2 (en) * 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US20180224887A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Apparatus and method for asynchronous event timestamping
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
CN107168515A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种vr一体机中手柄的定位方法和装置
US10719125B2 (en) * 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
CN107153369B (zh) * 2017-05-23 2019-08-20 北京小鸟看看科技有限公司 一种定位物体的定位方法、系统和头戴显示设备
US10504243B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Calibration system for a head-mounted display tracking system
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10863469B2 (en) * 2017-10-11 2020-12-08 Google Llc System and method for accurate timestamping of virtual reality controller data
US10481679B2 (en) * 2017-12-18 2019-11-19 Alt Llc Method and system for optical-inertial tracking of a moving object
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
US10819926B2 (en) * 2018-04-09 2020-10-27 Facebook Technologies, Llc Systems and methods for synchronizing image sensors
EP3557378B1 (en) * 2018-04-16 2022-02-23 HTC Corporation Tracking system for tracking and rendering virtual object corresponding to physical object and the operating method for the same
US10558261B1 (en) * 2018-10-29 2020-02-11 Facebook Technologies, Llc Sensor data compression
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
JP2022521986A (ja) * 2019-02-28 2022-04-13 マジック リープ， インコーポレイテッド 拡張現実システム内のエミッタのための６自由度追跡のためにフェーズドアレイビーム形成を利用する方法およびシステム
US11315328B2 (en) * 2019-03-18 2022-04-26 Facebook Technologies, Llc Systems and methods of rendering real world objects using depth information
CN111756463B (zh) * 2019-03-29 2021-09-24 北京航迹科技有限公司 用于车辆的时间同步系统和方法
US10997949B2 (en) * 2019-10-04 2021-05-04 Facebook Technologies, Llc Time synchronization between artificial reality devices
KR102656682B1 (ko) * 2019-12-05 2024-04-09 현대모비스 주식회사 Gm 클럭 시간정보에 기반한 카메라 영상 동기화 방법 및 장치
US11567528B2 (en) * 2020-05-19 2023-01-31 Microsoft Technology Licensing, Llc LED synchronization for virtual and augmented reality devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190344173A1 (en) * 2016-10-11 2019-11-14 Valve Corporation Electronic controller with hand retainer and finger motion sensing
CN107329593A (zh) * 2017-06-28 2017-11-07 歌尔科技有限公司 一种vr手柄定位方法及装置
CN109497944A (zh) * 2017-09-14 2019-03-22 张鸿 基于互联网的远程医疗检测系统
CN207704395U (zh) * 2018-01-10 2018-08-07 深圳创维新世界科技有限公司 手柄、增强现实显示系统及头戴显示系统
CN209373535U (zh) * 2018-11-02 2019-09-10 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN109633632A (zh) * 2018-12-26 2019-04-16 青岛小鸟看看科技有限公司 一种头戴显示设备，手柄及其定位追踪方法
CN111061363A (zh) * 2019-11-21 2020-04-24 青岛小鸟看看科技有限公司 一种虚拟现实系统
CN112822480A (zh) * 2020-12-31 2021-05-18 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4192007A4 *

Also Published As

Publication number Publication date
US20220379197A1 (en) 2022-12-01
EP4192007A4 (en) 2024-03-20
CN112822480A (zh) 2021-05-18
EP4192007A1 (en) 2023-06-07
CN112822480B (zh) 2022-05-17
US11819755B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
WO2022142403A1 (zh) Vr系统及其定位追踪方法
KR101722068B1 (ko) 디바이스의 다수의 센서들로부터 수신된 데이터를 동기화시키는 방법들 및 시스템들
CN109104259B (zh) 一种多传感器对时同步系统和方法
KR101528208B1 (ko) 무선 동기 시스템, 무선 장치, 센서 장치, 무선 동기 방법, 및 컴퓨터로 판독 가능한 기록 매체
KR101697200B1 (ko) 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법
CN109922260B (zh) 图像传感器和惯性传感器的数据同步方法和同步装置
WO2018077176A1 (zh) 可穿戴设备及在可穿戴设备中确定用户位移的方法
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
WO2018228353A1 (zh) 一种多相机系统同步曝光的控制方法、装置及终端设备
WO2022057832A1 (zh) 高精度抗干扰的vr系统、运行方法
WO2017088096A1 (zh) 飞行设备的数据同步和采集的方法、装置以及飞行设备
WO2020181494A1 (zh) 参数同步方法、拍摄装置和可移动平台
CN111343379A (zh) 基于fpga的数据高速采集装置及方法
WO2024060763A1 (zh) 一种无线智能可穿戴装置及其图像采集方法
WO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
JP6616843B2 (ja) 動画撮影指示端末、動画撮影システム、動画撮影指示方法、およびプログラム
WO2023005424A1 (zh) 电子设备、信息同步方法和计算机可读存储介质
CN113765611B (zh) 时间戳确定方法及相关设备
Guidolin et al. A ROS driver for xsens wireless inertial measurement unit systems
WO2015060605A1 (ko) 렌즈 분리형 카메라의 동작 방법 및 장치
US11694409B1 (en) Augmented reality using a split architecture
CN113489879A (zh) 信息同步方法、电子设备和计算机可读存储介质
CN113489878A (zh) 电子设备、信息同步方法和计算机可读存储介质
JP2023146003A (ja) ウェアラブル端末
JP6787072B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21913150

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021913150

Country of ref document: EP

Effective date: 20230303

NENP Non-entry into the national phase

Ref country code: DE