JPWO2019156992A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2019156992A5
JPWO2019156992A5 JP2020537488A JP2020537488A JPWO2019156992A5 JP WO2019156992 A5 JPWO2019156992 A5 JP WO2019156992A5 JP 2020537488 A JP2020537488 A JP 2020537488A JP 2020537488 A JP2020537488 A JP 2020537488A JP WO2019156992 A5 JPWO2019156992 A5 JP WO2019156992A5
Authority
JP
Japan
Prior art keywords
component
head
posture
relative
coordinate frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020537488A
Other languages
English (en)
Other versions
JP2021512388A (ja
JP7316282B2 (ja
Publication date
Application filed filed Critical
Priority claimed from PCT/US2019/016721 external-priority patent/WO2019156992A2/en
Publication of JP2021512388A publication Critical patent/JP2021512388A/ja
Publication of JPWO2019156992A5 publication Critical patent/JPWO2019156992A5/ja
Priority to JP2023115823A priority Critical patent/JP2023126474A/ja
Application granted granted Critical
Publication of JP7316282B2 publication Critical patent/JP7316282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

従って、ARデバイスおよびVRデバイスの脈絡におけるより良いローカル化システムに対するニーズが存在する。
本発明は、例えば、以下を提供する。
(項目1)
複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
制御および処理モジュールによって第1の姿勢データを送信することと、
第1の構成要素において前記第1の姿勢データを受信することと、
前記第1の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第1の構成要素の相対的な姿勢に変換することと、
前記変換された第1の構成要素の相対的な姿勢で、前記第1の構成要素と通信するディスプレイユニットを更新することと
を備える、方法。
(項目2)
第2の構成要素において前記第1の姿勢データを受信することと、
前記第1の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第2の構成要素の相対的な姿勢に変換することと、
前記第2の構成要素の相対的な姿勢を前記第1の構成要素と共有することと、
前記変換された第2の構成要素の相対的な姿勢に基づいて、前記第1の構成要素の姿勢を更新することと
をさらに備える、項目1に記載の方法。
(項目3)
前記第1の構成要素は、頭部装備型ウェアラブル構成要素である、項目1または2に記載の方法。
(項目4)
前記第2の構成要素は、手持ち型構成要素である、項目3に記載の方法。
(項目5)
前記第1の構成要素は、手持ち型ウェアラブル構成要素である、項目1または2に記載の方法。
(項目6)
前記第2の構成要素は、頭部装備型構成要素である、項目5に記載の方法。
(項目7)
前記第1の姿勢データを送信することは、電磁場信号を送信することを備える、項目1に記載の方法。
(項目8)
前記電磁場信号は、可視スペクトル内にある、項目7に記載の方法。
(項目9)
前記電磁場信号は、赤外線スペクトル内にある、項目7に記載の方法。
(項目10)
前記第1の姿勢データを受信することは、赤外線マーカーの視覚的捕捉を備える、項目1に記載の方法。
(項目11)
前記第1の姿勢データを受信することは、フィデューシャルマーカーの視覚的捕捉を備える、項目2に記載の方法。
(項目12)
複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
頭部装備型構成要素において位置の情報を示す環境的特性を受信することと、
前記受信された環境的特性に基づく前記頭部装備型構成要素の環境座標フレームにおける頭部装備型構成要素の姿勢を決定することと、
少なくとも1つの手持ち型構成要素において前記少なくとも1つの手持ち型構成要素の前記頭部装備型構成要素に対する相対的な位置の側面を受信することと、
頭部装備型構成要素座標フレームにおける前記少なくとも1つの手持ち型構成要素の相対的な手持ち型構成要素の姿勢を決定することと、
前記環境座標フレームにおける前記決定された頭部装備型構成要素の姿勢を、前記少なくとも1つの手持ち型構成要素と共有すること、および、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記頭部装備型構成要素と共有することを実行することと、
前記頭部装備型座標フレームにおける前記少なくとも1つの手持ち型構成要素の前記相対的な姿勢を更新することと
を備える、方法。
(項目13)
前記少なくとも1つの手持ち型構成要素の前記相対的な位置を更新する前に、前記環境座標フレームにおける制御および処理モジュールから前記頭部装備型構成要素へ、相対的な位置の側面を送信することをさらに備える、項目12に記載の方法。
(項目14)
前記少なくとも1つの手持ち型コントローラの前記相対的な位置を更新する前に、前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することをさらに備える、項目13に記載の方法。
(項目15)
前記頭部装備型座標フレームにおける前記少なくとも1つの手持ち型構成要素の前記相対的な位置を、前記環境的座標フレームにおける手持ち型構成要素の姿勢に変換することをさらに備える、項目12に記載の方法。
(項目16)
前記環境座標フレームにおける制御および処理モジュールから前記少なくとも1つの手持ち型構成要素へ、相対的な位置の側面を送信することをさらに備える、項目12に記載の方法。
(項目17)
前記環境座標フレームにおける手持ち型構成要素の姿勢を決定することをさらに備える、項目16に記載の方法。
(項目18)
前記頭部装備型構成要素と共有された前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける前記手持ち型構成要素の姿勢で更新することをさらに備える、項目17に記載の方法。
(項目19)
環境的特性を受信することは、画像ベースの特徴抽出およびローカル化を備える、項目12に記載の方法。

Claims (18)

  1. 複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
    制御および処理モジュールによって第1の姿勢データを送信することと、
    第1の構成要素において前記第1の姿勢データを受信することと、
    前記第1の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第1の構成要素の相対的な姿勢に変換することと、
    前記第1の構成要素の相対的な姿勢で、前記第1の構成要素と通信するディスプレイユニットを更新することと
    第2の構成要素において前記第1の姿勢データを受信することと、
    前記第1の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第2の構成要素の相対的な姿勢に変換することと、
    前記第2の構成要素の相対的な姿勢を前記第1の構成要素と共有することと、
    前記第2の構成要素の相対的な姿勢に基づいて、前記第1の構成要素の相対的な姿勢を更新することと
    を備える、方法。
  2. 前記第1の構成要素は、頭部装備型ウェアラブル構成要素を備える、請求項に記載の方法。
  3. 前記第2の構成要素は、手持ち型構成要素を備える、請求項に記載の方法。
  4. 前記第1の構成要素は、手持ち型ウェアラブル構成要素を備える、請求項に記載の方法。
  5. 前記第2の構成要素は、頭部装備型構成要素を備える、請求項に記載の方法。
  6. 前記第1の姿勢データを送信することは、電磁場信号を送信することを備える、請求項1に記載の方法。
  7. 前記電磁場信号は、可視スペクトル内にある、請求項に記載の方法。
  8. 前記電磁場信号は、赤外線スペクトル内にある、請求項に記載の方法。
  9. 前記第1の姿勢データを受信することは、赤外線マーカーの視覚的捕捉を備える、請求項1に記載の方法。
  10. 前記第1の姿勢データを受信することは、フィデューシャルマーカーの視覚的捕捉を備える、請求項に記載の方法。
  11. 複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
    頭部装備型構成要素において位置の情報を示す環境的特性を受信することと、
    前記受信された環境的特性に基づく前記頭部装備型構成要素の環境座標フレームにおける頭部装備型構成要素の姿勢を決定することと、
    前記頭部装備型構成要素において少なくとも1つの手持ち型構成要素の前記頭部装備型構成要素に対する相対的な位置の側面を受信することと、
    頭部装備型構成要素座標フレームにおける前記少なくとも1つの手持ち型構成要素の相対的な手持ち型構成要素の姿勢を決定することと、
    前記少なくとも1つの手持ち型構成要素において、前記頭部装備型構成要素に対する前記相対的な位置の側面を受信することと、
    前記相対的な位置の側面を、前記頭部装備型構成要素座標フレームにおける相対的な手持ち型構成要素の姿勢に変換することと、
    前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を、前記少なくとも1つの手持ち型構成要素と共有すること、および、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記頭部装備型構成要素と共有することを実行することと、
    前記相対的な手持ち型構成要素の姿勢に基づいて、前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することと
    前記環境座標フレームにおける前記頭部装備型構成要素の姿勢に基づいて、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を更新することと
    を備える、方法。
  12. 前記相対的な手持ち型構成要素の姿勢を更新する前に、前記環境座標フレームにおける制御および処理モジュールから前記頭部装備型構成要素へ、前記相対的な位置の側面を送信することをさらに備える、請求項11に記載の方法。
  13. 記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することは、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を更新する前に実施される、請求項11に記載の方法。
  14. 前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける手持ち型構成要素の姿勢に変換することをさらに備える、請求項11に記載の方法。
  15. 前記環境座標フレームにおける制御および処理モジュールから前記少なくとも1つの手持ち型構成要素へ、前記相対的な位置の側面を送信することをさらに備える、請求項11に記載の方法。
  16. 前記環境座標フレームにおける手持ち型構成要素の姿勢を決定することをさらに備える、請求項15に記載の方法。
  17. 前記頭部装備型構成要素と共有された前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける前記手持ち型構成要素の姿勢で更新することをさらに備える、請求項16に記載の方法。
  18. 環境的特性を受信することは、画像ベースの特徴抽出およびローカル化を備える、請求項11に記載の方法。
JP2020537488A 2018-02-06 2019-02-05 拡張現実のためのシステムおよび方法 Active JP7316282B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023115823A JP2023126474A (ja) 2018-02-06 2023-07-14 拡張現実のためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862627155P 2018-02-06 2018-02-06
US62/627,155 2018-02-06
PCT/US2019/016721 WO2019156992A2 (en) 2018-02-06 2019-02-05 Systems and methods for augmented reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023115823A Division JP2023126474A (ja) 2018-02-06 2023-07-14 拡張現実のためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2021512388A JP2021512388A (ja) 2021-05-13
JPWO2019156992A5 true JPWO2019156992A5 (ja) 2022-02-04
JP7316282B2 JP7316282B2 (ja) 2023-07-27

Family

ID=67549617

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020537488A Active JP7316282B2 (ja) 2018-02-06 2019-02-05 拡張現実のためのシステムおよび方法
JP2023115823A Pending JP2023126474A (ja) 2018-02-06 2023-07-14 拡張現実のためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023115823A Pending JP2023126474A (ja) 2018-02-06 2023-07-14 拡張現実のためのシステムおよび方法

Country Status (9)

Country Link
US (2) US11222457B2 (ja)
EP (1) EP3750033A4 (ja)
JP (2) JP7316282B2 (ja)
KR (1) KR20200116459A (ja)
CN (1) CN111712780A (ja)
AU (1) AU2019217515A1 (ja)
CA (1) CA3087738A1 (ja)
IL (1) IL276254A (ja)
WO (1) WO2019156992A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3087738A1 (en) 2018-02-06 2019-08-15 Magic Leap, Inc. Systems and methods for augmented reality
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
JP7463796B2 (ja) 2020-03-25 2024-04-09 ヤマハ株式会社 デバイスシステム、音質制御方法および音質制御プログラム
RU201742U1 (ru) * 2020-07-22 2020-12-30 Общество с ограниченной ответственностью "МИКСАР ДЕВЕЛОПМЕНТ" Очки дополненной реальности, ориентированные на применение в условиях опасного производства
US11768374B1 (en) 2022-06-24 2023-09-26 Rockwell Collins, Inc. Vehicle including head wearable display device and imperceptible reference fiducials and method therefor
JP7466733B1 (ja) 2023-03-27 2024-04-12 株式会社複合現実製作所 画像表示装置および画像表示システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177737B2 (en) * 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
EP1851750A4 (en) * 2005-02-08 2010-08-25 Oblong Ind Inc SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES
WO2013085639A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
CA2858208C (en) 2011-11-23 2019-01-15 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US20140168261A1 (en) 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
JP2015118442A (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP6290020B2 (ja) * 2014-07-11 2018-03-07 Kddi株式会社 画像処理装置、画像処理方法、およびプログラム
US20160259404A1 (en) * 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
AU2016310451B2 (en) 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
JP2017187952A (ja) 2016-04-06 2017-10-12 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US10261162B2 (en) * 2016-04-26 2019-04-16 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10365712B2 (en) 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10452133B2 (en) * 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
US10600203B2 (en) * 2017-06-06 2020-03-24 CapSen Robotics, Inc. Three-dimensional scanner with detector pose identification
GB2565836B (en) * 2017-08-25 2021-04-14 Sony Interactive Entertainment Inc Data processing for position detection using markers in captured images
CA3087738A1 (en) 2018-02-06 2019-08-15 Magic Leap, Inc. Systems and methods for augmented reality

Similar Documents

Publication Publication Date Title
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN110140099B (zh) 用于跟踪控制器的系统和方法
JP5499762B2 (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20140198130A1 (en) Augmented reality user interface with haptic feedback
US8115768B2 (en) Methods and system for communication and displaying points-of-interest
US20170103582A1 (en) Touch and social cues as inputs into a computer
USRE45031E1 (en) Vision-based augmented reality system using invisible marker
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的系统
CN108700941A (zh) 用于在虚拟现实环境中对准组件的方法和设备
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US10802606B2 (en) Method and device for aligning coordinate of controller or headset with coordinate of binocular system
US20190187783A1 (en) Method and system for optical-inertial tracking of a moving object
US20220067966A1 (en) Localization and mapping using images from multiple devices
JP2011203984A (ja) ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JPWO2019156992A5 (ja)
He et al. Spatial anchor based indoor asset tracking
JP2003181785A (ja) 遠隔操作装置
EP3730899A1 (en) Method and system for the optical-inertial tracking of a mobile object
EP3943167A1 (en) Device provided with plurality of markers
CN108628452B (zh) 虚拟现实设备、基于虚拟现实设备的显示控制方法及装置
US20150268735A1 (en) User interface device and user interface method
JP4111959B2 (ja) 距離計測システム
TWI829563B (zh) 可穿戴追蹤系統和可穿戴追蹤方法
WO2021177132A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11132051B2 (en) Systems and methods to provide an interactive environment in response to touch-based inputs