JPWO2020099251A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020099251A5
JPWO2020099251A5 JP2021525760A JP2021525760A JPWO2020099251A5 JP WO2020099251 A5 JPWO2020099251 A5 JP WO2020099251A5 JP 2021525760 A JP2021525760 A JP 2021525760A JP 2021525760 A JP2021525760 A JP 2021525760A JP WO2020099251 A5 JPWO2020099251 A5 JP WO2020099251A5
Authority
JP
Japan
Prior art keywords
augmented reality
virtual object
reality display
physical world
placement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021525760A
Other languages
Japanese (ja)
Other versions
JP2022513013A (en
Publication date
Application filed filed Critical
Priority claimed from PCT/EP2019/080629 external-priority patent/WO2020099251A1/en
Publication of JP2022513013A publication Critical patent/JP2022513013A/en
Publication of JPWO2020099251A5 publication Critical patent/JPWO2020099251A5/ja
Pending legal-status Critical Current

Links

Claims (14)

物理世界内の少なくとも1つの物理オブジェクトのビューに対して仮想オブジェクトを表示する拡張現実ディスプレイと、
前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を自律的に制御する仮想オブジェクト配置コントローラであって、前記仮想オブジェクトの配置を、
前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を規制する少なくとも1つの空間配置規則の当該仮想オブジェクト配置コントローラによる実施、及び、
前記物理世界の感知
の決定的集計に基づいて、自律的に制御する仮想オブジェクト配置コントローラと
を有する、拡張現実装置において、
前記仮想オブジェクト配置コントローラが、前記決定的集計に基づいて前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を自律的に制御することは、更に、前記仮想オブジェクト配置コントローラが、前記拡張現実ディスプレイ内の少なくとも1つの追加の仮想オブジェクトの1つ又は各々の配置を仮想評価することを含むことを特徴とする、拡張現実装置
an augmented reality display that displays a virtual object against a view of at least one physical object within the physical world;
A virtual object placement controller that autonomously controls placement of the virtual object in the augmented reality display, the placement of the virtual object comprising:
implementation by the virtual object placement controller of at least one spatial placement rule governing placement of the virtual objects within the augmented reality display; and
a virtual object placement controller that autonomously controls based on a deterministic aggregation of the physical world perceptions ;
The virtual object placement controller autonomously controlling placement of the virtual objects within the augmented reality display based on the deterministic aggregation may further comprise: the virtual object placement controller comprising at least: An augmented reality device, characterized in that it includes virtual evaluation of the placement of one or each of one additional virtual objects .
前記物理世界の感知が
前記仮想オブジェクト配置コントローラによる前記物理世界内の前記少なくとも1つの物理オブジェクトのオブジェクト検出
前記仮想オブジェクト配置コントローラによる前記物理世界に対する前記拡張現実ディスプレイの姿勢検出、及び、
前記仮想オブジェクト配置コントローラによる前記物理世界に対する前記拡張現実ディスプレイの動作環境の周囲検出
のうちの少なくとも1つを含む、請求項1に記載の拡張現実装置。
The sensing of the physical world is
object detection of the at least one physical object in the physical world by the virtual object placement controller ;
pose detection of the augmented reality display relative to the physical world by the virtual object placement controller; and
Ambient detection of the operating environment of the augmented reality display relative to the physical world by the virtual object placement controller.
The augmented reality device of claim 1, comprising at least one of:
前記仮想オブジェクト配置コントローラが、更に、前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を、前記決定的集計が前記仮想オブジェクト配置コントローラによる前記拡張現実ディスプレイの少なくとも1つの技術的仕様の動作評価を更に含むことに基づいて、自律的に制御する、請求項1に記載の拡張現実装置。 The virtual object placement controller further comprises placement of the virtual objects within the augmented reality display, and wherein the deterministic aggregation further comprises a performance evaluation of at least one technical specification of the augmented reality display by the virtual object placement controller. 2. The augmented reality device according to claim 1, which controls autonomously based on 前記仮想オブジェクト配置コントローラが、更に、前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を、
前記仮想オブジェクト配置コントローラによる、前記物理世界内の前記少なくとも1つの物理オブジェクトのビューから導出される該物理世界のマーカ無し空間マッピング、及び、
前記仮想オブジェクト配置コントローラによる、前記物理世界内の少なくとも1つのマーカの感知から導出される該物理世界のマーカベースの空間マッピング
の一方に基づいて、自律的に制御する、請求項1に記載の拡張現実装置。
The virtual object placement controller further arranges the virtual object within the augmented reality display by:
markerless spatial mapping of the physical world derived from the view of the at least one physical object in the physical world by the virtual object placement controller; and
The extension of claim 1, autonomously controlling based on one of marker-based spatial mappings of the physical world derived from sensing of at least one marker in the physical world by the virtual object placement controller. reality device.
前記マーカベースの空間マッピングが、単一マーカ追跡、ネスト化マーカ追跡、多マーカ追跡及び多方式追跡のうちの少なくとも1つを含む、請求項に記載の拡張現実装置。 5. The augmented reality device of claim 4 , wherein the marker-based spatial mapping comprises at least one of single-marker tracking, nested-marker tracking, multi-marker tracking, and multi-way tracking. 少なくとも1つのプロセッサにより実行するための命令でエンコードされた非一時的マシン読取可能な記憶媒体であって、
物理世界内の物理オブジェクトのビューに対して仮想オブジェクトを表示する拡張現実ディスプレイ内の前記仮想オブジェクトの配置を、
前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を規制する少なくとも1つの空間配置規則の実施、及び、
前記物理世界の感知
の決定的集計に基づいて、自律的に制御するための命令
を有する、非一時的マシン読取可能な記憶媒体において、
前記決定的集計に基づいて前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を自律的に制御するための命令が、更に、前記拡張現実ディスプレイ内の少なくとも1つの追加の仮想オブジェクトの1つ又は各々の配置の仮想評価を実行するための命令を含むことを特徴とする、非一時的マシン読取可能な記憶媒体
A non-transitory machine-readable storage medium encoded with instructions for execution by at least one processor,
arranging the virtual objects in an augmented reality display that displays the virtual objects relative to the view of the physical objects in the physical world;
enforcing at least one spatial arrangement rule that regulates the arrangement of the virtual objects within the augmented reality display; and
In a non-transitory machine-readable storage medium having instructions for autonomous control based on a deterministic aggregation of said physical world sensing ,
instructions for autonomously controlling placement of the virtual object within the augmented reality display based on the deterministic aggregation, further comprising: A non-transitory machine-readable storage medium comprising instructions for performing virtual evaluation of placement .
前記物理世界の感知が
前記物理世界内の前記少なくとも1つの物理オブジェクトのオブジェクト検出を実行するための命令
前記物理世界に対する前記拡張現実ディスプレイの姿勢検出を実行するための命令、及び、
前記物理世界に対する前記拡張現実ディスプレイの動作環境の周囲検出を実行するための命令
のうちの少なくとも1つを含む、請求項に記載の非一時的マシン読取可能な記憶媒体。
The sensing of the physical world is
instructions for performing object detection of the at least one physical object in the physical world ;
instructions for performing pose detection of the augmented reality display with respect to the physical world; and
Instructions for performing ambient detection of an operating environment of the augmented reality display relative to the physical world
7. The non-transitory machine-readable storage medium of claim 6 , comprising at least one of:
前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を前記決定的集計に基づいて自律的に制御するための命令が、前記拡張現実ディスプレイの少なくとも1つの技術的仕様の動作評価を実行するための命令を更に含む、請求項に記載の非一時的マシン読取可能な記憶媒体。 instructions for autonomously controlling placement of the virtual object within the augmented reality display based on the deterministic aggregation instructions for performing a performance evaluation of at least one technical specification of the augmented reality display; 7. The non-transitory machine-readable storage medium of claim 6 , further comprising. 前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を自律的に制御するための命令が、
前記物理世界を該物理世界内の前記物理オブジェクトのビュー及び該物理世界内の少なくとも1つのマーカの感知の少なくとも一方から空間的にマッピングする
ための命令を更に含む、請求項に記載の非一時的マシン読取可能な記憶媒体。
instructions for autonomously controlling placement of the virtual object within the augmented reality display comprising:
7. The non-temporal of claim 6 , further comprising instructions for spatially mapping the physical world from at least one of a view of the physical object within the physical world and a perception of at least one marker within the physical world. A physical machine-readable storage medium.
拡張現実ディスプレイを介して、物理世界内の物理オブジェクトのビューに対して仮想オブジェクトを表示するステップと、
仮想オブジェクト配置コントローラを介して、前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を、
前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を規制する少なくとも1つの空間配置規則の実施、及び、
前記物理世界の感知
の決定的集計に基づいて自律的に制御するステップと
を有する、拡張現実方法において、
前記決定的集計に基づいて前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を、前記仮想オブジェクト配置コントローラを介して自律的に制御するステップが、更に、前記拡張現実ディスプレイ内の少なくとも1つの追加の仮想オブジェクトの1つ又は各々の配置を仮想評価することを含むことを特徴とする、拡張現実方法
displaying the virtual object against a view of the physical object in the physical world via an augmented reality display;
placing the virtual objects in the augmented reality display via a virtual object placement controller;
enforcing at least one spatial arrangement rule that regulates the arrangement of the virtual objects within the augmented reality display; and
autonomously controlling based on a deterministic aggregation of the physical world perceptions ;
autonomously controlling placement of the virtual objects within the augmented reality display based on the deterministic aggregation via the virtual object placement controller, further comprising at least one additional virtual object within the augmented reality display; An augmented reality method, comprising: virtual evaluating the placement of one or each of objects .
前記物理世界の感知が、
前記仮想オブジェクト配置コントローラにより、前記物理世界内の前記少なくとも1つの物理オブジェクトのオブジェクト検出を実行するステップ、
前記仮想オブジェクト配置コントローラにより、前記物理世界に対する前記拡張現実ディスプレイの姿勢検出を実行するステップ、及び、
前記仮想オブジェクト配置コントローラにより、前記物理世界に対する前記拡張現実ディスプレイの動作環境の周囲検出を実行するステップ
うちの少なくとも1つを含む、請求項10に記載の拡張現実方法。
The sensing of the physical world is
performing, by the virtual object placement controller, object detection of the at least one physical object in the physical world;
performing pose detection of the augmented reality display with respect to the physical world by the virtual object placement controller;
11. The augmented reality method of claim 10 , comprising at least one of performing, with the virtual object placement controller, ambient sensing of the operating environment of the augmented reality display relative to the physical world.
前記仮想オブジェクト配置コントローラを介して前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を前記決定的集計に基づいて自律的に制御するステップが、前記拡張現実ディスプレイの少なくとも1つの技術的仕様の動作評価を更に含む、請求項10に記載の拡張現実方法。 autonomously controlling the placement of the virtual objects in the augmented reality display via the virtual object placement controller based on the deterministic aggregation includes performing a performance evaluation of at least one technical specification of the augmented reality display; 11. The augmented reality method of claim 10 , further comprising. 前記仮想オブジェクト配置コントローラを介して前記拡張現実ディスプレイ内の前記仮想オブジェクトの配置を自律的に制御するステップが、
前記物理世界を該物理世界内の前記物理オブジェクトのビュー及び該物理世界内の少なくとも1つのマーカの感知の少なくとも一方から空間的にマッピングするステップ
を含む、請求項10に記載の拡張現実方法。
autonomously controlling placement of the virtual objects within the augmented reality display via the virtual object placement controller;
11. The augmented reality method of claim 10 , comprising spatially mapping the physical world from at least one of a view of the physical object within the physical world and a perception of at least one marker within the physical world.
前記マーカに基づく空間的な前記マッピングが、単一マーカ追跡、ネスト化マーカ追跡、多マーカ追跡及び多方式追跡のうちの少なくとも1つを含む、請求項13に記載の拡張現実方法。 14. The augmented reality method of claim 13 , wherein the spatially mapping based on the markers comprises at least one of single marker tracking, nested marker tracking, multi-marker tracking and multi-way tracking.
JP2021525760A 2018-11-15 2019-11-08 Systematic placement of virtual objects for mixed reality Pending JP2022513013A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862767634P 2018-11-15 2018-11-15
US62/767,634 2018-11-15
PCT/EP2019/080629 WO2020099251A1 (en) 2018-11-15 2019-11-08 Systematic positioning of virtual objects for mixed reality

Publications (2)

Publication Number Publication Date
JP2022513013A JP2022513013A (en) 2022-02-07
JPWO2020099251A5 true JPWO2020099251A5 (en) 2022-11-14

Family

ID=68536839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525760A Pending JP2022513013A (en) 2018-11-15 2019-11-08 Systematic placement of virtual objects for mixed reality

Country Status (5)

Country Link
US (1) US20210398316A1 (en)
EP (1) EP3881293A1 (en)
JP (1) JP2022513013A (en)
CN (1) CN113366539A (en)
WO (1) WO2020099251A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200242280A1 (en) 2019-01-30 2020-07-30 Augmntr, Inc. System and methods of visualizing an environment
CN115605901A (en) * 2020-06-04 2023-01-13 昕诺飞控股有限公司(Nl) Method of configuring a plurality of parameters of a lighting device
US20220198765A1 (en) * 2020-12-22 2022-06-23 Arkh, Inc. Spatially Aware Environment Interaction
US11647080B1 (en) 2021-10-27 2023-05-09 International Business Machines Corporation Real and virtual world management
WO2023158797A1 (en) * 2022-02-17 2023-08-24 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
US11914765B2 (en) * 2022-02-17 2024-02-27 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
JP5966510B2 (en) * 2012-03-29 2016-08-10 ソニー株式会社 Information processing system
US9865089B2 (en) * 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9791865B2 (en) * 2014-10-29 2017-10-17 Amazon Technologies, Inc. Multi-scale fiducials
WO2017160889A1 (en) * 2016-03-14 2017-09-21 Mahfouz, Mohamed, R. Ultra-wideband positioning for wireless ultrasound tracking and communication
EP3336805A1 (en) * 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
WO2019070681A1 (en) * 2017-10-02 2019-04-11 The Johns Hopkins University Image to world registration for medical augmented reality applications using a world spatial map
US10719995B2 (en) * 2018-10-23 2020-07-21 Disney Enterprises, Inc. Distorted view augmented reality

Similar Documents

Publication Publication Date Title
CN114138118B (en) Spatial relationship for integrating visual images of a physical environment into a virtual reality
JP2019514101A5 (en)
KR102285376B1 (en) 3d face modeling method and 3d face modeling apparatus
US11327560B2 (en) System and method for a blended reality user interface and gesture control system
RU2012150277A (en) DEVICE AND METHOD FOR PROCESSING INFORMATION AND PROGRAM
WO2017098822A1 (en) Information processing device, information processing method, and program
JP2013218597A5 (en)
JP2021501939A5 (en)
JP2012503513A5 (en)
JP2013164696A5 (en)
JP2022518465A (en) Movement control method of virtual target and its device, terminal and computer program
JP2014510336A5 (en)
JP2016517575A5 (en)
JP2012043194A (en) Information processor, information processing method, and program
KR20130098837A (en) Method and apparatus for correcting gesture on space recognition based on vector
JP2017033575A5 (en)
KR101960929B1 (en) Basic life support training simulation system
JP2019022916A5 (en)
JPWO2020099251A5 (en)
JP2017120650A5 (en)
JP2016177568A5 (en)
KR102561274B1 (en) Display apparatus and controlling method thereof
JP2015118578A5 (en)
US20120256834A1 (en) Physical object for intuitive navigation in a three-dimensional space
KR20160039939A (en) Head mounted display and method for controlling the same