JP6780642B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6780642B2 JP6780642B2 JP2017524661A JP2017524661A JP6780642B2 JP 6780642 B2 JP6780642 B2 JP 6780642B2 JP 2017524661 A JP2017524661 A JP 2017524661A JP 2017524661 A JP2017524661 A JP 2017524661A JP 6780642 B2 JP6780642 B2 JP 6780642B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- virtual object
- control unit
- user
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
1.構成例
1.1.外観構成例
1.2.内部構成例
2.技術的特徴
2.1.処理の概要
2.2.表示処理のバリエーション
2.3.表示領域の設定基準
2.4.インタラクションに基づく表示制御
2.5.表示領域に応じた加工
2.6.ユーザに応じた表示制御
2.7.その他の表示制御
3.動作処理例
4.ハードウェア構成例
5.まとめ
<1.1.外観構成例>
まず、図1を参照して、本開示の一実施形態に係る情報処理装置の外観構成の一例について説明する。
図2は、本実施形態に係る表示装置1の内部構成の一例を示すブロック図である。図2に示すように、表示装置1は、撮像部10、表示部20、記憶部30及び制御部40を含む。
続いて、本実施形態に係る表示装置1の技術的特徴を順に説明する。
まず、図3を参照して、表示装置1において行われる処理の概略を説明する。図3は、本実施形態に係る表示装置1において実行される処理の概略を示す図である。
図3に示すように、まず、撮像部10において撮像処理が行われて、撮像画像が取得される。
次いで、図3に示すように、検出部41において、撮像部10から出力された撮像画像に基づいて、空間認識処理が行われる。空間認識処理により、表示装置1の実空間における位置及び姿勢を示す空間情報が取得される。
また、図3に示すように、検出部41において、撮像部10から出力された撮像画像に基づいて、実物体認識処理が行われる。実物体認識処理により、表示装置1を装着したユーザの周辺の、例えば実空間画像に含まれる実物体が検出される。詳しくは、実物体認識処理により、実物体の位置及び形状、より正確には実空間画像における実物体の位置及び形状(即ち、撮像部10からみた実空間の凹凸)を示す実物体情報が取得される。
また、図3に示すように、検出部41において、撮像部10から出力された撮像画像に基づいて、ジェスチャ認識処理が行われる。ジェスチャ認識処理により、表示装置1を装着したユーザ又は周辺のユーザによるジェスチャの内容を示すジェスチャ情報が取得される。ジェスチャ情報は、例えば、実物体認識処理と同様の技術を用いて取得され得る。
次いで、図3に示すように、表示制御部45において、視点位置推定処理が行われる。視点位置推定処理により、表示装置1を装着したユーザの眼の位置を示す視点位置情報が取得される。例えば、表示制御部45は、空間認識処理により取得された空間情報に基づいて、視点位置情報を推定する。表示制御部45は、内向きステレオカメラ10により取得された画像から認識されたユーザの眼球の位置、瞳孔の位置、及び視線の向き等にさらに基づいて、視点位置情報を推定してもよい。
また、図3に示すように、表示制御部45において、遮蔽物判定処理が行われる。遮蔽物判定処理により、表示装置1を装着したユーザから見た実物体同士の重なりを示す遮蔽物情報が取得される。例えば、表示制御部45は、実物体情報に基づいて実物体同士の位置関係、及び重なってユーザから見えなくなる領域等を認識する。
また、図3に示すように、表示制御部45において、仮想オブジェクトの表示領域の設定処理が行われる。表示領域の設定処理においては、実空間上の一領域に、仮想オブジェクトが表示(重畳)される表示領域が設定される。
そして、図3に示すように、表示制御部45において、仮想オブジェクト描画処理が行われる。例えば、表示制御部45は、視点位置情報及び空間情報に基づいて描画のための視点を決定する。具体的には、表示制御部45は、視点位置情報及び空間情報に基づいて、表示領域設定処理において設定した表示領域を表示部20上の座標に射影変換する。この射影変換後の表示領域も、以下では単に表示領域と称する。そして、表示制御部45は、射影変換後の表示領域に相当するVRAMに、仮想オブジェクトのテクスチャをGPUにより変形して書き込む。なお、表示制御部45は、遮蔽物情報に基づいて仮想オブジェクトのうち遮蔽される部分を欠けさせてもよい。
最後に、図3に示すように、表示部20において表示処理が行われる。例えば、表示部20は、ディスプレイコントローラ(例えば、表示制御部45)によりVRAMから読み出された画素情報に基づく表示を行う。これにより、実空間画像に仮想オブジェクトが重畳表示される。
本実施形態に係る表示装置1(例えば、表示制御部45)は、複数種類の重畳処理を同時に又は選択的に実行可能である。例えば、表示装置1は、実空間における検出される実物体を基準とした位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第1の処理、又は実空間における検出される実物体を基準としない位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第2の処理を行い得る。以下、図4を参照して、表示装置1による表示制御処理のバリエーションについて説明する。
(1a)基本方針
例えば、表示装置1は、第1の処理において、検出される実物体の形状に基づいて、仮想オブジェクトの表示を変化させてもよい。これにより、ユーザから見て、仮想オブジェクトがより自然に実空間に重畳されることとなる。
表示装置1は、検出される実物体の表面に仮想オブジェクトを重畳表示してもよい。例えば、表示装置1は、実物体の表面を表示領域として設定し、実物体の表面に仮想オブジェクトをマッピングして表示する。これにより、ユーザから見て、仮想オブジェクトが実物体に貼り付いているように見えることとなる。仮想オブジェクトが実物体の表面に重畳表示される場合、背景との重なりが生じ得る空中に表示される場合と比較して、視認性が向上する。なお、表示装置1は、実物体の表面と同一の面(即ち、実物体の表面上)に重畳表示してもよいし、表面から離隔した面(例えば、実物体の平面領域から水平に数ミリ又は数センチメートル離隔させた平面領域)に重畳表示してもよい。
また、表示装置1は、検出される実物体から離隔した位置に仮想オブジェクトを重畳表示してもよい。例えば、表示装置1は、実物体の表面の延長線上の面、実物体の上方の空間、又は実物体とユーザとの間の空間等の多様な空間に表示領域を設定する。より簡易には、表示装置1は、仮想オブジェクトを空中に浮遊しているかのように表示する。これにより、例えば実物体の表面に適切な表示領域がない場合であっても、仮想オブジェクトを実物体に紐付けて表示することが可能となる。なお、空中に設定される表示領域は、ユーザに正対することが望ましい。
例えば、表示装置1は、第2の処理において、ユーザの視線方向上の実空間に仮想オブジェクトを重畳表示してもよい。例えば、表示装置1は、空間情報、及び/又は内向きステレオカメラ10の撮像画像の認識結果に基づいて、ユーザの視線の動きに仮想オブジェクトを追随させる。これにより、ユーザから見て、仮想オブジェクトが目の前の空中に所定の距離を保って追随しているように見えることとなる。
表示装置1は、上述した第1の処理及び第2の処理を切り替えてもよい。これにより、表示装置1は、ユーザの環境及び/又はコンテンツ等に応じた適切な処理を選択することができる。切り替え基準は多様に考えらえる。
表示装置1(例えば、表示制御部45)は、多様な基準で表示領域を設定し得る。
表示装置1(例えば、表示制御部45)は、ユーザとのインタラクションに応じた表示制御を行い得る。
表示装置1(例えば、表示制御部45)は、表示領域に応じた多様な加工を行い得る。
表示装置1(例えば、表示制御部45)は、ユーザに応じた表示制御を行い得る。
表示装置1(例えば、表示制御部45)は、その他多様な表示制御を行い得る。
(1)前処理
図15は、本実施形態に係る表示装置1において実行される前処理の流れの一例を示すフローチャートである。本フローは、図3を参照して上記説明した、実物体認識処理、遮蔽物判定処理、及び表示領域設定処理に相当する。
図16は、本実施形態に係る表示装置1において実行される描画処理の流れの一例を示すフローチャートである。本フローは、図3を参照して上記説明した、視点位置推定処理、仮想オブジェクト描画処理及び表示処理に相当し、図15を参照して上記説明した前処理の後に実行される。
図18は、本実施形態に係る表示装置1において実行されるインタラクションに係る表示制御処理の流れの一例を示すフローチャートである。
最後に、図19を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図19は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図19に示す情報処理装置900は、例えば、図2に示した表示装置1を実現し得る。本実施形態に係る表示装置1による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、図1〜図19を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る表示装置1は、実物体を基準とした位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第1の処理、又は実物体を基準としない位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第2の処理を行う。これにより、AR技術を利用した仮想オブジェクトの表現方法の多様化が実現される。
(1)
実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第1の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第2の処理を行う表示制御部、
を備える情報処理装置。
(2)
前記表示制御部は、前記第1の処理及び前記第2の処理を切り替える、前記(1)に記載の情報処理装置。
(3)
前記表示制御部は、ユーザに関する情報及び/又は前記仮想物体に関する情報に基づいて前記切り替えを実行する、前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記仮想物体の内容に応じて前記切り替えを実行する、前記(3)に記載の情報処理装置。
(5)
前記表示制御部は、実物体とユーザとの距離に応じて前記切り替えを実行する、前記(3)又は(4)に記載の情報処理装置。
(6)
前記表示制御部は、前記第1の処理において、検出される実物体の形状に基づいて、前記仮想物体の表示を変化させる、前記(1)に記載の情報処理装置。
(7)
前記表示制御部は、検出される実物体に対する前記仮想物体の相対的な姿勢を変化させ、及び/又は前記仮想物体の形状を変形させることにより、前記仮想物体の表示を変化させる、前記(6)に記載の情報処理装置。
(8)
前記表示制御部は、検出される実物体の表面に前記仮想物体を重畳させて表示させる、前記(6)又は(7)に記載の情報処理装置。
(9)
前記表示制御部は、検出される実物体の表面のうち一続きの面に前記仮想物体を重畳させて表示させる、前記(8)に記載の情報処理装置。
(10)
前記表示制御部は、検出される実物体の表面のうち水平と判断される表面又は鉛直と判断される表面に前記仮想物体を重畳させて表示させる、前記(8)又は(9)に記載の情報処理装置。
(11)
前記表示制御部は、検出される実物体から離隔した位置に前記仮想物体を重畳させて表示させる、前記(8)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記表示制御部は、前記第2の処理において、ユーザの頭を基準とした位置又は前記ユーザの視線方向上の実空間に前記仮想物体を重畳させて表示させる、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記表示制御部は、前記第2の処理において、実空間における任意の位置に前記仮想物体を重畳させて表示させる、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(14)
前記表示制御部は、実物体とユーザとの距離に応じて前記仮想物体を重畳させて表示させる位置を制御する、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記表示制御部は、ユーザによる指示に応じて前記仮想物体を重畳させて表示させる位置を制御する、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記表示制御部は、前記仮想物体を重畳させて表示させ得る領域の背景と前記仮想物体の表示形態に応じて前記仮想物体を重畳させて表示させる位置を制御する、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記表示制御部は、前記仮想物体を重畳させて表示される領域の背景に応じて前記仮想物体の表示形態を制御する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記仮想物体は、ユーザにより操作される対象である、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第1の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第2の処理をプロセッサにより行うこと、
を含む情報処理方法。
(20)
コンピュータを、
実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第1の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第2の処理を行う表示制御部、
として機能させるためのプログラム。
10 撮像部
20 表示部
30 記憶部
40 制御部
41 検出部
43 記憶制御部
45 表示制御部
50 装着ユニット
Claims (16)
- 実空間において検出される実物体の表面に仮想物体の表示を重畳させて表示させる第1の処理、及び、実空間における空中に前記仮想物体の表示を重畳させて表示させる第2の処理を切り替えて行う表示制御部、
を備え、
前記表示制御部は、前記実物体の表面上に、前記仮想物体の表示に適する平坦な平面領域が存在する場合には、前記第1の処理に切り替える、
情報処理装置。 - 前記表示制御部は、前記平面領域が、ユーザに対して正対し、且つ、前記仮想物体の表示に対して十分な面積を有している場合、前記平面領域が前記仮想物体の表示に適すると判断する、請求項1に記載の情報処理装置。
- 前記表示制御部は、前記平面領域が、前記ユーザに対して所定の距離内にある場合、前記平面領域が前記仮想物体の表示に適すると判断する、請求項2に記載の情報処理装置。
- 前記表示制御部は、前記ユーザに関する情報及び/又は前記仮想物体に関する情報に基づいて前記切り替えを実行する、請求項2又は3に記載の情報処理装置。
- 前記表示制御部は、前記仮想物体の内容に応じて前記切り替えを実行する、請求項4に記載の情報処理装置。
- 前記表示制御部は、前記第1の処理において、前記検出される実物体の形状に基づいて、前記仮想物体の表示を変化させる、請求項2〜5のいずれか1項に記載の情報処理装置。
- 前記表示制御部は、前記検出される実物体に対する前記仮想物体の相対的な姿勢を変化させ、及び/又は前記仮想物体の形状を変形させることにより、前記仮想物体の表示を変化させる、請求項6に記載の情報処理装置。
- 前記表示制御部は、前記検出される実物体の表面のうち一続きの面である前記平面領域に前記仮想物体を重畳させて表示させる、請求項2〜7のいずれか1項に記載の情報処理装置。
- 前記表示制御部は、前記検出される実物体の表面のうち水平と判断される前記平面領域又は鉛直と判断される前記平面領域に前記仮想物体を重畳させて表示させる、請求項2〜8のいずれか1項に記載の情報処理装置。
- 前記表示制御部は、前記第2の処理において、前記ユーザの頭を基準とした位置又は前記ユーザの視線方向上の空中に前記仮想物体を重畳させて表示させる、請求項2〜9のいずれか1項に記載の情報処理装置。
- 前記表示制御部は、前記ユーザによる指示に応じて前記仮想物体を重畳させて表示させる位置を制御する、請求項2〜10のいずれか1項に記載の情報処理装置。
- 前記表示制御部は、前記仮想物体を重畳させて表示させ得る領域の背景と前記仮想物体の表示形態に応じて前記仮想物体を重畳させて表示させる位置を制御する、請求項2〜11のいずれか1項に記載の情報処理装置。
- 前記表示制御部は、前記仮想物体を重畳させて表示される領域の背景に応じて前記仮想物体の表示形態を制御する、請求項2〜12のいずれか1項に記載の情報処理装置。
- 前記仮想物体は、前記ユーザにより操作される対象である、請求項2〜13のいずれか1項に記載の情報処理装置。
- 実空間において検出される実物体の表面に仮想物体の表示を重畳させて表示させる第1の処理、及び、実空間における空中に前記仮想物体の表示を重畳させて表示させる第2の処理をプロセッサにより行うこと、
を含み、
前記実物体の表面上に、前記仮想物体の表示に適する平坦な平面領域が存在する場合には、前記第1の処理に切り替える、
情報処理方法。 - コンピュータを、
実空間において検出される実物体の表面に仮想物体の表示を重畳させて表示させる第1の処理、及び、実空間における空中に前記仮想物体の表示を重畳させて表示させる第2の処理を切り替えて行う表示制御部、
として機能させるためのプログラムであって、
前記表示制御部は、前記実物体の表面上に、前記仮想物体の表示に適する平坦な平面領域が存在する場合には、前記第1の処理に切り替える、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015120186 | 2015-06-15 | ||
JP2015120186 | 2015-06-15 | ||
PCT/JP2016/056666 WO2016203792A1 (ja) | 2015-06-15 | 2016-03-03 | 情報処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173543A Division JP2021036438A (ja) | 2015-06-15 | 2020-10-14 | 情報処理装置、情報処理方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016203792A1 JPWO2016203792A1 (ja) | 2018-04-05 |
JP6780642B2 true JP6780642B2 (ja) | 2020-11-04 |
Family
ID=57546642
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017524661A Active JP6780642B2 (ja) | 2015-06-15 | 2016-03-03 | 情報処理装置、情報処理方法及びプログラム |
JP2020173543A Pending JP2021036438A (ja) | 2015-06-15 | 2020-10-14 | 情報処理装置、情報処理方法及び記録媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173543A Pending JP2021036438A (ja) | 2015-06-15 | 2020-10-14 | 情報処理装置、情報処理方法及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10832479B2 (ja) |
JP (2) | JP6780642B2 (ja) |
CN (1) | CN107683497B (ja) |
WO (1) | WO2016203792A1 (ja) |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3179292B1 (en) * | 2014-08-05 | 2021-03-03 | LG Electronics Inc. | Head-mounted display device and control method therefor |
US10726625B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment |
US10725297B2 (en) | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for implementing a virtual representation of a physical environment using a virtual reality environment |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
US10521941B2 (en) * | 2015-05-22 | 2019-12-31 | Samsung Electronics Co., Ltd. | System and method for displaying virtual image through HMD device |
IL303608A (en) | 2016-03-31 | 2023-08-01 | Magic Leap Inc | Interactions with 3D virtual objects using pose controllers and multiple degrees of freedom |
US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
US10437343B2 (en) * | 2017-01-06 | 2019-10-08 | Samsung Electronics Co., Ltd. | Augmented reality control of internet of things devices |
US10438399B2 (en) * | 2017-02-10 | 2019-10-08 | Sony Interactive Entertainment LLC | Paired local and global user interfaces for an improved augmented reality experience |
KR102544062B1 (ko) * | 2017-02-21 | 2023-06-16 | 삼성전자주식회사 | 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치 |
WO2018179972A1 (ja) * | 2017-03-28 | 2018-10-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7149289B2 (ja) | 2017-04-19 | 2022-10-06 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
KR102432283B1 (ko) * | 2017-05-01 | 2022-08-11 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
US10405060B2 (en) * | 2017-06-28 | 2019-09-03 | At&T Intellectual Property I, L.P. | Method and apparatus for augmented reality presentation associated with a media program |
US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
US10733799B2 (en) * | 2017-07-26 | 2020-08-04 | Daqri, Llc | Augmented reality sensor |
KR20230152180A (ko) | 2017-12-10 | 2023-11-02 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
CA3086206A1 (en) | 2017-12-20 | 2019-06-27 | Magic Leap, Inc. | Insert for augmented reality viewing device |
KR102556889B1 (ko) | 2017-12-22 | 2023-07-17 | 매직 립, 인코포레이티드 | 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템 |
US10699485B2 (en) * | 2018-01-04 | 2020-06-30 | Universal City Studios Llc | Systems and methods for textual overlay in an amusement park environment |
JP6976186B2 (ja) * | 2018-02-01 | 2021-12-08 | Kddi株式会社 | 端末装置及びプログラム |
JP7279646B2 (ja) * | 2018-02-07 | 2023-05-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
CA3091026A1 (en) | 2018-02-22 | 2019-08-29 | Magic Leap, Inc. | Object creation with physical manipulation |
JP7112502B2 (ja) | 2018-02-22 | 2022-08-03 | マジック リープ, インコーポレイテッド | 複合現実システムのためのブラウザ |
KR102279306B1 (ko) | 2018-02-26 | 2021-07-19 | 미쓰비시덴키 가부시키가이샤 | 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램 |
JP2019152794A (ja) * | 2018-03-05 | 2019-09-12 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN108347657B (zh) * | 2018-03-07 | 2021-04-20 | 北京奇艺世纪科技有限公司 | 一种显示弹幕信息的方法和装置 |
CN110244459B (zh) | 2018-03-09 | 2021-10-08 | 财团法人工业技术研究院 | 增强现实装置 |
TWI664438B (zh) * | 2018-03-09 | 2019-07-01 | Industrial Technology Research Institute | 擴增實境裝置 |
JP2021081757A (ja) * | 2018-03-12 | 2021-05-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および、プログラム |
JP7259838B2 (ja) * | 2018-03-13 | 2023-04-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
CN108958469B (zh) * | 2018-05-07 | 2020-01-24 | 中德(珠海)人工智能研究院有限公司 | 一种基于增强现实的在虚拟世界增加超链接的方法 |
US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
EP3803688A4 (en) * | 2018-06-05 | 2021-08-04 | Magic Leap, Inc. | MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT |
WO2019237099A1 (en) * | 2018-06-08 | 2019-12-12 | Magic Leap, Inc. | Augmented reality viewer with automated surface selection placement and content orientation placement |
US11087545B2 (en) * | 2018-06-19 | 2021-08-10 | Guangdong Virtual Reality Technology Co., Ltd. | Augmented reality method for displaying virtual object and terminal device therefor |
US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
JP2021182174A (ja) * | 2018-08-07 | 2021-11-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN109284456B (zh) * | 2018-08-30 | 2022-04-12 | 广东越维信息科技有限公司 | 网页控件在ar中的空间定位方法和ar系统 |
US11348316B2 (en) * | 2018-09-11 | 2022-05-31 | Apple Inc. | Location-based virtual element modality in three-dimensional content |
JP7180253B2 (ja) * | 2018-09-28 | 2022-11-30 | 大日本印刷株式会社 | 透過型表示装置、情報処理方法及びプログラム |
CN112753050A (zh) * | 2018-09-28 | 2021-05-04 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN109379581A (zh) * | 2018-12-05 | 2019-02-22 | 北京阿法龙科技有限公司 | 一种头戴式双屏幕立体显示系统的坐标变换及显示方法 |
JP6656477B1 (ja) * | 2018-12-07 | 2020-03-04 | 三菱電機株式会社 | 入力表示制御装置、入力表示制御方法及び入力表示システム |
EP4369151A2 (en) | 2019-02-06 | 2024-05-15 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ, インコーポレイテッド | 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
WO2020188655A1 (ja) * | 2019-03-15 | 2020-09-24 | マクセル株式会社 | 複合現実表示装置および複合現実表示方法 |
CN113711174A (zh) | 2019-04-03 | 2021-11-26 | 奇跃公司 | 用混合现实系统在虚拟三维空间中管理和显示网页 |
JP2020177534A (ja) * | 2019-04-19 | 2020-10-29 | 京セラドキュメントソリューションズ株式会社 | 透過型ウェアラブル端末 |
US10922892B1 (en) * | 2019-04-30 | 2021-02-16 | Splunk Inc. | Manipulation of virtual object position within a plane of an extended reality environment |
EP3963565A4 (en) | 2019-05-01 | 2022-10-12 | Magic Leap, Inc. | CONTENT DELIVERY SYSTEM AND PROCEDURES |
JP2020197835A (ja) * | 2019-05-31 | 2020-12-10 | ファナック株式会社 | 産業用機械のデータ収集設定装置 |
WO2021020068A1 (ja) * | 2019-07-26 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2021020069A1 (ja) * | 2019-07-26 | 2021-02-04 | ソニー株式会社 | 表示装置、表示方法、及び、プログラム |
WO2021021670A1 (en) | 2019-07-26 | 2021-02-04 | Magic Leap, Inc. | Systems and methods for augmented reality |
US20220365588A1 (en) * | 2019-09-04 | 2022-11-17 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
US11961294B2 (en) | 2019-09-09 | 2024-04-16 | Techinvest Company Limited | Augmented, virtual and mixed-reality content selection and display |
US10699124B1 (en) * | 2019-09-09 | 2020-06-30 | Ar, Llc | Augmented reality content selection and display based on printed objects having security features |
EP4058979A4 (en) | 2019-11-15 | 2023-01-11 | Magic Leap, Inc. | VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT |
JP2022025475A (ja) * | 2020-07-29 | 2022-02-10 | 株式会社AniCast RM | アニメーション制作システム |
CN112053449A (zh) | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
JP6892961B1 (ja) * | 2020-09-29 | 2021-06-23 | Kddi株式会社 | 制御装置、表示制御方法及び表示制御プログラム |
CN112684885B (zh) * | 2020-12-25 | 2023-05-02 | 联想(北京)有限公司 | 一种显示控制方法及装置 |
WO2023037547A1 (ja) * | 2021-09-13 | 2023-03-16 | マクセル株式会社 | 携帯情報端末及びオブジェクト表示方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101818024B1 (ko) * | 2011-03-29 | 2018-01-12 | 퀄컴 인코포레이티드 | 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템 |
JP5741160B2 (ja) * | 2011-04-08 | 2015-07-01 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
AU2012348348B2 (en) * | 2011-10-28 | 2017-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
US9310611B2 (en) * | 2012-09-18 | 2016-04-12 | Qualcomm Incorporated | Methods and systems for making the use of head-mounted displays less obvious to non-users |
JP2014149712A (ja) * | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
JP2014191718A (ja) * | 2013-03-28 | 2014-10-06 | Sony Corp | 表示制御装置、表示制御方法および記録媒体 |
EP3920148A1 (en) | 2013-04-04 | 2021-12-08 | Sony Group Corporation | Information processing device, information processing method, and program |
US20160109957A1 (en) * | 2013-05-09 | 2016-04-21 | Sony Computer Entertainment Inc. | Information processing apparatus and application execution method |
US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
JP6362391B2 (ja) * | 2014-04-10 | 2018-07-25 | キヤノン株式会社 | 情報処理端末、情報処理方法及びコンピュータプログラム |
-
2016
- 2016-03-03 CN CN201680033793.4A patent/CN107683497B/zh active Active
- 2016-03-03 JP JP2017524661A patent/JP6780642B2/ja active Active
- 2016-03-03 US US15/577,113 patent/US10832479B2/en active Active
- 2016-03-03 WO PCT/JP2016/056666 patent/WO2016203792A1/ja active Application Filing
-
2020
- 2020-10-14 JP JP2020173543A patent/JP2021036438A/ja active Pending
- 2020-11-06 US US17/091,172 patent/US11386626B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016203792A1 (ja) | 2016-12-22 |
US10832479B2 (en) | 2020-11-10 |
CN107683497A (zh) | 2018-02-09 |
US11386626B2 (en) | 2022-07-12 |
JP2021036438A (ja) | 2021-03-04 |
US20210056765A1 (en) | 2021-02-25 |
US20180174366A1 (en) | 2018-06-21 |
CN107683497B (zh) | 2022-04-08 |
JPWO2016203792A1 (ja) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6780642B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11366516B2 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
US11348316B2 (en) | Location-based virtual element modality in three-dimensional content | |
CN113168007A (zh) | 用于增强现实的系统和方法 | |
US9933853B2 (en) | Display control device, display control program, and display control method | |
US9979946B2 (en) | I/O device, I/O program, and I/O method | |
JP2017531222A (ja) | ホログラフィックオブジェクトのためのスマート透明度 | |
EP3847530B1 (en) | Display device sharing and interactivity in simulated reality (sr) | |
JPWO2014128748A1 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
US10171800B2 (en) | Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance | |
KR20230022239A (ko) | 증강 현실 환경 향상 | |
JPWO2019044188A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN113498531A (zh) | 头戴式信息处理装置以及头戴式显示系统 | |
KR20230073336A (ko) | 가상 아이웨어 빔들을 사용한 증강 현실 게이밍 | |
WO2020202747A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
JP6332658B1 (ja) | 表示制御装置、及びプログラム | |
CN112578983A (zh) | 手指取向触摸检测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190121 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200928 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6780642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |