JP7268130B2 - ヘッドマウント情報処理装置 - Google Patents
ヘッドマウント情報処理装置 Download PDFInfo
- Publication number
- JP7268130B2 JP7268130B2 JP2021503345A JP2021503345A JP7268130B2 JP 7268130 B2 JP7268130 B2 JP 7268130B2 JP 2021503345 A JP2021503345 A JP 2021503345A JP 2021503345 A JP2021503345 A JP 2021503345A JP 7268130 B2 JP7268130 B2 JP 7268130B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- display
- unit
- virtual
- generation processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 102
- 238000012545 processing Methods 0.000 claims description 90
- 230000009466 transformation Effects 0.000 claims description 20
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 39
- 230000015654 memory Effects 0.000 description 31
- 238000001514 detection method Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
以下、実施の形態を詳細に説明する。
図1は、本実施の形態1によるヘッドマウント情報処理装置100における構成の一例を示すブロック図である。
図2は、図1のヘッドマウント情報処理装置100が有する表示部130によるユーザ視界の一例を示す説明図である。
次に、図1のヘッドマウント情報処理装置100の動作について説明する。
続いて、図1のヘッドマウント情報処理装置による仮想オブジェクトの姿勢操作の動作について説明する。
続いて、変形操作について説明する。
次に、姿勢操作後の仮想オブジェクトの表示例について説明する。
続いて、図5で示した全天球画像による仮想オブジェクトの一覧表示に代えて、小型物体を用いて仮想オブジェクトを一覧表示する例について説明する。
図17は、図1のヘッドマウント情報処理装置100による表示部130における表示視野画面の一例を示す説明図である。
〈ヘッドマウントディスプレイシステムの構成例〉
図20は、本実施の形態2によるヘッドマウントディスプレイシステム1700における構成の一例を示すブロック図である。
111 カメラ部
112 右目視線検出部
113 左目視線検出部
114 加速度センサ部
115 ジャイロセンサ部
116 地磁気センサ部
117 振動発生部
118 外周音マイク
119 発声音マイク
120 ヘッドフォン
121 入力操作部
122 仮想オブジェクト生成処理部
123 仮想オブジェクト姿勢操作処理部
124 仮想オブジェクト変形操作処理部
125 制御部
128 メモリ部
130 表示部
131 深度センサ部
132 刺激発生部
140 バス
1700 ヘッドマウントディスプレイシステム
1702 仮想オブジェクト生成サーバ装置
1703、ネットワーク
1711 仮想オブジェクト生成処理部
1712 メモリ部
1713 制御部
1714 通信部
1715 送受信アンテナ
1720 バス
Claims (10)
- 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記表示部に表示される前記仮想オブジェクトを変形させる変形操作を行う仮想オブジェクト変形操作処理部を有し、
前記制御部は、前記表示部に一覧表示された前記仮想オブジェクトを前記仮想オブジェクト変形操作処理部が変形操作するように制御する、ヘッドマウント情報処理装置。 - 請求項1記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクト変形操作処理部が前記仮想オブジェクトの変形操作を行う際に、変形操作を行う前記仮想オブジェクトを前記表示部の予め設定されている位置に移動して表示させる、ヘッドマウント情報処理装置。 - 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記表示部に表示される前記仮想オブジェクトの姿勢を操作する仮想オブジェクト姿勢操作処理部を有し、
前記制御部は、前記表示部の表示視野画面に前記仮想オブジェクトを一覧表示した際に前記仮想オブジェクト姿勢操作処理部が前記仮想オブジェクトの姿勢を操作するように制御する、ヘッドマウント情報処理装置。 - 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記カメラ部は、全天球の画像を撮影する全天球カメラであり、
前記制御部は、前記表示部の表示視野画面に前記仮想オブジェクトを一覧表示する際に前記表示部に前記カメラ部が撮像した全天球画像を表示させる、ヘッドマウント情報処理装置。 - 請求項4記載のヘッドマウント情報処理装置において、
前記制御部は、前記入力操作部の操作により仮想オブジェクトが選択された際に、選択された前記仮想オブジェクトを拡大して前記表示部の予め設定した位置に移動して表示させる、ヘッドマウント情報処理装置。 - 請求項3記載のヘッドマウント情報処理装置において、
前記制御部は、前記仮想オブジェクト姿勢操作処理部が仮想オブジェクトの姿勢操作を行う際に、姿勢操作を行う仮想オブジェクトを前記表示部の予め設定された位置に移動させて姿勢操作を行い、姿勢操作された前記仮想オブジェクトを前記一覧表示の元の表示位置に戻す、ヘッドマウント情報処理装置。 - 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記制御部は、前記仮想オブジェクトのリスト表示を一覧表示画面の表示領域と異なる表示領域に表示させる、ヘッドマウント情報処理装置。 - 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記制御部は、前記仮想オブジェクトのリスト表示を一覧表示画面に重畳するように前記表示部に表示させる、ヘッドマウント情報処理装置。 - 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記制御部は、前記仮想オブジェクトを小型化したミニチュアおよび前記ミニチュアを表示する領域であるミニチュア表示領域をそれぞれ生成し、前記ミニチュアを前記ミニチュア表示領域内に収めて前記表示部に表示させ、
前記ミニチュア表示領域は、球体形状である、ヘッドマウント情報処理装置。 - 仮想オブジェクトを生成する仮想オブジェクト生成処理部と、
情報を設定および入力する入力操作部と、
現実空間を撮像するカメラ部と、
前記カメラ部が撮像する実写画像および前記仮想オブジェクト生成処理部が生成する仮想オブジェクトを表示する表示部と、
前記仮想オブジェクト生成処理部および前記表示部を制御する制御部と、
を有し、
前記制御部は、前記入力操作部から入力された前記仮想オブジェクトの表示を指示する仮想オブジェクト表示指示情報に応じて前記仮想オブジェクト生成処理部が生成した仮想オブジェクトを前記表示部の表示視野画面内に一覧表示させ、
前記制御部は、前記仮想オブジェクトを小型化したミニチュアおよび前記ミニチュアを表示する領域であるミニチュア表示領域をそれぞれ生成し、前記ミニチュアを前記ミニチュア表示領域内に収めて前記表示部に表示させ、
前記制御部は、前記仮想オブジェクトと前記ミニチュア表示領域に収めて表示される前記仮想オブジェクトに対応する同じ形状の前記ミニチュアとを繋ぐ仮想ラインを生成して前記表示部に表示させる、ヘッドマウント情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023069361A JP7480388B2 (ja) | 2019-03-06 | 2023-04-20 | ヘッドマウント情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/008931 WO2020179027A1 (ja) | 2019-03-06 | 2019-03-06 | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023069361A Division JP7480388B2 (ja) | 2019-03-06 | 2023-04-20 | ヘッドマウント情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020179027A1 JPWO2020179027A1 (ja) | 2021-12-02 |
JP7268130B2 true JP7268130B2 (ja) | 2023-05-02 |
Family
ID=72337788
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021503345A Active JP7268130B2 (ja) | 2019-03-06 | 2019-03-06 | ヘッドマウント情報処理装置 |
JP2023069361A Active JP7480388B2 (ja) | 2019-03-06 | 2023-04-20 | ヘッドマウント情報処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023069361A Active JP7480388B2 (ja) | 2019-03-06 | 2023-04-20 | ヘッドマウント情報処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220172439A1 (ja) |
JP (2) | JP7268130B2 (ja) |
CN (1) | CN113498531A (ja) |
WO (1) | WO2020179027A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11029805B2 (en) * | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
JPWO2022208612A1 (ja) * | 2021-03-29 | 2022-10-06 | ||
WO2024057498A1 (ja) * | 2022-09-15 | 2024-03-21 | マクセル株式会社 | 文字情報表示装置及び文字情報表示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012168798A (ja) | 2011-02-15 | 2012-09-06 | Sony Corp | 情報処理装置、オーサリング方法及びプログラム |
JP2016184296A (ja) | 2015-03-26 | 2016-10-20 | 富士通株式会社 | 表示制御方法、表示制御プログラム、及び情報処理装置 |
JP2017084117A (ja) | 2015-10-28 | 2017-05-18 | 富士通株式会社 | 表示制御方法、表示制御プログラムおよび情報処理装置 |
JP2018032132A (ja) | 2016-08-23 | 2018-03-01 | 株式会社コロプラ | 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005251118A (ja) | 2004-03-08 | 2005-09-15 | Canon Inc | 画像処理方法、画像処理装置 |
US9097891B2 (en) * | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
CN105103198A (zh) | 2013-04-04 | 2015-11-25 | 索尼公司 | 显示控制装置、显示控制方法以及程序 |
WO2016170717A1 (ja) | 2015-04-23 | 2016-10-27 | ソニー株式会社 | ウェアラブルディスプレイ、情報処理システム及び制御方法 |
US10511895B2 (en) * | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
US10489981B2 (en) | 2015-12-10 | 2019-11-26 | Sony Corporation | Information processing device, information processing method, and program for controlling display of a virtual object |
CN114296552A (zh) | 2016-04-21 | 2022-04-08 | 奇跃公司 | 视野周围的视觉光环 |
WO2018042658A1 (ja) | 2016-09-05 | 2018-03-08 | マクセル株式会社 | 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法 |
DE112017005753T5 (de) | 2016-11-15 | 2019-08-22 | Google Llc | Standortglobus in virtueller realität |
US11036351B2 (en) | 2017-08-04 | 2021-06-15 | Sony Corporation | Information processing device and information processing method |
US11014242B2 (en) * | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
-
2019
- 2019-03-06 JP JP2021503345A patent/JP7268130B2/ja active Active
- 2019-03-06 US US17/436,079 patent/US20220172439A1/en active Pending
- 2019-03-06 CN CN201980093333.4A patent/CN113498531A/zh active Pending
- 2019-03-06 WO PCT/JP2019/008931 patent/WO2020179027A1/ja active Application Filing
-
2023
- 2023-04-20 JP JP2023069361A patent/JP7480388B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012168798A (ja) | 2011-02-15 | 2012-09-06 | Sony Corp | 情報処理装置、オーサリング方法及びプログラム |
JP2016184296A (ja) | 2015-03-26 | 2016-10-20 | 富士通株式会社 | 表示制御方法、表示制御プログラム、及び情報処理装置 |
JP2017084117A (ja) | 2015-10-28 | 2017-05-18 | 富士通株式会社 | 表示制御方法、表示制御プログラムおよび情報処理装置 |
JP2018032132A (ja) | 2016-08-23 | 2018-03-01 | 株式会社コロプラ | 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020179027A1 (ja) | 2020-09-10 |
JP7480388B2 (ja) | 2024-05-09 |
US20220172439A1 (en) | 2022-06-02 |
JP2023099046A (ja) | 2023-07-11 |
CN113498531A (zh) | 2021-10-12 |
JPWO2020179027A1 (ja) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7480388B2 (ja) | ヘッドマウント情報処理装置 | |
JP6780642B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
CN116719413A (zh) | 用于操纵环境中的对象的方法 | |
US20230186578A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
WO2018150831A1 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP2020024752A (ja) | 情報処理装置及びその制御方法、プログラム | |
JP5718603B2 (ja) | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム | |
EP3262505B1 (en) | Interactive system control apparatus and method | |
US11695908B2 (en) | Information processing apparatus and information processing method | |
US10649616B2 (en) | Volumetric multi-selection interface for selecting multiple objects in 3D space | |
US20230400956A1 (en) | Displaying Representations of Environments | |
US11367416B1 (en) | Presenting computer-generated content associated with reading content based on user interactions | |
JPWO2018074045A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2023024540A (ja) | 表示端末 | |
JP2023065528A (ja) | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム | |
JP6357412B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP2006343954A (ja) | 画像処理方法、画像処理装置 | |
JP7070547B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6959682B1 (ja) | 画像合成装置、画像合成方法、及びプログラム | |
TWI836680B (zh) | 立體影像互動模擬系統與運作方法 | |
WO2022208612A1 (ja) | ウェアラブル端末装置、プログラムおよび表示方法 | |
WO2022269753A1 (ja) | 情報処理システム、情報処理装置及び画像表示装置 | |
JP2023127176A (ja) | 指示者側装置、方法およびプログラム | |
CN110045896A (zh) | 电子设备及其控制方法和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210729 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230420 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7268130 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |