JP6800599B2 - 情報処理装置、方法及びプログラム - Google Patents
情報処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP6800599B2 JP6800599B2 JP2016077570A JP2016077570A JP6800599B2 JP 6800599 B2 JP6800599 B2 JP 6800599B2 JP 2016077570 A JP2016077570 A JP 2016077570A JP 2016077570 A JP2016077570 A JP 2016077570A JP 6800599 B2 JP6800599 B2 JP 6800599B2
- Authority
- JP
- Japan
- Prior art keywords
- axis
- vector
- virtual object
- moving
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
[第1の実施形態]
図1に、第1の実施形態に係るMRシステムの機能構成を示す。また、図2に、第1の実施形態に係るMRシステムの概略構成を示す。MRシステムは、本発明を適用した情報処理装置として機能するワークステーション100と、ワークステーション100との通信機能を有する頭部装着ディスプレイ150(HMD:Head Mount Display)とを備える。
HMD150には、撮像装置であるカメラ151及び表示部152が搭載されている。本実施形態では、図2に示すように、HMD150内にカメラ151及び表示部152がそれぞれ2基搭載されており、ステレオでの撮像及び表示が可能である。操作者はHMD150を頭部に装着することで、表示部152に映るステレオの複合現実画像を見ることができる。複合現実画像とは、カメラ151で撮像する現実空間に仮想物体を重ねた画像であり、表示部152には、カメラ151を視点とする複合現実画像が表示される。
複合現実画像出力部108は、複合現実画像生成部107で生成した複合現実画像を表示部152に出力する。これにより、表示部152には、視点となるカメラ151の位置姿勢に応じた複合現実画像が表示されることになる。
ステップS301で、撮像画像取得部101は、カメラ151で撮像する撮像画像を取得して、データ記憶部102に保存する。
ステップS302で、位置姿勢算出部103は、データ記憶部102に保存されている撮像画像に対して画像処理を行い、画像中の特徴点を用いて現実空間でのカメラ151の位置姿勢を算出し、データ記憶部102に保存する。
ステップS303で、仮想空間情報取得部104は、仮想空間生成部105で生成した仮想空間情報を取得し、データ記憶部102に保存する。
ステップS304で、仮想空間情報取得部104は、仮想物体の位置姿勢を算出し、データ記憶部102に保存する。
ステップS305で、仮想物体を移動するイベントが発生していれば、ステップS306に進み、イベントが発生していなければ、ステップS308に進む。
ステップS601で、世界座標系の各軸ベクトル(X軸ベクトル401、Y軸ベクトル402、Z軸ベクトル403)の値を取得する。
ステップS602で、カメラ151のアップベクトル404の値を取得する。
ステップS603〜S605で、カメラ151のアップベクトル404と、X軸ベクトル401、Y軸ベクトル402、Z軸ベクトル403とが成す角度を算出する。
ステップS606で、ステップS603〜S605において算出した成す角度を比較し、値が最も小さい軸ベクトルを判定して、その軸を移動軸とする。判定した軸ベクトルの情報はデータ記憶部102に保存する。
例えばステップS306において移動軸がZ軸(カメラ151のアップベクトル404と成す角度の値が最も小さい軸ベクトルがZ軸ベクトル403)と判定したとする。この場合、所定の平面がXY平面であるとして、図7(a)の状態にある仮想物体405を世界座標系のZ軸と平行にXY平面上に移動し、図7(b)の状態にする。具体的には、まず現実空間における平面(XY平面)の座標値(XY平面のZ軸の値)を算出する。そして、仮想物体405の位置及び大きさを計算し、図7(a)に示すように、仮想物体405のZ軸における値が最小の点406の値を求める。点406の値を(x,y,z)とした場合、図7(b)に示すように、XY平面上に点406を移動させるには、値を(x,y,0)としてXY平面上の値に一致させる。移動軸がX軸、Y軸の場合は、それぞれの軸と平行に仮想物体405を所定の平面上に移動させる。移動後の仮想物体405の位置姿勢を求めて、データ記憶部102に保存する。
ステップS309で、複合現実画像出力部108は、ステップS308において生成した複合現実画像を表示部152に出力する。
次に、第2の実施形態を説明する。なお、MRシステムの構成及び基本動作は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態との共通点についてはその説明を省略する。
第1の実施形態では、ステップS307において、図7に示すように、仮想物体405を移動させる方法として、仮想物体405のZ軸における値が最小の点406の値を求めて、点406をXY平面上の値となるように移動させた。
それに対して、第2の実施形態では、図8(a)に示すように、仮想物体405のZ軸における値が最大の点407を求めて、点407がXY平面上の値となるように移動させるようにした。
次に、第3の実施形態を説明する。なお、MRシステムの構成及び基本動作は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態との共通点についてはその説明を省略する。
第1、第2の実施形態では、ステップS307において、図7、図8(a)に示すように、仮想物体405を移動させる方法として、仮想物体405のZ軸における値が最小の点406又は最大の点407の値を求めて、点406又は点407がXY平面上の値となるように移動させた。
それに対して、第3の実施形態では、図8(b)に示すように、仮想物体405のZ軸における値が最小又は最大となる以外の点408の値を求めて、点408がXY平面上の値となるように移動させるようにした。
次に、第4の実施形態を説明する。なお、MRシステムの構成及び基本動作は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態との共通点についてはその説明を省略する。
第1〜第3の実施形態では、ステップS307において、図7、図8に示すように、仮想物体405を移動させる方法として、仮想物体405のZ軸における点406、407又は408の値を求めて、点406、407又は408がXY平面上の値となるように移動させた。
それに対して、第4の実施形態では、図9(a)に示すように、仮想物体901の面(例えば平面902)を選択して、図9(b)に示すように、選択した平面902がXY平面上の値となるように移動させるようにした。また、面以外にも、仮想物体の線(例えば直線)を選択して、選択した線が所定の平面上の値となるように移動させてもよい。
次に、第5の実施形態を説明する。なお、MRシステムの構成及び基本動作は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態との共通点についてはその説明を省略する。
第5の実施形態では、第1の実施形態と比べて、移動軸の判定処理を変更している。
図10に、ステップS306の移動軸の判定処理の詳細を示す。なお、図6と同じ処理については同じ符号を付し、その説明を省略する。
第1乃至第4の実施形態では、ステップS305において仮想物体を移動させると判定した場合、ステップS306に進み、図6の処理で、成す角度の計算を毎回実行する。
それに対して、第5の実施形態では、ステップS305において仮想物体を移動させると判定した場合、ステップS306に進み、図10の処理で、まずステップS1001で、仮想物体の移動軸が決定済かどうかを判定する。その結果、移動軸が決定済みの場合は本処理を抜け、移動軸が未決定の場合だけステップS601〜S606の処理を実行し、移動軸を判定する。
次に、第6の実施形態を説明する。なお、MRシステムの構成及び基本動作は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態との共通点についてはその説明を省略する。
第1乃至第5の実施形態では、カメラ151のアップベクトルと、世界座標系の各軸ベクトルとの関係に基づいて、仮想物体を移動させる。
それに対して、第6の実施形態では、カメラ151の視線ベクトルと、世界座標系の各軸ベクトルとの関係に基づいて、仮想物体を移動させるようにした。
ステップS601で、世界座標系の各軸ベクトル(X軸ベクトル401、Y軸ベクトル402、Z軸ベクトル403)の値を取得する。
ステップS1301で、カメラ151の視線ベクトル1101の値を取得する。
ステップS1302〜S1304で、カメラ151の視線ベクトル1101と、X軸ベクトル401、Y軸ベクトル402、Z軸ベクトル403とが成す角度を算出する。
ステップS606で、ステップS1302〜S1304において算出した成す角度を比較し、値が最も小さい軸ベクトルを判定して、その軸を移動軸とする。判定した軸ベクトルの情報はデータ記憶部102に保存する。
次に、第7の実施形態を説明する。なお、MRシステムの構成及び基本動作は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態との共通点についてはその説明を省略する。
第1乃至第5の実施形態では、カメラ151のアップベクトルと、世界座標系の各軸ベクトルとの関係に基づいて、仮想物体を移動させる。また、第6の実施形態では、カメラ151の視線ベクトルと、世界座標系の各軸ベクトルとの関係に基づいて、仮想物体を移動させる。
それに対して、第7の実施形態では、カメラ151のアップベクトル及び視線ベクトルと直交する第三のベクトルと、世界座標系の各軸ベクトルとの関係に基づいて、仮想物体を移動させるようにした。
ステップS601で、世界座標系の各軸ベクトル(X軸ベクトル401、Y軸ベクトル402、Z軸ベクトル403)の値を取得する。
ステップS1701で、カメラ151の第三のベクトル1501の値を取得する。
ステップS1702〜S1704で、カメラ151の第三のベクトル1501と、X軸ベクトル401、Y軸ベクトル402、Z軸ベクトル403とが成す角度を算出する。
ステップS606で、ステップS1702〜S1704において算出した成す角度を比較し、値が最も小さい軸ベクトルを判定して、その軸を移動軸とする。判定した軸ベクトルの情報はデータ記憶部102に保存する。
第1〜第7の実施形態では、複合現実画像を生成し、表示部152に表示するMRシステムを例に説明したが、本発明は、仮想現実画像を生成し、表示部152に表示するVRシステムに適用可能である。
図19に、実施形態に係るVRシステムの機能構成を示す。なお、図1と同様の構成には同一の符号を付し、その説明を省略する。
仮想空間生成部105は、カメラ151を視点とする仮想空間を構築する。すなわち、仮想空間の世界座標は、現実空間の世界座標に合うように設定される。また、仮想空間情報を生成する。仮想空間情報とは、仮想物体のデータを含む。
仮想現実画像生成部1901は、データ記憶部102に保存されている仮想空間及び仮想空間における仮想物体の位置姿勢を用いて、視点から見える仮想現実画像を生成する。
仮想現実画像出力部1902は、仮想現実画像生成部1901で生成した仮想現実画像を表示部152に出力する。これにより、表示部152には、視点となるカメラ151の位置姿勢に応じた仮想現実画像が表示されることになる。
なお、第8の実施形態におけるワークステーション100による処理手順は、図3に示すものと同様であり、複合現実画像でなく仮想現実画像を生成、表示する点が相違する。
第9の実施形態では、VRシステムにおいて仮想視点を移動させる例を説明する。
VRシステムの機能構成は、第8の実施形態で説明した図19と同様である。本実施形態に係るVRシステムでは、イベント入力部106で視点を移動するイベントが発生すると、位置姿勢算出部103は、カメラ151の位置姿勢、詳しくはカメラ座標系のアップベクトル(カメラの頭頂部の向き)と、世界座標系の各軸ベクトルとの関係に基づいて、仮想視点を移動させる。ここで、仮想視点とは、図20に示すように、視点となるカメラ151を仮想的に移動させた仮想カメラ225での視点である。なお、イベントの入力方法は、第1の実施形態で述べたのと同様である。
なお、本実施形態では、カメラ151のアップベクトルを例にするが、視線ベクトルや第三のベクトルを世界座標系の各軸ベクトルと比較する形態でもよいことはいうまでもない。
なお、各実施形態では、移動軸を判定した後、その移動軸と平行に仮想物体や仮想視点を移動させる例を説明したが、移動軸の判定と同様の手法で軸を判定した後、その軸に応じて定められる方向に仮想物体や仮想視点を移動させるようにしてもよい。例えば判定した軸と垂直に移動させると定められていてもよい。本実施形態の例でいえば、ステップ2102において判定した軸と垂直に、すなわち軸がZ軸であれば、図20中の方向222や方向223に仮想視点を移動させるようにしてもよい。
また、本実施形態では自動的に仮想視点の移動方向を決定しているが、ユーザ操作により設定した移動軸に基づく方向や他のシステムが決定した方向を利用してもよい。このとき、他のシステムが決定した方向を基準として、仮想視点を平行又は垂直に移動させる。
例えば図22に示すように、本発明を適用した情報処理装置として機能するワークステーション100と、撮像装置であるカメラ151と、表示部152となる表示装置とにより構成するようにしてもよい。
また、ステレオでの撮像及び表示を行うことに限定されるものではなく、少なくとも1つ以上のカメラ及び表示部があればよい。また、HMDを用いる場合でも、HMDにカメラが搭載されておらず、カメラが別に設置されていてもよい。また、例えば現実空間を透過する機構を備える光学式タイプでもよい。また、HMDではなく、手持ち型表示装置のHHD(Hand Held Display)を用いてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- 現実空間を撮像する撮像装置を視点として空間に仮想物体を重ねた複合現実画像を生成し、表示部に表示する情報処理装置であって、
前記撮像装置のアップベクトル又は視線ベクトルと、前記空間の世界座標系を構成する軸の各軸ベクトルとが成す角度に基づいて、前記軸のうち、前記仮想物体の移動を拘束する移動軸を設定する設定手段と、
前記設定手段で設定した軸に応じて定められる方向に、前記仮想物体を仮想的に移動させる移動手段とを備えることを特徴とする情報処理装置。 - 前記設定手段は、前記空間の世界座標系の各軸ベクトルのうち、前記撮像装置のアップベクトルと成す角度が最も小さい軸ベクトルを特定し、その軸を移動軸に設定することを特徴とする請求項1に記載の情報処理装置。
- 前記設定手段は、前記空間の世界座標系の各軸ベクトルのうち、前記撮像装置の視線ベクトルと成す角度が最も小さい軸ベクトルを特定し、その軸を移動軸に設定することを特徴とする請求項1に記載の情報処理装置。
- 前記表示部は頭部装着ディスプレイであることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記撮像装置は前記頭部装着ディスプレイに搭載されていることを特徴とする請求項4に記載の情報処理装置。
- 前記移動手段は、前記仮想物体を所定の面まで移動させることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記移動手段は、前記仮想物体の点、線、又は面が前記所定の面上の値となるように移動させることを特徴とする請求項6に記載の情報処理装置。
- 現実空間を撮像する撮像装置を視点として空間に仮想物体を重ねた複合現実画像を生成し、表示部に表示する情報処理方法であって、
前記撮像装置のアップベクトル又は視線ベクトルと、前記空間の世界座標系を構成する軸の各軸ベクトルとが成す角度に基づいて、前記軸のうち、前記仮想物体の移動を拘束する移動軸を設定するステップと、
前記設定した軸に応じて定められる方向に、前記仮想物体を仮想的に移動させるステップとを有することを特徴とする情報処理方法。 - 現実空間を撮像する撮像装置を視点として空間に仮想物体を重ねた複合現実画像を生成し、表示部に表示するためのプログラムであって、
前記撮像装置のアップベクトル又は視線ベクトルと、前記空間の世界座標系を構成する軸の各軸ベクトルとが成す角度に基づいて、前記軸のうち、前記仮想物体の移動を拘束する移動軸を設定する設定手段と、
前記設定手段で設定した軸に応じて定められる方向に、前記仮想物体を仮想的に移動させる移動手段としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015207968 | 2015-10-22 | ||
JP2015207968 | 2015-10-22 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017084323A JP2017084323A (ja) | 2017-05-18 |
JP2017084323A5 JP2017084323A5 (ja) | 2019-05-16 |
JP6800599B2 true JP6800599B2 (ja) | 2020-12-16 |
Family
ID=58711013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016077570A Active JP6800599B2 (ja) | 2015-10-22 | 2016-04-07 | 情報処理装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6800599B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102374404B1 (ko) * | 2017-07-25 | 2022-03-15 | 삼성전자주식회사 | 콘텐트를 제공하기 위한 디바이스 및 방법 |
CN110827412A (zh) * | 2018-08-09 | 2020-02-21 | 北京微播视界科技有限公司 | 自适应平面的方法、装置和计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2782428B2 (ja) * | 1995-10-19 | 1998-07-30 | 株式会社エイ・ティ・アール通信システム研究所 | 仮想物体操作装置 |
JP2004252815A (ja) * | 2003-02-21 | 2004-09-09 | Dainippon Screen Mfg Co Ltd | 画像表示装置、画像表示方法およびプログラム |
JP2005107972A (ja) * | 2003-09-30 | 2005-04-21 | Canon Inc | 複合現実感提示方法、複合現実感提示装置 |
KR100679039B1 (ko) * | 2005-10-21 | 2007-02-05 | 삼성전자주식회사 | 3차원 그래픽 유저 인터페이스, 이를 제공하는 장치 및방법 |
JP5627973B2 (ja) * | 2010-09-24 | 2014-11-19 | 任天堂株式会社 | ゲーム処理をするためのプログラム、装置、システムおよび方法 |
JP5829771B1 (ja) * | 2015-03-24 | 2015-12-09 | グリー株式会社 | ゲームプログラム、コンピュータの制御方法、およびコンピュータ |
-
2016
- 2016-04-07 JP JP2016077570A patent/JP6800599B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017084323A (ja) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110383343B (zh) | 不一致检测系统、混合现实系统、程序和不一致检测方法 | |
EP2779113B1 (en) | Information processing device, display control method, and program | |
US9607439B2 (en) | Information processing apparatus and information processing method | |
US10469829B2 (en) | Information processor and information processing method | |
JP3944019B2 (ja) | 情報処理装置および方法 | |
JP6643170B2 (ja) | 作業支援システム及び方法 | |
JP5709440B2 (ja) | 情報処理装置、情報処理方法 | |
US20130215230A1 (en) | Augmented Reality System Using a Portable Device | |
US10360444B2 (en) | Image processing apparatus, method and storage medium | |
JP2020182251A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011028309A5 (ja) | ||
JP2007042055A (ja) | 画像処理方法、画像処理装置 | |
JP2017187667A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
WO2019013204A1 (ja) | 情報を提示する情報処理装置、情報処理方法及びプログラム | |
JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
JP2017108370A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
JP6800599B2 (ja) | 情報処理装置、方法及びプログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2013008257A (ja) | 画像合成プログラム | |
US20170300121A1 (en) | Input/output device, input/output program, and input/output method | |
JP6726016B2 (ja) | 情報処理装置、情報処理方法 | |
JP2008217119A (ja) | システム、画像処理装置、画像処理方法 | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201125 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6800599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |