JP5739670B2 - 画像表示プログラム、装置、システムおよび方法 - Google Patents
画像表示プログラム、装置、システムおよび方法 Download PDFInfo
- Publication number
- JP5739670B2 JP5739670B2 JP2011007848A JP2011007848A JP5739670B2 JP 5739670 B2 JP5739670 B2 JP 5739670B2 JP 2011007848 A JP2011007848 A JP 2011007848A JP 2011007848 A JP2011007848 A JP 2011007848A JP 5739670 B2 JP5739670 B2 JP 5739670B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- real
- virtual camera
- virtual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 174
- 238000003384 imaging method Methods 0.000 claims description 368
- 239000011159 matrix material Substances 0.000 claims description 175
- 230000008569 process Effects 0.000 claims description 148
- 238000004364 calculation method Methods 0.000 claims description 78
- 238000006243 chemical reaction Methods 0.000 claims description 53
- 230000010365 information processing Effects 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 48
- 230000036544 posture Effects 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 239000003550 marker Substances 0.000 description 193
- 230000009466 transformation Effects 0.000 description 56
- 238000004891 communication Methods 0.000 description 19
- 238000013500 data storage Methods 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 16
- 230000001360 synchronised effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000004888 barrier function Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 6
- 238000005401 electroluminescence Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
拡張現実感)技術の研究が進んでいる。
メラの相対姿勢に正確に対応していない場合であっても、上記右仮想カメラと上記左仮想カメラとの間の相対姿勢を適切に設定できるので、仮想オブジェクトを適切に立体表示することができる。
決定する第2仮想カメラ位置決定部とを含んでもよい。
ラの相対位置関係を算出する処理を実行し、当該処理を複数回実行することによって得られた複数回分の相対位置関係算出結果に基づいて上記右仮想カメラと上記左仮想カメラの相対位置関係を確定してもよい。
上記仮想カメラ設定手段は、上記第1位置姿勢算出手段によって算出された上記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する。上記右仮想空間画像生成手段は、上記右仮想カメラから見た上記仮想空間を示す右仮想空間画像を生成する。上記左仮想空間画像生成手段は、上記左仮想カメラから見た上記仮想空間を示す左仮想空間画像を生成する。上記表示制御手段は、上記右目用の実カメラから出力される実世界画像データに上記右仮想空間画像を合成し、かつ、上記左目用の実カメラから出力される実世界画像データに上記左仮想空間画像を合成して、上記立体表示装置に立体視のための画像出力を行う。
以下、本発明の一実施形態に係るゲーム装置について説明する。図1〜図3は、ゲーム装置10の外観を示す平面図である。ゲーム装置10は携帯型のゲーム装置であり、図1〜図3に示すように折り畳み可能に構成されている。図1および図2は、開いた状態(開状態)におけるゲーム装置10を示し、図3は、閉じた状態(閉状態)におけるゲーム装置10を示している。図1は、開状態におけるゲーム装置10の正面図であり、図2は、開状態におけるゲーム装置10の右側面図である。ゲーム装置10は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置10は、交換可能なメモリカード内に記憶され、または、サーバーや他のゲーム装置から受信したゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
まず、下側ハウジング11の構成について説明する。図1〜図3に示すように、下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L(図1、図3)、アナログスティック15、LED16A〜16B、挿入口17、および、マイクロフォン用孔18が設けられる。以下、これらの詳細について説明する。
ce:電界発光)を利用した表示装置など、他の任意の表示装置を利用してもよい。また、下側LCD12として、任意の解像度の表示装置を利用することができる。
左利きの人が、これらの4つのボタンを使用して方向指示入力をすることも可能である。
次に、上側ハウジング21の構成について説明する。図1〜図3に示すように、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22、外側撮像部23(外側撮像部(左)23aおよび外側撮像部(右)23b)、内側撮像部24、3D調整スイッチ25、および、3Dインジケータ26が設けら
れる。以下、これらの詳細について説明する。
部23を非ステレオカメラとして使用することも可能である。また、プログラムによっては、2つの外側撮像部(23aおよび23b)で撮像した画像を合成してまたは補完的に使用することにより撮像範囲を広げた撮像をおこなうことも可能である。本実施形態では、外側撮像部23は、外側撮像部(左)23aおよび外側撮像部(右)23bの2つの撮像部で構成される。外側撮像部(左)23aおよび外側撮像部(右)23bは、それぞれ所定の共通の解像度を有する撮像素子(例えば、CCDイメージセンサやCMOSイメージセンサ等)と、レンズとを含む。レンズは、ズーム機構を有するものでもよい。
側ハウジング21の上部であって、上側LCD22の画面の上端よりも上方に配置され、上側ハウジング21の左右方向に関して中央の位置(上側ハウジング21(上側LCD22の画面)を左右に2等分する線の線上)に配置される。具体的には、図1および図3(b)に示されるように、内側撮像部24は、上側ハウジング21の内側面であって、外側撮像部23の左右の撮像部(外側撮像部(左)23aおよび外側撮像部(右)23b)の中間の裏側の位置に配置される。すなわち、上側ハウジング21の外側面に設けられた外側撮像部23の左右の撮像部を上側ハウジング21の内側面に投影した場合、当該投影した左右の撮像部の中間に、内側撮像部24が設けられる。図3(b)で示される破線24は、上側ハウジング21の内側面に存在する内側撮像部24を表している。
スイッチ25のスライダ25aは、第3の位置で固定されるように構成されており、第1の位置と第2の位置との間では上下方向に任意の位置にスライド可能に構成されている。例えば、スライダ25aは、第3の位置において、3D調整スイッチ25を形成する側面から図5Aに示す横方向に突出した凸部(図示せず)によって固定されて、所定以上の力が上方に加わらないと第3の位置よりも上方にスライドしないように構成されている。第3の位置から第1の位置にスライダ25aが存在する場合、立体画像の見え方は調整されないが、これはいわゆるあそびである。他の例においては、あそびをなくして、第3の位置と第1の位置とを同じ位置としてもよい。また、第3の位置を第1の位置と第2の位置の間としてもよい。その場合、スライダを第3の位置から第1の位置の方向に動かした場合と、第2の方向に動かした場合とで、右目用画像および左目用画像の横方向の位置のずれ量の調整する方向が逆になる。
次に、図6を参照して、ゲーム装置10の内部の電気的構成について説明する。図6は、ゲーム装置10の内部構成を示すブロック図である。図6に示すように、ゲーム装置10は、上述した各部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、電源回路40、およびインターフェイス回路(I/F回路)41等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(または上側ハウジング21でもよい)内に収納される。
当該画像が表示される。
以下、本実施形態におけるゲーム装置10の動作の概要について説明する。本実施形態では、画像表示プログラムに基づいて、外側撮像部23(外側撮像部(左)23a、外側撮像部(右)23b)によって現在撮像されている実世界の画像と、3次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側LCD22の画面に立体視可能に表示される。
外側撮像部23で撮影された2つの撮影画像は所定の視差を有するように上側LCDに供給されて立体視表示される。
図8は、外側撮像部23によってマーカー61(実オブジェクト)が撮像されているときに上側LCD22の画面に表示される立体画像の一例を示している。図8に示すように、マーカー61には、矢印を含む正方形が描かれており、CPU311は、外側撮像部23から取得される画像に対して例えばパターンマッチング等の画像処理を行うことによって、当該画像にマーカーが含まれているか否かを判定することができる。外側撮像部23によってマーカー61が撮像されているときには、上側LCD22には、実世界画像としてマーカー61が立体視可能に表示されるとともに、マーカー61の位置に仮想オブジェクト62(例えば犬を模した仮想オブジェクト)が立体視可能に合成表示される。なお、図9に示すように、マーカー61には向き(前方向、右方向、上方向)が定義されており、マーカー61の姿勢に応じた姿勢で仮想オブジェクトを配置することができる。例えば、仮想オブジェクト62の前方向がマーカー61の前方向と一致するように、マーカー61の上に仮想オブジェクト62を配置することが可能である。
2の画面に表示される立体画像の他の一例を示している。このように、ユーザーがゲーム装置10を移動させることによって、上側LCD22の画面に表示されるマーカー61の位置および向きが変化すると、それに追従するように、仮想オブジェクト62の位置および向きが変化する。よって、ユーザーには仮想オブジェクト62があたかも実世界に本当に存在しているかのように見える。
まず、画像表示処理の際にメインメモリ32に記憶される主なデータについて説明する。図11は、ゲーム装置10のメインメモリ32のメモリマップを示す図である。図11に示されるように、メインメモリ32には、画像表示プログラム70、最新左実世界画像71L、最新右実世界画像71R、表示用左実世界画像72L、表示用右実世界画像72R、立体視ゼロ距離73、仮想オブジェクト情報74、左変換行列75L、右変換行列75R、左ビュー行列76L、右ビュー行列76R、左射影行列77L、右射影行列77R、表示モード78、マーカー認識モード79、メイン実世界画像識別情報80、各種変数81等が記憶される。
を行う両画像認識モードかを示すデータである。
図13は、画像表示プログラム70に基づいてCPU311によって実行されるマーカー処理の流れを示すフローチャートである。マーカー処理は、後述するメイン処理と並列的に実行される処理であり、本実施形態では、CPU311がアイドル状態のときに実行される。以下、マーカー処理の詳細について説明する。
る場合には、メイン実世界画像におけるマーカー61の位置および姿勢に基づいて、左変換行列75Lまたは右変換行列75Rを算出する(メイン実世界画像が左実世界画像である場合には、左変換行列75Lを算出し、メイン実世界画像が右実世界画像である場合には、右変換行列75Rを算出する)。
想カメラの位置及び姿勢(ビュー行列)が決定される。
、左変換行列75L及び右変換行列75Rの両方に、ヌル値ではない有効な行列が格納されているかどうかを判断する。そして、左実世界画像及び右実世界画像の少なくとも一方のマーカー認識に成功したと判断された場合には、処理はステップS16に進み、そうでない場合には、処理はステップS10に戻る。
図14は、画像表示プログラム70に基づいてCPU311によって実行されるメイン処理の流れを示すフローチャートである。メイン処理は、上述したマーカー処理と並列的に実行される処理である。以下、メイン処理の詳細について説明する。
次に、メイン処理におけるステップS21の更新処理の詳細について、図15のフローチャートを参照して説明する。
ては後述する。
次に、更新処理(図15)におけるステップS43の仮想カメラ間隔決定処理の詳細について、図16のフローチャートを参照して説明する。ここでは、前述の通り、左変換行列75Lが示すマーカー61の位置に対する外側撮像部(左)23aの位置と右変換行列75Rが示すマーカー61の位置に対する外側撮像部(右)23bの位置との距離を求める。この距離を計算する方法はいくつかあるが、本実施例では、計算方法の一例として、以下の方法を採用する。
座標)と、右実世界画像に基づいて計算された、外側撮像部(右)23bに対するマーカー61の相対位置(すなわち、外側撮像部(右)座標系で表されるマーカー座標系の原点
の座標)との差を示している。本実施形態では、このマーカー61の相対位置の差を、外側撮像部(左)23aと外側撮像部(右)23bの取り付け位置の差によって生じるものであると考えて、外側撮像部(左)23aと外側撮像部(右)23bの取り付け位置を推定している。
点からの距離)(図29参照)を、ew(図12参照)に格納し、ステップS51で求めたV1のz軸値の絶対値(図27参照)を、ed(図12参照)に格納する。ただし、ewの値は、マーカー座標系における長さの単位で計算されており、実世界における長さの単位と一致するものではない。そして、前述の通り、外側撮像部(左)23aと外側撮像部(右)23bの間の実距離は既知(例えば3.5cm)であるので、この実距離とewの値を用いて、実世界における長さの単位と仮想空間における長さの単位とを一致させることができる。なお、マーカー61のサイズが既知であれば、マーカー画像の認識結果に基づいて求められるマーカー61のサイズと、実世界におけるマーカー61のサイズとの対応関係から、実世界における長さの単位と仮想空間における長さの単位とを一致させることもできる。
よりも大きいかどうかを判定し、大きい場合には処理はステップS56に進み、そうでない場合(すなわちLogIndexの値がLogMaxの値以下の場合)には、仮想カメラ間隔決定処理を終了する。
次に、更新処理(図15)におけるステップS44のビュー行列生成処理の詳細について、図17のフローチャートを参照して説明する。
yeDepthの値との差の絶対値が、EyeDepthの値の20%よりも大きいかどうかを判断し、大きい場合には処理はステップS73に進み、そうでない場合にはビュー行列生成処理を終了する。|V.z|は、外側撮像部23からマーカー61までの撮影方向についての距離(深さ)と実質的に同一である。すなわち、ステップS72では、仮想カメラ間隔決定処理(図16)においてEyeWidthの値を計算したときを基準として、外側撮像部23からマーカー61までの奥行き距離(深さ)が、±20%の範囲を超えて変化したかどうかを判断している。
次に、更新処理(図15)におけるステップS45のメイン実世界画像設定処理の詳細について、図18のフローチャートを参照して説明する。
画角と、当該左仮想カメラの水平方向の画角との比が、左実世界画像の横方向の長さにおける描画範囲の横方向の位置および大きさを表す比と、同じになるような画角を持つ視体積を定義する射影行列として設定される。
る。仮想空間のワールド座標系の原点が右目用の仮想空間画像の中央に位置するときは、V.x/V.wの値が0となり、仮想空間のワールド座標系の原点が右目用の仮想空間画像の左端に近づくほど、V.x/V.wの値が−1.0に近づき、仮想空間のワールド座標系の原点が右目用の仮想空間画像の右端に近づくほど、V.x/V.wの値が+1.0に近づく。V.x/V.wの値が−0.5より小さいということは、仮想空間のワールド座標系の原点が右目用の仮想空間画像の左端領域(図40の斜線領域)に位置することを意味する。言い換えれば、外側撮像部(右)23bによって撮像された右実世界画像の左端領域にマーカー61が位置していることを意味する。
次に、更新処理(図15)におけるステップS46の表示モード切替処理の詳細について、図19のフローチャートを参照して説明する。
以上のように、本実施形態によれば、左実世界画像および右実世界画像のいずれか一方のマーカー認識結果から計算される一方の外側撮像部(外側撮像部(左)23aまたは外側撮像部(右)23b)のマーカー座標系における位置及び姿勢に基づいて、一方の仮想カメラの位置および姿勢が決定され、さらに、左仮想カメラ63Lの位置及び姿勢と右仮想カメラ63Rの位置及び姿勢が理想的な関係となるように、他方の仮想カメラの位置及び姿勢が決定される。したがって、立体視可能な表示装置において、正常に立体視できるように仮想オブジェクト62を表示することができる。
担を軽減することができる。
なお、上記実施形態では、実世界画像に含まれるマーカー61の位置及び姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクト62を合成しているが、他の実施形態では、マーカー61に限らず、任意の認識対象の位置及び/又は姿勢を認識して、その認識結果に応じて実世界画像に仮想オブジェクト62を合成してもよい。認識対象の一例として、人物の顔が挙げられる。
画像に対するマーカー認識結果に基づいて計算された外側撮像部(右)23bの姿勢のちょうど中間の姿勢となるように、左仮想カメラ63Lおよび右仮想カメラ63Rの姿勢を決定するようにしてもよい。また例えば、仮想カメラ間隔決定処理において外側撮像部(左)23aと外側撮像部(右)23bの間隔(EyeWidth)を計算した後に、左実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(左)23aの位置と、右実世界画像に対するマーカー認識結果に基づいて計算された外側撮像部(右)23bの位置の平均位置に対応する仮想空間内の位置から互いに反対方向にEyeWidth/2だけ仮想カメラの撮影方向と直交する方向にずらすことによって、左仮想カメラ63Lおよび右仮想カメラ63Rの位置を決定するようにしてもよい。
11 下側ハウジング
12 下側LCD
13 タッチパネル
14 操作ボタン
15 アナログスティック
16 LED
21 上側ハウジング
22 上側LCD
23 外側撮像部
23a 外側撮像部(左)
23b 外側撮像部(右)
24 内側撮像部
25 3D調整スイッチ
26 3Dインジケータ
28 タッチペン
31 情報処理部
311 CPU
312 GPU
32 メインメモリ
60a〜60c ボール
61 マーカー
62 仮想オブジェクト
63L 左仮想カメラ
63R 右仮想カメラ
Claims (22)
- 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示プログラムであって、コンピュータを、
前記右目用の実カメラから出力される実世界画像データと前記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第1位置姿勢算出手段、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、
前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、
前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、
前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御手段として機能させ、
前記仮想カメラ設定手段は、前記右仮想カメラと前記左仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定する、画像表示プログラム。 - 前記仮想カメラ設定手段は、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、前記右仮想カメラおよび前記左仮想カメラのうち、前記第1位置姿勢算出手段における前記一方の実カメラに対応する一方の仮想カメラの姿勢を決定する第1仮想カメラ姿勢決定部と、
前記第1仮想カメラ姿勢決定部によって決定された前記一方の仮想カメラの姿勢に基づいて、前記右仮想カメラと前記左仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、他方の仮想カメラの姿勢を決定する第2カメラ姿勢決定部とを含む、請求項1に記載の画像表示プログラム。 - 前記画像表示プログラムは、前記コンピュータを、
前記右仮想カメラと前記左仮想カメラの相対位置関係を決定する仮想カメラ相対位置関係決定手段としてさらに機能させ、
前記仮想カメラ設定手段は、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、前記右仮想カメラおよび前記左仮想カメラのうち、前記第1位置姿勢算出手段における前記一方の実カメラに対応する一方の仮想カメラの位置を決定する第1仮想カメラ位置決定部と、
前記第1仮想カメラ位置決定部によって決定された前記一方の仮想カメラの位置から、前記仮想カメラ相対位置関係決定手段によって決定された前記相対位置だけ離れた位置に、他方の仮想カメラの位置を決定する第2仮想カメラ位置決定部とを含む、請求項1に記載の画像表示プログラム。 - 前記仮想カメラ設定手段は、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、前記右仮想カメラおよび前記左仮想カメラのうち、前記第1位置姿勢算出手段における前記一方の実カメラに対応する一方の仮想カメラの位置を決定する第1仮想カメラ位置決定部と、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、前記右仮想カメラおよび前記左仮想カメラのうち、前記第1位置姿勢算出手段における前記一方の実カメラに対応する前記一方の仮想カメラの姿勢を決定する第1仮想カメラ姿勢決定部と、
前記第1仮想カメラ位置決定部によって決定された前記一方の仮想カメラの位置から見て、前記第1仮想カメラ姿勢決定部によって決定された当該一方の仮想カメラの姿勢に基づく方向に、他方の仮想カメラの位置を決定する第2仮想カメラ位置決定部とを含む、請求項1または請求項2に記載の画像表示プログラム。 - 前記コンピュータを、
前記右仮想カメラと前記左仮想カメラの間の距離を決定する仮想カメラ間距離決定手段としてさらに機能させ、
前記第2カメラ位置決定部は、前記第1仮想カメラ位置決定部によって決定された前記一方の仮想カメラの位置から見て、前記第1仮想カメラ姿勢決定部によって決定された当該一方の仮想カメラの姿勢に基づく方向に、前記仮想カメラ間距離決定手段によって決定された距離だけ離れた位置に、前記他方の仮想カメラの位置を決定する、請求項4に記載の画像表示プログラム。 - 前記仮想カメラ相対位置関係決定手段は、
前記右目用の実カメラから出力される実世界画像データと前記左目用の実カメラから出力される実世界画像データの視差に基づいて前記右仮想カメラと前記左仮想カメラの相対位置関係を決定する、請求項3に記載の画像表示プログラム。 - 前記相対位置関係決定手段によって決定される前記相対位置関係は、前記右仮想カメラと前記左仮想カメラの間隔である、請求項6に記載の画像表示プログラム。
- 前記画像表示プログラムは、前記コンピュータを、
前記2つの実カメラからそれぞれ出力される2つの実世界画像データのうち、前記第1位置姿勢算出手段における前記一方の実カメラとは異なる他方の実カメラから出力される実世界画像データ内の前記所定の撮像対象を認識することにより、当該他方の実カメラと前記撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第2位置姿勢算出手段としてさらに機能させ、
前記仮想カメラ相対位置関係決定手段は、前記第1位置姿勢算出手段によって算出された前記一方の実カメラと前記撮像対象との間の相対的な位置の情報と、前記第2位置姿勢算出手段によって算出された前記他方の実カメラと前記撮像対象との間の相対的な位置の情報とを用いて、前記一方の実カメラと前記他方の実カメラとの間の距離を算出する、請求項3に記載の画像表示プログラム。 - 前記第1位置姿勢算出手段は、前記一方の実カメラから出力される実世界画像データに基づいて、前記所定の撮像対象を原点とした座標系で表される座標値を前記一方の実カメラを原点とした第1撮像部座標系で表される座標値へと変換するための第1変換行列を生成する第1変換行列生成手段を含み、
前記第2位置姿勢算出手段は、前記他方の実カメラから出力される実世界画像データに基づいて、前記所定の撮像対象を原点とした座標系で表される座標値を前記他方の実カメラを原点とした第2撮像部座標系で表される座標値へと変換するための第2変換行列を生成する第2変換行列生成手段を含む、請求項8に記載の画像表示プログラム。 - 前記仮想カメラ相対位置関係決定手段は、前記2つの実カメラから新たな実世界画像データが出力される度に、前記右仮想カメラと前記左仮想カメラの相対位置関係を算出する処理を実行し、当該処理を複数回実行することによって得られた複数回分の相対位置関係算出結果に基づいて前記右仮想カメラと前記左仮想カメラの相対位置関係を確定する、請求項6に記載の画像表示プログラム。
- 前記仮想カメラ相対位置関係決定手段は、前記複数回の相対位置関係算出結果が全て所定の範囲に収まっている場合にのみ、当該複数回の相対位置関係算出結果に基づいて前記右仮想カメラと前記左仮想カメラの相対位置関係を確定する、請求項10に記載の画像表示プログラム。
- 前記画像表示プログラムは、前記コンピュータを、
前記仮想カメラ相対位置関係決定手段によって前記右仮想カメラと前記左仮想カメラの相対位置関係が決定された後、当該相対位置関係が決定された時点から、前記2つの実カメラに対する前記所定の撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定する奥行変化判定手段としてさらに機能させ、
前記仮想カメラ相対位置関係決定手段は、前記奥行変化判定手段の判定結果が肯定である場合に、前記右仮想カメラと前記左仮想カメラの相対位置関係を決定し直す、請求項6に記載の画像表示プログラム。 - 前記画像表示プログラムは、前記コンピュータを、
前記所定の撮像対象が含まれている実世界画像データに基づいて、前記2つの実カメラに対する前記所定の撮像対象の奥行距離を算出する奥行距離算出手段としてさらに機能させ、
前記奥行変化判定手段は、前記仮想カメラ相対位置関係決定手段によって前記右仮想カメラと前記左仮想カメラの相対位置関係が決定された時点において前記奥行距離算出手段によって算出された基準奥行距離と、その後に前記奥行距離算出手段によって算出された最新奥行距離とを比較することによって、前記2つの実カメラに対する前記所定の撮像対象の奥行距離が所定範囲を超えて変化したか否かを判定する、請求項12に記載の画像表示プログラム。 - 前記奥行距離算出手段は、前記2つの実カメラから新たな実世界画像データが出力される度に、前記2つの実カメラに対する前記所定の撮像対象の奥行距離を算出する処理を実行し、当該処理を複数回実行することによって得られた複数回分の奥行距離算出結果に基づいて前記基準奥行距離を算出する、請求項13に記載の画像表示プログラム。
- 前記奥行距離算出手段は、前記複数回の奥行距離算出結果が全て所定の範囲に収まっている場合にのみ、当該複数回の奥行距離算出結果に基づいて前記基準奥行距離を算出する、請求項14に記載の画像表示プログラム。
- 前記画像表示プログラムは、前記コンピュータを、
前記2つの実カメラからそれぞれ出力される2つの実世界画像データのうち、前記第1位置姿勢算出手段における前記一方の実カメラとは異なる他方の実カメラから出力される実世界画像データ内の前記所定の撮像対象を認識することにより、当該他方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第2位置姿勢算出手段、および、
前記2つの実カメラからそれぞれ出力される2つの実世界画像データの少なくとも一方における前記所定の撮像対象の位置に応じて、当該2つの実カメラのうち1つを選択する実カメラ選択手段としてさらに機能させ、
前記仮想カメラ設定手段は、
前記実カメラ選択手段によって選択された実カメラが前記一方の実カメラであったときには、前記第1位置姿勢算出手段によって算出された、当該一方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を用いて、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定し、
前記実カメラ選択手段によって選択された実カメラが前記他方の実カメラであったときには、前記第2位置姿勢算出手段によって算出された、当該他方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を用いて、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定する、請求項1に記載の画像表示プログラム。 - 前記実カメラ選択手段は、
前記2つの実カメラのうちの左目用の実カメラから出力される実世界画像データにおける前記所定の撮像対象の位置が当該実世界画像データの右端領域へ進入したことに応じて、前記左目用の実カメラから前記右目用の実カメラへと切り替え、
前記右目用の実カメラから出力される実世界画像データにおける前記所定の撮像対象の位置が当該実世界画像データの左端領域へ進入したことに応じて、前記右目用の実カメラから前記左目用の実カメラへと切り替える、請求項16に記載の画像表示プログラム。 - 前記第1位置姿勢算出手段および前記表示制御手段によって利用される前記実世界画像データは、前記実カメラからリアルタイムに出力される実世界画像データである、請求項1に記載の画像表示プログラム。
- 前記コンピュータは、前記2つの実カメラと前記立体表示装置とを備えた情報処理装置に内蔵されている、請求項1に記載の画像表示プログラム。
- 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示装置であって、
前記右目用の実カメラから出力される実世界画像データと前記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第1位置姿勢算出手段、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、
前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、
前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、
前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御手段を備え、
前記仮想カメラ設定手段は、前記右仮想カメラと前記左仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定する、画像表示装置。 - 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示システムであって、
前記右目用の実カメラから出力される実世界画像データと前記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第1位置姿勢算出手段、
前記第1位置姿勢算出手段によって算出された前記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定手段、
前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成手段、
前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成手段、および、
前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御手段を備え、
前記仮想カメラ設定手段は、前記右仮想カメラと前記左仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定する、画像表示システム。 - 右目用の実カメラおよび左目用の実カメラからの出力を利用して、立体視可能な立体表示装置の画面に、3次元の仮想オブジェクトを合成した実世界画像を立体表示する画像表示方法であって、
前記右目用の実カメラから出力される実世界画像データと前記左目用の実カメラから出力される実世界画像データのうち、一方の実カメラから出力される実世界画像データ内の所定の撮像対象を認識することにより、当該一方の実カメラと前記所定の撮像対象との間の相対的な位置および姿勢を示す位置姿勢情報を算出する第1位置姿勢算出ステップ、
前記第1位置姿勢算出ステップにおいて算出された前記位置姿勢情報を用いて、所定の仮想空間における右目用の画像を生成するための右仮想カメラと左目用の画像を生成するための左仮想カメラの両方についての位置および姿勢を決定する仮想カメラ設定ステップ、
前記右仮想カメラから見た前記仮想空間を示す右仮想空間画像を生成する右仮想空間画像生成ステップ、
前記左仮想カメラから見た前記仮想空間を示す左仮想空間画像を生成する左仮想空間画像生成ステップ、および、
前記右目用の実カメラから出力される実世界画像データに前記右仮想空間画像を合成し、かつ、前記左目用の実カメラから出力される実世界画像データに前記左仮想空間画像を合成して、前記立体表示装置に立体視のための画像出力を行う表示制御ステップを備え、
前記仮想カメラ設定ステップにおいては、前記右仮想カメラと前記左仮想カメラとの間の相対姿勢の関係が、前記右目用の実カメラおよび前記左目用の実カメラとの間の設計上の相対姿勢の関係と同一になるように、前記右仮想カメラと前記左仮想カメラの位置および姿勢を決定する、画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011007848A JP5739670B2 (ja) | 2010-06-11 | 2011-01-18 | 画像表示プログラム、装置、システムおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134545 | 2010-06-11 | ||
JP2010134545 | 2010-06-11 | ||
JP2011007848A JP5739670B2 (ja) | 2010-06-11 | 2011-01-18 | 画像表示プログラム、装置、システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012018665A JP2012018665A (ja) | 2012-01-26 |
JP5739670B2 true JP5739670B2 (ja) | 2015-06-24 |
Family
ID=45603844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011007848A Active JP5739670B2 (ja) | 2010-06-11 | 2011-01-18 | 画像表示プログラム、装置、システムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5739670B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5627439B2 (ja) * | 2010-12-15 | 2014-11-19 | キヤノン株式会社 | 特徴検出装置、特徴検出方法、およびそのプログラム |
CN111540022B (zh) * | 2020-05-14 | 2024-04-19 | 深圳市艾为智能有限公司 | 一种基于虚拟相机的图像一致化方法 |
KR102489272B1 (ko) * | 2020-07-07 | 2023-01-17 | 한국과학기술연구원 | 근안 디스플레이 장치 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4689639B2 (ja) * | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | 画像処理システム |
JP5156571B2 (ja) * | 2008-10-10 | 2013-03-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2011
- 2011-01-18 JP JP2011007848A patent/JP5739670B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012018665A (ja) | 2012-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2395768B1 (en) | Image display program, image display system, and image display method | |
JP5541974B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5646263B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5739671B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
US9001192B2 (en) | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method | |
JP4869430B1 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5814532B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 | |
JP5149939B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
US20120293549A1 (en) | Computer-readable storage medium having information processing program stored therein, information processing apparatus, information processing system, and information processing method | |
JP2012221259A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5602702B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5739670B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5739673B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5525924B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 | |
JP5548038B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 | |
JP5739672B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP5541973B2 (ja) | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 | |
JP5759797B2 (ja) | 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5739670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |