JP6682624B2 - 画像処理装置 - Google Patents

Description

本発明は、ユーザが頭部に装着して使用する表示装置と接続される画像処理装置に関する。

近年、ヘッドマウントディスプレイなど、ユーザが頭部に装着して使用する表示装置が普及しつつある。このような表示装置は、ユーザの目の前に画像を結像させることで、その画像をユーザに閲覧させる。こうした表示装置には、ユーザの眼前を表示部で覆い、ユーザに眼前の現実空間を見せないようにする非透過型のものと、表示部をハーフミラー等で構成し、ユーザに眼前の現実空間を視認させる透過型（光学シースルー方式）のものがある。

また、非透過型の表示装置においては、表示させる画像は、例えば、ゲームソフトウエアが生成する仮想的な三次元空間内の画像等とすることができる。

さらにこの非透過型の表示装置であっても、別途、カメラで撮影したユーザの眼前の現実空間を表示部に表示することで、透過型の表示装置同様にユーザに眼前の現実空間を視認させる、疑似的に透過型の表示装置を実現するもの（カメラシースルー方式と呼ばれる）が存在する。

従来、仮想的な三次元空間（以下仮想空間と呼ぶ）の画像を表示した場合に、この仮想空間内ではユーザの手の届く場所にある物体であっても、現実の空間では当該物体の位置には何もない場合があったり、仮想空間内ではユーザの手の届く場所になにもないのに、現実の空間では物体があって、当該物体に触れてしまったりして、違和感が生じるという問題があった。

本発明は上記実情に鑑みて為されたもので、ユーザに対して仮想空間の画像を、違和感を低減しつつ表示できる画像処理装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、ユーザが頭部に装着して使用する表示装置と接続される画像処理装置であって、当該ユーザの周囲の現実空間の情報を取得する情報取得手段と、前記取得した現実空間の情報に基づいて、当該現実空間内の対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想的な物体を配して仮想空間の情報を構成する仮想空間構成手段と、前記仮想空間構成手段により構成された仮想空間の画像を生成する画像生成手段と、前記画像生成手段が生成した画像を、前記表示装置に出力する出力手段と、を含むこととしたものである。

本発明の実施の形態に係る画像処理装置を含む画像処理システムの例を表す構成ブロック図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が用いる頭部の傾きの情報の例を表す説明図である。 本発明の実施の形態に係る画像処理装置が生成する物体バッファの例を表す説明図である。 本発明の実施の形態に係る画像処理装置が生成する物体バッファの投影像を表す説明図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。 本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１０を含む画像処理システム１は、図１に例示するように、画像処理装置１０と、操作デバイス２０と、中継装置３０と、表示装置４０と、を含んで構成されている。

画像処理装置１０は、表示装置４０が表示すべき画像を供給する装置である。例えば画像処理装置１０は、家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等である。図１に示されるように、この画像処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムを実行する。本実施の形態では、この制御部１１は、表示装置４０を装着したユーザの周囲の現実空間の情報を取得し、当該取得した現実空間の情報に基づいて、現実空間内の対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想的な物体（仮想対象物と呼ぶ）を配して仮想空間の情報を構成する。

またこの制御部１１は、当該構成した仮想空間において、別途設定したレンダリングカメラ（仮想空間のレンダリングを行う際に用いる仮想的なカメラ）の位置からの所定視野内の画像を生成し、当該生成した画像を表示装置４０に出力する。ここでレンダリングカメラの位置は、ユーザの左目に対応するものと、右目に対応するものとの２つを設定し、それぞれの位置からの視野の仮想空間の画像（左目用画像と右目用画像と）を生成して、当該生成した一対の画像を立体視画像として表示装置４０に出力してもよい。以下の例では立体視画像を生成する場合を例として説明する。

具体的に、本実施の形態の一例では、この制御部１１は、ユーザの位置と、ユーザの後方とを含むユーザ周囲の所定サイズ（例えば幅（ユーザが表示装置４０を装着した時点（つまり初期）のユーザの視線方向に直交し、床面に平行な方向）１０ｍ、奥行（床面に平行な初期のユーザの視線方向）１０ｍ、高さ３ｍの直方体範囲）の現実空間（以下、対象空間と呼ぶ）に対応する仮想的な三次元空間（仮想空間）を設定する。そして制御部１１は、現実空間の画像を参照しつつ、この仮想空間内に仮想対象物を配し、あるいは映像効果を適用する。

記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラムを格納する。また、この記憶部１２は制御部１１のワークメモリとしても動作し、制御部１１がプログラム実行の過程で使用するデータを格納する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。

インタフェース部１３は、操作デバイス２０や中継装置３０との間で画像処理装置１０の制御部１１がデータ通信を行うためのインタフェースである。画像処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０や中継装置３０等と接続される。一例として、このインタフェース部１３は、画像処理装置１０が供給する画像（立体視画像）や音声を中継装置３０に送信するために、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）などのマルチメディアインタフェースを含んでよい。また、中継装置３０経由で表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。さらにインタフェース部１３は、操作デバイス２０に対するユーザの操作入力の内容を示す信号を受信するために、ＵＳＢ等のデータ通信インタフェースを含んでよい。

操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザが画像処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザの操作入力の内容は、有線又は無線のいずれかにより画像処理装置１０に送信される。なお、操作デバイス２０は必ずしも画像処理装置１０と別体でなくてもよく、画像処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。本実施の形態の一例では、この操作デバイス２０は、ゲームの一時停止を指示する「ポーズボタン」などを含む。

中継装置３０は、有線又は無線のいずれかにより表示装置４０と接続されており、画像処理装置１０から供給される立体視画像のデータを受け付けて、受け付けたデータに応じた映像信号を表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された立体視画像が表す映像に対して、表示装置４０の光学系によって生じる歪みを補正する処理などを実行し、補正された映像を表す映像信号を出力してもよい。なお、中継装置３０から表示装置４０に供給される映像信号は、立体視画像に基づいて生成した左目用の映像信号と右目用の映像信号との二つの映像信号を含んでいる。また、中継装置３０は、立体視画像や映像信号以外にも、音声データや制御信号など、画像処理装置１０と表示装置４０との間で送受信される各種の情報を中継する。

表示装置４０は、ユーザが頭部に装着して使用する表示デバイスであって、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザに閲覧させる。本実施形態では、表示装置４０はユーザの右目と左目とのそれぞれの目の前に、それぞれの目に対応した映像を表示するものとする。この表示装置４０は、図１に示したように、映像表示素子４１、光学素子４２、カメラ４３、センサ部４４、及び通信インタフェース４５を含んで構成される。

映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。この映像表示素子４１は、左目用の映像と右目用の映像とを一列に並べて表示する１つの表示素子であってもよいし、左目用の映像と右目用の映像とをそれぞれ独立に表示する一対の表示素子を含んで構成されてもよい。また、スマートフォン等のディスプレイ画面が、そのまま映像表示素子４１として用いられてもよい。この場合、スマートフォン等が、中継装置３０から供給される映像信号に応じた映像を表示することとなる。

また表示装置４０は、ユーザの網膜に直接映像を投影する網膜照射型（網膜投影型）の装置であってもよい。この場合、映像表示素子４１は、光を発するレーザーとその光を走査するＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどによって構成されてもよい。

光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザの目の前に配置され、映像表示素子４１が表示する映像の光を透過又は屈折させて、ユーザの目に入射させる。具体的に、この光学素子４２は、左目用光学素子４２Ｌと、右目用光学素子４２Ｒとを含んでもよい。この場合、映像表示素子４１が表示する左目用の映像は、左目用光学素子４２Ｌを経由してユーザの左目に入射し、右目用の映像は右目用光学素子４２Ｒを経由してユーザの右目に入射するようにしてもよい。これによりユーザは、表示装置４０を頭部に装着した状態で、例えば画像処理装置１０が生成した左目用画像に基づく左目用の映像を左目で、右目用画像に基づく右目用の映像を右目で、それぞれ見ることができるようになる。なお、本実施形態において表示装置４０は、ユーザが外界の様子を視認することができない非透過型の表示装置であるものとする。

なお、ここでは画像処理装置１０が生成する画像が立体視画像であるものとしているが、画像処理装置１０が一つの画像情報のみを出力する場合、当該画像情報に基づき、中継装置３０にて左目用映像と右目用映像を生成してもよい。この場合は、左目用映像と右目用映像とは同じものとなる。つまり、この場合、表示装置４０は左右の光学素子４２に同じ映像を表示することとなる。

カメラ４３は、表示装置４０の前面（ユーザの視線方向側）の中央よりやや左側と中央よりやや右側とにそれぞれ配した一対の撮像素子４３０Ｌ，４３０Ｒ（以下の説明で左右を区別する必要のないときには、撮像素子４３０としてまとめて称する）を含む。このカメラ４３は、各撮像素子４３０で撮像したユーザの視線方向側の現実空間の画像を撮像し、当該撮像して得た画像データを、中継装置３０を介して画像処理装置１０に対して出力する。

センサ部４４は、一例として、表示装置４０を装着したユーザの頭部の方向（ユーザの顔の前面方向）と位置とを検出する頭部方向センサ４４１を含んでもよい。

この頭部方向センサ４４１は、ユーザの頭部の方向（顔面の方向）を検出する。具体的にこの頭部方向センサ４４１は、ジャイロ等であり、表示装置４０の装着時の初期の方向からの床面に平行な面内での頭部方向の回転角度と、仰角方向の回転角度と、視野方向の軸まわりの回転角度を検出して出力する。またこの頭部方向センサ４４１は、表示装置４０の所定の位置（例えばカメラ４３の撮像素子４３０Ｌと撮像素子４３０Ｒとを結ぶ線分を二等分する点の位置）を基準位置として、この基準位置の、ユーザの左右方向（横断面と冠状面の交差する軸、以下Ｘ軸とする）、前後方向（矢状面と横断面の交差する軸、以下Ｙ軸とする）、上下方向（Ｚ軸とする）への装着時からの移動量（ｘ，ｙ，ｚ）を検出して出力する。なお、ここでのＸＹＺ座標系をユーザ座標系と呼ぶ。この基準位置を原点とした各撮像素子４３０の相対的座標は既知であるものとする。

通信インタフェース４５は、中継装置３０との間で映像信号や、画像データ等のデータの通信を行うためのインタフェースである。例えば表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によりデータの送受信を行う場合、通信インタフェース４５は通信用のアンテナ、及び通信モジュールを含む。

次に、本発明の実施の形態に係る画像処理装置１０の制御部１１の動作について説明する。この制御部１１は、記憶部１２に格納されたプログラムを実行することにより、図２に例示するように、機能的に、画像処理部５１と、アプリケーション実行部５２とを含み、画像処理部５１は、画像取得部２１と、仮想空間構成部２３と、レンダリングカメラ設定部２４と、画像生成部２５と、出力部２６とを含んで構成される。この画像処理部５１は、アプリケーション実行部５２から入力される指示に従って動作し、指定された視野内の仮想空間の像をレンダリングして得た一対の画像データ（左目用の画像データと右目用の画像データ）を立体視画像として生成する。

画像取得部２１は、表示装置４０を装着したユーザの周囲の現実空間の情報を取得する。具体的にこの画像取得部２１が取得する現実空間の情報は、表示装置４０のカメラ４３で撮像された画像データである。この例では、画像取得部２１は、表示装置４０から中継装置３０を介して、カメラ４３にて撮像した画像データを、現実空間の情報として受け入れる。本実施の形態の一例では、カメラ４３で撮像した画像データは、左右に配した一対の撮像素子４３０で撮像された一対の画像データであり、各画像データの視差により撮像された現実空間内の対象物までの距離が判断できるものである。本実施の形態では、この画像取得部２１は、カメラ４３で撮像された画像データに基づいて、当該画像データ（以下区別のため撮像画像データと呼ぶ）と同じサイズ（同じ画素配列）のデプスマップを生成して出力する。ここでデプスマップは、カメラ４３で撮像された画像データの各画素に撮像された対象物までの距離を表す情報を、当該画素に対応する画素の値とした画像データである。

仮想空間構成部２３は、画像取得部２１が出力するデプスマップの情報に基づいて、まず、環境メッシュリスト情報と、物体バッファとを生成する。ここで環境メッシュリスト情報は、例えば次のように求められる。

すなわち仮想空間構成部２３は、デプスマップと、撮像画像データとを用いて、撮像画像データに撮像されている現実空間内の対象物を、対象物ごと（机、壁、床、本棚などの対象物ごと）に検出するセグメンテーション処理を行う。また仮想空間構成部２３は、各対象物が占めるデプスマップ上の領域ごとに個別のラベル（オブジェクト識別子）を設定する。

仮想空間構成部２３は、個別にラベルの付された領域内のデプスマップを参照して、当該領域内の対象物の外形状に沿ってメッシュ（ポリゴンメッシュ）を設定する。なお、ユーザが位置を変えたり、頭部を回転させて、カメラ４３の視野が変化することで現実空間の対象物の形状が明らかになる場合がある（他の対象物によって隠蔽されていた部分が撮像されるなど）が、この場合は、当該対象物のメッシュを更新する。このようなメッシュの設定方法は例えば多視点の情報を用いるものなど、広く知られたものを採用できるので、ここでの詳しい説明を省略する。

仮想空間構成部２３は、環境メッシュリスト情報を生成する。この環境メッシュリスト情報には、設定された各メッシュの頂点座標（画素の位置を表す情報）と、メッシュの識別情報と、メッシュ内の画素に対応して撮像画像データ内の画素に撮像されている対象物の法線の情報と、メッシュの種類情報（予め定めた種類のいずれであるかを表す情報）と、メッシュの表面形状に関する情報と、メッシュに対応する対象物のオブジェクト識別子とが含まれる。なお、ここでメッシュの頂点座標は、ワールド座標系（現実空間中に設定され、床面内に互いに直行するξ軸，η軸をとり、鉛直方向をζ軸とする直交座標系）での値とすればよい。また、オブジェクト識別子はメッシュの識別情報に含まれていてもよい。

このワールド座標系での値は、例えば、カメラ４３が撮影して得た現実空間内の画像データに基づくユーザ座標系（ＸＹＺ座標系）で取得されたメッシュの頂点座標等の値を、座標変換情報としてのモデルビュー行列を用いて変換して得る。

ここでメッシュの種類の情報は、メッシュ内の画素に対応する撮像画像データ内の画素に撮像された対象物の位置に基づいて生成される情報であり、床、天井、壁、障害物（床から所定の高さ以内にある壁以外の物体などとして予め定めておく）、その他のいずれであるかを表す。本実施の形態では、仮想空間構成部２３は、対象物のワールド座標系（現実空間中に設定され、床面内に互いに直行するｘ軸，ｙ軸をとり、鉛直方向をｚ軸とする直交座標系）で、ｚ軸成分が最も小さい（もっとも低い位置にある）平面を床とする。また、ｚ軸成分が最も大きい（もっとも高い位置にある）面を天井とする。さらに床に対して垂直な面であって、ｘ軸またはｙ軸方向にもっとも遠い位置にある面を壁とする。その他の対象物は、障害物として分類する。

また、メッシュの表面形状に関する情報は、平面、凹凸のある面、球状の面、複雑な形状の面といった表面形状のいずれであるかを表す情報とする。この情報は、例えば対象物を表す各メッシュの法線の情報に基づいて定めることができる。

このように、デプスマップの情報等から、撮像画像データ内の対象物の種類や、表面形状等を認識する方法には、種々のものがあるが、どのような方法を採用するかはここでは問わない。

また物体バッファは、ユーザの位置と、ユーザの視野方向より後方とを含むユーザ周囲の所定サイズ（例えば幅（初期のユーザの視野方向に直交し、床面に平行な方向）１０ｍ、奥行（床面に平行な初期のユーザの視野方向）１０ｍ、高さ３ｍの直方体範囲）の現実空間（以下、対象空間と呼ぶ）を仮想的にボクセル（Voxel：仮想的な体積要素、例えば幅１０ｃｍ，奥行１０ｃｍ，高さ１０ｃｍの立方体要素）空間で表現したものであり、物体が存在するボクセルの値（ボクセル値）を「１」、存在しないボクセルの値を「０」、存在するか否かが不明なボクセルの値を「−１」と設定したものである（図４）。

図４では、図示の都合上、対象空間内の一部のボクセルのみを示し、またボクセルのサイズも説明のために適宜変更している。この対象空間に対するボクセルのサイズは、必ずしも実施時に適したものを示したものではない。また、図４では、対象空間の奥側隅に立方体状の物体Ｍが配され、その表面に相当するボクセルの値を、物体が存在することを表す「１」に設定し、表面から隠された部分のボクセルの値を、不明であることを表す「−１」とし、物体表面までの間にあるボクセルの値を、何もないことを表す「０」と設定する例を示している。

仮想空間構成部２３は、デプスマップの情報に基づいてこのボクセル値を設定する。デプスマップ上の各画素は、デプスマップの元となった画像データの撮影時のカメラ４３の位置座標（基準位置の座標でよい、以下撮影時位置と呼ぶ）を頂点とし、デプスマップの画角に相当する仮想的な四角錐の底辺を、デプスマップの解像度（縦ｐｙ画素×横ｐｘ画素）で分割したものである。そこで撮影時位置の座標を起点として各画素の頂点を通る線分に平行なベクトル（ワールド座標系での座標の差）や、撮影時位置の座標を起点として各画素の中心を通る線分に平行なベクトル（ワールド座標系での座標の差）が、撮影時位置の座標と、デプスマップの画角を表す情報と、デプスマップの解像度とから、各画素の方向として演算できる。

そこで、仮想空間構成部２３は、デプスマップ上の各画素について、撮影時位置の座標（基準位置の座標でよい）に対応する物体バッファ内の座標から当該画素の方向にあり、デプスマップが表す物体までの距離にあたるボクセルの値を「１」とし、当該ボクセルとは異なり、当該ボクセルからカメラ４３までの線上にあるボクセルの値を「０」とする。また仮想空間構成部２３は、カメラ４３で撮像された画像データにおいて、現実空間内にある物体により隠され、撮像されていない部分（机や壁の裏、床に置かれた物の陰となっている部分）については、物体が存在するか否かが不明であるとして、対応する部分のボクセルの値を「−１」と設定する。

仮想空間構成部２３は、ユーザが移動したり、頭部の向きを変えたりすることで、視点や視野方向が変更され、当該視点から当該視野方向に向いたカメラ４３によって撮像された画像データに、過去に撮像されず、物体が存在するか否かが不明であったボクセルに対応する部分（値が「−１」であったボクセルに対応する部分）のデプスマップが得られたときには、当該部分のボクセルの値を、得られたデプスマップに基づいて「０」または「１」に設定して更新する。

なお、デプスマップ等の情報から、このような物体の存在する範囲を表す三次元空間内のボクセル値を設定する方法は、ここで述べた方法のほか、３Ｄスキャンの方法で広く知られた方法等、種々の方法を採用できる。

さらに仮想空間構成部２３は、後に述べるレンダリングカメラ設定部２４が対象空間内に設定した仮想的なレンダリングカメラの位置、及び視野に基づき、対象空間に対応するボクセル空間内に、当該仮想的なレンダリングカメラと同じ視野を設定したときの、当該視野内にあるボクセルの二次元投影像を生成する。

つまり、このボクセルの二次元投影像は、レンダリング処理と同様、仮想的なレンダリングカメラの位置からレンダリングカメラの視野方向に予め定めた距離だけ離れた位置に、当該視野方向に直交し、設定された画角に対応するサイズを有する仮想的なスクリーンを配し、このスクリーン上に、画像生成部２５が生成する立体視画像に含まれる画像データと同じサイズの画素配列を設定して、当該画素配列中の各画素を、次のように設定したものである。

すなわち、仮想空間構成部２３は、この画素配列中の各画素を順次選択し、仮想的なレンダリングカメラの位置から選択した画素の位置への線を延長した先にあるボクセルであって、最初にある「０」以外の値のボクセルの値を、選択した画素の画素値とする。ここで、「０」以外の値のボクセルがなければ、選択した画素の画素値を「０」とする。

これにより、例えば図５に示すような二次元投影像が得られることとなる。仮想空間構成部２３は、この二次元投影像をアプリケーション実行部５２に出力する。

また、仮想空間構成部２３は、後に説明するアプリケーション実行部５２から入力される指示に従い、上記検出した現実空間内の対象物の位置（対象物に対応するメッシュの範囲）に対応する仮想空間内の位置に、仮想対象物を配した仮想空間の情報を生成することで、仮想空間を構成する。このように仮想空間内に、三次元モデルデータで表される仮想対象物を配する処理は、三次元グラフィックスを作成する際の処理において広く知られているので、ここでの詳しい説明を省略する。

具体的な例として、この仮想空間構成部２３は、アプリケーション実行部５２から背景画像である背景画像データと、現実空間内の対象物を特定する情報（オブジェクト識別子）と、当該情報で特定される対象物の位置に対応する仮想空間内の位置に配されるべき物体の三次元モデルデータ及び当該物体の表面に適用するべきテクスチャ（マテリアル）のデータ等との入力を受け入れる。

そして仮想空間構成部２３は、入力されたオブジェクト識別子ごとに、当該オブジェクト識別子が表す対象物の外形を表すメッシュに外接する範囲に、オブジェクト識別子とともに入力された三次元モデルデータで表される仮想対象物を配置し、オブジェクト識別子とともに入力されたマテリアルの情報に対応するテクスチャ（予め設定しておく）を設定して、仮想空間を規定する情報を生成する。

レンダリングカメラ設定部２４は、レンダリングを行う際の仮想的なレンダリングカメラの位置、視野方向（レンダリングカメラの向き）、及び、画角を設定する。本実施の形態では、このレンダリングカメラ設定部２４は、例えばカメラ４３に含まれる撮像素子４３０の位置によらず、予め定められた（例えばプログラムにハードコードされていてもよいし、設定ファイルに記述されたものを読取ったものであってもよい）レンダリングカメラの位置と、視野の方向を表す情報（例えばレンダリングカメラの位置を起点とし、視野の中心を通るベクトル情報）を得て、これらを視野の情報とする。

またこのレンダリングカメラ設定部２４は、別の例として、ユーザの動きに伴って時間変化する現実空間内の基準位置からの相対座標として仮想空間内のレンダリングカメラの位置を得てもよい。一つの例として、先に述べた基準位置から予め定めた相対座標値だけ移動した位置に対応する仮想空間内の位置を、レンダリングカメラの位置としてもよい。

ここで相対座標は、例えば基準位置から撮像素子４３０Ｒまたは４３０Ｌの位置までの相対座標であってもよい。また相対座標は、基準位置から表示装置４０を装着したユーザの右目（または左目）があるべき位置までの相対座標であってもよい。この場合、ユーザの右目（または左目）の位置に対応する仮想空間内の位置がレンダリングカメラの位置となる。

具体的に、このレンダリングカメラ設定部２４は、表示装置４０を装着したユーザの頭部の位置（基準位置）及び頭部の向きを表す情報を、表示装置４０が備える頭部方向センサ４４１から取得する。すなわち、レンダリングカメラ設定部２４は、図３に例示するような、表示装置４０の装着時の初期の方向からの床面に平行な面内での頭部方向の回転角度θと、仰角方向の回転角度φと、視野方向の軸まわりの回転角度ψと、頭部の移動量（ｘ，ｙ，ｚ）を取得する。

レンダリングカメラ設定部２４は、頭部の移動量の情報から、基準位置に対応する仮想空間内の座標を得る。現実空間のワールド座標と、仮想空間の座標とを一致させておき、現実空間の座標値をそのまま仮想空間の座標値として用いてもよい。レンダリングカメラ設定部２４は、基準位置からユーザの右目の位置までの相対座標（予め設定しておく）を基準位置の座標値に加算して右目に対応するレンダリングカメラの位置を決定し、ユーザの頭部の向きをその視野方向とする。

また、レンダリングカメラ設定部２４は、基準位置からユーザの左目の位置までの相対座標（予め設定しておく）を基準位置の座標値に加算して左目に対応するレンダリングカメラの位置を決定し、ユーザの頭部の向きをその視野方向とする。なお、画角は予め定めておく。

画像生成部２５は、レンダリングカメラ設定部２４が設定した左目と右目とのそれぞれに対応するレンダリングカメラの位置及び視野方向、画角の情報を用い、仮想空間構成部２３が生成した、仮想空間を規定する情報を参照して仮想空間内に配された仮想対象物の立体視画像（左目及び右目のそれぞれの画像データ）をレンダリングする。画像生成部２５は、レンダリングして得られた一対の画像データを、立体視画像として出力部２６に出力する。このレンダリングの方法は広く知られているので、ここでの詳しい説明を省略する。

出力部２６は、画像生成部２５から入力される立体視画像を、中継装置３０を介して表示装置４０へ出力する。

アプリケーション実行部５２は、例えばゲームのプログラムを実行する。本実施の形態の例においてこのアプリケーション実行部５２は、画像処理部５１からボクセルの二次元投影像の情報の入力と、環境メッシュリスト情報との入力を受け入れる。

またアプリケーション実行部５２は、ゲームの処理に従って、仮想空間に配置する仮想対象物の三次元モデルデータを決定する。具体的な例として、この決定の方法は次のようなものである。すなわち、ボクセルの値が「１」であって、対応する部分のメッシュについて、
（１）メッシュの種類が「天井」であれば、背景を合成する。
（２）メッシュの種類が障害物で、かつメッシュ表面形状が平面である物体は「操作パネル」とする。
（３）メッシュの種類が障害物で、かつメッシュ表面形状が凹凸のある面である物体は、「岩」または「箱」とする。
（４）メッシュの種類が障害物で、かつメッシュ表面形状が球状の物体は、「ライト」とする。
（５）メッシュの種類が障害物で、かつメッシュ表面形状が複雑な形状の物体は、「樹木，草木」とする。

この例に基づくアプリケーション実行部５２の動作を、図６を参照して説明する。図６に例示するように、アプリケーション実行部５２は、入力された環境メッシュリスト情報を参照し、これまでに未選択のオブジェクト識別子を一つ選択する（Ｓ１１）。

アプリケーション実行部５２は、選択したオブジェクト識別子のメッシュの種類の情報を参照し（Ｓ１２）、メッシュの種類が「床」であれば、選択したオブジェクト識別子に、マテリアルを地面とする設定を関連付けて（Ｓ１３）、未選択のオブジェクト識別子があるか否かを判断し（Ｓ１４）、未選択のオブジェクト識別子があれば、処理Ｓ１１に戻って処理を続ける。

また、処理Ｓ１２においてメッシュの種類が「天井」であれば、アプリケーション実行部５２は、マテリアルを「透過」とする設定を関連付けて（Ｓ１５、従って当該部分は背景画像が表示されることとなる）、処理Ｓ１４に移行する。

また処理Ｓ１２において、メッシュの種類が「壁」であれば、アプリケーション実行部５２は、マテリアルを「岩」とし、物体の三次元モデルデータとして「岩」のデータを用いるべき旨の設定を関連付けて（Ｓ１６）、処理Ｓ１４に移行する。さらに処理Ｓ１２においてメッシュの種類が「障害物」である場合は、アプリケーション実行部５２は、メッシュの表面形状の情報を参照し（Ｓ１７）、表面形状が「平面」であれば、マテリアルを「木」とし、物体の三次元モデルデータとして「操作パネル」を用いるべき旨の設定を、選択されたオブジェクト識別子に関連付けて（Ｓ１８）、処理Ｓ１４に移行する。

また処理Ｓ１７において、表面形状が「凹凸のある面」である場合は、アプリケーション実行部５２は、マテリアルを「岩」とし、物体の三次元モデルデータとして「岩」のデータを用いるべき旨の設定を関連付けて（Ｓ１９）、処理Ｓ１４に移行する。処理Ｓ１７において、表面形状が「球状」である場合は、アプリケーション実行部５２は、マテリアルを「ライト」とする設定を関連付けて（Ｓ２０）、処理Ｓ１４に移行する。

さらに処理Ｓ１７において、表面形状が「複雑な形状」である場合は、アプリケーション実行部５２は、マテリアルを「草木」とし、物体の三次元モデルデータとして「草木」を用いるべき旨の設定を関連付けて（Ｓ２１）、処理Ｓ１４に移行する。

処理Ｓ１４において、未選択のオブジェクト識別子がない場合は、アプリケーション実行部５２は処理を終了する。

この結果、得られたオブジェクト識別子ごとの三次元モデルデータとマテリアルの設定に基づき仮想空間構成部２３が仮想空間を構成する。

なお、ここでの処理は一例であって、ゲームの内容によっては、現実空間を撮像した画像に基づいて、現実空間内の物体について、当該物体と同じ形状、かつ同じ表面テクスチャを有する仮想対象物を、現実空間内の当該物体の位置に対応する仮想空間内の位置に配してもよい。この例では、ゲーム内でユーザの所在する現実空間の画像が仮想空間として再構成され、当該三次元空間内に配した、ユーザの目に対応する一対の仮想的なカメラ（ユーザの左右の目の位置にそれぞれ配され、ユーザの視野の方向を向いているカメラ）の視野内の画像がそれぞれレンダリングされて表示装置４０にて表示されることとなる。

アプリケーション実行部５２は、また、入力されたボクセルの二次元投影像を参照して、当該投影像中で「−１」となっている領域、つまり、現実空間内のうち対象物の検出を行っていない位置に対応する仮想空間内の位置に、予め定めた種類の視覚効果を与える仮想対象物を配してもよい。具体的にアプリケーション実行部５２は、ボクセルの二次元投影像中で「−１」となっている領域を特定する情報（領域内の画素を特定する情報でよい）とともに、ゲームの処理として指定された映像効果または画像を表示する指示を、画像処理部５１に出力してもよい。

ここで映像効果は、例えば煙のような映像を表示させるものや、光を点滅させているかのような映像効果などがある。また、表示する画像としては「？」のような画像であってもよいし、または注意・警戒を表す画像であってもよい。

画像処理部５１は、この指示を受けたときには、当該指示された範囲の画素に、指示された映像効果を合成し、あるいは指示された画像を合成して出力する。

［動作］
本発明の実施の形態の画像処理装置１０は以上の構成を基本的に備えており、次のように動作する。ユーザが表示装置４０を頭部に装着すると、画像処理装置１０は、図７に例示する処理を開始し、ワールド座標系を設定する。

そして表示装置４０の所定位置（例えばカメラ４３の各撮像素子４３０の重心位置）を原点として、ユーザの初期の視線方向より後方を含むユーザ周囲のＸ軸方向に±５ｍ（合計１０ｍ）、Ｙ軸方向に±５ｍ（合計１０ｍ）、Ｚ軸方向に床から高さ３ｍの直方体範囲の現実空間を対象空間として設定する（Ｓ３１）。

そしてこの対象空間を、仮想的にボクセル（Voxel：仮想的な体積要素、例えば幅１０ｃｍ，奥行１０ｃｍ，高さ１０ｃｍの立方体要素）空間で表現した物体バッファ（当初はすべてのボクセルの値を「−１」と設定する）を設定して、記憶部１２に格納する（Ｓ３２）。

表示装置４０は、所定のタイミングごと（例えば１／１０００秒ごと）に繰り返してカメラ４３よって画像を撮像し、撮像して得た撮像画像データを画像処理装置１０へ送出している。画像処理装置１０は表示装置４０から中継装置３０を介して、撮像画像データを受け入れる。そして画像処理装置１０は、この撮像画像データに基づいて、当該画像データから得られるデプスマップを生成する。

画像処理装置１０は、生成したデプスマップを用いて、現実空間内の対象物（天井、床、壁、家具類など）を検出する（Ｓ３３）。また画像処理装置１０は、検出した対象物の形状を表すメッシュ（ポリゴンメッシュ）の種類や表面形状を判断し、生成したメッシュの位置を表す情報（メッシュの頂点の座標でよい）と、メッシュの種類の情報と、表面形状の情報とを関連付けて、環境メッシュリスト情報として記憶部１２に格納する（Ｓ３４：環境メッシュリスト情報生成）。

画像処理装置１０は、センサ４４によりユーザの頭部の移動や頭部の向きを検出し、当該検出した頭部の移動や向きの情報に基づいてレンダリングカメラの位置と視野とを設定する（Ｓ３５）。

画像処理装置１０はさらに、デプスマップ内の各画素を順次選択しつつ、センサ４４により検出されたユーザの頭部の移動に基づき、基準位置のワールド座標系中の位置座標を得る。そして、当該取得した位置座標に対応する位置に対応する物体バッファ中の座標からデプスマップの選択した画素が表す物体までの距離にあたるボクセルの値を「１」とし、当該ボクセルとは異なり、当該ボクセルからカメラ４３までの線上にあるボクセルの値を「０」とする。ここで、カメラ４３で撮像された画像データにおいて、現実空間内にある物体により隠され、撮像されていない部分については、物体が存在するか否かが不明であるとして、対応する部分のボクセルの値が「−１」のままとなる。

なお、画像処理装置１０は、ユーザが移動したり、頭部の向きを変えたりすることで、カメラ４３によって撮像された画像データに、過去に撮像されず、物体が存在するか否かが不明であったボクセルに対応する部分（値が「−１」であったボクセルに対応する部分）のデプスマップが得られたときには、処理Ｓ１１において当該部分のボクセルの値を、得られたデプスマップに基づいて「０」または「１」に設定して更新する。

画像処理装置１０は、レンダリングカメラの位置座標から、物体バッファ中でカメラ４３の視野方向にあるボクセルを二次元投影した投影像を生成する（図５）。

画像処理装置１０は、また、ゲームの処理として、環境メッシュリスト情報や、ボクセルの二次元投影像の情報を参照して次の処理を行う。

すなわち、画像処理装置１０は、環境メッシュリスト情報を参照して、検出されている対象物ごとに、そのメッシュの種類や表面形状の情報に基づき、対象物の存在する現実空間に対応する仮想空間内の領域に、対応させる仮想対象物を配して、仮想空間を構成する（Ｓ４１）。なお、仮想空間の構成に用いる背景画像や、仮想対象物の三次元モデルデータ等は、ゲームのデータとしてゲームの提供者により用意されているものを用いればよい。

一例として、平坦な床面上に机と、本棚と、テレビ台、テレビなどが置かれ、四方を壁に囲まれている室内に表示装置４０を装着したユーザが所在している場合、机の天板が、表面形状が平面である障害物のメッシュと判断される。そこで画像処理装置１０は、この天板のある位置に、例えば「操作パネル」の仮想対象物を配する設定を行う。また、壁については、壁の表面の位置に、「岩」として視認される仮想対象物の表面が位置するよう、仮想的な岩を配する、といった設定を行う。また天井に相当する範囲については、透明なマテリアルであるとして、背景画像を合成するよう設定して、あたかも天井がないかのような仮想空間を構成する。

そして画像処理装置１０は、ここで構成した仮想空間を、処理Ｓ３５で設定したレンダリングカメラの位置から、設定された視野の範囲を見たときの仮想的な立体視画像を、レンダリング処理により作成する（Ｓ４２）。またこのとき、物体バッファのボクセルを二次元投影した投影像に基づき、物体の有無が不明である部分について所定の映像効果（煙を立てるなど）を設定してもよい。画像処理装置１０は、こうして生成した立体視画像のデータを、表示装置４０へ送出して、立体視画像を表示させる（Ｓ４３）。

以下、ユーザが移動したり、頭部を動かしてカメラ４３の位置や視野方向が変化すると、新たに撮像画像データに撮像された画像に基づいて、ボクセル空間の情報や環境メッシュリスト情報が更新される。またユーザの頭部の位置及び方向によりレンダリングカメラの位置及び視野を設定している場合は、レンダリングカメラの位置及び視野も更新される。そして画像処理装置１０は、この更新された情報を参照してレンダリングの処理を行って、立体視画像のデータを更新して表示させる。

また画像処理装置１０は、ゲームの処理として、ユーザが机の天板に対応する仮想的な空間内の位置にある仮想的な操作パネルに触れると、操作パネルに対する操作を受け入れる処理を実行する。このときユーザは、仮想空間内で操作パネルの位置に手を伸ばせば、現実空間における机の天板に触れることとなるので、触覚的なフィードバックも得ることができる。またユーザが、机の天板がある範囲まで移動しようとすることがなくなる（操作パネルが表示されているため、操作パネルを押しのけるような移動をしなくなる）など、周囲に存在する障害物の位置をゲーム上の処理において自然に感得させることが可能となる。

［手の届かない範囲の対象物］
ここで画像処理装置１０は、ユーザからの距離によらず、対象空間内の対象物については対応する仮装対象物を表示するよう処理を行うこととして説明したが、本実施の形態は、このような場合に限られず、ユーザから所定の距離（例えば、ユーザ座標系において、Ｚ軸の値（カメラからの距離）を用いる）の範囲内にある対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想対象物を配して仮想的な空間の情報を構成することとしてもよい。

具体的にこの例では画像処理装置１０は、ゲームの処理などにおいて、図８に例示するように、これまでに未選択のオブジェクト識別子を一つ選択し（Ｓ５１）、選択したオブジェクト識別子に対応するメッシュまでの距離（対応するメッシュの頂点のうち、その座標情報とレンダリングカメラの位置との距離が最小のもの）を求める（Ｓ５２）。

そして求めた距離が予め定めた第１のしきい値を超えるか否かを判断し（Ｓ５３）、この第１のしきい値を超える場合には（Yesの場合には）、当該メッシュに対応する仮想対象物を表示しないこととして、さらに未選択のオブジェクト識別子があるか否かを判断し（Ｓ５４）、未選択のオブジェクト識別子があれば、処理Ｓ５１に戻って処理を続ける。

一方、処理Ｓ５３において、処理Ｓ５２にて求めた距離が上記第１のしきい値を超えていない場合には（Noの場合には）、画像処理装置１０は、図６に例示した処理のうち処理Ｓ１２から処理Ｓ２１までの処理を実行して、オブジェクト識別子ごとに、対応する仮想対象物のマテリアルや三次元モデルデータを決定する（Ｓ５５）。なお、図６の処理における処理Ｓ１４は次の処理Ｓ５６への移行とする。

次に画像処理装置１０は、処理Ｓ５２にて求めた距離が予め定めた第２のしきい値（第１のしきい値より小さい値とする）を超えるか否かを判断する（Ｓ５６）。ここで上記距離が第２のしきい値を超えると判断された場合（Yesの場合）は、選択したオブジェクト識別子に対応するメッシュの種類の情報を参照して、当該種類の情報が「障害物」であるか否かを判断する（Ｓ５７）。

ここでメッシュの種類が「障害物」でなければ（つまり、天井、床、壁であれば）、画像処理装置１０は処理Ｓ５４に移行する。また、メッシュの種類が「障害物」であれば、画像処理装置１０は、ゲームの処理に応じて、選択しているオブジェクト識別子に対応する仮想対象物の位置を、時間とともに移動するように設定してもよい（Ｓ５８）。

例えば、ここでの第２のしきい値を、ユーザの手が到達する範囲の限界を表す値として設定し、この第２のしきい値を超える位置にある仮想対象物については、ユーザの手の届かない範囲を動き回るロボットとして設定してもよい。またこの可動範囲は、処理Ｓ５２で求めた距離と、第２のしきい値との差によって定めてもよい。

具体的には、当該差が小さくなるほど、可動範囲が、仮想対象物が仮想空間内で本来あるべき位置に近接した範囲となるよう制御してもよい。ここで本来あるべき位置とは、例えば当該仮想対象物に対応する現実空間内の対象物の位置に対応する仮想空間上の位置である。つまり、この例では、ユーザが手の届く位置に移動した場合には当該仮想対象物に対応する現実空間内の対象物の位置に対応する仮想空間の位置に戻っているよう制御される。その後、画像処理装置１０は、処理Ｓ５４に移行して処理を続ける。

また画像処理装置１０は、処理Ｓ５６において、処理Ｓ５２にて求めた距離が予め定めた第２のしきい値を超えない場合は、処理Ｓ５４に移行する。これにより、第２のしきい値を超えない位置にある対象物については、当該対象物の位置に対応する仮想空間上の位置に、対象物に対応するマテリアルの仮想対象物が配置されることとなる。

本実施の形態のこの例では、ユーザの手に届くところにある現実空間内の対象物は、仮想空間内の仮想対象物として反映させる一方、ユーザの手が届かないところの現実空間内の対象物については、動かしたり、仮想対象物として表示することを省略したりするなどして、自由度の高い表示を行わせる。また仮想対象物を動かす場合であっても、その仮想対象物に対応する現実空間内の対象物とユーザとの現実空間上での距離に応じて動かすことのできる範囲（可動範囲）を制御することで、ユーザが近くへ来たときには、もとの位置に戻るように制御される。

［現実空間で動いている対象物］
また本実施の形態の画像処理装置１０は、撮像画像データ内で少なくとも続けて所定回数（複数回数とする）だけ同じ位置にある対象物についてのみ、現実空間内の対象物として検出するようにしてもよい。例えばユーザの手などが撮像画像データに含まれる場合であっても、手については一般に動いてしまうものであるので、現実空間の対象物として検出しない。また、ユーザの眼前を横切る他の人物などについても同様である。

［段差］
さらに本実施の形態の画像処理装置１０は、メッシュの種類が「床」と判断されたメッシュに、段差があると検出したときには、当該段差の位置に対応する仮想空間内の位置に、「注意！」のような情報を表示する処理を行ってもよい。

［カメラシースルーとの切替え］
また本実施の形態の画像処理装置１０は、ユーザの指示により、仮想空間内の仮想対象物等をレンダリングして得た立体視画像に代えて、カメラ４３が撮像した現実空間の撮像画像データに基づいて、現実空間の立体視画像を生成して出力することとしてもよい（いわゆるカメラシースルー）。

例えば本実施の形態の画像処理装置１０は、ユーザがゲームの一時停止を指示する操作デバイス２０上のポーズボタンを押下したときに、ゲームの処理を中断するとともに、カメラシースルーの表示に切り替えてもよい。

この場合、ゲームを再開する指示が行われると（例えば操作デバイス２０上のポーズボタンを再度押下する操作が行われると）、画像処理装置１０は、仮想空間の立体視画像を表示する処理を再開し、ゲームの処理を再開してもよい。

さらに、画像処理装置１０は、ゲームオーバーの際など、ゲームが終了したときにはユーザの明示の指示によらずにカメラシースルーの表示に切り替えてもよい。

この切替えの際には、仮想空間の立体視画像と、撮像画像データに基づく立体視画像とを瞬時に切替えることとしてもよいし、クロスフェードなど、既知の画面切替えの映像を生成して表示する処理を行ってもよい。

［ゲームの処理上、必要な面がない場合の処理］
また本実施の形態では、ゲームなどの処理の都合上、配置すべき仮想対象物の三次元モデルに対応する種類・表面形状のメッシュが存在しない場合、画像処理装置１０はその旨、ユーザに通知してもよい。

この例では具体的に、仮想対象物の三次元モデルのデータを、仮想空間内に必ず配置するべき仮想対象物の三次元モデルのデータであるか、または、配置してもよい（配置するか否かが任意な）仮想対象物の三次元モデルのデータであるかを表す情報（必須性情報）に関連付けておく。

そして図６の処理（または図８において図６の処理に相当する処理）が完了した後に、必須性情報により配置が必須とされている仮想対象物の三次元モデルのデータのすべてが、いずれかのオブジェクト識別子に関連付けられているか否かを調べる。ここで、オブジェクト識別子に関連付けられていない、配置が必須とされている仮想対象物の三次元モデルのデータがあった場合、画像処理装置１０は、ユーザに対して、その旨を報知する画像を生成して、表示装置４０に送出してもよい。

［変形例］
ここまでの例によると、レンダリングカメラの位置は、例えばユーザの実際の目の位置に設定される。この場合、ユーザの目から仮想空間内での手までの距離感が補正されて違和感が低減される。

また本実施の形態のここまでの説明では、撮像画像データがカメラ４３によって得られるものとしたが、本実施の形態はこれに限られない。本実施の形態の別の例として、ユーザの所在する室内に配置されたカメラによって撮像されたものであっても構わない。

さらに本実施の形態では、現実空間内の対象物の情報が得られればどのような方法でもよく、例えば現実空間を、ゲームの処理開始前に対象空間内の対象物を３Ｄスキャニングしておいてもよいし、赤外線で所定の光パターンを照射して、当該パターンを認識することで対象空間内の対象物の外形状を認識してもよい。

［ユーザの頭部の位置及び傾きの情報を取得する別の例］
また上述の説明では、ユーザの頭部の位置及び傾きの情報は、表示装置４０に設けられた頭部方向センサ４４１から得られるものとしていたが、本実施の形態はこれに限られず、例えば、ユーザの所在する室内の既知の位置に配置されたカメラによってユーザを撮像し、ユーザの頭部とともに移動する所定の点、例えばユーザが装着している表示装置４０上に予め配した所定のマーカーの位置及び姿勢を検出することで、ユーザの頭部の位置及び傾き角度を検出してもよい。このようなマーカーとそれを撮像した画像データに基づく、マーカーの位置及び傾きを検出する技術は広く知られているので、ここでの詳しい説明は省略する。

この方法でユーザの頭部の位置及び傾きの情報を取得する場合、表示装置４０には頭部方向センサ４４１を設ける必要は必ずしもない。

［実施形態の効果］
本発明の実施の形態によると、ユーザに対して仮想空間の画像を、現実空間との関係で違和感を生じさせることなく表示できる。

１０ 画像処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、２０ 操作デバイス、２１ 画像取得部、２３ 仮想空間構成部、２４ レンダリングカメラ設定部、２５ 画像生成部、２６ 出力部、３０ 中継装置、４０ 表示装置、４１ 映像表示素子、４２ 光学素子、４３ カメラ、４４ センサ、４５ 通信インタフェース、５１ 画像処理部、５２ アプリケーション実行部、４３０ 撮像素子、４４１ 頭部方向センサ

Claims (6)

1. ユーザが頭部に装着して使用する表示装置と接続される画像処理装置であって、
   当該ユーザの周囲の現実空間の情報を取得する情報取得手段と、
   前記取得した現実空間の情報に基づいて、当該現実空間内の対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想的な物体を配して仮想空間の情報を構成する仮想空間構成手段と、
   前記仮想空間構成手段により構成された仮想空間の画像を生成する画像生成手段と、
   前記画像生成手段が生成した画像を、前記表示装置に出力する出力手段と、
   を含み、
   前記仮想空間構成手段は、前記現実空間内の対象物の表面形状をさらに識別し、当該識別された表面形状の情報に基づいて、当該対象物の位置に対応する仮想空間内の位置に配する仮想的な物体の三次元モデルデータを決定し、現実空間内のうち対象物の検出を行っていない位置に対応する仮想空間内の位置に、予め定めた種類の視覚効果を与える仮想対象物を配して仮想空間を構成する画像処理装置。
2. ユーザが頭部に装着して使用する表示装置と接続され、
   当該ユーザの周囲の現実空間の情報を取得する情報取得手段と、
   前記取得した現実空間の情報に基づいて、当該現実空間内の対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想的な物体を配して仮想空間の情報を構成する仮想空間構成手段と、
   前記仮想空間構成手段により構成された仮想空間の画像を生成する画像生成手段と、
   前記画像生成手段が生成した画像を、前記表示装置に出力する出力手段と、
   を含み、
   前記仮想空間構成手段は、前記現実空間内の対象物の表面形状の種類が、当該対象物の外形状の法線情報に基づいて判断される、平面又は凹凸のある面を含む、予め定められた表面形状の種類のうち、いずれの種類の表面形状であるかを識別し、当該識別された表面形状の種類の情報に基づいて、当該対象物の位置に対応する仮想空間内の位置に配する仮想的な物体の三次元モデルデータを決定する画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記仮想空間構成手段は、前記現実空間内の対象物の位置の情報に基づいて、当該対象物の位置に対応する仮想空間内の位置に配する仮想的な物体の三次元モデルデータを決定する画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置であって、
   前記情報取得手段が取得する現実空間の情報は、現実空間を撮像して得た画像情報であり、
   ユーザの指示に基づいて、前記出力手段が、前記取得した現実空間の画像情報に基づく画像を前記表示装置に出力するか、前記画像生成手段が生成した仮想空間の画像を、前記表示装置に出力するかを選択する画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置であって、
   前記仮想空間構成手段は、当該現実空間内の対象物のうち、ユーザから所定の距離の範囲内にある対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想的な物体の三次元モデルデータを配して仮想的な空間の情報を構成する画像処理装置。
6. ユーザが頭部に装着して使用する表示装置と接続される画像処理装置を、
   当該ユーザの周囲の現実空間の情報を取得する情報取得手段と、
   前記取得した現実空間の情報に基づいて、当該現実空間内の対象物の位置を検出し、当該検出した各対象物の位置に対応する仮想空間内の位置に、仮想的な物体を配して仮想空間の情報を構成する仮想空間構成手段と、
   前記仮想空間構成手段により構成された仮想空間の画像を生成する画像生成手段と、
   前記画像生成手段が生成した画像を、前記表示装置に出力する出力手段と、
   として機能させ、
   前記仮想空間構成手段として機能させる際には、前記現実空間内の対象物の表面形状の種類が、当該対象物の外形状の法線情報に基づいて判断される、平面又は凹凸のある面を含む、予め定められた表面形状の種類のうち、いずれの種類の表面形状であるかを識別し、当該識別された表面形状の種類の情報に基づいて、当該対象物の位置に対応する仮想空間内の位置に配する仮想的な物体の三次元モデルデータを決定するプログラム。

Images