JP7044426B1 - 画像合成装置、画像合成方法、及びプログラム - Google Patents

Abstract

【課題】ステレオ画像と３次元オブジェクトを適切に合成できる画像合成装置を提供する。【解決手段】画像合成装置１は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部１１、３次元オブジェクトの操作を受け付ける受付部１２、右目用視点と第１の右目用画像の無限遠に対応する点を結ぶ直線、及び左目用視点と第１の左目用画像の無限遠に対応する点を結ぶ直線が交わるように両画像が配置される３次元仮想空間に、操作に応じた３次元オブジェクトを配置する配置部１３、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像の表示時の右目用視点からの画像である第２の右目用画像、及び第１の左目用画像の表示時の左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部１４、第２のステレオ画像を出力する出力部１５を備える。【選択図】図１

Description

本発明は、ステレオ画像と３次元オブジェクトとを合成する画像合成装置等に関する。

従来、ヘッドマウントディスプレイ（ＨＭＤ）にステレオ画像を表示することによって、ＨＭＤを装着しているユーザに立体的な画像を提供することが行われている（例えば、特許文献１参照）。また、３次元仮想空間に３次元オブジェクトを配置し、任意の視点からの２次元の画像を生成するレンダリング処理などの３次元コンピュータグラフィックス（３ＤＣＧ）も知られている。

特開２０２０－０７１７１８号公報

しかしながら、ステレオ画像に３次元オブジェクトを適切に合成するための手法は知られていなかった。例えば、３ＤＣＧによって生成された１つの２次元の画像を、ステレオ画像に含まれる右目用画像及び左目用画像とそれぞれ合成した場合には、３次元オブジェクトが平面的に表示されることになるという問題があった。

本発明は、上記課題を解決するためになされたものであり、ステレオ画像に３次元オブジェクトを適切に合成するための画像合成装置等を提供することを目的とする。

上記目的を達成するため、本発明の一態様による画像合成装置は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、右目用視点と第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間（ただし、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間を除く）に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、第２のステレオ画像を出力する出力部と、を備えたものである。

このような構成により、例えば、３次元仮想空間における第１の右目用画像及び第１の左目用画像の配置に応じて、操作の対象である３次元オブジェクトが両画像の背面側に位置しないようにすることができ得る。そのため、３次元オブジェクトと第１のステレオ画像とが適切に合成されるようにすることができる。また、例えば、３次元オブジェクトが第１のステレオ画像の背面側に位置した際にも、第１の右目用画像及び第１の左目用画像のより短い距離の移動によって、３次元オブジェクトが第１のステレオ画像の背面側に位置しないようにすることができる。

また、本発明の一態様による画像合成装置では、３次元仮想空間では、所定の距離に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置されてもよい。

このような構成により、３次元オブジェクトが所定の距離よりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。

また、本発明の一態様による画像合成装置では、第１のステレオ画像に含まれる所定のオブジェクトの距離を特定する特定部をさらに備え、所定の距離は、特定部によって特定された最も長い距離を超えていてもよい。

このような構成により、３次元オブジェクトが、特定部によって距離の特定された所定のオブジェクトよりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。

また、本発明の一態様による画像合成装置では、所定のオブジェクトは、第１のステレオ画像に含まれるすべてのオブジェクトであってもよい。

このような構成により、３次元オブジェクトが、第１のステレオ画像に含まれる最も奥側のオブジェクトよりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。

また、本発明の一態様による画像合成装置では、受付部は、所定のオブジェクトを指定する情報をも受け付け、所定のオブジェクトは、受付部によって受け付けられた情報によって指定されるオブジェクトであってもよい。

このような構成により、３次元オブジェクトが、受付部によって受け付けられた情報によって指定されたオブジェクトよりも手前側に位置する場合には、３次元オブジェクトが第１のステレオ画像の背面側に位置しないことになる。

また、本発明の一態様による画像合成装置では、配置部は、３次元オブジェクトまでの距離が所定の距離に近づいた場合には、所定の距離を増やして第１のステレオ画像を配置してもよい。

このような構成により、第１のステレオ画像を再配置することによって、３次元オブジェクトが第１のステレオ画像の背面側に位置することを回避することができる。

また、本発明の一態様による画像合成装置は、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、第２のステレオ画像を出力する出力部と、を備えたものである。

このような構成により、ステレオ画像と３次元オブジェクトとを適切に合成することができる。すなわち、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの両方が立体的に表示される第２のステレオ画像を生成することができる。

また、本発明の一態様による画像合成装置では、３次元仮想空間では、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置されてもよい。

このような構成により、例えば、第１のステレオ画像に含まれるオブジェクトと３次元オブジェクトとを重ねることなどが可能になる。

また、本発明の一態様による画像合成装置では、第１のステレオ画像は、光軸が平行となるように配置された一対のカメラによって撮影されたものであってもよい。

また、本発明の一態様による画像合成装置では、第１のステレオ画像は、光軸が交わるように配置された一対のカメラによって撮影されたものであってもよい。

また、本発明の一態様による画像合成装置では、第１のステレオ画像、及び第２のステレオ画像は動画像であってもよい。

このような構成により、例えば、第１のステレオ画像が手術の画像である場合に、その第１のステレオ画像に含まれる鉗子等の器具に、３次元オブジェクトである鉗子等の器具を重ねることができるようになり、初心者の術者が、経験豊富な術者の操作を仮想空間において真似ることができ、手術のトレーニングを行うことができるようになる。

また、本発明の一態様による画像合成装置では、３次元仮想空間に配置された第１の右目用画像及び第１の左目用画像から、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定し、その特定した位置と、３次元オブジェクトの位置との関係に関する判定を行う判定部をさらに備え、出力部は、判定部による判定結果に関する出力をも行ってもよい。

このような構成により、例えば、３次元オブジェクトを操作しているユーザは、３次元オブジェクトを適切に操作できているかどうかについて知ることができるようになる。

また、本発明の一態様による画像合成方法は、３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像が、右目用視点と第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように配置される３次元仮想空間（ただし、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間を除く）に、受け付けられた操作に応じた３次元オブジェクトを配置するステップと、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、第２のステレオ画像を出力するステップと、を備えたものである。

本発明の一態様による画像合成装置等によれば、ステレオ画像と３次元オブジェクトとを適切に合成することができるようになる。

本発明の実施の形態による画像合成装置の構成を示すブロック図 同実施の形態による画像合成装置の動作を示すフローチャート 同実施の形態におけるステレオ画像の撮影について説明するための図 同実施の形態におけるステレオ画像の生成について説明するための図 同実施の形態における合成後のステレオ画像の表示の一例を示す図 同実施の形態における合成後のステレオ画像の表示の一例を示す図 同実施の形態における無限遠に対応する点について説明するための図 同実施の形態におけるステレオ画像の生成について説明するための図 同実施の形態における合成後のステレオ画像の表示の一例を示す図 同実施の形態におけるステレオ画像の生成について説明するための図 同実施の形態における無限遠に対応する点について説明するための図 同実施の形態における無限遠に対応する点について説明するための図 同実施の形態における３次元仮想空間に配置されたステレオ画像及び３次元オブジェクトの一例を示す図 同実施の形態における３次元仮想空間に配置されたステレオ画像及び３次元オブジェクトの一例を示す図 同実施の形態による画像合成装置の他の構成を示すブロック図 同実施の形態における３次元仮想空間に配置されたステレオ画像の一例を示す図 同実施の形態における３次元仮想空間に配置されたステレオ画像の一例を示す図 同実施の形態における３次元仮想空間に配置されたステレオ画像の一例を示す図 同実施の形態による画像合成装置の他の構成を示すブロック図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、本発明による画像合成装置、及び画像合成方法について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による画像合成装置、及び画像合成方法は、３次元仮想空間に配置された第１のステレオ画像、及び３次元オブジェクトから、両者を合成した第２のステレオ画像を生成するものである。

図１は、本実施の形態による画像合成装置１の構成を示すブロック図である。本実施の形態による画像合成装置１は、記憶部１１と、受付部１２と、配置部１３と、生成部１４と、出力部１５とを備える。画像合成装置１は、例えば、パーソナル・コンピュータや、スマートフォン、タブレット端末などの汎用の装置であってもよく、または、ステレオ画像と３次元オブジェクトとの合成を行う専用の装置であってもよい。また、画像合成装置１は、例えば、スタンドアロンの装置であってもよく、または、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、受付部１２や出力部１５は、インターネット等の通信回線を介して入力を受け付けたり、情報を出力したりしてもよい。本実施の形態では、画像合成装置１がスタンドアロンの装置である場合について主に説明する。

記憶部１１では、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される。第１のステレオ画像は、例えば、動画像であってもよく、または、静止画像であってもよい。本実施の形態では、第１のステレオ画像が動画像である場合について主に説明する。第１のステレオ画像は、例えば、撮影された画像であってもよく、または、３ＤＣＧ等によって生成された画像であってもよい。本実施の形態では、第１のステレオ画像が撮影されたステレオ画像である場合について主に説明する。

なお、本実施の形態では、動画である第１のステレオ画像のすべてのデータが記憶部１１で記憶されている場合について主に説明するが、そうでなくてもよい。例えば、動画である第１のステレオ画像が画像合成装置１においてリアルタイムで受け付けられ、処理対象の一部のデータのみが記憶部１１に記憶されていてもよい。そのような場合であっても、動画である第１のステレオ画像を構成する各フレームは少なくとも一時的に記憶部１１で記憶されることになるため、第１のステレオ画像が記憶部１１で記憶されると言うことができる。

また、本実施の形態では、撮影画像である第１のステレオ画像が、光軸が平行となるように配置された一対のカメラによって撮影されたものである場合について主に説明し、光軸が交わるように配置された一対のカメラによって撮影されたものである場合については後述する。

記憶部１１に第１のステレオ画像が記憶される過程は問わない。例えば、記録媒体を介して第１のステレオ画像が記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された第１のステレオ画像が記憶部１１で記憶されるようになってもよく、または、撮影デバイス等から入力された第１のステレオ画像が記憶部１１で記憶されるようになってもよい。記憶部１１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。

受付部１２は、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける。この操作は、例えば、３次元オブジェクトの姿勢、位置、形状等に関連する操作であってもよい。受付部１２で受け付けられる操作は、３次元仮想空間に配置された３次元オブジェクトの向き、位置、形状等に変化が生じる操作であれば、どのような操作であってもよい。３次元オブジェクトの形状に関する操作とは、例えば、３次元オブジェクトが手術で用いる鉗子である場合に、鉗子の先端を開けたり閉じたりする操作であってもよい。受付部１２は、例えば、画像合成装置１から後述する第２のステレオ画像が出力されるＶＲ（Virtual Reality）ヘッドセット（例えば、Ｏｃｕｌｕｓ Ｑｕｅｓｔ ２など）のコントローラ等から、３次元オブジェクトの操作を受け付けてもよく、ジョイスティックやマウスなどのその他の入力デバイスから３次元オブジェクトの操作を受け付けてもよい。なお、３次元オブジェクトの操作の受け付けは、例えば、加速度センサやジャイロセンサ等のセンサを用いて、３次元実空間における位置の変化、角度の変化を検出した結果の受け付けであってもよく、ボタン等の入力デバイスに対する入力の受け付けであってもよい。受付部１２は、通常、ＨＭＤ２や、ＶＲヘッドセットなどのコントローラ等の入力デバイスから、リアルタイムで３次元オブジェクトの操作を受け付ける。受付部１２は、入力デバイスや通信回線等を介して、３次元オブジェクトの操作を受け付けてもよい。なお、受付部１２は、受け付けを行うためのデバイス（例えば、入力デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、受付部１２は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

配置部１３は、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部１２によって受け付けられた操作に応じた３次元オブジェクトを配置する。３次元オブジェクトは、受け付けられた操作に応じて位置や姿勢、形状等が変化するため、配置部１３は、その操作に応じて、３次元仮想空間上の３次元オブジェクトを変化させることになる。配置部１３による３次元オブジェクトの配置は、受付部１２によって受け付けられた操作に応じて行われるため、例えば、操作が継続して受け付けられている場合には、３次元仮想空間における３次元オブジェクトの配置も継続して変化することになる。３次元仮想空間に配置された３次元オブジェクトを操作に応じて配置する方法はすでに公知であり、その詳細な説明を省略する。なお、３次元仮想空間に配置された３次元オブジェクトの情報は、例えば、記憶部１１で記憶されてもよい。

なお、３次元仮想空間における、第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像の配置位置と、右目用視点及び左目用視点との関係は、通常、あらかじめ決まっている。両者の具体的な関係については後述するが、例えば、（Ａ）第１の右目用画像及び第１の左目用画像は、平行な視線方向の前方側に配置されてもよい。また、例えば、（Ｂ）第１の右目用画像及び第１の左目用画像配置は、無限遠に対応する点が重なるように配置されてもよい。

通常、３次元オブジェクトは、第１のステレオ画像と、視点との間に配置される。３次元オブジェクトと視点との間に第１のステレオ画像が存在するようになると、レンダリング後の第２のステレオ画像に３次元オブジェクトが含まれなくなるからである。

生成部１４は、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する。すなわち、第２の右目用画像を生成する際には、３次元仮想空間において第１の右目用画像を表示し、第１の左目用画像を表示しないことが好適である。また、第２の左目用画像を生成する際には、３次元仮想空間において第２の右目用画像を表示し、第２の左目用画像を表示しないことが好適である。なお、第２の右目用画像に第１の左目用画像が入らないのであれば、右目用視点を用いたレンダリング時に、第１の左目用画像が表示されていてもよい。左目用視点を用いたレンダリング時にも同様である。第２のステレオ画像は、第１のステレオ画像に含まれる立体的に表示されるオブジェクト、及び３次元オブジェクトが、第２のステレオ画像においても立体的に表示されるように生成されることが好適である。また、レンダリング時の画角は、例えば、第１のステレオ画像を撮影したカメラの画角と同じにしてもよく、または、異なっていてもよい。

３次元仮想空間における右目用視点及び左目用視点の各位置は、例えば、あらかじめ決まっていてもよく、または、リアルタイムに変更されてもよい。後者の場合には、例えば、ＨＭＤ２の位置や向きに応じて右目用視点及び左目用視点の各位置が変更されてもよい。また、視点の変更に応じて、３次元仮想空間における第１のステレオ画像の配置も変更されてもよい。通常、視点の位置と、第１の右目用画像及び第１の左目用画像の配置される位置との相対的な関係はあらかじめ決まっているからである。なお、ＨＭＤ２の位置や向きに応じた視点の変更についてはすでに公知であり、その詳細な説明を省略する。また、視線方向は、それぞれ対応する画像の中心を向いていることが好適である。例えば、右目用視点の視線方向は、右目用画像の中心を向いていることが好適である。本実施の形態では、説明の便宜上、右目用視点及び左目用視点の各視線方向が水平方向である場合について主に説明するが、各視線方向は、水平以外の方向であってもよいことは言うまでもない。

第１のステレオ画像が動画像である場合には、その動画像の各フレームと、３次元オブジェクトとを合成した第２のステレオ画像が生成されることになるため、第２のステレオ画像も動画像となる。この場合には、例えば、３次元仮想空間において、第１のステレオ画像が再生され、また、受け付けられた操作に応じて３次元オブジェクトの配置が変更され、再生されている第１のステレオ画像、及び操作に応じて変更される３次元オブジェクトを含む第２のステレオ画像が生成されてもよい。また、第２のステレオ画像が有する第２の右目用画像及び第２の左目用画像において、第１のステレオ画像の枠（すなわち、外縁）が表示されてもよく、または、そうでなくてもよい。後者の場合には、第１の右目用画像（または、第１の左目用画像）の枠が、第２の右目用画像（または、第２の左目用画像）の枠となるように第２のステレオ画像が生成されてもよい。

なお、配置部１３、及び生成部１４は、例えば、Ｕｎｉｔｙ（Unity Technologies社）などのリアルタイム３Ｄ開発プラットフォームを用いて実現することもできる。図８Ａ、図８Ｂは、Ｕｎｉｔｙの３次元仮想空間に配置された、第１のステレオ画像と、３次元オブジェクトである手術用の鉗子とを示す図である。図８Ａでは、第１の右目用画像と第１の左目用画像との位置をずらして配置している。例えば、上記（Ａ）の場合には、このように配置されることになる。なお、本来、両画像は同一平面内に存在するが、説明のため両者を少しずらしている。図８Ｂでは、第１の右目用画像及び第１の左目用画像を重ねて配置している。例えば、上記（Ｂ）の場合には、このように配置されることになる。また、生成部１４による画像の生成は、３ＤＣＧにおけるレンダリングの処理として公知であり、その詳細な説明を省略する。なお、そのレンダリング時にテクスチャマッピング等が行われてもよいことは言うまでもない。

出力部１５は、生成部１４によって生成された第２のステレオ画像を出力する。ここで、この出力は、例えば、ステレオ画像を表示する表示デバイス（例えば、ＨＭＤ、ＶＲヘッドセットなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。本実施の形態では、上記のように、出力部１５が第２のステレオ画像をＨＭＤ２に出力する場合について主に説明する。なお、出力部１５は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、出力部１５は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

次に、本実施の形態による画像合成装置１の動作、すなわち画像合成方法について図２のフローチャートを用いて説明する。このフローチャートでは、記憶部１１で記憶されている動画像である第１のステレオ画像に、受付部１２で受け付けられた操作に応じた３次元オブジェクトを合成することによって第２のステレオ画像を生成する場合について説明する。

（ステップＳ１０１）生成部１４は、第２のステレオ画像を生成するかどうか判断する。そして、第２のステレオ画像を生成する場合には、ステップＳ１０２に進み、そうでない場合には、第２のステレオ画像を生成すると判断するまで、ステップＳ１０１の処理を繰り返す。なお、生成部１４は、例えば、定期的に第２のステレオ画像を生成すると判断してもよい。より具体的には、生成部１４は、第２のステレオ画像のフレーム間の時間間隔ごとに第２のステレオ画像を生成すると判断してもよい。

（ステップＳ１０２）受付部１２は、３次元オブジェクトの操作を受け付けたかどうか判断する。そして、操作を受け付けた場合には、ステップＳ１０３に進み、そうでない場合には、ステップＳ１０４に進む。

（ステップＳ１０３）配置部１３は、受付部１２によって受け付けられた操作に応じて、３次元仮想空間に３次元オブジェクトを配置する。この３次元オブジェクトの配置は、３次元仮想空間に配置されている３次元オブジェクトの配置を変更すること、例えば、３次元オブジェクトの位置や角度、形状等を変更することであってもよい。

（ステップＳ１０４）生成部１４は、３次元仮想空間において第１の右目用画像を表示し、第１の左目用画像を表示していない状態において、第２の右目用画像を生成し、第１の左目用画像を表示し、第１の右目用画像を表示していない状態において、第２の左目用画像を生成することによって、第２のステレオ画像を生成する。なお、この第２の右目用画像及び第２の左目用画像の生成は、右目用の１個のフレーム及び左目用の１個のフレームを生成することであってもよい。この場合には、ステップＳ１０４の処理が実行されるごとに、３次元仮想空間に配置される第１の右目用画像及び第１の左目用画像が、１フレームずつ変更されてもよい。生成された一対のフレームは、例えば、図示しない記録媒体や記憶部１１で記憶されてもよい。

（ステップＳ１０５）出力部１５は、ステップＳ１０４で生成された第２のステレオ画像を出力する。この出力は、例えば、右目用の１個のフレーム及び左目用の１個のフレームの出力であってもよい。そして、ステップＳ１０１に戻る。このように、ステップＳ１０１～Ｓ１０５の処理が繰り返されることによって、ＨＭＤ２に第１のステレオ画像と、操作に応じて配置が変更される３次元オブジェクトとを合成した第２のステレオ画像が表示されることになる。

なお、図２のフローチャートにおいて、例えば、ステップＳ１０１，Ｓ１０４，Ｓ１０５の処理と、ステップＳ１０２、Ｓ１０３の処理とは並列して行われてもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、第１のステレオ画像の撮影、及び第１のステレオ画像と３次元オブジェクトとの合成について具体的に説明する。

図３は、第１のステレオ画像の撮影について説明するための図である。図３では、右目用カメラ２１ａと左目用カメラ２１ｂとを用いて第１のステレオ画像を撮影している。すなわち、右目用カメラ２１ａによって第１の右目用画像２２ａが撮影され、左目用カメラ２１ｂによって第１の左目用画像２２ｂが撮影される。右目用カメラ２１ａ及び左目用カメラ２１ｂは、通常、同じ仕様のものであり、その結果として、第１の右目用画像２２ａ及び第１の左目用画像２２ｂも同じ画素数の画像となる。図３では、第１のステレオ画像が、光軸が平行となるように配置された一対のカメラ２１ａ、２１ｂによって撮影されるものとする。また、両カメラ２１ａ、２１ｂの光軸は両方とも水平面内にあるものとする。右目用カメラ２１ａの光軸と、及び左目用カメラ２１ｂの光軸との間の距離は、例えば、人間の平均的な瞳孔間距離程度であってもよい。なお、この例では、撮影対象のオブジェクト２０は、中心軸が鉛直方向となるように配置されている円錐であるとする。そして、オブジェクト２０は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂに含まれているものとする。なお、図３は、水平面に垂直な鉛直方向からカメラ２１ａ、２１ｂを見ている状態を示しているため、厳密には、オブジェクト２０は円形状になるはずであるが、説明の便宜上、オブジェクト２０を三角形状に表示している。他の図面においても同様であるとする。

次に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、３次元仮想空間において、（Ａ）平行な視線方向の前方側にそれぞれ配置する場合、（Ｂ）無限遠に対応する点が重なるように配置する場合のそれぞれについて説明する。

（Ａ）平行な視線方向の前方側にそれぞれ配置する場合
図４Ａは、３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを平行な視線方向の前方側にそれぞれ配置する場合について説明するための図である。図４Ａにおいて、右目用視点２３ａ及び左目用視点２３ｂが、瞳孔間距離や、ステレオカメラ２１ａ、２１ｂの光軸間の距離程度離れて配置されている。また、矢印で示される視線方向は、平行であり、同じ方向（図４Ａでは上方向）を向いている。なお、図４Ａでは、視線方向が水平面内に存在するものとする。すなわち、図４Ａは、図３と同様に、水平面に垂直な鉛直方向から視点２３ａ、２３ｂや、配置された画像２２ａ、２２ｂを見ているものとする。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂはそれぞれ、右目用視点２３ａ及び左目用視点２３ｂの前方側において、視線方向が画像に直交し、視線方向が画像の中心を向くように配置されている。また、右目用視点２３ａと第１の右目用画像２２ａとの位置関係と、左目用視点２３ｂと第１の左目用画像２２ｂとの位置関係とは同じであるとする。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、同一平面内に含まれるように配置されている。右目用視点２３ａ及び左目用視点２３ｂから、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが含まれる平面までの距離は、例えば、Ｕ／（２ｔａｎ（φ／２））であってもよい。ここで、Ｕは、第１の右目用画像２２ａ及び第１の左目用画像２２ｂの水平方向の長さであり、φは、右目用視点２３ａ及び左目用視点２３ｂの水平方向の画角である。なお、図４Ａでは、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが右側と左側とに離れて配置されている場合について示しているが、両画像は一部が重なるように配置されてもよい（例えば、図８Ａ参照）。

図４Ａにおいて、第１の右目用画像２２ａが表示されている状態で右目用視点２３ａからの第２の右目用画像が生成され、第１の左目用画像２２ｂが表示されている状態で左目用視点２３ｂからの第２の左目用画像が生成され、それらの第２のステレオ画像がＨＭＤ２に出力されたとする。すると、その第２のステレオ画像を見たユーザには、図４Ａの破線で示されるように、配置されている第１の右目用画像２２ａ及び第１の左目用画像２２ｂの奥側にオブジェクト２０が存在するように見えることになる。

図４Ａにおいて、ＨＭＤ２を装着しているユーザが、ロボットハンドである３次元オブジェクトをコントローラによって操作して、３次元オブジェクト２５ａで示される位置に配置したとする。すると、図４Ｂで示されるように、ユーザにとっては、ロボットハンドは手前側に見えて、オブジェクト２０は奥側に見えることになる。そのため、ユーザがロボットハンドでオブジェクト２０に触ろうとする場合には、３次元オブジェクトを奥側、すなわち視点から離れる側に移動させる必要がある。そして、ユーザが、コントローラを操作して、３次元オブジェクトを奥側に移動させ、３次元オブジェクト２５ｂで示される位置に配置すると、３次元オブジェクト２５ｂの先端側が、第１の右目用画像２２ａの背面側に位置することになり、視点から見えなくなる。その結果、図４Ｃで示されるように、ユーザには、ロボットハンドの先端側が見えなくなる。第１の右目用画像２２ａは、通常、不透明だからである。なお、図４Ｃでは、ロボットハンドの見えない部分を破線で示している。このように、平行な視線方向の前方側に第１の右目用画像２２ａ及び第１の左目用画像２２ｂをそれぞれ配置する場合には、第１のステレオ画像で表示されるオブジェクト（例えば、オブジェクト２０）と、３次元オブジェクトとの位置関係を調整することが困難になる。すなわち、第２のステレオ画像において、両者を重ねることが困難になる。なお、図４Ｂ、図４Ｃは、ステレオ画像を２次元平面上に示している図であり、実際の第２のステレオ画像とは異なるものである。ステレオ画像を示す他の図についても同様である。

なお、ここでは、平行な視線方向の前方側に右目用画像及び左目用画像をそれぞれ配置する場合のデメリットについて説明したが、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとが独立している状況、すなわち、両者が関連しない状況においては、上記のようにステレオ画像と３次元オブジェクトとを合成してもデメリットはないことになる。例えば、第１のステレオ画像が、風景の画像であり、３次元オブジェクトが、ユーザの操作に応じてダンスするキャラクタである場合には、風景の前景側においてキャラクタがダンスをすればよいため、この合成方法を用いることができる。

（Ｂ）無限遠に対応する点が重なるように配置する場合
図５は、ステレオ画像における無限遠に対応する点について説明するための図である。図５で示されるように、右目用撮影位置、左目用撮影位置、画角、及び矢印で示される撮影方向がそれぞれ設定されているとすると、右目用画像及び左目用画像は、それぞれ右目用撮影位置から撮影方向に見える画角の範囲内のオブジェクト等を、図中の仮想平面に投影した画像となる。なお、仮想平面は、撮影方向に垂直な平面である。この場合には、撮影方向の前方側の無限遠に存在する点は、仮想平面上の点α、及び点βの位置に投影されることになる。すなわち、右目用画像の点α、及び左目用画像の点βが、無限遠に対応する点となる。なお、点α、及び点βはそれぞれ、右目用画像と右目用撮影位置から延びる撮影方向とが交わる点、及び左目用画像と左目用撮影位置から延びる撮影方向とが交わる点である。したがって、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を３次元仮想空間に配置する場合には、両者を同じ位置に配置することになる。すなわち、両画像を重ねて配置すればよいことになる。

図６Ａは、３次元仮想空間において、撮影された第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、無限遠に対応する点が重なるように配置する場合について説明するための図である。図６Ａにおいても、図４Ａと同様に、右目用視点２３ａ及び左目用視点２３ｂは、瞳孔間距離や、ステレオカメラ２１ａ、２１ｂの光軸間の距離程度離れて配置されている。なお、この場合には、矢印で示される視線方向は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂの中心を向いている。また、図６Ａでも、視線方向が水平面内に存在しているものとする。また、図６Ａは、鉛直方向から見た図である。図６Ａで示される第１の右目用画像２２ａ及び第１の左目用画像２２ｂはそれぞれ、図４Ａで示される位置から、画像の面方向に両者が重なるまで、同じ距離だけ移動されたものである。

図６Ａにおいて、第１の右目用画像２２ａが表示されており、第１の左目用画像２２ｂが表示されていない状態で右目用視点２３ａからの第２の右目用画像が生成され、第１の左目用画像２２ｂが表示されており、第１の右目用画像２２ａが表示されていない状態で左目用視点２３ｂからの第２の左目用画像が生成され、それらの第２のステレオ画像がＨＭＤ２に出力されたとする。すると、その第２のステレオ画像を見たユーザには、図６Ａの破線で示されるように、配置されている第１の右目用画像２２ａ及び第１の左目用画像２２ｂの手前側にオブジェクト２０が存在するように見えることになる。

図６Ａにおいて、ＨＭＤ２を装着しているユーザが、ロボットハンドである３次元オブジェクトをコントローラによって操作して、３次元オブジェクト２５ｃで示される位置に配置したとする。すると、図６Ｂで示されるように、ユーザにとっては、ロボットハンドがオブジェクト２０の近傍に見えることになる。そのため、上記（Ａ）の状況とは異なり、ユーザがコントローラを操作することによって、ロボットハンドの先端をオブジェクト２０に重ねることができるようになる。このように、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することによって、第１のステレオ画像で表示されるオブジェクト（例えば、オブジェクト２０）と、３次元オブジェクトとの位置関係を容易に調整できるようになる。すなわち、ステレオ画像で表示されるオブジェクトと、３次元オブジェクトとを重ねることができるようになる。これは、無限遠に対応する第１の右目用画像２２ａ上の点と、無限遠に対応する第１の左目用画像２２ｂ上の点とが重なっているため、無限遠に相当する位置が、画像上に存在することになり、３次元オブジェクトを、視点から画像までの範囲内の任意の位置に配置することによって、視点に最も近い位置から無限遠までの任意の位置に配置できるからである。

次に、第１のステレオ画像が、光軸が交わるように配置された一対のカメラによって撮影される場合について説明する。例えば、手術支援ロボットであるダ・ビンチを用いてステレオ画像を撮影する場合には、光軸が交わるように配置されていることがある。この場合には、図７Ａで示されるように、右目用撮影位置からの矢印で示される撮影方向（すなわち、カメラの光軸）と、左目用撮影位置からの矢印で示される撮影方向とが視線の前方側（すなわち、カメラの前方側）において交わることになる。このように撮影される右目用画像と左目用画像との無限遠に対応する位置は、図中の点α１、及び点β１となる。それらの点は、撮影方向とのなす角度が等しくなるように、右目用撮影位置及び左目用撮影位置から延びる平行な２直線と、右目用画像及び左目用画像との交点である。なお、右目側の状況と、左目側の状況とは対照になっているため、右目用画像において点α１を特定することができれば、左目用画像において点β１を特定することもできるようになる。したがって、以下、右目用画像における点α１の位置の特定について説明する。

図７Ｂで示されるように、撮影方向と右目用画像との交点から点α１までの距離をＸとし、右目用撮影位置から撮影画像までの距離をＬとし、右目用画像の水平方向の長さをＵとし、水平方向の画角をφとし、撮影方向と、右目用撮影位置と点α１とを結ぶ直線とのなす角度をθとすると、次式が得られる。
ｔａｎ（φ／２）＝Ｕ／（２Ｌ）
ｔａｎθ＝Ｘ／Ｌ

したがって、Ｘは、次式のようになる。
Ｘ＝Ｕ×ｔａｎθ／（２ｔａｎ（φ／２））

ここで、φは、撮影で用いるカメラによって決まるため既知である。また、２θが、図７Ａにおける右目側及び左目側の視線方向のなす角度であるため、θも既知である。したがって、図７Ａのように撮影された第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、無限遠に対応する点が重なるように配置する際には、その画像の水平方向の幅であるＵと、θ及びφを用いて上記のようにＸを算出し、第１の右目用画像２２ａにおいて、中心から水平方向にＸだけ離れた点α１と、第１の左目用画像２２ｂにおいて、中心から水平方向にＸだけ離れた点β１とが重なるように両画像を配置すればよいことになる。なお、３次元仮想空間に第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する際には、図７Ｂにおける右目用撮影位置が右目用視点となるようにしてもよい。すなわち、３次元仮想空間に配置された右目用視点及び左目用視点からの距離がＬとなる平面上に、点α１と点β１とが重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置してもよい。ここで、Ｌは、上式から、Ｌ＝Ｕ／（２ｔａｎ（φ／２））となる。また、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、右目用視点２３ａ及び左目用視点２３ｂを結ぶ線分の中点をとおり、その線分に垂直な平面に対して、対称になるように配置されることが好適である。すなわち、図６Ａのように配置された画像を正面側から見た場合に、第１の右目用画像２２ａを、画像を含む平面内においてＸだけ左側に移動させ、第１の左目用画像２２ｂを、画像を含む平面内においてＸだけ右側に移動させればよいことになる。その結果、図６Ｃで示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されることになる。なお、図６Ｃでは、説明の便宜上、第１の右目用画像２２ａ及び第１の左目用画像２２ｂをずらして表示しているが、実際には、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは同一平面上に存在している。この場合にも、視線方向は、それぞれ対応する画像の中心を向くように設定される。このように、第１のステレオ画像が、光軸が交わるように配置された一対のカメラによって撮影される場合であっても、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を配置することができ、その結果、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係を容易に調整することができるようになる。

以上のように、本実施の形態による画像合成装置１、及び画像合成方法によれば、３次元仮想空間に第１のステレオ画像の有する第１の右目用画像及び第１の左目用画像と、３次元オブジェクトとを配置し、第１の右目用画像を表示している状態において新たな右目用画像を生成し、第１の左目用画像を表示している状態において新たな左目用画像を生成することによって、第１のステレオ画像と３次元オブジェクトとを合成した第２のステレオ画像を生成することができる。このようにして両者を合成することにより、ステレオ画像に含まれるオブジェクト、及び３次元オブジェクトの両方を立体的に表示することができる第２のステレオ画像を生成できることになる。また、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像を配置することによって、ステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係を適切に調整することができるようになる。例えば、ステレオ画像に含まれるオブジェクトに３次元オブジェクトを重ねて表示することができるようになる。また、３次元オブジェクトと、ステレオ画像に含まれるオブジェクトとを重ねる際に、３次元オブジェクトの一部がステレオ画像の背面側に位置することによって見えなくなる事態を回避することもできる。

なお、本実施の形態では、第１及び第２のステレオ画像が動画像である場合について主に説明したが、そうでなくてもよい。第１及び第２のステレオ画像は静止画であってもよい。この場合には、静止画である第１のステレオ画像に、操作に応じて配置された３次元オブジェクトが合成された静止画である第２のステレオ画像が生成されることになる。

次に、本実施の形態による画像合成装置１の利用例について説明する。

第１のステレオ画像は、熟練者の動作を撮影した動画像であり、３次元オブジェクトは、熟練者が用いている器具等に相当するものであり、その３次元オブジェクトを操作するユーザは、熟練者の動作を真似る初心者であってもよい。この場合には、熟練者の動作を示す第１のステレオ画像に、初心者が操作する３次元オブジェクトを合成した第２のステレオ画像が生成されることになる。より具体的には、熟練者の動作は、手術の動作であってもよく、スポーツにおけるプレーの動作や、楽器の演奏などにおける動作であってもよい。また、３次元オブジェクトは、例えば、手術で用いられる鉗子などの器具や、スポーツで用いられる野球のバット、ゴルフのクラブ、テニスやバドミントン、卓球のラケット等の器具、音楽の演奏で用いる楽器などであってもよい。このようにして、初心者が熟練者の動作を真似ることができ、手術やスポーツのプレー、楽器の演奏などについて練習できるようになる。この場合には、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。

第１のステレオ画像は、俳優や女優、歌手など人間の動画像であり、３次元オブジェクトは、ユーザの手などであり、ユーザが３次元オブジェクトである手などを操作することによって、仮想空間上で俳優などと握手をできるようになっていてもよい。この場合には、第２のステレオ画像は、俳優などの人間と、ユーザが操作する３次元オブジェクトである手などとを合成したものとなる。このようにして、ユーザは、例えば、有名人と握手をすることができるようになる。この場合にも、第１のステレオ画像に含まれる有名人等の手の位置に、ユーザの手に相当する３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。

第１のステレオ画像は、建物の内部の撮影画像やＣＧなどの静止画であり、３次元オブジェクトは家具であり、ユーザが、その家具を操作することによって、家具の配置を変更し、建物の内部に配置された家具の状況を示す第２のステレオ画像が生成されてもよい。ユーザは、この第２のステレオ画像によって、家具の配置後の状況を立体的に見ることができるようになる。この場合にも、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。

第１のステレオ画像は、工事現場や、修理現場などの実空間にいるユーザが装着しているステレオカメラによって撮影された動画像であり、３次元オブジェクトは、熟練者が第１のステレオ画像上の位置を示すポインタや、実空間で使用される器具に相当するオブジェクトであり、第２のステレオ画像は、実空間の第１のステレオ画像に、３次元オブジェクトが合成されたものであってもよい。その第２のステレオ画像を、熟練者及び実空間にいるユーザが見てもよい。熟練者は、３次元オブジェクトを操作することによって、実空間のユーザに指示を出したり、実空間のユーザが実行すべきことを、３次元オブジェクトを用いて実演したりすることができる。また、実空間にいるユーザは、熟練者によって操作された３次元オブジェクトを含む第２のステレオ画像を見て、作業を行うことによって、実空間において適切な作業を行うことができるようになる。この場合には、画像合成装置１は、第１のステレオ画像をリアルタイムで受け付け、第２のステレオ画像をリアルタイムで出力してもよい。この場合にも、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねられることが重要であると考えられるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。

なお、ここではいくつかの利用例について示したが、第１のステレオ画像と３次元オブジェクトとを合成する他の例について画像合成装置１を利用できることは明らかであり、上記以外の状況で画像合成装置１が利用されてもよいことは言うまでもない。

また、画像合成装置１では、第１のステレオ画像に含まれるオブジェクトと、受付部１２によって受け付けられる操作に応じて配置される３次元オブジェクトとの位置関係に関する判定を行ってもよい。位置関係に関する判定は、例えば、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとが当たっているかどうかを判定する当たり判定であってもよく、両者が重なっているかどうかを判定する重なり判定であってもよく、両者の位置関係に関するその他の判定であってもよい。この場合には、画像合成装置１は、図９で示されるように、判定部１６をさらに備えてもよい。また、この場合には、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係の調整が重要になるため、上記（Ｂ）のように第１のステレオ画像と３次元オブジェクトとの合成が行われることが好適である。

判定部１６は、３次元仮想空間に配置された第１の右目用画像及び第１の左目用画像から、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定する。この位置の特定は、例えば、第１の右目用画像及び第１の左目用画像の対応点を特定し、３次元仮想空間における対応点の位置と、右目用視点及び左目用視点の位置とを用いて行われてもよい。例えば、第１の右目用画像及び第１の左目用画像の一対の対応点に相当する３次元仮想空間における位置は、３次元仮想空間において、第１の右目用画像の対応点と右目用視点とを結ぶ直線と、第１の左目用画像の対応点と左目用視点とを結ぶ直線との交点の位置となってもよい。なお、誤差等によって両直線が交わらない場合には、両直線間の距離が最も近くなる両直線上の位置の中点を、第１の右目用画像及び第１の左目用画像の一対の対応点に相当する３次元仮想空間における位置としてもよい。なお、このように、ステレオ画像上の対応点に相当する３次元空間上の点を特定する処理はすでに公知であり、その詳細な説明を省略する。判定部１６は、このような処理を第１のステレオ画像の各対応点について行うことによって、第１の右目用画像及び第１の左目用画像に含まれる各ピクセルに相当する３次元仮想空間における位置を特定することができる。なお、このようにして特定された位置は、通常、３次元仮想空間において面を構成することになる。ステレオ画像では、背面側の構造まではわからないからである。また、判定部１６は、第１のステレオ画像において輪郭抽出等を行うことによって画像に含まれるオブジェクトを特定し、特定したオブジェクトごとに位置の特定を行ってもよい。

第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置を特定すると、判定部１６は、その特定した位置と、３次元仮想空間における３次元オブジェクトの位置との関係に関する判定を行う。この判定は、当たり判定、及び、重なり判定の少なくとも一方であってもよい。判定部１６は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される面と、３次元仮想空間における３次元オブジェクトの少なくとも一部とが重なっている場合に、両者が当たっていると判定してもよい。また、判定部１６は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される少なくとも一部の面と、３次元仮想空間における３次元オブジェクトの少なくとも一部の面とが重なっている場合に、両者が重なっていると判定してもよい。この場合には、例えば、重なりの程度を示す指標が取得されてもよい。その指標は、例えば、第１のステレオ画像に含まれるオブジェクトの３次元仮想空間における位置によって構成される面と、３次元仮想空間における３次元オブジェクトの面との重なりが最も多くなった場合の重なりを１００％とした、重なりの程度を示す指標であってもよい。

出力部１５は、第１のステレオ画像に含まれるオブジェクトと、３次元オブジェクトとの位置関係に関する判定部１６による判定結果に関する出力をも行ってもよい。その出力は、例えば、当たり判定の結果や、重なり判定の結果の出力であってもよく、当たり判定の結果によって両者が当たっていることが示される場合に、両者が当たっていることを示す出力であってもよく、重なり判定の結果によって両者が重なっていることが示される場合に、両者が重なっていることを示す出力や、その重なりの程度を示す指標の出力であってもよい。より具体的には、出力部１５は、第２のステレオ画像に、判定結果に応じた表示を重畳して出力してもよく、判定結果に応じて、ユーザが操作しているコントローラを振動させてもよく、判定結果に応じた音を出力してもよく、判定結果に応じたその他の出力を行ってもよい。例えば、図６Ｂで示されるようにユーザが３次元オブジェクトであるロボットアームを操作しており、そのロボットアームが、第１のステレオ画像に含まれる円錐形状のオブジェクトに当たった時に、両者が当たったことを示す表示（例えば、画面全体の点滅等）や、両者が当たったことを示す振動出力や音出力が行われてもよい。また、例えば、図８Ａ，図８Ｂで示されるようにユーザが３次元オブジェクトである鉗子を操作しており、その鉗子が、模擬手術の映像である第１のステレオ画像に含まれる鉗子に重なった時に、両者が重なったことを示す表示（例えば、重なったこと示す図形の表示等）や、両者の重なりの程度を示す指標の出力が行われてもよい。このように、第１のステレオ画像に含まれるオブジェクトの位置と、３次元オブジェクトの位置との関係に関する判定が行われることによって、３次元オブジェクトを操作しているユーザは、例えば、３次元オブジェクトの位置を確認することができ、３次元オブジェクトを適切に操作できているかどうかを知ることができるようになる。

なお、上記（Ｂ）では、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する場合について説明したが、そうでなくてもよい。例えば、３次元オブジェクトが視点から所定の距離だけ離れた位置より手前側（すなわち、視点側）に存在する場合には、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、３次元仮想空間において、その所定の距離に対応する点が重なるように配置されてもよい。例えば、図１０において、破線で示される第１の右目用画像２２ａ－１及び第１の左目用画像２２ｂ－１が、無限遠に対応する点が重なるように３次元仮想空間に配置されているとすると、図１０の第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２で示されるように、第１の右目用画像２２ａ－１及び第１の左目用画像２２ｂ－１がそれらの面方向にそれぞれ矢印で示される方向に同じ距離だけ移動されて配置されてもよい。より具体的には、第１の右目用画像２２ａ－２は、第１の右目用画像２２ａ－１から右側に移動され、第１の左目用画像２２ｂ－２は、第１の左目用画像２２ｂ－１から左側に移動されてもよい。そして、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２では、視点２３ａ，２３ｂからＮメートル離れた位置に対応する点が重なるように３次元仮想空間に配置されているものとする。ここで、Ｎは、正の実数である。また、図１０でも、視線方向が水平面内に存在しており、鉛直方向から見た状況を示しているものとする。図１１、図１２も同様であるとする。また、配置される位置ごとに第１の右目用画像２２ａ－１，２２ａ－２などのように異なる符号を用いているが、特に位置を区別しない場合には、第１の右目用画像２２ａと呼ぶこともある。第１の左目用画像２２ｂについても同様である。

なお、視点２３ａ，２３ｂからＮメートル離れた位置に対応する点が重なるように第１のステレオ画像を配置するとは、例えば、第１のステレオ画像の撮影時にカメラからＮメートル先に存在する物体が重なるように、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２が配置されることであってもよい。なお、第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおけるＮメートル離れた位置に対応する点は、例えば、視差、ステレオカメラの焦点距離、ステレオカメラのカメラ間の距離を用いて特定されてもよい。その距離は、例えば、視点２３ａ，２３ｂを結ぶ直線との距離であってもよい。また、Ｎメートルは、例えば、ユーザによって指定されてもよい。例えば、受付部１２によって、Ｎメートルを示す情報が受け付けられ、それに応じて、３次元仮想空間において、Ｎメートル離れた位置に対応する点が重なるように第１のステレオ画像が配置されておよい。この配置は、例えば、配置部１３によって行われてもよい。この場合に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおけるＮメートルだけ離れた位置に対応する点は、例えば、視差や、焦点距離、視点間の距離を用いて特定されてもよく、その他の方法によって特定されてもよい。また、例えば、距離と、その距離だけ離れた位置に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置する際の両画像の重なりの程度とを対応付ける情報が記憶部１１で記憶されている場合には、その情報を用いて、Ｎメートルに対応する両画像の重なりの程度を取得し、その重なりの程度となるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂが重なるように配置されてもよい。また、図１０において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂのそれぞれにおいて、無限遠に対応する点（すなわち、画像の中心点）の位置を、黒丸で示している。また、本来、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２は同一平面上（すなわち、図中では同一直線上）に存在するが、説明のため両者を上下に少しずらしている。これらのことは、図１１、図１２においても同様であるとする。

図１０で示される第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２のように第１のステレオ画像が配置された場合には、３次元仮想空間において、第１のステレオ画像に含まれる、視点からＮメートルまでのオブジェクトはすべて、第１の左目用画像２２ｂ－２及び第１の左目用画像２２ｂ－２の手前側において立体的に見えることになる。したがって、第１のステレオ画像に含まれるＮメートルまでの距離のオブジェクトを、３次元オブジェクトで触ろうとする場合にも、３次元オブジェクトの少なくとも一部が第１のステレオ画像の奥側に位置して見えなくなる事態を回避することができる。このように、３次元仮想空間において、無限遠に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することに代えて、所定の距離に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置するようにしてもよい。

また、図１１で示されるように、第１の右目用画像２２ａ－２，２２ａ－３，２２ａ－４はそれぞれ、右目用視点２３ａからの画角が変わらないように配置されている。なお、図１１から明らかなように、視点を基準としてより奥側に配置される第１の右目用画像２２ａ－３は、手前側に配置される第１の右目用画像２２ａ－２よりも大きい画像であり、また、奥側に配置される第１の右目用画像２２ａ－４は、手前側に配置される第１の右目用画像２２ａ－３よりも大きい画像である。なお、各画像は、縦横比が変わらないように、大きさが変化されることが好適である。第１の左目用画像２２ｂ－２，２２ｂ－３，２２ｂ－４についても同様であるとする。また、図１１では、視点２３ａ，２３ｂと、各画像の無限遠に対応する点とを結ぶ直線２６ａ，２６ｂを一点鎖線で示している。そして、第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２では所定の距離（例えば、Ｎメートル）に対応する点が重なっており、第１の右目用画像２２ａ－３及び第１の左目用画像２２ｂ－３では無限遠に対応する点が重なっており、第１の右目用画像２２ａ－４及び第１の左目用画像２２ｂ－４では重なる点は存在しないことになる。このように、右目用視点２３ａと第１の右目用画像２２ａの無限遠に対応する点とを結ぶ第１の直線２６ａと、左目用視点２３ｂと第１の左目用画像２２ｂの無限遠に対応する点とを結ぶ第２の直線２６ｂとが交わるように、３次元仮想空間において第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されている場合には、３次元仮想空間において、無限遠に対応する点または所定の距離に対応する点が重なるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することと同じ状況を、それらとは異なる第１の右目用画像２２ａ及び第１の左目用画像２２ｂの配置によって実現することもできるようになる。したがって、第１の直線２６ａと第２の直線２６ｂとが交わるように、３次元仮想空間において第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置されてもよい。この場合であっても、例えば、第１のステレオ画像に含まれるオブジェクトであって、受付部１２によって受け付けられる操作に応じて配置される３次元オブジェクトによって触れられたり、重ねられたりするオブジェクトが、第１の右目用画像２２ａ及び第１の左目用画像２２ｂよりも手前側において立体的に表示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが３次元仮想空間において配置されることが好適である。例えば、３次元オブジェクトによって触れられたり、重ねられたりするオブジェクトまでの距離がＮメートル未満である場合には、３次元仮想空間において、Ｎメートルに対応する点、または、Ｎメートルを超える距離に対応する点が重なるように、第１のステレオ画像が配置されてもよく、または、第１の右目用画像２２ａ－４及び第１の左目用画像２２ｂ－４のように、第１及び第２の直線２６ａ，２６ｂの交点よりも奥側（すなわち、視点から遠い側）に第１のステレオ画像が配置されてもよい。

次に、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、面方向に移動させた場合の効果について説明する。図１２において、第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２と、それらをそれぞれ右向きの矢印の方向及び左向きの矢印の方向に同じ距離だけ移動させた第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５とを示している。第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２の無限遠に対応する点と、視点２３ａ，２３ｂとをそれぞれ結ぶ直線２６ａ，２６ｂの交点は点３１ａとなり、第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５の無限遠に対応する点と、視点２３ａ，２３ｂとそれぞれを結ぶ直線２６ａ，２６ｂの交点は点３１ｂとなる。点３１ａ，３１ｂは、それぞれ３次元仮想空間に配置された第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２に対応する無限遠の位置、及び第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５に対応する無限遠の位置となる。したがって、第１の右目用画像２２ａ－２及び第１の左目用画像２２ｂ－２のように第１のステレオ画像が配置された際には、ユーザには、視点２３ａ，２３ｂと点３１ａとの間に、第１のステレオ画像に含まれるすべてのオブジェクトが存在するように見えることになる。また、第１の右目用画像２２ａ－５及び第１の左目用画像２２ｂ－５のように第１のステレオ画像が配置された際には、ユーザには、視点２３ａ，２３ｂと点３１ｂとの間に、第１のステレオ画像に含まれるすべてのオブジェクトが存在するように見えることになる。したがって、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを重なりが減る方向にまたは両画像が離れる方向に移動させることによって、第１のステレオ画像に含まれるオブジェクトの表示範囲の奥行きがより長くなることになる。一方、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを重なりが増える方向にまたは両画像が近づく方向に移動させることによって、第１のステレオ画像に含まれるオブジェクトの表示範囲の奥行きがより短くなることになる。そのため、例えば、第１のステレオ画像に含まれるいろいろなオブジェクトに、操作対象の３次元オブジェクトを重ねたい場合などには、第１のステレオ画像に含まれるオブジェクトの表示範囲の奥行きがより短くなるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置してもよい。このような配置により、第１のステレオ画像に含まれるいろいろなオブジェクトに３次元オブジェクトを重ねる際の３次元オブジェクトの移動量を少なくすることができる。例えば、受付部１２は、視点２３ａ，２３ｂから、直線２６ａ，２６ｂの交点までの距離の変更を指示する情報を、ユーザから受け付けてもよい。そして、配置部１３は、その受け付けられた情報に応じて、直線２６ａ，２６ｂの交点の位置が変更されるように、第１の右目用画像２２ａ及び第１の左目用画像の配置を変更してもよい。このようにして、例えば、ユーザからの入力に応じて、第１のステレオ画像の奥行きを変更することもできるようになる。直線２６ａ，２６ｂが交わるように第１の右目用画像２２ａ及び第１の左目用画像２２ｂを配置することによって、このように第１のステレオ画像の奥行き感を調整することもできるようになる。

次に、第１のステレオ画像に含まれるオブジェクトの距離に応じて、３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが配置される場合について説明する。この場合には、画像合成装置１は、図１３で示されるように、特定部１７をさらに備えてもよい。なお、図９を用いて説明したように、図１３で示される画像合成装置１も、判定部１６をさらに備え、出力部１５は、その判定部１６による判定結果に関する出力をも行ってもよい。

特定部１７は、第１のステレオ画像に含まれる所定のオブジェクトの距離を特定する。この距離は、例えば、所定のオブジェクトに関する第１の右目用画像２２ａと第１の左目用画像２２ｂとにおける視差、カメラ２１ａ、２１ｂの焦点距離、カメラ２１ａ、２１ｂ間の距離等を用いて算出されてもよい。このように、第１のステレオ画像に含まれる距離の計測対象のオブジェクトが決まれば、そのオブジェクトまでの距離を算出することができる。なお、その算出された距離は、例えば、３次元仮想空間における距離に換算されて後段の処理で用いられてもよい。

距離の計測対象のオブジェクトは、例えば、第１のステレオ画像に含まれるすべてのオブジェクトであってもよい。この場合には、例えば、特定部１７は、第１のステレオ画像に含まれる各オブジェクトを特定し、その特定した各オブジェクトについてそれぞれ距離を特定してもよい。オブジェクトの特定は、例えば、輪郭抽出や、画像セグメンテーションなどによって行われてもよい。なお、特定部１７は、例えば、第１のステレオ画像に含まれる空や道路などの背景は、オブジェクトとして特定しなくてもよい。

また、距離の計測対象のオブジェクトは、例えば、ユーザによって指定されたオブジェクトであってもよい。この場合には、受付部１２は、そのオブジェクトを指定する情報を受け付けてもよい。そして、受付部１２によって受け付けられた情報によって指定されるオブジェクトが、距離の計測対象のオブジェクトとなってもよい。オブジェクトを指定する情報は、例えば、画像におけるオブジェクトの位置を指定する情報であってもよく、オブジェクトの種類を指定する情報（例えば、「手」や「ボール」など）であってもよい。オブジェクトの位置の指定は、例えば、点状の位置の指定や、矩形状の領域の指定によって行われてもよい。また、オブジェクトの種類を指定する情報の受け付けは、例えば、キーボードなどの入力デバイスからの受け付けであってもよく、記録媒体からの情報の読み出しであってもよく、マイクなどから入力された音声に関する音声認識結果の受け付けであってもよく、オブジェクトの種類を指定するその他の情報の受け付けであってもよい。この場合には、受付部１２は、例えば、複数種類の受け付け、すなわち、３次元オブジェクトの操作の受け付けと、オブジェクトを指定する情報の受け付けとを行うものであってもよい。

オブジェクトを指定する情報がオブジェクトの位置を指定する情報である場合には、特定部１７は、例えば、その指定された位置に表示されているオブジェクトを特定し、その特定したオブジェクトの距離を特定してもよく、または、その指定された位置に対応する第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおける位置を特定し、その特定した位置に関する距離を特定してもよい。また、オブジェクトを指定する情報がオブジェクトの種類を特定する情報である場合には、特定部１７は、例えば、その種類のオブジェクトを第１の右目用画像２２ａ及び第１の左目用画像２２ｂにおいて特定し、その特定したオブジェクトの距離を特定してもよい。受け付けられた種類のオブジェクトを特定する方法としては、例えば、パターンマッチングによって、画像中のオブジェクトの位置を特定する方法や、画像セグメンテーションによって特定した画像の各画素に対応する種類から、受け付けられた種類の領域を特定する方法、物体検出によって、受け付けられた種類のオブジェクトに関する画像中の領域を特定する方法などが用いられてもよい。

オブジェクトを指定する情報がオブジェクトの位置を指定する情報である場合には、例えば、その位置の指定されたフレームにおいて、距離の特定が行われてもよい。また、オブジェクトを指定する情報がオブジェクトの種類を指定する情報である場合には、距離の計測対象のオブジェクトの特定は、例えば、第１のステレオ画像が動画像である場合に、特定のフレームについて行われてもよく、または、複数のフレームについて繰り返して行われてもよい。前者の場合には、例えば、第２のステレオ画像である動画の出力中に、受付部１２によって所定のオブジェクトを指定する情報が受け付けられた際に、その時点のフレームについてオブジェクトの特定が行われてもよい。また、後者の場合、すなわち複数のフレームについてオブジェクトの特定が行われる場合には、例えば、所定の間隔のフレームごとにオブジェクトの特定が行われてもよい。なお、第１のステレオ画像がリアルタイムで受け付けられ、その受け付けられた第１のステレオ画像を用いて第２のステレオ画像がリアルタイムで生成される場合には、例えば、オブジェクトの特定もリアルタイムで行われてもよい。一方、第１のステレオ画像があらかじめ記憶部１１で記憶されている場合には、例えば、オブジェクトの特定は、第２のステレオ画像が生成されるまでにあらかじめ行われてもよい。

３次元仮想空間において、第１の右目用画像２２ａ及び第１の左目用画像２２ｂは、特定部１７によって特定された最も長い距離を超える距離に対応する点が重なるように配置されてもよい。このようにすることで、特定部１７によって特定されたオブジェクトが、３次元仮想空間において、第１のステレオ画像よりも手前側に表示されることになり、例えば、そのオブジェクトに３次元オブジェクトを重ねることができるようになる。なお、複数のオブジェクトの距離が特定された場合には、複数の距離のうち、最も長い距離を超える距離に対応する点が重なるように第１のステレオ画像が配置されることが好適である。また、複数のフレームについてオブジェクトの距離が特定された場合には、例えば、特定された距離のうち、最も長い距離を超える距離に対応する点が重なるように第１のステレオ画像が配置されることが好適である。なお、特定された最も長い距離を超える距離は、例えば、特定された最も長い距離に、あらかじめ決められた距離を加算した距離であってもよい。加算対象であるあらかじめ決められた距離は、例えば、第１のステレオ画像に含まれるオブジェクトに、３次元オブジェクトを重ねるための操作を行う際に発生し得る両オブジェクトの位置ずれ以上の長さであってもよい。このようにすることで、そのような位置ずれが発生したとしても、３次元オブジェクトが第１のステレオ画像の背面側に位置することを回避できる。なお、このような第１のステレオ画像の配置は、例えば、配置部１３によって行われてもよい。

なお、特定部１７を用いることなく、３次元オブジェクトが第１の右目用画像２２ａ及び第１の左目用画像２２ｂの背面側に位置することを回避するようにしてもよい。この場合には、所定の距離に対応する点が重なるように、第１のステレオ画像が３次元仮想空間に配置されている際に、操作対象の３次元オブジェクトまでの距離が、その所定の距離に近づいたとき（すなわち、３次元オブジェクトが第１のステレオ画像に近づいたとき）に、配置部１３は、その所定の距離を増やして第１のステレオ画像を配置してもよい。例えば、視点２３ａ，２３ｂから３次元オブジェクトまでの距離に、あらかじめ決められた距離を加算した距離が、その所定の距離になった場合に、配置部１３は、その所定の距離よりも長い距離に対応する点が重なるように、第１のステレオ画像を３次元仮想空間において再配置してもよい。所定の距離よりも長い距離は、例えば、所定の距離に、既定の距離を加算した距離であってもよい。なお、配置部１３は、例えば、第２のステレオ画像の生成や出力が行われている際に、リアルタイムで第１のステレオ画像の再配置を行ってもよい。そのため、第１のステレオ画像の再配置は、例えば、３次元オブジェクトの操作に応じて繰り返して行われてもよい。

第１のステレオ画像の再配置の方法として、例えば、図１１に示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、視点２３ａ，２３ｂからの画角を変えることなく、奥側に移動させる方法と、図１２に示されるように、第１の右目用画像２２ａ及び第１の左目用画像２２ｂを、視点２３ａ，２３ｂからの距離を変えることなく、画像の面方向に移動させる方法とがある。後者の場合には、第１のステレオ画像の配置を変えることによって、第１のステレオ画像に含まれるオブジェクトの奥行き感が変化することになり、それに伴って、３次元仮想空間に配置されている３次元オブジェクトの合成位置も変化することになる。そのため、それらの変化を生じさせない観点からは、図１１に示されるように画角を変えることなく第１のステレオ画像の配置位置を奥側に移動させる方法によって第１のステレオ画像を再配置することが好適である。なお、第１のステレオ画像のより短い距離の移動によって、３次元オブジェクトが第１のステレオ画像の背面側に位置しないようにすることができるのは、直線２６ａ，２６ｂが交わるように第１のステレオ画像が配置されているからである。したがって、この場合にも、直線２６ａ，２６ｂが交わるように第１のステレオ画像が再配置されることが好適である。

なお、第１のステレオ画像を再配置することによって、３次元オブジェクトが第１のステレオ画像の背面側に位置することを回避する場合には、例えば、配置部１３は、第１の右目用画像２２ａ及び第１の左目用画像２２ｂが、所定の距離に対応する点が重なるように３次元仮想空間に配置されているときに、３次元オブジェクトの位置に応じて、その所定の距離を長くするための第１のステレオ画像の再配置のみを行い、３次元オブジェクトの位置が視点２３ａ，２３ｂに近づいたとしても、その所定の距離を短くするための第１のステレオ画像の再配置は行わなくてもよい。

また、第１の直線２６ａと第２の直線２６ｂとが交わるように、３次元仮想空間において第１のステレオ画像を配置することや、３次元仮想空間において、所定の距離に対応する点が重なるようにステレオ画像を配置すること、その所定の距離が、特定部１７によって特定された最も長い距離を超えるようにすること、または、３次元オブジェクトが第１のステレオ画像に近づいた場合に、第１のステレオ画像を再配置することなどは、例えば、光軸が交わるように配置された一対のカメラによって撮影された第１のステレオ画像について行われてもよいことは言うまでもない。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、画像合成装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における画像合成装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータを、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部、右目用視点と第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間（ただし、無限遠に対応する点が重なるように第１の右目用画像及び第１の左目用画像が配置される３次元仮想空間を除く）に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部、第２のステレオ画像を出力する出力部として機能させるためのプログラムである。

また、上記実施の形態における画像合成装置１を実現するソフトウェアは、以下のようなプログラムであってもよい。このプログラムは、第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータを、３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部、第１の右目用画像及び第１の左目用画像の配置される３次元仮想空間に、受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部、３次元オブジェクトの配置された３次元仮想空間において、第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部、第２のステレオ画像を出力する出力部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ－ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

図１４は、上記プログラムを実行して、上記実施の形態による画像合成装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図１４において、コンピュータシステム９００は、ＣＤ－ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図１５は、コンピュータシステム９００の内部構成を示す図である。図１５において、コンピュータ９０１は、ＣＤ－ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による画像合成装置１の機能を実行させるプログラムは、ＣＤ－ＲＯＭ９２１に記憶されて、ＣＤ－ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ－ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ－ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による画像合成装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

１ 画像合成装置
１１ 記憶部
１２ 受付部
１３ 配置部
１４ 生成部
１５ 出力部
１６ 判定部
１７ 特定部

Claims (12)

1. 第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部と、
   ３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部と、
   右目用視点と前記第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と前記第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間（ただし、無限遠に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間を除く）に、前記受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部と、
   前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部と、
   前記第２のステレオ画像を出力する出力部と、を備えた画像合成装置。
2. 前記３次元仮想空間では、所定の距離に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される、請求項１記載の画像合成装置。
3. 前記第１のステレオ画像に含まれる所定のオブジェクトの距離を特定する特定部をさらに備え、
   前記所定の距離は、前記特定部によって特定された最も長い距離を超えている、請求項２記載の画像合成装置。
4. 前記所定のオブジェクトは、前記第１のステレオ画像に含まれるすべてのオブジェクトである、請求項３記載の画像合成装置。
5. 前記受付部は、前記所定のオブジェクトを指定する情報をも受け付け、
   前記所定のオブジェクトは、前記受付部によって受け付けられた情報によって指定されるオブジェクトである、請求項３記載の画像合成装置。
6. 前記配置部は、前記３次元オブジェクトまでの距離が前記所定の距離に近づいた場合には、前記所定の距離を増やして前記第１のステレオ画像を配置する、請求項２記載の画像合成装置。
7. 前記第１のステレオ画像は、光軸が平行となるように配置された一対のカメラによって撮影されたものである、請求項１から請求項６のいずれか記載の画像合成装置。
8. 前記第１のステレオ画像は、光軸が交わるように配置された一対のカメラによって撮影されたものである、請求項１から請求項６のいずれか記載の画像合成装置。
9. 前記第１のステレオ画像、及び前記第２のステレオ画像は動画像である、請求項１から請求項８のいずれか記載の画像合成装置。
10. 前記３次元仮想空間に配置された前記第１の右目用画像及び前記第１の左目用画像から、前記第１のステレオ画像に含まれるオブジェクトの前記３次元仮想空間における位置を特定し、当該特定した位置と、前記３次元オブジェクトの位置との関係に関する判定を行う判定部をさらに備え、
    前記出力部は、前記判定部による判定結果に関する出力をも行う、請求項１から請求項９のいずれか記載の画像合成装置。
11. ３次元仮想空間に配置される３次元オブジェクトの操作を受け付けるステップと、
    第１のステレオ画像が有する第１の右目用画像及び第１の左目用画像が、右目用視点と前記第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と前記第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように配置される３次元仮想空間（ただし、無限遠に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間を除く）に、前記受け付けられた操作に応じた３次元オブジェクトを配置するステップと、
    前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成するステップと、
    前記第２のステレオ画像を出力するステップと、を備えた画像合成方法。
12. 第１の右目用画像及び第１の左目用画像を有する第１のステレオ画像が記憶される記憶部にアクセス可能なコンピュータを、
    ３次元仮想空間に配置される３次元オブジェクトの操作を受け付ける受付部、
    右目用視点と前記第１の右目用画像の無限遠に対応する点とを結ぶ第１の直線、及び左目用視点と前記第１の左目用画像の無限遠に対応する点とを結ぶ第２の直線が交わるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間（ただし、無限遠に対応する点が重なるように前記第１の右目用画像及び前記第１の左目用画像が配置される３次元仮想空間を除く）に、前記受付部によって受け付けられた操作に応じた３次元オブジェクトを配置する配置部、
    前記３次元オブジェクトの配置された３次元仮想空間において、前記第１の右目用画像が表示された状態における右目用視点からの画像である第２の右目用画像、及び前記第１の左目用画像が表示された状態における左目用視点からの画像である第２の左目用画像を含む第２のステレオ画像を生成する生成部、
    前記第２のステレオ画像を出力する出力部として機能させるためのプログラム。

Images