WO2012105427A1

WO2012105427A1 - 画像処理装置、そのプログラム、および画像処理方法

Info

Publication number: WO2012105427A1
Application number: PCT/JP2012/051744
Authority: WO
Inventors: 聡志麻生; 岳彦指田
Original assignee: コニカミノルタホールディングス株式会社
Priority date: 2011-01-31
Filing date: 2012-01-27
Publication date: 2012-08-09

Abstract

　３Ｄ画像を見ている観察者が得られる奥行き感を向上させることを図る。該目的を達成するために、画像処理装置は、同一の画像表示条件において観察対象物の時系列的な第１立体画像よりも遠方に観察されるような視差を持った、時系列的な立体指標画像を生成する立体指標画像生成部と、第１立体画像と立体指標画像とを時系列順に組み合わせて、時系列的な第２立体画像を生成する組合せ部とを備える。そして、立体指標画像生成部は、第１立体画像の視差の代表値と立体指標画像の視差との差分に対応する遠近差が時系列的に増加するように、立体指標画像を生成するようにした。

Description

画像処理装置、そのプログラム、および画像処理方法

　本発明は、立体画像を生成する画像処理技術に関する。

　昨今、立体視が可能な動画（３Ｄ動画、立体動画、または立体視動画とも言う）を利用した３Ｄテレビが脚光を浴びている。３Ｄテレビでは、同一の物体を異なる視点から見た２つの画像が利用されて立体視が可能な画像（３Ｄ画像、立体画像、立体視画像とも言う）が生成される。

　この３Ｄ画像の技術では、左眼用の画像と右眼用の画像との間で物体の同一部分を示す画素の位置がずらされており、人間の眼の焦点調節機能が利用されて画像の奥行き感が観察者に与えられる。なお、左眼用の画像と右眼用の画像との間における物体の同一部分を捉えた画素の位置のずれ量は「視差」とも称される。

　この３Ｄ画像の技術は、種々の映像分野で採り入れられている。例えば、ステレオ画像から検出された視差が人の融合範囲に入るように調節されることで広い視野の範囲について画像の立体視が可能となる内視鏡装置が提案されている（例えば、特許文献１）。また、立体映像を表示し、その奥行き感を調整する場合に、基準となる参照用立体画像が表示される立体映像処理装置が提案されている（例えば、特許文献２）。

　ところで、例えば、設定される視差がある程度小さければ、画像が表示される画面の大きさ等によっては観察者が奥行き感を得にくい場合がある。つまり、観察者にとっては、同一の物体であっても、実際に目視する場合と比較して、３Ｄ画像上で見る場合には、実際の物体とは異なる様に見えることがあり得る。

　このような３Ｄ画像の技術の現状に対して、画面に変化を付けたり、面白味を付加するため、あるいは立体視を容易とするために、３次元画像の周囲に枠画像が表示される技術が提案されている（例えば、特許文献３）。この技術では、複数準備されている枠画像からどの枠画像を使うのか選択することが可能である。

特開平８－３１３８２５号公報特開平１１－１５５１５５号公報国際公開第２００３／０９２３０３号

　しかしながら、上記特許文献３の技術であっても、立体画像（３Ｄ画像）における奥行き感が観察者には十分に得られない場合もある。

　本発明は、上記課題に鑑みてなされたものであり、立体画像を観察する観察者が覚える奥行き感を向上させ得る技術を提供することを目的とする。

　上記の課題を解決するため、第１の態様に係る画像処理装置は、同一の画像表示条件において観察対象物の時系列的な第１立体画像よりも遠方に観察されるような視差を持った、時系列的な立体指標画像を生成する立体指標画像生成部と、前記第１立体画像と前記立体指標画像とを時系列順に組み合わせて、時系列的な第２立体画像を生成する組合せ部とを備え、前記立体指標画像生成部は、前記第１立体画像の視差の代表値と前記立体指標画像の視差との差分に対応する遠近差が時系列的に増加するように、前記立体指標画像を生成する。

　第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、予め設定された検出規則に従って、前記第１立体画像中で観察者の目を惹くものと予測される注目領域をそれぞれ検出する検出部、を更に備え、前記立体指標画像生成部は、前記注目領域を対象とした視差に基づいて前記代表値を決定する。

　第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記立体指標画像生成部は、前記代表値の時系列的な変化率に応じて、前記遠近差を変化させる。

　第４の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記立体指標画像生成部は、前記注目領域についての画素値に応じて、前記遠近差を変化させる。

　第５の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記第２立体画像について想定される観察者の種別に関する情報を取得する観察者情報取得部、を更に備え、前記立体指標画像生成部は、前記観察者の種別に応じて前記遠近差を変化させる。

　第６の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、前記第２立体画像について想定される観察環境に関する情報を取得する環境情報取得部、を更に備え、前記立体指標画像生成部は、前記観察環境に応じて前記遠近差を変化させる。

　第７の態様に係る画像処理装置は、第１から第６の何れか１つの態様に係る画像処理装置であって、前記立体指標画像生成部は、前記立体指標画像中に現れている指標用物体の大きさを時系列的に減少させつつ、前記遠近差を変化させる。

　第８の態様に係る画像処理装置は、第２から第７の何れか１つの態様に係る画像処理装置であって、前記立体指標画像生成部は、前記第１立体画像の画像空間における前記注目領域の時系列的な位置変化に追随して、前記立体指標画像の位置を時系列的に変化させる。

　第９の態様に係る画像処理装置は、第１から第７の何れか１つの態様に係る画像処理装置であって、前記立体指標画像生成部は、前記立体指標画像中の所定の指標用物体が時系列的に所定の消失点に向かって遠ざかるように、前記立体指標画像を生成する。

　第１０の態様に係る画像処理装置は、同一の画像表示条件において、観察対象物の第１立体画像よりも遠方に観察されるような視差を持った、時系列的な立体指標画像を生成する立体指標画像生成部と、前記第１立体画像と時系列的な前記立体指標画像とをそれぞれ組み合わせて、時系列的な第２立体画像を生成する組合せ部と、を備え、前記立体指標画像生成部は、前記第１立体画像の視差の代表値と前記立体指標画像の視差との差分に対応する遠近差が、時系列的に増加するように、前記立体指標画像を生成する。

　第１１の態様に係るプログラムは、画像処理装置に搭載されたコンピュータにおいて実行されることにより当該画像処理装置を第１から第１０の何れか１つの態様に係る画像処理装置として機能させる。

　第１２の態様に係る画像処理方法は、同一の画像表示条件において観察対象物の第１立体画像よりも遠方に観察されるような視差を持った立体指標画像を生成する立体指標画像生成工程と、前記第１立体画像と前記立体指標画像とを組み合わせて、第２立体画像を生成する組合せ工程と、前記第１立体画像と前記立体指標画像とのうち、少なくとも前記立体指標画像を時系列的に変化させつつ、前記立体指標画像生成工程と前記組合せ工程とを繰り返すことによって、第２立体画像の時系列な集合を得る繰返し工程と、を備え、前記第１立体画像の視差の代表値と前記立体指標画像の視差との差分に対応する遠近差が、前記第２立体画像の時系列的な集合において時系列的に増加するように、各繰返しサイクルで前記立体指標画像が生成される。

　第１から第１０の何れの態様に係る画像処理装置または第１１の態様に係るプログラムまたは第１２の態様に係る画像処理方法によっても、第２立体画像は、観察対象物と立体指標画像との遠近差が時系列的に増加する、すなわち動的に遠近感を広げるように観察されるような立体化が行われていることにより、第２立体画像を観察する観察者が覚える奥行き感を向上させ得る。

図１は、実施形態に係る画像処理システムの概略構成の１例を示す図である。図２は、実施形態に係る画像処理装置の機能的な構成の１例を示す図である。図３は、視差を説明するための図である。図４は、第１立体画像の１例を示す図である。図５は、第１立体画像の１例を示す図である。図６は、立体指標画像の１例を示す図である。図７は、立体指標画像の１例を示す図である。図８は、時系列的な第２立体画像の１例を示す図である。図９は、時系列的な第２立体画像の１例を示す図である。図１０は、立体指標画像の視差の生成方法の１例を説明するための図である。図１１は、立体指標画像の位置を時系列的な変化の１例を示す図である。図１２は、立体指標画像の位置を時系列的な変化の１例を示す図である。図１３は、立体指標画像の生成方法の１例を説明するための図である。図１４は、立体指標画像の１例を示す図である。図１５は、立体指標画像の１例を示す図である。図１６は、画像処理装置の動作を示すフローチャートである。図１７は、画像処理装置の動作を示すフローチャートである。図１８は、画像処理装置の動作を示すフローチャートである。

　以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、各画像の右方向が＋Ｘ方向とされ、各画像の下方向が＋Ｙ方向とされる。なお、図４～図６、および図８～図１２には、直交するＸＹの２軸が付されている。また、図３には、直交するＸＹＺの３軸が付されている。

　＜実施形態について：＞
　＜画像処理システムの概略構成：＞
　図１は、一実施形態に係る画像処理システム１００Ａの概略構成の１例を示す図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と視線検出センサ４７と画像処理装置２００Ａとを主に備えて構成されている。

　◎ステレオカメラ３００について：
　ステレオカメラ３００は、第１カメラ６１と第２カメラ６２とを主に備えて構成されている。また、第１カメラ６１および第２カメラ６２は、それぞれ、不図示の撮影光学系および制御処理回路を主に備えて構成されている。また、第１カメラ６１と第２カメラ６２とは、水平方向に所定の基線長を隔てて設けられており、撮影光学系に入射した観察対象物からの光線情報を制御処理回路等で同期して処理することによって、観察対象物のステレオ画像を構成する、例えば、３４５６×２５９２画素サイズなどの所定サイズのデジタル画像をそれぞれ取得する。

　ステレオ画像は、左眼用の画像（左眼用画像とも言う）と右眼用の画像（右眼用画像とも言う）との組を含み、立体視が可能に表示され得る画像、すなわち立体画像（３Ｄ画像）である。

　ステレオカメラ３００は、画像処理装置２００Ａによる制御に応じて第１カメラ６１と第２カメラ６２との同期をとりつつ観察対象物を時間順次に連続的に撮影することによって、複数の第１左目用画像５Ｌおよび複数の第１右目用画像５Ｒを取得し得る。すなわち、ステレオカメラ３００は、時系列的な第１左目用画像５Ｌと時系列的な第１右目用画像５Ｒとをそれぞれ取得する。なお、ステレオカメラ３００は、画像処理装置２００Ａによる制御に応じて１つの第１左目用画像５Ｌと１つの第１右目用画像５Ｒとを取得し得る。

　ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１および通信回線ＤＬ１を介して供給される制御信号に基づいて制御される。また、第１左目用画像５Ｌおよび第１右目用画像５Ｒは、カラー画像であってもモノクロ画像であってもよい。生成された１以上の第１左目用画像５Ｌおよび１以上の第１右目用画像５Ｒは、通信回線ＤＬ１を介して画像処理装置２００Ａの入出力部４１へと供給される。

　◎視線検出センサ４７について：
　視線検出センサ４７は、画像処理装置２００Ａに含まれる表示部４３の画面を観察している観察者の視線情報を検出する。表示部４３と視線検出センサ４７とは、所定の配置関係を有して相互に固定されている。視線検出センサ４７では、例えば、撮影によって観察者の画像が得られ、その画像が解析されることで、観察者の視線の方向が視線情報として検出される。ここで、画像の解析は、例えば、パターンマッチングを用いた顔の向きの検出、および色の違いを用いた両眼における白眼の部分と黒眼の部分の識別等によって実現され得る。また、視線検出センサ４７で得られる視線情報は、通信回線ＤＬ２を介して画像処理装置２００Ａの検出部１３（図２）へと供給される。検出部１３は、供給された視線情報を用いて、表示部４３の画面に表示された立体画像のうち観察者が注目している部分（注目領域とも称される）を検出する検出処理を行う。通信回線ＤＬ１およびＤＬ２は、有線の回線であっても無線の回線であっても良い。

　◎画像処理装置２００Ａの構成について：
　図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

　入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００および視線検出センサ４７をそれぞれ制御するための各種の制御信号を、通信回線ＤＬ１およびＤＬ２を介してステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した第１左目用画像５Ｌおよび第１右目用画像５Ｒと、視線検出センサ４７が取得した視線情報とを画像処理装置２００Ａの機能部に供給する。入出力部４１は、予め第１左目用画像５Ｌおよび第１右目用画像５Ｒが記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、第１左目用画像５Ｌおよび第１右目用画像５Ｒを画像処理装置２００Ａの機能部に供給することができる。予め記憶された第１左目用画像５Ｌおよび第１右目用画像５Ｒとしては、例えば、ＣＧ（computer graphics）によって生成された画像が採用されてもよい。

　操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。

　表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成される。また、表示部４３は、立体画像を表示部４３における３次元表示方式に対応した画像形式に変換する不図示の画像処理部を備えており、表示部４３は、該画像処理部によって必要な変換処理が施された立体画像をその表示画面に表示する。表示部４３における３次元表示方式として、例えば、左目用画像および右目用画像を交互に高速で切り替えて表示部４３に表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されたとしても本発明の有用性を損なうものではない。なお、表示部４３は、ステレオカメラ３００から供給される第１左目用画像５Ｌ、第１右目用画像５Ｒ、および画像処理装置２００Ａに関する各種設定情報などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。

　ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

　ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する各種の立体画像などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。

　記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６は、後述する検出部１３（図２）において実行される検出プログラムＰＧ２および立体指標画像生成部１８（図２）において左目用指標画像６Ｌ（図２）および右目用指標画像６Ｒ（図２）の生成のために用いられる原指標画像６Ｓ（図２、図１０）なども恒久的に記憶する。

　ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、立体画像取得部１２、検出部１３、決定部１４、観察者情報取得部１５ａ、環境情報取得部１５ｂ、視差生成部１６、位置指定部１７ａ、サイズ指定部１７ｂ、立体指標画像生成部１８および組合せ部１９（それぞれ図２）としても機能する。

　ＣＰＵ１１Ａは、これらの機能部などによって、観察対象物の画像を表現した時系列的な第１左目用画像５Ｌおよび第１右目用画像５Ｒ、すなわち時系列的な第１立体画像Ｇ５（図２）から、該観察対象物の画像と、該観察対象物の立体画像を目立たせるための指標用物体の画像とのそれぞれを含んだ時系列的な第２左目用画像７Ｌ（図２）および第２右目用画像７Ｒ（図２）、すなわち時系列的な第２立体画像Ｇ７（図２）を生成する。

　時系列的な第２左目用画像７Ｌおよび第２右目用画像７Ｒの生成処理において、ＣＰＵ１１Ａは、同一の画像表示条件において観察対象物の時系列的な第１立体画像Ｇ５よりも遠方に観察されるような視差を持った、指標用物体の時系列的な立体画像（「立体指標画像」とも称される）Ｇ６（図２）を生成する。該時系列的な立体指標画像Ｇ６は、第１立体画像Ｇ５の視差の代表値と立体指標画像Ｇ６の視差との差分に対応した、第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差が時系列的に増加するように生成される。ＣＰＵ１１Ａは、第１立体画像Ｇ５と、生成した立体指標画像Ｇ６とを時系列順に組み合わせて、時系列的な第２立体画像Ｇ７、すなわち時系列的な第２左目用画像７Ｌおよび第２右目用画像７Ｒを生成する。

　該時系列的な第２立体画像Ｇ７においては、観察対象物に係る第１立体画像Ｇ５と、指標用物体に係る立体指標画像Ｇ６との遠近差が時系列的に増加する。すなわち、第２立体画像Ｇ７においては、動的に遠近感を広げるように観察されるような立体化が行われていることにより、第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得る。

　また、ＣＰＵ１１Ａは、ステレオカメラ３００および視線検出センサ４７の動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

　ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、視線検出センサ４７からの視線情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。

　なお、画像処理装置２００Ａにおいては、立体画像取得部１２、検出部１３、決定部１４、観察者情報取得部１５ａ、環境情報取得部１５ｂ、視差生成部１６、位置指定部１７ａ、サイズ指定部１７ｂ、立体指標画像生成部１８および組合せ部１９の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

　＜立体画像の視差について：＞
　次に、視差について説明する。立体画像（ステレオ画像）を構成する右目用画像と左目用画像とは、物体の同一部分に対応した画素の位置が互いに左右方向（図３のＸ軸方向）にずれている関係を有している。本願においては、左眼用画像と右眼用画像との間における物体の同一部分を捉えた画素の位置のずれ量、より詳細には、物体の同一部分にそれぞれ対応した左目用画像における注目画素と右目用画像における対応画素とにおいて、（１）式によって、左目用画像の画像空間における注目画素の位置（Ｘ座標）から右目用画像の画像空間における対応画素の位置（Ｘ座標）が減算された減算結果は、「視差」とも称される。

　立体画像が表示部４３の表示画面に表示された場合、視差の値が負であれば、左目用画像における注目画素および右目用画像における対応画素に対応した物体の同一部分は、表示画面よりも近方に観察される。また、視差の値が零であれば、該同一部分は、表示画面と同じ位置に観察される。また、視差の値が負であれば、該同一部分は、表示画面よりも遠方に観察される。

　図３は、ステレオ画像を構成する左目用画像２３Ｌと右目用画像２３Ｒとにおける視差の１例を説明するための図である。なお、左目用画像２３Ｌは、第１カメラ６１によって撮影された被写体の第１左目用画像５Ｌ（図１、図２）の１例であり、右目用画像２３Ｒは、第１カメラ６１に対して水平方向（図３の＋Ｘ方向）に所定の基線長を隔てて設けられた第２カメラ６２によって撮影された該被写体の第１右目用画像５Ｒ（図１、図２）の１例である。図３おいては、左目用画像２３Ｌと右目用画像２３Ｒとは、視差の把握を容易にするため該両画像の上端（下端）のＹ座標が等しくなるように水平方向（図５のＸ軸方向）に並べて表示されている。

　左目用画像２３Ｌと、右目用画像２３Ｒとには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ａおよび６６ｂがそれぞれ撮影されているとともに、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ａおよび６７ｂがそれぞれ撮影されている。また、近景被写体像６６ａ上の画素６８ａおよび近景被写体像６６ｂ上の画素６８ｂは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ａ上の画素６９ａおよび遠景被写体像６７ｂ上の画素６９ｂは、遠側被写体の同一の点にそれぞれ対応した画素である。

　視差９ａは、画素６８ａと画素６８ｂとの間における視差であり、視差９ｂは、画素６９ａと画素６９ｂとの間における視差である。視差９ａと視差９ｂは、ともに正の値を有しており、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。従って、左目用画像２３Ｌと右目用画像２３Ｒとが、このままの状態で表示部４３の表示画面に立体画像として表示された場合には、視差９ａに対応した近側被写体上の点は、視差９ｂに対応した遠側被写体上の点よりも近方に観察されるとともに、これら２つの点は、ともに該表示画面よりも近方に観察される。

　＜画像処理装置の機能的な構成：＞
　次に、画像処理装置２００Ａの機能的な構成について説明する。図２は、実施形態に係る画像処理装置２００Ａの機能的な構成の１例を示すブロック図である。

　○立体画像取得部１２：
　図２に示される立体画像取得部１２は、観察対象物を時系列に表現した各画像をそれぞれ含んだ複数の第１左目用画像５Ｌ（図２）に係る画像情報と、観察対象物を時系列に表現した各画像をそれぞれ含むとともに複数の第１左目用画像５Ｌとの間に視差をそれぞれ有する複数の第１右目用画像５Ｒ（図２）に係る画像情報とを入出力部４１を介して取得する。取得された時系列的な第１左目用画像５Ｌおよび右目用指標画像５Ｒは、検出部１３、決定部１４、および組合せ部１９のそれぞれへと供給される。

　図４および図５は、画像処理装置２００Ａの立体画像取得部１２（図２）によって取得された第１立体画像Ｇ５（図２）の１例として、第１立体画像Ｇ５ａおよびＧ５ｂをそれぞれ示す図である。

　第１立体画像Ｇ５ａ（図４）を構成する第１左目用画像５Ｌ１と第１右目用画像５Ｒ１とは、ある時刻ｔ１において観察対象物が同期してそれぞれ撮影された画像であるとともに、第１立体画像Ｇ５ｂ（図５）を構成する第１左目用画像５Ｌ２と第１右目用画像５Ｒ２とは、時刻ｔ１から所定の時間が経過した時刻ｔ２において該観察対象物が同期してそれぞれ撮影された画像である。すなわち、第１立体画像Ｇ５ａおよびＧ５ｂは、時系列的な第１立体画像Ｇ５を構成している。また、第１左目用画像５Ｌ１および５Ｌ２は、観察対象物を時系列に表現した各画像をそれぞれ含んだ複数の第１左目用画像、すなわち時系列的な第１左目用画像５Ｌを構成している。また、第１右目用画像５Ｒ１および５Ｒ２は、観察対象物を時系列に表現した各画像をそれぞれ含んだ複数の第１右目用画像、すなわち時系列的な第１右目用画像５Ｒを構成している。

　また、観察対象物画像１Ｌ１および１Ｌ２は、それぞれ第１左目用画像５Ｌ１および５Ｌ２における観察対象物の画像であり、観察対象物画像１Ｒ１および１Ｒ２は、それぞれ第１右目用画像５Ｒ１および５Ｒ２における該観察対象物の画像である。観察対象物画像１Ｌ１および１Ｒ１は、相互に画像空間におけるサイズが等しく、観察対象物画像１Ｌ２および１Ｒ２も、相互に画像空間におけるサイズが等しい。また、観察対象物画像１Ｌ１のサイズは、観察対象物画像１Ｌ２のサイズよりも大きい。

　ここで、第１左目用画像５Ｌ１における観察対象物画像１Ｌ１の位置に対して、第１右目用画像５Ｒ１における観察対象物画像１Ｒ１の位置は、左（－Ｘ側）にずれた関係を有している。また、第１左目用画像５Ｌ２における観察対象物画像１Ｌ２の位置に対して、第１右目用画像５Ｒ２における観察対象物画像１Ｒ２の位置も、左（－Ｘ側）にずれた関係を有している。従って、第１左目用画像５Ｌ１と第１右目用画像５Ｒ１とは、相互に正数の視差を有しているとともに、第１左目用画像５Ｌ２と第１右目用画像５Ｒ２とは、相互に正数の視差を有している。なお、第１右目用画像５Ｒ１には、比較が容易となるように、第１左目用画像５Ｌ１における観察対象物画像１Ｌ１の外縁に対応する位置が破線で示されている。同様に、第１右目用画像５Ｒ２には、第１左目用画像５Ｌ２における観察対象物画像１Ｌ２の外縁に対応する位置が破線で示されている。

　○検出部１３：
　図２に示される検出部１３は、予め設定された検出規則に従って、第１立体画像Ｇ５の中で観察者の目を惹くものと予測される注目領域をそれぞれ検出する検出処理を行う。検出部１３は、該検出処理を、予め記憶装置４６に記憶された検出プログラムＰＧ２（図２）を実行することによって行う。検出プログラムＰＧ２は、予め設定された検出規則に従って、第１立体画像Ｇ５の中で観察者の目を惹くものと予測される注目領域をそれぞれ検出する手法を実現するプログラムである。

　検出プログラムＰＧ２としては、例えば、視線検出センサ４７から供給された観察者の視線情報と、視線検出センサ４７と表示部４３との相互の配置関係とに基づいて注目領域を検出する処理を実現するプログラムが採用される。また、検出プログラムＰＧ２として、例えば、第１立体画像Ｇ５を構成する各画像の色情報を取得し、周囲と異なる色領域を注目領域として検出する処理を実現するプログラム、周囲よりも明るい領域を注目領域として検出する処理を実現するプログラム、または人物検出アルゴリズムにより第１立体画像Ｇ５における人物領域を検出し、その領域を注目領域として検出する処理を実現するプログラムなどが採用されたとしても本発明の有用性を損なうものではない。

　ここで、図４に示される注目領域３８ａおよび３８ｂは、それぞれ第１左目用画像５Ｌ１および５Ｌ２における注目領域の例であり、注目領域３９ａおよび３９ｂは、それぞれ第１右目用画像５Ｒ１および５Ｒ２における注目領域の例である。図４に示されるように、注目領域３８ａ、３８ｂ、３９ａ、および３９ｂは、観察対象物画像１Ｌ１、１Ｌ２、１Ｒ１、および１Ｒ２のそれぞれの外縁に接した矩形領域であるが、各観察対象物画像の領域がそのまま各注目領域として検出されてもよい。検出部１３によって注目領域が検出されると、検出部１３は、検出した注目領域に係る領域情報３１（図２）を生成する。生成された領域情報３１のそれぞれは、決定部１４に供給される。

　○決定部１４：
　図２に示される決定部１４は、時系列的な複数の第１左目用画像５Ｌと、時系列的な複数の第１右目用画像５Ｒとをそれぞれ時系列順に対応させた各組み合わせについて視差の代表値である代表視差３２をそれぞれ決定する。決定部１４が代表視差３２をそれぞれ決定する具体的な手順の１例について、図４に示された２組みの第１立体画像が取得された場合を例として以下に説明する。決定部１４は、例えば、以下の工程(a-1)～(a-4)を順次に実行することで、代表視差３２を決定する。

　(a-1)決定部１４は、先ず、第１左目用画像５Ｌ１と第１右目用画像５Ｒ１とにそれぞれ対応した領域情報３１に基づいて第１左目用画像５Ｌ１における注目領域３８ａと第１右目用画像５Ｒ１における注目領域３９ａとをそれぞれ特定する。

　(a-2)注目領域がそれぞれ特定されると、決定部１４は、対応する各注目領域間、すなわち注目領域３８ａおよび３９ａ間において相関演算法などを用いたマッチング処理を行うことによって、注目領域３８ａにおける各注目画素に対応する注目領域３９ａにおける各対応画素をそれぞれ特定する。

　(a-3)そして、決定部１４は、各注目画素のＸ座標から各対応画素のＸ座標をそれぞれ減算した減算結果を各視差として取得する。マッチング処理に用いられる相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などが採用される。

　(a-4)注目領域３８ａおよび３９ａ間における各視差が取得されると決定部１４は、第１左目用画像５Ｌ１および第１右目用画像５Ｒ１間での代表視差３２（図２）を決定する。代表視差３２としては、例えば、注目領域３８ａおよび３９ａ間における各視差についての平均値、最大値、最小値、最頻値、および中央値のうち１つが採用され得る。また、例えば、注目領域の重心位置、または注目領域上の画像の輪郭上における各画素など注目領域の一部における各視差に基づいて代表視差３２が決定されても良い。

　(a-5)決定部１４は、第１左目用画像５Ｌ２と第１右目用画像５Ｒ２とについても、同様に工程(a-1)～(a-4)を実施することによって第１左目用画像５Ｌ２と第１右目用画像５Ｒ２との間での代表視差３２を決定する。決定された代表視差３２は、視差生成部１６へと供給される。

　なお、工程(a-1)～(a-4)においては、注目領域が特定され、特定された注目領域の画像情報に基づいて代表視差３２が決定されている。しかしながら、決定部１４が、例えば、対応する第１左目用画像および第１右目用画像のそれぞれの領域全体を対象として、工程（a-2）～(a-4)にそれぞれ相当する各処理工程を行うことによって、第１左目用画像５Ｌ１と第１右目用画像５Ｒ１との間での代表視差３２を決定するとともに、第１左目用画像５Ｌ２と第１右目用画像５Ｒ２との間での代表視差３２を決定したとしても本発明の有用性を損なうものではない。

　○観察者情報取得部１５ａ：
　図２に示される観察者情報取得部１５ａは、例えば、視線検出センサ４７が撮影した観察者の画像をテンプレートマッチングなどの手法を用いて解析することによって、第２立体画像Ｇ７について想定される観察者の種別に関する情報である種別情報３３を取得する。また、観察者情報取得部１５ａが、例えば、操作部４２を介して代表位置情報３６に記憶された観察者の種別に関する種別情報３３を、設定された動作モードに応じて記憶装置４６から取得することなどによって、種別情報３３が取得されても良い。種別情報３３としては、例えば、観察者の年齢情報、観察者の持病に係る情報などが採用される。取得された種別情報３３は、視差生成部１６へと供給される。

　○環境情報取得部１５ｂ：
　図２に示される環境情報取得部１５ｂは、例えば、視線検出センサ４７が撮影した観察環境に係る画像における各画素値の統計的な分布状態を取得することや、予め操作部４２を介して記憶装置４６に記憶された観察環境に関する情報を取得することなどによって、第２立体画像Ｇ７について想定される観察環境に関する情報である環境情報３４を取得する。環境情報３４としては、例えば、観察環境の照度が暗い側から明るい側へと３段階に分割された各段階についての指標値などが採用される。取得された環境情報３４は、視差生成部１６へと供給される。

　○視差生成部１６：
　図２に示される視差生成部１６は、立体指標画像生成部１８が生成する時系列的な複数の立体指標画像Ｇ６にそれぞれ対応した複数の視差である複数の指標視差３５を生成する。該複数の指標視差３５の生成処理において、視差生成部１６は、決定部１４によって決定された、時系列的な第１立体画像Ｇ５にそれぞれ対応した複数の代表視差３２について、該複数の指標視差３５から複数の代表視差３２が時系列順にそれぞれ減算された各減算結果が順次に減少するように複数の指標視差３５を生成する。

　従って、視差生成部１６は、同一の画像表示条件において、時系列的な第１立体画像Ｇ５よりも、該時系列的な第１立体画像Ｇ５にそれぞれ対応する時系列的な立体指標画像Ｇ６の方が、それぞれ、より遠方に観察されるように複数の指標視差３５を生成するとともに、第１立体画像Ｇ５の代表視差３２と、立体指標画像Ｇ６の指標視差３５との差分に対応した、第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差が時系列的に増加するように複数の指標視差３５を生成する。

　図１０は、図４および図５にそれぞれ示された第１立体画像Ｇ５ａおよびＧ５ｂに対応して視差生成部１６がそれぞれ生成する時系列的な立体指標画像Ｇ６（図６および図７にそれぞれ示された立体指標画像Ｇ６ａおよびＧ６ｂ）の視差（指標視差３５）の生成方法の１例を説明するための図である。

　線分８１ａは、時刻ｔ１およびｔ２にそれぞれ取得された時系列的な第１立体画像Ｇ５ａおよびＧ５ｂにそれぞれ対応した代表視差３２の時間的な変化を示す線分である。点ｐ１は、第１立体画像Ｇ５ａの代表視差３２の値ｄｍ１を時刻ｔ１に対して描画したものである。また、点ｐ２は、第１立体画像Ｇ５ｂの代表視差３２の値ｄｍ２を時刻ｔ２に対して描画したものである。

　線分８１ｂは、第１立体画像Ｇ５ａおよびＧ５ｂにそれぞれ対応した立体指標画像Ｇ６ａ（図６）およびＧ６ｂ（図７）にそれぞれ係る指標視差３５の時間的な変化を示す線分である。点ｐ３は、立体指標画像Ｇ６ａの指標視差３５の値ｄｉ１を時刻ｔ１に対して描画したものである。また、点ｐ４は、立体指標画像Ｇ６ｂの指標視差３５の値ｄｉ２を時刻ｔ２に対して描画したものである。

　線分８１ｃは、指標視差３５から代表視差３２を減算した減算結果（差分）の時間的な変化を示す線分である。点ｐ５は、立体指標画像Ｇ６ａの指標視差３５から第１立体画像Ｇ５ａの代表視差３２を減算した減算結果の値ｓｕ１を時刻ｔ１に対して描画したものである。また、点ｐ６は、立体指標画像Ｇ６ｂの指標視差３５から第１立体画像Ｇ５ｂの代表視差３２を減算した減算結果の値ｓｕ２を時刻ｔ２に対して描画したものである。

　立体指標画像Ｇ６ａおよびＧ６ｂにそれぞれ関する複数の指標視差３５を生成処理において、視差生成部１６は、例えば、先ず、立体指標画像Ｇ６の指標視差３５から第１立体画像Ｇ５の代表視差３２を時系列順に減算した減算結果の値ｓｕ１およびｓｕ２を設定する。該設定は、値ｓｕ１およびｓｕ２が（２）式の関係をみたすように負数の値ｓｕ１およびｓｕ２を設定することによって行われる。なお、値ｓｕ１が既に設定されている場合には、値ｓｕ２のみが設定される。

　値ｓｕ１およびｓｕ２が設定されると、視差生成部１６は、設定した値ｓｕ１およびｓｕ２と、決定部１４から供給された代表視差３２の値ｄｍ１およびｄｍ２とを（３）式および（４）式に代入して立体指標画像Ｇ６ａおよびＧ６ｂにそれぞれ関する複数の指標視差３５の値ｄｉ１およびｄｉ２を算出することによって、立体指標画像Ｇ６ａおよびＧ６ｂにそれぞれ関する複数の指標視差３５をそれぞれ生成する。

　なお、第１立体画像Ｇ５を時系列的ではなく、それぞれ１つの第１左目用画像５Ｌと第１右目用画像５Ｒによって構成されている場合、すなわち値ｄｍ１とｄｍ２とのうちｄｍ１のみが取得される場合には、視差生成部１６は、値ｄｍ１を値ｄｍ２に設定することによって立体指標画像Ｇ６ａおよびＧ６ｂにそれぞれ関する複数の指標視差３５をそれぞれ生成する。生成された複数の指標視差３５は、立体指標画像生成部１８へと供給される。

　また、値ｓｕ１から値ｓｕ２への減少の態様、すなわち指標視差３５から代表視差３２を減算した減算結果（差分）についての時系列的な減少の態様は、予め設定された視差生成部１６に係る動作モードに応じて、例えば、代表視差３２の値、代表視差３２の時系列的な変化率、種別情報３３、環境情報３４、および第１立体画像Ｇ５の画素値情報のうち少なくとも１つに応じて設定され得る。視差生成部１６による該設定によって、第１立体画像Ｇ５と立体指標画像Ｇ６との観察に係る時系列的な遠近差の増加率、すなわち組合せ部１９が生成する第２立体画像Ｇ７（図２）における観察対象物画像と指標用物体の画像との時系列的な遠近差の増加率を、代表視差３２の値、代表視差３２の時系列的な変化率、種別情報３３、環境情報３４、および第１立体画像Ｇ５の画素値情報のうち少なくとも１つに応じて設定することができる。

　代表視差３２の値に応じて、指標視差３５から代表視差３２を減算した減算結果（差分）についての時系列的な減少の態様が設定される場合には、視差生成部１６は、例えば、時刻ｔ１における代表視差３２の値が大きければ大きいほど、すなわち、所定の基準原点から観察される第１立体画像Ｇ５ａの距離が近方であればあるほど、値ｓｕ１から値ｓｕ２への減少率を小さく設定する。該設定は、第１立体画像Ｇ５の距離が近い場合には、該距離が遠い場合に比べて第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差の時系列的な増加率が小さくても、第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得ることに基づいて行われる。

　代表視差３２の時系列的な変化率に応じて、指標視差３５から代表視差３２を減算した減算結果（差分）についての時系列的な減少の態様が設定される場合には、視差生成部１６は、例えば、代表視差３２の時系列的な変化率が大きければ大きいほど、すなわち、所定の基準原点から観察される第１立体画像Ｇ５の距離の変化率が大きければ大きいほど、値ｓｕ１から値ｓｕ２への減少率を小さく設定する。該設定は、第１立体画像Ｇ５の距離の変化率が大きい場合には、該変化率が小さい場合に比べて第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差の時系列的な増加率が小さくても第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得ることに基づいて行われる。

　観察者の種別情報３３に応じて、指標視差３５から代表視差３２を減算した減算結果（差分）についての時系列的な減少の態様が設定される場合においては、視差生成部１６は、例えば、種別情報３３が幼児または高齢者などに対応したものである場合には、種別情報３３が１０歳代～２０歳代の若年層に対応したものである場合に比べて、値ｓｕ１から値ｓｕ２への減少率を小さく設定する。該設定は、観察者が幼児または高齢者などである場合には、若年層に比べて視覚的な変化の影響による体調不良や目の疲労が発生し易いことに基づいて行われる。

　観察環境についての環境情報３４に応じて、指標視差３５から代表視差３２を減算した減算結果（差分）についての時系列的な減少の態様が設定される場合には、視差生成部１６は、例えば、種別情報３３に基づいて観察環境の照度を推定し、照度が高い場合には、低い場合に比べて、値ｓｕ１から値ｓｕ２への減少率を小さく設定する。該設定は、観察環境の照度が高い場合には低い場合に比べて第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差の時系列的な増加率が小さくても第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得ることに基づいて行われる。

　第１立体画像Ｇ５の全体および注目領域のうち少なくとも１つの画素値情報に応じて、指標視差３５から代表視差３２を減算した減算結果（差分）についての時系列的な減少の態様が設定される場合には、第１立体画像Ｇ５の画素値が大きい場合には、画素値が小さい場合に比べて値ｓｕ１から値ｓｕ２への減少率を小さく設定する。該設定は、第１立体画像Ｇ５の画素値が大きい場合には、小さい場合に比べて第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差の時系列的な増加率が小さくても第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得ることに基づいて行われる。

　図１０に示される設定例では、立体指標画像Ｇ６の指標視差３５の生成方法においては、２つの時刻における第１立体画像Ｇ５に関する情報に基づいて指標視差３５の生成が行われているが、例えば、３以上の各時刻における第１立体画像Ｇ５に関する情報に基づいて図１０の設定例と同様にして指標視差３５の生成が行われたとしても本発明の有用性を損なうものではない。３以上の各時刻における第１立体画像Ｇ５に関する情報に基づいて指標視差３５の生成が行われれば、２つの時刻における第１立体画像Ｇ５に関する情報に基づいて指標視差３５の生成が行われる場合に比べて第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差の時系列的な変動を安定化することができ、第２立体画像Ｇ７を観察する観察者が覚える違和感をより軽減し得る。

　同様に、２つの時刻における第１立体画像Ｇ５に関する情報に基づいて図１０に示された手法によって指標視差３５の生成する生成処理を繰り返す場合において、例えば、前回の生成処理における、指標視差３５と代表視差３２との差分の減少率に所定の重み付けをした値と、処理中の生成処理における２つの時刻における第１立体画像Ｇ５に関する情報に基づいた指標視差３５の生成処理における該減少率との平均値を、該処理中の生成処理における該減少率の最終的な値として採用して指標視差３５が生成されたとしても本発明の有用性を損なうものではない。

　○位置指定部１７ａ：
　図２に示された位置指定部１７ａは、各時刻における立体指標画像Ｇ６の位置に関する情報である代表位置情報３６を生成する。立体指標画像Ｇ６の位置は、立体指標画像Ｇ６を構成する左目用指標画像６Ｌと右目用指標画像６Ｒとのそれぞれに関する位置であることから、「代表位置」とも称される。生成された代表位置情報３６は、立体指標画像生成部１８へと供給される。後述するように、立体指標画像生成部１８は、代表位置情報３６と指標視差３５などに基づいて立体指標画像Ｇ６を構成する左目用指標画像６Ｌと右目用指標画像６Ｒの画像空間における位置をそれぞれ設定し、左目用指標画像６Ｌと右目用指標画像６Ｒとを生成する。

　なお、位置指定部１７ａは、設定された動作モードに応じて、立体指標画像Ｇ６の代表位置情報３６の生成手法として複数の手法を行い得る。

　・代表位置生成モード１について：
　位置指定部１７ａは、代表位置生成モード１が設定されている場合には、第１立体画像Ｇ５の画像空間における注目領域の時系列的な位置変化に追随して立体指標画像Ｇ６の位置が時系列的に変化するように、各時刻における立体指標画像Ｇ６の代表位置に関する情報である代表位置情報３６をそれぞれ生成する。

　図１１は、代表位置生成モード１における立体指標画像Ｇ６の位置の時系列的な変化の１例を示す図である。図１１においては、時刻ｔ１（図１０）における第１左目用画像５Ｌ３と、時刻ｔ２（図１０）における第１左目用画像５Ｌ４とが同一の画像空間に重ねて表示されている。第１左目用画像５Ｌ３は、観察対象物に係る左目用の観察対象物画像１Ｌ３を含んでおり、第１左目用画像５Ｌ４は、観察対象物に係る左目用の観察対象物画像１Ｌ４を含んでいる。また、第１左目用画像５Ｌ３および５Ｌ４のそれぞれの画像領域は、検出部１３によって注目領域として検出されている。

　図１１に示されるように、時刻ｔ１から時刻ｔ２への時間経過の間に、左目用の観察対象物画像の位置は、矢印Ｙ１に沿って観察対象物画像１Ｌ３の位置から観察対象物画像１Ｌ４の位置まで移動している。また、図１１においては、時刻ｔ１における立体指標画像Ｇ６に係る左目用指標画像６Ｌ３は、第１左目用画像５Ｌ３に配置された態様で表示されている。また、時刻ｔ２における立体指標画像Ｇ６に係る左目用指標画像６Ｌ４は、第１左目用画像５Ｌ４に配置された態様で表示されている。

　左目用指標画像６Ｌ３および６Ｌ４は、位置指定部１７ａが生成した、時刻ｔ１およびｔ２にそれぞれ対応した代表位置情報３６に基づいて、立体指標画像生成部１８によってそれぞれ生成されている。時刻ｔ１から時刻ｔ２への時間経過の間に、立体指標画像Ｇ６に係る左目用指標画像の位置は、観察対象物画像、すなわち注目領域の時系列的な位置変化に追随して、左目用指標画像６Ｌ３の位置から矢印Ｙ２に沿って左目用指標画像６Ｌ４の位置まで移動されている。

　図１１に示されるように、代表位置生成モード１に設定された位置指定部１７ａによって生成された代表位置情報３６に基づいて立体指標画像Ｇ６が生成された場合には、第１立体画像Ｇ５の注目領域と、立体指標画像Ｇ６との相対的な位置関係が、時間的に変動しないため、第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得る。

　・代表位置生成モード２について：
　位置指定部１７ａは、代表位置生成モード２が設定されている場合には、立体指標画像Ｇ６における所定の指標用物体の画像が時系列的に所定の消失点（Focus of Expansion：FOE）に向かって遠ざかるように、各時刻における立体指標画像Ｇ６の代表位置に関する情報である代表位置情報３６をそれぞれ生成する。なお、消失点は、カメラに対する指標用物体の相対的な移動方向によって定められる定点であり、指標用物体の移動方向を予め設定しておくことによって求められる。

　図１２は、代表位置生成モード２における立体指標画像Ｇ６の位置の時系列的な変化の１例を示す図である。図１２においては、時刻ｔ１（図１０）における立体指標画像Ｇ６に係る左目用指標画像６Ｌ５が、時刻ｔ１における第１立体画像Ｇ５に係る第１左目用画像５Ｌ５の画像空間に配置された態様で表示されている。また、時刻ｔ２（図１０）における立体指標画像Ｇ６に係る左目用指標画像６Ｌ６が、時刻ｔ２における第１立体画像Ｇ５に係る第１左目用画像５Ｌ６の画像空間に配置された態様で表示されている。

　左目用指標画像６Ｌ５および６Ｌ６は、位置指定部１７ａが生成した、時刻ｔ１およびｔ２にそれぞれ対応した代表位置情報３６に基づいて、立体指標画像生成部１８によってそれぞれ生成されている。

　図１２に示されるように、時刻ｔ１から時刻ｔ２への時間経過の間に、左目用指標画像の位置は、消失点１０４に向けて２次元移動ベクトル９１ａおよび９１ｂに沿って、左目用指標画像６Ｌ５の位置から左目用指標画像６Ｌ６の位置まで移動している。

　図１２に示されるように、代表位置生成モード２に設定された位置指定部１７ａによって生成された代表位置情報３６に基づいて立体指標画像Ｇ６が生成された場合には、立体指標画像Ｇ６における所定の指標用物体の画像が時系列的に所定の消失点に向かって遠ざかるように、各時刻における立体指標画像Ｇ６が生成されるため、第２立体画像Ｇ７を観察する観察者が覚える奥行き感を向上させ得る。

　なお、図１２においては、後述するサイズ指定部１７ｂが生成したサイズ情報３７に起因して、時間の経過に従って左目用指標画像のサイズが小さく生成されているが、該サイズが変更されることなく、左目用指標画像６Ｌ５の位置から消失点１０４に向けて左目用指標画像６Ｌ６の位置まで左目用指標画像が移動されたとしても本発明の有用性を損なうものではない。

　また、上述した代表位置生成モード１および２においては、立体指標画像Ｇ６における所定の指標用物体の画像が時系列的に移動されているが、該移動が成されないとしても、すなわち、指標用物体の画像の位置が時間的に固定されているとしても本発明の有用性を損なうものではない。

　○サイズ指定部１７ｂ：
　図２に示されるサイズ指定部１７ｂは、立体指標画像Ｇ６中に現れている指標用物体の大きさを時系列的に減少させるように、各時刻における立体指標画像Ｇ６の画像空間上での大きさに関する情報であるサイズ情報３７をそれぞれ生成する。生成されたサイズ情報３７は、立体指標画像生成部１８へと供給される。立体指標画像生成部１８は、サイズ情報３７と指標視差３５などに基づいて立体指標画像Ｇ６を構成する左目用指標画像６Ｌと右目用指標画像６Ｒの画像空間における大きさをそれぞれ設定し、左目用指標画像６Ｌと右目用指標画像６Ｒとを生成する。

　サイズ指定部１７ｂによって生成されたサイズ情報３７に基づいて立体指標画像Ｇ６が生成される場合には、立体指標画像生成部１８は、立体指標画像Ｇ６中に現れている指標用物体の大きさを時系列的に減少させつつ、第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差を変化させ得る。第２立体画像Ｇ７を観察する観察者は、該遠近差による奥行き感だけでなく指標用物体の大きさの減少による奥行き感をも覚え得るので、該観察者が覚える奥行き感を向上させ得る。

　なお、サイズ指定部１７ｂが、立体指標画像Ｇ６を構成する左目用指標画像６Ｌと右目用指標画像６Ｒの画像空間における大きさを時系列的に変更しないとしても、すなわち、指標用物体の画像の大きさが時間的に固定されているとしても本発明の有用性を損なうものではない。

　○立体指標画像生成部１８：
　図２に示される立体指標画像生成部１８は、指標視差３５（図２）、代表位置情報３６（図２）、サイズ情報３７（図２）、および原指標画像６Ｓ（図２）のそれぞれに基づいて、同一の画像表示条件において観察対象物の時系列的な第１立体画像Ｇ５（図２）よりも遠方に観察されるような視差を持った、指標用物体の時系列的な立体指標画像Ｇ６（図２）を生成する。なお、該時系列的な立体指標画像Ｇ６は、第１立体画像Ｇ５の視差の代表値と立体指標画像Ｇ６の視差との差分に対応した、第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差が時系列的に増加するように生成される。

　生成された時系列的な立体指標画像Ｇ６は、組合せ部１９へと供給される。組合せ部１９は、生成された時系列的な複数の立体指標画像Ｇ６と、時系列的な複数の第１立体画像Ｇ５とを時系列順に組み合わせて、時系列的な第２立体画像Ｇ７、すなわち時系列的な第２左目用画像７Ｌおよび第２右目用画像７Ｒを生成する。

　図６および図７は、立体指標画像生成部１８によって生成された立体指標画像Ｇ６（図２）の１例として、立体指標画像Ｇ６ａおよびＧ６ｂをそれぞれ示す図である。

　立体指標画像Ｇ６ａ（図６）を構成する左目用指標画像６Ｌ１と右目用指標画像６Ｒ１とは、ある時刻ｔ１における指標用物体が同期してそれぞれ表現された画像であるとともに、立体指標画像Ｇ６ｂ（図７）を構成する左目用指標画像６Ｌ２と右目用指標画像６Ｒ２とは、時刻ｔ１から所定の時間が経過した時刻ｔ２において該指標用物体が同期してそれぞれ表現された画像である。すなわち、立体指標画像Ｇ６ａとＧ６ｂとは、時系列的な立体指標画像Ｇ６（図２）を構成している。

　なお、該指標用物体に係る時刻ｔ１およびｔ２は、第１立体画像Ｇ５ａ（図４）および第１立体画像Ｇ５ｂ（図５）に係る時刻ｔ１およびｔ２とそれぞれ同じ時刻である。また、後述する第２立体画像Ｇ７ａ（図８）および第２立体画像Ｇ７ｂ（図９）に係る時刻ｔ１およびｔ２も、第１立体画像Ｇ５ａ（図４）および第１立体画像Ｇ５ｂ（図５）に係る時刻ｔ１およびｔ２とそれぞれ同じ時刻である。

　左目用指標画像６Ｌ１および６Ｌ２は、第１左目用画像５Ｌ１（図４）および５Ｌ２（図５）の画像空間にそれぞれ配置された態様で示されており、右目用指標画像６Ｒ１および６Ｒ２は、第１右目用画像５Ｒ１（図４）および５Ｒ２（図５）の画像空間にそれぞれ配置された態様で示されている。

　左目用指標画像６Ｌ１および６Ｌ２は、指標用物体を時系列に表現した各画像をそれぞれ含んだ複数の左目用指標画像６Ｌ、すなわち時系列的な左目用指標画像６Ｌ（図２）を構成している。また、右目用指標画像６Ｒ１および６Ｒ２は、指標用物体を時系列に表現した各画像をそれぞれ含んだ複数の右目用指標画像６Ｒ、すなわち時系列的な右目用指標画像６Ｒを構成している。

　左目用指標画像６Ｌ１および右目用指標画像６Ｒ１は、相互に画像空間におけるサイズが等しく、左目用指標画像６Ｌ２および右目用指標画像６Ｒ２も、相互に画像空間におけるサイズが等しい。また、左目用指標画像６Ｌ１のサイズは、左目用指標画像６Ｌ２のサイズよりも大きい。

　ここで、第１左目用画像５Ｌ１の画像空間における左目用指標画像６Ｌ１の位置に対して、第１右目用画像５Ｒ１の画像空間における右目用指標画像６Ｒ１の位置は、右（＋Ｘ側）にずれた関係を有している。また、第１左目用画像５Ｌ２の画像空間における左目用指標画像６Ｌ２の位置に対して、第１右目用画像５Ｒ２の画像空間における右目用指標画像６Ｒ２の位置も、右（＋Ｘ側）にずれた関係を有している。従って、左目用指標画像６Ｌ１と右目用指標画像６Ｒ１とは、相互に負数の視差を有しているとともに、左目用指標画像６Ｌ２と右目用指標画像６Ｒ２とは、相互に負数の視差を有している。なお、第１右目用画像５Ｒ１の画像空間には、比較が容易となるように、第１左目用画像５Ｌ１の画像空間における左目用指標画像６Ｌ１、すなわち指標用物体の画像の外縁に対応した位置が破線で示されている。同様に、第１右目用画像５Ｒ２の画像空間には、第１左目用画像５Ｌ２における左目用指標画像６Ｌ２、すなわち指標用物体の画像の外縁に対応した位置が破線で示されている。

　図６および図７に示された指標用物体に係る時系列的な立体指標画像Ｇ６は、図４および図５に示された観察対象物に係る時系列的な第１立体画像Ｇ５よりも遠方に観察されるような視差（図２における指標視差３５）を有している。また、該時系列的な立体指標画像Ｇ６は、第１立体画像Ｇ５の視差の代表値と立体指標画像Ｇ６の視差との差分に対応した、第１立体画像Ｇ５と立体指標画像Ｇ６との遠近差が時系列的に増加するように生成されている。

　・立体指標画像Ｇ６の生成方法：
　図１３は、立体指標画像Ｇ６（図２）の生成方法の１例を説明するための図である。立体指標画像生成部１８は、操作部４２からの特定処理などによって予め特定された指標用物体に係る画像である原指標画像６Ｓ（図２）を、記憶装置４６から取得するとともに、原指標画像６Ｓと、視差生成部１６、位置指定部１７ａ、およびサイズ指定部１７ｂからそれぞれ供給された指標視差３５、代表位置情報３６、およびサイズ情報３７と、原指標画像６Ｓとに基づいて時系列的な立体指標画像Ｇ６を生成する。

　図１３に示された原指標画像６Ｓ、中間指標画像６Ｃ、左目用指標画像６Ｌ、および右目用指標画像６Ｒは、それぞれ画像空間が一致するように配置された第１左目用画像５Ｌおよび第１右目用画像５Ｒに対応した画像空間に配置された態様で示されている。

　立体指標画像Ｇ６に係る左目用指標画像６Ｌおよび右目用指標画像６Ｒは、例えば、特定のマーカーであれば良い。特定のマーカーは、例えば、固有の特徴を有し、ユーザーによって左眼用画像ＧＬおよび右眼用画像ＧＲに元々含まれる物体とは容易に区別可能なものであれば良い。固有の特徴は、例えば、形状、色、およびテクスチャー等によって実現され得る。

　第１左目用画像５Ｌおよび第１右目用画像５Ｒが実在する物体を捉えた画像である場合、特定のマーカーは、ＣＧ等で形成されたマーカー等であれば良い。このとき、特定のマーカーとしては、例えば、図１３に示された星形の他、棒（矩形）、三角形、および矢印等といった各種の単純な形状、ならびに花瓶および蝶等といった各種のオブジェ等が考えられる。これにより、観察者が第１左目用画像５Ｌと第１右目用画像５Ｒとに元々含まれる物体と特定のマーカーとを混同し難くなる。

　また、特定のマーカーが、固有の形状、固有の色、および固有のテクスチャー等を有する一方で、半透明なものであれば、左眼用画像ＧＬおよび右眼用画像ＧＲに基づく画像の表示が阻害され難くなる。

　原指標画像６Ｓは、例えば、マーカーの各部位にそれぞれ対応した各画素について、画像空間における画素座標と、画素値とが対応づけられた態様の画像情報として記憶装置４６に記憶されている。原指標画像６Ｓは、立体指標画像生成部１８によって取得されて立体指標画像Ｇ６を構成する左目用指標画像６Ｌおよび右目用指標画像６Ｒの生成に用いられる。

　中間指標画像６Ｃは、位置指定部１７ａによって指定された代表位置情報３６に基づいて特定される位置に仮想的に配置された、原指標画像６Ｓの画像を表している。原指標画像６Ｓは、例えば、原指標画像６Ｓの空間的な重心位置が、代表位置情報３６によって特定される位置に一致するように配置される。

　左目用指標画像６Ｌは、中間指標画像６ＣがＸ軸に平行な経路１１１に沿って－Ｘ方向に移動された位置に示されている。また、右目用指標画像６Ｒは、中間指標画像６Ｃが、Ｘ軸に平行な経路１１２に沿って＋Ｘ方向に移動された位置に示されている。立体指標画像生成部１８は、左目用指標画像６Ｌおよび右目用指標画像６Ｒの位置（重心位置など）のＸ座標を、（５）式および（６）式によってそれぞれ求める。左目用指標画像６Ｌおよび右目用指標画像６Ｒの位置のＹ座標としては、代表位置情報３６によって特定される位置のＹ座標がそのまま採用される。

　左目用指標画像６Ｌおよび右目用指標画像６Ｒの位置がそれぞれ求められると、立体指標画像生成部１８は、原指標画像６Ｓを経路１１３および１１４にそれぞれ沿って、求められた左目用指標画像６Ｌおよび右目用指標画像６Ｒの各位置までそれぞれ平行移動させることによって左目用指標画像６Ｌおよび右目用指標画像６Ｒを生成する。

　（５）式および（６）式によって左目用指標画像６Ｌおよび右目用指標画像６Ｒの位置が特定された場合には、左目用指標画像６Ｌと右目用指標画像６Ｒとに対して指標視差３５がそれぞれ半分ずつ均等に割り振られているが、例えば、中間指標画像６Ｃの位置と左目用指標画像６Ｌの位置とを一致させるとともに、右目用指標画像６Ｒに対して指標視差３５を全て割り振ることによって右目用指標画像６Ｒの位置が特定されたとしても本発明の有用性を損なうものではない。

　また、図１３の例では、原指標画像６Ｓが左目用指標画像６Ｌおよび右目用指標画像６Ｒの位置にそれぞれ直接移動されることによって、左目用指標画像６Ｌおよび右目用指標画像６Ｒが生成されているが、原指標画像６Ｓが、一旦、中間指標画像６Ｃの位置に移動された後、左目用指標画像６Ｌおよび右目用指標画像６Ｒの位置にそれぞれ移動されることによって、左目用指標画像６Ｌおよび右目用指標画像６Ｒが生成されたとしても本発明の有用性を損なうものではない。

　・立体指標画像Ｇ６の他の例について：
　図１４および図１５は、立体指標画像の１例をそれぞれ示す図である。図１４においては、矩形上の２つのマーカーによって構成された左目用指標画像６Ｌａが第２左目用画像７Ｌａに配置された態様で示されている。より詳細には、第２左目用画像７Ｌａは、外縁１０７によって囲まれた画像領域を有している。第２左目用画像７Ｌａの内部には、外縁１０６によって囲まれた画像領域を有する第１左目用画像５Ｌが内包されており、左目用指標画像６Ｌａは、第１左目用画像５Ｌの外縁１０６と、第２左目用画像７Ｌａの外縁１０７とによって囲まれた領域１０８に内包されて配置されている。

　左目用指標画像６Ｌａは、矩形状の画像パターンによって構成されている。該画像パターンは、記憶装置４６等に予め格納された画像パターンが立体指標画像生成部１８によって読み出されることによって取得される。この画像パターンとしては、例えば、比較的大きなドットがランダムに配列された特定の模様を示す画像パターンなどが採用され得る。

　なお、左目用指標画像６Ｌａが採用された場合には、位置指定部１７ａの動作モードは代表位置生成モード１に設定される。位置指定部１７ａは、例えば、観察対象物画像１Ｌを注目領域として検出する検出部１３が出力する代表位置情報３６に基づいて、左目用指標画像６Ｌａの位置が、観察対象物画像１Ｌの時系列的な移動に追随して移動するように代表位置情報３６を生成する。

　図１５においては、枠状のマーカーによって構成された左目用指標画像６Ｌｂが第２左目用画像７Ｌｂに配置された態様で示されている。第２左目用画像７Ｌｂと第２左目用画像７Ｌａ（図１４）との差異は、左目用指標画像６Ｌｂと左目用指標画像６Ｌａとの形状の相違および代表位置の移動の有無である。左目用指標画像６Ｌｂが採用された場合には、位置指定部１７ａは、図１５に示された左目用指標画像６Ｌｂの初期の代表位置（左目用指標画像と右目用指標画像との中間位置など）を恒久的に示す代表位置情報３６を生成し、左目用指標画像６Ｌｂの代表位置の時系列的な移動は行われない。左目用指標画像６Ｌａ（図１４）または左目用指標画像６Ｌｂ（図１５）に係る立体指標画像Ｇ６（図２）と、第１左目用画像５Ｌに係る第１立体画像Ｇ５（図２）とが、組合せ部１９によって第２立体画像Ｇ７（図２）として組み合わされる場合には、通常、例えば、領域１０８（図１４、図１５）に係る画像も併せて組み合わされる。なお、領域１０８が組み合わされることなく、第１左目用画像５Ｌに係る第１立体画像Ｇ５上に左目用指標画像６Ｌａまたは左目用指標画像６Ｌｂに係る立体指標画像Ｇ６が表示されるように、第１立体画像Ｇ５と立体指標画像Ｇ６とが組み合わされたとしても本発明の有用性を損なうものではない。

　○組合せ部１９：
　図２に示される組合せ部１９は、立体画像取得部１２から供給される第１立体画像Ｇ５と、立体指標画像生成部１８から供給される立体指標画像Ｇ６とを組み合わせることによって、時系列的な第２立体画像Ｇ７、すなわち時系列的な第２左目用画像７Ｌおよび第２右目用画像７Ｒを生成する。

　図８および図９は、組合せ部１９によって生成された時系列的な第２立体画像Ｇ７（図２）の１例として、第２立体画像Ｇ７ａおよびＧ７ｂをそれぞれ示す図である。

　第２立体画像Ｇ７ａ（図８）を構成する第２左目用画像７Ｌ１と第２右目用画像７Ｒ１とは、ある時刻ｔ１における観察対象物と指標用物体とが同期してそれぞれ表現された画像であるとともに、第２立体画像Ｇ７ｂ（図９）を構成する第２左目用画像７Ｌ２と第２右目用画像７Ｒ２とは、時刻ｔ１から所定の時間が経過した時刻ｔ２において該観察対象物と該指標用物体とが同期してそれぞれ表現された画像である。すなわち、第２立体画像Ｇ７ａとＧ７ｂとは、時系列的な第２立体画像Ｇ７（図２）を構成している。

　ここで、第２立体画像Ｇ７ａ（図８）は、第１立体画像Ｇ５ａ（図４）と立体指標画像Ｇ６ａ（図６）とが組合せ部１９によって組み合わされて生成されている。また、第２立体画像Ｇ７ｂ（図９）は、第１立体画像Ｇ５ｂ（図５）と、立体指標画像Ｇ６ｂ（図７）とが組合せ部１９によって組み合わされて生成されている。

　従って、第２立体画像Ｇ７ａおよびＧ７ｂによって構成された時系列的な第２立体画像Ｇ７においては、左目用指標画像６Ｌ１および６Ｌ２と、右目用指標画像６Ｒ１および６Ｒ２とのそれぞれによって示された指標用物体に係る時系列的な立体指標画像は、観察対象物画像１Ｌ１および１Ｌ２と、観察対象物画像１Ｒ１および１Ｒ２とのそれぞれよって示された観察対象物に係る時系列的な第１立体画像よりも遠方に観察される。また、指標用物体に係る該時系列的な立体指標画像と、観察対象物に係る該時系列的な第１立体画像との遠近差は、時系列的に増加するように観察される。

　すなわち、第２立体画像Ｇ７ａおよびＧ７ｂによって構成された時系列的な第２立体画像Ｇ７においては、観察対象物に対して指標用物体が時系列的に遠ざかる様に観察される。このように、組合せ部１９によって生成された時系列的な第２立体画像Ｇ７においては、観察対象物と指標用対象物とについての遠近感が動的（時系列的）に広がりつつ観察されるような立体化が行われている。従って、第２立体画像Ｇ７を観察する観察者が覚える奥行き感が向上され得る。

　＜画像処理装置の動作フロー：＞
　図１６～図１８は、実施形態に係る画像処理装置２００Ａの動作フローの１例として、動作フローＳ１００Ａを示すフローチャートである。なお、動作フローＳ１００Ａは、第１立体画像Ｇ５、立体指標画像Ｇ６、および第２立体画像Ｇ７が生成等されていない状況から第２立体画像Ｇ７の生成処理が開始される場合の動作フローの例を示している。

　動作フローＳ１００Ａは、ＣＰＵ１１ＡによってＲＯＭ４４内のプログラムＰＧ１と記憶装置４６内の検出プログラムＰＧ２とが読み込まれて実行されることで実現される。例えば、ユーザーによる操作部４２の操作に応じて画像処理装置２００Ａにおける立体画像に係る画像処理の実行が要求され、動作フローＳ１００Ａが開始される。

　図１６におけるステップＳ１１０においては、立体画像取得部１２が観察対象物に係る第１立体画像Ｇ５を取得する。

　ステップＳ１２０では、決定部１４が、第１立体画像Ｇ５の視差の代表視差３２を決定する。なお、検出部１３によって第１立体画像Ｇ５の注目領域が検出された場合には、注目領域を対象として視差の代表視差３２が決定される。

　ステップＳ１３０では、視差生成部１６、位置指定部１７ａ、および１７ｂが、指標用物体の立体画像（立体指標画像Ｇ６）に係る指標視差３５、代表位置情報３６、およびサイズ情報３７をそれぞれ取得する。

　ステップＳ１４０では、指標視差３５、代表位置情報３６、およびサイズ情報３７と、原指標画像６Ｓとに基づいて、立体指標画像生成部１８が指標物体に係る立体指標画像Ｇ６を生成する。なお、ステップＳ１４０の開始時点では、既存の立体指標画像Ｇ６が存在しないため、指標視差３５としては、例えば、第１立体画像Ｇ５の視差から記憶装置４６などに記憶された所定の視差が減算された視差などが指標視差３５として採用される。また、代表位置情報３６としても、同様に、立体指標画像Ｇ６の所定の初期位置が代表位置情報３６として採用される。

　ステップＳ１５０では、組合せ部１９が第１立体画像Ｇ５と立体指標画像Ｇ６とを組み合わせることによって第２立体画像Ｇ７を生成する。また、生成された第２立体画像Ｇ７は、表示部４３に表示される。

　ステップＳ１６０では、立体画像取得部１２が観察対象物に係る新たな第１立体画像Ｇ５を取得する。

　ステップＳ１７０では、決定部１４が、第１立体画像Ｇ５の視差の代表視差３２を決定する。なお、検出部１３によって第１立体画像Ｇ５の注目領域が検出された場合には、注目領域を対象として視差の代表視差３２が決定される。

　ステップＳ１８０では、視差生成部１６が、立体指標画像Ｇ６の視差（指標視差３５）から第１立体画像Ｇ５の視差の代表値を減算した減算結果が時系列的に減少するように新たな立体指標画像Ｇ６に係る視差（指標視差３５）を取得する。

　ステップＳ１９０では、サイズ指定部１７ｂによって、サイズ指定部１７ｂに係る動作モードが、指標用物体の画像の画像空間におけるサイズを変更する動作モードであるか否かが判断される。

　ステップＳ１９０での判断の結果、指標用物体の画像の画像空間におけるサイズを変更する動作モードが設定されていた場合には、ステップＳ２００において、サイズ指定部１７ｂが、該サイズが時系列的に減少するようにサイズ情報３７を変更し、処理はステップＳ２１０に移される。

　ステップＳ１９０での判断の結果、指標用物体の画像の画像空間におけるサイズを変更する動作モードが設定されていなかった場合には、サイズ指定部１７ｂによるサイズ情報３７の変更は行われず、処理はステップＳ２１０に移される。

　ステップＳ２１０では、位置指定部１７ａによって、位置指定部１７ａに係る動作モードが、指標用物体の画像の画像空間における代表位置を変更する動作モードであるか否かが判断される。

　ステップＳ２１０での判断の結果、指標用物体の画像の画像空間における代表位置を変更する動作モードが設定されていた場合には、ステップＳ２２０において、位置指定部１７ａが、その動作モードに応じて指標用物体の画像の画像空間における代表位置に係る代表位置情報３６を変更し、処理はステップＳ２３０に移される。

　ステップＳ２１０での判断の結果、指標用物体の画像の画像空間における代表位置を変更する動作モードが設定されていなかった場合には、位置指定部１７ａによる代表位置情報３６の変更は行われず、処理は、ステップＳ２３０に移される。

　ステップＳ２３０では、指標視差３５、代表位置情報３６、およびサイズ情報３７と、原指標画像６Ｓとに基づいて、立体指標画像生成部１８が指標用物体に係る新たな立体指標画像Ｇ６を生成する。生成された新たな立体指標画像Ｇ６は、同一の画像表示条件において観察対象物についての新たな第１立体画像Ｇ５（ステップＳ１６０）よりも遠方に観察されるような視差を持った立体画像となる。

　ステップＳ２４０では、組合せ部１９が、ステップ１６０において取得された新たな第１立体画像Ｇ５と、ステップＳ２３０において生成された新たな立体指標画像Ｇ６とを組み合わせることによって新たな第２立体画像Ｇ７を生成する。また、生成された第２立体画像Ｇ７は、表示部４３に表示される。該新たな第２立体画像Ｇ７においては、ステップＳ１５０において生成された第２立体画像Ｇ７に比べて、指標用物体が観察対象物から遠ざかった様に観察される。

　ステップＳ２５０では、立体画像取得部１２によって、観察対象物に係る全ての第１立体画像Ｇ５の取得が完了したか否かが判断される。

　ステップＳ２５０での判断の結果、観察対象物に係る全ての第１立体画像Ｇ５の取得が完了していなければ、処理はステップＳ１６０へと戻される。

　ステップＳ２５０での判断の結果、観察対象物に係る全ての第１立体画像Ｇ５の取得が完了していれば、動作フローＳ１００Ａに係る処理は終了される。

　上述した動作フローによれば、組合せ部１９によって生成された時系列的な第２立体画像Ｇ７においては、観察対象物と指標用対象物とについての遠近感が動的（時系列的）に広がりつつ観察されるような立体化が行われている。従って、第２立体画像Ｇ７を観察する観察者が覚える奥行き感が向上され得る。

　＜変形例について：＞
　以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

　例えば、上述した動作フローＳ１００Ａでは、画像処理装置２００Ａは、新たな第１立体画像Ｇ５が取得される毎に、第２立体画像Ｇ７を生成するとともに、表示部４３に表示することによって、表示部４３に時系列的な第２立体画像Ｇ７を表示する処理を行う。これに対して、例えば、画像処理装置２００Ａが、予め録画された時系列的な第１立体画像Ｇ５が一括して取得し、取得した時系列的な第１立体画像Ｇ５における各第１立体画像Ｇ５に対してそれぞれ第２立体画像Ｇ７を一括生成することによって、時系列的な第２立体画像Ｇ７を生成し、生成処理が完了した時系列的な第２立体画像Ｇ７を表示部４３に動画の立体画像として表示する処理を行ったとしても本発明の有用性を損なうものではない。

　１００Ａ　画像処理システム
　２００Ａ　画像処理装置
　３００　ステレオカメラ
　５Ｌ　第１左目用画像
　５Ｒ　第１右目用画像
　６Ｌ　左目用指標画像
　６Ｒ　右目用指標画像
　６Ｓ　原指標画像
　７Ｌ　第２左目用画像
　７Ｒ　第２右目用画像
　３１　領域情報
　３２　代表視差
　３３　種別情報
　３４　環境情報
　３５　指標視差
　３６　代表位置情報
　３７　サイズ情報
　Ｇ５　第１立体画像
　Ｇ６　立体指標画像
　Ｇ７　第２立体画像
　ＰＧ２　検出プログラム

Claims

　同一の画像表示条件において観察対象物の時系列的な第１立体画像よりも遠方に観察されるような視差を持った、時系列的な立体指標画像を生成する立体指標画像生成部と、
　前記第１立体画像と前記立体指標画像とを時系列順に組み合わせて、時系列的な第２立体画像を生成する組合せ部と、
を備え、
　前記立体指標画像生成部は、前記第１立体画像の視差の代表値と前記立体指標画像の視差との差分に対応する遠近差が時系列的に増加するように、前記立体指標画像を生成する画像処理装置。
　請求項１に記載された画像処理装置であって、
　予め設定された検出規則に従って、前記第１立体画像中で観察者の目を惹くものと予測される注目領域をそれぞれ検出する検出部、
を更に備え、
　前記立体指標画像生成部は、前記注目領域を対象とした視差に基づいて前記代表値を決定する画像処理装置。
　請求項１または請求項２に記載された画像処理装置であって、
　前記立体指標画像生成部は、前記代表値の時系列的な変化率に応じて、前記遠近差を変化させる画像処理装置。
　請求項２に記載された画像処理装置であって、
　前記立体指標画像生成部は、前記注目領域についての画素値に応じて、前記遠近差を変化させる画像処理装置。
　請求項１または請求項２に記載された画像処理装置であって、
　前記第２立体画像について想定される観察者の種別に関する情報を取得する観察者情報取得部、
を更に備え、
　前記立体指標画像生成部は、前記観察者の種別に応じて前記遠近差を変化させる画像処理装置。
　請求項１または請求項２に記載された画像処理装置であって、
　前記第２立体画像について想定される観察環境に関する情報を取得する環境情報取得部、
を更に備え、
　前記立体指標画像生成部は、前記観察環境に応じて前記遠近差を変化させる画像処理装置。
　請求項１から請求項６の何れか１つの請求項に記載された画像処理装置であって、
　前記立体指標画像生成部は、前記立体指標画像中に現れている指標用物体の大きさを時系列的に減少させつつ、前記遠近差を変化させる画像処理装置。
　請求項２から請求項７の何れか１つの請求項に記載された画像処理装置であって、
　前記立体指標画像生成部は、前記第１立体画像の画像空間における前記注目領域の時系列的な位置変化に追随して、前記立体指標画像の位置を時系列的に変化させる画像処理装置。
　請求項１から請求項７の何れか１つの請求項に記載された画像処理装置であって、
　前記立体指標画像生成部は、前記立体指標画像中の所定の指標用物体が時系列的に所定の消失点に向かって遠ざかるように、前記立体指標画像を生成する画像処理装置。
　同一の画像表示条件において、観察対象物の第１立体画像よりも遠方に観察されるような視差を持った、時系列的な立体指標画像を生成する立体指標画像生成部と、
　前記第１立体画像と時系列的な前記立体指標画像とをそれぞれ組み合わせて、時系列的な第２立体画像を生成する組合せ部と、
を備え、
　前記立体指標画像生成部は、前記第１立体画像の視差の代表値と前記立体指標画像の視差との差分に対応する遠近差が、時系列的に増加するように、前記立体指標画像を生成する画像処理装置。
　画像処理装置に搭載されたコンピュータにおいて実行されることにより当該画像処理装置を請求項１から請求項１０の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。
　同一の画像表示条件において観察対象物の第１立体画像よりも遠方に観察されるような視差を持った立体指標画像を生成する立体指標画像生成工程と、
　前記第１立体画像と前記立体指標画像とを組み合わせて、第２立体画像を生成する組合せ工程と、
　前記第１立体画像と前記立体指標画像とのうち、少なくとも前記立体指標画像を時系列的に変化させつつ、前記立体指標画像生成工程と前記組合せ工程とを繰り返すことによって、第２立体画像の時系列な集合を得る繰返し工程と、
を備え、
　前記第１立体画像の視差の代表値と前記立体指標画像の視差との差分に対応する遠近差が、前記第２立体画像の時系列的な集合において時系列的に増加するように、各繰返しサイクルで前記立体指標画像が生成される画像処理方法。