WO2012086362A1

WO2012086362A1 - 画像処理装置、そのプログラム、および画像処理方法

Info

Publication number: WO2012086362A1
Application number: PCT/JP2011/077187
Authority: WO
Inventors: 宏大和
Original assignee: コニカミノルタホールディングス株式会社
Priority date: 2010-12-22
Filing date: 2011-11-25
Publication date: 2012-06-28
Also published as: JP5464279B2; US9332247B2; US20130300828A1; JPWO2012086362A1

Abstract

　立体視画像を観察する観察者の目の疲労を軽減させ得る技術を提供することを図る。該目的を達成するために、画像処理装置は、被写体が撮影された基準画像を取得する第１の取得部と、被写体の各点のうち基準画像の各画素にそれぞれ対応した各点についての距離情報を表現した各基準距離情報を取得する第２の取得部と、所定の判定基準によって基準画像と基準距離画像とのそれぞれに対応する画像空間を、注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う特定部と、基準画像および基準距離画像のうち少なくとも一方の非注視領域に対応した領域の画像に対するぼかし処理の結果として基準画像および各基準距離情報にそれぞれ対応した派生画像および各派生距離情報をそれぞれ生成する生成処理を行う第１の生成部と、派生画像と各派生距離情報とに基づいて、仮想視点からの撮影に対応した被写体の疑似画像を生成する第２の生成部とを備える。

Description

画像処理装置、そのプログラム、および画像処理方法

　本発明は、画像処理技術に関する。

　近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用の画像群（立体視画像）を容易に生成可能な技術が望まれている。このため、所定の視点から被写体を撮影したときに得られる画像についての疑似画像を模擬的に生成する装置が、各種表示ディスプレイ用の立体視画像を生成する用途などに活用され始めている。

　ところで、立体視画像を観察者が観察する場合には、画像全体の各部において、該各部にそれぞれ対応した被写体各部の距離に応じた立体表示がされるため、立体視に関する情報の過多や混在によって観察者の目が疲れるといった問題がある。

　特許文献１では、遠景と近景とを含む被写体のうち遠景が実際よりも遠距離に存在するかのように観察される左目用および右目用の各疑似画像を生成することによって該被写体についての立体視画像を生成する技術が提案されている。より詳細には、特許文献１の技術により生成される立体視画像においては、本来の距離に対応した遠景の画像の各部間の相対的位置関係が維持された状態で、遠景の表示位置が、右目用の疑似画像においては本来の表示位置よりも右に移動されたほぼ画像中央の位置となり、左目用の疑似画像においては本来の表示位置よりも左に移動されたほぼ画像中央の位置となる。そして、特許文献１では、遠景の移動により左目用の疑似画像と、右目用の疑似画像とのそれぞれにおける遠景の表示位置をほぼ同じにすることによって、観察者の目の疲労の軽減を図っている。

特開２０１０－０８７８０７号公報

　しかしながら、特許文献１の技術では遠景がその各部分間の相対的な距離情報を維持したままで左右に移動されるために遠景の各部分における立体視に関する情報の過多や混在に起因したちらつき感が軽減されず、観察者の目の疲労が軽減されないといった問題がある。

　本発明は、こうした問題を解決するためになされたもので、立体視画像を観察する観察者の目の疲労を軽減することが可能な技術を提供することを目的とする。

　上記の課題を解決するために、第１の態様に係る画像処理装置は、被写体が撮影された基準画像を取得する第１の取得部と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、所定の原点位置からの距離情報を表現した各基準距離情報を取得する第２の取得部と、を備え、前記基準画像の画素配列に対応する前記各基準距離情報の配列によって基準距離画像を定義したとき、所定の判定基準によって前記基準画像と前記基準距離画像とのそれぞれに対応する画像空間を、前記被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う特定部と、前記基準画像および前記基準距離画像のうち少なくとも一方の前記非注視領域に対応した領域の画像に対するぼかし処理の結果として前記基準画像および前記各基準距離情報にそれぞれ対応した派生画像および各派生距離情報をそれぞれ生成する生成処理を行う第１の生成部と、前記派生画像と前記各派生距離情報とに基づいて、前記基準画像が撮影された視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成部とをさらに備える。

　第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記特定部は、前記基準画像における色彩の統計的な分布状態および空間的な分布状態の少なくとも一方に基づいて前記特定処理を行う。

　第３の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記特定部は、前記基準画像におけるぼけ部分を前記非注視領域とすることにより前記特定処理を行う。

　第４の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記特定部は、前記基準画像の中心部分の範囲を規定した領域情報に基づいて前記特定処理を行う。

　第５の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１の取得部は、前記被写体が前記基準画像とは異なる時刻に撮影された別画像を取得し、前記画像処理装置は、前記基準画像と前記別画像とに基づいて前記基準画像の各画素についての各二次元移動ベクトルを求める二次元移動ベクトル取得部を更に備え、前記特定部は、前記各二次元移動ベクトルに基づいて前記特定処理を行う。

　第６の態様に係る画像処理装置は、第４の態様に係る画像処理装置であって、前記特定部は、前記各二次元移動ベクトルの消失点に基づいて前記特定処理を行う。

　第７の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記特定部は、前記各基準距離情報に基づいて前記特定処理を行う。

　第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記特定部は、前記各基準距離情報のうち所定の距離範囲の各距離情報に基づいて前記特定処理を行う。

　第９の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記特定部は、前記各基準距離情報のうち前記基準画像についての合焦距離情報に基づいて特定される各距離情報に基づいて前記特定処理を行う。

　第１０の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記特定部は、前記基準距離画像のうち相互の距離情報の差異が所定の距離範囲内である画素が連結した所定サイズ以上の領域を前記注視領域とすることにより前記特定処理を行う。

　第１１の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記特定部は、前記基準距離画像のうち相互の距離情報の差異が所定の距離範囲内である画素が連結した所定サイズ以上の領域のうち最大サイズの領域を前記注視領域とすることにより前記特定処理を行う。

　第１２の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記特定部は、前記基準距離画像のうち所定の空間的な領域の範囲を規定した領域情報に基づいて前記特定処理を行う。

　第１３の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１の取得部は、前記被写体が前記基準画像とは異なる時刻に撮影された別画像を取得するとともに、前記第２の取得部は、前記被写体の各点のうち前記別画像の各画素にそれぞれ対応した各点について各別距離情報を取得し、前記画像処理装置は、前記基準画像と前記別画像と前記各基準距離情報と前記各別距離情報とに基づいて前記基準画像の各画素についての各三次元移動ベクトルを求める三次元移動ベクトル取得部を更に備え、前記特定部は、前記各三次元移動ベクトルに基づいて前記特定処理を行う。

　第１４の態様に係る画像処理装置は、第１３の態様に係る画像処理装置であって、前記特定部は、前記各三次元移動ベクトルに基づいて前記基準画像のうち移動物が撮影された領域を抽出し、該領域を前記注視領域とすることにより前記特定処理を行う。

　第１５の態様に係る画像処理装置は、第１３の態様に係る画像処理装置であって、前記特定部は、前記基準画像のうち前記各三次元移動ベクトルの大きさが所定の閾値以上となる領域を前記注視領域とすることにより前記特定処理を行う。

　第１６の態様に係る画像処理装置は、第１３の態様に係る画像処理装置であって、前記特定部は、前記各三次元移動ベクトルのうち三次元移動ベクトルの延長線が前記基準画像の撮影に係る撮影系と交差する三次元移動ベクトルを特定し、特定された三次元移動ベクトルに対応する前記基準画像の領域を前記注視領域とすることにより前記特定処理を行う。

　第１７の態様に係る画像処理装置は、第１から第１６の何れか１つの態様に係る画像処理装置であって、前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域の画像に対するぼかし処理によって前記各派生距離情報を生成する。

　第１８の態様に係る画像処理装置は、第１７の態様に係る画像処理装置であって、前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域の画像に平均化フィルタ処理を施すことによって前記ぼかし処理を行う。

　第１９の態様に係る画像処理装置は、第１７の態様に係る画像処理装置であって、前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域の各画素について、該各画素をそれぞれ内包する所定サイズの領域における各距離情報の最頻値を該各画素の画素値とすることによって前記ぼかし処理を行う。

　第２０の態様に係る画像処理装置は、第１７の態様に係る画像処理装置であって、前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域における各距離情報を前記原点位置に対して遠方側にそれぞれ変更することによって前記ぼかし処理を行う。

　第２１の態様に係る画像処理装置は、第１から第１６の何れか１つの態様に係る画像処理装置であって、前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域の画像に対するぼかし処理によって前記派生画像を生成する。

　第２２の態様に係る画像処理装置は、第５または第６の態様に係る画像処理装置であって、前記第１の生成部は、a)前記基準画像のうち前記非注視領域に対応する領域の画像に対するぼかし処理によって前記生成処理を行うとともに、b)該領域の各画素に対応する前記各二次元移動ベクトルよって対応づけがされた前記別画像の各画素には、該各画素に対応付けがなされた前記基準画像の画素に適用されたぼかし処理と同一のぼかし処理を施すことによって前記別画像に対応した別派生画像を生成する。

　第２３の態様に係る画像処理装置は、第２１または第２２の態様に係る画像処理装置であって、前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域の画像に平均化フィルタ処理を施すことによって前記ぼかし処理を行う。

　第２４の態様に係る画像処理装置は、第２１または第２２の態様に係る画像処理装置であって、前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域において離散的に特定された各画素の画素値に基づいて、該領域のうち前記離散的に特定された各画素以外の画素の画素値を取得することによって前記ぼかし処理を行う。

　第２５の態様に係る画像処理装置は、第２１または第２２の態様に係る画像処理装置であって、前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域における画素値の空間的な高周波成分を除去することによって前記ぼかし処理を行う。

　第２６の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１の生成部は、前記前記基準画像および前記基準距離画像の少なくとも一方の前記非注視領域に対応した領域の画像について、該画像のうち前記原点位置に対して前記注視領域よりも遠側の領域と、前記原点位置に対して前記注視領域よりも近側の領域とについて、異なる強度のぼかし処理をそれぞれ施す。

　第２７の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記疑似画像に基づいて立体視画像を取得する第３の取得部をさらに備える。

　第２８の態様に係るプログラムは、画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を第１から第２７の何れか１つの態様に係る画像処理装置として機能させる。

　第２９の態様に係る画像処理方法は、被写体が撮影された基準画像を取得する第１の取得工程と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、所定の原点位置からの距離情報を表現した各基準距離情報を取得する第２の取得工程と、を備え、前記基準画像の画素配列に対応する前記各基準距離情報の配列によって基準距離画像を定義したとき、所定の判定基準によって前記基準画像と前記基準距離画像とのそれぞれに対応する画像空間を、前記被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う特定工程と、前記基準画像および前記基準距離画像のうち少なくとも一方の前記非注視領域に対応した領域の画像に対するぼかし処理の結果として前記基準画像および前記各基準距離情報にそれぞれ対応した派生画像および各派生距離情報をそれぞれ生成する生成処理を行う第１の生成工程と、前記派生画像と前記各派生距離情報とに基づいて、前記基準画像が撮影された視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成工程とをさらに備える。

　第１から第２７の何れの態様に係る画像処理装置または第２８の態様に係るプログラムまたは第２９の態様に係る画像処理方法によっても、立体視画像を観察する観察者の目の疲労を軽減することが可能になる。

図１は、実施形態に係る画像処理システムの主な構成の１例を示す図である。図２は、実施形態に係る画像処理装置の主な機能構成の１例を示す図である。図３は、実施形態に係るステレオカメラの主な機能構成の１例を示す図である。図４は、ステレオカメラに係るカメラ座標系および画像座標系を例示する図である。図５は、基準画像の１例を示す図である。図６は、参照画像の１例を示す図である。図７は、原距離画像の１例を示す図である。図８は、基準画像の１例を示す図である。図９は、基準画像における注視領域と非注視領域との１例を示す図である。図１０は、基準画像の１例を示す図である。図１１は、ラベリング処理の１例を説明するための図である。図１２は、注視領域を特定する処理の１例を説明するための図である。図１３は、平均化フィルタ５５の１例を示す図である。図１４は、二次元移動ベクトルの取得処理の１例を説明する図である。図１５は、三次元移動ベクトルの算出処理の１例を説明するための図である。図１６は、三次元移動ベクトルの算出処理の１例を説明するための図である。図１７は、基準画像と参照画像とにおける視差の１例を説明するための図である。図１８は、疑似画像を生成する基本手法の１例を説明するための図である。図１９は、基準画像の部分画像と、疑似画像の部分画像とのそれぞれにおける各画素の対応関係の１例を示す図である。図２０は、基準画像の画素座標および距離情報と、疑似画像の画素座標との対応関係の１例を示す図である。図２１は、実施形態に係る画像処理装置の動作フローを例示する図である。図２２は、疑似画像を生成する基本手法の動作フローを例示する図である。

　＜実施形態について：＞
　＜◎画像処理システム１００Ａについて：＞
　図１は、実施形態に係る画像処理システム１００Ａの主な構成の１例を示すブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、ステレオカメラ３００が撮影した基準画像２１（図１、図２）および参照画像２２（図１、図２）を画像処理装置２００Ａが取得し、画像処理装置２００Ａが基準画像２１および参照画像２２を処理することによって、基準画像２１が撮影された視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２５（図２）、すなわち基準画像２１が撮影された視点とは別の仮想視点から撮影した被写体の画像に相当する疑似画像２５を生成する。

　＜◎ステレオカメラ３００の構成と動作：＞
　次に、ステレオカメラ３００の構成と動作について説明する。図３は、実施形態に係るステレオカメラ３００の主な機能構成の１例を示す図である。図３に示されるように、ステレオカメラ３００は、基準カメラ６１および参照カメラ６２を主に備えて構成されている。また、基準カメラ６１と参照カメラ６２とは、垂直方向に所定の基線長を隔てて設けられている。基準カメラ６１は、撮影光学系７２ａ、撮像素子７５ａ、および制御処理回路８５ａを主に備えて構成されている。また、参照カメラ６２は、撮影光学系７２ｂ、撮像素子７５ｂ、および制御処理回路８５ｂを主に備えて構成されている。

　ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。ステレオカメラ３００は、被写体７１からの光を基準カメラ６１および参照カメラ６２で撮影してステレオ画像を構成する基準画像２１および参照画像２２を取得し、画像処理装置２００Ａへと供給する。

　撮影光学系７２ａおよび７２ｂは、薄肉レンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体７１の画像をそれぞれ撮像素子７５ａおよび７５ｂ上に結像させる光学系である。このとき、被写体７１上の物点Ｍの像は、光学中心７３ａおよび７３ｂをそれぞれ通過する主光線７６ａおよび７６ｂに沿って撮像素子７５ａおよび７５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。光学中心７３ａおよび７３ｂは、通常、撮像光学系の主点であるが、例えば、撮像光学系としてテレセントリック光学系が採用された場合には、通常、撮像光学系の焦点が光学中心となる。

　また、仮想主光線７６ａｖは、光学中心７３ｂを通るように主光線７６ａを平行移動した仮想の主光線であり、像点Ｐａに対応する仮想の像点Ｐａｖは仮想主光線７６ａｖに沿って撮像素子７５ｂ上に設定される。

　基準カメラ６１および参照カメラ６２の結像中心７７ａおよび７７ｂは、それぞれ撮像素子７５ａと光軸７４ａとの交点、および撮像素子７５ｂと光軸７４ｂとの交点であり、また、撮影光学系７２ａおよび７２ｂ間の基線長ｂは、光学中心７３ａおよび７３ｂ間の距離である。

　仮想の像点Ｐａｖと像点Ｐｂとの距離ｄは、被写体７１上の同一物点Ｍに対応する各像点ＰａおよびＰｂを、結像中心の座標が等しい共通の画像座標系で表現したときの各像点位置間の距離であり、物点Ｍに対する基準カメラ６１と参照カメラ６２との視差に相当する。なお、視差については後述する。

　ここで、ステレオカメラ３００については、撮影光学系７２ａおよび７２ｂのそれぞれ焦点距離ｆｒ（より正確には、光学中心と撮像素子との距離）は等しく、それぞれの光軸７４ａおよび７４ｂは平行である。また、撮影光学系７２ａおよび７２ｂの各主平面は光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にあり、それぞれの光学中心７３ａおよび７３ｂも、該同一平面上にある。さらに、それぞれの撮影光学系の撮像素子７５ａおよび７５ｂは、光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にある。また、基準画像２１および参照画像２２の相互間での対応点探索処理が容易に行えるように、撮像素子７５ａおよび７５ｂは、それぞれの走査線が平行になるように設置されている。

　実際の構成においては、通常、上述した構成条件に対して誤差があるが、基準カメラ６１および６２から供給される基準画像２１および参照画像２２に対して、画像処理装置２００Ａがカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによってステレオカメラ３００の各機能要素が上述した構成条件を満たす場合と同等の状態を実現することができる。

　撮像素子７５ａおよび７５ｂは、例えば、３４５６×２５９２画素サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子であり、撮像素子７５ａおよび７５ｂに結像された像の強度に応じた画像信号を生成して制御処理回路８５ａおよび制御処理回路８５ｂに供給する。なお、撮像素子７５ａおよび７５ｂは、カラーイメージセンサであっても、モノクロイメージセンサであっても本発明の有用性を損なうものではない。

　図３に示される制御処理回路８５ａおよび制御処理回路８５ｂは、撮像素子７５ａおよび７５ｂから供給される各画像信号を同期して処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた基準画像２１（図１、図２）および参照画像２２（図１、図２）を生成し、画像処理装置２００Ａへと供給する。生成された基準画像２１および参照画像２２は、被写体のステレオ画像を構成する。

　なお、基準画像２１と参照画像２２とのそれぞれの撮影時におけるステレオカメラ３００に対する被写体の位置関係が同じであれば、基準画像２１と参照画像２２とは、同時刻に撮影されていなくても良い。また、ステレオカメラ３００は、基準カメラ６１と参照カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の基準画像２１および複数の参照画像２２（「時系列ステレオ画像」とも称する）を生成することもできる。なお、ステレオカメラ３００が被写体の時系列ステレオ画像を撮影する際には、ステレオカメラ３００は移動していても良い。

　生成された基準画像２１および参照画像２２は、データ線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。

　○ステレオカメラ３００の座標系について：
　図４は、ステレオカメラ３００に係るカメラ座標系Ｃ１、ならびに画像座標系Ｃ２およびＣ３を例示する図である。なお、図４に示される各要素のうち図３に示される各要素と同一のものについては、図３と同じ符号を付して説明を省略する。

　図４に示されるように、カメラ座標系Ｃ１は、基準カメラ６１の撮影光学系７２ａに対して設けられた直交座標系である。カメラ座標系Ｃ１の原点は光学中心７３ａであり、各座標軸はＸｃ、Ｙｃ、Ｚｃである。Ｚｃ軸の方向は光軸７４ａと一致しており、Ｘｃ軸と撮像素子７５ａの走査線とは平行である。

　画像座標系Ｃ２は、基準画像２１における各像点の座標を表す直交座標系である。画像座標系Ｃ２は、その原点が撮影光学系７２ａに対して設けられた撮像素子７５ａの角部Ｏｐであり、その座標軸はＸａ、Ｙａである。Ｘａ軸の方向は撮像素子７５ａの水平走査方向（主走査方向）に一致し、Ｙａ軸の方向は撮像素子７５ａの垂直走査方向（副走査方向）と一致している。

　同様に、画像座標系Ｃ３は、参照画像２２における各像点の座標を表す直交座標系である。画像座標系Ｃ３は、その原点が撮影光学系７２ｂに対して設けられた撮像素子７５ｂの角部Ｏｑであり、その座標軸はＸｂ、Ｙｂである。Ｘｂ軸の方向は撮像素子７５ｂの水平走査方向（主走査方向）に一致し、Ｙｂ軸の方向は撮像素子７５ｂの垂直走査方向（副走査方向）と一致している。

　なお、観察者が観察する画像は、撮像素子に結像した像の上下左右が反転されるため、観察者が観察する画像における画像座標系は、例えば、後述する図５の基準画像２１に設定されたＸＹ座標系のように、画像の左上端部が原点となり、撮像素子上での画像座標系のＸ軸、Ｙ軸の向きがそれぞれ反転される。

　＜◎ステレオ画像に基づいた三次元測定方法の説明：＞
　次に、ステレオカメラ３００によって撮影されるステレオ画像に基づいた三次元測定方法について説明する。該三次元測定方法は、画像処理装置２００Ａにおいては後述する第２ベクトル取得部１９などによって使用される。平行化処理が行われた場合には、図３に示される撮影光学系７２ａおよび７２ｂの主平面と物点Ｍとの距離Ｄは、視差ｄ、焦点距離ｆｒ、および撮影光学系７２ａおよび７２ｂ間の基線長ｂを用いて（１）式によって与えられる。

　（１）式に示されるように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっている。

　また、図４に示されるカメラ座標系Ｃ１で表現された被写体７１上の物点Ｍの座標Ｍｃと、物点Ｍに対応する撮像素子７５ａ上の像点Ｐａの画像座標系Ｃ２で表現された座標Ｐａｃとの関係は(２)式によって与えられる。

　(１)式の距離Ｄと(２)式で示される座標ｚ_cとは同一であるので、先ず、後述する対応点探索処理によって求められる物点Ｍに対応する各像点ＰａおよびＰｂについての視差ｄを（１）式に代入して距離Ｄを求め、求めた距離Ｄを(２)式のｚ_cに代入することによってｘ_cおよびｙ_cも求められる。

　なお、撮影光学系７２ａおよび７２ｂは収差を有しており、収差に起因した視差ｄ、および座標Ｐａｃのそれぞれの歪みを収差補正処理によって補正すれば、物点Ｍの座標Ｍｃはより正確に求められるが、収差補正処理が施されないとしても本発明の有用性を損なうものではない。また、収差補正処理の処理内容は、(３)式によって与えられる。

　ここで、（１）式～（３）式における焦点距離ｆｒ、基線長ｂ、撮像素子の画素サイズｐｓ、結像中心座標ｕ０およびｖ０、収差補正係数ｋ１～ｋ５は、三次元化に用いられるカメラパラメータである。また、収差補正係数ｋ１～ｋ３は、撮影光学系７２ａおよび撮影光学系７２ｂのレンズの径方向の収差を補正する係数であり、収差補正係数ｋ４～ｋ５は、レンズの径と直交する方向についての収差を補正する係数である。

　＜◎画像処理装置２００Ａの構成について：＞
　図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

　入出力部４１は、例えばＵＳＢインタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、データ線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した基準画像２１および参照画像２２を画像処理装置２００Ａへとそれぞれ供給する。なお、入出力部４１は、予め基準画像２１および参照画像２２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、基準画像２１および参照画像２２を画像処理装置２００Ａへとそれぞれ供給することができる。

　操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。

　表示部４３は、例えば、液晶ディスプレイなどによって構成されており、ステレオカメラ３００から供給される基準画像２１、参照画像２２、および画像処理装置２００Ａが生成する疑似画像２５（図２）などの各種画像情報の表示、ならびに画像処理システム１００Ａに関する各種情報および制御用ＧＵＩ（Graphical User Interface）などの表示を行う。

　ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

　ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する疑似画像、距離情報（距離画像）などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。

　記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には第１生成部１４Ａが行うぼかし処理に用いられる平滑化フィルタを規定する情報、すなわち平滑化フィルタの種類、平滑化の強度などを規定する情報、または平滑化処理に対応したプログラムなどの平滑化処理に関する種々の情報なども記憶されている。

　ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、第１取得部１２、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、第３取得部１６、特定部１７Ａ、第１ベクトル取得部１８、および第２ベクトル取得部１９としても機能する。

　ＣＰＵ１１Ａは、これらの機能部などによって、基準視点から撮影された被写体についての基準画像２１（図２）から、基準視点とは異なる仮想視点からの撮影に対応した被写体についての疑似画像２５（図２）を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

　また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。

　なお、図１に示される構成例では、第１取得部１２、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、第３取得部１６、特定部１７Ａ、第１ベクトル取得部１８、および第２ベクトル取得部１９の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

　＜◎画像処理装置２００Ａの各機能部の動作：＞
　＜○画像処理装置２００Ａの動作の概要について：＞
　図２は、実施形態に係る画像処理装置２００Ａの主な機能構成の１例を示すブロック図である。画像処理装置２００Ａは、基準画像２１（図２）および参照画像２２（図２）に基づいて被写体についての距離情報である各基準距離情報２７（図２）を取得し、さらに基準画像２１と、各基準距離情報２７とに基づいた疑似画像２５（図２）の生成を経て、立体視画像２６（図２）を生成する。

　先ず、図２を参照しつつ、画像処理装置２００Ａの動作の概要について説明する。画像処理装置２００Ａによる立体視画像２６の生成処理においては、先ず、第１取得部１２は、被写体がステレオカメラ３００によって撮影された基準画像２１を取得する。そして、第２取得部１３は、被写体の各点のうち基準画像２１の各画素にそれぞれ対応した各点について、例えば、基準カメラ６１の光学中心７３ａ（図３）などの所定の原点位置からの距離情報を表現した各基準距離情報２７を取得する。なお、各基準距離情報２７が基準画像２１の画素配列に対応して配列された画像が原距離画像３１（図２）である。

　基準画像２１と各基準距離情報２７（原距離画像３１）とがそれぞれ取得されると、特定部１７Ａは、所定の判定基準によって基準画像２１と原距離画像３１とのそれぞれに対応する画像空間を、被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行い、該画像空間における該非注視領域の範囲を規定する領域情報２ａ（図２）を生成する。なお、時系列に撮影された基準画像２１が取得された場合には、第１ベクトル取得部１８（図２）および第２ベクトル取得部１９（図２）は、設定された動作モードに応じて後述する二次元移動ベクトル９１（図２）および三次元移動ベクトル９２（図２）をそれぞれ生成する。そして、特定部１７Ａは、二次元移動ベクトル９１または三次元移動ベクトル９２を用いて該特定処理を行うこともできる。

　領域情報２ａが生成されると、第１生成部１４Ａは、領域情報２ａに基づいて基準画像２１および原距離画像３１のうち少なくとも一方の非注視領域に対応した領域の画像に対して後述するぼかし処理を行う。そして、該ぼかし処理の結果として第１生成部１４Ａは、基準画像２１および各基準距離情報２７にそれぞれ対応した派生画像２４（図２）および各派生距離情報２８（派生距離画像３２）（それぞれ図２）をそれぞれ生成する。

　派生画像２４と各派生距離情報２８（派生距離画像３２）とがそれぞれ生成されると、第２生成部１５Ａは、基準画像２１が撮影された視点とは別の仮想視点からの撮影に対応した被写体の疑似画像２５（図２）を生成する。疑似画像２５が生成されると第３取得部１６（図２）は、基準画像２１および疑似画像２５を立体視画像として取得し、取得した立体視画像を表示部４３に表示させる。なお、第３取得部１６は、第２生成部１５Ａが基準画像２１に基づいてそれぞれ生成した左目用の疑似画像および右目用のそれぞれの疑似画像２５を立体視画像２６としてそれぞれ取得することもできる。

　上述したように、画像処理装置２００Ａによる立体視画像２６の生成処理においては、派生画像２４および派生距離画像３２のそれぞれの注視領域の画像は、ぼかし処理が施されない基準画像２１および原距離画像３１のそれぞれの注視領域の画像に基づいてそれぞれ生成される。従って、疑似画像２５のうち注視領域に対応した部分の色彩および明るさなどの画質は、基準画像２１の注視領域に撮影された被写体の画像の画質が保持されるとともに、疑似画像２５のうち注視領域に対応した部分における基準画像２１との各視差には、注視領域に対応した被写体の各部分の距離が保持されて反映される。このため、立体視画像２６のうち注視領域への対応部分を観察する観察者は、被写体の本来の画質と距離感とが保持された立体像を認識することができる。

　一方、派生画像２４および派生距離画像３２のそれぞれの非注視領域の画像のうち少なくとも一方は、ぼかし処理がそれぞれ施された基準画像２１の非注視領域の画像または原距離画像３１の非注視領域の画像に基づいて生成される。従って、疑似画像２５のうち非注視領域に対応した部分については、基準画像２１の非注視領域に撮影された被写体の画像がぼかされる現象と、原距離画像３１における非注視領域に対応した被写体各部の距離に基づいた疑似画像２５と基準画像２１との各視差のばらつきが低減される現象とのうち少なくとも一方が発生する。このため、立体視画像２６のうち非注視領域への対応部分を観察する観察者は、立体画像情報の空間的変化がゆるやかになって視覚的な情報量が低減された立体像を認識する。

　従って、画像処理装置２００Ａによって生成される立体視画像２６を観察する観察者は、注視領域において本来の画質と距離感とが保持された被写体の立体像を認識できるとともに、非注視領域における立体視に関する視覚的な情報量が低減されることによって、非注視領域での立体視に関する視覚的な情報の過多や混在に起因した目の疲労を軽減され得る。立体視に関する視覚的な情報とは、例えば、色彩、明るさ、および距離情報などである。

　＜○画像処理装置２００Ａの動作の詳細について：＞
　図５および図６は、実施形態に係るステレオカメラ３００の基準カメラ６１および参照カメラ６２が、それぞれ被写体を撮影した基準画像２１（図２）および参照画像２２（図２）の１例として基準画像２１ａおよび参照画像２２ａをそれぞれ示す図である。また、図２１は、実施形態に係る画像処理装置２００Ａの動作フローを例示する図である。以下では、画像処理装置２００Ａが、基準画像２１と参照画像２２とに基づいて、基準画像２１が撮影された視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２５（図２）を生成する場合を例に、画像処理装置２００Ａの各機能部の動作について図２１の動作フローを適宜参照しつつ詳しく説明する。

　仮想視点からの撮影に対応した疑似画像の生成の対象となる被写体の撮影に先立って、基準カメラ６１と参照カメラ６２との両方から該被写体が撮影できるように、ステレオカメラ３００の位置および姿勢が調整される。例えば、基準カメラ６１の撮影光学系の光学中心（主点位置など）が基準画像２１が撮影された基準視点となる。ステレオカメラ３００の位置および姿勢が調整された状態で、操作者からの操作などに応答して、ステレオカメラ３００に撮影動作を行わせる制御信号がＣＰＵ１１Ａからステレオカメラ３００へと供給されると、ステレオカメラ３００の撮影動作が行われる。該撮影動作が終了すると、基準カメラ６１および参照カメラ６２によってそれぞれ撮影された、被写体についてのステレオ画像を構成する基準画像２１および参照画像２２がそれぞれ生成されて画像処理装置２００Ａの入出力部４１に供給される。

　○第１取得部１２の動作：
　被写体が撮影された基準画像２１と参照画像２２とが入出力部４１に供給されると、第１取得部１２（図２）は、入出力部４１を介して基準画像２１を取得するとともに（図２１の動作フローＳ１００ＡにおけるステップＳ１１０）、参照画像２２を取得する。基準カメラ６１と参照カメラ６２との基線長の方向が垂直走査方向（図５、図６のＹ軸方向）に沿っているため、基準画像２１と参照画像２２とには、基準画像２１ａ（図５）と参照画像２２ａ（図５）とに示されるように、視差がＹ軸方向に沿って生じている。なお、図５および図６においては、基準画像２１ａと参照画像２２ａとのそれぞれについての画像座標系の座標軸がそれぞれ設けられている。また、本願の他の図面においても座標軸を適宜設けて説明に使用することがある。なお、第１取得部１２は、予め撮影されて記録メデイアに保存された基準画像２１および参照画像２２を、入出力部４１を介して取得してもよい。取得された基準画像２１は、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、第３取得部１６、特定部１７Ａ、第１ベクトル取得部１８、および第２ベクトル取得部１９へと供給される。また、参照画像２２は、第２取得部１３へと供給される。

　○第２取得部１３の動作：
　図７は、第２取得部１３（図２）が取得する原距離画像３１（各基準距離情報２７）（それぞれ図２）の１例として原距離画像３１ａ（各基準距離情報２７ａ）を示す図である。基準画像２１および参照画像２２が第２取得部１３に供給されると、第２取得部１３は、基準画像２１と参照画像２２とを対象として、相関演算法などを用いたマッチング処理を行うことによって、基準画像２１の各注目画素に対応する参照画像２２の各対応画素を特定する。う６、これらのマッチング処理が、画素単位で行われたとしても、また画素単位以下のサブピクセル単位で行われたとしても、本発明の有用性を損なうものではない。また、基準画像２１の注目画素に対応する参照画像２２の対応画素を特定するマッチング処理に用いられる相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などが採用される。また、基準カメラ６１と参照カメラ６２との撮影倍率が異なる場合には、第２取得部１３は、撮影倍率が低いカメラの撮影倍率に対する撮影倍率が高いカメラの撮影倍率の比（「撮影倍率比」とも称する）に応じて、高倍率で撮影された画像を低解像度化するとともに、低倍率で撮影された画像のうち画素数および配列形状が低解像度化された画像の画素数および配列形状と等しい部分画像を抽出し、該部分画像と、低解像度化された画像とをマッチング処理の対象とする。また、第２取得部１３は、撮影倍率比に応じて低倍率で撮影された画像を画素値の補間処理などによって高解像度化するとともに、高解像度化された画像のうち画素数および配列形状が高倍率で撮影された画像の画素数および配列形状と等しい部分画像を抽出し、該部分画像と、高倍率で撮影された画像とをマッチング処理の対象としてもよい。

　各対応画素の特定がなされると、第２取得部１３は、相互に対応する注目画素と対応画素とについて、基準画像２１の画像座標系における該注目画素の画素座標と、参照画像２２の画像座標系における該対応画素の画素座標との差（本願において、「視差」とも称する）を求める処理を、基準画像２１の各注目画素に対して行う。

　（１）式に示されるように、視差は、被写体上の点の光学中心７３ａ（図３）からの距離に関する指標値となっており、本願においては、視差と、距離との総称として「距離情報」という用語を使用する。また、各基準距離情報２７においては、各基準距離情報２７を構成する各視差が、対応する基準画像２１の各画素の画素座標と関連づけられている。このため、各基準距離情報２７は、例えば、基準画像２１の画素配列に応じて配列された原距離画像３１として取得され得る。第２取得部１３によって取得された各基準距離情報２７（原距離画像３１）は、特定部１７Ａ、第１生成部１４Ａ、および第２ベクトル取得部１９に供給される。

　なお、（１）式に示されるように、視差ｄと距離Ｄとは相互に変換できるので、第２取得部１３は、上述した各視差の代わりに、基準画像２１の各画素に対応した被写体上の各点についての各距離を各基準距離情報２７として取得しても良い。該各距離は、例えば、第２取得部１３が（１）式の演算を行うこと、または、変形例についての説明欄において後述するように別の三次元測定機によって測定された被写体上の各点についての各距離を入出力部４１を介して取得することなどによって取得される。すなわち、第２取得部１３は、被写体の各点のうち基準画像２１の各画素にそれぞれ対応した各点について、所定の原点位置からの距離情報を表現した各基準距離情報２７を取得する（図２１のステップＳ１２０）。

　○視差の例について：
　図１７は、基準画像２１ｅと参照画像２２ｅとにおける視差の１例を説明するための図である。なお、基準画像２１ｅは、基準カメラ６１によって撮影された被写体の基準画像２１（図２）の１例であり、参照画像２２ｅは、基準カメラ６１に対して垂直方向（図１７の＋Ｙ方向）に所定の基線長を隔てて設けられた参照カメラ６２によって撮影された該被写体の参照画像２２（図２）の１例である。図１７おいては、基準画像２１ｅと参照画像２２ｅとは、視差の把握を容易にするため該両画像の上端（下端）のＹ座標が等しくなるように水平方向（図１７のＸ軸方向）に並べて表示されている。

　基準画像２１ｅと、参照画像２２ｅとには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ａおよび６６ｂがそれぞれ撮影されているとともに、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ａおよび６７ｂがそれぞれ撮影されている。図１７においては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、近景被写体像６６ａ上の画素６８ａおよび近景被写体像６６ｂ上の画素６８ｂは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ａ上の画素６９ａおよび遠景被写体像６７ｂ上の画素６９ｂは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ａと画素６８ｂとについての視差であり、視差９ｂは、画素６９ａと画素６９ｂとについての視差である。ここで、ステレオカメラ３００に対する近側被写体と遠側被写体とのそれぞれの距離の差異に起因して視差９ａと視差９ｂとは異なった値となっている。より詳細には、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点のステレオカメラ３００からの距離に応じて変動する。

　次に、特定部１７Ａの動作の説明に先立って、特定部１７Ａが設定された動作モードに応じて適宜使用する二次元移動ベクトル９１（図２）および三次元移動ベクトル９２（図２）をそれぞれ生成する第１ベクトル取得部１８および第２ベクトル取得部１９の動作をそれぞれ説明する。

　○第１ベクトル取得部１８の動作：
　図１４は、第１ベクトル取得部１８（図２）が行う二次元移動ベクトルの取得処理の１例を説明する図である。図１４に示された基準画像２１ｆおよび２１ｇは、静止しているステレオカメラ３００の基準カメラ６１によって時系列に撮影された移動中の車１０３を含む被写体の画像であり、基準画像２１ｆおよび２１ｇは同一の画像空間に重ねて表示されている。また、基準画像２１ｇは、基準画像２１ｆよりも後の時刻に撮影されている。基準画像２１ｆに撮影されている車１０３は、消失点１０４の方向へ直線的に移動している。なお、車１０３は、基準画像２１ｇにおいても撮影されているが、基準画像２１ｇにおける車１０３の表示は省略されている。

　二次元移動ベクトル９１（図２）は、同一の被写体が時系列に撮影されて同一の画像空間にそれぞれ表示された複数の画像間での、該被写体上の同一の点にそれぞれ対応した各像の動きをベクトルとして表現したものである。すなわち、二次元移動ベクトル９１は、該被写体上の同一の点の、例えば、カメラ座標系Ｃ１（図４）などの三次元空間における動きベクトルを、例えば、カメラ座標系Ｃ１におけるＸｃ－Ｙｃ平面などの奥行き情報のない二次元空間に投影した動きベクトルである。時系列に撮影された各基準画像における被写体上の同一の点にそれぞれ対応した対応画素（対応点）は、該各基準画像間で、既述した相関演算法などを用いた対応点探索処理を行うことなどによって求められる。また、勾配法（gradient-based method）を用いることによって二次元移動ベクトル９１が算出されても良い。勾配法を用いた二次元移動ベクトル９１の算出処理では、対応点探索を行う必要がなく、処理時間をより短くすることができる。第１ベクトル取得部１８は、基準画像２１が時系列画像として取得された場合に、動作モード応じて二次元移動ベクトルの取得処理を行う。なお、各時系列画像の撮影時刻を用いて二次元移動ベクトル９１を単位時間当りの移動ベクトルとして求めたとしても本発明の有用性を損なうものではない。

　図１４においては、二次元移動ベクトル９１の例として２つの二次元移動ベクトル９１ａおよび９１ｂが示されている。二次元移動ベクトル９１ａおよび９１ｂは、基準画像２１ｆに撮影された車１０３上の異なる２点にそれぞれ対応した、基準画像２１ｆおよび２１ｇ間での二次元移動ベクトルである。基準画像２１ｆに撮影された各被写体のうち、車１０３以外の被写体は静止している。このため、非零の大きさを有する二次元移動ベクトル９１は、移動体である車１０３についてのみ求められる。従って、カメラが静止している場合には、非零の大きさを有する二次元移動ベクトル９１を検出することによって、撮影された画像中の移動体を検出することができる。

　ここでは、車１０３は基準カメラ６１に対して直線的に移動しているため、図１４に示されるように二次元移動ベクトル９１ａおよび９１ｂをそれぞれ延長した各二次元移動ベクトルは、１の消失点（Focus of Expansion：FOE）１０４で交差している。消失点１０４は、例えば、同一の被写体の複数の各点に対応した二次元移動ベクトルをそれぞれ表現した複数の直線の方程式を連立させて最小二乗法を用いて解くことなどによって算出される。消失点は、カメラに対する各被写体の相対的な移動方向によって定められる定点となる。カメラが移動しつつ時系列画像を撮影する場合であっても、カメラに対して相対的に移動している被写体についての消失点は、静止物についての消失点とは、通常、異なった位置に存在する。従って、消失点を用いれば、カメラが移動している場合であっても、カメラに対して相対的に静止物とは異なった方向に沿って移動する移動体を検出することができる。

　○第２ベクトル取得部１９の動作：
　図１５および図１６は、第２ベクトル取得部１９（図２）が行う三次元移動ベクトルの算出処理の１例を説明するための図である。なお、図１５および図１６では、基準画像Ｆ３１１，Ｆ３１２および参照画像Ｆ３２１，Ｆ３２２が、簡略化されて表されているが、ここでは、縦方向に２５９２画素が配列され且つ横方向に３４５６画素が配列される格子状の画素配列を有する。

　基準画像Ｆ３１１および参照画像Ｆ３２１は、時刻ｔにおいてステレオカメラ３００の基準カメラ６１および参照カメラ６２によってそれぞれ撮影された被写体の画像が第１取得部１２によってそれぞれ取得された画像である。また、基準画像Ｆ３１２および参照画像Ｆ３２２は、時刻ｔ＋Δｔにおいてステレオカメラ３００の基準カメラ６１および参照カメラ６２によってそれぞれ撮影された同じ被写体の画像が第１取得部１２によってそれぞれ取得された画像である。なお、説明を容易にするために基準画像Ｆ３１１，Ｆ３１２および参照画像Ｆ３２１，Ｆ３２２においては、撮影された被写体の画像の表示は省略されている。また、被写体はステレオカメラ３００に対して相対的に移動している。第２ベクトル取得部１９は、基準画像２１と参照画像２２とがそれぞれ時系列画像として取得された場合に、三次元移動ベクトルの取得処理を行う。

　この方法では、第２ベクトル取得部１９などによって、以下の工程(a-1)～(a-4)が順次に実行されることで、基準画像に撮影された被写体についての三次元移動ベクトルが求められる。

　(a-1)図１５で示されるように、時刻ｔにおいてステレオカメラ３００によって撮影された基準画像Ｆ３１１と参照画像Ｆ３２１との間で、既述した相関演算法等を用いたマッチング処理が第２取得部１３によって行われる。その結果、基準画像Ｆ３１１上の座標（ｉ_1t，ｊ_1t）で表される点Ｐ３１１に対して、参照画像Ｆ３２１から、同じある被写体の一部分をとらえた点Ｐ３２１の座標（ｉ_2t，ｊ_2t）が検出され、点Ｐ３１１の座標（ｉ_1t，ｊ_1t）と、点Ｐ３２１の座標（ｉ_2t，ｊ_2t）との視差、すなわち距離情報が取得される。取得された視差は、第２ベクトル取得部１９に供給され、第２ベクトル取得部１９は、点Ｐ３１１の座標（ｉ_1t，ｊ_1t）と、点Ｐ３２１の座標（ｉ_2t，ｊ_2t）との視差から、既述した（１）式および（２）式を用いて点Ｐ３１１および点Ｐ３２１のそれぞれに対応した被写体の一部分に係る三次元の座標（ｘ_t，ｙ_t，ｚ_t）を取得する。

　(a-2)時刻ｔにおいてステレオカメラ３００によって撮影された基準画像Ｆ３１１と、時刻ｔから時間Δｔ経過した時刻ｔ＋Δｔにおいてステレオカメラ３００によって撮影された基準画像Ｆ３１２との間で、第２取得部１３によってマッチング処理が行われる。その結果、基準画像Ｆ３１１上の座標（ｉ_1t，ｊ_1t）で表される点Ｐ３１１に対して、基準画像Ｆ３１２から、該被写体の同じ一部分をとらえた点Ｐ３１２の座標（ｉ_1(t+Δt)，ｊ_1(t+Δt)）が検出される。

　(a-3)図１６で示されるように、時刻ｔ＋Δｔにおいてステレオカメラ３００によって撮影された基準画像Ｆ３１２と参照画像Ｆ３２２との間で、第２取得部１３によってマッチング処理が行われる。その結果、基準画像Ｆ３１２上の座標（ｉ_1(t+Δt)，ｊ_1(t+Δt)）で表される点Ｐ３１２に対して、参照画像Ｆ３２２から、該被写体の同じ一部分をとらえた点Ｐ３２２の座標（ｉ_2(t+Δt)，ｊ_2(t+Δt)）が検出される。その結果、点Ｐ３１２の座標（ｉ_1(t+Δt)，ｊ_1(t+Δt)）と、点Ｐ３２２の座標（ｉ_2(t+Δt)，ｊ_2(t+Δt)）との視差、すなわち距離情報が取得される。取得された視差は、第２ベクトル取得部１９に供給され、第２ベクトル取得部１９は、点Ｐ３１２の座標（ｉ_1(t+Δt)，ｊ_1(t+Δt)）と、点Ｐ３２２の座標（ｉ_2(t+Δt)，ｊ_2(t+Δt)）との視差から既述した（１）式および（２）式を用いて点Ｐ３１２および点Ｐ３２２のそれぞれに対応した被写体の一部分に係る三次元の座標（ｘ_t+Δt，ｙ_t+Δt，ｚ_t+Δt）を求める。

　(a-4)第２ベクトル取得部１９によって、時刻ｔにおけるある被写体の一部分に係る三次元の座標（ｘ_t，ｙ_t，ｚ_t）と、時刻ｔ＋Δｔにおけるある被写体の一部分に係る三次元の座標（ｘ_t+Δt，ｙ_t+Δt，ｚ_t+Δt）とから該被写体の一部についてのステレオカメラ３００についての相対的な三次元空間での移動方向と大きさとが三次元移動ベクトルとして求められる。なお、第２ベクトル取得部１９が、時間Δｔを用いて、ステレオカメラ３００と、該被写体の一部分との間における単位時間当たりの三次元移動ベクトルを取得したとしても本発明の有用性を損なうものではない。

　また、上述した工程(a-1)～(a-4)においては、同時刻にそれぞれ撮影された基準画像と参照画像とのマッチング処理、および異なる時刻にそれぞれ撮影された各基準画像間でのマッチング処理は第２取得部１３によって行われているが、これらのマッチング処理が、例えば、第２ベクトル取得部１９によって行われるようにするなど、各種の構成の変更が行われたとしても本発明の有用性を損なうものではない。また、これらのマッチング処理が、画素単位で行われたとしても、また画素単位以下のサブピクセル単位で行われたとしても、本発明の有用性を損なうものではない。

　三次元移動ベクトルを用いれば、撮影された被写体の各部分についての三次元空間におけるカメラに対する相対的に移動情報を取得することができるので、例えば、撮影された被写体のうち、他の部分と異なる三次元的な動きをした部分、すなわち、他の部分と異なる部分を特定することができる。

　◎特定部１７Ａの動作：
　次に、特定部１７Ａの動作について説明する。特定部１７Ａ（図２）は、所定の判定基準によって基準画像２１と原距離画像３１（各基準距離情報２７）とのそれぞれに対応する画像空間を、撮影された被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う（図２１のステップＳ１３０）。なお、特定部１７Ａは、該特定処理として、設定された各種の動作モードにそれぞれ応じた各種の特定処理を行うことができる。以下では、特定部１７Ａが行う各種の特定処理を順次説明する。

　○被写体からの光線情報が撮影された画像情報に基づいた特定処理：
　特定部１７Ａは、設定された動作モードに応じて、被写体からの光線情報が撮影された画像である基準画像２１の画像情報に基づいた特定処理を行う。具体的には、特定部１７Ａは、基準画像２１から色情報、ぼけ情報等を取得することにより注視領域を算出する。

　・色情報に基づいた特定処理：
　特定部１７Ａは、色情報に基づいた特定処理に対応した動作モードが設定されている場合には、取得した基準画像２１に対し、シーン解析を実施するために、映像内の色情報の統計的な分布状態を示すカラーヒストグラムを算出する。特定部１７Ａは、算出したヒストグラムに対し、例えば、基準画像２１の全画素数の５％以上かつ２０％未満の度数であるなどの所定の基準を満たす色情報を抽出し、基準画像２１において抽出された色情報が存在する部分を注視領域として分類して特定するとともに、基準画像２１のうち該注視領域以外の部分を非注視領域として分類して特定する。

　例えば、基準画像２１ａ（図５）においては、白色の看板と、赤色服および青色の服をそれぞれ着用した大人と子供とが撮影されるとともに、これら被写体の周りには、緑色の木々と、灰色の道路とが撮影されている。従って、基準画像２１ａに対して上述した色情報に基づいた特定処理が適用された場合には、注視領域として看板および人物にそれぞれ対応した注視領域１ａおよび１ｈが特定されるとともに、基準画像２１ａのうち注視領域１ａおよび１ｈ以外の非注視領域３ａが特定される。また、特定部１７Ａは、例えば、算出したカラーヒストグラムに対し、最も高い度数の色情報とは異なる色情報を抽出し、基準画像２１において抽出された色情報が存在する部分を注視領域として分類して特定するとともに、基準画像２１のうち該注視領域以外の部分を非注視領域として分類して特定する特定処理を採用してもよい。

　また、図８は、基準画像２１の１例として、水色の服を着用するとともに、毛髪が黒色である人物と、該人物の背景である緑色の木々とが撮影された基準画像２１ｂを示す図である。なお、基準画像２１ｂにおける背景の木々は、基準カメラ６１の被写界深度と該木々の距離との関係によりぼけた状態で撮影されている。従って、基準画像２１ｂに対して上述した色情報に基づいた特定処理が適用された場合には、人物が撮影された注視領域１ｂと、基準画像２１ｂのうち注視領域１ｂ以外の非注視領域３ｂとがそれぞれ特定される。

　なお、特定部１７Ａは、例えば、上述した色情報の統計的な分布状態についての所定の基準に基づいて基準画像２１の各画素を２値化し、さらにラベリング処理などを施こして基準以上のサイズの連結領域を注視領域として特定してもよい、また、特定部１７Ａは、基準画像２１の各画素を、特定の色彩であるか否かという判定基準に基づいて２値化し、ラベリング処理などを施こすことによって該色彩の連結領域を抽出し、抽出された連結領域のうち基準以上のサイズのものを注視領域として特定しても良い。上述したように、特定部１７Ａは、基準画像２１の色彩（色情報）の統計的な分布状態、および空間的な分布状態のうち少なくとも一方に基づいて基準画像２１を上述した特定処理を行う。

　また、別の方法としては、色情報から抽出される肌色領域や、人物検出アルゴリズムにより、基準画像２１内に人領域があると判断された場合は、その領域を注視領域として特定しても良い。このようにする理由としては、画像内にある程度の大きさで人領域が含まれる場合、撮影者は、人に対し注目して撮影していると判断することが出来るからである。

　また、上述した色情報に基づいた特定処理に代えて、例えば、基準画像２１の輝度情報の分布状態に基づいて注視領域と、非注視領域とを分類して特定する特定処理が採用されたとしても本発明の有用性を損なうものではない。なお、該特定処理が採用される場合には、一旦、注視領域として抽出された各領域について、領域内の輝度と、領域の周辺部分の輝度とをそれぞれ確認し、該確認の結果、例えば、周辺領域よりも３０％以上高い輝度である注視領域を改めて注視領域として特定するとともに、該条件を満たさない注視領域については判定を変更して非注視領域としてもよい。低輝度の被写体と、高輝度の被写体とが混在した撮影シーンでは、観察者は、輝度が高い領域に注目する可能性が高いからである。

　・画像のぼけ情報に基づいた特定処理：
　特定部１７Ａは、画像のぼけ情報に基づいた特定処理に対応した動作モードが設定されている場合には、取得した基準画像２１に対し、画像のぼけ情報を算出し、映像として鮮明な位置を注視領域として算出する。具体的には、ボケ情報は、例えば、画像内のエッジ（輪郭）を検出し、検出した各エッジの強度を、画像のぼけ状態を定量的に表現する指標値として採用することによって基準画像２１を、エッジが所定の基準よりも明確な領域、すなわち注視領域と、該注領域以外の非注視領域とにそれぞれ分類して特定しても良い。画像の撮影者は、通常、主要被写体にカメラの焦点を合わせるため、主要被写体の画像は、通常、ぼけを生じず、カメラの合焦範囲から外れた主要被写体以外の被写体は、ぼけを生じる可能性が高いからである。

　また、特定部１７Ａは、基準画像２１に対して周波数解析を行うことによって、基準画像２１を、空間周波数が所定の基準よりも高い領域、すなわち、主要被写体を含む注視領域と、注視領域以外の非注視領域とに分類して特定しても良い。

　例えば、基準画像２１ｂ（図８）に画像のぼけ情報に基づいた特定処理が適用された場合には、基準画像２１ｂにおいては、既述したように、人物領域の背景部分に画像ぼけが生じているため、人物が撮影された注視領域１ｂと、基準画像２１ｂのうちぼけを生じた注視領域１ｂ以外の非注視領域３ｂとがそれぞれ特定される。

　○二次元画像における領域に基づいた特定処理：
　二次元映像である基準画像２１を、主要被写体に対応した注視領域と、該注視領域以外の非注視領域とに分類して特定する他の特定処理として、特定部１７Ａは、基準画像２１において、例えば、基準画像２１の中央部分を特定する領域情報に基づいて、該中央部分を注視領域として特定する動作を行うことができる。該特定処理は、主要被写体は、通常、画像の中央部分に撮影されることに基づいた特定処理である。また、例えば、基準画像２１を撮影した基準カメラ６１の画角が、観察者の視野角よりも広い場合は、特定部１７Ａは、該視野角の範囲情報に基づいて基準画像２１の中央部分における該視野角の範囲のみを切り出して注視領域として特定するとともに、基準画像２１のうち注視領域以外の部分を非注視領域として特定する特定処理を採用することもできる。

　図９は、基準画像２１ａにおいてそれぞれ特定された注視領域と、基準画像２１ａのうち該注視領域以外の非注視領域の１例を示す図である。例えば、基準画像２１ａの中央部分を特定する領域情報として、画像のうちＸ軸方向およびＹ軸方向のそれぞれについて中央部分の４０％に入る領域を中央部分として特定する判定基準が採用された場合には、基準画像２１ａは、図９に示されるように注視領域１ｃと非注視領域３ｃとにそれぞれ分類して特定される。

　○二次元移動ベクトルに基づいた特定処理：
　特定部１７Ａは、時系列に撮影された基準画像についての二次元移動ベクトルに基づいた注視領域と、非注視領域とについての特定処理に対応した動作モードが設定されている場合には、第１ベクトル取得部１８が取得した基準画像２１の各画素についての二次元移動ベクトル９１（図２）に基づいて被写体中の移動体を検出することによって該特定処理を行う。なお、二次元移動ベクトルに基づいた該特定処理は、観察者が、通常、静止体と移動体とのうち移動体に注視することに基づいた特定処理である。

　第１ベクトル取得部１８の動作についての説明欄において既述したように、カメラが静止している場合には、特定部１７Ａは、非零の大きさを有する二次元移動ベクトル９１を検出することによって、撮影された画像中の移動体を検出することができる。また、消失点を用いれば、カメラが移動している場合であっても、カメラに対して相対的に静止物とは異なった方向に沿って移動する移動体を検出することができる。従って、特定部１７Ａは、二次元移動ベクトル９１に基づいて基準画像２１の画像空間を、移動体、すなわち主要被写体が撮影された注視領域と、該注視領域以外の非注視領域とに分類して特定することができる。

　図１０は、基準画像２１（図２）の１例として基準画像２１ｃを示す図である。例えば、上述した二次元移動ベクトルに基づいた特定処理が、基準画像２１ｃに適用された場合には、基準画像２１ｃのうち走っている３人の人物をそれぞれ内包した注視領域１ｄ、１ｅ、および１ｆがそれぞれ特定されるとともに、特定された注視領域以外の非注視領域３ｄが特定される。

　○距離情報に基づいた特定処理：
　特定部１７Ａは、基準画像２１についての距離情報、すなわち三次元の静止画像に基づいた注視領域と、非注視領域とについての特定処理に対応した動作モードが設定されている場合には、例えば、第２取得部１３から供給される各基準距離情報２７（原距離画像３１）に基づいた以下に説明する処理１～５の各処理のうち１つの処理を行うことなどによって該特定処理を行う。

　・処理１：処理１の実施において特定部１７Ａは、第２取得部１３から供給された各基準距離情報２７を、予め設定されて記憶装置４６等に記憶された距離範囲情報に基づいて、該距離範囲に入るか否かを判定することによって、原距離画像３１に対応した画像空間のうち、主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とを特定する。具体的には、例えば、上述した距離範囲情報のうちステレオカメラ３００から近距離側の値を規定する情報としては、ステレオカメラ３００の基線長により立体視可能な最近接近距離が採用される。逆に上述した距離範囲情報のうちステレオカメラ３００から遠距離側の値を規定する情報としては、立体視映像として表示しても立体感を得ることが出来ない距離範囲のうちステレオカメラ３００に対して最も近い距離が採用される。

　処理１を採用すれば、特定部１７Ａは、例えば、非注視領域を、ステレオカメラ３００の基線長により立体視可能な最近接近距離よりもさらに近い領域と、立体視映像として表示しても立体感を得ることが出来ない距離範囲の領域とにそれぞれ分類することができる。従って、非注視領域のうち上述した立体視可能な最近接近距離よりもさらに近い領域に対応した基準画像２１の領域に対して第１生成部１４Ａが画像をぼかす処理、または該さらに近い領域に対応した原距離画像３１の領域における各距離情報を立体視可能な最近接近距離に設定することなどによって、第３取得部１６が生成する立体視画像２６（図２）を観察者が観察したときの観察者の目の疲労を、軽減することが可能となる。

　・処理２：処理２の実施において特定部１７Ａは、基準画像２１の撮影に係る合焦距離情報に基づいて原距離画像３１、すなわち原距離画像３１に対応した画像空間を、主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う。該特定処理に用いられる合焦距離情報は、基準カメラ６１として、例えばオートフォーカスカメラが採用された場合には、基準画像２１が撮影されたときの合焦距離情報が基準画像２１に対応づけられて画像処理装置２００Ａに供給されることなどによって、特定部１７Ａに取得される。処理２によれば、特定部１７Ａは、原距離画像３１のうちカメラのピントが合っている距離情報を推定し、原距離画像３１のうち画素値が推定された距離情報に対応する領域のみ、あるいは原距離画像３１のうち画素値が推定された距離情報の、例えば、９５％～１０５％の範囲の距離情報に対応する領域のみを注視領域として抽出することができる。

　・処理３：処理３の実施において特定部１７Ａは、第２取得部１３によって取得された原距離画像３１における相互の距離情報の差異が所定の距離範囲内である画素が連結した連結領域のうち所定サイズ以上の領域を注視領域とすることにより原距離画像３１に対応した画像空間、すなわち原距離画像３１を、主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う。

　特定部１７Ａは、例えば、原距離画像３１の各距離情報の分布範囲を複数の区間に分割するとともに、領域内の各距離情報が該複数の区間の１つに属する所定サイズ以上の連結領域を原距離画像３１において特定する処理を、分割された区間の全てに対して順次実施することなどによって処理３に対応した特定処理を行うことができる。

　図１１は、特定部１７Ａが行う処理３および後述する処理４に係るラベリング処理の１例を説明するための図である。特定部１７Ａは、該ラベリング処理を、例えば、後述する(b-1)～(b-5)の処理を行うことなどによって実現できる。

　(b-1)特定部１７Ａは、先ず、原距離画像３１の各距離情報の分布範囲を複数の区間に分割し、そのうち１の区間を選択するとともに、原距離画像３１の各画素の画素値、すなわち距離情報が選択した区間の距離範囲に属するか否かという判定基準によって原距離画像３１の各画素の画素値を２値化する。

　(b-2)次に、特定部１７Ａは、２値化された原距離画像３１に対してラベリング処理を施して、画素値すなわち距離情報が選択区間の距離範囲に属する各画素が連結することによって形成された全ての連結領域をそれぞれ原距離画像３１において特定する。

　(b-3)その後、特定部１７Ａは、連結領域のサイズに関する所定の判定基準に基づいて、上述した各連結領域が該所定の判定基準を満たすか否かを判定し、該基準を満たす連結領域を全て抽出する。例えば、図１１の領域４ｇは、該抽出によって特定された連結領域が１つである場合の連結領域を例示している。また、該判定基準としては、例えば、各連結領域のうち原距離画像３１のサイズの５％以上のサイズを有する領域を特定する判定基準などが採用される。

　(b-4)特定部１７Ａは、例えば、領域４ｇのＸ軸およびＹ軸の各方向についての位置情報を特定し、領域４ｇを内包する矩形の領域を、原距離画像３１の各距離情報の分布範囲が分割された複数の区間のうち選択された１つの区間についての注視領域１ｇとして特定する。また、原距離画像３１のうち注視領域１ｇ以外の領域３ｇは、選択された１つの区間について非注視領域に相当する領域である。なお、特定部１７Ａが、該矩形の領域を設定することなく領域４ｇをそのまま注視領域として特定したとしても本発明の有用性を損なうものではない。

　(b-5)特定部１７Ａは、上述した処理(b-1)から(b-4)を、原距離画像３１の各距離情報の分布範囲が複数の区間に分割された各区間についてそれぞれ行うことにより、原距離画像３１の各距離情報の分布範囲の全範囲についての全ての注視領域を特定する。また、特定部１７Ａは、特定された全ての注視領域を原距離画像３１から除いた領域を非注視領域として特定する。

　例えば、図１０に示される基準画像２１ｃにおいては、３名の人物のステレオカメラ３００から距離は相互に異なっているが、上述した処理３に係るラベリング処理が図１０に示される基準画像２１ｃに適用された場合には、基準画像２１ｃのうち走っている３人の人物をそれぞれ内包した注視領域１ｄ、１ｅ、および１ｆがそれぞれ特定されるとともに、特定された注視領域以外の非注視領域３ｄが特定される。

　処理３においては、上述したように、原距離画像３１において距離情報の差異が所定の距離範囲内である画素が連結した連結領域であり、かつ、サイズが所定の基準以上である連結領域のみが注視領域として特定される。このため、たとえ原距離画像３１のうち距離情報の差異が所定の距離範囲内である画素が連結した連結領域であったとしても、所定の基準よりも小さな連結領域は、非注視領域として分類される。なお、基準画像２１および原距離画像３１のうち少なくとも一方において該注視領域に対応する領域に対して後述する第１生成部１４Ａによってぼかし処理が行われるとともに、該ぼかし処理が終了した際の基準画像２１および原距離画像３１に基づいて第２生成部１５Ａでの処理によって疑似画像が生成されて立体視表示に供される。従って、上述した所定の基準よりも小さな連結領域に対しては観察者が覚える立体感が低減されるので、観察者は、該連結領域についての立体視に関する情報の過多や混在に起因したちらつき感による目の疲労を軽減することができる。

　・処理４：処理４の実施において特定部１７Ａは、第２取得部１３によって取得された原距離画像３１における相互の距離情報の差異が所定の距離範囲内である画素が連結した連結領域のうち最大サイズの領域を注視領域とすることにより、原距離画像３１に対応した画像空間、すなわち原距離画像３１を、主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う。具体的には、特定部１７Ａは、例えば、処理３で説明された(b-1)～(b-5)の処理を行った後、原距離画像３１において特定された各注視領域のうち最大サイズのものを唯一の注視領域として特定することによって処理４を行うことができる。従って、特定部１７Ａが処理４を行えば、画像処理装置２００Ａが生成する立体視画像のうち唯一特定された注視領域以外の非注視領域に対応した部分について、画像処理装置２００Ａは観察者が覚える立体感を低減することができるので、観察者は、該非注視領域の立体視に関する情報に起因したちらつき感による目の疲労を処理３が行われた場合よりもさらに軽減することができる。

　・処理５：処理５の実施において特定部１７Ａは、第２取得部１３によって取得された原距離画像３１の画像空間のうち所定の領域の範囲を規定した領域情報に基づいて、原距離画像３１に対応した画像空間、すなわち原距離画像３１を、主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う。特定部１７Ａは、例えば、図７に示された原距離画像３１ａのうちＸ軸方向およびＹ軸方向のそれぞれについて中央部分の４０％に入る領域を中央部分として特定する判定基準などに基づいて、原距離画像３１の画像空間のうち中央部分の領域を注視領域として特定する。特定部１７Ａが処理５を行えば、画像処理装置２００Ａが生成する立体視画像のうち原距離画像３１において特定された非注視領域、すなわち中央部分を除いた周辺部分に対応した部分について、画像処理装置２００Ａは観察者が覚える立体感を低減することができ、該部分のちらつき感による観察者の目の疲労を軽減することができる。

　○三次元移動ベクトルに基づいた特定処理：
　特定部１７Ａは、三次元移動ベクトルに基づいた注視領域と、非注視領域とについての特定処理に対応した動作モードが設定されている場合には、第２ベクトル取得部１９が取得した基準画像２１の各画素についての三次元移動ベクトル９２（図２）に基づいて被写体中の移動体を検出することによって基準画像２１および原距離画像３１のそれぞれに対応した画像空間を、注視領域と、注視領域以外の非注視領域とに分類して特定する特定処理を行う。なお、三次元移動ベクトルに基づいた該特定処理は、二次元移動ベクトルに基づいた特定処理と同様に、観察者が、通常、静止体と移動体とのうち移動体に注視することに基づいた特定処理である。

　第２ベクトル取得部１９の動作についての説明欄において既述したように、特定部１７Ａが三次元移動ベクトルを用いれば、撮影された被写体の各部分に対して、三次元空間におけるカメラに対する相対的な移動情報を取得することができるので、特定部１７Ａは、例えば、撮影された被写体のうち、他の部分と異なる三次元的な動きをした部分、すなわち、他の部分と異なる部分を注視領域として特定することができる。また、特定部１７Ａは、基準画像２１の各画素に対応する各三次元移動ベクトル９２について、三次元移動ベクトルの大きさ、すなわち、被写体の各部の移動量が、例えば、ステレオカメラ３００から被写体までの距離の１０％以上であるなど、所定の閾値以上であるか否かを判定することによって、基準画像２１に撮影された移動体、すなわち注視領域を特定する特定処理を行うこともできる。

　また、特定部１７Ａは、基準画像２１に撮影された被写体の各部の移動方向、すなわち三次元移動ベクトル９２の方向に基づいて、基準画像２１および原距離画像３１のそれぞれに対応した画像空間を、注視領域と、注視領域以外の非注視領域とに分類して特定する特定処理を行ったとしても本発明の有用性を損なうものではない。

　図１２は、特定部１７Ａが三次元移動ベクトル９２の方向に基づいて注視領域を特定する処理の１例を説明するための図である。図１２に示されるように、基準カメラ６１の光学中心７３ａをそれぞれ通る撮影視野端７８ａおよび７８ｂによって規定される基準カメラ６１の撮影視野において被写体７１ｃおよび７１ｄがそれぞれ時間の経過とともに移動している。三次元移動ベクトル９２ａおよび９２ｂは、被写体７１ｃおよび７１ｄにそれぞれ対応した三次元移動ベクトルであり、第２ベクトル取得部１９によって取得されている。

　ここで、三次元移動ベクトル９２ａの延長線は、基準カメラ６１に交差しているが、三次元移動ベクトル９２ｂの延長線は、基準カメラ６１と交差していない。すなわち、それぞれ移動体である被写体７１ｃおよび７１ｄが時系列に撮影された各基準画像２１においては、時間の経過とともに被写体７１ｃの画像が基準画像２１の中央部分へ拡大しながら近づく一方、被写体７１ｄの画像は時間の経過とともに基準画像２１の画面から消えていく。この場合、観察者は、それぞれ移動体である被写体７１ｃおよび７１ｄのうち、通常、被写体７１ｃを注視する。

　従って、特定部１７Ａは、三次元移動ベクトル９２に基づいて基準カメラ６１に向かってくる被写体、すなわち三次元移動ベクトル９２の延長線が基準カメラ６１と交差する被写体については、該被写体の画像を含む領域を注視領域であると判定するとともに、三次元移動ベクトル９２の延長線が基準カメラ６１と交差せずに去っていく被写体については、該被写体の画像を非注視領域として判定することによって、上述した特定処理を行う。

　三次元移動ベクトル９２が基準カメラ６１と交差するか否かを判定する交差判定の手法としては、例えば、基準カメラ６１の位置に基準カメラ６１とほぼ同サイズの立体領域を設定し、該立体領域の外縁を形成する各面と三次元移動ベクトル９２の延長線とが交差するか否かを判定する手法などが採用され得る。

　上述したように、特定部１７Ａは、設定された動作モードに応じて、基準画像２１と原距離画像３１（各基準距離情報２７）とのそれぞれに対応する画像空間を、撮影された被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う。該特定処理が完了すると特定部１７Ａは、非注視領域の範囲を規定する領域情報２ａ（図２）を生成する。生成された領域情報２ａは、第２生成部１５Ａに供給される。また、特定部１７Ａの動作モードは、例えば、操作者が操作部４２を介して設定する手法、取得された基準カメラ６１が時系列画像であるか否かをＣＰＵ１１Ａが判定することによって設定する手法などの各種の手法によって設定される。

　なお、上述した特定部１７Ａの動作説明においては、基準画像２１のうち注視領域を抽出する判定基準に基づいて、基準画像２１と原距離画像３１とのそれぞれに対応する画像空間を、撮影された被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理の例を説明したが、特定部１７Ａが、基準画像２１のうち注視領域を抽出する判定基準に代えて、基準画像２１のうち非注視領域を判定する判定基準を採用することによって該特定処理を行ったとしても本発明の有用性を損なうものではない。

　○第１生成部１４Ａの動作：
　領域情報２ａを供給されると第１生成部１４Ａは、領域情報２ａに基づいて基準画像２１および原距離画像３１のうち少なくとも一方の非注視領域に対応した領域の画像に対してぼかし処理を行う。その結果、第１生成部１４Ａは、基準画像２１および各基準距離情報２７にそれぞれ対応した派生画像２４（図２）および各派生距離情報２８（派生距離画像３２）（それぞれ図２）をそれぞれ生成する（図２１のステップＳ１４０）。

　ここで、第１生成部１４Ａは、基準画像２１および原距離画像３１のうち基準画像２１のみの非注視領域に対応した領域の画像に対してぼかし処理を行う場合には、通常、各基準距離情報２７に対応した各派生距離情報２８（派生距離画像３２）として各基準距離情報２７（原距離画像３１）自体を採用する。しかしながら、原距離画像３１に対して、例えば、ランダムノイズの除去などを目的として、ぼかし強度が、例えば、非注視領域に対するぼかし処理のぼかし強度の１０％以下であるなどの、ぼかし強度の弱いぼかし処理が施された距離画像が派生距離画像３２として採用されたとしても本発明の有用性を損なうものではない。同様に、第１生成部１４Ａは、基準画像２１および原距離画像３１のうち原距離画像３１のみの非注視領域に対応した領域の画像に対してぼかし処理を行う場合には、通常、基準画像２１に対応した派生画像２４として基準画像２１自体を採用する。しかしながら、基準画像２１に対して、例えば、ランダムノイズの除去などを目的として、ぼかし強度が、例えば、非注視領域に対するぼかし処理のぼかし強度の１０％以下であるなどの、ぼかし強度の弱いぼかし処理が施された基準画像が派生画像２４として採用されたとしても本発明の有用性を損なうものではない。

　第１生成部１４Ａが行う基準画像２１および原距離画像３１などの画像データに対するぼかし処理としては、例えば、平均化フィルタ、メディアンフィルタ、またはガウシアンフィルタなどの各種の平滑化フィルタを用いた平滑化フィルタ処理などが採用される。また、平滑化フィルタの平滑化強度は、例えば、フィルタのサイズを変更することなどによって変更され得る。また、第１生成部１４Ａが、例えば、ぼかし処理の対象領域の各画素の画素値を、該対象領域の各画素の画素値の平均値などの該対象領域における画素値の代表値に置き換える処理をぼかし処理として行ったとしても本発明の有用性を損なうものではない。

　図１３は、平均化フィルタ５５の１例を示す図である。図１３に示された平均化フィルタ５５は、各行列要素の値が１であり、図示の都合上、５×５画素（５行５列）サイズとして表示されている。平均化フィルタ５５では、Ｘ方向およびＹ方向のそれぞれ画素数（要素数）を規定するパラメータＫの値に応じて、フィルタサイズ、すなわち平滑化強度が変動する。平均化フィルタ５５が平滑化処理の対象である画像データに適用される場合には、平滑化対象の画像データに係る画像空間のうち着目画素を中心とした、平均化フィルタ５５と同サイズの領域に対して平均化フィルタ５５が重ねられる。そして、該領域内の各画素の画素値と、各画素にそれぞれ正対している平均化フィルタ５５の各行列要素の値との積和演算が行われ、該演算結果を積和演算の対象となった画素数で除算した値を、着目画素の画素値に置き換える処理が行われる。また、基準画像２１および原距離画像３１の非注視領域に対するぼかし処理のために平均化フィルタ５５が適用される場合には、基準画像２１および原距離画像３１の画像サイズが３４５６画素×２５９２画素であれば、パラメータＫの値としては、例えば、１００～４００程度の値が採用される。

　なお、第１生成部１４Ａは、特定部１７Ａと同様に設定された動作モードに応じて以下に説明する各種のぼかし処理を行うことできる。また、該動作モードは、例えば、操作者が操作部４２を介して設定する手法や、特定部１７Ａの動作モードを第１生成部１４Ａが判定することによって設定する手法などの各種の手法によって設定される。

　○ぼかし処理１：ぼかし処理１に対応した動作モードが設定された場合には、第１生成部１４Ａは、原距離画像３１のうち非注視領域に対応する領域の画像、すなわち各距離情報に対するぼかし処理を行うことによって各派生距離情報２８を生成する。また、第１生成部１４Ａは、動作モードに応じて、原距離画像３１の非注視領域を、該非注視領域に撮影された被写体各部の距離が所定の基準距離よりも各距離情報の原点位置、すなわち基準カメラ６１の光学中心７３ａに近い近側の領域と、該原点位置に対して該基準距離よりも遠い遠側の領域とに区分し、該近側の領域と、該遠側の領域とにそれぞれ強度の異なるぼかし処理を施す処理も行い得る。なお、立体視画像２６を観察する観察者が覚える違和感を軽減するために、該近側の領域に対するぼかし強度は、該遠側の領域に対するぼかし強度よりも、通常、弱く設定される。また、該近側の領域と、外縁側の領域との区分けに使用される基準距離としては、例えば、原距離画像３１のうち注視領域に対応した領域の各距離情報の平均値などが採用される。

　また、第１生成部１４Ａは、ぼかし処理１についてさらに詳細な処理内容が規定された以下のぼかし処理１Ａ～１Ｃの各処理のうち１つの処理を動作モードに応じて行うこともできる。なお、第１生成部１４Ａが、ぼかし処理１Ａ～１Ｃのいずれの処理を行ったとしても本発明の有用性を損なうものではない。

　・ぼかし処理１Ａ：ぼかし処理１Ａに対応した動作モードが設定されている場合には、第１生成部１４Ａは、原距離画像３１のうち非注視領域に対応する領域の画像に対して、例えば、平均化フィルタ５５（図１３）などを用いた平均化フィルタ処理を施すことによってぼかし処理を行って各派生距離情報２８を生成する。なお、平均化フィルタ処理に代えて、例えば、メディアンフィルタ、またはガウシアンフィルタなどの各種の平滑化フィルタを用いた平滑化フィルタ処理が施されたとしても本発明の有用性を損なうものではない。

　・ぼかし処理１Ｂ：ぼかし処理１Ｂに対応した動作モードが設定されている場合には、第１生成部１４Ａは、原距離画像３１のうち非注視領域に対応する領域の各画素について、該各画素をそれぞれ内包する、例えば、３×３画素サイズ～５０×５０画素サイズなどの所定サイズの領域における各距離情報の最頻値を例えばヒストグラムなどの各距離情報の統計的な分布状態に基づいて特定し、特定された最頻値を該各画素の画素値とすることによってぼかし処理を行って各派生距離情報２８を生成する。

　・ぼかし処理１Ｃ：ぼかし処理１Ｃに対応した動作モードが設定されている場合には、第１生成部１４Ａは、原距離画像３１のうち非注視領域に対応する領域における各距離情報を、各距離情報についての原点位置、すなわち基準カメラ６１の光学中心７３ａに対して、より遠方側にそれぞれ変更することによってぼかし処理を行って各派生距離情報２８を生成する。

　○ぼかし処理２：ぼかし処理２に対応した動作モードが設定された場合には、第１生成部１４Ａは、基準画像２１のうち非注視領域に対応する領域の画像に対するぼかし処理によって派生画像２４を生成する。なお、時系列画像として取得された基準画像２１と、基準画像２１とは異なる時刻に撮影された別の基準画像とに基づいて各二次元移動ベクトルが第１ベクトル取得部１８によって取得されている場合には、第１生成部１４Ａは、動作モードに応じて、該別の基準画像に対して二次元移動ベクトルを用いたぼかし処理を行うことができる。具体的には、取得された二次元移動ベクトルに基づいて基準画像２１の非注視領域が特定された場合には、第１生成部１４Ａは、基準画像２１のうち非注視領域に対応する領域の画像に対するぼかし処理を施し、その結果として派生画像２４を生成する。なお、基準画像２１の非注視領域に対応する領域の各画素には、二次元移動ベクトルによって対応付けられた該別の基準画像の各画素が存在する。そして、第１生成部１４Ａは、基準画像２１の非注視領域における各画素に適用されたぼかし処理を該別の基準画像該各画素に対応付けがなされた施すことによって該別の基準画像に対応した派生画像を生成することもできる。上述したように時系列の各基準画像間の対応した画素に対して同一のぼかし処理が行われれば、時系列の各基準画像に基づいて生成された時系列の立体視画像（動画像）を観察する観察者が覚える違和感を軽減することができるとともに、時系列方向でのちらつき感を抑制することができ、観察者の目の疲労を軽減することができる。

　また、第１生成部１４Ａは、動作モードに応じて、原距離画像３１のうち領域情報２ａによって特定される非注視領域以外の注視領域に対応した領域の画像について、該領域の各距離情報の平均値を求めることなどによって該注視領域を代表する距離情報を取得するとともに、該距離情報に基づいて原距離画像３１のうち非注視領域に対応した領域を、各距離情報の原点位置、すなわち基準カメラ６１の光学中心７３ａに対して注視領域よりも遠側の領域と、注視領域よりも近側の領域とに区分し、区分された２つの領域に対して強度の異なるぼかし処理をそれぞれ施す処理も行い得る。なお、立体視画像２６を観察する観察者が覚える違和感を軽減するために、該近側の領域に対するぼかし強度は、該遠側の領域に対するぼかし強度よりも、通常、弱く設定される。

　また、第１生成部１４Ａは、ぼかし処理２についてさらに詳細な処理内容が規定された以下のぼかし処理２Ａ～２Ｃの各処理のうち１つの処理を動作モードに応じて行うこともできる。なお、第１生成部１４Ａが、ぼかし処理２Ａ～２Ｃのいずれの処理を行ったとしても本発明の有用性を損なうものではない。

　・ぼかし処理２Ａ：ぼかし処理２の具体的な手法として、第１生成部１４Ａは、動作モードに応じて基準画像２１のうち領域情報２ａにより特定される非注視領域に対応する領域の画像に対して平均化フィルタ５５（図１３）などを用いた平均化フィルタ処理を施すぼかし処理２Ａを採用し得る。

　・ぼかし処理２Ｂ：同様に、第１生成部１４Ａは、動作モードに応じて基準画像２１のうち非注視領域に対応する領域において空間的に離散的に存在する各画素を特定するとともに、特定された各画素の画素値に基づいて、基準画像２１のうち非注視領域に対応する領域のうち離散的に特定された各画素以外の画素の画素値を取得することによってぼかし処理を行うぼかし処理２Ｂを採用することもできる。具体的には、第１生成部１４Ａは、例えば、基準画像２１を複数領域に分割して、各領域ごとに中心画素を離散的に特定し、各領域の画素のうち特定された画素以外の画素の画素値として、各領域に置いて特定された画素の画素値を採用することによってぼかし処理２Ｂを行う。

　・ぼかし処理２Ｃ：また、ぼかし処理２の具体的な手法として、第１生成部１４Ａは、基準画像２１のうち非注視領域に対応する領域における画素値の空間的な高周波成分を周波数解析などの手法を用いて除去することによってぼかし処理を行うぼかし処理２Ｃを採用することもできる。

　なお、第１生成部１４Ａが、基準画像２１に対してぼかし処理を行う手法に代えて、後述する第２生成部１５Ａが、基準画像２１と、原距離画像３１または派生距離画像３２とに基づいて生成した疑似画像に対して、例えば第２生成部１５Ａが、生成された疑似画像のうち基準画像２１の非注視領域に対応した領域の画像をぼかす手法が採用されたとしても本発明の有用性を損なうものではない。

　第１生成部１４Ａが行うぼかし処理によって、派生画像２４（図２）および各派生距離情報２８（派生距離画像３２）がそれぞれ生成されると、生成された派生画像２４（図２）および各派生距離情報２８（派生距離画像３２）は、第２生成部１５Ａへとそれぞれ供給される。

　○第２生成部１５Ａの動作：
　図２に示される第２生成部１５Ａは、派生画像と各派生距離情報とに基づいて、基準画像２１が撮影された視点とは別の仮想視点からの撮影に対応した被写体の疑似画像２５を生成する（図２１のステップＳ１５０）。生成された疑似画像２５は、第３取得部１６へと供給されて立体視画像２６の取得に供される。なお、第２生成部１５Ａは、設定された動作モードに応じて、立体視画像２６を構成する左目用の画像と右目用の画像とのうち一方の画像として１つの疑似画像２５を生成する処理を行うことができるとともに、動作モードに応じて、左目用の画像および右目用の画像として２つの疑似画像２５をそれぞれ生成する処理を行うこともできる。また、第２生成部１５Ａが表示部４３に係る情報に基づいて疑似画像２５の視差量を調整したとしても本発明の有用性を損なうものではない。

　次に、第２生成部１５Ａが、基準画像の各画素に対応した各視差、または各距離などの各距離情報に基づいて疑似画像を生成する手法について説明する。図１８は、図１７に示された基準画像２１ｅと参照画像２２ｅとについての各視差と、基準画像２１ｅとに基づいて、基準画像２１ｅが撮影された視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２５ｅを生成する基本手法の１例を説明するための図である。

　なお、図１８における疑似画像２５ｅに対応した仮想視点は、基準画像２１ｅが撮影された視点に対して、Ｘ軸に沿って＋Ｘ方向に、基準カメラ６１と参照カメラ６２との基線長を隔てた位置に存在している。また、疑似画像２５ｅにおける近景被写体像６６ｃおよび遠景被写体像６７ｃは、基準画像２１における近景被写体像６６ａおよび遠景被写体像６７ａにそれぞれ対応している。また、近景被写体像６６ａ上の画素６８ａには、近景被写体像６６ｃ上の画素６８ｃが対応し、遠景被写体像６７ａ上の画素６９ａには、遠景被写体像６７ｃ上の画素６９ｃが対応している。なお、図１８においても、図１７と同様に、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されているとともに、視差の把握を容易にするため基準画像２１ｅと疑似画像２５の左端（右端）のＸ座標が等しくなるように垂直方向（図１８のＹ軸方向）に並べて表示されている。

　この場合、基準画像２１ｅの画素６８ａと、疑似画像２５ｅの画素６８ｃとの視差として、図１７における画素６８ａと画素６８ｂとの視差９ａが設定されるとともに、基準画像２１ｅの画素６９ａと、疑似画像２５ｅの画素６９ｃとの視差として、図１７における画素６９ａと画素６９ｂとの視差９ｂが設定される。また、疑似画像２５ｅの他の画素についても同様に基準画像２１ｅの画素との視差が設定されることによって、疑似画像２５ｅの各画素についての基準画像２１ｅの各画素との視差が取得される。そして、取得された視差に基づいて基準画像２１ｅを変形させることによって疑似画像２５ｅが取得される。

　次に、基準画像と視差とに基づいて疑似画像を生成する上述した基本手法について詳しく説明する。図２２は、基準画像２１ｅと、基準画像２１ｅの各画素についての距離情報とに基づいて疑似画像２５ｅを生成する上述した基本手法の動作フローＳ１０を例示する図である。

　図２２の動作フローＳ１０の処理が開始されると、基準画像２１ｅ（図１８）の上端（－Ｙ方向端）における水平走査方向（Ｘ軸方向）の１ライン分の部分画像２３ａ（図１９）が選択される（ステップＳ２０）。

　図１９は、基準画像２１ｅ（図１８）の上端（－Ｙ方向端）の水平走査方向（Ｘ軸方向）の１ライン分の部分画像２３ａ（図１９）の一部の各画素７ａ～７ｊと、基準画像２１ｅに対応した疑似画像２５ｅ（図１８）の上端（－Ｙ方向端）の水平走査方向の１ライン分の部分画像２３ｂ（図１９）の一部の各画素８ａ～８ｊとの対応関係の１例を示す図である。また、部分画像２３ａと部分画像２３ｂとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素７ａ～７ｊと、各画素８ａ～８ｊとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。

　図２０は、部分画像２３ａ（図１９）の各画素７ａ～７ｊの画素座標および視差（距離情報）と、部分画像２３ｂ（図１９）の各画素８ａ～８ｊの画素座標との対応の１例を示す図である。図２０の第１行目と第５行目には、部分画像２３ａの各画素７ａ～７ｊをそれぞれ特定する画素番号と、部分画像２３ｂの各画素８ａ～８ｊをそれぞれ特定する画素番号とが示されている。また、図２０の第２行目には、各画素７ａ～７ｊのＸ座標が第１行目に示された画素番号に対応づけられて示されている。また、図２０の第３行目には基準画像２１ｅと参照画像２２ｅ（図１７）とについて算出された視差（距離情報）のうち各画素７ａ～７ｊに対応した視差が第１行目に示された画素番号に対応づけられて示されている。

　図２２のステップＳ２０において、１ライン分の部分画像２３ａが選択されると、選択された部分画像２３ａの各画素について、疑似画像２５ｅにおいて対応する画素、すなわち部分画像２３ｂの各画素８ａ～８ｊの水平走査方向（Ｘ軸方向）の画素座標（Ｘ座標）が取得される（図２２のステップＳ３０）。

　ここで、上述した基本手法は、疑似画像２５ｅ（図１８）に対応した仮想視点が、基準画像２１ｅ（図１７、図１８）が撮影された視点に対して、Ｘ軸に沿って＋Ｘ方向に、基準カメラ６１と参照カメラ６２との基線長を隔てた位置に存在している場合の手法である。従って、部分画像２３ａと部分画像２３ｂとのそれぞれの垂直方向（Ｙ軸方向）の画素座標（Ｙ座標）は同じである。また、図２０の第３行目に示された視差は、部分画像２３ａと、部分画像２３ｂとの視差でもある。

　従って、部分画像２３ｂの各画素のＸ座標は、（４）式によって算出される。図２０の第４行目には、（４）式によって算出された各画素８ａ～８ｊのＸ座標がそれぞれ第５行目に示された各画素番号に対応づけられて示されている。

　疑似画像２５ｅの水平方向の１ライン分の部分画像２３ｂにおける各画素の画素座標が取得されると、次に、部分画像２３ｂの各画素の画素値がそれぞれ取得される。すなわち、１ライン分の部分画像２３ｂの画像が生成される（図２２のステップＳ４０）。次に、ステップＳ４０における処理を、図１９に示された部分画像２３ａの各画素７ａ～７ｊと、部分画像２３ｂの各画素８ａ～８ｊを例として説明する。

　図２０の第４行目に示された各画素８ａ～８ｊのＸ座標によれば、部分画像２３ａの各画素７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆ、７ｇ、７ｈ、７ｉ、７ｊは、部分画像２３ｂの各画素８ａ、８ｂ、８ｂ、８ｃ、８ｄ、８ｄ、８ｅ、８ｇ、８ｉ、８ｊにそれぞれ対応している。すなわち、各画素８ａ～８ｊには、各画素７ａ～７ｊのうち１つの画素が対応している第１種の画素、２つの画素が対応している第２種の画素、および各画素７ａ～７ｊの何れの画素も対応していない第３種の画素の３種類の画素が存在している。

　図２２のステップＳ４０の処理においては、該第１種の画素の画素値として、該画素に対応する部分画像２３ａの画素の画素値が採用され、また、該第２種の画素の画素値として、該画素に対応する部分画像２３ａの２つの画素の画素値の代表値、例えば、平均値が採用される。また、該第３種の画素の画素値としては、例えば、部分画像２３ａとの対応関係に基づいて画素値が取得された部分画像２３ｂの画素のうち該第３種の画素に最も空間的に近い画素の画素値が採用される。そして、部分画像２３ｂの画像は、部分画像２３ｂの各画素についてそれぞれ特定された画素座標（Ｘ座標）と、画素値とによって特定される。

　ステップＳ４０の処理が終了すると、基準画像２１ｅの水平方向（Ｘ軸方向）の全てのラインについて、対応する疑似画像の部分画像を生成する処理（ステップＳ３０～Ｓ４０）が終了したか否かが確認される（図２２のステップＳ５０）。ステップＳ５０での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像２１のうち、処理されたラインの＋Ｙ方向の次のラインが新たな処理対象として選択されて（図２２のステップＳ６０）、処理はステップＳ３０へと戻される。また、ステップＳ５０での確認の結果、水平方向の全てのラインについて疑似画像の部分画像を生成する処理が終了していれば、疑似画像２５ｅの生成処理は終了される。

　なお、視差に基づいた基準画像２１ｅの変形は、画素サイズを最小単位として行えばよい。従って、画素サイズ単位で視差が取得されれば疑似画像２５ｅを取得できるが、例えば、視差を求めるための対応点探索を画素サイズ以下のサブピクセル単位で実施することにより視差をサブピクセル単位で取得したとしても、視差に基づいた基準画像２１ｅの変形の際に、該変形量を画素単位で行えば疑似画像２５ｅが取得できるので、本発明の有用性を損なうものではない。

　次に、仮想視点と、基準画像２１ｅの撮影に係る視点との基線長が、図１７における基準画像２１ｅと参照画像２２ｅとにそれぞれ対応した基準カメラ６１と参照カメラ６２との基線長とは異なる場合における疑似画像の取得手法について説明する。この場合には、例えば、先ず、基準画像２１ｅの各点の視差から（１）式を用いて該各点に対応した被写体の各点の距離を算出し、算出された距離、および仮想視点と基準画像２１ｅの撮影に係る視点との基線長に基づいて、基準画像２１ｅの各画素と、疑似画像２５の各画素との視差を（１）式によって取得し、取得された視差に基づいて基準画像２１ｅの画像を変形することによって該異なる基線長に対応した疑似画像２５を取得することが出来る。従って、変形例についての説明欄で後述するように、ステレオカメラ３００に代えて各種の三次元測定機を採用することができる。

　第２生成部１５Ａは、基準画像２１および各基準距離情報２７にそれぞれ対応した派生画像２４および各派生距離情報２８（派生距離画像３２）に、例えば、上述した疑似画像２５の生成に係る基本手法などを適用して基準画像２１を変形することによって、基準画像２１が撮影された視点とは別の仮想視点からの撮影に対応した被写体の疑似画像２５を生成する。生成された疑似画像２５は、第３取得部１６に供給される。

　○第３取得部１６の動作：
　図２に示される第３取得部１６は、第１取得部１２および第２生成部１５Ａからそれぞれ供給された基準画像２１および疑似画像２５を立体視画像として取得し、取得した立体視画像を表示部４３に表示させる。なお、第３取得部１６は、第２生成部１５Ａが基準画像２１に基づいてそれぞれ生成した左目用の疑似画像および右目用の疑似画像を立体視画像として取得することもできる。また、第３取得部１６は、記憶装置４６に記憶されたステレオカメラ３００と観察者の両眼とについての基線長および焦点距離の差異、表示部４３のサイズ情報などに応じて疑似画像２５を変形し、立体視画像を生成することもできる。

　上述したように、画像処理装置２００Ａによれば、画像処理装置２００Ａが生成した立体視画像２６を観察する観察者は、注視領域において本来の画質と距離感とが保持された被写体の立体像を認識できるとともに、非注視領域における立体視に関する視覚的な情報量が低減されることによって、非注視領域での立体視に関する視覚的な情報の過多や混在に起因した目の疲労を軽減され得る。

　＜変形例について：＞
　以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

　例えば、上述した画像処理システム１００Ａにおけるステレオカメラ３００では、基準カメラ６１と参照カメラ６２との基線長の方向は垂直方向であったが、該基線長の方向は、水平方向その他の任意の方向でもよい。また、基準カメラ６１と参照カメラ６２との撮影倍率は、異なっていても良い。

　また、ステレオカメラ３００に代えて、例えば、基準カメラ６１と、レーザ光などの形状計測用の各種検出光を被写体へと投影する投光装置とを備えて構成され、三角測量の原理、または、ＴＯＦ（Time of Flight）方式などによって被写体の基準画像２１と、基準画像２１の各画素に対応した被写体の各点についての距離情報とを取得するアクティブ測距方式の三次元測定機が採用されたとしても、該距離情報と（１）式とによって、基準画像２１に対する疑似画像２５の視差を取得し、該視差と基準画像２１とに基づいて疑似画像２５を取得することが出来るので、本発明の有用性を損なうものではない。

　また、通常、被写体を撮影した画像の彩度は、被写体が近いほど彩度が高く、被写体が遠いほど彩度が低くなるので、ステレオカメラ３００に代えて、基準カメラ６１によって基準画像２１を取得するとともに、基準画像２１の彩度に基づいて、基準画像２１の各画素に対応する距離情報を推定して取得する方式の三次元測定機が採用されたとしても本発明の有用性を損なうものではない。また、例えば、基準画像２１（図５）の各画素について、画素のＹ座標が増加すればするほど該画素に対応した被写体上の点が基準カメラ６１に対して遠距離であるとの仮定に基づいて、基準画像２１の各画素に対応する距離情報を推定して取得する手法が採用されたとしても本発明の有用性を損なうものではない。

　また、基準画像２１の撮影に係る視点とは異なる視点から撮影される画像に基づいて被写体についての距離情報の測定を行う三次元測定機と、基準カメラ６１とがステレオカメラ３００に代えて採用されたとしても、該異なる視点に係る画像と、基準画像２１とのマッチングを介することによって、基準画像２１と測定された距離情報との対応付けを行うことができるので、本発明の有用性を損なうものではない。

　１００Ａ　画像処理システム
　２００Ａ　画像処理装置
　３００　ステレオカメラ
　２ａ　領域情報
　３ａ，３ｂ　非注視領域
　９ａ，９ｂ，ｄ　視差
　２１　基準画像
　２２　参照画像
　２３ａ，２３ｂ　部分画像
　２４　派生画像
　２５　疑似画像
　２６　立体視画像
　２７　各基準距離情報
　２８　各派生距離情報
　３１　原距離画像
　３２　派生距離画像
　５５　平均化フィルタ
　６１　基準カメラ
　６２　参照カメラ
　６６ａ，６６ｂ　近景被写体像
　６７ａ，６７ｂ　遠景被写体像
　９１　二次元移動ベクトル
　９２　三次元移動ベクトル
　１０４　消失点
　ｂ　基線長

Claims

　画像処理装置であって、
　被写体が撮影された基準画像を取得する第１の取得部と、
　前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、所定の原点位置からの距離情報を表現した各基準距離情報を取得する第２の取得部と、
を備え、
　前記基準画像の画素配列に対応する前記各基準距離情報の配列によって基準距離画像を定義したとき、
　所定の判定基準によって前記基準画像と前記基準距離画像とのそれぞれに対応する画像空間を、前記被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う特定部と、
　前記基準画像および前記基準距離画像のうち少なくとも一方の前記非注視領域に対応した領域の画像に対するぼかし処理の結果として前記基準画像および前記各基準距離情報にそれぞれ対応した派生画像および各派生距離情報をそれぞれ生成する生成処理を行う第１の生成部と、
　前記派生画像と前記各派生距離情報とに基づいて、前記基準画像が撮影された視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成部と、
をさらに備える画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記特定部は、前記基準画像における色彩の統計的な分布状態および空間的な分布状態の少なくとも一方に基づいて前記特定処理を行う画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記特定部は、前記基準画像におけるぼけ部分を前記非注視領域とすることにより前記特定処理を行う画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記特定部は、前記基準画像の中心部分の範囲を規定した領域情報に基づいて前記特定処理を行う画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記第１の取得部は、前記被写体が前記基準画像とは異なる時刻に撮影された別画像を取得し、
　前記画像処理装置は、前記基準画像と前記別画像とに基づいて前記基準画像の各画素についての各二次元移動ベクトルを求める二次元移動ベクトル取得部を更に備え、
　前記特定部は、前記各二次元移動ベクトルに基づいて前記特定処理を行う画像処理装置。
　請求項４に記載された画像処理装置であって、
　前記特定部は、前記各二次元移動ベクトルの消失点に基づいて前記特定処理を行う画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記特定部は、前記各基準距離情報に基づいて前記特定処理を行う画像処理装置。
　請求項７に記載された画像処理装置であって、
　前記特定部は、前記各基準距離情報のうち所定の距離範囲の各距離情報に基づいて前記特定処理を行う画像処理装置。
　請求項７に記載された画像処理装置であって、
　前記特定部は、前記各基準距離情報のうち前記基準画像についての合焦距離情報に基づいて特定される各距離情報に基づいて前記特定処理を行う画像処理装置。
　請求項７に記載された画像処理装置であって、
　前記特定部は、前記基準距離画像のうち相互の距離情報の差異が所定の距離範囲内である画素が連結した所定サイズ以上の領域を前記注視領域とすることにより前記特定処理を行う画像処理装置。
　請求項７に記載された画像処理装置であって、
　前記特定部は、前記基準距離画像のうち相互の距離情報の差異が所定の距離範囲内である画素が連結した所定サイズ以上の領域のうち最大サイズの領域を前記注視領域とすることにより前記特定処理を行う画像処理装置。
　請求項７に記載された画像処理装置であって、
　前記特定部は、前記基準距離画像のうち所定の空間的な領域の範囲を規定した領域情報に基づいて前記特定処理を行う画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記第１の取得部は、前記被写体が前記基準画像とは異なる時刻に撮影された別画像を取得するとともに、
　前記第２の取得部は、前記被写体の各点のうち前記別画像の各画素にそれぞれ対応した各点について各別距離情報を取得し、
　前記画像処理装置は、前記基準画像と前記別画像と前記各基準距離情報と前記各別距離情報とに基づいて前記基準画像の各画素についての各三次元移動ベクトルを求める三次元移動ベクトル取得部を更に備え、
　前記特定部は、前記各三次元移動ベクトルに基づいて前記特定処理を行う画像処理装置。
　請求項１３に記載された画像処理装置であって、
　前記特定部は、前記各三次元移動ベクトルに基づいて前記基準画像のうち移動物が撮影された領域を抽出し、該領域を前記注視領域とすることにより前記特定処理を行う画像処理装置。
　請求項１３に記載された画像処理装置であって、
　前記特定部は、前記基準画像のうち前記各三次元移動ベクトルの大きさが所定の閾値以上となる領域を前記注視領域とすることにより前記特定処理を行う画像処理装置。
　請求項１３に記載された画像処理装置であって、
　前記特定部は、前記各三次元移動ベクトルのうち三次元移動ベクトルの延長線が前記基準画像の撮影に係る撮影系と交差する三次元移動ベクトルを特定し、特定された三次元移動ベクトルに対応する前記基準画像の領域を前記注視領域とすることにより前記特定処理を行う画像処理装置。
　請求項１から請求項１６の何れか１つの請求項に記載された画像処理装置であって、
　前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域の画像に対するぼかし処理によって前記各派生距離情報を生成する画像処理装置。
　請求項１７に記載された画像処理装置であって、
　前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域の画像に平均化フィルタ処理を施すことによって前記ぼかし処理を行う画像処理装置。
　請求項１７に記載された画像処理装置であって、
　前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域の各画素について、該各画素をそれぞれ内包する所定サイズの領域における各距離情報の最頻値を該各画素の画素値とすることによって前記ぼかし処理を行う画像処理装置。
　請求項１７に記載された画像処理装置であって、
　前記第１の生成部は、前記基準距離画像のうち前記非注視領域に対応する領域における各距離情報を前記原点位置に対して遠方側にそれぞれ変更することによって前記ぼかし処理を行う画像処理装置。
　請求項１から請求項１６の何れか１つの請求項に記載された画像処理装置であって、
　前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域の画像に対するぼかし処理によって前記派生画像を生成する画像処理装置。
　請求項５または請求項６に記載された画像処理装置であって、
　前記第１の生成部は、
　a)前記基準画像のうち前記非注視領域に対応する領域の画像に対するぼかし処理によって前記生成処理を行うとともに、
　b)該領域の各画素に対応する前記各二次元移動ベクトルよって対応づけがされた前記別画像の各画素には、該各画素に対応付けがなされた前記基準画像の画素に適用されたぼかし処理と同一のぼかし処理を施すことによって前記別画像に対応した別派生画像を生成する画像処理装置。
　請求項２１または請求項２２に記載された画像処理装置であって、
　前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域の画像に平均化フィルタ処理を施すことによって前記ぼかし処理を行う画像処理装置。
　請求項２１または請求項２２に記載された画像処理装置であって、
　前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域において離散的に特定された各画素の画素値に基づいて、該領域のうち前記離散的に特定された各画素以外の画素の画素値を取得することによって前記ぼかし処理を行う画像処理装置。
　請求項２１または請求項２２に記載された画像処理装置であって、
　前記第１の生成部は、前記基準画像のうち前記非注視領域に対応する領域における画素値の空間的な高周波成分を除去することによって前記ぼかし処理を行う画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記第１の生成部は、前記前記基準画像および前記基準距離画像の少なくとも一方の前記非注視領域に対応した領域の画像について、該画像のうち前記原点位置に対して前記注視領域よりも遠側の領域と、前記原点位置に対して前記注視領域よりも近側の領域とについて、異なる強度のぼかし処理をそれぞれ施す画像処理装置。
　請求項１に記載された画像処理装置であって、
　前記疑似画像に基づいて立体視画像を取得する第３の取得部をさらに備える画像処理装置。
　画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１から請求項２７の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。
　画像処理方法であって、
　被写体が撮影された基準画像を取得する第１の取得工程と、
　前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、所定の原点位置からの距離情報を表現した各基準距離情報を取得する第２の取得工程と、
を備え、
　前記基準画像の画素配列に対応する前記各基準距離情報の配列によって基準距離画像を定義したとき、
　所定の判定基準によって前記基準画像と前記基準距離画像とのそれぞれに対応する画像空間を、前記被写体のうち主要被写体を含むと判定される注視領域と、該注視領域以外の非注視領域とに分類して特定する特定処理を行う特定工程と、
　前記基準画像および前記基準距離画像のうち少なくとも一方の前記非注視領域に対応した領域の画像に対するぼかし処理の結果として前記基準画像および前記各基準距離情報にそれぞれ対応した派生画像および各派生距離情報をそれぞれ生成する生成処理を行う第１の生成工程と、
　前記派生画像と前記各派生距離情報とに基づいて、前記基準画像が撮影された視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成工程と、
をさらに備える画像処理方法。