JPWO2012111404A1 - 画像処理装置、そのプログラム、および画像処理方法 - Google Patents

Abstract

被写体の疑似画像に発生する画像の歪みを低減させ得る技術を提供することを図る。該目的を達成するために、画像処理装置は、被写体の基準画像を取得する第１の取得部と、被写体の各点の距離情報を表現した第１の各距離情報を取得する第２の取得部と、第１の各距離情報のばらつきの低減処理によって第２の各距離情報を生成する第１の生成部と、基準画像との組み合わせによって立体画像を構成する疑似画像を、基準画像と第２の各距離情報とに基づいて生成する第２の生成部とを備える。そして、互いに対応した基準画像の画素と参照画像の画素とのずれ方向（第１方向）と、該ずれ方向を横切る第２方向とについて、第１の生成部は、第１の各距離情報に係る原距離画像における第２方向についての第１の各距離情報のばらつきを低減させる強度が、原距離画像における第１方向についての該ばらつきを低減させる強度よりも強くなるように低減処理を行うようにした。

Description

本発明は、１の視点から撮影した被写体の画像を用いて、該画像との組み合わせが被写体の立体画像を構成する疑似画像を生成する画像処理技術に関する。

近年、被写体を実際に撮影した視点とは別の仮想視点からその被写体を撮影したときに得られる画像についての疑似画像を、仮想視点からの実際の撮影を行うことなく模擬的に生成する疑似画像生成装置が、立体視可能な立体画像を生成する用途などに活用され始めている。

特許文献１の画像処理システムでは、複数の二次元画像間で、対応点探索を行い、対応点探索の結果に基づいて得られる距離情報から三次元表示用の疑似画像を取得する際に、対応点探索が失敗したことによって距離情報が取得できなかった領域については、対応点探索が成功して得られた距離情報からの平均値を該領域の距離情報として取得して疑似画像を復元し、さらに該疑似画像の平滑化処理を行うことによって、対応点探索が失敗した領域についても平滑性が改善された疑似画像を取得する。

特開２００３−３１７１１７号公報

しかしながら、特許文献１の画像処理システムによって生成された疑似画像においては、画像の湾曲などの画像の歪みが発生する場合がある。

本発明は、こうした問題を解決するためになされたもので、疑似画像に発生する画像の歪みを低減させ得る技術を提供することを目的とする。

上記の課題を解決するため、第１の態様に係る画像処理装置は、被写体が撮影された基準画像を取得する第１の取得部と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、予め設定された原点位置からの距離情報をそれぞれ表現した第１の各距離情報を取得する第２の取得部と、前記第１の各距離情報のばらつきを低減させる低減処理によって第２の各距離情報を生成する第１の生成部と、前記基準画像との組み合わせによって立体画像を構成する疑似画像を、前記基準画像と前記第２の各距離情報とに基づいて生成する第２の生成部と、を備え、前記基準画像と前記疑似画像とが同一の画像空間に立体視可能に配置されたときに、互いに前記被写体上の同一の点に対応する前記基準画像の画素と前記疑似画像の画素との該画像空間における位置ずれの方向によって前記基準画像に対する第１の方向を定義するとともに、前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、前記第１の生成部は、前記原距離画像における前記第１の方向を横切る第２の方向について前記第１の各距離情報のばらつきを低減させる強度が、前記原距離画像における前記第１の方向について前記第１の各距離情報のばらつきを低減させる強度よりも強くなるように前記低減処理を行う。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１の生成部が、前記第１の方向と、前記第２の方向とのそれぞれの方向についての平滑化強度が互いに異なる平滑化フィルタ処理を行うことによって前記低減処理を行う。

第３の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１の生成部が、前記第１の方向についての長さよりも前記第２の方向についての長さが長い縦長形状のブロック領域を前記原距離画像に設定して前記第１の各距離情報のうち該ブロック領域に対応した各距離情報の平均値を取得するとともに、取得した平均値に基づいて前記第２の各距離情報のうち該ブロック領域に対応した各距離情報の値を取得する処理を、該ブロック領域を前記原距離画像に対してステップ移動させつつ行うことによって前記低減処理を行う。

第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記第１の生成部が、前記原距離画像における前記第１の方向と前記第２の方向とのうち前記第２の方向についてのみ前記第１の各距離情報のばらつきを低減させることによって前記低減処理を行う。

第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、予め設定された判定条件に基づいて、前記原距離画像に対応した画像空間のうち前記疑似画像の歪みを生ずる可能性のある着目領域を検出する検出部を更に備え、前記第１の生成部が、前記原距離画像のうち前記着目領域に対応した領域を対象として前記低減処理を行う。

第６の態様に係る画像処理装置は、第５の態様に係る画像処理装置であって、前記検出部が、前記基準画像についての幾何学的条件を前記判定条件として前記着目領域を検出する。

第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置であって、予め設定された数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を基本図形と呼ぶとき、前記幾何学的条件が、前記基準画像における輪郭を構成する１種類以上の予め設定された基本図形の割合である。

第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記１種類以上の予め設定された基本図形が、直線、２次曲線、円弧、楕円弧、および予め設定されたテクスチャのうち少なくとも１つである。

第９の態様に係る画像処理装置は、第５の態様に係る画像処理装置であって、前記検出部が、前記第１の各距離情報の統計的な分布状態を前記判定条件として前記着目領域を検出する。

第１０の態様に係る画像処理装置は、第５の態様に係る画像処理装置であって、前記第２の取得部が、前記基準画像が撮影された視点とは異なる視点から前記被写体が撮影された参照画像と、前記基準画像との間での対応点探索処理を行うことによって前記第１の各距離情報を取得するとともに、前記検出部が、前記第１の各距離情報についての前記対応点探索処理において取得される各相関値を前記判定条件として前記着目領域を検出する。

第１１の態様に係る画像処理装置は、第５から第１０の何れか１つの態様に係る画像処理装置であって、前記判定条件は、前記歪みを生ずる可能性について定量的な判定結果を与える判定規則を含み、前記第１の生成部が、前記着目領域についての前記第２の方向についての前記ばらつきの低減強度を、前記歪みを生ずる可能性についての前記定量的な判定の結果に応じて変更する。

第１２の態様に係るプログラムは、画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させる。

第１３の態様に係る画像処理方法は、被写体が撮影された基準画像を取得する第１の取得工程と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、予め設定された原点位置からの距離情報をそれぞれ表現した第１の各距離情報を取得する第２の取得工程と、前記第１の各距離情報のばらつきを低減させる低減処理によって第２の各距離情報を生成する第１の生成工程と、前記基準画像との組み合わせによって立体画像を構成する疑似画像を、前記基準画像と前記第２の各距離情報とに基づいて生成する第２の生成工程と、を備え、前記基準画像と前記疑似画像とが同一の画像空間に立体視可能に配置されたときに、互いに前記被写体上の同一の点に対応する前記基準画像の画素と前記疑似画像の画素との該画像空間における位置ずれの方向によって前記基準画像に対する第１の方向を定義するとともに、前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、前記第１の生成工程は、前記原距離画像における前記第１の方向を横切る第２の方向について前記第１の各距離情報のばらつきを低減させる強度が、前記原距離画像における前記第１の方向について前記第１の各距離情報のばらつきを低減させる強度よりも強くなるように前記低減処理を行う。

第１から第１３の何れの発明によっても、疑似画像の形状的な歪みの主たる原因となる第２の方向に関する第２の各距離情報のばらつきが、第１の方向に関する第２の各距離情報のばらつきよりも小さくなるように第２の各距離情報が生成され、第２の各距離情報に基づいて疑似画像が生成されるので、疑似画像に発生する画像の歪みを低減させ得る。

図１は、実施形態に係る画像処理システムの主な構成の１例を示す図である。 図２は、実施形態に係る画像処理装置の機能構成の１例を示す図である。 図３は、基準画像の１例を示す図である。 図４は、参照画像の１例を示す図である。 図５は、視差の１例を説明するための図である。 図６は、基準画像から疑似画像を生成する基本手法の１例を説明するための図である。 図７は、原距離画像の１例を示す図である。 図８は、平均化フィルタの１例を示す図である。 図９は、同一の平滑化強度で平滑化された距離画像の１例を示す図である。 図１０は、歪みが抑制されていない疑似画像の１例を示す図である。 図１１は、着目領域の１例を示す図である。 図１２は、原距離画像に設定されたブロック領域の１例を示す図である。 図１３は、ブロック領域における距離情報の分布の１例を示す図である。 図１４は、着目領域の１例を示す図である。 図１５は、着目領域の１例を示す図である。 図１６は、複数の着目領域の１例を示す図である。 図１７は、派生距離画像の１例を示す図である。 図１８は、画像の歪みが抑制された疑似画像の１例を示す図である。 図１９は、実施形態に係る平均化フィルタの１例を示す図である。 図２０は、実施形態に係る平均化フィルタの１例を示す図である。 図２１は、実施形態に係る平均化フィルタの１例を示す図である。 図２２は、実施形態に係る距離情報のばらつきを低減させる処理の１例を説明する図である。 図２３は、基準画像の部分画像と、疑似画像の部分画像とのそれぞれにおける各画素の対応関係の１例を示す図である。 図２４は、基準画像の画素座標および距離情報と、疑似画像の画素座標との対応関係の１例を示す図である。 図２５は、実施形態に係る画像処理装置の動作フローを例示する図である。 図２６は、実施形態に係る画像処理装置の動作フローを例示する図である。 図２７は、実施形態に係る画像処理装置の動作フローを例示する図である。 図２８は、疑似画像を生成する基本手法の動作フローを例示する図である。

＜実施形態について：＞
＜画像処理システム１００Ａについて：＞
図１は、実施形態に係る画像処理システム１００Ａの主な構成の１例を示すブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、ステレオカメラ３００が撮影した基準画像２１（図１、図２）および参照画像２２（図１、図２）を画像処理装置２００Ａが取得し、画像処理装置２００Ａが基準画像２１および参照画像２２を処理することによって、基準画像２１が撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４（図２）、すなわち第１の視点とは別の仮想視点から撮影した被写体の画像に相当する疑似画像２４を生成する。疑似画像２４は、基準画像２１との組み合わせによって立体視可能な立体画像を構成する。

ステレオカメラ３００について：
図１に示されるように、ステレオカメラ３００は、基準カメラ６１と参照カメラ６２とを主に備えて構成されている。また、基準カメラ６１および参照カメラ６２は、それぞれ、不図示の撮影光学系および制御処理回路を主に備えて構成されている。また、基準カメラ６１と参照カメラ６２とは、垂直方向に所定の基線長を隔てて設けられており、撮影光学系に入射した被写体からの光線情報を制御処理回路等で同期して処理することによって、被写体のステレオ画像を構成する、例えば、３４５６×２５９２画素サイズなどの所定サイズのデジタル画像である基準画像２１（図１、図３）および参照画像２２（図１、図４）を生成する。また、ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１および通信回線ＤＬを介して供給される制御信号に基づいて制御される。通信回線ＤＬは、有線の回線であっても無線の回線であっても良い。

なお、基準画像２１と参照画像２２とのそれぞれの撮影時におけるステレオカメラ３００に対する被写体の位置関係が同じであれば、基準画像２１と参照画像２２とは、同時刻に撮影されていなくても良い。また、ステレオカメラ３００は、基準カメラ６１と参照カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の基準画像２１および複数の参照画像２２を生成可能な構成であっても良い。また、基準画像２１および参照画像２２は、カラー画像であってもモノクロ画像であってもよい。

生成された基準画像２１および参照画像２２は、通信回線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。画像処理装置２００Ａは、基準画像２１および参照画像２２に基づいて被写体についての距離情報である第１の各距離情報２７（図２）を生成し、さらに基準画像２１と、第１の各距離情報２７から生成される第２の各距離情報２８（図２）とに基づいて疑似画像２４（図２）を生成する。

画像処理装置２００Ａの構成について：
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

入出力部４１は、例えばＵＳＢインタフェース、またはＢｌｕｅｔｏｏｔｈ（登録商標）インタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、通信回線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した基準画像２１および参照画像２２を画像処理装置２００Ａへとそれぞれ供給する。なお、入出力部４１は、予め基準画像２１および参照画像２２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、基準画像２１および参照画像２２を画像処理装置２００Ａにそれぞれ供給する。

操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。

表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成される。また、表示部４３は、基準画像２１と疑似画像２４などとによって構成される立体画像を表示部４３における３次元表示方式に対応した画像形式に変換する不図示の画像処理部を備えており、表示部４３は、該画像処理部によって必要な変換処理が施された該立体画像をその表示画面に表示する。表示部４３における３次元表示方式として、例えば、左目用画像および右目用画像を交互に高速で切り替えて表示部４３に表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されたとしても本発明の有用性を損なうものではない。なお、表示部４３は、ステレオカメラ３００から供給される画像、画像処理装置２００Ａが生成した画像、画像処理装置２００Ａに関する各種設定情報、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。

ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する疑似画像、距離情報（距離画像）などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。

記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には平滑化情報格納部４８が設けられており、平滑化情報格納部４８には、被写体の画像情報などの平滑化を行うための種々の平滑化情報が格納されている。平滑化情報は、例えば、平滑化フィルタを規定する情報、すなわち平滑化フィルタの種類、平滑化の強度などを規定する情報、または平滑化処理に対応したプログラムなどの平滑化処理に関する種々の情報、すなわち平滑化規則である。平滑化情報は、第１生成部１４Ａ（図２）によって参照されて、第２の各距離情報２８（図２）の取得処理に供される。

ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１などに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、第１取得部１２、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、および検出部１７Ａとしても機能する。

ＣＰＵ１１Ａは、これらの機能部などによって、第１の視点から撮影された被写体についての基準画像２１（図２、図３）から、第１の視点とは異なる仮想視点からの撮影に対応した被写体についての疑似画像２４（図２、図１８）、すなわち基準画像２１との組み合わせによって立体視可能な立体画像を構成する疑似画像２４を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。

なお、図１に示される構成例では、第１取得部１２、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、および検出部１７Ａの各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

＜画像処理装置２００Ａの各機能部の動作について：＞
図２は、実施形態に係る画像処理装置２００Ａの主な機能構成の１例を示すブロック図である。図３および図４は、実施形態に係るステレオカメラ３００の基準カメラ６１および参照カメラ６２が、それぞれ被写体を撮影した基準画像２１および参照画像２２の１例をそれぞれ示す図である。また、図２５〜図２７は、実施形態に係る画像処理装置２００Ａの動作フローをそれぞれ例示する図である。以下では、画像処理装置２００Ａが、基準画像２１と参照画像２２とに基づいて、基準画像２１が撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４（図１８）、すなわち基準画像２１との組み合わせによって立体視可能な立体画像を構成する疑似画像２４を生成する場合を例に、画像処理装置２００Ａの各機能部の動作について図２５〜図２７の動作フローを適宜参照しつつ説明する。

仮想視点からの撮影に対応した疑似画像の生成の対象となる被写体の撮影に先立って、基準カメラ６１と参照カメラ６２との両方から該被写体が撮影できるように、ステレオカメラ３００の位置および姿勢が調整される。この状態におけるステレオカメラ３００の基準カメラ６１の位置が第１の視点となる。より具体的には、例えば、基準カメラ６１の撮影光学系の主点位置が第１の視点となる。ステレオカメラ３００の位置および姿勢が調整された状態で、操作者からの操作などに応答して、ステレオカメラ３００に撮影動作を行わせる制御信号がＣＰＵ１１Ａからステレオカメラ３００へと供給されると、ステレオカメラ３００の撮影動作が行われる。該撮影動作が終了すると、基準カメラ６１および参照カメラ６２によってそれぞれ撮影された被写体についての基準画像２１および参照画像２２がそれぞれ生成されて画像処理装置２００Ａの入出力部４１に供給される。

第１取得部１２の動作：
被写体が第１の視点から撮影された基準画像２１と参照画像２２とが入出力部４１に供給されると、第１取得部１２（図２）は、入出力部４１を介して基準画像２１を取得するとともに（図２５の動作フローＳ１００ＡにおけるステップＳ１１０）、参照画像２２を取得する。

図３および図４は、基準画像２１および参照画像２２の１例をそれぞれ示す図である。基準カメラ６１と参照カメラ６２との基線長の方向が垂直方向（図３、図４のＹ軸方向）に沿っているため、基準画像２１と参照画像２２とには、後述する視差がＹ軸方向に沿って生じている。また、基準画像２１の領域５ａには立て看板が撮影されている。該立て看板は、直線などの基本図形要素を多く有して構成された人工物の１例である。また、該立て看板が撮影されている領域の内部には、該立て看板よりもステレオカメラ３００に対して近くに存在する木々が撮像されているとともに、該立て看板が撮影された領域の周りの領域には、該立て看板よりもステレオカメラ３００に対して遠くに存在する木々が撮像されている。このため、領域５ａの各画素におけるステレオカメラ３００からの各距離の分布状態は、分布の幅が広く、また、離散的な分布となっている。なお、図３および図４においては、説明を容易にするため座標軸が設けられている。また、本願の他の図面においても座標軸を適宜設けて説明に使用することがある。

図２に示されるように、取得された基準画像２１は、第２取得部１３、第２生成部１５Ａ、および検出部１７Ａへと供給される。また、参照画像２２は、第２取得部１３へと供給される。なお、第１取得部１２は、予め撮影されて記録メデイアに保存された基準画像２１および参照画像２２を、入出力部４１を介して取得してもよい。

第２取得部１３の動作：
図７は、第２取得部１３（図２）が取得する原距離画像３１（第１の各距離情報２７）の１例を示す図である。基準画像２１および参照画像２２が第２取得部１３に供給されると、第２取得部１３は、基準画像２１と参照画像２２とを対象として、相関演算法などを用いた対応点探索処理を行うことによって、基準画像２１の各注目画素に対応する参照画像２２の各対応画素を特定する。そして、第２取得部１３は、相互に対応する注目画素と対応画素とについて、基準画像２１の画像座標系における該注目画素の画素座標と、参照画像２２の画像座標系における該対応画素の画素座標との差（本願において、「視差」とも称する）を求める処理を、基準画像２１の各注目画素に対して行う。

なお、後述するように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっており、本願においては、視差と、距離との総称として「距離情報」という用語を使用する。すなわち、第２取得部１３は、基準画像２１の各画素にそれぞれ対応した被写体上の点についての第１の各距離情報２７（図７）を取得する（図２５のステップＳ１２０）。また、第１の各距離情報２７においては、第１の各距離情報２７を構成する各視差が、対応する基準画像２１の各画素の画素座標と関連づけられている。このため、第１の各距離情報２７は、例えば、基準画像２１の画素配列に応じて配列された原距離画像３１などとして取得され得る。第２取得部１３によって取得された第１の各距離情報２７（原距離画像３１）は、検出部１７Ａと、第１生成部１４Ａとにそれぞれ供給される。また、第２取得部１３は、第１の各距離情報２７のそれぞれに係る対応点探索処理の過程でそれぞれ算出される相関値を、対応する各距離情報に対応づけて検出部１７Ａへと供給する。

なお、基準画像２１の注目画素に対応する参照画像２２の対応画素を特定する対応点探索処理に用いられる相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などが採用される。また、画像の画像座標系としては、例えば、画像の左上端部（例えば、図３の基準画像２１では、画像の−Ｘ方向の端であり、かつ、画像の−Ｙ方向の端でもある画像の角部）を原点とし、画像の横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）をそれぞれ座標軸とする直交座標系が採用される。

視差の例について：
図５は、基準画像２１ａと参照画像２２ａとにおける視差の１例を説明するための図である。なお、基準画像２１ａは、基準カメラ６１によって撮影された被写体の基準画像２１（図２）の１例であり、参照画像２２ａは、基準カメラ６１に対して垂直方向（図５の＋Ｙ方向）に所定の基線長を隔てて設けられた参照カメラ６２によって撮影された該被写体の参照画像２２（図２）の１例である。図５おいては、基準画像２１ａと参照画像２２ａとは、視差の把握を容易にするため該両画像の上端（下端）のＹ座標が等しくなるように水平方向（図５のＸ軸方向）に並べて表示されている。

基準画像２１ａと、参照画像２２ａとには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ａおよび６６ｂがそれぞれ撮影されているとともに、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ａおよび６７ｂがそれぞれ撮影されている。図５においては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、近景被写体像６６ａ上の画素６８ａおよび近景被写体像６６ｂ上の画素６８ｂは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ａ上の画素６９ａおよび遠景被写体像６７ｂ上の画素６９ｂは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ａと画素６８ｂとについての視差であり、視差９ｂは、画素６９ａと画素６９ｂとについての視差である。ここで、ステレオカメラ３００に対する近側被写体と遠側被写体との距離の差異に起因して視差９ａと視差９ｂとは異なった値となっている。より詳細には、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点のステレオカメラ３００からの距離に応じて変動する。

ここで、基準カメラ６１と参照カメラ６２とのそれぞれの主点の位置がＸＹ平面に平行な同一の平面状にあって焦点距離が等しく、基準カメラ６１と参照カメラ６２とのそれぞれの光軸がＺ軸にそって相互に平行で、基準カメラ６１と参照カメラ６２とのそれぞれの撮像素子は光軸に垂直な同一平面上にあり、それぞれの撮像素子間で走査線が相互に平行である。実際の構成においては、通常、上述した基準カメラ６１と参照カメラ６２との構成条件に対して誤差があるが、基準画像２１ａおよび参照画像２２ａに対して画像処理装置２００Ａが記憶装置４６に格納された主点位置、焦点距離情報などのカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによってステレオカメラ３００の各機能要素が上述した構成条件を満たす場合と同等の状態を実現することができる。

基準画像２１ａおよび参照画像２２ａに対して平行化処理が行われた場合には、基準カメラ６１の主点と、基準画像２１ａ上の１の画素に対応した被写体上の物点とのＺ軸方向の距離Ｄは、該１の画素と、該１の画素に対応する参照画像２２ａ上の他の画素との視差ｄ、基準カメラ６１と参照カメラ６２との焦点距離ｆｒ（より正確には、主点と撮像素子との距離）、および基準カメラ６１と参照カメラ６２との基線長ｂを用いて（１）式によって与えられる。

（１）式に示されるように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっている。

距離情報に基づいて疑似画像を生成する基本手法について：
次に、基準画像２１との組み合わせによって立体画像を構成する疑似画像２４を、基準画像２１の各画素に対応した各視差、または各距離などの各距離情報に基づいて生成する手法について説明する。互いに立体画像を構成する基準画像２１と疑似画像２４とが同一の画像空間に立体視可能な配置関係に配置された場合には、互いに被写体上の同一の点に対応する基準画像２１の注目画素と疑似画像２４の対応画素との該画像空間における位置ずれの方向、すなわち視差の方向は、同一の方向となる。本願においては、該同一の方向を「第１方向」とも称する。なお、基準画像２１とそれぞれ立体画像を構成する複数の疑似画像が生成され、該複数の疑似画像のうち２つの疑似画像が互いに立体視可能な配置関係に配置されたとしても、該２つの疑似画像間において被写体上の同一の点にそれぞれ対応した画素間の方向は、該第１方向となる。

図６は、図５に示された基準画像２１ａと参照画像２２ａとについての各視差と、基準画像２１ａとに基づいて、基準画像２１ａとの組み合わせによって立体画像を構成する疑似画像２４ｃを生成する基本手法の１例を説明するための図である。疑似画像２４ｃは、基準画像２１ａが撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４（図２）の１例である。基準画像２１ａと疑似画像２４ｃとは互いに立体画像を構成するように、表示部４３の画像表示部に立体視可能な所定の態様でそれぞれ表示される。

図６における疑似画像２４ｃに対応した仮想視点は、基準画像２１ａが撮影された第１の視点に対して、Ｘ軸に沿って＋Ｘ方向に、基準カメラ６１と参照カメラ６２との基線長を隔てた位置に存在している。従って、基準画像２１ａと疑似画像２４ｃとにおいては、上述した第１方向は、Ｘ軸方向となる。

また、疑似画像２４ｃにおける近景被写体像６６ｃおよび遠景被写体像６７ｃは、基準画像２１ａにおける近景被写体像６６ａおよび遠景被写体像６７ａにそれぞれ対応している。また、近景被写体像６６ａ上の画素６８ａには、近景被写体像６６ｃ上の画素６８ｃが対応し、遠景被写体像６７ａ上の画素６９ａには、遠景被写体像６７ｃ上の画素６９ｃが対応している。なお、図６においても、図５と同様に、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されているとともに、視差の把握を容易にするため基準画像２１ａと疑似画像２４ｃの左端（右端）のＸ座標が等しくなるように垂直方向（図６のＹ軸方向）に並べて表示されている。

この場合、基準画像２１ａの画素６８ａと、疑似画像２４ｃの画素６８ｃとの視差として、図５における画素６８ａと画素６８ｂとの視差９ａが設定されるとともに、基準画像２１ａの画素６９ａと、疑似画像２４ｃの画素６９ｃとの視差として、図５における画素６９ａと画素６９ｂとの視差９ｂが設定される。図６に示されるように、基準画像２１ａと疑似画像２４ｃとの間における視差９ａおよび９ｂは、それぞれ、第１方向、すなわちＸ軸方向に生じている。また、疑似画像２４ｃの他の画素についても同様に基準画像２１ａの画素との視差が設定されることによって、疑似画像２４ｃの各画素についての基準画像２１ａの各画素との視差が取得される。取得された視差に基づいて基準画像２１ａを変形させることによって疑似画像２４ｃが取得される。

次に、基準画像と視差とに基づいて疑似画像を生成する上述した基本手法について詳しく説明する。図２８は、基準画像２１ａ（図６）と、基準画像２１ａの各画素についての距離情報とに基づいて疑似画像２４ｃ（図６）を生成する場合における上述した基本手法の動作フローＳ１０を例示する図である。

図２８の動作フローＳ１０の処理が開始されると、基準画像２１ａ（図６）の上端（−Ｙ方向端）において、第１方向、すなわち水平走査方向（Ｘ軸方向）の１ライン分の部分画像２３ａ（図２３）が選択される（ステップＳ２０）。

図２３は、基準画像２１ａ（図６）の上端（−Ｙ方向端）の水平走査方向（Ｘ軸方向）の１ライン分の部分画像２３ａ（図２３）の一部の各画素７ａ〜７ｊと、基準画像２１ａに対応した疑似画像２４ｃ（図６）の上端（−Ｙ方向端）の水平走査方向の１ライン分の部分画像２３ｂ（図２３）の一部の各画素８ａ〜８ｊとの対応関係の１例を示す図である。また、部分画像２３ａと部分画像２３ｂとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素７ａ〜７ｊと、各画素８ａ〜８ｊとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。

図２４は、部分画像２３ａ（図２３）の各画素７ａ〜７ｊの画素座標および視差（距離情報）と、部分画像２３ｂ（図２３）の各画素８ａ〜８ｊの画素座標との対応の１例を示す図である。図２４の第１行目と第５行目には、部分画像２３ａの各画素７ａ〜７ｊをそれぞれ特定する画素番号と、部分画像２３ｂの各画素８ａ〜８ｊをそれぞれ特定する画素番号とが示されている。また、図２４の第２行目には、各画素７ａ〜７ｊのＸ座標が第１行目に示された画素番号に対応づけられて示されている。また、図２４の第３行目には基準画像２１ａと参照画像２２ａ（図５）とについて算出された視差（距離情報）のうち各画素７ａ〜７ｊに対応した視差が第１行目に示された画素番号に対応づけられて示されている。

図２８のステップＳ２０において、１ライン分の部分画像２３ａが選択されると、選択された部分画像２３ａの各画素について、疑似画像２４ｃにおいて対応する画素、すなわち部分画像２３ｂの各画素８ａ〜８ｊの水平走査方向（Ｘ軸方向）の画素座標（Ｘ座標）が取得される（図２８のステップＳ３０）。

ここで、上述した基本手法は、疑似画像２４ｃ（図６）に対応した仮想視点が、基準画像２１ａ（図５、図６）が撮影された第１の視点に対して、Ｘ軸に沿って＋Ｘ方向に、基準カメラ６１と参照カメラ６２との基線長を隔てた位置に存在している場合の手法である。従って、部分画像２３ａと部分画像２３ｂとのそれぞれの垂直方向（Ｙ軸方向）の画素座標（Ｙ座標）は同じである。また、図２４の第３行目に示された視差は、部分画像２３ａと、部分画像２３ｂとの視差でもある。

従って、部分画像２３ｂの各画素のＸ座標は、（２）式によって算出される。図２４の第４行目には、（２）式によって算出された各画素８ａ〜８ｊのＸ座標がそれぞれ第５行目に示された各画素番号に対応づけられて示されている。

疑似画像２４ｃの水平方向の１ライン分の部分画像２３ｂにおける各画素の画素座標が取得されると、次に、部分画像２３ｂの各画素の画素値がそれぞれ取得される。すなわち、１ライン分の部分画像２３ｂの画像が生成される（図２８のステップＳ４０）。次に、ステップＳ４０における処理を、図２３に示された部分画像２３ａの各画素７ａ〜７ｊと、部分画像２３ｂの各画素８ａ〜８ｊを例として説明する。

図２４の第４行目に示された各画素８ａ〜８ｊのＸ座標によれば、部分画像２３ａの各画素７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆ、７ｇ、７ｈ、７ｉ、７ｊは、部分画像２３ｂの各画素８ａ、８ｂ、８ｂ、８ｃ、８ｄ、８ｄ、８ｅ、８ｇ、８ｉ、８ｊにそれぞれ対応している。すなわち、各画素８ａ〜８ｊには、各画素７ａ〜７ｊのうち１つの画素が対応している第１種の画素、２つの画素が対応している第２種の画素、および各画素７ａ〜７ｊの何れの画素も対応していない第３種の画素の３種類の画素が存在している。

図２８のステップＳ４０の処理においては、該第１種の画素の画素値として、該画素に対応する部分画像２３ａの画素の画素値が採用され、また、該第２種の画素の画素値として、該画素に対応する部分画像２３ａの２つの画素の画素値の代表値、例えば、平均値が採用される。また、該第３種の画素の画素値としては、例えば、部分画像２３ａとの対応関係に基づいて画素値が取得された部分画像２３ｂの画素のうち該第３種の画素に最も空間的に近い画素の画素値が採用される。そして、部分画像２３ｂの画像は、部分画像２３ｂの各画素についてそれぞれ特定された画素座標（Ｘ座標）と、画素値とによって特定される。

ステップＳ４０の処理が終了すると、基準画像２１ａの水平方向（Ｘ軸方向）の全てのラインについて、対応する疑似画像の部分画像を生成する処理（ステップＳ３０〜Ｓ４０）が終了したか否かが確認される（図２８のステップＳ５０）。ステップＳ５０での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像２１のうち、処理されたラインの＋Ｙ方向の次のラインが新たな処理対象として選択されて（図２８のステップＳ６０）、処理はステップＳ３０へと戻される。また、ステップＳ５０での確認の結果、水平方向の全てのラインについて疑似画像の部分画像を生成する処理が終了していれば、疑似画像２４ｃの生成処理は終了される。

なお、視差に基づいた基準画像２１（図２）の変形は、画素サイズを最小単位として行えばよい。従って、画素サイズ単位で視差が取得されれば疑似画像２４（図２）を取得できるが、例えば、視差を求めるための対応点探索を画素サイズ以下のサブピクセル単位で実施することにより視差をサブピクセル単位で取得したとしても、視差に基づいた基準画像２１の変形の際に、該変形量を画素単位で行えば疑似画像２４が取得できるので、本発明の有用性を損なうものではない。

次に、仮想視点と、基準画像２１の撮影に係る第１の視点との基線長が、基準画像２１と参照画像２２とにそれぞれ対応した基準カメラ６１と参照カメラ６２との基線長とは異なる場合における疑似画像の取得手法について説明する。この場合には、例えば、先ず、基準画像２１の各点の視差から（１）式を用いて該各点に対応した被写体の各点の距離を算出し、算出された距離、および仮想視点と第１の視点との基線長に基づいて、基準画像２１の各画素と、疑似画像２４の各画素との視差を（１）式によって取得し、取得された視差に基づいて基準画像２１の画像を変形することによって該異なる基線長に対応した疑似画像２４を取得することが出来る。

従って、ステレオカメラ３００に代えて、例えば、基準カメラ６１と、レーザ光などの形状計測用の各種検出光を被写体へと投影する投光装置とを備えて構成され、三角測量の原理、または、ＴＯＦ（Time of Flight）方式などによって被写体の基準画像２１と、基準画像２１の各画素に対応した被写体の各点についての距離情報とを取得するアクティブ測距方式の三次元測定機が採用されたとしても、該距離情報と（１）式とによって、基準画像２１に対する疑似画像２４の視差を取得し、該視差と基準画像２１とに基づいて疑似画像２４を取得することが出来るので、本発明の有用性を損なうものではない。

また、通常、被写体を撮影した画像の彩度は、被写体が近いほど彩度が高く、被写体が遠いほど彩度が低くなるので、ステレオカメラ３００に代えて、基準カメラ６１によって基準画像２１を取得するとともに、基準画像２１の彩度に基づいて、基準画像２１の各画素に対応する距離情報を取得する方式の三次元測定機が採用されたとしても本発明の有用性を損なうものではない。また、例えば、基準画像２１（図３）の各画素について、画素のＹ座標が増加すればするほど該画素に対応した被写体上の点が基準カメラ６１に対して近距離であるとの仮定に基づいて、基準画像２１の各画素に対応する距離情報を推定して取得する手法が採用されたとしても本発明の有用性を損なうものではない。

なお、基準画像２１の撮影に係る視点とは異なる視点から撮影される画像に基づいて被写体についての距離情報の測定を行う三次元測定機と、基準カメラ６１とがステレオカメラ３００に代えて採用されたとしても、該異なる視点に係る画像と、基準画像２１との対応点探索処理を介することによって、基準画像２１と測定された距離情報との対応付けを行うことができるので、本発明の有用性を損なうものではない。

平滑化処理の必要性について：
ところで、ステレオカメラ３００においては、通常、基準画像２１の各画素にそれぞれ対応した参照画像２２の各画素を特定する対応付けなどにおいて誤差が発生する。また、アクティブ測距方式の三次元測定機においても基準カメラ６１のカメラ視線と、被写体に投影される検出光との交差に関する位置情報、時間情報などについての誤差が発生する。このため、図７に例示された第１の各距離情報２７（原距離画像３１）には、通常、ランダムノイズ状の測定のばらつきなどの各種の測定誤差が含まれる。

そして、第１の各距離情報２７から上述した基本手法によって直接、疑似画像を生成した場合には、該測定誤差に起因して、基準画像２１における直線の像が、例えば、直線に対してぎざぎざ状の凹凸成分が重畳された像として疑似画像において再現されるなど、生成される疑似画像はノイズ成分が著しく含まれた画像となる。

従って、該ノイズ成分を除去するために、第１の各距離情報２７を上述した疑似画像生成に係る基本手法で直接処理して疑似画像を生成する処理に変えて、例えば、先ず、第１の各距離情報２７に対して各距離情報のばらつきを低減させ、次に、ばらつきが低減された第１の各距離情報２７から上述した基本手法によって疑似画像を生成する処理などが必要となる。

距離情報などのばらつきを低減させる一般的な平滑化処理について：
次に、距離情報などのばらつきを低減させる一般的な平滑化処理ついて説明する。原距離画像３１などの画像データの平滑化処理として、一般的に、例えば、平均化フィルタ、メディアンフィルタ、またはガウシアンフィルタなどの各種の平滑化フィルタを採用した平滑化処理が行われる。該平滑化処理においては、平滑化対象の画像の各画素に対して、平滑化の強度（「平滑化強度」とも称する）が一定である平滑化フィルタが適用される。なお、平滑化フィルタの平滑化強度は、例えば、フィルタのサイズを変更することなどによって変更され得る。

図８は、平均化フィルタ５５の１例を示す図である。図８に示された平均化フィルタ５５は、各行列要素の値が１であり、図示の都合上、５×５画素（５行５列）サイズとして表示されている。平均化フィルタ５５では、Ｘ方向およびＹ方向のそれぞれ画素数を規定するパラメータＫの値に応じて、フィルタサイズ、すなわち平滑化強度が変動する。なお、後述する平均化フィルタ５６ａ〜５６ｃ（図１９〜図２１）においても、実際のサイズとは異なるサイズで表示されているとともに、パラメータＫと同様の各フィルタの画素数を規定するパラメータが設定されている。

平均化フィルタ５５が平滑化処理の対象である画像データに適用される場合には、平滑化対象の画像データに係る画像空間のうち着目画素を中心とした、平均化フィルタ５５と同サイズの領域に対して平均化フィルタ５５が重ねられる。そして、該領域内の各画素の画素値と、各画素にそれぞれ正対している平均化フィルタ５５の各行列要素の値との積和演算が行われ、該演算結果を積和演算の対象となった画素数で除算した値を、着目画素の画素値に置き換える処理が行われる。後述する平均化フィルタ５６ａ〜５６ｃについても同様である。

図９は、値９４のパラメータＫによって規定された同一強度の平滑化作用を有する各平均化フィルタ５５が図７に示された原距離画像３１の各画素にそれぞれ適用された結果、原距離画像３１が平滑化された距離画像３３（第１の各距離情報２７が平滑化された各距離情報２９）を示す図である。なお、パラメータＫの値９４は、（３）式における画素数Ｕ、画素数Ｖ、およびパラメータＬの値をそれぞれ３４５６画素、２５９２画素、および６４として算出される。

疑似画像に生ずる歪みと、その発生理由について：
また、図１０は、図９に示された距離画像３３（各距離情報２９）に対して上述した疑似画像生成の基本手法が適用されることにより生成された疑似画像２５を示す図である。疑似画像２５の領域５ｂには、図３の基準画像２１の領域５ａの画像、すなわち直線などの基本図形要素を多く有して構成された人工物（立て看板）の画像に対応した画像が生成されている。

領域５ｂに示されるように、領域５ｂの画像のうち領域５ａ（図３）において直線状である立て看板の外縁に対応した部分は、ぎざぎざ状の凹凸成分が重畳されてはいないものの、−Ｘ方向に凸状に湾曲している。すなわち、立て看板の画像の形状的な歪みが生じている。

ここで、原距離画像３１（図７）のうち基準画像２１（図３）の領域５ａに対応した領域では、領域５ａに撮影された立て看板と、ステレオカメラ３００に対して該立て看板の前後にそれぞれ存在する木々との相互に異なった距離情報が混在しており、該対応領域における各距離情報の統計的な分布状態は、分布の幅が広く、また、離散的な分布となっている。

このため、値９４のパラメータＫによって規定された平均化フィルタ５５を用いた原距離画像３１の平滑化処理、すなわち原距離画像３１に対する一律な平滑化処理によって、距離画像３３（図９）のうち領域５ａ（図３）の立て看板に対応した部分においては、Ｙ軸方向（図９）、すなわち第１方向（Ｘ軸方向）を横切る方向と、第１方向との何れの方向に沿った部分においても、距離情報がなだらかに変動している。なお、本願においては、第１方向を横切る方向は、「第２方向」とも称される。

ところで、基準画像との組み合わせにより立体画像を構成する疑似画像の生成処理は、図２３、図２４、および（２）式などを参照しつつ上述した疑似画像の生成に係る基本手法のように、一般に、基準画像の各部を第１方向に沿って空間的にシフトさせる処理、あるいは、該シフトさせる処理に類する処理によって行われる。

従って、原距離画像３１における第１の各距離情報２７の変動（ばらつき）が、例えば、距離画像３３の第１方向（Ｘ軸方向）のみに沿って生じている場合には、各距離情報の変動方向と該シフトの方向とが一致するため、第１方向に沿った距離情報の変動（ばらつき）は、疑似画像における各部の第１方向（Ｘ軸方向）に沿った伸縮を生ずるだけである。すなわち、生成される疑似画像は、例えば、−Ｘ方向への凸状の湾曲などを生ずることなく、Ｘ軸方向に沿って平行移動および伸張されるだけである。このため、該疑似画像に対しては、観察者は違和感を覚えることが少ない。

一方、原距離画像３１における第１の各距離情報２７の変動方向（ばらつき方向）が第２方向に沿っている場合には、各距離情報の変動方向は、該シフトの方向とは異なる方向であるため、距離情報の変動（ばらつき）は、疑似画像における形状的な歪みを生ずる。また、該疑似画像に対しては、観察者は違和感を覚え得る。

例えば、距離画像３３のＹ軸方向、すなわち第２方向に沿った部分の各距離情報が変動する場合には、生成される疑似画像のうち該各距離情報に対応した部分の各画素のＸ座標が該変動に応じて変動する。疑似画像２５（図１０）の領域５ｂにおける−Ｘ方向へ凸状に湾曲した歪みも、距離画像３３（図９）のうち領域５ａ（図３）に対応した部分において生じている各距離情報の変動のうちＹ軸方向（第２方向）に沿った成分に起因して生じている。

疑似画像の歪みへの対策について：
上述したように、原距離画像３１における第１の各距離情報２７の変動が疑似画像の形状的な歪みに与える影響には異方性があり、最終的に立体画像における形状的な歪みとなる疑似画像の形状的な歪みの主たる原因は、原距離画像３１における第１の各距離情報２７の変動方向（ばらつき方向）が第２方向に沿っていることである。

従って、疑似画像における形状的な歪みの抑制には、原距離画像３１における第１の各距離情報２７の第２方向についての変動（ばらつき）の抑制（軽減化）が中心的な役割を果たすこととなり、第１方向についての距離情報のばらつきの軽減化が果たす役割は相対的に小さくなる。

そこで、画像処理装置２００Ａにおいては、原距離画像３１における第１の各距離情報２７の変動（ばらつき）の影響が異方的であることに着目して、疑似画像における歪みを抑制するための、本願発明に係る対策が行われている。

具体的には、画像処理装置２００Ａは、上述した第１方向（Ｘ軸方向）を横切る第２方向（Ｙ軸方向）について第１の各距離情報２７のばらつきを低減させる強度が、原距離画像３１における第１方向について第１の各距離情報２７のばらつきを低減させる強度よりも強くなるように第１の各距離情報２７のばらつきを低減させる低減処理を行うことによって第２の各距離情報２８を生成する。

該対策の結果、画像処理装置２００Ａによって生成される第２の各距離情報２８においては、第１方向を横切る第２方向に関する各距離情報のばらつき、すなわち疑似画像の形状的な歪みの主たる原因である第２方向に関する各距離情報のばらつきが、第１方向に関する各距離情報のばらつきよりも小さくなる。そして、生成された第２の各距離情報２８に基づいて疑似画像２４が生成されるので、疑似画像２４に発生する画像の湾曲などの歪みが低減され得る。すなわち、上述した対策によって、画像処理装置２００Ａは、疑似画像に発生する画像の歪みを低減させ得る。

以下では、画像処理装置２００Ａが、基準画像２１に基づいて、該疑似画像における歪みが抑制された疑似画像２４（図１８）を生成する過程を対象として、疑似画像の歪み抑制処理に係る検出部１７Ａ、第１生成部１４Ａ、および第２生成部１５Ａの動作を説明する。

検出部１７Ａの動作：
検出部１７Ａ（図２）は、予め設定された判定条件に基づいて、歪みが抑制された疑似画像２４の生成に用いられる第２の各距離情報２８（派生距離画像３２）（図２、図１７）に対応した画像空間、すなわち基準画像２１および原距離画像３１に対応した画像空間を、疑似画像２４における画像の歪みを生ずる可能性が強い領域（「着目領域」とも称する）と、着目領域よりも疑似画像２４における画像の歪みを生ずる可能性が弱い非着目領域とに分類して検出する。すなわち、検出部１７Ａは、所定の判定条件に基づいて、原距離画像３１（図２）に対応した画像空間のうち疑似画像２４における画像の歪みを生ずる可能性がある着目領域を検出する（図２５のステップＳ１３０）。なお、本願においては、第２の各距離情報２８、すなわち第１の各距離情報２７のばらつきを低減する処理によって第１の各距離情報２７から派生する第２の各距離情報２８が、基準画像２１の画素配列に応じて配列された各距離情報を「派生距離画像」とも称する。

基本図形領域に基づく着目領域の検出処理：
図２６は、検出部１７Ａが、後述する基本図形領域を着目領域として検出する動作フローＳ１３０ａを説明する図である。ステップＳ１３０（図２５）の処理が開始されると、基本図形領域を着目領域として検出する動作モードが設定されている場合には、図２６の動作フローＳ１３０ａが開始される。検出部１７Ａは、例えば、Cannyアルゴリズムなどを使用した画像処理を行うことによって、基準画像２１（図３）に存在する輪郭（エッジ）を検出する（ステップＳ１３１）。また輪郭検出の手法としては、例えば、ソーベルフィルタなどの微分フィルタを用いた画像処理なども採用され得る。

基準画像２１に存在する各輪郭が検出されると、検出部１７Ａは、各輪郭に対してハフ変換を行うことによって、各輪郭を構成する各基本図形を検出する（ステップＳ１３２）。ここで本願においては、例えば、直線、２次曲線、円弧、楕円弧、および予め設定された模様の繰り返しパターンであるテクスチャなどのように、所定の数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を「基本図形」とも称する。検出部１７Ａは、検出された輪郭から、これら基本図形のうち少なくとも１つの基本図形の検出処理を行う。

検出された各輪郭について、輪郭を構成する各基本図形が検出されると、検出部１７Ａは、検出された各基本図形の長さを測定し、検出された各基本図形のうち長さが、例えば、３００画素長以上であるなど、所定の基準値以上の長さである基本図形を検出するとともに（図２６のステップＳ１３３）、検出された基本図形に対して膨張処理を施すことによって、該基本図形の線を太線化する（ステップＳ１３４）。

次に、検出部１７Ａは、検出された各輪郭について、輪郭の長さに対する該輪郭を構成する基本図形の長さの比を算出し（ステップＳ１３５）、検出された各輪郭のうち算出された長さの比が、例えば、７５％以上であるなどの所定の基準を満たす輪郭を検出して、該輪郭の内部の領域（「基本図形領域」とも称される）を着目領域として検出する（ステップＳ１３６）。すなわち、検出部１７Ａは、基準画像２１についての幾何学的条件である、基準画像２１における輪郭の長さに対する該輪郭を構成する１種類以上の所定の基本図形の長さの割合を、着目領域を検出するための判定条件として基準画像２１における着目領域を検出する。

基本図形領域には、通常、第２方向（図１１のＹ軸方向）に沿った境界を有する基本図形が含まれていることが多い。従って、原距離画像３１に対して第１の各距離情報２７（原距離画像３１）のばらつきを低減させる低減処理が施された場合には、基本図形領域は、基本図形領域以外の領域に比べて第２方向に沿った該境界部分において距離情報の変動が発生しやすい。すなわち、基本図形領域は、基本図形領域以外の領域よりも疑似画像２４における画像の歪みを生ずる可能性が強い領域である。

図１１は、基準画像２１（図３）において検出された着目領域の１例を示す図である。図１１では、検出部１７Ａが行う上述した基本図形領域の検出による着目領域の検出処理によって、着目領域４ａ、４ｂ、および４ｃが検出されている。なお、着目領域４ａは、基準画像２１の領域５ａ（図３）に内包された立て看板の像に対応した基本図形領域であり、着目領域４ｂおよび４ｃは、基準画像２１における歩道の像の外縁部に対応した基本図形領域である。なお、図１１の基準画像２１においては、把握を容易にするために検出された着目領域のみが示されている。

また、検出部１７Ａは、設定された動作モードに応じて、例えば、基準画像２１の輪郭を構成する線分の点列情報から検出される屈折点などのなどの特徴点情報に基づいて、少なくとも３個の基本図形によって構成された三角形、四角形などの各閉図形を検出し、検出された各閉図形を所定の基準値以上の割合で内包する矩形領域などを基準画像２１における着目領域として検出する処理を行うことも出来る。

遠近競合領域に基づく着目領域の検出処理：
図２７は、検出部１７Ａが、後述する遠近競合領域を着目領域として検出する動作フローＳ１３０ｂを説明する図である。ステップＳ１３０の処理が開始されると、遠近競合領域を着目領域として検出する動作モードが設定されている場合には、図２７の動作フローＳ１３０ｂが開始される。先ず、検出部１７Ａは、原距離画像３１に１以上の、例えば、矩形領域などのブロック領域を設定する（図２７のステップＳ１４１）。図１２は、原距離画像３１に設定されたブロック領域６ａの１例を示す図である。ブロック領域６ａは、例えば、３２０×３２０画素サイズなど矩形領域である。

各ブロック領域の設定がなされると、検出部１７Ａは、設定されたブロック領域の１つを選択し（ステップＳ１４２）、選択されたブロック領域に対応した各距離情報の統計的な分布状態を取得する（ステップＳ１４３）。図１３は、ブロック領域６ａ（図１２）における距離情報の統計的な分布状態の１例を示すヒストグラム６４であり、ヒストグラム６４の横軸には、区分けされた視差（距離情報）が変数として示され、縦軸には、区分けされた視差の各区間に属する画素の度数（個数）が示されている。

ここで、例えば、ブロック領域６ａが、基準画像２１（図３）の領域５ａに設定されているとすると、ブロック領域６ａには、立て看板と、該立て看板に対してステレオカメラ３００側、またはその反対側に離れて位置する木々とが同時に撮影されている。このようなブロック領域６ａの各画素の距離情報の分布を、視差（距離情報）を変数するヒストグラムとして表現すると、該ヒストグラムにおいては、ヒストグラム６４に例示されているように、度数分布のピークが離散的（不連続）に現れ、かつ、距離情報の分布幅も広くなる。

なお、ヒストグラム６４に示されるように、視差（距離情報）を変数とするヒストグラムにおいて度数分布のピークが離散的に現れ、かつ、距離情報の分布幅も広くなる場合は、ヒストグラムとして表現された対象領域は、通常、基準画像２１の領域５ａのように、ステレオカメラ３００からの距離が相互に離散的である近景被写体と遠景被写体とが混在した領域である。

本願においては、該領域を「遠近競合領域」とも称し、遠近競合領域における距離情報の統計的な分布状態を「遠近競合状態」とも称する。検出部１７Ａは、原距離画像３１の距離情報の統計的な分布状態に基づいて検出される遠近競合領域を、着目領域として検出する。

遠近競合領域は、遠近競合領域以外の領域に比べて、通常、距離情報の分布幅が広く、距離情報の分布状態も離散的である。従って、原距離画像３１に対して第１の各距離情報２７（原距離画像３１）のばらつきを低減させる低減処理が施された場合には、遠近競合領域は、遠近競合領域以外の領域に比べて第２方向に沿った該境界部分において距離情報の変動が発生しやすい。すなわち、遠近競合領域は、遠近競合領域以外の領域よりも疑似画像２４における画像の歪みを生ずる可能性が強い領域である。

なお、ヒストグラム６４において幅ｗ１は、ブロック領域６ａに属する全ての画素のうち、該全ての画素を視差の値が大きい方から順に計数したときにブロック領域６ａ内の全画素数の上位５％および下位５％に入る画素以外の各画素に対応した視差（距離情報）の分布幅である。なお、該上位５％および下位５％に入る画素の除去は、基準画像２１と参照画像２２との対応点探索の誤りに起因して、取得された距離情報が実際の距離情報とは大きく異なっている画素を除くために行われる。

また、ヒストグラム６４における幅ｗ２およびｗ３は、度数についての所定の閾値ｔｈ１よりも度数が低くなっている各視差区間のうち連続している区間に対応した視差（距離情報）の分布幅である。幅ｗ２またはｗ３が大きい場合には、ブロック領域６ａの視差の分布は離散的である。

そこで、検出部１７Ａは、例えば、ヒストグラム６４における幅ｗ１と、幅ｗ２（ｗ３）との少なくとも１つを、原距離画像３１のブロック領域についての各距離情報の統計的な分布状態を表現する指標値として取得する。また、検出部１７Ａが、例えば、原距離画像３１のブロック領域についての各距離情報の標準偏差を、該距離情報の統計的な分布状態を表現する指標値として採用したとしても、該ブロック領域が遠近競合領域であるか否かを判定できるので、本発明の有用性を損なうものではない。

選択されたブロック領域に対応した各距離情報の統計的な分布状態を取得すると、検出部１７Ａは、取得された各距離情報の統計的な分布状態が遠近競合の度合いを規定した所定の基準を満たすか否かを判定する（図２７のステップＳ１４４）。具体的には、検出部１７Ａは、選択されたブロック領域について、例えば、前述した幅ｗ１を各距離情報の統計的な分布状態を表現した指標値として取得し、幅ｗ１が所定の基準値以上であるか否か、すなわち該ブロック領域についての各距離情報の統計的な分布状態が遠近競合の度合いを規定した所定の基準を満たすか否かを判定する。

該判定の結果、該ブロック領域についての各距離情報の統計的な分布状態が遠近競合の度合いを規定した所定の基準を満たす場合には、検出部１７Ａは、該ブロック領域を遠近競合状態にある着目領域として検出する（ステップＳ１４５）。

次に、検出部１７Ａは、原距離画像３１に設定された全てのブロック領域について、ステップＳ１４５の判定が終了したか否かを確認する（ステップＳ１４６）。該確認の結果、全てのブロック領域について、ステップＳ１４５の判定が終了していなければ、検出部１７Ａは、処理をステップＳ１４２へと戻し、ステップＳ１４６での確認の結果、全てのブロック領域について、ステップＳ１４５の判定が終了していれば、検出部１７Ａは、原距離画像３１の着目領域を検出する処理を終了する。上述したように、検出部１７Ａは、原距離画像３１における各距離情報の統計的な分布状態を判定条件として原距離画像３１における着目領域を検出する。

図１４は、原距離画像３１において検出された着目領域の１例として着目領域４ｄを示す図である。着目領域４ｄは、選択されたブロック領域についての各距離情報の統計的な分布状態として前述した幅ｗ１を採用した検出部１７Ａによって検出されている。着目領域４ｄには、遠近競合領域であるブロック領域以外に、距離情報がなだらかに変動し、かつ、距離情報の分布幅が所定の基準を満たすブロック領域も含まれている。また、既述したように、検出部１７Ａが、選択されたブロック領域についての各距離情報の統計的な分布状態として、前述した幅ｗ２（ｗ３）、該ブロック領域について各距離情報の標準偏差、またはこれらの組み合わせ、または該組み合わせと幅ｗ１との組み合わせなどを採用すれば、原距離画像３１において検出される着目領域のサイズは、着目領域４ｄ（図１４）よりも小さくなり、遠近競合状態にある着目領域の検出精度を高め得る。

図１５は、着目領域の他の１例として着目領域１ａを示す図である。検出部１７Ａは、基準画像２１（図１１）において検出された着目領域４ａ〜４ｃ（図１１）と、原距離画像３１（図１４）において検出された着目領域４ｄとの相互に重なり合う領域を画像空間５７（図１５）における着目領域１ａとして検出している。非着目領域３ａは、画像空間５７のうち着目領域１ａ以外の領域である。なお、画像空間５７は、派生距離画像３２（第２の各距離情報２８）に対応した画像空間である。画像空間５７は、基準画像２１（図３）、参照画像２２（図４）にも対応するとともに、原距離画像３１（図７）にも対応している。

このように、基準画像２１において検出された着目領域４ａ〜４ｃと、原距離画像３１において検出された着目領域４ｄとの重なり領域に基づいて画像空間５７における着目領域１ａを検出すれば、基準画像領域であり、かつ、遠近競合領域でもある領域を着目領域１ａとして検出できる。

なお、着目領域４ａ〜４ｃと着目領域４ｄとの重なり領域に基づいて着目領域１ａを検出する手法に代えて、例えば、着目領域４ａ〜４ｃおよび着目領域４ｄの何れか一方に基づいて着目領域を検出する手法が採用されたとしても、本発明の有用性を損なうものではない。また、該手法によれば、着目領域の検出処理をより高速に行うことが出来る。

また、基準画像２１において検出された着目領域４ａ〜４ｃと、原距離画像３１において検出された着目領域４ｄとの結合領域に基づいて着目領域を検出する手法する手法が採用されたとしても、基準画像領域と、遠近競合領域とが結合された広範囲の領域が着目領域として検出されることにより、生成される疑似画像における歪みの発生を抑制できる可能性を高め得るので、本願発明の有用性を損なうものではない。

対応点探索における相関値に基づく着目領域の検出処理：
検出部１７Ａは、基準画像２１と参照画像２２との間で対応点探索処理が行われて第１の各距離情報２７が取得される際に第１の各距離情報２７に対してそれぞれ取得される各相関値を判定条件として、原距離画像３１に対応した画像空間における着目領域を検出する検出処理を、設定された動作モードに応じて行う。

原距離画像３１において、第１の各距離情報２７に対応する該各相関値が低い領域は、該各相関値が高い領域に比べて第１の各距離情報２７のばらつきが大きい領域である。従って、原距離画像３１に対して第１の各距離情報２７（原距離画像３１）のばらつきを低減させる低減処理が施された場合には、第１の各距離情報２７に対応する該各相関値が低い領域は、該各相関値が高い領域に比べて第２方向に沿った該境界部分において距離情報の変動が発生しやすい。すなわち、第１の各距離情報２７に対応する該各相関値が低い領域は、第１の各距離情報２７に対応する該各相関値が高い領域よりも疑似画像２４における画像の歪みを生ずる可能性が強い領域である。

検出部１７Ａによって検出された着目領域についての領域情報２ａ（図２）は、第１生成部１４Ａへと供給される。従って、後述する第１生成部１４Ａは、領域情報２ａを参照することによって原距離画像３１において着目領域を検出することができる。第１生成部１４Ａの動作モードが、領域情報２ａを使用する動作モードに設定されている場合には、第１生成部１４Ａは、原距離画像３１の画像空間のうち少なくとも着目領域に対して、着目領域における第２方向についての第１の各距離情報２７のばらつきを低減させる低減強度を、着目領域における第１方向についての第１の各距離情報２７のばらつきを低減させる低減強度よりも強くなるように第２の各距離情報２８を生成する。

第１生成部１４Ａは、第１方向と第２方向とについての第１の各距離情報２７のばらつきの低減強度を相互に異なる強度とするばらつきの低減処理を、例えば、原距離画像３１のうち着目領域についてのみ行うことなどによって、着目領域以外の領域についての距離情報の過度の減少を防止しつつ、着目領域に対応した疑似画像の領域における画像の歪みを抑制し得る。

着目領域が疑似画像の歪みを生ずる可能性についての定量的な判定結果の生成：
図１６は、画像空間５７において検出された複数の着目領域の１例を示す図であり、画像空間５７では３つの着目領域１ａ〜１ｃが非着目領域３ｂに内包されて検出されている。そして、着目領域１ａ〜１ｃには、着目領域１ａ〜１ｃにそれぞれ対応する疑似画像２４の画像空間において画像の歪みが生ずる可能性についての定量的な判定結果がそれぞれ付与されている。

次に、検出部１７Ａが行う該定量的な判定結果の取得について説明する。図２６に示された、検出部１７Ａが基準画像２１における着目領域を検出する動作フローＳ１３０ａにおいて、ステップＳ１３３における基本図形の長さの基準値、およびステップＳ１３６における基準画像２１において検出された輪郭の長さに対する検出された基本図形の長さの比（割合）の基準値の少なくも一方を大きくすればするほど、検出された着目領域における基本図形の存在についての信頼度は高くなる。

同様に、図２７に示された、検出部１７Ａが距離画像３３における遠近競合状態にある着目領域を検出する動作フローＳ１３０ｂにおいて、ステップ１４４における幅ｗ１などの各距離情報の統計的な分布状態についての遠近競合の度合いを規定した基準値を大きくすればするほど、距離画像３３に置いて検出された着目領域における遠近競合状態の存在についての信頼度は高くなる。

従って、図２６のステップＳ１３３、Ｓ１３６、または図２７のステップＳ１４４における上述した基準値を大きくすればするほど、検出部１７Ａが検出する画像空間５７における着目領域についての信頼度も高くなる。

そこで、検出部１７Ａは、該定量的な判定結果を取得する動作モードが設定されている場合には、画像空間５７において検出された着目領域を検出する際に、着目領域が疑似画像２４の画像空間において画像の歪みを生ずる可能性についての定量的な判定結果（信頼度）として、図２６のステップＳ１３３、Ｓ１３６、または図２７のステップＳ１４４における上述した基準値に応じた値を取得する。そして、検出部１７Ａは、取得した定量的な判定結果を検出された着目領域に対応づける。すなわち、検出部１７Ａは、着目領域が疑似画像２４の画像空間において画像の歪みを生ずる可能性についての定量的な判定結果を検出された着目領域に付与する判定規則を、着目領域を検出するための判定条件として用いることもできる。なお、検出された着目領域に付与された該定量的な判定結果は、着目領域についての領域情報２ａとともに第１生成部１４Ａに供給される。

第１生成部１４Ａが領域情報２ａを使用する動作モードに設定されている場合において、さらに第１生成部１４Ａが上述した画像の歪みを生ずる可能性についての定量的な判定の結果を参照する動作モードが設定されている場合には、第１生成部１４Ａは、例えば、該画像の歪みを生ずる可能性についての定量的な判定の結果に基づいて着目領域が疑似画像２４の画像の歪みを生じさせる可能性が強いと推定される場合には、該可能性が弱いと判定される場合に比べて、着目領域における第２方向についての第１の各距離情報２７のばらつきを低減させる低減強度を強くする。歪みを生ずる可能性についての定量的な判定の結果を用いることによって、第１生成部１４Ａは、着目領域についての距離情報の過度の減少を防止しつつ、着目領域に対応した疑似画像の領域における画像の歪みを抑制し得る。

第１生成部１４Ａの動作：
低減処理Ａ：
第１生成部１４Ａ（図２）の動作モードが、領域情報２ａ（図２）を使用する動作モードに設定されていない場合には、第１生成部１４Ａは、原距離画像３１の画像空間の全域を対象として、原距離画像３１における第１方向（図７のＸ軸方向）を横切る第２の方向（図７のＹ軸方向）について第１の各距離情報２７のばらつきを低減させる強度が、原距離画像３１における第１方向について第１の各距離情報２７のばらつきを低減させる強度よりも強くなるように第１の各距離情報２７のばらつきを低減させる低減処理Ａを行うことによって、第２の各距離情報２８（図２）を生成する。

低減処理Ａが行われた場合には、第１生成部１４Ａによって生成される第２の各距離情報２８においては、第１方向を横切る第２方向に関する各距離情報のばらつきが、第１方向に関する各距離情報のばらつきよりも小さくなる。そして、生成された第２の各距離情報２８に基づいて後述する第２生成部１５Ａによって疑似画像２４（図２）が生成される。従って、第１生成部１４Ａが、低減処理Ａを行った場合には、第１生成部１４Ａが、図８に示される平均化フィルタ５５、図９、および図１０などを参照しつつ上述した一般的な平滑化処理、すなわち、第１方向と第２方向との平滑化強度が等しくなるように第１の各距離情報２７のばらつきが低減される一般的な低減処理を行って第２の各距離情報２８を生成する場合に比べて、疑似画像２４に発生する画像の湾曲などの歪みが低減され得る。

低減処理Ｂ：
また、第１生成部１４Ａの動作モードが、領域情報２ａを使用する動作モードに設定されている場合には、第１生成部１４Ａは、原距離画像３１の画像空間のうち少なくとも領域情報２ａに基づいて検出される着目領域に対して、該着目領域における第２方向についての第１の各距離情報２７のばらつきを低減させる強度が、該着目領域における第１方向についての第１の各距離情報２７のばらつきを低減させる強度よりも強くなるように第１の各距離情報２７のばらつきを低減させる低減処理Ｂを行うことによって、第２の各距離情報２８を生成する。

低減処理Ｂが行われた場合には、第１生成部１４Ａによって生成される第２の各距離情報２８においては、少なくとも領域情報２ａに基づいて検出された着目領域について、第１方向を横切る第２方向に関する各距離情報のばらつきが、第１方向に関する各距離情報のばらつきよりも小さくなる。そして、生成された第２の各距離情報２８に基づいて後述する第２生成部１５Ａによって疑似画像２４（図２）が生成される。

ここで、原距離画像３１における着目領域は、着目領域以外の非着目領域よりも、疑似画像２４の対応領域における画像の歪みを生ずる可能性が強い領域である。従って、第１生成部１４Ａが低減処理Ｂを行った場合には、第１生成部１４Ａが、低減処理Ａの説明において上述した第１方向と第２方向との平滑化強度が等しい一般的な低減処理を行った場合に比べて、第２の各距離情報２８に基づいて生成される疑似画像２４に発生する画像の湾曲などの歪みが低減され得る。

さらに、第１生成部１４Ａが低減処理Ｂを行った場合には、着目領域以外の領域についての距離情報の過度の減少を防止しつつ、着目領域に対応した疑似画像の領域における画像の歪みを抑制し得る。

上述したように、第１生成部１４Ａによって低減処理Ａと低減処理Ｂとの何れが行われたとしても、第１生成部１４Ａが第１方向と第２方向との平滑化強度が等しい一般的な低減処理を行った場合に比べて、第２の各距離情報２８に基づいて生成される疑似画像２４に発生する画像の湾曲などの歪みが低減され得るので、本発明の有用性を損なうものではない。

そこで、以下では、第１生成部１４Ａが行う低減処理Ｂの動作を主として説明しつつ、低減処理ＡおよびＢについて説明する。また、該説明は、検出部１７Ａによって図１５に示される着目領域１ａが検出された場合を例として行われる。なお、図２５に示された動作フローＳ１００Ａは、第１生成部１４Ａの動作モードが、低減処理Ｂに対応した動作モードに設定されている場合の動作フローである。

低減処理Ｂ（Ａ）の処理内容：
第２取得部１３と検出部１７Ａとから、第１の各距離情報２７（図２）と着目領域１ａ（図１５）についての領域情報２ａ（図２）とがそれぞれ供給されると、第１生成部１４Ａは、非着目領域３ａおよび着目領域１ａに対してそれぞれ適用される第１および第２平滑化フィルタにそれぞれ対応した平滑化情報５３ａおよび平滑化情報５３ｂ（図２）を平滑化情報格納部４８（図２）から取得することによって、第１および第２平滑化フィルタをそれぞれ取得する（図２５のステップＳ１４０）。なお、平滑化情報５３ａおよび５３ｂは、非着目領域３ａおよび着目領域１ａにそれぞれ適用される第１および第２平滑化フィルタをそれぞれ特定する情報である。平滑化情報５３ａおよび５３ｂは、予め、平滑化情報格納部４８（図１、図２）に格納されている。

平滑化情報としては、例えば、平滑化フィルタの種類、および平滑化フィルタの平滑化強度などが採用される。例えば、第１平滑化フィルタとしてメディアンフィルタが使用され、第２平滑化フィルタとして平均化フィルタが使用される場合には、平滑化情報５３ａとしてメディアンフィルタというフィルタ種類を指定する変数と、該フィルタの平滑化強度を指定する変数とが採用され、平滑化情報５３ｂとして、平均化フィルタというフィルタ種類を指定する変数と、該フィルタの平滑化強度を指定する変数とが採用される。

図１９〜図２１は、実施形態に係る平均化フィルタ５６ａ、５６ｂ、および５６ｃの１例をそれぞれ示す図である。また、図２２は、実施形態に係る原距離画像３１（第１の各距離情報２７）のばらつきを低減させる処理の１例を説明する図である。

以下では、第１平滑化フィルタとして図８に示される平均化フィルタ５５が採用され、第２平滑化フィルタとして、主として、図１９に示される平均化フィルタ５６ａが採用される場合を例として、第１生成部１４Ａの動作を説明する。

具体的には、第１生成部１４Ａは、例えば、平均化フィルタ５５についての平滑化情報５３ａとして、平均化フィルタ５５の種類を指定する情報と、値９４のパラメータＫとを取得する。また、第１生成部１４Ａは、平均化フィルタ５６ａについての平滑化情報５３ｂとして、例えば、平均化フィルタ５６ａの種類を指定する情報と、値１８９および６４のパラメータＫ１およびＫ２を取得する。なお、第１生成部１４Ａが低減処理Ａを行う場合には、第１生成部１４Ａは、平均化フィルタ５６ａに対応した平滑化情報５３ｂのみを取得する。

また、第１生成部１４Ａは、第１および第２平滑化フィルタをそれぞれ使用した各平滑化処理にそれぞれ対応した各平滑化処理プログラムを平滑化情報５３ａおよび平滑化情報５３ｂとして平滑化情報格納部４８から取得し、取得した各平滑化処理プログラムをそれぞれ実行することによって、第１および第２平滑化フィルタをそれぞれ使用した各平滑化処理を行う構成であってもよい。

値１８９および６４のパラメータＫ１およびＫ２によって規定される平均化フィルタ５６ａを用いた平滑化処理が原距離画像３１（図７）に適用された場合には、第１方向（Ｘ軸方向）を横切る第２方向（Ｙ軸方向）についての第１の各距離情報２７のばらつきの低減強度は、第１方向（Ｘ軸方向）についての第１の各距離情報２７のばらつきの低減強度の約３倍である。該強度の比は、３倍に限定されず、例えば、１．２倍以上の値のうち任意の値が採用されたとしても本発明の有用性を損なうものではない。

また、平均化フィルタ５６ａに代えて、平均化フィルタ５６ｂ（図２０）が採用されたとしても本発明の有用性を損なうものではない。平均化フィルタ５６ｂにおいては、パラメータＫとして、例えば、値９４が採用される。第１生成部１４Ａが平均化フィルタ５６ａを採用した場合には、第１生成部１４Ａは、原距離画像３１における第１方向と第２方向とのうち第２方向についてのみ第１の各距離情報２７のばらつきを低減させることによって低減処理Ｂ（Ａ）を行う。すなわち、平均化フィルタ５６ｂが適用されたとしても第２方向に関する各距離情報のばらつきの低減強度を、第１方向に関する各距離情報のばらつきの低減強度よりも大きくすることができる。

また、平均化フィルタ５６ａに代えて、平均化フィルタ５６ｃ（図２１）が採用されたとしても本発明の有用性を損なうものではない。平均化フィルタ５６ｂにおいては、パラメータＫ１、Ｋ２、およびＫ３として、例えば、値１８９、値９４、および値９５がそれぞれ採用される。また、平均化フィルタ５６ｃにおいては、Ｘ軸方向の中央部における各行列要素の値として値３が採用され、Ｘ軸方向の両端部における各行列要素の値として値１が採用されている。平均化フィルタ５６ｃにおいては、Ｘ軸、Ｙ軸方向の要素数はそれぞれ等しいが、要素の値が中央部と両端部とで異なっているため、重み付きの平均化フィルタである平均化フィルタ５６ｃが適用されたとしても第２方向に関する各距離情報のばらつきの低減強度を、第１方向に関する各距離情報のばらつきの低減強度よりも大きくすることができる。

また、第１生成部１４Ａが、図２２に示されるように、第１方向（Ｘ軸方向）についての長さよりも第２の方向（Ｙ軸方向）についての長さが長い縦長形状のブロック領域５８を原距離画像３１に設定して第１の各距離情報２７のうちブロック領域５８に対応した各距離情報の平均値を取得するとともに、取得した平均値に基づいて第２の各距離情報２８のうちブロック領域５８に対応した各距離情報の値を取得する処理を、ブロック領域５８を原距離画像３１に対して図２２に示されるように第１方向および第２方向についてステップ移動させつつ行うことによって低減処理Ｂ（Ａ）を行ったとしても本発明の有用性を損なうものではない。ブロック領域５８のサイズとしては、例えば、第１方向（Ｘ軸方向）の画素数として４が、また、第２の方向（Ｙ軸方向）の画素数として８がそれぞれ採用される。

第１生成部１４Ａは、動作モードが低減処理Ｂに対応した動作モードが設定され、かつ、検出部１７Ａが生成した画像の歪みを生ずる可能性についての定量的な判定の結果を参照する動作モードが設定されている場合には、第１および第２平滑化フィルタをそれぞれ取得すると、第２平滑化フィルタの平滑化強度の調整を行う（図２５のステップＳ１５０）。該調整は、例えば、該画像の歪みを生ずる可能性についての定量的な判定の結果に基づいて、着目領域１ａが疑似画像２４の画像の歪みを生じさせる可能性が強いと推定される場合には、該可能性が弱いと判定される場合に比べて、着目領域１ａにおける第２方向についての第１の各距離情報２７のばらつきを低減させる低減強度を強くする。すなわち、第１生成部１４Ａは、着目領域１ａについての第２方向についての第１の各距離情報２７のばらつきの低減強度を、検出部１７Ａから供給された歪みを生ずる可能性についての定量的な判定の結果に応じて変更する。ステップＳ１５０における平滑化強度の調整においては、第１方向についての第１の各距離情報２７のばらつきの低減強度に対する第２方向についての第１の各距離情報２７のばらつきの低減強度の比は、例えば、１．２以上の範囲で、歪みを生ずる可能性についての定量的な判定の結果に応じて調整される。歪みを生ずる可能性についての定量的な判定の結果を用いることによって、第１生成部１４Ａは、着目領域についての距離情報の過度の減少を防止しつつ、第２生成部１５Ａによって生成される疑似画像２４において、着目領域に対応した領域における画像の歪みを抑制し得る。

図１７は、派生距離画像３２（第２の各距離情報２８）の１例を示す図である。平滑化フィルタが取得され、必要な平滑化強度の調整が終了すると、第１生成部１４Ａは、取得した平滑化フィルタを用いた平滑化処理を行うことによって、原距離画像３１（第１の各距離情報２７）の各画素の画素値の平滑化を行い、派生距離画像３２（第２の各距離情報２８）を生成する（図２５のステップＳ１６０）。すなわち、第１生成部１４Ａは、原距離画像３１における第１方向を横切る第２方向について第１の各距離情報２７のばらつきを低減させる強度が、原距離画像３１における第１方向について第１の各距離情報２７のばらつきを低減させる強度よりも強くなるように第１の各距離情報２７のばらつきを低減させる低減処理を行う。

また、第１生成部１４Ａが、例えば、原距離画像３１の全域に対して平均化フィルタ５５に示される第１方向と第２方向との平滑化強度が等しい平滑化処理を適用した後、平均化フィルタ５６ａ〜５６ｃなどに示されるような、第２方向についての平滑化強度の方が、第１方向についての平滑化強度よりも強い平滑化フィルタを適用することによって低減処理Ｂ（Ａ）を行ったとしても本発明の有用性を損なうものではない。

また、平均化フィルタ５６ａ〜５６ｃにおいては、第１方向に対して第２方向が直交しているが、該直交方向に対して第２方向が、例えば、−３０°から＋３０°の範囲の存在するような平滑化処理に対応した平滑化フィルタが採用されたとしても本発明の有用性を損なうものではない。

第２生成部１５Ａの動作：
図１８は、画像の歪みが抑制された疑似画像２４（図２）の１例を示す図である。第２生成部１５Ａは、基準画像２１（図３）と第２の各距離情報２８（派生距離画像３２）（図１７）とに基づいて疑似画像２４（図１８）を生成する（図２５のステップＳ１７０）。すなわち、第２生成部１５Ａは、基準画像２１との組み合わせによって立体画像を構成する疑似画像２４を、基準画像２１と第２の各距離情報２８とに基づいて生成する。具体的には、第２生成部１５Ａは、例えば、図２３、図２４、および（２）式などを参照しつつ上述した疑似画像の生成に係る基本手法を採用し、第１生成部１４Ａから供給される派生距離画像３２（第２の各距離情報２８）の距離情報（視差）に基づいて基準画像２１を変形させることなどによって仮想視点からの被写体の撮影に対応した疑似画像２４を取得する。

疑似画像２４における領域５ｃは、基準画像２１（図３）における領域５ａと、画像の歪みが補正されていない疑似画像２５（図１０）における領域５ｂとのそれぞれに対応した領域である。領域５ｃの画像では、領域５ｂにおいて−Ｘ方向に凸状に湾曲していた画像の空間的な歪みが、抑制されている。

上述したように、画像処理装置２００Ａは、原距離画像３１（図７）における第１方向（図７のＸ軸方向）を横切る第２方向（図７のＹ軸方向）について第１の各距離情報２７のばらつきを低減させる強度が、原距離画像３１における第１方向について第１の各距離情報２７のばらつきを低減させる強度よりも強くなるように第１の各距離情報２７のばらつきを低減させる低減処理を行うことによって第２の各距離情報２８を生成する。

画像処理装置２００Ａによって生成される第２の各距離情報２８においては、第１方向を横切る第２方向に関する各距離情報のばらつき、すなわち、疑似画像の形状的な歪みの主たる原因となる第２の方向に関する各距離情報のばらつきが、第１方向に関する各距離情報のばらつきよりも小さくなる。そして、画像処理装置２００Ａは、生成した第２の各距離情報２８に基づいて疑似画像２４を生成するので、疑似画像２４に発生する画像の湾曲などの歪みが低減され得る。すなわち、画像処理装置２００Ａは、疑似画像に発生する画像の歪みを低減させ得る。

＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上述した画像処理システム１００Ａにおけるステレオカメラ３００では、基準カメラ６１と参照カメラ６２との基線長の方向は垂直方向であったが、該基線長の方向は、垂直方向その他の任意の方向でもよい。また、基準カメラ６１と参照カメラ６２との撮影倍率は、同じでなくても良い。なお、基準カメラ６１と参照カメラ６２との基線長の方向が水平方向である場合には、例えば、疑似画像２４が、基準カメラおよび参照カメラとしての取り扱いをカメラ間で相互に変更することによって各カメラが撮影した画像からそれぞれ疑似画像２４が生成されても良い。

１００Ａ 画像処理システム
２００Ａ 画像処理装置
３００ ステレオカメラ
１ａ，１ｂ，１ｃ 着目領域
２ａ 領域情報
３ａ，３ｂ 非着目領域
４ａ〜４ｄ 着目領域
６ａ ブロック領域
９ａ，９ｂ 視差
２１，２１ａ 基準画像
２２，２２ａ 参照画像
２３ａ，２３ｂ 部分画像
２４ 疑似画像
２５ 疑似画像
２７ 第１の各距離情報
２８ 第２の各距離情報
２９ 各距離情報
３１ 原距離画像
３２ 派生距離画像
３３ 距離画像
５３a，５３ｂ 平滑化情報
５５，５６ａ〜５６ｃ 平均化フィルタ
５７ 画像空間
６１ 基準カメラ
６２ 参照カメラ
ｗ１，ｗ２，ｗ３ 幅
ｔｈ１ 閾値

Claims (13)

1. 被写体が撮影された基準画像を取得する第１の取得部と、
   前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、予め設定された原点位置からの距離情報をそれぞれ表現した第１の各距離情報を取得する第２の取得部と、
   前記第１の各距離情報のばらつきを低減させる低減処理によって第２の各距離情報を生成する第１の生成部と、
   前記基準画像との組み合わせによって立体画像を構成する疑似画像を、前記基準画像と前記第２の各距離情報とに基づいて生成する第２の生成部と、
   を備え、
   前記基準画像と前記疑似画像とが同一の画像空間に立体視可能に配置されたときに、互いに前記被写体上の同一の点に対応する前記基準画像の画素と前記疑似画像の画素との該画像空間における位置ずれの方向によって前記基準画像に対する第１の方向を定義するとともに、前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、
   前記第１の生成部は、
   前記原距離画像における前記第１の方向を横切る第２の方向について前記第１の各距離情報のばらつきを低減させる強度が、前記原距離画像における前記第１の方向について前記第１の各距離情報のばらつきを低減させる強度よりも強くなるように前記低減処理を行う画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記第１の生成部が、
   前記第１の方向と、前記第２の方向とのそれぞれの方向についての平滑化強度が互いに異なる平滑化フィルタ処理を行うことによって前記低減処理を行う画像処理装置。
3. 請求項１に記載された画像処理装置であって、
   前記第１の生成部が、
   前記第１の方向についての長さよりも前記第２の方向についての長さが長い縦長形状のブロック領域を前記原距離画像に設定して前記第１の各距離情報のうち該ブロック領域に対応した各距離情報の平均値を取得するとともに、取得した平均値に基づいて前記第２の各距離情報のうち該ブロック領域に対応した各距離情報の値を取得する処理を、該ブロック領域を前記原距離画像に対してステップ移動させつつ行うことによって前記低減処理を行う画像処理装置。
4. 請求項１から請求項３の何れか１つの請求項に記載された画像処理装置であって、
   前記第１の生成部が、
   前記原距離画像における前記第１の方向と前記第２の方向とのうち前記第２の方向についてのみ前記第１の各距離情報のばらつきを低減させることによって前記低減処理を行う画像処理装置。
5. 請求項１から請求項４のいずれか１つの請求項に記載された画像処理装置であって、
   予め設定された判定条件に基づいて、前記原距離画像に対応した画像空間のうち前記疑似画像の歪みを生ずる可能性のある着目領域を検出する検出部を更に備え、
   前記第１の生成部が、
   前記原距離画像のうち前記着目領域に対応した領域を対象として前記低減処理を行う画像処理装置。
6. 請求項５に記載された画像処理装置であって、
   前記検出部が、
   前記基準画像についての幾何学的条件を前記判定条件として前記着目領域を検出する画像処理装置。
7. 請求項６に記載された画像処理装置であって、
   予め設定された数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を基本図形と呼ぶとき、
   前記幾何学的条件が、前記基準画像における輪郭を構成する１種類以上の予め設定された基本図形の割合である画像処理装置。
8. 請求項７に記載された画像処理装置であって、
   前記１種類以上の予め設定された基本図形が、直線、２次曲線、円弧、楕円弧、および予め設定されたテクスチャのうち少なくとも１つである画像処理装置。
9. 請求項５に記載された画像処理装置であって、
   前記検出部が、
   前記第１の各距離情報の統計的な分布状態を前記判定条件として前記着目領域を検出する画像処理装置。
10. 請求項５に記載された画像処理装置であって、
    前記第２の取得部が、
    前記基準画像が撮影された視点とは異なる視点から前記被写体が撮影された参照画像と、前記基準画像との間での対応点探索処理を行うことによって前記第１の各距離情報を取得するとともに、
    前記検出部が、
    前記第１の各距離情報についての前記対応点探索処理において取得される各相関値を前記判定条件として前記着目領域を検出する画像処理装置。
11. 請求項５から請求項１０のいずれか１つの請求項に記載された画像処理装置であって、
    前記判定条件は、前記歪みを生ずる可能性について定量的な判定結果を与える判定規則を含み、
    前記第１の生成部が、
    前記着目領域についての前記第２の方向についての前記ばらつきの低減強度を、前記歪みを生ずる可能性についての前記定量的な判定の結果に応じて変更する画像処理装置。
12. 画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。
13. 被写体が撮影された基準画像を取得する第１の取得工程と、
    前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について、予め設定された原点位置からの距離情報をそれぞれ表現した第１の各距離情報を取得する第２の取得工程と、
    前記第１の各距離情報のばらつきを低減させる低減処理によって第２の各距離情報を生成する第１の生成工程と、
    前記基準画像との組み合わせによって立体画像を構成する疑似画像を、前記基準画像と前記第２の各距離情報とに基づいて生成する第２の生成工程と、
    を備え、
    前記基準画像と前記疑似画像とが同一の画像空間に立体視可能に配置されたときに、互いに前記被写体上の同一の点に対応する前記基準画像の画素と前記疑似画像の画素との該画像空間における位置ずれの方向によって前記基準画像に対する第１の方向を定義するとともに、前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、
    前記第１の生成工程は、
    前記原距離画像における前記第１の方向を横切る第２の方向について前記第１の各距離情報のばらつきを低減させる強度が、前記原距離画像における前記第１の方向について前記第１の各距離情報のばらつきを低減させる強度よりも強くなるように前記低減処理を行う画像処理方法。