JP5516365B2 - 画像処理装置、そのプログラム、および画像処理方法 - Google Patents

Description

本発明は、１の視点から撮影した被写体の画像を用いて、その視点とは別の仮想視点からその被写体を撮影したときの画像についての疑似画像を生成する画像処理技術に関する。

近年、被写体を実際に撮影した視点とは別の仮想視点からその被写体を撮影したときに得られる画像についての疑似画像を、仮想視点からの実際の撮影を行うことなく模擬的に生成する疑似画像生成装置が、立体視可能な画像群を生成する用途などに活用され始めている。

特許文献１の画像処理システムでは、複数の二次元画像間で、対応点探索を行い、対応点探索の結果に基づいて得られる距離情報から三次元表示用の疑似画像を取得する際に、対応点探索が失敗したことによって距離情報が取得できなかった領域については、対応点探索が成功して得られた距離情報からの平均値を該領域の距離情報として取得して疑似画像を復元し、さらに該疑似画像の平滑化処理を行うことによって、対応点探索が失敗した領域についても平滑性が改善された疑似画像を取得する。

特開２００３−３１７１１７号公報

しかしながら、特許文献１の画像処理システムには、対応点探索が失敗した領域が、例えば、直線などの基本図形の要素によって構成されることが多い人工物と、該人工物とは撮影装置からの距離が異なる他の物体とが、相互に前景と背景とを構成する領域である場合には、平均値として取得される距離情報と、該領域の実際の距離情報とのズレ量が大きくなるため、該領域に対応する疑似画像に、例えば、湾曲などの画像の歪みが発生する。このため、直線などを多く含む人工物が撮影された人工物領域については、実撮影画像と疑似画像との差異が大きくなって、観察者が違和感を覚えやすくなるといった問題がある。

また、このような人工物領域についての対応点探索が成功した場合であっても、取得された距離情報の算出誤差を低減させるために、距離情報に対して一様な平滑化を施した後、該距離情報に基づいて疑似画像の生成を行う場合には、同様に、疑似画像における画像の歪みが大きくなる。

本発明は、こうした問題を解決するためになされたもので、疑似画像の生成に使用される距離情報の平滑化に起因して、生成された疑似画像に発生する画像の歪みを低減させ得る技術を提供することを目的とする。

上記の課題を解決するため、第１の態様に係る画像処理装置は、被写体が第１の視点から撮影された基準画像を取得する第１の取得手段と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得手段と、を備え、前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する距離情報によって第２の各距離情報を定義するとともに、前記基準画像の画素配列に対応する前記第２の各距離情報の配列によって派生距離画像を定義したとき、人工物判定のための所定の判定条件に基づいて、前記派生距離画像に対応した画像空間を、人工物を含むと判定される着目領域と、着目領域以外の非着目領域とに分類して特定する特定手段と、前記第２の各距離情報のうち前記着目領域に対応した各距離情報のばらつきが、前記第２の各距離情報のうち前記非着目領域に対応した各距離情報のばらつきよりも小さくなるように前記第１の各距離情報に基づいて前記第２の各距離情報を生成する第１の生成手段と、前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成手段と、をさらに備えることを特徴とする。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記第１の生成手段は、1)前記第１の各距離情報のうち前記非着目領域に対応した各距離情報には、第１の平滑化規則を、2)前記第１の各距離情報のうち前記着目領域に対応した各距離情報には、第１の平滑化規則よりも平滑化の強度が強い第２の平滑化規則を、選択的にそれぞれ適用することによって前記第１の各距離情報を平滑化して前記第２の各距離情報を生成することを特徴とする。

第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記第１の視点と前記仮想視点とを結ぶ直線が前記派生距離画像に投影された像の長手方向を基線方向と定義したとき、前記第２の平滑化規則の平滑化強度が、前記着目領域における前記基線方向の画素数と、前記着目領域における前記基線方向に直交する方向の画素数との比に応じて変更されることを特徴とする。

第４の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記判定条件は、人工物の存在について定量的な判定結果を与える判定規則を含み、前記第２の平滑化規則の平滑化強度が、前記着目領域についての前記定量的な判定の結果に応じて変更されることを特徴とする。

第５の態様に係る画像処理装置は、第１から第４のいずれか１つの態様に係る画像処理装置であって、前記第１の画像生成手段は、前記着目領域と、前記非着目領域との境界領域における前記派生距離画像の画素値が、前記境界領域を横切る方向について徐々に変化するように、前記第２の各距離情報のうち前記境界領域に対応した各距離情報を生成することを特徴とする。

第６の態様に係る画像処理装置は、第１から第５のいずれか１つの態様に係る画像処理装置であって、前記特定手段は、前記基準画像についての幾何学的条件を前記所定の判定条件として前記基準画像における人工物領域を特定するとともに、該人工物領域に対応した前記画像空間上の領域を前記着目領域として特定することを特徴とする。

第７の態様に係る画像処理装置は、第６の態様に係る画像処理装置であって、所定の数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を基本図形と呼ぶとき、前記幾何学的条件が、前記基準画像における輪郭を構成する１種類以上の所定の基本図形の割合であることを特徴とする。

第８の態様に係る画像処理装置は、第７の態様に係る画像処理装置であって、前記１種類以上の所定の基本図形が、直線、２次曲線、円弧、および楕円弧の少なくとも１つであることを特徴とする。

第９の態様に係る画像処理装置は、第６の態様に係る画像処理装置であって、前記幾何学的条件が、前記基準画像についての画像の複雑さであることを特徴とする。

第１０の態様に係る画像処理装置は、第１から第５のいずれか１つの態様に係る画像処理装置であって、前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、前記特定手段は、前記原距離画像における各距離情報の統計的な分布状態を前記所定の判定条件として前記原距離画像における人工物領域を特定するとともに、該人工物領域に対応した前記画像空間上の領域を前記着目領域として特定することを特徴とする。

第１１の態様に係る画像処理装置は、第１から第５のいずれか１つの態様に係る画像処理装置であって、前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、前記特定手段は、前記基準画像についての幾何学的条件と、前記原距離画像における各距離情報の統計的な分布状態とを個別に前記所定の判定条件として用いることにより、前記基準画像における第１の人工物領域と、前記原距離画像における第２の人工物領域とをそれぞれ特定するとともに、前記画像空間のうち前記第１の人工物領域と、前記第２の人工物領域とのそれぞれに対応した領域を前記着目領域として特定することを特徴とする。

第１２の態様に係る画像処理装置は、被写体が第１の視点から撮影された基準画像を取得する第１の取得手段と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得手段と、前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する第２の各距離情報を生成する第１の生成手段と、前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第１の疑似画像を生成する第２の生成手段と、人工物判定のための所定の判定条件に基づいて、前記第１の疑似画像のうち前記基準画像に比べて画像の歪みが所定の基準よりも大きな着目領域を特定する特定手段と、前記第１の疑似画像のうち前記着目領域の画像を、前記基準画像のうち前記着目領域に対応する領域の画像に基づいて補正することによって、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第２の疑似画像を生成する第３の生成手段と、を備えることを特徴とする。

第１３の態様に係る画像処理装置は、第１２の態様に係る画像処理装置であって、前記特定手段は、前記基準画像および前記第１の疑似画像において、所定の幾何学的条件を満足する第１の人工物領域および第２の人工物領域をそれぞれ特定するとともに、前記第１の人工物領域と前記第２の人工物領域との空間的な差異に基づいて、前記着目領域を特定することを特徴とする。

第１４の態様に係る画像処理装置は、第１３の態様に係る画像処理装置であって、所定の数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を基本図形と呼ぶとき、前記幾何学的条件は、画像における輪郭を構成する１種類以上の所定の基本図形の割合であることを特徴とする。

第１５の態様に係る画像処理装置は、第１４の態様に係る画像処理装置であって、前記１種類以上の所定の基本図形が、直線、２次曲線、円弧、および楕円弧の少なくとも１つであることを特徴とする。

第１６の態様に係る画像処理装置は、第１３の態様に係る画像処理装置であって、前記幾何学的条件は、画像の複雑さであることを特徴とする。

第１７の態様に係るプログラムは、画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を第１から第１１の何れか１つの態様に記載の画像処理装置として機能させることを特徴とする。

第１８の態様に係る画像処理方法は、被写体が第１の視点から撮影された基準画像を取得する第１の取得工程と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得工程と、を備え、前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する距離情報によって第２の各距離情報を定義するとともに、前記基準画像の画素配列に対応する前記第２の各距離情報の配列によって派生距離画像と定義したとき、人工物判定のための所定の判定条件に基づいて、前記派生距離画像に対応した画像空間を、人工物を含むと判定される着目領域と、着目領域以外の非着目領域とに分類して特定する特定工程と、前記第２の各距離情報のうち前記着目領域に対応した各距離情報のばらつきが、前記第２の各距離情報のうち前記非着目領域に対応した各距離情報のばらつきよりも小さくなるように前記第１の各距離情報に基づいて前記第２の各距離情報を生成する第１の生成工程と、前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成工程と、をさらに備えることを特徴とする。

第１９の態様に係るプログラムは、画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を第１２から第１６の何れか１つの態様に記載の画像処理装置として機能させることを特徴とする。

第２０の態様に係る画像処理方法は、被写体が第１の視点から撮影された基準画像を取得する第１の取得工程と、前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得工程と、前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する第２の各距離情報を生成する第１の生成工程と、前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第１の疑似画像を生成する第２の生成工程と、人工物判定のための所定の判定条件に基づいて、前記第１の疑似画像のうち前記基準画像に比べて画像の歪みが所定の基準よりも大きな着目領域を特定する特定工程と、前記第１の疑似画像のうち前記着目領域の画像を、前記基準画像のうち前記着目領域に対応する領域の画像に基づいて補正することによって、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第２の疑似画像を生成する第３の生成工程と、を備えることを特徴とする。

第１から第１１の何れの態様に係る画像処理装置、第１７の態様に係るプログラム、または第１８の態様に係る画像処理方法によっても、人工物判定のための所定の判定条件に基づいて派生距離画像に対応した画像空間が、人工物を含むと判定される着目領域と、着目領域以外の非着目領域とに分類されて特定されるとともに、第２の各距離情報のうち着目領域に対応した各距離情報のばらつきが、第２の各距離情報のうち非着目領域に対応した各距離情報のばらつきよりも小さくなるように第２の各距離情報が生成され、第２の各距離情報に基づいて疑似画像が生成されるので、疑似画像に発生する画像の歪みを低減させ得る。

第１２から第１６の何れの態様に係る画像処理装置、第１９の態様に係るプログラム、または第２０の態様に係る画像処理方法によっても、人工物判定のための所定の判定条件に基づいて、第１の疑似画像のうち前記基準画像に比べて画像の歪みが所定の基準よりも大きな着目領域を特定するとともに、第１の疑似画像のうち着目領域の画像を、基準画像のうち着目領域に対応する領域の画像に基づいて補正することによって疑似画像が生成されるので、疑似画像に発生する画像の歪みを低減させ得る。

実施形態１に係る画像処理システムの主な構成の１例を示す図である。 実施形態１に係る画像処理装置の機能構成の１例を示す図である。 基準画像の１例を示す図である。 参照画像の１例を示す図である。 視差の１例を説明するための図である。 基準画像から疑似画像を生成する基本手法の１例を説明するための図である。 原距離画像の１例を示す図である。 平滑化強度画像の１例を示す図である。 同一の平滑化強度で平滑化された距離画像の１例を示す図である。 歪みが抑制されていない疑似画像の１例を示す図である。 基準画像において特定された人工物領域の１例を示す図である。 原距離画像に設定されたブロック領域の１例を示す図である。 ブロック領域における距離情報の分布の１例を示す図である。 原距離画像において特定された人工物領域の１例を示す図である。 画像空間において特定された着目領域の１例を示す図である。 平滑化強度画像の１例を示す図である。 派生距離画像の１例を示す図である。 画像の歪みが抑制された疑似画像の１例を示す図である。 平均化フィルタの１例を示す図である。 画像空間において特定された複数の着目領域の１例を示す図である。 基準画像の部分画像と、疑似画像の部分画像とのそれぞれにおける各画素の対応関係の１例を示す図である。 基準画像の画素座標および距離情報と、疑似画像の画素座標との対応関係の１例を示す図である。 実施形態１に係る画像処理装置の動作フローを例示する図である。 実施形態１に係る画像処理装置の動作フローを例示する図である。 実施形態１に係る画像処理装置の動作フローを例示する図である。 実施形態１に係る画像処理装置の動作フローを例示する図である。 実施形態２に係る画像処理システムの構成の１例を示す図である。 実施形態２に係る画像処理装置の機能構成の１例を示す図である。 疑似画像において特定された人工物領域の１例を示す図である。 疑似画像において特定された着目領域の１例を示す図である。 画像の歪みが抑制された疑似画像の１例を示す図である。 実施形態２に係る画像処理装置の動作フローを例示する図である。 実施形態２に係る画像処理装置の動作フローを例示する図である。 疑似画像を生成する基本手法の動作フローを例示する図である。

＜実施形態１について：＞
＜◎画像処理システム１００Ａについて：＞
図１は、実施形態１に係る画像処理システム１００Ａの主な構成の１例を示すブロック図である。図１に示されるように、画像処理システム１００Ａは、ステレオカメラ３００と画像処理装置２００Ａとを主に備えて構成されている。画像処理システム１００Ａでは、ステレオカメラ３００が撮影した基準画像２１（図１、図２）および参照画像２２（図１、図２）を画像処理装置２００Ａが取得し、画像処理装置２００Ａが基準画像２１および参照画像２２を処理することによって、基準画像２１が撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４ａ（図２）、すなわち第１の視点とは別の仮想視点から撮影した被写体の画像に相当する疑似画像２４ａを生成する。

◎ステレオカメラ３００について：
図１に示されるように、ステレオカメラ３００は、基準カメラ６１と参照カメラ６２とを主に備えて構成されている。また、基準カメラ６１および参照カメラ６２は、それぞれ、不図示の撮影光学系および制御処理回路を主に備えて構成されている。また、基準カメラ６１と参照カメラ６２とは、垂直方向に所定の基線長を隔てて設けられており、撮影光学系に入射した被写体からの光線情報を制御処理回路等で同期して処理することによって、被写体のステレオ画像を構成する、例えば、３４５６×２５９２画素サイズなどの所定サイズのデジタル画像である基準画像２１（図１、図３）および参照画像２２（図１、図４）を生成する。また、ステレオカメラ３００の各種動作は、画像処理装置２００Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。

なお、基準画像２１と参照画像２２とのそれぞれの撮影時におけるステレオカメラ３００に対する被写体の位置関係が同じであれば、基準画像２１と参照画像２２とは、同時刻に撮影されていなくても良い。また、ステレオカメラ３００は、基準カメラ６１と参照カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の基準画像２１および複数の参照画像２２を生成可能な構成であっても良い。また、基準画像２１および参照画像２２は、カラー画像であってもモノクロ画像であってもよい。

生成された基準画像２１および参照画像２２は、データ線ＤＬを介して画像処理装置２００Ａの入出力部４１へと供給される。画像処理装置２００Ａは、基準画像２１および参照画像２２に基づいて被写体についての距離情報である第１の各距離情報２７（図２）を生成し、さらに基準画像２１と、第１の各距離情報２７とに基づいて疑似画像２４ａ（図２）を生成する。

◎画像処理装置２００Ａの構成について：
図１に示されるように、画像処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

入出力部４１は、例えばＵＳＢインタフェースなどの入出力インタフェース、マルチメディアドライブ、およびネットワークアダプタなどのＬＡＮやインターネットに接続するためのインタフェースなどを備えて構成され、ＣＰＵ１１Ａとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、データ線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した基準画像２１および参照画像２２を画像処理装置２００Ａへとそれぞれ供給する。なお、入出力部４１は、予め第１原画像１および第２原画像２が記憶された光ディスクなどの記憶媒体を受け付けることなどによっても、第１原画像１および第２原画像２を画像処理装置２００Ａへとそれぞれ供給することができる。

操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、画像処理装置２００Ａへの各種制御パラメータの設定、画像処理装置２００Ａの各種動作モードの設定などが行われる。また、画像処理装置２００Ａの機能部は、操作部４２から設定される各動作モードに応じた処理を行うことができるように構成されている。

表示部４３は、例えば、液晶ディスプレイなどによって構成されており、ステレオカメラ３００から供給される基準画像２１、参照画像２２、および画像処理装置２００Ａが生成する疑似画像２４ａ（図２）などの各種画像情報の表示、ならびに画像処理システム１００Ａに関する各種情報および制御用ＧＵＩ（Graphical User Interface）などの表示を行う。

ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリであり、画像処理装置２００Ａが取得した各種画像、ならびに画像処理装置２００Ａが生成する疑似画像、距離情報（距離画像）、および平滑化強度画像などを一時的に記憶する画像格納部、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。

記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、画像処理装置２００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には平滑化情報格納部４８が設けられており、平滑化情報格納部４８には、被写体の画像情報などの平滑化を行うための種々の平滑化情報が格納されている。平滑化情報は、例えば、平滑化フィルタを規定する情報、すなわち平滑化フィルタの種類、平滑化の強度などを規定する情報、または平滑化処理に対応したプログラムなどの平滑化処理に関する種々の情報、すなわち平滑化規則である。平滑化情報は、第１生成部１４Ａ（図２）によって参照されて、第２の各距離情報２８（図２）の取得処理に供される。

ＣＰＵ（Central Processing Unit）１１Ａは、画像処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、第１取得部１２、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、および特定部１７Ａとしても機能する。

ＣＰＵ１１Ａは、これらの機能部などによって、第１の視点から撮影された被写体についての基準画像２１（図２、図３）から、第１の視点とは異なる仮想視点からの撮影に対応した被写体についての疑似画像２４ａ（図２、図１８）を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。

なお、図１に示される構成例では、第１取得部１２、第２取得部１３、第１生成部１４Ａ、第２生成部１５Ａ、および特定部１７Ａの各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

＜◎画像処理装置２００Ａの各機能部の動作について：＞
図２は、実施形態１に係る画像処理装置２００Ａの主な機能構成の１例を示すブロック図である。図３および図４は、実施形態１に係るステレオカメラ３００の基準カメラ６１および参照カメラ６２が、それぞれ被写体を撮影した基準画像２１および参照画像２２の１例をそれぞれ示す図である。また、図２３〜図２６は、実施形態１に係る画像処理装置２００Ａの動作フローをそれぞれ例示する図である。以下では、画像処理装置２００Ａが、基準画像２１と参照画像２２とに基づいて、基準画像２１が撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４ａ（図１８）を生成する場合を例に、画像処理装置２００Ａの各機能部の動作について図２３〜図２６の動作フローを適宜参照しつつ説明する。

仮想視点からの撮影に対応した疑似画像の生成の対象となる被写体の撮影に先立って、基準カメラ６１と参照カメラ６２との両方から該被写体が撮影できるように、ステレオカメラ３００の位置および姿勢が調整される。この状態におけるステレオカメラ３００の基準カメラ６１の位置が第１の視点となる。より具体的には、例えば、基準カメラ６１の撮影光学系の主点位置が第１の視点となる。ステレオカメラ３００の位置および姿勢が調整された状態で、操作者からの操作などに応答して、ステレオカメラ３００に撮影動作を行わせる制御信号がＣＰＵ１１Ａからステレオカメラ３００へと供給されると、ステレオカメラ３００の撮影動作が行われる。該撮影動作が終了すると、基準カメラ６１および参照カメラ６２によってそれぞれ撮影された被写体についての基準画像２１および参照画像２２がそれぞれ生成されて画像処理装置２００Ａの入出力部４１に供給される。

○第１取得部１２の動作：
被写体が第１の視点から撮影された基準画像２１と参照画像２２とが入出力部４１に供給されると、第１取得部１２（図２）は、入出力部４１を介して基準画像２１を取得するとともに（図２３の動作フローＳ１００ＡにおけるステップＳ１１０）、参照画像２２を取得する。

図３および図４は、基準画像２１および参照画像２２の１例をそれぞれ示す図である。基準カメラ６１と参照カメラ６２との基線長の方向が垂直方向（図３、図４のＹ軸方向）に沿っているため、基準画像２１と参照画像２２とには、後述する視差がＹ軸方向に沿って生じている。また、基準画像２１の領域５ａには立て看板が撮影されている。該立て看板は、直線などの基本図形要素を多く有して構成された人工物の１例である。また、該立て看板が撮影されている領域の内部には、該立て看板よりもステレオカメラ３００に対して近くに存在する木々が撮像されているとともに、該立て看板が撮影された領域の周りの領域には、該立て看板よりもステレオカメラ３００に対して遠くに存在する木々が撮像されている。このため、領域５ａの各画素におけるステレオカメラ３００からの各距離の分布状態は、分布の幅が広く、また、離散的な分布となっている。なお、図３および図４においては、説明を容易にするため座標軸が設けられている。また、本願の他の図面においても座標軸を適宜設けて説明に使用することがある。

図２に示されるように、取得された基準画像２１は、第２取得部１３、第２生成部１５Ａ、および特定部１７Ａへと供給される。また、参照画像２２は、第２取得部１３へと供給される。なお、第１取得部１２は、予め撮影されて記録メデイアに保存された基準画像２１および参照画像２２を、入出力部４１を介して取得してもよい。

○第２取得部１３の動作：
図７は、第２取得部１３（図２）が取得する原距離画像３１（第１の各距離情報２７）の１例を示す図である。基準画像２１および参照画像２２が第２取得部１３に供給されると、第２取得部１３は、基準画像２１と参照画像２とを対象として、相関演算法などを用いたマッチング処理を行うことによって、基準画像２１の各注目画素に対応する参照画像２２の各対応画素を特定する。そして、第２取得部１３は、相互に対応する注目画素と対応画素とについて、基準画像２１の画像座標系における該注目画素の画素座標と、参照画像２２の画像座標系における該対応画素の画素座標との差（本願において、「視差」とも称する）を求める処理を、基準画像２１の各注目画素に対して行う。

なお、後述するように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっており、本願においては、視差と、距離との総称として「距離情報」という用語を使用する。すなわち、第２取得部１３は、基準画像２１の各画素にそれぞれ対応した被写体上の点についての第１の各距離情報２７（図７）を取得する（図２３のステップＳ１２０）。また、第１の各距離情報２７においては、第１の各距離情報２７を構成する各視差が、対応する基準画像２１の各画素の画素座標と関連づけられている。このため、第１の各距離情報２７は、例えば、基準画像２１の画素配列に応じて配列された原距離画像３１などとして取得され得る。第２取得部１３によって取得された第１の各距離情報２７（原距離画像３１）は、特定部１７Ａと、第１生成部１４Ａとにそれぞれ供給される。

なお、基準画像２１の注目画素に対応する参照画像２２の対応画素を特定するマッチング処理に用いられる相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などが採用される。また、画像の画像座標系としては、例えば、画像の左上端部（例えば、図３の基準画像２１では、画像の−Ｘ方向の端であり、かつ、画像の−Ｙ方向の端でもある画像の角部）を原点とし、画像の横方向（Ｘ軸方向）および縦方向（Ｙ軸方向）をそれぞれ座標軸とする直交座標系が採用される。

○視差の例について：
図５は、基準画像２１ａと参照画像２２ａとにおける視差の１例を説明するための図である。なお、基準画像２１ａは、基準カメラ６１によって撮影された被写体の基準画像２１（図２）の１例であり、参照画像２２ａは、基準カメラ６１に対して垂直方向（図５の＋Ｙ方向）に所定の基線長を隔てて設けられた参照カメラ６２によって撮影された該被写体の参照画像２２（図２）の１例である。図５おいては、基準画像２１ａと参照画像２２ａとは、視差の把握を容易にするため該両画像の上端（下端）のＹ座標が等しくなるように水平方向（図５のＸ軸方向）に並べて表示されている。

基準画像２１ａと、参照画像２２ａとには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ａおよび６６ｂがそれぞれ撮影されているとともに、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ａおよび６７ｂがそれぞれ撮影されている。図５においては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、近景被写体像６６ａ上の画素６８ａおよび近景被写体像６６ｂ上の画素６８ｂは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ａ上の画素６９ａおよび遠景被写体像６７ｂ上の画素６９ｂは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ａと画素６８ｂとについての視差であり、視差９ｂは、画素６９ａと画素６９ｂとについての視差である。ここで、ステレオカメラ３００に対する近側被写体と遠側被写体との距離の差異に起因して視差９ａと視差９ｂとは異なった値となっている。より詳細には、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点のステレオカメラ３００からの距離に応じて変動する。

ここで、基準カメラ６１と参照カメラ６２とのそれぞれの主点の位置がＸＹ平面に平行な同一の平面状にあって焦点距離が等しく、基準カメラ６１と参照カメラ６２とのそれぞれの光軸がＺ軸にそって相互に平行で、基準カメラ６１と参照カメラ６２とのそれぞれの撮像素子は光軸に垂直な同一平面上にあり、それぞれの撮像素子間で走査線が相互に平行である。実際の構成においては、通常、上述した基準カメラ６１と参照カメラ６２との構成条件に対して誤差があるが、基準画像２１ａおよび参照画像２２ａに対して画像処理装置２００Ａがパラメータ格納部４７に格納された主点位置、焦点距離情報などのカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによってステレオカメラ３００の各機能要素が上述した構成条件を満たす場合と同等の状態を実現することができる。

基準画像２１ａおよび参照画像２２ａに対して平行化処理が行われた場合には、基準カメラ６１の主点と、基準画像２１ａ上の１の画素に対応した被写体上の物点とのＺ軸方向の距離Ｄは、該１の画素と、該１の画素に対応する参照画像２２ａ上の他の画素との視差ｄ、基準カメラ６１と参照カメラ６２との焦点距離ｆｒ（より正確には、主点と撮像素子との距離）、および基準カメラ６１と参照カメラ６２との基線長ｂを用いて（１）式によって与えられる。

（１）式に示されるように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっている。

○距離情報に基づいて疑似画像を生成する基本手法について：
次に、基準画像の各画素に対応した各視差、または各距離などの各距離情報に基づいて疑似画像を生成する手法について説明する。図６は、図５に示された基準画像２１ａと参照画像２２ａとについての各視差と、基準画像２１ａとに基づいて、基準画像２１ａが撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４ｃを生成する基本手法の１例を説明するための図である。

図６における疑似画像２４ｃに対応した仮想視点は、基準画像２１ａが撮影された第１の視点に対して、Ｘ軸に沿って＋Ｘ方向に、基準カメラ６１と参照カメラ６２との基線長を隔てた位置に存在している。また、疑似画像２４ｃにおける近景被写体像６６ｃおよび遠景被写体像６７ｃは、基準画像２１における近景被写体像６６ａおよび遠景被写体像６７ａにそれぞれ対応している。また、近景被写体像６６ａ上の画素６８ａには、近景被写体像６６ｃ上の画素６８ｃが対応し、遠景被写体像６７ａ上の画素６９ａには、遠景被写体像６７ｃ上の画素６９ｃが対応している。なお、図６においても、図５と同様に、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されているとともに、視差の把握を容易にするため基準画像２１ａと疑似画像２４ａの左端（右端）のＸ座標が等しくなるように垂直方向（図６のＹ軸方向）に並べて表示されている。

この場合、基準画像２１ａの画素６８ａと、疑似画像２４ｃの画素６８ｃとの視差として、図５における画素６８ａと画素６８ｂとの視差９ａが設定されるとともに、基準画像２１ａの画素６９ａと、疑似画像２４ｃの画素６９ｃとの視差として、図５における画素６９ａと画素６９ｂとの視差９ｂが設定される。また、疑似画像２４ｃの他の画素についても同様に基準画像２１ａの画素との視差が設定されることによって、疑似画像２４ｃの各画素についての基準画像２１ａの各画素との視差が取得される。そして、取得された視差に基づいて基準画像２１ａを変形させることによって疑似画像２４ｃが取得される。

次に、基準画像と視差とに基づいて疑似画像を生成する上述した基本手法について詳しく説明する。図３４は、基準画像２１ａと、基準画像２１ａの各画素についての距離情報とに基づいて疑似画像２４ｃを生成する上述した基本手法の動作フローＳ１０を例示する図である。

図３４の動作フローＳ１０の処理が開始されると、基準画像２１ａ（図６）の上端（−Ｙ方向端）における水平走査方向（Ｘ軸方向）の１ライン分の部分画像２３ａ（図２１）が選択される（ステップＳ２０）。

図２１は、基準画像２１ａ（図６）の上端（−Ｙ方向端）の水平走査方向（Ｘ軸方向）の１ライン分の部分画像２３ａ（図２１）の一部の各画素７ａ〜７ｊと、基準画像２１ａに対応した疑似画像２４ｃ（図６）の上端（−Ｙ方向端）の水平走査方向の１ライン分の部分画像２３ｂ（図２１）の一部の各画素８ａ〜８ｊとの対応関係の１例を示す図である。また、部分画像２３ａと部分画像２３ｂとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素７ａ〜７ｊと、各画素８ａ〜８ｊとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。

図２２は、部分画像２３ａ（図２１）の各画素７ａ〜７ｊの画素座標および視差（距離情報）と、部分画像２３ｂ（図２１）の各画素８ａ〜８ｊの画素座標との対応の１例を示す図である。図２２の第１行目と第５行目には、部分画像２３ａの各画素７ａ〜７ｊをそれぞれ特定する画素番号と、部分画像２３ｂの各画素８ａ〜８ｊをそれぞれ特定する画素番号とが示されている。また、図２２の第２行目には、各画素７ａ〜７ｊのＸ座標が第１行目に示された画素番号に対応づけられて示されている。また、図２２の第３行目には基準画像２１ａと参照画像２２ａ（図５）とについて算出された視差（距離情報）のうち各画素７ａ〜７ｊに対応した視差が第１行目に示された画素番号に対応づけられて示されている。

図３４のステップＳ２０において、１ライン分の部分画像２３ａが選択されると、選択された部分画像２３ａの各画素について、疑似画像２４ｃにおいて対応する画素、すなわち部分画像２３ｂの各画素８ａ〜８ｊの水平走査方向（Ｘ軸方向）の画素座標（Ｘ座標）が取得される（図３４のステップＳ３０）。

ここで、上述した基本手法は、疑似画像２４ｃ（図６）に対応した仮想視点が、基準画像２１ａ（図５、図６）が撮影された第１の視点に対して、Ｘ軸に沿って＋Ｘ方向に、基準カメラ６１と参照カメラ６２との基線長を隔てた位置に存在している場合の手法である。従って、部分画像２３ａと部分画像２３ｂとのそれぞれの垂直方向（Ｙ軸方向）の画素座標（Ｙ座標）は同じである。また、図２２の第３行目に示された視差は、部分画像２３ａと、部分画像２３ｂとの視差でもある。

従って、部分画像２３ｂの各画素のＸ座標は、（２）式によって算出される。図２２の第４行目には、（２）式によって算出された各画素８ａ〜８ｊのＸ座標がそれぞれ第５行目に示された各画素番号に対応づけられて示されている。

疑似画像２４ｃの水平方向の１ライン分の部分画像２３ｂにおける各画素の画素座標が取得されると、次に、部分画像２３ｂの各画素の画素値がそれぞれ取得される。すなわち、１ライン分の部分画像２３ｂの画像が生成される（図３４のステップＳ４０）。次に、ステップＳ４０における処理を、図２１に示された部分画像２３ａの各画素７ａ〜７ｊと、部分画像２３ｂの各画素８ａ〜８ｊを例として説明する。

図２２の第４行目に示された各画素８ａ〜８ｊのＸ座標によれば、部分画像２３ａの各画素７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆ、７ｇ、７ｈ、７ｉ、７ｊは、部分画像２３ｂの各画素８ａ、８ｂ、８ｂ、８ｃ、８ｄ、８ｄ、８ｅ、８ｇ、８ｉ、８ｊにそれぞれ対応している。すなわち、各画素８ａ〜８ｊには、各画素７ａ〜７ｊのうち１つの画素が対応している第１種の画素、２つの画素が対応している第２種の画素、および各画素７ａ〜７ｊの何れの画素も対応していない第３種の画素の３種類の画素が存在している。

図３４のステップＳ４０の処理においては、該第１種の画素の画素値として、該画素に対応する部分画像２３ａの画素の画素値が採用され、また、該第２種の画素の画素値として、該画素に対応する部分画像２３ａの２つの画素の画素値の代表値、例えば、平均値が採用される。また、該第３種の画素の画素値としては、例えば、部分画像２３ａとの対応関係に基づいて画素値が取得された部分画像２３ｂの画素のうち該第３種の画素に最も空間的に近い画素の画素値が採用される。そして、部分画像２３ｂの画像は、部分画像２３ｂの各画素についてそれぞれ特定された画素座標（Ｘ座標）と、画素値とによって特定される。

ステップＳ４０の処理が終了すると、基準画像２１ａの水平方向（Ｘ軸方向）の全てのラインについて、対応する疑似画像の部分画像を生成する処理（ステップＳ３０〜Ｓ４０）が終了したか否かが確認される（図３４のステップＳ５０）。ステップＳ５０での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像２１のうち、処理されたラインの＋Ｙ方向の次のラインが新たな処理対象として選択されて（図３４のステップＳ６０）、処理はステップＳ３０へと戻される。また、ステップＳ５０での確認の結果、水平方向の全てのラインについて疑似画像の部分画像を生成する処理が終了していれば、疑似画像２４ｃの生成処理は終了される。

なお、視差に基づいた基準画像２１の変形は、画素サイズを最小単位として行えばよい。従って、画素サイズ単位で視差が取得されれば疑似画像２４ａを取得できるが、例えば、視差を求めるための対応点探索を画素サイズ以下のサブピクセル単位で実施することにより視差をサブピクセル単位で取得したとしても、視差に基づいた基準画像２１の変形の際に、該変形量を画素単位で行えば疑似画像２４ａが取得できるので、本発明の有用性を損なうものではない。

次に、仮想視点と、基準画像２１ａの撮影に係る第１の視点との基線長が、図５における基準画像２１ａと参照画像２２ａとにそれぞれ対応した基準カメラ６１と参照カメラ６２との基線長とは異なる場合における疑似画像の取得手法について説明する。この場合には、例えば、先ず、基準画像２１ａの各点の視差から（１）式を用いて該各点に対応した被写体の各点の距離を算出し、算出された距離、および仮想視点と第１の視点との基線長に基づいて、基準画像２１ａの各画素と、疑似画像２４ａの各画素との視差を（１）式によって取得し、取得された視差に基づいて基準画像２１ａの画像を変形することによって該異なる基線長に対応した疑似画像２４ａを取得することが出来る。

従って、ステレオカメラ３００に代えて、例えば、基準カメラ６１と、レーザ光などの形状計測用の各種検出光を被写体へと投影する投光装置とを備えて構成され、三角測量の原理、または、ＴＯＦ（Time of Flight）方式などによって被写体の基準画像２１と、基準画像２１の各画素に対応した被写体の各点についての距離情報とを取得するアクティブ測距方式の三次元測定機が採用されたとしても、該距離情報と（１）式とによって、基準画像２１に対する疑似画像２４ａの視差を取得し、該視差と基準画像２１とに基づいて疑似画像２４ａを取得することが出来るので、本発明の有用性を損なうものではない。

また、通常、被写体を撮影した画像の彩度は、被写体が近いほど彩度が高く、被写体が遠いほど彩度が低くなるので、ステレオカメラ３００に代えて、基準カメラ６１によって基準画像２１を取得するとともに、基準画像２１の彩度に基づいて、基準画像２１の各画素に対応する距離情報を取得する方式の三次元測定機が採用されたとしても本発明の有用性を損なうものではない。また、例えば、基準画像２１（図３）の各画素について、画素のＹ座標が増加すればするほど該画素に対応した被写体上の点が基準カメラ６１に対して遠距離であるとの仮定に基づいて、基準画像２１の各画素に対応する距離情報を推定して取得する手法が採用されたとしても本発明の有用性を損なうものではない。

なお、基準画像２１の撮影に係る視点とは異なる視点から撮影される画像に基づいて被写体についての距離情報の測定を行う三次元測定機と、基準カメラ６１とがステレオカメラ３００に代えて採用されたとしても、該異なる視点に係る画像と、基準画像２１とのマッチングを介することによって、基準画像２１と測定された距離情報との対応付けを行うことができるので、本発明の有用性を損なうものではない。

○平滑化処理の必要性について：
ところで、ステレオカメラ３００においては、通常、基準画像２１の各画素にそれぞれ対応した参照画像２２の各画素を特定する対応付けなどにおいて誤差が発生する。また、アクティブ測距方式の三次元測定機においても基準カメラ６１のカメラ視線と、被写体に投影される検出光との交差に関する位置情報、時間情報などについての誤差が発生する。このため、図７に例示された第１の各距離情報２７（原距離画像３１）には、通常、ランダムノイズ状の測定のばらつきなどの各種の測定誤差が含まれる。

そして、第１の各距離情報２７から上述した基本手法によって直接、疑似画像を生成した場合には、該測定誤差に起因して、基準画像２１における直線の像が、例えば、直線に対してぎざぎざ状の凹凸成分が重畳された像として疑似画像において再現されるなど、生成される疑似画像はノイズ成分が著しく含まれた画像となる。

従って、該ノイズ成分を除去するために、第１の各距離情報２７を上述した疑似画像生成に係る基本手法で直接処理して疑似画像を生成する処理に変えて、例えば、先ず、第１の各距離情報２７に対して各距離情報のばらつきを低減させ、次に、ばらつきが低減された第１の各距離情報２７から上述した基本手法によって疑似画像を生成する処理などが必要となる。

○距離情報などのばらつきを低減させる一般的な平滑化処理について：
次に、距離情報などのばらつきを低減させる一般的な平滑化処理ついて説明する。原距離画像３１などの画像データの平滑化処理として、一般的に、例えば、平均化フィルタ、メディアンフィルタ、またはガウシアンフィルタなどの各種の平滑化フィルタを採用した平滑化処理が行われる。該平滑化処理においては、平滑化対象の画像の各画素に対して、平滑化の強度（「平滑化強度」とも称する）が一定である平滑化フィルタが適用される。なお、平滑化フィルタの平滑化強度は、例えば、フィルタのサイズを変更することなどによって変更され得る。

図１９は、平均化フィルタ５５の１例を示す図である。図１９に示された平均化フィルタ５５は、各行列要素の値が１であり、図示の都合上、５×５画素（５行５列）サイズとして表示されている。平均化フィルタ５５では、Ｘ方向およびＹ方向のそれぞれ画素数を規定するパラメータＫの値に応じて、フィルタサイズ、すなわち平滑化強度が変動する。平均化フィルタ５５が平滑化処理の対象である画像データに適用される場合には、平滑化対象の画像データに係る画像空間のうち着目画素を中心とした、平均化フィルタ５５と同サイズの領域に対して平均化フィルタ５５が重ねられる。そして、該領域内の各画素の画素値と、各画素にそれぞれ正対している平均化フィルタ５５の各行列要素の値との積和演算が行われ、該演算結果を積和演算の対象となった画素数で除算した値を、着目画素の画素値に置き換える処理が行われる。

図８は、平滑化強度画像の１例として平滑化強度画像３５ａを示す図である。平滑化強度画像は、平滑化対象の画像の各画素に対する平滑化の強度をそれぞれ画素値とする画像である。そして、平滑化強度画像３５ａは、平滑化対象の画像の各画素に適用される平均化フィルタ５５（図１９）の平滑化強度を規定したパラメータＫの値を画素値とする画像であり、平滑化強度画像３５ａの全ての画素の画素値として一定の値９４が採用されている。なお、パラメータＫの値９４は、（３）式における画素数Ｕ、画素数Ｖ、およびパラメータＬの値をそれぞれ３４５６画素、２５９２画素、および６４として算出される。

図９は、平滑化強度画像３５ａに応じて、値９４のパラメータＫによって規定された同一強度の平滑化作用を有する各平均化フィルタ５５が図７に示された原距離画像３１の各画素にそれぞれ適用された結果、原距離画像３１が平滑化された距離画像３３（第１の各距離情報２７が平滑化された各距離情報２９）を示す図である。

また、図１０は、距離画像３３（各距離情報２９）に対して上述した疑似画像生成の基本手法が適用されることにより生成された疑似画像２５の１例を示す図である。疑似画像２５の領域５ｂには、図３の基準画像２１の領域５ａの画像、すなわち直線などの基本図形要素を多く有して構成された人工物（立て看板）の画像に対応した画像が生成されている。

領域５ｂ（図１０）に示されるように、領域５ｂの画像のうち領域５ａ（図３）において直線状である立て看板の外縁に対応した部分は、ぎざぎざ状の凹凸成分が重畳されてはいないものの、−Ｘ方向に凸状に湾曲している。ここで、原距離画像３１（図７）のうち基準画像２１（図３）の領域５ａに対応した領域では、領域５ａに撮影された立て看板、およびステレオカメラ３００に対して該立て看板の前後にそれぞれ存在する木々のそれぞれの距離情報が混在しており、該対応領域における各距離情報の統計的な分布状態は、分布の幅が広く、また、離散的な分布となっている。

そして、平滑化強度画像３５ａに基づいた原距離画像３１の平滑化処理によって、距離画像３３（図９）のうち領域５ａ（図３）の立て看板に対応した部分においては、Ｙ軸方向（図９）に沿った部分の各距離情報が、領域５ａの立て看板と木々との距離の相違に起因してなだらかに変動している。ところで、図２１、図２２、および（２）式などを参照しつつ上述した疑似画像の生成に係る基本手法によれば、例えば、距離画像３３のＹ軸に沿った部分の各距離情報がなだらかに変動する場合には、生成される疑似画像のうち該各距離情報に対応した部分の各画素のＸ座標が該変動に応じてなだらかに変動する。従って、上述した疑似画像２５（図１０）の領域５ｂにおける−Ｘ方向へ凸状に湾曲した歪みも、距離画像のＹ軸方向に沿った部分の各距離情報がなだらかな変動していることに起因して生じている。

なお、上述した疑似画像の生成に係る基本手法によれば、例えば、距離画像のＸ軸に沿った部分の各距離情報がなだらかに変動したとしても、生成される疑似画像のうち該各距離情報に対応した部分は、Ｙ軸方向に凸状に湾曲することなく直線状態を維持したまま、Ｘ軸方向に沿って平行移動および伸張される。従って、該疑似画像に対しては、観察者は違和感を覚えることが少ない。

◎疑似画像の歪みへの対策について：
このため、画像処理装置２００Ａにおいては、該疑似画像における歪みを抑制するための本願発明に係る対策が行われている。該対策において、画像処理装置２００Ａは、人工物判定のための所定の判定条件に基づいて、疑似画像の生成に供される距離画像（各距離情報）に対応した画像空間における着目領域と、該着目領域以外の領域を非着目領域とを特定する。そして、画像処理装置２００Ａは、疑似画像の生成に供される各距離情報のうち着目領域に対応した各距離情報のばらつきが、疑似画像の生成に供される各距離情報のうち非着目領域に対応した各距離情報のばらつきよりも小さくなるように疑似画像の生成に供される距離画像（各距離情報）を生成し、生成された各距離情報に基づいて疑似画像を生成する。

上述した対策によって、画像処理装置２００Ａは、疑似画像の生成に供される距離画像のうち非着目領域に対応した領域、すなわち、画像の歪みを生じさせ得る可能性が人工物領域に比べて相対的に低い領域に対しては、ランダムノイズなどの距離情報のばらつきを抑制するための強度の弱い平滑化処理を適用し、疑似画像の生成に供される距離画像のうち着目領域に対応した領域、すなわち、疑似画像に対して湾曲などの画像の歪みを生じさせ得る可能性が非着目領域に対して相対的に高い人工物領域については、非着目領域に適用される平滑化処理よりも強度の強い平滑化処理を適用する。従って、基準画像のうち着目領域に対応した領域が、後述する遠近競合領域であったとしても、疑似画像の生成に供される距離画像のうち着目領域に対応した領域については、疑似画像における湾曲等の画像の歪みを抑制するように該領域の各距離情報を一様化できる可能性を高めることができる。すなわち、上述した対策によって、画像処理装置２００Ａは、疑似画像に発生する画像の歪みを低減させ得る。

以下では、画像処理装置２００Ａが、基準画像２１に基づいて、該疑似画像における歪みが抑制された疑似画像２４ａ（図１８）を生成する過程を対象として、疑似画像の歪み抑制処理に係る特定部１７Ａ、第１生成部１４Ａ、および第２生成部１５Ａの動作を説明する。

○特定部１７Ａの動作：
特定部１７Ａ（図２）は、人工物判定のための所定の判定条件に基づいて、歪みが抑制された疑似画像２４ａの生成に用いられる第２の各距離情報２８（派生距離画像３２）（図２、図１７）に対応した画像空間を、基準画像２１（図３）に撮影された人工物を含むと判定される領域（「人工物領域」とも称する）である着目領域と、着目領域以外の非着目領域とに分類して特定する。なお、本願においては、第２の各距離情報２８、すなわち第１の各距離情報２７のばらつきを低減する処理によって第１の各距離情報２７から派生する第２の各距離情報２８が、基準画像２１の画素配列に応じて配列された各距離情報を「派生距離画像」とも称する。すなわち、特定部１７Ａは、人工物判定のための所定の判定条件に基づいて、派生距離画像３２（図１７）に対応した画像空間を、人工物を含むと判定される着目領域と、着目領域以外の非着目領域とに分類して特定する。

具体的には、特定部１７Ａは、先ず、基準画像２１における人工物領域を特定する（図２３のステップＳ１３０）。図２５は、図２３のステップＳ１３０の動作フローを説明する図である。ステップＳ１３０の処理が開始されると、処理は、図２５の動作フローに移され、特定部１７Ａは、例えば、Cannyアルゴリズムなどを使用した画像処理を行うことによって、基準画像２１（図３）に存在する輪郭（エッジ）を検出する（ステップＳ１３１）。また輪郭検出の手法としては、例えば、ソーベルフィルタなどの微分フィルタを用いた画像処理なども採用され得る。

基準画像２１に存在する各輪郭が検出されると、特定部１７Ａは、各輪郭に対してハフ変換を行うことによって、各輪郭を構成する各基本図形を検出する（ステップＳ１３２）。ここで本願においては、例えば、直線、２次曲線、円弧、および楕円弧などのように、所定の数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を「基本図形」とも称する。特定部１７Ａは、検出された輪郭から、これら基本図形のうち少なくとも１つの基本図形の検出処理を行う。

検出された各輪郭について、輪郭を構成する各基本図形が検出されると、特定部１７Ａは、検出された各基本図形の長さを測定し、検出された各基本図形のうち長さが、例えば、３００画素長以上であるなど、所定の基準値以上の長さである基本図形を検出するとともに（図２５のステップＳ１３３）、検出された基本図形に対して膨張処理を施すことによって、該基本図形の線を太線化する（ステップＳ１３４）。

次に、特定部１７Ａは、検出された各輪郭について、輪郭の長さに対する該輪郭を構成する基本図形の長さの比を算出し（ステップＳ１３５）、検出された各輪郭のうち算出された長さの比が、例えば、７５％以上であるなどの所定の基準を満たす輪郭を検出して、該輪郭の内部を人工物領域として特定する（ステップＳ１３６）。すなわち、特定部１７Ａは、基準画像２１についての幾何学的条件である、基準画像２１における輪郭の長さに対する該輪郭を構成する１種類以上の所定の基本図形の長さの割合を、人工物判定のための判定条件として基準画像２１における人工物領域を特定する。

図１１は、基準画像２１（図３）において特定された人工物領域の１例を示す図である。図１１では、特定部１７Ａが行う上述した人工物領域の特定処理によって、人工物領域４ａ、４ｂ、および４ｃが特定されている。なお、人工物領域４ａは、基準画像２１の領域５ａ（図３）に内包された立て看板の像に対応した領域であり、人工物領域４ｂおよび４ｃは、基準画像２１における歩道の像の外縁部に対応した領域である。なお、図１１の基準画像２１においては、把握を容易にするために特定された人工物領域のみが示されている。

また、特定部１７Ａは、例えば、基準画像２１の輪郭を構成する線分の点列情報から検出される屈折点などのなどの特徴点情報に基づいて、少なくとも３個の基本図形によって構成された三角形、四角形などの各閉図形を検出し、検出された各閉図形を所定の基準値以上の割合で内包する矩形領域などを基準画像２１における人工物領域として特定する処理を行うことも出来る。

また、特定部１７Ａは、例えば、基準画像２１の複雑さに基づいて基準画像２１における人工物領域を特定する処理を採用することもできる。人工物領域は、通常、人工物でない自然物に対応した領域に比べて画像の複雑さの度合いが低くなるので、画像の複雑さを表現する指標値を取得し、該指標値に基づいて人工物領域を特定することができる。すなわち、特定部１７Ａは、基準画像２１についての幾何学的条件である基準画像２１についての画像の複雑さを、人工物判定のための判定条件として基準画像２１における人工物領域を特定する。画像の複雑さを表現する指標値としては、例えば、図形の自己相関性を表現した尺度であるフラクタル次元などが採用され得る。フラクタル次元は、通常、画像が複雑であればあるほど値が大きくなるため、該指標値として採用され得る。

図２３のステップＳ１３０において、基準画像２１の人工物領域が特定されると、特定部１７Ａは、第１の各距離情報２７に対応した原距離画像３１（図７）の人工物領域を特定する処理を行う（ステップＳ１４０）。

図２６は、図２３のステップＳ１４０の動作フローを説明する図である。ステップＳ１４０の処理が開始されると、処理は、図２６の動作フローに移され、特定部１７Ａは、原距離画像３１に１以上の、例えば、矩形領域などのブロック領域を設定する（図２６のステップＳ１４１）。図１２は、原距離画像３１に設定されたブロック領域６ａの１例を示す図である。ブロック領域６ａは、例えば、３２０×３２０画素サイズなど矩形領域である。

各ブロック領域の設定がなされると、特定部１７Ａは、設定されたブロック領域の１つを選択し（ステップＳ１４２）、選択されたブロック領域に対応した各距離情報の統計的な分布状態を取得する（ステップＳ１４３）。図１３は、ブロック領域６ａ（図１２）における距離情報の統計的な分布状態の１例を示すヒストグラム６４であり、ヒストグラム６４の横軸には、区分けされた視差（距離情報）が変数として示され、縦軸には、区分けされた視差の各区間に属する画素の度数（個数）が示されている。

ここで、例えば、ブロック領域６ａが、基準画像２１（図３）の領域５ａに設定されているとすると、ブロック領域６ａには、立て看板と、該立て看板に対してステレオカメラ３００側、またはその反対側に離れて位置する木々とが同時に撮影されている。このようなブロック領域６ａの各画素の距離情報の分布を、視差（距離情報）を変数するヒストグラムとして表現すると、該ヒストグラムにおいては、ヒストグラム６４に例示されているように、度数分布のピークが離散的（不連続）に現れ、かつ、距離情報の分布幅も広くなる。

なお、ヒストグラム６４に示されるように、視差（距離情報）を変数とするヒストグラムにおいて度数分布のピークが離散的に現れ、かつ、距離情報の分布幅も広くなる場合は、ヒストグラムとして表現された対象領域は、通常、基準画像２１の領域５ａのように、ステレオカメラ３００からの距離が相互に離散的である近景被写体と遠景被写体とが混在した領域である。

本願においては、該領域を「遠近競合領域」とも称し、遠近競合領域における距離情報の統計的な分布状態を「遠近競合状態」とも称する。なお、領域５ａに示されるように、遠近競合領域は、また、遠近競合状態にある人工物領域でもある場合がある。そこで、特定部１７Ａは、原距離画像３１の距離情報の統計的な分布状態に基づいて遠近競合領域を検出して人工物領域として特定する。

なお、ヒストグラム６４において幅ｗ１は、ブロック領域６ａに属する全ての画素のうち、該全ての画素を視差の値が大きい方から順に計数したときにブロック領域６ａ内の全画素数の上位５％および下位５％に入る画素以外の各画素に対応した視差（距離情報）の分布幅である。なお、該上位５％および下位５％に入る画素の除去は、基準画像２１と参照画像２２との対応点探索の誤りに起因して、取得された距離情報が実際の距離情報とは大きく異なっている画素を除くために行われる。

また、ヒストグラム６４における幅ｗ２およびｗ３は、度数についての所定の閾値ｔｈ１よりも度数が低くなっている各視差区間のうち連続している区間に対応した視差（距離情報）の分布幅である。幅ｗ２またはｗ３が大きい場合には、ブロック領域６ａの視差の分布は離散的である。

そこで、特定部１７Ａは、例えば、ヒストグラム６４における幅ｗ１と、幅ｗ２（ｗ３）との少なくとも１つを、原距離画像３１のブロック領域についての各距離情報の統計的な分布状態を表現する指標値として取得する。また、特定部１７Ａが、例えば、原距離画像３１のブロック領域についての各距離情報の標準偏差を、該距離情報の統計的な分布状態を表現する指標値として採用したとしても、該ブロック領域が遠近競合領域であるか否かを判定できるので、本発明の有用性を損なうものではない。

選択されたブロック領域に対応した各距離情報の統計的な分布状態を取得すると、特定部１７Ａは、取得された各距離情報の統計的な分布状態が遠近競合の度合いを規定した所定の基準を満たすか否かを判定する（図２６のステップＳ１４４）。具体的には、特定部１７Ａは、選択されたブロック領域について、例えば、前述した幅ｗ１を各距離情報の統計的な分布状態を表現した指標値として取得し、幅ｗ１が所定の基準値以上であるか否か、すなわち該ブロック領域についての各距離情報の統計的な分布状態が遠近競合の度合いを規定した所定の基準を満たすか否かを判定する。

該判定の結果、該ブロック領域についての各距離情報の統計的な分布状態が遠近競合の度合いを規定した所定の基準を満たす場合には、特定部１７Ａは、該ブロック領域を遠近競合状態にある人工物領域として特定する（ステップＳ１４５）。

次に、特定部１７Ａは、原距離画像３１に設定された全てのブロック領域について、ステップＳ１４５の判定が終了したか否かを確認する（ステップＳ１４６）。該確認の結果、全てのブロック領域について、ステップＳ１４５の判定が終了していなければ、特定部１７Ａは、処理をステップＳ１４２へと戻し、ステップＳ１４６での確認の結果、全てのブロック領域について、ステップＳ１４５の判定が終了していれば、特定部１７Ａは、原距離画像３１の人工物領域を特定する処理を終了し、処理を図２３のステップＳ１５０に移す。上述したように、特定部１７Ａは、原距離画像３１における各距離情報の統計的な分布状態を判定条件として原距離画像３１における人工物領域を特定する。

図１４は、原距離画像３１において特定された人工物領域の１例として人工物領域４ｄを示す図である。人工物領域４ｄは、選択されたブロック領域についての各距離情報の統計的な分布状態として前述した幅ｗ１を採用した特定部１７Ａによって特定されている。人工物領域４ｄには、遠近競合領域であるブロック領域以外に、距離情報がなだらかに変動し、かつ、距離情報の分布幅が所定の基準を満たすブロック領域も含まれている。また、既述したように、特定部１７Ａが、選択されたブロック領域についての各距離情報の統計的な分布状態として、前述した幅ｗ２（ｗ３）、該ブロック領域について各距離情報の標準偏差、またはこれらの組み合わせ、または該組み合わせと幅ｗ１との組み合わせなどを採用すれば、原距離画像３１において特定される人工物領域のサイズは、人工物領域４ｄよりも小さくなり、遠近競合状態にある人工物領域の特定精度を高め得る。

次に、特定部１７Ａは、図２３のステップＳ１５０において、図１７に示される派生距離画像３２（第２の各距離情報２８）に対応した画像空間５７（図１５）における着目領域１ａ（図１５）を特定する処理を行う。具体的には、特定部１７Ａは、例えば、基準画像２１（図１１）において特定された人工物領域４ａ〜４ｃ（図１１）と、原距離画像３１（図１４）において特定された人工物領域４ｄとが、画像空間５７において相互に重なり合う領域を着目領域１ａとして特定する。特定された着目領域１ａについての領域情報２ａ（図２）は、第１生成部１４Ａへと供給される。なお、画像空間５７は、派生距離画像３２（第２の各距離情報２８）に対応した画像空間であるので、基準画像２１（図３）、参照画像２２（図４）にも対応するとともに、原距離画像３１（図７）、後述する原平滑化強度画像および平滑化強度画像３５ｂ（図１６）などにも対応している。従って、ＣＰＵ１１Ａは、領域情報２ａを参照することによって上述した各画像などにおいても着目領域１ａを特定し、着目領域１ａに係る各種の処理を行うことができる。

このように、基準画像２１において特定された人工物領域４ａ〜４ｃと、原距離画像３１において特定された人工物領域４ｄとの重なり領域に基づいて画像空間５７における着目領域１ａを特定すれば、人工物領域であり、かつ、遠近競合領域でもある領域を着目領域１ａとして高精度に特定できる。

なお、人工物領域４ａ〜４ｃと人工物領域４ｄとの重なり領域に基づいて着目領域１ａを特定する手法に代えて、例えば、人工物領域４ａ〜４ｃおよび人工物領域４ｄの何れか一方に基づいて着目領域１ａを特定する手法が採用されたとしても、人工物領域が着目領域１ａとして特定されるか、または遠近競合状態の人工物領域が着目領域１ａとして特定されるので、本願発明の有用性を損なうものではない。また、該手法によれば、着目領域１ａの特定処理をより高速に行うことが出来る。

また、基準画像２１において特定された人工物領域４ａ〜４ｃと、原距離画像３１において特定された人工物領域４ｄとの結合領域に基づいて着目領域１ａを特定する手法する手法が採用されたとしても、人工物領域と、遠近競合状態の人工物領域とが結合された広範囲の領域が着目領域１ａとして特定されることにより、生成される疑似画像における歪みの発生を抑制できる可能性を高め得るので、本願発明の有用性を損なうものではない。

図２０は、画像空間５７において特定された複数の着目領域の１例を示す図であり、画像空間５７では３つの着目領域１ａ〜１ｃが非着目領域３ｂに内包されて特定されている。そして、着目領域１ａ〜１ｃには、後述する人工物の存在についての定量的な判定結果がそれぞれ付与されている。

次に、該定量的な判定結果の付与について説明する。図２５に示された、特定部１７Ａが基準画像２１における人工物領域を特定する動作フローにおいて、ステップＳ１３３における基本図形の長さの基準値、およびステップＳ１３６における基準画像２１において検出された輪郭の長さに対する検出された基本図形の長さの比（割合）の基準値の少なくも一方を大きくすればするほど、特定された人工物領域における人工物の存在についての信頼度は高くなる。

同様に、図２６に示された、特定部１７Ａが距離画像３３における遠近競合状態にある人工物領域を特定する動作フローにおいて、ステップ１４４における幅ｗ１などの各距離情報の統計的な分布状態についての遠近競合の度合いを規定した基準値を大きくすればするほど、距離画像３３に置いて特定された人工物領域における人工物の存在についての信頼度は高くなる。

従って、図２５のステップＳ１３３、Ｓ１３６、または図２６のステップＳ１４４における上述した基準値を大きくすればするほど、特定部１７Ａが図２３の動作フローのステップＳ１５０において特定する画像空間５７における着目領域における人工物の存在についての信頼度も高くなる。

そこで、特定部１７Ａは、画像空間５７において特定された着目領域を特定する際に、設定された動作モードに応じて、図２５のステップＳ１３３、Ｓ１３６、または図２６のステップＳ１４４における上述した基準値に応じた、人工物の存在についての定量的な判定結果（信頼度）を付与することもできる。すなわち、特定部１７Ａは、人工物判定のための判定条件として、人工物の存在についての定量的な判定結果を特定された着目領域に付与する判定規則を用いることもできる。なお、特定された着目領域に付与された該定量的な判定結果は、着目領域についての領域情報２ａとともに第１生成部１４Ａに供給される。

○第１生成部１４Ａの動作：
第１生成部１４Ａ（図２）は、第２の各距離情報２８（図１７）のうち着目領域１ａ（図１５）に対応した各距離情報のばらつきが、第２の各距離情報２８のうち非着目領域３ａ（図１５）に対応した各距離情報のばらつきよりも小さくなるように第１の各距離情報２７（図７）に基づいて第２の各距離情報２８を生成する。以下に、図２４の動作フローを用いて第１生成部１４Ａの動作を説明する。

第２取得部１３と特定部１７Ａとから、第１の各距離情報２７と、着目領域１ａについての領域情報２ａ（図２）をそれぞれ供給されると、第１生成部１４Ａは、非着目領域３ａおよび着目領域１ａに対してそれぞれ適用される第１および第２平滑化フィルタにそれぞれ対応した平滑化情報５３ａおよび平滑化情報５３ｂ（図２）を平滑化情報格納部４８（図２）から取得することによって、第１および第２平滑化フィルタをそれぞれ取得する（図２４のステップＳ１６０）。なお、平滑化情報５３ａおよび平滑化情報５３ｂは、第１および第２平滑化フィルタをそれぞれ特定する情報であり、予め、平滑化情報格納部４８に格納されている。

平滑化情報としては、例えば、平滑化フィルタの種類、および平滑化フィルタの平滑化強度などが採用される。例えば、第１平滑化フィルタとしてメディアンフィルタが使用され、第２平滑化フィルタとして平均化フィルタが使用される場合には、平滑化情報５３ａとしてメディアンフィルタというフィルタ種類を指定する変数と、該フィルタの平滑化強度を指定する変数とが採用され、平滑化情報５３ｂとして、平均化フィルタというフィルタ種類を指定する変数と、該フィルタの平滑化強度を指定する変数とが採用される。

一方、例えば、第１および第２平滑化フィルタとして平均化フィルタを採用する場合など、同一種類の平滑化フィルタを使用する場合には、平滑化情報として平滑化強度のみが採用されても良い。以下では、第１および第２平滑化フィルタとして、平均化フィルタが採用される場合を例として、第１生成部１４Ａの動作を説明する。

具体的には、第１生成部１４Ａは、例えば、平滑化情報５３ａおよび５３ｂとして、値９４および値３７８のパラメータＫ（図１９、（３）式）を平滑化情報格納部４８からそれぞれ取得する。なお、値９４のパラメータＫは、（３）式における画素数Ｕ、画素数Ｖ、およびパラメータＬの値をそれぞれ３４５６画素、２５９２画素、および６４として算出され、値３７８のパラメータＫは、（３）式における画素数Ｕ、画素数Ｖ、およびパラメータＬの値をそれぞれ３４５６画素、２５９２画素、および６４として算出される。

なお、第１生成部１４Ａは、第１および第２平滑化フィルタをそれぞれ使用した各平滑化処理にそれぞれ対応した各平滑化処理プログラムを平滑化情報５３ａおよび平滑化情報５３ｂとして平滑化情報格納部４８から取得し、取得した各平滑化処理プログラムをそれぞれ実行することによって、第１および第２平滑化フィルタをそれぞれ使用した各平滑化処理を行う構成であってもよい。

第１および第２平滑化フィルタをそれぞれ取得すると、第１生成部１４Ａは、第２平滑化フィルタの平滑化強度の調整を行う（図２４のステップＳ１７０）。ここで、距離情報のばらつきを抑制するための一般的な平滑化処理についての説明欄において、図２１、図２２、および（２）式などを参照しつつ既述した疑似画像の生成に係る基本手法においては、距離画像のＹ軸に沿った部分の各距離情報がなだらかに変動する場合には、生成される疑似画像のうち該各距離情報に対応した部分の各画素のＸ座標も該変動に応じてなだらかに変動するが、距離画像のＸ軸に沿った部分の各距離情報がなだらかに変動したとしても、生成される疑似画像のうち該各距離情報に対応した部分は、Ｙ軸方向に凸状に湾曲することなく直線状態を維持したまま、Ｘ軸方向に沿って平行移動および伸張される。

従って、着目領域１ａが水平方向（図１５のＸ軸方向）に細長い領域である場合には、着目領域１ａが垂直方向（図１５のＹ軸方向）に細長い領域である場合に比べて、観察者に違和感を覚えさせる湾曲などの歪みを生ずる度合いが少なくなる。すなわち、基準画像２１を撮影する基準カメラ６１の視点（第１の視点）と、疑似画像に係る仮想視点との仮の基線が疑似画像に投影される直線の像の方向に沿って、着目領域１ａが細長い場合には、該直線の像の方向に直交する方向に沿って、着目領域１ａが細長い場合に比べて、観察者に違和感を覚えさせる湾曲などの歪みを生ずる度合いが少なくなる。

そこで、第１生成部１４Ａは、基準画像２１の撮影に係る基準カメラ６１の第１の視点と、疑似画像２４ａに係る仮想視点とを結ぶ直線、すなわち仮の基線長が、後述する派生距離画像３２（図１７）に投影される方向である基線方向に関して、特定された着目領域１ａにおける該基線方向の画素数に対する着目領域１ａにおける該基線方向に直交する方向の画素数の比が大きければ第２平滑化フィルタの平滑化強度を強くし、該比が小さければ第２平滑化フィルタの平滑化強度を弱くする。具体的には、例えば、ステップＳ１７０における調整後の第２平滑化フィルタの平滑化強度が、ステップＳ１６０で取得された第１平滑化フィルタの平滑化強度から第２平滑化フィルタの平滑化強度までの範囲内で、該比に応じた平滑化強度となるように調整がなされる。

次に、図２４のステップＳ１７０における第２平滑化フィルタの平滑化強度の調整手法について、他の具体例を説明する。特定部１７Ａの動作の説明欄において、図２０を参照しつつ上述したように、特定部１７Ａが特定した着目領域１ａに対して、人工物の存在についての定量的な判定結果（人工物領域としての確からしさ）を対応づけた場合には、第１生成部１４Ａは、設定された動作モードに応じて、該定量的な判定結果が高ければ高いほど（人工物領域としての確からしさが高ければ高いほど）、第２平滑化フィルタの平滑化強度を強く設定することができる。特定された着目領域の人工物領域としての確からしさが高ければ高いほど、疑似画像のうち該着目領域に対応した部分において観察者に違和感を覚えさせる湾曲等の画像の歪みが発生する確率が高まる。このため、第１生成部１４Ａが、人工物領域としての確からしさ、すなわち人工物の存在についての定量的な判定結果に応じた第２平滑化フィルタの平滑化強度の設定を行うことによって、例えば、人工物領域としての確からしさが低い着目領域に対して強い平滑化強度の平滑化処理が行われて、該着目領域における距離情報の情報量が低下してしまう現象の発生を効果的に抑制することができる。おな、工物の存在についての定量的な判定結果に基づいた平滑化強度の調整の具体的な手法は、例えば、着目領域１ａの基線方向の画素数に対する着目領域１ａの基線方向に直交する方向の画素数の比に基づいて平滑化強度を調整する場合と同様に調整すればよい。

第２平滑化フィルタの平滑化強度の調整が終了すると、第１生成部１４Ａは、画像空間５７（図１５）と同サイズの原平滑化強度画像を作成する（図２４のステップＳ１７２）。なお、原平滑化強度画像の各画素のうち非着目領域３ａに対応する各画素の画素値として第１平滑化フィルタのパラメータＫが採用され、原平滑化強度画像の各画素のうち着目領域１ａに対応する各画素の画素値として平滑化強度が調整された第２平滑化フィルタのパラメータＫが採用される。

図１６は、平滑化強度画像の１例として平滑化強度画像３５ｂを示す図である。原平滑化強度画像が作成されると、第１生成部１４Ａは、例えば、パラメータＫが値６４をとる平均化フィルタ５５（図１９）を原平滑化強度画像の各画素にそれぞれ適用することによって、原平滑化強度画像のうち着目領域１ａと非着目領域３ａとの境界部分の各画素の画素値が該境界領域を横切る方向について徐々に変化するように原平滑化強度画像を平滑化し、平滑化強度画像３５ｂを生成する（ステップＳ１８０）。すなわち、第１生成部１４Ａは、原距離画像３１のうち着目領域１ａ（図１５）と非着目領域３ａ（図１５）との境界部分の平滑化強度が該境界領域を横切る方向について徐々に変化するように該境界部分の平滑化強度を調整する。

図１７は、派生距離画像３２（第２の各距離情報２８）の１例を示す図である。平滑化強度画像３５ｂが生成されると、第２生成部１５Ａは、平滑化強度画像３５ｂの各画素値によって特定される各平滑化強度に従って、原距離画像３１（第１の各距離情報２７）の各画素の画素値の平滑化を行い、派生距離画像３２（第２の各距離情報２８）を生成する（図２４のステップＳ１９０）。すなわち、第１生成部１４Ａは、第１の各距離情報２７のうち非着目領域３ａに対応した各距離情報には、第１平滑化フィルタに基づいた第１の平滑化規則を、第１の各距離情報２７（原距離画像３１）のうち着目領域１ａに対応した各距離情報には、第１の平滑化規則よりも平滑化の強度が強い第２平滑化フィルタに基づいた第２の平滑化規則を、選択的にそれぞれ適用することによって第１の各距離情報２７を平滑化して第２の各距離情報２８（派生距離画像３２）を生成する。図１７に示された派生距離画像３２においては、上述した距離画像３３（図９）に比べて、着目領域１ａ（図１５）に対応する部分の各距離情報が、より平滑化されている。

なお、第１生成部１４Ａが、例えば、原平滑化強度画像に基づいて原距離画像３１を平滑化し、該平滑化がなされた原距離画像３１の各画素にパラメータＫが値６４をとる平均化フィルタ５５を適用して原距離画像３１を平滑化することによって派生距離画像３２を生成したとしても本発明の有用性を損なうものではない。

また、第１生成部１４Ａが、第２平滑化フィルタの平滑化強度の調整処理（ステップＳ１７０）、および原平滑化強度画像のうち着目領域１ａと非着目領域３ａとの境界部分の各画素の画素値が徐々に変化するように原平滑化強度画像を平滑化して平滑化強度画像３５ｂを生成する処理（ステップＳ１８０）の少なくとも一方を行わない場合であっても、第２の各距離情報２８（図１７）のうち着目領域１ａ（図１５）に対応した各距離情報のばらつきが、第２の各距離情報２８のうち非着目領域３ａ（図１５）に対応した各距離情報のばらつきよりも小さくなるように第１の各距離情報２７（図７）に基づいて第２の各距離情報２８が生成されるので、本発明の有用性を損なうものではない。

また、第１生成部１４Ａが、平滑化強度画像３５ｂなどに基づいて原距離画像３１の各画素に平均化フィルタ５５を適用する際には、例えば、平均化フィルタ５５が重ねられる原距離画像３１の領域の各画素のうち、例えば、Ｘ軸方向およびＹ軸方向にそれぞれ２０画素ごとに選択される画素など、該領域から離散的に選択された画素のみを積和演算の対象として平均化フィルタ５５による平滑化処理を行ったとしても、該領域を全画素を対象として平均化フィルタ５５による平滑化処理を行う場合とほぼ同じ平滑化処理が行われるので、本発明の有用性を損なうものではない。

また、第１生成部１４Ａが、例えば、原距離画像３１のうち着目領域１ａの各画素の画素値（距離情報）の平均値を算出し、算出された平均値を派生距離画像３２の着目領域１ａの各画素の画素値として採用する処理、または、該平均値と、原距離画像３１のうち着目領域１ａの各画素の画素値とを、例えば、４対１の割合で合成する処理によって、第２の各距離情報２８のうち着目領域１ａに対応した各距離情報のばらつきが、第２の各距離情報２８のうち非着目領域３ａに対応した各距離情報のばらつきよりも小さくなるように２７に基づいて第２の各距離情報２８を生成したとしても本発明の有用性を損なうものではない。

○第２生成部１５Ａの動作：
図１８は、画像の歪みが抑制された疑似画像２４ａの１例を示す図である。第２生成部１５Ａは、基準画像２１（図３）と第２の各距離情報２８（派生距離画像３２）とに基づいて疑似画像２４ａを生成する（図２４のステップＳ２００）。具体的には、第２生成部１５Ａは、例えば、図２１、図２２、および（２）式などを参照しつつ上述した疑似画像の生成に係る基本手法を採用し、第１生成部１４Ａから供給される派生距離画像３２（第２の各距離情報２８）の距離情報（視差）に基づいて基準画像２１を変形させることなどによって仮想視点からの被写体の撮影に対応した疑似画像２４ａを取得する。

疑似画像２４ａにおける領域５ｃは、基準画像２１（図３）における領域５ａと、画像の歪みが補正されていない疑似画像２５（図１０）における領域５ｂとのそれぞれに対応した領域である。領域５ｃの画像では、領域５ｂにおいて−Ｘ方向に凸状に湾曲していた画像の空間的な歪みが、抑制されている。

上述したように、画像処理装置２００Ａは、人工物判定のための所定の判定条件に基づいて、疑似画像２４ａの生成に供される派生距離画像３２（第２の各距離情報２８）に対応した画像空間５７を、人工物を含むと判定される着目領域１ａと、着目領域以外の非着目領域３ａとに分類して特定する。画像処理装置２００Ａは、像疑似画像２４ａの生成に供される第２の各距離情報２８のうち着目領域１ａに対応した各距離情報のばらつきが、疑似画像２４ａの生成に供される第２の各距離情報２８のうち非着目領域３ａに対応した各距離情報のばらつきよりも小さくなるように疑似画像２４ａの生成に供される派生距離画像３２（第２の各距離情報２８）を生成し、生成された派生距離画像３２（第２の各距離情報２８）に基づいて疑似画像２４ａを生成する。

上述した対策によって、画像処理装置２００Ａは、疑似画像２４ａの生成に供される派生距離画像３２のうち非着目領域３ａに対応した領域、すなわち、画像の空間的な歪みを生じさせ得る可能性が人工物領域に比べて相対的に低い領域に対しては、ランダムノイズなどの距離情報のばらつきを抑制するための強度の弱い平滑化処理を適用し、疑似画像の生成に供される距離画像のうち着目領域に対応した領域、すなわち、疑似画像に対して湾曲などの画像の空間的な歪みを生じさせ得る可能性が非着目領域３ａに対して相対的に高い着目領域１ａ（人工物領域）については、非着目領域３ａに適用される平滑化処理よりも強度の強い平滑化処理を適用する。従って、基準画像２１のうち着目領域１ａに対応した領域が、遠近競合領域であったとしても、疑似画像２４ａの生成に供される派生距離画像３２のうち着目領域１ａに対応した領域については、疑似画像疑似画像２４ａにおける湾曲等の画像の歪みを抑制できる程度まで該領域の各距離情報を一様化できる可能性を高めることができる。すなわち、上述した対策によって、画像処理装置２００Ａは、疑似画像２４ａに発生する画像の歪みを低減させ得る。

＜実施形態２について：＞
＜◎画像処理システム１００Ｂについて：＞
図２７は、実施形態２に係る画像処理システム１００Ｂの主な構成の１例を示すブロック図である。図に示されるように、画像処理システム１００Ｂは、ステレオカメラ３００と画像処理装置２００Ｂとを主に備えて構成されている。画像処理システム１００Ｂでは、ステレオカメラ３００が撮影した基準画像２１（図３、図２７、図２８）および参照画像２２（図４、図２７、図２８）を画像処理装置２００Ｂが取得し、画像処理装置２００Ｂが基準画像２１および参照画像２２を処理することによって、基準画像２１が撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４ｂ（図２８、図３１）、すなわち第１の視点とは別の仮想視点から撮影した被写体の画像に相当する疑似画像２４ｂを生成する。

画像処理システム１００Ｂに備えられたステレオカメラ３００は、実施形態１の説明において既述した画像処理システム１００Ａに備えられたステレオカメラ３００と同様の構成を有する。ステレオカメラ３００によって撮影された基準画像２１および参照画像２２は、データ線ＤＬを介して画像処理装置２００Ｂの入出力部４１へと供給される。画像処理装置２００Ｂは、基準画像２１および参照画像２２に基づいて疑似画像２４ｂ（図２８）を生成する。なお、画像処理システム１００Ａと同様に、ステレオカメラ３００に代えて、基準画像２１と、基準画像２１の各画素に対応する被写体上の各点の距離情報とを取得できる三次元測定機が採用されたとしても本発明の有用性を損なうものではない。

◎画像処理装置２００Ｂの構成について：
図２７に示されるように、画像処理装置２００Ｂは、ＣＰＵ１１Ｂ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。

入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６は、実施形態１の説明において既述した画像処理装置２００Ａにおける同一符号の各機能部とそれぞれ同様の構成を有している。

ＣＰＵ（Central Processing Unit）１１Ｂは、画像処理装置２００Ｂの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ｂは、後述するように、第１取得部１２、第２取得部１３、第１生成部１４Ｂ、第２生成部１５Ｂ、第３生成部１６、および特定部１７Ｂとしても機能する。

ＣＰＵ１１Ｂは、これらの機能部などによって、第１の視点から撮影された被写体についての基準画像２１から、第１の視点とは異なる仮想視点からの撮影に対応した被写体についての疑似画像２４ｂ（図２８、図３１）を生成する。また、ＣＰＵ１１Ｂは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

また、ＣＰＵ１１Ｂ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ｂは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。

なお、図２７に示される構成例では、第１取得部１２、第２取得部１３、第１生成部１４Ｂ、第２生成部１５Ｂ、第３生成部１６、および特定部１７Ｂの各機能部は、ＣＰＵ１１Ｂで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

＜◎画像処理装置２００Ｂの各機能部の動作について：＞
図２８は、実施形態２に係る画像処理装置２００Ｂの主な機能構成の１例を示すブロック図である。図３および図４は、実施形態２に係るステレオカメラ３００の基準カメラ６１および参照カメラ６２が、それぞれ被写体を撮影した基準画像２１および参照画像２２の１例をそれぞれ示す図である。また、図３２および図３３は、実施形態２に係る画像処理装置２００Ｂの動作フローをそれぞれ例示する図である。以下では、画像処理装置２００Ｂが、基準画像２１と参照画像２２とに基づいて、基準画像２１が撮影された第１の視点とは別の仮想視点からの被写体の撮影に対応した疑似画像２４ｂ（図２８、図３１）を生成する場合を例に、画像処理装置２００Ｂの各機能部の動作について図３２および図３３の動作フローを適宜参照しつつ説明する。

実施形態１に係る画像処理システム１００Ａと同様に、ステレオカメラ３００の位置および姿勢が調整されたときの基準カメラ６１の位置を第１の視点として、ステレオカメラ３００の撮影動作が行われると、基準カメラ６１および参照カメラ６２によってそれぞれ撮影された被写体についての基準画像２１および参照画像２２がそれぞれ生成されて画像処理装置２００Ｂの入出力部４１に供給される。

○第１取得部１２の動作：
画像処理装置２００Ｂの第１取得部１２は、実施形態１の画像処理装置２００Ａに係る第１取得部１２と同様の動作を行う機能部であり、被写体が第１の視点から撮影された基準画像２１と参照画像２２とが入出力部４１に供給されると、第１取得部１２（図２）は、入出力部４１を介して実施形態１の説明において既述した基準画像２１（図３）を取得するとともに（図３２の動作フローＳ１００ＢにおけるステップＳ１１０）、参照画像２２（図４）を取得する。取得された基準画像２１は、第２取得部１３、第２生成部１５Ｂ、第３生成部１６、および特定部１７Ｂへと供給される。また、参照画像２２は、第２取得部１３へと供給される。

○第２取得部１３の動作：
図７は、第２取得部１３（図２８）が取得する原距離画像３１（第１の各距離情報２７）の１例を示す図である。画像処理装置２００Ｂの第２取得部１３は、実施形態１の画像処理装置２００Ａに係る第２取得部１３と同様の動作によって、基準画像２１の注目画素と、該注目画素に対応する参照画像２２の対応画素との視差を求める処理を、基準画像２１の各画素について行い、取得した各視差を、基準画像２１の各画素にそれぞれ対応した被写体上の点についての第１の各距離情報２７（原距離画像３１）（図７）として取得する（図３２のステップＳ１２０）。取得された第１の各距離情報２７（原距離画像３１）は、第１生成部１４Ｂに供給される。

○第１生成部１４Ｂの動作：
第１生成部１４Ｂは、同一強度の平滑化作用を有する平滑化フィルタを、原距離画像３１の各画素にそれぞれ適用することによって、第１の各距離情報２７のばらつきが低減された各距離情報２９（距離画像３３）（図９）を取得する（図３２のステップＳ１２２）。第１生成部１４Ｂは、例えば、平均化フィルタ５５（図１９）の平滑化強度を規定するパラメータＫの値として値９４が設定された平滑化情報５３ｃ（図２８）を平滑化情報格納部４８（図２８）から取得して該パラメータＫに対応した強度の平滑化作用を有する平均化フィルタ５５（図１９）を特定し、特定された平均化フィルタ５５を、各距離情報２９の取得に使用する平滑化フィルタとして採用する。取得された各距離情報２９（距離画像３３）は、第３生成部１６（図２８）に供給される。

○第３生成部１６の動作：
第３生成部１６は、疑似画像生成手法として、実施形態１の説明において図２１、図２２、および（２）式などを参照しつつ説明した疑似画像の生成に係る基本手法を採用し、各距離情報２９（距離画像３３）に基づいて基準画像２１を変形することによって、疑似画像２５（図１０、図２８）を生成する（図３２のステップＳ１２４）。本願においては、疑似画像２５を「仮の疑似画像」とも称することがある。生成された疑似画像２５（仮の疑似画像）は、第２生成部１５Ｂと特定部１７Ｂとに供給される。

なお、基準画像２１（図３）には、領域５ａ（図３）に人工物領域が含まれているため、上述した疑似画像生成に係る基本手法によって、基準画像２１から疑似画像２５を生成した場合には、実施形態１での説明において既述したように、領域５ａに対応した領域５ｂ（図１０）において、Ｘ軸方向への凸状の湾曲などの画像の空間的な歪みが生ずることがある。

○特定部１７Ｂの動作：
特定部１７Ｂ（図２８）は、人工物判定のための所定の判定条件に基づいて、基準画像２１における人工物領域を特定する（図３３のステップＳ１３０）。具体的には、特定部１７Ｂは、実施形態１の説明において既述した図２３に示された動作フローと同様の動作によって、疑似画像２５（仮の疑似画像）における人工物領域を特定する。すなわち、特定部１７Ｂは、基準画像２１についての幾何学的条件である、基準画像２１における輪郭の長さに対する該輪郭を構成する１種類以上の所定の基本図形の長さの割合を、人工物判定のための判定条件として基準画像２１における人工物領域を特定する。

また、人工物領域が、通常、人工物でない自然物に対応した領域に比べて画像の複雑さの度合いが低くなることから、特定部１７Ｂは、基準画像２１の画像の複雑さを表現する指標値を取得し、該指標値に基づいて人工物領域を特定することもできる。すなわち、特定部１７Ｂは、基準画像２１についての幾何学的条件である基準画像２１についての画像の複雑さを、人工物判定のための判定条件として基準画像２１における人工物領域を特定する。

図１１は、基準画像２１（図３）において特定された人工物領域の１例を示す図である。基準画像２１においては、特定部１７Ｂが行った上述した人工物領域の特定処理によって、人工物領域４ａ、４ｂ、および４ｃが特定されている。なお、人工物領域４ａは、基準画像２１の領域５ａ（図３）に内包された立て看板の像に対応した領域であり、人工物領域４ｂおよび４ｃは、基準画像２１における歩道の像の外縁部に対応した領域である。

また、特定部１７Ｂは、基準画像２１における人工物領域の特定処理と同様の処理によって、疑似画像２５（仮の疑似画像）においても人工物領域を特定する（図３３のステップＳ２１０）。図２９は、疑似画像２５において特定された人工物領域の１例を示す図である。疑似画像２５においては、特定部１７Ｂが行った上述した人工物領域の特定処理によって、人工物領域４ｑ、４ｒ、４ｓ、および４ｔが特定されている。なお、人工物領域４ｑおよび４ｒは、疑似画像２５（図１０）の領域５ｂに内包された立て看板の像に対応した領域であり、人工物領域４ｓおよび４ｔは、疑似画像２５における歩道の像の外縁部に対応した領域である。

ここで、領域５ｂにおける立て看板の像には、−Ｘ軸方向へ凸状に湾曲した空間的な画像の歪みが生じているために、該湾曲部分は、人工物領域の判定処理において人工物領域として判定されていない。このため、人工物領域４ｑおよび４ｒの面積は、基準画像２１において特定された人工物領域４ａの面積に比べて小さくなっている。一方、疑似画像２５における歩道の像の外縁部は、基準画像２１における歩道の像の外縁部との差異ほとんどないため、疑似画像２５における人工物領域４ｓおよび４ｔの面積は、基準画像２１において特定された人工物領域４ｂおよび４ｃの面積とほぼ等しくなっている。

図３０は、疑似画像２５において特定された着目領域１ｕの１例を示す図である。基準画像２１と疑似画像２５とにおける人工物領域が特定されると、特定部１７Ｂは、基準画像２１と疑似画像２５（仮の疑似画像）とのそれぞれの人工物領域の空間的な差異、より詳細には、例えば、上述した面積の差異に基づいて、疑似画像２５において歪みが大きい着目領域１ｕを特定する（図３３のステップＳ２２０）。具体的には、特定部１７Ｂは、例えば、基準画像２１と疑似画像２５とのそれぞれに対応した画像空間において、基準画像２１における人工物領域４ａ〜４ｃと、疑似画像２５における人工物領域４ｑ〜４ｔとをそれぞれ重ね合わせたときの基準画像２１と疑似画像２５とのそれぞれにおける人工物領域の重なり具合に基づいて、疑似画像２５において大きな歪みが生じた着目領域１ｕを特定することができる。該重なり具合の判定手法として、特定部１７Ｂは、例えば、重なりが生じている部分を内包する矩形状などの内包領域を設定するとともに、該内包領域における基準画像２１についての人工物領域の面積に対する疑似画像２５についての人工物領域の面積比を算出し、該面積比が、例えば、５０％以下である内包領域を疑似画像２５において大きな歪みが生じた着目領域１ｕとして特定する手法などを採用し得る。また、特定された着目領域１ｕについての領域情報２ｂは、第２生成部１５Ｂに供給される。

なお、基準画像２１の撮影に係る視点と疑似画像２５に係る仮想視点との基線長、基準カメラ６１および疑似画像２５に係るカメラの焦点距離、被写体のカメラからの距離などに基づいて、基準画像２１と疑似画像２５とのズレ量（視差）を算出し、基準画像２１と疑似画像２５とのそれぞれにおける人工物領域の重なり具合を比較する際に、該ズレ量を反映させれば該重なり具合をより正確に判定できる。もっとも、例えば、被写体の距離が遠方であれば該ズレ量は小さくなるので、該重なり具合の判定の際に、該ズレ量を反映しないとしても本発明の有用性を損なうものではない。

また、例えば、基準画像２１と、疑似画像２５とのそれぞれの複数のブロック領域に分割し、両画像間で相互に対応するブロック領域の組み毎に、例えば、ＰＯＣ法などの相関演算手法を用いてブロック間の相関を演算し、ブロック間の相関が所定の基準よりも低い領域を疑似画像２５における画像の歪み領域として特定する手法に比べて、特定部１７Ｂが行う着目領域１ｕの特定手法では、ブロック領域のサイズに拘束されないので更に細かい単位で疑似画像２５における画像の歪み（着目領域１ｕ）を検出することが出来る。

○第２生成部１５Ｂの動作：
図３１は、画像の歪みが低減された疑似画像２４ｂの１例を示す図である。第２生成部１５Ｂは、疑似画像２５（仮の疑似画像）の着目領域１ｕの画像を、基準画像２１（図３）を用いて補正することによって、疑似画像２４ｂ（図３１）を生成する（図３３のステップＳ２３０）。具体的には、第２生成部１５Ｂは、例えば、先ず、基準画像２１のうち着目領域１ｕに対応した補正用の領域を領域情報２ｂに基づいて特定して、特定された補正用の領域の画像を抽出する。なお、該補正用の領域の抽出の際に、基準画像２１および疑似画像２５に係るカメラの焦点距離および基線長などカメラパラメータに基づいて、基準画像２１と疑似画像２５とのズレ量（視差）を反映させれば該補正用の領域をより正確に抽出できる。もっとも、例えば、被写体の距離が遠方であれば該ズレ量は小さくなるので、該領域の抽出の際に、該ズレ量を反映しないとしても本発明の有用性を損なうものではない。

次に、第２生成部１５Ｂは、疑似画像２５（仮の疑似画像）のうち着目領域１ｕに対応した歪み領域を領域情報２ｂに基づいて特定し、特定した歪み領域の画像を基準画像２１において抽出された補正用の領域の画像に置き換えることなどによって空間的な歪みが低減された疑似画像２４ｂを生成する。

上述したように、第２の実施形態に係る画像処理装置２００Ｂは、人工物判定のための所定の判定条件に基づいて、疑似画像２５（仮の疑似画像）のうち基準画像２１に比べて画像の空間的な歪みが所定の基準よりも大きな着目領域１ｕを特定する。そして画像処理装置２００Ｂは、疑似画像２５のうち着目領域１ｕの画像を、基準画像２１のうち着目領域１ｕに対応した領域の画像に基づいて補正することによって歪みが抑制された疑似画像２４ｂを生成する。従って、疑似画像２４ｂに発生する画像の空間的な歪みを低減させ得る。

＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上述した画像処理システム１００Ａおよび１００Ｂにおけるステレオカメラ３００では、基準カメラ６１と参照カメラ６２との基線長の方向は垂直方向であったが、該基線長の方向は、垂直方向その他の任意の方向でもよい。また、基準カメラ６１と参照カメラ６２との撮影倍率は、同じでなくても良い。

１００Ａ，１００Ｂ 画像処理システム
２００Ａ，２００Ｂ 画像処理装置
３００ ステレオカメラ
１ａ，１ｂ，１ｃ，１ｕ 着目領域
２ａ，２ｂ 領域情報
３ａ，３ｂ 非着目領域
４ａ〜４ｄ 人工物領域
６ａ ブロック領域
９ａ，９ｂ 視差
２１，２１ａ 基準画像
２２，２２ａ 参照画像
２３ａ，２３ｂ 部分画像
２４ａ，２４ｂ 疑似画像
２５ 疑似画像
２７ 第１の各距離情報
２８ 第２の各距離情報
２９ 各距離情報
３１ 原距離画像
３２ 派生距離画像
３３ 距離画像
３５ａ，３５ｂ 平滑化強度画像
５３a，５３ｂ，５３ｃ 平滑化情報
５５ 平均化フィルタ
５７ 画像空間
６１ 基準カメラ
６２ 参照カメラ
ｗ１，ｗ２，ｗ３ 幅
ｔｈ１ 閾値

Claims (20)

1. 画像処理装置であって、
   被写体が第１の視点から撮影された基準画像を取得する第１の取得手段と、
   前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得手段と、
   を備え、
   前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する距離情報によって第２の各距離情報を定義するとともに、前記基準画像の画素配列に対応する前記第２の各距離情報の配列によって派生距離画像を定義したとき、
   人工物判定のための所定の判定条件に基づいて、前記派生距離画像に対応した画像空間を、人工物を含むと判定される着目領域と、着目領域以外の非着目領域とに分類して特定する特定手段と、
   前記第２の各距離情報のうち前記着目領域に対応した各距離情報のばらつきが、前記第２の各距離情報のうち前記非着目領域に対応した各距離情報のばらつきよりも小さくなるように前記第１の各距離情報に基づいて前記第２の各距離情報を生成する第１の生成手段と、
   前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成手段と、
   をさらに備えることを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記第１の生成手段は、
   1)前記第１の各距離情報のうち前記非着目領域に対応した各距離情報には、第１の平滑化規則を、
   2)前記第１の各距離情報のうち前記着目領域に対応した各距離情報には、第１の平滑化規則よりも平滑化の強度が強い第２の平滑化規則を、
   選択的にそれぞれ適用することによって前記第１の各距離情報を平滑化して前記第２の各距離情報を生成することを特徴とする画像処理装置。
3. 請求項２に記載された画像処理装置であって、
   前記第１の視点と前記仮想視点とを結ぶ直線が前記派生距離画像に投影された像の長手方向を基線方向と定義したとき、
   前記第２の平滑化規則の平滑化強度が、前記着目領域における前記基線方向の画素数と、前記着目領域における前記基線方向に直交する方向の画素数との比に応じて変更されることを特徴とする画像処理装置。
4. 請求項２に記載された画像処理装置であって、
   前記判定条件は、人工物の存在について定量的な判定結果を与える判定規則を含み、
   前記第２の平滑化規則の平滑化強度が、前記着目領域についての前記定量的な判定の結果に応じて変更されることを特徴とする画像処理装置。
5. 請求項１から請求項４のいずれか１つの請求項に記載された画像処理装置であって、
   前記第１の画像生成手段は、前記着目領域と、前記非着目領域との境界領域における前記派生距離画像の画素値が、前記境界領域を横切る方向について徐々に変化するように、前記第２の各距離情報のうち前記境界領域に対応した各距離情報を生成することを特徴とする画像処理装置。
6. 請求項１から請求項５の何れか１つの請求項に記載された画像処理装置であって、
   前記特定手段は、前記基準画像についての幾何学的条件を前記所定の判定条件として前記基準画像における人工物領域を特定するとともに、該人工物領域に対応した前記画像空間上の領域を前記着目領域として特定することを特徴とする画像処理装置。
7. 請求項６に記載された画像処理装置であって、
   所定の数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を基本図形と呼ぶとき、
   前記幾何学的条件が、前記基準画像における輪郭を構成する１種類以上の所定の基本図形の割合であることを特徴とする画像処理装置。
8. 請求項７に記載された画像処理装置であって、
   前記１種類以上の所定の基本図形が、直線、２次曲線、円弧、および楕円弧の少なくとも１つであることを特徴とする画像処理装置。
9. 請求項６に記載された画像処理装置であって、
   前記幾何学的条件が、前記基準画像についての画像の複雑さであることを特徴とする画像処理装置。
10. 請求項１から請求項５の何れか１つの請求項に記載された画像処理装置であって、
    前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、
    前記特定手段は、前記原距離画像における各距離情報の統計的な分布状態を前記所定の判定条件として前記原距離画像における人工物領域を特定するとともに、該人工物領域に対応した前記画像空間上の領域を前記着目領域として特定することを特徴とする画像処理装置。
11. 請求項１から請求項５の何れか１つの請求項に記載された画像処理装置であって、
    前記基準画像の画素配列に対応した前記第１の各距離情報の配列によって原距離画像を定義したとき、
    前記特定手段は、前記基準画像についての幾何学的条件と、前記原距離画像における各距離情報の統計的な分布状態とを個別に前記所定の判定条件として用いることにより、前記基準画像における第１の人工物領域と、前記原距離画像における第２の人工物領域とをそれぞれ特定するとともに、前記画像空間のうち前記第１の人工物領域と、前記第２の人工物領域とのそれぞれに対応した領域を前記着目領域として特定することを特徴とする画像処理装置。
12. 画像処理装置であって、
    被写体が第１の視点から撮影された基準画像を取得する第１の取得手段と、
    前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得手段と、
    前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する第２の各距離情報を生成する第１の生成手段と、
    前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第１の疑似画像を生成する第２の生成手段と、
    人工物判定のための所定の判定条件に基づいて、前記第１の疑似画像のうち前記基準画像に比べて画像の歪みが所定の基準よりも大きな着目領域を特定する特定手段と、
    前記第１の疑似画像のうち前記着目領域の画像を、前記基準画像のうち前記着目領域に対応する領域の画像に基づいて補正することによって、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第２の疑似画像を生成する第３の生成手段と、
    を備えることを特徴とする画像処理装置。
13. 請求項１２に記載された画像処理装置であって、
    前記特定手段は、前記基準画像および前記第１の疑似画像において、所定の幾何学的条件を満足する第１の人工物領域および第２の人工物領域をそれぞれ特定するとともに、前記第１の人工物領域と前記第２の人工物領域との空間的な差異に基づいて、前記着目領域を特定することを特徴とする画像処理装置。
14. 請求項１３に記載された画像処理装置であって、
    所定の数式のパラメータに具体的数値を与えることによって座標空間での形状およびサイズが特定される図形を基本図形と呼ぶとき、
    前記幾何学的条件は、画像における輪郭を構成する１種類以上の所定の基本図形の割合であることを特徴とする画像処理装置。
15. 請求項１４に記載された画像処理装置であって、
    前記１種類以上の所定の基本図形が、直線、２次曲線、円弧、および楕円弧の少なくとも１つであることを特徴とする画像処理装置。
16. 請求項１３に記載された画像処理装置であって、
    前記幾何学的条件は、画像の複雑さであることを特徴とする画像処理装置。
17. 画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させることを特徴とするプログラム。
18. 画像処理方法であって、
    被写体が第１の視点から撮影された基準画像を取得する第１の取得工程と、
    前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得工程と、
    を備え、
    前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する距離情報によって第２の各距離情報を定義するとともに、前記基準画像の画素配列に対応する前記第２の各距離情報の配列によって派生距離画像と定義したとき、
    人工物判定のための所定の判定条件に基づいて、前記派生距離画像に対応した画像空間を、人工物を含むと判定される着目領域と、着目領域以外の非着目領域とに分類して特定する特定工程と、
    前記第２の各距離情報のうち前記着目領域に対応した各距離情報のばらつきが、前記第２の各距離情報のうち前記非着目領域に対応した各距離情報のばらつきよりも小さくなるように前記第１の各距離情報に基づいて前記第２の各距離情報を生成する第１の生成工程と、
    前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体の疑似画像を生成する第２の生成工程と、
    をさらに備えることを特徴とする画像処理方法。
19. 画像処理装置に搭載されたコンピュータにおいて実行されることにより、当該画像処理装置を請求項１２から請求項１６の何れか１つの請求項に記載の画像処理装置として機能させることを特徴とするプログラム。
20. 画像処理方法であって、
    被写体が第１の視点から撮影された基準画像を取得する第１の取得工程と、
    前記被写体の各点のうち前記基準画像の各画素にそれぞれ対応した各点について第１の各距離情報を取得する第２の取得工程と、
    前記第１の各距離情報のばらつきを低減する処理によって該第１の各距離情報から派生する第２の各距離情報を生成する第１の生成工程と、
    前記基準画像と、前記第２の各距離情報とに基づいて、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第１の疑似画像を生成する第２の生成工程と、
    人工物判定のための所定の判定条件に基づいて、前記第１の疑似画像のうち前記基準画像に比べて画像の歪みが所定の基準よりも大きな着目領域を特定する特定工程と、
    前記第１の疑似画像のうち前記着目領域の画像を、前記基準画像のうち前記着目領域に対応する領域の画像に基づいて補正することによって、前記第１の視点とは別の仮想視点からの撮影に対応した前記被写体についての第２の疑似画像を生成する第３の生成工程と、
    を備えることを特徴とする画像処理方法。