JP4075892B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明はステレオマッチングによって物体を３次元立体物として復元する画像処理方法および画像処理装置に関する。

近年、画像処理技術の発達に伴い、異なる方向から対象物を撮影した複数の画像に基づいて、対象物の立体モデルを画像処理によって得る方法がある。このような画像処理方法としては、たとえば特開２０００−９９７６０号公報（３ページ、図２）に開示された３次元モデル生成方法がある。この３次元モデル生成方法では、複数の異なる方向から物体を観測してステレオ画像を取得し、このステレオ画像に基づいて物体の３次元輪郭線を生成すると共に、３次元領域（テクスチャ領域やシェーディング領域）を生成する。３次元輪郭線情報、及び、３次元領域情報に基づいて、既存の３次元モデルと適合するものがある場合はこれらの情報を更新し、適合するものがない場合はこれらの情報を新たな３次元モデルとして登録する。また、物体の３次元モデル全体が完成していない場合は、観測方向を移動して全体のモデルを生成する。

上記公報に開示された３次元モデル生成方法では、３次元輪郭線を生成（復元）する際に、ステレオ画像（基準画像と参照画像）から物体のエッジを抽出してセグメントに分割し、画像間のセグメント毎の対応を探索するステレオマッチング処理を行っている。このステレオマッチングは、たとえば、面の連続性を考慮して、ある評価関数が最小となるようにステレオマッチングの対応候補を絞り込んで正しいマッチングをしている。

上述した特開２０００−９９７６０号公報に記載のステレオマッチングにおいては、ミスマッチングが生じると、対象物を正確に復元することができなくなるという問題があった。また、このようなステレオマッチングでは、繰り返しの計算が多く、処理が遅くなってしまうという問題があった。

本発明の課題は、基準画像と参照画像におけるステレオマッチングを正確に行うことができるようにするとともに、画像処理時間の短縮を図った画像処理方法および装置を提供することにある。

上記課題を解決する本発明の画像処理方法は、基準画像撮影手段および参照画像撮影手段で同一の対象物を撮影し、基準画像撮影手段で撮影された基準画像および参照画像撮影手段で撮影された参照画像を用いたステレオマッチングによって対象物の形状を復元するものである。そして、本発明の画像処理方法は、基準画像および参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、基準画像に設定した複数のウィンドウの並び順に対し参照画像に設定した複数のウィンドウの並び順を修正し、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行い、前記対象物の形状を復元する。

基準画像に設定した複数のウィンドウの並び順に対し参照画像に設定した複数のウィンドウの並び順を修正し、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行うので、基準画像と参照画像におけるステレオマッチングを容易に行うことができるようになり、画像処理時間の短縮を図ることができる。

ここで、ステレオマッチング時に、前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けの適否を判断することが好ましい。

このように、基準画像と対象画像との両画像に複数のウィンドウを設定し、この複数のウィンドウの並び順に基づいて基準画像と対象画像との対応付けの適否を判断することで、参照画像におけるウィンドウの並び順を基準画像におけるウィンドウの並び順に一致させることにより、基準画像と参照画像の対応付けを行うことができる。したがって、ステレオマッチングを正確に行うことができるようになり、対象物を確実に復元することができる。

また、ステレオマッチング時に、参照画像における複数のウィンドウの並び順が、基準画像における複数のウィンドウの並び順と一致するように、参照画像における複数のウィンドウの並び順を修正することが好ましい。

このように、基準画像および参照画像における複数のウィンドウの並び順を修正するにあたり、所定の相関関係に基づいて複数のウィンドウを基準画像および参照画像の双方に設定する。それから、参照画像における複数のウィンドウの並び順が、基準画像における複数のウィンドウの並び順に一致するように、参照画像における複数のウィンドウの並び順を修正している。このため、参照画像における複数のウィンドウの並び順を修正する際の精度を向上させることができ、さらに正確にステレオマッチングを行うことが可能となり、より確実に対象物を復元することができる。

さらに、ここで、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しい参照画像における正対応ウィンドウのうち、誤対応ウィンドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

このように、基準画像におけるウィンドウの並び順に対する参照画像における対応が正しい正対応ウィンドウを利用して、誤対応ウィンドウを対応付けすることにより、各ウィンドウに対する個別に対応が取れているか否かの判断を省略することができる。このため、参照画像における並び順の修正を迅速に行うことができる。

あるいは、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しい参照画像における正対応ウィンドウのうち、誤対応ウィンドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの位置に重み付けを行い、重み付けがされた正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

このように、正対応ウィンドウを利用して誤対応ウィンドウを対応させるにあたり、正対応ウィンドウに重み付けを行うことで、重み付けによって、修正が容易な誤対応ウィンドウを先に選択して並び順の修正を行うことができるので、より迅速にウィンドウの並び順の修正を行うことができる。

また、本発明の画像処理装置は、基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドウを設定するウィンドウ設定手段と、基準画像に設定した複数のウィンドウの並び順と参照画像に設定した複数のウィンドウの並び順との関係に基づいて、基準画像に対する参照画像の対応付けを行い、対象物の形状を復元するステレオマッチング手段とを備えるものである。

ここで、ステレオマッチング手段が、参照画像における複数のウィンドウの並び順が、基準画像における複数のウィンドウの並び順と一致するように、参照画像における複数のウィンドウの並び順を修正することが好ましい。

また、ステレオマッチング手段は、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しいである参照画像における正対応ウィンドウのうち、誤対応ウィンドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

あるいは、ステレオマッチング手段は、基準画像におけるウィンドウの並び順との対応が異なる参照画像における誤対応ウィンドウと、基準画像におけるウィンドウの並び順との対応が正しい参照画像における正対応ウィンドウのうち、誤対応ウィンドウの並び順を修正するにあたり、誤対応ウィンドウに隣接する正対応ウィンドウの位置に重み付けを行い、重み付けがされた正対応ウィンドウの割合に基づいて、誤対応ウィンドウの並び順を修正する順序を決定するのが好適である。

図１は、本発明に係る画像処理装置のブロック構成図である。
図２は、画像処理装置による画像処理の工程を示すフローチャートである。
図３は、参照画像における誤対応ウィンドウの並び順の修正を行う工程の詳細を示すフローチャートである。
図４Ａは、基準画像を示す図である。
図４Ｂは、参照画像を示す図である。
図５Ａは、誤対応ウィンドウの並び順を修正する工程を概略的に説明する基準画像に関する説明図である。
図５Ｂは、誤対応ウィンドウの並び順を修正する工程を概略的に説明する参照画像に関する説明図である。
図６Ａは、図４Ｂに続く参照画像を示しており、参照画像における正対応ウィンドウが生成される工程を示す図である。
図６Ｂは、図６Ａに続く参照画像を示しており、参照画像における正対応ウィンドウが生成される工程を示す図である。
図７Ａは、図６Ｂに続く参照画像を示しており、参照画像における正対応ウィンドウが生成される工程を示す図である。
図７Ｂは、図７Ａに続く参照画像を示しており、参照画像における正対応ウィンドウが生成される工程を示す図である。
図８は、第２の実施形態に係る誤対応ウィンドウと正対応ウィンドウとの関係を示す図である。
図９は、第２の実施形態に係る誤対応ウィンドウの並び順を修正する工程を説明するための説明図である。
図１０は、第３の実施形態に係る誤対応ウィンドウと正対応ウィンドウとの関係を示す図である。
図１１は、第３の実施形態に係る誤対応ウィンドウの並び順を修正する工程を説明するための説明図である。

以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理装置のブロック構成図である。図１に示すように、本実施形態に係る画像処理装置１には、基準画像カメラ２と、参照画像カメラ３と、モニタ４とが接続されている。また、画像処理装置１は、前処理部１１と、ウィンドウ生成部１２と、ステレオマッチング部１３とを備えている。画像処理装置１、カメラ２，３、および、モニタ４は、たとえば図示しない車両に取り付けられている。具体的には、たとえば画像処理装置１は車室内の適宜の位置に設置されている。また、基準画像カメラ２および参照画像カメラ３は、たとえば車両の側面における互いに近傍位置に設けられている。さらに、モニタ４は、たとえば車室内におけるドライバの視界が届く位置、たとえばインストルメントパネルに取り付けられている。

基準画像カメラ２と参照画像カメラ３は、いずれもＣＣＤカメラからなり、同一対象物をアナログ画像として撮影している。基準画像カメラ２および参照画像カメラ３で撮影されたアナログ画像は、画像処理装置１における前処理部１１に出力される。画像処理装置１に出力されたアナログ画像は、画像処理装置１における前処理部１１、ウィンドウ生成部１２、およびステレオマッチング部１３で所定の画像処理が施された後、デジタル画像からなる投影像（３次元物体を二次元平面上に表示した像）としてモニタ４に出力される。画像処理装置１における画像処理手順については後述する。モニタ４は、ステレオマッチングされて画像処理装置１から出力された投影像を画面に表示する。

次に、画像処理装置１による画像処理の手順について説明する。図２は、画像処理装置による画像処理の工程を示すフローチャートである。ここでは、画像処理の全体的な流れについて説明する。

画像処理装置１における画像処理を行うために、基準画像カメラ２および参照画像カメラ３で同一対象物を撮影する。基準画像カメラ２で対象物が撮影された基準画像は、画像処理装置１における前処理部１１に出力される。同様に、参照画像カメラ３で対象物が撮影された参照画像は、画像処理装置１における前処理部１１に出力される。こうして、画像処理装置１による画像処理が開始される。

画像処理が開始されると、前処理部１１において、前処理として、基準画像および参照画像に対してカメラキャリブレーションを行い（Ｓ１）、続いて基準画像および参照画像の平行化を行う（Ｓ２）。これらの前処理が施された画像は、前処理部１１からウィンドウ生成部１２に出力される。

ウィンドウ生成部１２では、基準画像および参照画像のそれぞれを複数の領域に分割する領域分割を行う（Ｓ３）。続いて、基準画像および参照画像において分割された各領域をウィンドウとして設定する（Ｓ４）。基準画像および参照画像でウィンドウが設定されたら、各画像がステレオマッチング部１３に出力され、基準画像におけるウィンドウおよび参照画像におけるウィンドウの間で、相関演算を行って対応付け（ウィンドウマッチング）が行われる（Ｓ５）。この相関演算では、各ウィンドウにおける色、輝度、明度等の相関があるしきい値を超えたときに対応付けされるなどとして、対応付けの判断を行っている。

続いて、参照画像におけるウィンドウの並び順の修正を行う（Ｓ６）。並び順の修正は、参照画像における複数のウィンドウのうち、対応付けを行った結果、基準画像における複数のウィンドウとの並び順が異なる誤対応ウィンドウを検出し、誤対応ウィンドウの並び順の修正を行う。この修正を行った後、いまだ誤対応が修正されていないウィンドウを再探索するなどして、参照画像におけるウィンドウの並び順の修正を完了させる（Ｓ６）。ウィンドウの並び順の修正を行う工程については、後に詳述する。このように、ウィンドウ生成部１２では、ウィンドウの設定、基準画像と参照画像との間のウィンドウの対応付け、およびウィンドウの並び順の修正を行っており、ウィンドウ生成部１２は、本発明のウィンドウ設定手段として機能する。また、ステレオマッチング手段は、基準画像と参照画像とのウィンドウもマッチング（対応付け、及び、その修正）を行い、対象となる物体３次元物体として復元するステレオマッチング手段として機能する。

こうして、ウィンドウの並び順の修正が済んだら、参照画像におけるウィンドウ間の隙間を埋めるためのウィンドウの変形を行う（Ｓ７）。ウィンドウの変形が完了した時点で、全ウィンドウ内が一つの平面となっているか否かを判断する（Ｓ８）。その結果、全ウィンドウ内が一つの平面となっていない場合には、同一の平面から外れたウィンドウ（該当ウィンドウ）を再分割し（Ｓ９）、再び相関演算を行う（Ｓ１０）。それから、ステップＳ７に戻って、ウィンドウの変形を行い、再び全ウィンドウ内が一つの平面か否かを判断する（Ｓ８）。この工程を繰り返した後、ステップＳ８で全ウィンドウ内が一つの平面であると判断されたら、各ウィンドウの４隅の３次元座標が計算される（Ｓ１１）。

ステレオマッチング部１３では、各ウィンドウの４隅の３次元座標に基づいて、立体プリミティブのあてはめ（立体を球、直方体、円錐などのプリミティブと呼ばれる基本立体の組み合わせで表現すること）が行われる（Ｓ１２）。そして、投影像を生成して（Ｓ１３）、画像処理が終了する。こうして生成された投影像は、モニタ４に出力され、表示される。

上記の画像処理工程において、本実施形態では、参照画像におけるウィンドウの並び順の修正（Ｓ６）に特徴がある。以下に、この特徴的な工程についてさらに説明する。

図３は、参照画像における誤対応ウィンドウの並び順の修正を行う工程の詳細を示すフローチャートである。

ウィンドウの並び順の修正を行うにあたり、各画像における複数のウィンドウにおける各行の列の出現順を調べる（Ｓ２１）。本実施形態では、図４Ａに示すように、基準画像では対象物である自動車の画像Ｖに対して、１０行のウィンドウ列が設定されている。このうち１行目には８列、２行目には１２列、３行目には１４列、４行目には１５列、５行目および６行目には１６列のウィンドウＷ，Ｗ…がそれぞれ設定されている。また、７行目には１５列、８行目には１１列、９行目には１０列、１０行目には５列のウィンドウＷ，Ｗ…がそれぞれ設定されている。なお、図４Ｂには、ウィンドウの整列が完了する前の参照画像を示している。

このように設定された複数のウィンドウについて、参照画像に対応付けされたウィンドウの設定手順を、図５Ａ及び図５Ｂを用いて説明する。図５Ａに模式的に示すように、基準画像では、第１行から第３行の３行と、Ａ列〜Ｆ列の６列のウィンドウが設定されたとする。これに対して、参照画像では、図５Ｂに模式的に示すように、所定の相関関係に基づいて、基準画面の各ウィンドウともっとも相関関係が高い位置を対応するウィンドウとして設定される。このとき、基準画像における第１行ウィンドウＡ１〜Ｆ１に対して、参照画像におけるそれぞれの相関関係のもっとも高い領域をウィンドウＡ１〜Ｆ１として設定する。同様にして、基準画像における第２行、第３行ウィンドウＡ２〜Ｆ２、Ａ３〜Ｆ３に対して、参照画像におけるそれぞれの相関関係のもっとも高い領域をウィンドウＡ２〜Ｆ２、Ａ３〜Ｆ３として設定する。こうして対応付けがされた図５Ｂにおける参照画像の各行について列の出現順を調べる。

いま、基準画像に設定されたウィンドウの並び順と参照画像に出現したウィンドウの並び順の関係について説明する。基準画像に設定されたウィンドウは、第１行〜第３行とも、左から順にＡＢＣＤＥＦ列が並んで設定されている。これに対して、参照画像では、第１行でウィンドウが左から順にＡＢＣＤＥＦ列の順番で並んで出現している。次に、第２行でウィンドウが左から順にＡＣＢＤＥＦの順番で並んで出現している。また、第３行でウィンドウが左から順にＡＢＤＥＣＦ列の順番に並んで出現している。ここまでが、図３のフローチャートのＳ２１である。

このようにして列の出現の順番を調べたら、次に、出現順のつながり（対応）が正しいウィンドウを正対応ウィンドウとし、残りを誤対応ウィンドウとして、誤対応ウィンドウの数（総数＝Ｋ）を検出する（Ｓ２２）。

このときの検出状態の正誤判断では、基準画像におけるウィンドウと参照画像におけるウィンドウそれぞれの両側に隣接するウィンドウの種類を判別し、両側に隣接するウィンドウがいずれも一致している場合に、そのウィンドウは正対応していると判断する。一方、両側に隣接するウィンドウのうちの一方または双方が相違する場合には、基準画像と参照画像でのウィンドウが誤対応していると判断する。

さらに具体的に説明すると、基準画像における第１行のウィンドウと参照画像における第１行のウィンドウでは、いずれも左から順にＡＢＣＤＥＦ列に並んでおり、いずれのウィンドウも正対応していると判断する。なお、最外端のウィンドウＡ２は、片側にしかウィンドウがないので、この片側にウィンドウが一致しているか否かで対応の正誤を判断する。他の最外端のウィンドウについても、同様にして対応の正誤を判断する。

次に、第２行では、ＡＢＣＤ列は両側に隣接するウィンドウの一方または両方が一致していないので、誤対応であると判断する。そして、ＥＦ列は、両側に隣接するウィンドウが一致しているので、正対応であると判断する。また、第３行では、Ａ列のみが両側に隣接するウィンドウが一致しているので、正対応であると判断する。その他のＢ列〜Ｆ列では、両側に隣接するウィンドウの一方または両方が一致していないので誤対応と判断する。

このような処理にしたがい、参照画像における各ウィンドウの基準画像に対する対応の正誤が判断される。図４Ｂには、参照画像の各ウィンドウのうち、基準画像のウィンドウに正対応しているウィンドウのみを示し、誤対応のウィンドウは示していない。

こうして、ウィンドウの正対応と誤対応とを判断したら、誤対応ウィンドウの並び順の修正を行う。この並び順の修正は、誤対応ウィンドウのうち、周囲（近傍）に正対応のウィンドウの数が多いものから少ないものの順で行う。このため、周囲の正対応ウィンドウ数をカウントするためのＮｎが設定される（Ｓ２３）。いま、図５Ａ及び図５Ｂの場合、各ウィンドウにおける周囲（近傍）のウィンドウの数は８（最大）であるので、Ｎｎはまず初期値８に設定される。続いて、誤対応している全ウィンドウについて、周囲の正対応ウィンドウの数をそれぞれ検出する（Ｓ２４）。そして、周囲にＮｎ（ここでは初期値８）個の正対応ウィンドウを有する誤対応ウィンドウが存在するか否かを判断する（Ｓ２５）。

周囲に８個の正対応ウィンドウがある誤対応ウィンドウが存在する場合には、その数をＪ（Ｊ≦Ｋ）とする。Ｓ２５が肯定され、周囲に８個の正対応ウィンドウがある誤対応ウィンドウがある場合には、そのＪ個の誤対応ウィンドウについて、周囲の正対応ウィンドウに基づいて探索範囲を絞って再探索（再ステレオマッチング）を行い（Ｓ２６）、誤対応ウィンドウの並び順の修正を行う。

この再探索による並び順の修正が済んだら、誤対応ウィンドウの総数Ｋから、周囲の正対応ウィンドウ数がＮｎ（ここでは初期値８）である誤対応ウィンドウの総数Ｊを減算し（Ｓ２７）、新たなＫとする。そして、誤対応ウィンドウの総数Ｋ＝０となったか否かを判断する（Ｓ２８）。ステップＳ２８が否定され、誤対応ウィンドウが残っている（Ｋ≠０）場合には、再度ステップＳ２３からの制御が実行される。このように、隣接する正対応ウィンドウ数が多い方から順に誤対応ウィンドウを修正していくことにより、誤対応ウィンドウの修正が容易となる。このため、画像処理全体としての演算量を少なくすることができ、さらには、演算時間の短縮を図ることができる。

ステップＳ２９が否定された後、全ての誤対応ウィンドウについて、再度その周囲（近傍）の正対応しているウィンドウの数を検出し（Ｓ２４）、その数がＮｎ（ここでは初期値８）となる誤対応ウィンドウが存在するか否かを判断する（Ｓ２５）。ここで、周囲（近傍）の正対応しているウィンドウの数がＮｎ（ここでは初期値８）となる誤対応ウィンドウが存在する場合には、上記の場合と同様に再度ステップＳ２６に進むが、上述したＪ個の誤対応ウィンドウについては再探索が行われているので、周囲の正対応ウィンドウ数が初期値の８のままである誤対応ウィンドウは修正されていることが多く、最終的にはステップＳ２６は否定される。この場合には、Ｎｎを１減算し（Ｓ２９）、Ｎｎ＝７とする。そして、Ｎｎ＝７の条件の下で、再びステップＳ２５に戻って、その後、周囲の正対応ウィンドウ数が７となる誤対応ウィンドウが存在するか否かを判断し（Ｓ２６）、同様な再検索による修正が行われる（Ｓ２７）。

この工程を繰り返すことにより、参照画像における誤対応ウィンドウが徐々に減少していく。参照画像における誤対応ウィンドウが減少する工程について、図４Ｂに続く参照画像を図６Ａ、図６Ｂ、図７Ａ、及び、図７Ｂに示す。図６Ａ、図６Ｂ、図７Ａ、及び、図７Ｂに示す参照画像では、図４Ｂに示す画像から、図３に示すフローチャートのステップＳ２５からステップＳ２８の工程を１回経るごとに変化する状態を示している。図６Ａに示す画像では、図４Ｂに対して、正対応ウィンドウＷ，Ｗ…の近傍位置に新たに正対応ウィンドウＷ，Ｗ…が表示されているのがわかる。また、図６Ａに対して、図６Ｂに示す画像では、さらに多くの正対応ウィンドウＷ，Ｗ…が表示されているのがわかる。そして、図７Ａに示すように、ほとんどのウィンドウが正対応ウィンドウＷ，Ｗ…として表示され、最後には、図７Ｂに示すように、すべてのウィンドウが正対応ウィンドウＷ，Ｗ…として表示され、誤対応ウィンドウの並び順の修正が完了する。そして、対応付けが完了した後に、図２のフローチャートのステップＳ７以降の処理がなされて、基準画像と参照画像との間のステレオマッチングが完了し、自動車の画像Ｖを立体物として復元することができる。

このようにして、基準画像に対する参照画像の並び順の修正を行うことにより、基準画像と参照画像との対応付けが明確となるので、確実なステレオマッチングを行うことができ、対象物を確実に復元することができる。また、基準画像におけるウィンドウの並び順に一致させるように、参照画像におけるウィンドウの並び順を修正するので、ステレオマッチングおよび対象物の復元を高い精度で実現することができる。しかも、この対応付けを行う際に、並び順の変更にあたって相関関係の大小を参照したり、ウィンドウのズレ量を判断したりする必要はないので、そのためのしきい値を設定する必要がない。したがって、演算処理量を過大にすることがなくなるので、演算に掛かる時間や負担を軽減することができる。

次に、一つの誤対応ウィンドウの周囲に正対応ウィンドウが８個ある場合の再探索の手順について詳しく説明する。

図８は、本実施形態における誤対応ウィンドウと正対応ウィンドウとの関係を示す図である。図８に示す状態では、８個の正対応ウィンドウＬ１〜Ｌ８がすでに対応付けられている。ここでは、これらの正対応ウィンドウＬ１〜Ｌ８に基づいて、誤対応ウィンドウＭ１の並び順を修正する。

いま、各正対応ウィンドウＬ１〜Ｌ８の中点（重心）のＸ座標をそれぞれｘ１〜ｘ８とし、各ウィンドウＭ１，Ｌ１〜Ｌ８のＸ軸方向の幅をｘ０、Ｙ軸方向の幅をｙ０とする。このときの誤対応ウィンドウＭ１の再探索する探索範囲を設定するにあたり、まず以下の式（１）より平均値ｘ９を求める。この平均値ｘ９は、正対応ウィンドウＬ１〜Ｌ８のＸ軸方向に沿った位置の平均値を求めたものである。

ｘ９＝［（ｘ１−ｘ０）＋（ｘ２−ｘ０）＋ｘ３＋（ｘ４＋ｘ０）＋（ｘ５＋ｘ０）＋（ｘ６＋ｘ０）＋ｘ７＋（ｘ８−ｘ０）］／８ …（１）
平均値ｘ９を求めたら、下記（２）式の範囲に探索範囲ｘを絞って設定する。
Ｍａｘ（ｘ９−ｘ０／２，ｘ５）＜ｘ＜Ｍｉｎ（ｘ９＋ｘ０／２，ｘ１） …（２）

このように、探索範囲ｘのＸ座標を、ｘ９−ｘ０／２とｘ５のうちの大きい方の値を超え、ｘ９＋ｘ０／２とｘ１のうちの小さい方の値未満に設定している。ここで、図９に示すように、正対応ウィンドウＬ１〜Ｌ８が離間している場合であっても、少なくとも正対応ウィンドウＬ５、Ｌ１の間で誤対応ウィンドウの再探索を行うことができるので、正対応ウィンドウＬ５、Ｌ１に対して、誤対応ウィンドウの並び順が逆転しない範囲で、誤対応ウィンドウＭ１に代わる正対応ウィンドウとして再探索することができる。こうして設定した探索範囲ｘ内を探索して誤対応ウィンドウの位置を修正することにより、正対応ウィンドウの位置によらず、誤対応ウィンドウの位置の修正を行うことができる。このため正対応ウィンドウの位置による場合分けを行う必要がなくなるので、演算処理を迅速に行うことができる。また、誤対応ウィンドウに隣接する正対応ウィンドウＬ５、Ｌ１のＸ軸方向の中点（重心）位置ｘ５、ｘ１を考慮して探索範囲ｘを限定している。このため、正対応ウィンドウＬ５、Ｌ１に対する誤対応ウィンドウＭ１の位置関係を逆転させないようにして、正対応ウィンドウを設定することができる。

次に、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置は、上記第１の実施形態における図１に示したものと同一の画像処理装置を利用することができる。本実施形態では、正対応ウィンドウの位置から誤対応ウィンドウの再探索位置を絞り込む際、正対応ウィンドウに重み付けを行う。重み付けを行う際には、誤対応ウィンドウの周囲（近傍）にあり、誤対応ウィンドウに対する影響力が大きく、支配的な位置にある正対応ウィンドウに大きな重み付けを行う。逆に、誤対応ウィンドウから遠い位置にあるなど、誤対応ウィンドウに対する影響力が小さい正対応ウィンドウには、小さな重み付けを行う。その態様について、以下に具体的に説明する。

図１０は、本実施形態における誤対応ウィンドウと正対向ウィンドウとの関係を示す図である。図１０に示す状態では、８個の正対応ウィンドウＰ１〜Ｐ８がすでに対応付けられており、これらの正対応ウィンドウＰ１〜Ｐ８に基づいて誤対応ウィンドウＱ１の並び順を修正する。

いま、各正対応ウィンドウＰ１〜Ｐ８の中点（重心）のＸ座標をそれぞれｘ１〜ｘ８とし、各ウィンドウＱ１，Ｐ１〜Ｐ８のＸ軸方向の幅をｘ０、Ｙ軸方向の幅をｙ０とする。このときの誤対応ウィンドウＱ１の再探索する探索範囲を設定するにあたり、（３）式を用いて重み付けした平均値ｘ１０を求める。

各正対応ウィンドウＰ１〜Ｐ８に設定された重み付けは、その影響力によって設定され、具体的には次のとおりである。まず、誤対応ウィンドウＱ１が設定されるべき位置の四隅に位置するウィンドウは、誤対応ウィンドウＱ１に対する影響力が比較的小さいので、その重み付けを１Ｗ（Ｗ）とする。次に、誤対応ウィンドウＱ１が設定されるべき位置の両隣は、四隅よりも影響力が大きいので、その重みを２Ｗとする。そして、誤対応ウィンドウＱ１が設定されるべき位置の上下は、その影響力がもっとも大きいので、その重みを３Ｗとする。かかる重み付けを考慮した（３）式を以下に示す。

ｘ１０＝［（ｘ１×２−ｘ０）＋（ｘ２−ｘ０）＋（ｘ３×３）＋（ｘ４＋ｘ０）＋（ｘ５×２＋ｘ０）＋（ｘ６＋ｘ０）＋（ｘ７×３）＋（ｘ８−ｘ０）］／（２＋１＋３＋１＋２＋１＋３＋１） …（３）
こうして、重み付けした平均値ｘ１０を求めたら、下記（４）式の範囲に探索範囲ｘを絞って設定する。
Ｍａｘ（ｘ１０−ｘ０／２，ｘ５）＜ｘ＜Ｍｉｎ（ｘ１０＋ｘ０／２，ｘ１） （４）

以下、この探索範囲ｘ内を探索して誤対応ウィンドウの位置を修正することにより、正対応ウィンドウの位置によらず、誤対応ウィンドウの位置の修正を行うことができる。

本実施形態に係る態様では、上記第１実施形態で述べた作用効果のほか、誤対応ウィンドウを設定する位置に影響力の大きい正対応ウィンドウに大きな重み付けを行っている。このため、誤対応ウィンドウを設定すべき位置に対して支配的な正対応ウィンドウの影響を大きくすることができ、誤対応ウィンドウをさらに容易に適正な位置に修正することができる。

また、図１０に示すように、正対応ウィンドウが正方形状に並んでいる場合のみならず、種々の並び順の場合でも適宜の重み付けをすることができる。その例を、図１１を参照して説明する。図１１における参照画像では、正対応ウィンドウＲ１〜Ｒ１２が示されているほか、誤対応ウィンドウＳ１〜Ｓ４が示されている。これらのほかに、第２行における正対応ウィンドウＲ１２、Ｒ７の間に３つの誤対応ウィンドウの修正位置（空白部分）が存在する。これらの誤対応ウィンドウの修正位置を求める際に、各正対応ウィンドウＲ１〜Ｒ１２に重み付けを行う。たとえば、第２行における左から２番目に位置する誤対応ウィンドウの修正位置では、正対応ウィンドウＲ６、Ｒ７の重みを大きく、この位置から遠ざかるにしたがって、その重みを小さくしていき、もっとも遠い位置の正対応ウィンドウＲ３、Ｒ１１の重みをもっとも小さくする。このようにして各正対応ウィンドウの重みを設定することにより、誤対応ウィンドウを設定する位置対して支配的な正対応ウィンドウの影響をさらに大きくすることができ、誤対応ウィンドウをさらに容易に適正な位置に修正することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記各実施形態に限定されるものではない。たとえば、上記実施形態においては、並び順を水平方向に沿って設定しているが、鉛直方向に沿って、または斜め方向に沿って設定することができる。画像処理装置１によって生成された画像は、モニタ４に表示するようにしているが、モニタ４に表示することなく、他の画像処理の用途に使用することもできる。

以上のとおり、本発明によれば、基準画像と参照画像におけるステレオマッチングを容易に行うことができるようにすることにより、画像処理時間の短縮を図った画像処理方法および装置を提供することができる。

Claims (15)

1. 基準画像撮影手段で対象物を撮影して基準画像を取得すると共に、参照画像撮影手段で同一の対象物を撮影して参照画像を取得し、
   前記基準画像および前記参照画像に対して、それぞれ所定の相関関係に基づいて対応付けされた複数のウィンドウを設定し、
   前記基準画像に設定した複数のウィンドウの並び順に対し前記参照画像に設定した複数のウィンドウの並び順を修正し、前記基準画像のウィンドウと前記参照画像のウィンドウとのステレオマッチングを行い、前記対象物の形状を復元することを特徴とする画像処理方法。
2. ステレオマッチング時に、前記基準画像に設定した複数のウィンドウの並び順と、前記参照画像に設定した複数のウィンドウの並び順との関係に基づいて、前記基準画像に対する前記参照画像の対応付けの適否を判断する請求項１に記載の画像処理方法。
3. ステレオマッチング時に、前記参照画像における複数のウィンドウの並び順が、前記基準画像における複数のウィンドウの並び順と一致するように、前記参照画像における複数のウィンドウの並び順を修正する請求項１に記載の画像処理方法。
4. 前記基準画像のウィンドウの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並び順との対応が正しい前記参照画像上の正対応ウィンドウとについて、前記誤対応ウィンドウの並び順を修正するにあたり、
   前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合に基づいて、前記誤対応ウィンドウの並び順を修正する順序を決定する請求項３に記載の画像処理方法。
5. 前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいほど、該誤対応ウィンドウの並び順を修正する順序が早い請求項４に記載の画像処理方法。
6. 前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいものから小さいものの順に、該誤対応ウィンドウの並び順を修正する請求項４に記載の画像処理方法。
7. 前記誤対応ウィンドウに対する前記正対応ウィンドウの位置に基づいて、該正対応ウィンドウに重み付けを行い、
   重み付けがされた前記正対応ウィンドウに基づいて、前記誤対応ウィンドウの並び順を修正する請求項４に記載の画像処理方法。
8. 前記基準画像のウィンドウの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並び順との対応が正しい前記参照画像上の正対応ウィンドウとについて、前記誤対応ウィンドウの並び順を修正するにあたり、
   前記誤対応ウィンドウに対する前記正対応ウィンドウの位置に基づいて、該正対応ウィンドウに重み付けを行い、重み付けがされた前記正対応ウィンドウに基づいて、前記誤対応ウィンドウの並び順を修正する請求項３に記載の画像処理方法。
9. 基準画像撮影手段および参照画像撮影手段でそれぞれ撮影された同一対象物の基準画像および参照画像に対して、それぞれ複数のウィンドウを設定するウィンドウ設定手段と、
   前記基準画像に設定した複数のウィンドウの並び順に対し前記参照画像に設定した複数のウィンドウの並び順を修正し、前記基準画像に対する前記参照画像の対応付けを行い、前記対象物の形状を復元するステレオマッチング手段とを備えることを特徴とする画像処理装置。
10. 前記ステレオマッチング手段が、前記参照画像における複数のウィンドウの並び順が、前記基準画像における複数のウィンドウの並び順と一致するように、前記参照画像における複数のウィンドウの並び順を修正する請求項９に記載の画像処理装置。
11. 前記ステレオマッチング手段は、前記基準画像のウィンドウの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並び順との対応が正しい前記参照画像上の正対応ウィンドウについて、前記誤対応ウィンドウの並び順を修正するにあたり、
    前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合に基づいて、前記誤対応ウィンドウの並び順を修正する順序を決定する請求項１０に記載の画像処理装置。
12. 前記ステレオマッチング手段は、前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいほど、該誤対応ウィンドウの並び順を修正する順序を早くする請求項１１に記載の画像処理装置。
13. 前記ステレオマッチング手段は、前記誤対応ウィンドウに隣接するウィンドウに占める前記正対応ウィンドウの割合が大きいものから小さいものの順に、該誤対応ウィンドウの並び順を修正する請求項１１に記載の画像処理装置。
14. 前記ステレオマッチング手段は、前記誤対応ウィンドウに対する前記正対応ウィンドウの位置に基づいて該正対応ウィンドウに重み付けを行い、重み付けがされた前記正対応ウィンドウに基づいて前記誤対応ウィンドウの並び順を修正する請求項１１に記載の画像処理装置。
15. 前記ステレオマッチング手段は、前記基準画像のウィンドウの並び順との対応が異なる前記参照画像上の誤対応ウィンドウと、前記基準画像のウィンドウの並び順との対応が正しい前記参照画像上の正対応ウィンドウとについて、前記誤対応ウィンドウの並び順を修正するにあたり、
    前記誤対応ウィンドウに隣接する前記正対応ウィンドウの位置に重み付けを行い、重み付けがされた前記正対応ウィンドウに基づいて、前記誤対応ウィンドウの並び順を修正する請求項９に記載の画像処理装置。

Images