JP4631973B2 - 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム - Google Patents

Description

この発明は画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算することができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。

顔認証や、美容・整形分野において、顔の３次元形状計測のニーズが高い。これらの分野においては、目に強い光を当てるのは好ましくないことや、顔は計測中に動いてしまうことなどから、レーザー光などでスキャンするアクティブ方法よりも、ステレオ方式などのパッシブ方式が適している。

位相限定相関（ＰＯＣ：Phase-Only Correlation）を用いたステレオ対応点探索アルゴリズム（ステレオ画像である基準画像と参照画像とからなる画像における同一点を対応付けるアルゴリズム）は、そのロバスト性・高精度が注目されている。

下記特許文献１は、ステレオカメラに位相限定相関法を応用した貫通穴計測システムを開示している。

下記非特許文献１は、ＰＯＣ演算時におけるウィンドウサイズとノイズの影響について開示している。
特開２００６−０１０３９２号公報 「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会（２００４．１０．９）、資料番号２１８−１５

たとえば顔の３次元計測では、頬などの表面を滑らかに再現しつつ、目、鼻、口の周辺など、形状特徴のある部分はその形状を再現したいというニーズがあり、ステレオ３次元計測においてそのニーズを満たすための工夫が必要である。

本発明はそのような課題を解決するためになされたものであり、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像とを受付ける画像入力手段と、基準画像および参照画像の一方の上に第１のウィンドウを設定する第１のウィンドウ設定手段と、基準画像および参照画像の他方の上に第２のウィンドウを設定する第２のウィンドウ設定手段と、第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する抽出手段と、抽出された画像特徴量に基づいて、第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、第１のウィンドウに対する変更に応じて、第２のウィンドウのサイズまたは形状を変更する変更手段と、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する演算手段とを備える。

好ましくは、画像特徴量は画像のエッジ量を含む。
好ましくは、演算手段は、第１のウィンドウ内の画像と第２のウィンドウ内の画像との相関値に基づいて、基準画像の一点に対応する参照画像の一点を求める。

好ましくは、画像処理装置は、演算手段の演算結果に基づいて、基準画像と参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備える。

好ましくは、抽出手段は、第１のウィンドウ内のエッジ分布を抽出し、変更手段は、エッジ分布に基づいて第１のウィンドウのサイズおよび形状の少なくとも１つを決定する。

好ましくは、抽出手段は、第１のウィンドウの中心部のエッジ量を計測し、変更手段は、第１のウィンドウの中心部のエッジ量が所定量以上であれば、第１のウィンドウのサイズを小さくする。

好ましくは、抽出手段は、第１のウィンドウについての中心部のエッジ量と周辺部のエッジ量とを計測し、変更手段は、第１のウィンドウについての中心部のエッジ量と周辺部のエッジ量との差が所定量以上であれば、第１のウィンドウのサイズを小さくする。

この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像とを受付けるステップと、基準画像および参照画像の一方の上に第１のウィンドウを設定するステップと、基準画像および参照画像の他方の上に第２のウィンドウを設定するステップと、第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップと、抽出された画像特徴量に基づいて、第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、第１のウィンドウに対する変更に応じて、第２のウィンドウのサイズまたは形状を変更するステップと、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを備える。

この発明のさらに他の局面に従うとプログラムは、コンピュータに、基準画像と参照画像とを受付けるステップと、基準画像および参照画像の一方の上に第１のウィンドウを設定するステップと、基準画像および参照画像の他方の上に第２のウィンドウを設定するステップと、第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップと、抽出された画像特徴量に基づいて、第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、第１のウィンドウに対する変更に応じて、第２のウィンドウのサイズまたは形状を変更するステップと、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを実行させる。
この発明のさらに他の局面に従うと画像処理装置は、同一の被写体をそれぞれ撮像して基準画像および参照画像からなるステレオ画像を取得する一対の撮像手段と、基準画像上に第１のウィンドウを設定する第１のウィンドウ設定手段と、参照画像上に第２のウィンドウを設定する第２のウィンドウ設定手段と、演算手段とを備え、演算手段は、第１のウィンドウおよび第２のウィンドウのいずれか一方のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する手段と、抽出された画像特徴量に基づいて、一方のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、一方のウィンドウに対する変更に応じて、他方のウィンドウのサイズまたは形状を変更する手段と、変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する手段とを含む。

これらの発明に従うと、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することができる。

本発明の実施の一形態に従う３次元計測装置の構成を示す図である。 図１の演算処理装置２００のハードウェア構成を示すブロック図である。 演算処理装置２００の機能構成を示すブロック図である。 注目点のスキャンを説明するための図である。 注目点のスキャン処理を示すフローチャートである。 基準画像のウィンドウ設定処理を示す図である。 参照画像のウィンドウ設定処理を示す図である。 位相比較部２１１の実行する第１の処理を示す図である。 位相比較部２１１の実行する第２の処理を示す図である。 位相限定相関（ＰＯＣ）関数の具体例を示す図である。 ３次元座標演算部２１５が実行する処理を示す図である。 ウィンドウ設定部２０１の構成を示す図である。 ウィンドウサイズの決定処理を説明するための図である。 基準画像の具体例とウィンドウサイズの設定例を示す図である。 ウィンドウの設定の第１変形例を示す図であり、図１３に対応する図である。 本発明のステレオ３次元計測を利用した車載カメラへの適用を説明するための図である。

符号の説明

１００Ｒ，１００Ｌ カメラ、２００ 演算処理装置、２０１ ウィンドウ設定部、２０３ 基準画像ウィンドウ設定部、２０５ 参照画像ウィンドウ設定部、２０７，２０９ ＤＦＴ部、２１１ 位相比較部、２１３ 位置ズレ演算部、２１５ ３次元座標演算部、３００ 表示装置。

図１を参照して、本発明の実施の一形態に従う３次元計測装置は、左右に並べられた２台のカメラ１００Ｒ，１００Ｌと、カメラに接続される演算処理装置２００と、表示装置３００とから構成される。

カメラ１００Ｒ，１００Ｌは、被写体Ｏ（ここでは人物の顔を例示している）の２次元画像を撮影する。カメラ１００Ｒとカメラ１００Ｌとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。

演算処理装置２００は、２台のカメラで撮影された画像から、被写体の３次元形状を演算する。表示装置３００は、計測された被写体の３次元形状を表示する。なお、表示を行なわずに、得られた３次元形状データ（Ｘ、Ｙ、Ｚ座標などからなるデータ）を記憶媒体に記憶するようにしてもよい。

図２を参照して、演算処理装置２００は、装置全体の制御を行なうＣＰＵ６０１と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。

演算処理装置２００は、映像入力部６５１を介してカメラの画像を受信する。
また演算処理装置２００は、表示装置（ディスプレイ）３００に接続されている。

フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。

なお、演算処理装置２００にステレオ写真などの画像を入力するためのＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。

また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。

図３を参照して演算処理装置２００は、カメラ１００Ｌが撮影した画像である基準画像Ｉ１と、カメラ１００Ｒが撮影した画像である参照画像Ｉ２とを受信する。

演算処理装置２００は、基準画像Ｉ１の特徴に基づいて基準画像に対して用いるウィンドウのサイズ（または形状など）を設定するウィンドウ設定部２０１と、基準画像Ｉ１をスキャンするためのウィンドウの位置を設定する基準画像ウィンドウ設定部２０３と、参照画像Ｉ２をスキャンするためのウィンドウの位置を設定する参照画像ウィンドウ設定部２０５と、基準画像のウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ ＤＦＴ）を行なうＤＦＴ部２０７と、参照画像のウィンドウで示される部分に対して２次元離散フーリエ変換を行なうＤＦＴ部２０９と、ＤＦＴ処理後の２つの画像の位相の比較を行なう位相比較部２１１と、２つの画像のずれを演算する位置ズレ演算部２１３と、位置のずれに基づき被写体Ｏ表面の３次元座標を演算する３次元座標演算部２１５とを備える。

なお基準画像のウィンドウ内の画像をｆ、そのＤＦＴ処理後の画像をＦ、参照画像のウィンドウ内の画像をｇ、そのＤＦＴ処理後の画像をＧ、位相比較部２１１の出力である合成位相スペクトルをＲ、位置ズレ演算部２１３の出力であるＰＯＣ関数をｒの記号でそれぞれ表わしている。

次に、図４を参照して、注目点のスキャンについて説明する。
演算処理装置２００は、基準画像Ｉ１上に注目点Ｐを設定し、参照画像Ｉ２上の注目点Ｐに対応する位置を見つけることで、注目点における両画像の位置ずれを検出する。さらに、演算処理装置２００は、検出された位置ずれに基づいてその注目点における３次元座標を演算する。

図５を参照して、注目点のスキャン処理について説明する。
演算処理装置２００は、スキャンが終了するまで（Ｓ１０１でＮＯ）、注目点を移動させつつ３次元座標の演算を行ない（Ｓ１０３）、スキャン終了（Ｓ１０１でＹＥＳ）とともに演算処理を中止する。これにより、注目点のスキャンに基づく３次元点群を得ることができる。

図６を参照して、基準画像のウィンドウ設定処理について説明する。まず、演算処理装置２００は、基準画像Ｉ１において注目点Ｐを中心とするウィンドウＷ１を設定する。このとき、注目点Ｐの周辺の画像のエッジ情報に基づいてウィンドウＷ１のサイズ（または形状）を決定する。この決定処理については、後述する。

図７を参照して、参照画像のウィンドウ設定処理について説明する。演算処理装置２００は、参照画像Ｉ２上でウィンドウＷ２（サイズ、形状はウィンドウＷ１と同じ）を走査し、最も基準画像Ｉ１上のウィンドウＷ１内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、ＳＡＤ（Sum of Absolute Differences）演算などで実行することができる。これにより、基準画像Ｉ１上の注目点Ｐに対応する点を設定することができる。

なお図７においては、縦方向にもウィンドウを動かすようにしているが、２台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。

さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するようにしてもよい。

画像サイズＮ_１×Ｎ_２ピクセルの２つの画像を、ｆ(ｎ_１，ｎ_２）およびｇ（ｎ_１，ｎ_２）とする。定式化の便宜上、離散空間のインデックスをｎ_１＝−Ｍ_１，…，Ｍ_１、ｎ_２＝−Ｍ_２，…，Ｍ_２とし、画像サイズをＮ_１＝２Ｍ_１＋１ピクセル、Ｎ_２＝２Ｍ_２＋１ピクセルとする。これらの画像の２次元離散フーリエ変換（２Ｄ ＤＦＴ）をそれぞれＦ（ｋ_１，ｋ_２）、Ｇ（ｋ_１，ｋ_２）として、次式で与える。

図８を参照して、位相比較部２１１の実行する第１の処理について説明する。ＤＦＴ部２０７および２０９が、それぞれＦ（ｋ_１，ｋ_２）およびＧ（ｋ_１，ｋ_２）を算出し、位相比較部２１１がそれらの合成である、

を算出する。２つのウィンドウ内の画像の位置ズレは（４）式の位相の傾きとして表現される。

図９を参照して、位相比較部２１１の実行する第２の処理を説明する。
ここでは図８に示される演算結果から、

を算出する処理が実行される。位置ズレ演算部２１３では、まず、周波数域で位相比較された位相差スペクトルを、逆フーリエ変換することで位相限定相関（ＰＯＣ）関数を演算する。

図１０に示されるように、位相限定相関（ＰＯＣ）関数は、画像間（基準ウィンドウと参照ウィンドウとの間）の移動量の座標に急峻な相関ピークを持つ性質があり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、位置ズレ演算部２１３は、ＰＯＣのピークを推定することにより画像の位置ズレ量を演算する。ＰＯＣは離散的に算出されるため、ピーク位置をサブピクセルで推定することにより、対応点座標を高い分解能で求めることができる。補間を行なう場合には、放物線などの関数をフィッティングする方法などを用いることができる。

図１１を参照して、３次元座標演算部２１５が実行する処理について説明する。ここでは、基準画像を捉えるカメラを基準カメラ、参照画像を捉えるカメラを参照カメラと呼び、図１１では、その撮影面と撮影対象物と焦点位置との位置関係を示している。

本実施の形態においては説明の簡素化の為に、ステレオカメラの収差は良好に補正されており、かつ２台のカメラは平行に設置されているものとする。実際のハードがこのような条件に無いとしても、画像処理により同等の画像に変換することが可能である。

図１１において、基準カメラと参照カメラとのそれぞれで捉えた画像において、対応する点の位置の差がΔｄであった場合に、対象物までの距離Ｄは、下式で計算される。なおここで、カメラの基線長（２台のカメラの光軸間の距離）をＢ、カメラレンズの焦点距離をｆとする。

このようにして、位置ズレ演算部２１３で求めた画像間のΔｄを用いて、注目点Ｐまでの距離をもとめ、３次元モデルを作成することができる。

図１２を参照して、ウィンドウ設定部２０１の構成について説明する。ウィンドウ設定部２０１は、注目点を中心とした所定サイズのウィンドウを設定するデフォルトウィンドウ設定部４０１と、ウィンドウ内の画像からエッジ成分を抽出するエッジ抽出部４０３と、ウィンドウの中心部のエッジ量を演算する中心部エッジ量演算部４０５と、ウィンドウの周辺部のエッジ量を演算する周辺部エッジ量演算部４０７と、演算結果に基づいて基準画像に用いるウィンドウのサイズを決定するウィンドウサイズ決定部４０９とから構成される。

ウィンドウ設定部２０１は、ウィンドウ内のエッジ領域を抽出し、エッジの分布に基づいてウィンドウサイズを変更する。より具体的には、ウィンドウ中央部にエッジ分布がある場合は、ウィンドウを小さくする。また、ウィンドウ中央部にエッジ分布がなく、周辺部にある場合も、ウィンドウを小さくする。なお、エッジ分布に応じてウィンドウ形状を設定するようにしてもよい。たとえばウィンドウの縦横比を変えるなどである。

図１３を参照して、ウィンドウサイズの決定処理について説明する。
デフォルトウィンドウ設定部４０１は、注目点を中心としたデフォルトのウィンドウを設定する。これは、図１３中のサイズＡで示される最も広い領域をカバーするウィンドウである。

エッジ抽出部４０３は、サイズＡのウィンドウ内の画像にラプラシアンフィルタをかけることで、エッジ画像を得る。

中心部エッジ量演算部４０５は、サイズＡのウィンドウの中心部のエッジ量を演算する。図１３においては、サイズＣで示される中央部の最も小さいエリアＣ−１と、エリアＣ−１を含み、エリアＣ−１よりも広くサイズＡのエリアよりも狭いエリアＣ−２とのエッジ量が演算される。ここに、Ｃ−１およびＣ−２の各エリアのエッジ量を、Ｌ(Ｃ−１)およびＬ(Ｃ−２）と表記する。

エッジ量の演算は、たとえば、対象エリア内のエッジ画像の画素値の平均により求めることができる。

周辺部エッジ量演算部４０７は、サイズＡのウィンドウ内の外縁部（周辺部）であるエリアＳ−１〜Ｓ−８それぞれのエッジ量を演算する。ここに、Ｓ−１〜Ｓ−８それぞれのエリアのエッジ量を、Ｌ（Ｓ−１）〜Ｌ（Ｓ−８）と表記する。

ウィンドウサイズ決定部４０９は、ウィンドウのサイズを以下のように決定する（ここに、ｔｈ１は所定のしきい値）。

Ｉｆ ［Ｌ（Ｃ−１）＞ｔｈ１］ ウィンドウサイズ：サイズＣ
ｅｌｓｅ Ｉｆ ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−１）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−２）］＆…＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−８）］ ウィンドウサイズ：サイズＡ
ｅｌｓｅ
ｉｆ ［Ｌ（Ｃ−１）＞Ｌ（Ｃ−２）］ ウィンドウサイズ：サイズＣ
ｅｌｓｅ ウィンドウサイズ：サイズＢ
すなわち、
（１） 中心のエリアＣ−１にエッジが多ければ、その位置についての詳細な３次元座標を求めるために、最小のウィンドウを用いる。

（２） 上記（１）でない場合に、中心のエリアＣ−１と周辺のエリアＳ１〜Ｓ８とでエッジ量の差があまりないときには、平坦な形状であるとして、最大のウィンドウで画像のマッチングを行なう。

（３） 上記（２）でもない場合に、中サイズのエリアＣ−２のエッジ量よりも、最小サイズのエリアＣ−１のエッジ量が多いのであれば、最小のウィンドウを用いる。

（４） 上記（３）でもない場合には、エリアＣ−２にエッジが多いことを示すため、サイズＢのウィンドウを用いる。

図１４を参照して、基準画像の具体例とウィンドウサイズの設定例を説明する。ここでは、基準画像として人物の顔を撮影した例を示しており、その眼の近くでウィンドウを設定している状態を示している。眼がＥで示され、その下にある皺がＦで示されている。

Ｗｃで示されるようにデフォルトウィンドウの中央部分に皺などのエッジ成分がしきい値以上あれば、サイズＣのウィンドウが選択される。また、Ｗａで示されるように、デフォルトウィンドウ内において、中央部と周辺部のエッジの差があまりない場合には、サイズＡのウィンドウが選択される。また、Ｗｂで示されるように、サイズＢのウィンドウの周縁部にエッジ成分があれば、サイズＢのウィンドウが選択される。

このような処理により、顔の３Ｄ復元を例に取ると、頬においては、大きいウィンドウを用いて対応付けして、滑らかな面の形状を再現することができる。また、目の周辺においては、ウィンドウを小さくすることにより、高い分解能で形状計測が出来る。

［第１変形例］
図１５は、ウィンドウの設定の第１変形例を示す図であり、図１３に対応する図である。図１５におけるサイズＡ、Ｂ、Ｃのウィンドウは、図１３おけるそれと同じである。また、エリアＣ−２，Ｃ−１がそれぞれサイズＢ、Ｃのウィンドウに相当することも同様であり、エリアＳ１〜Ｓ８が、サイズＡのウィンドウの周縁部を構成していることも同様である。

図１５においては、縦方向に長い、エリアＳ−２，Ｃ−１，Ｓ−６からなるウィンドウをサイズＤ−１のウィンドウと定義する。また、横方向に長い、エリアＳ−８，Ｃ−１，Ｓ−４からなるウィンドウをサイズＤ−２のウィンドウと定義する。

このように、ウィンドウは、必ずしも正方形に設定する必要はない。
ウィンドウ形状の決定方法として、各ウィンドウのエッジ量をＬ（＊）と表記すると、
Ｉｆ ［Ｌ（Ｃ−１）＞ｔｈ１］ ウィンドウサイズ：サイズＣ
ｅｌｓｅ Ｉｆ ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−１）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−２）］＆…＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−８））] ウィンドウサイズ：サイズＡ
ｅｌｓｅ
ｉｆ ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−８）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−４）］ ウィンドウサイズ：サイズＤ−２
ｅｌｓｅ ｉｆ ［Ｌ（Ｃ−１）≒Ｌ（Ｓ−２）］＆［Ｌ（Ｃ−１）≒Ｌ（Ｓ−６）］ ウィンドウサイズ：サイズＤ−１
ｅｌｓｅ
ｉｆ ［Ｌ（Ｃ−１）＞Ｌ（Ｃ−２）］ ウィンドウサイズ：サイズＣ
ｅｌｓｅ ウィンドウサイズ：サイズＢ
すなわち、
（１） 中心のエリアＣ−１にエッジが多ければ、その位置についての詳細な３次元座標を求めるために、最小のウィンドウを用いる。

（２） 上記（１）でない場合に、中心のエリアＣ−１と周辺のエリアＳ１〜Ｓ８とでエッジ量の差があまりないときには、平坦な形状であるとして、最大のウィンドウで画像のマッチングを行なう。

（３） 上記（２）でもない場合に、注目点から見て横方向に似通ったエッジ成分が続くのであれば、横長のウィンドウを設定する。

（４） 上記（３）でもない場合に、注目点から見て縦方向に似通ったエッジ成分が続くのであれば、縦長のウィンドウを設定する。

（５） 上記（４）でもない場合に、中サイズのエリアＣ−２のエッジ量よりも、最小サイズのエリアＣ−１のエッジ量が多いのであれば、最小のウィンドウを用いる。

（６） 上記（５）でもない場合には、エリアＣ−２にエッジが多いことを示すため、サイズＢのウィンドウを用いる。

なお、エッジ情報に限らず、テクスチャ情報、輝度分布などの画像特徴量に基づいてウィンドウのサイズや形状を変えるようにしてもよい。

上述の実施の形態においては、ウィンドウ設定部２０１が基準画像に設定したウィンドウから画像特徴量を抽出する構成について例示したが、画像特徴量を抽出するためのウィンドウは基準画像Ｉ１上および参照画像Ｉ２のいずれであってもよい。

［第２変形例］
上述の実施の形態においては、ステレオ画像における対応点の探索手法として、位相限定相関（ＰＯＣ）を用いる構成について例示したが、この探索手法に限られることはない。代替的に、例えば、類似度ピーク探索手法などを用いてもよい。以下、この類似度ピーク探索手法を用いてステレオ対応付けを行なう場合の処理について説明する。

再度、図６および図７を参照して、まず、位相限定相関（ＰＯＣ）を用いる場合と同様に、基準画像Ｉ１上に注目点Ｐを中心とするウィンドウＷ１を設定する（図６）とともに、参照画像Ｉ２上に基準画像Ｉ１上の注目点に対応するウィンドウＷ２を設定する（図７）。次に、参照画像Ｉ２上でウィンドウＷ２を走査し、両ウィンドウを互いに比較する。この比較の結果、基準画像Ｉ１上のウィンドウＷ１に最も近いパターン（パターン間距離が最も小さいもの）となるウィンドウＷ２を参照画像上における対応するウィンドウとする。

ここで、基準画像Ｉ１上のウィンドウＷ１と参照画像Ｉ２上のウィンドウＷ２とのパターン間距離は、両ウィンドウ間の相関演算、ＳＳＤ演算、ＳＡＤ演算などに基づいて算出される。具体的には、以下のような演算式に従って、パターン間距離が算出される。

上述のような演算式に従って算出されたパターン間距離は、類似度値へ変換される。この類似度値は、パターン間距離が小さいほど大きな値となるように決定される。一例として、類似度を０〜１の範囲で規格化した場合には、類似度値Ｓ（ｄ）は以下のような変換式によって算出される。

この変換式によれば、パターン間距離が「０」の場合に、類似度は「１」をとる。
さらに、以上のような処理によって算出される類似度値に基づいて、ピーク周辺に対して、たとえばパラボラフィッティング法などを用いて、サブピクセル類似演算を行なってもよい。

上述の実施の形態においては、本発明をステレオ３次元計測の顔認証に適用する場合について例示したが、たとえばステレオ３次元計測を利用した車載カメラにも適用することもできる。

図１６を参照して、たとえば、前方車両領域などのコントラストが高い部分については、相対的に小さいウィンドウを用いることで、横方向分解能を上げて、距離測定を行なうことができる。また、道路面などのコントラストが低い部分については、相対的に大きなウィンドウを用いて、ロバストな距離測定を行なうことができる。

［実施の形態における効果］
上記実施の形態によると、位相限定相関法（ＰＯＣ）などの探索手法を用いたステレオ対応付けにおいて、対応付けウィンドウ内のテクスチャ分布状態に応じて、相関計算を行なうウィンドウの大きさを適応的に変更することができる。ＰＯＣ処理において、ウィンドウの大きさは、空間分解能と耐ノイズ性に関連し、互いに相反する特性を持つ。空間分解能の必要な部分ではウィンドウサイズを小さく、不必要な部分ではウィンドウサイズを大きくしてノイズの影響を減らしたいというニーズがある。本実施の形態では、ウィンドウ内の画像特徴量（テクスチャ情報、輝度分布、エッジ情報など）の分布に基づいてウィンドウサイズを制御することで、そのような状況に対応することができる。

［その他］
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウェア回路を用いて行なってもよい。

また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

Claims (8)

1. 基準画像と参照画像とを受付ける画像入力手段と、
   前記基準画像および前記参照画像の一方の上に第１のウィンドウを設定する第１のウィンドウ設定手段と、
   前記基準画像および前記参照画像の他方の上に第２のウィンドウを設定する第２のウィンドウ設定手段と、
   前記第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する抽出手段とを備え、前記画像特徴量は画像のエッジ量を含み、
   前記抽出された画像特徴量に基づいて、前記第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記第１のウィンドウに対する変更に応じて、前記第２のウィンドウのサイズまたは形状を変更する変更手段と、
   変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する演算手段とを備え、
   前記抽出手段は、前記第１のウィンドウを所定の初期サイズに設定した状態において、前記第１のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測し、
   前記変更手段は、
   前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第１のウィンドウを中心部に対応するサイズまで小さくし、
   前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第１のウィンドウを前記初期サイズに維持する、画像処理装置。
2. 前記抽出手段は、前記初期サイズに設定された第１のウィンドウについて、中心部および周辺部のいずれかに対応して、同一サイズに区分された各エリアにおけるエッジ量を計測し、
   前記変更手段は、中心部および周辺部にそれぞれ対応するエリア間でエッジ量を比較する、請求項１に記載の画像処理装置。
3. 前記抽出手段は、中心部に対応するエリアと、中心部より大きくかつ前記初期サイズより小さい拡大中心部に対応するエリアとのそれぞれにおけるエッジ量を計測し、
   前記変更手段は、
   前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっておらず、かつ、前記中心部のエッジ量と前記周辺部のエッジ量とが同程度でない場合には、中心部に対応するエリアのエッジ量と拡大中心部に対応するエリアのエッジ量とを比較し、
   中心部に対応するエリアのエッジ量が拡大中心部に対応するエリアのエッジ量に比較して多いときに、前記第１のウィンドウを中心部に対応するサイズまで小さくし、
   拡大中心部に対応するエリアのエッジ量が中心部に対応するエリアのエッジ量に比較して多いときに、前記第１のウィンドウを拡大中心部に対応するサイズまで小さくする、請求項１または２に記載の画像処理装置。
4. 前記演算手段は、前記第１のウィンドウ内の画像と前記第２のウィンドウ内の画像との相関値に基づいて、前記基準画像の一点に対応する前記参照画像の一点を求める、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記演算手段の演算結果に基づいて、前記基準画像と前記参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備える、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 基準画像と参照画像とを受付けるステップと、
   前記基準画像および前記参照画像の一方の上に第１のウィンドウを設定するステップと、
   前記基準画像および前記参照画像の他方の上に第２のウィンドウを設定するステップと、
   前記第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップとを備え、前記画像特徴量は画像のエッジ量を含み、
   前記抽出された画像特徴量に基づいて、前記第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記第１のウィンドウに対する変更に応じて、前記第２のウィンドウのサイズまたは形状を変更するステップと、
   変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを備え、
   前記抽出するステップは、前記第１のウィンドウを所定の初期サイズに設定した状態において、前記第１のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測するステップを含み、
   前記変更するステップは、
   前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第１のウィンドウを中心部に対応するサイズまで小さくするステップと、
   前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第１のウィンドウを前記初期サイズに維持するステップとを含む、画像処理装置の制御方法。
7. コンピュータに、
   基準画像と参照画像とを受付けるステップと、
   前記基準画像および前記参照画像の一方の上に第１のウィンドウを設定するステップと、
   前記基準画像および前記参照画像の他方の上に第２のウィンドウを設定するステップと、
   前記第１のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出するステップとを備え、前記画像特徴量は画像のエッジ量を含み、
   前記抽出された画像特徴量に基づいて、前記第１のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記第１のウィンドウに対する変更に応じて、前記第２のウィンドウのサイズまたは形状を変更するステップと、
   変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算するステップとを実行させえ、
   前記抽出するステップは、前記第１のウィンドウを所定の初期サイズに設定した状態において、前記第１のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測するステップを含み、
   前記変更するステップは、
   前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第１のウィンドウを中心部に対応するサイズまで小さくするステップと、
   前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第１のウィンドウを前記初期サイズに維持するステップとを含む、プログラム。
8. 同一の被写体をそれぞれ撮像して基準画像および参照画像からなるステレオ画像を取得する一対の撮像手段と、
   前記基準画像上に第１のウィンドウを設定する第１のウィンドウ設定手段と、
   前記参照画像上に第２のウィンドウを設定する第２のウィンドウ設定手段と、
   演算手段とを備え、
   前記演算手段は、
   前記第１のウィンドウおよび前記第２のウィンドウのいずれか一方のウィンドウ内の画像から、少なくとも１つの画像特徴量を抽出する手段を含み、前記画像特徴量は画像のエッジ量を含み、
   前記抽出された画像特徴量に基づいて、前記一方のウィンドウのサイズおよび形状の少なくとも１つを変更するとともに、前記一方のウィンドウに対する変更に応じて、他方のウィンドウのサイズまたは形状を変更する手段と、
   変更後の第１のウィンドウ内の画像と変更後の第２のウィンドウ内の画像との対応関係を演算する手段とを含み、
   前記抽出する手段は、前記第１のウィンドウを所定の初期サイズに設定した状態において、前記第１のウィンドウ内についての、中心部のエッジ量と周辺部のエッジ量とを計測し、
   前記変更する手段は、
   前記中心部のエッジ量が前記周辺部のエッジ量に比較して所定量以上多くなっていれば、前記第１のウィンドウを中心部に対応するサイズまで小さくし、
   前記中心部のエッジ量と前記周辺部のエッジ量とが同程度であれば、前記第１のウィンドウを前記初期サイズに維持する、画像処理装置。

Images