JP4821548B2 - 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム - Google Patents

Description

この発明は画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関し、特に基準画像と参照画像との対応関係を演算することができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムに関する。

顔認証、モーションキャプチャ、顔の表情解析、および発話解析などの分野において、３次元形状の動画計測のニーズが高い。この様な動的な３次元計測は、被写体の動きに対応する必要があるため、レーザー光などをスキャンするアクティブ方法よりも、ステレオ方式などのパッシブ方式が適している。

位相限定相関（ＰＯＣ：Phase-Only Correlation）を用いたステレオ対応点探索アルゴリズム（ステレオ画像である基準画像と参照画像とからなる画像の同一点を対応付けるアルゴリズム）は、そのロバスト性・高精度が注目されている。より詳しくは、位相限定相関法は、基準画像上のウィンドウと参照画像上のウィンドウとの間の相関を、振幅成分を抑制し、位相成分のみで判断する。このため、左右カメラのゲインやオフセット調整のばらつきなどによる画像の明るさの違いに影響されず、安定した計測が可能である。また、位相にのみ注目することにより、高精度に位置ズレを計測できるという特徴がある。

下記特許文献１は、ステレオカメラに位相限定相関法を応用した貫通穴計測システムを開示している。

下記非特許文献１は、ＰＯＣ演算時におけるスペクトルの重み付けに基づくエイリアシングとノイズの影響の低減について開示している。
特開２００６−１０３９２号公報 「位相限定相関法に基づくサブピクセル画像マッチングの高性能化」、計測自動制御学会東北支部、第２１８回研究集会（２００４．１０．９）、資料番号２１８−１５

ステレオ対応付けの精度は、被写体のテクスチャに依存する。このため、低コントラストの領域ではカメラのノイズの影響を受けやすく、基準画像と参照画像との対応関係の演算を良好に行なうことができないという問題があった。

本発明はそのような課題を解決するためになされたものであり、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、画像処理装置は、基準画像と参照画像とを入力する画像入力手段と、基準画像上にウィンドウを設定する第１のウィンドウ設定手段と、参照画像上にウィンドウを設定する第２のウィンドウ設定手段と、第１のウィンドウ設定手段で設定されたウィンドウ内の画像、および第２のウィンドウ設定手段で設定されたウィンドウ内の画像を２次元フーリエ変換する変換手段と、第１のウィンドウ設定手段で設定されたウィンドウ内の画像と第２のウィンドウ設定手段で設定されたウィンドウ内の画像との合成画像の少なくとも２つの周波数領域における振幅成分の比率に基づき、ウィンドウ内の画像に含まれる成分に応じた、２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定手段と、２次元フーリエ変換後の画像、および重み付け関数に基づいて、基準画像と参照画像との対応関係を演算する演算手段とを備える。

好ましくは画像処理装置は、基準画像および参照画像の少なくとも一方の撮影条件を入力する撮影条件入力手段をさらに備え、撮影条件は、ゲイン、ホワイトバランス、積分枚数のうち少なくとも一つを含み、重み付け関数設定手段は、撮影条件に基づいて重み付け関数を設定する。

好ましくは重み付け関数設定手段は、撮影条件に基づいて、振幅成分が撮像素子のノイズレベルで決まる閾値以下となる周波数の重みを０とする。

好ましくは重み付け関数設定手段は、撮影条件に基づいて、振幅成分と撮影素子のノイズレベルの相対関係に基づいて重み付け関数を設定する。

好ましくは演算手段は、２つのウィンドウ内の画像の相関値に基づいて、基準画像の一点に対応する参照画像の一点を求める。

好ましくは画像処理装置は、演算手段の演算結果に基づいて、基準画像と参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備える。

この発明の他の局面に従うと画像処理装置の制御方法は、基準画像と参照画像とを入力する画像入力ステップと、基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像とのウィンドウ設定ステップで設定されたウィンドウ内の画像との合成画像の少なくとも２つの周波数領域における振幅成分の比率に基づき、ウィンドウ内の画像に含まれる成分に応じた、２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、２次元フーリエ変換後の画像、および重み付け関数に基づいて、基準画像と参照画像との対応関係を演算する演算ステップとを備える。

この発明のさらに他の局面に従うと、画像処理装置の制御プログラムは、基準画像と参照画像とを入力する画像入力ステップと、基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、第１のウィンドウ設定ステップで設定されたウィンドウ内の画像とのウィンドウ設定ステップで設定されたウィンドウ内の画像との合成画像の少なくとも２つの周波数領域における振幅成分の比率に基づき、ウィンドウ内の画像に含まれる成分に応じた、２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、２次元フーリエ変換後の画像、および重み付け関数に基づいて、基準画像と参照画像との対応関係を演算する演算ステップとをコンピュータに実行させる。

これらの発明に従うと、基準画像と参照画像との対応関係の演算を良好に行なうことができる画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラムを提供することができる。

図１は、本発明の実施の形態の１つにおける３次元計測装置の構成を示す図である。
図を参照して３次元計測装置は、左右に並べられた２台のカメラ１００Ｒ，１００Ｌと、カメラに接続される演算処理装置２００と、表示装置３００とから構成される。

カメラ１００Ｒ，１００Ｌは、被写体Ｏ（ここでは人物の顔を例示している）の２次元画像を撮影する。カメラ１００Ｒとカメラ１００Ｌとは、所定距離左右に離されて設置される。これにより、ステレオ画像を得ることが可能である。

演算処理装置２００は、２台のカメラで撮影された画像から、被写体の３次元形状を演算する。表示装置３００は、計測された被写体の３次元形状を表示する。なお、表示を行なわずに、得られた３次元形状データ（Ｘ、Ｙ、Ｚ座標などからなるデータ）を記憶媒体に記憶するようにしてもよい。

図２は、図１の演算処理装置２００のハードウェア構成を示すブロック図である。
図を参照して、演算処理装置２００は、装置全体の制御を行なうＣＰＵ６０１と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。

演算処理装置２００は、映像入力部６５１からカメラの画像を入力する。
また演算処理装置２００は、表示装置（ディスプレイ）３００に接続されている。

フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。

なお、演算処理装置２００にステレオ写真などの画像を入力するためのＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。

また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。

図３は、演算処理装置２００の機能構成を示すブロック図である。
図を参照して演算処理装置２００は、カメラ１００Ｌが撮影した画像である基準画像Ｉ１と、カメラ１００Ｒが撮影した画像である参照画像Ｉ２とを入力する。

演算処理装置２００は、基準画像Ｉ１をスキャンするためのウィンドウの位置を設定する基準画像ウィンドウ設定部２０３と、参照画像Ｉ２をスキャンするためのウィンドウの位置を設定する参照画像ウィンドウ設定部２０５と、基準画像のウィンドウで示される部分に対して２次元離散フーリエ変換（２Ｄ ＤＦＴ）を行なうＤＦＴ部２０７と、参照画像のウィンドウで示される部分に対して２次元離散フーリエ変換を行なうＤＦＴ部２０９と、ＤＦＴ処理後の２つの画像の位相の比較を行なう位相比較部２１１と、２つの画像のずれを演算する位置ズレ演算部２１３と、位置のずれに基づき被写体Ｏ表面の３次元座標を演算する３次元座標演算部２１５と、ＤＦＴ部２０７の出力に基づいて位相比較部２１１で用いる重み係数を決定する重み係数決定部２２１とを備える。

なお基準画像のウィンドウ内の画像をｆ、そのＤＦＴ処理後の画像をＦ、参照画像のウィンドウ内の画像をｇ、そのＤＦＴ処理後の画像をＧ、位相比較部２１１の出力である合成位相スペクトルをＲ、位置ズレ演算部２１３の出力であるＰＯＣ関数をｒの記号でそれぞれ表わしている。

図４は、注目点のスキャンを説明するための図である。
基準画像Ｉ１上に注目点Ｐを設定し、参照画像Ｉ２上の注目点Ｐに対応する位置を見つけることで、注目点における両画像の位置ずれが検出される。検出された位置ずれに基づいてその注目点における３次元座標が演算される。

図５は、注目点のスキャン処理を示すフローチャートである。
スキャンが終了するまで（Ｓ１０１でＮＯ）、注目点を移動させつつ３次元座標の演算を行ない（Ｓ１０３）、スキャン終了（Ｓ１０１でＹＥＳ）とともに演算処理を中止する。

これにより、注目点のスキャンに基づく３次元点群を得ることができる。
図６は、基準画像のウィンドウ設定処理を示す図である。

図を参照して、基準画像Ｉ１において注目点Ｐを中心とする所定サイズのウィンドウＷ１を設定する。

図７は、参照画像のウィンドウ設定処理を示す図である。
参照画像Ｉ２上でウィンドウＷ２（サイズ、形状はウィンドウＷ１と同じ）を走査し、最も基準画像Ｉ１上のウィンドウＷ１内の画像に近いパターンを参照画像上の対応箇所とする。近さの判定は、それぞれのウィンドウ間の相関演算や、ＳＡＤ（Sum of Absolute Differences）演算などで実行することができる。これにより、基準画像Ｉ１上の注目点Ｐに対応する点を設定することができる。

なお図７においては、縦方向にもウィンドウを動かすようにしているが、２台のカメラを水平に設置するのであれば、基準画像と参照画像とでの画像ズレは横方向にしか生じないため、横方向のみにウィンドウを動かすようにしてもよい。

さらに参照画像のウィンドウは、広範囲に動かすことで基準画像との対応関係を調べてもよいが、探索の「初期値」を予め決めておき、その初期値から所定範囲内だけ参照画像のウィンドウを動かすことで、基準画像と参照画像との対応を調べるようにしてもよい。すなわち、解像度の低い画像を用いて基準画像と参照画像との対応関係を求め、その結果を用いて解像度の高い画像での初期値を設定するなどである。

画像サイズＮ_１×Ｎ_２ピクセルの２つの画像を、ｆ(ｎ_１，ｎ_２）およびｇ（ｎ_１，ｎ_２）とする。定式化の便宜上、離散空間のインデックスをｎ_１＝−Ｍ_１，…，Ｍ_１、ｎ_２＝−Ｍ_２，…，Ｍ_２とし、画像サイズをＮ_１＝２Ｍ_１＋１ピクセル、Ｎ_２＝２Ｍ_２＋１ピクセルとする。これらの画像の２次元離散フーリエ変換（２Ｄ ＤＦＴ）をそれぞれＦ（ｋ_１，ｋ_２）、Ｇ（ｋ_１，ｋ_２）として、次式で与える。

図８は、位相比較部２１１の実行する第１の処理を示す図である。
図を参照して、ＤＦＴ部２０７，２０９により、Ｆ（ｋ_１，ｋ_２）、Ｇ（ｋ_１，ｋ_２）が算出され、それらの合成である、

が算出され、２つのウィンドウ内の画像の位置ズレが、位相の傾きとして表現される。
図９は、位相比較部２１１の実行する第２の処理を示す図である。

ここでは図８に示される演算結果から、合成位相スペクトルである、

を算出する処理が実行される。また、合成位相スペクトルに対して、下記のように周波数成分に応じた重み付け関数Ｈがかけられる。これは、位相の傾きをロバストに推定するために、周波数成分毎に重み付けを行なう処理である。

位置ズレ演算部２１３では、まず、周波数域で位相比較された合成位相スペクトルを、逆フーリエ変換することで位相限定相関（ＰＯＣ）関数を演算する。

図１０に示されるように、位相限定相関（ＰＯＣ）関数は、画像間（基準ウィンドウと参照ウィンドウとの間）の移動量の座標に急峻な相関ピークを持つ性質があり、画像マッチングにおけるロバスト性と移動量推定精度が高いというという特徴がある。したがって、位置ズレ演算部２１３は、ＰＯＣのピークを推定することにより画像の位置ズレ量を演算する。ＰＯＣは離散的に求まるため、ピーク位置をサブピクセルで推定することにより、高分解な対応点座標を求めることができる。補間を行なう場合には、放物線などの関数をフィッティングするなどが考えられる。

図１１は、３次元座標演算部２１５が実行する処理を示す図である。
ここでは、基準画像を捉えるカメラを基準カメラ、参照画像を捉えるカメラを参照カメラと呼び、その撮影面と撮影対象物と焦点位置との位置関係を示している。

本実施の形態においては説明の簡素化の為に、ステレオカメラの収差は良好に補正されており、かつ２台のカメラは平行に設置されているものとする。実際のハードがこのような条件に無いとしても、画像処理により同等の画像に変換することも可能である。

図において、基準カメラと参照カメラとのそれぞれで捉えた画像において、対応する点の位置の差がΔｄであった場合に、対象物までの距離Ｄは、下式で計算される。なおここで、カメラの基線長（２台のカメラの光軸間の距離）をＢ、カメラレンズの焦点距離をｆとする。

このようにして、位置ズレ演算部２１３で求めた画像間のΔｄを用いて、注目点Ｐまでの距離をもとめ、３次元モデルを作成することができる。

図１２は、重み係数決定部２２１の構成を示す図である。
図を参照して重み係数決定部２２１は、ＤＦＴ振幅画像Ｉ３と、撮影条件データＤ３とを入力する。

重み係数決定部２２１は、ＤＦＴ振幅画像Ｉ３を撮影条件に基づいて修正する振幅画像修正部５０１と、修正された振幅画像から低周波域のエネルギーを算出する低周波域エネルギー算出部５０３と、修正された振幅画像から高周波域のエネルギーを算出する高周波域エネルギー算出部５０５と、エネルギー算出結果に基づいて重み係数を決定する重み係数決定部５０７と、決定された重み係数を撮影条件データＤ３に基づいて修正する重み係数修正部５０９とを備えている。

図１３は、振幅画像修正部５０１の処理を示す図である。
図１３では、周波数によって振幅の異なるノイズの例を示している。

振幅画像修正部５０１は、センサの撮影条件（ゲイン、ホワイトバランス（ＷＢ）、積分枚数など）毎のノイズプロファイル（予め測定された結果により得られたもの）を持ち、各ノイズプロファイルに応じて、振幅成分をカットする。すなわち図１３（１）に示されるように振幅画像が入力されると、図１３（２）に示されるように撮影条件に応じて高周波域の振幅成分をカットする。

図１４は、低周波域エネルギー算出部５０３および高周波域エネルギー算出部５０５の動作を示す図である。

振幅画像修正部５０１から出力された振幅画像において、低周波域エネルギー算出部５０３は、低周波領域（Ａ領域）の振幅量の総和を計算する。この値をＥ（Ａ）と称する。なお、Ａ領域は、周波数ｐ／２ｎ〜１／４の範囲とする。

振幅画像修正部５０１から出力された振幅画像において、高周波域エネルギー算出部５０５は、高周波領域（Ｂ領域）の振幅量の総和を計算する。この値をＥ（Ｂ）と称する。なお、Ｂ領域は、周波数１／４〜（ｎ−ｑ）／２ｎの範囲とする。

このように、Ａ領域およびＢ領域は、ｐ／２ｎ以上かつ（ｎ−ｑ）／２ｎ以下（ｐ＞３，ｑ＞３）の範囲であることが望ましい。ｐ／２ｎ以下の波長の周波数成分は、位相を位置ズレに変換する時の精度が悪く、（ｎ−ｑ）／２ｎ以上の波長の周波数成分は、元々信号成分が少なく位相に信頼性がないためである。

図１５は、重み係数決定部５０７の処理を示す図である。
図に示されるように、重みパターン１と重みパターン２とが装置に保持されているものとする。ここに、重みパターン１は重みパターン２よりも広い領域をカットするための重み係数である。

重み係数は、以下のように決定される（なお、ＴＨはしきい値である）。
Ｉｆ ［Ｅ（Ａ）／Ｅ（Ｂ）＞ＴＨ］ 重みパターン１
ｅｌｓｅ 重みパターン２
すなわち、Ａ領域に振幅量が集中している時には、その部分を強調すべく、より広い高周波領域をカットするパターンを選択する。

明るい部分と暗い部分、肌の位置（頬と唇）などで被写体のテクスチャと画像ノイズとの比率が異なる。これに合わせて適応的にカット周波数を変更することにより、本実施の形態では常に最適条件でウィンドウの対応付け処理が行われる。

また、顔と胴体（衣服）では、被写体のテクスチャの周波数成分が異なり、主要な周波数成分が異なる。本実施の形態では、それぞれのテクスチャに適した周波数成分の位相を用いることにより、被写体に応じた３次元計測を行なうことができる。

なお、テクスチャ分析部によってテクスチャ解析を行ない、その結果に基づいて数種類用意しておいたテクスチャに適した重み付けパターンのうち、好ましいものを選択するようにしてもよい。すなわち、顔、服（柄のタイプ）、背景画像などに応じて、被写体候補に適した重み付けプロファイルを用いるなどである。

上記実施の形態では、２つの周波数帯の振幅量を用いて重み関数を選択したが、振幅量を計算する周波数帯の数は、３以上であっても構わない。

また、予め重みパターンを用意して選択する代わりに、各周波数帯毎に、テクスチャの持つ振幅成分と、センサの撮影条件に基づくノイズプロファイルの大きさの比に応じて重みパターンを生成するようにしてもよい。これにより、より多彩なテクスチャに対して最適な重みパターンを設定することが可能となる。

図１６は、重み係数修正部５０９の処理を示す図である。
重み係数修正部５０９は、選択された重みパターン（ここでは重みパターン２を例示）を、センサの撮影条件に基づくノイズプロファイルに応じてカットする。これは、振幅成分が撮像素子のノイズレベルで決まる閾値以下となる周波数の重みを０とするものである。

これにより、図９の処理で用いる重み付け関数Ｈ（ｋ_１，ｋ_２）を求めることができる。

［実施の形態における効果］
上記実施の形態によると、位相限定相関法を用いたステレオ対応付けにおいて、対応付けウィンドウ内のテクスチャの周波数特性と、カメラの撮影条件とに応じて、相関計算を行なう位相の重み付けを適応的に変更することができる。コントラストの少ないウィンドウ領域では、画像のノイズの影響により対応付けの精度が劣化する。周波数領域で帯域制限を行なうことにより画像ノイズの影響を減らす方法が考えられるが、画像全体で同じパラメータを用いると、各ウィンドウ毎に最適な帯域制限ができず、ポイント毎にノイズの影響の受け方が異なってしまう。本実施の形態ではＰＯＣ演算時に、ウィンドウ毎に周波数特性を演算するので、それを利用して、周波数特性に応じて、最適な周波数帯を選択することができる。これにより、画像全体にわたって対応付け精度を向上させることが出来る。

［その他］
上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。

また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態の１つにおける３次元計測装置の構成を示す図である。 図１の演算処理装置２００のハードウェア構成を示すブロック図である。 演算処理装置２００の機能構成を示すブロック図である。 注目点のスキャンを説明するための図である。 注目点のスキャン処理を示すフローチャートである。 基準画像のウィンドウ設定処理を示す図である。 参照画像のウィンドウ設定処理を示す図である。 位相比較部２１１の実行する第１の処理を示す図である。 位相比較部２１１の実行する第２の処理を示す図である。 位相限定相関（ＰＯＣ）関数の具体例を示す図である。 ３次元座標演算部２１５が実行する処理を示す図である。 重み係数決定部２２１の構成を示す図である。 振幅画像修正部５０１の処理を示す図である。 低周波域エネルギー算出部５０３および高周波域エネルギー算出部５０５の動作を示す図である。 重み係数決定部５０７の処理を示す図である。 重み係数修正部５０９の処理を示す図である。

符号の説明

１００Ｒ，１００Ｌ カメラ、２００ 演算処理装置、２０３ 基準画像ウィンドウ設定部、２０５ 参照画像ウィンドウ設定部、２０７，２０９ ＤＦＴ部、２１１ 位相比較部、２１３ 位置ズレ演算部、２１５ ３次元座標演算部、２２１ 重み係数決定部、３００ 表示装置。

Claims (8)

1. 基準画像と参照画像とを入力する画像入力手段と、
   前記基準画像上にウィンドウを設定する第１のウィンドウ設定手段と、
   前記参照画像上にウィンドウを設定する第２のウィンドウ設定手段と、
   前記第１のウィンドウ設定手段で設定されたウィンドウ内の画像、および前記第２のウィンドウ設定手段で設定されたウィンドウ内の画像を２次元フーリエ変換する変換手段と、
   前記第１のウィンドウ設定手段で設定されたウィンドウ内の画像と前記第２のウィンドウ設定手段で設定されたウィンドウ内の画像との合成画像の少なくとも２つの周波数領域における振幅成分の比率に基づき、前記ウィンドウ内の画像に含まれる成分に応じた、前記２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定手段と、
   前記２次元フーリエ変換後の画像、および前記重み付け関数に基づいて、前記基準画像と前記参照画像との対応関係を演算する演算手段とを備えた、画像処理装置。
2. 前記基準画像および前記参照画像の少なくとも一方の撮影条件を入力する撮影条件入力手段をさらに備え、前記撮影条件は、ゲイン、ホワイトバランス、積分枚数のうち少なくとも一つを含み、
   前記重み付け関数設定手段は、前記撮影条件に基づいて重み付け関数を設定する、請求項１に記載の画像処理装置。
3. 前記重み付け関数設定手段は、前記撮影条件に基づいて、振幅成分が撮像素子のノイズレベルで決まる閾値以下となる周波数の重みを０とする、請求項２に記載の画像処理装置。
4. 前記重み付け関数設定手段は、前記撮影条件に基づいて、振幅成分と撮影素子のノイズレベルの相対関係に基づいて重み付け関数を設定する、請求項３に記載の画像処理装置。
5. 前記演算手段は、２つのウィンドウ内の画像の相関値に基づいて、前記基準画像の一点に対応する前記参照画像の一点を求める、請求項１から４のいずれかに記載の画像処理装置。
6. 前記演算手段の演算結果に基づいて、前記基準画像と前記参照画像とに含まれる対象物の３次元座標を演算する３次元座標演算部をさらに備えた、請求項１から５のいずれかに記載の画像処理装置。
7. 基準画像と参照画像とを入力する画像入力ステップと、
   前記基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、
   前記参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、
   前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、
   前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像と前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像との合成画像の少なくとも２つの周波数領域における振幅成分の比率に基づき、前記ウィンドウ内の画像に含まれる成分に応じた、前記２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、
   前記２次元フーリエ変換後の画像、および前記重み付け関数に基づいて、前記基準画像と前記参照画像との対応関係を演算する演算ステップとを備えた、画像処理装置の制御方法。
8. 基準画像と参照画像とを入力する画像入力ステップと、
   前記基準画像上にウィンドウを設定する第１のウィンドウ設定ステップと、
   前記参照画像上にウィンドウを設定する第２のウィンドウ設定ステップと、
   前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像、および前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像を２次元フーリエ変換する変換ステップと、
   前記第１のウィンドウ設定ステップで設定されたウィンドウ内の画像と前記第２のウィンドウ設定ステップで設定されたウィンドウ内の画像との合成画像の少なくとも２つの周波数領域における振幅成分の比率に基づき、前記ウィンドウ内の画像に含まれる成分に応じた、前記２次元フーリエ変換後の画像に対する重み付け関数を設定する重み付け関数設定ステップと、
   前記２次元フーリエ変換後の画像、および前記重み付け関数に基づいて、前記基準画像と前記参照画像との対応関係を演算する演算ステップとをコンピュータに実行させる、画像処理装置の制御プログラム。

Images