JP5198543B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明の実施形態は、画像処理方法、画像処理装置及び画像処理プログラムに関する。

従来より、複数の画像間の対応点を探索する技術がある。対応点を探索する方法には、例えば、複数の画像に各々含まれる所定の大きさのブロックをマッチングさせるブロックマッチングという方法がある。ブロックマッチングの方法としては、例えば、特許文献１に示されるように、絶対値輝度最大値（MAD：Maximum Absolute Difference）を用いて行う方法がある。この方法によれば、明度変化にロバストなブロックマッチングを実現することができる。MADはノイズに脆弱であるが、差分絶対値和（SAD:Sum of Absolute Difference）を線形結合することにより、ノイズに対するロバスト性も担保することができる。

特開２００８−２３４４６５号公報

しかし、従来の技術では、ブロック内に特徴的な画像パターンが含まれている場合にはマッチングに成功するが、特徴があまりなく明度がフラットなブロックではマッチングに失敗する恐れがあった。このため、より精度高くブロックマッチングを実現する技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、精度のより高いブロックマッチングを実現可能な画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一の実施形態に係る画像処理方法は、第１画像の一部の画素を含む画像領域である第１ブロックに対して、当該第１ブロックに含まれる画素間で画素値の変化が大きいほど高いアクティビティの度合いを示すアクティビティ値を算出する第１算出ステップと、前記第１ブロックにおける前記画素値と、第２画像の一部の画素を含む画像領域である第２ブロックにおける前記画素値との差が小さいほど高い評価を示す第１評価値を算出する第２算出ステップと、前記第１ブロックにおける前記画素値の空間的な相対関係と、前記第２ブロックにおける前記画素値の空間的な相対関係との相関が高いほど高い評価を示す第２評価値を算出する第３算出ステップと、前記アクティビティ値が高いほど前記第１評価値の割合を大きくし、前記アクティビティ値が低いほど前記第１評価値の割合を小さくして、前記第１評価値及び前記第２評価値から、前記第１ブロックに対応する前記第２ブロックを探索するための第３評価値を算出する第４算出ステップとを含む。

画像処理装置の機能的構成を例示する図。 参照画像における参照ブロックを例示する図。 ISCを例示する図。 モデルとなる対象画像を例示する図。 モデルとなる参照画像を例示する図。 MADによる評価値の分布を示す図。 ISCによる評価値の分布を示す図。 対象画像を例示する図。 参照画像を例示する図。 MADによる評価値の分布を示す図。 ISCによる評価値の分布を示す図。 MADによる評価値の分布を示す図。 ISCによる評価値の分布を示す図。 信頼度wを求めるためのガウス関数を示す図。 信頼度wを求めるための線形関数を示す図。 信頼度wを求めるための増加関数の例を示す図。 対応ブロック探索処理の手順を示すフローチャート。 第３評価値の分布を示す図。 第３評価値の分布を示す図。

以下に添付図面を参照して、本実施形態に係る画像処理方法、画像処理装置及び画像処理プログラムを詳細に説明する。

本実施の形態に係る画像処理装置は、基準となる対象の画像（対象画像という）と参照画像との間でブロックマッチングを行うものであり、対象画像を構成する全部又は一部の画素を含む画像領域であるブロック(対象ブロックという)に対して、参照画像を構成する一部の画素を含む画像領域であるブロック（参照ブロックという）のうち当該対象ブロックと相関の高い参照ブロックを対応付ける。このような対応付けとしては、例えば、立体視用のステレオ画像において左目用のカメラで撮影された画像と右目用のカメラで撮影された画像との対応付けや、動画像において時刻ｔに対応する画像であるフレームと時刻「ｔ−１」に対応する画像であるフレームとの対応付けや、任意の画像に含まれる物体と同じ物体を動画像中から探索する場合に当該物体に相当するブロック間の対応付け等がある。このような対応付けの評価値として差分絶対値平均（MAD:Mean Absolute Difference）がよく用いられる。しかし例えばステレオ画像の場合では、左目用のカメラ右目用のカメラとの特性差等によって左右の各画像を構成する画素の値である画素値がずれてしまうことがある。MADは、相関が高いとして対応付けられる複数のブロック間ではブロック内の画素値の平均が等しいという仮定が必要な評価値であり、画素値のずれ（画素値ズレという）が起こっている場合にMADを評価値として用いてしまうと、正しい対応付けを行うことができない恐れがある。画素値ズレとは即ち輝度のずれ（輝度ズレという）である。一方、画素値ズレにロバストな評価値として例えば増分符号相関（ISC:Increment Sign Correlation）が知られている。ISCはブロック内で隣接する画素間の空間的な相対関係に基づいた評価値であり、画素値の平均が等しいことを仮定しない。そのため画素値ズレに対してロバストである。しかし、画素値の平均を使うことができないため位置合わせの精度はMADに比べると低い。このため、本実施の形態においては、対象画像と参照画像との間で行うブロックマッチングにおいて、MADとISCとを組み合わせて用いることにより、精度のより高いブロックマッチングを実現させる。これを実現可能にするための詳細な構成について以下で説明する。

まず、本実施の形態に係る画像処理装置のハードウェア構成について説明する。本実施の形態の画像処理装置は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、画像処理装置には、情報を表示する表示部と、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部と、外部装置の通信を制御する通信Ｉ／Ｆ（interface）とが有線又は無線により各々接続される。上述した対象画像や参照画像は、画素毎に画素値を示す画像データとして例えばＨＤＤ等の補助記憶部に記憶される。また、画像処理装置が、放送波を受信する受信部を備えるようにしても良く、当該放送波により搬送された画像データが対象画像や参照画像の画像データとして主記憶部や補助記憶部に記憶されるようにしても良い。

次に、このようなハードウェア構成における画像処理装置の機能的構成について図１を用いて説明する。画像処理装置は、アクティビティ値算出部１１と、第１ブロック評価値算出部１２と、第２ブロック評価値算出部１３と、評価値合成部１４と、最大評価探索部１５とを有する。これらの各部は、画像処理装置のＣＰＵが主記憶部や補助記憶部に記憶された各種プログラムを実行することにより実現される。

アクティビティ値算出部１１は、対象ブロックに含まれる画素の画素値の変化（振幅）が大きいほど高いアクティビティの度合いを示すアクティビティ値を算出する。ここで、対象ブロックの水平方向の大きさ及び垂直方向の大きさをそれぞれM1,M2とし、参照ブロックは、図２に例示されるように、参照画像を複数個の矩形に分割したものであるとし、参照ブロックの水平方向のインデックス及び垂直方向のインデックスをそれぞれi,jとする。また、対象ブロック及び参照ブロックのそれぞれについて、各ブロック内の画素の相対的な位置を(x,y)で表すものとする。また、対象ブロックに含まれる位置（X,Y）における画素の画素値をI_L(X,Y)と表し、参照ブロックに含まれる位置（X,Y）における画素の画素値をI_R(X,Y)と表すものとする。アクティビティ値としては、例えば、対象ブロック内の画素値の標準偏差を用いる。この場合、アクティビティ値算出部１１は、以下の式１により、アクティビティ値ACTを算出する。

また、アクティビティ値として、対象ブロック内の画素値の分散を用いても良い。また、アクティビティ値として、対象ブロック内の画素値の勾配の平均を用いても良い。画素値の勾配の平均を用いる場合、アクティビティ値算出部１１は、以下の式２により、アクティビティ値ACTを算出する。

第１ブロック評価値算出部１２は、対象ブロックに含まれる各画素の画素値と、参照ブロックに含まれる各画素の画素値との差が小さいほど高い評価を示す第１評価値を算出する。尚、参照ブロックは、対象ブロックと同一の形状及びサイズであるとする。第１評価値は、位置合わせの精度は高いが、画素値ズレに対して脆弱である。このような第１評価値としては、例えば、上述のMADがある。このとき、第１ブロック評価値算出部１２は、以下の式３により、第１評価値としてMADを算出する。但し、「u=(u_x,u_y)^T」(Tは転置を表す)は、後述の最大評価探索で探索の対象となるベクトルである。

また、第１評価値は、平均を取らない差分絶対値和（SAD:Sum of Absolute Difference）であっても良い。この場合、第１ブロック評価値算出部１２は、以下の式４により、第１評価値としてSADを算出する。

また、第１評価値は、二乗誤差平均（MSD:Mean Squared Error）であっても良い。この場合、第１ブロック評価値算出部１２は、以下の式５により、第１評価値としてMSDを算出する。

また、第１評価値は、平均を取らない二乗誤差和（SSD:Sum of Squared Difference）であっても良い。この場合、第１ブロック評価値算出部１２は、以下の式６により、第１評価値としてSSDを算出する。

第２ブロック評価値算出部１３は、対象ブロックに含まれる画素の画素値の空間的な相対関係と、参照ブロックに含まれる画素の画素値の空間的な相対関係との相関が高いほど高い評価を示す第２評価値を算出する。空間的な相対関係としては、例えば、隣接する画素間での画素値の大小関係を用いる。このような大小関係を用いた第２評価値としては、例えば、上述のISC（増分符号相関）がある。ISCは、図３に例示されるように、隣接する画素間での画素値の差分が正か０か負かを表す。このように、隣接する画素間での画素値の差分そのものではなく、その差分が正か０か負かという３値に変換することにより、画素値ズレのオフセットに左右されることなく、第２評価値を算出することができる。即ち、このような第２評価値を用いることにより、輝度ズレに対してロバスト性を担保することが可能になる。ISCを第２評価値として算出する具体的な方法は以下の通りである。第２ブロック評価値算出部１３は、対象画像において、水平方向に隣接する画素間のisc_lx(x,y)及び垂直方向に隣接する画素間のisc_ly(x,y)を各々算出し、参照画像において、水平方向に隣接する画素間のisc_Rx(x,y)及び垂直方向に隣接する画素間のisc_Ry(x,y)を各々算出し、これらを用いて、以下の式７により、第２評価値としてISCを算出する。

また、第２評価値の算出には、画素値の勾配を用いても良い。この場合、第２ブロック評価値算出部１３は、対象画像において、水平方向に隣接する画素間の勾配dx_L(x,y)及び垂直方向に隣接する画素間の勾配dy_L(x,y)を各々算出し、参照画像において、水平方向に隣接する画素間の勾配dx_R(x,y)及び垂直方向に隣接する画素間の勾配dy_R(x,y)を各々算出し、これらを用いて、以下の式８により、第２評価値として画素値の勾配の差DXYを算出する。

評価値合成部１４は、アクティビティ値算出部１１が算出したアクティビティ値が大きいほど、第１ブロック評価値算出部１２が算出した第１評価値の割合を大きくし、当該アクティビティ値が小さいほど当該第１評価値の割合を小さくして、当該第１評価値と、第２ブロック評価値算出部１３が算出した第２評価値とを合成することにより、第３評価値を算出する。

ここで、第３評価値の算出に用いる第１評価値の割合をアクティビティ値に応じて大小させる理由について説明する。画素値の差をベースとした第１評価値は、上述したように、画素値ズレ等のオフセットの変動に対して脆弱である。これは、例えば、第１評価値となるMADでは、相関が高いとして対応付けられる複数のブロック間で画素値の平均が等しいことを仮定していることが原因であり、画素値ズレ等によりオフセットが変動しているということは、当該複数のブロック間の画素値の平均が異なることを意味するからである。それに対して第２評価値では、ブロック内での画素値の空間的な相対関係をベースとしているために、当該複数のブロック間の画素値の平均が等しいことを仮定しなくて済む。そのため第２評価値は画素値ズレ等のオフセットの変動に対してロバストである。しかし逆に言えば、複数のブロック間で画素値の平均の差を評価することができないため、位置合わせの精度は第１評価値よりも低い。但しオフセットの変動が起こっていたとしても、その変動幅が、第１評価値としてのMADに比べて十分に小さければ、この値を用いたブロックマッチングも十分成功し得る。

ここで、問題を明らかにするために、対象画像及び参照画像の具体的なモデル例を挙げて説明する。図４は、モデルとなる対象画像を例示する図である。図５は、モデルとなる参照画像を例示する図である。このような対象画像について、位置(x,y)における画素の画素値は、以下の式９により表されるI_L(x,y)とし、参照画像について、位置(x,y)における画素の画素値I_R(x,y)は、以下の式１０により表されるものとする。

尚、(d=5,d=5)は、対象画像と参照画像との間の位置ズレであり、「α=200」は形状分布のスケールであり、「β=0」は対象画像及び参照画像間の画素値ズレである。図６は、MADによる評価値の分布を示す図である。同図では、中心から(5,5)ずれた位置で評価値が最も高い評価を示していることが示されている。図７は、ISCによる評価値の分布を示す図である。同図では、中心からだいたい(5,5)ずれた位置で評価値が最も高い評価を示していることが示されているが、カーブはブロードに広がっており位置合わせの精度がMAD程良くないことが分かる。

次に、形状分布のスケールを「α=10」（形状の変化が小さい）とし、対象画像及び参照画像間の画素値ズレを「β=10」とした場合の対象画像及び参照画像の具体的なモデル例について説明する。図８は、この場合の対象画像を例示する図である。図９は、この場合の参照画像を例示する図である。図１０は、この場合のMADによる評価値の分布を示す図である。同図では、最も高い評価を示す評価値によって、正しい位置ズレが検出できていないことが分かる。図１１は、この場合のISCによる評価値の分布を示す図である。ISCでは、画素値ズレが発生していても、同図に示されるように、ロバストに位置ズレが検出できていることが分かる。この場合、MADに比べてISCの方が位置合わせの精度が高いことが分かる。

次に、形状分布のスケールを「α=200」（形状の変化が大きい）とし、対象画像及び参照画像間の画素値ズレを「β=10」とした場合の対象画像及び参照画像の具体的なモデル例について説明する。図１２は、この場合のMADによる評価値の分布を示す図である。同図に示されるように、形状の変化が画素値ズレに対して十分に大きければ、MADによる評価値を用いて、正しい位置ズレを検出できることが分かる。図１３は、この場合のISCによる評価値の分布を示す図である。

即ち、α/βが十分に大きければMADでも十分に正しい評価を示し得る。しかし一般にはα,β共に未知であるが、αはアクティビティ値ACTで代用できる。
上の例であれば、
α=10である場合、ACT=2.3
α=100である場合、ACT=21.3
α=200である場合、ACT=42.6
となるため、αとアクティビティ値ACTとは相関があることが分かる。βは完全に未知であるが、例えばある程度の値を仮定して設定すれば良い。ACT/β>T(T:任意の数)となるようなACTを基準としてαをアクティビティ値へ変換するためパラメータを設定すれば良い。以上のことから、ACT/βの値が小さいと、MAD等の第１評価値によって、正しい評価を得ることができない恐れがあるが、ACT/βの値が十分大きければ、第１評価値によって、十分に正しい評価を得ることができると言える。βを適当な値で固定したとすると、即ち、ACTの値に応じて第１評価値によって示される評価の信頼度が変わるということである。以上のことから、本実施の形態では、後述の最大評価探索に用いる第３評価値に算入させる第１評価値の割合をアクティビティ値に応じて大小させる。

そして、この第３評価値に算入させる第１評価値の割合として、アクティビティ値ACTを正規化して算出される信頼度を用いる。この信頼度の算出には、例えば、アクティビティ値ACTを変数として信頼度wを求めるための増加関数を用いる。増加関数としては、例えば、ガウス関数を用いる。具体的には、信頼度wは、以下の式１１により、算出される。尚、ガウス関数の標準偏差σは、第１評価値が信頼できるACT/βに設定すれば良い。例えば、「σ=ACT/β>T」として良い。。図１４は、アクティビティ値ACTを変数として信頼度wを求めるためのガウス関数を示す図である。

また、信頼度の算出には、線形関数を用いても良い。この場合、信頼度は、以下の式１２により、算出される。ここで、a,bは直線の傾きと切片である。図１５は、アクティビティ値ACTを変数として信頼度wを求めるための線形関数を示す図である。

この他、信頼度の算出には、図１６に示されるような増加関数を用いても良い。

評価値合成部１４は、このような信頼度を乗算した第１評価値と、第２評価値とを用いて、以下の式１３により、第３評価値Eを算出する。ここで、「λ≧0」は第１評価値と第２評価値との相対的な重みである。

最大評価探索部１５は、評価値合成部１４が算出した第３評価値を用いて、最大評価探索を行なう。例えば、参照画像において、対象ブロックとの相関が高い参照ブロックが探索される範囲が、「-W」から「W」までの矩形領域とすると、参照ブロックの位置を示すインデックス(i,j)に対するベクトルu(i,j)を求める最大評価探索問題（ブロックマッチングアルゴリズム）は式１４に表される。尚、第１評価値及び第２評価値共に、高い評価を示す場合に誤差が小さくなるものであり、最大評価探索は誤差最小化であるので、式１４は最小化問題となる。数式記号１は、誤差関数Eを最小にするu_x,u_yを見つけるということを意味する。

簡単には、最大評価探索部１５は、i,j,x,yの組み合わせからなるパターンの全てについて最大評価探索を行なえば良い。また、ブロック内のベクトルはブロックの動きベクトルと同一とする。即ち、以下の式１５が成立する。

次に、本実施の形態に係る画像処理装置の行う対応ブロック探索処理の手順について図１７を用いて説明する。画像処理装置は、アクティビティ値算出部１１の機能により、対象ブロックに対してアクティビティ値を算出する（ステップＳ１）。次に、画像処理装置は、参照画像において、対象ブロックとのブロックマッチングに用いる参照ブロックを選択する（ステップＳ２）。このときの選択対象の参照ブロックは、ブロックマッチングに用いる候補として予め定められた複数の参照ブロックのうち、ブロックマッチングにまだ用いられていないものであっても良いし、参照画像において、前回のステップＳ２で選択された参照ブロックを１つ以上の画素分水平方向及び垂直方向のうち少なくとも一方にずらしたものであっても良い。ここで、画像処理装置は、当該参照ブロックを選択することができなかった場合（ステップＳ３：ＮＯ）、ステップＳ８に進み、当該参照ブロックを選択できた場合（ステップＳ３：ＹＥＳ）、ステップＳ４，Ｓ５に進む。

ステップＳ４では、画像処理装置は、第１ブロック評価値算出部１２の機能により、対象ブロックと、ステップＳ２で選択した参照ブロックとを用いて、第１評価値を算出する。また、ステップＳ５では、画像処理装置は、第２ブロック評価値算出部１３の機能により、対象ブロックと、ステップＳ２で選択した参照ブロックとを用いて、第２評価値を算出する。そして、画像処理装置は、評価値合成部１４の機能により、ステップＳ４で算出した第１評価値に対して、ステップＳ１で算出されたアクティビティ値に基づく信頼度を乗算して（ステップＳ６）、信頼度を乗算した第１評価値と、ステップＳ５で算出した第２評価値とを用いて、第３評価値を算出する（ステップＳ７）。画像処理装置は、この第３評価値を例えばＲＡＭ等の主記憶部に記憶させる。その後ステップＳ２に戻り、対象ブロックとのマッチングに用いる選択対象の参照ブロックがなくなるまで、画像処理装置は、ステップＳ４〜Ｓ７の処理を繰り返す。そして、当該選択対象の参照ブロックがなくなると（ステップＳ３：ＮＯ）、ステップＳ８では、画像処理装置は、最大評価探索部１５の機能により、ステップＳ７で複数の参照ブロックに対して各々算出して主記憶部に記憶させた第３評価値を用いて、最大評価値探索を行なう。

ここで、第３評価値の分布について説明する。図１８は、形状分布のスケールを「α=200」とし、対象画像及び参照画像間の画素値ズレを「β=10」とした場合に算出された第３評価値の分布を示す図である。図１９は、形状分布のスケールを「α=10」とし、対象画像及び参照画像間の画素値ズレを「β=10」とした場合に算出された第３評価値の分布を示す図である。これらの図の例では、αが大きい場合であっても小さい場合であっても、位置ズレを正しく検出できており、位置合わせの精度が高いことが分かる。

このような第３評価値が用いられて最大評価値探索が行なわれた結果、例えば式１４の解として得られたu(i,j)のインデックスi,jに対応する参照ブロックが、対象ブロックと相関が高いブロックであるとして探索され、対象ブロックに対応付けられることになる。

このように、本実施の形態によれば、位置合わせの精度と、輝度ズレとの双方に対するロバスト性を担保することができ、精度のより高いブロックマッチングを実現することができる。

[変形例]
尚、本発明は上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。

上述した実施の形態において、画像処理装置で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成しても良い。

上述した実施の形態において、対象ブロック及び参照ブロックの形状は、その形状及びサイズが同一であれば、上述した矩形に限らない。

上述した実施の形態において、第２評価値によってその相関に対して評価が示される、各ブロックに含まれる画素の画素値の空間的な相対関係としては、例えば、水平方向に並ぶ画素間での画素値の相対関係及び垂直方向に並ぶ画素間での画素値の相対関係のうち少なくとも一方であっても良い。

上述した実施の形態において、第１評価値及び第２評価値は、上述の例に限らない。また、第３評価値を算出する方法は、上述の例に限らない。また、最大評価探索の方法は、上述の例に限らない。

１１ アクティビティ値算出部
１２ 第１ブロック評価値算出部
１３ 第２ブロック評価値算出部
１４ 評価値合成部
１５ 最大評価探索部

Claims (12)

1. 第１画像の一部の画素を含む画像領域である第１ブロックに対して、当該第１ブロックに含まれる画素間で画素値の変化が大きいほど高いアクティビティの度合いを示すアクティビティ値を算出する第１算出ステップと、
   前記第１ブロックにおける前記画素値と、第２画像の一部の画素を含む画像領域である第２ブロックにおける前記画素値との差が小さいほど高い評価を示す第１評価値を算出する第２算出ステップと、
   前記第１ブロックにおける前記画素値の空間的な相対関係と、前記第２ブロックにおける前記画素値の空間的な相対関係との相関が高いほど高い評価を示す第２評価値を算出する第３算出ステップと、
   前記アクティビティ値が高いほど前記第１評価値の割合を大きくし、前記アクティビティ値が低いほど前記第１評価値の割合を小さくして、前記第１評価値及び前記第２評価値から、前記第１ブロックに対応する前記第２ブロックを探索するための第３評価値を算出する第４算出ステップと
   を含む画像処理方法。
2. 前記第１算出ステップでは、前記第１ブロックにおける前記画素値の標準偏差が大きいほど高い前記度合いを示す前記アクティビティ値を算出する、
   請求項１に記載の画像処理方法。
3. 前記第１算出ステップでは、前記第１ブロックにおいて隣接する画素の前記画素値の平均差分絶対値が大きいほど高い前記度合いを示す前記アクティビティ値を算出する、
   請求項１に記載の画像処理方法。
4. 前記第４算出ステップでは、前記アクティビティ値を変数とした増加関数に応じて前記割合を大小させて、前記第３評価値を算出する、
   請求項１乃至３のいずれか一項に記載の画像処理方法。
5. 前記第３算出ステップでは、前記第１ブロックにおいて隣接する画素間の前記画素値の相対関係と、前記第２ブロックにおいて隣接する画素間の前記画素値の相対関係との相関が高いほど高い評価を示す前記第２評価値を算出する、
   請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 前記第３算出ステップでは、前記第１ブロックにおいて水平方向に並ぶ２つ以上の画素間の前記画素値の相対関係と、前記第２ブロックにおいて水平方向に並ぶ２つ以上の画素間の前記画素値の相対関係との相関が高いほど高い評価を示す前記第２評価値を算出する、請求項１乃至４のいずれか一項に記載の画像処理方法。
7. 前記第３算出ステップでは、前記第１ブロックにおいて垂直方向に並ぶ２つ以上の画素間の前記画素値の相対関係と、前記第２ブロックにおいて垂直方向に並ぶ２つ以上の画素間の前記画素値の相対関係との相関が高いほど高い評価を示す前記第２評価値を算出する、請求項１乃至４のいずれか一項に記載の画像処理方法。
8. 前記第２算出ステップでは、前記第１ブロックにおける前記画素値及び前記第２ブロックにおける前記画素値を用いて、差分絶対値平均、差分絶対値和、二乗誤差平均及び二乗誤差和のうち少なくとも１つである前記第１評価値を算出する、請求項１乃至７のいずれか一項に記載の画像処理方法。
9. 前記第３算出ステップでは、前記第１ブロックにおける前記画素値及び前記第２ブロックにおける前記画素値を用いて、増分符号相関及び前記画素値の勾配の差のうち少なくとも１つである前記第２評価値を算出する、請求項１乃至８のいずれか一項に記載の画像処理方法。
10. 前記第３評価値が最大となる前記第２ブロックを、前記第１ブロックに対応するものとして探索する探索ステップをさらに含む、請求項１乃至９のいずれか一項に記載の画像処理方法。
11. 第１画像の一部の画素を含む画像領域である第１ブロックに対して、当該第１ブロックに含まれる画素間で画素値の変化が大きいほど高いアクティビティの度合いを示すアクティビティ値を算出する第１算出部と、
    前記第１ブロックにおける前記画素値と、第２画像の一部の画像領域である第２ブロックにおける前記画素値との差が小さいほど高い評価を示す第１評価値を算出する第２算出部と、
    前記第１ブロックにおける前記画素値の空間的な相対関係と、前記第２ブロックにおける前記画素値の空間的な相対関係との相関が高いほど高い評価を示す第２評価値を算出する第３算出部と、
    前記アクティビティ値が高いほど前記第１評価値の割合を大きくし、前記アクティビティ値が低いほど前記第１評価値の割合を小さくして、前記第１評価値及び前記第２評価値から、前記第１ブロックに対応する前記第２ブロックを探索するための第３評価値を算出する第４算出部と
    を備える画像処理装置。
12. コンピュータを、
    第１画像の一部の画素を含む画像領域である第１ブロックに対して、当該第１ブロックに含まれる画素間で画素値の変化が大きいほど高いアクティビティの度合いを示すアクティビティ値を算出する第１算出手段と、
    前記第１ブロックにおける前記画素値と、第２画像の一部の画素を含む画像領域である第２ブロックにおける前記画素値との差が小さいほど高い評価を示す第１評価値を算出する第２算出手段と、
    前記第１ブロックにおける前記画素値の空間的な相対関係と、前記第２ブロックにおける前記画素値の空間的な相対関係との相関が高いほど高い評価を示す第２評価値を算出する第３算出手段と、
    前記アクティビティ値が高いほど前記第１評価値の割合を大きくし、前記アクティビティ値が低いほど前記第１評価値の割合を小さくして、前記第１評価値及び前記第２評価値から、前記第１ブロックに対応する前記第２ブロックを探索するための第３評価値を算出する第４算出手段と
    して機能させるための画像処理プログラム。