JP4702312B2 - 相違度評価装置、相違度評価方法及びプログラム - Google Patents

相違度評価装置、相違度評価方法及びプログラム Download PDF

Info

Publication number
JP4702312B2
JP4702312B2 JP2007075316A JP2007075316A JP4702312B2 JP 4702312 B2 JP4702312 B2 JP 4702312B2 JP 2007075316 A JP2007075316 A JP 2007075316A JP 2007075316 A JP2007075316 A JP 2007075316A JP 4702312 B2 JP4702312 B2 JP 4702312B2
Authority
JP
Japan
Prior art keywords
sample point
reference signal
value
target signal
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007075316A
Other languages
English (en)
Other versions
JP2008234465A (ja
Inventor
玲 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007075316A priority Critical patent/JP4702312B2/ja
Priority to US12/077,510 priority patent/US8421868B2/en
Publication of JP2008234465A publication Critical patent/JP2008234465A/ja
Application granted granted Critical
Publication of JP4702312B2 publication Critical patent/JP4702312B2/ja
Priority to US13/846,703 priority patent/US8542280B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、例えば画像間における対応点の探索などに用いられる相違度評価装置、相違度評価方法及びプログラムに関する。
複数の画像間における対応点の探索は、動き補償、位置合せ、オプティカルフロー推定などの目的を達成する手段として重要である。対応点探索に用いられる手法としては、テンプレートマッチング、ブロックマッチングなどの領域ベースのマッチング方法が一般的である。
今、マッチング対象とする２つの画像の一方を基準画像、他方を対象画像と呼ぶ。テンプレートマッチングでは、基準画像の任意の位置に定めた所定サイズのブロックをテンプレートとして、そのテンプレート内の各画素が対象画像のどの位置に対応しているのかを探索する。
その際に、マッチングの良さを評価する尺度として、差分二乗和（ＳＳＤ：Sum of squared difference）や差分絶対値和（ＳＡＤ：Sum of Absolute difference）が用いられる。ＳＳＤやＳＡＤは相違度を示すので、これらの評価値が小さいほど、マッチングが良いと考えられる。なお、ＳＳＤを用いたマッチング方法に関しては、例えば特許文献１などに開示されている。
ＳＳＤとＳＡＤの形式的な定義は、以下の通りである。
Figure 0004702312
Figure 0004702312
（１）式と（２）式において、基準画像の座標ｐにおける画素値をｐp、同じく対象画像の座標ｐにおける画素値をＯｐと表す。なお、ｐは位置ベクトルであり、ｐ＝（ｐｘ，ｐｙ）とすると、ｘ成分がｐｘ，ｙ成分がｐｙを示す。
また、テンプレートを構成する各画素の座標の集合をＴと表す。例えば、左上隅の座標を（１００，２００）とする１６×１６画像の矩形ブロックをテンプレートとするならば、Ｔは以下の２５６個の画素からなる。
Ｔ＝｛（１００，２００）（１０１，２００），…，（１１５，２００），（１００，２０１），（１０１，２０１），…，（１１５，２０１），…，（１００，２１５），（１０１，２１５），…，（１１５，２１５）｝
また、対象画像における、基準画像からの座標の平行移動をベクトルｄで表す。前記（１）式のＳＳＤと（２）式のＳＡＤはｄの関数になっている。
特開平１０−２８９３１５号公報
上述したＳＡＤは、演算が簡単であるため、実装し易いといった利点がある。しかし、例えば蛍光灯の下で連続撮影した場合や、周辺減光の大きい光学系を用いて撮影した画像をモザイク合成する場合（パノラマ画像の合成など）には、各画像に明度差が生じる。このような明度差を有する各画像をマッチング対象とした場合、ＳＡＤではマッチングのロバスト性が著しく低下するといった問題がある。これは、２つの画像の明度レベルが大きく異なると、絶対値操作が意味をもたず、ＳＡＤが単なる差分和と等価になってしまうからである。そのような場合には、信号の平均（直流成分）を比較しているだけであるから、局所的な凹凸のマッチングはほとんどできないことになる。
今、説明を簡単にするため、図１５に示すような１次元の信号を例にする。ａｉは基準信号、ｂｉは対象信号であり、それぞれの信号の山の部分が対応箇所であるとする。この場合、前記（２）式により、
ＳＡＤ＝Σ│ａｉ−ｂｉ│ …（３）
と表される。
ここで、ａｉとｂｉのレベルが大きく異なると、前記（３）式は、Σａｉ−Σｂｉと等価になってしまい、図１６（ａ）の比較結果に示すように、どの点をとってもマッチングできない状態になる。なお、図１６の例では、４つのサンプル点をテンプレートとしている。ｂｉは、ａｉに対して、負の直流オフセットがかかり、かつ１サンプルずれた信号である。レベル差があると、ＳＡＤの値がどの点でも同じ値（この例では４）になることが分かる。
一方、ＳＳＤは、前記（１）式により、
ＳＳＤ＝Σ（ａｉ−ｂｉ）２ …（４）
と表される。
ＳＳＤは、差分の局所的なピーク性を強調する尺度になっているため、同じような状況であっても、比較的ロバストなマッチングが可能である。しかしながら、ＳＳＤは二乗演算に基づくため、乗算ハードウェアを必要とし、処理が遅いといった問題がある。さらに、乗算結果として、ＳＡＤで用いられる絶対値と比較してほぼ２倍の桁数が生じるため、回路規模が大きくなるといった問題がある。
このように、ＳＡＤは実装し易いが、信号間のレベル変動に弱く、ＳＳＤは信号間のレベル変動に比較的強いものの、回路規模が大きくなるといった欠点がある。
本発明は前記のような点に鑑みなされたもので、画像等のマッチング検索において、明度変動に対してロバストで、かつ、低コストでハードウェア実装できる相違度評価装置、相違度評価方法及びプログラムを提供することを目的とする。
本発明の請求項１に係る相違度評価装置は、マッチング対象とする少なくも２つの信号を取得する信号取得手段と、この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を評価値として算出する演算処理手段とを具備し、前記演算処理手段は、前記差分絶対値の最大値を第１の評価値として算出すると共に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率で線形結合した値を最終的な評価値として算出することを特徴する。
また、本発明の請求項２は、請求項１記載の相違度評価装置において、前記第１の評価値と前記第２の評価値との比率を調整する比率調整手段を具備したことを特徴とする。
本発明の請求項３に係る相違度評価装置は、マッチング対象とする少なくも２つの信号を取得する信号取得手段と、この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を評価値として算出する演算処理手段とを具備し、前記サンプル抽出手段は、前記ブロックを複数の領域に分割し、これらの分割領域毎に前記基準信号と前記対象信号から各サンプル点を抽出し、前記演算処理手段は、前記分割領域毎に前記基準信号と前記対象信号との各サンプル点の差分絶対値和を求め、その中の最大値を評価値として算出することを特徴とする。
また、本発明の請求項４は、請求項１乃至３のいずれかに記載の相違度評価装置において、前記基準信号と前記対象信号とをマッチングする際に、高周波性成分をカットするためのフィルタ処理を施すフィルタ処理手段を具備したことを特徴とする。
本発明の請求項５に係る相違度評価装置は、マッチング対象とする少なくも２つの信号を取得する信号取得手段と、この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理手段と、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理手段と、前記第１または第２の演算処理手段を選択的に使用して相違度評価を行う評価制御手段とを具備したことを特徴する。
本発明の請求項６に係る相違度評価装置は、マッチング対象とする少なくも２つの信号を取得する信号取得手段と、この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理手段と、前記基準信号と前記対象信号との各サンプル点の差分二乗和を評価値として算出する第２の演算処理手段と、前記第１または第２の演算処理手段を選択的に使用して相違度評価を行う評価制御手段とを具備したことを特徴とする。
また、本発明の請求項７は、請求項５又は６に記載の相違度評価装置において、前記基準信号と前記対象信号とのレベル差を検出するレベル差検出手段を備え、前記評価制御手段は、前記レベル差検出手段によって検出さたれレベル差が所定値以上の場合に前記第１の演算処理手段を選択し、レベル差が所定値未満の場合には前記第２の演算処理手段を選択して相違度評価を行うことを特徴する。
また、本発明の請求項８は、請求項５又は６に記載の相違度評価装置において、特定のモードを設定するモード設定手段を備え、前記評価制御手段は、前記モード設定手段によって前記特定のモードが設定された場合に前記第１の演算処理手段を選択し、前記特定のモードが設定されていない場合には前記第２の演算処理手段を選択して相違度評価を行うことを特徴する。
本発明の請求項９に係る相違度評価装置は、マッチング対象とする少なくも２つの信号を取得する信号取得手段と、この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理手段と、この第１の演算処理手段によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理手段とを具備したことを特徴する。
本発明の請求項１０に係る相違度評価装置は、マッチング対象とする少なくも２つの信号を取得する信号取得手段と、この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値和を評価値として算出する第１の演算処理手段と、この第１の演算処理手段によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値の最大値を評価値として算出する第２の演算処理手段とを具備したことを特徴する。
本発明の請求項１１に係る相違度評価方法は、マッチング対象とする少なくも２つの信号を取得する第１のステップと、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２のステップと、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３のステップと、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を第１の評価値として算出する第４のステップと、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率で線形結合した値を最終的な評価値として算出する第５のステップとを有することを特徴とする。
本発明の請求項１２に係る相違度評価方法は、マッチング対象とする少なくも２つの信号を取得するステップと、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶するステップと、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するステップと、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理と、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理とを選択的に使用して相違度評価を行うステップとを有することを特徴とする。
本発明の請求項１３に係る相違度評価方法は、マッチング対象とする少なくも２つの信号を取得する第１のステップと、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２のステップと、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３のステップと、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第４のステップと、この第４のステップによって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第５のステップとを有することを特徴する。
本発明の請求項１４に係る相違度評価方法は、マッチング対象とする少なくも２つの信号を取得する第１のステップと、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２のステップと、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３のステップと、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値和を評価値として算出する第４のステップと、この第４のステップによって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値の最大値を評価値として算出する第５のステップとを有することを特徴する。
本発明の請求項１５に係るプログラムは、コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、前記コンピュータに、マッチング対象とする少なくも２つの信号を取得する第１の機能と、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２の機能と、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３の機能と、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を第１の評価値として算出する第４の機能と、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率で線形結合した値を最終的な評価値として算出する第５の機能とを実現させることを特徴とする。
本発明の請求項１６に係るプログラムは、コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、前記コンピュータに、マッチング対象とする少なくも２つの信号を取得する機能と、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する機能と、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する機能と、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理と、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理とを選択的に使用して相違度評価を行う機能とを実現させることを特徴とする。
本発明の請求項１７に係るプログラムは、コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、前記コンピュータに、マッチング対象とする少なくも２つの信号を取得する第１の機能と、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２の機能と、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３の機能と、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第４の機能と、この第４の機能によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第５の機能とを実現させることを特徴とする。
本発明の請求項１８に係るプログラムは、コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、前記コンピュータに、マッチング対象とする少なくも２つの信号を取得する第１の機能と、前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２の機能と、前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３の機能と、前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値和を評価値として算出する第４の機能と、この第４の機能によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値の最大値を評価値として算出する第５の機能とを実現させることを特徴とする。
本発明によれば、画像等のマッチング検索において、明度変動に対してロバストで、かつ、低コストでハードウェア実装できる相違度評価装置を実現できる。
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る相違度評価装置をデジタルカメラに適用した場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。
このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。
電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。
また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。
撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。
前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。
再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。
マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、連続撮影モードを含む各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。
表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。
なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。
図２はデジタルカメラ１の電子回路構成を示すブロック図である。
このデジタルカメラ１には、光学レンズ装置２１、イメージセンサ２２、メモリ２３、表示装置２４、画像処理装置２５、操作部２６、コンピュータインタフェース部２７、外部記憶ＩＯ装置２８、プログラムコード記憶装置２９、ＣＰＵ３０、メモリカード３１が備えられている。
光学レンズ装置２１は、撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系とその駆動部とを備えたものであり、イメージセンサ２２上に、撮影対象からの光を集光させて像を結像させる。
イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタキー９が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒間３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタキー９が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。また、イメージセンサ２２は、ＣＰＵ３０によって撮像感度（ＩＳＯ感度）の設定可能である。
メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データまたは画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４または画像処理装置２５に送り出す。
表示装置２４は、液晶モニタである表示部１９に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像または解像度の高い画像を表示部１９に表示する。
画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮等の画像処理を行うためのものである。
操作部２６は、シャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８などから構成され、それらのキー操作に伴う信号は直接ＣＰＵ３０へ送出される。
コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。
外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。
プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭやフラッシュメモリなどによって構成される。
ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。なお、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。
操作部２６のスイッチ・キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４、画像処理装置２５等を制御する。
具体的には、操作部２６から撮影モードキー１０が押下された旨の操作情報が送信されると、ＣＰＵ３０は各部を撮影モードに設定する。この状態で、シャッタキー９が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタキー９が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。その際、メニューキー１６の操作により連続撮影モードが設定されていれば、シャッタキー９の押下に伴い、所定枚数分の画像の読み込み処理が所定時間間隔で実行される。
また、再生モードキー１１が押下された旨の操作情報が送信されると、ＣＰＵ３０は、各部を再生モードに設定する。
また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。
ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録する。
また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１に画像データを格納する画像ファイルを作成する。
次に、前記構成のデジタルカメラ１によって画像合成を行う場合を想定して説明する。
通常、画像合成の位置合わせで用いられるテンプレートマッチングでは、差分二乗和（ＳＳＤ）や差分絶対値和（ＳＡＤ）を相違度の評価値とするのが一般的であるが、既に説明したように、ＳＳＤとＳＡＤはそれぞれに一長一短がある。
そこで、第１の実施形態では、新たな評価手法として、「ＭＡＤ（Max of Absolute difference）」と呼ぶ最大差分絶対値を相違度の評価値として用いることを特徴とする。このＭＡＤをＳＳＤとＳＡＤの定義と同様に表わすと、以下のようになる。
Figure 0004702312
図３は前記ＭＡＤを用いた相違度評価を実現するためのＣＰＵ３０の機能構成を示すブロック図である。第１の実施形態において、ＣＰＵ３０を機能的に示すと、信号取得部３０ａ、サンプル抽出部３０ｂ、演算処理部３０ｃ、フィルタ処理部３０ｄからなる。
信号取得部３０ａは、マッチング対象とする少なくも２つの信号を取得する。本実施形態では、マッチング対象として画像を例としているので、連続撮影などにより得られた２つの画像を取得することになる。この場合、前記２つの画像の一方は基準画像Ｒとしてメモリ２３の第１のバッファ２３ａに格納され、他方は対象画像Ｏとして第２のバッファ２３ｂに格納される。
サンプル抽出部３０ｂは、基準画像Ｒの所定ブロック（テンプレート）内の各画素に対応する対象画像Ｏの各画素を抽出する。
演算処理部３０ｃは、相違度評価の演算処理を行う。第１の実施形態において、この演算処理部３０ｃは、前記（５）式に示したＭＡＤの演算処理を行うものであり、サンプル抽出部３０ｂによって抽出された対象画像Ｏの各画素の夫々について、基準画像Ｒの各画素との差分絶対値を求め、その中の最大値を評価値として算出する。
フィルタ処理部３０ｄは、ローパスフィルタ（ＬＰＦ）からなり、マッチング対象とする基準画像Ｒと対象画像Ｏに対し、所定周波数以上の高周波数成分をカットするためのフィルタ処理を施す。
以下に、具体的な処理手順について説明する。
今、図４に示すように、基準画像Ｒの所定位置に設定された１６×１６画素のブロックをテンプレートとして、そのテンプレート内の各画素が対象画像Ｏのどの位置に対応しているかを探索する場合を想定する。
図５は第１の実施形態におけるデジタルカメラ１の主処理の流れを示すフローチャートである。
なお、このフローチャートで示される処理は、マイクロコンピュータであるＣＰＵ３０がプログラムコード記憶装置２９に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って実行される。他の実施形態でも同様であり、各実施形態に対応したプログラムがプログラムコード記憶装置２９に記憶されており、ＣＰＵ３０はこれらのプログラムを読み込むことにより、対応する処理を実行する。
図５に示すように、まず、ＣＰＵ３０は、マッチング対象となる少なくとも２つの画像を取得し（ステップＳ１０１）、その一方を基準画像Ｒとしてメモリ２３の第１のバッファ２３ａに格納、他方の対象画像Ｏとしてメモリ２３の第２のバッファ２３ｂに格納しておく（ステップＳ１０２）。なお、画像の取得方法としては、イメージセンサ２２を通じて取得することでも良いし、メモリカード３１や外部から通信ネットワークなどを通じて取得することでも良い。
続いて、ＣＰＵ３０は、初期設定として、対象画像Ｏの探索範囲を示す定数Ａと、基準画像Ｒにおけるテンプレートの位置を示す定数Ｂ，Ｃを設定する（ステップＳ１０３）。例えば、Ａ＝１６であれば、探索範囲はｘ方向に「０〜１５」、ｙ方向にも「０〜１５」の正方形の範囲となる。また、Ｂ＝１００，Ｃ＝２００であれば、座標（１００，２００）を左上隅とする１６×１６画素サイズの矩形ブロックがテンプレートとなる。
なお、前記座標Ｂ，Ｃをユーザが任意に設定できるような構成にしても良い。通常は、特徴点抽出処理により自動設定されるか、画像圧縮のブロックマッチングのように画面内の所定のブロックに対して自動設定される。また、一般的にはテンプレートは複数存在し、その場合はこれらの値の設定と本実施形態の主処理が順次繰り返して行われることになる。
このような初期設定の後、ＣＰＵ３０は、メモリ２３の第１のバッファ２３ａに格納された基準画像Ｒに対してローパスフィルタを適用する（ステップＳ１０５）。このローパスフィルタは、一般的な線形のデジタルフィルタ等でよい。この場合、画像全体に対してフィルタ処理を施しても良いが、テンプレート内部の画素集合だけに適用すれば十分である。
また、ＣＰＵ３０は、メモリ２３の第２のバッファ２３ｂに格納された対象画像Ｏに対してローパスフィルタを適用する。前記同様に一般的な線形のデジタルフィルタ等でよい。画像全体に対してかけても良いが、探索範囲内の画素集合だけに適用すれば十分である。
ここで、ＣＰＵ３０は、相違度評価値の最小値を意味する変数ｍｉｎを、十分に大きな定数（ここではＩＮＦと表現する）によって初期化すると共に（ステップＳ１０６）、最小値探索のループ範囲を設定する（ステップＳ１０７）。ここでは画像の２次元探索なので、ｘ成分、ｙ成分ともに「０〜Ａ−１」が範囲となり、増分は１である。
最小値探索のループが開始されると、ＣＰＵ３０は、所定の関数ｍａｄをコールして、基準画像Ｒと対象画像Ｏのオフセットを示す探索位置（ｘ，ｙ）の評価値ｔを取得する（ステップＳ１０８）。なお、関数ｍａｄについては、後に図６のフローチャートを参照して説明する。
前記取得した評価値ｔがそれ以前の最小値ｍｉｎより小さければ（ステップＳ１０９のＹｅｓ）、ＣＰＵ３０は、ｍｉｎをそのｔの値に更新するとともに（ステップＳ１１０）、そのときの探索位置（ｘ，ｙ）を変数ｍｉｎｘ，ｍｉｎｙに保存する（ステップＳ１１１）。
以後、探索位置（ｘ，ｙ）を＋１ずつ更新して（ステップＳ１１３）、同様の処理を繰り返す。設定範囲内の探索が終了すると（ステップＳ１１２のＹｅｓ）、座標（ｍｉｎｘ，ｍｉｎｙ）が対応座標として得られる。
次に、前記ステップＳ１０８の関数ｍａｄに関する処理について説明する。関数ｍａｄとは、上述した最大差分絶対値（ＭＡＤ）による相違度評価値を求めるための関数である。関数の引数ｘ，ｙは、主処理から渡され、基準画像Ｒと対象画像Ｏのオフセットのｘ成分、ｙ成分をそれぞれ示す。
図６はデジタルカメラ１の主処理からコールされる関数ｍａｄの処理手順を示すフローチャートである。
関数ｍａｄがコールされると、ＣＰＵ３０は、差分絶対値の最大値を示す変数ｍａｘを０で初期化すると共に（ステップＳ２０１）、テンプレート内の各画素を示す変数ｔｘ，ｔｙの範囲を設定してループを開始する（ステップＳ２０２）。
テンプレートは、本実施形態では１６×１６画素の正方形ブロックなので、ｘ成分は「Ｂ〜Ｂ＋１５」、ｙ成分は「Ｃ〜Ｃ＋１５」が範囲となり、いずれも増分は１である。前述の通り、座標（Ｂ，Ｃ）は基準画像Ｒにおけるテンプレートブロックの左上隅座標を示す。
ループの中では、ＣＰＵ３０は、基準画像Ｒのテンプレート内の各画素と、オフセットｘ，ｙによってずらされた対象画像Ｏの対応画素との差分絶対値（変数ｓ）を画素毎に計算する（ステップＳ２０３）。そして、これらの差分絶対値の中で最大のものを変数ｍａｘに保存するように（ステップＳ２０４，Ｓ２０５）、順次比較更新する（ステップＳ２０６，２０７）。
ループ終了後（ステップＳ２０６のＹｅｓ）、ｍａｘが最終的に求める相違度の評価値ｔであり、これが主処理への戻り値となる（ステップＳ２０８）。
このように、基準画像Ｒと対象画像Ｏとをマッチングする際に、最大差分絶対値（ＭＡＤ）を求め、これを相違度の評価値として用いることにより、以下のような効果が得られる。
すなわち、ＭＡＤはＳＳＤと同様に差分の局所的なピーク性を強調する尺度になっており、また、ＳＳＤに比べてさらにピークに敏感であるため、明度変動に対して非常に強く、マッチングのロバスト性を確保できる。
この場合、図１５の一次元の信号ａｉと信号ｂｉの例で言えば、前記（５）式により、
ＭＡＤ＝ｍａｘ│ａｉ−ｂｉ│ …（６）
と表せる。
ここで、図１６（ｂ）に示すように、ＭＡＤによる評価値を加えると、「ａｉ−ｂｉ」に対しては「２」、「ａｉ−ｂｉ−１」に対しては「１」になり、ＳＡＤに比べてマッチング精度が良いことが分かる。また、その評価値の分離性はＳＳＤに比べて概ね明瞭である。
また、ＭＡＤの演算は差分絶対値と比較のみであるから、二乗演算を伴うＳＳＤに比べ、回路規模が少なくて済む。得られる評価値の桁数も画素差分値のレンジそのままであるから、ＳＳＤばかりかＳＡＤよりも小さいレンジでも対応可能であり、例えば、この評価値をもとにしてサブピクセル位置の推定を行う場合（具体的には、等角直線あてはめなど）にも、回路規模は非常に小さくて済む。
以上のように、ＭＡＤの導入により、ＳＳＤとＳＡＤの各々の長所をとった上に、さらに良い効果が得られる。
ただし、ＭＡＤでは、基準画像Ｒあるいは対象画像Ｏにピークの高いパルス的なノイズが混入していると、ノイズの影響を受け、誤ったマッチング結果を出力することがある。このような場合、図５のステップＳ１０４，Ｓ１０５に示したように、基準画像Ｒと対象画像Ｏに予めローパスフィルタをかけておけば、これらに含まれるノイズのピークを抑えることができるので、ＭＡＤによるマッチングの安定性を図ることができる。
なお、前記実施形態では、入力信号を画像としたが、画像に限らず、また２次元信号に限らず、１次元や３次元の信号に対しても同様に適用できる。この場合、次元に合わせてループの階層構造を変えるだけで、サンプル点の集合に対して、ＭＡＤの定義式による評価値を計算することができる。
また、テンプレートは正方形ブロックに限らず、任意形状でよい。この場合、ｘ，ｙのインデックスに関するループを、その形状を反映する画素毎のループとすることで対応できる。
また、基準画像Ｒと対象画像Ｏの間の座標変換モデルを平行移動として、オフセットを（ｘ，ｙ）で表したが、回転を含めて（ｘ，ｙ，θ）としても良いし、アフィン変換や射影変換などのようにパラメータを増やしても良い。
また、マッチング探索範囲の形状を正方形とし、その全ての探索するものとしたが、探索範囲の形状は任意であり、全数探索でなくＮステップ探索のような部分的な探索でも良い。これは、探索ループ構造を変更すれば実現できる。
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態は、処理の目的は前記第１の実施形態と同様であるが、相違度評価値の算出方法が異なる。すなわち、第２の実施形態では、ＳＡＤとＭＡＤを組み合わせて、以下のような評価式を用いる。
ＳＡＤ＋ｋ・ＭＡＤ＝Σ│ａｉ−ｂｉ│＋ｋ・ｍａｘ│ａｉ−ｂｉ│ …（７）
前記（７）式において、ｋは定数であり、所定の範囲内にて任意に設定可能である。ｋの値が大きいほど、ＭＡＤによる評価値が強くなる。したがって、信号ａｉと信号ｂｉのレベル差が大きい場合には、ｋの値を大きくしてＭＡＤを有効に使い、逆に信号ａｉと信号ｂｉのレベル差が小さい場合やピーク性のノイズが含まれているような場合には、ｋの値を小さくしてＳＡＤの方を有効に使うことができる。
以下に、第２の実施形態に関わる具体的な処理手順について説明する。
なお、装置構成については、前記第１の実施形態と基本的には同じであるため、省略する。ただし、第２の実施形態において、図３に示したＣＰＵ３０の演算処理部３０ｃは、前記（７）式に従った相違度評価の演算処理を行う。詳しくは、基準画像Ｒと対象画像Ｏとの各画素の差分絶対値の最大値（ＭＡＤ）を第１の評価値として算出すると共に、基準画像Ｒと対象画像Ｏとの各画素の差分絶対値和（ＳＡＤ）を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率（ｋ）で線形結合した値を最終的な評価値として算出する。
主処理の処理手順は図５と同じであるが、関数ｍａｄ（ｘ，ｙ）をコールするステップＳ１０８の処理を、関数ｓａｄｐｌｕｓｍａｄ（ｘ，ｙ）のコールに置き換える。その他のステップおよび全体の処理手順は全く同じであるので、その説明は省略するものとする。関数ｓａｄｐｌｕｓｍａｄ（ｘ，ｙ）とは、ＳＡＤとＭＡＤの線形結合による相違度評価値を求めるための関数のことである。関数の引数ｘ，ｙは、主処理から渡され、基準画像Ｒと対象画像Ｏ像のオフセットのｘ成分、ｙ成分をそれぞれ示す。
図７は第２の実施形態におけるデジタルカメラ１の主処理からコールされる関数ｓａｄｐｌｕｓｍａｄの処理手順を示すフローチャートである。
関数ｓａｄｐｌｕｓｍａｄがコールされると、ＣＰＵ３０は、差分絶対値和を示す変数ｓｕｍを０で初期化すると共に（ステップＳ３０１）、差分絶対値の最大値を示す変数ｍａｘを０で初期化する（ステップＳ３０２）。また、ＣＰＵ３０は、テンプレート内の各画素を示す変数ｔｘ，ｔｙの範囲を設定してループを開始する（ステップＳ３０３）。
テンプレートは、本実施形態では１６×１６画素の正方形ブロックなので、ｘ成分は「Ｂ〜Ｂ＋１５」、ｙ成分は「Ｃ〜Ｃ＋１５」が範囲となり、いずれも増分は１である。前述の通り、座標（Ｂ，Ｃ）は基準画像Ｒにおけるテンプレートブロックの左上隅座標を示す。
ループの中では、ＣＰＵ３０は、基準画像Ｒのテンプレート内の各画素と、オフセットｘ，ｙによってずらされた対象画像Ｏの対応画素との差分絶対値（変数ｓ）を画素毎に計算する（ステップＳ３０４）。そして、ＣＰＵ３０は、これらの差分絶対値の中で最大のものをｍａｘに保存すると共に（ステップＳ３０５，Ｓ３０６）、差分絶対値（変数ｓ）をｓｕｍに加算するように（ステップＳ３０７）、順次比較更新する（ステップＳ３０８，Ｓ３０９）。
ループ終了後、ｓｕｍにｍａｘをｋ倍したものを加えた値が最終的に求める相違度の評価値ｔであり、これが主処理への戻り値となる（ステップＳ３１０）。
このように、基準画像Ｒと対象画像Ｏとをマッチングする際に、差分絶対値和（ＳＡＤ）と最大差分絶対値（ＭＡＤ）を組み合わせて相違度の評価値を演算することで、以下のような効果が得られる。
すなわち、ＭＡＤの欠点はピーク性のノイズに弱いことであるが、これをノイズに強いＳＡＤと線形結合することで、ＳＳＤに近い中間的な特性を得ることができる。これにより、基準画像Ｒや対象画像Ｏにピーク性のノイズが含まれている場合でも、安定したマッチング結果を得ることができる。
また、ＳＡＤとＭＡＤの比率を定数ｋによって調整できるので、マッチング対象とする画像の状態に応じて定数ｋを設定すれば、より良好なマッチング結果を得ることができる。なお、ＳＡＤとＭＡＤの比率を決める定数ｋの調整方法としては、例えば図示せぬ設定画面を通じてユーザが任意に設定する方法や、マッチング対象とする画像を解析し、そこに含まれるノイズの状態に応じて定数ｋを適正な値に自動調整するなどの方法がある。
また、ＳＳＤよりもハードウェア構成が簡単である効果は前記第１の実施形態と同様である。
なお、画像間のマッチング探索以外に、一般の信号の相違度比較（すなわち類似度比較でもある）に基づく信号の判別に用いることもできる。その際には、テンプレートは信号の全体という場合もある。
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態は、処理の目的は前記第１の実施形態と同様であるが、相違度評価値の算出方法が異なる。すなわち、第３の実施形態では、マッチングのためのテンプレートをさらに細かい領域に分割し、これらの分割領域毎の各画素値の差分絶対値和（ＳＡＤ）を求め、その中の最大値を評価値として算出する。
図８を参照して具体的に説明する。
図８は第３の実施形態の領域分割を説明するための概念図である。図８（ａ）は、基準画像Ｒのテンプレートとオフセットされた対象画像Ｏとの画素毎の差分値をとる場合の１６×１６画素の正方形ブロックである。図左の実線と点線で区切った升目がテンプレートの各画素に対応する差分値である。
ここで、第３の実施形態では、このテンプレートを、図８（ｂ）に示すように２×２画素の小正方形のサブブロックに分割する。サブブロックの個数は８×８個である。各々のサブブロック内の２×２画素分の差分絶対値和（ＳＡＤ）を計算し、図８（ｂ）の升目の位置に対応する８×８個の値を得る。この８×８個の値の中の最大値を相違度の評価値とする。
以下に、第３の実施形態に関わる具体的な処理手順について説明する。
なお、装置構成について前記第１の実施形態と基本的には同じである。ただし、第３の実施形態において、図３に示したＣＰＵ３０のサンプル抽出部３０ｂは、テンプレート（ブロック）を複数の領域（サブブロック）に分割し、これらの分割領域毎に基準画像Ｒと対象画像Ｏから各サンプル点を抽出する。また、演算処理部３０ｃは、分割領域毎に基準画像Ｒと対象画像Ｏとの各サンプル点の差分絶対値和（ＳＡＤ）を求め、その中の最大値を評価値として算出する。
主処理の処理手順は図５と同じであるが、関数ｍａｄ（ｘ，ｙ）のコーするステップＳ１０８の処理を、関数ｍａｘｓａｄ（ｘ，ｙ）のコールに置き換える。その他のステップおよび全体の処理手順は全く同じであるので、その説明は省略するものとする。関数ｍａｘｓａｄ（ｘ，ｙ）とは、最大差分絶対値（ＭＡＤ）と類似の効果を、差分絶対値和（ＳＡＤ）と最大値演算の階層的適用により実現した関数のことである。関数の引数ｘ，ｙは、主処理から渡され、基準画像Ｒと対象画像Ｏ像のオフセットのｘ成分、ｙ成分をそれぞれ示す。
図９は第３の実施形態におけるデジタルカメラ１の主処理からコールされる関数ｍａｘｓａｄの処理手順を示すフローチャートである。
関数ｍａｘｓａｄがコールされると、ＣＰＵ３０は、サブブロック毎の差分絶対値和の最大値を示す変数ｍａｘを０で初期化すると共に（ステップＳ４０１）、テンプレート内の各画素を示す変数ｔｘ，ｔｙの範囲を設定して（ステップＳ４０２）、２×２画素のサブブロック毎のループを開始する。
テンプレートは、本実施形態では１６×１６画素の正方形ブロックなので、ｘ成分「はＢ〜Ｂ＋１５」、ｙ成分は「Ｃ〜Ｃ＋１５」が範囲となり、いずれも増分は２である。したがって、ループ回数は８×８回となる。前述の通り、座標（Ｂ，Ｃ）は基準画像Ｒにおけるテンプレートブロックの左上隅座標を示す。
ループの中では、ＣＰＵ３０は、基準画像Ｒのテンプレート内の各画素と、オフセットｘ，ｙによってずらされた対象画像Ｏの対応画素との差分値をサブブロック内の画素毎に計算し（変数ｓ０，ｓ１，ｓ２，ｓ３）、それらのサブブロック毎の差分絶対値和（変数ｓ）をとる（ステップＳ４０３，Ｓ４０３ａ，Ｓ４０４〜Ｓ４０８）。つまり、変数ｓ＝│ｓ０│＋│ｓ１│＋│ｓ２│＋│ｓ３│といった演算を行う。そして、ＣＰＵ３０は、サブブロック毎の差分絶対値和の中で最大のものをｍａｘに保存するように、順次比較更新する（ステップＳ４０９，Ｓ４１０）。
ループ終了後、ｍａｘの値が最終的に求める相違度の評価値ｔであり、これが主処理への戻り値となる（ステップＳ４１１）。
このように、基準画像Ｒと対象画像Ｏとをマッチングする際に、テンプレートを複数領域に分割し、これらの分割領域毎の差分絶対値和の最大値を相違度の評価値として演算することで、ノイズ成分を分散して処理できると共に、画像間にレベル差があっても、安定したマッチング結果を得ることができる。
また、ＳＳＤよりもハードウェア構成が簡単である効果は前記第１の実施形態と同様である。
なお、サブブロックの分割方法は、２×２画素の小正方形に限らず、例えば４×４画素の小正方形、１×１６画素のラインなどであっても良い。
また、画像間のマッチング探索以外に、一般の信号の相違度比較（すなわち類似度比較でもある）に基づく信号の判別に用いることもできる。その際には、テンプレートは信号の全体という場合もある。
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
第４の実施形態では、ＭＡＤによる相違度評価の演算処理と、ＳＡＤによる相違度評価の演算処理の２つを持ち、この２つを選択的に使用して相違度評価を行うようにしたものである。
図１０は第４の実施形態におけるデジタルカメラ１に備えられたＣＰＵ３０の機能構成を示すブロック図である。第４の実施形態において、ＣＰＵ３０を機能的に示すと、信号取得部３０ａ、サンプル抽出部３０ｂ、第１の演算処理部３０ｅ、第２の演算処理部３０ｆ、評価制御部３０ｇ、レベル差検出部３０ｈ、モード設定部３０ｉからなる。
信号取得部３０ａは、マッチング対象とする少なくも２つの信号を取得する。本実施形態では、マッチング対象として画像を例としているので、連続撮影などにより得られた２つの画像を取得することになる。この場合、前記２つの画像の一方は基準画像Ｒとしてメモリ２３の第１のバッファ２３ａに格納され、他方は対象画像Ｏとして第２のバッファ２３ｂに格納される。
サンプル抽出部３０ｂは、基準画像Ｒの所定ブロック内の各画素に対応する対象画像Ｏの各画素を抽出する。
第１の演算処理部３０ｅは、前記（５）式に示したＭＡＤの演算処理を行うものであり、サンプル抽出部３０ｂによって抽出された対象画像Ｏの各画素の夫々について、基準画像Ｒの各画素との差分絶対値を求め、その中の最大値を評価値として算出する。
第２の演算処理部３０ｆは、前記（２）式に示したＳＡＤの演算処理を行うものであり、サンプル抽出部３０ｂによって抽出された対象画像Ｏの各画素の夫々について、基準画像Ｒの各画素との差分絶対値和を求め、これを評価値として算出する。
評価制御部３０ｇは、第１の演算処理部３０ｅまたは第２の演算処理部３０ｆを選択的に使用して相違度評価を行う。
レベル差検出部３０ｈは、メモリ２３の第１のバッファ２３ａに格納された基準画像Ｒと第２のバッファ２３ｂに格納された対象画像Ｏとのレベル差を検出する。
撮影モード設定部３０ｉは、例えば「人物の撮影」、「風景の撮影」、「夜景の撮影」…などの各種シーンに対応した撮影モードを設定する。
以下に、第４の実施形態の動作について、（ａ）レベル差に応じてＭＡＤとＳＡＤを使い分ける場合と、（ｂ）撮影モードに応じてＭＡＤとＳＡＤを使い分ける場合の処理に分けて説明する。
（ａ）レベル差に応じてＭＡＤとＳＡＤを使い分ける場合
図１１は第４の実施形態におけるデジタルカメラ１のレベル差に応じてＭＡＤとＳＡＤを使い分ける場合の処理を示すフローチャートである。
マッチング対象となる基準画像Ｒと対象画像Ｏを取得すると（ステップＳ５０１）、ＣＰＵ３０は、その基準画像Ｒと対象画像Ｏをメモリ２３の第１のバッファ２３ａ，第２のバッファ２３ｂにそれぞれに格納する（ステップＳ５０２）。
ここで、ＣＰＵ３０は、基準画像Ｒと対象画像Ｏとのレベル差を検出する（ステップＳ５０３）。これは、例えば基準画像Ｒの各画素の平均輝度と対象画像Ｏの各画素の平均輝度を比較することで行う。
その結果、基準画像Ｒと対象画像Ｏとのレベル差が所定値以上であった場合には（ステップＳ５０４のＹｅｓ）、ＣＰＵ３０は、ＭＡＤを用いて相違度評価を行う（ステップＳ５０５，Ｓ５０６）。詳しくは、前記第１の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値を求め、その中の最大値を評価値として算出する。
一方、基準画像Ｒと対象画像Ｏとの間のレベル差が所定値未満であった場合には（ステップＳ５０３のＮｏ）、ＣＰＵ３０は、ＳＡＤを用いて相違度評価を行う（ステップＳ５０７，Ｓ５０８）。詳しくは、前記第２の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値和を評価値として算出する。
このように、基準画像Ｒと対象画像Ｏとをマッチングする際に、両者のレベル差を検出してＭＡＤとＳＡＤを選択的に使用することで、ＭＡＤとＳＡＤのそれぞれの長所を生かした相違度評価を行うことができ、常に安定したマッチング結果を得ることができる。
また、ＳＳＤよりもハードウェア構成が簡単である効果は前記第１の実施形態と同様である。
（ｂ）撮影モードに応じてＭＡＤとＳＡＤを使い分ける場合
例えば、長時間露光した画像と短時間露光した画像を合成してダイナミックレンジを広げる場合には、平均的な輝度のレベルが合わないため、ＳＡＤではマッチングできないことがある。また、蛍光灯の下で連続撮影を行うと、フリッカーの影響で各画像に部分的にレベル差が生じるため、ＳＡＤではマッチングできないことがある。
そこで、画像間のレベル差が発生する撮影モードを「特定の撮影モード」として決めておき、その特定の撮影モードが設定された場合にＭＡＤを使用するものとする。以下に、具体的な処理動作について説明する。
図１２は第４の実施形態におれるデジタルカメラ１の撮影モードに応じてＭＡＤとＳＡＤを使い分ける場合の処理を示すフローチャートである。
まず、所定の操作により図示せぬモード設定画面を表示し、その中でユーザによって選択された撮影モードを設定する（ステップＳ６０１）。前記モード設定画面には、例えば「人物の撮影」、「風景の撮影」、「夜景の撮影」…などの一般的な撮影シーンに対応したモードの他に、上述した「ダイナミックレンジの拡張」や「蛍光灯の下での連続撮影」といった特定の環境下で被写体を撮影する場合のモードが含まれる。
マッチング対象となる基準画像Ｒと対象画像Ｏを取得すると（ステップＳ６０２）、ＣＰＵ３０は、その基準画像Ｒと対象画像Ｏをメモリ２３の第１のバッファ２３ａ，第２のバッファ２３ｂにそれぞれに格納する（ステップＳ６０３）。
ここで、ＣＰＵ３０は、現在設定されている撮影シーンを判断する（ステップＳ６０４）。その結果、特定の撮影モードが設定されていた場合、つまり、上述した「ダイナミックレンジの拡張」や「蛍光灯の下での連続撮影」のように、画像間のレベル差が生じる撮影モードの場合には（ステップＳ６０４のＹｅｓ）、ＣＰＵ３０は、ＭＡＤを用いて相違度評価を行う（ステップＳ６０５，Ｓ６０６）。詳しくは、前記第１の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値を求め、その中の最大値を評価値として算出する。
一方、特定の撮影シーンが設定されていない場合には（ステップＳ６０４のＮｏ）、ＣＰＵ３０は、ＳＡＤを用いて相違度評価を行う（ステップＳ６０７，Ｓ６０８）。詳しくは、前記第２の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値和を評価値として算出する。
このように、基準画像Ｒと対象画像Ｏとをマッチングする際に、撮影シーンに応じてＭＡＤとＳＡＤを選択的に使用することで、ＭＡＤとＳＡＤのそれぞれの長所を生かした相違度評価を行うことができ、安定したマッチング結果を得ることができる。
また、ＳＳＤよりもハードウェア構成が簡単である効果は前記第１の実施形態と同様である。
なお、前記第４の実施形態では、ＭＡＤ以外の演算処理としてＳＡＤを用い、ＭＡＤとＳＡＤを選択的に使用して相違度評価を行うものとして説明したが、ＳＡＤの代わりにＳＳＤを用いるような構成も可能である。ＳＳＤの場合、実装コストが高くなるなどの問題があるが、ソフト実装であれば、その問題を軽減することができる。
また、前記第４の実施形態において、少なくともＭＡＤの演算処理に際し、前記第１の実施形態で説明したようなローパスフィルタを基準画像Ｒと対象画像Ｏに適用することが好ましい。
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
第５の実施形態では、ＭＡＤによる相違度評価の演算処理と、ＳＡＤによる相違度評価の演算処理の２つを持ち、一方の演算処理で得た評価値が基準値以上である場合に他方の演算処理にて評価値を得るようにしたものである。ここでの演算にて得られる評価値は画像間の相違度を示す値であるため、評価値が小さいほどマッチングが良く、評価値が高いほどマッチングが悪いことを意味する。
なお、装置構成は図１０を参照する。第５の実施形態において、ＣＰＵ３０の評価制御部３０ｇは、第１の演算処理部３０ｅまたは第２の演算処理部３０ｆの一方を使用して相違度評価を行い、そのときに得られた評価値が基準値以上である場合に他方を使用して相違度評価を行う。
以下に、第５の実施形態の動作について、（ａ）ＭＡＤを優先して使う場合と、（ｂ）ＳＡＤを優先して使う場合の処理に分けて説明する。
（ａ）ＭＡＤを優先して使う場合
図１３は第５の実施形態におけるデジタルカメラ１のＭＡＤを優先して使う場合の処理を示すフローチャートである。
マッチング対象となる基準画像Ｒと対象画像Ｏを取得すると（ステップＳ７０１）、ＣＰＵ３０は、その基準画像Ｒと対象画像Ｏをメモリ２３の第１のバッファ２３ａ，第２のバッファ２３ｂにそれぞれに格納する（ステップＳ７０２）。
ＣＰＵ３０は、まず、ＭＡＤを用いて相違度評価を行う（ステップＳ７０３，Ｓ７０４）。詳しくは、前記第１の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値を求め、その中の最大値を評価値として算出する。
ここで、前記算出された評価値が基準値以上であった場合、つまり、各画素毎に最大差分絶対値を順次求めながら最終的に得られた評価値ｔが基準値を満たさず、正しくマッチングできない場合には（ステップＳ７０５のＹｅｓ）、ＣＰＵ３０は、ＳＡＤに切り替えて相違度評価を行う（ステップＳ７０６）。詳しくは、前記第２の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値和を評価値として算出する。この場合、対応画素の抽出処理は既にステップＳ７０３で行われているので、演算処理だけを行うことでも良い。
なお、ＳＡＤに切り替えても基準値以上の評価値が得られない場合には、マッチングエラーとして、例えばエラーメッセージを表示するなどして、ここでの処理を終えるものとする。
このように、ＭＡＤとＳＡＤを選択的に使用することで、ＭＡＤとＳＡＤのそれぞれの長所を生かした相違度評価を行うことができ、常に安定したマッチング結果を得ることができる。特に、ＭＡＤを優先的に使用することで、レベル差のある画像間のマッチングを行う場合に有効的である。
また、ＳＳＤよりもハードウェア構成が簡単である効果は前記第１の実施形態と同様である。
（ｂ）ＳＡＤを優先して使う場合
図１４は第５の実施形態におけるデジタルカメラ１のＳＡＤを優先して使う場合の処理を示すフローチャートである。
マッチング対象となる基準画像Ｒと対象画像Ｏを取得すると（ステップＳ８０１）、ＣＰＵ３０は、その基準画像Ｒと対象画像Ｏをメモリ２３の第１のバッファ２３ａ，第２のバッファ２３ｂにそれぞれに格納する（ステップＳ８０２）。
ＣＰＵ３０は、まず、ＳＡＤを用いて相違度評価を行う（ステップＳ８０３，Ｓ８０４）。詳しくは、前記第２の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値和を評価値として算出する。
ここで、前記算出された評価値が基準値以上であった場合、つまり、各画素毎に差分絶対値和を順次求めながら最終的に得られた評価値ｔが基準値を満たさず、正しくマッチングできない場合には（ステップＳ８０５のＹｅｓ）、ＣＰＵ３０は、ＭＡＤに切り替えて相違度評価を行う（ステップＳ８０６）。詳しくは、前記第１の実施形態で説明したように、基準画像Ｒのテンプレート内の各画素に対応する対象画像Ｏの各画素を抽出し、これらの画素間の差分絶対値を求め、その中の最大値を評価値として算出する。この場合、対応画素の抽出処理は既にステップＳ７０３で行われているので、演算処理だけを行うことでも良い。
なお、ＭＡＤに切り替えても基準値以上の評価値が得られない場合には、マッチングエラーとして、例えばエラーメッセージを表示するなどして、ここでの処理を終えるものとする。
このように、ＭＡＤとＳＡＤを選択的に使用することで、ＭＡＤとＳＡＤのそれぞれの長所を生かした相違度評価を行うことができ、常に安定したマッチング結果を得ることができる。特に、ＳＡＤを優先的に使用することで、ピーク性のノイズが含まれている画像間のマッチングを行う場合に有効的である。
また、ＳＳＤよりもハードウェア構成が簡単である効果は前記第１の実施形態と同様である。
なお、前記第５の実施形態において、少なくともＭＡＤの演算処理に際し、前記第１の実施形態で説明したようなローパスフィルタを基準画像Ｒと対象画像Ｏに適用することが好ましい。
また、前記各実施形態では、すべての処理をソフトウェアで実現する場合について説明したが、処理の一部または全部をハードウェアで実現しても良い。
また、本発明は、デジタルカメラに限らず、画像等の信号をマッチングする機能を備えた装置であれば、そのすべてに適用可能である。
要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
図１は本発明の第１の実施形態に係る相違度評価装置をデジタルカメラに適用した場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。 図２は同実施形態におけるデジタルカメラの電子回路構成を示すブロック図である。 図３は同実施形態におけるデジタルカメラに備えられたＣＰＵの機能構成を示すブロック図である。 図４は同実施形態における基準画像と対象画像のマッチング例を示す図である。 図５は同実施形態におけるデジタルカメラの主処理の流れを示すフローチャートである。 図６は同実施形態におけるデジタルカメラの主処理からコールされる関数ｍａｄの処理手順を示すフローチャートである。 図７は第２の実施形態におけるデジタルカメラの主処理からコールされる関数ｓａｄｐｌｕｓｍａｄの処理手順を示すフローチャートである。 図８は第３の実施形態におけるテンプレートの領域分割を説明するための概念図である。 図９は第３の実施形態におけるデジタルカメラの主処理からコールされる関数ｍａｘｓａｄの処理手順を示すフローチャートである。 図１０は第４の実施形態におけるデジタルカメラの機能構成を示すブロック図である。 図１１は第４の実施形態におけるデジタルカメラのレベル差に応じてＭＡＤとＳＡＤを使い分ける場合の処理を示すフローチャートである。 図１２は第４の実施形態におれるデジタルカメラの撮影モードに応じてＭＡＤとＳＡＤを使い分ける場合の処理を示すフローチャートである。 図１３は第５の実施形態におけるデジタルカメラのＭＡＤを優先して使う場合の処理を示すフローチャートである。 図１４は第５の実施形態におけるデジタルカメラのＳＡＤを優先して使う場合の処理を示すフローチャートである。 図１５は１次元の信号を例にした場合のマッチング方法を説明するための図である。 図１６はＳＡＤ、ＳＳＤ、ＭＡＤによる相違度の評価結果を示す図である。
符号の説明
１…デジタルカメラ、２…ボディ、３…撮影レンズ、４…セルフタイマランプ、５…光学ファインダ窓、６…ストロボ発光部、７…マイクロホン部、８…電源キー、９…シャッタキー、１０…撮影モードキー、１１…再生モードキー、１２…光学ファインダ、１３…スピーカ部、１４…マクロキー、１５…ストロボキー、１６…メニュー（ＭＥＮＵ）キー、１７…リングキー、１８…セット（ＳＥＴ）キー、１９…表示部、２１…光学レンズ装置、２２…イメージセンサ、２３…メモリ、２３ａ…第１のバッファ、２３ｂ…第２のバッファ、２４…表示装置、２５…画像処理装置、２６…操作部、２７…コンピュータインタフェース部、２８…外部記憶ＩＯ装置、２９…プログラムコード記憶装置、３０…ＣＰＵ、３０ａ…信号取得部、３０ｂ…サンプル抽出部、３０ｃ…演算処理部、３０ｄ…フィルタ処理部、３０ｅ…第１の演算処理部、３０ｆ…第２の演算処理部、３０ｇ…評価制御部、３０ｈ…レベル差検出部、３０ｉ…撮影モード設定部。

Claims (18)

  1. マッチング対象とする少なくも２つの信号を取得する信号取得手段と、
    この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、
    この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、
    このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を評価値として算出する演算処理手段とを具備し、
    前記演算処理手段は、前記差分絶対値の最大値を第１の評価値として算出すると共に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率で線形結合した値を最終的な評価値として算出することを特徴する相違度評価装置。
  2. 前記第１の評価値と前記第２の評価値との比率を調整する比率調整手段を具備したことを特徴とする請求項１記載の相違度評価装置。
  3. マッチング対象とする少なくも２つの信号を取得する信号取得手段と、
    この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、
    この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、
    このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を評価値として算出する演算処理手段とを具備し、
    前記サンプル抽出手段は、前記ブロックを複数の領域に分割し、これらの分割領域毎に前記基準信号と前記対象信号から各サンプル点を抽出し、
    前記演算処理手段は、前記分割領域毎に前記基準信号と前記対象信号との各サンプル点の差分絶対値和を求め、その中の最大値を評価値として算出することを特徴とする相違度評価装置。
  4. 前記基準信号と前記対象信号とをマッチングする際に、高周波性成分をカットするためのフィルタ処理を施すフィルタ処理手段を具備したことを特徴とする請求項１乃至３のいずれかに記載の相違度評価装置。
  5. マッチング対象とする少なくも２つの信号を取得する信号取得手段と、
    この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、
    この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、
    このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理手段と、
    前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理手段と、
    前記第１または第２の演算処理手段を選択的に使用して相違度評価を行う評価制御手段と
    を具備したことを特徴する相違度評価装置。
  6. マッチング対象とする少なくも２つの信号を取得する信号取得手段と、
    この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、
    この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、
    このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理手段と、
    前記基準信号と前記対象信号との各サンプル点の差分二乗和を評価値として算出する第２の演算処理手段と、
    前記第１または第２の演算処理手段を選択的に使用して相違度評価を行う評価制御手段と
    を具備したことを特徴する相違度評価装置。
  7. 前記基準信号と前記対象信号とのレベル差を検出するレベル差検出手段を備え、
    前記評価制御手段は、前記レベル差検出手段によって検出さたれレベル差が所定値以上の場合に前記第１の演算処理手段を選択し、レベル差が所定値未満の場合には前記第２の演算処理手段を選択して相違度評価を行うことを特徴する請求項５又は６に記載の相違度評価装置。
  8. 特定のモードを設定するモード設定手段を備え、
    前記評価制御手段は、前記モード設定手段によって前記特定のモードが設定された場合に前記第１の演算処理手段を選択し、前記特定のモードが設定されていない場合には前記第２の演算処理手段を選択して相違度評価を行うことを特徴する請求項５又は６に記載の相違度評価装置。
  9. マッチング対象とする少なくも２つの信号を取得する信号取得手段と、
    この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、
    この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、
    このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理手段と、
    この第１の演算処理手段によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理手段と
    を具備したことを特徴する相違度評価装置。
  10. マッチング対象とする少なくも２つの信号を取得する信号取得手段と、
    この信号取得手段によって得られた２つの信号の一方を基準信号、他方を対象信号として記憶する記憶手段と、
    この記憶手段に記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するサンプル抽出手段と、
    このサンプル抽出手段によって抽出された前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値和を評価値として算出する第１の演算処理手段と、
    この第１の演算処理手段によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値の最大値を評価値として算出する第２の演算処理手段と
    を具備したことを特徴する相違度評価装置。
  11. マッチング対象とする少なくも２つの信号を取得する第１のステップと、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２のステップと、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３のステップと、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を第１の評価値として算出する第４のステップと、
    前記基準信号と前記対象信号との各サンプル点の差分絶対値和を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率で線形結合した値を最終的な評価値として算出する第５のステップと
    を有することを特徴とする相違度評価方法。
  12. マッチング対象とする少なくも２つの信号を取得するステップと、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶するステップと、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出するステップと、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理と、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理とを選択的に使用して相違度評価を行うステップと
    を有することを特徴とする相違度評価方法。
  13. マッチング対象とする少なくも２つの信号を取得する第１のステップと、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２のステップと、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３のステップと、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第４のステップと、
    この第４のステップによって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第５のステップと
    を有することを特徴する相違度評価方法。
  14. マッチング対象とする少なくも２つの信号を取得する第１のステップと、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２のステップと、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３のステップと、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値和を評価値として算出する第４のステップと、
    この第４のステップによって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値の最大値を評価値として算出する第５のステップと
    を有することを特徴する相違度評価方法。
  15. コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    前記コンピュータに、
    マッチング対象とする少なくも２つの信号を取得する第１の機能と、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２の機能と、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３の機能と、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値を求め、その中の最大値を第１の評価値として算出する第４の機能と、
    前記基準信号と前記対象信号との各サンプル点の差分絶対値和を第２の評価値として算出し、前記第１の評価値と前記第２の評価値とを所定の比率で線形結合した値を最終的な評価値として算出する第５の機能と
    を実現させることを特徴とするプログラム。
  16. コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    前記コンピュータに、
    マッチング対象とする少なくも２つの信号を取得する機能と、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する機能と、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する機能と、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第１の演算処理と、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第２の演算処理とを選択的に使用して相違度評価を行う機能と
    を実現させることを特徴とするプログラム。
  17. コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    前記コンピュータに、
    マッチング対象とする少なくも２つの信号を取得する第１の機能と、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２の機能と、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３の機能と、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値の最大値を評価値として算出する第４の機能と、
    この第４の機能によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値和を評価値として算出する第５の機能と
    を実現させることを特徴とするプログラム。
  18. コンピュータによって読み取り可能な記録媒体に記録されたプログラムであって、
    前記コンピュータに、
    マッチング対象とする少なくも２つの信号を取得する第１の機能と、
    前記２つの信号の一方を基準信号、他方を対象信号として所定のメモリに記憶する第２の機能と、
    前記メモリに記憶された基準信号の所定ブロック内の各サンプル点に対応する前記対象信号の各サンプル点を抽出する第３の機能と、
    前記対象信号の各サンプル点の夫々について、前記基準信号の各サンプル点との差分絶対値和を評価値として算出する第４の機能と、
    この第４の機能によって算出された評価値が基準値以上であった場合に、前記基準信号と前記対象信号との各サンプル点の差分絶対値の最大値を評価値として算出する第５の機能と
    を実現させることを特徴とするプログラム。
JP2007075316A 2007-03-22 2007-03-22 相違度評価装置、相違度評価方法及びプログラム Active JP4702312B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007075316A JP4702312B2 (ja) 2007-03-22 2007-03-22 相違度評価装置、相違度評価方法及びプログラム
US12/077,510 US8421868B2 (en) 2007-03-22 2008-03-19 Difference degree evaluation device, difference degree evaluation method and program product
US13/846,703 US8542280B2 (en) 2007-03-22 2013-03-18 Difference degree evaluation device, difference degree evaluation method and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007075316A JP4702312B2 (ja) 2007-03-22 2007-03-22 相違度評価装置、相違度評価方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2008234465A JP2008234465A (ja) 2008-10-02
JP4702312B2 true JP4702312B2 (ja) 2011-06-15

Family

ID=39775809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007075316A Active JP4702312B2 (ja) 2007-03-22 2007-03-22 相違度評価装置、相違度評価方法及びプログラム

Country Status (2)

Country Link
US (2) US8421868B2 (ja)
JP (1) JP4702312B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5490117B2 (ja) * 2009-07-07 2014-05-14 株式会社東芝 画像処理装置
JP5198543B2 (ja) 2010-11-19 2013-05-15 株式会社東芝 画像処理方法、画像処理装置及び画像処理プログラム
US9569695B2 (en) * 2012-04-24 2017-02-14 Stmicroelectronics S.R.L. Adaptive search window control for visual search
US20180225799A1 (en) * 2017-02-03 2018-08-09 Cognex Corporation System and method for scoring color candidate poses against a color image in a vision system
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153180A (ja) * 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
JPH0793727B2 (ja) * 1987-06-16 1995-10-09 ソニー株式会社 高能率符号の復号装置
JPH10289315A (ja) * 1997-04-16 1998-10-27 Sony Corp 視差算出装置、距離算出装置およびこれらの方法
JP2001224028A (ja) * 2000-02-14 2001-08-17 Sony Corp 情報処理装置および方法
JP2001298736A (ja) * 2000-02-10 2001-10-26 Sony Corp 情報処理装置および方法、学習装置および方法、並びに記録媒体
JP2006023976A (ja) * 2004-07-08 2006-01-26 Nippon Telegr & Teleph Corp <Ntt> パラメータ設定方法、画像パターン抽出方法、パラメータ設定装置、画像パターン抽出装置、およびこれら方法のプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3265078B2 (ja) 1993-09-27 2002-03-11 松下電器産業株式会社 薄膜磁気抵抗効果型磁気ヘッド
US20070070059A1 (en) * 2001-08-10 2007-03-29 Alan Rojer Refinement of block motion estimate using texture mapping
US8018530B2 (en) * 2006-12-29 2011-09-13 Intel Corporation Adaptive video de-interlacing
US8503521B2 (en) * 2007-01-16 2013-08-06 Chih-Ta Star SUNG Method of digital video reference frame compression

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0793727B2 (ja) * 1987-06-16 1995-10-09 ソニー株式会社 高能率符号の復号装置
JPH06153180A (ja) * 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
JPH10289315A (ja) * 1997-04-16 1998-10-27 Sony Corp 視差算出装置、距離算出装置およびこれらの方法
JP2001298736A (ja) * 2000-02-10 2001-10-26 Sony Corp 情報処理装置および方法、学習装置および方法、並びに記録媒体
JP2001224028A (ja) * 2000-02-14 2001-08-17 Sony Corp 情報処理装置および方法
JP2006023976A (ja) * 2004-07-08 2006-01-26 Nippon Telegr & Teleph Corp <Ntt> パラメータ設定方法、画像パターン抽出方法、パラメータ設定装置、画像パターン抽出装置、およびこれら方法のプログラム

Also Published As

Publication number Publication date
JP2008234465A (ja) 2008-10-02
US20080235310A1 (en) 2008-09-25
US20130216142A1 (en) 2013-08-22
US8421868B2 (en) 2013-04-16
US8542280B2 (en) 2013-09-24

Similar Documents

Publication Publication Date Title
US8520116B2 (en) Photographing apparatus and method
JP2004207985A (ja) デジタルカメラ
CN109691080B (zh) 拍摄图像方法、装置和终端
JPH10240436A (ja) 情報処理装置および記録媒体
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2009147730A (ja) 動画生成装置、動画撮影装置、動画生成方法及びプログラム
JP4702312B2 (ja) 相違度評価装置、相違度評価方法及びプログラム
JP6521626B2 (ja) 被写体追跡装置、方法およびプログラム
JP4466430B2 (ja) 電子カメラ及び撮像制御プログラム
JP2009017223A (ja) 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP5011504B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP5167236B2 (ja) 被写体追跡装置及びその制御方法
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
US8339498B2 (en) Method and apparatus for displaying luminance, and digital photographing apparatus using the same
JP5911300B2 (ja) 撮像装置及びその制御方法
JP5451364B2 (ja) 被写体追跡装置及びその制御方法
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
WO2018119787A1 (zh) 一种去马赛克方法及装置
JP4871798B2 (ja) 電子機器
JP5222429B2 (ja) 被写体追跡装置及びその制御方法
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5289354B2 (ja) 撮像装置
JP2006094202A (ja) 撮像装置、合焦処理方法及びプログラム
JP2011172079A (ja) 画像再生装置及び画像再生プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R150 Certificate of patent or registration of utility model

Ref document number: 4702312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150