JP6845492B2 - 画像照合装置 - Google Patents

画像照合装置 Download PDF

Info

Publication number
JP6845492B2
JP6845492B2 JP2019560880A JP2019560880A JP6845492B2 JP 6845492 B2 JP6845492 B2 JP 6845492B2 JP 2019560880 A JP2019560880 A JP 2019560880A JP 2019560880 A JP2019560880 A JP 2019560880A JP 6845492 B2 JP6845492 B2 JP 6845492B2
Authority
JP
Japan
Prior art keywords
image
frequency feature
frequency
score
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019560880A
Other languages
English (en)
Other versions
JPWO2019123917A1 (ja
Inventor
高橋 徹
徹 高橋
石山 塁
塁 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019123917A1 publication Critical patent/JPWO2019123917A1/ja
Application granted granted Critical
Publication of JP6845492B2 publication Critical patent/JP6845492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/80Recognising image objects characterised by unique random patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1985Syntactic analysis, e.g. using a grammatical approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、画像照合装置、画像照合方法、および記録媒体に関する。
個体識別などを目的として照合画像と登録画像との照合を行う画像照合方法が各種提案ないし実用化されている。
例えば、特許文献1では、先ず、照合画像と登録画像に対してフーリエ変換を用いて周波数領域へ変換する。次に、上記変換によって得られた照合画像および登録画像の各々の複素スペクトルからクロスパワースペクトルを算出する。次に、上記クロスパワースペクトルに対して周波数毎の重みフィルタを用いてパワー成分を消去して位相成分のみに正規化する。次に、上記正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する。次に、上記算出された相関係数が最大値となる座標を用いてパターンマッチング判定を行う。
また、特許文献2では、予め登録画像にフーリエ変換を施して登録フーリエ画像を作成しておく。次に、照合画像にフーリエ変換を施して照合フーリエ画像を作成する。次に、照合フーリエ画像と予め作成しておいた登録フーリエ画像とを合成する。次に、上記の合成フーリエ画像に対して振幅抑制処理を行った上で、逆フーリエ変換を施す。次に、逆フーリエ変換の施された合成フーリエ画像に出現する所定の相関成分エリアよりその相関成分の強度の高い上位n画素を抽出する。そして、抽出したn画素の相関成分の強度に基づいて、登録画像と照合画像とが一致するか否かを判断する。
一方、本発明に関連する他の技術として、以下のものが知られている。
特許文献3には、互いに同一である2つの画像間の位置ずれを測定する技術が記載されている。具体的には、照合される2つのN次元のパターンに対応するパターン信号のそれぞれに、互いに非平行な位相進行方向を示すm種類(mはm≧Nを満たす整数)の位相情報を付加する。次に、同じ位相情報が付加されたm組のパターン信号間の相関を求める。そして、得られたm組の相関の位相情報に基づき、パターン間の位置ずれを求める。特許文献3は、互いに同一である2つのN次元のパターン間の位置ずれを測定する技術であり、互いに同一か否か不明な2つのN次元のパターンの照合を行う技術ではない。
特開2008−15848号公報 特許第3254622号公報 特許第5558127号公報
上述した特許文献1および特許文献2に記載されるように、2つの画像の照合を行う際、2つの画像の周波数特徴を合成し、更にその合成後の周波数特徴を逆フーリエ変換した結果を利用することが一般的であった。しかし、逆フーリエ変換の演算量は多い。そのため、2つの画像の照合を高速に行うのは困難であった。
本発明の目的は、上述した課題を解決する画像照合装置を提供することにある。
本発明の一形態に係る画像照合装置は、
第1の画像と第2の画像とを照合する画像照合装置であって、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う判定部と、を備える。
本発明の他の実施形態に係る画像照合方法は、
第1の画像と第2の画像とを照合する画像照合方法であって、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得し、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成し、
前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、
前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う。
本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
第1の画像と第2の画像とを照合するコンピュータに、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得する処理と、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成する処理と、
前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う処理と、
を行わせるためのプログラムを記録する。
本発明は上述した構成を有することにより、第1の画像と第2の画像との照合を高速に行うことができる。
本発明の第1の実施形態に係る画像照合装置のブロック図である。 本発明の第1の実施形態に係る画像照合装置のハードウェア構成の一例を示すブロック図である。 本発明の第1の実施形態に係る画像照合装置の動作の概略を示すフローチャートである。 本発明の第1の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 第1の画像の周波数特徴と第2の画像の周波数特徴とを示す数式の例を示す図である。 振幅成分AF(k1,k2)およびAG(k1,k2)、位相成分θF(k1,k2)およびθG(k1,k2)のイメージの例を示す図である。 正規化クロスパワースペクトルを算出する数式の例を示す図である。 位置ずれを伴う同一画像ペアの周波数特徴F(k1,k2)、周波数特徴G(k1,k2)、および正規化クロスパワースペクトルR(k1,k2)を示す数式の例を示す図である。 同一画像ペアの正規化クロスパワースペクトルR(k1,k2)のイメージの例を示す図である。 本発明の第1の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 正規化クロスパワースペクトルの2階偏微分の計算例を示す図である。 本発明の第2の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 正規化クロスパワースペクトルの各要素の位相角を算出する式の例を示す図である。 正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である場合における正規化クロスパワースペクトルデータの3次元点群データの分布を示す3軸グラフの例を示す図である。 正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波でない場合における正規化クロスパワースペクトルデータの3次元点群データの分布を示す3軸グラフの例を示す図である。 本発明の第3の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 本発明の第4の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 本発明の第5の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。 本発明の第6の実施形態に係る画像照合装置における複素正弦波判定部の一例を示すブロック図である。 同一画像ペアの正規化クロスパワースペクトルの勾配およびその絶対値の計算例を示す図である。 異なる画像ペアの正規化クロスパワースペクトルの勾配およびその絶対値の計算例を示す図である。 本発明の第7の実施形態に係る画像照合装置のブロック図である。 2階偏微分算出部の処理の一例を示す図である。 勾配算出部の処理の一例を示す図である。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像照合装置のブロック図である。本実施形態に係る画像照合装置100は、第1の画像と第2の画像との照合を行うように構成されている。図1を参照すると、画像照合装置100は、周波数特徴取得部101と、第1の記憶部102と、第2の記憶部103と、周波数特徴合成部104と、複素正弦波判定部105と、情報提示部106とを備えている。
周波数特徴取得部101は、第1の画像と第2の画像との周波数特徴を取得するように構成されている。周波数特徴とは、画像に対してフーリエ変換(離散フーリエ変換)を施すことによって周波数領域に変換した結果の2次元データ(2次元配列)を指す。フーリエ変換以外の周波数変換、例えばウェーブレット変換を行うものであってもよい。
ここで、第1の画像は、例えば、照合対象の物体を撮像して得られた照合画像である。また、第2の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの1つである。第2の画像は1つ或いは複数存在する。また、物体とは、例えば工業製品や商品等である。物体の表面には、微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンが存在する。このような物体表面のパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細パターンを認識することで、製品個々の個体識別や管理を行うことができる。本実施形態は、そのような個体識別のための画像照合技術に関する。
第1の記憶部102は、第1の画像の周波数特徴を記憶するように構成されている。第2の記憶部103は、第2の画像の周波数特徴を記憶するように構成されている。
周波数特徴合成部104は、第1の記憶部102に格納された第1の画像の周波数特徴と、第2の記憶部103に格納された第2の画像の周波数特徴との正規化クロスパワースペクトルを算出するように構成されている。
複素正弦波判定部105は、周波数特徴合成部104によって算出された正規化クロスパワースペクトルが単一の周期を持つ複素正弦波信号である程度を示すスコアを算出するように構成されている。また複素正弦波判定部105は、算出したスコアに基づいて第1の画像と第2の画像との照合を行うように構成されている。即ち、複素正弦波判定部105は、正規化クロスパワースペクトルが単一の周期を持つ複素正弦波信号である程度を示すスコアを、第1の画像と第2の画像との類似度を表すスコアとして利用する。
情報提示部106は、複素正弦波判定部105の判定結果に基づき、第1の画像と第2の画像との照合結果を提示するように構成されている。照合結果の提示は、照合結果を表示装置に表示し、または照合結果を記載した用紙を印刷装置で印刷し、または照合結果を記載したメッセージを通信装置で外部端末へ送信することなどであってよい。
画像照合装置100は、例えば図2に示すように、カメラ等の撮像部201と、キーボードやマウスなどの操作入力部202と、液晶ディスプレイ等の画面表示部203と、通信インタフェース部204と、メモリやハードディスク等の記憶部205と、1以上のマイクロプロセッサ等の演算処理部206とを有する情報処理装置200と、プログラム207とで実現することができる。情報処理装置200は、例えばパーソナルコンピュータやスマートフォンであってよい。
プログラム207は、情報処理装置200の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部206の動作を制御することにより、演算処理部206上に、周波数特徴取得部101、第1の記憶部102、第2の記憶部103、周波数特徴合成部104、複素正弦波判定部105、および情報提示部106といった機能的手段を実現する。
次に、本実施形態に係る画像照合装置100の動作の概略を説明する。
図3は、画像照合装置100の動作の概略を示すフローチャートである。まず、周波数特徴取得部101は、第1の画像の周波数特徴と第2の画像の周波数特徴とを取得する(ステップS1)。第2の画像が複数存在する場合、周波数特徴取得部101は、その各々の第2の画像から周波数特徴を取得する。周波数特徴取得部101は、取得した第1の画像の周波数特徴を第1の記憶部102に保存し、第2の画像の周波数特徴を第2の記憶部103に保存する。
次に、周波数特徴合成部104は、第1の記憶部102に格納された第1の画像の周波数特徴と、第2の記憶部103に格納された第2の画像の周波数特徴との正規化クロスパワースペクトルを算出する(ステップS2)。第2の画像の周波数特徴が複数存在する場合、周波数特徴合成部104は、第1の画像の周波数特徴と各々の第2の画像の周波数特徴との複数の正規化クロスパワースペクトルを算出する。
次に、複素正弦波判定部105は、周波数特徴合成部104から得た正規化クロスパワースペクトルが単一の周期を持つ複素正弦波である程度を示すスコアを算出する(ステップS3)。正規化クロスパワースペクトルが複数存在する場合、複素正弦波判定部105は、その各々の正規化クロスパワースペクトルについて、単一の周期を持つ複素正弦波である程度を示すスコアを算出する。
次に、複素正弦波判定部105は、算出したスコアに基づいて、第1の画像と第2の画像との照合を行う(ステップS4)。
例えば、第2の画像が1つの場合、複素正弦波判定部105は、スコアが所定の基準値を満たす場合、第1の画像と第2の画像とは一致する(同一である)旨の照合結果を導出する。他方、複素正弦波判定部105は、スコアが所定の基準を満たさない場合、第1の画像と第2の画像とは一致しない(同一でない)旨の照合結果を導出する。
また、例えば、第2の画像が複数存在する場合、複素正弦波判定部105は、算出した複数のスコアのうちの最良のスコアが所定の基準値を満たす場合、第1の画像と上記最良のスコアとなった第2の画像とは一致する(同一である)旨の照合結果を導出する。他方、複素正弦波判定部105は、上記最良のスコアが所定の基準値を満たさない場合、第1の画像と第2の画像とは一致しない(同一でない)旨の照合結果を導出する。
次に、情報提示部106は、複素正弦波判定部105から得た第1の画像と第2の画像との照合結果を提示する(ステップS5)。
次に、本実施形態に係る画像照合装置100の各部を詳細に説明する。
先ず、周波数特徴取得部101について詳細に説明する。
図4は、周波数特徴取得部101の一例を示すブロック図である。この例の周波数特徴取得部101は、画像取得部111と、周波数変換部112とで構成される。
画像取得部111は、第1の画像と第2の画像とを取得するように構成されている。画像取得部111は、例えばカメラやスキャナ等に代表される撮影機器であってよい。或いは画像取得部111は、可視光線と、それより波長の長い近赤外線や短波長赤外線、熱赤外線領域までの光をレンズで集め、対象物の形状などを画像データとして取得する光学センサであってもよい。或いは、画像取得部111は、赤外光や紫外光、X線の強度を取得し、2次元データ配列として出力するセンサであってもよい。或いは、画像取得部111は、CD−ROMやメモリ等の外部記憶媒体から第1の画像および第2の画像を取得するように構成されていてもよい。或いは、画像取得部111は、ネットワーク経由で第1の画像および第2の画像を受け取るように構成されていてもよい。また、画像取得部111は、第1の画像を取得する方法と第2の画像を取得する方法とが異なっていてもよい。
周波数変換部112は、画像取得部111から第1の画像と第2の画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施した結果の画像(周波数スペクトル画像)を出力するように構成されている。周波数変換部112は、第1の画像の周波数スペクトル画像を第1の周波数特徴として第1の記憶部102に保存し、第2の画像の周波数スペクトル画像を第2の周波数特徴として第2の記憶部103に保存する。
次に、周波数特徴取得部101が取得する第1の画像と第2の画像との周波数特徴の例を、説明する。
第1の画像および第2の画像を、N1×N2ピクセルの2つの画像f(n1,n2)および画像g(n1,n2)とする。また、2次元画像信号の離散空間インデックス(整数)を、n1=−M1,…,M1およびn2=−M2,…,M2とする。ただし、M1およびM2は正の整数であり、N1=2M1+1およびN2=2M2+1である。そうすると、画像f(n1,n2)を2次元離散フーリエ変換して得られる第1の周波数特徴F(k1,k2)、および画像g(n1,n2)を2次元離散フーリエ変換して得られる第2の周波数特徴G(k1,k2)は、図5に示す式1、式2で与えられる。式1、式2において、k1=−M1,…,M1およびk2=−M2,…,M2は離散周波数インデックス(整数)である。また、WN1およびWN2は回転因子であり、図5に示す式3、式4で与えられる。また、AF(k1,k2)およびAG(k1,k2)は振幅スペクトル(振幅成分)、θF(k1,k2)およびθG(k1,k2)は位相スペクトル(位相成分)をそれぞれ表す。また、Σn1,n2は、図5の式5に示すようにインデックス全域にわたる加算を表す。
図6は、振幅成分AF(k1,k2)およびAG(k1,k2)、位相成分θF(k1,k2)およびθG(k1,k2)のイメージの例を示す。
次に、周波数特徴合成部104について詳細に説明する。
周波数特徴合成部104は、第1の周波数特徴F(k1,k2)と第2の周波数特徴G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)を、図7に示す式6により算出する。式6において、オーバーラインG(k1,k2)は第2の周波数特徴G(k1,k2)の複素共役である。また、θF(k1,k2)−θG(k1,k2)は第1の周波数特徴と第2の周波数特徴の位相差スペクトルである。式6に示されるように、周波数特徴合成部104は、第1の周波数特徴F(k1,k2)と、第2の周波数特徴G(k1,k2)の複素共役の要素ごとの積である、クロスパワースペクトルを求め、さらにその絶対値で正規化することにより、正規化クロスパワースペクトルを算出する。
ところで、画像f(n1,n2)と画像g(n1,n2)が位置ずれを伴う同一画像ペアの場合、それらの周波数特徴F(k1,k2)、周波数特徴G(k1,k2)、ならびにその2つの正規化クロスパワースペクトルR(k1,k2)は、図8に示す式7、式8、式9で与えられる。ここで、δ1,δ2は画像f(n1,n2)と画像g(n1,n2)間の位置ずれ量である。即ち、画像g(n1,n2)は画像f(n1,n2)を(δ1,δ2)だけ平行移動させた画像である。式9に示されるように、照合を行う2つの周波数特徴F(k1,k2)、G(k1,k2)が同一画像ペアの場合、その正規化クロスパワースペクトルR(k1,k2)は、次元ごと(k1,k2ごと)に単一の周期を持つ複素正弦波として表現される。これに対して、照合を行う2つの周波数特徴F(k1,k2)、G(k1,k2)が同一画像ペアでない場合、その正規化クロスパワースペクトルR(k1,k2)は、次元ごとに単一の周期を持つ複素正弦波にはならない。
図9は、同一画像ペアの正規化クロスパワースペクトルR(k1,k2)のイメージの例を示す。このように同一画像ペアの正規化クロスパワースペクトルは、明るい箇所を山、暗い箇所を谷に見立てると、単一の周期を持つ波のようなイメージである。
次に、複素正弦波判定部105について詳細に説明する。
図10は、複素正弦波判定部105の一例を示すブロック図である。この例の複素正弦波判定部105は、2階偏微分算出部121と、判定部122とで構成される。
2階偏微分算出部121は、周波数特徴合成部104から得た正規化クロスパワースペクトルの要素ごとに2階偏微分値を算出するように構成されている。正規化クロスパワースペクトルの各要素の2階偏微分値は、数式的には、正規化クロスパワースペクトルを、離散周波数インデックスk1,k2の何れか一方の離散周波数インデックスで偏微分し、その微分結果を他方の離散周波数インデックスで偏微分することによって算出される。実際には、2階偏微分算出部121は、正規化クロスパワースペクトルの要素ごとの2階偏微分値を以下のようにして算出する。先ず、2階偏微分算出部121は、正規化クロスパワースペクトルの要素ごとに、一方の離散周波数インデックス方向に隣接する要素との正規化クロスパワースペクトル値どうしの差分を算出する。そして、算出した差分値を当該要素の1階偏微分値として保持する。次に、2階偏微分算出部121は、正規化クロスパワースペクトルの要素ごとに、他方の離散周波数インデックス方向に隣接する要素との1階偏微分値どうしの差分を算出する。そして、算出した差分値を当該要素の2階偏微分値として出力する。或いは、より好ましくは、2階偏微分算出部121は、図23に示すように、正規化クロスパワースペクトルの要素ごとに、その実部、虚部それぞれに対して、例えば図示するような3×3プレヴィット(Prewitt)フィルタ901を適用して1階偏微分値を取得する。次に、その取得した1階編部分値に対して図示するような3×3プレヴィットフィルタを適用して2階偏微分値を取得する。ここで、フィルタ901はk 1方向に微分、k2方向に平滑化を行う。またフィルタ902はk2方向に微分、k1方向に平滑化を行う。3×3プレヴィットフィルタの代わりに、3×3ソーベル(Sobel)フィルタ等を使用してもよい。正規化クロスパワースペクトルの各要素の2階偏微分値を算出するための演算量は、正規化クロスパワースペクトルを逆フーリエ変換する演算量に比較して遥かに少ない。具体例を、数式を用いて以下に説明する。
前述したように、照合を行う2つの周波数特徴が、周波数変換前の画像データ上において、位置ずれを伴う同一画像(同一のパターン)の場合、第1の周波数特徴F(k1,k2)と第2の周波数特徴G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)は、図8に示す式9で与えられる。図11の式10は、式9の右辺をk1,k2で微分することによって算出した、同一画像データの正規化クロスパワースペクトルの2階偏微分の計算例を示す。その絶対値は、k1,k2(離散周波数インデックス)によらず一定値となる。このように、2階偏微分値の絶対値がk1,k2によらずに一定値となるので、その分散は予め定めた閾値よりも小さくなる。
これに対して、照合を行う2つの周波数特徴が、互いに異なる画像(異なるパターン)の場合、第1の周波数特徴F(k1,k2)と第2の周波数特徴G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)は、図7に示す式6で与えられる。図11の式11は、式6の右辺をk1,k2で微分することによって算出した、互いに異なる画像の正規化クロスパワースペクトルの2階偏微分値の計算例である。その絶対値は、k1,k2(離散周波数インデックス)に応じて値が変化する。このように、2階偏微分値の絶対値がk1,k2に応じて変化するので、その分散値は予め定めた閾値以上となる。
判定部122は、2階偏微分算出部121が算出した正規化クロスパワースペクトルの各要素の2階偏微分値の絶対値をとり、その絶対値の分散を算出する。正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である場合、前述したように、各要素の2階偏微分値の絶対値は、周波数軸上で一定値となる。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持つ複素正弦波でない場合、各要素の2階偏微分値の絶対値は、前述したように、周波数軸上で不規則に変化する。このため、正規化クロスパワースペクトルの各要素の2階偏微分値の絶対値の分散は、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアに利用できる。そして判定部122は、算出した分散(スコア)に基づいて、第1の画像と第2の画像との照合を行う。例えば、判定部122は、分散(スコア)が、あらかじめ定めた閾値より小さい場合は、第1の画像と第2の画像とは同一であると判定する。一方、判定部122は、分散(スコア)が、上記閾値以上の場合は、第1の画像と第2の画像とは同一でないと判定する。第2の画像が複数存在する場合、判定部122は、最良のスコアを有する第2の画像を選択し、上記の判定を行う。ここでは、分散をスコアとしたが、標準偏差をスコアとしてもよく、また分散を示す他の値をスコアとしてもよい。即ち、本実施形態および以下の全ての実施形態を含む本発明において、分散をスコアとするとは、本来の分散をスコアとするだけでなく、標準偏差をスコアとすることや、分散を示す他の値をスコアとすることも含まれるものとする。
なお、図10に示した複素正弦波判定部105は、位相角を求めていない。そのため、後述する位相角を求める他の実施形態で説明する複素正弦波判定部と比較して、照合に要する演算量が少なくなり、照合結果を高速に導出することができる。
このように本実施形態に係る画像照合装置100によれば、第1の画像と第2の画像との照合を高速に判定することができる。その理由は、本実施形態に係る画像照合装置100は、第1の画像と第2の画像とを周波数変換して第1の画像の周波数特徴と第2の画像の周波数特徴とを取得し、この2つの周波数特徴を合成して正規化クロスパワースペクトルを算出し、この正規化クロスパワースペクトルが単一の周期を持つ複素正弦波である程度を示すスコアを算出し、そのスコアに基づいて第1の画像と第2の画像との照合を行っており、演算量の多い逆フーリエ変換を必要としないためである。
[第2の実施形態]
次に、本発明の第2の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置300は、第1の実施形態に係る画像照合装置100と比較して、複素正弦波判定部105が相違し、それ以外は画像照合装置100と同じである。
図12は、本実施形態に係る画像照合装置300における複素正弦波判定部105のブロック図である。この例の複素正弦波判定部105は、位相角算出部123と、近似平面算出部124と、判定部125とから構成される。
位相角算出部123は、周波数特徴合成部104から得た正規化クロスパワースペクトルの各要素の位相角∠R(k1,k2)を算出するように構成されている。図13は、位相角∠R(k1,k2)を算出する式の例を示す。正規化クロスパワースペクトルの各要素の実部が式12で与えられ、虚部が式13で与えられる場合、各要素の位相角∠R(k1,k2)は、式14で与えられる。
近似平面算出部124は、位相角算出部123で得られた正規化クロスパワースペクトルの各要素の位相角から近似平面を算出するように構成されている。ここで言う近似平面は、正規化クロスパワースペクトルの要素群を、それぞれの要素がk1とk2と∠R(k1,k2)の3次元のデータ(k1,k2,∠R(k1,k2))から構成される3次元点群データとする場合、点群との二乗距離の合計を最小にする平面を意味する。近似平面は、最小二乗平面とも呼ばれる。
図14および図15は、正規化クロスパワースペクトルデータの3次元点群データの分布を示す3軸グラフの例を示す。グラフの軸は、k1軸、k2軸、∠R(k1,k2)軸(周波数軸)の3つである。1つのドットが、正規化クロスパワースペクトルの1つの要素の3次元データ(k1,k2,∠R(k1,k2))に対応する。一般に正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波の場合、各要素の位相角を3軸グラフ上にプロットすると、図14に示すように大部分のプロットによって或る平面が形成される。この平面が近似平面に相当する。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持たない複素正弦波の場合、各要素の位相角を3軸グラフ上にプロットすると、図15に示すようにプロットがランダムに分布する。従って、近似平面が算出されたとしても、その近似平面に対する最小二乗誤差、即ち近似平面を算出した際の最小二乗誤差は大きくなる。
判定部125は、近似平面算出部124から近似平面に対する最小二乗誤差の値を取得し、この最小二乗誤差の値を、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアとして利用する。そして、判定部125は、最小二乗誤差の値(スコア)に基づいて、第1の画像と第2の画像との照合を行う。例えば、判定部125は、最小二乗誤差の値(スコア)があらかじめ定めた閾値より小さい場合は、第1の画像と第2の画像とは同一であると判定する。一方、判定部125は、最小二乗誤差の値(スコア)が前記閾値以上の場合は、第1の画像と第2の画像とは同一でないと判定する。第2の画像が複数存在する場合、判定部125は、最良のスコアを有する第2の画像を選択し、上記の判定を行う。
本実施形態に係る画像照合装置300によれば、第1の実施形態に係る画像照合装置100と同じ理由により、第1の画像と第2の画像との照合を高速に行うことができる。
[第3の実施形態]
次に、本発明の第3の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置400は、第1の実施形態に係る画像照合装置100と比較して、複素正弦波判定部105が相違し、それ以外は画像照合装置100と同じである。
図16は、本実施形態に係る画像照合装置400における複素正弦波判定部105のブロック図である。この例の複素正弦波判定部105は、位相角算出部126と、勾配算出部127と、判定部128とから構成される。
位相角算出部126は、図12の位相角算出部123と同様に、正規化クロスパワースペクトル算出部104から得た正規化クロスパワースペクトルの各要素の位相角∠R(k 1,k2)を算出するように構成されている。
勾配算出部127は、位相角算出部126によって得られた各要素の位相角に対して、要素ごと且つ次元ごとに、隣接間の差分をとり、位相角勾配データとして出力する。例えば、正規化クロスパワースペクトルの要素に対応する3次元データとして、要素1(k1,k2,∠R(k1,k2))、要素2(k1+1,k2,∠R(k1+1,k2))、要素3(k1,k2+1,∠R(k1,k2+1))の3つの3次元データがあるとする。このとき、要素1と要素2との位相角の差分∠R(k1+1,k2)−∠R(k1,k2)が、k1軸に対応する次元の1つの位相角勾配データとなる。また、要素1と要素3との位相角の差分∠R(k1,k2+1)−∠R(k1,k2)が、k2軸に対応する次元の1つの位相角勾配データとなる。
判定部128は、要素ごと且つ次元ごとの位相角勾配データの分散を算出し、この算出した分散を、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアとして利用する。前述したように、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波の場合、その位相角を周波数軸上にプロットすると、平面形状となる。したがって、位相角勾配は、周波数軸上で常に一定の値となる。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持つ複素正弦波でない場合、その位相角はランダムに分布する。したがって、位相角勾配は、周波数軸上で不規則に変化する。このため、次元ごとの位相角勾配データの分散は、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアとして利用できる。
判定部128は、算出した分散(スコア)に基づいて、第1の画像と第2の画像との照合を行う。例えば、判定部128は、分散(スコア)があらかじめ定めた閾値より小さい場合は、第1の画像と第2の画像とは同一であると判定する。一方、判定部128は、分散(スコア)が前記閾値以上の場合は、第1の画像と第2の画像とは同一でないと判定する。第2の画像が複数存在する場合、判定部128は、最良のスコアを有する第2の画像を選択し、上記の判定を行う。
本実施形態に係る画像照合装置400によれば、第1の実施形態に係る画像照合装置100と同じ理由により、第1の画像と第2の画像との照合を高速に行うことができる。
[第4の実施形態]
次に、本発明の第4の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置500は、第1乃至第3の実施形態に係る画像照合装置と比較して、周波数特徴取得部101が相違し、それ以外は第1乃至第3の実施形態に係る画像照合装置と同じである。
図17は、本実施形態に係る画像照合装置500における周波数特徴取得部101のブロック図である。この例の周波数特徴取得部101は、画像取得部131と、周波数変換部132と、極座標変換部133と、周波数変換部134とから構成される。
画像取得部131は、図4の画像取得部111と同様に、第1の画像と第2の画像を取得するように構成されている。
周波数変換部132は、画像取得部131から第1の画像と第2の画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施し、その結果から2次元振幅スペクトルを算出するように構成されている。この2次元振幅スペクトルは、元の画像の平行移動に不変である。
極座標変換部133は、周波数変換部132から第1の画像の2次元振幅スペクトルと第2の画像の2次元振幅スペクトルとを受け取り、それらに対して極座標変換あるいは対数極座標変換を施して、極座標画像を算出するように構成されている。この極座標画像はフーリエ・メリン特徴画像と呼ばれる。元の画像の倍率、回転の変化は、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
周波数変換部134は、極座標変換部133から第1の画像のフーリエ・メリン特徴画像と第2の画像のフーリエ・メリン特徴画像とを受け取り、それらに対して離散フーリエ変換を施すことにより位相画像を算出するように構成されている。この位相画像はフーリエ・メリン周波数スペクトル画像と呼ばれる。フーリエ・メリン周波数スペクトル画像は、元の画像の倍率、回転、平行移動に不変である。周波数変換部134は、第1の画像のフーリエ・メリン周波数スペクトル画像を第1の記憶部102に保存し、第2の画像のフーリエ・メリン周波数スペクトル画像を第2の記憶部103に保存する。
本実施形態に係る画像照合装置500によれば、第1乃至第3の実施形態に係る画像照合装置と同じ理由により、第1の画像と第2の画像との照合を高速に行うことができる。また、第1および第2の画像の倍率、回転、平行移動に頑健な照合が行える。
なお、第1の画像と第2の画像とに倍率、回転の位置ずれがない環境では、図17の極座標変換部133を省略してもよい。極座標変換部133を省略した画像照合装置では、周波数変換部134は、周波数変換部132から第1の画像の2次元振幅スペクトルと第2の画像の2次元振幅スペクトルとを受け取り、それらに対して離散フーリエ変換した結果の位相画像を第1の記憶部102と第2の記憶部103とに格納する構成となる。
[第5の実施形態]
次に、本発明の第5の実施形態に係る画像照合装置について説明する。これまで説明した第1乃至第4の実施形態に係る画像照合装置では、第1の画像の周波数特徴と第2の画像の周波数特徴との領域内を差別せずに照合に利用した。これに対して、本実施形態に係る画像照合装置では、第1の画像の周波数特徴と第2の画像の周波数特徴との領域内を差別して照合に利用する。具体的には、周波数特徴の領域を複数の部分領域に分割し、照合に悪影響を与える部分領域に対しては、その有効度を他の部分領域に比較して低くする、或いはそれらの部分領域を用いないようにすることによって、照合への影響を低減する。
図18は、本実施形態に係る画像照合装置600における周波数特徴取得部101のブロック図である。この例の周波数特徴取得部101は、図17に示した周波数特徴取得部101に重み付け部135を追加した構成を有する。
重み付け部135は、周波数変換部134から第1の周波数特徴と第2の周波数特徴とを受け取り、それらの部分領域毎に重みを付与するように構成されている。ここで、周波数特徴の1つの要素を1つの部分領域としてもよいし、隣接する複数の要素の集合を1つの部分領域としてもよい。また、付与する重みの値は、例えば、0から1までの値をとり、0に近いほど有効の度合いが低くなるようにしてよい。
部分領域に対して重みを付与する基準は、事前に定めておく。例えば、統計的な手法によって、照合に重要な周波数帯域が存在していることが判明した場合、照合に重要な周波数帯域に相当する部分領域に対して他の部分領域よりも大きな重みを付与する基準を使用してよい。或いは、統計的な手法によって、多数の画像に共通する画像成分が存在することが判明した場合、共通する画像成分を含む部分領域に対して他の部分領域よりも小さな重みを付与する基準を使用してよい。例えば、複数の登録画像に共通する画像成分が存在する場合、照合画像に上記と同じ画像成分が存在していると、当該共通する画像成分の影響を受けて、同一個体に係る照合画像と登録画像との類似度を表すスコアと、異なる個体に係る照合画像と登録画像との類似度を表すスコアとの差が小さくなる。上記のように共通する画像成分を含む部分領域に対して他の部分領域よりも小さな重みを付与する基準を使用することにより、個体識別の精度の低下を防止することができる。
部分領域毎に重みを付与された第1の周波数特徴と第2の周波数特徴とのその後の扱い方には、以下に例示するように複数の手法がある。
1つの方法として、周波数特徴合成部104が、重みが基準値以下の部分領域を除去し、残りの部分領域から成る第1の周波数特徴と第2の周波数特徴との正規化クロスパワースペクトルを算出する方法が考えられる。
他の1つの方法として、先ず、周波数特徴合成部104が、第1の周波数特徴の要素と第2の周波数特徴の複素共役の要素との積に、元の要素に付与された重みに応じた重み(例えば双方の重みを乗算した値)を付与した正規化クロスパワースペクトルを算出する。次に、複素正弦波判定部105は、正規化クロスパワースペクトルが単一の周期を持つ波である程度を示すスコアを算出する際、正規化クロスパワースペクトルの要素に付加された重みを考慮する。例えば、正規化クロスパワースペクトルの各要素の勾配の絶対値の分散をスコアとして算出するとき、重みの小さな要素ほど分散に及ぼす影響を小さくする。
このように本実施形態に係る画像照合装置600によれば、第1乃至第4の実施形態に係る画像照合装置と同じ理由により、第1の画像と第2の画像との照合を高速に行うことができる。また、第1の画像および第2の画像に照合に悪影響を与える部分領域が含まれていても照合への影響を低減することができる。
[第6の実施形態]
次に、本発明の第6の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置700は、第1の実施形態に係る画像照合装置100と比較して、複素正弦波判定部105が相違し、それ以外は画像照合装置100と同じである。
図19は、本実施形態に係る画像照合装置700における複素正弦波判定部105の一例を示すブロック図である。この例の複素正弦波判定部105は、勾配算出部141と、判定部142とで構成される。
勾配算出部141は、周波数特徴合成部104から得た正規化クロスパワースペクトルの要素ごとに勾配を算出するように構成されている。正規化クロスパワースペクトルの各要素の勾配は、数式的には、正規化クロスパワースペクトルを、離散周波数インデックスk1,k2の何れか一方の離散周波数インデックスで偏微分した結果と、他方の離散周波数インデックスで偏微分した結果とを並べた2次元ベクトルで表現される。実際には、勾配算出部141は、正規化クロスパワースペクトルの要素ごとの勾配を以下のようにして算出する。先ず、勾配算出部141は、正規化クロスパワースペクトルの要素ごとに、一方の離散周波数インデックス方向に隣接する要素との正規化クロスパワースペクトル値どうしの差分を算出する。そして、算出した差分値を当該要素の第1の偏微分値として保持する。次に、勾配算出部141は、正規化クロスパワースペクトルの要素ごとに、他方の離散周波数インデックス方向に隣接する要素との正規化クロスパワースペクトル値どうしの差分を算出する。そして、算出した差分値を当該要素の第2の偏微分値として保持する。そして、勾配算出部141は、正規化クロスパワースペクトルの要素ごとに、第1の偏微分値と第2の偏微分値とを並べた2次元ベクトルを、要素の勾配として出力する。或いは、より好ましくは、勾配算出部141は、正規化クロスパワースペクトルの要素ごとに、その実部、虚部それぞれに対して、例えば図24に示すような3×3プレヴィットフィルタ901を適用して第1の偏微分値を取得する。また、勾配算出部141は、正規化クロスパワースペクトルの要素ごとに、その実部、虚部それぞれに対して、図24に示すような3×3プレヴィットフィルタ902を適用して第2の偏微分値を取得する。そして、勾配算出部141は、正規化クロスパワースペクトルの要素ごとに、第1の偏微分値と第2の偏微分値とを並べた2次元ベクトルを、要素の勾配として出力する。3×3プレヴィットフィルタの代わりに、3×3ソーベルフィルタ等を使用してもよい。正規化クロスパワースペクトルの各要素の勾配を算出するための演算量は、正規化クロスパワースペクトルを逆フーリエ変換する演算量に比較して遥かに少ない。具体例を、数式を用いて以下に説明する。
前述したように、照合を行う2つの周波数特徴が、周波数変換前の画像データ上において、位置ずれを伴う同一画像(同一のパターン)の場合、第1の周波数特徴F(k1,k2)と第2の周波数特徴G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)は、図8に示す式9で与えられる。図20の式15は、式9の右辺をk1,k2で偏微分することによって算出した、同一画像データの正規化クロスパワースペクトルの勾配の計算例を示す。その絶対値は、図20の式16に示すように、k1,k2(離散周波数インデックス)によらず一定値となる。このように、勾配の絶対値がk1,k2によらずに一定値となるので、その分散は理想的には0になる。
これに対して、照合を行う2つの周波数特徴が、互いに異なる画像(異なるパターン)の場合、第1の周波数特徴F(k1,k2)と第2の周波数特徴G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)は、図7に示す式6で与えられる。図21の式17は、式6の右辺をk1,k2で微分することによって算出した、互いに異なる画像の正規化クロスパワースペクトルの勾配の計算例である。その絶対値は、図21の式18に示すように、k1,k2(離散周波数インデックス)に応じて値が変化する。このように、2階偏微分値の絶対値がk1,k2に応じて変化するので、その分散値は予め定めた閾値以上となる。
判定部142は、勾配算出部141が算出した正規化クロスパワースペクトルの各要素の勾配の絶対値をとり、その絶対値の分散を算出する。正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である場合、前述したように、各要素の勾配の絶対値は、周波数軸上で一定値となる。一方、正規化クロスパワースペクトルが、次元ごとに単一の周期を持つ複素正弦波でない場合、各要素の勾配の絶対値は、前述したように、周波数軸上で不規則に変化する。このため、正規化クロスパワースペクトルの各要素の勾配の絶対値の分散は、正規化クロスパワースペクトルが次元ごとに単一の周期を持つ複素正弦波である程度を示すスコアに利用できる。そして判定部142は、算出した分散(スコア)に基づいて、第1の画像と第2の画像との照合を行う。例えば、判定部142は、分散(スコア)が、あらかじめ定めた閾値より小さい場合は、第1の画像と第2の画像とは同一であると判定する。一方、判定部142は、分散(スコア)が、上記閾値以上の場合は、第1の画像と第2の画像とは同一でないと判定する。第2の画像が複数存在する場合、判定部142は、最良のスコアを有する第2の画像を選択し、上記の判定を行う。
なお、図19に示した複素正弦波判定部105は、位相角を求めていない。そのため、前述した位相角を求める他の実施形態の複素正弦波判定部と比較して、照合に要する演算量が少なくなり、照合結果を高速に導出することができる。
このように本実施形態に係る画像照合装置700によれば、第1の実施形態に係る画像照合装置100と同じ理由により、第1の画像と第2の画像との照合を高速に行うことができる。
[第7の実施形態]
次に本発明の第7の実施形態に係る画像照合装置を説明する。図22は本実施形態に係る画像照合装置800のブロック図である。
図22を参照すると、画像照合装置800は、周波数特徴取得部801と、周波数特徴合成部802と、判定部803とで構成される。
周波数特徴取得部801は、第1の画像の周波数特徴と第2の画像の周波数特徴とを取得するように構成されている。周波数特徴取得部802は、例えば図1の周波数特徴取得部101と同様に構成することができるが、それに限定されない。
周波数特徴合成部802は、第1の画像の周波数特徴と第2の画像の周波数特徴とを合成して合成周波数特徴を取得するように構成されている。周波数特徴合成部802は、図1の周波数特徴合成部104と同様に構成することができるが、それに限定されない。
判定部803は、合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、そのスコアに基づいて第1の画像と第2の画像との照合を行うように構成されている。判定部803は、図1の複素正弦波判定部105と同様に構成することができるが、それに限定されない。
このように構成された本実施形態に係る画像照合装置800は、以下のように動作する。即ち、先ず、周波数特徴取得部801は、第1の画像の周波数特徴と第2の画像の周波数特徴とを取得する。次に、周波数特徴合成部802は、第1の画像の周波数特徴と第2の画像の周波数特徴とを合成して合成周波数特徴を取得する。次に、判定部803は、合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出する。次に、判定部803は、そのスコアに基づいて、第1の画像と第2の画像との照合を行う。
このように本実施形態に係る画像照合装置800によれば、第1の画像と第2の画像との照合を高速に判定することができる。その理由は、本実施形態に係る画像照合装置800は、第1の画像と第2の画像とを周波数変換して第1の画像の周波数特徴と第2の画像の周波数特徴とを取得し、この2つの周波数特徴を合成した合成周波数特徴を算出し、この合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、そのスコアに基づいて第1の画像と第2の画像との照合を行っており、演算量の多い逆フーリエ変換を必要としないためである。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
例えば、正規化クロスパワースペクトルは以下のような方法で算出してもよい。先ず、周波数特徴取得部101は、第1の画像と第2の画像に対してフーリエ変換等の周波数変換を行った後、その振幅成分を用いてそれぞれ正規化を行い、正規化した第1の周波数特徴F(k1,k2)と正規化した第2の周波数特徴G(k1,k2)とを算出する。一方、周波数特徴合成部104は、正規化された周波数特徴を合成することにより、正規化クロスパワースペクトルを算出する。具体的には、周波数特徴合成部104は、正規化された第1の周波数特徴F(k1,k2)と正規化された第2の周波数特徴G(k1,k2)の複素共役の要素ごとの積である、クロスパワースペクトルを求めることにより正規化クロスパワースペクトルを算出する。この場合、周波数特徴合成部104は、図7の式6に示した方法と相違し、絶対値で正規化する処理はない。以上のようにして正規化クロスパワースペクトルを算出する方法によれば、第2の画像が複数存在する場合、事前にそれぞれの正規化した周波数特徴を第2の記憶部に保持しておくことで、照合処理を高速に行える。その理由は、照合時には、第1の画像の正規化された周波数特徴と第2の画像の正規化された周波数特徴とを合成するだけで正規化クロスパワースペクトルを算出でき、絶対値で正規化する処理を省けるためである。
なお、本発明は、日本国にて2017年12月22日に特許出願された特願2017−245795の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明は、2つの画像の照合を行う分野に利用でき、特に、製品の表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
第1の画像と第2の画像とを照合する画像照合装置であって、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う判定部と、を備える
画像照合装置。
[付記2]
前記周波数特徴合成部は、前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
付記1に記載の画像照合装置。
[付記3]
前記判定部は、前記スコアとして、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
付記1または2に記載の画像照合装置。
[付記4]
前記判定部は、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
付記1乃至3の何れかに記載の画像照合装置。
[付記4−1]
前記判定部は、前記合成周波数特徴の各要素の2階偏微分値の絶対値の分散を前記スコアとして算出する、
付記1乃至3の何れかに記載の画像照合装置。
[付記5]
前記判定部は、前記合成周波数特徴の各要素の位相角を求め、前記位相角が周波数に対して線形である程度を前記スコアとして算出する、
付記1乃至3の何れかに記載の画像照合装置。
[付記6]
前記判定部は、前記合成周波数特徴の各要素の位相角にフィットする近似平面を求め、前記近似平面に対する前記各要素の位相角の最小二乗誤差を前記スコアとして算出する、付記5に記載の画像照合装置。
[付記7]
前記判定部は、前記合成周波数特徴の要素間の位相角の差分である勾配を求め、前記勾配の分散を前記スコアとして算出する、
付記5に記載の画像照合装置。
[付記8]
前記周波数特徴取得部は、
前記第1の画像と前記第2の画像とを取得する画像取得部と、
前記第1の画像と前記第2の画像とに対して周波数変換処理を施して前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを算出する周波数変換部と、を含む、
付記1乃至7の何れかに記載の画像照合装置。
[付記9]
前記周波数特徴取得部は、
前記第1の画像と前記第2の画像とを取得する画像取得部と、
前記第1の画像と前記第2の画像とに対して周波数変換処理を施して第1の画像の振幅スペクトルと第2の画像の振幅スペクトルとを算出する第1の周波数変換部と、
前記第1の画像の振幅スペクトルと前記第2の画像の振幅スペクトルとに対して極座標変換を施して第1の画像のフーリエ・メリン特徴画像と第2の画像のフーリエ・メリン特徴画像とを算出する極座標変換部と、
前記第1の画像のフーリエ・メリン特徴画像と前記第2の画像のフーリエ・メリン特徴画像とに対して周波数変換処理を施して第1の画像のフーリエ・メリン周波数スペクトル画像と第2の画像のフーリエ・メリン周波数スペクトル画像とを算出する第2の周波数変化部と、を含む、
付記1乃至7の何れかに記載の画像照合装置。
[付記10]
前記周波数特徴取得部は、第1の画像の周波数特徴と前記第2の画像の周波数特徴とを複数の部分領域に分割し、前記部分領域ごとに前記スコアの算出に係る有効度を付与する、
付記1乃至9の何れかに記載の画像照合装置。
[付記11]
前記第1の画像は、照合対象の物体を撮像して得られた照合画像であり、第2の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの1つである、
付記1乃至10の何れかに記載の画像照合装置。
[付記12]
前記判定部は、前記スコアが所定の基準値を満たす場合、前記第1の画像と前記第2の画像とが一致する旨の照合結果を生成する、
付記1乃至11の何れかに記載の画像照合装置。
[付記13]
前記判定部の照合の結果を出力する出力部を、更に備える、
付記1乃至12の何れかに記載の画像照合装置。
[付記14]
第1の画像と第2の画像とを照合する画像照合方法であって、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得し、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成し、
前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、
前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う
画像照合方法。
[付記15]
前記合成周波数特徴の生成では、前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
付記14に記載の画像照合方法。
[付記16]
前記スコアの算出では、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
付記14または15に記載の画像照合方法。
[付記17]
前記スコアの算出では、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
付記14乃至16の何れかに記載の画像照合方法。
[付記17−1]
前記スコアの算出では、前記合成周波数特徴の各要素の2階偏微分値の絶対値の分散を前記スコアとして算出する、
付記14乃至16の何れかに記載の画像照合方法。
[付記18]
前記スコアの算出では、前記合成周波数特徴の各要素の位相角を求め、前記位相角が周波数に対して線形である程度を前記スコアとして算出する、
付記14乃至16の何れかに記載の画像照合方法。
[付記19]
前記スコアの算出では、前記合成周波数特徴の各要素の位相角にフィットする近似平面を求め、前記近似平面に対する前記各要素の位相角の最小二乗誤差を前記スコアとして算出する、
付記18に記載の画像照合方法。
[付記20]
前記スコアの算出では、前記合成周波数特徴の要素間の位相角の差分である勾配を求め、前記勾配の分散を前記スコアとして算出する、
付記18に記載の画像照合方法。
[付記21]
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との取得では、
前記第1の画像と前記第2の画像とを取得し、
前記第1の画像と前記第2の画像とに対して周波数変換処理を施して前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを算出する、
付記14乃至20の何れかに記載の画像照合方法。
[付記22]
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との取得では、
前記第1の画像と前記第2の画像とを取得し、
前記第1の画像と前記第2の画像とに対して周波数変換処理を施して第1の画像の振幅スペクトルと第2の画像の振幅スペクトルとを算出し、
前記第1の画像の振幅スペクトルと前記第2の画像の振幅スペクトルとに対して極座標変換を施して第1の画像のフーリエ・メリン特徴画像と第2の画像のフーリエ・メリン特徴画像とを算出し、
前記第1の画像のフーリエ・メリン特徴画像と前記第2の画像のフーリエ・メリン特徴画像とに対して周波数変換処理を施して第1の画像のフーリエ・メリン周波数スペクトル画像と第2の画像のフーリエ・メリン周波数スペクトル画像とを算出する、
付記14乃至20の何れかに記載の画像照合方法。
[付記23]
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との取得では、
第1の画像の周波数特徴と前記第2の画像の周波数特徴とを複数の部分領域に分割し、前記部分領域ごとに前記スコアの算出に係る有効度を付与する、
付記14乃至22の何れかに記載の画像照合方法。
[付記24]
前記第1の画像は、照合対象の物体を撮像して得られた照合画像であり、第2の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの1つである、
付記14乃至23の何れかに記載の画像照合方法。
[付記25]
前記判定部は、前記スコアが所定の基準値を満たす場合、前記第1の画像と前記第2の画像とが一致する旨の照合結果を生成する、
付記14乃至24の何れかに記載の画像照合方法。
[付記26]
前記照合では、前記照合の結果を出力する、
付記14乃至25の何れかに記載の画像照合方法。
[付記27]
第1の画像と第2の画像とを照合するコンピュータを、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う判定部と、
して機能させるプログラム。
[付記28]
前記合成周波数特徴をその絶対値で正規化した合成周波数特徴を算出する、
付記1乃至27の何れかに記載の画像照合装置、画像照合方法、またはプログラム。
[付記29]
前記第1の画像の周波数特徴をその振幅成分を用いて正規化した第1の周波数特徴と前記第2の画像の周波数特徴をその振幅成分を用いて正規化した第2の周波数特徴とを算出する、
付記1乃至28の何れかに記載の画像照合装置、画像照合方法、またはプログラム。
[付記30]
前記正規化した第1の周波数特徴と前記正規化した第2の周波数特徴とを合成して正規化された合成周波数特徴または正規化クロスパワースペクトルを算出する、
付記1乃至29の何れかに記載の画像照合装置、画像照合方法、またはプログラム。
100…画像照合装置
101…周波数特徴取得部
102…第1の記憶部
103…第2の記憶部
104…周波数特徴合成部
105…複素正弦波判定部
106…情報提示部
111…画像取得部
112…周波数変換部
121…2階偏微分算出部
122…判定部
123…位相角算出部
124…近似平面算出部
125…判定部
126…位相角算出部
127…勾配算出部
128…判定部
131…画像取得部
132…周波数変換部
133…極座標変換部
134…周波数変換部
135…重み付け部
141…勾配算出部
142…判定部
200…情報処理装置
201…撮像部
202…操作入力部
203…画面表示部
204…通信インタフェース部
205…記憶部
206…演算処理部
207…プログラム
300…画像照合装置
400…画像照合装置
500…画像照合装置
600…画像照合装置
700…画像照合装置
800…画像照合装置
801…周波数特徴取得部
802…周波数特徴合成部
803…判定部

Claims (10)

  1. 第1の画像と第2の画像とを照合する画像照合装置であって、
    前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得する周波数特徴取得手段と、
    前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成手段と、
    前記合成周波数特徴が単一の周期を持つ波である程度に基づいて前記第1の画像と前記第2の画像との照合を行う判定手段と、を備える
    画像照合装置。
  2. 前記判定手段は、前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行うように構成されている、
    請求項1に記載の画像照合装置。
  3. 前記周波数特徴合成手段は、前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
    請求項に記載の画像照合装置。
  4. 前記判定手段は、前記スコアとして、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
    請求項またはに記載の画像照合装置。
  5. 前記判定手段は、前記合成周波数特徴の各要素の勾配の絶対値の分散を前記スコアとして算出する、
    請求項乃至の何れかに記載の画像照合装置。
  6. 第1の画像と第2の画像とを照合する画像照合方法であって、
    前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得し、
    前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成し、
    前記合成周波数特徴が単一の周期を持つ波である程度に基づいて前記第1の画像と前記第2の画像との照合を行う
    画像照合方法。
  7. 前記照合では、前記合成周波数特徴が単一の周期を持つ波である程度を示すスコアを算出し、前記スコアに基づいて前記第1の画像と前記第2の画像との照合を行う、
    請求項6に記載の画像照合方法。
  8. 前記合成周波数特徴の生成では、前記第1の画像の周波数特徴と前記第2の画像の周波数特徴との正規化クロスパワースペクトルを前記合成周波数特徴として算出する、
    請求項に記載の画像照合方法。
  9. 前記スコアの算出では、前記合成周波数特徴が単一の周期を持つ複素正弦波である程度を示すスコアを算出する、
    請求項またはに記載の画像照合方法。
  10. 第1の画像と第2の画像とを照合するコンピュータに、
    前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを取得する処理と、
    前記第1の画像の周波数特徴と前記第2の画像の周波数特徴とを合成して合成周波数特徴を生成する処理と、
    前記合成周波数特徴が単一の周期を持つ波である程度に基づいて前記第1の画像と前記第2の画像との照合を行う処理と、
    を行わせるプログラム。
JP2019560880A 2017-12-22 2018-11-15 画像照合装置 Active JP6845492B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017245795 2017-12-22
JP2017245795 2017-12-22
PCT/JP2018/042334 WO2019123917A1 (ja) 2017-12-22 2018-11-15 画像照合装置

Publications (2)

Publication Number Publication Date
JPWO2019123917A1 JPWO2019123917A1 (ja) 2020-11-19
JP6845492B2 true JP6845492B2 (ja) 2021-03-17

Family

ID=66993272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019560880A Active JP6845492B2 (ja) 2017-12-22 2018-11-15 画像照合装置

Country Status (5)

Country Link
US (1) US11227196B2 (ja)
EP (1) EP3731178B1 (ja)
JP (1) JP6845492B2 (ja)
CN (1) CN111656394B (ja)
WO (1) WO2019123917A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6992880B2 (ja) * 2018-04-24 2022-02-03 日本電気株式会社 画像照合装置
WO2020230320A1 (ja) * 2019-05-16 2020-11-19 日本電気株式会社 画像照合装置
JP7251689B2 (ja) 2020-03-27 2023-04-04 日本電気株式会社 個体識別システム
CN117372485B (zh) * 2023-10-12 2024-04-16 长光辰英(杭州)科学仪器有限公司 基于相位谱与幅度谱重组的一维相位相关图像配准方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3930067B2 (ja) 1995-05-02 2007-06-13 株式会社山武 パターン照合装置
JP3254622B2 (ja) 1996-08-08 2002-02-12 株式会社山武 パターン照合装置
JPH10134185A (ja) 1996-10-30 1998-05-22 Yamatake Honeywell Co Ltd 操作者照合装置
JPH10320552A (ja) 1997-05-15 1998-12-04 Hamamatsu Photonics Kk 人物照合装置
JP4791115B2 (ja) 2005-09-14 2011-10-12 株式会社山武 マーク検知装置
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置
JP5147060B2 (ja) * 2008-05-02 2013-02-20 栄子 小菅 歯科x線画像の照合システム及び歯科x線画像の照合方法
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5366619B2 (ja) * 2008-08-12 2013-12-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5558127B2 (ja) 2010-02-02 2014-07-23 アズビル株式会社 位置ずれ測定装置及び位置ずれ測定方法並びに位置ずれ測定プログラム
EP2821010A4 (en) * 2012-02-27 2015-11-25 Fujifilm Corp IMAGE PROCESSING DEVICE AND METHOD
JP6185819B2 (ja) * 2013-10-23 2017-08-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10445616B2 (en) * 2015-01-22 2019-10-15 Bae Systems Information And Electronic Systems Integration Inc. Enhanced phase correlation for image registration

Also Published As

Publication number Publication date
US20210012167A1 (en) 2021-01-14
CN111656394A (zh) 2020-09-11
US11227196B2 (en) 2022-01-18
CN111656394B (zh) 2023-11-14
JPWO2019123917A1 (ja) 2020-11-19
EP3731178B1 (en) 2024-01-31
EP3731178A1 (en) 2020-10-28
WO2019123917A1 (ja) 2019-06-27
EP3731178A4 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP6845492B2 (ja) 画像照合装置
EP3086282B1 (en) Image processing device and image processing method
CN108537788B (zh) 迷彩伪装效果评测方法及装置、计算机设备及存储介质
US10990845B2 (en) Method of augmented authentification of a material subject
JP6992880B2 (ja) 画像照合装置
Dasari et al. A framework for the identification of full-field structural dynamics using sequences of images in the presence of non-ideal operating conditions
US11468661B2 (en) Image matching device
Celebi et al. Advances in low-level color image processing
Rajeev et al. Method for modeling post-mortem biometric 3D fingerprints
Rani et al. Pre filtering techniques for face recognition based on edge detection algorithm
EP3971826B1 (en) Image comparison apparatus
Nagata et al. Development of facial aging simulation system combined with three-dimensional shape prediction from facial photographs
Harrison et al. A novel ensemble of distance measures for feature evaluation: Application to sonar imagery
Romaszewski et al. Matrix and tensor-based approximation of 3D face animations from low-cost range sensors
Xia et al. Decomposition mixed pixels of remote sensing image based on 2-dwt and kernel ica
Ravi Kishore et al. Contourlet Transformed Image Fusion Based on Focused Pixels
Madrid-Cuevas et al. Dominant Points Detection Using Phase Congruence
Tripathi et al. A Novel Approach for Image Fusion with Guided Filter Based on Feature Transform
Zhang et al. Direction based Graphical Model for Face Sketch Synthesis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210209

R150 Certificate of patent or registration of utility model

Ref document number: 6845492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150