JPWO2019069617A1 - 個体識別装置 - Google Patents

個体識別装置 Download PDF

Info

Publication number
JPWO2019069617A1
JPWO2019069617A1 JP2019546586A JP2019546586A JPWO2019069617A1 JP WO2019069617 A1 JPWO2019069617 A1 JP WO2019069617A1 JP 2019546586 A JP2019546586 A JP 2019546586A JP 2019546586 A JP2019546586 A JP 2019546586A JP WO2019069617 A1 JPWO2019069617 A1 JP WO2019069617A1
Authority
JP
Japan
Prior art keywords
image
registered
score
partial
collated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019546586A
Other languages
English (en)
Other versions
JP6860081B2 (ja
Inventor
石山 塁
塁 石山
高橋 徹
徹 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019069617A1 publication Critical patent/JPWO2019069617A1/ja
Application granted granted Critical
Publication of JP6860081B2 publication Critical patent/JP6860081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition

Abstract

複数の登録画像に共通する画像成分が存在すると個体識別の精度が低下すること。決定手段は、複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、部分領域毎に、登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する。算出手段は、登録画像および照合画像に含まれる画像成分と上記有効度とに基づいて、上記スコアを算出する。

Description

本発明は、個体識別装置、個体識別方法、およびプログラムに関する。
個体識別のために照合画像と登録画像とを照合することが行われており、その照合方法が各種提案ないし実用化されている。
例えば、特許文献1では、先ず、照合画像と登録画像に対してフーリエ変換を用いて周波数領域へ変換する。次に、上記変換によって得られた照合画像および登録画像の各々の複素スペクトルからクロスパワースペクトルを算出する。次に、上記クロスパワースペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する。次に、上記正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する。次に、上記算出された相関係数が最大値となる座標を用いてパターンマッチング判定を行う。
また、特許文献2では、先ず、照合画像にフーリエ変換を施して照合フーリエ画像を作成し、この照合フーリエ画像と同様の処理を施して作成されている登録画像とを合成する。次に、上記の合成フーリエ画像に対して振幅抑制処理を行った上で、逆フーリエ変換を施す。次に、この逆フーリエ変換の施された合成フーリエ画像に出現する所定の相関成分エリアよりその相関成分の強度の高い上位n画素を抽出し、この抽出したn画素の相関成分の強度に基づいて、登録画像と照合画像とが一致するか否かを判断する。
また、特許文献3には、照合画像と登録画像との間の一致度を算出する第1のステップと、照合画像および登録画像の少なくとも一方の回転中心からの半径である動径の大きさの別に、上記一致度の算出に係る有効度を決定する第2のステップとを備え、第1のステップでは、照合画像および登録画像に含まれる画素値および各画素値に対応する有効度に基づいて、上記一致度を算出する、画像処理方法が記載されている。また、特許文献3では、上記有効度は動径についての重みとして具現化されており、その重みの決定方法の一つとして周波数成分に応じた重みの決定方法が提案されている。具体的には、周波数空間上の振幅画像においては、高周波数成分は、ショットノイズの挙動を表すことが多く、低周波数成分は、照明ムラなどの挙動を表すことが多いことに鑑みて、被写体の情報をより多く含むと考えられる中間周波数帯域に対する重みをより大きくする方法が記載されている。さらに、特許文献3では、有効度を一致度の算出に用いられないような値(例えばゼロ)に決定することにより、照合画像と登録画像との間の一致度を所定領域の部分画像に基づいて算出することが記載されている。
一方、本発明に関連する他の技術として、以下のものが知られている。
特許文献4には、画像に示された物体やその物体の状態を認識する処理である認識タスクにおける認識誤差を少なくできるような重要度の高い特徴点を、3次元形状モデル上の複数の特徴点候補の中から選択し、出力する特徴点選択システムが記載されている。
また、特許文献14には、特定の画像パターンと固定パターンノイズとを含む登録画像と、上記固定パターンノイズを含むが上記特定の画像パターンを含まない無地画像とに基づいて、登録画像および無地画像のそれぞれに共通して含まれる撮像装置固有の固定パターンノイズの周波数成分と上記固定パターンノイズを含まない上記特定の画像パターンの周波数成分とを推定し、この推定した各周波数成分に基づいて、上記登録画像と照合画像との相関を求める際の、周波数に関する重みを制御するようにしている。
特開2008−15848号公報 特許3254622号公報 特許6163868号公報 WO2011/086889公報 特許第4337422号公報 WO2014/163014 特表2007−534067号公報 特開2013−196418号公報 特許3235075号公報 特許4664147号公報 特開2014−142881号公報 特開2004−240931号公報 特開2014−228940号公報 特許第5331721号公報
ところで、複数の登録画像に共通する画像成分が存在する場合、照合画像に上記と同じ画像成分が存在していると、当該共通する画像成分の影響を受けて、同一個体に係る照合画像と登録画像との類似度を表すスコアと、異なる個体に係る照合画像と登録画像との類似度を表すスコアとの差が小さくなる。そのため、個体識別の精度が低下する。そこで、特許文献14に記載された、登録画像と照合画像とに共通な固定パターンノイズによる照合精度の低下を軽減する技術を適用することが考えられる。しかしながら、特許文献14で扱われる複数の画像に共通な固定パターンノイズは、撮像装置固有の固定パターンノイズであり、無地画像としてそれ単独で撮像し得る類のパターンである。しかし、照合に悪影響を及ぼす、複数の画像に共通なパターンには、それ単独で撮像し得ない類のパターンが存在する。例えば、同じ製造装置を使って生産される複数の物体の表面を撮像した画像には、物体固有のパターン以外に製造装置固有のパターンが存在する。後者のパターンは、異なる複数の画像に共通なパターンであり、それ単独で撮像することは困難である。特許文献14では、照合の際に使用する重みを決定するためには、照合に悪影響を及ぼす、複数の画像に共通なパターンだけが写っている画像が必要である。そのため、特許文献14に記載の方法では、複数の画像に共通なパターンがそれ単独で撮像し得ないパターンである場合には重みの設定ができず、照合精度が低下する。
本発明の目的は、複数の登録画像に共通する画像成分が存在すると個体識別の精度が低下する、という課題を解決する個体識別装置を提供することにある。
本発明の一形態に係る個体識別装置は、
複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、を含む。
本発明の他の形態に係る個体識別方法は、
複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定し、
前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する。
本発明の他の形態に係るプログラムは、
コンピュータを、
複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、して機能させる。
本発明は、上述した構成を有することにより、複数の登録画像に共通する画像成分による個体識別精度の低下を防止することができる。
本発明の第1の実施形態に係る個体識別装置のブロック図である。 本発明の第1の実施形態に係る個体識別装置の入力となる登録画像の例を示す図である。 本発明の第1の実施形態に係る個体識別装置で決定したスコア算出に係る有効度の例を示す図である。 本発明の第1の実施形態に係る個体識別装置がスコアを算出する際に使用する登録画像の部分画像を示す図である。 本発明の第1の実施形態に係る個体識別装置の入力となる照合画像の例を示す図である。 本発明の第1の実施形態に係る個体識別装置が算出した照合画像と登録画像との類似度を表すスコアの例を示す図である。 有効度を考慮せずに登録画像および照合画像の全領域を比較して算出したスコアの例を示す図である。 本発明の第1の実施形態に係る個体識別装置における算出手段の構成例を示すブロック図である。 本発明の第1の実施形態に係る個体識別装置における算出手段の別の構成例を示すブロック図である。 本発明の第1の実施形態に係る個体識別装置における決定手段の処理例を示すフローチャートである。 本発明の第1の実施形態に係る個体識別装置における決定手段の他の処理例を示すフローチャートである。 本発明の第1の実施形態に係る個体識別装置において判定閾値を決定する処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置のブロック図である。 本発明の第2の実施形態に係る個体識別装置のハードウェア構成の一例を示すブロック図である。 本発明の第2の実施形態に係る個体識別装置におけるスコア算出に係る有効度を決定する動作フロー図である。 本発明の第2の実施形態に係る個体識別装置におけるスコア算出に係る有効度を決定する処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置における画像記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における画像記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における画像記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴(FM)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴(FM)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴(FM)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴の周波数スペクトル(FMFS)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴の周波数スペクトル(FMFS)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における処理過程で生成されるフーリエ・メリン特徴の周波数スペクトル(FMFS)画像の例を示す図である。 本発明の第2の実施形態に係る個体識別装置における有効度記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における有効度記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における個体登録の動作フロー図である。 本発明の第2の実施形態に係る個体識別装置における個体登録処理の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置における特徴量記憶手段の内容例を示す図である。 本発明の第2の実施形態に係る個体識別装置における個体識別および個体照合時の動作フロー図である。 本発明の第2の実施形態に係る個体識別装置における個体識別および個体照合処理の一例を示すフローチャートである。 図15のステップS106の詳細を示すフローチャートである。 図15のステップS106の詳細を示すフローチャートである。 図15のステップS106の詳細を示すフローチャートである。
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第1の実施形態]
図1を参照すると、本発明の第1の実施形態に係る個体識別装置1は、算出手段2と決定手段3とを備えている。算出手段2は、登録対象の物体を撮像して得られた登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアを算出するように構成されている。また、決定手段3は、複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、部分領域毎に、スコアの算出に係る有効度を決定するように構成されている。そして、算出手段2は、登録画像および照合画像に含まれる画像成分と有効度とに基づいて、上記スコアを算出するように構成されている。以下、説明の便宜上簡略化した画像の例を用いて、個体識別装置1の構成および動作を詳しく説明する。
図2は、登録画像が合計4つ存在するものとして、その各々の例を示している。それぞれの登録画像4は、n×m(図示の例では、n=m=8)の部分領域から成る。以下、部分領域(i,j)とは、i行j列目の部分領域を表すものとする。部分領域(i,j)は、例えば、以下の何れかであってよい。
(a)物体をカメラで撮像して得られる白黒画像あるいはカラー画像をn×m個に分割した個々の分割領域。
(b)物体をカメラで撮像して得られる白黒画像あるいはカラー画像に対して、フーリエ変換等の周波数変換を施して得られる周波数スペクトル画像をn×m個に分割した個々の分割領域。周波数スペクトル画像は、撮像した画像の平行移動に不変である。
(c)物体をカメラで撮像して得られる白黒画像あるいはカラー画像に対して、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施して得られる極座標画像をn×m個に分割した個々の分割領域。上記極座標画像はフーリエ・メリン特徴画像と呼ぶ。撮像した画像の倍率、回転の変化が、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
(d)物体をカメラで撮像して得られる白黒画像あるいはカラー画像に対して、先ずフーリエ変換等の周波数変換を施して周波数スペクトル画像に変換し、次に、その周波数スペクトル画像に対して極座標変換あるいは対数極座標変換を施してフーリエ・メリン特徴に変換し、更に、そのフーリエ・メリン特徴に対してフーリエ変換等の周波数変換を施して得られる位相画像をn×m個に分割した個々の分割領域。上記位相画像はフーリエ・メリン周波数スペクトル画像と呼ぶ。このフーリエ・メリン周波数スペクトル画像は、撮像した画像の倍率、回転、平行移動に不変である。
一般に部分領域(i,j)の画像成分は上記a〜dに応じて様々な値をとる。しかし、図2では、説明の便宜上、部分領域(i,j)の値は2値としている。即ち、図2において、黒色に塗りつぶされている部分領域(i,j)は、その画像成分の値が或る値(以下、Pとする)であることを表している。また、白色の部分領域(i,j)は、その画像成分の値が別の値(以下、Qとする)であることを表している。
決定手段3は、全ての登録画像4に共通する画像成分が存在する部分領域は、スコアの算出に係る有効度は低く、反対に全ての登録画像4に共通しない画像成分が存在する部分領域は、スコア算出に係る有効度は高いとする。図2を参照すると、部分領域(1,1)の画像成分は、全ての登録画像で同じ値Pである。従って、決定手段3は、部分領域(1,1)のスコア算出に係る有効度は低いと決定する。他方、部分領域(1,6)は、登録画像4−1、4−2、4−4では画像成分の値はQであるが、登録画像4−3では値Pであり、全ての登録画像で同じでない。従って、決定手段3は、部分領域(1,6)のスコア算出に係る有効度は高いと決定する。このようにして、決定手段3は、部分領域毎に、スコアの算出に係る有効度を決定する。
図3は、決定手段3によって決定された部分領域毎のスコアの算出に係る有効度5を図示化したものである。図3において、ハッチングを施した部分領域は、スコアの算出に係る有効度が低いことを表し、白色の部分領域は、スコアの算出に係る有効度が高いことを表す。有効度は、例えば、0から1までの値をとり、0に近いほど有効の度合いが低くなる。有効度が0の部分領域は、その部分領域がスコアの算出に使用されないことと等価である。また有効度が1の部分領域は、その部分領域がスコアの算出に100%使用されることと等価である。以下では、図3において、ハッチングを施した部分領域の有効度は0、白色の部分領域の有効度は1とする。この場合、図3において白色の部分領域は合計23個あるので、算出手段2は、8×8個の部分領域のうち23個の部分領域を使用してスコアを算出することとなる。
図4は、算出手段2がスコアを算出する際に使用する登録画像4−1〜4−4の23個の部分領域から成る部分画像を示す。また図5は、照合対象の物体を撮像して得られた照合画像6の例を示す。この例の照合画像6は、登録画像4−1と同じ物体を撮像して得られた画像を想定している。但し、照合画像6は、ノイズ等の影響によって部分領域(8,1)の画像成分が本来の値Qから値Pに変化している。
算出手段2が算出するスコアは、登録画像4と照合画像6との間の類似度を表すものであれば、どのようなものであってもよい。ここでは説明の便宜上、登録画像4の部分領域毎に、それに対応する照合画像6の部分領域との間で画像成分どうしを比較し、画像成分が同じであれば、点数1に有効度を乗じた値を加算する方法でスコアを計算するものとする。この計算方法によると、登録画像4−1〜4−4と照合画像6との間の類似度のスコアは、図6に示すようになる。即ち、登録画像4−1と照合画像6とでは、有効度が1である23個の部分領域のうちの22個の画像成分が互いに一致するので、類似度のスコアは22/23=0.96になる。また、登録画像4−2と照合画像6とでは、有効度が1である23個の部分領域のうちの15個の画像成分が互いに一致するので、類似度のスコアは15/23=0.65になる。以下、登録画像4−3と照合画像6との類似度のスコアは0.17、登録画像4−4と照合画像6との類似度のスコアは0.48になる。照合画像6は、登録画像4−1と同じ物体を撮像して得られた画像を想定しているので、登録画像4−1との類似度のスコアが一番高くなるのは当然のことであるが、注目すべきは、2位以下のスコアとの差が顕著であることである。このため、1位と2位以下とを容易に区別することができ、ノイズ等に頑健な個体識別が実現できる。
一方、有効度を考慮せずに登録画像および照合画像の全領域を対象として、登録画像4−1〜4−4と照合画像6との間の類似度のスコアを算出すると、図7に示すようになる。即ち、登録画像4−1と照合画像6とでは、8×8個の部分領域のうちの63個の部分領域の画像成分が互いに一致するので、類似度のスコアは63/64=0.98になる。また、登録画像4−2と照合画像6とでは、52個の部分領域の画像成分が互いに一致するので、類似度のスコアは52/64=0.81になる。以下、登録画像4−3と照合画像6との類似度のスコアは0.78、登録画像4−4と照合画像6との類似度のスコアは0.83になる。照合画像6は、登録画像4−1と同じ物体を撮像して得られた画像を想定しているので、登録画像4−1との類似度のスコアが一番高くなっているが、2位以下のスコアも高くなる傾向にあるため1位との差は図6と対照的に僅かである。このため、1位と2位以下との区別が困難になり、個体識別の精度が低下する。
次に、算出手段2について更に詳しく説明する。
図8は算出手段2の構成例を示す。この例の算出手段2は、登録画像前処理部2−1、照合画像前処理部2−2、部分クロスパワースペクトル生成部2−3、要素補填部2−4、逆フーリエ変換部2−5、スコア算出部2−6を有する。
登録画像前処理部2−1は、登録画像4と有効度5とから、有効度が閾値以上の部分領域のみから構成される登録画像の部分画像4Aを生成するように構成されている。ここで、閾値を例えば1あるいは1に近い値とすることによって、登録画像4から、全ての登録画像4に共通な画像成分を含む部分領域を除いた残りの部分領域を抽出することができる。
照合画像前処理部2−2は、照合画像6と有効度5とから、有効度が上記閾値以上の部分領域のみから構成される照合画像の部分画像6Aを生成するように構成されている。従って、閾値を例えば1あるいは1に近い値とすることによって、照合画像6から、全ての登録画像4に共通な画像成分を含む部分領域を除いた残りの部分領域を抽出することができる。
部分クロスパワースペクトル生成部2−3は、登録画像の部分画像4Aと照合画像6の部分画像6Aとの間の部分クロスパワースペクトル7Aを算出するように構成されている。部分クロスパワースペクトル生成部2−3は、例えば、部分画像4Aと部分画像6Aとの対応する部分領域単位で、クロスパワースペクトルを生成するように構成されていてもよいし、2以上の隣接する部分領域から構成される領域単位で、クロスパワースペクトルを一括して生成するように構成されていてよい。
要素補填部2−4は、部分クロスパワースペクトル7Aでクロスパワースペクトルが求められている部分領域以外の部分領域のクロスパワースペクトルとして、ゼロを補填することにより、全体としてのクロスパワースペクトル7Bを生成するように構成されている。また、逆フーリエ変換部2−5は、クロスパワースペクトル7Bを逆フーリエ変換して、相関値マップ8を算出するように構成されている。そして、スコア算出部2−6は、相関値マップ8におけるピークの有無およびピークの鋭さを示す値に基づいて、登録画像4と照合画像6間の類似度を表すスコアを算出するように構成されている。ピークの有無は、例えば、予め算出しておいた判定閾値を超えるピークがあるかどうかで判定することができる。また、ピークの鋭さを示す値は、例えば、最大ピークと判定閾値との差や、最大ピークと2位ピークの比率などを使用することができる。
図9は算出手段2の別の構成例を示す。この例の算出手段2は、登録画像前処理部2−1A、照合画像前処理部2−2A、クロスパワースペクトル生成部2−3A、逆フーリエ変換部2−5、スコア算出部2−6を有する。
登録画像前処理部2−1Aは、登録画像4と有効度5とから、登録画像4の部分領域の画像成分の値をその部分領域の有効度5に応じて変更した変更後登録画像4Bを生成するように構成されている。例えば、登録画像前処理部2−1Aは、登録画像4の部分領域の画像成分の値に有効度5を乗じて得られる値を、変更後登録画像4Bの部分領域の画像成分とする。この場合、有効度5が0の部分領域の画像成分はゼロになる。但し、これに限られることなく、有効度に応じて画像成分を変更できれば他の方法でもよい。例えば、有効度に応じた値を画像成分に加算する方法等であってもよい。有効度がより小さいほど、変更後登録画像4Bの画像成分の値が小さくなることにより、類似度の算出において、その画像成分が重視されなくなる。
照合画像前処理部2−2Aは、登録画像前処理部2−1Aと同様の方法により、照合画像6と有効度5とから、照合画像6の部分領域の画像成分の値をその部分領域の有効度5に応じて変更した変更後照合画像6Bを生成するように構成されている。
クロスパワースペクトル生成部2−3Aは、変更後登録画像4Bと変更後照合画像6Bとの間のクロスパワースペクトル7を生成するように構成されている。逆フーリエ変換部2−5は、クロスパワースペクトル7を逆フーリエ変換して、相関値マップ8を算出するように構成されている。そして、スコア算出部2−6は、相関値マップ8におけるピークの有無およびピークの鋭さを示す値に基づいて、登録画像4と照合画像6間の類似度を表すスコアを算出するように構成されている。
次に、決定手段3について更に詳しく説明する。
図10Aは決定手段3の処理例を示すフローチャートである。決定手段3は、先ず、1つの部分領域(例えば部分領域(1,1))に注目する(ステップS1)。次に、決定手段3は、1つの登録画像ペア(例えば登録画像4−1と登録画像4−2のペア)に注目する(ステップS2)。次に、決定手段3は、注目中の登録画像ペアの注目中の部分領域間の類似度を表すスコアを算出し、スコア集合に格納する(ステップS3)。例えば、決定手段3は、図8の部分クロスパワースペクトル生成部2−3を使用して、ペアの一方の部分領域とペアの他方の部分領域との間の部分クロスパワースペクトルを生成し、次に要素補填部2−4を使用して残りの部分領域にゼロを補填して全体のクロスパワースペクトルを生成し、次に逆フーリエ変換部2−5を使用して上記全体のクロスパワースペクトルから相関値マップを生成し、次にスコア算出部2−6を使用して相関値マップ8からスコアを算出し、この算出したスコアを注目中の登録画像ペアの注目中の部分領域間の類似度を表すスコアとしてよい。図8の代わり図9に示す方法でスコアを算出してもよい。
次に決定手段3は、次の1つの登録画像ペア(登録画像4−1と登録画像4−3のペア)に注目を移す(ステップS4)。そして、決定手段3は、ステップS3に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての登録画像ペアに注目し終えていれば(ステップS5でYES)、スコア集合に格納されているスコアの平均値を算出する(ステップS6)。次に決定手段3は、スコアの平均値に基づいて注目中の部分領域の有効度を決定する(ステップS7)。例えば、決定手段3は、スコアの平均値が予め設定された閾値αより大きければ注目中の部分領域の有効度を0とし、そうでなければ注目中の部分領域の有効度を1とする。これにより、異なる個体間の相関ピーク発生への寄与が大きい部分領域の有効度は低くなり、異なる個体間の相関ピーク発生への寄与が小さい部分領域の有効度は高くなる。
次に決定手段3は、次の1つの部分領域に注目を移す(ステップS8)。そして、決定手段3は、ステップS2に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての部分領域に注目し終えていれば(ステップS9でYES)、図10Aの処理を終える。
このように図10Aに示した処理によれば、異なる個体間の相関ピーク発生への寄与が大きい部分領域の有効度は低く、異なる個体間の相関ピーク発生への寄与が小さい部分領域の有効度は高くなるように決定する。
図10Bは決定手段3の他の処理例を示すフローチャートである。決定手段3は、先ず、図10Aに示した処理と同様の処理を実行することにより、異なる登録画像間の相関値に基づいて各部分領域の有効度を決定する(ステップS11)。次に決定手段3は、ステップS11で決定された有効度が或る値以上の部分領域を部分領域の集合に格納する(ステップS12)。例えば決定手段3は、異なる登録画像間の相関値に基づいて有効度を1に決定した部分領域を部分領域の集合に格納する。
次に決定手段3は、部分領域の集合中の1つの部分領域に注目する(ステップS13)。次に決定手段3は、1つの登録画像に注目する(ステップS14)。次に決定手段3は、注目中の登録画像から注目中の登録画像に近似する登録画像を生成する(ステップS15)。決定手段3は、注目中の登録画像にノイズや幾何変形を付与した画像を登録画像に近似する登録画像としてよい。次に決定手段3は、注目中の登録画像とそれに近似する登録画像との類似度を表すスコアを例えば図8あるいは図9に示した方法によって算出し、その算出したスコアをスコア集合に格納する(ステップS16)。次に決定手段3は、次の1つの登録画像に注目を移す(ステップS17)。そして、決定手段3はステップS15に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての登録画像に注目し終えていれば(ステップS18でYES)、スコア集合に格納されているスコアの平均値を算出する(ステップS19)。次に決定手段3は、スコアの平均値に基づいて注目中の部分領域の有効度を決定する(ステップS20)。例えば、決定手段3は、スコアの平均値が予め設定された閾値βより大きければ注目中の部分領域の有効度を1とし、そうでなければ注目中の部分領域の有効度を0とする。これにより、同一個体間の相関ピーク発生への寄与が大きい部分領域の有効度は高くなり、同一個体間の相関ピーク発生への寄与が小さい部分領域の有効度は低くなる。
次に決定手段3は、部分領域の集合中の他の1つの部分領域に注目を移す(ステップS21)。次に決定手段3は、ステップS14に戻って上述した処理と同様の処理を繰り返す。また決定手段3は、全ての部分領域に注目し終えていれば(ステップS22でYES)、図10Bの処理を終える。
このように図10Bに示した処理によれば、決定手段3は、同一個体間の相関ピーク発生への寄与が大きい部分領域の有効度は高く、同一個体間の相関ピーク発生への寄与が小さい部分領域の有効度は低くなるように決定する。
<判定閾値の決定>
次に、個体識別装置1が、照合画像と複数の登録画像との類似度を表す複数のスコアから、照合画像が複数の登録画像の何れでもないと判定するための閾値(以下、判定閾値と記す)を決定する方法について説明する。
図11は、個体識別装置1が判定閾値を決定する処理の一例を示すフローチャートである。この処理は、個体識別装置1が有する閾値決定手段9で実施される。閾値決定手段9は、複数の登録画像4が図示しないデータベースに登録された時点で図11の処理を実施するように構成されている。また閾値決定手段9は、その後、新たな1以上の登録画像4が上記データベースに追加登録された時点で図11の処理を再び実施するように構成されていてよい。
閾値決定手段9は、先ず、図示しないデータベースに登録された1つの登録画像に注目し(ステップS11)、注目中の登録画像から注目中の登録画像に近似する照合画像を生成する(ステップS12)。閾値決定手段9は、注目中の登録画像そのものを照合画像としてよい。或いは閾値決定手段9は、注目中の登録画像にノイズや幾何変形を付与した画像を照合画像としてよい。次に閾値決定手段9は、注目中の登録画像と照合画像との類似度を表すスコアを図8および図9に示した方法によって算出し、その算出したスコアを1位スコア集合に格納する(ステップS13)。次に閾値決定手段9は、注目中の登録画像以外の他の登録画像の全てと照合画像との類似度を表すスコアを図8および図9に示した方法によってそれぞれ算出し、その算出したスコアの内の最大スコアを2位スコア集合に格納する(ステップS14)。次に閾値決定手段9は、データベースに登録された次の1つの登録画像に注目を移し(ステップS15、S16)、ステップS12に戻って上述した処理と同様の処理を繰り返す。
閾値決定手段9は、全ての登録画像に対する上記繰り返し処理を終えると、1位スコア集合に格納されたスコアの最小値と2位スコア集合に格納されたスコアの最大値との中間の値を判定閾値として決定する(ステップS17)。別の例として、閾値決定手段9は、1位スコア集合に格納されたスコアの平均値と2位スコア集合に格納されたスコア平均値との中間の値を判定閾値として決定してもよい。
以上説明したように、本実施形態によれば、複数の登録画像に共通する画像成分による個体識別精度の低下を防止することができる。その理由は、決定手段3が、複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、部分領域毎に、登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定するように構成され、算出手段2が、登録画像と照合画像に含まれる画像成分と有効度とに基づいて、上記スコアを算出するように構成されているためである。
[第2の実施形態]
次に本発明の第2の実施形態について説明する。
<背景技術>
従来、工業製品や商品等の物体に対して、製造番号やバーコード、QRコード等を付与することで、製品個々の品質や流通管理を行っている。また、ICタグやRFIDを製品個々に付与し、無線通信方式によって、効率よく製品の生産から物流、販売に至る総合的な製品管理や製品の紛失防止、盗難防止、偽造防止を実現する技術がある。
しかしながら、上記製造番号やバーコード、QRコード、あるいはICタグやRFIDタグを用いる製品の個体管理方法は、これらを製造物個々に対して付与する必要がある。したがって、製品の生産量に比例してコストが膨大になるという問題があった。
また、例えば、ネジやボルト等の物理的に小さな金属部品や樹脂製部品等、製品によっては、製造番号やバーコードを直接記入することや、上記タグを装着することができない場合も多い。さらに、バーコード等を物理的に記入することや、タグを付与することが可能な製造物であっても、これらを付与することは、製造物の外観や意匠といったデザインを損ねてしまうという課題があった。
そこで、製品表面の微細凹凸や紋様、素材表面のランダムパターン等といった、同一製造過程で生じる自然発生的な微小な差異を、カメラ等の撮影装置を用いて画像として取得し、その撮像画像を認識することで、製品個々の識別や管理を行う手法が提案されている。
例えば、特許文献5では、製品表面の特定部位に対して保護フィルムを貼り付け、保護フィルム貼付部位における製品表面のランダムパターンを、撮影装置を用いて画像として取得し、得られた撮像画像を用いた物品管理装置について記載されている。
また、特許文献6では、部品または製造物表面に形成された梨地加工をカメラで撮影し、その撮像画像に含まれる梨地紋様の画像特徴を用いた製造物識別手段について記載されている。
また、特許文献7や特許文献8では、個体識別や物品の真贋判定を目的として、物品上のタガント(微小粒子)のランダムパターンを用いて、物品の真贋判定を行う方法について記載されている。
また、類似の技術として、人間の指紋や虹彩、掌紋などのパターンを用いて個人認証を行うバイオメトリクス認証技術がある。通常、指紋や虹彩といった撮影対象に応じて特徴量を設計し、その特徴量同士の類似度を算出することで個体(個人)の識別や認証を行う。しかし、汎用的な画像マッチング手法を用いて個体(個人)の識別や認証を行う方式も存在する。例えば、特許文献9には、人間の指紋の撮像画像に対して2次元フーリエ変換を施し、撮像画像の位相限定相関を用いて、個体(個人)の識別や認証を行う方式が提案されている。また、特許文献10には、虹彩の撮像画像に対して位相限定相関を用いて、個体(個人)の識別や認証を行う方式が提案されている。
また、特許文献11では、個人認証を目的として、被写体が写った画像を周波数変換および極座標変換し、この極座標系で表された周波数スペクトル画像から上記被写体の特徴を表す周波数帯域を選択し、この選択した周波数帯域を特定する要素と周波数スペクトルを表す要素とを含む個体識別のためのベクトルを生成する画像変換装置について記載されている。また特許文献11では、照合時、入力特徴情報ベクトルについての方向と、登録特徴情報ベクトルについての方向との組み合わせを変更しつつ、両ベクトル間の距離の総和を算出することにより、生体情報の読み取り時ごとに被写体の方向が異なることによる、回転角度や位置のずれに対応している。
また、特許文献12では、照合画像と登録画像間に平行移動量、回転角度、さらには、拡大/縮小の差異があっても照合を行うことができる画像照合装置について記載されている。より詳細には、特許文献12では、まず、照合画像と登録画像をフーリエ変換(FFT)、および、対数−極座標変換(LPT)し、それによって得られた照合画像と登録画像の周波数スペクトル画像間の位相限定相関によって、登録画像に対する照合画像の補正情報(倍率情報、回転情報)を生成する。次に、上記補正情報に基づいて照合画像の倍率と回転の補正を行い、この補正された後の照合画像と登録画像との相関処理によって照合を行う。
また、特許文献13では、同一物体を異なる位置姿勢で撮影した参照画像と基準画像間の位置ずれ量を、より高精度に求めることができる画像処理装置について記載されている。特許文献13では、特許文献12と同様に、照合画像と登録画像をフーリエ変換および対数−極座標変換して周波数スペクトル(フーリエ・メリン(Fourier−Mellin(FM))画像を得る。そして、照合画像と登録画像のFM画像間の位相限定相関処理を用いて、登録画像に対する照合画像の位置ずれ量(倍率情報、回転情報等)を生成する。その際に特許文献13では、参照画像と基準画像の間の位置ずれによって片方では画像内に収まっていない領域や、極座標変換においてサンプル点が少なくなることで相関が低下するような領域である、FM画像における動径の大きい領域を除外するように重みづけして相関を計算する。これにより、精度よく位置ずれ量を推定する。また、照合画像と登録画像間で照明変化がある場合にも、被写体の情報をより多く含むと考えられる中周波数帯域に対する重みを大きくすることで、照明変化にも頑強に位置ずれ量を推定する。また、位置検出に有用な特徴である、画像のエッジ特徴を重視するような重みを設定し、より高精度に位置を推定する。
<本実施形態が解決しようとする課題>
特許文献11では、被写体が写った画像を周波数変換および極座標変換した後の周波数スペクトル画像から上記被写体の特徴量を抽出している。しかし、特許文献11では、特徴量の抽出時に画像の位置合わせを行っていない。そのため、照合時、入力特徴情報ベクトルについての方向と、登録特徴情報ベクトルについての方向との組み合わせを変更しつつ、両ベクトル間の距離の総和を算出することにより、生体情報の読み取り時ごとに被写体の方向が異なることによる位置ずれに対応しなければならない。これでは、たった1つの登録画像との照合に多数の組み合わせを処理しなければならず、照合時の処理量が膨大となる。そこで、特許文献11に記載される技術に、特許文献12に記載される画像の位置合わせ技術を適用することが考えられる。
特許文献12では、第2の画像に対する第1の画像の補正情報(倍率情報、回転情報)を、両画像をフーリエ・メリン変換して位置に不変であり、倍率・回転が平行移動に変換された特徴量を得て、その特徴量間の位相限定相関によって求めた平行移動量から前記補正情報を生成し、当該補正情報によって両画像を補正した上で照合する。そのため、照合時の物体の位置・向き・倍率が、登録時と異なっていても、1回の処理で照合可能となる。さらに、この補正情報の生成において、照合画像を参照画像、照合対象である個体の画像を基準画像として、特許文献13の手法を用いれば、より高精度に補正情報を生成し、高精度な照合を行うことができる可能性もある。
しかしながら、照合画像を多数の登録画像と照合して合致する登録画像を決定するような場合、すなわち、多数の個体識別を行う場合には、依然として、特許文献12および特許文献13に記載の技術では、処理量が膨大となるという課題があった。具体的には、上述した補正情報の推定処理、当該補正情報に基づいた照合画像の位置ずれ補正処理、そして登録画像との相関処理、の3つの処理を繰り返す必要があり、処理が膨大になるという課題があった。特に、後者二つの処理は、画像の幾何変形処理と相関処理と言う計算量の大きい処理である。これらを、多数の登録画像があるデータベースに対して繰り返し処理することは、処理量が膨大になり実用的でないという課題があった。
本実施形態の目的は、上述した課題を解決する、特に多数の登録があるデータベースに対する高速な照合を実現できる、個体識別装置を提供することにある。
<課題を解決するための手段>
本実施形態では、従来の技術と異なり、照合画像と登録画像間の位置ずれ補正情報の生成と当該補正情報による画像の補正処理、および、位置合わせ補正処理後の画像間の照合処理を行わずに、はるかに少ない処理量で、多数の個体に対する個体識別を行うことを特徴とする。具体的には、照合画像における対象物体の位置情報は、個体の識別には必要ないことを利用する。すなわち、同一個体である画像どうし以外では、特徴量の間で相関が求まらないようにする。こうして、相関ピークが求まることを持って、同一個体かどうかを判定する。
そのために、本実施形態では、異なる個体間で共通な特徴、すなわち、位置合わせ補正情報の生成にとっては有効であるような特徴を、相関演算において用いないようにする。その共通特徴は、個体識別のデータベースに登録される異なる個体の画像、および、幾何変形やノイズ付与によって生成した同一個体の異なる画像から決定する。具体的には、データベースの各登録画像から位置ずれ、さらに、倍率や回転にも依存しない特徴量(フーリエ・メリン特徴(FM)をさらに周波数変換して得られる周波数スペクトル(FMFS))画像を抽出し、さらにFMFSから、個体固有の成分のみを抽出(異なる個体間に共通な特徴を除去)する。照合時には、異なる個体間に共通な特徴を除去した個体固有の成分のみで相関を計算することで、同一個体でない物体の画像に対しては相関値マップにピークが検出できなくなるので、相関ピークがないことによって、位置合わせ処理をせず即座に異なる個体として識別結果を判定することができる。一方、同一個体との照合においては相関ピークが検出でき、即座に同一個体であると識別結果を判定し、個体を特定可能となる。
本実施形態に係る個体識別装置は、物体を撮像して得られた画像にフーリエ・メリン変換(周波数変換および対数極座標変換)を適用して得られるフーリエ・メリン特徴(FM特徴)画像に対しさらに周波数変換を行いFM特徴の周波数スペクトル(FMFS)画像を抽出する変換部と、登録される複数の個体の画像の上記周波数変換後の画像(FMFS)における部分領域に基づき、FMFS間の正規化クロスパワースペクトルを求め、上記部分領域以外のクロスパワースペクトルをゼロで補填したのち、そのフーリエ逆変換により求まる相関マップにおけるピークを検出する特徴相関部と、ピークの有無およびそのピーク値を元に、個体識別を行う照合部と、を備える。
本実施形態は、従来技術と異なり、画像の位置合わせ部、および、位置補正した画像の照合部を持たないことを特徴とする。また、本実施形態は、照合画像の倍率や回転の変化によって位置ずれが発生しているフーリエ・メリン特徴画像上ではなく、位置ずれが発生しない、そのフーリエ変換後の周波数スペクトル画像上で部分領域の特徴抽出を行うことを特徴とする。さらに、本実施形態は、照合対象としてデータベースに登録された個体の画像群から上記部分領域を決定する決定部を持つことを特徴とする。
上記決定部は、異なる個体の画像から得られるFMFS画像間において、上記相関マップにおけるピークへの寄与が小さい、FMFS画像の部分領域を決定するように構成されている。
さらに、本実施形態は、上記相関マップにおけるピークを検出するための評価値の閾値等を、照合対象としてデータベースに登録された個体の画像群から決定する決定部を持つことを特徴とする。
<本実施形態の効果>
本実施形態は、上述した構成を有するため、物体を撮像して得られた画像を位置合わせすることなく、照合画像が多数の登録個体のうちどの個体の画像であるかの識別を、高速に行うことができる。
以下、本実施形態について、項目別に説明する。本実施形態は、同一の製造過程を経て製造される複数の製品の表面には、個々の製品固有の微細パターンと、複数の製品に共通な微細パターンとが存在していることを利用する。また、本実施形態は、個々の製品固有の微細パターンと複数の製品に共通な微細パターンとは、フーリエ・メリン特徴画像における空間周波数が相違していることを利用する。
<本実施形態の構成>
図12は、本実施形態に係る個体識別装置100のブロック図である。本実施形態に係る個体識別装置100は、画像取得手段101と、画像記憶手段102と、周波数変換手段103と、極座標変換手段104と、周波数変換手段105と、有効度決定手段106と、有効度記憶手段107と、特徴抽出手段108と、特徴量記憶手段109と、スコア算出手段110と、判定手段111と、情報提示手段112とを備える。
画像取得手段101は、管理対象である製造物の表面の画像を取得する機能を有する。画像記憶手段102は、画像取得手段101によって得られた画像を記憶する機能を有する。周波数変換手段103は、画像に対して周波数変換を施し、周波数スペクトル画像に変換する機能を有する。周波数変換としては、2次元離散フーリエ変換を使用するが、2次元離散ウェーブレット変換等、他の方式の周波数変換であってもよい。極座標変換手段104は、周波数スペクトル画像を極座標に変換したフーリエ・メリン特徴(FM)画像を生成する機能を有する。周波数変換手段105は、フーリエ・メリン特徴(FM)画像を更に周波数変換したフーリエ・メリン特徴の周波数スペクトル(FMFS)画像を生成する機能を有する。有効度決定手段106は、FMFS画像の部分領域毎の有効度を決定する機能を有する。有効度決定手段106は、複数の製造物の表面の画像に共通して現れる周波数特徴(共通特徴)がより多く含まれる部分領域ほど、その有効度をより低くする。有効度記憶手段107は、有効度決定手段106から出力された部分領域毎の有効度を記憶する機能を有する。
特徴抽出手段108は、管理対象である製造物の表面の撮像画像の周波数スペクトル画像を極座標変換したフーリエ・メリン特徴の周波数スペクトル(FMFS)画像を構成する部分領域のうち、有効度記憶手段107に記憶された有効度が基準値以上である1または複数の部分領域から、個体固有の特徴量を算出する機能を有する。特徴量記憶手段109は、撮像画像から特徴抽出手段108によって得られた個体固有の特徴量を記憶する機能を有する。スコア算出手段110は、クエリ画像である撮像画像の周波数スペクトル画像を極座標変換したフーリエ・メリン特徴の周波数スペクトル(FMFS)画像から特徴抽出手段108によって得られた個体固有の特徴量と、特徴量記憶手段109に記憶された特徴量とのFMFS間の相関を算出し、それを逆フーリエ変換して得られる相関マップにおけるピークの有無およびピークの鋭さを表す値に基づいてスコア(数値)を算出する機能を有する。判定手段111は、スコア算出手段110で得られたスコアに基づき、識別および照合の判定結果を出力する機能を有する。情報提示手段112は、判定結果に基づき個体管理情報を提示する機能を有する。
個体識別装置100は、例えば図13に示すように、カメラ等の撮像部201と、キーボードやマウスなどの操作入力部202と、液晶ディスプレイ等の画面表示部203と、通信インタフェース部204と、メモリやハードディスク等の記憶部205と、1以上のマイクロプロセッサ等の演算処理部206とを有するパーソナルコンピュータやスマートフォン等の情報処理装置200と、プログラム207とで実現することができる。
プログラム207は、情報処理装置200の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部206の動作を制御することにより、演算処理部206上に、画像取得手段101、画像記憶手段102、周波数変換手段103、極座標変換手段104、周波数変換手段105、有効度決定手段106、有効度記憶手段107、特徴抽出手段108、特徴量記憶手段109、スコア算出手段110、判定手段111、および情報提示手段112といった機能的手段を実現する。
次に、本実施形態に係る個体識別装置100の動作を説明する。個体識別装置100の動作は、以下の三つに大別される。
(a)スコア算出に係る有効度を決定する事前処理の動作
(b)個体登録の動作
(c)個体識別および個体照合の動作
[事前処理:有効度の決定処理]
まず、前段階の処理として、スコア算出に係る有効度を決定する処理を説明する。
図14および図15は、有効度決定処理の動作フローおよびフローチャートである。
<画像の取得と保存>
まず、画像取得手段101は、管理対象である複数個の製品それぞれの表面パターンの画像を取得し、画像記憶手段102に保存する(ステップS101)。画像取得手段101は、各個体につき少なくとも1枚の画像を取得して、画像記憶手段102に保存する。或いは画像取得手段101は、有効度の精度を高めるために、各個体につき複数枚の画像を取得して、画像記憶手段102に保存してもよい。画像取得手段101は、カメラやスキャナ等の撮影装置、ネットワーク経由による画像データの取得装置、CD−ROM等の記憶媒体経由等による画像データの取得装置のいずれであってもよい。
また、管理対象の製造物を製造する生産ラインが複数存在する場合、画像取得手段101は、取得した製品の表面パターンの画像を生産ライン別に画像記憶手段102に保存する。ここで、生産ラインとは、同一・同種の製品を大量に製造するために作られた、流れ作業による組み立て工程、或いは単一の加工機械による単一の組み立て工程を含む。
例えば、第1の生産ラインでは金型A1を使用した鋳造もしくは圧造によって製品を大量生産し、また、第2の生産ラインでは金型A1と同一の金型A2を使用した鋳造もしくは圧造によって製品を大量生産するものとする。この場合、画像取得手段101は、第1の生産ラインによって製造された製品の表面パターンの画像と第2の生産ラインによって製造された製品の表面パターンの画像とを区別して、画像記憶手段102に保存する。このとき、第1の生産ラインによって製造された製品には、金型A1に固有のパターンが表面全体に転写されている。また、第2の生産ラインによって製造された製品には、金型A2に固有のパターンが表面全体に転写されている。
また例えば、第1の生産ラインでは切断機器B1を使用して素材を切断することによって製品を大量生産し、また、第2の生産ラインでは切断機器B1と同一の切断機器B2を使用して素材を切断することによって製品を大量生産するものとする。この場合、画像取得手段101は、第1の生産ラインによって製造された製品の表面パターンの画像と第2の生産ラインによって製造された製品の表面パターンの画像とを区別して、画像記憶手段102に保存する。このとき、第1の生産ラインによって製造された製品には、切断機器B1が有する切断に用いる刃の断面に固有の表面粗さの微細凹凸が切断面に現れる。また、第2の生産ラインによって製造された製品には、切断機器B2が有する切断に用いる刃の断面に固有の表面粗さの微細凹凸が切断面に現れる。ここで挙げた同一加工方法や機器はあくまで一例であり、その他の同一製造工程や加工機器も同様に扱うことができる。
図16A〜図16Cは画像記憶手段102の内容の一例を示す。図16Aは、画像取得手段101が各個体につき1枚の画像を取得して画像記憶手段102に保存した例を示す。画像G1,…,Gnはn個の製品に1対1に対応するn個の画像である。また、図16Bは、画像取得手段101が各個体につきm(m≧2)枚の画像を取得して画像記憶手段102に保存した例を示す。画像G11,…,G1m、画像G21,…,G2m、…、画像Gn1,…,Gnmは、n個の製品に1対1に対応するn×m個の画像である。ここで、各個体について画像が1枚しか撮影できない場合には、撮影した1枚の画像から、ノイズや幾何変形を加えて複数の画像を生成する。また、図16Cは、画像取得手段101が製品の画像を生産ライン別に画像記憶手段102に保存した例を示す。画像G1,…,Gnは第1の生産ラインで生産されたn個の製品に1対1に対応するn個の画像である。画像Gn+1,…,Gn+nは第2の生産ラインで生産されたn個の製品に1対1に対応するn個の画像である。図16Cの例では、個体1つ当たり1つの画像を保存しているが、個体1つ当たり複数の画像を保存してもよい。
<有効度の決定処理>
次に、周波数変換手段103は、画像記憶手段102から、管理対象である複数個の製品の表面パターンの画像を取り出し、各画像の2次元周波数スペクトルデータに変換する(ステップS103)。また、周波数変換手段103は、ステップS103において、更に、得られた2次元周波数スペクトルデータの対数をとり、対数振幅スペクトルデータに変換してもよい。以後、本処理で得られた2次元周波数スペクトルデータを、周波数スペクトル画像と呼ぶ。
次に、極座標変換部104は、周波数変換手段103によって得られた周波数スペクトル画像を対数極座標に変換し、FM画像を生成する(ステップS104)。一般に、実座標における回転方向の動きは、極座標におけるθ軸に沿った横方向の動きになる。そのため、2つの周波数スペクトル画像間の回転変動量は、極座標変換後の2つの周波数スペクトル画像間のθ軸に沿った平行移動量で表現される。また、一般に、実座標におけるスケール変動は、対数極座標におけるlog−r軸に沿った横方向の動きになる。そのため、2つの周波数スペクトル画像間の回転変動量とスケール変動は、対数極座標変換後の2つの周波数スペクトル画像間のθ軸に沿った平行移動量とlog−r軸に沿った平行移動量とで表現される。そのため、FM画像への変換は、画像取得時に、撮像画像間に回転変動に加え、スケール変動がある場合に有効である。
図17A〜図17Cは周波数変換手段103および極座標変換手段104の処理結果の一例を示す。図17Aは、図16Aに示した各個体につき1枚の画像を処理した結果を示す。画像SG1,…,SGnはn個の製品に1対1に対応するn個のフーリエ・メリン特徴画像(FM画像)である。また、図17Bは、図16Bに示した各個体につきm(m≧2)枚の画像を処理した結果を示す。画像SG11,…,SG1m、画像SG21,…,SG2m、…、画像SGn1,…,SGnmは、n個の製品に1対1に対応するn×m個のフーリエ・メリン特徴画像(FM画像)である。また、図17Cは、図16Cに示した生産ライン別の画像を処理した結果を示す。画像SG1,…,SGnは第1の生産ラインで生産されたn個の製品に1対1に対応するn個のフーリエ・メリン特徴画像(FM画像)である。画像SGn+1,…,SGn+nは第2の生産ラインで生産されたn個の製品に1対1に対応するn個のフーリエ・メリン特徴画像(FM画像)である。
次に、周波数変換手段105は、極座標変換手段104から出力されたFM画像を周波数変換した画像(FMFS画像)を生成する(ステップS105)。
図18A〜図18Cは周波数変換手段105の処理結果の一例を示す。図18Aは、図17Aに示した各個体につき1枚のFM画像を処理した結果を示す。画像SSG1,…,SSGnはn個の製品に1対1に対応するn個のFM画像を周波数変換して得られたFMFS画像である。また、図18Bは、図17Bに示した各個体につきm(m≧2)枚のFM画像を処理した結果を示す。画像SSG11,…,SSG1m、画像SSG21,…,SSG2m、…、画像SSGn1,…,SSGnmは、n個の製品に1対1に対応するn×m個のFM画像を周波数変換して得られたFMFS画像である。また、図18Cは、図17Cに示した生産ライン別の画像を処理した結果を示す。画像SSG1,…,SSGnは第1の生産ラインで生産されたn個の製品に1対1に対応するn個のFM画像を周波数変換して得られたFMFS画像である。画像SSGn+1,…,SSGn+nは第2の生産ラインで生産されたn個の製品に1対1に対応するn個のFM画像を周波数変換して得られたFMFS画像である。
次に、有効度決定手段106は、周波数変換手段105によって得られたFMFS画像を用いて、部分領域毎の有効度を算出する(ステップS106)。以下、部分領域毎の有効度の算出方法について詳述する。
<有効度の算出>
有効度決定手段106は、例えば、複数の異なる製品の画像ペアから求めたFMFS画像から、特定の部分を部分領域画像として取り出し、全ての部分領域画像間のスコア算出処理(クロスパワースペクトルの合成(要素ごとの積)、他の部分領域のゼロ詰め、逆フーリエ変換による相関値マップの算出、および、当該相関値マップにおける最大値ピークの有無(鋭さ)の評価値の算出)を繰り返すことによって、当該部分領域が、異なる個体間で相関値ピークの有無に対してどの程度寄与するかを算出する。このとき、部分領域を様々に変化させながら、全ての異なる個体の画像のペアに対して相関値マップを求め、それぞれのピークとその周辺領域のS/N比を求め、異なる個体間でS/N比がどの程度になるか(具体的には、平均値等)を求める。
さらに、有効度決定手段106は、上記と同じ処理を、同じ個体製品の画像ペアに対して処理し、当該部分領域が、同一個体間で相関値ピークの有無に対してどの程度寄与するか(具体的には、前記S/N比の平均値)を算出する。
そして、有効度決定手段106は、上記同一個体間ピークへの寄与度と、異なる個体間ピークへの寄与度の比率を、当該部分領域の個体固有特徴としての寄与度とする。寄与度としては、前記平均値の他に、異なる個体間の値の集合と、同一個体間の値の集合の分離度など、様々な統計値を用いることもできる。
有効度決定手段106は、様々な部分領域について、上記の処理を繰り返し、個体固有特徴としての寄与度が高い部分領域(1つ、または複数)のみを決定し、この決定した部分領域の有効度を1とする。一例として、有効度決定手段106は、FMFS画像を一定サイズで分割し、各領域について前記処理を繰り返し、個体固有特徴としての寄与度が高い順に、一定数の部分領域を有効度が1の部分領域として決定することができる。
図25A〜図25Cは、図15のステップS106の詳細を示すフローチャートである。有効度決定手段106は、先ず、FMFS画像を一定サイズで分割して得られる複数の部分領域の1つに注目する(ステップS401)。次に有効度決定手段106は、複数の異なる製品の画像ペアのうちの1つの画像ペアに注目する(ステップS402)。即ち、或る製品の画像とその製品とは異なる製品の画像とのペアに注目する。次に有効度決定手段106は、注目中画像ペアの注目中部分領域間の類似度を表すスコアを算出する(ステップS403)。上記スコアは、例えば、注目中画像ペアの注目中部分領域間の相関値マップにおけるピーク値としてよい。或いは、ピーク値を信号(S)、例えば2番目に高いピーク値を雑音(N)とし、S/N比を上記スコアとしてよい。次に有効度決定手段106は、次の1つの異なる製品の画像ペアに注目を移し(ステップS404)、ステップS403に戻って上述した処理と同様の処理を繰り返す。有効度決定手段106は、異なる製品の画像ペアの全てに注目し終えると(ステップS405でYES)、注目中部分領域について異なる製品の画像ペア毎に算出したスコアの平均値を算出し、この算出したスコアの平均値を注目中部分領域の異なる製品間ピークへの寄与度を表すスコアとする(ステップS406)。次に有効度決定手段106は、次の部分領域の1つに注目を移し(ステップS407)、ステップS402に戻って上述した処理と同様の処理を繰り返す。また有効度決定手段106は、全ての部分領域について注目し終えると(ステップS408でYES)、図25BのステップS411へ進む。
有効度決定手段106は、ステップS411では、再度、複数の部分領域の1つに注目する。次に有効度決定手段106は、複数の同一製品の画像ペアのうちの1つの画像ペアに注目する(ステップS412)。即ち、同じ製品に係る画像のペアに注目する。次に有効度決定手段106は、注目中画像ペアの注目中部分領域間の類似度を表すスコアをステップS403と同様に算出する(ステップS413)。次に有効度決定手段106は、次の1つの同一製品の画像ペアに注目を移し(ステップS414)、ステップS413に戻って上述した処理と同様の処理を繰り返す。有効度決定手段106は、同一製品の画像ペアの全てに注目し終えると(ステップS415でYES)、注目中部分領域について同一製品の画像ペア毎に算出したスコアの平均値を算出し、この算出したスコアの平均値を注目中部分領域の同一製品間ピークへの寄与度を表すスコアとする(ステップS406)。次に有効度決定手段106は、次の部分領域の1つに注目を移し(ステップS417)、ステップS412に戻って上述した処理と同様の処理を繰り返す。また有効度決定手段106は、全ての部分領域について注目し終えると(ステップS418でYES)、図25CのステップS421へ進む。
有効度決定手段106は、ステップS421では、再度、複数の部分領域の1つに注目する。次に有効度決定手段106は、注目中部分領域の異なる製品間ピークへの寄与度を表すスコアに対する、注目中部分領域の同一製品間ピークへの寄与度を表すスコアの比を、注目中部分領域の個体固有特徴の寄与度として算出する(ステップS422)。次に有効度決定手段106は、次の部分領域の1つに注目を移し(ステップS423)、ステップS422に戻って上述した処理と同様の処理を繰り返す。有効度決定手段106は、全ての部分領域に注目し終えると(ステップS424でYES)、部分領域毎の個体固有特徴の寄与度を、より大きなものがより上位に並ぶように、降順にソートする(ステップS425)。次に有効度決定手段106は、ソート結果の上位n(nは予め定められた正の整数)個の個体固有特徴の寄与度に対応するn個の部分領域の有効度を1、それ以外の部分領域の有効度を0とする(ステップS426)。
また、製品の表面パターンの画像が生産ライン別に画像記憶手段102に保存されている場合、有効度決定手段106は、ステップS106において、生産ライン毎に、その生産ラインで製造された複数の製品のFMFS画像から生産ラインに1対1に対応する部分領域毎の有効度を算出する。これにより、例えば、金型A1を使用して製造された複数の製品のFMFS画像からは、金型A1によって製造時に各個体に共通に転写されたパターンを含む部分領域の有効度は0に決定され、金型A2を使用して製造された複数の製品のFMFS画像からは、金型A2による鋳造もしくは圧造時に各個体に共通に転写されたパターンを含む部分領域の有効度は0に決定される。また、例えば、切断機器B1を使用して製造された複数の製品のFMFS画像からは、切断機器B1による切断時に生じた切断刃の断面に応じた微細凹凸に由来する共通のFMFS成分(共通特徴)を含む部分領域の有効度は0に決定され、切断機器B2を使用して製造された複数の製品のFMFS画像からは、切断機器B2による切断時に生じた切断刃の断面に応じた微細凹凸に由来する共通の成分(共通特徴)を含む部分領域の有効度は0に決定される。
また、有効度決定手段106は、部分領域毎の有効度の決定に当たっては、同一個体あるいは異なる個体の複数のFMFS画像を用いて、主成分分析や線形判別分析等の統計的手法や機械学習を適用し、撮影時のノイズが多く含まれやすくS/N比の悪い部分領域を決定することができる。そして、有効度決定手段106は、S/N比の悪い部分領域の有効度を0とすることによって、個体個々の識別に有用な特徴量をS/N比良く抽出可能な部分領域のみ有効度を1に決定する。或いは、有効度決定手段106は、上記決定したS/N比に応じた重み係数を生成してもよい。この重み係数は、後述する個体識別および個体照合の性能を向上させるために利用することができる。
有効度決定手段106は、算出した部分領域毎の有効度を有効度記憶手段107に保存する。図19A、図19Bは有効度記憶手段107の内容例を示す。図19Aは、有効度記憶手段107に1つの有効度CFが記憶される例を示す。また図19Bは、生産ライン毎に1つの有効度が記憶される例を示す。即ち、有効度CF1は第1の生産ラインに対応しており、有効度CF2は第2の生産ラインに対応している。
[個体登録の動作]
次に、管理対象の物体個々を登録する個体登録の動作について説明する。
図20および図21は、個体登録の動作の処理フローおよびフローチャートである。まず、画像取得手段101は、個体登録の対象とする物体の表面を撮像して得られる画像を取得する(ステップS201)。次に、周波数変換手段103は、画像取得手段101によって取得された撮像画像を周波数変換し、周波数スペクトル画像を生成する(ステップS202)。次に、極座標変換手段104は、周波数変換手段103によって生成された周波数スペクトル画像を対数極座標変換し、フーリエ・メリン特徴(FM)画像を生成する(ステップS203)。次に、周波数変換手段105は、極座標変換手段104によって生成されたFM画像を周波数変換し、フーリエ・メリン周波数スペクトル(FMFS)画像を生成する(ステップS204)。これらの処理は、有効度決定を行う事前処理のときと同様である。
次に、特徴抽出手段108は、FMFS画像と、有効度記憶手段107に格納された部分領域毎の有効度とを入力する。特徴抽出手段108は、有効度記憶手段107に図19(b)に示したように、生産ライン別の有効度が記憶されている場合、個体登録の対象とする製品が生産された生産ラインに対応する有効度を使用する。例えば、個体登録の対象とする製品が第1の生産ラインで生産されたならば、有効度CF1を使用する。次に、特徴抽出手段108は、入力した有効度に基づき、FMFS画像から部分画像を切り出し、この切り出した画像を個体固有の特徴量として出力する(ステップS205)。即ち、特徴抽出手段108は、FMFS画像を部分領域に分割し、有効度が1の部分領域の集合を部分画像として切り出す。また、特徴抽出手段108は、有効度に重み係数が付加されている場合は、部分領域の各周波数成分に重み係数を乗じた後、個体固有の特徴量として出力する。
次に、特徴量記憶手段109は、特徴抽出手段108によって得られた登録対象の個体固有の特徴量を記憶する(ステップS206)。このとき、特徴量記憶手段109は、登録対象の個体のID番号、登録日時、寸法、製品仕様等といった当該登録対象の製造物に関わる情報(付帯情報とも称す)と紐付けて(対応付けて)個体固有の特徴量を登録する。こうしておくことで、後述する個体識別や個体認証時の判定結果に基づき、製造物の個体管理情報を提示することが可能になる。
図22は、特徴量記憶手段109の内容例を示す。特徴量PF1,…,PFnおよび付帯情報SI1,…,SInは、登録対象の個体に1対1に対応する特徴量および付帯情報である。
[個体識別および個体照合の動作]
次に、管理対象の物体個々を識別および照合する動作について説明する。
図23および図24は、個体識別および個体照合時の動作の処理フローおよびフローチャートである。まず、画像取得手段101は、識別および照合の対象とする物体の表面を撮像して得られる画像(以下、照合画像と記す)を取得する(ステップS301)。次に、周波数変換手段103は、照合画像を周波数変換し、周波数スペクトル画像を生成する(ステップS302)。次に、極座標変換手段104は、周波数変換手段103によって生成された周波数スペクトル画像を対数極座標変換し、フーリエ・メリン特徴(FM)画像を生成する(ステップS303)。次に、周波数変換手段105は、極座標変換手段104によって生成されたFM画像を周波数変換し、フーリエ・メリン周波数スペクトル(FMFS)画像を生成する(ステップS304)。これらステップS301〜S304の処理は、個体登録の動作時における図21のステップS201〜S204の処理と同様である。以下、周波数変換手段105によって得られたフーリエ・メリン周波数スペクトル(FMFS)画像を、照合FMFS画像と記す。
次に、特徴抽出手段108は、有効度記憶手段107に記憶された1つの有効度に注目する(ステップS305)。例えば、有効度記憶手段107に図19Aに示すように1種類の有効度CFが記憶されている場合、その有効度CFに注目する。また、有効度記憶手段107に図19Bに示すように複数種類の有効度が記憶されている場合、そのうちの1つに注目する。
次に、特徴抽出手段108は、注目中の有効度に基づき、照合FMFS画像から部分画像を切り出し、この切り出した画像を識別および照合の対象とする個体固有の特徴量として出力する(ステップS306)。即ち、特徴抽出手段108は、照合FMFS画像を部分領域に分割し、有効度が1の部分領域の集合を部分画像として切り出す。また、特徴抽出手段108は、有効度に重み係数が付加されている場合は、部分領域の各周波数成分に重み係数を乗じた後、個体固有の特徴量として出力する。この個体固有の特徴量を、以下、照合特徴量と記す。
次に、スコア算出手段110は、特徴量記憶手段109に記憶された個々の個体固有の特徴量(以下、登録特徴量と記す)毎に、特徴抽出手段108によって得られた照合特徴量と登録特徴量との要素積の算出(部分クロスパワースペクトルの生成)、他の部分領域のゼロ詰めによる全クロスパワースペクトルの生成、全クロスパワースペクトルに対する逆フーリエ変換による相関値マップの算出、および、当該相関値マップにおける最大値ピークの有無およびピークの鋭さの評価値の算出を行い、最終的に照合特徴量と登録特徴量間の類似性を表すスコアを数値として算出する(ステップS307)。上記スコアの算出では、スコア算出手段110は、例えば、照合特徴量と登録特徴量との2つのFMFS特徴量の相関を算出して、それを逆フーリエ変換して得られる位置ずれ量を相関値マップにおけるピークの鋭さを示す値として算出し、このピークの鋭さを示す値を照合特徴量と登録特徴量間のスコアとして算出する。具体的には、ピーク値とその周辺領域のS/N比をスコアとしても良いし、相関マップ中の最大値と2位の値との比率をスコアとしてもよい。また、スコア算出手段110は、最大値の周辺の要素群から最大値のZスコアを算出してもよいし、上記ピークの値や上記Zスコアに対して何らかの線形変換を施し、或る値の範囲内に収まるようにスコアを正規化しても良い。
次に、スコア算出手段110は、有効度記憶手段107に記憶された他の1つの有効度に注目を移す(ステップS308)。スコア算出手段110は、注目すべき他の有効度が存在しなければ、ステップS310の処理へと進む。スコア算出手段110は、注目すべき他の有効度が存在すれば、それに注目してステップS306に戻り、上述した処理と同様の処理を新たに注目した有効度に基づいて実行する。これにより、有効度記憶手段107に図19(b)に示すように生産ラインに1対1に対応する有効度が複数記憶されている場合、ステップS306、S307の処理が生産ラインの数だけ繰り返される。
ステップS310では、判定手段111は、スコア算出手段111がステップS307で算出したスコアに基づき、照合特徴量が、特徴量記憶手段110に格納されている、どの登録特徴量と合致するかを判定する。例えば、判定手段111は、照合特徴量と特徴量記憶手段119に格納された各登録特徴量とのスコアをソートし、スコアが最大(正規化相互相関が最大)となる登録特徴量を選択する。そして、判定手段111は、選択した登録特徴量に紐付いた付帯情報を特徴量記憶手段109から読み出して、識別および照合対象の製品の生産物情報として出力する。
また、判定手段111は、照合特徴量と登録特徴量との最大スコアが、予め設定された判定閾値を超えるかどうかの判定を行ってもよい。そして、判定手段111は、照合特徴量と登録特徴量との最大スコアが判定閾値を超えない場合、識別および照合対象の製品は、登録されていないと判断し、認証エラーを表す情報を出力する。このように動作する判定手段111は、管理対象の真贋判定といった、個体認証目的で使用することができる。
続いて、情報提示手段112は、判定手段111から得た生産物情報や、認証エラー情報を受け、識別および照合対象の製品の個体識別結果である生産物情報や、個体認証情報を図示しない表示装置に表示し或いは外部の端末へ出力する(ステップS311)。
<本実施形態の効果>
本実施形態によれば、物体を撮像して得られた画像を位置合わせした上で照合するという処理を、照合対象となる多数の個体に対して繰り返し処理することなく、少ない処理量で個体を識別することができる。その理由は、スコア算出手段110は、照合画像および登録画像の位置ずれに不変な特徴量であるFM画像のうち、異なる個体間で共通の特徴を除外するために、FM画像の周波数スペクトルであるFMFS画像における部分領域(本実施形態では複数の製品に共通しない個体固有の周波数スペクトル成分)に基づき、異なる個体では位置ずれ量すなわち相関ピークを求めることができず、同一個体でのみ相関ピークが求まることを利用して、位置合わせを行わずに、個体の識別を行うためである。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
なお、本発明は、日本国にて2017年10月5日に特許出願された特願2017−194925の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
本発明は、製品表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、を含む、
個体識別装置。
[付記2]
前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
付記1に記載の個体識別装置。
[付記3]
前記算出手段は、
前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成する登録画像前処理部と、
前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成する照合画像前処理部と、
前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成する部分クロスパワースペクトル生成部と、
前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成する要素補填部と、
前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
付記1または2に記載の個体識別装置。
[付記4]
前記算出手段は、
前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成する登録画像前処理部と、
前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成する照合画像前処理部と、
前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成するクロスパワースペクトル生成部と、
前記クロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
付記1または2に記載の個体識別装置。
[付記5]
前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する判定手段を、さらに含む、
付記1乃至4の何れかに記載の個体識別装置。
[付記6]
前記スコアと比較するための判定閾値を決定する閾値決定手段を、更に含み、
前記閾値決定手段は、
前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを前記算出手段によって算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
付記1乃至5の何れかに記載の個体識別装置。
[付記7]
前記決定手段は、
互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定するように構成されている、
付記1乃至6の何れかに記載の個体識別装置。
[付記8]
前記決定手段は、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定するように構成されている、
付記7に記載の個体識別装置。
[付記9]
前記決定手段は、
同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
付記1乃至8の何れかに記載の個体識別装置。
[付記10]
複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定し、
前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する、
個体識別方法。
[付記11]
前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
付記10に記載の個体識別方法。
[付記12]
前記スコアの算出では、
前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成し、
前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成し、
前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成し、
前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成し、
前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成し、
前記相関値マップから前記スコアを算出する、
付記10または11に記載の個体識別方法。
[付記13]
前記スコアの算出では、
前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成し、
前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成し、
前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成し、
前記クロスパワースペクトルを逆周波数変換して相関値マップを生成し、
前記相関値マップから前記スコアを算出する、
付記10または11に記載の個体識別方法。
[付記14]
さらに、前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する、
付記10乃至13の何れかに記載の個体識別方法。
[付記15]
さらに、前記スコアと比較するための判定閾値を決定し、
前記判定閾値の決定では、
前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
付記10乃至14の何れかに記載の個体識別方法。
[付記16]
前記有効度の決定では、
互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定する、
付記10乃至15の何れかに記載の個体識別方法。
[付記17]
前記有効度の決定では、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定する、
付記16に記載の個体識別方法。
[付記18]
前記有効度の決定では、
同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
付記10乃至17の何れかに記載の個体識別方法。
[付記19]
コンピュータを、
複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、して機能させる、
プログラム。
1…個体識別装置
2…算出手段
2−1…登録画像前処理部
2−1A…登録画像前処理部
2−2…照合画像前処理部
2−2A…照合画像前処理部
2−3…部分クロスパワースペクトル生成部
2−3…クロスパワースペクトル生成部
2−4…要素補填部
2−5…逆フーリエ変換部
2−6…スコア算出部
3…決定手段
4−1…登録画像
4−2…登録画像
4−3…登録画像
4−4…登録画像
4A…登録画像の部分画像
4B…変更後登録画像
5…有効度
6…照合画像
6A…照合画像の部分画像
6B…変更後照合画像
7…クロスパワースペクトル
7A…部分クロスパワースペクトル
7B…クロスパワースペクトル
8…相関値マップ
100…個体識別装置
101…画像取得手段
102…画像記憶手段
103…周波数変換手段
104…極座標変換手段
105…周波数変換手段
106…有効度決定手段
107…有効度記憶手段
108…特徴抽出手段
109…特徴量記憶手段
110…スコア算出手段
111…判定手段
112…情報提示手段
200…情報処理装置
201…撮像部
202…操作入力部
203…画面表示部
204…通信インタフェース部
205…記憶部
206…演算処理部

Claims (19)

  1. 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
    前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、を含む、
    個体識別装置。
  2. 前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
    請求項1に記載の個体識別装置。
  3. 前記算出手段は、
    前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成する登録画像前処理部と、
    前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成する照合画像前処理部と、
    前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成する部分クロスパワースペクトル生成部と、
    前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成する要素補填部と、
    前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
    前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
    請求項1または2に記載の個体識別装置。
  4. 前記算出手段は、
    前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成する登録画像前処理部と、
    前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成する照合画像前処理部と、
    前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成するクロスパワースペクトル生成部と、
    前記クロスパワースペクトルを逆周波数変換して相関値マップを生成する逆周波数変換部と、
    前記相関値マップから前記スコアを算出するスコア算出部と、を含む、
    請求項1または2に記載の個体識別装置。
  5. 前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する判定手段を、さらに含む、
    請求項1乃至4の何れかに記載の個体識別装置。
  6. 前記スコアと比較するための判定閾値を決定する閾値決定手段を、更に含み、
    前記閾値決定手段は、
    前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを前記算出手段によって算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
    請求項1乃至5の何れかに記載の個体識別装置。
  7. 前記決定手段は、
    互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
    同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
    前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定するように構成されている、
    請求項1乃至6の何れかに記載の個体識別装置。
  8. 前記決定手段は、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定するように構成されている、
    請求項7に記載の個体識別装置。
  9. 前記決定手段は、
    同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
    請求項1乃至8の何れかに記載の個体識別装置。
  10. 複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定し、
    前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する、
    個体識別方法。
  11. 前記登録画像および前記照合画像は、前記登録対象および前記照合対象の物体を撮像して得られた画像に対して周波数変換、対数極座標変換、および周波数変換を施して得られる周波数スペクトル画像である、
    請求項10に記載の個体識別方法。
  12. 前記スコアの算出では、
    前記有効度に基づいて前記登録画像から一部の部分領域を抽出して登録画像の部分画像を生成し、
    前記有効度に基づいて前記照合画像から一部の部分領域を抽出して照合画像の部分画像を生成し、
    前記登録画像の部分画像と前記照合画像の部分画像間のクロスパワースペクトルである部分クロスパワースペクトルを生成し、
    前記部分クロスパワースペクトルに前記部分画像以外の画像部分のクロスパワースペクトルとしてゼロを補填して全体のクロスパワースペクトルを生成し、
    前記全体のクロスパワースペクトルを逆周波数変換して相関値マップを生成し、
    前記相関値マップから前記スコアを算出する、
    請求項10または11に記載の個体識別方法。
  13. 前記スコアの算出では、
    前記登録画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後登録画像を生成し、
    前記照合画像の部分領域の画像成分の値を前記部分領域の有効度に応じて変更した変更後照合画像を生成し、
    前記変更後登録画像と前記変更後照合画像間のクロスパワースペクトルを生成し、
    前記クロスパワースペクトルを逆周波数変換して相関値マップを生成し、
    前記相関値マップから前記スコアを算出する、
    請求項10または11に記載の個体識別方法。
  14. さらに、前記算出されたスコアに基づいて、前記登録画像と前記照合画像との照合結果を決定する、
    請求項10乃至13の何れかに記載の個体識別方法。
  15. さらに、前記スコアと比較するための判定閾値を決定し、
    前記判定閾値の決定では、
    前記登録画像毎に、前記登録画像に近似する照合画像を生成し、前記照合画像と前記登録画像との間の類似度を表す第1のスコアと前記照合画像と他の前記登録画像との間の類似度を表す第2のスコアとを算出し、前記第1のスコアと前記第2のスコアとに基づいて前記判定閾値を決定する、
    請求項10乃至14の何れかに記載の個体識別方法。
  16. 前記有効度の決定では、
    互いに異なる登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第1の相関値を算出し、
    同一の登録対象の物体を撮像して得られた画像のペアを複数生成し、前記生成した画像のペア毎に対応する部分領域の画像成分間の第2の相関値を算出し、
    前記第1の相関値および前記第2の相関値に基づいて前記部分領域毎の有効度を決定する、
    請求項10乃至15の何れかに記載の個体識別方法。
  17. 前記有効度の決定では、前記第1の相関値に対する前記第2の相関値の比に基づいて、前記部分領域毎の有効度を決定する、
    請求項16に記載の個体識別方法。
  18. 前記有効度の決定では、
    同一の生産ラインで製造された複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記生産ラインに1対1に対応する前記有効度を決定する、
    請求項10乃至17の何れかに記載の個体識別方法。
  19. コンピュータを、
    複数の登録対象の物体を撮像して得られた複数の登録画像に共通する画像成分が存在する部分領域か否かに基づいて、前記部分領域毎に、前記登録画像と照合対象の物体を撮像して得られた照合画像との間の類似度を表すスコアの算出に係る有効度を決定する決定手段と、
    前記登録画像および前記照合画像に含まれる画像成分と前記有効度とに基づいて、前記スコアを算出する算出手段と、して機能させる、
    プログラム。
JP2019546586A 2017-10-05 2018-09-05 個体識別装置 Active JP6860081B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017194925 2017-10-05
JP2017194925 2017-10-05
PCT/JP2018/032931 WO2019069617A1 (ja) 2017-10-05 2018-09-05 個体識別装置

Publications (2)

Publication Number Publication Date
JPWO2019069617A1 true JPWO2019069617A1 (ja) 2020-10-08
JP6860081B2 JP6860081B2 (ja) 2021-04-14

Family

ID=65995166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546586A Active JP6860081B2 (ja) 2017-10-05 2018-09-05 個体識別装置

Country Status (3)

Country Link
US (1) US11132582B2 (ja)
JP (1) JP6860081B2 (ja)
WO (1) WO2019069617A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3764319B1 (en) * 2018-03-05 2023-11-22 NEC Corporation Image comparison device
US11216541B2 (en) * 2018-09-07 2022-01-04 Qualcomm Incorporated User adaptation for biometric authentication
US20220198777A1 (en) * 2019-05-16 2022-06-23 Nec Corporation Image matching apparatus
CN110147838B (zh) * 2019-05-20 2021-07-02 苏州微创关节医疗科技有限公司 一种产品规格录入、检测方法及系统
CN114373196B (zh) * 2021-12-31 2023-09-19 天津极豪科技有限公司 有效采集区域确定方法、程序产品、存储介质及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255223A (ja) 1995-03-16 1996-10-01 Fuji Electric Co Ltd 文字認識装置における類似文字判別方法
JP3254622B2 (ja) 1996-08-08 2002-02-12 株式会社山武 パターン照合装置
JP3235075B2 (ja) 1996-08-21 2001-12-04 株式会社山武 パターン照合装置
JP4323784B2 (ja) 2002-12-03 2009-09-02 キヤノン株式会社 文字認識方法
JP2004240931A (ja) 2003-02-05 2004-08-26 Sony Corp 画像照合装置、画像照合方法、およびプログラム
JP4337422B2 (ja) 2003-06-20 2009-09-30 富士ゼロックス株式会社 物品登録装置、物品確認装置、及び物品登録確認装置
US7687271B2 (en) 2004-04-22 2010-03-30 Kodak Graphic Communications Canada Company Covert authentication method and apparatus
JP4664147B2 (ja) 2005-07-29 2011-04-06 株式会社山武 虹彩認証装置
US9208394B2 (en) * 2005-09-05 2015-12-08 Alpvision S.A. Authentication of an article of manufacture using an image of the microstructure of it surface
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置
WO2011086889A1 (ja) 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP5331721B2 (ja) 2010-02-02 2013-10-30 アズビル株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013196418A (ja) 2012-03-21 2013-09-30 Dainippon Printing Co Ltd 個体識別装置、個体識別方法、プログラム
JP6075084B2 (ja) 2013-01-25 2017-02-08 富士通株式会社 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム
WO2014163014A1 (ja) 2013-04-04 2014-10-09 日本電気株式会社 識別システム、識別方法、照合装置及びプログラム
JP6163868B2 (ja) 2013-05-20 2017-07-19 コニカミノルタ株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP6771897B2 (ja) 2016-02-02 2020-10-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102170725B1 (ko) * 2016-11-07 2020-10-27 삼성전자주식회사 지문 등록 방법 및 장치
JP6412911B2 (ja) 2016-12-05 2018-10-24 東芝テック株式会社 情報処理装置及びプログラム
US10152798B2 (en) * 2017-04-10 2018-12-11 Wisconsin Alumni Research Foundation Systems, methods and, media for determining object motion in three dimensions using speckle images

Also Published As

Publication number Publication date
WO2019069617A1 (ja) 2019-04-11
US11132582B2 (en) 2021-09-28
JP6860081B2 (ja) 2021-04-14
US20200242397A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
JP6860081B2 (ja) 個体識別装置
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
US11037326B2 (en) Individual identifying device
US9940515B2 (en) Image analysis for authenticating a product
JP6544900B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
US8160880B2 (en) Generalized object recognition for portable reading machine
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
JP6217886B1 (ja) 物体管理装置
CN110427972B (zh) 证件视频特征提取方法、装置、计算机设备和存储介质
EP3361413B1 (en) Method and apparatus of selecting candidate fingerprint image for fingerprint recognition
EP3203416A1 (en) Method computer program and system for facial recognition
Ouamane et al. A novel statistical and multiscale local binary feature for 2D and 3D face verification
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
WO2015068417A1 (ja) 画像照合システム、画像照合方法およびプログラム
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
JPWO2019171413A1 (ja) 画像照合装置
WO2015178001A1 (ja) 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体
JP6092012B2 (ja) 物体識別システムおよび物体識別方法
Wang An algorithm for ATM recognition of spliced money based on image features
JP2007179267A (ja) パターン照合装置
Yao et al. Fingerprint quality assessment with multiple segmentation
JP2019046184A (ja) 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム
Mercy et al. Efficient Palm Image Preprocessing for Person Identification and Security System Using Machine Learning Approaches
Guruprasad Handwritten Devanagari word recognition using robust invariant feature transforms
Sheena et al. Ordinal entropy-based novel personal identification using colour channels of visible-light iris image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6860081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150