JP7251689B2 - 個体識別システム - Google Patents

個体識別システム Download PDF

Info

Publication number
JP7251689B2
JP7251689B2 JP2022510320A JP2022510320A JP7251689B2 JP 7251689 B2 JP7251689 B2 JP 7251689B2 JP 2022510320 A JP2022510320 A JP 2022510320A JP 2022510320 A JP2022510320 A JP 2022510320A JP 7251689 B2 JP7251689 B2 JP 7251689B2
Authority
JP
Japan
Prior art keywords
image
registered
unit
matching
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022510320A
Other languages
English (en)
Other versions
JPWO2021192216A1 (ja
JPWO2021192216A5 (ja
Inventor
徹 高橋
賢吾 牧野
塁 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021192216A1 publication Critical patent/JPWO2021192216A1/ja
Publication of JPWO2021192216A5 publication Critical patent/JPWO2021192216A5/ja
Application granted granted Critical
Publication of JP7251689B2 publication Critical patent/JP7251689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Description

本発明は、個体識別システム、個体識別方法、および記録媒体に関する。
従来から、製品などに製品番号を付与し、製品の品質・流通管理などに利用されている。また、バーコード・ICタグ・RFIDを製品に付与し、製品のロットや個体を識別する方法が用いられている。しかしながら、たとえば微小な製品などの物体に対しては、個々の物体に印字を行い、あるいはICタグなどを付与することは、コストや技術面で困難であり、上記の方法を用いてロット・個体管理を行うのは難しかった。
これに対し近年では、製品などの物体の表面もしくは物体表面に付与された素材の表面のランダムパターンを画像で識別し、物体の個体識別や真贋判定を行う方法が提案されている。このようなランダムパターンによる個体識別や真贋判定に係る技術の一例が特許文献1に記載されている。
特許文献1に記載の技術では、登録対象物体の表面の複数の部分領域(照合領域として予め定められた領域)のそれぞれから取得したランダムパターン画像を登録対象物体の識別IDに関連付けて記憶装置に事前に記憶しておく。そして、照合対象物体が登録対象物体と同一か否かを判定する際、照合対象物体上の、登録時と同じ複数の部分領域のそれぞれからランダムパターン画像を取得し、それぞれの部分領域毎に、照合対象物体から取得したランダムパターン画像と記憶装置に記憶されている登録対象物体のランダムパターン画像とを比較し、全ての部分領域の比較結果を総合的に判断して、照合対象物が登録対象物と同一か否かを判定する。
特開2007-041643号公報 WO-A1-2019/123917
しかしながら、全ての部分領域におけるランダムパターン画像の比較結果を総合的に判断して照合対象物が登録対象物と同一か否かを判定する方法(以下、本発明に関連する個体識別方法と記す)では、照合対象物体が登録対象物体と同一か否かを判定する際、照合対象物体上の、登録時と同じ複数の部分領域の全てからランダムパターン画像を取得しなければならず、個体識別の利便性が低下する。
本発明の目的は、上述した課題を解決する個体識別システムを提供することにある。
本発明の一形態に係る個体識別システムは、
照合対象物体の所定領域の一部を撮影した照合画像を取得する取得手段と、
前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する判定手段と、
を備えるように構成されている。
本発明の他の形態に係る個体識別方法は、
照合対象物体の所定領域の一部を撮影した照合画像を取得し、
前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、
前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する、
ように構成されている。
本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
照合対象物体の所定領域の一部を撮影した照合画像を取得する処理と、
前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出する処理と、
前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する処理と、
を行わせるためのプログラムを記録するように構成されている。
本発明は、上述したような構成を有することにより、照合対象物体が登録対象物体と同一か否かを判定する個体識別システムの利便性を高めることができる。
本発明の第1の実施形態に係る個体識別装置のブロック図である。 本発明の第1の実施形態に係る個体識別装置の登録動作の一例を示すフローチャートである。 本発明の第1の実施形態に係る個体識別装置の照合動作の一例を示すフローチャートである。 本発明の第1の実施形態において登録対象とする直方体状の部品の外観と所定領域と登録画像の例を示す図である。 本発明の第1の実施形態において登録対象とする平板状の部品の外観と所定領域と登録画像の例を示す図である。 本発明の第1の実施形態において登録対象とする円柱状の部品の外観と所定領域と登録画像の例を示す図である。 本発明の第1の実施形態に係る個体識別装置における登録DBのフォーマットの例を示す図である。 本発明の第1の実施形態において照合対象とする直方体状の部品の外観と所定領域の一部と照合画像の例を示す図である。 本発明の第1の実施形態において照合対象とする平板状の部品の外観と所定領域の一部と照合画像の例を示す図である。 本発明の第1の実施形態において照合対象とする円柱状の部品の外観と所定領域の一部と照合画像の例を示す図である。 本発明の第1の実施形態に係る個体識別装置の照合部における判定部の一例を示すブロック図である。 照合画像の周波数特徴と登録画像の周波数特徴とを示す数式の例を示す図である。 振幅成分AF(k1,k2)およびAG(k1,k2)、位相成分θF(k1,k2)およびθG(k1,k2)のイメージの例を示す図である。 本発明の第1の実施形態に係る個体識別装置の照合部における判定部の周波数特徴合成部の一例を示すブロック図である。 正規化クロスパワースペクトルを算出する数式の例を示す図である。 位置ずれを伴う同一画像ペアの周波数特徴F(k1,k2)、周波数特徴G(k1,k2)、および正規化クロスパワースペクトルR(k1,k2)を示す数式の例を示す図である。 同一画像ペアの正規化クロスパワースペクトルR(k1,k2)のイメージの例を示す図である。 同一画像ペアの正規化クロスパワースペクトルを二値データに量子化したイメージの例を示す図である。 本発明の第1の実施形態に係る個体識別装置の照合部を構成する判定部における矩形波判定部の一例を示すブロック図である。 アダマール行列の説明図である。 アダマール行列を用いた直交変換を示す式を示す図である。 本発明の第1の実施形態に係る個体識別装置の照合部を構成する判定部における矩形波判定部の他の例を示すブロック図である。 本発明の第1の実施形態に係る個体識別装置の照合部を構成する判定部における矩形波判定部の更に別の例を示すブロック図である。 本発明の第2の実施形態に係る個体識別装置のブロック図である。 本発明の第2の実施形態に係る個体識別装置の登録動作の一例を示すフローチャートである。 本発明の第2の実施形態に係る個体識別装置の照合動作の一例を示すフローチャートである。 本発明の第2の実施形態において登録対象とする直方体状の部品の外観と所定領域と登録画像の例を示す図である。 本発明の第2の実施形態において登録対象とする平板状の部品の外観と所定領域と登録画像の例を示す図である。 本発明の第2の実施形態において登録対象とする円柱状の部品の外観と所定領域と登録画像の例を示す図である。 本発明の第2の実施形態において照合対象とする直方体状の部品の外観と所定領域の一部と照合画像の例を示す図である。 本発明の第2の実施形態において照合対象とする平板状の部品の外観と所定領域の一部と照合画像の例を示す図である。 本発明の第2の実施形態において照合対象とする円柱状の部品の外観と所定領域の一部と照合画像の例を示す図である。 本発明の第2の実施形態に係る個体識別システムのブロック図である。 本発明の他の実施形態における登録画像の例を示す図である。 本発明の他の実施形態における登録対象物体の所定領域の例を示す図である。
[第1の実施の形態]
図1は、本発明の第1の実施形態に係る個体識別装置100のブロック図である。図1に示す個体識別装置100は、製造工程管理、品質管理、出荷管理、販売管理などのために、大量生産される部品の個体を管理する情報処理装置である。
図1を参照すると、個体識別装置100は、カメラ110と、通信I/F部120と、操作入力部130と、画面表示部140と、記憶部150と、演算処理部160とから構成されている。
カメラ110は、個体識別の対象となる部品を撮影する撮影装置である。カメラ110は、例えば、数百万画素程度の画素容量を有するCCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary MOS)イメージセンサを備えた可視光かつカラーのエリアカメラであってよい。また、カメラ110は、例えば、1万画素/ラインの画素容量を有するラインセンサを備えた可視光かつカラーのラインカメラであってよい。
通信I/F部120は、データ通信回路から構成され、無線または有線によって外部装置との間でデータ通信を行うように構成されている。操作入力部130は、キーボードやマウスなどの装置から構成され、オペレータの操作を検出して演算処理部160に出力するように構成されている。画面表示部140は、LCD(Liquid Crystal Display)などの装置から構成され、演算処理部160からの指示に応じて、各種情報を画面表示するように構成されている。
記憶部150は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部160における各種処理に必要な処理情報およびプログラム151を記憶するように構成されている。プログラム151は、演算処理部160に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信I/F部120などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部150に保存される。記憶部150に記憶される主な処理情報には、登録DB(データベース)152がある。
登録DB152は、登録対象の部品をカメラ110によって撮影した画像から生成した部品個体固有の特徴量を個体番号に関連付けて保存するデータベースである。
演算処理部160は、MPUなどのプロセッサとその周辺回路を有し、記憶部150からプログラム151を読み込んで実行することにより、上記ハードウェアとプログラム151とを協働させて各種処理部を実現するように構成されている。演算処理部160で実現される主な処理部は、登録部161、および照合部162である。
登録部161は、登録対象の部品を撮影した画像から部品個体固有の特徴量を生成し、生成した特徴量を部品の個体番号に関連付けて登録DB152に登録するように構成されている。登録部161は、画像取得部1611と画像結合部1612と特徴量生成部1613とを有する。
画像取得部1611は、登録対象の部品毎に、部品の所定領域を必要に応じて複数回に分けて撮影した複数の画像をカメラ110から取得するように構成されている。
画像結合部1612は、登録対象の部品毎に、画像取得部1611によって取得された複数の画像を並べて1枚の画像とした登録画像を生成するように構成されている。
特徴量生成部1613は、登録対象の部品毎に、画像結合部1612によって生成された登録画像から画像中に存在するランダムパターンに依存する特徴量を登録特徴量として抽出するように構成されている。また、特徴量生成部1613は、登録対象の部品毎に、登録特徴量を部品の個体番号に関連付けて登録DB152に登録するように構成されている。
照合部162は、照合対象の部品の所定領域の少なくとも一部を撮影した画像に類似する部分画像が、登録対象の部品の所定領域を撮影した画像中に存在する程度を表すスコアを算出するように構成されている。画像間の類似度を求める方法には、画像どうしを直接比較する方法と、それぞれの画像から抽出した特徴量どうしを比較する方法とがある。本例では、照合部162は後者の方法を使用する。また、照合部162は、上記スコアに基づいて、照合対象の部品が登録対象の部品と同一か否かを判定するように構成されている。照合部162は、画像取得部1621と画像サイズ拡大部1622と特徴量生成部1623と判定部1624とを有する。
画像取得部1621は、照合対象の部品の所定領域の少なくとも一部を撮影した画像をカメラ110から取得するように構成されている。ここで、所定領域の少なくとも一部は、できるだけ多くの部品個体に関して、異なる部品を識別できる度合いである識別能力を確保するために必要なランダムパターンが得られる最低面積以上の面積(例えば、0.1mm2以上、好ましくは数mm2以上)の領域であることが望ましい。
画像サイズ拡大部1622は、画像取得部1621によって取得された画像のサイズが、登録画像のサイズよりも小さい場合、登録画像と同じサイズに拡大することにより、照合画像を生成するように構成されている。例えば、画像サイズ拡大部1622は、画像取得部1621によって取得された画像を、登録画像と同じサイズを有し全画素がゼロ値などの所定値を持つ1枚の背景画像に張り付けた合成画像を照合画像として生成するように構成されている。換言すれば、画像サイズ拡大部1622は、例えば、ゼロ値などの所定値を持つ画素を連結することによって画像取得部1621によって取得された画像のサイズを、登録画像と同じサイズに拡大した画像を生成するように構成されている。
特徴量生成部1623は、画像サイズ拡大部1622によって生成された照合画像から画像中に存在するランダムパターンに依存する特徴量を照合特徴量として抽出するように構成されている。
判定部1624は、特徴量生成部1623によって生成された照合特徴量に類似する部分特徴量が、登録DB152に保存されている登録特徴量に存在する程度を表すスコアを算出し、そのスコアに基づいて、照合対象部品が何れの登録対象部品と同一であるか否かを判定するように構成されている。また、判定部1624は、判定結果を画面表示部140に表示し、または/および、通信I/F部120を通じて外部の装置に出力するように構成されている。
続いて、個体識別装置100の動作を説明する。個体識別装置100の動作は、登録動作と照合動作の2つに大別される。図2は、個体識別装置100の登録動作の一例を示すフローチャートである。また、図3は、個体識別装置100の照合動作の一例を示すフローチャートである。
先ず、個体識別装置100の登録動作を説明する。登録動作では、図2に示されるように、画像取得部1611は、登録対象の部品毎に、部品の所定領域を必要に応じて複数回に分けて撮影した複数の画像をカメラ110から取得する(ステップS1)。次に、画像結合部1612は、登録対象の部品毎に、画像取得部1611によって取得された複数の画像を並べて1枚の画像とした登録画像を生成する(ステップS2)。次に、特徴量生成部1613は、登録対象の部品毎に、画像結合部1612によって生成された登録画像から画像中に存在するランダムパターンに依存する特徴量を登録特徴量として抽出し、登録特徴量を部品の個体番号に関連付けて登録DB152に保存する(ステップS3)。以上で登録動作が終了する。
次に、照合動作を説明する。照合動作では、図3に示されるように、先ず、画像取得部1621は、照合対象の部品の所定領域の少なくとも一部を撮影した画像をカメラ110から取得する(ステップS4)。次に、画像サイズ拡大部1622は、画像取得部1621によって取得された画像のサイズが登録画像のサイズよりも小さい場合、登録画像と同じサイズに拡大した照合画像を生成する(ステップS5)。画像サイズ拡大部1622は、画像取得部1621によって取得された画像のサイズが登録画像のサイズと同じであれば、取得された画像そのものを照合画像として生成する。次に、特徴量生成部1623は、照合画像から画像中に存在するランダムパターンに依存する特徴量を照合特徴量として抽出する(ステップS6)。
次に、判定部1624は、照合特徴量と全体に類似している登録特徴量だけでなく、部分的に類似している登録特徴量も登録DB152から検索することにより、照合対象部品が何れの登録対象部品と同一であるか否かを判定する。具体的には、判定部1624は、登録DB152に保存された登録対象部品の登録特徴量毎に、照合特徴量と登録特徴量とを比較して類似の程度を表すスコアを算出する(ステップS7)。次に、判定部1624は、その算出したスコアに基づいて、照合対象部品が何れの登録対象部品と同一であるか否かを判定する(ステップS8)。次に、判定部1624は、判定結果を画面表示部140に表示し、または/および、通信I/F部120を通じて外部の装置に出力する(ステップS9)。
続いて、登録部161、および照合部162をより詳細に説明する。
先ず、登録部161について詳細に説明する。
図4は、登録部161が登録対象とする部品の例を示す。この例の部品は、金属や合成樹脂などの素材で形成された直方体形状の部品200である。部品200の縦L、横W、高さHのサイズは任意である。例えば、L=8mm、W=12mm、H=6mmであってよい。部品200の表面は、紙面から観察して、上面、下面、手前側面、奥側面、右側面、および左側面の合計6面から構成される。図4では、部品の各面および各面の画像に細い矢印が記載されている。この矢印は、部品200の各面および各画像の向きを定めるための便宜上の記号であり、部品200の各面および各面の画像に実際に存在するわけではない。他の図面に記載された細い矢印も同様である。本例では、これら6面の全領域から部品個体固有のランダムパターンに依存する登録特徴量を抽出する。即ち、部品200の所定領域は、6面全体である。
登録部161の画像取得部1611は、登録作業を行うオペレータの操作に従って或いは登録部161の自律動作により、部品200の面毎に、その面を正面からカメラ110によって撮影することにより、図4に示すような、上面の撮影画像201、下面の撮影画像202、手前側面の撮影画像203、奥側面の撮影画像204、右側面の撮影画像205、および左側面の撮影画像206の合計6枚の撮影画像を取得する。例えば、画像取得部1611は、上面全体を所定の画素解像度で撮影した画像からエッジ検出などによって上面の画像領域だけを切り出すことによって、上面の撮影画像201を取得する。画像取得部1611は、上面の撮影画像201以外の画像も同様の方法で取得することができる。なお、複数のカメラ110を使用して、各面の画像を複数のカメラ110で撮影するようにしてもよい。ここで、これら6枚の撮影画像のサイズは任意であるが、一例として、図4に付記したような画像サイズになっているものとする。即ち、例えば、上面の撮影画像201は、縦:400画素、横:600画素である。
次に、画像結合部1612は、上記6枚の撮影画像を並べて、登録画像を生成する。直方体の6面のように隣接する面の境界を跨って照合画像が生成されることがない複数の面の撮影画像の場合、並べる順序や間隔などは任意である。但し、画像の向きは、同じ種類の部品の同じ撮影画像毎に決められた向きに統一する必要がある。また、複数の撮影画像は互いに重ならないようにする必要がある。例えば、画像結合部1612は、複数の撮影画像を、間隔を開けずに同じ向きに揃えて一列あるいは複数列に並べるようにしてもよいし、幅の広い撮影画像は同じ向きに揃えて一例に並べ、幅の狭い撮影画像は同じ向きに揃えて二列に並べるようにしてもよい。図4に示す登録画像207の例では、上面の撮影画像201と下面の撮影画像202と手前側面の撮影画像203と奥側面の撮影画像204とを互いに接するように矢印が紙面左を向く向きに一列に並べ、その一方の端に、二列に並べた右側面の撮影画像205と左側面の撮影画像206とを矢印が紙面上を向く向きに配列することにより、縦:600画素、横:1800画素の登録画像207が生成されている。
次に、特徴量生成部1613は、登録画像207から画像中に存在するランダムパターンに依存する特徴量を登録特徴量として抽出し、登録DB152に保存する。例えば、特徴量生成部1613は、以下のような方法を使用して登録特徴量を抽出してよい。
特徴量生成部1613は、先ず、登録画像207に対して周波数変換(例えば離散フーリエ変換)を施すことによって、周波数領域に変換した結果である振幅情報、および位相情報(それぞれ2次元配列データ)を算出する。即ち、特徴量生成部1613は、登録画像207に対して紙面横方向に1次元フーリエ変換を施し、次に紙面縦方向に1次元フーリエ変換を施して、振幅情報と位相情報を2次元配列データとして算出する。
次に、特徴量生成部1613は、上記振幅情報および位相情報の少なくとも一方から個体識別に有用な周波数帯域のみを抽出し、その抽出結果を登録特徴量とする。このように個体識別に有用な周波数帯域のみを登録特徴量とすることにより、登録特徴量のデータ量を削減することができる。但し、個体識別に有用な周波数帯域を抽出する前の振幅情報および位相情報のどちらか一方を登録特徴量としてもよい。
図5は、登録部161が登録対象とする部品の他の例を示す。この例の部品は、金属や樹脂などの素材で形成された平板状の部品210である。部品210の縦L、横Wのサイズは任意である。例えば、L=12mm、W=36mmであってよい。本例では、部品210の表面の全領域から部品個体固有のランダムパターンに依存する登録特徴量を抽出する。部品210の裏面および側面からは登録特徴量は抽出しない。即ち、部品210の所定領域は、表面の全領域である。
登録部161の画像取得部1611は、登録作業を行うオペレータの操作に従って或いは登録部161の自律動作により、カメラ110によって部品210の表面全体を撮影した1枚の撮影画像を取得する。例えば、カメラ110がエリアカメラであり、部品210の表面全体をカメラ視野に含めて撮影しても所定の画像解像度の表面画像が得られるならば、画像取得部1611は、1回の撮影により部品210の表面全体を撮影して1枚の撮影画像を取得する。また、部品210の表面全体をカメラ視野に含めた撮影では所定の画像解像度の表面画像が得られない場合、画像取得部1611は、部品210の表面全体を幾つかに分割し、個々の分割領域をカメラ110によって個別に撮影し、その複数の分割領域の撮影画像を繋いで部品210の表面全体を網羅する1枚の撮影画像を取得する。
図5には、左側の撮影画像211、中央の撮影画像212、および右側の撮影画像213の合計3枚の撮影画像を取得し、それら3枚の撮影画像を繋いで部品210の表面全体を網羅した1枚の画像を取得する例が示されている。ここで、これら3枚の撮影画像の画像サイズは任意であるが、ここでは、一例として、図5に付記したような画像サイズになっているものとする。即ち、左側、中央、および右側の撮影画像211~213は、何れも縦:600画素、横:600画素である。なお、画像取得部1611は、カメラ110がラインカメラの場合、部品210の表面全体を1枚の撮影画像として取得するようにしてもよい。
次に、画像結合部1612は、画像取得部1611によって取得された部品210の表面全体を撮影した1枚の画像から登録画像214を生成する。図5に示す例では、画像結合部1612は、画像取得部1611によって取得された部品210の表面全体を撮影した1枚の画像そのものを、登録画像214としている。その結果、縦:600画素、横:1800画素の登録画像214が生成されている。
次に、特徴量生成部1613は、前述した方法と同様の方法によって、登録画像214から画像中に存在するランダムパターンに依存する特徴量を登録特徴量として抽出し、登録DB152に保存する。
図6は、登録部161が登録対象とする部品の更に別の例を示す。この例の部品は、金属などの素材で形成された円柱状の部品220である。部品220の高さL、最大幅Wのサイズは任意である。例えば、L=5mm、W=7mmであってよい。部品220の表面は、上面、下面、および側面の合計3面から構成される。本例では、これら3面の全領域から部品個体固有のランダムパターンに依存する登録特徴量を抽出する。即ち、部品220の所定領域は、表面全体である。
登録部161の画像取得部1611は、登録作業を行うオペレータの操作に従って或いは登録部161の自律動作により、カメラ110がエリアカメラの場合、所定の画像解像度が得られるように、部品220の表面全体を複数回に分けてカメラ110によって撮影することにより、複数の撮影画像を取得する。図6に示す例では、上面の撮影画像221、側面の複数の撮影画像222-1~222-n、および下面の撮影画像223の合計n+2枚の撮影画像を取得している。例えば、画像取得部1611は、部品220の上面をその正面からカメラ110で撮影した画像から上面領域の画像領域だけを切り出すことによって、上面の撮影画像221を取得する。また、画像取得部1611は、下面の撮影画像223を上面の撮影画像221と同様の方法で取得する。また、画像取得部1611は、部品210の側面を全周に沿ってn個の部分領域に区分し、部分領域毎にその正面からカメラ110で撮影した画像から当該部分領域の画像領域だけを切り出すことによって、側面のそれぞれ異なる部分領域を撮影したn個の撮影画像222-1~222-nを取得する。分割数nは任意である。nの数が大きいほど、歪みの少ない部分領域の画像を得ることができる。ここで、上記n+2枚の撮影画像の画像サイズは任意であるが、ここでは、一例として、図6に付記したような画像サイズになっているものとする。即ち、上面および下面の撮影画像221、223の最大の幅は350画素である。また、n個の撮影画像222-1~222-nは、何れも縦:250画素、横:92画素である。
次に、画像取得部1611は、部品210の側面を撮影したn個の撮影画像222-1~222-nを繋げて部品220の側面全体を1周以上にわたって網羅する1枚の側面の撮影画像を取得する。
なお、画像取得部1611は、カメラ110がラインカメラの場合、部品220の側面全体を1周以上にわたって網羅する1枚の撮影画像をラインカメラから取得するようにしてもよい。
次に、画像結合部1612は、画像取得部1611によって取得された上面の撮影画像221、下面の撮影画像223、および側面全体を1周以上にわたって網羅する側面の撮影画像の合計3枚の撮影画像を並べて、登録画像を生成する。本例では、画像結合部1612は、予め用意された規定サイズの背景画像に上記3枚の撮影画像を互いに重ならないように張り付けることによって、既定サイズの登録画像を生成する。上記背景画像は、全画素の値が所定値である画像である。所定値としては、例えばゼロ値を使用してよい。或いは、ランダムパターンに影響を与えないのであれば、ゼロ値以外の一定値であってもよい。
円柱の上面、下面、側面のように隣接する面の境界を跨って照合画像が生成されることがない複数の面の撮影画像の場合、背景画像上に並べる順序や間隔などは任意である。但し、画像の向きは、同じ種類の部品の同じ撮影画像毎に決められた向きに統一する必要がある。また、複数の撮影画像は互いに重ならないようにする必要がある。図6に示す登録画像224の例では、背景画像の上側の領域にn個の撮影画像222-1~222-nを繋いで得られた側面全体を1周以上にわたって網羅する側面の撮影画像を矢印が紙面上を向く向きに張り付け、下側の領域に上面および下面の撮影画像221、223を矢印が紙面上を向く向きに張り付けている。図6において、登録画像224上のドットを付した領域は、何れの撮影画像も張り付けられていない、ゼロ値を有する画素の領域を示す。
円柱の側面などのように物体の全周を1枚の画像に展開した連続画像とした場合、展開画像の両端は元の物体上では連続しているにもかかわらず、展開画像上では分離されてしまう。即ち、図6の例では、撮影画像222-nの右辺と撮影画像222-1の左辺とは、元の部品220上では連続しているにもかかわらず、展開画像上では分離されてしまう。そのため、撮影画像222-nと撮影画像222-1とに跨るような照合画像に一致する部分画像を登録画像上から発見することが困難になる。そのため、図6の例では、撮影画像222-nの右辺に撮影画像222-1の左辺が接するように、撮影画像222-1~222-4のコピー画像222-1C~222-4Cを繋げることによって、連続画像の一方の端部を4つの撮影画像222-iの画像サイズである368画素だけ拡大している。なお、拡大するサイズは368画素以下であってもよいし、以上であってもよい。
次に、特徴量生成部1613は、前述した方法と同様の方法によって、登録画像224から画像中に存在するランダムパターンに依存する特徴量を登録特徴量として抽出し、登録DB152に保存する。
図7は、登録DB152のフォーマットの例を示す。この例では、登録DB152は、登録対象部品に1対1に対応する複数のエントリから構成され、それぞれのエントリは、部品番号、登録特徴量、および、登録画像サイズの各項目から構成されている。部品番号の項目には、登録対象部品に割り振られた通番などの部品番号が設定される。登録特徴量の項目には、登録特徴量を記録したファイルの名前が設定される。ファイルの実体は、記憶部150の他の領域あるいは図示しないクラウドストレージなどに保存されている。登録画像サイズの項目には、登録特徴量の抽出元の登録画像のサイズが設定される。図7の例では、登録対象の部品毎に、部品番号と登録特徴量と登録画像のサイズとを保存している。しかし、全ての部品の登録画像サイズが予め定めた規定値に統一するように構成されている場合、個々の部品毎に登録画像サイズを保存する必要はなく、規定値のみを保存しておけばよい。
登録DB152のフォーマットは上記に限定されない。例えば、登録DB152のそれぞれのエントリは、上述した部品番号、登録特徴量、および、登録画像サイズの各項目以外にその他の項目が設けられていてよい。例えば、その他の項目として、製品の種類、ロット番号、製造年月日、製品検査結果データなどが考えられる。
続いて、照合部162について詳細に説明する。
図8は、照合部162が照合対象とする部品の例を示す。この例の部品300は、図4に示した登録対象の部品200と同じ種類の部品である。
照合部162の画像取得部1621は、照合作業を行うオペレータの操作に従って或いは照合部162の自律動作により、例えば部品300の右側面をその正面からカメラ110によって撮影することにより、図8に示すような、部品300の右側面を所定の向きで撮影した撮影画像301を取得する。例えば、画像取得部1621は、右側面全体を所定の向き且つ所定の画素解像度で撮影した画像からエッジ検出などによって右側面の画像領域だけを切り出すことによって、撮影画像301を取得する。ここで、撮影画像301の画像サイズは任意であるが、ここでは、一例として、縦:300画素、横:400画素であったとする。
次に、画像サイズ拡大部1622は、撮影画像301の画像サイズが、登録画像サイズよりも小さいか否かを判定する。ここでは、登録画像サイズは、部品個体の相違にかかわらず一定であり、そのサイズは、縦:600画素、横:1800画素であるとする。この場合、画像サイズ拡大部1622は、上記の登録画像サイズを有し、全画素がゼロ値などの所定値を持つ1枚の背景画像に、撮影画像301を張り付けた画像を照合画像として生成する。撮影画像301を張り付ける場所は任意である。しかし、撮影画像301を張り付ける向きは、登録画像のときと同じにする必要がある。図8の例では、背景画像のほぼ中央部分に撮影画像301を矢印が紙面上を向く向きに張り付けた照合画像302が生成されている。
次に、特徴量生成部1623は、照合画像302から画像中に存在するランダムパターンに依存する特徴量を照合特徴量として抽出する。特徴量生成部1623が照合画像302から照合特徴量を抽出する方法は、特徴量生成部1613が登録画像207から登録特徴量を抽出する方法と同じである。
次に、判定部1624は、登録DB152に保存されている登録特徴量毎に、照合特徴量と登録特徴量とを比較することにより、照合特徴量と登録特徴量間の類似性を表すスコアを算出する。判定部1624が2つの特徴量を比較して類似性を表すスコアを算出する方法の詳細については後述する。
次に、判定部1624は、登録DB152に保存されている登録特徴量毎に算出した上記スコアのうち、最大のスコアが予め設定された判定閾値を超えていれば、その最大のスコアとなった登録特徴量に関連付けて登録DB152に保存されている部品番号で特定される登録対象部品と部品300とが同じ個体であると判定する。また、上記最大のスコアが判定閾値を超えていなければ、部品300と同一の個体の部品は登録DB152に存在しないと判定する。
上記説明では、画像取得部1621は、部品300の右側面全体の撮影画像301を取得した。しかし、画像取得部1621が、部品300の右側面の一部や、右側面以外の面、すなわち、上面、下面、手前側面、奥側面、および左側面の何れかの面の全体あるいは一部の撮影画像を取得する場合にも、右側面全体の撮影画像301を取得したときと同様の動作が照合部162で行われることにより、部品300が登録DB152に保存された何れの登録対象の部品200と同一個体であるか否かを判定することができる。その理由は、登録対象の部品200については、6面のそれぞれの面毎に、その撮影画像から抽出された部品個体固有の登録特徴量が登録DB152に事前に登録されているためである。
図9は、照合部162が照合対象とする部品の別の例を示す。この例の部品310は、図5に示した登録対象の部品210と同じ種類の部品である。
照合部162の画像取得部1621は、照合作業を行うオペレータの操作に従って或いは照合部162の自律動作により、例えば部品310の上面の中央部分をその正面からカメラ110によって撮影することにより、図9に示すような撮影画像311を取得したとする。ここで、撮影画像311の画像サイズは任意であるが、ここでは、一例として、縦:300画素、横:600画素であったとする。
次に、画像サイズ拡大部1622は、撮影画像311の画像サイズが、登録画像サイズよりも小さいか否かを判定する。ここでは、登録画像サイズは、部品個体の相違にかかわらず一定であり、そのサイズは、縦:600画素、横:1800画素であるとする。この場合、画像サイズ拡大部1622は、上記の登録画像サイズを有し、全画素がゼロ値などの所定値を持つ1枚の背景画像に、撮影画像311を張り付けた画像を照合画像として生成する。撮影画像311を張り付ける場所は任意である。しかし、撮影画像311を張り付ける向きは、登録画像のときと同じにする必要がある。図9の例では、背景画像の中央部分に撮影画像311を矢印が紙面上を向く向きに張り付けた照合画像312が生成されている。
次に、特徴量生成部1623は、図8の照合画像302から照合特徴量を抽出した方法と同様の方法により、照合画像312から画像中に存在するランダムパターンに依存する特徴量を照合特徴量として抽出する。
次に、判定部1624は、図8の部品300において説明した方法と同様の方法により、登録DB152に保存されている登録特徴量毎に、照合特徴量と登録特徴量とを比較することにより、照合特徴量と登録特徴量間の類似性を表すスコアを算出する。そして、判定部1624は、登録特徴量毎に算出したスコアに基づいて、部品310が登録DB152に保存されている何れの部品と同一個体か否かを判定し、結果を出力する。
上記説明では、画像取得部1621は、部品310の上面の中央部分の一部を、撮影画像311として取得した。しかし、画像取得部1621が、照合作業を行うオペレータの操作によって、部品310の上面の中央部分以外の領域、例えば、上面の左側や右側などの領域の撮影画像を取得する場合にも、上面の中央部分の撮影画像311を取得したときと同様の動作が照合部162で行われることにより、部品310が登録DB152に保存された何れの登録対象の部品210と同一個体であるか否かを判定することができる。その理由は、登録対象の部品210については、上面の全領域の撮影画像から抽出された部品個体固有の登録特徴量が登録DB152に事前に登録されているためである。一方、画像取得部1621によって部品310の下面の画像や側面の画像が取得された場合、部品310の個体識別は行えない。その理由は、登録対象の部品210については、下面および側面の特徴量が登録DB152に事前に登録されていないためである。そのため、登録対象部品210が、その照合時に下面や側面が撮影される可能性がある場合には、下面や側面の特徴量を登録DB152に登録しておいてよい。
図10は、照合部162が照合対象とする部品の更に別の例を示す。この例の部品320は、図6に示した登録対象の部品220と同じ種類の部品である。
照合部162の画像取得部1621は、照合作業を行うオペレータの操作に従って或いは照合部162の自律動作により、例えば部品320の側面の一部をカメラ110によって撮影することにより、図10に示すような撮影画像321を取得したとする。ここで、撮影画像321の画像サイズは任意であるが、ここでは、一例として、縦:250画素、横:368画素であったとする。
次に、画像サイズ拡大部1622は、撮影画像321の画像サイズが、登録画像サイズよりも小さいか否かを判定する。ここでは、登録画像サイズは、部品個体の相違にかかわらず一定であり、そのサイズは、縦:600画素、横:1800画素であるとする。この場合、画像サイズ拡大部1622は、上記の登録画像サイズを有し、全画素がゼロ値などの所定値を持つ1枚の背景画像に、撮影画像321を張り付けた画像を照合画像として生成する。撮影画像321を張り付ける場所は任意である。しかし、撮影画像321を張り付ける向きは、登録画像のときと同じにする必要がある。図10の例では、背景画像の中央部分に撮影画像321を矢印が紙面上を向く向きに張り付けた照合画像322が生成されている。
次に、特徴量生成部1623は、図8の照合画像302から照合特徴量を抽出した方法と同様の方法により、照合画像322から画像中に存在するランダムパターンに依存する特徴量を照合特徴量として抽出する。
次に、判定部1624は、図8の部品300において説明した方法と同様の方法により、登録DB152に保存されている登録特徴量毎に、照合特徴量と登録特徴量とを比較することにより、照合特徴量と登録特徴量間の類似性を表すスコアを算出する。そして、判定部1624は、登録特徴量毎に算出したスコアに基づいて、部品320が登録DB152に保存されている何れの部品と同一個体か否かを判定し、結果を出力する。
上記説明では、画像取得部1621は、部品320の側面の一部を、撮影画像321として取得した。しかし、画像取得部1621が、部品320の側面の上記以外の部分や、部品320の上面、および下面の撮影画像を取得する場合にも、撮影画像321を取得したときと同様の動作が照合部162で行われることにより、部品320が登録DB152に保存された何れの登録対象の部品220と同一個体であるか否かを判定することができる。その理由は、登録対象の部品220については、側面と上面と下面の全領域の撮影画像から抽出された部品個体固有の登録特徴量が登録DB152に事前に登録されているためである。
続いて、判定部1624の詳細について説明する。
図11は、判定部1624の一例を示すブロック図である。この例の判定部1624は、周波数特徴合成部16241と矩形波判定部16242と情報提示部16243とから構成されている。
周波数特徴合成部16241は、登録DB152に登録された登録特徴量毎に、照合特徴量と登録特徴量との正規化クロスパワースペクトルを算出するように構成されている。さらに、周波数特徴合成部16241は、算出した正規化クロスパワースペクトルを量子化し、各要素の値を二値、もしくは三値のデータに変換するように構成されている。
矩形波判定部16242は、周波数特徴合成部16241から得た量子化クロスパワースペクトル毎に、量子化クロスパワースペクトルが、単一の周期を持つ矩形波である程度を示すスコアを算出するように構成されている。さらに、矩形波判定部16242は、算出したスコアに基づいて、照合画像と登録画像との照合を行うように構成されている。例えば、矩形波判定部16242は、複数の登録画像に対応する複数の量子化クロスパワースペクトルについて算出した複数のスコアのうちの最良のスコアが所定の基準値を満たす場合、照合画像と上記最良のスコアとなった登録画像とは少なくとも部分的に一致する(同一の部分画像が存在する)旨の照合結果を導出する。他方、矩形波判定部16242は、上記最良のスコアが所定の基準値を満たさない場合、照合画像と部分的に一致する登録画像は登録DB152に存在しない旨の照合結果を導出する。
情報提示部16243は、矩形波判定部16242から得た照合結果を提示するように構成されている。
続いて、周波数特徴合成部16241および矩形波判定部16242の詳細を説明する前に、照合画像および登録画像を周波数変換して生成された照合特徴量および登録特徴量について説明する。
今、照合画像および登録画像を、N1×N2ピクセルの2つの画像f(n1,n2)および画像g(n1,n2)とする。また、2次元画像信号の離散空間インデックス(整数)を、n1=-M1,…,M1およびn2=-M2,…,M2とする。ただし、M1およびM2は正の整数であり、N1=2M1+1およびN2=2M2+1である。そうすると、画像f(n1,n2)を2次元離散フーリエ変換して得られる第1の周波数特徴F(k1,k2)、および画像g(n1,n2)を2次元離散フーリエ変換して得られる第2の周波数特徴G(k1,k2)は、図12に示す式1、式2で与えられる。ここで、第1の周波数特徴F(k1,k2)が照合特徴量に相当し、第2の周波数特徴G(k1,k2)が登録特徴量に相当する。式1、式2において、k1=-M1,…,M1およびk2=-M2,…,M2は離散周波数インデックス(整数)である。また、WN1およびWN2は回転因子であり、図12に示す式3、式4で与えられる。また、AF(k1,k2)およびAG(k1,k2)は振幅スペクトル(振幅成分)、θF(k1,k2)およびθG(k1,k2)は位相スペクトル(位相成分)をそれぞれ表す。また、Σn1,n2は、図12の式5に示すようにインデックス全域にわたる加算を表す。
図13は、振幅成分AF(k1,k2)およびAG(k1,k2)、位相成分θF(k1,k2)およびθG(k1,k2)のイメージの例を示す。
次に、周波数特徴合成部16241について詳細に説明する。
図14は、周波数特徴合成部16241の一例を示すブロック図である。この例の周波数特徴合成部16241は、合成部162411と、量子化部162412とで構成される。
合成部162411は、第1の周波数特徴F(k1,k2)と第2の周波数特徴G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)を、図15に示す式6により算出する。式6において、オーバーラインG(k1,k2)は第2の周波数特徴G(k1,k2)の複素共役である。また、θF(k1,k2)-θG(k1,k2)は第1の周波数特徴と第2の周波数特徴の位相差スペクトルである。式6に示されるように、周波数特徴合成部16241は、第1の周波数特徴F(k1,k2)と、第2の周波数特徴G(k1,k2)の複素共役の要素ごとの積である、クロスパワースペクトルを求め、さらにその絶対値で正規化することにより、正規化クロスパワースペクトルを算出する。
ところで、画像f(n1,n2)と画像g(n1,n2)が位置ずれを伴う同一画像ペアの場合、それらの周波数特徴F(k1,k2)、周波数特徴G(k1,k2)、ならびにその2つの正規化クロスパワースペクトルR(k1,k2)は、図16に示す式7、式8、式9で与えられる。ここで、δ1、δ2は画像f(n1,n2)と画像g(n1,n2)間の位置ずれ量である。即ち、画像g(n1,n2)は画像f(n1,n2)を(δ1,δ2)だけ平行移動させた画像である。式9に示されるように、照合を行う2つの周波数特徴F(k1,k2)、G(k1,k2)が同一画像ペアの場合、その正規化クロスパワースペクトルR(k1,k2)は、次元ごと(k1,k2ごと)に単一の周期を持つ複素正弦波として表現される。これに対して、照合を行う2つの周波数特徴F(k1,k2)、G(k1,k2)が同一画像ペアでない場合、その正規化クロスパワースペクトルR(k1,k2)は、次元ごとに単一の周期を持つ複素正弦波にはならない。また、照合を行う2つの画像ペアが、周波数領域上の特定帯域に該当する要素において相関を持つ場合、周波数特徴F(k1,k2)、G(k1,k2)の正規化クロスパワースペクトルR(k1,k2)は、単一の周期を持つ複素正弦波が部分的に出現するパターンになる。
図17は、同一画像ペアの正規化クロスパワースペクトルR(k1,k2)のイメージの例を示す。このように同一画像ペアの正規化クロスパワースペクトルは、明るい箇所を山、暗い箇所を谷に見立てると、単一の周期を持つ波のようなイメージである。また、照合を行う2つの画像ペアが、周波数領域上の特定帯域に該当する要素において相関を持つ場合、部分的に一致する画像ペアの正規化クロスパワースペクトルでは、波のようなイメージが全体でなく部分的に出現する。
量子化部162412は、合成部162411で得られた正規化クロスパワースペクトルの各要素を二値または三値のデータに量子化する。このような量子化を行う方法は任意である。例えば、以下のような量子化方法を使用してよい。
量子化部162412は、合成部162411で得られた正規化クロスパワースペクトルの各要素の値(実部および虚部から構成される)を、各要素の実部および虚部のうち予め定められた側を二値あるいは三値に量子化した値で置き換える。例えば、ある要素Uの値をA+Bjとする。ここで、A、Bは実数であり、jは虚数単位である。要素Uを二値に量子化する場合、量子化部162412は、例えばA≧0ならば、A+Bjを「+1」に変換し、A<0ならば、A+Bjを「-1」に変換する。この例では、実部の実数Aの符号に基づいて二値に量子化したが、虚部の実数Bの符号に基づいて二値に量子化してもよい。また、要素Uを三値に量子化する場合、量子化部162412は、例えばA>0ならば、A+Bjを「+1」に変換し、A=0ならば、A+Bjを「0」に変換し、A<0ならば、A+Bjを「-1」に変換する。この例では、実部の実数Aの符号に基づいて二値に量子化したが、虚部の実数Bの符号に基づいて二値に量子化してもよい。以上のような量子化方法によれば、量子化部162412は、合成部162411で得られた正規化クロスパワースペクトルの各要素を、1ビットあるいは2ビットのデータとして表現する。
量子化部162412が正規化クロスパワースペクトルの各要素を二値または三値のデータに量子化する理由は、以下の通りである。
通常、正規化クロスパワースペクトルR(k1,k2)の各要素の実部および虚部は実数値(浮動小数)として計算され、各要素を表現するためには多くのビットを要する(例えば、倍精度浮動小数では64bit、単精度浮動小数では32bitのデータ)。画像間の位置ずれ量を正確に求める画像間の位置合わせの用途においては、正規化クロスパワースペクトルを複素正弦波として誤差を極力抑えて求め、その複素正弦波の周期を精度よく求めることが重要となる。一方、本発明の実施形態のように、二つの画像が同一か否かを判定する用途では、正規化クロスパワースペクトルを複素正弦波として正確に算出する必要はない。すなわち、正規化クロスパワースペクトルが繰り返しのある周期的なデータとして分布しているかどうかが重要である。正規化クロスパワースペクトルの各要素を二値、あるいは三値のデータに量子化し、各要素の情報量を落としても、得られるデータの分布が周期的な繰り返し模様として分布しているかどうかは判別可能である。このため、情報を落としても照合や識別の精度が極端に悪化することはない。これを踏まえ、本実施形態では、量子化部162412によって、合成部162411で得られた正規化クロスパワースペクトルの各要素を二値、あるいは三値のデータに量子化する。
図18は、同一画像ペアの正規化クロスパワースペクトルR(k1,k2)を二値データに量子化したイメージの例を示す。このように、同一画像ペアの正規化クロスパワースペクトルを二値に量子化したデータにおいても、明るい箇所を山、暗い箇所を谷に見立てた単一の周期を持つ波のパターンが保持できる。したがって、従来、32bitもしくは64bitで表現された実数データである正規化クロスパワースペクトルを、二値(1bit)もしくは三値(2bit)に量子化しそのデータ量を削減しても、入力された画像間の相関有無を、精度を落とすことなく判別することができる。すなわち、相関を持つ同一画像ペアと、無相関の異なる画像ペアとの判別を、少ないデータ量で精度を損なうことなく実現できる。
次に、矩形波判定部16242について詳細に説明する。前述したように、矩形波判定部16242は、周波数特徴合成部16241が算出した、要素が二値、または三値に量子化された正規化クロスパワースペクトルに対して、単一周期を持つ矩形波であるかの度合いを数値化し、スコアとして出力する。
<矩形波判定部16242の例1>
図19は、矩形波判定部16242の一例を示すブロック図である。この例の矩形波判定部16242は、例えば、アダマール行列を用いた直交変換を行う直交変換部162421で構成される。アダマール行列は、「+1」「-1」を成分とし、各行が互いに直交である正方行列である。アダマール行列Hmをm×m行列として、m=2P(Pは正の整数)の場合を考えると、アダマール行列Hmは図20の式10、式11として定義される。
直交変換部162421は、二値、または三値に量子化された正規化クロスパワースペクトルに対してアダマール行列を用いた直交変換を行い、その出力の最大値をスコアとして出力するように構成されている。量子化された正規化クロスパワースペクトルが単一の周期を有する矩形波である場合、直交変換部162421の出力には上記周期に鋭いピーク値が出現する。他方、量子化された正規化クロスパワースペクトルが単一の周期を有する矩形波でない場合、直交変換部162421の出力には鋭いピーク値は出現しない。そのため、直交変換部162421の出力の最大値は、量子化された正規化クロスパワースペクトルが単一の周期を有する矩形波である程度を表すスコアとすることができる。直交変換部162421は、算出したスコアに基づいて画像の照合を行う。
直交変換部162421が行うアダマール行列を用いた直交変換は、図21の式12で記述される。式12において、HNはアダマール行列、XはN×Nの入力信号(量子化クロスパワースペクトル)、YはN×Nの出力信号(スコア)である。式12の演算は、二値(「+1」「-1」)に量子化された正規化クロスパワースペクトルの場合、排他的論理和(XOR)といった論理演算とビットカウント、ならびに加減算の組み合わせによって実行することができるため、高速に処理が可能である。また、式12の演算は、三値(「+1」「0」「-1」)に量子化された正規化クロスパワースペクトルの場合、「0」の値を持つ要素については演算を行わず、「+1」「-1」の要素に対して排他的論理和(XOR)といった論理演算とビットカウント、ならびに加減算の組み合わせによって実行することができるため、高速に処理が可能である。
<矩形波判定部16242の例2>
図22は、矩形波判定部16242の他の例を示すブロック図である。この例の矩形波判定部16242は、循環シフト処理部162422と類似度算出部162423とから構成されている。
循環シフト処理部162422は、各要素が二値、または三値に量子化された正規化クロスパワースペクトル(以下、循環シフト前データと記す)を入力し、キャリーなしローテート操作などによって要素を循環シフトした量子化クロスパワースペクトル(以下、循環シフト後データと記す)を出力するように構成されている。また、循環シフト処理部162422は、循環シフト量を様々に変更することによって、循環シフト量の異なる複数の循環シフト後データを出力するように構成されている。
類似度算出部162423は、循環シフト前データと循環シフト量の異なる複数の循環シフト後データとを入力し、循環シフト前データと複数の循環シフト後データとの複数の類似度を計算するように構成されている。また、類似度算出部162423は、計算した複数の類似度のうちの最大の類似度をスコアとして出力するように構成されている。類似度算出部162423は、算出したスコアに基づいて画像の照合を行う。
循環シフト前データが単一の周期を持つ矩形波である場合、循環シフト処理部162422によって循環シフト前データを循環シフトさせると、循環シフト前データと同じ単一の周期を持つ矩形波が循環シフト後データとして周期的に現れる。一方、循環シフト前データが単一の周期を持つ矩形波でない場合、循環シフト処理部162422によって循環シフト前データを様々なシフト量に循環シフトさせても、循環シフト前データと同じパターンの循環シフト後データは現れない。したがって、循環シフト前データと循環シフト後データとの類似度計算を、循環シフト量を変えながら繰り返し、その類似度の最大値をスコアとすることで、量子化クロスパワースペクトルが単一の周期を有する矩形波である程度を表すスコアを算出することができる。
上述した循環シフト処理部162422は、ビットシフト演算で実装できる。また、上述した類似度算出部162423は、循環シフト前後のデータ間のハミング距離を算出する排他的論理和(XOR)およびビットカウント演算で実装できる。そのため、実数データに対する自己相関演算より高速な計算が可能である。
<矩形波判定部16242の例3>
図23は、矩形波判定部16242の更に別の例を示すブロック図である。この例の矩形波判定部16242は、矩形波パターン記憶部162424と類似度算出部162425とから構成されている。
矩形波パターン記憶部162424は、複数の基準矩形波パターンを記憶するように構成されている。或る1つの基準矩形波パターンは、位置ずれ量が或る値である同一画像ペアの正規化クロスパワースペクトルの各要素を二値または三値に量子化した量子化クロスパワースペクトルである。矩形波パターン記憶部162424に記憶されている複数の基準矩形波パターンは、互いに上記位置ずれ量が相違している。
類似度算出部162425は、周波数特徴合成部16241から、各要素が二値、または三値に量子化された正規化クロスパワースペクトル(以下、照合矩形波パターンと記す)を入力するように構成されている。また、類似度算出部162425は、矩形波パターン記憶部162424から複数の基準矩形波パターンを入力するように構成されている。また、類似度算出部162425は、入力した照合矩形波パターンと複数の基準矩形波パターンとの複数の類似度を計算し、複数の類似度のうちの最大の類似度をスコアとして出力するように構成されている。照合矩形波パターンおよび基準矩形波パターンとの類似度は、例えばハミング距離計算によって行うことができる。類似度算出部162425は、算出したスコアに基づいて画像の照合を行う。
同一個体ペア、すなわち入力した二つの画像に相関がある場合、その正規化クロスパワースペクトルは単一周期を持つ矩形波のパターンとなり、その周期は二つの画像間の位置ずれ量に対応する。したがって、撮影時の位置ずれ量について、その繰り返し誤差の範囲を求めることで、相関がある場合に生じる矩形波のパターンを類推することができる。これらパターンを事前に基準矩形波パターンとして矩形波パターン記憶部162424に記憶しておき、類似度算出部162425によって、照合矩形波パターンとのハミング距離計算を行い、その距離に基づき、照合矩形波パターンが単一周期を有する矩形波である程度を表すスコアを算出し判別する。
上述した判定部1624によれば、照合画像と登録画像との照合を高速に行うことができる。その理由は、照合画像の周波数特徴と登録画像の周波数特徴との正規化クロスパワースペクトルを量子化し、この量子化したクロスパワースペクトルが単一周期の矩形波である程度を表すスコアを算出し、そのスコアに基づいて照合画像と登録画像との照合を行うためである。すなわち、判定部1624では、量子化部162412によって、合成部162411で得られた正規化クロスパワースペクトルの各要素を二値、あるいは三値のデータに量子化するため、正規化クロスパワースペクトルを量子化しないでその正規化クロスパワースペクトルが単一周期を有する複素正弦波かどうかを判定する方法と比較して、矩形波判定部16242で処理するデータ量を、大幅に削減することができる。
上記説明では、周波数特徴合成部16241は、照合画像の周波数特徴と登録画像の周波数特徴との正規化クロスパワースペクトルの各要素を二値、あるいは三値のデータに量子化することによって、量子化クロスパワースペクトルを算出した。しかし、照合画像の周波数特徴と登録画像の周波数特徴とのクロスパワースペクトルを計算後、振幅成分で正規化することなく、クロスパワースペクトルの各要素の符号(+,-)から「+1,-1」あるいは「+1,0,-1」に変換しても、上記と同様の量子化クロスパワースペクトルを算出することができる。従って、周波数特徴合成部16241は、照合画像の周波数特徴と登録画像の周波数特徴とのクロスパワースペクトルを計算後、各要素の実部,虚部の少なくともどちらか一方の符号(+,-)に基づき、二値もしくは三値に量子化するように構成されていてもよい。
このように本実施形態によれば、照合対象の部品が登録対象の部品と同一か否かを判定する個体識別装置の利便性を高めることができる。その理由は、照合部162は、照合対象の部品の所定領域の一部を撮影した照合画像に類似する部分画像が、登録対象の部品の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、そのスコアに基づいて、照合対象の部品が登録対象の部品と同一か否かを判定するためである。すなわち、照合の際、部品の所定領域の全領域を撮影する必要がなく、所定領域の一部を撮影すればよいためである。
また、本実施形態によれば、異なる部品を識別できる度合いである識別能力が低下するのを防止することができる。その理由は、照合対象の部品の特定領域の一部の領域は、できるだけ多くの部品個体に関して、異なる部品を識別できる度合いである識別能力を確保するために必要なランダムパターンが得られる最低面積以上の面積の領域としているためである。
また、本実施形態によれば、本発明に関連する個体識別方法と比較して、照合対象の部品が登録対象の部品と同一か否かを高速に判定することができる。その理由は、以下の通りである。
本発明に関連する個体識別方法では、例えば図8に示される直方体状の部品300の照合では、上面、下面、手前側面、奥側面、左側面、右側面の合計6面の撮影画像を取得し、登録DB152に保存された登録対象の部品毎に、同じ面の撮影画像どうしを比較しなければならない。しかしながら、照合対象の部品300の各面と登録対象の部品200の各面とを正確に1対1に関連付けることができないことがある。例えば、直方体形状の部品の上面と下面とは同形状かつ同サイズであり、区別がつかない。そのため、照合時には、以下に例示するように、照合対象の部品300から取得した面の撮影画像毎に、その面の撮影画像を登録対象部品の1つの面でなく、複数の面と比較しなければならないことがある。その結果、比較する画面サイズが増大し、比較処理に要する時間が増大することになる。
(1)部品300の上面の撮影画像(600画素×400画素)と部品200の上面の撮影画像(600画素×400画素)との比較
(2)部品300の上面の撮影画像(600画素×400画素)と部品200の下面の撮影画像(600画素×400画素)との比較
(3)部品300の下面の撮影画像(600画素×400画素)と部品200の上面の撮影画像(600画素×400画素)との比較
(4)部品300の下面の撮影画像(600画素×400画素)と部品200の下面の撮影画像(600画素×400画素)との比較
(5)部品300の手前側面の撮影画像(600画素×300画素)と部品200の手前側面の撮影画像(600画素×300画素)との比較
(6)部品300の手前側面の撮影画像(600画素×300画素)と部品200の奥側面の撮影画像(600画素×300画素)との比較
(7)部品300の奥側面の撮影画像(600画素×300画素)と部品200の手前側面の撮影画像(600画素×300画素)との比較
(8)部品300の奥側面の撮影画像(600画素×300画素)と部品200の奥側面の撮影画像(600画素×300画素)との比較
(9)部品300の左側面の撮影画像(400画素×300画素)と部品200の左側面の撮影画像(400画素×300画素)との比較
(10)部品300の左側面の撮影画像(400画素×300画素)と部品200の右側面の撮影画像(400画素×300画素)との比較
(11)部品300の右側面の撮影画像(400画素×300画素)と部品200の左側面の撮影画像(400画素×300画素)との比較
(12)部品300の右側面の撮影画像(400画素×300画素)と部品200の右側面の撮影画像(400画素×300画素)との比較
これに対して、本実施形態によれば、例えば図8に示される直方体状の部品300の照合では、以下の比較を行うだけでよい。
(1)部品300の照合画像(1800画素×600画素)と部品200の登録画像(1800画素×600画素)との比較
すなわち、本実施形態では、登録対象の部品の異なる複数の面から取得した撮影画像を並べて1枚の画像とした登録画像から抽出した登録特徴量と上記複数の面の何れか1つの面から取得した画像を拡大した照合画像から抽出した登録特徴量とを周波数合成して算出したクロスパワースペクトルに基づいて、照合対象の部品が登録対象の部品と同一か否かを判定する。このように、登録対象の部品を撮影した撮影画像の枚数にかかわらず、1枚の登録画像と1枚の照合画像とを照合することにより、登録対象の部品を撮影した複数枚の撮影画像それぞれについて、照合画像と照合することを複数回繰り返す方法に比べて、オーバーヘッドを低減することができる。ここで、登録対象の部品の異なる複数の面から取得した撮影画像を並べて1枚の登録画像にしても照合に何らの支障が生じない理由は、部品個体の表面に存在するランダムパターンは、文字通りランダムなパターンであり、同一のものを故意に作り出すことが極めて困難なためである。即ち、部品の互いに異なる領域の画像を任意に配列し、また、画像間にゼロ値などの所定値を挟み込んでも、他の個体の表面に存在するランダムパターンと同一のランダムパターンが作り出されてしまうことがないためである。
続いて、本実施形態の変形例について説明する。
上記説明では、登録部161は、登録対象の部品毎に、その部品の所定領域を撮影した画像から抽出した特徴量を登録DB152に保存した。しかし、登録部161は、特徴量を登録DB152に保存する代わりに、特徴量の抽出元の登録画像を登録DB152に保存するように構成されていてよい。その場合、特徴量生成部1613は省略してよい。また、照合部162の判定部1624は、特徴量生成部1623によって生成された照合特徴量と比較する登録特徴量を、登録DB152に保存された登録画像から特徴量生成部1623を使用して照合時に生成するように構成されていてよい。
上記説明では、照合部162の判定部1624は、照合画像から抽出した特徴量と登録画像から抽出した特徴量とを比較することにより、照合画像に類似する部分画像が登録画像中に存在する程度を表すスコアを算出した。しかし、照合部162の判定部1624は、照合画像と登録画像とをテンプレートマッチングなどの手法を用いて比較することにより、照合画像に類似する部分画像が登録画像中に存在する程度を表すスコアを算出するように構成されていてよい。
上記説明では、1台の個体識別装置100が、登録部161、および照合部162を備えていた。しかし、登録部161を備え、照合部162を備えない個体識別装置や、照合部162を備え、登録部161を備えない個体識別装置があってもよい。
[第2の実施の形態]
図24は、本発明の第2の実施形態に係る個体識別装置400のブロック図である。図24を参照すると、個体識別装置400は、カメラ410と、通信I/F部420と、操作入力部430と、画面表示部440と、記憶部450と、演算処理部460とから構成されている。そのうち、カメラ410と通信I/F部420と操作入力部430と画面表示部440とは、図1の個体識別装置100のカメラ110と通信I/F部120と操作入力部130と画面表示部140と同様に構成されている。
記憶部450は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部460における各種処理に必要な処理情報およびプログラム451を記憶するように構成されている。プログラム451は、演算処理部460に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信I/F部420などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部450に保存される。記憶部450に記憶される主な処理情報には、登録DB(データベース)452がある。
登録DB452は、登録対象の部品をカメラ410によって撮影した画像から生成した部品個体固有の登録画像を個体番号に関連付けて保存するデータベースである。
演算処理部460は、MPUなどのプロセッサとその周辺回路を有し、記憶部450からプログラム451を読み込んで実行することにより、上記ハードウェアとプログラム451とを協働させて各種処理部を実現するように構成されている。演算処理部460で実現される主な処理部は、登録部461、および照合部462である。
登録部461は、登録対象の部品を撮影した画像から部品個体固有の特徴量を生成し、生成した特徴量を部品の個体番号に関連付けて登録DB452に登録するように構成されている。登録部461は、画像取得部4611と特徴量生成部4612と画像結合部4613とを有する。そのうち、画像取得部4611は、図1の画像取得部1611と同様に構成されている。即ち、画像取得部4611は、登録対象の部品毎に、部品の所定領域を必要に応じて複数回に分けて撮影した複数の画像をカメラ410から取得するように構成されている。
特徴量生成部4612は、登録対象の部品毎に、画像取得部4611によって生成された撮影画像から画像中に存在するランダムパターンに依存する特徴量を抽出するように構成されている。具体的には、特徴量生成部4612は、撮影画像毎に、その撮影画像に対してフーリエ・メリン変換を施して得られるフーリエ・メリン特徴画像を特徴量として取得する。例えば、特徴量生成部4612は、撮影画像に対して周波数変換(例えば離散フーリエ変換)を施すことによって、周波数領域に変換した結果の2次元振幅スペクトルを算出する。次に、特徴量生成部4612は、上記2次元振幅スペクトルに対して極座標変換あるいは対数極座標変換を施して、フーリエ・メリン特徴画像を算出する。元の撮影画像の倍率、回転の変化は、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
画像結合部4613は、登録対象の部品毎に、特徴量生成部4612によって生成された撮影画像毎のフーリエ・メリン特徴画像を並べて1枚の画像とした登録画像を生成するように構成されている。また、画像結合部4613は、登録対象の部品毎に、登録画像を部品の個体番号に関連付けて登録DB452に登録するように構成されている。
照合部462は、照合対象の部品の所定領域の少なくとも一部を撮影した画像に類似する部分画像が、登録対象の部品の所定領域を撮影した画像中に存在する程度を表すスコアを算出するように構成されている。また、照合部462は、上記スコアに基づいて、照合対象の部品が登録対象の部品と同一か否かを判定するように構成されている。照合部462は、画像取得部4621と特徴量生成部4622と画像サイズ拡大部4623と判定部4624とを有する。
画像取得部4621は、照合対象の部品の所定領域の少なくとも一部を撮影した画像をカメラ410から取得するように構成されている。ここで、所定領域の少なくとも一部は、できるだけ多くの部品個体に関して、異なる部品を識別できる度合いである識別能力を確保するために必要なランダムパターンが得られる最低面積以上の面積の領域であることが望ましい。
特徴量生成部4622は、画像取得部4621によって取得された撮影画像から画像中に存在するランダムパターンに依存する特徴量を抽出するように構成されている。具体的には、特徴量生成部4622は、撮影画像に対してフーリエ・メリン変換を施すことによってフーリエ・メリンと特徴画像を生成するように構成されている。
画像サイズ拡大部4622は、特徴量生成部4622によって生成されたフーリエ・メリン特徴画像のサイズが、登録画像のサイズよりも小さい場合、登録画像と同じサイズに拡大することにより、照合画像を生成するように構成されている。例えば、画像サイズ拡大部4622は、特徴量生成部4622によって生成されたフーリエ・メリン特徴画像を、登録画像と同じサイズを有し全画素がゼロ値などの所定値を持つ1枚の背景画像に張り付けた合成画像を照合画像として生成するように構成されている。換言すれば、画像サイズ拡大部4622は、例えば、ゼロ値などの所定値を持つ画素を連結することによって特徴量生成部4622によって生成されたフーリエ・メリン特徴画像のサイズを、登録画像と同じサイズに拡大した画像を生成するように構成されている。
判定部4624は、登録DB452に保存されている登録画像毎に、画像サイズ拡大部4623によって生成された照合画像と登録画像間の類似する程度を表すスコアを算出し、そのスコアに基づいて、照合対象部品が何れの登録対象部品と同一であるか否かを判定するように構成されている。判定部4624は、図1の判定部1624と同様な方法で上記スコアを算出してよい。あるいは、判定部4624は、照合画像と登録画像とを合成してクロスパワースペクトルを算出し、そのクロスパワースペクトルが単一の周期を持つ波である程度を表すスコアを、照合画像と登録画像間の類似性を表すスコアとして算出してよい(例えば、特許文献2参照)。あるいは、判定部4624は、上記クロスパワースペクトルに対して逆フーリエ変換を施すことにより相関値マップを算出し、相関値マップにおける最大値ピークの有無およびピークの鋭さの評価値を算出し、最終的に照合画像と登録画像間の類似性を表すスコアを算出してもよい。また、判定部4624は、判定結果を画面表示部440に表示し、または/および、通信I/F部420を通じて外部の装置に出力するように構成されている。
続いて、個体識別装置400の動作を説明する。個体識別装置400の動作は、登録動作と照合動作の2つに大別される。図25は、個体識別装置400の登録動作の一例を示すフローチャートである。また、図26は、個体識別装置400の照合動作の一例を示すフローチャートである。
先ず、個体識別装置400の登録動作を説明する。登録動作では、図25に示されるように、画像取得部4611は、登録対象の部品毎に、部品の所定領域を必要に応じて複数回に分けて撮影した複数の画像をカメラ410から取得する(ステップS11)。次に、特徴量生成部4612は、登録対象の部品毎に、画像取得部4611によって生成された撮影画像から画像中に存在するランダムパターンに依存するフーリエ・メリン特徴画像を算出する(ステップS12)。次に、画像結合部4613は、登録対象の部品毎に、特徴量生成部4612によって生成された撮影画像毎のフーリエ・メリン特徴画像を並べて1枚の画像とした登録画像を生成し、部品の個体番号に関連付けて登録DB452に保存する(ステップS13)。以上で登録動作が終了する。
次に、照合動作を説明する。照合動作では、図26に示されるように、先ず、画像取得部4621は、照合対象の部品の所定領域の少なくとも一部を撮影した画像をカメラ410から取得する(ステップS14)。次に、特徴量生成部4622は、画像取得部4621によって取得された撮影画像からフーリエ・メリン特徴画像を生成する(ステップS15)。次に、画像サイズ拡大部4622は、特徴量生成部4622によって生成されたフーリエ・メリン特徴画像を登録画像と同じサイズに拡大して照合画像を生成する(ステップS16)。次に、判定部4624は、登録DB452に保存されている登録画像毎に、画像サイズ拡大部4623によって生成された照合画像と登録画像間の類似する程度を表すスコアを算出する(ステップS17)。次に、判定部4624は、上記スコアに基づいて、照合対象部品が何れの登録対象部品と同一であるか否かを判定する(ステップS18)。次に、判定部4624は、判定結果を出力する(ステップS19)。
続いて、登録部461、および照合部462をより詳細に説明する。
先ず、登録部461について詳細に説明する。
図27は、登録部461が登録対象とする部品400の例を示す。この例の部品400は、図4に示した部品200と同じ部品である。本例では、部品400の6面の全領域から部品個体固有のランダムパターンに依存するフーリエ・メリン特徴画像を抽出する。即ち、部品400の所定領域は、6面全体である。
登録部461の画像取得部4611は、登録作業を行うオペレータの操作に従って或いは登録部461の自律動作により、部品400の面毎に、その面を正面からカメラ410によって撮影することにより、各面の撮影画像を取得する。次に、特徴量生成部4612は、各面の撮影画像から各面のフーリエ・メリン特徴画像を生成する。即ち、特徴量生成部4612は、図27に示すように、上面の撮影画像のフーリエ・メリン特徴画像501、下面の撮影画像のフーリエ・メリン特徴画像502、手前側面の撮影画像のフーリエ・メリン特徴画像503、奥側面の撮影画像のフーリエ・メリン特徴画像504、左側面の撮影画像のフーリエ・メリン特徴画像505、および、右側面の撮影画像のフーリエ・メリン特徴画像506を生成する。図27では、フーリエ・メリン特徴画像に太い矢印が記載されている。この太い矢印は、フーリエ・メリン特徴画像の向きを定めるための便宜上の記号である。図28などの他の図面における太い矢印も同様である。
次に、画像結合部4613は、上記6枚のフーリエ・メリン特徴画像を並べて、登録画像を生成し、登録DB152に保存する。直方体の6面のように隣接する面の境界を跨って照合画像が生成されることがない複数の面の撮影画像のフーリエ・メリン特徴画像の場合、並べる順序や間隔などは任意である。但し、フーリエ・メリン特徴画像の向きは、同じ種類の部品の同じ撮影画像毎に決められた向きに統一する必要がある。また、複数のフーリエ・メリン特徴画像は互いに重ならないようにする必要がある。図27に示す登録画像207の例では、フーリエ・メリン特徴画像501、502、503、504を互いに接し且つ矢印が紙面左を向く向きに一列に並べ、その一方の端に、二列に並べたフーリエ・メリン特徴画像505、506を矢印が紙面上を向く向きに配列することにより、登録画像507が生成されている。
図28は、登録部461が登録対象とする部品の他の例を示す。この例の部品510は、図5に示した部品210と同じ部品である。本例では、部品510の表面の全領域から部品個体固有のランダムパターンに依存するフーリエ・メリン特徴画像を抽出する。即ち、部品510の所定領域は、表面全体である。
登録部461の画像取得部4611は、登録作業を行うオペレータの操作に従って或いは登録部461の自律動作により、カメラ410によって部品510の表面全体を撮影した1枚の撮影画像511を取得する。次に、特徴量生成部4613は、前述した方法と同様の方法によって、撮影画像511からフーリエ・メリン特徴画像を生成する。次に、画像結合部4613は、特徴量生成部4613によって生成されたフーリエ・メリン特徴画像が1枚だけなので、例えば、フーリエ・メリン特徴画像そのものを登録画像512とし、登録DB452に保存する。
図29は、登録部461が登録対象とする部品の更に別の例を示す。この例の部品520は、図6の部品220と同じ部品である。部品520の表面は、上面、下面、および側面の合計3面から構成される。本例では、これら3面の全領域からフーリエ・メリン特徴画像を抽出する。即ち、部品520の所定領域は、表面全体である。
登録部461の画像取得部4611は、登録作業を行うオペレータの操作に従って或いは登録部461の自律動作により、カメラ410によって部品520の上面の撮影画像521、側面全体を1周以上にわたって網羅する側面の撮影画像522、下面の撮影画像523の合計3枚の撮影画像を取得する。次に、特徴量生成部4613は、前述した方法と同様の方法によって、撮影画像521、522、523のそれぞれからフーリエ・メリン特徴画像524、525、526を生成する。
次に、画像結合部4612は、上記3枚のフーリエ・メリン特徴画像524~526を並べて1枚にした登録画像527を生成する。本例では、画像結合部4612は、予め用意された規定サイズの背景画像に上記3枚のフーリエ・メリン特徴画像を互いに重ならないように張り付けることによって、既定サイズの登録画像を生成する。上記背景画像は、全画素の値が所定値である画像である。所定値としては、例えばゼロ値を使用してよい。或いは、ランダムパターンに影響を与えないのであれば、ゼロ値以外の一定値であってもよい。図29に示す登録画像527の例では、背景画像の上側に側面のフーリエ・メリン特徴画像527を張り付け、下側の領域に上面および下面のフーリエ・メリン特徴画像524、526を張り付けている。図29において、登録画像527上のドットを付した領域は、何れの撮影画像も張り付けられていない、ゼロ値を有する画素の領域を示す。
3枚のフーリエ・メリン特徴画像524~526を背景画像上に並べる順序や間隔は任意である。但し、フーリエ・メリン特徴画像の向きは、同じ種類の部品の同じ撮影画像毎に決められた向きに統一する必要がある。また、複数のフーリエ・メリン特徴画像は互いに重ならないようにする必要がある。
続いて、照合部462について詳細に説明する。
図30は、照合部462が照合対象とする部品の例を示す。この例の部品600は、図27に示した登録対象の部品500と同じ種類の部品である。
照合部462の画像取得部4621は、照合作業を行うオペレータの操作に従って或いは照合部462の自律動作により、例えば部品600の右側面をその正面から任意の向きでカメラ410によって撮影することにより、図30に示すような、部品600の右側面を任意の向きで撮影した撮影画像601を取得する。次に、特徴量生成部4622は、撮影画像601からフーリエ・メリン特徴画像602を生成する。
次に、画像サイズ拡大部4623は、フーリエ・メリン特徴画像602が登録画像のサイズと同じになるように拡大して、照合画像603を生成する。この例では、画像サイズ拡大部4622は、登録画像サイズと同じサイズを有し、全画素がゼロ値などの所定値を持つ1枚の背景画像に、フーリエ・メリン特徴画像602を張り付けた画像を照合画像603として生成する。フーリエ・メリン特徴画像602を張り付ける場所は任意である。しかし、フーリエ・メリン特徴画像602を張り付ける向きは、登録画像のときと同じにする必要がある。図30の例では、背景画像のほぼ中央部分にフーリエ・メリン特徴画像602を太い矢印が紙面上を向く向きに張り付けている。
次に、判定部4624は、判定部1624と同様な方法により、登録DB452に保存されている登録画像毎に、照合画像と登録画像とを比較することにより、照合画像と登録画像間の類似性を表すスコアを算出する。次に、判定部4624は、登録DB452に保存されている登録画像毎に算出した上記スコアのうち、最大のスコア(相互相関が最大)が予め設定された判定閾値を超えていれば、その最大のスコアとなった登録画像に関連付けて登録DB452に保存されている部品番号で特定される登録対象部品と部品600とが同じ個体であると判定する。また、上記最大のスコアが判定閾値を超えていなければ、部品600と同一の個体の部品は登録DB152に存在しないと判定する。
上記説明では、画像取得部4621は、部品600の右側面全体の撮影画像601を取得した。しかし、画像取得部4621が、部品600の右側面の一部や、右側面以外の面、すなわち、上面、下面、手前側面、奥側面、および左側面の何れかの面の全体あるいは一部の撮影画像を取得する場合にも、右側面全体の撮影画像601を取得したときと同様の動作が照合部462で行われることにより、部品600が登録DB452に保存された何れの登録対象の部品500と同一個体であるか否かを判定することができる。その理由は、登録対象の部品500については、6面のそれぞれの面の撮影画像から抽出されたフーリエ・メリン特徴画像を並べて1枚の画像として登録画像が登録DB452に事前に登録されているためである。
図31は、照合部462が照合対象とする部品の別の例を示す。この例の部品610は、図28に示した登録対象の部品510と同じ種類の部品である。
照合部462の画像取得部4621は、照合作業を行うオペレータの操作に従って或いは照合部462の自律動作により、例えば部品610の上面の中央部分をその正面から任意の向きでカメラ410によって撮影することにより、図31に示すような撮影画像611を取得したとする。次に、特徴量生成部4622は、撮影画像611からフーリエ・メリン特徴画像612を生成する。
次に、画像サイズ拡大部4623は、フーリエ・メリン特徴画像612が登録画像のサイズと同じになるように拡大して、照合画像613を生成する。この例では、画像サイズ拡大部4622は、登録画像サイズと同じサイズを有し、全画素がゼロ値などの所定値を持つ1枚の背景画像に、フーリエ・メリン特徴画像612を張り付けた画像を照合画像613として生成している。フーリエ・メリン特徴画像612を張り付ける場所は任意である。しかし、フーリエ・メリン特徴画像612を張り付ける向きは、登録画像のときと同じにする必要がある。図31の例では、背景画像の中央部分にフーリエ・メリン特徴画像612を太い矢印が紙面上を向く向きに張り付けている。
次に、判定部4624は、登録DB452に保存されている登録画像毎に、照合画像と登録画像とを比較することにより、照合画像と登録画像間の類似性を表すスコアを算出する。そして、判定部4624は、登録画像毎に算出したスコアに基づいて、部品610が登録DB452に保存されている何れの部品と同一個体か否かを判定し、結果を出力する。
上記説明では、画像取得部4621は、部品610の上面の中央部分の一部を、撮影画像611として取得した。しかし、画像取得部4621が、照合作業を行うオペレータの操作によって、部品610の上面の中央部分以外の領域、例えば、上面の左側や右側などの領域の撮影画像を取得する場合にも、上面の中央部分の撮影画像611を取得したときと同様の動作が照合部462で行われることにより、部品610が登録DB452に保存された何れの登録対象の部品510と同一個体であるか否かを判定することができる。
図32は、照合部462が照合対象とする部品の更に別の例を示す。この例の部品620は、図29に示した登録対象の部品520と同じ種類の部品である。
照合部462の画像取得部4621は、照合作業を行うオペレータの操作に従って或いは照合部462の自律動作により、例えば部品620の側面の一部をカメラ410によって任意の向きで撮影することにより、図32に示すような撮影画像621を取得したとする。次に、特徴量生成部4622は、撮影画像621からフーリエ・メリン特徴画像622を生成する。
次に、画像サイズ拡大部4622は、フーリエ・メリン特徴画像622が登録画像と同じサイズになるように拡大して、照合画像623を生成する。この例では、画像サイズ拡大部4622は、登録画像サイズと同じサイズを有し、全画素がゼロ値などの所定値を持つ1枚の背景画像に、フーリエ・メリン特徴画像622を張り付けた画像を照合画像623として生成している。フーリエ・メリン特徴画像622を張り付ける場所は任意である。しかし、フーリエ・メリン特徴画像622を張り付ける向きは、登録画像のときと同じにする必要がある。図32の例では、背景画像の中央部分にフーリエ・メリン特徴画像622を太い矢印が紙面上を向く向きに張り付けている。
次に、判定部4624は、登録DB452に保存されている登録画像毎に、照合画像623と登録画像とを比較することにより、照合画像623と登録画像間の類似性を表すスコアを算出する。そして、判定部4624は、登録画像毎に算出したスコアに基づいて、部品620が登録DB452に保存されている何れの部品と同一個体か否かを判定し、結果を出力する。
上記説明では、画像取得部4621は、部品620の側面の一部を、撮影画像621として取得した。しかし、画像取得部4621が、部品620の側面の上記以外の部分や、部品620の上面、および下面の撮影画像を取得する場合にも、撮影画像621を取得したときと同様の動作が照合部462で行われることにより、部品620が登録DB452に保存された何れの登録対象の部品520と同一個体であるか否かを判定することができる。
このように本実施形態によれば、第1の実施形態と同様の効果が得られると共に、以下のような効果を得ることができる。即ち、本実施形態では、登録対象の部品の撮影画像から生成したフーリエ・メリン特徴画像と照合対象の部品の撮影画像から生成したフーリエ・メリン特徴画像とを比較して、照合対象の部品と登録対象の部品の同一性を判定するため、平行移動、回転、スケール変動に頑健な個体識別を行うことできる。
[第3の実施の形態]
次に、本発明の第3の実施の形態について、図33を参照して説明する。図33は、本実施の形態に係る個体識別システムのブロック図である。
図33を参照すると、本実施形態に係る個体識別システム1は、取得手段2と判定手段3とを含んで構成されている。
取得手段2は、照合対象物体の所定領域の一部を撮影した照合画像を取得するように構成されている。取得手段2は、例えば、図1の画像取得部1621あるいは図24の画像取得部4621と同様に構成することができるが、それに限定されない。
判定手段3は、取得手段2によって取得された照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出するように構成されている。また、判定手段3は、上記スコアに基づいて、照合対象物体が登録対象物体と同一か否かを判定するように構成されている。判定手段3は、例えば、図1の判定部1624あるいは図24の判定部4624と同様に構成することができるが、それに限定されない。
このように構成された個体識別システム1は、以下のように動作する。即ち、先ず、取得手段2は、照合対象物体の所定領域の一部を撮影した照合画像を取得する。次に、判定手段3は、取得手段2によって取得された照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、そのスコアに基づいて、照合対象物体が登録対象物体と同一か否かを判定するように構成されている。
以上のように構成され、動作する個体識別システム1によれば、照合対象物体が登録対象物体と同一か否かを判定する個体識別システムの利便性を高めることができる。その理由は、照合対象物体の所定領域の一部を撮影した照合画像を取得する取得手段2と、取得手段2によって取得された照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、そのスコアに基づいて、照合対象物体が登録対象物体と同一か否かを判定する判定手段3とを備えており、照合の際、部品の所定領域の全領域を撮影する必要がなく、所定領域の一部を撮影すればよいためである。
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、以下のような形態も本発明に含まれる。
例えば、登録対象物体の面の撮影画像を並べて1枚の登録画像を作成する際、同じ撮影画像を、向きを変えて複数並べるようにしてもよい。例えば、図4に示した直方体状の部品200の場合、上面の撮影画像201、下面の撮影画像202、手前側面の撮影画像203、奥側面の撮影画像204、左側面の撮影画像205、右側面の撮影画像206のうちの少なくとも1つの撮影画像を、図34に例示するように、互いに向きが異なるように複数個並べるようにしてもよい。こうすることにより、第1の実施形態でも、第2の実施形態と同様に、画像の向きに頑健な個体識別が可能になる。
また、登録対象物体の所定領域は、登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域の集合としてよい。例えば、図35に示すように、平板状の部品210の表面上の互いに異なる位置に設けられると共に、予め定められた形状(例えば矩形)で、予め定められたサイズを有する複数の部分領域215~218を所定領域としてもよい。この場合、第1の実施形態では、部分領域215~218それぞれの撮影画像を並べた1枚の画像が登録画像となる。また、第2の実施形態では、部分領域215~218それぞれの撮影画像のフーリエ・メリン特徴画像を並べた1枚の画像が登録画像となる。
本発明は、2つの画像の照合を行う分野に利用でき、特に、製品の表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。また、製造物に限らず、人の指紋等に代表される生物の表面微細パターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、個人を認証する、あるいは生物の個体識別や管理を行う分野に利用できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
照合対象物体の所定領域の一部を撮影した照合画像を取得する取得手段と、
前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する判定手段と、
を備える個体識別システム。
[付記2]
前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を並べて1枚の画像にした合成画像である、
付記1に記載の個体識別システム。
[付記3]
前記複数の画像は、各画素の値が所定値を持つ背景画像に張り付けられている、
付記2に記載の個体識別システム。
[付記4]
前記複数の面を撮影した複数の画像のうちの少なくとも1つの画像は、前記登録対象物体の全周を1周以上にわたって網羅する画像である、
付記2または3に記載の個体識別システム。
[付記5]
前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を取得し、前記取得した複数の画像から前記登録画像を生成する生成手段を、さらに備える、
付記2乃至4の何れかに記載の個体識別システム。
[付記6]
前記判定手段は、前記登録画像と同じサイズになるように前記照合画像を拡張し、前記拡張後の前記照合画像の周波数特徴と前記登録画像の周波数特徴とを合成した合成周波数特徴に基づいて、前記スコアを算出するように構成されている、
付記1乃至5の何れかに記載の個体識別システム。
[付記7]
前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、フーリエ・メリン変換して得られた複数のフーリエ・メリン特徴画像を並べて1枚の画像にした合成画像である、
付記1に記載の個体識別システム。
[付記8]
前記複数のフーリエ・メリン特徴画像は、各画素の値が所定値を持つ背景画像に張り付けられている、
付記7に記載の個体識別システム。
[付記9]
前記複数の面を撮影した複数の画像のうちの少なくとも1つの画像は、前記登録対象物体の全周を1周以上にわたって網羅する画像である、
付記7または8に記載の個体識別システム。
[付記10]
前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を取得し、前記取得した複数の画像をフーリエ・メリン変換して複数のフーリエ・メリン特徴画像を生成し、前記生成した複数のフーリエ・メリン特徴画像から前記登録画像を生成する生成手段を、さらに備える、
付記7乃至9の何れかに記載の個体識別システム。
[付記11]
前記判定手段は、前記照合画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像が前記登録画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像と同じサイズになるように拡張し、前記拡張後の前記照合画像のフーリエ・メリン特徴画像と前記登録画像のフーリエ・メリン特徴画像とを比較した結果に基づいて、前記スコアを算出するように構成されている、
付記1、7、8、9、または10に記載の個体識別システム。
[付記12]
照合対象物体の所定領域の一部を撮影した照合画像を取得し、
前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、
前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する、
個体識別方法。
[付記13]
前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を並べて1枚の画像にした合成画像である、
付記12に記載の個体識別方法。
[付記14]
前記複数の画像は、各画素の値が所定値を持つ背景画像に張り付けられている、
付記12に記載の個体識別方法。
[付記15]
前記複数の面を撮影した複数の画像のうちの少なくとも1つの画像は、前記登録対象物体の全周を1周以上にわたって網羅する画像である、
付記14に記載の個体識別方法。
[付記16]
更に、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像から前記登録画像を生成する、
付記12乃至15の何れかに記載の個体識別方法。
[付記17]
前記スコアの算出では、前記登録画像と同じサイズになるように前記照合画像を拡張し、前記拡張後の前記照合画像の周波数特徴と前記登録画像の周波数特徴とを合成した合成周波数特徴に基づいて、前記スコアを算出する、
付記12乃至16の何れかに記載の個体識別方法。
[付記18]
前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、フーリエ・メリン変換して得られた複数のフーリエ・メリン特徴画像を並べて1枚の画像にした合成画像である、
付記12に記載の個体識別方法。
[付記19]
前記複数のフーリエ・メリン特徴画像は、各画素の値が所定値を持つ背景画像に張り付けられている、
付記12に記載の個体識別方法。
[付記20]
前記複数の面を撮影した複数の画像のうちの少なくとも1つの画像は、前記登録対象物体の全周を1周以上にわたって網羅する画像である、
付記18または19に記載の個体識別方法。
[付記21]
更に、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を取得し、前記取得した複数の画像をフーリエ・メリン変換して複数のフーリエ・メリン特徴画像を生成し、前記生成した複数のフーリエ・メリン特徴画像から前記登録画像を生成する、
付記18乃至20の何れかに記載の個体識別方法。
[付記22]
前記スコアの算出では、前記照合画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像が前記登録画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像と同じサイズになるように拡張し、前記拡張後の前記照合画像のフーリエ・メリン特徴画像と前記登録画像のフーリエ・メリン特徴画像とを比較した結果に基づいて、前記スコアを算出する、
付記12、18、19、20、または21に記載の個体識別方法。
[付記23]
コンピュータに、
照合対象物体の所定領域の一部を撮影した照合画像を取得する処理と、
前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出する処理と、
前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
100…個体識別装置
110…カメラ
120…通信I/F部
130…操作入力部
140…画面表示部
150…記憶部
151…プログラム
152…登録DB
160…演算処理部
161…登録部
1611…画像取得部
1612…画像結合部
1613…特徴量生成部
162…照合部
1621…画像取得部
1622…画像サイズ拡大部
1623…特徴量生成部
1624…判定部

Claims (8)

  1. 照合対象物体の所定領域の一部を撮影した照合画像を取得する取得手段と、
    前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する判定手段と、
    を備え、
    前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、各画素の値が一定値を持つ背景画像に張り付けることにより生成された1枚の合成画像であり、
    前記判定手段は、前記登録画像と同じサイズになるように前記照合画像を拡張し、前記拡張後の前記照合画像の周波数特徴と前記登録画像の周波数特徴とを合成した合成周波数特徴に基づいて、前記スコアを算出するように構成されている、
    個体識別システム。
  2. 照合対象物体の所定領域の一部を撮影した照合画像を取得する取得手段と、
    前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する判定手段と、
    を備え、
    前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、フーリエ・メリン変換して得られた複数のフーリエ・メリン特徴画像を、各画素の値が一定値を持つ背景画像に張り付けることにより生成された1枚の合成画像であり、
    前記判定手段は、前記照合画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像が前記合成画像と同じサイズになるように拡張し、前記拡張後の前記照合画像のフーリエ・メリン特徴画像と前記合成画像とを比較した結果に基づいて、前記スコアを算出するように構成されている、
    個体識別システム。
  3. 前記複数の面を撮影した複数の画像のうちの少なくとも1つの画像は、前記登録対象物体の全周を1周以上にわたって網羅する画像である、
    請求項1または2に記載の個体識別システム。
  4. 照合対象物体の所定領域の一部を撮影した照合画像を取得し、
    前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、
    前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定し、
    前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、各画素の値が一定値を持つ背景画像に張り付けることにより生成された1枚の合成画像であり、
    前記算出では、前記登録画像と同じサイズになるように前記照合画像を拡張し、前記拡張後の前記照合画像の周波数特徴と前記登録画像の周波数特徴とを合成した合成周波数特徴に基づいて、前記スコアを算出する、
    個体識別方法。
  5. 照合対象物体の所定領域の一部を撮影した照合画像を取得し、
    前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出し、
    前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定し、
    前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、フーリエ・メリン変換して得られた複数のフーリエ・メリン特徴画像を、各画素の値が一定値を持つ背景画像に張り付けることにより生成された1枚の合成画像であり、
    前記算出では、前記照合画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像が前記合成画像と同じサイズになるように拡張し、前記拡張後の前記照合画像のフーリエ・メリン特徴画像と前記合成画像とを比較した結果に基づいて、前記スコアを算出する、
    請求項4に記載の個体識別方法。
  6. 前記複数の面を撮影した複数の画像のうちの少なくとも1つの画像は、前記登録対象物体の全周を1周以上にわたって網羅する画像である、
    請求項4または5に記載の個体識別方法。
  7. コンピュータに、
    照合対象物体の所定領域の一部を撮影した照合画像を取得する処理と、
    前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出する処理と、
    前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する処理と、
    を行わせるためのプログラムであって、
    前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、各画素の値が一定値を持つ背景画像に張り付けることにより生成された1枚の合成画像であり、
    前記算出では、前記登録画像と同じサイズになるように前記照合画像を拡張し、前記拡張後の前記照合画像の周波数特徴と前記登録画像の周波数特徴とを合成した合成周波数特徴に基づいて、前記スコアを算出するように構成されている、
    プログラム。
  8. コンピュータに、
    照合対象物体の所定領域の一部を撮影した照合画像を取得する処理と、
    前記照合画像に類似する部分画像が、登録対象物体の所定領域を撮影した登録画像中に存在する程度を表すスコアを算出する処理と、
    前記スコアに基づいて、前記照合対象物体が前記登録対象物体と同一か否かを判定する処理と、
    を行わせるためのプログラムであって、
    前記登録画像は、前記登録対象物体の互いに相違する複数の面を撮影した複数の画像、または、前記登録対象物体の同一の面上の互いに空間的に離れた場所に存在する複数の部分領域を撮影した複数の画像を、フーリエ・メリン変換して得られた複数のフーリエ・メリン特徴画像を、各画素の値が一定値を持つ背景画像に張り付けることにより生成された1枚の合成画像であり、
    前記判定では、前記照合画像をフーリエ・メリン変換して得られたフーリエ・メリン特徴画像が前記合成画像と同じサイズになるように拡張し、前記拡張後の前記照合画像のフーリエ・メリン特徴画像と前記合成画像とを比較した結果に基づいて、前記スコアを算出するように構成されている、
    プログラム。
JP2022510320A 2020-03-27 2020-03-27 個体識別システム Active JP7251689B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013992 WO2021192216A1 (ja) 2020-03-27 2020-03-27 個体識別システム

Publications (3)

Publication Number Publication Date
JPWO2021192216A1 JPWO2021192216A1 (ja) 2021-09-30
JPWO2021192216A5 JPWO2021192216A5 (ja) 2022-05-19
JP7251689B2 true JP7251689B2 (ja) 2023-04-04

Family

ID=77889964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510320A Active JP7251689B2 (ja) 2020-03-27 2020-03-27 個体識別システム

Country Status (4)

Country Link
US (1) US20220335617A1 (ja)
EP (1) EP4024334A4 (ja)
JP (1) JP7251689B2 (ja)
WO (1) WO2021192216A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4024847A4 (en) * 2020-10-23 2022-09-28 NEC Corporation INDIVIDUAL IDENTIFICATION DEVICE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置
JP2017010322A (ja) 2015-06-23 2017-01-12 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
JP2020047151A (ja) 2018-09-21 2020-03-26 富士ゼロックス株式会社 画像形成装置、検査対象物照合装置、検査対象物照合システム、検査対象物照合方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3254622B2 (ja) * 1996-08-08 2002-02-12 株式会社山武 パターン照合装置
JP2007041643A (ja) 2005-07-29 2007-02-15 Fuji Xerox Engineering Co Ltd 物品確認装置、物品確認方法及び物品確認プログラム
WO2019123917A1 (ja) 2017-12-22 2019-06-27 日本電気株式会社 画像照合装置
JP7215485B2 (ja) * 2018-08-23 2023-01-31 日本電気株式会社 物体照合装置
EP3845213A4 (en) * 2018-08-31 2021-10-27 FUJIFILM Toyama Chemical Co., Ltd. OBJECT COMPARISON DEVICE AND OBJECT COMPARISON METHOD

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法,物体領域探索プログラムおよび物体領域探索装置
JP2017010322A (ja) 2015-06-23 2017-01-12 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
JP2020047151A (ja) 2018-09-21 2020-03-26 富士ゼロックス株式会社 画像形成装置、検査対象物照合装置、検査対象物照合システム、検査対象物照合方法

Also Published As

Publication number Publication date
WO2021192216A1 (ja) 2021-09-30
EP4024334A1 (en) 2022-07-06
JPWO2021192216A1 (ja) 2021-09-30
US20220335617A1 (en) 2022-10-20
EP4024334A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
US20220335561A1 (en) Embedding signals in a raster image processor
Qureshi et al. A bibliography of pixel-based blind image forgery detection techniques
Sadeghi et al. State of the art in passive digital image forgery detection: copy-move image forgery
Emam et al. PCET based copy-move forgery detection in images under geometric transforms
Yan et al. Quaternion-based image hashing for adaptive tampering localization
EP2126789B1 (en) Improved image identification
Muhammad et al. Passive copy move image forgery detection using undecimated dyadic wavelet transform
EP1912160B1 (en) Image descriptor for image recognition
Pandey et al. Fast and robust passive copy-move forgery detection using SURF and SIFT image features
CN106663195B (zh) 用于指纹匹配和相机识别的改进的方法、设备和系统
KR101191516B1 (ko) 향상된 이미지 식별
Alamro et al. Copy-move forgery detection using integrated DWT and SURF
Muhammad et al. Copy move image forgery detection method using steerable pyramid transform and texture descriptor
US20130243341A1 (en) Frequency domain interest point descriptor
Kumar et al. Salient keypoint-based copy–move image forgery detection
CN110147800A (zh) 基于sift的图像复制粘贴篡改盲检方法
JP7251689B2 (ja) 個体識別システム
Kumar et al. Syn2real: Forgery classification via unsupervised domain adaptation
Mehta et al. Near-duplicate image detection based on wavelet decomposition with modified deep learning model
Mehta et al. Near-duplicate detection for LCD screen acquired images using edge histogram descriptor
Muhammad Multi-scale local texture descriptor for image forgery detection
Benhamza et al. Image forgery detection review
Vaishnavi et al. Recognizing image splicing forgeries using histogram features
Agarwal et al. Blind forensics of images using higher order local binary pattern
Huynh-Kha et al. The efficiency of applying DWT and feature extraction into copy-move images detection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R151 Written notification of patent or utility model registration

Ref document number: 7251689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151