JP7377163B2 - 個体識別システム - Google Patents

Description

本発明の実施形態は、個体表面に表れる個体固有の模様いわゆる個体指紋に基づいて個体を識別することができる個体識別システムに関する。

近年、例えば工業製品等は生産後の流通過程だけでなく生産過程においても高いトレーサビリティが要求されるようになっている。例えば同一工程でかつ同一ロットで生産された同一種類の部品であっても、その性能に通常の使用には何ら問題ない程度の僅かな違いを有していることがある。製品の生産過程において、このような部品１個１個の僅かな特性の違いも考慮に入れて最適な組み合わせで製品を製造することができれば、その製品の性能を向上させることができるからである。

また、従来の生産工程では、部品の加工条件等と検査結果とが紐付けされていないため、検査結果を加工条件等に反映させることが難しかった。これに対し、生産過程において部品１個単位で追跡することができれば、検査結果を加工条件等に適切に反映させることができ、その結果、不良の低減や品質・性能を更に向上させることができる。

従来、製品等の追跡管理する手法としては、例えば二次元コードやＲＦＩＤを用いるものがある。しかしながら、二次元コードやＲＦＩＤは、印字や貼り付けのコストが高い。そのため、製品を構成する多数の部品１個１個に対して、二次元コードやＲＦＩＤを付与することは経済的に考えても実現困難である。

そこで、個々の個体が固有に有する表面形状を用いて個体を識別する技術が注目されている。このような物体の表面形状や模様であれば、二次元コードやＲＦＩＤ等を付与する必要がないため、部品１個１個の追跡管理も低コストで実現できる。

特開２０１２－１０３７５８号公報 特開２０１２－１８１５６６号公報

しかしながら、物体の表面形状や模様を用いて個体を識別することには次のような複数の課題がある。まず第１の課題として、工業製品を構成する部品は、例えば製造過程で熱の影響を受けたり経時変化したりして、識別対象となる部品の登録時と識別時とでその表面の模様の色味等が変化することがある。すると、画像の登録時と識別時とで抽出される表面模様の特徴が大きく変わる可能性があり、その結果、識別精度が低下してしまう。

次に第２の課題として、工場内においては粉塵や工場内の照明、外光等の自然光、周囲のノイズ源等が外乱の要因となって、登録画像の撮影と識別画像の撮影との撮影環境が大きく変わる可能性がある。すると、抽出される特徴点や局所特徴量等が変わり、識別性能が低下するおそれがある。

そして、第３の課題として、工業製品の部品においては、人の顔や指紋と異なり、照合識別しようとする対象の種類や材質、加工方法によってその表面に表れる模様の特徴も様々である。このため、識別しようとする対象の種類によって、照合識別に用いるアルゴリズムのパラメータを適切なものに調整する必要がある。しかし、パラメータの項目は多数あり、その全ての組み合わせの中からユーザが手動で最適な組み合わせを探すことは大変な手間と時間がかかる。

本発明は上記課題を鑑みてなされたものであり、その目的は、上記第１～第３の課題のうち少なくとも２つを同時に解決することができる個体識別システムを提供することにある。

実施形態の個体識別システム（１）は、撮影機器によって撮影した被写体の画像を識別画像として取得する画像取得処理を実行可能な画像取得処理部（２１２）と、前記画像取得処理で取得した前記識別画像に含まれる特徴点を抽出する特徴点抽出処理を実行可能な特徴点抽出処理部（２２１）と、前記特徴点抽出処理で抽出された前記特徴点の局所特徴量を計算する局所特徴量計算処理を実行可能な局所特徴量計算処理部（２２２）と、予め登録された複数の登録画像に係る前記局所特徴量と前記識別画像の前記局所特徴量とを比較し、複数の前記登録画像の中から前記識別画像の前記局所特徴量に最も相関が高い前記局所特徴量を有している登録画像を特定する特定処理を実行可能な特定処理部（２６１２）と、を有する個体識別装置を備える個体識別システム（１）である。

個体識別システム（１）は、前記個体識別装置の他に、前記特徴点抽出処理により抽出した前記特徴点を前記画像に重ねて表示装置に表示する特徴点表示処理を実行可能な特徴点表示処理部（３３１）を有する可視化装置（３３）、又は、予め登録された複数の登録画像のうち同一の被写体を撮影した前記登録画像と前記識別画像とにおける前記局所特徴量を比較し前記特徴点の対応点数を取得して前記登録画像と前記識別画像とを照合する照合処理を前記個体識別装置に実行させるとともに、撮影対象に関する条件である撮影対象条件を調整する撮影対象条件調整処理を実行可能な撮影対象条件調整処理部（３１２）と、前記撮影機器に関する条件である撮影機器条件を調整する撮影機器条件調整処理を実行可能な撮影機器条件調整処理部（３１１）と、を有する撮影条件調整装置（３１）、又は、前記照合処理の条件を設定するためのパラメータについて、各前記パラメータに定められた設定範囲内の設定値に設定された各前記パラメータを組み合わせて複数のパラメータセットを生成するパラメータセット生成処理を実行可能なパラメータセット生成処理部（３２４）と、ユーザの操作に基づいて前記パラメータセットを設定するパラメータセット設定処理を実行可能なパラメータセット設定処理部（３２５）と、を有し、前記照合処理部に、前記パラメータセット生成処理で生成された各前記パラメータセットを用いて前記照合処理を実行する処理を実行させるとともに、各前記パラメータセットを用いて前記照合処理の照合結果をまとめて表示装置（１２）に表示する照合結果表示処理を実行可能な照合結果表示処理部（３３３）を更に有している照合識別条件調整装置（３２）、のうち少なくとも２つの装置を備えている。

一実施形態による個体識別システムの概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える撮影装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える特徴抽出装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える登録処理装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える記録装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える辞書装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える画像照合識別装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える撮影条件調整装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える照合識別条件調整装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムが備える可視化装置の概略構成の一例を示すブロック図 一実施形態による個体識別システムにおいて特徴点抽出処理の実行結果の一例を示す図（その１） 一実施形態による個体識別システムにおいて特徴点抽出処理の実行結果の一例を示す図（その２） 一実施形態による個体識別システムにおいて局所特徴量から大域特徴量を計算する手法の一例を概念的に示す図 一実施形態による個体識別システムにおいて大域特徴量辞書の生成方法の一例を概念的に示す図 一実施形態による個体識別システムにおいて大域特徴量を用いた絞り込み処理の一例を概念的に示す図 一実施形態による個体識別システムにおいて局所特徴量を用いた特定処理の一例を概念的に示す図 一実施形態による個体識別システムにおいてパラメータセットの一例を示す図 一実施形態による個体識別システムにおいて正対応点数と負対応点数の一例を概念的に示す図 一実施形態による個体識別システムにおいて総当たり条件生成処理で生成される条件の組み合わせの一例を示す図 一実施形態による個体識別システムにおいて最適条件提示処理で生成されるグラフの一例を示す図 一実施形態による個体識別システムにおいて特徴点表示処理で表示装置に表示される表示内容の一例を示す図 一実施形態による個体識別システムにおいて照合結果表示処理で表示装置に表示される表示内容の一例を示す図（その１） 一実施形態による個体識別システムにおいて照合結果表示処理で表示装置に表示される表示内容の一例を示す図（その２）

以下では、一実施形態について図面を参照しながら説明する。なお、各ブロック図における矢印はデータの流れを示す。本実施形態で説明する各処理部つまり機能ブロックは、それぞれ異なるハードウェアで構成することもできるし、１つのハードウェアで複数の装置又は処理部を共用する構成としても良い。また、詳細は図示しないが、各装置及び各処理部を構成するハードウェアは、それぞれ例えばＣＰＵや、ＲＯＭ、ＲＡＭ、及び書き換え可能なフラッシュメモリなどの記憶領域を有するマイクロコンピュータを主体に構成さすることができる。記憶領域は、各装置及び各処理部を実現するための個体識別プログラムを記憶している。そして、ＣＰＵにおいて個体識別プログラムを実行することにより、各装置及び各処理部における各処理を実現することができる。

すなわち、本実施形態で説明する各処理部は、ＣＰＵが上述した記憶領域等の非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行してコンピュータプログラムに対応する処理を実行することにより実現されている、つまりソフトウェアにより実現されている。なお、各処理部のうち少なくとも一部をハードウェアにより実現する構成としてもよい。

本実施形態の個体識別システム１は、予め登録された複数の登録画像と撮影機器で撮影した識別画像とを比較し、複数の登録画像の中から識別画像の被写体が写っている登録画像を識別するこができるシステムである。この個体識別システム１は、例えば工場等における部品のトレースに用いることができるが、これに限られない。

個体識別システム１は、図１に示すように、撮影機器１０、入力装置１１、表示装置１２、個体識別装置２０、及び調整装置３０を備えている。本実施形態の場合、個体識別システム１は、登録側の撮影機器１０と識別側の撮影機器１０とを備えている。以下の説明において、これらを区別する場合は、登録側の撮影機器１０を登録側撮影機器１０ａと称し、識別側の撮影機器１０を識別側撮影機器１０ｂと称することがある。本実施形態において、登録側撮影機器１０ａは、個体識別装置２０に登録するための画像を撮影する。また、識別側撮影機器１０ｂは、識別しようとしている被写体を撮影するためのものである。そして、本実施形態において、登録画像とは、主として登録側の撮影機器１０ａで撮影されて個体識別装置２０に登録される又は登録されている画像を意味する。また、識別画像とは、主として識別側の撮影機器１０ｂで撮影された画像を意味する。

撮影機器１０は、カメラ１０１、照明１０２、及びステージ１０３を有して構成されている。カメラ１０１は、ワーク等の撮影対象となる被写体を撮影する機能を有する。カメラ１０１は、外部からの指示により、シャッタースピードや、イメージセンサの感度、解像度、撮影範囲、焦点等を変更可能に構成されている。照明１０２は、被写体を照明するためのものであり、外部からの指示により、輝度や光度、色彩等を変更可能に構成されている。そして、ステージ１０３は、カメラ１０１や照明１０２を支持するとともに、被写体が載置されるものであり、カメラ１０１や照明１０２と被写体との距離や角度つまり姿勢を変更可能に構成されている。

入力装置１１は、ユーザの操作を受け付けるインタフェースであり、例えばキーボードやマウス等である。ユーザは、入力装置１１を操作して調整装置３０や個体識別装置２０に対して各種の設定等を行うことができる。表示装置１２は、文字や画像等の表示が可能なディスプレイであり、個体識別装置２０や調整装置３０から受信した情報を表示することができる。ユーザは、表示装置１２に表示された情報を見ることで、個体識別装置２０や調整装置３０による処理の結果や設定内容等を確認することができる

個体識別装置２０は、撮影装置２１、特徴抽出装置２２、登録処理装置２３、記録装置２４、辞書装置２５、画像照合識別装置２６、撮影条件付与装置２７、及び特徴抽出条件付与装置２８を有している。本実施形態の場合、撮影装置２１、特徴抽出装置２２、登録処理装置２３、記録装置２４、撮影条件付与装置２７、及び特徴抽出条件付与装置２８は、登録側と識別側とにそれぞれ設けられている。この場合、破線ａで囲われた装置が登録側の装置となり、破線ｂで囲われた装置が識別側の装置となる。なお、登録側の装置ａと識別側の装置ｂとは、異なるハードウェアで構成しても良いし、同一のハードウェアで構成しても良い。また、個体識別装置２０及び調整装置３０は、インターネット等の電気通信回線に接続されたクラウドサーバー上に設置されていても良い。

撮影装置２１は、撮影機器１０の駆動を制御し、被写体の画像を撮影して取得する機能を有する。撮影装置２１は、図２に示すように、撮影処理部２１１及び画像取得処理部２１２を有している。撮影処理部２１１は、撮影機器１０を所定の条件で駆動させて被写体を撮影する。この場合、撮影機器１０を撮影する際の所定の条件を、撮影条件と称する。撮影条件は、例えば撮影機器１０に関する条件である撮影機器条件と、撮影対象となる被写体に関する条件である撮影対象条件とを含む。

撮影機器条件は、主に光学機器に関する条件であり、例えば撮影機器１０が有するカメラ１０１のシャッタースピードや、イメージセンサの感度、解像度、撮影範囲、焦点、倍率、絞り、照明１０２の種類や輝度、光度、色彩等がある。撮影対象条件は、撮影対象つまり被写体に関する条件であり、例えば被写体の姿勢つまりカメラ１０１や照明１０２に対する被写体の角度や、カメラ１０１や照明１０２と被写体との距離等がある。

撮影処理部２１１は、撮影条件付与装置２７から受けた指示内容に基づいて撮影機器条件や撮影対象条件を変えて撮影機器１０を駆動させて、被写体を撮影することができる。

画像取得処理部２１２は、画像取得処理を実行可能である。画像取得処理は、撮影機器１０で撮影した被写体の画像を取得して特徴抽出装置２２に渡す処理を含む。本実施形態の場合、登録側ａの画像取得処理部２１２は、撮影機器１０ａで撮影した画像を登録画像として登録側ａの特徴抽出装置２２に渡す。また、識別側ｂの画像取得処理部２１２は、撮影機器１０ｂで撮影した画像を識別画像として識別側ｂの特徴抽出装置２２に渡す。本実施形態において、画像取得処理のうち、登録側ａで行われる登録画像を取得する処理を登録画像取得処理と称し、識別側ｂで行われる識別画像を取得する処理を識別画像取得処理と称することがある。なお、画像取得処理は、例えばインターネット経由や記憶媒体を介して画像を取得する等、撮影機器１０以外の手段から画像を取得する処理を含んでいても良い。

特徴抽出装置２２は、撮影装置２１から取得した画像に含まれる特徴を抽出する機能を有する。特徴抽出装置２２は、画像の特徴として、特徴点、局所特徴量、及び大域特徴量を計算する機能を有する。特徴抽出装置２２は、図３に示すように、特徴点抽出処理部２２１、局所特徴量計算処理部２２２、局所特徴量群分類処理部２２３、及び大域特徴量計算処理部２２４を有している。特徴抽出装置２２は、特徴抽出条件付与装置２８から特徴抽出条件を受けて、各処理部２２１～２２４における処理を実行する。特徴抽出条件には、例えば特徴点を抽出し局所特徴量を計算する際のピラミッド画像の段数、及びコーナーやカーブらしさを決定するための閾値等が含まれる。

特徴点抽出処理部２２１は、特徴点抽出処理を実行可能である。特徴点抽出処理は、図１１に示すように、画像取得処理部２１２で取得した画像から、被写体Ｓの表面に表れている１つ以上の特徴点Ｐを抽出する処理を含む。本実施形態の場合、特徴点抽出処理は、１枚の画像から例えば数千点の特徴点を抽出する。この場合、登録側ａの特徴点抽出処理部２２１は、登録側の撮影機器１０ａで撮影された登録画像の特徴点を抽出することができる。また、識別側ｂの特徴点抽出処理部２２１は、識別側の撮影機器１０ｂで撮影した識別画像の特徴点を抽出することができる。

ここで、例えば図１２に示すように、ワークＳの表面に表れる模様のうちコーナーやカーブ等のような幾何学的でない模様を特徴点Ｐとして抽出することで、同じ製造工程を経て製造された同一種類の部品間でもその個体を識別できると考えられる。これは、例えば部品等の表面に表れる直線や直角等の幾何学的な模様は、その種類の部品全体に共通して表れる模様であることが多く、部品間で個体の識別を行うための特徴にはなり難い。一方、コーナーやカーブ等の幾何学的でない模様は、製造過程における極僅かな条件の違いによって出来るものであることが多く、その個体固有のものが多いからであると考えられる。そのため、本実施形態の特徴点抽出処理部２２１は、特徴点Ｐとして被写体の表面に局所的に表れるコーナーやカーブの模様を抽出する。

本実施形態の特徴点抽出処理部２２１は、被写体の画像から得られた輝度勾配強度分布を用いて、被写体の表面に局所的に表れるコーナーやカーブを特徴点として抽出する。画像はピクセル間で輝度の勾配とその強度を有している。均一な模様である場合、輝度勾配強度の広がりが小さく、また、直線的な模様の場合、輝度勾配強度は特定の方向へ広がる。一方、コーナーやカーブを伴う模様の場合、輝度勾配強度は複数方向へ広がる。このため、特徴点抽出処理部２２１は、輝度勾配強度が複数方向へ広がる模様を探すことで、特徴点となるコーナーやカーブを抽出することができる。

局所特徴量計算処理部２２２は、局所特徴量計算処理を実行可能である。局所特徴量計算処理は、特徴点抽出処理で抽出された特徴点を含む周辺の領域の輝度勾配に基づいて特徴点の特徴量を局所特徴量として計算する処理を含む。局所特徴量は、特徴点の座標と２５６ビットのバイナリ特徴量を有している。特徴量の計算には、既存技術のＳＩＦＴを用いることができる。また、可能であれば、他のＳＵＲＦなどの画像特徴量計算アルゴリズムを用いてもよい。特徴点抽出処理は、画像を多段階に縮小したピラミッド画像を求め、各縮尺の画像に対して同一の条件で、それぞれ独立に特徴点を抽出しても良い。そして、局所特徴量計算処理部は、各ピラミッド画像で得られた特徴点の局所特徴量を計算しても良い。こうすることで、スケール不変性を有し、スケールの相違に影響を受け難い局所特徴量を求めることができる。

局所特徴量群分類処理部２２３は、局所特徴量群分類処理を実行可能である。局所特徴量群分類処理は、登録画像及び識別画像の大域特徴量を計算するための事前準備となる処理である。局所特徴量群分類処理は、例えば図１３の（Ａ）、（Ｂ）で示すように、各画像について局所特徴量計算処理を実行して得られた複数の局所特徴量Ａをその局所特徴量Ａの値に応じて所定数例えば６４～４０９６個の局所特徴量群Ｂに分類する処理を含む。換言すれば、局所特徴量群分類処理は、各画像から得られた多数の局所特徴量Ａを、その値が似ている者同士を集めてクラスタリングする処理を含む。局所特徴量群Ｂを構成するそれぞれの要素Ｂｎは、画像から得られる特徴点及びその局所特徴量のペアを少なくとも１つ以上有している。なお、Ｂｎのｎは、要素の数を示す整数である。

局所特徴量群分類処理は、各画像から得られた局所特徴量Ａを辞書情報ｄに基づいて分類する処理を含む。辞書情報ｄは、予め取得した学習用画像から求めた特徴点の特徴量のうち代表的なものであり、局所特徴量分類処理の実行前に準備される。局所特徴量群分類処理部２２３は、分類しようとする局所特徴量Ａを、その局所特徴量Ａと近い特徴量を有する辞書情報ｄに当てはめて分類する。

大域特徴量計算処理部２２４は、大域特徴量計算処理を実行可能である。大域特徴量計算処理は、局所特徴量分離処理で得た各局所特徴量群Ｂに基づいて大域特徴量を計算する処理を含む。大域特徴量計算処理は、図１３（Ｃ）に示すように、画像から得た各局所特徴量Ａと相関が高い辞書情報ｄに投票して得た頻度分布つまりヒストグラムを大域特徴量として計算する処理を含む。すなわち、大域特徴量は、横軸に局所特徴量群Ｂをとり、縦軸に各局所特徴量群Ｂに投票された投票数をとる。このようにして計算された大域特徴量を用いることで、１枚の画像を１つの特徴量で表すことができる。大域特徴量計算処理は、例えば計算方法としてＶＬＡＤやＢＡＧ－ＯＦ－ＷＯＲＤＳを採用することができる。

大域特徴量の計算方法としてＶＬＡＤを採用する場合、大域特徴量計算処理は、例えば局所特徴量と相関が高い辞書情報である代表値との差分ベクトルを総和したベクトルＶを、代表値の数だけ計算し、それらをつなげたベクトルを大域特徴量のベクトルＶとして計算する。具体的には、大域特徴量計算処理部２２４は、画像から得た局所特徴量を次の（１）式の計算に適用して大域特徴量のベクトルＶを算出する。この場合、大域特徴量のベクトルＶは、６４個の１２８次元のベクトルで構成される。この場合、各局所特徴量群Ｂに含まれる局所特徴量をｖとし、辞書情報をｄとする。また、各局所特徴量群Ｂに含まれる特徴量の数をＮとすると、１≦ｉ≦Ｎとなる。

なお、（１）式のＮＮ（ｖ）＝ｄｋは、画像中に含まれる特徴量の中で、この場合６４個ある各辞書情報ｄと最も相関が高い局所特徴量ｖを意味する。

また、大域特徴量としてＢＡＧ－ＯＦ－ＷＯＲＤＳを採用する場合、大域特徴量辞書生成処理は、次のようにして大域特徴量を計算する。この場合、大域特徴量は、辞書情報の数の次元を持つベクトル、例えば６４次元のベクトルＶとなる。大域特徴量辞書生成処理部２５１は、６４個の代表値となる辞書情報を用いて、各特徴量について、最も近い辞書情報ｄを探し、近かったベクトルＶの要素に１を加える。これにより、ベクトルＶは、特徴量のヒストグラムとなり、ベクトルＶの要素の総和は、特徴量の個数を等しくなる。このベクトルＶは、この総数で全体を除算し、正規化して利用する。

登録処理装置２３は、各処理で得たデータを記録装置２４に記録する機能を有する。登録処理装置２３は、図４に示すように、検索対象画像登録処理部２３１、評価用画像登録処理部２３２、局所特徴量登録処理部２３３、及び大域特徴量登録処理部２３４を有している。検索対象画像登録処理部２３１は、検索対象画像登録処理を実行可能である。検索対象画像登録処理は、予め複数の検索対象とする画像を登録画像として、記録装置２４の検索対象画像登録部２４１に登録する処理を含む。

評価用画像登録処理部２３２は、評価用画像登録処理を実行可能である。評価用画像登録処理は、画像照合識別装置２６で実行される照合処理の評価を行う際に用いる画像を評価用の画像として記録装置２４の評価用画像登録部２４２に登録する処理を含む。評価用画像は、それぞれ異なる被写体を撮影した複数の登録画像を含む登録画像群と、登録画像群の中のうちの１つと同一の被写体でかつ異なる条件で撮影した識別画像と、を含んで構成されている。この場合、識別画像は、被写体や条件の数によって複数あっても良い。また、同一の被写体を撮影した登録画像と識別画像とは、例えば同一又は部分的に共通する識別番号等が付与されること等によって相互に紐付けされた状態で記録装置２４の評価用画像登録部２４２に登録される。

局所特徴量登録処理部２３３は、局所特徴量登録処理を実行可能である。局所特徴量登録処理は、特徴抽出装置２２での処理によって登録画像から抽出した特徴点の局所特徴量を、記録装置２４の局所特徴量登録部２４３に登録する処理を含む。また、局所特徴量登録処理は、特徴抽出装置２２での処理によって評価用画像から抽出した特徴点の局所特徴量を、記録装置２４の局所特徴量登録部２４３に登録する処理を含む。局所特徴量登録処理部２３３は、各画像から得た局所特徴量を、抽出元となる画像と紐付けして登録する。

大域特徴量登録処理部２３４は、大域特徴量登録処理を実行可能である。大域特徴量登録処理は、登録画像に係る大域特徴量を、記録装置２４の大域特徴量登録部２４４に登録する処理を含む。また、大域特徴量登録処理は、評価用画像に係る大域特徴量を、記録装置２４の大域特徴量登録部２４４に登録する処理を含む。局所特徴量登録処理部２３３は、各画像から得た大域特徴量を、抽出元となる画像と紐付けして登録する。

記録装置２４は、登録処理装置２３の各登録処理によって送られた各種のデータを記録する機能を有しており、データベースを構成する。記録装置２４は、例えば個体識別装置２０を構成するコンピュータの記録装置や、ネットワーク回線を介して接続された外部のサーバ等で構成することもできる。記録装置２４は、図５に示すように、検索対象画像登録部２４１、評価用画像登録部２４２、局所特徴量登録部２４３、大域特徴量登録部２４４、及び大域特徴量辞書登録部２４５を有している。

検索対象画像登録部２４１は、登録処理装置２３の検索対象画像登録処理部２３１から送られた検索対象画像を記録する記録領域である。評価用画像登録部２４２は、登録処理装置２３の評価用画像登録処理部２３２から送られた評価用画像を記録する記録領域である。局所特徴量登録部２４３は、登録処理装置２３の局所特徴量登録処理部２３３から送られた局所特徴量を記録する記録領域である。大域特徴量登録部２４４は、登録処理装置２３の大域特徴量登録処理部２３４から送られた大域特徴量を記録する記録領域である。

また、大域特徴量辞書登録部２４５は、辞書装置２５の大域特徴量辞書登録処理部２５２から送られた大域特徴量辞書を記録する記録領域である。画像照合識別装置２６で検索処理を実行する以前に、予め取得した学習用画像から得られた局所特徴量に基づいて計算された複数の辞書情報を要素に持つ複数の大域特徴量辞書が登録されている。

辞書装置２５は、複数枚の画像から抽出した特徴点及びその局所特徴量をもとに複数の辞書情報を生成し、その辞書情報に基づく大域特徴量辞書を生成し、登録、及び設定する機能を有する。辞書装置２５は、図６に示すように、大域特徴量辞書生成処理部２５１及び大域特徴量辞書登録処理部２５２を有している。

大域特徴量辞書生成処理部２５１は、大域特徴量辞書生成処理を実行可能である。大域特徴量辞書生成処理は、例えば複数の学習用画像から得た局所特徴量群のそれぞれの代表値を辞書情報に持つ大域特徴量辞書を生成する処理を含む。この場合、大域特徴量辞書生成処理は、局所特徴量群のセントロイドを代表値として辞書情報に設定する処理を含む。辞書情報は、大域特徴量辞書を構成する要素であり、複数個の辞書情報が集まって１つの大域特徴量辞書を構成する。

この場合、例えば、大域特徴量辞書生成処理において大域特徴量辞書生成処理部２５１は、次のようにして大域特徴量辞書を生成することができる。すなわち、大域特徴量辞書生成処理において大域特徴量辞書生成処理部２５１は、まず図１４（Ａ）、（Ｂ）に示すように、例えば特徴抽出装置２２で計算されたｍ枚分の学習用画像Ｔ１～Ｔｍの局所特徴量Ａを受け取る。次に、大域特徴量辞書生成処理部２５１は、図１４（Ｃ）に示すように、受け取った局所特徴量Ａを例えばk-means法を用いてｋ個この場合６４個のクラスタつまり局所特徴量群Ｂ１～Ｂｋに分類し、各局所特徴量群Ｂ１～ＢｋのそれぞれについてセントロイドＣ１～Ｃｋを求める。そして、大域特徴量辞書生成処理部２５１は、このようにして求めた各局所特徴量群Ｂ１～ＢｋのセントロイドＣ１～Ｃｋを、それぞれの局所特徴量群Ｂ１～Ｂｋの代表値として辞書情報ｄ１～ｄｋに設定し、辞書情報ｄ１～ｄｋをまとめた大域特徴量辞書Ｅを生成する。そして、大域特徴量辞書生成処理部２５１は、更に異なる学習用画像Ｔを用いて複数の大域特徴量辞書Ｅを生成する。なお、辞書情報ｄ１～ｄｋは、各局所特徴量群Ｂ１～Ｂｋを代表する値であれば、セントロイドに限られない。

大域特徴量辞書登録処理部２５２は、大域特徴量辞書登録処理を実行可能である。大域特徴量辞書登録処理は、大域特徴量辞書生成処理で生成された複数の大域特徴量辞書Ｅｉｃを、記録装置２４の大域特徴量辞書登録部２４５に記録する処理を含む。この場合、大域特徴量辞書Ｅには、大域特徴量辞書Ｅを構成する複数の辞書情報ｄ１～ｄｋが含まれている。

画像照合識別装置２６は、記録装置２４に記録されている登録画像と、識別側の特徴抽出装置２２から出力された識別画像とを照合しその画像の一致不一致を識別する機能を有数する。画像照合識別装置２６は、図７に示すように、検索処理部２６１、照合処理部２６２、及び結果通知処理部２６３を有している。

検索処理部２６１は、検索処理を実行可能である。検索処理は、記録装置２４の検索対象画像登録部２４１に記録されている複数の登録画像に係る大域特徴量のうち、識別側の特徴抽出装置２２から送られた識別画像に係る大域特徴量に相関が高いものを検索する処理を含む。本実施形態の場合、検索処理部２６１は、絞り込み処理を実行可能な絞り込み処理部２６１１と、特定処理を実行可能な特定処理部２６１２とを有する。すなわち、本実施形態の場合、検索処理は、絞り込み処理と特定処理とを含む。

絞り込み処理部２６１１で実行される絞り込み処理は、図１５に示すように、記録装置２４の検索対象画像登録部２４１に登録されている複数の登録画像の中から、識別画像が有する大域特徴量との相関が高い大域特徴量を有する所定数の登録画像を候補として絞り込む処理を含む。検索対象画像登録部２４１に登録されている登録画像が例えば数千～数十万枚である場合、登録画像の候補は、絞り込み処理で例えば数～数十枚程度に絞り込まれる。

特定処理部２６１２で実行される特定処理は、局所特徴量を用いた画像照合手法と、特徴点の幾何的な配置の整合性を検証するアルゴリズムを用いて行うことができる。特定処理部２６１２は、まず、絞り込み処理によって抽出された候補の登録画像の局所特徴量と識別画像の局所特徴量とを比較し、双方の画像から特徴量の差が最小となる特徴点をペアとして求める。そして、特定処理部２６１２は、他の特徴点との相対的な位置関係が矛盾しない特徴点を対応点として抽出し、その対応点数が最も多い登録画像を特定する。

この場合、絞り込み処理は、図１５に示すように、登録画像と識別画像とのそれぞれの大域特徴量を比較する処理であるため、画像に含まれる全ての局所特徴量を比較する特定処理よりも精度は低いが処理量が少なく高速に処理することができる。これに対し、特定処理は、図１６に示すように、登録画像と識別画像とのそれぞれの局所特徴量Ａの全てについて対応点を探索する処理であるため、大域特徴量同士を比較する絞り込み処理よりも処理量は多く時間はかかるが精度が良い。このように、検索処理は、絞り込み処理と特定処理との２段階の処理を実行することにより、複数の登録画像の中から識別画像と同一の登録画像を高速で精度良く特定することができる。

照合処理部２６２は、照合処理を実行可能である。照合処理は、画像の検索を伴わない処理であり、調整装置３０によって各種の条件やアルゴリズム、パラメータ等を調整するために特定の画像同士を照合する際に実行される。照合処理は、検索処理のうち画像同士を照合するためのアルゴリズムと同一のアルゴルズムを用いて実行される。そのため、照合処理部２６２は、検索処理部２６１の一部とすることができる。調整装置３０によって調整された各種の条件やアルゴリズム、パラメータ等は、検索処理部２６１の検索処理に反映される。

照合処理は、例えば評価用画像として評価用画像登録部２４２に登録されている特定の登録画像と識別画像とにおける局所特徴量を比較し、その特徴点の対応点数を取得して登録画像と識別画像とを照合する処理を含む。この場合、照合処理部２６２は、調整装置３０からの指示により、同一の被写体を撮影した登録画像と識別画像とについて照合することができる。また、照合処理部２６２は、調整装置３０からの指示により、異なる被写体を撮影した登録画像と識別画像とについて照合することもできる。照合処理部２６２は、登録画像と識別画像との局所特徴量の対応点数を出力する。

また、照合処理部２６２は、照合識別条件調整装置３２から受け取ったパラメータセットを用いて照合処理を実行することができる。パラメータセットは、例えば図１７に示すように、検索処理及び照合処理の条件を設定するための複数のパラメータについて、それぞれのパラメータに設定可能な値を組み合わせたものである。図１７における条件１、条件２、条件３・・・がそれぞれ１つのパラメータセットとなる。図１７の例の場合、パラメータセットは全部で５４００通りとなる。

結果通知処理部２６３は、結果通知処理を実行可能である。結果通知処理は、検索処理の結果、及び照合処理の結果を、調整装置３０や外部の装置に出力する処理を含む。この場合、検索処理の結果は、特定した登録画像に関する情報が含まれる。また、照合処理の結果は、対応点数が含まれる。

撮影条件付与装置２７は、調整装置３０の撮影条件調整装置３１からの指示を受けて、撮影装置２１に上述した撮影条件を付与する機能を有する。特徴抽出条件付与装置２８は、調整装置３０の照合識別条件調整装置３２からの指示を受けて、特徴抽出装置２２に特徴抽出条件を付与する機能を有する。

調整装置３０は、画像照合識別装置２６から得た結果を可視化して表示装置１２に表示する機能や、画像照合識別装置２６からのフィードバックを受けて、撮影機器１０の撮影条件や特徴抽出装置２２で用いる条件やアルゴリズムなど、個体識別装置２０で用いられる各種の条件、アルゴリズム、若しくはパラメータ等を調整する機能等を有する。調整装置３０は、図１に示すように、撮影条件調整装置３１、照合識別条件調整装置３２、及び可視化装置３３を有している。

撮影条件調整装置３１は、画像照合識別装置２６からのフィードバックを受けて自動で、又はユーザからの操作を受けて手動で撮影機器１０を用いて撮影対象を撮影する際の各種条件を調整し、その条件を撮影条件付与装置２７に対して指示する機能を有する。ユーザは、例えば入力装置１１を操作することで、撮影条件調整装置３１の処理により各種条件を調整することができる。また、撮影条件調整装置３１は、特徴抽出装置２２の処理により得られた特徴点の数に応じて自動で各種条件を調整する機能を有する。撮影条件調整装置３１は、図７に示すように、撮影機器条件調整処理部３１１、撮影対象条件調整処理部３１２、総当たり条件生成処理部３１３、及び最適条件提示処理部３１４を有している。

撮影機器条件調整処理部３１１は、撮影機器条件を調整する撮影機器条件調整処理を実行可能である。撮影機器条件調整処理の実行により、主に光学機器に関する条件、例えば撮影機器１０が有するカメラ１０１のシャッタースピードや、イメージセンサの感度、解像度、撮影範囲、焦点、照明１０２の輝度や光度、色彩等が調整される。撮影機器条件調整処理部３１１は、調整された撮影機器条件を撮影条件付与装置２７に送信する。これにより、撮影装置２１は、撮影機器条件調整処理部３１１で調整された撮影機器条件に従って撮影機器１０の主にカメラ１０１や照明１０２を動作させて撮影対象を撮影する。

撮影対象条件調整処理部３１２は、撮影対象となる被写体に関する条件である撮影対象条件を調整する撮影対象条件調整処理を実行可能である。撮影対象条件調整処理の実行により、例えば被写体の姿勢つまりカメラ１０１や照明１０２に対する被写体の角度や、カメラ１０１や照明１０２と被写体との距離等が調整される。撮影対象条件調整処理部３１２は、調整された撮影対象条件を撮影条件付与装置２７に送信する。これにより、撮影装置２１は、撮影対象条件調整処理部３１２で調整された撮影対象条件に従って撮影機器１０の主にステージ１０３を動作させて撮影対象を撮影する。

総当たり条件生成処理部３１３は、総当たり条件生成処理を実行可能である。総当たり条件生成処理は、予め設定された範囲内の撮影対象条件と、予め設定された範囲内の撮影機器条件と、の組み合わせを総当たりで生成する処理を含む。この場合、撮影装置２１の画像取得処理部２１２で実行される画像取得処理は、総当たり条件生成処理で生成された全ての条件で撮影した画像を取得する処理を含む。これにより、画像取得処理部２１２は、異なる条件で撮影された多数の画像、つまり撮影対象条件と撮影機器条件とのそれぞれを振って撮影した多数の画像を取得することができる。

例えば図１９の例では、撮影対象条件として被写体と照明１０２との距離である照明距離が設定され、撮影機器条件として照明１０２の光量である光量設定値が設定されている。この場合、総当たり条件生成処理部３１３は、照明距離と光量設定値との取り得る値の全ての組み合わせを総当たりで生成する。そして、画像取得処理部２１２は、この総当たりの組み合わせの条件で自動で撮影して、登録画像及び識別画像を取得する。

最適条件提示処理部３１４は、最適条件提示処理を実行可能である。最適条件提示処理は、総当たり条件生成処理で生成された全ての条件で撮影した登録画像と識別画像とのうち、同一の被写体を撮影した登録画像と識別画像とについて照合処理部２６２に照合処理を実行させ、その照合処理によって得た対応点数が多い撮影対象条件と撮影機器条件との組み合わせを最適条件としてユーザに提示する又は自動で設定する処理を含む。この場合、最適条件提示処理部３１４は、表示装置１２に最適条件を表示しても良い。これより、ユーザは、撮影機器条件と撮影対象条件との最適な組み合わせを簡単に見つけて設定することができる。

例えば登録画像と識別画像とが、同一の被写体を図１９に示す条件で撮影されたものである場合、最適条件提示処理部３１４は、それぞれの画像の対応点数から例えば図２０に示すグラフ、この場合、横軸に光量設定値つまりＬｕｘをとり、縦軸に対応点数をとったグラフを生成する。そして、最適条件提示処理部３１４は、このグラフから、登録画像と識別画像との対応点数が多く、かつ、ロバスト性が高い条件の組み合わせを見つける。この場合、照明距離１のＡ１のグラフの頂点の光量設定値が、対応点数が多くかつ最もロバスト性が高いことがわかる。そのため、この場合、最適条件提示処理部３１４は、照明距離１と照明距離１におけるＡ１のグラフの頂点の光量設定値を撮影対象条件と撮影機器条件との組み合わせの最適条件として提示する。このようにして、最適条件提示処理部３１４は、撮影対象条件と撮影機器条件との最適な組み合わせをユーザに提示する。なお、最適条件提示処理部３１４は、対応点数が多くかつロバスト性が高い条件の候補をいくつか選択し、これらの条件をおすすめ条件としてユーザに提示することもできる。また、最適条件提示処理部３１４は、図２０に示すグラフを表示装置１２に表示させる処理を行っても良い。

最適条件提示処理は、特徴点抽出処理に関する条件である特徴抽出条件を予め複数準備し、総当たり条件生成処理で生成された全ての条件で同一の撮影した登録画像及び識別画像について、予め準備した複数の特徴抽出条件で特徴点抽出処理を実行して得られた特徴点を用いて照合処理を実行して得られる対応点数が最も多くなる条件の組み合わせ提示する処理を含む。これにより、ユーザは、特徴抽出条件を含めて撮影機器条件と撮影対象条件との最適な組み合わせを簡単に見つけて設定することができる。

照合識別条件調整装置３２は、画像照合識別装置２６の検索処理部２６１及び照合処理部２６２で用いられる照合識別アルゴリズムのパラメータのチューニングを行う機能を有する。照合識別条件調整装置３２は、画像照合識別装置２６からのフィードバックを受けて自動で、又はユーザからの操作を受けて手動で、特徴抽出装置２２や画像照合識別装置２６の処理で用いる条件やパラメータ等を調整し、その条件やパラメータを特徴抽出装置２２や画像照合識別装置２６に指示する機能を有する。本実施形態の場合、照合識別条件調整装置３２は、記録装置２４の評価用画像登録部２４２に登録されている評価用画像を用いて画像照合識別装置２６の照合処理部２６２で照合を行い、その照合結果この場合対応点数に応じて条件やパラメータを調整する。

ユーザは、例えば入力装置１１を操作して照合識別条件調整装置３２における処理を実行することで、特徴抽出装置２２や画像照合識別装置２６で用いる条件やパラメータを調整することができる。照合識別条件調整装置３２は、図９に示すように、特徴抽出条件調整処理部３２１、大域特徴量辞書設定処理部３２２、大域特徴量相関係数計算処理部３２３、パラメータセット生成処理部３２４、及びパラメータセット設定処理部３２５を有している。

特徴抽出条件調整処理部３２１は、特徴抽出条件調整処理を実行可能である。特徴抽出条件調整処理は、特徴点抽出処理部２２１における特徴点抽出処理又は局所特徴量計算処理部２２２における局所特徴量計算処理で用いる特徴抽出条件を調整する処理を含む。ユーザは、入力装置１１を操作して、特徴点を抽出し局所特徴量を計算する際のピラミッド画像の段数、及びコーナーやカーブらしさを決定するための閾値等の特徴抽出条件を調整し設定することができる。

特徴抽出条件調整処理は、画像照合識別装置２６の照合処理部２６２における照合処理の結果に基づき、局所特徴量計算処理による特徴抽出条件について正対応点数と負対応点数との比が最も大きくなるように調整する処理を含んでいる。本実施形態において、正対応点とは、図１８（Ａ）に示すように、記録装置２４の評価用画像登録部２４２に登録されている登録画像群のうち識別画像の被写体と同一の被写体を撮影した登録画像と、識別画像と、の対応点を意味する。そして、正対応点数とは、正対応点の数を意味する。図１８（Ａ）の例では、登録画像に写っている被写体Ｓ１と識別画像に写っている被写体Ｓ１は同一である。

また、負対応点とは、図１８（Ｂ）に示すように、記録装置２４の評価用画像登録部２４２に登録されている登録画像群のうち識別画像の被写体と異なる被写体を撮影した登録画像と、識別画像との対応点を意味する。そして、負対応点数とは、負対応点の数を意味する。図１８（Ｂ）の例では、登録画像に写っている被写体Ｓ２と識別画像に写っている被写体Ｓ１とは異なるものである。

大域特徴量辞書設定処理部３２２は、大域特徴量辞書設定処理を実行可能である。大域特徴量辞書設定処理は、大域特徴量計算統計情報ごとにスコアを計算して、そのスコアが高いものを、局所特徴量群分類処理部２２３の局所特徴量群分類処理で用いる大域特徴量辞書として自動で設定する処理を含む。大域特徴量計算統計情報とは、大域特徴量計算処理により大域特徴量を計算する過程、すなわち局所特徴量群分類処理部２２３における局所特徴量群分類処理の過程で得られる統計情報であり、局所特徴量と相関が高い辞書情報に投票して得たヒストグラム又は相関値の統計量のスコアで表すことができる。特定の辞書情報が選ばれる回数等の統計情報によるスコアが高い辞書情報は性能が高いと考えられる。大域特徴量辞書設定処理によれば、そのような性能が高い辞書情報を有する大域特徴量辞書を自動で選択することができる。

大域特徴量辞書設定処理は、大域特徴量辞書登録部２４５に登録されている複数の大域特徴量辞書のうち、大域特徴量相関係数に基づき、同一の被写体を撮影した登録画像と識別画像とを同一であると判断し、異なる被写体を撮影した登録画像と識別画像とを同一でないと判断できる大域特徴量辞書を選択して、局所特徴量群分類処理に用いる大域特徴量辞書に設定する処理を含む。

大域特徴量相関係数は、登録画像と識別画像とにおける大域特徴量の一致度つまり性能を示す一つの指標となる。２つの画像間における大域特徴量の相関が大きいほど、両者の画像に同一の被写体が含まれている可能性が高いことを意味する。そのため、同一の被写体を撮影した画像間における大域特徴量の相関が大きいということは、その同一の被写体を撮影した画像についてその大域特徴量辞書を使って計算した大域特徴量の一致度が高いことを意味する。すなわちこれは、同一の被写体を撮影した画像間においてその大域特徴量辞書の性能が高いことを意味する。

一方、２つの画像間における大域特徴量の相関が小さいほど、両者の画像に含まれる被写体が異なる可能性が高いことを意味する。そのため、異なる被写体を撮影した画像間における大域特徴量の相関が小さいということは、その異なる被写体を撮影した画像についてその大域特徴量辞書を使って計算した大域特徴量の一致度が低いことを意味する。すなわちこれは、異なる被写体を撮影した画像間においてその大域特徴量辞書の性能が高いことを意味する。

大域特徴量辞書設定処理は、例えば次のようにして大域特徴量相関係数を計算し、その大域特徴量相関係数に基づいて大域特徴量辞書の性能を判断することができる。すなわち、大域特徴量辞書設定処理は、２つの大域特徴量がベクトルＶであるとき、それぞれの絶対値を１に正規化し内積をとった値であって当該内積の値が１に近いものについて同一性が高いと判断し、当該内積の値が－１に近いものについて同一性が低いと判断する。

この場合、例えば２つの大域特徴量のうち１つの大域特徴量ベクトルＶａを次の（２）式とし、正規化された大域特徴量ベクトルＶｂを次の（３）式とし、ｄを自然数として定義する。この場合、正規化された大域特徴量ベクトルＶｂは、大域特徴量ベクトルＶａを用いて次の（４）式で表される。そして、大域特徴量ベクトルＶａを次の（５）式とすると、大域特徴量ベクトルＶａの絶対値は、次の（６）式となる。

そして、２つの大域特徴量のうちもう１つの大域特徴量ベクトルＷａを次の（７）式とすると、その内積の値は、次の（８）式となる。そして、大域特徴量辞書登録部２４５は、（８）式で得られた内積の値つまり大域特徴量相関係数が１に近いものについては同一性が高いつまり同一の被写体である可能性が高いと判断し、当該内積の値が－１に近いものについては同一性が低いつまり同一の被写体である可能性が低いと判断する。

また、大域特徴量辞書設定処理は、例えば次のようにして大域特徴量相関係数を計算し、その大域特徴量相関係数に基づいて大域特徴量辞書の性能を判断することができる。すなわち、大域特徴量相関係数は、２つの大域特徴量のベクトル間の距離の値とする。そして、大域特徴量辞書設定処理は、２つの大域特徴量のベクトル間の距離の値である大域特徴量相関係数が０に近ければ同一性が高いと判断し、大きい場合は同一性が低いと判断する。

この場合、例えば２つのうち一方の大域特徴量ベクトルＶａを上記（２）、（５）式とし、もう一方の大域特徴量ベクトルＷａを上記（７）、及び下記（９）式とするとき、大域特徴量ベクトルＶａ、Ｗａ間の距離は、次の（１０）式で表される。

そして、大域特徴量辞書登録部２４５は、（１２）式で得られたベクトルＶａ、Ｗａ間の距離が近いつまり０に近いものについては同一性が高いつまり同一の被写体である可能性が高いと判断し、ベクトルＶａ、Ｗａ間の距離が大きいものについては同一性が低いつまり同一の被写体である可能性が低いと判断する。なお、このときそれぞれのベクトルＶａ、Ｗａは必ずしも正規化されている必要はない。

大域特徴量相関係数計算処理部３２３は、大域特徴量相関係数計算処理を実行可能である。大域特徴量相関係数計算処理は、各登録画像の大域特徴量と識別画像の大域特徴量とを比較し、その相関関係を示す大域特徴量相関係数を計算する処理を含む。例えば、大域特徴量相関係数計算処理は、各登録画像の大域特徴量と識別画像の大域特徴量とのヒストグラムを比較して大域特徴量相関係数を計算することができる。

パラメータセット生成処理部３２４は、パラメータセット生成処理を実行可能である。パラメータセット生成処理は、例えば図１７に示すように、画像照合識別装置２６の照合処理部２６２で実行される照合処理の条件を設定するためのパラメータについて、各パラメータに定められた設定範囲内の設定値に設定された各パラメータを組み合わせて複数のパラメータセットを生成する処理を含む。本実施形態の場合、パラメータセット生成処理は、各パラメータの設定値の全ての組み合わせについてのパラメータセットを生成する。

パラメータセット設定処理部３２５は、パラメータセット設定処理を実行可能である。パラメータセット設定処理は、ユーザの操作に基づいて、検索処理部２６１の検索処理で使用するパラメータセットを設定する処理を含む。ユーザは、例えば入力装置１１を操作して、検索処理部２６１の検索処理で使用するパラメータセットを設定することができる。

可視化装置３３は、画像照合識別装置２６から受けた情報や、撮影条件調整装置３１及び照合識別条件調整装置３２の調整結果に関する情報等の各種の情報を可視化して表示装置１２に表示する機能を有する。本実施形態において可視化とは、データを文字や数値だけでなく図形やグラフ等にして表示装置１２に表示することを含む。可視化装置３３は、図１０に示すように、特徴点表示処理部３３１、大域特徴量計算統計情報表示処理部３３２、照合結果表示処理部３３３、及び条件表示処理部３３４を有している。

特徴点表示処理部３３１は、特徴点表示処理を実行可能である。特徴点表示処理は、撮影条件調整装置３１や照合識別条件調整装置３２により各種の条件やパラメータを調整する際に実行することができる。特徴点表示処理は、例えば図２１（Ａ）に示すように、特徴抽出装置２２の特徴点抽出処理部２２１における特徴点抽出処理の実行により抽出した各特徴点Ｐを、画像に重ねて表示装置１２に表示する処理を含む。すなわち、画像中の被写体Ｓ上に特徴点Ｐが重ねて表示される。これにより、ユーザは、画像中の被写体Ｓのどこを特徴点として抽出されているかを視認することができる。また、特徴点表示処理は、図２１（Ａ）に示すように、局所特徴量が属する局所特徴量群ごとに、この場合、各特徴点Ｐがクラスタリングされて当てはめられた辞書情報ｄごとに異なる態様、例えば異なる色や大きさ、形状で各特徴点Ｐを表示装置１２に表示する処理を含む。図２１では、各特徴点Ｐの色彩の違いを濃淡の違いで表している。

大域特徴量計算統計情報表示処理部３３２は、大域特徴量計算統計情報表示処理を実行可能である。大域特徴量計算統計情報表示処理は、撮影条件調整装置３１や照合識別条件調整装置３２により各種の条件やパラメータを調整する際に実行することができる。大域特徴量計算統計情報表示処理は、大域特徴量計算統計情報を表示装置１２に表示する処理を含む。大域特徴量計算統計情報は、特徴抽出装置２２の大域特徴量計算処理部２２４で実行される大域特徴量計算処理により大域特徴量を計算する過程で得られる統計情報である。大域特徴量計算統計情報表示処理は、図２１（Ｂ）に示すように、各局所特徴量Ａと相関が高い辞書情報ｄに投票して得たヒストグラム又は相関値の統計量のスコアを、大域特徴量計算統計情報Ｇとして表示装置１２に表示する処理を含む。すなわち、大域特徴量計算統計情報Ｇは、大域特徴量計算処理の実行過程で得られる大域特徴量のヒストグラム又は相関値の統計量のスコアとすることができる。

照合結果表示処理部３３３は、照合結果表示処理を実行可能である。照合結果表示処理は、撮影条件調整装置３１や照合識別条件調整装置３２により各種の条件やパラメータを調整する際に実行することができる。照合結果表示処理は、画像照合識別装置２６の照合処理部２６２で実行された複数の照合処理の結果をまとめて可視化して表示装置１２に表示する処理を含む。

照合結果表示処理は、例えば図１７に示す各パラメータセットを用いて照合処理を実行した照合結果を、図２２に示すようにグラフ化して表示する処理を含む。この場合、照合結果表示処理部３３３は、同一の被写体の画像同士だけでなく、異なる被写体の画像同士についても照合処理を行う。そして、照合結果表示処理部３３３は、同一の被写体を撮影した画像間の対応点数である正対応点数と、異なる被写体を撮影した画像間の対応点数である負対応点数をそれぞれ計算してグラフ化して、表示装置１２に表示する。図２２のグラフは、横軸に条件Ｎｏをとり、縦軸に対応点数をとったものである。また、図２２のうち、Ｆ１は正対応点数のグラフを示し、Ｆ２は負対応点数のグラフを示す。図２２の例では、条件Ｎｏ．Ｎが最も正対応点数が多くかつ負対応点数が少ないことがわかる。これにより、ユーザは、正対応点数の多くかつ負対応点数が少ない条件Ｎｏつまり性能が良い条件Ｎｏを一見して把握することができる。

また、照合結果表示処理は、画像照合識別装置２６の照合処理部２６２において照合処理を実行した際に、照合に用いた識別画像の対応点数評価情報を表示装置１２に表示する処理を含む。対応点数評価情報は、照合処理で計算した対応点数に基づく情報であり、例えば対応点数そのままの数値でも良いし、例えば複数段階のレベルやスコアとすることもできる。

この場合、照合結果表示処理部３３３は、例えば図２３に示すように、表示装置１２の画面上に、登録画像表示部５１、真値画像表示領域５２、偽値画像表示領域５３、真値画像評価情報表示領域５４１、真値画像相関情報表示領域５４２、偽値画像評価情報表示領域５５１、及び偽値画像相関情報表示領域５５２を表示させる。登録画像表示部５１には、照合処理を行う画像のうち、記録装置２４の評価用画像登録部２４２に登録されている登録画像群の中の１つが表示される。

真値画像表示領域５２には、照合処理を行う画像のうち、記録装置２４の評価用画像登録部２４２に登録されている識別画像であって、登録画像表示部５１に表示されている画像の被写体と同一の被写体を異なる条件で撮影した画像が表示される。図２３の例では、登録画像表示部５１に表示されている画像の被写体Ｓ１と、真値画像表示領域５２に表示されている画像の被写体Ｓ１とは、同一の個体である。本実施形態においては、登録画像表示部５１に表示されている画像の被写体と同一の被写体を異なる条件で撮影した画像を、真値画像と称する。この場合、同一の被写体を撮影した登録画像と識別画像とは相互に紐付けされた状態つまりペアを組んだ状態で評価用画像登録部２４２に登録されている。つまり、照合結果表示処理部３３３は、登録画像と識別画像との紐付けを識別することで、同一の被写体を撮影したものか異なる被写体を撮影したものかを認識することができる。

そして、偽値画像表示領域５３には、照合処理を行う画像のうち、記録装置２４の評価用画像登録部２４２に登録されている識別画像であって、登録画像表示部５１に表示されている画像の被写体と異なる被写体を異なる条件で撮影した画像が表示される。図２３の例では、登録画像表示部５１に表示されている画像の被写体Ｓ１と、真値画像表示領域５２に表示されている画像の被写体Ｓ２とは、異なる個体である。本実施形態においては、登録画像表示部５１に表示されている画像の被写体と異なる被写体を撮影した画像を、偽値画像と称する。

また、真値画像評価情報表示領域５４１には、登録画像表示部５１に表示されている画像と、真値画像表示領域５２に表示されている画像とで照合処理を行った結果、つまり真値画像の対応点数評価情報が表示される。また、偽値画像評価情報表示領域５５１には、登録画像表示部５１に表示されている画像と、偽値画像表示領域５３に表示されている画像とで照合処理を行った結果、つまり偽値画像の対応点数評価情報が表示される。

照合結果表示処理は、大域特徴量相関係数に基づく情報を表示装置１２に表示する処理を含む。この場合、真値画像相関情報表示領域５４２には、登録画像表示部５１に表示されている登録画像から計算した大域特徴量と、真値画像表示領域５２に表示されている真値画像のから計算した大域特徴量との相関係数が表示される。そして、偽値画像相関情報表示領域５５２には、登録画像表示部５１に表示されている登録画像から計算した大域特徴量と、偽値画像表示領域５３に表示されている偽値画像から計算した大域特徴量とを比較して得た相関係数が表示される。

ユーザは、例えば入力装置１１を操作して、登録画像表示部５１、真値画像表示領域５２、偽値画像表示領域５３、真値画像評価情報表示領域５４１に表示する画像、つまり照合処理を行う画像を選択し、その画像について照合処理を実行する。そして、照合処理が行われると、照合結果表示処理部３３３は、その照合結果として、真値画像評価情報表示領域５４１及び偽値画像評価情報表示領域５５１にそれぞれ対応点数評価情報を表示するとともに、真値画像相関情報表示領域５４２及び偽値画像相関情報表示領域５５２にそれぞれ大域特徴量相関係数を表示する。これにより、ユーザは、真値画像評価情報表示領域５４１及び偽値画像評価情報表示領域５５１に表示される対応点数評価情報や、真値画像相関情報表示領域５４２及び偽値画像相関情報表示領域５５２に表示される大域特徴量相関係数に基づく情報を見ることにより、照合処理に用いた各種条件やパラメータの性能を確認することができる。この場合、大域特徴量相関係数に基づく情報とは、大域特徴量相関係数そのものの値でも良いし、大域特徴量相関係数を加工して性能を数段階で表すようなレベルやランク等としても良い。

照合結果表示処理部３３３は、例えば図１８に示すように、登録画像と識別画像の正対応点数又は負対応点数を表示装置１２に表示させても良い。また、照合結果表示処理部３３３は、例えば登録画像と識別画像とで、個々の画像がそれぞれ固有に有している特徴点と、共通に有している特徴点とを切り分けて表示しても良い。この場合、照合結果表示処理部３３３は、個々の画像が固有に有している特徴点と、共通に有している特徴点のその数や割合を表示するようにしても良い。そして、照合結果表示処理部３３３は、登録画像及び識別画像のみ表示するモードと、例えば登録画像及び識別画像に特徴点を加えて表示するモードと、登録画像及び識別画像に特徴点と対応点を加えて表示するモードと、を任意に切り替えるようにしても良い。

ここで、工業製品等のように同一の工程で製造された部品は、人の顔や指紋等の生態認証に比べて個体間の特徴の差が極めて小さい。そのため、個体表面に表れる多数の特徴を照合する必要があるため、計算量が多く識別に時間がかかり、そして識別対象の母数が増えるほど計算量は爆発的に増える。

これに対し、個体識別システム１は、画像取得処理部２１２、特徴点抽出処理部２２１、局所特徴量計算処理部２２２、局所特徴量群分類処理部２２３、検索対象画像登録処理部２３１、大域特徴量登録処理部２３４、絞り込み処理部２６１１、及び特定処理部２６１２を備える。画像取得処理部２１２は、撮影機器１０によって撮影した被写体の画像を取得する画像取得処理を実行可能である。特徴点抽出処理部２２１は、画像取得処理で取得した画像から特徴点を抽出する特徴点抽出処理を実行可能である。局所特徴量計算処理部２２２は、特徴点抽出処理で抽出された特徴点の局所特徴量を計算する局所特徴量計算処理を実行可能である。

局所特徴量群分類処理部２２３は、局所特徴量計算処理によって得られた複数の局所特徴量を当該局所特徴量の値に応じて所定数例えば６４個の局所特徴量群に分類する局所特徴量群分類処理を実行可能である。大域特徴量計算処理部２２４は、各局所特徴量群に基づいて大域特徴量を計算する大域特徴量計算処理を実行可能である。検索対象画像登録処理部２３１は、予め複数の検索対象の画像を登録画像として検索対象画像登録部２４１に登録する検索対象画像登録処理を実行可能である。大域特徴量登録処理部２３４は、登録画像に係る大域特徴量を大域特徴量登録部２４４に登録する大域特徴量登録処理を実行可能である。絞り込み処理部２６１１は、例えば図１５に示すように、複数の登録画像の中から識別画像が有する大域特徴量との相関が高い大域特徴量を有する所定数の登録画像を候補して絞り込む絞り込み処理を実行可能である。そして、特定処理部２６１２は、例えば図１６に示すように、絞り込み処理によって抽出された候補の登録画像の局所特徴量と、識別画像の局所特徴量とを比較し、局所特徴量の対応点数が最も多い登録画像を特定する特定処理を実行可能である。

この構成によれば、絞り込み処理部２６１１は、絞り込み処理の実行により、登録画像と識別画像の大域特徴量を比較して候補となる登録画像を大まかに絞り込む。この絞り込み処理は、それぞれの画像の局所特徴量を全て対比する特定処理に比べて計算量が少なく格段に高速で処理することができるものの、精度が出にくい。そこで次に、特定処理部２６１２は、特定処理の実行により、絞り込まれた候補の登録画像と、識別画像の局所特徴量を対比して対象を特定する。この特定処理は、大域特徴量で比較する絞り込み処理に比べて計算量が多く時間がかかるものの、精度が良い。このように、個体識別システム１は、大域特徴量で絞り込む絞り込み処理と、局所特徴量で特定する特定処理と、の２段階の処理を実行することにより、高速でかつ高精度の検索を実現することができる。これは、登録画像の母数が増えた場合に特に効果を発揮する。

そして、個体識別システム１は、撮影機器条件調整処理部３１１、撮影対象条件調整処理部３１２、及び特徴抽出条件調整処理部３２１のうち少なくともいずれか１つを更に備える。撮影機器条件調整処理部３１１は、ユーザの操作に基づき撮影機器１０に関する条件である撮影機器条件を調整する撮影機器条件調整処理を実行可能である。撮影対象条件調整処理部３１２は、ユーザの操作に基づき撮影対象に関する条件である撮影対象条件を調整する撮影対象条件調整処理を実行可能である。そして、特徴抽出条件調整処理部３２１は、ユーザの操作に基づき特徴点抽出処理に関する条件である特徴抽出条件を調整する特徴抽出条件調整処理を実行可能である。

これによれば、ユーザは、撮影機器条件調整処理部３１１、撮影対象条件調整処理部３１２、及び特徴抽出条件調整処理部３２１の少なくとも１つを操作し、各種条件やパラメータを設定するつまりチューニングを行うことができる。その結果、例えば製造工程途中で表面模様が変化する加工が施されるようなもの、つまり画像の登録時と識別時とで表面模様が変化する場合であっても柔軟に対応でき、高速で精度良く識別することができる。

個体識別システム１は、大域特徴量辞書生成処理部２５１を備える。大域特徴量辞書生成処理部２５１は、予め取得した複数の学習用画像から得た各局所特徴量群のそれぞれの代表値を辞書情報に持つ大域特徴量辞書を生成する大域特徴量辞書生成処理を実行可能である。そして、大域特徴量計算処理は、各局所特徴量と相関が高い辞書情報に投票して得たヒストグラムを大域特徴量として計算する処理を含む。また、大域特徴量計算処理は、各局所特徴量と相関が高い辞書情報である代表値との差分ベクトルを総和したベクトルを代表値の数だけ計算しそれらをつなげたベクトルを大域特徴量として計算する処理を含んでいても良い。

すなわち、被写体の種類や状態によっては、どのような箇所を特徴点として抽出されるかが変わってくるため、画像から得られた局所特徴量を単純に分類して大域特徴量を計算しただけでは、大域特徴量の性能が低い、つまり識別能力が低い可能性がある。これに対し、本構成によれば、被写体に適した辞書情報を有する大域特徴量辞書を用いることで、被写体の種類や状態が変わっても、性能の良い大域特徴量を得ることができ、その結果、絞り込み処理の精度を上げることができる。

また、本構成において、大域特徴量辞書生成処理は、局所特徴量群のセントロイドを代表値として辞書情報に設定する処理を含む。局所特徴量群のセントロイドは、その局所特徴量群を代表するものである。このため、局所特徴量群のセントロイドを代表値として辞書情報に設定することで、性能の良い大域特徴量辞書を得ることができる。

個体識別システム１は、画像取得処理部２１２と、特徴点抽出処理部２２１と、を備え、特徴点表示処理部３３１と、を更に備える。特徴点表示処理部３３１は、例えば図２１に示すように、特徴点抽出処理により抽出した特徴点を画像に重ねて表示装置１２に表示する特徴点表示処理を実行可能である。

個体識別システム１は、撮影機器条件調整処理部３１１、撮影対象条件調整処理部３１２、及び特徴抽出条件調整処理部３２１のうち少なくともいずれか１つを備えている。撮影機器条件調整処理部３１１は、ユーザの操作に基づき撮影機器１０に関する条件である撮影機器条件を調整する撮影機器条件調整処理を実行可能である。撮影対象条件調整処理部３１２は、ユーザの操作に基づき撮影対象に関する条件である撮影対象条件を調整する撮影対象条件調整処理を実行可能である。そして、特徴抽出条件調整処理部３２１は、ユーザの操作に基づき特徴点抽出処理に関する条件である特徴抽出条件を調整する特徴抽出条件調整処理を実行可能である。

例えば個体識別システム１を生産現場で使用する場合、識別の対象となる部品は、製造工程中の経時変化や熱加工等されてその表面模様の色味等が変化するものがある。このような製造工程途中で表面模様の色味等が変化する加工が施される部品においては、その加工の前後、つまり画像の登録時と識別時とで抽出される特徴点の位置や数、及び局所特徴量が大きく変わる可能性があり、その結果、識別精度が低下してしまう。

これに対し、本構成によれば、特徴点抽出処理で抽出した特徴点が画像に重ねられて表示装置１２に表示されるため、ユーザは、画像の中のどの箇所が特徴点として抽出されているか見て確認することができる。そして、ユーザは、製造工程を経ても表面模様の色味等が変化難くい箇所について重点的に特徴点を抽出できるように、特徴抽出条件調整処理部３２１、撮影対象条件調整処理部３１２、及び特徴抽出条件調整処理部３２１の少なくとも１つを操作し、抽出される特徴点の位置を確認しながら各種条件やパラメータを設定するつまりチューニングを行うことができる。その結果、製造工程途中で表面模様が変化する加工が施されるようなもの、つまり画像の登録時と識別時とで表面模様が変化する場合であっても、精度良く識別することができる。

個体識別システム１は、局所特徴量計算処理部２２２と、局所特徴量群分類処理部２２３と、を備えている。そして、特徴点表示処理は、図２１（Ａ）に示すように、局所特徴量が属する局所特徴量群ごとに異なる態様、例えば色や大きさ、形状を異ならせた態様で特徴点を表示装置１２に表示する処理を更に含む。

これによれば、ユーザは、画像中のどこにどのような特徴点が存在しているか、一見して把握することができる。これにより、抽出された特徴点の位置を確認しながら各種条件やパラメータを設定する作業が更にやり易くなる。その結果、製造工程途中で表面模様が変化する加工が施されるようなものについて更に精度良く識別することができる。

個体識別システム１は、大域特徴量計算処理部２２４を備え、大域特徴量計算統計情報表示処理部３３２を更に備えている。大域特徴量計算統計情報表示処理部３３２は、図２１（Ｂ）に示すように、大域特徴量辞書生成処理の実行による大域特徴量の計算過程において局所特徴量群分類処理の過程で得られる大域特徴量計算統計情報Ｇを表示装置１２に表示する大域特徴量計算統計情報表示処理を実行可能である。

これによれば、ユーザは、どのような大域特徴量が得られたかが把握し易くなる。すなわち、域特徴量辞書のどの辞書情報にどのくらい投票がされたかという情報を表示することで、ユーザは、その域特徴量辞書が有する辞書情報の選ばれ方の偏り把握することができる。これにより、表示された大域特徴量計算統計情報Ｇを見ながら大域特徴量に関する各種条件やパラメータを設定する作業が更にやり易くなる。その結果、製造工程途中で表面模様が変化する加工が施されるようなものについて更に精度良く識別することができる。

個体識別システム１は、大域特徴量辞書生成処理部２５１を更に備える。大域特徴量辞書生成処理部２５１は、予め取得した複数の学習用画像から得た各局所特徴量群のそれぞれの代表値を辞書情報に持つ大域特徴量辞書を生成する大域特徴量辞書生成処理を実行可能である。そして、大域特徴量計算統計情報表示処理は、図１３に示すように大域特徴量の計算過程において各局所特徴量と相関が高い辞書情報ｄに投票して得たヒストグラム又は相関値の統計量のスコアを、図２１に示すように大域特徴量計算統計情報Ｇとして表示装置１２に表示する処理を含む。

これによれば、ユーザは、大域特徴量を視覚的でかつ直感的に把握し易くなる。これにより、表示された大域特徴量計算統計情報Ｇを見ながら大域特徴量に関する各種条件やパラメータを設定する作業が更にやり易くなる。その結果、製造工程途中で表面模様が変化する加工が施されるようなものについて更に精度良く識別することができる。

個体識別システム１は、大域特徴量辞書設定処理部３２２を更に備える。大域特徴量辞書設定処理部３２２は、大域特徴量計算統計情報ごとにスコアを計算して、そのスコアが高いものを局所特徴量群分類処理で用いる大域特徴量辞書として自動で設定する大域特徴量辞書設定処理を実行可能である。

これによれば、適切な大域特徴量辞書として自動で設定されるため、ユーザは、いちいち条件やパラメータを手動で調整する必要がなくなり、その結果、ユーザ利便性が向上する。

本構成の個体識別システム１を例えば工場等で使用する場合、登録画像の撮影と識別画像の撮影とは異なる場所で行われることが想定される。この場合、工場内で発生する粉塵や工場内の照明、外光等の自然光、周囲のノイズ源等が外乱の要因となって、登録画像の撮影と識別画像の撮影との撮影環境が大きく変わる可能性がある。すると、抽出される特徴点や局所特徴量等が変わり、識別性能が低下するおそれがある。

そこで、本構成の個体識別システム１は、画像取得処理部２１２と、特徴点抽出処理部２２１と、局所特徴量計算処理部２２２と、撮影対象条件調整処理部３１２と、撮影機器条件調整処理部３１１と、を備える。これによれば、ユーザは、撮影対象条件調整処理部３１２と撮影機器条件調整処理部３１１とを操作して、特徴点の抽出及び局所特徴量の計算に適した撮影対象条件及び撮影機器条件を調整することができる。そのため、環境の変化に応じて適切な条件を設定することにより、外乱の影響を低減させることができ、特徴としたい模様を適切に浮かび上がらせることができる。その結果、識別精度を向上させることができる。

個体識別装置２０は、総当たり条件生成処理部３１３を更に備える。総当たり条件生成処理部３１３は、予め設定された範囲内の撮影対象条件と予め設定された範囲内の撮影機器条件との組み合わせを総当たりで生成する総当たり条件生成処理を実行可能である。そして、画像取得処理は、総当たり条件生成処理で生成された全ての条件を撮影した画像を自動で取得する処理を含む。

これによれば、撮影対象条件と撮影機器条件とのそれぞれを変えた多数の画像を自動で撮影し取得することができる。そのため、撮影対象条件と撮影機器条件とのそれぞれを変えて最適な条件の組み合わせを探す場合に、ユーザの手作業で条件の組み合わせを生成し、撮影する必要がなくなる。その結果、撮影対象条件及び撮影機器条件の条件を調整する手間を低減することができる。そして、性能の良い条件を簡単に設定することができるため、識別性能の向上も図ることができる。

個体識別装置２０は、最適条件提示処理部３１４を更に備えている。最適条件提示処理部３１４は、総当たり条件生成処理で生成された全ての条件で撮影した登録画像及び識別画像のうち、同一の被写体を撮影した前記登録画像と前記識別画像との対応点数が多い撮影対象条件と撮影機器条件との組み合わせを最適条件として提示する最適条件提示処理を実行可能である。これによれば、ユーザは、特徴点の数が多い最適な条件を簡単に取得し設定することができるため、撮影対象条件及び撮影機器条件の条件を調整する手間を更に低減することができる。そして、撮影対象条件と撮影機器条件との最適な組み合わせを簡単に設定することができるため、識別性能の向上も図ることができる。

最適条件提示処理は、特徴点抽出処理に関する条件である特徴抽出条件を予め複数準備し、総当たり条件生成処理で生成された全ての条件で同一の被写体を撮影した登録画像及び識別画像について予め準備した複数の特徴抽出条件で特徴点抽出処理を実行して得られた特徴点を用いて照合した際の対応点数が最も多くなる条件の組み合わせ提示する処理を含む。これによれば、ユーザは、撮影対象条件及び撮影機器条件の条件に加え、特徴点抽出処理に関する特徴抽出条件との組み合わせのうち最適な条件を簡単に取得することができる。これにより、撮影対象条件と撮影機器条件と特徴抽出条件とを調整する手間を更に低減することができる。そして、撮影対象条件と撮影機器条件と特徴抽出条件との最適な組み合わせを簡単に設定することができるため、識別性能の更なる向上を図ることができる。

例えば工業製品の部品においては、人の顔や指紋と異なり、照合識別しようとする対象の種類や材質、加工方法によってその表面に表れる模様の特徴も様々である。このため、識別しようとする対象の種類によって、照合識別に用いるアルゴリズムのパラメータを適切なものに調整する必要がある。しかし、パラメータの項目は多数あり、その全ての組み合わせの中からユーザが手動で最適な組み合わせを探すことは大変な手間と時間がかかる。

そこで、個体識別システム１は、特徴点抽出処理部２２１、及び局所特徴量計算処理部２２２を備える。また、個体識別システム１は、照合処理部２６２、パラメータセット生成処理部３２４、及びパラメータセット設定処理部３２５を更に備える。照合処理部２６２は、登録画像と識別画像とにおける局所特徴量を比較し特徴点の対応点数を取得して登録画像と識別画像とを照合する照合処理を実行可能である。パラメータセット生成処理部３２４は、照合処理の条件を設定するためのパラメータについて、各パラメータに定められた設定範囲内の設定値に設定された各パラメータを組み合わせて複数のパラメータセットを生成するパラメータセット生成処理を実行可能である。パラメータセット設定処理部３２５は、ユーザの操作に基づいてパラメータセットを設定するパラメータセット設定処理を実行可能である。

照合処理は、パラメータセット生成処理で生成された各パラメータセットを用いて照合処理を実行する処理を含む。そして、個体識別システム１は、照合結果表示処理部３３３を更に備える。照合結果表示処理部３３３は、各パラメータセットを用いて照合処理を実行した場合の照合結果をまとめて表示装置１２に表示する照合結果表示処理を実行可能である。

これによれば、パラメータの組み合わせであるパラメータセットが自動で生成され、その各パラメータセットを用いて照合処理が行われる。そのため、ユーザは、パラメータの組み合わせをいちいち手作業で作成し照合を行う必要がなくなる。そして、その照合結果は、表示装置１２にまとめて表示される。そのため、ユーザは、表示装置１２に表示される結果を見ることで、各パラメータセットの性能を確認することができる。そして、ユーザは、表示装置１２に表示された結果を見て適切なパラメータセットを選択すれば良い。これにより、照合識別しようとする対象の種類にかかわらず、照合識別に用いるアルゴリズムのパラメータを簡単に手間なく精度良く調整することができる。

照合結果表示処理は、図２２に示すように、各パラメータセットを用いて照合処理を実行した照合結果をグラフ化して表示する処理を含む。複数のパラメータセットのうち性能が良いものを視覚的でかつ直感的に把握し易くなる。これにより、精度の良いパラメータの調整作業を簡単に行うことができる。

個体識別システム１は、評価用画像登録処理部２３２を更に備える。評価用画像登録処理部２３２は、それぞれ異なる被写体を撮影した複数の登録画像を含む登録画像群と、登録画像群の中のうちの１つと同一の被写体でかつ異なる条件で撮影した識別画像と、を照合処理の評価用の画像として相互に紐付けした状態で評価用画像登録部２４２に登録する評価用画像登録処理を実行可能である。

これによれば、ユーザは、パラメータセットの評価を行う際に、いちいち画像を撮影する必要がなくなる。その結果、パラメータセットの評価を簡単に行うことができるようになる。また、これによれば、同一の被写体を撮影した登録画像及び識別画像は相互に紐付けした状態で登録されている。このため、登録画像及び識別画像を用いて照合処理を実行する際には、登録画像と識別画像の対応関係つまり同一の被写体を撮影したものか異なる被写体を撮影したものかが事前に明らかとなっている。これにより、対応関係が明らかな画像を用いることで、その照合処理において得たい結果を明らかにすることができ、ユーザは、照合処理に用いたパラメータセットを評価し易くなる。

つまり、同一の被写体が撮影された登録画像及び識別画像を用いて照合処理を実行した場合に対応点数が多く、かつ、異なる被写体が撮影された登録画像及び識別画像を用いて照合処理を実行した場合に対応点数が少なければ、ユーザは、その照合処理に用いたパラメータセットの性能が高いと評価することができる。逆に、同一の被写体が撮影された登録画像及び識別画像を用いて照合処理を実行した場合に対応点数が少なく、又は、異なる被写体が撮影された登録画像及び識別画像を用いて照合処理を実行した場合に対応点数が少なければ、ユーザは、その照合処理に用いたパラメータセットの性能が低いと評価することができる。

照合処理は、登録画像群に含まれる１つ以上の登録画像と識別画像とを照合する処理を含む。そして、照合結果表示処理は、図２３に示すように、照合処理で計算した対応点数に基づく対応点数評価情報を表示装置１２に表示する処理を含む。これによれば、ユーザは表示装置１２に表示される対応点数評価情報を見ることで、そのパラメータセットの性能を簡単に評価でき、これにより照合識別しようとする対象の種類に応じて適切なパラメータセットを選択することができる。その結果、どのような種類の対象であっても高い照合識別性能を発揮することができる。

個体識別装置２０は、特徴抽出条件調整処理部３２１を更に備える。特徴抽出条件調整処理部３２１は、特徴抽出条件調整処理を実行可能である。特徴抽出条件調整処理は、登録画像群のうち識別画像の被写体と同一の被写体を撮影した登録画像と識別画像との対応点数である正対応点数と、登録画像群のうち識別画像の被写体と異なる被写体を撮影した登録画像と識別画像との対応点数である負対応点数と、を計算する処理を含む。そして、特徴抽出条件調整処理は、局所特徴量計算処理による特徴抽出条件について正対応点数と負対応点数との比が最も大きくなるように調整する処理を含む。

この場合、特徴抽出条件調整処理部３２１は、正対応点数と負対応点数との比が最も大きくなるように、正対応点数が多くかつ負対応点数が少ない特徴抽出条件を探す。正対応点数が多いということは、同一の被写体を撮影した画像間の対応点数が多いことを意味する。これは、同一の被写体を写した画像間の照合処理において、画像に含まれる被写体が同一のものである可能性が高いと識別していること、すなわち、同一の被写体を写した画像間における識別性能が高いことを意味する。また、負対応点数が少ないということは、異なる被写体を撮影した画像間の対応点数が少ないことを意味する。これは、異なる被写体を写した画像間の照合処理において、画像に含まれる被写体が異なるものである可能性高いと識別していること、すなわち、異なる被写体を写した画像間における識別性能が高いことを意味する。

このように、特徴抽出条件調整処理部３２１は、同一の被写体を写した画像間及び異なる被写体を写した画像間の照合識別性能が高くなるように特徴抽出条件を自動で調整し、これにより、高い照合識別性能を得つつ調整にかかるユーザの手間を省くことができる。

個体識別システム１は、局所特徴量群分類処理部２２３と、大域特徴量計算処理部２２４と、を備える。そして、個体識別システム１は、大域特徴量相関係数計算処理部３２３を更に備える。大域特徴量相関係数計算処理部３２３は、各登録画像の大域特徴量と識別画像の大域特徴量とを比較しその相関関係を示す大域特徴量相関係数を計算する大域特徴量相関係数計算処理を実行可能である。そして、照合結果表示処理は、大域特徴量相関係数に基づく情報を表示装置１２に表示する処理を含む。

大域特徴量相関係数は、登録画像と識別画像とにおける大域特徴量の一致度つまり性能を示す１つの指標となる。表示装置１２に大域特徴量相関係数に基づく情報を表示することで、ユーザは、大域特徴量の性能を容易に把握することができる。そのため、ユーザは、表示装置１２に大域特徴量相関係数に基づく情報を１つの目安として各種条件やパラメータの調整作業を行うことができるため、より作業がし易くなる。

個体識別システム１は、大域特徴量辞書登録部２４５と、大域特徴量辞書設定処理部３２２と、を更に備えている。大域特徴量辞書設定処理部３２２は、大域特徴量辞書設定処理を実行可能である。大域特徴量辞書設定処理は、大域特徴量辞書登録部２４５に登録されている複数の大域特徴量辞書のうち、大域特徴量相関係数に基づき同一の被写体を撮影した登録画像と識別画像とを同一と判断し、異なる被写体を撮影した登録画像と識別画像とを同一でないと判断できる大域特徴量辞書を選択して、局所特徴量群分類処理に用いる大域特徴量辞書に設定する処理を含む。

大域特徴量相関係数は、上述したように、登録画像と識別画像とにおける大域特徴量の相関の一致度を示す１つの指標となる。２つの画像間における大域特徴量の相関が大きいほど、両者の画像に同一の被写体が含まれている可能性が高いことを意味する。そのため、同一の被写体を撮影した画像間における大域特徴量の相関が大きいということは、その同一の被写体を撮影した２つの画像について計算された大域特徴量の一致度が高いことを意味する。すなわちこれは、同一の被写体を撮影した画像間においてその大域特徴量辞書の性能が高いことを意味する。

一方、２つの画像間における大域特徴量の相関が小さいほど、両者の画像に含まれる被写体が異なる可能性が高いことを意味する。そのため、異なる被写体を撮影した画像間における大域特徴量の相関が小さいということは、その異なる被写体を撮影した画像についてその大域特徴量辞書を使って計算した大域特徴量の一致度が低いことを意味する。すなわちこれは、異なる被写体を撮影した画像間においてその大域特徴量辞書の性能が高いことを意味する。

本構成によれば、大域特徴量辞書設定処理によって、同一の被写体を写した画像間での性能が高く、かつ異なる被写体を写した画像間での性能も高い大域特徴量辞書を自動で設定することができる。したがって、ユーザの調整の手間が省かれるとともに、高い照合識別性能を得ることができる。

大域特徴量辞書設定処理は、２つの大域特徴量がベクトルであるとき、それぞれ絶対値を１に正規化し内積をとった値であって当該内積の値が１に近いものについて同一性が高いと判断し、当該内積の値が－１に近いものについて同一性が低いと判断する処理を含んでいても良い。また、大域特徴量相関係数は、２つの大域特徴量のベクトル間の距離の値とすることができる。この場合、大域特徴量辞書設定処理は、２つの大域特徴量のベクトル間の距離の値が０に近ければ同一性が高いと判断し、大きい場合は同一性が低いと判断する処理を含む。これらの構成によれば、大域特徴量辞書の性能を定量的に評価することができる。

個体識別システム１は、画像取得処理部２１２と特徴点抽出処理部２２１と特定処理部２６１２とを有する個体識別装置２０を備える。そして、個体識別システム１は、個体識別装置２０の他に、可視化装置３３、撮影条件調整装置３１、及び照合識別条件調整装置３２、のうち少なくとも２つの装置を備える。

可視化装置３３は、特徴点表示処理部３３１を有する。特徴点表示処理部３３１は、特徴点抽出処理により抽出した特徴点を前記画像に重ねて表示装置１２に表示する特徴点表示処理を実行可能である。

撮影条件調整装置３１は、予め登録された複数の登録画像のうち同一の被写体を撮影した登録画像と識別画像とにおける局所特徴量を比較し特徴点の対応点数を取得して登録画像と識別画像とを照合する照合処理を個体識別装置２０に実行させるとともに、撮影対象条件調整処理部３１２と撮影条件調整装置３１とを有する。撮影対象条件調整処理部３１２は、撮影対象に関する条件である撮影対象条件を調整する撮影対象条件調整処理を実行可能である。撮影機器条件調整処理部３１１は、撮影機器１０に関する条件である撮影機器条件を調整する撮影機器条件調整処理を実行可能である。

照合識別条件調整装置３２は、パラメータセット生成処理部３２４と、パラメータセット設定処理部３２５と、を有する。パラメータセット生成処理部３２４は、照合処理の条件を設定するためのパラメータについて、各パラメータに定められた範囲内の設定値に設定された各パラメータを組み合わせて複数のパラメータセットを生成するパラメータセット生成処理を実行可能である。パラメータセット設定処理部３２５は、ユーザの操作に基づいてパラメータセットを設定するパラメータセット設定処理を実行可能である。そして、照合識別条件調整装置３２は、照合処理部２６２に、パラメータセット生成処理で生成された各パラメータセットを用いて照合処理を実行する処理を実行させる。そして、照合識別条件調整装置３２は、パラメータセットを用いて照合処理の照合結果をまとめて表示装置１２に表示する照合結果表示処理を実行可能な照合結果表示処理部３３３を更に有している。

個体識別システム１が可視化装置３３を備えることで、特徴点抽出処理で抽出した特徴点が画像に重ねられて表示装置１２に表示されるため、ユーザは、画像の中のどの箇所が特徴点として抽出されているか見て確認することができる。そして、ユーザは、製造工程でも表面模様が変化難くい箇所について重点的に特徴点を抽出できるように、抽出される特徴点の位置を確認しながら各種条件やパラメータを設定するつまりチューニングを行うことができる。その結果、製造工程途中で表面模様が変化する加工が施されるようなもの、つまり画像の登録時と識別時とで表面模様が変化する場合であっても、精度良く識別することができるといった優れた効果が得られる。

個体識別システム１が撮影条件調整装置３１を備えることで、ユーザは、撮影対象条件調整処理部３１２と撮影機器条件調整処理部３１１とを操作して、特徴点の抽出及び局所特徴量の計算に適した撮影対象条件及び撮影機器条件を調整することができる。そのため、環境の変化に応じた適切な条件を設定することにより、外乱の影響を低減させることができ、特徴とした模様を適切に浮かび上がらせることができる。その結果、識別精度を向上させることができるといった優れた効果が得られる。

個体識別システム１が照合識別条件調整装置３２を備えることで、ユーザは、パラメータの組み合わせをいちいち手作業で作成し照合を行う必要がなくなる。そして、その照合結果は、表示装置１２にまとめて表示される。そのため、ユーザは、表示装置１２に表示される結果を見ることで、各パラメータセットの性能を確認することができる。そして、ユーザは、表示装置１２に表示された結果を見て適切なパラメータセットを選択すれば良い。これにより、照合識別しようとする対象の種類にかかわらず、照合識別に用いるアルゴリズムのパラメータを簡単に手間なく精度良く調整することができるといった優れた効果が得られる。

そして、個体識別システム１は、可視化装置３３と撮影条件調整装置３１と照合識別条件調整装置３２とのうち少なくとも２つの装置を同時に備えることにより、上述した各装置の優れた効果を同時に２つ以上得ることができる。これにより、識別対象の表面模様の変化に対応できたり、外乱の影響を受け難くできたり、条件やパラメータの調整にかかるユーザ手間を低減して精度の条件やパラメータの精度を高めることができ、その結果、照合識別の性能を高めることができる。

個体識別システム１は、可視化装置３３と撮影条件調整装置３１と照合識別条件調整装置３２とを備えている。これによれば、可視化装置３３と撮影条件調整装置３１と照合識別条件調整装置３２とを全て同時に備えることにより、上述した各装置の優れた効果を全て同時に得ることができる。すなわち、この個体識別システム１によれば、識別対象の表面形状の変化に対応でき、外乱の影響を受けにくい調整を行うことができ、更には条件やパラメータの調整にかかるユーザ手間を低減することができる。

検索処理部２６１は、絞り込み処理を実行可能な絞り込み処理部２６１１を更に有している。絞り込み処理は、検索対象画像登録部２４１に登録されている複数の登録画像の中から識別画像が有する大域特徴量との相関が高い大域特徴量を有する所定数の登録画像を特定処理における候補として絞り込む処理を含む。

これによれば、検索処理は、大域特徴量で絞り込む絞り込み処理と、局所特徴量で特定する特定処理と、の２段階の処理を実行することにより、高速での検索を実現することができる。その結果、本構成の個体識別システム１によれば、その結果、照合識別性能が高くかつ高速での検索を実現することができる。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１…個体識別システム、１０、１０ａ、１０ｂ…撮影機器、１２…表示装置、２０…個体識別装置、３０…調整装置、３１…撮影条件調整装置、３２…照合識別条件調整装置、３３…可視化装置、２１２…画像取得処理部、２２１…特徴点抽出処理部、２２２…局所特徴量計算処理部、２４１…検索対象画像登録部、２６１…検索処理部、２６２…照合処理部、３１１…撮影機器条件調整処理部、３１２…撮影対象条件調整処理部、３２４…パラメータセット生成処理部、３２５…パラメータセット設定処理部、３３１…特徴点表示処理部、３３３…照合結果表示処理部、２６１１…絞り込み処理部、２６１２…特定処理部

Claims (2)

1. 撮影機器によって撮影した被写体の画像を識別画像として取得する画像取得処理を実行可能な画像取得処理部（２１２）と、
   前記画像取得処理で取得した前記識別画像に含まれる特徴点を抽出する特徴点抽出処理を実行可能な特徴点抽出処理部（２２１）と、
   前記特徴点抽出処理で抽出された前記特徴点の局所特徴量を計算する局所特徴量計算処理を実行可能な局所特徴量計算処理部（２２２）と、
   予め登録された複数の登録画像に係る前記局所特徴量と前記識別画像の前記局所特徴量とを比較し、複数の前記登録画像の中から前記識別画像の前記局所特徴量に最も相関が高い前記局所特徴量を有している登録画像を特定する特定処理を実行可能な特定処理部（２６１２）と、を有する個体識別装置を備える個体識別システム（１）であって、
   前記個体識別装置の他に、
   前記特徴点抽出処理により抽出した前記特徴点を前記画像に重ねて表示装置に表示する特徴点表示処理を実行可能な特徴点表示処理部（３３１）を有する、
   可視化装置（３３）、
   及び、
   予め登録された複数の登録画像のうち同一の被写体を撮影した前記登録画像と前記識別画像とにおける前記局所特徴量を比較し前記特徴点の対応点数を取得して前記登録画像と前記識別画像とを照合する照合処理を前記個体識別装置に実行させるとともに、
   撮影対象に関する条件である撮影対象条件を調整する撮影対象条件調整処理を実行可能な撮影対象条件調整処理部（３１２）と、
   前記撮影機器に関する条件である撮影機器条件を調整する撮影機器条件調整処理を実行可能な撮影機器条件調整処理部（３１１）と、
   を有する撮影条件調整装置（３１）、
   及び、
   前記照合処理の条件を設定するためのパラメータについて、各前記パラメータに定められた設定範囲内の設定値に設定された各前記パラメータを組み合わせて複数のパラメータセットを生成するパラメータセット生成処理を実行可能なパラメータセット生成処理部（３２４）と、
   ユーザの操作に基づいて前記パラメータセットを設定するパラメータセット設定処理を実行可能なパラメータセット設定処理部（３２５）と、を有し、
   前記個体識別装置に、前記パラメータセット生成処理で生成された各前記パラメータセットを用いて前記照合処理を実行する処理を実行させるとともに、
   各前記パラメータセットを用いて前記照合処理の照合結果をまとめて表示装置（１２）に表示する照合結果表示処理を実行可能な照合結果表示処理部（３３３）を更に有している、
   照合識別条件調整装置（３２）、
   を備えている個体識別システム（１）。
2. 前記個体識別装置は、
   複数の前記登録画像の中から前記識別画像が有する大域特徴量との相関が高い大域特徴量を有する所定数の前記登録画像を前記特定処理における候補として絞り込む絞り込み処理を実行可能な絞り込み処理部（２６１１）を更に有している、
   請求項１に記載の個体識別システム。

Images