JP6217886B1 - 物体管理装置 - Google Patents

Abstract

物体管理装置は、物体の表面が撮影された画像に含まれる、上記物体の表面の微細パターンに基づき、上記物体を管理する。物体管理装置は、位置補正手段を有する。位置補正手段は、複数の物体に共通に出現する微細パターンに基づいて、撮影された画像の位置合わせを行う。

Description

本発明は、物体管理装置、物体管理方法、およびプログラムに関する。

従来、工業製品や商品等の物体に対して、製造番号やバーコード、ＱＲコード等を付与することで、製品個々の品質や流通管理を行っている。また、ＩＣタグやＲＦＩＤを製品個々に付与し、無線通信方式によって、効率よく製品の生産から物流，販売等にいたる総合的な製品管理や製品の紛失防止、盗難防止、偽造防止を実現する技術がある。

しかしながら、上記製造番号やバーコード、ＱＲコード、あるいはＩＣタグやＲＦＩＤを用いる製品の物体管理方法は、これらを製造物個々に対して付与する必要がある。したがって、製品の生産量に比例してコストが膨大になるという問題があった。また、例えば、ネジやボルト等の小さな金属部品や樹脂製物品など、製造物によっては製造番号やバーコードを直接記入することや、上記タグを装着することが出来ない場合も多い。さらに、バーコード等を物理的に記入することや、タグを付与することが可能な製造物であっても、これらを付与することは、製造物の外観や意匠といったデザインを損ねてしまう課題がある。

そこで、製品表面の微細凹凸や紋様，素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮影装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う方法が提案されている。

例えば、特許文献１では、製品表面の特定部位に対して保護フィルムを貼り付け、保護フィルム貼付部位における製品表面のランダムパターンを、撮影装置を用いて画像として取得し、得られた撮影画像を用いた物品確認装置について記載されている。

また、特許文献２では、部品または生産物表面に形成された梨地紋様をカメラで撮影し、その撮影画像に含まれる梨地紋様の画像特徴を用いた、生産物識別手段について記載されている。

また、特許文献３では、微小なマークの印字の際に生じる、人為的に制御不可能なミクロ的形状情報を個体識別子とし、これをカメラ等で撮影することによる真贋判定方法について記載されている。

また、特許文献４、特許文献５、特許文献７では、個体識別や物品の真贋判定を目的として、物品上のタガント（微小粒子）のランダムパターンや物体自体が元来有している複製困難または複製不能な微細なランダムパターンを用いて物品の真贋判定を行う方法について記載されている。

また、特許文献６は、個人あるいは個体が持つ固有の局所構造特徴を抽出し、人や人工物を認識する方法について記載されている。また、特許文献８は、銀行券等の印刷物に描かれたパターンの位置に基づいて、印刷品質を検査する方法について記載されている。

特許第４３３７４２２号公報 ＷＯ２０１４／１６３０１４ 特許第４７７５７２７号公報 特表２００７−５３４０６７号公報 特開２０１３−１９６４１８号公報 特願２０１０−５０９２４０号（再表２００９／１３１２０９） 特開２０１４−２９６７８号公報 ＥＰ２０６２２２９Ｂ１（特表２０１０−５０３０９９）

ところで、物体表面の微細パターンに基づき個体管理を行う場合、登録時と照合時とで、姿勢を含めて同一の画像領域から微細パターンを観測することが必要である。そのためには、撮影された画像を正確に位置合わせする必要がある。

そのため、特許文献１、２、３、４、７には、位置合わせ用のマークを物体に施し、また、複数の物体が共通に持つ形状を用いて、撮影画像の位置合わせを行う技術が記載されている。具体的には、特許文献１では、物体上に十字のマークを付与し、相関法や残差逐次検定法等の照合手法を用いて画像上の十字マークの位置を特定し、その特定した位置を基準に観測領域を決定している。また、特許文献２では、物体上に記載したロゴの少なくとも一部の位置を特定し、その特定した位置を基準に梨地紋様の画像を正規化している。また、特許文献３、４では、画像から矩形の位置を特定し、その特定した矩形で囲まれた領域を観測領域としている。また、特許文献７では、Ｌ字、円、矩形、ひし形等の特定の形状を有するマークを製品に施し、そのマークに基づいて、製品を撮像して得た画像の傾き、スケールを補正している。

しかしながら、特許文献１乃至４および７に記載される、十字のマーク、ロゴ、矩形、Ｌ字などといった位置合わせ用のパターンは、人が目視で容易に確認できるほどのサイズ、すなわち物体の表面の微細パターンに比較して遥かに大きなサイズを有している。そのため、位置合わせ用のパターンを特定する際の照合精度が高くても、微細パターンのスケールでは無視できない位置合わせ誤差が生じる。例えば、位置合わせ用のパターンの線幅を１ｍｍ、相関法や残差逐次検定法等の照合精度の誤差を１％とすると、０．０１ｍｍの位置合わせ誤差が生じることになる。一般に、微細パターンのサイズ（線幅など）はマイクロメートルのスケール（０．００１ｍｍ〜０．１ｍｍ）であるため、０．０１ｍｍの位置合わせ誤差が生じると個体識別や真偽判定の精度が大きく低下する。

本発明の目的は、上述した課題を解決する物体管理装置を提供することにある。

本発明の一実施形態に係る物体管理装置は、
物体の表面が撮影された画像に含まれる、前記物体の表面の微細パターンに基づき、前記物体を管理する物体管理装置であって、
複数の前記物体に共通に出現する前記微細パターンに基づいて、前記撮影された画像の位置合わせを行う第１の位置補正手段、
を有する。

また、本発明の他の実施形態に係る物体管理方法は、
物体の表面が撮影された画像に含まれる、前記物体の表面の微細パターンに基づき、前記物体を管理する物体管理方法であって、
複数の前記物体に共通に出現する前記微細パターンに基づいて、前記撮影された画像の位置合わせを行う。

また、本発明の他の実施形態に係るプログラムは、
物体の表面が撮影された画像に含まれる、前記物体の表面の微細パターンに基づき、前記物体を管理するコンピュータを、
複数の前記物体に共通に出現する前記微細パターンに基づいて、前記撮影された画像の位置合わせを行う第１の位置補正手段、
として機能させる。

本発明は上述した構成を有するため、撮影された画像を正確に位置合わせすることができる。

その理由は、複数の物体に共通に出現する微細パターンに基づいて、撮影された画像の位置合わせを行うためである。

本発明の第１の実施形態に係る物体管理装置のブロック図である。 物体の表面が撮影された画像の模式図である。 本発明の第２の実施形態に係る物体管理装置のブロック図である。 本発明の物体管理装置のハードウェア構成例を示すブロック図である。 本発明の第２の実施形態に係る物体管理装置において大局的共通特徴および局所的共通構造特徴を抽出する事前処理の動作フローである。 本発明の第２の実施形態に係る物体管理装置における個体登録の動作の処理フローである。 本発明の第２の実施形態に係る物体管理装置における個体識別および個体照合の動作の処理フローである。 本発明の第３の実施形態に係る物体管理装置のブロック図である。 本発明の第３の実施形態に係る物体管理装置において局所的共通構造特徴を抽出する事前処理の動作フローである。 本発明の第３の実施形態に係る物体管理装置における個体登録の動作の処理フローである。 本発明の第３の実施形態に係る物体管理装置における個体識別および個体照合の動作の処理フローである。

物体表面の微細パターンに基づく個体管理は、同一の製造過程を経て製造される複数の製品の表面に、個々の製品固有の微細パターンが生成されていることを利用する。しかしながら、本発明者による研究において、同一の製造過程を経て製造される複数の製品の表面には、個々の製品固有の微細パターン以外に、それら複数の製品に共通な微細パターンが存在していることが発見された。本発明は、このような発見に基づいて提案されたものであり、複数の製品に共通な微細パターンに基づいて画像の位置決めを行う点を主たる特徴としている。以下、本発明を幾つかの実施形態を挙げて詳細に説明する。

[第１の実施形態]
図１は、本発明の第１の実施形態に係る物体管理装置１のブロック図である。

本実施形態に係る物体管理装置１は、物体の表面が撮影された画像３に含まれる、物体の表面の微細パターンに基づき、物体を管理する装置である。物体管理装置１は、位置補正手段２を有する。この位置補正手段２は、複数の物体に共通に出現する微細パターンに基づいて、撮影された画像３の位置合わせを行う機能を有する。位置補正手段２は、第１の位置補正手段とも呼ばれる。ここで、微細パターンは、マイクロメートルスケールが好ましい。

図２は、物体の表面が撮影された画像３の模式図である。図２において、画像中に描かれた黒丸４は、個々の物体に固有の微細パターンを模式的に表し、黒く塗りつぶされた矩形５は、複数の物体に共通な微細パターンを模式的に表している。

このように構成された物体管理装置１は、以下のように機能する。即ち、物体管理装置１は、物体の表面が撮影された画像３を入力すると、位置補正手段２を使用して、複数の物体に共通に出現する微細パターン５に基づいて、画像３の位置合わせを行う。そして、物体管理装置１は、位置合わせ後の画像３に含まれる、微細パターン４に基づき、物体を管理する。

このように本実施形態に係る物体管理装置１は、撮影された画像３を正確に位置合わせすることができる。

その理由は、複数の物体に共通に出現する微細パターン５に基づいて、撮影された画像３の位置合わせを行うためである。

例えば、微細パターン４、５のサイズ（線幅等）をマイクロメートルのスケール（０．００１ｍｍ〜０．１ｍｍ）、位置合わせ誤差を１％とすると、０．００００１ｍｍ〜０．００１ｍｍの位置合わせ誤差が生じる。しかし、この程度の誤差は、微細パターン４のスケール（０．００１ｍｍ〜０．１ｍｍ）では許容可能である。これに対して、微細パターンでなく、例えば線幅が１ｍｍの位置合わせ用パターンを使用する場合、位置合わせ誤差が同じ１％であっても、０．０１ｍｍの位置合わせ誤差が生じることになり、微細パターン４のスケール（０．００１ｍｍ〜０．１ｍｍ）では無視できない誤差となる。

[第２の実施形態]
次に、本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態に係る物体管理装置１００のブロック図である。

本実施形態に係る物体管理装置１００は、画像取得手段１０１と、画像記憶手段１０２と、大局的共通特徴抽出手段１０３と、大局的共通特徴記憶手段１０４と、局所的共通構造特徴抽出手段１０５と、局所的共通構造特徴記憶手段１０６と、第一の画像正規化手段１０７と、第一の特徴抽出手段１０８と、第二の画像正規化手段１０９と、第二の特徴抽出手段１１０と、特徴量記憶手段１１１と、スコア算出手段１１２と、判定手段１１３と、情報提示手段１１４とを備える。

画像取得手段１０１は、管理対象の製造物表面の画像を取得する機能を有する。画像記憶手段１０２は、画像取得手段１０１によって得られた撮影画像を記憶する機能を有する。大局的共通特徴抽出手段１０３は、画像記憶手段１０２に格納された撮影画像から、管理対象群共通の大局的な特徴を算出し、テンプレート画像として出力する機能を有する。管理対象群共通の大局的な特徴は、複数の物体に共通に出現する非微細パターンとも呼ばれる。大局的共通特徴記憶手段１０４は、大局的共通特徴として算出したテンプレート画像を保持する機能を有する。局所的共通構造特徴抽出手段１０５は、画像記憶手段１０２に格納された撮影画像から、管理対象群共通の局所的な構造特徴を算出し、局所共通構造特徴テンプレート画像として出力する機能を有する。管理対象群共通の局所的な構造特徴は、複数の物体に共通に出現する微細パターンとも呼ばれる。局所的共通構造特徴記憶手段１０６は、局所共通構造の特徴テンプレート画像を保持する機能を有する。第一の画像正規化手段１０７は、撮影画像と大局的共通特徴のテンプレート画像に基づき、撮影画像中の識別対象の向きや位置を揃える機能を有する。第一の画像正規化手段１０７は、第２の位置補正手段とも呼ばれる。第一の特徴抽出手段１０８は、第一の画像位置正規化手段１０７による正規化後の撮影画像（第一の正規化画像）に対して、局所的な構造特徴を強調する機能を有する。第一の特徴抽出手段１０８は、微細パターン強調手段とも呼ばれる。第二の画像正規化手段１０９は、局所共通構造の特徴テンプレート画像、および第一の特徴抽出手段１０８による局所的な構造特徴を強調した撮影画像を用いて、第一の画像正規化手段１０７による正規化後の撮影画像を再度、幾何学的に補正する機能を有する。第二の特徴抽出手段１１０は、第二の画像位置正規化手段１０９で正規化された画像（第二の正規化画像）から、物品の個体識別または個体認証に用いる特徴量を抽出する機能を有する。特徴量記憶手段１１１は、特徴量を保存する機能を有する。スコア算出手段１１２は、撮影画像から第二の特徴抽出手段１１０によって抽出した特徴量と、特徴量記憶手段１１１に格納された特徴量とを比較し、双方の特徴量の類似度を表すスコアを算出する機能を有する。スコア算出手段１１２は、照合手段とも呼ばれる。判定手段１１３は、算出されたスコアに基づき、管理対象の判定結果を出力する機能を有する。情報提示手段１１４は、判定結果に基づき個体管理情報を提示する機能を有する。

物体管理装置１００は、例えば図４に示すように、カメラ等の撮像部２０１と、キーボードやマウス等の操作入力部２０２と、液晶ディスプレイ等の画面表示部２０３と、通信インターフェース部２０４と、メモリやハードディスク等の記憶部２０５と、１以上のマイクロプロセッサ等の演算処理部２０６とを有するパーソナルコンピュータやスマートフォン等の情報処理装置２００と、プログラム２０７とで実現することができる。プログラム２０７は、情報処理装置２００の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部２０６の動作を制御することにより、演算処理部２０６上に、画像取得手段１０１、画像記憶手段１０２、大局的共通特徴抽出手段１０３、大局的共通特徴記憶手段１０４、局所的共通構造特徴抽出手段１０５、局所的共通構造特徴記憶手段１０６、第一の画像正規化手段１０７、第一の特徴抽出手段１０８、第二の画像正規化手段１０９、第二の特徴抽出手段１１０、特徴量記憶手段１１１、スコア算出手段１１２、判定手段１１３、および、情報提示手段１１４といった機能的手段を実現する。

次に、本実施形態に係る物体管理装置１００の動作を、図面を用いて説明する。物体管理装置１００の動作は、以下の三つに大別される。
（ａ）共通特徴を抽出する事前処理の動作
（ｂ）個体登録の動作
（ｃ）個体識別および個体照合の動作

[事前処理：大局的共通特徴抽出、および局所的共通構造特徴抽出処理]
まず、前段階の処理として、共通特徴を抽出する事前処理の動作を説明する。

図５は、大局的共通特徴、および局所的共通構造特徴を抽出する事前処理の動作フローである。

＜画像の取得と保存＞
まず、画像取得手段１０１によって得た、管理対象である製品の表面のパターンの画像を、少なくとも１枚、画像記憶手段１０２に保存する。即ち、画像取得手段１０１は、管理対象である複数個の製品それぞれの表面パターンの画像を取得し、画像記憶手段１０２に保存する。画像取得手段１０１は、各製品につき１枚の画像を取得してもよいし、複数枚の画像を取得してもよい。画像取得手段１０１は、カメラやスキャナ等の撮影装置、ネットワーク経由による画像データの取得装置、ＣＤ−ＲＯＭ等の記憶媒体経由等による画像データの取得装置、の何れであってもよい。

また、管理対象の製造物を製造する製造金型が複数存在する場合、画像取得手段１０１は、取得した製品の表面パターンの画像を製造金型別に画像記憶手段１０２に保存する。ここで、製造金型とは、鋳造もしくは圧造、あるいは切断等によって製品を製造するために使用する金型や切断機器を意味する。

例えば、製造金型Ａ１を使用した鋳造もしくは圧造によって製品を大量生産し、これと並行して、製造金型Ａ１と同一の金型である製造金型Ａ２を使用した鋳造もしくは圧造によって製品を大量生産するものとする。この場合、画像取得手段１０１は、製造金型Ａ１によって製造された製品の表面パターンの画像と製造金型Ａ２によって製造された製品の表面パターンの画像とを区別して、画像記憶手段１０２に保存する。このとき、製造金型Ａ１によって製造された製品には、製造金型Ａ１に固有のパターンが表面全体に転写されている。また、製造金型Ａ２によって製造された製品には、製造金型Ａ２に固有のパターンが表面全体に転写されている。

また例えば、切断機器Ｂ１を使用して素材を切断することによって製品を大量生産し、これと並行して切断機器Ｂ１と同一の切断機器である切断機器Ｂ２を使用して素材を切断することによって製品を大量生産するものとする。この場合、画像取得手段１０１は、切断機器Ｂ１によって製造された製品の表面パターンの画像と切断機器Ｂ２によって製造された製品の表面パターンの画像とを区別して、画像記憶手段１０２に保存する。このとき、切断機器Ｂ１によって製造された製品には、切断機器Ｂ１が有する切断に用いる刃の断面に固有の表面粗さの微細凹凸が切断面に現れる。また、切断機器Ｂ２によって製造された製品には、切断機器Ｂ２が有する切断に用いる刃の断面に固有の表面粗さの微細凹凸が切断面に現れる。ここで挙げた同一加工方法や機器はあくまで一例であり、その他の同一製造工程や加工機器も同様に扱うことができる。

＜大局的共通特徴抽出処理＞
次に、大局的共通特徴抽出手段１０３は、画像記憶手段１０２に保存された画像を少なくとも１枚読み込み、管理対象の製品群に共通の大局的特徴を抽出する。ここで、大局的特徴とは、人が目視で確認できる程度に大きなサイズの特徴を意味する。また、共通の大局的特徴とは、例えば、管理対象の製造物群に印刷、あるいは刻印されたブランドロゴやメーカ名、幾何学的なマークといった共通の形状等を指す。即ち、大局的特徴は、製品などの物体の設計上の特徴に基づくパターンである。なお、大局的特徴は、非微細パターンとも称される。

なお、大局的共通特徴は、上記ブランドロゴやメーカ名、幾何学的なマークといった、製造者が意図して入れた共通の形状に限る必要はなく、管理対象とする製品群の製造過程で発生するサイズの大きな表面パターンの共通の紋様等でもよい。例えば、管理対象とする製品群が、共通の製造金型を用いて鋳造・圧造される場合、各管理対象の製品表面には、金型の微細凹凸等が転写され、中にはサイズの大きな共通の微細凹凸が生じる場合がある。撮影画像上で、そのようなサイズの大きな共通の微細凹凸がパターンとして観測できる場合は、このパターンを大局的共通特徴として利用することができる。

大局的共通特徴の抽出では、例えば、大局的共通特徴抽出手段１０３は、撮影画像をユーザに提示し、ユーザが撮影画像を目視によって確認して撮影画像中のロゴ部分を選択すると、その選択されたロゴ部分を大局的共通特徴として抽出する。また、管理対象の製造物の撮影画像を複数枚用い、統計的に処理を行い、実現しても良い。たとえば、大局的共通特徴抽出手段１０３は、ユーザの手作業によって大まかに位置合わせされた数十個体の撮影画像が入力されると、位置合わせ後の画像の画素値の平均を求めた２次元データ配列を、大局的共通特徴として抽出する。この抽出方法の場合、個体固有の特徴であるランダムパターンは抑えられ、大局的共通特徴のＳ／Ｎ（信号対雑音比）は向上し、後段の画像正規化処理で有用になる。また、大局的共通特徴抽出手段１０３は、単純な画素値の平均ではなく、統計的な手法や機械学習に基づく手法によって、大局的共通特徴を算出しても良い。

大局的共通特徴抽出手段１０３は、算出した大局的共通特徴をテンプレート画像として、大局的共通特徴記憶部１０４に保存する。管理対象の製造物個々の登録時、および照合時においては、大局的共通特徴記憶部１０４に保存された大局的共通特徴を使用すればよく、大局的共通特徴抽出手段１０３は、登録時や照合時に、再度、大局的共通特徴を算出しなくても良い。もちろん、登録時や照合時に取得した画像を画像記憶手段１０２に保存し、大局的共通特徴抽出手段１０３が、定期的に大局的共通特徴を算出し、大局的共通特徴記憶部１０４に記憶されている古い大局的共通特徴を更新しても良い。

また、大局的共通特徴抽出手段１０３は、大局的共通特徴算出時に、共通特徴の各部分に対する重みを併せて算出し、大局的共通特徴記憶部２０４に保存しても良い。例えば、管理対象の製品群に共通するロゴマークを大局的共通特徴とした場合、安定な輪郭部や、撮影時の照明変動が発生しにくい画素位置の部分に対して高い重みを付け、不安定な領域部分については重みを低くすることで、後段の画像位置正規化の頑健性を向上する効果が見込める。

また、大局的共通特徴抽出手段１０３は、複数の大局的共通特徴を算出し、これらを複数のテンプレート画像として大局的共通特徴記憶部２０４に保存しても良い。例えば、複数の金型を用いて鋳造・圧造によって製造する部品の場合、製造金型毎の表面の紋様やランダムパターンの差異は大きい反面、同一製造金型から作られた部品は金型共通の特徴がある程度転写され、金型毎の大局的共通特徴を算出できる。即ち、大局的共通特徴抽出手段１０３は、部品などの物体を製造するための製造金型毎に、その製造金型を使用して製造された複数の物体の表面が撮像された複数の画像に基づいて、その製造金型を使用して製造された複数の物体に共通に出現する大局的共通特徴を抽出する。このような金型毎の大局的共通特徴を、後段の画像位置正規化処理で用いることで、高精度に位置合わせが可能になり、結果として個体識別や個体認証の精度を向上させる効果が見込める。また、画像位置正規化処理の成否によって、管理対象の部品がどの製造金型か判定することが可能になり、個体識別を行う際に、探索するデータ量を削減する効果が見込める。

＜局所的共通構造特徴抽出処理＞
続いて、局所的共通構造特徴抽出手段１０５は、画像記憶手段１０２に保存された画像を少なくとも１枚読み込み、管理対象の製品群に共通の局所的な構造特徴を抽出する。ここで、局所的な構造特徴とは、製造物表面の微細な凹凸や紋様等に対応する、微細な特徴を意味する。また、共通の局所的な構造特徴とは、複数の製造物表面に共通に出現する微細な特徴を指す。例えば、製造物表面の微細な凹凸に対応する、撮影時の照明変動に頑健な微小エッジや輪郭の部分形状等であって、複数の製造物表面に共通に出現する微細な特徴は、共通な局所的な構造特徴となり得る。例えば、管理対象とする製品群が、共通の製造金型を用いて鋳造・圧造される場合、各管理対象の製品表面には、金型の局所的な微細凹凸等の構造が転写され、共通の局所的微細凹凸が生じる。即ち、局所的な構造特徴は、製品などの物体が生成される過程で発生する特徴に基づくパターンである。局所的共通構造特徴抽出手段１０５は、撮影画像上で、共通の微細凹凸がわずかにパターンとして観測できる場合は、そのようなパターンを強調し、局所的共通構造特徴として利用する

なお、局所的共通構造特徴は、管理対象とする製品群の製造過程で発生する表面パターンの微細な共通構造に由来するものに限定されず、ブランドロゴやメーカ名、幾何学的なマークといった、製造者が意図して入れた共通の形状付近の微小なエッジや輪郭の部分形状に由来するものであってもよい。

局所的共通構造特徴抽出手段１０５は、一例として、撮影画像の局所領域毎に、輝度値近似平面の差分の平均と分散を算出し、これらに基づき輝度値を正規化することで、局所的な構造特徴を抽出する。例えば、局所的共通構造特徴抽出手段１０５は、特許文献６記載の、局所領域毎の輝度正規化処理フィルタを適用し、画像中の微細構造を強調する。このときのフィルタサイズ（局所領域のサイズ）は、撮影画像中のランダムパターンの大きさや、紋様の繰り返し幅に基づき決定する。なお、フィルタサイズの決定の仕方は、上記に限るものではなく、例えば複数のサイズを適用し、微細構造を強調してもよい。また、フィルタサイズ（局所領域のサイズ）は、事前に管理対象の表面を計測し、表面の粗さと画像取得手段の解像度、および撮影倍率等から、算出して決めてもよい。

局所的共通構造特徴抽出手段１０５が画像中の微細構造を強調する方法の詳細は以下の通りである。まず前提として、撮影画像は、画素値が２次元配列された２次元画像である。画素値は、任意の色空間上の値であればよく、特に限定されない。例えば、画素値は、ＲＧＢ色空間上の値でもよいし、または、ＹＣｂＣｒ色空間上の輝度値（Ｙ）もしくは色差値（Ｃｂ、Ｃｒ）であってもよい。局所的共通構造特徴抽出手段１０５は、撮影画像の各画素を着目画素Ｐ（ｐ，ｑ）とする。続いて、局所的共通構造特徴抽出手段１０５は、この直目画素Ｐ（ｐ，ｑ）を含む局所領域ΔＳ内の画素値ｆ（ｘ，ｙ）の集合を近似的に表す関数ｚである近似平面を決定する。ここで、ｘ，ｙは、当該画素値の局所領域ΔＳ内の座標位置を示す変数である。局所的共通構造特徴抽出手段１０５は、更に、撮影画像の画素値ｆ（ｘ，ｙ）とこれに対応する近似平面の値ｚ（ｐ，ｑ）との間の差分Δ（ｐ，ｑ）（＝ｆ（ｘ，ｙ）−ｚ（ｐ，ｑ））に比例する値を、撮影画像に関する構造特徴量ｇ（ｐ，ｑ）として算出する。構造特徴量ｇ（ｐ，ｑ）は、撮影画像内の全ての画素について算出される。この構造特徴量ｇ（ｐ，ｑ）の配列が、局所的な構造特徴を強調した画像である。

上記近似平面を表す関数ｚは、変数ｘ，ｙの一次関数であるｚ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃで表現される。関数のパラメータａ，ｂ，ｃは、関数値ｚ（ｘ，ｙ）と画素値ｆ（ｘ，ｙ）との差の２乗を算出し、局所領域ΔＳ内の全てのｘ，ｙについての当該２乗の合計が最小になるように定めることができる。

構造特徴量ｇ（ｐ，ｑ）は、ｇ（ｐ，ｑ）＝｛ｆ（ｐ，ｑ）−ｚ（ｐ，ｑ）｝／ｓに従って算出することができる。ここで、ｓは、局所領域ΔＳ内の差分Δ（ｘ，ｙ）の標準偏差である。

また、局所的共通構造特徴抽出手段１０５は、複数枚の撮影画像に対して、大局的共通特徴抽出手段１０３と同様、統計的に処理を行うことで、局所的共通構造特徴を抽出するように構成されていてもよい。たとえば、局所的共通構造特徴抽出手段１０５は、数十個体の撮影画像個々に対して局所的構造特徴を抽出し、抽出後の各画像をユーザに提示する。そして、ユーザによる手作業によって厳密に位置合わせされた複数の画像の画素値の平均を求めた２次元データ配列を、局所的構造共通特徴として抽出しても良い。このような抽出方法の場合、個体固有の特徴である局所構造特徴は抑えられ、局所的に共通の構造特徴のＳ／Ｎ（信号対雑音比）は向上し、後段の画像正規化処理で有用になる。また、局所的共通構造特徴抽出手段１０５は、単純な画素値の平均ではなく、統計的な手法や機械学習に基づく手法によって、局所的共通構造特徴を算出しても良い。

局所的共通構造特徴抽出手段１０５は、算出した局所的共通構造特徴を１つのテンプレート画像として局所的共通構造特徴記憶部１０６に保存する。管理対象の製造物個々の登録時、および照合時においては、局所的共通構造特徴記憶部１０６に保存された局所的共通特徴を使用すればよく、局所的共通構造特徴抽出手段１０５は、登録時や照合時に、再度局所的共通構造特徴を算出しなくても良い。もちろん、登録時や照合時に取得した画像を画像記憶手段１０２に保存し、局所的共通構造特徴抽出手段１０５を使用して、定期的に局所的共通構造特徴を算出し、局所的共通構造特徴記憶部１０６に記憶された古い局所的共通構造特徴を更新しても良い。

また、大域的共通特徴抽出手段１０３において、大域的共通特徴に加え、小さい重みで局所的構造特徴も付加したテンプレート画像を出力して置き、このテンプレート画像に対して後段の画像特徴抽出処理を適用することで、局所共通構造特徴を近似的に求めても良い。

また、局所的共通構造特徴抽出手段１０５は、局所的共通構造特徴算出時に、局所的共通構造特徴の各次元に対する重みを併せて算出し、局所的共通構造特徴記憶部に保存しても良い。これは、後段の画像位置正規化の頑健性を向上する効果が見込める。ここで、局所的共通構造特徴の各次元とは、撮影画像の複数の局所領域から局所的共通構造特徴を抽出する場合に１つの局所領域から抽出した局所的共通構造特徴成分を意味する。換言すれば、撮影画像の局所領域がｎ個あり、その各々から局所的共通構造特徴成分を抽出し、それらｎ個の局所共通構造特徴成分によって１つのテンプレート画像を構成する場合、当該テンプレート画像はｎ次元の局所的共通構造特徴成分を有すると称される。

また、局所的共通構造特徴抽出手段１０５は、１つのテンプレート画像を構成する局所的共通構造特徴を抽出するだけなく、複数の局所的共通構造特徴を算出し、これらを別々のテンプレート画像として局所的共通構造特徴記憶部２０６に保存しても良い。例えば、複数の金型を用いて鋳造・圧造によって製造する部品の場合、製造金型毎の表面の紋様やランダムパターンの差異は大きい反面、同一製造金型から作られた部品は金型共通の特徴がある程度転写され、金型毎の局所的共通構造特徴を算出できる。即ち、局所的共通構造特徴抽出手段１０５は、部品などの物体を製造するための製造金型毎に、その製造金型を使用して製造された複数の物体の表面が撮像された複数の画像に基づいて、その製造金型を使用して製造された複数の物体に共通に出現する局所的共通構造特徴を抽出する。金型毎の局所的共通構造特徴を、後段の画像位置正規化処理で用いることで、高精度に位置合わせが可能になり、結果として個体識別や個体認証の精度を向上させる効果が見込める。また、画像位置正規化処理の成否によって、管理対象の部品がどの製造金型か判定することが可能になり、個体識別を行う際に、探索するデータ量を削減する効果が見込める。

[登録時の動作]
次に、本実施形態に係る物体管理装置１００の個体登録の動作について述べる。図６は、個体登録の動作の処理フローである。

まず、画像取得手段１０１によって得た、管理対象表面のランダムパターン画像、および大局的共通特徴記憶手段１０４に保存されている大局的共通特徴（テンプレート画像）を、第一の画像正規化手段１０７に入力する。ここで、製造金型毎に大局的共通特徴（テンプレート画像）が保存されている場合、全ての対局的共通特徴（テンプレート画像）を入力してもよいし、個体登録の対象とする製品の製造に使用された製造金型に対応する大局的共通特徴（テンプレート画像）のみを入力するようにしてよい。

＜第一の画像正規化＞
第一の画像正規化手段１０７は、まず、第一のステップとして、入力された撮影画像と大局的共通特徴の低周波成分の位相相関に基づき、幾何変形パラメータを算出する。例えば、第一の画像正規化手段１０７は、画像をフーリエ変換して得られる周波数スペクトルに対してＬｏｇ−Ｐｏｌａｒ変換を適用し、二つの画像（撮影画像とテンプレート画像）間の回転やスケールを推定する。また、第一の画像正規化手段１０７は、回転やスケールを補正後、画像間の平行移動の位置ずれを推定する。

次に、第一の画像正規化手段１０７は、第二のステップとして、撮影画像、大局的共通特徴（テンプレート画像）との画素値の差分を最小化する幾何変形パラメータを算出し、算出した幾何変形パラメータを用いて、撮影画像を幾何変形することで、画像の正規化を行う。

画素値の差分の最小化に基づく幾何変形パラメータ推定手法として、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法がある。第一の画像正規化手段１０７は、例えば、この手法を用いて、上記第一のステップで得られた幾何変形パラメータを初期の幾何変形パラメータとし、撮影画像と共通特徴の差分二乗和を最小化する幾何変形パラメータを求める。

また、第一の画像正規化手段１０７は、大局的共通特徴に対して、各画素位置における重みを併せて適用することで、幾何変形パラメータ推定時にノイズとして働く個体固有のパターンや、撮影時の照明変動が発生しにくい画素位置を重視して幾何変形パラメータを計算する。これにより、結果として、画像位置正規化の頑健性や精度の向上が見込める効果がある。

また、第一の画像正規化手段１０７は、複数の大局的共通特徴（複数のテンプレート画像）を用いる場合、第一のステップにおいて、撮影画像と各大局的共通特徴（各テンプレート画像）との位相相関を算出し、その時得られる各幾何変形パラメータと相関値を、第二のステップで利用する。即ち、第一の画像正規化手段１０７は、相関値が最も高い幾何変形パラメータと各大局的共通特徴（各テンプレート画像）に対する相関値を、第二のステップにおける各大局的共通特徴（各テンプレート画像）に対する重みとして与えることで、画像位置正規化の頑健性や精度の向上が見込める効果がある。

このように第一の画像正規化手段１０７は、画像の低周波成分の位相相関を用いることによって、既存の手法、即ち、画素の差分や相関によって画像間の類似度や相違度を求め、画像間の位置合わせや幾何変形パラメータを推定する既存の手法と比較し、画像中のパターンの欠損に対して頑健にパラメータを推定可能である。但し、ある管理対象の製造物から得た撮影画像と、管理対象の製品群の大局的共通特徴（テンプレート画像）とでは、主に低周波成分のみが共通の特徴となるので、個体識別等に十分な精度で位置合わせを行うことは難しい（この課題は、本実施形態では、第二の画像正規化手段１０９によって解決される）。

また、画像の位相相関によって、サブピクセルレベルでの平行移動量を推定することによって、高精度に幾何変形パラメータを推定するためには、画像位置合わせを行う二つの画像が、周波数領域において、十分広帯域に渡りＳ／Ｎの良い信号であると同時に、それらが相関を持つ必要がある。また、画像の位相相関に基づく手法では、画像間の相似変形（平行移動、回転、スケール、パラメータの自由度：４）までを扱えるが、それ以上の自由度を持つ幾何変形、例えばアフィン変形（パラメータの自由度：６）や射影変形（パラメータの自由度：８）を扱うことはできない。これに対して、第一の画像正規化手段１０７は、低周波成分のみが有効な周波数帯となる画像間の位相相関によって、求めた幾何パラメータを初期値として粗く画像の位置合わせを行い、次に、Ｌｕｃａｓ−Ｋａｎａｄｅ法を用いることで、ある程度撮影画像中のアフィン変形や射影変形の幾何学的な歪みにも精度良く、画像位置正規化が可能になる。

＜第一の特徴抽出＞
続いて、第一の特徴抽出手段１０８は、第一の画像正規化手段１０７による正規化後の撮影画像を入力とし、局所的構造特徴を強調した撮影画像を特徴抽出結果として出力する。例えば、第一の特徴抽出手段１０８は、局所領域毎に、輝度値近似平面の差分の平均と分散を算出し、これらに基づき輝度値を正規化する。また、第一の特徴抽出手段１０８は、例えば特許文献６記載の、局所領域毎の輝度正規化処理フィルタを適用し、画像中の微細構造を強調する。このときのフィルタサイズ（局所領域のサイズ）は、撮影画像中のランダムパターンの大きさや、紋様の繰り返し幅に基づき決定する。なお、フィルタサイズの決定の仕方は、上記に限るものではなく、例えば複数のサイズを適用し、微細構造を強調してもよい。また、事前に管理対象の表面を計測し、表面の粗さと画像取得手段の解像度、および撮影倍率等から、算出して決めてもよい。また、第一の特徴抽出手段１０８は、局所的共通構造特徴抽出手段１０５の説明箇所で詳細に説明した画像中の微細構造を強調する方法を使用して、局所的構造特徴を強調した撮影画像を特徴抽出結果として出力してよい。

＜第二の画像正規化＞
続いて、第二の画像正規化手段１０９は、第一の特徴抽出手段１０８から出力された撮影画像と、局所的共通構造特徴記憶手段１０６に保存されている局所的共通構造特徴（テンプレート画像）とを入力とし、これらの画像間の輝度値の差分を最小にする幾何変形パラメータを推定する。ここで、製造金型毎に局所的共通構造特徴（テンプレート画像）が保存されている場合、個体登録の対象とする製品の製造に使用された製造金型に対応する局所的共通構造特徴（テンプレート画像）のみを入力するようにしてよい。

例えば、第二の画像正規化手段１０９は、第一の画像正規化手段１０７の第二ステップ同様、Ｌｕｃａｓ−Ｋａｎａｄｅ法を使用し、幾何変形パラメータの再推定を行う。

このように、第二の画像正規化手段１０９は、第一の特徴抽出手段１０８により微細構造特徴を強調した撮影画像と局所的共通構造特徴のテンプレート画像とで画素値の差分をとって微小な位置ずれを補正する効果がある。即ち、第一の画像正規化手段１０７により、ほぼ位置ずれ誤差のない画像正規化を達成できているが、個体識別時に用いる微細構造の位置は、厳密には合っていない場合がある。その理由は、第一の画像正規化では、大局的共通特徴の画素面積の影響を大きく受け、微細なエッジ等の位置が大まかにしか合わないことがありうるからである。第二の画像正規化手段１１０は、第一の画像正規化手段１０７による正規化後の微小な位置ずれを補正する役割を担っている。

また、第二の画像正規化手段１１０は、第二の画像正規化時に、第一の画像正規化時と比較し推定する幾何変形パラメータの自由度を上げ、位置合わせの精度を上げることができる効果が見込める。すなわち、撮影画像と大局的共通特徴（テンプレート画像）間で、画像の位置ずれが大きい状態である場合、第一の画像正規化の時点で幾何変形パラメータの自由度を増やすと、安定な幾何変形パラメータが求まらない。これに対して、第一の画像正規化では少ない自由度の幾何変形パラメータを推定して、安定かつほぼ位置を合わせた状態にしておき、第二の画像正規化でパラメータの自由度を増やすことで、安定的かつ高精度な画像正規化が可能になる効果がある。

＜第二の特徴抽出＞
続いて、第二の特徴抽出手段１１０は、第二の画像正規化手段１０９による正規化後の撮影画像から、予め定められた所定数または当該所定数以下の画素を選択する。ここで、本実施形態では、第二の画像正規化手段１０９による正規化後の撮影画像の所定領域が、個体認証等のための特徴量を抽出するための領域となる。また、第二の特徴抽出手段１１０は、選択した画素である選択画素に関して、これら選択画素が持つ輝度値の大小関係に基づき、二値ビット列を特徴量として算出する。

例えば、第二の特徴抽出手段１１０は、予め定められた所定数の画素ペアを決め、選択画素ペアの大小関係に基づき、二値ビット列を生成することで実現できる。このようにして生成する二値ビット列として、例えば、ＢＲＩＥＦ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｄｅｐｅｎｄｅｎｔ Ｅｌｅｍｅｎｔａｒｙ Ｆｅａｔｕｒｅｓ）、ＢＲＩＳＫ（Ｂｉｎａｒｙ Ｒｏｂｕｓｔ Ｉｎｖａｒｉａｎｔ Ｓｃａｌａｂｌｅ Ｋｅｙｐｏｉｎｔｓ）がある。また、第二の特徴抽出手段１１０は、画素ペアの選択では、撮影画像中のパターンや紋様の繰り返し幅を測定し、その繰り返し幅の平均と分散に基づき、ペアとする画素の間の距離の平均と分散を決定することができる。このように設定することで、管理対象の個体間の差異を主たる変動要因として表現したビット列を算出することができ、個体識別や個体照合の精度向上が見込める効果がある。

また、第二の特徴抽出手段１１０は、画素の選択では、管理対象や管理対象の表面処理やその粗さが同一の製造物の撮影画像を大量に用意し、これらを機械学習することによって決定しても良い。あらゆる製造物に共通する梨地加工やサンドブラスト加工等の表面処理のパターンであり、それらパターンについて大量の学習データが入手できる場合、個体識別や個体照合の精度向上が見込める効果がある。

第二の特徴抽出手段１１０は、算出した特徴量を、特徴量記憶手段１１１に保存する。このとき、第二の特徴抽出手段１１０は、管理対象のシリアル番号（識別番号）や、製品名、製造日時、製造場所等の生産物情報を、特徴量に紐付けて特徴量記憶手段１１１に保存する。

[識別・照合時の動作]
次に、本実施形態における、個体識別および個体照合の動作について述べる。図７は、個体識別および個体照合の動作の処理フローである。

まず、画像取得手段１０１によって得た、管理対象表面のランダムパターン画像、および大局的共通特徴記憶手段１０４に保存されている大局的共通特徴（テンプレート画像）に基づいて、第一の画像正規化手段１０７は、撮影画像に対して第一の画像正規化を行う。ここで、管理対象とは、個体識別および個体照合の対象とする製品を意味する。続いて、第一の特徴抽出手段１０８は、第一の画像正規化を行った撮影画像を入力とし、局所的構造特徴を強調した撮影画像を出力する。続いて、第二の画像正規化手段１０９は、局所的構造特徴を強調した撮影画像、および局所的共通構造特徴記憶手段１０６に保存されている局所的共通構造特徴（テンプレート画像）を入力とし、これらの画像間の画素値の差分を最小にする幾何変形パラメータを推定し、第二の画像正規化を行った撮影画像を出力する。続いて、第二の特徴抽出手段１１０は、第二の画像正規化を行った撮影画像から、予め定められた所定数または当該所定数以下の画素を選択し、その選択した画素である選択画素に関して、これら選択画素が持つ輝度値の大小関係に基づき、二値ビット列を特徴量として算出する。以上は、個体登録時の動作と同様であり、詳細については省略する。

続いて、スコア算出手段１１２は、第二の特徴抽出手段１１０によって管理対象の撮影画像から抽出された特徴量（以後、クエリ特徴量と称す）と、特徴量記憶手段１１１に格納された特徴量（以後、登録特徴量と称す）の全てとを比較し、クエリ特徴量と登録特徴量間の類似性を表すスコアを算出する。例えば、スコア算出手段１１２は、特徴量間のスコアとして、二値ビットで表現されるスコアを算出する。また、スコア算出手段１１２は、特徴量間のハミング距離を計算し、スコアとして二つの特徴量間の相違度を求めるように構成されていてもよい。その場合、スコア算出手段１１２は、算出したハミング距離をそのままスコアとしても良いし、なんらかの線形変換を施し、正規化したスコアとしてもよい。なお、特徴量間の比較方法は、ハミング距離に限る必要はなく、例えばユークリッド距離等を用いても良い。

続いて、判定手段１１３は、スコア算出手段１１２で算出されたスコアに基づき、管理対象の撮影画像の特徴量が、特徴量記憶手段１１１に格納されている、どの特徴量と合致するか判定する。例えば、判定手段１１３は、管理対象の撮影画像から得られたクエリ特徴量と特徴量記憶手段１１１に格納された全ての登録特徴量とのスコアをソートし、スコアが最小（ハミング距離が最小）となる登録特徴量を選択する。また、判定手段１１３は、選択した登録特徴量に紐付いた生産物情報を、管理対象の生産物情報として出力する。また、判定手段１１３は、予めスコアに対して閾値を設定し、スコアが閾値を超えるかどうかの判定を行ってもよい。そして、判定手段１１３は、クエリ特徴量と登録された全ての特徴量とのスコアのいずれも閾値を超えない場合、管理対象の製品は、登録されていないと判断し、認証エラーを表す情報を出力する。この場合、管理対象の真贋判定といった、個体認証目的で使用することができる。

続いて、情報提示手段１１４は、判定手段１１３から得た生産物情報や、認証エラー情報を受け、管理対象の製品の個体識別結果である生産物情報や、個体認証情報を表示する。

なお、局所的共通構造特徴記憶手段１０６に製造金型毎の局所的共通構造特徴（テンプレート画像）が保存されている場合、以下のような方法を用いてもよい。まず、第二の画像正規化手段１０９は、局所的構造特徴を強調した撮影画像、および製造金型毎の局所的共通構造特徴（テンプレート画像）を入力とし、これらの画像間の画素値の差分を最小にする幾何変形パラメータを推定し、製造金型毎に第二の画像正規化を行った撮影画像を出力する。また第二の特徴抽出手段１１０は、第二の画像正規化を行った製造金型毎の撮影画像から、予め定められた所定数または当該所定数以下の画素を選択し、その選択した画素である選択画素に関して、これら選択画素が持つ輝度値の大小関係に基づき、二値ビット列を特徴量として製造金型毎に算出する。

このように本実施形態によれば、撮影された画像を正確に位置合わせすることができる。その理由は、複数の物体に共通に出現する局所的共通構造特徴に基づいて、撮影された画像の位置合わせを行うためである。その結果、同一の物体を撮影した画像からは常に同じ画像領域から個体識別等に使用する特徴量を抽出することができ、高精度な個体認証等が可能になる。

[第３の実施形態]
次に、本発明の第３の実施形態について説明する。図８は、本発明の第３の実施形態に係る物体管理装置３００のブロック図である。

本実施形態に係る物体管理装置３００は、第２の実施形態に係る物体管理装置２００から大局的共通特徴抽出手段１０３と大局的共通特徴記憶手段１０４と第一の画像正規化手段１０７を取り除いた構成を有している。

物体管理装置３００は、画像取得手段１０１と、画像記憶手段１０２と、局所的共通構造特徴抽出手段１０５と、局所的共通構造特徴記憶手段１０６と、第一の特徴抽出手段１０８と、第二の画像正規化手段１０９と、第二の特徴抽出手段１１０と、特徴量記憶手段１１１と、スコア算出手段１１２と、判定手段１１３と、情報提示手段１１４とを備える。これらの手段は、第２の実施形態における対応する手段と同様の機能を有する。

物体管理装置３００は、例えば図４に示したような情報処理装置２００とプログラム２０７とで実現することができる。プログラム２０７は、情報処理装置２００の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部２０６の動作を制御することにより、演算処理部２０６上に、画像取得手段１０１、画像記憶手段１０２、局所的共通構造特徴抽出手段１０５、局所的共通構造特徴記憶手段１０６、第一の特徴抽出手段１０８、第二の画像正規化手段１０９、第二の特徴抽出手段１１０、特徴量記憶手段１１１、スコア算出手段１１２、判定手段１１３、および、情報提示手段１１４といった機能的手段を実現する。

次に、本実施形態に係る物体管理装置３００の動作を、図面を用いて説明する。物体管理装置３００の動作は、以下の三つに大別される。
（ａ）共通特徴を抽出する事前処理の動作
（ｂ）個体登録の動作
（ｃ）個体識別および個体照合の動作

[事前処理：局所的共通構造特徴抽出処理]
本実施形態における共通特徴を抽出する事前処理の動作は、図９に示す動作フローに従って行われる。本実施形態における共通特徴を抽出する事前処理の動作は、図５を参照して説明した第２の実施形態における共通特徴を抽出する事前処理の動作と同じである。

[登録時の動作]
本実施形態における個体登録の動作は、図１０に示す動作フローに従って行われる。本実施形態における個体登録の動作は、第一の特徴抽出手段１０８が画像取得手段１０１から入力される撮影画像に対して局所的構造特徴を強調する点を除き、図６を参照して説明した第２の実施形態における個体登録の動作と同じである。

[識別・照合時の動作]
本実施形態における個体識別および個体照合の動作は、図１１に示す動作フローに従って行われる。本実施形態における個体識別および個体照合の動作は、第一の特徴抽出手段１０８が画像取得手段１０１から入力される撮影画像に対して局所的構造特徴を強調する点を除き、図７を参照して説明した第２の実施形態における個体識別および個体照合の動作と同じである。

このように本実施形態によれば、撮影された画像を正確に位置合わせすることができる。その理由は、複数の物体に共通に出現する局所的共通構造特徴に基づいて、撮影された画像の位置合わせを行うためである。その結果、同一の物体を撮影した画像からは常に同じ画像領域から個体識別等に使用する特徴量を抽出することができ、高精度な個体認証等が可能になる。

また本実施形態によれば、大局的共通特徴抽出手段１０３と大局的共通特徴記憶手段１０４と第一の画像正規化手段１０７が省略されている分、第２の実施形態に係る物体管理装置２００に比較して構成を簡素化することができる。但し、第一の画像正規化手段１０７が省略されているため、第一の特徴抽出手段１０８によって局所的構造特徴が強調されて第二の画像正規化手段１０９に入力される撮影画像が、局所的共通構造特徴記憶手段１０６に保存されている局所的共通構造特徴によるテンプレート画像と大きく位置ずれしているケースが発生する。そして、そのようなケースでは、第二の画像正規化手段１０９はパラメータ推定時に局所解に陥り、正規化（位置合わせ）に失敗する。そのため、本実施形態は、局所的共通構造特徴記憶手段１０６に保存されている局所的共通構造特徴によるテンプレート画像との位置ずれが大きくないような撮影画像が画像取得手段１０１で取得されるような状況下で利用するのが望ましい。

以上、本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態に限定されず、本発明の範囲内で各種の付加変更が可能である。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

なお、本発明は、日本国にて２０１６年３月１４日に特許出願された特願２０１６−０４９８７７の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明は、製品表面の微細凹凸や紋様，素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮影装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記１]
製造物表面のロゴをカメラで撮影し、その撮影画像中に含まれる製造物個々の固有の紋様に基づき、製造物の個体管理を実現する製造物管理手段であって、
管理対象の製造物群の大局的な共通特徴を取得する手段と、
管理対象の製造物群の局所的な共通構造特徴を取得する手段と、
撮影画像の大局的な位置ずれを幾何学的に補正する管理対象の製造物群の大局的な共通特徴を用いた第一の画像位置正規化手段と、
前記位置正規化処理後の撮影画像に含まれる局所的構造特徴を強調する第一の特徴抽出手段と、
第一の画像位置正規化後の撮影画像に残る微小な位置ずれを幾何学的に補正する、管理対象の製造物群の局所的な共通構造特徴を用いた第二の画像位置正規化手段と、
第二の位置正規化後の撮影画像から、製造物個々を識別するための特徴量を算出する第二の特徴抽出手段と、
算出した特徴量と、データベース上に保存された特徴量との類似度を算出するスコア算出手段と、
前記スコアに基づき、管理対象の製造物の判定結果を出力する判定手段と、
前記判定手段に基づき、製造物の個体管理情報を提示する情報提示手段と、
を有する個体管理装置。
[付記２]
前記大局的な共通特徴、および局所的構造特徴を抽出する手段が、予め収集した管理対象の製造物群から少なくとも１個体の撮影画像を使用し、大局的な共通特徴、および局所的構造特徴を、それぞれ少なくとも1つのテンプレート画像として出力する、
付記１記載の個体管理装置。
[付記３]
第一の画像位置正規化手段が、
前記撮影画像と前記大局的な共通特徴のテンプレート画像に共通する周波数成分における位相相関に基づき、画像の幾何変形パラメータを算出する幾何変形パラメータ算出手段と、
前記撮影画像と、前記局所的な共通構造特徴のテンプレート画像と、前記位相相関によって算出した幾何変形パラメータに基づき、前記撮影画像と、前記局所的な共通構造特徴のテンプレート画像との画素値の差分を最小とする幾何変形パラメータ算出手段を備える、
付記２に記載の個体管理装置。
[付記４]
局所的な構造特徴を強調する第一の特徴抽出手段が、
前記撮影画像を局所領域に分割し、分割後の局所領域毎に画素値の集合を近似的に表す関数である近似平面を決定し、前記局所領域内の画素値とこれに対応する前記近似平面の値との差分を求め、前記差分の分散で除算することで物体表面の微差凹凸の強調を行う手段を備える、
付記３記載の個体管理装置。
[付記５]
第二の画像位置正規化手段が、
前記、第一の特徴抽出手段によって得られた局所構造を強調した撮影画像と、局所的な共通構造特徴のテンプレート画像との画素値の差分を最小とする幾何変形パラメータ算出手段を備える、
付記４記載の個体管理装置。
[付記６]
前記物体を製造するための製造金型毎に、前記製造金型を使用して製造された複数の前記物体の表面が撮像された複数の画像に基づいて、前記製造金型を使用して製造された複数の前記物体に共通に出現する前記非微細パターンを抽出する非微細パターン抽出手段を有する、
付記２乃至４の何れかに記載の物体管理装置。
[付記７]
前記第一の画像位置正規化手段から、前記第二の画像位置正規化手段にかけて、画像位置正規化時に推定する幾何変形パラメータの自由度を、段階的に増加するパラメータ自由度調整手段を備える、
付記６記載の個体管理装置。
[付記８]
予め収集した管理対象の製造物の撮影画像に基づき、前記大局的な共通特徴のテンプレート画像を算出する大局的な共通特徴算出手段と、
前記局所的な共通構造特徴のテンプレート画像を算出する局所的な共通構造特徴算出手段と、
前記大局的な共通特徴のテンプレート画像、および前記局所的な共通構造特徴のテンプレート画像の少なくとも一方について、画素位置と、周波数成分に対する重み係数を算出する重み係数算出手段を備え、
前記テンプレート画像と重み係数を第一の画像位置正規化手段、または、第二の画像位置正規化手段に与える
付記７記載の個体管理装置。
[付記９]
予め収集した管理対象の製造物の複数枚の撮影画像に基づき、前記大局的な共通特徴のテンプレート画像、および前記局所的な共通特徴のテンプレート画像を複数算出する大局的共通特徴算出手段、および局所的共通構造特徴算出手段を備える、
付記８記載の個体管理装置。
[付記１０]
前記物体を製造するための製造金型毎に、前記製造金型を使用して製造された複数の前記物体の表面が撮像された複数の画像に基づいて、前記製造金型を使用して製造された複数の前記物体に共通に出現する前記微細パターンを抽出する微細パターン抽出手段を有する、
付記１乃至８の何れかに記載の物体管理装置。
[付記１１]
管理対象の製造物群から、製造金型、またはロット毎に少なくとも１個体をサンプルし、そのサンプル個体の撮影画像群から、製造金型、またはロット毎の大局的な共通特徴、および局所的な共通構造特徴をテンプレート画像として算出する手段を備えた、
付記９記載の個体管理装置。
[付記１２]
付記９乃至１１の何れかに記載の個体管理装置であって、
第一の画像位置正規化手段において、撮影画像と複数枚の大局的な共通構造特徴のテンプレート画像群のそれぞれについて、撮影画像と各テンプレート画像に共通する周波数成分の位相相関に基づき、撮影画像の幾何変形パラメータと相関値を算出する幾何変形パラメータ算出手段と、
前記相関値を前記各テンプレート画像に対する重みとし、前記撮影画像と、前記複数の大局的な共通特徴のテンプレート画像群と、前記幾何変形パラメータと、前記各テンプレート画像に対する重みに基づき、撮影画像と前記各テンプレート画像同士の画素値の差分、および前記各テンプレート画像に対する重みを最小とする幾何変形パラメータを算出する手段を備える、
個体管理装置。
[付記１３]
付記１２記載の個体管理装置であって、
第二の画像位置正規化手段において、第一の特徴算出手段を適用した撮影画像と、複数枚の局所的な共通構造特徴のテンプレート画像と、第一の画像位置正規化手段で求めた大局的な共通特徴テンプレート画像群に対する重みを用い、撮影画像と局所的な共通構造特徴のテンプレート画像群同士の画素値の差分、および各局所的な共通構造特徴テンプレート画像に対する重みを最小とする幾何変形パラメータ算出手段を備える、
個体管理装置。
[付記１４]
第二の特徴抽出手段が、予め定められた所定数または当該所定数以下の画素を選択する画素選択手段と、画素選択手段によって選択された画素である選択画素に関して、これら選択画素が持つ輝度値の大小関係に基づき、二値ビット列を算出する手段を備える、
付記２−１３記載の個体管理装置。
[付記１５]
第二の特徴抽出手段が、付記４記載の第一の特徴抽出手段を施した後、付記１４記載の特徴抽出手段を備える
付記２−１３記載の個体管理装置。
[付記１６]
付記１４、または付記１５に記載の第二の特徴抽出手段であって、予め収集した管理対象の製造物群の撮影画像に基づき、特徴抽出時に用いる画素を決定する画素選択決定手段を備える、
付記１４、または付記１５記載の個体管理装置。
[付記１７]
付記１４、または付記１５、または付記１６に記載の第二の特徴抽出手段であって、
予め収集した管理対象の製造物の撮影画像中の、表面紋様の繰り返し幅を測定し、その繰り返し幅の平均と分散に基づき、画素のペアをランダムに決定する画素選択決定手段を備える、
付記１４、または付記１５、または、付記１６記載の個体管理装置。

１…物体管理装置
２…位置補正手段
３…画像
４、５…微細パターン
１００…物体管理装置
１０１…画像取得手段
１０２…画像記憶手段
１０３…大局的共通特徴抽出手段
１０４…大局的共通特徴記憶手段
１０５…局所的共通構造特徴抽出手段
１０６…局所的共通構造特徴記憶手段
１０７…第一の画像正規化手段
１０８…第一の特徴抽出手段
１０９…第二の画像正規化手段
１１０…第二の特徴抽出手段
１１１…特徴量記憶手段
１１２…スコア算出手段
１１３…判定手段
１１４…情報提示手段
２００…情報処理装置
２０１…撮影部
２０２…操作入力部
２０３…画面表示部
２０４…通信インターフェース部
２０５…記憶部
２０６…演算処理部
２０７…プログラム

Claims (17)

1. 物体の表面が撮影された画像に含まれる、前記物体の表面の微細パターンに基づき、前記物体を管理する物体管理装置であって、
   複数の前記物体に共通に出現する前記微細パターンに基づいて、前記撮影された画像の位置合わせを行う第１の位置補正手段、
   を有する物体管理装置。
2. 前記第１の位置補正手段による位置合わせの前に、複数の前記物体に共通に出現し且つ前記微細パターンよりサイズの大きな非微細パターンに基づいて、前記撮影された画像の位置合わせを行う第２の位置補正手段を有する、
   請求項１に記載の物体管理装置。
3. 前記第２の位置補正手段は、前記非微細パターンを含むテンプレート画像と前記撮影された画像とを照合して、前記撮影された画像の位置合わせを行う、
   請求項２に記載の物体管理装置。
4. 前記非微細パターンは、前記物体の設計上の特徴に基づくパターンである、
   請求項２または３に記載の物体管理装置。
5. 前記撮影された画像から、前記非微細パターンを抽出する非微細パターン抽出手段を有する、
   請求項２乃至４の何れかに記載の物体管理装置。
6. 前記物体を製造するための製造金型毎に、前記製造金型を使用して製造された複数の前記物体の表面が撮像された複数の画像に基づいて、前記製造金型を使用して製造された複数の前記物体に共通に出現する前記非微細パターンを抽出する非微細パターン抽出手段を有する、
   請求項２乃至４の何れかに記載の物体管理装置。
7. 前記第１の位置補正手段は、複数の前記物体に共通に出現する前記微細パターンを含むテンプレート画像と前記撮影された画像を照合して、前記撮影された画像の位置合わせを行う、
   請求項１乃至６の何れかに記載の物体管理装置。
8. 前記微細パターンは、前記物体が生成される過程で発生する特徴に基づくパターンである、
   請求項１乃至７の何れかに記載の物体管理装置。
9. 前記撮影された画像から、複数の前記物体に共通に出現する前記微細パターンを抽出する微細パターン抽出手段を有する、
   請求項１乃至８の何れかに記載の物体管理装置。
10. 前記物体を製造するための製造金型毎に、前記製造金型を使用して製造された複数の前記物体の表面が撮像された複数の画像に基づいて、前記製造金型を使用して製造された複数の前記物体に共通に出現する前記微細パターンを抽出する微細パターン抽出手段を有する、
    請求項１乃至８の何れかに記載の物体管理装置。
11. 前記第１の位置補正手段による位置合わせの前に、前記撮影された画像中の前記微細パターンを強調する微細パターン強調手段を有する、
    請求項１乃至１０の何れかに記載の物体管理装置。
12. 前記第１の位置補正手段による位置合わせ後の前記画像から、前記物体の表面の前記微細パターンに依存する特徴量を抽出する特徴量抽出手段を有する、
    請求項１乃至１１の何れかに記載の物体管理装置。
13. 前記抽出された特徴量を、前記物体の識別番号に関連付けて記憶する記憶装置を有する、
    請求項１２に記載の物体管理装置。
14. 前記抽出された特徴量を、予め登録されている物体の特徴量と照合する照合手段を有する、
    請求項１２または１３に記載の物体管理装置。
15. 前記微細パターンは、マイクロメートルのスケールである、
    請求項１乃至１４の何れかに記載の物体管理装置。
16. 物体の表面が撮影された画像に含まれる、前記物体の表面の微細パターンに基づき、前記物体を管理する物体管理方法であって、
    複数の前記物体に共通に出現する前記微細パターンに基づいて、前記撮影された画像の位置合わせを行う、
    物体管理方法。
17. 物体の表面が撮影された画像に含まれる、前記物体の表面の微細パターンに基づき、前記物体を管理するコンピュータを、
    複数の前記物体に共通に出現する前記微細パターンに基づいて、前記撮影された画像の位置合わせを行う第１の位置補正手段、
    として機能させるためのプログラム。

Images