JP7147996B2

JP7147996B2 - 画像識別装置、画像識別方法及び画像識別プログラム

Info

Publication number: JP7147996B2
Application number: JP2021558151A
Authority: JP
Inventors: 明日香中島; 榮太朗塩治; 邦夫波戸; 満昭秋山; 俊樹芝原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2022-10-05
Anticipated expiration: 2039-11-22
Also published as: JPWO2021100209A1; US20220415017A1; US11830238B2; WO2021100209A1

Description

特許法第３０条第２項適用ｂｌａｃｋｈａｔＥＵＲＯＰＥ２０１９ｂｒｉｅｆｉｎｇｓウェブサイトｈｔｔｐｓ：／／ｗｗｗ．ｂｌａｃｋｈａｔ．ｃｏｍ／ｅｕ－１９／ｂｒｉｅｆｉｎｇｓ／ｓｃｈｅｄｕｌｅ／ｉｎｄｅｘ．ｈｔｍｌｂｌａｃｋｈａｔＥＵＲＯＰＥ２０１９ＯＥＭＦｉｎｄｅｒ：ＨｕｎｔｉｎｇＶｕｌｎｅｒａｂｌｅＯＥＭＩｏＴＤｅｖｉｃｅｓａｔＳｃａｌｅウェブサイトｈｔｔｐｓ：／／ｗｗｗ．ｂｌａｃｋｈａｔ．ｃｏｍ／ｅｕ－１９／ｂｒｉｅｆｉｎｇｓ／ｓｃｈｅｄｕｌｅ／＃ｏｅｍ－ｆｉｎｄｅｒ－ｈｕｎｔｉｎｇ－ｖｕｌｎｅｒａｂｌｅ－ｏｅｍ－ｉｏｔ－ｄｅｖｉｃｅｓ－ａｔ－ｓｃａｌｅ－１７９８２ウェブサイト掲載日２０１９年９月１７日

本発明は、識別装置、識別方法及び識別プログラムに関する。

相手先ブランド名製造方式（OEM：Original Equipment Manufacturer）と呼ばれる製品製造のための方式が知られている。OEM製品は、製品の供給元の企業によって製造され、別の企業に提供され、提供先の企業のブランド名を冠して販売される。

製品製造コストを抑えることができるため、近年多くの業界・会社でこのOEM製造方式が採用されている。そして、それはIT業界でも同じである。私たちが一般的に利用しているIT機器（ネットワークカメラやルータ）においても、OEM製造で作られているものは少なくない。

また、中には１つのOEM製品供給元の企業が、複数の企業に対して自社で販売している製品（以下、オリジナル製品）と同様の設計の機器を、OEM製品として提供しているケースも存在する。この提供されたOEM製品は、機器に印字されているブランドロゴを付け替えただけのものもあれば、部分的に機器内外をカスタマイズしたものもあるのが知られている。

このOEM製造方式には、OEM製品供給元企業が自社で設計・販売している製品のファームウェアに脆弱性等の欠陥が発見された場合、それと同様の設計がなされたOEM製品にも同様の脆弱性が発見されることが多々ある、という問題が知られている。

実際に、調査会社IPVMが2017年に実施した調査（例えば、非特許文献１を参照）では、OEM製品供給元企業の製品に発見された脆弱性が、OEM製品を提供されている80以上もの企業の製品にも見つかったことが報告されている。

ここで通常ならば、オリジナル製品だけでなく、脆弱性を含有しているOEM製品の利用者にも、利用にあたって注意喚起をする必要がある。しかし、OEM製品販売企業は、ビジネス上の理由等から、自社の商品がOEM製品であることを公表していないケースも多く、それゆえに自社の製品にオリジナル製品と同様の脆弱性が存在した場合でも、それを公表し、注意喚起することが無い場合がほとんどであった。

80+ OEMs Verified Vulnerable To Hikvision Backdoor [online]、[2019年11月15日検索]、インターネット（https://ipvm.com/reports/hik-oem-vuln)

しかしながら、従来の技術には、効率的にOEM製品を識別する方法が困難な場合があるという問題がある。非特許文献１に記載の調査では、手動で製品のラベル等を調べることによりOEM製品を識別している。

上述した課題を解決し、目的を達成するために、識別装置は、第１の画像及び第２の画像のそれぞれから抽出された特徴点を基に、前記第１の画像と前記第２の画像が類似するか否かを判定する第１の判定部と、前記特徴点をノードとする近傍グラフであって、前記第１の画像及び前記第２の画像のそれぞれについて生成された近傍グラフを比較し、前記第１の画像と前記第２の画像が類似するか否かを判定する第２の判定部と、を有することを特徴とする。

本発明によれば、効率的にOEM製品を識別することができる。

図１は、識別装置の構成例を示す図である。図２は、特徴点の一例を示す図である。図３は、オリジナル画像の特徴点の座標及び特徴量の一例を示す図である。図４は、検査対象画像の特徴点の座標及び特徴量の一例を示す図である。図５は、相似する特徴点の一例を示す図である。図６は、相似する特徴点の座標及び特徴量の一例を示す図である。図７は、画像間の局所的類似度の算出方法を説明するための図である。図８は、近傍グラフについて説明するための図である。図９は、近傍グラフを表す隣接行列の一例を示す図である。図１０は、識別装置の処理の流れの一例を示すフローチャートである。図１１は、コンピュータの構成例を示す図である。

以下に、本願に係る識別装置、識別方法及び識別プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

［第１の実施形態］
［構成］
図１に示すように、識別装置１０には、オリジナル製品の外観が写った画像ファイルと、検査対象製品の外観が写った画像ファイルが入力される。各画像ファイルの画像は、例えばカメラ等で撮影された画像である。以降の説明では、オリジナル製品の外観が写った画像をオリジナル画像と呼ぶ。また、検査対象製品の外観が写った画像を検査対象画像と呼ぶ。また、オリジナル画像は、第１の画像の一例である。また、検査対象画像は、第２の画像の一例である。

識別装置１０は、検査対象画像に写った製品が、オリジナル画像に写った製品と類似しているか否かを判定し、類似していると判定した場合、検査対象製品をOEM製品の候補と識別し、当該製品の情報を出力する。例えば、識別装置１０は、検査対象画像から抽出した特徴量を出力する。

識別装置１０は、除去部１１、局所的類似判定部１２及び大局的類似判定部１３を有する。また、局所的類似判定部１２は、特徴点抽出部１２１、探索部１２２及び第１の判定部１２３を有する。また、大局的類似判定部１３は、近傍グラフ生成部１３１及び第２の判定部１３２を有する。

除去部１１は、オリジナル画像及び検査対象画像の少なくとも一方から、画像に写った所定の製品のロゴを除去する。例えば、除去部１１は、オリジナル画像及び検査対象画像の両方について、ロゴが写っていると認識される領域を、領域に合わせた所定のサイズの画像で覆い隠すことでロゴを除去する。

OEM製品は、オリジナル製品と異なるブランドのロゴを付された上で販売される場合がある。このため、オリジナル画像と検査対象画像におけるブランドロゴの部分の特徴は異なっていて当然であり、そのまま画像の比較を行うと、類似の判定精度を低下させることが考えられる。除去部１１は、そのようなブランドロゴをあらかじめ除去することで、後続の類似判定処理において、製品の物体的な外観のみから特徴を比較できるようにすることができる。

除去部１１は、双方の画像からブランドロゴの記載を取り除くため、画像におけるブランドロゴの部分を、形、色、サイズが同一の図形で塗りつぶし、完全に覆い隠すことができる。また、除去部１１は、参考文献１（Wei-Qi Yan , Jun Wang , Mohan S. Kankanhalli, Automatic video logo detection and removal, Multimedia Systems, v.10 n.5, p.379-391, August 2005）に記載の方法によりブランドロゴを除去してもよい。

特徴点抽出部１２１は、オリジナル画像及び検査対象画像から特徴点を抽出する。特徴点抽出部１２１は、特定物体認識アルゴリズムを用いて、各画像固有の特徴を顕著に表す特徴点ごとの座標と、特徴点に付随する情報である特徴量を抽出する。特徴点抽出部１２１は、特定物体認識アルゴリズムを用いることにより、撮影時の光源の位置や撮影方向といった撮影条件が画像間で異なっている場合や、画像のサイズが違っている場合であっても、各画像に写っている製品の外観の相似性を比較可能な特徴を抽出することができる。

例えば、特徴点抽出部１２１は、特定物体認識アルゴリズムとして、精度が高いKAZE（参考文献２：Alcantarilla P.F., Bartoli A., Davison A.J. (2012) KAZE Features. In: Fitzgibbon A., Lazebnik S., Perona P., Sato Y., Schmid C. (eds) Computer Vision - ECCV 2012. ECCV 2012. Lecture Notes in Computer Science, vol 7577. Springer, Berlin, Heidelberg）を利用することができる。その他にも、特徴点抽出部１２１は、特定物体認識アルゴリズムとしてSIFT、SURF、ORB、BRISK、A-KAZE等を利用してもよい。

図２は、特徴点の一例を示す図である。図２の示すように、特徴点抽出部１２１は、特定物体認識アルゴリズムを用いて、画像中の濃淡の変化が大きい部分（例えばエッジ部分）等を特徴点として抽出する。画像に製品が写っている場合、製品である物体の輪郭にあたる部分が特徴点として抽出される傾向がある。また、抽出される特徴点の数は画像によって異なる場合もある。例えば、特徴量は、特徴点周辺の勾配情報等である。

図３は、オリジナル画像の特徴点の座標及び特徴量の一例を示す図である。また、図４は、検査対象画像の特徴点の座標及び特徴量の一例を示す図である。図３及び図４は、特徴点抽出部１２１が、KAZEを利用して抽出した各画像の特徴点の座標及び特徴量である。KAZEでは、一般的に特徴量は64次元の特徴ベクトルで表現される。

探索部１２２は、オリジナル画像から抽出された特徴点と検査対象画像から抽出された特徴点の組であって、特徴量が互いに類似する特徴点の組を探索する。探索部１２２は、各画像の特徴量（特徴ベクトル）に基づき、特徴点間の距離を計算する。そして、探索部１２２は、計算した距離の近さに基づき、互いに類似する特徴点の組を探索する。以降の説明では、探索部１２２によって探索される互いに類似する特徴点の関係を、相似と呼ぶ場合がある。

例えば、探索部１２２は、検査対象の画像の特徴点のうち、オリジナル画像の所定の特徴点との距離が一定以上かつ、その中で最も近い特徴点を相似する特徴点とみなしてもよい。

探索部１２２は、特徴量間の距離として、マンハッタン距離、ユークリッド距離、ハミング距離等の、各特定物体認識アルゴリズムに適した距離を適用することができる。また、探索部１２２は、前述の全探索手法以外にも、k近傍法アルゴリズム（参考文献３：N.
S. Altman, An introduction to kernel and nearest-neighbor nonparametric regression, The American Statistician, vol.46, issue.3, pp.175-185, 1992.）を利用して、相似する特徴点を高速に探索してもよい。

図５は、相似する特徴点の一例を示す図である。図５では、説明のため、探索部１２２によって探索された相似する特徴点同士が線で結ばれている。また、図６は、相似する特徴点の座標及び特徴量の一例を示す図である。図６の例では、オリジナル画像の３６番目の特徴点と検査対象画像の３３番目の特徴点の組が、探索部１２２によって相似する特徴点の組とみなされたものとする。

第１の判定部１２３は、オリジナル画像及び検査対象画像のそれぞれから抽出された特徴点を基に、オリジナル画像と検査対象画像が類似するか否かを判定する。第１の判定部１２３は、探索部１２２による探索の結果に基づいて判定を行うことができる。つまり、第１の判定部１２３は、オリジナル画像から抽出された特徴点と検査対象画像から抽出された特徴点の組であって、特徴量が互いに類似する特徴点の組に基づき、オリジナル画像と検査対象画像が類似するか否かを判定する。

さらに具体的には、第１の判定部１２３は、オリジナル画像から抽出された特徴点と検査対象画像から抽出された特徴点の組のうち、各特徴点の特徴ベクトル間の距離が所定の条件を満たす組の数が閾値以上であれば、オリジナル画像と検査対象画像が類似すると判定する。

第１の判定部１２３は、局所的類似度に基づいて判定を行う。図７は、画像間の局所的類似度の算出方法を説明するための図である。ここで、特徴点抽出部１２１がオリジナル画像から抽出した特徴点の数を256とする。また、特徴点抽出部１２１が検査対象画像から抽出した特徴点の数を188とする。また、探索部１２２の探索により、相似するとみなされた特徴点の組の数を104とする。

このとき、第１の判定部１２３は、局所的類似度として（相似するとみなされた特徴点の組の数）／（オリジナル画像から抽出した特徴点の数）を計算する。ここで、局所的類似度の閾値が40（%）であるものとする。図７の例では、局所的類似度が40.6（%）であり、閾値を超えているため、第１の判定部１２３は、オリジナル画像と検査対象画像が類似していると判定する。

大局的類似判定部１３は、局所的類似判定部１２によってオリジナル画像と検査対象画像が類似していると判定された場合に、さらに大局的類似度を計算し、大局的類似度に基づいてオリジナル画像と検査対象画像が類似しているか否かを判定する。

近傍グラフ生成部１３１は、オリジナル画像と検査対象画像のそれぞれについて、探索部１２２によって相似するとみなされた特徴点をノードとする近傍グラフを生成する。近傍グラフは、平面上において点同士の近さに基づいて定義されるグラフであり、距離空間上の点集合について、点間距離を用いて近傍点の組み合わせを抽出し、その点対を辺で結んでできる無向グラフである。

図８は、近傍グラフについて説明するための図である。図８に示すように、近傍グラフ生成部１３１は、各画像の相似する特徴点から、近傍点の組み合わせを抽出する。そして、近傍グラフ生成部１３１は、各近傍点の点対を辺で結んだ近傍グラフを生成する。

近傍グラフ生成部１３１は、相対近傍グラフ（参考文献４：Toussaint, G. T.: The
relative neighborhood graph of a finite planar set, Patte $m$ Recognition, Vol. 12, No. 4, pp. 261-268 (1980). ）を生成することができる。また、近傍グラフ生成部１３１は、Gabrielグラフ、最近傍グラフ、β-スケルトングラフ等を生成してもよい。

近傍グラフは隣接行列によって表される。図９は、近傍グラフを表す隣接行列の一例を示す図である。図８及び図９の例では、近傍グラフは、47個の特徴点から生成されているものとする。隣接行列の行及び列は各画像の特徴点に対応している。また、隣接行列の値のうち、1は辺が点対に辺が存在することを示し、0は点対に辺が存在しないことを示している。

第２の判定部１３２は、特徴点をノードとする近傍グラフであって、オリジナル画像及び検査対象画像のそれぞれについて生成された近傍グラフを比較し、オリジナル画像と検査対象画像が類似するか否かを判定する。また、第２の判定部１３２は、第１の判定部１２３によってオリジナル画像と検査対象画像が類似すると判定された場合に、特徴量が互いに類似する組に含まれる特徴点をノードとする近傍グラフを比較し、オリジナル画像と検査対象画像が類似するか否かを判定する。

第２の判定部１３２は、オリジナル画像について生成された近傍グラフと検査対象画像について生成された近傍グラフとのグラフカーネルを用いて算出された類似度を基に、オリジナル画像と検査対象画像が類似するか否かを判定することができる。第２の判定部１３２は、大局的類似度として各画像のグラフカーネルに基づく類似度を算出し、当該大局的類似度が閾値を超えている場合はオリジナル画像と検査対象画像が類似していると判定する。

第２の判定部１３２は、グラフカーネルとして、Shortest-Path Kernel（参考文献５：Karsten M. Borgwardt and Hans-Peter Kriegel. Shortest-path kernels on
graphs. In Proceedings of the International Conference on Data Mining, pages 74-81, 2005.）を用いることができる。また、第２の判定部１３２は、グラフカーネルとして、Random Walk Kernel、Graphlet Count Kernel、Weisfeiler-Lehman Kernel等を用いてもよい。

第２の判定部１３２は、オリジナル画像と検査対象画像が類似していると判定した場合、検査対象画像に写っている物体をオリジナル製品のOEM製品の候補とみなし、当該OEM製品の候補に関する情報を出力する。

［処理の流れ］
図１０を用いて、識別装置１０の処理の流れを説明する。図１０は、識別装置の処理の流れの一例を示すフローチャートである。図１０に示すように、まず、識別装置１０は、オリジナル製品の画像ファイル及び検査対象製品の画像ファイルの入力を受け付ける（ステップＳ１０１）。ここで、識別装置１０は、必要に応じて各画像からロゴを除去する（ステップＳ１０２）。

次に、識別装置１０は、各画像から特徴点を抽出する（ステップＳ１０３）。そして、識別装置１０は、特徴点を基に、画像間の局所的類似度を算出する（ステップＳ１０４）。ここで、識別装置１０は、局所的類似度が閾値以上であるか否かを判定する（ステップＳ１０５）。局所的類似度が閾値以上でない場合（ステップＳ１０５、No）、識別装置１０は、検査対象がOEM製品でないとみなし、処理を終了する。

一方、局所的類似度が閾値以上である場合（ステップＳ１０５、Yes）、識別装置１０は、抽出された特徴点から近傍グラフを生成する（ステップＳ１０６）。識別装置１０は、近傍グラフを基に、画像間の大局的類似度を算出する（ステップＳ１０７）。ここで、識別装置１０は、大局的類似度が閾値以上であるか否かを判定する（ステップＳ１０８）。大局的類似度が閾値以上でない場合（ステップＳ１０８、No）、識別装置１０は、検査対象がOEM製品でないとみなし、処理を終了する。

一方、大局的類似度が閾値以上である場合（ステップＳ１０８、Yes）、識別装置１０は、オリジナル画像に写った製品と検査対象画像に写った製品が類似していると判定する（ステップＳ１０９）。つまり、識別装置１０は、検査対象画像に写った製品がOEM製品であると判定する。

［効果］
これまで説明してきたように、第１の判定部１２３は、オリジナル画像及び検査対象画像のそれぞれから抽出された特徴点を基に、オリジナル画像と検査対象画像が類似するか否かを判定する。第２の判定部１３２は、特徴点をノードとする近傍グラフであって、オリジナル画像及び検査対象画像のそれぞれについて生成された近傍グラフを比較し、オリジナル画像と検査対象画像が類似するか否かを判定する。このように、識別装置１０は、入力された画像を基に、検査対象の製品がオリジナル製品と類似しているか否かを自動的に判定することができる。OEM製品はオリジナル製品と外観が類似している場合が多いため、本実施例の識別装置１０によれば、効率的にOEM製品を識別することができる。

また、第１の判定部１２３は、オリジナル画像から抽出された特徴点と検査対象画像から抽出された特徴点の組であって、特徴量が互いに類似する特徴点の組に基づき、オリジナル画像と検査対象画像が類似するか否かを判定することができる。その場合、第２の判定部１３２は、第１の判定部１２３によってオリジナル画像と検査対象画像が類似すると判定された場合に、特徴量が互いに類似する組に含まれる特徴点をノードとする近傍グラフを比較し、オリジナル画像と検査対象画像が類似するか否かを判定する。このように、識別装置１０は、局所的類似判定と大局的類似判定の２段階の判定を行う。その結果、本実施例の識別装置１０によれば、類似の判定に関する処理を効率化することができる。

また、第１の判定部１２３は、オリジナル画像から抽出された特徴点と検査対象画像から抽出された特徴点の組のうち、各特徴点の特徴ベクトル間の距離が所定の条件を満たす組の数が閾値以上であれば、オリジナル画像と検査対象画像が類似すると判定することができる。このように、識別装置１０は、特徴点ごとの類似度を算出する。その結果、本実施例の識別装置１０によれば、局所的な類似度の判定を行うことが可能になる。

第２の判定部１３２は、オリジナル画像について生成された近傍グラフと検査対象画像について生成された近傍グラフとのグラフカーネルを用いて算出された類似度を基に、オリジナル画像と検査対象画像が類似するか否かを判定する。このように、識別装置１０は、近傍グラフを用いた構造的な類似度を基に判定を行うことができる。その結果、本実施例の識別装置１０によれば、大局的な類似度の判定を行うことが可能になる。

除去部１１は、オリジナル画像及び検査対象画像の少なくとも一方から、画像に写った所定の製品のロゴを除去する。オリジナル製品とOEM製品とでは、それぞれに付されるブランドロゴは異なるものである場合が多いと考えられる。そのため、OEM製品を精度良く識別するためには、ロゴ部分は無視し、製品の物体的な外観のみに注目した方が精度が向上することが考えられる。そのため、本実施例の識別装置１０によれば、画像からロゴを除去し、OEM製品の識別精度を向上させることができる。

また、除去部１１は、オリジナル画像及び検査対象画像の両方について、ロゴが写っていると認識される領域を、領域に合わせた所定のサイズの画像で覆い隠すことでロゴを除去することができる。これにより、本実施例の識別装置１０によれば、画像からロゴを除去し、OEM製品の識別精度を向上させることができる。また、ロゴが存在した部分は共通の画像で覆い隠されるので、識別精度の低下が抑止される。

なお、OEM製品の中には、オリジナル製品に対し異なる色の塗装やパターンの付加を行ったものが存在することが考えられる。このため、除去部１１は、ロゴだけでなく、製品に付されたパターンや色をさらに除去してもよい。例えば、除去部１１は、色を除去するために、カラーの画像を白黒の２値画像に変換してもよい。また、除去部１１は、画像に写った物体の輪郭のみを抽出した画像を生成してもよい。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU（Central processing unit）及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
一実施形態として、識別装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の情報流通処理を実行する情報流通プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の情報流通プログラムを情報処理装置に実行させることにより、情報処理装置を識別装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS（Personal Handyphone System）等の移動体通信端末、さらには、PDA（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

また、識別装置１０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の情報流通処理に関するサービスを提供する情報流通サーバ装置として実装することもできる。例えば、情報流通サーバ装置は、グラフデータを入力とし、グラフ信号処理又はグラフデータの分析結果を出力とする情報流通サービスを提供するサーバ装置として実装される。この場合、情報流通サーバ装置は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の情報流通処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

図１１は、情報流通プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、CPU１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ROM（Read Only Memory）１０１１及びRAM（Random Access Memory）１０１２を含む。ROM１０１１は、例えば、BIOS（BASIC Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、識別装置１０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、識別装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、SSDにより代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、CPU１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてRAM１０１２に読み出して、上述した実施形態の処理を実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してCPU１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（LAN（Local Area Network）、WAN（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してCPU１０２０によって読み出されてもよい。

１０識別装置
１１除去部
１２局所的類似判定部
１３大局的類似判定部
１２１特徴点抽出部
１２２探索部
１２３第１の判定部
１３１近傍グラフ生成部
１３２第２の判定部

Claims

第１の画像及び第２の画像のそれぞれから抽出された特徴点を基に、前記第１の画像と前記第２の画像が類似するか否かを判定する第１の判定部と、
前記特徴点のうち前記第１の画像と前記第２の画像とで互いに類似する特徴点をノードとする近傍グラフであって、前記特徴点を結んでできる無向グラフである近傍グラフを、前記第１の画像と前記第２の画像のそれぞれについて生成する近傍グラフ生成部と、
前記第１の画像について生成された近傍グラフと、前記第２の画像について生成された近傍グラフと、を比較し、前記第１の画像と前記第２の画像が類似するか否かを判定する第２の判定部と、
を有することを特徴とする識別装置。
前記第１の判定部は、前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点の組であって、特徴量が互いに類似する特徴点の組に基づき、前記第１の画像と前記第２の画像が類似するか否かを判定し、
前記第２の判定部は、前記第１の判定部によって前記第１の画像と前記第２の画像が類似すると判定された場合に、前記近傍グラフを比較し、前記第１の画像と前記第２の画像が類似するか否かを判定する
ことを特徴とする請求項１に記載の識別装置。
前記第１の判定部は、前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点の組のうち、各特徴点の特徴ベクトル間の距離が所定の条件を満たす組の数が閾値以上であれば、前記第１の画像と前記第２の画像が類似すると判定する
ことを特徴とする請求項１に記載の識別装置。
前記第２の判定部は、前記第１の画像について生成された近傍グラフと前記第２の画像について生成された近傍グラフとのグラフカーネルを用いて算出された類似度を基に、前記第１の画像と前記第２の画像が類似するか否かを判定する
ことを特徴とする請求項１に記載の識別装置。
前記第１の画像及び前記第２の画像の少なくとも一方から、画像に写った所定の製品のロゴを除去する除去部をさらに有することを特徴とする請求項１に記載の識別装置。
前記除去部は、前記第１の画像及び前記第２の画像の両方について、ロゴが写っていると認識される領域を、前記領域に合わせた所定のサイズの画像で覆い隠すことでロゴを除去することを特徴とする請求項５に記載の識別装置。
コンピュータによって実行される識別方法であって、
第１の画像及び第２の画像のそれぞれから抽出された特徴点を基に、前記第１の画像と前記第２の画像が類似するか否かを判定する第１の判定工程と、
前記特徴点のうち前記第１の画像と前記第２の画像とで互いに類似する特徴点をノードとする近傍グラフであって、前記特徴点を結んでできる無向グラフである近傍グラフを、前記第１の画像と前記第２の画像のそれぞれについて生成する近傍グラフ生成工程と、
前記第１の画像について生成された近傍グラフと、前記第２の画像について生成された近傍グラフと、を比較し、前記第１の画像と前記第２の画像が類似するか否かを判定する第２の判定工程と、
を含むことを特徴とする識別方法。
コンピュータを、請求項１から６のいずれか１項に記載の識別装置として機能させるための識別プログラム。