JP5814714B2 - 画像類似度判定装置、画像類似度判定方法及び画像類似度判定プログラム - Google Patents

Description

本発明は、画像類似度判定装置、画像類似度判定方法及び画像類似度判定プログラムに関する。

画像は画素の配列パターンであり、画像の類似度の判定は、パターン分類の問題といえる。パターン分類方法の主な従来技術は、非特許文献１では以下の２つに大別して整理されている。第１の方法は、テンプレートマッチングによる方法であり、既知のパターンに関して予め格納されているモデルと、入力パターンとを画像の上で直接的に比較し、最も整合のとれたパターンを選択するものである。第２の方法は、特徴空間でのパターン分類であり、パターンから、ある量または特徴を抽出し、これらを基にしてパターンを分類するものである。

ここで、第１の方法、第２の方法のそれぞれについて、画像に含まれる物体が回転・移動・変形する場合に、画像間の対応を検出することを考える。第１の方法の場合には、（１）あらゆるバリエーションを含むテンプレートを用意する、（２）テンプレートに回転・移動・変形を施して対象画像と比較するなどが考えられる。しかし、（１）の方法はどのような変形があり得るかが既知でなければ利用できない。また、（２）の方法は、計算量が膨大となる。

一方、第２の方法は、第１の方法よりも局所的な特徴を抽出する方法であって、従来よく用いられている特徴には、勾配ヒストグラム特徴やモーメント特徴などがある。勾配ヒストグラム特徴や、その輝度勾配の方向ヒストグラムに基づいてマッチングを行うアルゴリズムであるＳＩＦＴ（Scale-Invariant Feature Transform）は、回転、移動、拡大縮小によらず画像間の対応をとることができる。

しかし、拡大縮小以外の変形については、変形の度合いが極僅かである場合を除いて対応できない。モーメント特徴も形状の幾何学的特徴について回転、移動、拡大縮小に不変な特徴量であるが、拡大縮小以外の変形については、変形の度合いが極僅かである場合を除いて対応できない。ただし、これらは局所的な特徴であるため、複数の局所領域の特徴量を求め、参照画像と対象画像とで、どの局所領域同士が対応するかを決定できれば、画像の回転、移動、拡大縮小の変換行列を推定することができる。

しかしながら、そのような変換行列を推定する際には、対応する特徴点群の座標値のみを用いる。各特徴点の特徴量は、特徴点同士の対応づけに用いるだけで、画像の回転、移動、拡大縮小といった幾何的な関係を求める際には反映されない。したがって、特徴点同士の対応づけの段階で誤りが生じた場合にも、それをもとに幾何的な関係を求めるしかない。

特徴量の系列同士を対応づける手法には、従来からＤＰマッチング（動的計画法）やＨＭＭ（隠れマルコフモデル）がよく知られている。これらの手法を用いて、特徴量と座標の両方の系列を入力として系列同士の対応を推定すれば、座標値のみから幾何的な関係を求めるよりも、対応の精度がよくなる可能性がある。しかしながら、その場合でも、画像の回転、移動、拡大縮小についての変換行列は別途求めるしかなかった。

画像認識と画像理解 啓学出版 （第２章）ｐ．１６〜ｐ．１７ 藤吉弘亘．"Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ−"，情報処理学会 研究報告 ＣＶＩＭ １６０，ｐｐ．２１１−２２４，２００７

上述したように、従来技術に従っていたのでは、異なる方法で撮影した同じ物体を含む画像を検出しようとしたとき、または類似した物体を含む画像を検出しようとしたとき、画像間の類似度を判定することが難しいという問題がある。この問題は、画像に含まれる物体の回転・移動・変形に伴って発生する問題である。また、画像中の個々の局所領域から求めた特徴量には不確かさがあることに伴って発生する問題である。前述の第１の方法に従い、画像の類似度の判定を実行したとしても、画像に含まれる物体と参照パターンの間の類似度は求められるが、画像に含まれる物体同士の形状の相対的な類似関係と相関をもつ類似度を算出する方法はこれまでなかった。

また、前述の第２の方法で類似度を算出した場合、まず局所的な特徴量を用いて画像間で複数の対応点を検出し、対象となる画像と参照パタンとの幾何的な関係（回転量、平行移動量、変形の変換行列など）については、別途対応点の座標のみを用いて求める必要がある。すなわち、従来技術は、局所的な特徴量に基づく局所領域同士の対応づけを行った後に、複数の対応づけされた特徴点の座標に基づく画像間の幾何的な対応づけを行うという２段階の処理を行う必要がある。

本発明は、このような事情に鑑みてなされたもので、局所的な特徴量を算出した複数の特徴点群の系列を用いて一括して画像間の幾何的な対応を求めて、より計算効率が良く、また、より精度良く画像同士を対応づけして類似度判定ができる画像類似度判定装置、画像類似度判定方法及び画像類似度判定プログラムを提供することを目的とする。

本発明は、複数の画像の類似度を判定する画像類似度判定装置であって、複数の画像それぞれから特徴点群を検出する特徴点検出手段と、前記複数の画像のそれぞれから検出した特徴点群から、当該特徴点群の全部または一部から構成される物体の輪郭上の所定の点を始点として当該輪郭上の距離が等間隔に近くなるように所定の方向にサンプリングすることにより得られる前記画像に含まれる物体の輪郭上の特徴点を含む順序関係を持たせた特徴点の系列情報を前記複数の画像それぞれについて作成して出力する特徴点サンプリング手段と、前記複数の画像それぞれについて、前記順序関係を持たせた特徴点の系列情報を特徴ベクトル化して出力する特徴ベクトル生成手段と、前記複数の画像の前記特徴ベクトルそれぞれについて線形変換を施して出力する線形変換手段と、前記線形変換の結果を用いて前記複数の画像の類似度を判定する類似度判定手段とを備え、前記特徴点検出手段は、特徴点群として物体の輪郭上の特徴点とコーナーを検出し、前記特徴点サンプリング手段は、コーナーもサンプリングして前記物体の輪郭上の特徴点と組み合わせて前記特徴点の系列情報を生成することを特徴とする。

本発明は、前記特徴ベクトル生成手段は、前記サンプリングした特徴点について求めた位置情報、または前記画像に含まれる物体の色情報、またはそれらの組み合わせを特徴ベクトルとすることを特徴とする。

本発明は、前記位置情報は、特徴点のユークリッド空間における座標、または特徴点の極座標、または複素平面における座標、または特徴点間の位置ベクトルの差分情報、または前記画像に含まれる物体の輪郭の接ベクトル、またはそれらの組み合わせを用いることを特徴とする。

本発明は、前記線形変換手段は、Ｐｒｏｃｒｕｓｔｅｓ解析を用いて線形変換を行うことを特徴とする。

本発明は、前記類似度判定手段は、Ｐｒｏｃｒｕｓｔｅｓ距離、またはＰｒｏｃｒｕｓｔｅｓ距離と、それ以外の特徴量との組み合わせを用いて類似度を判定することを特徴とする。

本発明は、複数の画像の類似度を判定する画像類似度判定方法であって、複数の画像それぞれから特徴点群を検出する特徴点検出ステップと、前記複数の画像のそれぞれから検出した特徴点群から、当該特徴点群の全部または一部から構成される物体の輪郭上の所定の点を始点として当該輪郭上の距離が等間隔に近くなるように所定の方向にサンプリングすることにより得られる前記画像に含まれる物体の輪郭上の特徴点を含む順序関係を持たせた特徴点の系列情報を前記複数の画像それぞれについて作成して出力する特徴点サンプリングステップと、前記複数の画像それぞれについて、前記順序関係を持たせた特徴点の系列情報を特徴ベクトル化して出力する特徴ベクトル生成ステップと、前記複数の画像の前記特徴ベクトルそれぞれについて線形変換を施して出力する線形変換ステップと、前記線形変換の結果を用いて前記複数の画像の類似度を判定する類似度判定ステップとを有し、前記特徴点検出ステップは、特徴点群として物体の輪郭上の特徴点とコーナーを検出し、前記特徴点サンプリングステップは、コーナーもサンプリングして前記物体の輪郭上の特徴点と組み合わせて前記特徴点の系列情報を生成することを特徴とする。

本発明は、コンピュータを画像類似度判定装置として機能させることを特徴とする。

本発明によれば、画像に含まれる特徴点の系列の対応に基づいて画像間の対応をとることにより、画像に含まれる物体が回転、移動、変形するような場合や、画像に含まれる特徴点同士の位置関係がずれるような場合においても、画像に含まれる物体同士、あるいは画像に含まれる物体と予め用意した参照パターンとの類似度を算出し、これをもとに類似物体を含む画像を検索したり、画像を類似する順番に並べたりできるようになるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。 対象画像の一例を示す説明図である。 画像処理結果の一例を示す説明図である。 特徴点情報の出力形式の一例を示す説明図である。 画像の類似度を可視化した結果を示す説明図である。

以下、図面を参照して、本発明の一実施形態による画像類似度判定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、コンピュータ装置で構成する画像類似度判定装置である。符号１１は、互いの類似度を判定したい２枚の画像、または、基準画像となる１枚の画像とそれとの類似度を判定すべき１枚以上の画像をカメラ等から入力するかまたは画像ファイルから入力する画像入力部である。符号１２は、画像入力部１１において入力した画像から特徴点を検出し、特徴点の候補情報を出力する特徴点検出部である。符号１３は、特徴点の候補情報から、予め決められた方法に従いサンプリングを行い、予め決められた順序関係に基づいて、それらに順序関係を持たせた系列を作成して出力する特徴点サンプリング部である。

符号１４は、サンプリングされた特徴点の系列について、予め決められた特徴量の抽出を行って、特徴量のベクトル（系列）として出力する特徴ベクトル生成部である。符号１５は、特徴ベクトルに線形変換を施す線形変換部である。ここまでの処理により、画像入力部１１において入力された互いの類似度を判定したい２枚の画像、または、基準画像とそれとの類似度を判定したい１枚以上の画像のそれぞれについて、特徴ベクトルが求まり、それらを用いた線形変換が行われることになる。符号１６は、線形変換の結果を類似度の数値として出力する類似度判定部である。

次に、図１に示す画像入力部１１について説明する。画像入力部１１によって入力される画像は、互いの類似度を判定したい２枚の画像、または、基準画像となる１枚の画像とそれとの類似度を判定したい１枚以上の画像であり、対象はどのようなものであってもよいが、ここでは、ある程度の変形を伴う物体を撮影した画像であるものして説明する。このような画像の一例として図２に示すように、ウェブサイト上の商品画像が適用可能である。画像の大きさや、含まれる商品の大きさは図２に示すようにばらばらであって構わない。

次に、図１に示す特徴点検出部１２について説明する。特徴点検出部１２は、対象特徴点として、エッジやエッジに基づく物体の輪郭やコーナーを検出する。コーナー検出には、Ｈａｒｒｉｓの検出器や固有値による方法など既存の手法があり、それらのどれを用いてもよい。また、一般的に知られている他の特徴検出手法を用いてもよく、先に従来技術で挙げたＳＩＦＴ特徴を用いることも可能である。図２（ａ）の画像の場合、エッジ検出を行うと図３の（Ａ）のように物体（洋服）の輪郭が得られる。特徴点検出部１２は、この輪郭上の点の座標または、座標と特徴量を入力画像とともに特徴点サンプリング部へ出力する。また、特徴点としてコーナー検出などを行い、その座標も合わせ出力するようにしてもよい。特徴点として情報の多い点を検出しておいたほうが、後段の類似度判定の精度が良くなることが期待できる。

次に、図１に示す特徴点サンプリング部１３について説明する。特徴点サンプリング部１３は、特徴点検出部１２で得られた特徴点群に、順序性を持たせて、サンプリングを行う。図３（Ａ）の例が入力された場合、例えば輪郭上の距離が等間隔に近くなるように図３（Ｂ）のようにサンプリングする。このとき、画像の左上から時計と逆回りに順序性を持たせるなど、予め順序性の持たせ方を決めておく。また、特徴点検出部１２から、輪郭だけでなく、コーナーも出力された場合、これらもサンプリングして輪郭からサンプリングした特徴点と組み合わせて、それらの座標、または座標と特徴量を画像入力部１１において入力された画像とともに特徴ベクトル生成部１４へ出力する。このとき、特徴点として、より情報の多い点を優先することで、後段の類似度判定の精度が良くなることが期待できる。図３（Ｂ）の例の場合、輪郭上にサンプリングされた点が丸で示されている。

次に、図１に示す特徴ベクトル生成部１４について説明する。特徴ベクトル生成部１４は、特徴点サンプリング部１３から出力されたサンプリングされ順序づけられた特徴点の情報を特徴ベクトル化する。特徴ベクトルの行成分は、特徴点サンプリング部１３から出力された特徴量、あるいは、特徴ベクトル生成部１４から出力された特徴点の座標と画像とから改めて検出を行った特徴量であり、ｎ次元の特徴量であればｎ行となる。この特徴量としては、従来から用いられている様々な特徴量を組み合わせて用いることが可能で、従来手法との比較で前述したモーメント特徴を適用可能である。

また、特徴点について求めた位置情報において、特徴点のユークリッド空間における座標、または特徴点の極座標、または複素平面における座標、または特徴点間の位置ベクトルの差分情報、または入力した画像に含まれる物体の輪郭の接ベクトル、またはそれらの組み合わせを用いた特徴量などを用いてもよい。例えば、ｘ，ｙ座標のみを用いる場合、ｎ＝２である。座標値と、色（ｒ，ｇ，ｂ）の成分を用いる場合、ｎ＝２＋３＝５である。特徴ベクトルの列成分は順序に従ってサンプリングされた点がｍ個あったとするとｍ列となる。出力の形式は、例えば図４に示すような数値が入ったテキストデータとなる。

次に、図１に示す線形変換部１５について説明する。Ｐｒｏｃｒｕｓｔｅｓ解析は時系列データに線形変換を施して比較する手法である。前述したように、時系列データを比較する手法には、ＨＭＭやＤＰマッチングなどがある。Ｐｒｏｃｒｕｓｔｅｓ解析はＨＭＭのようにモデルを必要としない。ＤＰマッチングのように時系列間の伸縮を考慮したマッチングに近いが、ＤＰマッチングと違って、“どのような線形変換を行った結果、最もよくマッチさせることができるか”という線形変換の行列が出力される。そのため、画像中の特徴量に順序性をもたせてこれを時系列とみなしてマッチングを行うことで、マッチングの結果得られた線形変換の行列から、画像間の類似度だけでなく、一方の画像がどのように変形するともう一方の画像に対応するのか、その回転や移動やスケールや線形であらわされる変形を知ることができる。

今、類似度を算出したい２つの画像から、それぞれＸとＹという２つの特徴ベクトルが得られているとする。ただし、それぞれ要素の重心を中心とする移動を施して位置を正規化しておくものとする。

このとき、一方の特徴ベクトルに回転、スケール変換を施して、２つの特徴ベクトルが最も重なるようにした場合のＰｒｏｃｒｕｓｔｅｓ距離は

によって求めることができる。

以下、この距離の求め方について説明する。ＸとＹの特徴ベクトル間の距離は

となる。

回転行列ＲによってＹを回転させると

となる。

これを最小にするＲは、最後の項の最大化に置き換えて求められる。

また、σでＹをスケール変換したとき、Δ^２（Ｘ，σＹＲ）を最小にするσは

である。

このようなＲ，σの場合に（３）式は（２）式のようになる。

また、特徴ベクトル生成部１４と線形変換部１５の処理において、特徴ベクトルを構成する座標の表現及び特徴ベクトル間の距離は、極座標表現または方向データ（角度データやチェーンコード）またはそれらの複素表現を用いてもよい。Ｐｒｏｃｒｕｓｔｅｓ解析については、文献「Ｐｒｏｃｒｕｓｔｅｓ解析とベクトル相関を併用するオンライン文字認識法、菊池美帆、田貝和俊、高野哲平、金子博、画像電子学会誌 Ｖｏｌ．３６，Ｎｏ．５，２００７．」に記載されている。

次に、図１に示す類似度判定部１６について説明する。類似度判定部１６は、線形変換部１５から出力される線形変換後の値と、予め決められた式に基づいてそれ以外の特徴量との統合を行って類似度を算出し、これを出力する。

図５は、Ｐｒｏｃｒｕｓｔｅｓ距離のパラメータを変えた２パターンによる類似度をｘ，ｙの２軸とする平面において、商品画像の類似度を可視化した結果である。本発明の有効性を示すため、モーメント特徴のパラメータを変えた２パターンによる類似度を２軸として同じ平面にマッピングした結果を示している。なお、距離尺度が異なるので、２つの手法において、平面上での絶対的な距離を比べることは意味をなさない。しかし、順序関係として、モーメント特徴では直観的に類似するとおもわれる商品の平面上の位置が混在しているのに対し、本発明では直観的に類似すると思われる形状が順番に並ぶ。

このように、特徴点サンプリング部１３において、画像に含まれる特徴点群を適切に系列化することで線形変換部１５における線形変換を適用可能にしたため、これによって特徴点群間の対応づけ並びに画像間にそのような対応を施す線形変換行列を一括して求めるような画像の類似度判定を行うことが可能になる。

以上説明したように、２つの画像間の類似度を求める際に、画像に回転と拡大・縮小があることを想定し、２つの画像のそれぞれから特徴ベクトル（２次元の行列）を求め、この特徴ベクトルに回転とスケール変換を施して最も類似する変換（回転とスケール）を求めて、最も類似する変換による特徴ベクトル同士の類似が２つの画像間の類似度となるようにした。これにより、画像の類似度を判定する際に、画像中の物体に回転や移動や変形やそれらの組み合わせがある場合にも、物体の形状に基づいて、物体の類似度を判定することによって、同一物体または類似物体を含む画像を検索したり、多数の商品画像を類似した順番に並べたり、画像に含まれる物体を手掛かりとして同一のシーンを別の方向から撮影した画像を特定したりできるようになる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像類似度判定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

局所的な特徴量を算出した複数の特徴点群の系列を用いて一括して画像間の幾何的な対応を求めて、より計算効率が良く、また、より精度良く画像同士を対応づけして類似度判定を行うことが不可欠な用途に適用できる。

１・・・画像類似度判定装置、１１・・・画像入力部、１２・・・特徴点検出部、１３・・・特徴点サンプリング部、１４・・・特徴ベクトル生成部、１５・・・線形変換部、１６・・・類似度判定部

Claims (7)

1. 複数の画像の類似度を判定する画像類似度判定装置であって、
   複数の画像それぞれから特徴点群を検出する特徴点検出手段と、
   前記複数の画像のそれぞれから検出した特徴点群から、当該特徴点群の全部または一部から構成される物体の輪郭上の所定の点を始点として当該輪郭上の距離が等間隔に近くなるように所定の方向にサンプリングすることにより得られる前記画像に含まれる物体の輪郭上の特徴点を含む順序関係を持たせた特徴点の系列情報を前記複数の画像それぞれについて作成して出力する特徴点サンプリング手段と、
   前記複数の画像それぞれについて、前記順序関係を持たせた特徴点の系列情報を特徴ベクトル化して出力する特徴ベクトル生成手段と、
   前記複数の画像の前記特徴ベクトルそれぞれについて線形変換を施して出力する線形変換手段と、
   前記線形変換の結果を用いて前記複数の画像の類似度を判定する類似度判定手段と
   を備え、
   前記特徴点検出手段は、特徴点群として物体の輪郭上の特徴点とコーナーを検出し、
   前記特徴点サンプリング手段は、コーナーもサンプリングして前記物体の輪郭上の特徴点と組み合わせて前記特徴点の系列情報を生成する
   ことを特徴とする画像類似度判定装置。
2. 前記特徴ベクトル生成手段は、前記サンプリングした特徴点について求めた位置情報、または前記画像に含まれる物体の色情報、またはそれらの組み合わせを特徴ベクトルとすることを特徴とする請求項１に記載の画像類似度判定装置。
3. 前記位置情報は、特徴点のユークリッド空間における座標、または特徴点の極座標、または複素平面における座標、または特徴点間の位置ベクトルの差分情報、または前記画像に含まれる物体の輪郭の接ベクトル、またはそれらの組み合わせを用いることを特徴とする請求項２に記載の画像類似度判定装置。
4. 前記線形変換手段は、Ｐｒｏｃｒｕｓｔｅｓ解析を用いて線形変換を行うことを特徴とする請求項１に記載の画像類似度判定装置。
5. 前記類似度判定手段は、Ｐｒｏｃｒｕｓｔｅｓ距離、またはＰｒｏｃｒｕｓｔｅｓ距離と、それ以外の特徴量との組み合わせを用いて類似度を判定することを特徴とする請求項１に記載の画像類似度判定装置。
6. 複数の画像の類似度を判定する画像類似度判定方法であって、
   複数の画像それぞれから特徴点群を検出する特徴点検出ステップと、
   前記複数の画像のそれぞれから検出した特徴点群から、当該特徴点群の全部または一部から構成される物体の輪郭上の所定の点を始点として当該輪郭上の距離が等間隔に近くなるように所定の方向にサンプリングすることにより得られる前記画像に含まれる物体の輪郭上の特徴点を含む順序関係を持たせた特徴点の系列情報を前記複数の画像それぞれについて作成して出力する特徴点サンプリングステップと、
   前記複数の画像それぞれについて、前記順序関係を持たせた特徴点の系列情報を特徴ベクトル化して出力する特徴ベクトル生成ステップと、
   前記複数の画像の前記特徴ベクトルそれぞれについて線形変換を施して出力する線形変換ステップと、
   前記線形変換の結果を用いて前記複数の画像の類似度を判定する類似度判定ステップとを有し、
   前記特徴点検出ステップは、特徴点群として物体の輪郭上の特徴点とコーナーを検出し、
   前記特徴点サンプリングステップは、コーナーもサンプリングして前記物体の輪郭上の特徴点と組み合わせて前記特徴点の系列情報を生成する
   ことを特徴とする画像類似度判定方法。
7. コンピュータを請求項１〜５のいずれか１項に記載の画像類似度判定装置として機能させるための画像類似度判定プログラム。

Images