JP5226651B2

JP5226651B2 - 類似画像検索装置，類似画像検索方法および類似画像検索プログラム

Info

Publication number: JP5226651B2
Application number: JP2009277148A
Authority: JP
Inventors: 泳青孫; 聡嶌田; 明小島
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2009-12-07
Filing date: 2009-12-07
Publication date: 2013-07-03
Anticipated expiration: 2029-12-07
Also published as: JP2011118790A

Description

本発明は，静止画像や動画像を検索キーおよび検索対象の情報源として，類似画像を検索する類似画像検索の技術に関する。

検索キー画像を用いた類似画像検索方法の一つとして，検索キー画像において注目する領域を指定し，その領域の内容を用いて類似画像検索を行うものがある。例えば，講義映像やスポーツ映像を用いて姿勢の比較・分析を行うときに，類似姿勢検索のため，利用者の検索意図を正確に反映できるようにすることは重要である。そこで，このような場合には，検索キー画像の全体の内容を指定するのではなく，画像における人物や手などのオブジェクトの姿勢を表した特定の画像領域を指定することによって，指定された領域を用いた類似画像検索方法が有効と考えられる。

このような指定領域を用いた従来の類似画像検索方法としては，次のような技術がある。画像データベースの画像毎に事前に領域分割アルゴリズムを用いて画像の領域を分割し，領域の色や模様などの特徴量を抽出しておく。検索のときに，検索キー画像に対して同じ方法で領域分割と特徴量の抽出を行って，分割の結果を利用者に提示する。そして，利用者が提示された領域の中で注目する領域を指定し，その領域の特徴量と画像データベースにおける画像の領域の特徴量との類似度を計算する。これにより，指定された領域と類似する領域を含む画像を類似画像検索の結果として提示する（非特許文献１参照）。

Blobworld: A System for Region-based Image Indexing and Retrieval(1999), by Chac Carson, Megan Thomas, Serge Belongie, Joseph M.Hellerstein, Jitendra Malik, Third International Conference on Visual Information Systems

上記従来の技術では，分割した画像領域毎に特徴量の抽出を行うが，利用者の種々の検索意図に合うような領域分割が行われないと，利用者が必要とする好ましい検索結果は得られないことになる。しかし，利用者の検索意図に合うような精度の高い画像領域分割は，実現が難しい課題である。すなわち，実世界のオブジェクト（例：動物，車，人など）に対応する画像領域を画像から正確に分割することが困難であるため，既存の領域分割アルゴリズムを用いた領域分割の結果には，誤分割（複数のオブジェクトが同じ領域に分割される）や過分割（一つオブジェクトが複数の領域に分割される）という問題がよく発生する。

誤分割の場合，検索キー画像として注目する領域の指定は難しく，指定された領域や画像データベースの画像の領域が正確にオブジェクトに対応付けられないため，類似検索の精度が低いという問題がある。

一方，過分割の場合には，オブジェクトが細かく分割されるため，領域の組み合わせで検索キー画像として注目するオブジェクトを指定することに手間と時間がかかり，また，指定領域とデータベースの画像の領域との類似度を計算することに多大な演算処理時間がかかるという問題がある。

本発明は，上記問題点の解決を図り，利用者の検索意図を効率よく正確に反映することができる類似画像検索技術を提供することを目的としている。

本発明は，上記の課題を解決するために，画像領域分割方法を用いるのではなく，注目する領域を任意の線で検索キー画像に簡易に指定する手段，画像の領域情報を画像における特徴点により表す手段を用いて，類似画像検索を効率よく，かつ精度よく実現できるようにする。

詳しくは，本発明は，静止画像または動画像を検索キー画像および検索対象の画像として，類似画像を検索する類似画像検索装置であって，検索対象の静止画像または動画像が格納された画像データベースと，前記画像データベース中の画像に対して，画像毎に画像の特徴点を抽出する画像特徴点抽出手段と，前記画像特徴点抽出手段で求めた画像の特徴点をクラスタリングすることにより，各画像から前記クラスタリングされた特徴点を含む１または複数の領域を抽出し，当該領域に含まれる特徴点によって形成される領域の形状情報と特徴点の特徴量の情報を，領域の情報として前記画像データベースに格納する画像主要領域選定手段と，類似画像検索のときに，検索に用いる検索キー画像を取得する検索キー画像取得手段と，前記検索キー画像から画像の特徴点を抽出する検索キー画像特徴点抽出手段と，前記検索キー画像において利用者に領域の輪郭を描画またはポイントさせることによって任意形状の注目領域を指定させ，その入力を受け付ける注目領域指定手段と，前記注目領域指定手段で指定された注目領域の情報を用いて，前記注目領域と前記画像データベースの画像から抽出した領域の情報との類似度を計算する類似度計算手段と，前記類似度計算手段で求めた画像の類似度の高い順に，前記注目領域に類似した領域を含む画像を提示する類似画像提示手段とを備え，前記類似度計算手段は，前記画像データベース中に格納された画像から抽出された領域の形状が前記注目領域の形状と類似する領域を類似候補領域として選出し，選出された類似候補領域に含まれる特徴点の特徴量と前記注目領域の特徴点の特徴量との類似度を，類似画像を選択する類似度として算出することを特徴とする。

本発明によれば，利用者に注目する領域を指定させることにより，利用者の検索意図を効率よく正確に反映できる。また，注目する領域の指定手段，画像の特徴点を用いた画像の主要な領域の抽出手段，指定された領域と画像データベースの主要な領域との類似度計算手段により，類似画像検索を精度よくかつ高速に行うことができる。

特に，講義映像やスポーツなどの映像を用いた類似姿勢や動作の分析を行うようなときには，画像の全体内容ではなく画像の局所的な内容の類似性を重視する必要があり，本発明は有効である。

本発明の一実施例における類似画像検索装置の構成例を示す図である。画像データベースの検索対象画像に対するインデクシング処理のフローチャートである。画像の主要な領域抽出処理フローチャートである。クラスタを囲む領域を求める例を示す図である。類似画像検索処理フローチャートである。検索キー画像における注目領域の指定例を示す図である。類似度計算処理フローチャートである。

以下，図面を用いて本発明の実施の形態を説明する。図１は，本発明の一実施例における類似画像検索装置の構成例を示す図である。同図に示す類似画像検索装置１は，検索対象の画像が格納されている画像データベース１１，画像毎に画像の特徴点を抽出する画像特徴点抽出部１２，画像の特徴点を用いて画像の主要領域を抽出する画像主要領域選定部１３，検索キー画像を取得する検索キー画像取得部１４，検索キー画像から画像の特徴点を抽出する検索キー画像特徴点抽出部１５，利用者に注目する領域を指定させる注目領域指定部１６，注目領域と検索対象の画像の領域の情報の類似度を計算する類似度計算部１７，類似度の高い類似画像を出力する類似画像提示部１８から構成される。

各部の処理内容について以下に説明する。画像データベース１１は，事前に取得しておいた検索用の画像群を蓄積・管理しておき，画像特徴点抽出部１２へ画像群を出力する。また，画像主要領域選定部１３から得られた画像の主要な領域情報を画像のインデクシングとして記憶装置に格納する。また，検索キー画像と検索対象画像との類似度を計算するときに，検索対象画像の主要な領域情報を類似度計算部１７へ出力する。また，類似画像検索の結果を提示するときに，その検索結果の画像を類似画像提示部１８へ出力する。

画像特徴点抽出部１２は，画像データベース１１から画像群を受け取って，画像毎に画像の特徴点を抽出し，画像主要領域選定部１３へ出力する。

画像主要領域選定部１３は，画像特徴点抽出部１２から画像の特徴点を受け取って，特徴点のクラスタリングを行う。求められた主要なクラスタを画像の主要な領域として，その領域の情報を画像データベース１１に格納する。

検索キー画像取得部１４は，利用者が指定した検索キー画像を入力し，取得する。検索キー画像特徴点抽出部１５は，検索キー画像取得部１４から検索キー画像を受け取って，画像の特徴点を抽出し，検索キー画像と抽出した特徴点とを注目領域指定部１６へ出力する。

注目領域指定部１６は，検索キー画像特徴点抽出部１５から検索キー画像と抽出した特徴点とを受け取り，検索キー画像において注目する領域を利用者に指定させ，その指定情報を入力する。利用者が指定した領域の領域情報を類似度計算部１７へ出力する。

類似度計算部１７は，注目領域指定部１６から受け取った領域情報と画像データベース１１から読み取った各画像の主要な領域情報とから，それらの類似度を計算する。算出した類似度を，類似画像提示部１８へ出力する。類似画像提示部１８は，類似度計算部１７から類似度を受け取って，類似度の高い順に画像データベース１１から画像を読み出し，利用者に提示する。

次に，上記の構成における処理手順を説明する。図２は，本発明の一実施例における画像特徴点抽出部１２および画像主要領域選定部１３が実行するインデクシング処理のフローチャートである。画像データベース１１中の検索対象画像に対して，画像特徴点抽出部１２および画像主要領域選定部１３は，以下のインデクシング処理を行う。

（１）ステップＳ２１：画像特徴点抽出部１２が，画像データベース１１から画像群を読み込み，取得する。

（２）ステップＳ２２：画像特徴点抽出部１２が，ステップＳ２１で読み取った画像群の各画像について，画像の特徴点を抽出する。特徴点の抽出では，例えば，ＳＩＦＴ（Scale Invariant Feature Transform ）特徴量を利用すればよい。

（３）ステップＳ２３：画像主要領域選定部１３が，画像特徴点抽出部１２が抽出した画像の特徴点を受け取って，画像における主要な領域の選定を行う。この処理内容を，図３に示す画像の主要な領域抽出処理フローに従って説明する。

まず，ステップＳ３１で，画像の特徴点を読み込む。ステップＳ３２では，ステップＳ３１で得られた特徴点の画像における位置情報（特徴点の座標）を用いて，クラスタリングを行う。このクラスタリングは，例えばＦｕｚｚｙＫ−ｍｅａｎｓ法などのクラスタリングにより実現できる。クラスタリングされたクラスタは，Ｎ個とする。

ステップＳ３３で，ループ変数ｎを１に初期化する。次にステップＳ３４では，ｎ番目のクラスタにおける特徴点の数が，あらかじめ定められた一定数以上になるかを判定する。判定結果が“真”の場合には，ステップＳ３５へ進み，“偽”の場合には，ステップＳ３６へ進む。

ステップＳ３５では，ｎ番目のクラスタを検索対象の画像における主要な領域として選定する。そして，ｎ番目のクラスタを囲む領域に関して簡易な形状情報を計算する。

図４は，ｎ番目のクラスタを囲む領域を求める一例を説明する図である。図４に示すように，まず，ｎ番目のクラスタに属する特徴点の位置情報を用いて重心Ｃを求める。次に，重心Ｃから，ある角度α毎に均一的に直線を引いて，個々の特徴点を距離の一番近い直線に投射する。最後に，重心Ｃから一番距離の遠い投射点を用いて，曲線をあてはめ（ｃｕｒｖｅｆｉｔｔｉｎｇ），その曲線で形成される領域を，ｎ番目のクラスタを囲む領域とする。

なお，図４に示すクラスタを囲む領域を求める方法は一例であり，他の方法によってクラスタを囲む領域を求めることもできる。例えばｎ番目のクラスタに属する特徴点を，距離の近い順に線で結んでいき，特徴点を結ぶ線分によってすべての特徴点を包み込む閉領域が形成されたときに，最も外側の線分上にある特徴点群を選んで，それらの特徴群を滑らかな曲線で結び直したものを，領域の形状とする方法なども用いることができる。

一つのクラスタに対して，必ずしも一つの領域の形状を求めるだけではなく，各種の方法を用いて複数の領域の形状を求めるようにしてもよい。

このようにして求めた領域の簡易な形状情報としては，例えば，下記のようなEccentricityあるいはCircularity を求めればよい。

Eccentricity＝（領域の長軸）／（領域の短軸）
Circularity ＝（領域の周辺の長さ）²／（領域の面積）
ステップＳ３６では，ｎ＝Ｎであるかを判定する。判定結果が“真”の場合には，処理を終了し，“偽”の場合には，ステップＳ３７へ進む。ステップＳ３７では，ループ変数ｎに１を加算し，ステップＳ３４へ戻って同様に処理を繰り返す。

（４）ステップＳ２４：ステップＳ２３で得られた画像の主要な領域情報を，検索対象の画像のインデクシング情報として画像データベース１１に格納する。ここで，主要な領域情報は，領域の形状情報と領域における特徴点の特徴量から構成される。例えば，ＳＩＦＴ特徴量の場合，特徴点の特徴量は特徴点周辺領域の持つ勾配情報を用いて算出した１２８次元のものである（参考文献１参照）。
［参考文献１］：D.Lowe, “Distinctive image features from scale-invariant keypoints ”，Proc. of International Journal of Computer Vision(IJCV), 60(2), pp.91-110, 2004 ．
以上の処理を，画像データベース１１から読み込んだ画像群のすべての画像について繰り返す。

次に，類似画像検索時の詳細な処理について説明する。図５は，類似画像検索装置１における検索キー画像取得部１４，検索キー画像特徴点抽出部１５，注目領域指定部１６，類似度計算部１７，類似画像提示部１８が実行する類似画像検索処理のフローチャートである。

（１）ステップＳ５１：検索キー画像取得部１４が，検索キー画像を読み込む。

（２）ステップＳ５２：検索キー画像特徴点抽出部１５が，検索キー画像について画像の特徴点を抽出する。この特徴点の抽出では，インデクシング時に画像特徴点抽出部１２が特徴点の抽出に用いた特徴量と同じ特徴量を用いる。例えば，ＳＩＦＴ（Scale Invariant Feature Transform ）特徴量を，特徴点の抽出に利用することができる。

（３）ステップＳ５３：注目領域指定部１６が，利用者に検索キー画像において注目する領域を指定させ，その領域の座標情報を入力する。利用者は，例えば検索キー画像が表示されたパソコンのディスプレイなどの表示画面上で，マウスや指などを使って，検索したい領域の輪郭を任意の曲線で描画することにより，注目領域を指定することができる。領域の輪郭を描画する代わりに，領域の輪郭における何点かをマウス等によりポイントすることによって，領域を指定することもできる。

検索キー画像における注目領域の指定例を，図６に示す。図６の例では，ディスプレイに表示された検索キー画像において，ロッククライミングしている人物を注目領域Ｒとして指定している。このような指定方法は，利用者の検索意図を効率よく正確に類似画像検索システムに反映することができる。

この例では，ステップＳ５２において検索キー画像の特徴点を抽出した後に，ステップＳ５３において注目領域を利用者に指定させているが，本発明の実施例として，ステップＳ５２とステップＳ５３の処理順序を入れ替え，注目領域を利用者に指定させた後に，検索キー画像の特徴点の抽出を，注目領域についてだけ行うようにすることもできる。

（４）ステップＳ５４：類似度計算部１７が，ステップＳ５３で指定された領域と画像データベース１１における各画像の主要な領域との類似度を計算することにより，指定された領域と画像データベース１１の画像との類似度を算出する。この処理の詳細を，図７に示す類似度計算処理フローに従って説明する。

ステップＳ７１では，指定された注目領域の領域情報を算出する。ここで，領域情報は，注目領域における特徴点の特徴量と領域の簡易な形状情報から構成される。簡易な形状情報は，ステップＳ３５で用いた方法と同じ方法で求める。すなわち，この例では，指定された領域のEccentricityあるいはCircularity である。この両方を用いることもできる。

ステップＳ７２では，指定された領域の形状情報と画像データベース１１における各画像の主要な領域の形状情報との類似度を計算する。例えば，下記のユークリッド距離を用いて類似度を求めればよい。Ｒ_kは指定された領域の形状情報で，Ｒ_imは画像データベース１１におけるｉ番目の画像のｍ番目の主要な領域の形状情報である。例えば，形状情報がEccentricityの場合，Ｄ（Ｒ_k，Ｒ_im）は，指定領域とデータベースの画像における領域のEccentricityの値を用いて算出したユークリッド距離である。

Ｓ_m＝Ｄ（Ｒ_k，Ｒ_im），ｍ＝１，２，…，Ｍ（Ｍはｉ番目の画像の領域数）
ｉ番目の画像において，このようにして算出したＳ_mの値が所定の閾値以下になる領域を，ｉ番目の画像の類似候補領域として選定する。なお，この例では，類似度の判定値Ｓ_mとしてユークリッド距離を用いているので，その値が小さいほど類似する度合いが大きいものとなる。

続いて，ステップＳ７３では，指定された領域の特徴点とデータベースにおける各画像の類似候補領域の特徴点との類似度を計算することにより，指定された領域と画像データベース１１の検索対象画像との類似度を算出する。画像データベース１１におけるｉ番目の画像の類似度Ｓ_iは，下記の式（１）あるいは式（２）のように計算すればよい。ここで，Ｐ_kは指定された領域の特徴点群，Ｐ_ijはステップＳ７２で得られたｉ番目の画像のｊ番目の類似候補領域の特徴点群，ＰＤ（）は二つの特徴点群の類似度計算式である。例えば，ＳＩＦＴの特徴点の場合には，類似度計算式ＰＤ（）として，ＳＩＦＴの特徴点の類似度計算式を用いればよい（前述した参考文献１参照) 。ここで，Ｓ_iは指定された領域と画像データベース１１のｉ番目の画像との総合的な類似度である。Ｌは，ｉ番目の画像の類似候補領域の数である。ｍａｘ_j（）は，最大値を求める関数である。

Ｓ_i＝Σ_j=1 ^LＰＤ（Ｐ_k，Ｐ_ij）／Ｌ …式（１）
Ｓ_i＝ｍａｘ_j（ＰＤ（Ｐ_k，Ｐ_ij）） …式（２）
以上のステップＳ７１〜ステップＳ７３によって，領域の簡易な形状情報を用いて画像データベース１１の画像の類似候補領域を選定し，選定された候補領域だけを用いて，指定された領域と画像データベース１１の画像との類似度を計算することにより，指定された領域の特徴点と検索対象画像の特徴点（一般の画像では何百から何千までの特徴点が抽出される）とから類似度を直接的に計算することができ，検索の精度と効率を向上させることができる。

（５）ステップＳ５５：類似画像提示部１８が，ステップＳ５４で求めた指定された領域と画像データベース１１の画像の類似度Ｓ_iを受け取って，類似度の高い順に類似画像を画像データベース１１から読み出し，表示装置に表示する。

以上の実施形態の説明では，説明を簡単にするために，主に静止画像の検索の例を述べたが，静止画像を用いて動画像を検索するとか，動画像を用いて動画像を検索するとかいうような場合にも，同様に本発明を実施することができる。例えば検索キーが動画像の場合には，利用者に動画像の中の１または複数のフレーム画像を事前に選択させた後，そのフレーム画像の注目領域を指定させる。また，検索対象の動画像については，動画像の各フレーム画像について主要な領域を抽出する方法や，動画像から従来知られている方法によりいくつかの代表画像を選出し，その代表画像から主要な領域を抽出して，その領域の形状情報を画像データベース１１に格納しておく方法を用いることができる。

以上の類似画像検索の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１類似画像検索装置
１１画像データベース
１２画像特徴点抽出部
１３画像主要領域選定部
１４検索キー画像取得部
１５検索キー画像特徴点抽出部
１６注目領域指定部
１７類似度計算部
１８類似画像提示部

Claims

静止画像または動画像を検索キー画像および検索対象の画像として，類似画像を検索する類似画像検索装置であって，
検索対象の静止画像または動画像が格納された画像データベースと，
前記画像データベース中の画像に対して，画像毎に画像の特徴点を抽出する画像特徴点抽出手段と，
前記画像特徴点抽出手段で求めた画像の特徴点をクラスタリングすることにより，各画像から前記クラスタリングされた特徴点を含む１または複数の領域を抽出し，当該領域に含まれる特徴点によって形成される領域の形状情報と特徴点の特徴量の情報を，領域の情報として前記画像データベースに格納する画像主要領域選定手段と，
類似画像検索のときに，検索に用いる検索キー画像を取得する検索キー画像取得手段と，
前記検索キー画像から画像の特徴点を抽出する検索キー画像特徴点抽出手段と，
前記検索キー画像において利用者に領域の輪郭を描画またはポイントさせることによって任意形状の注目領域を指定させ，その入力を受け付ける注目領域指定手段と，
前記注目領域指定手段で指定された注目領域の情報を用いて，前記注目領域と前記画像データベースの画像から抽出した領域の情報との類似度を計算する類似度計算手段と，
前記類似度計算手段で求めた画像の類似度の高い順に，前記注目領域に類似した領域を含む画像を提示する類似画像提示手段とを備え，
前記類似度計算手段は，前記画像データベース中に格納された画像から抽出された領域の形状が前記注目領域の形状と類似する領域を類似候補領域として選出し，選出された類似候補領域に含まれる特徴点の特徴量と前記注目領域の特徴点の特徴量との類似度を，類似画像を選択する類似度として算出する
ことを特徴とする類似画像検索装置。
検索対象の静止画像または動画像が格納された画像データベースから，検索キー画像に類似する画像を検索する類似画像検索方法であって，
前記画像データベース中の画像に対して，画像毎に画像の特徴点を抽出する画像特徴点抽出過程と，
前記画像特徴点抽出過程で求めた画像の特徴点をクラスタリングすることにより，各画像から前記クラスタリングされた特徴点を含む１または複数の領域を抽出し，当該領域に含まれる特徴点によって形成される領域の形状情報と特徴点の特徴量の情報を，領域の情報として前記画像データベースに格納する画像主要領域選定過程と，
類似画像検索のときに，検索に用いる検索キー画像を取得する検索キー画像取得過程と，
前記検索キー画像から画像の特徴点を抽出する検索キー画像特徴点抽出過程と，
前記検索キー画像において利用者に領域の輪郭を描画またはポイントさせることによって任意形状の注目領域を指定させ，その入力を受け付ける注目領域指定過程と，
前記注目領域指定過程で指定された注目領域の情報を用いて，前記注目領域と前記画像データベースの画像から抽出した領域の情報との類似度を計算する類似度計算過程と，
前記類似度計算過程で求めた画像の類似度の高い順に，前記注目領域に類似した領域を含む画像を提示する類似画像提示過程とを有し，
前記類似度計算過程では，前記画像データベース中に格納された画像から抽出された領域の形状が前記注目領域の形状と類似する領域を類似候補領域として選出し，選出された類似候補領域に含まれる特徴点の特徴量と前記注目領域の特徴点の特徴量との類似度を，類似画像を選択する類似度として算出する
ことを特徴とする類似画像検索方法。
コンピュータを，請求項１記載の類似画像検索装置が備える画像特徴点抽出手段，画像主要領域選定手段，検索キー画像取得手段，検索キー画像特徴点抽出手段，注目領域指定手段，類似度計算手段，および，類似画像提示手段として，機能させるための類似画像検索プログラム。