JP3572215B2

JP3572215B2 - 検索画像の空間表示方法及び装置及びこの方法のプログラムを記憶した記憶媒体

Info

Publication number: JP3572215B2
Application number: JP3932799A
Authority: JP
Inventors: 和宮川; 治彦児島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-02-18
Filing date: 1999-02-18
Publication date: 2004-09-29
Anticipated expiration: 2019-02-18
Also published as: JP2000242648A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像の検索結果を表示する方法及び装置並びにその方法のプログラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】
従来、映像の検索結果を表示する方法では、画像の色特性やオブジェクトの形状情報、キーワード、テロップ、音声などの言語情報やカメラ、オブジェクトの動き等を特徴量として抽出し、利用者の入力した検索要求との関連度を計算することにより、利用者の求める画像に関連した画像を表示する。例えば文献“ＱｕｅｒｙＩｍａｇｅａｎｄＶｉｄｅｏＣｏｎｔｅｎｔ：ＴｈｅＱＢＩＣＳｙｓｔｅｍ”（Ｍ．Ｆｌｉｃｋｎｅｒ他，ＩＥＥＥ，Ｖｏｌ．２８，ｎｏ．９，ｐｐ．２３−３２，Ｓｅｐｔ．１９９５）では、サンプル画像や手で描いた画像などを検索要求として入力し、画像の色情報、オブジェクトの形状情報、レイアウトなどを利用してデータベース上の画像の類似度を計算し、関連性の判定をする。検索結果を表示する際には、関連度が高いと判断される画像から順次８枚程度表示することにより、関連画像の検索時間を短縮するようにしている。
【０００３】
また、文献“ＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎＷｉｔｈｉｎａＤｉｇｉｔａｌＶｉｄｅｏＬｉｂｒａｒｙ”（Ｃｈｒｉｓｔｅｌ，Ｍ．他，ＳｕｂｍｉｔｔｅｄｆｏｒｐｕｂｌｉｃａｔｉｏｎｉｎａｓｐｅｃｉａｌｉｓｓｕｅｏｆＪｏｕｒｎａｌｏｆＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓｄｅａｌｉｎｇｗｉｔｈｉｎｆｏｒｍａｔｉｏｎｖｉｓｕａｌｉｚａｔｉｏｎ，ａｃｃｅｐｔｅｄＪｕｎｅ１９９８）では、利用者が入力した複数の検索要求を２次元平面上の外延に配置し、これらの検索要求によって形成される多角形の中に検索要求と関連のある画像を配置する。画像の位置は検索要求との関連度によって決定され、検索要求との距離が近いほどその検索要求との関連性が高い画像であると判断される。この方法では、利用者が興味のある部分空間を拡大（ズーミング）することで、より詳しく関連性を把握することが出来る。
【０００４】
【発明が解決しようとする課題】
上記、前者の従来技術においては、特徴量の類似度の総和を用いてランキングを行い、画像を図７に示すように１次元的に表示するため、表示される画像が、例えば１位は特徴量Ａの類似度が高い、２位は特徴量Ｂの類似度が高い、というように統一感なく配置されてしまう。またそれぞれの特徴量がどの程度関連度に反映されているのか、直感的に理解し難いという問題がある。
【０００５】
また後者の従来技術のように、検索要求を外延に配置した多角形空間の中に検索画像を空間配置することによって関連性を表現する方法においては、画面に配置される検索要求の位置が直感的でない、検索要求が増えるほど画像と検索要求間の空間把握が難しくなり関連性が判定し難くなる、どの画像がもっとも関連性が高いと判定されたのかが空間配置に反映されないためわかり難いという問題がある。また、空間の外延に配置された検索要求との距離が関連性を示すため、初期状態では検索された画像すべてを空間上に配置し、空間全体を利用者が把握する必要がある。そのため画面表示に時間がかかるという問題や、部分空間をズームしていくことで目的の画像を探し出す必要があり、検索にかかるステップが増大するという問題がある。
【０００６】
本発明の課題は、ランキングによる１次元的な表示方法では、各検索要求と検索された画像との関連性が把握し難いという欠点と、検索要求を外延に配置した多角形空間上に画像を配置した表示方法では、検索要求の配置が直感的でない、検索要求が増えるほど画像との関連性が把握し難くなる、関連性の判定結果がわかり難い、検索要求の配置方法により検索時間が増大するという上記従来技術の欠点を解決した映像検索結果の表示方法及び装置並びにその方法のプログラムを記憶した記憶媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、本発明の検索画像の表示方法は、検索される画像を画像データベースに格納する手段と、検索要求を入力する検索要求入力手段と、検索要求と画像データベース内の画像からそれぞれの特徴量毎に類似度を求め、それらを重み付けして合計した関連度を求め、その関連度のある画像を検索し、関連度の高さに応じて画像を配列する画像検索手段と、注目する特徴量に応じた表現空間上に、配列された画像を配置する画像配置手段と、検索要求に応じて表現空間上の一部分を選択する画像選択手段と、選択された表現空間上の画像を表示する表示手段と、上記各手段の制御を行う制御手段とを備えた検索画像の空間表示装置において、
入力された検索要求とデータベース上の画像特徴量との関連度を求め、関連度の高い画像を検索する段階と、該検索要求として入力される複数の画像特徴量のうち少なくとも一つ以上に注目し、該特徴量の値と該検索された画像集合の各画像における特徴量の値との比較によって該各画像の特徴量ベクトルの方向を決定し、該画像を検索する段階で導出された該検索要求と該各画像との関連度によって該各画像の特徴量ベクトルの大きさを決定する段階と、該決定した特徴量ベクトルの方向と大きさにより該注目した特徴量に応じた表現空間上に、該表現空間の原点からの方向により画像の特徴を表し、該原点からの距離により関連度を表すように該各画像を配置する段階とを、有することを特徴とする。
【０００８】
あるいは、前記段階に加えて、検索時間を短縮させるために、表現空間上の一部分空間を指定し、該部分空間を移動あるいは変形させる操作を行い、該部分空間内に配置される画像のみを選択し表示する段階を有することを特徴とする。
【０００９】
あるいは、上記の検索画像の空間表示方法における段階をコンピュータで実行するためのプログラムを、該コンピュータが読み取り可能な記憶媒体に記憶したことを特徴とする。
【００１０】
同じく、本発明の検索画像の表示装置は、入力された検索要求とデータベース上の画像特徴量との関連度を求め、関連度の高い画像を検索する画像検索手段と、該検索要求として入力される複数の画像特徴量のうち少なくとも一つ以上に注目し、該特徴量の値と該検索された画像集合の各画像における特徴量の値との比較によって該各画像の特徴量ベクトルの方向を決定し、該画像検索手段で画像を検索する際に導出された該検索要求と該各画像との関連度によって該各画像の特徴量ベクトルの大きさを決定し、該決定した特徴量ベクトルの方向と大きさにより該注目した特徴量に応じた表現空間上に、該表現空間の原点からの方向により画像の特徴を表し、該原点からの距離により関連度を表すように該各画像を配置する画像配置手段と、該表現空間上の一部分空間を指定し、該部分空間を移動あるいは変形させる操作を行った場合に、該部分空間内に配置される画像のみを選択し表示する画像選択手段とを、具備することを特徴とする。
【００１２】
本発明では、入力された検索要求とデータベース上の画像の特徴量との関連度を求め、関連度の高い画像を検索しランキングする画像検索段階（／手段）と、少なくとも注目する一特徴量を用いて、配列された画像の特徴量を直感的に表現した空間上に配置する画像配置段階（／手段）と、利用者が指定する空間上の一部分空間内の画像集合を選択する画像選択段階（／手段）とを有する。
【００１３】
すなわち本発明では、検索する際に用いた特徴量の一部に注目し、その特徴量に応じた直感的な表現空間上に画像を配置する。配置位置は、原点からの方向が注目する特徴量により決定され、原点からの距離が検索段階（／手段）で用いられた関連度により決定されるため、２つの値が分離された配置となり、画像と関連度、特徴量との関連性が容易に把握できるようになる。またこのような配置方法／装置を採用することにより、原点からの延長線上に類似した特徴量の画像が並び且つ原点に関連性の高い画像が集まるため、空間すべてを表示することなく利用者は空間を把握し類似度の高い画像から検索することが出来る。そのため初期状態としては最も関連性が高いと思われる原点を中心とした部分空間を表示するだけでよい。
【００１４】
従来の空間配置法では、空間全体を表示し関連性の高い画像のある部分空間、あるいは興味ある部分空間を利用者がズーミングしていく必要があるため、本方法／装置の方がより検索時間を少なく出来る。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１は、本発明装置の一実施形態例を示すブロック図であり、検索される画像を格納した画像データベース１０、利用者から検索要求や操作を装置に入力する検索要求入力部２０、検索要求とデータベース内の画像から各特徴量の関連度を求め、その総合値から関連性のある画像を検索し、関連度の高さに応じて画像を配列する画像検索部３０、利用者が最も注目する特徴量に応じた表現空間上に、画像検索部３０によって配列された画像を配置する画像配置部４０、利用者の要求に応じて表現空間上の一部分を選択する画像選択部５０、選択された表現空間上の画像を表示するディスプレイ６０、これら各部の制御を行う制御部７０から構成される。
【００１７】
本発明は、特に画像配置部４０と画像選択部５０の処理に関わる。具体的には、画像配置部４０において、検索要求入力部２０で入力された注目する特徴量の値と、画像データベース１０に登録されている画像の特徴量の値を比較し特徴量ベクトルを抽出することで、その特徴量に応じた直感的な表現空間上に画像集合を再配置する。
【００１８】
例えば、最も注目する特徴量が画像全体の色情報であった場合、表現空間はＲＧＢ各色を軸とした原点を持つ表現空間となり、検索、配列された画像は、利用者が入力した注目する特徴量の値と比べて最も特徴的な色に応じた特徴量ベクトルを用いて再配置される。
【００１９】
特徴量ベクトルの長さは、画像検索部３０で画像を検索する際に用いられた関連度により求められ、関連度が低くなるほど原点から遠くなるように決定される。このようにすることにより表現空間上では、原点が検索したい画像に相当し、関連度が低くなるほど遠くに配置される。また、原点を中心にした各画像へのベクトルの方向が、注目した特徴量における検索したい画像イメージとの比較値、つまり検索したい画像の特徴量とどのように違うかを示すため、中心軸からの同一線上には同じイメージの画像が配置される。そのため利用者は、イメージに近い画像を原点からの方向のみで決定すればよく、空間全体を把握する必要性はない。
【００２０】
また、画像選択部５０においては、画像配置部４０において表現空間上に配置された画像の内、利用者の要求する部分空間を選択する。例えば、上記の色情報を用いた表現空間で、利用者が検索した画像のうち赤色がより強調された画像を欲した場合、画像選択部５０は原点から見て赤色軸方向にある画像で原点から近い画像を選択し、ディスプレイ６０に表示する。
【００２１】
以下に、本発明方法にかかる画像の空間配置法の実施形態例を具体的に説明する。
【００２２】
〈実施形態例１〉
これは、利用者が入力したオブジェクトや色情報などの検索要求のうち、画像全体の色情報に関して画像を再配置する実施形態例である。
【００２３】
図２は、本発明方法の一実施形態例の処理手順を表したフローチャートである。
【００２４】
まず、ステップ１００として、利用者からの検索要求として画像の特徴量を検索要求入力部２０において受け取る。
【００２５】
利用者からの検索要求は制御部７０を通し画像検索部３０に送られ、ステップ１１０として画像データベース１０を検索要求のデータで検索し、該当する画像データを獲得する。画像データを獲得する際に、どの程度検索要求を満たしているかという関連度を求めることで順序付けし配列することが出来る。例えば、それぞれの特徴量毎に類似度を求め、それらを重み付けして合計したものを関連度とすることで、ある値以上の関連度を持つ画像を該当データとして獲得できる。各特徴量の類似度計算と画像の関連度計算は従来技術により達成できるので詳細は省略する。
【００２６】
次に、ステップ１２０として、利用者がステップ１００で入力した画像の特徴量のうち、どの特徴量に注目して画像を表示するかを検索要求入力部２０において受け取る。
【００２７】
利用者から指定された特徴量は制御部７０を通し画像配置部４０に送られ、ステップ１３０として指定された特徴量における各画像と利用者の入力値との比較値を各画像の特徴量ベクトルとして計算し、その結果をＥ _A とする。画像全体の色情報を特徴量として色情報を（Ｒ，Ｇ，Ｂ）の３次元ベクトルにより表現した場合、利用者の指定した色が（Ｒｙ，Ｇｙ，Ｂｙ）、画像Ａの画像全体の色情報が（Ｒｉ，Ｇｉ，Ｂｉ）として表されるとすると、画像Ａの特徴量単位ベクトルＥ_AはＮ＝（Ｒｉ−Ｒｙ）＾２＋（Ｇｉ−Ｇｙ）＾２＋（Ｂｉ−Ｂｙ）＾２とした場合、以下のように表される。
【００２８】
【数１】

【００２９】
この場合の特徴量単位ベクトルは利用者が検索したい特徴量との差異であり、検索したい画像イメージと比較した場合に、画像Ａにおいて最もイメージが異なる色方向を特徴的に示す。例えば、検索したい画像イメージに比べて赤色が強い画像Ｂは、上記特徴量単位ベクトルの計算方法からＲ_Eが最も大きな値を持ち、ベクトルの方向は赤色軸方向を特徴的に示す。ステップ１１０で求めた画像Ａと利用者の検索要求との関連度をＣ_Aとした場合、画像Ａの特徴量ベクトルは、単位ベクトルをＥ_A、大きさをＣ_Aとするベクトルと定義する。特徴量ベクトルは定義により、利用者の指定した色情報に対し特徴的な（Ｒ，Ｇ，Ｂ）の軸方向に、関連度が大きいほど大きさの小さいベクトルとして表現されることで、ベクトルの大きさで検索要求とデータベース上の画像特徴量により算出される関連度を示すことができ、ベクトルの方向で指定された特徴量の値と検索された画像集合の各画面における特徴量の差を示すことができる。
【００３０】
次に、ステップ１４０として、画像配置部４０において、特徴量ベクトルを用いて特徴量に応じた表現空間上に画像を配置する。色情報を特徴量とした場合の表現空間は、図３に見られるような（Ｒ，Ｇ，Ｂ）各軸を中心から１２０度の角度をなす方向に配置した表現空間とする。ステップ１３０で求めた特徴量ベクトルにより画像をこの空間上に配置した例を図３に示す。特徴量ベクトルにより、検索したいイメージに比べもっとも特徴的な色空間上に画像は配置される。また関連度の高い画像は原点に近く、関連度が低くなると遠くに配置されるため、他の特徴量を含めた全体的な類似性（距離により示す）と指定された特徴量による類似性（方向により示す）を同時に把握できる画面表示が可能となる。
【００３１】
次に、ステップ１５０として、利用者から表示したい部分空間を検索要求入力部２０において受け取る。入力された部分空間は制御部７０を通り、ステップ１４０において画像選択部５０により配置された表現空間からその部分空間上に存在する画像を選択する。入力方法としては、部分空間を拡大縮小する、見たい部分を矩形で指定する、見たい方向に部分空間を移動するなどがあげられる。初期状態としては、原点を中心にしたｎ枚の画像を範囲とした部分空間を指定するのが妥当であり、初期検索においては利用者に必ずしも入力を促す必要はない。また変数ｎはシステム側で決定しておく、あるいは検索要求入力部２０から入力を得ることが出来る。
【００３２】
選択された画像は、ステップ１７０としてディスプレイ６０に表示される。図４は、図３における表現空間において原点を中心とした部分空間をディスプレイ６０上に、ｎを４として表示した場合のイメージである。外側の矩形はディスプレイ６０における表示部分を示す。ディスプレイ６０に表示する際には、画面の表示範囲と選択された部分空間の領域を考慮して、画面内に画像が配置されるように空間の拡大縮小変形を行う。
【００３３】
次に、ステップ１８０として見つけたい画像が見つからなかった場合の処理として、別の部分空間を選択する（ステップ１９０）、別の画像を表現空間中心とする（ステップ２００）、注目する特徴量を選択し直す（ステップ２１０）、検索をやり直す（ステップ２２０）を行う。
【００３４】
ステップ１９０として、別の部分空間を選択する場合は、ステップ１５０に処理を戻す。ステップ１５０として、ディスプレイ６０に表示された部分空間に対して検索要求入力部２０から拡大縮小、領域を移動させるなどの操作を取得し、ステップ１６０に処理を移す。
【００３５】
ステップ２００として、別の画像を表現空間の中心とする場合、検索要求入力部２０から中心としたい画像を選択する操作を取得し、ステップ１３０に処理を移す。ステップ１３０として選択された画像とその他の画像との間の特徴量ベクトルを求めることで検索画像の再配置が可能となり、ステップ１４０に処理を移す。
【００３６】
ステップ２１０として注目する特徴量を選択し直す場合、ステップ１２０に処理を移す。
【００３７】
ステップ２２０として検索をやり直す場合、ステップ１００に処理を移す。
【００３８】
検索したい画像が見つかる、あるいはこれらの処理いずれにも該当しない場合、処理を終了する。
【００３９】
また、本発明は上記以外にも、例えばカメラを上下左右方向に振るパン、チルト等のカメラ操作に注目して空間上に配置した場合や注目するオブジェクトの位置、動きに注目して空間上に配置した場合のように、注目する特徴量に応じて特徴量ベクトルを算出し、特徴量に応じた表現空間を用意することで、検索要求と実際に検索された画像との関連性が直感的に把握し易くなる。
【００４０】
〈実施形態例２〉
図５はカメラ操作に注目した実施形態例である。画像５００が検索したい画像イメージに相当し、画像５０１は画像５００に対しカメラの操作方向が相対的に右上方に大きい画像であることが把握できる。また、中心からの距離により画像５０１は画像５０２に比べ画像５００に対する類似度が低いこともわかる。画像５００に対し相対的に左上方へのカメラ操作が行われている画像５０３は図の位置に配置され、中心からの距離から画像５０１よりも更に類似度が低いことが直感的に把握できる。
【００４１】
〈実施形態例３〉
図６は、オブジェクトとして家の位置が検索したいイメージの家の位置と相対的にどの程度異なるかを示す例である。画像６００が検索したい画像に相当し、画像６０１は画像６００に比ベオブジェクトの位置が相対的に上方にあるため、図の位置に配置される。また画像６０２は画像６００に対しオブジェクトの位置が右にあるため図の右位置に配置される。中心からの距離から、画像６０１と画像６０２は画像全体のイメージとしては画像６００と類似度がほぼ等しいが、注目するオブジェクトの位置が異なることが直感的に把握できる。
【００４２】
なお、図１で示した手段の一部もしくは全部を、コンピュータを用いて機能させることができること、あるいは、図２等で示した処理手順をコンピュータで実行させることができることは言うまでもなく、コンピュータをその手段として機能させるためのプログラム、あるいは、コンピュータでその処理手順を実行するためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記憶させて提供し、配布することが可能である。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、検索要求のうち特定の特徴量に注目し、検索された各画像に対しその特徴量に基づいた特徴量ベクトルを算出し、特徴量ベクトルと検索時に使用した関連度を用いて特徴量に応じた表現空間上に画像を配置し、さらには利用者の要求に応じて必要な部分空間を表示することが出来るので、利用者は自分の嗜好に応じた画像を的確に把握、検索することができ、さらには短時間に検索することができる。
【図面の簡単な説明】
【図１】本発明装置の一実施形態例を示すブロック図である。
【図２】本発明方法の一実施形態例の処理手順を示すフローチャートである。
【図３】本発明を説明するための表現空間における画像配置の実施形態例１を画像全体の色特徴量に応じた表現空間内で示した図である。
【図４】図４の色表現空間について、原点を中心とした一部分空間をディスプレイ上に表示した図である。
【図５】本発明を説明するための表現空間における画像配置の実施形態例２をカメラ操作特徴量に応じた表現空間内で示した図である。
【図６】本発明を説明するための表現空間における画像配置の実施形態例３をオブジェクト（家）の位置特徴量に応じた表現空間内で示した図である。
【図７】従来の１次元的なランキング方法による検索結果の表示方法を示す図である。
【符号の説明】
１０…画像データベース
２０…検索要求入力部
３０…画像検索部
４０…画像配置部
５０…画像選択部
６０…ディスプレイ
７０…制御部

Claims

検索される画像を画像データベースに格納する手段と、
検索要求を入力する検索要求入力手段と、
検索要求と画像データベース内の画像からそれぞれの特徴量毎に類似度を求め、それらを重み付けして合計した関連度を求め、その関連度のある画像を検索し、関連度の高さに応じて画像を配列する画像検索手段と、
注目する特徴量に応じた表現空間上に、配列された画像を配置する画像配置手段と、
検索要求に応じて表現空間上の一部分を選択する画像選択手段と、
選択された表現空間上の画像を表示する表示手段と、
上記各手段の制御を行う制御手段とを備えた検索画像の空間表示装置において、
入力された検索要求とデータベース上の画像特徴量との関連度を求め、関連度の高い画像を検索する段階と、
該検索要求として入力される複数の画像特徴量のうち少なくとも一つ以上に注目し、該特徴量の値と該検索された画像集合の各画像における特徴量の値との比較によって該各画像の特徴量ベクトルの方向を決定し、該画像を検索する段階で導出された該検索要求と該各画像との関連度によって該各画像の特徴量ベクトルの大きさを決定する段階と、
該決定した特徴量ベクトルの方向と大きさにより該注目した特徴量に応じた表現空間上に、該表現空間の原点からの方向により画像の特徴を表し、該原点からの距離により関連度を表すように該各画像を配置する段階とを、
有することを特徴とする検索画像の空間表示方法。
前記段階に加えて、
検索時間を短縮させるために、表現空間上の一部分空間を指定し、該部分空間を移動あるいは変形させる操作を行い、該部分空間内に配置される画像のみを選択し表示する段階を有する
ことを特徴とする請求項１記載の検索画像の空間表示方法。
入力された検索要求とデータベース上の画像特徴量との関連度を求め、関連度の高い画像を検索する画像検索手段と、
該検索要求として入力される複数の画像特徴量のうち少なくとも一つ以上に注目し、該特徴量の値と該検索された画像集合の各画像における特徴量の値との比較によって該各画像の特徴量ベクトルの方向を決定し、該画像検索手段で画像を検索する際に導出された該検索要求と該各画像との関連度によって該各画像の特徴量ベクトルの大きさを決定し、該決定した特徴量ベクトルの方向と大きさにより該注目した特徴量に応じた表現空間上に、該表現空間の原点からの方向により画像の特徴を表し、該原点からの距離により関連度を表すように該各画像を配置する画像配置手段と、
該表現空間上の一部分空間を指定し、該部分空間を移動あるいは変形させる操作を行った場合に、該部分空間内に配置される画像のみを選択し表示する画像選択手段とを、
具備することを特徴とする検索画像の空間表示装置。
請求項１または２記載の検索画像の空間表示方法における段階をコンピュータで実行するためのプログラムを、該コンピュータが読み取り可能な記憶媒体に記憶した
ことを特徴とする検索画像表示方法のプログラムを記憶した記憶媒体。