JP3978962B2 - 情報検索方法および情報検索装置 - Google Patents
情報検索方法および情報検索装置 Download PDFInfo
- Publication number
- JP3978962B2 JP3978962B2 JP2000004495A JP2000004495A JP3978962B2 JP 3978962 B2 JP3978962 B2 JP 3978962B2 JP 2000004495 A JP2000004495 A JP 2000004495A JP 2000004495 A JP2000004495 A JP 2000004495A JP 3978962 B2 JP3978962 B2 JP 3978962B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- icon
- search
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、ユーザーの指定したキー情報に基づき、複数の情報が記憶されたデータベースからキー情報に類似する特徴を具備する情報を抽出し、その結果を表示する情報検索方法、およびその方法が適用された情報検索装置に関する。
【０００２】
【従来の技術】
たとえば画像データベースの検索は、従来、キーワードまたは所定の画像をキーとして行われる。キーワードにより検索を行う場合は、あらかじめ画像データベース内の各画像につき、それぞれその画像に現れている物体の名称，その物体の形状，色彩など各種の属性についての特徴を表す語をキーワードとして添付しておき、ユーザーの入力したキーワードに一致もしくは概念が類似するキーワードが添付された画像を抽出する。また自由語の入力を受け付けて、その自由語から検索キーとなるキーワードを抽出したり、複数のキーワードと演算子とを組み合わせた検索式による検索を行うことも可能である。
【０００３】
一方、画像による検索では、画像データベースより読み出された所定の画像や、イメージスキャナやディジタルカメラから取り込まれた画像のほか、ユーザーの描画による画像が用いられる。いずれの場合も、一般に、指定された画像についてその画像上の物体の形状、色彩、位置、背景色など複数種の属性にかかる特徴量が抽出された後、これらの属性について、キーとなる画像に類似する特徴量を有する画像が抽出される。
また複数枚の画像を指定してこれらの画像間に共通する特徴について検索を行ったり、画像上の一部の領域を指定してその画像領域内に含まれる特徴について検索を行うようにすれば、精度の良い検索を行うことができる。
【０００４】
【発明が解決しようとする課題】
キーワードによる検索を行う場合は、検索に先立ち、画像データベースに登録するすべての画像について、キーワードとする特徴の抽出やキーワードの登録処理を行う必要があり、画像データベースの作成に多大な時間と労力とがかかる。また画像データベース内の各画像に付与されたキーワード、検索のために入力されるキーワードのいずれも、個人の主観によるものであるので、必ずしも入力したキーワードに対し、目的とする画像に同一または類似のキーワードが添付されているとは限らず、検索に「もれ」が生じることがある。
【０００５】
一方、画像による検索を行う場合は、検索に用いる属性を増やすことにより検索の「もれ」を少なくすることができる。しかしながらコンピュータは、ユーザーが画像のどの特徴をポイントとして検索を行いたいのかを判断できないから、目的外の特徴による検索が行われて多数の画像が抽出され、ノイズが大きくなるという問題が生じる。
複数枚の画像を用いたり、画像領域を指定して検索を行う場合は、検索に用いられる特徴をかなり絞り込むことができるが、それでもユーザーの意図する特徴を確実に捉えて検索を行うことは困難であり、ユーザーの要望に応じた画像が検索されるとは限らない。
【０００６】
さらにキーワード、画像のいずれをキーとする場合も、多数の画像が抽出されると、その中から目的とする画像を探し当てるには、多大な時間や労力がかかる。また特開平１０−２４０７７１号公報のように、検索された各画像上に表れる特徴を類似度と対応づけてユーザーに提示する方法が提案されてはいるが、検索結果に対し、ユーザーが意図する属性を簡単に選択して検索結果を絞り込んだり、絞り込まれた検索結果をわかりやすく表示するようなユーザーインターフェイスは、いまだ確立していない。
【０００７】
この発明は上記問題点に着目してなされたもので、複数種の属性に着目してデータベースを検索する場合に、検索された情報がどの属性の特徴量に基づいて検索されたのか、またその情報が検索に用いられた特徴量にどの程度類似するのかが、簡単に把握できるような表示を行うことにより、目的とする情報を容易に探し当てられるようにすることを第１の目的とする。
【０００９】
またこの発明は、検索結果の表示画面上で、ユーザーが意図する特徴量を簡単に選択して検索結果を絞り込みできるようなユーザーインターフェイスを提供することを第２の目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明による情報検索方法は、入力部および表示装置が接続されたコンピュータにおいて、前記入力により指定されたキー情報を用いて複数の情報が格納されたデータベースを検索し、その検索により抽出された情報を前記表示装置に表示するもので、以下の第１〜第３のステップを実行することを特徴とする。
第１ステップでは、入力部において行われたモデルとなる特徴を有するキー情報を指定する操作を受け付けて、複数種の属性について、それぞれ前記キー情報が具備する特徴量を抽出する。
第２ステップでは、第１ステップで特徴量が抽出された属性毎に、抽出された特徴量の内容を表すアイコンを設定するとともに、当該属性の特徴量についてのキー情報に対する類似度に基づき、前記データベースから所定数の情報を抽出する。
第３ステップでは、設定された各アイコンが割り付けられた画面を前記表示装置に表示するとともに、第２ステップでデータベースから抽出された各情報が、それぞれ前記キー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対する距離がその他のアイコンに対する距離より短くなる位置に表示され、かつ前記最も高い類似度が高くなるほど前記最も近いアイコンと表示位置との距離が短くなるように、各情報の表示位置を決定して各情報を前記画面上の決定された位置に表示する。
【００１１】
請求項２の発明による情報検索装置は、複数の情報が格納されたデータベースと、モデルとなる特徴を有するキー情報を指定する操作を行うための入力部と、複数種の属性について、それぞれ前記キー情報およびデータベース内の各情報が具備する特徴量を抽出する特徴量抽出手段と、複数種の属性毎に、当該属性の特徴量についてのキー情報に対する類似度に基づき、前記データベースから所定数の情報を抽出する検索手段と、前記検索手段による検索結果を表示装置に表示させるための表示制御手段とを具備する。
さらに上記の表示制御手段は、複数種の属性毎に、その属性につきキー情報から抽出された特徴量の内容を示すアイコンを設定して、各アイコンが割り付けられた画面を前記表示装置に表示するとともに、前記データベースから抽出された各情報が、それぞれ前記キー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対する距離がその他のアイコンに対する距離より短くなる位置に表示され、かつ前記最も高い類似度が高くなるほど前記最も近いアイコンと表示位置との距離が短くなるように、各情報の表示位置を決定して各情報を前記画面上の決定された位置に表示する。
【００１２】
一般に「属性」とは、物の色、形、大きさなど、「物に備わっている性質」のことを言う（三省堂『新明解国語辞典』より）。さらにこの発明では、物の名称やその物に対して各人が感じ取るイメージ（感覚）も、「属性」に含まれると解釈している。上記した「所定の特徴量」とは、たとえばユーザーにより入力された特徴を表すキーワード（飛行機、赤い、大きいなど）や、任意の情報から抽出されたキーワード、物理的な特徴を示す数値、ならびにこれらを複合したものに該当し、具体的に表現されたり、抽象的に表現されたりする。またイメージや間隔を比喩的に表現する場合のたとえも、特徴量に該当する。
【００１３】
前記データベースには、画像や音楽情報のように、キーワード、数値、抽象的な表現などの種々の形式で表される特徴量を具備する情報が格納されるもので、１または複数種の属性について、それぞれ入力された特徴量または所定の情報から抽出された特徴量をキーとしてデータベースを検索することにより、各特徴量に類似する特徴を具備する所定数の情報がデータベースから抽出されることになる。
なお抽出された情報の表示は、情報そのものを表示するのに限らず、その情報を表すアイコンや見出しを表示するようにしてもよい。また表示制御手段の制御対象となる表示装置は、装置本体に一体に組み込まれる場合のみならず、装置の外部に外付けされる場合もある。
【００１５】
好ましい態様を示す請求項３の発明の情報検索装置では、前記表示制御手段は、前記入力部により表示画面上におけるアイコンの位置関係を変更する操作が行われたとき、その操作に応じて各アイコンの位置関係を変更するとともに、前記各情報の表示位置を再設定し、各情報を再設定された位置に移動させるように、構成される。
【００１６】
【作用】
ユーザーにより指定されたキー情報に対し、複数種の属性毎に、その属性につきキー情報が具備する特徴量に基づいてデータベースから所定数の情報が抽出される。またキー情報から抽出された各特徴量について、それぞれその特徴量の内容を示すアイコンが設定されて、各アイコンがそれぞれ所定位置に割り付けられた画面が表示される。さらに抽出された各情報は、それぞれキー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対し、その他のアイコンに対するよりも近い位置に表示される。またこの最も近いアイコンと表示位置との距離は、上記の最も高い類似度が高くなるほど短くなる。
【００１７】
よって、ユーザーは、画面上の各アイコンと情報との位置関係により、各情報がいずれの属性に関してキー情報に類似しているのかや、その属性についてキー情報が具備する特徴量にどの程度類似しているかを、視覚的に認識することが可能となる。
【００１８】
請求項３の発明によれば、入力部を用いて、ユーザーが重要視する特徴量のアイコンを、他の重要視しない特徴量のアイコンから離れるように移動させると、その移動したアイコンが示す特徴量への類似度が高い情報も、アイコンの移動に伴って移動する。すなわち、アイコンを移動させることにより、そのアイコンの示す特徴量への類似度の高い情報を絞り込むことができる。
【００１９】
【実施例】
図１は、この発明の一実施例にかかる画像検索装置の概略構成を示す。
この画像検索装置は、複数枚のディジタル画像が格納された画像データベース１を具備し、ユーザーによる画像の指定を受け付けて、検索処理により前記画像データベース１から前記指定された画像に類似する特徴を有する画像を抽出するためのものである。
【００２０】
上記の画像検索装置は、具体的には、図２に示すようなＣＰＵ１１を制御主体とするコンピュータ１０により実現するものである。このコンピュータ１０には、あらかじめ画像検索用のアプリケーションソフトが記録されたＣＤ−ＲＯＭがセットされて、記録されたプログラムやデータファイルがハードディスク装置１４内にインストールされる。ＣＰＵ１１は、ＲＯＭ１２やＲＡＭ１３にアクセスしつつハードディスク装置１４内のプログラムに基づいた処理を行うことにより、図１のユーザーインターフェイス２，キー画像設定部３，特徴量抽出部４，画像検索部５，アイコン生成部６，アイコン管理部７，画像配置管理部８，表示制御部９の各部として動作する。
【００２１】
前記画像データベース１は、ＣＤ−ＲＯＭやＭＯなどの記憶媒体に記録されたデータファイルを、その記録媒体専用のドライブ装置１５にセットすることにより、装置内に組み込まれる。ただしこれに限らず、ハードディスク装置１４内の所定領域内に画像データベース１のデータファイルを記録しておいてもよい。
入力部１６は、検索に用いる画像の指定や後記するアイコンの移動などに用いられるもので、マウスなどのポインティングデバイスやキーボードにより構成される。表示装置１７は、ＣＲＴ，ＬＣＤなどによる表示画面を具備するモニタ装置であって、検索キーとして指定された画像や、検索により抽出された画像などを表示するために用いられる。
なお表示装置１７は、コンピュータ１０の本体部に一体に組み込まれるもの、本体部に外付けされるもののいずれであってもよい。
【００２２】
この実施例の画像検索装置は、画像データベース１または外部より取り込んだ所定の画像上で、ユーザーが意図する特徴が現れた画像領域を指定すると、検索処理により前記指定された画像領域に類似する特徴を有する画像が抽出され、特徴量を表すアイコンとともに表示されるようになっている。
前記図１において、表示制御部９は、検索処理に応じて前記表示装置１７における画像やアイコンの表示を制御するためのものである。ユーザーインターフェイス２は、この表示制御部９の制御に連動して前記入力部１６によるユーザーの選択操作を受け付けるためのものである。
【００２３】
キー画像設定部３は、ユーザーインターフェイス２により、検索に用いられる画像に対する前記画像領域の指定が受け付けられたとき、その結果を受けて検索対象の画像上で指定された画像領域内の画像データを抽出し、これを検索処理のキーとして設定する（以下、この画像を「キー画像」という）。
【００２４】
特徴量抽出部４は、前記キー画像について、複数種の属性毎に特徴抽出処理（詳細は後記する）を行って、各属性についての特徴量を抽出する。さらに特徴量抽出部４は、画像データベース１に格納された各画像につき、それぞれ前記キー画像に対して実行したのと同様の特徴抽出処理を実行する。
【００２５】
画像検索部５は、前記特徴量抽出部４による処理結果を受けて、属性毎に、それぞれ画像データベース１内の各画像について得た特徴量と前記キー画像について得た特徴量との類似度を算出する。そして前記属性毎に、類似度の高いものから順に所定数の画像を抽出する。
【００２６】
アイコン生成部６は、前記キー画像に対する特徴抽出処理を受けて、抽出された特徴量毎に、表示画面上にアイコンを表示するための表示用データを初期生成する（以下これを「アイコンデータ」という）。さらにこのアイコンデータは、アイコン管理部７よりアイコンの配置位置と画像データベース１に対する検索結果とが、付け加えられて完成する。表示制御部９は、この完成したアイコンデータに基づき、表示装置１７への各アイコンの表示を実行する。
またアイコン管理部７は、ユーザーインターフェイス２がアイコンの移動操作を受け付ける都度、操作されたアイコンに対応するアイコンデータ内の配置位置を変更する。表示制御部９は、この変更された位置データに基づき、画面上のアイコンを移動させる。
【００２７】
画像配置管理部８は、前記アイコン管理部７より各アイコンのアイコンデータを受け取って、それぞれそのデータに含まれる検索結果に基づき、抽出された各画像の配置位置を決定する。表示制御部９は、前記アイコンデータと同様に画像の配置位置も取り込んで、表示装置１７に各画像を表示させる。
【００２８】
図３は、前記画像検索装置における一連の処理手順を示す。以下この図３の流れに沿って、図４〜図７を参照しつつ、この装置において実行される画像検索処理の詳細を説明する。
なお図３および以下の説明において、「ＳＴ」は処理のステップを示す。
【００２９】
ＳＴ１では、検索対象とする画像の指定およびその画像上における領域の指定に応じて、検索用のキー画像が設定される。
図４は、前記キー画像の指定操作の一例を示す。図中、１８は、ユーザーが検索に用いる画像として選択した画像であって、ＲＡＭ１３などに一時保存されている。この画像に対し、前記入力部１６により検索対象とする特徴が現れた画像領域１９を指定すると、指定された領域１９内の画像データが切り出され、キー画像として設定される。勿論、指定された画像全体をキー画像として設定することも可能である。
【００３０】
なお前記画像１８は、画像データベース１またはその他の内部メモリに記憶された画像でも、イメージスキャナやディジタルカメラなどから取り込まれた画像であってもよい。また検索に用いる画像が既に確定している場合は、その画像のみをメモリから読み出し、あるいは外部から取り込んで、上記の領域指定を行えば良いが、ユーザーの意図する検索対象が現れた複数の画像を一覧表示し、その中から所望の画像を選択してから、キー画像抽出のための領域指定を行うことも可能である。
【００３１】
こうしてキー画像が設定されると、特徴量抽出部４により、前記キー画像に対し、複数種の属性についての特徴抽出処理が実行される（ＳＴ２）。
なおここでいう属性とは、画像上の対象物の色，形状，明るさ，大きさなど、数値により表される属性のほか、対象物の名称など個々人の主観に偏らずに画像から客観的に導き出せる語（以下「名称」という）や、画像から受けるイメージを主観的に表す語（以下「感性語」という）により表される属性も含まれる。この実施例では、前者については物理的な特徴を表す数値を、後者については名称や感性語によるキーワードを、それぞれ「特徴量」として抽出するようにしている。
【００３２】
以下に色，形状，名称，感性語の各属性について、特徴量の抽出方法を述べる。
（１）色、明るさの抽出
通常、画像上の色相や輝度は、画像上の物体の種類，位置，大きさ，撮像条件などによって変動する。この実施例では、図５（１）〜（３）に示すように、キー画像を、格子状、あるいは縦または横のいずれかの方向に沿って分割し、各分割領域毎にＲ，Ｇ，Ｂの三原色毎の平均濃度を算出するようにしている。
なおモノクロ画像を対象とする場合は、分割領域毎に平均濃度を算出する。
【００３３】
（２）形状の抽出
カラー画像を対象とする場合は、特徴量の抽出に先立ち、画素毎にＲ，Ｇ，Ｂの各濃度値の平均をとるなどして、画像をモノクロ化する。そしてこのモノクロ画像を２値化処理するとともに画像を格子状に分割し、各分割領域における黒画素（または白画素）の数を計数する。各分割領域毎の計数値は、その分割領域の位置を表すラベルに対応づけるなどして記憶保持しておく。
【００３４】
あるいは、前記２値化処理に代えて、モノクロ画像上のエッジを抽出してもよい。この場合、抽出されたエッジに対して輪郭追跡処理によりエッジの連なりを検出して、物体の輪郭を構成する線分の長さおよびその方向を抽出する。そして例えば、各方向における線分の数を、正規化された形で記憶保持しておく。
【００３５】
なお対象物の大きさに関わる特徴量を抽出する場合は、所定値以上の黒画素を含む分割領域について、各領域毎の黒画素の計数値の総和を求めたり、エッジにより囲まれる画像領域の面積を算出するなどの方法が実行される。
【００３６】
（３）名称の抽出
この実施例では、画像データベース１内の各画像について、それぞれ画像上に現れる物体の名称をキーワードとして定め、各画像に添付するとともに、これらのキーワードについて、それぞれ色，形状などの属性についての物理的な特徴量の代表値をテンプレートとして保存している。
【００３７】
画像データベース１に保存されていた所定の画像から前記キー画像を設定する場合、元の画像に添付されたキーワードが画像データベース１より読み出され、キー画像の特徴量として記憶保持される。なお画像データベース１において、各キーワードをそのキーワードを有する対象物の位置データに対応づけて保存するようにすれば、前記キー画像として選択された画像領域の位置に応じて、キー画像に適正に対応するキーワードを抽出することが可能となる。
【００３８】
一方、外部より取り込まれた画像から前記キー画像が設定された場合は、このキー画像についての前記色や形状などにかかる特徴量の抽出結果を前記テンプレートと比較することにより、キー画像に応じたキーワードを抽出する。
【００３９】
（４）感性語の抽出
この実施例では、「暖かい」、「寒い」、「にぎやか」、「さびしい」というような感性語をキーワードとして定めるとともに、各キーワード毎に、あらかじめ色や明るさなどの属性についての特徴量の代表値を求め、テンプレートとして登録している。
画像データベース１内の画像からキー画像が設定された場合は、前記名称の場合と同様に、元の画像に添付されたキーワードを特徴量として特定する。また外部より取り込まれた画像から前記キー画像が設定された場合は、そのキー画像についての物理的な特徴量の抽出結果をテンプレートと比較することにより、キー画像のイメージを表す感性語を特定する。
【００４０】
上記の特徴量の抽出処理においては、図６に示すように、抽出対象の属性毎に、個別のＩＤコードと特徴量の抽出結果とが対応づけられたデータＤ１（以下「特徴量データＤ１」という）が生成される。
【００４１】
各属性毎の特徴量データＤ１は、アイコン生成部６に与えられ、それぞれ図７に示すようなアイコンデータＤ２が生成される（ＳＴ３）。このアイコンデータＤ２は、抽出された特徴量毎に、その特徴量を表すアイコンを、検索結果とリンクさせて表示するためのデータである。
図７に示すアイコンデータＤ２は、５種類のデータの組合せにより成る。第１のデータは、アイコンの配置位置を表す座標データ（ｘ，ｙ）、第２のデータは前記（ｘ，ｙ）の位置にアイコンを表示するための画像データＰ、第３のデータはアイコンの近傍に特徴量の内容などの所定のコメントを表示させるための文字列データＱである。第４のデータは、前記特徴量抽出部４より抽出された特徴量データＤ１であって、これに第５のデータとして、前記画像検索部５による検索結果が加えられてアイコンデータＤ２が完成する。なお前記アイコン生成部６では、これらデータのうち、画像データＰ，文字列データＱを生成し、これらデータＰ，Ｑに特徴量抽出部４より得た特徴量のデータＤ１を組み合わせてアイコンデータＤ２を初期設定する。
【００４２】
この初期設定されたアイコンデータＤ２はＲＡＭ１３などに保存され、アイコン管理部７により配置位置の座標データ（ｘ，ｙ）および検索結果が、それぞれ書き込まれて完成する。
【００４３】
特徴量抽出部４は、前記キー画像に対する特徴量抽出処理に続いて、画像データベース１内の各画像についても同様の特徴量の抽出処理を実行する。画像検索部５は、それぞれの特徴抽出処理を受けて、各画像につき、それぞれ属性毎に、その属性についてキー画像より抽出した特徴量に対する画像の類似度を算出する。アイコン管理部７は、この検索結果を取り込んで、特徴量毎に類似度の高いものから順に、表示対象の画像として所定数の画像を抽出する。そしてこれらの画像のＩＤコードと特徴量に対する類似度とを組にしたデータ列を、特徴量に対応するアイコンデータＤ２の５番目のデータとして書き加える（ＳＴ４）。
【００４４】
なお前記類似度の算出において、色彩や形状などの物理的特徴量に関する類似度は、前記した分割領域毎の特徴量について、処理対象の画像とキー画像との間における距離を求めるなどして得られる。またキーワードの形で抽出された特徴量については、キーワードが添付されているか否かにより「１」または「０」のいずれかの類似度が設定される。
【００４５】
つぎにアイコン管理部７は、この検索処理を受けて、前記アイコンデータＤ２に各アイコンの配置位置の初期値を書き込む（ＳＴ５）。そして表示制御部９は、完成したアイコンデータＤ２を取り込んで、各アイコンを表示画面上の所定位置に表示させる（ＳＴ６）。
なお前記座標データ（ｘ，ｙ）の初期位置としては、表示画面上にアイコンがほぼ等分に配置されるような位置を設定するとよい。また色についてのアイコンと形状についてのアイコンとを隣り合わせに配置するなど、組み合わせて選択される可能性の高いアイコン同士を近傍位置に配置するのが望ましい。
【００４６】
つぎのＳＴ７で、画像配置管理部８は、前記抽出された各画像の配置位置を決定する（詳細については後述する）。表示制御部９には、これらの画像の配置位置や画像のＩＤコードが与えられる。これに応じて表示制御部９は、画像データベース１より各ＩＤコードに該当する画像データを読み出し、これを与えられた配置位置に基づいて表示画面上へ表示する（ＳＴ８）。
【００４７】
なお前記アイコンおよび画像の配置位置は、アイコンや画像の大きさを固定する場合には、左上頂点の座標など１点の座標により表せばよい。ただしアイコンや画像の大きさを変動させる場合には、対向する２頂点の座標を記憶するか、もしくは前記配置位置とともに、大きさを規定するデータを記憶する必要がある。
【００４８】
このようにしてキー画像について抽出された特徴量の数だけアイコンが生成されて表示されるとともに、各特徴量に基づき検索された画像がそれぞれのアイコンに対応づけられて表示される。この表示に対し、ユーザーが所望のアイコンを移動操作すると、アイコン管理部７は、その操作されたアイコンに対するアイコンデータＤ２の配置位置を書き換える。これを受けて表示制御部９は、操作されたアイコンを書き換えられた配置位置に移動させる（ＳＴ９，１０）。
以下、ＳＴ７〜ＳＴ１０の手順により、アイコンの移動にともない各画像の配置位置が再設定され、これに応じて画像の表示位置が変動することになる。
【００４９】
つぎに前記ＳＴ７の画像の配置位置の決定処理について、詳細に説明する。
この実施例では、表示画面を表す２次元平面上において、各アイコンの配置位置を除く領域を画像の配置が可能な領域（以下、「配置可能領域」という）として設定している。そして前記設定されたアイコン毎に、そのアイコンのアイコンデータＤ２に含まれる画像、すなわちそのアイコンの示す特徴量に類似する特徴を有する画像について、それぞれ前記配置可能領域内の所定位置に配置位置を定めている。
【００５０】
なおこの実施例では、２つの画像が完全に重なり合うことがないように、画像の配置位置が決定する都度、その配置位置を前記配置可能領域から削除するようにしている。
またこの実施例では、各属性のアイコンデータＤ２に含まれる画像につき、類似度の高い順に配置位置を決めていくが、このとき特定の属性についての画像が優先的に配置されることがないように、所定の順序で各アイコンにつき１つずつ配置位置を決定するようにしている。
【００５１】
この実施例では、各画像の配置位置を、それぞれ各アイコンの示す特徴量に対する画像の類似度（以下、簡単に「アイコンに対する画像の類似度」という）により決定する。具体的には、アイコンに対する類似度が高くなるほど、そのアイコンに近い位置に画像を配置するようにしている。
【００５２】
図８は、所定のアイコンＡiにリンクする画像、すなわちこのアイコンＡiのアイコンデータＤ２内の検索結果に含まれる画像Ｍについて、配置位置の決定にかかる手順を示す。なおここでは図３の手順と混同することがないように、各処理のステップを、「ｓｔ」により示す。
【００５３】
まず画像配置管理部８は、前記アイコンＡiにリンクする画像ＭのＩＤコードをチェックし、この画像Ｍの配置位置が既に決定しているかどうかをチェックする（ｓｔ１，２）。
ｓｔ２の判定が「ＮＯ」であれば、画像配置管理部８は、設定されているすべてのアイコンに対する画像Ｍの類似度を高い順にソートする（ｓｔ３）。そしてｓｔ４で、つぎに述べる処理を実行して画像Ｍの配置位置（ｘM，ｙM）を決定した後、続くｓｔ５で、決定した配置位置（ｘM，ｙM）を前記配置可能領域から削除する。
なおこの画像Ｍの配置位置が他のアイコンに対応して既に決定している場合は、ｓｔ３〜ｓｔ５の処理を実行せずに、つぎのアイコンの画像の処理へと進む。
【００５４】
上記ｓｔ４においては、画像配置管理部８は、基本的に、前記類似度のソート処理による第１位、第２位のアイコンＡ１，Ａ２（すなわちアイコンに対する画像Ｍの類似度が最も高いアイコンと２番目に高いアイコン）の各アイコンデータを用いて、画像Ｍの配置位置を決定する。なおこのとき、前記アイコンＡiが第１位のアイコンＡ１となる確率は高いが、画像Ｍが複数のアイコンにリンクしている場合は、Ａi以外のアイコンが第１位のアイコンＡ１となることもあり得る。
【００５５】
前記第１位、第２位のアイコンＡ１，Ａ２がいずれも物理的な特徴量を表すものである場合、画像配置管理部８は、各アイコンＡ１，Ａ２に対する画像Ｍの類似度ｒ１，ｒ２に注目し、それぞれ各アイコンＡ１，Ａ２の配置位置ａ１，ａ２を中心として、半径が（１−ｒ１）・α，（１−ｒ２）・αの仮想円ｃ１，ｃ２を設定する。
なおαは、各仮想円の半径を所定の画素数に設定するための係数である。
【００５６】
前記仮想円ｃ１，ｃ２は、各アイコンＡ１，Ａ２に対する画像Ｍの類似度が高くなるにつれて小さくなる。また各アイコンＡ１，Ａ２の配置位置および前記類似度によって、図９（１）〜（３）に示すように、各仮想円ｃ１，ｃ２が交わる場合（各円が１点で接する場合も含む）、仮想円ｃ２の中に仮想円ｃ１が含まれる場合、各仮想円ｃ１，ｃ２が離れて位置する場合、の３通りが考えられる。画像配置管理部８は、これらのケースに応じてつぎの方法により前記画像Ｍの配置位置を決定する。
【００５７】
図９（１）のように、２個の仮想円ｃ１，ｃ２が交わる場合、画像配置管理部８は、各交点ｐ１，ｐ２を基準として所定距離範囲にある領域ｑ１，ｑ２を設定し、いずれかの領域ｑ１，ｑ２内において前記配置可能領域に含まれる点を、画像Ｍの配置位置とする。
なお前記領域ｑ１，ｑ２のいずれを採用するかについては、前記ソート処理による第３位のアイコンについてｃ１，ｃ２と同様の方法で仮想円を設定し、この仮想円の円弧に近い方の交点を採用するとよい。
【００５８】
図９（２）のように、第１位のアイコンＡ１にかかる仮想円ｃ１が第２位のアイコンＡ２にかかる仮想円ｃ２内に含まれる場合は、各仮想円ｃ１，ｃ２の中心点ａ１，ａ２を通る直線と仮想円ｃ１の円周との交点ｂ１，ｂ２のうち、仮想円ｃ２の円周に近い側の交点（図示例ではｂ１）を選択する。そして仮想円ｃ１について、前記選択された交点ｂ１を基準とする所定大きさの円弧ｈ（図中太線で示す）上の１点またはその近傍位置を、画像Ｍの配置位置として決定する。
【００５９】
図９（３）のように、各仮想円ｃ１，ｃ２が離れている場合は、各仮想円ｃ１，ｃ２の中心点ａ１，ａ２を結ぶ線分が、各類似度ｒ１，ｒ２に基づく比δ・（１−ｒ１）：δ・（１−ｒ２）（δ＞１）で分割される。そしてこの分割点ｄを基準とする所定距離範囲内の領域ｓにおいて、画像Ｍの配置位置が決定される。なお各中心点ａ１，ａ２を結ぶ線分の長さが所定値以内であれば、この線分を等分割して、前記分割点ｄを割り出してもよい。
【００６０】
一方、第１位のアイコンＡ１がキーワードを表すものである場合は、画像配置管理部８は、第３位までのアイコンＡ１〜Ａ３を用いて、画像Ｍの配置位置を決定する。
まず画像Ｍの類似度が１．０となる第１位のアイコンＡ１については、配置位置ａ１を中心に、半径０．５αとなる仮想円ｃ１を設定し、この仮想円ｃ１の内側の領域を画像Ｍの第１の配置候補領域Ｒ１とする。また第２位、第３位のアイコンＡ２，Ａ３については、それぞれ配置位置ａ２，ａ３を中心に、各アイコンに対する画像Ｍの類似度に応じた半径を有する仮想円ｃ２，ｃ３を設定する。そしてこれら仮想円ｃ２，ｃ３が前記図９（１）と同様の関係にあるときは領域ｑ１，ｑ２に該当する画像領域を、図９（２）と同様の関係にあるときは円弧ｈに該当する画像領域を、図９（３）と同様の関係にあるときは領域ｓに該当する画像領域を、画像Ｍの第２の配置候補領域Ｒ２として設定する。
【００６１】
上記した各配置候補領域Ｒ１，Ｒ２は、図１０（１）のように各領域Ｒ１，Ｒ２が重なり合うか、あるいは図１０（２）のように各領域が離れて位置するかのいずれかの形態をとる。画像配置管理部８は、図１０（１）のケースについては重なり合う領域Ｒ３内の所定位置を、図１０（２）のケースについては領域Ｒ１内の所定位置を、画像Ｍの配置位置として決定する。
なおキーワードを表すアイコンについての仮想円の半径は、０．５αに限らず、０．５α以下の任意の大きさに設定すればよい。
【００６２】
またキーワードを表すアイコンが複数個生成されており、画像Ｍがいずれのアイコンにもリンクしている場合、これらすべてのアイコンが前記第１位のアイコンとして検出されることになる。この場合は、キーワードを表す各アイコンについて半径０．５αの仮想円を設定し、前記図９（１）〜図９（３）の方法を適用して画像Ｍの配置位置を決定する。
【００６３】
上記の配置方法によれば、画像Ｍは、基本的に、最も類似度の高い第１位のアイコンＡ１に対応づけられて、アイコンＡ１に対する類似度が高くなるほど、アイコンＡ１に近い位置に配置される。ただしその配置位置は、画像ＭとアイコンＡ１との関係によって一意に定められるものではなく、第２位もしくは第３位のアイコンの配置位置やそれらアイコンＡ２，Ａ３に対する画像Ｍの類似度によっても変動する。
【００６４】
たとえば第１位、第２位の各アイコンＡ１，Ａ２が近傍位置に配置されている場合、各アイコンＡ１，Ａ２による仮想円ｃ１，ｃ２の間に図９（１），図９（２），図１０（１）に示したような関係が生じるから、画像Ｍは、いずれのアイコンＡ１，Ａ２に対しても、およそそのアイコンに対する類似度に応じた距離だけ離れた位置に配置されるようになる。これに対し、第１位、第２位の各アイコンＡ１，Ａ２が離れると、各仮想円ｃ１，ｃ２の間には図９（３）や図１０（２）に示したような関係が生じ、画像Ｍは、第１位のアイコンＡ１寄りに配置されるようになる。
【００６５】
したがって前記図３のＳＴ９，１０において、ユーザーが、重要視するアイコンと重要視していないアイコンとが離れた位置に配置されるように、所定のアイコンを移動させると、重要視するアイコンの周囲に、そのアイコンに対する類似度の高い画像が集められる。しかもこれらの画像は、前記アイコンに対し、それぞれ類似度に応じた距離だけ離れた位置に配置されるから、各画像のアイコンに対する類似度の違いを一目で判断できる。
【００６６】
また２種以上の特徴量をキーとして画像を抽出したい場合は、それらの特徴量を表すアイコンが近くに配置されるように各アイコンを移動させる。これにより、近づけられた各アイコンの双方に類似する画像が、それぞれのアイコンに対する類似度に応じた位置に配置され、各特徴量と画像との関係や類似の度合いを簡単に判断することができる。
【００６７】
このようにアイコンの移動という簡単な操作により、最初の検索結果を適正に絞り込んでユーザーの所望する画像を得ることができるから、検索の精度や効率を大幅に向上することができ、また検索結果の表示画面上で目的とする画像を容易に探し当てることが可能となる。
【００６８】
図１１（１）〜（３）は、検索結果の表示画面の具体例を示す。
図１１（１）は、前記図４に示した画像から抽出されたキー画像により検索を行った場合の最初の表示画面である。図中、２０は、キー画像上に含まれる対象物の名称（飛行機）を表すキーワードのアイコン、２１は対象物の形状にかかる特徴量を表すアイコン、２２は対象物の色にかかる特徴量を表すアイコンであり、アイコン２１，２２の近傍には、それぞれ前記アイコンデータＤ２内の文字列データＱに応じたコメント２１ａ，２２ａが表示されている。さらに検索により抽出された所定数の画像（２３Ａ〜２３Ｄで示す）が、各アイコンの配置位置およびアイコンに対する画像の類似度に応じた位置に、表示されている。
なおコメント２１ａ，２２ａは、対応するアイコン２１，２２にマウスカーソルが近づいたときのみ表示されるようにしてもよい。
【００６９】
図１１（２）は、前記図１１（１）の表示画面上で、マウスにより形状にかかるアイコン２１を選択した状態を示す。図１１（３）は、さらにドラッグ操作により、図１１（２）で選択されたアイコン２１を、表示画面の隅位置に移動させた後の表示画面を示す。
【００７０】
図１１の具体例によれば、形状を表すアイコン２１を他のアイコン２０，２２から引き離して配置することにより、各画像２３Ａ〜２３Ｄの配置位置が変動している。特に、図中、２３Ａ，２３Ｂの符号で示す各画像は、アイコン２１の移動前と同様の距離を保ってアイコン２１の近傍に表示されているので、キー画像に類似する形状を有する画像であることが容易に判別できる。
なおこの実施例では、各画像を同じ大きさで表しているが、所定のアイコンに対する類似度が大きくなる画像ほど、大きく表示するようにしてもよい。
【００７１】
なお上記の構成に加え、表示画面上に表示されたアイコンのうち不要なアイコンを削除できるように設定すれば、検索結果からノイズを容易に削除することが可能となる。またユーザーが新たに抽出すべき特徴量に関わる条件を入力して新たなアイコンを生成し、その特徴量により画像データベース１を再検索して、その結果を表示することも可能である。この場合、特にキーワードについて、「そのキーワード（たとえば飛行機）を含まない」という意味のアイコンを生成して、前記キー画像とは異なる対象物の画像を検出することも可能である。
【００７２】
また上記の実施例では、検索のキーを画像データより設定しているが、キーワードによる検索を行う場合も、同様の方式で検索結果を表示したり、検索結果の絞り込みを行うことが可能である。
【００７３】
さらに上記実施例では、画像データベースを検索するようにしているが、この発明は画像に限らず、音楽情報など、キーワード，数値，感性語などにより表される種々の特徴量を有する情報を検索する際にも適用できる。
たとえば音楽情報を検索する場合であれば、楽曲の種類（クラッシック，ポピュラー，ロックなど），拍子や長短調の種類，作曲者名，楽曲名などの特徴量を入力、もしくは所定の楽曲から抽出して、データベースを検索する。そして前記実施例と同様に、検索に用いた特徴量毎にアイコンを設定して表示画面上に表示する。さらにデータベースより抽出された各情報について、前記図９，１０と同様の原理に基づき、各情報の配置位置を決定した後、それぞれの情報をアイコン化して決定された配置位置に表示する。
【００７４】
【発明の効果】
この発明によれば、表示画面上のアイコンとデータベースから抽出された情報との位置関係により、抽出された各情報がどの属性に関してキー情報に類似するのかや、どの程度の類似度があるのかを認識することができる。したがってユーザーは、画面上のアイコンと情報との位置関係に基づき、重要視している属性に関してキー情報に類似する特徴量を具備する情報を容易に探し当てることができる。
【００７６】
請求項３の発明によれば、ユーザーが重要視する属性の特徴量に対応するアイコンと重要視していない属性の特徴量に対応するアイコンとが離れて位置するように、各アイコンの移動操作を行うことにより、重要視する属性の特徴量についてキー情報に類似する情報をアイコンの移動に伴って移動させることができるので、検索結果を容易かつ精度よく絞り込むことが可能なユーザーインターフェイスを提供することができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる画像検索装置の機能ブロック図である。
【図２】画像検索装置の具体的な構成を示すブロック図である。
【図３】画像検索処理の手順を示すフローチャートである。
【図４】キー画像の指定方法を示す説明図である。
【図５】色の抽出処理時の画像の分割例を示す説明図である。
【図６】特徴量データのデータ構成を示す説明図である。
【図７】アイコンデータのデータ構成を示す説明図である。
【図８】画像の配置位置の決定にかかる手順を示すフローチャートである。
【図９】画像の配置位置を決定する方法を示す説明図である。
【図１０】画像の配置位置を決定する方法を示す説明図である。
【図１１】検索結果の表示画面の具体例を示す説明図である。
【符号の説明】
１ 画像データベース
２ ユーザーインターフェイス
５ 画像検索部
６ アイコン生成部
７ アイコン管理部
８ 画像配置管理部
９ 表示制御部
１０ コンピュータ
１１ ＣＰＵ
１７ 表示装置
【産業上の利用分野】
この発明は、ユーザーの指定したキー情報に基づき、複数の情報が記憶されたデータベースからキー情報に類似する特徴を具備する情報を抽出し、その結果を表示する情報検索方法、およびその方法が適用された情報検索装置に関する。
【０００２】
【従来の技術】
たとえば画像データベースの検索は、従来、キーワードまたは所定の画像をキーとして行われる。キーワードにより検索を行う場合は、あらかじめ画像データベース内の各画像につき、それぞれその画像に現れている物体の名称，その物体の形状，色彩など各種の属性についての特徴を表す語をキーワードとして添付しておき、ユーザーの入力したキーワードに一致もしくは概念が類似するキーワードが添付された画像を抽出する。また自由語の入力を受け付けて、その自由語から検索キーとなるキーワードを抽出したり、複数のキーワードと演算子とを組み合わせた検索式による検索を行うことも可能である。
【０００３】
一方、画像による検索では、画像データベースより読み出された所定の画像や、イメージスキャナやディジタルカメラから取り込まれた画像のほか、ユーザーの描画による画像が用いられる。いずれの場合も、一般に、指定された画像についてその画像上の物体の形状、色彩、位置、背景色など複数種の属性にかかる特徴量が抽出された後、これらの属性について、キーとなる画像に類似する特徴量を有する画像が抽出される。
また複数枚の画像を指定してこれらの画像間に共通する特徴について検索を行ったり、画像上の一部の領域を指定してその画像領域内に含まれる特徴について検索を行うようにすれば、精度の良い検索を行うことができる。
【０００４】
【発明が解決しようとする課題】
キーワードによる検索を行う場合は、検索に先立ち、画像データベースに登録するすべての画像について、キーワードとする特徴の抽出やキーワードの登録処理を行う必要があり、画像データベースの作成に多大な時間と労力とがかかる。また画像データベース内の各画像に付与されたキーワード、検索のために入力されるキーワードのいずれも、個人の主観によるものであるので、必ずしも入力したキーワードに対し、目的とする画像に同一または類似のキーワードが添付されているとは限らず、検索に「もれ」が生じることがある。
【０００５】
一方、画像による検索を行う場合は、検索に用いる属性を増やすことにより検索の「もれ」を少なくすることができる。しかしながらコンピュータは、ユーザーが画像のどの特徴をポイントとして検索を行いたいのかを判断できないから、目的外の特徴による検索が行われて多数の画像が抽出され、ノイズが大きくなるという問題が生じる。
複数枚の画像を用いたり、画像領域を指定して検索を行う場合は、検索に用いられる特徴をかなり絞り込むことができるが、それでもユーザーの意図する特徴を確実に捉えて検索を行うことは困難であり、ユーザーの要望に応じた画像が検索されるとは限らない。
【０００６】
さらにキーワード、画像のいずれをキーとする場合も、多数の画像が抽出されると、その中から目的とする画像を探し当てるには、多大な時間や労力がかかる。また特開平１０−２４０７７１号公報のように、検索された各画像上に表れる特徴を類似度と対応づけてユーザーに提示する方法が提案されてはいるが、検索結果に対し、ユーザーが意図する属性を簡単に選択して検索結果を絞り込んだり、絞り込まれた検索結果をわかりやすく表示するようなユーザーインターフェイスは、いまだ確立していない。
【０００７】
この発明は上記問題点に着目してなされたもので、複数種の属性に着目してデータベースを検索する場合に、検索された情報がどの属性の特徴量に基づいて検索されたのか、またその情報が検索に用いられた特徴量にどの程度類似するのかが、簡単に把握できるような表示を行うことにより、目的とする情報を容易に探し当てられるようにすることを第１の目的とする。
【０００９】
またこの発明は、検索結果の表示画面上で、ユーザーが意図する特徴量を簡単に選択して検索結果を絞り込みできるようなユーザーインターフェイスを提供することを第２の目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明による情報検索方法は、入力部および表示装置が接続されたコンピュータにおいて、前記入力により指定されたキー情報を用いて複数の情報が格納されたデータベースを検索し、その検索により抽出された情報を前記表示装置に表示するもので、以下の第１〜第３のステップを実行することを特徴とする。
第１ステップでは、入力部において行われたモデルとなる特徴を有するキー情報を指定する操作を受け付けて、複数種の属性について、それぞれ前記キー情報が具備する特徴量を抽出する。
第２ステップでは、第１ステップで特徴量が抽出された属性毎に、抽出された特徴量の内容を表すアイコンを設定するとともに、当該属性の特徴量についてのキー情報に対する類似度に基づき、前記データベースから所定数の情報を抽出する。
第３ステップでは、設定された各アイコンが割り付けられた画面を前記表示装置に表示するとともに、第２ステップでデータベースから抽出された各情報が、それぞれ前記キー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対する距離がその他のアイコンに対する距離より短くなる位置に表示され、かつ前記最も高い類似度が高くなるほど前記最も近いアイコンと表示位置との距離が短くなるように、各情報の表示位置を決定して各情報を前記画面上の決定された位置に表示する。
【００１１】
請求項２の発明による情報検索装置は、複数の情報が格納されたデータベースと、モデルとなる特徴を有するキー情報を指定する操作を行うための入力部と、複数種の属性について、それぞれ前記キー情報およびデータベース内の各情報が具備する特徴量を抽出する特徴量抽出手段と、複数種の属性毎に、当該属性の特徴量についてのキー情報に対する類似度に基づき、前記データベースから所定数の情報を抽出する検索手段と、前記検索手段による検索結果を表示装置に表示させるための表示制御手段とを具備する。
さらに上記の表示制御手段は、複数種の属性毎に、その属性につきキー情報から抽出された特徴量の内容を示すアイコンを設定して、各アイコンが割り付けられた画面を前記表示装置に表示するとともに、前記データベースから抽出された各情報が、それぞれ前記キー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対する距離がその他のアイコンに対する距離より短くなる位置に表示され、かつ前記最も高い類似度が高くなるほど前記最も近いアイコンと表示位置との距離が短くなるように、各情報の表示位置を決定して各情報を前記画面上の決定された位置に表示する。
【００１２】
一般に「属性」とは、物の色、形、大きさなど、「物に備わっている性質」のことを言う（三省堂『新明解国語辞典』より）。さらにこの発明では、物の名称やその物に対して各人が感じ取るイメージ（感覚）も、「属性」に含まれると解釈している。上記した「所定の特徴量」とは、たとえばユーザーにより入力された特徴を表すキーワード（飛行機、赤い、大きいなど）や、任意の情報から抽出されたキーワード、物理的な特徴を示す数値、ならびにこれらを複合したものに該当し、具体的に表現されたり、抽象的に表現されたりする。またイメージや間隔を比喩的に表現する場合のたとえも、特徴量に該当する。
【００１３】
前記データベースには、画像や音楽情報のように、キーワード、数値、抽象的な表現などの種々の形式で表される特徴量を具備する情報が格納されるもので、１または複数種の属性について、それぞれ入力された特徴量または所定の情報から抽出された特徴量をキーとしてデータベースを検索することにより、各特徴量に類似する特徴を具備する所定数の情報がデータベースから抽出されることになる。
なお抽出された情報の表示は、情報そのものを表示するのに限らず、その情報を表すアイコンや見出しを表示するようにしてもよい。また表示制御手段の制御対象となる表示装置は、装置本体に一体に組み込まれる場合のみならず、装置の外部に外付けされる場合もある。
【００１５】
好ましい態様を示す請求項３の発明の情報検索装置では、前記表示制御手段は、前記入力部により表示画面上におけるアイコンの位置関係を変更する操作が行われたとき、その操作に応じて各アイコンの位置関係を変更するとともに、前記各情報の表示位置を再設定し、各情報を再設定された位置に移動させるように、構成される。
【００１６】
【作用】
ユーザーにより指定されたキー情報に対し、複数種の属性毎に、その属性につきキー情報が具備する特徴量に基づいてデータベースから所定数の情報が抽出される。またキー情報から抽出された各特徴量について、それぞれその特徴量の内容を示すアイコンが設定されて、各アイコンがそれぞれ所定位置に割り付けられた画面が表示される。さらに抽出された各情報は、それぞれキー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対し、その他のアイコンに対するよりも近い位置に表示される。またこの最も近いアイコンと表示位置との距離は、上記の最も高い類似度が高くなるほど短くなる。
【００１７】
よって、ユーザーは、画面上の各アイコンと情報との位置関係により、各情報がいずれの属性に関してキー情報に類似しているのかや、その属性についてキー情報が具備する特徴量にどの程度類似しているかを、視覚的に認識することが可能となる。
【００１８】
請求項３の発明によれば、入力部を用いて、ユーザーが重要視する特徴量のアイコンを、他の重要視しない特徴量のアイコンから離れるように移動させると、その移動したアイコンが示す特徴量への類似度が高い情報も、アイコンの移動に伴って移動する。すなわち、アイコンを移動させることにより、そのアイコンの示す特徴量への類似度の高い情報を絞り込むことができる。
【００１９】
【実施例】
図１は、この発明の一実施例にかかる画像検索装置の概略構成を示す。
この画像検索装置は、複数枚のディジタル画像が格納された画像データベース１を具備し、ユーザーによる画像の指定を受け付けて、検索処理により前記画像データベース１から前記指定された画像に類似する特徴を有する画像を抽出するためのものである。
【００２０】
上記の画像検索装置は、具体的には、図２に示すようなＣＰＵ１１を制御主体とするコンピュータ１０により実現するものである。このコンピュータ１０には、あらかじめ画像検索用のアプリケーションソフトが記録されたＣＤ−ＲＯＭがセットされて、記録されたプログラムやデータファイルがハードディスク装置１４内にインストールされる。ＣＰＵ１１は、ＲＯＭ１２やＲＡＭ１３にアクセスしつつハードディスク装置１４内のプログラムに基づいた処理を行うことにより、図１のユーザーインターフェイス２，キー画像設定部３，特徴量抽出部４，画像検索部５，アイコン生成部６，アイコン管理部７，画像配置管理部８，表示制御部９の各部として動作する。
【００２１】
前記画像データベース１は、ＣＤ−ＲＯＭやＭＯなどの記憶媒体に記録されたデータファイルを、その記録媒体専用のドライブ装置１５にセットすることにより、装置内に組み込まれる。ただしこれに限らず、ハードディスク装置１４内の所定領域内に画像データベース１のデータファイルを記録しておいてもよい。
入力部１６は、検索に用いる画像の指定や後記するアイコンの移動などに用いられるもので、マウスなどのポインティングデバイスやキーボードにより構成される。表示装置１７は、ＣＲＴ，ＬＣＤなどによる表示画面を具備するモニタ装置であって、検索キーとして指定された画像や、検索により抽出された画像などを表示するために用いられる。
なお表示装置１７は、コンピュータ１０の本体部に一体に組み込まれるもの、本体部に外付けされるもののいずれであってもよい。
【００２２】
この実施例の画像検索装置は、画像データベース１または外部より取り込んだ所定の画像上で、ユーザーが意図する特徴が現れた画像領域を指定すると、検索処理により前記指定された画像領域に類似する特徴を有する画像が抽出され、特徴量を表すアイコンとともに表示されるようになっている。
前記図１において、表示制御部９は、検索処理に応じて前記表示装置１７における画像やアイコンの表示を制御するためのものである。ユーザーインターフェイス２は、この表示制御部９の制御に連動して前記入力部１６によるユーザーの選択操作を受け付けるためのものである。
【００２３】
キー画像設定部３は、ユーザーインターフェイス２により、検索に用いられる画像に対する前記画像領域の指定が受け付けられたとき、その結果を受けて検索対象の画像上で指定された画像領域内の画像データを抽出し、これを検索処理のキーとして設定する（以下、この画像を「キー画像」という）。
【００２４】
特徴量抽出部４は、前記キー画像について、複数種の属性毎に特徴抽出処理（詳細は後記する）を行って、各属性についての特徴量を抽出する。さらに特徴量抽出部４は、画像データベース１に格納された各画像につき、それぞれ前記キー画像に対して実行したのと同様の特徴抽出処理を実行する。
【００２５】
画像検索部５は、前記特徴量抽出部４による処理結果を受けて、属性毎に、それぞれ画像データベース１内の各画像について得た特徴量と前記キー画像について得た特徴量との類似度を算出する。そして前記属性毎に、類似度の高いものから順に所定数の画像を抽出する。
【００２６】
アイコン生成部６は、前記キー画像に対する特徴抽出処理を受けて、抽出された特徴量毎に、表示画面上にアイコンを表示するための表示用データを初期生成する（以下これを「アイコンデータ」という）。さらにこのアイコンデータは、アイコン管理部７よりアイコンの配置位置と画像データベース１に対する検索結果とが、付け加えられて完成する。表示制御部９は、この完成したアイコンデータに基づき、表示装置１７への各アイコンの表示を実行する。
またアイコン管理部７は、ユーザーインターフェイス２がアイコンの移動操作を受け付ける都度、操作されたアイコンに対応するアイコンデータ内の配置位置を変更する。表示制御部９は、この変更された位置データに基づき、画面上のアイコンを移動させる。
【００２７】
画像配置管理部８は、前記アイコン管理部７より各アイコンのアイコンデータを受け取って、それぞれそのデータに含まれる検索結果に基づき、抽出された各画像の配置位置を決定する。表示制御部９は、前記アイコンデータと同様に画像の配置位置も取り込んで、表示装置１７に各画像を表示させる。
【００２８】
図３は、前記画像検索装置における一連の処理手順を示す。以下この図３の流れに沿って、図４〜図７を参照しつつ、この装置において実行される画像検索処理の詳細を説明する。
なお図３および以下の説明において、「ＳＴ」は処理のステップを示す。
【００２９】
ＳＴ１では、検索対象とする画像の指定およびその画像上における領域の指定に応じて、検索用のキー画像が設定される。
図４は、前記キー画像の指定操作の一例を示す。図中、１８は、ユーザーが検索に用いる画像として選択した画像であって、ＲＡＭ１３などに一時保存されている。この画像に対し、前記入力部１６により検索対象とする特徴が現れた画像領域１９を指定すると、指定された領域１９内の画像データが切り出され、キー画像として設定される。勿論、指定された画像全体をキー画像として設定することも可能である。
【００３０】
なお前記画像１８は、画像データベース１またはその他の内部メモリに記憶された画像でも、イメージスキャナやディジタルカメラなどから取り込まれた画像であってもよい。また検索に用いる画像が既に確定している場合は、その画像のみをメモリから読み出し、あるいは外部から取り込んで、上記の領域指定を行えば良いが、ユーザーの意図する検索対象が現れた複数の画像を一覧表示し、その中から所望の画像を選択してから、キー画像抽出のための領域指定を行うことも可能である。
【００３１】
こうしてキー画像が設定されると、特徴量抽出部４により、前記キー画像に対し、複数種の属性についての特徴抽出処理が実行される（ＳＴ２）。
なおここでいう属性とは、画像上の対象物の色，形状，明るさ，大きさなど、数値により表される属性のほか、対象物の名称など個々人の主観に偏らずに画像から客観的に導き出せる語（以下「名称」という）や、画像から受けるイメージを主観的に表す語（以下「感性語」という）により表される属性も含まれる。この実施例では、前者については物理的な特徴を表す数値を、後者については名称や感性語によるキーワードを、それぞれ「特徴量」として抽出するようにしている。
【００３２】
以下に色，形状，名称，感性語の各属性について、特徴量の抽出方法を述べる。
（１）色、明るさの抽出
通常、画像上の色相や輝度は、画像上の物体の種類，位置，大きさ，撮像条件などによって変動する。この実施例では、図５（１）〜（３）に示すように、キー画像を、格子状、あるいは縦または横のいずれかの方向に沿って分割し、各分割領域毎にＲ，Ｇ，Ｂの三原色毎の平均濃度を算出するようにしている。
なおモノクロ画像を対象とする場合は、分割領域毎に平均濃度を算出する。
【００３３】
（２）形状の抽出
カラー画像を対象とする場合は、特徴量の抽出に先立ち、画素毎にＲ，Ｇ，Ｂの各濃度値の平均をとるなどして、画像をモノクロ化する。そしてこのモノクロ画像を２値化処理するとともに画像を格子状に分割し、各分割領域における黒画素（または白画素）の数を計数する。各分割領域毎の計数値は、その分割領域の位置を表すラベルに対応づけるなどして記憶保持しておく。
【００３４】
あるいは、前記２値化処理に代えて、モノクロ画像上のエッジを抽出してもよい。この場合、抽出されたエッジに対して輪郭追跡処理によりエッジの連なりを検出して、物体の輪郭を構成する線分の長さおよびその方向を抽出する。そして例えば、各方向における線分の数を、正規化された形で記憶保持しておく。
【００３５】
なお対象物の大きさに関わる特徴量を抽出する場合は、所定値以上の黒画素を含む分割領域について、各領域毎の黒画素の計数値の総和を求めたり、エッジにより囲まれる画像領域の面積を算出するなどの方法が実行される。
【００３６】
（３）名称の抽出
この実施例では、画像データベース１内の各画像について、それぞれ画像上に現れる物体の名称をキーワードとして定め、各画像に添付するとともに、これらのキーワードについて、それぞれ色，形状などの属性についての物理的な特徴量の代表値をテンプレートとして保存している。
【００３７】
画像データベース１に保存されていた所定の画像から前記キー画像を設定する場合、元の画像に添付されたキーワードが画像データベース１より読み出され、キー画像の特徴量として記憶保持される。なお画像データベース１において、各キーワードをそのキーワードを有する対象物の位置データに対応づけて保存するようにすれば、前記キー画像として選択された画像領域の位置に応じて、キー画像に適正に対応するキーワードを抽出することが可能となる。
【００３８】
一方、外部より取り込まれた画像から前記キー画像が設定された場合は、このキー画像についての前記色や形状などにかかる特徴量の抽出結果を前記テンプレートと比較することにより、キー画像に応じたキーワードを抽出する。
【００３９】
（４）感性語の抽出
この実施例では、「暖かい」、「寒い」、「にぎやか」、「さびしい」というような感性語をキーワードとして定めるとともに、各キーワード毎に、あらかじめ色や明るさなどの属性についての特徴量の代表値を求め、テンプレートとして登録している。
画像データベース１内の画像からキー画像が設定された場合は、前記名称の場合と同様に、元の画像に添付されたキーワードを特徴量として特定する。また外部より取り込まれた画像から前記キー画像が設定された場合は、そのキー画像についての物理的な特徴量の抽出結果をテンプレートと比較することにより、キー画像のイメージを表す感性語を特定する。
【００４０】
上記の特徴量の抽出処理においては、図６に示すように、抽出対象の属性毎に、個別のＩＤコードと特徴量の抽出結果とが対応づけられたデータＤ１（以下「特徴量データＤ１」という）が生成される。
【００４１】
各属性毎の特徴量データＤ１は、アイコン生成部６に与えられ、それぞれ図７に示すようなアイコンデータＤ２が生成される（ＳＴ３）。このアイコンデータＤ２は、抽出された特徴量毎に、その特徴量を表すアイコンを、検索結果とリンクさせて表示するためのデータである。
図７に示すアイコンデータＤ２は、５種類のデータの組合せにより成る。第１のデータは、アイコンの配置位置を表す座標データ（ｘ，ｙ）、第２のデータは前記（ｘ，ｙ）の位置にアイコンを表示するための画像データＰ、第３のデータはアイコンの近傍に特徴量の内容などの所定のコメントを表示させるための文字列データＱである。第４のデータは、前記特徴量抽出部４より抽出された特徴量データＤ１であって、これに第５のデータとして、前記画像検索部５による検索結果が加えられてアイコンデータＤ２が完成する。なお前記アイコン生成部６では、これらデータのうち、画像データＰ，文字列データＱを生成し、これらデータＰ，Ｑに特徴量抽出部４より得た特徴量のデータＤ１を組み合わせてアイコンデータＤ２を初期設定する。
【００４２】
この初期設定されたアイコンデータＤ２はＲＡＭ１３などに保存され、アイコン管理部７により配置位置の座標データ（ｘ，ｙ）および検索結果が、それぞれ書き込まれて完成する。
【００４３】
特徴量抽出部４は、前記キー画像に対する特徴量抽出処理に続いて、画像データベース１内の各画像についても同様の特徴量の抽出処理を実行する。画像検索部５は、それぞれの特徴抽出処理を受けて、各画像につき、それぞれ属性毎に、その属性についてキー画像より抽出した特徴量に対する画像の類似度を算出する。アイコン管理部７は、この検索結果を取り込んで、特徴量毎に類似度の高いものから順に、表示対象の画像として所定数の画像を抽出する。そしてこれらの画像のＩＤコードと特徴量に対する類似度とを組にしたデータ列を、特徴量に対応するアイコンデータＤ２の５番目のデータとして書き加える（ＳＴ４）。
【００４４】
なお前記類似度の算出において、色彩や形状などの物理的特徴量に関する類似度は、前記した分割領域毎の特徴量について、処理対象の画像とキー画像との間における距離を求めるなどして得られる。またキーワードの形で抽出された特徴量については、キーワードが添付されているか否かにより「１」または「０」のいずれかの類似度が設定される。
【００４５】
つぎにアイコン管理部７は、この検索処理を受けて、前記アイコンデータＤ２に各アイコンの配置位置の初期値を書き込む（ＳＴ５）。そして表示制御部９は、完成したアイコンデータＤ２を取り込んで、各アイコンを表示画面上の所定位置に表示させる（ＳＴ６）。
なお前記座標データ（ｘ，ｙ）の初期位置としては、表示画面上にアイコンがほぼ等分に配置されるような位置を設定するとよい。また色についてのアイコンと形状についてのアイコンとを隣り合わせに配置するなど、組み合わせて選択される可能性の高いアイコン同士を近傍位置に配置するのが望ましい。
【００４６】
つぎのＳＴ７で、画像配置管理部８は、前記抽出された各画像の配置位置を決定する（詳細については後述する）。表示制御部９には、これらの画像の配置位置や画像のＩＤコードが与えられる。これに応じて表示制御部９は、画像データベース１より各ＩＤコードに該当する画像データを読み出し、これを与えられた配置位置に基づいて表示画面上へ表示する（ＳＴ８）。
【００４７】
なお前記アイコンおよび画像の配置位置は、アイコンや画像の大きさを固定する場合には、左上頂点の座標など１点の座標により表せばよい。ただしアイコンや画像の大きさを変動させる場合には、対向する２頂点の座標を記憶するか、もしくは前記配置位置とともに、大きさを規定するデータを記憶する必要がある。
【００４８】
このようにしてキー画像について抽出された特徴量の数だけアイコンが生成されて表示されるとともに、各特徴量に基づき検索された画像がそれぞれのアイコンに対応づけられて表示される。この表示に対し、ユーザーが所望のアイコンを移動操作すると、アイコン管理部７は、その操作されたアイコンに対するアイコンデータＤ２の配置位置を書き換える。これを受けて表示制御部９は、操作されたアイコンを書き換えられた配置位置に移動させる（ＳＴ９，１０）。
以下、ＳＴ７〜ＳＴ１０の手順により、アイコンの移動にともない各画像の配置位置が再設定され、これに応じて画像の表示位置が変動することになる。
【００４９】
つぎに前記ＳＴ７の画像の配置位置の決定処理について、詳細に説明する。
この実施例では、表示画面を表す２次元平面上において、各アイコンの配置位置を除く領域を画像の配置が可能な領域（以下、「配置可能領域」という）として設定している。そして前記設定されたアイコン毎に、そのアイコンのアイコンデータＤ２に含まれる画像、すなわちそのアイコンの示す特徴量に類似する特徴を有する画像について、それぞれ前記配置可能領域内の所定位置に配置位置を定めている。
【００５０】
なおこの実施例では、２つの画像が完全に重なり合うことがないように、画像の配置位置が決定する都度、その配置位置を前記配置可能領域から削除するようにしている。
またこの実施例では、各属性のアイコンデータＤ２に含まれる画像につき、類似度の高い順に配置位置を決めていくが、このとき特定の属性についての画像が優先的に配置されることがないように、所定の順序で各アイコンにつき１つずつ配置位置を決定するようにしている。
【００５１】
この実施例では、各画像の配置位置を、それぞれ各アイコンの示す特徴量に対する画像の類似度（以下、簡単に「アイコンに対する画像の類似度」という）により決定する。具体的には、アイコンに対する類似度が高くなるほど、そのアイコンに近い位置に画像を配置するようにしている。
【００５２】
図８は、所定のアイコンＡiにリンクする画像、すなわちこのアイコンＡiのアイコンデータＤ２内の検索結果に含まれる画像Ｍについて、配置位置の決定にかかる手順を示す。なおここでは図３の手順と混同することがないように、各処理のステップを、「ｓｔ」により示す。
【００５３】
まず画像配置管理部８は、前記アイコンＡiにリンクする画像ＭのＩＤコードをチェックし、この画像Ｍの配置位置が既に決定しているかどうかをチェックする（ｓｔ１，２）。
ｓｔ２の判定が「ＮＯ」であれば、画像配置管理部８は、設定されているすべてのアイコンに対する画像Ｍの類似度を高い順にソートする（ｓｔ３）。そしてｓｔ４で、つぎに述べる処理を実行して画像Ｍの配置位置（ｘM，ｙM）を決定した後、続くｓｔ５で、決定した配置位置（ｘM，ｙM）を前記配置可能領域から削除する。
なおこの画像Ｍの配置位置が他のアイコンに対応して既に決定している場合は、ｓｔ３〜ｓｔ５の処理を実行せずに、つぎのアイコンの画像の処理へと進む。
【００５４】
上記ｓｔ４においては、画像配置管理部８は、基本的に、前記類似度のソート処理による第１位、第２位のアイコンＡ１，Ａ２（すなわちアイコンに対する画像Ｍの類似度が最も高いアイコンと２番目に高いアイコン）の各アイコンデータを用いて、画像Ｍの配置位置を決定する。なおこのとき、前記アイコンＡiが第１位のアイコンＡ１となる確率は高いが、画像Ｍが複数のアイコンにリンクしている場合は、Ａi以外のアイコンが第１位のアイコンＡ１となることもあり得る。
【００５５】
前記第１位、第２位のアイコンＡ１，Ａ２がいずれも物理的な特徴量を表すものである場合、画像配置管理部８は、各アイコンＡ１，Ａ２に対する画像Ｍの類似度ｒ１，ｒ２に注目し、それぞれ各アイコンＡ１，Ａ２の配置位置ａ１，ａ２を中心として、半径が（１−ｒ１）・α，（１−ｒ２）・αの仮想円ｃ１，ｃ２を設定する。
なおαは、各仮想円の半径を所定の画素数に設定するための係数である。
【００５６】
前記仮想円ｃ１，ｃ２は、各アイコンＡ１，Ａ２に対する画像Ｍの類似度が高くなるにつれて小さくなる。また各アイコンＡ１，Ａ２の配置位置および前記類似度によって、図９（１）〜（３）に示すように、各仮想円ｃ１，ｃ２が交わる場合（各円が１点で接する場合も含む）、仮想円ｃ２の中に仮想円ｃ１が含まれる場合、各仮想円ｃ１，ｃ２が離れて位置する場合、の３通りが考えられる。画像配置管理部８は、これらのケースに応じてつぎの方法により前記画像Ｍの配置位置を決定する。
【００５７】
図９（１）のように、２個の仮想円ｃ１，ｃ２が交わる場合、画像配置管理部８は、各交点ｐ１，ｐ２を基準として所定距離範囲にある領域ｑ１，ｑ２を設定し、いずれかの領域ｑ１，ｑ２内において前記配置可能領域に含まれる点を、画像Ｍの配置位置とする。
なお前記領域ｑ１，ｑ２のいずれを採用するかについては、前記ソート処理による第３位のアイコンについてｃ１，ｃ２と同様の方法で仮想円を設定し、この仮想円の円弧に近い方の交点を採用するとよい。
【００５８】
図９（２）のように、第１位のアイコンＡ１にかかる仮想円ｃ１が第２位のアイコンＡ２にかかる仮想円ｃ２内に含まれる場合は、各仮想円ｃ１，ｃ２の中心点ａ１，ａ２を通る直線と仮想円ｃ１の円周との交点ｂ１，ｂ２のうち、仮想円ｃ２の円周に近い側の交点（図示例ではｂ１）を選択する。そして仮想円ｃ１について、前記選択された交点ｂ１を基準とする所定大きさの円弧ｈ（図中太線で示す）上の１点またはその近傍位置を、画像Ｍの配置位置として決定する。
【００５９】
図９（３）のように、各仮想円ｃ１，ｃ２が離れている場合は、各仮想円ｃ１，ｃ２の中心点ａ１，ａ２を結ぶ線分が、各類似度ｒ１，ｒ２に基づく比δ・（１−ｒ１）：δ・（１−ｒ２）（δ＞１）で分割される。そしてこの分割点ｄを基準とする所定距離範囲内の領域ｓにおいて、画像Ｍの配置位置が決定される。なお各中心点ａ１，ａ２を結ぶ線分の長さが所定値以内であれば、この線分を等分割して、前記分割点ｄを割り出してもよい。
【００６０】
一方、第１位のアイコンＡ１がキーワードを表すものである場合は、画像配置管理部８は、第３位までのアイコンＡ１〜Ａ３を用いて、画像Ｍの配置位置を決定する。
まず画像Ｍの類似度が１．０となる第１位のアイコンＡ１については、配置位置ａ１を中心に、半径０．５αとなる仮想円ｃ１を設定し、この仮想円ｃ１の内側の領域を画像Ｍの第１の配置候補領域Ｒ１とする。また第２位、第３位のアイコンＡ２，Ａ３については、それぞれ配置位置ａ２，ａ３を中心に、各アイコンに対する画像Ｍの類似度に応じた半径を有する仮想円ｃ２，ｃ３を設定する。そしてこれら仮想円ｃ２，ｃ３が前記図９（１）と同様の関係にあるときは領域ｑ１，ｑ２に該当する画像領域を、図９（２）と同様の関係にあるときは円弧ｈに該当する画像領域を、図９（３）と同様の関係にあるときは領域ｓに該当する画像領域を、画像Ｍの第２の配置候補領域Ｒ２として設定する。
【００６１】
上記した各配置候補領域Ｒ１，Ｒ２は、図１０（１）のように各領域Ｒ１，Ｒ２が重なり合うか、あるいは図１０（２）のように各領域が離れて位置するかのいずれかの形態をとる。画像配置管理部８は、図１０（１）のケースについては重なり合う領域Ｒ３内の所定位置を、図１０（２）のケースについては領域Ｒ１内の所定位置を、画像Ｍの配置位置として決定する。
なおキーワードを表すアイコンについての仮想円の半径は、０．５αに限らず、０．５α以下の任意の大きさに設定すればよい。
【００６２】
またキーワードを表すアイコンが複数個生成されており、画像Ｍがいずれのアイコンにもリンクしている場合、これらすべてのアイコンが前記第１位のアイコンとして検出されることになる。この場合は、キーワードを表す各アイコンについて半径０．５αの仮想円を設定し、前記図９（１）〜図９（３）の方法を適用して画像Ｍの配置位置を決定する。
【００６３】
上記の配置方法によれば、画像Ｍは、基本的に、最も類似度の高い第１位のアイコンＡ１に対応づけられて、アイコンＡ１に対する類似度が高くなるほど、アイコンＡ１に近い位置に配置される。ただしその配置位置は、画像ＭとアイコンＡ１との関係によって一意に定められるものではなく、第２位もしくは第３位のアイコンの配置位置やそれらアイコンＡ２，Ａ３に対する画像Ｍの類似度によっても変動する。
【００６４】
たとえば第１位、第２位の各アイコンＡ１，Ａ２が近傍位置に配置されている場合、各アイコンＡ１，Ａ２による仮想円ｃ１，ｃ２の間に図９（１），図９（２），図１０（１）に示したような関係が生じるから、画像Ｍは、いずれのアイコンＡ１，Ａ２に対しても、およそそのアイコンに対する類似度に応じた距離だけ離れた位置に配置されるようになる。これに対し、第１位、第２位の各アイコンＡ１，Ａ２が離れると、各仮想円ｃ１，ｃ２の間には図９（３）や図１０（２）に示したような関係が生じ、画像Ｍは、第１位のアイコンＡ１寄りに配置されるようになる。
【００６５】
したがって前記図３のＳＴ９，１０において、ユーザーが、重要視するアイコンと重要視していないアイコンとが離れた位置に配置されるように、所定のアイコンを移動させると、重要視するアイコンの周囲に、そのアイコンに対する類似度の高い画像が集められる。しかもこれらの画像は、前記アイコンに対し、それぞれ類似度に応じた距離だけ離れた位置に配置されるから、各画像のアイコンに対する類似度の違いを一目で判断できる。
【００６６】
また２種以上の特徴量をキーとして画像を抽出したい場合は、それらの特徴量を表すアイコンが近くに配置されるように各アイコンを移動させる。これにより、近づけられた各アイコンの双方に類似する画像が、それぞれのアイコンに対する類似度に応じた位置に配置され、各特徴量と画像との関係や類似の度合いを簡単に判断することができる。
【００６７】
このようにアイコンの移動という簡単な操作により、最初の検索結果を適正に絞り込んでユーザーの所望する画像を得ることができるから、検索の精度や効率を大幅に向上することができ、また検索結果の表示画面上で目的とする画像を容易に探し当てることが可能となる。
【００６８】
図１１（１）〜（３）は、検索結果の表示画面の具体例を示す。
図１１（１）は、前記図４に示した画像から抽出されたキー画像により検索を行った場合の最初の表示画面である。図中、２０は、キー画像上に含まれる対象物の名称（飛行機）を表すキーワードのアイコン、２１は対象物の形状にかかる特徴量を表すアイコン、２２は対象物の色にかかる特徴量を表すアイコンであり、アイコン２１，２２の近傍には、それぞれ前記アイコンデータＤ２内の文字列データＱに応じたコメント２１ａ，２２ａが表示されている。さらに検索により抽出された所定数の画像（２３Ａ〜２３Ｄで示す）が、各アイコンの配置位置およびアイコンに対する画像の類似度に応じた位置に、表示されている。
なおコメント２１ａ，２２ａは、対応するアイコン２１，２２にマウスカーソルが近づいたときのみ表示されるようにしてもよい。
【００６９】
図１１（２）は、前記図１１（１）の表示画面上で、マウスにより形状にかかるアイコン２１を選択した状態を示す。図１１（３）は、さらにドラッグ操作により、図１１（２）で選択されたアイコン２１を、表示画面の隅位置に移動させた後の表示画面を示す。
【００７０】
図１１の具体例によれば、形状を表すアイコン２１を他のアイコン２０，２２から引き離して配置することにより、各画像２３Ａ〜２３Ｄの配置位置が変動している。特に、図中、２３Ａ，２３Ｂの符号で示す各画像は、アイコン２１の移動前と同様の距離を保ってアイコン２１の近傍に表示されているので、キー画像に類似する形状を有する画像であることが容易に判別できる。
なおこの実施例では、各画像を同じ大きさで表しているが、所定のアイコンに対する類似度が大きくなる画像ほど、大きく表示するようにしてもよい。
【００７１】
なお上記の構成に加え、表示画面上に表示されたアイコンのうち不要なアイコンを削除できるように設定すれば、検索結果からノイズを容易に削除することが可能となる。またユーザーが新たに抽出すべき特徴量に関わる条件を入力して新たなアイコンを生成し、その特徴量により画像データベース１を再検索して、その結果を表示することも可能である。この場合、特にキーワードについて、「そのキーワード（たとえば飛行機）を含まない」という意味のアイコンを生成して、前記キー画像とは異なる対象物の画像を検出することも可能である。
【００７２】
また上記の実施例では、検索のキーを画像データより設定しているが、キーワードによる検索を行う場合も、同様の方式で検索結果を表示したり、検索結果の絞り込みを行うことが可能である。
【００７３】
さらに上記実施例では、画像データベースを検索するようにしているが、この発明は画像に限らず、音楽情報など、キーワード，数値，感性語などにより表される種々の特徴量を有する情報を検索する際にも適用できる。
たとえば音楽情報を検索する場合であれば、楽曲の種類（クラッシック，ポピュラー，ロックなど），拍子や長短調の種類，作曲者名，楽曲名などの特徴量を入力、もしくは所定の楽曲から抽出して、データベースを検索する。そして前記実施例と同様に、検索に用いた特徴量毎にアイコンを設定して表示画面上に表示する。さらにデータベースより抽出された各情報について、前記図９，１０と同様の原理に基づき、各情報の配置位置を決定した後、それぞれの情報をアイコン化して決定された配置位置に表示する。
【００７４】
【発明の効果】
この発明によれば、表示画面上のアイコンとデータベースから抽出された情報との位置関係により、抽出された各情報がどの属性に関してキー情報に類似するのかや、どの程度の類似度があるのかを認識することができる。したがってユーザーは、画面上のアイコンと情報との位置関係に基づき、重要視している属性に関してキー情報に類似する特徴量を具備する情報を容易に探し当てることができる。
【００７６】
請求項３の発明によれば、ユーザーが重要視する属性の特徴量に対応するアイコンと重要視していない属性の特徴量に対応するアイコンとが離れて位置するように、各アイコンの移動操作を行うことにより、重要視する属性の特徴量についてキー情報に類似する情報をアイコンの移動に伴って移動させることができるので、検索結果を容易かつ精度よく絞り込むことが可能なユーザーインターフェイスを提供することができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる画像検索装置の機能ブロック図である。
【図２】画像検索装置の具体的な構成を示すブロック図である。
【図３】画像検索処理の手順を示すフローチャートである。
【図４】キー画像の指定方法を示す説明図である。
【図５】色の抽出処理時の画像の分割例を示す説明図である。
【図６】特徴量データのデータ構成を示す説明図である。
【図７】アイコンデータのデータ構成を示す説明図である。
【図８】画像の配置位置の決定にかかる手順を示すフローチャートである。
【図９】画像の配置位置を決定する方法を示す説明図である。
【図１０】画像の配置位置を決定する方法を示す説明図である。
【図１１】検索結果の表示画面の具体例を示す説明図である。
【符号の説明】
１ 画像データベース
２ ユーザーインターフェイス
５ 画像検索部
６ アイコン生成部
７ アイコン管理部
８ 画像配置管理部
９ 表示制御部
１０ コンピュータ
１１ ＣＰＵ
１７ 表示装置
Claims (3)
- 入力部および表示装置が接続されたコンピュータにおいて、前記入力により指定されたキー情報を用いて複数の情報が格納されたデータベースを検索し、その検索により抽出された情報を前記表示装置に表示する方法であって、
前記入力部において行われたモデルとなる特徴を有するキー情報を指定する操作を受け付けて、複数種の属性について、それぞれ前記キー情報が具備する特徴量を抽出する第１ステップ、
第１ステップで特徴量が抽出された属性毎に、抽出された特徴量の内容を表すアイコンを設定するとともに、当該属性の特徴量についてのキー情報に対する類似度に基づき、前記データベースから所定数の情報を抽出する第２ステップ、
設定された各アイコンが割り付けられた画面を前記表示装置に表示するとともに、第２ステップでデータベースから抽出された各情報が、それぞれ前記キー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対する距離がその他のアイコンに対する距離より短くなる位置に表示され、かつ前記最も高い類似度が高くなるほど前記最も近いアイコンと表示位置との距離が短くなるように、各情報の表示位置を決定して各情報を前記画面上の決定された位置に表示する第３ステップ、
の各ステップを実行することを特徴とする情報検索方法。 - 複数の情報が格納されたデータベースと、
モデルとなる特徴を有するキー情報を指定する操作を行うための入力部と、
複数種の属性について、それぞれ前記キー情報およびデータベース内の各情報が具備する特徴量を抽出する特徴量抽出手段と、
前記複数種の属性毎に、当該属性の特徴量についてのキー情報に対する類似度に基づき、前記データベースから所定数の情報を抽出する検索手段と、
前記検索手段による検索結果を表示装置に表示させるための表示制御手段とを具備し、
前記表示制御手段は、前記複数種の属性毎に、その属性につきキー情報から抽出された特徴量の内容を示すアイコンを設定して、各アイコンが割り付けられた画面を前記表示装置に表示するとともに、前記データベースから抽出された各情報が、それぞれ前記キー情報に対する当該情報の類似度のうち最も高い類似度が得られた特徴量を表すアイコンに対する距離がその他のアイコンに対する距離より短くなる位置に表示され、かつ前記最も高い類似度が高くなるほど前記最も近いアイコンと表示位置との距離が短くなるように、各情報の表示位置を決定して各情報を前記画面上の決定された位置に表示する情報検索装置。 - 前記表示制御手段は、前記入力部により表示画面上におけるアイコンの位置関係を変更する操作が行われたとき、その操作に応じて各アイコンの位置関係を変更するとともに、前記各情報の表示位置を再設定し、各情報を再設定された位置に移動させる、請求項２に記載された情報検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000004495A JP3978962B2 (ja) | 2000-01-13 | 2000-01-13 | 情報検索方法および情報検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000004495A JP3978962B2 (ja) | 2000-01-13 | 2000-01-13 | 情報検索方法および情報検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001195415A JP2001195415A (ja) | 2001-07-19 |
| JP3978962B2 true JP3978962B2 (ja) | 2007-09-19 |
Family
ID=18533281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000004495A Expired - Lifetime JP3978962B2 (ja) | 2000-01-13 | 2000-01-13 | 情報検索方法および情報検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3978962B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004047026A1 (ja) * | 2002-11-20 | 2004-06-03 | Fujitsu Limited | 画像検索プログラム |
| US7380209B2 (en) | 2003-09-02 | 2008-05-27 | International Business Machines Corporation | Managing electronic documents utilizing a digital seal |
| WO2006064696A1 (ja) | 2004-12-15 | 2006-06-22 | Nikon Corporation | 画像再生システム |
| JP2007241888A (ja) * | 2006-03-10 | 2007-09-20 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US7627831B2 (en) * | 2006-05-19 | 2009-12-01 | Fuji Xerox Co., Ltd. | Interactive techniques for organizing and retrieving thumbnails and notes on large displays |
| JP5268595B2 (ja) * | 2008-11-28 | 2013-08-21 | ソニー株式会社 | 画像処理装置、画像表示方法及び画像表示プログラム |
| JP4735995B2 (ja) * | 2008-12-04 | 2011-07-27 | ソニー株式会社 | 画像処理装置、画像表示方法および画像表示プログラム |
| JP5050153B2 (ja) * | 2009-01-16 | 2012-10-17 | 株式会社国際電気通信基礎技術研究所 | ウェブサイト検索システム |
| EP2465056B1 (en) * | 2009-08-11 | 2019-07-31 | Someones Group Intellectual Property Holdings Pty | Method, system and controller for searching a database |
| JP5408241B2 (ja) * | 2011-12-21 | 2014-02-05 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
| JP2018041261A (ja) * | 2016-09-07 | 2018-03-15 | 東芝テック株式会社 | 情報処理装置及びプログラム |
| JP7160099B2 (ja) * | 2018-07-30 | 2022-10-25 | 富士通株式会社 | 表示制御プログラム、装置、及び方法 |
| CN112416689A (zh) * | 2020-12-03 | 2021-02-26 | 苏州桦汉科技有限公司 | 一种辅助研发人员分析小概率不开机问题的方法 |
-
2000
- 2000-01-13 JP JP2000004495A patent/JP3978962B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001195415A (ja) | 2001-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5133052A (en) | Interactive graphical search and replace utility for computer-resident synthetic graphic image editors | |
| US6823335B2 (en) | Information search apparatus and method, and storage medium | |
| US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
| US7420556B2 (en) | Information processing method and information processing apparatus | |
| JP5062884B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
| JP3978962B2 (ja) | 情報検索方法および情報検索装置 | |
| JP2018102916A (ja) | 制御方法、情報端末、及びプログラム | |
| JP4467583B2 (ja) | 設計支援プログラム、設計支援方法および設計支援装置 | |
| JP6098120B2 (ja) | 組立順序生成プログラム、組立順序生成装置、および製造方法 | |
| JP5283088B2 (ja) | 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム | |
| JP2004240750A (ja) | 画像検索装置 | |
| JP4294348B2 (ja) | 表示システム | |
| JP2008287438A (ja) | 画像処理装置及び画像検索方法 | |
| JP2019045894A (ja) | 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置 | |
| JP2007317034A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP4955843B2 (ja) | 情報検索システム、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2008225692A (ja) | 画像検索方法、装置およびプログラム | |
| JP2008052312A (ja) | 業務仕様抽出支援システム | |
| JP2005528681A (ja) | 統合的マルチスケール３ｄ画像文書化およびナビゲーションのための方法および装置 | |
| JP2000305946A (ja) | 情報検索装置、情報検索方法、及び記憶媒体 | |
| JP2024528381A (ja) | 医用画像データの自動追跡読影方法及びシステム | |
| JP2004240751A (ja) | 画像検索装置 | |
| JPH08194716A (ja) | 画像処理方法及びその装置 | |
| JP3878173B2 (ja) | 図面作成方法、図面作成装置、及び図面作成プログラム | |
| JPH07306873A (ja) | 演算シートによる情報検索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3978962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |