JP3996723B2

JP3996723B2 - 画像表示方法および装置およびこれを利用した検索サービス

Info

Publication number: JP3996723B2
Application number: JP17360599A
Authority: JP
Inventors: 義則武者
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-06-21
Filing date: 1999-06-21
Publication date: 2007-10-24
Anticipated expiration: 2019-06-21
Also published as: JP2001005822A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像群を検索結果として出力する任意の検索システムにおいて、画像表示方法および装置およびこれを利用した検索サービスに関する。
【０００２】
【従来の技術】
近年、マルチメディアコンテンツの増大に伴い、キーワードや画像特徴量などさまざまなデータによって画像データベースにアクセスして画像検索をする技術が出現してきた。
【０００３】
しかし、その検索が、検索者の意図が正確にシステムに伝えられ検索結果に反映されたものとなるとは限らないため、少数の検索結果の表示では検索者の望む画像に辿り着けるとは限らない。また、検索意図があいまいな検索者がさまざまな画像にアクセスしつつ検索意図を固めていくという過程も必要な場合がある。そのような状況の下では、検索結果の画像をなるべく多く検索者へ提示し、検索者が検索意図に対応した画像に容易に到達できるようにすることが検索者によって望まれている。
【０００４】
たとえば、整然と検索結果の画像の一覧を効果的に検索者へ提示する方法として、特開平５−２６６０９２や特開平６−９６１８５などがある。これらは、ページめくりの時間や画像サイズを検索結果数などに応じて変更する方法である。しかしながら、検索結果の多くの画像を単純に一覧表示しようとすると、ページ数が増えたりあるいは１ページに秩序なく非常に多くの画像が一覧されたりすることによって、検索者が検索結果の個々の画像を把握することが困難になり、一覧の効果が薄れてくる。
【０００５】
そこで、検索された画像自身の性質に従ってその配置を決めることにより、検索結果の画像群の特徴あるいは傾向を把握しやすくする方法が考えられる。このような工夫のなされたものとして、例えば、特開平５−２８２３７５、特開平８−２４９３５２がある。前者は、画像特徴量のうち２次元の属性情報を持つ情報を選択し、選択した２次元情報の範囲を指定することで検索を行い、その２軸上で構成される空間上において特徴量に従った座標値に画像を配置して表示するものである。このアイデアは、画像の配置自体は改善されたものとなるが、２次元情報を持った特徴量によってのみ表示するため、表示に使用できる特徴量の制約が非常に大きい。後者は、画像から直接抽出される物理特徴量や人間の感性を学習させた感性特徴量から２次元を選択し、距離の近いものから順に出力することで検索を行い、その２軸の特徴量に従って軸に沿って、画像を整然と重なり合うことなく密に並べて一覧表示するものである。これは、２軸の特徴量傾向は把握できるが、画像間の特徴量の量的な関係を無視している。しかも、結局整然とした一覧表示しているため似た傾向の画像が多く検索されてしまうと、一覧表示の画面の多くの面積を似た画像が占めることになって、効果的な表示が行えない。
【０００６】
またいずれの方法も、検索に用いた特徴量を直接表示にも用いているため、データベース内におけるその検索結果の画像群の傾向を把握するのには効果的ではあっても、画像群内における個々の画像の違いを表現した表示になっているとは限らない。そもそも、検索によって得られた画像群は、当然、似た傾向あるいは共通点を持った画像が集められているわけであるから、検索に用いた特徴量を直接表示に用いるのでは区別しずらい些細な違いで個々の画像を配置することになる。
【０００７】
【発明が解決しようとする課題】
一方、本願の発明者等は、検索結果の画像群内における個々の画像の違いを効果的に表現する方法として、特願平９−３３６７５１を提案した。これによれば、検索結果の画像群に対して検索毎にダイナミックに統計処理することによって、検索画像の違いを効果的に表現する特徴量へ変換して、その軸によってつくられる空間上に画像を配置して表示することができる。
【０００８】
しかしながら、特開平５−２８２３７５や特開平８−２４９３５２による表示が、人にとって理解しやすい特徴量を用意しておけば、表示の際の軸の意味が理解しやすかったのに対し、特願平９−３３６７５１の方法は、計算機内部で、画像の違いを効果的に表現する特徴量を統計処理によって導出し、この特徴量を軸として画像を配置して表示するため、必ずしも軸の意味が人にとって理解しやすいものとは限らなくなる。さらに、画像検索の方法と検索結果の表示方法の面で見ると、特開平５−２８２３７５、特開平８−２４９３５２および特願平９−３３６７５１は、両者が密接に関係しているため、検索の実行に際して、これらの表示方法によるメリットを得ようとすると画像検索の方法が拘束されてしまうことになる。
【０００９】
任意の検索方法による画像検索の大量の結果を検索者へ把握しやすいように一覧表示する方法に関して、既に述べたように、従来技術には一長一短がある。これら従来技術の問題点を整理し、効果的な一覧表示方法であるための主な条件をまとめると以下のようになる。
（１）多くの検索結果を検索者へ提示できること。
（２）検索画像群の特徴量の量的な関係が表示にも反映されていること。
（３）任意の検索方法によって検索された画像群に対し、画像群内の個々の画像の違いを効果的に表現する表示方法であること。
（４）表示に用いられた軸が人にとって理解しやすいものであること。
【００１０】
本発明の目的は上記の課題を同時に満すような画像表示方法および装置およびこれを利用した検索サービスを提案することである。
【００１１】
【課題を解決するための手段】
本発明は、あらかじめキーワードあるいはシンボルと画像特徴量との対応付けを統計処理によって行っておき、任意の画像検索方法による画像検索において、個々の画像の違いを効果的に表現するキーワードあるいはシンボルの特徴量を検索毎にダイナミックに自動選択し表示の軸に用いるとともにそのキーワードあるいはシンボルを検索者へ提示する。また、その軸によって作られる表示空間上の特徴量に応じた座標へ検索結果の画像群の画像を配置する。さらに、自動選択され表示の軸に用いられる座標のキーワードあるいはシンボルを検索者が選択可能とする。
【００１２】
【発明の実施の形態】
以下に、本発明の好適な実施例を添付図を参照して詳細に説明する。
【００１３】
図１は本発明の実施例のグラフィック・ユーザ・インターフェース（以下、ＧＵＩと略する）を示した一模式図である。図は、検索結果の画像群を出力する任意の検索システムから出力された画像群に対し、検索結果画像群の全体を代表するいくつかのキーワード１０８と、画像群の表示された個々の画像間の違いを最もよく表現するキーワード群のいくつかのキーワード１０５，１０７をパネル上に表示し、後者のキーワード群１０５，１０７からユーザが２つのキーワードを選んで、そのキーワード特徴量によって張られる表示空間１０６上に、散布図として画像群を表現したものである。
【００１４】
表示空間１０６は、たとえば計算機の出力装置としての表示装置の一部であり、2次元面上に散布図として画像群を表示する部分である。キーワード群１０５，１０７は、それぞれ、表示空間が2次元空間である場合は、Ｘ軸、Ｙ軸として選択されるべきキーワードであり、たとえば計算機の出力装置としての表示装置の一部に表示され、このキーワードの領域がボタンとして機能するものとされ、クリックされる等で一つのキーワードが選択される。図では、Ｘ軸で”ＳＥＡ”、Ｙ軸で”ＳＫＹ”が選択されている状態を、それぞれのキーワードを太線の枠で囲って示している。その表示空間１０６は、それぞれのキーワードの特徴量ベクトルによって張られる空間であり、参照符号１０２で代表して示す複数の画像のそれぞれは、それぞれの画像にキーワードが付与されるか否かを画像特徴量から予測した予測値の大きさに対応した位置に配置される。キーワード群１０５，１０７はの両側には、表示すべきキーワードを選択するための矢印ボタン１１１−１１４が表示されており、これらをクリックする等で、画像群の表示された画像間の違いを表現するためのキーワードを変更することができる。Ｘ軸、Ｙ軸のキーワードの選択による変更は、それぞれの画像の配置される位置が変更されるのみである。
【００１５】
パネルの右側には検索された画像群全体を代表するキーワード群１０８が示されている。上段に位置するものほど、より適切に画像群を説明するだろうと予測されたキーワードが表示されている。
【００１６】
また、表示空間１０６は、スクロールバー１０１によって、そのスケールを変更することができ、画像群の分布全体を把握したり、一部領域を拡大して詳細に見たりする場合に使用できる。また、矢印ボタン１０３によって、表示空間の表示領域を移動することができる。つまり、例えば右矢印をクリックすると、表示領域の右外の領域が中央方向に移動する。”ＣＥＮＴＥＲ”ボタン１０４は、これをクリックすると、表示空間の中央部が表示領域１０６の中央へ一致するようにリセットされる。
【００１７】
上述したＧＵＩの各機能により、検索者は検索結果としての表示された画像群を、表示のためのキーワード、あるいはキーワード群を変更したり、表示空間を移動したり、拡大・縮小したりして評価することができ、より満足する検索結果に到達することが可能になる。
【００１８】
図２は本発明の実施例のデータの流れを示した模式図である。２０２、２０３、２０４および２０５はそれぞれキーワードデータベース、文章データベース、音声データベースおよび画像特徴量データベースである。２２７は画像データベースであり、検索結果に応じて表示されるべき表示空間１０６に表示される画像が画像データと画像データ名あるいは画像番号の対として格納されている。データベース２０１−２０５は、この画像データベース２２７の画像データ名あるいは画像番号とそれぞれのデータとが対になった形で格納されている。たとえば、後述する画像特徴量によるキーワードの選択および表示の例に対応させて、画像特徴量データベース２０５について説明すると、縦軸に画像データ名あるいは画像番号を、横軸に後述する計算の数式の特徴量ベクトルｘ_ikを、それぞれ配列したようなデータベースである。さらに、２１７はキーワード特徴量データベースである。このデータベースは、本発明を特徴付けるものであり、上述した画像データベース２２７の内容とは無関係に構成される。たとえば、画像とその画像に付されたキーワード、あるいは画像を説明する簡単な文章を持つデータ群から予め作製される。画像を説明する簡単な文章が有れば、これを形態素解析することで適当な単語に分解できるから、画像とキーワードの関係のデータとして利用できる。一方、画像は画像を解析して画像特徴量として評価するいくつかの方法が知られているから、これらにより、画像特徴量を媒介として画像に対応する適当なキーワードの有無が予測できるようにあらかじめ統計処理することができる。このように統計処理された適当数のキーワードと画像特徴量の対が格納されている。このキーワード特徴量データベース２１７の特徴量は後述する計算の数式の特徴量ベクトルｂ₀、ｂ_k等ｂに関するデータとして利用される。また（数２）で示されるような演算はキーワードの統計処理の一例と言える。
【００１９】
ユーザがキーワード、文章、音声、画像などをクエリとして検索要求２０１を出したとき、検索要求に対応する検索方法２０６によって対応するデータベース２０２−２０５からデータを読みとり検索を行う。２０７、２０８、２０９、２１０は、それぞれ検索する際のキーワード、文章、音声、画像あるいはそれらを変換して格納されていた特徴量の流れを示している。本発明では、検索方法はユーザが使用したいものを使用すれば良いから、２０６はさまざまな画像検索システムとするのみで、具体的な説明はしない。もちろん、キーワード、文章、音声のデータベースが備えられなければならないと言うものでもない。検索結果は画像データベース２２７の画像のデータ名あるいは画像データベース内の画像を特定できる番号などの形で出力される。また、それぞれの検索結果は、それぞれキーワード、文章、音声、画像であるが、前者３つに対応するデータベース内の各データと画像特徴量データベース２０５の画像があらかじめ対応付けられたものとしておき、結局、検索結果を画像特徴量データベース２０５を基礎としたキーワードとの対応として、画像を表示させることができる。
【００２０】
画像データ名あるいは画像番号などの形で出力された検索結果２１１ａは、検索結果の画像群に対する平均値や分散値、複数ある特徴量同士の共分散値を算出する機能２１３に送られる。またこの機能２１３には、その画像データ名あるいは画像番号に対応する画像特徴量ｘに関するデータが、２１２に示すように、画像特徴量データベース２０５から送られる。機能２１３から検索結果の画像群に対する平均値データ２１４、分散共分散値データ２１５が得られる。
【００２１】
キーワード特徴量データベース２１７は、前述したように、画像特徴量と画像に対応する適当なキーワードの有無が予測できるようにあらかじめ統計処理された各キーワードの画像特徴量が格納されている。キーワード特徴量データベース２１７の各キーワードにおけるｂに関するデータは、２１６に示すように、検索結果の画像群に対する平均値データ２１４、分散共分散値データ２１５とともに、内積等を演算する機能２１８へ送られる。機能２１８による演算結果として、検索結果の画像群に対するキーワード予測値の平均値２１９と、分散値２２０が対応するキーワードとともに出力される。
【００２２】
２２１は選択機能であり、機能２１８によるキーワード予測値の平均値２１９と、分散値２２０の平均値の演算結果の大きいものから指定個数個が選出される。キーワード予測値の平均値２１９に基いて選出されたキーワードが、２２２に示すように、指定個数個（図３ではＳ個）代表キーワード提示機能２２４に転送される。また分散値２２０に基いて選出されたキーワードが、２２３に示すように、指定個数個（図３ではＴ個）検索結果表示機能２２５に転送される。代表キーワード提示機能２２４は、キーワード予測値の平均値２１９を持つキーワードを検索結果の画像群を代表するキーワード１０８としてＧＵＩ上に表示するから、ユーザは検索結果の画像群を代表する意味情報として把握することができる（２２８）。これらは、また、その分散値に基いて選出されたキーワード（２２３）、検索結果表示機能２２５では、分散値２２０に基いて選出されたキーワードを画像群内の違いを把握するキーワード１０５および１０７としてＧＵＩ上に表示する。また、検索結果表示機能２２５では、検索結果２１１ｂおよび画像特徴量データベース２０５から、２３３で示すように転送される特徴量ベクトルｘ_ikと、選択されたキーワードの２つおよびこれに応じて、２３１で示すように転送されるキーワード特徴量ｂ₀、ｂ_k等ｂに関するデータとから、検索結果２１１ｂの画像のそれぞれをＸ軸、Ｙ軸の座標値を計算して画像を配置する。ユーザは、検索された画像群の違いを意味軸上で表示された散布図として見ることができる（２２９）なお、検索結果２１１ａ、検索結果２１１ｂは、同一内容であるが、説明の便宜上異なる参照符号とした。
【００２３】
図３は本発明の実施例の処理手続きを示したＰＡＤ図である。１回の検索および検索された画像間関係の表示における処理を説明している。
【００２４】
まず、ユーザから検索要求を受け付け（３０１）、任意の方法により画像検索を行い、その画像データ名を出力する（３０２）。
【００２５】
次に、画像データ名に対応する画像特徴量ベクトルを画像特徴量データベース２０５から取得する（３０９）。その１検索結果に対する特徴量ベクトルから、特徴量ベクトルの各要素における平均値と分散共分散行列を更新する（３１０）。この３０９、３１０の処理を検索結果の画像数だけ繰り返す（３０３）ことにより、検索結果における平均値２１４と分散共分散行列２１５を得る。
【００２６】
更に、キーワード特徴量データベース２１７からキーワード特徴量ベクトルを１つ取り出す（３１１）。それと画像特徴量ベクトルの各要素の平均からキーワード予測値の平均値２１９を計算する（３１２）。現時点で保存しているＳ個の最小値と比較しそれより大きければその最小値を捨てて、今計算したキーワードにおける平均値を保存しておく。これによって、現時点での最大値からＳ個のキーワードが保存されることになる（３１３）。キーワード予測値の分散についても、画像特徴量ベクトルの各要素の分散共分散より計算する（３１４）。３１３と同様にして、最大値からＴ個のキーワードにおける分散値２２０を保存しておく。これらの処理をキーワードの数だけ繰り返す（３０４）。これを終了すると全キーワードにおいて、キーワード予測値の平均値が大きいものからＳ個、分散値が大きいものからＴ個得ることができる。
【００２７】
そして、キーワード予測値の平均に基くキーワードをユーザへ提示する（３０５）。これは、検索結果の画像群を代表するキーワード１０８となる。
【００２８】
また、キーワード予測値の分散に基くキーワードを、選択可能なインターフェイスとして、最初から最大U個をユーザへ提示する（３０６）。次にユーザに提示されているキーワードが変更されたかどうかのチェック（３０８）が行われるが、初回はここをYesとして扱い、ユーザに提示されているキーワードのうち、１番目をＸ軸、２番目をＹ軸に初期値として指定する（３１６）。そして指示されたキーワード特徴量ベクトルによって張られる空間上に、検索結果の画像特徴量ベクトルを射影し散布図として表示する（３１７）。初期値の指定（３１６）により、ユーザの特別の操作によること無く、検索直後から何らかの表示表示を行うことができ、ユーザの次の操作を促すことになる。次にユーザからの指示を得るための待機状態となる（３１８）。
【００２９】
GUIを通して、何かのイベントを受信すると、まず、そのイベントが３１９にて判別される。それが表示のキーワードボタン１０５あるいは１０７の変更であれば、押されたボタンの軸に対し押されたキーワードを指定する（３２０）。それがキーワードのシフトボタン１１１−１１４のいずれかであれば、指定されたシフトボタンの軸において、ユーザに提示するキーワードをボタンの矢印の向きに従って、次あるいは後の最大U個に変更する。なければ、それぞれ最初、最後の最大U個に変更する（３２１）。また、それが、表示空間の移動ボタンやスクロールバーであれば、それぞれに従って、表示空間を移動したり、表示領域の拡大縮小を行う（３２２）。
【００３０】
これらを、次の検索まで繰り返す（３０７）ことによって、同じ検索結果に対して、ユーザは多様な観点からの表示を得ることが出来、検索結果を有用に利用することが出来る。
【００３１】
ステップ３０６の分散に基づくキーワードは、検索結果の画像群内の違いをより反映したものと推測されるキーワードであり、このキーワード特徴量によって張られる空間に検索結果を配置することによって、選択したキーワードの有無に対応した異なる画像が分類されて表示されることが期待される。
【００３２】
以上の処理は、検索１回における処理であり、検索を繰り返す度に実行される。
【００３３】
ここで、図３におけるステップ３１２，３１４の処理にかかわる演算について説明する。本発明の実施例として、重回帰分析を画像特徴量からキーワードを予測する方法として使用している。その場合の予測式は（数１）のようになる。
【００３４】
【数１】

【００３５】
（数１）は線形なのでキーワードによっては予測不可能な場合もありえるが、あらかじめ予測可能なキーワードだけを採用するように処理することができる。ここで、予測係数ｂ_kをあらかじめキーワード毎に求めておくことが重要となる。それは重回帰分析において（数２）によって求められる。
【００３６】
【数２】

【００３７】
また画像特徴量ベクトルの全ての要素を使用すると、そのキーワードの予測に寄与しない要素だった場合、予測性能が低下してしまう。そこで、予測性能が高くなるように特徴量ベクトルの要素を取捨選択する方法がある。Ｆ検定や情報量規準ＡＩＣなどによって要素を選択する方法であるが、具体的な方法は、たとえば、（株）現代数学社の「多変量解析ハンドブック」などに説明されているので、ここでは説明しない。いずれにしても、取り除かれた要素については予測係数ｂ_k＝０とすることにすれば、キーワード毎で採用する画像特徴量ベクトルの要素数が変わらないのでプログラム上、扱い易い。
【００３８】
さて、検索結果の画像群を代表するキーワードを決める場合には、（数３）の式を用いる。検索結果におけるキーワード予測値の平均が（数３）によって求められる。
【００３９】
【数３】

【００４０】
ここで、平均値の変数についているダッシュは、平均するデータ数が（数２）の場合に全データｎだったのに対し、（数３）では検索結果数ｍであるため両者を区別するために使用している。
【００４１】
また、検索結果の画像群の違いをより反映したキーワードを決める場合には、（数４）の式を用いる。検索結果におけるキーワード予測値の分散が（数４）によって求められる。
【００４２】
【数４】

【００４３】
（数４）は、（数３）に比べ計算量が大きいのが分る。もし計算機の能力や特徴量ベクトルの要素数などによって、計算量が大きいのが気になる場合には、近似的な方法として、（数３）の値が１／２に近いものを採用するという方法がある。今、ある変数が０か１の２値を取る場合、その分散は出現頻度をＰとするとＰ（１−Ｐ）になる。これはＰ＝１／２のときに最大となるので、分散が最大となるものを選ぶにはＰ＝１／２のものを選ぶとよい。全ての検索結果についてキーワード予測がうまくいっている場合には、この方法が効果的である。しかも（数３）で既に計算した値を使え、新たに計算する必要がなくなるので計算量削減に大変役立つ。
【００４４】
また、ここでは統計処理として重回帰分析を用いた例を示したが、統計処理として、２次の判別分析を用いることや、３階層以上のニューラルネットワークの学習などを用いることを妨げるものではない。これらは非線形な処理を行うために、線形な処理で予測を行う重回帰分析を用いた場合に予測できなかったキーワードをも予測できるようになる可能性がある。
【００４５】
図４は、本発明による表示をネットワークシステムを利用して行う場合の一実施例としてクライアント側とサーバ側とのそれぞれの構成および連係関係を示した模式図である。画像検索クライアントシステム４０７と画像検索サーバシステム４０８がネットワーク４０２で接続された構成をしている。装置４０１は、図１で説明したようなＧＵＩなどを実装する表示及び入力装置である。ＧＵＩにて表示キーワードの選択や表示領域の移動などの入力を行う。また、さまざまな画像検索の検索要求を受けつける入力機能も備えている。装置４０６は、ネットワークサーバ４０３とネットワーク４０２を介して通信を行うネットワーククライアントである。装置４０３へユーザの検索要求を送信したり、受診した画像データやキーワード、各画像の座標情報に従って画面を構成したり、装置４０１からの情報に従って、画像配置を変更したり、表示領域を移動したりする機能を備えている。装置４０３は、ネットワーク４０２を介してデータの送受信を行うネットワークサーバである。具体的には、ここ４０３で検索要求を受信したり、検索されたの画像、表示のための各座標の座標情報やキーワードなどを送信する機能を備えている。画像データベース４０５には画像自体と画像からあらかじめ抽出しておいた画像毎の特徴量、およびさまざまな検索を行うためのタグ情報（キーワードや文章、音声など）が格納されており、検索時に画像検索装置４０４に利用される。図２のようにデータベースを検索方法毎などに分離して格納することもできるが、装置としては１つのデータベースに全てを格納することも可能である。装置４０４は、検索要求に従って検索を行う画像検索装置である。画像データベース４０５にアクセスして、検索結果をネットワークサーバ４０３へ渡す。また、検索だけの機能に限らず、代表キーワードや画像群内の違いを表現するキーワードの選出などもここで行われる。
【００４６】
図５は、検索結果画像間関係の表示クライアント・サーバシステムの通信手順を説明したＮＳチャートである。
【００４７】
まず、サーバシステム（以下、Ｓシステム）の起動５２１が行なわれる。Ｓシステムが初期化されて（５２２）、設定ファイルの読み込みなど準備される。次にクライアントシステムからの通信を待機する状態となる（５２３）。
【００４８】
そして、クライアントシステム（以下、Ｃシステム）の起動が行われる（５０１）と、Ｓシステムと同様にして初期化がなされる（５０２）。通信接続処理５０３にて通信待機中のＳシステムへ通信接続要求を送信する。Ｓシステムでは、通信接続処理において、通信接続要求のあったＣシステムとの間に通信接続を確立する（５２３）。この中では、接続要求があるまで通信待機したり、Ｃシステムとの情報のやりとりやＧＵＩのためのプログラムの送信などが行われることもある。Ｃシステムの通信接続処理５０３では、さらに、受信した情報を設定したり、ＧＵＩのプログラムを実行したりする。以上で画像検索の準備が完了する。以下からＣシステムではＧＵＩが起動しはじめ、ＳシステムではＣシステムの要求に対して反応し処理を実行するようになる。
【００４９】
最初に、Ｃシステムの処理で、ユーザからのさまざまな画像検索がある中で特定の検索を実行するための検索要求を受けつける（５０４）。この検索要求をＳシステムへ送信する（５０５）。このデータをＣ１とする。通信待機中のＳシステムが通信を受信すると、まず受信内容の判定を行う（５２４）。通信内容が、Ｃ１であるなら、「Ｙ」分岐へ行き画像検索を実行する（５２６）。「Ｎ」分岐の場合、通信待機５２４へ戻る（５２７）。このとき、Ｃシステムへエラー情報を送信してもよいし、送信しなくても、Ｃシステム側でタイムアウト処理を行うことで通信接続処理５０３へ戻ってもよい。
【００５０】
Ｓシステムで「Ｙ」分岐へ行って画像検索を行った後、代表・表示キーワードの演算と選出、および選出された各表示キーワード毎に、検索結果画像の座標を計算する（５２８）。次に、検索結果の画像自身を送信する（５２９）。
【００５１】
Ｃシステムの通信待機処理５０６で検索結果の画像を受信すると、次に代表・表示キーワードの要求（Ｃ２）を送信する（５０７）。そしてＣシステムは代表・表示キーワードの通信待機状態となる（５０８）。Ｓシステムから、代表・表示キーワードを受信すると、次に各表示キーワードにおける各画像の座標の要求（Ｃ３）を送信し（５０９）、通信待機になる（５１０）。更に、それらのデータを受信すると（５１０）、Ｓシステムへデータ受信確認（Ｃ４）を送信する（５１１）。そして、通信切断処理に入る（５１２）。
【００５２】
Ｓシステムでは通信待機（５３０）状態において通信を受信すると、その内容が判定され、それがＣ２の場合、代表・表示キーワードを送信し、Ｃ３の場合各表示キーワードにおける各検索画像の座標を送信し、それぞれの終了後、通信待機（５３０）状態へ戻る。Ｃ４であればそのまま通信切断処理（５３５）へ移り、１回の検索における後始末を行い、最初の通信待機（５２３）へ戻る。これをシステム終了まで繰り返す（５３６）。システム終了時になれば終了処理を行う（５３７）。
【００５３】
Ｃシステムでは、代表・表示キーワードをユーザに提示して、表示軸のキーワード指定を受け付け（５１３）、そのキーワードの軸に対応する各検索画像の座標を使って、画像を配置し表示を行う（５１４）。処理５１４では、表示領域の移動などの処理も行う。そして表示が終れば、最初の通信接続処理（５０３）へ戻る。これを検索終了まで繰り返す（５１５）。検索終了になれば終了処理を行う（５１６）。
【００５４】
なお、本実施例では、２次元の表示面に２軸の表示空間として検索結果を表示するものとしたが、表示空間は１軸または３軸とすることもできる。しかも、これを検索者が任意に選ぶものとすることは容易である。
【００５５】
【発明の効果】
本発明は、検索結果の画像群を出力する任意の検索システムの出力結果を、ユーザにとって意味を把握しやすい、キーワードあるいはシンボルを使って、２次元面に表示することができ、検索結果の素早く一覧したりや次の検索要求を容易に準備することができるから、デザインを利用することを頻繁に行う広告業界や放送業界、あるいはデザインを売ることを目的としたコンテンツサービス業界等において、有効に利用できるのみならず、ＰＣ上で動作する個人ベースでホームページやその他のデザインを作成するなどの創造支援アプリケーションにも利用できる。
【図面の簡単な説明】
【図１】本発明の実施例のグラフィック・ユーザ・インターフェースを示す模式図。
【図２】本発明の実施例のデータの流れを示した模式図。
【図３】本発明の実施例の処理手続きを示したＰＡＤ図。
【図４】本発明による検索結果画像間関係の表示をネットワークシステムを利用して行う場合の一実施例としてクライアント側とサーバ側とのそれぞれの構成および連係関係を示した模式図。
【図５】検索画像間関係の表示クライアント・サーバシステムの通信手順の説明図。
【符号の説明】
１０１：表示空間のスケールを変更するスクロールバー、１０２：検索された画像、１０３：表示空間の表示領域を移動させるボタン、１０４：表示空間の表示領域の中央に戻ってくるボタン、１０５：表示のＹ軸に使用するキーワードを選択するボタン、１０６：表示空間を表示する部分、１０７：表示のＸ軸に使用するキーワードを選択するボタン、１０８：画像群を代表するキーワード群を表示する部分、２０１：ユーザからの検索要求、２０２：キーワードデータベース、２０３：文章データベース、２０４：音声データベース、２０５：画像特徴量データベース、２０６：さまざまな画像検索の方法、２０７：キーワードあるいはキーワードから作られる特徴量の流れ、２０８：文章あるいは文章から作られる特徴量の流れ、２０９：音声あるいは音声から作られる特徴量の流れ、２１０：画像特徴量の流れ、２１１：検索結果の画像データ名あるいは画像を特定する番号、２１２：検索結果に対応した画像の特徴量の流れ、２１３：検索結果における特徴量ベクトルの各要素の平均、分散共分散の計算、２１４：特徴量ベクトルの各要素の平均値の流れ、２１５：特徴量ベクトルの各要素の分散共分散の流れ、２１６：各キーワードにおける画像特徴量の流れ、２１７：キーワード特徴量データベース、２１８：各キーワード予測値の平均値と分散値の計算、２１９：各キーワード予測値の検索結果における平均値、２２０：各キーワード予測値の検索結果における分散値、２２１：平均値や分散値に基いて最大値から指定個数個選出する処理、２２２：平均値に基いて選出されたキーワード、２２３：分散値に基いて選出されたキーワードと特徴量、２２４：代表キーワードの提示、２２５：表示キーワードの表示と検索結果の表示のＧＵＩ、２２６：検索結果の画像自身の流れ、２２７：画像データベース、２２８：検索結果の画像群全体の意味情報、２２９：検索結果の画像群内の違いを表す意味情報、２３３：転送される特徴量ベクトルｘ_ik、３０１：ユーザからの検索要求の受け付け、３０２：画像検索と検索結果のデータ名の出力、３０３：検索結果数だけ反復、３０４：キーワード数だけ反復、３０５：平均値に基くキーワードを最大値からＳ個ユーザへ提示、３０６：分散値に基くキーワードを最大値からＴ個ユーザへ提示、３０７：ユーザからの表示キーワードの指示、３０８：検索結果の画像の表示、３０９：画像特徴量ベクトルの取得、３１０：画像特徴量ベクトルの各要素の平均と分散共分散の集計、３１１：キーワード特徴量ベクトルの取得、３１２：キーワード予測値の平均の計算、３１３：最大値からＳ個のキーワードを保存、３１４：キーワード予測値の分散の計算、３１５：最大値からＴ個のキーワードを保存。

Claims

予めキーワードが付された画像の検索システムから出力された検索結果の画像群を表示する表示方法において、
任意の画像に対しその画像特徴量から付与すべきキーワードを予測するために画像特徴量とキーワード予測値との対応関係を格納したデータベースを作成しておき、
検索結果の画像群の全体を代表する第１のキーワード群と、表示された画像群の個々の画像間の違いを表現する第２のキーワード群をパネル上に表示し、
上記第２のキーワード群からユーザによって選択された２つのキーワードによって構成される表示空間に検索結果の画像群を画像特徴量により散布図として配置し表示するものであって、
上記第１のキーワード群は、上記検索システムが、上記検索結果の画像群の画像特徴量を基に上記データベースを参照し、該画像群に付与すべきキーワード予測値の平均値を演算し、演算結果から指定個数選出することで決定し、
上記第２のキーワード群は、上記検索システムが、上記検索結果の画像群の画像特徴量を基に上記データベースを参照し、該画像群に付与すべきキーワード予測値の分散値を演算し、演算結果から指定個数選出することで決定することを特徴とする検索画像表示方法。