JP3586549B2

JP3586549B2 - 画像検索方法およびその装置

Info

Publication number: JP3586549B2
Application number: JP33675197A
Authority: JP
Inventors: 義則武者; 敦廣池; 靖英森
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-12-08
Filing date: 1997-12-08
Publication date: 2004-11-10
Anticipated expiration: 2017-12-08
Also published as: JPH11175535A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データをデータベースとして備えている画像データベースから希望の画像を効率よく検索するための方法に関する。
【０００２】
【従来の技術】
大量の画像データを有する画像データベースから画像を検索する場合、対象の画像に対して、これを間接的に説明するキーワードを付す等の手法によらないで検索する場合には、検索者の望んでいる想像上の画像に近い画像を検索し、あるいは検索者の曖昧とした検索意図を明確化するために、多様な観点から検索された大量の検索結果の画像を検索者に分りやすく伝えることが重要である。
【０００３】
従来、我々は画像検索装置へ検索者の意図を伝えるという観点に立って、キーワード等に代えて、希望画像と類似した画像及び類似しない画像を１つまたは２つ以上指定して参照画像とし、そのそれぞれの画像あるいは必要に応じて参照画像の一部領域を指定しこれから抽出される特徴量の一部または全てを参照画像毎に指定し、それら各特徴量と画像データベースに登録されている検索対象となる被検索画像に予め付与されている各特徴量を用いて総合類似度を算出して出力すべき被検索画像データを得るという画像検索方法を、特願平９−１９６１５４において提案した。
【０００４】
しかし、画像検索と検索結果の表示を繰り返す中で、検索者の望んでいる想像上の画像に近い画像を検索し、あるいは検索者の曖昧とした検索意図を明確化するためには、１回の試行の中で検索者の検索意図を画像検索システムへ効果的に伝えることの他に、画像検索の結果を検索者へ分りやすく提示することが重要である。
【０００５】
後者の、検索結果を検索者へ分りやすく提示する検索システムの提案として、たとえば、特開平５−２８２３７５がある。これにおいては、参照画像の属性情報のうち特徴量を持つものを２つ選び、その範囲指定をすることによって検索を行い、その２特徴量を軸とする２次元座標に検索結果の縮小画像を配置することで、ブラウジング表示することが提案されている。また、検索結果のしぼり込みを行うにあたって、次に着目する２次元の属性情報の特徴量の範囲を指定することが提案されている。
【０００６】
【発明が解決しようとする課題】
検索者と検索システムとの効果的なインタラクションを行うためには、１回の試行の中で検索者の検索意図を画像検索システムへ効果的に伝えることを踏まえた上で、多様な観点から検索された大量の結果を検索者に分りやすく伝えて、かつ検索者の意図を検索システムへ手軽るに伝える操作性を損なわないようにしなければならない。また逆に、検索者の検索意図が検索結果にどのように反映されたかを検索者へ分りやすく伝えなければならない。例えば、１つの特徴量を表現するベクトルが数十あるいは数百以上もの次元を持っていた場合、複数の特徴量から任意の２次元あるいは３次元を選んで検索のしぼり込みを行う作業を繰り返すのは現実的ではない。検索作業量が多くなるばかりでなく、特徴量としてまとまって理解しやすい意味を持っていても個々のベクトル要素で人に理解しやすい量となっているとは限らないからである。
【０００７】
よって、検索者が選んだ参照画像に近い画像の検索を多次元のまま行い、その複数の参照画像の組み合わせと人に理解しやすいまとまった特徴量の指定によって検索意図を表現するのが、検索意図を手軽るな操作性で検索システムへ効果的に伝えるためのよい方法となる。その場合、検索結果としてさまざまな観点からの大量の結果が得られるため、その中から次の検索のための参照画像を選択するためには、これを検索者に分りやすく提示する手段が必要となる。その方法として、検索画像の単なる一覧表示ではなく、一定の序列に従って画像を配置した表示方法が有効である。これは、検索結果だけでなく検索する前の例示画像においても有効となる。また、その表示において、検索者が選択した参照画像がどのような位置付けになっているか示すことで、検索者の検索意図が検索結果へどのように反映されたかを知ることができる。
【０００８】
本発明はこのことに着目して、検索結果の画像を一定の序列に従って配置するブラウジング表示画面上で、直接画像指定あるいは領域指定することによって、１つまたは複数の画像を参照画像として選択でき、その場で１つまたは複数の画像に対して特徴量の選択および重みを付与し、画像検索することを提案するものである。また、検索結果を前記ブラウジング表示画面上の縮小画像として表示する際、参照画像も他の結果画像と区別して配置し表示することを提案するものである。また、この手法による検索をサービスとして行うこととして検索者自身がデータの準備をする必要のない画像検索を可能とすることを提案するものである。
【０００９】
【課題を解決するための手段】
本発明は、参照画像あるいは任意の例示画像あるいは検索結果画像の特徴量を統計処理して計算される多次元ベクトル空間から１軸または２軸または３軸を任意に選び画像を対応する座標に縮小して配置し検索結果をブラウジング表示し、前記ブラウジング表示画面上で縮小画像の指定あるいは領域指定による複数の縮小画像を指定することで、１つあるいは複数の参照画像を選択し、その場で特徴量の選択や重みを付与し、それら各特徴量と画像データベースに登録されている検索対象となる被検索画像に予め付与されている各特徴量を用いて総合類似度を算出して出力すべき被検索画像データを得ることにより実現できる。
【００１０】
【発明の実施の形態】
以下に、本発明の好適な一実施例を添付図を参照して詳細に説明する。
【００１１】
図１は本実施例のグラッフィック・ユーザー・インターフェイス（以下、ＧＵＩと略称する）を示した模式図である。図の例は、画像から多次元色特徴量（ＲＧＢ）と多次元微分特徴量（Ｄｉｆｆ）を抽出し、参照画像あるいは例示画像あるいは検索結果の画像について各特徴量で主成分分析を行い、その最大固有値を持つ固有ベクトルから順に４つまでを選択可能にしたものである。
【００１２】
ブラウジング表示画面１０２のＸ軸として、Ｘ軸特徴量選択ボタン１１１により多次元色特徴量（ＲＧＢ）を選択し、Ｘ軸主成分選択ボタン１１２により、その第一主成分が選択されている状態を示すものである。Ｙ軸も同様にしてＹ軸特徴量選択ボタン１１０とＹ軸主成分選択ボタン１０９により多次元微分特徴量（Ｄｉｆｆ）の第一主成分が選択されている。図では、選択されているボタンにドットが付されてこの状態を示しているが、この表示は多くのパソコンで行われているボタン表示とするのが見やすい。
【００１３】
ここで検索結果画像を表示する画面は多次元固有空間からＸ軸、Ｙ軸の特徴量や主成分の選択により任意の空間が設定できる。以下の実施例では、この２軸の設定により決まる空間を可視化空間と称する。
【００１４】
ブラウジング表示画面１０２には、縮小された画像１０３が、選択した前記２軸に対応する座標に配置されており、そのような画像が多数存在している。画像の表示に際して、軸成分の値が近くて画像が部分的に重なるときは検索の順位の高いものが前面に見えるようになっている。前面の画像によって完全に多い隠されてしまう画像の表示処理は行われない。
【００１５】
マウスカーソル１１４によって画像を直接指定することによって、表示されている縮小画像を直接参照画像に選択したり参照画像から外したりすることができる。そして、ブラウジング表示画面１０２に参照画像をキーにして選択されて表示された多くの画像のうち、キーとなった参照画像は円マーク１０４で囲まれ、他の画像と区別できるようにする。また、マウスカーソル１１４によって破線１１３で示すように表示画面１０２の任意の領域を指定することもできて、その中に含まれる縮小画像を参照画像に指定することができる。
【００１６】
マウスカーソル１１４によって画像を選択すると、画像拡大表示部１０８に拡大表示することができる。図の例は、画像拡大表示部として最大３つの領域を常時表示できるものとされている。縮小画像を順次選択していくと新しく選択された３つが表示され、先に選択された画像はその履歴が残るようになっている。画像拡大表示部１０８の画像サイズはスクロールバー１０７によって調整できる。一方、画像拡大表示部１０８として使用できる表示画面の領域は限られているから、画像サイズを大きくしたときは、画像拡大表示される画像数が減ることになる。
【００１７】
画像拡大表示部１０８の画像に対して、画像内の任意の領域を部分的に指定することができ、かつ、この部分領域は一つに限らず複数指定することができる。指定された部分領域はそれぞれが独立した参照画像として自動的に登録され、ブラウジング表示画面１０２に円で囲まれた画像として出現する。
【００１８】
また、マウスカーソル１１４によって、ブラウジング表示画面１０２の任意の座標を指定して、ブラウジング表示画面１０２のその座標の中心位置を変更することが出来る。例えば、右端、あるいは左端にある画像を表示画面の中央へ、または上端あるいは下端にある画像を表示画面の中央へ、平行移動させることができる。更に、ＳＣＡＬＥと表示されているスクロールバー１０１によって、座標スケールを指数関数的に拡大縮小率を変化させて調節できる。このスケールを拡大すると、ブラウジング表示画面１０２の中央を中心として放射状に縮小画像が遠ざかっていき、表示される画像数は減少するが、画像の重なりを少なくするようにできる。これによって、ブラウジング表示画面の小領域における画像間の詳細分布を知ることができる。また、この座標スケールを縮小すると、表示画像の集合としての全体の配置を概観することができる。つまり、縮小画像集合の全体の概観と小領域における詳細表示とを、スクロールバー１０１の調整によって連続的に変えて見ることができる。
【００１９】
１０６はサーチボタンであり、これを押すと参照画像をキーとする検索が行われる。ＣＡＬＣＳＰＡＣＥと表示された１０５は固有空間計算ボタンであり、これはトグルボタンとなっており、ボタンを押すとサーチボタン１０６の操作によって行われた検索結果に対して、各画像の可視化空間における配置を計算して、縮小画像をブラウジング表示画面１０２に表示する。固有空間計算ボタン１０５をあらかじめ押した状態に設定しておくと、サーチボタン１０６を押して検索する度に、検索結果から固有空間を計算しなおして、縮小画像を可視化空間へ配置しブラウジング表示画面を更新する。固有空間計算ボタン１０５を解除しておくと、設定中、最後に計算した固有空間を保存しており、サーチボタン１０６によって検索された結果はその保存された固有空間における可視化空間において、縮小画像を配置しブラウジング表示画面を更新する。この際、参照画像はブラウジング表示画面の対応する座標に必ず配置されるようになっている。
【００２０】
ここでは統計処理として主成分分析を用いたが、原画像にキーワードを付与することが行われていれば、キーワードのような外的基準を持った統計処理として正準相関分析を行うこと、あるいはオーソマックス基準などによる因子分析を行うことも考えられる。
【００２１】
また、ブラウジング表示画面において、縮小画像が可視化空間上に一定の序列を持って配置されることになる。その序列は固有空間の軸を特徴量選択ボタン１１０，１１１や主成分選択ボタン１０９，１１２にて任意に選択することで、検索者の意図に近いものを探すことが簡単にできる。縮小画像が序列を持って配置されるため、似た画像が座標的に近い位置に並ぶことになる。すなわち、次の検索で検索者の意図をより反映させるために、その序列で似た傾向の画像を選択することが、領域指定などで容易にできることを意味する。
【００２２】
更に、参照画像が円マークで示されることによって、現在の検索結果で、あるいは次の検索結果でどのような配置に位置付けられているかを検索者に示すことになる。その上、固有空間計算ボタン１０５を解除しておくことで、以前の固有空間上における現在の検索結果の分布を知ることができる。
【００２３】
図２は、領域指定した領域３０６内の参照画像として選択した円マークを付した全ての縮小画像（代表を３０５で示す）に対して、同じ特徴量および重みを設定している様子を表わしている。
【００２４】
本実施例では、ブラウジング表示画面上にて領域を指定したり、あるいは１個の縮小画像を指定することによって、ポップアップウィンドー３０７を出現させることができる。ポップアップウィンドー３０７には、可視化空間の設定に採用された特徴量の数だけ特徴量重みフィールド３０４が表示されている。特徴量重みフィールド３０４には、特徴量名３０１が表示され、テキストフィールド３０２に直接数値を記入して重みを入力することもできるし、スクロールバー３０３にて入力することもできる。０以外の値が設定された特徴量は、選択されたものとして、検索時に使用される。
【００２５】
図３は、画像データベース２０５および入力操作・画像表示装置２０９との関連を含め、画像検索のデータの流れの一実施例を示した模式図である。まず、検索者は例示画像準備ステップ２１３にて、例示画像を準備する。この例示画像は、検索者が直接入力するものでも良いし、検索者がデータを指定してあらかじめ画像データベース２０５に用意されているものから得るものとしても良い。検索者がデータを指定するものとすると、例示画像準備ステップ２１３から必要に応じてトリガーが入力操作・画像表示装置２０９へ送られ、画像表示や主成分分析のための初期化処理が行われる。同時に画像データベース２０５に対して、例示画像読み込み要求２１４が送信される。その後、画像データベース２０５から例示画像読み込み要求２１４に対応した例示画像データ２１０が入力操作・画像表示装置２０９へ送られ、必要に応じて主成分分析２１５が行なわれた後、ブラウジング表示画面に縮小画像として配置される。検索者が画像を直接入力する場合には、入力された画像が入力操作・画像表示装置２０９へ表示される。検索者は、入力操作・画像表示装置２０９のＧＵＩによって、参照画像の特徴付けステップ２００により、参照画像あるいは参照画像の特定領域を指定するとともに、その特徴量を指定し、その重みなどを入力する。図３では、参照画像に付与する特徴量を２０１で表示し、特徴量の重みを２０４で示した。ここでは、参照画像から直接特徴抽出するものとしたが、既に何度も画像検索が行われて、参照画像が画像データベース２０５内に保存されている場合には、あらかじめ格納されている特徴量を使用することができる。画像検索ステップ２０２では参照画像の特徴量２０１を入力し、その特徴量に対して画像データベース２０５の画像特徴量とマッチングを行う。具体的には、画像データベース２０５へ特徴量読み込み要求２１１を送信し、一つの被検索画像の特徴量の読込み２０６を行う。特徴量２０１と対応する被検索画像の特徴量とマッチングされ、特徴量毎の類似度２０３を出力する。つぎに、入力操作・画像表示部２０９のＧＵＩによって付与された参照画像毎の特徴量の重み２０４を使用して、特徴量の類似度２０３に重み付けを行い、特徴量の類似度と重みとを総合した総合類似度２０３’を生成する。それはソートステップ２０８にて蓄えられる。上記手順を画像データベース２０５内の検索が終了するまで繰り返す。その後、ソートステップ２０８で総合類似度に従って並べ替え、検索データとなる。また、必要に応じて、トリガーが入力操作・画像表示装置２０９へ送られ、初期化処理が行われる。検索データのデータ名は、検索結果画像の読み込み要求２１２として、画像データベースに送られ、入力操作・画像表示装置２０９へ画像データ２１０が送られる。こうして、必要に応じて主成分分析２１５が行なわれブラウジング表示画面に縮小画像として検索結果が表示される。この結果表示に対して、入力操作を行い画像検索を繰り返すことができる。また、ソートステップ２０８からの結果出力数は、総合類似度に従って並べた数によって制限する方法もあるし、また総合類似度のしきい値を設定して、それを超えた結果のみ出力する方法もある。
【００２６】
ここで総合類似度２０７を説明する。総合類似度Ｒは（数１）により定義される。
【００２７】
【数１】

【００２８】
ここで、ｉは参照画像を区別する番号、ｊは特徴量ベクトルの種類を区別する番号である。Ｗ_ｉｊは参照画像毎の各特徴量に付与された重みであり、値は正や零、負をとりうる。α_ｉｊは類似度場の広がりを制御するパラメータで「検索の鋭さ」と呼んでおり、値は正か零である。これは分散の逆数の意味を持つ。ｘ_ｊはデータベース内の画像に関する特徴量ベクトル、ｑ_ｉｊは参照画像の特徴量ベクトルである。参照画像毎の各特徴量において算出される類似度Ｒ_ｉｊの重みＷ_ｉｊ付き加算として、総合類似度Ｒが定義されている。
【００２９】
この総合類似度Ｒを得る（数１）によれば、参照画像毎に指定する特徴量毎に検索者の好みを反映させることができる。すなわち、参照画像の好きな特徴量には正の重みを付与し参照画像の嫌いな特徴量には負の重みを付与するのである。
【００３０】
この総合類似度Ｒの場合、各特徴量の存在する多次元空間上の位置からの距離とその特徴量に付与された重みに応じた類似度場を特徴量空間上にそれぞれ形成し、その類似度場の合成として形成される総合類似度場が、２つの特徴量に付与された重みが正同士ならそれら２つの間に総合類似度場の頂点が生じ、あるいは２つの特徴量に付与された重みが正と負ならば、正の重みを付与された特徴量に対し、負の重みを付与された特徴量と反対側へ総合類似度場の頂点が生じるような性質を持つ。これによって、検索者の想像上の画像に類似な画像、類似していない画像、あるいは検索者の好みの特徴量、嫌いな特徴量を設定し、検索に反映することができる。
【００３１】
ところで、類似度とは、（数１）のように似ているもの同士の間では値が大きくなり、そうでないものに対しては小さくなる指標として使用されているが、そのような類似度の替りに似ているもの同士では値が小さくなり、そうでないものでは値が大きくなる距離の指標を採用することもできる。その際には、重みＷ_ｉｊ付き加算という形式では、前記の類似していない画像あるいは嫌いな特徴量という検索意図を画像検索に反映することができないが、扱いやすい指標であるので通常よく使われる。
【００３２】
例えば、総合類似度の代わりに（数２）、（数３）のように総合距離Ｄを定義できる。総合距離Ｄは小さいほど近い画像である。
【００３３】
【数２】

【００３４】
ここで、ｉは参照画像を区別する番号、ｊは特徴量ベクトルの種類を区別する番号である。Ｗ_ｉｊは参照画像毎の各特徴量に付与された重みであり、値は正か零をとりうる。ｘ_ｊはデータベース内の画像に関する特徴量ベクトル、ｑ_ｉｊは参照画像毎の各特徴量ベクトルである。Ｎｑは参照画像の数、Ｎｆは特徴量の数である。（数２）は重みを考慮したノルムの２乗を参照画像で平均して総合距離Ｄを算出している。
【００３５】
【数３】

【００３６】
ここで、ｉは参照画像を区別する番号、ｊは特徴量ベクトルの種類を区別する番号である。Ｗ_ｉｊは参照画像毎の各特徴量に付与された重みであり、値は正か零をとりうる。ｘ_ｊはデータベース内の画像に関する特徴量ベクトル、ｑ_ｉｊは参照画像毎の各特徴量ベクトルである。Ｎｆは特徴量の数である。第一項は、特徴量重みを考慮して参照画像の中で最も小さいノルムの２乗値を求めており、データベース内の画像からの距離が参照画像のどれかに近ければ近い値が出力されるためＯＲ的な振舞いをする。第二項は、特徴量重みを考慮して参照画像の中で最も大きいノルムの２乗値を求めており、データベース内の画像からの距離が参照画像のどれからも近くなければ近い値が出力されないためＡＮＤ的な振舞いをする。αは前述のような検索の振舞いを操作するパラメータで、０に近ければ複数の参照画像との距離のＡＮＤ的な振舞いをし、１に近ければ同様にＯＲ的な振舞いをする。
【００３７】
図４、図５は、１回の画像検索方法の流れを説明したＰＡＤ図（ＰｒｏｂｌｅｍＡｎａｌｙｓｉｓＤｉａｇｒａｍ）である。
【００３８】
図４は全体の流れを説明したＰＡＤ図である。まず、例示画像の表示処理４０１が行なわれる。これは前回の検索結果を再利用する場合には実行されない。ＧＵＩ（グラッフィック・ユーザー・インターフェイス）のサーチ入力ループ４０２でパラメータの入力を続ける。これが終了すると画像検索処理４０３へ移行し、結果表示処理４０４にて、必要に応じて固有空間が計算され、縮小画像が対応するブラウジング表示画面上に表示される。４０２ではイベント入力処理４０５が行われ、画面上のボタン押下やスケール値の変更などを受けつける。そうして入力されたイベントは、イベント解析処理４０６にて判定され、それぞれのイベントの処理に移る。イベント処理４０７では検索者がブラウジング表示画面に提示されている画像の特徴量に重みを付与することで、その画像と重みを付与した特徴量を選択しかつ重みも入手する。イベント処理４０８では参照画像の領域指定を行う。領域はポインターにて始点と終点を対角とする長方形で指定するのが一般的であるが、一筆書的に自由に領域を指定しても良い。イベント処理４０９では固有空間を計算しなおしてブラウジング表示画面を更新する。選択画像の拡大表示処理４１０ではブラウジング表示画面に配置された縮小画像を指定することによって拡大表示部に拡大表示する。この画像は、画像サイズ変更処理４１１にて変更することができる。また、センタリングの座標指定処理４１２ではブラウジング表示画面の任意の座標を指定することによって、ブラウジング表示画面の中央へ画面全体を平行移動することができる。同時に、可視化空間のスケール変更処理４１３によって、ブラウジング表示画面のスケールを変更できる。また可視化空間上で領域指定処理４１４によって、縮小画像を複数同時に参照画像として選択することができる。固有空間の２軸指定処理４１５によって、任意の特徴量や主成分をそれぞれＸ軸、Ｙ軸へ指定することができる。サーチ入力処理４１６によって、サーチ入力ループ４０２のループから抜けサーチ処理４０３に移動する。
【００３９】
図５は、画像データベース内の特徴量検索の流れを説明したＰＡＤ図である。画像検索処理４０３では、まず、検索終了まで繰り返すループ５０１に入り、検索方法が全データへのアクセスする方法ならば全てのデータベース内に登録された画像の特徴量データの全てにアクセスした時点でループを抜ける。あるいは、バイナリサーチなどのように全データにアクセスせずとも検索できる方法であるなら、木構造の末端へ到達した時点でループを抜ける場合もある。処理５０３にて、画像データベースから１つの画像に関する各特徴量を取りだす。処理５０４にて全ての指定した参照画像についてループを行い、終了したらループを抜ける。処理５０６にて処理５０４で指定した参照画像について、検索者が指定した特徴量と処理５０３で指定した被検索画像の対応する種類の特徴量に関して類似度Ｒ_ｉｊをそれぞれ算出する。処理５０７にて処理５０６で計算された類似度Ｒ_ｉｊに検索者によって各特徴量に付与された重みＷ_ｉｊを掛け合わせる。処理５０５にて処理５０４までで作成された重み付き類似度Ｒ_ｉｊを加算して総合類似度Ｒを計算する。処理５０２の時点では、検索した被検索画像について総合類似度Ｒが付与されておりそれに従って画像のソートを行う。こうして画像検索が行われる。
【００４０】
図６は、本発明による検索をネットワークシステムを利用して行う場合の一実施例としてのクライアント側とサーバ側とのそれぞれの構成および連係関係を示した模式図である。クライアント側とサーバ側との連係は、例えば、画像表示機能を持ったワールドワイドウエブのブラウザを利用した通信機能によれば容易に実現できるから、ここでは、これ以上の説明は省略する。
【００４１】
一点鎖線で囲って示す画像検索クライアントシステム６０７と一点鎖線で囲って示す画像検索サーバーシステム６０８がネットワーク６０２で接続された構成をしている。装置６０１は、図１、２で説明したようなＧＵＩを実装する表示及び入力装置である。ＧＵＩにて参照画像の選択や特徴量の指定、その重み入力などが行われる。それらのパラメータは、パラメータなどを入力したり、画面レイアウト情報に従って、例示画像や検索結果の画像を表示する機能を備えている。装置６０６は、ネットワークサーバー６０３とネットワーク６０２を介して通信を行うネットワーククライアントである。ＧＵＩで入力された入力パラメータを送信したり、画像データや画面レイアウト情報を受信したりする。装置６０３は、ＧＵＩ機能をネットワーク６０２を介して提供するネットワークサーバーである。具体的には、ネットワークサーバー６０３で画面レイアウトを作成しそのレイアウト情報をネットワーククライアント６０６へ送信したり、入力パラメータを受信して、画像検索装置６０４へ渡したりする。場合によってはＧＵＩを機能させるためのプログラムやデータをネットワーククライアント６０６へ送信することもある。装置６０４は、入力パラメータに従って画像検索を行う画像検索装置である。画像データベース６０５にアクセスして、検索結果をネットワークサーバー６０３へ渡す。画像検索の詳細は、図１−図５で説明したと同じ手順がネットワーク６０２を介して行われるという点が異なるだけで、技術的な内容に実質的な差異はない。画像データベース６０５には画像自体と画像からあらかじめ抽出しておいた画像毎の特徴量が格納されており、画像検索時に画像検索装置６０４に利用される。
【００４２】
図７は、画像検索クライアント・サーバーシステムの通信手順を説明したＮＳチャートである。まず、画像検索サーバーシステム（以下、Ｓシステムと略称する）の起動７２１が行なわれる。Ｓシステムが初期化７２２されて、設定ファイルの読み込みなど準備される。画像検索サーバーシステムは、通常の状態では、常時システムの初期化は終了した状態になされてクライアントからのアクセスに備えるものとされる。画像検索クライアントシステム（以下、Ｃシステムと略称する）の起動７０１が行われると同様にして初期化７０２がなされる。クライアントが画像検索を行おうとするとき、Ｃシステムからアクセス通信接続処理７０３にて通信接続要求をＳシステムへ送信する。Ｓシステムでは、通信接続処理７２３において、通信接続要求のあったＣシステムとの間に通信接続を確立する。この中では、接続要求があるまで通信待機したり、Ｃシステムとの情報のやりとりやＧＵＩのためのプログラムを送信などが行われる。Ｃシステムの通信接続処理７０３では、受信した情報を設定したり、ＧＵＩのプログラムを実行したりする。以上で画像検索の準備が完了する。この後、ＣシステムではＧＵＩが起動しはじめ、ＳシステムではＣシステムの要求に対して反応し処理を実行するようになる。最初に、Ｃシステムの処理７０４で、例示画像要求を送信し、通信待機処理７０５となる。通信待機中７２４であるＳシステムが通信を受信すると、まず受信内容の判定を行う。通信内容が、例示画像要求７２５であるなら、「Ｙ」分岐へ行き処理７２６で例示画像の送信を行ったのち通信待機処理７２７となる。「Ｎ」分岐の場合、通信内容の別の判定を試みる。Ｃシステムの通信待機処理７０５で例示画像を受信すると、例示画像表示処理７０６でそれを表示する。この状態でＣシステムはＧＵＩが完全に起動状態となり、検索者からの入力を受ける準備ができる。次に、処理７０７で検索者からの入力を受けつける。検索者の画面の操作を通して参照画像の選択、画像毎の特徴量の指定、その重みの付与などを行う。それらのパラメータを処理７０８にて送信し、通信待機中７０９となる。Ｓシステムでは、通信待機処理７２７の最中に通信を受けると、受信内容の判定を行う。通信内容がパラメータ受信７２８であるなら、「Ｙ」分岐へ行き処理７２９にて画像検索を行い、処理７３０にてその検索結果の画像名や類似度等の送信を行う。処理７３０ではまた画像レイアウトも作成し、その情報も送信する。「Ｎ」分岐の場合、通信内容の別の判定を試みる。Ｃシステムの通信待機処理７０９で検索結果を受信すると、それぞれに対応する検索画像データを処理７１０にて要求し、通信待機中７１１となる。Ｓシステムの通信待機中７３１に通信を受けると、受信内容の判定を行う。通信内容が検索画像要求７３２であるなら、「Ｙ」分岐へ行き処理７３３にて検索画像の送信を行う。Ｃシステムの通信待機処理７１１で検索画像を受信すると、処理７１２にて画像レイアウト情報にしたがってレイアウトを表示する。処理７１３は検索者が検索を終了させるまでループを行い、処理７０７へ戻って検索をそのまま続けるか、あるいは処理７０４〜７０６の例示画像表示処理へ移行する。検索終了だと処理７１４にて終了処理を行う。Ｓシステムでは、画像検索サービスが終了するまで処理７３４にてループを行い通信待機状態７２４になる。サービス終了の場合は処理７２５にて終了処理を行う。
【００４３】
なお、図６、図７の例では、画像データベース６０５が画像自体をデータとして持ち、出力も画像を直接出せるものとして説明したが、ワールドワイドウエブのブラウザを利用した通信機能を利用した検索でよく行われているように、画像データベース６０５は検索結果として得られる画像の所在を示すデータのみを提供できるようにして、検索者がこの画像の所在を示すデータを利用して画像を得るものとすることもできる。このようにしたときは、画像データベース６０５は小さいものとできる。
【００４４】
以上説明したように、本発明の実施例では、以下のように多様な観点での検索が効率よく出来る。
【００４５】
（１）複数の画像を参照画像として検索し、複数の検索結果画像を主成分分析によって計算される多次元固有空間から２軸を任意に選び画像を、対応する可視化空間上の座標に縮小表示して配置しブラウジング表示することができる。これによって、複数参照画像と多次元特徴量ベクトルによって多様な観点によって検索された大量の結果を、選択した序列に従って提示することができる。
【００４６】
（２）１つの選択した画像から複数の領域を指定し、それぞれの領域を独立な参照画像として検索し、複数の検索結果画像を主成分分析によって計算される多次元固有空間から２軸を任意に選び画像を、対応する可視化空間上の座標に縮小表示して配置しブラウジング表示することができる。これによって、複数の領域と多次元特徴量ベクトルによって多様な観点によって検索された大量の結果を、選択した序列に従って提示することができる。
【００４７】
（３）ブラウジング表示画面上に参照画像を配置して、他の検索結果と区別して表示することにより、検索条件である参照画像がどのように検索に反映されたかを検索者へ提示することができる。
【００４８】
（４）ブラウジング表示画面上で座標を指定することで、その座標がブラウジング表示画面の中央へ位置するように画面全体を平行移動でき、拡大縮小率を指定することでブラウジング表示画面の中央を中心として表示スケールの拡大縮小を行うことができる。これにより、スケール拡大によって重なった画像を分離する操作とスケール縮小して概観表示をする操作を連続的に行うことができる。
【００４９】
（５）ブラウジング表示画面から画像の指定あるいは領域指定によって、１つまたは複数の画像を選択し参照画像とすることができる。これにより、固有空間上の指定した２軸で表現されたブラウジング表示画面上に、序列を持って表示された縮小画像を、検索者が一度に複数選択することができるため、その序列による似た傾向の画像を選択する操作を容易に行うことができる。
【００５０】
（６）ブラウジング表示画面から指定した画像あるいは指定した領域に含まれる画像において、特徴量の選択と重みの付与を行うことができる。これにより、固有空間の序列による複数の似た傾向の画像に対し同時に同じ特徴量を指定し、同時に同じ重みを付与できるため、効率的に検索条件の設定を行うことができる。
【００５１】
【発明の効果】
本発明は、検索者の望んだ画像を容易に得ることができるから、デザインを利用することを頻繁に行う広告業界や放送業界、あるいはデザインを売ることを目的としたコンテンツサービス業界等において、有効に利用できるのみならず、ＰＣ上で動作する個人ベースでホームページやその他のデザインを作成するなどの創造支援アプリケーションにも利用できる。
【図面の簡単な説明】
【図１】本実施例のグラッフィック・ユーザー・インターフェイスを示した模式図。
【図２】固有空間の領域指定により選択した複数画像に対し特徴量を選択して重みを付与するグラフィック・ユーザー・インターフェイスを示した模式図。
【図３】画像検索のデータの流れの一実施例を示した模式図。
【図４】１回の画像検索の全体の流れを説明したＰＡＤ図。
【図５】画像検索の全体の流れのうち、画像データベース内の特徴量検索の流れを説明したＰＡＤ図。
【図６】本発明による検索をネットワークシステムを利用して行う場合の一実施例としてのクライアント側とサーバ側とのそれぞれの構成および連係関係を示した模式図。
【図７】画像検索クライアント・サーバーシステムの通信手順を説明したＮＳチャート。
【符号の説明】
１０１：ブラウジング表示画面のスケールを変更するスクロールバー
１０２：ブラウジング表示画面
１０３：例示画像あるいは検索結果の画像
１０４：参照画像
１０５：固有空間計算ボタン
１０６：画像検索開始ボタン
１０７：拡大画像の拡大率を変更するスクロールバー
１０８：拡大画像
１０９：Ｙ軸の主成分選択ボタン
１１０：Ｙ軸の特徴量選択ボタン
１１１：Ｘ軸の特徴量選択ボタン
１１２：Ｘ軸の主成分選択ボタン
１１３：領域指定の枠
１１４：マウスカーソル
２０１：参照画像の特徴量
２０２：画像検索部
２０３：特徴量毎の類似度の流れ
２０４：特徴量重み
２０５：画像データベース
２０６：被検索画像の特徴量の流れ
２０７：総合類似度合成部
２０８：総合類似度ソート部
２０９：入力操作・画像表示部
２１０：画像データの流れ
２１１：特徴量読み込み要求
２１２：検索結果画像の読み込み要求
２１３：例示画像表示部
２１４：例示画像の読み込み要求
２１５：主成分分析をする統計処理部
３０１：特徴量名
３０２：特徴量重み入力フィールド
３０３：特徴量重み入力スクロールバー
３０４：特徴量重みフィールド
３０５：領域指定によって参照画像に指定された縮小画像
３０６：領域指定の枠
３０７：ポップアップウィンドー
４０１：例示画像表示処理
４０２：サーチ入力までループ処理
４０３：画像データベース内のサーチ処理
４０４：検索結果の表示処理
４０５：イベント入力処理
４０６：イベント解析処理
４０７：参照画像指定・特徴量指定・重み付与処理
４０８：参照画像の領域指定処理
４０９：固有空間の計算処理
４１０：選択画像の拡大表示処理
４１１：拡大画像の拡大率変更処理
４１２：センタリングの座標指定処理
４１３：可視化空間のスケール変更処理
４１４：可視化空間の領域指定処理
４１５：固有空間の２軸指定処理
４１６：サーチ入力処理
５０１：検索終了までループ
５０２：検索結果のソート
５０３：画像データベースからの特徴量の取り出し
５０４：全ての参照画像を使用するまでループ
５０５：総合類似度の算出
５０６：一つの特徴量の類似度算出
５０７：一つの特徴量の類似度への重みの積。

Claims

検索された複数の画像の特徴量を使用し、
前記特徴量の統計処理によって計算される多次元ベクトルから、１軸または２軸または３軸を任意に選び、
前記検索された複数の画像を前記選ばれた軸に対応する座標に縮小して配置して表示し、
前記表示した画面から画像の指定あるいは領域指定によって、参照画像を１つまたは複数個選択して新たな検索を行うとともに、検索された複数の画像を上記多次元ベクトルの前記選ばれた軸に対応する座標に縮小して配置して表示を更新する、
ことにより上記多次元ベクトルの前記選ばれた軸に対応する座標に対応して新しい参照画像に応じ検索された複数の画像をブラウジング表示することを特徴とする画像検索方法。
参照画像の指定を受け、
前記参照画像あるいは前記参照画像の指定された領域の特徴量と画像データベースに登録されている検索の対象となる被検索画像の特徴量とを用いて総合類似度または総合距離を算出し、
前記算出された総合類似度または総合距離に応じた検索結果画像を出力し、
前記検索結果画像から抽出した特徴量を用いて前記統計処理し、
前記検索結果画像をブラウジング表示する、
ことを特徴とする請求項1記載の画像検索方法。
任意に選択された複数の画像についても前記特徴量を抽出し、
前記ブラウジング表示を行なう請求項1記載の画像検索方法。
検索された複数の画像の特徴量を抽出する手段と、
前記特徴量の統計処理によって計算される多次元ベクトルから、１軸または２軸または３軸を任意に選ぶ手段と、
前記検索された複数の画像を前記選ばれた軸に対応する座標に縮小して配置して表示する手段と、
前記表示した画面から画像の指定あるいは領域指定によって、参照画像を１つまたは複数個選択する手段と、
新たな指定に対応した新たな検索を行うとともに、検索された複数の画像を上記多次元ベクトルの前記選ばれた軸に対応する座標に縮小して配置して表示を更新する手段と、
よりなり、上記多次元ベクトルの前記選ばれた軸に対応する座標に対応して新しい参照画像に応じ検索された複数の画像をブラウジング表示することを特徴とする画像検索装置。