JPH1139332A

JPH1139332A - 画像検索方法およびその装置およびこれを利用した検索サービス

Info

Publication number: JPH1139332A
Application number: JP9196154A
Authority: JP
Inventors: Yoshinori Musha; 義則武者; Atsushi Hiroike; 敦廣池; Yasuhide Mori; 靖英森
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1997-07-22
Filing date: 1997-07-22
Publication date: 1999-02-12

Abstract

(57)【要約】【課題】検索者が参照画像を利用して容易に希望の画像
を検索可能とすること。【解決手段】例示画像や検索者の手元の画像の中に、検
索者の希望に合致する画像がない場合に、それらの画像
の中から１つ以上の画像を選択し、画像あるいは画像の
一部領域毎に１つ以上の特徴量を選択し、検索者の好み
に応じて好きな画像の特徴量には正の重みを付与し、嫌
いな画像の特徴量には負の重みを付与して特徴量に対応
した画像を検索する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】画像検索には、種々の手法が
あるが、検索対象の画像に画像を間接的に説明するキー
ワードを付す等の手法によらず、検索者が抽出したいと
望んでいる想像上の画像の情報を直接的に画像検索シス
テムへ簡単に且正しく伝えることが重要である。

【０００２】本発明は、画像データをデータベースとし
て備えている画像データベースから希望の画像を効率よ
く検索するための方法およびそのためのサービスに関す
る。

【０００３】

【従来の技術】従来、検索者が抽出したいと思っている
想像上の画像の構図データを検索者にドローツールやペ
イントツールなどで描かせる方法(たとえば、Kato,T et
al. "Sketch Retrieval Method for Full Color Image
Database" Proc. 11th IAPR International Conferenc
e on Pattern Recognition, Vol.1 pp.530-533(1992)、
西山春彦ら「画像の構図を用いた絵画検索システム」情
処論, Vol.37, No.1, pp.101-109(1996))があったが、
多くの検索者にとってこれは非常に負担が大きい。ま
た、構図以外のテキスチャなどの情報を画像に描いて伝
えることは非常に難しかしい。

【０００４】他方、一枚の絵を参照画像として用い、そ
の注目したい特徴量を選ばせて画像検索する方法(Flick
ner,M. et al.:Query by Image and Video Content: Th
e QBIC System, IEEE Computer,Vol.28, No.9, pp.23-3
2(1995))がある。しかし、検索者の手元に、あるいはデ
ータベース内の参照画像として用いることができる画像
の一覧可能な枚数内に、検索者の望んでいる画像がある
とは限らない。よって、その中でもっとも検索者が望ん
でいる画像に近い画像を参照画像として選択して画像検
索を実行することになるが、画像データベースが巨大に
なればなるほど、本当に欲しい画像は距離などでソート
された出力画像の上位には出にくくなる。つまり、表示
装置の大きさなどによる制限があるために、本当に望ん
だ画像を手に入れるのは困難となる。

【０００５】そこで、検索者に構図等の絵を描かせるこ
となく、かつ手元に、あるいは一覧できる枚数内に、検
索者が望んでいる画像に近い画像がなくとも、検索者の
抽出したいと思っている想像上の画像の情報を検索シス
テム内に構成する方法が必要である。

【０００６】そのような検索システムの提案として、た
とえば、特開平7-21198、特開平7-65169、特開平8-2493
52、特開平8-249353がある。特開平8-249352、特開平8-
249353においては、複数画像を参照画像として選び、複
数種の特徴量を選択して検索条件を生成するステップに
よって合成特徴量を生成した後、全ての被検索画像に対
して使用することが提案されている。特開平7-21198に
おいては、希望画像と類似した画像及び類似しない画像
の複数を参照画像として選び、その参照画像が持つ全て
の特徴量を使用して画像検索を行うことが提案されてい
る。特開平7-65169においては、希望画像と類似した複
数の画像を参照画像に選び各画像毎に特徴量を指定し
て、画像検索を行うことが提案されている。

【０００７】

【発明が解決しようとする課題】検索者にとって手軽
に、しかも画像が持つ特徴量の多様性から検索者の望む
性質を選べるようにする点で、画像検索装置は手軽さを
失なわない範囲内で最大限の自由度を検索者に提供する
べきである。例えば、検索者は例示された画像の中から
好きな画像や嫌いな画像を選び出し参照画像とすること
ができるが、限られた例示画像の中には、検索者が想像
している好きな画像や嫌いな画像ががあるとは限らな
い。しかし、ある例示画像の一部の領域内には、ぴった
り好きな画像や嫌いな画像が含まれており、あるいは、
更に一部の特徴量に限れば、検索者の好みの特徴量や嫌
いな特徴量が含まれていることがある。

【０００８】本発明はこのことに着目して、例示画像の
中から検索者が好きな画像および嫌いな画像をそれぞれ
１枚以上選び、それぞれの画像で指定した特徴量を組み
合せて検索する。さらに必要なら、それぞれの画像で指
定した領域の好みの特徴量や嫌いな特徴量を組み合わせ
て検索することを提案するものである。また、複数画像
に代えて、一つの画像の複数領域のそれぞれを好みの画
像や嫌いな画像とみなして、それぞれの領域に対して特
徴量を指定し、これら特徴量を組み合わせて検索するも
のとして複数画像の検索に代えることを提案するもので
ある。

【０００９】

【課題を解決するための手段】本発明は、希望画像と類
似した画像及び類似しない画像を１つまたは２つ以上指
定して参照画像としてそのそれぞれの画像あるいは、必
要に応じて参照画像の一部領域を指定しこれから抽出さ
れる特徴量の一部または全てを参照画像毎に指定し、そ
れら各特徴量と画像データベースに登録されている検索
対象となる被検索画像に予め付与されている各特徴量を
用いて総合類似度を算出して出力すべき被検索画像デー
タを得ることにより実現できる。

【００１０】

【発明の実施の形態】以下に、本発明の好適な一実施例
を添付図を参照して詳細に説明する。

【００１１】図1は本実施例のグラッフィック・ユーザ
ー・インターフェイス(以下、ＧＵＩ)を示した模式図で
ある。図の例は、表示画面上に、画像を含む画像領域Ｉ
Ｍ₁、ＩＭ₂、---、ＩＭ₆の６画像領域が表示されてい
る。これらの画像には、線画やパターンのような図ばか
りでなく、例えば、イメージリーダで読み込まれるよう
な実画像も含むことができるのは当然である。このＧＵ
Ｉは当然パソコン等の計算機とその表示装置により実現
される。したがって、後述するようなマウス等を使用し
た画面上の領域指定あるいは指定された画面上の領域の
選択等は通常の操作で簡単に実現できる。

【００１２】各画像領域には画像部１０３、特徴量重み
スケール部１０４、特徴量情報表示部１０５および画像
情報表示部１０８が含まれており、各画像領域毎にセッ
トとして表示される。また、各画像領域毎に表示される
特徴量重みスケール部１０４、特徴量情報表示部１０５
は、検索者が画像部１０３全体を対象として特徴量を設
定するときは各画像領域に対して一つの表示となるが、
検索者が画像部１０３の一部の領域を複数指定したとき
は、指定された領域毎に特徴量重みスケール部１０４、
特徴量情報表示部１０５がセットされることになる。た
だし、実施例では、画面の制約から、指定された領域の
一つの特徴量重みスケール部１０４、特徴量情報表示部
１０５のみが表示されているものとした。この表示され
る特徴量重みスケール部１０４、特徴量情報表示部１０
５は、例えば、最後に設定された指定領域に対応するも
のとされる。検索者が他の指定領域をクリックすれば、
この領域に対応した特徴量重みスケール部１０４、特徴
量情報表示部１０５の表示が現れる。したがって、検索
者は一度設定した特徴量の重み付けを簡単に変更するこ
とができる。ここで、特徴量とは、本質的には画像自体
が持つ画像全体あるいは指定された領域の画像の本来の
特徴を言うが、本発明では、後述の実施例でも具体例が
説明されるように、例えば、画像を構成している要素の
形あるいは色などがその画像のどこに位置しているかを
示す構図データのようなものをも意味するものである。
これを本発明では、仮想特徴量ということにする。

【００１３】検索者は、最初の段階にて、自分で用意し
た画像をＧＵＩにセットし、あるいは、画像データベー
スのあるデータセットの中から例示用の画像データを読
み出す。表示画面サイズの制約上、一つの画面内に、例
示用の全画像領域が表示されない場合には、スクロール
バー１０７を操作することにより、現在表示されている
画像領域の代わりに表示されていてない画像領域を表示
させることができる。画像情報表示部１０８には、画像
の名称が表示される。また、表示画面上には、画像初期
化ボタン１０２が設けられ、これを押すことによって、
特徴量重みスケール部１０４によって重みを指定した操
作を初期化する。さらに、画像検索ボタン１０１が設け
られ、これを押すことによって、画像検索が行なわれ
る。

【００１４】検索者は、表示されている例示画像領域Ｉ
Ｍ₁、ＩＭ₂、---、ＩＭ₆の内から、参照画像として使用
したい画像の画像部１０３にポインターを当て画像の内
から検索に用いたい部分領域を指定する。もちろん、必
要に応じて画像全体をしてすることができるのは当然で
ある。特徴量重みスケール部１０４および特徴量情報表
示領域１０５は対にされて、複数個設けられて、それぞ
れに画像から抽出される特徴量の重みと特徴量を示す名
前、記号、アイコンなどが同じ行並びで表示される。検
索者は、画像あるいは指定した領域毎に特徴量を選び、
特徴量重みスケール１０４にて重みを付与する。この重
みは通常検索者の好みに応じて正や負の値を入力でき
る。

【００１５】特徴量重みスケール１０４にデータを入れ
ないか、あるいは０を指定することによって、この画像
を参照画像に選ばないことを指示することができる。図
の例では、例示画像領域ＩＭ₃、ＩＭ₄およびＩＭ₆の特
徴量重みスケール１０４は、特徴量の重みが全て0であ
り、これらの例示画像は参照画像に採用しなかった場合
を示している。画像初期化ボタン１０２を押すことで、
重みを指定した操作は無効とされる。この無効にする操
作は全ての参照画像に対して行うことも出来るし、選択
された参照画像に対してのみ行うことも出来る。画像検
索ボタン１０１を押すことによって、上記の参照画像と
それぞれの特徴量とそれぞれの重みを用いて画像検索を
行う。これについては後述する。

【００１６】検索者がＧＵＩによって必要な情報を指定
し、画像検索ボタン１０１を押すことによって得られる
検索結果もまた図１のように表示される。画面の機能は
ほとんど上記と同じであるが、画像情報表示領域１０８
の画像名を示す領域に、画像名の他にその画像の総合類
似度が示され、画像自体は類似度に応じてソートされる
ことになる。もし、検索結果表示の画像の中に、参照画
像自体が含まれている場合には、特徴量重みスケール１
０４にはこの検索に用いた重みが予め表示される。これ
らの検索結果の画像を用いて再び重みを付与し、画像検
索を行なうことができる。

【００１７】図２は、画像データベース２０５および入
力操作・画像表示装置２０９との関連を含め、画像検索
のデータの流れの一実施例を示した模式図である。

【００１８】まず、検索者は例示画像準備ステップ２１
３にて、例示画像を準備する。この例示画像は、先にも
述べたように、検索者が直接入力するものでも良いし、
検索者がデータを指定してあらかじめ画像データベース
２０５に用意されているものから得るものとしても良
い。検索者がデータを指定するものとすると、例示画像
準備ステップ２１３からその例示画像のデータ名は入力
操作・画像表示装置２０９へ送られ、画面のレイアウト
が作成される。同時に画像データベース２０５に対し
て、例示画像読み込み要求２１４が送信される。その
後、画像データベース２０５から例示画像読み込み要求
２１４に対応した例示画像データ２１０が入力操作・画
像表示装置２０９へ送られ、画面レイアウトに従って表
示される。検索者が画像を直接入力する場合には、入力
された画像が入力操作・画像表示装置２０９へ表示され
る。検索者は、入力操作・画像表示装置２０９のＧＵＩ
によって、参照画像の特徴付けステップ２００により、
参照画像あるいは参照画像の特定領域を指定するととも
に、その特徴量を指定し、その重みなどを入力する。図
2では、参照画像に付与する特徴量を２０１で表示し、
特徴量の重みを２０４で示した。これらは、図１では１
０５、１０４で示される。ここでは、参照画像から直接
特徴抽出するものとしたが、既に何度も画像検索が行わ
れて、参照画像が画像データベース２０５内に保存され
ている場合には、あらかじめ格納されている特徴量を使
用することができる。画像検索ステップ２０２では参照
画像の特徴量２０１を入力し、その特徴量に対して画像
データベース２０５の画像特徴量とマッチングを行う。
具体的には、画像データベース２０５へ特徴量読み込み
要求２１１を送信し、一つの被検索画像の特徴量の読込
み２０６を行う。特徴量２０１と対応する被検索画像の
特徴量とマッチングされ、特徴量毎の類似度２０３を出
力する。つぎに、入力操作・画像表示部２０９のＧＵＩ
によって付与された参照画像毎の特徴量の重み２０４を
使用して、特徴量の類似度２０３に重み付けを行い、特
徴量の類似度と重みとを総合した総合類似度２０３’を
生成する。それはソートステップ２０８にて蓄えられ
る。上記手順を画像データベース２０５内の検索が終了
するまで繰り返す。その後、ソートステップ２０８で総
合類似度の大きい順に並べ替え、その検索結果画像デー
タ名が入力操作・画像表示装置２０９へ送られ、画面レ
イアウトが作成される。そのデータ名は、検索結果画像
の読み込み要求２１２として、画像データベースに送ら
れ、入力操作・画像表示装置２０９へ画像データ２１０
が送られる。こうして画面レイアウトに従って結果表示
が行なわれる。この結果表示に対して、入力操作を行い
画像検索を繰り返すことができる。また、ソートステッ
プ２０８からの結果出力数は、総合類似度の大きい順に
数によって制限する方法もあるし、また総合類似度のし
きい値を設定して、それよりも大きい結果のみ出力する
方法もある。

【００１９】図３、図４は、１回の画像検索方法の流れ
を説明したＰＡＤ図（Problem Analysis Diagram）であ
る。

【００２０】図３は全体の流れを説明したＰＡＤ図であ
る。まず、例示画像の表示４１１が行なわれる。ＧＵＩ
（グラッフィック・ユーザー・インターフェイス）４０
１の入力確定まで、パラメータの入力を続ける。これが
終了すると画像検索４０９へ移行し、結果表示４１０に
て、検索結果が総合類似度の高い順に表示される。

【００２１】ＧＵＩ４０１ではイベント入力４０２が行
われ、画面上のボタン押下やスケール値の変更を受けつ
ける。そうして入力されたイベントは、イベント解析部
４０３にて判定され、それぞれのイベントの処理に移
る。イベント処理４０４では検索者が表示画面に提示さ
れている画像の特徴量に重みを付与することで、その画
像と重みを付与した特徴量を選択しかつ重みも入手す
る。イベント処理４０５では参照画像の領域指定を行
う。領域はポインターにて始点と終点をを対角とする長
方形で指定するのが一般的であるが、一筆書的に自由に
領域を指定しても良い。イベント処理４０６では検索画
像の類似具合に対する類似度値の対応を調節する検索の
鋭さの入力を行う。イベント処理４０７では、スクロー
ルバーなどの操作により例示画像を切替える。イベント
処理４０８では、入力の確定を行う。これは画像検索を
実行する時にループから抜けるのに使用される。画像検
索４０９は、画像データベース内の特徴量を検索する部
分である。詳細な流れは図４で説明する。結果表示４１
０にて、検索結果が表示される。

【００２２】図４は、画像データベース内の特徴量検索
の流れを説明したＰＡＤ図である。まず検索終了まで繰
り返すループ５０１に入り、検索方法が全データへのア
クセスする方法ならば全てのデータベース内に登録され
た画像の特徴量データの全てにアクセスした時点でルー
プを抜ける。あるいは、バイナリサーチなどのように全
データにアクセスせずとも検索できる方法であるなら、
木構造の末端へ到達した時点でループを抜ける場合もあ
る。処理５０３にて、画像データベースから１つの画像
に関する各特徴量を取りだす。処理５０４にて全ての指
定した参照画像についてループを行い、終了したらルー
プを抜ける。処理５０６にて処理５０４で指定した参照
画像について、検索者が指定した特徴量と処理５０３で
指定した被検索画像の対応する種類の特徴量に関して類
似度Ｒ_ijをそれぞれ算出する。処理５０７にて処理５０
６で計算された類似度Ｒ_ijに検索者によって各特徴量に
付与された重みＷ_ijを掛け合わせる。処理５０５にて処
理５０４までで作成された重み付き類似度Ｒ_ijを加算し
て総合類似度Ｒを計算する。処理５０２の時点では、検
索した被検索画像について総合類似度Ｒが付与されてお
りそれに従って画像のソートを行う。こうして画像検索
が行われる。

【００２３】図５は、本発明による検索をネットワーク
システムを利用して行う場合の一実施例としてのクライ
アント側とサーバ側とのそれぞれの構成および連係関係
を示した模式図である。クライアント側とサーバ側との
連係は、例えば、画像表示機能を持ったワールドワイド
ウエブのブラウザを利用した通信機能によれば容易に実
現できるから、ここでは、これ以上の説明は省略する。

【００２４】一点鎖線で囲って示す画像検索クライアン
トシステム３０７と一点鎖線で囲って示す画像検索サー
バーシステム３０８がネットワーク３０２で接続された
構成をしている。装置３０１は、図１で説明したような
ＧＵＩを実装する表示及び入力装置である。ＧＵＩにて
参照画像の選択や特徴量の指定、その重み入力などが行
われる。それらのパラメータは、パラメータなどを入力
したり、画面レイアウト情報に従って、例示画像や検索
結果の画像を表示する機能を備えている。装置３０６
は、ネットワークサーバー３０３とネットワーク３０２
を介して通信を行うネットワーククライアントである。
ＧＵＩで入力された、入力パラメータを送信したり、画
像データや画面レイアウト情報を受信したりする。装置
３０３は、ＧＵＩ機能をネットワーク３０２を介して提
供するネットワークサーバーである。具体的には、ネッ
トワークサーバー３０３で画面レイアウトを作成しその
レイアウト情報をネットワーククライアント３０６へ送
信したり、入力パラメータを受信して、画像検索装置３
０４へ渡したりする。場合によってはＧＵＩを機能させ
るためのプログラムやデータをネットワーククライアン
ト３０６へ送信することもある。装置３０４は、入力パ
ラメータに従って画像検索を行う画像検索装置である。
画像データベース３０５にアクセスして、検索結果をネ
ットワークサーバー３０３へ渡す。画像検索の詳細は、
図２、図３および図４で説明したと同じ手順がネットワ
ーク３０２を介して行われるという点が異なるだけで、
技術的な内容に実質的な差異はない。画像データベース
３０５には画像自体と画像からあらかじめ抽出しておい
た画像毎の特徴量が格納されており、画像検索時に画像
検索装置３０４に利用される。

【００２５】図１８は、画像検索クライアント・サーバ
ーシステムの通信手順を説明したＮＳチャートである。
まず、画像検索サーバーシステム（以下、Ｓシステム）
の起動１８２１が行なわれる。Ｓシステムが初期化１８
２２されて、設定ファイルの読み込みなど準備される。
画像検索サーバーシステムは、通常の状態では、常時シ
ステムの初期化は終了した状態になされてクライアント
からのアクセスに備えるものとされる。画像検索クライ
アントシステム（以下、Ｃシステム）の起動１８０１が
行われると同様にして初期化１８０２がなされる。クラ
イアントが画像検索を行おうとするとき、Ｃシステム
からアクセス通信接続処理１８０３にて通信接続要求を
Ｓシステムへ送信する。Ｓシステムでは、通信接続処理
１８２３において、通信接続要求のあったＣシステムと
の間に通信接続を確立する。この中では、接続要求があ
るまで通信待機したり、Ｃシステムとの情報のやりとり
やＧＵＩのためのプログラムを送信などが行われる。Ｃ
システムの通信接続処理１８０３では、受信した情報を
設定したり、ＧＵＩのプログラムを実行したりする。以
上で画像検索の準備が完了する。この後、Ｃシステムで
はＧＵＩが起動しはじめ、ＳシステムではＣシステムの
要求に対して反応し処理を実行するようになる。最初
に、Ｃシステムの処理１８０４で、例示画像要求を送信
し、通信待機処理１８０５となる。通信待機中１８２４
であるＳシステムが通信を受信すると、まず受信内容の
判定を行う。通信内容が、例示画像要求１８２５である
なら、「Ｙ」分岐へ行き処理１８２６で例示画像の送信
を行ったのち通信待機処理１８２７となる。「Ｎ」分岐
の場合、通信内容の別の判定を試みる。Ｃシステムの通
信待機処理１８０５で例示画像を受信すると、例示画像
表示処理１８０６でそれを表示する。この状態でＣシス
テムはＧＵＩが完全に起動状態となり、検索者からの入
力を受ける準備ができる。次に、処理１８０７で検索者
からの入力を受けつける。検索者の画面の操作を通して
参照画像の選択、画像毎の特徴量の指定、その重みの付
与などを行う。それらのパラメータを処理１８０８にて
送信し、通信待機中１８０９となる。Ｓシステムでは、
通信待機処理１８２７の最中に通信を受けると、受信内
容の判定を行う。通信内容がパラメータ受信１８２８で
あるなら、「Ｙ」分岐へ行き処理１８２９にて画像検索
を行い、処理１８３０にてその検索結果の画像名や類似
度等の送信を行う。処理１８３０ではまた画像レイアウ
トも作成し、その情報も送信する。「Ｎ」分岐の場合、
通信内容の別の判定を試みる。Ｃシステムの通信待機処
理１８０９で検索結果を受信すると、それぞれに対応す
る検索画像データを処理１８１０にて要求し、通信待機
中１８１１となる。Ｓシステムの通信待機中１８３１に
通信を受けると、受信内容の判定を行う。通信内容が検
索画像要求１８３２であるなら、「Ｙ」分岐へ行き処理
１８３３にて検索画像の送信を行う。Ｃシステムの通信
待機処理１８１１で検索画像を受信すると、処理１８１
２にて画像レイアウト情報にしたがってレイアウトを表
示する。処理１８１３は検索者が検索を終了させるまで
ループを行い、処理１８０７へ戻って検索をそのまま続
けるか、あるいは処理１８０４〜１８０６の例示画像表
示処理へ移行する。検索終了だと処理１８１４にて終了
処理を行う。Ｓシステムでは、画像検索サービスが終了
するまで処理１８３４にてループを行い通信待機状態１
８２４になる。サービス終了の場合は処理１８２５にて
終了処理を行う。

【００２６】なお、図５、図１８の例では、画像データ
ベース３０５が画像自体をデータとして持ち出力も画像
を直接出せるものとして説明したが、ワールドワイドウ
エブのブラウザを利用した通信機能を利用した検索でよ
く行われているように、画像データベース３０５は検索
結果として得られる画像の所在を示すデータのみを提供
できるようにして、検索者がこの画像の所在を示すデー
タを利用して画像を得るものとすることもできる。この
ようにしたときは、画像データベース３０５は小さいも
のとできる。

【００２７】図６は、図４の処理５０６において類似度
Ｒ_ijを算出するための関数（以下、類似度関数）の一例
を一階微分した関数を示したグラフである。この実施例
における類似度関数は、２つの特徴量間の距離からその
２つの類似度に換算する関数であり、参照画像毎に指定
した特徴量それぞれがその特徴量の存在する位置からの
距離とその特徴量に付与された重みに応じた類似度場を
特徴量空間上にそれぞれ形成し、その類似度場の合成と
して形成される総合類似度場が、２つの特徴量に付与さ
れた重みが正同士ならそれら２つの間に総合類似度場の
頂点が生じ、あるいは２つの特徴量に付与された重みが
正と負ならば、正の重みを付与された特徴量に対し、負
の重みを付与された特徴量と反対側へ総合類似度場の頂
点が生じるような性質を持つものとするために導入され
ている。この関数によって形成される２つの参照画像の
特徴量の類似度場の重ね合せによって、２つの類似度場
のピークの間や外分点へ総合類似度場のピークが形成さ
れるのを可能とするために、この関数は以下のような性
質が備えられている。

【００２８】すなわち、Ｘ軸が参照画像の特徴量と被検
索画像の特徴量との距離で、Ｙ軸がその距離における関
数の微分値となる図である。その関数（以下、導関数）
は、グラフにおいて曲線は連続であり、曲線が原点６０
４に対して点対称であり、曲線がＸ軸上の原点から正と
負に等距離な点において上昇と下降が反転する点６０
２、６０８を有し、曲線がＸ軸を原点６０４のみで横切
るか又は原点と前述の原点から正と負に等距離な点より
遠い点にてＹ座標がゼロとなるという条件を満す。すな
わち負の無限大でX軸へ漸近する曲線６０６および正の
無限大でX軸へ漸近する曲線６０７と原点６０４を通る
部分曲線６０３、６０５が結合した線である。微分した
ものが、このような条件を満す関数はおおよそ図７のよ
うな形となる。点６０２は変曲点も該当するが変曲点と
は限らない。数式で表現すれば、例えば（数１）や（数
２）のようなものが該当する。

【００２９】

【数１】

【００３０】

【数２】

【００３１】微分した形が図８のような関数も前述の条
件を満す。点８０２は図６の点６０２に該当するが、こ
れは変曲点にはなっていない。また点８０５においてＹ
座標がゼロとなっている。図８を導関数とする関数はお
およそ図９のような形となる。点９０３における微分は
図８の点８０５に対応する。点９０２は、図８の上昇と
下降の反転する位置（点８０２）に対応する。また、点
９０１で傾きがゼロとなっており、これは原点８０４に
対応する。数式で表現すれば、例えば（数３）のような
ものが該当する。

【００３２】

【数３】

【００３３】ここで、前述した性質を実現する関数に、
図6から図9あるいは（数１）−（数３）で示した関数が
該当する理由を図を用いて簡単に説明する。今、類似度
関数ｆ（ｘ）の導関数をｆ(ｘ)とする。まず、ｆ(x)が
ｘ＝０の時にピークを持つために、ｆ(ｘ)がｘ＝０にて
ゼロになる必要がある。更に、ｆ(ｘ)がどの向きでも距
離が同じであれば同じ類似度を返すためにｆ(ｘ)は左右
対称である必要があり、そのためにはｆ(ｘ)は原点に対
して点対称となっていなければならない。

【００３４】また同様にして（数４）のような関数も該
当する。

【００３５】

【数４】

【００３６】次に、２つの重みを両方とも（＋１．０）
とした時の２つの類似度関数の重ね合せをｇ（ｘ）とす
るとその導関数は（数５）のように記述することができ
る。

【００３７】

【数５】

【００３８】これを図示すると、例えば図１６のように
なる。曲線１６０１がｆ(ｘ)であり、曲線１６０２が
（−ｆ’（ｘ−ｋ））である。この２つの差がｇ’
（ｘ）を表現している。ｇ（ｘ）のピークがｆ（ｘ）と
ｆ（ｘ−ｋ）のピーク、つまり０とｋの間に生成される
ためにはｇ’（ｘ）がゼロとなる位置が０とｋの間にな
ければならない。図１６では、曲線１６０１と曲線１６
０２の交点１６０３がそれに該当する。この交点が生じ
るためには、範囲１６０４の傾いた曲線と範囲１６０５
の傾いた曲線が必要である。範囲１６０４は図６の部分
曲線６０５に該当し、また範囲１６０５は上下が反転し
ているため図６の部分曲線６０３に該当する。よって、
原点をはさんで正の部分と負の部分でそれぞれｆ’
（ｘ）＜０，ｆ’（ｘ）＞０でなければならない。

【００３９】更に、２つの重みをそれぞれ（＋１．０）
と（−１．０）とした時の２つの類似度関数の重ね合せ
をｇ（ｘ）とするとその導関数は（数６）のように記述
することができる。

【００４０】

【数６】

【００４１】これを図示すると、例えば図１７のように
なる。曲線１７０１がｆ’（ｘ）であり、曲線１７０２
がｆ’（ｘ−ｋ）である。この２つの差がｇ’（ｘ）を
表現している。ｇ（ｘ）のピークがｆ（ｘ）のピークに
対して（−ｆ（ｘ−ｋ））のピークの反対側、たとえ
ば、つまり−ｋ＜ｘ＜０の部分に生成されるためには
ｇ’（ｘ）がゼロとなる位置が−ｋ＜ｘ＜０でなければ
ならない。図１７では、曲線１７０１と曲線１７０２の
交点１７０３がそれに該当する。この交点が生じるため
には、上述同様に、範囲１７０４の傾いた曲線と範囲１
７０５の傾いた曲線が必要である。範囲１７０４は、図
６の部分曲線６０３に該当し、範囲１７０５は図６の部
分曲線６０１に該当する。更に、このような傾きの曲線
が得られるためにはｆ’（ｘ）の曲線において、上昇と
下降が反転する点が存在しなければならない。

【００４２】以上の条件をまとめると、最初に述べた条
件、即ち導関数ｆ’（ｘ）として図６や図８のようなも
のを持つ関数となるのである。

【００４３】２つの類似度関数を合成した総合類似度を
Ｒとすると、重みが正同士なら図１０の破線１００６よ
うな形、重みが正と負なら図１１の破線１１０４ような
形に合成される。これらは特徴量空間上の２つの位置を
直線で結び、その断面を表示した模式図である。図１０
の点１００１と点１００３はそれぞれ２つの特徴量の位
置を現わしている。実線１００４、１００５がそれぞれ
の位置における類似度場である。これらの重ね合せが破
線１００６となっている。そのピークの特徴量の位置が
点１００２であり、点１００１と点１００３の間に生成
されている。図１１も同様であり、点１１０１と点１１
０２が特徴量の位置であり、点１１０１が負の重みを持
った特徴量、点１１０２が正の重みを持った特徴量であ
る。それらの重ね合せとして、破線１１０４が生成され
ておりそのピークの位置が点１１０３である。点１１０
２に対して点１１０１から反対側に生成されている。

【００４４】以上に説明した類似度関数は、類似度関数
の引数に入力される距離は、ユークリッド空間上の距離
に限ったものではない。例えば、極座標空間上の距離を
使用すると、その距離とは特徴量ベクトルの間の角度に
相当する。例えば、（数４）の類似度関数は、Y軸の正
の部分に注目すると、２つの特徴量ベクトル間の射影を
表現する類似度と考えることができる。その場合の類似
度関数は２つの特徴量ベクトルをa、bとすると（数７）
のように書くことができ、パタン識別などでよく使用さ
れている類似度と同じものとなる。

【００４５】

【数７】

【００４６】さて、実際に使用される場合の一つの例と
して、総合類似度Ｒを算出する関数として（数８）を使
用することができる。この例は、希望画像と類似した画
像及び類似しない画像を１つまたは２つ以上指定して参
照画像とし、そのそれぞれの画像から抽出される特徴量
の一部または全て、あるいは、必要に応じて参照画像の
任意の領域を指定して画像検索を行う場合に、各特徴量
と画像データベースに登録されている検索対象となる被
検索画像が有する各特徴量を用いて総合類似度を算出す
ることにより、類似度に対応した画像検索を行うことを
可能にした例である。

【００４７】

【数８】

【００４８】ここで、ｉは参照画像を区別する番号、ｊ
は特徴量ベクトルの種類を区別する番号である。Ｗ_iは
参照画像に付与された重みであり、値は正や零、負をと
りうる。α_ijは類似度場の広がりを制御するパラメータ
で「検索の鋭さ」と呼んでおり、値は正か零である。選
択しない特徴量にはゼロを指定する。ｆは類似度関数、
x_jはデータベース内の画像に関する特徴量ベクトル、ｑ
_ijは参照画像の特徴量ベクトルである。

【００４９】Ｗ_iには好きな画像には正の重みを付与
し、嫌いな画像には負の重みを付与する。更に、α_ijに
はその画像について、特徴量毎の重みを付与する。この
式の場合には検索の鋭さのパラメータを付与することに
なる。検索の鋭さのパラメータは、検索キーとして使用
される複数の特徴量間の距離によって、正の重み同士を
合成した場合にはその間にピークが出来、正と負の重み
同士なら正の重みの特徴量に対して負の重みの特徴量と
反対側へピークが来るような範囲内の値を初期値として
決められるが、検索者は希望に応じてその値を変更する
ことができる。

【００５０】この類似度合成式によって生成される総合
類似度場を模式的に表した図が図１２である。多くの要
素によって構成される特徴量ベクトルは多次元空間上の
１点として表現できるが、図１２はその多次元空間を模
式的に２次元で表現した。実際の表示装置では、これを
等高線を付した濃淡図あるいは色付きの図で示し、明る
いところほど類似度が大きく、暗いところほど類似度が
小さいことを示すものとすれば見やすいが、この図面で
は、便宜上、同じ類似度値を等高線（１２０４で例示）
で示し、類似度のピークを頂点１２０１，１２０２およ
び１２０５で示している。黒丸を付した頂点１２０２が
最も類似度が高く、Ｘを付した頂点１２０５が最も類似
度が低い。点１２０３は説明のための任意の類似度の点
である。

【００５１】今、Ｗｉとして正の重みをもつ画像が特徴
量空間上の点１２０１と点１２０３にあるとする。そし
て、Ｗｉとして負の重みを持つ画像が点１２０５にある
とする。それぞれの特徴量空間上の位置から等方的に類
似度場が形成されるが、それらを線形和として総合類似
度場が形成される。頂点１２０２を持つ領域が総合類似
度場のピークの領域である。それぞれの重みの大きさに
よって、このピークの位置は変り得る。図では点１２０
１と点１２０３を結ぶ位置のほぼ中央付近に出来るはず
のピークが、点１２０５の負の重みの特徴量によって斥
力を受け、点１２０１と点１２０３を結ぶ線に点１２０
５の垂線が直交する位置から左側の１２０２の位置にず
れている様子を示している。

【００５２】さて、前述の類似度合成式では、１枚の参
照画像の中に検索者にとって好きな特徴量と嫌いな特徴
量が含まれていた場合に、その検索者の意思を反映する
ことができない。そこで、それを改良した一実施例とし
て（数９）の式を使用することができる。

【００５３】

【数９】

【００５４】ここで、ｉは参照画像を区別する番号、ｊ
は特徴量ベクトルの種類を区別する番号である。Ｗ_ijは
参照画像毎の各特徴量に付与された重みであり、値は正
や零、負をとりうる。α_ijは類似度場の広がりを制御す
るパラメータで「検索の鋭さ」と呼んでおり、値は正か
零である。ｆは類似度関数、ｘ_jはデータベース内の画
像に関する特徴量ベクトル、ｑ_ijは参照画像の特徴量ベ
クトルである。

【００５５】この類似度合成式では、参照画像毎に指定
する特徴量毎に検索者の好みを反映させることができ
る。すなわち、参照画像の好きな特徴量には正の重みを
付与し参照画像の嫌いな特徴量には負の重みを付与する
のである。

【００５６】図１３は、この（数９）による類似度合成
式によって生成される総合類似度場を模式的に表した図
である。例えば、色特徴量の軸が横軸、微分特徴量の軸
が縦軸だとする。この場合も濃淡図あるいは色付きの図
とすると見やすいが、便宜上等高線によるものとした。
図ではそれぞれ正の重みの場合を示している。特徴量毎
に独立に重みを付与して線形和されるため、それぞれの
軸に垂直なかまぼこ型の類似度場が生成される。その類
似度場の交差した点１３０３が最も総合類似度が高くな
る。また、図では１次元で表現されている縦軸、横軸も
実は多次元であり、それぞれの軸に関する類似度場の合
成においては、図１２で説明したようなピークの位置に
関する性質を持っている。

【００５７】また検索者が、特徴量を指定する場合を考
えると、上の例のように色特徴量と微分特徴量のように
複数の特徴量を指定した場合には、その両方の性質をも
った画像がもっとも最初に結果表示されるべきである。
それは（数８）の類似度場においても、（数９）の類似
度場においても、同じように両方の性質を持ったものが
最初に結果表示される。しかし、そのような両方の性質
を持った画像がたまたま画像データベース内になかった
場合はどうなるであろうか。（数８）の場合には、ピー
クの近辺においては検索者の好みが反映されたような類
似度場になっているが、近辺にも全く画像がなかった場
合には出力結果に検索者の意図が反映されたものが得ら
れるとは限らない。これは（数８）は特徴量に関しては
ＡＮＤ条件のような働きをするためである。それに対し
（数９）の場合、両方の特徴量の性質がない場合には、
片方の性質の特徴量の結果を出力してくれる。検索者が
特徴量同士を独立に考えることが考えやすく自然である
ため、相応しい出力方法と思われる。これは（数９）に
よる検索が状況に応じてＡＮＤ条件やＯＲ条件を使い分
けるような働きをするためである。もちろん、本発明は
条件に応じてＡＮＤ条件やＯＲ条件を使い分けるような
実施例を否定するものではない。

【００５８】図１４は、本発明の他のグラッフィック・
ユーザー・インターフェイス（ＧＵＩ）の例を示した一
実施例である。

【００５９】ウィンドー１４０１は、参照画像を表示し
ておく参照画像蓄積ウィンドーであり、全ての検索を通
じて参照画像及び特徴量などに付与された重み等も保存
しておくことができる。画像１４０２は、選択された参
照画像である。ここで領域を１つまたは２つ以上指定す
ることができる。指定した領域をクリックすることで領
域を選択すると、スケール１０４の特徴量重みスケール
や表示領域１０５のひとつの特徴量に関する情報が、選
択した領域に関する表示に変更される。表示領域１４０
３は、その参照画像に関する情報で、画像名や検索結果
におけるその画像自身の順位や総合類似度を表示する。
スクロールバー１４０４は、参照画像蓄積ウィンドーの
スクロールバーである。ウィンドーにおさまりきらなか
った参照画像を次々表示することができる。参照画像に
関するこれらの点については、先に実施例と本質的に異
なることはない。

【００６０】ウィンドー１４０５は、画像検索結果を表
示する画像検索結果表示ウィンドーである。検索結果は
ここに表示される。また、検索結果にはウィンドー１４
０１にて指定された参照画像は含まれないようになって
いる。画像１４０６は検索された画像で、表示領域１４
０７は画像に対する情報が表示される。画像名や総合類
似度や順位などである。画像１４０６をクリックするこ
とで、参照画像に選ぶことができ、参照画像蓄積ウィン
ドー１４０１の中に同じ画像が表示され領域指定や特徴
量毎の重み指定を行うことができるようになる。スクロ
ールバー１４０８は、画像検索結果表示ウィンドーのス
クロールバーである。

【００６１】図１に示したＧＵＩとの違いは、ウィンド
ー１４０１とウィンドー１４０５のように参照画像と検
索結果の画像を区別するために、参照画像蓄積ウィンド
ーと画像検索結果表示ウィンドーが独立に存在している
ことである。それぞれのウィンドーは不要なときにはア
イコン化されて小さくなったり、その他の方法でこのス
クリーンから見えなくすることができる。またウィンド
ー自体を表示装置の画面いっぱいに広げる方法も用意さ
れており、参照画像および検索結果画像を必要に応じて
一覧しやすくすることができる。

【００６２】次に、前述した、仮想特徴量を利用した検
索について説明する。

【００６３】以下に仮想特徴量について（数５）のよう
な類似度合成式の場合を例に挙げて説明する。簡単のた
め特徴量が２種類、色特徴量ｃと微分特徴量とがあった
とする。すると、（数５）は（数１０）のように表現で
きる。

【００６４】

【数１０】

【００６５】ｉは参照画像を区別する番号、Ｗ_i,cは色
特徴量の重み、Ｗ_i,dは微分特徴量の重み、ｆ_i,cは色特
徴量に関する類似度関数、ｆ_i,dは微分特徴量に関する
類似度関数である。

【００６６】またここで色特徴量と言ってもさまざまな
ものが考えられる。例えば、構図情報付きの色特徴量で
あったり解像度が異なる色特徴量などである。ここでは
仮想特徴量を説明するために構図情報の例をとりあげて
説明する。

【００６７】図１５は構図情報について説明した模式図
である。画像１５０１は、参照画像あるいは被検索画像
の一つである。画像全体に対して色特徴量を抽出する
と、色特徴量ベクトルの要素１５０３を複数個持つベク
トルとして色特徴量ベクトル１５０４が得られる。例え
ば、色特徴量ベクトル１５０４がヒストグラムで構成さ
れていれば要素１５０３はその一つのビンに対応する。
次に、構図情報を伴なった色特徴量を考えると、画像１
５０２のようになる。画像が４×３に分割されており、
そのそれぞれの部分において、画像１５０１に対して行
った色特徴量抽出を行う。すると、図の例では１２倍の
特徴量が得られる。各分割画像毎に色特徴量ベクトルの
要素１５０３が得られ、これらが各分割画像毎に色特徴
量ベクトル１５０４を構成する。これらを総合したもの
として特徴量ベクトル１５０５が構成される。この情報
によって例えば、画像の下の方にはほぼ緑色が占めてお
り、真中付近には黄色が占めているというような構図情
報を表現することができる。とくに、色特徴量ベクトル
１５０３がヒストグラムで構成されておれば、ベクトル
１５０４の色特徴量からベクトル１５０５の特徴量を構
成することができる。この場合、構図情報とは色特徴量
に付随した情報であり、構図情報のみの情報を取り出す
ことはできない。

【００６８】構図情報は色特徴量から分離して取り出す
ことはできないが、特徴量の重み付けを考える場合には
構図情報への重み付けとして色情報とは独立に付与する
ＧＵＩを作ることができる。例えば、（数１１）がそれ
を実現したひとつの参照画像における類似度の例であ
る。

【００６９】

【数１１】

【００７０】Ｗ_i,sは構図情報への重みで０〜１の間の
値をとる。ｆ_i,csは構図情報付きの色特徴量の類似度関
数、ｆ_i,dsは構図情報付きの微分特徴量の類似度関数で
ある。Ｗ_i,sという重みは構図情報に対して付けられた
重みであるが、物理的な特徴量としては構図情報のみの
ものは得られない。そのような場合でも（数１１）のよ
うに重みとしてはあり得る。このように重みとしてのみ
見えるものを仮想的な特徴量としてみなすことによって
特徴量と同じように扱えるようにＧＵＩによって検索者
へ提示したものを「仮想特徴量」と呼んでいる。もちろ
ん、この例では色特徴量の構図特徴量のように特徴量毎
に仮想特徴量を用意することもできる。その場合でも、
検索者にとっては構図情報と特徴量情報をＧＵＩによっ
て独立に操作できるので、直観的に理解しやすいことが
特徴である。

【００７１】以上説明したように、本発明の実施例で
は、以下のように多様な観点での検索が効率よく出来
る。

【００７２】（１）検索者は、検索者の手元の画像から
あるいは画像データベース内の一覧可能な枚数内からあ
るいはその他の入手方法による画像から参照画像とし
て、希望画像と類似した画像及び類似しない画像を１つ
または２つ以上指定することができ、必要に応じて参照
画像の領域を指定することができ、そのそれぞれの画像
から抽出される特徴量の一部または全てを参照画像毎に
指定することができる。

【００７３】指定された参照画像あるいはこれらの部分
領域の各特徴量と画像データベースに登録されている被
検索画像が有する各特徴量を用いて総合類似度を算出さ
れ、その類似度の順に被検索画像が出力される。そのた
め、検索者は参照画像毎に注目した特徴量を１つ以上指
定して検索者の好みに合うか合わないかを画像検索装置
へ提示することができる。また画像検索装置は特徴量が
指定された１つ以上の参照画像を使って、検索者が希望
する画像とぴったり合った画像が、自分の手元に、ある
いは例示画像中になくとも、１つ以上、ある特徴量に関
して似ていれば、あるいは似ていないものがあれば、検
索者が望む画像を出力することができる。

【００７４】（２）検索者は、また、特徴量の一部また
は全てについて特徴量に検索者の望むものには正の重み
を付与し、望まないものには負の重みを付与することが
でき、付与した重みを用いて総合類似度による検索が実
施できる。そのため、１つの参照画像の中に検索者が好
きな特徴量と、嫌いな特徴量が混在している場合にも、
両者をそれぞれ適切に画像検索装置へ提示できる。ま
た、検索者にとってある特徴量が別の特徴量より自分の
好みに合っているという程度の指標を画像検索に利用で
きる。

【００７５】（３）同じ種類の特徴における特徴量間の
距離から類似度を算出する関数において、それぞれの特
徴量毎に算出された類似度を検索者が付与した重みに従
って合成した総合類似度による検索が実施できる。その
ため、検索者が望む特徴量と望まない特徴量では、望む
特徴量に対し望まない特徴量から遠ざかる側にある画像
を検索できる。更に、検索者が望んだあるいは望まない
特徴量を考慮した総合類似度傾斜となった画像の検索出
力の順序とすることができる。その結果、その指定した
画像がない場合にもその周辺において検索者の好みを反
映した表示順位で画像を一覧することができる。

【００７６】（４）さまざまな例示とさまざまな検索を
通しても、表示に影響を受けることなく、参照画像表示
部に例示画像または検索結果の画像から選択した画像を
蓄積し表示することができる。これによって、検索の結
果、結果表示画像からなくなってしまう検索者の手元の
画像や画像データベース内から選んだ画像及びそれらの
画像において指定された特徴量とそれらに付与された重
みを、画像検索後にも再利用することが容易になる。そ
のため、検索者の試行錯誤を助け、特徴量や重みをかえ
て、画像検索装置から得られる結果の感触を捕みやすく
する。また、結果表示と参照画像表示が別のウィンドー
とした場合、画像表示装置の大きさの制約を限界まで使
って、結果の一覧を見たい場合にも参照画像の一覧を見
たい場合にもそれぞれ対応することができる。

【００７７】（５）検索結果に参照画像が表示される場
合においても、検索結果の表示画面から参照画像を除い
て一覧表示することとすれば、画像表示装置の大きさの
制約いっぱいまで有効に使用可能にし、その上検索結果
における参照画像の順位が分かる。そのため、結果の一
覧を見たい場合に、参照画像を検索結果から除くことに
より画像表示装置の大きさの制約を有効に使用すること
ができる。

【００７８】（６）画像から特徴量のような物理的な量
では抽出することはできないが、画像の持つ物理的な量
をその存在する位置情報例えば構図データとしてセット
として捕らえれば有用な特徴量として扱うことができる
データを仮想特徴量として重み付けをして総合類似度の
計算に使用できるものとした。そのため、特徴量という
形で抽出できない情報も仮想特徴量という形で検索者が
利用可能なものとした。

【００７９】（７）本発明による検索をネットワークシ
ステムを利用して行う場合には、検索者は画像のデータ
ベースを持つ必要がなく、内容の充実した検索サービス
を受けることができる。

【００８０】

【発明の効果】本発明は、検索者の望んだ画像を容易に
得ることができるから、デザインを利用することを頻繁
に行う広告業界や放送業界、あるいはデザインを売るこ
とを目的としたコンテンツサービス業界等において、有
効に利用できるのみならず、ＰＣ上で動作する個人ベー
スでホームページやその他のデザインを作成するなどの
創造支援アプリケーションにも利用できる。

【図面の簡単な説明】

【図１】本実施例のグラッフィック・ユーザー・インタ
ーフェイスを示した模式図。

【図２】画像検索のデータの流れの一実施例を示した模
式図。

【図３】１回の画像検索の全体の流れを説明したＰＡＤ
図。

【図４】画像検索の全体の流れのうち、画像データベー
ス内の特徴量検索の流れを説明したＰＡＤ図。

【図５】本発明による検索をネットワークシステムを利
用して行う場合の一実施例としてのクライアント側とサ
ーバ側とのそれぞれの構成および連係関係を示した模式
図。

【図６】実施例における類似度Ｒ_ijを算出するための類
似度関数の一例を一階微分した関数を示したグラフ。

【図７】図６に対応する類似度関数を示したグラフ。

【図８】実施例における他の類似度Ｒ_ijを算出するため
の類似度関数の一例を一階微分した関数を示したグラ
フ。

【図９】図８に対応する類似度関数を示したグラフ。

【図１０】正の重みを持った２つの類似度関数の重ね合
せの説明図。

【図１１】正と負の重みを持った２つの類似度関数の重
ね合せの説明図。

【図１２】類似度合成式の一実施例によって作られる類
似度場の模式図。

【図１３】類似度合成式の別の一実施例によって作られ
る類似度場の模式図。

【図１４】参照画像が別ウィンドーとなっている他の実
施例のグラッフィック・ユーザー・インターフェイスを
示した模式図。

【図１５】仮想特徴量の例として構図情報を説明した模
式図。

【図１６】正の重みの２つの類似度関数の重ね合せがピ
ークを持つ条件の説明図。

【図１７】正と負の重みの類似度関数の重ね合せがピー
クを持つ条件の説明図。

【図１８】画像検索クライアント・サーバーシステムの
通信手順の説明図。

【符号の説明】

１０１：画像検索開始ボタン、１０２：画面初期化ボタ
ン、１０３：例示画像あるいは検索結果の画像、１０
４：特徴量重みのスケール、１０５：特徴量の名前やそ
の他の情報の表示領域、１０６：重みが０の場合のスケ
ール、１０７：スクロールバー、１０８：表示画像の名
前や類似度その他の情報、ＩＭ₁，ＩＭ₂，−−−−，Ｉ
Ｍ₆：参照画像、３０２：ネットワーク、３０３：ＧＵ
Ｉを提供するネットーワークサーバー、３０４：画像検
索装置、３０５：画像データベース、３０６：ＧＵＩを
提供するネットワーククライアント、３０７：画像検索
クライアントシステム、３０８：画像検索サーバーシス
テム、１４０１：参照画像蓄積ウィンドー、１４０２：
参照画像のひとつ、１４０３：参照画像に関する情報表
示領域、１４０４：参照画像蓄積ウィンドーのスクロー
ルバー、１４０５：画像検索結果表示ウィンドー、１４
０６：検索された画像のひとつ、１４０７：検索結果の
画像に関する情報表示領域、１４０８：画像検索結果表
示ウィンドーのスクロールバー、１５０１：参照画像あ
るいは被検索画像のひとつ、１５０２：画像分割された
参照画像あるいは被検索画像、１５０３：特徴量ベクト
ルのひとつの要素、１５０４：色特徴量ベクトル、１５
０５：特徴量ベクトル。

Claims

【特許請求の範囲】

【請求項１】希望画像と類似した画像及び類似しない画
像を１つまたは２つ以上指定して参照画像とし、そのそ
れぞれの画像あるいは指定された領域から抽出される特
徴量の一部または全てを参照画像あるいは指定された領
域毎に指定すること、それら各特徴量と画像データベー
スに登録されている検索対象となる被検索画像が有する
各特徴量を用いて総合類似度を算出すること、その類似
度に応じた検索結果の画像を出力することとよりなるこ
とを特徴とする画像検索方法。
【請求項２】検索キーとしての一つの参照画像の複数の
領域を指定すること、指定された領域から抽出される特
徴量の一部または全てを指定された領域毎に指定するこ
と、それら各特徴量と画像データベースに登録されてい
る検索対象となる被検索画像が有する各特徴量を用いて
総合類似度を算出すること、その類似度に応じた検索結
果の画像を出力することとよりなることを特徴とする画
像検索方法。
【請求項３】前記特徴量の指定が、検索者の望むものに
は正の重みを付与するものであり、望まないものには負
の重みを付与するものである請求項１または２記載の画
像検索方法。
【請求項４】前記参照画像あるいは指定された領域毎に
指定した特徴量それぞれがその特徴量の存在する位置か
らの距離とその特徴量に付与された重みに応じた類似度
場を特徴量空間上にそれぞれ形成し、その類似度場の合
成として形成される総合類似度場が、２つの特徴量に付
与された重みが正同士ならそれら２つの間に総合類似度
場の頂点が生じ、あるいは２つの特徴量に付与された重
みが正と負ならば、正の重みを付与された特徴量に対
し、負の重みを付与された特徴量と反対側へ総合類似度
場の頂点が生じるような性質を持つことを特徴とする請
求項３記載の画像検索方法。
【請求項５】例示画像を表示する例示画像表示装置と、
検索対象の画像に対応する特徴量情報を保持するデータ
ベース、例示画像に対して検索のキーとされる特徴量情
報とそれらに付与された重みを表示する特徴量重み表示
手段、例示画像のうち画像あるいは画像の指定された領
域毎に前記特徴量情報とそれらに付与された重みを付与
された画像を参照画像として該参照画像とデータベース
に保持された検索対象の画像との間で所定の評価に基づ
く類似度を演算する手段、該演算結果に対応する画像情
報を表示する手段よりなることを特徴とする画像検索装
置。
【請求項６】例示画像を表示する例示画像表示装置と、
検索対象の画像に対応する特徴量情報を保持するデータ
ベース、一つの例示画像を参照画像として複数の指定さ
れた領域毎に検索のキーとされる特徴量情報とそれらに
付与された重みを表示する特徴量の重みを表示する手
段、前記特徴量情報とそれらに付与された重みから該参
照画像とデータベースに保持された検索対象の画像との
間で所定の評価に基づく類似度を演算する手段、該演算
結果に対応する画像情報を表示する手段よりなることを
特徴とする画像検索装置。
【請求項７】検索結果の出力が参照画像に関する情報を
含まず、検索結果における参照画像の類似度あるいはそ
の順位を示すデータが参照画像の表示に付加された請求
項４または５記載の画像検索装置。
【請求項８】希望画像と類似した画像及び類似しない画
像を１つまたは２つ以上指定して参照画像とし、そのそ
れぞれの画像あるいは指定された領域から抽出される特
徴量の一部または全てを参照画像あるいは指定された領
域毎に指定すること、画像から直接物理的な量では抽出
することはできないが参照画像あるいは指定された領域
毎に特定の特徴量と組として使用することができる仮想
的な特徴量を指定すること、それら各特徴量および仮想
的な特徴量と画像データベースに登録されている検索対
象となる被検索画像が有する各特徴量を用いて総合類似
度を算出すること、その類似度に応じた検索結果の画像
を出力することとよりなることを特徴とする画像検索方
法。
【請求項９】検索者から指定された参照画像に関する画
像あるいは画像の指定された領域から抽出される特徴量
データを与えられ、与えられた各特徴量と画像データベ
ースに登録されている検索対象となる被検索画像が有す
る各特徴量を用いて総合類似度を算出し、その類似度に
応じた検索結果を検索者に送ることを特徴とする画像検
索サービス。
【請求項１０】検索者に送る検索結果が画像の存在場所
を示すデータである請求項９記載の画像検索サービス。