JP4544047B2 - Ｗｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 - Google Patents

Description

本発明は、Ｗｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、Ｗｅｂ画像検索結果を分類して提示することでブラウジングを支援するＷｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。

従来の文字列画像検索の検索結果を分類する方法について説明する。

文字列画像検索とは、検索文字列がクライアント入力受付部より転送され、転送された文字列が画像インデックス（この場合は、文字列インデックスデータベース）に保存されている画像と関連付けられた文字列情報内に存在するか否かをコンピュータが自動的に判断する方法である。この方法は、一般のＷｅｂ画像検索サービス（ｇｏｏ（登録商標）等）に用いられており、クライアント出力部では、画像検索装置が転送してきた画像を分類して提示するものである（例えば、非特許文献１参照）。

図９に、一般的な画像検索結果分類提示方法を実行する画像検索装置の構成を示す。同図に示す画像検索装置は、クライアント１０とネットワーク３０を介して接続され、クライアント入力受付部２１、画像検索部２２、画像インデックス記憶部２３、画像特徴分類部２４、クライアント出力部２５から構成されている。

画像検索部２２において、クライアント１０の情報に基づいて画像インデックス記憶部２３に問い合わせ、画像特徴分類部２４において画像インデックス記憶部２３から取得した結果について、画像特徴量の似たものをグループ化してクライアント出力部２５からクライアント２０に対して提示する。

ここで、グループ化の方法は、例えば、ベクタで数次元与えられる画像特徴量に対して、各画像間のユークリッド距離を算出し、凝集法などでクラスタリングすることでグループ化を行う。

Ｗｅｂ画像を対象としてクラスタリングする方法が提案されている（例えば、特許文献１、非特許文献２参照）。
特開２００３−２０３０９０「画像空間表示方法」 MultiMedia Meister 柳井啓司、「キーワードと画像特徴を利用したｗｗｗからの画像収集システム」情報処理学会論文誌：データベース、Vol.42, No.SIG10, pp.79-91, 9月2001.

しかしながら、上記従来の技術では、全ての画像特徴量のみを利用しているため、クラスタリングのアルゴリズムと特徴量の次元数のみで計算量が決まってしまう。つまり、文字列画像検索を行った検索結果の画像を分類して提示する際の計算量が大きいため、表示までに時間がかかるという問題がある。例えば、前述した凝集法は、クラスタリング対象の数をnとすると、全てのノード間の距離を算出する必要があるため、nearest neighbor法や、furthest first法のようなクラスタ中心を再計算しないアルゴリズムでクラスタリングしたとしても、

の計算量がかかる。

本発明は、上記の点に鑑みなされたもので、画像検索分類提示を行う際に、計算量を削減することが可能なＷｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、文字入力手段、文字列画像検索手段、画像検索結果分類手段、画像検索結果提示手段、文字列画像分類手段、文字列インデックスデータベース、及び、画像インデックスデータベースと、を有する装置において、Ｗｅｂ上の画像を検索し、提示するためのＷｅｂ画像検索結果提示方法であって、
文字列入力手段が、クライアント側の装置から入力された文字列を取得する文字列入力ステップ（ステップ１）と、
文字列画像検索手段が、入力された文字列をキーとして、文字インデックスデータベースを検索して、該文字列が存在する場合に、該文字列をキーとして画像インデックスデータベースを検索し、該文字列を含む画像を取得し、カテゴリ分類する文字列画像検索ステップ（ステップ２）と、
画像検索結果分類手段が、文字列画像検索ステップでカテゴリ分類された画像の情報に基づいて、画像インデックスデータベースを検索し、該カテゴリ分類された画像を該画像インデックスデータベースに保存されている画像特徴量を用いてグループ化する画像検索結果分類ステップ（ステップ３）と、
画像検索結果提示手段が、クライアント側の装置にグループ化された画像をグループ毎に出力する画像検索結果出力ステップ（ステップ４）と、を行い、
上記の画像検索結果分類ステップ（ステップ３）において、
文字列入力ステップ（ステップ１）で入力された文字列と、文字列インデックスデータベースのテキスト情報との適合率を求め、該適合率の高いグループを優先的に結合するステップを行う。

また、本発明（請求項２）は、画像検索結果出力ステップ（ステップ４）において、
グループ化された画像群の中で、メンバ数の多いグループの順番で提示する。

また、本発明（請求項３）は、文字列画像分類手段が、文字列画像検索ステップ（ステップ２）で文字列インデックスデータベースを検索した文字列画像検索結果をカテゴリ毎に分類した後、画像インデックスデータベースの画像に関連付けられたテキスト情報を利用して、さらに、グループ化する文字列画像分類ステップを行う。

また、本発明（請求項４）は、文字列画像分類ステップにおいて、グループ化する対象を、文字列画像検索結果の上位ｎ件に限定する。

図２は、本発明の原理構成図である。

本発明（請求項５）は、Ｗｅｂ上の画像を検索し、提示するためのＷｅｂ画像検索結果提示装置であって、
少なくとも、画像ＵＲＩを含むインデックスと、カテゴリ情報及び画像に関連付けられたテキスト情報を格納した文字インデックスデータベース１３０と、
少なくとも、画像ＵＲＩを含むインデックスと、画像特徴量を格納した画像インデックスデータベース１４０と、
クライアント側の装置から入力された文字列を取得する文字列入力手段１１０と、
入力された文字列をキーとして、文字インデックスデータベース１３０を検索して、該文字列が存在する場合に、該文字列をキーとして画像インデックスデータベース１４０を検索し、該文字列を含む画像を取得し、カテゴリ分類する文字列画像検索手段１９０と、
文字列画像検索手段１９０でカテゴリ分類された画像の情報に基づいて、画像インデックスデータベース１４０を検索し、該カテゴリ分類された画像を該画像インデックスデータベース１４０保存されている画像特徴量を用いてグループ化する画像検索結果分類手段１６０と、
クライアント側の装置にグループ化された画像をグループ毎に出力する画像検索結果提示手段１７０と、を有し、
上記の画像検索結果分類手段１６０は、
文字列入力手段１１０で入力された文字列と、文字列インデックスデータベース１３０のテキスト情報との適合率を求め、該適合率の高いグループを優先的に結合する手段を、更に有する。

また、本発明（請求項６）は、画像検索結果提示手段１７０において、
グループ化された画像群の中で、メンバ数の多いグループの順番で提示する。

また、本発明（請求項７）は、文字列画像検索手段１９０において、
文字列インデックスデータベース１３０を検索した文字列画像検索結果をカテゴリ毎に分類した後、画像インデックスデータベース１４０の画像に関連付けられたテキスト情報を利用して、さらに、グループ化する文字列画像分類手段を含む。

また、本発明（請求項８）は、文字列画像分類手段において、グループ化する対象を、文字列画像検索結果の上位ｎ件に限定する。

本発明（請求項９）は、請求項１乃至４記載のＷｅｂ画像検索結果分類提示方法の各ステップをコンピュータに実行させるプログラムである。

本発明（請求項１０）は、請求項１乃至４記載のＷｅｂ画像検索結果分類提示方法の各ステップをコンピュータに実行させるプログラムを格納した記憶媒体である。

本発明によれば、予めカテゴリ分類したグループを対象にクラスタリングを行うことで、画像特徴分類時の対象を分割することができるため、計算量を削減することができる。

また、クライアント入力手段から転送される文字列と文字列インデックスデータベースとの適合率を利用することでクループからの計算量を削減することができる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における画像検索装置の構成を示す。

同図に示す画像検索装置（Ｗｅｂ画像検索結果分類提示装置）１００は、クライアント入力受付部１１０、文字列情報検索部１２０、文字列インデックスデータベース（ＤＢ）１３０、画像インデックスデータベース（ＤＢ）１４０、文字列画像分類部１５０、画像特徴分類部１６０、クライアント出力部１７０から構成される。

また、画像検索装置１００は、ネットワーク３０を介してクライアント側の装置（以下単にクライアントと記す）１０と接続されている。

文字列インデックスＤＢ１３０は、Ｗｅｂページ収集ロボット３００が収集し、テキスト処理部４００で抽出された情報を格納し、画像インデックスＤＢ１４０は、Ｗｅｂページ収集ロボット３００が収集し、画像処理部４００で抽出された情報を格納する。

図４は、本発明の一実施の形態における文字列インデックスデータベースに格納されるデータの例である。

画像ＵＲＩ(Uniform Resource Identifier)は、収集した画像のＵＲＩ、ＷｅｂページのＵＲＩは、ＨＴＭＬで記述されるタグ（ＡやＩＭＧ）でリンクする画像の元ページのＵＲＩ、画像ファイル名は画像データに付けられたファイル名、ＨＴＭＬのtitleタグで囲まれた文字列であるＷｅｂページタイトル、自動抽出されたリンクしているタグの周辺のテキストである周辺テキスト、それらのテキスト情報を用いて付与されたカテゴリ情報を有する。カテゴリ情報は、予めカテゴリ分類したデータを学習データとして自動分類されたものである。例えば、Ｗｅｂページ全体の単語を利用してNavieBayes等のアルゴリズムで分類し、そのＷｅｂページを、“動物”と分類したらその“動物”というカテゴリ情報をそのページある画像に付与しても構わないし、画像の周辺テキストで分類することもできる。

画像のＵＲＩはユニークであるので、このＵＲＩがデータベースの主キーとなる。

また、Ｗｅｂページ収集ロボット３００が画像を収集してきた場合、画像処理部５００で画像の特徴量を抽出し、図５に示すようなデータ構造で画像インデックスＤＢ１４０に保存する。画像インデックスＤＢ１４０には、画像ＵＲＩと、Color Histogram、Texture、FEATURE等の画像特徴量が格納される。

次に、上記の構成における動作を説明する。

図６は、本発明の一実施の形態における動作のフローチャートである。

ステップ３０１） クライアント入力受付部１１０は、ネットワーク３０を介してクライアント１０から入力された文字列を取得し、文字列情報検索部１２０に転送する。文字列情報検索部１２０は、当該文字列をキーとして、文字列インデックスＤＢ１３０を検索する。

ステップ３０２） 当該文字列が文字列インデックスＤＢ１３０に存在する場合には、ステップ３０３に移行し、存在しない場合にはステップ３０１に移行する。

ステップ３０３） 文字列画像分類部１５０は、検索された文字列を含む画像の上位ｎ件を画像インデックスデータベース１４０から取得する。ここで、ｎは、クライアント１０から設定してもよい。また、デフォルト値は、画像検索装置１００（サーバ側）で設定する。文字列画像分類部１５０は、取得した上位ｎ件の画像を文字列インデックスＤＢ１３０に保存されているカテゴリ情報毎に分類する。

ステップ３０４） 画像特徴分類部１６０は、分類されたカテゴリ情報毎に画像インデックスＤＢ１４０に保存されている画像特徴量に基づいてグループ化する。グループ化の方法は、例えば、画像特徴量で、各画像間のユークリッド距離を求め、その距離に基づいて凝集法によりクラスタリングする。クラスタの終了条件は、ユークリッド距離の閾値やクラスタ数等を予め設定しておく。

ステップ３０５） クライアント出力部１７０は、グループ化されたグループ毎にクライアント１０に出力する。これにより、クライアント１０は、図７に示すように表示装置上に表示することができる。

画像特徴分類部１６０における、表示する際の代表画像の選択の方法は、グループの重心から近い順番に選択するものとする。また、クライアント１０から転送された文字列と文字列インデックスＤＢ１３０の適合率の高い順に並べてもよい。提示するクラスタの順番は、クラスタが大きいものから順に並べる。

また、ステップ３０３の文字列画像分類部１５０による処理において、カテゴリ分類の後、テキスト情報を用いたクラスタリングを行うことで、細分化することもできる。テキストを用いたクラスタリングは、tfidf等を用いて各ノード間の距離をユークリッド距離としてグループ化してもよい。

次に、画像特徴分類部１６０における動作を詳細に説明する。

画像特徴分類部１６０では、クライアント入力部１１０から転送されてきた文字列と文字列インデックスＤＢ１３０との類似度を利用して、計算量を削減する処理を行う。

図８は、本発明の一実施の形態における画像特徴分類部の詳細な動作のフローチャートである。

ステップ４０１） 画像特徴分類部１６０は、クライアント入力受付部１１０から転送されてきた文字列と文字列情報検索部１２０で検索された文字列との適合率を求め、適合率の順に並べ、初期クラスタを生成する。同時に、最終的な出力となり得る返り値クラスタ（空クラスタ）を生成する。ここで、適合率の算出方法は、tfidfやbm25などのアルゴリズムを用いるものとする。

ステップ４０２） 初期クラスタ数が予め設定したクラスタ最小値より小さいかを判定し、小さい場合にはステップ４０７に移行し、そうでない場合にはステップ４０３に移行する。

ステップ４０３） 初期クラスタの中で先頭のクラスタ（Ａ）と最も類似したクラスタ（Ｂ）を求める。

ステップ４０４） ステップ４０３で求められた類似度が予め設定されている閾値よりも大きいかを判定し、大きい場合にはステップ４０６に移行し、そうでない場合には、ステップ４０５に移行する。

ステップ４０５） 大きくない場合には、初期クラスタから（Ａ）のクラスタを削除して、返り値クラスタ（Ａ）を挿入し、ステップ４０２に移行する。

ステップ４０６） 閾値よりも大きい場合は、初期クラスタから（Ａ）、（Ｂ）のクラスタを削除した後、（Ａ），（Ｂ）を結合して、クラスタ（Ｃ）を作成する。クラスタ（Ｃ）の特徴量は、例えば、各クラスタの重心をとる。そのクラスタ（Ｃ）を初期クラスタの最後に挿入し、ステップ４０２に移行する。

ステップ４０７） ステップ４０２において、初期クラスタ数がクラスタ最小値以下である場合には、その時点でのクラスタを全て返り値クラスタに登録し、終了する。

上記のように、本発明では、クライアント入力受付部１１０から転送された検索文字列を入力とした画像検索結果上位ｎ件をグループ化の対象とすることで、ｎの値を限定する。また、それらの画像に付与されたテキスト情報を利用して分類し、その分類された画像群の中でグループ化することで計算量を削減する。具体的に、発明が解決しようとする課題の欄で述べた計算量の式を見るとグループ化される対象が小さいほど、計算量が削減されることがわかる。例えば、グループ化される対象をｍ分割すると計算量は以下の式になる。

これにより計算量を約１／ｍにすることができる。

また、重心法や群平均法のようにクラスタを生成した時に距離の再定義を行うメソッドは、更に計算量がかかる。例えば、重心法では、クラスタが１つになるまで行うと、下記の計算量がかかる。

上記の式は、全ノード間の距離の計算量＋重心の計算＋重心とその他のノード間の距離の再計算にかかる計算量である。これを本発明では、検索文字列との適合度を利用して、適合度の高い順番にクラスタを生成することで、計算量を削減する。具体的な計算量は、

となり、計算量を約１／２にすることができる。

また、上記の図６及び図８に示すフローチャートをプログラムとして構築し、画像検索装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築したプログラムを、画像検索装置として利用されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、インストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、Ｗｅｂ上の画像を検索する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における画像検索装置の構成図である。 本発明の一実施の形態における文字列インデックスデータベースに格納されるデータの例である。 本発明の一実施の形態における画像インデックスデータベースに格納されるデータの例である。 本発明の一実施の形態における動作のフローチャートである。 本発明の一実施の形態における出力例である。 本発明の一実施の形態における画像特徴分類部の詳細な動作のフローチャートである。 従来の画像検索分類提示を行うための画像検索装置の構成図である。

符号の説明

１０ クライアント
２０ 画像検索装置
２１ クライアント入力受付部
２２ 画像検索部
２３ 画像インデックス
２４ 画像特徴分類部
２５ クライアント出力部
３０ ネットワーク
１００ 画像検索装置
１１０ 文字列入力手段、クライアント入力受付部
１２０ 文字列情報検索部
１３０ 文字列インデックスデータベース（ＤＢ）
１４０ 画像インデックスデータベース（ＤＢ）
１５０ 文字列画像分類部
１６０画像検索結果分類手段、画像特徴分類部
１７０ 画像検索結果提示手段、クライアント出力部
１９０ 文字列画像検索手段
２００ ネットワーク
３００ Ｗｅｂページ収集ロボット
４００ テキスト処理部
５００ 画像処理部

Claims (10)

1. 文字入力手段、文字列画像検索手段、画像検索結果分類手段、画像検索結果提示手段、文字列画像分類手段、文字列インデックスデータベース、及び、画像インデックスデータベースと、を有する装置において、Ｗｅｂ上の画像を検索し、提示するためのＷｅｂ画像検索結果提示方法であって、
   前記文字列入力手段が、クライアント側の装置から入力された文字列を取得する文字列入力ステップと、
   前記文字列画像検索手段が、入力された前記文字列をキーとして、前記文字インデックスデータベースを検索して、該文字列が存在する場合に、該文字列をキーとして前記画像インデックスデータベースを検索し、該文字列を含む画像を取得し、カテゴリ分類する文字列画像検索ステップと、
   前記画像検索結果分類手段が、前記文字列画像検索ステップでカテゴリ分類された画像の情報に基づいて、前記画像インデックスデータベースを検索し、該カテゴリ分類された画像を該画像インデックスデータベースに保存されている画像特徴量を用いてグループ化する画像検索結果分類ステップと、
   前記画像検索結果提示手段が、前記クライアント側の装置にグループ化された画像をグループ毎に出力する画像検索結果出力ステップと、
   を行い、
   前記画像検索結果分類ステップにおいて、
   前記文字列入力ステップで入力された前記文字列と、前記文字列インデックスデータベースのテキスト情報との適合率を求め、該適合率の高いグループを優先的に結合するステップを更に行うことを特徴とするＷｅｂ画像検索結果分類提示方法。
2. 前記画像検索結果出力ステップにおいて、
   前記グループ化された画像群の中で、メンバ数の多いグループの順番で提示する請求項１記載のＷｅｂ画像検索結果分類提示方法。
3. 前記文字列画像検索ステップにおいて、
   前記文字列インデックスデータベースを検索した文字列画像検索結果をカテゴリ毎に分類した後、前記画像インデックスデータベースの画像に関連付けられたテキスト情報を利用して、さらに、グループ化する文字列画像分類ステップを行う、請求項１記載のＷｅｂ画像検索結果分類提示方法。
4. 前記文字列画像分類ステップにおいて、
   グループ化する対象を、前記文字列画像検索結果の上位ｎ件に限定する、請求項３記載のＷｅｂ画像検索結果分類提示方法。
5. Ｗｅｂ上の画像を検索し、提示するためのＷｅｂ画像検索結果提示装置であって、
   少なくとも、画像ＵＲＩを含むインデックスと、カテゴリ情報及び画像に関連付けられたテキスト情報を格納した文字インデックスデータベースと、
   少なくとも、画像ＵＲＩを含むインデックスと、画像特徴量を格納した画像インデックスデータベースと、
   クライアント側の装置から入力された文字列を取得する文字列入力手段と、
   入力された前記文字列をキーとして、前記文字インデックスデータベースを検索して、該文字列が存在する場合に、該文字列をキーとして前記画像インデックスデータベースを検索し、該文字列を含む画像を取得し、カテゴリ分類する文字列画像検索手段と、
   前記文字列画像検索手段でカテゴリ分類された画像の情報に基づいて、前記画像インデックスデータベースを検索し、該カテゴリ分類された画像を該画像インデックスデータベースに保存されている画像特徴量を用いてグループ化する画像検索結果分類手段と、
   前記クライアント側の装置にグループ化された画像をグループ毎に出力する前記画像検索結果提示手段と、
   を有し、
   前記画像検索結果分類手段は、
   前記文字列入力手段で入力された前記文字列と、前記文字列インデックスデータベースのテキスト情報との適合率を求め、該適合率の高いグループを優先的に結合する手段を更に有することを特徴とするＷｅｂ画像検索結果分類提示装置。
6. 前記画像検索結果提示手段は、
   前記グループ化された画像群の中で、メンバ数の多いグループの順番で提示する請求項５記載のＷｅｂ画像検索結果分類提示装置。
7. 前記文字列画像検索手段は、
   前記文字列インデックスデータベースを検索した文字列画像検索結果をカテゴリ毎に分類した後、前記画像インデックスデータベースの前記画像に関連付けられたテキスト情報を利用して、さらに、グループ化する文字列画像分類手段を含む請求項５記載のＷｅｂ画像検索結果分類提示装置。
8. 前記文字列画像分類手段は、
   グループ化する対象を、前記文字列画像検索結果の上位ｎ件に限定する、請求項７記載のＷｅｂ画像検索結果分類提示装置。
9. 請求項１乃至４記載のＷｅｂ画像検索結果分類提示方法の各ステップをコンピュータに実行させることを特徴とするＷｅｂ画像検索結果分類提示プログラム。
10. 請求項１乃至４記載のＷｅｂ画像検索結果分類提示方法の各ステップをコンピュータに実行させるプログラムを格納したことを特徴とするＷｅｂ画像検索結果分類提示プログラムを格納した記憶媒体。

Images