JP6314071B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、ユーザが指定した文字列に関連する画像を収集する技術に関するものである。

ユーザが指定した文字列に関連する画像を収集する技術が知られている。例えば、その文字列を検索キーとして画像に対応付けられたタグと比較することで、検索キーに関連する画像を検索して収集する技術や、画像が掲載されているＷｅｂページのテキスト情報と検索キーとを比較することで、検索キーに関連する画像を検索して収集する技術が知られている。このような技術を用いて提供されている画像検索サービスとして、"Ｇｏｏｇｌｅ（登録商標）画像検索"や"Ｙａｈｏｏ！（登録商標）検索（画像）"などが知られている。

また、画像を検索キーとしてこれに類似する画像を検索して収集する技術が知られている。画像の類似度を算出する手法として、特許文献１及び非特許文献１で開示されているＳＩＦＴ（Scale Invariant Feature Transform）に代表される、画像の局所特徴量に基づいた類似度算出手法が知られている。この方法では、画像から局所的に特徴的になっている特徴点(エッジやコーナーなど)を１つ以上抽出し、その抽出された特徴点のそれぞれに関して、特徴点の周辺の特徴を記述した特徴量（例えば勾配の方向のヒストグラムや周辺画素間の輝度値の差など）を算出する。また、特許文献２には、ＢｏＦ(Bag of Features)法と呼ばれる、画像の局所特徴量を簡略化した特徴を用いて、画像検索を行う技術が開示されている。

また、非特許文献１では、ある物体が写っている画像と画像群とを比較し、同じ物体が写っている画像を画像群から抽出する技術が開示されている。この技術では、物体が写っている画像と画像群の各画像の間で、幾何拘束の条件に基づいて局所特徴量の対応関係を取得し、その対応関係の確からしさに基づいて、同じ物体が写っている画像を抽出する。

米国特許第６７１１２９３号明細書 特開２０１１−１１３１９７号公報

avid G. Lowe著、「Distinctive image features from scale-invariant keypoints」、（米国）、International Journal of Computer Vision、60(2)、2004年、p. 91-110

上記の技術は、目当ての物体が表された画像をユーザが収集したい場合に用いられることがある。その場合、ユーザは、その物体の名称を表す文字列を検索キーとして指定することで、目当ての物体が表された画像の収集を試みる。しかし、検索キーと画像に対応付けられているテキスト情報とを比較する技術では、テキスト情報と検索キーが類似していれば、画像の内容にかかわらず検索されるため、目当ての物体が表されていない画像も収集されやすい。また、画像に対応付けられたタグを用いて画像を検索する技術では、タグが付いていない画像は収集できない。また、検索キーとして画像を用いる技術では、その画像に目当ての物体が表されていなければ、その物体が表された画像を収集することが難しい。

そこで本発明は、ユーザが指定した文字列を名称とする物体が表された画像をより高い精度で収集することを目的とする。

上記目的を達成するために、本発明は、ユーザが指定した文字列に基づく検索で得られた当該文字列に関連する画像と、当該画像に対応付けられた文書との組を複数取得する取得手段と、取得された前記画像に対応付けられた前記文書の特徴に基づいて当該画像に前記文字列を名称とする物体が表されている可能性の高さを表す第１の指標を算出する第１算出手段と、取得された複数の前記画像を画像同士の類似度に基づいて１以上のグループに分類する分類手段と、分類された前記グループに属する画像について算出された前記第１の指標に基づいて、前記物体が表されている画像が当該グループに含まれている可能性の高さを表す第２の指標を算出する第２算出手段と、分類された前記グループのうち算出された前記第２の指標が比較的大きい前記グループのそれぞれについて、当該グループに属する画像のうち前記名称の物体が表されている可能性が比較的高い画像を抽出する画像抽出手段とを備える情報処理装置を提供する。

また、前記第１算出手段は、取得された前記文書のテキスト情報または当該文書のメタ情報を用いて前記第１の指標を算出してもよい。
さらに、前記第１算出手段は、前記文書のテキスト情報を用いる場合、あらかじめ作成された単語リストに含まれる単語の当該テキスト情報内での出現頻度に基づいて前記第１の指標を算出してもよい。
また、前記単語リストは、前記取得手段により取得された文書において出現する頻度が閾値以上である単語のリストまたは当該文書においてＴＦＩＤＦ（term frequency-inverse document frequency）値が閾値以上である単語のリストであってもよい。

また、前記画像及び文書は、インターネット上で公開されている画像及び当該画像が掲載されているＷｅｂページのＨＴＭＬファイルであり、前記第１算出手段は、前記文書のメタ情報を用いる場合、前記文字列に関連する画像及び当該画像に対応付けられた文書の前記検索における順位、当該画像及び当該文書のＵＲＬ（Uniform Resource Locator）、当該画像のファイル名、当該文書に特定の単語が含まれているか否かを示す指標、または、当該文書の所定の位置に前記文字列が含まれているか否かを示す指標に基づいて前記第１の指標を算出してもよい。

また、前記分類手段は、取得された前記画像の局所特徴点の局所特徴量の類似度、当該画像の色ヒストグラムの類似度、当該画像のエッジヒストグラムの類似度、または、これらの類似度のうちの２以上を結合したものを、前記画像同士の類似度として用いてもよい。
さらに、前記分類手段は、前記局所特徴量の類似度を用いる場合、取得された前記画像同士の局所特徴点の対応関係から、当該画像同士の幾何的な対応関係を求め、当該幾何的な対応関係を求めるために使用した特徴点の数に基づいて当該局所特徴量の類似度を算出してもよい。

また、前記画像抽出手段は、分類された前記グループに属する画像の当該グループ内での代表度であって、当該画像と当該グループに属する他の画像との類似度の和によって表される代表度に基づいて画像を抽出してもよい。
さらに、前記画像抽出手段は、前記第１の指標が閾値未満の画像、分類された前記グループに属する画像の当該グループ内での代表度であって、当該画像と当該グループに属する他の画像との類似度の和によって表される代表度が閾値未満の画像、または、当該第１の指標及び当該代表度がどちらも閾値未満の画像を、抽出対象から除外してもよい。
また、前記画像抽出手段は、前記第２の指標が閾値以上である前記グループに属する画像から、前記第１の指標が比較的大きい画像、分類された前記グループに属する第１画像と当該グループに属する他の画像である第２画像との類似度の和によって表される当該第１画像の当該グループ内での代表度が比較的大きい画像、または、当該第１の指標及び当該代表度の両方が比較的大きい画像を抽出してもよい。

また、本発明は、情報処理装置が、ユーザが指定した文字列に基づく検索で得られた当該文字列に関連する画像と、当該画像に対応付けられた文書との組を複数取得する取得ステップと、前記情報処理装置が、取得された前記画像に対応付けられた前記文書の特徴に基づいて当該画像に前記文字列を名称とする物体が表されている可能性の高さを表す第１の指標を算出する第１算出ステップと、前記情報処理装置が、取得された複数の前記画像を画像同士の類似度に基づいて１以上のグループに分類する分類ステップと、前記情報処理装置が、分類された前記グループに属する画像について算出された前記第１の指標に基づいて、前記物体が表されている画像が当該グループに含まれている可能性の高さを表す第２の指標を算出する第２算出ステップと、前記情報処理装置が、分類された前記グループのうち算出された前記第２の指標が比較的大きい前記グループのそれぞれについて、当該グループに属する画像のうち前記名称の物体が表されている可能性が比較的高い画像を抽出する画像抽出ステップとを備える情報処理方法を提供する。

また、本発明は、コンピュータを、上記の情報処理装置が備える各手段として機能させるためのプログラムを提供する。

本発明によれば、ユーザが指定した文字列を名称とする物体が表された画像をより高い精度で収集することができる。

画像収集システムの全体構成を表す図 画像収集装置の機能構成を表す図 記憶部におけるディレクトリ構造の一例を表す図 クローリング結果ファイルのテーブル構造の一例を表す図 画像スコア算出手段の機能構成の詳細を表す図 画像クラスタリング手段の機能構成の詳細を表す図 画像抽出手段の機能構成の詳細を表す図 画像収集装置の動作を表すフロー図

［１］実施形態
［１−１］全体構成
図１は実施形態に係る画像収集システム１の全体構成を表す。画像収集システム１は、ユーザが目当ての画像を収集するためのシステムである。ここでいう目当ての画像には、少なくとも、ユーザが見てみたいと考える物体（乗り物や食べ物、身の回りの物など）が表された画像が含まれる。

画像収集システム１では、ユーザは、その物体の名称を表す文字列を指定することで、指定した文字列（以下「指定文字列」という）を名称とする物体を表す画像の収集を試みる。この画像はユーザが収集の目的とする物体が表された画像であり、以下では「目的物画像」という。目的物画像には、その物体の全体が表されているものだけでなく、その一部が表されているものも含まれる。また、目的物画像には、その物体をカメラ等で撮影した写真の他、人がその物体を描いた絵をスキャナ等で読み取った画像や、コンピュータのプログラムを使ってその物体が描画された画像なども含まれる。

画像収集システム１は、画像収集装置１０と、インターネット２と、画像検索サービス３とを備える。インターネット２は、ＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）などのプロトコルに基づき装置間の通信を仲介するシステムである。インターネット２上では、例えばＷｅｂページに掲載するという形で様々な画像が公開されている。また、インターネット２では、それに接続する装置に対して様々なサービスが提供されている。

画像検索サービス３は、そのようなサービスの１つであり、インターネット２上で公開されている画像やＷｅｂページから、ユーザが指定した指定文字列に関連する画像及びその画像が掲載されたＷｅｂページを検索し、その検索結果をユーザに提供するサービスである。画像検索サービス３としては、例えば、”Ｇｏｏｇｌｅ（登録商標）画像検索”や、”Ｙａｈｏｏ（登録商標）検索（画像）”などが知られている。これらの画像検索サービス３では、例えば各サービスの事業者が所有するアルゴリズムにより指定文字列と公開されている画像との関連の度合い（以下「関連度」という）を求め、関連度が大きいものから順番に検索結果として提供するが、提供された検索結果の全てが目的物画像であるとは限らない。

なお、これらの画像検索サービス３は、画像収集装置１０を提供する提供者とは別のサービス事業者が提供することが多いが、その提供者が提供するサービスであってもよい。また、画像検索サービス３の代わりに、例えば画像収集装置１０を提供する提供者が同様の検索を行う画像検索装置を本システム専用に設置し、その画像検索装置によって画像の検索が行われてもよい。

画像収集装置１０は、ユーザによる文字列の指定を受け付け、画像検索サービス３による検索を活用しつつ、その検索結果よりも高い精度で目的物画像を収集するための装置である。画像収集装置１０は、例えばスマートフォンやタブレット端末、パーソナルコンピュータなどである。画像収集装置１０は、操作部１１と、表示部１２と、制御部１３と、通信部１４と、記憶部１５とを備える。操作部１１は、タッチセンサ等を有し、例えばユーザが文字列を指定する操作を受け付ける。表示部１２は、液晶ディスプレイ等を有し、制御部１３からの制御に基づいて画像を表示する。

制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びリアルタイムクロックを備え、ＣＰＵが、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１５に記憶されたプログラムを実行することによって各部の動作を制御する。リアルタイムクロックは、現在の日時を算出してＣＰＵに通知する。通信部１４は、有線（無線でもよい）での通信を行うための通信回路を有し、インターネット２を介した通信を行う。記憶部１５は、フラッシュメモリ等を有し、制御部１３が制御に用いるデータやＯＳ（Operating System:基本ソフトウェア）等のプログラムを記憶する。

［１−２］機能構成
画像収集装置１０の制御部１３がプログラムを実行して各部を制御することで、以下に述べる各機能が実現される。
図２は画像収集装置１０の機能構成を表す。画像収集装置１０は、クローリング手段１０１と、画像スコア算出手段１０２と、画像クラスタリング手段１０３と、クラスタスコア算出手段１０４と、画像抽出手段１０５と、画像出力手段１０６とを備える。各手段の詳細について以下に説明する。

［１−２−１］クローリング手段
クローリング手段１０１は、指定文字列（ユーザが指定した文字列）に基づく検索で得られたその指定文字列に関連する画像（以下「関連画像」という）と、その関連画像に対応付けられた文書（以下「関連文書」という）との組を複数取得する取得手段の一例である。クローリング手段１０１は、例えば、ユーザが操作部１１を操作して文字列を指定すると、指定された指定文字列に関連する画像（すなわち関連画像）を画像検索サービス３に要求する。

画像検索サービス３は、その検索結果として関連画像及びＷｅｂページを示すデータを画像収集装置１０に送信してくる。このデータは、例えば、関連画像のサムネイル画像と、その関連画像及びＷｅｂページのＵＲＬ（Uniform Resource Locator）とを示すデータである。クローリング手段１０１は、検索における順位の上位Ｎ（Ｎは例えば操作部１１の操作で指定される自然数）件について、そのデータが示すＵＲＬに記憶されている関連画像を示す画像データとＷｅｂページのＨＴＭＬ（HyperText Markup Language）ファイルデータとを取得して記憶部１５に保存する。

検索結果として提供されるＷｅｂページは、同じく検索結果として提供される関連画像を掲載したページであり、ＨＴＭＬ形式の文書（ＨＴＭＬファイルデータが示す文書）により表される。このＨＴＭＬ文書内では、関連画像へのハイパーリンクが記述されている。つまり、Ｗｅｂページは、関連画像と対応付けられた文書、すなわち前述した関連文書の一例である。このように、クローリング手段１０１は、インターネット２で公開されている画像及びそれに対応付けられた文書（例えばＷｅｂページ）を示すデータ群から、画像データ及びＨＴＭＬファイルデータを検索結果に基づいて取得することで、関連画像及び関連文書を取得する。

クローリング手段１０１は、クローリングの結果として関連画像及び関連文書を取得すると、クローリング結果ファイルを作成して記憶部１５に保存する。クローリング結果ファイルは、画像データ及びＨＴＭＬファイルデータの取得結果をまとめて示すファイルである。このクローリング結果ファイルでは、各種の情報がテーブル構造で示されている。

図３はクローリング結果ファイルのテーブル構造の一例を表す。この例では、処理ＩＤ（Identifier）３１、指定文字列３２、検索結果ＩＤ３３、画像データのパス３４、ＨＴＭＬファイルデータのパス３５、検索順位３６、画像データのＵＲＬ３７及びＨＴＭＬファイルデータのＵＲＬ３８が互いに対応付けられて１つのレコードとして記録されたテーブル構造になっている。処理ＩＤ３１は、ユーザにより指定された指定文字列に付与されるＩＤである。指定文字列が受け付けられてから目的物画像が収集されるまでは、一貫して同じＩＤが用いられる。指定文字列３２は処理ＩＤ３１に対応する指定文字列である。

検索結果ＩＤ３３は、クローリングで取得された画像データ及びＨＴＭＬファイルデータの組を、処理ＩＤ内で識別するためのＩＤであり、同一処理ＩＤ３１の各レコードで重複しないように付与される。画像データのパス３４及びＨＴＭＬファイルデータのパス３５は、検索結果ＩＤ３３に対応する画像データ及びＨＴＭＬファイルデータの、記憶部１５上での保存場所へのパスである。検索順位３６は、検索結果ＩＤ３３に対応する検索結果について定められた前述した検索の順位（例えば指定文字列との関連度が大きいものから順番に定められる順位）である。

クローリング手段１０１は、画像データ、ＨＴＭＬファイルデータ及びクローリング結果ファイルを、例えば図４に示すようなディレクトリ構造で記憶部１５に保存する。
図４はディレクトリ構造の一例を表す。この例では、「上位ディレクトリ」の下位に「処理ＩＤに対応するディレクトリ」が存在し、その下位には「画像ディレクトリ」及び「ＨＴＭＬディレクトリ」が存在する。「画像ディレクトリ」には複数の画像データ４１（この例では「画像データ１−１」、「画像データ１−２」、・・・、「画像データ１−Ｎ」）が保存されている。「ＨＴＭＬディレクトリ」には複数のＨＴＭＬファイルデータ４２（この例では「ＨＴＭＬファイルデータ１−１」、「ＨＴＭＬファイルデータ１−２」、・・・、「画ＨＴＭＬファイルデータ１−Ｎ」）が保存されている。また、「処理ＩＤに対応するディレクトリ」には、クローリング結果ファイル４３が保存されている。

［１−２−２］画像スコア算出手段
画像スコア算出手段１０２は、取得された関連画像を評価するための指標である画像スコアを算出する。画像スコア算出手段１０２は、取得された関連画像に対応付けられた文書の特徴に基づいてその関連画像に指定文字列を名称とする物体が表されている可能性の高さを表す指標（以下「第１の指標」という）を、画像スコアとして算出する。第１の指標は、例えば０から１まで（または０％から１００％まで）の確率を表す数値で表される。

なお、第１の指標は、このように確率を表す際によく用いられる値以外にも、例えば１点からＮ点（Ｎは２以上の整数）までの得点で表されてもよい。また、「小」、「中」、「大」や「×」、「△」、「○」といった可能性の高さの大小関係を相対的に表した文字や記号などで第１の指標が表されてもよい（例えばこれらの文字や記号は、２５％未満は「小」、２５％以上７５％未満は「中」、７５％以上は「大」というように、可能性の高さを表す数値に対応付けられていてもよい）。この第１の指標を算出する画像スコア算出手段１０２は、本発明の「第１算出手段」の一例である。

前述したように、関連画像、すなわち指定文字列に基づく検索で得られた画像は、必ずしも目的物画像、すなわちその指定文字列を名称とする物体が表されている画像だとは限らない。例えば指定文字列が「自動車」であっても、自動車を表す画像だけでなく、自動車の形を用いた標識や自動車のおもちゃなどが関連画像として取得される場合がある。そのため、第１の指標（画像スコア）は１００％になるとは限らない。以下では、関連画像のうち目的物画像でない画像のことを「非目的物画像」という。画像スコア算出手段１０２は、クローリング手段１０１が記憶部１５に保存したＨＴＭＬファイルデータ４２及びクローリング結果ファイル４３を用いて画像スコアを算出する。

図５は画像スコア算出手段１０２の機能構成の詳細を表す。画像スコア算出手段１０２は、Ｗｅｂデータ読み出し手段２０１、テキスト特徴量算出手段２０２、Ｗｅｂ特徴量算出手段２０３、スコア算出手段２０４を備える。
Ｗｅｂデータ読み出し手段２０１は、クローリング結果ファイル４３を読み出し、各レコードについて、ＨＴＭＬファイルデータのパス３５に対応する領域に保存されたＨＴＭＬファイルデータ４２を読み出し、このパス３５に対応付けられた検索結果ＩＤ３３とともにテキスト特徴量算出手段２０２及びＷｅｂ特徴量算出手段２０３に供給する。

テキスト特徴量算出手段２０２は、Ｗｅｂデータ読み出し手段２０１から供給されたＨＴＭＬファイルデータ４２を例えばパースして（構造を分析して）、そこからテキスト情報を取り出す。テキスト特徴量算出手段２０２は、取り出したテキスト情報の特徴をベクトル量で表現したデータ（以下「テキスト特徴データ」という）を生成し、生成したテキスト特徴データを、ＨＴＭＬファイルデータ４２とともに供給された検索結果ＩＤ３３に対応付けてスコア算出手段２０４に供給する。

テキスト特徴量算出手段２０２は、テキスト情報の特徴を例えばそのテキスト情報に含まれている単語の出現数を用いて表現する。テキスト特徴量算出手段２０２は、前述のとおりＨＴＭＬファイルデータ４２から取り出したテキスト情報に対して形態素解析を行って複数の単語に分割する。テキスト特徴量算出手段２０２は、分割した各単語のうち、あらかじめ作成された単語リスト（単語の一覧）に含まれているものについて、その単語のテキスト情報での出現数を計数する。テキスト特徴量算出手段２０２は、こうして計数した出現数を要素とするベクトルを示したテキスト特徴データを生成する。

単語リストとしては、例えば画像収集装置１０を提供する提供者により選出された任意の単語を表すリストが用いられる。なお、これに限らず、クローリング手段１０１が取得する関連文書群から出現頻度の高い単語を取り出して作成されたリストが単語リストとして用いられてもよい。この場合、例えば、前述の提供者が文字列を複数指定し、それら複数の指定文字列に関連する関連画像と関連文書をクローリング手段１０１にあらかじめ一定数取得させておき、それらの取得結果に基づいて単語リストが作成される。

また、クローリング手段１０１が取得する関連文書群から算出されるＴＦＩＤＦ（term frequency-inverse document frequency）値が高い単語を取り出したリストが単語リストとして用いられてもよい。ＴＦＩＤＦ値とは、関連画像と対応付けられている関連文書群での単語の出現数の和を、全関連文書での単語の出現数の和で割った値である。ＴＦＩＤＦ値は、取得された関連画像群を、上述した目的物画像（指定文字列を名称とする物体が表された画像）とそれ以外の非目的物画像とに分けた上で、目的物画像に対応付けられている文書であるＷｅｂページでの単語の出現数の和を、全文書中でのその単語の出現数の和で割ることで算出される。

以上のように出現頻度もしくはＴＦＩＤＦ値が高い単語を一定数以上リストアップすることで単語リストが作成される。なお、上述した任意の単語の選出や文字列の指定、目的物画像と非目的物画像との分別などは、人の判断に基づいて行われるが、単語リストは予め作成しておけばよいので、このように人の判断を要する作業が必要であっても、画像収集装置１０が画像を収集する際に人の作業を待たなければならないといったことは生じない。

Ｗｅｂ特徴量算出手段２０３は、Ｗｅｂデータ読み出し手段２０１から供給されたＨＴＭＬファイルデータ４２からＷｅｂページのメタ情報を取り出し、取り出したメタ情報の特徴をベクトル量で表現したデータ（以下「Ｗｅｂ特徴データ」という）を生成し、生成したＷｅｂ特徴データを、ＨＴＭＬファイルデータ４２とともに供給された検索結果ＩＤ３３に対応付けてスコア算出手段２０４に供給する。メタ情報の特徴としては、例えば、図３に示す検索順位３６（画像検索サービス３が行った検索における順位）を０から１の値に標準化した評価点が用いられる。

他にも、ＷｅｂページのＵＲＬがwikipedia.orgやamazon.co.jp、rakuten.comなどの特定ドメイン及び特定サイトに部分一致する場合を１、部分一致しない場合を０とする評価点や、ＷｅｂページのＨＴＭＬファイル中にＮＧ（no good）ワードとして定められた文字列を含む場合を１、含まない場合を０とする評価点が用いられてもよい。また、画像ファイル名に指定文字列３２を含む否か、ＨＴＭＬファイルデータ４２の画像が含まれていたタグ内に指定文字列３２を含むか否か、ＨＴＭＬファイルデータ４２の画像が含まれていたタグの周辺に指定文字列３２を含むか否か、ＨＴＭＬファイルデータ４２のtitle,meta name='description',meta name='title'タグに指定文字列３２を含むか否か、に基づき、指定文字列３２を含むＷｅｂページほど点数が高くなるような評価点が用いられてもよい。Ｗｅｂ特徴量算出手段２０３は、以上の各評価点を要素とするベクトルを示したＷｅｂ特徴データとして生成する。

スコア算出手段２０４は、テキスト特徴データ及びＷｅｂ特徴データに基づき、検索結果ＩＤ３３に関連付いている画像の画像スコアを算出し、検索結果ＩＤ３３と対応付けて記憶部１５に保存する。スコア算出手段２０４は、同じ検索結果ＩＤに対応付けられたテキスト特徴データとＷｅｂ特徴データを連結し、１つのベクトル構造を持つＷｅｂページ特徴データを生成する。スコア算出手段２０４は、例えば、Ｗｅｂページ特徴データを入力とし、目的物画像であるか否かのフラグを表すフラグデータを教師信号として機械学習を行った機械学習器を備え、この機械学習器を用いて画像スコアを算出する。

スコア算出手段２０４は、機械学習のアルゴリズムとして、Random Forest（登録商標）、Support Vector Machine、Neural Networkなど、公知の機械学習手法を用いる。スコア算出手段２０４は、これらのアルゴリズムを用いて、Ｗｅｂページ特徴データの全てのレコードに対して、それぞれ目的物画像である確率を算出したものを画像スコアとして、検索結果ＩＤ３３に対応付けて記憶部１５に保存する。

以上のとおり、画像スコア算出手段１０２は、クローリング手段１０１により取得された関連文書のテキスト情報及びメタ情報を用いて画像スコアを算出する。画像スコア算出手段１０２は、関連文書のテキスト情報を用いる場合、あらかじめ作成された単語リストに含まれる単語のテキスト情報内での出現頻度に基づいて画像スコアを算出する。画像スコア算出手段１０２は、この単語リストとして、取得された関連文書において出現する頻度が閾値以上である単語のリストまたはその関連文書においてＴＦＩＤＦ値が閾値以上である単語のリストを用いる。

また、画像スコア算出手段１０２は、関連文書のメタ情報として、関連画像及び関連文書の検索における順位（上記検索順位３６）、関連画像及び関連文書のＵＲＬ、関連画像のファイル名、関連文書に特定の単語（上記ＮＧワードなど）が含まれているか否かを示す指標、及び、関連文書の所定の位置（関連画像が含まれたタグなど）に指定文字列が含まれているか否かを示す指標に基づいて画像スコアを算出する。

［１−２−３］画像クラスタリング手段
画像クラスタリング手段１０３は、クローリング手段１０１により取得された複数の関連画像を画像同士の類似度に基づいて１以上のグループに分類する分類手段の一例である。画像クラスタリング手段１０３は、クローリング手段１０１が図４に示すように記憶部１５に保存した画像データ４１及びクローリング結果ファイル４３を用いてクラスタリングを行う。ここでいうクラスタリングとは、画像データが示す画像を複数のクラスタに分割すること（すなわち複数のグループに分類すること）をいう。

図６は画像クラスタリング手段１０３の機能構成の詳細を表す。画像クラスタリング手段１０３は、画像データ読み出し手段３０１と、局所特徴量算出手段３０２と、局所特徴量類似度算出手段３０３と、色ヒストグラム算出手段３０４と、色ヒストグラム類似度算出手段３０５と、エッジヒストグラム算出手段３０６と、エッジヒストグラム類似度算出手段３０７と、類似度結合手段３０８と、クラスタリング手段３０９と、代表度算出手段３１０とを備える。

画像データ読み出し手段３０１は、クローリング結果ファイル４３を読み出し、そのクローリング結果ファイル４３に示されているパス３４で表された記憶部１５の領域に記憶されている画像データ４１を読み出す。画像データ読み出し手段３０１は、読み出した画像データ４１を、対応する検索結果ＩＤ３３に対応付けて、局所特徴量算出手段３０２、色ヒストグラム算出手段３０４、エッジヒストグラム算出手段３０６に供給する。画像データ４１は、画像の縦方向のピクセル数×横方向のピクセル数×画像のチャンネル数の行列の構造を持ち、行列の各要素に画像の各要素の値が格納された形で保持される。

局所特徴量算出手段３０２は、画像データ読み出し手段３０１から供給された画像データ４１が示す画像の局所特徴量を算出する。局所特徴量は、各画像に対して、１以上の特徴点が対応付けられ、各特徴点に対して特徴量のデータが対応付けられた構造で表される。局所特徴量算出手段３０２は、ＳＩＦＴやＳＵＲＦ（Speeded Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＫＡＺＥ、ＡＫＡＺＥなどの公知の技術を用いて局所特徴量を算出する。局所特徴量算出手段３０２は、算出した局所特徴量を検索結果ＩＤに対応付けて、局所特徴量類似度算出手段３０３に供給する。

局所特徴量類似度算出手段３０３は、局所特徴量算出手段３０２から供給された局所特徴量に基づき、関連画像同士の局所特徴量の類似度を算出し、算出した類似度を示す局所特徴量類似度データを類似度結合手段３０８に供給する。画像データ読み出し手段３０１により読み出された検索結果ＩＤ３３の数がＭ（Ｍは１以上の整数）個である場合、局所特徴量類似度算出手段３０３は、関連画像同士の局所特徴量の類似度をＭ行及びＭ列の行列形式で表す局所特徴量類似度データを生成する。この行列の各列及び各行はＭ個の検索結果ＩＤ３３にそれぞれ対応する。行列の各要素には、それらの要素の行番号、列番号に対応した検索結果ＩＤ３３に対応する２つの関連画像同士の局所特徴量の類似度が格納される。

局所特徴量類似度算出手段３０３は、例えば、局所特徴量類似度データの要素(i,j)に格納される類似度を求める場合（ｉ,ｊは１以上Ｍ以下の整数）、まず、行iに対応する検索結果ＩＤの画像データの局所特徴点の各々に対して、列jに対応する検索結果ＩＤの画像データ４１の局所特徴点の中から対応するものを求め、局所特徴点の組を複数作成する。ここで、局所特徴点aに対応する局所特徴点bとは、局所特徴点aの特徴量と似通った特徴量を有する局所特徴点をいう。局所特徴量類似度算出手段３０３は、例えば非特許文献１の技術を用いて、局所特徴点同士の特徴量の距離を算出し、距離が最も近いもの同士を局所特徴点の組とする。なお、局所特徴量類似度算出手段３０３は、ノイズ除去のため、非特許文献１に開示されているような誤対応を防ぐための公知の技術を用いてもよい。

局所特徴量類似度算出手段３０３は、作成した局所特徴点の組に基づき、画像i、j間の幾何的な対応関係を求める。局所特徴量類似度算出手段３０３は、例えば、非特許文献１で開示されているような、一般化ハフ変換を用いた投票により幾何的な対応関係を表す変換行列を求める公知の技術を用いてこの対応関係を求める。この技術では、複数の変換行列が算出されるため、求めた変換行列群は、ベイズ推定により、その変換行列の確からしさが求められ、閾値以上の変換行列は棄却される。局所特徴量類似度算出手段３０３は、棄却されなかった変換行列群を求める際の一般化ハフ変換において、投票された投票数の和を正規化したものを、関連画像同士の局所特徴量の類似度として算出し、局所特徴量類似度データの要素(i,j)に格納する。より詳細には、局所特徴量類似度算出手段３０３は、局所特徴量類似度データの全要素に対してこの類似度を算出し、正規化した上で格納する。行列の対角成分の類似度は１とする。

このように、局所特徴量類似度算出手段３０３は、関連画像同士の局所特徴点の対応関係から、関連画像同士の幾何的な対応関係を求め、この幾何的な対応関係を求めるために使用した特徴点の数から、関連画像同士の類似度を算出する。これにより、関連画像同士で局所特徴点の特徴量が偶然似ていたために局所特徴量類似度が上昇する事を防ぎ、誤対応を低減することができる。また、関連画像同士の幾何的な対応関係を求めることにより、個々の局所特徴点同士の類似だけではなく、関連画像同士での特徴点全体の類似に基づいて局所特徴量類似度を算出することができる。

色ヒストグラム算出手段３０４は、画像データ読み出し手段３０１により読み出された画像データ４１が示す関連画像の色ヒストグラムを算出する。色ヒストグラム算出手段３０４は、関連画像をグリッド状の複数のブロック（例えば３×３のブロックなど）に分割し、各ブロックについて色ヒストグラムを作成し、連結することでその関連画像の色ヒストグラムを算出する。色ヒストグラム算出手段３０４は、ＲＧＢやＨＳＶなどの色空間上でｂｉｎを区切り、各ブロックでの色ヒストグラムを作成する。色ヒストグラム算出手段３０４は、作成した各ブロックの色ヒストグラムを１次元のベクトルに形状を変換した上で連結し、ベクトルデータとして表現する。その際、色ヒストグラム算出手段３０４は、色ヒストグラムに正規化を施す。色ヒストグラム算出手段３０４は、算出した色ヒストグラムを検索結果ＩＤに対応付けて色ヒストグラム類似度算出手段３０５に供給する。

色ヒストグラム類似度算出手段３０５は、色ヒストグラム算出手段３０４から供給された色ヒストグラムに基づき関連画像同士の色ヒストグラムの類似度を算出し、算出した類似度を示す色ヒストグラム類似度データを類似度結合手段３０８に供給する。色ヒストグラム類似度算出手段３０５は、局所特徴量類似度データと同様の行列形式の色ヒストグラム類似度データを生成する。色ヒストグラム類似度算出手段３０５は、Histogram intersection等の公知の技術を用いて色ヒストグラムの類似度を算出する。色ヒストグラム類似度算出手段３０５は、色ヒストグラム類似度データの要素(i,j)に格納される色ヒストグラム類似度を求める場合、行iの検索結果ＩＤに対応する関連画像と列jの検索結果ＩＤに対応する関連画像との間でHistogram intersectionを求め、要素(i,j)に格納する。

エッジヒストグラム算出手段３０６は、画像データ読み出し手段３０１により読み出された画像データ４１が示す関連画像のエッジヒストグラムを算出する。エッジヒストグラム算出手段３０６は、関連画像をグレースケールに変換した上で、グリッド状に複数のブロック（例えば３×３のブロックなど）に分割し、各ブロックについてエッジヒストグラムを作成し、連結することでその関連画像のエッジヒストグラムを算出する。エッジヒストグラム算出手段３０６は、ブロック内の各要素における勾配方向と勾配強度を算出し、勾配方向をｂｉｎに区切ったものに、勾配強度を投票することで各ブロックのエッジヒストグラムを作成する。エッジヒストグラム算出手段３０６は、作成した各ブロックのヒストグラムを１次元のベクトルに形状を変換した上で連結し、ベクトルデータとして表現する。その際、エッジヒストグラム算出手段３０６は、エッジヒストグラムに正規化を施す。エッジヒストグラム算出手段３０６は、算出したエッジヒストグラムに検索結果ＩＤを対応付けてエッジヒストグラム類似度算出手段３０７に供給する。

エッジヒストグラム類似度算出手段３０７は、色ヒストグラム類似度算出手段３０５と同様の手順で類似度を求め、局所特徴量類似度データと同様の行列形式のエッジヒストグラム類似度データを生成する。エッジヒストグラム類似度算出手段３０７は、生成したエッジヒストグラム類似度データを類似度結合手段３０８に供給する。

類似度結合手段３０８は、局所特徴量類似度算出手段３０３、色ヒストグラム類似度算出手段３０５及びエッジヒストグラム類似度算出手段３０７から供給された各データが示す類似度のそれぞれに重みをつけて加算して、局所特徴量類似度データと同様の行列形式で表される画像類似度データを生成する。より詳細には、類似度結合手段３０８は、局所特徴量類似度データ、色ヒストグラム類似度データ、エッジヒストグラム類似度データの要素(i,j)の各数値に、それぞれに重みを付けて加算し、その和を要素(i,j)に格納したものを画像類似度データとして生成する。類似度結合手段３０８は、生成した画像類似度データをクラスタリング手段３０９に供給する。

クラスタリング手段３０９では、類似度結合手段３０８から供給された画像類似度データを用いて関連画像群のクラスタリングを行い、その結果を示すクラスタデータを生成する。クラスタリング手段３０９は、例えば、検索結果ＩＤ及びクラスタＩＤが１つのレコードで対応付けられたテーブル構造を有するデータをクラスタデータとして生成する。クラスタＩＤとは、クラスタリングの結果作成された複数のクラスタのうち、検索結果ＩＤに対応する関連画像が属するクラスタを表すＩＤである。クラスタリング手段３０９は、spectral clusteringや階層的クラスタリングなどの公知のクラスタリング技術を用いてクラスタリングを行う。クラスタリング手段３０９は、生成したクラスタデータを代表度算出手段３１０に供給する。

代表度算出手段３１０は、画像データ読み出し手段３０１により読み出された検索結果ＩＤ３３に対応する各関連画像について、それらの関連画像が属するクラスタにおける代表度を算出し、算出した代表度をクラスタデータに付加する。代表度とは、関連画像が属するクラスタの傾向、特徴にその関連画像がどの程度合致しているかを表す指標である。代表度算出手段３１０は、例えば、代表度を算出する対象である対象関連画像と、対象関連画像と同じクラスタに属している他の関連画像との類似度の和を、その対象関連画像の代表度として算出する。代表度算出手段３１０は、代表度を付加したクラスタデータを記憶部１５に保存する。

［１−２−４］クラスタスコア算出手段
クラスタスコア算出手段１０４は、画像クラスタリング手段１０３により記憶部１５に保存されたクラスタデータと、画像スコア算出手段１０２により算出された画像スコアとに基づいて、クラスタスコアを算出する。クラスタスコア算出手段１０４は、例えば、クラスタに属する関連画像の画像スコアの平均値を線形変換することにより算出した値をクラスタスコアとして算出する。この場合、クラスタスコア算出手段１０４は、クラスタに含まれる正解画像の画像スコアの平均値を説明変数とし、クラスタスコアを従属変数とする回帰分析によって予め求められた関数を線形変換に用いる。なお、回帰分析においては最小二乗法などの公知の回帰分析手法が用いられればよい。

クラスタスコア算出手段１０４は、算出したクラスタスコアをクラスタＩＤに対応付けて記憶部１５に保存する。こうして算出されたクラスタスコアは、分類手段（画像クラスタリング手段１０３）により分類されたグループ（クラスタ）に属する画像について第１算出手段（画像スコア算出手段１０２）により算出された第１の指標（画像スコア）に基づいて、指定文字列を名称とする物体が表されている画像（目的物画像）がグループに含まれている可能性の高さを表す指標（以下「第２の指標」という）を表す。この第２の指標も、第１の指標と同様に（例えば０から１までの数値などで）表されればよい。この第２の指標を算出するクラスタスコア算出手段１０４は、本発明の「第２算出手段」の一例である。

［１−２−５］画像抽出手段
画像抽出手段１０５は、記憶部１５に保存されたクラスタデータ、クラスタスコア、画像スコアに基づいて画像を抽出する。
図７は画像抽出手段１０５の機能構成の詳細を表す。画像抽出手段１０５は、クラスタ選出手段５０１、外れ値除去手段５０２、抽出手段５０３を備える。

クラスタ選出手段５０１は、画像クラスタリング手段１０３により分割された複数のクラスタから、算出されたクラスタスコアが比較的大きいクラスタを選出する。ここでいう「比較的」とは、複数のクラスタをクラスタスコアの大きさで順番に並べた場合に、クラスタスコアが比較的大きいものと比較的小さいものとの境目を定め、その境目よりも上位にあるものを比較的クラスタスコアが高いクラスタとし、その境目よりも下位にあるものを比較的クラスタスコアが低いクラスタとすることである。本実施形態では、クラスタ選出手段５０１は、クラスタスコアが最も大きいクラスタと、クラスタスコアの最大値からクラスタスコアの標準偏差を引いた値より大きいクラスタスコアが算出されたクラスタを、クラスタスコアが比較的大きいクラスタとして選出する。この場合、クラスタスコアの最大値からクラスタスコアの標準偏差を引いた値が境目として定められている。

クラスタ選出手段５０１は、選出したクラスタのクラスタＩＤと、記憶部に保存されたクラスタデータとを突合し、選出したクラスタに属する関連画像の検索結果ＩＤを読み出す。クラスタ選出手段５０１は、選出したクラスタＩＤと、読み出した検索結果ＩＤを対応付けた表１のようなテーブル構造の選出クラスタデータを記憶部１５に保存する。表１の例では、クラスタスコアが比較的高いクラスタとしてクラスタＩＤ「１」、「２」、「３」が付与されたクラスタが選出されている。

外れ値除去手段５０２は、選出クラスタデータとクラスタスコアを読み出し、選出クラスタデータ内の検索結果ＩＤ３３とクラスタスコアの代表度とを突合させ、代表度が閾値以下の検索結果ＩＤ３３を選出クラスタデータから除去したフィルタリングデータを生成し、記憶部１５に保存する。この閾値は、例えばユーザが操作部１１を操作して設定する。なお、これに限らず、大津の二値化手法などの公知の閾値算出手法を用いて算出された閾値が用いられてもよい。

抽出手段５０３は、フィルタリングデータを用いて関連画像を抽出する。抽出手段５０３は、フィルタリングデータの各クラスタに属する検索結果ＩＤ３３に対して、クラスタスコアの代表度及び画像スコアを突合させ、各検索結果ＩＤに対して、代表度と画像スコアの重みづけ和を算出する。抽出手段５０３は、同じクラスタＩＤに対応付けられた検索結果ＩＤから、この重みづけ和が比較的大きい検索結果ＩＤを処理ＩＤに対応付けた抽出結果データを生成し、記憶部１５に保存する。

抽出手段５０３は、前述したクラスタ選出手段５０１と同様に、重みづけ和が比較的大きいものと比較的小さいものとの境目を定め、その境目よりも上位にあるものを重みづけ和が比較的大きい検索結果ＩＤとし、その境目よりも下位にあるものを重みづけ和が比較的小さい検索結果ＩＤとする。本実施形態では、抽出手段５０３は、重みづけ和が最大の検索結果ＩＤとその次に重みづけ和が大きい検索結果ＩＤとの間に境目を定める。つまり、抽出手段５０３は、１つのクラスタに属する画像群からは、重みづけ和が最も大きい検索結果ＩＤが付与された１つの関連画像を抽出する。表２は、そうして保存された抽出結果データの一例である。

表２の例では、「０００１」という処理ＩＤに「０００１」、「０００４」という検索結果ＩＤが対応付けられている。これらは表１の「１」、「２」というクラスタＩＤが付与されたクラスタに分割された関連画像のうち、重みづけ和が最大であった関連画像の検索結果ＩＤである。なお、この例では、「３」というクラスタＩＤが付与されたクラスタに分割された関連画像は、外れ値除去手段５０２によって除去されている。

以上のとおり、画像抽出手段１０５は、分類手段（画像クラスタリング手段１０３）により分類されたグループ（クラスタ）のうち、第２算出手段（クラスタスコア算出手段１０４）により算出された第２の指標（クラスタスコア）が比較的大きいグループのそれぞれについて、そのグループに属する関連画像のうち指定文字列を名称とする物体が表されている可能性が比較的高い関連画像を抽出する。

また、本実施形態では、分類されたグループ（クラスタ）に属する関連画像の代表度が、その関連画像とそのグループに属する他の画像との類似度の和によって表される。画像抽出手段１０５は、そのような代表度（詳細には代表度及び画像スコアの重みづけ和）に基づいて、そのグループに属する関連画像に指定文字列を名称とする物体が表されている可能性の高さを判断して画像を抽出する。
このように、クローリング手段１０１が取得した関連画像から画像抽出手段１０５が上記のとおり抽出を行うことで、画像収集装置１０は、インターネット２で公開されている画像から目的物画像である可能性が比較的高い画像（表２の検索結果ＩＤが付与された画像）を収集することになる。

［１−２−６］画像出力手段
画像出力手段１０６は、記憶部１５に保存された抽出結果データが示す抽出結果を出力する。画像出力手段１０６は、例えば、図１に示す表示部１２に抽出結果を出力し、抽出結果を表示させる。なお、画像抽出手段１０５は、これに限らず、例えば通信部１４を介して外部装置や外部の表示手段、記憶媒体などに抽出結果を出力してもよいし、ユーザの電子メールアドレスやＳＮＳ（Social Networking Service）のアカウントなどに抽出結果を出力してもよい。

画像出力手段１０６は、例えば抽出結果データが示す処理ＩＤ及び検索結果ＩＤ３３に基づいて処理結果ＩＤに対応するクローリング結果ファイル４３を読み出す。画像出力手段１０６は、読み出したクローリング結果ファイル４３から、収集結果データにおいて処理ＩＤと対応付けられている検索結果ＩＤに対応する画像データ４１のパス３４を読み取る。画像出力手段１０６は、読み取ったパス３４が示す領域に保存された画像データ４１を読み込み、例えば表示部１２に出力する。

［１−３］動作
画像収集装置１０は、以上の構成に基づいて、上述した目的物画像を、画像及び文書が互いに対応付けられたデータ群（本実施形態ではインターネット２上に公開されている画像及びＷｅｂページを示すデータ群）から抽出する抽出処理を行う。
図８は抽出処理における画像収集装置１０の動作フローを表す。抽出処理は、ユーザが指定する文字列を入力する操作を画像収集装置１０に対して行うことを契機に開始される。

画像収集装置１０は、まず、入力された文字列を指定文字列として受け付ける（ステップＳ１１）。次に、画像収集装置１０は、受け付けた指定文字列に基づいてクローリングを行い、その指定文字列に関連する関連画像及び関連文書の組を複数取得する（ステップＳ１２）。続いて、画像収集装置１０は、取得した各関連画像に対して、各々に対応付けられている関連文書の特徴に基づき画像スコアを算出する（ステップＳ１３）。また、画像収集装置１０は、取得した関連画像を画像同士の類似度に基づいてクラスタリング、すなわち１つ以上のクラスタへの分割を行う（ステップＳ１４）。ステップＳ１３及びＳ１４の動作は並行して行われる。

次に、画像収集装置１０は、ステップＳ１３で算出した画像スコアに基づいて、ステップＳ１４で分割した各クラスタについて、それらのクラスタに目的物画像（指定文字列を名称とする物体が表された画像）が含まれている確率を表すクラスタスコアを算出する（ステップＳ１５）。続いて、画像収集装置１０は、算出したクラスタスコアが比較的大きいクラスタに属する画像のうち、目的物画像である可能性が比較的高い画像を抽出する（ステップＳ１６）。そして、画像収集装置１０は、抽出された画像を例えば表示手段に出力する（ステップＳ１７）。

［１−４］作用効果
画像収集装置１０が行う動作は、画像を大まかに収集する収集動作（ステップＳ１１及びＳ１２）と、収集した画像を絞り込む絞り込み動作（ステップＳ１３からＳ１６）とに大きく分けられる。本実施形態ではこの収集動作が行われることにより、インターネット２に存在する画像群から、検索キーとして入力された指定文字列に関連する画像を広く簡便に収集することができる。

また、絞り込み動作において、関連画像が含まれていたＷｅｂページの特徴と関連画像それ自体の特徴の両方を用いて画像収集装置１０が画像の抽出を行うことで、簡便に集めた画像を効率よく絞り込むことができる。また、その絞り込みに関連画像が掲載されていたＷｅｂページ（関連文書）の特徴と関連画像それ自体の特徴の両方を用いることで、これらの特徴を用いない場合に比べて目的物画像を高い精度で抽出することができる。

また、画像収集装置１０が似た関連画像同士を同じクラスタに分割することで、簡便に集めた画像を、同じ物体が表された関連画像のグループに分類することができる。各クラスタに属する関連画像の画像スコアに基づき算出されるクラスタスコアは、収集対象となる目的物画像が含まれたクラスタでは高くなり、収集対象となる目的物画像が含まれていないクラスタまたはノイズの多いクラスタでは低くなる。

このクラスタスコアが比較的大きいクラスタを選出することで、画像スコアにノイズが生じている場合（非目的物画像なのに画像スコアが大きい関連画像が含まれている場合）でも、ノイズが生じているクラスタは選出されないので、目的物画像である可能性が比較的高い画像を複数抽出することができる。言い換えると、画像スコアの不正確さを、同じ物体が表されていると思われる画像同士を集め、画像スコアを加算することで相殺することができる。よって、クラスタスコアが比較的大きいクラスタに属する画像のうちさらに目的物画像である可能性が比較的高い画像を抽出することで、クラスタスコアを用いない場合に比べて、目的物画像を高い精度で抽出することができる。

また、文書の特徴として、従来から利用されてきたテキスト情報に加えてメタ情報を用いることにより、テキスト情報だけを用いる場合に比べて、画像スコアの精度を向上させることができ、その結果目的物画像をより高い精度で抽出することができる。
また、文書のテキスト情報として、あらかじめ作成された単語リストに含まれる単語の文書中での出現頻度を用いることで、文書の特徴を離散化した数値ベクトルという比較可能な指標で表すことができる。

また、単語リストとして、収集される文書群の中で出現頻度の高い単語をあらかじめ取り出したリストを用いることで、文書群中でほとんど出現せず出現頻度が多くの文書において０となる単語、すなわち画像スコアの算出において与える影響の小さい単語を、単語リストから除外することができる。また、単語リストとして、ＴＦＩＤＦ値が高い単語をあらかじめ取り出したリストを用いることで、多くの文書に出現し、かつ、その出現頻度に偏りのある単語の出現頻度に基づいて画像スコアを算出することになり、画像スコアの感度を向上させることができる。

また、本実施形態では、分類されたグループ、すなわち分割されたクラスタに属する関連画像のそのクラスタ内での代表度を、その関連画像とそのクラスタに属する他の画像との類似度の和として算出することで、クラスタ内の外れ画像を定量的に除外するためのスコアを得ることができる。また、代表度の低い画像を除外することで、はずれ値となる画像を除去することでノイズを低減することができる。

［２］変形例
上述した実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施してもよい。

［２−１］クローリング手段
クローリング手段１０１は、実施形態では、インターネット２で公開されているデータ群から関連画像及び関連文書を取得したが、これに限らず、例えば画像収集装置１０が接続されているＬＡＮ（Local Area Network）などのイントラネットで公開されているデータ群から関連画像及び関連文書を取得してもよい。また、クローリング手段１０１は、例えば、そのようなデータ群を記憶するモバイルコンピュータ、パーソナルコンピュータ、サーバが画像収集装置１０と接続していれば、それらの装置から関連画像及び関連文書を取得してもよい。

［２−２］画像スコア算出手段
画像スコア算出手段１０２は、実施形態では、文書のテキスト情報及びメタ情報の両方を用いて画像スコアを算出したが、いずれか一方だけを用いてもよく、文書のテキスト情報または文書のメタ情報画像を用いてスコアを算出してもよい。その場合でも、各情報に基づく文書の特徴を用いることで、それを用いない場合に比べて画像スコアの精度を向上させることができる。

また、画像スコア算出手段１０２は、文書のメタ情報として、実施形態で述べた関連画像及び関連文書の検索における順位や関連画像及び関連文書のＵＲＬなどを用いたが、これら全てを用いる必要はなく、少なくともいずれか１つのメタ情報を用いて画像スコアを算出すればよい。それにより、そのメタ情報を用いない場合に比べて画像スコアの感度を向上させることができる。

［２−３］画像クラスタリング手段
画像クラスタリング手段１０３は、実施形態では、画像の局所特徴量に基づく局所特徴量類似度、画像の色ヒストグラムに基づく色ヒストグラム類似度、画像のエッジヒストグラムに基づくエッジヒストグラム類似度の３つの類似度を全て用いたが、これら全てを用いる必要はなく、少なくともいずれか１つの類似度を関連画像同士の類似度として用いてクラスタリングを行えばよい。そして、画像クラスタリング手段１０３は、２以上の類似度を用いる場合には、それらの類似度を実施形態のように結合して用いればよい。

局所特徴量類似度を用いた場合、局所特徴点の抽出及び局所特徴量の算出に用いるアルゴリズムとして適切なものを選択することによって、関連画像の回転や照度変化があっても精度の高い類似度を算出することができる。また、局所特徴量類似度には遮蔽に強いという特徴がある。これにより、遮蔽、回転、照度変化の加わった関連画像同士であっても、より人間の感覚に近い形で類似度を算出することができる。

色ヒストグラム類似度を用いた場合、色の分布及び画像上での配置が似ている画像同士で類似度が大きくなる特性により、色の似た画像同士が同じクラスタに分割されやすくなり、その結果、同じ物体を表す関連画像が同じクラスタに分割されやすくなるようにすることができる。

エッジヒストグラム類似度を用いた場合、画像全体でエッジの強度と分布の似た画像同士の類似度が高くなる特性により、形状の似た画像同士の類似度が高くなりやすい。これにより、関連画像に表されている物体の形状の似たものが同じクラスタに分割されやすく、その結果、同じ物体を表す関連画像が同じクラスタに分割されやすくなるようにすることができる。

また、２つ以上の類似度を結合して用いた場合、複数の類似度の特性を併せ持つより人間の感覚に近い類似度を算出することができる。言い換えると、局所的に似ており、かつ色の分布も似ており、かつ、その画像が表している物体の全体的な形状も似ている関連画像同士を集めることができ、その結果、同じ物体を表す関連画像が同じクラスタに分割されやすくなるようにすることができる。

［２−４］画像抽出手段
画像抽出手段１０５は、実施形態では、代表度が閾値未満の関連画像を抽出対象から除外したが、これに限らない。例えば、画像抽出手段１０５は、画像スコアが閾値未満の関連画像を抽出対象から除外してもよいし、画像スコア及び代表度がどちらも閾値未満の関連画像を抽出対象から除外してもよい。いずれの場合も、除外される関連画像は目的物画像でない可能性が除外されなかった関連画像に比べて高いものであるから、抽出対象からの除外を行わなかった場合に比べて、目的物画像を抽出する精度を向上させることができる。

また、画像抽出手段１０５は、実施形態では、上述した代表度及び画像スコアの重みづけ和によってこの可能性の高さを判断することで、代表度及び画像スコアの両方が比較的大きい関連画像を抽出したが、これに限らない。画像抽出手段１０５は、例えば、画像スコアだけが比較的大きい関連画像を抽出してもよいし、代表度だけが比較的大きい関連画像を抽出してもよい。いずれの場合も、クラスタ内で代表的であるか、または、Ｗｅｂページの特徴から目的物画像である可能性が高い関連画像が抽出され、目的物画像を抽出する精度を向上させることができる。

また、画像抽出手段１０５は、この比較的大きいか否かを、所定の閾値以上であるか否かによって判断してもよいし、図７に示すクラスタ選出手段５０１のように上記の重みづけ和（代表度、画像スコアだけの場合も同様）の最大値から標準偏差を引いた値よりも大きいか否かで判断してもよい。他にも、重みづけ和が大きい方から所定の数（例えばクラスタに属する画像の数の半分や３分の１など）までの関連画像を、重みづけ和が比較的大きいものと判断してもよい。これらの判断方法は、クラスタ選出手段５０１がクラスタを選出する場合においても同様に用いることができる。

［２−５］発明のカテゴリ
本発明は、上述した画像収集装置のような情報処理装置の他、情報処理装置及び画像検索システムを含む情報処理システムとしても捉えられる。この情報処理システムは、画像検索システムの代わりに上述した画像検索装置が含まれていてもよい。他にも、情報処理装置が実施する処理を実現するための情報処理方法や、情報処理装置のようなコンピュータを上述した各手段として機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

１…画像収集システム、２…インターネット、３…画像検索サービス、１０…画像収集装置、１０１…クローリング手段、１０２…画像スコア算出手段、１０３…画像クラスタリング手段、１０４…クラスタスコア算出手段、１０５…画像抽出手段、１０６…画像出力手段、２０１…Ｗｅｂデータ読み出し手段、２０２…テキスト特徴量算出手段、２０３…Ｗｅｂ特徴量算出手段、２０４…スコア算出手段、３０１…画像データ読み出し手段、３０２…局所特徴量算出手段、３０３…局所特徴量類似度算出手段、３０４…色ヒストグラム算出手段、３０５…色ヒストグラム類似度算出手段、３０６…エッジヒストグラム算出手段、３０７…エッジヒストグラム類似度算出手段、３０８…類似度結合手段、３０９…クラスタリング手段、３１０…代表度算出手段、５０１…クラスタ選出手段、５０２…外れ値除去手段、５０３…抽出手段

Claims (10)

1. ユーザが指定した文字列に基づく検索で得られた当該文字列に関連する画像と、当該画像に対応付けられた文書との組を複数取得する取得手段と、
   取得された前記画像に対応付けられた前記文書の特徴に基づいて当該画像に前記文字列を名称とする物体が表されている可能性の高さを表す第１の指標を算出する第１算出手段と、
   取得された複数の前記画像を画像同士の類似度に基づいて１以上のグループに分類する分類手段と、
   分類された前記グループに属する画像について算出された前記第１の指標に基づいて、前記物体が表されている画像が当該グループに含まれている可能性の高さを表す第２の指標を算出する第２算出手段と、
   分類された前記グループのうち算出された前記第２の指標が比較的大きい前記グループのそれぞれについて、当該グループに属する画像のうち前記名称の物体が表されている可能性が比較的高い画像を抽出する画像抽出手段と
   を備え、
   前記第１算出手段は、取得された前記文書のテキスト情報または当該文書のメタ情報を用いて前記第１の指標を算出し、
   前記第１算出手段は、前記文書のテキスト情報を用いる場合、あらかじめ作成された単語リストに含まれる単語の当該テキスト情報内での出現頻度に基づいて前記第１の指標を算出する
   情報処理装置。
2. 前記単語リストは、前記取得手段により取得された文書において出現する頻度が閾値以上である単語のリストまたは当該文書においてＴＦＩＤＦ（term frequency-inverse document frequency）値が閾値以上である単語のリストである
   請求項１に記載の情報処理装置。
3. 前記画像及び文書は、インターネット上で公開されている画像及び当該画像が掲載されているＷｅｂページのＨＴＭＬファイルであり、
   前記第１算出手段は、前記文書のメタ情報を用いる場合、前記文字列に関連する画像及び当該画像に対応付けられた文書の前記検索における順位、当該画像及び当該文書のＵＲＬ（Uniform Resource Locator）、当該画像のファイル名、当該文書に特定の単語が含まれているか否かを示す指標、または、当該文書の所定の位置に前記文字列が含まれているか否かを示す指標に基づいて前記第１の指標を算出する
   請求項１又は２に記載の情報処理装置。
4. 前記分類手段は、取得された前記画像の局所特徴点の局所特徴量の類似度、当該画像の色ヒストグラムの類似度、当該画像のエッジヒストグラムの類似度、または、これらの類似度のうちの２以上を結合したものを、前記画像同士の類似度として用いる
   請求項１から３までのいずれか１項に記載の情報処理装置。
5. 前記分類手段は、前記局所特徴量の類似度を用いる場合、取得された前記画像同士の局所特徴点の対応関係から、当該画像同士の幾何的な対応関係を求め、当該幾何的な対応関係を求めるために使用した特徴点の数に基づいて当該局所特徴量の類似度を算出する
   請求項４に記載の情報処理装置。
6. 前記画像抽出手段は、分類された前記グループに属する画像の当該グループ内での代表度であって、当該画像と当該グループに属する他の画像との類似度の和によって表される代表度に基づいて画像を抽出する
   請求項１から５までのいずれか１項に記載の情報処理装置。
7. 前記画像抽出手段は、前記第１の指標が閾値未満の画像、分類された前記グループに属する画像の当該グループ内での代表度であって、当該画像と当該グループに属する他の画像との類似度の和によって表される代表度が閾値未満の画像、または、当該第１の指標及び当該代表度がどちらも閾値未満の画像を、抽出対象から除外する
   請求項１から６までのいずれか１項に記載の情報処理装置。
8. 前記画像抽出手段は、前記第２の指標が閾値以上である前記グループに属する画像から、前記第１の指標が比較的大きい画像、分類された前記グループに属する第１画像と当該グループに属する他の画像である第２画像との類似度の和によって表される当該第１画像の当該グループ内での代表度が比較的大きい画像、または、当該第１の指標及び当該代表度の両方が比較的大きい画像を抽出する
   請求項１から７までのいずれか１項に記載の情報処理装置。
9. 情報処理装置が、ユーザが指定した文字列に基づく検索で得られた当該文字列に関連する画像と、当該画像に対応付けられた文書との組を複数取得する取得ステップと、
   前記情報処理装置が、取得された前記画像に対応付けられた前記文書の特徴に基づいて当該画像に前記文字列を名称とする物体が表されている可能性の高さを表す第１の指標を算出する第１算出ステップと、
   前記情報処理装置が、取得された複数の前記画像を画像同士の類似度に基づいて１以上のグループに分類する分類ステップと、
   前記情報処理装置が、分類された前記グループに属する画像について算出された前記第１の指標に基づいて、前記物体が表されている画像が当該グループに含まれている可能性の高さを表す第２の指標を算出する第２算出ステップと、
   前記情報処理装置が、分類された前記グループのうち算出された前記第２の指標が比較的大きい前記グループのそれぞれについて、当該グループに属する画像のうち前記名称の物体が表されている可能性が比較的高い画像を抽出する画像抽出ステップと
   を備え、
   前記第１算出ステップは、取得された前記文書のテキスト情報または当該文書のメタ情報を用いて前記第１の指標を算出するステップであり、
   前記第１算出ステップは、前記文書のテキスト情報を用いる場合、あらかじめ作成された単語リストに含まれる単語の当該テキスト情報内での出現頻度に基づいて前記第１の指標を算出するステップである
   情報処理方法。
10. コンピュータを、請求項１から８までのいずれか１項に記載の情報処理装置が備える各手段として機能させるためのプログラム。

Images