JP6960289B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、ウェブからデータ（文書や画像など）を収集し、収集したデータを自動的にデータベース化するクローラが知られている（特許文献１参照）。クローラは、ウェブページ中のリンクを辿って、様々なＩＰアドレスのウェブページからデータを収集する。クローラによって収集されたデータは、ウェブ情報データベースに蓄積される。

一方、検索エンジンは、ユーザによって入力された検索ワードを受信すると、受信した検索ワードに関連するウェブページの情報をウェブ情報データベースから取得する。また、検索エンジンは、取得したウェブページの情報の一覧を検索結果として出力する。

特開２０１２−６９１７１号公報

ユーザ満足度を向上させるため、検索エンジンは、ユーザによって入力された検索ワードに関連する画像を検索結果とともに出力することが考えられる。これを実現するためには、ウェブから収集した画像と、画像に関連するテキストデータを示すエンティティとを関連付けたデータベースが用いられる。ここで、検索ワードやエンティティによって示される検索対象の現状に伴ってデータベースに記憶される画像が更新されることが好ましい。

しかしながら、特許文献１に開示されたクローラは、ウェブから収集した画像に関連するエンティティを、自動的に判別することができなかった。このため、特許文献１に開示されたクローラは、ウェブから収集した画像と、この画像に関連するエンティティとを関連付けてデータベースを更新することができなかった。

本発明は、このような事情を考慮してなされたものであり、画像とエンティティとを関連付けたデータベースを適切に更新することができる情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。

本発明の一態様は、画像データ及びテキストデータを含む収集対象データを収集する収集部と、前記収集部により収集された前記収集対象データに含まれる前記テキストデータから、互いに関連する画像データとエンティティの組を抽出する抽出部と、エンティティによって関連付けられて記憶部に記憶された画像データのうち、前記抽出部により抽出されたエンティティと一致するエンティティに関連付けられた画像データを選択する第１選択部と、前記抽出部により抽出された画像データと、前記第１選択部により選択された画像データとを含む画像の集合の中で、画像の特徴が近い画像データを選択する第２選択部と、前記第２選択部により選択された画像データを、前記抽出部によって抽出された前記エンティティに関連する画像データとして前記記憶部に記憶されたデータを更新する更新部と、を備える情報処理装置である。

本発明の一態様によれば、画像とエンティティとを関連付けたデータベースを適切に更新することができる。

本実施形態に係るナレッジデータサーバの使用環境及び構成を示す図である。 本実施形態に係るナレッジデータの一例を示す図である。 本実施形態に係るエンティティ抽出部のエンティティ抽出処理の概要を示す図である。 本実施形態に係る端末装置の表示部に表示される検索結果ページの一例を示す図である。 本実施形態に係る画像データ抽出部の処理の概要を示す図である。 本実施形態に係る第２選択部の処理の概要を示す図である。 本実施形態のナレッジデータサーバの動作の一例を示す流れ図である。

以下、図面を参照し、本発明の情報処理装置、情報処理方法及びプログラムの実施形態について説明する。本実施形態においては、情報処理装置の一例として、ナレッジデータサーバについて説明する。ナレッジデータサーバは、例えば、画像データおよびテキストデータを含む収集対象データを収集し、収集したデータに基づいてナレッジデータを生成するサーバである。ナレッジデータは、エンティティやクラス、プロパティと、エンティティに関連する画像データ（または画像の所在情報）とが関連付けられたデータである。
エンティティとは、例えば、ある対象事物の実体（例えば、実世界で存在している物体）を表していてもよいし、ある対象事物の概念（例えば、実世界または仮想世界の中で定義された概念）を表していてもよい。例えば、対象事物が「建物」という概念である場合、エンティティは、「○○塔」や「○○ビルディング」などといった実体を表してよい。また、例えば、対象事物が「経済学」という概念である場合、エンティティは、「ミクロ経済学」や「マクロ経済学」などといった実体のない抽象的な概念を表してよい。所在情報とは、ウェブ上の位置を特定するための情報であり、例えば、ＵＲＬ（Uniform Resource Locator）である。以下、実施形態について詳細に説明する。

＜実施形態＞
＜１−１．ナレッジデータサーバの使用環境＞
図１は、本実施形態に係るナレッジデータサーバ１００の使用環境及び構成を示す図である。ナレッジデータサーバ１００は、例えば、制御部１１０と、記憶部１２０とを備える。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。また、記憶部１２０の一部または全部は、ＮＡＳ（Network Attached Storage）や外部のストレージサーバなど、ナレッジデータサーバ１００がアクセス可能な外部装置であってもよい。記憶部１２０には、エンティティと、エンティティに関連する画像データとが対応付けられたナレッジデータ（以下、ナレッジデータＤ１）が記憶される。

図２は、本実施形態に係るナレッジデータＤ１の一例を示す図である。上述したように、ナレッジデータＤ１は、エンティティと、エンティティに関連する画像データとが対応付けられた情報である。本実施形態において、ナレッジデータＤ１に含まれるエンティティには、各エンティティを識別することが可能な情報（以下、エンティティ識別情報ＥＩＤ）が対応付けられる。図２に示すナレッジデータＤ１において、「内閣総理大臣」というエンティティには、エンティティ識別情報ＥＩＤとして「０００１」が対応付けられている。また、「アメリカ合衆国大統領」というエンティティには、エンティティ識別情報ＥＩＤとして「０００２」が対応付けられている。また、図２に示すナレッジデータＤ１において、「内閣総理大臣」というエンティティには、「ＸＸＸ．ＪＰＧ」、「ＹＹＹ．ＪＰＧ」及び「ＺＺＺ．ＪＰＧ」というファイル名の画像データが対応付けられている。また、「アメリカ合衆国大統領」というエンティティには、「ｘｘｘ．ＪＰＧ」、「ｙｙｙ．ＪＰＧ」及び「ｚｚｚ．ＪＰＧ」というファイル名の画像データが対応付けられている。

図１に戻り、制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。制御部１１０は、例えば、収集部１１１と、エンティティ抽出部１１２と、画像データ抽出部１１３と、第１選択部１１４と、第２選択部１１５と、更新部１１６と、所在情報取得部１１７とを備える。また、これらの構成要素のうち一部または全部（内包する記憶部を除く）は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

収集部１１１は、画像データおよびＨＴＭＬ（HyperText Markup Language）データを含む収集対象データを、ネットワークＮＷを介してクロールの対象機器（以下、クロール対象機器ＤＶ）から収集する。収集部１１１は、いわゆるクローラプログラムにより実現される。ここで、収集対象データは、ネットワークＮＷ上（クロール対象機器ＤＶの記憶領域内）にあり、ブラウザで閲覧可能なデータである。なお、収集対象データは、ブラウザに限らず、アプリケーションプログラムによって再生されるデータであってもよい。ネットワークＮＷは、ワールドワイドウェブ（World Wide Web）を意味し、インターネットやイントラネットで標準的に用いられるＨＴＭＬ文書などを利用したシステムである。収集対象データは、例えば、ＨＴＭＬのソースを示すテキストデータと、画像とを含むウェブページである。

収集部１１１は、収集対象データに含まれるＨＴＭＬデータからリンク先のＵＲＬを取得し、取得したＵＲＬにアクセスして更に別の収集対象データを収集する。この処理を繰り返すことにより、収集部１１１は、収集対象データを収集する対象を広げることができる。収集部１１１は、収集した収集対象データをエンティティ抽出部１１２及び画像データ抽出部１１３に出力する。

エンティティ抽出部１１２は、収集部１１１から入力された収集対象データに含まれるＨＴＭＬデータから、収集対象データに含まれる画像データに関連するエンティティを抽出する。エンティティ抽出部１１２は、例えば、階層構造を有するＨＴＭＬのソースを解析し、画像データを示すノードからパスの数が少ないノードに存在するテキストデータに基づいて、画像データに関連するエンティティを抽出する。

図３は、本実施形態に係るエンティティ抽出部１１２のエンティティ抽出処理の概要を示す図である。具体的には、収集部１１１が収集した収集対象データに含まれるＨＴＭＬのソースの一例を模式的に示す図である。エンティティ抽出部１１２は、収集対象データを解析し、画像の所在情報を示すノード（以下、ノードＮＤ）を特定する。図３に示す収集対象データには、ノードＮＤ１〜ノードＮＤ３、ノードＮＤ２１、ノードＮＤ２２及びノードＮＤ３１〜ノードＮＤ３４が含まれる。図３に示す収集対象データにおいて、画像の所在情報を示すノードＮＤは、ノードＮＤ３１及びノードＮＤ３３である。エンティティ抽出部１１２は、画像の所在情報を示すノードＮＤ（この一例では、ノードＮＤ３１及びノードＮＤ３３）からパスの数が所定数以下であるノードＮＤに存在するテキストデータを、当該画像に関連するエンティティの候補とする。本実施形態では、エンティティ抽出部１１２は、画像の所在情報を示すノードＮＤから「２パス」以内のノードＮＤに存在するテキストデータを、画像に関連するエンティティの候補とする。したがって、エンティティ抽出部１１２は、ノードＮＤ３２に存在するテキストデータ及びノードＮＤ３４に存在するテキストデータを、画像に関連するエンティティの候補とする。

エンティティ抽出部１１２は、画像に関連するエンティティの候補であるテキストデータ中に、ナレッジデータＤ１に含まれるエンティティが存在するか否かを判定する。エンティティ抽出部１１２は、ナレッジデータＤ１に含まれるエンティティが、テキストデータ中に存在する場合、当該エンティティを画像に関連するエンティティとして抽出する。エンティティ抽出部１１２は、抽出したエンティティに対応付けられるエンティティ識別情報ＥＩＤを収集部１１１及び画像データ抽出部１１３に供給する。図３に示す収集対象データにおいて、ノードＮＤ３２に存在するテキストデータは、エンティティである。また、ノードＮＤ３４に存在するテキストデータは、エンティティではない。したがって、エンティティ抽出部１１２は、ノードＮＤ３２に存在するテキストデータであるエンティティのエンティティ識別情報ＥＩＤを収集部１１１及び画像データ抽出部１１３に供給する。

図１に戻り、画像データ抽出部１１３は、収集部１１１から入力された収集対象データに基づいて、エンティティ抽出部１１２が抽出したエンティティに関連する画像データを抽出する。具体的には、画像データ抽出部１１３は、エンティティ抽出部１１２が抽出したエンティティを示すエンティティ識別情報ＥＩＤを取得する。画像データ抽出部１１３は、ナレッジデータＤ１に基づいて、エンティティ識別情報ＥＩＤが示すエンティティを取得する。画像データ抽出部１１３は、収集対象データに含まれるＨＴＭＬのソースを解析し、エンティティ識別情報ＥＩＤが示すエンティティが含まれる（又はエンティティそのものを示す）テキストデータが存在するノードＮＤを特定する。画像データ抽出部１１３は、特定したノードＮＤから所定のパス数（この一例では、「２パス」）以内の画像データの所在情報を示すノードＮＤを特定する。画像データ抽出部１１３は、特定したノードＮＤに存在するテキストデータによって所在情報が示される画像データを抽出する。ここで、エンティティ抽出部１１２及び画像データ抽出部１１３とは、抽出部の一例である。なお、画像に対して二以上のエンティティが対応付けられた場合、その画像を破棄してもよい。

図３に示す収集対象データにおいて、画像データ抽出部１１３は、エンティティ抽出部１１２から取得した情報に基づいて、テキストデータがエンティティであるノードＮＤとして、ノードＮＤ３２を特定する。画像データ抽出部１１３は、ノードＮＤ３２から「２パス」以内に存在するノードＮＤであって、かつ画像データの所在情報を示すノードＮＤとして、ノードＮＤ３１を特定する。画像データ抽出部１１３は、ノードＮＤ３１のテキストデータに基づいて、画像データを抽出する。ここで、図３に示す収集対象データにおいて、ノードＮＤ３４も画像データの所在情報を示すノードＮＤである。しかし、ノードＮＤ３４から「２パス」以内には、エンティティが含まれるテキストデータのノードＮＤが存在しない。したがって、画像データ抽出部１１３は、図３に示す収集対象データにおいて、ノードＮＤ３１が示す画像データのみを抽出する。画像データ抽出部１１３は、抽出した画像データと、当該画像データを特定する際に用いたエンティティのエンティティ識別情報ＥＩＤとを対応付けて第２選択部１１５に供給する。

図１に戻り、第１選択部１１４は、ナレッジデータＤ１から、エンティティ抽出部１１２が抽出したエンティティと一致するエンティティと関連付けられた画像データを読み出す。具体的には、第１選択部１１４は、エンティティ抽出部１１２が抽出したエンティティを示すエンティティ識別情報ＥＩＤを取得する。第１選択部１１４は、ナレッジデータＤ１のうち、取得したエンティティ識別情報ＥＩＤが対応付けられた画像データを選択する。本実施形態の一例において、第１選択部１１４は、「０００１」を示すエンティティ識別情報ＥＩＤを取得する。第１選択部１１４は、ナレッジデータＤ１に含まれる画像データのうち、「ＸＸＸ．ＪＰＧ」、「ＹＹＹ．ＪＰＧ」及び「ＺＺＺ．ＪＰＧ」というファイル名の画像データを選択する。第１選択部１１４は、選択した画像データと、エンティティ識別情報ＥＩＤとを対応付けて、第２選択部１１５に供給する。

第２選択部１１５は、画像データ抽出部１１３が抽出した画像データと、第１選択部１１４が画像データを含む画像の集合の中で、エンティティに関連する画像データとして適切な画像データを、エンティティ毎に選択する。第２選択部１１５は、例えば、画像データ抽出部１１３が抽出した画像データと、第１選択部１１４が選択した画像データとのうち、エンティティに関連する画像データとして適切な画像データを、エンティティ識別情報ＥＩＤ毎に選択する。第２選択部１１５の処理の詳細については、後述する。

更新部１１６は、第２選択部１１５が選択した画像データを、エンティティに関連する画像データとして更新する。具体的には、更新部１１６は、エンティティ抽出部１１２が抽出したエンティティ毎に、エンティティと、第２選択部１１５が新たに選択し、或いは既存のものを維持すると決定した画像データとを関連付けたナレッジデータＤ１を、記憶部１２０に記憶させる。

一方、ナレッジデータサーバ１００と、端末装置２００と、ウェブサーバ３００は、ネットワークＮＷを介して通信可能に接続されており、ナレッジデータサーバ１００と、ウェブサーバ３００とは、ネットワークを介して通信可能に接続されている。端末装置２００は、ユーザによって使用される装置であり、例えば、タブレット型コンピュータ、ノート型コンピュータ、デスクトップ型コンピュータ、またはスマートフォンである。ウェブサーバ３００は、検索エンジンを用いて検索結果を表示するための検索結果ページを生成し、端末装置２００に提供するサーバである。

ユーザは、端末装置２００を用いて、端末装置２００の表示部に表示された検索ページに検索クエリを入力する。検索クエリとは、一つの検索ワードまたは複数の検索ワードの組み合わせである。端末装置２００は、ユーザによって入力された検索クエリをウェブサーバ３００に送信する。

ウェブサーバ３００は、端末装置２００から受信した検索クエリをナレッジデータサーバ１００に送信する。ウェブサーバ３００は、送信した検索クエリに対応するエンティティ及びエンティティに関連する画像データをナレッジデータサーバ１００から受信する。ウェブサーバ３００は、受信したエンティティに関連する画像データを含めた検索結果ページを、検索エンジンを用いて生成する。

＜１−２．検索結果ページ＞
図４は、本実施形態に係る端末装置２００の表示部（以下、表示部３１０）に表示される検索結果ページの一例を示す図である。図４に示されるように、表示部３１０には、検索クエリ入力領域３１１と、ナレッジパネル３２０と、検索結果３３０とが含まれる検索結果ページが表示される。ナレッジパネル３２０には、検索クエリに対応するエンティティ３１２と、エンティティ３１２に関連する画像３２２と、エンティティ３１２に関連する関連情報３２３とが含まれる。

図４に示される例においては、検索クエリとして「内閣総理大臣」が入力され、ナレッジパネル３２０には「内閣総理大臣」に関連する画像や様々な情報が表示されている。このように、検索結果３３０だけでなく、ナレッジパネル３２０を表示部３１０に表示することで、検索結果に対するユーザ満足度を向上させることができる。

検索結果ページにナレッジパネル３２０を表示するため、ウェブサーバ３００は、検索クエリに含まれるエンティティに関連する画像データを取得する必要がある。このため、ウェブサーバ３００は、検索クエリに含まれるエンティティを、ナレッジデータサーバ１００に送信する。

上述したように、ナレッジデータサーバ１００の記憶部１２０には、エンティティに画像データが関連付けられたナレッジデータＤ１が記憶されている。所在情報取得部１１７は、記憶部１２０に記憶されたナレッジデータＤ１を参照して、ウェブサーバ３００から受信した検索クエリに対応するエンティティを取得する。また、所在情報取得部１１７は、取得したエンティティに関連する画像データ画像データのＵＲＬを取得する。その後、所在情報取得部１１７は、取得した画像データのＵＲＬをウェブサーバ３００に送信する。

このように、所在情報取得部１１７は、ウェブサーバ３００から検索クエリを受信した場合、検索クエリに対応するエンティティを特定する。このとき、クエリとエンティティ名とが完全一致する場合だけでなく、部分一致または意味的に同一とみなされる程度の相違がある場合も、対応するエンティティとみなしてよい。例えば、「内閣総理大臣」という検索クエリに対して、「ＡＡ総理」や「ＡＡ首相」などが対応するエンティティとみなされる。そして、所在情報取得部１１７は、特定したエンティティと、当該エンティティに対応する画像データとをナレッジデータＤ１から取得する。所在情報取得部１１７は、取得したエンティティ及び画像データを併せて、「表示用データ」としてウェブサーバ３００に返信する。ウェブサーバ３００は、所在情報取得部１１７から受信した「表示用データ」に基づいて、検索結果ページを生成する。所在情報取得部１１７とは、クエリ取得部の一例である。ウェブサーバ３００は、生成した検索結果ページを端末装置２００に送信する。端末装置２００は、ウェブサーバ３００から検索結果ページを受信すると、受信した検索結果収集対象データを用いて検索結果ページ（図４）を表示部３１０に表示する。ここで、所在情報取得部１１７とウェブサーバ３００とのうち一方または双方を含むものが、提供部の一例である。

＜１−３．エンティティ抽出部及び画像データ抽出部の処理＞
図５は、本実施形態に係る画像データ抽出部１１３の処理の概要を示す図である。図５に示す画像ＩＭＧ１及び画像ＩＭＧ２は、収集対象データに含まれる画像データの所在情報によって所在が示される画像の一例である。画像ＩＭＧ１〜２には、いずれも同一のエンティティ（この一例では、「内閣総理大臣」）に関連する画像データである。図５に示す通り、画像ＩＭＧ１の被写体は、「内閣総理大臣」である。収集対象データに含まれる画像ＩＭＧ１に関連するテキストデータは、例えば、「内閣総理大臣」や内閣総理大臣の氏名を示す。エンティティ抽出部１１２は、この画像ＩＭＧ１に関連するテキストデータに基づいて、「内閣総理大臣」をエンティティとして抽出する。画像ＩＭＧ２の被写体は、「内閣総理大臣」及び他者（この一例では、「アメリカ合衆国大統領」）である。収集対象データに含まれる画像ＩＭＧ２に関連するテキストデータは、例えば、「内閣総理大臣と握手を交わすアメリカ合衆国大統領」である。エンティティ抽出部１１２は、この画像ＩＭＧ２に関連するテキストデータに基づいて、「内閣総理大臣」及び「アメリカ合衆国大統領」の２つのエンティティを抽出する。

上述したように、画像データ抽出部１１３は、収集部１１１から入力された収集対象データに含まれるＨＴＭＬデータから、エンティティ抽出部１１２が抽出したエンティティに関連する画像データを抽出する。また、画像データ抽出部１１３は、画像に対して二以上のエンティティが対応付けられた場合、その画像を破棄してもよい。従って、図５の例では、画像ＩＭＧ２が破棄されてもよい。したがって、画像データ抽出部１１３は、収集部１１１が収集した収集対象データに含まれる画像のうち、画像ＩＭＧ１を抽出する。

＜１−４．第１選択部及び第２選択部の処理＞
図６は、本実施形態に係る第２選択部１１５の処理の概要を示す図である。上述したように、第１選択部１１４は、記憶部１２０のナレッジデータＤ１から、エンティティ抽出部１１２が抽出したエンティティに関連する画像データを選択する。本実施形態では、第１選択部１１４は、エンティティ抽出部１１２が抽出したエンティティに関連する画像データとして、図６に示す画像ＩＭＧ３０〜３４をナレッジデータＤ１から選択する。

第２選択部１１５は、画像データ抽出部１１３がから抽出した画像データ（この一例では、画像ＩＭＧ１）と、第１選択部１１４がナレッジデータＤ１から選択した画像データ（この一例では、画像ＩＭＧ３０〜３４）とを取得する。第２選択部１１５は、取得した画像データのうち、被写体の特徴が近い画像データを選択する。具体的には、第２選択部１１５は、取得した画像ＩＭＧのうち、画像間距離が近い画像ＩＭＧを、被写体の特徴が近い画像データとして選択する。より具体的には、第２選択部１１５は、例えば、輪郭抽出処理によって画像ＩＭＧにおける顔領域を特定し、その顔領域の配置、更には顔領域に含まれる顔の各部（目、鼻、口、眉など）のパーツのサイズやレイアウトなどに基づいて、顔の特徴を示す密ベクトル（特徴量の一例）を算出する。そして、算出された密ベクトル間の距離を、画像間距離として取得する。第２選択部１１５は、例えば、特徴量の中央値（例えば平均ベクトル）を算出し、算出した中央値から所定の閾値以下の特徴量である（つまり、他の画像との画像間距離が近い）画像データを選択し、所定の閾値より大きい特徴量である（つまり、他の画像との画像間距離が遠い）画像データを選択しない。なお、第２選択部１１５は、このような処理を外部装置またはＡＰＩ（Application Programming Interface）などに依頼し、結果を取得してもよい。密ベクトルは、例えば、ディープラーニング等の機械学習によって取得されてもよい。なお、第２選択部１１５は、特徴量の中央値に代えて、特徴量の平均値に基づいて画像データを選択してもよく、その他の基準に基づいて画像データを選択してもよい。

図６に示す画像ＩＭＧ１及び画像ＩＭＧ３０〜３４のうち、画像ＩＭＧ１、画像ＩＭＧ３０及び画像ＩＭＧ３１は、エンティティが示す被写体（この一例では、「内閣総理大臣」）の顔の領域の画像ＩＭＧに占める割合が大きい画像データである。この場合、画像ＩＭＧ１、画像ＩＭＧ３０及び画像ＩＭＧ３１には、被写体の顔が大きく示されているため、画像ＩＭＧ１、画像ＩＭＧ３０及び画像ＩＭＧ３１の画像間距離が近くなる可能性が高い。これに対し、画像ＩＭＧ３２〜３４は、エンティティが示す被写体の顔の領域の占める割合が小さい画像データである。この場合、画像ＩＭＧ３２〜３４には、被写体の顔が小さく示されるため、画像ＩＭＧ１との画像間距離が遠くなる可能性が高い。この一例では、第２選択部１１５は、画像ＩＭＧ１及び画像ＩＭＧ３０〜３４のうち、画像ＩＭＧ１、画像ＩＭＧ３０及び画像ＩＭＧ３１を、エンティティに関連する画像データとして選択する。

更新部１１６は、第２選択部１１５が選択した画像データを、エンティティに関連する画像データとしてナレッジデータＤ１を更新し、記憶部１２０に記憶させる。

＜１−５．ナレッジデータサーバの動作＞
図７は、本実施形態のナレッジデータサーバ１００の動作の一例を示す流れ図である。収集部１１１は、画像データおよびＨＴＭＬデータを含む収集対象データを、ネットワークＮＷを介してクロール対象機器ＤＶから収集する（Ｓ１１０）。次に、エンティティ抽出部１１２は、収集部１１１によって収集された収集対象データからエンティティを抽出する（Ｓ１２０）。次に、画像データ抽出部１１３は、収集部１１１によって収集された収集対象データから、エンティティ抽出部１１２によって抽出されたエンティティに関連する画像データを抽出する（Ｓ１３０）。次に、第１選択部１１４は、ナレッジデータＤ１として記憶部１２０に記憶される画像データのうち、エンティティ抽出部１１２によって抽出されたエンティティに関連する画像データを選択する（Ｓ１４０）。次に、第２選択部１１５は、画像データ抽出部１１３によって抽出された画像データと、第１選択部１１４によって選択された画像データとを含む画像データの集合の中で、他の画像データとの画像間距離が遠いものを除外する（Ｓ１５０）。画像データ抽出部１１３は、例えば、画像データの集合の中で、画像間距離が近い画像データを所定の数だけ選択する構成であってもよく、画像データの集合の中で、画像間距離の閾値より画像間距離が遠い画像データを除外する構成であってもよい。更新部１１６は、第２選択部１１５によって除外されずに残った画像データをエンティティに関連する画像データとしてナレッジデータＤ１を更新する（Ｓ１６０）。

以上説明したように、本実施形態のナレッジデータサーバ１００は、画像データ及びテキストデータを含む収集対象データを収集する収集部１１１と、収集部１１１により収集された収集対象データに含まれるテキストデータから、互いに関連する画像データとエンティティの組を抽出する抽出部（エンティティ抽出部１１２及び画像データ抽出部１１３）と、エンティティによって関連付けられて記憶部１２０に記憶された画像データのうち、抽出部により抽出されたエンティティと一致するエンティティに関連付けられた画像データを選択する第１選択部１１４と、収集部１１１により抽出された画像データと、第１選択部１１４により選択された画像データとを含む画像の集合の中で、画像の特徴が近い画像データを選択する第２選択部１１５と、第２選択部１１５により選択された画像データを、収集部１１１によって抽出されたエンティティに関連する画像データとして記憶部１２０に記憶されたナレッジデータＤ１を更新する更新部１１６と、を備える。
これによって、本実施形態のナレッジデータサーバ１００は、画像とエンティティとを関連付けたナレッジデータＤ１を適切に更新することができる。記憶部１２０にエンティティと、エンティティに関連する画像データとをナレッジデータＤ１として記憶することにより、端末装置２００の表示部３１０に表示される画像であって、検索クエリに含まれるエンティティに関連する情報（この一例では、ナレッジパネル３２０）として、画像データを提供することができる。これにより、本実施形態のナレッジデータサーバ１００は、検索結果に対するユーザ満足度を向上させることができる。

また、本実施形態のナレッジデータサーバ１００において、第２選択部１１５は、画像データの中の被写体に関する特徴量に基づく画像間距離が近い画像データを、画像の特徴が近い画像データとして選択する、ここで、ナレッジデータＤ１には、あるエンティティが主な被写体ではない画像データが含まれる場合がある。あるエンティティが主な被写体ではない画像データとは、例えば、複数の人物が被写体である画像データ等である。ただし、ナレッジデータＤ１には、あるエンティティが主な被写体ではない画像データが含まれていても、あるエンティティが主な被写体である画像データの方が多く含まれる。したがって、画像間距離が近い画像データを選択することによって、あるエンティティが主な被写体である画像データを選択することができる。本実施形態のナレッジデータサーバ１００は、あるエンティティによって示される人物の顔の特徴量に基づく画像間距離を用いて、画像データを選択し、ナレッジデータＤ１として記憶する。これにより、本実施形態のナレッジデータサーバ１００は、ナレッジデータＤ１に含まれる画像データをより精度高くエンティティが主な被写体である画像データに更新することができる。

＜１−６．ナレッジデータ更新に伴うデッドリンクの防止＞
なお、上述では、ナレッジデータサーバ１００は、ウェブサーバ３００に対して、記憶部１２０に記憶される画像データのＵＲＬを直接提供する場合について説明したが、これに限られない。ここで、記憶部１２０に記憶される画像データは、上述した構成によって、エンティティに関連する画像データとして選択されず、削除される場合がある。ここで、端末装置２００のキャッシュに削除された画像データのＵＲＬが残っている場合など、当該画像データを参照することができず、検索結果に対するユーザ満足度が低下する場合がある。これに対応するため、ナレッジデータサーバ１００は、例えば、ウェブサーバ３００の提供用のナレッジデータＤ１を記憶する記憶部（以下、提供用記憶部２０１（不図示））を備える構成であってもよい。この場合、ナレッジデータサーバ１００は、記憶部１２０に記憶されるナレッジデータＤ１が更新部１１６によって更新された場合であっても、所定の期間は提供用記憶部２０１のナレッジデータＤ１に当該更新を反映せず、所定の期間が経過した後に反映する構成であってもよい。これにより、本実施形態のナレッジデータサーバ１００は、検索結果に対するユーザ満足度を向上させることができる。

また、上述した画像データ抽出部１１３は、エンティティを１つだけ抽出された画像データを抽出する場合について説明したが、これに限られない。画像データ抽出部１１３は、例えば、エンティティ抽出部１１２によって複数のエンティティを抽出された画像データであっても、抽出された複数のエンティティがずれも同義語のエンティティであれば、当該画像データを抽出してもよい。この場合、画像データ抽出部１１３は、同義語のエンティティを示す情報（例えば、同義語のエンティティの辞書情報）に更に基づいて画像データを抽出する。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１００…ナレッジデータサーバ
１１０…制御部
１１１…収集部
１１２…エンティティ抽出部
１１３…画像データ抽出部
１１４…第１選択部
１１５…第２選択部
１１６…更新部
１１７…所在情報取得部
１２０…記憶部
２００…端末装置
２０１…提供用記憶部
３００…ウェブサーバ
３１０…表示部
３１１…検索クエリ入力領域
３１２…エンティティ
３２０…ナレッジパネル
３３０…検索結果
Ｄ１…ナレッジデータ
ＤＶ…クロール対象機器
ＥＩＤ…エンティティ識別情報
ＩＭＧ、ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、ＩＭＧ３０、ＩＭＧ３１…画像

Claims (6)

1. 画像データ及びテキストデータを含む収集対象データを収集する収集部と、
   前記収集部により収集された前記収集対象データに含まれる前記テキストデータから、前記収集対象データに含まれる画像データに関連するエンティティを抽出し、前記収集対象データに含まれる画像データのうち抽出したエンティティと関連する画像データを前記エンティティと関連付ける抽出部と、
   エンティティによって関連付けられた画像データを予め記憶した記憶部に記憶された画像データのうち、前記抽出部により抽出されたエンティティと一致するエンティティに関連付けられた画像データを選択する第１選択部と、
   前記抽出部により抽出された画像データと、前記第１選択部により選択された画像データとを含む画像の集合の中で、画像の特徴が近い画像データを選択する第２選択部と、
   前記第２選択部により選択された画像データを、前記抽出部によって抽出された前記エンティティに関連する画像データとして前記記憶部に記憶されたデータを更新する更新部と、
   を備える情報処理装置。
2. 前記第２選択部は、
   前記画像データの中の被写体に関する特徴量に基づく画像間距離が近い画像データを、前記画像の特徴が近い画像データとして選択する、
   請求項１に記載の情報処理装置。
3. 前記特徴量は、前記被写体に関連し、機械学習によって学習される密ベクトルである、
   請求項２に記載の情報処理装置。
4. ユーザが使用する端末装置によって送信されたクエリを取得するクエリ取得部と、
   クエリに関連するエンティティを特定し、特定したエンティティと、前記特定したエンティティに関連する画像データとの組み合わせを前記記憶部から読み出して前記端末装置に提供する提供部と、
   を備える請求項１から請求項３のいずれか一項に記載の情報処理装置。
5. コンピュータが、
   画像データ及びテキストデータを含む収集対象データを収集し、
   収集された前記収集対象データに含まれる前記テキストデータから、前記収集対象データに含まれる画像データに関連するエンティティを抽出し、前記収集対象データに含まれる画像データのうち抽出したエンティティと関連する画像データを前記エンティティと関連付け、
   エンティティによって関連付けられた画像データを予め記憶した記憶部に記憶された画像データのうち、抽出されたエンティティと一致するエンティティに関連付けられた画像データを選択し、
   抽出された画像データと、選択された画像データとを含む画像の集合の中で、画像の特徴が近い画像データを選択し、
   選択された画像の特徴が近い画像データを、抽出された前記エンティティに関連する画像データとして前記記憶部に記憶されたデータを更新する、
   情報処理方法。
6. コンピュータに、
   画像データ及びテキストデータを含む収集対象データを収集させ、
   収集された前記収集対象データに含まれる前記テキストデータから、前記収集対象データに含まれる画像データに関連するエンティティを抽出し、前記収集対象データに含まれる画像データのうち抽出したエンティティと関連する画像データを前記エンティティと関連付けさせ、
   エンティティによって関連付けられた画像データを予め記憶した記憶部に記憶された画像データのうち、抽出されたエンティティと一致するエンティティに関連付けられた画像データを選択させ、
   抽出された画像データと、選択された画像データとを含む画像の集合の中で、画像の特徴が近い画像データを選択させ、
   選択された画像の特徴が近い画像データを、抽出された前記エンティティに関連する画像データとして前記記憶部に記憶されたデータを更新させる、
   プログラム。

Images