JP7304220B2

JP7304220B2 - 素材検索システム、素材検索方法、素材検索装置、およびプログラム

Info

Publication number: JP7304220B2
Application number: JP2019125022A
Authority: JP
Inventors: 隆人小柳; 啓介角田; 健太郎鈴木; 直也宮下; 大祐箕浦
Original assignee: NTT Comware Corp
Current assignee: NTT Comware Corp
Priority date: 2019-07-04
Filing date: 2019-07-04
Publication date: 2023-07-06
Anticipated expiration: 2039-07-04
Also published as: JP2021012452A

Description

本発明は、素材検索システム、素材検索方法、素材検索装置、およびプログラムに関する。

従来より、例えば、大量の電子文書から所望の文書を検索する技術が知られている（例えば下記の特許文献１）。特許文献１に記載された類似文書検索システムは、電子文書における部分領域のレイアウトに基づくクエリを用いて検索を行う。

具体的に、類似文書検索システムは、電子文書内の部分領域の大きさと形と位置に関する特徴に基づいて予め設定された複数の項目と複数の電子文書を格納し、複数の電子文書内の部分領域ごとに、当該部分領域を示す部分領域情報を、複数の項目のうちの当該部分領域に該当する項目と、当該部分領域を含む電子文書と、に対応付けて格納する。そして、類似文書検索システムは、検索用部分領域を受け付け、当該検索用部分領域の大きさと形と位置に関する特徴情報を抽出し、複数の項目の中で検索用部分領域が該当する検索用項目を、特徴情報を用いて特定し、検索用項目に対応する部分領域情報にて示された部分領域を備えた電子文書を特定する。

国際公開第２００９／０８７８１５号

上述した類似文書検索システムは、予め格納した部分領域と、検索用部分領域との類似度を、部分領域の重心座標、面積および縦横比と、検索用部分領域の重心座標、面積および縦横比と、を用いて計算するとしている。したがって、類似文書検索システムは、部分領域の内部構成について類似度を計算することができない。電子文書に含まれる部分領域の内部構成を検索する手法としては、例えば、全文検索技術と、画像検索技術が挙げられる。

全文検索技術は、電子文書に含まれるワードを用い、当該ワードを含む電子文書の検索を行うことが可能である。しかし、全文検索技術は、広く使われるワードを検索キーに用いた場合には多くの電子文書を検索してしまう。すなわち、全文検索技術は、検索結果にノイズが多い場合があるため、所望の電子文書を発見することが困難である場合である。また、全文検索技術は、検索対象のワードを含む電子文書を持っていても、当該電子文書から検索に用いるワードを探し出して入力する手間がかかるといった課題もある。

画像検索技術は、事前に計算された画像のハッシュ値と一致するハッシュ値を持つ画像を検索する技術である。このため、画像検索技術によれば、電子文書を画像に変換し、画像のハッシュ値と同じハッシュ値を持つ画像を検索すれば、高い精度で電子文書を検索することができる。しかし、この画像検索技術は、転用により一部が変更された画像を発見することが困難であるため、所望の電子文書を検索することができない場合がある。

本発明は、上記の課題に鑑みてなされたものであって、電子文書の一部（素材）が転用されても、高い精度で類似する電子文書の素材を検索することができる素材検索システム、素材検索方法、素材検索装置、およびプログラムを提供することを目的としている。

（１）本発明の一態様は、複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出す切り出し部と、前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出する第１の特徴抽出部と、複数の表示オブジェクトを含む素材であって検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、前記第２の素材の特徴を抽出する第２の特徴抽出部と、前記切り出し部により切り出された前記第１の素材毎に、前記第１の特徴抽出部により抽出された前記第１の素材の特徴と、前記第２の特徴抽出部により抽出された前記第２の素材の特徴とを比較する比較部と、前記比較部による比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索する検索部と、を備え、前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第１の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第２の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、素材検索システムである。

（２）本発明の一態様は、上記の素材検索システムであって、前記比較部は、前記切り出し部により切り出された前記第１の素材毎に、前記第１の特徴抽出部により抽出された表示オブジェクトごとの特徴と、前記第２の特徴抽出部により抽出された表示オブジェクトごとの特徴とを比較し、前記検索部は、前記比較部により比較された表示オブジェクトごとの比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索してよい。

（３）本発明の一態様は、上記の素材検索システムであって、前記比較部は、前記第１の素材における表示オブジェクトごとの特徴が、前記第２の素材の表示オブジェクトごとの特徴から所定の閾値を超えるか否かを判定してよい。

（４）本発明の一態様は、上記の素材検索システムであって、前記第１の表示情報に基づく第１の画像を生成する第１の画像処理部と、前記比較部による比較結果に基づいて、前記第１の画像処理部により生成された第１の画像に、前記第２の素材に含まれる表示オブジェクトに類似する表示オブジェクトを示す検索結果画像を重畳させたコンテンツを生成するコンテンツ生成部と、を備えてよい。

（５）本発明の一態様は、バッチサーバ装置が、複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出すステップと、前記バッチサーバ装置が、前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出するステップと、複数の表示オブジェクトを含む素材であって、検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、第２の素材の特徴を抽出するステップと、前記バッチサーバ装置が、前記第１の素材毎に、前記第１の素材の特徴と、前記第２の素材の特徴とを比較するステップと、前記バッチサーバ装置が、比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索するステップと、を含み、前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第１の素材の特徴を抽出するステップは、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第２の素材の特徴を抽出するステップは、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、素材検索方法である。

（６）本発明の一態様は、複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出す切り出し部と、前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出する第１の特徴抽出部と、複数の表示オブジェクトを含む素材であって検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、第２の素材の特徴を抽出する第２の特徴抽出部と、前記切り出し部により切り出された前記第１の素材毎に、前記第１の特徴抽出部により抽出された前記第１の素材の特徴と、前記第２の特徴抽出部により抽出された前記第２の素材の特徴とを比較する比較部と、前記比較部による比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索する検索部と、を備え、前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第１の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第２の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、素材検索装置である。

（７）本発明の一態様は、コンピュータに、複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出させ、前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出させ、複数の表示オブジェクトを含む素材であって検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、第２の素材の特徴を抽出させ、前記第１の素材毎に、前記第１の素材の特徴と、前記第２の素材の特徴とを比較させ、比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索させ、前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、プログラムである。

本発明の一態様によれば、電子文書の一部（素材）が転用されても、高い精度で類似する電子文書の素材を検索することができる。

本発明を適用した第１実施形態に係る素材検索システムの一例を示すブロック図である。実施形態の素材検索システムにおける事前処理の一例を示すフローチャートである。実施形態の素材検索システムにおける検索処理の一例を示すフローチャートである。プレゼンテーション文書ファイルにおけるスライドの一例を示す図である。クラスタリング処理の一例を示す図である。素材を切り分ける処理の一例を示す図である。特徴抽出処理の一例を示す図である。第２の素材の選択処理の一例を示す図である。ユーザ端末装置１００に表示させる表示画面の一例である。ユーザにより選択された範囲の一例を示す図である。表示オブジェクトＩＤと、距離の特徴値と、角度の特徴値と、サイズの特徴値と、形状の特徴値との関係を示す図である。表示オブジェクトＩＤと、距離の許容範囲と、角度の許容範囲と、サイズの許容範囲と、形状の特徴値との関係を示す図である。第１の素材の素材ＩＤと、選択範囲に含まれる表示オブジェクトの表示オブジェクトＩＤとの関係を示す図である。検索結果を提示する画像の一例を示す図である。実施形態の効果の一例を示す図であって、（ａ）は対象のスライドのうち、ユーザの操作により選択された範囲を示す図であり、（ｂ）は検索対象の第２の素材を示す図である。実施形態の効果の一例を示す図であって、（ａ）は素材が横方向に拡大されて転用されたスライドを示す図であり、（ｂ）は素材が縦方向に拡大されて転用されたスライドを示す図であり、（ｃ）は素材がスライド全体に拡大されて転用されたスライドを示す図であり、（ｄ）は素材のうち一部の表示オブジェクト（３）が削除されて転用されたスライドを示す図であり、（ｅ）は素材に対して一部の表示オブジェクトが変更されて転用されたスライドを示す図であり、（ｆ）は素材に対して他の表示オブジェクト（Ａ）が追加されて転用されたスライドを示す図である。事前処理におけるプレゼンテーション文書ファイルの監視処理の一例を示すシーケンス図である。事前処理における内部データの抽出処理の一例を示すシーケンス図である。事前処理におけるスライドの画像化処理の一例を示すシーケンス図である。事前処理における特徴抽出処理の一例を示すシーケンス図である。事前処理における検索リソースの生成処理の一例を示すシーケンス図である。検索処理の一例を示すシーケンス図である。

以下、本発明を適用した素材検索システム、素材検索方法、素材検索装置、およびプログラムを、図面を参照して説明する。

本発明を適用した素材検索システムは、電子文書として、例えば、プレゼンテーション文書を用いて、当該プレゼンテーション文書に含まれる素材を検索する。素材とは、プレゼンテーション文書に含まれる、複数の表示オブジェクトを含むデータである。表示オブジェクトとは、例えば、所定の形状を有する図形オブジェクトである。なお、表示オブジェクトは、例えば、クリップアートと称される画像であってもよく、外部から取り込んだグラフィック画像であってもよく、既存の画像処理プログラムなどで作成した静止画像や動画画像であってもよい。

以下の実施形態において、素材検索システムは、各プレゼンテーション文書における各スライドを複数の素材に分割し、素材ごとに検索結果を提供することを実現する。これにより、素材検索システムは、例えば、ユーザによりプレゼンテーション文書に含まれる任意のスライドのうち一部の素材を選択した場合、当該素材に含まれる複数の表示オブジェクトに基づいて、当該選択された素材に類似する素材を検索結果として抽出し、提供することができる。

なお、実施形態において、電子文書の一例がプレゼンテーション文書であり、プレゼンテーション文書に一または複数のスライドが含まれ、各スライドには複数の表示オブジェクトが含まれるものとして説明する。しかし、実施形態が適用される範囲はプレゼンテーション文書に限定されず、複数の表示オブジェクトを含む電子文書であれば適用可能であることは勿論である。

＜システム構成例＞
図１は、本発明を適用した第１実施形態に係る素材検索システムの一例を示すブロック図である。素材検索システムは、例えば、ユーザ端末装置１００と、検索サーバ装置２００と、バッチサーバ装置３００と、管理用データベース装置４１０と、ストレージ装置４２０と、ファイル蓄積装置５００とを備える。ユーザ端末装置１００および検索サーバ装置２００は、ネットワークＮＷに接続される。ネットワークＮＷに接続される各装置は、ＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）や無線通信モジュールなどの通信インターフェースを備えている。ネットワークＮＷは、例えば、汎用のインターネット、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、セルラー網などを含む。また、検索サーバ装置２００、バッチサーバ装置３００、管理用データベース装置４１０、ストレージ装置４２０、およびファイル蓄積装置５００は、例えば、アクセスが制限されたＬＡＮ等により相互に通信接続される。なお、実施形態において、検索サーバ装置２００とバッチサーバ装置３００は別体であるが、一体の検索装置であってよい。

ユーザ端末装置１００は、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータ等である。ユーザ端末装置１００は、例えば、通信部１０２と、表示部１０４と、受付部１０６と、クエリ生成部１０８とを備える。通信部１０２は、例えばＮＩＣである。表示部１０４は、例えば液晶ディスプレイである。受付部１０６は、例えば、タッチセンサやマイク等のユーザの操作を受け付ける機器である。クエリ生成部１０８は、受付部１０６で受け付けたユーザの操作の操作に基づいて検索クエリを生成する。また、ユーザ端末装置１００は、ブラウザやアプリケーションプログラムなどのＵＡ（ＵｓｅｒＡｇｅｎｔ）を備える（不図示）。ユーザ端末装置１００は、ＵＡとしてのブラウザを利用して、検索サーバ装置２００に検索クエリを送信したり、検索サーバ装置２００から各種のコンテンツデータを受信する。なお、クエリ生成部１０８やＵＡといった機能部は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ-ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

検索サーバ装置２００は、ユーザ端末装置１００に対して素材の検索サービスを提供するサーバ装置である。検索サーバ装置２００は、例えば、例えば、ＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）部２０２と、検索部２０４と、結果生成部２０６とを備える。なお、ＡＰＩ部２０２、検索部２０４、および結果生成部２０６といった機能部は、例えばＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡ等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

ＡＰＩ部２０２は、ユーザ端末装置１００からの要求を受け付けた場合に、ユーザ端末装置１００からの要求に対する応答をユーザ端末装置１００に送信するインターフェースとして機能する。検索部２０４は、ユーザ端末装置１００から受け付けた検索クエリに基づいて検索処理を実行する。結果生成部２０６は、検索部２０４による検索処理の検索結果を生成する。

バッチサーバ装置３００は、例えば、監視部３０２と、データ抽出部３０４と、画像生成部３０６と、クラスタリング部３０８と、マッピング部３１０と、特徴抽出部３１２とを備える。監視部３０２、データ抽出部３０４、画像生成部３０６、クラスタリング部３０８、マッピング部３１０、および特徴抽出部３１２といった機能部は、例えばＣＰＵ等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡ等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

監視部３０２は、ファイル蓄積装置５００に蓄積されたプレゼンテーション文書ファイルを監視し、処理対象のプレゼンテーション文書ファイルを抽出する。データ抽出部３０４は、プレゼンテーションファイルから内部データを抽出する。内部データは、プレゼンテーション文書ファイルに含まれる情報であって各表示オブジェクトを定義するデータである。画像生成部３０６は、プレゼンテーション文書ファイルに含まれる各スライドを画像化する。クラスタリング部３０８は、各スライドに含まれる複数の表示オブジェクトから素材を切り出す。マッピング部３１０は、各スライドの画像と、当該画像における表示オブジェクトおよび素材とのマッピング処理を行う。特徴抽出部３１２は、各表示オブジェクトの特徴を抽出する。

管理用データベース装置４１０は、例えば、ＮＩＣ、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の記憶装置、およびデータベース管理ソフトウェア等を含む。管理用データベース装置４１０には、例えば、プレゼンテーション文書ファイルＩＤ、スライドＩＤ、素材ＩＤ、表示オブジェクトＩＤ、および画像ファイルＩＤ等を対応付けた管理情報が格納されている。また、管理用データベース装置４１０には、例えば素材ＩＤに対応して特徴ファイルや画像のファイルの格納場所情報が格納されている。

ストレージ装置４２０は、例えば、ＮＩＣ、ＨＤＤ等の記憶装置、および制御用ソフトウェア等を含む。ストレージ装置４２０には、例えば、内部データファイル、特徴ファイル、画像ファイル、およびプレゼンテーション文書ファイルの保存場所情報等が格納されている。

ファイル蓄積装置５００は、ＮＩＣ、ＨＤＤ等の記憶装置、および制御用ソフトウェア等を含む。ファイル蓄積装置５００には、プレゼンテーション文書ファイルが格納される。ファイル蓄積装置５００には、例えば、特定の社内で共有されるプレゼンテーション文書ファイルが格納される。

以下、実施形態の素材検索システムにおける全体処理について説明する。素材検索システムにおける全体処理は、例えば、事前処理と、検索処理とを含む。
＜事前処理＞
図２は、実施形態の素材検索システムにおける事前処理の一例を示すフローチャートである。
まず、監視部３０２は、ファイル蓄積装置５００に処理対象のプレゼンテーション文書ファイルを発見する（ステップＳ１００）。次にデータ抽出部３０４は、プレゼンテーション文書ファイルを展開することで内部データを抽出する（ステップＳ１０２）。プレゼンテーション文書ファイルを展開するとは、プレゼンテーション文書ファイルに所定の処理（変換、解析など）を施すことによりプレゼンテーション文書ファイルに固有の情報を抽出することである。プレゼンテーション文書ファイルを展開するとは、例えばパワーポイントファイルにおいて埋め込まれたＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）データを解析して、特徴抽出に必要な情報を取得することである。また、画像生成部３０６は、プレゼンテーション文書ファイルに含まれる各スライドを画像化する（ステップＳ１０４）。

次にクラスタリング部３０８は、各スライドから素材を切り出す（ステップＳ１０６）。以下、事前処理において切り出された素材を、第１の素材と記載する。次にマッピング部３１０は、画像化された各スライドの画像と、各スライドから切り出された素材とのマッピングを行う（ステップＳ１０８）。また、特徴抽出部３１２は、素材ごとに特徴を抽出し、特徴ファイルを作成する（ステップＳ１１０）。次にバッチサーバ装置３００は、管理用データベース装置４１０に管理情報等と登録すると共に、特徴ファイルや画像ファイルをストレージ装置４２０に登録する（ステップＳ１１２）。

＜検索処理＞
図３は、実施形態の素材検索システムにおける検索処理の一例を示すフローチャートである。
まず、ＡＰＩ部２０２は、ユーザ端末装置１００からプレゼンテーション文書ファイルを受信したか否かを判定する（ステップＳ２００）。ＡＰＩ部２０２は、プレゼンテーション文書ファイルを受信していない場合（ステップＳ２００：ＮＯ）、待機し、プレゼンテーション文書ファイルを受信した場合（ステップＳ２００：ＹＥＳ）、ステップＳ２０２に処理を進める。

次に検索部２０４は、受信したプレゼンテーション文書ファイルに含まれる各スライドを画像化し（ステップＳ２０２）、ユーザ端末装置１００に送信する（ステップＳ２０４）。次に検索部２０４は、検索クエリを受信したか否かを判定する（ステップＳ２０６）。検索部２０４は、検索クエリを受信していない場合（ステップＳ２０６：ＮＯ）、待機し、検索クエリを受信した場合（ステップＳ２０６：ＹＥＳ）、ステップＳ２０８に処理を進める。なお、検索部２０４は、画像を送信した後から所定時間が経過した場合に、タイムアウトとして本フローチャートの処理を終了してよい。

次に検索部２０４は、プレゼンテーション文書ファイルを展開することで、検索クエリに含まれる素材に対応する表示オブジェクトの内部データを抽出し（ステップＳ２０８）、素材の特徴を抽出する（ステップＳ２１０）。なお、以下の説明において検索クエリに含まれる素材を、第２の素材と記載する。

次に検索部２０４は、第２の素材の特徴と、第１の素材の特徴とを比較して、第２の素材の特徴に類似する第１の素材を検索する（ステップＳ２１２）。次に検索部２０４は、検索結果に基づき、第２の素材に類似する第１の素材を含むスライドの画像を取得し、当該スライドの画像に対し、第２の素材に含まれる表示オブジェクトを表すアイコン画像をマッピングする（ステップＳ２１４）。検索部２０４は、検索結果コンテンツをユーザ端末装置１００に送信する（ステップＳ２１６）。検索結果コンテンツは、例えば、第１の素材を含むスライドの画像に対してアイコン画像をマッピングした画像を表示するためのデータである。

以下、上述した事前処理および検索処理における具体的な処理内容について説明する。
＜素材の切り出し処理（ステップＳ１０６）＞
図４は、プレゼンテーション文書ファイルにおけるスライドの一例を示す図である。スライドには、表示オブジェクトＩＤが１～５の５個の表示オブジェクトが含まれているものとする。

図５は、クラスタリング処理の一例を示す図である。クラスタリング処理の処理前において、複数の表示オブジェクトは、５個のクラスタに分割されている。バッチサーバ装置３００は、各表示オブジェクトの中心位置を特定し、中心間距離が近い表示オブジェクト同士を結合する。まず、バッチサーバ装置３００は、表示オブジェクトＩＤ「３」の表示オブジェクトと、表示オブジェクトＩＤ「４」の表示オブジェクトとを結合することで、４個のクラスタを形成する。次にバッチサーバ装置３００は、表示オブジェクトＩＤ「３」と表示オブジェクトＩＤ「４」とが結合された表示オブジェクトと、表示オブジェクトＩＤ「５」の表示オブジェクトとを結合することで、３個のクラスタを形成する。バッチサーバ装置３００は、表示オブジェクトＩＤ「１」の表示オブジェクトと、表示オブジェクトＩＤ「２」の表示オブジェクトとを結合することで、２個のクラスタを形成する。次にバッチサーバ装置３００は、２個のクラスタを結合することで１個のクラスタを形成する。

図６は、素材を切り分ける処理の一例を示す図である。バッチサーバ装置３００は、表示オブジェクト間の距離に基づく図６に示すような樹形図において、Cophenetic相関係数(類似度)が閾値を下回る範囲でクラスタを分割する。これにより、バッチサーバ装置３００は、表示オブジェクトＩＤが「４，３，５」の３個の表示オブジェクトを含む第１の素材と、表示オブジェクトＩＤが「２，１」の２個の表示オブジェクトを含む第１の素材とにクラスタリングすることができる。なお、素材を切り分ける処理においては、１枚のスライドに対し、複数パターンの素材を切り分けてもよい。例えば、上記において、表示オブジェクトＩＤが「４，３，５」の３個の表示オブジェクトを含む第１の素材と、表示オブジェクトＩＤが「２，１」の２個の表示オブジェクトを含む第１の素材に加えて、当該スライドのオブジェクトをすべて含む素材、すなわちオブジェクトＩＤが「１，２，３，４，５」の５個の表示オブジェクトを含む第１の素材を抽出してもよい。なお、実施形態は、既存技術のagglomerative hierarchical clustering＋ward法という手法を利用したが、これに限定されず、オブジェクトをｎ個の素材にグルーピングできる処理であればよい。

＜特徴抽出処理（ステップＳ１１０）＞
図７は、特徴抽出処理の一例を示す図である。なお、以下の説明において、特徴抽出処理は、２つの表示オブジェクトを含む第１の素材を処理対象とするものとする。
バッチサーバ装置３００は、第１の素材に含まれる表示オブジェクトごとに、当該表示オブジェクトの形状に基づく特徴を抽出する。バッチサーバ装置３００は、内部データ（ＸＭＬデータ）から形状（Geometry）の特徴値を抽出する。形状の特徴値は、形状に対応して予め内部データに割り当てられている。例えば、表示オブジェクトの形状が同じ四角形の場合には同じ特徴値となり、表示オブジェクトの形状が円形である場合には四角形の表示オブジェクトとは異なる特徴値になる。

バッチサーバ装置３００は、まず、第１の素材の基準点を設定する（図７（Ａ））。基準点は、例えば、第１の素材における中央点である。バッチサーバ装置３００は、表示オブジェクトごとに距離Ｌおよび角度θを演算する（図７（Ｂ））。距離Ｌは、基準点から表示オブジェクトの中心点までの距離である。距離Ｌの特徴値は、例えば、基準点から第１の素材の頂点までの距離を１とした場合における、基準点から各表示オブジェクトの中心点までの距離に応じた値で表される。角度θの特徴値は、水平線と、基準点と表示オブジェクトとを結ぶ線とのなす角度（degree)である。バッチサーバ装置３００は、表示オブジェクトごとに、第１の素材のサイズを１にした場合における表示オブジェクトのサイズＳの特徴値を演算する（図７（Ｃ））。

なお、図７には、表示オブジェクトＩＤが１の距離等を示しているが、表示オブジェクトＩＤが「２」の表示オブジェクトについても同様に特徴抽出処理を行うものとする。これにより、バッチサーバ装置３００は、表示オブジェクトＩＤが「１」の表示オブジェクトの特徴値、および表示オブジェクトＩＤが「１」の表示オブジェクトの特徴値を含む第１の素材の特徴を抽出する。

＜第２の素材の選択処理＞
図８は、第２の素材の選択処理の一例を示す図である。ユーザ端末装置１００は、図８（Ａ）に示すように、表示オブジェクトＩＤ「１～５」の表示オブジェクトのうち、表示オブジェクトＩＤが１，２の表示オブジェクトに相当する画像範囲を選択したものとする。ユーザ端末装置１００は、表示オブジェクトＩＤが１，２の表示オブジェクトに相当する画像範囲を示す情報を含む検索クエリを生成し、当該検索クエリを検索サーバ装置２００に送信する。

検索サーバ装置２００は、検索クエリからユーザの操作により選択された画像範囲の情報に基づいて、第２の素材を認識する。検索サーバ装置２００は、図８（Ｂ）に示すように、表示オブジェクトＩＤが「１，２」の表示オブジェクトの端部を繋いで形成される矩形領域を第２の素材（検索対象素材）として認識する。そして、検索サーバ装置２００は、バッチサーバ装置３００と同様に、第２の素材の表示オブジェクトごとに、形状の特徴値、角度の特徴値、およびサイズの特徴値を算出する。これにより、検索サーバ装置２００は、表示オブジェクトＩＤが「１」の表示オブジェクトの特徴値、および表示オブジェクトＩＤが「１」の表示オブジェクトの特徴値を含む第２の素材の特徴を抽出する。

検索サーバ装置２００は、第２の素材の特徴に類似する第１の素材の特徴を検索する。このとき、検索サーバ装置２００は、第２の素材の特徴に一致する第１の素材の特徴を検索してよいが、これに限定されず、第２の素材の特徴に対して所定の許容範囲に含まれる第１の素材の特徴を抽出してよい。検索サーバ装置２００は、図８（Ｃ）に示すように、距離Ｌ、角度θ、およびサイズＳについて許容範囲を設定してよい。許容範囲は、検索サーバ装置２００において設定してもよく、ユーザの操作に基づく許容範囲であってよい。ユーザの操作に基づく許容範囲は、例えば、検索クエリに含まれることによって検索サーバ装置２００に通知されてよい。

＜検索処理の具体例＞
以下、検索処理の具体例について説明する。
図９は、ユーザ端末装置１００に表示させる表示画面の一例である。ユーザ端末装置１００は、プレゼンテーション文書ファイルの検索サービスを受けるため、検索対象のプレゼンテーション文書ファイルを選択する。ユーザ端末装置１００は、ユーザの操作に基づいて、「○○プレゼン資料.pptx」というプレゼンテーション文書ファイルを選択し、アップロードボタンを選択すると、○○プレゼン資料.pptxを検索サーバ装置２００に送信する。

その後、ユーザ端末装置１００は、アップロードした○○プレゼン資料に含まれるスライド画像を受信し、表示画面に表示させる。ユーザ端末装置１００は、ユーザの操作に基づいて、スライド画像のうち、３つの表示オブジェクトを含む範囲（図中の点線範囲）が選択され、検索ボタンが選択された場合に、選択範囲を示す情報を含む検索クエリを検索サーバ装置２００に送信する。検索サーバ装置２００は、選択範囲を示す情報に基づき、第２の素材を認識する。

図１０は、ユーザにより選択された範囲の一例を示す図である。検索サーバ装置２００は、ユーザの操作により選択された３つの表示オブジェクトにそれぞれ１～３の表示オブジェクトＩＤを与える。

図１１は、表示オブジェクトＩＤと、距離の特徴値と、角度の特徴値と、サイズの特徴値と、形状の特徴値との関係を示す図である。検索サーバ装置２００は、図１１に示すような特徴ファイルを作成する。

図１２は、表示オブジェクトＩＤと、距離の許容範囲と、角度の許容範囲と、サイズの許容範囲と、形状の特徴値との関係を示す図である。検索サーバ装置２００は、例えば検索クエリに含まれる許容範囲の情報に基づいて、図１２に示す許容範囲データを作成する。

図１３は、第１の素材の素材ＩＤと、選択範囲に含まれる表示オブジェクトの表示オブジェクトＩＤとの関係を示す図である。図１３（ａ）は、第２の素材の表示オブジェクト（ＯＩＤ＝０）を含む第１の素材の素材ＩＤと当該第１の素材における表示オブジェクトＩＤとの対応を示す図である。図１３（ｂ）は、第２の素材の表示オブジェクト（ＯＩＤ＝１）を含む第１の素材の素材ＩＤと当該第１の素材における表示オブジェクトＩＤとの対応を示す図である。図１３（ｃ）は、第２の素材の表示オブジェクト（ＯＩＤ＝２）を含む第１の素材の素材ＩＤと当該第１の素材における表示オブジェクトＩＤとの対応を示す図である。

検索サーバ装置２００は、図１１に示す第２の素材の特徴から図１２に示す許容範囲に含まれる第１の素材の特徴を検索する。検索サーバ装置２００は、まず図１１に示される第２の素材における表示オブジェクトＩＤ「０」の条件を満たす表示オブジェクトを持つ第１の素材を検索する。図１３（a）に例示するように、これを満たす第１の素材のオブジェクトは素材ＩＤ「８」のＯＩＤ「０」のオブジェクト、素材ＩＤ「２０６８」のＯＩＤ「１」のオブジェクト、素材ＩＤ「６０１６６」のＯＩＤ「０」のオブジェクトとなる。同様に第２の素材に含まれるすべての表示オブジェクトに対し、それぞれのオブジェクトＩＤの条件を満たす第１の素材の表示オブジェクトを検索する。図１３（ｂ）、図１３（ｃ）はそれぞれ第２の素材のＯＩＤ「１」に関する検索結果と、ＯＩＤ「２」に関する検索結果の例である。検索サーバ装置２００は第２の素材の表示オブジェクト条件をすべて検索し終えたら、それぞれの結果を集計し、上位ｎ件を抽出し、検索結果とする。例えば、図１０～図１３の状況であれば、検索結果は３個の表示オブジェクトが条件を満たす素材ＩＤ「６０１６６」の素材が第１位、２個の表示オブジェクトが条件を満たす素材ＩＤ「２０６８」の素材が第２位、１個の表示オブジェクトが条件を満たす素材ＩＤ「８」、素材ＩＤ「６４」、素材ＩＤ「１３４」、素材ＩＤ「６４５」の素材が３位となる。以上より、検索サーバ装置２００は、選択範囲に含まれる３個の表示オブジェクトに類似する表示オブジェクトを持つ素材を検索することができる。

図１４は、検索結果を提示する画像の一例を示す図である。検索サーバ装置２００は、事前処理において作成されたスライド画像に、第２の素材に含まれる表示オブジェクトに対応する第１の素材中の表示オブジェクト画像に対応して星形のアイコン画像を重畳する。星形のアイコン画像は、ファイル蓄積装置５００に蓄積されたプレゼンテーション文書ファイルのうち、第２の素材に含まれる３個の表示オブジェクトに類似する３個の表示オブジェクトを含む第１の素材を表している。検索サーバ装置２００は、スライド画像にアイコン画像を重畳した画像を、検索結果画像としてユーザ端末装置１００に提供する。
また、検索サーバ装置２００は、第１の素材毎に、色などを区別して表示してよい。これにより、検索サーバ装置２００は、検索サーバ装置２００において認識している第１の素材のうち、どの第１の素材が第２の素材と類似しているかをユーザに認識させることができる。なお、図１４には第１の素材を含むプレゼンテーション文書ファイル画像を示したが、プレゼンテーション文書ファイル画像を、図９に示したアップロード対象の画像に代えて表示し、表示画面の下部に、検索結果を表示してよい。

なお、第１の素材を含むスライド画像にアイコン画像を重畳した場合を説明したが、これに限定されず、第２の素材を含むスライド画像に、第１の素材と類似すると判定された第２の素材中の表示オブジェクト画像に対応してアイコン画像を重畳してよい。例えば、図９に示すように、選択した範囲に含まれる表示オブジェクトのうち、類似する表示オブジェクトを含む第１の素材が含まれる場合には、アイコン画像を表示すると共に、当該第１の素材が含まれるプレゼンテーション文書ファイルのファイル名や、ディレクトリ、ページや一致度を表示してよい。

図１５および図１６は、実施形態の効果の一例を示す図である。図１５（ａ）は対象のスライドのうち、ユーザの操作により選択された範囲を示す図であり、図１５（ｂ）は、検索対象の第２の素材を示す図である。ユーザ端末装置１００は、ユーザが選択された範囲に相当する第２の素材を表す情報を検索クエリに含めて検索サーバ装置２００に送信する。

図１６は、図１５（ｂ）に示した素材（第２の素材）が、他のプレゼンテーション文書ファイルにおいて転用されたスライドを示す図である。図１６（ａ）は、素材が横方向に拡大されて転用されたスライドを示す図であり、図１６（ｂ）は、素材が縦方向に拡大されて転用されたスライドを示す図であり、図１６（ｃ）は、素材がスライド全体に拡大されて転用されたスライドを示す図であり、図１６（ｄ）は、素材のうち一部の表示オブジェクト（３）が削除されて転用されたスライドを示す図であり、図１６（ｅ）は、素材に対して一部の表示オブジェクトが変更されて転用されたスライドを示す図であり、図１６（ｆ）は、素材に対して他の表示オブジェクト（Ａ）が追加されて転用されたスライドを示す図である。

検索サーバ装置２００によれば、第１の素材の特徴と、第２の素材の特徴とを比較するため、図１６に示すように素材が変形して転用された場合であっても、第２の素材に類似する第１の素材を検索することができる。すなわち、検索サーバ装置２００によれば、第２の素材に含まれる表示オブジェクトの形状、素材中の距離、素材中の角度、素材中のサイズに基づいて素材同士を比較するので、喩え素材が変形しても、当該変形された第１の素材に対して高い類似度を取得することができる。すなわち、検索サーバ装置２００によれば、ユーザの操作に基づく第２の素材中の表示オブジェクト（ＩＤ＝１～５）が、第１の素材の表示オブジェクト（ＩＤ＝１～５）に類似するため、当該表示オブジェクト（ＩＤ＝１～５）を含む第１の素材を検索することができる。

＜素材検索システムの処理例＞
以下、上述した素材検索システムにおける処理例を説明する。
図１７は、事前処理におけるプレゼンテーション文書ファイルの監視処理の一例を示すシーケンス図である。まず監視部３０２は、ファイル蓄積装置５００に蓄積されているプレゼンテーション文書ファイルの一覧情報を取得する（ステップＳ１）。次に監視部３０２は、取得した一覧情報に含まれるプレゼンテーション文書ファイルの情報が管理用データベース装置４１０に存在するか否かを確認する。監視部３０２は、プレゼンテーション文書ファイルの情報が管理用データベース装置４１０に存在する場合、当該プレゼンテーション文書ファイルのタイムスタンプ情報を確認する（ステップＳ２）。監視部３０２は、一覧情報に含まれるタイムスタンプ情報が、管理用データベース装置４１０から取得したタイムスタンプ情報よりも新しい場合、またはプレゼンテーション文書ファイルの情報が管理用データベース装置４１０に存在しない場合、当該プレゼンテーション文書ファイルをストレージ装置４２０にコピーする（ステップＳ３）。次に監視部３０２は、取得したプレゼンテーション文書ファイルの処理フラグを、「画像化未処理ファイル」、および「抽出未処理ファイル」として管理用データベース装置４１０に記憶する（ステップＳ４）。

図１８は、事前処理における内部データの抽出処理の一例を示すシーケンス図である。まずデータ抽出部３０４は、管理用データベース装置４１０におけるプレゼンテーション文書ファイルの情報を参照し、管理用データベース装置４１０を参照して抽出未処理ファイルが存在するか否かを監視する（ステップＳ１１）。データ抽出部３０４は、抽出未処理のプレゼンテーション文書ファイルをストレージ装置４２０から取得し、取得したプレゼンテーション文書ファイルを解析することで、表示オブジェクトの内部データを抽出する（ステップＳ１２）。次にデータ抽出部３０４は、抽出した表示オブジェクトの内部データをストレージ装置４２０に出力する（ステップＳ１３）。次にデータ抽出部３０４は、管理用データベース装置４１０におけるプレゼンテーション文書ファイルの処理フラグを「抽出処理済み」に更新する（ステップＳ１４）。次にデータ抽出部３０４は、管理用データベース装置４１０の管理情報のうち、内部データ抽出済みの管理情報を更新する（ステップＳ１５）。データ抽出部３０４は、例えば、内部データファイルのＩＤや保存場所の情報を更新する。

図１９は、事前処理におけるスライドの画像化処理の一例を示すシーケンス図である。まず画像生成部３０６は、管理用データベース装置４１０を参照して画像化未処理ファイルが存在するか否かを監視する（ステップＳ２１）。画像生成部３０６は、画像化未処理のプレゼンテーション文書ファイルにおける各スライドを画像に変換する（ステップＳ２２）。画像生成部３０６は、画像化された複数のスライド（画像情報）を、プレゼンテーション文書ファイルの画像ファイルとしてストレージ装置４２０に保存する（ステップＳ２３）。画像生成部３０６は、画像化されたプレゼンテーション文書ファイルを画像化処理済みファイルとして管理用データベース装置４１０を更新する（ステップＳ２４）。次に画像生成部３０６は、画像ファイルのファイルＩＤや画像ファイルの保存場所などの管理情報を更新する（ステップＳ２５）。

図２０は、事前処理における特徴抽出処理の一例を示すシーケンス図である。まず、バッチサーバ装置３００は、管理用データベース装置４１０を参照して画像化処理済み且つ抽出処理済みのプレゼンテーション文書ファイルが存在するか否かを監視する（ステップＳ３１）。サーバ装置３００は、監視対象のプレゼンテーション文書ファイルが存在する場合、ストレージ装置４２０から内部データファイルおよび画像ファイルを取得する（ステップＳ３２）。次にバッチサーバ装置３００は、画像ファイルと表示オブジェクトの内部データとをマージし、第１の素材を生成する（ステップＳ３３）。例えば、クラスタリング部３０８は、クラスタリング処理を行うことにより１つのスライドから複数の第１の素材を抽出し、各第１の素材の画像ファイルに含まれる表示オブジェクトと、内部データとの対応付けを行う。次に特徴抽出部３１２は、第１の素材の特徴を算出し、特徴ファイルとしてストレージ装置４２０に出力する（ステップＳ３４）。バッチサーバ装置３００は、第１の素材ごとの画像（素材画像）をストレージ装置４２０に出力する（ステップＳ３５）。バッチサーバ装置３００は、特徴ファイルについての管理情報（ファイルＩＤ、スライドＩＤ、素材ＩＤ、オブジェクトＩＤ等）を更新する（ステップＳ３６）。次にバッチサーバ装置３００は、プレゼンテーション文書ファイルの処理フラグを「特徴抽出処理済み」に更新する（ステップＳ３７）。

図２１は、事前処理における検索リソースの生成処理の一例を示すシーケンス図である。バッチサーバ装置３００は、処理フラグが「特徴抽出処理済み」のプレゼンテーション文書ファイルについての管理情報を取得する（ステップＳ４１）。次にバッチサーバ装置３００は、取得した管理情報に基づいて「特徴抽出処理済み」のプレゼンテーション文書ファイルに含まれる第１の素材の特徴ファイルを管理用データベース装置４１０から全て取得し、一つの特徴データとしてマージする（ステップＳ４２）。次にバッチサーバ装置３００は、マージした特徴データを、検索処理に使用する行列部分と、検索結果の提示に使用するマッピング部分に分離する（ステップＳ４３）。行列部分とは、例えば図１１に示したように、プレゼンテーション文書ファイルごと、およびスライドごとに、第１の素材の特徴が行列化されたデータである。マッピング部分とは、例えば図１４に示したように、第１の素材に含まれるスライド画像の範囲と、当該スライド画像に含まれる表示オブジェクトとのマッピング（位置関係）を表すデータである。行列部分、およびマッピング部分が、検索リソースとして使用される。バッチサーバ装置３００は、行列部分をストレージ装置４２０のファイル（特徴ファイル）に出力する（ステップＳ４４）。バッチサーバ装置３００は、マッピング部分をストレージ装置４２０のファイル（画像ファイル）に出力する（ステップＳ４５）。

図２２は、検索処理の一例を示すシーケンス図である。
検索サーバ装置２００は、例えば起動時に、ストレージ装置４２０から行列ファイルおよびマッピングファイルを取得する（ステップＳ５１）。ユーザ端末装置１００は、検索サービスを受けるための検索画面にアクセスする要求を検索サーバ装置２００に送信する（ステップＳ５２）。検索サーバ装置２００は、ユーザ端末装置１００からの要求に応じて、ユーザを特定するためのクッキー情報を管理用データベース装置４１０に払い出す（ステップＳ５３）。次に検索サーバ装置２００は、要求に応じて、検索画面を表示するためのコンテンツデータをユーザ端末装置１００に提供する（ステップＳ５４）。これにより、ユーザ端末装置１００は、ユーザの操作に応じてプレゼンテーション文書ファイルを選択し、プレゼンテーション文書ファイルを検索サーバ装置２００にアップロードする（ステップＳ５５）。検索サーバ装置２００は、アップロードされたプレゼンテーション文書ファイルをユーザごとに領域に保存し、プレゼンテーション文書ファイルを画像ファイルに変換し、プレゼンテーション文書ファイルの内部データを展開する（ステップＳ５６）。検索サーバ装置２００は、スライド毎の画像データ（スライド画像）をユーザ端末装置１００に送信する（ステップＳ５７）。これにより、ユーザ端末装置１００は、ユーザの操作に応じてスライド画像の範囲を選択させることができる。

ユーザ端末装置１００は、スライド画像を表示し、当該スライド画像の一部が選択された状態で検索ボタンが選択されたことに応じ（ステップＳ５８）、検索クエリを検索サーバ装置２００に送信する（ステップＳ５９）。検索サーバ装置２００は、ユーザにより選択されたスライド画像、当該スライド画像内における選択範囲の情報（座標情報）から、第２の素材を特定する。検索サーバ装置２００は、ステップＳ５６において展開した内部データを用いて第２の素材の特徴を算出する（ステップＳ６０）。次に検索サーバ装置２００は、第２の素材の特徴を、第１の素材の行列ファイルから検索する（ステップＳ６１）。検索サーバ装置２００は、検索された第１の素材（検索結果）に基づいて、当該第１の素材の画像ファイルを取得する（ステップＳ６２）。次に検索サーバ装置２００は、検索結果を作成して保存する（ステップＳ６３）。検索サーバ装置２００は、上述したように、第２の素材中の表示オブジェクトと類似する第１の素材中の表示オブジェクトにアイコン画像を付加することで検索結果を作成する。次に検索サーバ装置２００は、検索結果をユーザ端末装置１００に送信する（ステップＳ６４）。ユーザ端末装置１００は、受信した検索結果を表示する（ステップＳ６５）。

なお、実施形態において、第２の素材の特徴の算出を検索サーバ装置２００において実行したが、ユーザ端末装置１００において第２の素材の特徴の算出を実行してよい。この場合、ユーザ端末装置１００は、第２の素材の特徴を検索クエリに含めて検索サーバ装置２００に送信し、検索サーバ装置２００は、ステップＳ６０の処理をスキップしてステップＳ６１の検索処理を実行する。これにより、検索サーバ装置２００の処理負担を軽減することができる。

以上のように、実施形態の素材検索システムによれば、複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出す切り出し部（クラスタリング部３０８）と、第１の素材に含まれる各表示オブジェクトの特徴を抽出する第１の特徴抽出部（特徴抽出部３１２）と、複数の表示オブジェクトを含む素材であって、検索対象の第２の素材に含まれる各表示オブジェクトの特徴を抽出する第２の特徴抽出部（検索部２０４）と、切り出し部（３０８）により切り出された第１の素材毎に、第１の特徴抽出部（３１２）により抽出された各表示オブジェクトの特徴と、第２の特徴抽出部（２０５）により抽出された各表示オブジェクトの特徴とを比較する比較部（検索部２０４）と、比較部により比較された複数の表示オブジェクトの比較結果に基づいて、複数の第１の素材のうち第２の素材に類似する第１の素材を検索する検索部（２０４）と、を実現することができる。この素材検索システムによれば、プレゼンテーション文書ファイルの一部（第１の素材）が転用されても、高い精度で類似するプレゼンテーション文書ファイルの素材（第２の素材）を検索することができる。

例えば、プレゼンテーション文書ファイルに含まれる文書に類似する文書を、全文検索を用いて検索する場合には、ユーザによりキーワードを検討させる必要がある。これに対し、実施形態の素材検索システムによれば、キーワードを入力することなしに、第２の素材に類似する第１の素材を含むプレゼンテーション文書ファイルを検索することができる。また、プレゼンテーション文書ファイルに含まれる素材が変形されて転用された場合のように、第１の素材と第２の素材が完全に一致しない場合であっても、第１の素材の特徴に類似する特徴を持つ第２の素材を検索することができる。

また、実施形態の素材検索システムによれば、プレゼンテーション文書ファイルに含まれる表示オブジェクトの内部データ（例えばＸＭＬデータ）を展開して表示オブジェクトの特徴を抽出するので、全文検索技術におけるキーワードや画像検索技術における画像（ビットマップ）などとは異なる、プレゼンテーション文書ファイルが持つ固有の情報を用いて検索を行うことができる。

さらに、実施形態の素材検索システムによれば、表示オブジェクトの形状、素材における基準位置から表示オブジェクトまでの距離、素材における基準位置から見た表示オブジェクトの角度、および素材のサイズに対する表示オブジェクトのサイズの割合を、素材の特徴として抽出するので、素材中の複数の表示オブジェクトの特徴に基づいて素材を検索することができる。これにより、実施形態の素材検索システムによれば、素材の転用時に拡大や縮小、表示オブジェクトの削除や追加等の変更がされても、指定した範囲に含まれる複数の表示オブジェクトの形状、距離、角度、およびサイズが類似していれば、第１の素材を検索することができる。

さらに、実施形態の素材検索システムによれば、第１の素材の特徴が、第２の素材の特徴から所定の閾値を超えるか否かを判定するので、第１の素材が変形されて転用されても、閾値以内の特徴の差異であれば、第２の素材と類似していると判定することができる。

さらに、実施形態の素材検索システムによれば、第１の素材を含むスライド画像に、第２の素材に含まれる表示オブジェクトに類似する表示オブジェクトを示す検索結果画像（星形のアイコン画像）を重畳させたコンテンツを生成することができる。これにより、実施形態の素材検索システムによれば、選択された範囲に含まれる表示オブジェクトのうち、類似する表示オブジェクトを簡単に提示することができる。この結果、実施形態の素材検索システムによれば、検索サービスの利便性を向上させることができる。

さらに、実施形態のユーザ端末装置１００によれば、複数の表示オブジェクトを含む第１の表示情報を検索サーバ装置２００に送信し、検索サーバ装置２００から第１の表示情報に基づく画像情報を受信し、画像情報を用いた表示をし、表示された画像のうち一部の範囲を選択する操作を受け付けたことに応じ、受け付けられた範囲を示す情報を含む検索クエリを生成することができる。これにより、ユーザ端末装置１００によれば、プレゼンテーション文書ファイル画像を検索する際に簡単に検索クエリを生成することができる。

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

なお、本実施形態におけるユーザ端末装置１００、検索サーバ装置２００、およびバッチサーバ装置３００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、ユーザ端末装置１００、検索サーバ装置２００、およびバッチサーバ装置３００に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

１００ユーザ端末装置
１０２通信部
１０４表示部
１０６受付部
１０８クエリ生成部
２００検索サーバ装置
２０２ＡＰＩ部
２０４検索部
２０６結果生成部
３００バッチサーバ装置
３０２監視部
３０４データ抽出部
３０６画像生成部
３０８クラスタリング部
３１０マッピング部
３１２特徴抽出部
４１０管理用データベース装置
４２０ストレージ装置
５００ファイル蓄積装置

Claims

複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出す切り出し部と、
前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出する第１の特徴抽出部と、
複数の表示オブジェクトを含む素材であって検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、前記第２の素材の特徴を抽出する第２の特徴抽出部と、
前記切り出し部により切り出された前記第１の素材毎に、前記第１の特徴抽出部により抽出された前記第１の素材の特徴と、前記第２の特徴抽出部により抽出された前記第２の素材の特徴とを比較する比較部と、
前記比較部による比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索する検索部と、を備え、
前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第１の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、
前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第２の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、
素材検索システム。
前記比較部は、前記切り出し部により切り出された前記第１の素材毎に、前記第１の特徴抽出部により抽出された表示オブジェクトごとの特徴と、前記第２の特徴抽出部により抽出された表示オブジェクトごとの特徴とを比較し、
前記検索部は、前記比較部により比較された表示オブジェクトごとの比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索する、
請求項１に記載の素材検索システム。
前記比較部は、前記第１の素材における表示オブジェクトごとの特徴が、前記第２の素材の表示オブジェクトごとの特徴から所定の閾値を超えるか否かを判定する、
請求項２に記載の素材検索システム。
前記第１の表示情報に基づく第１の画像を生成する第１の画像処理部と、
前記比較部による比較結果に基づいて、前記第１の画像処理部により生成された第１の画像に、前記第２の素材に含まれる表示オブジェクトに類似する表示オブジェクトを示す検索結果画像を重畳させたコンテンツを生成するコンテンツ生成部と、
を備える、請求項１から３のうち何れか１項に記載の素材検索システム。
バッチサーバ装置が、複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出すステップと、
前記バッチサーバ装置が、前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出するステップと、
複数の表示オブジェクトを含む素材であって、検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、第２の素材の特徴を抽出するステップと、
前記バッチサーバ装置が、前記第１の素材毎に、前記第１の素材の特徴と、前記第２の素材の特徴とを比較するステップと、
前記バッチサーバ装置が、比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索するステップと、
を含み、
前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第１の素材の特徴を抽出するステップは、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、
前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第２の素材の特徴を抽出するステップは、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、素材検索方法。
複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出す切り出し部と、
前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出する第１の特徴抽出部と、
複数の表示オブジェクトを含む素材であって検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、第２の素材の特徴を抽出する第２の特徴抽出部と、
前記切り出し部により切り出された前記第１の素材毎に、前記第１の特徴抽出部により抽出された前記第１の素材の特徴と、前記第２の特徴抽出部により抽出された前記第２の素材の特徴とを比較する比較部と、
前記比較部による比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索する検索部と、を備え、
前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第１の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、
前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第２の特徴抽出部は、前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、素材検索装置。
コンピュータに、
複数の表示オブジェクトを含む第１の表示情報のうち一部の表示オブジェクトを含む第１の素材を切り出させ、
前記第１の表示情報に含まれる情報であって各表示オブジェクトを定義した第１の内部データに基づいて、前記第１の素材の特徴を抽出させ、
複数の表示オブジェクトを含む素材であって検索対象の第２の素材を含む第２の表示情報に含まれる情報であって各表示オブジェクトを定義した第２の内部データに基づいて、第２の素材の特徴を抽出させ、
前記第１の素材毎に、前記第１の素材の特徴と、前記第２の素材の特徴とを比較させ、比較結果に基づいて、複数の第１の素材のうち前記第２の素材に類似する前記第１の素材を検索させ、
前記第１の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第１の素材における基準位置から前記表示オブジェクトまでの距離、前記第１の素材における基準位置から見た前記表示オブジェクトの角度、および前記第１の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出し、
前記第２の内部データは少なくとも表示オブジェクトの形状情報を含み、
前記第１の素材の特徴として、前記表示オブジェクトごとに、前記第２の素材における基準位置から前記表示オブジェクトまでの距離、前記第２の素材における基準位置から見た前記表示オブジェクトの角度、および前記第２の素材のサイズに対する前記表示オブジェクトのサイズの割合、の少なくとも一つの特徴を抽出する、
プログラム。