JP7501255B2 - 文書検索システム、文書検索方法およびプログラム - Google Patents

Description

本開示は、文書検索システム、文書検索方法およびプログラムに関する。

近年、データを検索する検索システムにおいて、検索結果として表示する画像に基づいてさらに画像を表示する検索システムが考えられている。特許文献１の検索システムでは、ユーザーからの検索指示に応じて、ＣＴなどの医療用画像を検索結果として表示する。

当該検索システムでは、医療用画像のそれぞれに言語情報が付与されており、当該言語情報に基づいて、関連する医療用画像が関連付けられている。これにより、特許文献１の検索システムでは、検索結果として表示する医療用画像とともに関連する画像を表示することができ、検索指示をしたユーザーが意識していなかった関連症例を表示することができる。

特開２００４－１５７６２３号公報

しかしながら、特許文献１の検索システムを、文書データを検索する文書検索システムに適用する場合、検索結果の画像と関連するデータであっても、ユーザーにとって重要ではないデータをも表示してしまう場合がある。

すなわち、文書データには、１つの文書データ内に複数の多様な画像が含まれ得る。そのため、文書データが含む全ての画像のそれぞれにデータを関連付けるとすれば、検索結果である文書データを編集しようとするユーザーにとって重要ではないデータを多数表示してしまい、文書編集作業の効率が低下するという問題が生じ得る。

本開示は係る実情に鑑み、考え出されたものであり、その目的は、画像を含む文書データを検索し、当該画像に他の文書データが関連付けられる文書検索システムにおいて、検索後に文書編集作業が行われる場合であっても文書編集作業の効率の低下を防止する文書検索システム、文書検索方法およびプログラムを提供することである。

本開示のある局面に従う文書検索システムは、複数のデータを記憶する記憶部と、複数のデータのうちから、画像オブジェクトを含む第１データを抽出するための抽出部と、画像オブジェクトは、文字またはグラフを表し、複数のデータのうちから、画像オブジェクトと類似するオブジェクトを含む１つ以上の第２データを特定するための特定部と、第１データが含む画像オブジェクトと１つ以上の第２データとを関連付けるための関連付け部とを備える。

本開示のある局面に従う文書検索方法は、複数のデータを記憶する文書検索システムにおける文書検索方法ある。文書検索方法は、複数のデータのうちから、画像オブジェクトを含む第１データを抽出するステップと、画像オブジェクトは、文書編集ソフトによって編集可能である情報を示し、複数のデータのうちから、画像オブジェクトに類似するオブジェクトを含む１つ以上の第２データを特定するステップと、第１データが含む画像オブジェクトと１つ以上の第２データとを関連付けるステップとを含む。

本開示のある局面に従うプログラムは、複数のデータを記憶するコンピューターに実行されるプログラムある。プログラムは、コンピューターに複数のデータのうちから、画像オブジェクトを含む第１データを抽出するステップと、画像オブジェクトは、文書編集ソフトによって編集可能である情報を示し、複数のデータのうちから、画像オブジェクトに類似するオブジェクトを含む１つ以上の第２データを特定するステップと、第１データが含む画像オブジェクトと１つ以上の第２データとを関連付けるステップとを実行させる。

本開示によれば、画像を含む文書データを検索し、当該画像に他の文書データが関連付けられる文書検索システムにおいて、複数のデータのうちから、文字またはグラフを表す画像オブジェクトを含む第１データを抽出し、画像オブジェクトと類似するオブジェクトを含む１つ以上の第２データを特定し、第１データが含む画像オブジェクトと１つ以上の第２データとを関連付けることにより、検索後に文書編集作業が行われる場合であっても文書編集作業の効率の低下を防止する。

文書検索システム１の全体構成を示す図である。 関連付けられる画像オブジェクトと文書データを説明するための図である。 文書検索システムが備える機能を示すブロック図である。 検索サーバーの内部構成を示す図である。 検索端末における処理手順を示すフローチャートである。 検索サーバーの関連付け処理手順を示すフローチャートである。 検索端末が表示する検索結果の表示例１である。 検索端末が表示する検索結果の表示例２である。 検索端末が表示する検索結果の表示例３－１である。 検索端末が表示する検索結果の表示例３－２である。 検索端末が表示する検索結果の表示例４である。 特定処理の手順を示すフローチャートである。 画像オブジェクトを強調表示する例を示す図である。 画像オブジェクトの表す内容に対応する編集可能なデータの生成を示す図である。

以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
［実施の形態１］
＜文書検索システムの全体構成＞
図１は、文書検索システム１の全体構成を示す図である。本実施の形態の文書検索システム１は、複数の文書データを記憶する文書サーバー２０と、ユーザーからの検索指示に応じて、検索処理をする検索サーバー１０とを備える。

文書データとは、典型的には、ＷｏｒｄおよびＥｘｃｅｌ（登録商標）などのソフトウェアによって作成されたデータである。文書データは、ＷｏｒｄおよびＥｘｃｅｌ以外の他のソフトウェアによって作成された文書データであってもよい。

検索サーバー１０は、文書サーバー２０が記憶する複数の文書データのうちからユーザーの目的とする文書データを検索するためのサーバーである。文書サーバー２０は、複数の文書を、文書データとして記憶するためのサーバーである。文書サーバー２０は、文書データのみならず、画像データ等を記憶してもよい。当該画像データは、文書データの作成または編集時にユーザーによって使用されてもよい。

ある局面においては、検索サーバー１０および文書サーバー２０のそれぞれは、文書データを記憶する機能のみならず他の機能を備える汎用のサーバーであってもよい。また、他の局面においては、検索サーバー１０および文書サーバー２０のそれぞれは、１つのサーバーではなく、複数のサーバーから構成されてもよい。また、他の局面においては、検索サーバー１０および文書サーバー２０は、一体の装置、すなわち、一体のサーバーとして構成されていてもよい。

図１に示すように、検索サーバー１０と文書サーバー２０とは、ネットワークを介して通信可能に構成される。

また、文書サーバー２０は、ネットワークを介して、スキャナなどを備える文書読取装置２と接続されてもよい。文書サーバー２０は、文書読取装置２が読み取った文書を文書データとして受信し、当該文書データを記憶する。文書サーバー２０が記憶する文書データは、文書読取装置２から受信した文書データに限らず、たとえば、図示しない端末から受信した文書データであってもよい。

図１に示すように、検索サーバー１０は、ネットワークを介して、ユーザーＡが使用する検索端末３と接続される。検索端末３は、ユーザーＡに検索結果を表示するためのディスプレイ３ｄを備える。検索端末３は、汎用のコンピューターであってもよいし、スマートフォンなどの携帯端末であってもよい。

以下では、文書検索システム１の検索処理の流れを説明する。検索端末３は、ユーザーＡから検索指示を受け付ける。検索端末３は、ユーザーＡから受け付けた検索指示を検索サーバー１０へ送信する。

検索サーバー１０は、検索指示に応じて検索処理を実行し、検索結果を取得する。検索サーバー１０は、取得した検索結果を検索端末３へ送信する。検索端末３は、受信した検索結果をディスプレイ３ｄに表示する。

図１では、ユーザーＡが文書データＤを検索する例が示されている。図１では、検索端末３は、ユーザーＡから文書データＤに関する検索項目を、検索指示として受け付ける。検索項目とは、たとえば、文書データＤのファイル名、文書データＤが含む一部のテキスト情報などである。

また、検索項目は、たとえば、文書データＤが含む画像オブジェクトに関する情報でもよい。

文書データは、テキスト、グラフまたは画像データなどの多様なオブジェクトから形成される。グラフは、表、円グラフ、棒グラフなどを含む。以下では、説明のため、表をグラフと別個として記載する場合があるが、本実施の形態においては、表は、グラフに含まれる。画像オブジェクトとは、文書データに埋め込むことが可能な画像データを意味する。当該画像データは、画像内の各画素について画素値が定義されたデータであり、文字コードを含まないデータである。画像データは、たとえば、ＪＰＥＧ形式、ＧＩＦ形式，ＰＮＧ形式、ＴＩＦＦ形式などのデータを含む。

検索項目として受信する画像オブジェクトに関する情報とは、たとえば、画像オブジェクトが表す内容の種類（写真、テキスト、表、グラフ、アート文字等）、文書データ内における画像オブジェクトの位置、または画像オブジェクトの色情報などである。

たとえば、検索端末３は、「文書データの１ページ目の下部にグラフを表す画像オブジェクトがある」という画像オブジェクトに関する情報を、検索項目として受け付ける。検索サーバー１０は、当該検索項目と一致する文書データを、文書サーバー２０が記憶する文書データのうちから検索する。その結果、ディスプレイ３ｄは、文書データＤのサムネイル画像Ｔを表示する。
＜インデックス情報について＞
検索サーバー１０は、文書サーバー２０が記憶する複数の文書データを検索するためのインデックス情報を記憶する。インデックス情報とは、検索サーバー１０の検索処理の効率を向上させるための複数の文書データに関する索引情報である。

検索サーバー１０は、インデックス情報の追加処理および更新処理をする。インデックス情報は、文書サーバー２０が記憶する複数の文書データごとに、各文書データのファイル名、ディレクトリ、各文書データが含むテキスト情報、各文書データが含む画像オブジェクトに関する情報、または各文書データに関連付けられている文書データに関する情報を含む。

検索サーバー１０は、たとえば、文書データが文書サーバー２０に新たに記憶されたときに、新たに記憶された文書データのインデックス情報を追加する。以下では、検索サーバー１０が新たに記憶された文書データに対するインデックス情報を追加する処理を、単に、「追加処理」と称する場合がある。

また、検索サーバー１０は、予め定められた期間（たとえば、３０分）が経過する度に、文書サーバー２０が記憶する全てまたは一部の文書データに対するインデックス情報を更新する。以下では、検索サーバー１０がインデックス情報を更新する処理を、単に、「更新処理」と称する場合がある。

また、以下では、インデックス情報の追加処理または更新処理を、総称して「インデックス処理」と称する場合がある。

検索サーバー１０は、検索サーバー１０が備えるＣＰＵの負荷が閾値よりも小さいときに、更新処理をするように構成されてもよい。

このように、文書検索システム１では、新たに記憶された文書データに対して、追加処理がされ、定期的に更新処理がされる。これにより、検索サーバー１０は、比較的新しいインデックス情報に基づいて、検索処理をすることができる。
＜文書データの関連付け＞
以下では、文書データを関連付ける処理について説明する。文書検索システム１では、検索サーバー１０がインデックス処理の対象となる文書データに対して、関連付けられることができる他の文書データを特定できた場合、関連付け処理をする。

検索サーバー１０は、文書データが含む画像オブジェクトが、他の文書データが含むオブジェクトと類似する場合、当該画像オブジェクトと他の文書データとを関連付けられると判断する。

検索サーバー１０は、画像オブジェクトと他の文書データとが関連付けられたことをインデックス情報として記憶する。これにより、検索サーバー１０は、文書データが含む画像オブジェクトと他の文書データとが関連されているか否かを判断することができる。

図２は、関連付けられる画像オブジェクトと文書データを説明するための図である。図２には、文書データの一例である文書データＤ１、文書データＤ２、および文書データＤ３が示されている。文書データＤ１～Ｄ３は、文書サーバー２０に記憶されている。

文書データＤ１～Ｄ３は、文書編集ソフトで編集可能なファイルである。図２にて示されている文書データＤ１，Ｄ２の拡張子は、「.docx」である。文書データＤ３の拡張子は、「.xlsx」である。

図２に示される文書データＤ１～Ｄ３は、検索端末３が備える文書編集ソフトにより文書データＤ１～Ｄ３が開かれたときの表示画面を表す。たとえば、文書データＤ１，Ｄ２は、文書データＤ１，Ｄ２がそれぞれＷｏｒｄによって開かれたときの表示画面を表す。文書データＤ３は、文書データＤ３がＥｘｃｅｌによって開かれたときの表示画面を表す。

文書データＤ１は、アルファベットに関する内容の文書データである。文書データＤ１は、画像オブジェクトＰＯ１～ＰＯ３を含む。画像オブジェクトＰＯ１～ＰＯ３は、文書データＤ１に埋め込まれた画像データである。

画像オブジェクトＰＯ１は、アルファベット文字を表す画像オブジェクトである。画像オブジェクトＰＯ２は“Ａ”の書き方の写真を表す画像オブジェクトである。画像オブジェクトＰＯ３は、統計データなどのグラフを表す画像オブジェクトである。

文書データＤ１は、画像オブジェクトＰＯ１～ＰＯ３に加えて、テキスト情報のオブジェクトを含む。テキスト情報のオブジェクトは、たとえば、題名の「The Alphabet」、および画像オブジェクトＰＯ１～ＰＯ３を説明する記載などである。

文書データＤ２は、テキスト情報のオブジェクトのみで形成される。文書データＤ３は、グラフのオブジェクトを含む。

画像オブジェクトＰＯ１～ＰＯ３は、画像データである。そのため、文書編集ソフトを用いて文書データＤ１を開いたとしても、ユーザーは、画像オブジェクトＰＯ１～ＰＯ３が表す内容を、編集することができない。

すなわち、画像オブジェクトＰＯ１が表すアルファベット文字は、テキスト情報ではなく、画像データとして表示されている。そのため、文書編集ソフトを用いても、アルファベット文字は、編集不可能である。

図２に示すように、画像オブジェクトＰＯ１が表すアルファベット文字は、文書データＤ２に含まれているテキスト情報であるオブジェクトＯ１と類似する。オブジェクトＯ１は、画像オブジェクトではなく、テキスト情報のオブジェクトである。そのため、文書編集ソフトを用いて文書データＤ２を開いた場合、ユーザーは、オブジェクトＯ１のアルファベット文字を、編集することができる。

画像オブジェクトＰＯ３は、文書データＤ３が含むオブジェクトＯ２が表すグラフの画像と類似する。オブジェクトＯ１は、画像オブジェクトではなく、グラフのオブジェクトである。そのため、文書編集ソフトを用いて文書データＤ３を開いた場合、ユーザーは、オブジェクトＯ２のグラフを、編集することができる。

ようするに、画像オブジェクトＰＯ１は、オブジェクトＯ１のスクリーンショットなどの画像データが文書データＤ１に埋め込まれている。同様に、画像オブジェクトＰＯ３は、オブジェクトＯ２のスクリーンショットなどの画像データが文書データＤ１に埋め込まれている。

検索サーバー１０は、文書データＤ１に対してインデックス処理をする際に、画像オブジェクトＰＯ１と文書データＤ２とを関連付けて、インデックス情報に記憶する。同様に、検索サーバー１０は、画像オブジェクトＰＯ３と文書データＤ３とを関連付けて、インデックス情報に記憶する。

すなわち、文書データＤ１には、文書データＤ２，Ｄ３をスクリーンショットした画像データが埋め込まれている。よって、文書データＤ１が含む画像オブジェクトには、文書データＤ２，Ｄ３が関連付けられる。

一方で、画像オブジェクトＰＯ２には、文書データが関連付けられない。画像オブジェクトＰＯ２は、写真を表す画像オブジェクトである。すなわち、画像オブジェクトＰＯ２は、カメラ等によって撮影された画像データまたは画像編集ソフトによって作成されたデータである。そのため、画像オブジェクトＰＯ２は、元となる文書データが存在しない。本実施の形態の文書検索システム１では、写真ではないテキストまたはグラフを表す画像オブジェクトと類似するオブジェクトを含む画像データを関連付けることにより、文書データと、その文書データの作成の際に用いられた他の文書データとを関連付ける。これによれば、文書検索システム１は、文書データが含む画像オブジェクトのうち、編集される可能性の高い内容を表す画像オブジェクトに対して、関連するデータを関連付ける。そのため、ユーザーは、画像オブジェクトＰＯ１が表すアルファベット文字を編集したい場合は、文書データＤ２を参照することができ、画像オブジェクトＰＯ３が表すグラフを編集したい場合は、文書データＤ３を参照することができる。ようするに、文書検索システム１では、画像オブジェクトを含む文書データを検索する検索システムであり、写真を表す画像オブジェクトＰＯ２と類似するデータが関連付けられず、テキストまたはグラフを表す画像オブジェクトＰＯ１，ＰＯ３に類似するデータが関連付けられていることにより、検索後に文書編集作業が行われる場合であっても文書編集作業の効率の低下を防止することができる。

なお、文書データＤ１は、本開示における「第１データ」に対応する。文書データＤ２，Ｄ３は、本開示における「第２データ」に対応する。画像オブジェクトＰＯ１は、本開示における「テキストを表す画像オブジェクト」に対応する。画像オブジェクトＰＯ３は、本開示における「グラフを表す画像オブジェクト」に対応する。オブジェクトＯ１，Ｏ２は、本開示における「画像オブジェクトと類似するオブジェクト」に対応する。
＜文書検索システムの機能ブロック図＞
図３は、文書検索システム１が備える機能を示すブロック図である。本実施の形態における文書検索システム１は、少なくとも検索サーバー１０と、文書サーバー２０とを備える。

検索サーバー１０は、インデックス記憶部１０２を備える。文書サーバー２０は、複数の文書データを記憶するための文書記憶部２０１を備える。文書サーバー２０は、たとえば、スキャナなどの文書読取装置２から受信した複数の文書データを記憶する。なお、文書記憶部２０１は、本開示における「記憶部」に対応する。

文書検索システム１は、さらに、検索端末３を備えてもよい。検索端末３は、ユーザーからの検索指示を受け付け、当該検索指示を検索サーバー１０へと送信する。検索サーバー１０は、受信した検索指示に応じて、インデックス情報を用いて検索処理を実行し、検索結果を検索端末３へと送信する。図１においてディスプレイ３ｄである表示部３１は、検索サーバー１０から受信した検索結果を表示する。表示部３１は、ディスプレイ３ｄではなくセグメントから形成される表示、または、ディスプレイ３ｄによる表示に加えて音声などによる出力をしてもよい。なお、図１において表示部３１は、本開示における「表示部」に対応する。

図３に示される文書検索システム１の構成は、一例であり、たとえば、検索サーバー１０と、文書サーバー２０と、検索端末３と、文書読取装置２との一部または全部を一体とする構成でもよい。

＜検索サーバーの構成＞
図４は、検索サーバー１０の内部構成を示す図である。検索サーバー１０は、制御部１００と、検索受信部１１０と、検索送信部１２０と、サーバー通信部１３０と、文書データ受信部１４０とを備える。

制御部１００は、ＣＰＵ１０１と、インデックス記憶部１０２と、検索部１０３と、抽出部１０４と、特定部１０５と、関連付け部１０６と、生成部１０７とを備える。

なお、検索部１０３は、本開示における「検索部」に対応する。抽出部１０４は、本開示における「抽出部」に対応する。特定部１０５は、本開示における「特定部」に対応する。関連付け部１０６は、本開示における「関連付け部」に対応する。生成部１０７は、本開示における「生成部」に対応する。制御部１００は、本開示における「コンピューター」に対応する。

ＣＰＵ１０１は、検索サーバー１０の各種機能を実現するためのプログラムを実行し得る。ＣＰＵ１０１は、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ、ＦＰＧＡ、またはこれらの組み合わせなどによって構成される。

ＣＰＵ１０１は、プログラムを実行するため、図示しないＲＡＭを参照する。ＲＡＭは、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などである。

インデックス記憶部１０２は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）またはフラッシュメモリーなどの不揮発性メモリーである。

インデックス記憶部１０２は、文書サーバー２０が記憶する複数の文書データの索引に用いるデータを、文書データごとに記憶する。

ＣＰＵ１０１は、後述するサーバー通信部１３０から文書サーバー２０が新たに文書データを記憶したという情報を受け付けたことを契機に、当該文書データに対するインデックス情報をインデックス記憶部１０２に新たに生成する生成処理をする。また、ＣＰＵ１０１は、所定の期間が経過する度に、定期的に更新処理をする。

検索部１０３は、検索受信部１１０が受信した検索項目に基づいて、文書サーバー２０が記憶する複数の文書データを検索対象として、検索処理をする。

抽出部１０４は、文書サーバー２０が記憶する複数の文書データのうちから、インデックス処理の対象となる文書データを抽出する。その後、抽出部１０４は、当該インデックス処理の対象となる文書データが含む画像オブジェクトを抽出する。特定部１０５は、文書サーバー２０が記憶する文書データのうちから、抽出部１０４が抽出した画像オブジェクトと類似するオブジェクトを含む文書データを特定する。

特定部１０５は、画像解析部１０５１を備える。画像解析部１０５１は、抽出部１０４が抽出した画像オブジェクトを画像解析処理する。

画像解析部１０５１は、画像解析処理により、画像オブジェクトが表す内容の種類を取得する。画像オブジェクトが表す内容の種類は、予め定められ、テキスト、グラフとのうちの少なくとも１つを含む。また、予め定められた画像オブジェクトが表す内容の種類には、さらに、写真、アート文字、または表などを含み得る。

特定部１０５は、画像解析部１０５１の画像解析処理に基づいて、類似するオブジェクトを含む文書データを特定する。

関連付け部１０６は、インデックス処理の対象である文書データと、特定部１０５が特定した文書データとを関連付けて、インデックス記憶部１０２に記憶させる。

検索サーバー１０がインデックス処理をする例を、図２を用いて、説明する。画像オブジェクトＰＯ１が表す内容の種類は、テキストである。画像オブジェクトＰＯ２が表す内容の種類は、写真である。画像オブジェクトＰＯ３が表す内容の種類は、グラフである。

検索サーバー１０が文書データＤ１に対して、インデックス処理をする場合、抽出部１０４は画像オブジェクトＰＯ１，ＰＯ３を抽出する。抽出部１０４は、文書編集ソフトによって編集可能である情報を示す画像オブジェクトのみを抽出する。

よって、文書編集ソフトによって編集可能であるテキストとグラフである画像オブジェクトＰＯ１，ＰＯ３を抽出する。一方で、画像オブジェクトＰＯ２が示す写真は、文書編集ソフトによって編集可能ではないため、抽出部１０４は、画像オブジェクトＰＯ２を抽出しない。

特定部１０５は、抽出部１０４が抽出した画像オブジェクトＰＯ１，ＰＯ３に類似するオブジェクトを含む他の文書データを、文書サーバー２０が記憶する文書データのうちから特定する。特定部１０５は、画像オブジェクトＰＯ１に対して、文書データＤ２を特定する。特定部１０５は、画像オブジェクトＰＯ３に対して、文書データＤ３を特定する。

関連付け部１０６は、特定部１０５によって特定された文書データＤ２と、画像オブジェクトＰＯ１を関連付けて、インデックス記憶部１０２に記憶させる。

検索サーバー１０では、抽出部１０４、特定部１０５、関連付け部１０６により、文書データを関連付けて、インデックス記憶部１０２に記憶させることができる。

生成部１０７は、画像オブジェクトが表す内容に対応する新たなデータを生成する。生成部１０７が生成する新たなデータは、文書編集ソフトで編集可能であるように生成される。生成部１０７が生成する新たなデータは、本開示における「第３データ」に対応する。

検索受信部１１０は、検索端末３からユーザーからの検索指示を受け付ける。また、検索受信部１１０は、検索指示以外にも、検索端末３を介してユーザーからの命令を受信することができる。検索指示は、テキスト、画像オブジェクトの種類、色、または位置などの検索項目を含む。たとえば、検索端末３は、ユーザーから「The Alphabet」のテキスト情報を検索項目として、受け付ける。検索部１０３は、文書サーバー２０が記憶する複数の文書データのうちから「The Alphabet」のテキスト情報を含む文書データを検索する。

あるいは、検索端末３は、ユーザーから、文書データ上にグラフを表す画像オブジェクトを有するという検索項目を受け付ける。検索部１０３は、文書サーバー２０が記憶する複数の文書データのうちから、グラフを表す画像オブジェクトを有する文書データを検索する。

検索送信部１２０は、検索部１０３が検索した結果を表示する。すなわち、検索送信部１２０は、検索結果として、文書データのファイル名、ディレクトリ、サムネイル画像等を検索端末３へ提供する。

サーバー通信部１３０は、検索対象となる文書データが記憶されている文書サーバー２０と通信する。

文書データ受信部１４０は、検索部１０３が検索した結果となる文書データのファイル名、ディレクトリ、サムネイル画像等を文書サーバー２０から受信する。
＜検索端末における処理手順＞
図５は、検索端末３における処理手順を示すフローチャートである。検索端末３は、検索項目をユーザーから受け付ける（ステップＳ１００）。検索端末３は、検索項目を検索サーバー１０へ送信する（ステップＳ１０１）。検索端末３は、検索結果を検索サーバー１０から受信する（ステップＳ１０２）。検索端末３は、受信した検索結果をディスプレイ３ｄに表示する（ステップＳ１０３）。これにより、文書検索システム１の文書検索機能がユーザーに提供される。
＜検索サーバー１０の関連付け処理手順＞
図６は、検索サーバー１０の関連付け処理の手順を示すフローチャートである。検索サーバー１０は、上述にて説明したインデックス処理をする際に、文書サーバー２０が記憶する文書データごとに当該関連付け処理をする。

検索サーバー１０の抽出部１０４は、インデックス処理の対象となる文書データから画像オブジェクトを抽出する（ステップＳ２０１）。検索サーバー１０の制御部１００は、インデックス処理の対象となる文書データから画像オブジェクトを抽出できたか否かを判断する（ステップＳ２０２）。検索サーバー１０の制御部１００が画像オブジェクトを抽出できなかったと判断した場合（ステップＳ２０２においてＮＯ）、検索サーバー１０の制御部１００は、処理を終了する。

検索サーバー１０の制御部１００が画像オブジェクトを抽出できたと判断した場合（ステップＳ２０２においてＹＥＳ）、検索サーバー１０の画像解析部１０５１は、抽出部１０４が抽出した画像オブジェクトに対して、画像解析処理をする（ステップＳ２０３）。画像解析処理については、後述で詳細に説明する。

検索サーバー１０の制御部１００は、抽出部１０４が抽出した画像オブジェクトが表す内容は、テキストまたはグラフであるか否かを判断する（ステップＳ２０４）。ここで、テキストは、アート文字を含むテキストである。また、グラフは、表、円グラフ、棒グラフを含む。画像オブジェクトが表す内容がテキストまたはグラフではない場合（ステップＳ２０４でＹＥＳ）、検索サーバー１０の制御部１００は、処理を終了する。

画像オブジェクトが表す内容がテキストまたはグラフである場合（ステップＳ２０４でＮＯ）、検索サーバー１０の特定部１０５は、当該画像オブジェクトと類似するオブジェクトを含む文書データを、文書サーバー２０のうちから特定する（ステップＳ２０５）。検索サーバー１０の制御部１００は、特定部１０５が文書データを特定できたか否かを判断する（ステップＳ２０６）。

特定部１０５が文書データを特定できなかった場合（ステップＳ２０６でＮＯ）、検索サーバー１０の制御部１００は、処理を終了する。特定部１０５が文書データを特定できた場合（ステップＳ２０６でＹＥＳ）、検索サーバー１０の関連付け部１０６は、特定部１０５が特定した文書データと、インデックス処理の対象となる文書データとを関連付け、関連付けたことを意味する情報を、インデックス記憶部１０２に記憶させ、処理を終了する。
＜検索結果の表示例１＞
図７は、検索端末３が表示する検索結果の表示例１である。検索結果は、ウィンドウＷ１上に表示される。検索端末３は、文書データＤ１を検索結果として表示する。サムネイル画像Ｔ１は、文書データＤ１のサムネイル画像である。

検索サーバー１０は、文書データＤ１に対して、インデックス処理がされる際に関連付け処理をする。すなわち、インデックス記憶部１０２は、文書データＤ１の画像オブジェクトＰＯ１に対して、文書データＤ２が関連付けられていることを記憶する。また、インデックス記憶部１０２は、画像オブジェクトＰＯ３に対して、文書データＤ３が関連付けられていることを記憶する。

検索サーバー１０は、文書データＤ１を検索結果として検索端末３に送信するとき、文書データＤ１が含む画像オブジェクトに関連付けられている文書データがあるか否かを判断する。

文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３には、それぞれ文書データＤ１，Ｄ２が関連付けられているため、検索サーバー１０は、文書データＤ１，Ｄ２が関連付けられている旨を検索端末３に送信する。

すなわち、検索端末３は、検索結果としてサムネイル画像Ｔ１とともに、メッセージＭ１を表示する。メッセージＭ１は、文書データＤ１に関連付けられた文書データがあることをユーザーに表示する。メッセージＭ１は、図７に示すような態様に限られず、たとえば、サムネイル画像Ｔ１中の画像オブジェクトＰＯ１，ＰＯ２の色調を変化させてもよい。あるいは、画像オブジェクトＰＯ１，ＰＯ２の周囲を赤色の枠で囲って強調して表示してもよい。なお、メッセージＭ１は、本開示における「１つ以上の第２データが関連付けられている旨を示す情報」に対応する。

これにより、文書検索システム１は、ユーザーに対して、検索結果の文書データＤ１を編集する際に、編集できない画像オブジェクトと類似するオブジェクトを含む文書データが文書サーバー２０に記憶されていることを表示できる。

文書検索システム１では、関連付けられている文書データが画像オブジェクトを作成する際に元となった文書データである場合、画像オブジェクトが表す内容を、関連付けられているデータから編集させることができる。これにより、検索後にユーザーが文書編集作業を行う場合、文書編集作業の利便性を向上させることができる。

また、関連付けられている文書データが画像オブジェクトを作成する際に元となった文書データでない場合であっても、ユーザーは、文書データＤ１を編集する際に、参考とすることができる文書データが文書サーバー２０に記憶されていることを把握することができる。

ようするに、文書検索システム１では、検索結果として表示する画像オブジェクトに関連付けられているデータを表示する。一方で、文書検索システム１では、文書編集作業において、文書編集ソフトで編集不可能である情報を表すデータに関連するデータは表示しない。さらに、文書検索システム１では、文書編集作業において、文書編集ソフトで編集可能である情報を表すデータに関連するデータのみを関連するデータとして表示する。

仮に、文書データＤ１が画像オブジェクトＰＯ１，ＰＯ３を含まず、画像オブジェクトＰＯ２のみを含む場合、メッセージＭ１は、表示されない。これにより、文書編集ソフトによって編集することができない写真と類似するオブジェクトを含む文書データを表示することで、文書編集作業において、関係のないデータを表示することを防ぎ、文書編集作業の効率の低下を防止することができる。

すなわち、文書検索システム１では、テキストまたはグラフを表す画像オブジェクトと類似するオブジェクトを含む文書データがあることを表示することにより、文書データＤ１に対する文書編集作業の利便性を向上させつつ、関係のないデータを表示することを防ぎ、文書編集作業の効率の低下を防止することができる。

なお、文書検索システム１において、検索結果と関連付けられたデータは、表示部３１によって表示されず、ネットワークを介して接続された複合機などによって、印刷されてもよい。また、検索結果と関連付けられたデータは、検索サーバー１０によって、他の端末に送信されてもよい。
＜検索結果の表示例２＞
図８は、検索端末３が表示する検索結果の表示例２である。図８の表示例において、図７の表示例と重複する構成についての説明は、繰り返さない。

図８では、メッセージＭ１の近傍にボタンＢｔ１が表示される。検索端末３は、ボタンＢｔ１がユーザーにより選択されたとき、文書データＤ２および文書データＤ３の少なくとも一方に関する情報を表示する。たとえば、検索端末３は、文書データＤ２および文書データＤ３の少なくとも一方のファイル名、ディレクトリ、またはサムネイル画像等を表示する。

これにより、文書検索システム１は、ユーザーに、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３と関連付けられた文書データＤ２，Ｄ３に関する情報を提供することができる。文書検索システム１は、検索結果の表示後、文書編集作業において、使用される可能性のある文書データＤ２，Ｄ３を表示して、文書編集作業の利便性を向上させることができる。なお、ボタンＢｔ１が選択されることで表示される文書データＤ２，Ｄ３に関する情報は、本開示の「１つ以上の第２データに関する情報」に対応する。
＜検索結果の表示例３＞
以下では、図９および図１０を用いて、検索結果の表示例３を説明する。図９および図１０の表示例において、図７の表示例と重複する構成の説明については、繰り返さない。

図９は、検索端末３が表示する検索結果の表示例３－１である。図９では、サムネイル画像Ｔ１の近傍にページ表示Ｐ１が表示される。

ページ表示Ｐ１は、文書データＤ１の総ページ数と、サムネイル画像Ｔ１が文書データＤ１の含むページのうち、いずれのページを表しているかを表示する。すなわち、ページ表示Ｐ１は、文書データＤ１が４枚のページから構成されることを示し、サムネイル画像Ｔ１が１枚目のページを表していることを示す。

サムネイル画像Ｔ２は、画像オブジェクトＰＯ１に関連付けられている文書データＤ２のサムネイル画像である。ボタンＢｔ２がユーザーに押下されることにより、検索端末３は、文書データＤ２を開く。

サムネイル画像Ｔ３は、画像オブジェクトＰＯ３に関連付けられている文書データＤ３のサムネイル画像である。ボタンＢｔ３がユーザーに押下されることにより、検索端末３は、文書データＤ３を開く。メッセージＭ２は、サムネイル画像Ｔ２，Ｔ３が関連付けられている文書データのサムネイル画像であることを示す。

検索端末３は、ページ表示Ｐ１が含むボタンＢｔＰが押下されることにより、図１０に示す表示例を表示する。

図１０は、検索端末３が表示する検索結果の表示例３－２である。図１０では、図９のボタンＢｔＰが押下されたことにより、サムネイル画像として表示する文書データＤ１のページが送られる。

すなわち、サムネイル画像Ｔ１２は、文書データＤ１の２ページ目を表す。文書データＤ１は、２ページ目に画像オブジェクトＰＯ４を含む。画像オブジェクトＰＯ４は、文書データＤ４が含むオブジェクトＯ３と類似する。オブジェクトＯ３は、文書データＤ４が含む表を表すオブジェクトである。本実施の形態では、表は、グラフに含まれる。画像オブジェクトＰＯ４は、本開示における「グラフを表す画像オブジェクト」に対応する。

そのため、検索サーバー１０は、文書データＤ１に対するインデックス処理をする際に、画像オブジェクトＰＯ４に文書データＤ４を関連付ける。したがって、図１０に示すように、文書データＤ４のサムネイル画像Ｔ４が表示される。ボタンＢｔ４がユーザーに押下されることにより、検索端末３は、文書データＤ４を開く。

図９および図１０に示すように、文書検索システム１では、検索結果として表示する文書データＤ１のサムネイル画像Ｔ１に加えて、関連付けられている文書データのサムネイル画像を表示する。

これにより、関連付けられている文書データは、ユーザーが文書編集作業を行おうとするデータであるか否かを容易に判断させることができる。なお、サムネイル画像Ｔ２，Ｔ３，Ｔ１２は、本開示における「１つ以上の第２データのサムネイル画像」に対応する。
＜検索結果の表示例４＞
図１１は、検索端末３が表示する検索結果の表示例４である。図１１の表示例において、図７および図９の表示例と重複する構成に関する説明は、繰り返さない。

図１１では、画像オブジェクトＰＯ１に対して、複数のデータが関連付けられている。画像オブジェクトＰＯ１は、文書データＤ２に加えて、画像データＪ１が関連付けられている。画像オブジェクトＰＯ１は、画像データＪ１が含むオブジェクトＯ１Ｊと類似する。サムネイル画像Ｔ２Ｊは、画像データＪ１を表す。ボタンＢｔＪがユーザーに押下されることにより、検索端末３は、画像データＪ１を開く。

図１１に示すように、サムネイル画像Ｔ２は、サムネイル画像Ｔ１Ｊよりもサムネイル画像Ｔ１の近傍に表示される。これにより、文書検索システム１は、ウィンドウＷ１内において、サムネイル画像Ｔ２をサムネイル画像Ｔ２Ｊよりも強調して表示する。

サムネイル画像Ｔ２が表す文書データＤ２は、文書編集ソフトで編集可能である。すなわち、ユーザーは、文書データＤ２を編集することで、画像オブジェクトＰＯ１が表す内容を編集することできる。一方で、画像データＪ１は、文書編集ソフトで編集することができない。

したがって、文書検索システム１は、サムネイル画像Ｔ２を、サムネイル画像Ｔ２Ｊよりも強調して表示する。文書検索システム１では、サムネイル画像Ｔ２を強調する方法として、サムネイル画像Ｔ２の周囲を色枠で囲ってもよい。あるいは、文書検索システム１は、サムネイル画像Ｔ２をサムネイル画像Ｔ２Ｊよりも大きく表示してもよい。

さらに、文書検索システム１は、画像オブジェクトＰＯ２に複数のデータが関連付けられていても、関連付けられているデータが文書編集ソフトで編集できないデータである場合、当該データを非表示としてもよい。すなわち、検索端末３は、サムネイル画像Ｔ２Ｊを非表示とする。

これにより、文書検索システム１は、検索結果として表示する文書データＤ１が含む画像オブジェクトＰＯ１～ＰＯ３のうち、文書編集ソフトで編集可能なテキストであるアルファベット文字を表す画像オブジェクトＰＯ１と関連付いた文書データＤ２のサムネイル画像Ｔ２を表示することができる。

さらに、文書検索システム１は、文書データＤ２が含むオブジェクトＯ１が編集可能か否かを判断してもよい。文書データＤ２自体が文書編集ソフトによって編集可能であっても、オブジェクトＯ１が画像データである場合などは、ユーザーは、画像オブジェクトＰＯ１が表すアルファベットを編集することができないためである。

これにより、文書検索システム１は、より確実に文書編集ソフトで編集可能な画像オブジェクトＰＯ２が表す内容を含むデータをユーザーに表示することができる。
＜画像解析処理と特定処理について＞
以下では、画像解析処理と特定処理について説明する。特定処理とは、画像オブジェクトが表す内容と類似するオブジェクトを含むデータを特定する処理である。検索サーバー１０の特定部１０５の画像解析部１０５１は、抽出部１０４が抽出した画像オブジェクトに対して、画像解析処理をする。

本実施の形態においては、当該画像解析処理により、特定部１０５は、画像オブジェクトが表す内容の種類が、アート文字を含むテキスト、表を含むグラフのいずれであるかを判断する。

さらに、特定部１０５は、画像オブジェクトが表す内容の種類に基づいて特定処理の種類を変更する。以下では、画像オブジェクトが表す内容の種類ごとに類似するデータを特定するための特定処理について説明する。

[テキストを表す画像オブジェクト]
画像解析部１０５１は、画像オブジェクトに対してＯＣＲ（Optical Character Recognition）処理をする。画像解析部１０５１は、ＯＣＲ処理により、画像オブジェクトから文字を認識できたか否かを判断する。画像解析部１０５１は、文字を認識できた場合に、認識した文字が画像オブジェクトの領域を占有する割合を算出する。

画像解析部１０５１は、認識した文字が画像オブジェクトの領域を占有する割合が予め定められた割合以上である場合、画像オブジェクトが表す内容の種類は、テキストであると判断する。予め定められた割合は、たとえば、８０％以上である。

特定部１０５は、文書サーバー２０に記憶されているデータのうちから、画像オブジェクトと類似するオブジェクトを含むデータを特定する特定処理をする。画像オブジェクトが表す内容の種類がテキストであると画像解析部１０５１が判断した場合、特定部１０５は、ＯＣＲ処理により認識された文字を用いて、特定処理をする。

すなわち、特定部１０５は、インデックス情報を用いて、複数の文書データのうちから、ＯＣＲ処理により認識された文字を含む文書データを特定する。これにより、テキストを表す画像オブジェクトと類似するオブジェクトを含む文書データを特定する。以下では、画像オブジェクトが表す内容の種類がテキストである場合に、特定部１０５がする特定処理を「特定処理１」と称する。「特定処理１」は、画像オブジェクトが表すテキストとデータが含むテキスト情報の一致度に基づいて、類似か否かを判断する処理である。また、画像オブジェクトが表す内容の種類がテキストである場合に、特定部１０５がする特定処理は、本開示の「テキスト検索処理」と対応する。

[アート文字について]
アート文字は、テキストに含まれる。アート文字とは、装飾が施されたテキストを意味する。したがって、画像解析部１０５１は、画像オブジェクトに対してＯＣＲ処理をしてもアート文字を認識できない場合が考えられる。

画像解析部１０５１は、画像オブジェクトに対してＯＣＲ処理をした後に、文字が認識できない場合、画像オブジェクトの解像度を予め定められた所定の値分、低下させる。低下させた後、画像解析部１０５１は、画像オブジェクトに対して、再度、ＯＣＲ処理をする。文字が認識できない場合、画像オブジェクトの解像度を所定の値分、さらに低下させる。

画像解析部１０５１は、解像度の低下と、ＯＣＲ処理とを繰り返し、ある時点で文字を認識した場合、画像オブジェクトは、テキストのうちアート文字を表すと判断する。

特定部１０５は、インデックス情報を用いて、複数の文書データのうちから、ＯＣＲ処理により認識された文字を含む文書データを特定する。これにより、テキストを表す画像オブジェクトと類似するオブジェクトを含む文書データを特定する。

以下では、画像オブジェクトが表す内容の種類がアート文字である場合に、特定部１０５がする特定処理を「特定処理４」と称する。

[グラフを表す画像オブジェクト]
画像解析部１０５１は、画像オブジェクトが含む画素値を解析する。画素値を解析することにより、画像解析部１０５１は、画像オブジェクトが円グラフ、棒グラフと相似する形状を含むか否かを判断する。

また、画像オブジェクトが円グラフ、棒グラフと類似する形状を含む場合、画像解析部１０５１は、画像オブジェクトが表す内容は、グラフであると判断する。また、折れ線グラフと形状が類似する直線が含まれると判断した場合、画像解析部１０５１は、画像オブジェクトが表す内容は、グラフであると判断する。画像解析部１０５１は、画像オブジェクトが表す内容は、グラフのうち、円グラフ、棒グラフ、または折れ線グラフなどのいずれの種類を表すグラフであるかを判断する。

また、画像解析部１０５１は、画像オブジェクトに対してＯＣＲ処理をすることにより、画像オブジェクトが表すグラフに含まれている文字を認識する。

特定部１０５は、画像解析部１０５１が判断したグラフの種類に基づいて、同一のグラフの種類を含む文書データであって、ＯＣＲ処理によって認識した文字と同一の文字を含む文書データを特定する。

以下では、画像オブジェクトが表す内容の種類がグラフである場合に、特定部１０５がする特定処理を「特定処理３」と称する。「特定処理３」は、画像解析処理により、画像オブジェクトがグラフを表すか判断する処理である。

[表について]
表は、グラフに含まれる。画像解析部１０５１は、画像オブジェクトが含む画素値を解析する。画素値を解析することにより、画像解析部１０５１は、画像オブジェクトに直線が含まれているか否かを判断できる。また、画像解析部１０５１は、ます目状になった複数の直線が画像オブジェクトに含まれているか否かを判断する。

ます目状になった複数の直線が含まれていると判断した場合、画像解析部１０５１は、画像オブジェクトに対してＯＣＲ処理をする。画像解析部１０５１は、ＯＣＲ処理にて認識した文字または単語が、直線に形成された、ます内に配置されているか否かを判断する。ます内に文字または単語が配置されている場合、画像解析部１０５１は、画像オブジェクトがグラフのうち表を表すと判断する。

画像オブジェクトがグラフのうち表を表すと判断された場合、特定部１０５は、表のオブジェクトを含む文書データであって、当該表内に入力されている文字が、ＯＣＲ処理によって認識し文字と一致するかを判断する。

表の構成、文字の一致の割合が予め定められた閾値を超えた場合、特定部１０５は、グラフのうち表を示す画像オブジェクトと類似するオブジェクトを含むデータであるとして特定する。以下では、画像オブジェクトが表す内容の種類が表である場合に、特定部１０５がする特定処理を「特定処理２」と称する。「特定処理２」は、画像オブジェクトが表す内容にグラフのうち表が含まれているか否かを画像解析処理により判断する処理である。表は、ます目状の表に限らず、他の形状の表であってもよい。

[写真を表す画像オブジェクト]
画像解析部１０５１は、画素値の解析の結果、全ての画素に対して、隣接する画素間の画素値が変化しているか否かを判断する。画像解析部１０５１は、画像オブジェクトの領域に対して画素値が同一の画素が隣接する領域の割合が、予め定められた割合未満である場合、画像オブジェクトが表す内容が写真であると判断する。予め定められた割合とは、たとえば７０％である。すなわち、カメラによって撮影された写真は、階調の変化が激しいため、隣接する画素間の画素値が同一である領域は、文書編集ソフトによって作成されたテキストまたはグラフなどを表す画像と比較して小さくなる。

特定部１０５は、画像オブジェクトが表す内容が写真であると判断した場合、特定処理をしない。

以上のように、特定部１０５は、画像解析部１０５１が判断した画像オブジェクトが表す内容の種類に応じて、特定処理をする。画像オブジェクトが表す内容の種類の各々に応じた特定処理をすることにより、特定処理の効率、速度が向上する。

画像解析部１０５１が画像オブジェクトの表す内容がいずれ種類であるか判断できない場合、画像解析部１０５１は、画像オブジェクトが含む全ての画素値を解析する。特定部１０５は、画像解析部１０５１が解析した画素値と予め定められた割合以上、一致する画像オブジェクトを特定する。画像オブジェクトの全ての画素値を比較する処理は、本開示の「画像検索処理」に対応する。

図１２は、特定処理の手順を示すフローチャートである。検索サーバー１０の抽出部１０４は、画像オブジェクトを抽出する（ステップＳ３００）。検索サーバー１０は、抽出部１０４が画像オブジェクトを抽出できたか否かを判断する（ステップＳ３０１）。画像オブジェクトが抽出できなかった場合（ステップＳ３０１でＮＯ）、検索サーバー１０は処理を終了する。

画像オブジェクトが抽出できた場合（ステップＳ３０１でＹＥＳ）、画像解析部１０５１は、抽出された画像オブジェクトに対して、画像解析処理をする（ステップＳ３０２）。

特定部１０５は、画像オブジェクトが表す内容の種類がテキストであるか否かを判断する（ステップＳ３０３）。テキストであると判断した場合（ステップＳ３０３でＹＥＳ）、特定部１０５は、特定処理１をする（ステップＳ３０４）。

テキストではないと判断した場合（ステップＳ３０４でＮＯ）、特定部１０５は、画像オブジェクトが表す内容の種類が表であるか否かを判断する（ステップＳ３０５）。表であると判断した場合（ステップＳ３０５でＹＥＳ）、特定部１０５は、特定処理２をする（ステップＳ３０６）。

表ではないと判断した場合（ステップＳ３０５でＮＯ）、特定部１０５は、画像オブジェクトが表す内容の種類がグラフであるか否かを判断する（ステップＳ３０７）。グラフであると判断した場合（ステップＳ３０７でＹＥＳ）、特定部１０５は、特定処理３をする（ステップＳ３０８）。

グラフではないと判断した場合（ステップＳ３０７でＮＯ）、特定部１０５は、画像オブジェクトが表す内容の種類がアート文字であるか否かを判断する（ステップＳ３０９）。アート文字であると判断した場合（ステップＳ３０９でＹＥＳ）、特定部１０５は、特定処理４をする（ステップＳ３１０）。

アート文字ではないと判断した場合（ステップＳ３０９でＮＯ）、特定部１０５は、画像オブジェクトが表す内容の種類が写真であるとして、特定処理をせずに処理を終了する。

＜画像オブジェクトの強調表示＞
図１３は、画像オブジェクトを強調表示する例を示す図である。検索端末３は、文書データＤ５を検索結果として表示する。サムネイル画像Ｔ５は、文書データＤ５のサムネイル画像である。

文書データＤ５は、オブジェクトＮＰＯ３が画像オブジェクトではない点において、文書データＤ１と異なる。すなわち、オブジェクトＮＰＯ３は、グラフのオブジェクトであり、文書編集ソフトで文書データＤ５が開かれることで、編集可能なオブジェクトである。検索端末３は、サムネイル画像Ｔ５に加えて、サムネイル画像Ｔ５２を表示する。サムネイル画像Ｔ５２は、サムネイル画像Ｔ５に対応する画像であり、文書データＤ５のいずれの領域が画像オブジェクトであるかを示す。

画像オブジェクトＰＯ１，ＰＯ２は、サムネイル画像Ｔ５２にてハッチングがされることにより強調されて表示される。

これにより、検索端末３は、サムネイル画像Ｔ５のうち、いずれの領域が文書編集ソフトで編集可能か否かをユーザーに容易に把握させることができる。オブジェクトＮＰＯ３と対応する領域は、オブジェクトＮＰＯ３が画像オブジェクトではない文書編集ソフトで編集可能なオブジェクトであるため、ハッチングがされない。

これにより、文書検索システム１では、文書データＤ５が文書編集ソフトで開かれたとき、サムネイル画像Ｔ５２により、オブジェクトＮＰＯ３は編集可能である一方で、画像オブジェクトＰＯ１が表すアルファベット文字は編集することができないことを、ユーザーに把握させることができる。

検索端末３は、ユーザーが画像オブジェクトＰＯ１または画像オブジェクトＰＯ２を選択したことを受け付けることができる。受け付けた後、検索端末３は、いずれの画像オブジェクトが選択されたかを検索サーバー１０に送信する。

検索サーバー１０は、受信した画像オブジェクトに対して、インデックス情報の更新処理をする。更新処理後、選択された画像オブジェクトと文書データが新たに関連付けられた場合、検索サーバー１０は、新たに関連付けられた文書データを検索端末３に表示させる。

これにより、文書検索システム１では、更新処理がされていない画像オブジェクトが検索結果として表示されても、リアルタイムでインデックス処理をすることができ、より正確な情報を表示することができる。

ボタンＢｔＮは、検索サーバー１０の生成部１０７に編集可能なデータを生成させるためのボタンである。

＜編集可能なデータの生成＞
検索サーバー１０の生成部１０７は、ユーザーからの指示により、画像オブジェクトが表す内容に対応する文書編集ソフトで編集可能なデータを生成する。たとえば、図１３において、特定部１０５が、画像オブジェクトＰＯ１，ＰＯ２と関連付けられる文書データを特定することができない場合が考えられる。

画像オブジェクトの関連付けられるデータが特定できなければ、ユーザーは、当該画像オブジェクトが表す内容を文書編集ソフトで編集することができない。

そこで、検索サーバー１０は、画像解析処理により、画像オブジェクトを解析し、文書編集ソフトで編集可能なデータを生成する。

図１４は、画像オブジェクトの表す内容に対応する編集可能なデータの生成を示す図である。検索サーバー１０は、図１３のボタンＢｔＮを介してユーザーから編集可能なデータを生成する命令を受け付けたとき、生成部１０７に文書データが備える画像オブジェクトに対応する編集可能なデータを生成させる。

生成部１０７は、画像解析部１０５１と同様に画像解析処理を用いて、画像オブジェクトが含む全ての画素値を取得し、画像オブジェクトが表す内容の種類を取得する。生成部１０７は、画像解析処理をした結果と、画像オブジェクトが表す内容の種類に応じて、編集可能なデータを生成する。

たとえば、画像オブジェクトＰＯ１は、テキスト情報を表す画像オブジェクトである。生成部１０７は、画像オブジェクトＰＯ１に対して、ＯＣＲ処理をする。生成部１０７は、「Ａａ～Ｚｚ」までのアルファベットを認識する。生成部１０７は、「Ａａ～Ｚｚ」までの文字コードのテキスト情報のオブジェクトＮＰＯ１として生成する。生成部１０７は、オブジェクトＮＰＯ１を含む文書データＤ６を生成する。

画像オブジェクトＰＯ３は、グラフを表す画像オブジェクトである。生成部１０７は、画像オブジェクトＰＯ３に対して、画像解析処理をする。生成部１０７は、画像オブジェクトＰＯ３が表す内容の種類がグラフであることを取得する。生成部１０７は、画像オブジェクトＰＯ３の画素値から、グラフの形状を取得する。

これにより、生成部１０７は、文書編集ソフトで編集可能な円グラフおよび棒グラフのオブジェクトＮＰＯ３を含む文書データＤ６を生成することができる。生成されたオブジェクトＮＰＯ１，ＮＰＯ３は、ユーザーが文書編集作業に用いることができるように提供される。生成部１０７は、画像オブジェクトＰＯ１，ＰＯ３の両方に対して、編集可能なデータを生成してもよいし、あるいは、ボタンＢｔＮが押下された後に、ユーザーにいずれの画像オブジェクトに対して生成するかを選択させてもよい。あるいは、ボタンＢｔＮを表示せず、画像オブジェクトＰＯ１，ＰＯ２自体が選択されることより、生成部１０７は、選択された画像オブジェクトの編集可能なデータを生成してもよい。

生成部１０７が画像解析処理またはＯＣＲ処理を用いても、編集可能なデータを生成できなかった場合、検索端末３は、生成できなかったことをユーザーに対して表示する。

図１３では、文書検索システム１では、ボタンＢｔＮが押下されることで、生成部１０７が編集可能なデータを生成する例を示した。

生成部１０７が画像オブジェクトの編集可能なデータを生成できなかったとき、特定部１０５に特定処理をさせてもよい。すなわち、特定部１０５の特定処理よりも生成部１０７を優先させる。これにより、生成部１０７が生成するオブジェクトがテキスト情報などの比較的簡易に生成できるオブジェクトである場合、特定部１０５が複数のデータのうちから、特定する処理を省略することができる。ユーザーは、生成部１０７が生成したオブジェクトを用いて、画像オブジェクトが表す内容について、文書編集作業をすることが可能となる。

検索サーバー１０は、インデックス処理をする際において、特定部１０５が画像オブジェクトに関連するデータを特定できなかった場合、生成部１０７に当該画像オブジェクトに対する編集可能なデータを生成させてもよい。これにより、文書検索システム１では、インデックス処理の際に、特定部１０５がデータを特定できなかった画像オブジェクトに対しても、文書編集可能なデータを生成することができる。ユーザーは、生成部１０７が生成した文書編集可能なデータを用いて、文書編集作業をすることが可能となる。
＜小括＞
本実施の形態における文書検索システム１は、複数のデータを記憶する文書サーバー２０が含む文書記憶部２０１と、複数のデータのうちから、画像オブジェクトＰＯ１，ＰＯ３を含む文書データＤ１を抽出するための抽出部１０４と、画像オブジェクトＰＯ１，ＰＯ３は、テキストまたはグラフを表し、複数のデータのうちから、画像オブジェクトＰＯ１，ＰＯ３と類似するオブジェクトＯ１，Ｏ２を含む文書データＤ２，Ｄ３を特定するための特定部１０５と、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３のそれぞれと文書データＤ２，Ｄ３とを関連付けるための関連付け部１０６とを備える。

これによれば、文書検索システム１において、検索後に文書編集作業が行われる場合であっても文書編集作業の効率の低下を防止することができる。

また、複数のデータのうちから、ユーザーの検索要求に応じてデータを検索するための検索部１０３と、検索部１０３によって検索されたデータを検索結果として表示する表示部３１とをさらに備える。表示部３１は、文書データＤ１を検索結果として表示する場合に、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３と関連付けられている文書データＤ２，Ｄ３に関する情報をさらに表示する。

これによれば、文書検索システム１では、文書データＤ１を検索結果として表示する場合に、文書データＤ１が含む画像オブジェクトが表す内容と関連付けられたデータを表示することができる。

さらに、文書データＤ２，Ｄ３に関する情報は、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３に文書データＤ２，Ｄ３が関連付けられている旨を示す情報を含む。

これによれば、文書検索システム１では、ユーザーに対して、検索結果として表示する文書データＤ１にデータが関連付けられていることを表示することができる。

また、文書データＤ２，Ｄ３に関する情報は、文書データＤ２，Ｄ３のサムネイル画像を含む。これによれば、文書検索システム１では、関連付けられたデータのサムネイル画像を表示することができる。

さらに、表示部３１は、関連付けられている文書データのうちの一の文書データが文書編集ソフトによって編集可能ではない場合、一の文書データに関する情報を非表示にする。これによれば、文書編集ソフトによって編集可能ではない文書データが関連付けられている場合であっても、無用にユーザーに表示することを防止することができる。

また、表示部３１は、関連付けられているデータうちの一の文書データが含むオブジェクトが文書編集ソフトによって編集可能ではない場合、一の文書データに関する情報を非表示にする。これによれば、文書編集ソフトによって編集可能ではないオブジェクトを含む文書データが関連付けられている場合であっても、無用にユーザーに表示することを防止することができる。

さらに、表示部３１は、文書データＤ１が含む画像オブジェクトＰＯ１に文書データＤ２，画像データＪ１が関連付けられている場合、文書データＤ２，画像データＪ１のうち、文書データＤ２に関する情報を、文書データＤ２と異なる画像データＪ１に関する情報よりも強調して表示する。画像データＪ１は、文書編集ソフトによって編集可能ではない。文書データＤ２は、文書編集ソフトによって編集可能である。

これによれば、関連付けられているデータのうち、文書編集ソフトによって編集可能である文書データＤ２を強調して表示することができる。

また、表示部３１は、文書データＤ１が含む画像オブジェクトＰＯ１に文書データＤ２，画像データＪ１が関連付けられている場合、文書データＤ２，画像データＪ１のうち、文書データＤ２に関する情報を、文書データＤ２と異なる画像データＪ１に関する情報よりも強調して表示する。

画像データＪ１は、文書編集ソフトによって編集可能であるオブジェクトを含まない。文書データＤ２は、文書編集ソフトによって編集可能であるオブジェクトを含む。これによれば、関連付けられているデータのうち、文書編集ソフトによって編集可能であるオブジェクトを含む文書データＤ２を強調して表示することができる。

さらに、特定部１０５は、予め規定されている複数種類の特定処理１～４のいずれかで、文書データＤ２，Ｄ３を特定する特定処理をする。画像オブジェクトＰＯ１，ＰＯ３が表す内容の種類に基づいて、特定処理をするための複数種類の特定処理１～４を変更する。これによれば、画像オブジェクトＰＯ１，ＰＯ３が表す内容の種類に応じて、適切な特定処理をすることが可能となり、画像オブジェクトが含む全ての画素値を比較する画像解析処理を省くことができる。

また、画像オブジェクトＰＯ１，ＰＯ３が表す内容の種類は、テキストと、グラフとのうちの少なくとも１つを含む。

さらに、複数種類の特定処理１～４は、画像検索処理と、テキスト検索処理とのうちの少なくとも１つを含む。

また、表示部３１は、検索結果として表示する文書データＤ１が含む画像オブジェクトＰＯ１を強調して表示する。これによれば、文書検索システム１では、画像オブジェクトと、それ以外のオブジェクトとを区別して表示することができる。

さらに、表示部３１が表示する画像オブジェクトＰＯ１，ＰＯ３のうち、ユーザーによって選択された画像オブジェクトを受信する検索受信部１１０をさらに備える。特定部１０５は、複数のデータのうちから、検索受信部１１０が受信した画像オブジェクトと類似するオブジェクトを含む文書データを特定する。

また、文書データＤ１に基づいて、編集可能なデータである文書データＤ６を生成するための生成部１０７をさらに備える。文書データＤ６は、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３と類似するオブジェクトＮＰＯ１，ＮＰＯ３を含む。オブジェクトＮＰＯ１，ＮＰＯ３は、文書編集ソフトで編集可能なデータである。

これによれば、文書検索システム１では、画像オブジェクトが表す内容と類似する文書データで編集可能なオブジェクトを生成することができる。

さらに、生成部１０７は、特定部１０５が画像オブジェクトＰＯ１，ＰＯ３に類似する文書データＤ２，Ｄ３を特定できなかった場合に文書データＤ６を生成する。

これによれば、特定部１０５が特定することができなかった画像オブジェクトに対して、編集可能なオブジェクトを含む文書データを新たに生成することができる。

また、特定部１０５は、生成部１０７が画像オブジェクトＰＯ１，ＰＯ３に基づいて文書データＤ６を生成できなかった場合に文書データＤ２，Ｄ３を特定する特定処理をする。

これによれば、文書検索システム１では、生成部１０７が生成に失敗した場合であっても、特定部１０５により、画像オブジェクトと類似するオブジェクトを含むデータを特定することができる場合がある。

さらに、本実施の形態における文書検索方法は、複数のデータを記憶する文書検索システムにおける文書検索方法ある。文書検索方法は、複数のデータのうちから、画像オブジェクトＰＯ１，ＰＯ３を含む文書データＤ１を抽出するステップと、画像オブジェクトＰＯ１，ＰＯ３は、テキストまたはグラフを表し、複数のデータのうちから、画像オブジェクトＰＯ１，ＰＯ３に類似するオブジェクトＯ１，Ｏ２をそれぞれ含む文書データＤ２，Ｄ３を特定するステップと、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３と文書データＤ２，Ｄ３とを関連付けるステップとを含む。

これによれば、文書検索方法において、検索後に文書編集作業が行われる場合であっても文書編集作業の効率の低下を防止することができる。

また、複数のデータを操作可能である制御部１００に実行されるプログラムあって、プログラムは、制御部１００に複数のデータのうちから、画像オブジェクトＰＯ１，ＰＯ３を含む文書データＤ１を抽出するステップと、画像オブジェクトＰＯ１，ＰＯ３は、テキストまたはグラフを表し、複数のデータのうちから、画像オブジェクトＰＯ１，ＰＯ３に類似するオブジェクトＯ１，Ｏ３を含む文書データＤ２，Ｄ３を特定するステップと、文書データＤ１が含む画像オブジェクトＰＯ１，ＰＯ３と文書データＤ２，Ｄ３とを関連付けるステップとを実行させる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 文書検索システム、３ｄ ディスプレイ、１０ 検索サーバー、２０ 文書サーバー、３１ 表示部、１００ 制御部、１０２ インデックス記憶部、１０３ 検索部、１０４ 抽出部、１０５ 特定部、１０６ 関連付け部、１０７ 生成部、１１０ 検索受信部、１２０ 検索送信部、１３０ サーバー通信部、１４０ 文書データ受信部、２０１ 文書記憶部、１０５１ 画像解析部、Ａ ユーザー、Ｂｔ１，Ｂｔ２，Ｂｔ３，Ｂｔ４，ＢｔＪ，ＢｔＮ，ＢｔＰ ボタン、Ｄ，Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６ 文書データ、Ｊ１ 画像データ、Ｍ１，Ｍ２ メッセージ、ＮＰＯ１，ＮＰＯ３，Ｏ１，Ｏ１Ｊ，Ｏ２，Ｏ３ オブジェクト、Ｐ１ ページ表示、ＰＯ１，ＰＯ２，ＰＯ３，ＰＯ４ 画像オブジェクト、Ｔ，Ｔ１，Ｔ１Ｊ，Ｔ２，Ｔ２Ｊ，Ｔ３，Ｔ４，Ｔ５，Ｔ１２，Ｔ５２ サムネイル画像、Ｗ１ ウィンドウ。

Claims (18)

1. 文書検索システムであって、
   複数のデータを記憶する記憶部と、
   前記複数のデータのうちから、画像オブジェクトを含む第１データを抽出するための抽出部と、
   前記画像オブジェクトは、テキストまたはグラフを表し、
   前記複数のデータのうちから、前記画像オブジェクトと類似するオブジェクトを含む１つ以上の第２データを特定するための特定部と、
   前記第１データが含む前記画像オブジェクトと前記１つ以上の第２データとを関連付けるための関連付け部とを備える、文書検索システム。
2. 前記複数のデータのうちから、ユーザーの検索要求に応じてデータを検索するための検索部と、
   前記検索部によって検索されたデータを検索結果として表示する表示部とをさらに備え、
   前記表示部は、前記第１データを前記検索結果として表示する場合に、前記第１データが含む前記画像オブジェクトと関連付けられている前記１つ以上の第２データに関する情報をさらに表示する、請求項１に記載の文書検索システム。
3. 前記１つ以上の第２データに関する情報は、前記第１データが含む前記画像オブジェクトに前記１つ以上の第２データが関連付けられている旨を示す情報を含む、請求項２に記載の文書検索システム。
4. 前記１つ以上の第２データに関する情報は、前記１つ以上の第２データのサムネイル画像を含む、請求項２に記載の文書検索システム。
5. 前記表示部は、
   前記１つ以上の第２データのうちの一の第２データが文書編集ソフトによって編集可能ではない場合、前記一の第２データに関する情報を非表示にする、請求項２～４のいずれか１項に記載の文書検索システム。
6. 前記表示部は、
   前記１つ以上の第２データのうちの一の第２データが含む前記オブジェクトが文書編集ソフトによって編集可能ではない場合、前記一の第２データに関する情報を非表示にする、請求項２～４のいずれか１項に記載の文書検索システム。
7. 前記表示部は、
   前記第１データが含む前記画像オブジェクトに複数の第２データが関連付けられている場合、前記複数の第２データのうち、一の第２データに関する情報を、前記一の第２データと異なる第２データに関する情報よりも強調して表示し、
   前記一の第２データと異なる第２データは、文書編集ソフトによって編集可能ではなく、
   前記一の第２データは、文書編集ソフトによって編集可能である、請求項２～４のいずれか１項に記載の文書検索システム。
8. 前記表示部は、
   前記第１データが含む前記画像オブジェクトに複数の第２データが関連付けられている場合、前記複数の第２データのうち、一の第２データに関する情報を、前記一の第２データと異なる第２データに関する情報よりも強調して表示し、
   前記一の第２データと異なる第２データは、文書編集ソフトによって編集可能である前記オブジェクトを含まず、
   前記一の第２データは、文書編集ソフトによって編集可能である前記オブジェクトを含む、請求項２～４のいずれか１項に記載の文書検索システム。
9. 前記特定部は、
   予め規定されている複数種類の処理のいずれかで、前記１つ以上の第２データを特定する特定処理をし、
   前記画像オブジェクトが表す内容の種類に基づいて、前記特定処理をするための前記複数種類の処理の種類を変更する、請求項２～８のいずれか１項に記載の文書検索システム。
10. 前記画像オブジェクトが表す内容の種類は、テキストと、グラフとのうちの少なくとも１つを含む、請求項９に記載の文書検索システム。
11. 前記複数種類の処理は、画像検索処理と、テキスト検索処理とのうちの少なくとも１つを含む、請求項９に記載の文書検索システム。
12. 前記表示部は、
    前記検索結果として表示する前記第１データが含む前記画像オブジェクトを強調して表示する、請求項２～１１のいずれか１項に記載の文書検索システム。
13. 前記表示部が表示する前記画像オブジェクトのうち、ユーザーによって選択された前記画像オブジェクトを受信する受信部をさらに備え、
    前記特定部は、前記複数のデータのうちから、前記受信部が受信した前記画像オブジェクトと類似するオブジェクトを含む前記１つ以上の第２データを特定する、請求項２～１１のいずれか１項に記載の文書検索システム。
14. 前記第１データに基づいて、第３データを生成するための生成部をさらに備え、
    前記第３データは、前記第１データが含む前記画像オブジェクトと類似する前記オブジェクトを含み、
    前記オブジェクトは、文書編集ソフトで編集可能なデータである、請求項１～１３のいずれか１項に記載の文書検索システム。
15. 前記生成部は、
    前記特定部が前記画像オブジェクトに類似する前記１つ以上の第２データを特定できなかった場合に前記第３データを生成する、請求項１４に記載の文書検索システム。
16. 前記特定部は、
    前記生成部が前記画像オブジェクトに基づいて前記第３データを生成できなかった場合に前記１つ以上の第２データを特定する、請求項１４に記載の文書検索システム。
17. 複数のデータを記憶する文書検索システムにおける文書検索方法あって、
    前記複数のデータのうちから、画像オブジェクトを含む第１データを抽出するステップと、
    前記画像オブジェクトは、テキストまたはグラフを表し、
    前記複数のデータのうちから、前記画像オブジェクトに類似するオブジェクトを含む１つ以上の第２データを特定するステップと、
    前記第１データが含む前記画像オブジェクトと前記１つ以上の第２データとを関連付けるステップとを含む、文書検索方法。
18. 複数のデータを操作可能であるコンピューターに実行されるプログラムあって、
    前記プログラムは、前記コンピューターに、
    前記複数のデータのうちから、画像オブジェクトを含む第１データを抽出するステップと、
    前記画像オブジェクトは、テキストまたはグラフを表し、
    前記複数のデータのうちから、前記画像オブジェクトに類似するオブジェクトを含む１つ以上の第２データを特定するステップと、
    前記第１データが含む前記画像オブジェクトと前記１つ以上の第２データとを関連付けるステップとを実行させる、プログラム。
    

Images