JP5910867B2 - 文書内の図情報を利用した類似文書の検索システム及び方法 - Google Patents

Description

本発明は、文書内の図情報を利用した類似文書の検索に関する。

類似文書検索システムでは検索者が入力する文書（入力文書）に対し、保有する文書情報の中から類似した文書を探しだす機能を有する。検索者は類似文書を探し出したい文書を入力とし、検索システムを介して検索式に合致する類似文書群を検索結果として取得する。

検索システムは主に、検索のための情報を集めてくるクローラ、クローラの情報から実際に検索を行うサーチャ、検索の順位付けを決めるスコアリングなどの機能要素を含む。類似文書検索システムでは、入力文書に対し、サーチャがクローラの集めてきた情報から検索を実行し、検索結果を返却する。その際、検索結果はスコアリングによって何らかの指標に基づいて類似度が算出され、順序付け（ランキング）される。類似文書検索システムの場合、スコアリングでは単なる文章の比較ではなく、記述内容の類似から類似度を評価することを検索者から求められることが多い。これは日本語と英語といった異なる言語で記述された文書同士の類似文書検索でも同様である。

類似文書検索手法として、単なる文章の比較ではなく、文書の内容から類似度を評価する手法がいくつか提案されている。特許文献１には、関連語辞書を用いて、検索語に対応するユーザ固有のキーワードが出現する頻度から類似度を算出して検索する手法が記載されている。しかし、この手法では、検索するために文書情報とは別に関連語に関する大規模なデータベースが必要であった。さらに、評価対象が文字情報のため、複雑な文章の言い回しにより間違った評価をしたり、異なる言語によって記述された文書同士の内容の類似度の評価が行えない場合がある。

また、特許文献２には、特許申請文書などの定型文書の主要素の部分（特許請求の範囲）に着目し、その部分をさらに分割し文字情報を比較することで類似度を評価する手法が記載されている。その際、文字が外国語ならば翻訳して対応している。この手法であれば異なる言語の文書同士の類似検索を行うことは可能だが、単語のニュアンスや文法の違いから異なる言語の文書内容の類似度を評価することは容易ではなく、間違った類似度が評価される場合がある。

このように、従来の類似文書検索手法は、文字情報に着目した手法のため、類似度の評価が記述言語に左右されるという問題が指摘されている。

文字情報以外に着目できる比較情報として、文書内の図の画像情報（図情報）が挙げられる。図情報は、文書内での図の役割は図前後で述べられている内容の集約であり、文書に記述されている内容を端的に表している。加えて、図は画像情報のため、記述言語の影響を受けずに類似度を評価することも可能である。

例えば、特許文献３には、画像に含まれるテロップ文字による欠落した画像領域を補間し、テロップ文字を含まない画像を復元する技術が記載されている。さらに、特許文献４には、画像を小さい部分に分割し、部分画像同士の類似度を比較して類似画像かどうかを判定することが記載されている。これらの技術を活用すれば、図内に含まれる文字情報を消去した図画像を生成し、それを対象に画像同士が類似しているかどうかを調べることができる。また部分画像による類似度の比較ができるため、補間した画像で復元に失敗した箇所があっても、それ以外の部分で類似度を評価することも可能である。これらのことから、図情報は記述言語や複雑な文章の言い回しに左右されずに類似文書を検索するうえで、非常に有益な判断材料になると考えられる。

特許文献５には、画像の類似度を評価する手法として、画像として取り込まれた原稿とあらかじめ登録された画像情報との類似度を判定する手法が記載されている。この手法では写真を含む原稿画像であっても、文字領域と画像領域に分けて特徴量を抽出し、それぞれの特徴量を比較することで入力原稿の類似判定を行っている。これにより、原稿内から図（画像）のある箇所を見つけ出し、それらの類似度を評価することが可能である。しかし、特許文献３−５は、１つの画像または１枚の原稿を評価対象とした方法であり、文書全体での評価は考慮されていないため、図情報のみで文書全体の内容を考慮した類似文書検索を行うことは難しい。

また、特許文献６には、画像を含む文書を入力とし、目的の画像を含む文書を探し出す手法が記載されている。文書中に含まれる図などの画像データの特徴量と画像の説明文をもとにした用語から検索指標となる擬似文書を作成し、それをもとに目的画像や目的画像を含む文書を探し出している。また、検索者の選択により画像や用語に対する類似度の判定の重みを変えられるため、文書内の点在する複数の図情報のみを対象としてその図情報を含む目的文書を探すことも可能であると考えられる。しかし、この手法では図情報だけを用いた、文書の内容を考慮した類似度評価は行われておらず、図情報だけで類似度を評価する場合、単純に同じ画像がいくつあるかで判定してしまうことが懸念される。そのため、文書の内容の流れなど検索者が望む文書の内容に踏み込んだ類似文書検索までは至っておらず、適切な類似度が評価されない場合がある。

特開２０１０−２１８２１６号公報 特開２００５−２５８８３１号公報 特開２００６−１４８２６３号公報 特許４５４５６４１号公報 特開２００８−２５２８７７号公報 特開２０１０−２５０３５９号公報

このように、類似文書検索システムにおいて、検索者の入力文書に対して、内容の類似した文書を探し出す手法として、従来様々な検索手法が提案されている。従来の検索手法では、文書内の文字情報に着目し、文書同士の内容の類似度を評価することで検索が行われている。これらの手法では、文字情報から類似度を評価するため、複雑な文章の言い回しによって類似度が正しく評価されない、単語のニュアンスや文法の違いから異なる言語で記述された文書同士の類似度を評価することが難しいなどの問題が指摘されている。

本発明は、かかる実情に鑑み、図情報を用いて文書全体の内容を考慮した類似文書検索を実現しようとするものである。

本発明の所定の実施形態に係る類似文書検索システム及びその方法によれば、文書内の図情報を用いて類似文書検索を行うことで、文書内の記述言語や複雑な文章の言い回しに左右されずに、類似文書を検索できる。

好適には、文書内の画像データなどの図情報に着目し、文字情報に左右されずに類似文書を検索できる。文書内の図情報を図前後の内容の集約情報であると捉え、図情報を検索指標として文書同士の類似度を評価する。手段としてはまず、検索者が入力した入力文書に対し、文書内に点在する図情報から画像の特徴データ（特徴量）を抽出する。その後、入力文書の図の特徴量と、あらかじめ抽出しておいた検索対象となる文書群の図の特徴量を比較することで、文書同士の類似度を評価する。そして、評価値に基づき、入力文書に対する類似文書のランキングを実現する。

また、好適には、文書内容の流れも考慮し、図の特徴データに加えて、「図の順序」や「図の出現位置」を考慮して類似度を評価する。すなわち、まず、図の特徴データに加えて、「図の順序」や「図の出現位置」の情報も合わせて抽出する。そして、図の順序を文書の流れ、図同士の間隔を図の間の文章の情報量と捉え、それらを利用して文書内に点在する図情報の間の類似度を補間することにより、文書全体での類似度を評価する。それにより、単なる図情報の比較よりも文書内容を考慮し、検索精度が高まるようにする。そして、従来の検索方法も適用した類似度のスコア値を算出することにより、多方面の指標を用いた検索を可能にする。

本発明によれば、入力文書に対し、文書内の記述言語や複雑な文章の言い回しに左右されずに、類似文書を探し出すことができるという優れた効果を奏し得る。また、異なる言語で記述された類似文書を見つけることができるという優れた効果を奏し得る（図９）。

本発明の一実施形態に係る類似文書検索システムの概略構成を示すブロック図である。 本実施例における、図情報抽出プログラム２４１によって実行される処理のフローチャートである。 登録文書の全体情報を保持する文書全体情報テーブル３０１の一例である。 登録文書ごとの図情報を保持する図情報テーブル４０１の一例である。 本実施例における、類似度推定プログラム２３１によって実行される処理のフローチャートである。 本実施例における、類似度推定プログラム２３１によって実行される処理のフローチャートである。 本実施例における、類似度推定プログラム２３１によって実行される処理のフローチャートである。 本実施例における、類似度推定プログラム２３１によって実行される処理のフローチャートである。 本実施例における、類似度推定プログラム２３１によって実行される処理のフローチャートである。 本実施例における、類似度推定プログラム２３１における類似度推定処理の概略を示す図である。 類似スコアの算出式の一例を示す図である。 本実施例における、図情報データ更新プログラム２３３によって実行される処理のフローチャートである。 類似画像のサムネイル表示の一例である。また、異なる言語で記述された類似文書を見つけることができることの一例である。

以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る類似文書検索システムの概略構成を示すブロック図である。同図に示すように、類似文書検索システムは、検索端末１、検索システム２及び検索対象サーバ３を含む。

検索端末１は、検索画面及び検索結果の表示部１１を備えている。検索システム２は、検索サーバ（検索部）２１に加え、スコアリングサーバ（スコアリング部）２２、図情報管理・類似度推定サーバ（図情報管理部及び類似度推定部）２３及び図情報抽出サーバ（図情報抽出部）２４を有している。そして、検索対象サーバ３は、検索対象文書群を格納する格納部３１を備えている。

検索端末１の表示部１１は、入力文書入力部２１２を介して検索者によって指定された入力文書の文書データ（検索式）を表示する。また、表示部１１は、検索サーバ２１へ送信された検索式に基づいて検索サーバ２１から返却された検索結果２１１を検索結果として表示し、文書ＵＲＬ１１１から検索結果の文書へアクセスできるようになっている。

検索システム２の検索サーバ２１は、表示部１１からの検索式を入力文書入力部２１２で受信し、検索式をスコアリングサーバ２２に送信する。その後、スコアリングサーバ２２から返却されたスコアリング結果をもとにランキングした検索結果２１１を、検索端末１に返却する。

スコアリングサーバ２２は、受信した検索式を図情報管理・類似度推定サーバ２３に送信し、検索式に対する検索システム内の登録文書群との類似度の推定情報を要求する。そして、図情報管理・類似度推定サーバ２３から返却された推定結果をもとに、類似スコアリングプログラム２２１を用いて図情報に基づく類似文書の検索ランキング結果を作成し、検索サーバ２１にその結果を送信する。このとき、類似スコアリングプログラム２２１は、図情報のみに基づいて検索ランキング結果を作成することが好ましい。

図情報管理・類似度推定サーバ２３は、スコアリングサーバ２２より受信した検索式を引数に類似度推定プログラム２３１を動作させる。引数の検索式は、まず、図情報抽出サーバ２４に送られ、図情報抽出プログラム２４１によって、図画像の特徴量と図の順序や出現位置といった関連情報に変換される。そして、文書内図情報のデータベース２３２に登録されている文書データ（登録文書）の情報にもとづいて、検索式と登録文書群との類似度の推定を行う。そして、登録文書ごとの推定結果をスコアリングサーバに送信する。それとは別に、図情報データ更新プログラム２３３により、検索対象サーバ３の格納部３１に格納された検索対象文書群から定期的に最新の文書情報を取得し、図情報抽出プログラム２４１を用いて、文書内図情報のデータベース２３２のデータの更新を行う。

次に、本実施例の動作について、詳細に説明する。まず、類似文書の検索フェーズについて説明し、次に、情報データ更新フェーズについて説明する。ここで、類似文書の検索フェーズとは、検索者が入力した入力文書の文書データ（検索式）をもとに、類似度推定プログラム２３１、図情報抽出プログラム２４１、類似スコアリングプログラム２２１及び文書内図情報のデータベース２３２により、検索結果２１１の表示を行う処理のことをいう。また、図情報データ更新フェーズとは、検索対象サーバ３の格納部３１に格納された検索対象文書群から文書内図情報のデータベース２３２のデータを更新する処理のことをいう。

まず、検索結果２１１の表示を行う類似文書の検索フェーズについて説明する。

類似文書の検索フェーズにおいて、表示部１１は、入力文書入力部２１２を介して検索式を検索サーバ２１に送信する。検索サーバ２１は、スコアリングサーバ２２に検索式を送信する。また、スコアリングサーバ２２は、検索式を図情報管理・類似度推定サーバ２３に送信する。次に、図情報管理・類似度推定サーバ２３は、検索式を図情報抽出サーバ２４に送信する。図情報抽出サーバ２４は、受け取った検索式の文書データをもとに図情報抽出プログラム２４１を動作させる。

図２は、本実施例における、図情報抽出プログラム２４１によって実行される処理のフローチャートである。同図において、Ｐは図情報を探す起点位置、Ｃは図情報の順番を制御、Ｆは見つかった図番号、Ｌｉは返却データリストＬのｉ番目のデータ、Ｇは図情報Ｆの出現位置（行数）、Ｏは図情報Ｆの順番、Ｔは図情報Ｆの画像特徴量リスト、Ｗは引数文書の全行数を意味する。

図情報抽出プログラム２４１では、まず、図情報の検索位置を、引数文書の先頭位置に設定する（Ｓ２０１）。また、図の順序のカウントＣを初期化してＣ＝０に設定し（Ｓ２０２）、返却データのリストＬも初期化してリストを空にし、ｉ＝０に設定するする（Ｓ２０３）。なお、返却データは、出願位置（行数）Ｇ、順番Ｏ及び画像特徴量Ｔを含むリスト形式で表現できる。こうして、文書の先頭から図情報があるかどうかを行単位で捜索する（Ｓ２０４）。

図情報が見つかれば（Ｓ２０４：ＹＥＳ）、図画像の特徴量に加え（Ｓ２１０）、図の出現位置（Ｓ２０５）、文書先頭からの順番（Ｓ２０６）といった図情報の関連情報を求め、返却データに格納する。これを図情報が見つからなくなるまで繰り返し（Ｓ２０４〜Ｓ２１２）、検索式の図情報リストＬを作成する（Ｓ２１１）。画像の特徴量は、特許文献３などの画像補間技術により図内の文字情報を排除し（Ｓ２０８）、特許文献４などの画像の特徴量抽出手法を用いて特徴量に変換して保持すればよい。その際、画像の大きさや画像形式が影響しないように統一させる（Ｓ２０７、Ｓ２０９）。図情報が見つからなくなった後（Ｓ２０４：ＮＯ）、最後に、入力文書の全行数を求めて終了する（Ｓ２１３）。情報抽出サーバ２４は、抽出した図情報リストを図情報管理・類似度推定サーバ２３に返却する。

図情報管理・類似度推定サーバ２３は、返却された検索式の図情報リストと、文書内図情報のデータベース２３２内を用いて登録されている文書（登録文書）全てに対して類似度推定プログラム２３１を動作させる。

図３及び図４は、文書内図情報のデータベース２３２のデータ構造の一例を示す図である。図３は、登録文書の全体情報を保持する文書全体情報テーブル３０１の一例であり、図４は、登録文書ごとの図情報を保持する図情報テーブル４０１の一例である。文書内図情報のデータベース２３２のデータは、文書全体情報テーブル３０１と図情報テーブル４０１に分かれている。文書全体情報テーブル３０１は、文書情報（文書ＵＲＬ）、更新日時、全行数を項目として含む。図情報テーブル４０１は、文書情報（文書ＵＲＬ）、図の行数、図の順番、図の特徴量を項目として含む。これらのテーブルにより、本発明に必要な図情報や図に関連する情報を管理している。

図５Ａ〜５Ｅは、本実施例における、類似度推定プログラム２３１によって実行される処理のフローチャートである。図６は、本実施例における、類似度推定プログラム２３１における類似度推定処理の概略を示す図である。

図５Ａ〜５Ｅにおいて、Ａは入力文書（検索式）、Ｂは登録文書ＵＲＬ、Ｄｋはｋ番目の入力文書の図情報データリスト、Ｕは登録文書ＵＲＬの図情報の管理データリスト、ＱｊはＵ内のｊ番目の登録文書ＵＲＬの図情報データリスト、ＥｊはＵ内のｊ番目の図情報Ｑｊが類似したかを判断するフラグ、Ｆは１つ前の図情報Ｄｋが類似したかを判断するフラグ、Ｇは図情報の出現位置（行数）、Ｔは図情報の画像特徴量リスト、Ｃａは入力文書の類似行数カウント、Ｃｂは登録文書の類似行数カウント、Ｓａは入力文書の隣り合う図の間隔、Ｓｂは登録文書の隣り合う図の間隔、Ｈは図前または図後の類似したと推定する行数（定数）、Ｗａは入力文書の全行数及びＷｂは登録文書の全行数を意味する。また、ｍｉｎ（Ｖ１，Ｖ２）は、Ｖ１とＶ２で値が小さいほうを返却する関数である。なお、Ｖ１とＶ２が同じ値ならばその値を返却する。

類似度推定プログラム２３１では、図情報テーブル内の全ての登録文書に対し、各登録文書ＵＲＬの図情報データリストと入力文書の図情報データリストを引数にして各文書内の類似行数を求めている。図５Ａ〜５Ｅは、１つの登録文書に対する処理の流れである。

処理はまず、各図情報データリストを取得して図の順序を先頭から順に並ぶようにソートした後、各データを初期化する（Ｓ５０１〜Ｓ５０４）。そして、入力文書の図情報全てに対し、１つずつ類似画像がないかを確認していく（Ｓ５０５：ＹＥＳ）。

まず、１つ前の図情報が類似しているかどうかを確認し（Ｓ５０６）、類似していなければ（Ｓ５０６：ＹＥＳ）、登録文書ＵＲＬの図情報リストの中から、今の図と類似する画像があるかを調べる（Ｓ５０７〜Ｓ５０９）。このとき、類似画像か否かの判定には、例えば、入力文書と登録文書の図情報の画像特徴量を比較して類似か否かを判定するといった特許文献４などの類似画像判定手法を用いて判断すればよい。

そして、類似画像であると判定されれば（Ｓ５０９：ＹＥＳ）、類似した図より前の数行を文書内で内容が類似した行であると推定し、推定結果に加算する(Ｓ５１０〜Ｓ５１５)。前後何行分を類似情報とするかは、検索システム２の管理者等により設定される定数によって定義するが、文書の先頭行や１つ前の図との間隔などと比較して小さい方の値を加算することで、加算後の値が誤った値にならないようにする。そして、次の比較を行うためのデータの更新を行う（Ｓ５１６〜Ｓ５１８）。

その後、次の図情報同士が類似画像ではなく、かつ登録文書内に他の類似画像も見つからない場合、１つ前の図が単一で類似していたとわかる（図６：Ｂ６１）。そのため、類似していた図より後の数行を文書内で内容が類似した行であると推定し、推定結果に加算する(Ｓ５２０，Ｓ５２５〜Ｓ５３３、図６：Ｂ６１）。文書の最終行や１つ前の図と今の図の間隔などと比較して小さい方の値を加算することで、加算後の値が誤った値にならないようにする。

１つ前の図情報同士が類似していた場合（Ｓ５０６：ＮＯ）、入力文書と登録文書内で次の順番にあたる図情報同士を比較し、類似画像かどうかを同様の方法で判定する（Ｓ５１９〜Ｓ５２０）。そして類似画像であると判定された場合（Ｓ５２０：ＹＥＳ）、連続して図情報が一致していることから、この２つの図の間にある話の流れは類似していると推定できる。しかし、話の流れだけでは、話の詳細度合い（情報量）が違うかもしれないので、内容が類似しているとまでは推定できない。そこで、内容の情報量を比較するために、図の間隔として２つの図の間の行数の差を算出し、差を比較する（Ｓ５２１〜Ｓ５２２）。差が一致していた場合（Ｓ５２２：ＹＥＳ）、話の流れだけではなく、文章の情報量も同じであることから、２つの図の間の内容は類似していると推定できる（図６：Ｂ６２）。そこで、行数の差を推定結果に加算する(Ｓ５２３)。逆に、差が一致していなければ（Ｓ５２２：ＮＯ）、話の流れは同じだが情報量が異なることから、多い情報量の方が少ない情報量の方の内容を包含していると推定できる（図６：Ｂ６３）。そのため、行数の差が小さい方を推定結果に加算する（Ｓ５２４）。

一方、１つ前の図情報が一致している場合に（Ｓ５０６：ＮＯ）、入力文書と登録文書内で次の順番にあたる図情報同士が類似画像で無い場合（Ｓ５２０：ＮＯ）、内容の類似の連続性はここで途切れるため、図より後の数行を文書内で内容が類似した行であると推定し、推定結果に加算する(Ｓ５２５〜Ｓ５２９）。ただし、図の順序は異なるが他に類似画像が存在する可能性があるため、登録文書内の図情報と比較して類似した図が存在すれば、再度連続して図が類似していないか調べる（Ｓ５３０〜Ｓ５３２、図６：Ｂ６４）。存在していなければ（Ｓ５３２：ＮＯ）、前回一致したかどうかを判定するフラグをオフにする（Ｓ５３３）。

以上の処理を入力文書内の全ての図情報に対して行う。全ての図情報に対して確認した後（Ｓ５０５：ＮＯ）、前回一致したかどうかを判定するフラグがまだオンであれば（Ｓ５３４：ＹＥＳ）、図より後の数行が類似した内容であると推定し、推定結果に加算し、推定結果である文書ごとの類似行数の算出を完了させる（Ｓ５３５〜Ｓ５４０）。

次に、類似スコアの算出について説明する。

図７は、類似スコアの算出式の一例を示す図である。同図において、Ｓ（Ａ，Ｂ）は入力文書Ａと登録文書Ｂの類似スコア、Ｆ（Ａ，Ｂ）は既存の類似文書検索手法のスコア、αは重み値、Ｗａは入力文書Ａの全行数、Ｗｂは登録文書Ｂの全行数、Ｃａは入力文書Ａで類似している行数、Ｃｂは登録文書Ｂで類似している行数を意味する。

図情報管理・類似度推定サーバ２３は、推定結果の類似行数に加え、入力文書、登録文書ＵＲＬごとの全行数をスコアリングサーバ２２に返却する。その際、ランキング結果に無駄な情報を表示しないように、類似行数が０（すなわち、類似画像が存在しない）の登録文書ＵＲＬは結果を返却しないようにする。スコアリングサーバ２２は、送られた結果をもとに、登録文書ごとのスコアを、図７の式Ｅ１から算出し、結果を各文書ページのスコアとして検索サーバ２１に返却する。

そして、検索サーバ２１はスコアの値が大きい文書がランキングの上位になるように検索結果画面２１１を作成し、検索端末１に返却する。つまり、本実施例では、画像の特徴量に加えて図の順序と図の間隔の２つの指標で類似度を評価しており、図の順序、図の間隔（行数）が一致している方がスコアリングに影響する類似行数が多くなる特徴を持っている。そのため、単に図情報の画像の特徴量だけで類似度を推定するよりも精度を高めることができる。

なお、図７に示した算出式Ｅ１は、類似スコアを算出するための一例にすぎず、他の算出式を採用可能である。例えば、従来手法のスコア値（Ｅ１の第１項）や、本実施例で追加したスコア値（Ｅ１の第２項）だけで計算することも可能であるし、これら以外の算出式を用いてもよい。また、本実施例では、全体のうち何パーセント類似しているのかまでは算出していないが、各文書のスコア値を最大のスコア値で割ることで何パーセント類似しているかを検索結果２１１として表示することも可能である。

次に、図情報データ更新フェーズについて説明する。

図情報データ更新フェーズにおいて、図情報管理・類似度推定サーバ２３は、検索システム２の管理者等によって定められた更新のタイミングに基づき、図情報データ更新プログラム２３３を動作させる。

図８は、本実施例における、図情報データ更新プログラム２３３によって実行される処理のフローチャートである。同図において、Ｐは引数のファイル又はフォルダのパス、Ｆｋは引数のフォルダ配下のｋ番目のフォルダ情報、Ｒｉは文書全体の情報テーブルのｉ番目のレコード、Ｗは引数のパスの全行数、Ｌｊは引数のパスの図情報リストＬのｊ番目のデータ、Ｙｈは図情報テーブルのｈ番目のレコード、Ｏｊは図情報リストＬｊの図の順番を意味する。

まず、図情報データ更新プログラム２３３は、引数のパスがファイル（文書）かフォルダかを調べる。引数のパスがフォルダであれば（Ｓ８０１：ＮＯ）、その配下のファイル及びフォルダ情報を取得し、それらを引数に図情報データ更新プログラム２３３を再帰的に呼び出す（Ｓ８０２〜Ｓ８０５）。一方、引数のパスがファイル（文書）であれば、図情報データの更新処理を行う。このとき、検索対象サーバ３のパスを起点に、フォルダ階層関係無く全ての起点パス配下にあるファイルに対し、更新処理を行う。更新処理では文書全体情報テーブルに引数文書の文書ＵＲＬが存在するかどうか調べ（Ｓ８０６）、存在しないのであれば（Ｓ８０６：ＮＯ）、新たにレコードを追加し（Ｓ８０７）、図情報テーブルへの情報追加又は修正処理に移る。存在するのであれば（Ｓ８０６：ＹＥＳ）、そのレコードを取得し（Ｓ８０８）、更新日時を調べ（Ｓ８０９）、引数の文書の方の更新日時が新しいのであれば（Ｓ８０９：ＹＥＳ）、図情報テーブルへの情報追加又は修正処理に移る。

図情報テーブルへの情報追加及び修正処理では、図２でフローチャートを示した図情報抽出プログラム２４１を呼び出して、引数の文書の図情報リストと全行数を取得し（Ｓ８１０）、まず初めに文書全体情報テーブルの更新日時と全行数を更新する（Ｓ８１１）。その後、図情報テーブルのレコードに対し、順番が同じ図情報があれば、レコードデータを更新し、なければテーブルの末尾に図情報を追加する（Ｓ８１２〜Ｓ８１７）。これにより、検索対象サーバ３の更新処理は完了する。

以上のように、本発明の所定の実施形態においては、文書内の画像による図情報に着目しているため、記述言語や複雑な言葉の言い回しに左右されずに類似度を評価できる。また、記述言語や複雑な言葉の言い回しに左右されずに類似度を評価できる。また、本発明の所定の実施形態においては、文書内に点在する複数の図情報を対象として類似度を評価しているので、図情報のみで文書全体の内容を考慮した類似文書検索ができる。加えて、本発明の所定の実施形態においては、図の順序や図の間隔といった新たな比較指標を用いて、単なる図の画像情報のみによる評価ではなく、文書の内容を考慮した類似度の評価ができるので、図情報を用いて検索者が望む文書の内容に踏み込んだ類似文書検索ができる。

なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。上述の各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。

他の実施例として、文書から抽出する図の出現位置は、コメントになっている行を省くことにより、より値の正確性を高めることが可能である。また、文書から抽出した画像データを別途保持することで、類似度推定プログラム２３１によりどの図が類似していたかわかるため、検索結果のランキングに加えて、類似した画像をサムネイルとして表示することも可能である。図９は、このような類似画像のサムネイル表示の一例である。また、アニメーション作成アプリケーションを用いることで、１つ１つの画像だけでなくコマ送りのアニメーションのようにして、検索結果を表示することも同様に可能である。

本発明の実施例では、行数を類似度のスコアの基準にしているが、抽出する出現位置をページ数とし、スコア算出も全ページ中何ページ類似しているかとするような算出方法に変えることで、ページの概念を重要視したい文書にも適用可能である。

文書から出現位置を抽出する際に、文書内の章や節といった情報も一緒に抽出し、文書内図情報のデータベース２３２の図情報テーブルに一緒に格納しておくことで、類似度推定プログラム２３１で図情報が連続して類似しているかどうかを判断する際に、節または章を超えて前後の図情報が類似していた場合は、その間の行を類似した行数として加算しないといった処理が可能になる。それにより、文書内の章や節の構造を考慮した類似度のスコアリングが可能になる。

また、本発明では検索システム２の入力として入力文書データを受け取っているが、入力文書データを入力とせずに文書内図情報のデータベース２３２の文書ＵＲＬ同士で類似文書検索を行うことで、データベース内にどれだけ類似文書があるかを探すといった使い方も可能である。

さらに、類似度推定プログラム２３１で、入力文書に同じ図情報が複数ある場合でも登録文書の各図情報データが類似したかどうかを管理するフラグを保持しているため、同じ図情報が再度類似しても、類似したと判定しないようにすることも可能である。

加えて、図情報抽出プログラム２４１内で図の位置を特定する方法（Ｓ２０５）の１つとして、図番号と図のタイトルを利用する方法が考えられる。例えば、画像情報の前後の行に、図番号と名詞で終わる文字列（日本語であれば「する」や「できる」などで終わらない文字列、英語であれば「〜ion」や「〜ing」などで終わる文字列）など、図を表す文字列が１行で記載されていれば、その画像は図情報であるとみなすことで実現可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限
られない。

（付記１）検索式を受け取る検索部と、検索式に含まれる図情報を抽出する図情報抽出部と、抽出された図情報と検索システムに登録された文書の図情報とを比較して、登録された文書の類似度に関するスコアを求める類似度推定部と、求められたスコアを用いて、検索式に関連する類似文書の検索結果を生成するスコアリング部と、を備える検索システムである。

（付記２）検索式は、検索者が入力した文書を含む、付記１記載の検索システムである。

（付記３）図情報は、文書内における図の出現位置、順序又は間隔のいずれかを含む、付記１又は２に記載の検索システムである。

（付記４）検索システムに登録された文書を格納するデータベースと、データベースに文書を登録する図情報管理部であって、図情報抽出部によって登録する文書の図情報を抽出し、抽出された図情報を、登録する文書とともにデータベースに格納する、図情報管理部と、を備えることを特徴とする付記１〜３のいずれかに記載の検索システムである。

（付記５）サーバが類似文書の検索をする方法であって、サーバが、検索式を受け取り、検索式に含まれる図情報を抽出し、抽出された図情報と検索システムに登録された文書の図情報とを比較して、登録された文書の類似度に関するスコアを求め、求められたスコアを用いて、検索式に関連する類似文書の検索結果を生成する、類似文書の検索方法である。

本発明は、例えば、様々な言語で記述された文書情報を持つ類似文書検索システム、世界中の人々が使用する類似文書検索システム、製品紹介資料など、画像が多く使用されている文書を対象とした類似文書検索システム、その他の情報処理システム等に利用することができる。

１ 検索端末、１１ 表示部、２ 検索システム、２１ 検索サーバ、２１１ 検索結果、２１２ 入力文書入力部、２２ スコアリングサーバ、２２１ 類似スコアリングプログラム、２３ 図情報管理・類似度推定サーバ、２３１ 類似度推定プログラム、２３２ データベース、２３３ 図情報データ更新プログラム、２４ 図情報抽出サーバ、２４１ 図情報抽出プログラム、３ 検索対象サーバ、３１ 格納部、３０１ 文書全体情報テーブル、４０１ 図情報テーブル。

Claims (4)

1. 検索式を受け取る検索部と、
   前記検索式に含まれる図画像に基づいて図情報を抽出する図情報抽出部と、
   前記抽出された図情報と検索システムに登録された文書の図情報とを比較して、前記登録された文書の類似度に関するスコアを求める類似度推定部であって、前記類似度は、前記検索式と前記登録された文書との間に類似する図画像が含まれるか否か及び前記類似する図画像が出現する順序及び間隔に基づいて推定される、類似度推定部と、
   前記求められたスコアを用いて、前記検索式に関連する類似文書の検索結果を生成するスコアリング部と、
   を備える検索システム。
2. 検索式は、検索者が入力した文書を含む、請求項１記載の検索システム。
3. 検索システムに登録された文書を格納するデータベースと、
   前記データベースに文書を登録する図情報管理部であって、前記図情報抽出部によって前記登録する文書の図情報を抽出し、前記抽出された図情報を、前記登録する文書とともに前記データベースに格納する、図情報管理部と、
   を備えることを特徴とする請求項１又は２に記載の検索システム。
4. サーバが類似文書の検索をする方法であって、前記サーバが、
   検索式を受け取り、
   前記検索式に含まれる図画像に基づいて図情報を抽出し、
   前記抽出された図情報と検索システムに登録された文書の図情報とを比較して、前記登録された文書の類似度に関するスコアを求めことであって、前記類似度は、前記検索式と前記登録された文書との間に類似する図画像が含まれるか否か及び前記類似する図画像が出現する順序及び間隔に基づいて推定されるものであり、
   前記求められたスコアを用いて、前記検索式に関連する類似文書の検索結果を生成する、
   類似文書の検索方法。