JP5638616B2 - 情報検索方法およびシステム - Google Patents

Description

関連出願の相互参照
本出願は、「ＩＮＦＯＲＭＡＴＩＯＮ ＳＥＡＲＣＨ ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ」という名称の、２００９年９月２３日に出願された中国特許出願第２００９１０１７４２０８．４号の優先権を主張し、その全体が参照によって本明細書に組み込まれる。

本開示は、通信分野におけるフルテキスト・データ検索技術に関し、特に情報検索方法および情報検索システムに関する。

インターネット検索エンジン技術およびインターネット検索企業の急速な開発で、情報検索システム（または検索エンジン）は、ますます増加するインターネットのユーザに対して必要なツールとなった。

人が検索エンジンを使用するとき、一般的なシナリオは、人が検索ワードを入力するか、または用語を検索し、検索エンジンのバックエンド・オペレーションを介して検索結果を獲得するものである。通常の検索結果を構成する３つの要素は、タイトル、要約、およびＵＲＬ（または一般に、ｔｉｔｌｅ（タイトル）、ａｂｓｔｒａｃｔ（要約）、およびＵＲＬの３語の頭文字からなる頭字語であるＴＡＵと呼ばれる）を含む。この３要素の内の要約は、情報量の観点から最も多い量の情報、ウェブページ表示効果の観点から最も大きい表示領域を概して含み、検索結果はユーザが求めているものであるかどうかを、要約内に含まれた情報に従って、ユーザが判定することができるように、検索結果がエンドユーザ経験の観点から正しいかどうかを主として判定する。したがって、高性能であり、柔軟であり、特注であり、優れたヒューマンマシン・ユーザ・インターフェースを有する要約生成システムは、検索エンジン（または情報検索システム）の必要不可欠な重要な構成要素である。

従来の要約生成方法は、ユーザの検索ワードに基づいてフルテキスト・データをリアルタイムで検索し、またフルテキスト検索の結果に基づいて、検索ワードと最もよく一致するパラグラフを要約として抽出するものである。これは、通常テキスト照合および加重アルゴリズムによって、ワードの頻度、ワード距離、および他のパラメータの計算を通じて行われる。最終的に、従来の要約生成方法は、タイトル、要約、およびＵＲＬを含む検索結果を最終表示としてユーザに提示する。

情報検索については、従来の検索エンジンは、フルテキスト・データにおいて一致検索を実施する必要がある。要約生成はまた、フルテキスト・データに基づく。フルテキスト・データの情報量が大きいときは、結果として長い検索時間、および低い検索効果を生じる傾向がある。

本開示は、既存の情報検索技術によって被る低い検索効果の問題を解決する情報検索方法およびシステムを提供する。

一態様では、本開示によって提供された情報検索方法は、各文書が対応する正引きインデックス・データを有する情報検索システムに適用可能である。各文書の正引きインデックス・データは、それぞれの文書内の各ワードをインデックスとして使用し、それぞれの文書内の各ワード位置を記録する。その方法は、以下に説明されるように多くのステップを含み得る。
・検索ワードを受信すること、および分割によって検索ワード内に含まれたキーワードを獲得すること
・情報検索システムの反転インデックス・データを介して、文書に対応するキーワードおよび正引きインデックス・データと一致する文書を検索すること
・文書の正引きインデックス・データに従って文書要約を決定すること、ならびに文書要約および情報を検索結果として出力すること

別の態様では、本開示によって提供された情報検索システムは、システムの反転インデックス・データおよび各文書の対応する正引きインデックス・データを記憶する記憶モジュールを含む。各文書の正引きインデックス・データは、それぞれの文書内の各ワードをインデックスとして使用し、それぞれの文書内の各ワード位置を記録する。そのシステムもまた、以下に説明されるように多くの他の構成要素を含み得る。
・システムの中に入力された検索ワードを受信するように構成された入力モジュール
・分割によって検索ワードに含まれたキーワードを獲得し、反転インデックス・データを介して文書に対応するキーワードおよび正引きインデックス・データに一致する文書を検索し、文書の正引きインデックス・データに従った文書要約を決定するように構成された検索モジュール
・文書要約および情報を検索結果として出力するように構成された出力モジュール
本開示の上記の実施形態は、検索を実施するために反転インデックス・データを使用し、検索ワードに一致する文書を獲得後、文書要約を生成するために文書の正引きインデックス・データを使用する。したがって、該技法は、フルテキスト・データより少ないデータ量を有する文書の正引きインデックス・データの特性を十分に活用するが、コンテンツの記述は依然として一定の正確さを保持する。検索結果を獲得するためにフルテキスト検索を使用する従来の情報システムと比較すると、本開示の実施形態は、検索ワードを使用することにより一致検索の効率を高め、要約生成の効率を高め、検索結果および生成された要約の正確さをある程度保証することが可能である。

本開示による情報検索の例示的流れ図である。 本開示による情報検索システムの例示的な図である。 本開示による情報検索システムの検索モジュールの例示的工程の流れ図である。 本開示による情報検索システムの検索モジュールの例示的工程の流れ図である。

本開示の実施形態は、図を参照して以下で詳細に説明される。

本開示の情報検索方法は、情報検索システムに適用可能である。情報検索システムは、文書（またはフルテキスト・データ）セットの反転インデックス・データを記憶するだけでなく、各文書に対応する独立した正引きインデックス・データを提供する。既存の汎用の情報検索システムは、概して文書セットの反転インデックス・データを含み、また各文書に対応する独立した正引きインデックス・データ（オープンソースのフルテキスト検索システムである、ＰｏｓｔｇｒｅＳＱＬなど）も含む。各文書に対応する独立した正引きインデックス・データを当面は有さない情報検索システムについては、様々な技法を使用して、文書セット全体の反転インデックス・データから各文書に対応する独立した正引きインデックス・データを獲得することが可能である。こうした工程は、オフライン状態で完了されることが可能であり、情報検索システムのオンライン検索性能に影響を及ぼすことはない。

文書セットの反転インデックス・データは、ワードに基づいて確立された文書インデックスである。たとえば、各ワードは、データベース内の記録であり、各ワードは、文書識別、位置などと続くキーワードである。３つの文書、ファイル１、ファイル２、およびファイル３が存在すると仮定する。文書のコンテンツは、以下に記載されている。
ファイル１（ワード１，ワード２，ワード３，ワード４，）
ファイル２（ワードａ，ワードｂ，ワードｃ，ワードｄ，ワードａ，ワードｃ，ワードｄ，）
ファイル３（ワード１，ワードａ，ワード３，ワードｄ，）
上記の３つの文書からなる文書セットの反転インデックス・データは、次の通りである。ワード１（ファイル１，ファイル３）、ワード２（ファイル１）、ワード３（ファイル１，ファイル３）、ワードａ（ファイル２，ファイル３）、など

文書の正引きインデックス・データは、文書内に含まれたワードに従った文書内のワード位置のインデックスである。たとえば、上記のファイル２に対して、ファイル２内に含まれた異なるワード位置がｐｏｓ１、ｐｏｓ２などとして記録される場合は、正引きインデックス・データは次のように記載される。ファイル２（ワードａ：ｐｏｓ１，ｐｏｓ５；ワードｂ：ｐｏｓ２；ワードｃ：ｐｏｓ３，ｐｏｓ６；ワードｄ：ｐｏｓ４，ｐｏｓ７，）

したがって、各文書の正引きインデックス・データは、文書および反転インデックス・データに従って獲得されることが可能である。

データの維持管理の便宜上、文書セットおよびその反転インデックス・データ、ならびに各文書の独立した正引きインデックス・データは、データベース形式に編成されることが可能である。ファイル形式などの他の形式も使用できる。簡略にするため、本開示の実施形態は、データベース形式に編成された文書セットおよび各文書の独立した正引きインデックス・データを使用して説明される。したがって本開示の範囲は、データベース形式に編成されることに限定されないことが理解される。

図１は、本開示の一実施形態に従って、情報検索サービスをユーザに提供する情報検索システムの例示的流れ図を示す。情報検索システムは、文書のフルテキスト・データを記憶するフルテキスト・データベース、反転インデックス・データを記憶する反転インデックス・データベース、および各文書の対応する正引きインデックス・データを記憶する正引きインデックス・データベースを含む。フルテキスト・データベース、正引きインデックス・データベース、ならびにフルテキスト・データベースおよび反転インデックス・データベースは、各文書の正引きインデックスがそれぞれの文書に一つずつ対応するように、定義されたインデックス（文書識別など）により相互に関連付けられる。

上記の情報検索システムに基づく情報検索の工程をここで説明する。

１０１では、情報システムが、ユーザによって提示された検索ワードを受信する。

情報検索システムは、情報検索インターフェースをユーザに提供することが可能である。このようなインターフェースは、検索ワードを入力し、検索ワードを情報検索システムに提示するために、ユーザに操作指示を提供することが可能である。ユーザによって入力された検索ワードは、ワード、複数のワードからなる位相、または関係演算子（ワード「ａｎｄ」「ｏｒ」など）によって結合された複数のワード（または位相）であることが可能である。

１０２では、情報検索システムは、検索ワード内に含まれた１つまたは複数のキーワードを獲得するために、ユーザによって提示された検索ワードを分割し、次いで反転インデックス・データベース内の反転インデックス・データに従って、１つまたは複数のキーワードに一致する１つまたは複数の文書を発見し、発見された文書に従って、正引きインデックス・データベースから１つまたは複数の文書のそれぞれに対応する正引きインデックス・データを発見し、各文書の正引きインデックス・データに従って各文書要約を生成し、生成された要約および対応する文書のタイトル、ＵＲＬ、および他の情報を検索結果として使用する。

このステップでは、１つまたは複数のキーワードに一致する文書を判定後、情報システムは、このような文書（複数可）に対応する正引きインデックス・データを獲得することが可能である。情報検索システムによって発見された複数の文書が存在する可能性があるので、発見された情報検索結果およびユーザ経験の有効性を高めるために、情報システムは、発見された文書を、文書識別の対応する列を獲得するために、それぞれの文書と１つまたは複数のキーワードの一致する程度に従って高から低までにランク付けすることが可能である。

１０３では、情報検索システムは、生成された検索結果および文書識別の列に従って検索結果を出力する。検索結果は、検索結果のインターフェースで提示されることが可能である。検索結果は、１つまたは複数の文書のタイトル、ＵＲＬ、および要約を含む。要約は、概してキーワードを含む。要約は、１つまたは複数のキーワードに高度に一致する文書の一部であることが好ましい。

このステップでは、情報検索システムは、対応する文書のタイトル、ＵＲＬ、および要約を、先行ステップからの文書識別の列に従ったフルテキスト・データベースから獲得することが可能である。（概して、フルテキスト・データベースは、文書識別、タイトル、またはＵＲＬを、文書のフルテキストのインデックス・データとして使用することが可能である。）確実に正引きインデックス・データベースも文書のタイトルおよびＵＲＬを含む場合は、このような情報は、正引きインデックス・データベースから直接獲得することが可能であり、次いで文書識別の列の順番に従って出力または表示されることが可能である。情報検索システムはまた、出力検索結果の書式および文書要約の長さの制限を調整することも可能である。

一実施形態では、図２に示されたように、前述の情報検索システムは、以下の機能モジュール、入力モジュール２１、検索モジュール２２、および出力モジュール２３を含む。該情報検索システムはまた、フルテキスト・データベース２４、反転インデックス・データベース２５、および正引きインデックス・データベース２６も含むことが可能である。フルテキスト・データベース２４は、様々な文書のフルテキスト・データを記憶し、文書のフルテキスト・データを記憶するために、文書識別、タイトル、またはＵＲＬをインデックスとして使用することが可能である。反転インデックス・データベース２５は、各文書に対応する反転インデックス・データを記憶する。正引きインデックス・データベース２６は、各文書に対応する正引きインデックス・データを記憶する。各モジュールによって実現された機能は、図１を参照して上述の流れ工程のステップに対応することが可能である。検索モジュール２２は、さらに検索サブモジュール２２１、要約生成サブモジュール２２２、および結果提示サブモジュール２２３を含み得る。

図２は、以下に詳述されたように、情報検索の例示的工程を示す。

入力モジュール２１は、ユーザによって提示された検索ワードを受信し、次いで検索ワードを検索モジュール２２に提示する。検索モジュール２２は、１つまたは複数のキーワードを獲得するために検索ワードを分割し、１つまたは複数のキーワードに従って、反転インデックス・データベース２５内の１つまたは複数のキーワードに一致する１つまたは複数の文書を発見し、正引きインデックス・データベース２６内の対応する文書の正引きインデックス・データに従って、１つまたは複数の文書のそれぞれの要約を生成し、次いで１つまたは複数の文書要約のそれぞれを含む検索結果を出力モジュール２３に出力する。それぞれの文書のタイトルおよびＵＲＬが出力されることを必要とする場合、文書のタイトルおよびＵＲＬはさらに、フルテキスト・データベース２４または反転インデックス・データベース２５から獲得されることが可能である。検索結果を受信後、出力モジュール２３は検索結果を出力する。

１つまたは複数のキーワードに対応する各文書に対して、検索モジュール２２は、すべてのワードの正引き列および１つまたは複数のキーワードのみを含む正引きインデックス列を確立するために、正引きインデックス・データベース２６で、その対応する正引きインデックス・データ内の各ワードを走査することが可能である。検索モジュール２２は、これらの２つの列に従って、文書要約を獲得するために、正引き列またはフルテキスト・データ内の要約の開始点および終了点を決定する。検索モジュール２２の情報検索機能の詳細の実施は、発見された文書の識別を記憶する文書識別、および発見された文書内に含まれたすべてのワードの正引き列を記憶するＡｒｒａｙ＿Ａ配列を含む一部の変数を必要とする。

正引き列は、文書のフルテキスト内の各ワードおよびそのアピアランスの位置を順に記録し、以下のようなワード文書と位置のリンクによって提示されることが可能である。
・Ａｒｒａｙ＿Ａは、記録（ｐｏｓ１：ワード１，ｐｏｓ２：ワード２，ｐｏｓ３：ワード３，ｐｏｓ４：ワード４）を含む。ただし、「ｐｏｓ」はフルテキスト・データ内のそれぞれのワードの先頭文字の位置を表し、「ワード」はワードテキストを表す。換言すると、Ａｒｒａｙ＿Ａは、各ワードテキストを記録するために、それぞれのワードの位置をインデックスとして使用する。
・検索ワードの分割後に獲得された各キーワードの正引きインデックス列を記憶するＭａｐ＿Ａ配列。このような正引きインデックス列は、各キーワード位置を対応する文書内に記録し、赤黒木構造を使用することが可能である。（赤黒木は、二分木の特別な型であり、データ構造は、データブロックなどのデータを編成するためにコンピュータ科学に使用される。すべてのデータブロックは、ノードで記憶される。）赤黒木を使用して、キーワードのテキストおよび位置のリンクを編成し記憶することが可能である。たとえば、上記のＡｒｒａｙ＿Ａ内のワード１およびワード２がキーワードである場合、次のようになる。
・Ｍａｐ＿Ａ記録（ワード１：ｐｏｓ１，ｐｏｓ４；ワード２：ｐｏｓ２ ．．．）。ただし、ｐｏｓはフルテキスト・データ内のそれぞれのワードの先頭文字の位置を表し、キーワードはそれぞれのキーワードのテキストを表す。換言すると、Ｍａｐ＿Ａは、それぞれのワード位置を記録するために、ワードテキスト（このワードはキーワードに一致するワードである）をインデックスとして使用する。
・要約の開始位置および終了位置のそれぞれを記憶するＲｅｓ＿ＢｅｇおよびＲｅｓ＿Ｅｎｄ。
・要約の開始位置および終了位置のパラメータを含む最良の要約パスを記憶するＢｅｓｔ＿Ｐａｔｈ。そのパラメータを使用して、正引きインデックス・データまたはフルテキスト・データ内のテキストの対応する部分を定義することが可能である。テキストの一部と最良の要約パスによって定義されたキーワードの一致する程度は、他の部分より高い。
・ＲＬは、要約の長さの割り当てられた値を表し、これは通常数字で表わされる。その値は、システムの起動時に割り当てられることが可能である。

検索モジュール２２の情報検索行程は、２段階に分割することが可能である。（１）１つまたは複数のキーワード（キーワードを含む文書またはキーワードと同等のワードを含む文書など）に一致する１つまたは複数の文書を検索する文書検索段階、ならびに（２）発見された文書のそれぞれに対して対応する要約を生成するための要約生成段階。

文書検索段階で、検索サブモジュール２２１は、ユーザによって提示された検索ワードを分割して検索ワード内に含まれた１つまたは複数のキーワードを獲得し、キーワードに一致する文書識別を発見するために反転インデックス・データ２５内で一致を発見し、識別を一致の程度に従って高から低までにランク付けし、ランク付けされた識別を文書識別の列として記憶する。この段階の分割は、既存の中国の分割技法などの複数の技法によって実現可能である。反転インデックス・データベース２４内の一致を発見するための操作は、既存のフルテキスト検索技法を使用できる。この実施形態で使用された分割およびフルテキスト検索技法は、本開示の範囲を限定しないことが理解できる。

要約生成段階で、要約生成サブモジュール２２２は、文書識別の列内の文書識別に従って、正引きインデックス・データベース２６内の各文書の文書識別に対応する正引きインデックス・データをトラバースする。要約生成サブモジュール２２２は、トラバースされたワードのそれぞれの位置およびテキストを記録し、配列Ａｒｒａｙ＿Ａ（概して配列データ構造の中に記録させる）内にそれらを置く。それぞれのワードがキーワードの１つに一致する場合、セットＭａｐ＿Ａ内のそれぞれのワードの位置およびテキストが記録される。文書の正引きインデックス・データのトラバース完了後、Ａｒｒａｙ＿Ａ内のすべてのワードテキストの全長がＲＬより短い場合は、最良の要約パスは、Ａｒｒａｙ＿Ａ内の最初のワード位置から最後のワード位置までである。そうでない場合は、要約生成サブモジュール２２２は、要求を満たす最短のテキスト・パラグラフの開始ワードならびに終了ワードに対応するＲｅｓ＿ＢｅｇおよびＲｅｓ＿Ｅｎｄを発見するために、Ｍａｐ＿Ａ内のワードテキストおよび位置リンクテーブルをトラバースする。このような場合は、Ａｒｒａｙ＿Ａ内のＲｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄまでのパスが、最良の要約パスである。最良の要約パスを決定後、要約生成サブモジュール２２２は、決定された最良の要約パスに従って、正引きインデックス・データまたはフルテキスト・データから関連する部分を要約として決定し、それを結果提示サブモジュール２２３に提示する。

最良の要約パスの状態は、以下を含むことがある。（１）Ｒｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄまでのテキスト・パラグラフの長さは、ＲＬ以下である、（２）Ｒｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄまでの最多数のキーワードが存在する。

上記２つの状態を満たす複数の要約パスが存在する場合は、要約パスによって定義された要約から、一実施形態では、反復キーワードの最多数を有する要約パスが最良の要約パスである。

結果提示サブモジュール２２３は、対応する文書のタイトル、ＵＲＬおよび他の情報を文書識別の列内に記録された各文書識別に従って、フルテキスト・データベース２４または反転インデックス・データベース２５から発見し、それらを要約とともに出力モジュール２３に提示する。

出力モジュール２３は、要約書式引数パラメータＦｍｔ＿Ａｒｇ（書式引数の英語の要約）を含んでもよい。出力モジュール２３は、パラメータＦｍｔ＿Ａｒｇに従って要約テキスト、文書のタイトル、ＵＲＬ、および他の情報を初期化し、文書識別の列内のランク付けした文書識別の列に従って、対応する文書（タイトル、ＵＲＬ、および要約など）の関連情報をプリセット・フォーマットの形式で表示する。その結果は、ユーザがより良いユーザ経験を有することができるように、顕著で識別が容易な検索結果を提供するために、ワールド・ワイド・ウェブに広く使用されているＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ハイパーテキスト・マークアップ言語））などのウェブ・マーキング言語によって表示されることが好ましい。

文書の正引きインデックス・データをトラバースする、要約生成サブモジュール２２２の例示的流れ工程が、図３Ａに示されている。トラバースの完了後、最良の要約パスを生成する例示的流れ工程が、図３Ｂに示されている。

要約生成サブモジュール２２２は、文書識別それぞれの列内の各文書の文書識別の正引きインデックス・データをトラバースする。図３Ａに示されたように、要約生成サブモジュール２２２が文書識別を文書識別の列から獲得した後、要約生成サブモジュール２２２は、対応する正引きインデックス・データを正引きインデックス・データベース２６から発見し、以下に記載されたように多くのステップを実施する。

３０１では、正引きインデックス・データ内のワードがワード毎にトラバースされる。

３０２では、工程は、ワードがトラバースされたかどうかを判定し、肯定の場合は３０３に進み、そうでない場合は、工程は３０６に進む。

このステップでは、ワードがトラバースされることが不可能な２つの状況が存在する。一つは、トラバースが、正引きインデックス・データの最後まで通過してしまった場合である。換言すると、現在の正引きインデックス・データのトラバースが終わったということである。他方の状況は、現在の正引きインデックス・データが空である場合である。

３０３では、正引きインデックス・データ内のワードテキストおよびワード位置が、Ａｒｒａｙ＿Ａの中に記録される。ワードの開始位置および終了位置のそれぞれは、Ａｒｒａｙ＿Ａ内の記録から決定されることが可能である。中国語のワード

（この直訳は英語で「ｃｏｍｐｕｔｉｎｇ ｃｏｕｎｔｉｎｇ ｍａｃｈｉｎｅ」である）の例として、開始位置は中国語文字

（英語で「ｃｏｍｐｕｔｉｎｇ」）の位置であり、終了位置は中国語文字「机」（英語で「ｍａｃｈｉｎｅ」）の位置である。ワードスペースを含む英語または他の言語については、ワードの開始位置および終了位置は、ワードスペースによって決定されることが可能である。

３０４では、工程は、ワードがキーワードと同じであるかどうかを判定し、肯定の場合は３０５に進み、そうでない場合は３０１に進み、関係ワードの後に他のワードを引き続きトラバースする。

３０５では、ワードテキストおよびワード位置が、Ｍａｐ＿Ａ内の正引きインデックス・データ内に記録される。

要約生成サブモジュール２２２が正引きインデックス・データをトラバースした後、要約生成サブモジュール２２２は、トラバースによって獲得されたＡｒｒａｙ＿ＡおよびＭａｐ＿Ａに従って最良の要約パスを決定し、最良の要約パスのパラメータ値をＢｅｓｔ＿Ｐａｔｈに割り当てることが可能である。例示的工程は、図３Ｂに示されており、以下に記載された多くのステップを含む。

３１０では、工程は、０を変数Ｎに割り当て、ヌルをＢｅｓｔ＿Ｐａｔｈに割り当てる。

３１１では、工程は、ワード位置値をＭａｐ＿ＡからＲｅｓ＿Ｂｅｇまでに割り当て、Ｒｅｓ＿Ｂｅｇから決定された位置値までに定義されたＲＬの長さを有するテキスト・パラグラフがキーワードを含むように、ワード位置値をＲＬに従ってＡｒｒａｙ＿Ａから決定する。このような位置値が獲得可能な場合は、工程は３１２に進み、そうでない場合は、工程は３１６に進む。

３１２では、工程は、Ｒｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄまでのテキストの長さがＲＬを超えないように、決定された位置値をＲｅｓ＿Ｅｎｄに割り当てる。好ましくは、Ａｒｒａｙ＿Ａ内の記録に従って、Ｒｅｓ＿Ｂｅｇは、Ａｒｒａｙ＿Ａ内のワードの開始位置（またはワードの最初の文字の位置）に対応し、Ｒｅｓ＿Ｅｎｄは、Ｒｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄまでのテキスト・パラグラフのコンテンツが明確に完了するように、Ａｒｒａｙ＿Ａ内のワードの終了位置（またはワードの最後の文字の位置）に対応する。

３１３では、工程は、Ｍａｐ＿Ａに従って、Ｒｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄまでのテキスト・パラグラフ内の多くのキーワードを決定し、その数を変数ｎに割り当てる。

３１４では、工程は、ｎがＮより大きいかどうかを判定し、肯定の場合は３１５に進み、そうでない場合は、工程は次の異なるＲｅｓ＿Ｂｅｇを決定するために３１１に戻る。

３１５では、工程は、ｎの値をＮに割り当て、ゼロはｎを除去し、現在のＲｅｓ＿ＢｅｇおよびＲｅｓ＿ＥｎｄをＢｅｓｔ＿Ｐａｔｈ内に記録し、次の異なるＲｅｓ＿Ｅｎｄを決定するために３１１に戻る。

３１６では、工程は、Ｂｅｓｔ＿Ｐａｔｈの現在の値が最良の要約パスであることを判定し、Ｂｅｓｔ＿Ｐａｔｈを出力する。

図３Ｂに工程によって示されたように、要約生成サブモジュール２２２は、複数の循環操作を通して、異なる位置値をＲｅｓ＿Ｂｅｇに毎回割り当てることによって、Ｒｅｓ＿ＢｅｇおよびＲｅｓ＿Ｅｎｄによって定義されたテキスト・パラグラフ内の最多数のキーワードが存在する場合は、Ｒｅｓ＿ＢｅｇからＲｅｓ＿Ｅｎｄに存在するので、Ｂｅｓｔ＿Ｐａｔｈを記録する。したがって、Ｂｅｓｔ＿Ｐａｔｈ内に記録されたＲｅｓ＿ＢｅｇおよびＲｅｓ＿Ｅｎｄによって定義されたテキスト・パラグラフ内に最多数のキーワードが存在し、最良の要約パスが獲得される。

最良の要約パスを決定する工程の間に、正引きインデックス・データの最良の要約パスは、各正引きインデックス・データのトラバース後、トラバースの結果によって即座に決定されることが可能であることに留意されたい。あるいは、最良の要約パスは、すべての正引きインデックス・データのトラバース後、各正引きインデックス・データの結果をトラバースすることによって決定されることが可能である。

以下の説明は、実施工程を示すためにインターネットに適用可能な情報検索システムの例を使用する。

インターネットに公開された新しいウェブページがあると、ウェブページ・コンテンツの正引きインデックス・データは、情報検索システムの正引きインデックス・データベースの中に記憶され、対応するウェブページとの関係が確立される。この実施形態では、新しく公開されたウェブページおよびその対応する正引きインデックス・データは以下の通りである。

ウェブページ文書１：識別＝１００、タイトル「ｓｅｃｕｒｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｐｐｌｉｃａｂｌｅ ｔｏ ｃｏｍｐｕｔｅｒ（コンピュータに適用可能な安全な技術）」
対応する正引きインデックス・データは、１００字の長さを有する（ｃｏｍｐｕｔｅｒ：２，５０，９０；ｓｅｃｕｒｉｔｙ：２５， ．．．）である。これは、ワード「ｃｏｍｐｕｔｅｒ」は、ウェブページ文書１のフルテキスト文書の２番目、５０番目、および９０番目の文字の位置に現れ、ワード「ｓｅｃｕｒｉｔｙ」は、２５番目の文字の位置に現れることを表す。

ウェブページ文書２：識別＝２００、タイトル「ｈｏｗ ｔｏ ｉｎｃｒｅａｓｅ ｓｅｃｕｒｉｔｙ ｏｆ ｔｈｅ ｃｏｍｐｕｔｅｒ（コンピュータの安全を高める方法）」
対応する正引きインデックス・データは、１００字の長さを有する（ｃｏｍｐｕｔｅｒ：１０，７０；ｓｅｃｕｒｉｔｙ：１５， ．．．）である。これは、ワード「ｃｏｍｐｕｔｅｒ」は、ウェブページ文書２のフルテキスト文書の１０番目および７０番目の文字の位置に現れ、ワード「ｓｅｃｕｒｉｔｙ」は、１５番目の文字の位置に現れることを表す。

反転インデックス・データは、ｃｏｍｐｕｔｅｒ（識別１００，２００）、ｓｅｃｕｒｉｔｙ（識別１００，識別２００），などを含む。

情報検索システムの検索結果のデータ書式はＨＴＭＬであり、要約テキストの長さは５０文字を超えない。

システムがユーザによって提示された検索ワード「ｃｏｍｐｕｔｅｒ ｓｅｃｕｒｉｔｙ」を受信すると、システムは、分割後キーワード「ｃｏｍｐｕｔｅｒ」および「ｓｅｃｕｒｉｔｙ」を獲得する。システムは、反転インデックス・データ内で一致検索を行い、２つのキーワードを含むウェブページが、識別＝１００を有するウェブページおよび識別＝２００を有するウェブページを含むことを発見する。次いでシステムは、ウェブページに従って、対応する正引きインデックス・データを決定する。キーワードは、識別＝１００を有するウェブページ内に４回、識別＝２００を有するウェブページ内に３回現れるので、システムは、前者がより高度の一致を有すると見なし、次いでその２つの正引きインデックス・データをそれぞれトラバースする。

文書識別＝１００を有するウェブページの正引きインデックス・データをトラバースした後、以下が獲得できる。
Ａｒｒａｙ＿Ａ：（．．．２： ｃｏｍｐｕｔｅｒ； ．．．２５： ｓｅｃｕｒｉｔｙ； ．．． ５０： ｃｏｍｐｕｔｅｒ； ．．． ９０： ｃｏｍｐｕｔｅｒ； ．．．）；および
Ｍａｐ＿Ａ：（ｃｏｍｐｕｔｅｒ：２，５０，９０；ｓｅｃｕｒｉｔｙ：２５）
獲得されたＡｒｒａｙ＿ＡおよびＭａｐ＿Ａに従って、開始位置２から終了位置５２までテキスト・パラグラフ内に３つのキーワードが存在し、その数は、長さ５０を有する他のあらゆるテキスト・パラグラフ内のキーワードの数より多いことがさらに獲得されることが可能である。したがって、開始位置および終了位置[２，５２]は、最良の要約パスを提供する。

同じ理由から、識別＝２００を有するウェブページの正引きインデックス・データのトラバース結果を通じて、最良の要約パスは[１，５０]であると決定される。

次に、システムは、決定された最良の要約パスに従って要約を生成し、識別＝１００を有するウェブページならびに識別＝２００を有するウェブページのタイトル、ＵＲＬ、および要約を、文書と検索ワードとの一致の程度に従った検索結果としてユーザにＨＴＭＬ書式で表示する。

本開示はまた、上述の技法に対する代替手段も提供する。要約の生成中、要約パスは、正引きインデックス・データのトラバースによって獲得されないが、フルテキスト・データのトラバースによって獲得され、要約テキストは、獲得された要約パスに従って、フルテキストから対応して獲得される。要約パスのトラバース工程および決定方法の詳細は、上述のそれらの詳細と同様であり、詳細は、簡略にするために提供されない。

従来の情報検索技法に比較すると、本開示によって提供された技法は、検索ワードの分割のみを必要とする。対照的に、従来の情報検索技法は、検索ワードおよびフルテキスト・データの両方の分割を必要とする。したがって、本開示によって提供された技法の検索効率は、従来の技法より高い。また、本開示によって提供された技法は、文書要約を生成するために、文書の正引きインデックス・データも使用する。対照的に、従来の技法は、文書要約を生成するために、文書のフルテキスト・データを使用する。一方、文書の正引きインデックス・データは、同じ文書のフルテキスト・データよりデータ量が少なく、それによって効率が高まる。他方では、ワードの頻度および回数を計算するために文書の正引きインデックス・データを使用することは比較的容易であり、それによって文書要約を好都合に正確に決定し、かつフルテキスト・データに対応するコンテンツを包括的に集約する。したがって、要約を生成するために文書の正引きインデックス・データを使用することにより、ある程度検索結果の合理性および正確さを保証することが可能である。

一般に、本開示の実施形態は、情報検索システムの既存のフルテキスト・インデックス構造を十分に利用し、検索結果の既存の表示書式を十分に考慮し、それによってより正確で適切なデータが利用できるので、アブストラクトを生成するとき、生成効率および最終結果を持つユーザ満足度が高まる。本開示によって提供された情報検索システムは、高い凝集力および低い結合特性を有するので、様々な既存の検索システムと統合させることが容易である。さらに、本開示によって提供された情報検索システムはまた、高性能、柔軟性、およびカスタマイズが容易な特性も有する。

本開示は、本開示の方法、装置（システム）、ならびにコンピュータ・ソフトウェアの流れ図および／または図を参照として説明されている。コンピュータ・ソフトウェア命令は、各流れ図および／もしくは図、または流れ図の図式および／もしくは図の図式の流れ図および図の組合せを実施することが可能である。このようなコンピュータ・ソフトウェア命令は、流れ図の図式の１つもしくは複数の流れ工程および／または図の図式の１つもしくは複数の図によって表された機能を実現するために、コンピュータまたは他のプログラム可能なデータ・プロセッシング・デバイスによって実行される命令を使用可能な機械を実装するために、汎用コンピュータ、特殊用途のコンピュータ、組込型デバイスあるいは他のあらゆるプログラム可能なデータ・プロセッシング・デバイスに組み込まれることが可能である。

また、このようなコンピュータ・プログラム命令は、タンジブルで持続性コンピュータ可読記憶媒体に記憶されることができ、特殊な方法で機能でき、コンピュータ、またはコンピュータ可読記憶媒体に記憶された命令が、命令装置としての機能を実施できるような、他のあらゆるプログラム可能なデータ・プロセッシング・デバイスを起動できる。命令装置は、流れ図の図式の１つもしくは複数の流れ工程および／または図の図式の１つもしくは複数の図によって表された機能を実現することが可能である。

また、このようなコンピュータ・プログラム命令は、コンピュータまたはプログラム可能なデータ・プロセッシング・デバイスが、コンピュータの操作により機能を実現するために、複数の操作ステップを実行できるように、コンピュータまたは他のあらゆるプログラム可能なデータ・プロセッシング・デバイスにロードされてもよい。したがって、コンピュータまたは他のあらゆるプログラム可能なデータ・プロセッシング・デバイスで実行される命令は、流れ図の図式の１つもしくは複数の流れ工程および／または図の図式の１つもしくは複数の図によって表された機能を実行する。

当業者は、本開示の様々な変形形態および修正形態を本開示の精神および範囲から逸脱することなく行うことができる。したがって、本開示のこのような変形形態および修正形態が、本開示の特許請求の範囲またはその等価物の網羅する範囲内であるなら、本開示はまた、このような変形形態および修正形態も包含する。

Claims (6)

1. 情報検索システムに適用可能な情報検索方法であって、
   検索ワードをユーザから受信することと、
   前記検索ワードを１つまたは複数のキーワードに分割することと、
   前記１つまたは複数のキーワードに一致する１つまたは複数の文書を検索することと、
   前記情報検索システムの反転インデックス・データに基づいて、前記１つまたは複数の文書に対応する正引きインデックス・データを検索することであって、各文書は、前記それぞれの文書内の少なくとも１つのワードをインデックスとして使用し、前記それぞれの文書内の前記少なくとも１つのワードの位置を記録する前記正引きインデックス・データを有する、検索することと、
   前記それぞれの文書に対応する前記正引きインデックス・データに従って、前記１つまたは複数の文書の少なくとも１つの要約を決定することであって、前記要約は、前記正引きインデックス・データに基づいた長さ制限の範囲内のテキスト・パラグラフ中の前記１つまたは複数のキーワードの最多数を含むテキスト・パラグラフを含むことと、
   前記１つまたは複数の文書に関連する前記要約および情報を検索結果として出力することと、を含み、
   前記それぞれの文書に対応する前記正引きインデックス・データに従って前記文書要約を決定することは、前記１つまたは複数の文書の少なくとも１つに対して、
   前記それぞれの文書の正引きインデックス・データ内の少なくとも１つのワードをトラバースすることと、
   トラバースされたワードが前記１つまたは複数のキーワードに一致する場合、前記それぞれのワードの位置をインデックスとして使用することにより、第１のデータ構造内に少なくとも１つのトラバースされたワードを記録することと、
   前記それぞれのワードをインデックスとして使用することにより、第２のデータ構造内に前記それぞれのワードの位置を記録することと、
   前記第２のデータ構造内の記録に従って前記要約の開始位置を決定することと、
   前記長さ制限および前記第１のデータ構造内の記録に従って前記要約の終了位置を決定することと、
   前記決定された開始位置および終了位置ならびに前記正引きインデックス・データに従って前記要約を生成することと、を含む情報検索方法。
2. 前記長さ制限内の範囲内の１つまたは複数のキーワードの前記最多数を含む複数のテキスト・パラグラフが存在する場合、前記要約は、前記１つまたは複数のキーワードの最多反復を有する前記複数のテキスト・パラグラフの１つを含む、請求項１に記載の情報検索方法。
3. 前記１つまたは複数の文書の前記要約および情報を前記検索結果として出力することは、
   前記１つまたは複数の文書のそれぞれの文書と前記１つまたは複数のキーワードとの一致の程度に従って、前記１つまたは複数の文書の少なくとも１つの前記要約および文書情報を含む前記検索結果を高から低までにランク付けすることと、
   所定のデータ書式に従って前記ランク付けされた検索結果を出力することと、をさらに含む、請求項１に記載の情報検索方法。
4. 情報検索システムであって、前記情報検索システムの反転インデックス・データ、および、１つまたは複数の文書に対応する正引きインデックス・データを記憶する記憶モジュールを含み、前記正引きインデックス・データは、前記それぞれの文書内の少なくとも１つのワードをインデックスとして使用し、前記それぞれの文書内の前記少なくとも１つのワードの位置を記録し、前記情報検索システムは、
   前記情報検索システムに入力された検索ワードを受信する入力モジュールと、
   分割によって前記検索ワード内に含まれた１つまたは複数のキーワードを獲得し、前記反転インデックス・データを介して、前記１つまたは複数のキーワードおよび前記１つまたは複数の文書の対応する正引きインデックス・データに一致する１つまたは複数の文書を検索し、前記それぞれの文書の対応する正引きインデックス・データに従って、前記１つまたは複数の文書の少なくとも１つのそれぞれの要約を決定し、前記要約として、前記正引きインデックス・データによって決定された長さ制限範囲内の１つまたは複数のテキスト・パラグラフ中の前記１つまたは複数のキーワードの最多数を含むテキスト・パラグラフを決定する、検索モジュールと、
   前記１つまたは複数の文書の少なくとも１つに関連する前記要約および情報を検索結果として出力する出力モジュールと、を備え、
   前記検索モジュールは、
   前記検索ワードの分割後、前記検索ワード内に含まれた前記１つまたは複数のキーワードを獲得し、前記要約反転インデックス・データを介して前記１つまたは複数のキーワードおよび前記１つまたは複数の文書の正引きインデックス・データと一致する前記１つまたは複数の文書を発見する、検索サブモジュールと、
   前記１つまたは複数の文書の少なくとも１つの前記正引きインデックス・データに対して、前記それぞれの文書の正引きインデックス・データ内の少なくとも１つのワードをトラバースし、トラバースされたワードが、前記１つまたは複数のキーワードに一致する場合、インデックスとして、前記それぞれのワードの位置を使用することにより、第１のデータ構造内に前記少なくとも１つのトラバースされたワードを記録し、インデックスとして、前記それぞれのワードを使用することによって第２のデータ構造内に前記それぞれのワードの位置を記録し、前記第２のデータ構造内の記録に従って前記要約の開始位置を決定し、前記長さ制限および前記第１のデータ構造内の記録に従って前記要約の終了位置を決定し、前記決定された開始位置および終了位置ならびに前記正引きインデックス・データに従って前記要約を生成する、要約生成サブモジュールと、
   前記１つまたは複数の文書に関連する前記生成された要約および文書情報を前記出力モジュールに提示する提示サブモジュールと、を含む情報検索システム。
5. 前記検索モジュールが、前記長さ制限範囲内の前記１つまたは複数のキーワードの前記最多数を含む複数のテキスト・パラグラフが存在すると判定する場合、前記要約は、前記１つまたは複数のキーワードの最多反復を有する前記複数のテキスト・パラグラフの１つである、請求項４に記載の情報検索システム。
6. 前記出力モジュールは、前記１つまたは複数の文書のそれぞれの文書と前記１つまたは複数のキーワードとの一致の程度に従って各前記１つまたは複数の文書の前記要約および文書情報を含む前記検索結果を、高から低までにランク付けし、前記出力モジュールは、所定のデータ書式に従って前記ランク付けされた検索結果を出力する、請求項４に記載の情報検索システム。

Images