JP5243167B2 - 情報検索システム - Google Patents

Description

本出願は、概ね、コンピュータ環境における情報の抽出（retrieval）に関し、とくに、情報を索引化して検索するためのシステムおよび方法に関する。

電子データは、世の中がますますコンピュータ化されるにつれて驚くほどの量で作成かつ記録されている。残念ながら、離散データセット内で特定のデータを見つけることは、データ量が増えるにつれてますます難しくなる。データベース内であるか、ワールドワイドウェブ（Ｗｅｂ）などの分散型環境内であるかを問わず、対象となるデータを効率的に検索することには、一般的に、１つまたはそれ以上の電子索引にアクセスすることが含まれる。多くのコンピュータ環境において、索引は、市販のデータベース製品により作成かつ維持される。ウェブという状況においては、索引は、インターネットを介して利用可能である様々な検索エンジンにより作成かつ維持されている。大半の環境における課題は、索引を最新に維持すること−データが環境内で追加、除外、および更新されるときにデータを反映することである。

転置索引は、多対多の関係を索引化するためにデータベースおよび検索エンジン内で使用されるタイプの索引である。転置索引は、一般的に、複数の記録から成り、各記録は、キーと１つまたはそれ以上の関連のリファレンスとを有する。各リファレンスは、リファレンスマテリアル内でのキーの存在を示す。例えば、ウェブページの索引は、キーとしての単語識別子およびその単語を含むウェブ文書のユニフォームリソースロケータ（ＵＲＬ）のリファレンスとともに多くの記録を含む場合がある。

従来の索引は、一般的に、電子文書に対して索引「キーワード」を関連づけるものである。例えば、キーワード「conventional（従来の）」が、これらの従来の索引化システムの１つにより索引化されていた場合には、そのキーワードはこの文書と関連づけられることになる。しかしながら、文書内のキーワードの存在は、特定の検索と文書との関連性を保証するものでない。「conventional」という単語は、その単語が使用されたことがある他の全ての文書と関連づけられる恐れがある。何十億もの文書が常に拡張するデジタル世界にあり、かつ、有限の数の単語がそれらの文書を構成するために使用されている状態で、単純なキーワード検索は、莫大な量の関連のない材料の中に関連の材料を埋没させる運命にあるように思われる。関連のない材料の大きな種々のデータセット内で関連の材料を見つけるという問題は、認識されて久しい。キーワード検索を洗練するために様々な手法がこれまで取られている。例えば、一部の手法では、文書内のあるキーワードの別のキーワードとの近似を計算して用いる。別の手法では、複数のキーワードを互いに関連づける統計モデルを生成する。

電子情報の索引化および検索は、現代の突出した課題の１つであることに変りはない。関連の材料を見つけるために有用な索引を生成して検索する改良形システムおよび方法に対する満たされていない要望がある。

情報の意味検索のための方法およびシステムを提供する。情報パッセージについて意味索引キータームが生成される。索引キータームは、規則に基づいた変換部により生成された１つまたはそれ以上の索引キートークンを含む。索引キートークンは、情報パッセージにある意味関係の表現を含む。意味関係を説明するために、トークンタイプおよび他の情報を索引キートークンに添付することができる。索引タームは、意味索引タームが意味索引キータームにより文書化された意味関係に関連した情報パッセージに関連づけられるように、索引転置法により索引化される。結果的に得られる転置索引は、本発明の他の実施形態に含まれた検索段階に利用可能である。

検索段階により、規則に基づく変形部により生成された１つまたはそれ以上のクエリキートークンを含む１つまたはそれ以上のクエリキータームが生成される。クエリキートークンは、検索クエリにある意味関係の表現、例えば、自然言語テキスト文字列を含む。クエリキーターム変換部は、索引キーターム変換部と全く同じか、または、類似のものとすることができる。その後、クエリ検索キータームによる文書化に従って、索引キータームにより索引化された意味関係および概念が、クエリの意味関係および概念のサブセットで転置索引に対して照会される。クエリキータームにマッチングする１組のパッセージを結果セットとして戻すか、または、さらに処理することができる。

索引キーターム、クエリキータームのいずれも、直接的に、または、パッセージ内の情報の意味関係を文書化する圧縮知識表現、および、クエリ内の情報の意味関係を文書化する類似の圧縮知識表現を参照して生成することができる。パッセージの意味表現は、結果セット内にパッセージを含む前に、統一プロセスを用いて、クエリの意味関係とマッチングさせることができる。

情報検索システムは、情報のコーパス内に含まれた情報パッセージの確認済みの意味に基づいて情報を索引化および検索する。文字言語の場合、単語は、容認された意味および文法に与えられた理解力で、前後関係において解析される。この意味解析は、被解析データ内にある意味関係を定める複雑な、かつ、内容豊富であることが多いデータ構造を作成する自然言語理解プログラムにより行われる。検索時に、自然言語クエリは、類似のデータ構造に変換される。情報パッセージについて生成されたデータ構造に照らしてクエリについて生成されたデータ構造を比較することにより、情報のコーパスから関連データが抽出される。これらの比較の各々は、各々の比較を行うために必要とされる相対量のコンピュータリソースの点から見ると計算コストが高いものである。情報のコーパスを索引化するために生成しなければならない各データ構造に含まれた多量のデータおよび潜在的に莫大な数のデータ構造体を考慮すると、クエリに関連しそうなデータ構造を予め選択する効率的かつ正確な方法およびシステムであれば、非常に望ましいであろう。

図１を参照すると、索引付け段階２００は、各パッセージを取得してパッセージ構文解析部２０２にパッセージを転送することによりパッセージ２０１のコーパスを索引化する。パッセージ構文解析部２０２は、ｆ構造というデータ構造にパッセージを構文解析する。意味表現生成部２０４は、圧縮意味表現を生成し、その１つの形は、以下で意味表現という。意味表現生成部２０４は、パッセージのコンテンツおよび構造を解析する関数、オントロジなどの言語学リソースにアクセスして適用する関数、パッセージの解釈における潜在的な曖昧さを文書化する関数、書換規則を適用して意味表現を構築しかつ書き込む関数を含むことができる。

意味表現は、その後、変換部２０８によりキータームに変換される。各キータームは、一意な識別子に関連づけられてキーターム辞典２１０に記憶される。意味表現の変換から生成されたキータームは、その後、情報源パッセージに参照して関連づけられて、転記（posting）ファイル２１２に記憶される。保管効率については、キーターム、パッセージおよび意味表現に関連した一意な識別子が、一般的に、転記ファイル内で関連づけられるが、実際の情報は、転記ファイル２１２の一部として記憶することができる。キーターム、意味表現およびパッセージの記述は、それらの値または実際値自体へのリファレンスを含めて読み取られるべきものである。

転記ファイル２１２は、複数の転記２２０を含む。各転記２２０は、リファレンス２１８に関連したキーターム２１６を含む。リファレンス２１８は、パッセージまたはパッセージから導出された情報をキーターム２１６と関連づけるものである。例えば、転記２２０は、ソースパッセージ２２２のリファレンス、その意味表現から導出された意味表現（ＳｅｍＲｅｐ）２２４のリファレンス、または、データパスまたはパッセージを含む原始文書へのリンクなど、任意の他の有益情報２２６を含むことができる。

転記ファイル２１２が転記２２０で読み込まれると、転置（inversion）エンジン２３０は、各々の独自のキーターム２１６を転記２２０を経由してそのキーターム２１６に関連づけられるリファレンス２１８の各々に関連づける索引２４０を作成する。現在知られているかまたは将来に開発される任意の索引転置法またはシステムを使用して転置索引を作成することができる。

図２は、例示的な意味表現生成部２０４をさらに詳細に例示する。パッセージ３１０は、意味表現エンジン３２０による処理に向けて取得される。パッセージ３１０は、別のパッセージ３１２の一部として含むことができる情報のデータの塊を表し、データの塊自体は、文書３１４または他の形の含まれた情報パッセージに属することができる。例えば、パッセージ３１０は、「nobody saw a man with a telescope（誰も、望遠鏡を持った男に会わなかった）」という文である。この文は、文書３１４内に存在する段落３１２内に含めることができる。パッセージ３１０は、文中の語句を表すこともできる。

意味表現３３０は、意味表現エンジン３２０により生成される。意味表現エンジン３２０は、パッセージ３１０のコンテンツおよび構造を解析する関数、オントロジなど言語学リソースにアクセスして適用する関数、パッセージ３１０の解釈における潜在的曖昧さを文書化する関数、および書換規則を適用して意味表現３３０を構築しかつ書き込む関数を含む。意味表現エンジン３２０は、規則により言語の概念的意味の論理的表現にパッセージ３１０を変換する。結果として生じる圧縮意味表現は、深い意味関係を文書化する。例えば、図２に例示する意味表現３３０は、サンプルパッセージ３１０「nobody saw a man with a telescope（誰も、望遠鏡を持った男に会わなかった）」の圧縮意味表現である。意味表現３３０は、パッセージ３１０の意味解析を含む複数の下部構造３３２を含む。

異なる意味関係を文書化するために、異なるタイプの下部構造３３２が使用される。例えば、役割関係の下部構造３３４は、視覚事象（ｓｅｅ＃＃１３と表示）３３６を人物（ｐｅｒｓｏｎ＃＃１０と表示）３３８と関連づける。一時的な関係の下部構造３４０は、ここで、視覚事象３３６を今までに起こったことがあると認識かつ記録する。一部の下部構造３３２は、パッセージ３１０が曖昧なときに他の了解事項を文書化する。例文「Nobody saw a man with a telescope（誰も、望遠鏡を持った男に会わなかった）」は、下部構造３４２（代案「Ａ１」）により記録されるように、「a man was seen with a telescope（男は望遠鏡で見られた）」、または、下部構造３４４（代案「Ａ２」）により記録されるように、「a man was seen using a telescope（男は、望遠鏡を使用して見られた）」と解釈することができる。

他の下部構造３５０は、オントロジ３５４などの意味支援リソース３５２、または、文法規則データベースなどの他のソース３５６から引き出される語彙関係を文書化することができる。プリンストン大学認知科学研究所により作成かつ維持管理されるＷｏｒｄＮｅｔは、英語の意味辞典であり、かつ、オントロジの１つの例である。ＷｏｒｄＮｅｔは、単語をシンセット（synset）という同義語の組に分類する。シンセットは、単語間の関係を指定する階層にまとめることができる。例えば、上位語は、主語の単語に関連したより一般的な単語であるか、または、下位語は、主語に関連した関連したより特定の単語である。意味表現エンジン３２０は、下位概念の下部構造３５のデータを読み込むためにシンセットから情報を引き出したり、解釈したり、または、修正したりすることができる。例えば、望遠鏡３５８の概念は、姿見鏡３６０（ＩＤ ４３４１６１５）または対象物（ＩＤ １７４０）３６２などの漸進的に一般的になるタームと関連づけることができる。同様に、意味表現エンジン３２０は、ターム「physical object（対象物）」（ＩＤ１７４０）３６２を破棄するなど、一般的すぎて検索内において実用性がないタームを下部構造３５０内で省略することができる。

意味表現生成部２０４により生成された意味表現３３０は、意味表現データベース３７０に記憶され、そこで、一意な識別子およびソースパッセージのリファレンスと関連づけることができる。データベースでの記憶に加えて、意味表現は、任意の形の揮発性または不揮発性メモリに記憶するか、または、必要に応じて生成することができる。

図３においては、キータームへの情報の変換４００を例示する。意味変換部４０２は、索引ターム４０６への処理に向けて情報パッセージの圧縮意味表現４０４を取得する。一実施形態においては、圧縮意味表現４０４は、例えば図２に示すように、意味表現３３０である。別の実施形態においては、圧縮意味表現４０４は、独自の解釈ルーチン、オントロジなどの意味リソースの直接的な使用を介して、意味変換部４０２により生成される。

意味変換部４０２は、変換規則データベース４１２から変換規則４１１を引き出す規則に基づく変換プロセッサ４１０を含む。意味表現３３０を指摘し、かつ、主語パッセージへの索引パスを実現するために、１つまたはそれ以上のキー索引ターム４１４が生成される。とりわけ、意味表現の作成における種々の微妙な点および言語学リソースに関する問題のために、関連したパッセージは、クエリから生成されるクエリキータームと予測可能に整合する索引キータームを必ずしも有することができるわけではない。経時的にキータームの関連を向上させるために、発見的調整部４６０は、変換規則４１１を調整するために抽出段階またはマッチング段階の一方または両方において判断される測定基準とインタフェースする。規則は、検索成功などの測定基準の経験的観察に基づいても調整される。

変換規則４１１は、性能を向上させるために、経時的に追加、削除、または、編集することができるように変換規則データベース４１２に記憶される。変換規則の例としては、固有名詞など、特定のターム４２０を特定かつ索引化する規則、パッセージまたはクエリ４２２内で使用される実際のタームの同義語を特定かつ抽出する規則、パッセージまたはクエリ４２４内で使用される実際のタームの上位語を特定かつ抽出する規則、パッセージ４２６内でのタームの文法上の役割を特定かつ関連づける規則、ターム４２８の単語感覚を特定かつ関連づける規則、あるいは、オントロジまたは他の言語学リソースなどから利用することができるものなど、任意の他の言語学識別子４３０を関連づける規則がある。変換規則４１１では、厳密に言語上の情報以外に基づいて索引ターム４１４の生成を引き起こすこともできる。例えば、拡張規則４３２では、企業（Ｂｉｇ ＢｌｕｅまたはＩＢＭ）には愛称を、より堅苦しいタームには話し言葉を代用するなど、論理的関連に基づいてキータームを生成することができる。種々の発見的方法が解析され、かつ、経験が進むにつれて他の変換規則４３４が開発されることが予想される。

サンプルパッセージ５０６の索引キートークン５０２〜５０４の生成の例を図４に例示する。サンプルパッセージ５０６は、「the man gave a dog a bone（男は、犬に骨を与えた）」である。この文は、いくつかの下部構造５１０を含む意味表現５０１に翻訳される。下部構造５１０により、サンプルパッセージ５０６の意味解析が定められる。説明を不明瞭にしないために、可能な下部構造５１０の数個のみを例示する。下部構造５１０は、多くの他の可能な意味関係の中からの文書の意味的「役割（roles）」および「概念（concepts）」を例示する。例えば、「man（男）」は、１つの下部構造５１２内で文の主語として認識され、第２の下部構造５１４は、文の直接目的語を「bone（骨）」として文書化し、第３の下部構造５１６は、「dog（犬）」を文の間接目的語と特定する。「概念」下部構造５１８〜５２２は、これらの目的語を、関連した概念リストに拡張する、この場合、上位語、または、タームの漸進的に一般的になる同義語の組としてまとめられる。例えば、「man（男）」の概念は、その他の方法で、概念下部構造５１８において、「person（人）」、「animal（動物）」または「agent（行為の主体）」として記述することができる。同じタイプの拡張は、「bone（骨）」の概念下部構造５２０または「dog（犬）」の概念下部構造５２２について可能である。

多くの可能な変換５２０〜５３２のうちの２つを図４に示す。これらの変換規則５３０は、索引キートークン５０２〜５０４を生成するために変換エンジン５４０により使用される。これらの変換規則５３０〜５３２について呈示する例は、書換規則の形を取る。これらの書換規則では、下部構造５１０から、索引ファイル５６０内での独自のキーとして使用することができる索引タームに情報を翻訳し、かつフォーマットする。同じ下部構造５１０は、異なる索引キートークン５０２〜５０４を同じ情報から生成する複数の変換規則５３０〜５３２の入力の役目をすることができる。

変換規則５３０では、例「ｓｕｂｊｅｃｔ（ｘ），ｄｉｒｅｃｔ＿ｏｂｊｅｃｔ（ｙ）＝＞「ｓｂ＿ｏｂ：＜ｘ＞；＜ｙ＞」が呈示されており、これは、意味表現５０１から主語および直接目的語の下部構造を抽出して基準形式に情報を書き込む。索引トークンは、ラベルまたはトークンタイプおよび下部構造から抽出された主語情報を含む。結果として生じる索引トークンまたは索引タームの例は、「ｓｂ＿ｏｂ：ｍａｎ；ｂｏｎｅ」５７２であり、これは、タームタイプ「ｓｂ＿ｏｂ」主語情報「man（男）」および直接目的語情報「bone（骨）」を含む。変換エンジン５４０は、意味表現５０１の概念下部構造５１８〜５２２を参照して主語と直接目的語の意味関係に関連した概念の索引トークンを生成することにより、変換規則５３０の拡張を処理することもできる。例えば、「bone（骨）」の拡張としての「ｓｂ＿ｏｂ；ｍａｎ；ｅｄｉｂｌｅ−ｏｂｊｅｃｔ」、または、同様に「man（男）」の拡張としての「ｓｂ＿ｏｂ：ａｎｉｍａｌ；ｂｏｎｅ」のように、他のキーインデックストークン５７４〜５７６を生成することができる。他の拡張された索引トークン５８０をこの簡素化した例として図４に例示する。

異なる経路を介して同じパッセージ５０６への代替パスに実現するためにパッセージ５０６の代替索引キータームを有利に索引化することができる。変換規則５３２では、情報間の関係をそれほど具体的には定義していないが、それでも文の文法を表す索引トークン５０４に主語と目的語の関係を書き変える例である。例えば、「ｓｕｂｊｅｃｔ（ｘ），ｄｉｒｅｃｔ＿ｏｂｊｅｃｔ（ｙ）＝＞「ｓｂ：＜ｘ＞」,「ｄｏ：＜ｙ＞」は、結果的に、別個にキーインデックストークン「ｓｂ：ｍａｎ」５８２および「ｄｏ：ｂｏｎｅ」５８４およびそれらの様々な拡張５８６〜５８８となる。変換エンジン５４０は、索引キートークン５０２〜５０４の生成を制御するか、または、他の方法でフィルタリングするように下部構造５１０を処理することもできる。例えば、変換エンジン５４０は、関連ターム間の意味距離を判断して拡張を制限することができる。ターム間の意味距離は、そのリストの順序によりリスト内で示すことができ、初めのタームは、リスト内では後出のタームよりも密接な関係がある。変換エンジン５４０は、この例においては、検索中に、一般的すぎて使用できないとして、「object（対象）」への「bone（骨）」のキートークン５９２拡張を省略しながら、「ｅｄｉｂｌｅ−ｏｂｊｅｃｔ」を「bone（骨）」と関連づけるキートークン５９０を生成することができる。

索引キーターム５６０を形成するために索引キートークン５０２〜５０４の１つまたはそれ以上が組み合わせられる。情報パッセージ毎に１つまたはそれ以上の索引キーターム５６０を作成することができる。

キーターム辞典６００が図５に示されており、複数のキーターム６０６を含む。キーターム辞典６００は、転記データベースへのポインタである一意な識別子に「索引ターム（index terms）」を関連づけるデータベースである。換言すると、索引タームがあれば、辞典は、そのタームの転記にアドレスを返すことができる。タームの転記は、発生データ、タームが発生する文書、文、または、下位文の構成要素の全てを指す。

索引ターム６０２〜６０６は、元の文書内の単語の表現を符号化する文字列である。タームは、実際の単語文字列自体、または、単語（例えば、同義語、上位語、または下位語）６２２と言語学的に関連した単語文字列を含むことができる。タームは、また（または代わりに）、単語または何らかの関連した単語を表す語彙リソース（辞書またはオントロジ）からの識別子（ルックアップキー）を含むことができる。

さらに、索引タームは、文６２４中での単語の使われ方に関する言語学的情報を含むことができる。この情報として、品詞（例えば、名詞、動詞、または形容詞）、単語が果たす文法上の役割（例えば、主語、直接目的語、または間接目的語）、および元の単語との索引タームの関係（同義語、上位語、下位語などである場合）を挙げることができる。

この情報の全ては、異なる文字列または文字符号化を適切な区切り文字により分離される単一の文字列に連結することにより、索引ターム６０４に記憶される。例えば、直接目的語の役目をする、名詞として使用される元の文書中の「man」という単語は、「man:VB:N:DO」として索引タームに符号化することができ、ここで「man（男）」は、元の単語であり、「VB」は、文字列が文字通りに単語である（元の文書中に現れるとき）ことを示し、「N」は、それが名詞であることを示し、「DO」は、それが文中で直接目的語の役目をすることを示す。

別の索引ターム６０６は、この単語の上位語と共に追加することができ、索引ターム「ｍａｎ：ＶＢ：Ｎ：ＤＯ」が得られる。あるいは、「ｍａｎ」という単語は、何らかの特定の語彙リソース内の「１２３４」というルックアップキーに関連づけることができ、かつ、索引タームは、その後、「１２３４：ＩＤ：Ｎ：ＤＯ」として符号化することができ、「ＩＤ」は、「１２３４」が特定の語彙リソースのルックアップ識別子であることを示す。

実施形態においては、各キーターム６０２〜６０６は、１つまたはそれ以上のトークン６０８〜６１８を含む独自の文字列である。トークン６０８〜６１８は、タイプフィールド６２０と、タームまたはターム識別子６２２と、発見的調整用測定基準の記憶など、関連データまたはメタデータの関連づけに利用可能な他のフィールド６２４とを含む。トークン６０８〜６１８の例としては、索引キーに妥当な独自の文字列を形成するために、個々にキーターム６０２に、または、様々な組合せで使用することができる図４に示す索引キートークン５０２〜５０４がある。

図６を参照すると、転置索引７００は、複数の記録または「転記（postings）」７０２〜７０６を含む。各記録は、１つまたはそれ以上のリファレンス７１４〜７２４に関連づけられているキーターム７０８〜７１２で索引エントリを表す。リファレンスは、パッセージフィールド７３０、意味表現フィールド７３２、または、一方または両方に関連づけられた識別子を含む。他の情報７３４は、原始文書へのリンクまたは関連のパッセージの位置など、記録に関連づけることもできる。実施形態においては、意味表現フィールド７３２は、意味表現データベース３７０（図２）から関連意味表現３３０を検索するために使用される識別子を記憶する。パッセージまたはパッセージのリファレンスは、関連のパッセージフィールド７３０から取得することができる。パッセージリファレンスは、意味表現データベース３７０に記憶された意味表現３３０に関連づけることもできる。

クエリに関連するパッセージは、検索段階内で特定されて戻される。以下の説明を行う上で、検索段階は、抽出段階およびマッチング段階を含む。候補パッセージは、パッセージのキー索引タームの生成に相当する方法でクエリに向けて生成されたキー索引タームを使用して抽出段階内で特定される。クエリおよびパッセージの両方に向けて生成されたキータームのタイプおよびマッチングにある程度基づいて、関連性評価および発見的調整を経由して１組の候補パッセージが決定される。マッチング段階は、クエリの意味表現に照らした、候補パッセージの意味表現の相対的により計算コストが高いマッチングを含む。検索段階では、クエリに関連するとわかるパッセージのリファレンスを戻す。本明細書で使用されるとき、パッセージのリファレンスは、実際のパッセージを含むことができる。

例示的な抽出段階を図７以降に例示する。検索の基盤を形成するためにクエリが設けられる。クエリ構文解析部８０２は、クエリを取得して構文解析する。実施形態においては、クエリ構文解析部８０２は、ゼロックス言語学環境（ＸＬＥ：Xerox Linguistic Environment）を使用してｆ構造を生成する。意味表現生成部８０４は、クエリの圧縮意味表現を生成する。１つの形の圧縮意味表現を、「意味表現（semantic representation）」という。意味表現生成部８０４は、クエリのコンテンツおよび構造を解析する関数、オントロジなどの言語学リソースにアクセスして適用する関数、クエリの解釈における潜在的な曖昧さを文書化する関数、書換規則を適用して意味表現を構築しかつ書き込む関数を含むことができる。

例示的な意味表現生成部２０４（図２）は、パッセージおよびクエリ用の両方の意味リファレンスの生成に使用することができる。例えば、意味表現生成部２０４は、索引化段階および検索段階のいずれかまたは両方にアクセス可能なサーバコンピュータ１４０上で動作することができる。同じ意味表現生成部２０４を使用した方がパッセージもクエリも一貫して解釈することができ、マッチングのチャンスが大きくなることを含意しているが、パッセージおよびクエリの意味表現を生成するために同じ意味表現生成部を使用する必要はない。たとえば、あるいは、意味表現生成部８０４は、パッセージに使用されるものと異なる規則または強調でクエリを処理するように構成することができる。

クエリの意味表現は、その後、キーターム変換部８０８によりキータームに変換される。キータームの生成は、図３を参照して先に論じている。意味表現生成部２０４と同様に、キーターム変換部８０８は、索引化段階、抽出段階の一方または両方により使用されるようにサーバコンピュータ上で記憶することができる。あるいは、特に、キーターム変換部８０８は、クエリを処理するように構成することができる。キータームが生成されるときに、ターム辞典６００（図５）にアクセスして、キータームは、まだ存在しない場合にはターム辞典に追加される。その後、クエリから生成された１組のキーターム８１０が、抽出部８１２に供給される。クエリ時に、クエリの意味表現から生成された索引タームが、転置索引／転記内で調べられる。したがって、クエリ中のターム毎に、各タームがコーパス内で発生する発生情報を抽出することができる。発生情報に対してセット演算を行うことにより、サーチエンジンは、例えば、クエリ内で各タームの何らかの変形の少なくとも１つの例を含む文書のみを見つけることができる。例えば、クエリからの索引タームが「ｍａｎ：ＶＢ：Ｎ：ＤＯ」および「ｐｅｒｓｏｎ：ＶＢ：Ｎ：ＤＯ」を含む場合、これらのタームのいずれも辞典内で調べられ、その両方について転記が抽出される。これらのタームの両方の発生の結合体は、この特定の単語のいずれかの表現含む全ての文書（または、文または下位文構成要素）を表す。このセットは、その後、クエリ内で全てのタームの何らかの変形を含む文書（または文など）を見つけるために、他のタームについて抽出された転記とインターセクトさせることができる。

候補抽出部８１２は、セット演算を実行して関連性得点をパッセージに割り当てることにより１組の抽出候補を決定する。抽出候補は、その後、潜在的マッチング候補セットを生成するために抽出候補をフィルタ処理して評価する候補選択部８１４に供給される。発見的抽出調整部８１６は、潜在的マッチング候補セットを評価して、マッチング段階に向けてマッチング候補セット８１８に供給するか、または、問題のない組のマッチング候補８１８が特定されるまで、候補抽出８１２〜８１６を反復して実行する。

クエリ９０６に向けたクエリキートークン９０２〜９０４の生成の例を図８に例示する。この簡素化した例においては、クエリ９０６「A person gave a dog a bone（人は、犬に骨を与えた）」は、サンプルパッセージ５０６「A man gave a dog a bone（男は、犬に骨を与えた）」の検索が意図されている。サンプルクエリ９０６は、サンプルパッセージ５０６を複写せず、むしろ類似の意味論的な前提を表す。サンプルクエリは、いくつかの下部構造９１０を含む意味表現９０８に翻訳される。下部構造９１０により、サンプルクエリ９０６の意味解析が定められる。多くの可能な意味関係から、下部構造９１０は、パッセージ５０６に関連した索引キートークン５０２〜５０４の一部、および、クエリ９０６に関連した重要なクエリキートークン９０２〜９０４の可能な整合を立証するために、やはり、「役割」および「概念」に限定される。クエリにおいては、「person（人）」は、１つの下部構造９１２において例文の主語として認識され、第２の下部構造９１４は、文の直接目的語が「bone（骨）」であることをと実証し、第３の下部構造９１６は、「犬」を文の間接目的語と特定する。「概念」下部構造は、これらの目的語を、関連概念のリストに拡張する、この場合、上位語、または、タームの漸進的に一般的になる同義語の組としてまとめられる。パッセージからのターム「man（男）」の拡張５１８により、サンプルクエリ９０６の主語に向けて生成された索引ターム９７２と同等の索引ターム５７８が得られたことに注意すれば役に立つであろう。

より簡単にキー索引タームの可能な整合を立証するために、変換規則９３０〜９３２は、サンプルパッセージ５０６を変換するために使用される同じ変換規則５３０〜５３２である。これらの変換規則９３０〜９３２は、クエリキートークン９０２〜９０４を生成するために変換エンジン９４０により使用される。変換規則９３０〜９３２は、例えば、下部構造９１０から、インデックスファイル７００に対して照会する独自のキーとして使用することができる索引タームに情報を翻訳およびフォーマットする書換規則である。例示的な変換規則により示されるように、同じ下部構造９１０は、同じ意味関係から異なるクエリキートークン９０２〜９０４を生成する複数の変換規則９３０〜９３２の入力の役目をすることができる。クエリキートークン９０２〜９０４の１つまたはそれ以上は、クエリキーターム９６０を形成するために組み合わせられる。クエリ毎に１つまたはそれ以上の索引キーターム９６０を作成することができる。

変換規則９３０では、例「ｓｕｂｊｅｃｔ（ｘ），ｄｉｒｅｃｔ＿ｏｂｊｅｃｔ（ｙ）＝＞「ｓｂ＿ｏｂ：＜ｘ＞；＜ｙ＞」が呈示されている。この例示的な変換規則では、意味表現９０８から主語および直接目的語の下部構造を抽出して、基準形式に情報を書き込む。各キートークンは、ラベルまたはトークンタイプおよび下部構造から抽出された主語情報を含む。結果として生じる索引トークンの例は、ターム形式「ｓｂ＿ｏｂ」、主語情報「ｐｅｒｓｏｎ」、および直接目的語情報「ｂｏｎｅ」を含む「ｓｂ＿ｏｂ：ｐｅｒｓｏｎ；ｂｏｎｅ」９７２である。変換エンジン９４０は、意味表現９０８の概念下部構造９１８〜９２２を参照して主語／直接目的語の意味関係に関連した概念の索引タームを生成することにより、変換規則９３０の拡張を処理することもできる。例えば、キー索引トークン９７４〜９７６は、「ｂｏｎｅ」の拡張として「ｓｂ＿ｏｂ：ｐｅｒｓｏｎ；ｅｄｉｂｌｅ−ｏｂｊｅｃｔ」、または、同様に、「ｐｅｒｓｏｎ」の拡張としての「ｓｂ＿ｏｂ：ａｎｉｍａｌ；ｂｏｎｅ」と生成することができる。他の拡張された索引トークン９８０をこの簡素化した例として図８に例示する。

関連した索引化パッセージとのマッチングの可能性を向上させるために、クエリに向けて関連情報の代替索引タームを有利に生成することができる。変換規則９３２では、情報間の関係をそれほど具体的には定義していないが、それでも文の文法を表す索引トークン９０４に主語と目的語の関係を書き変える例である。例えば、「ｓｕｂｊｅｃｔ（ｘ），ｄｉｒｅｃｔ＿ｏｂｊｅｃｔ（ｙ）＝＞「ｓｂ：＜ｘ＞」、「ｄｏ；＜ｙ＞」は、結果的に、別個のキー索引トークン「ｓｂ：ｐｅｒｓｏｎ」９８２および「ｄｏ：ｂｏｎｅ」９８４およびそれらの様々な拡張９８６〜９８８となる。変換エンジン９４０は、キートークン９０２〜９０４の生成を制御、または、他の方法でフィルタリングするために下部構造９１０を処理することもできる。例えば、変換エンジン９４０は、関連ターム間の意味距離を判断して拡張を制限することができる。ターム間の意味距離は、そのリストの順序によりリスト内で示すことができ、初めのタームは、リスト内では後出のタームよりも密接な関係がある。変換エンジン９４０は、この例においては、検索中に、一般的すぎて使用できないとして、「ｏｂｊｅｃｔ」への「ｂｏｎｅ」のキートークン９９２拡張を省略しながら、「ｅｄｉｂｌｅ−ｏｂｊｅｃｔ」を「ｂｏｎｅ」と関連づけるキートークン９９０を生成することができる。

図９を参照して抽出部８１２を更に詳細に説明する。レコード抽出部１００２は、クエリ９０６に向けて生成されたキートークン９０２〜９０４を含むレコードがないか、転置索引７００（図６）に照会する。抽出で使用されるキートークン９０２〜９０４は、発見的調整プロセスを介して、または、反復的抽出プロセスの一部として候補抽出部８１２により判断されるキータームのサブセットとすることができる。レコード抽出部１００２は、転置索引７００から抽出されたキーターム毎に結果セット１００４を戻す。

論理的セット演算部１００６は、抽出されたキートークン９０２〜９０４について取得された結果セット１００４に論理的セット演算を実行する。例えば、２つまたはそれ以上のキートークン９０２〜９０４について戻された結果セット１００４は、パッセージとの複数のキータームの関連づけを判断するためにインターセクトさせることができる。セット演算は、クエリキートークン９０２〜９０４に関連した任意のデータまたはメタデータ、または、結果セット１００４に関連した記録索引７０２〜７０６に対して行うこともできる。

セット演算１００８の結果は、索引抽出から取得された結果を採点するために結果採点部１０１０により使用される。結果採点部１０１０は、関連性分析部１０１２および関連性規則データベース構成要素１０１４を含む。関連性分析部１０１２は、関連性規則データベース構成要素１０１４から採点規則１０１２〜１０１６を適用する。この分析の一部として、セット演算の結果から推論することを挙げることができる。例えば、索引キートークン５０２〜５０４に対応する複数のクエリキートークン９０２〜９０４を見つける規則１０１６では、パッセージが関連の意味役割−すべてが同じパッセージ内−において関連の意味概念を所有するという推論をサポートすることができる。結果採点規則１０１８の別の例では、各パッセージ内に存在する検索タームのタイプに基づいて重み付き得点を割り当てる。例えば、対応する固有名詞を表すキータームは、高く重み付けすることができ、遠い上位語を表すキータームは、相対的により低い得点で重み付けすることができる。発見的方法または経験的観察に基づいて、他の規則１０２０を関連性規則データベース構成要素１０１４に追加することができる。１組の抽出候補１０３０が、更なる処理に向けて候補選択部１０３２に供給される。

候補選択部１０３２を図１０で更に詳細に例示する。抽出候補１０３０のセットは、１つまたはそれ以上の候補１１０４〜１１０８を含む。抽出候補１１０４〜１１０８は、リファレンス１１１０を含み、クエリのリファレンスの潜在的関連性を判断するために候補抽出部８１２により使用することができる他の情報フィールド１１１２〜１１１６も含むことができる。例えば、意味情報フィールド１１１２は、文中にある単語の意味役割およびそれらの単語がある状況に関する情報を含むことができる。他の有益な情報としては、関連の採点部１０１０により割り当てられた抽出得点を維持する抽出得点フィールド１１１４、および、パッセージ内での単語の位置および互いとの近位の関係などの情報を含むことができるデータ／メタデータフィールド１１１６を挙げることができる。抽出候補１１０４に関連した情報１１１０〜１１１６は、フィルタリング部１１２０により供給されるフィルタの動作の基盤となる。意味情報フィールド１１１２に関連した意味情報の一部には、特に、内包１１２２または除外１１２４についてフラグを立てることができる。例えば、固有名詞として認識されたタームには、特に、内包に向けてフラグを立てることができ、一方、公知の無関係な状況のタームは、とくに除外することができる。フィルタリング部１１２０は、特定のキーターム１１３０〜１１３２（または、それらのキーターム内のトークン）の有１１２６／無１１２８を認識することができる。パッセージ１１１０の関連性を判断する他のフィルタ１１３６をフィルタリング部１１２０に追加することができる。

マッチング候補セット１１５０内に含む候補の選択は、さらに、関連性予測部１１４０に従うものとすることができる。関連性予測部１１４０は、抽出得点１１４２を解析して、発見的に調整された閾値に基づいて抽出候補１０３０のフィルタリングをできる限り洗練する。関連性予測部１１４０は、逆参照カウント１１４４または他の経験的に判断された関連性予測値１１４６などの従来の関連性指標を適用することもできる。候補選択部１０３２は、マッチング段階（図１２）内で行われるより完全なかつ計算コストが高い意味マッチングに向けて、フィルタリング済みの１組のマッチング候補１１５２を含む１組のマッチング候補１１５０を生成する。各マッチング候補１１５０は、抽出段階中に関連づけられた情報１５４〜１１６０の一部または全部を維持することができる。例えば、抽出得点１１５８は、最終マッチング得点の要素として使用することができる。

候補抽出部８１２は、機能ブロックの形で図１１に示す発見的抽出調整部８１６により、経時的に性能を向上させるように調整される。発見的調整部８１６は、関連性得点１０１０（図９）、フィルタリング部１１２０、および関連性予測部１１４０（図１０）などの構成部により行われる解析を調整する。マッチング成功回帰部１２０２は、マッチング候補１２０４がマッチング段階においておよび潜在的に探索（search retrieval）までうまくマッチングされる成功例の回帰をモニタおよび計算する。発見的抽出調整部８１６は、抽出測定基準１２０８を維持する。発見的抽出調整部８１６は、また、１組の抽出目標１２１０をモニタおよび管理する。例えば、目標としては、特定の検索ターム１２１２の抽出、最小関連性得点１２１４、必要とみなされたトークンまたは検索語１２１６の内包、重要とみなされたトークンまたは検索語１２１８の内包、特定のターム１２２０の内包、セット１２２２内での最小数の抽出候補の呈示、最大数の検索候補１２２４の呈示、または、他の目標１２２６を挙げることができる。発見的抽出調整部８１６が探索目標１２１０またはマッチング成功回帰部１２０２の判断に照らして候補抽出の成功を判断すると、発見的抽出調整部８１６は、マッチング候補セットをマッチング段階に転送することができるか、あるいは、抽出繰返し１２４０を起動させる。抽出繰返し１２４０は、図７に示すループ８２０により示されるように、より幅広い抽出候補セットを検索するために検索判定基準を漸進的に緩和することができる。

例示的なマッチング段階１３００を機能ブロックの形で図１２に例示する。マッチング段階１３００中に、マッチング候補１３０２に向けて生成された意味表現１３０４は、マッチング部１３１０によりクエリ１３０６の意味表現１３０８と比較される。マッチング候補１３０２は、抽出段階（図８〜図１１）から得られる。マッチング候補１３０２の各々に関連した意味表現１３０４は、意味表現記憶部３７０（図２）から検索するか、マッチング候補１１５２に関連したデータ１１１６の一部として渡すか、または、意味表現生成部２０４（図２）により必要に応じて生成することができる。同様に、クエリ１３０６に関連した意味表現１３０８は、意味表現記憶部３７０（図２）から検索するか、抽出段階（図７）から渡すか、または、意味表現生成部２０４により必要に応じて生成することができる。

マッチング部１３１０は、意味表現１３０４と１３０８との間でマッチング作業および採点作業を行う。これらの操作は、統一作業（unification operations）を含むことができる。マッチングの結果は、１組の検索結果パッセージ、マッチング得点、または他の測定基準として報告することができる。結果採点部１３２０は、意味表現１３０４および１３０８の整合に基づいて、マッチング候補１３０２の各々について結果得点を決定する。一実施形態においては、マッチング部１３１０は、マッチング候補１３０２の各々について結果得点を呈示するために抽出得点１１５８と組み合わされているマッチング得点１４９０を生成する。結果採点部１３２０により決定された結果得点は、検閲されて、潜在的に発見的調整部１３３０への入力の役目をする。実施形態においては、発見的調整部１３３０は、図１１を参照して論じている抽出段階で使用される同じ構成部の一部である。発見的調整部１３３０は、マッチング部１３１０を調整するか、または、例えば、抽出判断基準を調整して抽出繰返し１２４０を起動させることにより抽出段階と相互に作用させることができる。検索結果部１３４０は、クエリに応答して、戻す検索結果リファレンスまたはパッセージを選択する。検索結果フォーマット部３５０は、プレゼンテーションフィルタに従って検索結果リファレンスまたはパッセージをフォーマットすることができる。例えば、パッセージのリファレンスまたはパッセージへのリンクは、結果得点にしたがって整理することができる。

図１３を参照すると、マッチング部１３１０は、マッチング候補毎に意味表現１４１０を取得すると共に、クエリ１４１２の意味表現を取得する。マッチング統一部１４２０は、意味表現３３０（図２）内に存在する多くの下部構造３３２の中から選択する下部構造選択部１４３０を含む。下部構造３３２の一部または全てを、統一プロセスに向けて選択することができる。

下部構造整合部１４５０は、下部構造選択部１４３０により選択された下部構造に整合法則１４５２およびマッチング基準１４５４を適用する。一般に、統一プロセスにおいては、フィルタは、マッチング判断基準を通過する述語と項の関係の各対から対応するタームを結びつける。整合は、インターセクション１４５６と同じくらい単純なものとすることができるか、または、他の１４５８より上位の解析を適用することができる。例えば、マッチング判定基準１４５４は、文字列トークンを比較するか、または、各タームに関連したオントロジ階層を比較することにより意味距離を計算することができる。疑問詞など、特定のタームは、自由にマッチングさせることができ、一方、他の文形式を考慮しないものとすることができる。

下部構造整合部１４５０は、下部構造整合採点部１４７０に調整結果を供給する。下部構造整合採点部１４７０は、採点判定基準１４７２〜１４８０をマッチング結果に適用する。例えば、整合する下部構造１４７２の百分率は、比例得点を示すことができ、一方、パッセージ意味関係から同じ関係内にある対応するタームとの、クエリ意味表現からあらゆる関係にある全てのタームの独自の結合に特に高い得点を割り当てことができる。意味距離計算部１４７４は、遠い関係より近い関係の方に高い得点を関係に割り当てることができる。計算部１４７６とマッチングしない場合、タームまたは意味関係がないことに基づいて、得点は減少する可能性がある。

特定のタイプの意味タームまたは意味関係の整合を割り当てることもできる。例えば、意味タイプ得点表１４７８から引き出して、採点部は、主語の役割における名詞の近い同義語を目的語の役割における名詞の遠い上位語より信頼できる関連性指標と評定することができる。経験に基づいたマッチング得点調整を可能にするために、意味タイプ得点表１４７８に関連した値および関係を別々のデータベースに記憶することができる。マッチング部１３１０は、マッチングプロセスの相対成功例を示すためにマッチング得点１４８０を生成する。

例示的な索引化段階のブロック図である。 意味表現の例示的な生成を説明するブロック図である。 索引タームへの意味表現の例示的な変換を説明するブロック図である。 索引タームへのパッセージの例示的な変換である。 例示的なキーターム辞典のブロック図である。 例示的な転置索引のブロック図である。 例示的な抽出段階を説明するブロック図である。 索引タームへのクエリの変換を例示するブロック図である。 例示的な候補抽出部のブロック図である。 例示的な候補選択部のブロック図である。 例示的な発見的検索調整部のブロック図である。 例示的なマッチング段階のブロック図である。 例示的なマッチング部のブロック図である。

符号の説明

２００ 索引付け段階、２０１ パッセージ、２０２ パッセージ構文解析部、２０４ 意味表現生成部、２０８ 変換部、２１０ キーターム辞典、２１２ 転記ファイル、２１６ キーターム、２１８ リファレンス、２２０ 転記、２２２ ソースパッセージ、２２４ 意味表現（ＳｅｍＲｅｐ）、２３０ 転置エンジン、２４０ 転置索引、３１２ パッセージ、３１４ 文書、３２０ 意味表現エンジン、３３０ 意味表現、３５２ 意味サポートソース、３５４ オントロジ、３７０ 意味表現記憶、４０２ 意味変換部、４０６ Ｓ１用索引ターム、４１０ 変換プロセッサ、４１２ 変換規則データベース、４１４ 索引ターム、４２０ 単語識別子、４２２ 同義語識別子、４２４ 上位語／オントロジ関連単語識別子、４２６ 文法上役割識別子、４２８ 単語語義識別子、４３０ 他の言語学識別子、４３２ 拡張規則、４３４ 他の変換規則、４６０ 発見的調整部、６００ キーターム辞典、７００ 転置索引、７０２，７０４，８０２ クエリ構文解析部、８０８ 変換部、８１０ クエリキーターム、８１２ 候補抽出部、８１４ 候補選択部、８１６ 発見的抽出調整部、９４０ 変換エンジン、１０１２ 関連性分析部、１０１４ 関連性規則データベース構成要素、１０３２ 候補選択部、１１２０ フィルタリング部、１１４０ 関連性予測部、１２０２ マッチング成功回帰部、１２０８ マッチング成功測定基準、１３１０ マッチング部、１４２０ マッチング統一部、１４５４ マッチング基準、１４５６ インターセクション、１４７２ 下部構造整合採点部、１４７４ 意味距離、１４７６ マッチング失敗、１４７８ 意味タイプ得点表。

Claims (4)

1. 検索クエリを取得するための第１クエリモジュールと、
   前記検索クエリから導出される意味関係を表す少なくとも１つの意味クエリトークンを含む意味クエリキータームを生成するためのクエリキータームモジュールと、
   各々が情報パッセージに関連した、１つまたはそれ以上のリファレンスに対して索引化される１つまたはそれ以上の意味索引トークンを含む少なくとも１つの意味索引キータームを備える転置索引にアクセスするための転置索引モジュールと、
   前記意味クエリキータームで前記転置索引を照会するための第２クエリモジュールと、
   各々が前記意味クエリキータームの前記意味クエリトークンの１つと一致する前記意味索引トークンの少なくとも１つを有する前記意味索引キータームに関連した１組の前記リファレンスを選択するためのリファレンスモジュールと、
   を備え、
   前記意味索引キータームに関し、
   前記情報パッセージ内の単語、またはその単語と言語学的に関連したさらに少なくとも１つの単語を選択する単語選択モジュールと、
   前記選択された単語の使われ方に関する言語学的情報として、その単語の品詞、その単語が果たす文法上の役割、及び元の単語との前記意味索引キータームとの関係を決定する情報モジュールと、
   前記情報モジュールにより決定された前記個々の言語学的情報を単一の文字列に連結して前記意味索引キータームとして記憶する連結モジュールと、
   を含むことを特徴とする情報検索システム。
2. 請求項１に記載のシステムにおいて、
   さらに、前記１組のリファレンスから１組の候補パッセージを判断するための候補パッセージモジュールを備え、
   前記１組のリファレンス内の各リファレンスに関連した前記意味クエリキータームに関連規則を適用するための規則モジュールと、
   前記関連規則に基づいて、前記１組のリファレンスに関連した各パッセージについて関連性得点を決定するための得点モジュールと、
   前記関連性得点に基づいて、前記１組の候補情報パッセージをフィルタリングするためのフィルタモジュールと、
   １組のマッチング候補として前記フィルタリングされた組の候補情報パッセージを戻すためのマッチング候補モジュールと、
   を備えることを特徴とする請求項１に記載のシステム。
3. 少なくとも１つの意味下部構造を備える前記検索クエリの意味表現を取得するためのクエリ表現モジュールと、
   少なくとも１つの意味下部構造を備える前記情報パッセージの意味表現を取得するためのパッセージ表現モジュールと、
   前記情報パッセージの少なくとも１つの前記意味表現を前記１組のマッチング候補からの前記マッチング候補の少なくとも１つの前記検索クエリの前記意味表現とマッチングさせるためのマッチングモジュールと、
   前記マッチング結果に基づいて前記１組のマッチング候補をフィルタリングするためのマッチングフィルタモジュールと、
   前記検索クエリに応答して検索結果セットとして前記フィルタリングされた組のマッチング候補を戻すための検索結果モジュールと、
   をさらに備えることを特徴とする請求項２に記載のシステム。
4. 前記１組の候補パッセージを決定する工程が、
   前記意味クエリトークンの少なくとも１つの抽出重み付けを決定するための重み付けモジュールと、
   前記意味クエリトークンに割り当てられた前記抽出重み付けに基づいて、前記１組の候補パッセージを選択するための選択モジュールと、
   をさらに備えることを特徴とする請求項２に記載のシステム。
   

Images