JP5098315B2 - 関連情報決定方法及び装置並びにプログラム - Google Patents

Description

本発明は、情報検索に関し、詳細には、関連情報決定方法及び装置並びにプログラムに関する。

参考資料、報告書、技術論文、及びその他のドキュメントは、デジタル形式での提示が増えている。新規作品の生成者は、その新規作品の一部と他のドキュメントとをリンクする若しくは接続することが多い。しかしながら、従来のドキュメント・オーサリング・システムのほとんどでは、このようなリンクを手動で行う必要がある。従来の推薦システムの中には、例えばグーグルの類似検索(Google's Find Similar)のような、ドキュメント・リストの第１ドキュメントに類似したドキュメントを自動的に選択するものもある。このような従来の推薦システムは、選択された第１ドキュメントに対する統計的なドキュメント類似性に基づいて、関連ドキュメントを選択する。従って、第１ドキュメントにおいて頻繁に用いられているが関連性の低い語句は、追加の関連ドキュメントの選択を歪める可能性がある。

従って、ドキュメント構造に基づいて関連情報を決定するシステム及び方法が有用である。談話構造表現および関連性スコアに基づいてハイブリッド・テキスト要約を決定する特許文献１に記載の発明、及び、非特許文献１、非特許文献２などに記載の発明は、本発明に関連する。
米国特許出願公開第２００５／００８６５９２号明細書 ブリル（Brill）、「品詞タグ付けの曖昧性除去規則の教師なし学習（"Unsupervised Learning of Disambiguation Rules for Part of Speech Tagging"）、クルワ・アカデミック・プレス（Kluwer Academic Press）、１９９７年 イデら（Ide, et al.）、「語意の曖昧性除去に関する特殊問題入門：技術動向（"Introduction to the Special Issue on Word Sense Disambiguation: the state of the art"）、コンピュータ的言語学（Computational Linguistics）、１９９８年、２４（１）、頁１〜４０

上記に鑑み、本発明はドキュメント構造に基づいて関連情報を決定することを課題とする。

ドキュメントからその構造に基づいて関連情報を決定するシステム及び方法が提供される。ドキュメントが選択され、このドキュメント内における支配関係を有する構造要素が決定される。このドキュメント内における第１ロケーションが選択される。この第１ロケーション周囲の構造要素が決定され、周囲構造要素及び非周囲構造要素が特徴付けられる。これらの周囲構造要素及び非周囲構造要素の特徴付けに基づいて、追加ドキュメントが周囲構造要素における第１ロケーションと関連付けられる。また、ドキュメント構造に基づいて画像に対する注釈を動的に決定するシステム及び方法も提供される。

本発明の第１の態様は段落関連情報決定方法であって、ドキュメントを決定し、前記ドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別し、前記ドキュメントにおいて第１ロケーションを選択し、前記第１ロケーション周囲の構造要素を決定し、前記周囲構造要素を特徴付け、非周囲構造要素を特徴付け、前記周囲構造要素及び前記非周囲構造要素の特徴付けに基づいて、少なくとも１つの追加ドキュメントを前記周囲構造要素と関連付ける。

本発明の第２の態様は、第１の態様の段落関連情報決定方法であって、前記構造要素が、明示的情報又は暗示的情報に基づいて決定される。

本発明の第３の態様は、第２の態様の段落関連情報決定方法であって、前記暗示的情報が、分析理論に基づいて決定される。

本発明の第４の態様は、第３の態様の段落関連情報決定方法であって、前記分析理論が、言語談話モデル（ＬＤＭ）、統一言語談話モデル（ＵＬＤＭ）、談話構造理論（ＤＳＴ）、修辞構造理論（ＲＳＴ）、及び構造談話表示理論（ＳＤＲＴ）のうちの少なくとも１つである。

本発明の第５の態様は、第１の態様の段落関連情報決定方法であって、前記第１ロケーションが、手動及びプログラム制御のうちの少なくとも１つに基づいて選択される。

本発明の第６の態様は、第５の態様の段落関連情報決定方法であって、前記第１ロケーションの前記手動選択が、明示的ユーザ入力及び暗示的ユーザ入力のうちの少なくとも１つに基づく。

本発明の第７の態様は、第１の態様の段落関連情報決定方法であって、前記構造要素の特徴付けが、潜在意味分析及び代表ベクトルの類似性のうちの少なくとも１つに基づく。

本発明の第８の態様は、第１の態様の段落関連情報決定方法であって、前記少なくとも１つの追加ドキュメントが、前記周囲構造要素との類似性による特徴付け及び前記非周囲構造要素との相違性による特徴付けに基づく。

本発明の第９の態様は、第１の態様の段落関連情報決定方法であって、前記追加ドキュメントが、人間が感知可能な情報を含む。

本発明の第１０の態様は、第９の態様の段落関連情報決定方法であって、前記人間が感知可能な情報が、テキスト情報、オーディオ情報、及びビデオ情報のうちの少なくとも１つである。

本発明の第１１の態様は、第１の態様の段落関連情報決定方法であって、前記決定されたドキュメントが、テキスト情報、オーディオ情報、及びビデオ情報のうちの少なくとも１つを含む。

本発明の第１２の態様は関連情報決定装置であって、ドキュメント・リポジトリからドキュメントを取り出す、入出力手段と、前記取り出されたドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別する、ドキュメント構造マネジャーと、選択された第１ロケーション周囲の構造要素及び非周囲構造要素を識別する、構造要素マネジャーと、前記周囲構造要素及び前記非周囲構造要素を特徴付ける、特徴付けマネジャーと、前記周囲構造要素及び前記非周囲構造要素の特徴付けに基づいて、追加ドキュメントを前記取り出されたドキュメントにおける前記第１ロケーションと選択的に関連付ける、探索マネジャーと、を備える。

本発明の第１３の態様は、第１２の態様の関連情報決定装置であって、前記構造要素マネジャーが、明示的情報又は暗示的情報に基づいて前記構造要素を決定する。

本発明の第１４の態様は、第１３の態様の関連情報決定装置であって、前記暗示的情報が、分析理論に基づいて決定される。

本発明の第１５の態様は、第１４の態様の関連情報決定装置であって、前記分析理論が、言語談話モデル（ＬＤＭ）、統一言語談話モデル（ＵＬＤＭ）、談話構造理論（ＤＳＴ）、修辞構造理論（ＲＳＴ）、及び構造談話表示理論（ＳＤＲＴ）のうちの少なくとも１つである。

本発明の第１６の態様は、第１２の態様の関連情報決定装置であって、前記第１ロケーションが、手動及びプログラムのうちの少なくとも１つに基づいて選択される。

本発明の第１７の態様は、第１６の態様の関連情報決定装置であって、前記第１ロケーションの前記手動選択が、明示的ユーザ入力及び暗示的ユーザ入力のうちの少なくとも１つに基づく。

本発明の第１８の態様は、第１２の態様の関連情報決定装置であって、前記構造要素の特徴付けが、潜在意味分析及び表現ベクトルの類似性のうちの少なくとも１つに基づく。

本発明の第１９の態様は、第１２の態様の関連情報決定装置であって、少なくとも１つの前記追加ドキュメントが、前記周囲構造要素との類似性による特徴付け及び前記非周囲構造要素との相違性による特徴付けに基づく。

本発明の第２０の態様は、第１２の態様の関連情報決定装置であって、前記追加ドキュメントが、人間が感知可能な情報を含む。

本発明の第２１の態様は、第２０の態様の関連情報決定装置であって、前記人間が感知可能な情報が、テキスト情報、オーディオ情報、及びビデオ情報のうちの少なくとも１つである。

本発明の第２２の態様は、第１２の態様の関連情報決定装置であって、決定された前記ドキュメントが、テキスト情報、オーディオ情報、及びビデオ情報のうちの少なくとも１つを含む。

本発明の第２３の態様は、関連情報を決定する方法をコンピュータに実行させるプログラムであって、ドキュメントを決定するステップと、前記ドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別するステップと、前記ドキュメントにおいて第１ロケーションを選択するステップと、前記第１ロケーション周囲の構造要素を決定するステップと、前記周囲構造要素を特徴付けるステップと、非周囲構造要素を特徴付けるステップと、前記周囲構造要素及び前記非周囲構造要素の特徴付けに基づいて、少なくとも１つの追加ドキュメントを前記周囲構造要素と関連付けるステップと、を含む。

本発明では、ドキュメントを決定し、前記ドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別し、前記ドキュメントにおいて第１ロケーションを選択し、前記第１ロケーション周囲の構造要素を決定し、前記周囲構造要素を特徴付け、非周囲構造要素を特徴付け、前記周囲構造要素及び前記非周囲構造要素の特徴付けに基づいて、少なくとも１つの追加ドキュメントを前記周囲構造要素と関連付ける、ようにしているので、ドキュメント構造に基づいて関連情報（追加ドキュメント）を決定することができる。

図１は、本発明による一例としての、関連情報を決定するシステムの概略図である。通信可能なパーソナル・コンピュータ３００が、通信リンク９９を介して、関連情報決定システム１００及び情報リポジトリ２００に接続されている。この情報リポジトリ２００は、ドキュメント１０００〜１００２にアクセスする。

通信可能なパーソナル・コンピュータ３００のユーザは、情報リポジトリ２００からドキュメント１０００を選択する。この選択されたドキュメント１０００は、通信リンク９９を介して、関連情報決定システム１００へ送信される。この選択されたドキュメント１０００に対して、少なくとも２つの構造要素が決定される。構造要素とは、構造的に関連した単位（談話分析理論におけるアトミック・オブジェクト）のグループである。従って、一例としての実施形態では、アトミック単位は、談話分析の統一言語談話モデル（ＵＬＤＭ：Unified Linguistic Discourse Model）理論によって定義された談話構成要素である。様々な他の例としての実施形態では、本発明の範囲を逸脱しない限り、談話分析理論によって特定された文、段落、又はその他の単位を用いてもよい。

通信可能なパーソナル・コンピュータ３００のユーザは、この選択されたドキュメント１０００内において第１ロケーションを選択する。この選択された第１ロケーションの周囲にある構造要素が、談話分析理論に基づいて決定される。様々な例としての実施形態では、選択されたドキュメント１０００内のロケーションは、語若しくは位置を強調表示する、マウス・ジェスチャーを用いる、様々なその他の既知の又はこれから開発される入力若しくは選択方法を用いる、ことなどによって、選択される。次に、この選択された語若しくは位置の周囲にある構造要素が選択される。一例としてのＵＬＤＭに基づいた実施形態では、第１ロケーションが従属、同格、又はｎ進（ｎ−ａｒｙ）の談話単位内に位置している場合、この第１ロケーションの周囲にある従属、同格、又はｎ進の談話単位が、周囲構造要素として選択される。

この周囲構造要素の特徴付けが決定される。この周囲構造要素の特徴付けとしては、例えば、構造要素における語句の頻度に基づいたベクトルの生成、構造要素に対する潜在意味分析（ＬＳＡ：latent semantic analysis）の実行、及び、ドキュメント構造に関する明示的若しくは暗示的情報を用いるあらゆる既知の又はこれから開発される測定基準などが挙げられるが、これらに限定されない。従って、一例としての実施形態では、タイトル、特定の提示スタイル又はドキュメント作成者のシーケンスを明示的に使用することで、ドキュメント構造を明示している。ドキュメント構造を決定するシステム及び方法については、特許文献１（この特許出願は、参照により、その全体が本明細書中に組み込まれる）に、さらに説明されている。暗示的ドキュメント構造とは、ドキュメントに示された言語的又は視覚的情報やドキュメント内容の分析などから得られる構造である。

ドキュメントにおけるその他の又は非周囲構造要素のそれぞれの特徴付けが決定される。上述したように、非周囲構造要素の特徴付けは、語句の発生頻度、潜在意味分析、及び、様々な既知の若しくはこれから開発される測定基準決定方法などに基づく。

この周囲構造要素及び非周囲構造要素の特徴付けに基づいて、追加ドキュメントが決定される。一例としての本発明による実施形態では、第１セットのドキュメントが、周囲構造要素との類似性に基づいて選択される。これら第１セットのドキュメントにおける、非周囲構造要素とも類似するドキュメントは、追加ドキュメントのリストから削除されたり格下げされたりする。このように削減された追加ドキュメントのリストは、第１ドキュメントにおけるユーザが選択したロケーションには類似しているが、第１ドキュメントのその他の部分とは相違している、ドキュメントを示す。様々な例としての本発明による実施形態では、ドキュメントにおける第１ロケーションは、テキスト又は画像に基づいた情報と関連付けられる。しかし、さらに別の実施形態では、この第１ロケーションは、オーディオ、ビデオ、及び、類似性測度が計算可能なあらゆるその他のタイプの情報などと関連付けられる。

次に、周囲構造要素と類似した追加ドキュメントの削減されたリストは、通信リンク９９を介して、通信可能なパーソナル・コンピュータ３００のユーザに送信される。さらに別の例としての実施形態では、周囲構造要素と最も類似した追加ドキュメントが、選択された第１ロケーションと自動的に関連付けられる。従って、一実施形態では、この選択された第１ロケーションを表す画像が識別される。

図２は、一例としての、ドキュメント構造に基づいて関連情報を決定する方法である。処理は、ステップＳ１００で開始し、すぐステップＳ２００に進む。ステップＳ２００では、ドキュメントが決定される。このドキュメントは、ドキュメント・リポジトリ、ハイパーテキスト転送プロトコル（ＨＴＴＰ：hyper-text transfer protocol）サーバによって提供されるページの集合、あらゆるその他の既知の若しくはこれから開発される情報リポジトリなどから選択されてよい。ドキュメントが決定されると、制御はステップＳ３００へ進む。

ステップＳ３００では、このドキュメントにおける１つ以上の構造要素が決定される。この構造要素は、ポラニーらの統一言語談話モデル（ＵＬＤＭ）、修辞構造理論（ＲＳＴ：Rhetorical Structures Theory）、談話構造理論（ＤＳＴ：Discourse Structures Theory）、構造談話表示理論（ＳＤＲＴ：Structure Discourse Representation Theory）、構造要素間の支配関係を識別する様々なその他の既知の若しくはこれから開発される理論などに基づいて決定される。構造要素が決定されると、制御はステップＳ４００へ進み、このステップＳ４００では、ドキュメントにおける第１ロケーションが決定される。

第１ロケーションは、手動で、又は、プログラム制御によって自動的に決定される。明示的ユーザ動作（例えば、マウス又はペン・ジェスチャー、キーボード入力、強調表示など）を用いることにより、第１ロケーションを手動で選択することができる。しかしながら、暗示的ユーザ入力を用い、視線若しくは頭部追跡、その他の関心を示すものに基づいて、第１ロケーションを選択することもできる。この第１ロケーションは、画像、テキストの一部、ビデオ・ファイル、オーディオ・ファイル、類似性測度が計算可能なあらゆるその他のタイプの情報などを示し得る。第１ロケーションが決定されると、制御はステップＳ５００へ進む。

ステップＳ５００では、この第１ロケーションの周囲にある構造要素が選択される。例えば、ＵＬＤＭに基づいた一例としての実施形態では、この構造要素は、ＵＬＤＭによって識別された談話構成要素のうちの１つである。しかしながら、本発明の実施においては、文、段落、要素間の支配関係を有するあらゆる既知の若しくはこれから識別される構造要素などを用いてもよい。

別の例としての実施形態では、このような構造要素は、修辞構造理論、談話構造理論、構造要素間の支配関係を識別することのできる様々なその他の分析理論などに基づいて決定される。従って、一例としての実施形態では、第１ロケーションに関連付けられた周囲構造要素及び非周囲構造要素は、修辞構造理論によって識別された核要素及び周辺要素に基づく。周囲構造要素が決定されると、制御はステップＳ６００へ進む。

ステップＳ６００では、この周囲構造要素の特徴付けが決定される。様々な実施形態では、この周囲構造要素の特徴付けは、潜在意味分析で構造要素を分析することによって決定される。潜在意味分析により、この周囲構造要素を表す語がもたらされる。次に、この構造要素のベクトル表現が決定される。周囲構造要素が特徴付けられると、制御はステップＳ７００へ進む。

ステップＳ７００では、非周囲構造要素の特徴付けが決定される。この特徴付けは、潜在意味分析、又は、非周囲構造要素の表現を決定するあらゆるその他の方法に基づく。非周囲構造要素の特徴付けが決定されると、制御はステップＳ８００へ進み、このステップＳ８００では、周囲構造要素及び非周囲構造要素の特徴付けに基づいて、少なくとも１つの追加ドキュメントが決定される。

一実施形態では、周囲構造要素に最も類似し且つ非周囲構造要素と最も相違するドキュメントを選択することによって、少なくとも１つの追加ドキュメントが決定される。より周囲構造要素に類似し且つより非周囲構造要素に類似しないドキュメントが選択されるのは、このようなドキュメントが、周囲構造要素の情報内容と非周囲構造要素の情報内容との間における意味上の相違を信号で伝えるのに有用である可能性が最も高いからである。少なくとも１つの追加ドキュメントが選択されると、制御はステップＳ９００へ進む。

ステップＳ９００では、セッションが終了したかどうかに関して判断がなされる。セッションが終了していないと判断された場合、制御はすぐにステップＳ４００へジャンプする。ユーザがセッションを終了したと判断されるまで、ステップＳ４００〜Ｓ９００が繰り返される。次に、制御はステップＳ１０００へ進み、処理が終了する。

図３は、本発明による一例としての、関連情報を決定するシステム１００である。通信可能なパーソナル・コンピュータ３００が、通信リンク９９を介して、関連情報決定システム１００、及び、ドキュメント１０００〜１００２にアクセスする情報リポジトリ２００に接続されている。

通信可能なパーソナル・コンピュータ３００のユーザは、情報リポジトリ２００からドキュメント１０００を選択する。この選択されたドキュメント１０００は、通信リンク９９を介して送信され、通信可能なパーソナル・コンピュータ３００に表示される。通信可能なパーソナル・コンピュータ３００のユーザは、強調表示する、マウス・クリックを用いる、音声選択を用いる、様々な既知の又はこれから開発される入力若しくは選択方法などを用いる、ことによって、この選択されたドキュメント１０００内において第１ロケーションを選択する。この第１ロケーションは、画像、テキスト、オーディオ、ビデオ、又は、あらゆるその他の既知の若しくはこれから開発されるタイプの情報と関連付けられ得る。

この第１ロケーション情報及び選択されたドキュメント１０００は、通信リンク９９を介して、関連情報決定システム１００の入出力部１０へ送信される。この選択されたドキュメント１０００及び第１ロケーション情報は、メモリ２０に格納される。次に、プロセッサ３０がドキュメント構造マネジャー４０を起動させることによって、この格納されたドキュメントの構造が決定される。一実施形態では、このドキュメントの従属、ｎ進（ｎ−ａｒｙ）、及び同格の談話構成要素が、談話分析のＵＬＤＭ理論によって識別される。しかし、本発明の実施においては、修辞構造理論（ＲＳＴ）、談話構造理論（ＤＳＴ）、構造談話表示理論（ＳＤＲＴ）、選択されたドキュメント１０００における支配構造要素及び従属構造要素を決定するあらゆる既知の若しくはこれから開発される方法などを用いてもよいことは明らかである。

プロセッサ３０は、この格納されたロケーション情報をメモリ２０から取り出し、構造要素マネジャー５０を起動させ、これにより、この選択されたドキュメント１０００におけるロケーション周囲の構造要素が決定される。プロセッサ３０が特徴付けマネジャー６０を起動させることによって、周囲構造要素及び非周囲構造要素の特徴付けが決定される。様々な実施形態では、この特徴付けは潜在意味分析や代表ベクトルなどに基づく。

次に、プロセッサ３０が探索マネジャー７０を起動させることにより、この周囲構造要素及び非周囲構造要素の特徴付けに基づいて、追加ドキュメントが決定される。例えば、一実施形態では、この探索マネジャー７０は、周囲構造要素の特徴付けとの類似性及び非周囲構造要素の特徴付けとの相違性に基づいて、追加ドキュメントを識別する。様々な別の実施形態では、Ｎ個の最適な追加ドキュメントが第１ロケーションと関連付けられる。Ｎは、０よりも大きければ、どんな数であってもよい。例えば、Ｎ＝３である場合、３つの追加ドキュメントが、第１ロケーションと関連付けられる候補ドキュメントとして提示される。

図４は、一例としての、３つの構造要素４１０〜４３０から成るドキュメント４００である。第１構造要素４１０は、テキスト・フレーズ“Jane's first trip to Mexico(ジェーンのメキシコへの最初の旅行)”を含む。第２構造要素４２０は、フレーズ“Ted and Jane's marriage(テッドとジェーンの結婚)”を含む。第３構造要素４３０は、フレーズ“Jane's last trip to Europe(ジェーンのヨーロッパへの最後の旅行)”を含む。

本発明による一例としての実施形態では、ユーザは、第２構造要素４２０内の“Jane's”の部分を指し示す、強調表示する、又はその他の方法で選択することによって、第１ロケーション４４０を示す。この選択された語“Jane's”の周囲にある第２構造要素が識別される。ベクトル又は概念表現が、この第２若しくは周囲構造要素４２０と関連付けられる。このベクトル又は概念表現は、語句“Ted and Jane's marriage”と関連付けられた意味を捉える。

概念ベクトル若しくは意味表現は、周囲でない第１構造要素４１０及び第３構造要素４３０とも関連付けられる。この概念ベクトル若しくは意味表現は、第１フレーズからは“Jane's first trip to Mexico”の意味を、第３フレーズからは“Jane's last trip to Europe”の意味を捉える。このベクトル若しくは概念表現を用いることによって、意味が周囲構造要素とは類似するが非周囲構造要素とは相違する追加ドキュメントが選択され、第１ロケーションと関連付けられる。従って、この追加ドキュメントは、概念的に、“Ted and Jane's marriage”について記載のドキュメントとは類似するが、“Jane's first trip to Mexico”及び“Jane's last trip to Europe”について記載のドキュメントとは相違する。これにより、ドキュメントの概念発達に適合する追加ドキュメントの選択が容易になる。例えば、様々な実施形態では、本発明によるシステム及び方法を用いて、選択された概念を示すピクチャが提案されている。同様に、別の実施形態では、特定の画像を示すテキスト・キャプションが提案されている。

図５は、本発明による一例としての、概念ベクトルを格納するデータ構造５００を示している。この概念ベクトルを格納するデータ構造５００は、情報ソース部分５１０及び概念ベクトル部分５２０から成る。この概念ベクトルを格納するデータ構造５００の１行目は、値“INFO.ELEMENT[1]”及び“Jane／trip／Mexico”を含む。この値は、第１構造要素“JANE'S FIRST TRIP TO MEXICO”において最も主要な要素から生成されたベクトル若しくは意味表現を示す。このベクトル若しくは意味表現は、主要概念が“Jane”、“trip”、及び“Mexico”であることを示している。これにより、ドキュメントにおける第１ロケーション周囲の構造要素と比較するための表現がもたらされる。

この概念ベクトルを格納するデータ構造５００の２行目は、値“INFO.ELEMENT[2]”及び“Ted／Jane／marriage”を含む。この値は、“TED AND JANE'S MARRIAGE”として識別される第２構造要素における主要概念から生成された意味表現を示す。

この概念ベクトルを格納するデータ構造５００の３行目は、値“INFO.ELEMENT[3]”及び“Jane／trip／Europe”を含み、この値は、第３構造要素“JANE'S LAST TRIP TO EUROPE”の主要な要素を示す。第１構造要素と第３構造要素は両方とも“Jane”による“trip”に関するので、この第３概念ベクトル若しくは意味表現は、第１概念ベクトルと類似している。３つの構造要素は全て“Jane”に関しているが、第２構造要素は“marriage”及び“Ted”という追加概念にも関する。また、第３構造要素は“trip”及び“Europe”という追加概念にも関する。

従って、“Ted”、“Jane”、及び“marriage”という概念に関すると共に、“trip”、“Mexico”、及び“Europe”という概念と最も相違する追加ドキュメントが、情報リポジトリから選択される。例えば、“Jane's trips to Mexico and Europe(ジェーンのメキシコ及びヨーロッパへの旅行)”からの概念ベクトルと関連付けられたピクチャを提示する可能性は低くなる一方、“Jane's marriage to Ted(ジェーンのテッドとの結婚)”を説明する概念ベクトルで注釈を付けたピクチャを選択する可能性は高くなる。別の例としての実施形態では、最も可能性の高いドキュメントが、周囲構造要素と動的に関連付けられる。

図６は、本発明による一例としての、ドキュメント構造に基づいて関連情報を決定するユーザ・インタフェースを示している。１文目は、テキストの第１構造要素７３０を含む。この第１構造要素７３０は、“Jane／Ted／San Francisco”という概念ベクトル若しくは表現と関連付けられている。この概念ベクトルは、フレーズ“Ted and Jane Doe met in San Francisco in 1981.(テッド・ドウとジェーン・ドウは１９８１年にサンフランシスコで出会った。)”に関する。

２文目は、第２構造要素７３１“They were married in New York City in 1984.(彼らは１９８４年にニューヨーク市で結婚した。)”を含む。この第２構造要素７３１は、概念ベクトル“Jane／Ted／marriage”と関連付けられている。様々な例としての実施形態では、この概念ベクトルは、その構造要素における“Jane／Ted”の代わりに“they”を用いる。３文目は、第３構造要素７３２“Ted and Jane now live in Maine with their two children, Jessica and Timothy.(テッドとジェーンは現在２人の子供ジェシカとティモシーと一緒にメーン州に住んでいる。)”を含む。この第３構造要素７３２は、概念ベクトル“Ted／Jane／live／Maine”と関連付けられている。このドキュメント７１０内の第１ロケーション７４０が、“married”の部分を強調表示することによって決定される。この第１ロケーションは、第２構造要素７３１によって囲まれている。

本発明による一例としての実施形態では、第２構造要素７３１を特徴付けるベクトル若しくは意味表現、並びに、周囲でない第１構造要素７３０及び第３構造要素７３２を特徴付けるベクトル若しくは意味表現を用いることによって、追加ドキュメント７２１〜７２３が識別される。つまり、追加ドキュメントおよび追加ドキュメントの一部などは、ベクトル若しくは意味表現と関連付けられている。第１ロケーション７４０の周囲にある第２構造要素７３１のベクトル若しくは意味表現に類似し、且つ、周囲でない第１構造要素７３０及び第３構造要素７３２の概念ベクトル若しくは意味表現と相違する、追加ドキュメントが選択される。Ｎ個の最適な追加ドキュメント又はドキュメント部分が、表示されたり、第１ロケーション７４０と自動的に関連付けられたりする。

図７は、本発明による一例としての、ドキュメント構造に基づいて関連画像情報を決定するユーザ・インタフェースを示している。ソース・ドキュメント８１０が決定され、構造要素にセグメント化される。様々な実施形態では、このソース・ドキュメントは、言語分析理論（例えば、ＵＬＤＭ、ＲＳＴ、ＤＳＴ、ＳＤＲＴ）、及び、ドキュメントにおいて構造要素を決定するあらゆる既知の若しくはこれから開発される方法などを用いて、セグメント化される。

ユーザは、マウス若しくはペン・ジェスチャー、目の動き、音声認識、及び、あらゆるその他の入力若しくは選択方法などを用いて、ドキュメント８１０内の第１ロケーション８４０を示す。この示され、選択された第１ロケーション８４０の周囲にある構造要素８３１が決定される。また、周囲構造要素及び非周囲構造要素の特徴付けも決定される。周囲構造要素８３１に類似し且つ非周囲構造要素８３０及び８３２と相違するものとして特徴付けられる追加画像ドキュメント８２１〜８２３の探索が行われる。これらの画像ドキュメント８２１〜８２３には、手動で又は自動的に注釈を付けてもよい。結果として得られた追加画像ドキュメントは、周囲構造要素８３１の意味を表す。

図８は、一例としての、テキスト内に埋め込まれた第１画像９１０(image 1)及び第２画像(image 2)９２０を含むドキュメントを示している。第１画像９１０は、フレーズ“The Golden Gate Bridge links the city and county of San Francisco with Marin County.(ゴールデン・ゲート・ブリッジはサンフランシスコ市及び郡とマリン郡とをつなぐ。)”内に埋め込まれている。本発明による一例としての実施形態では、第１画像９１０が、ドキュメント９００における第１ロケーションとして選択される。この第１画像９１０の周囲にある構造要素が決定される。次に、概念ベクトル若しくは意味表現が決定され、この第１画像９１０と関連付けられる。一例としての実施形態では、この概念ベクトルは、“Golden Gate Bridge”９１１、“links”９１２、“San Francisco”９１３、及び“Marin County”９１４のような、下線を引いた語句から成る。この概念ベクトルは、画像の注釈やメタデータなどに基づいて、自動的に定義されてもよい。

ドキュメント内に埋め込まれた第２画像９２０が選択される。この第２画像９２０の周囲にある構造要素が決定される。この場合、周囲構造要素は、２つのフレーズ・ユニット“The roadway of the bridge is 246 feet above sea level while the towers rise to 746 feet. The roadway is suspended from the towers via suspension cables.(このブリッジの道路は海抜２４６フィートであるが塔は７４６フィートに達する。道路は塔から吊りケーブルによって吊り下げられている。)”である。この第２画像９２０に対する概念ベクトルの一例としては、語句“Golden Gate Bridge”９１１、“towers”９２１、“rise”９２２、及び“746 feet”９２３が挙げられる。概念ベクトルは、画像の意味若しくは概念を説明する。これにより、他のドキュメントを作成している又は見ているときに、画像をより容易に再使用することができる。

図９は、本発明による一例としての、画像概念ベクトルを格納するデータ構造１０００を示している。この画像概念ベクトルを格納するデータ構造１０００は、画像識別子部分１０１０、情報ソース部分１０２０、及び概念ベクトル部分１０３０から成る。

この画像概念ベクトルを格納するデータ構造１０００の１行目は、画像識別子部分１０１０に値“IMAGE1”を含む。この値は、関連内容を決定するシステムに対し、一意的にその画像を識別する。

この画像概念ベクトルを格納するデータ構造１０００の情報ソース部分１０２０は、値“INFO.ELEMENT[1]”＝“The Golden Gate Bridge links the city and county of San Francisco with Marin County.”を含む。これは、“IMAGE1”が埋め込まれた構造要素を示す。

概念ベクトル部分１０３０は、値“GOLDEN GATE BRIDGE, LINKS, SAN FRANCISCO, MARIN COUNTY”を含む。これは、他の関係においてその画像を表すのに用いられる概念ベクトルを示す。この概念ベクトルは、“IMAGE1”周囲の構造表現に基づいている若しくは“IMAGE1”周囲の構造表現から得られる。

画像概念ベクトルを格納するデータ構造１０００の最終行は、画像識別子部分１０１０に、システムに対して一意的にその画像を識別する値“IMAGE2”を含む。

この画像概念ベクトルを格納するデータ構造１０００の情報ソース部分１０２０は、値“INFO.ELEMENT[99]”＝“The roadway of the bridge is 246 feet above sea level while the towers rise to 746 feet. The roadway is suspended from the towers via suspension cables.”を含む。これは、“IMAGE2”が埋め込まれた２つのフレーズの構造要素を示す。

概念ベクトル部分１０３０は、値“GOLDEN GATE BRIDGE, TOWERS, RISE, 746 FEET”を含む。これは、概念ベクトルが“IMAGE2”を表すのに用いられることを示し、この概念ベクトルは、ゴールデン・ゲート・ブリッジの塔がどのぐらい高いかに関する情報をその画像が示すことを示す。

関連情報決定システム１００の構成要素１０〜７０のそれぞれは、適切にプログラムされた汎用コンピュータの一部として実施されてもよい。或いは、先に略述した関連情報決定システム１００の構成要素１０〜７０は、ＡＳＩＣ内における物理的に別個のハードウェア回路として、又は、ＦＰＧＡ、ＰＤＬ、ＰＬＡ、若しくはＰＡＬを用いて、又は、個別論理素子若しくは個別回路素子を用いて、実施されてもよい。先に略述した関連情報決定システム１００の構成要素１０〜７０のそれぞれが採る特定形式は、設計上の選択であり、当業者には明白且つ予測可能であろう。

さらに、関連情報決定システム１００及び上述した様々な構成要素のそれぞれは、プログラムされた汎用コンピュータ、専用コンピュータ、マイクロプロセッサなどで実行する、ソフトウェア・ルーチン、マネジャー、又はオブジェクトとして、実施されてもよい。この場合、関連情報決定システム１００及び上述した様々な構成要素のそれぞれは、通信ネットワークに埋め込まれた１つ以上のルーチン、サーバに備わるリソースなどとして、実施することができる。また、関連情報決定システム１００及び上述した様々な回路は、この関連情報決定システム１００をソフトウェア及びハードウェア・システム（例えば、ウェブ・サーバ若しくはクライアント・デバイスのハードウェア及びソフトウェア・システム）に物理的に組み込むことによって、実施することもできる。

図３に示したようなメモリ２０は、可変の揮発性若しくは不揮発性メモリ、又は、不可変若しくは固定メモリを、適切であればどのように組み合わせて用いて実施してもよい。可変メモリは、揮発性であろうと不揮発性であろうと、スタティック又はダイナミックＲＡＭ、フロッピー（登録商標）・ディスク及びディスク・ドライブ、書き込み可能又は書き換え可能光ディスク及びディスク・ドライブ、ハード・ドライブ、フラッシュ・メモリなどのいずれか１つ以上を用いて実施してもよい。同様に、不可変若しくは固定メモリは、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、光ＲＯＭディスク（例えば、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスク）及びディスク・ドライブなどのうちのいずれの１つ以上を用いて実施してもよい。

図１及び図３に示した通信リンク９９はそれぞれ、通信デバイスを関連情報決定システム１００に接続するあらゆる既知の又はこれから開発されるデバイス若しくはシステムであってよく、例としては、直結ケーブル接続、広域ネットワーク若しくはローカル・エリア・ネットワークを介する接続、イントラネットを介する接続、インターネットを介する接続、又は、あらゆるその他の分散処理ネットワーク若しくはシステムを介する接続が挙げられる。通常、通信リンク９９は、デバイスを接続して通信を容易にするのに使用可能なあらゆる既知の又はこれから開発される接続システム若しくは構造であってよい。

さらに、当然のことながら、通信リンク９９は、ネットワークへの有線リンクであっても無線リンクであってもよい。このネットワークは、ローカル・エリア・ネットワーク、広域ネットワーク、イントラネット、インターネット、又は、あらゆるその他の分散処理及び格納ネットワークであってよい。

本発明を、先に略述した例としての実施形態と関連させて説明してきたが、明白なことに、多数の代替例、改良例、及び変形例が当業者には明らかであろう。従って、上述したような本発明の例としての実施形態は、例示を意図するものであって、限定を意図するものではない。本発明の精神及び範囲を逸脱しない限り、様々な変更を行ってもよい。

本発明による一例としての、関連情報を決定するシステムを示す概略図である。 本発明による一例としての、ドキュメント構造に基づいて関連情報を決定する方法を示すフローチャートである。 本発明による一例としての、関連情報を決定するシステムを示す図である。 一例としての、３つの構造要素から成るドキュメントを示す図である。 本発明による一例としての、概念ベクトルを格納するデータ構造を示す図である。 本発明による一例としての、ドキュメント構造に基づいて関連情報を決定するユーザ・インタフェースを示す図である。 本発明による、ドキュメント構造に基づいて関連画像情報を決定するユーザ・インタフェースを示す第２概略図である。 一例としての、テキスト内に埋め込まれた第１画像及び第２画像を含むドキュメントを示す図である。 本発明による一例としての、画像概念ベクトルを格納するデータ構造を示す図である。

符号の説明

９９ 通信リンク
１００ 関連情報決定システム
２００ 情報リポジトリ
３００ パーソナル・コンピュータ
４００、７１０、８１０、９００ ドキュメント
４１０、４２０、４３０、７３０、７３１、７３２、８３０、８３１、８３２ 構造要素
４４０、７４０、８４０ 第１ロケーション
５００、１０００ データ構造
７２１、７２２、７２３、８２１、８２２、８２３ 追加ドキュメント

Claims (10)

1. プロセッサが、入出力部を介してドキュメントを取得してメモリに記憶し、
   前記プロセッサが、前記ドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別し、
   前記プロセッサが、ユーザによる、前記ドキュメントにおける第１ロケーションの選択を前記入出力部を介して受信するか、もしくは、プログラムにもとづいて該第１ロケーションの選択を実行し、
   前記プロセッサが、前記第１ロケーションの周囲構造要素を決定し、
   前記プロセッサが、前記周囲構造要素を特徴付け、
   前記プロセッサが、前記第１ロケーションの非周囲構造要素を特徴付け、
   前記プロセッサが、前記周囲構造要素および前記非周囲構造要素の特徴付けにもとづいて、前記周囲構造要素と関連付ける少なくとも１つの追加ドキュメント候補のリストを生成し、
   前記リスト内の少なくとも１つの前記追加ドキュメントを前記周囲構造要素と関連付け、
   前記周囲構造要素は、修辞構造理論によって識別される核要素および周辺要素にもとづいて決定され、
   前記関連付けにおいて、前記周囲構造要素に類似しているドキュメントが前記追加ドキュメント候補のリストに追加され、前記非周囲構造要素に類似しているドキュメントは前記追加ドキュメント候補のリストから除去され、
   前記追加ドキュメントはオーディオ情報およびビデオ情報の少なくとも一方である、
   段落関連情報決定方法。
2. 前記周囲構造要素および前記非周囲構造要素の特徴付けが、潜在意味分析及び代表ベクトルの類似性のうちの少なくとも１つにもとづく、請求項１に記載の段落関連情報決定方法。
3. ドキュメント・リポジトリからドキュメントを取り出す入出力手段と、
   前記取り出されたドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別するドキュメント構造マネジャーと、
   選択された第１ロケーションの周囲構造要素及び非周囲構造要素を識別する構造要素マネジャーと、
   前記周囲構造要素および前記非周囲構造要素を特徴付ける特徴付けマネジャーと、
   前記周囲構造要素および前記非周囲構造要素の特徴付けにもとづいて、前記周囲構造要素と関連付ける少なくとも１つの追加ドキュメント候補のリストを生成し、該リスト内の少なくとも１つの該追加ドキュメントを該周囲構造要素と関連付ける、探索マネジャーと、
   を備え、
   前記周囲構造要素は、修辞構造理論によって識別される核要素および周辺要素にもとづいて決定され、
   前記関連付けにおいて、前記周囲構造要素に類似しているドキュメントが前記追加ドキュメント候補のリストに追加され、前記非周囲構造要素に類似しているドキュメントは前記追加ドキュメント候補のリストから除去され、
   前記追加ドキュメントはオーディオ情報およびビデオ情報の少なくとも一方である、
   関連情報決定装置。
4. 前記第１ロケーションが、手動及びプログラムのうちの少なくとも１つにもとづいて選択される、請求項３に記載の関連情報決定装置。
5. 前記第１ロケーションの前記手動にもとづく選択が、明示的ユーザ入力及び暗示的ユーザ入力のうちの少なくとも１つにもとづく、請求項４に記載の関連情報決定装置。
6. 前記周囲構造要素および前記非周囲構造要素の特徴付けが、潜在意味分析及び表現ベクトルの類似性のうちの少なくとも１つにもとづく、請求項３〜５のいずれか一項に記載の関連情報決定装置。
7. ドキュメントを決定するステップと、
   前記ドキュメントにおいて支配関係を有する少なくとも２つの構造要素を識別するステップと、
   前記ドキュメントにおいて第１ロケーションを選択するステップと、
   前記第１ロケーションの周囲構造要素を決定するステップと、
   前記周囲構造要素を特徴付けるステップと、
   前記第１ロケーションの非周囲構造要素を特徴付けるステップと、
   前記周囲構造要素及び前記非周囲構造要素の特徴付けにもとづいて、前記周囲構造要素と関連付ける少なくとも１つの追加ドキュメント候補のリストを生成し、該リスト内の少なくとも１つの該追加ドキュメントを該周囲構造要素と関連付けるステップと、
   を含み、
   前記周囲構造要素は、修辞構造理論によって識別される核要素および周辺要素にもとづいて決定され、
   前記関連付けにおいて、前記周囲構造要素に類似しているドキュメントが前記追加ドキュメント候補のリストに追加され、前記非周囲構造要素に類似しているドキュメントは前記追加ドキュメント候補のリストから除去され、
   前記追加ドキュメントはオーディオ情報およびビデオ情報の少なくとも一方である、
   関連情報を決定する方法をコンピュータに実行させるプログラム。
8. 前記第１ロケーションが、手動及びプログラムのうちの少なくとも１つにもとづいて選択される、請求項７に記載のプログラム。
9. 前記第１ロケーションの前記手動にもとづく選択が、明示的ユーザ入力及び暗示的ユーザ入力のうちの少なくとも１つにもとづく、請求項８に記載のプログラム。
10. 前記周囲構造要素および前記非周囲構造要素の特徴付けが、潜在意味分析及び表現ベクトルの類似性のうちの少なくとも１つにもとづく、請求項７〜９のいずれか一項に記載のプログラム。

Images