JP5391634B2 - 文書の段落分析によるその文書のタグの選択 - Google Patents

文書の段落分析によるその文書のタグの選択 Download PDF

Info

Publication number
JP5391634B2
JP5391634B2 JP2008259630A JP2008259630A JP5391634B2 JP 5391634 B2 JP5391634 B2 JP 5391634B2 JP 2008259630 A JP2008259630 A JP 2008259630A JP 2008259630 A JP2008259630 A JP 2008259630A JP 5391634 B2 JP5391634 B2 JP 5391634B2
Authority
JP
Japan
Prior art keywords
tag
relationship
similarity
document
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008259630A
Other languages
English (en)
Other versions
JP2009093650A (ja
Inventor
エル マーヴィット デイヴィド
ジャイン ジャワハー
ステルギオウ ステリオス
ギルマン アレックス
トマス アドラー ビー
ジェイ シドロヴィッチ ジョン
ラブロウ ヤニス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2009093650A publication Critical patent/JP2009093650A/ja
Application granted granted Critical
Publication of JP5391634B2 publication Critical patent/JP5391634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Document Processing Apparatus (AREA)
  • Machine Translation (AREA)

Description

本発明は概してレキシグラフィカル分析（lexigraphical analysis）に関し、特に文書の段落分析によるその文書のタグ選択に関する。
データのコーパス（corpus）は大量の情報を保持し、関連する情報を見つけるのは困難である。文書にはタグを付けて関連情報の検索を容易にすることができる。しかし、場合によっては、いままでの文書タグ付け方法は情報を見つける際に効果的でないことがある。同様に、今までの検索方法は関連情報を見つける際に効果的でないことがある。
［関連出願］
本願は、デイビッド・マービットらにより２００７年１０月５日に出願された米国仮出願第６０／９７７，８７７号、発明の名称「段落及びカテゴリー分析に基づくタグ付け」、代理人管理番号第０７３３３８．０５５３号の米国特許法第１１９条（ｅ）項の利益を主張するものである。
発明の詳細な説明
概要
一実施形態では、文書へのタグの付与はその文書へのアクセスを含む。文書はワードを含むテキスト単位よりなる。各テキスト単位に対して次の段階を実行する。一テキスト単位のワードの一部をタグ候補として選択し、タグ候補間の関係性（relatedness）を求め、求めた関係性の程度に応じてタグ候補を選択し、そのテキスト単位のタグ候補集合を生成する。各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補の間の関係性（relatedness）を決定する。決定した関係性に応じて、少なくとも１つのタグ候補を文書に付与する。例えば、その文書に最も関係するある数のタグ候補を選択し、そのタグ候補をその文書に付与することにより、一組のタグを付与する。
実施形態
図１は、文書のタグを選択するシステム１０の一実施形態を示す図である。ある実施形態では、システム１０は文書のテキスト単位（段落など）を分析することによりタグを選択する。この実施形態では、システム１０はテキスト単位のワードから各テキストの一組のタグ候補を特定する。システム１０は、相異なるタグ候補集合のタグ候補の関係性を比較して、その関係性によりその文書のタグを選択する。
ある実施形態では、ワードのサブセット（subset）と辞書Ｄとが与えられた時に、その逆インデックスＩＩから有向類似性を計算することができる。ここで、インデックスＩＩは例えばワードｗｉとｗｊのエントリーＩ（ｗｉ）とＩ（ｗｊ）を含む。一般的に、逆インデックス（inverted index）は、ターム（term）からその位置へのマッピング、すなわちそのタームが現れる共起コンテキスト（co-occurrence contexts）へのマッピングを格納したインデックスデータ構造である。Ｄ中のワードｗｉとｗｊの各ペアに対して、ＩＩ中のエントリーＩ（ｗｉ）、Ｉ（ｗｊ）の結合部分中の値を、Ｉ（ｗｉ）中の値の数で割った値としてＤＡ（ｉ，ｊ）を定義する。一般的に、ＤＡ（ｉ，ｊ）はＤＡ（ｊ，ｉ）と必ずしも等しくはない。その結果は任意の適切な方法で格納する。例えば、行ごとに、すなわちＤ（１，ｉ）を格納し、次にＤ（２，ｊ）を格納し、以下同様に格納する。各行ｉに対して、｜Ｉ（ｗｉ）｜を格納し、その後にｗｊとの結合部分（conjunction）の濃度を格納する。
ある実施形態では、有向類似性を３段階で計算する。上記の実施形態では、各辞書タームには一意的な整数の識別子を付与する。逆インデックスのエントリーはその整数識別子に対応する。段階０では、Ｄに対応するＩＩのエントリーを読み出す。パラメータ（ｓ，ｏ）に対して、ｋｓ＋ｏの形である要素識別子を保存する。値ｋｓ＋ｏにより、逆インデックスＩＩ中の調べるべきエントリーのサブセットが決まる。このようにして、有向類似性を並行して計算できる。一例として、パラメータｓ，ｏ（１，０）から得られる結果は、パラメータ（３，０）、（３，１）、（３，２）の計算を合わせたものから得られる結果と同じである。この段階により非常に大きな逆インデックスに対してＤＡテーブルを計算することができる。
段階１では、ＤＡ（ｉ，ｊ）のみに対して行ごとに結合を計算する。段階２では、計算された上部三角領域のＵＴ ＤＡ配列を読み出す。下部三角領域は、上記三角領域からその転置として求められる。ある実施形態では、同じ次元の複数のＤＡ配列をひとつの配列に結合してもよい。大きな逆インデックスＩＩのＤＡ配列を、パラメータを（ｓ，ｉ）としてｉ＝０．．（ｓ−１）にわたるＤＡの和として計算できる。有向類似性（directional affinities）を算出できるように、計算した結合（conjunctions）とともに付加的な情報を格納してもよい。ある実施形態では、ＩＩエントリーの濃度を格納してもよい。
ある実施形態では、ＤＡを行ごとに格納し、ＤＡエントリーの計算と並行してＡＡエントリーの計算を進めることができる。具体的に、ＤＡの行をディスクから読み出しつつ加算し、最後に辞書エントリーの数で規格化することによってＡＡを生成する。
図示した実施形態において、システム１０はクライアント２０、サーバ２２、及びメモリ２４を含む。ユーザは、クライアント２０によりサーバ２２と通信して、言語のオントロジを生成する。クライアント２０は、ユーザ入力をサーバ２２に送信し、サーバ出力をユーザに提供（例えば、表示や印刷）する。サーバシステム２４は言語のオントロジを生成するアプリケーションを管理する。メモリ２４はサーバシステム２４が使うデータを記憶する。
図示した実施形態において、メモリ２４はページ５０とレコード５４とを記憶している。ページ５０（すなわち文書または共起コンテキスト）はワード（word）の集まりである。ページ５０の例としては、文書のページや、文書や、ブックや、ウェブページや、通信（例えば電子メールやインスタントメッセージ）その他がある。ページ５０はページ識別子により識別できる。ページ５０は有体のコンピュータ読み取り可能媒体に電子的に記憶されていてもよい。ページ５０には任意の適切なコンテンツが含まれる。例えば、テキスト（文字、ワード、数字等）、画像（グラフィックス、写真、ビデオ等）、オーディオ（録音、コンピュータ生成サウンド等）、ソフトウェアプログラムが含まれる。ある実施形態では、一組のページ５０がコーパス（corpus）に属している。コーパスは特定の主題、コミュニティ、組織、エンティティ（entity）に関連している。
レコード５４はページ５０を記述する。本実施形態では、レコード５４は、インデックス５８、逆インデックス６２、オントロジ６６、クラスタ６７を含む。インデックス５８はインデックスリストを含み、ページ５０のインデックスリストはページ５０のワードを示す。逆インデックス６２は逆インデックスリストを含み、あるワード（または一組のワード）の逆インデックスリストはそのワード（または一組のワード）を含むページ５０を示す。一実施例では、リストＷｉはワードｗｉを含むページ５０のページ識別子を含む。リストＷｉ＆Ｗｊはワードｗｉとｗｊの両方を含む連言ページ（conjunction pages）５０のページ識別子を含む。リストＷｉ＋Ｗｊはワードｗｉまたはｗｊのいずれかを含む選言ページ（disjunction pages）５０のページ識別子を含む。Ｐ（Ｗｉ）はＷｉのページ５０の数、すなわちワードｗｉを含むページ５０の数である。
一実施形態では、リスト（インデックスリスト、逆インデックスリスト等）はバイナリ・ディシジョン・ダイアグラム（ＢＤＤ）として記憶される。一実施例では、集合Ｗｉのバイナリ・ディシジョン・ダイアグラムＢＤＤ（Ｗｉ）はワードｗｉを有するページ５０を表す。ＢＤＤ（Ｗｉ）の充分割当カウント（satisfying assignment count）Ｓａｔｉｓｆ（ＢＤＤ（Ｗｉ））によりワードｗｉを有するページ５０の数Ｐ（Ｗｉ）が求まる。
Figure 0005391634
したがって、
Figure 0005391634
オントロジ６６は言語のワードとそのワード間の関係を表すものである。一実施形態では、オントロジ６６はワード間の類似性（affinities）を表す。図示した実施例では、オントロジ６６は類似性マトリックスと類似性グラフを含む。類似性マトリックスの例を図３乃至図５を参照して説明する。類似性グラフの例を図６を参照して説明する。クラスタ６７は互いに関係するワードのクラスタを記録している。クラスタは図７を参照してより詳細に説明する。
図示した実施形態では、サーバ２２は類似性モジュール３０、クラスタリングモジュール３１、及びオントロジ特性モジュール３２、及びタギングモジュールを含む。類似性モジュール３０はワードのペアの類似性を計算し、その類似性を類似性マトリックスに記録し、及び／または類似性マトリックスをレポートする。類似性モジュール３０は類似性グラフも生成できる。類似性モジュール３０は図２を参照してより詳細に説明する。
実施形態では、クラスタリングモジュール３１は、データセット中の関係する要素のクラスタを特定することにより、そのデータセット中のパターンを発見する。実施形態では、クラスタリングモジュール３１は一組のワード（例えば、言語や一組のページ５０等）のクラスタを特定できる。一般的に、クラスタのワードは互いに強く関係しているが、クラスタ外のワードとは関係していない。ワードのクラスタはその一組のワードのテーマ（すなわちトピック）を指定する。ある実施形態では、クラスタリングモジュール３１は、関係するワード間の類似性によりそのクラスタを特定する。その実施形態では、クラスタのワードは互いに強く類似しているが、クラスタ外のワードとは類似していない。クラスタリングモジュール３１は図７を参照してより詳細に説明する。
実施形態では、オントロジ特性モジュール３２は一組のワード（例えば、ワードやそのワードを含む文書）のオントロジ特性（ontology features）を決定し、そのオントロジ特性を様々な場合に適用する。オントロジ特性はワードセットの特徴であり、言語のオントロジ空間にそのワードセットを配置するものである。オントロジ特性の例としては深さ（depth）と具体性（specificity）がある。実施形態では、深さ（depth）はワードセットのテキストとしての精巧さ（textual sophistication）を示す。深さがより大きい（深い）ワードセットは、より技術的かつ専門的であり、深さがより小さい（浅い）ワードセットは、より一般的なものである。実施形態では、ワードセットの具体性はそのワードセットのテーマの数に関係する。具体性が高いワードセットが有するテーマはより少なく、具体性が低いワードセットが有するテーマはより多い。
オントロジ特性モジュール３２はオントロジ特性を任意の適切な場合に適用する。適切な場合とは、例えば、オントロジ特性による文書の検索、ソート、選択や、文書のオントロジ特性のレポートや、ユーザの文書のオントロジ特性の決定などである。オントロジ特性モジュール３２は図８を参照してより詳細に説明する。
ある実施形態では、タギングモジュール（tagging module）３５は、文書にタグ付けするタグを選択する。タグは任意の適切な方法で選択することができる。ある実施形態では、タギングモジュール３５はトピックスをそれに関係するワードの統計的分布としてモデル化する。タギングモジュール３５は統計的分布を用いて、文書から選択されたワードが出現する確率が最も高いトピックスを特定し、そのトピックスに応じてその文書のタグを選択する。他の実施形態では、タギングモジュール３５は文書のパラグラフのタグ候補を特定する。タギングモジュール３５はタグ候補の、その文書の他のタグ候補との関係性を決定して、その決定に応じてその文書のタグを選択する。さらに別の実施形態では、タギングモジュール３５は文書のタグを推奨する。タグは、ユーザまたはコンピュータが入力または選択した目標タグ（target tags）との類似性（例えば、有向類似性や差分類似性）に基づいて推奨する。タグ部３１４は、最終的にタグを選択すると、選択したタグを文書に付与する。タギングモジュール３５は図９を参照してより詳細に説明する。
システム１０の構成要素は、インターフェース、ロジック、メモリ、その他の適切な要素を含む。インターフェースは入力を受信し、出力を送信し、入力や出力を処理し、その他の適当な動作を行う。インターフェースはハードウェア及び／またはソフトウェアを含む。
ロジックは、これらの構成要素の動作を行い、例えば、入力から出力を生成する命令を実行する。ロジックはハードウェア、ソフトウェア及び／またはその他のロジックを含む。ロジックは有体媒体にエンコードされ、コンピュータにより実行された時に動作するものであってもよい。プロセッサ等のある種のロジックが構成要素の動作を管理してもよい。プロセッサの例としては、例えば、コンピュータ、マイクロプロセッサ、アプリケーションその他のロジックがある。
メモリは情報を記憶する。メモリは有体の、コンピュータ読み取り可能な、及び／またはコンピュータ実行可能な記憶媒体である。メモリの例には、コンピュータのメモリ（ＲＡＭ、ＲＯＭ等）、大規模記憶媒体（ハードディスク等）、リムーバブル記憶媒体（ＣＤ、ＤＶＤ等）、データベースやネットワーク記憶装置（サーバ等）、その他のコンピュータ読み取り可能な媒体が含まれる。
本発明の範囲から逸脱することなく、システム１０に修正、追加、または削除をすることができる。システム１０の構成要素は一体であっても分かれていてもよい。さらに、システム１０の動作を実行する構成要素は、これより多くても少なくてもよいし、他の構成要素であってもよい。例えば、生成器４２、４６の動作を１つの構成要素により行ってもよいし、類似性計算器３４の動作を２つ以上の構成要素で行ってもよい。また、システム１０の動作の実行は、ソフトウェア、ハードウェア、及び／またはその他のロジックを含む任意の適切なロジックを用いて行ってもよい。本明細書では、「各」とは、集合の各要素、または集合の部分集合の各要素を指す。
本発明の範囲から逸脱することなく、マトリックスの例に修正、追加、または削除をすることができる。マトリックスに含まれる値はこれより多くても少なくてもよく、他の値が含まれてもよい。また、マトリックスの値を任意の適切な順序で構成してもよい。
図２は、図１のシステム１０で使用できる類似性モジュール３０の一実施形態を示す図である。類似性モジュール３０はワードのペアの類似性を計算し、その類似性を類似性マトリックスに記録し、及び／またはその類似性マトリックスをレポートする。類似性モジュール３０は類似性グラフも生成できる。
図示した実施形態では、類似性モジュール３０は類似性計算器３４、オントロジ生成器３８、及びワード推奨器４８を含む。類似性計算器３４は、ワードｗｉの、または第１のワードｗｉと第２のワードｗｊを含むワードペアの任意の適切なタイプの類似性を計算する。類似性の例には基本類似性、有向類似性、平均類似性、差分類似性、その他の類似性が含まれる。
一実施形態では、ワード推奨器４８は、シード・ワード（seed word）を受け取り、そのシード・ワードとの類似性が閾値より高いワードを特定する。類似性閾値は任意の適切な値であり、０．２５、０．５、０．７５、０．９５やこれらより大きな値であってもよい。類似性閾値は予めプログラムしても、ユーザが指定してもよい。
基本類似性はワードｗｉ及び／またはｗｊを含むページ５０の量（例えば数）に基づき計算できる。連言ページ量（conjunction page amount）はワードｗｉとｗｊを両方とも含むページ５０の量を表し、選言ページ量（disjunction page amount）はワードｗｉまたはｗｊのいずれか一方を含むページ５０の量を表す。基本類似性は連言ページ量を選言ページ量で割って求められる。一実施例では、連言ページ数はワードｗｉとワードｗｊを含むページ数を示し、選言ページ数はワードｗｉまたはワードｗｊのいずれかを含むページ数を示す。基本類似性は連言（conjunction）ページ数を選言（disjunction）ページ数で割って求めることができる。
Figure 0005391634
図３は、基本類似性を記録した類似性マトリックス１１０の一例を示す図である。図示した例では、類似性マトリックス１１０はワードｗ１，．．．，ｗ５のペアごとの類似性を記録している。類似性マトリックス１１０によると、ワードｗ０とｗ１の間の類似性は０．００３であり、ワードｗ０とｗ２の間の類似性は０．００５であり、以下同様である。
図１に戻り、類似性グループは相互に類似性が高いワードのペアを含み、この類似性グループを用いてページのコンテンツに対するワードｗ１、ｗ２間の関係を捉える。類似性が類似性グループ閾値よりも高いことを、類似性が高いという。閾値は任意の適切な値であり、０．５０、０．６０、０．７５、０．９０、０．９５より大きな値であってもよい。１つのワードは２つ以上の類似性グループに属してもよい。一実施形態では、類似性グループはＢＤＤとして表すことができる。逆インデックス６２に、ＢＤＤのポインタをそのグループの各ワードとともに格納してもよい。
有向類似性を用いてワードｗｊに対するワードｗｉの重要性を測ることができる。類似性計算器３４は、ワードｗｊが与えられたときのワードｗｉの有向類似性を、ワードｗｉとｗｊを含むページ５０の量（例えば数）から計算する。ワードｗｉページ量は、ワードｗｉを含むページ５０の量を表す。ワードｗｊが与えられたときのワードｗｉの有向類似性は、連言ページ量をワードｗｊページ量で割ったものである。例えば、ワードｗｊページの数はワードｗｉを含むページ５０の数を示す。ワードｗｊが与えられたときのワードｗｉの有向類似性は、結合ページ５０の数をワードｗｉページ５０の数で割ったものである。
Figure 0005391634
ＤＡｆｆｉｎｉｔｙ（ｗｉ，ｗｊ）はＤＡｆｆｉｎｉｔｙ（ｗｊ，ｗｉ）と同じではない。ワードｗｉとｗｊの間の有向類似性ＤＡｆｆｉｎｉｔｙ（ｗｉ，ｗｊ）が高いということは、ページ５０がワードｗｊを含むときにそのページ５０がワードｗｉを含む確率が高いということを示す。一例では、ページ［１ ２ ３ ４ ５ ６］がワードｗｉを含み、ページ［４ ２］がワードｗｊを含む。ワードｗｊを含むページがワードｗｉも含むということは、ワードｗｊの観点からは、ワードｗｉの重要性が高いということである。ワードｗｉを含むページの１／３のみがワードｗｊを含むということは、ワードｗｉの観点からは、ワードｗｊの重要性が低いということである。
図４は、ワードｗ０，．．．ｗ５の基本類似性を記録した類似性マトリックス１２０の一例を示す図である。上記の例では、ワード１２４はＡワード、ワード１２８はＢワードである。マトリックス１２０の行はＡワードが与えられたときのＢワードの類似性を記録し、類似性マトリックス１２０の列はＢワードが与えられたときの類似性を記録する。
図１に戻り、他のワードｗｊに対するワードｗｉの平均類似性を計算する。一実施形態では、平均類似性は、ワードｗｉとその他のすべてのワードｗｊとの間の類似性の平均である。Ｎ個のワードに対するワードｗｉの平均類似性は次式で表される。
Figure 0005391634
図５は、平均類似性を記録した類似性マトリックス１４０の一例を示す図である。行１４２はワード１乃至ワード５０，０００の基本類似性を記録している。行１４４はワード１乃至ワード５０，０００の平均類似性を記録している。
図１に戻り、ワードの平均類似性はそのワードの深さを示す。平均類似性が低いワードは深いワードであると考えられ、平均類似性が高いワードは浅いワードであると考えられる。深いワードは技術的であり、具体的であり、精密であるという傾向がある。深いワードの割合が高いページ５０は深いページであると考えられ、深いワードの割合が低いページ５０は浅いページであると考えられる。一実施形態では、ユーザは検索するワード及び／またはページ５０の深さを指定することができる。
ページ５０の深いワードは関係性が高いワードのクラスタを形成する。クラスタは共通のアイデアやテーマを表す。ページ５０のテーマ数はそのページ５０の具体性（specificity）を示す。テーマが少ないページ５０はより具体的であると考えられ、テーマが多いページ５０はあまり具体的でないと考えられる。
ワードｗｊに対するワードｗｉの差分類似性は、ワードｗｉとｗｊの間の有向類似性からワードｗｊのその他すべてのワードとの平均類似性を引いたものである。差分類似性は次式で表せる：
Figure 0005391634
差分類似性は、ページ５０にワードｗｊが出現する一般的な傾向によるバイアスを除去したものである。場合によっては、差分類似性は、ページがワードｗｊを含むときにそのページがワードｗｉを含む確率をより正確に示すものである。
差分類似性は様々な応用ができる。一例では、人の名前の間の差分類似性を用いて社会的ネットワークを研究できる。他の例では、言語要素間の差分類似性を用いて自然言語処理を研究できる。他の例では、製品間の差分類似性を用いてマーケティングを研究できる。
類似性計算器３４は、任意の適切な方法を用いて逆インデックスリストを検索し類似性を計算する。例えば、ワードｗｉとワードｗｊを両方とも含むページを特定するため、類似性計算器３４は、ワードｗｉのリストＷｉとワードｗｊのリストＷｊを検索して共通の要素（すなわち共通のページ識別子）を探す。
実施形態では、オントロジ生成器３８は、類似性マトリックスや類似性グラフなどの、言語のオントロジ６６を生成する。オントロジは、基本類似性、有向類似性、平均類似性、差分類似性その他の任意の適切な類似性から生成できる。オントロジ６６は、任意の適切な方法で、言語から選択されたワードから生成できる。例えば、その言語の一般的に使用されている部分のワードや、主題領域に関係するワードを選択する。
図示した実施例では、オントロジ生成器３８は類似性マトリックス生成器４２と類似性グラフ生成器４６を含む。類似性マトリックス生成器４２は、ワード間の類似性を記録する類似性マトリックスを生成する。類似性グラフ生成器４６は、ワード間の類似性を表す類似性グラフを生成する。類似性グラフでは、ノードはワードを表し、ノード間の有向エッジの重みはそのノードが表すワード間の類似性を表す。類似性グラフは任意の適切な次元数を有する。
図６は、類似性グラフ１５０の一例を示す図である。類似性グラフ１５０はノード１５４とリンク１５８を含む。ノード１５４はワードを表す。この例では、ノード１５４ａはワード「バイナリ（binary）」を表している。ノード１５４間の有向エッジの重みは、ノード１５４が表すワード間の類似性を表す。例えば、重みが大きければ類似性が大きい。ノード間のリンク１５８は、そのノード１５４が表すワード間の類似性がある類似性閾値より大きいことを示している。類似性閾値は任意の適切な値であり、例えば、０．２５、０．５、０．７５、０．９５であっても、これらより大きな値であってもよい。
図７は、図１のシステム１０で使用できるクラスタリングモジュール３１の一実施形態を示す図である。実施形態では、クラスタリングモジュール３１は、データセット中の関係のある要素のクラスタを特定することにより、そのデータセット中のパターンを発見する。実施形態では、クラスタリングモジュール３１は一組のワード（例えば、言語や一組のページ５０等）のクラスタを特定できる。一般的に、クラスタのワードは互いに強く関係しているが、クラスタ外のワードとは関係していない。ワードのクラスタはその一組のワードのテーマ（すなわちトピック）を指定する。
ある実施形態では、クラスタリングモジュール３１は、関係するワード間の類似性によりそのクラスタを特定する。その実施形態では、クラスタのワードは互いに強く類似しているが、クラスタ外のワードとは類似していない。一実施形態では、ワードは、かなり類似（sufficiently affine）していれば類似性が高い（highly affine）と考える。ワードは、類似性規準（例えば閾値）を満たせば十分類似している。以下に類似性規準の例を示す。
任意の適切な類似性を用いてクラスタを特定できる。実施形態では、クラスタリングモジュール３１は有向類似性を用いる。あるワードの他のワードに対する有向類似性はそのワードの共起性（co-occurrence）を特徴づける。クラスタは同様の共起性を有するワードを含んでいる。実施形態では、クラスタリングモジュール３１は差分類似性を用いる。 差分類似性は、ページ５０にあるワードが出現する一般的な傾向によるバイアスを除去する傾向がある。
図示した実施形態では、クラスタリングモジュール３１はクラスタリングエンジン２１０とクラスタリング分析器２１４とを含む。クラスタリングエンジン２１０は類似性によりワードのクラスタを特定し、クラスタリング分析器２１４は類似性によるクラスタリングを用いて様々な分析を行う。
クラスタリングエンジン２１０は任意の適切な方法で、類似性によるワードのクラスタを特定する。クラスタの特定方法の３つの例を説明する。一組のワードからのクラスタの構成と、ワードのクラスタへのソーティングと、ワードの類似性ベクトルの比較である。一実施形態では、クラスタリングエンジン２１０は一組のワードからクラスタを構成する。一例では、クラスタリングエンジン２１０は、類似性＊Ａｆｆ（ｗｉ，ｗｊ）を有するワード｛ｗｉ｝の集合ＷからクラスタＳを構成する。類似性値＊Ａｆｆ（ｗｉ，ｗｊ）はワードｗｉのワードｗｊに対する、有向類似性ＤＡｆｆｉｎｉｔｙ（ｗｉ，ｗｊ）や差分類似性ＤｉｆｆＡｆｆ（ｗｉ，ｗｊ）等の任意の適切な類似性を表す。ここで挙げる類似性値の例は規格化した値であってもよい。上記の例では、Ａｆｆｆｏｒ（ｗｉ，ｗｊ）は前方類似性を表し、Ａｆｆｂａｃｋ（ｗｊ，ｗｉ）は後方類似性を表す。
上記の例では、クラスタＳはシード・ワードｗｑで始まる。カレント・ワード（current word）ｗｘは、カレント・アイテレーション（current iteration）において集合Ｗのワードと比較される、クラスタＳのワードを表す。カレント・ワードは、最初にシード・ワードｗｑに設定される。
１回の繰り返しにおいて、カレント・ワードｗｘはクラスタＳのワードに設定される。集合Ｗのワードｗｉは、カレント・ワードｗｘとの前方類似性Ａｆｆｆｏｒ（ｗｉ，ｗｊ）に応じてソートされる。ソートされた集合Ｗの始めから開始して、類似性規準を満たす候補ワードｗｃを特定する。類似性規準はカレント・ワードｗｘとの前方類似性規準（a forward affinity with the current word wx criterion）を含む：
Figure 0005391634
 及び、シード・ワードｗｑとの後方類似性規準（a backward affinity with the seed word wq criterion）：
Figure 0005391634
 ここで、Ｔｈｃｆは候補ワードの前方閾値を表し、Ｔｈｃｂは後方ワードの後方閾値を表す。候補ワード｛ｗｃ｝の順序付き集合の最初のワードをクラスタＳに加える。加えたワードの数はパラメータＳｉｚｅｃで与えられる。閾値ＴｈｃｆとＴｈｃｂは、最小値と最大値の間にある任意の適切な値を有する浮動小数点パラメータである。例としては、ＴｈｃｆとＴｈｃｂの適切な値は実際の類似性の序列リスト（rank-ordered list）から決定される。例えば、リストの２００番目の値を使用する。パラメータＳｉｚｅｃは任意の適切な値を有する整数パラメータである。適切な値の例として、デフォルト値を１，２，３または４にしてもよい。実施形態では、上記のパラメータは繰り返しによって変化してもよい。
繰り返し回数は任意の適切なものであればよい。一例では、繰り返し回数をこの方法の開始前に指定できる。他の例では、回数をこの方法の実行中に計算できる。例えば、その回数をクラスタＳの大きさの増大率から計算できる。
他の実施形態では、クラスタリングエンジン２１０は、一組のワードをクラスタにソーティングすることにより、クラスタを特定する。一例では、集合Ｗのワード｛ｗｉ｝を、差分類似性や有向類似性などの類似性＊Ａｆｆ（ｗｉ，ｗｊ）に応じてソートする。他の例では、ワード｛ｗｉ｝を、別のワード集合Ｑの各メンバーに対するワードｗｉの類似性の累積関数（合計等）によりソートする。集合Ｗは任意の適切な方法で選択することができる。例えば、集合Ｗはクエリに最も関係するＸ個のワードである。Ｘは任意の適切な値である。例えば、１０乃至１００、１００乃至２００、または２００以上の値である。
上記の例ではクラスタは最初、空である。集合Ｗの最初のワードｗｉをクラスタに入れる。各繰り返しにおいて、集合Ｗからカレント・ワードｗｘを選択する。＊Ａｆｆ（ｗｘ，ｗｆ）が類似性閾値Ｔｈにより与えられる類似性規準を満たせば、カレント・ワードｗｘをクラスタに入れる。ここで、ｗｆはそのクラスタに入れられた最初のワードを表す。閾値Ｔｈの値は任意の適切なものである。例えば、最小値が０．０で最大値が１．０のとき、０．１乃至０．５の範囲にある値である。＊Ａｆｆ（ｗｘ，ｗｆ）が閾値Ｔｈを満たさないとき、カレント・ワードｗｘは空のクラスタに入れられる。集合Ｗの各ワードに対して繰り返す。
集合Ｗのワードを処理してから、小さいクラスタを削除してもよい。例えば、ワード数がＹに満たないクラスタを削除してもよい。Ｙは任意の適切な値であり、例えば、３乃至５、５乃至１０、１０乃至２５、２５乃至５０、または５０以上の範囲の値である。
クラスタ数が満足のいく範囲になければ、閾値Ｔｈを変えて上記プロセスを繰り返す。閾値Ｔｈを変えることによりクラスタに入れる規準が厳しくなったりゆるくなったりする。上記の満足のいく範囲は、任意の適切な値であるクラスタ数の最小値と最大値により決めてもよい。適切な値の例としては、最小値については１乃至５、５乃至１０、または１０以上の範囲の値であり、最大値については１０乃至１５、１５乃至２０、または２０以上の範囲の値である。閾値Ｔｈを大きくしてクラスタ数を大きくしてもよいし、小さくしてクラスタ数を小さくしてもよい。
他の実施形態では、クラスタリングエンジン２１０は、ワードの類似性ベクトルを比較することによりクラスタを特定する。実施形態では、類似性マトリックスの行と列により類似性ベクトル＜ｗｉ，＊Ａｆｆ（ｗｉ，ｗ１），．．．，＊Ａｆｆ（ｗｉ，ｗｊ），．．．，＊Ａｆｆ（ｗｉ，ｗｎ）＞ができる。これはワードｗｉのワードｗｊ（ｊ＝１，．．．，ｎ）に対する類似性を表す。類似性値＊Ａｆｆ（ｗｉ，ｗｊ）はワードｗｉのワードｗｊに対する、有向類似性や差分類似性等の任意の適切な類似性を表す。
実施形態では、類似性値が同様である類似性ベクトルはクラスタを示す。説明のためだけに、類似性ベクトルを類似性空間におけるワードの類似性の座標とみなしてもよい。すなわち、各類似性値＊Ａｆｆ（ｗｉ，ｗｊ）をある次元の座標とみなす。類似性値が近い（similar）類似性ベクトルは、そのベクトルが付随するワードが類似性空間において互いに近いことを示している。すなわち、そのベクトルは、そのワードが他のワードと有する類似性関係が近いことを示し、同じクラスタに含めることが適当であることを示す。
類似性ベクトルは、適切な距離関数により、１つの類似性ベクトルが他の類似性ベクトルの近傍にあるとき、類似性ベクトルは近い。距離関数は、類似性ベクトルに対して、その大きさのベクトルの標準的なユークリッド距離として、またはその大きさのベクトルの余弦として定義することができる。距離関数は、クラスタリングエンジン２１０やユーザによって指定することもできる。
実施形態では、クラスタリングエンジン２１０はクラスタリング・アルゴリズムを用いて、互いに近い値を有する類似性ベクトルを特定する。クラスタリング・アルゴリズムの例には、ダイレクト（direct）・アルゴリズム、反復二分（repeated bisection）・アルゴリズム、集積（agglomerative）・アルゴリズム、バイアス集積（biased agglomerative）・アルゴリズムその他の適切なアルゴリズムなどがある。一例では、クラスタリングエンジン２１０は「ＣＬＵＴＯ」などのクラスタリングソフトウェアを含む。
クラスタリング分析器２１４は、任意の適切なアプリケーションにおいて分析のために類似性クラスタリングを用いる。一実施形態では、クラスタリング分析器２１４は類似性クラスタリングを用いてページをカテゴリー分けする。カテゴリーはクラスタ識別子またはクラスタのメンバーと関連する。一例では、ページ５０のクラスタを特定し、そのページ５０をそのクラスタに応じてカテゴリー分けする。他の例では、ページ５０の重要なワードを選択し、そのワードを含むクラスタを見つける。ページ５０を見つけたクラスタに応じてカテゴリー分けしてもよい。
一実施形態では、クラスタリング分析器２１４は類似性クラスタリングを用いてページ５０のコーパスを分析する。コーパスは特定の主題、個人のコミュニティ、組織、その他のエンティティ（entity）に関連している。一例では、クラスタリング分析器２１４はコーパスのクラスタを特定し、そのクラスタからそのコーパスのコーパスキャラクタ（corpus character）を決定する。コーパスキャラクタはそのコーパスに付随するエンティティ（entity）に関連するワードを示す。ページ５０は、コーパスキャラクタのクラスタを有するとき、そのエンティティに関連している。
一実施形態では、クラスタリング分析器２１４は類似性クラスタリングを用いて、検索クエリの曖昧性を除去し拡張する（query disambiguation and expansion）。上記の実施形態では、クラスタリング分析器２１４は、検索クエリの検索タームを含むクラスタを特定する。クラスタにより、与えられた検索クエリに関連する代替的なワードやカテゴリーが提供される。一例では、クラスタからのワードを検索者にレポートして、次の検索クエリを支援する。他の例では、クラスタリング分析器２１４は、クラスタからワードを選択して、新しい検索クエリを自動的に形成する。クラスタリング分析器２１４はその新しいクエリを順番に、または並行して実行する。
一実施形態では、クラスタリング分析器２１４は類似性クラスタリングを用いてソーシャルネットワークを調査（study）する。一例では、ページ５０はソーシャルネットワークに関する情報（insight）を提供する。かかるページの例としては、通信（手紙、電子メール、インスタントメッセージなど）、メモ、記事、議事録などがある。こうしたページ５０は、ソーシャルネットワークを形成する人々のユーザ識別子（名前など）であるワードを含む。名前のクラスタを特定して、そのネットワークを形成する人々の間の関係を分析する。一例では、別の類似性クラスタリングを用いて、システム管理者の名前など、情報を提供しないがほとんどのページ５０に現れる名前をフィルタ除去する。
実施形態では、クラスタリング分析器２１４は、データセットのクラスタを結合及び／または比較することにより、そのデータセットを分析する。一実施形態では、オーバーラップするデータセットのクラスタを比較する。１つのデータセットのクラスタを他のデータセットのクラスタにマッピングすると、そのデータセット間の関係についての情報（insight）が得られる。例えば、データセットは、職場のグループの文書の分析や、そのグループのソーシャルネットワークの調査（study）によるものである。ソーシャルネットワークのクラスタを文書の主題のクラスタにマッピングして、ソーシャルネットワークと主題の間の関係を分析する。
図８はオントロジ特性モジュール３２の一実施形態を示す図である。オントロジ特性モジュール３２は、一組のワード（例えば、ワードそのものやワードを含む文書）のオントロジ特性（ontology features）を決定し、そのオントロジ特性を様々な場合に適用する。その一組のワードには文書の基本的ターム（essential terms）が含まれているかも知れない。タームｔは、それに類似したｋ個のタームの少なくとも１つも文書に現れる場合、基本的タームである。そうでなければ、そのタームｔはその文書にとっては基本的ではない。
オントロジ特性は、ある分野においてある文書を他の文書から意味的に区別する特性（feature）軸に沿って、その文書を特徴づける数量化可能な尺度である。例えば、文書の深さは理解可能性に関してその文書を区別し、文書の具体性はフォーカスに関してその文書を区別し、文書のテーマは記載されたトピックスの範囲（addressed range of topics）に関してその文書を区別する。オントロジ特性は任意の適切な方法で定義することができる。例えば、計算言語学における独立したアルゴリズムを用いて文書の可読性（readability）または深さ（depth）を特徴づけることができる。
図示した実施形態では、オントロジ特性モジュール３２は、深さエンジン２３０、テーマエンジン２４０、具体性エンジン２４４、オントロジ特性（ＯＦ）アプリケーションエンジン２５０を含む。深さエンジン２３０はワード（例えばワードそのものやワードを含む文書）の深さ（depth）を決定する。一般的に、深さはワードのテキスト的な精巧さ（textual sophistication）を示す。深さがより大きい（深い）ワードは、より技術的かつ専門的であり、深さがより小さい（浅い）ワードは、より一般的なものである。実施形態では、深さモジュール３２は文書のワードの深さを計算し、そのワードの深さに基づきその文書の深さを計算する。実施形態では、深さエンジン２３０は深さ値及び／または深さランキングを文書及び／またはワードに割り当てる。より深い文書またはワードにはより高い深さ値または深さランキングが割り当てられ、より浅い文書またはワードにはより低い深さ値または深さランキングが割り当てられる。
深さエンジン２３０はワードの深さを任意の適切な方法で計算する。実施形態では、深さエンジン２３０は平均類似性によりワードの深さを計算する。上記の実施形態では、ワードの深さはそのワードの平均類似性の関数である。より深いワードはより低い平均類似性を有し、より浅いワードはより高い平均類似性を有する。具体例では、深さエンジン２３０はワードをその平均類似性によりランキングすることによりそのワードの深さを計算する。平均類似性が低いワードには高い深さランキングが与えられ、平均類似性が高いワードには低い深さランキングが与えられる。
実施形態では、深さエンジン２３０はクラスタリング分析を用いてワードの深さを計算する。上記の実施形態では、クラスタ内のワードは互いに強く類似しているが、クラスタ外のワードとはそれほど類似していない。クラスタ空間における距離を類似性により測るが、これは深さのインジケータである。実施形態では、属するクラスタ数が少ないワード、小さいクラスタに属するワード、及び／または他のクラスタから遠いクラスタに属するワードは深いものとみなされる。一方、属するクラスタ数が多いワード、大きいクラスタに属するワード、及び／または他のクラスタに近いクラスタに属するワードは浅いものとみなされる。
他の実施形態では、深さエンジン２３０は類似性グラフ１５０のリンク分析をしてワードの深さを計算する。リンク分析は、ＰＡＧＥＲＡＮＫなどの任意の適切なリンク分析アルゴリズムで行うことができる。便宜的に、図６の類似性グラフ１５０を利用してワードの深さを計算することもできる。類似性グラフ１５０はノード１５４とリンク１５８を含む。ノード１５４はワードを表す。ノード１５４間のリンク１５８は、そのノード１５４が表すワード間の類似性が、ある類似性閾値より大きいこと、すなわちそのワードが十分類似していることを示している。
実施形態では、深さエンジン２３０はノード１５４の人気度（popularity）を計算する。人気のあるノード１５４は浅いワードを表し、人気のないノード１５４は深いワードを表す。第１のノード１５４から第２のノード１５４へのリンク１３６は、第１のノード１５４による第２のノード１５４への人気度投票であると考えられる。また、人気のあるノード１５４からの投票（vote）は人気のないノード１５４からの投票よりも重みが大きい。さらに、第１のノード１５４の第２のノード１５４に対する類似性はその投票に重みづけする。深さエンジン２３０はノード１５４への重みつき投票から、そのノード１５４の人気度を計算する。人気のないワードは深いものと考えられ、人気のあるワードは浅いものと考えられる。
深さエンジン２３０は文書の深さを任意の適切な方法で計算する。実施形態では、深さエンジン２３０は文書の少なくとも１つのワード、一部のワード、またはすべてのワードの深さにより、その文書の深さを計算する。実施形態では、ワードの深さは平均類似性で与えられ、文書の深さをその文書のワードの平均類似性から計算してもよい。例えば、文書の浅さ（shallowness）はその文書のワードの平均類似性の平均、すなわち、その文書中の各ワードの平均類似性の合計をその文書中のワードの総数で割ったものである。文書の深さは、その文書の浅さの逆数として計算できる。
実施形態では、深さは文書中の選択された一組のワードの平均的深さから計算できる。選択された一組のワードには、その文書の基本的ワードが含まれる。例えば、（深さが）トップＸ％のワードが含まれる。ここで、Ｘは１０より小さくても、１０乃至２０でも、２０乃至３０でも、３０乃至４０でも、４０乃至５０でも、５０乃至６０でも、６０乃至７０で、７０より大きくてもよい。選択された一組のワードには、Ｐ％の標準的な文法ワードや、Ｑ％のストップワードが含まれない。ここで、ＰとＱは任意の適切な値であり、１０より小さくても、１０乃至２０でも、２０乃至３０でも、３０乃至４０でも、４０乃至５０でも、５０乃至６０でも、６０乃至７０で、７０より大きくてもよい。
実施形態では、深さエンジン２３０は文書におけるワードの深さの分布により、その文書の深さを計算する。実施形態では、深い文書は、深いワードを有する割合が高い。
ある実施形態では、深さエンジン２３０は文書の類似性（affinity）によりその文書の深さを計算する。文書間の類似性はその文書間の関係を示す。実施形態では、ワードの平均類似性がそのワードの深さを示すのと同様に、文書の平均類似性はその文書の深さを示す。文書の類似性は任意の適切な方法で定義することができる。一例では、共通ワード数Ｐ（Ｄ１＆Ｄ２）は文書Ｄ１とＤ２の両方にあるワードの数を示し、個別ワード数Ｐ（Ｄ１＋Ｄ２）は文書Ｄ１またはＤ２のいずれかにあるワードの数を示す。文書Ｄ１とＤ２の間の文書類似性ＤｏｃＡｆｆは次式で定義できる：
Figure 0005391634
深さエンジン２３０は、平均ワード類似性の計算と同様に平均文書類似性を計算する。平均類似性が低い文書は深いものであると考えられ、平均類似性が高い文書は浅いものであると考えられる。
実施形態では、深さエンジン２３０は、文書類似性グラフのリンク分析をして文書の深さを計算する。文書類似性グラフは類似性グラフ１５０と同様だが、文書類似性グラフのノードはワードではなく文書を表す。深さエンジン２３０は第１の文書を表す第１のノードから第２の文書を表す第２のノードへのリンクを、第１の文書が与えられたときの第２の文書の文書類似性で重み付けする。出て行くリンクの重みを規格化してもよい。
実施形態では、深さグラフをユーザインターフェースに表示して文書の深さを表示する。深さレベルを選択できる深さスライダを併せて表示してもよい。実施形態では、文書がより大きな文書のセクションであるとき、深さグラフはそのセクションを示す。
実施形態では、深さエンジン２３０は文書深さを任意の適切な方法で計算できる。例えば、文書の類似性のヒストグラムを処理し、及び／または深さに基づき異なるワードの割合をトランケート（truncate）してからヒストグラムを処理することができる。他の方法には、Ｇｕｎｎｉｎｇ−Ｆｏｇ法、Ｆｌｅｓｃｈ法、またはＦｒｙ法がある。
実施形態では、深さエンジン２３０は深さ値をある深さレベルにマッピングして、深さを較正してもよい。実施形態では、範囲Ｒｉの深さ値をレベルＬｉにマッピングする。例えば、Ｒ０＝｛ｒ０：ｒ０＜ｃ０｝をレベルＬ０にマッピングし、Ｒ１＝｛ｒ１：ｃ０＜ｒ１＜ｃ１｝をレベルＬ１にマッピングし、．．．，Ｒｎ＝｛ｒｎ：ｃｎ＜ｒｎ｝をレベルＬｎにマッピングする。これらの範囲は任意の適切な深さ値を含み、同じ大きさである必要はない。レベルの数は任意の適切なものであればよく、５より少なくても、５から７であっても、７または８であっても、８から１０であっても、１０から２０であっても、２０から５０であっても、５０から１００であっても、１００より多くてもよい。
テーマエンジン２４０は文書のテーマ（すなわちトピックス）を決定する。実施形態では、クラスタリングモジュール３１が特定した文書中のワードのクラスタから、テーマエンジン２４０がテーマを決定する。上記の通り、ワードのクラスタはその一組のワードのテーマ（すなわちトピック）を指定する。文書のテーマはその文書の内容に関して有用な情報を提供する。例えば、クラスタ｛腎臓、肝臓、タンパク質、問題｝を含む文書は、おそらく腎臓の機能低下による肝臓からのタンパク質のもれに関するものであり、インゲン豆のタンパク質成分に関するものではない。
実施形態では、テーマエンジン２４０はテーママップからテーマを決定する。上記の実施形態では、例えば、ターム頻度−逆文書頻度（ＴＦ−ＩＤＦ）（term frequency-inverse document frequency）法など任意の適切な方法を用いて文書からキーワードを抽出する。キーワードを用いてテーママップからテーマの候補を選択する。テーマ候補を文書と比較して、そのテーマがその文書に合致するか決定する。例として、テーマ候補のヒストグラムを文書のヒストグラムと比較する。テーマ候補が文書と合致したら、そのテーマにより、その文書のテーマのタイプや数を推定する。
具体性エンジン２４４は文書の具体性（specificity）を計算する。実施形態では、具体性エンジン２４４は、具体性値及び／または具体性ランキングを文書に割り当てる。より具体的な文書にはより高い具体性値または具体性ランキングが割り当てられ、より具体的でない文書にはより低い具体性値または具体性ランキングが割り当てられる。
実施形態では、具体性エンジン２４０は文書のテーマの数から具体性を計算する。例として、具体的な文書のテーマは少なく、具体的でない文書のテーマは多い。実施形態では、具体性エンジン２４０は文書のテーマの数と、そのテーマ間の類似性から具体性を計算する。例として、具体的な文書のテーマは、テーマ間の類似性が高くて少ない。一方、具体的でない文書のテーマは、テーマ間の類似性が低くて多い。
実施形態では、テーマの数は深さ（すなわちレベル）に依存する。例えば、深さが小さい１つのテーマは深さが大きい複数のテーマを表す。実施形態では、深さはユーザが深さスライダを用いて選択するか、予め決まっている。実施形態では、レベルはユーザが選択するか、予め決まっている。例えば、任意の適切な数のレベルを決めて、そのレベルに対して深さを計算する。例えば、レベルは、ドメインベース（例えば、エンジニアリング、医療、ニュース、スポーツ、金融などのドメイン）、専門ベース（例えば、心臓科、眼科、腎臓科などの専門）、トピックベース（例えば、高血圧、コレステロール、バイパス手術、動脈硬化などのトピックス）、詳細ベース（例えば、立ちくらみ、慢性高血圧、急性高血圧などの詳細）、解決策ベース（例えば、老人性病因、医薬、遺伝子などの解決策）、人ベース（例えば、ユーザクエリレベルなど）などがある。
オントロジ特性アプリケーションエンジン２５０は、（深さ、テーマ、具体性などの）オントロジ特性を用いて、任意の適切な状況でオントロジ特性分析を行う。適切な場合とは、例えば、オントロジ特性による文書の検索、ソート、推奨、選択や、文書のオントロジ特性のレポートや、ユーザの文書（または複数組みの文書）のオントロジ特性の決定などである。実施形態では、オントロジ特性アプリケーションエンジン２５０はオントロジ特性に関する情報を含むインデックスを使用する。一例では、オントロジ特性アプリケーションエンジン２５０は、深さランキングにより生成及び／または維持された文書深さ（ＤＤ）逆インデックス６２を使用する。ＤＤ逆インデックス６２は、ＤＤ逆インデックスリストを含む。ワードのＤＤ逆インデックスリストは、そのワードを含む文書（またはページ５０）の文書識別子をリストする。文書の文書識別子はその文書の深さを示す。例えば、文書識別子のエンコードに用いるバイナリエンコーディングは、深さを示す。場合によっては、ＤＤ逆インデックスリストは十分な深さを有する文書のみをリストしたものである。他の例では、オントロジ特性アプリケーションエンジン２５０は、逆インデックス６２に加えてランキングテーブルと深さテーブルを利用する。深さテーブルは文書の深さを示すものである。
実施形態では、オントロジ特性アプリケーションエンジン２５０は、指定された文書深さや具体性の値などの指定されたオントロジ特性値を有する文書を検索する。指定地は予め決められていても、計算してもユーザが選択してもよい。実施形態では、深さスライダや具体性スライダを用いて値を選択してもよい。
実施形態では、オントロジ特性アプリケーションエンジン２５０は、文書をソートするソート規準としてオントロジ特性を利用する。例えば、オントロジ特性アプリケーションエンジン２５０は、ソート規準だけでなく、テーマに関して文書深さ及び／または具体性により文書をソートする。例として、オントロジ特性アプリケーションエンジン２５０は、ＤＤ逆インデックス６２を検索して、文書深さによりソートされた文書を求める。例として、オントロジ特性アプリケーションエンジン２５０は、非ＤＤ逆インデックス６２を用いて文書を検索して、深さにより文書をソートする。
実施形態では、オントロジ特性アプリケーションエンジン２５０は、オントロジ特性の値をクライアント２０にグラフィカルに表示する。例えば、検索結果のトップＸ％の文書など、文書の一部または全部をグラフィカルに表示してもよい。オントロジ特性値を任意の適切な方法で表示できる。例として、数字、言葉、アイコンなどのグラフィカルインジケータにより値を示すことができる。例えば、検索結果のリスト中のアイテムや、オンラインニュースペーパーのヘッドラインや、文書アイコンなどの隣にグラフィカルインジケータを配置してもよい。例として、既存の図象（iconography）を修正して値を表示できる。例えば、テキストのサイズ、フォント、スタイル、カラーやグラフィカルインジケータにより値を示すことができる。他の例では、グラフにより値を示すことができる。オントロジ特性ヒストグラムは、文書量軸とオントロジ特性軸を含み、あるオントロジ特性値を有する文書の量を示す。例えば、文書量軸と文書深さ軸とを含む文書深さヒストグラムは、文書深さごとの文書量を示している。
実施形態では、ユーザは、オントロジ特性アプリケーションエンジン２５０により、特定のオントロジ特性値を有する文書の検索をすることができる。ユーザは、クエリで用いる複数のワードのそれぞれにオントロジ特性値を指定することができる。例として、ユーザは、オントロジ特性アプリケーションエンジン２５０により深さを選択するオプションを提供され、深さを選択して入力することができる。そのオプションは任意の適切な方法で提供することができる。例えば：（ｉ）絶対的ターム（深さを表す数字や数字の範囲など）；（ｉｉ）相対的ターム（深さに関する検索結果の一部で、例えば「最も深いＸ％」など）；（ｉｉｉ）意味的ターム（「入門的」、「浅い」、「深い」、「極めて深い」、「非常に技術的」など）；（ｉｖ）グラフィカルターム（スライダ、ボタン、その他のグラフィカル要素など）；（ｖ）任意の適切なタームの組み合わせ（意味的ラベルを伴うスライダなど）である。場合によっては、スライダの端は「浅い」と「深い」である。ユーザはスライダを一端または他端に向けて動かして深さを選択できる。検索結果が求まると、スライダの横に文書深さヒストグラムが表示され、スライダを文書深さの軸として使用できる。
実施形態では、オントロジ特性アプリケーションエンジン２５０はユーザのオントロジ特性キャラクタを計算できる。オントロジ特性キャラクタには、テーマとの関連でユーザ深さとユーザ具体性が含まれる。オントロジ特性キャラクタはそのユーザの文書のオントロジ特性を記述する。例えば、科学者は、第三者である評価者（third grader）が使う文書より深い文書を使う。オントロジ特性キャラクタはテーマに対して与えられる。例えば、遺伝学者は、詩の分野で使うものよりも深い文書を遺伝学の分野では使う。オントロジ特性キャラクタを用いてユーザの専門を決定し、その人の経歴を構成しても、ソーシャルネットワークを分析してもよい。
ユーザの通信（電子メールやインスタントメッセージなど）や、ウェブページや、検索履歴（検索クエリや選択したページなど）などの任意の適切な文書を分析してオントロジ特性キャラクタを推定する。実施形態では、オントロジ特性アプリケーションエンジン２５０はオントロジ特性キャラクタ（ontology feature character）を時間的に追跡して、過去のキャラクタを使って将来のキャラクタを予測できる。例として、オントロジ特性アプリケーションエンジン２５０では、一般的にユーザ深さ及び／または具体性は時間及び／またはある分野における活動とともに増大することを仮定してもよい。
実施形態では、オントロジ特性アプリケーションエンジン２５０では複数の動作を組み合わせてもよい。例えば、オントロジ特性アプリケーションエンジン２５０はユーザの深さをモニターし、そのユーザ深さに応じた文書を検索する。一例では、ユーザ深さをモニターし、ニュースをその深さに応じて提供する。将来のユーザ深さを予測して、予測されたユーザ深さに合ったニュースを提供する。
図９は、文書に付与するタグを選択するタギングモジュール３５の一実施形態を示す図である。タグは任意の適切な方法で選択することができる。ある実施形態では、タギングモジュール３５はトピックス（またはテーマ）をそれに関係するワードの統計的分布としてモデル化する。タギングモジュール３５は統計的分布を用いて、文書のランキングが高いワードが出現する確率が最も高いトピックスを特定し、そのトピックスに応じてその文書のタグを選択する。図示した実施形態では、タギングモジュール３５はトピックモデル部３１０と文書タグ部３１４とを含む。ある実施形態では、トピックモデル部３１０はトピックスをモデル化する統計的分布を生成し、文書タグ部３１４はその統計的分布に基づきタグを選択する。トピックモデル部３１０と文書タグ部３１４は任意の適切な方法を用いてトピックのモデル化とタグの選択を行う。図１０を参照して方法の例を説明する。
他の実施形態では、タギングモジュール３５は文書のパラグラフを分析してタグを付与する。上記の実施形態では、タギングモジュール３５は文書のパラグラフのタグ候補を特定する。タギングモジュール３５はタグ候補の、その文書の他のタグ候補との関係性を決定して、その関係性に応じてその文書のタグを選択する。文書のパラグラフを分析してタグを付与する方法の一例を、図１を参照してより詳しく説明する。
さらに別の実施形態では、タギングモジュール３５はユーザまたはコンピュータが選択した推奨タグに基づきタグを付与する。上記の実施形態では、タギングモジュール３５は文書に対してタグを推奨する。推奨される複数のタグは、目標タグとの類似性（affinity）が高いが、文書のオントロジ空間を減縮するために、推奨される他のタグとの類似性は低い。タギングモジュール３５はタグの選択に応じてタグの推奨を継続できる。タギングモジュール３５は、タグを選択し終わると、選択したタグを文書に付与する。タグの付与方法の一例を、図１２を参照して詳しく説明する。
図１０は、トピックスの統計的分布に応じてタグを付与する方法の一例を示す図である。統計的分布はワードの母集団（universe）から生成されてもよい。任意の適切なワードの集合（universe）、例えばある言語またはコーパスのワードを用いる。あるトピックスに適したワードはその他のワードよりも相対的出現確率が高い。例えば、「自転車」というトピックについては、「タイヤ」、「チェーン」、「乗る」などのワードが、「レンガ」、「バケツ」、「ピザ」などのワードよりも相対的出現確率が高い。
上記方法はステップ４１０で開始し、コーパスの文書のタームを任意の適切なランキング方法を用いてランク付けする。ランキング方法の一例では、タームを頻度（例えば、ＴＦ（term frequency）またはＴＦ−ＩＤＦ（term frequency-inverse document frequency））によりランク付けする。頻度が高いとランキングが高くなる。ランキング方法の別の例では、タームの他のタームとの共起（co-occurrence）がランダムな場合より高い標準偏差によりタームをランク付けする。標準偏差が高いとランキングが高くなる。
ステップ４１４において、ランキングの高いタームをその文書のキーワードとして選択する。例としては、ランキングがトップＮ個のタームを用いる。Ｎは１乃至５、５乃至１０、または１０以上でもよい。他の例では、文書の平均ランキングより所定量（例えば標準偏差）上のタームを用いる。
ステップ４１８において、キーワードに応じて文書をクラスタ化する。クラスタはそのキーワードに関連付けられる。クラスタと関連するキーワードはそのクラスタのトピックである。文書がＮ個のキーワードを有するとき、その文書はＮ個のクラスタで表される。ステップ４２２において小さいクラスタを削除する。小さいクラスタは大きさの閾値を満たさない、例えば文書がＭ個未満のクラスタである。ここで、Ｍは０乃至５０、５０乃至１００、または２００以上であってもよい。ある例では、Ｍはコーパスの大きさから計算する。例えば、Ｍは０％乃至３％、３％乃至５％、または５％以上の範囲の値である。
ステップ４２６においてクラスタの統計を集め、ステップ４２８においてその統計からクラスタの統計分布を作成する。任意の適切な統計を集めて任意の適切な統計分布（周波数分布や確率分布）を生成することができる。ある例では、クラスタ中の各ワードについて、その頻度を示すＴＦ（term frequency）を計算する。クラスタ中のワードの出現数から、またはそのワードを含むクラスタ中の文書数からＴＦを計算する。ＴＦからターム分布を作成する。他の例では、クラスタのトピックの他のクラスタのトピックスとの共起（co-occurrence）を示す共起値を他のクラスタのそれぞれに対して計算する。その共起値から共起分布を作成する。ステップ４３０において次のクラスタがあれば、ステップ４２６に戻り、次のクラスタの統計を収集する。ステップ４３０において次のクラスタが無ければ、ステップ４３４に進む。
ステップ４３４において、統計的分布が類似するクラスタをまとめる。統計的分布を比較して、類似するものは１つの頻度分布に統合する。例えば、「車」がトピックのクラスタと「自動車」がトピックのクラスタは統計分布が類似していれば、１つのクラスタに統合する。分布の差が閾値より小さいとき、統計的分布は類似するとみなす。差の閾値は任意の適切な値を有し、例えば、１％以下、５％乃至１０％、または１０％以上の範囲の値である。大きなクラスタのトピックを統合クラスタのトピックとして選択してもよい。
ステップ４３８において、文書に、クラスタに基づきタグとしてトピックスを付与する。複数のクラスタを統合し、他のクラスタを削除するので、文書に付与するトピックスは変わっている可能性もある。トピックスを付与し直すことにより、その文書の情報をより表すが重複が少ないタグとなる。そして、本方法は終了する。コーパスの文書が更新された時に上記の方法を実行してもよい。
ステップ４４２において文書にタグを付与する。文書タグ部３１４は任意の適切な方法で統計分布に応じて文書にタグを付与する。ある例では、ステップ４３８において、文書タグ部３１４はトピックスの再付与に応じてコーパス中の文書にタグを付与する。
他の例では、文書タグ部３１４は必ずしもコーパス中にない文書にタグを付与してもよい。統計分布を用いて文書の選択されたワードが高い出現確率を有するトピックスを特定し、特定したトピックスをタグとして選択する。上記の例では、文書タグ部３１４は、上で説明したように、任意の適切なランキング方法により文書のワードをランク付けする。ランキングが最も高いワードから始めて、文書タグ部３１４は各トピックスのワードの頻度をそのトピックスの統計分布から決定する。文書タグ部３１４は、そのワードが最も頻出率の高いトピックから、最も頻出率が低いトピックスまで、トピックスをランク付けする。トピックスに関するワードの統計的分布を作成する。
上記の例では、文書タグ部３１４は、同様に、文書のその他のランキングが高いワードの統計的分布を作成する。ある例では、ワードの統計的分布を、例えば一様に、またはワードのランキングに応じて重み付けしてもよい。例えば、ランキングが高いワードの統計的分布は重みを大きくする。統計的分布を統合して統合した統計的分布を作成してもよい。ある実施形態では重み付けした統計的分布を合計する。例えば、トピックに関連する値を合計して、文書のランキングが高いワードが与えられたときにそのトピックの尤度（likelihood）を示す値を求める。文書タグ部３１４は文書のタグとして尤度の高い（likely）トピックスを付与する。
図１１は、文書のパラグラフを分析してその文書にタグを付与する方法の一例を示す図である。この方法はマイクロ・アイデア、アイデア、及び仮説を含む文書に利用できる。ある実施形態では、マイクロ・アイデアは独立した自己完結的な表現単位である。１つまたは複数のマイクロ・アイデアによりアイデアが形成される。関係する１つまたは複数のアイデアにより仮説が形成される。ある例では、文がマイクロ・アイデアを表し、段落がアイデアを表し、一連の関連する段落が仮説を表す。この例では、複数の段落が関連しており、その段落のコア・タームの有向類似性は比較的高い。コア・タームの共通集合をタグとして利用する。
ステップ５０６でこの方法は始まり、分析するテキスト単位として文書の段落Ｐｉを特定する。段落は、任意の適切な一組の文字、ワード、または文である。文は、一定数または可変数のワード、段落マーク、またはクラスタ化など任意の適切な方法で指定されたものである。段落は、大変複雑な多数のワードを含めて画成してもよい。
ステップ５１０において段落Ｐｉを選択する。ステップ５１４において、段落Ｐｉに対してタグｔｋのタグ候補集合Ｓｉ＝＜ｔ１，ｔ２，．．．，ｔｍ＞を決定（establish）する。ある実施形態では、ランキングが高いワードをタグ候補として選択する。（ワードは任意の適切なランキング方法でランク付けできる。）ある実施形態では、結果として望ましいタグ候補数に応じて、最初のタグ候補数を選択する。例えば、結果として望ましい数をｋとすると、最初の数はｃ＊ｋ（ｃ＞１）である。パラメータｃはｃ＝２，３，４または５など任意の適切な値でよい。ランキングが高いタグ候補を選択し、集合Ｓｉのルートｒｉとする。
ステップ５１８において、タグ候補同士の関係性（relatedness）を任意の適切な関係性決定法により決定する。一般的に、関係性は任意の適切な方法で測定でき、例えば任意の適切な類似性を用いて測定してもよい。例えば、目標タグとの類似性が高い（more affine）タグは関係性が高い（more related）とし、目標タグとの類似性が低いタグは関係性が低いとする。ある実施形態では、タグを（例えば、有向類似性及び／または差分類似性を用いて）クラスタ化し、クラスタとなったタグを関係性がある（related）とみなす。
ステップ５２０において、タグ候補に優先重み（preference weights）を付与する。優先重みは任意の適切なランキング方法により付与できる。例えば、段落中で頻度が高いタグ候補、及び／または文書中の平均類似性の逆数が大きいタグ候補に大きな優先重みをつける。ステップ５２４において、他のタグ候補との関係性が大きくないタグ候補をタグ候補集合から削除する。任意の適切な関係性閾値により、タグの他のタグとの関係性が大きいかどうかを指定できる。ステップ５３０において次の段落があるか判断する。次の段落があれば、ステップ５１０に戻って次の段落を選択する。次の段落が無ければ、ステップ５３４に進む。
ステップ５３４において、別の段落のタグ候補集合の関係性を決定する。関係性（relatedness）は任意の適切な関係性決定法により決定できる。段落内分析の場合と同様に、ある実施形態では、タグ候補をクラスタ化して、クラスタを形成するタグ候補は関係性が高い（sufficiently related）と考える。他の実施形態では、各タグ候補に対して相関プロファイルを生成する。相関プロファイルはタグ候補の他のタグ候補（例えば、他のタグ候補集合のタグ）に対する相関性を示す。相関性が高いことは、関係性が高いことを表す。
相関プロファイルは任意の適切な方法で算出することができる。ある例では、タグ候補の相関プロファイルをタグ候補を含むタグ候補集合の数から生成し、そのタグ候補集合におけるそのタグ候補の頻度を考慮に入れる。頻度が高く多くのタグ候補集合に出現するタグ候補の相関性は高い。
他の例では、（ルートｒｊを有する）他の集合Ｓｊに対する（ルートｒｉを有する）集合Ｓｉのタグ候補の相関性プロファイルは、ルートｒｉとｒｊの有向類似性から決定できる。これらの例では、集合Ｓｉと集合Ｓｊのタグ候補の相関性の値は、そのタグ候補の優先重みに、集合Ｓｊにおけるルートｒｉ→ｒｊの有向類似性を乗ずることにより計算できる。タグ候補集合Ｓｊの相関性（co-relatedness）は、その集合の相関性値を結合（例えば、合計）することにより計算できる。
さらに他の例では、（タグｔｊを有する）他の集合Ｓｊに対する集合Ｓｉのタグ候補ｔｉの相関性プロファイルは、タグｔｉとｔｊの有向類似性から決定できる。これらの例では、集合Ｓｉと集合Ｓｊのタグ候補の相関性値は、集合Ｓｊについてタグｔｉ→ｔｊの有向類似性を決定して、その有向類似性を合計することにより計算される。タグ候補と集合Ｓｊの相関性（co-relatedness）は、その集合の相関性値を結合することにより計算できる。
ステップ５３８において、タグ候補からタグを選択する。ある実施形態では、他のタグ候補と関連性が最も高いタグ候補を選択する。ある例では、クラスタのランキングが最も高いタグ候補を選択する。他の例では、相関性プロファイル（co-relation profiles）により相関性が最も高いタグ候補を選択する。選択したタグ数ｋは所定の定数でもよく、クエリタームの深さにより決まる値であってもよい。例えば、タームが深いクエリでは、タグ数ｋを大きく、または小さくする。そして、本方法は終了する。
図１２は、タグの選択に応じてタグを付与する方法の一例を示す図である。この方法はステップ４５０において最初の段階で開始する。最初の段階において、文書タグ部３１４は文書の目標タグとして最初のタグを受け取る。最初のタグは任意の適切なソース（source）から得られる。例えば、最初のタグはユーザまたはロジック（コンピュータなど）により入力される。ロジックは、その文書、ユーザに関連するその他の文書、その文書に対して選択されたその他のタグの分析結果から得られたタグを入力する。文書タグ部３１４はタグのソースを記録する。
ある実施形態では、クライアント２０にグラフィカルユーザインターフェースを表示する。これにより、ユーザはその文書タグ部３１４とインターラクト（interact）できる。ある例では、ユーザはインターフェースによりタグの追加または削除を要求できる。他の例では、そのインターフェースは、タグが特定のタームを有すべき望ましい関係性の程度をユーザが示すことができるグラフィカル要素を含む。例えば、そのインターフェースはスライダを含み、程度が高いことを示すためにそのスライダをタームに近づけたり、程度が低いことを示すためにそのスライダをそのタームから遠ざけたりできる。
ステップ４５４の候補段階において、文書タグ部３１４はタグの入力に応じてタームを推奨する。推奨されるタームは、文書をオントロジ空間の最小値に関連づけるように選択される。例えば、推奨される複数のタームは、入力されたタグとの類似性は高いが、互いの類似性は低い。例えば、入力されたタグが「木」であれば、推奨されるタグは「植物」、「家族」、または「コンピュータサイエンス」である。
推奨されるタームはオーバースペック（over specification）やアンダースペック（under specification）とならないものである。オーバースペックは、追加的な情報をあまり提供しないオントロジ的に冗長なタグを提供した結果である。例えば、文書のタグが「tree」と「woods」であるとき、「forest」を加えても追加的な情報をあまり提供できない。アンダースペックは文書を明確にしないタグを提供する結果生じる。例えば、文書のタグ「bank」では、その文書が金融機関を扱っているのか、川を扱っているのか、それともビルボードテーブルの列を扱っているのか分からない。
ステップ４５８のテスト段階において、文書タグ部３１４は（例えばユーザによって）選択された推奨タームや選択または拒絶されていないタームをモニターする。例えば、文書タグ部３１４は「fluid」を受け取り、「adaptable」、「flexible」、「liquid」、「solution」及び「melted」を推奨する。文書タグ部３１４は「liquid」と「melted」が拒絶されたことを記録（note）するので、「solution」は推奨しない。選択されたタームを目標タグの集合に追加する。
ある実施形態では、文書タグ部３１４は、ユーザやロジック（コンピュータ等）などであるタグのソースを記録する。ソースは任意の適切なアプリケーションを有する。例えば、ソースは検索結果のランク付けに用いられる。一例では、ユーザが選択したタグを含む検索結果はロジックが生成したタグを含む結果よりも高くランク付けされる。
ステップ４６２における発展段階では、文書タグ部３１４は推奨されたタームと選択されたタームとの差を評価して、新しいタームを推奨する。文書タグ部３１４は、選択されたタームとの類似性（例えば有向類似性や差分類似性）が高いターム、または拒絶されたタームとの類似性が低いタームを推奨し、拒絶されたタームとの類似性が高いタームや選択されたタームとの類似性が低いタームは推奨しない。ある実施形態では、文書タグ部３１４はオントロジ的に冗長なタグは削除する。タグは、任意の適切な繰り返し回数（例えば、１回乃至５回、６回乃至１０回、１０回以上）で推奨及び選択される。
ステップ４６６の付与段階で、文書タグ部３１４は文書にタグを付与する。ある実施形態では、文書タグ部３１４はテスト段階に応じて、またはテスト段階とは関わりなく最初のタグに応じて、タグを付与する。そして、本方法は終了する。
本発明の範囲から逸脱することなく、本方法に修正、追加、または削除をすることができる。本方法に含まれるステップはこれより多くても少なくてもよく、他のステップが含まれてもよい。また、ステップを好適な任意の順序で実行してもよい。
ある実施形態では、上記の方法を実行して、タグではなく検索タームを選択してもよい。この明細書に含まれる説明、特にタグの付与方法の説明において、「タグ」を「検索ターム」で置き換えて上記の実施形態を説明することもできる。
例えば、一方法は最初の段階で開始する。その最初の段階では、最初の検索タームを受け取り、検索の目標検索タームとする。この最初の検索タームはユーザまたはロジック（コンピュータなど）である任意の適切なソースから入力される。候補段階において、入力された検索タームに応じてタームを推奨する。推奨されるタームは、検索をオントロジ空間の最小値に関連づけるように選択される。テスト段階において、（例えばユーザによって）選択された推奨タームや選択または拒絶されていないタームをモニターする。発展段階において、推奨タームと、新しいタームを推奨するために選択されたタームとの間の差異を評価する。検索タームは、任意の適切な繰り返し回数（例えば、１回乃至５回、６回乃至１０回、１０回以上）で推奨及び選択される。検索タームを、選択された検索タームに応じて選択してもよい。
本発明の範囲から逸脱することなく、本方法に修正、追加、または削除をすることができる。本方法に含まれるステップはこれより多くても少なくてもよく、他のステップが含まれてもよい。また、ステップを好適な任意の順序で実行してもよい。
本発明の実施形態により以下の技術的有利性がもたらされる。一実施形態の技術的優位性は、文書に対して、その文書の段落の分析によりタグを選択することである。各段落に対して一組のタグ候補を特定し、相異なるタグ候補集合のタグ候補の関係性を求める（established）。関係性が高いタグ候補を効率的に特定し、タグとして選択する。
本開示を実施形態に関して説明したが、これらの実施形態の変形や置き換えは当業者には明らかであろう。従って、上記の実施形態の説明は本開示を限定するものではない。特許請求の範囲に記載した本開示の精神と範囲から逸脱せずに、その他の変更、置き換え、改変も可能である。
上記の実施形態について以下の付記を記載する。
（付記１） 有体媒体に格納された文書にアクセスする段階であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む段階と、
各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階と、
各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階と、
決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階とを含む
方法。
（付記２） 一ランキング法により各テキスト単位の前記複数のワードをランキングする段階と、
各テキスト単位の前記キーワードとしてランキングが高いワードを選択する段階とをさらに含む、
付記１に記載の方法。
（付記３） 関係性により各テキスト単位のキーワードを選択する段階は、
前記キーワードをクラスタ化して複数のクラスタを生成する段階と、
クラスタのキーワードの関係性が高いと示す段階とを含む、
付記１に記載の方法。
（付記４） 各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階は、
一ランキング法により前記キーワードをランキングする段階と、
ランキングが最も高いキーワードをルートタグとして選択する段階とを含む、
付記１に記載の方法。
（付記５） 各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階は、他のタグ候補との関係性が十分高くないタグ候補を削除する段階を含む、
付記１に記載の方法。
（付記６） 各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、各タグ候補集合のタグ候補のプロファイルであって、前記タグ候補と、他のタグ候補集合のタグ候補との間の関係性を示すプロファイルを生成する段階を含む、
付記１に記載の方法。
（付記７） 各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、
タグ候補を含むタグ候補集合の数を決定し、
前記数から前記プロファイルを生成する
ことにより各タグ候補集合の候補タグのプロファイルを生成する、
付記１に記載の方法。
（付記８） 各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、
第２のルートタグを有する前記他のタグ候補集合のそれぞれについて、第１のルートタグが与えられたときの前記第２のルートタグの類似性を決定し、前記重みと前記類似性を乗算して関係性値を計算し、複数の関係性値を求め、
前記複数の関係性値から前記プロファイルを生成することにより、
前記第１のルートタグを有する各タグ候補集合の、重みを付与された候補タグのプロファイルを生成する段階をさらに含む、
付記１に記載の方法。
（付記９） 各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、
前記他のタグ候補集合のそれぞれについて、前記他のタグ候補集合の第２のタグ候補に対して、前記第１のタグ候補を与えられたときに、前記第２のタグ候補の類似性を決定して複数の類似性を求め、前記類似性を結合し、
前記結合した類似性から前記プロファイルを生成することにより
各タグ候補集合の第１の候補タグのプロファイルを生成する段階を含む、
付記１に記載の方法。
（付記１０） 決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階は、前記他のタグ候補との関係性が最も高い少なくとも１つのタグ候補を付与する段階をさらに含む、
付記１に記載の方法。
（付記１１） 実行したとき、
有体媒体に格納された文書にアクセスする段階であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む段階と、
各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階と、
各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階と、
決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階と
を実行するソフトウェアをエンコードしたコンピュータ読み取り可能有体媒体。
（付記１２） 一ランキング法により各テキスト単位の前記複数のワードをランキングする段階と、
各テキスト単位の前記キーワードとしてランキングが高いワードを選択する段階とをさらに実行させる、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１３） 前記キーワードをクラスタ化して複数のクラスタを生成し、
クラスタのキーワードの関係性が高いと示すことにより、
関係性により各テキスト単位のキーワードを選択する、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１４） 一ランキング法により前記キーワードをランキングし、
ランキングが最も高いキーワードをルートタグとして選択することにより、
各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する、付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１５） 他のタグ候補との関係性が十分高くないタグ候補を削除することにより、各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１６） 各タグ候補集合のタグ候補のプロファイルであって、前記タグ候補と、他のタグ候補集合のタグ候補との間の関係性を示すプロファイルを生成することにより、各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する、付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１７） タグ候補を含むタグ候補集合の数を決定し、
前記数から前記プロファイルを生成することにより、
各タグ候補集合のタグ候補のプロファイルを生成することにより、前記タグ候補集合のタグ候補と、前記他のタグ候補集合のタグ候補との間の関係性を決定する、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１８） 第２のルートタグを有する前記他のタグ候補集合のそれぞれについて、前記第１のルートタグが与えられたときの前記第２のルートタグの類似性を決定し、前記重みと前記類似性を乗算して関係性値を計算して複数の関係性値を求め、
前記複数の関係性値から前記プロファイルを生成することにより
第１のルートタグを有する各タグ候補集合の、重みを付与された候補タグのプロファイルを生成することにより、各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記１９） 前記他のタグ候補集合のそれぞれについて、前記他のタグ候補集合の第２のタグ候補に対して、前記第１のタグ候補を与えられたときに、前記第２のタグ候補の類似性を決定して複数の類似性を求め、前記類似性を結合し、
前記結合した類似性から前記プロファイルを生成することにより、
各タグ候補集合の候補タグのプロファイルを生成することにより、各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記２０） 前記他のタグ候補との関係性が最も高い少なくとも１つのタグ候補を付与することにより、決定した関係性により前記文書に少なくとも１つのタグ候補を付与する、
付記１１に記載のコンピュータ読み取り可能有体媒体。
（付記２１） 有体媒体に格納された文書にアクセスする手段であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む手段と、
各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する手段と、
各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する手段と、
決定した関係性により前記文書に少なくとも１つのタグ候補を付与する手段と
を含むシステム。
文書に対してタグを選択するシステムの一実施形態を示す図である。 図１のシステムで利用できる類似性モジュールの一実施形態を示すブロック図である。 基本類似性を記録する類似性マトリックスの一例を示す図である。 基本類似性を記録する類似性マトリックスの一例を示す図である。 平均類似性を記録する類似性マトリックスの一例を示す図である。 類似性グラフの一例を示す図である。 図１のシステムで使用できるクラスタリングモジュールの一実施形態を示す図である。 図１のシステムで利用できるオントロジ特性モジュールの一実施形態を示すブロック図である。 図１のシステムで使用できるタギングモジュールの一実施形態を示す図である。 トピックの統計的分布の決定方法の一例を示す図である。 文書のパラグラフを分析してその文書にタグを割り当てる方法の一例を示す図である。 タグの選択に応じてタグを付与する方法の一例を示す図である。
符号の説明
１０ システム
２０ クライアント
２２ サーバ
２４ メモリ
３０ 類似性モジュール
３１ クラスタリングモジュール
３２ オントロジ特性モジュール
３４ 類似性計算器
３５ タギングモジュール
３８ オントロジ生成器
４２ 類似性マトリクス生成器
４６ 類似性グラフ生成器
４８ ワード推奨器
５０ ページ
５４ レコード
５８ インデックス
６２ 逆インデックス
６６ オントロジ
６７ クラスタ
２１０ クラスタリングエンジン
２１４ クラスタ分析器
２３０ 深さエンジン
２４０ テーマエンジン
２４４ 具体性エンジン
２５０ オントロジ特性アプリケーションエンジン
３１０ トピックモデル部
３１４ タグ部

Claims (8)

  1. コンピュータが、
    有体媒体に格納された文書にアクセスする段階であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む段階と、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階と、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階と、
    決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階とを実行する方法であって、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階は、
    一ランキング法により前記キーワードをランキングする段階と、
    ランキングが最も高いキーワードをルートタグとして選択する段階とを含み、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、
    第２のルートタグを有する前記他のタグ候補集合のそれぞれについて、第１のルートタグが与えられたときの前記第２のルートタグの類似性を決定し、重みと前記類似性を乗算して関係性値を計算し、複数の関係性値を求め、
    前記複数の関係性値からプロファイルを生成することにより、
    前記第１のルートタグを有する各タグ候補集合の、重みを付与された候補タグのプロファイルを生成する段階をさらに含む、
    方法。
  2. 各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階は、
    一ランキング法により各テキスト単位の前記複数のワードをランキングする段階と、
    各テキスト単位の前記キーワードとしてランキングが高いワードを選択する段階とを含む、
    請求項１に記載の方法。
  3. 関係性により各テキスト単位のキーワードを選択する段階は、
    前記キーワードをクラスタ化して複数のクラスタを生成する段階と、
    クラスタを形成するキーワードは関係性が高いと示す段階とを含む、
    請求項１に記載の方法。
  4. 各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階は、他のタグ候補との関係性が十分高くないタグ候補を削除する段階を含む、
    請求項１に記載の方法。
  5. コンピュータが、
    有体媒体に格納された文書にアクセスする段階であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む段階と、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階と、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階と、
    決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階とを実行する方法であって、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、
    前記他のタグ候補集合のそれぞれについて、前記他のタグ候補集合の第２のタグ候補に対して、前記第１のタグ候補を与えられたときに、前記第２のタグ候補の類似性を決定して複数の類似性を求め、前記類似性を結合し、
    前記結合した類似性からプロファイルを生成することにより
    各タグ候補集合の第１の候補タグのプロファイルを生成する段階を含む、
    方法。
  6. 決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階は、前記他のタグ候補との関係性が最も高い少なくとも１つのタグ候補を付与する段階をさらに含む、
    請求項１に記載の方法。
  7. 実行したとき、
    有体媒体に格納された文書にアクセスする段階であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む段階と、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階と、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階と、
    決定した関係性により前記文書に少なくとも１つのタグ候補を付与する段階と
    をコンピュータに実行させるソフトウェアを記録したコンピュータ読み取り可能記録媒体であって、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する段階は、
    一ランキング法により前記キーワードをランキングする段階と、
    ランキングが最も高いキーワードをルートタグとして選択する段階とを含み、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する段階は、
    第２のルートタグを有する前記他のタグ候補集合のそれぞれについて、第１のルートタグが与えられたときの前記第２のルートタグの類似性を決定し、重みと前記類似性を乗算して関係性値を計算し、複数の関係性値を求め、
    前記複数の関係性値からプロファイルを生成することにより、
    前記第１のルートタグを有する各タグ候補集合の、重みを付与された候補タグのプロファイルを生成する段階をさらに含む、
    コンピュータ読み取り可能記録媒体。
  8. 有体媒体に格納された文書にアクセスする手段であって、前記文書は複数のテキスト単位よりなり、前記テキスト単位は複数のワードを含み、前記複数のワードは複数のキーワードを含む手段と、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する手段と、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する手段と、
    決定した関係性により前記文書に少なくとも１つのタグ候補を付与する手段と
    を含むシステムであって、
    各テキスト単位に対して、各テキスト単位のキーワード間の関係性を求め、求めた関係性によりタグ候補としてキーワードを選択し、各テキスト単位のタグ候補集合を生成する手段は、
    一ランキング法により前記キーワードをランキングする手段と、
    ランキングが最も高いキーワードをルートタグとして選択する手段とを含み、
    各タグ候補集合のタグ候補と他のタグ候補集合のタグ候補との間の関係性を決定する手段は、
    第２のルートタグを有する前記他のタグ候補集合のそれぞれについて、第１のルートタグが与えられたときの前記第２のルートタグの類似性を決定し、重みと前記類似性を乗算して関係性値を計算し、複数の関係性値を求め、
    前記複数の関係性値からプロファイルを生成することにより、
    前記第１のルートタグを有する各タグ候補集合の、重みを付与された候補タグのプロファイルを生成する手段をさらに含む、
    システム。
JP2008259630A 2007-10-05 2008-10-06 文書の段落分析によるその文書のタグの選択 Active JP5391634B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US97787707P 2007-10-05 2007-10-05
US60/977,877 2007-10-05
US12/242,984 US8280892B2 (en) 2007-10-05 2008-10-01 Selecting tags for a document by analyzing paragraphs of the document
US12/242,984 2008-10-01

Publications (2)

Publication Number Publication Date
JP2009093650A JP2009093650A (ja) 2009-04-30
JP5391634B2 true JP5391634B2 (ja) 2014-01-15

Family

ID=40524170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008259630A Active JP5391634B2 (ja) 2007-10-05 2008-10-06 文書の段落分析によるその文書のタグの選択

Country Status (4)

Country Link
US (1) US8280892B2 (ja)
EP (1) EP2045737A3 (ja)
JP (1) JP5391634B2 (ja)
CN (1) CN101408886B (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094189A1 (en) * 2007-10-08 2009-04-09 At&T Bls Intellectual Property, Inc. Methods, systems, and computer program products for managing tags added by users engaged in social tagging of content
US7941399B2 (en) 2007-11-09 2011-05-10 Microsoft Corporation Collaborative authoring
US8862622B2 (en) * 2007-12-10 2014-10-14 Sprylogics International Corp. Analysis, inference, and visualization of social networks
US8825758B2 (en) 2007-12-14 2014-09-02 Microsoft Corporation Collaborative authoring modes
US20090198654A1 (en) * 2008-02-05 2009-08-06 Microsoft Corporation Detecting relevant content blocks in text
US8301588B2 (en) 2008-03-07 2012-10-30 Microsoft Corporation Data storage for file updates
US8352870B2 (en) 2008-04-28 2013-01-08 Microsoft Corporation Conflict resolution
US8825594B2 (en) * 2008-05-08 2014-09-02 Microsoft Corporation Caching infrastructure
US8429753B2 (en) * 2008-05-08 2013-04-23 Microsoft Corporation Controlling access to documents using file locks
US8417666B2 (en) * 2008-06-25 2013-04-09 Microsoft Corporation Structured coauthoring
US20110087670A1 (en) * 2008-08-05 2011-04-14 Gregory Jorstad Systems and methods for concept mapping
US8606796B2 (en) * 2008-09-15 2013-12-10 Kilac, LLC Method and system for creating a data profile engine, tool creation engines and product interfaces for identifying and analyzing files and sections of files
EP2332066A4 (en) * 2008-10-03 2013-07-31 Benefitfocus Com Inc SYSTEMS AND METHOD FOR THE AUTOMATIC PRODUCTION OF AGENT-BASED SYSTEMS
KR101040119B1 (ko) * 2008-10-14 2011-06-09 한국전자통신연구원 콘텐츠 검색 장치 및 방법
US8346768B2 (en) * 2009-04-30 2013-01-01 Microsoft Corporation Fast merge support for legacy documents
US8738361B2 (en) * 2009-07-01 2014-05-27 International Business Machines Corporation Systems and methods for extracting patterns from graph and unstructered data
CN101694666B (zh) * 2009-07-17 2011-03-30 刘二中 文件内容的特征词的输入和处理方法
US20110035210A1 (en) * 2009-08-10 2011-02-10 Benjamin Rosenfeld Conditional random fields (crf)-based relation extraction system
KR101071700B1 (ko) 2009-11-04 2011-10-11 동국대학교 산학협력단 온톨로지를 이용한 문서의 주제어 및 관련어 측정 방법 및 장치
JP2012027723A (ja) * 2010-07-23 2012-02-09 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
US8572760B2 (en) 2010-08-10 2013-10-29 Benefitfocus.Com, Inc. Systems and methods for secure agent information
US8666927B2 (en) * 2011-04-19 2014-03-04 Yahoo! Inc. System and method for mining tags using social endorsement networks
WO2013043160A1 (en) * 2011-09-20 2013-03-28 Hewlett-Packard Development Company, L.P. Text summarization
US8620854B2 (en) * 2011-09-23 2013-12-31 Fujitsu Limited Annotating medical binary decision diagrams with health state information
US8719214B2 (en) * 2011-09-23 2014-05-06 Fujitsu Limited Combining medical binary decision diagrams for analysis optimization
KR20130063589A (ko) * 2011-12-07 2013-06-17 한국전자통신연구원 태그 그래프를 이용한 파일 검색 장치 및 방법
US8909643B2 (en) * 2011-12-09 2014-12-09 International Business Machines Corporation Inferring emerging and evolving topics in streaming text
CN103198057B (zh) * 2012-01-05 2017-11-07 深圳市世纪光速信息技术有限公司 一种自动给文档添加标签的方法和装置
MX2014008560A (es) 2012-01-23 2014-09-26 Microsoft Corp Procesador de deteccion de formula.
US8762324B2 (en) * 2012-03-23 2014-06-24 Sap Ag Multi-dimensional query expansion employing semantics and usage statistics
TWI548980B (zh) * 2012-07-18 2016-09-11 宏碁股份有限公司 電子裝置與其電源管理方法
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
CN102929975A (zh) * 2012-10-15 2013-02-13 西安电子科技大学 基于文档标签表征的推荐方法
US20140149215A1 (en) * 2012-11-29 2014-05-29 Giridhar Rajaram Determining keywords for content items
US9330070B2 (en) 2013-03-11 2016-05-03 Microsoft Technology Licensing, Llc Detection and reconstruction of east asian layout features in a fixed format document
US9116894B2 (en) * 2013-03-14 2015-08-25 Xerox Corporation Method and system for tagging objects comprising tag recommendation based on query-based ranking and annotation relationships between objects and tags
US20140280178A1 (en) * 2013-03-15 2014-09-18 Citizennet Inc. Systems and Methods for Labeling Sets of Objects
CN103235773B (zh) * 2013-04-26 2019-02-12 百度在线网络技术（北京）有限公司 基于关键词的文本的标签提取方法及装置
WO2015030214A1 (ja) * 2013-08-29 2015-03-05 コグニティ株式会社 情報処理装置、情報処理方法およびプログラム
US11238056B2 (en) * 2013-10-28 2022-02-01 Microsoft Technology Licensing, Llc Enhancing search results with social labels
US9444819B2 (en) * 2014-01-16 2016-09-13 International Business Machines Corporation Providing context-based visibility of cloud resources in a multi-tenant environment
US9870432B2 (en) 2014-02-24 2018-01-16 Microsoft Technology Licensing, Llc Persisted enterprise graph queries
US10255563B2 (en) 2014-03-03 2019-04-09 Microsoft Technology Licensing, Llc Aggregating enterprise graph content around user-generated topics
CN104035995B (zh) * 2014-06-11 2018-04-06 小米科技有限责任公司 群标签生成方法及装置
US10430501B2 (en) 2015-09-18 2019-10-01 International Business Machines Corporation Mapping of documents with global tagging map
US10748116B2 (en) * 2015-10-16 2020-08-18 Dell Products L.P. Test vector generation from documentation
US10725800B2 (en) 2015-10-16 2020-07-28 Dell Products L.P. User-specific customization for command interface
US10608879B2 (en) 2015-10-16 2020-03-31 Dell Products L.P. Validation using natural language processing
US10013404B2 (en) * 2015-12-03 2018-07-03 International Business Machines Corporation Targeted story summarization using natural language processing
US10013450B2 (en) 2015-12-03 2018-07-03 International Business Machines Corporation Using knowledge graphs to identify potential inconsistencies in works of authorship
US10248738B2 (en) 2015-12-03 2019-04-02 International Business Machines Corporation Structuring narrative blocks in a logical sequence
CN105573968A (zh) * 2015-12-10 2016-05-11 天津海量信息技术有限公司 基于规则的文本标引方法
CN105740404A (zh) * 2016-01-28 2016-07-06 上海晶赞科技发展有限公司 标签关联方法及装置
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
CN107436922B (zh) * 2017-07-05 2021-06-08 北京百度网讯科技有限公司 文本标签生成方法和装置
US11163817B2 (en) * 2018-05-24 2021-11-02 Spotify Ab Descriptive media content search
CN109241529B (zh) * 2018-08-29 2023-05-02 中国联合网络通信集团有限公司 观点标签的确定方法和装置
US10867338B2 (en) 2019-01-22 2020-12-15 Capital One Services, Llc Offering automobile recommendations from generic features learned from natural language inputs
US11328004B2 (en) * 2019-03-22 2022-05-10 Microsoft Technology Licensing, Llc Method and system for intelligently suggesting tags for documents
US10489474B1 (en) 2019-04-30 2019-11-26 Capital One Services, Llc Techniques to leverage machine learning for search engine optimization
US10565639B1 (en) 2019-05-02 2020-02-18 Capital One Services, Llc Techniques to facilitate online commerce by leveraging user activity
US11232110B2 (en) * 2019-08-23 2022-01-25 Capital One Services, Llc Natural language keyword tag extraction
US10796355B1 (en) 2019-12-27 2020-10-06 Capital One Services, Llc Personalized car recommendations based on customer web traffic
CN111324738B (zh) * 2020-05-15 2020-08-28 支付宝(杭州)信息技术有限公司 一种确定文本标签的方法和系统
CN114997120B (zh) * 2021-03-01 2023-09-26 北京字跳网络技术有限公司 文档标签的生成方法、装置、终端和存储介质
CN113507632B (zh) * 2021-08-12 2023-02-28 北京字跳网络技术有限公司 视频的处理方法、装置、终端和存储介质
CN113688229B (zh) * 2021-08-31 2024-04-23 济南大学 一种文本推荐方法、系统、存储介质和设备
CN115409130B (zh) * 2022-10-11 2023-08-15 北京睿企信息科技有限公司 一种更新分类标签的优化方法及系统

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61117658A (ja) * 1984-11-13 1986-06-05 Fujitsu Ltd 文章抄録装置
US7051024B2 (en) * 1999-04-08 2006-05-23 Microsoft Corporation Document summarizer for word processors
US6038560A (en) 1997-05-21 2000-03-14 Oracle Corporation Concept knowledge base search and retrieval system
US6996572B1 (en) * 1997-10-08 2006-02-07 International Business Machines Corporation Method and system for filtering of information entities
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
JP3641363B2 (ja) * 1998-06-03 2005-04-20 富士通株式会社 テキスト情報分析装置及び記録媒体
US6665681B1 (en) * 1999-04-09 2003-12-16 Entrieva, Inc. System and method for generating a taxonomy from a plurality of documents
US7225182B2 (en) 1999-05-28 2007-05-29 Overture Services, Inc. Recommending search terms using collaborative filtering and web spidering
US6519586B2 (en) * 1999-08-06 2003-02-11 Compaq Computer Corporation Method and apparatus for automatic construction of faceted terminological feedback for document retrieval
US6587848B1 (en) 2000-03-08 2003-07-01 International Business Machines Corporation Methods and apparatus for performing an affinity based similarity search
US7028250B2 (en) 2000-05-25 2006-04-11 Kanisa, Inc. System and method for automatically classifying text
US6675159B1 (en) 2000-07-27 2004-01-06 Science Applic Int Corp Concept-based search and retrieval system
US6895406B2 (en) 2000-08-25 2005-05-17 Seaseer R&D, Llc Dynamic personalization method of creating personalized user profiles for searching a database of information
US6766316B2 (en) 2001-01-18 2004-07-20 Science Applications International Corporation Method and system of ranking and clustering for document indexing and retrieval
US7133862B2 (en) 2001-08-13 2006-11-07 Xerox Corporation System with user directed enrichment and import/export control
US7096218B2 (en) * 2002-01-14 2006-08-22 International Business Machines Corporation Search refinement graphical user interface
US20040123233A1 (en) * 2002-12-23 2004-06-24 Cleary Daniel Joseph System and method for automatic tagging of ducuments
US20040133560A1 (en) * 2003-01-07 2004-07-08 Simske Steven J. Methods and systems for organizing electronic documents
US6873996B2 (en) * 2003-04-16 2005-03-29 Yahoo! Inc. Affinity analysis method and article of manufacture
GB2403636A (en) 2003-07-02 2005-01-05 Sony Uk Ltd Information retrieval using an array of nodes
US8014997B2 (en) 2003-09-20 2011-09-06 International Business Machines Corporation Method of search content enhancement
CN1629835A (zh) * 2003-12-17 2005-06-22 国际商业机器公司 电子文档的计算机辅助写作和浏览的方法及装置
US8676830B2 (en) 2004-03-04 2014-03-18 Yahoo! Inc. Keyword recommendation for internet search engines
US8788492B2 (en) 2004-03-15 2014-07-22 Yahoo!, Inc. Search system and methods with integration of user annotations from a trust network
US20060155751A1 (en) 2004-06-23 2006-07-13 Frank Geshwind System and method for document analysis, processing and information extraction
US20060053382A1 (en) 2004-09-03 2006-03-09 Biowisdom Limited System and method for facilitating user interaction with multi-relational ontologies
US7496593B2 (en) 2004-09-03 2009-02-24 Biowisdom Limited Creating a multi-relational ontology having a predetermined structure
US20060080315A1 (en) 2004-10-08 2006-04-13 The Greentree Group Statistical natural language processing algorithm for use with massively parallel relational database management system
US7805300B2 (en) * 2005-03-21 2010-09-28 At&T Intellectual Property Ii, L.P. Apparatus and method for analysis of language model changes
US7870147B2 (en) 2005-03-29 2011-01-11 Google Inc. Query revision using known highly-ranked queries
US7636714B1 (en) 2005-03-31 2009-12-22 Google Inc. Determining query term synonyms within query context
US7844566B2 (en) * 2005-04-26 2010-11-30 Content Analyst Company, Llc Latent semantic clustering
US7912701B1 (en) 2005-05-04 2011-03-22 IgniteIP Capital IA Special Management LLC Method and apparatus for semiotic correlation
US20060259475A1 (en) 2005-05-10 2006-11-16 Dehlinger Peter J Database system and method for retrieving records from a record library
WO2007002412A2 (en) 2005-06-22 2007-01-04 Affiniti, Inc. Systems and methods for retrieving data
US20080005064A1 (en) 2005-06-28 2008-01-03 Yahoo! Inc. Apparatus and method for content annotation and conditional annotation retrieval in a search context
US9715542B2 (en) * 2005-08-03 2017-07-25 Search Engine Technologies, Llc Systems for and methods of finding relevant documents by analyzing tags
US7685198B2 (en) 2006-01-25 2010-03-23 Yahoo! Inc. Systems and methods for collaborative tag suggestions
US20070282684A1 (en) 2006-05-12 2007-12-06 Prosser Steven H System and Method for Determining Affinity Profiles for Research, Marketing, and Recommendation Systems
CA2652762A1 (en) 2006-05-19 2008-02-07 My Virtual Model Inc. Simulation-assisted search
US8271266B2 (en) * 2006-08-31 2012-09-18 Waggner Edstrom Worldwide, Inc. Media content assessment and control systems
US7895210B2 (en) * 2006-09-29 2011-02-22 Battelle Memorial Institute Methods and apparatuses for information analysis on shared and distributed computing systems
US7974976B2 (en) 2006-11-09 2011-07-05 Yahoo! Inc. Deriving user intent from a user query
US7685200B2 (en) 2007-03-01 2010-03-23 Microsoft Corp Ranking and suggesting candidate objects
US7536637B1 (en) 2008-02-07 2009-05-19 International Business Machines Corporation Method and system for the utilization of collaborative and social tagging for adaptation in web portals

Also Published As

Publication number Publication date
US20090094231A1 (en) 2009-04-09
JP2009093650A (ja) 2009-04-30
CN101408886A (zh) 2009-04-15
US8280892B2 (en) 2012-10-02
EP2045737A3 (en) 2013-07-03
CN101408886B (zh) 2012-12-19
EP2045737A2 (en) 2009-04-08

Similar Documents

Publication Publication Date Title
JP5391634B2 (ja) 文書の段落分析によるその文書のタグの選択
JP5391633B2 (ja) オントロジー空間を規定するタームの推奨
US9317593B2 (en) Modeling topics using statistical distributions
JP5423030B2 (ja) ワードセットに関係するワードの決定
JP5353173B2 (ja) 文書の具体性の決定
JP5332477B2 (ja) ターム階層の自動生成
US8108405B2 (en) Refining a search space in response to user input
JP5391632B2 (ja) ワードと文書の深さの決定
Lin et al. Knowledge map creation and maintenance for virtual communities of practice
Kaptein et al. Exploiting the category structure of Wikipedia for entity ranking
Zhang et al. A generic pseudo relevance feedback framework with heterogeneous social information
Sharma et al. A trend analysis of significant topics over time in machine learning research
Chakraborti et al. Product news summarization for competitor intelligence using topic identification and artificial bee colony optimization
EP2090992A2 (en) Determining words related to a given set of words
Pandi et al. Reputation based online product recommendations
Dhokar et al. Cliques detection vs maximum spanning tree for tweet contextualization
Kathiria et al. DOCUMENT ANALYSIS FOR TREND ESTIMATION OF RESEARCH SCENARIO IN INDIAN UNIVERSITIES
Basili et al. Automatic text categorization
Huang et al. Solving the “Who’s Mark Johnson Puzzle”: Information Extraction Based Cross Document Coreference
HUNG et al. Finding and Recommending Interesting Contents from Document Archives

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130930

R150 Certificate of patent or registration of utility model

Ref document number: 5391634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150