JP5154535B2 - スコア付形態素辞書の生成装置、方法、及びプログラム - Google Patents

Description

本発明は、スコア付形態素辞書の生成装置、方法、プログラム、及びデータ構造に関する。

従来、各種各様の形態素の中から基本語として選択された約３０，０００語に対して、ドメインが関連付けられて登録されているドメイン辞書が知られている。ドメイン辞書においては、例えば、「教科書」という基本語に対して＜教育・学習＞というドメインが関連付けられ、また、「包丁」という基本語に対して＜料理・食事＞というドメインが関連付けられている。

このようなドメイン辞書において、基本語にドメインを付与する（関連付ける）方法として、ドメイン手掛かり語（以下、「手掛かり語」と略称する）を用いる次のような方法が提案されている。即ち、まず、各々のドメインに対して複数の手掛かり語を予め付与しておく。次に、ドメインを付与したい基本語について、当該手掛かり語との関連度（Ａｋスコア）を計算し、その結果に基づいて当該基本語について、各ドメインとの関連度（Ａｄスコア）を計算し、当該基本語には、最もＡｄスコアの高いドメインを付与する。

このような基本語へのドメインの付与においては、何れのドメインをも付与すべきでない「ドメイン無し」とすべき基本語が存在する一方で、複数のドメインを付与すべき基本語も存在することが知られている。

具体的には、例えば、基本語の一例である「委員」や「組織」は「ドメイン無し」に該当し、別の基本語の一例である「大学院」は＜教育・学習＞及び＜科学・技術＞の双方のドメインに該当し、別の基本語の一例（多義語）である「ボール」は＜スポーツ＞及び＜料理・食事＞の双方のドメインに該当する。

このような判断は次のような基準に基づいて行われている。即ち、何れのドメインについてのＡｄスコアも所定の閾値以下の基本語は「ドメイン無し」と判断し、複数のドメインについてのＡｄスコアが同程度の基本語には当該複数のドメインを付与する（非特許文献１）。

橋本、黒橋、"基本語ドメイン辞書の構築と未知語ドメイン推定を用いたブログ自動分類法への応用"、自然言語処理、第１５巻、第５号、７３〜９７ページ、平成２０年１０月

このような「ドメイン無し」の判断や複数ドメインの判断においては、解決すべき課題が残されている。

具体的には、上述の従来技術が、基本語に所定のドメインを付与する（より具体的には「ドメイン無し」及び複数ドメインを含む）プロセスを基本としているため、その判断基準である閾値の設定により作成される辞書の性格が大きく左右される。即ち少し閾値が異なるだけで、所定の基本語についてドメイン無しであったものが所定のドメインが付与されたり、所定の基本語について複数ドメインに入るか否かの判断も変化したりすることになる。さらに、この閾値の調整のために、Ｗｅｂ検索でのヒット数とＡｄスコアの関係に対して人手で教師データを作成する必要がある。

さらに、このような従来技術のドメイン辞書を用いた処理、例えば未知語ドメイン推定処理が実行される場合には、別の課題も生ずる。即ち、上述の従来技術では、未知語をクエリとしてＷｅｂ検索した場合にヒットしたＷｅｂコンテンツから、未知語と関連する複数の基本語が抽出され、これらの複数の基本語に付与されたドメインに基づいて未知語のドメインが推定される。より具体的には、Ｗｅｂコンテンツから抽出された複数の基本語毎にＩＤＦ値が新たに演算される。ここで、ＩＤＦ値は、Ｗｅｂの情報のみに基づいて演算されており、基本語とドメインの関係を直接数値化できているわけではないので、未知語のドメイン推定時にこのようなＩＤＦ値を使用することは適切ではない。

そこで、本発明は、このような「ドメイン無し」や複数ドメインの判断を含むドメイン付与の判断のための閾値の調整に左右されることなく、かつ、未知語ドメイン推定処理等の精度を向上させるべく、各基本語（形態素）について全てのドメインとの関係を適切に表現し、管理することの出来るスコア付形態素辞書の生成装置、方法、プログラム、及びデータ構造を提供することを目的とする。

ここで、スコア付形態素辞書とは、形態素（上述の基本語を含んでもよい）に対して、所定のスコア、例えばドメインとの関連度を示すドメインスコアが関連付けられて登録される辞書をいう。即ち、スコア付形態素辞書は、基本語に対してドメイン自体が関連付けられる従来技術のドメイン辞書とは異なる概念の辞書である。

本発明では、具体的には以下のようなものを提供する。

（１）所定の形態素に対して、所定の複数のドメインスコアが関連付けられて登録されるスコア付形態素辞書の生成装置であって、
所定の形態素を基本語とし、所定のドメインに予め関連付けられている１以上の手掛かり語毎に、前記基本語との関連度を示す手掛かり語スコアをそれぞれ算出する処理を、所定の複数のドメイン毎に実行する手掛かり語スコア算出手段と、
前記手掛かり語スコア算出手段により算出された１以上の前記手掛かり語スコアの少なくとも一部に基づいて、前記基本語と前記複数のドメインの各々との関連度を、前記複数のドメインスコアの各々として算出するドメインスコア算出手段と、
前記複数のドメインを１つずつ処理対象とし、前記ドメインスコア算出手段により算出された前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係に基づいて、前記処理対象の前記ドメインスコアを補正し、補正後の前記複数のドメインスコアを前記基本語と関連付けて前記スコア付形態素辞書に登録するドメインスコア補正手段と
を備え、
前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係は、前記複数のドメインスコアの総和に対する、前記処理対象のドメインスコアの割合により示される
スコア付形態素辞書の生成装置。

本願明細書に記載の「形態素」とは、言語学において、意味をもつ最小の単位をいう。文法上の「単語」も形態素の１つである。本願明細書に記載の「基本語」とは、所定の手法により選択された所定数の単語の各々をいう。後述する本実施形態では、ＪＵＭＡＮ（黒橋、河原 ２００５）に収録された内容語約３０，０００語が、基本語として採用されている。

本願明細書に記載の「ドメイン」とは、単語が使用される背景的な分類又は定義域を指す。ドメインは、通常は、階層的関係を含まない並立的な分類である。所定のドメインには、それに属すると判断された１以上の単語が関連付けられている。このような単語が、本願明細書に記載の「手掛かり語」である。この関連付けは、通常は、手作業で行われる。例えば後述する本実施形態では、Ｗｅｂ高頻度語リストの上位の単語の中から、人の判断により、所定のドメインに属する２０乃至３０語の単語が、手掛かり語として予め選択されている。

本発明のこのような構成によれば、本発明に係るスコア付形態素辞書の生成装置は、「ドメイン無し」や複数ドメインの判断を含むドメイン付与の判断のための閾値の調整に左右されることなく、かつ、未知語ドメイン推定処理等の精度を向上させるべく、各基本語（形態素）について全てのドメインとの関係を適切に表現し、管理することの出来るスコア付形態素辞書を生成することができる。補正後のドメインスコアは、補正前のドメインスコアと比較して、対応する基本語（形態素）について全てのドメインとの関係をより一段と適切に表現したものになる。

（２）前記手掛かり語スコアは、カイ二乗値に基づく指標値であり、
前記ドメインスコア算出手段は、上位Ｍ個（Ｍは、ドメインに関連付けられている手掛かり語の総数以下の整数値）の前記手掛かり語スコアの各々のファイ係数の平均を、前記ドメインスコアとして算出する
（１）に記載のスコア付形態素辞書の生成装置。

本発明のこのような構成によれば、手掛かり語スコアのファイ係数は、正規化されて０乃至１の間の値となるので、この平均をドメインスコアとして算出することにより、各々のドメインスコアの大小関係を崩すことなく、ドメインスコアを０乃至１の間に収めることが出来る。したがって、この正規化されたドメインスコアを補正して作成したスコア付形態素辞書を用いることにより、未知語ドメインの推定処理の際の計算回数を適切に抑制し、精度を落とすことなくより効率的に処理を行うことが出来る。さらに、基本語が複数のドメインにまたがるものであっても、その関係を適切に表現し、従来のように大きく精度が悪くなることもない。また、Ｗｅｂのサブセットから学習用のコーパスを作成することもないので、ナイフ・ベイズやベクタースペースモデルのように、正解タグの与えられている少数のクエリの周辺語彙のみでモデルを作る結果、モデルがスパースになることもない。その結果、（１）の効果がより顕著なものとなる。

さらに、本発明では、（１）に係る生成装置に対応する方法及びプログラムを提供する。これにより、（１）と同様の効果が期待できる。

本発明によれば、「ドメイン無し」や複数ドメインの判断を含むドメイン付与の判断のための閾値の調整に左右されることなく、かつ、未知語ドメイン推定処理等の精度を向上させるべく、各基本語（形態素）について全てのドメインとの関係を適切に表現し、管理することの出来るスコア付形態素辞書を生成することができる。

本発明に係るスコア付形態素辞書生成装置を含む文章処理システムの一実施の形態の機能的構成を示す機能ブロック図である。 図１の文章処理システムのドメイン／手掛かり語データベースのデータ構造を例示する図である。 図１の文章処理システムのスコア付形態素辞書のデータ構造を例示する図である。 図１の文章処理システムのスコア付形態素辞書生成装置が実行するスコア付形態素辞書生成処理を例示するすフローチャートである。 図１の文章処理システムのスコア付形態素辞書生成装置が実行するスコア付形態素辞書生成処理を例示するすフローチャートである。 本発明に係る文章処理システムの一実施の形態であって、図１とは異なる形態の機能的構成を示す機能ブロック図である。 基本語、補正前のドメインスコア、及び、補正後のドメインスコアの具体例を示す図である。 図６の文章処理システムの未知語ドメイン推定装置の処理の概要を説明する模式図である。

以下、本発明の実施形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

本実施形態は、コンピュータ及びその周辺装置に適用される。本実施形態における各部は、コンピュータ及びその周辺装置が備える、ハードウェア及び該ハードウェアを制御するソフトウェアによって構成される。

上記ハードウェアには、制御部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の他、記憶部、通信装置、表示装置及び入力装置が含まれる。記憶部としては、例えば、メモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ等）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及び光ディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｋ、ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ等）ドライブが挙げられる。通信装置としては、例えば、各種有線及び無線インターフェース装置が挙げられる。表示装置としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。入力装置としては、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボール等）が挙げられる。

上記ソフトウェアには、上記ハードウェアを制御するコンピュータ・プログラムやデータが含まれる。コンピュータ・プログラムやデータは、記憶部により記憶され、制御部により適宜実行、参照される。また、コンピュータ・プログラムやデータは、通信回線を介して配布されることも可能であり、ＣＤ−ＲＯＭ等のコンピュータ可読媒体に記録して配布されることも可能である。

図１は、本発明に係る文章処理システムの一実施の形態の機能的構成を示す機能ブロック図である。

文章処理システム１０は、スコア付形態素辞書生成装置１１０と、ドメイン／手掛かり語データベース１２０と、基本語データベース１３０と、スコア付形態素辞書１４０とを備える。

スコア付形態素辞書生成装置１１０は、ドメイン／手掛かり語データベース１２０と、基本語データベース１３０とを用いて、スコア付形態素辞書１４０を生成する。なお、スコア付形態素辞書生成装置１１０の構成要素等の詳細については後述する。

ドメイン／手掛かり語データベース１２０は、ドメインを特定する情報と、当該ドメインに関連付けられた１以上の手掛かり語とをドメイン毎に格納している。

図２は、ドメイン／手掛かり語データベース１２０のデータ構造を例示する図である。

本実施形態において、ドメイン／手掛かり語データベース１２０は行列構造を有しているため、以下、図２中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、所定のドメインが対応付けられている。即ち、所定の行には、当該行に対応するドメインについての、「ドメインＩＤ」、「ドメイン名」、及び「手掛かり語」という項目がそれぞれ配置されている。

所定の行の「ドメインＩＤ」及び「ドメイン名」には、当該行に対応するドメインを特定する情報として、次のような情報が格納される。

即ち、所定の行の「ドメインＩＤ」には、当該行に対応するドメインを一意に識別するためのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）が格納される。本実施形態では、「ドメインＩＤ」に格納されたＩＤが、後述する各種演算におけるドメイン番号ｉ又はｙとして用いられる。

所定の行の「ドメイン名」には、当該行に対応するドメインの名称が格納される。例えば１行目のドメインの名称、即ち、「ドメインＩＤ」が「００１」のドメインの名称は、１行目の「ドメイン名」に格納されている「科学技術」である。なお、「科学技術」の他、「芸術」、「ビジネス」、及び「スポーツ」といった図２に示す名称は例示であり、ドメインの名称は、特にこれらに限定されず任意でよい。

所定の行の「手掛かり語」には、当該行に対応するドメインに対して、手掛かり語として予め関連付けられた１以上の形態素が格納される。例えば１行目のドメインに関連付けられた手掛かり語、即ち、「ドメインＩＤ」が「００１」であって、「ドメイン名」が「科学技術」のドメインに関連付けられた手掛かり語は、１行目の「手掛かり語」に格納されている、「研究」、「開発」、「実験」、・・・といった形態素である。なお、図２に示す手掛かり語は例示であり、各ドメインに手掛かり語を関連付ける手法や、手掛かり語の個数は、特にこれに限定されず任意でよい。

なお、ドメイン／手掛かり語データベース１２０は、図２に示す行列構造に特に限定されず、ドメインと手掛かり語とが関連付けられていれば、任意の構造を取ることができる。また、ドメイン／手掛かり語データベース１２０の配置位置は、本実施形態では文章処理システム１０内とされているが、特にこれに限定されず、例えばネットワーク３０上の図示せぬ他の装置内等、任意の場所でよい。

図１に戻り、基本語データベース１３０は、各種各様の形態素の中から選択された１以上の基本語を格納している。なお、基本語の選択手法や、基本語の個数は、特に限定されない。

スコア付形態素辞書１４０は、基本語データベース１３０に格納された１以上の基本語の各々に対して、スコア付形態素辞書生成装置１１０により算出された複数のドメイン毎のドメインスコアを関連付けて登録する。

図３は、スコア付形態素辞書１４０のデータ構造を例示する図である。

本実施形態において、スコア付形態素辞書１４０は行列構造を有しているため、以下、図３中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、所定の基本語（形態素）が対応付けられている。即ち、所定の行には、当該行に対応する基本語についての、「形態素ＩＤ」、「形態素情報」、及び「ドメインスコア」という項目がそれぞれ配置されている。

所定の行の「形態素ＩＤ」には、当該行に対応する基本語を一意に識別するためのＩＤが格納される。

所定の行の「形態素情報」には、当該行に対応する基本語についての、「表記」、「読み」、及び「品詞」が配列形式で格納される。例えば「形態素ＩＤ」が「０２３」となっている行の「形態素情報」には、「この この 連体詞」が格納されている。したがって、「形態素ＩＤ」が「０２３」の基本語は、表記が「この」であり、読みが「この」であり、品詞が「連体詞」である。なお、図３に示す形態素情報は例示であり、情報の種類、属性、個数等は特に限定されない。

所定の行の「ドメインスコア」には、当該行に対応する基本語に対して、複数のドメイン毎に付与されたドメインスコアがそれぞれ格納される。即ち、本実施形態では、スコア付形態素辞書生成装置１１０は、１つの基本語につき、上述のドメイン／手掛かり語データベース１２０に設定されている全てのドメイン、即ち、「ドメインＩＤ」が付与されている全てのドメインの各々とのドメインスコアを算出する。この算出結果が、スコア付形態素辞書１４０の対応する行の「ドメインスコア」に格納される。

例えば「形態素ＩＤ」が「０２３」の行の「ドメインＩＤ」には、「０．０６，０．４，０．１２，０．３，・・・」が格納されている。したがって、「形態素ＩＤ」が「０２３」であって「表記」が「この」という基本語については、「ドメインＩＤ」が「００１」のドメインのドメインスコアが「０．０６」である。以下同様に、「ドメインＩＤ」が「００２」のドメインのドメインスコアが「０．４」である。「ドメインＩＤ」が「００３」のドメインのドメインスコアが「０．１２」である。「ドメインＩＤ」が「００４」のドメインのドメインスコアが「０．３」である。なお、同項目中「・・・」は、「ドメインＩＤ」が「００４」以降のドメインの各々のドメインスコアを示している。

なお、「ドメインスコア」には、非特許文献１に開示されているＡｄスコアが格納されてもよいし、後述する式（３）の補正前のドメインスコアＡｄｉ_１／２が格納されてもよい。ただし、後述するように、未知語ドメイン推定処理等を実行する場合に用いるドメインスコアとしては、後述する式（４）の補正後のドメインスコアＡｄｉ_２／２が好適である。このため、本実施形態では、後述する式（４）の補正後のドメインスコアＡｄｉ_２／２が「ドメインスコア」に格納されている。

また、スコア付形態素辞書１４０は、図３に示す行列構造に特に限定されず、基本語毎に、全てのドメインのドメインスコアが格納されていれば、任意の構造を取ることができる。例えば、スコア付形態素辞書１４０は、「形態素ＩＤ」及び「ドメインスコア」のみの項目を有する構造としてもよい。この場合、スコア付形態素辞書１４０に対して、「形態素情報」の情報又はそれを生成可能な情報が格納されている別のデータベースを対応付けることもできる。また、スコア付形態素辞書１４０の配置位置は、本実施形態では文章処理システム１０内とされているが、特にこれに限定されず、例えばネットワーク３０上の図示せぬ他の装置内等、任意の場所でよい。

図１に戻り、文章処理システム１０の少なくとも一部は、ネットワーク３０を介してＷｅｂコンテンツ４０にアクセスすることが可能であり、ネットワーク３０を介してユーザ端末２０と接続することで各種情報を授受することが可能になる。

ネットワーク３０は、本実施形態ではインターネットであるが、特にこれに限定されず、任意のネットワークでよい。或いはまた、ネットワーク３０は省略可能である。即ち、文章処理システム１０は、ネットワーク３０を介在せずに、Ｗｅｂコンテンツ４０に直接アクセスしてもよいし、ユーザ端末２０と直接通信してもよい。

Ｗｅｂコンテンツ４０は、本実施形態ではネットワーク３０を介してアクセス可能な各種各様のコンテンツを表している。より具体的には、Ｗｅｂコンテンツ４０は、本実施形態ではブログやホームページ等で構成される。ただし、Ｗｅｂコンテンツ４０は、１以上の形態素を抽出可能なコンテンツであれば、特にこれらに限定されない。

ユーザ端末２０は、ユーザにより操作される端末であり、例えば、文章処理システム１０の各種処理を適宜制御することができる。

次に、本発明に係るスコア付形態素辞書生成装置１１０の構成要素について説明する。

スコア付形態素辞書生成装置１１０は、手掛かり語スコア算出部２１０と、ドメインスコア算出部２２０と、ドメインスコア補正部２３０とを備える。

ここで、ドメイン／手掛かり語データベース１２０にはＮ個（Ｎは１以上の整数値）のドメインが設定されており、Ｎ個のドメインには、「ドメインＩＤ」に格納されるＩＤを示す番号（以下、適宜「ドメイン番号」と称する）として、１乃至Ｎの各々が付されているとする。したがって、以下、ドメイン番号がｉ（ｉは、１乃至Ｎのうちの何れかの整数値）であるドメインを、「ｉ番のドメイン」と称する。

この場合、手掛かり語スコア算出部２１０は、基本語データベース１３０に格納された１以上の基本語のうちの１つを、第１の形態素ｗとして取得する。また、手掛かり語スコア算出部２１０は、ｉ番のドメインに関連付けられた１以上の手掛かり語のうちの１つを、第２の形態素ｋとしてドメイン／手掛かり語データベース１２０から取得する。そして、手掛かり語スコア算出部２１０は、第１の形態素ｗと第２の形態素ｋとの関連度を示すスコアを算出する。なお、以下、かかるスコアを、「手掛かり語スコア」又は「Ａｋスコア」と称する。ただし、以下の説明では、非特許文献１の従来技術との比較を容易なものとすべく、「Ａｋスコア」という呼称を主に使用する。

Ａｋスコアは、第１の形態素ｗと第２の形態素ｋとの関連度を示す値であれば特に限定されず、例えば、相互情報量、Ｄｉｃｅ係数、ｊａｃｃａｒｄ係数に基づく値を採用してもよい。ただし、本実施形態では、コーパスにおいてよく共起する語ほど関連度が高いという前提のもと、Ａｋスコアとして、カイ二乗値に基づく指標値が採用されている。実際に、相互情報量、Ｄｉｃｅ係数、ｊａｃｃａｒｄ係数等に基づく別の値と比較すると、カイ二乗値に基づく指標値の方が最適な関連度を示すことが判明している（非特許文献１参照）。具体的には本実施形態では、次の式（１）にしたがって、第１の形態素ｗと第２の形態素ｋとのＡｋスコアが算出される。

・・・（１）

式（１）において、ｎは、ネットワーク３０上のＷｅｂコンテンツ４０の総数を示している。本実施形態では、ｎとして、日本語のＷｅｂコンテンツ４０の総数の概略である「１０，０００，０００，０００」が採用されている。このように、本実施形態ではコーパスとしてＷｅｂコンテンツ４０が採用されている。ただし、コーパスは、特にこれに限定されず、任意でよい。

また、式（１）に示すａ乃至ｄは、次の式（２）により演算される。

・・・（２）

式（２）において、ｈｉｔｓ（ｑ）は、単語ｑをクエリとしてネットワーク３０上のＷｅｂコンテンツ４０の検索を行った場合のヒット数を示している。ここでは、クエリとなる単語ｑとしては、基本語である第１の形態素ｗと、手掛かり語である第２の形態素ｋとが用いられる。なお、ｈｉｔｓ（ｗ＆ｋ）とは、第１の形態素ｗと第２の形態素ｋとの両者をクエリとして、アンド条件（両クエリとも含まれる条件）により検索を行った場合のヒット数を示している。即ち、ｈｉｔｓ（ｗ＆ｋ）とは、第１の形態素ｗと第２の形態素ｋとの共起数を示していると把握することもできる。

本実施形態では、手掛かり語スコア算出部２１０は、１つの基本語（第１の形態素ｗ）に対して、ｉ番のドメインに関連付けられた１以上の手掛かり語（１以上の第２の形態素ｋ）の各々のＡｋスコアを、以上の式（１）及び式（２）を繰り返し演算することで算出する。

次に、ドメインスコア算出部２２０は、手掛かり語スコア算出部２１０により算出された１以上のＡｋスコアの少なくとも一部に基づいて、基本語とｉ番のドメインとの関連度の正規化値を、ｉ番のドメインについてのドメインスコア（以下、「ｉ番のドメインスコア」と適宜称する）として算出する。

本実施形態では、ドメインスコア算出部２２０は、ｉ番のドメインについての上位Ｍ個（Ｍは、ｉ番のドメインに関連付けられた手掛かり語の総数以下の整数値）のＡｋスコアを正規化し、これらＭ個の正規化値に基づいて、ｉ番のドメインスコアを算出する。なお、以下、かかるｉ番のドメインスコアを、後述する補正後のドメインスコアと明確に区別すべく、「Ａｄｉ_１／２」と記述する。正規化の手法は、特に限定されないが、本実施形態では、Ａｋスコアのファイ係数を用いる手法が採用されている。即ち、本実施形態では、ｉ番のドメインスコアＡｄｉ_１／２は、次の式（３）により算出される。

・・・（３）

式（３）において、ｊは、Ｍ個のＡｋスコアの各々に対して付された番号であって、本実施形態ではその順位にしたがって付された番号を示している。即ち、ｊは、１乃至Ｍのうちの何れかの整数値である。したがって、本実施形態では、Ａｋｉｊは、ｉ番のドメインにおける第１位乃至第Ｍ位のＡｋスコアのうち、第ｊ位のＡｋスコアを示している。また、φ（α）は、αのファイ係数を与える関数を示している。

このように、非特許文献１に開示された従来のｉ番のＡｄスコアは、上位５個のＡｋスコアの単純な総和であったのに対して、本実施形態におけるｉ番のドメインスコアＡｄｉ_１／２は、上位Ｍ個（Ｍは５に特に限定されない整数値）のＡｋスコアのファイ係数の平均値である。即ち、Ａｋスコアのファイ係数とは、０乃至１の範囲内の数値を取ることから、Ａｋスコアの正規化値である。したがって、このようなＭ個のＡｋスコアの正規化値（ファイ係数）の平均値であるｉ番のドメインスコアＡｄｉ_１／２もまた、０乃至１の範囲内の数値を取るため、ドメインスコアの正規化値である。

手掛かり語スコア算出部２１０及びドメインスコア算出部２２０は、ｉ＝１乃至Ｎ番のドメインのそれぞれについて、上述の式（１）乃至式（３）を用いた一連の処理を繰り返し実行することで、Ｎ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の各々を算出する。即ち、１つの基本語につき、Ｎ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２がそれぞれ算出される。

このようにして、ドメインスコア算出部２２０により１つの基本語に対してＮ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２が算出されると、ドメインスコア補正部２３０は、ｉ＝１乃至Ｎ番のドメインの各々に対して、次のような処理を繰り返し実行する。即ち、ドメインスコア補正部２３０は、ｉ番のドメインスコアＡｄｉ_１／２と、Ｎ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の全体との関係に基づいて、ｉ番のドメインスコアＡｄｉ_１／２を補正する。なお、以下、補正後のｉ番のドメインスコアを、「Ａｄｉ_２／２」と記述する。即ち、１つの基本語につき、Ｎ個の補正前のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の各々がドメインスコア補正部２３０により補正され、その結果として、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２の各々が得られる。

ここで、「ｉ番のドメインスコアＡｄｉ_１／２と、Ｎ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の全体との関係に基づいて、ｉ番のドメインスコアＡｄｉ_１／２を補正する」ことは、Ｎ個のドメインの全体を考慮した上で、補正後のｉ番のドメインスコアＡｄｉ_２／２を求めることを意味している。詳細については図６乃至図８を用いて後述するが、未知語ドメイン推定処理において、このような全ドメインを考慮した補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２を用いることで、その推定の精度がより一段と高くなる。そこで、本実施形態では、「ｉ番のドメインスコアＡｄｉ_１／２と、Ｎ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の全体との関係」の一例として、次の式（４）に示す関係が採用されている。即ち、本実施形態では、ドメインスコア補正部２３０は、次の式（４）にしたがって、ｉ番のドメインスコアを、値Ａｄｉ_１／２から値Ａｄｉ_２／２に補正する。

・・・（４）

式（４）において、ｙは、ドメイン／手掛かり語データベース１２０に設定されたＮ個のドメインのＩＤ、即ち、ドメイン番号を示しており、式（４）のシグマの演算を明確にすべく、ｉとは別の変数を採用したものである。即ち、ｙは、１乃至Ｎのうちの何れかの整数値である。また、ｚは、ｙ番のドメインについてのＭ個のＡｋスコアの各々に対して付された番号であって、本実施形態ではその順位にしたがって付された番号である。即ち、本実施形態では、ｚは、１乃至Ｍのうちの何れかの整数値である。したがって、Ａｋｙｚは、ｙ番のドメインにおける第１位乃至第Ｍ位のＡｋスコアのうち、第ｚ位のＡｋスコアを示している。

式（４）の右辺に示すように、補正前のドメインスコアＡｄｉ_１／２に対して乗算される分数の項が、「ｉ番のドメインスコアＡｄｉ_１／２と、Ｎ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の全体との関係」を示す補正項である。即ち、補正項の分子と分母のそれぞれに対して（１／Ｍ）を乗算すると、上述した式（３）より、分母は、１つの基本語についてのＮ個の補正前のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の総和（以下、「補正前ドメインスコア総和」と称する）となる。一方、分子は、当該基本語についての補正前のｉ番のドメインスコアＡｄｉ_１／２となる。このように、式（４）では、補正前ドメインスコア総和に対する、ｉ番のドメインスコアＡｄｉ_１／２の割合が、補正項として採用されている。

ドメインスコア補正部２３０は、ｉ＝１乃至Ｎ番のドメインのそれぞれについて、以上の式（４）を繰り返し演算することで、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２の各々を算出する。即ち、１つの基本語につき、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２がそれぞれ算出され、スコア付形態素辞書１４０の対応する行の「ドメインスコア」に格納される（図３参照）。

以上まとめると、スコア付形態素辞書生成装置１１０の手掛かり語スコア算出部２１０乃至ドメインスコア補正部２３０は、基本語データベース１３０に格納されている１以上の基本語の各々に対して、上述した一連の処理を繰り返し実行する。その結果、当該１以上の基本語毎に、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２がそれぞれ算出され、スコア付形態素辞書１４０の対応する行の「ドメインスコア」の各々に格納される（図３参照）。このようにして、スコア付形態素辞書１４０が生成される。

なお、各基本語（形態素）の「形態素情報」については、スコア付形態素辞書生成装置１１０が生成した情報を格納してもよいし、ネットワーク３０上のＷｅｂコンテンツ４０又は図示せぬ他の装置内に存在する情報等を格納してもよい。

このようにして、スコア付形態素辞書生成装置１１０は、「ドメイン無し」や複数ドメインの判断を含むドメイン付与の判断のための閾値の調整に左右されることなく、かつ、未知語ドメイン推定処理等の精度を向上させるべく、各基本語（形態素）について全てのドメインとの関係を適切に表現し、管理することの出来るスコア付形態素辞書１４０を生成することができる。なお、かかる効果の詳細については、図６乃至図８を適宜参照して後述する。

次に、このような文章処理システム１０のうち、スコア付形態素辞書生成装置１１０が実行する処理（以下、「スコア付形態素辞書生成処理」と称する）について説明する。

図４及び図５は、スコア付形態素辞書生成処理を例示するすフローチャートである。

ステップＳ１において、手掛かり語スコア算出部２１０は、登録対象の基本語を基本語データベース１３０から取得する。

ステップＳ２において、手掛かり語スコア算出部２１０は、ドメイン番号ｉを１に初期設定する（ｉ＝１）。なお、本実施形態では、ドメイン番号ｉとして、上述したように図２の「ドメインＩＤ」に格納されたＩＤが採用されている。

ステップＳ３において、手掛かり語スコア算出部２１０は、ｉ番のドメインに関連付けられた手掛かり語を、ドメイン／手掛かり語データベース１２０から取得する。

ステップＳ４において、手掛かり語スコア算出部２１０は、ステップＳ３の処理で取得した手掛かり語について、ステップＳ１の処理で取得した基本語に対するＡｋスコアを、上述の式（１）及び式（２）にしたがって算出する。

ステップＳ５において、手掛かり語スコア算出部２１０は、ｉ番のドメインに関連付けられた手掛かり語の全てを取得したか否かを判定する。

ｉ番のドメインに関連付けられた手掛かり語のうち、Ａｋスコアが算出されていない手掛かり語が未だ存在する場合、ステップＳ５においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、ｉ番のドメインに関連付けられた１以上の手掛かり語の各々について、ステップＳ３乃至Ｓ５のループ処理が繰り返されて、Ａｋスコアがそれぞれ算出される。

このようにしてｉ番のドメインに関連付けられた手掛かり語の全てが取得されて、各々のＡｋスコアが算出されると、ステップＳ５においてＹＥＳであると判定されて、処理はステップＳ６に進む。

ステップＳ６において、ドメインスコア算出部２２０は、上位Ｍ個のＡｋスコアの各々を、スコアＡｋｉ１乃至ＡｋｉＭとして設定する。

ステップＳ７において、ドメインスコア算出部２２０は、ｉ番のドメインについての、ステップＳ１の処理で取得した基本語に対する補正前のドメインスコアＡｄｉ_１／２を算出する。即ち、ドメインスコア算出部２２０は、ステップＳ６の処理で設定したスコアＡｋｉ１乃至ＡｋｉＭを、上述の式（３）の右辺に代入して演算することで、補正前のｉ番のドメインスコアＡｄｉ_１／２を算出する。

ステップＳ８において、ドメインスコア算出部２２０は、ドメイン番号ｉを１だけインクリメントする（ｉ＝ｉ＋１）。

ステップＳ９において、ドメインスコア算出部２２０は、ドメイン番号ｉは、ドメイン／手掛かり語データベース１２０に設定されたドメインの総数Ｎを越えたか否か（ｉ＞Ｎであるか否か）を判定する。

ドメイン番号ｉがＮ以下の場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、ステップＳ３乃至Ｓ９のループ処理が繰り返されて、補正前のｉ＝１乃至Ｎ番のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２がそれぞれ算出される。

このようにして、Ｎ個の補正前のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２が算出されると、その後のステップＳ８の処理でｉ＝Ｎ＋１に更新されるので、次のステップＳ９においてＹＥＳであると判定されて、処理は図５のステップＳ１０に進む。

ステップＳ１０において、ドメインスコア補正部２３０は、ドメイン番号ｉを１に初期設定する（ｉ＝１）。

ステップＳ１１において、ドメインスコア補正部２３０は、ｉ番のドメインについての、ステップＳ１の処理で取得した基本語に対する補正後のドメインスコアＡｄｉ_２／２を算出する。即ち、ドメインスコア算出部２２０は、上述の式（４）にしたがって、補正後のｉ番のドメインスコアＡｄｉ_２／２を算出する。

ステップＳ１２において、ドメインスコア補正部２３０は、ドメイン番号ｉを１だけインクリメントする（ｉ＝ｉ＋１）。

ステップＳ１３において、ドメインスコア補正部２３０は、ドメイン番号ｉは、ドメイン／手掛かり語データベース１２０に設定されたドメインの総数Ｎを越えたか否か（ｉ＞Ｎであるか否か）を判定する。

ドメイン番号ｉがＮ以下の場合、ステップＳ１３においてＮＯであると判定されて、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１１乃至Ｓ１３のループ処理が繰り返されて、補正後のｉ＝１乃至Ｎ番のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２がそれぞれ算出される。

このようにして、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２が算出されると、その後のステップＳ１２の処理でｉ＝Ｎ＋１に更新されるので、次のステップＳ１３においてＹＥＳであると判定されて、処理はステップＳ１４に進む。

ステップＳ１４において、ドメインスコア補正部２３０は、ステップＳ１の処理で登録対象として取得された基本語を、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２と関連付けて、スコア付形態素辞書１４０に登録する。即ち、図３に示すように、登録対象の基本語（形態素）に付されたＩＤが、所定の行の「形態素ＩＤ」に登録され、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２が、当該行の「ドメインスコア」に登録される。なお、当該行の「形態素情報」については、ステップＳ１４の処理タイミングに登録されてもよいし、別のタイミングで登録されてもよい。

ステップＳ１５において、ドメインスコア補正部２３０は、他の基本語をスコア付形態素辞書１４０に登録するか否かを判定する。

他の基本語をスコア付形態素辞書１４０に登録すると判定された場合、処理は図４のステップＳ１に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１乃至Ｓ１５のループ処理が繰り返されて、基本語データベース１３０に格納されている１以上の基本語の各々が、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２と関連付けられて、スコア付形態素辞書１４０に順次登録されていく。

そして、基本語データベース１３０に格納されている基本語の全てが、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２とそれぞれ関連付けられて、スコア付形態素辞書１４０に登録されると、ステップＳ１５においてＮＯであると判定されて、スコア付形態素辞書生成処理は終了となる。これにより、スコア付形態素辞書１４０が生成されることになる。

次に、このようなスコア付形態素辞書生成処理により生成されたスコア付形態素辞書１４０の効果の一例として、図６乃至図８を参照して、スコア付形態素辞書１４０を用いた未知語ドメイン推定処理が実行される場合の効果について説明する。

なお、以下、説明の簡略上、ドメイン番号ｉの区別が不要な場合、補正前ドメインスコアをまとめて「Ａｄ_１／２」と記述し、補正後のドメインスコアをまとめて「Ａｄ_２／２」と記述する。

図６は、本発明に係る文章処理システムの一実施の形態であって、図１とは異なる形態の機能的構成を示す機能ブロック図である。

図６の文章処理システム１０は、図１の機能的構成と同様に、スコア付形態素辞書生成装置１１０と、ドメイン／手掛かり語データベース１２０と、基本語データベース１３０と、スコア付形態素辞書１４０とを備える。さらに、図６の文章処理システム１０は、未知語ドメイン推定装置１５０を備える。

未知語ドメイン推定装置１５０は、スコア付形態素辞書１４０を用いて未知語ドメイン推定処理を実行すべく、未知語受付部３１０と、対応基本語選択部３２０と、未知語ドメイン分類部３３０とを備えている。

本実施形態では、未知語受付部３１０は、ドメイン推定が必要な未知語を受け付ける。なお、先に「本実施形態では」と明記したように、未知語受付部３１０は、ドメイン推定が必要であれば、基本語を未知語として受け付けることも可能である。即ち、ここでいう「未知語」とは、基本語以外の形態素を指すのではなく、ドメイン／手掛かり語データベース１２０に設定されているＮ個のドメインの何れか又は「ドメイン無し」に分類される対象の形態素を指す。さらに、未知語受付部３１０は、ユーザの操作によりユーザ端末２０に入力された形態素を、未知語として受け付けることも可能である。

対応基本語選択部３２０は、所定のコーパスの中から、未知語受付部３１０が受け付けた未知語と共起性を有する基本語（以下、「対応基本語」と称する）を１語以上選択する。本実施形態では、コーパスとしてはＷｅｂコンテンツ４０が採用されているが、特にこれに限定されず任意のコーパスを採用できる。

具体的には本実施形態では、対応基本語選択部３２０は、未知語受付部３１０により受け付けられた未知語をクエリとして、ネットワーク３０を介して、コーパスとなるＷｅｂコンテンツ４０の検索を実施する。対応基本語選択部３２０は、コーパスとして検索された複数のＷｅｂコンテンツ４０に含まれる文章の中から、基本語データベース１３０に基本語として登録されている形態素を、対応基本語として１以上選択して抽出する。なお、対応基本語の選択手法自体は、１以上の基本語を選択可能な手法であれば、特に限定されない。

未知語ドメイン分類部３３０は、１以上の対応基本語の各々について、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２の組をそれぞれ取得し、これらに基づいて、未知語のドメインを、所定のドメイン（「ドメイン無し」も含む）に分類する。なお、未知語のドメイン分類手法自体は、Ｎ個の補正後のドメインスコアＡｄ１_２／２乃至ＡｄＮ_２／２の少なくとも一部を用いる手法であれば特に限定されない。詳細については図８を用いて後述するが、本実施形態では、１つの未知語が１又は複数のドメイン（「ドメイン無し」含む）に分類される手法が採用されている。

ここで、このような未知語ドメイン推定装置１５０による未知語ドメイン推定処理と、非特許文献１に示す従来技術の未知語ドメイン推定処理との差異について説明する。

上述のごとく、非特許文献１に示す従来技術のドメイン辞書においては、基本語に対してドメイン自体が関連付けられていた。さらに、従来技術の未知語ドメイン推定処理では、基本語とドメインの関連度を直接数値化できているわけではないＩＤＦ値が用いられており、必ずしも良好な推定の精度が得られる訳ではなかった。

これに対して、スコア付形態素辞書１４０においては、基本語に対して、当該基本語とドメインの関連度を示すドメインスコアがＮ個のドメイン毎に関連付けられている。このため、未知語ドメイン推定装置１５０は、スコア付形態素辞書１４０を参照することで、ＩＤＦ値の代わりにドメインスコアを用いた未知語ドメイン推定処理、即ち、基本語とドメインの関連度が考慮された未知語ドメイン推定処理を実行することが可能になる。その結果、未知語ドメイン推定装置１５０による未知語ドメイン推定処理の推定の精度は、ＩＤＦ値を用いる従来技術の場合と比較して高くなる。かかる効果は、補正後のドメインスコアＡｄ_２／２のみならず、非特許文献１に開示されたＡｄスコアや補正前のドメインスコアＡｄ_１／２がスコア付形態素辞書１４０に登録されている場合であっても、奏することが可能である。

即ち、スコア付形態素辞書１４０に登録可能なドメインスコアの種類は、非特許文献１に開示されたＡｄスコア、補正前のドメインスコアＡｄ_１／２、及び、補正後のドメインスコアＡｄ_２／２の他、各種各様の種類が存在する。このような各種各様の種類のうち任意の種類のドメインスコアが登録されているスコア付形態素辞書１４０であれば、未知語ドメイン推定処理等の精度を向上させるべく、各基本語（形態素）について全てのドメインとの関係を適切に表現し、管理することの出来る辞書であるといえる。

しかしながら、『「ドメイン無し」や複数ドメインの判断を含むドメイン付与の判断のための閾値の調整に左右されることなく』という点については、非特許文献１に開示されたＡｄスコアや補正前のドメインスコアＡｄ_１／２がスコア付形態素辞書１４０に登録されている場合には達成することは困難である。即ち、この点について達成すべく、本実施形態では、補正後のドメインスコアＡｄ_２／２がスコア付形態素辞書１４０に登録されているのである。このことについて、図７及び図８を用いて、さらに詳しく説明する。

図７は、基本語、補正前のドメインスコアＡｄ_１／２、及び、補正後のドメインスコアＡｄ_２／２の具体例を示している。

説明の簡略上、基本語データベース１３０には、「さん」、「偉大」、「ブルー」、及び「たましい」という４つの形態素のみが基本語として登録されているものとする。なお、「さん」は、氏名等の後に付けられる敬称の形態素である。「偉大」は、野球チーム名を示す形態素であるとする。「ブルー」は、サッカーチーム名を示す形態素であるとする。「たましい」は、本の題名を示す形態素であるとする。

ドメイン／手掛かり語データベース１２０には、ドメイン「人名」のサブドメインとして、ｉ＝１番の「サッカー選手」、ｉ＝２番の「野球選手」、及び、ｉ＝３番の「作家」の３つのドメインのみが設定されているものとする。図７に図示はしないが、ｉ＝１番の「サッカー選手」については、現役のサッカー選手の登録名のリストが手掛かり語として関連付けられているとする。同様に、ｉ＝２番の「野球選手」については、現役の野球選手の登録名のリストが手掛かり語として関連付けられているとする。ｉ＝３番の「作家」については、現役の作家の氏名や筆名のリストが手掛かり語として関連付けられているとする。なお、図７は、図２や図３とは独立した例である点、即ち、ｉ＝１乃至３番のドメインが異なっている点に注意する。

このような４つの基本語、即ち、「さん」、「偉大」、「ブルー」、及び「たましい」の各々について、上述したスコア付形態素辞書生成処理が実行された結果、補正前のドメインスコアＡｄ_１／２、及び、補正後のドメインスコアＡｄ_２／２が図７に示すように算出されたとする。

ここで、基本語「さん」は敬称であるため、サッカー選手の登録名、野球選手の登録名、及び、作家の氏名や筆名といった「人名」の手掛かり語であれば、何れとも同程度の高確率でコーパス中に共起して登場してくることになる。このため、基本語「さん」に対する、補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２は何れも高い値になる。図７の例では、説明の簡略上、基本語「さん」に対する、補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２は何れも「１」になっている。

一方、基本語「偉大」は野球チーム名であるため、コーパス中に共起して登場してくる確率が一番高い手掛かり語は、野球選手の登録名になる。このため、基本語「偉大」に対する、補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２のうち最高値は、ｉ＝２番の「野球選手」のドメインスコアＡｄ２_１／２となる。図７の例では、ｉ＝２番の「野球選手」のドメインスコアＡｄ２_１／２は「０．６」になっている。

同様に、基本語「ブルー」はサッカーチーム名であるため、コーパス中に共起して登場してくる確率が一番高い手掛かり語は、サッカー選手の登録名になる。このため、基本語「ブルー」に対する、補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２のうち最高値は、ｉ＝１番の「サッカー選手」のドメインスコアＡｄ１_１／２となる。図７の例では、ｉ＝１番の「サッカー選手」のドメインスコアＡｄ１_１／２は「０．５」になっている。

また、基本語「たましい」は本の題名であるため、コーパス中に共起して登場してくる確率が一番高い手掛かり語は、作家の氏名や筆名になる。このため、基本語「たましい」に対する、補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２のうち最高値は、ｉ＝３番の「作家」のドメインスコアＡｄ３_１／２となる。図７の例では、ｉ＝３番の「作家」のドメインスコアＡｄ３_１／２は「０．６」になっている。

本実施形態では、スコア付形態素辞書１４０の「ドメインスコア」には、補正後のドメインスコアＡｄ_２／２が登録される。ただし、補正前のドメインスコアＡｄ_１／２に対する補正後のドメインスコアＡｄ_２／２の優位性を明確に示すべく、先ずここでは、スコア付形態素辞書１４０の「ドメインスコア」には、補正前のドメインスコアＡｄ_１／２が登録されているとして、以下説明する。

図８は、未知語ドメイン推定装置１５０の処理の概要を説明する模式図である。

未知語受付部３１０は、未知語として「○×△」という形態素を受け付けたとする。なお、未知語「○×△」は、著名な作家の氏名であるとする。ただし、未知語ドメイン推定装置１５０は、未知語「○×△」が著名な作家の氏名であることは認識できず、それゆえ、次のようにして、未知語「○×△」のドメインを推定する。

対応基本語選択部３２０は、未知語「○×△」をクエリとして、ネットワーク３０を介して、コーパスとなるＷｅｂコンテンツ４０の検索を実施する。

図８には、コーパスとして、文章Ａと文章Ｂとが検索された場合が図示されている。

はじめに、コーパスとして文章Ａが検索された場合を考える。文章Ａとは、図８に示すように、「偉大なる巨人「○×△」さんの晩年の作品「たましい」がこんなに読みやすく、ある意味明快にテーマを提示していることに、まず驚き、自分の力の無さを実感し、気分がブルーになった。」という文章である。

この場合、対応基本語選択部３２０は、対応基本語として、図８に示すように、「さん」、「偉大」、「ブルー」、及び、「たましい」を選択する。

未知語ドメイン分類部３３０は、これらの対応基本語の各々のドメインスコアに基づいて、未知語「○×△」のドメインを推定する。

この例では、未知語ドメイン分類部３３０は、ｉ＝１乃至３番のドメインのそれぞれについて、選択された１以上の対応基本語の各々のドメインスコアの総和（以下、「ドメインスコア総和」と称する）が閾値を超えるか否かを判定する。そして、未知語ドメイン分類部３３０は、閾値を超えた１以上のドメインを、未知語「○×△」のドメインであると推定する。なお、未知語ドメイン分類部３３０は、閾値を超えるドメインが１つも存在しない場合、未知語「○×△」を「ドメイン無し」に分類する。

具体的には、ここでは、スコア付形態素辞書１４０には、補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２が登録されていると仮定している。

図７によると、ｉ＝１番の「サッカー選手」については、「さん」、「偉大」、「ブルー」、及び、「たましい」の各々の補正前のドメインスコアＡｄ１_１／２は、「１．０」，「０．１」，「０．５」，「０．１」である。したがって、ｉ＝１番の「サッカー選手」についてのドメインスコア総和は、「１．７（＝１．０＋０．１＋０．５＋０．１）」になる。

同様に、図７によると、ｉ＝２番の「野球選手」については、「さん」、「偉大」、「ブルー」、及び、「たましい」の各々の補正前のドメインスコアＡｄ２_１／２は、「１．０」，「０．６」，「０．１」，「０．１」である。したがって、ｉ＝２番の「野球選手」についてのドメインスコア総和は、「１．８（＝１．０＋０．６＋０．１＋０．１）」になる。

また、図７によると、ｉ＝３番の「作家」については、「さん」、「偉大」、「ブルー」、及び、「たましい」の各々の補正前のドメインスコアＡｄ３_１／２は、「１．０」，「０．２」，「０．１」，「０．６」である。したがって、ｉ＝３番の「作家」についてのドメインスコア総和は、「１．９（＝１．０＋０．２＋０．１＋０．６）」になる。

このように、コーパスとして文章Ａが検索された場合には、対応基本語として「さん」が含まれているので、ドメインスコア総和は高い値になる。この場合に、未知語「○×△」をｉ＝３番の「作家」に分類するためには、例えば閾値は「１．８５」等に設定されることになる。

次に、コーパスとして文章Ｂが検索された場合を考える。文章Ｂとは、図８に示すように、「偉大なる巨人「○×△」の晩年の作品「たましい」がこんなに読みやすく、ある意味明快にテーマを提示していることに、まず驚き、自分の力の無さを実感し、気分がブルーになった。」という文章である。

このように、文章Ｂは、文章Ａとほぼ同一であるが、基本語「さん」だけが存在しない点が文章Ａとは異なる。したがって、この場合、対応基本語選択部３２０は、対応基本語として、図８に示すように、「偉大」、「ブルー」、及び、「たましい」を選択する。即ち、「さん」は対応基本語としては選択されない。

この場合、図７によると、ｉ＝１番の「サッカー選手」については、「偉大」、「ブルー」、及び、「たましい」の各々の補正前のドメインスコアＡｄ１_１／２は、「０．１」，「０．５」，「０．１」である。したがって、ｉ＝１番の「サッカー選手」についてのドメインスコア総和は、「０．７（＝０．１＋０．５＋０．１）」になる。

同様に、図７によると、ｉ＝２番の「野球選手」については、「偉大」、「ブルー」、及び、「たましい」の各々の補正前のドメインスコアＡｄ２_１／２は、「０．６」，「０．１」，「０．１」である。したがって、ｉ＝２番の「野球選手」についてのドメインスコア総和は、「０．８（＝０．６＋０．１＋０．１）」になる。

また、図７によると、ｉ＝３番の「作家」については、「偉大」、「ブルー」、及び、「たましい」の各々の補正前のドメインスコアＡｄ３_１／２は、「０．２」，「０．１」，「０．６」である。したがって、ｉ＝３番の「作家」についてのドメインスコア総和は、「０．９（＝１．０＋０．２＋０．１＋０．６）」になる。

このように、コーパスとして文章Ｂが検索された場合には、対応基本語として「さん」が含まれていないので、コーパスとして文章Ａが検索された場合と比較して、ドメインスコア総和は低い値になる。したがって、コーパスとして文章Ｂが検索された場合に、閾値として、上述の「１．８５」等が設定されると、即ち文章Ａにとっては適切となる高い値が設定されると、ｉ＝１乃至３の何れのドメインスコア総和も閾値より遥かに低い値となってしまう。その結果、未知語「○×△」は「ドメイン無し」に分類されることになる。

一方、例えば閾値として「０．８５」等が設定されると、コーパスとして文章Ｂが検索された場合には、未知語「○×△」はｉ＝３番の「作家」に分類されるが、コーパスとして文章Ａが検索された場合には、未知語「○×△」はｉ＝１乃至３番の全ドメインに分類されることになる。

このように、本例では、ドメイン／手掛かり語データベース１２０に設定されているｉ＝１乃至３のドメインは何れも、ドメイン「人名」に対するサブドメインとなっているため、人名と共起しやすい基本語「さん」が対応基本語として選択されると、未知語ドメイン推定処理にとって邪魔なノイズとなる。このため、ノイズを含む文章Ａとノイズを含まない文章Ｂとの何れがコーパスとして検索された場合にも適切となる閾値を設定することは困難となる。その結果、未知語ドメイン推定処理の推定の精度が悪化してしまうことになる。

そこで、未知語ドメイン推定処理においてノイズとなる対応基本語の影響を低減させるべく、本実施形態では、スコア付形態素辞書１４０の「ドメインスコア」には、補正前のドメインスコアＡｄ_１／２ではなく、補正後のドメインスコアＡｄ_２／２が登録されているのである。

即ち、「さん」のように複数のドメインに分類され得る基本語（それゆえノイズとなり得る基本語）については、分類され得る複数のドメインの各々との関連度はある程度高くなるので、Ｎ個のドメインの各々のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２の何れもがある程度高い値になる。したがって、このような基本語については、式（４）の補正項の分母（補正前ドメインスコア総和）が大きくなるので、補正後のドメインスコアＡｄ_２／２は、補正前のドメインスコアＡｄ_１／２よりも遥かに小さい値になる。

例えば、基本語「さん」についての補正前のドメインスコアＡｄ１_１／２乃至Ａｄ３_１／２は、何れも「１」であった。これにより、式（４）の補正項は「１／３｛＝１／（１＋１＋１）｝」となるため、図７に示すように、補正後のドメインスコアＡｄ１_２／２乃至Ａｄ３_２／２は何れも「０．３３｛＝１＊（１／３）｝」となる。

このように、分類され得るドメインの数が多くなる基本語ほど、補正後のドメインスコアＡｄ_２／２は、補正前のドメインスコアＡｄ_１／２よりも小さくなる。

換言すると、特定の１つのドメインに分類され得る基本語については、式（４）の補正項が最大になる（１に近づく）ので、補正後のドメインスコアＡｄ_２／２は、複数のドメインに分類され得る基本語と比較して高い値になる。例えば、基本語「たましい」は、ｉ＝３の「作家」に分類される基本語であるので、補正後のドメインスコアＡｄ３_２／２は「０．４５」と、基本語「さん」のドメインスコアＡｄ３_２／２である「０．３３」よりも高い値になる。

より具体的には、コーパスとして文章Ａが検索された場合には、図７によると、ｉ＝１番の「サッカー選手」については、「さん」、「偉大」、「ブルー」、及び、「たましい」の各々の補正後のドメインスコアＡｄ１_２／２は、「０．３３」，「０．０１１」，「０．３５」，「０．０１２５」である。したがって、ｉ＝１番の「サッカー選手」についてのドメインスコア総和は、「０．７０３５（＝０．３３＋０．０１１＋０．３５＋０．０１２５）」になる。

同様に、図７によると、ｉ＝２番の「野球選手」については、「さん」、「偉大」、「ブルー」、及び、「たましい」の各々の補正後のドメインスコアＡｄ２_２／２は、「０．３３」，「０．４」，「０．０１４」，「０．０１２５」である。したがって、ｉ＝２番の「野球選手」についてのドメインスコア総和は、「０．７５６５（＝０．３３＋０．４＋０．０１４＋０．０１２５）」になる。

また、図７によると、ｉ＝３番の「作家」については、「さん」、「偉大」、「ブルー」、及び、「たましい」の各々の補正後のドメインスコアＡｄ３_２／２は、「０．３３」，「０．０４４」，「０．０１４」，「０．４５」である。したがって、ｉ＝３番の「作家」についてのドメインスコア総和は、「０．８３８（＝０．３３＋０．０４４＋０．０１４＋０．４５）」になる。

これに対して、コーパスとして文章Ｂが検索された場合には、図７によると、ｉ＝１番の「サッカー選手」については、「偉大」、「ブルー」、及び、「たましい」の各々の補正後のドメインスコアＡｄ１_２／２は、「０．０１１」，「０．３５」，「０．０１２５」である。したがって、ｉ＝１番の「サッカー選手」についてのドメインスコア総和は、「０．３７３５（＝０．０１１＋０．３５＋０．０１２５）」になる。

同様に、図７によると、ｉ＝２番の「野球選手」については、「偉大」、「ブルー」、及び、「たましい」の各々の補正後のドメインスコアＡｄ２_２／２は、「０．４」，「０．０１４」，「０．０１２５」である。したがって、ｉ＝２番の「野球選手」についてのドメインスコア総和は、「０．４２６５（＝０．４＋０．０１４＋０．０１２５）」になる。

また、図７によると、ｉ＝３番の「作家」については、「偉大」、「ブルー」、及び、「たましい」の各々の補正後のドメインスコアＡｄ３_２／２は、「０．０４４」，「０．０１４」，「０．４５」である。したがって、ｉ＝３番の「作家」についてのドメインスコア総和は、「０．５０８（＝０．０４４＋０．０１４＋０．４５）」になる。

このように、補正後のドメインスコアＡｄ_２／２では、ノイズとなる基本語「さん」の値が補正前と比較して低くなっている。したがって、補正前のドメインスコアＡｄ_１／２を用いた場合と比較して、補正後のドメインスコアＡｄ_２／２を用いた場合の方が、文章Ａと文章Ｂとの各々のドメインスコア総和の差異が小さくなる。その結果、例えば閾値を「０．５０」等に設定することで、文章Ａと文章Ｂとの何れがコーパスとして検索されても、即ち、ノイズとなる基本語「さん」が対応基本語として選択されていようと否とにかかわらず、少なくとも未知語「○×△」をｉ＝３番の「作家」に分類することが可能になる。

以上まとめると、ノイズとなる形態素（複数ドメインに共通して関連する形態素）については、補正後のドメインスコアＡｄ_２／２は、補正前のドメインスコアＡｄ_１／２と比較して遥かに低い値となる。一方、各ドメインに特有の形態素については、補正後のドメインスコアＡｄ_２／２は、補正前のドメインスコアＡｄ_１／２と比較してほぼ同程度か若干低い値となる。換言すると、補正後のドメインスコアＡｄ_２／２では、ノイズとなる形態素の値は抑制される一方、各ドメインに特有の形態素の値は強調されることになる。したがって、複数ドメインに分類可能な未知語ドメイン推定処理では、補正後のドメインスコアＡｄ_２／２を用いることで、ノイズの影響を低減でき、その結果、推定の精度を向上させることが可能になる。

以上説明したように、補正後のドメインスコアＡｄ_２／２が登録されたスコア付形態素辞書１４０は、「ドメイン無し」や複数ドメインの判断を含むドメイン付与の判断のための閾値の調整に左右されることなく、かつ、未知語ドメイン推定処理等の精度を向上させるべく、各基本語（形態素）について全てのドメインとの関係を適切に表現し、管理することの出来る辞書であるといえる。

なお、このような辞書であるというためには、式（４）に示す補正後のドメインスコアＡｄ_２／２がスコア付形態素辞書１４０に登録されていることは必須ではない。即ち、上述のごとく、補正前のドメインスコアＡｄｉ_１／２とＮ個のドメインスコアＡｄ１_１／２乃至ＡｄＮ_１／２全体との関係に基づいて、当該ドメインスコアＡｄｉ_１／２が補正されたものがスコア付形態素辞書１４０に登録されていれば足りる。

以上、本発明の実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

１０ 文章処理システム
１１０ スコア付形態素辞書生成装置
１２０ ドメイン／手掛かり語データベース
１３０ 基本語データベース
１４０ スコア付形態素辞書
１５０ 未知語ドメイン推定装置
２１０ 手掛かり語スコア算出部
２２０ ドメイン算出部
２３０ ドメインスコア補正部
３１０ 未知語受付部
３２０ 対応基本語選択部
３３０ 未知語ドメイン分類部

Claims (4)

1. 所定の形態素に対して、所定の複数のドメインスコアが関連付けられて登録されるスコア付形態素辞書の生成装置であって、
   所定の形態素を基本語とし、所定のドメインに予め関連付けられている１以上の手掛かり語毎に、前記基本語との関連度を示す手掛かり語スコアをそれぞれ算出する処理を、所定の複数のドメイン毎に実行する手掛かり語スコア算出手段と、
   前記手掛かり語スコア算出手段により算出された１以上の前記手掛かり語スコアの少なくとも一部に基づいて、前記基本語と前記複数のドメインの各々との関連度を、前記複数のドメインスコアの各々として算出するドメインスコア算出手段と、
   前記複数のドメインを１つずつ処理対象とし、前記ドメインスコア算出手段により算出された前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係に基づいて、前記処理対象の前記ドメインスコアを補正し、補正後の前記複数のドメインスコアを前記基本語と関連付けて前記スコア付形態素辞書に登録するドメインスコア補正手段と
   を備え、
   前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係は、前記複数のドメインスコアの総和に対する、前記処理対象のドメインスコアの割合により示される
   スコア付形態素辞書の生成装置。
2. 前記手掛かり語スコアは、カイ二乗値に基づく指標値であり、
   前記ドメインスコア算出手段は、上位Ｍ個（Ｍは、ドメインに関連付けられている手掛かり語の総数以下の整数値）の前記手掛かり語スコアの各々のファイ係数の平均を、前記ドメインスコアとして算出する
   請求項１に記載のスコア付形態素辞書の生成装置。
3. 手掛かり語スコア算出手段と、ドメインスコア算出手段と、ドメインスコア補正手段を具備するスコア付形態素辞書の生成装置が行う、所定の形態素に対して、所定の複数のドメインスコアが関連付けられて登録されるスコア付形態素辞書の生成方法であって、
   前記手掛かり語スコア算出手段が、所定の形態素を基本語とし、所定のドメインに予め関連付けられている１以上の手掛かり語毎に、前記基本語との関連度を示す手掛かり語スコアをそれぞれ算出する処理を、所定の複数のドメイン毎に実行する手掛かり語スコア算出ステップと、
   前記ドメインスコア算出手段が、前記手掛かり語スコア算出ステップの処理により算出された１以上の前記手掛かり語スコアの少なくとも一部に基づいて、前記基本語と前記複数のドメインの各々との関連度を、前記複数のドメインスコアの各々として算出するドメインスコア算出ステップと、
   前記ドメインスコア補正手段が、前記複数のドメインを１つずつ処理対象とし、前記ドメインスコア算出ステップの処理により算出された前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係に基づいて、前記処理対象の前記ドメインスコアを補正し、補正後の前記複数のドメインスコアを前記基本語と関連付けて前記スコア付形態素辞書に登録するドメインスコア補正ステップと
   を含み、
   前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係は、前記複数のドメインスコアの総和に対する、前記処理対象のドメインスコアの割合により示される
   スコア付形態素辞書の生成方法。
4. 所定の形態素に対して、所定の複数のドメインスコアが関連付けられて登録されるスコア付形態素辞書の生成処理を制御するコンピュータに、
   所定の形態素を基本語とし、所定のドメインに予め関連付けられている１以上の手掛かり語毎に、前記基本語との関連度を示す手掛かり語スコアをそれぞれ算出する処理を、所定の複数のドメイン毎に実行する手掛かり語スコア算出ステップと、
   前記手掛かり語スコア算出ステップの処理により算出された１以上の前記手掛かり語スコアの少なくとも一部に基づいて、前記基本語と前記複数のドメインの各々との関連度を、前記複数のドメインスコアの各々として算出するドメインスコア算出ステップと、
   前記複数のドメインを１つずつ処理対象とし、前記ドメインスコア算出ステップの処理により算出された前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係に基づいて、前記処理対象の前記ドメインスコアを補正し、補正後の前記複数のドメインスコアを前記基本語と関連付けて前記スコア付形態素辞書に登録するドメインスコア補正ステップと
   を含み、
   前記処理対象のドメインスコアと前記複数のドメインスコア全体との関係は、前記複数のドメインスコアの総和に対する、前記処理対象のドメインスコアの割合により示される
   制御処理を実行させるプログラム。

Images