JP6201702B2 - 意味情報分類プログラム及び情報処理装置 - Google Patents

Description

本発明は、意味情報分類プログラム及び情報処理装置に関する。

従来の技術として、単語と単語の特定の文脈における共起頻度に基づいて単語の意味を分類する情報処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された情報処理装置は、単語と単語の特定の文脈における共起頻度に基づいてベクトルを作成して、クラスタリングを実施し、２つのクラスタを統合する前後でＭＤＬ（Ｍｉｎｉｍｕｍ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌｅｎｇｔｈ）基準における全体の記述長が減少する場合に当該２つのクラスタを統合する。つまり、同じクラスタに分類された単語は同一の意味を有する単語であるとして分類される。これは単語の共起語が類似する場合は単語の意味が類似するという前提に基づくものである。

特開平１１−１４３８７５号公報

本発明の目的は、トークン（形態素又は文字列）の共起語が類似するが、用法によっては意味が類似しないトークンの意味を表す意味情報を分類する意味情報分類プログラム及び情報処理装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の意味情報分類プログラム及び情報処理装置を提供する。

［１］コンピュータを、
複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、置換前のトークンのラベルが所属する意味クラスタに所属しない場合に、前記他のラベルを削除して更新するクラスタ更新手段として機能させるための意味情報分類ブログラム。

［２］コンピュータを、
複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、前記他のラベルの所属する意味クラスタのそれぞれから当該他のラベルを除くラベルを無作為に取得し、前記複数の文に含まれる一の文において、取得したラベルの元となるトークンで前記一のラベルの元となるトークンを置換し、置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、前記置換前のトークンの推定ラベルと一致する割合が予め定めた値以上である場合、異なる意味クラスタに属する前記他のラベルを前記意味クラスタに追加して更新するクラスタ更新手段として機能させるための意味情報分類ブログラム。

［３］複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、置換前のトークンのラベルが所属する意味クラスタに所属しない場合に、前記他のラベルを削除して更新するクラスタ更新手段とを有する情報処理装置。

［４］複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、前記他のラベルの所属する意味クラスタのそれぞれから当該他のラベルを除くラベルを無作為に取得し、前記複数の文に含まれる一の文において、取得したラベルの元となるトークンで前記一のラベルの元となるトークンを置換し、置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、前記置換前のトークンの推定ラベルと一致する割合が予め定めた値以上である場合、異なる意味クラスタに属する前記他のラベルを前記意味クラスタに追加して更新するクラスタ更新手段とを有する情報処理装置。

請求項１又は３に係る発明によれば、他のラベルの元となるトークンで一のラベルの元となるトークンを置換した場合に意味が類似しない場合、他のラベルを削除することができる。

請求項２又４に係る発明によれば、他のラベルの元となるトークンで一のラベルの元となるトークンを置換した場合に意味が類似する場合、他のラベルを追加することができる。

図１は、情報処理装置の構成の一例を示すブロック図である。 図２（ａ）及び（ｂ）は、形態素解析手段の動作例を説明するための図である。 図３は、ラベル推定手段の動作例を説明するための図である。 図４Ａは、ラベル推定手段の他の動作例を説明するための図である。 図４Ｂは、ラベル推定手段の動作の変形例を説明するための図である。 図５Ａは、意味情報生成手段の動作例を説明するための図である。 図５Ｂは、意味情報生成手段の動作の変形例を説明するための図である。 図６（ａ）及び（ｂ）は、意味クラスタ生成手段の動作例を説明するための図である。 図７は、意味クラスタの具体例を示す図である。 図８は、意味クラスタ更新手段の動作例を説明するための図である。 図９（ａ）及び（ｂ）は、意味クラスタ更新動作を説明するための図である。 図１０（ａ）及び（ｂ）は、意味クラスタ更新動作を説明するための図である。 図１１（ａ）及び（ｂ）は意味クラスタ更新動作を説明するための図である。 図１２（ａ）及び（ｂ）は、ラベル削除動作の一例を説明するための図である。 図１３（ａ）−（ｃ）は、ラベル削除動作の一例を説明するための図である。 図１４（ａ）−（ｃ）は、ラベル削除動作の他の例を説明するための図である。 図１５（ａ）−（ｃ）は、ラベル削除動作の他の例を説明するための図である。 図１６は、ラベル削除動作の試行結果を示す概略図である。 図１７（ａ）及び（ｂ）は、ラベル追加動作の一例を説明するための図である。 図１８（ａ）−（ｃ）は、ラベル追加動作の一例を説明するための図である。 図１９（ａ）及び（ｂ）は、ラベル追加動作の一例を説明するための図である。 図２０は、ラベル追加動作の他の例を説明するための図である。 図２１は、情報処理装置の動作の概要を説明するためのフローチャートである。 図２２は、意味クラスタ更新手段の動作例を示すフローチャートである。

［実施の形態］
（情報処理装置の構成）
図１は、情報処理装置１の構成の一例を示すブロック図である。

この情報処理装置１は、複数の文を有する大規模データから抽出される形態素又は文字列（以下、「トークン」という。）について、当該トークンの共起語（関連語）に基づいてトークンの意味を表す意味情報を生成し、当該意味情報の共起語に基づいて意味が類似する意味情報を同一クラスタに分類し、さらに用法によっては意味が異なり互いに置換できないトークンの意味情報をクラスタから削除し、他のクラスタに所属していても互いに置換できるトークンの意味情報をクラスタに追加して分類するものである。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、外部のデータベース等と図示しないネットワークを介して接続される通信部１２とを備える。

制御部１０は、後述する意味情報分類プログラム１１０を実行することで、形態素解析手段１００、ラベル推定手段１０１、意味情報生成手段１０２、意味クラスタ生成手段１０３及び意味クラスタ更新手段１０４等として機能する。

形態素解析手段１００は、大規模データ１１１に含まれるデータを、例えば、文を単位としてそれぞれ形態素解析して、文をトークンの組み合わせに置き換える。

ラベル推定手段１０１は、それぞれの文に含まれるトークンに基づいてそれぞれの文にラベルを付与し、各ラベルを多値分類する。

意味情報生成手段１０２は、ラベル推定手段１０１の多値分類の結果に基づいて各ラベルに対して共起するスコアの高いトークンを関連語とし、ラベルと関連語の組み合わせである意味情報データ１１２を生成する。

意味クラスタ生成手段１０３は、意味情報データ１１２に基づいて関連語が類似するラベル同士を、意味の類似するラベルの集合としてクラスタリングして意味クラスタ１１３を生成する。

意味クラスタ更新手段１０４は、同じクラスタに属するラベルであっても、用法によって置換できないラベルを削除するとともに、異なるクラスタに属するが用法によって置換できるラベルを追加して意味クラスタ１１３を更新する。

記憶部１１は、意味情報分類プログラム１１０、大規模データ１１１、意味情報データ１１２及び意味クラスタ１１３等を格納する。

意味情報分類プログラム１１０は、制御部１０で実行することにより制御部１０を上記した各手段１００〜１０４として機能させるプログラムである。

大規模データ１１１は、一例として、日本語であって文又は文書の集合である。文は、電子メールでやりとりされるテキスト情報や、複数の利用者によって文字情報が投稿されるマイクロブログ（Ｍｉｃｒｏｂｌｏｇ）、音声をテキスト化した情報や、印刷された紙面を光学走査して得られる情報等である。なお、大規模データ１１１は、日本語に限らず他の言語を用いてもよい。なお、大規模データ１１１は、外部から取得する構成であってもよい。

なお、情報処理装置１は、例えば、サーバ装置やパーソナルコンピュータであり、携帯電話等や携帯情報処理端末を用いることができる。

（情報処理装置の動作）
次に、本実施の形態の作用を、（１）動作の概要、（２）意味クラスタ更新動作に分けて説明する。

（１）動作の概要
図２１は、情報処理装置１の動作の概要を説明するためのフローチャートである。図２（ａ）及び（ｂ）は、形態素解析手段１００の動作例を説明するための図である。

まず、形態素解析手段１００は、大規模データ１１１から文を順次取得する（Ｓ１）。図２（ａ）に示すように、「プログラムを走らせる」という文１１１ａを取得した場合について説明する。

次に、取得した文１１１ａをそれぞれ形態素解析して文をトークンの組み合わせに置き換える（Ｓ２）。図２（ｂ）に示すように、「プログラム」というトークン１００ａ_１、「を」というトークン１００ａ_２、「走る」というトークン１００ａ_３、「せる」というトークン１００ａ_４の組み合わせ１００ａに置き換える。

図３は、ラベル推定手段１０１の動作例を説明するための図である。

次に、ラベル推定手段１０１は、それぞれの文に含まれるトークンに基づいてそれぞれのトークンの組み合わせにラベルを付与する（Ｓ３）。図３に示す例では、組み合わせ１００ａに含まれるトークン１００ａ_１に基づいてラベル１０１ａ_１１、１０１ａ_１２…が付与され、トークン１００ａ_２に基づいてラベル１０１ａ_２１が付与され、トークン１００ａ_３に基づいてラベル１０１ａ_３１、１０１ａ_３２…が付与され、トークン１００ａ_４に基づいてラベル１０１ａ_４１が付与される。ここで、特定の品詞（動詞、名詞、形容詞、副詞等）にはラベルを５つ付け、それ以外（助詞、助動詞等）にはラベルを１つ付けている。なお、以下においてラベル１０１ａ_１１、１０１ａ_１２…、ラベル１０１ａ_２１、ラベル１０１ａ_３１、１０１ａ_３２…等を「ラベル１０１ａ」と総称する場合もある。

なお、ラベル推定手段１０１は、特定の品詞（動詞、名詞、形容詞、副詞等）にのみラベル１０１ａを付与して、その他には付与しないようにしてもよい。

図４Ａは、ラベル推定手段１０１の多値分類の動作例を説明するための図である。

次に、ラベル推定手段１０１は、各ラベル１０１ａを多値分類する（Ｓ４）。その結果として、図４Ａに示すように各ラベル１０１ａのそれぞれが文１００ａ、１００ｂ…に関連付けられる。つまり、例えば「走る−１」というラベル１０１ａ_３１であれば、同様の意味で用いられていると考えられる文１００ａ及び１００ｂに関連付けられる。言い換えれば、ラベルはトークンが複数の意味を持つ場合に、その意味の１つの側面を示すものである。

なお、多値分類のモデルとして、ＰＬＳＩ（Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ｉｎｄｅｘｉｎｇ）、ＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）、ＬＬＤＡ（Ｌａｂｅｌｅｄ Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）、ＰＬＤＡ（Ｐａｒｔｉａｌｌｙ Ｌａｂｅｌｅｄ Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）等を用いることができ、以降ではＬＬＤＡを採用した場合について説明する。また、クラスタリング手法や機械学習手法を用いてもよい。

図４Ｂは、ラベル推定手段１０１の多値分類の動作の変形例を説明するための図である。

ラベル推定手段１０１は、ラベル１０１ａの多値分類の変形例として、すべての文に関連付けられる「ＢＧ−１」というラベル１０１ａ_ＢＧを設定してもよい。これにより、後述する意味情報生成手段１０２の動作の変形例において、すべての文において用いられる助詞、助動詞、代名詞等のノイズとなりうるトークンをラベル１０１ａの関連語から排除できる（図５Ｂ参照）。

図５Ａは、意味情報生成手段１０２の動作例を説明するための図である。

次に、意味情報生成手段１０２は、ラベル推定手段１０１の多値分類の結果に基づいて各ラベル１０１ａに共起するスコアの高いトークンを関連語とし、ラベル１０１ａと関連語の組み合わせである意味情報データ１１２を生成する（Ｓ５）。図５Ａに示す意味情報データ１０２ａ_３は、意味情報データ１１２のうちラベル１０１ａ_３１〜１０１ａ_３５についての意味情報データである。例えば、「走る」というトークンが、「走る−１」というラベル１０１ａ_３１の意味で用いられる場合、当該ラベル１０１ａ_３１が関連づけられている文において出現するトークンを関連語の集合１０１ｂ_３１とし、各関連語の出現頻度に基づいて「［］」で示されるスコアが算出される。

なお、「走る」というトークンのラベル１０１ａ_３１〜１０１ａ_３５において「走る」というトークンがスコア最上位で含まれるのは当然の結果であるため、関連語の集合１０１ｂ_３１〜１０１ｂ_３５から削除してもよい。

図５Ｂは、意味情報生成手段１０２の動作の変形例を説明するための図である。

なお、意味情報生成手段１０２は、意味情報データ１１２の生成の変形例として、図４Ｂで説明したラベル１０１ａ_ＢＧを用いることで、助詞、助動詞、代名詞等のすべての文で頻繁に用いられるトークン（例えば、「に」、「が」、「を」等）がスコア上位に現れるが、これらはノイズであるため、他のラベル１０１ａ_３１〜１０１ａ_３５の関連語から削除してもよい。

図６（ａ）及び（ｂ）は、意味クラスタ生成手段１０３の動作例を説明するための図である。

次に、意味クラスタ生成手段１０３は、同義語や上位・下位語、反意語等の意味的に似ているトークンは同じような文脈で用いられることが多いため、意味情報データ１１２に基づいて関連語が類似するラベル１０１ａ同士を、意味の類似するラベルの集合としてクラスタリングして意味クラスタ１１３を生成する（Ｓ６）。クラスタリング手法は、関連語をベクトルに見立てることで行うことができるが、ユークリッド距離等と閾値とを用いて行ってもよいし、ｋ−ｍｅａｎｓやウォード法を用いてもよい。

例えば、図６（ａ）に示すように、「プログラム−１」というラベル１０１ａ_１１、「カリキュラム−２」というラベル１０１ａ_６２、…は、関連語１０１ｂ_１１、１０１ｂ_６２、…が類似するため、「プログラム−ｉ」という意味クラスタ１０３ａ_１が生成される。なお、意味クラスタ１０３ａ_１の関連語１０３ｂ_１は、関連語１０１ｂ_１１と１０１ｂ_６２のスコアを単純に加算したもの又は加算平均をとったものの上位を選択してもよいし、ウォード法を用いてクラスタの距離に基づいて選択してもよい。

また、図６（ｂ）に示すように、「プログラム−３」というラベル１０１ａ_１３、「スクリプト−４」というラベル１０１ａ_７４、「アップデート−１」というラベル１０１ａ_８１、…は、関連語１０１ｂ_１３、１０１ｂ_７４、１０１ｂ_８１…が類似するため、「プログラム−ｉｉｉ」という意味クラスタ１０３ａ_３が生成される。なお、以下において意味クラスタ１０３ａ_１、１０３ａ_２…等を「意味クラスタ１０３ａ」と総称する場合もある。

なお、上記したようにラベルの集合全体でクラスタリングする前に、同じトークンのラベルでクラスタリングしてもよい。例えば、「プログラム」というトークン１００ａ_１のラベル１０１ａ_１１〜１０１ａ_１５である「プログラム−１」〜「プログラム−５」でクラスタリングしてもよい。これは過剰に分割された同じトークンのラベル１０１ａを統合することを目的とするものである。

図７は、意味クラスタ１１３の具体例を示す図である。

上記した意味クラスタ生成手段１０３の動作により、意味クラスタ１０３ａと、ラベル１０１ａとを関連付けた意味クラスタ１１３ａが生成される。

図８は、意味クラスタ更新手段１０４の動作例を説明するための図である。

次に、意味クラスタ更新手段１０４は、同じクラスタに属するラベルであっても、用法によって意味が異なり置換できないラベルを削除し、異なるクラスタに属するが意味が同じで用法によって置換できるラベルを正しいクラスタに追加して意味クラスタ１１３を更新する（Ｓ７）。

例えば、図８に示す例では、関連語１０１ｂ_１３、１０１ｂ_７４、１０１ｂ_８１、１０１ｂ_１０４は類似するものの、ラベル１０１ａ_１３の「プログラム−３」やラベル１０１ａ_７４の「スクリプト−４」はコンピュータに様々な命令を与えるという意味を持つものであるのに対し、ラベル１０１ａ_８１の「アップデート−１」はコンピュータに特定の命令のみを与えるという意味を持つものであって意味が異なる。

また、ラベル１０１ａ_１０４の「コンピュータ−４」は「コンピュータプログラム」という複合語で用いられる場合はラベル１０１ａ_１３の「プログラム−３」やラベル１０１ａ_７４の「スクリプト−４」と意味的に類似するが、「コンピュータを実行する」という用いられ方はしないため、用法として置換できないものである。意味クラスタ更新手段１０４は、ラベル１０１ａ_８１の「アップデート−１」やラベル１０１ａ_１０４の「コンピュータ−４」のようなラベル１０１ａを意味クラスタ１０３ａ_３から削除して更新する。なお、削除したラベル１０１ａ_８１及びラベル１０１ａ_１０４は他の意味クラスタ１０３ａに追加してもよい。

以下に、意味クラスタ１１３を更新する動作について詳細に説明する。

（２）意味クラスタ更新動作
（２−１）更新判定動作
意味クラスタ更新動作では、後述する「（２−２）ラベル削除動作」又は「（２−３）ラベル追加動作」を実行するが、意味クラスタ更新手段１０４はいずれを実行するべきか、まず判定する。

図２２は、意味クラスタ更新手段１０４の動作例を示すフローチャートである。

まず、意味クラスタ更新手段１０４は、大規模データ１１１から文を取得し（Ｓ１０）、それぞれの文を形態素解析手段１００によって形態素解析して、当該文に含まれるトークンのラベルをラベル推定手段１０１によって推定する（Ｓ１１）。なお、大規模データ１１１から複数の文を取得するものとし、大規模データ１１１のすべての文を取得してもよいし、一部を取得するものであってもよい。

以降、意味クラスタ更新動作において推定されるラベルを特に「推定ラベル」と呼ぶ。また、「（１）動作の概要」において作成された意味情報データ１１２のラベルはトークンの意味の１つの側面を表すものであり、以降においても単純に「ラベル」と呼ぶ。

図９（ａ）及び（ｂ）は、意味クラスタ更新動作を説明するための図である。

図９（ａ）に示すように、取得した複数の文に含まれる一の文として、例えば、文１００ｃを取得した場合、当該文には「プログラム」、「を」、「走る」、「せる」が含まれ、「プログラム」というトークン１００ｃ_１に着目すると、文１００ｃに含まれる他のトークンとの関係から当該トークン１００ｃ_１には「プログラム−３」という推定ラベル１０１ａ_１１、「コンピュータ−４」という推定ラベル１０１ａ_１０４、…が推定される。

意味クラスタ更新手段１０４は、図９（ａ）に示す推定ラベルのうち確信度が高い推定ラベル１０１ａ_１１の所属する意味クラスタ１０３ａ_３である「プログラム−ｉｉｉ」と、トークン１００ｃ_１のラベル１０１ａ_１１〜１０１ａ_１５つまり「プログラム−１」〜「プログラム−５」のいずれかが所属する意味クラスタとが一致するか判定する（Ｓ１２）。

なお、確信度が高い推定ラベルとは、確信度が最も高いものであってもよいし、予め定めた閾値（例えば、０．３０）を超えるものであってもよい。また、例えば、確信度が閾値を超えないものであっても、上位複数の推定ラベルの確信度を加算して閾値を超える場合は、上位複数の推定ラベルが同じ意味クラスタに所属するラベルであればこれらをマージして意味クラスタに置き換えて用いてもよい。

図９（ｂ）に示すように、ラベル１０１ａ_１３の所属する意味クラスタは「プログラム−ｉｉｉ」の意味クラスタ１０３ａ_３であり、一致する（Ｓ１２；Ｙｅｓ）。この場合、「（２−２）ラベル削除動作」（ステップＳ１３−Ｓ１５）へと進む。

これは、トークンの共起語が共通であるために同じクラスタに所属するものの集合であることを示しており、共起語が共通であっても他の用法では互いに置換可能ではない場合があり、そのよう場合に後述する（２−２）ラベル削除動作」において当該ラベルを削除するためである。

なお、「プログラムを走らせる」という文１００ｃにおいて「プログラム」というトークン１００ｃ_１について考えたとき、共起するトークンの意味の変化を考慮してもよい。例えば、「プログラム」というトークン１００ｃ_１を「スクリプト」、「アップデート」、「コンピュータ」に置換した場合に「走る」というトークンの推定ラベルに変化がある場合は意味が異なるとして置換したトークンのラベルを意味クラスタから削除してもよい。これは、「プログラム」、「スクリプト」、「アップデート」について「走る」は「実行する」という意味であるが、「コンピュータ」について「走る」は「実行する」という意味以外の意味となることを利用している。

図１０（ａ）及び（ｂ）は、意味クラスタ更新動作を説明するための図である。

また同様に、図１０（ａ）に示すように、取得した複数の文に含まれる一の文として、例えば、文１００ｄを取得した場合、当該文には「スクリプト」、「を」、「走る」、「せる」が含まれ、「スクリプト」というトークン１００ｄ_１に着目すると、当該トークン１００ｄ_１には「プログラム−３」という推定ラベル１０１ａ_１１、「スクリプト−４」という推定ラベル１０１ａ_７４、…が推定される。

意味クラスタ更新手段１０４は、図１０（ａ）に示す推定ラベルのうち確信度が高い推定ラベル１０１ａ_１１の所属する意味クラスタ１０３ａ_３である「プログラム−ｉｉｉ」と、トークン１００ｄ_１のラベル１０１ａ_７１〜１０１ａ_７５つまり「スクリプト−１」〜「スクリプト−５」のいずれかが所属する意味クラスタとが一致するか判定する（Ｓ１２）。

図１０（ｂ）に示すように、ラベル１０１ａ_７４の所属する意味クラスタは「プログラム−ｉｉｉ」の意味クラスタ１０３ａ_３であり、一致する（Ｓ１２；Ｙｅｓ）。この場合、「（２−２）ラベル削除動作」（ステップＳ１３−Ｓ１５）へと進む。

図１１（ａ）及び（ｂ）は意味クラスタ更新動作を説明するための図である。

一方、図１１（ａ）に示すように、取得した複数の文に含まれる一の文として、例えば、文１００ｅを取得した場合、当該文には「Ｊａｖａ」（登録商標）、「を」、「書く」が含まれ、「Ｊａｖａ」というトークン１００ｅ_１に着目すると、当該トークン１００ｅ_１には「プログラム−３」という推定ラベル１０１ａ_１１、「Ｊａｖａ−１」という推定ラベル１０１ａ_１１１、…が推定される。

意味クラスタ更新手段１０４は、図１１（ａ）に示す推定ラベルのうち確信度が高い推定ラベル１０１ａ_１１の所属する意味クラスタ１０３ａ_３である「プログラム−ｉｉｉ」と、トークン１００ｅ_１のラベル１０１ａ_１１１〜１０１ａ_１１５つまり「Ｊａｖａ−１」〜「Ｊａｖａ−５」のいずれかが所属する意味クラスタとが一致するか判定する（Ｓ１２）。

図１１（ｂ）に示すように、「プログラム−ｉｉｉ」の意味クラスタ１０３ａ_３にはラベル１０１ａ_１１１は含まれておらず、一致しない（Ｓ１２；Ｎｏ）。この場合、「（２−３）ラベル追加動作」（ステップＳ１６−Ｓ１９）へと進む。

これは、「Ｊａｖａ」というトークンが自己の「Ｊａｖａ−１」〜「Ｊａｖａ−５」というラベルの意味ではなく「プログラム−３」というラベルの意味において使用されることが多い可能性があることを示しており、仮にそうであれば「プログラム−３」というラベルを「Ｊａｖａ」というトークンから派生するクラスタに追加するべきであるからである。

なお、「プログラムを走らせる」という文１００ｃにおいて「プログラム」というトークン１００ｃ_１について考えたとき、共起するトークンの意味の変化を考慮してもよい。例えば、「プログラム」というトークン１００ｃ_１を「Ｊａｖａ」に置換した場合に「走る」というトークンの推定ラベルに変化がない場合は意味が同一又は類似するとして置換したトークンのラベルを意味クラスタに追加してもよい。

（２−２）ラベル削除動作
以下、図９（ａ）に示した文１００ｃを取得した例について説明する。

図１２（ａ）及び（ｂ）は、ラベル削除動作の一例を説明するための図である。

意味クラスタ更新手段１０４は、図１２（ａ）に示すように、取得した複数の文に含まれる一の文としての文１００ｃにおいて、「プログラム」のトークン１０１ｃ_１が所属する意味クラスタ１０３ａ_３のラベル１０１ａ_１３、１０１ａ_７４、１０１ａ_８１、１０１ａ_１０４（図１２（ｂ））の元のトークン１００ｃ_１、１００ｄ_１、１００ｆ_１、１００ｇ_１で文１００ｃのトークン１０１ｃ_１を置き換える（Ｓ１３）。

図１３（ａ）−（ｃ）は、ラベル削除動作の一例を説明するための図である。

図１３（ａ）は、意味クラスタ１０３ａ_３のラベル１０１ａ_１３「プログラム−３」のトークン１０１ｃ_１を用いて置換した場合であり、当該置換した文１００ｃ’についてトークン１０１ｃ_１のラベル推定を行った結果、図１３（ｂ）に示すように、確信度の高い推定ラベルは「プログラム−３」のラベル１０１ａ_１３であって、意味クラスタ１０３ａ_３に所属するものである（Ｓ１４；Ｙｅｓ）。この場合、図１３（ｃ）に示すように、１回目の試行であるため試行回数を「１」に、所属したため所属回数を「１」とする。所属率は試行回数に対する所属回数の割合である。

図１４（ａ）−（ｃ）は、ラベル削除動作の他の例を説明するための図である。

図１４（ａ）は、意味クラスタ１０３ａ_３のラベル１０１ａ_７４「スクリプト−４」のトークン１０１ｄ_１を用いて置換した場合であり、当該置換した文１００ｃ”についてトークン１０１ｄ_１のラベル推定を行った結果、図１４（ｂ）に示すように、確信度の高い推定ラベルは「スクリプト−４」のラベル１０１ａ_７４であって、意味クラスタ１０３ａ_３に所属するものである（Ｓ１４；Ｙｅｓ）。この場合、図１４（ｃ）に示すように、所属したため所属回数を「１」とする。

図１５（ａ）−（ｃ）は、ラベル削除動作の他の例を説明するための図である。

図１５（ａ）は、意味クラスタ１０３ａ_３のラベル１０１ａ_１０４「コンピュータ−４」のトークン１０１ｇ_１を用いて置換した場合であり、当該置換した文１００ｃ’”についてトークン１０１ｇ_１のラベル推定を行った結果、図１５（ｂ）に示すように、確信度の高い推定ラベルは「コンピュータ−２」のラベル１０１ａ_１０２であって、意味クラスタ１０３ａ_２に所属するものであって、意味クラスタ１０３ａ_３に所属するものではない（Ｓ１４；Ｎｏ）。この場合、図１５（ｃ）に示すように、所属しないため所属回数を「０」とする。

以上に説明した動作を取得した複数の文に含まれる他の文においても試行し、以下に示す情報が得られる。

図１６は、ラベル削除動作の試行結果を示す概略図である。

図１６に示すように、上記動作を複数回試行することで各ラベル１０１ａ_１３、１０１ａ_７４、１０１ａ_８１、１０１ａ_１０４の意味クラスタ１０３ａ_３に対する所属度が算出され、所属度が予め定めた閾値（例えば、０．８）以上である場合に意味クラスタ１０３ａ_３に所属するものとし（Ｓ１４；Ｙｅｓ）、閾値より小さい場合に所属しないものとする（Ｓ１４；Ｎｏ）。

次に、意味クラスタ更新手段１０４は、所属しないと判断されたラベル１０１ａ_８１、１０１ａ_１０４を意味クラスタ１０３ａ_３から削除する（Ｓ１５）。

（２−３）ラベル追加動作
以下、図１１（ａ）に示した文１００ｅを取得した例について説明する。

図１７（ａ）及び（ｂ）は、ラベル追加動作の一例を説明するための図である。

まず、意味クラスタ更新手段１０４は、図１７（ａ）に示すように、トークン１００ｅ_１のラベル１０１ａ_１１１−１０１ａ_１１５について、図１７（ｂ）に示すラベル１０１ａ_１１１−１０１ａ_１１５が所属する意味クラスタ１０３ｅ_１、１０３ｈ_２、１０３ｅ_３、１０３ｅ_４のそれぞれからラベル１０１ａ_１１１−１０１ａ_１１５を除く１以上のラベルを無造作に取得する（Ｓ１６）。ただし、取得するラベルは互いに異なるトークンのラベルとする。つまり、例えば意味クラスタ１０３ｈ_２（「ＨＴＭＬ−ｉｉ」）のラベル１０１ａ_１５１と１０１ａ_１５３（「Ｊａｖａｓｃｒｉｐｔ−１」と「Ｊａｖａｓｃｒｉｐｔ−３」）を同時に取得しないようにする。

図１８（ａ）−（ｃ）は、ラベル追加動作の一例を説明するための図である。

次に、意味クラスタ更新手段１０４は、上記ステップＳ１６において意味クラスタ１０３ｅ_１からラベル１０１ａ_１２１と１０１ａ_１４２を取得した場合と、意味クラスタ１０３ｈ_２からラベル１０１ａ_１６２と１０１ａ_１５３を取得した場合のそれぞれについて、図１８（ａ）に示す取得した複数の文に含まれる一の文として、文１００ｅのトークン１００ｅ_１を、取得したラベル１０１ａ_１２１と１０１ａ_１４２及びラベル１０１ａ_１６２と１０１ａ_１５３の元のトークン１００ｉ_１と１００ｊ_１及びトークン１００ｋ_１と１００ｌ_１で置換して（Ｓ１７）、図１８（ｂ）及び（ｃ）のようにする。つまり、「Ｊａｖａを書く」という文１００ｅを「Ｐｙｔｈｏｎを書く」、「Ｒｕｂｙを書く」、「ＨＴＭＬを書く」、「Ｊａｖａｓｃｒｉｐｔを書く」という文にする。

次に、意味クラスタ更新手段１０４は、置換後の文のそれぞれのトークン１００ｉ_１と１００ｊ_１及びトークン１００ｋ_１と１００ｌ_１についてラベル推定を行い、推定されたラベルと図１８（ａ）に示す元のラベル１０１ａ_１３である「プログラム−３」とが一致するか確認する（Ｓ１８）。

図１９（ａ）及び（ｂ）は、ラベル追加動作の一例を説明するための図である。

図１９（ａ）は図１８（ｂ）に対応するものであり、トークン１００ｉ_１と１００ｊ_１についてラベル推定を行った結果であり、推定ラベルはそれぞれ１０１ａ_１３の「プログラム−３」であって、元のトークン１００ｅ_１「Ｊａｖａ」の推定ラベル１０１ａ_１３「プログラム−３」と一致している。なお、一致した際の確信度が予め定めた閾値（例えば０．２）以上である場合に一致すると判定するものとし、図１９（ａ）に示す例では採用したトークン１００ｉ_１と１００ｊ_１の２つであるため「サンプル数」を「２」とし、推定ラベルが一致しているため「一致数」を「２」とする。「一致割合」はサンプル数に対する一致数の割合であり「１．００」となる。

一致数が予め定めた閾値（例えば０．８０）以上である場合（Ｓ１８；Ｙｅｓ）、意味クラスタ１０３ｅ_１にトークン１００ｅ_１「Ｊａｖａ」の推定ラベル１０１ａ_１３「プログラム−３」を追加する（Ｓ１９）。

図２０は、ラベル追加動作の他の例を説明するための図である。

図２０は図１８（ｃ）に対応するものであり、トークン１００ｋ_１と１００ｌ_１についてラベル推定を行った結果であり、推定ラベルはそれぞれ１０１ａ_１３の「プログラム−３」であって、元のトークン１００ｅ_１「Ｊａｖａ」の推定ラベル１０１ａ_１３「プログラム−３」と一致している。しかし、一致した際の確信度がトークン１００ｋ_１「ＨＴＭＬ」については「０．０５１」であって予め定めた閾値（例えば０．２）より小さいため、推定ラベルの一致が１であって「一致数」を「１」とする。「一致割合」はサンプル数に対する一致数であり「０．５０」となる。

従って、一致数が予め定めた閾値（例えば０．８０）より小さい場合（Ｓ１８；Ｎｏ）、意味クラスタ１０３ｅ_１にトークン１００ｅ_１「Ｊａｖａ」の推定ラベル１０１ａ_１３「プログラム−３」を追加しない。

（実施の形態の効果）
上記した実施の形態によると、意味クラスタ１１３に所属するラベルの元となるトークンが用法によって置換できない場合は意味クラスタ１１３からラベルを削除し、他の意味クラスタに所属するラベルであっても当該ラベルの元となるトークンが用法によって置換できる場合は意味クラスタ１１３にラベルを追加したため、トークンの共起語が類似するが、用法によっては意味が類似しないトークンの意味情報を分類することができる。つまり、意味的に類似した単語を適切にまとめることができる。

また、意味情報データ１１２及び意味クラスタ１１３を用いて、機械学習を用いた自然言語処理モジュールの精度を改善してもよい。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

上記実施の形態では制御部１０内の各手段１００−１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ 情報処理装置
１０ 制御部
１１ 記憶部
１２ 通信部
１００ 形態素解析手段
１０１ ラベル推定手段
１０２ 意味情報生成手段
１０３ 意味クラスタ生成手段
１０４ 意味クラスタ更新手段
１１０ 意味情報分類プログラム
１１１ 大規模データ
１１２ 意味情報データ
１１３ 意味クラスタ

Claims (4)

1. コンピュータを、
   複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
   前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
   前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
   前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、置換前のトークンのラベルが所属する意味クラスタに所属しない場合に、前記他のラベルを削除して更新するクラスタ更新手段として機能させるための意味情報分類ブログラム。
2. コンピュータを、
   複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
   前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
   前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
   前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、前記他のラベルの所属する意味クラスタのそれぞれから当該他のラベルを除くラベルを無作為に取得し、前記複数の文に含まれる一の文において、取得したラベルの元となるトークンで前記一のラベルの元となるトークンを置換し、置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、前記置換前のトークンの推定ラベルと一致する割合が予め定めた値以上である場合、異なる意味クラスタに属する前記他のラベルを前記意味クラスタに追加して更新するクラスタ更新手段として機能させるための意味情報分類ブログラム。
3. 複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
   前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
   前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
   前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、置換前のトークンのラベルが所属する意味クラスタに所属しない場合に、前記他のラベルを削除して更新するクラスタ更新手段とを有する情報処理装置。
4. 複数の文のそれぞれに含まれるトークンに基づいて、前記複数の文のそれぞれに付与されるラベルを多値分類により推定するラベル推定手段と、
   前記ラベルが付与された前記複数の文に含まれるトークンに基づいて、前記ラベルに共起する頻度の高いトークンを関連語とし、前記ラベルと当該関連語との組み合わせである意味情報を生成する意味情報生成手段と、
   前記意味情報の関連語に基づいて前記ラベルをクラスタリングし、複数のラベルが所属する意味クラスタを生成するクラスタ生成手段と、
   前記複数の文に含まれる一の文において、前記意味クラスタに所属する一のラベルの元となるトークンと、他のラベルの元となるトークンとを置換し、当該置換したトークンのラベルを推定し、前記他のラベルの所属する意味クラスタのそれぞれから当該他のラベルを除くラベルを無作為に取得し、前記複数の文に含まれる一の文において、取得したラベルの元となるトークンで前記一のラベルの元となるトークンを置換し、置換したトークンのラベルを推定し、確信度の高いラベルを推定ラベルとして当該推定ラベルが、前記置換前のトークンの推定ラベルと一致する割合が予め定めた値以上である場合、異なる意味クラスタに属する前記他のラベルを前記意味クラスタに追加して更新するクラスタ更新手段とを有する情報処理装置。