JP5008137B2

JP5008137B2 - 単語ベクトル生成装置、単語ベクトル生成方法、プログラムおよびプログラムを記録した記録媒体

Info

Publication number: JP5008137B2
Application number: JP2007288653A
Authority: JP
Inventors: 克人別所; 俊郎内山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-11-06
Filing date: 2007-11-06
Publication date: 2012-08-22
Anticipated expiration: 2027-11-06
Also published as: JP2009116593A

Description

本発明は、単語・ジャンル間の的確な関連度を求め、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような単語ベクトルを生成する単語ベクトル生成装置、単語ベクトル生成方法、プログラムおよびプログラムを記録した記録媒体に関する。

本発明において、ジャンルは、文書の集合として表される。単語・ジャンル間の関連度算出に類似する処理として、単語・文書間の関連度算出があり、単語・文書間関連度算出の手法が知られている（たとえば、非特許文献１参照）。この手法では、単語ｉ、文書ｊの間の関連度を、
Ｘ_ｉｊＹ_ｉＺ_ｊ …式（１）
として算出する。ここで、Ｘ_ｉｊは文書ｊ内の単語ｉの出現頻度から定まる重み、Ｙ_ｉは単語ｉの文書集合全体にわたる分布から定まる重み、Ｚ_ｊは文書ｊの長さを正規化するための係数である。
Chisholm,E. and Kolda,T.G., New term weighting formulas for the vector space method in information retrieval, Technical Memorandum ORNL/TM-13756, Oak Ridge National Laboratory, 1999.

上記従来手法において、式（１）におけるＸ_ｉｊは文書ｊ以外の文書とは無関係に定まる重みである。

単語ｉとジャンルｊとの関連度を考えたとき、単語ｉがジャンルｊ以外のジャンルと比べてどれだけ多くジャンルｊに出現しているかを表す相対的な重みｗ_ｉｊを考慮する必要がある。単語ｉとジャンルｊの関連度を式（１）で算出したとき、ｗ_ｉｊに相当する因数がないため、的確に関連度を表すことができないという第１の課題がある。

また、各ジャンルに該当する正例文書の集合を、十分に用意できない場合も多い。正例文書集合が十分にない場合、正例文書集合に含まれる単語の集合も十分にはなく、また、単語・ジャンル間の関連度もスパースで信頼度が低くなるという第２の課題がある。

本発明は、単語が該ジャンル以外のジャンルと比べてどれだけ多く該ジャンルに出現しているかを表す相対的な重みを算出することができる単語ベクトル生成装置、単語ベクトル生成方法、プログラムおよびプログラムを記録した記録媒体を提供することを目的とする。

また、本発明は、各ジャンル毎の正例文書集合には出現しない単語と各ジャンルとの関連度を算出することができ、また、関連度の信頼性が向上する単語ベクトル生成装置、単語ベクトル生成方法、プログラムおよびプログラムを記録した記録媒体を提供することを目的とする。

本発明の第１単語ベクトル生成装置は、ジャンルの集合と、各ジャンルに対応付けられた文書の集合とを入力とし、各単語が、各ジャンルに対応付けられた文書の集合に出現する頻度を算出する出現頻度算出手段と、各ジャンル毎に、上記出現頻度算出手段で得られた各単語の出現頻度を、当該ジャンルでの各単語の出現頻度の総和で除することにより、各単語のジャンル内出現確率を算出するジャンル内出現確率算出手段と、各単語毎に、上記ジャンル内出現確率算出手段で得られた各ジャンル内出現確率を、当該単語での各ジャンル内出現確率の総和で除することにより、各ジャンルとの関連度を算出し、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルを生成する第１単語ベクトル生成手段とからなる。

本発明の第２単語ベクトル生成装置は、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルと、コーパスとを入力とし、コーパス中の各単語毎に、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第２の単語ベクトルを初期化する第２単語ベクトル初期化手段と、コーパスを分割して得られる各範囲毎に、該範囲中に出現する単語の上記第１の単語ベクトルを加算し、その結果得られたベクトルを、該範囲中の各単語に対応する上記第２の単語ベクトルに加算し、この処理を全ての範囲にわたって繰り返す第２単語ベクトル更新手段と、上記第２の単語ベクトルの各座標値を正規化する第２単語ベクトル正規化手段とからなる。

第１単語ベクトル生成装置では、ジャンル内出現確率算出手段により、ジャンル内文書集合の量で正規化した上での該ジャンル内の単語の重みを算出でき、第１単語ベクトル生成手段により、単語が該ジャンル以外のジャンルと比べてどれだけ多く該ジャンルに出現しているかを表す相対的な重みを算出できる。

第２単語ベクトル生成装置は、ある単語ｘが、ジャンルｇとの関連度がｚである単語ｙと共起しているとき、単語ｘもジャンルｇと関連度ｚを持つという考えをベースとしている。各ジャンル毎の正例文書集合とは別に、大量のコーパスを用意することにより、該コーパス内の大量の単語に対して、該単語と共起する単語と各ジャンルとの関連度を基に、該単語と各ジャンルとの関連度を算出する。これにより、各ジャンル毎の正例文書集合には出現しない単語と各ジャンルとの関連度も算出できる。また、着目している単語と共起する大量の単語に関する関連度から該単語に関する関連度を算出するので、関連度の信頼性が向上する。

発明を実施するための最良の形態は、以下の実施例である。

以下、図面とともに本発明の実施例を説明する。

図１は、本発明の実施例１である第１単語ベクトル生成装置１００の構成例を示す。

出現頻度算出手段１１は、ジャンルの集合と、各ジャンルに対応付けられた文書の集合を入力とし、各単語が、各ジャンルに対応付けられた文書の集合に出現する頻度を算出する。

ジャンルの集合を、｛Ｇ_１，…，Ｇ_ｊ，…，Ｇ_ｎ｝とし、各Ｇ_ｊには、正例文書集合

が対応付けられているとする。各ジャンルの正例文書集合をマージした

における異なり単語（通常、内容語とする）の集合を｛ｗ_１，…，ｗ_ｉ，…，ｗ_ｍ｝とする。

任意の（ｉ，ｊ）（１≦ｉ≦ｍ，１≦ｊ≦ｎ）に対し、ｗ_ｉがＧ_ｊに出現する頻度Ａ_ｉｊを算出する。ここでＡ_ｉｊを、

としてもよいし、文書出現頻度（ｗ_ｉが出現するＧ_ｊ内の正例文書の数のこと）としてもよい。

このようにして、図２のような、各行がｗ_ｉに対応し、各列がＧ_ｊに対応し、（ｉ，ｊ）成分がＡ_ｉｊであるような行列が得られる。

図３は、図２の一例であり、各成分は単語出現頻度である。

ジャンル内出現確率算出手段１２は、各ジャンル毎に、上記出現頻度算出手段１１で得られた各単語の出現頻度を正規化することにより、各単語のジャンル内出現確率を算出する。

詳細なフローは以下の通りである。

（ａ１）任意のｊ（１≦ｊ≦ｎ）に対し、（ａ２）〜（ａ３）を行う。

（ａ２）Ｇ_ｊの長さに相当する値Ｕ_ｊを算出する。ここでＡ_ｉｊが、単語出現頻度ならば、

とし算出し、文書出現頻度ならばＵ_ｊ＝ｌ_ｊとして算出する。

（ａ３）任意のｉ（１≦ｉ≦ｍ）に対し、ｗ_ｉがＧ_ｊに出現する確率（ジャンル内出現確率）Ｂ_ｉｊを、Ｂ_ｉｊ＝Ａ_ｉｊ／Ｕ_ｊとして算出する。

このようにして、Ｇ_ｊの長さによる影響をなくしたｗ_ｉの重みＢ_ｉｊが得られる。上記フローの結果、図４のような行列が得られる。

図５は、図３からジャンル内出現確率算出手段１２の処理によって得られるものである。

図３において、ｗ_１はＧ_１に９回、Ｇ_２に９０回出現しているので、一見、Ｇ_２の方に出現しやすく見えるが、それはＧ_２の長さがＧ_１の１０倍あるからであり、各ジャンルの長さを正規化すると、図５のように、ｗ_１がＧ_１に出現する確率と、Ｇ_２に出現する確率は、ともに０．９で同じとなる。

第１単語ベクトル生成手段１３は、各単語毎に、上記ジャンル内出現確率算出手段１２で得られた各ジャンル内出現確率を正規化することにより、各ジャンルとの関連度を算出し、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルを生成する。

詳細なフローは以下の通りである。

（ｂ１）任意のｉ（１≦ｉ≦ｍ）に対し、（ｂ２）〜（ｂ３）を行う。

（ｂ２）ｗ_ｉの各ジャンルとのジャンル内出現確率Ｂ_ｉｊの和Ｔ_ｉを、

とし算出する。

（ｂ３）任意のｊ（１≦ｊ≦ｎ）に対し、ｗ_ｉとＧ_ｊとの関連度Ｃ_ｉｊを、Ｃ_ｉｊ＝Ｂ_ｉｊ／Ｔ_ｉとして算出する。

このようにして、ｗ_ｉがＧ_ｊ以外のジャンルと比べてどれだけ多くＧ_ｊに出現しているかを表す相対的な重みＣ_ｉｊが得られる。上記フローの結果、図６のような行列が得られる。図６の行列の各行ベクトルが、対応する単語の第１の単語ベクトルである。単語と該単語の第１単語ベクトルの対の集合であるこの行列を、第１単語ベクトルＤＢと呼ぶことにする。

図７は、図５から第１単語ベクトル生成手段１３の処理によって得られるものである。

図５において、ｗ_１と各ジャンルとの関連度は０．９で、ｗ_２と各ジャンルとの関連度は０．１で、一見、ｗ_１に関する関連度の方が強く見える。しかし、単語がどのジャンルに出現しやすいかは、各ジャンルとの関連度の全てから勘案して決まるものであり、ｗ_１の各ジャンルへの出現のしやすさは等しく、ｗ_２についても同じことが言える。各単語毎に各ジャンル内出現確率を正規化することにより、図７のように、ｗ_１と各ジャンルとの関連度も、ｗ_２と各ジャンルとの関連度も、０．５となる。

図８は、本発明の実施例２である第２単語ベクトル生成装置２００の構成例を示す。

第２単語ベクトル初期化手段２１は、コーパスを入力とし、コーパス中の各単語毎に、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第２の単語ベクトルを初期化する。

コーパスは単語分割し、通常、内容語のみを残す。同一文内の内容語の順序はそのままにしておく。同一文内に同一単語が複数あるとき、１つにマージせず、複数あるものとして扱う。

コーパスにおける異なり単語の集合を｛ｐ_１，…，ｐ_ｑ，…，ｐ_ｒ｝とする。図９のように、各行がｐ_ｑに対応し、各列がＧ_ｊに対応し、（ｑ，ｊ）成分が０であるような行列を作成する。図９の行列の各行ベクトルが、対応する単語の初期化された第２の単語ベクトルである。単語と該単語の第２単語ベクトルの対の集合であるこの行列を、第２単語ベクトルＤＢと呼ぶことにする。

図１０は、コーパスを単語分割し、内容語のみを残して得られたものの一例である。句点で区切られた文が２つあり、それぞれの文の構成単語が示されている。

コーパス中の異なり単語のうち、「馬」以外の単語が、第１単語ベクトルＤＢに存在しているとする。この第１単語ベクトルＤＢの例を、図１１に示す。図１１に示すように、「牛」、「豚」はジャンル「家畜」と関連が深く、「車」、「船」はジャンル「乗り物」と関連が深い。

図１２は、初期化された第２単語ベクトルＤＢの具体例である。

第２単語ベクトル更新手段２２は、コーパスを分割して得られる各範囲毎に、該範囲中に出現する単語の上記第１の単語ベクトルを加算し、その結果得られたベクトルを、該範囲中の各単語に対応する上記第２の単語ベクトルに加算し、この処理を全ての範囲にわたって繰り返す。

コーパスを分割して得られる範囲としては、１文や１段落、あるいは、ある一定数の単語の列等が挙げられる。

図１０の例に対しては、範囲として１文をとるものとする。

図１３は、第２単語ベクトル更新手段２２の詳細なフローである。

制御手段Ａ（Ｓ１）では、処理対象の範囲を選択する。最初はコーパス中の１番目の範囲を選択する。該範囲に関する処理を終え、再びステップＳ１に戻ってきたとき、コーパス中の該範囲の次の範囲を選択する。範囲を選択したならばステップＳ２に進み、選択すべき範囲がなくなれば、図１３のフローを終了する。

一時ベクトル初期化（Ｓ２）では、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような一時的なベクトルを生成し、各座標値を０とおく。もし、一時ベクトルが既にあれば、各座標値を０に更新する。図１４は、初期された一時ベクトルである。

図１５は、初期化された一時ベクトルの具体的な例である。

制御手段Ｂ（Ｓ３）では、処理対象の範囲における処理対象の単語を選択する。最初は、該範囲中の１番目の単語を選択する。該単語に関する処理を終え、再びステップＳ３に戻ってきたとき、該範囲中の該単語の次の単語を選択する。単語を選択したならばステップＳ４に進み、選択すべき単語がなくなればステップＳ６に進む。

一時ベクトル更新（Ｓ４）では、選択した単語で、第１単語ベクトルＤＢ（Ｓ５）を検索する。検索がヒットしなければ、何もしない。検索がヒットすれば、該単語の対応する第１単語ベクトルを一時ベクトルに加算する。

処理が終われば、ステップＳ３に戻る。

図１６は、ステップＳ３、Ｓ４の処理を繰り返し、終了した時点での、一時ベクトルを表す。

制御手段Ｃ（Ｓ６）では、処理対象の範囲における処理対象の単語を選択する。最初は、該範囲中の１番目の単語を選択する。該単語に関する処理を終え、再びステップＳ６に戻ってきたとき、該範囲中の該単語の次の単語を選択する。単語を選択したならばステップＳ７に進み、選択すべき単語がなくなれば、ステップＳ１に戻る。

第２単語ベクトル更新（Ｓ７）では、選択した単語に対応する第２単語ベクトルに、一時ベクトルを加算する。処理が終われば、ステップＳ６に戻る。

ステップＳ３、Ｓ４の繰り返し処理が終了した時点での一時ベクトルが図１６であった場合、このベクトルを、選択した単語に対応する第２単語ベクトルに加算する。

図１７は、図１３のフローが終了した時点での、第２単語ベクトルＤＢを表す。

ステップＳ１で、図１０の文１を選択したとき、ステップＳ３、Ｓ４の処理を繰り返し、終了した時点での一時ベクトルは、図１８となる。

次に、ステップＳ６、Ｓ７の処理を繰り返し、終了した時点での第２単語ベクトルＤＢは、図１９となる。

このように、単語「馬」は、単語「牛」や「豚」と共起するので、「牛」や「豚」と各ジャンルとの関連度を、「馬」と該ジャンルとの関連度に受け継ぐ。

次に、ステップＳ１で、図１０の文２を選択したとき、ステップＳ３、Ｓ４の処理を繰り返し、終了した時点での一時ベクトルは、図２０となる。

次に、ステップＳ６、Ｓ７の処理を繰り返し、終了した時点での第２単語ベクトルＤＢは、図２１となる。これが、図１３のフローが終了した時点での第２単語ベクトルＤＢとなる。

第２単語ベクトル正規化手段２３は、上記第２単語ベクトルの各座標値を正規化する。

詳細なフローは以下の通りである。

（ｃ１）任意のｑ（１≦ｑ≦ｒ）に対し、（ｃ２）〜（ｃ３）を行う。

（ｃ２）ｐ_ｑの各ジャンルとの関連度Ｅ_ｑｊの和Ｓ_ｑを、

として算出する。

（ｃ３）任意のｊ（１≦ｊ≦ｎ）に対し、ｐ_ｑとＧ_ｊとの関連度Ｆ_ｑｊを、Ｆ_ｑｊ＝Ｅ_ｑｊ／Ｓ_ｑとして算出する。

上記フローの結果、図２２のような行列が得られる。図２２の行列の各行ベクトルが、対応する単語の最終的な第２単語ベクトルであり、該行列が最終的な第２単語ベクトルＤＢである。

図２３は、図２１から第２単語ベクトル正規化手段２３の処理によって得られるものである。このように、ジャンル毎の正例文書集合に含まれていなかった単語「馬」は、ジャンル「家畜」、「乗り物」それぞれと同程度の関連度を持つようになる。

なお、請求項２における第２単語ベクトル生成装置の入力となるコーパスが、請求項１における第１単語ベクトル生成装置の入力となるジャンル毎の正例文書集合と一致、あるいは、交わりをもっていても構わない。

つまり、上記実施例は、ジャンルの集合と、各ジャンルに対応付けられた文書の集合とを入力とし、各単語が、各ジャンルに対応付けられた文書の集合に出現する頻度を算出する出現頻度算出手段と、各ジャンル毎に、上記出現頻度算出手段で得られた各単語の出現頻度を正規化することにより、各単語のジャンル内出現確率を算出するジャンル内出現確率算出手段と、各単語毎に、上記ジャンル内出現確率算出手段で得られた各ジャンル内出現確率を正規化することにより、各ジャンルとの関連度を算出し、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルを生成する第１単語ベクトル生成手段とからなる第１単語ベクトル生成装置の例である。

また、上記実施例は、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルと、コーパスとを入力とし、コーパス中の各単語毎に、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第２の単語ベクトルを初期化する第２単語ベクトル初期化手段と、コーパスを分割して得られる各範囲毎に、該範囲中に出現する単語の上記第１の単語ベクトルを加算し、その結果得られたベクトルを、該範囲中の各単語に対応する上記第２の単語ベクトルに加算し、この処理を全ての範囲にわたって繰り返す第２単語ベクトル更新手段と、上記第２の単語ベクトルの各座標値を正規化する第２単語ベクトル正規化手段とからなる第２単語ベクトル生成装置の例である。

そして、上記実施例を方法の発明として把握することができる。すなわち、上記実施例は、ジャンルの集合と、各ジャンルに対応付けられた文書の集合とを入力とし、各単語が、各ジャンルに対応付けられた文書の集合に出現する頻度を、出現頻度算出手段が算出し、記憶装置に記憶する出現頻度算出工程と、各ジャンル毎に、上記出現頻度算出工程で得られた各単語の出現頻度を、ジャンル内出現確率算出手段が、正規化することにより、各単語のジャンル内出現確率を算出し、記憶装置に記憶するジャンル内出現確率算出工程と、各単語毎に、上記ジャンル内出現確率算出工程で得られた各ジャンル内出現確率を、第１単語ベクトル生成手段が、正規化することにより、各ジャンルとの関連度を算出し、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルを生成し、記憶装置に記憶する第１単語ベクトル生成工程とからなる第１単語ベクトル生成方法の例である。

しかも、上記実施例は、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルと、コーパスとを入力とし、コーパス中の各単語毎に、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第２の単語ベクトルを、第２単語ベクトル初期化手段が、初期化し、記憶装置に記憶する第２単語ベクトル初期化工程と、コーパスを分割して得られる各範囲毎に、該範囲中に出現する単語の上記第１の単語ベクトルを、第２単語ベクトル更新手段が、加算し、その結果得られたベクトルを、該範囲中の各単語に対応する上記第２の単語ベクトルに加算し、記憶装置に記憶し、この処理を全ての範囲にわたって繰り返す第２単語ベクトル更新工程と、上記第２の単語ベクトルの各座標値を、第２単語ベクトル正規化手段が、正規化し、記憶装置に記憶する第２単語ベクトル正規化工程とからなる第２単語ベクトル生成方法の例である。

そして、上記実施例は、上記第１単語ベクトル生成装置または上記第２単語ベクトル生成装置を構成する各手段としてコンピュータを機能させるプログラムの例である。

加えて、上記実施例を、上記プログラムを記録したコンピュータ読取可能な記録媒体として把握することできる．この場合、ＣＤ、ＤＶＤ、ハードディスク、光ディスク、光磁気ディスク、半導体メモリ等を記録媒体として使用してもよい。

また、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

上記の実施の形態における処理をプログラムとして構築し、当該プログラムを通信回線または記憶媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。

本発明は、言語処理技術に適用可能である。

本発明の実施例１である第１単語ベクトル生成装置１００の構成例を示す。出現頻度算出手段１１の処理によって得られる行列を示す図である。図２の一例であり、各成分は単語出現頻度である。ジャンル内出現確率算出手段１２の処理によって得られる行列を示す図である。図３からジャンル内出現確率算出手段１２の処理によって得られるものである。第１単語ベクトル生成手段１３の処理によって得られる行列を示す図である。図５から第１単語ベクトル生成手段１３の処理によって得られるものである。本発明の実施例２である第２単語ベクトル生成装置２００の構成例を示す。第２単語ベクトル初期化手段２１の処理によって得られる行列を示す図である。コーパスを単語分割し、内容語のみを残して得られたものの一例である。第１単語ベクトルＤＢの例を示す図である。初期化された第２単語ベクトルＤＢの具体例である。第２単語ベクトル更新手段２２の詳細なフローである。初期化された一時ベクトルを示す図である。初期化された一時ベクトルの具体的な例である。Ｓ３、Ｓ４の処理を繰り返し、終了した時点での、一時ベクトルを表す。図１３のフローが終了した時点での、第２単語ベクトルＤＢを表す。Ｓ１で、図１０の文１を選択し、Ｓ３、Ｓ４の処理を繰り返し、終了した時点での一時ベクトルを示す図である。Ｓ６、Ｓ７の処理を繰り返し、終了した時点での第２単語ベクトルＤＢの例を示す図である。Ｓ１で、図１０の文２を選択し、Ｓ３、Ｓ４の処理を繰り返し、終了した時点での一時ベクトルを示す図である。Ｓ６、Ｓ７の処理を繰り返し、終了した時点での第２単語ベクトルＤＢの例を示す図である。第２単語ベクトル正規化手段２３の処理によって得られる行列を示す図である。図２１から第２単語ベクトル正規化手段２３の処理によって得られるものである。

符号の説明

１００…第１単語ベクトル生成装置、
１１…出現頻度算出手段、
１２…ジャンル内出現確率算出手段、
１３…第１単語ベクトル生成手段、
２００…第２単語ベクトル生成装置、
２１…第２単語ベクトル初期化手段、
２２…第２単語ベクトル更新手段、
２３…第２単語ベクトル正規化手段。

Claims

ジャンルの集合と、各ジャンルに対応付けられた文書の集合とを入力とし、
各単語が、各ジャンルに対応付けられた文書の集合に出現する頻度を算出する出現頻度算出手段と；
各ジャンル毎に、上記出現頻度算出手段で得られた各単語の出現頻度を、当該ジャンルでの各単語の出現頻度の総和で除することにより、各単語のジャンル内出現確率を算出するジャンル内出現確率算出手段と；
各単語毎に、上記ジャンル内出現確率算出手段で得られた各ジャンル内出現確率を、当該単語での各ジャンル内出現確率の総和で除することにより、各ジャンルとの関連度を算出し、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルを生成する第１単語ベクトル生成手段と；
からなることを特徴とする第１単語ベクトル生成装置。
各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルと、コーパスとを入力とし、
コーパス中の各単語毎に、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第２の単語ベクトルを初期化する第２単語ベクトル初期化手段と；
コーパスを分割して得られる各範囲毎に、該範囲中に出現する単語の上記第１の単語ベクトルを加算し、その結果得られたベクトルを、該範囲中の各単語に対応する上記第２の単語ベクトルに加算し、この処理を全ての範囲にわたって繰り返す第２単語ベクトル更新手段と；
上記第２の単語ベクトルの各座標値を正規化する第２単語ベクトル正規化手段と；
からなることを特徴とする第２単語ベクトル生成装置。
ジャンルの集合と、各ジャンルに対応付けられた文書の集合とを入力とし、
各単語が、各ジャンルに対応付けられた文書の集合に出現する頻度を、出現頻度算出手段が算出し、記憶装置に記憶する出現頻度算出工程と；
各ジャンル毎に、上記出現頻度算出手段で得られた各単語の出現頻度を、当該ジャンルでの各単語の出現頻度の総和で除することにより、各単語のジャンル内出現確率を算出し、記憶装置に記憶するジャンル内出現確率算出工程と；
各単語毎に、上記ジャンル内出現確率算出手段で得られた各ジャンル内出現確率を、当該単語での各ジャンル内出現確率の総和で除することにより、各ジャンルとの関連度を算出し、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルを生成し、記憶装置に記憶する第１単語ベクトル生成工程と；
からなることを特徴とする第１単語ベクトル生成方法。
各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第１の単語ベクトルと、コーパスとを入力とし、
コーパス中の各単語毎に、各座標がジャンルに対応し、その値が該ジャンルとの関連度であるような第２の単語ベクトルを、第２単語ベクトル初期化手段が、初期化し、記憶装置に記憶する第２単語ベクトル初期化工程と；
コーパスを分割して得られる各範囲毎に、該範囲中に出現する単語の上記第１の単語ベクトルを、第２単語ベクトル更新手段が、加算し、その結果得られたベクトルを、該範囲中の各単語に対応する上記第２の単語ベクトルに加算し、記憶装置に記憶し、この処理を全ての範囲にわたって繰り返す第２単語ベクトル更新工程と；
上記第２の単語ベクトルの各座標値を、第２単語ベクトル正規化手段が、正規化し、記憶装置に記憶する第２単語ベクトル正規化工程と；
からなることを特徴とする第２単語ベクトル生成方法。
請求項１記載の第１単語ベクトル生成装置または請求項２記載の第２単語ベクトル生成装置を構成する各手段としてコンピュータを機能させるプログラム。
請求項５記載のプログラムを記録したコンピュータ読取可能な記録媒体。