JP6549500B2 - 話題推定学習装置及び話題推定学習方法 - Google Patents

Description

本発明は、話題推定学習装置及び話題推定学習方法に関し、特に、単語と話題とを関連付ける話題推定学習装置及び話題推定学習方法に関する。

近年、会話を行うことで人とコミュニケーションをとることが可能なロボットの研究が進められている。例えば、雑談により人とロボットとの間でコミュニケーションを行うためには、人の話に含まれる単語から話題を推定することが要求される。

関連する技術では、言語処理によって自動的に話題を推定するため、意味的階層情報が用いられている。意味的階層情報から上位概念語を取得することで、単語に関連した話題を推定することができる。関連する技術として、例えば非特許文献１が知られている。非特許文献１では、単語と話題との関係を射影変換する手法を提案している。この手法では、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ法を用いて単語を意味表現ベクトルに変換し、単語と話題間の階層関係（射影行列）を学習しておくことで、任意の単語から話題を推定する。

Ruiji Fu, Jiang Guo, Bing Qin, Wanxiang Che, Haifeng Wang, Ting Liu, "Learning Semantic Hierarchies: A Continuous Vector Space Approach", IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 23, No. 3, 2015年3月, p. 461-471

図６は、非特許文献１に基づいた関連技術の話題推定学習装置の概略構成を示している。図６に示すように、関連技術の話題推定学習装置９００は、学習用データベース９０１、単語ベクトルデータベース９０２、単語ベクトル変換器９０３、話題ベクトル変換器９０４、オフセット算出器９０５、クラスタ分類器９０６、複数の射影行列算出器９０７（９０７＿１、・・・９０７＿ｃ、・・・９０７＿Ｃ）を備えている。

単語ベクトル変換器９０３及び話題ベクトル変換器９０４は、単語ベクトルデータベース９０２を参照し、学習用データベース９０１の単語ｘ、話題ｙをそれぞれ単語ベクトルＸ、話題ベクトルＹに変換する。オフセット算出器９０５は、話題ベクトルＹと単語ベクトルＸのオフセット（差分Ｙ−Ｘ）を算出し、クラスタ分類器９０６は、このオフセットをもとにｋ−ｍｅａｎｓ法でクラスタリングを行う。

射影行列算出器９０７＿１〜９０７Ｃは、分類されたクラスタごとに、単語ベクトルＸ及び話題ベクトルＹから射影行列Φ（Φ１〜ΦＣ）を算出し、射影行列Φを学習する。具体的には、次の（１）式によってクラスタｋの射影行列Φ_ｋを学習しΦ_ｋ ^＊を得る。

（１）式において、Ｙ，Ｘは話題・単語ベア（ｙ，ｘ）のそれぞれに対応するベクトルであり、Ｃ_ｋはクラスタｋに含まれる話題・単語ペアの集合である。（１）式では、予測した話題ベクトルと正解の話題ベクトルの距離の二乗が小さくなるように学習を行っている。学習された射影行列Φによって、入力される単語を変換することで話題の推定が可能となる。

図７は、関連技術の話題推定学習装置による学習動作の実験結果を示している。図７は、正解話題が出現した順位ごとの出現確率を示しており、関連技術の話題推定学習装置で学習した射影行列に単語を入力した際、正解話題が何番目の候補で出現するかを集計した結果である。より上位の順位で、正解話題が出現することが好ましいため、上位（例えば１位から３位）の出現確率が大きく、下位（例えば８位から１０位）の出現確率が小さいことがよい。図７では、上位の出現確率がある程度大きいものの、さらに上位の出現確率を高めて、単語から話題を推定する精度の向上が望まれる。

関連技術を検討すると、図６に示すように、関連技術では、単語と話題のベクトル差に関してクラスタ分類（クラスタリング）を行った後、分類された各クラスタ内で単語ベクトルから話題を推定する射影行列の学習を行っている。このため、クラスタの分類精度が、射影行列の学習精度に大きく影響を与えてしまう。クラスタ分類に用いている素性は、単語と話題間のオフセットであり、これは平行移動変換行列の要素に相当する。したがって、関連技術では、クラスタ分類で平行移動変換行列の要素を素性として分類（類似度算出に相当）しており、この分類が射影行列の学習精度に影響を与えることになる。

また、関連技術では、単語と話題間が線形写像であることを仮定して射影行列を学習しているため、単語と話題の関係は平行移動変換、回転変換、拡大縮小変換の合成変換で定式化される。しかしながら、単語と話題の値は未知であるため、未知の値から容易に射影行列を得ることは困難である。さらに、関連技術では、学習用データベース内の話題・単語ベアのみしか学習しないため、単語を射影した先の近くに正解の話題が位置していても、不正解の話題がそれよりも近くにある場合、不正解の話題を推定してしまう。

そこで、本発明は、単語と話題の関係の学習精度を向上することが可能な話題推定学習装置及び話題推定学習方法を提供するものである。

本発明に係る話題推定学習装置は、話題と単語とを関連付けて格納する学習用データ格納部と、前記単語を単語空間における単語ベクトルに変換する単語ベクトル変換部と、前記話題を話題空間における話題ベクトルに変換する話題ベクトル変換部と、前記単語ベクトルをクラスタリングするクラスタに対応した複数の射影行列を用いて、前記単語ベクトルを前記話題空間における複数の推定話題ベクトルに変換する射影変換部と、前記話題ベクトルと前記複数の推定話題ベクトルとの前記話題空間における類似度を算出する類似度算出部と、前記類似度に基づいて、前記単語ベクトルが従属すべき従属クラスタを決定するクラスタ決定部と、前記推定話題ベクトルとの前記類似度が所定値よりも高い不正解の前記話題ベクトルと、前記推定話題ベクトルとの関係を負例関係として、前記従属クラスタに対応した前記射影行列を更新する射影行列更新部と、を備えるものである。例えば、前記射影行列更新部は、前記不正解の前記話題ベクトルと前記推定話題ベクトルとの前記話題空間における距離を遠ざけるように、前記射影行列を更新してもよい。これによれば、射影行列により推定される話題が誤った話題に近づかないように制約がかけられるため（話題ベクトルとの類似度が低い推定話題ベクトルを不正解だとして遠ざけるため）、射影行列（単語と話題の関係）の学習精度が高まり、話題の推定精度が向上することができる。

前記射影行列更新部は、正解の前記話題ベクトルと前記推定話題ベクトルとの関係を正例関係として、前記従属クラスタに対応した前記射影行列を更新し、例えば、前記正解の前記話題ベクトルと前記推定話題ベクトルとの前記話題空間における距離を近づけるように、前記射影行列を更新してもよい。これによれば、射影行列により推定される話題を正しい話題に近づけるため、さらに射影行列の学習精度を向上することができる。

また、前記クラスタ決定部は、前記類似度が所定の閾値より小さい場合、前記従属クラスタとして新たなクラスタを生成してもよい。これによれば、最適なクラスタリングを行うことができ、さらに射影行列の学習精度を向上することができる。

さらに、予め算出された前記単語に対応する数値ベクトルを格納するベクトル格納部を備え、前記単語ベクトル変換部及び前記話題ベクトル変換部は、前記格納された数値ベクトルに基づき、前記単語及び前記話題を前記単語ベクトル及び前記話題ベクトルに変換してもよく、前記数値ベクトルは、前記内積及びバイアス変数を含む関数により予め学習されており、前記類似度算出部は、前記内積及びバイアス変数を含む関数により前記類似度を算出してもよい。これによれば、数値ベクトル（単語ベクトル）の学習と類似度の算出に一貫性を持たせることができるため、さらに射影行列の学習精度を向上することができる。

本発明に係る話題推定学習方法は、学習用データ格納部に話題と単語とを関連付けて格納し、前記単語を単語空間における単語ベクトルに変換し、前記話題を話題空間における話題ベクトルに変換し、前記単語ベクトルをクラスタリングするクラスタに対応した複数の射影行列を用いて、前記単語ベクトルを前記話題空間における複数の推定話題ベクトルに変換し、前記話題ベクトルと前記複数の推定話題ベクトルとの前記話題空間における類似度を算出し、前記類似度に基づいて、前記単語ベクトルが従属する従属クラスタを決定し、前記推定話題ベクトルとの前記類似度が所定値よりも高い不正解の前記話題ベクトルと、前記推定話題ベクトルとの関係を負例関係として、前記従属クラスタに対応した前記射影行列を更新するものである。これによれば、射影行列により推定される話題が誤った話題に近づかないように制約がかけられるため、射影行列の学習精度が高まり、話題の推定精度が向上することができる。

本発明によれば、単語と話題の関係の学習精度を向上することが可能な話題推定学習装置及び話題推定学習方法を提供することができる。

実施の形態１に係る話題推定学習装置の概略構成を示す構成図である。 実施の形態１に係る話題推定学習装置で用いる演算式の概念を模式的に示す模式図である。 実施の形態１に係る学習用データベースの具体例を示す図である。 実施の形態１に係る話題推定学習方法の具体例を示す図である。 実施の形態１及び関連技術の実験結果を示すグラフである。 関連技術の話題推定学習装置の概略構成を示す構成図である。 関連技術の実験結果を示すグラフである。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図１は、本実施の形態に係る話題推定学習装置の概略構成を示している。

図１に示すように、本実施の形態に係る話題推定学習装置１００は、学習用データベース１０１、単語ベクトルデータベース１０２、単語ベクトル変換器１０３、話題ベクトル変換器１０４、射影変換モジュール１０５、複数の類似度算出器１０６（１０６＿１、・・・１０６＿ｃ、・・・１０６＿Ｃ）、判定器１０７、射影行列更新器１０８を備えている。

学習用データベース（学習用データ格納部）１０１は、単語と話題との対（話題・単語ペア）を関連付けて格納するデータベースである。なお、話題は、単語（下位概念語）に対する上位概念語でもある。例えば、Ｗｉｋｉｐｅｄｉａの記事構造などから上位概念語を抽出し、上位概念語を話題として、話題・単語ペア（上位・下位概念語ペア）を生成し、学習用データベース１０１に格納してもよい。

単語ベクトルデータベース（数値ベクトル格納部）１０２は、予め算出された単語ベクトル（単語に対する数値ベクトル、Ｗｏｒｄ Ｅｍｂｅｄｄｉｎｇ：ＷＥ）を格納するデータベースである。例えば、Ｗｏｒｄ２Ｖｅｃ、Ｇｌｏｖｅ等のＷｏｒｄ Ｅｍｂｅｄｄｉｎｇ法を用いて、単語から単語ベクトルを算出（学習）し単語ベクトルデータベース１０２に格納する。

単語ベクトル変換器１０３及び話題ベクトル変換器１０４は、文字列を数値列（ベクトル）に変換するモジュールであり、この変換に単語ベクトルデータベースを用いる。単語ベクトル変換器（単語ベクトル変換部）１０３は、単語ベクトルデータベース１０２を参照し、学習用データベース１０１から（もしくは外部から）入力される単語ｘを単語ベクトルＸに変換する。単語ベクトル変換器１０３は、数値ベクトルによって単語ｘを単語空間に射影し、単語空間上の単語ベクトルＸを生成していると言える。話題ベクトル変換器（話題ベクトル変換部）１０４は、単語ベクトルデータベース１０２を参照し、学習用データベース１０１から（もしくは外部から）入力される話題ｙを話題ベクトルＹに変換する。話題ベクトル変換器１０４は、数値ベクトルによって話題ｙを話題空間に射影し、話題空間上の話題ベクトルＹを生成していると言える。

射影変換モジュール（射影変換部）１０５は、単語から推定話題の候補を生成するためのモジュールであり、生成された単語ベクトルＸを射影行列Φ（Φ１〜ΦＣ）により写像変換し、推定話題ベクトルＹＥを生成する。射影変換モジュール１０５は、単語ベクトルＸをクラスタリングするクラスタに対応した複数の射影行列Φを用いて、単語ベクトルＸを話題空間に射影し、話題空間上の複数の推定話題ベクトルＹＥを生成していると言える。

類似度算出器（類似度算出部）１０６は、生成された話題ベクトルＹと複数の推定話題ベクトルＹＥとの話題空間における類似度を算出する。射影変換モジュール１０５の射影行列Φと類似度算出器１０６とが、クラスタのイメージ（概念）となる。類似度は、空間上のベクトル間の距離である。類似度算出器１０６は、次の（２）式のスコア関数によって類似度を算出する。

（２）式において、ｓｉｍ_ｋ（ｘ，ｙ）はクラスタｋでの単語ｘと話題ｙの類似度関数であり、σ（ｘ）はロジスティック関数、Φ_ｋＸは単語ｘのクラスタｋの推定話題ベクトル、ｂ_ｋはクラスタｋにおけるバイアスである。単語ｘを精度よく話題空間に射影できると（話題ｙとの距離が近いと）、（２）式の値は大きくなる。（２）式は、単語ｘをクラスタｋの射影行列Φ_ｋで写像したベクトルと話題ｙとを比較した距離を示す類似度関数である。なお、射影変換モジュール１０５における推定話題ベクトルの生成動作及び類似度算出器１０６における類似度の算出動作を、（２）式によりまとめて行ってもよい。

類似度の尺度として、関連技術の（１）式では二乗距離を用いていたが、本実施の形態では（２）式のように内積項とバイアス項を含む。例えば、単語ベクトルの学習する過程（単語ベクトルデータベースの生成過程）において、文脈内の単語間のスコア関数が内積項とバイアス項を含んでおり、モデル内で類似度尺度の一貫性を持たせることで学習精度を向上することができる。例えば、このような単語ベクトルの学習手法として、Inverse vector log-bilinear model（ivLBL）を用いてもよい。

判定器（クラスタ決定部）１０７は、算出された各クラスタの類似度に基づいて、単語が従属すべきクラスタ（従属クラスタ）を決定（閾値判定）する。所定のクラスタの類似度が閾値よりも大きい場合、当該クラスタに従属すべきと判断してもよいし、類似度が最も高いクラスタに従属すべきと判断してもよい。また、判定器１０７は、クラスタの類似度が閾値より小さい場合、既存クラスタへの従属ではなく、新規クラスタを生成し、生成したクラスタに従属させる。

本実施の形態では、判定器１０７でクラスタリングを行いながら、後述のように射影行列更新器１０８で射影行列を更新することにより、射影行列の学習とクラスタリングを同時に行う。これにより、関連技術よりも単語ベクトル・クラスタリングに整合した射影行列を得ることができる。クラスタリングには閾値λに合わせてクラスタ数を自動推定することができるＤＰ−ｍｅａｎｓ法を適用してもよい。例えば、全ての類似度の最大値が閾値λよりも小さい場合、乱数行列により新たなクラスタの射影行列Φを生成し、この射影行列Φを更新し、また、全ての類似度の最大値が閾値λ以上の場合、最大の類似度のクラスタにおける射影行列Φを更新する。

射影行列更新器（射影行列更新部）１０８は、判定器１０７の判定結果に基づき射影行列Φを更新し、射影行列Φの学習を行う。射影行列更新器１０８は、以下の更新学習式にて学習後の射影行列Φ_ｋ ^＊を得る。本実施の形態では、関連技術の（１）式に（２）式を適用する。

（１）式の右の項（類似度距離尺度）に（２）式を適用した目的関数を次の（３）式に示す。

ここで、（３）式の右の項はｂ_ｋを大きくするほど大きくなるため、解くことができない。これを解決するため、次の（４）式のように負例の項（第２項）を追加する。

（４）式において、ｙは「正解話題」、ｙ’は「推定話題と類似度が高くて、正解話題ではない話題」、ｍは負例の数である。「正解話題」とは、単語に関連する正しい話題（学習用データベースで単語に関連付けられた話題）であり、推定話題と最も類似度が高い話題である。「推定話題と類似度が高くて、正解話題ではない話題」とは、類似度が所定値よりも高く、正解話題以外の話題（不正解の話題）である。（４）式により、類似度が最も高い「正解話題」を正例として推定話題が近づくように、かつ、「推定話題と類似度が高くて、正解話題ではない話題」を負例として推定話題が遠ざかるように、射影変換モジュール（射影行列Φ１〜ΦＣ）を更新する。図２は、（４）式の演算を模式的に示している。図２に示すように、（４）式の第１項により正解話題（ｙ）に推定話題（ｙｅ）を近づけ、（４）式の第２項により「推定話題と類似度が高くて、正解話題ではない話題」（ｙ１’、ｙ２’）から推定話題（ｙｅ）を遠ざける。（４）式は、「推定話題と類似度が高くて、正解話題ではない話題」と「推定話題」との関係を負例として用いることにより、推定話題が誤った話題に近づかないように制約をかけている点を特徴としている。「推定話題と類似度が高くて、正解話題ではない話題」から「推定話題」を遠ざけることで学習精度が向上し、「正解話題」に「推定話題」を近づけることでさらに学習精度が向上する。

なお、本実施の形態に係る学習方法が実現できれば、その他のブロックで構成してもよい。図１の話題推定学習装置１００における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。話題推定学習装置１００の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に本実施の形態に係る学習方法を行うためのプログラムを格納し、話題推定学習装置１００の各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

次に、図３及び図４を用いて、本実施の形態に係る学習方法の具体例について説明する。図３は、学習用データベース１０１に格納されるデータ例のイメージを示し、図４は、この学習用データベース１０１を用いた動作例を示している。

図３の例では、学習用データベース１０１に、話題ｙＡ（自動車）と単語ｘａ（タイヤ）、単語ｘｂ（エンジン）、単語ｘｃ（燃料）・・・が関連付けられたデータ、話題ｙＢ（飛行機）と単語ｘａ（タイヤ）、単語ｘｄ（エアバス）、単語ｘｅ（ＣＡ）・・・が関連付けられたデータが格納されている。

図４に示すように、まず、単語ベクトル変換器１０３は、学習用データベース１０１から単語ｘが入力されると（Ｓ１０１）、入力された単語ｘを単語ベクトルＸに変換する（Ｓ１０２）。この例では単語ｘ（排気ガス）が入力され、単語ベクトルデータベース１０２に格納されているＷｏｒｄ Ｅｍｂｅｄｄｉｎｇに基づき単語ベクトルＸ（排気ガス）を生成する。

続いて、射影変換モジュール１０５は、生成された単語ベクトルＸを複数の推定話題ベクトルＹＥに射影変換する（Ｓ１０３）。例えば、単語ベクトルＸ（排気ガス）を、クラスタごとの射影行列Φを用いて、推定話題ベクトルＹＥ（工場、火力発電所、自動車、飛行機等）に変換する。

一方、話題ベクトル変換器１０４は、学習用データベース１０１から話題ｙが入力されると（Ｓ１０４）、入力された話題ｙを話題ベクトルＹに変換する（Ｓ１０５）。例えば、話題ｙとして正解話題ｙＡ（自動車）が入力され、単語ベクトルデータベース１０２に格納されているＷｏｒｄ Ｅｍｂｅｄｄｉｎｇに基づき話題ベクトルＹ（自動車）を生成する。このとき、不正解の話題ｙ（飛行機、工場、火力発電所等）を話題ベクトルＹに変換してもよい。

続いて、類似度算出器１０６は、生成された推定話題ベクトルＹＥと話題ベクトルＹの類似度を算出する（Ｓ１０６）。例えば、正解話題ｙＡ（自動車）の話題ベクトルＹと、単語ｘのクラスタごとの推定話題ベクトルＹＥ（工場、火力発電所、自動車、飛行機等）の類似度を、（２）式を用いて算出する。この例では、話題ベクトルＹ（自動車）と推定話題ベクトルＹＥ（工場）の類似度は２、話題ベクトルＹ（自動車）と推定話題ベクトルＹＥ（火力発電所）の類似度は２、話題ベクトルＹ（自動車）と推定話題ベクトルＹＥ（自動車）の類似度は１０、話題ベクトルＹ（自動車）と推定話題ベクトルＹＥ（飛行機）の類似度は７である。このとき、不正解の話題ｙ（飛行機、工場、火力発電所等）と推定話題ベクトルＹＥとの類似度を算出してもよい。

続いて、判定器１０７は、算出された類似度に基づき、単語ｘが従属すべきクラスタを判定する（Ｓ１０７）。この例では、推定話題ベクトルＹＥ（自動車）の類似度が１０であり最も高い（もしくは閾値よりも高い）ため、単語ｘ（排気ガス）が従属すべきクラスタは「自動車」であると判定する。

続いて、射影行列更新器１０８は、判定された結果のクラスタに基づき射影行列Φを更新する（Ｓ１０８）。射影変換モジュール１０５における該当するクラスタの射影行列Φについて、単語ｘを変換した推定話題ベクトルＹＥが正解話題に近づくように、かつ、この推定話題ベクトルＹＥが「推定話題と類似度が高くて、正解話題ではない話題」から遠ざかるように、射影行列Φを更新する。この例では、正解話題を（自動車）とし、推定話題と類似度が高くて、正解話題ではない話題を（飛行機）とすると、単語ｘ（排気ガス）の推定話題ベクトルＹＥを正解話題ｙＡ（自動車）の話題ベクトルＹに近づけるようにクラスタ（自動車）の射影行列Φを更新し、かつ、単語ｘ（排気ガス）の推定話題ベクトルＹＥを話題ｙＢ（飛行機）の話題ベクトルＹから遠ざけるようにクラスタ（自動車）の射影行列Φを更新する。

図５は、関連技術及び本実施の形態の話題推定学習装置による学習動作の実験結果を示している。図５は、図７と同様に、関連技術及び本実施の形態の話題推定学習装置で学習した射影行列に単語を入力した際、正解の話題が何番目の候補で出現するかを集計した結果である。図５に示すように、本実施の形態では関連技術よりも上位において出現確率が高く（関連技術の１位が約０．３に対し本実施の形態の１位が約０．４）、下位では出現確率が低い。このため、関連技術よりも本実施の形態の推定精度が優れていると言える。

以上のように、本実施の形態では、「推定話題」と正解話題との関係を正例として射影変換モジュール（射影行列）を更新するだけでなく、「推定話題と類似度が高くて、正解話題ではない話題」と「推定話題」との関係を負例としても、射影変換モジュールを更新する。「推定話題」を正解話題に近づけるだけでなく、「推定話題と類似度が高くて、正解話題ではない話題」を不正解として遠ざける。これにより、誤った話題に近づかないように制約をかけることができ、関連技術よりも正確に単語・話題間の関係を学習することができる。また、クラスタリングを行いつつ、負例を用いた式により射影行列を更新することで、クラスタリングと射影行列の更新を同時に行うことができ、さらに学習精度を向上できる。したがって、この学習結果を利用することで、精度よく話題を推定することが可能となる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１００ 話題推定学習装置
１０１ 学習用データベース
１０２ 単語ベクトルデータベース
１０３ 単語ベクトル変換器
１０４ 話題ベクトル変換器
１０５ 射影変換モジュール
１０６ 類似度算出器
１０７ 判定器
１０８ 射影行列更新器

Claims (8)

1. 話題と単語とを関連付けて格納する学習用データ格納部と、
   前記単語を単語空間における単語ベクトルに変換する単語ベクトル変換部と、
   前記話題を話題空間における話題ベクトルに変換する話題ベクトル変換部と、
   前記単語ベクトルをクラスタリングするクラスタに対応した複数の射影行列を用いて、前記単語ベクトルを前記話題空間における複数の推定話題ベクトルに変換する射影変換部と、
   前記話題ベクトルと前記複数の推定話題ベクトルとの前記話題空間における類似度を算出する類似度算出部と、
   前記類似度に基づいて、前記単語ベクトルが従属すべき従属クラスタを決定するクラスタ決定部と、
   前記推定話題ベクトルとの前記類似度が所定値よりも高い不正解の前記話題ベクトルと、前記推定話題ベクトルとの関係を負例関係として、前記従属クラスタに対応した前記射影行列を更新する射影行列更新部と、
   を備える、話題推定学習装置。
2. 前記射影行列更新部は、前記不正解の前記話題ベクトルと前記推定話題ベクトルとの前記話題空間における距離を遠ざけるように、前記射影行列を更新する、
   請求項１に記載の話題推定学習装置。
3. 前記射影行列更新部は、正解の前記話題ベクトルと前記推定話題ベクトルとの関係を正例関係として、前記従属クラスタに対応した前記射影行列を更新する、
   請求項１または２に記載の話題推定学習装置。
4. 前記射影行列更新部は、前記正解の前記話題ベクトルと前記推定話題ベクトルとの前記話題空間における距離を近づけるように、前記射影行列を更新する、
   請求項３に記載の話題推定学習装置。
5. 前記クラスタ決定部は、前記類似度が所定の閾値より小さい場合、前記従属クラスタとして新たなクラスタを生成する、
   請求項１乃至４のいずれか一項に記載の話題推定学習装置。
6. 予め算出された前記単語に対応する数値ベクトルを格納する数値ベクトル格納部を備え、
   前記単語ベクトル変換部及び前記話題ベクトル変換部は、前記格納された数値ベクトルに基づき、前記単語及び前記話題を前記単語ベクトル及び前記話題ベクトルに変換する、
   請求項１乃至５のいずれか一項に記載の話題推定学習装置。
7. 前記数値ベクトルは、内積項及びバイアス項を含む関数により予め学習されており、
   前記類似度算出部は、前記内積項及びバイアス項を含む関数により前記類似度を算出する、
   請求項６に記載の話題推定学習装置。
8. 学習用データ格納部に話題と単語とを関連付けて格納し、
   前記単語を単語空間における単語ベクトルに変換し、
   前記話題を話題空間における話題ベクトルに変換し、
   前記単語ベクトルをクラスタリングするクラスタに対応した複数の射影行列を用いて、前記単語ベクトルを前記話題空間における複数の推定話題ベクトルに変換し、
   前記話題ベクトルと前記複数の推定話題ベクトルとの前記話題空間における類似度を算出し、
   前記類似度に基づいて、前記単語ベクトルが従属する従属クラスタを決定し、
   前記推定話題ベクトルとの前記類似度が所定値よりも高い不正解の前記話題ベクトルと、前記推定話題ベクトルとの関係を負例関係として、前記従属クラスタに対応した前記射影行列を更新する、
   話題推定学習方法。

Images