JP6199461B1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】データを特徴量表現に変換する変換処理を効率よく学習することができる情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】データ分類装置１００は、入力される分類対象データＴＤを特徴量表現に変換する特徴量変換器１３０と、対象データを第１学習データＤ１として用いて、雑音データと確率値との関係を示す雑音分布データＤ３を更新する更新部１７１と、更新部によって更新された雑音分布データＤ３を用いて、雑音データを生成する生成部１７２と、第１学習データと雑音データとを用いて、特徴量変換器１３０の変換処理を学習する第１学習部１７３と、を備える。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、テキストデータや画像、音声などの分類対象データに、「政治」や「経済」などのトピックに対応するラベルを付与するトピック分析装置が知られている（特許文献１参照）。トピック分析装置は、ＳＮＳ（Social Networking Service）の分野などで好適に用いられる。

トピック分析装置は、分類対象データをベクトルデータに変換し、変換したベクトルデータに基づいてラベルを付与する。また、トピック分析装置は、予めラベルが付与された文書データ（教師データ）を用いて学習することで、ラベル付与の精度を向上させることができる。

特開２０１３−２４６５８６号公報

しかしながら、特許文献１に開示されたトピック分析装置は、ラベルを付与することによりデータを分類する分類部に対する学習処理を行うものの、分類対象データをベクトルデータに変換する変換部に対する学習処理を行うことはできなかった。

本発明は、このような事情を考慮してなされたものであり、データを特徴量表現に変換する変換処理を効率よく学習することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、入力される対象データを特徴量表現に変換する変換部と、前記対象データを第１学習データとして用いて、雑音データと確率値との関係を示す雑音分布データを更新する更新部と、前記更新部によって更新された前記雑音分布データを用いて、雑音データを生成する生成部と、前記第１学習データと前記雑音データとを用いて、前記変換部の変換処理を学習する第１学習部と、を備える情報処理装置である。

本発明の一態様によれば、データを特徴量表現に変換する変換処理を効率よく学習することができる。

実施形態に係るデータ分類装置１００の使用環境を示す図である。 実施形態に係るデータ分類装置１００の詳細構成を示すブロック図である。 実施形態に係るベクトル表現テーブルＴＢの一例を示す図である。 実施形態に係るワードベクトルＶの算出方法の一例を示す図である。 実施形態に係るラベル付与処理を説明するための図である。 実施形態に係る学習器１７０の詳細構成を示すブロック図である。 実施形態に係る第１学習データＤ１の一例を示す図である。 実施形態に係る雑音分布データＤ３の一例を示す図である。 実施形態に係る雑音分布データＤ３の一例である雑音分布ｑ（ｃ）を示す図である。 実施形態に係る第２学習データＤ２の一例を示す図である。 実施形態に係るラベル付与処理を示すフローチャートである。 実施形態に係る特徴量変換器１３０の変換処理を学習する学習処理（第１学習処理）を示すフローチャートである。 実施形態に係る分類部１４１の分類処理を学習する学習処理（第２学習処理）を示すフローチャートである。 実施形態に係るデータ分類装置１００のハードウェア構成の一例を示す図である。 他の実施形態に係るデータ分類装置１００の詳細構成を示すブロック図である。

以下、図面を参照して、情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。本実施形態においては、情報処理装置の一例として、データ分類装置について説明する。データ分類装置は、例えば、ＳＮＳにおいてリアルタイムに投稿されるデータを分類対象データとし、「政治」、「経済」、「スポーツ」といったラベルを付与することで、投稿されるデータをテーマごとに分類するのを補助する装置である。データ分類装置は、ＳＮＳなどを管理するサーバ装置に対してクラウドサービスによって分類結果を提供する装置であってもよいし、上記サーバ装置に内蔵されるものであってもよい。

データ分類装置は、分類対象データを特徴量表現に変換し、特徴量表現に基づいてラベルを付与すると共に、これらの処理の内容を学習することで、分類対象データに対して適切なラベルを付与することができる。なお、以下の説明では、一例として、特徴量表現はベクトルデータであるものとし、分類対象データは複数の単語を含むテキストデータであるものとする。

＜１．データ分類装置の使用環境＞
図１は、実施形態に係るデータ分類装置１００の使用環境を示す図である。実施形態のデータ分類装置１００は、ネットワークＮＷを介してデータサーバ２００と通信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。

データ分類装置１００は、データ管理部１１０と、受付部１２０と、特徴量変換器１３０と、分類器１４０と、第１記憶部１５０と、第２記憶部１６０と、学習器１７０とを備える。データ管理部１１０、特徴量変換器１３０、分類器１４０、および学習器１７０は、例えば、データ分類装置１００のプロセッサがプログラムを実行することで実現されてもよいし、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

受付部１２０は、ユーザからの入力を受け付けるキーボードやマウスなどの装置である。第１記憶部１５０および第２記憶部１６０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。また、第１記憶部１５０および第２記憶部１６０の一部または全部は、ＮＡＳ（Network Attached Storage）や外部のストレージサーバなど、データ分類装置１００がアクセス可能な外部装置であってもよい。

データサーバ２００は、制御部２１０と、通信部２２０とを備える。制御部２１０は、例えば、データサーバ２００のプロセッサがプログラムを実行することで実現されてもよいし、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡなどのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアが協働することで実現されてもよい。

通信部２２０は、例えばＮＩＣ（Network Interface Card）を備える。制御部２１０は、通信部２２０を用いて、ネットワークＮＷを介してデータ分類装置１００にストリームデータを逐次送信する。「ストリームデータ」とは、大量に際限なく到来する時刻順のデータであり、例えば、ブログ（ウェブログ）サービスにおいて投稿された記事や、ソーシャルネットワーキングサービス（ＳＮＳ）において投稿された記事である。また、ストリームデータには、各種センサから制御装置等に提供されるセンサデータ（ＧＰＳにより測位される位置、加速度、温度など）が含まれてもよい。データ分類装置１００は、データサーバ２００から受信したストリームデータを、分類対象データとして使用する。

＜２．データ分類装置によるラベル付与処理＞
図２は、実施形態に係るデータ分類装置１００の詳細構成を示すブロック図である。データ分類装置１００は、データサーバ２００からストリームデータ（以下、分類対象データＴＤと称す）を受信し、受信した分類対象データＴＤにラベルを付与することで分類対象データＴＤを分類する。ラベルは、分類対象データＴＤを分類するためのデータであり、例えば、「政治」、「経済」、「スポーツ」などの分類対象データＴＤが属するジャンルを示すデータである。以下、データ分類装置１００の分類動作について詳細に説明する。

データ管理部１１０は、データサーバ２００から分類対象データＴＤを受信し、受信した分類対象データＴＤを特徴量変換器１３０に出力する。また、データ管理部１１０は、受信した分類対象データＴＤを、第１学習データＤ１として第１記憶部１５０に記憶させる。

特徴量変換器１３０は、データ管理部１１０から出力された分類対象データＴＤから単語を抽出し、抽出した単語を、ベクトル表現テーブルＴＢを参照してベクトルに変換する。

図３は、実施形態に係るベクトル表現テーブルＴＢの一例を示す図である。ベクトル表現テーブルＴＢは、学習器１７０によって管理される不図示のテーブルメモリに記憶される。ベクトル表現テーブルＴＢには、ｋ個の単語のそれぞれに対して分散表現によって生成されるｐ次元のベクトルが対応付けられている。ベクトル表現テーブルＴＢに含まれる単語の上限数ｋは、テーブルメモリの容量に応じて適宜決定されるとよい。ベクトルの次元数ｐは、データの分類を正確に行うために十分な値が設定されるとよい。なお、ベクトル表現テーブルＴＢに含まれる各ベクトルは、後述する第１学習部１７３によって行われる学習処理によって算出される。

例えば、単語Ｗ１に対してはベクトルＶ１＝（Ｖ_１−１，Ｖ_１−２，・・・，Ｖ_１−ｐ）が対応付けられており、単語Ｗ２に対してはベクトルＶ２＝（Ｖ_２−１，Ｖ_２−２，・・・，Ｖ_２−ｐ）が対応付けられており、単語Ｗｋに対してはベクトルＶｋ＝（Ｖ_ｋ−１，Ｖ_ｋ−２，・・・，Ｖ_ｋ−ｐ）が対応付けられている。特徴量変換器１３０は、分類対象データＴＤから抽出した全ての単語をベクトルに変換し、変換した全てのベクトルを足し合わせることで、ワードベクトルＶを算出する。

図４は、実施形態に係るワードベクトルＶの算出方法の一例を示す図である。図４に示される例において、特徴量変換器１３０は、分類対象データＴＤから単語Ｗ１、単語Ｗ２、および単語Ｗ３を抽出したこととする。この場合、特徴量変換器１３０は、ベクトル表現テーブルＴＢを参照して、単語Ｗ１をベクトルＶ１に変換し、単語Ｗ２をベクトルＶ２に変換し、単語Ｗ３をベクトルＶ３に変換する。

次に、特徴量変換器１３０は、ベクトルＶ１、ベクトルＶ２、およびベクトルＶ３の和を求めることで、ワードベクトルＶを算出する。すなわち、図４に示される例においては、Ｖ＝Ｖ１＋Ｖ２＋Ｖ３である。このため、分類対象データＴＤから抽出された単語数に関わらず、ワードベクトルＶの次元数はｐである。

このように、特徴量変換器１３０は、学習器１７０によって管理されるベクトル表現テーブルＴＢを参照して、データ管理部１１０から入力される分類対象データＴＤをワードベクトルＶに変換する。その後、特徴量変換器１３０は、変換したワードベクトルＶと分類対象データＴＤとを分類器１４０に出力する。

なお、特徴量変換器１３０は、各ベクトルの和をワードベクトルＶとして算出することとしたが、これに限られない。例えば、特徴量変換器１３０は、各ベクトルの平均値である平均ベクトルを、ワードベクトルＶとして算出してもよいし、各ベクトルの内容を反映したものであれば、如何なるベクトルをワードベクトルＶとして算出してもよい。

分類器１４０は、分類部１４１と第２学習部１４２とを備え、例えば線形モデルを用いて分類対象データＴＤを分類する。特徴量変換器１３０からワードベクトルＶおよび分類対象データＴＤが入力されると、分類部１４１は、入力されたワードベクトルＶに対応するラベルを導出し、導出したラベルを分類対象データＴＤに付与する。これによって、分類対象データＴＤが分類される。ここでいう分類とは、単語列をラベル列に変換する構造予測のような、広義の分類を含む。なお、分類器１４０にはワードベクトルＶが入力されることとしたが、データが入力されてもよい。この場合、分類器１４０は、ワードベクトルＶ以外に入力されたデータ（例えば日付、分類の閾値や総数などを調整する各種パラメータ等）を反映させて処理を行ってもよい。

図５は、実施形態に係るラベル付与処理を説明するための図である。ここでは、説明を容易にするために、各単語が２次元のワードベクトル（ｘ，ｙ）に変換された例について説明する。図５において、横軸はワードベクトルのｘの値を示し、縦軸はワードベクトルのｙの値を示す。グループＧ１は、ラベルＬ１が付与されたワードベクトルＶのグループである。グループＧ２は、ラベルＬ２が付与されたワードベクトルＶのグループである。

境界ＢＤは、ワードベクトルＶがグループＧ１とグループＧ２の何れに属するのかを判定するために用いられる分類基準パラメータである。なお、境界ＢＤは、後述する第２学習部１４２によって行われる学習処理によって算出される。

図５に示される例において、ワードベクトルＶが境界ＢＤの右上に存在する場合、分類部１４１は、ワードベクトルＶはグループＧ１に属すると判定し、分類対象データＴＤにラベルＬ１を付与する。一方、ワードベクトルＶが境界ＢＤの左下に存在する場合、分類部１４１は、ワードベクトルＶはグループＧ２に属すると判定し、分類対象データＴＤにラベルＬ２を付与する。

このように、分類部１４１は、特徴量変換器１３０によって変換されたワードベクトルＶに基づき、分類対象データＴＤにラベルを付与する。また、分類部１４１は、ラベルが付与された分類対象データＴＤをデータサーバ２００に送信する。例えば、データサーバ２００は、データ分類装置１００から受信したラベルが付与された分類対象データＴＤを、ブログ（ウェブログ）サービスにおいて投稿された記事のジャンル分けや、ソーシャルネットワーキングサービス（ＳＮＳ）において投稿された記事のジャンル分けに使用する。

＜３．変換処理の学習＞
次に、第１学習部１７３によって実行される、特徴量変換器１３０の変換処理を学習する学習処理について説明する。第１学習部１７３は、入力される分類対象データＴＤを蓄積したデータを第１学習データＤ１として用いて、特徴量変換器１３０の変換処理を学習する。本実施形態において、特徴量変換器１３０の変換処理を学習することは、ベクトル表現テーブルＴＢに含まれるベクトルＶ１からＶｋを、より適切な値に更新することである。本実施形態においては、データ管理部１１０から出力される全ての分類対象データＴＤを第１学習データＤ１として蓄積して処理することは不適切であるため、第１学習部１７３は、少数の第１学習データＤ１を受け取るごとにリアルタイムに学習処理を行う。

図６は、実施形態に係る学習器１７０の詳細構成を示すブロック図である。学習器１７０は、更新部１７１と、生成部１７２と、第１学習部１７３とを備える。学習器１７０は、第１記憶部１５０から第１学習データＤ１を読み出す。第１記憶部１５０から読み出された第１学習データＤ１は、更新部１７１および第１学習部１７３に入力される。

図７は、実施形態に係る第１学習データＤ１の一例を示す図である。初期状態において、第１記憶部１５０には第１学習データＤ１は記憶されていないが、データ管理部１１０がデータサーバ２００から分類対象データＴＤ（ストリームデータ）を受信すると、データ管理部１１０は、受信した分類対象データＴＤを第１記憶部１５０に記憶させる。データ管理部１１０は、分類対象データＴＤを受信する度に、受信した分類対象データＴＤを第１記憶部１５０に蓄積していく。このため、分類対象データＴＤは、特徴量変換器１３０による変換処理に使用されるだけでなく、第１学習部１７３による学習処理にも使用される。

図７に示されるように、第１学習データＤ１には、データ管理部１１０によって受信された複数の分類対象データＴＤが含まれる。第１学習データＤ１に含まれる分類対象データＴＤの上限数は、第１記憶部１５０の容量に応じて適宜決定されるとよい。第１学習部１７３は、第１学習データＤ１として第１記憶部１５０に記憶された分類対象データＴＤが上限数に達した場合（言い換えると、第１記憶部１５０に記憶された第１学習データＤ１が所定量を超えた場合）、特徴量変換器１３０の変換処理を学習する学習処理を開始する。

更新部１７１は、第１記憶部１５０から読み出された第１学習データＤ１から、対象語と文脈語を抽出する。対象語は、第１学習部１７３によって行われる学習処理の対象となる単語である。文脈語は、対象語の近傍（例えば、５単語以内）に存在する単語である。更新部１７１は、抽出した文脈語を示す文脈語データｃを用いて、雑音データと確率値との関係を示す雑音分布データＤ３を更新する。

図８は、実施形態に係る雑音分布データＤ３の一例を示す図である。雑音分布データＤ３には文脈語データｃが含まれる。詳細は後述するが、雑音分布データＤ３に含まれる文脈語データｃは、第１学習部１７３によって行われる学習処理において、雑音データｎとして使用される。図８においては省略されているが、雑音分布データＤ３に含まれるそれぞれの文脈語データｃは、後述する確率値に対応付けられている。

初期状態において、雑音分布データＤ３には文脈語データｃは含まれていないが、更新部１７１が第１学習データＤ１から文脈語を抽出すると、更新部１７１は、抽出した文脈語を示す文脈語データｃを雑音分布データＤ３に追加する。

例えば、今までに抽出された文脈語データｃの総数をＮとし、雑音分布データＤ３に登録できる文脈語データｃの最大数をＴとする。この場合、更新部１７１は、Ｔ／Ｎの確率で、雑音分布データＤ３を更新する。ただし、Ｔ＞Ｎの場合、Ｔ／Ｎ＝１とする。具体的には、Ｔ＞Ｎの場合、更新部１７１は、抽出した文脈語データｃを雑音分布データＤ３に追加する。一方、Ｔ≦Ｎの場合、更新部１７１は、Ｔ／Ｎの確率で、雑音分布データＤ３を更新するか否かを判定する。更新部１７１は、雑音分布データＤ３を更新すると判定した場合には、雑音分布データＤ３に登録された複数の文脈語データｃの中からランダムに一つの文脈語データを選択し、選択した文脈語データを、新たに抽出した文脈語データに書き換える。更新部１７１は、文脈語データｃを抽出する度に、上述した処理を繰り返す。

なお、更新部１７１による更新処理は、これに限られない。例えば、更新部１７１は、雑音分布データＤ３に登録された文脈語データｃの数が最大数Ｔに達していない場合は、抽出した文脈語データｃを雑音分布データＤ３に追加してもよい。一方、更新部１７１は、雑音分布データＤ３に登録された文脈語データｃの数が最大数Ｔに達している場合は、雑音分布データＤ３の各エントリに対して、１／Ｎの確率でそのエントリを抽出した文脈語データｃに書き換えてもよい。

図８に示されるように、雑音分布データＤ３には、更新部１７１によって抽出された複数の文脈語データｃが含まれる。雑音分布データＤ３に含まれる文脈語データｃの上限数は、雑音分布データＤ３を記憶するメモリ（不図示）の容量に応じて適宜決定されるとよい。

図９は、実施形態に係る雑音分布データＤ３の一例である雑音分布ｑ（ｃ）を示す図である。具体的には、雑音分布データＤ３は、雑音データとして用いられる文脈語データｃの確率分布を示す雑音分布ｑ（ｃ）である。例えば、雑音分布ｑ（ｃ）は、複数の文脈語データｃ（ｃ１、ｃ２、ｃ３、・・・）の各々が、確率値と対応付けられている。更新部１７１は、第１学習データＤ１から抽出した文脈語の出現確率を確率値として算出し、算出した確率値と抽出した文脈語データｃとを用いて雑音分布データＤ３を更新する。なお、更新部１７１は、第１学習データＤ１が入力される度に、雑音分布データＤ３を更新する。

生成部１７２は、更新部１７１によって更新された雑音分布データＤ３を用いて、雑音データｎを生成する。例えば、生成部１７２は、図９に示される雑音分布ｑ（ｃ）に基づいて、一つの文脈語データｃを選択する。ここで、生成部１７２は、確率値が高い文脈語データｃほど、高確率で選択する。生成部１７２は、選択した文脈語データｃを、雑音データｎとして第１学習部１７３に出力する。

第１学習部１７３は、第１学習データＤ１に含まれる対象語を示す対象語データｗと、文脈語データｃとの全ペア（ｗ，ｃ）に対して、確率的勾配法を用いて損失関数Ｌ_ＮＣＥを最適化する。これによって、第１学習部１７３は、ベクトル表現テーブルＴＢに含まれるベクトルをより適した値に更新することができる。

具体的に、第１学習部１７３は、対象語データｗに対応するベクトル、文脈語データｃに対応するベクトル、および雑音データｎに対応するベクトルを、損失関数Ｌ_ＮＣＥを偏微分した値を用いて、以下の式（１）から式（３）に基づいて更新する。ここで、矢印はベクトル表現を表す記号である。

式（１）から式（３）において、αは学習率である。例えば、第１学習部１７３は、ＡｄａＧｒａｄ法を用いて学習率αを算出する。式（１）から式（３）におけるＬ_ＮＣＥは、損失関数である。第１学習部１７３は、以下の式（４）に基づいて損失関数Ｌ_ＮＣＥを算出する。なお、説明を容易にするために、損失関数には一つの雑音データが用いられることとするが、複数の雑音データが用いられてもよい。

このように、第１学習部１７３は、第１学習データＤ１を用いて、教師無し学習により特徴量変換器１３０の変換処理を学習する学習処理を行う。これによって、第１学習部１７３は、ベクトル表現テーブルＴＢに含まれるベクトルを、より適した値に更新することができる。

従来の技術において、特徴量変換器１３０の変換処理を学習する学習処理を行う場合、分類部１４１の動作を停止した上で、学習処理を行うためのデータを格納する大容量の記憶部を用いてバッチ処理を行う必要があった。このため、特徴量変換器１３０の変換処理を学習する学習処理とデータの分類処理とを並行して行うことができず、特徴量変換器１３０の変換処理を学習する学習処理とデータの分類処理とを効率的に行うことができなかった。

これに対し、本実施形態においては、データ管理部１１０から出力された分類対象データＴＤが第１学習データＤ１として第１記憶部１５０に記憶される。また、第１学習部１７３は、特徴量変換器１３０の変換処理を学習する学習処理が完了した場合、第１学習データ（分類対象データ）を第１記憶部１５０から消去する。消去によって第１記憶部１５０内の記憶領域が解放されると、データ管理部１１０は、データサーバ２００から新たに受信した分類対象データＴＤを、第１学習データとして第１記憶部１５０に記憶する。これによって、データ分類装置１００は、記憶容量が小さい第１記憶部１５０を用いて、特徴量変換器１３０の変換処理を学習する学習処理を行うことができる。

なお、本実施形態においては、第１学習部１７３は、特徴量変換器１３０の変換処理を学習する学習処理に使用された第１学習データを第１記憶部１５０から消去することとしたが、これに限られない。例えば、第１学習部１７３は、特徴量変換器１３０の変換処理を学習する学習処理に使用された第１学習データに、「上書き可」のフラグを付与することにより無効化してもよい。

第１学習部１７３は、第１学習データＤ１に含まれる他の学習データを用いて、以上の処理を繰り返し行う。これによって、ベクトル表現テーブルＴＢに含まれるベクトルの値が最適化される。例えば、互いに関連する単語のベクトルは、近い値となるように更新される。

このように、第１学習部１７３は、第１学習データＤ１に含まれる対象語データｗ（第１の単語）に対応づけられた第１のベクトルと、対象語データｗに関連する文脈語データｃ（第２の単語）に対応づけられた第２のベクトルとが近い値となるように、ベクトル表現テーブルＴＢに含まれる第１のベクトルと第２のベクトルとを更新する。具体的に、第１学習部１７３は、第１学習データＤ１において、文脈語データｃ（第２の単語）が対象語データｗ（第１の単語）から所定単語以内（例えば、５単語以内）に存在する場合、第１のベクトルと第２のベクトルとが近い値となるように、ベクトル表現テーブルＴＢに含まれる第１のベクトルと第２のベクトルとを更新する。これによって、第１のベクトルと第２のベクトルとが、より適した値に更新される。

また、第１学習部１７３は、第１のベクトルと、第２のベクトルと、雑音データｎに対応付けられた第３のベクトルとを用いて損失関数Ｌ_ＮＣＥを算出し、算出した損失関数Ｌ_ＮＣＥを偏微分した値を用いて、第１のベクトルと、第２のベクトルと、第３のベクトルとを更新する。これによって、第１のベクトルと、第２のベクトルと、第３のベクトルとが、より適した値に更新される。

第１学習部１７３は、ベクトル表現テーブルＴＢに含まれない単語が第１学習データＤ１から抽出されると、抽出された単語をベクトル表現テーブルＴＢに新たに追加し、予め設定されたベクトルを対応付ける。新たに追加された単語に対応付けられたベクトルは、第１学習部１７３によって行われる学習処理によって、より適した値に更新される。

ここで、ベクトル表現テーブルＴＢに登録された単語の総数が上限数に達している場合、第１学習部１７３は、出現頻度の低い単語をベクトル表現テーブルＴＢから消去し、新たに抽出された単語をベクトル表現テーブルＴＢに追加する。これによって、単語数の増加によりベクトル表現テーブルＴＢを格納するテーブルメモリがオーバーフローすることを防止することができる。

なお、第１学習部１７３は、雑音データｎを負例データとして用いた学習処理を行うことにより、ベクトル表現テーブルＴＢを更新してもよい。例えば、第１学習部１７３は、損失関数Ｌ_ＮＣＥに代えて、以下の式（５）に示される損失関数Ｌ_ＮＳを用いて、対象語データｗに対応するベクトル、文脈語データｃに対応するベクトル、および雑音データ（負例データ）ｎに対応するベクトルを更新してもよい。

また、第１学習部１７３は、第１学習データＤ１および雑音データｎとは異なるデータを用いて、ベクトル表現テーブルＴＢを更新してもよい。例えば、生成部１７２は、雑音データｎに加えて、雑音データｎの確率値を生成してもよい。また、第１学習部１７３は、第１記憶部１５０から読み出された第１学習データＤ１と、生成部１７２によって生成された雑音データｎおよび確率値とを用いて、ベクトル表現テーブルＴＢを更新してもよい。

＜４．分類処理の学習＞
次に、第２学習部１４２によって実行される、分類部１４１の分類処理を学習する学習処理について説明する。第２学習部１４２は、分類対象データＴＤと同種のデータに対してラベルが付与された第２学習データＤ２を用いて、分類部１４１の分類処理を学習する。本実施形態において、分類部１４１の分類処理を学習することは、ワードベクトルＶを分類するために用いられる分類基準パラメータ（例えば、図５の境界ＢＤ）を、より適切なパラメータに更新することである。

図１０は、実施形態に係る第２学習データＤ２の一例を示す図である。ユーザは、文章が含まれるテキストデータと、テキストデータに対応するラベル（正解データ）とを、データ分類装置１００に入力する。受付部１２０は、ユーザによって入力されたテキストデータおよびラベル（正解データ）を受け付け、第２学習データＤ２として第２記憶部１６０に記憶する。このように、第２学習データＤ２は、ユーザによって作成されて第２記憶部１６０に記憶されるデータであり、第１学習データＤ１とは異なり、随時入力されて増加するデータではなくてもよい。

図１０に示されるように、第２学習データＤ２には、テキストデータとラベルが対応付けられた複数の学習データが含まれる。第２学習データＤ２に含まれる学習データの上限数は、第２記憶部１６０の容量に応じて適宜決定されるとよい。第２学習部１４２は、例えば、第１学習部１７３によってベクトル表現テーブルＴＢに含まれるベクトルが更新されたときに、分類部１４１に対する学習処理を開始する。

まず、第２学習部１４２は、第２記憶部１６０に記憶された第２学習データＤ２から学習データ（テキストデータおよびラベル）を読み出す。ここで、第２学習部１４２によって読み出される学習データの個数は、第２学習部１４２によって行われる学習処理の頻度などに応じて適宜決定される。例えば、第２学習部１４２は、学習処理が頻繁に行われる場合は学習データを一つ読み出してもよいし、たまにしか学習処理が行われない場合は第２記憶部１６０から全ての学習データを読み出してもよい。第２学習部１４２は、読み出した学習データに含まれるテキストデータを特徴量変換器１３０に出力する。特徴量変換器１３０は、学習器１７０に管理されるベクトル表現テーブルＴＢを参照して、第２学習部１４２から出力されたテキストデータを、ワードベクトルＶに変換する。その後、特徴量変換器１３０は、変換したワードベクトルＶを分類器１４０に出力する。

次に、第２学習部１４２は、特徴量変換器１３０から入力されたワードベクトルＶと、第２記憶部１６０から読み出した学習データに含まれるラベル（正解データ）とを用いて、分類基準パラメータ（図５の境界ＢＤ）を更新する。第２学習部１４２は、従来から行われているいずれの手法を用いて分類基準パラメータを算出してもよい。例えば、第２学習部１４２は、サポートベクターマシン（ＳＶＭ）のヒンジロス関数を確率的勾配法で最適化して分類基準パラメータを算出してもよく、パーセプトロンアルゴリズムを用いて分類基準パラメータを算出してもよい。

第２学習部１４２は、算出した分類基準パラメータを分類部１４１に設定する。分類部１４１は、第２学習部１４２によって設定された分類基準パラメータを用いて、前述の分類処理を行う。

このように、第２学習部１４２は、正例または負例を示す情報を含む第２学習データＤ２に基づいて、特徴量変換器１３０によって変換されたワードベクトルＶを分類するために用いられる分類基準パラメータ（例えば、図５の境界ＢＤ）を更新する。具体的に、第２学習部１４２は、第２記憶部１６０からラベルが付与された第２学習データＤ２を読み出し、読み出した第２学習データＤ２を特徴量変換器１３０に出力する。特徴量変換器１３０は、第２学習部１４２から出力された第２学習データＤ２をワードベクトルＶに変換し、変換したワードベクトルＶを第２学習部１４２に出力する。第２学習部１４２は、特徴量変換器１３０から出力されたワードベクトルＶと、第２学習データＤ２に付与されたラベルとに基づき、分類基準パラメータを更新する。これによって、ワードベクトルＶを分類するために用いられる分類基準パラメータ（図５の境界ＢＤ）をより適した値に更新することができる。

なお、第２学習部１４２は、分類部１４１の分類処理を学習する学習処理が完了した場合であっても、学習に使用した学習データ（テキストデータおよびラベル）を第２記憶部１６０から消去しない。つまり、第２学習部１４２は、分類部１４１の分類処理を学習する学習処理を行う際、第２記憶部１６０に蓄積された第２学習データＤ２を繰り返し使用する。これによって、第２記憶部１６０が空のために第２学習部１４２が学習処理を行えないことを防止することができる。

なお、第２学習部１４２は、分類部１４１の分類処理を学習する学習処理に使用された第２学習データにフラグを付与し、フラグを付与されたデータを消去できるようにしてもよい。これによって、第２記憶部１６０がオーバーフローすることを防止することができる。

第２学習部１４２は、第１学習部１７３による学習処理が行われる度に、第２学習データＤ２に含まれる他の学習データ（テキストデータおよびラベル）を用いて学習処理を繰り返し行う。第２学習データＤ２は、ユーザによって入力されたラベル（正解データ）が付与されたデータである。このため、第２学習部１４２は、第２学習データＤ２を用いて分類部１４１に対する学習処理を行う度に、分類部１４１によって行われる分類処理の精度を向上させることができる。

なお、特徴量変換器１３０および分類部１４１による処理は、第１学習部１７３および第２学習部１４２による処理とは非同期で実行される。これによって、特徴量変換器１３０の変換処理を学習する学習処理と、分類部１４１の分類処理を学習する学習処理と、データの分類処理とを効率的に行うことができる。

仮に、ベクトル表現を逐次学習する技術が存在する場合であっても、一つずつ学習データを読み出して学習処理をリアルタイムで行うことや、一度学習された単語に対応するベクトルを再度更新することは難しい。しかしながら、本実施形態の第１学習部１７３は、第１記憶部１５０から一つずつ学習データを読み出す場合であっても、特徴量変換器１３０および分類部１４１による処理と並行してリアルタイムで動作することができる。また、本実施形態の第１学習部１７３は、一度更新したベクトル表現テーブルＴＢ内のベクトルを、第１学習データＤ１を使用して学習する度に、より適した値に再度更新することができる。

＜５．ラベル付与処理のフローチャート＞
図１１は、実施形態に係るラベル付与処理を示すフローチャートである。本フローチャートによる処理は、データ分類装置１００によって実行される。

まず、データ管理部１１０は、データサーバ２００から分類対象データＴＤを受信したか否かを判定する（Ｓ１１）。データ管理部１１０は、データサーバ２００から分類対象データＴＤを受信したと判定した場合、受信した分類対象データＴＤを、第１学習データＤ１として第１記憶部１５０に記憶する（Ｓ１２）。

次に、データ管理部１１０は、受信した分類対象データＴＤを特徴量変換器１３０に出力する（Ｓ１３）。特徴量変換器１３０は、学習器１７０によって管理されるベクトル表現テーブルＴＢを参照して、データ管理部１１０から入力された分類対象データＴＤを、ワードベクトルＶに変換する（Ｓ１４）。特徴量変換器１３０は、変換したワードベクトルＶを分類部１４１に出力する。

分類部１４１は、特徴量変換器１３０から入力されたワードベクトルＶおよび分類基準パラメータ（図５の境界ＢＤ）に基づき、分類対象データＴＤにラベルを付与することで、分類対象データＴＤを分類する（Ｓ１５）。分類部１４１は、ラベルが付与された分類対象データＴＤをデータサーバ２００に送信し（Ｓ１６）、前述のＳ１１に処理を戻す。

＜６．第１学習処理のフローチャート＞
図１２は、実施形態に係る特徴量変換器１３０の変換処理を学習する学習処理（第１学習処理）を示すフローチャートである。本フローチャートによる処理は、学習器１７０によって実行される。

まず、学習器１７０は、第１記憶部１５０内の第１学習データＤ１が所定量を超えたか否かを判定する（Ｓ２１）。学習器１７０は、第１記憶部１５０内の第１学習データＤ１が所定量を超えたと判定した場合、第１記憶部１５０から第１学習データＤ１を読み出す（Ｓ２２）。

次に、学習器１７０の更新部１７１は、第１記憶部１５０から読み出した第１学習データＤ１を用いて、雑音分布データＤ３を更新する（Ｓ２３）。また、生成部１７２は、更新部１７１によって更新された雑音分布データＤ３を用いて、雑音データｎを生成する（Ｓ２４）。

第１学習部１７３は、第１記憶部１５０から読み出された第１学習データＤ１と、生成部１７２によって生成された雑音データｎとを用いて、ベクトル表現テーブルＴＢを更新する（Ｓ２５）。これによって、ベクトル表現テーブルＴＢに含まれるベクトルをより適した値に更新することができる。次に、第１学習部１７３は、更新に使用した第１学習データＤ１を、第１記憶部１５０から消去する（Ｓ２６）。その後、第１学習部１７３は、第１学習処理の完了を示す学習完了通知を第２学習部１４２に出力し（Ｓ２７）、前述のＳ２１に処理を戻す。

＜７．第２学習処理のフローチャート＞
図１３は、実施形態に係る分類部１４１の分類処理を学習する学習処理（第２学習処理）を示すフローチャートである。本フローチャートによる処理は、第２学習部１４２によって実行される。

まず、第２学習部１４２は、第１学習部１７３から学習完了通知が入力されたか否かを判定する（Ｓ３１）。第２学習部１４２は、第１学習部１７３から学習完了通知が入力されたと判定した場合、第２記憶部１６０から第２学習データＤ２を読み出す（Ｓ３２）。

次に、第２学習部１４２は、読み出した第２学習データＤ２を用いて、分類基準パラメータ（例えば、図５の境界ＢＤ）を更新する（Ｓ３３）。これによって、分類部１４１によって行われる分類処理の精度を向上させることができる。その後、第２学習部１４２は、前述のＳ３１に処理を戻す。

なお、データ分類装置１００は、図１１に示されるフローチャートによる処理と、図１２に示されるフローチャートによる処理と、図１３に示されるフローチャートによる処理とを並行して実行する。これによって、データ分類装置１００は、ラベル付与処理を停止させることなく、特徴量変換器１３０の変換処理を学習する学習処理と、分類部１４１の分類処理を学習する学習処理とを実行することができる。したがって、データ分類装置１００は、特徴量変換器１３０の変換処理を学習する学習処理と、分類部１４１の分類処理を学習する学習処理と、データの分類処理とを効率的に行うことができる。

＜８．ハードウェア構成＞
図１４は、実施形態に係るデータ分類装置１００のハードウェア構成の一例を示す図である。データ分類装置１００は、例えば、ＣＰＵ１８０、ＲＡＭ１８１、ＲＯＭ１８２、フラッシュメモリやＨＤＤなどの二次記憶装置１８３、ＮＩＣ１８４、ドライブ装置１８５、キーボード１８６、およびマウス１８７が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１８５には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１８３、またはドライブ装置１８５に装着された可搬型記憶媒体に記憶されたプログラムがＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１８１に展開され、ＣＰＵ１８０によって実行されることで、データ分類装置１００の機能部が実現される。

＜９．他の実施形態＞
上記実施形態においては、データ管理部１１０によって受信された分類対象データＴＤが、特徴量変換器１３０に入力されるとともに、第１学習データＤ１として第１記憶部１５０に記憶されることとしたが、これに限られない。例えば、特徴量変換器１３０への分類対象データＴＤの入力と、第１記憶部１５０への分類対象データＴＤの入力とは、別系統であってもよい。

図１５は、他の実施形態に係るデータ分類装置１００の詳細構成を示すブロック図である。図１５に示されるように、データ分類装置１００は、分類対象データＴＤと同種の学習データを自動的に収集する自動収集部１９０を更に備え、自動収集部１９０は、収集した学習データを第１学習データＤ１として第１記憶部１５０に記憶させてもよい。このように、データ分類装置１００は、特徴量変換器１３０へ分類対象データＴＤを入力するデータ管理部１１０とは別に、収集した学習データを第１学習データＤ１として第１記憶部１５０に記憶させる自動収集部１９０を備えてもよい。

また、データ分類装置１００は、テキストデータである分類対象データＴＤを分類してラベルを付与することとしたが、これに限られない。例えば、データ分類装置１００は、音声データである分類対象データＴＤを分類してラベルを付与してもよいし、画像データである分類対象データＴＤを分類してラベルを付与してもよい。データ分類装置１００が画像データを分類する場合、特徴量変換器１３０は、入力された画像データをAuto-Encoderを用いてベクトル表現に変換してもよく、第１学習部１７３は、Auto-Encoderを確率的勾配法を用いて最適化してもよい。また、ベクトル表現テーブルＴＢに代えて、画像データのピクセルを入力とするニューラルネットワークが用いられてもよい。

また、第１学習部１７３は、第１記憶部１５０に記憶された第１学習データＤ１が所定量を超えた場合、特徴量変換器１３０を学習する学習処理を開始することとしたが、これに限られない。例えば、第１学習部１７３は、第１記憶部１５０に記憶された第１学習データＤ１が所定量を超えるよりも前に、特徴量変換器１３０を学習する学習処理を開始してもよい。また、第１学習部１７３は、第１記憶部１５０が満杯になった場合、特徴量変換器１３０を学習する学習処理を開始してもよい。

また、特徴量変換器１３０は、単語をベクトルに変換することとしたが、他の特徴量表現に変換してもよい。また、特徴量変換器１３０は、単語を特徴量表現に変換する際に、ベクトル表現テーブルＴＢを参照することとしたが、他の情報源を参照してもよい。

以上説明したように、実施形態のデータ分類装置１００は、特徴量変換器１３０と、更新部１７１と、生成部１７２と、第１学習部１７３とを備える。特徴量変換器１３０は、入力される分類対象データＴＤをワードベクトルＶに変換する。更新部１７１は、分類対象データＴＤを第１学習データＤ１として用いて、雑音データと確率値との関係を示す雑音分布データＤ３を更新する。生成部１７２は、更新部１７１によって更新された雑音分布データＤ３を用いて、雑音データｎを生成する。第１学習部１７３は、第１学習データＤ１と雑音データｎとを用いて、特徴量変換器１３０の変換処理を学習する。これによって、データ分類装置１００は、データを特徴量表現に変換する変換処理を効率よく学習することができる。

なお、本発明は、データ分類装置１００に適用されることとしたが、他の情報処理装置に適用されてもよい。例えば、本発明は、ベクトル表現テーブルを用いて処理対象データをワードベクトルに変換する変換部および変換部の変換処理を学習する学習部を備える学習装置に適用されてもよい。例えば、この学習装置と、ベクトル表現テーブルを用いて類義語検索を行う類義語検索装置とによって、学習機能を備える類義語検索システムが実現される。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１００…データ分類装置
１１０…データ管理部
１２０…受付部
１３０…特徴量変換器
１４０…分類器
１４１…分類部
１４２…第２学習部
１５０…第１記憶部
１６０…第２記憶部
１７０…学習器
１７１…更新部
１７２…生成部
１７３…第１学習部
１９０…自動収集部
２００…データサーバ

Claims (17)

1. 入力される対象データを特徴量表現に変換する変換部と、
   前記対象データを第１学習データとして用いて、雑音データとして使用される文脈語を示す文脈語データと、前記文脈語の出現確率を示す確率値との関係を示す雑音分布データを更新する更新部と、
   前記更新部によって更新された前記雑音分布データを用いて、雑音データを生成する生成部と、
   前記第１学習データと前記雑音データとを用いて、前記変換部の変換処理を学習する第１学習部と、
   を備える情報処理装置。
2. 前記変換部は、単語とベクトルが対応付けられたベクトル表現テーブルを参照して、前記対象データを前記特徴量表現としてのベクトルデータに変換し、
   前記第１学習部は、前記第１学習データと前記雑音データとを用いて、前記ベクトル表現テーブルに含まれるベクトルを更新する
   請求項１記載の情報処理装置。
3. 前記第１学習部は、前記第１学習データに含まれる第１の単語に対応づけられた第１のベクトルと、前記第１の単語に関連する第２の単語に対応づけられた第２のベクトルとが近い値となるように、前記ベクトル表現テーブルに含まれる前記第１のベクトルと前記第２のベクトルとを更新する
   請求項２記載の情報処理装置。
4. 前記更新部は、前記第１学習データから前記第２の単語を抽出し、抽出した前記第２の単語を前記文脈語データとして用いて前記雑音分布データを更新する
   請求項３記載の情報処理装置。
5. 前記第２の単語は、前記第１学習データにおいて、前記第１の単語から所定単語以内に存在する単語であり、
   前記雑音分布データは、前記第２の単語の確率分布を示すデータである
   請求項３または４記載の情報処理装置。
6. 前記第１学習部は、前記第１のベクトルと、前記第２のベクトルと、前記雑音データに対応付けられた第３のベクトルとを用いて損失関数を算出し、算出した損失関数を偏微分した値を用いて、前記第１のベクトルと、前記第２のベクトルと、前記第３のベクトルとを更新する
   請求項３から５のいずれか一項に記載の情報処理装置。
7. 前記生成部は、前記雑音データとして使用される文脈語を示す前記文脈語データに加えて、前記雑音データとして使用される前記文脈語の出現確率を示す確率値を生成し、
   前記第１学習部は、前記第１学習データと、前記生成部によって生成された前記文脈語データおよび前記確率値とを用いて、前記変換部の変換処理を学習する
   請求項１記載の情報処理装置。
8. 前記変換部によって変換された前記特徴量表現に基づき、前記対象データにラベルを付与する分類部と、
   前記対象データと同種のデータに対してラベルが付与された第２学習データを用いて、前記分類部の分類処理を学習する第２学習部と、
   を更に備える請求項１記載の情報処理装置。
9. 前記第２学習部は、正例または負例を示す情報を含む前記第２学習データに基づいて、前記変換部によって変換された前記特徴量表現を分類するために用いられる分類基準パラメータを更新する
   請求項８記載の情報処理装置。
10. 前記第２学習部は、前記第２学習データを前記変換部に出力し、
    前記変換部は、前記第２学習部から出力された前記第２学習データを前記特徴量表現に変換し、変換した前記特徴量表現を前記第２学習部に出力し、
    前記第２学習部は、前記変換部から出力された前記特徴量表現と、前記第２学習データに付与された前記ラベルとに基づき、前記分類基準パラメータを更新する
    請求項９記載の情報処理装置。
11. 前記変換部および前記分類部による処理は、前記第１学習部および前記第２学習部による処理とは非同期で実行される
    請求項８記載の情報処理装置。
12. 前記第１学習データは、第１記憶部に記憶され、
    前記第１学習部は、前記第１記憶部に記憶された前記第１学習データが所定量を超えた場合に、前記変換部の変換処理を学習する学習処理を開始する
    請求項１記載の情報処理装置。
13. 前記第１学習部は、前記変換部の変換処理を学習する学習処理が完了した場合、前記第１学習データを前記第１記憶部から消去または無効化する
    請求項１２記載の情報処理装置。
14. 前記生成部は、前記雑音分布データから、前記確率値が高い文脈語データほど高確率で選択し、選択した前記文脈語データを前記雑音データとして前記第１学習部に出力する
    請求項１から１３の何れか一項に記載の情報処理装置。
15. 入力される対象データを第１学習データとして用いて、雑音データとして使用される文脈語を示す文脈語データと、前記文脈語の出現確率を示す確率値との関係を示す雑音分布データを更新する更新部と、
    前記更新部によって更新された前記雑音分布データを用いて、雑音データを生成する生成部と、
    前記第１学習データと前記雑音データとを用いて、前記対象データを特徴量表現に変換する変換部の変換処理を学習する第１学習部と、
    を備える情報処理装置。
16. 情報処理装置が、入力される対象データを特徴量表現に変換する変換工程と、
    前記情報処理装置が、前記対象データを第１学習データとして用いて、雑音データとして使用される文脈語を示す文脈語データと、前記文脈語の出現確率を示す確率値との関係を示す雑音分布データを更新する更新工程と、
    前記情報処理装置が、前記更新工程において更新された前記雑音分布データを用いて、雑音データを生成する生成工程と、
    前記情報処理装置が、前記第１学習データと前記雑音データとを用いて、前記変換工程の変換処理を学習する第１学習工程と、
    を備える情報処理方法。
17. コンピュータを、
    入力される対象データを特徴量表現に変換する変換部、
    前記対象データを第１学習データとして用いて、雑音データとして使用される文脈語を示す文脈語データと、前記文脈語の出現確率を示す確率値との関係を示す雑音分布データを更新する更新部、
    前記更新部によって更新された前記雑音分布データを用いて、雑音データを生成する生成部、
    前記第１学習データと前記雑音データとを用いて、前記変換部の変換処理を学習する第１学習部、
    として機能させるためのプログラム。

Images