JP6738769B2

JP6738769B2 - 文ペア分類装置、文ペア分類学習装置、方法、及びプログラム

Info

Publication number: JP6738769B2
Application number: JP2017088955A
Authority: JP
Inventors: 京介西田; 九月貞光; 松尾　義博; 義博松尾; 久子浅野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-04-27
Filing date: 2017-04-27
Publication date: 2020-08-12
Anticipated expiration: 2037-04-27
Also published as: JP2018185771A

Description

本発明は、文ペア分類装置、文ペア分類学習装置、方法、及びプログラムに係り、特に、２つ以上の文の文ペアをクラスに分類するための文ペア分類装置、文ペア分類学習装置、方法、及びプログラムに関する。

質問文に対して回答となる文であるかの判定（回答文選択）や、２つの文が同じ意味を持つかの判定（換言同定）、文１から文２が推論可能かの判定（含意認識）など、文ペアの関係性クラスの分類を人工知能により正確に実施することができれば、情報検索や質問応答や知的エージェント対話など幅広いサービスに応用することができる。

文ペアクラス分類を行うための従来手法として、非特許文献１などの手法がこれまで提案されている。

非特許文献１などの従来手法では、各文に含まれる単語毎のベクトル類似度行列を計算し、この類似度行列に基づいて、２つの文の関係性クラスを分類している。単語のベクトルについては、非特許文献２に記載のword2vecなどの手法により、大規模な文書コーパスから学習可能である。

Wenpeng Yin, Hinrich Schutze, Bing Xiang, Bowen Zhou: ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs. Transactions of the Association for Computational Linguistics, Volume 4: 259-272 (2016) Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013.

従来手法では、単語をベクトル化して扱うことにより、例えば「野球のチケットはどこで買えますか？」と「野球の入場券の売り場はどこですか？」の２文が同じ意味（言い換え）を持つことを判定するタスクにおいて、「チケット」と「入場券」の単語ベクトルの類似度が高い事を利用して、正しく判定することが可能になっている。

しかし、「クーリングオフはいつまでできますか？」と「無条件で契約を解除できる期間は？」という言い換え判定においては、「クーリングオフ」という単語と、「無」「条件」「契約」「解除」の各単語の類似度は低くなるため、言い換え判定の精度を下げる要因となる。回答文選択や含意認識のタスクに置いても同様の問題が生じる。

本発明は、上記問題点を解決するために成されたものであり、語釈を考慮した文ペアの関係性に関するクラスを求めることができる文ペア分類装置、方法、及びプログラムを提供することを目的とする。

また、語釈を考慮した文ペアの関係性に関するクラスを求めるためのパラメータを学習することができる文ペア分類学習装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る文ペア分類装置は、文ペアの文の各々を単語の系列に分割する単語分割部と、前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するクラス分類部と、を含んで構成されている。

また、第１の発明に係る文ペア分類装置において、前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求めるようにしてもよい。

また、第２の発明に係る文ペア分類学習装置は、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割する単語分割部と、前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するクラス分類部と、前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習する学習部と、を含んで構成されている。

第３の発明に係る文ペア分類方法は、単語分割部が、文ペアの文の各々を単語の系列に分割するステップと、単語ベクトル化部が、前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、クラス分類部が、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するステップと、を含んで実行することを特徴とする。

また、第３の発明に係る文ペア分類方法において、前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求めるようにしてもよい。

また、第４の発明に係る文ペア分類学習方法は、単語分割部が、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割するステップと、単語ベクトル化部が、前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、クラス分類部が、前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するステップと、学習部が、前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習するステップと、を含んで実行することを特徴とする。

また、第５の発明に係るプログラムは、コンピュータを、第１の発明に係る文ペア分類装置、又は第２の発明に係る文ペア分類学習装置の各部として機能させるためのプログラムである。

本発明の文ペア分類装置、方法、及びプログラムによれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部が出力した特徴行列、文ペアアテンション部が出力した特徴行列、及び語釈拡張文ペアアテンション部が出力した特徴行列に対して畳み込み処理を行って得られる特徴行列を、レイヤーの出力として、文ペアの文の各々に対して出力し、クラス分類部は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーにより出力された、文ペアの各々に対する特徴行列に基づいて、文ペアの関係性に関するクラスに分類することにより、語釈を考慮した文ペアの関係性に関するクラスを求めることができる、という効果が得られる。

本発明の文ペア分類学習装置、方法、及びプログラムによれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部が出力した特徴行列、文ペアアテンション部が出力した特徴行列、及び語釈拡張文ペアアテンション部が出力した特徴行列に対して畳み込み処理を行って得られる特徴行列を、レイヤーの出力として、文ペアの文の各々に対して出力し、クラス分類部は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーにより出力された、文ペアの各々に対する特徴行列に基づいて、文ペアの関係性に関するクラスを分類し、分類結果と正解ラベルとに基づいて分類結果に関する損失を算出し、学習部は、文ペア集合に含まれる文ペアの各々に対して算出された、分類結果に関する損失に基づいて、特徴行列を求めるためのパラメータ行列を学習することにより、語釈を考慮した文ペアの関係性に関するクラスを求めるためのパラメータを学習することができる、という効果が得られる。

本発明の実施の形態に係る文ペア分類学習装置の構成を示すブロック図である。単語ベクトル記憶部の一例を示す図である。語釈文記憶部の一例を示すである。本発明の実施の形態に係る文ペア分類学習装置における文ペア分類学習処理ルーチンを示すフローチャートである。本発明の実施の形態に係る文ペア分類学習装置における文ペア分類学習処理ルーチンを示すフローチャートである。本発明の実施の形態に係る文ペア分類装置の構成を示すブロック図である。本発明の実施の形態に係る文ペア分類装置における文ペア分類処理ルーチンを示すフローチャートである。本発明の実施の形態に係る文ペア分類装置における文ペア分類処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本発明の実施の形態では、上記従来技術の問題点に鑑みて、入力された文に出現する各単語の語釈文を利用する。例えば、クーリングオフの語釈文である「一定の契約に限り、一定期間、説明不要で無条件で申込みの撤回または契約を解除できる法制度」と「無条件で契約を解除できる期間は？」の間で単語の類似度行列を計算して文ペアクラス分類に利用することで、単語ベクトルの精度に強く依存せず、高精度に文ペアクラスを分類することを可能にする。

＜本発明の実施の形態に係る文ペア分類学習装置の構成＞

次に、本発明の実施の形態に係る文ペア分類学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る文ペア分類学習装置１００は、ＣＰＵと、ＲＡＭと、後述する文ペア分類学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この文ペア分類学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０とを備えている。

入力部１０は、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合を受け付ける。

演算部２０は、単語ベクトル記憶部２２と、語釈文記憶部２４と、パラメータ行列記憶部２６と、単語分割部３０と、単語ベクトル化部３２と、文ペアアテンション部３４と、語釈拡張文ペアアテンション部３６と、畳み込み部３８と、クラス分類部４０と、学習部４２とを含んで構成されている。各処理部の処理の詳細については、作用の説明において詳しく説明する。

単語ベクトル記憶部２２には、図２に示すように、単語ｘ、及び単語ベクトルｅの組が格納されており、ｅの次元数はＥ⁽¹⁾次元である。

語釈文記憶部２４には、少なくとも１つの単語を連結したチャンク文字列と、チャンク文字列に対応する語釈文が格納されている。例えば、図３に示すように“クーリングオフ”のチャンク文字列に対応する語釈文が格納されている。

パラメータ行列記憶部２６には、文ペアアテンション部３４で用いるＷ_ａ ⁽ⁱ⁾、語釈拡張文ペアアテンション部３６で用いるＷ_ｂ ⁽ⁱ⁾、畳み込み部３８で用いるＷ_ｃ ⁽ⁱ⁾、ｂ_ｃ ⁽ⁱ⁾、クラス分類部４０で用いるＷ_ｄ、ｂ_ｄの各パラメータ行列（ｉ＝１,...,Ｂ）が格納される。

単語分割部３０は、入力部１０で受け付けた文ペア集合に含まれる文ペアの各々に対し、文ペアの文の各々を単語の系列に分割する。

単語ベクトル化部３２は、文ペア集合に含まれる文ペアの文の各々に対し、分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部２２に基づいてベクトル化して得られる、文の各々の単語に関する特徴行列Ｆ_jを出力する。

文ペアアテンション部３４は、ニューラルネットの各レイヤー（ｉ＝１,...,Ｂ）において、パラメータ行列Ｗ_ａ ⁽ⁱ⁾を用いて、文ペアの文の各々に対する単語の各々に関する特徴行列Ｆ_j、又は文ペアの文の各々に対する、一つ前のレイヤーにより出力された特徴行列Ｆ_j ⁽ⁱ⁾のマッチングに関する特徴行列Ｆ_j ⁽ⁱ⁾'を求め、文ペアの文の各々に対して出力する。

語釈拡張文ペアアテンション部３６は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗ_ｂ ⁽ⁱ⁾を用いて、レイヤーに対応する単語数ｉだけ単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部２４を検索して得られる、文ペアの一方の文に含まれるチャンクに関する語釈文に含まれる単語の各々に関する特徴行列Ｇ_ｋと、文ペアの他方の文の単語の各々に関する特徴行列Ｆ_ｈとのマッチングに関する特徴行列Ｆ_j ⁽ⁱ⁾''を求め、文ペアの文の各々に対して出力する。

畳み込み部３８は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗ_ｃ ⁽ⁱ⁾、ｂ_ｃ ⁽ⁱ⁾を用いて、単語ベクトル化部３２が出力した特徴行列Ｆ_j、文ペアアテンション部３４が出力した特徴行列Ｆ_j ⁽ⁱ⁾'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆ_j ⁽ⁱ⁾''に対して畳み込み処理を行って得られる特徴行列Ｆ_j ⁽ⁱ⁺¹⁾を、レイヤーｉの出力として、文ペアの文の各々に対して出力する。

クラス分類部４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ_１及びＦ_２と、パラメータ行列Ｗ_ｄ、ｂ_ｄとに基づいて、文ペアの関係性に関するクラスを分類し、分類結果と正解ラベルとに基づいて分類結果に関する損失Ｌを算出する。

学習部４２は、文ペア集合に含まれる文ペアの各々に対して算出された、分類結果に関する損失に基づいて、文ペアアテンション部３４、語釈拡張文ペアアテンション部３６、及び畳み込み部３８において特徴行列を求めるためのパラメータ行列Ｗ_ａ ⁽ⁱ⁾、Ｗ_ｂ ⁽ⁱ⁾、Ｗ_ｃ ⁽ⁱ⁾、ｂ_ｃ ⁽ⁱ⁾、Ｗ_ｄ、ｂ_ｄを学習する。

＜本発明の実施の形態に係る文ペア分類学習装置の作用＞

次に、本発明の実施の形態に係る文ペア分類学習装置１００の作用について説明する。入力部１０において文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合を受け付けると、パラメータ行列Ｗ_ａ ⁽ⁱ⁾、Ｗ_ｂ ⁽ⁱ⁾、Ｗ_ｃ ⁽ⁱ⁾、ｂ_ｃ ⁽ⁱ⁾、Ｗ_ｄ、ｂ_ｄを初期化してパラメータ行列記憶部２６に記憶し、文ペア分類学習装置１００は、図４及び図５に示す文ペア分類学習処理ルーチンを実行する。

ステップＳ１００では、エポック数をｎ＝１に初期化する。

ステップＳ１０２では、学習データ（正解ラベル（クラスタ）付の文ペアからなる文ペア集合）を、ランダムに定めたＭ個の文ペアが含まれるミニバッチの各々に分割する。ミニバッチに含まれる文ペアの数Ｍの最大値は、本実施の形態ではＭ_ｍａｘ＝５０とする。

ステップＳ１０４では、ミニバッチを選択する。

ステップＳ１０６では、ミニバッチの文ペアの番号を表すｍをｍ＝１に設定する。

ステップＳ１０８では、単語分割部３０は、ｍ番目の文ペアの各文（文ｊ；ｊ＝１あるいは２）に関して、ニューラルネットのレイヤーを表すブロックのインデクスを表す変数ｉをｉ＝１にセットする。

ステップＳ１１０では、単語分割部３０は、文ペアの文ｊを単語の系列に分割する。たとえば、「投資信託ではクーリングオフはいつまでできる」という文について、「投資信託」「では」「クーリング」「オフ」「は」「いつ」「まで」「できる」のような系列に分割する。単語分割部３０は、分割された単語の個数がT個より多い場合は、先頭からＴ個のトークンのみを出力する。また、Ｔ個よりも少ない場合は、特殊な単語「ＰＡＤ」を系列の末尾に追加して出力する。本実施形態では、Ｔ＝１００とする。

ステップＳ１１２では、単語ベクトル化部３２は、単語分割部３０が出力した文の単語の系列（ｘ₁,ｘ₂,..,ｘ_r）に含まれる各単語について単語ベクトル記憶部２２を検索し、文ペアの各文ｊについて、以下（１）式の文ｊの単語の各々に関する特徴行列に変換する。

・・・（１）

Ｆ_j ⁽¹⁾の行列のサイズはＥ⁽¹⁾×Ｔである。本実施形態では、Ｅ⁽¹⁾＝１００とする。

なお、単語ベクトル記憶部２２に含まれない単語および特殊単語「ＰＡＤ」の場合は、単語ベクトルはＥ⁽¹⁾次元の零ベクトルとする。

次に、ステップＳ２００では、ニューラルネットのレイヤーを表すブロック数Ｂ（ｉ＝１,..,Ｂ）を設定する。本実施形態では、Ｂ＝２とする。

ステップＳ３００では、文ペアアテンション部３４は、上記ステップＳ１１２で求められた文１及び文２の特徴行列Ｆ_j、又は後述するステップＳ５０２において前のレイヤーの畳み込み処理で求められた文１及び文２の特徴行列Ｆ_j ⁽ⁱ⁾から、以下（２）式のＡn,mを要素とするアテンション行列Ａを作成する。

・・・（２）

ここで、関数ｍａｔｃｈは、単語（あるいはチャンク）のマッチングスコアを出力するために、ベクトルｘとｙを受け取ってスカラ値を出力する関数で、１／(１＋｜ｘ−ｙ｜)とする。[:,ｎ]は列方向を考慮せずｎ行目のベクトルを取り出す操作、[:,ｍ]は列方向を考慮せずｍ行目のベクトルを取り出す操作である。また、コサイン類似度などをｍａｔｃｈ関数として使用しても良い。アテンション行列ＡのサイズはＴ×Ｔである。

次に、ステップＳ３０２では、アテンション行列Ａを以下（３）式の文１及び文２の文同士のマッチングに関する特徴行列Ｆ₁ ⁽ⁱ⁾'、Ｆ₂ ⁽ⁱ⁾'に変換する。

・・・（３）

ここで、Ｗ_a ⁽ⁱ⁾はパラメータ行列であり、Ｅ⁽ⁱ⁾×Ｔの行列である。Ａ^ｔは行列Ａの転置行列を表す。本実施形態では、Ｅ⁽²⁾＝１００、Ｅ^（３）＝１００とする。

ステップ４００では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、レイヤーのインデクスｉの値と、該文ｊの単語系列（ｘ₁,ｘ₂,..,ｘ_r）から、単語数ｉの単語を連結したチャンクの系列を作成する。ｉ＝１のとき、単語系列とチャンク系列は同じものである。ｉ＝２のとき、チャンク系列は（（ｘ₁,ｘ₂,..,ｘ_r）ＰＡＤ）となる。チャンク系列の長さは常にＴである。チャンク系列の末尾には、ｉ−１個の「ＰＡＤ」単語が追加される。なお、Ｂが３以上のときは、例えばｉ＝３のときチャンク系列は（（ｘ₁,ｘ₂,..,ｘ_r）ＰＡＤ，ＰＡＤ）となる。

ステップ４０２では、語釈拡張文ペアアテンション部３６は、チャンク系列の要素ｋ（k=１、２、…）を選択する。

ステップＳ４０４では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、ステップＳ４０２で選択した要素ｋに含まれる単語文字列を連結した文字列（チャンク文字列；例えば、（ｘ₁,ｘ₂）＝「クーリング」、「オフ」の場合”クーリングオフ”）で語釈文記憶部２４を検索し、チャンク文字列に対応する語釈文が格納されている場合は、以下（４）式に示す語釈文についての単語の各々に関する特徴行列Ｇ_kを獲得する。獲得方法は、上記ステップＳ１１２の処理と同様である。

・・・（４）

ステップＳ４０６では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、ｈ＝３−ｊとしたとき、文ｈとチャンク要素ｋに対応する語釈文の特徴行列Ｇ_ｋから、以下（５）式のアテンション行列Ａを作成する。

・・・（５）

ステップＳ４０８では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、ステップＳ４０６で作成されたアテンション行列Ａを以下（６）式の語釈に関する特徴行列Ｆ_j ⁽ⁱ⁾''に変換する。

・・・（６）

ここで、ｗａｌｌ＿ｐｏｏｌｉｎｇは各行について、列方向の非ゼロの値について平均を取った値（列方向の最大値としてもよい）である。Ｗ_b ⁽ⁱ⁾はパラメータ行列であり、Ｅ⁽ⁱ⁾×Ｔの行列である。

ステップ４１０では、語釈拡張文ペアアテンション部３６は、文ペアの各文ｊについて、チャンク系列の要素ｋのチャンク文字列に該当するものが語釈文記憶部２４に存在しない場合、特徴行列Ｆ_ｊ ⁽ⁱ⁾''の該当部分に零ベクトルを代入する。

・・・（７）

ステップＳ４１２では、語釈拡張文ペアアテンション部３６は、全ての要素ｋについて処理を終了したかを判定し、終了していればステップＳ５００に移行し終了していなければステップＳ４０２に戻って次の要素ｋを選択して処理を繰り返す。

ステップＳ５００では、畳み込み部３８は、文ペアの各文（文ｊ；ｊ＝１あるいは２）について、畳み込み処理を行う。各特徴行列Ｆ_ｊ ⁽ⁱ⁾,Ｆ_ｊ ⁽ⁱ⁾',Ｆ_ｊ ⁽ⁱ⁾''はそれぞれＥ⁽ⁱ⁾×Ｔの行列である。これらの行列から、３×Ｅ^（ｉ）×Ｔの３階テンソルＦに変換し、フィルタサイズ３×２、パディング幅の行方向０、列方向１、ストライド幅１、入力チャネル数Ｅ⁽ⁱ⁾、出力チャネル数Ｅ⁽ⁱ⁺¹⁾の畳み込み処理を行い以下（８）式にてＨを出力する。

・・・（８）

ここで、Ｈは１×Ｔ×Ｅ⁽ⁱ⁾のテンソルとなる。σはシグモイド関数、＊は畳み込み処理を表す。Ｗ_c ⁽ⁱ⁾、ｂ_c ^（i）はパラメータ行列である。

ステップＳ５０２では、畳み込み部３８は、文ペアの各文ｊについて、ステップＳ５００の畳み込み処理で得られたＨを下記プーリング処理にてｉ＋１の特徴行列Ｆ_j ⁽ⁱ⁺¹⁾に変換する。

・・・（９）

ここで、ｗ２＿ｐｏｏｌｉｎｇは各行について、ウィンドウサイズ２で列方向の非ゼロの値について平均を取った値（列方向の最大値としてもよい）である。

なお、レイヤーの最終ブロック（ｉ＝Ｂ）では、ｗ２＿ｐｏｏｌｉｎｇの代わりにｗａｌｌ＿ｐｏｏｌｉｎｇを利用する。最終層が出力するＦのサイズは、１×Ｅ^(B+1)である。

ステップＳ５０４では、ｉ＝Ｂか否かを判定し、ｉ＝ＢであればステップＳ６００に移行し、ｉ＝ＢでなければステップＳ５０６に移行し、ｉ＝ｉ＋１として、ステップＳ３００に戻って処理を繰り返す。

ステップＳ６００では、クラス分類部４０は、ニューラルネットの最終ブロックが出力したＦ₁、Ｆ₂をそれぞれベクトルに変換して連結したベクトルｖを入力として、文ペアについて文関係のクラス分類（クラス数＝Ｃ）を行う。

・・・（１０）

ここで、Ｗ_dのサイズはＣ×２Ｅ^(B+1)次元の行列、ｂ_ｄはＣ次元のベクトルであり、ｓｏｆｔｍａｘはソフトマックス関数である。ｙはＣ次元のベクトルである。

ステップ６０２では、クラス分類部４０は、出力ｙに関する損失を計算する。正解クラスのインデクスをｔ∈{１,...,Ｃ}、クラスｔに関する出力をｙ_ｔとしたとき、正解クラスｔの損失Ｌを下記（１１）式にて計算する。

・・・（１１）

ステップＳ７００では、学習部４２は、ｍ＝Ｍか否かを判定し、ｍ＝ＭであればステップＳ７０４に移行し、ｍ＝ＭでなければステップＳ７０２でｍ＝ｍ＋１としてステップＳ１０８に戻って処理を繰り返す。

ステップＳ７０４では、学習部４２は、ステップ１０８〜ステップ７００で算出された文ペアの各々に対する正解クラスｔの損失Ｌを該ミニバッチについて合計し、確率的勾配降下法により文ペアアテンション部３４のＷ_a ⁽ⁱ⁾、語釈拡張文ペアアテンション部３６のＷ_b ⁽ⁱ⁾、畳み込み部３８のＷ_c ⁽ⁱ⁾、ｂ_c ⁽ⁱ⁾クラス分類部４０のＷ_d、ｂ_dの各パラメータ行列（ｉ＝１,...,Ｂ）について最適化を行う。なお、最適化の方法は確率的勾配降下法に限らず、他の最適化法を利用しても良い。

ステップＳ７０６では、全てのミニバッチについて処理を終了したかを判定し、処理を終了していればステップＳ７０８に移行し、処理を終了していなければステップＳ１０４に戻って次のミニバッチを選択して処理を繰り返す。

ステップＳ７０８では、ｎ＝Ｎ（Ｎ＝１００）か否かを判定し、ｎ＝Ｎであれば処理を終了し、ｎ＝ＮでなければステップＳ７１０でｎ＝ｎ＋１としてステップＳ１０２に戻って処理を繰り返す。

以上説明したように、本発明の実施の形態に係る文ペア分類学習装置によれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部３２が出力した特徴行列Ｆ_j、文ペアアテンション部３４が出力した特徴行列Ｆ_j ⁽ⁱ⁾'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆ_j ⁽ⁱ⁾''に対して畳み込み処理を行って得られる特徴行列Ｆ_j ⁽ⁱ⁺¹⁾を、レイヤーｉの出力として、文ペアの文の各々に対して出力し、クラス分類部４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ_１及びＦ_２に基づいて、文ペアの関係性に関するクラスを分類し、分類結果と正解ラベルとに基づいて分類結果に関する損失Ｌを算出し、学習部４２は、文ペア集合に含まれる文ペアの各々に対して算出された、分類結果に関する損失に基づいて、特徴行列を求めるためのパラメータ行列を学習することにより、語釈を考慮した文ペアの関係性に関するクラスを求めるためのパラメータを学習することができる。

＜本発明の実施の形態に係る文ペア分類装置の構成＞

次に、本発明の実施の形態に係る文ペア分類装置の構成について説明する。図６に示すように、本発明の実施の形態に係る文ペア分類装置２００は、ＣＰＵと、ＲＡＭと、後述する文ペア分類処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この文ペア分類装置２００は、機能的には図６に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。

入力部２１０は、テストデータとして、クラスを求める対象とする文ペアを受け付ける。

演算部２２０は、単語ベクトル記憶部２２２と、語釈文記憶部２２４と、パラメータ行列記憶部２２６と、単語分割部２３０と、単語ベクトル化部２３２と、文ペアアテンション部２３４と、語釈拡張文ペアアテンション部２３６と、畳み込み部２３８と、クラス分類部２４０とを含んで構成されている。各処理部の処理の詳細については、作用の説明において詳しく説明する。

単語ベクトル記憶部２２２には、上記図２の単語ベクトル記憶部２２と同じものが格納されている。

語釈文記憶部２２４には、上記図３の語釈文記憶部２４と同じものが格納されている。パラメータ行列記憶部２２６には、上記文ペア分類学習装置１００で学習された、文ペアアテンション部２３４で用いるＷ_a ⁽ⁱ⁾、語釈拡張文ペアアテンション部２３６で用いるＷ_b ⁽ⁱ⁾、畳み込み部２３８で用いるＷ_c ⁽ⁱ⁾、ｂ_c ⁽ⁱ⁾クラス分類部２４０で用いるＷ_d、ｂ_dの各パラメータ行列（ｉ＝１,...,Ｂ）が格納されている。

単語分割部２３０は、入力部１０で受け付けた文ペアの各々に対し、文ペアの文の各々を単語の系列に分割する。

単語ベクトル化部２３２は、文ペアの文の各々に対し、分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部２２２に基づいてベクトル化して得られる、文の各々の単語に関する特徴行列Ｆ_jを出力する。

文ペアアテンション部２３４は、ニューラルネットの各レイヤー（ｉ＝１,...,Ｂ）において、パラメータ行列Ｗ_a ⁽ⁱ⁾を用いて、文ペアの文の各々に対する単語の各々に関する特徴行列Ｆ_j、又は文ペアの文の各々に対する、一つ前のレイヤーにより出力された特徴行列Ｆ_j ⁽ⁱ⁾のマッチングに関する特徴行列Ｆ_j ⁽ⁱ⁾'を求め、文ペアの文の各々に対して出力する。

語釈拡張文ペアアテンション部２３６は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗ_b ⁽ⁱ⁾を用いて、レイヤーｉに対応する単語数ｉだけ単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部２２４を検索して得られる、文ペアの一方の文に含まれるチャンクに関する語釈文に含まれる単語の各々に関する特徴行列Ｇ_ｋと、文ペアの他方の文の単語の各々に関する特徴行列Ｆ_ｈとのマッチングに関する特徴行列Ｆ_j ⁽ⁱ⁾''を求め、文ペアの文の各々に対して出力する。

畳み込み部２３８は、ニューラルネットの各レイヤーにおいて、パラメータ行列Ｗ_ｃ ⁽ⁱ⁾、ｂ_c ⁽ⁱ⁾を用いて、単語ベクトル化部２３２が出力した特徴行列Ｆ_j、文ペアアテンション部２３４が出力した特徴行列Ｆ_j ⁽ⁱ⁾'、及び語釈拡張文ペアアテンション部２３６が出力した特徴行列Ｆ_j ⁽ⁱ⁾''に対して畳み込み処理を行って得られる特徴行列Ｆ_j ⁽ⁱ⁺¹⁾を求め、レイヤーｉの出力として、文ペアの文の各々に対して出力する。

クラス分類部２４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ₁及びＦ₂と、パラメータ行列Ｗ_d、ｂ_dとに基づいて、文ペアをクラスに分類し、分類結果を出力部２５０に出力する。

＜本発明の実施の形態に係る文ペア分類装置の作用＞

次に、本発明の実施の形態に係る文ペア分類装置２００の作用について説明する。入力部２１０においてテストデータとして文ペアを受け付けると、文ペア分類装置２００は、図７及び図８に示す文ペア分類処理ルーチンを実行する。なお、複数の文ペアをテストデートする場合には、ステップＳ８００〜８０２を文ペア文ごとに行えばよい。

ステップＳ８００では、テストデータを１個の文ペアが含まれるミニバッチに分割する。

次にステップＳ８００で分割した文ペアについて、上記図４及び図５に示すステップＳ１０８〜Ｓ６００と同様の処理を行って、各クラスについてのＣ次元のベクトルｙを求める。

ステップＳ８０２では、ステップＳ６００で求められたＣ次元のベクトルｙの要素の中で最も値が大きいｔ番目の要素に対応するクラスを文ペアの分類結果として出力部２５０に出力する。

以上説明したように、本発明の実施の形態に係る文ペア分類装置によれば、ニューラルネットの各レイヤーにおいて、単語ベクトル化部３２が出力した特徴行列Ｆ_j、文ペアアテンション部３４が出力した特徴行列Ｆ_j ⁽ⁱ⁾'、及び語釈拡張文ペアアテンション部３６が出力した特徴行列Ｆ_j ⁽ⁱ⁾''に対して畳み込み処理を行って得られる特徴行列Ｆ_j ⁽ⁱ⁺¹⁾を、レイヤーｉの出力として、文ペアの文の各々に対して出力し、クラス分類部４０は、文ペア集合に含まれる文ペアの各々に対し、ニューラルネットの最後のレイヤーＢにより出力された、文ペアの各々に対する特徴行列Ｆ₁及びＦ₂に基づいて、文ペアの関係性に関するクラスに分類することで、語釈を考慮した文ペアの関係性に関するクラスを求めることができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

１０入力部
２０演算部
２２単語ベクトル記憶部
２４語釈文記憶部
２６パラメータ行列記憶部
３０単語分割部
３２単語ベクトル化部
３４文ペアアテンション部
３６語釈拡張文ペアアテンション部
３８畳み込み部
４０クラス分類部
４２学習部
１００文ペア分類学習装置
２００文ペア分類装置
２１０入力部
２２０演算部
２２２単語ベクトル記憶部
２２４語釈文記憶部
２２６パラメータ行列記憶部
２３０単語分割部
２３２単語ベクトル化部
２３４文ペアアテンション部
２３６語釈拡張文ペアアテンション部
２４０クラス分類部
２５０出力部

Claims

文ペアの文の各々を単語の系列に分割する単語分割部と、
前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、
ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、
前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するクラス分類部と、
を含む文ペア分類装置。
前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求める請求項１に記載の文ペア分類装置。
文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割する単語分割部と、
前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力する単語ベクトル化部と、
ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力する語釈拡張文ペアアテンション部と、
ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力する畳み込み部と、
前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するクラス分類部と、
前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習する学習部と、
を含む文ペア分類学習装置。
単語分割部が、文ペアの文の各々を単語の系列に分割するステップと、
単語ベクトル化部が、前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、
文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、
クラス分類部が、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類するステップと、
を含む文ペア分類方法。
前記単語ベクトル化部、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部では、予め学習されたパラメータ行列を用いて特徴行列を求める請求項４に記載の文ペア分類方法。
単語分割部が、文ペアの関係性に関するクラスを示す正解ラベルが付与された文ペアの各々を含む文ペア集合に含まれる前記文ペアの各々に対し、前記文ペアの文の各々を単語の系列に分割するステップと、
単語ベクトル化部が、前記文ペア集合に含まれる前記文ペアの前記文の各々に対し、前記分割された単語の各々を、各単語のベクトルを記憶する単語ベクトル記憶部に基づいてベクトル化して得られる、前記文の各々の単語に関する特徴行列を出力するステップと、
文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記文ペアの前記文の各々に対する前記単語の各々に関する特徴行列、又は前記文ペアの前記文の各々に対する、一つ前のレイヤーにより出力された特徴行列のマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
語釈拡張文ペアアテンション部が、ニューラルネットの各レイヤーにおいて、前記レイヤーに対応する単語数だけ前記単語を連結したチャンクについて、チャンクに対する語釈文を記憶する語釈文記憶部を検索して得られる、前記文ペアの一方の文に含まれる前記チャンクに関する語釈文に含まれる単語の各々に関する特徴行列と、前記文ペアの他方の文の単語の各々に関する特徴行列とのマッチングに関する特徴行列を、前記文ペアの前記文の各々に対して出力するステップと、
畳み込み部が、ニューラルネットの各レイヤーにおいて、前記単語ベクトル化部が出力した前記特徴行列、前記文ペアアテンション部が出力した前記特徴行列、及び前記語釈拡張文ペアアテンション部が出力した前記特徴行列に対して畳み込み処理を行って得られる特徴行列を、前記レイヤーの出力として、前記文ペアの前記文の各々に対して出力するステップと、
クラス分類部が、前記文ペア集合に含まれる前記文ペアの各々に対し、前記ニューラルネットの最後のレイヤーにより出力された、前記文ペアの各々に対する前記特徴行列に基づいて、前記文ペアの関係性に関するクラスを分類し、分類結果と前記正解ラベルとに基づいて前記分類結果に関する損失を算出するステップと、
学習部が、前記文ペア集合に含まれる前記文ペアの各々に対して算出された、前記分類結果に関する損失に基づいて、前記文ペアアテンション部、前記語釈拡張文ペアアテンション部、及び前記畳み込み部において特徴行列を求めるためのパラメータ行列を学習するステップと、
を含む文ペア分類学習方法。
コンピュータを、請求項１若しくは請求項２に記載の文ペア分類装置、又は請求項３に記載の文ペア分類学習装置の各部として機能させるためのプログラム。