JP6957967B2 - 生成プログラム、生成方法、生成装置、及びパラメータ生成方法 - Google Patents

Description

本発明は、生成プログラム、生成方法、生成装置、及びパラメータ生成方法に関する。

自然言語処理の分野において機械学習、例えばニューラルネットワークが用いられている。また、ニューラルネットワークを用いて予測制御等を行なう手法も開発されている。

自然言語処理の分野において文章の検索や分類を行なうための手法として、ニューラルネットワークの一例であるＲＮＮ（Recurrent Neural Network；リカレントニューラルネットワーク）オートエンコーダが開発されている。ＲＮＮオートエンコーダ（RNNA）は、教師データを用いず、入力と出力に同じデータを設定して学習を行なう手法であり、文章の特徴量、例えば圧縮表現を得ることを可能とする。

特開平８−２２１３７８号公報 特開平７−１９１９６７号公報 特開平６−２８３３２号公報

しかしながら、例えば日本語のような言語・表記体系では、特定の意味を表記するための単語が複数存在するうえに、ひらがな，カタカナ，漢字等の表記が混在している。例えば、「teacher」という英単語を日本語で表記する場合には、「教師」，「先生」，「せんせい」等の複数の表記がある。以下、特定の意味を表す表記が複数存在することを「表記の揺れ」と言う。例えば、このような「表記の揺れ」をもつ言語を入力データに用いた場合、文章の特徴量が表記の揺れによる影響を受け、文章の検索や分類等の精度が低下する場合がある。

１つの側面では、機械学習による言語の文章の特徴量を得る際の、言語の表記の揺れによる影響を軽減することを目的とする。

１つの側面では、生成プログラムは、第１の言語で記述された第１の文章を取得し、前記第１の言語で記述されそれぞれが異なる単語を含む第２の文章と第３の文章とのそれぞれに対して、前記第２の文章と前記第３の文章とに対応する翻訳文である第２の言語で記述された第４の文章がラベル付けされた訓練データを用いた機械学習により生成された機械学習モデルのパラメータに基づいて、前記第１の文章を表すベクトルを生成する、処理をコンピュータに実行させてよい。

１つの側面では、機械学習による言語の文章の特徴量を得る際の、言語の表記の揺れによる影響を軽減することができる。

一実施形態の比較例に係る文章のベクトル化を示す図である。 一実施形態の比較例に係るＲＮＮにおける入出力を示す図である。 一実施形態の比較例に係るＲＮＮにおけるバックプロパゲーションによる学習を示す図である。 一実施形態の比較例に係るＲＮＮにおける学習を示す図である。 一実施形態の比較例に係るＲＮＮオートエンコーダにおける圧縮表現の取得を示す図である。 一実施形態に係る学習装置の機能構成例を示すブロック図である。 一実施形態に係る学習装置のハードウェア構成例を示すブロック図である。 一実施形態に係る文章取得部において読み込む文章例を示す図である。 一実施形態に係るベクトル変換部において形態素解析を施した結果を例示する図である。 一実施形態に係るベクトル変換部においてベクトル化を行なった結果を例示する図である。 一実施形態に係るＲＮＮオートエンコーダにおける入出力例を示す図である。 一実施形態に係るＲＮＮオートエンコーダにおける学習を例示する図である。 一実施形態に係るＲＮＮにおける変換パラメータと出力データを例示する図である。 一実施形態に係る学習処理の一例を説明するためのフローチャートである。 一実施形態に係る圧縮表現取得処理の一例を説明するためのフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示あり、以下に明示しない種々の変形や技術の適用を排除する意図等はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

〔１〕一実施形態
〔１−１〕比較例に係るＲＮＮについて
はじめに、図１を参照して、一実施形態の比較例に係る文章の検索又は分類の手法について説明する。なお、以下の手法は、例えば、コンピュータにより実施されてよい。

自然言語処理の分野では、文章の分類や検索を行なうために、まず、図１に示すように、文章群１００１を構成する複数の文章１００１ａ〜ｎ（ｎは整数）は、それぞれ、ベクトル１００２ａ〜ｎ（ｎは整数）にベクトル化される。「ベクトル」は「圧縮表現」と称されてもよい。文章の「ベクトル」或いは「圧縮表現」は、文章の特徴を表す指標である「特徴量」の一例である。

図１に示すように、文章１００１ａ，１００１ｂは、それぞれ、［０．８３２，０．５５５，０，０］（ベクトル１００２ａ），［０．７８９，０．５１５，０．３３５，０］（ベクトル１００２ｂ）にベクトル化される。また、文章１００１ｃは、［０．５２４，０．４６５，０．４０５，０．５８８］（ベクトル１００２ｃ）にベクトル化される。

次に、文章１００１ａ〜ｎを比較するために、コンピュータは、ベクトル１００２ａ〜ｎ同士の類似度を算出し、算出した類似度に基づいて文章１００１ａ〜ｎの分類や検索を行なう。ここでは、文章１００１ａを、文章１００１ｂ又は文章１００１ｃの属するグループに分類する場合を例に挙げ説明する。

文章１００１ａを、文章１００１ｂの属するグループに分類するか、文章１００１ｃの属するグループに分類するかを判断するために、コンピュータは、文章１００１ａと文章１００１ｂとの類似度、及び、文章１００１ａと文章１００１ｃとの類似度を算出する。ここでは、文章の類似度の算出に、文章のベクトルに基づく、ｃｏｓ（コサイン）類似度を用いる方法を例に挙げ説明する。

ｃｏｓ類似度は、例えば、下記式（１）により算出されてよい。なお、下記式（１）において、ｑ，ｄは、それぞれ文章のベクトルであり、文章同士が類似すればするほど、ｃｏｓ類似度は１に近づき、文章同士が類似しないほど、ｃｏｓ類似度は−１に近づく。｜Ｖ｜は、ｑ，ｄのベクトルの要素数を表す。例えば、コンピュータは、コサイン類似度が１に最も近くなる文書同士を、同じグループに分類してよい。

ｃｏｓ（ｑ，ｄ）＝ｑ・ｄ＝Σ^|V| _i=1（ｑ_ｉｄ_ｉ） （１）

図１の例では、文章１００１ａと文章１００１ｂの類似度は、それぞれのベクトル１００２ａと１００２ｂとを用いて、（０．８３２×０．７８９）＋（０．５５５×０．５１５）＋（０×０．３３）＋（０×０）≒０．９４２のように算出される。一方、文章１００１ａと文章１００１ｃの類似度は、それぞれのベクトル１００２ａと１００２ｃとを用いて、（０．８３２×０．５２４）＋（０．５５５×０．４６５）＋（０×０．４０５）＋（０×０．５８８）≒０．６９４のように算出される。両類似度を比較すると、０．９４２＞０．６９４となり、０．９４２が１に近い値であることから、コンピュータは、文章１００１ａが文章１００１ｂに類似していると判断し、文章１００１ａを文章１００１ｂの属するグループに分類する。

このように、コンピュータは、文章群１００１をベクトル化してベクトル１００２ａ〜ｎを取得することにより、文章１００１ａ〜ｎそのものではなく、当該文章のベクトル１００２ａ〜ｎを比較して、文章の分類や検索を行なうことができる。

次に、図２に示す比較例を参照して、ＲＮＮ１１００を用いた文章の学習について説明する。ＲＮＮ１１００では、文章の時系列を考慮した学習を行なうことができる。

図２の例では、ＲＮＮにおいて「彼は教師です。」という文章を学習する際の入出力を示している。なお、図２中の「ＲＮＮ１１００」は、ＲＮＮ全体を指すものとする。また、図２中に複数のＲＮＮ１１００が示されているが、これらのＲＮＮ１１００は全て同一のＲＮＮである。すなわち、図２の例では、１つのＲＮＮ１１００に文章の要素が順次入力及び出力される様子を示すものである。

ＲＮＮ１１００への入力データ１１０１は、コンピュータにより、学習対象となる文章について形態素解析を行ない、当該文章に出現する語句（たとえば、単語）を抽出し、抽出した各語句をベクトル化することにより求められてよい。図２の例では、コンピュータは、「彼は教師です。」という文章をＲＮＮ１１００に学習させるために、当該文章に対して形態素解析を行ない、当該文章に出現する語句である、「彼」，「は」，「教師」，「です」を抽出する。そして、コンピュータは、抽出した各語句をベクトル化する。例えば、ベクトル化の手法としてＯｎｅ−ｈｏｔ（ワンホット）を用いると、図２に示すように、抽出された語句はそれぞれ、以下のようにベクトル化される。

「彼」 ：［１，０，０，０］，
「は」 ：［０，１，０，０］，
「教師」：［０，０，１，０］，
「です」：［０，０，０，１］

前述のようにして求められたベクトルは、図２に示すように、ＲＮＮ１１００への入力データ１１０１としてセットされる。また、ＲＮＮ１１００では、入力データ１１０１と出力データ１１０２に同じ値をセットして学習が行なわれることから、ＲＮＮ１１００の出力データ１１０２に、上記入力データ１１０１と同様のベクトルがセットされる。そして、入力データ１１０１のそれぞれは、Ａ１、Ａ２、…、Ａ８（図２中の実線で示す矢印Ａ１〜Ａ８参照）の順にＲＮＮ１１００に入力される。ＲＮＮ１１００の内部では、入力データ１１０１と出力データ１１０２とが同じデータ（例えば同じ値）となるように学習が繰り返し行なわれる。また、図２中の点線で示す矢印は、各入力データ１１０１に対するＲＮＮ１１００からの出力を示しており、この出力等がＲＮＮ１１００の内部で受け渡されることにより（図２中の太線で示す矢印参照）、学習が行なわれる。

図３は、図２に示す比較例におけるＲＮＮ１１００のノードを一つ取り出し、バックプロパゲーションによる学習を示したものである。

図３の例では、ＲＮＮ１１００の入力データ１１０１として、［１，０，０，０］がセットされると、初期状態の出力１１０２として、［０．７，０．３，−０．５，０．１］が得られることを示している。ＲＮＮ１１００では、学習前にはランダムな変換パラメータｗ０（初期値）により当該ニューラルネットワークが初期化されるが、変換パラメータを初期値にセットしたままでは、望ましい出力データである、［１，０，０，０］が得られない。そこで、望ましい入出力関係を得るべく、変換パラメータｗ０を適切に調整するために、バックプロパゲーションにより、出力データ１１０２と入力データ１１０１との差分に基づきＲＮＮ１１００において繰り返し学習が行なわれる。なお、望ましい出力データとは、比較例においては、「入力データ１１０１と同じ値のデータ」が挙げられる。

図４には、図３に示す比較例に係るＲＮＮ１１００における学習を示す。図３に例示するようなバックプロパゲーションによる学習が繰り返し行なわれると、ＲＮＮ１１００からの出力が望ましい出力１１０２に近づく。そして、変換パラメータｗ０が適切に調整され、入力データ１１０１に対して望ましい出力データ１１０２（例えば、入力データ１１０１と同じ値の出力データ１１０２）が得られるようになる。

次に、図５に示す比較例を参照して、ＲＮＮオートエンコーダ１２００を用いて、文章の圧縮表現を取得する手法について説明する。

例えば、図５に示すような３層のニューラルネットワークを有するＲＮＮオートエンコーダ１２００では、中間層１２００ｂの数が、入力層１２００ａ、及び、出力層１２００ｃの数よりも少なくなるように構成される。なお、図５中の「ＲＮＮＡ１２００」は、ＲＮＮＡ全体を指すものとする。また、図５中に複数のＲＮＮＡ１２００が示されているが、これらのＲＮＮＡ１２００は全て同一のＲＮＮＡである。すなわち、図５の例では、１つのＲＮＮＡ１２００に文章の要素が順次入力及び出力される様子を示すものである。

ＲＮＮオートエンコーダ１２００において文章の学習が行なわれる場合も、図２と同様に、入力（入力層１２００ａ）と出力（出力層１２００ｃ）に同じデータ、例えば、文章の各語句のベクトルをセットして学習が行なわれる。例えば、「彼は教師です。」という文章を学習する際、「彼」：［１，０，０，０］，「は」：［０，１，０，０］，「教師」：［０，０，１，０］，「です」：［０，０，０，１］が、入力データ１２０１と出力データ１２０２とにそれぞれセットされる。

図５に示すように、学習を終えたＲＮＮオートエンコーダ１２００の中間層１２００ｂには、学習された情報が圧縮されているので、中間層１２００ｂの値を直接取得することができれば、圧縮された文章の情報が取得できることになる。

しかしながら、上述したようなＲＮＮオートエンコーダ１２００では、入力データ１２０１と出力データ１２０２に同じ値をセットして学習が行なわれるため、取得した文章の圧縮表現が表記の揺れによる誤差を受けやすい。このため、本来であれば意味が同じ日本語の文章であっても、異なる意味をもつものとして学習されてしまう。

そこで、一実施形態では、ＲＮＮオートエンコーダ１２００による文章の特徴量、例えば圧縮表現を得る際の、言語の表記の揺れによる影響を軽減する手法について説明する。

〔１−２〕一実施形態に係る学習装置の機能構成例
一実施形態に係る学習装置１の機能構成例を図６に例示する。

図６に示すように、一実施形態に係る学習装置１は、例示的に、文章取得部１１，ベクトル変換部１２，入力データ設定部１３，出力データ設定部１４，学習部１５，及びＲＮＮオートエンコーダ１６を備えてよい。また、一実施形態に係る学習装置１は、文章入力部１７，圧縮表現取得部１８，及びメモリ部１９としての機能を備えてよい。

文章取得部１１は、特徴量の取得対象である第１の文章と、当該第１の文章を翻訳して得られた第２の文章とを取得する。本実施形態では、第１の文章の一例としての日本語の文章と、第２の文章の一例としての、当該日本語の文章を英語で翻訳した文章（英語の翻訳文）とを取得するものとする。日本語の文章は、予めデータベース等の記憶装置に格納されているものであってもよいし、ユーザや管理者によって随時設定されるものであってもよい。ユーザや管理者によって随時設定される場合、後述するＩ／Ｏ部２０ｅに含まれる、マウス、キーボード、タッチパネル、操作ボタン等の入力装置を用いて日本語の文章が入力されてもよい。また、英語の翻訳文は、日本語の文章を翻訳ツール等によって随時翻訳したものであってもよいし、対訳として、ユーザや管理者によって上記入力装置等を用いて任意に設定されるものであってもよい。或いは、予め日本語の文章の対訳としてデータベース等の記憶装置に格納されているものであってもよい。

ベクトル変換部１２は、文章取得部１１から入力される日本語の文章と英語の翻訳文とを受け取り、それぞれの文章について形態素解析を行ない、当該文章に出現する語句を抽出する。そして、抽出した各語句をベクトル化してよい。比較例では、ベクトル化の手法としてＯｎｅ−ｈｏｔ（ワンホット）を取り上げたが、例えば、ＢｏＷ（Bag of Ｗords），ｗｏｒｄ２ｖｅｃ等の手法が用いられてもよい。また、ベクトル変換部１２は、後述する文章入力部１７から入力される日本語の文章を受け取ってもよい。そして、ベクトル変換部１２は、当該文章について形態素解析を行ない、当該文章に出現する語句を抽出し、抽出した各語句をベクトル化してよい。なお、ベクトル変換部１２における上記単語抽出の機能を有する構成は、単語抽出部の一例である。また、ベクトル変換部１２における上記ベクトル化（ベクトル変換）の機能を有する構成は、変換部の一例である。

入力データ設定部１３は、ベクトル変換部１２から入力される、日本語の文章のベクトルを受け取り、学習部１５にＲＮＮオートエンコーダ１６への入力データとして設定させる。

出力データ設定部１４は、ベクトル変換部１２から入力される、英語の翻訳文のベクトルを受け取り、学習部１５にＲＮＮオートエンコーダ１６への出力データとして設定させる。

学習部１５は、学習装置１内部のＲＮＮオートエンコーダ１６に対して、入力データ設定部１３から受け取る日本語の文章のベクトルを、ＲＮＮオートエンコーダ１６の入力データにセットする。また、学習部１５は、出力データ設定部１４から受け取る英語の翻訳文のベクトルを、前記ＲＮＮオートエンコーダ１６の出力データにセットする。これにより、学習部１５は、上記のような入出力関係をＲＮＮオートエンコーダ１６に学習させる。

文章入力部１７は、文章取得部１１による日本語の文章の入力に代えて、文章を取得してもよい。ユーザが圧縮表現を取得したい日本語の文章の入力を受け取る。ユーザが、後述するＩ／Ｏ部２０ｅに含まれる、マウス、キーボード、タッチパネル、操作ボタン等の入力装置を用いて日本語の文章を入力してもよいし、データベース等の記憶装置から日本語の文章を読み込んでもよい。文章入力部１７は、ベクトル化のため、入力された日本語の文章をベクトル変換部１２に送信する。

圧縮表現取得部１８は、特徴量の取得対象の文章、例えば、ユーザが圧縮表現を取得したいと考える日本語の文章、のベクトルをベクトル変換部１２から受け取る。また、圧縮表現取得部１８は、受け取ったベクトルを学習部１５によって学習された（学習済みの）ＲＮＮオートエンコーダ１６の入力データにセットする。そして、圧縮表現取得部１８は、前記ＲＮＮオートエンコーダ１６の中間層１６ｂから、文章の圧縮表現を取得する。圧縮表現取得部１８は、取得した圧縮表現をデータベース等のメモリ部１９に圧縮情報１９ａとして保存してもよいし、外部のソフトウェアやディスプレイ等に出力してもよい。なお、圧縮表現取得部１８は、特徴量抽出部の一例である。

メモリ部１９は、圧縮情報１９ａ等の情報を記憶する。メモリ部１９は、図７を用いて後述するコンピュータ２０のメモリ２０ｂ又は記憶部２０ｃが有する少なくとも一部の記憶領域により実現されてよい。なお、圧縮情報１９ａは、例えば、文章の分類や検索において、文章の類似度の算出に用いられてよい。

上記文章取得部１１，入力データ設定部１３，出力データ設定部１４，及び学習部１５は、上記学習装置１内部のＲＮＮオートエンコーダ１６を学習させるために機能する、学習フェーズの機能ブロックと位置付けられてよい。

一方、上記文章入力部１７，圧縮表現取得部１８は、上記ＲＮＮオートエンコーダ１６を学習させた後に機能する、圧縮表現取得フェーズの機能ブロックと位置付けられてよい。なお、ベクトル変換部１２は、学習フェーズ及び圧縮表現取得フェーズの双方において機能する機能ブロックと位置付けられてよい。

〔１−３〕一実施形態に係る学習装置のハードウェア構成例
一実施形態に係る学習装置１のハードウェア構成例を図７に示す。

図７に示すように、学習装置１の一例としてのコンピュータ２０は、例示的に、プロセッサ２０ａ、メモリ２０ｂ、記憶部２０ｃ、ＩＦ（Interface）部２０ｄ、Ｉ／Ｏ（Input / Output）部２０ｅ、及び読取部２０ｆをそなえてよい。

プロセッサ２０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ２０ａは、各ブロック２０ｂ〜２０ｆとバス２０ｉで相互に通信可能に接続されてよい。プロセッサ２０ａとしては、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤ（例えばＦＰＧＡ）等の集積回路（ＩＣ）が用いられてもよい。なお、ＣＰＵはCentral Processing Unitの略称であり、ＧＰＵはGraphics Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。

メモリ２０ｂは、種々のデータやプログラムを格納するハードウェアの一例である。メモリ２０ｂとしては、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic RAM）等のＲＡＭが挙げられる。なお、ＲＡＭはRandom Access Memoryの略称である。

記憶部２０ｃは、種々のデータやプログラム等を格納するハードウェアの一例である。例えば、記憶部２０ｃは、コンピュータ２０の二次記憶装置として使用されてよく、ＯＳ（Operating System）やファームウェア、アプリケーション等のプログラム、及び各種データが格納されてよい。記憶部２０ｃとしては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。記憶部２０ｃは、コンピュータ２０の各種機能の全部若しくは一部を実現するプログラム２０ｇを格納してもよい。

ＩＦ部２０ｄは、ネットワーク２１を介して、他の装置との間の接続及び通信の制御等を行なう通信インタフェースの一例である。例えばＩＦ部２０ｄとしては、イーサネット（登録商標）、光通信（例えばFibre Channel）等に準拠したアダプタが挙げられる。なお、コンピュータ２０は、管理者の管理端末との間の接続及び通信の制御等を行なう通信インタフェースをそなえてもよく、当該通信インタフェースを用いて、ネットワーク２１からプログラム２０ｇをダウンロードしてもよい。

Ｉ／Ｏ部２０ｅは、例えば、マウス、キーボード、タッチパネル、操作ボタン等の入力装置、並びに、ディスプレイや、プロジェクタ、プリンタ等の出力装置の少なくとも一方を含んでよい。

読取部２０ｆは、記録媒体２０ｈに記録されたデータやプログラムを読み出しプロセッサ２０ａに出力するリーダの一例である。読取部２０ｆは、記録媒体２０ｈを接続又は挿入可能な接続端子又は装置を含んでもよい。読取部２０ｆとしては、例えばＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体２０ｈにはプログラム２０ｇ等が格納されてもよい。

記録媒体２０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。なお、ＣＤとしては、例示的に、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等が挙げられる。また、ＤＶＤとしては、例示的に、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等が挙げられる。

上述したコンピュータ２０のハードウェア構成は例示である。従って、コンピュータ２０内でのハードウェアの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、バスの追加又は省略等は適宜行なわれてもよい。

〔１−４〕一実施形態に係る入力文章テーブル
一実施形態に係る入力文章テーブル６を図８に示す。

本実施形態において、図６に示す文章取得部１１は、日本語の文章と、当該文章の翻訳文（英語の翻訳文）とを受け取る。その際、受け取った日本語の文章と、英語の翻訳文とは、例えば、図８に示すようなテーブル形式でデータベース等の記憶装置に格納されてもよい。

図８に例示する入力文章テーブル６は、入力文章ＩＤ（Identification）６１，文章６２，分類６３のフィールドを有するものとする。

入力文章ＩＤ６１は，外部から読み込まれる入力文章を一意に特定するためのＩＤである。図８に示す例では、入力文章ＩＤ６１が「input01」，「output01」等であることを示している。また、図８に示すように、本実施形態におけるＲＮＮオートエンコーダ１６の入力データの元となる日本語の文章については、入力文章ＩＤ６１の先頭に“input”を付すものとする。さらに、ＲＮＮオートエンコーダ１６の出力データの元となる英語の翻訳文については、入力文章ＩＤ６１の先頭に“output”を付すものとする。

文章６２は、入力された文章を格納する。ここでは、複数の文章が連続して入力された場合、文章取得部１において、１つの文章が１つの句点を有するように、複数の文章に分割するものとする。図８に示す例では、文章６２が、「彼は先生です。」，「He is a teacher.」等であることを示している。

分類６３は、当該文章６２が日本語の文章である場合（例えば、入力文章ＩＤ６１に「input」が含まれる場合）には「入力」を格納するものとする。一方、分類６３は、当該文章６２が英語の翻訳文である場合（例えば、入力文章ＩＤ６１に「output」が含まれる場合）には「出力」を格納するものとする。

〔１−５〕一実施形態に係る語句テーブル
一実施形態に係る語句テーブル７を図９に示す。

本実施形態において、図６に示すベクトル変換部１２は、文章取得部１１、又は、後述する文章入力部１７から入力される日本語の文章と英語の翻訳文とを受け取り、それぞれの文章について形態素解析を行ない、当該文章に出現する語句を抽出する。その際、抽出する語句は、例えば、図９に示すようなテーブル形式でデータベース等の記憶装置に格納されてもよい。

図９に例示する語句テーブル７は語句ＩＤ７１，語句７２，分類７３のフィールドを有するものとする。

語句ＩＤ７１は，その語句を一意に特定するためのＩＤである。図９に示す例では、語句ＩＤ７１が「input01」，「output01」等であることを示している。また、図９に示すように、本実施形態におけるＲＮＮオートエンコーダ１６の入力データとなる日本語の語句については、語句ＩＤ７１の先頭に“input”を付すものとする。さらに、ＲＮＮオートエンコーダ１６の出力データとなる英語の語句については、語句ＩＤ７１の先頭に“output”を付すものとする。

語句７２は、ベクトル変換部１２によって形態素解析された結果、抽出された語句を格納する。図９に示す例では、語句７２が、「彼」，「は」，「先生」，「です」，「。」であったり、「He」，「is」，「a」，「teacher」，「.」であることを示している。

分類７３は、当該語句７２が日本語の語句である場合（例えば、語句ＩＤ７１に「input」が含まれる場合）には「入力」を格納する。また、当該語句７２が英語の翻訳文である場合（例えば、語句ＩＤ７１に「output」が含まれる場合）には「出力」を格納するものとする。

〔１−６〕一実施形態に係るベクトルテーブル
一実施形態に係るベクトルテーブル８を図１０に示す。

図１０に例示するベクトルテーブル８は、語句８１，ベクトル８２のフィールドを有するものとする。

語句８１は、ベクトル変換部１２において、形態素解析により、日本語の文章と英語の翻訳文に出現する語句を抽出した結果得られた各語句を格納する。語句８１に格納される値は、語句テーブル７の語句７２に含まれる各語句に等しい。

ベクトル８２は、ベクトル変換部１２によって各語句８２がベクトル化された結果得られたベクトルを格納する。図１０に示す例では、語句８１が「彼」の場合、ベクトル８２が［１，０，０，０，０，０，０，０，０，０，０］であることを示している。ここでは、一例として、圧縮の手法としてＯｎｅ−ｈｏｔ（ワンホット）を用いてベクトル化した場合を示している。また、上記ベクトルは一例にすぎず、その桁数は上記に限られない。

〔１−７〕一実施形態に係るＲＮＮオートエンコーダを用いた文章の学習
次に、図１１を用いて、本実施形態における、ＲＮＮオートエンコーダ１６を用いた文章の学習について説明する。

図１１は、本実施形態におけるＲＮＮオートエンコーダ１６における入出力例を示している。なお、図１１中の「ＲＮＮＡ１６」は、ＲＮＮＡ全体を指すものとする。また、図１１中に複数のＲＮＮＡ１６が示されているが、これらのＲＮＮＡ１６は全て同一のＲＮＮＡである。すなわち、図１１の例では、１つのＲＮＮＡ１６に文章の要素が順次入力及び出力される様子を示すものである。

ＲＮＮオートエンコーダ１６への入力データ９１は、ベクトル変換部１２により、学習対象となる文章（日本語の文章）について形態素解析を行ない、当該文章に出現する語句を抽出し、抽出した各語句をベクトル化することにより求められる。図１１の例では、「彼は教師です。」という文章をＲＮＮオートエンコーダ１６に学習させるために、ベクトル変換部１２は、当該文章に対して形態素解析を行ない、当該文章に出現する語句である、「彼」，「は」，「教師」，「です」，「。」を抽出する。そして、ベクトル変換部１２は、抽出した各語句をベクトル化する。例えば、ベクトル化の手法としてＯｎｅ−ｈｏｔ（ワンホット）を用いると、図１１に示すように、抽出された語句はそれぞれ、以下のようにベクトル化される。

「彼」 ：［１，０，０，０，０，０，０，０，０，０，０］，
「は」 ：［０，１，０，０，０，０，０，０，０，０，０］，
「教師」：［０，０，１，０，０，０，０，０，０，０，０］，
「です」：［０，０，０，１，０，０，０，０，０，０，０］，
「。」 ：［０，０，０，０，１，０，０，０，０，０，０］

前述のようにして求められたベクトルは、図１１に示すように、ＲＮＮオートエンコーダ１６への入力データ９１としてセットされる。次に、出力データの求め方を説明する。

本実施形態におけるＲＮＮオートエンコーダ１６への出力データ９２は、ベクトル変換部１２により、英語の翻訳文について形態素解析を行ない、当該文章に出現する語句を抽出し、抽出した各語句をベクトル化することにより求められる。図１１の例では、「He is a teacher.」という文章が出力データ９２となるようにＲＮＮオートエンコーダ１６に学習させるために、ベクトル変換部１２は、当該文章に対して形態素解析を行なう。そして、ベクトル変換部１２は、当該文章に出現する語句である、「He」，「is」，「a」，「teacher」，「.」を抽出し、抽出した各語句をベクトル化する。例えば、ベクトル化の手法としてＯｎｅ−ｈｏｔ（ワンホット）を用いると、図１１に示すように、抽出された語句はそれぞれ、以下のようにベクトル化される。

「He」 ：［０，０，０，０，０，０，１，０，０，０，０］，
「is」 ：［０，０，０，０，０，０，０，１，０，０，０］，
「a」 ：［０，０，０，０，０，０，０，０，１，０，０］，
「teacher」：［０，０，０，０，０，０，０，０，０，１，０］，
「.」 ：［０，０，０，０，０，０，０，０，０，０，１］

前述のようにして求められたベクトルは、図１１に示すように、ＲＮＮオートエンコーダ１６への出力データ９２としてセットされる。

また、ＲＮＮオートエンコーダ１６では、入力データ９１と出力データ９２とに異なる値をセットして学習が行なわれる。入力データ９１のそれぞれは、Ｂ１、Ｂ２、…、Ｂ１０（図１１の実線で示す矢印Ｂ１〜Ｂ１０参照）の順にＲＮＮオートエンコーダ１６に入力される。そして、ＲＮＮオートエンコーダ１６の内部では、入力データ９１に対して出力データ９２が得られるように学習が行なわれる。また、図１１の点線で示す矢印は、各入力データ９１に対する出力を示しており、この出力等がＲＮＮオートエンコーダ１６の内部で受け渡されることにより学習が行なわれる（図１１の太線で示す矢印参照）。

〔１−８〕一実施形態に係るＲＮＮオートエンコーダにおける変換パラメータ
図１２は、図１１に示す一実施形態に係るＲＮＮオートエンコーダ１６のノードを一つ取り出して、バックプロパゲーションによる学習を例示したものである。

図１２の例では、ＲＮＮオートエンコーダ１６の入力データ９１として、［１，０，０，０］がセットされると、初期状態の出力１１０２として、［０．７，０．３，−０．５，０．１］が得られることを示している。上述したように、ＲＮＮオートエンコーダ１６において、学習前にはランダムな変換パラメータｗａ（初期値）により当該ニューラルネットワークが初期化される。そして、望ましい出力データである、［０，０，０，１］を得るべく、バックプロパゲーションにより、出力データ９２と入力データ９１との差分に基づき学習が繰り返し行なわれ、変換パラメータｗａが適切に調整される。なお、望ましい出力データとは、本実施形態においては、例えば、「入力データ１１０１とは異なる値のデータ」が挙げられる。

このように、図１２に例示するような学習が繰り返し行なわれることにより、望ましい入出力関係が学習される。学習の結果、変換パラメータｗａが適切に調整され、入力データ９１に対して望ましい出力データ９２（入力データ９１とは異なる値の出力データ９２）が得られる。

図１３は、一実施形態に係るＲＮＮオートエンコーダ１６における変換パラメータ（重み）１０２と出力データ１０３を例示する図である。

図１３は、学習済みのＲＮＮオートエンコーダ１６において、入力層１６ａと中間層１６ｂのうちの１つの入出力関係の一例を拡大して示したものである。ＲＮＮオートエンコーダ１６において、入力層１６ａと中間層１６ｂのうちの１つの入出力関係を学習することにより、入力層１６ａと中間層１６ｂを繋ぐ枝について適切な変換パラメータ１０２が決定される。この拡大図では、ＲＮＮオートエンコーダ１６において学習が繰り返し行なわれることにより、中間層１６ｂの１つのノード１６ｂ１に対して、適切な変換パラメータ１０２（「ｗ１」，「ｗ２」，「ｗ３」，「ｗ４」）が得られたことを示している。

図１３では、入力層１６ａに［１，０，０，０］という入力データ９１がセットされ、入力層１６ａから［０．７，０．３，−０．５，０．１］というデータが出力される場合を示す。この場合、入力層１６ａからの出力は中間層１６ｂへの入力データ１０１となる。中間層１６ｂでは、上記各入力データ１０１に対して各枝の重みである変換パラメータ１０２が考慮されて、中間層１６ｂのノード１６ｂ１に対する入力が行なわれる。その後、中間層１６ｂのノード１６ｂ１の値「ｈ」が考慮されて出力が行なわれる。例えば、中間層１６ｂのノード１６ｂ１からの出力データ１０３は、｛（０．７×ｗ１）＋（０．３×ｗ２）＋（−０．５×ｗ３）＋（０．１×ｗ４）｝×ｈで求められる。

〔１−９〕動作例
次に、上述の如く構成された学習装置１による学習フェーズ及び圧縮表現取得フェーズのそれぞれの動作例を説明する。

〔１−９−１〕一実施形態に係る学習処理のフローチャート
実施形態の一例としての学習装置１において、ＲＮＮオートエンコーダ１６を学習させるための処理の一例を図１４に示すフローチャート（ステップＳ１〜Ｓ８）に従って説明する。

ステップＳ１において、文章取得部１１が学習対象となるすべての文章と、当該文章のすべての翻訳文を取得する。本実施形態では、文章取得部１１が、日本語の文章と、当該日本語の文章を英語で翻訳した文章（英語の翻訳文）とを取得し、学習装置１に入力するものとする。文章取得部１１は、文章と、当該文章の翻訳文とを取得する。本実施形態では、日本語の文章と、当該日本語の文章を英語で翻訳した文章（英語の翻訳文）とを取得するものとする。日本語の文章や英語の翻訳文は、上述のように、種々の態様で取得されてよい。

ステップＳ２において、ベクトル変換部１２は、文章取得部１１から入力される日本語の文章と英語の翻訳文とを受け取り、それぞれの文章について形態素解析を行なう。

ステップＳ３において、ベクトル変換部１２は、形態素解析を行なった結果に基づき、当該文章に出現する語句を抽出する。そして、ベクトル変換部１２は、抽出した各語句をベクトル化する。ここでは、ベクトル化の手法として、Ｏｎｅ−ｈｏｔ（ワンホット）、ＢｏＷ（Bag of Ｗords），ｗｏｒｄ２ｖｅｃ等の手法が用いられてもよい。

ステップＳ４において、入力データ設定部１３は、ベクトル変換部１２から入力される、日本語の文章のベクトルを受け取り、学習部１５に送信する。学習部１５は、学習装置１内部のＲＮＮオートエンコーダ１６に対して、入力データ設定部１３から受け取る日本語の文章のベクトルを、ＲＮＮオートエンコーダ１６の入力データ９１にセットする。

ステップＳ５において、出力データ設定部１４は、ベクトル変換部１２から入力される、英語の翻訳文のベクトルを受け取り、学習部１５に送信する。学習部１５は、出力データ設定部１４から受け取る英語の翻訳文のベクトルを、前記ＲＮＮオートエンコーダ１６の出力データ９２にセットする。

ステップＳ６において、学習部１５は、上記のような入力データ９１と出力データ９２との関係をＲＮＮオートエンコーダ１６に学習させる。

ステップＳ７において、学習部１５は、ＲＮＮオートエンコーダ１６が学習する文章がまだ残っているか否かを判定する。ＲＮＮオートエンコーダ１６が学習する文章がまだ残っている場合には（ステップＳ７でＹｅｓ）、学習部１５は、ＲＮＮオートエンコーダ１６に対して、入力データ設定部１３における入力データ９１のセット（ステップＳ４）を繰り返すよう制御する。ＲＮＮオートエンコーダ１６が学習する文章が残っていない場合には（ステップＳ７でＮｏ）、処理がステップＳ８に移行する。

ステップＳ８において、学習部１５は、ＲＮＮオートエンコーダ１６の学習が収束したか否かを判定する。ＲＮＮオートエンコーダ１６の学習が収束したと判断した場合（ステップＳ８でＹｅｓ）、ＲＮＮオートエンコーダ１６の学習処理を終了するよう制御し、処理が終了する。学習部１５は、ＲＮＮオートエンコーダ１６の学習が収束していないと判断した場合（ステップＳ８でＮｏ）、ＲＮＮオートエンコーダ１６の学習処理（ステップＳ１〜Ｓ７）を繰り返すよう制御する。

以上のようにして、本実施形態の学習装置１では、内部のＲＮＮオートエンコーダ１６が、図１４に示す処理を経て、入力データ９１（日本語の文章）とは表記が異なるが意味を同じくする出力データ９２（英語の翻訳文）との入出力関係を学習する。このような学習が行なわれることにより、ＲＮＮオートエンコーダ１６内部の変換パラメータ１０２を最適な値に設定することができる。

〔１−９−２〕一実施形態に係る圧縮表現取得処理を説明するためのフローチャート
実施形態の一例としての学習装置１において、図１４に示す学習処理を経て学習済みとなったＲＮＮオートエンコーダ１６を用いて、圧縮表現を取得するための処理の一例を図１５に示すフローチャート（ステップＳ１１〜Ｓ１５）に従って説明する。

ステップＳ１１において、文章入力部１７は、ユーザが圧縮表現を取得したい日本語の文章、換言すれば、特徴量の取得対象となる文章の入力を受け取る。ユーザは、Ｉ／Ｏ部２０ｅに含まれる、マウス、キーボード、タッチパネル、操作ボタン等の入力装置を用いて日本語の文章を入力してもよいし、データベース等の記憶装置から日本語の文章を読み込んでもよい。

ステップＳ１２において、ベクトル変換部１２は、ステップＳ１１において文章入力部１７によって取得された日本語の文章を受け取り、当該文章について形態素解析を行ない、文章中に出現する語句を抽出する。

ステップＳ１３において、ベクトル変換部１２は、ステップＳ１２において抽出した各語句をベクトル化する。

ステップＳ１４において、入力データ設定部１３は、ユーザが圧縮表現を取得したいと考える日本語の文章のベクトルをベクトル変換部１２から受け取り、学習部１５によって学習された（学習済みの）ＲＮＮオートエンコーダ１６の入力データ９１にセットする。

ステップＳ１５において、圧縮表現取得部１８は、学習済みのＲＮＮオートエンコーダ１６の中間層１６ｂから、文章の圧縮表現を取得し、処理が終了する。なお、圧縮表現取得部１８は、取得した圧縮表現をデータベース等の記憶装置に保存してもよいし、外部のソフトウェアやディスプレイ等に出力してもよい。

以上のように、本実施形態に係る学習装置１によれば、受け付けた文章に含まれる単語の意味に応じた変換パラメータを生成できる。また、第２の文章として、単語ごとの翻訳ではなく、入力側の文章の翻訳文が用いられるため、翻訳文に含まれる各単語の意味を特定することができる。

したがって、ＲＮＮオートエンコーダ１６による言語の文章の特徴量を得る際の、言語の表記の揺れによる影響を軽減できる。これにより、文章の分類や検索などの自然言語処理のタスクの精度を向上させることができる。

また、本実施形態の学習装置１の内部には、ニューラルネットワークとしてＲＮＮオートエンコーダ１６を用いるので、中間層１６ｂの数が入力層１６ａの数よりも少なくて済む。したがって、図１４に示すような処理を行なうことにより、所望の入力データ９１に対する圧縮表現が得られることになる。

さらに、学習装置１では、変換パラメータ１０２が最適に設定されたＲＮＮオートエンコーダ１６を用いることにより、入力データ９１（日本語の文章）とは表記が異なるが意味を同じくする出力データ９２（英語の翻訳文）を取得することもできる。

〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。

上述した一実施形態では、ＲＮＮオートエンコーダ１６に対して、日本語の文章を入力データ９１とし、英語の翻訳文を出力データ９２としたが、これに限定されるものではない。

第１の言語としては、学習装置１のユーザが使用する言語、換言すれば、特徴量の取得対象である文章の記述言語が選択されてよい。なお、第２の言語との関係では、第１の言語は、第２の言語よりも表記の揺れが大きい言語、例えば、特定の意味を表す表記が複数存在する（語彙が多い）言語が選択されてよい。

また、第２の言語としては、第１の言語よりも、表記の揺れが小さい言語、例えば、当該特定の意味を表す表記が少ない（語彙が少ない）言語が選択されてよい。なお、第２の言語は、特徴量の取得対象となる文章の分野に応じて選択されてもよい。例えば、言語全体ではなく、特定の分野ごとに言語の表記の揺れの大小が判断されてもよい。

したがって、一実施形態における第１の言語及び第２の言語（ＲＮＮエンコーダ１６への入出力データ）の組み合わせは、逆であってもよいし、日本語や英語以外の言語の組み合わせであってもよい。

上述した一実施形態では、ＲＮＮオートエンコーダ１６に対して、外部から読み込む学習対象は文章としたが、語句や語句のベクトルを外部から読み込むものとしてもよい。語句を読み込む場合には、語句に対するベクトルがＲＮＮオートエンコーダ１６への入力データ９１となる。

また、ベクトル変換部１２における形態素解析とベクトル化の処理は、それぞれ分散して別の構成において実行されてもよい。

さらに、入力データ設定部１３と、出力データ設定部１４とを統合してもよい。

上述した一実施形態では、圧縮表現取得部１８を文章取得部１１とは別の構成としたが、文章取得部１１において、圧縮表現取得部１８における処理を実行してもよい。

また、上述した一実施形態では、学習機械としてＲＮＮオートエンコーダ１６を用いたが、中間層１６ｂの数が入力層１６ａの数よりも少ないニューラルネットワークでも適用可能である。

〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
第１の言語で記述された第１の文章と、前記第１の文章を翻訳して得られた第２の文章と、を受け付け、
受け付けた前記第１の文章に含まれる各単語を、前記第２の文章に含まれる単語のうち、前記各単語に対応する単語に変換する変換パラメータを機械学習により学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

（付記２）
受け付けた前記第１の文章及び前記第２の文章に対して形態素解析を行ない、前記第１の文章及び前記第２の文章に含まれる各単語を抽出し、
抽出した前記単語に基づき前記変換パラメータを学習する、
処理を前記コンピュータに実行させることを特徴とする、付記１記載の学習プログラム。

（付記３）
抽出した前記単語をベクトル化して、各単語のベクトルを取得し、
取得した前記ベクトルに基づき前記変換パラメータを学習する、
処理を前記コンピュータに実行させることを特徴とする、付記２記載の学習プログラム。

（付記４）
前記第１の文章から抽出した単語のベクトルを入力とし、前記第２の文章から抽出した単語のベクトルが前記入力に対する出力となるように前記変換パラメータを学習する、
処理を前記コンピュータに実行させることを特徴とする、付記３記載の学習プログラム。

（付記５）
学習した前記変換パラメータに基づき、前記第１の文章の特徴量を抽出する、
処理を前記コンピュータに実行させることを特徴とする、付記１〜４のいずれか１項記載の学習プログラム。

（付記６）
第１の言語で記述された第１の文章と、前記第１の文章を翻訳して得られた第２の文章と、を受け付け、
受け付けた前記第１の文章に含まれる各単語を、前記第２の文章に含まれる単語のうち、前記各単語に対応する単語に変換する変換パラメータを機械学習により学習する、
ことを特徴とする学習方法。

（付記７）
受け付けた前記第１の文章及び前記第２の文章に対して形態素解析を行ない、前記第１の文章及び前記第２の文章に含まれる各単語を抽出し、
抽出した前記単語に基づき前記変換パラメータを学習する、
ことを特徴とする、付記６記載の学習方法。

（付記８）
抽出した前記単語をベクトル化して、各単語のベクトルを取得し、
取得した前記ベクトルに基づき前記変換パラメータを学習する、
ことを特徴とする、付記７記載の学習方法。

（付記９）
前記第１の文章から抽出した単語のベクトルを入力とし、前記第２の文章から抽出した単語のベクトルが前記入力に対する出力となるように前記変換パラメータを学習する、
ことを特徴とする、付記８記載の学習方法。

（付記１０）
学習した前記変換パラメータに基づき、前記第１の文章の特徴量を抽出する、
ことを特徴とする、付記６〜９のいずれか１項記載の学習方法。

（付記１１）
第１の言語で記述された第１の文章と、前記第１の文章を翻訳して得られた第２の文章と、を受け付ける文章取得部と、
受け付けた前記第１の文章に含まれる各単語を、前記第２の文章に含まれる単語のうち、前記各単語に対応する単語に変換する変換パラメータを機械学習により学習する学習部と、をそなえる
ことを特徴とする、学習装置。

（付記１２）
受け付けた前記第１の文章及び前記第２の文章に対して形態素解析を行ない、前記第１の文章及び前記第２の文章に含まれる各単語を抽出する単語抽出部をそなえ、
前記学習部は、抽出した前記単語に基づき前記変換パラメータを学習する、
ことを特徴とする、付記１１記載の学習装置。

（付記１３）
抽出した前記単語をベクトル化して、各単語のベクトルを取得する変換部をそなえ、
前記学習部は、取得した前記ベクトルに基づき前記変換パラメータを学習する、
ことを特徴とする、付記１２記載の学習装置。

（付記１４）
前記学習部は、前記第１の文章から抽出した単語のベクトルを入力とし、前記第２の文章から抽出した単語のベクトルが前記入力に対する出力となるように前記変換パラメータを学習する、
ことを特徴とする、付記１３記載の学習装置。

（付記１５）
学習した前記変換パラメータに基づき、前記第１の文章の特徴量を抽出する特徴量抽出部、をそなえる
ことを特徴とする、付記１１〜１４のいずれか１項記載の学習装置。

（付記１６）
第１の言語で記述された第１の文章と、前記第１の文章を翻訳して得られた第２の文章と、を受け付け、
受け付けた前記第１の文章に含まれる各単語を、前記第２の文章に含まれる単語のうち、前記各単語に対応する単語に変換する変換パラメータを生成する、
ことを特徴とする変換パラメータ製造方法。

（付記１７）
受け付けた前記第１の文章及び前記第２の文章に対して形態素解析を行ない、前記第１の文章及び前記第２の文章に含まれる各単語を抽出し、
抽出した前記単語に基づき前記変換パラメータを生成する、
ことを特徴とする、付記１６記載の変換パラメータ製造方法。

（付記１８）
抽出した前記単語をベクトル化して、各単語のベクトルを取得し、
取得した前記ベクトルに基づき前記変換パラメータを生成する、
ことを特徴とする、付記１７記載の変換パラメータ製造方法。

（付記１９）
前記第１の文章から抽出した単語のベクトルを入力とし、前記第２の文章から抽出した単語のベクトルが前記入力に対する出力となるように前記変換パラメータを生成する、
ことを特徴とする、付記１８記載の変換パラメータ製造方法。

（付記２０）
生成した前記変換パラメータに基づき、前記第１の文章の特徴量を抽出する、
ことを特徴とする、付記１６〜１９のいずれか１項記載の変換パラメータ製造方法。

１ 学習装置
１１ 文章取得部
１２ ベクトル変換部
１３ 入力データ設定部
１４ 出力データ設定部
１５ 学習部
１６ ＲＮＮオートエンコーダ
１６ａ 入力層
１６ｂ 中間層
１６ｂ１ 中間層のノード
１６ｃ 出力層
１７ 文章入力部
１８ 圧縮表現取得部
１９ メモリ部
２０ コンピュータ
２０ａ プロセッサ
２０ｂ メモリ
２０ｃ 記憶部
２０ｄ ＩＦ部
２０ｅ Ｉ／Ｏ部
２０ｆ 読取部
６ 入力文章テーブル
６１ 入力文章ＩＤ
６２ 文章
６３ 分類
７ 語句テーブル
７１ 語句ＩＤ
７２ 語句
７３ 分類
８ ベクトルテーブル
８１ 語句
８２ ベクトル
９１ 入力データ
９２ 出力データ
１０１ 入力データ
１０２ 変換パラメータ
１０３ 出力データ

Claims (7)

1. 第１の言語で記述された第１の文章を取得し、
   前記第１の言語で記述されそれぞれが異なる単語を含む第２の文章と第３の文章とのそれぞれに対して、前記第２の文章と前記第３の文章とに対応する翻訳文である第２の言語で記述された第４の文章がラベル付けされた訓練データを用いた機械学習により生成された機械学習モデルのパラメータに基づいて、前記第１の文章を表すベクトルを生成する、
   処理をコンピュータに実行させる、生成プログラム。
2. 前記機械学習の処理は、
   前記第２の文章及び前記第３の文章のそれぞれと前記第４の文章とに対して形態素解析を行ない、前記第２の文章及び前記第３の文章のそれぞれと前記第４の文章とに含まれる各単語を抽出し、
   抽出した前記単語に基づき前記パラメータを学習する、
   処理を含む、請求項１記載の生成プログラム。
3. 前記機械学習の処理は、
   抽出した前記単語をベクトル化して、各単語のベクトルを取得し、
   取得した前記ベクトルに基づき前記パラメータを学習する、
   処理を含む、請求項２記載の生成プログラム。
4. 前記機械学習の処理は、
   前記第２の文章から抽出した単語のベクトル、及び、前記第３の文章から抽出した単語のベクトルのそれぞれを入力とし、前記第４の文章から抽出した単語のベクトルが前記入力のそれぞれに対する出力となるように前記パラメータを学習する、
   処理を含む、請求項３記載の生成プログラム。
5. 第１の言語で記述された第１の文章を取得し、
   前記第１の言語で記述されそれぞれが異なる単語を含む第２の文章と第３の文章とのそれぞれに対して、前記第２の文章と前記第３の文章とに対応する翻訳文である第２の言語で記述された第４の文章がラベル付けされた訓練データを用いた機械学習により生成された機械学習モデルのパラメータに基づいて、前記第１の文章を表すベクトルを生成する、
   処理をコンピュータが実行する、生成方法。
6. 第１の言語で記述された第１の文章を取得し、
   前記第１の言語で記述されそれぞれが異なる単語を含む第２の文章と第３の文章とのそれぞれに対して、前記第２の文章と前記第３の文章とに対応する翻訳文である第２の言語で記述された第４の文章がラベル付けされた訓練データを用いた機械学習により生成された機械学習モデルのパラメータに基づいて、前記第１の文章を表すベクトルを生成する、
   制御部、をそなえる生成装置。
7. 第１の言語で記述された第１の文章を表すベクトルを生成する機械学習モデルのパラメータを生成するための機械学習において、前記第１の言語で記述されそれぞれが異なる単語を含む第２の文章と第３の文章とのそれぞれに対して、前記第２の文章と前記第３の文章とに対応する翻訳文である第２の言語で記述された第４の文章がラベル付けされた訓練データを用いた前記機械学習により、前記機械学習モデルの前記パラメータを生成する、
   処理をコンピュータが実行する、パラメータ生成方法。

Images