JP7062056B2 - 作成文章評価装置 - Google Patents

Description

第１言語の文章をユーザが第２言語に翻訳して作成した文章について評価を行う作成文章評価装置に関する。

従来、エンコーダ及びデコーダから構成されるエンコーダデコーダモデルのニューラルネットワークを利用した機械翻訳であるニューラル機械翻訳（Neural Machine Translation）が知られている。エンコーダデコーダモデルのニューラルネットワークにおいて、エンコーダは第１言語（例えば日本語）の文章を入力し、デコーダは当該第１言語の文章に対応した第２言語（例えば英語）の文章を翻訳結果として出力する。

例えば下記特許文献１では、ニューラルネットワークで構成されたエンコーダ及びデコーダを含む自動通訳装置が開示されている。

特開２０１８－５２１８号公報

上記自動通訳装置は、ユーザが入力した第１言語の文章「江南駅までどのように行きますか？」に対して、翻訳結果である第２言語の文章「Ｈｏｗ ｄｏ Ｉ ｇｅｔ ｔｏ Ｇａｎｇｎａｍ？」を出力する。しかしながら上記自動通訳装置では、例えば、上記第１言語の文章に対してユーザが自分で翻訳して作成した第２言語の文章について、翻訳の適切さ等を評価することはできない。

そこでかかる課題に鑑みて為されたものであり、所定の言語で作成された作成文章を評価することができる作成文章評価装置を提供することを目的とする。

上記課題を解決するため、本発明の一側面に係る作成文章評価装置は、エンコーダが第１言語の文章を入力し、デコーダが当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を順次出力する、エンコーダデコーダモデルのリカレントニューラルネットワークを利用する作成文章評価装置であって、デコーダに、第２言語で作成された作成文章を単語ごとに順次入力するデコーダ入力部と、作成文章の単語を、デコーダ入力部による入力に基づいてデコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価し、評価結果に基づく出力を行う評価部と、を備える。

このような作成文章評価装置によれば、第２言語で作成された作成文章の単語を評価することができる。すなわち、所定の言語で作成された作成文章を評価することができる。

所定の言語で作成された作成文章を評価することができる。

本発明の実施形態に係る作成文章評価装置の機能ブロック図である。 機械翻訳及び評価の実施例を示す図である。 本発明の実施形態に係る作成文章評価装置で実行される処理を示すフローチャートである。 インタフェースの一例を示す図である。 本発明の実施形態に係る作成文章評価装置のハードウェア構成図である。

以下、図面とともに作成文章評価装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、以下の説明における実施形態は、本発明の具体例であり、特に本発明を限定する旨の記載がない限り、これらの実施形態に限定されないものとする。

図１は、作成文章評価装置１の機能ブロック図である。図１に示す通り、作成文章評価装置１は、ニューラルネットワーク部１０、対訳コーパス格納部１１、問題文章準備部１２、エンコーダ入力部１３、出力部１４、作成文章入力部１５、デコーダ入力部１６及び評価部１７を含んで構成される。また、ニューラルネットワーク部１０は、エンコーダ部１００及びデコーダ部１０１を含んで構成される。

作成文章評価装置１は、第１言語の文章を第２言語に翻訳して作成した作成文章について評価を行う。第１言語は、例えば日本語であるが、他のいかなる言語であってもよい。第２言語は、第１言語とは異なる言語であり、例えば英語であるが、他のいかなる言語であってもよい。第１言語と第２言語とは異なる地方の方言（例えば日本における標準語と関西弁）であってもよい。言語は、自然言語に限らず、人工言語及び形式言語（コンピュータのプログラム言語）等であってもよい。作成文章は、作成文章評価装置１のユーザ等の人が作成することを意図しているが、人以外が作成した文章であってもよい。評価とは、作成文章の翻訳としての適切さ（良し悪し、適合度）等を決定することを示す。

以下、図１に示す作成文章評価装置１の各機能ブロックについて説明する。

ニューラルネットワーク部１０は、エンコーダ部１００及びデコーダ部１０１から構成される、エンコーダデコーダモデル（別名：encoder-decoder翻訳モデル、Sequence to Sequence Model）のリカレントニューラルネットワーク（Recurrent Neural Network、ＲＮＮ）である。ニューラルネットワーク部１０は、例えば、ＬＳＴＭ（Long Short Term Memory）と呼ばれるリカレントニューラルネットワークである。ニューラルネットワーク部１０は、ニューラル機械翻訳を行う。なお、ニューラルネットワーク部１０は、作成文章評価装置１内ではなく、作成文章評価装置１とネットワークを介して互いにアクセス可能な他の装置内にあってもよい。

エンコーダ部１００は、第１言語の文章を入力し、中間層（隠れ層）のベクトルを出力する。より具体的には、エンコーダ部１００は、第１言語の文章を形態素解析等により単語に分割し、各単語に対応する単語ＩＤ（Ｗｏｒｄ ＩＤ）を単語ベクトル（入力層のベクトル）に変換した上で順次（文章の最初の単語から最後の単語まで順に）入力し、それまでの入力内容に基づく中間層のベクトルを順次出力する（ニューラルネットワークの計算を行う）。エンコーダ部１００は、文章の終わりを示す「＜ＥＯＳ＞」を入力した時点で、エンコーダ部１００からデコーダ部１０１に、それまでの入力内容に基づく中間層のベクトルを出力する（渡す）。エンコーダ部１００は概念的に、第１言語の文章を意味解析し、意味表現を抽出していると言える。

デコーダ部１０１は、エンコーダ部１００から出力された中間層のベクトルを入力し、中間層のベクトルに基づいて、又は、中間層のベクトル及びデコーダ部１０１に入力される第２言語の単語に基づいて、出力層のベクトルを順次計算し、出力する。出力層のベクトルは、第２言語の単語候補及び当該単語候補の尤度のリストを示す情報である。当該リストの一例として『（単語候補「Ｉ」及びその尤度「０．７」，単語候補「Ｗｅ」及びその尤度「０．２」，単語候補「Ｙｏｕ」及びその尤度「０．１」）』等が挙げられる。デコーダ部１０１のその他の機能については後述する。

上記の通り、作成文章評価装置１は、エンコーダ部１００が第１言語の文章を入力し、デコーダ部１０１が当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を順次出力する、ニューラルネットワーク部１０を利用する。

以下では、一般的なエンコーダデコーダモデルのリカレントニューラルネットワークにおいてニューラル機械翻訳を行う際のデコーダ（以下、「一般的デコーダ」と記す）の処理について説明する。一般的デコーダは、まず、エンコーダから出力された中間層のベクトルを入力すると、入力された中間層のベクトルに基づいて、最終的に出力する第２言語の文章のうち１語目に対応する出力層のベクトルを出力する。一般的デコーダは、以降、Ｎ語目（Ｎは１以上の整数）の出力層のベクトルが示す単語候補のうち尤度が最大の単語を抽出し、抽出した単語を自デコーダ（当該一般的デコーダ）に入力し、入力した単語とＮ語目の出力層のベクトルの出力を行う際に用いた中間層のベクトルとに基づいて、（Ｎ＋１）語目の出力層のベクトルを出力する、という処理を、第２言語の文章の最後の単語まで反復する。一般的デコーダは概念的に、エンコーダが抽出した意味表現から、（第１言語とは異なる第２言語の）文章を生成している、と言える。

対訳コーパス格納部１１は、第１言語と第２言語との対訳コーパスを格納する。対訳コーパスとは、機械翻訳の学習データとして利用するために構築された、異なる言語の文章と文章とが対訳の形でまとめられたコーパス（文章のデータベース）である。ニューラルネットワーク部１０は、対訳コーパス格納部１１によって格納された対訳コーパスに基づいて学習される。学習は、作成文章評価装置１の管理者の指示に基づいて行われてもよいし、定期的（例えば１週間に１回）に行われてもよい。

問題文章準備部１２は、ユーザに問題文として提示する第１言語の文章である問題文章を準備する。より具体的には、問題文章準備部１２は、対訳コーパス格納部１１によって格納された対訳コーパスに含まれる第１言語の文章を抽出する。抽出する第１言語の文章は、ランダムであってもよいし、所定の手順に従ったものでもよい。問題文章準備部１２は、対訳コーパス格納部１１によって格納された対訳コーパスからではなく、異なる手段又は異なる装置等から問題文章を取得してもよい。問題文章準備部１２は、準備した問題文章をエンコーダ入力部１３及び出力部１４に出力する。

エンコーダ入力部１３は、問題文章準備部１２から出力された問題文章をエンコーダ部１００に入力する。

出力部１４は、問題文章準備部１２から出力された問題文章を出力する。より具体的には、出力部１４は、後述の出力装置１００６（例えば画面）を介して、問題文章をユーザに表示する。出力部１４のその他の機能については後述する。

作成文章入力部１５は、第２言語で作成された作成文章を入力する。より具体的には、作成文章入力部１５は、出力部１４によって問題文章がユーザに表示された後、表示された問題文章をユーザが第２言語に翻訳して作成した作成文章を、後述の入力装置１００５（例えばキーボード）を介して入力する。つまり、作成文章は、エンコーダ部１００に入力される第１言語の文章をユーザが第２言語に翻訳して作成した文章である。本実施形態では、作成文章はユーザによって作成されたものを想定するが、ユーザ以外の人や装置によって作成されたものであってもよい。作成文章入力部１５は、作成文章をデコーダ入力部１６及び評価部１７に出力する。

デコーダ入力部１６は、デコーダ部１０１に、作成文章を単語ごとに順次入力する。より具体的には、デコーダ入力部１６は、作成文章入力部１５から出力された作成文章を、形態素解析等により単語に分割し、各単語に対応する単語ＩＤを単語ベクトル（入力層のベクトル）に変換した上で順次（作成文章の最初の単語から最後の単語まで順に）デコーダ部１０１に入力する。

ここで、デコーダ入力部１６は、デコーダ部１０１に、当該デコーダ部１０１が順次出力する単語候補の替わりに、上述の通り作成文章の単語を順次入力する。つまり、一般的デコーダは、当該一般的デコーダから出力された単語（最大の尤度の単語候補）を当該一般的デコーダの次の入力とするが、作成文章評価装置１のデコーダ部１０１は、作成文章の単語を当該デコーダ部１０１の入力とする。

デコーダ入力部１６の入力に基づくデコーダ部１０１の処理について具体的に説明する。デコーダ部１０１は、まず、エンコーダ部１００から出力された中間層のベクトルを入力すると、入力された中間層のベクトルに基づいて、最終的に出力する第２言語の文章のうち１語目に対応する出力層のベクトルを出力する。デコーダ部１０１は、以降、デコーダ入力部１６によって入力された作成文章のＭ語目（Ｍは１以上の整数）の単語を当該デコーダ部１０１に入力し、入力した単語と前回の出力層のベクトルの出力を行う際に用いた中間層のベクトルとに基づいて、作成文章の（Ｍ＋１）語目に対応する出力層のベクトルを出力する、という処理を、作成文章の最後の単語まで反復する。

なお、エンコーダ入力部１３が問題文章をエンコーダ部１００に入力すると、エンコーダ部１００が計算を行い、中間層のベクトルをデコーダ部１０１に出力し、デコーダ部１０１が入力された中間層のベクトルに基づいて、最終的に出力する第２言語の文章のうち１語目に対応する出力層のベクトルを出力するが、以降の処理は、デコーダ入力部１６からの作成文章の単語の順次入力があるまで保留する。

評価部１７は、作成文章の単語を、デコーダ入力部１６による入力に基づいてデコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価（スコア化、点数化）し、評価結果を出力部１４に出力する。評価部１７は、デコーダ入力部１６によって入力された作成文章の単語である入力単語に対してデコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、作成文章における入力単語の次の単語を評価してもよい。

より具体的には、まず、評価部１７は、デコーダ入力部１６によって入力された作成文章のＭ語目（Ｍは１以上の整数）の単語（入力単語）に対してデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度を取得する。次に、評価部１７は、作成文章入力部１５から出力された当該作成文章におけるＭ語目の単語の次の単語である（Ｍ＋１）語目の単語を取得する。次に、評価部１７は、取得した単語候補及び当該単語候補の尤度のうち、（Ｍ＋１）語目の単語と同一の単語候補に紐付く尤度を、（Ｍ＋１）語目の単語の尤度として取得する。次に、評価部１７は、取得した単語候補及び当該単語候補の尤度のうち、最大の尤度（翻訳として最も適切な単語候補の尤度）を取得する。次に、評価部１７は、取得した（Ｍ＋１）語目の単語の尤度を取得した最大の尤度で除算した値（尤度比率）を、作成文章の（Ｍ＋１）語目の評価値として算出する。次に、評価部１７は、算出した評価値を出力部１４に出力する。なお、評価値の算出は、上述の除算に限るものではなく、例えば、（Ｍ＋１）語目の単語の尤度と最大の尤度（又は、取得した単語候補及び当該単語候補の尤度のうち、所定の基準によって取得された尤度）との比較に基づくいかなる算出であってもよいし、尤度に基づくその他の算出であってもよい。

評価部１７は、作成文章の各単語の評価値に基づく当該作成文章（全体）の評価値を算出し、出力部１４に出力してもよい。例えば、評価部１７は、作成文章の各単語の評価値を平均した平均評価値を、当該作成文章の評価値として算出する。

評価部１７は、取得した単語候補及び当該単語候補の尤度の一部、又は全てを出力部１４に出力してもよい。例えば、評価部１７は、取得した単語候補及び当該単語候補の尤度のうち、尤度が所定の基準よりも大きい単語候補、又は、尤度が最大の単語候補を出力部１４に出力する。

出力部１４は、評価部１７から出力された評価結果に基づく出力を行う。出力部１４は、評価部１７から出力された作成文章の単語の評価値（スコア）を（単語ごとに）表示してもよい。出力部１４は、評価部１７から出力された作成文章（全体）の評価値（総合スコア）を表示してもよい。出力部１４は、評価部１７から出力された作成文章の単語の評価値に基づいた当該単語の表示を行ってもよい。例えば、出力部１４は、評価値が所定の基準よりも低い単語については当該単語の色や大きさ等を変えて表示する。出力部１４は、作成文章の単語に対する別候補（単語ごとの最適単語）として、評価部１７から出力された、尤度が所定の基準よりも大きい単語候補、又は、尤度が最大の単語候補を表示してもよい。出力部１４は、上述の表示方法を一つ以上組み合わせて表示してもよい。例えば、出力部１４は、評価値が所定の基準よりも低い単語について、別候補として尤度が最大の単語候補をあわせて表示してもよい。出力部１４は、対訳コーパス格納部１１によって格納された対訳コーパスを参照することで、問題文章に対する模範解答を取得し、表示してもよい。なお、出力部１４は、出力に必要な各種情報を、他の機能ブロックから適宜取得するものとする。また、出力部１４の機能の一部は、評価部１７に組み込まれていてもよい。すなわち、評価部１７は、評価を行うと共に、評価結果を直接出力してもよい。

図２は、作成文章評価装置１における機械翻訳及び評価の実施例を示す図である。図２に示す実施例では、問題文章「私は日本人です」をユーザに提示し、ユーザが作成文章「Ｉ ｂｅｌｏｎｇ ｔｏ Ｊａｐａｎ」を作成した場合の採点（評価）例を示す。なお、問題文章「私は日本人です」に対する模範解答は「Ｉ ａｍ Ｊａｐａｎｅｓｅ」である。まず、問題文章「私は日本人です」を単語に分割すると、「私」、「は」、「日本人」、「です」になる。これら単語を順番にエンコーダ部１００に入力する。単語「です」の後には、文章の終わりを示す「＜ＥＯＳ＞」記号を入力する。「＜ＥＯＳ＞」記号を入力すると、ニューラルネットワーク部１０は、デコーダ部１０１から単語候補及び当該単語候補の尤度を出力し始める（出力層をＳｏｆｔｍａｘ関数等で尤度計算するものとする）。最初に出力される単語候補は、尤度が一番高い「Ｉ」になる。ユーザが作成した作成文章の最初の単語も「Ｉ」なので、同じ尤度であるため（同じ尤度同士の除算により）点数は「１．００」となる。

次に、ユーザが作成した単語「Ｉ」をデコーダ部１０１の入力として入力する（ユーザが作成した作成文章は単語ごとにデコーダ部１０１に順次入力されるものとする）。すると、デコーダ部１０１の出力は、「ａｍ」が最も尤度が高く、尤度「０．７５」とでる。しかし、ユーザが作成した単語は「ｂｅｌｏｎｇ」であり、この単語は尤度が「０．１５」であった。したがって、「ｂｅｌｏｎｇ」の尤度を「ａｍ」の尤度で割って、「０．２０」が「ｂｅｌｏｎｇ」の点数（評価値）となる。次に、デコーダ部１０１の入力としては「ａｍ」ではなく、「ｂｅｌｏｎｇ」を入れる。すると、デコーダ部１０１の出力は、最も尤度が高い「ｔｏ」がでてくる。ユーザが作成した単語も「ｔｏ」であるため、点数は「１．０」となる。このように順次単語ごとに点数を計算していく。

図３は、作成文章評価装置１で実行される処理（作成文章評価方法）の一部を示すフローチャートである。まず、エンコーダ入力部１３により、問題文章（の単語）がエンコーダ部１００の入力層に入力される（ステップＳ１）。次に、エンコーダ部１００により、次の入力単語が「＜ＥＯＳ＞」であるか否かが判定され（ステップＳ２）、次の入力単語が「＜ＥＯＳ＞」でないと判定された場合（Ｓ２：ＮＯ）、次の入力単語についてＳ１の処理に戻る。一方、次の入力単語が「＜ＥＯＳ＞」であると判定された場合（Ｓ２：ＹＥＳ）、続いて、デコーダ部１０１により、出力層からＳｏｆｔｍａｘで解答文章（最終的に出力する第２言語の文章）の単語（候補単語）の尤度が算出される（ステップＳ３）。次に、評価部１７により、作成文章の単語と尤度とが比較され、尤度比率が単語スコアとして計算される（ステップＳ４）。次に、デコーダ部１０１により、作成文章の次の単語が無いかあるかが判定され（ステップＳ５）、次の単語があると判定された場合（Ｓ５：ＮＯ）、デコーダ入力部１６により、作成文章の単語がデコーダ部１０１の次の入力として入力され（ステップＳ６）、Ｓ３の処理に戻る。一方、次の単語が無いと判定された場合（Ｓ５：ＹＥＳ）、評価部１７により、各単語の単語スコアが平均され、文章（作成文章）として総合スコアが計算される（ステップＳ７）。次に、出力部１４により、各単語ごとの単語スコアと、作成文章の総合スコアとが出力される（ステップＳ８）。

図４は、作成文章評価装置１のインタフェースの一例（画面例）を示す図である。図４に示すインタフェースは、日本語（第１言語）の問題文章をユーザに提示し、問題文章に対してユーザが英作文した英語（第２言語）の作成文章を入力し、作成文章を採点するものである。参照符号Ａは、問題文章「クレジットカードは使えますか？」を示す。参照符号Ｂは、ユーザがテキストボックスに入力した作成文章「Ｃａｎ Ｉ ｔｒｙ ｃｒｅｄｉｔ ｃａｒｄ？」を示す。参照符号Ｃが示す「採点」ボタンをユーザが押下することで採点が実行される。なお、以降で説明する参照符号Ｄ、Ｅ及びＦが示す情報については、採点が実行された後に表示される。

参照符号Ｄは、採点結果としての作成文章の総合スコアである、「１０．００」点満点中の「８．１１」点を示す。なお、参照符号Ｄの周辺には、総合スコアに対応したキャラクタ画像が表示されてもよい。参照符号Ｅは、作成文章であって、採点の結果、評価値が所定の基準よりも低い単語（図４では単語「ｔｒｙ」）については色を変えて表示された作成文章を示す。参照符号Ｆは、上述の評価値が所定の基準よりも低い単語に対する別候補として、尤度が最大の単語候補（図４では単語「ｕｓｅ」）を示す。参照符号Ｇが示す「模範解答を見る」ボタンをユーザが押下することで、問題文章に対する模範解答が表示される。参照符号Ｈは、表示された模範解答「Ｄｏ ｙｏｕ ａｃｃｅｐｔ ｃｒｅｄｉｔ ｃａｒｄｓ？」を示す。

次に、本実施形態のように構成された作成文章評価装置１の作用効果について説明する。

本実施形態の作成文章評価装置１によれば、デコーダ入力部１６は、デコーダ部１０１に第２言語で作成された作成文章を単語ごとに順次入力し、評価部１７及び出力部１４は、作成文章の単語を、デコーダ入力部１６による入力に基づいてデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価し、評価結果に基づく出力を行う。より具体的には、評価部１７は、デコーダ入力部１６によって入力された作成文章の単語である入力単語に対してデコーダ部１０１が出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、作成文章における入力単語の次の単語を評価する。これにより、第２言語で作成された作成文章の単語を評価することができる。すなわち、所定の言語で作成された作成文章を評価することができる。また、ユーザが作文した作成文章を、単語ごとに評価することができる。

また、本実施形態の作成文章評価装置１によれば、デコーダ入力部１６は、デコーダ部１０１に、デコーダ部１０１が順次出力する単語候補の替わりに作成文章の単語を順次入力する。これにより、エンコーダ部１００で問題文章の意味を把握しておきながら、ユーザが作成した作成文章の単語列に対して、次にくる最もふさわしい単語を推定することができる。また、問題文章の意味をとらえながら、ユーザが選んだ表現の単語に基づいて、次の単語を推定するため、表現の自由度もある評価が可能となる。

また、本実施形態の作成文章評価装置１によれば、作成文章は、エンコーダ部１００に入力される第１言語の文章をユーザが第２言語に翻訳して作成した文章である。これにより、ユーザが第１言語の文章を翻訳した第２言語の文章について、その翻訳を評価することができる。

また、本実施形態の作成文章評価装置１によれば、評価部１７及び出力部１４は、作成文章の単語の評価値を表示する、作成文章の単語の評価値に基づいた当該単語の表示を行う、作成文章の単語に対する別候補として、尤度が所定の基準よりも大きい単語候補、又は、前記尤度が最大の単語候補を表示する、及び、作成文章の各単語の評価値に基づく当該作成文章の評価値を表示する。これにより、評価だけではなく、よりよい翻訳を行うためのユーザへのアドバイスが可能となる等、ユーザへのフィードバック学習も可能となる。

なお、本実施形態の作成文章評価装置１において、作成文章入力部１５は、作成文章を、ユーザの全ての単語入力が終わるのを待たずに、リアルタイムで作成文章の各単語をデコーダ入力部１６及び評価部１７に出力してもよい。そして、出力部１４による出力は、評価部１７から評価結果が出力されるたびにリアルタイムで行ってもよい。これにより、ユーザが作成文章を入力中にその時点での評価及び最適単語が表示されることになるため、作成文章を全て入力し終わってしらばく時間が経った後に評価や最適単語が表示されるのに比べて、ユーザにとって学習効果が高い学習ツールとしての役割を果たすことができる。

ここで、背景技術について説明する。近年、英語の試験等で行われる英作文について、採点の自動化が注目されている。これまでは、人手で英作文の採点が行われてきたが、膨大な量の作文を人手で採点するのは多大な時間と労力がかかる作業であり、また採点者によって採点基準が異なり、公平な採点が難しいという問題もある。そこで、英作文の自動採点システムの必要性が高まりつつある。しかしながら、英作文の採点の採点基準は多様であり、特に意味を重視した採点では、表現の方法が多様であり、模範解答と比較することが難しい。問題文によっては、表現の種類が何通りも考えられ、それごとに模範解答を用意するのは難しい。

本実施形態の作成文章評価装置１では、ニューラル機械翻訳で学習されたニューラルネットワーク部１０を用い、デコーダ部１０１にユーザが作文した文章の単語列を入力するとともに、次の単語がふさわしいかをデコーダ部１０１の出力の尤度に基づいて計算する。エンコーダ部１００で問題文の意味は把握しているため、意味を重視しつつ、英作文（作成文章）の表現の自由を許容しながら、単語ごとに評価（点数化）できる。これにより、英作文の採点と、あまり良くない単語の指摘、最適な単語の提示等が可能になり、英作文の採点やフィードバックを自動化できる。

本実施形態の作成文章評価装置１により、ユーザが英作文した文章（作成文章）を、問題文（問題文章）の意味を重視しながら、自由な表現を許容し、文章の単語列を単語ごとに点数をつけることが可能になる。この単語の点数は、それまでにユーザが入力した単語列に基づいて、次にくる単語としてふさわしいかを基準として計算されるため、模範解答の表現とは関係なく、ユーザが使用したい表現での点数となる。この単語ごとの点数を全て平均化することで文章全体の総合スコアも計算できる。また、点数の悪い単語を指摘することとその単語を置き換えるとしてふさわしい単語を提示することで、ユーザの学習にもつながる。

作成文章評価装置１の変形例として以下の英作文採点システムを示す。

機械翻訳用に学習されたニューラルネットワークを備え、
問題文を単語に分割し、前記単語を前記ニューラルネットワークのエンコーダに順次入力する手段と、
作文された文章を単語に分割し、前記単語を前記ニューラルネットワークのデコーダに順次入力する手段と、
前記ニューラルネットワークのデコーダから出力される単語の尤度と、作文された文章の単語の尤度を比較し、作文された単語の点数を計算する手段と、
を備える英作文採点システム。

上記英作文採点システムであって、単語の点数を計算する手段が、前記ニューラルネットワークのデコーダがＳｏｆｔｍａｘ関数で出力した該当単語の尤度に基づいて計算することを特徴とする英作文採点システム。

上記英作文採点システムであって、作文された文章の各単語の点数と、各単語の場所における最も尤度の高い単語を出力する英作文採点システム。

上記英作文採点システムを用い、問題文に対して作文された文章を、各単語の点数に基づいて、単語単位で優劣がわかるように表示する英作文採点表示画面。

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態における作成文章評価装置などは、本発明の一実施の形態に係る作成文章評価方法の処理を行うコンピュータとして機能してもよい。図５は、本発明の一実施の形態に係る作成文章評価装置１のハードウェア構成の一例を示す図である。上述の作成文章評価装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。作成文章評価装置１のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

作成文章評価装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、上述の問題文章準備部１２、エンコーダ入力部１３、出力部１４、作成文章入力部１５、デコーダ入力部１６及び評価部１７などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ニューラルネットワーク部１０及び対訳コーパス格納部１１は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る作成文章評価方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ROM）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。例えば、問題文章準備部１２、出力部１４及び作成文章入力部１５などは、通信装置１００４で実現されてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、作成文章評価装置１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

情報の通知は、本明細書で説明した態様／実施形態に限られず、他の方法で行われてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。

本明細書で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

「含む（including）」、「含んでいる（comprising）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、例えば、英語でのa、an及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

１…作成文章評価装置、１０…ニューラルネットワーク部、１１…対訳コーパス格納部、１２…問題文章準備部、１３…エンコーダ入力部、１４…出力部、１５…作成文章入力部、１６…デコーダ入力部、１７…評価部、１００…エンコーダ部、１０１…デコーダ部。

Claims (8)

1. エンコーダが第１言語の文章を入力し、デコーダが当該第１言語の文章に対応する第２言語の文章の単語候補及び当該単語候補の尤度を順次出力する、エンコーダデコーダモデルのリカレントニューラルネットワークを利用する作成文章評価装置であって、
   前記エンコーダに、第１言語の文章を入力するエンコーダ入力部と、
   前記デコーダに、第２言語で作成された作成文章であって前記エンコーダ入力部によって入力される第１言語の文章に対応する作成文章を単語ごとに順次入力するデコーダ入力部と、
   前記作成文章の単語を、前記デコーダ入力部による入力に基づいて前記デコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて評価し、評価結果に基づく出力を行う評価部と、
   を備える作成文章評価装置。
2. 前記デコーダ入力部は、前記デコーダに、前記デコーダが順次出力する単語候補の替わりに前記作成文章の単語を順次入力する、請求項１に記載の作成文章評価装置。
3. 前記評価部は、前記デコーダ入力部によって入力された前記作成文章の単語である入力単語に対して前記デコーダが出力する第２言語の単語候補及び当該単語候補の尤度に基づいて、前記作成文章における前記入力単語の次の単語を評価する、請求項１又は２に記載の作成文章評価装置。
4. 前記作成文章は、前記エンコーダ入力部によって入力される第１言語の文章をユーザが第２言語に翻訳して作成した文章である、請求項１～３の何れか一項に記載の作成文章評価装置。
5. 前記評価部は、前記作成文章の単語の評価値を表示する、請求項１～４の何れか一項に記載の作成文章評価装置。
6. 前記評価部は、前記作成文章の単語の評価値に基づいた当該単語の表示を行う、請求項１～５の何れか一項に記載の作成文章評価装置。
7. 前記評価部は、前記作成文章の単語に対する別候補として、前記尤度が所定の基準よりも大きい単語候補、又は、前記尤度が最大の単語候補を表示する、請求項１～６の何れか一項に記載の作成文章評価装置。
8. 前記評価部は、前記作成文章の各単語の評価値に基づく当該作成文章の評価値を表示する、請求項１～７の何れか一項に記載の作成文章評価装置。

Images