JP6915373B2

JP6915373B2 - 評価プログラム、評価方法及び評価装置

Info

Publication number: JP6915373B2
Application number: JP2017097903A
Authority: JP
Inventors: 菊池　慎司; 慎司菊池
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-07-28
Filing date: 2017-05-17
Publication date: 2021-08-04
Anticipated expiration: 2037-05-17
Also published as: JP2018026107A

Description

本発明は、言語記述を評価する技術に関する。

文章校正ツールは、文章に含まれる文法的な誤りを検出する。また、文解析ツールは、文における係り受け関係をチャート化する。

これらのツールは、例えばビジネス文書や論文のように論理的な内容を表現する文章を評価する場合に役に立つ。文法的に正しく且つ解釈しやすい文章は、論理的な内容を伝達しやすいからである。

一方、例えば文学作品、私的な伝達や広告のための記述は、その解釈を読者の感性に委ねるため、必ずしも論理的であることを要しないことが多い。従って、このような記述に係る文字列を評価しようとする場合に、文章校正ツールや文解析ツールは、あまり手助けとならない。また、読者の感性は、多様な面を有する。

特開２００５−１３６８１０号公報特開２００８−４６４２５号公報

本発明の目的は、一側面では、文字列に対する読者の感性的な評価を推定することである。

一態様に係る評価方法は、（Ａ）文字列と評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列の意味の特徴に基づいて評価値を導く第１モデルを生成し、（Ｂ）上記教師データを用いて、文字列の音声の特徴に基づいて評価値を導く第２モデルを生成し、（Ｃ）評価される文字列における意味の特徴を第１モデルに適用することによって導かれた第１評価値と、評価される文字列における音声の特徴を第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する処理を含む。

一側面としては、文字列に対する読者の感性的な評価を推定することができる。

図１は、評価装置のモジュール構成例を示す図である。図２は、教師データの例を示す図である。図３は、意味ベクトルデータベースの例を示す図である。図４は、音声表記データベースの例を示す図である。図５は、意味に関するパラメータを算出する手順を示す図である。図６は、意味に関する機械学習に用いられるニューラルネットワークの例を示す図である。図７は、音声に関するパラメータを算出する手順を示す図である。図８は、音声に関する機械学習に用いられるニューラルネットワークの例を示す図である。図９は、学習部のモジュール構成例を示す図である。図１０は、学習処理フローを示す図である。図１１は、第１特徴テーブルの例を示す図である。図１２は、第１パラメータテーブルの例を示す図である。図１３Ａは、第１生成処理フローを示す図である。図１３Ｂは、第１生成処理フローを示す図である。図１４は、第１表記テーブルの例を示す図である。図１５は、第２表記テーブルの例を示す図である。図１６は、第２特徴テーブルの例を示す図である。図１７は、第２パラメータテーブルの例を示す図である。図１８Ａは、第３生成処理（Ａ）フローを示す図である。図１８Ｂは、第３生成処理（Ａ）フローを示す図である。図１８Ｃは、第３生成処理（Ａ）フローを示す図である。図１８Ｄは、第３生成処理（Ａ）フローを示す図である。図１９は、評価部のモジュール構成例を示す図である。図２０は、評価処理フローを示す図である。図２１は、第５生成処理フローを示す図である。図２２Ａは、第６生成処理（Ａ）フローを示す図である。図２２Ｂは、第６生成処理（Ａ）フローを示す図である。図２３は、算出処理（Ａ）フローを示す図である。図２４は、算出処理（Ｂ）フローを示す図である。図２５は、実施の形態２における教師データの例を示す図である。図２６は、実施の形態２における意味ベクトルデータベースの例を示す図である。図２７は、実施の形態２における音声表記データベースの例を示す図である。図２８は、実施の形態２において意味に関するパラメータを算出する手順を示す図である。図２９は、実施の形態２において音声に関するパラメータを算出する手順を示す図である。図３０は、音声ベクトルの各要素に対する母音及び子音の対応例を示す図である。図３１は、実施の形態２における学習部のモジュール構成例を示す図である。図３２は、実施の形態２における学習処理フローを示す図である。図３３は、第３表記テーブルの例を示す図である。図３４は、実施の形態２における第２特徴テーブルの例を示す図である。図３５は、実施の形態２における第２パラメータテーブルの例を示す図である。図３６Ａは、第３生成処理（Ｂ）フローを示す図である。図３６Ｂは、第３生成処理（Ｂ）フローを示す図である。図３６Ｃは、第３生成処理（Ｂ）フローを示す図である。図３７は、実施の形態２における評価処理フローを示す図である。図３８Ａは、第６生成処理（Ｂ）フローを示す図である。図３８Ｂは、第６生成処理（Ｂ）フローを示す図である。図３９は、コンピュータの機能ブロック図である。

[実施の形態１]
図１に、評価装置１０１のモジュール構成例を示す。評価装置１０１は、第１受付部１０３、学習部１０５、第２受付部１０７、評価部１０９、出力部１１１、教師データ記憶部１２１、意味ベクトルデータベース１２３、第１モデルデータ記憶部１２５、音声表記データベース１２７及び第２モデルデータ記憶部１２９を有する。

第１受付部１０３は、教師データを受け付ける。学習部１０５は、学習処理を行う。学習処理では、機械学習によって意味に関する第１モデル及び音声に関する第２モデルが生成される。第２受付部１０７は、評価される文字列を受け付ける。評価部１０９は、評価処理を行う。評価処理では、第１モデルを用いて意味に関する第１評価値が算出され、第２モデルを用いて音声に関する第２評価値が算出される。更に、評価処理では、第１評価値及び第２評価値に基づいて、総合的な第３評価値が算出される。出力部１１１は、第３評価値を出力する。

教師データ記憶部１２１は、教師データを記憶する。教師データについては、図２を用いて後述する。意味ベクトルデータベース１２３は、単語の意味ベクトルを記憶している。意味ベクトルデータベース１２３については、図３を用いて後述する。第１モデルデータ記憶部１２５は、意味に関する機械学習に用いられるニューラルネットワークの定義及び当該ニューラルネットワークにおける結合荷重を記憶する。音声表記データベース１２７は、単語の音声表記を記憶している。音声表記データベース１２７については、図４を用いて後述する。第２モデルデータ記憶部１２９は、音声に関する機械学習に用いられるニューラルネットワークの定義及び当該ニューラルネットワークにおける結合荷重を記憶する。

上述した第１受付部１０３、学習部１０５、第２受付部１０７、評価部１０９及び出力部１１１は、ハードウエア資源（例えば、図３９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

上述した教師データ記憶部１２１、意味ベクトルデータベース１２３、第１モデルデータ記憶部１２５、音声表記データベース１２７及び第２モデルデータ記憶部１２９は、ハードウエア資源（例えば、図３９）を用いて実現される。

図２に、教師データの例を示す。この例における教師データは、テーブル形式である。但し、教師データは、テーブル形式以外の形式であってもよい。この例における教師データは、サンプルに対応するレコードを有している。教師データのレコードは、サンプルＩＤが格納されるフィールドと、文字列が格納されるフィールドと、評価値が格納されるフィールドとを有している。

サンプルＩＤは、サンプルを識別する。文字列及び評価値の組は、サンプルとして予め用意されているものとする。評価値は、文字列を評価した値である。

例えば、図示した１番目のレコードは、サンプルＩＤ「Ｓ００１」で識別される文字列「桜散り緑の芽吹く遊歩道」に対する評価値が「０．９」であることを示している。

図３に、意味ベクトルデータベース１２３の例を示す。この例で、意味ベクトルデータベース１２３におけるテーブルは、単語に対応するレコードを有している。意味ベクトルデータベース１２３におけるテーブルのレコードは、単語が格納されるフィールドと、意味ベクトルが格納されるフィールドとを有している。

意味ベクトルデータベース１２３は、文章コーパス（例えば、辞書サイトやＳＮＳ（Social Networking Service）サイトに登録されている文章）を単語ベクトル化ツール（例えば、Ｗｏｒｄ２Ｖｅｃ）によって分析することによって求められているものとする。単語は、文章コーパスに出現したものである。意味ベクトルは、当該単語の意味的な特徴を示す。

図４に、音声表記データベース１２７の例を示す。この例で、音声表記データベース１２７におけるテーブルは、単語に対応するレコードを有している。音声表記データベース１２７におけるテーブルのレコードは、単語が格納されるフィールドと、平仮名表記が格納されるフィールドとを有している。

平仮名表記は、当該単語の読みを平仮名で表す。この例では、平仮名による表記の例を示したが、片仮名表記であってもよい。また、ローマ字或いは発音記号による表記であってもよい。更に、音声表記に加えて、音響における波形を示すデータを記憶するようにしてもよい。

例えば、図示した１番目のレコードは、単語「桜」は、平仮名で「さくら」と表記されることを示している。

続いて、意味に関するパラメータを算出する手順について説明する。当該パラメータは、ニューラルネットワークにおける入力値として用いられる。図５に、意味に関するパラメータを算出する手順を示す。まず、文字列を単語に分割する。この例では、文字列「桜散り緑の芽吹く遊歩道」が、単語「桜」、「散り」、「緑」及び「の」等に分割される。

次に、各単語が、意味に関する特徴に相当する意味ベクトルに変換される。例えば、単語「桜」は、意味ベクトル（０．３，０．２，…，０．９）に変換される。各単語の意味ベクトルは、上述したように、予め用意されている意味ベクトルデータベース１２３に登録されている。

そして、意味ベクトルに基づいて、意味に関するパラメータを求める。この例では、連続する３つの意味ベクトルのセットを順次特定し、それぞれのセットにおける各意味ベクトルに含まれる要素のうち、最大値を選択して、意味に関するパラメータとして用いる。この例は、１番目の意味ベクトルから３番目の意味ベクトルまでのセットに関して、各意味ベクトルに含まれる要素のうち最大である「０．９」の値が、意味に関する１番目のパラメータとなることを示している。また、２番目の意味ベクトルから４番目の意味ベクトルまでのセットに関して、各意味ベクトルに含まれる要素のうち最大である「０．７」の値が、意味に関する２番目のパラメータとなることを示している。以下、同様である。

ここでは、セットに含まれる意味ベクトルの数を３とする例を示したが、セットに含まれる意味ベクトルの数は、４以上であってもよい。また、セットに含まれる意味ベクトルの数は、２以下であってもよい。セットに含まれる意味ベクトルの数を１とする場合には、単語毎に意味に関するパラメータを求めることになる。

続いて、意味に関する機械学習に用いられるニューラルネットワークの構成について説明する。図６に、意味に関する機械学習に用いられるニューラルネットワークの例を示す。この例におけるニューラルネットワークは、入力層、中間層及び出力層を含む階層型である。

当該ニューラルネットワークにおける入力値は、意味に関する各パラメータ（Ｘ₁乃至Ｘ_M）である。そのため、入力層は、意味に関する各パラメータに対応するユニットを有する。例えば、入力層は、各サンプルの文字列において特定されるセット数のうち、最大数（Ｍ）に相当するユニットを有する。尚、あるサンプルについて特定されるセット数がユニット数よりも少ない場合には、例えば一部のユニットに対して所定の値を設定するようにしてもよい。

この例で、中間層は、入力層と同数のユニットを有する。但し、中間層におけるユニット数は、入力層と同じでなくてもよい。出力層は、当該ニューラルネットワークにおける出力値である評価値（Ｓ）に相当する１つのユニットを有する。ここでは、３層のニューラルネットワークの例を示したが、４層以上のニューラルネットワークを用いるようにしてもよい。また、ニューラルネットワーク以外の学習器を用いるようにしてもよい。

続いて、音声に関するパラメータを算出する手順について説明する。当該パラメータは、ニューラルネットワークにおける入力値として用いられる。図７に、音声に関するパラメータを算出する手順を示す。まず、文字列を平仮名表記に変換する。この例では、文字列「桜散り緑の芽吹く遊歩道」が、平仮名表記「さくらちりみどりのめぶくゆうほどう」に変換される。

次に、平仮名表記をローマ字表記に変換する。この例では、平仮名表記「さくらちりみどりのめぶくゆうほどう」が、ローマ字表記「Ｓａｋｕｒａｔｉｒｉｍｉｄｏｒｉｎｏｍｅｂｕｋｕｙｕｕｈｏｄｏｕ」に変換される。尚、サンプルの文字列を直接ローマ字表記に変換するようにしてもよい。

次に、ローマ字表記から音節を抽出する。この例では、音節「Ｓａ」及び「ｋｕ」等が抽出される。尚、平仮名表記から平仮名１文字を抽出し、当該平仮名に対応するローマ字表記によって音節を特定するようにしてもよい。

次に、抽出された各音節を音声に関する特徴に変換する。この例で、音声に関する特徴は２２次元の音声ベクトルで表される。当該音声ベクトルに含まれる各要素は、母音又は子音に対応する。そして、音節が当該要素に対応する母音又は子音を含む場合に、当該要素の値は「１」となる。それ以外の要素の値は「０」となる。この例で、１番目から順に各要素は、母音「ａ」、母音「ｉ」、母音「ｕ」、母音「ｅ」、母音「ｏ」、子音「ｋ」、子音「ｓ」、子音「ｔ」、子音「ｎ」、子音「ｈ」、子音「ｍ」、子音「ｙ」、子音「ｒ」、子音「ｗ」、子音「ｎｎ」、子音「ｇ」、子音「ｚ」、子音「ｄ」、子音「ｂ」、子音「ｐ」、子音「ｘ」及び子音なしに相当する。尚、撥音「ん」を単独で１音節と看做し、子音「ｎｎ」に対応する要素の値を「１」とする。また、音節が子音を含まない場合には、子音なしに相当する要素の値を「１」とする。例えば、１番目の音節「Ｓａ」は、子音「ｓ」及び母音「ａ」を含むので、音声ベクトル（１，０，０，０，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０）に変換される。同じく、２番目の音節「ｋｕ」は、子音「ｋ」及び母音「ｕ」を含むので、音声ベクトル（０，０，１，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０）に変換される。尚、ここでは、ローマ字に基づいて音声ベクトルを特定する例を示しているが、発音記号に基づいて音声ベクトルを特定するようにしてもよい。

そして、音声に関する特徴である音声ベクトルを音声に関するパラメータに変換する。この例では、音声ベクトルに含まれる２２個の要素を、２２桁の２進数における各桁に対応付ける。そして、当該２進数の値を１６進数の値に変換する。例えば、音声に関する１番目の特徴である音声ベクトル（１，０，０，０，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０）の場合には、２進数「１０００００１０００００００００００００００」が１６進数「０ｘ２０８０００」に変換される。そして、１６進数「０ｘ２０８０００」が音声に関する１番目のパラメータとなる。同じく、音声に関する２番目の特徴である音声ベクトル（０，０，１，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０）の場合には、２進数「００１００１００００００００００００００００」が１６進数「０ｘ９００００」に変換される。そして、１６進数「０ｘ９００００」が音声に関する２番目のパラメータとなる。

続いて、音声に関する機械学習に用いられるニューラルネットワークの構成について説明する。図８に、音声に関する機械学習に用いられるニューラルネットワークの例を示す。この例におけるニューラルネットワークは、入力層、中間層及び出力層を含む階層型である。

当該ニューラルネットワークにおける入力値は、音声に関する各パラメータ（Ｙ₁乃至Ｙ_N）である。そのため、入力層は、音声に関する各パラメータに対応するユニットを有する。例えば、入力層は、各サンプルの文字列に含まれる音節の数のうち、最大数（Ｎ）に相当するユニットを有する。尚、文字列に含まれる音節の数がユニット数よりも少ない場合には、例えば一部のユニットに対して所定の値を設定するようにしてもよい。

続いて、学習部１０５の動作について説明する。図９に、学習部１０５のモジュール構成例を示す。学習部１０５は、第１生成部９０１、第２生成部９０３、第３生成部９０５、第４生成部９０７、第１特徴記憶部９２１、第１パラメータ記憶部９２３、第１表記記憶部９２５、第２表記記憶部９２７、第２特徴記憶部９２９、及び第２パラメータ記憶部９３１を有する。

第１生成部９０１は、第１生成処理を実行する。第１生成処理では、第１特徴テーブル及び第１パラメータテーブルを生成する。第２生成部９０３は、第２生成処理を実行する。第２生成処理では、ニューラルネットワークを用いた機械学習によって、意味に関する第１モデルを生成する。第３生成部９０５は、第３生成処理（Ａ）を実行する。第３生成処理（Ａ）では、第１表記テーブル、第２表記テーブル、第２特徴テーブル及び第２パラメータテーブルを生成する。第４生成部９０７は、第４生成処理を実行する。第４生成処理では、ニューラルネットワークを用いた機械学習によって、音声に関する第２モデルを生成する。

第１特徴記憶部９２１は、第１特徴テーブルを記憶する。第１特徴テーブルについては、図１１を用いて後述する。第１パラメータ記憶部９２３は、第１パラメータテーブルを記憶する。第１パラメータテーブルについては、図１２を用いて後述する。第１表記記憶部９２５は、第１表記テーブルを記憶する。第１表記テーブルについては、図１４を用いて後述する。第２表記記憶部９２７は、第２表記テーブルを記憶する。第２表記テーブルについては、図１５を用いて後述する。第２特徴記憶部９２９は、第２特徴テーブルを記憶する。第２特徴テーブルについては、図１６を用いて後述する。第２パラメータ記憶部９３１は、第２パラメータテーブルを記憶する。第２パラメータテーブルについては、図１７を用いて後述する。

上述した第１生成部９０１、第２生成部９０３、第３生成部９０５及び第４生成部９０７は、ハードウエア資源（例えば、図３９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

上述した第１特徴記憶部９２１、第１パラメータ記憶部９２３、第１表記記憶部９２５、第２表記記憶部９２７、第２特徴記憶部９２９、及び第２パラメータ記憶部９３１は、ハードウエア資源（例えば、図３９）を用いて実現される。

以下では、学習部１０５における学習処理について説明する。図１０に、学習処理フローを示す。第１受付部１０３は、教師データを受け付ける（Ｓ１００１）。受け付けられた教師データは、教師データ記憶部１２１において記憶される。尚、評価装置１０１において教師データを生成するようにしてもよい。

第１生成部９０１は、第１生成処理を実行する（Ｓ１００３）。第１生成処理について説明する前に、第１生成処理で生成される第１特徴テーブル及び第１パラメータテーブルについて説明する。

図１１に、第１特徴テーブルの例を示す。この例における第１特徴テーブルは、サンプルに対応するレコードを有している。第１特徴テーブルのレコードは、サンプルＩＤが格納されるフィールドと、意味に関する特徴が格納される複数のフィールドとを有している。

サンプルＩＤは、サンプルを識別する。意味に関する特徴は、サンプルの文字列に含まれる各単語の意味に関する特徴である。従って、サンプルの文字列に含まれる単語の数に相当するフィールドが含まれる。この例では、意味に関する特徴は、意味ベクトルである。但し、意味に関する特徴は、意味ベクトル以外であってもよい。

例えば、図示した１番目のレコードは、サンプルＩＤ「Ｓ００１」で識別される文字列の最初に出現する単語の特徴が、意味ベクトル（０．３，０．２，…，０．９）で表され、同じく２番目に出現する単語の特徴が、意味ベクトル（０．１，０．４，…，０．５）で表されることを示している。

図１２に、第１パラメータテーブルの例を示す。この例における第１パラメータテーブルは、サンプルに対応するレコードを有している。第１パラメータテーブルのレコードは、サンプルＩＤが格納されるフィールドと、意味に関するパラメータが格納される複数のフィールドとを有している。

サンプルＩＤは、サンプルを識別する。意味に関するパラメータは、図５を用いて説明したように、サンプルの文字列に含まれる単語の意味に関する特徴に基づくパラメータである。

例えば、図示した１番目のレコードは、サンプルＩＤ「Ｓ００１」で識別される文字列に含まれる単語の意味に関する特徴に基づく最初のパラメータが「０．９」であり、同じく２番目のパラメータが「０．７」であることを示している。尚、意味に関する特徴が１次元の変数である場合には、意味に関する特徴をそのまま意味に関するパラメータとして用いるようにしてもよい。

続いて、第１生成処理について説明する。図１３Ａに、第１生成処理フローを示す。第１生成部９０１は、サンプルを１つ特定する（Ｓ１３０１）。第１生成部９０１は、例えば昇順にサンプルＩＤを特定する。

第１生成部９０１は、第１特徴テーブルに新たなレコードを設ける（Ｓ１３０３）。新たなレコードには、Ｓ１３０１で特定されたサンプルＩＤが格納される。

第１生成部９０１は、当該サンプルの文字列に含まれる単語を抽出する（Ｓ１３０５）。例えば、第１生成部９０１は、形態素解析を行って、文字列を複数の単語に分割する。

第１生成部９０１は、抽出された単語を１つ特定する（Ｓ１３０７）。具体的には、第１生成部９０１は、分割された単語を先頭から順に特定する。

第１生成部９０１は、意味ベクトルデータベース１２３から、当該単語の意味ベクトルを取得する（Ｓ１３０９）。そして、第１生成部９０１は、当該意味ベクトルを、Ｓ１３０３で設けたレコードにおける意味に関する特徴のフィールドに順次格納する（Ｓ１３１１）。

第１生成部９０１は、Ｓ１３０５において抽出された単語のうち、未処理の単語があるか否かを判定する（Ｓ１３１３）。未処理の単語があると判定した場合には、Ｓ１３０７に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単語がないと判定した場合には、第１生成部９０１は、未処理のサンプルがあるか否かを判定する（Ｓ１３１５）。未処理のサンプルがあると判定した場合には、Ｓ１３０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、端子Ａを介して、図１３Ｂに示したＳ１３２１の処理に移る。未処理のサンプルがないと判定した時点で、第１特徴テーブルの生成が完了する。

図１３Ｂの説明に移る。以下の処理では、第１パラメータテーブルを生成する。第１生成部９０１は、サンプルを１つ特定する（Ｓ１３２１）。第１生成部９０１は、例えば昇順にサンプルＩＤを特定する。

第１生成部９０１は、第１パラメータテーブルに新たなレコードを設ける（Ｓ１３２３）。新たなレコードには、Ｓ１３２１で特定されたサンプルＩＤが格納される。

第１生成部９０１は、連続する３つの意味ベクトルのセットを特定する（Ｓ１３２５）。最初に、第１特徴テーブルのレコードにおいて、意味に関する特徴が格納される複数のフィールドのうち、１番目から３番目までのフィールドに設定されている意味ベクトルが特定される。次には、２番目から４番目までのフィールドに設定されている意味ベクトルが特定される。その後も、順次フィールドをシフトして３つの意味ベクトルが特定される。

第１生成部９０１は、当該セットに含まれる意味ベクトルにおける要素のうち、最大値を特定する（Ｓ１３２７）。そして、第１生成部９０１は、当該最大値を、意味に関するパラメータのフィールドに順次格納する（Ｓ１３２９）。

第１生成部９０１は、未処理のセットがあるか否かを判定する（Ｓ１３３１）。未処理のセットがあると判定した場合には、Ｓ１３２５に示した処理に戻って、上述した処理を繰り返す。尚、この例で当該繰り返し処理によって特定されるセットの数は、文字列に含まれる単語数−２である。

一方、未処理のセットがないと判定した場合には、第１生成部９０１は、未処理のサンプルがあるか否かを判定する（Ｓ１３３３）。未処理のサンプルがあると判定した場合には、Ｓ１３２１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、第１生成処理を終える。未処理のサンプルがないと判定した時点で、第１パラメータテーブルの生成が完了する。第１生成処理を終えると、呼び出し元の学習処理に復帰する。

図１０の説明に戻る。第２生成部９０３は、第２生成処理を実行する（Ｓ１００５）。第２生成処理では、意味に関する各パラメータを図６に示したニューラルネットワークの入力層におけるユニットに設定し、評価値を同じニューラルネットワークの出力層のユニットに設定して、誤差逆伝播法によって機械学習を行う。そして、機械学習によって得られた結合荷重を第１モデルデータ記憶部１２５に記憶する。

第３生成部９０５は、第３生成処理（Ａ）を実行する（Ｓ１００７）。第３生成処理（Ａ）について説明する前に、第３生成処理（Ａ）で生成される第１表記テーブル、第２表記テーブル、第２特徴テーブル及び第２パラメータテーブルについて説明する。

図１４に、第１表記テーブルの例を示す。この例における第１表記テーブルは、サンプルに対応するレコードを有している。第１表記テーブルのレコードは、サンプルＩＤが格納されるフィールドと、文字列の平仮名表記が格納されるフィールドとを有している。

サンプルＩＤは、サンプルを識別する。文字列の平仮名表記は、当該サンプルの文字列の読みを平仮名で表す。

例えば、図示した１番目のレコードは、１番目のサンプルにおける文字列の読みが、平仮名「さくらちりみどりのめぶくゆうほどう」で表されることを示している。

図１５に、第２表記テーブルの例を示す。この例における第２表記テーブルは、サンプルに対応するレコードを有している。第２表記テーブルのレコードは、サンプルＩＤが格納されるフィールドと、文字列のローマ字表記が格納されるフィールドとを有している。

サンプルＩＤは、サンプルを識別する。文字列のローマ字表記は、当該サンプルの文字列の読みをローマ字で表す。

例えば、図示した１番目のレコードは、１番目のサンプルにおける文字列の読みが、ローマ字「Ｓａｋｕｒａｔｉｒｉｍｉｄｏｒｉｎｏｍｅｂｕｋｕｙｕｕｈｏｄｏｕ」で表されることを示している。

図１６に、第２特徴テーブルの例を示す。この例における第２特徴テーブルは、サンプルに対応するレコードを有している。第２特徴テーブルのレコードは、サンプルＩＤが格納されるフィールドと、音声に関する特徴が格納される複数のフィールドとを有している。

サンプルＩＤは、サンプルを識別する。音声に関する特徴は、サンプルの文字列に含まれる各音節の音声に関する特徴である。従って、サンプルの文字列に含まれる音節の数に相当するフィールドが設けられる。この例では、音声に関する特徴は、音声ベクトルである。但し、音声に関する特徴は、音声ベクトル以外であってもよい。

例えば、図示した１番目のレコードは、１番目のサンプルにおける最初の音節が音声ベクトル（１，０，０，０，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０）で表され、同じく２番目の音節が音声ベクトル（０，０，１，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０）で表されることを示している。

図１７に、第２パラメータテーブルの例を示す。この例における第２パラメータテーブルは、サンプルに対応するレコードを有している。第２パラメータテーブルのレコードは、サンプルＩＤが格納されるフィールドと、音声に関するパラメータが格納される複数のフィールドとを有している。

サンプルＩＤは、サンプルを識別する。音声に関するパラメータは、図７を用いて説明したように、サンプルの文字列に含まれる音節毎に求められる。

例えば、図示した１番目のレコードは、サンプルＩＤ「Ｓ００１」で識別される文字列に含まれる最初の音節の特徴に基づくパラメータが１６進数「０ｘ２０８０００」であり、同じく２番目の音節の特徴に基づくパラメータが１６進数「０ｘ９００００」であることを示している。尚、音声に関する特徴が１次元の変数である場合には、音声に関する特徴をそのまま音声に関するパラメータとして用いるようにしてもよい。

続いて、第３生成処理（Ａ）について説明する。図１８Ａに、第３生成処理（Ａ）フローを示す。第３生成部９０５は、サンプルを１つ特定する（Ｓ１８０１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、第１表記テーブルに新たなレコードを設ける（Ｓ１８０３）。新たなレコードには、Ｓ１８０１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、当該サンプルの文字列に含まれる単語を抽出する（Ｓ１８０５）。例えば、第３生成部９０５は、形態素解析を行って、文字列を複数の単語に分割する。

第３生成部９０５は、抽出された単語を１つ特定する（Ｓ１８０７）。具体的には、第１生成部９０１は、分割された単語を先頭から順に特定する。

第３生成部９０５は、音声表記データベース１２７から、当該単語の平仮名表記を取得する（Ｓ１８０９）。そして、第３生成部９０５は、当該単語の平仮名表記を、Ｓ１８０３で設けた文字列の平仮名表記のフィールドに追加する（Ｓ１８１１）。

第３生成部９０５は、Ｓ１８０５において抽出された単語のうち、未処理の単語があるか否かを判定する（Ｓ１８１３）。未処理の単語があると判定した場合には、Ｓ１８０７に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単語がないと判定した場合には、第３生成部９０５は、未処理のサンプルがあるか否かを判定する（Ｓ１８１５）。未処理のサンプルがあると判定した場合には、Ｓ１８０１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、端子Ｂを介して、図１８Ｂに示したＳ１８２１の処理に移る。未処理のサンプルがないと判定した時点で、第１表記テーブルの生成が完了する。

図１８Ｂの説明に移る。以下の処理では、第２表記テーブルを生成する。第３生成部９０５は、サンプルを１つ特定する（Ｓ１８２１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、第２表記テーブルに新たなレコードを設ける（Ｓ１８２３）。新たなレコードには、Ｓ１８２１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、当該サンプルにおける文字列の平仮名表記を文字列のローマ字表記に変換する（Ｓ１８２５）。第３生成部９０５は、文字列のローマ字表記を、Ｓ１８２３において設けられたレコードに格納する（Ｓ１８２７）。

第３生成部９０５は、未処理のサンプルがあるか否かを判定する（Ｓ１８２９）。未処理のサンプルがあると判定した場合には、Ｓ１８２１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、端子Ｃを介して、図１８Ｃに示したＳ１８４１の処理に移る。未処理のサンプルがないと判定した時点で、第２表記テーブルの生成が完了する。

図１８Ｃの説明に移る。以下の処理では、第２特徴テーブルを生成する。第３生成部９０５は、サンプルを１つ特定する（Ｓ１８４１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、第２特徴テーブルに新たなレコードを設ける（Ｓ１８４３）。新たなレコードには、Ｓ１８４１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、文字列のローマ字表記に含まれる音節を１つ特定する（Ｓ１８４５）。この例では、第３生成部９０５は、前から後ろへ順番に音節を特定する。音節は、１つの母音のみ、又は１つの母音と子音との組み合わせである。

第３生成部９０５は、当該音節を音声ベクトルに変換する（Ｓ１８４７）。当該音節に含まれる母音に対応する要素の値を「１」とする。また、当該音節が子音を含む場合には当該子音に対応する要素の値を「１」とする。それ以外の要素の値を「０」とする。尚、撥音「ん」は単独で１単位として扱われ、子音「ｎｎ」に対応する要素の値が「１」となる。

第３生成部９０５は、当該音声ベクトルを、Ｓ１８４３において設けられたレコードにおける音声に関する特徴のフィールドに順次格納する（Ｓ１８４９）。

第３生成部９０５は、未処理の音節があるか否かを判定する（Ｓ１８５１）。未処理の音節があると判定した場合には、Ｓ１８４５に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の音節がないと判定した場合には、第３生成部９０５は、未処理のサンプルがあるか否かを判定する（Ｓ１８５３）。未処理のサンプルがあると判定した場合には、Ｓ１８４１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、端子Ｄを介して、図１８Ｄに示したＳ１８６１の処理に移る。未処理のサンプルがないと判定した時点で、第２特徴テーブルの生成が完了する。

図１８Ｄの説明に移る。以下の処理では、第２パラメータテーブルを生成する。第３生成部９０５は、サンプルを１つ特定する（Ｓ１８６１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、第２パラメータテーブルに新たなレコードを設ける（Ｓ１８６３）。新たなレコードには、Ｓ１８６１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、第２特徴テーブルにおける当該サンプルのレコードにおいて、音声に関する特徴のフィールドに格納されている音声ベクトルを１つ特定する（Ｓ１８６５）。具体的には、第３生成部９０５は、前から後ろへ順番に音声に関する特徴のフィールドを特定して、当該フィールドに格納されているベクトルを読み取る。

第３生成部９０５は、当該音声ベクトルを数値に変換する（Ｓ１８６７）。上述したように、第３生成部９０５は、当該音声ベクトルに含まれる２２個の要素を、それぞれ２進数の各桁に対応付けた２２桁の２進数の値を１６進数に変換する。

そして、第３生成部９０５は、当該数値を、Ｓ１８６３において設けた音声に関するパラメータのフィールドに順次格納する（Ｓ１８６９）。

第３生成部９０５は、未処理の音声ベクトルがあるか否かを判定する（Ｓ１８７１）。未処理の音声ベクトルがあると判定した場合には、Ｓ１８６５に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の音声ベクトルがないと判定した場合には、第３生成部９０５は、未処理のサンプルがあるか否かを判定する（Ｓ１８７３）。未処理のサンプルがあると判定した場合には、Ｓ１８６１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、第３生成処理（Ａ）を終える。未処理のサンプルがないと判定した時点で、第２パラメータテーブルの生成が完了する。第３生成処理（Ａ）を終えると、呼び出し元の学習処理に復帰する。

図１０の説明に戻る。第４生成部９０７は、第４生成処理を実行する（Ｓ１００９）。第４生成処理では、音声に関する各パラメータを図８に示したニューラルネットワークの入力層における対応するユニットに設定し、評価値を同じニューラルネットワークの出力層のユニットに設定して、誤差逆伝播法によって機械学習を行う。そして、機械学習によって得られた結合荷重を第２モデルデータ記憶部１２９に記憶する。以上で、学習部１０５の動作についての説明を終える。

続いて、評価部１０９の動作について説明する。図１９に、評価部１０９のモジュール構成例を示す。評価部１０９は、第５生成部１９０１、第１適用部１９０３、第６生成部１９０５、第２適用部１９０７及び算出部１９０９を有する。

第５生成部１９０１は、第５生成処理を実行する。第５生成処理では、評価される文字列に含まれる各単語の意味に関する特徴に基づいて、意味に関するパラメータが生成される。第１適用部１９０３は、第１適用処理を実行する。第１適用処理では、意味に関するパラメータを第１モデルに適用し、意味に関する第１評価値を推定する。第６生成部１９０５は、第６生成処理（Ａ）を実行する。第６生成処理（Ａ）では、評価される文字列に含まれる各音節の音声に関する特徴に基づいて、音声に関するパラメータが生成される。第２適用部１９０７は、第２適用処理を実行する。第２適用処理では、音声に関するパラメータを第２モデルに適用し、音声に関する第２評価値を推定する。算出部１９０９は、第１評価値及び第２評価値に基づいて、総合的な第３評価値を算出する。

上述した第５生成部１９０１、第１適用部１９０３、第６生成部１９０５、第２適用部１９０７及び算出部１９０９は、ハードウエア資源（例えば、図３９）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。

図２０に、評価処理フローを示す。第２受付部１０７は、評価される文字列を受け付ける（Ｓ２００１）。受け付けられた文字列は、内部パラメータとして保持される。

第５生成部１９０１は、第５生成処理を実行する（Ｓ２００３）。第５生成処理では、学習処理における第１生成処理の場合と同様の手順によって、評価される文字列に基づくパラメータが生成される。

図２１に、第５生成処理フローを示す。第５生成部１９０１は、評価される文字列に含まれる単語を抽出する（Ｓ２１０１）。例えば、第５生成部１９０１は、形態素解析を行って、文字列を複数の単語に分割する。

第５生成部１９０１は、単語を１つ特定する（Ｓ２１０３）。例えば、第５生成部１９０１は、分割された単語を先頭から順番に特定する。

第５生成部１９０１は、意味ベクトルデータベース１２３から、当該単語の意味ベクトルを取得する（Ｓ２１０５）。そして、第５生成部１９０１は、取得した意味ベクトルを、意味に関する特徴の列に加える（Ｓ２１０７）。意味に関する特徴の列は、具体的には意味ベクトルの列であって、内部パラメータとして保持される。

第５生成部１９０１は、未処理の単語があるか否かを判定する（Ｓ２１０９）。未処理の単語があると判定した場合には、Ｓ２１０３に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単語がないと判定した場合には、第５生成部１９０１は、意味に関する特徴の列において連続する３つの意味ベクトルのセットを特定する（Ｓ２１１１）。最初に、１番目から３番目までの意味ベクトルが特定される。次に、２番目から４番目までの意味ベクトルが特定される。その後も、順次シフトして３つの意味ベクトルが特定される。

第５生成部１９０１は、当該セットに含まれる意味ベクトルにおける要素のうち、最大値を特定する（Ｓ２１１３）。そして、第５生成部１９０１は、当該最大値を、意味に関するパラメータの列に加える（Ｓ２１１５）。意味に関するパラメータの列は、内部パラメータとして保持される。

第５生成部１９０１は、未処理のセットがあるか否かを判定する（Ｓ２１１７）。未処理のセットがあると判定した場合には、Ｓ２１１１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のセットがないと判定した場合には、第５生成処理を終える。第５生成処理を終えると、呼び出し元の評価処理に復帰する。

図２０の説明に戻る。第１適用部１９０３は、第１適用処理を実行する（Ｓ２００５）。第１適用処理において、第１適用部１９０３は、第５生成処理において生成された意味に関する各パラメータを、学習処理において生成された第１モデルに適用する。具体的には、第１適用部１９０３は、意味に関する各パラメータを、図６に示したニューラルネットワークの入力層における対応するユニットに設定する。更に、第１適用部１９０３は、第１モデルデータ記憶部１２５で記憶している結合荷重を用いてニューラルネットワークを動作させる。その結果、出力層のユニットから意味に関する第１評価値が出力される。

第６生成部１９０５は、第６生成処理（Ａ）を実行する（Ｓ２００７）。第６生成処理（Ａ）では、評価される文字列に含まれる各音節の音声に関する特徴に基づいて、音声に関するパラメータが生成される。このパラメータは、学習処理における第３生成処理（Ａ）の場合と同様の手順によって生成される。

図２２Ａに、第６生成処理（Ａ）フローを示す。第６生成部１９０５は、評価される文字列に含まれる単語を抽出する（Ｓ２２０１）。例えば、第６生成部１９０５は、形態素解析を行って、文字列を複数の単語に分割する。

第６生成部１９０５は、単語を１つ特定する（Ｓ２２０３）。例えば、第６生成部１９０５は、分割された単語を先頭から順番に特定する。

第６生成部１９０５は、音声表記データベース１２７から、当該単語の平仮名表記を取得する（Ｓ２２０５）。第６生成部１９０５は、当該単語の平仮名表記を、文字列の平仮名表記に追加する（Ｓ２２０７）。文字列の平仮名表記は、内部パラメータとして保持される。

第６生成部１９０５は、未処理の単語があるか否かを判定する（Ｓ２２０９）。未処理の単語があると判定した場合には、Ｓ２２０３に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単語がないと判定した場合には、第６生成部１９０５は、文字列の平仮名表記を文字列のローマ字表記に変換する（Ｓ２２１１）。文字列のローマ字表記は、内部パラメータとして保持される。そして、端子Ｆを介して、図２２Ｂに示したＳ２２１３の処理に移る。

図２２Ｂの説明に移る。第６生成部１９０５は、文字列のローマ字表記に含まれる音節を１つ特定する（Ｓ２２１３）。この例では、第６生成部１９０５は、前から後ろへ順番に音節を特定する。

第６生成部１９０５は、第３生成処理（Ａ）の場合と同様に、当該音節を音声ベクトルに変換する（Ｓ２２１５）。第６生成部１９０５は、当該音声ベクトルを、音声に関する特徴の列に加える（Ｓ２２１７）。音声に関する特徴の列は、具体的には音声ベクトルの列であって、内部パラメータとして保持される。

第６生成部１９０５は、未処理の音節があるか否かを判定する（Ｓ２２１９）。未処理の音節があると判定した場合には、Ｓ２２１３に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の音節がないと判定した場合には、第６生成部１９０５は、音声に関する特徴の列における音声ベクトルを１つ特定する（Ｓ２２２１）。例えば、当該列の先頭から順番に音声ベクトルを特定する。

第６生成部１９０５は、第３生成処理（Ａ）の場合と同様に、当該音声ベクトルを数値に変換する（Ｓ２２２３）。そして、第６生成部１９０５は、当該数値を、音声に関するパラメータの列に加える（Ｓ２２２５）。音声に関するパラメータの列は、内部パラメータとして保持される。

第６生成部１９０５は、未処理の音声ベクトルがあるか否かを判定する（Ｓ２２２７）。未処理の音声ベクトルがあると判定した場合には、Ｓ２２２１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の音声ベクトルがないと判定した場合には、第６生成処理（Ａ）を終える。第６生成処理（Ａ）を終えると、呼び出し元の評価処理に復帰する。

図２０の説明に戻る。第２適用部１９０７は、第２適用処理を実行する（Ｓ２００９）。第２適用処理において、第２適用部１９０７は、第６生成処理（Ａ）において生成された音声に関する各パラメータを、学習処理において生成された第２モデルに適用する。具体的には、第２適用部１９０７は、音声に関する各パラメータを、図８に示したニューラルネットワークの入力層におけるユニットに設定する。更に、第２適用部１９０７は、第２モデルデータ記憶部１２９で記憶している結合荷重を用いてニューラルネットワークを動作させる。その結果、出力層のユニットから音声に関する第２評価値が出力される。

算出部１９０９は、算出処理を実行する（Ｓ２０１１）。算出処理では、第１評価値及び第２評価値に基づいて、総合的な第３評価値を算出する。以下、算出処理の例を２つ示す。

図２３に、算出処理（Ａ）フローを示す。算出部１９０９は、第１評価値に第１係数を乗じる（Ｓ２３０１）。算出部１９０９は、第２評価値に第２係数を乗じる（Ｓ２３０３）。算出部１９０９は、Ｓ２３０１で算出した積とＳ２３０３で算出した積との和を求め、第３評価値とする（Ｓ２３０５）。算出処理（Ａ）を終えると、呼び出し元の評価処理に復帰する。尚、第１係数は、第１評価値に対する重みに相当する。尚、第２係数は、第２評価値に対する重みに相当する。

図２４に、算出処理（Ｂ）フローを示す。算出処理（Ｂ）では、２段階で評価する。評価値「１」は、当該文字列の評価が良いことを示す。評価値「０」は、当該文字列の評価が悪いことを示す。

まず、算出部１９０９は、第１評価値が閾値を超えるか否かを判定する（Ｓ２４０１）。第１評価値が閾値を超えないと判定した場合には、算出部１９０９は、第３評価値を「０」とする（Ｓ２４０３）。

一方、第１評価値が閾値を超えると判定した場合には、算出部１９０９は、第２評価値が閾値を超えるか否かを判定する（Ｓ２４０５）。第２評価値が閾値を超えないと判定した場合には、算出部１９０９は、第３評価値を「０」とする（Ｓ２４０３）。

一方、第２評価値が閾値を超えると判定した場合には、第３評価値を「１」とする（Ｓ２４０７）。

この例では、第１評価値及び第２評価値が閾値を超える場合に、第３評価値を「１」とする。但し、少なくとも第１評価値又は第２評価値が閾値を超える場合に、第３評価値を「１」とするようにしてもよい。算出処理を終えると、呼び出し元の評価処理に復帰する。

図２０の説明に戻る。出力部１１１は、第３評価値を出力する（Ｓ２０１３）。

本実施の形態によれば、文字列に対する読者の感性的な評価を推定することができる。例えば、暗示的な関連や言語的なリズムのように定式化し難い規則が反映されると期待される。

また、単語から読者が受ける意味的な印象を第１モデルに反映することができる。

また、音節から読者が受ける音声的な印象を第２モデルに反映することができる。

[実施の形態２]
本実施の形態では、英語の文字列に関する適用例について説明する。

実施の形態２における評価装置１０１のモジュール構成は、実施の形態１の場合と同様（図１）である。

図２５に、実施の形態２における教師データの例を示す。実施の形態２における教師データの構成は、実施の形態１の場合（図２）と同様である。

図２６に、実施の形態２における意味ベクトルデータベース１２３の例を示す。実施の形態２における意味ベクトルデータベース１２３の構成は、実施の形態１の場合（図３）と同様である。

図２７に、実施の形態２における音声表記データベース１２７の例を示す。この例で、音声表記データベース１２７におけるテーブルは、単語に対応するレコードを有している。音声表記データベース１２７におけるテーブルのレコードは、単語が格納されるフィールドと、発音記号表記が格納されるフィールドとを有している。

発音記号表記は、当該単語の読みを発音記号で表す。音声表記データベース１２７は、音声表記に加えて、音響における波形を示すデータを記憶するようにしてもよい。

実施の形態２において意味に関するパラメータを算出する手順は、実施の形態１の場合と同様（図５）である。図２８に、実施の形態２において意味に関するパラメータを算出する手順の例を示す。まず、文字列を単語に分割する。

次に、各単語が、意味に関する特徴に相当する意味ベクトルに変換される。例えば、単語「ｃｈｅｒｒｙ」は、意味ベクトル（０．３，０．２，…，０．９）に変換される。各単語の意味ベクトルは、上述したように、予め用意されている意味ベクトルデータベース１２３に登録されている。

実施の形態２において意味に関する機械学習に用いられるニューラルネットワークの構成は、実施の形態１の場合（図６）と同様である。

図２９に、実施の形態２において音声に関するパラメータを算出する手順を示す。まず、文字列を発音記号表記に変換する。

次に、発音記号表記から単語を抽出し、抽出された各単語の発音記号表記を音声に関する特徴に変換する。図３０に、音声ベクトルの各要素に対する母音及び子音の対応例を示す。この例で、音声に関する特徴は４５次元の音声ベクトルで表される。当該音声ベクトルに含まれる各要素は、母音又は子音に対応する。そして、単語の発音記号表記が当該要素に対応する母音又は子音を含む場合に、当該要素の値は「１」となる。この例では、同一の母音又は子音を複数含む場合に、当該母音又は子音に相当する要素の値を「１」とする。但し、同一の母音又は子音を複数含む場合に、要素の値にその個数を設定するようにしてもよい。

そして、音声に関する特徴である音声ベクトルを音声に関するパラメータに変換する。この例では、音声ベクトルに含まれる４５個の要素を、４５桁の２進数における各桁に対応付ける。そして、当該２進数の値を１６進数の値に変換する。例えば、音声に関する１番目の特徴である音声ベクトル（０，０，０，０，０，０，０，０，１，０，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０，０）の場合には、２進数「００００００００１０００１０００００００００００００１００００００００１０００００００００」が１６進数「０ｘ００１１０００４０２００」に変換される。そして、１６進数「０ｘ００１１０００４０２００」が音声に関する１番目のパラメータとなる。

実施の形態２において音声に関する機械学習に用いられるニューラルネットワークの構成は、実施の形態１の場合（図８）と同様である。

図３１に、実施の形態２における学習部１０５のモジュール構成例を示す。実施の形態２における学習部１０５は、第１表記記憶部９２５及び第２表記記憶部９２７に代えて、第３表記記憶部３１０１を有する。第３表記記憶部３１０１は、第３表記テーブルを記憶する。第３表記テーブルについては、図３３を用いて後述する。

第３表記記憶部３１０１は、ハードウエア資源（例えば、図３９）を用いて実現される。

第３生成部９０５は、第３生成処理（Ａ）に代えて、第３生成処理（Ｂ）を実行する。図３２に、実施の形態２における学習処理フローを示す。第１受付部１０３は、実施の形態１の場合と同様に、教師データを受け付ける（Ｓ１００１）。受け付けられた教師データは、教師データ記憶部１２１において記憶される。

第１生成部９０１は、実施の形態１の場合と同様に、第１生成処理を実行する（Ｓ１００３）。

第１生成処理は、実施の形態１の場合（図１３Ａ及び図１３Ｂ）と同様である。尚、第１特徴テーブルの構成は、実施の形態１の場合（図１１）と同様である。また、第１パラメータテーブルの構成も、実施の形態１の場合（図１２）と同様である。

第２生成処理も、実施の形態１の場合と同様である。

第３生成部９０５は、第３生成処理（Ｂ）を実行する（Ｓ３２０１）。第３生成処理（Ｂ）について説明する前に、第３表記テーブル、第２特徴テーブル及び第２パラメータテーブルについて説明する。

図３３に、第３表記テーブルの例を示す。この例における第３表記テーブルは、サンプルに対応するレコードを有している。第３表記テーブルのレコードは、サンプルＩＤが格納されるフィールドと、文字列の発音記号表記が格納されるフィールドとを有している。

サンプルＩＤは、サンプルを識別する。文字列の発音記号表記は、当該サンプルの文字列の読みを発音記号で表す。

実施の形態２における第２特徴テーブルの構成は、実施の形態１の場合（図１６）と同様である。図３４に、実施の形態２における第２特徴テーブルの例を示す。

例えば、図示した１番目のレコードは、１番目のサンプルにおける最初の単語が音声ベクトル（０，０，０，０，０，０，０，０，１，０，０，０，１，０，０，０，０，０，０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０，０）で表されることを示している。

実施の形態２における第２パラメータテーブルの構成は、実施の形態１の場合（図１７）と同様である。図３５に、実施の形態２における第２パラメータテーブルの例を示す。

例えば、図示した１番目のレコードは、サンプルＩＤ「Ｓ００１」で識別される文字列に含まれる最初の単語の特徴に基づくパラメータが１６進数「０ｘ００１１０００４０２００」であることを示している。

続いて、第３生成処理（Ｂ）について説明する。図３６Ａに、第３生成処理（Ｂ）フローを示す。第３生成部９０５は、実施の形態１の場合（図１８Ａ）と同様に、サンプルを１つ特定する（Ｓ１８０１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、第３表記テーブルに新たなレコードを設ける（Ｓ３６０１）。新たなレコードには、Ｓ１８０１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、実施の形態１の場合と同様に、抽出された単語を１つ特定する（Ｓ１８０７）。具体的には、第１生成部９０１は、分割された単語を先頭から順に特定する。

第３生成部９０５は、音声表記データベース１２７から、当該単語の発音記号表記を取得する（Ｓ３６０３）。そして、第３生成部９０５は、当該単語の発音記号表記を、Ｓ３６０１で設けた文字列の発音記号表記のフィールドに追加する（Ｓ３６０５）。

一方、未処理のサンプルがないと判定した場合には、端子Ｇを介して、図３６Ｂに示したＳ１８４１の処理に移る。未処理のサンプルがないと判定した時点で、第３表記テーブルの生成が完了する。

図３６Ｂの説明に移る。以下の処理では、第２特徴テーブルを生成する。第３生成部９０５は、実施の形態１の場合（図１８Ｃ）と同様に、サンプルを１つ特定する（Ｓ１８４１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、実施の形態１の場合と同様に、第２特徴テーブルに新たなレコードを設ける（Ｓ１８４３）。新たなレコードには、Ｓ１８４１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、文字列の発音記号表記に含まれる単語を１つ特定する（Ｓ３６０７）。この例では、第３生成部９０５は、前から後ろへ順番に単語を特定する。

第３生成部９０５は、当該単語の発音記号表記を音声ベクトルに変換する（Ｓ３６０９）。当該単語の発音記号表記に含まれる母音に対応する要素の値を「１」とする。また、当該単語の発音記号表記が子音を含む場合には当該子音に対応する要素の値を「１」とする。それ以外の要素の値を「０」とする。

第３生成部９０５は、未処理の単語があるか否かを判定する（Ｓ３６１１）。未処理の単語があると判定した場合には、Ｓ３６０７に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単語がないと判定した場合には、第３生成部９０５は、未処理のサンプルがあるか否かを判定する（Ｓ１８５３）。未処理のサンプルがあると判定した場合には、Ｓ１８４１に示した処理に戻って、上述した処理を繰り返す。

一方、未処理のサンプルがないと判定した場合には、端子Ｈを介して、図３６Ｃに示したＳ１８６１の処理に移る。未処理のサンプルがないと判定した時点で、第２特徴テーブルの生成が完了する。

図３６Ｃの説明に移る。以下の処理では、第２パラメータテーブルを生成する。第３生成部９０５は、実施の形態１の場合（図１８Ｄ）と同様に、サンプルを１つ特定する（Ｓ１８６１）。第３生成部９０５は、例えば昇順にサンプルＩＤを特定する。

第３生成部９０５は、実施の形態１の場合と同様に、第２パラメータテーブルに新たなレコードを設ける（Ｓ１８６３）。新たなレコードには、Ｓ１８６１で特定されたサンプルＩＤが格納される。

第３生成部９０５は、実施の形態１の場合と同様に、第２特徴テーブルにおける当該サンプルのレコードにおいて、音声に関する特徴のフィールドに格納されている音声ベクトルを１つ特定する（Ｓ１８６５）。具体的には、第３生成部９０５は、前から後ろへ順番に音声に関する特徴のフィールドを特定して、当該フィールドに格納されているベクトルを読み取る。

第３生成部９０５は、当該音声ベクトルを数値に変換する（Ｓ１８６７）。上述したように、第３生成部９０５は、当該音声ベクトルに含まれる４５個の要素を、それぞれ２進数の各桁に対応付けた４５桁の２進数の値を１６進数に変換する。

一方、未処理のサンプルがないと判定した場合には、第３生成処理（Ｂ）を終える。未処理のサンプルがないと判定した時点で、第２パラメータテーブルの生成が完了する。第３生成処理（Ｂ）を終えると、呼び出し元の学習処理に復帰する。

図３２の説明に戻る。第４生成処理は、実施の形態１の場合と同様である（Ｓ１００９）。

続いて、評価部１０９の動作について説明する。実施の形態２における評価部１０９のモジュール構成は、実施の形態１の場合（図１９）と同様である。

但し、第６生成部１９０５は、第６生成処理（Ｂ）を実行する。第６生成処理（Ｂ）では、評価される文字列に含まれる各単語の音声に関する特徴に基づいて、音声に関するパラメータが生成される。

図３７に、実施の形態２における評価処理フローを示す。第２受付部１０７は、実施の形態１の場合（図２０）と同様に、評価される文字列を受け付ける（Ｓ２００１）。受け付けられた文字列は、内部パラメータとして保持される。

第５生成部１９０１は、実施の形態１の場合と同様に、第５生成処理を実行する（Ｓ２００３）。

第１適用部１９０３は、実施の形態１の場合と同様に、第１適用処理を実行する（Ｓ２００５）。

第６生成部１９０５は、第６生成処理（Ｂ）を実行する（Ｓ３７０１）。第６生成処理（Ｂ）では、評価される文字列に含まれる各単語の音声に関する特徴に基づいて、音声に関するパラメータが生成される。このパラメータは、学習処理における第３生成処理（Ｂ）の場合と同様の手順によって生成される。

図３８Ａに、第６生成処理（Ｂ）フローを示す。第６生成部１９０５は、評価される文字列に含まれる単語を抽出する（Ｓ２２０１）。例えば、第６生成部１９０５は、形態素解析を行って、文字列を複数の単語に分割する。

第６生成部１９０５は、音声表記データベース１２７から、当該単語の発音記号表記を取得する（Ｓ３８０１）。第６生成部１９０５は、当該単語の発音記号表記を、文字列の発音記号表記に追加する（Ｓ３８０３）。文字列の発音記号表記は、内部パラメータとして保持される。

一方、未処理の単語がないと判定した場合には、端子Ｉを介して、図３８Ｂに示したＳ３８０５の処理に移る。

図３８Ｂの説明に移る。第６生成部１９０５は、文字列の発音記号表記に含まれる単語を１つ特定する（Ｓ３８０５）。この例では、第６生成部１９０５は、前から後ろへ順番に単語を特定する。

第６生成部１９０５は、第３生成処理（Ｂ）の場合と同様に、当該単語の発音記号表記を音声ベクトルに変換する（Ｓ３８０７）。第６生成部１９０５は、当該音声ベクトルを、音声に関する特徴の列に加える（Ｓ２２１７）。音声に関する特徴の列は、具体的には音声ベクトルの列であって、内部パラメータとして保持される。

第６生成部１９０５は、未処理の単語があるか否かを判定する（Ｓ３８０９）。未処理の単語があると判定した場合には、Ｓ３８０５に示した処理に戻って、上述した処理を繰り返す。

一方、未処理の単語がないと判定した場合には、第６生成部１９０５は、音声に関する特徴の列における音声ベクトルを１つ特定する（Ｓ２２２１）。例えば、当該列の先頭から順番に音声ベクトルを特定する。

第６生成部１９０５は、第３生成処理（Ｂ）の場合と同様に、当該音声ベクトルを数値に変換する（Ｓ２２２３）。そして、第６生成部１９０５は、当該数値を、音声に関するパラメータの列に加える（Ｓ２２２５）。音声に関するパラメータの列は、内部パラメータとして保持される。

一方、未処理の音声ベクトルがないと判定した場合には、第６生成処理（Ｂ）を終える。第６生成処理（Ｂ）を終えると、呼び出し元の評価処理に復帰する。

図３７の説明に戻る。第２適用部１９０７は、実施の形態１（図２０）の場合と同様に、第２適用処理を実行する（Ｓ２００９）。

算出部１９０９は、実施の形態１の場合と同様に、算出処理を実行する（Ｓ２０１１）。算出処理では、第１評価値及び第２評価値に基づいて、総合的な第３評価値を算出する。実施の形態２において、算出部１９０９は、図２３に示した算出処理（Ａ）又は図２４に示した算出処理（Ｂ）を実行するようにしてもよい。

出力部１１１は、実施の形態１の場合と同様に、第３評価値を出力する（Ｓ２０１３）。

また、単語から読者が受ける音声的な印象を第２モデルに反映することができる。

以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。

また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ、処理の順番を入れ替えることや複数の処理を並列に実行させるようにしても良い。

なお、上で述べた評価装置１０１は、コンピュータ装置であって、図３９に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本発明の実施の形態をまとめると、以下のようになる。

本実施の形態に係る評価方法は、（Ａ）文字列と評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列の意味の特徴に基づいて評価値を導く第１モデルを生成し、（Ｂ）上記教師データを用いて、文字列の音声の特徴に基づいて評価値を導く第２モデルを生成し、（Ｃ）評価される文字列における意味の特徴を第１モデルに適用することによって導かれた第１評価値と、評価される文字列における音声の特徴を第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する処理を含む。

このようにすれば、文字列に対する読者の感性的な評価を推定することができる。

更に、文字列の意味の特徴は、当該文字列に含まれる複数の言語単位の各々における意味に基づくものであってもよい。

このようにすれば、言語単位から読者が受ける意味的な印象を第１モデルに反映することができる。

更に、文字列の音声の特徴は、当該文字列に含まれる複数の音節の各々における音声に基づくものであってもよい。

このようにすれば、音節から読者が受ける音声的な印象を第２モデルに反映することができる。

更に、文字列の音声の特徴は、当該文字列に含まれる複数の単語の各々における音声に基づくものであってもよい。

このようにすれば、単語から読者が受ける音声的な印象を第２モデルに反映することができる。

なお、上記方法による処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
文字列と評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列の意味の特徴に基づいて評価値を導く第１モデルを生成し、
前記教師データを用いて、文字列の音声の特徴に基づいて評価値を導く第２モデルを生成し、
評価される文字列における前記意味の特徴を前記第１モデルに適用することによって導かれた第１評価値と、前記評価される文字列における前記音声の特徴を前記第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する
処理を実行させる評価プログラム。

（付記２）
前記文字列の意味の特徴は、当該文字列に含まれる複数の言語単位の各々における意味に基づく
付記１記載の評価プログラム。

（付記３）
前記文字列の音声の特徴は、当該文字列に含まれる複数の音節の各々における音声に基づく
付記１又は２記載の評価プログラム。

（付記４）
前記文字列の音声の特徴は、当該文字列に含まれる複数の単語の各々における音声に基づく
付記１又は２記載の評価プログラム。

（付記５）
文字列と評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列の意味の特徴に基づいて評価値を導く第１モデルを生成し、
前記教師データを用いて、文字列の音声の特徴に基づいて評価値を導く第２モデルを生成し、
評価される文字列における前記意味の特徴を前記第１モデルに適用することによって導かれた第１評価値と、前記評価される文字列における前記音声の特徴を前記第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する
処理を含み、コンピュータにより実行される評価方法。

（付記６）
文字列と評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列の意味の特徴に基づいて評価値を導く第１モデルを生成する第１生成部と、
前記教師データを用いて、文字列の音声の特徴に基づいて評価値を導く第２モデルを生成する第２生成部と、
評価される文字列における前記意味の特徴を前記第１モデルに適用することによって導かれた第１評価値と、前記評価される文字列における前記音声の特徴を前記第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する算出部と
を有する評価装置。

１０１評価装置１０３第１受付部
１０５学習部１０７第２受付部
１０９評価部１１１出力部
１２１教師データ記憶部１２３意味ベクトルデータベース
１２５第１モデルデータ記憶部１２７音声表記データベース
１２９第２モデルデータ記憶部９０１第１生成部
９０３第２生成部９０５第３生成部
９０７第４生成部９２１第１特徴記憶部
９２３第１パラメータ記憶部９２５第１表記記憶部
９２７第２表記記憶部９２９第２特徴記憶部
９３１第２パラメータ記憶部１９０１第５生成部
１９０３第１適用部１９０５第６生成部
１９０７第２適用部１９０９算出部
３１０１第３表記記憶部

Claims

文字列と当該文字列の総合的な評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列に含まれる各単語に対応する意味ベクトルの連なりを表す第１パラメータ群に基づいて評価値を導く第１モデルを生成し、
前記教師データを用いて、文字列に含まれる複数の音節を表す第２パラメータ群又は文字列に含まれる複数の単語の発音内容を表す第３パラメータ群に基づいて評価値を導く第２モデルを生成し、
評価される文字列についての第１パラメータ群を前記第１モデルに適用することによって導かれた第１評価値と、前記評価される文字列についての第２パラメータ群又は第３パラメータ群を前記第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する
処理を実行させる評価プログラム。
文字列と当該文字列の総合的な評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列に含まれる各単語に対応する意味ベクトルの連なりを表す第１パラメータ群に基づいて評価値を導く第１モデルを生成し、
前記教師データを用いて、文字列に含まれる複数の音節を表す第２パラメータ群又は文字列に含まれる複数の単語の発音内容を表す第３パラメータ群に基づいて評価値を導く第２モデルを生成し、
評価される文字列についての第１パラメータ群を前記第１モデルに適用することによって導かれた第１評価値と、前記評価される文字列についての第２パラメータ群又は第３パラメータ群を前記第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する
処理を含み、コンピュータにより実行される評価方法。
文字列と当該文字列の総合的な評価値とを対応付けたサンプルを複数含む教師データを用いて、文字列に含まれる各単語に対応する意味ベクトルの連なりを表す第１パラメータ群に基づいて評価値を導く第１モデルを生成する第１生成部と、
前記教師データを用いて、文字列に含まれる複数の音節を表す第２パラメータ群又は文字列に含まれる複数の単語の発音内容を表す第３パラメータ群に基づいて評価値を導く第２モデルを生成する第２生成部と、
評価される文字列についての第１パラメータ群を前記第１モデルに適用することによって導かれた第１評価値と、前記評価される文字列についての第２パラメータ群又は第３パラメータ群を前記第２モデルに適用することによって導かれた第２評価値とに基づいて、第３評価値を算出する算出部と
を有する評価装置。