JP7508333B2 - 計算機システム及び学習方法 - Google Patents

Description

本発明は、音声から人の感情を推定する感情認識技術に関する。

マイク等の集音装置を用いて取得された音声から発話者の感情を推定する技術のことを音声感情認識と呼ぶ。音声感情認識を実現するための手段として、ニューラルネットワークを用いた手法が近年多く提案されている（例えば、特許文献１を参照）。

特許文献１には、「第１発話を聴取した聴取者が複数の感情クラスＣ_１，…，Ｃ_Ｋから第１発話の発話者の感情の正解値として選択した正解感情クラスを入力とし、正解感情クラスとして感情クラスＣ_ｉが選択された回数ｎ_ｉを得、回数ｎ_１，…，ｎ_Ｋの総和に対する回数ｎ_ｋの割合または当該割合の平滑化値を、第１発話に対応する正解感情ソフトラベルｔ_ｋ ^（ｓ）として得る」ラベル生成装置が記載されている。

国際公開第２０１９／１０２８８４号

マイクが集音した音声は音声波形として入力される。発話から人の感情を推定するシステムでは、音声波形を発話単位で区切る処理が必要となる。発話単位の音声波形の区切りが誤っていた場合、感情の推定結果も誤った結果となる。そこで、マイクが集音した音声波形を発話単位より小さい時間長の音声波形（音声セグメント）に区切り、音声セグメントから人の感情を推定するシステムを考える。このシステムでは、発話の区切りを特定する処理が必要ないため、前述のような問題は発生しない。

前述のシステムを実現するための感情認識モデルの学習には、音声セグメントと感情の正解値とを対応づけた学習データが必要となる。この場合、音声セグメントに手動で感情の正解値を設定する必要がある。しかし、前述の作業には多大なコストを要する。また、短い単位で音声波形が区切られるため、人の感情が表れない又は人の感情が曖昧な音声セグメントが多く発生する。そのため、本来、人の感情が表れない音声セグメントに感情の正解値を対応付けた学習データは感情認識モデルの推論精度の向上を阻害する可能性がある。

本発明は、学習に要するコストを抑えつつ、音声セグメントから人の感情を高い精度で推定する感情認識モデルを生成するための学習方法を提供する。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、所定の時間長の音声である音声セグメントを入力として受け付け、発話者の感情の推定結果として感情確率を出力する音声セグメント感情認識モデルを学習する計算機システムであって、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続される接続インタフェースを有する計算機を少なくとも一つ備え、前記記憶装置は、前記音声セグメント及び正解音声セグメント感情確率を含むセグメントサンプルを複数含むセグメント学習データと、前記音声セグメント感情認識モデルを定義する第１モデルパラメータとを格納し、前記演算装置は、前記音声セグメント感情認識モデルに前記音声セグメントを入力して得られた推定音声セグメント感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントを含む前記セグメントサンプルの学習への寄与の度合いを示す第１寄与度とに基づいて第１損失関数を算出し、前記第１損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率とを、学習対象パラメータとして更新する。

本発明によれば、学習に要するコストを抑えつつ、音声セグメントから人の感情を高い精度で推定する感情認識モデルを生成できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例１の音声セグメント感情認識モデルの学習及び音声セグメント感情認識モデルを用いた推定を行うシステムの構成例を示す図である。 実施例１の音声セグメント感情認識モデルの学習及び音声セグメント感情認識モデルを用いた推定を行うシステムの構成例を示す図である。 実施例１の端末が実行する学習処理及び推定処理のイメージを示す図である。 実施例１の学習器の動作イメージを示す図である。 実施例１の学習器が実行する学習処理を説明するフローチャートである。 実施例２の端末が実行する学習処理及び推定処理のイメージを示す図である。 実施例２の学習器の動作イメージを示す図である。 実施例２の学習器が実行する学習処理を説明するフローチャートである。 実施例３の端末が実行する学習処理及び推定処理のイメージを示す図である。 実施例３の学習器の動作イメージを示す図である。 実施例３の学習器が実行する学習処理を説明するフローチャートである。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

実施例１では、発話単位の音声と感情の正解値とを対応づけたサンプルから構成される学習データを用いて、所定の時間長単位の音声から発話者の感情を推定する音声セグメント感情認識モデルの学習について説明する。ここで、所定の時間長は一般的な発話の時間より短い時間長であり、例えば、１秒である。当該時間長は固定されているものとする。

本明細書では、所定の時間長をセグメントと記載し、所定の時間長単位の音声を音声セグメントと記載する。

図１及び図２は、実施例１の音声セグメント感情認識モデルの学習及び音声セグメント感情認識モデルを用いた推定を行うシステムの構成例を示す図である。

図１のシステムは一つの端末１００から構成される。

端末１００は、例えば、パーソナルコンピュータ、スマートフォン、及びタブレット端末等である。端末１００は、音声セグメント感情認識モデルを学習し、また、音声セグメント感情認識モデルを用いて、音声セグメントから人の感情を推定する。

端末１００は、ＣＰＵ１０１、メモリ１０２、音声入力Ｉ／Ｆ１０３、音声出力Ｉ／Ｆ１０４、画像出力Ｉ／Ｆ１０５、及びコマンド入力Ｉ／Ｆ１０６を有する。各構成要素はバス１０８を介して互いに接続される。

ＣＰＵ１０１は、メモリ１０２に格納されるプログラムを実行する。ＣＰＵ１０１がプログラムにしたがって処理を実行することによって、特定の機能を実現するモジュールとして動作する。以下の説明では、モジュールを主語に処理を説明する場合、ＣＰＵ１０１が当該モジュールを実現するプログラムを実行していることを示す。

メモリ１０２は、ＣＰＵ１０１が実行するプログラム及びプログラムが使用する情報を格納する。また、メモリ１０２は、プログラムが一時的に使用するワークエリアとしても用いられる。

実施例１のメモリ１０２は、学習器１１０及び感情識別器１２０を実現するプログラムを格納する。また、メモリ１０２は、発話音声と正解発話感情確率とを対応づけたサンプル群から構成される学習データ（図示省略）を格納する。学習データは、あらかじめメモリ１０２に格納されてもよいし、音声入力Ｉ／Ｆ１０３及びコマンド入力Ｉ／Ｆ１０６を用いて入力されてもよい。

学習器１１０は音声セグメント感情認識モデルを学習する。感情識別器１２０は、学習器１１０によって学習された音声セグメント感情認識モデルを用いて、音声セグメントから人の感情を推定する。

音声入力Ｉ／Ｆ１０３は、マイク等、音声を入力するインタフェースである。音声出力Ｉ／Ｆ１０４は、スピーカ等、音声を出力するインタフェースである。画像出力Ｉ／Ｆ１０５は、ディスプレイ等、画像を出力するインタフェースである。コマンド入力Ｉ／Ｆ１０６は、キーボード、マウス、及びタッチパネル等、コマンドを入力するインタフェースである。

図２のシステムは、サーバ２００及び複数の端末１００から構成される。サーバ２００と各端末１００とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク２１０を介して互いに接続される。なお、端末１００の数は一つでもよい。

図２のシステムでは、端末１００がサーバ２００に音声を送信し、サーバ２００が音声セグメントの感情を推定し、その推定結果を端末１００に送信する。

サーバ２００は、音声セグメント感情認識モデルを学習し、また、音声セグメント感情認識モデルを用いて、音声セグメントから人の感情を推定する。サーバ２００は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、及び通信Ｉ／Ｆ２０４を有する。各構成要素はバス２０５を介して互いに接続される。

ＣＰＵ２０１及びメモリ２０２は、ＣＰＵ１０１及びメモリ１０２と同一のハードウェアである。記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等、永続的に情報を格納する。通信Ｉ／Ｆ２０４は、外部装置と通信するインタフェースである。

メモリ２０２は、学習器１１０及び感情識別器１２０を実現するプログラムを格納する。メモリ２０２及び記憶装置２０３のいずれかには学習データ（図示省略）が格納される。学習データは、あらかじめメモリ２０２に格納されてもよいし、通信Ｉ／Ｆ２０４を介して端末１００等から入力されてもよい。

端末１００は、サーバ２００に音声を送信し、サーバ２００から受信した、人の感情の推定結果を出力する。端末１００は、ＣＰＵ１０１、メモリ１０２、音声入力Ｉ／Ｆ１０３、音声出力Ｉ／Ｆ１０４、画像出力Ｉ／Ｆ１０５、コマンド入力Ｉ／Ｆ１０６、及び通信Ｉ／Ｆ１０７を有する。各構成要素はバス１０８を介して互いに接続される。通信Ｉ／Ｆ１０７は、通信Ｉ／Ｆ２０４と同一のハードウェアである。

実施例１では図１のシステムを一例として説明する。

図３は、実施例１の端末１００が実行する学習処理及び推定処理のイメージを示す図である。点線で囲まれた部分が各処理の入出力を示す。

学習処理では、学習器１１０は、学習データに含まれる、一つのサンプルに含まれる発話音声をセグメント単位に分割することによって、音声セグメントを生成する。学習器１１０は、音声セグメントに正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓを対応付けたセグメントサンプルを複数含むセグメント学習データを生成する。本実施例では、セグメントサンプルは独立したデータとして扱われる。

正解音声セグメント感情確率ｔ_ｓは、セグメントサンプルに含まれる音声セグメントに対する感情の推定結果の正解値を表す。本実施例では、正解音声セグメント感情確率ｔ_ｓは確率分布として与えられる。また、音声セグメント寄与度ｗ_ｓは、セグメントサンプルの学習への寄与の度合いを表す。音声セグメント寄与度ｗ_ｓが小さいセグメントサンプルは学習において重要視されない。本実施例では、音声セグメント寄与度ｗ_ｓを最適化することによって、学習に悪影響を与えるセグメントサンプルを間引くように制御している。すなわち、人の感情が表れない音声セグメントを含むセグメントサンプルは音声セグメント寄与度ｗ_ｓが小さくなり、人の感情をよく表している音声セグメントを含むセグメントサンプルは音声セグメント寄与度ｗ_ｓが大きくなるように最適化される。

学習器１１０は、音声セグメント感情認識モデルを定義するセグメントモデルパラメータθ_ｓの初期値を設定する。音声セグメント感情認識モデルは、例えば、ニューラルネットワーク等の機械学習モデルである。

学習器１１０は、セグメント学習データを用いて音声セグメント感情認識モデルを学習する。具体的には、学習器１１０は、音声セグメント３００と、音声セグメントに対応付けられる正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓと、を入力として受け付け、後述する演算を実行することによって、セグメントモデルパラメータθ_ｓ、正解音声セグメント感情確率ｔ_ｓ、及び音声セグメント寄与度ｗ_ｓを更新する。学習器１１０は、前述の処理を複数回実行する。学習器１１０は、学習処理の結果として、感情識別器１２０にセグメントモデルパラメータθ_ｓを出力する。

学習器１１０が実行する学習処理の詳細については図４及び図５を用いて説明する。

推論処理では、感情識別器１２０は、音声セグメント３１０の入力を受け付けた場合、セグメントモデルパラメータθ_ｓにて定義される音声セグメント感情認識モデルを用いて、出力音声セグメント感情確率ｙを出力する。

図４は、実施例１の学習器１１０の動作イメージを示す図である。図５は、実施例１の学習器１１０が実行する学習処理を説明するフローチャートである。

図４に示すように、学習器１１０は、音声セグメント感情識別部４００、損失関数算出部４０１、及び更新部４０２を含む。

学習器１１０は、イベントを検知した場合、以下で説明する学習処理を開始する。イベントは、実行指示の受信及び学習データの入力等である。

学習器１１０は、発話音声と感情の正解値とを対応づけたサンプルを複数含む学習データ（図示省略）を用いて、セグメント学習データを生成する（ステップＳ１０１）。具体的には、以下のような処理が実行される。

（Ｓ１０１－１）学習器１１０は、学習データから一つのサンプルを選択する。

（Ｓ１０１－２）学習器１１０は、選択したサンプルに含まれる発話音声を所定の時間長で分割して、複数の音声セグメント３００を生成する。

（Ｓ１０１－３）学習器１１０は、各音声セグメント３００に正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓを設定する。例えば、学習器１１０は、選択したサンプルに含まれる正解発話感情確率を、正解音声セグメント感情確率ｔ_ｓとして設定する。また、学習器１１０は、あらかじめ決められた値を音声セグメント寄与度ｗ_ｓとして設定する。

（Ｓ１０１－４）学習器１１０は、音声セグメント３００に、正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓを対応付けたセグメントサンプルを生成する。一つのサンプルからは複数のセグメントサンプルが生成される。生成されたセグメントサンプルはセグメント学習データとしてメモリ１０２に格納される。

（Ｓ１０１－５）学習データの全てのサンプルについて処理が完了していない場合、学習器１１０は、Ｓ１０１－１に戻り、同様の処理を実行する。学習データの全てのサンプルについて処理が完了した場合、学習器１１０はステップＳ１０１の処理を終了する。

なお、セグメント学習データを生成するために使用するサンプルはあらかじめ指定されてもよい。なお、セグメント学習データは、学習処理が開始される前に生成されてもよい。この場合、ステップＳ１０１の処理は省略できる。

なお、学習器１１０は、Ｓ１０１－３の時点では音声セグメント寄与度ｗ_ｓを算出せず、ステップＳ１０１－５において算出してもよい。この場合、学習器１１０は、正解音声セグメント感情確率ｔ_ｓにより定まる感情ラベルに属する音声セグメントの数の逆数を、各セグメントサンプルの音声セグメント寄与度ｗ_ｓとして算出する。

次に、学習器１１０は、セグメントモデルパラメータθ_ｓを初期化する（ステップＳ１０２）。

次に、学習器１１０は、セグメント学習データから一つのセグメントサンプルを読み出し、当該セグメントサンプルに含まれる音声セグメントから推定音声セグメント感情確率ｙ_ｓを算出する（ステップＳ１０３）。

具体的には、音声セグメント感情識別部４００は、セグメントモデルパラメータθ_ｓによって定義される音声セグメント感情認識モデルに、音声セグメント３００を入力することによって推定音声セグメント感情確率ｙ_ｓを算出する。音声セグメント感情識別部４００は、損失関数算出部４０１に推定音声セグメント感情確率ｙ_ｓを出力する。推定音声セグメント感情確率ｙ_ｓは確率分布として与えられる。

なお、学習器１１０は、ランダムにセグメントサンプルを読み出してもよいし、あらかじめ設定されたポリシに基づいてセグメントサンプルを読み出してもよい。

次に、学習器１１０は損失関数Ｌを算出する（ステップＳ１０４）。

具体的には、損失関数算出部４０１は、正解音声セグメント感情確率ｔ_ｓ、音声セグメント寄与度ｗ_ｓ、及び推定音声セグメント感情確率ｙ_ｓを用いて損失関数Ｌを算出する。実施例１では、下式（１）に示すような損失関数Ｌが算出される。

ここで、関数ｆは、クロスエントロピー誤差等、確率分布ｔ_ｓと確率分布ｙ_ｓとの誤差を表す関数である。式（１）に示すように音声セグメント寄与度ｗ_ｓが小さい場合、損失関数Ｌも小さくなる。したがって、音声セグメント寄与度ｗ_ｓが小さいセグメントサンプルの学習への寄与は小さい。

次に、学習器１１０は、損失関数Ｌを用いて、学習対象パラメータを更新する（ステップＳ１０５）。

具体的には、更新部４０２は、バックプロパゲーション等の公知の学習アルゴリズムに基づいて、セグメントモデルパラメータθ_ｓ、正解音声セグメント感情確率ｔ_ｓ、及び音声セグメント寄与度ｗ_ｓを最適化する。更新部４０２は、最適化されたセグメントモデルパラメータθ_ｓを音声セグメント感情識別部４００に反映し、また、更新された正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓをセグメントサンプルに反映する。

なお、全ての学習対象パラメータは同時に最適化してもよいし、各学習対象パラメータを一つずつ順番に最適化してもよい。また、学習対象パラメータの組合せを設定し、学習対象パラメータの組合せを任意の順番で最適化してもよい。例えば、セグメントモデルパラメータθ_ｓを更新する処理を所定回数実行し、その後、正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓを更新する処理を所定回数実行する最適化が考えられる。

次に、学習器１１０は学習処理を終了するか否かを判定する（ステップＳ１０６）。

例えば、学習回数が閾値より大きい場合、学習器１１０は学習処理を終了すると判定する。また、学習器１１０は、評価用のセグメントサンプルを用いた音声セグメント感情識別部４００の識別精度が閾値より大きい場合、学習処理を終了すると判定する。

学習処理を終了しないと判定された場合、学習器１１０はステップＳ１０３に戻り、同様の処理を実行する。

学習処理を終了すると判定された場合、学習器１１０は、感情識別器１２０にセグメントモデルパラメータθ_ｓを出力し（ステップＳ１０７）、その後、学習処理を終了する。

実施例１の学習方法によれば、あらかじめ音声セグメントに感情確率の正解値（正解音声セグメント感情確率）を設定する必要がない。そのため、学習に要するコストを抑えることができる。感情確率の正解値も学習対象パラメータとして最適化することによって、音声セグメント感情認識モデルの推論精度を落とすことなく、セグメントモデルパラメータθ_ｓを最適化できる。

また、実施例１の学習方法によれば、音声セグメント寄与度ｗ_ｓを用いて、セグメントサンプルの学習への寄与の大きさを調整できる。そのため、音声セグメント感情認識モデルの推論精度を落とすことなく、効率的にセグメントモデルパラメータθ_ｓを最適化できる。さらに、音声セグメント寄与度ｗ_ｓも学習対象パラメータとして最適化することによって、より音声セグメント感情認識モデルの推論精度を高めることができる。

実施例２の学習器１１０は、セグメントサンプルの生成元のサンプルも用いて音声セグメント感情認識モデルを学習する。音声セグメントから推論される感情は、音声セグメントの元となった発話音声から推論される感情と相関が高いと考えられる。したがって、発話音声に対する推論結果等を活用して音声セグメント感情認識モデルを学習することによって、音声セグメント感情認識モデルの推論精度の向上が期待できる。そこで、実施例２では、発話感情認識モデル及び音声セグメント感情認識モデルを一緒に学習する。以下、実施例１との差異を中心に実施例２について説明する。

実施例２のシステムの構成は実施例１と同一であるため説明を省略する。実施例２では図１のシステムを一例として説明する。

図６は、実施例２の端末１００が実行する学習処理及び推定処理のイメージを示す図である。点線で囲まれた部分が各処理の入出力を示す。

学習処理では、学習器１１０は、学習データに含まれる、一つのサンプルに寄与度ｗ_ｕを設定する。寄与度ｗ_ｕはサンプルの学習への寄与の度合いを表す。また、学習器１１０は、学習データに含まれる、一つのサンプルに含まれる発話音声をセグメント単位に分割することによって、音声セグメントを生成する。学習器１１０は、音声セグメントに正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓを対応付けたセグメントサンプルを複数含むセグメント学習データを生成する。本実施例では、セグメントサンプルは、セグメントサンプルの生成元となるサンプルと対応付けて管理される。

学習器１１０は、発話音声から発話者の感情を推定する発話感情認識モデルを定義するモデルパラメータθ_ｕの初期値を設定する。また、学習器１１０は、音声セグメント感情認識モデルを定義するセグメントモデルパラメータθ_ｓの初期値を設定する。発話感情認識モデル及び音声セグメント感情認識モデルは、例えば、ニューラルネットワーク等の機械学習モデルである。

学習器１１０は、学習データ及びセグメント学習データを用いて各モデルを学習する。具体的には、学習器１１０は、発話音声６００と、発話音声６００に対応付けられる正解発話感情確率ｔ_ｕ及び寄与度ｗ_ｕと、発話音声６００から生成された音声セグメント３００と、音声セグメント３００に対応付けられる正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓと、を入力として受け付け、後述する演算を実行することによって、モデルパラメータθ_ｕ、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、セグメントモデルパラメータθ_ｓ、正解音声セグメント感情確率ｔ_ｓ、及び音声セグメント寄与度ｗ_ｓを更新する。学習器１１０は、前述の処理を複数回実行する。学習器１１０は、学習処理の結果として、感情識別器１２０にセグメントモデルパラメータθ_ｓを出力する。

学習器１１０が実行する学習処理の詳細については図７及び図８を用いて説明する。

推論処理では、感情識別器１２０は、音声セグメント３１０の入力を受け付けた場合、セグメントモデルパラメータθ_ｓにて定義される音声セグメント感情認識モデルを用いて、出力音声セグメント感情確率ｙを出力する。

図７は、実施例２の学習器１１０の動作イメージを示す図である。図８は、実施例２の学習器１１０が実行する学習処理を説明するフローチャートである。

図７に示すように、学習器１１０は、音声セグメント感情識別部４００、第１損失関数算出部７００、発話感情識別部７０１、第２損失関数算出部７０２、第３損失関数算出部７０３、及び更新部７０４を含む。

学習器１１０は、サンプルの正解発話感情確率ｔ_ｕ及び寄与度ｗ_ｕを初期化する（ステップＳ２０１）。

例えば、学習器１１０は、サンプルに含まれる正解発話感情確率を正解発話感情確率ｔ_ｕとして設定する。また、学習器１１０は、あらかじめ決められた値を、又は、正解発話感情確率により定まる感情ラベルに属する発話音声の数の逆数を、寄与度ｗ_ｕとして設定する。

次に、学習器１１０は、モデルパラメータθ_ｕを初期化する（ステップＳ２０２）。

次に、学習器１１０は、学習データを用いてセグメント学習データを生成する（ステップＳ２０３）。ステップＳ２０３の処理はステップＳ１０１の処理と同一である。

次に、学習器１１０は、セグメントモデルパラメータθ_ｓを初期化する（ステップＳ２０４）。ステップＳ２０４の処理はステップＳ１０２の処理と同一である。

次に、学習器１１０は、セグメント学習データから一つのセグメントサンプルを読み出し、当該セグメントサンプルに含まれる音声セグメント３００から推定音声セグメント感情確率ｙ_ｓを算出する（ステップＳ２０５）。

具体的には、音声セグメント感情識別部４００は、セグメントモデルパラメータθ_ｓによって定義される音声セグメント感情認識モデルに、音声セグメント３００を入力することによって推定音声セグメント感情確率ｙ_ｓを算出する。音声セグメント感情識別部４００は、第１損失関数算出部７００に推定音声セグメント感情確率ｙ_ｓを出力する。推定音声セグメント感情確率ｙ_ｓは確率分布として与えられる。

なお、学習器１１０は、ランダムにセグメントサンプルを読み出してもよいし、あらかじめ設定されたポリシに基づいてセグメントサンプルを読み出してもよい。

次に、学習器１１０は、学習データから、ステップＳ２０５において選択されたセグメントサンプルの生成元の発話音声６００を含むサンプルを読み出し、当該サンプルに含まれる発話音声６００から推定発話感情確率ｙ_ｕを算出する（ステップＳ２０６）。

具体的には、発話感情識別部７０１は、モデルパラメータθ_ｕによって定義される発話感情認識モデルに、発話音声６００を入力することによって推定発話感情確率ｙ_ｕを算出する。発話感情識別部７０１は、第２損失関数算出部７０２に推定発話感情確率ｙ_ｕを出力する。推定発話感情確率ｙ_ｕは確率分布として与えられる。

次に、学習器１１０は第１損失関数Ｌ_１を算出する（ステップＳ２０７）。

具体的には、第１損失関数算出部７００は、正解音声セグメント感情確率ｔ_ｓ、音声セグメント寄与度ｗ_ｓ、及び推定音声セグメント感情確率ｙ_ｓを用いて第１損失関数Ｌ_１を算出する。第１損失関数算出部７００は第１損失関数Ｌ_１を第３損失関数算出部７０３に出力する。実施例２では、下式（２）に示すような第１損失関数Ｌ_１が算出される。

ここで、関数ｆは、クロスエントロピー誤差等、確率分布ｔ_ｓと確率分布ｙ_ｓとの誤差を表す関数である。式（２）に示すように音声セグメント寄与度ｗ_ｓが小さい場合、第１損失関数Ｌ_１も小さくなる。したがって、音声セグメント寄与度ｗ_ｓが小さいセグメントサンプルの学習への寄与は小さい。

次に、学習器１１０は第２損失関数Ｌ_２を算出する（ステップＳ２０８）。

具体的には、第２損失関数算出部７０２は、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、音声セグメント寄与度ｗ_ｓ、及び推定発話感情確率ｙ_ｕを用いて第２損失関数Ｌ_２を算出する。第２損失関数算出部７０２は第２損失関数Ｌ_２を第３損失関数算出部７０３に出力する。実施例２では、下式（３）に示すような第２損失関数Ｌ_２が算出される。

ここで、関数ｆは、クロスエントロピー誤差等、確率分布ｔ_ｕと確率分布ｙ_ｕとの誤差を表す関数である。関数ｈは、乗算等、寄与度ｗ_ｕ及び音声セグメント寄与度ｗ_ｓの相乗効果を表すような関数である。寄与度ｗ_ｕ及び音声セグメント寄与度ｗ_ｓの少なくともいずれかが小さい場合、第２損失関数Ｌ_２も小さくなる。したがって、サンプルの学習への寄与は小さい。

次に、学習器１１０は、第１損失関数Ｌ_１及び第２損失関数Ｌ_２を用いて、第３損失関数Ｌ_３を算出する（ステップＳ２０９）。

具体的には、第３損失関数算出部７０３は、第１損失関数Ｌ_１及び第２損失関数Ｌ_２を用いて、第３損失関数Ｌ_３を算出する。実施例２では、下式（４）に示すような第３損失関数Ｌ_３が算出される。

次に、学習器１１０は、第３損失関数Ｌ_３を用いて、学習対象パラメータを更新する（ステップＳ２１０）。

具体的には、更新部７０４は、バックプロパゲーション等の公知の学習アルゴリズムに基づいて、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、モデルパラメータθ_ｕ、正解音声セグメント感情確率ｔ_ｓ、音声セグメント寄与度ｗ_ｓ、及びセグメントモデルパラメータθ_ｓを最適化する。更新部７０４は、最適化されたモデルパラメータθ_ｕを発話感情識別部７０１に反映し、また、最適化された正解発話感情確率ｔ_ｕ及び寄与度ｗ_ｕをサンプルに反映する。また、更新部７０４は、最適化されたセグメントモデルパラメータθ_ｓを音声セグメント感情識別部４００に反映し、また、最適化された正解音声セグメント感情確率ｔ_ｓ及び音声セグメント寄与度ｗ_ｓをセグメントサンプルに反映する。

なお、全ての学習対象パラメータは同時に最適化してもよいし、各学習対象パラメータを一つずつ順番に最適化してもよい。また、学習対象パラメータの組合せを設定し、学習対象パラメータの組合せを任意の順番で最適化してもよい。例えば、更新部７０４は、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、及びモデルパラメータθ_ｕを最適化した後、正解音声セグメント感情確率ｔ_ｓ、音声セグメント寄与度ｗ_ｓ、及びセグメントモデルパラメータθ_ｓを最適化する。

次に、学習器１１０は学習処理を終了するか否かを判定する（ステップＳ２１１）。ステップＳ２１１の処理はステップＳ１０６の処理と同一である。

学習処理を終了しないと判定された場合、学習器１１０は、ステップＳ２０５に戻り、同様の処理を実行する。

学習処理を終了すると判定された場合、学習器１１０は、感情識別器１２０にセグメントモデルパラメータθ_ｓを出力し（ステップＳ２１２）、その後、学習処理を終了する。

実施例２で説明した学習処理では、発話音声の推論結果等、音声セグメント感情認識モデルの学習に使用するデータの確度を向上させるために、音声セグメント感情認識モデルとともに発話感情認識モデルが学習される。しかし、音声セグメント感情認識モデルの学習に使用するデータの確度が十分高い場合、発話感情認識モデルの学習は行わなくてもよい。この場合、発話感情認識モデル及びサンプルの値を用いて、音声セグメント感情認識モデルが学習される。

実施例２の学習方法によれば、実施例１の学習方法と同様に、あらかじめ音声セグメントに正解音声セグメント感情確率を設定する必要がない。そのため、学習に要するコストを抑えることができる。感情確率の正解値も学習対象パラメータとして最適化することによって、音声セグメント感情認識モデルの推論精度を落とすことなく、セグメントモデルパラメータθ_ｓを最適化できる。

また、実施例２の学習方法によれば、発話音声に対する推論結果等を活用して音声セグメント感情認識モデルを学習することによって、音声セグメント感情認識モデルの推論精度をより向上できる。

また、実施例２の学習方法によれば、音声セグメント寄与度ｗ_ｓ及び寄与度ｗ_ｕを用いて、セグメントサンプル及びサンプルの学習への寄与の大きさを調整できる。そのため、音声セグメント感情認識モデルの推論精度を落とすことなく、効率的にセグメントモデルパラメータθ_ｓを最適化できる。さらに、音声セグメント寄与度ｗ_ｓも学習対象パラメータとして最適化することによって、より音声セグメント感情認識モデルの推論精度を高めることができる。

実施例３の学習器１１０は、発話感情認識モデルから得られる中間出力に基づいて音声セグメント寄与度ｗ_ｓを算出する。以下、実施例１及び実施例２との差異を中心に実施例３について説明する。

実施例３のシステムの構成は実施例１と同一であるため説明を省略する。実施例３では図１のシステムを一例として説明する。

図９は、実施例３の端末１００が実行する学習処理及び推定処理のイメージを示す図である。点線で囲まれた部分が各処理の入出力を示す。

学習処理では、学習器１１０は、学習データに含まれる、一つのサンプルに寄与度ｗ_ｕを設定する。また、学習器１１０は、学習データに含まれる、一つのサンプルをセグメント単位に分割することによって、音声セグメントを生成する。学習器１１０は、音声セグメントに正解音声セグメント感情確率ｔ_ｓを対応付けたセグメントサンプルを複数含むセグメント学習データを生成する。本実施例では、セグメントサンプルは、セグメントサンプルの生成元となるサンプルと対応付けて管理される。

実施例３では、音声セグメント感情認識モデルの中間出力に基づいて音声セグメント寄与度ｗ_ｓが算出されるため、セグメントサンプルには音声セグメント寄与度ｗ_ｓが対応付けられていない。

学習器１１０は、発話感情認識モデルを定義するモデルパラメータθ_ｕの初期値を設定する。また、音声セグメント感情認識モデルを定義するセグメントモデルパラメータθ_ｓの初期値を設定する。発話感情認識モデル及び音声セグメント感情認識モデルは、例えば、ニューラルネットワーク等の機械学習モデルである。なお、発話感情認識モデルは、注意機構を持つ機械学習モデルであるものとする。

学習器１１０は、学習データ及びセグメント学習データを用いて学習処理を実行する。具体的には、学習器１１０は、発話音声６００と、発話音声６００に対応付けられる正解発話感情確率ｔ_ｕ及び寄与度ｗ_ｕと、発話音声６００から生成された音声セグメント３００と、音声セグメント３００に対応付けられる正解音声セグメント感情確率ｔ_ｓと、を入力として受け付け、後述する演算を実行することによって、モデルパラメータθ_ｕ、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、セグメントモデルパラメータθ_ｓ、及び正解音声セグメント感情確率ｔ_ｓを更新する。学習器１１０は、前述の処理を複数回実行する。学習器１１０は、学習処理の結果として、感情識別器１２０にセグメントモデルパラメータθ_ｓを出力する。

学習器１１０が実行する学習処理の詳細については図１０及び図１１を用いて説明する。

推論処理では、感情識別器１２０は、音声セグメント３１０の入力を受け付けた場合、セグメントモデルパラメータθ_ｓにて定義される音声セグメント感情認識モデルを用いて、出力音声セグメント感情確率ｙを出力する。

図１０は、実施例３の学習器１１０の動作イメージを示す図である。図１１は、実施例３の学習器１１０が実行する学習処理を説明するフローチャートである。

図１０に示すように、学習器１１０は、音声セグメント感情識別部４００、第１損失関数算出部７００、発話感情識別部７０１、第２損失関数算出部７０２、第３損失関数算出部７０３、及び更新部７０４を含む。

学習器１１０は、サンプルの正解発話感情確率ｔ_ｕ及び寄与度ｗ_ｕを初期化する（ステップＳ３０１）。ステップＳ３０１の処理はステップＳ２０１の処理と同一である。

次に、学習器１１０は、モデルパラメータθ_ｕを初期化する（ステップＳ３０２）。ステップＳ３０２の処理はステップＳ２０２の処理と同一である。

次に、学習器１１０は、学習データを用いてセグメント学習データを生成する（ステップＳ３０３）。ステップＳ３０３の処理はステップＳ１０１の処理とほぼ同一であるが、音声セグメント寄与度ｗ_ｓが設定されない点が異なる。

次に、学習器１１０は、セグメントモデルパラメータθ_ｓを初期化する（ステップＳ３０４）。ステップＳ３０４の処理はステップＳ１０２の処理と同一である。

次に、学習器１１０は、セグメント学習データから一つのセグメントサンプルを読み出し、当該セグメントサンプルに含まれる音声セグメント３００から推定音声セグメント感情確率ｙ_ｓを算出する（ステップＳ３０５）。ステップＳ３０５の処理はステップＳ２０５の処理と同一である。

次に、学習器１１０は、学習データから、ステップＳ３０５において選択されたセグメントサンプルの生成元の発話音声６００を含むサンプルを読み出し、当該サンプルに含まれる発話音声６００から推定発話感情確率ｙ_ｕを算出し（ステップＳ３０６）、また、発話感情認識モデルの中間出力からセグメントサンプルの音声セグメント寄与度ｗ_ｓを算出する（ステップＳ３０７）。

推定発話感情確率ｙ_ｕの算出方法はステップＳ２０５で説明した算出方法と同一の方法である。中間出力は、例えば、注意機構のａｔｔｅｎｔｉｏｎ重みである。学習器１１０は、音声セグメントと同じ単位でのａｔｔｅｎｔｉｏｎ重みの平均値を、セグメントサンプルの音声セグメント寄与度ｗ_ｓとして算出する。

次に、学習器１１０は第１損失関数Ｌ_１を算出する（ステップＳ３０８）。ステップＳ３０８の処理はステップＳ２０７の処理と同一である。

次に、学習器１１０は第２損失関数Ｌ_２を算出する（ステップＳ３０９）。ステップＳ３０９の処理はステップＳ２０８の処理と同一である。

次に、学習器１１０は、第１損失関数Ｌ_１及び第２損失関数Ｌ_２を用いて、第３損失関数Ｌ_３を算出する（ステップＳ３１０）。ステップＳ３１０の処理はステップＳ２０９の処理と同一である。

次に、学習器１１０は、第３損失関数Ｌ_３を用いて、学習対象パラメータを更新する（ステップＳ３１１）。実施例３では、音声セグメント寄与度ｗ_ｓは学習対象パラメータとして扱われない。

具体的には、更新部７０４は、バックプロパゲーション等の公知の学習アルゴリズムに基づいて、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、モデルパラメータθ_ｕ、正解音声セグメント感情確率ｔ_ｓ、及びセグメントモデルパラメータθ_ｓを最適化する。更新部７０４は、最適化されたモデルパラメータθ_ｕを発話感情識別部７０１に反映し、また、最適化された正解発話感情確率ｔ_ｕ及び寄与度ｗ_ｕをサンプルに反映する。また、更新部７０４は、最適化されたセグメントモデルパラメータθ_ｓを音声セグメント感情識別部４００に反映し、また、最適化された正解音声セグメント感情確率ｔ_ｓをセグメントサンプルに反映する。

なお、全ての学習対象パラメータは同時に最適化してもよいし、各学習対象パラメータを一つずつ順番に最適化してもよい。また、学習対象パラメータの組合せを設定し、学習対象パラメータの組合せを任意の順番で最適化してもよい。例えば、更新部７０４は、正解発話感情確率ｔ_ｕ、寄与度ｗ_ｕ、及びモデルパラメータθ_ｕを最適化した後、正解音声セグメント感情確率ｔ_ｓ、音声セグメント寄与度ｗ_ｓ、及びセグメントモデルパラメータθ_ｓを最適化する。

次に、学習器１１０は学習処理を終了するか否かを判定する（ステップＳ３１２）。ステップＳ３１２の処理はステップＳ１０６の処理と同一である。

学習処理を終了しないと判定された場合、学習器１１０は、ステップＳ３０５に戻り、同様の処理を実行する。

学習処理を終了すると判定された場合、学習器１１０は、感情識別器１２０にセグメントモデルパラメータθ_ｓを出力し（ステップＳ３１３）、その後、学習処理を終了する。

実施例３の学習方法によれば、実施例２の学習方法と同様の効果を奏する。また、実施例３の学習方法によれば、学習対象パラメータの数が削減されるため、効率的に、推論精度の高い音声セグメント感情認識モデルを学習できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００ 端末
２００ サーバ
１０１、２０１ ＣＰＵ
１０２、２０２ メモリ
１０３ 音声入力Ｉ／Ｆ
１０４ 音声出力Ｉ／Ｆ
１０５ 画像出力Ｉ／Ｆ
１０６ コマンド入力Ｉ／Ｆ
１０７ 通信Ｉ／Ｆ
１０８ バス
２０３ 記憶装置
２０４ 通信Ｉ／Ｆ
２０５ バス
２１０ ネットワーク
１１０ 学習器
１２０ 感情識別器
３００ 音声セグメント
３１０ 音声セグメント
４００ 音声セグメント感情識別部
４０１ 損失関数算出部
４０２、７０４ 更新部
６００ 発話音声
７００ 第１損失関数算出部
７０１ 発話感情識別部
７０２ 第２損失関数算出部
７０３ 第３損失関数算出部

Claims (15)

1. 所定の時間長の音声である音声セグメントを入力として受け付け、発話者の感情の推定結果として感情確率を出力する音声セグメント感情認識モデルを学習する計算機システムであって、
   演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続される接続インタフェースを有する計算機を少なくとも一つ備え、
   前記記憶装置は、前記音声セグメント及び正解音声セグメント感情確率を含むセグメントサンプルを複数含むセグメント学習データと、前記音声セグメント感情認識モデルを定義する第１モデルパラメータとを格納し、
   前記演算装置は、
   前記音声セグメント感情認識モデルに前記音声セグメントを入力して得られた推定音声セグメント感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントを含む前記セグメントサンプルの学習への寄与の度合いを示す第１寄与度とに基づいて第１損失関数を算出し、
   前記第１損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率とを、学習対象パラメータとして更新することを特徴とする計算機システム。
2. 請求項１に記載の計算機システムであって、
   前記記憶装置は、発話音声及び正解発話感情確率を含むサンプルを複数含む学習データを格納し、
   前記演算装置は、
   前記学習データから一つの前記サンプルを選択し、当該サンプルに含まれる前記発話音声を所定の時間長で分割することによって、複数の音声セグメントを生成し、
   前記選択されたサンプルの前記正解発話感情確率に基づいて、前記複数の音声セグメントの各々の前記正解音声セグメント感情確率を算出し、
   前記音声セグメント及び前記正解音声セグメント感情確率を対応付けた前記セグメントサンプルを生成することを特徴とする計算機システム。
3. 請求項２に記載の計算機システムであって、
   前記演算装置は、
   前記セグメントサンプルの生成時に、前記セグメントサンプルの前記第１寄与度を算出し、
   前記音声セグメント、前記第１寄与度、及び前記正解音声セグメント感情確率を対応付けた前記セグメントサンプルを生成することを特徴とする計算機システム。
4. 請求項３に記載の計算機システムであって、
   前記演算装置は、前記第１損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率及び前記第１寄与度とを、学習対象パラメータとして更新することを特徴とする計算機システム。
5. 請求項３に記載の計算機システムであって、
   前記記憶装置は、前記発話音声を入力として受け付け、発話者の感情の推定結果として感情確率を出力する発話感情認識モデルを定義する第２モデルパラメータを格納し、
   前記サンプルは、前記サンプルの学習への寄与の度合いを示す第２寄与度を含み、
   前記演算装置は、
   前記音声セグメントを前記音声セグメント感情認識モデルに入力することによって、前記推定音声セグメント感情確率を算出し、
   前記音声セグメント感情認識モデルに入力した前記音声セグメントの生成元の前記発話音声を前記発話感情認識モデルに入力することによって、推定発話感情確率を算出し、
   前記正解発話感情確率と、前記推定発話感情確率と、前記発話感情認識モデルに入力した前記発話音声に対応付けられる前記第２寄与度と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記第１寄与度とに基づいて、第２損失関数を算出し、
   前記第１損失関数及び前記第２損失関数に基づいて、第３損失関数を算出し、
   前記第３損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率及び前記第１寄与度と、を学習対象パラメータとして更新することを特徴とする計算機システム。
6. 請求項２に記載の計算機システムであって、
   前記記憶装置は、前記発話音声を入力として受け付け、発話者の感情の推定結果として感情確率を出力する発話感情認識モデルを定義する第２モデルパラメータを格納し、
   前記サンプルは、前記サンプルの学習への寄与の度合いを示す第２寄与度を含み、
   前記演算装置は、
   前記音声セグメントを前記音声セグメント感情認識モデルに入力することによって、前記推定音声セグメント感情確率を算出し、
   前記音声セグメント感情認識モデルに入力した前記音声セグメントの生成元の前記発話音声を前記発話感情認識モデルに入力することによって、推定発話感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記第１寄与度と、を算出し、
   前記正解発話感情確率と、前記推定発話感情確率と、前記発話感情認識モデルに入力した前記発話音声に対応付けられる前記第２寄与度と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記第１寄与度とに基づいて、第２損失関数を算出し、
   前記第１損失関数及び前記第２損失関数に基づいて、第３損失関数を算出し、
   前記第３損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率と、を学習対象パラメータとして更新することを特徴とする計算機システム。
7. 請求項４から請求項６のいずれか一項に記載の計算機システムであって、
   前記演算装置は、前記学習対象パラメータが複数存在する場合、前記複数の学習対象パラメータを同時に更新する処理、前記学習対象パラメータの組を生成し、前記組の更新順を決定し、前記更新順に前記学習対象パラメータを更新する処理、又は、順次、前記複数の学習対象パラメータを更新する処理のいずれかを実行することを特徴とする計算機システム。
8. 請求項５又は請求項６に記載の計算機システムであって、
   前記演算装置は、前記第３損失関数を用いた学習アルゴリズムに基づいて、前記第２モデルパラメータと、前記発話感情認識モデルに入力した前記発話音声に対応付けられる前記正解発話感情確率及び前記第２寄与度とを更新することを特徴とする計算機システム。
9. 少なくとも一つの計算機を備える計算機システムが実行する学習方法であって、
   前記少なくとも一つの計算機は、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続される接続インタフェースを有し、
   前記計算機システムは、
   所定の時間長の音声である音声セグメント及び正解音声セグメント感情確率を含むセグメントサンプルを複数含むセグメント学習データと、
   前記音声セグメントを入力として受け付け、発話者の感情の推定結果として感情確率を出力する音声セグメント感情認識モデルを定義する第１モデルパラメータと、を管理し、
   前記学習方法は、
   前記演算装置が、前記音声セグメント感情認識モデルに前記音声セグメントを入力して得られた推定音声セグメント感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントを含む前記セグメントサンプルの学習への寄与の度合いを示す第１寄与度とに基づいて第１損失関数を算出する第１のステップと、
   前記演算装置が、前記第１損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率とを、学習対象パラメータとして更新する第２のステップと、を含むことを特徴とする学習方法。
10. 請求項９に記載の学習方法であって、
    前記計算機システムは、発話音声及び正解発話感情確率を含むサンプルを複数含む学習データを管理し、
    前記学習方法は、
    前記演算装置が、前記学習データから一つの前記サンプルを選択し、当該サンプルに含まれる前記発話音声を所定の時間長で分割することによって、複数の音声セグメントを生成する第３のステップと、
    前記演算装置が、前記選択されたサンプルの前記正解発話感情確率に基づいて、前記複数の音声セグメントの各々の前記正解音声セグメント感情確率を算出する第４のステップと、
    前記演算装置が、前記音声セグメント及び前記正解音声セグメント感情確率を対応付けた前記セグメントサンプルを生成する第５のステップと、を含むことを特徴とする学習方法。
11. 請求項１０に記載の学習方法であって、
    前記第５のステップは、
    前記演算装置が、前記セグメントサンプルの前記第１寄与度を算出するステップと、
    前記演算装置が、前記音声セグメント、前記第１寄与度、及び前記正解音声セグメント感情確率を対応付けた前記セグメントサンプルを生成するステップと、を含むことを特徴とする学習方法。
12. 請求項１１に記載の学習方法であって、
    前記第２のステップは、前記演算装置が、前記第１損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率及び前記第１寄与度とを、学習対象パラメータとして更新するステップを含むことを特徴とする学習方法。
13. 請求項１１に記載の学習方法であって、
    前記計算機システムは、前記発話音声を入力として受け付け、発話者の感情の推定結果として感情確率を出力する発話感情認識モデルを定義する第２モデルパラメータを管理し、
    前記サンプルは、前記サンプルの学習への寄与の度合いを示す第２寄与度を含み、
    前記第１のステップは、
    前記演算装置が、前記音声セグメントを前記音声セグメント感情認識モデルに入力することによって、前記推定音声セグメント感情確率を算出するステップと、
    前記演算装置が、前記音声セグメント感情認識モデルに入力した前記音声セグメントの生成元の前記発話音声を前記発話感情認識モデルに入力することによって、推定発話感情確率を算出するステップと、
    前記演算装置が、前記正解発話感情確率と、前記推定発話感情確率と、前記発話感情認識モデルに入力した前記発話音声に対応付けられる前記第２寄与度と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記第１寄与度とに基づいて、第２損失関数を算出するステップと、
    前記演算装置が、前記第１損失関数及び前記第２損失関数に基づいて、第３損失関数を算出するステップと、を含み、
    前記第２のステップは、前記演算装置が、前記第３損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率及び前記第１寄与度と、を学習対象パラメータとして更新するステップを含むことを特徴とする学習方法。
14. 請求項１０に記載の学習方法であって、
    前記計算機システムは、前記発話音声を入力として受け付け、発話者の感情の推定結果として感情確率を出力する発話感情認識モデルを定義する第２モデルパラメータを管理し、
    前記サンプルは、前記サンプルの学習への寄与の度合いを示す第２寄与度を含み、
    前記第１のステップは、
    前記演算装置が、前記音声セグメントを前記音声セグメント感情認識モデルに入力することによって、前記推定音声セグメント感情確率を算出するステップと、
    前記演算装置が、前記音声セグメント感情認識モデルに入力した前記音声セグメントの生成元の前記発話音声を前記発話感情認識モデルに入力することによって、推定発話感情確率と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記第１寄与度と、を算出するステップと、
    前記演算装置が、前記正解発話感情確率と、前記推定発話感情確率と、前記発話感情認識モデルに入力した前記発話音声に対応付けられる前記第２寄与度と、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記第１寄与度とに基づいて、第２損失関数を算出するステップと、
    前記演算装置が、前記第１損失関数及び前記第２損失関数に基づいて、第３損失関数を算出するステップと、を含み、
    前記第２のステップは、前記演算装置が、前記第３損失関数を用いた学習アルゴリズムに基づいて、前記第１モデルパラメータと、前記音声セグメント感情認識モデルに入力した前記音声セグメントに対応付けられる前記正解音声セグメント感情確率と、を学習対象パラメータとして更新するステップを含むことを特徴とする学習方法。
15. 請求項１２から請求項１４のいずれか一項に記載の学習方法であって、
    前記第２のステップでは、前記演算装置が、前記学習対象パラメータが複数存在する場合、前記複数の学習対象パラメータを同時に更新する処理、前記学習対象パラメータの組を生成し、前記組の更新順を決定し、前記更新順に前記学習対象パラメータを更新する処理、又は、順次、前記複数の学習対象パラメータを更新する処理のいずれかを実行することを特徴とする学習方法。

Images