JP7411149B2 - 学習装置、推定装置、学習方法、推定方法及びプログラム - Google Patents

Description

本発明は、学習装置、推定装置、学習方法、推定方法及びプログラムに関する。

機械学習の技術を用いてセンチメントを推定する技術に関心が高まっている。

Kaicheng Yang, et.al., "CM-BERT: Cross-Modal BERT for Text-Audio Sentiment Analysis", 2020 Association for Computing Machinery, ACM ISBN 978-1-4503-7988-5/20/10

しかしながら、これまでの技術では単一の情報を用いてセンチメントの推定を行うことが主に行われている。センチメントの推定には、センチメントに応じた内容を有する情報を解析することが大事であるが、センチメントは複雑であるため、単一の情報を用いた推定では、推定の精度が低い場合があった。

上記事情に鑑み、本発明は、センチメントの推定の精度を向上させる技術を提供することを目的としている。

本発明の一態様は、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行部と、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新部と、を備える学習装置である。

本発明の一態様は、推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、を取得する対象取得部と、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行部と、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新部と、を備える学習装置によって所定の終了条件が満たされるまで更新された前記センチメント推定モデルを前記対象取得部の取得した前記言語モダリティ、前記音声モダリティ、前記映像モダリティ及び前記意味情報に対して実行する推定部と、を備える推定装置である。

本発明の一態様は、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行ステップと、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新ステップと、を有する学習方法である。

本発明の一態様は、推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、を取得する対象取得ステップと、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行ステップと、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新ステップと、を有する学習方法によって所定の終了条件が満たされるまで更新された前記センチメント推定モデルを前記対象取得ステップの取得した前記言語モダリティ、前記音声モダリティ、前記映像モダリティ及び前記意味情報に対して実行する推定ステップと、を有する推定方法である。

本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。

本発明の一態様は、上記の推定装置としてコンピュータを機能させるためのプログラムである。

本発明により、センチメントの推定の精度を向上させることが可能となる。

実施形態における推定システムの概要を説明する説明図。 実施形態におけるモダリティ活性化処理の一例を説明する説明図。 実施形態におけるマルチモーダル統合処理の一例を説明する説明図。 実施形態におけるセンチメント推定モデルを用いた推定の実験の結果の一例を示す図。 実施形態における学習装置のハードウェア構成の一例を示す図。 実施形態における学習装置の備える制御部の構成の一例を示す図。 実施形態における学習装置が実行する処理の流れの一例を示すフローチャート。 実施形態における推定装置のハードウェア構成の一例を示す図。 実施形態における推定装置の備える制御部の構成の一例を示す図。 実施形態における推定装置が実行する処理の流れの一例を示すフローチャート。

（実施形態）
図１は、実施形態における推定システム１００の概要を説明する説明図である。推定システム１００は、学習装置１と推定装置２とを備える。学習装置１は、センチメント推定モデルの学習を、学習に関する所定の終了条件（以下「学習終了条件」という。）が満たされるまで行う。

センチメント推定モデルは、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティに基づいて解析対象の発話の発話中のセンチメントを推定する数理モデルである。解析対象の発話の発話中とは、解析対象の発話が発話されている最中、の意味である。センチメント推定モデルは、より具体的には、マルチモーダル統合処理を実行する数理モデルであって、マルチモーダル統合処理によって得られた情報に基づいて解析対象の発話の発話中のセンチメントを推定する数理モデルである。

マルチモーダル統合処理は、３種類以上の系列を統合する処理である。統合とは、複数の系列間の関連性を示す系列を取得する処理である。センチメント推定モデルは、例えばマルチモーダル統合処理を実行する層を中間層に含むＢＥＲＴ（Bidirectional Encoder Representations from Transformers）である。

このようなＢＥＲＴにおいてマルチモーダル統合処理を実行する層の前段には、例えば１又は複数のエンコーダが存在する。また、このようなＢＥＲＴにおいてマルチモーダル統合処理を実行する層の後段には、例えば１又は複数のエンコーダが存在する。

学習終了条件は、例えばセンチメント推定モデルの更新が所定の回数行われたという条件である。学習終了条件は、例えば更新によるセンチメント推定モデルの変化が所定の変化より小さいという条件であってもよい。

推定装置２は、学習済みのセンチメント推定モデルを用いて、推定対象の発話の発話中のセンチメントを推定する。学習済みの数理モデルとは、学習終了条件が満たされた時点の数理モデルである。

マルチモーダル統合処理は、例えば以下のモダリティ活性化処理を含み、モダリティ活性化処理の実行により複数の系列間の関連性を示す系列を取得する。

モダリティ活性化処理は、２種類の系列を統合する処理である。モダリティ活性化処理は、例えば２種類の系列を、Source-Target Attentionを用いて統合する処理である。学習が行われた場合、モダリティ活性化処理による処理の内容は更新される。

モダリティ活性化処理による統合の対象の候補は、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティを含む。モダリティ活性化処理による統合の対象の候補は、意味情報も含む。なお、モダリティ活性化処理による統合の対象とは、モダリティ活性化処理による処理対象である。処理対象は処理の対象の意味である。

図２は、実施形態におけるモダリティ活性化処理の一例を説明する説明図である。図２の例では、モダリティ活性化処理が２種類の系列をSource-Target Attentionを用いて統合する処理である、場合を例に、モダリティ活性化処理の説明を行う。図２の例では、統合の対象の系列について、言語モダリティ、音声モダリティ及び映像モダリティと、意味情報のいずれであるかを限定せずにモダリティ活性化処理の説明を行う。

図２の例では、モダリティ活性化処理の統合の対象の系列は、適用元モダリティＳと、適用先モダリティＴとである。したがって適用元モダリティＳは、言語モダリティと、音声モダリティと、映像モダリティと、意味情報とのいずれか１種類の系列であり、適用先モダリティＴは適用元モダリティＳの系列とは異なる種類の系列である。また、適用元モダリティＳと適用先モダリティＴとは少なくとも一方が単語などの位置情報を有し、他方が位置情報を有さない。

なお、位置情報を有するとは、対象の系列に対する位置埋め込みが実行済みであることを意味する。一方、位置情報を有さないとは、対象の系列対する位置埋め込みが実行されていないことを意味する。すなわち、位置情報を有するとは位置埋め込みが実行済みであることを意味し、位置情報を有さないとは位置埋め込みが実行されていないことを意味する。位置埋め込みは、周知のように、系列においてまったく同じ特徴ベクトル成分(例えば同じ単語、あるいは同じ音声波形)であっても、その位置に応じて特徴ベクトルの成分を変化させ、系列内での位置のユニーク性を担保するために行われる。位置埋め込みは、具体的には、位置情報によって同一の特徴表現であっても一意なデータにするために、時系列における位置関係を表現できる所定の法則に基づいた値を特徴表現に加算ないし連結する処理である。所定の法則は、例えば正弦波関数である。したがってＢＥＲＴ手法における位置埋め込みは、例えば正弦波に基づく位置情報を単語の分散表現に加算する処理である。

モダリティ活性化処理の説明の簡単のため、適用元モダリティＳ及び適用元モダリティＴの数学表現を示す。適用元モダリティＳは、以下の式（１）で表される。

適用先モダリティＴは、以下の式（２）で表される系列である。

ｎは解析対象の発話に含まれる単語の数である。ベクトルｓは、系列Ｓの１つ１つのサンプルであり、各単語における適用元モダリティの特徴ベクトルである。ベクトルｔは、系列Ｔの１つ１つのサンプルであり、各単語における適用先モダリティの特徴ベクトルである。

以下、ベクトルｓの次元数をｆ_ｓと表現する。また、以下、ベクトルｔの次元数をｆ_ｔと表現する。系列Ｓのサンプルはいずれも同一の次元数ｆ_ｓである。系列Ｔのサンプルはいずれも同一の次元数ｆ_ｔである。

モダリティ活性化処理では、系列Ｓと系列Ｔとを特徴ベクトルの次元で結合する処理が行われる。モダリティ活性化処理では例えばまず、以下の式（３）で表される系列が、系列Ｓと系列Ｔとに基づいて得られる。式（３）の処理は、系列Ｓと系列Ｔとを連結する処理である。連結とは数値解析の分野においてベクトルや行列等のテンソルに対して定義される連結の意味である。式（３）の処理は、図２の例では、処理Ｂ１０１において実行される。

系列Ｓ´の次元は、ｎ×（ｆ_ｓ＋ｆ_ｔ）である。このように、モダリティ活性化処理では、言語モダリティ、音声モダリティ、映像モダリティと意味情報とのうちの１つである適用元モダリティと、言語モダリティ、音声モダリティ、映像モダリティと意味情報とのうちの他の１つである適用先モダリティとの連結が行われる。

上述したように、系列Ｓと系列Ｔとを特徴ベクトルの次元で連結する処理における処理対象の系列Ｓと系列Ｔとは一方が単語など位置情報を持つデータであり、他方が時系列のみで位置情報を持たないデータである。そのためこのような場合、系列Ｓと系列Ｔとを特徴ベクトルの次元で連結する処理は、位置情報を持たない系列に対して位置情報を埋め込む処理である。系列Ｓと系列Ｔとを特徴ベクトルの次元で連結することによって、後段のAttention処理における関連性の析出をより効果的に行うことができる。

このように、適用元モダリティと適用先モダリティとは系列であり、適用元モダリティと適用先モダリティとの一方は、系列を表現する順序集合におけるサンプルの順位を示す位置情報を有し、他方は位置情報を有さない処理がモダリティ活性化処理では実行される。

モダリティ活性化処理では次に、系列Ｓ´を全結合層（ＦＮＮ；Feedforward Neural Network）により、ｎ×ｆ_ｔ次元の系列Ｋに変換する処理が行われる。系列Ｓ´を系列Ｋに変換する際には、活性化関数ＴａｎｈＥｘｐを用いた変換が行われる。なお、ＴａｎｈＥｘｐは、双曲線正接関数ｔａｎｈと自然対数を底に取った指数関数ｅｘｐとの合成関数である。活性化関数ＴａｎｈＥｘｐを用いた系列Ｓ´から系列Ｋへの変換は、具体的には以下の式（４）で表される。式（４）の処理は、図２の例では、処理Ｂ１０２において実行される。

Ｗ_ｋは全結合層における重みを表し、Ｂ_ｋはバイアス項を表す。Ｗ_ｋもＢ_ｋもどちらも学習により更新されるパラメータである。

式（３）の処理と系列Ｓ´を全結合層によりｎ×ｆ_ｔ次元の系列Ｋに変換する処理との一連の処理は、時系列ベクトル側への位置情報の埋め込みと、次元削減のための処理である。なおＴａｎｈＥｘｐは活性化関数であり、誤差逆伝播法による学習効率を向上させる効果を奏する。

モダリティ活性化処理では次に、系列Ｔと系列Ｋとの間の照応関係を示す情報を得る処理が実行される。系列Ｔと系列Ｋとの間の照応関係を示す情報Ｑ´を得る処理の一例は、系列ＴをＱｕｅｒｙとし、系列ＫをＫｅｙ及びＶａｌｕｅとするSource-Target Attentionである。Source-Target Attentionの実行結果の系列が、情報Ｑ´の一例である。情報Ｑ´は、例えば以下の式（５）で表される。式（５）の処理は、図２の例では、処理Ｂ１０３において実行される。

写像“ａｔｔｎ”は、Source-Target Attentionの処理を表す。写像“ａｔｔｎ”の第１引数はＱｕｅｒｙとして用いられる情報を表す。写像“ａｔｔｎ”の第２引数はＫｅｙとして用いられる情報を表す。写像“ａｔｔｎ”の第３引数はＶａｌｕｅとして用いられる情報を表す。上述の式（３）及び式（４）が示すように、系列Ｋは、系列Ｓと系列Ｔとの情報を含む。したがって、Ｑ´は、系列Ｓと系列Ｔとの間の照応関係を示す情報である。

モダリティ活性化処理では次に、系列Ｑ´に対して系列Ｔとの間の重み付き残差接続が実行される。系列Ｑ´に対して系列Ｔとの間の重み付き残差接続は、より具体的には、系列Ｑ´を表すベクトルのＬ２ノルムと系列Ｔを表すベクトルのＬ２ノルムとに応じた重みｂが乗算された系列Ｑ´、に対して系列Ｔを残差接続する処理である。重みｂは、例えば以下の式（６）で表される重みである。

ｔ_ｂは重みの各項における最小値でありハイパーパラメータである。以下、系列Ｑ´に対して系列Ｔとの間の重み付き残差接続の実行結果の系列を系列Ｆという。系列Ｆは、例えば以下の式（７）で表される。式（７）の処理は、図２の例では、処理Ｂ１０４において実行される。

このように、系列Ｆは、系列Ｓと系列Ｔとの間の照応関係を示す情報Ｑ´を含む。したがって、系列Ｆは、系列Ｓと系列Ｔとの間の関連性を示す情報の一例である。

なお残差接続は、Attentionなどの所定の中間処理（以下「所定中間処理」という。）の実行の結果に対し、所定中間処理の実行の対象を加算する処理である。残差接続は、所定中間処理の影響を軽減し、複数回にわたって所定中間処理を反復することを可能とする効果を奏する。

なお、重みｂは、残差接続に際して、系列Ｑ´を表現するベクトルと系列Ｔを表現するベクトルとの大きさ(Ｌ２ノルム)に対応する形で双方のベクトルを加算するために存在する。仮に系列Ｑ´と系列Ｔとのどちらかが過度に大きいと、残差接続において一方の影響が大きくなりすぎ、結果として学習が進まない場合がある。このようなことは、例えばＱ´側が過大だった場合に生じる。また、仮に系列Ｑ´と系列Ｔとのどちらかが過度に大きいと、Attention処理が無意味化する場合がある。このようなことは例えばＴ側が過大だった場合に生じる。重みｂは、このような、学習が進まない問題やAttention処理が無意味化する問題の発生を防止する効果を奏する。

図３は、実施形態におけるマルチモーダル統合処理の一例を説明する説明図である。マルチモーダル統合処理は、モダリティ活性化処理を含む処理であって、３種類以上の系列を統合する処理である。学習が行われた場合、マルチモーダル統合処理の内容は更新される。

図３の例におけるマルチモーダル統合処理で実行される具体的な処理の内容を説明する。マルチモーダル統合処理では、第１副統合処理が実行される。第１副統合処理は、言語モダリティＬと意味情報の系列Ｂとがモダリティ活性化処理により統合される処理である。より具体的には、第１副統合処理は、言語モダリティＬに対して意味情報の系列Ｂが統合される処理である。以下、言語モダリティＬと意味情報の系列Ｂとの統合の結果を系列Ｌ´という。系列Ｌ´は以下の式（８）で表される。式（８）の処理は、図３の例では、処理Ｂ２０１において実行される。

なお、言語モダリティは具体的には、単語埋め込みベクトルの系列である。単語埋め込みベクトルは、ベクトルで表現された識別子であり単語を識別する識別子であり単語の意味が近しいほどベクトル間の距離が近い識別子である。

“ｍｅｇ”は、モダリティ活性化処理を意味する。したがって式（８）は系列Ｓと系列Ｌとに基づきモダリティ活性化処理により系列Ｌ´が得られることを意味する。系列Ｌ´は、系列Ｌに対して意味情報の系列Ｂが統合された系列であるので、言語モダリティの１種である。

マルチモーダル統合処理では次に、第２副統合処理が実行される。第２副統合処理は、音声モダリティと映像モダリティとが系列Ｌ´に統合される処理である。すなわち、第２副統合処理は、第１副統合処理の結果と音声モダリティと映像モダリティとの間の関連性を示す系列を取得する処理である。第２副統合処理の一例を説明する。

＜第２副統合処理＞
第２副統合処理では、系列Ｌ´から発話レベルの系列Ｌ´^ｕが抽出される処理が実行される。発話レベルの系列とは、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）におけるＣＬＳトークンに対するAttentionの出力である。

第２副処理では次に、音声モダリティ活性化処理が実行される。音声モダリティ活性化処理は、音声モダリティを表現する系列である音声モダリティの埋め込みの系列に対して系列Ｌ´を統合するモダリティ活性化処理である。音声モダリティ活性化処理は、音声モダリティの発話レベルＡ^ｕと音声モダリティの単語レベルＡ^ｗとのそれぞれに対して実行される。発話レベルＡ^ｕに対する音声モダリティ活性化処理（以下「発話レベル音声モダリティ活性化処理」という。）は以下の式（９）で表される。単語レベルＡ^ｗに対する音声モダリティ活性化処理（以下「単語レベル音声モダリティ活性化処理」という。）は以下の式（１０）で表される。式（９）及び式（１０）の処理は、図３の例では、処理Ｂ２０２において実行される。

なお、本稿における「レベル」とは、当該系列がいかなる解像度の情報を内包しているかを示すものである。ここにおいて、単語とは意味情報を付加できる単一の形態素を意味し、発話とは話者が発した一文からなる単語の羅列のことを表す。したがって、「単語レベル」とは形態素一つに対応する埋め込み情報を持つこと、「発話レベル」は一文全体を包括した埋め込み情報を持つこと、をそれぞれ意味している。このように発話レベルと単語レベルとは異なるものであるので、第２副処理の実行の際には、音声モダリティの埋め込み系列として音声モダリティの発話レベルＡ^ｕと音声モダリティの単語レベルＡ^ｗとの２つが第２副処理を実行する装置に入力される。

第２副処理では次に、映像モダリティ活性化処理が実行される。映像モダリティ活性化処理は、映像モダリティを表現する系列である映像モダリティの埋め込みの系列に対して系列Ｌ´を統合するモダリティ活性化処理である。映像モダリティ活性化処理は、映像モダリティの発話レベルＶ^ｕと映像モダリティの単語レベルＶ^ｗとのそれぞれに対して実行される。

発話レベルＶ^ｕに対する映像モダリティ活性化処理（以下「発話レベル映像モダリティ活性化処理」という。）は以下の式（１１）で表される。単語レベルＶ^ｗに対する映像モダリティ活性化処理（以下「単語レベル映像モダリティ活性化処理」という。）は以下の式（１２）で表される。式（１１）及び式（１２）の処理は、図３の例では、処理Ｂ２０３において実行される。

第２副処理の実行の際には、映像モダリティの埋め込み系列として映像モダリティの発話レベルＶ^ｕと映像モダリティの単語レベルＶ^ｗとの２つが第２副処理を実行する装置に入力される。

第２副処理では次に、発話レベル足し合わせ処理と、単語レベル足し合わせ処理と、が実行される。発話レベル足し合わせ処理は、発話レベル音声モダリティ活性化処理の実行により得られた系列と、発話レベル映像モダリティ活性化処理の実行により得られた系列とを足し合わせる処理である。

単語レベル足し合わせ処理は、単語レベル音声モダリティ活性化処理の実行により得られた系列と、単語レベル映像モダリティ活性化処理の実行により得られた系列とを足し合わせる処理である。発話レベル足し合わせ処理は、例えば以下の式（１３）で表される処理である。単語レベル足し合わせ処理は、例えば以下の式（１４）で表される処理である。式（１３）及び式（１４）の処理は、図３の例では、処理Ｂ２０４において実行される。

発話レベル足し合わせ処理は、モダリティの統合を行い、後段の処理に複数モダリティの情報を伝播させる効果を奏する。なお、発話レベル足し合わせ処理の実行より前に実行されるAttention等の処理では、既に十分に双方と言語モダリティとの関連性を示す情報が得られている。なお、双方とは、発話レベル音声モダリティ活性化処理の実行により得られた系列と、発話レベル映像モダリティ活性化処理の実行により得られた系列との双方を意味する。そのため、重みづけなどの付加処理を行うことは学習において不利に働く可能性がある。したがって、式（１３）の例では、重みづけなどの付加処理ではなくシンプルな加算処理が実行される。

単語レベル足し合わせ処理は、モダリティの統合を行い、後段の処理に複数モダリティの情報を伝播させる効果を奏する。なお、単語レベル足し合わせ処理の実行より前に実行されるAttention等の処理では、既に十分に双方と言語モダリティとの関連性を示す情報が得られている。なお、双方とは、単語レベル音声モダリティ活性化処理の実行により得られた系列と、単語レベル映像モダリティ活性化処理の実行により得られた系列との双方を意味する。そのため、重みづけなどの付加処理を行うことは学習において不利に働く可能性がある。したがって、式（１４）の例では、重みづけなどの付加処理ではなくシンプルな加算処理が実行される。

第２副処理では次に、発話レベル照応関係取得処理と、単語レベル照応関係取得処理とが実行される。発話レベル照応関係取得処理は、言語モダリティの系列と、発話レベル足し合わせ処理により得られた系列Ｍ^ｕとの間の照応関係を示す情報を得る処理である。単語レベル照応関係取得処理は、言語モダリティの系列と、単語レベル足し合わせ処理により得られた系列Ｍ^ｗとの間の照応関係を示す情報を得る処理である。

発話レベル照応関係取得処理の一例は、言語モダリティの系列をＱｕｅｒｙとし、発話レベル足し合わせ処理の結果得られた系列をＫｅｙ及びＶａｌｕｅとするSource-Target Attentionである。単語レベル照応関係取得処理の一例は、言語モダリティの系列をＱｕｅｒｙとし、単語レベル足し合わせ処理の結果得られた系列をＫｅｙ及びＶａｌｕｅとするSource-Target Attentionである。

第２副処理では次に、発話レベル残差接続処理と、単語レベル残差接続処理と、が実行される。発話レベル残差接続処理は、発話レベル照応関係取得処理により得られた系列に対して、言語モダリティの系列との間の重み付き残差接続を実行する処理である。単語レベル残差接続処理は、単語レベル照応関係取得処理により得られた系列に対して、言語モダリティの系列との間の重み付き残差接続を実行する処理である。

なお重み付き残差接続における残差接続は、上述したように、所定中間処理の影響を軽減し、複数回にわたって所定中間処理を反復することを可能とする。また、重み付き残差接続における重みは、上述したように、学習が進まない問題やAttention処理が無意味化する問題の発生を防止する効果を奏する。

発話レベル照応関係取得処理と発話レベル残差接続処理との一連の処理は例えば以下の式（１５）で表される処理である。単語レベル照応関係取得処理と単語レベル残差接続処理との一連の処理は例えば以下の式（１６）で表される処理である。式（１５）及び式（１６）の処理は、図３の例では、処理Ｂ２０５において実行される。

このようにして得られた系列Ｅ^ｕと系列Ｅ^ｗとが、第２副統合処理により音声モダリティと映像モダリティとが系列Ｌ´に統合された結果の一例である。

＜トピック推定処理＞
マルチモーダル統合処理では次に、トピック推定処理が実行される。トピック推定処理は、解析対象の発話の内容の主題（トピック）を推定する処理である。トピック推定処理は、例えば、第２副統合処理の結果を変分オートエンコーダ(Variational AutoEncoder；ＶＡＥ)に入力し、変分オートエンコーダの出力を取得する処理である。すなわち、トピック推定処理は、例えば第２副統合処理の結果に対して変分オートエンコーダを実行する処理である。トピック推定処理は、図３の例では、処理Ｂ２０６において実行される。

変分オートエンコーダはエンコーダーによる出力を二つ有する。この二つの出力は、それぞれが潜在空間の平均値と分散値を示す。デコードの際には、この潜在空間の平均値と分散値とから任意にサンプリングされたデータと、そのデータをデコードした結果と、の間での精度の比較が行われる。さらにデコードの際には、エンコーダーが生成する平均値と分散値と入力データ自体の平均値と分散値とをＫＬダイバージェンスを用いて比較することが行われる。変分オートエンコーダは、このようにして、精度の高いエンコーダーと潜在空間の分布の妥当性を高める数理モデルである。こうして生成された潜在空間は、入力として与えられるデータが、その母集団の分布の中でどのようなクラスタに位置するかを表現しているとみることができる。そしてこの潜在空間の特徴により、任意の入力を使うことで変分オートエンコーダは生成モデルとしても動作する。

変分オートエンコーダによるトピックの推定の処理の一例を示す。第２副統合処理の結果であるＥ^ｕとＥ^ｗとが変分オートエンコーダに入力される。トピック推定処理は、エンコーダ部分が生成する潜在変数を、トピックの推定結果を示す情報である潜在トピックＺとして取得する。潜在トピックＺが、推定されたトピックである。潜在トピックＺは、単語トピックＺ^ｗと発話トピックＺ^ｕとの和である。単語トピックＺ^ｗは系列Ｅ^ｗに基づいて推定されたトピックである。発話トピックＺ^ｕは系列Ｅ^ｕに基づいて推定されたトピックである。潜在トピックＺの形状は、ｎ×ｆ_ｔである。ｆ_ｔはトピックの次元数である。

トピック推定処理は、例えば、第２副統合処理の結果であるＥ^ｕとＥ^ｗとに対して同一の写像を作用させる処理（以下「共通情報取得処理」という。）であってもよい。このような場合、写像の作用の結果が潜在トピックＺである。このような写像は、例えば所定のベクトルとの二項演算を表す写像であってもよい。この場合、所定のベクトルと二項演算の定義は、Ｅ^ｕとＥ^ｗとで同一である。二項演算は、例えばテンソル積である。写像は、例えば行列であってもよい。二項演算としてテンソル積が用いられる場合、各元はベクトル又は行列等のテンソルである。そのためテンソル積では、各元の要素同士がすべて乗算される。したがってテンソル積が用いられることで、他の二項演算が用いられた場合よりも、二項同士の関連性が高い精度で抽出される。

＜共通情報取得処理の奏する効果＞
ここで共通情報取得処理の奏する効果について説明する。系列は数学的にはベクトルとして表現されるので、系列をベクトルとして扱って共通情報取得処理の奏する効果の説明を行う。共通情報取得処理は、上述したように入力された各ベクトルに同一の写像を作用させる処理である。したがって、各ベクトルに共通する情報を取得する処理である。数学的には、共通情報取得処理は、各ベクトルを含む１つのベクトル空間において、各ベクトルを同一の超平面に斜影する処理である。ところで、各ベクトルはいずれも、発話中に得られた時系列から得られたものである。

そのため、各ベクトルは発話の主題を共通の情報として有する。したがって、共通情報取得処理によって得られる各ベクトルに共通する情報は主題を含む。

＜第３副統合処理＞
マルチモーダル統合処理では次に、第３副統合処理が実行される。第３副統合処理は、第２副統合処理の結果とトピック推定処理の結果とに基づき、第２副統合処理の結果とトピック推定処理の結果との関連性を示す系列を取得する処理である。第３副統合処理は、より具体的には、第２副統合処理の結果とトピック推定処理の結果とに基づき、Source-Target-Attentionを用いて、第２副統合処理の結果とトピック推定処理の結果との関連性を示す系列を取得する処理である。

第３副統合処理は、例えば、潜在トピックＺと系列Ｅ^ｗとの間でSource-Target-Attentionを行い、その結果Ｅ´^ｗと系列Ｅ^ｗとの残差接続を行う処理である。残差接続の結果である系列Ｈが、次段の処理に入力される。なお系列Ｈは、系列Ｅ´^ｗと系列Ｅ^ｗとの残差接続であるのでは、Ｈ＝Ｅ^ｗ＋Ｅ´^ｗである。第３副統合処理は、図３の例では、処理Ｂ２０７において実行される。

＜マルチモーダル統合処理の技術的意義について＞
このようにしてマルチモーダル統合処理では、音声モダリティと、映像モダリティと、言語モダリティと、トピックを示す情報とを含む情報が生成される。以下、音声モダリティと、映像モダリティと、トピックを示す情報とを、音声モダリティや映像モダリティ等、という。

センチメント推定モデルは、上述したように例えばＢＥＲＴを用いる数理モデルである。ところでＢＥＲＴは自然言語を処理する数理モデルである。そのため、ＢＥＲＴは、音声モダリティや映像モダリティ等を単体で取り扱うことはできない。したがって、ＢＥＲＴを用いたセンチメントの推定においては処理対象が言語モダリティを含むことが必要である。

一方で、音声モダリティや映像モダリティ等の情報を含まないでセンチメントの推定を行う場合、音声モダリティや映像モダリティ等も用いたセンチメントの推定と比べて情報量が少ないので、音声モダリティや映像モダリティの情報等を含めたセンチメントの推定に比べて推定の精度が悪い。マルチモーダル統合処理は、この点を改善する技術であり、音声モダリティや映像モダリティ等を言語モダリティに統合する。その結果、マルチモーダル統合処理により得られた情報は、ＢＥＲＴによる処理が可能でありながら音声モダリティと映像モダリティとの情報をも含む。したがって、ＢＥＲＴによるセンチメントの推定の精度を高めることができる。

なお、センチメント推定モデルは必ずしもＢＥＲＴを用いる必要は無い。ＢＥＲＴを用いないセンチメントの推定の処理であっても、マルチモーダル統合処理で得られた情報を用いれば、マルチモーダル統合処理で得られた情報を用いない場合よりもセンチメントの推定の精度が高い。なぜなら、ＢＥＲＴを用いないセンチメントの推定の処理が、音声モダリティや映像モダリティ等を用いて、センチメントの推定を行えるからである。例えばＢＥＲＴに限らず自然言語処理を行うことでセンチメントの推定を行う技術において、マルチモーダル統合処理で得られた情報を用いれば、センチメントの推定の精度が向上する。

＜ＢＥＲＴの出力の詳細の一例＞
マルチモーダル統合処理を含むＢＥＲＴを用いたセンチメント推定モデルにおいては、マルチモーダル統合処理の結果、モダリティが統合された出力系列ＨとＣＬＳトークンに対するAttention出力のベクトルｐとがＢＥＲＴから出力される。系列Ｈはｎ×ｆ_ｈの形状の系列である。ｆ_ｈは、特徴ベクトルの次元数である。ｆ_ｈは、ハイパーパラメータである。したがって、ｐは、ｆ_ｈ次元のベクトルである。マルチモーダル統合処理を含むＢＥＲＴを用いたセンチメント推定モデルでは、次にｐを全結合層に通すことでスコアリングのための最終的な出力ｏが得られる。出力ｏの次元は、センチメントの推定の内容に応じて予め定められた形式であって、センチメントを表現する形式に依存する。

センチメントの推定が例えばセンチメントの回帰予測の場合、出力ｏは次元数１のベクトルである。すなわちこのような場合、出力ｏは、スカラ値である。センチメントの推定が例えば感情予測などのマルチクラス回帰処理や、センチメントの二値予測(ポジティブ，ネガティブ予測)の場合、出力ｏは対応した次元数のベクトルである。すなわちｎ_ｅクラスの感情を予測する場合、出力ｏはｎ_ｅ次元のベクトルであり、二値センチメント予測の場合、出力ｏは２次元のベクトルである。

センチメント推定モデルの学習では、センチメント推定モデルの推定したセンチメントと、正解データとして与えられたセンチメントとの違いを小さくするように、センチメント推定モデルが更新される。以下、センチメント推定モデルの推定したセンチメントと、正解データとして与えられたセンチメントとの違いを小さくするようにセンチメント推定モデルを更新する処理を更新処理という。センチメント推定モデルはマルチモーダル統合処理を実行する数理モデルであるので、センチメント推定モデルの更新には、マルチモーダル統合処理の内容の更新も含まれる。したがって、センチメント推定モデルの学習における損失関数は、センチメント推定モデルの推定したセンチメントと、正解データとして与えられたセンチメントとの違いを示す。そして、センチメント推定モデルの学習では、損失関数を小さくするように学習が行われる。

なお、損失関数は、センチメント推定モデルが回帰予測を行う数理モデルである場合には、出力ベクトルｏに対するLog-Cosh損失関数である。出力ベクトルｏに対するLog-Cosh損失関数とは、出力ベクトルｏに対してcosh関数とlog関数の合成関数を適用することを意味する。センチメント推定モデルが二値分類タスクである場合には、出力ベクトルｏに対する二値クロスエントロピー損失関数である。出力ベクトルｏに対する二値クロスエントロピー損失関数とは、出力ベクトルｏに対して二値クロスエントロピーを適用することを意味する。

＜実験結果＞
図４は、実施形態におけるセンチメント推定モデルを用いた推定の実験の結果の一例を示す図である。より具体的には、図４は、学習済みの検証対象モデルによる推定の実験結果の一例を示す図である。検証対象モデルは、モダリティ活性化処理を含むマルチモーダル統合処理を実行するＢＥＲＴを用いたセンチメント推定モデルを意味する。

実験では、マルチモーダルなセンチメントの推定の学習の為のデータセットであるＣＭＵ－ＭＯＳＩデータセットが用いられた。ＣＭＵ－ＭＯＳＩデータセットとは，カーネギーメロン大学が発表しているマルチモーダル機械学習タスクのためのデータセットである。主に映画やドラマに対する感想を述べている動画群から構成されており、その感想がポジティブであるか、ネガティブであるかが－３から３までのレンジでラベリングされている。本データセットには２０００を超える発話が含まれている。実験では、学習用と検証用とにデータが分割されて用いられた。

実験では入力データとして、言語モダリティ、音声モダリティ、映像モダリティ及び意味情報が用いられた。言語モダリティについては、文章の文字列がそのまま用いられた。事前処理においては、単語単位のトークン化処理が実行された。

音声モダリティと映像モダリティとについては、単語レベルに分割した系列と、発話全体にまたがる系列とが用いられた。なお、発話全体にまたがるとは、単語のタイムスタンプによるデータ分割を行わず、時系列情報のみに対応したデータストリームとしての系列を意味する。すなわち、発話全体にまたがる系列とは、発話の開始から終わりまでの発話全体を表す１つの系列であって単語のタイムスタンプによるデータの区分けの情報を含まない系列である。

音声モダリティ特徴化が行われ、その結果得られるベクトルのリストが入力として用いられた。実験では、具体的には以下の参考文献１に記載のCOVAREPライブラリが用いられた。なお音声モダリティ特徴化で得られたリストとは、具体的には音声モダリティを表す系列である。

参考文献１：G. Degottex, J. Kane, T. Drugman,T. Raitio, and S. Scherer,: COVAREP ― A collaborative voice analysis repository for speech technologies, in Proc. ICASSP’14, pp. 960 - 964 (2014)

映像モダリティが特徴化され、その結果得られるベクトルのリストが入力として用いられた。実験では、具体的には以下の参考文献２に記載のEmotient Facetライブラリが用いられた。映像モダリティの特徴化とは、映像中の人間の顔の部分の抽出と、その顔から得られる表情などのデータをAction Unitと呼称される機械的に判別可能な特徴群へと符号化することを意味する(当該処理はFace Action Coding Systemと呼称される)（参考文献３参照）。本処理は事前処理として実行される。

参考文献２：Y.-H. H. Tsai, S. Bai, P. P. Liang, J. Z. Kolter, L.-P. Morency, and R. Salakhutdinov,: Multimodal Transformer for Unaligned Multimodal Language Sequences, in Proc. ACL’19, pp. 6558 - 6569 (2019)
参考文献３：”Facial Action Coding System”、［online］、［令和４年５月１６日検索］、インターネット〈URL：https://en.wikipedia.org/wiki/Facial_Action_Coding_System >

意味情報としては、言語モダリティに対してあらかじめＬＭＭＳ（linear mixed models）手法により抽出した意味情報ベクトルが実験において用いられた。

実験では、Ｍｕｌｔ（Multi Modal Transformer）、ＣＭ－ＢＥＲＴ（Cross-Modal BERT）、ＭＡＧ－ＢＥＲＴ（Multimodal Adaptation Gate for BERT）及びＭＡＧ－ＸＬＮｅｔ（Multimodal Adaptation Gate for XL-NET）が比較対象の数理モデルとして用いられた。以下、実験において用いられた比較対象の数理モデルを比較対象モデルという。

実験では、アブレーション研究が行われた。アブレーション研究とは、第１セット条件を満たすサブセットと、第２セット条件を満たすサブセットと、第３セット条件を満たすサブセットとを用意し、サブセットごとに学習を行い、その結果を調べる研究である。第１セット条件は、意味情報との間のモダリティ活性化処理は行われないという条件である。第２セット条件は、トピックを示す情報との間のモダリティ活性化処理は行われないという条件である。第３セット条件は、意味情報との間のモダリティ活性化も、トピックを示す情報との間のモダリティ活性化も、行われない、という条件である。

実験では学習が１００回試行され、その結果として収束に失敗したデータが取り除かれた平均で比較が行われた。なお収束の失敗とは、１００回の各試行の中で、全ての指標が平均に劣っていることと、どれか１つの指標が平均より－３σ劣っていること、のいずれか一方又は両方を満たすことを意味する。なお、全ての指標が平均に劣っているとは、ＭＡＥ（Mean Absolute Error）のみ上回っており、それ以外は下回っていることを意味する。

実験におけるハイパーパラメータの設定について説明する。実験におけるＢＥＲＴの事前学習モデルはＢＥＲＴ－Ｂａｓｅ－Ｕｎｃａｓｅｄ又はＢＥＲＴ－Ｌａｒｇｅ－Ｕｎｃａｓｅｄが用いられた。そのため、実験におけるＡｔｔｅｎｔｉｏｎ層の数は１２又は２４であり、実験における言語モダリティの特徴ベクトルの次元数は７６８又は１０２４であった。

一般に、ＢＥＲＴに限らず，ＴｒａｎｓｆｏｒｍｅｒモデルはＡｔｔｅｎｔｉｏｎ層の下層部分で単語同士の関連性をより強く学習する。そこで実験において、マルチモーダル統合処理は、Ｓｅｌｆ－Ａｔｔｅｎｔｉｏｎ層の第二層の直後に行われた。

多数のモダリティを一度に統合するためには、言語モダリティ自体の勾配を消失させないよう計算を行うことが必要である。そこで、言語モダリティ自体の勾配を消失させない値として、モダリティ活性化処理の残差接続における重みづけ係数の閾値ｔｂは、実験において、０．５であった。

また、実験においてバッチサイズは４８であった。実験において最適化関数はＲＡｄａｍが用いられ、学習率は４ｅ^－５であった。実験において学習エポック数は５０であった。実験では、５０のエポックのうち、最も検証ロスが少なかったエポックの重み情報が、学習済みのセンチメント推定モデルによる推定の精度の検証の際には用いられた。実験における乱数発生シードは整数の固定値であった。実験における乱数発生シードは、具体的には、４２であった。

なお、図４に記載の”F1_h”の定義はセンチメントの正負に対する推測値のＦ尺度である。図４に記載の”Acc_h ²”の定義はセンチメントの正負に対する推測値の正確度である。図４に記載の”Acc_h ⁷”の定義はセンチメントのスコア(－３から３の７値)に対する推測値の正確度である。図４に記載の”MAE₁”の定義はセンチメントのスコアと推測値との間の差の絶対値の平均である。図４に記載の”Corr_h”の定義はセンチメントのスコアと推測値の系列全体における相関係数である。図４に記載の”STMT-base”の定義は本手法STMTをBERT-baseモデルの上で実行したときのスコアを示すものである。図４に記載の“STMT-large”の定義は本手法STMTをBERT-largeモデルの上で実行したときのスコアを示すものである。

図４は、学習済みの検証対象モデルは、比較対象モデルのいずれよりも全ての指標で、上回っていることを示す。図４は、学習済みの検証対象モデルが、比較対象モデルに比べ、７クラスAccuracyに関して１０％以上高い精度を有することを示す。図４は、学習済みの検証対象モデルが、比較対象モデルに比べ、ＭＡＥに関して略７％高い精度を有することを示す。図４は、学習済みの検証対象モデルが、ＭＡＧ－ＸＬＮｅｔと比較して、全ての指標で２～５％高い精度を有することを示す。

また、図４は、学習済みの検証対象モデルが、ＭｕＬＴよりも高い精度を有することを示す。これは、学習済みの検証対象モデルはＭｕＬＴと異なり、適用元モダリティと適用先モダリティを連結した上で、適用先モダリティへのSource-Target Attentionを行なっているからである。ＭｕＬＴは単にSource-Target Attentionを実行するだけである。したがって、ＭｕＬＴに比べて学習済みの検証対象モデルの推定の精度が高いということは、マルチモーダル統合処理が、単にSource-Target Attentionを実行するよりもスムーズな形で非言語モダリティと言語モダリティとの連携を行う処理である、ことを意味する。なおここにおいてスムーズであるとは、より双方の関連性を析出しやすい形である、という意味である。

＜推定システム１００におけるセンチメント推定モデルの奏する効果について＞
ここまで実験結果の解釈を行った。そこで、推定システム１００におけるセンチメント推定モデルの奏する効果の１つについて念のため、説明する。機械学習の分野においては、異なるモダリティ同士の連結処理はこれまでマルチモーダル処理の最終層(Late Fusion)、あるいは第一層(Early Fusion)などで行われており、純粋に全結合層の直前などに置くことで複数モダリティ同士の影響度のみを学習させる目的で用いられていた。推定システム１００におけるセンチメント推定モデルでは、位置情報を有するモダリティと有さないモダリティとの連結処理を、AttentionのTargetの入力側の系列の生成に用いることで、Source側が持つ位置情報がAttentnion機構に取り込まれる。その結果、Attention処理の精度が大幅に向上し、推定システム１００におけるセンチメント推定モデルによるセンチメントの推定の精度の向上が生じる。

図４は、アブレーション研究の結果も示す。図４においてアブレーション研究の結果は”アブレーション研究（100回平均）”との記載よりも下に記載の結果である。より具体的には、アブレーション研究の結果は図４における領域Ｄ１０１に記載の結果である。図４において“base w/o sema”の定義は意味情報を付加しなかった場合の結果である。図４において“base w/o topic”の定義はトピック情報を付加しなかった場合の結果である。図４において“base w/o both”の定義は意味情報、トピック情報の双方を付加しなかった場合の結果である。

図４は、アブレーション研究においても、全ての指標において検証対象モデルの精度は、MulTと、それよりも精度のより高いMAG-BERTよりもさらに向上したことを示す。図４は、７クラスAccuracyに関して、検証対象モデルの精度の向上を示す。このことは、個別モダリティに対するモダリティ活性化処理がSTMTの中で最も精度向上に寄与していることと、セマンティクスや潜在トピックに対するモダリティ活性化処理も個別モダリティへのモダリティ活性化処理に比べて小さいが精度向上に貢献していることと、を示す。なお、個別モダリティの定義は単語、音声、映像などの各種独立したモダリティ情報のことである。

図５は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えばセンチメント推定モデルの学習を行う。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えばセンチメント推定モデルの学習により生じた各種情報を記憶部１４に記録する。

入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。

入力部１２には、例えば、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと意味情報とが入力される。以下、解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと意味情報と、の組を解析対象データという。入力部１２には、例えば学習に用いられる正解データが入力される。正解データは具体的には、センチメントを示す情報である。

通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば解析対象データの送信元の装置である。通信部１３は、解析対象データの送信元の装置との通信によって解析対象データを取得する。外部装置は、例えば正解データ（すなわちセンチメントを示す情報）の送信元の装置である。通信部１３は、正解データの送信元の装置との通信によって正解データを取得する。外部装置は、例えば後述する推定装置２である。

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えばセンチメント推定モデルの学習により生じた各種情報を記憶する。記憶部１４は、予めセンチメント推定モデルを記憶する。なお数理モデルを記憶するとは数理モデルを記述するコンピュータプログラムを記憶することを意味する。記憶部１４は、得られた学習済みのセンチメント推定モデルを記憶してもよい。

出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えばセンチメント推定モデルの実行の結果を表示してもよい。

図６は、実施形態における学習装置１の備える制御部１１の構成の一例を示す図である。制御部１１は、データ取得部１１０、学習部１２０、記憶制御部１３０、通信制御部１４０及び出力制御部１５０を備える。

データ取得部１１０は、訓練データを取得する。すなわちデータ取得部１１０は、解析対象データと正解データとを取得する。

学習部１２０は、処理実行部１２１と更新部１２２とを備える。処理実行部１２１は、データ取得部１１０の得た解析対象データに対して、センチメント推定モデルを実行する。更新部１２２は、処理実行部１２１によるセンチメント推定モデルの実行の結果と正解データとに基づいて、センチメント推定モデルを更新する。更新部１２２は、学習終了条件が満たされたか否かの判定も行う。

このように学習部１２０は、データ取得部１１０の得た解析対象データと正解データとを用いて、学習終了条件が満たされるまでセンチメント推定モデルを更新する。すなわち、学習部１２０は、解析対象データと正解データとを用いて学習済みのセンチメント推定モデルを得る。学習済みのセンチメント推定モデルは、学習終了条件が満たされた時点のセンチメント推定モデルである。

記憶制御部１３０は、記憶部１４に各種情報を記録する。通信制御部１４０は通信部１３の動作を制御する。出力制御部１５０は、出力部１５の動作を制御する。

図７は、実施形態における学習装置１が実行する処理の流れの一例を示すフローチャートである。データ取得部１１０が解析対象データと正解データとを取得する（ステップＳ１０１）。次に、処理実行部１２１が、ステップＳ１０１で得られた解析対象データに対してセンチメント推定モデルを実行する（ステップＳ１０２）。センチメント推定モデルの実行により、解析対象の発話の発話中のセンチメントが推定される。

ステップＳ１０２の次に、更新部１２２がセンチメント推定モデルの実行の結果に基づき、センチメント推定モデルを更新する（ステップＳ１０３）。次に、更新部１２２が、学習終了条件が満たされたか否かを判定する（ステップＳ１０４）。学習終了条件が満たされた場合（ステップＳ１０４：ＹＥＳ）、処理が終了する。一方、学習終了条件が満たされない場合（ステップＳ１０４：ＮＯ）、ステップＳ１０１の処理に戻る。

学習終了条件が満たされた時点のセンチメント推定モデルが学習済みのセンチメント推定モデルであり、得られた学習済みのセンチメント推定モデルは、以下の図８に示す推定装置２によって推定対象のセンチメントの推定に用いられる。学習済みのセンチメント推定モデルは推定装置２が実行可能な状態になれば、どのような方法で推定装置２の制御化に置かれてもよい。学習済みのセンチメント推定モデルは、例えば学習終了条件が満たされた後に通信によって学習装置１から推定装置２に送信されることで、推定装置２による実行が可能になる。

図８は、実施形態における推定装置２のハードウェア構成の一例を示す図である。推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

制御部２１は、推定装置２が備える各種機能部の動作を制御する。制御部２１は、例えば学習済みの感情推定モデルを実行する。制御部２１は、例えば出力部２５の動作を制御する。制御部２１は、例えば学習済みのセンチメント推定モデルの実行により生じた各種情報を記憶部２４に記録する。

入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、推定装置２に対する各種情報の入力を受け付ける。

通信部２３は、推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば、推定対象データの送信元の装置である。推定対象データは、推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、の組である。通信部２３は、推定対象データの送信元の装置との通信によって、推定対象データを取得する。外部装置は、例えば学習装置１である。通信部２３は、学習装置１との通信により、学習済みのセンチメント推定モデルを取得する。なお、推定対象データは、必ずしも通信部２３に入力される必要は無く、入力部２２に入力されてもよい。

記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部２４は推定装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えば学習済みのセンチメント推定モデルの実行により生じた各種情報を記憶する。記憶部２４は、学習済みのセンチメント推定モデルを記憶する。

出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。出力部２５は、例えば学習済みのセンチメント推定モデルの実行結果を表示してもよい。

図９は、実施形態における推定装置２の備える制御部２１の構成の一例を示す図である。制御部２１は、対象取得部２１０、推定部２２０、記憶制御部２３０、通信制御部２４０及び出力制御部２５０を備える。対象取得部２１０は、入力部２２又は通信部２３に入力された推定対象データを取得する。

推定部２２０は、対象取得部２１０の取得した推定対象データに対して学習済みのセンチメント推定モデルを実行する。推定部２２０は、学習済みのセンチメント推定モデルの実行により、推定対象の発話の発話中のセンチメントが推定される。

記憶制御部２３０は、記憶部２４に各種情報を記録する。通信制御部２４０は通信部２３の動作を制御する。出力制御部２５０は、出力部２５の動作を制御する。

図１０は、実施形態における推定装置２が実行する処理の流れの一例を示すフローチャートである。対象取得部２１０が、入力部２２又は通信部２３に入力された推定対象データを取得する（ステップＳ２０１）。次に推定部２２０が、学習済みのセンチメント推定モデルを実行することで、推定対象の発話の発話中のセンチメントを推定する（ステップＳ２０２）。次に出力制御部２５０が出力部２５の動作を制御して、ステップＳ２０２で推定されたセンチメントを出力部２５に出力させる（ステップＳ２０３）。

このように構成された実施形態における学習装置１は、マルチモーダル統合処理を実行する。そのため、学習装置１は、センチメントの推定の精度を向上させることができる。

また、このように構成された実施形態における推定装置２は、学習装置１が得た学習済みのセンチメント推定モデルを用いて、推定対象の発話の発話中のセンチメントを推定する。したがって推定装置２は、センチメントの推定の精度を向上させることができる。

（変形例）
なお、学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、推定装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、推定装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

なお、学習装置１と、推定装置２と、の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

（付記１）
解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行部と、
前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新部と、
を備える学習装置。

（付記２）
前記第１副統合処理、前記第２副統合処理又は前記第３副統合処理は、Source-Target Attentionを用いて処理対象の間の関連性を示す系列を取得する、
付記１に記載の学習装置。

（付記３）
前記トピック推定処理は、変分オートエンコーダである、
付記１又は２に記載の学習装置。

（付記４）
前記処理実行部は、前記マルチモーダル統合処理を実行する層を中間層に含むＢＥＲＴ（Bidirectional Encoder Representations from Transformers）を実行する、
付記１から３のいずれか一つに記載の学習装置。

（付記５）
前記マルチモーダル統合処理では、前記言語モダリティ、前記音声モダリティ、前記映像モダリティと前記意味情報とのうちの１つである適用元モダリティと、前記言語モダリティ、前記音声モダリティ、前記映像モダリティと前記意味情報とのうちの他の１つである適用先モダリティとの連結が行われ、
適用元モダリティと適用先モダリティとは系列であり、適用元モダリティと適用先モダリティとの一方は位置埋め込みが実行済みであり、他方は位置埋め込みが実行されていない、
付記１から付記４のいずれか一つに記載の学習装置。

（付記６）
推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、を取得する対象取得部と、
解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行部と、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新部と、を備える学習装置によって所定の終了条件が満たされるまで更新された前記センチメント推定モデルを前記対象取得部の取得した前記言語モダリティ、前記音声モダリティ、前記映像モダリティ及び前記意味情報に対して実行する推定部と、
を備える推定装置。

（付記７）
解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行ステップと、
前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新ステップと、
を有する学習方法。

（付記８）
推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、を取得する対象取得ステップと、
解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との関連性を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の関連性を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との関連性を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行ステップと、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新ステップと、を有する学習方法によって所定の終了条件が満たされるまで更新された前記センチメント推定モデルを前記対象取得ステップの取得した前記言語モダリティ、前記音声モダリティ、前記映像モダリティ及び前記意味情報に対して実行する推定ステップと、
を有する推定方法。

（付記９）
請求項１から５のいずれか一つに記載の学習装置としてコンピュータを機能させるためのプログラム。

（付記１０）
付記６に記載の推定装置としてコンピュータを機能させるためのプログラム。

１００…推定システム、１…学習装置、 ２…推定装置、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １１０…データ取得部、 １２０…学習部、 １２１…処理実行部、 １２２…更新部、 １３０…記憶制御部、 １４０…通信制御部、 １５０…出力制御部、 ２１…制御部、 ２２…入力部、 ２３…通信部、 ２４…記憶部、 ２５…出力部、 ２１０…対象取得部、 ２２０…推定部、 ２３０…記憶制御部、 ２４０…通信制御部、 ２５０…出力制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

Claims (10)

1. 解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との間の照応関係を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の照応関係を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との間の照応関係を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行部と、
   前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新部と、
   を備える学習装置。
2. 前記第１副統合処理、前記第２副統合処理又は前記第３副統合処理は、Source-Target Attentionを用いて処理対象の間の照応関係を示す系列を取得する、
   請求項１に記載の学習装置。
3. 前記トピック推定処理は、変分オートエンコーダである、
   請求項１に記載の学習装置。
4. 前記処理実行部は、前記マルチモーダル統合処理を実行する層を中間層に含むＢＥＲＴ（Bidirectional Encoder Representations from Transformers）を実行する、
   請求項１に記載の学習装置。
5. 前記マルチモーダル統合処理では、前記言語モダリティ、前記音声モダリティ、前記映像モダリティと前記意味情報とのうちの１つである適用元モダリティと、前記言語モダリティ、前記音声モダリティ、前記映像モダリティと前記意味情報とのうちの他の１つである適用先モダリティとの連結が行われ、
   適用元モダリティと適用先モダリティとは系列であり、適用元モダリティと適用先モダリティとの一方は位置埋め込みが実行済みであり、他方は位置埋め込みが実行されていない、
   請求項１から４のいずれか一項に記載の学習装置。
6. 推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、を取得する対象取得部と、
   解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との照応関係を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の照応関係を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との照応関係を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行部と、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新部と、を備える学習装置によって所定の終了条件が満たされるまで更新された前記センチメント推定モデルを前記対象取得部の取得した前記言語モダリティ、前記音声モダリティ、前記映像モダリティ及び前記意味情報に対して実行する推定部と、
   を備える推定装置。
7. 解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との照応関係を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の照応関係を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との照応関係を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行ステップと、
   前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新ステップと、
   を有する学習方法。
8. 推定対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティと、意味情報と、を取得する対象取得ステップと、
   解析対象の発話の発話中に得られた言語モダリティ、音声モダリティ及び映像モダリティのうちの前記言語モダリティと意味情報との照応関係を示す系列を取得する第１副統合処理と、前記第１副統合処理の結果と前記音声モダリティと前記映像モダリティとの間の照応関係を示す系列を取得する第２副統合処理と、前記第２副統合処理の結果に基づき前記発話の内容のトピックを推定するトピック推定処理と、前記第２副統合処理の結果と前記トピック推定処理の結果との照応関係を示す系列を取得する第３副統合処理と、を含むマルチモーダル統合処理、を実行する数理モデルであって、前記マルチモーダル統合処理によって得られた情報に基づいて前記解析対象の発話の発話中のセンチメントを推定する数理モデルであるセンチメント推定モデルを実行する処理実行ステップと、前記センチメント推定モデルの実行の結果に基づき前記センチメント推定モデルの内容を更新する更新ステップと、を有する学習方法によって所定の終了条件が満たされるまで更新された前記センチメント推定モデルを前記対象取得ステップの取得した前記言語モダリティ、前記音声モダリティ、前記映像モダリティ及び前記意味情報に対して実行する推定ステップと、
   を有する推定方法。
9. 請求項１に記載の学習装置としてコンピュータを機能させるためのプログラム。
10. 請求項６に記載の推定装置としてコンピュータを機能させるためのプログラム。

Images