WO2025257909A1 - 会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム - Google Patents

会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム

Info

Publication number
WO2025257909A1
WO2025257909A1 PCT/JP2024/021105 JP2024021105W WO2025257909A1 WO 2025257909 A1 WO2025257909 A1 WO 2025257909A1 JP 2024021105 W JP2024021105 W JP 2024021105W WO 2025257909 A1 WO2025257909 A1 WO 2025257909A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
speaker
conversation
conversation information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/021105
Other languages
English (en)
French (fr)
Inventor
啓太 鈴木
伸克 北条
一聡 篠田
沙希 水野
亮 増村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2024/021105 priority Critical patent/WO2025257909A1/ja
Publication of WO2025257909A1 publication Critical patent/WO2025257909A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present invention relates to a conversation information estimation learning device, a conversation information estimation device, a conversation information estimation learning method, a conversation information estimation method, and a program.
  • conversation information Traditionally, data such as video of a conversation is input into a machine learning model to estimate conversation information to support communication. Examples of conversation information include the engagement and rapport of the people being talked to.
  • Non-Patent Documents 1 and 2 Since interaction between participants is also important in this task, conversation information is estimated using information from multiple people (video, etc.) (Non-Patent Documents 1 and 2).
  • the present invention was made in consideration of the above points, and aims to improve the accuracy of estimating conversation information.
  • the conversation information estimation learning device has a machine learning model including: a feature extraction unit configured to extract features from each of the conversation data for each speaker in a certain conversation; a time series processing unit including multiple layers that, for each of the features for each speaker, combine a first parameter common to multiple speakers and perform conversion processing based on a second parameter, and that is configured to set the combined value of the conversion results for each speaker regarding the first parameter by the (k-1)th layer as the first parameter in the kth layer; and a classification unit configured to estimate conversation information about the speaker by performing classification processing based on a third parameter on the output for each speaker from the time series processing unit; and a learning unit configured to learn the first parameter, the second parameter, and the third parameter so that the conversation information output when conversation data for each speaker included in training data is input approaches the conversation information that is the correct answer for the conversation data.
  • a feature extraction unit configured to extract features from each of the conversation data for each speaker in a certain conversation
  • a time series processing unit including multiple layers that, for each of the features for each speaker,
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of a conversation information estimation device 10 according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the conversation information estimation device 10 during learning according to the first embodiment.
  • FIG. 2 is a diagram for explaining a conversation information estimation model 11 according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a functional configuration of the conversation information estimation device 10 at the time of inference according to the first embodiment.
  • FIG. 11 is a diagram for explaining a conversation information estimation model 11 according to the second embodiment.
  • the interaction between participants (speakers) in a conversation is modeled using a small number of global tokens.
  • Similar modeling is known to be able to effectively represent interactions between modalities in multimodal emotion recognition (References 1 and 2).
  • FIG. 1 is a diagram showing an example of the hardware configuration of a conversation information estimation device 10 in an embodiment of the present invention.
  • the conversation information estimation device 10 in Figure 1 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a processor 104, and an interface device 105, all of which are interconnected via a bus B.
  • the program that realizes the processing in the conversation information estimation device 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed from the recording medium 101 to the auxiliary storage device 102 via the drive device 100.
  • the program does not necessarily have to be installed from the recording medium 101; it may be downloaded from another computer via a network.
  • the auxiliary storage device 102 stores the installed program as well as necessary files, data, etc.
  • the memory device 103 When an instruction to start a program is received, the memory device 103 reads the program from the auxiliary storage device 102 and stores it.
  • the processor 104 is a CPU or a GPU (Graphics Processing Unit), or a CPU and a GPU, and executes functions related to the conversation information estimation device 10 in accordance with the program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • FIG. 2 is a diagram showing an example of the functional configuration of the conversation information estimation device 10 during learning in the first embodiment.
  • the conversation information estimation device 10 has a conversation information estimation model 11 and a learning unit 12. These are realized by processing in which one or more programs installed in the conversation information estimation device 10 are executed by the processor 104.
  • the conversation information estimation device 10 also uses a learning data storage unit 13.
  • the learning data storage unit 13 can be realized using, for example, an auxiliary storage device 102 or a storage device connectable to the conversation information estimation device 10 via a network.
  • the conversation information estimation model 11 is a machine learning model (e.g., a neural network) that receives data such as video data from a conversation (hereinafter referred to as "conversation data") and outputs conversation information (an estimated value of the conversation information).
  • the conversation information estimation model 11 estimates conversation information of a certain speaker n * ⁇ 1,...,N at a given time t from conversation data of each speaker in a certain conversation between N people.
  • the learning unit 12 learns the conversation information estimation model 11.
  • Learning the conversation information estimation model 11 means optimizing the learning parameters (hereinafter simply referred to as "parameters") of the conversation information estimation model 11.
  • the learning data storage unit 13 stores a collection of learning data.
  • Each piece of learning data includes conversation data and a label of the conversation information that is the correct answer for that conversation data.
  • the conversation data included in the training data is a video clip of the same time interval [t-D, t], i.e., D seconds in length, for each of the N people who participated in a conversation.
  • time t will be omitted, and the video at time t included in the video clip of speaker n will be denoted as Xn .
  • the conversation information label of speaker n will be denoted as ln * .
  • the problem is defined as a four-class classification problem where l n ⁇ ⁇ 0, 1, 2, 3 ⁇ of engagement.
  • the conversation data X is assumed to be ⁇ X 1 , X 2 , ..., X N ⁇ .
  • each X n is a video of speaker n captured in the same time period during the same conversation.
  • f is the conversation information estimation model 11 and ⁇ is a set of learning parameters of the conversation information estimation model 11.
  • the conversation information estimation model 11 includes a feature extraction unit 111, a connection unit 112, a time series processing unit 113, and a classification unit 114. The processing performed by each of these units is described below.
  • FIG. 3 is a diagram illustrating the conversation information estimation model 11 in the first embodiment.
  • the first embodiment a case where common interactions between speakers are modeled using a global token is described.
  • VideoEncoder(•) is a projection function (video encoder) from video data to feature data, and ⁇ v is a learning parameter of the feature extraction unit 111 .
  • B is the length of the global token.
  • ⁇ g is a learning parameter (vector to be learned). In other words, the learning parameter ⁇ g itself is a global token. Note that the concatenation of the global token ⁇ g is performed for each layer of the Transformer encoder block serving as the time series processing unit 113 described below. This is because the global token ⁇ g is different for each layer.
  • TransformerEnc( ⁇ ) is a Transformer encoder block.
  • the time series transformation unit includes Transformer encoder blocks of multiple layers (K layers).
  • the above equation indicates the transformation process executed in the kth layer (hereinafter referred to as "layer k"), and this transformation process is repeated K times.
  • ⁇ MPBT k-1 indicates the learning parameters (global tokens) applied to U n k-1 and G n k-1 (i.e., the learning parameters of layer k).
  • K is preferably 2 or greater.
  • b] means the concatenation of vector a and vector b.
  • a common G k-1 is concatenated with U n k-1 of each speaker n and input to layer k.
  • the output from layer k is the concatenation of U n k , which is the transformation result of U n k-1
  • G n k which is the transformation result of G n k-1 .
  • this sum is connected to each U n k and input.
  • the time series processing unit 113 in the first embodiment includes multiple layers that combine each feature for each speaker with a global token common to all speakers and perform conversion processing based on ⁇ MPBT k , and the global token in the k-th layer is the sum of the conversion results for each speaker regarding the global token by the k-1th layer for all speakers.
  • the time series processing unit 113 receives the time series X n at each time t within D seconds as input, and performs conversion processing by referring to all of the input time series X n . Therefore, the conversion processing by the time series processing unit 113 is time series processing.
  • the classification unit 114 consists of an AP (Attentive Pooling) layer, an FC (Fully-Connected) layer, and a Softmax function, and takes U n for each speaker n at each time as input, performs the following classification process, pools the output of the final layer, and outputs the posterior probability of label l n* for each time t.
  • Softmax( ⁇ ) is the Softmax function.
  • ⁇ AP is a learning parameter of the AP layer.
  • ⁇ FC is a learning parameter of the FC layer. Note that in the AP layer, not only U n at time t but also U n before time t is used.
  • the parameter ⁇ v of the feature extraction unit 111 is pre-trained and is not updated during training.
  • [At the time of inference] 4 is a diagram showing an example of the functional configuration of the conversation information estimation device 10 at the time of inference in the first embodiment.
  • the same components as those in FIG. 2 are denoted by the same reference numerals.
  • the conversation information estimation device 10 has a trained conversation information estimation model 11.
  • each X' n is a video of speaker n captured in the same time period during the same conversation.
  • the feature extraction unit 111 extracts a feature from each X n based on the parameter ⁇ v .
  • the time series processing unit 113 receives the output from the feature extraction unit 111 as an initial value, and performs time series processing (conversion processing) similar to that during learning using ⁇ g and ⁇ MPBT k . At this time, ⁇ g is used as a global token.
  • the classification unit 114 performs classification processing on the output from the time series processing unit 113 based on the parameters ⁇ AP and FC , and outputs an estimate (posterior probability) of the conversation information.
  • the processing content of the connection unit 112 and the time series processing unit 113 differs from that of the first embodiment. Specifically, it differs from the first embodiment in that a global token is generated for each pair of speakers (pair-wise global token).
  • Figure 5 is a diagram illustrating the conversation information estimation model 11 in the second embodiment.
  • This global token is generated for each pair of speaker n and a speaker m other than speaker n.
  • the concatenation unit 112 concatenates the global tokens for each pair of speakers in the time axis direction (preparing an array for storing B ⁇ g ).
  • the concatenation result is used as input to the time series processing unit 113 (Transformer encoder), where B is the length of the global token.
  • the + symbol in a circle (hereafter referred to as "(+)" is the vector connection symbol.
  • the output G n ⁇ m k represents a variable that indicates the dependency from speaker n to m.
  • the output G n ⁇ m k and the output G m ⁇ n k are the same. Therefore, (+)G n ⁇ m k-1 means the concatenation result of G n ⁇ m k-1 and G m ⁇ n k-1 .
  • each global token is updated by bidirectionally adding variables that represent speaker dependencies.
  • the time series processing unit 113 adds and updates the outputs of the related speakers for each global token. Therefore, in effect, a global token in the second embodiment is generated for each speaker combination for each layer k.
  • the time series processing unit 113 in the second embodiment includes multiple layers that combine a global token common to each pair of two speakers with each feature for each speaker and perform conversion processing based on ⁇ MPBT k , and the global token in the k-th layer is the sum of the conversion results for each speaker for the global token by the k-1th layer for each pair of speakers.
  • interactions between speakers in a conversation are modeled using a small number of global tokens.
  • By sharing global tokens between speakers and limiting and condensing the information referenced by the attention mechanism interactions can be handled efficiently. Therefore, overlearning can be suppressed when estimating conversational information from conversational data. As a result, the accuracy of estimating conversational information can be improved.
  • the accuracy of estimating conversational information has also been confirmed through experiments by the inventors of this application.
  • the conversation information estimation device 10 during learning is an example of a conversation information estimation learning device.
  • ⁇ g is an example of a first parameter.
  • ⁇ MPBT k is an example of a second parameter.
  • ⁇ AP and ⁇ FC are examples of first parameters.
  • Conversation information estimation device 11 Conversation information estimation model 12 Learning unit 13 Learning data storage unit 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 Processor 105 Interface device 111 Feature extraction unit 112 Linking unit 113 Time series processing unit 114 Classification unit B Bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

或る会話における話者ごとの会話データのそれぞれから特徴量を抽出する特徴量抽出部と、前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとする時系列処理部と、前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定する分類部と、を含む機械学習モデルが、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータを学習することで、会話情報の推定精度を向上させる。

Description

会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム
　本発明は、会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラムに関する。
　従来、会話時における映像等のデータを機械学習モデルに入力して、コミュニケーションを支援するための会話情報を推定するタスクが行われている。会話情報の一例としては、会話の対象人物のエンゲージメント、ラポール等が挙げられる。
　このタスクは参加者間の相互作用も重要であるため、複数人の情報（映像等）を用いて会話情報の推定が行われている（非特許文献１、２）。
D. W. Lee, Y. Kim, R. W. Picard, C. Breazeal, and H. W. Park、"Multipar-T: Multiparty-Transformer for Capturing Contingent Behaviors in Group Conversations"、in Proceedings of the International Joint Conference on Artificial Intelligence, 2023, pp.3893-3901 Y. Kim, D. W. Lee, P. P. Liang, S. Alghowinem, C. Breazeal, and H. W. Park、"HIINT: Historical, Intra-and Inter-personal Dynamics Modeling with Cross-person Memory Transformer"、in Proceedings of the International Conference on Multimodal Interaction, 2023, pp. 314-325
　従来のTransformerベースの手法はcross-attentionにより相互作用をモデル化する。しかし、映像等の情報はタイムステップ間の冗長性が高い。このため、異なるモダリティの全てのタイムステップの組み合わせに対しアテンションを許容する従来技術は過度に複雑であり、過学習を招く問題がある。
　参加者間での会話情報のモデル化でも同様に、全てのタイムステップ間の情報の冗長性が過学習を引き起こしてしまうと考えられる。
　過学習は推定精度の低下を招く。
　本発明は、上記の点に鑑みてなされたものであって、会話情報の推定精度を向上させることを目的とする。
　そこで上記課題を解決するため、会話情報推定学習装置は、或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、を含む機械学習モデルが、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータを学習するように構成されている学習部、を有する。
　会話データからの会話情報の推定に関して過学習を抑制することができる。
本発明の実施の形態における会話情報推定装置１０のハードウェア構成例を示す図である。 第１の実施の形態における学習時の会話情報推定装置１０の機能構成例を示す図である。 第１の実施の形態における会話情報推定モデル１１を説明するための図である。 第１の実施の形態における推論時の会話情報推定装置１０の機能構成例を示す図である。 第２の実施の形態における会話情報推定モデル１１を説明するための図である。
　本実施の形態では、映像等の情報に基づいて対象人物のエンゲージメント、ラポール等の会話情報を推定するタスクに関して、会話の参加者間（話者）の相互作用を少数のグローバルトークンによりモデル化する。グローバルトークンを話者間で共有し、Ａｔｔｅｎｔｉｏｎ機構の参照する情報を制限し、凝縮することにより、相互作用を効率的にとれるようにする。同様のモデル化はマルチモーダル感情認識においてモダリティ間の相互作用を効果的に表現可能であることが知られている（参考文献１、２）。
　モーダル間でのグローバルトークンの導入は個人での感情認識で提案されているアプローチではあるが、複数人の話者間での会話情報の予測では提案されていない（参考文献１，２）。
　以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における会話情報推定装置１０のハードウェア構成例を示す図である。図１の会話情報推定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、プロセッサ１０４、及びインタフェース装置１０５等を有する。
　会話情報推定装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。プロセッサ１０４は、ＣＰＵ若しくはＧＰＵ（Graphics Processing Unit）、又はＣＰＵ及びＧＰＵであり、メモリ装置１０３に格納されたプログラムに従って会話情報推定装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　図２は、第１の実施の形態における学習時の会話情報推定装置１０の機能構成例を示す図である。学習時において、会話情報推定装置１０は、会話情報推定モデル１１及び学習部１２を有する。これらは、会話情報推定装置１０にインストールされた１以上のプログラムが、プロセッサ１０４に実行させる処理により実現される。会話情報推定装置１０は、また、学習データ記憶部１３を利用する。学習データ記憶部１３は、例えば、補助記憶装置１０２、又は会話情報推定装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
　会話情報推定モデル１１は、会話時における映像等のデータ（以下、「会話データ」という。）を入力とし、会話情報（の推定値）を出力する機械学習モデル（例えば、ニューラルネットワーク）である。本実施の形態において、会話情報推定モデル１１は、Ｎ名による或る会話のそれぞれの話者の会話データから、与えられた時刻ｔにおける或る話者ｎ＊∈１，・・・，Ｎの会話情報を推定する。
　学習部１２は、会話情報推定モデル１１の学習を行う。会話情報推定モデル１１の学習とは、会話情報推定モデル１１の学習パラメータ（以下、単に「パラメータ」という。）を最適化することをいう。
　学習データ記憶部１３は、学習データの集合を記憶する。１つの学習データは、会話データと、当該会話データに対する正解としての会話情報のラベルとを含む。
　本実施の形態では、映像情報を会話データとして使用する例について説明するが、音声情報等が会話データとして利用される場合であっても同様に適用可能である。
　学習データに含まれる会話データとしては、或る会話に参加したＮ名のそれぞれについて、同じ時間区間［ｔ－Ｄ，ｔ］、つまりＤ秒の長さの動画クリップが与えられる。以下では，時刻ｔを省略し，話者ｎの動画クリップに含まれる各時刻ｔの映像をＸｎとする。また、話者ｎの会話情報ラベルをｌｎ＊とする。
　本実施の形態では，一例として、エンゲージメントのｌｎ∈｛０，１，２，３｝の４クラス分類問題として定義する。また、会話データＸ＝｛Ｘ１，Ｘ２，…，ＸＮ｝とする。ここで、各Ｘｎは、同じ会話における同じ時間区間において話者ｎを撮影した映像である。
　この場合、会話情報推定問題は、以下のように表される。
ただし、ｆは会話情報推定モデル１１であり、Θは会話情報推定モデル１１の学習パラメータの集合である。
　図１において、会話情報推定モデル１１は、特徴量抽出部１１１、連結部１１２、時系列処理部１１３及び分類部１１４を含む。以下、これら各部が実行する処理について説明する。
　図３は、第１の実施の形態における会話情報推定モデル１１を説明するための図である。第１の実施の形態では、話者の共通の相互作用をグローバルトークン（Global token）によりモデル化する場合について説明する。
　［特徴量抽出部１１１］
　特徴量抽出部１１１は、映像エンコーダを用いて，各話者ｎ＝１，・・・，Ｎについて、入力情報として各時刻ｔの映像Ｘｎからそれぞれの特徴量を抽出する。
　VideoEncoder（・）は、映像データから特徴量データへの射影関数（映像エンコーダ）であり、θｖは特徴量抽出部１１１の学習パラメータである。
　ここで、Ｚｎ ｖ∈Ｒ＾（Ｄ×Ｔ）とした。但し、Ｄを特徴量次元、ＴをＸｎの時間長さとする。
　［連結部１１２］
　連結部１１２は、時系列処理部１１３としてのTransformerエンコーダの入力層が使用するグローバルトークンをＧ（０）＝θｇ∈ＲＤ×Ｂとし、時間軸方向に連結（θｇをＢ個格納するための配列を用意）する。Ｂはグローバルトークンの長さである。θｇは、学習パラメータ（学習されるベクトル）である。すなわち、学習パラメータθｇそのものが、グローバルトークンである。なお、グローバルトークンθｇの連結は、後述の時系列処理部１１３としてのTransformerエンコーダブロックの層ごとに実行される。グローバルトークンθｇは、当該層ごとに異なるからである。
　［時系列処理部１１３］
　時系列処理部１１３は、各時刻ｔのＵｎ ０＝Ｚｎ ｖとして初期化し、Ｕｎについて以下の時系列処理（変換処理）を実行する。
　ここで、TransformerEnc（・）はTransformerエンコーダブロックである。時系列変換部は、複数の層（Ｋ層）のTransformerエンコーダブロックを含む。上記の式は、ｋ番目の層（以下、「層ｋ」という。）において実行される変換処理を示し、当該変換処理をＫ回繰り返す。θＭＰＢＴ ｋ－１は、Ｕｎ ｋ－１及びＧｎ ｋ－１に対して適用される学習パラメータ（グローバルトークン）（すなわち、層ｋの学習パラメータ）を示す。なお、Ｋは２以上であるのが望ましい。
　［ａ｜｜ｂ］は、ベクトルａとベクトルｂとの連結を意味する。図３からも明らかなように、第１の実施の形態では、各話者ｎのＵｎ ｋ－１に対して、共通のＧｋ－１が連結されて層ｋに入力される。また、層ｋからの出力は、Ｕｎ ｋ－１の変換結果であるＵｎ ｋと、Ｇｎ ｋ－１の変換結果であるＧｎ ｋとを連結したものである。
　各話者ｎについて層ｋから出力されるＧｎ ｋは、以下のように合わせられる（合計される）。
　層ｋ＋１ではこの総和が各Ｕｎ ｋに連結されて入力される。
　このように、第１の実施の形態における時系列処理部１１３は、話者ごとの特徴量のそれぞれに全員の話者に対して共通のグローバルトークンを結合してθＭＰＢＴ ｋに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層によるグルーバルトークンに関する話者ごとの変換結果を全ての話者について合わせた値をｋ番目の層におけるグローバルトークンとする。
　なお、時系列処理部１１３（TransformerEnc（・））は、Ｄ秒間の各時刻ｔの時系列のＸｎを入力とし、入力した時系列のＸｎの全てを参照して変換処理を実行する。したがって、時系列処理部１１３による変換処理は、時系列処理となる。
　［分類部１１４］
　分類部１１４は、ＡＰ（Attentive poolin）層、ＦＣ（Fully-Connected）層及びＳｏｆｔｍａｘ関数からなり、各話者ｎについて時刻ごとのＵｎを入力とし、以下の分類処理を実行することで、最終層の出力にＰｏｏｌｉｎｇを行い、ラベルｌｎ＊の事後確率を時刻ｔごとに出力する。
　Ｓｏｆｔｍａｘ（・）はＳｏｆｔｍａｘ関数である。θＡＰは、ＡＰ層の学習パラメータである。θＦＣは、ＦＣ層の学習パラメータである。なお、ＡＰ層では、時刻ｔのＵｎだけでなく、時刻ｔより前のＵｎも使用される。
　［学習部１２］
　学習部１２は、分類部１１４から出力である事後確率について、各Ｘｎに対応する正解のラベルｌｎと用いて、以下のクロスエントロピー損失Ｌを算出し、Ｌを最小化することにより学習パラメータΘ＝｛θｇ，θＭＰＢＴ ｋ，θＡＰ，θＦＣ｝を学習する。すなわち、学習部１２は、Ｘｎを入力した場合の会話情報推定モデル１１からの出力が、Ｘｎに対する会話情報の正解としてのｌｎに近付くようにΘ＝｛θｇ，θＭＰＢＴ ｋ，θＡＰ，θＦＣ｝を学習する。
　なお、特徴量抽出部１１１のパラメータθｖは事前学習され、学習中には更新されない。
　［推論時］
　図４は、第１の実施の形態における推論時の会話情報推定装置１０の機能構成例を示す図である。図４中、図２と同一部分には同一符号を付している。
　図４が示すように、推論時において会話情報推定装置１０は学習済みの会話情報推定モデル１１を有する。
　推論時において、会話情報推定モデル１１には、会話データＸ'＝｛Ｘ'１，Ｘ'２，…，Ｘ'Ｎ｝が入力される。ここで、各Ｘ'ｎは、同じ会話における同じ時間区間において話者ｎを撮影した映像である。
　特徴量抽出部１１１は、パラメータθｖに基づいて各Ｘｎから特徴量を抽出する。
　時系列処理部１１３は、特徴量抽出部１１１からの出力を初期値として入力し、θｇ及びθＭＰＢＴ ｋを用いて学習時と同様の時系列処理（変換処理）を実行する。この際にθｇは、グローバルトークンとして用いられる。
　分類部１１４は、時系列処理部１１３からの出力に対して、パラメータθＡＰ及びＦＣに基づく分類処理により、会話情報の推定値（事後確率）を出力する。
　次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
　第２の実施の形態では、連結部１１２及び時系列処理部１１３の処理内容が第１の実施の形態と異なる。具体的には、グローバルトークンが話者の組み合わせごとに生成される点（Pair-wise global token）が第１の実施の形態と異なる。
　図５は、第２の実施の形態における会話情報推定モデル１１を説明するための図である。
　［連結部１１２］
　話者のインデックス集合をＩ＝｛１，２，・・・，Ｎ｝、話者ｍ，ｎの間の相互作用を表すグローバルトークンを以下とする。
　このグローバルトークンは、各話者ｎについて話者ｎ以外の話者ｍとの二人の組（ペア）ごとに生成される。連結部１１２は、これら話者の組ごとのグローバルトークンを時間軸方向に連結（θｇをＢ個格納するための配列を用意）する。連結結果が時系列処理部１１３（Transformerエンコーダ）への入力に使用される。Ｂはグローバルトークンの長さである。
　［時系列処理部１１３］
　時系列処理部１１３は、各時刻ｔのＵｎ ０＝Ｚｎ ｖとして初期化し、Ｕｎについて以下の時系列処理（変換処理）を実行する。
　○の中に＋の記号（以下、本文中では「（＋）」によって表現する。）はベクトルの連結記号である。
　出力Ｇｎ←→ｍ ｋは、話者ｎからｍへの依存関係を表す変数を表す。但し、出力Ｇｎ←→ｍ ｋと出力Ｇｍ←→ｎ ｋとは同一である。したがって、（＋）Ｇｎ←→ｍ ｋ－１は、Ｇｎ←→ｍ ｋ－１とＧｍ←→ｎ ｋ－１との連結結果を意味する。
　また、各グローバルトークンは、話者の依存関係を表す変数を双方向に加算することで更新される。
　時系列処理部１１３は、各グローバルトークンについて、関連する話者の出力を加算し、更新する。したがって、実質的に、第２の実施の形態におけるグルーバルトークンは、各層ｋについて、話者の組み合わせごとに生成される。
　このように、第２の実施の形態における時系列処理部１１３は、話者ごとの特徴量のそれぞれに二人の話者の組ごとに共通のグローバルトークンを結合してθＭＰＢＴ ｋに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層によるグルーバルトークンに関する話者ごとの変換結果を二人の話者ごとに合わせた値をｋ番目の層におけるグローバルトークンとする。
　上述したように、上記各実施の形態によれば、会話の話者間の相互作用を少数のグローバルトークンによりモデル化する。グローバルトークンを話者間で共有し、Attention機構の参照する情報を制限し、凝縮することにより、相互作用を効率的にとれるようにすることができる。したがって、会話データからの会話情報の推定に関して過学習を抑制することができる。その結果、会話情報の推定精度を向上させることができる。なお、会話情報の推定精度については本願発明者による実験によっても確認されている。
　［参考文献］
　［参考文献１］A. Nagrani, S. Yang, A. Arnab, A. Jansen, C. Schmid, and C. Sun、"Attention Bottlenecks for Multimodal Fusion"、in Proceedings of the International Conference on Neural Information Processing Systems, 2021, pp. 14200-14213
　［参考文献２］L. Sun, Z. Lian, B. Liu, and J. Tao、"Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis,"、IEEE Transactions on Affective Computing, 2023.
　なお、本実施の形態において、学習時の会話情報推定装置１０は、会話情報推定学習装置の一例である。θｇは第１のパラメータの一例である。θＭＰＢＴ ｋは第２のパラメータの一例である。θＡＰ及びθＦＣは第１のパラメータの一例である。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　会話情報推定装置
１１　　　　　会話情報推定モデル
１２　　　　　学習部
１３　　　　　学習データ記憶部
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　プロセッサ
１０５　　　　インタフェース装置
１１１　　　　特徴量抽出部
１１２　　　　連結部
１１３　　　　時系列処理部
１１４　　　　分類部
Ｂ　　　　　　バス

Claims (8)

  1. 　或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、
    　前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、
    　前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、
    を含む機械学習モデルが、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータを学習するように構成されている学習部、
    を有することを特徴とする会話情報推定学習装置。
  2. 　前記第１のパラメータは、全ての前記話者に対して共通である、
    ことを特徴とする、
    請求項１記載の学習装置。
  3. 　前記第１のパラメータは、二人の前記話者の組ごとに共通である、
    ことを特徴とする請求項１記載の会話情報推定学習装置。
  4. 　或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、
    　前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、
    　前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、
    を含む機械学習モデルであって、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータが学習された前記機械学習モデルを用いて、入力された話者ごとの会話データに基づいて当該話者についての会話情報を推定する、
    ことを特徴とする会話情報推定装置。
  5. 　或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、
    　前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、
    　前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、
    を含む機械学習モデルが、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータを学習する学習手順、
    をコンピュータが実行することを特徴とする会話情報推定学習方法。
  6. 　或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、
    　前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、
    　前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、
    を含む機械学習モデルであって、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータが学習された前記機械学習モデルを用いて、入力された話者ごとの会話データに基づいて当該話者についての会話情報を推定する推定手順、
    をコンピュータが実行ことを特徴とする会話情報推定装置。
  7. 　或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、
    　前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、
    　前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、
    を含む機械学習モデルが、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータを学習する学習手順、
    をコンピュータに実行させるためのプログラム。
  8. 　或る会話における話者ごとの会話データのそれぞれから特徴量を抽出するように構成されている特徴量抽出部と、
    　前記話者ごとの特徴量のそれぞれについて、複数の話者に対して共通の第１のパラメータを結合して第２のパラメータに基づく変換処理を実行する複数の層を含み、ｋ－１番目の層による前記第１のパラメータに関する前記話者ごとの変換結果を合わせた値をｋ番目の層における前記第１のパラメータとするように構成されている時系列処理部と、
    　前記時系列処理部からの前記話者ごとの出力に対して、第３のパラメータに基づく分類処理により前記話者についての会話情報を推定するように構成されている分類部と、
    を含む機械学習モデルであって、学習データが含む話者ごとの会話データを入力した場合に出力する会話情報が当該会話データに対する正解としての会話情報に近付くように前記第１のパラメータ、前記第２のパラメータ及び前記第３のパラメータが学習された前記機械学習モデルを用いて、入力された話者ごとの会話データに基づいて当該話者についての会話情報を推定する推定手順、
    をコンピュータに実行させるためのプログラム。
PCT/JP2024/021105 2024-06-10 2024-06-10 会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム Pending WO2025257909A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/021105 WO2025257909A1 (ja) 2024-06-10 2024-06-10 会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/021105 WO2025257909A1 (ja) 2024-06-10 2024-06-10 会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2025257909A1 true WO2025257909A1 (ja) 2025-12-18

Family

ID=98050656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/021105 Pending WO2025257909A1 (ja) 2024-06-10 2024-06-10 会話情報推定学習装置、会話情報推定装置、会話情報推定学習方法、会話情報推定方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2025257909A1 (ja)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEE DONG WON, YUBIN KIM , ROSALIND PICARD , CYNTHIA BREAZEAL , HAE WON PARK: "Multipar-T: Multiparty-Transformer for Capturing Contingent Behaviors in Group Conversations", ARXIV:2304.12204V1, 19 April 2023 (2023-04-19), XP093382181, Retrieved from the Internet <URL:https://arxiv.org/pdf/2304.12204> DOI: 10.48550/arXiv.2304.12204 *
NAGRANI ARSHA, SHAN YANG ,ANURAG ARNAB, AREN JANSEN, CORDELIA SCHMID ,CHEN SUN: "Attention Bottlenecks for Multimodal Fusion", ARXIV:2107.00135V3, 30 November 2022 (2022-11-30), XP093382193, Retrieved from the Internet <URL:https://arxiv.org/pdf/2107.00135> DOI: 10.48550/arXiv.2107.00135 *
林貴斗 ほか, 過去の会話で形成されたラポールに基づく会話相手のランキング, ２０２３年度人工知能学会全国大会（第３７回）, 2023, pp. 1-4, (HAYASHI, Takato et al., Ranking Conversation Partner based on Rapport Built in Past Conversation, The 2023 Annual Conference of the Japanese Society for Artificial Intelligence (37th)) *

Similar Documents

Publication Publication Date Title
Min et al. Learning long-term spatial-temporal graphs for active speaker detection
CN109543838B (zh) 一种基于变分自编码器的图像增量学习方法
Bayer et al. Learning stochastic recurrent networks
CN109003678B (zh) 一种仿真文本病历的生成方法及系统
JP6922284B2 (ja) 情報処理装置及びプログラム
Chen et al. Delving deeper into the decoder for video captioning
CN113159840B (zh) 一种对象类型预测方法、装置和存储介质
CN114090401B (zh) 处理用户行为序列的方法及装置
CN120032021B (zh) 一种基于多模态条件适配的图片编辑方法及系统
CN115795406A (zh) 一种可逆的人脸匿名化处理系统
CN120449892B (zh) 基于联邦多模态全局扩散模型的情绪识别方法、系统、终端及存储介质
Lison Model-based bayesian reinforcement learning for dialogue management
Chen et al. Mitigating gradient conflicts via expert squads in multi-task learning
CN111325068A (zh) 基于卷积神经网络的视频描述方法及装置
CN117787386A (zh) 面向混合隐私数据的端边云协同训练与任务推理方法
Wang et al. Learning diffusion models with flexible representation guidance
CN114332561A (zh) 超分辨率模型的训练方法、装置、设备及介质
WO2022030179A1 (ja) 周期画像復元装置及び方法、識別装置及び方法、検証装置及び方法、特徴抽出装置、訓練方法、位相推定装置、並びに記憶媒体
Mavridis et al. FaceBots: Steps towards enhanced long-term human-robot interaction by utilizing and publishing online social information
CN118035406B (zh) 人机交互及其模型训练方法、及电子设备
CN117078811A (zh) 模型训练方法、图像生成方法、动画生成方法及系统
CN115019366B (zh) 一种基于神经过程的自动微表情分类模型训练方法
CN118093777A (zh) 一种基于可控模式生成的高效事件抽取方法
Khule et al. Pfa-erc: Psuedo-future augmented dynamic emotion recognition in conversations
Hallyal et al. Optimized recognition of CAPTCHA through attention models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24943390

Country of ref document: EP

Kind code of ref document: A1