JP7445933B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP7445933B2
JP7445933B2 JP2022090334A JP2022090334A JP7445933B2 JP 7445933 B2 JP7445933 B2 JP 7445933B2 JP 2022090334 A JP2022090334 A JP 2022090334A JP 2022090334 A JP2022090334 A JP 2022090334A JP 7445933 B2 JP7445933 B2 JP 7445933B2
Authority
JP
Japan
Prior art keywords
information
emotion
user
motion
emotional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022090334A
Other languages
English (en)
Other versions
JP2023177594A (ja
Inventor
秀明 岡本
裕真 鈴木
隆之 堀
麟太郎 金田
努 寺田
修平 土田
コウミン モウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe University NUC
SoftBank Corp
Original Assignee
Kobe University NUC
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe University NUC, SoftBank Corp filed Critical Kobe University NUC
Priority to JP2022090334A priority Critical patent/JP7445933B2/ja
Publication of JP2023177594A publication Critical patent/JP2023177594A/ja
Application granted granted Critical
Publication of JP7445933B2 publication Critical patent/JP7445933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
近年、利用者の計測情報に基づいて利用者の感情を推定する技術が知られている。さらに、利用者に対して、推定された感情に応じたサービスを提供する技術が知られている。例えば、利用者の計測情報から抽出される利用者の特徴量に基づき、利用者の感情を推定する。続いて、推定した第１の利用者の感情と第２の利用者の感情とを比較し、第１の利用者の感情と第２の利用者の感情との共通性を判定する。そして、共通性が認められる場合、第１の利用者の感情の発生源が第１の利用者または第２の利用者であるかを推定する技術が知られている。
特開２０２０－１３０５２８号公報
しかしながら、上記の従来技術では、第１の利用者の感情と第２の利用者の感情との共通性が認められる場合、第１の利用者の感情の発生源が第１の利用者または第２の利用者であるかを推定するにすぎないため、利用者が自身の感情を表現することを可能とすることができるとは限らない。
本願は、利用者が自身の感情を表現することを可能とすることができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。
本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、を備える。
本願に係る情報処理装置は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、を備える。
前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部をさらに備え、前記生成部は、前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する。
前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む。
前記感情情報は、前記生体情報から前記感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である。
前記感情情報は、覚醒度を示す値と感情価を示す値の組である。
前記生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である。
前記運動情報は、前記身体の動きを示す映像である。
前記運動情報は、前記身体の動きを複数の方向から撮影した映像である。
前記身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である。
本願に係る情報処理方法は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、を含む。
本願に係る情報処理方法は、情報処理装置が実行するプログラムにより実現される情報処理方法であって、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、を含む。
本願に係る情報処理プログラムは、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、をコンピュータに実行させる。
本願に係る情報処理プログラムは、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、をコンピュータに実行させる。
実施形態の一態様によれば、利用者が自身の感情を表現することを可能とすることができる。
図１は、実施形態に係る情報処理の概要について説明するための図である。 図２は、実施形態に係る情報処理システムの構成例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、感情円環モデル（ラッセルの円環モデル）について説明するための図である。 図５は、実施形態に係る機械学習モデルの生成処理の一例について説明するための図である。 図６は、実施形態に係るダンス映像の生成処理の一例について説明するための図である。 図７は、実施形態に係る機械学習モデルの生成処理手順を示すフローチャートである。 図８は、実施形態に係る運動情報の生成処理手順を示すフローチャートである。 図９は、変形例に係る情報処理システムの構成例を示す図である。 図１０は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
（実施形態）
〔１．情報処理の概要〕
図１は、実施形態に係る情報処理の概要について説明するための図である。図１では、実施形態に係る情報処理装置１００によって、実施形態に係る情報処理などが実現されるものとする。図１では、情報処理装置１００が、あらかじめ生成された機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じたダンスの動作を示す映像（以下、ダンス映像ともいう）を生成する場合について説明する。
図１では、情報処理装置１００は、利用者の生体情報を取得する。続いて、情報処理装置１００は、利用者の生体情報に基づいて、利用者の感情を示す感情情報を推定する。続いて、情報処理装置１００は、あらかじめ生成された機械学習モデルを用いて、利用者の感情情報から利用者の感情に応じたダンス映像を生成する。続いて、情報処理装置１００は、生成したダンス映像を画面に表示する。利用者は、例えば、画面に表示されたダンス映像を視聴し、ダンス映像に含まれるダンスを真似て踊る。
また、情報処理装置１００は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。続いて、情報処理装置１００は、希望感情情報から希望感情に応じたダンス映像を生成する。続いて、情報処理装置１００は、生成したダンス映像を画面に表示する。利用者は、例えば、画面に表示されたダンス映像を視聴し、ダンス映像に含まれるダンスを真似て踊る。
このように、情報処理装置１００は、利用者の感情に応じたダンス映像（利用者の感情に応じた身体の動きを示す運動情報の一例）を生成する。これにより、情報処理装置１００は、例えば、生成されたダンス映像を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供されたダンス映像を真似てダンスを踊ることにより、利用者が自身の感情をダンスにより表現することを可能とすることができる。したがって、情報処理装置１００は、例えば、利用者が自身の感情をダンスにより表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置１００は、利用者が自身の感情をダンスにより表現することで、利用者が豊かな感情表現を実現することを可能とする。
〔２．情報処理システムの構成〕
図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２に示すように、実施形態に係る情報処理システム１には、センサ装置１０と情報処理装置１００とが含まれる。センサ装置１０と情報処理装置１００とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、図２に示した情報処理システム１には、任意の数のセンサ装置１０と任意の数の情報処理装置１００とが含まれていてもよい。
センサ装置１０は、利用者の生体情報を検出する情報処理装置である。具体的には、センサ装置１０は、利用者によって使用されるウェアラブルセンサまたはスマートフォン等の端末装置であってよい。例えば、センサ装置１０は、生体センサ素子を備える生体センサ装置であり、人体に装着可能なウェアラブルセンサであってよい。また、センサ装置１０は、ヘッドセット型、眼鏡型、シャツ型、または、リストバンド型などであってよい。例えば、生体センサ装置であるセンサ装置１０は、センサデータのとして、人体の心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声などをそれぞれ示す電気信号を検出する。また、センサ装置１０は、生体センサ素子が検出した電気信号（アナログ信号）をデジタルデータへとＡＤ変換する。また、センサ装置１０は、生体情報として、検出した電気信号をＡＤ変換したデジタルデータを情報処理装置１００に送信する。なお、後述するが、センサ装置１０が検出可能な生体情報は上記の例に限定されるものではない。
情報処理装置１００は、図１で説明した情報処理を実現する情報処理装置である。具体的には、情報処理装置１００は、利用者によって使用されるスマートフォン等の端末装置であってよい。情報処理装置１００は、センサ装置１０から利用者の生体情報を受信する。続いて、情報処理装置１００は、受信した生体情報に基づいて、利用者の感情を示す感情情報を推定する。続いて、情報処理装置１００は、感情を示す感情情報に対応する感情特徴情報と、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。続いて、情報処理装置１００は、取得した機械学習モデルを用いて、利用者の感情情報から利用者の感情に応じたダンスの動作を示すダンス映像を生成する。
〔３．情報処理装置の構成〕
図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、制御部１５０とを有する。
（通信部１１０）
通信部１１０は、ＮＩＣ（Network Interface Card）やアンテナ等によって実現される。通信部１１０は、各種ネットワークと有線または無線で接続され、例えば、センサ装置１０との間で情報の送受信を行う。
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。具体的には、記憶部１２０は、各種プログラム（情報処理プログラムの一例）を記憶する。また、記憶部１２０は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルＭ１を記憶する。また、記憶部１２０は、モデル生成部１５２による機械学習モデルＭ４の学習に用いられる各種データを記憶する。また、記憶部１２０は、モデル生成部１５２によって生成された機械学習モデルに関する情報を記憶する。
（入力部１３０）
入力部１３０は、利用者から各種操作が入力される。例えば、入力部１３０は、タッチパネル機能により表示面（例えば出力部１４０）を介して利用者からの各種操作を受け付けてもよい。また、入力部１３０は、情報処理装置１００に設けられたボタンや、情報処理装置１００に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
（出力部１４０）
出力部１４０は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部１４０は、制御部１５０の制御に従って、各種情報を表示する。なお、情報処理装置１００にタッチパネルが採用される場合には、入力部１３０と出力部１４０とは一体化される。また、以下の説明では、出力部１４０を画面と記載する場合がある。
（制御部１５０）
制御部１５０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１５０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１５０は、取得部１５１と、モデル生成部１５２と、生成部１５３と、出力制御部１５４と、受付部１５５を機能部として有し、以下に説明する情報処理の作用を実現または実行してよい。なお、制御部１５０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１５０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
（取得部１５１）
取得部１５１は、生体情報を取得する。取得部１５１は、モデル生成部１５２による機械学習モデルの学習に用いられる生体情報を取得してよい。具体的には、取得部１５１は、各利用者のセンサ装置１０から取得された各利用者の生体情報を一括して管理する外部のサーバ装置から機械学習モデルの学習に用いられる生体情報を取得してよい。また、取得部１５１は、利用者のセンサ装置１０から利用者の生体情報を取得してよい。また、取得部１５１は、生体情報を取得した場合、取得した生体情報を記憶部１２０に格納してよい。また、取得部１５１は、記憶部１２０を参照して、センサ装置１０から取得した生体情報を取得してよい。例えば、取得部１５１は、生体情報として、心拍数の時系列データを取得してよい。
また、取得部１５１は、生体情報に基づいて、感情を示す感情情報を推定する。取得部１５１は、例えば、生体情報の特徴量を算出し、算出された特徴量に基づいて感情情報を推定してよい。具体的には、例えば、取得部１５１は、生体情報の特徴量から感情情報を推定する学習モデルを取得し、当該学習モデルを用いて生体情報の特徴量に基づき感情情報を推定してよい。
ここで、一例として、利用者の心拍数から感情情報を推定する手法について説明する。この場合、まず、取得部１５１は、心拍数の時系列データを周波数解析することで交感神経の影響を受けた周波数成分を抽出してよい。続いて、取得部１５１は、心拍変動解析の技術を用いて、抽出された周波数成分から特徴量を算出してよい。続いて、取得部１５１は、記憶部１２０を参照して、心拍変動解析により算出された特徴量から感情情報を推定するよう学習された推定モデルＭ１を取得してよい。なお、推定モデルＭ１は、心拍変動解析により算出された特徴量から感情情報を推定するよう事前に機械学習により生成された機械学習モデルである。続いて、取得部１５１は、取得した推定モデルＭ１を用いて、心拍変動解析により算出された特徴量から感情情報を推定してよい。なお、後述するが、生体情報から感情情報を推定する手法は上記の例に限定されるものではない。
ここで、図４を用いて、感情情報について説明する。図４は、感情円環モデル（ラッセルの円環モデルともいう）について説明するための図である。感情円環モデルとは、感情を互いに独立な二次元の軸（Arousal：覚醒度とValence：感情価（快/不快））で表現できるとし、さまざまな感情を二次元軸上に配置したものである。図４は、縦軸を覚醒度、横軸を感情値とした二次元モデルに、各種感情を配置したラッセルの円環モデルを示す。すなわち、感情円環モデルでは、ある感情を示す感情情報は、覚醒度を示す値と感情価を示す値（感情値ともいう）の組で表される。感情円環モデルの円環上には、喜び（happy）、興奮（excited）、緊張（tense）、ストレス（stressed）、悲哀（sad）、穏やか（calm）、リラックス（relaxed）など、さまざまな感情が配置される。
取得部１５１は、生体情報の特徴量に基づいて推定した感情情報が、感情円環モデルの各象限を代表するHAPPY（喜び）、ANGRY（怒り）、SAD（悲しみ）、RELAXED（リラックス）の４つの感情のいずれに該当するかを判定してよい。例えば、取得部１５１は、心拍変動解析により算出された特徴量から、感情情報として、覚醒度の値および感情価の値を推定するよう学習された推定モデルＭ１を取得してよい。続いて、取得部１５１は、心拍変動解析により算出された特徴量を推定モデルＭ１に入力することにより、感情情報として、覚醒度の推定値と感情価の推定値を算出してよい。続いて、取得部１５１は、算出した覚醒度の推定値と感情価の推定値の組で表される点が、感情円環モデルのどの象限に位置するかを判定し、各象限を代表するHAPPY（喜び）、ANGRY（怒り）、SAD（悲しみ）、RELAXED（リラックス）の４つの感情のいずれに該当するかを判定してよい。図４では、取得部１５１は、算出した覚醒度の推定値Ａ１と感情価の推定値Ｖ１の組で表される点Ｐ１が、感情円環モデルの第１象限に位置すると判定し、HAPPY（喜び）の感情に該当すると判定する。また、取得部１５１は、算出した覚醒度の推定値と感情価の推定値の組で表される点が、感情円環モデルの円環のどこに位置するかを判定し、円環の位置に対応する感情に該当するかを判定してよい。例えば、取得部１５１は、算出した覚醒度の推定値Ａ１と感情価の推定値Ｖ１の組で表される点Ｐ１が、図４に示す感情円環モデルの円環の右上に位置すると判定し、excited（興奮）の感情に該当すると判定する。
また、取得部１５１は、感情情報に対応する感情特徴情報を取得する。具体的には、取得部１５１は、生体情報に基づいて感情情報を推定した場合、記憶部１２０を参照して、感情情報に基づいて感情の特徴を示す感情特徴情報を生成するエンコーダ（以下、感情エンコーダともいう）を取得してよい。続いて、取得部１５１は、感情エンコーダを用いて、感情情報に対応する感情特徴情報を生成してよい。
また、取得部１５１は、感情に応じた身体の動きを示す運動情報を取得する。取得部１５１は、モデル生成部１５２による機械学習モデルの学習に用いられる運動情報を取得してよい。具体的には、取得部１５１は、機械学習モデルの学習に用いられる運動情報を保持する外部のサーバ装置から機械学習モデルの学習に用いられる運動情報を取得してよい。取得部１５１は、運動情報を取得した場合、取得した運動情報を記憶部１２０に格納してよい。例えば、取得部１５１は、運動情報として、感情に応じたダンス映像を取得してよい。ここで、モデル生成部１５２による機械学習モデルの学習に用いられる運動情報は、あらかじめ人手によって生成される。例えば、機械学習モデルの学習に用いられる運動情報は、人手により、ある人物（以下、ダンサーともいう）のダンスの動作を撮影したダンス映像と、ダンスの動作に対応するダンサーの感情とを対応付けることで生成される。ダンスの動作に対応するダンサーの感情は、ダンス中のダンサーの生体情報に基づいて推定された感情であってよい。あるいは、ダンスの動作に対応するダンサーの感情は、ダンサーへのアンケートにより取得された感情であってもよい。例えば、取得部１５１は、記憶部１２０を参照して、感情と対応付けられたダンス映像を取得してよい。また、取得部１５１は、感情と対応付けられたダンス映像として、ダンサーのダンスの動作を複数の方向から撮影した映像（複数の映像であってよい）を取得してよい。
また、取得部１５１は、運動情報に対応する運動特徴情報を取得する。例えば、取得部１５１は、運動情報としてダンス映像を取得した場合、記憶部１２０を参照して、ダンス映像に基づいてダンス映像の特徴を示すダンス特徴情報を生成するエンコーダ（以下、ダンスエンコーダともいう）を取得してよい。続いて、取得部１５１は、ダンスエンコーダを用いて、ダンス映像に対応するダンス特徴情報を生成してよい。
（モデル生成部１５２）
モデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成してよい。モデル生成部１５２は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、運動情報に基づいて運動特徴情報を生成する運動エンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む機械学習モデルを生成してよい。
図５は、実施形態に係る機械学習モデルの生成処理の一例について説明するための図である。図５に示す例では、実施形態に係る機械学習モデルを「マルチモーダルモデル」と記載する。実施形態に係る機械学習モデルＭ４（以下、マルチモーダルモデルＭ４と記載する場合がある）は、感情情報とダンス映像という異なる種類の情報（異なるモダリティに属する情報ともいう）を相互に変換可能な機械学習モデルである。
図５では、モデル生成部１５２は、感情情報に基づいて感情特徴情報を生成する感情エンコーダと、感情特徴情報から感情情報を生成する感情デコーダとを含む感情モデルＭ２を含むマルチモーダルモデルＭ４を生成する。例えば、感情モデルＭ２は、Ｔｒａｎｓｆｏｒｍｅｒ（Ashish Vaswani et al., 2017）、Ｓｅｑ２Ｓｅｑ（sequence-to-sequence）にアテンションモデルを追加したSequence to Sequence with Attention Modelなどのエンコーダ-デコーダモデルであってよい。
また、図５では、モデル生成部１５２は、ダンス映像に基づいてダンス特徴情報を生成するダンスエンコーダと、ダンス特徴情報からダンス映像を生成するダンスデコーダとを含むダンスモデルＭ３を含むマルチモーダルモデルＭ４を生成する。例えば、ダンスモデルＭ３は、Ｔｒａｎｓｆｏｒｍｅｒ（Ashish Vaswani et al., 2017）などのエンコーダ-デコーダモデルであってよい。
モデル生成部１５２は、取得部１５１によって取得された感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするようマルチモーダルモデルＭ４を学習させる。具体的には、モデル生成部１５２は、感情特徴情報とダンス特徴情報とをそれぞれ共通の潜在空間にマッピングするよう感情モデルＭ２の感情エンコーダとダンスモデルＭ３のダンスエンコーダをそれぞれ学習させる。
より具体的には、取得部１５１は、記憶部１２０を参照して、感情情報と、感情情報に対応するダンス映像の組（ペアデータともいう）を取得する。続いて、取得部１５１は、ペアデータに対応する感情情報の感情特徴情報とダンス映像のダンス特徴情報をそれぞれ生成する。モデル生成部１５２は、取得部１５１によって生成されたペアデータに対応する感情特徴情報とダンス特徴情報との類似度が大きくなるように感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。一方、モデル生成部１５２は、ペアデータではない感情特徴情報とダンス特徴情報との類似度が小さくなるように感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。このようにして、モデル生成部１５２は、感情特徴情報とダンス特徴情報を共通の潜在空間に埋め込むよう感情エンコーダおよびダンスエンコーダをそれぞれ学習させる。このようにして、モデル生成部１５２は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習されたマルチモーダルモデルＭ４を生成する。
（生成部１５３）
生成部１５３は、機械学習モデルＭ４を用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成してよい。具体的には、取得部１５１は、記憶部１２０を参照して、モデル生成部１５２によって生成された機械学習モデルＭ４を取得してよい。生成部１５３は、取得部１５１によって取得された機械学習モデルＭ４を用いて、利用者の感情情報から利用者の感情に応じた運動情報を生成してよい。
図６は、実施形態に係るダンス映像の生成処理の一例について説明するための図である。図６では、取得部１５１は、センサ装置１０から利用者の生体情報を取得する。例えば、取得部１５１は、利用者の生体情報として、利用者の心拍数の時系列データを取得してよい。続いて、取得部１５１は、心拍変動解析により算出された特徴量を推定モデルＭ１に入力することにより、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を算出してよい。続いて、取得部１５１は、算出した感情情報を感情モデルＭ２の感情エンコーダに入力することにより、利用者の感情特徴情報を生成してよい。
また、取得部１５１は、モデル生成部１５２によって生成されたマルチモーダルモデルＭ４を取得する。生成部１５３は、取得部１５１によって取得されたマルチモーダルモデルＭ４を用いて、取得部１５１によって生成された利用者の感情特徴情報との類似度が所定の閾値を超えるダンス特徴情報を算出する。例えば、生成部１５３は、取得部１５１によって生成された利用者の感情特徴情報をマルチモーダルモデルＭ４に入力することにより、利用者の感情特徴情報に対応するダンス特徴情報を算出する。続いて、生成部１５３は、算出したダンス特徴情報をダンスモデルＭ３のダンスデコーダに入力することにより、利用者の感情に応じたダンスの動作を示すダンス映像を生成してよい。
（出力制御部１５４）
出力制御部１５４は、生成部１５３によって生成された運動情報を出力部１４０に出力するよう制御する。例えば、出力制御部１５４は、生成部１５３によって生成されたダンス映像を出力部１４０に表示するよう制御してよい。
（受付部１５５）
受付部１５５は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。例えば、受付部１５５は、感情円環モデルを出力部１４０に表示するよう制御してよい。続いて、受付部１５５は、入力部１３０を介して、希望感情情報として、利用者の希望感情に対応する感情円環モデルにおける覚醒度の値と感情価の値の組を利用者から受け付けてよい。例えば、受付部１５５は、取得部１５１が推定した利用者の感情情報を出力部１４０に表示するよう制御してよい。例えば、受付部１５５は、利用者の感情情報として、利用者の覚醒度の推定値と感情価の推定値を示す点Ｐ１の位置を感情円環モデルに重畳して出力部１４０に表示するよう制御してよい。続いて、受付部１５５は、入力部１３０を介して、利用者から画面に表示された利用者の感情情報を加工する操作を受け付けてよい。例えば、受付部１５５は、利用者の指によって点Ｐ１を長押しする操作を受け付けてよい。続いて、受付部１５５は、点Ｐ１の位置から、例えば、覚醒度の値を「＋３」、感情価の値を「＋３」だけ変化させた点Ｐ２の位置まで利用者の指を画面上でスライドさせる操作（ドラッグ操作）を受け付けてよい。また、受付部１５５は、希望感情情報として、点Ｐ２の位置に対応する加工後の感情情報を受け付けてよい。このように、受付部１５５は、希望感情情報として、利用者により加工された利用者の感情情報である加工後の感情情報を受け付けてよい。
また、生成部１５３は、希望感情情報から希望感情に応じた身体の動きを示す運動情報を生成する。例えば、生成部１５３は、受付部１５５によって受け付けられた希望感情情報を感情モデルＭ２の感情エンコーダに入力することにより、利用者の希望感情情報に対応する感情特徴情報（以下、希望感情特徴情報ともいう）を生成してよい。
また、取得部１５１は、モデル生成部１５２によって生成されたマルチモーダルモデルＭ４を取得する。生成部１５３は、取得部１５１によって取得されたマルチモーダルモデルＭ４を用いて、生成部１５３によって生成された利用者の希望感情特徴情報との類似度が所定の閾値を超えるダンス特徴情報を算出する。続いて、生成部１５３は、算出したダンス特徴情報をダンスモデルＭ３のダンスデコーダに入力することにより、利用者の希望感情に応じたダンスの動作を示すダンス映像を生成してよい。
〔４．情報処理の手順〕
図７は、実施形態に係る機械学習モデルの生成処理手順を示すフローチャートである。図７に示すように、情報処理装置１００の取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する（ステップＳ１０１）。例えば、取得部１５１は、運動特徴情報として、感情に応じたダンスの動作を示すダンス映像に対応するダンス特徴情報を取得する。
また、情報処理装置１００のモデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する（ステップＳ１０２）。例えば、モデル生成部１５２は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する。
図８は、実施形態に係る運動情報の生成処理手順を示すフローチャートである。図８に示すように、情報処理装置１００の取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する（ステップＳ２０１）。例えば、取得部１５１は、感情特徴情報とダンス特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。
また、情報処理装置１００の生成部１５３は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する（ステップＳ２０２）。例えば、生成部１５３は、運動情報として、利用者の感情情報から利用者の感情に応じたダンスの動きを示すダンス映像を生成する。
〔５．変形例〕
上述した実施形態に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。
〔５－１．生体情報について〕
上述した実施形態では、生体情報が、心拍を示す情報である場合について説明したが、生体情報は、感情に応じて生じる生理現象に関する情報であればよく、心拍を示す情報に限られない。例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報であってよい。具体的には、例えば、生体情報は、心電、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す時系列データであってよい。情報処理装置１００は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である生体情報が入力された場合、生体情報に対応する感情を示す感情情報を出力するよう学習された機械学習モデル（推定モデルＭ１の一例）を用いて、生体情報から感情情報を推定してよい。また、情報処理装置１００は、推定モデルＭ１を用いる手法以外にも、生体情報から感情情報を推定する公知の技術を用いて、生体情報から感情情報を推定してよい。
〔５－２．身体の動きについて〕
上述した実施形態では、運動情報がダンスにおける動作を示すダンス映像である場合について説明したが、運動情報によって示される身体の動きは、ダンスにおける動作に限られない。具体的には、運動情報によって示される身体の動きは、感情に応じた身体の動きであれば、どのような身体の動きであってもよい。例えば、身体の動きは、ダンス以外にも、リハビリテーション、スポーツ（例えば、フィギュアスケートなど）、または演技における動作であってよい。
〔５－３．感情情報について〕
上述した実施形態では、感情情報が覚醒度を示す値と感情価を示す値の組である場合について説明したが、感情情報は覚醒度を示す値と感情価を示す値の組に限られない。感情には様々な表現の仕方が存在する。具体的には、感情情報は、生体情報が入力された場合に、喜び、怒り、悲しみ、リラックスなどの複数の種類の感情それぞれに該当する確率をそれぞれ出力するよう学習された機械学習モデルを用いて推定された感情を示す情報であってよい。例えば、感情情報は、喜びの感情が７０％であり、怒りの感情が３０％であるという感情を示す情報であってよい。
〔５－４．運動情報について〕
上述した実施形態では、運動情報が身体の動きを示す映像である場合について説明したが、運動情報は映像に限られない。例えば、生成部１５３は、運動情報として、姿勢推定の技術を用いて身体の動きを示す映像に含まれる人物の骨格に関する骨格情報を抽出してもよい。具体的には、生成部１５３は、姿勢推定に関するあらゆる公知技術を用いて映像から骨格情報を抽出してよい。例えば、生成部１５３は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢（骨格）を推定する姿勢推定技術を用いて、骨格情報を抽出してよい。
例えば、姿勢推定モデルの一例として、ＯｐｅｎＰｏｓｅ（“OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”、Zhe Cao et al., 2018）が知られている。ＯｐｅｎＰｏｓｅは、画像に含まれる人物の身体の特徴を示す特徴点（キーポイントともいう）を検出し、特徴点を結んだ人物の姿勢を推定する姿勢推定モデルである。例えば、ＯｐｅｎＰｏｓｅは、画像に含まれる人物の身体の特徴点として、人物の身体の関節の位置を示す関節点を推定し、関節点を連結して生成される人物の身体の骨格を示す骨格モデルを人物の姿勢として検出する。また、例えば、特徴点を検出するタイプの姿勢推定モデルの中には、画像中の人物の身体の３０種類の部位を推定可能なものがある。具体的には、特徴点を検出するタイプの姿勢推定モデルを用いると、画像中の人物の身体の部位として、頭、目（右、左）、耳（右、左）、鼻、首、肩（右、中央、左）、肘（右、左）、背骨、手首（右、左）、手（右、左）、親指（右、左）、手先（右、左）、腰（右、中央、左）、膝（右、左）、足首（右、左）、足（右、左）を特定することができる。
また、姿勢推定モデルの一例として、ＤｅｎｓｅＰｏｓｅ（参考ＵＲＬ：http://openaccess.thecvf.com/content_cvpr_2018/html/Guler_DensePose_Dense_Human_CVPR_2018_paper.html）が知られている。ＤｅｎｓｅＰｏｓｅは、２次元の画像中の人物の人物領域を検出し、検出した人物領域に対応する３次元身体表面モデルを生成する姿勢推定モデルである。より具体的には、ＤｅｎｓｅＰｏｓｅは、ＲＧＢ画像を入力として、ＲＧＢ画像中の人物の３次元表面のＵＶ座標を推定する。ＤｅｎｓｅＰｏｓｅを用いると、２次元の画像に写る人物領域から３次元身体表面のＵＶ座標を推定することができるので、２次元の画像に写る人物領域の各人体パーツ（人物の身体の部位）を精緻に推定することができる。ＤｅｎｓｅＰｏｓｅを用いると、画像中の人物の身体の２４種類の部位を推定することができる。具体的には、ＤｅｎｓｅＰｏｓｅを用いると、ＲＧＢ画像から、画像中の人物の身体の部位として、頭（左、右）、首、胴体、腕（左、右／上、前／前、後）、脚（左、右／太もも、ふくらはぎ／前、後）、手（左、右）、足（左、右）を特定することができる。
〔５－５．その他のシステム構成について〕
上述した実施形態では、情報処理装置１００が、機械学習モデルＭ４を生成するモデル生成部１５２と、ダンス映像を出力する出力部１４０の両方を備える場合について説明した。変形例では、機械学習モデルＭ４を生成する装置（実施形態におけるモデル生成部１５２を備える装置）と、ダンス映像を出力する装置（実施形態における出力部１４０を備える装置）とが別々の装置である場合について説明する。
図９は、変形例に係る情報処理システム２の構成例を示す図である。図９では、情報処理システム２が生成装置２０を含む点が図２と異なる。図９に示すように、変形例に係る情報処理システム２には、センサ装置１０と生成装置２０と情報処理装置１００とが含まれる。センサ装置１０と生成装置２０と情報処理装置１００とは、各種の通信ネットワークを介して、有線または無線で互いに通信可能に接続される。なお、図９に示した情報処理システム２には、任意の数のセンサ装置１０と任意の数の生成装置２０と任意の数の情報処理装置１００とが含まれていてもよい。
生成装置２０は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルＭ４を生成するサーバ装置である。生成装置２０は、実施形態における取得部１５１とモデル生成部１５２に相当する機能を備えてよい。具体的には、生成装置２０は、機械学習モデルＭ４の学習に用いられる生体情報を取得してよい。例えば、生成装置２０は、学習用の生体情報として、各利用者のセンサ装置１０から各利用者の生体情報を取得してよい。また、生成装置２０は、機械学習モデルの学習に用いられる運動情報を取得してよい。生成装置２０は、上述したモデル生成部１５２と同様に、機械学習モデルＭ４を生成してよい。生成装置２０は、機械学習モデルＭ４を生成した場合、機械学習モデルＭ４に関する情報を各利用者の情報処理装置１００に配信する。
情報処理装置１００は、機械学習モデルＭ４を用いてダンス映像を生成し、利用者に対して出力する情報処理装置である。情報処理装置１００は、実施形態における取得部１５１と生成部１５３と出力制御部１５４と受付部１５５と入力部１３０と出力部１４０に相当する機能を備えてよい。具体的には、情報処理装置１００は、利用者によって使用されるスマートフォン等の端末装置であってよい。また、情報処理装置１００は、生成装置２０から機械学習モデルＭ４に関する情報を取得する。情報処理装置１００は、機械学習モデルＭ４に関する情報を取得した場合、上述した生成部１５３と同様に、機械学習モデルＭ４を用いて、ダンス映像を生成してよい。情報処理装置１００は、ダンス映像を生成した場合、上述した出力制御部１５４と同様に、生成されたダンス映像を出力部１４０に表示するよう制御してよい。また、情報処理装置１００は、上述した受付部１５５と同様に、入力部１３０を介して、利用者の希望感情を受け付けてよい。また、情報処理装置１００は、上述した生成部１５３と同様に、利用者の希望感情に応じたダンス映像を生成してよい。
〔６．効果〕
上述したように、実施形態に係る情報処理装置１００は、取得部１５１と生成部１５３を備える。取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する。生成部１５３は、機械学習モデルを用いて、利用者の生体情報に基づいて推定された利用者の感情を示す感情情報から利用者の感情に応じた身体の動きを示す運動情報を生成する。
このように、情報処理装置１００は、利用者の感情に応じた身体の動きを示す運動情報を生成する。これにより、情報処理装置１００は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が自身の感情を運動により表現することを可能とすることができる。したがって、情報処理装置１００は、例えば、利用者が自身の感情を運動により表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置１００は、利用者が自身の感情を運動により表現することで、利用者が豊かな感情表現を実現することを可能とする。
また、実施形態に係る情報処理装置１００は、取得部１５１とモデル生成部１５２を備える。取得部１５１は、生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する。モデル生成部１５２は、感情特徴情報と運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成する。
これにより、情報処理装置１００は、生成された機械学習モデルを用いて、利用者の感情に応じた身体の動きを示す運動情報を生成可能とすることができる。また、情報処理装置１００は、利用者の感情に応じた運動情報を生成可能とすることができるため、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献できる。これにより、情報処理装置１００は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が自身の感情を運動により表現することを可能とすることができる。したがって、情報処理装置１００は、例えば、利用者が自身の感情を運動により表現することで、利用者がストレスを解消することを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。また、情報処理装置１００は、利用者が自身の感情を運動により表現することで、利用者が豊かな感情表現を実現することを可能とする。
また、情報処理装置１００は、受付部１５５をさらに備える。受付部１５５は、利用者が希望する利用者の感情である希望感情を示す希望感情情報を受け付ける。生成部１５３は、希望感情情報から希望感情に応じた身体の動きを示す運動情報を生成する。
このように、情報処理装置１００は、利用者が希望する感情に応じた身体の動きを示す運動情報を生成する。これにより、情報処理装置１００は、例えば、生成された運動情報を利用者に対して提供可能とすることができる。また、情報処理装置１００は、例えば、利用者が提供された運動情報を真似て自身の身体を動かすことにより、利用者が希望する感情に近づけることを可能とすることができる。例えば、情報処理装置１００は、例えば、ネガティブな感情を抱いている利用者の感情を、利用者が希望するポジティブな感情に近づけることを可能とすることができる。すなわち、情報処理装置１００は、利用者のメンタルの状態を改善することを可能とすることができる。
また、機械学習モデルは、感情情報に基づいて感情特徴情報を生成する第１のエンコーダと、運動情報に基づいて運動特徴情報を生成する第２のエンコーダと、運動特徴情報に基づいて運動情報を生成するデコーダと、を含む。
これにより、情報処理装置１００は、利用者の感情に応じた身体の動きを示す運動情報を生成するための精度の高い機械学習モデルを実現することができる。
また、感情情報は、生体情報から感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である。
これにより、情報処理装置１００は、利用者の感情を適切に推定することができる。
また、感情情報は、覚醒度を示す値と感情価を示す値の組である。
これにより、情報処理装置１００は、感情円環モデルを用いて、利用者の感情を適切に推定することができる。
また、生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である。
これにより、情報処理装置１００は、利用者の心拍数、脈拍数、発汗量、体温、筋電図の値、脳波、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報に基づいて、利用者の感情を適切に推定することができる。
また、運動情報は、身体の動きを示す映像である。
これにより、情報処理装置１００は、利用者に対して、利用者の感情に応じた身体の動きを示す映像を提供可能とすることができる。
また、運動情報は、身体の動きを複数の方向から撮影した映像である。
これにより、情報処理装置１００は、利用者に対して、利用者の感情に応じた身体の動きを複数の方向から撮影した映像を提供可能とすることができる。
また、身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である。
これにより、情報処理装置１００は、利用者に対して、利用者が希望する利用者の感情に応じたダンス、リハビリテーション、スポーツ、または演技における動作を示す運動情報を提供可能とすることができる。
〔７．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１５０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
１ 情報処理システム
１０ センサ装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 入力部
１４０ 出力部
１５０ 制御部
１５１ 取得部
１５２ モデル生成部
１５３ 生成部
１５４ 出力制御部
１５５ 受付部

Claims (26)

  1. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きであって、前記利用者に模倣させるための身体の動きを示す運動情報を生成する生成部と、
    を備える情報処理装置。
  2. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
    前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部と、
    を備え、
    前記生成部は、
    前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
    情報処理装置。
  3. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
    を備え、
    前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    情報処理装置。
  4. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得部と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成部と、
    を備え、
    前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    情報処理装置。
  5. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、
    前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、
    を備え、
    前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    情報処理装置。
  6. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得部と、
    前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成部と、
    を備え、
    前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    情報処理装置。
  7. 前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付部をさらに備え、
    前記生成部は、
    前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
    請求項１、３または４に記載の情報処理装置。
  8. 前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    請求項１、２、４または６に記載の情報処理装置。
  9. 前記感情情報は、前記生体情報から前記感情情報を推定するよう学習された機械学習モデルである推定モデルを用いて推定された感情を示す情報である、
    請求項１～６のいずれか１つに記載の情報処理装置。
  10. 前記感情情報は、覚醒度を示す値と感情価を示す値の組である、
    請求項１～６のいずれか１つに記載の情報処理装置。
  11. 前記生体情報は、心電、心拍、脈拍、発汗、呼吸、脳波、体温、姿勢、活動量、加速度、におい、筋電、表情、皮膚電位、視線、瞬目、瞳孔径、または音声を示す情報である、
    請求項１～６のいずれか１つに記載の情報処理装置。
  12. 前記運動情報は、前記身体の動きを示す映像である、
    請求項１～６のいずれか１つに記載の情報処理装置。
  13. 前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    請求項１～３または５のいずれか１つに記載の情報処理装置。
  14. 前記身体の動きは、ダンス、リハビリテーション、スポーツ、または演技における動作である、
    請求項１～６のいずれか１つに記載の情報処理装置。
  15. 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きであって、前記利用者に模倣させるための身体の動きを示す運動情報を生成する生成工程と、
    を含む情報処理方法。
  16. 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
    前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付工程と、
    を含み、
    前記生成工程は、
    前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
    情報処理方法。
  17. 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
    を含み、
    前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    情報処理方法。
  18. 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得工程と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成工程と、
    を含み、
    前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    情報処理方法。
  19. 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、
    前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、
    を含み、
    前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    情報処理方法。
  20. 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
    生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得工程と、
    前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成工程と、
    を含み、
    前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    情報処理方法。
  21. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きであって、前記利用者に模倣させるための身体の動きを示す運動情報を生成する生成手順と、
    をコンピュータに実行させる情報処理プログラム。
  22. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
    前記利用者が希望する前記利用者の感情である希望感情を示す希望感情情報を受け付ける受付手順と、
    をコンピュータに実行させ、
    前記生成手順は、
    前記希望感情情報から前記希望感情に応じた前記身体の動きを示す運動情報を生成する、
    情報処理プログラム。
  23. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
    をコンピュータに実行させ、
    前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    情報処理プログラム。
  24. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを取得する取得手順と、
    前記機械学習モデルを用いて、利用者の生体情報に基づいて推定された前記利用者の感情を示す感情情報から前記利用者の感情に応じた身体の動きを示す運動情報を生成する生成手順と、
    をコンピュータに実行させ、
    前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    情報処理プログラム。
  25. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、
    前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、
    をコンピュータに実行させ、
    前記機械学習モデルは、前記感情情報に基づいて前記感情特徴情報を生成する第１のエンコーダと、前記運動情報に基づいて前記運動特徴情報を生成する第２のエンコーダと、前記運動特徴情報に基づいて前記運動情報を生成するデコーダと、を含む、
    情報処理プログラム。
  26. 生体情報に基づいて推定された感情を示す感情情報に対応する感情特徴情報と、前記感情に応じた身体の動きを示す運動情報に対応する運動特徴情報とを取得する取得手順と、
    前記感情特徴情報と前記運動特徴情報とを対応付けて共通の潜在空間にマッピングするよう学習された機械学習モデルを生成するモデル生成手順と、
    をコンピュータに実行させ、
    前記運動情報は、前記身体の動きを複数の方向から撮影した映像である、
    情報処理プログラム。
JP2022090334A 2022-06-02 2022-06-02 情報処理装置、情報処理方法及び情報処理プログラム Active JP7445933B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022090334A JP7445933B2 (ja) 2022-06-02 2022-06-02 情報処理装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022090334A JP7445933B2 (ja) 2022-06-02 2022-06-02 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2023177594A JP2023177594A (ja) 2023-12-14
JP7445933B2 true JP7445933B2 (ja) 2024-03-08

Family

ID=89123877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022090334A Active JP7445933B2 (ja) 2022-06-02 2022-06-02 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (1)

Country Link
JP (1) JP7445933B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176592A (ja) 2014-03-18 2015-10-05 Kddi株式会社 アニメーション生成装置、アニメーション生成方法およびプログラム
WO2018168369A1 (ja) 2017-03-14 2018-09-20 株式会社Ｓｅｌｔｅｃｈ 機械学習装置および機械学習プログラム
WO2019082687A1 (ja) 2017-10-27 2019-05-02 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US20200184203A1 (en) 2018-12-05 2020-06-11 International Business Machines Corporation Automatically suggesting behavioral adjustments during video conferences
US10732708B1 (en) 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
JP2021049349A (ja) 2020-11-17 2021-04-01 沖電気工業株式会社 提示装置、提示方法、プログラム及び感情推定システム
JP2022071968A (ja) 2020-10-29 2022-05-17 株式会社EmbodyMe 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176592A (ja) 2014-03-18 2015-10-05 Kddi株式会社 アニメーション生成装置、アニメーション生成方法およびプログラム
WO2018168369A1 (ja) 2017-03-14 2018-09-20 株式会社Ｓｅｌｔｅｃｈ 機械学習装置および機械学習プログラム
WO2019082687A1 (ja) 2017-10-27 2019-05-02 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US10732708B1 (en) 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
US20200184203A1 (en) 2018-12-05 2020-06-11 International Business Machines Corporation Automatically suggesting behavioral adjustments during video conferences
JP2022071968A (ja) 2020-10-29 2022-05-17 株式会社EmbodyMe 顔画像処理システム、顔画像生成用情報提供装置、顔画像生成用情報提供方法および顔画像生成用情報提供プログラム
JP2021049349A (ja) 2020-11-17 2021-04-01 沖電気工業株式会社 提示装置、提示方法、プログラム及び感情推定システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
進藤 智則，Ｐｅｐｐｅｒの感情生成エンジンはＲＮＮを利用 ７種の仮想的ホルモンを模擬して喜怒哀楽，日経エレクトロニクス，日本，日経ＢＰ社，2015年11月20日，第1162号，pp.100-101

Also Published As

Publication number Publication date
JP2023177594A (ja) 2023-12-14

Similar Documents

Publication Publication Date Title
US11244485B2 (en) Augmented reality systems and methods utilizing reflections
US10430985B2 (en) Augmented reality systems and methods utilizing reflections
Genay et al. Being an avatar “for real”: a survey on virtual embodiment in augmented reality
Jones Haptics
Gervais et al. Tobe: Tangible out-of-body experience
Bernal et al. Emotional beasts: visually expressing emotions through avatars in VR
Wang et al. Survey of movement reproduction in immersive virtual rehabilitation
WO2016009277A1 (en) Garments having stretchable and conductive ink
US20210265055A1 (en) Smart Meditation and Physiological System for the Cloud
Smys Virtual reality gaming technology for mental stimulation and therapy
US20210125702A1 (en) Stress management in clinical settings
Aslan et al. PiHearts: Resonating Experiences of Self and Others Enabled by a Tangible Somaesthetic Design
KR102429630B1 (ko) 헬스케어를 위한 커뮤니케이션 npc아바타를 생성하는 시스템
CN113035000A (zh) 一种面向中枢整合康复治疗技术的虚拟现实训练系统
McDaniel et al. Therapeutic haptics for mental health and wellbeing
JP7445933B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Rahman i-Therapy: a non-invasive multimedia authoring framework for context-aware therapy design
JP2022187952A (ja) プログラム、方法、情報処理装置
Matthies Reflexive interaction-extending peripheral interaction by augmenting humans
KR102543337B1 (ko) 아바타를 생성한 사용자의 생체정보 기반 색채힐링콘텐츠를 제공하기 위한 사용자 맞춤 색채힐링콘텐츠 제공 시스템 및 방법
Kruijff Unconventional 3D user interfaces for virtual environments
Aslan et al. Resonating experiences of self and others enabled by a tangible somaesthetic design
Malzkuhn Recognizing highly variable American Sign Language in virtual reality
CA3059903A1 (en) Stress management in clinical settings
Greci et al. The Social and hUman CeNtered XR: SUN XR Project

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240216

R150 Certificate of patent or registration of utility model

Ref document number: 7445933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150