WO2020170645A1

WO2020170645A1 - 情報処理装置、および情報処理方法、並びにプログラム

Info

Publication number: WO2020170645A1
Application number: PCT/JP2020/000666
Authority: WO
Inventors: 紗也加小川; 耕太相澤
Original assignee: ソニー株式会社
Priority date: 2019-02-22
Filing date: 2020-01-10
Publication date: 2020-08-27
Also published as: CN113423334A; US20220084196A1

Abstract

ユーザの顔に対する照射光の反射光を解析して表情解析と生体信号解析の双方を併せて実行する構成を実現する。ユーザの顔に対する照射光の反射光を受光する受光部と、受光部の受光信号を解析する受光信号解析部を有する。受光信号解析部は、ユーザ皮膚表面の反射光を解析して表情解析情報を生成する表情解析部と、皮膚内部の反射光を解析して生体解析情報を生成する生体信号解析部を有する。受光部の受光信号は、皮膚表面の反射光と皮膚内部の生体組織の反射光を含み、表情解析部は受光信号から低周波成分を抽出して皮膚表面の反射光を取得して表情解析を実行する。生体信号解析部は、受光信号から高周波成分を抽出して皮膚内部の生体組織の反射光を取得して生体信号の解析処理を実行する。

Description

情報処理装置、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、人の表情解析と生体解析を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。

　人の表情を解析する処理として、例えばカメラの撮影画像を解析して笑顔であるか否かを解析する処理が知られている。
　なお、カメラ撮影画像から、顔の表情を解析する技術を開示した従来技術として例えば特許文献１（特開２００８－１３１４０５号公報）がある。

　さらに、人の血管の血流状態や成分等を解析して人の生体解析、いわゆるバイタルセンシングを行う技術も知られている。
　例えば、特許文献２（特開２０１３－１５０７７２号公報）には、光信号に基づく生体解析処理構成について開示している。

　このように、表情解析処理や生体解析処理については、それぞれ従来から様々な研究がなされているが、これら２つの解析処理を１つのセンサの検出情報に基づいて併せて実行する構成を開示したものはない。

特開２００８－１３１４０５号公報特開２０１３－１５０７７２号公報

　上記の従来技術を組み合わせて使用する場合、表情情報と生体情報の両方を取得するためには複数のセンサを配置する必要があり、物理形状や重さ、消費電力など観点でウェアラブルな装置の実現が困難になるという課題があった。また、顔面の一か所から表情情報と生体情報の両方を取得しようとすると、両者を取得するためのセンサ同士が干渉しあい、適切なセンシングが困難になるという課題もあった。

　本開示は、例えば上記問題点に鑑みてなされたものであり、１つのセンサの検出情報に基づいて表情解析処理や生体解析処理を併せて実行することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記受光信号解析部は、
　前記反射光に基づいて表情解析情報を生成する表情解析部と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析部と、
を有する情報処理装置にある。

　さらに、本開示の第２の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記受光信号解析部が、
　前記反射光に基づいて表情解析情報を生成する表情解析処理と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析処理を実行する情報処理方法にある。

　さらに、本開示の第３の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記プログラムは、前記受光信号解析部に、
　前記反射光に基づいて表情解析情報を生成する表情解析処理と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、ユーザの顔に対する照射光の反射光を解析して表情解析と生体信号解析の双方を併せて実行する構成が実現される。
　具体的には、例えば、ユーザの顔に対する照射光の反射光を受光する受光部と、受光部の受光信号を解析する受光信号解析部を有する。受光信号解析部は、ユーザ皮膚表面の反射光を解析して表情解析情報を生成する表情解析部と、皮膚内部の反射光を解析して生体解析情報を生成する生体信号解析部を有する。受光部の受光信号は、皮膚表面の反射光と皮膚内部の生体組織の反射光を含み、表情解析部は受光信号から低周波成分を抽出して皮膚表面の反射光を取得して表情解析を実行する。生体信号解析部は、受光信号から高周波成分を抽出して皮膚内部の生体組織の反射光を取得して生体信号の解析処理を実行する。
　本構成により、ユーザの顔に対する照射光の反射光を解析して表情解析と生体信号解析の双方を併せて実行する構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の情報処理装置の構成例について説明する図である。本開示の情報処理装置が実行する処理について説明する図である。本開示の情報処理装置の構成例について説明する図である。本開示の情報処理装置の受光信号解析部の構成例について説明する図である。本開示の情報処理装置の受光信号解析部が実行する処理について説明する図である。複数のセンサを用いた生体情報計測の一例について説明する図である。本開示の情報処理装置が実行する処理について説明する図である。本開示の情報処理装置のセンサ構成例について説明する図である。本開示の情報処理装置のセンサ構成例について説明する図である。本開示の情報処理装置の受光信号解析部が実行する処理について説明する図である。本開示の情報処理装置の受光信号解析部が実行する処理について説明する図である。本開示の情報処理装置の受光信号解析部が実行する処理について説明する図である。本開示の情報処理装置の実行する学習処理と解析処理について説明する図である。本開示の情報処理装置の実行する学習処理と解析処理について説明する図である。本開示の情報処理装置の実行する学習処理と解析処理について説明する図である。本開示の情報処理装置の実行する学習処理と解析処理について説明する図である。本開示の情報処理装置の実行する生体信号解析処理例について説明する図である。本開示の情報処理装置の実行する生体信号解析処理のシーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置の受光信号解析部の構成例について説明する図である。ラッセルの円環モデルについて説明する図である。本開示の情報処理装置の実行する学習処理と解析処理について説明する図である。本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置が実行する処理シーケンスについて説明するフローチャートを示す図である。本開示の情報処理装置の実行する学習処理と解析処理について説明する図である。本開示の情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理装置の実行する処理の概要について
　２．受光信号解析部の詳細構成と処理について
　３．反射光計測ポイントの設定例とセンサの具体的構成例について
　４．高精度な表情解析処理を実現するための構成と処理について
　５．生体情報の解析処理の具体例について
　６．高精度な情動推定処理を実行する実施例について
　７．本開示の情報処理装置の解析結果の利用例について
　７－（１）ゲームイベントの制御に利用する処理例
　７－（２）ユーザの表情の真偽の判定に利用する処理例
　７－（３）ユーザの表情筋トレーニングに利用する処理例
　７－（４）アバターの制御に利用する処理例
　７－（５）ユーザの気合判定に利用する処理例
　８．情報処理装置のハードウェア構成例について
　９．本開示の構成のまとめ

　　［１．本開示の情報処理装置の実行する処理の概要について］
　まず、図１以下を参照して本開示の情報処理装置の実行する処理の概要について説明する。
　本開示の情報処理装置１００は、図１に示す構成を有する。
　情報処理装置１００は、発光制御部１０１、発光部１０２、受光センサ１０３、受光信号解析部１０４を有する。
　発光制御部１０１は、発光部１０２の発光制御を実行する。発光部１０２の出力光は例えば赤外光である。

　発光部１０２の出力光は、ユーザ（解析対象者）１０の顔の皮膚に対して照射される。ユーザ（解析対象者）１０の顔の皮膚に対する照射光は、一部が皮膚表面で反射し受光部１０３によって受光される。
　さらに、発光部１０２の出力光の一部は、皮膚内部の生体組織、例えば血管に到達し、血管を流れる血液によって反射（散乱）された光が受光部１０３によって受光される。

　すなわち、図２に示すように、受光部１０３の受光信号には、以下の２つの信号成分が含まれる。
　（１）受光信号の第１信号成分＝皮膚表面反射光
　（２）受光信号の第２信号成分＝皮膚内部組織反射光（散乱光）

　受光信号の第２信号成分＝皮膚内部組織反射光（散乱光）は、例えば血管を流れる血液による反射光（散乱光）である。血管を流れる血液による反射光（散乱光）は、血液循環による光照射部位の血液量の変動に応じて変化する。この変化から心拍数の解析ができる。また、反射光の強度は、血中酸素濃度に応じて変化する。
　このように皮膚表面から光を照射し、その反射光の時間変異を計測することで脈拍や血中酸素濃度等の生体信号を得ることができる。

　このように、受光部１０３は、以下の２種類の反射光の混在信号を受光する。
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）
　受光部１０３が受光した光信号は、受光信号解析部１０４に出力される。

　受光信号解析部１０４は、受光部１０３が受光した光信号の解析を実行する。
　受光信号解析部１０４は、以下の２つの処理を実行する。
　（１）皮膚表面の反射光成分の解析により、ユーザ（解析対象者）１０の表情解析を実行して、表情解析情報２１を生成して出力する。
　例えばユーザ（解析対象者）１０の表情が笑顔である、あるいは悲しい顔をしている、あるいは怒った表情であるといった表情解析情報２１を生成して出力する。

　さらに、
　（２）皮膚内部の生体組織の反射光（散乱光）の解析により、ユーザ（解析対象者）１０の生体解析情報１２２を生成して出力する。
　例えば、ユーザ（解析対象者）１０の血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等の生体解析情報１２２を生成して出力する。

　なお、図１に示す情報処理装置１００は、例えばユーザ１０の装着するヘッドマウントディスプレイ（ＨＭＤ）内に構成することが可能である。
　すなわち、図３に示すように、ユーザ（解析対象者）１０が装着するヘッドマウントディスプレイ（ＨＭＤ）２０内に構成することが可能である。

　なお、ヘッドマウントディスプレイ（ＨＭＤ）２０内には、複数の発光部と受光部のペアからなるセンサが構成され、ユーザ（解析対象者）１０の顔の異なる位置における検出情報を取得して解析する。
　このセンサ設定位置と解析処理の具体例については後段で詳細に説明する。

　　［２．受光信号解析部の詳細構成と処理について］
　次に、図１に示す情報処理装置１００の受光信号解析部１０４の詳細構成と実行する処理について説明する。

　図４は、図１に示す情報処理装置１００の受光信号解析部１０４の詳細構成を示すブロック図である。
　図４に示すように、受光信号解析部１０４は、入力部２０１と、表情解析部２１０と生体信号解析部２２０を有する。

　表情解析部２１０は、低周波成分抽出部２１１、Ａ／Ｄ変換部２１２、表情解析結果生成部２１３、表情解析用情報記憶部２１４を有する。
　一方、生体信号解析部２２０は、ハイパスフィルタ（高周波成分抽出部）２２１、増幅部２２２、Ａ／Ｄ変換部２２３、ノイズ除去部２２４、生体信号解析結果生成部２２５、生体信号解析用情報記憶部２２６を有する。

　入力部２０１は、受光部１０３の受光信号を、表情解析部２１０と、生体信号解析部２２０に並列出力する。
　この出力信号は、以下の２種類の反射光が混在する信号である。
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）

　表情解析部２１０は、この２種類の信号が混在した信号から、「（１）皮膚表面の反射光」を選択抽出する処理を実行してユーザの表情解析を実行して、解析結果として表情解析情報１２１を生成して出力する。
　一方、生体信号解析部２２０は、上記２種類の信号が混在した信号から、「（２）皮膚内部の生体組織の反射光（散乱光）」を選択抽出する処理を実行してユーザの生体情報解析を実行して、解析結果として生体解析情報１２２を生成して出力する。

　まず、表情解析部２１０の実行する処理について説明する。
　低周波成分抽出部２１１は、入力部２０１から入力する信号から低周波成分信号を選択抽出する処理を実行する。

　この低周波成分抽出部２１１が実行する低周波成分抽出処理が、受光部１０３に含まれる以下の２つの信号成分、すなわち、
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）
　これらの２つの光信号の混在信号から、「（１）皮膚表面の反射光」成分のみを選択抽出する処理となる。

　図５を参照してこの処理について説明する。
　図５には以下の３つの信号を示している。
　（ａ）入力信号（受光部検出信号）
　（ｂ）表情解析用信号（受光部検出信号中の低周波成分）
　（ｃ）生体信号（受光部検出信号中の高周波成分）

　受光部１０３の受光信号は、図５（ａ）に示す信号であり、時間変化の少ない信号成分、すなわち低周波成分と、時間変化の大きい信号成分、すなわち高周波成分の混在信号である。

　受光部１０３の受光信号に含まれる低周波成分は、ユーザ（解析対象者）１０の表情変化に伴う信号成分に相当する。すなわち笑ったりすることによって発生する顔の皮膚の動きを反映した信号である。
　一方、受光部１０３の受光信号に含まれる高周波成分は、ユーザ（解析対象者）１０の皮膚内部の血管における血流によって発生する周期的な変動を反映した信号成分に相当する。

　このように、受光部１０３の受光信号に含まれる低周波成分は、顔の皮膚の動きを反映した信号であり、表情解析に用いることができる。
　一方、受光部１０３の受光信号に含まれる高周波成分は、顔内部の血管を流れる血液の状態を反映した信号であり、生体情報解析に用いることができる。

　図４に示す表情解析部２１０の低周波成分抽出部２１１は、受光部１０３の受光信号に含まれる低周波成分を抽出する。すなわち、ユーザ（解析対象者）１０の顔の皮膚の動きを反映した信号である表情解析用反射光を抽出する。

　図４に示す表情解析部２１０の低周波成分抽出部２１１が抽出した表情解析用信号（受光部検出信号中の低周波成分）は、Ａ／Ｄ変換部２１２に入力される。
　Ａ／Ｄ変換部２１２は、低周波成分抽出部２１１が抽出した表情解析用信号（受光部検出信号中の低周波成分）のＡ／Ｄ変換を実行してアナログ信号をデジタル信号に変換して表情解析結果生成部２１３に入力する。

　前述したように低周波成分抽出部２１１が抽出した表情解析用信号（受光部検出信号中の低周波成分）は、ユーザ（解析対象者）１０の顔の皮膚の動きを反映した信号である。
　顔の皮膚の動きは、顔の表情、すなわち、笑い、怒り、悲しみ等の表情に応じて異なる動きとなる。

　表情解析用情報記憶部２１４には、人の様々な表情、すなわち笑い、怒り、悲しみ等の表情に応じた顔の皮膚の動きの典型的データパターンの登録情報が格納されている。具体的には、複数の異なる表情に対応する表情ラベルと、皮膚表面の動きを反映した皮膚表面の反射光信号の特徴データとの対応データを有する学習モデル（表情モデル）が格納されている。

　なお、後段で詳細に説明するが、発光部と受光部の組み合わせによって取得する反射光は、ユーザ（解析対象者）１０の顔の異なる位置、例えば眉間、目の周囲、頬等、複数の異なる位置から得られる複数の反射光信号である。
　表情解析用情報記憶部２１４には、これら、顔の様々な位置に対応する様々な表情に応じた皮膚の動き情報が記録されている。

　なお、眉間、目の周囲、頬等、複数の異なる位置から得られる複数の生体情報を組み合わせることで、情動などの内的状態推定精度を向上させることができる。また、複数のセンサを用いることで体動時のノイズを除去することも可能となる。
　センサ位置に応じて取得される情報は様々であり、各センサの検出情報に応じた様々な異なる内的状態推定処理が可能となる。
　たとえば、図６に示すように、額の血流量は情動を反映しやすいので、額の眉間近辺のセンサＳａを用いてにより血流量を計測し、他のセンサでは脈波を計測し、血流量と脈波情報から内的状態推定を行うことができる。
　また、体動発生時、脈波には大きく体動ノイズがのってしまうが、血流量は体動抑制技術を導入することで体動ノイズを抑制できる。そのため血流量情報を使って脈波情報を補完できる。
　また、強く瞬きをすると、図６に示す目の下部の顔中央側のセンサＳｂの検出した脈波には体動ノイズがのってしまうので、目の下部外側の頬附近のセンサＳｃが検出した脈波で補完するといった処理が可能である。

　表情解析結果生成部２１３は、低周波成分抽出部２１１が抽出した表情解析用信号（受光部検出信号中の低周波成分）と、表情解析用情報記憶部２１４に登録された様々な表情、すなわち笑い、怒り、悲しみ等の表情に応じた顔の皮膚の動きの典型的データパターンとを比較照合して、ユーザ（解析対象者）１０の顔の表情が笑い、怒り、悲しみ等のどの表情であるかを判別する。この判別結果を表情解析情報１２１として出力する。

　次に、図４に示す受光信号解析部１０４の生体信号解析部２２０の実行する処理について説明する。
　ハイパスフィルタ（高周波成分抽出部）２２１は、入力部２０１から入力する信号から高周波成分、すなわち高周波成分信号を選択抽出する処理を実行する。

　このハイパスフィルタ（高周波成分抽出部）２２１が実行する高周波成分抽出処理が、受光部１０３に含まれる以下の２つの信号成分、すなわち、
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）
　これらの２つの光信号の混在信号から、「（２）皮膚内部の生体組織の反射光（散乱光）」成分のみを選択抽出する処理となる。

　先に図５を参照して説明したように、受光部１０３の受光信号は、図５（ａ）に示す信号であり、時間変化の少ない信号成分、すなわち低周波成分に相当する低周波成分と、時間変化の大きい信号成分、すなわち高周波成分の混在信号である。

　このように、受光部１０３の受光信号に含まれる高周波成分は、皮膚内部の血管における血流によって発生する周期的な変動を反映した信号であり、生体情報解析に用いることができる。

　図４に示す生体信号解析部２１０のハイパスフィルタ（高周波成分抽出部）２２１は、受光部１０３の受光信号に含まれる高周波成分を抽出する。すなわち、ユーザ（解析対象者）１０の皮膚内部の血流等の血液状態を反映した信号である生体情報解析用の反射光を抽出する。

　図４に示すハイパスフィルタ（高周波成分抽出部）２２１が抽出した生体情報解析用信号（受光部検出信号中の高周波成分）は、増幅部２２２において増幅され、さらにＡ／Ｄ変換部２２３に入力され、デジタル信号に変換される。
　このデジタル信号はノイズ除去部２２４においてノイズ除去処理が施された後、生体信号解析結果生成部２２５に入力される。

　前述したようにハイパスフィルタ（高周波成分抽出部）２２１が抽出した生体情報解析用信号（受光部検出信号中の高周波成分）は、ユーザ（解析対象者）１０の皮膚内部の血液状態を反映した信号である。
　具体的には、血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等の生体情報を解析可能な情報が含まれる。

　生体信号解析用情報記憶部２２６には、人の様々な生体情報、すなわち血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度の各状態に応じた特徴データが格納されている。具体的には、複数の異なる生体状態（血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等）に対応する皮膚内部の反射光信号の特徴データとの対応データを有する学習モデルが格納されている。

　生体信号解析結果生成部２２５は、ハイパスフィルタ（高周波成分抽出部）２２１が抽出した生体情報解析用信号（受光部検出信号中の高周波成分）と、生体信号解析用情報記憶部２２６の登録データ、すなわち血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等の各状態に応じたデータとを比較照合して、ユーザ（解析対象者）１０の生体解析情報１２２を生成して出力する。

　　［３．反射光計測ポイントの設定例とセンサの具体的構成例について］
　次に、反射光計測ポイントの設定例とセンサの具体的構成例について説明する。

　人の顔の表情を高精度に解析するためには、顔の異なる位置の皮膚の動きを解析することが必要となる。
　前述したように、ユーザ（解析対象者）１０の顔の異なる位置、例えば眉間、目の周囲、頬等、複数の異なる位置の皮膚の動きを解析することで、ユーザ（解析対象者）１０が笑っている、悲しんでいる、怒っている等の表情を高精度に解析できる。

　本開示の情報処理装置１００は、高精度な顔の表情の解析を実現するため、ユーザ（解析対象者）１０の顔の異なる位置において皮膚の動きを反映した受光信号を取得して表情解析を実行する。

　図７を参照して計測ポイントの設定例について説明する。
　図７に示す例は、本開示の情報処理装置１００が反射光を取得する計測ポイントの一設定例を示す図である。

　図７には顔内部にある多数の筋肉中、表情に応じて大きく変化する代表的な筋肉として、以下の３つの筋肉を示している。
　皺眉筋３０１、
　眼輪筋３０２、
　大頬骨筋３０３、
　これらの筋肉は、顔の表情の変化に伴い大きな動きを発生させる。

　さらに、これらの筋肉の動きに応じて顔の表面、すなわち皮膚が大きく動くポイントがある。図７には、以下の３つのポイントを示している。
　（ａ）皺眉筋３０１の収縮時に起伏するポイントＰａ，３１１、
　（ｂ）眼輪筋３０２の動き、すなわち目の動きに応じて大きく動くポイントＰｂ，３１２、
　（ｃ）大頬骨筋３０３の収縮時に起伏するポイントＰｃ，３１３、
　なお、ポイントＰｂ，Ｐｃは左右に１つずつ、存在する。

　これらのポイントＰａ，Ｐｂ，Ｐｃを反射光計測ポイントとして設定し、その反射光を解析することで、ユーザの表情（笑い、怒り、悲しみ等）を高精度に解析することができる。

　図８を参照して、これら複数の計測ポイントの皮膚に光を照射しその反射光を取得するための具体的構成例について説明する。
　図８（ａ）は図７を参照して説明した人の顔の表情を超え精度に解析するための複数の計測ポイント（図８（ａ）に示す５つの○印）を示した図である。

　図８（ｂ）は、図８（ａ）に示す５つの計測ポイントに対応する皮膚の位置に光を照射しその反射光を取得するための具体的なセンサの設定例を示す図である。
　図８（ｂ）にはユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）２０を示している。

　図８（ｂ）の上部にはユーザがＨＭＤ２０を装着した図を示している。中段には、ＨＭＤ２０の装着側の面、すなわちユーザの眼に当接する側の面を示している。図８（ｂ）の中段に示す図の中央２つの白い矩形領域（Ｌ，Ｒ）はそれぞれＬがユーザの左眼によって観察される画像の表示領域であり、Ｒがユーザの右眼によって観察される画像の表示領域である。

　このＨＭＤのユーザ装着面に複数のセンサ、すなわち発光素子と受光素子から構成されるセンサを設ける。
　図８（ｂ）の中段のＨＭＤユーザ装着面の図中に示す５つの白丸がセンサである。
　各センサは、図８（ｂ）の下段に示すように、発光素子３４１と受光素子３４２のペアを持つ構成である。

　発光素子３４１、受光素子３４２は、図１に示す情報処理装置１００の発光部１０２と受光部１０３に相当する。
　発光素子３４１から出力された光がユーザの皮膚、および皮膚内部の生体組織（血管等）に反射し、反射光を受光素子３４２によって検出し、検出した反射光信号が発光信号解析部１０４において解析される。

　図８（ｂ）中段のＨＭＤユーザ装着面に示すように、ＨＭＤには、以下の５つのセンサが設けられている。
　皺眉筋収縮時起伏ポイント計測センサ（Ｓａ）３２１、
　左目動き計測センサ（ＳｂＬ）３２２Ｌ，
　右目動き計測センサ（ＳｂＲ）３２２Ｒ，
　左大頬骨筋収縮時起伏ポイント計測センサ（ＳｃＬ）３２３Ｌ、
　右大頬骨筋収縮時起伏ポイント計測センサ（ＳｃＲ）３２３Ｒ、

　これら５つのセンサは、先に図７を参照して説明したように人の表情（笑い、怒り、悲しみ等の表情）に応じて大きな動きを示す皮膚の位置に対応付けて設けられたものである。
　これらの複数のセンサの皮膚反射光を解析することで、人の表情を高精度に解析することができる。
　なお、これらの５つのポイントにおける表情変化に伴う反射光の特徴データは、予め実行された学習処理等により取得され表情解析用情報記憶部２１４に格納済みである。

　図４に示す表情解析結果生成部２１３は、計測対象者であるユーザの装着したＨＭＤの５つのセンサが取得した５つの信号（皮膚反射光信号）と、表情解析用情報記憶部２１４に登録された様々な表情、すなわち笑い、怒り、悲しみ等の表情に応じた顔の皮膚の動きの典型的データパターンとを比較照合して、ユーザ（解析対象者）１０の顔の表情が笑い、怒り、悲しみ等のどの表情であるかを判別する。この判別結果を表情解析情報１２１として出力する。

　なお、図８に示すセンサの取り付け位置は、一例であり、さらに多くのセンサを設ける構成としてもよい。例えば図９に示す例は、図８に示す５つのセンサに加え、以下のセンサを持つＨＭＤである。
　左内耳部動き計測センサ（ＳｄＬ）３２４Ｌ、
　右内耳部動き計測センサ（ＳｄＬ）３２４Ｒ、
　左こめかみ動き計測センサ（ＳｅＬ）３２５Ｌ、
　右こめかみ動き計測センサ（ＳｅＲ）３２５Ｒ、
　左大頬骨筋収縮時起伏第２ポイント計測センサ（ＳｆＬ）３２６Ｌ、
　右大頬骨筋収縮時起伏第２ポイント計測センサ（ＳｆＲ）３２６Ｒ、
　また、ここではＨＭＤを用いた構成例について説明するが、本開示は、ＨＭＤに限らず、顔に装着するウェアラブル機器全般（ヘッドホン、イヤホン等）を利用した構成にも適用可能である

　例えば、これらのポイントの反射光の変化データついても、予め学習処理によって取得し、表情解析用情報記憶部２１４に格納しておく。

　図４に示す表情解析結果生成部２１３は、計測対象者であるユーザの装着したＨＭＤの各センサが取得した信号（皮膚反射光信号）と、表情解析用情報記憶部２１４に登録された様々な表情、すなわち笑い、怒り、悲しみ等の表情に応じた顔の皮膚の動きの特徴データ、すなわち典型的なデータパターンとを比較照合して、ユーザ（解析対象者）１０の顔の表情が笑い、怒り、悲しみ等のどの表情であるかを判別する。この判別結果を表情解析情報１２１として出力する。
　このようにセンサ位置を多く設けることで、より高精度な表情解析が可能となる。

　なお、本開示の構成では、１つのセンサの検出情報に基づいて表情解析処理や生体解析処理を併せて実行することを可能としているが、さらに、以下のような構成としてもよい。例えば光源に赤外線レーザーを使用して表情情報と併せて血流量・血流速度を測定するセンサを利用した構成としてもよい。具体的には、例えば２波長のＬＥＤを光源にすることで、表情情報と併せて動脈血酸素飽和度を測定するセンサを利用した構成が可能である。

　　［４．高精度な表情解析処理を実現するための構成と処理について］
　次に、本開示の情報処理装置１００において、ユーザ（解析対象者）１０の表情解析を高精度に実行するための構成と処理について説明する。

　先に説明したように、図４に示す表情解析結果生成部２１３は、計測対象者であるユーザの装着したＨＭＤのセンサが取得した信号（皮膚反射光信号）と、表情解析用情報記憶部２１４に登録された様々な表情、すなわち笑い、怒り、悲しみ等の表情に応じた顔の皮膚の動きの典型的データパターンとを比較照合して、ユーザ（解析対象者）１０の顔の表情が笑い、怒り、悲しみ等のどの表情であるかを判別する。この判別結果を表情解析情報１２１として出力する。

　表情解析用情報記憶部２１４には、表情変化に伴う反射光の特徴データ、すなわち学習モデルが格納されている。表情解析用情報記憶部２１４のデータは、予め実行された学習処理等により取得され表情解析用情報記憶部２１４に格納されたモデルデータである。具体的には、複数の異なる表情に対応する表情ラベルと、皮膚表面の動きを反映した皮膚表面の反射光信号の特徴データとの対応データを有する学習モデル（表情モデル）が格納される。

　以下、この学習処理の一例について説明する。
　図１０は、表情解析用情報記憶部２１４に格納する学習モデルを生成するために取得した信号の例を示している。
　図１０に示すデータは、ＨＭＤの各位置に取り付けられたセンサからの入力信号を時間軸に沿って示したデータである。
　左から右に時間が経過する。

　図１０には、以下の７つの信号Ｓ１～Ｓ７の時系列データを示している。
　信号Ｓ１：眉間部信号（皺眉筋収縮時起伏ポイント計測信号）
　信号Ｓ２：左眉頭部信号（左こめかみ動き計測信号）
　信号Ｓ３：右眉頭部信号（右こめかみ動き計測信号）
　信号Ｓ４：左小鼻横部信号（左目動き計測信号）
　信号Ｓ５：右小鼻横部信号（右目動き計測信号）
　信号Ｓ６：左頬部信号（左大頬骨筋収縮時起伏ポイント計測信号）
　信号Ｓ７：右頬部信号（右大頬骨筋収縮時起伏ポイント計測信号）

　これらの各信号は、ユーザ（解析対象者）１０の顔の表情（笑い、怒り、悲しみ等）に応じて変化する。
　例えば、
　時間ｔ１～ｔ２が笑い顔、
　時間ｔ３～ｔ４が怒り顔、
　時間ｔ５～ｔ６が笑い顔、
　時間ｔ７～ｔ８が怒り顔、
　である。
　信号Ｓ１～Ｓ７は、例えば時間ｔ１～ｔ２と時間ｔ５～ｔ６の笑い顔の期間は同じような信号変化を示している。
　また、例えば時間ｔ３～ｔ４と時間ｔ７～ｔ８の怒り顔の期間は同じような信号変化を示している。

　このように信号変化の特徴からユーザの表情を解析することが可能となる。
　このためには、これらの特徴データを有する学習モデルを構築することが必要となる。
　この学習モデルの生成処理について説明する。

　まず、図１０に示すようなデータを取得し、取得データの正規化処理（Ｎｏｒｎａｌｉｚａｔｉｏｎ）を実行する。正規化後のデータ例を図１１に示す。
　正規化処理は、ユーザの真顔状態の各信号（Ｓ１～Ｓ７）をベースライン（例えば出力０）に設定する処理として実行される。

　例えば、ＨＭＤを装着したユーザに真顔を作ってもらい、そのとき各センサから取得される出力値をベースライン（例えば出力０）に設定するキャリブレーションを実行すればよい。
　なお、ＨＭＤの装着ズレ等に由来するベースラインの変動を抑制するため、一定時間センサ信号の変動がなければ真顔とみなして、この時の検出値をベースライン（例えば出力０）に設定する処理を行ってもよい。

　この正規化データに基づく学習モデルの生成処理の一例について図１２以下を参照して説明する。
　学習モデルを構築するための機械学習処理の手法としては、例えば隠れマルコフモデルが利用可能である。
　学習モデルは各個人対応のモデルとして構築することも可能であり、ユーザを特定しない汎用的なモデルを生成することも可能である。なお、汎用モデルを構築する場合には、学習に適用するためのサンプルデータを多数取得してモデル構築を行うことが好ましい。

　学習モデルは、例えば、ユーザの表情、例えば真顔、笑顔、怒り顔、悲しい顔等の表情単位のラベルを、信号特徴に対応付けたモデルとして生成される。
　図１２に示す時系列信号は、図１０の信号の正規化信号、すなわち図１１に示す信号と同様の信号である。
　時間ｔ１～ｔ２が笑顔、
　時間ｔ３～ｔ４が怒り顔、
　時間ｔ５～ｔ６が笑顔、
　時間ｔ７～ｔ８が怒り顔、
　である。

　なお、真顔から笑顔になる時間や、真顔から怒り顔になる時間においてセンサの検出信号が大きく変化する。同様に、笑顔から真顔に戻る時間や怒り顔から真顔に戻る時間にもセンサの検出信号が大きく変化する。

　真顔から笑顔になる時間や、真顔から怒り顔になる時間や区間をオンセット時間、オンセット区間と呼ぶ。
　一方、笑顔から真顔に戻る時間や怒り顔から真顔に戻る時間や区間をオフセット時間、オフセット区間と呼ぶ。
　図１２の下段に示すように、笑顔、真顔、怒り顔の各表情の変化の間にはオンセット区間、またはオフセット区間が必ず存在する。
　このオンセット区間やオフセット区間の信号変化の特徴データを解析すれば、
　ユーザの表情の変化をより確実に解析することが可能となる。

　図１３は、学習処理による学習モデルの構築処理と、構築した学習モデルを利用した表情解析処理の実行シーケンスを示す図である。
　（Ａ）学習時は、学習処理による学習モデルの構築処理のシーケンスを示した図である。
　（Ｂ）表情解析処理実行時は、構築した学習モデルを利用した表情解析処理の実行シーケンスを示す図である。

　まず、（Ａ）学習時は、
　入力データとして、以下のデータを入力する。
　（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）
　（２）表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）

　「（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）」とは、ＨＭＤに装着されたセンサからの出力信号の時系列データである。すなわち、先に図１０を参照して説明した信号Ｓ１～Ｓ７等のデータである。
　「（２）表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）」とは予め規定した表情単位のラベルである。学習モデルにはこのラベル対応の特徴データが対応付けられることになる。

　学習器４０１にこれらの入力データ、すなわち以下のデータを入力する。
　（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）
　（２）表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）

　学習器４０１は、これらの入力データに基づく学習処理を実行する。すなわち、各ラベルに対して信号の特徴データを対応付ける処理を実行する。
　この学習処理によって、図１３（Ａ）学習時の出力として示す表情モデル、すなわち、学習モデルである表情モデルが生成され、表情解析用情報記憶部２１４に格納される。

　表情解析用情報記憶部２１４には、表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）対応の特徴データが対応付けられた学習モデル（表情モデル）が格納されることになる。
　なお、このモデルの特徴データには、先に図１２を参照して説明したオンセットやオフセットタイミングの信号変化データも含まれる。

　図１３に示す（Ｂ）表情解析処理実行時は、構築した学習モデルを利用した表情解析処理の実行シーケンスを示す図である。
　この（Ｂ）表情解析処理実行時の入力データは、
　（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）
　である。

　この入力データが、受光信号解析部１０４に入力される。
　図４を参照して説明した受光信号解析部１０４の表情解析部２１０は、表情解析用情報記憶部２１４に記録された学習モデル、すなわち、表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）対応の特徴データが対応付けられた学習モデル（表情モデル）を参照して、入力信号に最も類似すると判定される特徴データを選択して、その特徴データに対応付けられた表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）を選択して、出力する。

　この（Ｂ）表情解析処理実行時の出力データは、
　（１）表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）
　である。
　このように、表情解析処理実行時には、事前に生成した学習モデル、すなわち表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・）対応の特徴データが対応付けられた学習モデル（表情モデル）を利用して、ユーザの表情解析が実行される。

　図１４は、学習モデルの生成処理の具体例を説明する図である。
　図１４は、隠れマルコフモデル（ＨＭＭ）を利用した学習モデル生成処理の一例を示している。
　図１４に示す（ステップＳ０１），（ステップＳ０２）の手順で処理を実行する。
　各ステップの処理について説明する。

　　（ステップＳ０１）
　まず、ステップＳ０１において、オンセット区間を自動または手動で切り出してラベル付けを行う。
　例えば学習モデル生成対象となるユーザに、システム（情報処理装置）、またはオペレータが「今から笑顔を作ってください」と指示を行う。
　システム（情報処理装置）は、この指示に応じたユーザの表情変化に伴うセンサ検出値を解析する。
　図に示す例は、ユーザが真顔から笑顔になる過程、すなわちオンセット区間のセンサ取得値の解析例である。

　図に示す例は、ユーザの顔の３個所の異なる位置に取り付けたセンサの検出値の時系列データを解析した例である。
　例えば、予め規定した期間（例えば０．２秒間）単位で、信号の変化を解析する。具体的には、予め規定した期間（例えば０．２秒間）の分散が予め規定した閾値を超えたとき、真顔から笑顔への表情変化があったとみなし、この区間をオンセット区間として切り出す。

　　（ステップＳ０２）
　ステップＳ０１の処理を繰り返し実行して、複数のデータを取得し、複数データから得られる共通の特徴データ、例えば平均値等を取得して笑顔対応の特徴データとして記録する。

　なお、前述したように学習モデルは、個人対応の学習モデルを構築する構成としもよく、また、複数の被験者から得たデータに基づいて様々なユーザに適用可能な汎用的な学習モデルを構築することも可能である。
　個人対応の学習モデルを生成する場合は、ステップＳ０２で収集するデータはその特定個人のデータである。

　一方、汎用的な学習モデルを生成する場合は、ステップＳ０２で収集するデータは様々な異なる被験者から得たデータとする。
　例えば、多数の被験者から多数のデータ、すなわち大規模データが収集可能な場合は、多層型のニューラルネットワークであるＤＮＮ（Ｄｅａｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）による機械学習を適用して汎用的な学習モデルを構築することが可能である。

　図１５は、図１４に示す処理に従って生成した学習モデル（隠れマルコフモデル）を利用した表情解析処理の具体例について説明する図である。

　図１５（処理）に示すように、ユーザの表情解析を実行する情報処理装置は、まず、ユーザの顔の皮膚の反射光を検出するセンサの取得信号を取得する。
　さらに、取得信号に対する解析データ、例えば分散などに基づき、オンセット区間と推定される区間のデータを切り出す。
　さらに、切り出したデータと、学習モデル（表情モデル）の各表情ラベル対応の特徴データとの尤度を算出する。
　最後に、尤度の高い（類似度の高い）特徴データに対応して設定された表情ラベルを、ユーザの表情であると判定する。
　これらの処理によって、ユーザの表情の解析が実行される。

　なお、図１５を参照して説明した表情解析処理では、ユーザの表情の種類（笑顔）のみを判別しているが、笑顔の強度、すなわち強い笑顔や弱い笑顔等、表情の強度を解析するための学習モデルを生成して、その学習モデルを適用することでユーザの表情の強度を算出することも可能である。

　図１６を参照して、表情強度の算出処理例について説明する。
　図１６に示す例は、笑顔の強度の推定処理例である。学習処理時にユーザから得られる信号値中、ベースライン（真顔時）からのかい離度が最も大きい信号値（ラインａ）を笑顔の最大値（笑顔度＝１００％）として学習モデルに記録する。

　ユーザ表情解析時に得られるデータ（計測信号）について、笑顔の最大値（笑顔度＝１００％）を示すラインａに対する比率を算出することで、ユーザの笑顔の強度を算出することができる。
　図に示すポイントｐａでは笑顔強度＝８０％であり、ポイントｐｂでは笑顔強度＝２０％と推定することができる。

　なお、図１４～図１６では、笑顔解析についてのみ説明したが、怒り顔や悲しい顔等も特徴データが異なるのみであり、処理手順は同様のものとなる。

　　［５．生体情報の解析処理の具体例について］
　次に、図４に示す受光信号解析部１０４の生体信号解析部２２０が実行する生体情報の解析処理の具体例について説明する。

　先に図４を参照して説明したように、図４に示す受光信号解析部１０４の生体信号解析部２２０は、受光部１０３の受光信号から、皮膚内部の生体組織の反射光（散乱光）を選択抽出してユーザの生体情報解析を実行して、解析結果として生体解析情報１２２を生成して出力する。

　受光部１０３の受光信号に含まれる高周波成分は、皮膚内部の血管における血流によって発生する周期的な変動を反映した信号であり、生体情報解析に用いることができる。
　生体信号解析部２２０は、受光部１０３の受光信号に含まれる高周波成分を解析して、例えば血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等の生体情報を解析する。

　図１７には、以下の２つのユーザ状態における心拍間隔（ＲＲＩ（ｍｓ））の時間推移データを示している。
　（ａ）ストレスのある状態
　（ｂ）リラックスした状態
　図に示すように、各状態に応じて、ユーザの心拍間隔の時間推移に伴う変化は、明らかに異なる特徴を有する。

　これらの各状態に応じた特徴データを学習データとして記録し、この学習データを用いた解析処理を行うことでユーザの状態を推定することが可能となる。

　このように、血流量や脈波や酸素飽和度などの生体情報は自律神経活動の影響を受ける。すなわち、緊張や、興奮、ストレスなどのユーザの内的状態に応じて変化する。
　従って、例えばユーザの心拍間隔の変動を観測することでユーザの内的状態、すなわち、ユーザがストレスを感じているか、リラックスしているかを判定することができる。

　図１８に示すフローチャートは、図４に示す受光信号解析部１０４の生体信号解析部２２０が実行する生体情報の解析処理の一つの処理シーケンス例を説明するフローチャートである。
　なお、図１８以下に示すフローチャートに従った処理は、情報処理装置１００の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、フローの各ステップの処理について、順次、説明する。
　なお、図１８に示すフローは、図４に示す受光信号解析部１０４の生体信号解析部２２０内の生体信号解析結果生成部２２５が実行する処理のシーケンスである。

　　（ステップＳ１０１）
　まず、生体信号解析部２２０の生体信号解析結果生成部２２５は、受光部１０３の受光信号に含まれる高周波成分の解析処理により、脈波、血流量等の時系列データを取得する。

　先に図４を参照して説明したように、生体信号解析結果生成部２２５は、ハイパスフィルタ（高周波成分抽出部）２２１が抽出した生体情報解析用信号（受光部検出信号中の高周波成分）と、生体信号解析用情報記憶部２２６の登録データ、すなわち血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等の各状態に応じたデータとを比較照合して、ユーザ（解析対象者）１０の生体情報、例えば脈波、血流量等の時系列データを生成する。

　　（ステップＳ１１１～Ｓ１１３）
　次のステップＳ１１１～Ｓ１１３の処理と、ステップＳ１２１～Ｓ１２２の処理は、生体信号解析結果生成部２２５において、いずれか一方、あるいは並列に実行される処理である。
　まず、ステップＳ１１１～Ｓ１１３の処理について説明する。

　ステップＳ１１１では、脈波、血流量の時系列変化データからピーク、平均値、分散等を算出する。
　次にステップＳ１１２において、ステップＳ１１１で取得したデータから、心拍変動時系列データを生成する。心拍変動時系列データとは、例えば図１７に示すデータである。
　最後に、ステップＳ１１３において、心拍変動時系列データに基づいて、ストレス指標値（ＬＨ／ＨＦ（＝（Ｌｏｗ　Ｆｒｅｑｕｅｎｃｙ）／（Ｈｉｇｈ　Ｆｒｅｑｕｅｎｃｙ））を算出して、これを生体解析情報１２２として出力する。

　ストレス指標値（ＬＨ／ＨＦ）とは、心拍変動時系列データに基づいて算出されるストレス指標値である。（ＬＨ／ＨＦ）は、交感神経（ＬＦ）、副交感神経（ＨＦ）のパランス値であり、このバランス値に基づいてユーザのストレス度を判定する。
　なお、心拍変動時系列データに基づくストレス指標値（ＬＨ／ＨＦ）の算出処理自体は従来から知られた既存技術である。

　　（ステップＳ１２１～Ｓ１２２）
　次に、ステップＳ１２１～Ｓ１２２の処理について説明する。

　ステップＳ１２２において、脈波、血流量の時系列変化データから、脈波、血流量のベースラインからの変動量を算出する。
　なお、この場合のベースラインとは、正常時における脈波、血流量の状態値に相当する。

　次に、ステップＳ１２２において、脈波、血流量のベースラインからの変動量に基づいてユーザの情動（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等）を推定し、これを生体解析情報１２２として出力する。

　なお、この情動推定処理は、予め実行した学習処理によって生成した学習モデルを適用して実行する。具体的には、検出したユーザの生体情報と学習モデルに登録された各情動（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等）ラベル対応の特徴データとを比較し、尤度（類似度）の高い特徴データに対応するラベルを選択する。

　　［６．高精度な情動推定処理を実行する実施例について］
　次に、実施例２として、高精度な情動推定処理を実行する実施例について説明する。

　図１８を参照して説明したように、図４に示す受光信号解析部１０４の生体信号解析部２２０は、受光部１０３の受光信号から、皮膚内部の生体組織の反射光（散乱光）を選択抽出してユーザの生体情報解析を実行する。
　この生体情報解析処理の一つとして、ユーザの情動（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等）の解析を行うことができる。

　以下に説明する実施例は、さらに、高精度な情動解析を行う実施例である。具体的には、図４に示す受光信号解析部１０４の生体信号解析部２２０の解析情報のみならず、表情解析部２１０の解析結果も利用して高精度な情動解析実行する。

　図１９は、本実施例２の受光信号解析部１０４の構成例を示す図である。
　図１９に示す本実施例２の受光信号解析部１０４は、先に説明した図４に示す受光信号解析部１０４に高精度情動解析部２３０と、高精度情動解析用情報記憶部２３１を追加した構成である。

　高精度情動解析部２３０は、表情解析部２１０の解析結果である表情解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２を入力して高精度情動解析情報１２３を生成して出力する。

　高精度情動解析用情報記憶部２３１には予め実行された学習処理によって生成された学習モデル（情動モデル）が格納されている。具体的には、各情動（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等のラベル）対応の特徴データが格納されている。
　高精度情動解析用情報記憶部２３１には、複数の異なる情動状態に対応する特徴データを対応付けた学習モデルが格納される。特徴データには、表情情報と生体情報各々の特徴データが含まれる。

　高精度情動解析部２３０は、表情解析部２１０の解析結果である表上解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２を用いた解析結果と、高精度情動解析用情報記憶部２３１に格納された情動モデルとの照合処理により、高精度情動解析情報１２３を生成して出力する。

　本実施例２は、ユーザの生体情報のみにならず、表情情報も考慮して情動推定する。
　表情を利用した情動推定処理手法について、参照して説明する。
　図２０には、ラッセル（Ｒｕｓｓｅｌ）の円環モデルを示している。
　ラッセル（Ｒｕｓｓｅｌ）の円環モデルは、人の感情の状態である情動（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等）を、
　（１）覚醒度（Ａｒｏｕｓａｌ）、
　（２）感情バランス（Ｖａｌｅｎｃｅ）（ポジティブ／ネガティブ）、
　これらの２軸で表現したデータである。

　縦軸が覚醒度（Ａｒｏｕｓａｌ）を示すＡ値、横軸が感情バランス（Ｖａｌｅｎｃｅ）（ポジティブ／ネガティブ）を示すＶ値である。
　Ａ値とＶ値の組み合わせであるＡＶ値を用いることで、人の感情の状態である情動（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等）を数値化して示すことができる。

　例えば、生体情報（バイタルデータ）から情動を推定する場合、このＡＶ値の正規化値）が用いられる。しかし、生体情報（バイタルデータ）のみから情動を推定すると必ずしも正しい情報が得られない場合がある。
　その理由の１つは、生体情報は、情動以外にも様々な要因が影響することである。
　さらに、図２０を参照して説明した情動モデル（Ｒｕｓｓｅｌｌの円環モデル）において、覚醒度（Ａｒｏｕｓａｌ）は生体情報から推定しやすいが、感情バランス（Ｖａｌｅｎｃｅ）（ポジティブ／ネガティブ）は、生体情報のみから推定することが困難であるという理由もある。

　感情バランス（Ｖａｌｅｎｃｅ）（ポジティブ／ネガティブ）は、生体情報のみではなく、表情情報を利用することで、高精度に推定することが可能となる。

　以下において説明する実施例２は、生体情報のみならず、表情情報も利用してユーザの情動を高精度に解析する実施例である。
　図２１は、本実施例２の情報処理装置１００が実行する学習処理による学習モデルの構築処理と、構築した学習モデルを利用した情動解析処理の実行シーケンスを示す図である。
　（Ａ）学習時は、学習処理による学習モデルの構築処理のシーケンスを示した図である。
　（Ｂ）情動解析処理実行時は、構築した学習モデルを利用した情動解析処理の実行シーケンスを示す図である。

　まず、（Ａ）学習時は、
　入力データとして、以下のデータを入力する。
　（１）表情解析情報（表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・））
　（２）生体解析情報（生体情報特徴量）
　（３）ユーザのＡＶ値

　（１）表情解析情報（表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・））は、表情解析部２１０における解析結果として得られる情報である。
　（２）生体解析情報（生体情報特徴量）は、生体信号解析部２２０における解析結果として得られる生体解析情報である具体的には、血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度等の生体情報である。
　（３）ユーザのＡＶ値は、図２０を参照して説明したラッセル（Ｒｕｓｓｅｌ）の円環モデルにおける覚醒度（Ａｒｏｕｓａｌ）を示すＡ値と、感情バランス（Ｖａｌｅｎｃｅ）（ポジティブ／ネガティブ）を示すＶ値との組み合わせデータである。
　このデータは、例えばユーザに対する感情状態に対する質問に対する回答結果から取得する。

　学習器４２１にこれらの入力データ、すなわち以下のデータを入力する。
　（１）表情解析情報（表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・））
　（２）生体解析情報（生体情報特徴量）
　（３）ユーザのＡＶ値

　学習器４２１は、これらの入力データに基づく学習処理を実行する。具体的には、ユーザのＡＶ値に対して、
　（１）表情解析情報（表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・））
　（２）生体解析情報（生体情報特徴量）
　これらの特徴データを対応付ける処理を実行する。
　この学習処理によって、図２１（Ａ）学習時の出力として示す情動モデル、すなわち、学習モデルである情動モデルが生成され、高精度情動解析用情報記憶部２３１に格納される。

　高精度情動解析用情報記憶部２３１には、情動ラベル（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等のラベル）、あるいは、図２０を参照して説明したラッセル（Ｒｕｓｓｅｌ）の円環モデルにおけるＡＶ値に特徴データが対応付けて記録されている。
　特徴データには、表情解析情報（表情ラベル）と、生体解析情報（生体情報特徴量）が含まれる。

　図２１に示す（Ｂ）情動解析処理実行時は、構築した学習モデルを利用した情動解析処理の実行シーケンスを示す図である。
　この（Ｂ）情動解析処理実行時の入力データは、
　（１）表情解析情報（表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・））
　（２）生体解析情報（生体情報特徴量）
　である。

　この入力データが、受光信号解析部１０４の高精度情動解析部２３０に入力される。
　図１９を参照して説明したように、表情解析部２１０の解析結果である表情解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２を入力して高精度情動解析情報１２３を生成して出力する。

　表情解析部２１０の解析結果である表情解析情報１２１が上記の入力「（１）表情解析情報（表情ラベル（１：真顔、２：笑顔、３：怒り顔・・・））」に対応する。
　また、生体信号解析部２２０の解析結果である生体解析情報１２２が上記の入力「（２）生体解析情報（生体情報特徴量）」に対応する。

　高精度情動解析部２３０は、これらの入力情報の有する特徴量（表情ラベルと生体特徴量）と、情動解析用情報記憶部２３１に記録された学習モデル対応の特徴データとを比較して、入力信号に最も尤度の高い、すなわち類似すると判定される特徴データを選択して、その特徴データに対応付けられた情動情報、例えば、（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等）等の情動情報、あるいは情動対応の指標値であるＡＶ値を選択して出力する。

　このように、高精度情動解析処理実行時には、事前に生成した学習モデル（情動モデル）を利用して、ユーザの高精度な情動解析が実行される。

　次に、図１９に示す受光信号解析部１０４が実行する処理のシーケンスについて図２２に示すフローチャートを参照して説明する。
　図２２に示すフローチャートの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　まず、ステップＳ２０１において、受光部１０３の受光信号を入力する。なお、先に説明したように、受光部１０３の受光信号は、以下の２種類の反射光が混在する信号である。
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）

　　（ステップＳ２１１～Ｓ２１２）
　ステップＳ２１１～Ｓ２１２は、図１９に示す表情解析部２１０が実行する処理である。
　表情解析部２１０は、上記２種類の信号が混在した信号から、「（１）皮膚表面の反射光」を選択抽出する処理を実行してユーザの表情解析を実行して、解析結果として表情解析情報１２１を生成して出力する。

　　（ステップＳ２２１～Ｓ２２２）
　ステップＳ２２１～Ｓ２２２は、図１９に示す生体信号解析部２２０が実行する処理である。
　生体信号解析部２２０は、上記２種類の信号が混在した信号から、「（２）皮膚内部の生体組織の反射光（散乱光）」を選択抽出する処理を実行してユーザの生体情報解析を実行して、解析結果として生体解析情報１２２を生成して出力する。

　　（ステップＳ２３１～Ｓ２３２）
　ステップＳ２３１～Ｓ２３２は、図１９に示す高精度情動解析部２３０が実行する処理である。高精度情動解析部２３０は、表情解析部２１０の解析結果である表情解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２を入力して高精度情動解析情報１２３を生成して出力する。

　この処理は、先に図２１（Ｂ）を参照して説明した処理である。
　高精度情動解析部２３０は、表情解析部２１０の解析結果である表上解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２を用いた解析結果と、高精度情動解析用情報記憶部２３１に格納された情動モデルとの照合処理により、高精度情動解析情報１２３を生成して出力する。

　高精度情動解析部２３０は、表情解析部２１０の解析結果である表上解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２の特徴量にもっととも近い特徴量を持つラベル（＝情動ラベル（歓喜、驚き、怒り、悲しみ、恐怖、嫌悪等のラベル））、あるいはＡＶ値を選択して、これを高精度情動解析情報１２３として出力する。

　　［７．本開示の情報処理装置の解析結果の利用例について］
　次に、本開示の情報処理装置の解析結果の利用例について説明する。
　以下の複数の処理例について説明する。
　（１）ゲームイベントの制御に利用する処理例
　（２）ユーザの表情の真偽の判定に利用する処理例
　（３）ユーザの表情筋トレーニングに利用する処理例
　（４）アバターの制御に利用する処理例
　（５）ユーザの気合判定に利用する処理例

　　［７－（１）ゲームイベントの制御に利用する処理例］
　まず、本開示の情報処理装置の解析結果をゲームイベントの制御に利用する処理例について説明する。

　図２３は、本処理例の処理シーケンスを説明するフローチャートである。
　図２３に示すフローチャートの各ステップの処理について説明する。なお、図２３に示すフローチャートのステップＳ２０１，Ｓ２１１，Ｓ２２１，Ｓ２３１の各処理は、先に図２２を参照して説明したフロー中のステップＳ２０１，Ｓ２１１，Ｓ２２１，Ｓ２３１の処理と同様の処理である。
　ただし、ここで情動解析対象となるユーザは、ゲームを実行中のユーザである。

　　（ステップＳ２０１～Ｓ２３１）
　ステップＳ２０１において、受光部１０３の受光信号を入力する。なお、先に説明したように、受光部１０３の受光信号は、以下の２種類の反射光が混在する信号である。
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）

　ステップＳ２１１は、図１９に示す表情解析部２１０が実行する処理である。
　表情解析部２１０は、上記２種類の信号が混在した信号から、「（１）皮膚表面の反射光」を選択抽出する処理を実行してユーザの表情解析を実行して、解析結果として表情解析情報１２１を生成して高精度情動解析部２３０に出力する。

　ステップＳ２２１は、図１９に示す生体信号解析部２２０が実行する処理である。
　生体信号解析部２２０は、上記２種類の信号が混在した信号から、「（２）皮膚内部の生体組織の反射光（散乱光）」を選択抽出する処理を実行してユーザの生体情報解析を実行して、解析結果として生体解析情報１２２を生成して高精度情動解析部２３０に出力する。

　ステップＳ２３１は、図１９に示す高精度情動解析部２３０が実行する処理である。高精度情動解析部２３０は、表情解析部２１０の解析結果である表情解析情報１２１と、生体信号解析部２２０の解析結果である生体解析情報１２２を入力して高精度情動解析情報１２３を生成する。

　　（ステップＳ２４０）
　ステップＳ２４０は、高精度情動解析部２３０が生成した高精度情動解析情報１２３を利用した処理であり、本処理例では、ゲーム制御部が実行する処理である。
　ゲーム制御部は、高精度情動解析部２３０が生成した高精度情動解析情報１２３を入力して、図に示すステップＳ２４１～Ｓ２４３の処理を実行する。

　　（ステップＳ２４１）
　まず、ゲーム制御部は、ステップＳ２４１において、ゲーム実行ユーザの情動解析結果を入力し、入力した情動解析結果に基づいてユーザのゲームに対する集中度を判定する。

　　（ステップＳ２４２）
　ステップＳ２４２では、ステップＳ２４１におけるゲーム集中度判定処理の結果として、ユーザがゲームに飽きているか否かを判定する。
　ユーザがゲームに飽きていないと判定した場合はステップＳ２４１に戻り、ユーザの情動解析結果に基づくユーザのゲームに対する集中度判定を継続する。
　一方、ユーザがゲームに飽きていると判定した場合はステップＳ２４３に進む。

　　（ステップＳ２４３）
　ステップＳ２４２において、ユーザがゲームに飽きていると判定した場合はステップＳ２３３に進む。
　ステップＳ２４３では、ゲーム制御部が、ゲームにおける新たなイベントを発生させる制御を実行する。
　例えばステージの変更、新たなキャラクタの出現等のイベント発生処理を行う。

　このようにゲーム実行ユーザの情動に基づくゲーム制御を行うことで、ユーザを飽きさせないゲーム展開を行うことが可能となる。

　　［７－（２）ユーザの表情の真偽の判定に利用する処理例］
　次に、本開示の情報処理装置の解析結果をユーザの表情の真偽の判定に利用する処理例について説明する。

　ユーザの表情は、表情解析処理によって解析結果が得られる。例えば笑顔であるとの判定等が得られる。しかし、この笑顔がユーザの本当の感情とは異なる作り笑いである場合もある。
　以下に説明する処理例は、このような作り笑いと本当の心からの笑い等の区別、すなわちユーザ表情がユーザの感情を反映した真の表情であるか否かを判定する処理例である。

　図２４は、本処理例の処理シーケンスを説明するフローチャートである。
　図２４に示すフローチャートの各ステップの処理について説明する。なお、図２４に示すフローチャートのステップＳ２０１，Ｓ２１１，Ｓ２１２，Ｓ２２１，Ｓ２３１の各処理は、先に図２２を参照して説明したフロー中のステップＳ２０１，Ｓ２１１，Ｓ２１２，Ｓ２２１，Ｓ２３１の処理と同様の処理である。

　ステップＳ２１１～Ｓ２１２は、図１９に示す表情解析部２１０が実行する処理である。
　表情解析部２１０は、上記２種類の信号が混在した信号から、「（１）皮膚表面の反射光」を選択抽出する処理を実行してユーザの表情解析を実行して、解析結果として表情解析情報１２１を生成して高精度情動解析部２３０に出力し、さらに、ステップＳ２５０の処理を実行する表情真偽判定部にも出力する。

　　（ステップＳ２５０）
　ステップＳ２５０は、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３を利用した処理であり、本処理例では、ユーザ表情の真偽を判定する表情真偽判定部が実行する処理である。
　表情真偽判定部は、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３を入力して、図に示すステップＳ２５１～Ｓ２５３の処理を実行する。

　　（ステップＳ２５１）
　まず、表情真偽判定部は、ステップＳ２５１において、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３を比較する。

　　（ステップＳ２５２）
　ステップＳ２５２では、ステップＳ２５１における比較結果の一致、不一致判定を行う。
　表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３が一致する場合は、ステップＳ２５３に進む。
　一方、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３が一致しない場合は、ステップＳ２５４に進む。

　　（ステップＳ２５３）
　ステップＳ２５２において、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３が一致する場合は、ステップＳ２５３に進む。

　表情真偽判定部は、ステップＳ２５３において、ユーザの表情がユーザの情動を反映した真の表情であると判定する。

　　（ステップＳ２５４）
　一方、ステップＳ２５２において、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３が一致しない場合は、ステップＳ２５４に進む。

　表情真偽判定部は、ステップＳ２５４において、ユーザの表情がユーザの情動を反映していない偽の表情であると判定する。

　このようにユーザの表情と情動を比較することで、ユーザの表情が心の状態を反映した真の表情であるか否かを判定することが可能となる。

　　［７－（３）ユーザの表情筋トレーニングに利用する処理例］
　次に、本開示の情報処理装置の解析結果をユーザの表情筋トレーニングに利用する処理例について説明する。

　図２５は、本処理例の処理シーケンスを説明するフローチャートである。
　図２５に示すフローチャートの各ステップの処理について説明する。なお、ここで情動解析対象となるユーザは、表情筋をトレーニング中のユーザである。

　　（ステップＳ３０１）
　まず、ステップＳ３０１において、ユーザに対して特定の表情筋トレーニング開始を指示する。
　具体的にはある１つの表情筋を動かすように指示を行う。

　　（ステップＳ３０２～Ｓ３２２）
　ステップＳ３０２において、受光部１０３の受光信号を入力する。なお、先に説明したように、受光部１０３の受光信号は、以下の２種類の反射光が混在する信号である。
　（１）皮膚表面の反射光
　（２）皮膚内部の生体組織の反射光（散乱光）

　ステップＳ３１１～Ｓ３１２は、図１９に示す表情解析部２１０が実行する処理である。
　表情解析部２１０は、上記２種類の信号が混在した信号から、「（１）皮膚表面の反射光」を選択抽出する処理を実行してユーザの表情解析を実行して、解析結果として表情解析情報１２１を生成して、表情筋トレーニング状態解析部に出力する。

　ステップＳＳ３２１～Ｓ３２２は、図１９に示す生体信号解析部２２０が実行する処理である。
　生体信号解析部２２０は、上記２種類の信号が混在した信号から、「（２）皮膚内部の生体組織の反射光（散乱光）」を選択抽出する処理を実行してユーザの生体情報解析を実行して、解析結果として生体解析情報１２２を生成して、表情筋トレーニング状態解析部に出力する。

　　（ステップＳ３１３）
　ステップＳ３１３は、表情筋トレーニング状態解析部の実行する処理である。
　表情筋トレーニング状態解析部は、表情解析部２１０から入力する表情解析情報１２１を解析し、ユーザが表情筋を指示通りに動かしているか否かを判定する。
　すなわち皮膚の動きが十分であるか否かを判定する。
　皮膚の動きが十分でないと判定した場合は、ステップＳ３０１に戻り、同じ表情筋の動作指示を継続する。
　一方、皮膚の動きが十分であると判定した場合は、ステップＳ３３１に進む。

　　（ステップＳ３２３）
　ステップＳ３２３も、表情筋トレーニング状態解析部の実行する処理である。
　表情筋トレーニング状態解析部は、生体信号解析部２２０から入力する生体解析情報１２２を解析し、ユーザに指定した表情筋位置の皮膚内部の血行が改善しているか否かを判定する。
　改善していないと判定した場合は、ステップＳ３０１に戻り、同じ表情筋の動作指示を継続する。
　一方、指定した表情筋位置の皮膚内部の血行が改善していると判定した場合は、ステップＳ３３１に進む。

　　（ステップＳ３３１）
　ステップＳ３３１は、ステップＳ３１３とＳ３２３においてＹｅｓの判定、すなわち、皮膚の動きが十分であると判定され、かつ、指定した表情筋位置の皮膚内部の血行が改善していると判定した場合に実行する処理である。
　この場合、表情筋トレーニング状態解析部は、次のステップ、例えば異なる表情筋の動作指示を行う。

　このように表情筋トレーニングユーザの表情と生体の双方を解析することで、確実な表情筋トレーニングを実行させることが可能となる。
　なお、表情筋トレーニングに限らず、所定の筋肉を動かす指示を行うことで、所定の顔の表情、例えば笑顔を作るといった表情を作るための効果的な指示を行うことも可能となる。

　　［７－（４）アバターの制御に利用する処理例］
　次に、本開示の情報処理装置の解析結果をアバターの制御に利用する処理例について説明する。

　本処理例は、ユーザの表情や感情を反映させたアバターを表示する制御を行う処理例である。

　図２６は、本処理例の処理シーケンスを説明するフローチャートである。
　図２６に示すフローチャートの各ステップの処理について説明する。なお、図２６に示すフローチャートのステップＳ２０１，Ｓ２１１，Ｓ２１２，Ｓ２２１，Ｓ２３１の各処理は、先に図２２を参照して説明したフロー中のステップＳ２０１，Ｓ２１１，Ｓ２１２，Ｓ２２１，Ｓ２３１の処理と同様の処理である。

　　（ステップＳ２６０）
　ステップＳ２６０は、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３を利用した処理であり、本処理例では、ユーザが利用するアバターの制御を行うアバター制御部が実行する処理である。

　アバター制御部は、表情解析部２１０が生成した表情解析情報１２１と、高精度情動解析部２３０が生成した高精度情動解析情報１２３を入力して、ユーザがＰＣやスマホ上に表示するユーザ対応のアバターの表情等を変更する処理を行う。
　例えば、ユーザが笑顔で情動として歓喜の状態にある場合は、笑顔で楽しそうなアバターを表示する。
　一方、ユーザが悲しい顔で、情動としても悲しい状態にある場合は、悲しい顔の沈んだアバターを表示する。

　さらに、以下のような処理を行うことも可能である。
　笑顔を検出した際に、情動が強い興奮の状態にあれば歓喜の表情で飛び跳ねる表現でアバターを表示する。一方笑顔を検出した際に情動が比較的落ち着いた状態であれば穏やかなしぐさでほほ笑むアバターを表示する。
　このように表情の検出だけでは実現できない多様なユーザの状態を表現することが可能になる。

　このように、本処理例では、ユーザの表情と情動を反映したアバターを表示させることが可能となる。

　　［７－（５）ユーザの気合判定に利用する処理例］
　次に、本開示の情報処理装置の解析結果をユーザの気合判定に利用する処理例について説明する。

　本処理例は、ユーザの表情や感情に基づいてユーザの気合を判定する処理例である。
　本処理例を実行する場合、学習モデルとして気合判定を行うことが可能なモデルを構築することが必要となる。

　図２７は、学習処理による学習モデル（気合モデル）の構築処理と、構築した学習モデルを利用した気合解析処理の実行シーケンスを示す図である。
　（Ａ）学習時は、学習処理による学習モデルの構築処理のシーケンスを示した図である。
　（Ｂ）気合解析処理実行時は、構築した学習モデルを利用した気合解析処理の実行シーケンスを示す図である。

　まず、（Ａ）学習時は、
　入力データとして、以下のデータを入力する。
　（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）

　「（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）」は、例えばＨＭＤに装着されたセンサからの出力信号の時系列データである。すなわち、先に図１０を参照して説明した信号Ｓ１～Ｓ７等のデータである。

　受光信号解析部１０４は、この入力データに基づいて、表情解析結果と、生体情報解析結果を生成して出力する。
　これらの結果は、学習器（気合モデル生成部）４５０に入力される。

　学習器（気合モデル生成部）４５０は、表情解析結果と、生体情報解析結果を入力して、気合レベルと、これらの情報とを対応付けた学習モデルである気合モデルを生成して、気合解析用情報記憶部４７０に格納する。

　図２７に示す（Ｂ）気合解析処理実行時は、構築した学習モデル（気合モデル）を利用した表情解析処理の実行シーケンスを示す図である。
　この（Ｂ）気合解析処理実行時の入力データは、
　（１）受光部出力時系列データ（多チャンネル：Ｓ１，Ｓ２，・・・・）
　である。

　この入力データが、受光信号解析部１０４に入力される。
　受光信号解析部１０４は、この入力データに基づいて、表情解析結果と、生体情報解析結果を生成して出力する。
　これらの結果は、気合判定部４８０に入力される。

　気合判定部４８０は、気合解析用情報記憶部４７０に記録された学習モデル、すなわち、様々な気合レベルに表情情報と生体情報の特徴データが対応付けられた学習モデル（気合モデル）を参照して、入力信号に最も類似すると判定される特徴データを選択して、その特徴データに対応付けられた気合レベルを選択して、出力する。
　この（Ｂ）表情解析処理実行時の出力データは、
　（１）気合の有無、または気合のレベルを示すデータとなる。

　なお、図２７に示す例は、様々な気合レベルに対して、表情情報と生体情報の特徴データを対応付けた学習モデル（気合モデル）を利用して、ユーザの気合レベルを判定する構成例について説明したが、利用する学習モデルを変更することで、気合レベルに限らず、様々なユーザの状態を判定することが可能となる。
　例えば、興奮レベル、歓喜レベル、悲しみレベル、落ち込みレベル等、様々なユーザの状態レベルに対して、表情情報と生体情報の特徴データを対応付けた学習モデルを生成して利用することで、様々なユーザ状態の判定が可能となる。

　　［８．情報処理装置のハードウェア構成例について］
　次に、本開示の情報処理装置１００のハードウェア構成例について説明する。
　図２８は、情報処理装置のハードウェア構成例を示す図である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイク、さらに、センサ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。

　ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［９．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記受光信号解析部は、
　前記反射光に基づいて表情解析情報を生成する表情解析部と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析部と、
を有する情報処理装置。

　（２）　前記受光部の受光信号は、皮膚表面の反射光と、皮膚内部の生体組織の反射光と、
を含み、
　前記表情解析部は、
　前記受光部の受光信号から、低周波成分を抽出して皮膚表面の反射光を取得して表情解析を実行し、
　前記生体信号解析部は、
　前記受光部の受光信号から、高周波成分を抽出して皮膚内部の生体組織の反射光を取得して生体信号の解析処理を実行する（１）に記載の情報処理装置。

　（３）　前記表情解析部は、
　記憶部に格納した学習モデルを参照して、表情解析処理を実行する（１）または（２）記載の情報処理装置。

　（４）　前記学習モデルは、複数の異なる表情に対応する表情ラベルと、皮膚表面の動きを反映した皮膚表面の反射光信号の特徴データとの対応データを有する（３）に記載の情報処理装置。

　（５）　前記生体信号解析部は、
　記憶部に格納した学習モデルを参照して、生体解析処理を実行する（１）～（４）いずれかに記載の情報処理装置。

　（６）　前記学習モデルは、複数の異なる生体状態に対応する皮膚内部の状態を反映した皮膚内部の反射光信号の特徴データとの対応データを有する（５）に記載の情報処理装置。

　（７）　前記生体信号解析部は、
　ユーザの皮膚内部からの反射光を解析して、血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度、少なくともいずれかの生体解析情報を生成する（１）～（６）いずれかに記載の情報処理装置。

　（８）　前記受光部は、ヘッドマウントディスプレイの複数の位置に装着されている（１）～（７）いずれかに記載の情報処理装置。

　（９）　前記受光信号解析部は、
　前記ユーザの顔の異なる複数の位置からの反射光の解析を実行する（１）～（８）いずれかに記載の情報処理装置。

　（１０）　前記受光信号解析部は、
　前記ユーザの顔の異なる複数の位置からの反射光の解析を実行し、
　位置に応じた異なる生体解析情報を取得する（１）～（９）いずれかに記載の情報処理装置。

　（１１）　前記受光信号解析部は、
　前記ユーザの顔の異なる複数の位置からの反射光の解析を実行し、
　複数の異なる位置から取得される情報を補完的に用いて高精度な生体解析情報を取得する（１）～（９）いずれかに記載の情報処理装置。

　（１２）　前記情報処理装置は、さらに、
　前記表情解析部の生成した表情解析情報と、
　前記生体信号解析部の生成した生体解析情報を入力し、
　入力した前記表情解析情報と、前記生体解析情報を利用して高精度なユーザの感情を示す高精度情動情報を生成する高精度情動解析部を有する（１）～（１１）いずれかに記載の情報処理装置。

　（１３）　前記高精度情動解析部は、
　記憶部に格納した学習モデルを参照して、情動解析処理を実行する（１２）に記載の情報処理装置。

　（１４）　前記学習モデルは、複数の異なる情動状態に対応する特徴データを対応付けたモデルであり、前記特徴データには、表情情報と生体情報各々の特徴データが含まれる（１３）に記載の情報処理装置。

　（１５）　前記情報処理装置は、さらに、
　前記高精度情動情報に基づくゲーム制御を実行するゲーム制御部を有する（１２）～（１４）いずれかに記載の情報処理装置。

　（１６）　前記情報処理装置は、さらに、
　前記高精度情動情報に基づく表情真偽判定を実行する表情真偽判定部を有する（１２）～（１４）いずれかに記載の情報処理装置。

　（１７）　前記情報処理装置は、さらに、
　前記表情解析情報と、前記生体解析情報に基づくアバター制御を実行するアバター制御部を有する（１）～（１６）いずれかに記載の情報処理装置。

　（１８）　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記受光信号解析部が、
　前記反射光に基づいて表情解析情報を生成する表情解析処理と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析処理を実行する情報処理方法。

　（１９）　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記プログラムは、前記受光信号解析部に、
　前記反射光に基づいて表情解析情報を生成する表情解析処理と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析処理を実行させるプログラム。

　なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、ユーザの顔に対する照射光の反射光を解析して表情解析と生体信号解析の双方を併せて実行する構成が実現される。
　具体的には、例えば、ユーザの顔に対する照射光の反射光を受光する受光部と、受光部の受光信号を解析する受光信号解析部を有する。受光信号解析部は、ユーザ皮膚表面の反射光を解析して表情解析情報を生成する表情解析部と、皮膚内部の反射光を解析して生体解析情報を生成する生体信号解析部を有する。受光部の受光信号は、皮膚表面の反射光と皮膚内部の生体組織の反射光を含み、表情解析部は受光信号から低周波成分を抽出して皮膚表面の反射光を取得して表情解析を実行する。生体信号解析部は、受光信号から高周波成分を抽出して皮膚内部の生体組織の反射光を取得して生体信号の解析処理を実行する。
　本構成により、ユーザの顔に対する照射光の反射光を解析して表情解析と生体信号解析の双方を併せて実行する構成が実現される。

　　１０　ユーザ
　１００　情報処理装置
　１０１　発光制御部
　１０２　発光部
　１０３　受光部
　１０４　受光信号解析部
　２０１　入力部
　２１０　表情解析部
　２１１　低周波成分抽出部
　２１２　Ａ／Ｄ変換部
　２１３　表情解析結果生成部
　２１４　表情解析用情報記憶部
　２２０　生体信号解析部
　２２１　ハイパスフィルタ（高周波成分抽出部）
　２２２　増幅部
　２２３　Ａ／Ｄ変換部
　２２４　ノイズ除去部
　２２５　生体信号解析結果生成部
　２２６　生体信号解析用情報記憶部
　２３０　高精度情動解析部
　２３１　高精度情動解析用情報記憶部
　４０１　学習器
　４２１　学習器
　４５０　学習器
　４７０　気合解析用情報記憶部
　４８０　気合判定部
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記受光信号解析部は、
　前記反射光に基づいて表情解析情報を生成する表情解析部と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析部と、
を有する情報処理装置。
　前記受光部の受光信号は、皮膚表面の反射光と、皮膚内部の生体組織の反射光と、
を含み、
　前記表情解析部は、
　前記受光部の受光信号から、低周波成分を抽出して皮膚表面の反射光を取得して表情解析を実行し、
　前記生体信号解析部は、
　前記受光部の受光信号から、高周波成分を抽出して皮膚内部の生体組織の反射光を取得して生体信号の解析処理を実行する請求項１に記載の情報処理装置。
　前記表情解析部は、
　記憶部に格納した学習モデルを参照して、表情解析処理を実行する請求項１に記載の情報処理装置。
　前記学習モデルは、複数の異なる表情に対応する表情ラベルと、皮膚表面の動きを反映した皮膚表面の反射光信号の特徴データとの対応データを有する請求項３に記載の情報処理装置。
　前記生体信号解析部は、
　記憶部に格納した学習モデルを参照して、生体解析処理を実行する請求項１に記載の情報処理装置。
　前記学習モデルは、複数の異なる生体状態に対応する皮膚内部の状態を反映した皮膚内部の反射光信号の特徴データとの対応データを有する請求項５に記載の情報処理装置。
　前記生体信号解析部は、
　ユーザの皮膚内部からの反射光を解析して、血流量、血流速度、脈波、血圧、心拍、心拍変動、血中酸素濃度、動脈血酸素飽和度、少なくともいずれかの生体解析情報を生成する請求項１に記載の情報処理装置。
　前記受光部は、ヘッドマウントディスプレイの複数の位置に装着されている請求項１に記載の情報処理装置。
　前記受光信号解析部は、
　前記ユーザの顔の異なる複数の位置からの反射光の解析を実行する請求項１に記載の情報処理装置。
　前記受光信号解析部は、
　前記ユーザの顔の異なる複数の位置からの反射光の解析を実行し、
　位置に応じた異なる生体解析情報を取得する請求項１に記載の情報処理装置。
　前記受光信号解析部は、
　前記ユーザの顔の異なる複数の位置からの反射光の解析を実行し、
　複数の異なる位置から取得される情報を補完的に用いて高精度な生体解析情報を取得する請求項１に記載の情報処理装置。
　前記情報処理装置は、さらに、
　前記表情解析部の生成した表情解析情報と、
　前記生体信号解析部の生成した生体解析情報を入力し、
　入力した前記表情解析情報と、前記生体解析情報を利用して高精度なユーザの感情を示す高精度情動情報を生成する高精度情動解析部を有する請求項１に記載の情報処理装置。
　前記高精度情動解析部は、
　記憶部に格納した学習モデルを参照して、情動解析処理を実行する請求項１２に記載の情報処理装置。
　前記学習モデルは、複数の異なる情動状態に対応する特徴データを対応付けたモデルであり、前記特徴データには、表情情報と生体情報各々の特徴データが含まれる請求項１３に記載の情報処理装置。
　前記情報処理装置は、さらに、
　前記高精度情動情報に基づくゲーム制御を実行するゲーム制御部を有する請求項１２に記載の情報処理装置。
　前記情報処理装置は、さらに、
　前記高精度情動情報に基づく表情真偽判定を実行する表情真偽判定部を有する請求項１２に記載の情報処理装置。
　前記情報処理装置は、さらに、
　前記表情解析情報と、前記生体解析情報に基づくアバター制御を実行するアバター制御部を有する請求項１に記載の情報処理装置。
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記受光信号解析部が、
　前記反射光に基づいて表情解析情報を生成する表情解析処理と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析処理を実行する情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、
　ユーザの顔に対する照射光の反射光を受光する受光部と、
　前記受光部の受光信号を解析する受光信号解析部を有し、
　前記プログラムは、前記受光信号解析部に、
　前記反射光に基づいて表情解析情報を生成する表情解析処理と、
　前記反射光に基づいて生体解析情報を生成する生体信号解析処理を実行させるプログラム。