JP6172755B2 - 感情情報推定装置、方法及びプログラム - Google Patents

感情情報推定装置、方法及びプログラム Download PDF

Info

Publication number
JP6172755B2
JP6172755B2 JP2014068535A JP2014068535A JP6172755B2 JP 6172755 B2 JP6172755 B2 JP 6172755B2 JP 2014068535 A JP2014068535 A JP 2014068535A JP 2014068535 A JP2014068535 A JP 2014068535A JP 6172755 B2 JP6172755 B2 JP 6172755B2
Authority
JP
Japan
Prior art keywords
motion
emotion
emotion information
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014068535A
Other languages
English (en)
Other versions
JP2015191471A (ja
Inventor
建鋒 徐
建鋒 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014068535A priority Critical patent/JP6172755B2/ja
Publication of JP2015191471A publication Critical patent/JP2015191471A/ja
Application granted granted Critical
Publication of JP6172755B2 publication Critical patent/JP6172755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、人間等の行動データより当該行動している人間等の感情情報を推定する感情情報推定装置、方法及びプログラムに関する。
近年、例えば、特許文献１〜３で音声信号や顔の表情、行動（またはジェスチャー）などマルチモーダルを用いてユーザの感情を認識・推定する技術が開発された。但し、マルチモーダルの情報は、その全部を入手できない場合も多い。特にパブリックスペースで監視カメラの撮影角度や撮影距離を考えると、音声と顔情報を撮りにくい上に、個人情報が多数あるので、入手できないこともある。
そこで、体の関節の動き情報だけを持つ人間の行動データから、感情を推定する技術も開発された。例えば、特許文献４では、全身関節の時系列データから動きの特徴をより詳細に反映させた上で次元削減技術を用いた特徴量を抽出することによって、感情認識をより正しく実現した。
このように、関節動き情報のみで構成された人間の行動データから、感情情報を推定する一般的な手法は、例えば非特許文献１に記載のように、以下の４手順からなる。
[手順１] センサーから関節の時系列データ（人間の行動）を取得する。
[手順２] 時間軸上で前記行動データを複数の小さな動き(action)に分割する。
[手順３] 動き(action)ごとに特徴量を抽出する。必要時に次元削減を行う。
[手順４] 感情情報を推定する。
具体的に、例えば、非特許文献２では、人間のある行動(activity)データを時間軸上で複数の小さな動き(action)に分割し、前記分割した複数の小さな動きを意味内容で複数の動作種別(sub-activity)に分類し、前記小さな動き毎に特徴量を算出し、算出される特徴量を用いて、前記動作種別(sub-activity)毎に感情情報を推定し、各動作種別(sub-activity)の感情情報を投票し、最も多い票数の感情情報を行動の推定結果として出力する。
特開2007-41988号公報 特開2010-66844号公報 特開2010-134937号公報 特開2009-037410号公報
Karg, M.; Samadani, A.; Gorbet, R.; Kuhnlenz, K.; Hoey, J.; Kulic, D., "Body Movements for Affective Expression: A Survey of Automatic Recognition and Generation," Affective Computing, IEEE Transactions on, in press. Daniel Bernhardt, Peter Robinson, "Detecting affect from non-stylised body motions," Affective Computing and Intelligent Interaction, Lecture Notes in Computer Science Volume 4738, 2007, pp 59-70.
しかし、前記の従来技術では、動作種別が何であるかによらず平等に投票を行っているので、感情推定の性能低下の可能性がある。一般に、ジェスチャー等の動きデータは複数の動作種別(sub-activity)に分類されるが、動作種別にはそれぞれ特定な役割があり、感情表現の容易さも違う。
一例として、準備段階や本番段階、終了段階という３種類の動作種別を持つジェスチャーの中で、最も感情情報を含んでいる動作は本番段階である。仮に、準備段階と終了段階の推定結果が本番段階と違っても、感情推定のための情報としては、本番段階の方が信頼度が高いと言える。しかしながら、従来技術においては準備段階、本番段階及び終了段階のそれぞれが平等に投票を実施するので、本番段階の信頼度の高さが感情推定の結果に反映されないこととなってしまう。
本発明は、上記従来技術の課題に鑑み、高精度に感情推定を行うことのできる感情情報推定装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明は、感情情報推定装置であって、行動データを時間軸上で動作素片へと分割すると共に、各動作素片を分類して複数の動作種別のいずれに該当するかを特定するモーション解析部と、各動作素片より特徴量を算出する特徴量算出部と、前記算出された特徴量に基づき、各動作素片が複数の感情情報のいずれに該当するかを推定する素片感情推定部と、動作素片ごとに前記推定された感情情報を前記行動データの全体に渡って統合することにより、前記行動データが複数の感情情報のいずれに該当するかを特定する感情統合部と、を備え、前記感情統合部は、動作素片ごとに前記特定された動作種別に対する重み情報を用いて、前記統合することを特徴とする。
また、本発明は、感情情報推定方法であって、行動データを時間軸上で動作素片へと分割すると共に、各動作素片を分類して複数の動作種別のいずれに該当するかを特定するモーション解析段階と、各動作素片より特徴量を算出する特徴量算出段階と、前記算出された特徴量に基づき、各動作素片が複数の感情情報のいずれに該当するかを推定する素片感情推定段階と、動作素片ごとに前記推定された感情情報を前記行動データの全体に渡って統合することにより、前記行動データが複数の感情情報のいずれに該当するかを特定する感情統合段階と、を備え、前記感情統合段階では、動作素片ごとに前記特定された動作種別に対する重み情報を用いて、前記統合することを特徴とする。
さらに、本発明は、コンピュータを上記感情情報推定装置として機能させる感情情報推定プログラムであることを特徴とする。
本発明によれば、感情統合処理により、動作素片ごとに前記特定された動作種別に対する重み情報を用いて、動作素片ごとに前記推定された感情情報を前記行動データの全体に渡って統合することで、前記行動データが複数の感情情報のいずれに該当するかを特定する。従って、動作種別ごとの重み情報の反映により、高精度に感情情報を推定することが可能となる。
感情情報推定装置の機能ブロック図である。 木構造として表現された骨の構造の例である。 モーション解析部の機能ブロック図である。 モーション解析部の各部で処理されるデータを概念的に説明するための図である。 算出される速度のグラフの一例である。 図５の例において、しきい値を変化させた際の動作素片の個数のグラフである。 事前知識として登録しておく、行動データの種類ごとの動作種別の数の例を表形式で示す図である。 素片感情推定部の機能ブロック図である。 感情統合部の機能ブロック図である。 感情情報が4種類、動作種別が4種類である場合の、動作種別ごとに定まる感情情報の分布の例である。
図１は、一実施形態に係る感情情報推定装置の機能ブロック図である。感情情報推定装置10は、モーション解析部1、特徴量算出部2、素片感情推定部3及び感情統合部4を備え、行動データを入力として受け取り、当該行動データに対応する感情が何であるかを感情推定結果として出力する。各部の概要は以下の通りである。
モーション解析部1は、行動データを時系列上で複数の動作素片へ分割すると共に、当該分割された動作素片の各々に対して、複数の動作種別のいずれに該当するかの区別を付与して、特徴量算出部2に渡す。
特徴量算出部2は、上記分割して得られた動作素片の各々より、当該動作素片のデータで表現されている行動に関しての特徴量を算出して、その結果を素片感情推定部3へ渡す。
素片感情推定部3は、予め構築された分類器を用いて、上記特徴量が算出された動作素片の各々における感情情報を推定して、その結果を感情統合部4に渡す。当該分類器は、特徴量を入力として感情情報を出力するように、後述する手法によって予め学習で構築しておく。
感情統合部4は、後述する手法によって動作種別ごとに値が定義された重み情報を用いて、上記各動作素片につき推定された感情情報を、入力データとしての行動データの全体で統合することにより、最終的な出力としての、行動データに対応する感情情報の推定結果を得る。
以下、当該各部の詳細を説明するが、まず、入力データである行動データの説明を行う。
行動データは、時系列上で変化する人間等のポーズ（及び重心位置）のデータである。ある１つの時刻で行動データを切り出したものは、人の骨格を基に、骨及び骨の連結点（ジョイント）を用い、一ジョイントを根（ルート）とし、ルートからジョイント経由で順次連結される骨の構造を木（ツリー）構造によって定義することができる。
図２に、当該木構造として表現された骨の構造の例を示す。図２において、ジョイント100は腰の部分であり、ルートとして定義される。ジョイント101は左腕の肘の部分、ジョイント102は左腕の手首の部分、ジョイント103は右腕の肘の部分、ジョイント104は右腕の手首の部分、ジョイント105は左足の膝の部分、ジョイント106は左足の足首の部分、ジョイント107は右足の膝の部分、ジョイント108は右足の足首の部分、である。
このような構造により、行動データは、各ジョイントの角度情報や位置情報、速度情報、加速度情報などで表現することが可能である。ここでは、角度情報を例に挙げて説明する。
角度情報データは、人の一連の動きを複数の姿勢（ポーズ）の連続により表すものであり、人の基本ポーズ（neutral pose）を表す基本ポーズデータと、実際の人の動きの各ポーズを表すフレームデータとを有する。基本ポーズデータは、基本ポーズのときのルートの位置及び各ジョイントの位置、並びに各骨の長さなどの情報を有する。基本ポーズデータにより基本ポーズが特定される。フレームデータは、基本ポーズからの移動量をジョイント毎に表す。ここで、移動量として例えば角度情報を利用することができる。各フレームデータにより、基本ポーズに対して各移動量が加味された各ポーズが特定される。これにより、各フレームデータによって特定される各ポーズの連続により、人の一連の動きが特定される。
なお、人間の動きは、人間の動きをカメラ撮影した映像からモーションキャプチャ処理によって作成したり、或いは、キーフレームアニメーションの手作業によって作成したりすることができる。上記では人間の動きとして説明したが、ジョイント構造を与えればその他にも動物やロボット等でも同様に、行動データを得ることができる。
図３は、モーション解析部1の機能ブロック図である。モーション解析部1は、物理量変換部11、分割部12、正規化部13及び分類部14を備える。図４は、モーション解析部1の当該各部で処理されるデータを概念的に説明するための図である。各部概要は以下の通りである。
物理量変換部11は、時系列上の行動データを変換して、時系列上のフレームデータ（後述するように、ジョイント相対位置としてのフレームデータ）となし、分割部12に渡す。図４では(1)に示すデータA1がフレームデータの概念的な例である。なお、行動データが予め、物理量変換部11によって変換されるような当該フレームデータの形式となっていれば、物理量変換部11は省略されてもよい。
分割部12は、フレームデータを時系列上に順次並んだ個別の短い動きに相当する動作素片に分割して、正規化部13に渡す。図４の例では、(1)のフレームデータA1が(2)に示すように、16個の動作素片D1〜D16に分割されている。
正規化部13は、一般に継続時間の長さが互いに異なっている上記分割された各動作素片の時間軸を正規化して、互いに等しい継続時間とすることで、正規化された動作素片を得て、分類部14に渡す。なお、当該正規化処理は、分類部14での処理を可能にするための前処理である。
図４の例では、(2)の16個の動作素片D1〜D16が正規化されて、それぞれ(3)に示すような正規化された動作素片N1〜N16となっている。なお、図４において、正確には(2),(3)間では横軸方向（時間方向）の長さが、正規化され伸縮が発生することで互いに異なる長さとなるが、図４は概念的な例であるので、このような伸縮は表現していない。
分類部14は、正規化された動作素片の各々が、複数の動作種別のいずれに該当するかの分類結果を得て、当該結果を図１の特徴量算出部2に渡す。
図４の例では、(3)の（正規化された）各動作素片N1〜N16が分類された結果として、(4)に示すように、動作素片N1〜N4が動作種別S1に分類され、動作素片N5〜N8が動作種別S2に分類され、動作素片N9〜N12が動作種別S3に分類され、動作素片N13〜N16が動作種別S4に分類されている。なお、当該(4)の例では、各動作種別S1〜S4は全て、連続した動作素片で構成されており、一般には、このように連続している可能性が高いものの、連続しない場合もある。すなわち、ある共通の動作種別に分類された動作素片同士に時間軸上の分断が生じている場合もある。例えば、図４の(4)のように分類されるのではなく、N1〜N3、N8, N10が動作種別S1に分類される、といったこともありうる。
以下、当該各部11〜14の詳細を説明する。
物理量変換部11は、入力としての行動データにおいて、各ジョイントがルートに対してどのくらいの位置で動いているのかを算出することで、行動データをジョイント相対位置としてのフレームデータへと変換する。当該変換の具体的な計算方法は以下の通りである。
物理量変換部11は、図２等を参照して前述した行動データにおける基本ポーズデータとフレームデータを用いてジョイント位置を算出する。基本ポーズデータは、基本ポーズのときのルートの位置及び各ジョイントの位置、並びに各骨の長さなど、基本ポーズを特定する情報を有する。フレームデータは、ジョイント毎に、基本ポーズからの移動量の情報を有する。ここでは、移動量として角度情報を利用する。この場合、時刻ｔにおけるｋ番目のジョイントの位置(x,y,z座標)であるpk(t)は、以下の（１）式および（２）式により計算される。なお、時刻ｔはフレームデータの時刻である。以下の説明においては、時刻ｔを単に「フレームインデックス」とする。つまり、t=0,1,2,…,T-1の値を取る。ここで、Tは行動データのフレーム数である。
但し、0番目(i=0)のジョイントはルートである。Raxis i-1,i(t)は、i番目のジョイントとその親ジョイント（「i-1」番目のジョイント）間の座標回転マトリックスであり、基本ポーズデータに含まれる。各ジョイントにはローカル座標系が定義されており、座標回転マトリックスは親子関係にあるジョイント間のローカル座標系の対応関係を表す。Ri(t)は、i番目のジョイントのローカル座標系におけるi番目のジョイントの回転マトリックスであり、フレームデータに含まれる角度情報である。Ti(t)は、i番目のジョイントとその親ジョイント間の遷移マトリックスであり、基本ポーズデータに含まれる。遷移マトリックスは、i番目のジョイントとその親ジョイント間の骨の長さを表す。
次いで、物理量変換部11は、時刻ｔにおける、ルートに対するｋ番目のジョイントの相対位置（ジョイント相対位置）p'k (t)を（3）式により計算する。
但し、p root (t)は時刻tにおけるルート（0番目のジョイント）の位置p0 (t)である。
以上のようにして、物理量変換部11は、各時刻tのフレームを表現するデータとして、各ジョイントのルートに対しての相対位置x(t)を以下の式(4)のように定め、変換された最終的なフレームデータとして、分割部12に渡す。Kはルートを除いたジョイント数である。
分割部12は、上記変換されたフレームデータに基づき、当該フレームデータにおける動きの境界を与えている時間を特定し、当該特定された境界ごとに区切ることによって、フレームデータを複数の動作素片へと分割する。ここで、動きの境界は、速度がしきい値THを横切る場合に存在するものとして判定する。すなわち、（１）速度が増加して、しきい値THより小さい値からしきい値THより大きい値へと移る瞬間と、（２）その逆に、速度が減少して、しきい値THより大きい値からしきい値THより小さい値へと移る瞬間と、の２通りが、動きの境界に該当する時間として判定される。
また、速度v(t)は、前記式(4)の相対位置x(t)の微分の絶対値として、以下の式(5)で算出する。図５に、当該算出される速度のグラフの一例を示す。
なお、前記しきい値THは次のように設定することができる。すなわち、最低値TH_lowから最高値TH_highまで少しづつ変化させると、各しきい値THに対して、得られる動作素片の個数が変化する。その中で最大個数を与えるようなしきい値を、最適なしきい値TH_optとして使えばよい。
図６は、図５の速度グラフの例に対して、しきい値THを変化させた際の得られる動作素片の個数のグラフである。図６の例では、閾値TH=0.8において動作素片個数の最大値55が得られるので、当該しきい値TH=0.8を最適なものとして採用すればよい。
分割部12では、最適な閾値TH_optによって区切って得られた動作素片を、最終的な結果として正規化部13に渡す。
正規化部13は、動作素片ごとに一定のフレーム数（例えば、２５フレーム）で補間することによって、時間軸の正規化を各ジョイントの相対位置でそれぞれ行い、正規化された動作素片を分類部14に渡す。補間手法としては、例えば、cubic spline interpolation（３次スプライン補間）を用いることが好適である。
分類部14は、正規化された動作素片の各々を、その全てのフレームの全てのジョイント相対位置データで構成された1つのベクトルとして扱うことにより、動作素片の各々がいずれの動作種別に該当するかの分類を行って、その結果を特徴量算出部2に渡す。当該分類には以下のような各実施形態が可能である。
一実施形態では、k-means法(ｋ平均法)によって、いずれの動作種別に該当するかの分類を行うことができる。但し、k-meansでは、分割クラスタ数としての動作種別の種類数を固定値として与える必要がある。ここで、一般論として、人間の行動の種類によって、当該行動に含まれる動作種別の種類数は変わるので、事前知識として行動データの種類ごとの動作種別の数を図７の表のように登録しておき、前記登録した情報によって動作の数を設定するようにしてもよい。
図７の例では、行動の種類として「ドアノック、徒歩、椅子に座る」の3種類が与えられ、当該行動を構成する動作種別の種類数がそれぞれ「４種類，４種類，３種類」のように事前知識として与えられている。
なお、本発明における入力データとしての行動データは、上記図７の例のように、その行動の種類が1つに決まっているものであることが好ましい。例えば、図７の3種類の全てを含む「ドアノックしてから歩いて椅子に座る」という行動データがあった場合、事前に「ドアノック」、「徒歩」、「椅子に座る」のそれぞれの部分に分けておいたものを、本発明における入力とすることが好ましい。そして、上記事前知識で分割クラスタ数kを決める場合は、図７のような事前知識の他に、当該事前知識を利用するために、行動データにおける行動の種類が何であるかの情報も、感情情報推定装置10への入力として用意することとなる。
また、一実施形態では、上記のような事前知識が与えられていない場合に、分類されるべき動作種別の種類数kを、以下の式(6)によるRule of thumb（経験則）で決めるようにして、k-meansを適用するようにしてもよい。なお、nは分割部12で分割された動作素片の個数である。
また、一実施形態では、上記のような事前知識が与えられていない場合に、k-meansの代わりに、階層的なクラスタツリーで分類するようにしてもよい。階層的なクラスタツリーでは、分類されるべき種類数kが事前知識として与えられていなくとも、十分に分離したクラスタに自然に分類することができる。ここで、クラスタツリーのリンクの不整合係数は、動作素片間の類似性が急に変化することを表しているので、当該不整合係数を参照することにより、自然な分類が可能となる。
なお、モーション解析部１の処理にて得られた動作素片は前述のように正規化されており、従って、以降の各部2,3,4で扱う動作素片も正規化されている。以降の説明では、当該各部2,3,4で扱う動作素片について、説明の簡素化のために、「正規化された」旨の形容は省略する。また、後述する図８における学習用モーション解析部31以降で扱われる動作素片についても同様に、「正規化された」旨の形容は省略する。
特徴量算出部2は、モーション解析部1から得た動作素片ごとに、その動きの特徴を示す特徴量を算出して、その結果を素片感情推定部3に渡す。ここで、特徴量の定義は多数存在するが、例えば、以下の式(7-1)〜(7-4)に掲げる4種類を利用することができる。「特定の関節h」については、各式においてそれぞれ1つ以上の任意組み合わせを利用できる。最終的に素片感情推定部3に渡される特徴量は、当該4種類を全て組み合わせたものとしてもよいし、その任意の一部分の組み合わせであってもよい。以下の4種類に限らず、その他の種類の特徴量を追加してもよい。また、式(7-1)〜(7-4)において、Nは動作素片に属するフレーム数(=動作素片の時間的長さ)である。
図８は、素片感情推定部3の機能ブロック図である。素片感情推定部3は、推定部30、学習用モーション解析部31、学習用特徴量算出部32及び学習部33を備える。
推定部30は、特徴量算出部2で算出された動作素片ごとの特徴量に対して、事前学習によって構築された分類器を適用して、各動作素片が所定種類のいずれの感情に該当するものであるかを感情情報として推定して、当該動作素片毎の感情情報を、感情統合部4に渡す。
ここで、推定部30が上記推定を可能とするために、事前学習により分類器を構築するのが各部31,32,33であり、その詳細は以下の通りである。分類器には例えば、サポートベクトルマシンを利用することができる。
学習用モーション解析部31及び学習用特徴量算出部32は、それぞれモーション解析部1及び特徴量算出部2と同じ内容の処理を行うので、その説明は省略する。ただし、処理対象となるデータは、事前に多数人（行動データが人間についてのものである場合）について準備された学習用の行動データである。当該学習用行動データの各々には、推定部30で推定するのと同様の、複数種類の感情のいずれに該当するかの感情情報が、人手等によりラベルとして付与されている。
こうして、学習用の複数の行動データのそれぞれにつき、学習用モーション解析部31は正規化された動作素片へ分割すると共に各動作素片がいずれの動作種別に該当するかの区別を与え、当該動作素片の各々に対して学習用特徴量算出部32は特徴量を算出し、これらの結果を学習部33が受け取る。なお、モーション解析部1及び学習用モーション解析部31では同内容の処理を行うので、分類される動作種別の数ｋは互いに共通の値としておく。
学習部33は、以上のように多数の動作素片について得られた、動作素片における特徴量と、対応する元の行動データにラベルとして付与されていた感情情報と、を対応付けたデータを学習用データとして学習を実施することにより、分類器を構築する。分類器が周知の（多値）サポートベクトルマシンであれば、学習によりそのパラメータが決定される。当該分類器により上記のように推定部30による感情情報の推定が可能となる。
図９は、感情統合部4の機能ブロック図である。感情統合部4は、統合部40及び重み推定部41を備える。
統合部40は、後述する重み推定部41によって推定されている重み情報を用いて、素片感情推定部3より得られている感情情報がそれぞれ推定された動作素片に対し、当該感情情報を、感情情報推定装置10の入力データである行動データの全ての動作素片に渡って統合することにより、当該行動データがいずれの感情情報に該当するかの結果を得る。
当該統合の際に、重み情報が利用される。重み情報は、感情情報で特定される各動作種別i(i=1, 2, …, k；kは分類部14における分類数)についての重みw(i)である。行動データをモーション解析部1にて分割して得られた一連の動作素片のうち、素片感情推定部3で推定された感情情報が感情j(j=1, 2, …, M；Mは学習データにて付与したラベル数)であり、モーション解析部1で分類された動作種別が動作種別iであるような動作素片の個数N(i,j)によって統計的に算出した尤度をL(i,j)とすると、統合部40の出力する最終結果としての行動データにおける感情j=j[推定結果]は、以下の式(8)で与えられる。ここで、個数N(i,j)から尤度L(i,j)を算出する際は、種々の公知の算出手法を利用することができる。
従って、本発明においては上記のように動作種別i毎の重みw(i)を考慮して感情ｊへの投票を実施し、最大尤度のものを選択するので、行動データに対して精度よく感情推定を実施することができる。
重み推定部41は、統合部40が上記統合を行うために参照する重み情報w(i)を推定する。当該推定には、以下の第一〜第四実施形態が可能である。
第一実施形態では、事前知識やユーザの入力によって、モーション解析部1で分類される動作種別i(i=1, 2, …, k)毎に重みw(i)を設定する。例えば、全四種類の動作種別にそれぞれ、「0.3, 0.4, 0.2, 0.1」の重みを設定する。
第二実施形態では、入力データの行動データに含まれる全動作素片につき、素片感情推定部3にて推定された感情情報を以下のように統計処理して、重みw(i)を算出する。図１０は、感情情報が4種類（例えば「喜」「怒」「哀」「楽」）、動作種別が4種類（例えば「準備段階」「前半本番段階」「後半本番段階」「終了段階」）である場合の、動作種別iごとに定まる感情情報jの分布の例である。このような分布より、エントロピーh(i)を以下の式(9)で算出する。
但し、pi(j)は動作種別iにおいて感情jである確率であり、当該確率は上記のような分布から定まる。そして、動作種別iにおける重みw(i)を以下の式(10)で算出する。
第三実施形態では、上記第二実施形態と同様の算出を、感情情報推定装置10への入力であり感情推定対象となっている行動データではなく、学習部33が分類器を構築する際に用いた学習データとしての複数の行動データを用いて実施する。このため、追加処理として、当該学習データとしての複数の行動データの各々を分割して得られ特徴量が与えられた一連の動作素片に対して、推定部30による推定処理を実施することで、学習データにおける一連の動作素片における感情情報を求め、これにより処理対象の分布を得るようにすればよい。
すなわち、第三実施形態における追加処理では、推定部30が利用する分類器を予め構築しておくのに用いた学習データにおける動作素片に対して、当該学習データによって構築された分類器それ自身が、推定部30により適用される。
第四実施形態では、上記第三実施形態と同様に学習データをもとに算出を実施するが、第三実施形態において学習データにおける動作素片に推定部30による推定処理を実施して感情情報を求めた後、さらに、次の処理を行う。すなわち、当該学習データにおける推定結果の感情情報と、学習データにおいて予め正解ラベルとして付与されている感情情報と、を比較して、動作種別iごとにその正解率c(i)を求める。そして、当該正解率を以下の式(11)によって正規化して、重みw(i)を求める。
以上、本発明によれば、重みw(i)の利用により、行動データから高精度に感情情報を推定することが可能となる。なお、本発明は、CPU(中央演算装置)、メモリ、入出力インターフェース等の周知のハードウェアで構成されるコンピュータを感情情報推定装置10の各部（全部を含む）として機能させるプログラムとしても提供可能であり、また、感情情報推定装置10の動作方法としても提供可能である。コンピュータを感情情報推定装置10の各部として機能させる場合には、CPUが当該各部の機能を実現するような所定の命令に従って稼働すればよく、その際に参照すべきデータはメモリに格納しておけばよい。
10…感情情報推定装置、1…モーション解析部、2…特徴量算出部、3…素片感情推定部、4…感情統合部

Claims (9)

  1. 行動データを時間軸上で動作素片へと分割すると共に、各動作素片を分類して複数の動作種別のいずれに該当するかを特定するモーション解析部と、
    各動作素片より特徴量を算出する特徴量算出部と、
    前記算出された特徴量に基づき、各動作素片が複数の感情情報のいずれに該当するかを推定する素片感情推定部と、
    動作素片ごとに前記推定された感情情報を前記行動データの全体に渡って統合することにより、前記行動データが複数の感情情報のいずれに該当するかを特定する感情統合部と、を備え、
    前記感情統合部は、動作素片ごとに前記特定された動作種別に対する重み情報を用いて、前記統合することを特徴とする感情情報推定装置。
  2. 前記重み情報は、動作種別ごとに所定値の重みが与えられることにより予め定められたものであることを特徴とする請求項１に記載の感情情報推定装置。
  3. 前記感情統合部は、前記行動データにおいて、動作素片の感情情報の分布を動作種別ごとに求め、当該分布に基づいて動作種別ごとの前記重み情報を求めることを特徴とする請求項１に記載の感情情報推定装置。
  4. 前記感情統合部は、前記分布より各動作種別における感情情報の確率を求め、当該確率より各動作種別のエントロピーを求め、当該エントロピーに基づいて、動作種別ごとの前記重み情報を求めることを特徴とする請求項３に記載の感情情報推定装置。
  5. 前記素片感情推定部は、
    学習用行動データより得られた一連の動作素片より算出された特徴量と、当該学習用行動データに予めラベルとして付与されている感情情報と、によって学習を実施して構築された分類器を用いることで、
    前記算出された特徴量に基づき、前記行動データにおける各動作素片が複数の感情情報のいずれに該当するかを推定することを特徴とする請求項１に記載の感情情報推定装置。
  6. 前記感情統合部は、
    前記学習用行動データより得られた一連の動作素片が複数の動作種別のいずれに該当するかを特定すると共に、
    前記学習用行動データより得られた一連の動作素片に対して前記分類器を適用して得られる、動作素片の感情情報の分布を動作種別ごとに求め、当該分布に基づいて動作種別ごとの前記重み情報を求めることを特徴とする請求項５に記載の感情情報推定装置。
  7. 前記感情統合部は、前記学習用データに前記分類器を適用して得られた動作種別ごとの動作素片の感情情報を、前記学習用行動データに予めラベルとして付与されている感情情報と比較することにより、動作種別ごとの感情情報の推定の正解率を求め、当該正解率に基づいて、動作種別ごとの前記重み情報を求めることを特徴とする請求項６に記載の感情情報推定装置。
  8. 行動データを時間軸上で動作素片へと分割すると共に、各動作素片を分類して複数の動作種別のいずれに該当するかを特定するモーション解析段階と、
    各動作素片より特徴量を算出する特徴量算出段階と、
    前記算出された特徴量に基づき、各動作素片が複数の感情情報のいずれに該当するかを推定する素片感情推定段階と、
    動作素片ごとに前記推定された感情情報を前記行動データの全体に渡って統合することにより、前記行動データが複数の感情情報のいずれに該当するかを特定する感情統合段階と、を備え、
    前記感情統合段階では、動作素片ごとに前記特定された動作種別に対する重み情報を用いて、前記統合することを特徴とする感情情報推定方法。
  9. コンピュータを請求項１ないし７のいずれかに記載の感情情報推定装置として機能させることを特徴とする感情情報推定プログラム。
JP2014068535A 2014-03-28 2014-03-28 感情情報推定装置、方法及びプログラム Active JP6172755B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014068535A JP6172755B2 (ja) 2014-03-28 2014-03-28 感情情報推定装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014068535A JP6172755B2 (ja) 2014-03-28 2014-03-28 感情情報推定装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015191471A JP2015191471A (ja) 2015-11-02
JP6172755B2 true JP6172755B2 (ja) 2017-08-02

Family

ID=54425903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014068535A Active JP6172755B2 (ja) 2014-03-28 2014-03-28 感情情報推定装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6172755B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207714A1 (ja) * 2018-04-26 2019-10-31 日本電気株式会社 動作推定システム、動作推定方法および動作推定プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009413A (ja) * 2007-06-28 2009-01-15 Sanyo Electric Co Ltd 動作検知装置及び動作検知プログラム、並びに動作基本モデル生成装置及び動作基本モデル生成プログラム
JP4922095B2 (ja) * 2007-08-01 2012-04-25 日本放送協会 感情表現抽出処理装置及びプログラム
JP5506738B2 (ja) * 2011-05-30 2014-05-28 日本電信電話株式会社 怒り感情推定装置、怒り感情推定方法およびそのプログラム

Also Published As

Publication number Publication date
JP2015191471A (ja) 2015-11-02

Similar Documents

Publication Publication Date Title
Aslan et al. Shape feature encoding via fisher vector for efficient fall detection in depth-videos
Li et al. Data-free prior model for facial action unit recognition
Xu et al. A hierarchical spatio-temporal model for human activity recognition
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
Mavroudi et al. End-to-end fine-grained action segmentation and recognition using conditional random field models and discriminative sparse coding
Mici et al. A self-organizing neural network architecture for learning human-object interactions
JP2023504649A (ja) 仮想オブジェクトのモーションシーケンスの合成方法及び生成方法、並びに合成装置、コンピュータプログラム
Uddin Human activity recognition using segmented body part and body joint features with hidden Markov models
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
Kumar et al. 3D sign language recognition using spatio temporal graph kernels
Ribet et al. Survey on style in 3d human body motion: Taxonomy, data, recognition and its applications
Zhang et al. Intelligent Facial Action and emotion recognition for humanoid robots
Singh et al. Recent trends in human activity recognition–A comparative study
Batool et al. Telemonitoring of daily activities based on multi-sensors data fusion
Meena et al. Seq2Dense U-Net: Analysing Sequential Inertial Sensor data for Human Activity Recognition using Dense Segmentation Model
Turaev et al. Review and analysis of patients’ body language from an artificial intelligence perspective
JP6172755B2 (ja) 感情情報推定装置、方法及びプログラム
Vaijayanthi et al. Human Emotion Recognition from Body Posture with Machine Learning Techniques
Rallis et al. Bidirectional long short-term memory networks and sparse hierarchical modeling for scalable educational learning of dance choreographies
Granata et al. Human activity-understanding: A multilayer approach combining body movements and contextual descriptors analysis
Batool et al. Fundamental Recognition of ADL Assessments Using Machine Learning Engineering
Latha et al. Human action recognition using deep learning methods (CNN-LSTM) without sensors
Hoang et al. Advances in Skeleton-Based Fall Detection in RGB Videos: from Handcrafted to Deep Learning Approaches
Coolen Recognising gestures using time-series analysis
Huynh et al. Robust classification of human actions from 3D data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160729

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170629

R150 Certificate of patent or registration of utility model

Ref document number: 6172755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150