JP6236357B2 - 覚醒度推定装置、覚醒度推定方法及びプログラム - Google Patents

Description

本発明は、覚醒度推定装置、覚醒度推定方法及びプログラムに関する。

我々は、複数人で体験を共有し、共通のイベントや刺激から同じ感情を生じることがある。感情の一要素である覚醒度は興奮状態を表しており、記憶の残りやすさと強い相関があることが知られている。このため、複数人の覚醒度が高くなった時点では、多数の人の記憶に残りやすい特別なイベントが生じたと推定することができる。この種のイベントを推定する技術は、例えば、特別なイベントを振り返り、共有するサービス等に拡張可能となっている。

一方、一人のユーザの生体情報を用いて覚醒度を推定する研究は盛んに行われている（例えば、非特許文献１参照）。推定される覚醒度の精度は実験環境などに応じて異なり、各ユーザの覚醒度を個別に集計して得られた精度は８０％前後である。このような覚醒度の精度は、生体情報のノイズに影響される。生体情報のノイズの要因としては、例えば、イベントとは無関係の体動や思考、体調や個人差などが挙げられる。

ここで、覚醒度を推定する方法（以下、覚醒度推定方法という）について図８及び図９を用いて述べる。この覚醒度推定方法においては、例えばｎ人のユーザｕ₁，ｕ₂，…，ｕ_nの生体情報をｎ個の生体情報取得部１０₁，１０₂，…，１０_nが取得して覚醒度推定部２０内のｎ個の特徴量算出部２１₁，２１₂，…，２１_nに個別に送出する。各々の特徴量算出部２１₁，２１₂，…，２１_nは、ユーザｕ₁，ｕ₂，…，ｕ_nの生体情報をイベントＥ₁，Ｅ₂，Ｅ₃，…毎に区分する。

次に、各々の特徴量算出部２１₁，２１₂，…，２１_nは、イベントＥ₁におけるユーザｕ₁，ｕ₂，…，ｕ_nの生体情報から各々の特徴量Ｄ₁₁，Ｄ₂₁，…，Ｄ_n1を算出し、当該特徴量Ｄ₁₁，Ｄ₂₁，…，Ｄ_n1をｎ個の覚醒度分類部２２₁，２２₂，…，２２_nに個別に送出する。なお、特徴量の記号「Ｄ₁₁」，「Ｄ₂₁」，…，「Ｄ_n1」は、左側の添字「1」，「2」，…，「n」によりユーザｕ₁，ｕ₂，…，ｕ_nを識別し、右側の添字「1」によりイベントＥ₁を識別する。

各々の覚醒度分類部２２₁，２２₂，…，２２_nは、生体情報の特徴量Ｄ₁₁，Ｄ₂₁，…，Ｄ_n1を受けると、予め作成された教師データＤＢ２３₁，２３₂，…，２３_nを参照する。教師データＤＢ２３₁，２３₂，…，２３_nは、予め覚醒度（例、高・中・低）及び生体情報の特徴量を互いに関連付けて記憶した記憶部である。教師データＤＢ２３₁，２３₂，…，２３_nの作成方法としては、一般的には、意図的に覚醒度を誘導する環境を作り、覚醒度の主観評価を正解として取得し、その時の生体情報の特徴量を算出しておく方式が知られている。

また、各々の覚醒度分類部２２₁，２２₂，…，２２_nは、教師データＤＢ２３₁，２３₂，…，２３_nに基づいて、各々の特徴量Ｄ₁₁，Ｄ₂₁，…，Ｄ_n1を各々の覚醒度Ａ₁₁，Ａ₂₁，…，Ａ_n1に分類する。しかる後、各々の覚醒度分類部２２₁，２２₂，…，２２_nは、各々の覚醒度Ａ₁₁，Ａ₂₁，…，Ａ_n1を一致度算出部２４に送出する。

一致度算出部２４は、各々の覚醒度Ａ₁₁，Ａ₂₁，…，Ａ_n1を受けると、イベントＥ₁における覚醒度の一致度を算出し、最も高い一致度をもつ覚醒度を当該イベントＥ₁における覚醒度と推定する。

覚醒度の一致度は、分類された覚醒度の個数「ｎ」のうち、互いに一致する覚醒度の個数の割合を％で表した値である。例えば、１０人のユーザの生体情報から得られた１０個の覚醒度Ａ₁₁，Ａ₂₁，…，Ａ₁₀₁のうち、互いに一致して「高」を示す覚醒度が８個あったとき、覚醒度の一致度が８０％と算出され、覚醒度が「高」と推定される。

以下同様に、イベントＥ₂，Ｅ₃，…においても、覚醒度の一致度が推定され、覚醒度「中」，「中」，…が推定される。

L.Constantine, and H.Hajj. "A Survey of Ground-truth in Emotion Data Annotation" PERCOM Workshops, 2012.

しかしながら、以上のような覚醒度推定方法は、本発明者の検討によれば、生体情報のノイズに由来した覚醒度を一致度の算出に用いてしまうことから、高い一致度をもつ覚醒度を推定する精度を低下させる可能性がある。

例えば図９に示すように、イベントＥ₃においては、ユーザｕ₁の生体情報の波形と、ユーザｕ₂の生体情報の波形とが大きく相違する。このようなイベントＥ₃における波形の相違は、イベントＥ₁，Ｅ₂における時間遅れ（位相差）や個人差（振幅等の差）に由来する波形の相違とは異なり、生体情報のノイズに由来する可能性がある。これにもかかわらず、覚醒度Ａ₁₃，Ａ₂₃は、互いに一致する覚醒度として一致度の算出に用いられてしまう。

このように、従来の覚醒度推定方法は、生体情報のノイズに由来した覚醒度を一致度の算出に用いてしまうことから、高い一致度をもつ覚醒度を推定する精度を低下させる可能性がある。

この発明は上記事情に着目してなされたもので、その目的とするところは、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定し得る覚醒度推定装置、覚醒度推定方法及びプログラムを提供することにある。

上記目的を達成するためにこの発明の一つの観点は、以下のような構成要素を備えている。すなわち、イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、前記イベントにおける覚醒度を推定する覚醒度推定装置であって、分割手段、第１導出手段、算出手段、第２導出手段、記憶手段及び推定手段を備えている。

前記分割手段は、前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割する。

前記第１導出手段は、前記ユーザ毎に、前記複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する。

前記算出手段は、前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。

前記第２導出手段は、前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出する。

前記記憶手段は、予め特徴量及び覚醒度を互いに関連付けて記憶している。

前記推定手段は、前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。

また、この発明の一つの観点は以下のような態様を備えることを特徴とする。
第１の態様は、前記推定手段が、抽出部、置換部、算出部及び推定部を備えている。

前記抽出部は、前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する。

前記置換部は、前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。

前記算出部は、前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出する。

前記推定部は、前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。

第２の態様は、前記覚醒度推定装置が、イベント情報記憶手段及び出力手段を更に備えている。

前記イベント情報記憶手段は、前記イベントの識別情報を含むイベント情報を記憶する。

前記出力手段は、前記推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、前記イベント情報記憶手段内のイベント情報を出力する。

したがって、この発明の一つの観点によれば、前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割し、前記複数の区間の生体情報から各々の特徴量を含む第１特徴ベクトルを導出し、前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。また、前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出し、前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。

このため、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定することができる。

また、第１の態様によれば、前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出し、前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。また、前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出し、前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。このため、生体情報内のノイズが最も少ない２つの第１特徴ベクトルを抽出できると共に、ノイズが生じた区間の特徴量からノイズのない特徴量に置換できるので、前述した一つの観点の効果を容易且つ確実に得ることができる。

また、第２の態様によれば、前記推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、前記イベント情報記憶手段内のイベント情報を出力する。このため、複数ユーザが高い覚醒状態を示すときのイベント情報を、特別なイベントを振り返り、共有するサービス等に活用することが可能である。

すなわちこの発明によれば、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定し得る覚醒度推定装置、覚醒度推定方法及びプログラムを提供することができる。

本発明の一実施形態に係る覚醒度推定装置が適用されたサーバ装置を備えたシステムの構成を示す模式図である。 同実施形態における同システムの構成を示す模式図である。 同実施形態における同システムの変形例を示す模式図である。 同実施形態における特徴量の一例を示す模式図である。 同実施形態における第１特徴ベクトルを説明するための模式図である。 同実施形態におけるノイズの除去を説明するための模式図である。 同実施形態における動作を説明するためのフローチャートである。 従来の覚醒度推定方法を説明するための機能ブロックの模式図である。 従来の覚醒度推定方法を説明するための模式図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。

図１及び図２は本発明の一実施形態に係る覚醒度推定装置が適用されたサーバ装置を備えたシステムの構成を示す模式図であり、図３は同システムの変形構成を示す模式図である。このシステムは、互いに通信可能なイベント記録装置３０、生体情報取得部４０₁〜４０_n及びサーバ装置Ｓｖを備えている。サーバ装置Ｓｖは、例えば、イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、当該イベントにおける覚醒度を推定する覚醒度推定装置としてコンピュータを機能させるためのプログラムを用いて実施してもよい。すなわち、サーバ装置Ｓｖは、センサ又はメモリ等のハードウェア資源に協働する機能ブロックの機能をプログラムにより実現してもよい。

ここで、イベント記録装置３０は、例えば、屋内又は屋外といった実空間上の環境に設置され、イベント時の映像や音声、イベントの対象物のＩＤや名前などを示すイベント情報をイベント情報記憶部６０に記録する。また、イベント記録装置３０は、イベントの識別情報を生体情報取得部４０₁〜４０_nに送出する。

イベントは、任意の空間の大きさや、時間の長さによって、開始、終了タイミングが与えられてよいとする。また、展示物などのように各閲覧対象物を１イベントとしてもよいとする。また、イベント情報は、イベントの識別情報を含んでもよい。イベントの識別情報は、区間ＩＤ、時刻又は位置などのように複数の情報の組み合わせとしてもよく、イベントコード又はイベント名などのように単一の情報としてもよい。イベント記録装置３０は、環境に設置される場合に限らず、図３に示すように、生体情報取得部４０₁と共に、ユーザ端末３１に実装されてもよい。

生体情報取得部４０₁〜４０_nは、ｎ人のユーザｕ₁〜ｕ_nが個別に携帯可能な端末、あるいは、環境に埋め込まれたセンサ等に実装され、イベントを体験中の各々のユーザｕ₁〜ｕ_nから各々の生体情報を取得する。例えば、生体情報取得部４０₁〜４０_nは、各イベントＥ_iにおいて、ユーザごとに、心拍や皮膚電気活動や体温などの生体情報を取得する。また例えば、生体情報取得部４０₁〜４０_nは、イベント記録装置３０から各イベントの識別情報（Ｅ_i）を受けると共に、ユーザから取得した生体情報に各イベントの識別情報を付与し、当該イベントの識別情報が付与された生体情報をサーバ装置Ｓｖに送信する。「識別情報」は「ＩＤ」と読み替えてもよい。

サーバ装置Ｓｖは、覚醒度推定部５０、イベント情報記憶部６０及び送信部７０を備えている。

覚醒度推定部５０は、特徴量算出部５１₁〜５１_n、相関値算出部５２、特徴量統合部５３、教師データＤＢ５４及び覚醒度分類部５５を備えている。「ＤＢ」は、「データベース」の略語であり、例えば「記憶部」又は「格納部」等に読み替えてもよい。

特徴量算出部５１₁〜５１_nは、以下の各機能(f51-1)〜(f51-2)を備えている。

(f51-1) ユーザ毎に、イベントに対する生体情報を複数の区間の生体情報に分割する分割機能。ここで、「区間」は、「分割区間」、「期間」又は「分割期間」等と読み替えてもよい。分割機能は、イベントを体験中のユーザから取得した生体情報を任意の時間幅で分割する機能である。

(f51-2) ユーザ毎に、当該複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する第１導出機能。

例えば、イベントＥ_iにおけるユーザｕ_nの生体情報をｍ分割したときの第１特徴ベクトルＣ_niは、ｍ分割により得られたｍ個の生体情報から算出されたｍ個の特徴量ｆ_n1，ｆ_n2，…，ｆ_nmを用いて、次のように表される。
Ｃ_ni＝｛ｆ_n1，ｆ_n2，…，ｆ_nm｝
ここで、特徴量としては、例えば図４に示すように、心拍数や心拍変動値、Ｒ−Ｒ分散値、呼吸数、呼吸周期、ＧＳＲ（galvanic skin response：電気性皮膚反射）のピーク数、ＧＳＲの振幅平均値、体温平均値、筋電の振幅平均値、などが適宜、使用可能となっている。また、第１特徴ベクトルには、生体情報に付与されたイベントの識別情報を付与してもよい。

このような特徴量算出部５１₁〜５１_nは、分割手段及び第１導出手段を構成している。

相関値算出部５２は、例えば、ユーザ毎に導出した第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する算出機能を備える。

例えば、相関値算出部５２は、イベントＥ_iの第１特徴ベクトルＣ_1i，Ｃ_2i，…Ｃ_niから、２つの第１特徴ベクトルからなる組（ペア）をつくり、各ペアの相関値ＣＯＲ_ikを算出する。ｎはユーザの人数を表し、ｋは２組の組み合わせ数_nＣ₂である。

各ペアの相関値ＣＯＲは、例えば、一般的な相関係数として算出可能となっている。一般的な相関係数としては、例えば、ピアソンの積率相関係数（http://aoki2.si.gunma-u.ac.jp/lecture/Soukan/pearson.html）等が使用可能となっている。各ペアの相関値（例、ＣＯＲ_i1）は、例えば図５に一例を示すように、２つの第１特徴ベクトル（例、Ｃ_1i，Ｃ_2i）を変数として算出される。

また、相関値算出部５２は、相関値以外にも、Ｃ_1i−Ｃ_2i，Ｃ_1i×Ｃ_2iなどの演算によって、第１特徴ベクトルの相互の関係性を数値で表す演算値を算出してもよい。本実施形態は、当該演算値を算出する場合を例に挙げて説明している。

また、第１特徴ベクトルの間の差分値Ｃ_(n-1)i−Ｃ_niは、次のように算出される。

Ｃ_(n-1)i−Ｃ_ni＝｛ｆ_(n-1)1−ｆ_n1，ｆ_(n-1)2−ｆ_n2，…，ｆ_(n-1)m−ｆ_nm｝
このような相関値算出部５２は、算出手段を構成している。

特徴量統合部５３は、例えば、ユーザ毎に導出した第１特徴ベクトルと、当該算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出する第２導出機能を備えている。「特徴量統合部」は、「特徴ベクトル統合部」又は「特徴ベクトル導出部」等と読み替えてもよい。また、「第１特徴ベクトル」及び「第２特徴ベクトル」の名称は互いに区別がつけばよいので、例えば、「第１特徴ベクトル」を「特徴ベクトル」等に、「第２特徴ベクトル」を「統合特徴ベクトル」等に、それぞれ読み替えてもよい。

特徴量統合部５３は、例えば２人のユーザｕ₁，ｕ₂の場合、イベントＥ_iにおけるユーザｕ₁，ｕ₂毎に導出した第１特徴ベクトルＣ_1i，Ｃ_2iと、当該算出した相関値ＣＯＲ_i1及び区間毎の各々の特徴量同士の演算値Ｃ_1i−Ｃ_2i，Ｃ_1i×Ｃ_2i，…とを入力としたとき、次に示すように、これらを一つの第２特徴ベクトルＦ_iに統合する。

Ｆ_i＝｛Ｃ_1i，Ｃ_2i，ＣＯＲ_i1，Ｃ_1i−Ｃ_2i，Ｃ_1i×Ｃ_2i，…｝
なお、ユーザがｎ人のユーザｕ₁，ｕ₂，…，ｕ_nの場合、第２特徴ベクトルＦ_iは、例えば、次に示すように表される。

Ｆ_i＝｛Ｃ_1i，Ｃ_2i，…，Ｃ_ni，ＣＯＲ_i1，ＣＯＲ_i2，…，ＣＯＲ_ik，Ｃ_1i＊Ｃ_2i，Ｃ_1i＊Ｃ_3i，…，Ｃ_1i＊Ｃ_ni，…，Ｃ_2i＊Ｃ_3i，Ｃ_2i＊Ｃ_4i，…，Ｃ_2i＊Ｃ_ni，…，Ｃ_(n-1)i＊Ｃ_ni｝
ここで、＊は演算子を表し、いずれの演算（例、−、×）を用いてもよい。また、１組の第１特徴ベクトル（例、Ｃ_1i，Ｃ_2i）から算出する演算値（Ｃ_1i＊Ｃ_2i）は、１個（例、Ｃ_1i−Ｃ_2i）に限らず、演算子＊の種類に応じて複数個（例、Ｃ_1i−Ｃ_2i，Ｃ_1i×Ｃ_2i，…）としてもよい。

このような特徴量統合部５３は、第２導出手段を構成している。

教師データＤＢ（記憶手段）５４は、予め特徴量及び覚醒度を互いに関連付けて記憶した記憶部であり、例えば記憶内容｛特徴量，覚醒度｝が教師データとして覚醒度分類部５５に参照される。覚醒度としては、例えば「高、中、低」などのように、段階的な値を用いている。教師データＤＢ５４の作成方法は、例えば、意図的に覚醒度を誘導する環境をつくり、覚醒度の主観評価を正解として取得し、その際の生体情報を計測して特徴量を算出し、特徴量及び覚醒度を互いに関連付けて登録すればよい。

覚醒度分類部（推定手段）５５は、例えば、第２特徴ベクトルと教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する推定機能を備えている。この推定には、ＳＶＭ（Support Vector Machine）や決定木などの分類器を用いてもよい。

また、覚醒度分類部５５は、当該推定した覚醒度と、第２特徴ベクトル内の第１特徴ベクトルに付与されているイベントの識別情報とを送信部７０に送出する機能を備えてもよい。あるいは、覚醒度分類部５５は、当該推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報を送信部７０に送出する機能を備えてもよい。

また、推定機能は、例えば、以下の各機能(f55-1)〜(f55-4)を備えてもよい。

(f55-1) 第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する機能。

(f55-2) 当該抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える機能。

例えば、演算子＊が差分演算（−）の場合、演算値（差分値）Ｃ_(n-1)i−Ｃ_niは、次のように表される。

Ｃ_(n-1)i−Ｃ_ni＝｛ｆ_(n-1)1−ｆ_n1，ｆ_(n-1)2−ｆ_n2，…，ｆ_(n-1)m−ｆ_nm｝
また例えば、図６に示す場合、第１特徴ベクトルの間の演算値Ｃ_1i−Ｃ_2iは、次のように表される。なお、各々の特徴量は、例えばピーク数とする。
Ｃ_1i−Ｃ_2i＝｛ｆ₁₁−ｆ₂₁，ｆ₁₂₋ｆ₂₂，ｆ₁₃−ｆ₂₃，ｆ₁₄−ｆ₂₄｝
＝｛２−２，２−１，３−１，１−１｝
＝｛０，１，２，０｝
また例えば、基準範囲を１以下としたとき、演算値｛０，１，２，０｝が基準範囲“１以下”から外れた区間の特徴量ｆ₁₃を、当該２つの第１特徴ベクトルＣ_1i，Ｃ_2iに含まれる当該区間の各々の特徴量ｆ₁₃，ｆ₂₃のうち、小さい方の特徴量ｆ₂₃に置き換える。

なお、演算値が基準範囲から外れた区間の特徴量ｆ₁₃は、ノイズである可能性が高いため、前述した置き換え等により、除去する必要がある。

(f55-3) 当該置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、複数の区間の全体の特徴量を算出する機能。

(f55-4) 当該全体の特徴量と教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する機能。
このような推定機能は、抽出部、置換部、算出部及び推定部を構成している。

イベント情報記憶部（イベント情報記憶手段）６０は、イベント記録装置３０から書き込まれたイベント情報を記憶する。イベント情報は、イベントの識別情報を含んでいる。

送信部７０は、覚醒度分類部５５から覚醒度とイベントの識別情報とを受けると、当該推定された覚醒度が所定の高い覚醒状態を示すとき、当該イベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する出力機能を備えていてもよい。この場合、送信部７０は、出力手段を構成している。

あるいは、送信部７０は、覚醒度分類部５５からイベントの識別情報を受けると、当該イベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する出力機能を備えていてもよい。この場合、覚醒度分類部５５及び送信部７０は、出力手段を構成している。

イベント情報の出力先は、例えば、所定のユーザ又はサービス提供者としてもよい。

なお、振り返り共有等のサービスを用いず、覚醒度を推定するだけであれば、イベント情報記憶部６０及び送信部７０は必須ではなく、省略可能である。

次に、以上のように構成されたシステムの動作について図７のフローチャートを参照しながら説明する。

いま、各々のユーザｕ₁，…，ｕ_nは、イベントＥ_iを体験中とする。

生体情報取得部４０₁，…，４０_nは、イベントＥ_iを体験中の各々のユーザｕ₁，…，ｕ_nから各々の生体情報を取得する。また、生体情報取得部４０₁，…，４０_nは、イベント記録装置３０から各イベントの識別情報（Ｅ_i）を受けると共に、ユーザｕ₁，…，ｕ_nから取得した生体情報に各イベントの識別情報を付与し、当該イベントの識別情報が付与された生体情報をサーバ装置Ｓｖに送信する。

サーバ装置Ｓｖにおいては、特徴量算出部５１₁，…，５１_nが、ユーザｕ₁，…，ｕ_n毎に、イベントＥ_iに対する生体情報を複数の区間の生体情報に分割する（ＳＴ１０）。

また、特徴量算出部５１₁，…，５１_nは、ユーザｕ₁，…，ｕ_n毎に、当該複数の区間の生体情報から各々の特徴量ｆ_n1，ｆ_n2，…，ｆ_nmを算出し、当該各々の特徴量を含む第１特徴ベクトルＣ_1i，…，Ｃ_niを導出する（ＳＴ２０）。

相関値算出部５２は、第１特徴ベクトルＣ_1i，…，Ｃ_niを２つずつ組み合わせることにより、当該組み合わせに係る第１特徴ベクトルの間の相関値ＣＯＲ_i1，ＣＯＲ_i2，…，ＣＯＲ_ikと、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値Ｃ_1i＊Ｃ_2i，Ｃ_1i＊Ｃ_3i，…，Ｃ_1i＊Ｃ_ni，…，Ｃ_2i＊Ｃ_3i，Ｃ_2i＊Ｃ_4i，…，Ｃ_2i＊Ｃ_ni，…，Ｃ_(n-1)i＊Ｃ_niとを算出する（ＳＴ３０）。

特徴量統合部５３は、第１特徴ベクトルＣ_1i，…，Ｃ_niと、当該算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルＦ_iを次式のように導出する（ＳＴ４０）。

Ｆ_i＝｛Ｃ_1i，Ｃ_2i，…，Ｃ_ni，ＣＯＲ_i1，ＣＯＲ_i2，…，ＣＯＲ_ik，Ｃ_1i＊Ｃ_2i，Ｃ_1i＊Ｃ_3i，…，Ｃ_1i＊Ｃ_ni，…，Ｃ_2i＊Ｃ_3i，Ｃ_2i＊Ｃ_4i，…，Ｃ_2i＊Ｃ_ni，…，Ｃ_(n-1)i＊Ｃ_ni｝
覚醒度分類部５５は、第２特徴ベクトルＦ_iと教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する（ＳＴ５０）。

ステップＳＴ５０では、例えば、第２特徴ベクトルＦ_i内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する。

また、当該抽出された組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。

また、当該置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、複数の区間の全体の特徴量を算出する。例えば、各々の特徴量を合計することにより、全体の特徴量を算出する。

また、当該全体の特徴量と教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する。例えば、このようにして、ステップＳＴ５０が実行される。

しかる後、覚醒度分類部５５は、当該推定した覚醒度と、第２特徴ベクトル内の第１特徴ベクトルに付与されているイベントの識別情報とを送信部７０に送出する。

送信部７０は、覚醒度分類部５５から覚醒度とイベントの識別情報とを受けると、当該推定された覚醒度が所定の高い覚醒状態を示すとき、当該イベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する（ＳＴ６０）。

以下、他のイベントＥ_(i+1)，…についても同様に、ステップＳＴ１０〜ＳＴ６０の処理が実行される。

上述したように本実施形態によれば、ユーザｕ₁，…，ｕ_n毎に、イベントＥ_iに対する生体情報を分割し、複数の区間の生体情報から各々の特徴量ｆ_n1，ｆ_n2，…，ｆ_nmを含む第１特徴ベクトルＣ_1i，…，Ｃ_niを導出し、第１特徴ベクトルＣ_1i，…，Ｃ_niを２つずつ組み合わせることにより、第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。また、第１特徴ベクトルＣ_1i，…，Ｃ_niと、相関値及び演算値とを含む第２特徴ベクトルＦ_iを導出し、第２特徴ベクトルＦ_iと教師データＤＢ５４の記憶内容とに基づいて、イベントＥ_iにおける覚醒度を推定する。

このため、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定することができる。

また、ステップＳＴ５０において、第２特徴ベクトルＦ_i内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出し、当該組み合わせに対する相関値及び演算値に基づいて、基準範囲から外れた区間の特徴量を、当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。また、置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて全体の特徴量を算出し、全体の特徴量と教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する。このため、生体情報内のノイズが最も少ない２つの第１特徴ベクトルを抽出できると共に、ノイズが生じた区間の特徴量からノイズのない特徴量に置換できるので、前述した効果を容易且つ確実に得ることができる。

また、推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する。このため、複数ユーザが高い覚醒状態を示すときのイベント情報を、特別なイベントを振り返り、共有するサービス等に活用することが可能である。

次に、以上の効果を補足的に説明する。

例えば、イベントの対象をスポーツ観戦とした場合、観戦するユーザ１人ずつを見ると、イベントに関係のない動きや対話等がノイズになり、イベントに対する真の覚醒状態が埋もれてしまう。一方、１人ずつにノイズが含まれていた場合でも、複数人が同時に覚醒した時点では、ゴールシーンなど重要なイベントである確率が高い可能性がある。

本実施形態では、ｎ人のデータから個別に特徴量を算出するのに加えて、複数ユーザの同時覚醒又はノイズという情報を相関値として与えている。

例えば、図５に示すユーザｕ₁の生体情報の場合、従来ではノイズ部分の特徴量ｆ₁₃が覚醒度「高」と推定されてしまう。一方、本実施形態では、例えば、低い相関（ノイズの可能性が高い）という情報を演算値（例、差分値）として与えることが可能となる。

換言すると、従来技術では、各ユーザの覚醒度を求めて複数ユーザの覚醒度との一致性から覚醒度を推定すると、各自の覚醒度にはノイズが生じることが一般的であるため、推定精度が低くなってしまう。

これに対し、本実施形態では、複数ユーザの生体情報について、イベント内での時間的変化の相関を用いて、ノイズ部分を除去することにより、単一ユーザごとにイベントの覚醒度を推定するよりも高精度な推定を可能としている。

また、各イベントにおける、各ユーザの生体情報を任意の時間幅で分割しているので、生体情報由来の時間遅れに対応したユーザ間の相関を算出することも可能である。

なお、この発明は上記実施形態に限定されるものではない。例えば図３に示したように、イベント記録装置３０をユーザ端末３１が備えてもよい。

その他、第２特徴ベクトルＦ_iから覚醒度を推定するステップＳＴ５０の処理等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０₁〜１０_n，４０₁〜４０_n…生体情報取得部、２０，５０…覚醒度推定部、２１₁〜２１_n，５１₁〜５１_n…特徴量算出部、２２₁〜２２_n，５５…覚醒度分類部、２３₁〜２３_n，５４…教師データＤＢ、２４…一致度算出部、３０…イベント記録装置、３１…ユーザ端末、６０…イベント情報記憶部、７０…送信部、Ｓv…サーバ装置、ｕ₁〜ｕ_n…ユーザ。

Claims (4)

1. イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、前記イベントにおける覚醒度を推定する覚醒度推定装置であって、
   前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割する分割手段と、
   前記ユーザ毎に、前記複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する第１導出手段と、
   前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する算出手段と、
   前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出する第２導出手段と、
   予め特徴量及び覚醒度を互いに関連付けて記憶した記憶手段と、
   前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する推定手段と
   を備え、
   前記推定手段は、
   前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する抽出部と、
   前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える置換部と、
   前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出する算出部と、
   前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する推定部と
   を備えたことを特徴とする覚醒度推定装置。
2. 請求項１記載の覚醒度推定装置において、
   前記イベントの識別情報を含むイベント情報を記憶するイベント情報記憶手段と、
   前記推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、前記イベント情報記憶手段内のイベント情報を出力する出力手段と
   を更に備えたことを特徴とする覚醒度推定装置。
3. 予め特徴量及び覚醒度を互いに関連付けて記憶した記憶手段、分割手段、第１導出手段、算出手段、第２導出手段及び推定手段を備え、イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、前記イベントにおける覚醒度を推定する覚醒度推定装置が実行する覚醒度推定方法であって、
   前記分割手段が、前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割する工程と、
   前記第１導出手段が、前記ユーザ毎に、前記複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する工程と、
   前記算出手段が、前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の特徴量同士の演算値とを算出する工程と、
   前記第２導出手段が、前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の特徴量同士の演算値とを含む第２特徴ベクトルを導出する工程と、
   前記推定手段が、前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する推定工程と
   を備え、
   前記推定手段は、抽出部、置換部、算出部及び推定部を備え、
   前記推定工程は、
   前記抽出部が、前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する工程と、
   前記置換部が、前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える工程と、
   前記算出部が、前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出する工程と、
   前記推定部が、前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する工程と
   を備えたことを特徴とする覚醒度推定方法。
4. 請求項１又は請求項２に記載の覚醒度推定装置としてコンピュータを機能させるためのプログラム。

Images