JP6521778B2 - 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム - Google Patents

Description

本発明は、人の生体信号を検知する技術に関する。

近年、センサによって人の活動に基づく様々な生体信号を検知し、信号処理したデータをユーザに提示する技術がある。センサとしては、具体的には、腕時計型脈拍センサや、イヤホン型脈拍センサ、ヘッドバンド型脳波センサのようなウェアラブルデバイスがある。そして、それら生体信号は、ユーザに常時携帯されるスマートフォンや携帯端末によって信号処理され、加工されたデータがユーザに提示される。

従来、センサ付きイヤホンによって生体信号（脳波、体温、動き加速度、脈拍）を検知するシステムがある（例えば特許文献１参照）。イヤホンに装着されたセンサによって耳付近の生体信号を検知し、その生体信号を、ユーザ所持の携帯電話機を介して外部装置へ伝送する。この技術によれば、外部装置によって、様々な観点から生体信号を解析することができる。

また、筋電センサ付のイヤホンやヘッドバンドによって検知した筋電信号から、表情を検出する筋活動診断装置の技術がある（例えば特許文献２及び３参照）。この技術によれば、筋電センサによって検知した耳付近の筋電信号から、人の笑顔、咀嚼、無表情を分別することができる。

更に、生体情報（脳波、心拍、瞳孔、視線）及び行動情報（動作、表情、ため息等）から、ユーザの嗜好を判断するシステムの技術もある（例えば特許文献４参照）。この技術によれば、行動情報はビデオカメラ及びマイクによって検出した映像信号及び音声信号から推定している。

更に、顔表情の中でも「笑顔」のみに着目して自動的に検出する技術もある。例えば、周知技術として、顔画像解析に基づく「スマイルスキャン（登録商標）」（オムロン社）がある。但し、常にカメラで顔画像を撮影すること要する顔画像解析は、プライバシの側面から、ユーザにとって利用の心理的ハードルが高いとされる。また、顔画像を撮影するカメラを配置する、構造的の問題も多い。

更に、顔画像分析以外の技術として、ヘッドフォン形状の皮膚電位センサを用いて、頭皮耳介及び耳介周囲の頭皮電位の変化から、目の動きと顔の表情を抽出する顔面情報検出装置の技術もある（例えば特許文献５参照）。この技術によれば、喜怒哀楽の表情及び目の動きを検出することができる。

更に、客観的に笑いを測定するシステムとして、喉（音）で測定する「爆笑計」（大阪電気通信大学）や「アッハ・メーター（登録商標）」（プロジェクトaH）、喉（音）と表情筋電と横隔膜筋電との３つを同時に計測する「横隔膜式笑い測定システム」（関西大学、プロジェクトaH）もある。

特開２００３−３１０５６号公報 特開２０１２−０００２２８号公報 特許５５７４４０７号公報 特開２０１４−２１９９３７号公報 特許４７２２５７３号公報

前述した技術は、人の生体信号をセンサによって検知し、人の顔の表情を分別することのみに着目したものである。しかしながら、人の顔の表情を分別できたとしても、ユーザが、その時に体験している何れの状況によって、その表情が生じているのかを対応付けることまではできない。

これに対し、本願の発明者らは、様々なセンサによって検知された人の表情を、スマートフォンのような端末によって実行中のアプリケーション（又はコンテンツ）による使用体験（ユーザエクスペリエンス）として対応付けることはできないか？と考えた。即ち、ユーザの表情は、そのアプリケーションに関連したものではないか？と考えた。

アプリケーションの使用体験があった時に発現する「笑み」に着目すると、例えば、ユーザが視聴した映像や音楽、電子書籍、ウェブコンテンツ、ゲーム等のどの箇所がどれくらい好まれたか、を捉えることもできる。また例えば、いつ誰と行ったコミュニケーションがどれくらい好まれたか、を捉えることもできる。更に例えば、いつどこで誰とのアプリケーションの体験が好ましかったか、を捉えることもできる。更に例えば、コンテンツ配信サービスにおける大量の映像や音楽の中から、ユーザの好む映像や音楽に対応付けられた表情情報を、ユーザの利用履歴とすることもできる。
逆に、アプリケーションの使用体験があった時に発現する「噛み締め」に着目すると、例えばユーザの不満として捉えることもできる。

そこで、本発明は、端末で実行中のアプリケーションによるユーザエクスペリエンスに対し、ウェアラブルデバイスを用いて表情情報を付与することができるプログラム、端末及びシステムを提供することを目的とする。

本発明によれば、リファレンス用電極が、ユーザの左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能な、１チャネルの筋電信号を出力する筋電センサを有するデバイスから、筋電信号を入力すると共に、ユーザに対してアプリケーションを実行する端末に搭載されたコンピュータを機能させるプログラムであって、
筋電信号における所定周波数帯及び所定パワーの組に、感情識別子を対応付けて記憶した感情情報記憶手段と、
入力された筋電信号が、予め規定された所定周波数帯で所定パワー閾値以上となるか否かを判定する筋電信号判定手段と、
実行中のアプリケーションに対して、筋電信号判定手段によって真と判定された感情識別子を付与する感情識別子付与手段と
してコンピュータを機能させることを特徴とする。

本発明のプログラムにおける他の実施形態によれば、
前記感情情報記憶手段は、前記感情識別子に対して更に操作識別子を対応付けており、
アプリケーションに感情識別子が付与された際に、当該感情識別子に対応する前記操作識別子に基づく操作を実行する操作実行手段と
してコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
前記操作識別子は、「お気に入り(favorite)」登録操作に基づくものであり、
前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入り」へ登録する
ようにコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
前記操作識別子は、「スキップ(Skip)」操作に基づくものであり、
前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入らず」へ登録する
ようにコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
前記感情識別子付与手段は、実行中のアプリケーションの実行時間が所定時間以上である場合にのみ、前記感情識別子を付与する
ようにコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
前記感情識別子付与手段は、所定周波数帯におけるパワーの積分値、最大値及び／又は平均値を「感情度」として、実行中のアプリケーションに更に付与する
ようにコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
前記感情識別子付与手段は、実行中のアプリケーションに対して前記感情識別子が付与された時間位置を更に付与する
ようにコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
アプリケーションの識別子と、前記感情識別子との組を、ネットワークを介して外部装置へ送信する感情識別子送信手段と
してコンピュータを更に機能させることも好ましい。

本発明によれば、リファレンス用電極が、ユーザの左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能な、１チャネルの筋電信号を出力する筋電センサを有するデバイスと、
当該デバイスから筋電信号を入力すると共に、ユーザに対してアプリケーションを実行する端末と
を有するシステムであって、
端末は、
筋電信号における所定周波数帯及び所定パワーの組に、感情識別子を対応付けて記憶した感情情報記憶手段と、
入力された筋電信号が、感情情報記憶手段に記憶された所定周波数帯及び所定パワーに該当するか否かを判定する筋電信号判定手段と、
筋電信号判定手段によって真と判定された際に、ユーザに対して実行中のアプリケーションに対して、真と判定された所定周波数帯及び所定パワーに対応する感情識別子を付与する感情識別子付与手段と
を有することを特徴とする。

本発明のシステムにおける他の実施形態によれば、
デバイスは、ヘッドマウント型であり、左右のイヤパッド（スピーカ）それぞれに、筋電センサが配置されており、
端末について、感情情報記憶手段に記憶された、筋電信号における所定周波数帯及び所定パワーの組は当該ユーザの「笑み」及び／又は「噛み締め」に基づくものであって、それに対応する感情識別子も「笑み」及び／又は「噛み締め」に基づくものである
ことも好ましい。

本発明のプログラム、端末及びシステムによれば、端末で実行中のアプリケーションに、ウェアラブルデバイスを用いて表情情報を付与することができる。

本発明におけるシステム構成図である。 本発明におけるヘッドフォンの外観構成図である。 筋電信号の振幅を表すグラフである。 本発明における端末及びヘッドマウントデバイスの機能構成図である。 本発明によってアプリケーションに感情識別子を付与する説明図である。 アプリケーション管理サーバを用いたシステムの説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

スマートフォンに連携するウェアラブルデバイスとしては、一般的に、メガネ型や腕時計型の情報機器がある。頭部に装着するデバイスとしては、メガネ型やヘッドセットのような顔面の一部にかかるものがあるが、デバイスが顔面にかかる場合は見た目が不自然で、ユーザにとって利用の心理的ハードルが高い。一方で、耳に装着されるヘッドフォンは、スマートフォンと共に使用されていて、街中で装着している人も多く、極めて一般的なものである。

その耳付近の位置からは、体温、発汗、脈波、脈拍、脳波に加えて、頭部にある筋肉による筋電を、生体信号として検出することができる。顔表情の変化から得られる筋電信号は、ユーザの意識的反応及び無意識的反応の両方を、同じように検出する。意識的反応は、ユーザインタフェースとして利用することができる。また、無意識的反応は、ユーザの感情変化として検出することができる。

耳付近から得られる筋電信号には、様々な顔表情（笑み、噛み締め）を作る筋肉活動から得られる信号だけでなく、口の開閉動作や眼球運動等の筋肉活動や、脳波のような信号や、口の開閉や歩行等の体の動きによる筋電センサの電極と皮膚表面との間のズレ等に起因する接触抵抗変化によって生じるノイズも重なっている。
例えば顔表情「笑み」は、人のポジティブな感情を生じさせる体験から表れるもので、口角が上に引き上げる大頬骨筋等の筋肉活動による表情のことをいう。
このような顔表情は、特に予期していない好ましい体験をした際に、より顕著に表れる。
尚、例えば「笑み」に対して、声を出して笑う「笑い」や、酷いストレスを受けた場合におけるストレス発散のための「笑い」もあるが、「笑み」の表情が生じれば「笑み」を生じさせる筋肉活動の信号が発生する。
逆に、顔表情「噛み締め」は、悪いストレス等から生じるものであり、人のネガティブな感情を生じさせる体験から表れるもので、奥歯部分の頬が膨らむ筋肉活動による表情のことをいう。

ヘッドフォンは、スマートフォンが音声を利用するアプリケーションの実行中（例えば映像・音声のコンテンツの再生等のユーザ体験を提供中）に、ユーザに装着される。ヘッドフォンの装着／未装着自体も、ヘッドフォンの筋電信号から検知することができる。即ち、本発明は、ユーザがヘッドフォンを装着することによって、スマートフォンで実行中のアプリケーションに対するユーザ体験が好ましいものであったかを検知するための方法としての顔表情を検知しようとするものである。

図１は、本発明におけるシステム構成図である。

図１によれば、ヘッドマウントデバイスとしてのヘッドフォン２は、ユーザの頭に装着される。端末としてのスマートフォン１と、ヘッドフォン２との間は、音声信号を伝送するケーブル又は無線のいずれかによって接続されている。ケーブルは、例えばスマートフォン１のヘッドフォン・マイクロフォン用アナログ音声入出力端子（ジャック）に接続されるものであってもよいし、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。無線は、例えばBluetooth（登録商標）であってもよい。尚、以下では、端末は、代表的なスマートフォンとして説明するが、勿論、携帯電話機、ＰＤＡ(Personal Digital Assistant)又はパーソナルコンピュータであってもよい。

スマートフォン１からヘッドフォン２へ、コンテンツの音声信号が伝送されると共に、ヘッドフォン２からスマートフォン１へ、筋電センサによって検知された筋電信号が伝送される。ヘッドフォン２は、筋電センサの電極をユーザの耳介周辺から頬近傍のある一点に皮膚表面に接するように配置する。顔表情「笑み」は、大頬骨筋の活動が大きいためである。尚、本発明の筋電センサは、筋肉に対する非侵襲の表面筋電に基づくものである。尚、ヘッドフォンのイヤカップの形状は、密閉型、オープンエア型、又は、セミオープンエア型のいずれであってもよい。

図２は、本発明におけるヘッドフォンの外観構成図である。

図２によれば、ヘッドフォンがユーザの頭に装着された際に、筋電センサのリファレンス用電極が、左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されている。即ち、ヘッドフォン２の左右のイヤパッド（スピーカ）それぞれに、筋電センサの電極が配置されている。筋電センサの電極をイヤパッドに配置することによって、ヘッドフォンバンドの曲げ圧力とイヤパッドの弾性により付勢して、皮膚に押し当てて固定することができる。

筋電センサは、計測対象となるユーザの筋肉の変化の電気的物理量を計測するものであって、ヘッドフォン２には、１チャンネルの筋電センサを構成する３つの電極を搭載している。
「検出用＋（プラス）電極」及び「リファレンス用−（マイナス）電極」：
イヤパッドにおける顔の前向き前方の下部分に配置し、頬にできる限り近い位置
に配置
検出用電極とリファレンス用電極の一組で１チャンネルの筋電センサを構成
「ＤＲＬ(Driven Right Leg)電極」：
皮膚に当接する何れかの部分に配置
商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極

これら電極は、繰り返し使用できないジェル等を用いた湿式電極ではなく、繰り返し使用可能な乾式電極であり、イヤパッドに穴をあけその穴を塞ぐような、皮膚との接触抵抗が低く導電性の高い金属（例えば、銀‐塩化銀やステンレススチール等）の金属鋲を配置してもよいし、同様な性質をもつ導電性ゴムの鋲としてもよい。また、オープンエア型のイヤカップやイヤパッドの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い所に筋電センサの電極を配置してもよい。尚、頬に近い位置が顔表情「笑み」を作る筋肉活動の信号を検出するのに好ましいが、耳介やその周辺の皮膚に筋電センサの電極が当接していれば顔表情「笑み」を作る筋肉活動の信号を検出することが可能である。

図２（ａ）は、耳を覆うだけのイヤパッドに筋電センサが配置された構造を表す。
図２（ｂ）は、検出用＋電極及びリファレンス用−電極の筋電センサの対が、顔の前向き前方に突き出た構造を表す。これによって、既存のヘッドフォン形状よりも、筋電センサの検出用とリファレンス用電極を、ユーザの頬にできる限り近づけることになり、より大きな筋電信号を得ることができる。また、突き出た構造によって、ヘッドフォンの左右を間違えずに装着するように、ヘッドフォンの向きを示すことができる。

従来技術による表面筋電計測によれば、計測対象とする筋肉の直上の皮膚に筋肉の筋に沿って、数ｃｍ以下の間隔を空けて、検出用＋電極とリファレンス用−電極とを配置することが一般的である。顔表情「笑み」のみを検出するためには、左右いずれか片方の頬に検出用とリファレンス用電極を配置する。
これに対し、本発明によれば、ヘッドフォンに配置した筋電センサによって顔表情「笑み」を検出する。そして、左の耳前下周辺の頬近傍の皮膚に検出用＋（プラス）電極と、右の耳前下周辺の頬近傍の皮膚にリファレンス用−（マイナス）電極を配置することで、顔表情「笑み」を作る筋電を検出することができる。尚、左をリファレンス用（マイナス）電極、右を検出用（プラス）電極としてもよい。
又は従来技術同様に、左右どちらか一方に電極を配置し、顔の後方をリファレンス（マイナス）電極、頬に近い前方を検出（プラス）電極としてもよい。

図３は、筋電信号における周波数帯に対するパワー値を表すグラフである。

図３によれば、顔表情が生じた際に、筋電信号における検出サンプルに対する電圧変化を表す。ｘ軸は、筋電信号の検出サンプルFs＝512Hz（0〜512個で１秒間）であり、電圧の時系列的変化を表す。

図４は、本発明における端末及びヘッドマウントデバイスの機能構成図である。
図５は、本発明によってアプリケーションに感情識別子を付与する説明図である。

図４によれば、ヘッドフォン２は、イヤパッドに搭載されたスピーカ及び筋電センサと、筋電信号を端末１へ伝送可能な信号に変換する信号変換部と、端末１との間で音声信号及び筋電信号を伝送する信号インタフェースとを有する。
信号変換部は、端末１から受信した音声信号を増幅しスピーカへ出力すると共に、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するＤＲＬ回路を有し、検出用電極とリファレンス電極の電位差を増幅し0.1から数百μVの範囲の皮膚電位検出性能を有する。信号インタフェースがアナログインタフェースの場合は筋電センサによって検出された筋電信号をマイクレベルまで増幅し、端末１との信号インタフェースがデジタルインタフェースの場合は、サンプリング周波数500Hz以上、量子化１０bit以上でアナログ／デジタル変換を行い、端末１へ出力する。
信号インタフェースは、端末１とヘッドフォン２との間で音声ケーブルが用いられている場合、筋電信号は人間の可聴範囲内に収まる周波数特性なので周波数変換する必要はなく、携帯端末１の信号変換部によりマイク入力による音声同様にアナログ／デジタル変換される。尚、携帯電話のマイク端子は通常１チャネルである。

図４によれば、端末１は、ユーザに対してアプリケーションを実行し、ユーザがアプリケーションを使用する過程で生じる体験や経験であるユーザエクスペリエンス（ユーザ体験）を提供すると共に、少なくとも１チャネルの筋電信号を入力可能なものである。端末１は、アプリケーション実行部１１と、筋電信号判定部１２と、感情識別子付与部１３と、操作実行部１４と、感情識別子送信部１５とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。例えば、これら機能構成部は、バックグランドで動作する筋電アプリケーションとして実行されるものであってもよい。

アプリケーション実行部１１は、アプリケーションを実行しそのアプリケーションを使用するユーザに対しユーザ体験を提供するものである。本発明は、アプリケーションが提供するユーザ体験におけるユーザの顔の表情の変化を検出しようとする。

［筋電信号判定部１２］
筋電信号判定部１２は、筋電信号における所定周波数帯及び所定パワー閾値の組に、「感情識別子」を対応付けて記憶したものである。また、感情識別子に対して、更に「操作識別子」を対応付けたものであってもよい。

図５によれば、感情識別子毎に、所定周波数帯及び所定パワー閾値の組と、操作識別子とが、例えば以下のように対応付けて記憶されている。
＜感情識別子＞ ＜周波数帯・パワー閾値の組＞ ＜操作識別子＞
「笑み」 20〜45Hz ・・・ 「お気に入りへ登録」
「噛み締め」 80〜95Hz ・・・ 「お気に入らずへ登録」「スキップ」
・・・ ・・・ ・・・ ・・・
例えば20〜45Hzの周波数帯で、所定パワー閾値以上のパワー値が検出された場合、それは顔表情「笑み」であるとして検出しようとすることを登録する。一方で、大笑いや、会話、咀嚼の動作の場合、20Hzよりも低い周波数帯でパワー値が上昇することとなる。
また、例えば80〜95Hzの周波数帯で、所定パワー閾値以上のパワー値が検出された場合、それは顔表情「噛み締め」であるとして検出しようとすることを登録する。
これによって、顔表情を検出する際に、アーチファクト混入と、商用電源ノイズの影響を避けることができる。

操作識別子は、例えば「お気に入り(favorite)」登録操作に基づくものであってもよい。「お気に入り(favorite)」登録操作によって、その感情識別子が付与されたコンテンツ又はアプリケーションによるユーザ体験の識別子（例えば、音楽コンテンツのメディアファイル名）を、当該ユーザの「お気に入り」へ自動的に登録することができる。

筋電信号判定部１２は、デジタル入力された筋電信号が、予め規定（記憶）された所定周波数帯で所定パワー閾値以上のパワー値となるか否かを判定する。まず、アナログ信号で携帯電話のマイク端子に入力された筋電信号は音声周波数帯域、例えば8kHzのサンプリング周波数でデジタル信号にサンプリングされるので、これを、例えば512Hzのサンプリング周波数でリサンプリングする。ＵＳＢ等のデジタルインタフェースで入力された筋電信号も、例えば512Hzのサンプリング周波数でリサンプリングする。

尚、図５によれば、感情識別子「笑み」の所定周波数帯におけるパワー値閾値以上のパワー値が、筋電信号として検出されたとする。

筋電信号の所定周波数帯に対するパワー値に基づいて最も簡易に判定する方法について説明する。
検出された筋電信号のパワー値が、感情識別子における所定周波数帯の所定パワー閾値以上となっている場合、ユーザがその感情識別子に基づく表情を浮かべたと判定する。
また、検出された筋電信号のパワー値が、感情識別子における所定周波数帯の所定パワー閾値よりも小さい場合、ユーザがその感情識別子に基づく表情を浮かべたとは判定しない。

［感情識別子付与部１３］
感情識別子付与部１３は、実行中のアプリケーションによるユーザ体験に対して、筋電信号判定部１２によって真と判定された感情識別子を付与する。図５によれば、端末１によってコンテンツＢを再生中であったとする。このとき、端末１は、コンテンツＢに、感情識別子を付与する。

また、感情識別子付与部１３は、実行中のアプリケーションの実行によるユーザ体験の時間が所定時間以上である場合にのみ、感情識別子を付与する。これによって、短時間の一時的なアプリケーションの視聴に対しては、感情識別子を付与するまでもないとする。

更に、感情識別子付与部１３は、実行中のアプリケーションによるユーザ体験に対して感情識別子が付与された時間位置を更に付与する。例えばコンテンツの再生中に、ユーザが特定の顔表情（例えば「笑み」）を浮かべた時間位置やシーンＩＤに、その感情識別子を付与することもできる。ユーザがその時に、その感情を持ったことを特定することができる。また、コンテンツが電子書籍ファイルである場合、ユーザが例えば「笑み」を浮かべたページＩＤに、その感情識別子を付与することもできる。

更に、感情識別子付与部１３は、所定周波数帯におけるパワー値の積分値、最大値及び／又は平均値を「感情度」として、実行中のアプリケーションに更に付与する。

感情識別子が付与されるアプリケーションとしては、実行中のアプリケーションそのものユーザ体験や、再生中のコンテンツによるユーザ体験であって、例えば以下のようなものがある。
（実施例１）音楽プレイヤアプリケーションによって再生中の音楽ファイル
音楽プレイヤアプリケーションは、音楽ファイルをデコードした音声信号をヘッドフォンへ出力し、ユーザに聴かせる。音楽ファイルには、メタ情報（ファイル名、曲名、時間、アルバム名、ジャンル、演奏者、作詞者、作曲者、編曲者、歌詞等）が付与されている。ユーザが例えば「笑み」を浮かべた場合、その感情識別子をそのメタ情報に付与することができる。これによって、ユーザは、自分の好みの曲を、メタ情報のリストの中から確認することができる。音楽プレイヤ同様に、映像プレイヤ、電子書籍リーダ、ＷＥＢブラウザ等のコンテンツプレイヤに応用できる。

（実施例２）コミュニケーションアプリケーションによってメッセージ交換や通話をする
グループや相手方アドレス
コミュニケーションアプリケーションによって提供されるユーザ体験では、コミュニケーション中に、ユーザが例えば「笑み」を浮かべた場合、その感情識別子を、そのグループや相手方アドレス（メッセージＩＤ）に付与することができる。

（実施例３）位置アプリケーションによって取得された位置情報
例えばイベント会場では、各位置で展示説明等のオーディオガイドサービスが提供されている。イベントに来場したユーザは、その会場内で移動する毎に、オーディオガイドサービスの携帯端末によってその位置情報（例えば緯度経度）が検出される。位置情報は、ＧＰＳによって特定されるものであってもよいし、ＮＦＣ(Near Field Communication)やiBeacon(登録商標)等の近接通信によって特定されるものであってもよい。そして、ユーザが例えば「笑み」を浮かべた場合、その感情識別子をその位置で提供されたユーザ体験として付与することができる。

（実施例４）
例えばヘッドフォンにユーザが見ている方向を撮像するカメラデバイスを追加し、ユーザが例えば「笑み」を浮かべた際の前後の画像を撮像し記録することで、そのユーザのユーザ体験を画像として記録するアプリケーションにも活用できる他、ユーザが好ましいと感じたユーザ体験を評価するための評価装置も実現可能である。

［操作実行部１４］
操作実行部１４は、アプリケーションに感情識別子が付与された際に、当該感情識別子に対応する操作識別子に基づく操作を実行する。

例えば、以下のような操作識別子を対応付けることができる。
「お気に入り(favorite)」への登録
コンテンツプレイヤのプレイリストでのコンテンツの先送り／停止／再開
ＴＶやＲＡＤＩＯアプリでのＣＨザッピング操作
ドキュメントリーダ（電子書籍）のページ送り
ＷＥＢブラウザ等でのページスクロール。
メッセンジャーアプリ（Ｅメール、LINE等）の感情スタンプ選択ＵＩ
コミュニケーションアプリ（アバターチャット等）のアバターの感情表現の操作
コンテンツ購入サイトでの口コミへの感情自動投稿
位置情報アプリ（歩行ナビやオーディオガイド）の再生／停止／リピート
様々なスイッチＯＮ／ＯＦＦ操作

［感情識別子送信部１５］
感情識別子送信部１５は、アプリケーションにより提供されるユーザ体験の識別子と感情識別子との組を、ネットワークを介して外部装置へ送信する。外部装置としては、例えばアプリケーション管理サーバであってもよい。アプリケーション管理サーバは、ユーザ毎に、又は、多数のユーザについて、アプリケーションにより提供されるユーザ体験の識別子毎に、ユーザが例えば「笑み」を浮かべたことが記録される。これによって、ユーザに対するアプリケーションやコンテンツのレコメンドに利用することができる。

尚、本発明によれば、筋電信号を用いてSMILE及びSDを算出しているが、加速度センサの加速度信号や、脈拍センサの脈拍信号（例えば自律神経活動信号）に適用し、筋電信号の感情度と共に記録することもできる。

図６は、アプリケーション管理サーバを用いたシステムの説明図である。

図６によれば、各端末１は、当該ユーザの筋電信号によって検出した「アプリケーション識別子<->感情識別子」を、アプリケーション管理サーバ３へ送信する。これによって、アプリケーション管理サーバ３は、ユーザ毎に、又は、多数のユーザ全体について、各アプリケーションの「アプリケーション識別子<->感情識別子」の情報を蓄積することができる。これによって、アプリケーションのユーザ体験毎に、ユーザによって検出された感情識別子を集約管理することができる。また、アプリケーション管理サーバ３は、例えば協調フィルタリング等の機械学習によって、ユーザの好みの感情識別子に対応するアプリケーション及びコンテンツ等のユーザ体験を、そのユーザに似通った好みをもつ情報に基づいて推薦することもできる。

以上、詳細に説明したように、本発明のプログラム、端末及びシステムによれば、端末で実行中のアプリケーションに、ウェアラブルデバイスを用いて表情情報を付与することができる。

前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１１ アプリケーション実行部
１２ 筋電信号判定部
１２１ ウィンドウ分析部
１２２ 偏差算出部
１２３ 基準偏差記憶部
１２４ 顔表情判定部
１３ 感情識別子付与部
１４ 操作実行部
１５ 感情識別子送信部
２ ヘッドマウントデバイス、ヘッドフォン
３ アプリケーション管理サーバ

Claims (10)

1. リファレンス用電極が、ユーザの左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能な、１チャネルの筋電信号を出力する筋電センサを有するデバイスから、前記筋電信号を入力すると共に、ユーザに対してアプリケーションを実行する端末に搭載されたコンピュータを機能させるプログラムであって、
   筋電信号における所定周波数帯及び所定パワーの組に、感情識別子を対応付けて記憶した感情情報記憶手段と、
   入力された前記筋電信号が、予め規定された所定周波数帯で所定パワー閾値以上となるか否かを判定する筋電信号判定手段と、
   実行中のアプリケーションに対して、前記筋電信号判定手段によって真と判定された感情識別子を付与する感情識別子付与手段と
   してコンピュータを機能させることを特徴とするプログラム。
2. 前記感情情報記憶手段は、前記感情識別子に対して更に操作識別子を対応付けており、
   アプリケーションに感情識別子が付与された際に、当該感情識別子に対応する前記操作識別子に基づく操作を実行する操作実行手段と
   してコンピュータを更に機能させることを特徴とする請求項１に記載のプログラム。
3. 前記操作識別子は、「お気に入り(favorite)」登録操作に基づくものであり、
   前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入り」へ登録する
   ようにコンピュータを更に機能させることを特徴とする請求項２に記載のプログラム。
4. 前記操作識別子は、「スキップ(Skip)」操作に基づくものであり、
   前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入らず」へ登録する
   ようにコンピュータを更に機能させることを特徴とする請求項２に記載のプログラム。
5. 前記感情識別子付与手段は、実行中のアプリケーションの実行時間が所定時間以上である場合にのみ、前記感情識別子を付与する
   ようにコンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
6. 前記感情識別子付与手段は、所定周波数帯におけるパワーの積分値、最大値及び／又は平均値を「感情度」として、実行中のアプリケーションに更に付与する
   ようにコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。
7. 前記感情識別子付与手段は、実行中のアプリケーションに対して前記感情識別子が付与された時間位置を更に付与する
   ようにコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
8. アプリケーションの識別子と、前記感情識別子との組を、ネットワークを介して外部装置へ送信する感情識別子送信手段と
   してコンピュータを更に機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。
9. リファレンス用電極が、ユーザの左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能な、１チャネルの筋電信号を出力する筋電センサを有するデバイスと、
   当該デバイスから前記筋電信号を入力すると共に、ユーザに対してアプリケーションを実行する端末と
   を有するシステムであって、
   前記端末は、
   筋電信号における所定周波数帯及び所定パワーの組に、感情識別子を対応付けて記憶した感情情報記憶手段と、
   入力された前記筋電信号が、前記感情情報記憶手段に記憶された所定周波数帯及び所定パワーに該当するか否かを判定する筋電信号判定手段と、
   前記筋電信号判定手段によって真と判定された際に、ユーザに対して実行中のアプリケーションに対して、真と判定された所定周波数帯及び所定パワーに対応する前記感情識別子を付与する感情識別子付与手段と
   を有することを特徴とするシステム。
10. 前記デバイスは、ヘッドマウント型であり、左右のイヤパッド（スピーカ）それぞれに、前記筋電センサが配置されており、
    前記端末について、前記感情情報記憶手段に記憶された、筋電信号における所定周波数帯及び所定パワーの組は当該ユーザの「笑み」及び／又は「噛み締め」に基づくものであって、それに対応する前記感情識別子も「笑み」及び／又は「噛み締め」に基づくものである
    ことを特徴とする請求項９に記載のシステム。