JP6580497B2 - 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 - Google Patents

Description

本発明は、人の生体信号を検知する技術に関する。

近年、センサによって人の活動に基づく様々な生体信号を検知し、信号処理したデータをユーザに提示する技術がある。センサとしては、具体的には、腕時計型やイヤフォン型の脈拍センサや、ヘッドバンド型の脳波センサのようなウェアラブルデバイスがある。そして、これら生体信号は、ユーザに常時携帯されるスマートフォンや携帯端末によって信号処理され、加工されたデータがユーザに提示される。

従来、センサ付きイヤフォンによって、生体信号（脳波、体温、動き角速度、脈拍）を検知するシステムがある（例えば特許文献１参照）。イヤフォンに搭載されたセンサによって耳付近の生体信号を検知し、その生体信号を、ユーザ所持の携帯端末によって外部装置へ伝送する。外部装置は、様々な観点から生体信号を解析することができる。

また、筋電センサ付のイヤフォンやヘッドバンドによって検知した筋電信号から、表情を検出する筋活動診断装置の技術がある（例えば特許文献２及び３参照）。この技術によれば、筋電センサによって検知した耳付近の筋電信号から、人の笑顔、咀嚼、無表情を分別することができる。

これらの従来技術における表面筋電計測によれば、計測対象とする筋肉近傍の皮膚に数ミリから数ｃｍの間隔を空けて一組の電極を配置し、計測したい筋肉の活動を計測している。

更に、生体情報（脳波、心拍、瞳孔、視線）及び行動情報（動作、表情、ため息等）から、ユーザの嗜好を判断する技術もある（例えば特許文献４参照）。この技術によれば、行動情報は、ビデオカメラ及びマイクによって検出した映像信号及び音声信号から推定している。

更に、顔表情の中でも「笑顔」のみに着目して自動的に検出する技術もある。例えば、周知技術として、顔画像解析に基づく「スマイルスキャン（登録商標）」（オムロン社）がある。但し、常にカメラで顔画像を撮影すること要する顔画像解析は、プライバシの側面から、ユーザにとって利用の心理的ハードルが高いとされる。また、顔画像を撮影するカメラを配置する、構造的な問題も多い。

更に、顔画像分析以外の技術として、ヘッドフォン形状の皮膚電位センサを用いて、頭皮耳介及び耳介周囲の頭皮電位の変化から、目の動きと顔の表情を抽出する顔面情報検出装置の技術もある（例えば特許文献５参照）。この技術によれば、喜怒哀楽の表情及び目の動きを検出することができる。

更に、客観的に笑いを測定するシステムとして、喉（音）で測定する「爆笑計」（大阪電気通信大学）や「アッハ・メーター（登録商標）」（プロジェクトaH）、喉（音）と表情筋電と横隔膜筋電との３つを同時に計測する「横隔膜式笑い測定システム」（関西大学、プロジェクトaH）もある。

特開２００３−３１０５６１号公報 特開２０１２−０００２２８号公報 特許５５７４４０７号公報 特開２０１４−２１９９３７号公報 特許４７２２５７３号公報

前述した従来技術は、人の生体信号を検知するセンサを搭載した専用デバイスによって、人の顔表情を分別するものである。これに対し、本願の発明者らは、ユーザの顔表情である「笑み」や「噛み締め」を、ヘッドフォンやイヤフォンのようにユーザの装着に違和感の無いデバイスによって検知することはできないか？と考えた。「笑み」は、例えばユーザの好みと捉えて検知し、「噛み締め」は、例えばユーザの不満として捉えて検知することができる。

一般に、表情筋の筋肉活動を検出する表面筋電センサは、検出用電極とリファレンス用電極とから構成される。各電極は、モニタすべき筋肉上の皮膚表面に、数センチ以内の間隔で配置される。これによって、他の筋肉の活動による筋電信号の混入を軽減することができる。

一方で、ヘッドフォンは、左右両耳に当接するイヤカップがあるので、筋電センサの１チャンネルを構成する検出用電極を右（左）のイヤカップに、リファレンス用電極を左（右）のイヤカップにそれぞれ配置することによって、顔表情を捉えることができないか？を検討した。その結果、「笑み」の表情を作る筋肉活動による筋電信号は、一般的な数センチ以内の間隔を空けて配置する従来の電極配置方法よりも大きな信号を得られる知見を得た。しかしながら、「笑み」の表情を作る筋活動だけでなく、左右のイヤカップの電極間に存在する頭部の筋肉活動（「左右へ動かす眼球運動」や「噛み締め」、「口の開閉」、「口窄め」、「顎の突出し」等）も、大きく筋電信号に混入するという課題があった。また、口の開閉や体の動き等によって筋電センサの電極面の電気接触抵抗が変化することによるノイズ（アーチファクト）も、表面筋電図計測の課題であった。

また、筋電信号の振幅のみを用いて分析した場合、ノイズの影響を受けやすい。ノイズとしては、口の開閉や眼球運動等による低周波のアーチファクトや、商用電源ノイズ等であって、表情を作る筋肉の活動の信号よりも大きい。そのために、振幅のみを用いた場合、誤って顔表情を検出することもある。

そこで、本発明は、筋電センサによってユーザの顔から取得された筋電信号を用いて、「笑み」や「噛み締め」の顔表情を高い精度で識別することができる装置、デバイス、プログラム及び方法を提供すること目的とする。

本発明によれば、筋電センサによって検知されたユーザの表情筋筋電信号から、当該ユーザの顔表情を判定する装置であって、
顔表情毎に、周波数に対するパワー値によって表す基準特徴ベクトルを予め記憶した基準特徴ベクトル記憶手段と、
筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す検知特徴ベクトルを検出する周波数パワー分析手段と、
検知特徴ベクトルと、基準特徴ベクトル記憶手段に記憶された各顔表情に対する各基準特徴ベクトルとの類似度を検出する類似度検出手段と、
各顔表情について、各顔表情に対する基準特徴ベクトルとの類似度から、当該各顔表情以外の基準特徴ベクトルとの類似度の総和を減算した当該各顔表情の類似度を算出し、当該各顔表情の類似度のうち最も小さくなる顔表情を、当該ユーザの顔表情であると判定する顔表情判定手段と
を有することを特徴とする。

本発明の装置における他の実施形態によれば、
基準特徴ベクトル及び検知特徴ベクトルについて、周波数を対数周波数とし、パワー値を対数パワー値とすることも好ましい。

本発明の装置における他の実施形態によれば、
周波数パワー分析手段は、メル尺度フィルタバンク（対数周波数尺度フィルタバンク）によって分析することも好ましい。

本発明の装置における他の実施形態によれば、
周波数パワー分析手段は、ウィンドウ毎に、筋電信号における高周波数帯の信号を増幅する（プリエンファシス(pre-emphasis)フィルタ）ことも好ましい。

本発明の装置における他の実施形態によれば、
周波数パワー分析手段は、ウィンドウ毎に、判定すべき顔表情の基準特徴ベクトルに特有の周波数帯以外の周波数帯を除去する（帯域除去フィルタ）ことも好ましい。

本発明の装置における他の実施形態によれば、
基準特徴ベクトル記憶手段は、
顔表情「笑み」に対する基準特徴ベクトル、及び／又は、
顔表情「噛み締め」に対する基準特徴ベクトル
を含むことも好ましい。

本発明の装置における他の実施形態によれば、
装置は、ユーザの顔を撮影するカメラと、当該カメラによって撮影されたユーザの顔が写る画像から、当該ユーザの顔表情を画像認識する顔画像認識手段とを更に有し、
認識された顔表情に対して、筋電信号から周波数パワー分析によって検出された、周波数に対するパワー値によって表す特徴ベクトルを、基準特徴ベクトルとして基準特徴ベクトル記憶手段へ記憶させることも好ましい。

本発明によれば、前述した装置は、筋電センサを搭載したデバイスであって、
筋電センサは、
１チャネルの筋電信号を出力するものであり、
リファレンス用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となるか、又は、
リファレンス用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となることを特徴とする。

本発明のデバイスにおける他の実施形態によれば、
イヤフォン型又はヘッドマウント型であることも好ましい。

本発明のシステムによれば、前述した装置を組み込んだ、ユーザによって所持される携帯端末と、
ユーザの頭部に装着された際に、１チャネルの筋電信号を出力するデバイスと
を有し、
デバイスは、筋電センサを搭載し、
当該筋電センサは、 リファレンス用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となるか、又は、
リファレンス用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となることを特徴とする。

本発明によれば、筋電センサによって検知されたユーザの表情筋筋電信号から、当該ユーザの顔表情を判定する装置に搭載されたコンピュータを機能させるプログラムであって、
顔表情毎に、周波数に対するパワー値によって表す基準特徴ベクトルを予め記憶した基準特徴ベクトル記憶手段と、
筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す検知特徴ベクトルを検出する周波数パワー分析手段と、
検知特徴ベクトルと、基準特徴ベクトル記憶手段に記憶された各顔表情に対する各基準特徴ベクトルとの類似度を検出する類似度検出手段と、
各顔表情について、各顔表情に対する基準特徴ベクトルとの類似度から、当該各顔表情以外の基準特徴ベクトルとの類似度の総和を減算した、当該各顔表情の類似度を算出し、当該各顔表情の類似度のうち最も小さくなる顔表情を、当該ユーザの顔表情であると判定する顔表情判定手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、筋電センサによって検知されたユーザの表情筋筋電信号から、当該ユーザの顔表情を判定する装置の顔表情判定方法であって、
装置は、顔表情毎に、周波数に対するパワー値によって表す基準特徴ベクトルを予め記憶した基準特徴ベクトル記憶部を有し、
装置は、
筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す検知特徴ベクトルを検出する第１のステップと、
検知特徴ベクトルと、基準特徴ベクトル記憶部に記憶された各顔表情に対する各基準特徴ベクトルとの類似度を検出する第２のステップと、
各顔表情について、各顔表情に対する基準特徴ベクトルとの類似度から、当該各顔表情以外の基準特徴ベクトルとの類似度の総和を減算した、当該各顔表情の類似度を算出し、当該各顔表情の類似度のうち最も小さくなる顔表情を、当該ユーザの顔表情であると判定する第３のステップと
を実行することを特徴とする。

本発明の装置、デバイス、プログラム及び方法によれば、筋電センサによってユーザの顔から取得された筋電信号を用いて、「笑み」や「噛み締め」の顔表情を高い精度で識別することができる。

本発明におけるシステム構成図である。 本発明におけるヘッドフォンの外観構成図である。 筋電信号における周波数帯に対するパワー値を表すグラフである。 本発明の筋電信号判定部を有するデバイスの機能構成図である。 本発明の筋電信号判定部を有する端末の機能構成図である。 本発明における筋電信号判定部の機能構成図である。 本発明における筋電信号判定部のフローチャートである。 検知特徴ベクトルと複数の基準特徴ベクトルとを、対数周波数に対するパワー値で表すグラフである。 検知特徴ベクトルと顔表情「笑み」の基準特徴ベクトルの各点が、ＤＦＷ(Dynamic Frequency Warping）によって、どのようにマッピングされたのかを表すグラフである。 検知特徴ベクトルと顔表情「噛み締め」の基準特徴ベクトルの各点が、ＤＦＷによって、どのようにマッピングされたのかを表すグラフである。 検知特徴ベクトルと顔表情「無表情」の基準特徴ベクトルの各点が、ＤＦＷによって、どのようにマッピングされたのかを表すグラフである。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

スマートフォンに連携するウェアラブルデバイスとしては、一般的に、メガネ型や腕時計型の情報機器がある。頭部に装着するデバイスとしては、メガネ型やヘッドセットのような顔面の一部にかかるものがあるが、デバイスが顔面にかかるデバイスの場合は見た目が不自然で、ユーザにとって利用の心理的ハードルが高い。一方で、ヘッドフォンやイヤフォンは、スマートフォンと共に使用されていて、街中で装着している人も多く、極めて一般的なものである。

その耳付近の位置からは、体温、発汗、脈波、脈拍、脳波に加えて、頭部にある筋肉による筋電を、生体信号として検出することができる。顔表情の変化から得られる筋電信号は、ユーザの意識的反応及び無意識的反応の両方を、同じように検出する。意識的反応は、ユーザインタフェースの操作として利用することができる。また、無意識的反応は、ユーザの感情変化として検出することができる。

耳付近の筋電信号には、様々な顔表情（笑み、噛み締め）を作る筋肉活動から得られる信号だけでなく、口の開閉動作や眼球運動等の筋肉活動や、脳波のような信号や、口の開閉や歩行等の体の動きによる筋電センサの電極と皮膚表面との間のズレ等に起因する接触抵抗変化によって生じるノイズも重なっている。

例えば顔表情「笑み」は、人のポジティブな感情から表れるもので、口角が上に引き上げられる大頬骨筋の筋肉活動の変化が大きい。声を出して笑う「笑い」や、酷いストレスを受けた場合におけるストレス発散のための「笑い」もあるが、「笑み」の表情が生じれば、「笑み」を生じさせる筋肉活動の信号が発生する。
逆に、顔表情「噛み締め」は、悪いストレス等から生じるものであり、人のネガティブな感情から表れるもので、奥歯部分の頬が膨らむ筋肉活動に基づく。

ヘッドフォンやイヤフォンは、スマートフォンが音声を利用するアプリケーションの実行中（例えば映像・音声のコンテンツの再生等のユーザ体験を提供中）に、ユーザに装着される。これらデバイスの装着／未装着自体も、筋電信号から検知することができる。即ち、ユーザがヘッドフォンやイヤフォンを装着することによって、スマートフォンで実行中のアプリケーションに対するユーザ体験が好ましいものであったかを、顔表情として検知することもできる。

図１は、本発明におけるシステム構成図である。

図１によれば、デバイス２は、ヘッドフォンの場合、ユーザの頭に装着され、イヤフォンの場合、ユーザの耳に装着される。

端末としてのスマートフォン１と、デバイス２との間は、音声信号を伝送するケーブル又は無線によって接続されている。ケーブルは、例えばスマートフォン１のマイクロフォン用のアナログ音声入出力端子（ジャック）に接続されるものであってもよいし、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。無線は、例えばBluetooth（登録商標）であってもよい。尚、以下では、端末は、代表的なスマートフォンとして説明するが、勿論、タブレットや、携帯電話機、ＰＤＡ(Personal Digital Assistant)又はパーソナルコンピュータであってもよい。

スマートフォン１からデバイス２へ、コンテンツの音声信号が伝送されると共に、デバイス２からスマートフォン１へ、筋電センサによって検知された筋電信号が伝送される。デバイス２は、電極をユーザの耳介周辺から頬近傍の何処かのある一点に皮膚表面に接するように配置する。尚、本発明の筋電センサは、筋肉に対する非侵襲の表面筋電に基づくものである。

図２は、本発明におけるヘッドフォンの外観構成図である。

図２によれば、デバイスがヘッドフォンである場合について明示している。ヘッドフォンがユーザの頭に装着された際に、筋電センサ（電極）が、当該ユーザの耳前下方の頬近傍の何処か一点の皮膚表面に接するように配置されている。即ち、ヘッドフォン２の左右のイヤカップ（スピーカ）それぞれに、筋電センサが配置されている。筋電センサをイヤカップに配置することによって、ヘッドフォンバンドの曲げ圧力とイヤカップの弾性により付勢されて、皮膚に押し当てて固定することができる。イヤカップの形状は、密閉型、オープンエア型、又は、セミオープンエア型のいずれであってもよい。

筋電センサは、計測対象となるユーザの筋肉の活動により発生する電気的物理量を計測する。そして、ヘッドフォン２には、１チャンネルの筋電センサを構成する３つの電極を搭載している。検出用電極とリファレンス電極との電位差の交流成分を増幅し、プラスマイナス0.1から数百μVの範囲の皮膚電位を検出する。
「検出用＋（プラス）電極」及び「リファレンス用−（マイナス）電極」：
イヤカップにおける顔の前向き前方の下部分に配置し、
頬にできる限り近い位置に配置
検出用電極とリファレンス用電極の一組で１チャンネルの筋電センサを構成
「ＤＲＬ(Driven Right Leg)電極」：
皮膚に当接する何れかの部分に配置
商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極

これら電極は、繰り返し使用できないジェル等を用いた湿式電極ではなく、繰り返し使用可能な乾式電極である。電極は、イヤカップに穴をあけその穴を塞ぐような、皮膚との接触抵抗が低く導電性の高い金属（例えば、金や、金合金、プラチナ、チタン、銀‐塩化銀、ステンレススチール等）の鋲を配置してもよい。また、同様な性質をもつ導電性ゴムの鋲としてもよい。また、オープンエア型のイヤカップの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するために、支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い所に、筋電センサの電極を配置してもよい。デバイス内で、筋電センサと電極との間は、シールド線によって接続されている。

尚、頬に近い位置ほど、顔表情「笑み」を作る筋肉活動の信号を検出するのに好ましい。但し、耳介やその周辺の皮膚に筋電センサの電極が当接していれば、顔表情「笑み」を作る筋肉活動の信号を検出することが可能である。

図２（ａ）は、耳を覆うだけのイヤカップに筋電センサが配置された構造を表す。
図２（ｂ）は、検出用＋電極及びリファレンス用−電極の筋電センサの対が、顔の前向き前方に突き出た構造を表す。これによって、図２（ａ）のヘッドフォン形状よりも、筋電センサの検出用とリファレンス用電極を、ユーザの頬にできる限り近づけることができる。また、突き出た構造によって、ヘッドフォンの左右を間違えずに装着するように、ヘッドフォンの向きを示すことができる。

従来技術による表面筋電計測によれば、一般的に、計測対象とする筋肉の直上の皮膚に筋肉の筋に沿って、数ｃｍ以下の間隔を空けて、検出用＋電極とリファレンス用−電極とを配置する。顔表情「笑み」のみを検出するために、左右いずれか片方の頬に検出用とリファレンス用電極を配置する。

これに対し、本発明によれば、左の耳前下周辺の頬近傍の皮膚に検出用＋（プラス）電極と、右の耳前下周辺の頬近傍の皮膚にリファレンス用−（マイナス）電極とを配置し、顔表情「笑み」を作る筋電を検出する。
尚、左をリファレンス用（マイナス）電極、右を検出用（プラス）電極としてもよい。又は、従来技術同様に、左右どちらか一方に電極を配置し、顔の後方をリファレンス（マイナス）電極、頬に近い前方を検出（プラス）電極としてもよい。

本発明のヘッドフォンによれば、ユーザの頭に装着された際に、筋電センサのリファレンス用電極（−）及び検出用電極（＋）が、耳介周辺から頬近傍の何処か一点の皮膚表面に左右別々に接するように配置される。即ち、リファレンス用電極（−）及び検出用電極（＋）を左右に分けて配置することによって、左右２つの筋肉活動を捉えることができる。顔表情「笑み」を作る筋活動は、左右どちらか一方の筋活動ではなく、一般的に左右両方の筋活動が同時に起こる。この場合、片側のみに１チャンネルを構成する一組の電極を配置するよりも、１チャンネルを構成する電極を左右に分けて配置する方が、左右２つの筋肉活動を捉えることができるので、片方のみに配置するよりも安定した大きな筋電信号を得ることができる。その一方で、左右の電極間が離れるために、頭部の様々な筋肉活動として左右の眼球運動や歯の食い縛り（噛み締め）動作や、口を窄めたり、顎を突き出したりする動作の筋肉活動も大きく混入する他、口の開閉に伴う皮膚面の凹凸生成を原因とする皮膚と電極間での接触抵抗の変化等、様々な信号が筋電信号に混入する。そのような筋電信号であっても、後述する本発明によって顔表情「笑み」「噛み締め」を高い精度で識別することができる。

図３は、本発明におけるイヤフォンの外観構成図である。

図３によれば、デバイスがイヤフォンである場合について明示している。イヤフォンであっても、図２のヘッドフォンと同じ機能を実現することができる。耳穴に当接するイヤフォン筐体の外側のイヤパッドに、電極を配置する。ユーザの耳に装着された際に、筋電センサのリファレンス用電極が左（又は右）の耳介周辺の一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺の一点の皮膚表面に接するように配置される。図３によれば、一方のイヤパッドに、ＤＲＬ用電極とリファレンス用（Ｖ−）電極を配置する。そして、他方のイヤパッドに、検出用（Ｖ＋）電極を配置する。

図４は、本発明の筋電信号判定部を有するデバイスの機能構成図である。

図４によれば、デバイス２は、スピーカ及び筋電センサと、音声信号変換部１１と、筋電信号判定部１２と、端末１と通信する信号インタフェースとを有する。音声信号変換部１１は、端末１から信号インタフェースを介して受信した音声信号を増幅し、スピーカへ出力する。筋電信号判定部１２は、筋電センサによって計測された筋電信号を入力し、判定した顔表情の情報を、信号インタフェースを介して外部の携帯端末１へ出力する。信号インタフェースは、デジタル通信方式であってもよいし、アナログ通信方式であってもよい。

図５は、本発明の筋電信号判定部を有する端末の機能構成図である。

図５によれば、端末１は、デバイス２から筋電信号を受信する信号インタフェースと、筋電信号判定部１２と、オプション的な顔画像認識部１３とを有する。スマートフォンや携帯電話機である場合、信号インタフェースは、通常、１チャネルのマイク端子である。また、携帯端末１は、筋電信号判定部１２によって判定された顔表情に基づいて、ユーザに対して様々なユーザエクスペリエンスを提供するアプリケーションを実行する。

端末１とデバイス２との間の信号インタフェースが、ＵＳＢ(Universal Serial Bus)やBluetooth(登録商標)等のデジタルインタフェースである場合、デバイス２は、例えば512Hzのサンプリング周波数で、筋電信号をサンプリングする。
信号インタフェースが、アナログインタフェース（アナログ音声ケーブル）である場合、筋電信号は人間の可聴範囲内に収まる周波数特性なので周波数変換する必要はない。但し、デバイス２は、筋電センサによって検出された筋電信号をマイクレベルまで増幅して出力する。
端末１で受信した筋電信号は、マイク入力による音声と同様にアナログ／デジタルに変換することができる。アナログ信号で入力された筋電信号は音声信号として、例えば8kHzのサンプリング周波数でデジタル信号にサンプリングされる。これを、例えば512Hzのサンプリング周波数でリサンプリングする。但し、変換元と変換先のサンプリング周波数に応じ、リサンプリング前又は後に適切なローパスフィルタを適用する。デジタル化された筋電信号の量子化ビット数は、10bit以上が好ましい。

［筋電信号判定部１２］
筋電信号判定部１２は、筋電信号から顔表情を判定する。顔表情は、筋電信号のウィンドウ区間毎に判定される。

図６は、本発明における筋電信号判定部の機能構成図である。
図７は、本発明における筋電信号判定部のフローチャートである。

図６によれば、筋電信号判定部１２は、基準特徴ベクトル記憶部１２０と、周波数パワー分析部１２１と、類似度検出部１２２と、顔表情判定部１２３とを有する。これら機能構成部は、端末１又はデバイス２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の顔表情判定方法としても理解できる。

［基準特徴ベクトル記憶部１２０］
基準特徴ベクトル記憶部１２０は、顔表情（笑み、噛み締め、・・・）毎に、周波数に対するパワー値によって表す「基準特徴ベクトル」を予め記憶したものである。
「基準特徴ベクトル」とは、顔表情毎に、対数周波数（要素）に対するパワー値を、数値列として表したものである。
基準特徴ベクトル記憶部１２０は、具体的に、顔表情「笑み」に対する基準特徴ベクトル、及び／又は、顔表情「噛み締め」に対する基準特徴ベクトルを記憶する。
図６によれば、顔表情「笑み」の基準特徴ベクトルは、低周波数帯ほど、パワー値が高くなっている。また、顔表情「噛み締め」の基準特徴ベクトルは、高周波数帯ほど、パワー値が高くなっている。
例えば、顔表情「笑み」の場合、低周波成分30Hz付近にパワー値が大きく出現する。また、顔表情「噛み締め」の場合、高周波成分80Hz付近にパワー値が大きく出現する。一方、無表情時はどこの周波数帯にもパワー値は出現しない。これらの周波数パワー分布に基づき、対応する顔表情を判定する。

［周波数パワー分析部１２１］
周波数パワー分析部１２１は、筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す「検知特徴ベクトル」を検出する。

図７によれば、周波数パワー分析部１２１は、５つのステップによって表されている。
（Ｓ１２１ａ）周波数パワー分析部１２１は、検知された筋電信号を、所定時間毎のウィンドウに区分する。ウィンドウの所定時間は、100msec〜10sec、例えば500msec程度に設定するのが好ましい。コンピュータの処理能力や分析したい時間的スケールに応じて、ウィンドウ区間を重ねてスライディングさせるものであってもよい。

（Ｓ１２１ｂ）次に、周波数パワー分析部１２１は、ウィンドウ毎に、筋電信号における高周波数帯の信号を増幅する。この機能は、プリエンファシス(pre-emphasis)フィルタと称される。
プリエンファシスフィルタとは、高域周波数帯を増幅する周波数フィルタであって、デジタルフィルタによって実現される。例えば、顔表情「噛み締め」における周波数対パワーの特徴ベクトルによれば、高周波数帯でパワーが高くなる。しかしながら、高周波数帯ほど、低周波数帯と比較して、顔表情毎のパワーの差（特徴）が現れにくくなる。そのために、プリエンファシスフィルタによって、高周波数帯のパワーを増幅して、その特徴を現れやすくしている。また、プリエンファシスフィルタは、アーチファクト混入による、バイアスの変動などの低周波成分を低減し、後の周波数パワー分析での影響を抑えている。

（Ｓ１２１ｃ）次に、周波数パワー分析部１２１は、ウィンドウ毎に、判定すべき顔表情の基準特徴ベクトルに特有の周波数帯以外の周波数帯を除去する。この機能は、バンドエリミネーションフィルタ（帯域除去フィルタ）と称される。
バンドエリミネーションフィルタによれば、例えば商用電源からのノイズ（直流変動成分（超低周波成分））を低減させる。
具体的には、商用電源が50Hzの場合、50Hzを中心とする５次のチェビシェフＩ型バンドストップフィルタと、50Hzの半分の25Hzを中心とする５次のチェビシェフＩ型バンドストップフィルタと、10Hz以上を通す５次のチェビシェフＩ型ハイパスフィルタとを通過させることによって実現する。また、50Hzの1.5倍の75Hzを中心とする５次のチェビシェフＩ型バンドストップフィルタを更に加えてもよい。

（Ｓ１２１ｄ）周波数パワー分析部１２１は、フィルタを通過した筋電信号から、量子化ビット数によって取り得る「最大値〜最小値」が、−1.0〜＋1.0の範囲に収まるように、筋電信号の振幅を一定の比率でリスケーリングして正規化する。一定の比率は、量子化ビット数の他、予め決定した値としてもよい。この正規化された信号に対して高速フーリエ変換（ＦＦＴ）を実行し、周波数に対するパワー値（ＦＦＴスペクトル）を算出する。

（Ｓ１２１ｅ）最後に、周波数パワー分析部１２１は、フィルタバンク(Filter bank)分析を実行する。

フィルタバンク分析とは、バンドパスフィルタのアレイであり、入力信号を複数のコンポーネントに分割(analysis)する。ここでは、顔表情に特徴が現れる周波数パワー分布の特徴が、どの周波数をピークにもつ山型であるかを把握できればよい。情報量を減らすことで以後の計算量を容易にするために、フィルタバンクが便利である。

フィルタバンクとしては、具体的には、メル尺度フィルタバンク（対数周波数尺度フィルタバンク）によって分析する。これによって、低域周波数帯は細かく、高域周波数帯は荒く、パワーを分析することができる。
メル尺度フィルタバンクは、一般に、音声信号を数十msecのフレーム単位で分析したメルケプストラム係数（Mel Frequency Cepstrum Coefficient ＭＦＣＣ）のようなパラメータ系列の特徴パラメータを出力するための前処理に用いる。ここでは、ＭＦＣＣに変換する前のフィルタバンク出力を利用する。
メル尺度フィルタバンクとして、Ｎ個（例えば１３個）のメル尺度に基づいた三角窓による帯域フィルタを周波数軸に配置し、ＦＦＴスペクトルと掛け合わせる。フィルタバンクによる各フィルタからの出力値を常用対数で計算した特徴ベクトル｛ｆ1，ｆ2，・・・，ｆN｝を得る。この特徴ベクトルが、その筋電信号の「検知特徴ベクトル」となる。

これによって、周波数パワー分析部１２１は、各ウィンドウに対して、メル尺度の周波数に対するパワー値によって表す「検知特徴ベクトル」を検出する。
「検知特徴ベクトル」とは、前述した基準特徴ベクトルと同じ形式であって、筋電センサによって検知された筋電信号について、対数周波数（要素）に対するパワー値を、数値列として表したものである。
そして、検知特徴ベクトルは、類似度検出部１２２へ出力される。

［類似度検出部１２２］
類似度検出部１２２は、「検知特徴ベクトル」と、基準特徴ベクトル記憶部１２０に記憶された各顔表情に対する各「基準特徴ベクトル」とに対して、周波数を伸縮させて２つの特徴ベクトルの類似度を計算する。

本発明の類似度検出部１２２は、動的時間に対して使用される既存のダイナミックタイムワーピング（Dynamic Time Warping、以下では「ＤＴＷ」と称す)」）を、動的周波数に対して「ダイナミックフレクェンシーワーピング（Dynamic Frequency Warping、以下では「ＤＦＷ」と称す)」として用いる。
ＤＴＷとは、２つ系列の周期性や長さが違っても、２つの系列の各点を総当たりで比較（距離、コスト）し、距離とコストが最小になるパス（２つの系列の各点のマッピング）を計算するアルゴリズムである。ＤＴＷから得られるＤＴＷ距離の短さは、２つの系列の類似度と捉えることができる。尚、ＤＴＷ距離は０以上の値となる。

図８は、検知特徴ベクトルと複数の基準特徴ベクトルとを、対数周波数に対するパワー値で表すグラフである。図８によれば、「笑み」「無表情」の基準特徴ベクトルが規定されており、検知特徴ベクトルの顔表情の選択に用いられる。尚、「噛み締め」の基準特徴ベクトルが規定されたものであってもよい。

図９は、検知特徴ベクトルと顔表情「笑み」の基準特徴ベクトルの各点が、ＤＦＷによって、どのようにマッピングされたのかを表すグラフである。
図１０は、検知特徴ベクトルと顔表情「噛み締め」の基準特徴ベクトルの各点が、ＤＦＷによって、どのようにマッピングされたのかを表すグラフである。
図１１は、検知特徴ベクトルと顔表情「無表情」の基準特徴ベクトルの各点が、ＤＦＷによって、どのようにマッピングされたのかを表すグラフである。
例えば図９の顔表情「笑み」の場合、対数周波数軸で周波数が高い方向にピークがずれていても、周波数軸に幅を持たせてマッピングされている。つまり、基準特徴ベクトルのピーク周波数位置とは多少異なる周波数位置にピークをもつ検知特徴ベクトルであっても、類似度が高いと計算できる。

［顔表情判定部１２３］
顔表情判定部１２３は、類似度検出部１２２によって、検知特徴ベクトルに最も類似する基準特徴ベクトルにおける顔表情を、当該ユーザの顔表情であると判定する。類似度が高いとは、検知特徴ベクトルに対して総当たりのＤＦＷ距離が最も小さい基準特徴ベクトルをいう。尚、顔表情「笑み」「噛み締め」毎に、ＤＦＷ距離を「笑顔度」「噛み締め度」としてもよい。
尚、２つの基準特徴ベクトル両方に類似する検知特徴ベクトル等、ＤＦＷ距離の差が小さくなる場合がある。差をより明確にするために、ＤＦＷ距離の常用対数を用いてもよい。

顔表情判定部１２３について、各顔表情の類似度は、当該顔表情の検知特徴ベクトルの類似度から、当該顔表情以外の検知特徴ベクトルの類似度の総和を減算したものとするものであってもよい。
Log_dn：「無表情時」の基準ベクトルとの類似度の常用対数
Log_ds：「笑み時」の基準ベクトルとの類似度の常用対数
Log_dc：「噛み締め時」の基準ベクトルとの類似度の常用対数
Ｒn：無表情時の類似度
Ｒs：笑み時の類似度
Ｒc：噛み締め時の類似度
Ｒn＝Log_dn−（Log_ds＋Log_dc）
Ｒs＝Log_ds−（Log_dn＋Log_dc）
Ｒc＝Log_dc−（Log_ds＋Log_dn）
類似度Ｒｎ、Ｒs 、Ｒｃのうち最も小さい値を、最も類似度が高いとして、その表情と判定する。

［顔画像認識部１３］
端末１は、オプション的に、ユーザの顔を撮影するためのカメラ（イン側カメラ）と、顔画像認識部１３とを有するものであってもよい。顔画像認識部１３は、カメラによって撮影されたユーザの顔が写る画像から、当該ユーザの顔表情を画像認識する。そして、認識された顔表情に対して、筋電信号から周波数パワー分析によって検出された、周波数に対するパワー値によって表す検知特徴ベクトルを、基準特徴ベクトルとして基準特徴ベクトル記憶部１２０へ記憶させる。

顔画像認識部１３は、顔が映る画像について、目尻の上がり／下がり、口角の上がり／下がり、ホウレイ線のしわの深さのような各要素を検出することによって、ユーザの顔表情を認識する。例えば顔表情「笑み」であれば、目尻が下がり、口角が上がり、ほうれい線のしわは深くなる。一方で、顔表情「噛み締め」であれば、目尻が上がり、口角が下がり、ほうれい線のしわは浅くなる。顔の要素毎に、閾値を設定し、顔表情を認定する。

顔画像認識部１３は、各顔表情が認識された際に、基準特徴ベクトル記憶部１２０へ更新指示を出力する。基準特徴ベクトル記憶部１２０は、更新指示を受けた時点における特徴ベクトルを、その顔表情の基準特徴ベクトルとして記憶を更新する。尚、一定時間内に同じ表情に対しての更新指示が複数回発生した場合は、複数の特徴ベクトルを平均して記憶を更新する。

尚、特徴ベクトルの類似度算出方法として、ＤＦＷ以外の方法も想定できる。
例えば板倉−斉藤距離（ＬＲ距離）の場合、ＤＦＷのように周波数軸（横軸）に幅を持たせて評価せず、横軸を基準に１対１評価する。しかしながら、正方向ピークの類似性を重視する方法であるから、本発明によると筋電信号がどこの周波数で発生しているかを知ることが重視されるために適用できる。
また、例えば２つの１次元ベクトルの類似度を計算する方法として、コサイン類似度や相互相関がある。しかしながら、コサイン類似度は、ベクトルの屈曲性を評価する性質のため、パワーの差が考慮されないため不適である。また、相互相関は、２つのベクトルの相関を評価する性質のために、これもパワーの差が考慮されないため不適である。
更に、ユークリッド距離やカルバック・ライブラー・ダイバージェンスもある。しかしながら、これらは、板倉斉藤距離に比較して正方向に重みを付けないために、ノイズ混入に比較的弱い。

以上、詳細に説明したように、本発明の装置、デバイス、プログラム及び方法によれば、筋電センサによってユーザの顔から取得された筋電信号を用いて、「笑み」や「噛み締め」の顔表情を高い精度で識別することができる。

前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１１ 音声信号変換部
１２ 筋電信号判定部
１２０ 基準特徴ベクトル記憶部
１２１ 周波数パワー分析部
１２２ 類似度検出部
１２３ 顔表情判定部
１３ 顔画像認識部
２ ヘッドマウントデバイス、ヘッドフォン

Claims (12)

1. 筋電センサによって検知されたユーザの表情筋筋電信号から、当該ユーザの顔表情を判定する装置であって、
   顔表情毎に、周波数に対するパワー値によって表す基準特徴ベクトルを予め記憶した基準特徴ベクトル記憶手段と、
   前記筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す検知特徴ベクトルを検出する周波数パワー分析手段と、
   前記検知特徴ベクトルと、前記基準特徴ベクトル記憶手段に記憶された各顔表情に対する各基準特徴ベクトルとの類似度を検出する類似度検出手段と、
   各顔表情について、前記各顔表情に対する基準特徴ベクトルとの類似度から、当該各顔表情以外の前記基準特徴ベクトルとの類似度の総和を減算した、当該各顔表情の類似度を算出し、当該各顔表情の類似度のうち最も小さくなる顔表情を、当該ユーザの顔表情であると判定する顔表情判定手段と
   を有することを特徴とする装置。
2. 前記基準特徴ベクトル及び前記検知特徴ベクトルについて、周波数を対数周波数とし、パワー値を対数パワー値とする
   ことを特徴とする請求項１に記載の装置。
3. 前記周波数パワー分析手段は、メル尺度フィルタバンク（対数周波数尺度フィルタバンク）によって分析する
   ことを特徴とする請求項２に記載の装置。
4. 前記周波数パワー分析手段は、前記ウィンドウ毎に、前記筋電信号における減衰特性に応じて高周波数帯の信号を増幅する（プリエンファシス(pre-emphasis)フィルタ）
   ことを特徴とする請求項１から３のいずれか１項に記載の装置。
5. 前記周波数パワー分析手段は、前記ウィンドウ毎に、判定すべき顔表情の基準特徴ベクトルに特有の周波数帯以外の周波数帯を除去する（帯域除去フィルタ）
   ことを特徴とする請求項１から４のいずれか１項に記載の装置。
6. 前記基準特徴ベクトル記憶手段は、
   顔表情「笑み」に対する基準特徴ベクトル、及び／又は、
   顔表情「噛み締め」に対する基準特徴ベクトル
   を含むことを特徴とする請求項１から５のいずれか１項に記載の装置。
7. 前記装置は、ユーザの顔を撮影するカメラと、当該カメラによって撮影されたユーザの顔が写る画像から、当該ユーザの顔表情を画像認識する顔画像認識手段とを更に有し、
   認識された顔表情に対して、筋電信号から周波数パワー分析によって検出された、周波数に対するパワー値によって表す特徴ベクトルを、基準特徴ベクトルとして基準特徴ベクトル記憶手段へ記憶させる
   ことを特徴とする請求項１から６のいずれか１項に記載の装置。
8. 請求項１から７のいずれか１項に記載の装置は、前記筋電センサを搭載したデバイスであって、
   前記筋電センサは、
   １チャネルの筋電信号を出力するものであり、
   リファレンス用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となるか、又は、
   リファレンス用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となる
   ことを特徴とするデバイス。
9. イヤフォン型又はヘッドマウント型である
   ことを特徴とする請求項８に記載のデバイス。
10. 請求項１から７のいずれか１項に記載の装置を組み込んだ、ユーザによって所持される携帯端末と、
    ユーザの頭部に装着された際に、１チャネルの筋電信号を出力するデバイスと
    を有し、
    前記デバイスは、筋電センサを搭載し、
    当該筋電センサは、
    リファレンス用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となるか、又は、
    リファレンス用電極が、ユーザの右の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、ユーザの左の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置可能となる
    ことを特徴とするシステム。
11. 筋電センサによって検知されたユーザの表情筋筋電信号から、当該ユーザの顔表情を判定する装置に搭載されたコンピュータを機能させるプログラムであって、
    顔表情毎に、周波数に対するパワー値によって表す基準特徴ベクトルを予め記憶した基準特徴ベクトル記憶手段と、
    前記筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す検知特徴ベクトルを検出する周波数パワー分析手段と、
    前記検知特徴ベクトルと、前記基準特徴ベクトル記憶手段に記憶された各顔表情に対する各基準特徴ベクトルとの類似度を検出する類似度検出手段と、
    各顔表情について、前記各顔表情に対する基準特徴ベクトルとの類似度から当該各顔表情以外の前記基準特徴ベクトルとの類似度の総和を減算した当該各顔表情の類似度を算出し、当該各顔表情の類似度のうち最も小さくなる顔表情を、当該ユーザの顔表情であると判定する顔表情判定手段と
    してコンピュータを機能させることを特徴とするプログラム。
12. 筋電センサによって検知されたユーザの表情筋筋電信号から、当該ユーザの顔表情を判定する装置の顔表情判定方法であって、
    前記装置は、顔表情毎に、周波数に対するパワー値によって表す基準特徴ベクトルを予め記憶した基準特徴ベクトル記憶部を有し、
    前記装置は、
    前記筋電信号を所定時間毎に区分したウィンドウに対して、周波数に対するパワー値によって表す検知特徴ベクトルを検出する第１のステップと、
    前記検知特徴ベクトルと、前記基準特徴ベクトル記憶部に記憶された各顔表情に対する各基準特徴ベクトルとの類似度を検出する第２のステップと、
    各顔表情について、前記各顔表情に対する基準特徴ベクトルとの類似度から、当該各顔表情以外の前記基準特徴ベクトルとの類似度の総和を減算した、当該各顔表情の類似度を算出し、当該各顔表情の類似度のうち最も小さくなる顔表情を、当該ユーザの顔表情であると判定する第３のステップと
    を実行することを特徴とする装置の顔表情判定方法。

Images