JP4722573B2 - 顔面情報検出装置および顔面情報検出式通信装置 - Google Patents

Description

本発明は、顔面の状態に関する情報を得る顔面情報検出装置、および顔面の状態に関する情報を伝送して表示する顔面情報検出式通信装置に関するものである。

従来、人間の表情や眼球運動を検出し、これらに関する情報を伝送する試みがなされている。例えば、携帯電話機に小型のカメラを備えることにより、通話中における通話者の顔を画像情報として送信することが行われている（例えば、特許文献１参照）。また、眼球運動を検出するアイカメラや、表情筋の筋電を検出するセンサをヘッドギアに設け、ヘッドギアを装着した人間の顔面の状態に関する情報を送信することが行われている（例えば、特許文献２参照）。
特開２００２−１４１９９０号（図１および４） 特開２００４−２５８７６１号（図１および６）

しかしながら、上記特許文献１に記載の携帯電話機では、通話者が自分の顔面を撮影するために携帯電話機を手に持って操作する必要がある。また、上記特許文献２に記載の装置では、眼球運動を撮影するためにアイカメラを顔面からある程度遠くに設置しなくてはならず、アイカメラを支持するための部材が人体周囲に突出してしまい携帯に向かないという欠点がある。さらに、上記特許文献２に記載の装置では、アイカメラやセンサを人体に装着することに手間がかかるという欠点がある。加えて、上記特許文献２に記載の装置では、目の周囲にアイカメラやセンサを配置しなくてはならないため、目や顔が隠れてしまい、日常的な通信に使用することに向かないという欠点もある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、手に持って使用する必要がなく、装着が容易で、部材が人体周囲へ突出することがなく、目や顔の表情を隠さない顔面情報検出装置および顔面情報検出式通信装置を提供することにある。

本発明は、耳介に装着可能な耳介装着手段と、耳介装着手段に設けられ耳介および耳介周囲の頭皮のいずれかに接触可能な複数の電極と、電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出する顔面情報抽出手段と、を備えた顔面情報検出装置である。

この構成によれば、耳介に装着可能な耳介装着手段に、耳介および耳介周囲の頭皮のいずれかに接触可能な複数の電極が設けられているため、手に持って使用する必要がなく、装着が容易で、部材が人体周囲へ突出することがなく、目や顔の表情を隠すことがない。また、顔面情報抽出手段が、電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出することができる。

この場合、頭部に沿って装着可能な帯状の頭部装着手段と、頭部装着手段に設けられ頭皮に接触可能な電極と、をさらに備え、頭部装着手段の端部に耳介装着手段が取り付けられており、顔面情報抽出手段は、頭部装着手段に設けられた電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出する、ことが好適である。

この構成によれば、頭部に沿って装着可能な帯状の頭部装着手段の端部に耳介装着手段が取り付けられているため、顔面情報検出装置をより確実に装着することができる。また、頭部装着手段に設けられ頭皮に接触可能な電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出することができる。

この場合、電極は、当該内部に増幅器を含む、ことが好適である。この構成によれば、電極が当該内部に増幅器を含む、いわゆるアクティブ電極であるため、周囲のノイズの干渉を受けにくくなる。

この場合、顔面情報抽出手段は、電極間の電位差に基づいて顔面の状態に関する情報を抽出する、ことが好適である。この構成によれば、顔面情報抽出手段が電極間の電位差に基づいて顔面の状態に関する情報を抽出する、いわゆる差動信号を用いる形式であるため、より周囲のノイズの干渉を受けにくくなる。

この場合、顔面情報抽出手段は、電極から検出された電気信号に基づいて眼球運動を検出する、ものとできる。また、この場合、顔面情報抽出手段は、電極から検出された電気信号に基づいて瞬目動作を検出する、ものとできる。

この場合、耳介装着手段は両方の耳介に装着可能であり、電極には、顔面の正中線に対して対称に位置する電極を含み、顔面情報抽出手段は、顔面の正中線に対して対称に位置する電極間の電位差に基づいて水平方向の眼球運動および瞬目動作を検出する、ことが好適である。

この構成によれば、顔面情報抽出手段が、顔面の正中線に対して対称に位置する電極間の電位差に基づいて水平方向の眼球運動および瞬目動作を検出するため、眼球の垂直方向運動に対しては差動出力が抑圧されるため、眼球の水平方向運動のみを効率良く検出することができる。

この場合、電極には、瞳孔線に対して対称に位置する電極を含み、顔面情報抽出手段は、瞳孔線に対して対称に位置する電極間の電位差に基づいて垂直方向の眼球運動および瞬目動作を検出する、ことが好適である。

この構成によれば、顔面情報抽出手段が、瞳孔線に対して対称に位置する電極間の電位差に基づいて垂直方向の眼球運動および瞬目動作を検出するため、眼球の水平方向運動に対しては差動出力が抑圧されるため、眼球の垂直方向運動のみを効率良く検出することができる。

この場合、耳介装着手段は両方の耳介に装着可能であり、両方の耳介に装着可能な耳介装着手段には、瞳孔線に対称に位置する一対の電極がそれぞれ設けられており、瞳孔線に対称に位置する電極の一対同士は、顔面の正中線に対して対称に位置し、顔面情報抽出手段は、瞳孔線に対称に位置する電極間の電位差同士の同相成分に基づいて、垂直方向の眼球運動および瞬目動作を検出し、瞳孔線に対称に位置する電極間の電位差同士の逆相成分に基づいて、水平方向の眼球運動および瞬目動作を検出する、ことが好適である。

この構成によれば、瞳孔線に対称に位置する電極の一対同士が、顔面の正中線に対して対称に位置し、顔面情報抽出手段が、瞳孔線に対称に位置する電極間の電位差同士の同相成分に基づいて、垂直方向の眼球運動および瞬目動作を検出し、瞳孔線に対称に位置する電極間の電位差同士の逆相成分に基づいて、水平方向の眼球運動および瞬目動作を検出するため、一対の耳介装着手段に一対の電極をそれぞれ設けただけで、垂直方向と水平方向の眼球運動、および瞬目動作を検出することができる。

この場合、顔面情報抽出手段は、電極から検出された電気信号に基づいて表情を検出するものとできる。

この場合、電極は、笑筋および頬骨筋のいずれかの端部に位置し、顔面情報抽出手段は、電極により検出された笑筋および頬骨筋の筋電に基づいて笑いの有無を検出する、ことが好適である。

この構成によれば、電極が笑筋および頬骨筋のいずれかの端部に位置するため、笑いに使われる笑筋および頬骨筋の筋電をより大きい信号で検出することができる。また、顔面情報抽出手段は、電極により検出された笑筋および頬骨筋の筋電に基づいて笑いの有無を検出することができる。

この場合、顔面情報抽出手段は、電極により検出された笑筋および頬骨筋における２０〜１００Ｈｚの周波数分布の筋電に基づいて笑いの有無を検出する、ことが好適である。この構成によれば、顔面情報抽出手段が、電極により検出された笑筋および頬骨筋における２０〜１００Ｈｚの周波数分布の筋電に基づいて笑いの有無を検出するため、より高い周波数の筋電信号である咬筋の筋電を誤って検出しにくくなり、噛む動作による誤検出を防止できる。

この場合、顔面情報抽出手段は、電極から検出された電気信号に基づいて口形状を検出するものとできる。

この場合、音声を検出するマイクロホンをさらに備え、顔面情報抽出手段は、マイクロホンにより検出された音声に基づいて顔面の状態に関する情報を抽出する、ことが好適である。

この構成によれば、顔面情報抽出手段は、マイクロホンにより検出された音声に基づいて顔面の状態に関する情報を抽出するため、より正確に顔面の状態に関する情報を抽出することができる。

この場合、電極は、脳波を検出し、顔面情報抽出手段は、電極から検出された脳波に基づいて顔面の状態に関する情報を抽出する、ことが好適である。

この構成によれば、顔面情報抽出手段は、電極から検出された脳波に基づいて顔面の状態に関する情報を抽出するので、より正確に顔面の状態に関する情報を抽出することができる。

この場合、基準となる耳介への装着状態における電極から検出された電気信号を記憶した記憶手段をさらに備え、顔面情報抽出手段は、電極から検出された電気信号と、記憶手段に記憶された電気信号とを比較することにより、抽出する顔面の状態に関する情報の校正を行う、ことが好適である。

この構成によれば、記憶手段が、基準となる耳介への装着状態における電極から検出された電気信号を記憶し、顔面情報抽出手段が、電極から検出された電気信号と、記憶手段に記憶された電気信号とを比較することにより、抽出する顔面の状態に関する情報の校正を行うため、顔面情報検出装置の装着状態が基準よりずれていた場合でも、精度良く顔面情報を検出することができる。

また、本発明の別の態様によれば、上記本発明の顔面情報検出装置によって検出された顔面の状態に関する情報を伝送する伝送路と、伝送路によって伝送された顔面の状態に関する情報を表示する表示手段と、を備えた顔面情報検出式通信装置が提供される。

この構成によれば、伝送路が上記本発明の顔面情報検出装置によって検出された顔面の状態に関する情報を伝送し、表示手段が伝送路によって伝送された顔面の状態に関する情報を表示するので、顔面の状態に関する情報を伝送して表示することができる。

この場合、表示手段は、人物および擬人化された物のいずれかの動画像を表示し、伝送路によって伝送された顔面の状態に関する情報に対応して動画像を変動させるものとできる。

また、この場合、表示手段は、人物および擬人化された物のいずれかを表した立体像であり、伝送路によって伝送された顔面の状態に関する情報に対応して立体像を変動させるものとできる。

本発明の顔面情報検出装置および顔面情報検出式通信装置によれば、手に持って使用する必要がなく、装着が容易で、部材が人体周囲へ突出することがなく、目や顔の表情を隠さずに、顔面の状態に関する情報を検出することができる。

以下、本発明の実施形態に係る顔面情報検出装置および顔面情報検出式通信装置について添付図面を参照して説明する。なお、図面の説明において、同一または相当要素には同一の符号を付し、重複する説明は省略する。

図１は、本発明の第１実施形態に係る顔面情報検出装置の構成を示す斜視図である。図１に示すように、本実施形態の顔面情報検出装置１０は、耳介装着部１２（耳介装着手段）と頭部装着部２４（頭部装着手段）とから構成され、ヘッドホンに類似した形状を有している。

図２は、本発明の第１実施形態に係る耳介装着部を示す断面図である。上述の図１および図２に示すように、耳介装着部１２には装着者の左右の耳を覆うカップ形状をなす。耳介装着部１２は２段構造になっており、耳介Ｅの周囲の耳介周囲頭皮Ｓに接触する耳介周囲頭皮接触部１４と、一段窪んだ耳介Ｅに接触する耳介接触部１８を有する。耳介周囲頭皮接触部１４には複数の耳介周囲電極１６が設けられ、耳介接触部１８には複数の耳介電極２０が設けられている。耳介周囲電極１６と耳介電極２０とには緩衝材４４が設けられ、装着者が着用し易いようにされている。耳介装着部１２には、メッシュ部２２が設けられており、装着者の聴覚を妨げないようにされている。

図１に戻り、一方の耳介装着部１２には、マイクロホン３０が取り付けられ、装着者の発声を検出することができるようになっている。なお、マイクロホン３０は、図１のように耳介装着部１２の外部に突出させず、耳介装着部１２や頭部装着部２４等の内部に内蔵させることも可能であり、この場合、顔面への突出物をなくすことができる。また、一方の耳介装着部１２には、加速度センサおよび磁気センサからなる姿勢検出用センサ３２が取り付けられている。

頭部装着部２４は帯状をなし、頭部を固定するためのヘッドバンドとしての役割を果たす。頭部装着部２４の両端に、上述した一対の耳介装着部１２がそれぞれ取り付けられている。頭部装着部２４の頭皮に接触する面には複数の頭皮電極２６が設けられ、頭皮電極２６は、主に装着者の脳波を検出する。

耳介周囲電極１６、耳介電極２０および頭皮電極２６等の各々の電極は、内部に前置アンプあるいはインピダンス変換器を有するアクティブ型電極である。これにより、周囲のノイズの干渉を受けにくくなる。また、各々の電極は、２つの電極間の電位差である差動信号を検出するので、さらに周囲のノイズの干渉を受けにくいものとなっている。

頭部装着部２４にはボックス２８が設けられている。ボックス２８は、後述する認識回路、電源用の電池、および検出した装着者の顔面に関する情報を外部に伝達するための送信器を内部に格納している。

図３は、本発明の第１実施形態に係る顔面情報検出装置の構成を示すブロック図である。図３に示すように、耳介周囲電極１６、耳介電極２０および頭皮電極２６により検出された電気信号はマトリックス接続回路３４に送られる。

マトリックス接続回路３４は、耳介周囲電極１６等の各電極の出力信号の内から、認識に使用するものだけを選択し、後段に出力する。また、マトリックス接続回路３４は、校正動作時に、認識回路３８を介して送信された姿勢検出用センサ３２および基準装着信号４２からの信号に応じて、耳介周囲電極１６等の各電極からの電気信号を適切な電極からの信号として繋ぎかえるための電気的なスイッチである。本実施形態では、マトリックス接続回路３４を電気的なスイッチとして表現しているが、論理的なスイッチでも良い。

マトリックス接続回路３４から出力された信号３６は、認識回路３８に送られ、認識回路３８は信号３６に基づいて顔面の状態に関する情報を抽出する。上述したマトリックス接続回路３４と認識回路３８とが、本発明の顔面情報抽出手段に相当する。耳介周囲電極１６等の各電極の出力信号には、以下の成分が含まれている。
・眼球運動（上下左右）、瞬目およびウインク（片方の眼のみの瞬目）に伴う眼電信号
・発声や口の動きに伴う筋電信号
・表情変化に伴う筋電信号
・心理状態、感情、意図（思考）に伴う脳波信号

また、マイクロホン３０からは発声に伴う音声信号が、姿勢検出用センサ３２からは、頭の動き（頭部姿勢）の信号が得られる。認識回路３８は、これらの信号から、以下の顔面の状態に関する情報を抽出する。
・眼球運動、瞬目およびウインク
・口の動き
・表情
・心理状態、感情、意図（思考）

認識回路３８によって抽出された顔面の状態に関する情報は、送信器４０を通じて外部機器に伝達される。この時、マイクロホン３０で収集した音声信号や、姿勢検出用センサ３２で収集した頭部の姿勢に関する情報も同時に伝達される。

基準装着信号格納メモリ４２（記憶手段）は、基準となる耳介への装着状態における電極から検出された電気信号を記憶している。校正動作時には、認識回路３８は、基準装着信号格納メモリ４２に記憶された基準となる電気信号と、耳介周囲電極１６等の各電極の信号３６とを比較して、校正を行う。

以下、本実施形態の顔面情報検出装置の動作について説明する。

（眼球運動の検出）
以下、本実施形態の顔面情報検出装置による眼球運動の検出動作について述べる。図４は、本発明の第１実施形態に係る顔面情報検出装置における電極の配置を示す図である。図４に示すように、右眼上電極４６および右眼下電極４８は装着者の右耳に取り付けられた耳介装着部に設けられた電極である。また、左眼上電極５０および左眼下電極５２は装着者の左耳に取り付けられた耳介装着部に設けられた電極である。これらは、耳介周囲電極１６および耳介電極２０のいずれであっても良い。

右眼上電極４６および左眼上電極５０は、顔面の正中線Ｖに対して水平方向に対称の位置にある。また、右眼下電極４８および左眼下電極５２も同様に、顔面の正中線Ｖに対して水平方向に対称の位置にある。加えて、右眼上電極４６および右眼下電極４８は、瞳孔線Ｈに対して垂直方向に対称の位置にある。また、左眼上電極５０および左眼下電極５２も同様に、瞳孔線Ｈに対して垂直方向に対称の位置にある。ここで、右眼上電極４６および右眼下電極４８を一組とし、当該電極間の差動信号である右眼上電極−右眼下電極間電圧を出力する。同様に、左眼上電極５０および左眼下電極５２を一組とし、当該電極間の差動信号である左眼上電極−左眼下電極間電圧を出力する。

このように、右眼上電極４６および左眼上電極５０並びに右眼下電極４８および左眼下電極５２をそれぞれ顔面の正中線Ｖに対して水平方向に対称の位置に設けることにより、眼球の上下方向運動に対しては差動出力が抑圧されるため、眼球の左右運動のみを効率良く検出することができる。また、右眼上電極４６および右眼下電極４８並びに左眼上電極５０および左眼下電極５２をそれぞれ瞳孔線Ｈに対して垂直方向に対称の位置に設けることにより、眼球の左右方向運動に対しては差動出力が抑圧されるため、眼球の上下運動のみを効率良く検出することができる。

図５は、本発明の第１実施形態に係る顔面情報検出装置における電極間電圧の変化を示す図である。図５は、眼球を上下左右に動かした場合の差動信号の変化を示している。図５に示すように、眼球の上下方向（垂直方向）への運動では、右眼上電極−右眼下電極間電圧および左眼上電極−左眼下電極間電圧は、同相で変化する。一方、眼球の左右方向（水平方向）への運動では、右眼上電極−右眼下電極間電圧および左眼上電極−左眼下電極間電圧は、逆相で変化する。以上のように、右眼上電極−右眼下電極間電圧と左眼上電極−左眼下電極間電圧との同相成分および逆相成分を取り出すことで、容易に眼球の上下左右方向の運動を分離して、検出することができる。

瞬目動作については、眼球運動より単位時間内の変化が急峻な同相信号として検出が可能である。また、ウインクの場合は、ウインクした目の側における電極の信号だけが変化するので、ウインクの動作を容易に分離して、検出することができる。

（微笑みと表情の検出）
以下、本実施形態の顔面情報検出装置による微笑み運動の検出動作について述べる。図６は、本発明の第１実施形態に係る顔面情報検出装置における電極の配置を示す図である。図６に示すように、人体の顔面には、微笑みに使われる筋肉である笑筋ＲＩＳおよび頬骨筋ＺＹＧと、咀嚼のための筋肉である咬筋ＭＡＳがある。なお、本明細書では、頬骨筋とは、大頬骨筋と小頬骨筋との両方を含むものとする。２つの電極５４と電極５６が、笑筋ＲＩＳおよび頬骨筋ＺＹＧの後端部付近に、それぞれの筋肉の伸縮方向（耳から口を結んだ線の方向）に沿うように配置されている。この配置方向は、咬筋ＭＡＳの伸縮方向に対して、丁度、垂直の方向になる。なお、２つの電極５４と電極５６は、耳介周囲電極１６および耳介電極２０のいずれであっても良い。

図７は、本発明の第１実施形態に係る顔面情報検出装置における微笑時と顎を噛んだ時との筋電信号を示す図である。図７に示すように、微笑時には、電極５４−電極５６間の筋電信号として、周波数分布が４０Ｈｚを中心として２０〜１００Ｈｚ程度の筋電信号が検出される。電極５４と電極５６とは、微笑みに使われる筋肉である笑筋ＲＩＳおよび頬骨筋ＺＹＧの伸縮方向に対して平行に配置されているため、大きな信号を得ることができる。一方、顎を噛んだ場合には、周波数分布が５００〜１０００Ｈｚである、より高い周波数を有する筋電信号が検出される。電極５４と電極５６とは、咀嚼のための筋肉である咬筋ＭＡＳの伸縮方向に対して垂直に配置されているため、信号の振幅は小さくなる。

以上のように、信号の周波数分布と振幅の違いを用いることで、少ない数の電極を用いて、微笑みの動作を検出しつつ、噛む動作による誤検出を避けることが可能となる。

加えて、耳介周囲電極１６、耳介電極２０および頭皮電極２６を用いて、顔の各部における表情筋の筋電を検出し、他の表情（喜怒哀楽）を検出することが可能である。また、口周辺の筋肉は、発声に伴って動作するため、これらの筋電信号から口形状を推定することができる。

（表情と発声動作の音と脳波による修正）
上述したような、電極で筋電を検出することのみによって顔面の状態に関する情報を検出する場合は、得られる情報に限りがあるために、表情や口蓋形状の推定が不正確になる場合がある。そこで、マイクロホン３０により収集した音声を用いて、認識回路３８において、電極から得られた情報の補正を行う。例えば、発話内容を音声から抽出し、その発話を行った場合の口形状を推定できる。この情報を用いて、電極で検出された筋電によって得られた口形状の情報の修正や補足が可能である。

また、認識回路３８において、発話時の音声に含まれる優しい言葉や厳しい言葉等の言語情報や、声のトーンやイントネーション等の非言語情報を抽出して、当該言語情報および非言語情報により発話者の感情状態を推定することができる。これによって、筋電によって得られた表情に関する情報の修正や補足が可能である。

また、認識回路３８において、頭皮電極２６から検出された脳波の解析によって、装着者の心理状態、感情および意図等に関する情報を推定することにより、筋電によって得られた表情に関する情報の修正や補足が可能である。

（校正動作）
以下、本実施形態の顔面情報検出装置における校正動作について説明する。図８は本発明の第１実施形態に係る顔面情報検出装置を４５°傾けて装着した様子を示す図であり、図９は本発明の第１実施形態に係る顔面情報検出装置において校正動作を行っている様子を示す図である。図８に示すように、この例では、電極５８や電極６０等の耳介周囲電極が、耳の周囲を八等分して、４５°刻みに設けられているものとする。

この場合、装着者は、顔面情報検出装置１０を装着後に、予め定められた所定の校正用動作を行う。この校正用動作は、例えば、眼球の上下動や、特定の表情や、特定の発声することによって行うことができる。そのときの電極５８や電極６０等のセンサの出力信号は、認識回路３８に送られる。一方、基準装着信号格納メモリ４２には、顔面情報検出装置１０を傾けずに正常装着したときに上述の校正用動作を行った場合の各電極の出力信号が記憶されている。そして認識回路３８は、当該電極５８や電極６０等の信号６２と、基準装着信号格納メモリ４２に記憶された基準となる出力信号とを比較する。

図８の例では、正常装着時の電極６０の出力信号は電極５８に現れるので、顔面情報検出装置が４５°傾いて装着されていることがわかる。この場合、認識回路３８は帰還信号６４をマトリックス接続回路３４に送り、帰還信号６４を受信したマトリックス接続回路３４は、電極５８からの出力信号を電極６０からの出力信号として繋ぎかえることにより、装着時の傾きを補正し、各種の顔面の状態に関する情報を正しく検出することができるようになる。

図８の例では、電極５８等の耳介周囲電極が４５°刻みに設けられているが、耳介周囲電極をさらに細かく分割して設けることにより、わずかな傾きや装着時のずれの検出と補正とが可能になる。この校正動作時には、ひとつの電極だけを選択して使用する他に、近傍に複数の電極を仮想的にひとつの電極と見做して信号を合成しても良い。

あるいは図９に示すように姿勢検出用センサ３２を用いて、顔面情報検出装置１０の姿勢を検出することで、校正動作に役立てることもできる。例えば、校正用動作として、「直立する」ことを予め設定しておけば、垂直に装着した状態からのずれを、姿勢検出用センサ３２の加速度センサおよび磁気センサを用いて把握することができる。

本実施形態では、基準装着信号格納メモリ４２内に記憶された校正用動作に係る基準信号を基にして校正動作を行っているが、これ以外にも、通常の使用時における自由動作を用いて校正を行うことも可能である。例えば、発話時の音声をマイクロホン３０により認識し、認識結果を基準信号として、同時に測定された筋電によって得られた口形状に関する情報と比較することにより、顔面情報検出装置１０の姿勢のずれを検出することができる。

以下、本発明の第２実施形態に係る顔面情報検出式通信装置について説明する。

（ＴＶ電話）
図１０は、本発明の第２実施形態に係る顔面情報検出式通信装置を示す図である。本実施形態の顔面情報検出式通信装置１００は、上述の顔面情報検出装置１０における送信器４０からの顔面の状態に関する情報を受信する受信器６６を備えており、送信器４０と受信器６６とによって形成される通信路が本発明の伝送路に相当する。受信器６６により受信された顔面の状態に関する情報は、受信側の処理回路６８で処理され、ディスプレイ７２（表示手段）により表示される。受信側記憶部７０には、ディスプレイ７２に表示する動画像の基準となる標準顔の立体データが記憶されている。

送信器４０からは、眼球運動に関するデータ、顔の表情に関するデータ、口形状に関するデータ、音声に関するデータ、姿勢に関するデータ等が、順次送信される。また、通信に先立って、これから通信を行う送信者個人を示す顔データが受信側に送られる。この顔データの例としては、標準顔の立体データからの偏差（形状情報）、顔の表面の色や、テクスチャ等の情報がある。この場合、顔データによって表される動画像としては、実際の人物の他、仮想の人物や、擬人化された生物、擬人化された人工物、ＣＧ等で作られたキャラクタでも良い。

受信側の処理回路６８では、受信した顔面の状態に関する情報に基づいて、あらかじめ受信側記憶部７０内に記憶している標準顔の立体データを変形し、さらに順次送られてくる眼球運動に関するデータ、顔の表情のデータ、口形状データを適用して出力画像を形成し、ディスプレイ７２に表示するとともに、音声データをディスプレイ７２のスピーカから再生する。この場合、姿勢検出用センサにより検出された姿勢に関するデータを用いて、ディスプレイ７２に表示された顔の向きや傾きを変化させることができる。

（顔ロボット）
本実施形態に係る顔面情報検出式通信装置は図１０に示すように、頭部にＣＧ画像を表示するディスプレイ７６を有するロボット端末７４を表示手段として用いることができる。ロボット端末７４は人間の形状を模して作られており、手足の関節がサーボモータによって駆動可能とされている。ディスプレイ７６に表示する情報の内容は、基本的には上述したディスプレイ７２に表示する内容と同じであるが、ロボット端末７４の頭部は、姿勢検出用センサにより検出された姿勢に関するデータに対応して、向きや傾きを変化させる。また、ロボット端末７４の手足や、上半身および下半身は、送信側のコマンドによって動作する他、送信者がデータスーツや筋電スーツ等の全身運動測定器具を着用していた場合には、送信者の身体の動きに従って動作させることも可能である。

（ロボット）
本実施形態に係る顔面情報検出式通信装置は図１０に示すように、表情可動機構を有するロボット端末７８を表示手段として用いることができる。ロボット端末７８におけるロボット端末７４との違いは、頭部にＣＧ画像を表示するディスプレイ７６を有するのではなく、アクチュエータを用いて眼球駆動機構８０、表情駆動機構８２および口形状変動機構８４を動作させる点にある。眼球駆動機構８０は眼球運動に関するデータに対応して駆動され、口形状変動機構８４は口形状に関するデータに対応して駆動される。表情に関するデータは、表情駆動機構８２の顔面筋肉用アクチュエータ群の制御に用いられる。

上述したディスプレイ７２およびロボット端末７４では、個人の顔のデータはディスプレイに表示されるＣＧモデルに対して適用されていた。これに対し、ロボット端末７８では、ロボットの顔は標準顔として製作されており、個人の顔のデータ（立体形状の標準顔との偏差）を用いて、ロボット端末７８に搭載されたアクチュエータ群が駆動制御され、個人の顔の形状を再現する。このロボット端末７８の顔としては、実際の人物の他、仮想の人物や、擬人化された生物、擬人化された人工物、ＣＧ等で作られたキャラクタ等の立体像を用いることができる。

尚、本発明の顔面情報検出装置および顔面情報検出式通信装置は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、上記実施形態では、帯状の頭部装着部の両端に一対の耳介装着部がそれぞれ取り付けられている態様を主に示したが、本発明はこれに限定されるものではなく、例えば、帯状の頭部装着部がなく、耳介装着部のみが装着者の耳介に取り付けられている態様も含まれる。また、本発明は帯状の頭部装着部が頭頂部において固定される態様に限定されず、例えば、後頭部や首の後ろで固定される態様をも含む。

本発明の第１実施形態に係る顔面情報検出装置の構成を示す斜視図である。 本発明の第１実施形態に係る耳介装着部を示す断面図である。 本発明の第１実施形態に係る顔面情報検出装置の構成を示すブロック図である。 本発明の第１実施形態に係る顔面情報検出装置における電極の配置を示す図である。 本発明の第１実施形態に係る顔面情報検出装置における電極間電圧の変化を示す図である。 本発明の第１実施形態に係る顔面情報検出装置における電極の配置を示す図である。 本発明の第１実施形態に係る顔面情報検出装置における微笑時と顎を噛んだ時との筋電信号を示す図である。 本発明の第１実施形態に係る顔面情報検出装置を４５°傾けて装着した様子を示す図である。 本発明の第１実施形態に係る顔面情報検出装置において校正動作を行っている様子を示す図である。 本発明の第２実施形態に係る顔面情報検出式通信装置を示す図である。

符号の説明

１０…顔面情報検出装置、１２…耳介装着部、１４…耳介周囲頭皮接触部、１６…耳介周囲電極、１８…耳介接触部、２０…耳介電極、２２…メッシュ部、２４…頭部装着部、２６…頭皮電極、２８…ボックス、３０…マイクロホン、３２…姿勢検出用センサ、３４…マトリックス接続回路、３６…信号、３８…認識回路、４０…送信器、４２…基準装着信号格納メモリ、４４…緩衝材、４６…右眼上電極、４８…右眼下電極、５０…左眼上電極、５２…左眼下電極、５４，５６，５８，６０…電極、６２…信号、６４…帰還信号、６６…受信器、６８…処理回路、７０…受信側記憶部、７２…ディスプレイ、７４…ロボット端末、７６…ディスプレイ、７８…ロボット端末、８０…眼球駆動機構、８２…表情変動機構、８４…口形状変動機構、Ｅ…耳介、Ｓ…耳介周囲頭皮、Ｖ…正中線、Ｈ…瞳孔線、ＲＩＳ…笑筋、ＺＹＳ…頬骨筋、ＭＡＳ…咬筋。

Claims (19)

1. 耳介に装着可能な耳介装着手段と、
   前記耳介装着手段に設けられ耳介および耳介周囲の頭皮のいずれかに接触可能な複数の電極と、
   前記電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出する顔面情報抽出手段と、
   を備え、
   前記耳介装着手段は両方の耳介に装着可能であり、
   前記両方の耳介に装着可能な耳介装着手段には、瞳孔線に対称に位置する一対の電極がそれぞれ設けられており、
   前記瞳孔線に対称に位置する電極の一対同士は、顔面の正中線に対して対称に位置し、
   前記顔面情報抽出手段は、
   前記前記瞳孔線に対称に位置する電極間の電位差同士の同相成分に基づいて、垂直方向の眼球運動および瞬目動作を検出し、
   前記前記瞳孔線に対称に位置する電極間の電位差同士の逆相成分に基づいて、水平方向の眼球運動および瞬目動作を検出する、顔面情報検出装置。
2. 耳介に装着可能な耳介装着手段と、
   前記耳介装着手段に設けられ耳介および耳介周囲の頭皮のいずれかに接触可能な複数の電極と、
   前記電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出する顔面情報抽出手段と、
   を備え、
   前記顔面情報抽出手段は、前記電極から検出された電気信号に基づいて表情を検出する、顔面情報検出装置。
3. 頭部に沿って装着可能な帯状の頭部装着手段と、
   前記頭部装着手段に設けられ頭皮に接触可能な電極と、
   をさらに備え、
   前記頭部装着手段の端部に前記耳介装着手段が取り付けられており、
   前記顔面情報抽出手段は、前記頭部装着手段に設けられた電極から検出された電気信号に基づいて顔面の状態に関する情報を抽出する、
   請求項１または２に記載の顔面情報検出装置。
4. 前記電極は、当該内部に増幅器を含む、
   請求項１〜３のいずれか１項に記載の顔面情報検出装置。
5. 前記顔面情報抽出手段は、前記電極間の電位差に基づいて顔面の状態に関する情報を抽出する、
   請求項１〜４のいずれか１項に記載の顔面情報検出装置。
6. 前記顔面情報抽出手段は、前記電極から検出された電気信号に基づいて眼球運動を検出する、
   請求項１〜５のいずれか１項に記載の顔面情報検出装置。
7. 前記顔面情報抽出手段は、前記電極から検出された電気信号に基づいて瞬目動作を検出する、
   請求項１〜６のいずれか１項に記載の顔面情報検出装置。
8. 前記耳介装着手段は両方の耳介に装着可能であり、
   前記電極には、顔面の正中線に対して対称に位置する電極を含み、
   前記顔面情報抽出手段は、前記顔面の正中線に対して対称に位置する電極間の電位差に基づいて水平方向の眼球運動および瞬目動作を検出する、
   請求項１〜７のいずれか１項に記載の顔面情報検出装置。
9. 前記電極には、瞳孔線に対して対称に位置する電極を含み、
   前記顔面情報抽出手段は、前記瞳孔線に対して対称に位置する電極間の電位差に基づいて垂直方向の眼球運動および瞬目動作を検出する、
   請求項１〜８のいずれか１項に記載の顔面情報検出装置。
10. 前記耳介装着手段は両方の耳介に装着可能であり、
    前記両方の耳介に装着可能な耳介装着手段には、瞳孔線に対称に位置する一対の電極がそれぞれ設けられており、
    前記瞳孔線に対称に位置する電極の一対同士は、顔面の正中線に対して対称に位置し、
    前記顔面情報抽出手段は、
    前記前記瞳孔線に対称に位置する電極間の電位差同士の同相成分に基づいて、垂直方向の眼球運動および瞬目動作を検出し、
    前記前記瞳孔線に対称に位置する電極間の電位差同士の逆相成分に基づいて、水平方向の眼球運動および瞬目動作を検出する、
    請求項２〜９のいずれか１項に記載の顔面情報検出装置。
11. 前記電極は、笑筋および頬骨筋のいずれかの端部に位置し、
    前記顔面情報抽出手段は、前記電極により検出された笑筋および頬骨筋の筋電に基づいて笑いの有無を検出する、
    請求項１〜１０のいずれか１項に記載の顔面情報検出装置。
12. 前記顔面情報抽出手段は、前記電極により検出された笑筋および頬骨筋における２０〜１００Ｈｚの周波数分布の筋電に基づいて笑いの有無を検出する、
    請求項１１に記載の顔面情報検出装置。
13. 前記顔面情報抽出手段は、前記電極から検出された電気信号に基づいて口形状を検出する、
    請求項１〜１２のいずれか１項に記載の顔面情報検出装置。
14. 音声を検出するマイクロホンをさらに備え、
    前記顔面情報抽出手段は、前記マイクロホンにより検出された音声に基づいて顔面の状態に関する情報を抽出する、
    請求項１〜１３のいずれか１項に記載の顔面情報検出装置。
15. 前記電極は、脳波を検出し、
    前記顔面情報抽出手段は、前記電極から検出された脳波に基づいて顔面の状態に関する情報を抽出する、
    請求項１〜１４のいずれか１項に記載の顔面情報検出装置。
16. 基準となる耳介への装着状態における前記電極から検出された電気信号を記憶した記憶手段をさらに備え、
    前記顔面情報抽出手段は、前記電極から検出された電気信号と、前記記憶手段に記憶された電気信号とを比較することにより、前記抽出する顔面の状態に関する情報の校正を行う、
    請求項１〜１５のいずれか１項に記載の顔面情報検出装置。
17. 請求項１〜１６のいずれか１項に記載の顔面情報検出装置によって検出された顔面の状態に関する情報を伝送する伝送路と、
    前記伝送路によって伝送された顔面の状態に関する情報を表示する表示手段と、
    を備えた顔面情報検出式通信装置。
18. 前記表示手段は、人物および擬人化された物のいずれかの動画像を表示し、前記伝送路によって伝送された顔面の状態に関する情報に対応して前記動画像を変動させる、
    請求項１７に記載の顔面情報検出式通信装置。
19. 前記表示手段は、人物および擬人化された物のいずれかを表した立体像であり、前記伝送路によって伝送された顔面の状態に関する情報に対応して前記立体像を変動させる、
    請求項１７に記載の顔面情報検出式通信装置。
    
    

Images