JP2648682B2

JP2648682B2 - 表情要素コードの再生表示及び情緒・表情の加工・発生装置

Info

Publication number: JP2648682B2
Application number: JP4213734A
Authority: JP
Inventors: 正重古川; 陽一古野
Original assignee: Individual
Current assignee: Individual
Priority date: 1992-07-17
Filing date: 1992-07-17
Publication date: 1997-09-03
Anticipated expiration: 2012-09-03
Also published as: JPH0676044A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人間の顔の表情を筋電
図学的、生理学的に解析し、計算処理した表情要素コー
ドの再生表示及び情緒・表情の加工・発生装置に関す
る。

【０００２】

【従来の技術】従来、テクノロジー的に読み取った人間
の顔の表情に係る画像データの再生、特に表情の変化の
画像再生は、少しずつ違いのある画像を連続的に見せる
アニメーション技法で実現されてきた。しかし、ゲーム
ソフトなどにアニメーション技法を用いる場合、その画
像データが記憶領域の大きな部分を占めることになるこ
とからも明らかなように、かかるアニメーション技法で
は、大量の画像情報を必要とし、細かい表情の変化を実
現しようとすればするほど、より多くの画像データが必
要となるため、現在のところ大まかな変化のみでの不自
然な表情変化しか表現できていない。また、アニメーシ
ョン技法による表情の変化の表現は、アニメータが経験
的に蓄積したノウハウに従っている。これでは、定量的
条件の指定での表情発生は不可能であり、アニメータの
技量によっては不自然な表情変化となる。

【０００３】動く画像の再生及び合成には、通信の場
合、発信側と受信側とが共有する知識の開発が望まれ、
また、アニメーションの画像合成の場合にもその知識が
応用できることが理想である。現在、顔の合成法として
は、三次元顔モデルの構造変形をして表情をつくる「構
造変形手法」があり、また、顔の表情に係わる特定部位
に関しては、実際の画像信号を利用する「嵌め込み合成
手法」がある。構造変形手法では、顔の表情に関する変
形パラメータを定め、そのパラメータの組み合わせによ
り、表情変化を合成しており、また、はめ込み合成手法
では、目の周り、口の周りを入力画像から切りだし、合
成画像に嵌め込んでいる。情報量については、「嵌め込
み合成方式」よりも、「構造変形方式」は、顔面画像を
パラメータによって合成しているので少なくはなるが、
まだまだ多い。最近、アニメーション作成のためではあ
るが、Ｋ．Ｗａｔｅｒｓ氏は、１９８７年、三次元構造
顔モデルに、表情筋の三次元筋肉ベクトルパラメータを
採用したもの、すなわち、表情筋の形については、局所
解剖学を利用し、動きについては、心理学者が提唱する
「顔の動きのコードシステム」（ＦａｃｉａｌＡｃｔ
ｉｏｎＣｏｄｉｎｇＳｙｓｔｅｍ：ＦＡＣＳ）とし
て、６つの情緒と９種類の表情の活動ユニット（Ａｃｔ
ｉｏｎＵｎｉｔ；ＡＵ）を嵌め込んだ三次元筋肉ベク
トルパラメータ方式を開発した（ＣｏｍｐｕｔｅｒＧ
ｒａｐｈｉｃｓ，Ｖｏｌ．２１，Ｎｏ．４，ｐ１７−２
４，（１９８７），Ｋ．Ｗａｔｅｒｓ：ＡＭｕｓｃｌｅ
ＭｏｄｅｌＦｏｒＡｎｉｍａｔｉｎｇＴｈｒｅ
ｅ−Ｄｅｍｅｎｔ−ｉｏｎａｌＦａｃｉａｌＥｘｐ
ｒｅｓｓｉｏｎ）。この表情のＡＵと称するものは、Ｆ
ＡＣＳとして、最近しばしば使われている。しかし、こ
れは、体験的な心理学の主観的な概念から割り出された
もので、自然科学としての生理学的研究による法則では
ないから、たとえその変形合成にパラメータを応用して
も、その再生画像は不自然にならざるを得ない。更に、
従来の局所解剖学の表情筋の機能的名称は、筋電図研究
によれば見直す必要があるもののあることが判明した。
例えば、「笑筋」は笑いの主役を演じていないなどがそ
れである。したがって、その画像の再生には、大変な矛
盾を含んでおり、実際の人の表情とは違ったものとな
る。また、このような方式では、未だ情報量が多くなる
ことは否めない。

【０００４】

【発明が解決しようとする課題】一方、医療の分野で
は、過去、現在、未来とも、その表情の読み取りは日常
の診療に欠くことのできない重要な要素であり、テクノ
ロジー的に読み取った人間の顔の表情データを適切に画
像等に再生でき、かつ、その表情の情緒的変化をテクノ
ロジー的に適切に加工できる装置の開発が望まれてい
る。勿論、芸術の分野でも、社会生活の面でも同様であ
る。かかる点に鑑み、本発明は、筋肉の動きや神経系接続関係などの筋電図学的神経
生理学的研究に基づいて、顔の表情の要素をテクノロジ
ー的に分類し、コード化すること、つまり、表情を筋肉
や神経系の因果関係から理論的に取り扱ってコード化す
ることにより、表情の記録に要する情報量を、大幅に圧
縮させ、従来のアニメーション技法等における画像デー
タに較べて格段に減少させ、また、その表情にかかるコ
ードを定量化して、従来にない表情の定量的な解析を可
能にする。そのコードの数値と筋肉の動きの相関関係を筋電図
学的神経生理学的研究から導き、これに基づいて眉、
瞼、口等を動かすことで表情を作ることによって、従来
の経験による顔の作画ではなく、筋電図学的神経生理学
的研究に基づいた表情を発生させ、再生される表情を自
然なものにする。人間の表情発生及び情緒発生の筋電図学的神経生理
学的研究によって、表情と情緒との間に明解な対応の法
則があることが明らかになったことから、この対応関係
に基づいて情緒に対応した表情の発生及び情緒の時間変
化に応じた表情の変化を発生させ、経験の蓄積や心理学
からではなく、極めてテクノロジー的に情緒から表情を
発生させる。表情筋を支配する神経系の接続、表情筋群の拮抗及
び協同関係から導かれた表情の動的モデルに従うこと
で、表情の自然な変化の時系列発生を可能にし、従来の
経験や心理学による表情変化発生に対して、筋電図学的
神経生理学的研究に基づいた表情変化を発生させる。顔面モデルとして、人形や三次元グラフィクスを用
いることによって、三次元的な表情の再生をも可能にす
る。等々を目的とする。

【０００５】

【課題を解決するための手段】本発明の基礎的な理論
は、発明者古川正重による表情の神経生理学的研究成果
による。ここにその理論の概要を説明する。人間の表情
には、直ちに目にふれない微妙な表情と素早く反射的に
反応して一目でそれとわかる表情がある。前者には、涙
の分泌をはじめ、顔色の変化、瞳孔の収縮などの自律神
経支配下の諸変化又は兆候があげられ、一方、後者は、
笑い、泣きなどの表情は体性運動神経支配領域に見られ
るもので、これらは、人間の社会生活に必要な通信手段
として、信号的な役割を担っているものと考えられる。
そこで、情緒の反応から表出までの過程を簡明にまと
め、内部機構のブロック図をつくり、情緒表現の内部機
構モデルとして図１に示す。このブロック図は、人体の
解剖学的な諸器官名は省略し、機能的な名称を用いたの
で、各ブロックの空間的な位置関係には意味はないが、
情報伝達経路を重視して作成したものである。したがっ
て、人間の顔の素早く動く画像としての表情は、体性運
動神経系の顔面神経の支配を受ける表情筋の活動があ
り、その中枢は、また顔面神経の中枢となる。表情筋
は、頭部、頸部にそれぞれ一対づつ、顔の眼、耳、鼻の
周りに各三対づつ、口唇の周囲には、言語活動に寄与す
るものを含めて約十対存在する。それらの中で、表情に
関する主な筋を図２に示す。これらを表情筋群と呼ぶ。
一般に、体性運動筋は、骨格筋と呼ばれるもので、手足
の筋のように、骨から始まって途中関節を要して骨に終
わるものである。それに対して、表情筋は、骨格筋の一
種で横紋筋でありながら、それぞれ顔面骨部より発して
途中関節を要せずに、直接皮膚に終着していることが特
徴で、対応は極めて速く、左右同時性である。そして、
前者の運動筋の神経支配については、例えば、手を伸ば
す場合、一つの伸筋ばかりでなく、同時的に張力を増加
して強力する筋及び筋群を協力（同）筋（ｓｙｎｅｒｇ
ｉｓｔ）と称し、屈縮側の張力を減少する屈筋及び筋群
を拮抗筋（ａｎｔａｇｏ−ｎｉｓｔ）と称されている
が、これらの関係は、手を伸ばすために協調しているわ
けである。また、歩行時の両脚に見られる交互的の筋活
動を支配する神経支配関係を生理学的に研究したシエリ
ントン（Ｓｈｅｒｒｉｎｇｔｏｎ．ｃ．ｓ．：１８６１
〜１９５３）は、１９０６年に相反神経支配の法則（Ｐ
ｒｉｎｃｉｐｌｅｏｆＲｅｃｉｐｒｏｃａｌＩｎ
ｎｅｒｖａｔｉｏｎ）と名付け、１９３２年にノーベル
生理医学賞を受賞した。顔においては、眼球運動に関与
する眼筋などは、この法則が認められるが、顔面神経支
配の表情筋の活動にこの法則が適応できるかどうか、或
いは、別の法則で支配されているかどうかの研究は必要
である。現代の神経生理学においては、脳の活動には脳
波、心臓の活動には心電図があるように、この表情筋の
活動には筋電図学的研究が重要である。一般に、筋肉が
活動する時は、筋肉の細胞自体に電位の変化が起きる。
この活動電位を、時間的に調査して記録したものを筋電
図（Ｅｌｅｃｔｒｏ−Ｍｙｏｇｒａｍ；Ｅ．Ｍ．Ｇ．）
と呼ぶ。表情筋の活動電位は最大で８００μＶ、持続時
間は４ミリ秒以下で、手足の筋のそれに比べると約半分
と小さく短いのが特徴である。まず、顔を図２左に示す
ように、上部、中部、下部とする。上部に；ヒタイ
（Ｆ）、マユ（Ｃ）、中部に；マブタ（Ｏ）、ホホ
（Ｚ）、下部に；クチ（Ｒ）、アゴ（Ｍ）として、６区
分にすると、それらの区分の皮下には、主要な表情筋が
図２の右側の如く約１４ある。それらの表情筋及び表情
筋群を区分ごとに次表の６群に分けることができる。こ
れらの６群を表情に必要な最小限の筋群の分類とした。

【表１】筋電図の実験には、各筋及び各筋群に複数の電極を使用
して、同時記録することによって各筋群の相関関係を調
査することができる。その調査を総合して検討すると次
のようになる。すなわち、前額に皺をつくる前頭筋
（Ｆ）と眉を動かす皺眉筋（Ｃ）、この皺眉筋（Ｃ）と
口唇を開閉する口輪筋（Ｒ）、口角を上げる頬骨筋群
（Ｚ）と眼を閉じる眼輪筋（Ｏ）がそれぞれ協同的神経
支配関係にあり、また、前額に皺をつくる前頭筋（Ｆ）
と眼を閉じる眼輪筋（Ｏ）、眉を動かす皺眉筋（Ｃ）と
口角を上げる頬骨筋群（Ｚ）、口唇を開閉する口輪筋
（Ｒ）と下唇を下げる筋群（Ｍ）がそれぞれ拮抗的神経
支配関係にあることを確認した。これを図３に示す。更
に、実際にリアルな情緒的表情パターンをつくる時の表
情筋群の筋電図は、例えば、「笑う」の時、ＯＺＭに見
られ、ＦＣＲに見られない。「怒り」の時、ＦＣＲに見
られ、ＯＺＭに見られない。このように、６群の表情筋
は、それぞれ３群宛が協同的に活動する場合、他の３群
は拮抗的の関係になっている。この組み合わせのパター
ンは８つになり、次表に示す。

【表２】しかし、顔の左右対をなしている筋及び筋群の筋電図
は、それぞれ同名のものは互いに協同的で、拮抗的では
ない。すなわち、相反関係になっていない。このこと
は、表情のパターン形成の上で極めて重要な表情筋の活
動の特質と考えられる。一般に、脳細胞は並列で、その
興奮は多元的であり、互いに加重或いは抑制に作用して
複雑に統合し、そのインパルスが末梢神経に伝えられ
て、末梢器官を活動させていると考えられる。末梢器官
としての表情筋は、顔面神経の支配を受けて活動し、そ
の中枢は、随意的運動の中枢として、大脳の運動領が挙
げられ、不随意的の反射運動の中枢は、中脳と小脳にあ
り、それらを統合する中枢は、脳幹網様体と考えられ
る。情緒の中枢は未だ不明であるが、表情運動の中枢
は、前述したように、複数挙げられている。しかし、そ
れらが、どのような法則で統合されているかの課題は極
めて重要である。先に述べた四肢運動の相反神経支配の
法則を部分的には適応できるが、総体的にはその適応は
不可能である。そこで、その統合の法則のモデルを、前
述の筋電図学的実験研究から考察して制作することにし
た。図３に示す６群の二つ宛の相互関係は、相反神経支
配に準ずるその組み合わせが多数あって無意味である。
しかし、実際の表情パターンは、筋電図から見る場合、
表２に示すように３群宛の相関関係で構成されている。
その３群づつを組み合わせると、最小限の８つのパター
ンに集約できる。そして、図２の右に示す６つの筋群に
ついて、拮抗的なものを互いに立体軸上に対立させ、協
同的なものを稜線として隣接させて、立体的に組み合わ
せると、図４に示す八面体ができる。これを、表情パタ
ーンの法則の動的モデルとし、発明者の古川正重はこれ
を「表情の八面体」（ＰａｔｔｅｒｎＰｒｉｎｃｉｐ
ｌｅｏｆＯｃｔｈｅｄｒｏｎｉｎＥｍｏｔ−ｉ
ｏｎａｌＥｘｐｒｅｓｓｉｏｎ）と名付けた。この表
情における八面体のパターンの法則のモデルは、表情の
効果器としての顔の表情筋群の運動方式を帰納して作成
したものであるから、当然、表情を具現化する法則のモ
デルであると同時に、これを支配する顔面神経中枢の統
合発信方式の自然の法則のモデルでもあると考えられ
る。ところで、この表情の八面体において、８つの面を
構成している３要素を操作すると、極限的な表情が現れ
る。これを図５及び図６に示す。図６で実線は隣接する
面、破線は対向する面を示す。この場合の八面体の面要
素が示す表情は、次表のような表情・情緒と対応してい
る。

【表３】これらの表情要素コードと表情・情緒の相関関係を更に
次表に示す。

【表４】この表に従えば、表情要素コードから表情・情緒を判別
できる。

【０００６】ここにおいて、本発明は、表情発生条件を
設定する表情発生条件入力装置と、該表情発生条件入力
装置からの指示信号に従い顔面における可動部分たる前
額（Ｆ）、眉（Ｃ）、瞼（Ｏ）、頬（Ｚ）、口（Ｒ）、
顎（Ｍ）の移動量、移動方向、形態変化を、表情の筋電
図学的神経生理学的解析による表情筋群（Ｆ，Ｃ，Ｏ，
Ｚ，Ｒ，Ｍ）に基づきそれぞれのベクトル成分を計算
し、コード化して、表情画像としての表情要素コードを
再生する表情要素コード再生手段に加えて、その表情要
素コードに、表情筋群活動の特徴のある相関関係を筋電
図の実験研究により解明した表情運動を説明する表情パ
ターンの法則の動的モデルたる表情の八面体に基づき、
表情の変化の開始時と終了時の情緒の種別、大きさ、変
化時間の要素を付与する情緒の時系列変化対応表情発生
手段を備えた演算処理装置と、該演算処理装置で再生さ
れ、かつ、表情の変化の開始時と終了時の情緒の種別、
大きさ、変化時間の要素が付与された表情要素コードに
従い、顔面の形態を再生表示するとともに、顔面の可動
部分たる前額（Ｆ）、眉（Ｃ）、瞼（Ｏ）、頬（Ｚ）、
口（Ｒ）、顎（Ｍ）を移動、変形させる表情表示装置
と、から成る。

【０００７】

【作用】如上の構成であるから、表情発生条件入力装置
にて所要の表情発生条件を入力すると、演算処理装置の
表情要素コード再生手段が、その表情発生条件入力装置
からの指示信号に従い、顔面の可動部分たる前額
（Ｆ）、眉（Ｃ）、瞼（Ｏ）、頬（Ｚ）、口（Ｒ）、顎
（Ｍ）の移動量、移動方向、形態変化を、表情の筋電図
学的神経生理学的解析に基づいて計算し、それらの可動
部分における移動量、移動方向、形態変化を含んだ表情
画像のための表情要素コードを再生する。そして、表情
表示装置が、その表情要素コードに従い顔面の表情を再
生表示する。また、演算処理装置では、表情情緒の時系
列変化対応表情発生手段が、表情パターンの動的モデル
たる上記「表情の八面体」に基づき、その表情要素コー
ドに変化の開始時と終了時の情緒の種別、大きさ、変化
時間を加味させる。

【０００８】

【実施例】図７は、本発明の「表情要素コードの再生表
示及び情緒・表情の加工・発生装置」に係る実施例を示
している。図７において、１は、表情発生条件を設定す
る表情発生条件入力装置、２は、該表情発生条件入力装
置からの指示信号に従い、顔面における可動部分たる前
額（Ｆ）、眉（Ｃ）、瞼（Ｏ）、頬（Ｚ）、口（Ｒ）、
顎（Ｍ）の移動量、移動方向、形態変化を、表情の筋電
図学的神経生理学的解析に基づいて計算し、表情画像と
しての表情要素コードｘを再生する表情要素コード再生
手段２１に加えて、表情パターンの動的モデルたる上記
「表情の八面体」に基づき、その表情要素コードｘに表
情の変化の開始と終了時の情緒の種別、大きさ、変化時
間の要素を付与する情緒の時系列変化対応表情発生手段
２２を備えた演算処理装置、３は、該演算処理装置で再
生された表情要素コード出力に従い顔面の形態を再生表
示する表情表示装置である。

【０００９】表情発生条件入力装置１の具体的なものと
しては、キーボード、可変抵抗とＡ／Ｄコンバータの組
み合わせ、直列又は並列ディジタル入力等が考えられ
る。演算処理装置２としては、パーソナルコンピュー
タ、ワークステーションなどでよい。また、表情表示装
置３としては、顔面の模型、コンピュータグラフィック
スなどで実現する。二次元モデル、三次元モデルのいず
れでも可能である。

【００１０】演算処理装置２における表情要素コード再
生手段２１は、次のアルゴリズムに支配される。「表情要素コード再生アルゴリズム」表情要素コードの最も単純な再生のための顔面モデルと
して、図８に示す折れ線モデルがある。これは、眉、
瞼、口などの可動部分を折れ線として表したものであ
る。この折れ線モデルでは顔面の各可動部を頂点１〜５
２と設定し、右眉、左眉、右上眼瞼、左上眼瞼、右下眼
瞼、左下眼瞼、上唇、下唇を８本の折れ線として、顔面
の可動部を表している。これらの可動部の移動は、頂点
を移動させることで行う。各頂点は、前記表１乃至表４
が示すように、情緒との関連から複数の表情筋群Ｆ，
Ｃ，Ｏ，Ｚ，Ｒ，Ｍの影響を受けるので、各頂点と表情
筋群との関係は、次表のように表すことができる。

【表５】次に、上記各頂点の内の１点について、移動量、移動方
向の決定方法を説明する。図９に第ｎ番目の頂点の移動
の力学モデルを示す。図９において、一端が固定された
スプリングｓの他端ｎを牽引する張力Ｆ_ＡＮは、Ｆ_ＡＮ
＝ｆ_ＡＮ（ａ）の関数で表される。また、移動量σ_ＡＮ
及び係数ｋとの間に、Ｆ_ＡＮ＝ｋ・σ_ＡＮの関係がある
ことから、次式が成立する。なお、添字のＡは、表情筋
群Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍの種別を、また、添字のＮ
は、各頂点を示している。

【数１】この（１）式は、眉、瞼、口などの可動部分の折れ線に
おける第ｎ番目の頂点ｎが表情要素コードの１つの成分
ａに対して移動する移動量σ_ＡＮに合致する。この場
合、移動量σ_ＡＮは方向性を持つので、これをＸ成分、
Ｙ成分からなるベクトルＬ_ＡＮで表すと、次式のように
なる。

【数２】例えば、右眉における前頭筋Ｆによる移動は、図１０の
ようになる。この左眉の頂点１は、実際には前頭筋Ｆと
皺眉筋Ｃとの影響を受けているために、その移動は図１
１に示すように、前頭筋Ｆによるベクトル移動量Ｌ_Ｆ１
と皺眉筋Ｃによるベクトル移動量Ｌ_Ｃ１とを加算したも
のとなる。そこで、加算移動量をＬ_Ｎとし、頂点１の加
算移動量Ｌ_１を求めると、次式のようになる。

【数３】そこで、それらの表情筋群Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍに基
づきそれぞれのベクトル成分をコード化して表情要素コ
ード（ｆ，ｃ，ｏ，ｚ，ｒ，ｍ）とし、これを（３）式
に与えると、その加算移動量Ｌ_１は、次式のような関数
として得られる。

【数４】この（４）式を頂点１の移動量の式と呼ぶ。同様にし
て、表５の「各頂点と関連する筋群」の関係から、全５
２頂点の移動量の式Ｌ_１〜Ｌ_５２が決まる。表情要素コ
ードの各成分は、０〜１．０の値をとるものとする。

【数５】このようにして、筋肉と眉、瞼、口の解剖学的及び筋電
図学的研究から、あらかじめ全頂点の移動量の式を求め
ておくと、折れ線モデルによる表情要素コード再生アル
ゴリズムのフローチャートは図１２となる。すなわち、
眉、瞼、口などの可動部分における全頂点の移動量の式
Ｌ_Ｎに表情要素コードを代入して移動量を求め、これに
従って各頂点を移動させるとともに、頂点間を線分で結
び、もって、可動部分の移動量、移動方向、形態変化を
表情の生理学的筋電図学的解析に基づいて計算した表情
画像としての表情要素コードｘを再生することができる
のである。この表情要素コードｘの出力は、表情表示装
置３に送り、該表情表示装置において顔面の表情として
実現させるのである。

【００１１】また、演算処理装置２における情緒の時系
列変化対応表情発生手段２２は、表情要素コード再生手
段２１で再生する表情要素コードｘに対し、情緒の種別
と大きさの要素を付与する情緒対応表情再生手段と、そ
の表情要素コードｘに表情の変化の開始と終了、変化時
間の要素を付与する表情の時系列発生手段を内包してお
り、「情緒の変化に対応した表情の時系列変化発生アル
ゴリズム」に支配される。そして、この「情緒の変化に
対応した表情の時系列変化発生アルゴリズム」は、情緒
対応表情再生手段における「情緒を基にした表情の発生
アルゴリズム」と、表情の時系列発生手段における「表
情の時系列変化発生アルゴリズム」とで成立する。図１
３に「情緒の変化に対応した表情の時系列変化発生のア
ルゴリズム」のフローチャートを示す。情緒の時系列変
化対応表情発生手段２２には、上記表情発生条件入力装
置１から、表情の発生条件として、開始時、終了時の情
緒の種別と、大きさと、時間を与える。

【００１２】この発生条件を受けた情緒の時系列変化対
応表情発生手段２２は、まず、情緒対応表情再生手段に
おいて、これを「情緒を基にした表情の発生アルゴリズ
ム」にて処理し、表情要素コード再生手段２１で再生す
る表情要素コードｘに情緒の種別と大きさの要素を付与
する。つまり、この情緒対応表情再生手段は、次のアル
ゴリズムに支配される。「情緒を基にした表情の発生アルゴリズム」情緒を表情に変換するには、図６を用い、指定する情緒
と面要素の対応は、前記表３に従うものとする。（１）表情要素の重み付け表情要素コードＸに対して、主要素＋＋２ｋ・ｘ《重み付けを強くするときは３ｋ・ｘ》従属要素＋ｋ・ｘ拮抗要素（−）ｋ・（１−ｘ）ｋ：１／６を意味する。（２）情緒変換式上記表情要素の重み付けと前記表４から、各情緒の量を
計算する式が求められる。

【数６】これを情緒変換式と呼ぶ。（３）情緒変換式から表情要素コードｘを求める方法いずれかの情緒を選択して、情緒の量を与える。すなわ
ち、情緒変換式とその左辺が決定したことになる。この
とき、表情要素間の関係式が与えられれば、情緒の種別
と大きさを含む表情要素コードｘが決定する。そこで、
情緒変換式の各項要素が同じ大きさと仮定して、この情
緒の種別と大きさを含む表情要素コードｘを求める。例として、ｈａｐｐｙを用いた場合を示すと次の通りで
ある。例種別：ｈａｐｐｙ大きさ：０．５

【数７】Ｅ_ｈｐ＝０．５＝２ｋ・ｚ＋ｋ・ｏ＋ｋ・ｍ＋ｋ・（１−ｃ）ｚ＝ｏ＝ｍ、ｃ＝０として、０．５＝（４ｚ＋１）・ｋｋ＝１／６だからｚ＝（０．５・６−１）／４＝０．５ ∴情緒ｈａｐｐｙとその大きさを含む表情要素コードｘ：（ｆ，ｃ，ｏ，ｚ，ｒ，ｍ）＝（０，０，０．５，０．５，０，０．５）情緒の種別と大きさから表情を発生するアルゴリズムの
フローチャートを図１４に示す。すなわち、対応する表
４から構成要素を判別し、これに情緒の大きさを乗じて
表情要素コードとし、情緒の種別と大きさを含む表情要
素コードｘを得るのである。

【００１３】情緒対応表情再生手段で算出されたこの情
緒の種別と大きさを含む表情要素コードｘに対しては、
更に、表情の時系列発生手段により表情の変化の開始と
終了、変化時間の要素を付与する。この表情の時系列発
生手段は、次のアルゴリズムに支配される。「表情の時系列変化発生アルゴリズム」表情の変化は、図４に示す表情の八面体の表面に沿って
発生する。表情の八面体上の位置変化を、正規八面体上
での位置変化と八面体の大きさの変化に分けることで具
体化した場合の処理手順を図１５のフローチャートに示
す。なお、正規八面体とは、全頂点が１つの球に接する
八面体で、その球の半径ｄを１としたもの、すなわち、
各成分の値を１とした表情の八面体をいう。また、八面
体の大きさの変化とは、その球の半径ｄをいう。以下、
その処理手順を順に説明する。開始時・終了時の表情要素コードｘからその表面に
持つ表情の八面体の大きさをそれぞれ算出する。これを
ｄ_Ｓ，ｄ_Ｅとする。算出したｄ_Ｓ，ｄ_Ｅの値を用いて、正規八面体上の
開始位置、停止位置を算出する。正規八面体の面に沿った最短ルートを算出する。開始から終了までの変化時間と時系列間隔からコマ
数を算出し、１コマごとの正規八面体での位置変化、八
面体の大きさ変化を割り出す。正規八面体上の位置と八面体の大きさを開始値にす
る。正規八面体上での位置を、八面体の現在の大きさで
補正して、情緒の変化に対応した表情の時系列変化が発
生した表情要素コードｘ、つまり、表情の変化の開始と
終了時の情緒の種別、大きさ、変化時間を含む表情要素
コードｘを得る。ここでは、表情要素コード再生手段２
１で再生される前述の表情要素コードｘと同質のものと
なっている。このようにして得られた情緒の変化に対応
した表情の時系列変化発生を包含する表情要素コードｘ
を、表情表示装置３に送り、該表情表示装置において顔
面の表情を実現させるのである。

【００１４】なお、演算処理装置２では、情緒の時系列
変化対応表情発生手段２２において、情緒対応表情再生
手段のみ働かせて情緒の種別と大きさだけを含む表情要
素コードｘを、また、表情の時系列発生手段のみ働かせ
て表情の変化の開始と終了、変化時間だけを含む表情要
素コードｘを再生することもでき、これらを表情表示装
置３において顔面の表情として実現させることができ
る。

【００１５】

【発明の効果】本発明によれば、（１）人間の顔の表情を、筋電図学的神経生理学的研究
に基づき筋肉や神経系の因果関係から理論的に取り扱っ
て、表情の要素をテクノロジー的に分類し、コード化す
ることができ、これにより、表情の記録や伝送に要する
情報量を、大幅に圧縮した状態とすることができ、従来
のアニメーション技法等における画像データに較べて格
段に減少させることができる。また、その表情にかかる
コードを定量化することで、従来にない表情の定量的な
解析を可能にすることができる。（２）顔面再生画像、その他の顔面モデルにおいて、筋
電図学的神経生理学的研究から導き出されたその表情要
素コードの数値と筋肉の動きの相関関係に基づいて眉、
瞼、口等を動かすことで任意にかつ人工的に表情を作る
ことができ、これにより、従来の経験や心理学による顔
の作画ではなく、筋電図学的神経生理学的研究に基づい
た適正な表情を発生させることができ、再生される表情
を自然なものにできる。（３）顔面再生画像、その他の顔面モデルにおいて、人
間の顔の表情と情緒との間の明解な対応関係に基づいて
情緒に対応した表情を発生させることができ、かつ、情
緒の時間変化に応じた表情の変化を発生させることがで
き、経験の蓄積や心理学からではなく、極めてテクノロ
ジー的に情緒から表情を発生させることができる。（４）表情筋を支配する神経系の接続、表情筋群の拮抗
及び協同関係から導かれた表情の動的モデルに従うこと
で、顔面再生画像、その他の顔面モデルにおいて、表情
の自然な変化の時系列発生を可能にでき、従来の経験や
心理学による表情変化の発生ではなく、筋電図学的神経
生理学的研究に基づいた適正な表情変化を発生させるこ
とができる。（５）顔面モデルとして、人形や三次元グラフィクスを
用いることにより三次元的な表情の再生をも可能にする
ことができる。等々の優れた効果を奏し、所期の目的を
達成することができる。

【００１６】また、本発明には、下記のような応用が考
えられる。（Ａ）テレビ電話・テレビ会議表情の情報量を大幅に圧縮できるから、顔面の表情が自
然に変化する動画を支障なく伝送できる。（Ｂ）自然な表情を持った人形人形劇に使用される人形に、簡単に表情が作れ、しか
も、自然な表情変化を持たせることができる。（Ｃ）表情トレーニング教材表情トレーニングのプログラムに従って各種の表情変化
を発生させ、表情トレーニングの教材とする。（Ｄ）ゲームソフト及びアニメーションへの応用ゲームソフトに近年多様されているアニメーションで
は、従来は１コマごとに画像が必要であったが、これが
表情要素コードのみの記憶となるので、顔面のアニメー
ションに関しては従来の格段の情報量となる。更に、表
情の時系列変化発生装置を用いることで、人間らしい自
然な表情を発生させることができ、リアリティのあるア
ニメーションを簡単に制作作成できるようになる。（Ｅ）表情及び情緒の実験装置人間の情緒発生の研究、精神疾患と表情の関連研究、コ
ミュニケーション手段としての表情機能の研究など、従
来定性的にしか研究されていなかった表情、情緒を定量
化して研究することができる。（Ｆ）ストレス解消装置楽しい、嬉しい、安らぎ、爽快などの情緒に応じた表情
の変化を一定周期で発生させ、それを見ることでストレ
スを解消し、情緒を安定させる装置を造ることができ
る。

【図面の簡単な説明】

【図１】本発明に係る情緒表現の内部機構モデルを示
すブロック図である。

【図２】本発明に係る顔の主な表情筋の分布状態を示
す図である。

【図３】同顔の６つの表情筋群の拮抗・協同関係を示
す図である。

【図４】同顔の表情の八面体を示す図である。

【図５】同顔の表情の八面体のオペレーションと表情
の図形化に係る図である。

【図６】同顔の表情のイメージパターンとその協同及
び拮抗関係を示す図である。

【図７】本発明の「表情要素コードの再生表示及び情
緒・表情の加工・発生装置」に係る実施例を示すブロッ
ク図である。

【図８】同例における顔の折線モデルを示す図であ
る。

【図９】同例における顔の可動部の力学モデルを示す
図である。

【図１０】同例における右眉の折線モデルとその移動量
を示す図である。

【図１１】図１０の折線モデルにおける１頂点の移動量
を示すベクトル図である。

【図１２】同例の表情要素コード再生フローチャートで
ある。

【図１３】同例の情緒の時系列変化対応表情発生フロー
チャートである。

【図１４】同例の情緒対応表情発生フローチャートであ
る。

【図１５】同例の表情の時系列変化発生フローチャート
である。

【符号の説明】

１表情発生条件入力装置２演算処理装置３表情表示装置２１表情要素コード再生手段２２情緒の時系列変化対応表情発生手段

フロントページの続き (56)参考文献ＣＯＭＰＵＴＥＲＧＲＡＰＨＩＣＳ，ＶＯＬ．21，ＮＯ４，Ｐ17−24, （1987），Ｋ．ＷＡＴＥＲＳ：ＡＭＵＳＣＬＥＭＯＤＥＬＦＯＲＡＮＩＭＡＴＩＮＧＴＨＲＥＥ−ＤＥＭＥＮＴＩＯＮＡＬＦＡＣＩＡＬＥＸＰＲＥＳＳＩＯＮ

Claims

(57)【特許請求の範囲】

【請求項１】表情発生条件を設定する表情発生条件入
力装置と、該表情発生条件入力装置からの指示信号に従い顔面にお
ける可動部分たる前額（Ｆ）、眉（Ｃ）、瞼（Ｏ）、頬
（Ｚ）、口（Ｒ）、顎（Ｍ）の移動量、移動方向、形態
変化を、表情の筋電図学的神経生理学的解析による表情
筋群（Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍ）に基づきそれぞれのベ
クトル成分を計算し、コード化して、表情画像としての
表情要素コードを再生する表情要素コード再生手段に加
えて、その表情要素コードに、表情筋群活動の特徴のあ
る相関関係を筋電図の実験研究により解明した表情運動
を説明する表情パターンの法則の動的モデルたる表情の
八面体に基づき、表情の変化の開始時と終了時の情緒の
種別、大きさ、変化時間の要素を付与する情緒の時系列
変化対応表情発生手段を備えた演算処理装置と、該演算処理装置で再生され、かつ、表情の変化の開始時
と終了時の情緒の種別、大きさ、変化時間の要素が付与
された表情要素コードに従い、顔面の形態を再生表示す
るとともに、顔面の可動部分たる前額（Ｆ）、眉
（Ｃ）、瞼（Ｏ）、頬（Ｚ）、口（Ｒ）、顎（Ｍ）を移
動、変形させる表情表示装置と、から成ることを特徴とする表情要素コードの再生表示及
び情緒・表情の加工・発生装置。