JPH0676044A - 表情コードの再生表示及び情緒・表情の加工・発生装置 - Google Patents

表情コードの再生表示及び情緒・表情の加工・発生装置

Info

Publication number
JPH0676044A
JPH0676044A JP92213734A JP21373492A JPH0676044A JP H0676044 A JPH0676044 A JP H0676044A JP 92213734 A JP92213734 A JP 92213734A JP 21373492 A JP21373492 A JP 21373492A JP H0676044 A JPH0676044 A JP H0676044A
Authority
JP
Japan
Prior art keywords
facial expression
expression
facial
code
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP92213734A
Other languages
English (en)
Other versions
JP2648682B2 (ja
Inventor
Masashige Furukawa
正重 古川
Yoichi Furuno
陽一 古野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YAMAZAKI HIDEKUNI
Original Assignee
YAMAZAKI HIDEKUNI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YAMAZAKI HIDEKUNI filed Critical YAMAZAKI HIDEKUNI
Priority to JP4213734A priority Critical patent/JP2648682B2/ja
Publication of JPH0676044A publication Critical patent/JPH0676044A/ja
Application granted granted Critical
Publication of JP2648682B2 publication Critical patent/JP2648682B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】医療の分野では、表情の読み取りは日常の診療
に欠くことのできない重要な要素であり、テクノロジー
的に読み取った表情データを適切に画像等に再生でき、
かつ、その表情の情緒的変化をテクノロジー的に適切に
加工できる装置の開発が望まれている。本発明は、かか
る要望を満たそうとするものである。 【構成】表情発生条件を設定する表情発生条件入力装置
1と、該表情発生条件入力装置からの指示信号に従い表
情の医学的解析に基づき前額、眉、口などの可動部分の
移動量、移動方向、形態変化を計算して表情要素コード
を再生する表情コード再生手段21、その他情緒の時系列
変化対応表情発生手段等を備えた演算処理装置2と、該
演算処理装置で再生された表情要素コードに従い顔面の
形態を再生表示するとともに、その指示信号に従って前
額、眉、目、口などを移動、変形させる表情表示装置3
とから成る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、人間の顔の表情を医学
的に解析し、計算処理した表情コードの再生表示及び情
緒・表情の加工・発生装置に関する。
【0002】
【従来の技術】従来、テクノロジー的に読み取った人間
の顔の表情に係る画像データの再生、特に表情の変化の
画像再生は、少しずつ違いのある画像を連続的に見せる
アニメーション技法で実現されてきた。しかし、ゲーム
ソフトなどにアニメーション技法を用いる場合、その画
像データが記憶領域の大きな部分を占めることになるこ
とからも明らかなように、かかるアニメーション技法で
は、大量の画像情報を必要とし、細かい表情の変化を実
現しようとすればするほど、より多くの画像データが必
要となるため、現在のところ大まかな変化のみでの不自
然な表情変化しか表現できていない。また、アニメーシ
ョン技法による表情の変化の表現は、アニメータが経験
的に蓄積したノウハウに従っている。これでは、定量的
条件の指定での表情発生は不可能であり、アニメータの
技量によっては不自然な表情変化となる。更に、アニメ
ーション技法では、二次元の表情しか記録・再生でき
ず、三次元的な表情変化を記録・再生する技法は、現状
では未だ存在しない。
【0003】
【発明が解決しようとする課題】一方、医療の分野で
は、過去、現在、未来とも、その表情の読み取りは日常
の診療に欠くことのできない重要な要素であり、テクノ
ロジー的に読み取った人間の顔の表情データを適切に画
像等に再生でき、かつ、その表情の情緒的変化をテクノ
ロジー的に適切に加工できる装置の開発が望まれてい
る。勿論、芸術の分野でも、社会生活の面でも同様であ
る。かかる点に鑑み、本発明は、 筋肉の動きや神経系接続関係などの医学的研究に基
づいて、顔の表情の要素をテクノロジー的に分類し、コ
ード化すること、つまり、表情を筋肉や神経系の因果関
係から論理的に取り扱ってコード化することにより、表
情の記録に要する情報量を、従来のアニメーション技法
における画像データに較べて数千乃至数十万分の一に減
少させ、また、その表情にかかるコードを定量化して、
従来にない表情の定量的な解析を可能にする。 そのコードの数値と筋肉の動きの相関関係を解剖学
及び筋電図の研究から導き、これに基づいて眉、目、口
等を動かすことで表情を作ることにより、従来の経験に
よる顔の作画ではなく、医学的研究に基づいて表情を発
生させ、再生される表情を自然なものにする。 顔面モデルとして、人形や三次元グラフィクスを用
いることにより、三次元的な表情の再生をも可能にす
る。 表情筋を支配する神経系の接続、表情筋群の拮抗・
協調運動関係から導かれた表情の動的モデルに従うこと
で、表情の自然な変化の時系列発生を可能にし、従来の
経験による表情変化発生に対して、医学的研究に基づい
て表情変化を発生させる。 人間の表情発生及び情緒発生の医学的研究から、表
情と情緒との間に単純な対応があることが明らかになっ
たことにより、この対応関係に基づいて情緒に対応した
表情の発生及び情緒の時間変化に応じた表情の変化を発
生させ、経験の蓄積ではなく、極めて機械的に、情緒か
ら表情を発生させる。 等々を目的とする。
【0004】
【課題を解決するための手段】本発明の基礎的な理論
は、発明者による医学の研究成果による。ここにその理
論の概要を説明する。人間の顔の表情が顔面に現れるま
でのメカニズムは、図1のブロック図で表される。その
表情は、顔面神経の支配を受ける顔面筋の活動であり、
その活動中枢は、顔面神経の中枢となる。顔面筋は、頭
部及び前頸部の皮下に存在し、その筋群は、頭部、頸部
に各一対、目の周囲、耳、鼻に各三対づつ、口唇の周囲
に十二対存在する。その中で、表情に関する主な筋を図
2に示す。これらを表情筋群と呼ぶ。これらの顔面筋
は、他の体性運動筋と同じく横紋筋であるが、骨から直
接皮膚に終着している点が特徴で、応答速度が極めて速
い。また、その表情は、動的な眼瞼、口唇及びそれに付
随する眉、髭などが開閉又は上下左右運動をして、静的
な頭部、耳、鼻などの間に相対的な位置変化をすること
で生ずる。したがって、表情の主体性は、動的な部分を
活動させる表情筋の機能にあると考えられ、これより表
情筋の動的モデルを作ることができる。つまり、動的な
部分を活動させる筋群を抽出し、協調的と拮抗的とに働
く筋群をまとめることで10群に分け、更に、口唇の筋
群を、上唇を上げる筋群、下唇を下げる筋群、口唇を閉
ざす筋群にまとめることで、表情筋群を次表の6群に分
けることができる。これら6群が表情の認識に必要な最
小限の筋群の分類になるのである。
【表1】 この6群の緊張度を数値として表すと、表情が6つの数
値からなるコードとして表現できる。これを「表情要素
コード」と呼ぶ。ところで、筋電図学的研究から、眉を
動かす皺眉筋(C)と上唇を上げる筋群(Z)とが互い
に拮抗的であること、上眼瞼と眉を上げる前頭筋(F)
と目を閉じる眼輪筋(O)とが拮抗的神経支配関係にあ
ることが知られている。これらのことからすると、6つ
の要素(筋群)を頂点とした八面体を考え、拮抗関係に
ある要素を対角要素におくことで、表情の動的モデルと
なる「表情の八面体」ができる。これを図3に示す。こ
の表情の八面体において、8つの面を構成している3要
素を操作すると、極限的な表情が現れる。これを図4に
示す。この図4で二重線は隣接する面、破線は対向する
面を意味する。また、この場合の面が示す表情は、次表
のような情緒と対応している。
【表2】 これらの代表的な情緒と表情要素の対応を次表に示す。
【表3】 この表に従えば、表情要素コードから情緒を判別でき
る。
【0005】ここにおいて、請求項1の発明は、表情発
生条件を設定する表情発生条件入力装置と、該表情発生
条件入力装置からの指示信号に従い顔面における前額、
眉、口などの可動部分の移動量、移動方向、形態変化を
計算し、表情の医学的解析に基づく表情要素コードを再
生する表情コード再生手段を備えた演算処理装置と、該
演算処理装置で再生された表情要素コードに従い顔面の
形態を再生表示するとともに、前額、眉、目、口などを
移動、変形させる表情表示装置と、から成る表情コード
の再生表示装置にある。
【0006】請求項2の発明は、表情発生条件を設定す
る表情発生条件入力装置と、該表情発生条件入力装置か
らの指示信号に従い顔面における前額、眉、目、口など
の可動部分の移動量、移動方向、形態変化を計算し、表
情の医学的解析に基づく表情要素コードを再生する表情
コード再生手段に加えて、その表情要素コードに表情の
変化の開始と終了、変化時間の要素を付与する表情の時
系列発生手段を備えた演算処理装置と、該演算処理装置
で再生され、かつ、変化の開始と終了、変化時間の要素
が付与された表情要素コードに従い顔面の形態を再生表
示するとともに、前額、眉、目、口などを移動、変形さ
せる表情表示装置と、から成る表情の加工・発生装置に
ある。
【0007】請求項3の発明は、表情発生条件を設定す
る表情発生条件入力装置と、該表情発生条件入力装置か
らの指示信号に従い顔面における前額、眉、目、口など
の可動部分の移動量、移動方向、形態変化を計算し、表
情の医学的解析に基づく表情要素コードを再生する表情
コード再生手段に加えて、その表情要素コードに情緒の
種別と大きさの要素を付与する情緒対応表情再生手段を
備えた演算処理装置と、該演算処理装置で再生され、か
つ、情緒の種別と大きさの要素が付与された表情要素コ
ードに従い顔面の形態を再生表示するとともに、前額、
眉、目、口などを移動、変形させる表情表示装置と、か
ら成る情緒・表情の加工・発生装置にある。
【0008】また、請求項4の発明は、表情発生条件を
設定する表情発生条件入力装置と、該表情発生条件入力
装置からの指示信号に従い顔面における前額、眉、目、
口などの可動部分の移動量、移動方向、形態変化を計算
し、表情の医学的解析に基づく表情要素コードを再生す
る表情コード再生手段に加えて、その表情要素コードに
表情の変化の開始と終了時の情緒の種別、大きさ、変化
時間の要素を付与する情緒の時系列変化対応表情発生手
段を備えた演算処理装置と、該演算処理装置で再生さ
れ、かつ、情緒の種別と大きさの要素が付与された表情
要素コードに従い顔面の形態を再生表示するとともに、
前額、眉、目、口などを移動、変形させる表情表示装置
と、から成る情緒・表情の加工・発生装置にある。
【0009】
【作用】如上の構成であるから、請求項1の発明にあっ
ては、表情発生条件入力装置にて所要の表情発生条件を
入力すると、該表情発生条件入力装置からの指示信号に
従い表情コード再生手段としての演算処理装置が表情の
医学的解析に基づき顔面の前額、眉、口などの可動部分
の移動量、移動方向、形態変化を計算して、表情要素コ
ードを再生し、表情表示装置がその表情要素コードに従
い顔面の形態を再生表示するとともに、前額、眉、目、
口などを適宜に移動、変形させる。
【0010】また、請求項2乃至請求項4の発明にあっ
ては、基本的には請求項1の場合と同様であるが、演算
処理装置に付加手段を有する点で異なる。すなわち、請
求項2の演算処理装置では、表情コード再生手段に加え
て表情の時系列発生手段を有するので、該表情の時系列
発生手段にて表情要素コードに表情の変化の開始と終
了、変化時間を加味させる。請求項3の演算処理装置で
は、表情コード再生手段に加えて情緒対応表情再生手段
を有するので、該情緒対応表情再生手段にて表情要素コ
ードに情緒の種別と大きさとを加味させる。請求項4の
演算処理装置では、表情コード再生手段に加えて情緒の
時系列変化対応表情発生手段を有するので、該情緒の時
系列変化対応表情発生手段にて表情要素コードに変化の
開始と終了時の情緒の種別、大きさ、変化時間を加味さ
せる。
【0011】
【実施例】図5は、請求項1の「表情コードの再生表示
装置」の発明に係る実施例を示している。図5におい
て、1は、表情発生条件を設定する表情発生条件入力装
置、2は、該表情発生条件入力装置からの指示信号に従
い顔面における前額、眉、口などの可動部分の移動量、
移動方向、形態変化を計算し、表情の医学的解析に基づ
く表情要素コードを再生する表情コード再生手段21を備
えた演算処理装置、3は、該演算処理装置で再生された
表情要素コードに従い顔面の形態を再生表示するととも
に、前額、眉、目、口などを移動、変形させる表情表示
装置である。表情発生条件入力装置1の具体的なものと
しては、キーボード、可変抵抗とA/Dコンバータの組
み合わせ、直列又は並列ディジタル入力等が考えられ
る。演算処理装置2としては、パーソナルコンピュー
タ、ワークステーションなどでよい。而して、この演算
処理装置2の表情コード再生手段21は、次のアルゴリズ
ムに支配される。 「表情要素コード再生アルゴリズム」表情要素コードの
最も単純な再生のための顔面モデルとして、図6に示す
折れ線モデルがある。これは、眉、目、口などの可動部
分を折れ線として表したものである。図の例では、52
頂点を使用して、左眉、右眉、左上眼瞼、右上眼瞼、左
下眼瞼、右下眼瞼、上唇、下唇の8本の折れ線で顔面の
可動部を表している。これらの可動部の移動は、頂点を
移動させることで行う。各頂点は、上記表1及び表2に
示したように、情緒との関連で複数の表情筋群(要素)
F,C,O,Z,M,Rに影響されており、各頂点と表
情筋群との関係は、次表のようになる。
【表4】 次に、上記各頂点の内の1点について、移動量、移動方
向の決定方法を説明する。図7に第n番目の頂点の移動
の力学モデルを示す。一端が固定されたスプリングsの
他端nを牽引する張力FANは、FAN=fAN(a)の関数で
表される。また、移動量lAN及び係数kとの間に、FAN
=k・lANの関係があることから、次式が成立する。な
お、添字のAは、表情筋群F,C,O,Z,M,Rの種
別を、また、添字のNは、各頂点を示している。
【数1】 この(1)式は、眉、目、口などの上記可動部分の折れ線
における第n番目の頂点nが表情要素コードの1つの成
分aに対して移動する移動量lANに合致する。この場
合、移動量lANは方向性を持つので、これをX成分、Y
成分からなるベクトルLANで表すと、次式のようにな
る。
【数2】 例えば、左眉における前頭筋Fによる移動は、図8のよ
うになる。この左眉の頂点1は、実際には前頭筋Fと皺
眉筋Cとの影響を受けており、その移動は図9に示すよ
うに、前頭筋Fによるベクトル移動量LF1と皺眉筋Cに
よるベクトル移動量LC1とのベクトルを加算したものと
なり、その加算移動量L1は、
【数3】 となる。そこで、それらの表情筋群F,C,O,Z,
M,Rに基づきそれぞれのベクトル成分をコード化して
表情要素コードE(f,c,o,z,m,r)とし、こ
れを(3)式に与えると、その加算移動量L1 は、下式の
ような関数として得られる。
【数4】 この4)式を頂点1の移動量の式と呼ぶ。同様にして、表
4の「各頂点と関連する筋群」の関係から、全52頂点
の移動量の式L1 〜L52が決まる。なお、表情要素コー
ドEの各成分は、0〜1.0 の値をとるものとする。
【数5】 このようにして、筋肉と眉、目、口の解剖学的及び筋電
図学的研究から、あらかじめ全頂点の移動量の式を求め
ておくと、折れ線モデルによる表情要素コード再生アル
ゴリズムのフローチャートは図10となる。すなわち、
眉、目、口において、全頂点の移動量の式LN に表情要
素コードを代入して移動量を求め、これに従って各頂点
を移動させるとともに、頂点間を線分で結び、表情画像
を出力するのである。表情表示装置3としては、顔面の
模型、コンピュータグラフィックスなどで実現する。二
次元モデル、三次元モデルのいずれでも可能である。
【0012】図11は、請求項2の「表情の加工・発生
装置」の発明に係る実施例を示している。この装置は、
前例のものにおいて、演算処理装置2に、表情発生条件
入力装置1からの指示信号に従い顔面における前額、
眉、目、口などの可動部分の移動量、移動方向、形態変
化を計算し、表情の医学的解析に基づく表情要素コード
を再生する表情コード再生手段21を備えるだけでなく、
これに加えて、その表情要素コードに表情の変化の開始
と終了、変化時間の要素を付与する表情の時系列発生手
段22を備えている。而して、この演算処理装置2におけ
る表情の時系列発生手段22は、次のアルゴリズムに支配
される。 「表情の時系列変化発生アルゴリズム」表情の変化は、
図3に示す表情の八面体の表面に沿って発生する。表情
の八面体上の位置変化を、正規八面体上での位置変化と
八面体の大きさの変化に分けることで具体化した場合の
処理手順を図12に示す。なお、正規八面体とは、全頂
点が1つの球に接する八面体で、その球の半径dを1と
したもの、すなわち、各成分の値を1とした表情の八面
体をいう。また、八面体の大きさの変化とは、その球の
半径dをいう。以下、その処理手順を順に説明する。 開始時・終了時の表情要素コードからその表面に持
つ表情の八面体の大きさをそれぞれ算出する。これをd
S,dE とする。 算出したdS,dE の値を用いて、正規八面体上の開
始位置、停止位置を算出する。 正規八面体の面に沿った最短ルートを算出する。 開始から終了までの変化時間と時系列間隔からコマ
数を算出し、1コマごとの正規八面体での位置変化、八
面体の大きさ変化を割り出す。 正規八面体上の位置と八面体の大きさを開始値にす
る。 正規八面体上での位置を八面体の現在の大きさで補
正して表情要素コードを得る。 表情要素コード再生する。つまり、ここでは、前例
の表情コード再生手段1で再生される表情要素コードと
同質のものとなっている。 正規八面体上での位置を変化させ、かつ、大きさを
変化させる。
【0013】図13は、請求項3の「情緒・表情の加工
・発生装置」の発明に係る実施例を示している。この装
置は、請求項1の実施例において、演算処理装置2に、
表情発生条件入力装置1からの指示信号に従い顔面にお
ける前額、眉、目、口などの可動部分の移動量、移動方
向、形態変化を計算し、表情の医学的解析に基づく表情
要素コードを再生する表情コード再生手段21を備えるだ
けでなく、これに加えて、その表情要素コードに情緒の
種別と大きさの要素を付与する情緒対応表情再生手段23
を備えている。而して、この演算装置2における情緒対
応表情再生手段23は、次のアルゴリズムに支配される。 「情緒を基にした表情の発生アルゴリズム」情緒を表情
に変換するには、図4を用い、指定する情緒と構成要素
の対応は、前記表2に従う。 (1) 表情要素の重み付け 表情要素コードに対する重み付けは次のようにする。 表情要素コードxに対して、 主要素 ++ 3k・x 従属要素 + k・x 拮抗要素 (−) k・(1−x) k:1/6を意味する。 (2) 情緒変換式 上記表情要素の重み付けと前記表2から、各情緒の量を
計算する式が求められる。
【数6】 これを情緒変換式と呼ぶ。 (3) 情緒変換式から表情要素コードを求める。いずれか
の情緒を選択して、情緒の量を与える。すなわち、情緒
変換式とその左辺が決定したことになる。このとき、表
情要素間の関係式が与えられれば、表情要素コードが決
定する。そこで、情緒変換式の各項要素が同じ大きさと
過程して表情要素コードを求める。例として、happ
yを用いた場合を示すと次の通りである。 例 種別:happy 大きさ:0.5
【数7】 情緒の種別と大きさから表情を発生するアルゴリズムの
フローチャートを図14に示す。すなわち、対応する表
4から構成要素を判別し、これに情緒の大きさを乗じて
表情要素コードとし、該表情要素コード再生を行う。
【0013】図15は、請求項4の「情緒・表情の加工
・発生装置」の発明に係る実施例を示している。この装
置は、前述の請求項1の実施例において、演算処理装置
2に、表情発生条件入力装置1からの指示信号に従い顔
面における前額、眉、目、口などの可動部分の移動量、
移動方向、形態変化を計算し、表情の医学的解析に基づ
く表情要素コードを再生する表情コード再生手段21を備
えるだけでなく、これに加えて、その表情要素コードに
表情の変化の開始と終了時の情緒の種別、大きさ、変化
時間の要素を付与する情緒の時系列変化対応表情発生手
段24を備えている。而して、この演算処理装置2におけ
る情緒の時系列変化対応表情発生手段24は、次のアルゴ
リズムに支配される。 「情緒の変化に対応した表情の時系列変化発生アルゴリ
ズム」図16に情緒の変化に対応した表情の時系列変化
発生のアルゴリズムのフローチャートを示す。表情の発
生条件として、開始、終了時の情緒の種別と、大きさ
と、時間を与える。これを、上記「情緒を基にした表情
の発生アルゴリズム」にて処理し、開始、終了時の表情
要素コードを算出する。算出された表情要素コードに対
して上記「表情の時系列変化発生アルゴリズム」を用い
る。
【0015】
【発明の効果】本発明によれば、 人間の顔の表情を筋肉や神経系の因果関係から論理
的に取り扱って、表情の要素をテクノロジー的に分類
し、コード化することができ、これにより、表情の記録
に要する情報量を、従来のアニメーション技法における
画像データに較べて数千乃至数十万分の一に減少させる
ことができる。また、その表情にかかるコードを定量化
することにより、従来にない表情の定量的な解析を可能
にすることができる。 顔面再生画像において、解剖学及び筋電図の研究か
ら導き出されたその表情要素コードの数値と筋肉の動き
の相関関係に基づいて眉、目、口等を動かすことで任意
にかつ人工的に表情を作ることができ、これにより、従
来の経験による顔の作画ではなく、医学的研究に基づい
た適正な表情を発生させることができ、再生される表情
を自然なものにできる。 顔面モデルとして、人形や三次元グラフィクスを用
いることにより三次元的な表情の再生をも可能にするこ
とができる。 表情筋を支配する神経系の接続、表情筋群の拮抗・
協調運動関係から導かれた表情の動的モデルに従うこと
で、顔面再生画像、その他の顔面モデルにおいて、表情
の自然な変化の時系列発生を可能にでき、従来の経験に
よる表情変化の発生ではなく、医学的研究に基づいた適
正な表情変化を発生させることができる。 顔面再生画像、その他の顔面モデルにおいて、人間
の顔の表情と情緒との間の単純な対応関係に基づいて情
緒に対応した表情を発生させることができ、かつ、情緒
の時間変化に応じた表情の変化を発生させることがで
き、経験の蓄積からではなく、極めて機械的に、情緒か
ら表情を発生させることができる。 等々の優れた効果を奏し、所期の目的を達成することが
できる。
【0014】また、本発明には、下記のような応用が考
えられる。 (1) ゲームソフト及びアニメーションへの応用 ゲームソフトに近年多様されているアニメーションで
は、従来は1コマごとに画像が必要であった。これが表
情要素コードのみの記憶となり、顔面のアニメーション
に関しては従来の数千乃至数十万分の1の情報量とな
る。更に、表情の時系列変化発生装置を用いれば、人間
らしい自然な表情を発生させることができ、リアリティ
のあるアニメーションが作成できる。 (2) 自然な表情を持った人形 人形劇に使用される人形に、簡単に表情が作れ、しか
も、自然な表情変化を持たせることができる。 (3) 表情及び情緒の実験装置 人間の情緒発生の研究、精神疾患と表情の関連研究、コ
ミュニケーション手段としての表情機能の研究など、従
来定性的にしか研究されていなかった表情、情緒を定量
化して研究することができる。 (4) 表情トレーニング教材 表情トレーニングのプログラムに従って各種の表情変化
を発生させ、表情トレーニングの教材とする。 (5) ストレス解消装置 楽しい、嬉しい、安らぎ、爽快などの情緒に応じた表情
の変化を一定周期で発生させ、それを見ることでストレ
スを解消し、情緒を安定させる装置を造ることができ
る。
【図面の簡単な説明】
【図1】本発明に係る人間の情緒表現機構内部モデルを
示すブロック図である。
【図2】本発明に係る人間の顔の表情筋群を示す図であ
る。
【図3】本発明に係る人間の顔の表情の八面体を示す図
である。
【図4】本発明に係る人間の顔の表情のイメージパター
ンとその近親又は拮抗関係を示す図である。
【図5】請求項1の「表情コードの再生表示」の発明に
係る実施例を示すブロック図である。
【図6】同例の顔全体の折線モデルを示す図である。
【図7】同例の可動部の力学モデルを示す図である。
【図8】同例の眉の折線モデルと移動量を示す図であ
る。
【図9】同例の1頂点の移動量を示す図である。
【図10】同例の表情要素コード再生フローチャートで
ある。
【図11】請求項2の「表情の加工・発生装置」の発明
に係る実施例を示すブロック図である。
【図12】同例の表情の時系列変化発生フローチャート
である。
【図13】請求項3の「情緒・表情の加工・発生装置」
の発明に係る実施例を示すブロック図である。
【図14】同例の情緒対応表情発生フローチャートであ
る。
【図15】請求項4の「情緒・表情の加工・発生装置」
の発明に係る実施例を示すブロック図である。
【図16】同例の情緒の時系列変化対応表情発生フロー
チャートである。
【符号の説明】
1 表情発生条件入力装置 11 表情コード再生手段 12 表情の時系列発生手段 13 表情対応表情再生手段 14 情緒の時系列変化対応表情発生手段 2 演算処理装置 3 表情表示装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 古野 陽一 福岡県北九州市戸畑区中原西2丁目15−15 日神パレステージ九工大603号

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 表情発生条件を設定する表情発生条件入
    力装置と、該表情発生条件入力装置からの指示信号に従
    い顔面における前額、眉、口などの可動部分の移動量、
    移動方向、形態変化を計算し、表情の医学的解析に基づ
    く表情要素コードを再生する表情コード再生手段を備え
    た演算処理装置と、該演算処理装置で再生された表情要
    素コードに従い顔面の形態を再生表示するとともに、前
    額、眉、目、口などを移動、変形させる表情表示装置
    と、から成ることを特徴とする表情コードの再生表示装
    置。
  2. 【請求項2】 表情発生条件を設定する表情発生条件入
    力装置と、該表情発生条件入力装置からの指示信号に従
    い顔面における前額、眉、目、口などの可動部分の移動
    量、移動方向、形態変化を計算し、表情の医学的解析に
    基づく表情要素コードを再生する表情コード再生手段に
    加えて、その表情要素コードに表情の変化の開始と終
    了、変化時間の要素を付与する表情の時系列発生手段を
    備えた演算処理装置と、該演算処理装置で再生され、か
    つ、変化の開始と終了、変化時間の要素が付与された表
    情要素コードに従い顔面の形態を再生表示するととも
    に、前額、眉、目、口などを移動、変形させる表情表示
    装置と、から成ることを特徴とする表情の加工・発生装
    置。
  3. 【請求項3】 表情発生条件を設定する表情発生条件入
    力装置と、該表情発生条件入力装置からの指示信号に従
    い顔面における前額、眉、目、口などの可動部分の移動
    量、移動方向、形態変化を計算し、表情の医学的解析に
    基づく表情要素コードを再生する表情コード再生手段に
    加えて、その表情要素コードに情緒の種別と大きさの要
    素を付与する情緒対応表情再生手段を備えた演算処理装
    置と、該演算処理装置で再生され、かつ、情緒の種別と
    大きさの要素が付与された表情要素コードに従い顔面の
    形態を再生表示するとともに、前額、眉、目、口などを
    移動、変形させる表情表示装置と、から成ることを特徴
    とする情緒・表情の加工・発生装置。
  4. 【請求項4】 表情発生条件を設定する表情発生条件入
    力装置と、該表情発生条件入力装置からの指示信号に従
    い顔面における前額、眉、目、口などの可動部分の移動
    量、移動方向、形態変化を計算し、表情の医学的解析に
    基づく表情要素コードを再生する表情コード再生手段に
    加えて、その表情要素コードに表情の変化の開始と終了
    時の情緒の種別、大きさ、変化時間の要素を付与する情
    緒の時系列変化対応表情発生手段を備えた演算処理装置
    と、該演算処理装置で再生され、かつ、情緒の種別と大
    きさの要素が付与された表情要素コードに従い顔面の形
    態を再生表示するとともに、前額、眉、目、口などを移
    動、変形させる表情表示装置と、から成ることを特徴と
    する情緒・表情の加工・発生装置。
JP4213734A 1992-07-17 1992-07-17 表情要素コードの再生表示及び情緒・表情の加工・発生装置 Expired - Fee Related JP2648682B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4213734A JP2648682B2 (ja) 1992-07-17 1992-07-17 表情要素コードの再生表示及び情緒・表情の加工・発生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4213734A JP2648682B2 (ja) 1992-07-17 1992-07-17 表情要素コードの再生表示及び情緒・表情の加工・発生装置

Publications (2)

Publication Number Publication Date
JPH0676044A true JPH0676044A (ja) 1994-03-18
JP2648682B2 JP2648682B2 (ja) 1997-09-03

Family

ID=16644124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4213734A Expired - Fee Related JP2648682B2 (ja) 1992-07-17 1992-07-17 表情要素コードの再生表示及び情緒・表情の加工・発生装置

Country Status (1)

Country Link
JP (1) JP2648682B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133445A (ja) * 2000-10-30 2002-05-10 Namco Ltd 画像処理装置、画像処理方法および情報記憶媒体
JP2002236759A (ja) * 2001-02-08 2002-08-23 New Industry Research Organization 遠隔看護システム
JP2008515113A (ja) * 2004-10-01 2008-05-08 ソニー ピクチャーズ エンターテイメント インコーポレーテッド コンピュータグラフィックスアニメーション用に顔面筋および眼球の運動を追跡するためのシステムおよび方法
US7668401B2 (en) 2003-09-03 2010-02-23 Nec Corporation Form changing device, object action encoding device, and object action decoding device
JP2015054240A (ja) * 2013-09-13 2015-03-23 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation コンテンツ評価システム及びそれを用いたコンテンツ評価方法
RU2700537C1 (ru) * 2019-02-04 2019-09-17 Общество с ограниченной ответственностью "КВАРТА ВК" Способ определения эмоционального состояния человека

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
COMPUTER GRAPHICS=1987 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133445A (ja) * 2000-10-30 2002-05-10 Namco Ltd 画像処理装置、画像処理方法および情報記憶媒体
JP2002236759A (ja) * 2001-02-08 2002-08-23 New Industry Research Organization 遠隔看護システム
US7668401B2 (en) 2003-09-03 2010-02-23 Nec Corporation Form changing device, object action encoding device, and object action decoding device
JP2008515113A (ja) * 2004-10-01 2008-05-08 ソニー ピクチャーズ エンターテイメント インコーポレーテッド コンピュータグラフィックスアニメーション用に顔面筋および眼球の運動を追跡するためのシステムおよび方法
JP2015054240A (ja) * 2013-09-13 2015-03-23 エヌエイチエヌ エンターテインメント コーポレーションNHN Entertainment Corporation コンテンツ評価システム及びそれを用いたコンテンツ評価方法
US10188338B2 (en) 2013-09-13 2019-01-29 Nhn Entertainment Corporation Content evaluation system and content evaluation method using the system
US10206615B2 (en) 2013-09-13 2019-02-19 Nhn Entertainment Corporation Content evaluation system and content evaluation method using the system
RU2700537C1 (ru) * 2019-02-04 2019-09-17 Общество с ограниченной ответственностью "КВАРТА ВК" Способ определения эмоционального состояния человека

Also Published As

Publication number Publication date
JP2648682B2 (ja) 1997-09-03

Similar Documents

Publication Publication Date Title
Sifakis et al. Simulating speech with a physics-based facial muscle model
Essa Analysis, interpretation and synthesis of facial expressions
CN113781610B (zh) 一种虚拟人脸的生成方法
Kuratate et al. Kinematics-based synthesis of realistic talking faces
Morishima et al. Emotion space for analysis and synthesis of facial expression
US11270487B1 (en) Systems and methods for improving animation of computer-generated avatars
Ma et al. Accurate automatic visible speech synthesis of arbitrary 3D models based on concatenation of diviseme motion capture data
Pelachaud et al. Final report to NSF of the standards for facial animation workshop
Li et al. A survey of computer facial animation techniques
JPH0676044A (ja) 表情コードの再生表示及び情緒・表情の加工・発生装置
Morishima Modeling of facial expression and emotion for human communication system
King A facial model and animation techniques for animated speech
Waters The computer synthesis of expressive three-dimensional facial character animation.
Sera et al. Physics-based muscle model for mouth shape control
JP2002304638A (ja) 表情アニメーション生成装置および表情アニメーション生成方法
Wang Langwidere: a hierarchical spline based facial animation system with simulated muscles.
Haber et al. Facial modeling and animation
GOMI et al. A Physiolo ically Based Mo el of Perioral Dynamics for Various Lip Deformations in Speech Articulation
Breen et al. An investigation into the generation of mouth shapes for a talking head
Kalberer et al. Lip animation based on observed 3D speech dynamics
Park et al. A feature‐based approach to facial expression cloning
Morishima et al. Speech-to-image media conversion based on VQ and neural network
Pourebadi et al. Stroke modeling and synthesis for robotic and virtual patient simulators
Legde Projecting motion capture: designing and implementing a modular and flexible facial animation pipeline to evaluate different perceptual effects
Johnson Improved Facial Realism through an Enhanced Representation of Anatomical Behavior in Sign Language Avatars

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080516

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 12

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees