JPH11249636A - 表情画像再生装置及び表情画像再生方法 - Google Patents

Abstract

(57)【要約】 【課題】 表情表現により情報を呈示するための表情画
像再生装置及び方法に関し、各表情画像を記憶するため
の記憶容量を削減する。 【解決手段】 基本的表情画像を構成する基本フレーム
から他の表情画像を構成する従属フレームを再生する。
表情画像再生装置は、基本的表情画像の各部分パターン
の形状、位置を示す基本フレームのデータと、他の表情
画像を構成する各部分パターンを構成する複数の変化点
間の相対位置関係を示す従属フレームのデータとを記憶
する記憶手段６と、指定された表情に対応する従属フレ
ームの変化点間の相対位置関係と、基本フレームのデー
タとから従属フレームの表情画像を再生する再生手段５
とを有する。従属フレームのデータを削減できるため、
基本フレームと従属フレームを含む表情画像の記憶に要
する記憶容量を削減できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表情表現により情
報を呈示するための表情画像再生装置及びその方法に関
し、特に顔画像により表情表現するための表情画像再生
装置及びその方法に関する。

【０００２】パソコン等のコンピュータにおいて、コマ
ンド、ワーニング、ヘルプ等のコマンドを、文字情報に
より出力することが行われている。しかしながら、感情
情報や程度の情報を呈示する場合には、文字情報では、
不適当である。

【０００３】そこで、顔画像により表情表現することが
行われている。例えば、２次元のデフォルメーションさ
れた顔画像を変化して、感情や程度の表示に用いる。こ
のデフォルメーションされた顔画像により、システムの
状況や、問題に対するヒント、操作の指示等を示すこと
ができる。

【０００４】このような表情画像再生には、多種多様の
表情画像を作成することが求められている。

【０００５】

【従来の技術】図１１及び図１２は、従来技術の説明図
である。

【０００６】図１１は、笑いという表情を示している。
この笑いという表現を示すには、単位表情Ｆ０から単位
表情Ｆ１、Ｆ２、Ｆ３を経て単位表情Ｆｎに到るｎフレ
ームの表情画像が必要である。この表情画像を登録する
には、各単位表情をセル画に描く。コンピュータは、こ
のセル画を読み取り、メモリに登録する。

【０００７】そして、再生時には、この記憶された各フ
レームの画像を読み出し、再生していた。この時、従来
は、セル画の画像は、ドット分解され、ドットで記憶さ
れていた。

【０００８】又、図１２に示すように、顔の特徴は、
目、鼻、口という各部分パターンにより表現される。こ
の顔を示す各部分（目、鼻、口）の位置を指定する方法
も知られている。この方法では、顔の各部分パターン
（目、鼻、口）の位置ＥＳＯ、ＥＮＳＯ、ＭＮＳＯ、Ｍ
ＷＯを指定して、顔の表情を変化するものであった。

【０００９】

【発明が解決しようとする課題】従来のドットによる記
憶の方法では、セル画を正確に再生できる。しかし、一
連のフレームからなる表情画像を記憶するために、膨大
な記憶容量が必要であるという問題があった。

【００１０】又、図１２に示したような制御の方法で
は、部分パターン（目、口、鼻）の位置は変化すること
ができるが、図１１に示すように、目や口の形を変化す
るという表情を表現することができない。従って、多様
な表情表現が困難であるという問題があった。

【００１１】本発明の目的は、各表情画像を記憶するた
めの記憶容量を削減することができる表情画像再生装置
及びその方法を提供するにある。

【００１２】本発明の他の目的は、多種、多彩な表情を
少ない記憶容量で表現することができる表情画像再生装
置及びその方法を提供することにある。

【００１３】

【課題を解決するための手段】この目的の達成のため、
本発明の表情画像再生装置は、基本的表情画像を構成す
る基本フレームから他の表情画像を構成する従属フレー
ムを再生する。そして、その表情画像再生装置は、基本
的表情画像の各部分パターンの形状、位置を示す基本フ
レームのデータと、他の表情画像を構成する各部分パタ
ーンを構成する複数の変化点間の相対位置関係を示す従
属フレームのデータとを記憶する記憶手段と、指定され
た表情に対応する従属フレームの変化点間の相対位置関
係と、基本フレームのデータとから従属フレームの表情
画像を再生する再生手段とを有する。

【００１４】本発明では、表情画像の従属フレームを基
本フレームから再生するようにした。このため、基本フ
レームでは、基本的表情画像の各部分パターンの形状、
位置を記憶する。従属フレームでは、他の表情画像を構
成する各部分パターンを構成する複数の変化点間の相対
位置関係を記憶する。そして、従属フレームでは、従属
フレームの変化点間の相対位置関係と、基本フレームの
データとから従属フレームの表情画像を再生する。

【００１５】このようにすると、従属フレームの記憶デ
ータは、変化点の相対位置関係を示すデータのみのた
め、従属フレームの表情画像を記憶する記憶容量を大幅
に削減できる。又、表情画像の部分パターンの変化点を
使用するため、多種多様な表情の表現が可能となる。

【００１６】

【発明の実施の形態】図１は、本発明の一実施の形態の
ブロック図、図２は、図１の登録処理フロー図、図３
は、単位表情の説明図、図４は、図２の表情データの説
明図、図５乃至図８は、表情遷移データの説明図、図９
は、図１の再生処理フロー図である。

【００１７】図１に示すように、画像入力ユニット１
は、アニメーターにより描かれたセル画等の画像を入力
する。表示ユニット２は、入力された画像及び再生画像
を表示する。座標入力ユニット３は、表示された画像の
変化点等を入力する。入力ユニット４は、変化点の属
性、コマンド等を入力する。

【００１８】処理ユニット５は、プロセッサで構成され
ている。処理ユニット５は、後述する登録処理及び再生
処理を実行する。このため、処理ユニット５は、表情画
像の変化点を抽出する変化点抽出部５１と、変化点間の
関数を計算する変化点関数計算部５２と、表情データの
記憶テーブルを作成するテーブル作成部５３と、画像を
再生する画像再生部５４とを、機能として有する。記憶
ユニット６は、作成された表情データを記憶する。

【００１９】図２に従い、登録処理について、説明す
る。ここで、図３で示すＮ個の単位画像Ｆ０〜Ｆｎで構
成された笑いの表情画像を用いて説明する。図３の例で
は、各顔画像は、２つの目と１つの口で表現されてい
る。

【００２０】（Ｓ１）デフォルメされた各顔画像のセル
画を用意する。例えば、笑いの表情として、図３に示す
単位表情Ｆ０〜Ｆｎの各画像のセル画を用意する。そし
て、画像入力ユニット１により、これらセル画を入力し
て、各フレームの画像を得る。

【００２１】（Ｓ２）表示ユニット２に、各フレームの
画像を表示する。

【００２２】（Ｓ３）入力ユニット４からキーフレーム
（基本フレーム）を指定する。そして、入力ユニット４
から表情名を入力する。図３の場合には、キーフレーム
は、単位表情Ｆ０であり、表情名は、笑いである。

【００２３】（Ｓ４）キーフレームに指定された画像処
理かを判定する。

【００２４】（Ｓ５）キーフレームであれば、キーフレ
ームの画像を表示する。そして、オペレータは、表情画
像の各部分パターンの変化点を、座標入力ユニット３に
より指定する。オペレータは、更に、入力ユニット４に
より、部分画像の属性を入力する。そして、図４に示す
キーフレームのデータＦ０ｄを作成する。

【００２５】図３及び図４に従い、説明する。図３に示
すように、単位表情Ｆ０の２つの目を各々４点の変化点
（Ｘ１０〜Ｘ８０）で表し、口を４点の変化点（Ｘ９０
〜１２０）で表すものとする。図３の第１の目（部分パ
ターン）の変化点Ｘ１０の座標が入力され、部分画像の
属性が、「ＥＹＥ１」と入力され、次の変化点Ｘ２０と
の接続線の種類が、「楕円」と入力される。図４に示す
ように、変化点Ｘ１０に対し、その座標、属性、接続線
の種類が、登録される。

【００２６】同様にして、第１の目の変化点Ｘ２０、Ｘ
３０、Ｘ４０の座標が入力され、部分画像の属性が、
「ＥＹＥ１」と入力され、次の変化点との接続線の種類
が、「楕円」と入力される。図４に示すように、変化点
Ｘ２０、３０、４０に対し、その座標、属性、接続線の
種類が、登録される。

【００２７】次に，第２の目の変化点Ｘ５０、Ｘ６０、
Ｘ７０、Ｘ８０の座標が入力され、部分画像の属性が、
「ＥＹＥ２」と入力され、次の変化点との接続線の種類
が、「楕円」と入力される。図４に示すように、変化点
Ｘ５０、６０、７０、８０に対し、その座標、属性、接
続線の種類が、登録される。

【００２８】更に、口の変化点Ｘ９０、Ｘ１００、Ｘ１
１０、Ｘ１２０の座標が入力され、部分画像の属性が、
「ＭＯＵＳＥ」と入力され、次の変化点との接続線の種
類が、「４線平滑」と入力される。図４に示すように、
変化点Ｘ９０、１００、１１０、１２０に対し、その座
標、属性、接続線の種類が、登録される。

【００２９】このようにして、キーフレームのデータＦ
０ｄが作成される。

【００３０】（Ｓ６）キーフレームでなければ、そのフ
レームの画像を表示する。そして、オペレータは、表情
画像の各部分パターンの変化点を、座標入力ユニット３
により指定する。この変化点の間の関数を計算して、図
４に示す各従属フレームの表情遷移データＦ１ｄ〜Ｆｎ
ｄを作成する。

【００３１】図５乃至図８の表情遷移データの説明図に
より、説明する。図５乃至図８に示すように、基本フレ
ームの変化点の取り方と同様に、各単位表情Ｆ１〜Ｆｎ
の２つの目を各々４点の変化点（Ｘ１１〜Ｘ８ｎ）で表
し、口を４点の変化点（Ｘ９１〜１２ｎ）で表す。

【００３２】図５乃至図８に示すように、各単位表情Ｆ
１〜Ｆｎに対し、固定点を指定する。ここでは、固定点
を、第１の目の変化点Ｘ１１〜Ｘ１ｎに設定している。
そして、各変化点の位置データは、固定点からのベクト
ル（距離、方向）で表す。

【００３３】例えば、図５の単位表情Ｆ１の表情遷移デ
ータＦ１ｄでは、固定点Ｘ１１のデータは、基本フレー
ム（単位表情）Ｆ０の変化点Ｘ１０に取る。そして、変
化点Ｘ２１〜Ｘ１２１の位置は、固定点Ｘ１１からのベ
クトルＸ１１・Ｘ２１〜Ｘ１１・Ｘ１２１で表示する。

【００３４】同様に、図６、図７の単位表情Ｆ２、Ｆ３
の表情遷移データＦ２ｄ、Ｆ３ｄでは、固定点Ｘ１２、
Ｘ１３のデータは、基本フレーム（単位表情）Ｆ０の変
化点Ｘ１０に取る。そして、変化点Ｘ２２〜Ｘ１２２、
Ｘ２３〜Ｘ１２３の位置は、固定点Ｘ１２、Ｘ１３から
のベクトルＸ１２・Ｘ２２〜Ｘ１２・Ｘ１２２、Ｘ１３
・Ｘ２３〜Ｘ１３・Ｘ１２３で表示する。

【００３５】更に、図８の単位表情Ｆｎの表情遷移デー
タＦｎｄでは、固定点Ｘ１ｎのデータは、基本フレーム
（単位表情）Ｆ０の変化点Ｘ１０に取る。そして、変化
点Ｘ２ｎ〜Ｘ１２ｎの位置は、固定点Ｘ１ｎからのベク
トルＸ１ｎ・Ｘ２ｎ〜Ｘ１ｎ・Ｘ１２ｎで表示する。

【００３６】これらは、変化点の位置を入力する毎に、
処理ユニット５が、固定点の位置からの距離及び方向を
計算して、ベクトル（関数）が計算される。このように
して、各単位表情Ｆ１〜Ｆｎの表情遷移データ（変化点
関数）が作成される。

【００３７】（Ｓ７）次に、入力が終了していないと、
ステップＳ４に戻る。又、入力が終了すると、ステップ
Ｓ８に進む。

【００３８】（Ｓ８）処理ユニット５は、キーフレーム
Ｆ０のデータＦ０ｄを、記憶ユニット６に格納する。
又、処理ユニット５は、各単位表情の表情遷移データ
（変化点関数）Ｆ１ｄ〜Ｆｎｄを、記憶ユニット６に格
納する。更に、処理ユニット５は、構成フレーム数、キ
ーフレーム番号を、記憶ユニット６に格納する。

【００３９】このようにして、図４に示すように、図３
の表情画像（笑い）の関数テーブルが、作成される。こ
の関数テーブルにおいては、キーフレームの画像データ
は、それ自体で、キーフレームの画像を再生できる。そ
して、従属フレームの画像は、キーフレームの画像デー
タを参照して、再生できる。この従属フレームのデータ
は、変化点間の相対位置を示す関数（ベクトル）で表現
されている。変化点のデータのみを格納し、且つその相
対位置を格納するので、従属フレームの画像の格納に必
要とする記憶容量が大幅に削減できる。

【００４０】即ち、複雑な顔画像は、変化点とその接続
関係で表現される。そして、従属フレームは、基本フレ
ームのデータを基に、変化点の相対位置関係で表現され
る。このため、複雑な表情も、少ない記憶容量で、表現
が可能である。従って、少ない記憶容量で、多様な表情
の表現が可能となる。

【００４１】図９に従い、再生処理について、説明す
る。

【００４２】（Ｓ１０）再生すべき表情名を入力する。
処理ユニット５は、記憶ユニット６からその表情名の関
数テーブル（図３参照）を読みだす。

【００４３】（Ｓ１１）関数テーブルのキーフレームの
データＦ０ｄから、キーフレームＦ０を再生する。キー
フレームのデータは、各変化点の座標と、その属性、接
続関係を規定している。従って、属性に従い、各変化点
を、接続線の種類で接続することにより、キーフレーム
を再生できる。

【００４４】（Ｓ１２）次に、各従属フレームの変化点
の位置を計算する。図４に示したように、各従属フレー
ムのデータは、固定点の位置と、変化点間の相対位置関
係（ベクトル）で規定されている。このため、各変化点
の絶対位置は、固定点の位置と、その位置からの相対ベ
クトルから計算することができる。

【００４５】（Ｓ１３）そして、各従属フレームの画像
データは、キーフレームの属性、接続関係を使用して、
再生する。即ち、従属フレームの計算された変化点を、
キーフレームの属性に従い、接続線の種類で接続するこ
とにより、従属フレームを再生する。これを各従属フレ
ームにより行うことにより、各従属フレームの画像を再
生する。

【００４６】このようにして、表情名に対応するキーフ
レームと従属フレームとを再生することができる。この
ようにして、キーフレームを再生した後、従属フレーム
を、キーフレームのデータを使用して、再生する。この
ため、従属フレームのデータを、固定点からの相対位置
関係で表しても、従属フレームの画像を再生することが
できる。

【００４７】ここで、従属フレームの変化点の位置を、
そのフレームの画像の固定点との相対位置で示してい
る。このため、再生時に、従属フレームの固定点の座標
のみからその従属フレームの各変化点の座標を計算する
ことができる。従って、再生に要する時間を短縮するこ
とができる。

【００４８】図１０は、本発明の他の実施の態様の説明
図である。

【００４９】図１０では、図３の例に比し、顔画像の重
心位置に、重心点Ｙｆを加えている。そして、各変化点
Ｘ１ｎ〜Ｘ１２ｎの位置は、重心点Ｙｆからの相対位置
（ベクトル）で表す。

【００５０】このようにすると、各単位表情Ｆ０〜Ｆｎ
で、重心点Ｙｆの位置は、変わらないから、単位画像の
登録時に、キーフレームの変化点の位置を参照しなくて
も、各従属フレームの画像データを作成することができ
る。従って、登録処理が簡易となり、登録処理速度を向
上できる。

【００５１】又、各変化点Ｘ１ｎ〜Ｘ１２ｎの位置を、
部分パターンの曲率最大の位置とする。このようにする
と、登録処理時に、部分パターンの輪郭から自動的に変
化点を抽出することができる。即ち、変化点をオペレー
タが入力する手間を省くことができる。実際の表情画像
は、多数の変化点で構成されているため、変化点の入力
を省略できることは、極めて有効な方法である。

【００５２】上述の実施の態様の他に、本発明は、次の
ような変形が可能である。

【００５３】(1) 前述の実施の態様では、表情画像とし
て、笑いを例に説明したが、その他の表情画像も同様に
して、登録、再生できる。

【００５４】(2) 又、キーフレームのデータとして、変
化点の座標と、その属性、接続関係で示したが、その他
に、各変化点間の座標等を設けても良い。

【００５５】以上、本発明を実施の形態により説明した
が、本発明の主旨の範囲内で種々の変形が可能であり、
これらを本発明の範囲から排除するものではない。

【００５６】

【発明の効果】以上説明したように、本発明によれば、
次の効果を奏する。

【００５７】(1) 従属フレームでは、従属フレームの変
化点間の相対位置関係と、基本フレームのデータとから
従属フレームの表情画像を再生するので、従属フレーム
の記憶データは、変化点の相対位置関係を示すデータの
みで済む。このため、従属フレームの表情画像を記憶す
る記憶容量を大幅に削減できる。

【００５８】(2) 又、従属フレームでは、表情画像の部
分パターンの変化点を使用するため、多種多様な表情の
表現が可能となる。

【００５９】(3) 従属フレームの変化点の位置を、その
フレームの画像の固定点からの相対位置で示している。
このため、再生時に、従属フレームの固定点の座標のみ
からその従属フレームの各変化点の座標を計算すること
ができ、再生に要する時間を短縮することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態のブロック図である。

【図２】図１の構成による登録処理フロー図である。

【図３】図２の処理の説明のための単位表情の説明図で
ある。

【図４】図２の表情データの説明図である。

【図５】図４の表情遷移データの説明図（その１）であ
る。

【図６】図４の表情遷移データの説明図（その２）であ
る。

【図７】図４の表情遷移データの説明図（その３）であ
る。

【図８】図４の表情遷移データの説明図（その４）であ
る。

【図９】図１の構成による再生処理フロー図である。

【図１０】本発明の他の実施の態様の説明図である。

【図１１】従来技術の説明図（その１）である。

【図１２】従来技術の説明図（その２）である。

【符号の説明】

１ 画像入力ユニット ２ 表示ユニット ３ 座標入力ユニット ４ 入力ユニット ５ 処理ユニット ６ 記憶ユニット ５１ 変化点抽出部 ５２ 関数計算部 ５３ テーブル作成部 ５４ 画像再生部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 基本的表情画像を構成する基本フレーム
   から他の表情画像を構成する従属フレームを再生する表
   情画像再生装置において、 前記基本的表情画像の各部分パターンの形状、位置を示
   す基本フレームのデータと、他の表情画像を構成する各
   部分パターンを構成する複数の変化点間の相対位置関係
   を示す従属フレームのデータとを記憶する記憶手段と、 指定された表情に対応する従属フレームの変化点間の相
   対位置関係と、前記基本フレームのデータとから前記従
   属フレームの表情画像を再生する再生手段とを有するこ
   とを特徴とする表情画像再生装置。
2. 【請求項２】 請求項１の表情画像再生装置において、 前記記憶手段の前記基本フレームのデータは、前記基本
   的表情画像の各部分パターンを構成する複数の変化点の
   位置と、前記変化点間の接続関係とで構成されることを
   特徴とする表情画像再生装置。
3. 【請求項３】 請求項２の表情画像再生装置において、 前記記憶手段の前記従属フレームのデータは、前記他の
   表情画像の不動点に対する可動点の相対位置関係により
   構成されることを特徴とする表情画像再生装置。
4. 【請求項４】 請求項３の表情画像再生装置において、 前記記憶手段の前記従属フレームのデータは、前記不動
   点を前記基本フレームの変化点の位置で構成することを
   特徴とする表情画像再生装置。
5. 【請求項５】 請求項１の表情画像再生装置において、 前記記憶手段の従属フレームのデータは、前記変化点間
   の距離及び方向で示された相対位置関係を記憶すること
   を特徴とする表情画像再生装置。
6. 【請求項６】 請求項１の表情画像再生装置において、 前記表情画像が、２次元顔画像であることを特徴とする
   表情画像再生装置。
7. 【請求項７】 請求項１の表情画像再生装置において、 前記記憶手段の従属フレームのデータは、前記部分パタ
   ーンの曲率最大の点で構成される変化点の相対位置関係
   であることを特徴とする表情画像再生装置。
8. 【請求項８】 基本的表情画像を構成する基本フレーム
   から他の表情画像を構成する従属フレームを再生する表
   情画像再生方法において、 前記基本的表情画像の各部分パターンの形状、位置を示
   す基本フレームのデータを作成するステップと、 前記他の表情画像を構成する各部分パターンを構成する
   複数の変化点間の相対位置関係を示す従属フレームのデ
   ータとを作成するステップと、 前記基本フレームのデータと前記従属フレームのデータ
   とを記憶するステップと、 指定された表情に対応する従属フレームの変化点間の相
   対位置関係と、前記基本フレームのデータとから前記従
   属フレームの表情画像を再生するステップとを有するこ
   とを特徴とする表情画像再生方法。
9. 【請求項９】 請求項８の表情画像再生方法において、 前記基本フレームのデータを作成するステップは、前記
   基本的表情画像の各部分パターンを構成する複数の変化
   点の位置と、前記変化点間の接続関係を作成するステッ
   プであることを特徴とする表情画像再生方法。
10. 【請求項１０】 請求項９の表情画像再生方法におい
    て、 前記従属フレームのデータを作成するステップは、前記
    他の表情画像の不動点に対する可動点の相対位置関係を
    作成するステップで構成されることを特徴とする表情画
    像再生方法。
11. 【請求項１１】 請求項１０の表情画像再生方法におい
    て、 前記従属フレームのデータの作成するステップは、前記
    不動点を前記基本フレームの変化点の位置で構成するス
    テップを有することを特徴とする表情画像再生方法。
12. 【請求項１２】 請求項８の表情画像再生方法におい
    て、 前記従属フレームのデータを作成するステップは、前記
    変化点間の距離及び方向で示された相対位置関係を作成
    するステップで構成されることを特徴とする表情画像再
    生方法。