JPH0654498B2 - 判断情報表示装置 - Google Patents

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

Ａ産業上の利用分野 Ｂ発明の概要 Ｃ従来の技術 Ｄ発明が解決しようとする問題点 Ｅ問題点を解決するための手段（第１図、第２図、第９
図） Ｆ作用（第１図、第２図、第９図） Ｇ実施例（第１図〜第１０図） Ｈ発明の効果 Ａ産業上の利用分野 本発明は判断情報表示装置に関し、特に例えばコンピユ
ータのように判断能力をもつ機器の判断結果をオペレー
タに報知する手段として用いて好適なものである。

Ｂ発明の概要 人間の顔、手、肩などの表情を用いて判断情報の内容を
表示するようになされた判断情報表示装置において、複
数のプリミテイブ表情曲面について内挿演算を実行する
ことによつて中間的な表情をもつ表示を得るようにする
ことにより、少ないプリミテイブ表情曲面データに基づ
いて多様な表示を得ることができる。

Ｃ従来の技術 従来判断能力をもつ機器例えばコンピユータにおいて
は、判断結果をオペレータに報知する手段として、表示
装置（通常は陰極線管が用いられる）上に符号又は文書
によつて判断結果を表示するようになされている。

Ｄ発明が解決しようとする問題点 このような手法によつてコンピユータから得られた判断
情報を表示しようとする場合、多数の文字又は符号を組
み合わせるようにすれば、コンピユータの多様な判断結
果を一応はそれぞれ区別しながら表示し得る。しかし、
このようにした場合、実際上コンピユータの判断結果が
多様な場合には、オペレータが表示装置の表示を適確に
判断することが要求され、オペレータの負担が極端に大
きくなることを避け得ない。

本発明は以上の点を考慮してなされたもので、人間の体
の部分、例えば顔、手、肩などの僅かな変化によつて多
様な情報を相手に知らせることができる点に着目して、
当該体の部分の表情を簡便に可視確認できるようにする
ことによつて、一目してコンピユータ等の機器の判断結
果をオペレータが読み取り得るようにした判断情報表示
装置を提案しようとするものである。

Ｅ問題点を解決するための手段 かかる問題点を解決するため第１の発明においては、複
数のプリミテイブ表情曲面を表す表情曲面データＦＤ１
〜ＦＤ１２を表情曲面データ記憶装置２に格納し、上記
複数の表情曲面データＦＤ１〜ＦＤ１２について内挿演
算することによつて新たな内挿表情曲面データを作成
し、判断情報Ｒ_INに応答して、上記表情曲面データ記憶
装置２から読み出した上記表情曲面データＦＤ１〜ＦＤ
１２又は上記内挿表情曲面データに対して２次元的に表
された表情画像データＯＲＧをマツピング処理して表示
装置４に表示するようにする。

また第２の発明においては、複数のプリミテイブ表情曲
面を表す表情曲面データＦＤ１〜ＦＤ１２を表情曲面デ
ータ記憶装置２に格納し、上記複数の表情曲面データＦ
Ｄ１〜ＦＤ１２について内挿演算することによつて新た
な内挿表情曲面データを作成すると共に、上記内挿演算
において用いる内挿係数ｋの数値を時間の経過に従つて
変更して上記内挿表情曲面データを変化させることによ
り、上記表情画像データＯＲＧによつて得られる表情に
一連の変化を生じさせるようにし、判断情報Ｒ_INに応答
して上記表情曲面データ記憶装置２から読み出した上記
表情曲面データＦＤ１〜ＦＤ１２又は上記内挿表情曲面
データに対して２次元的に表された表情画像データＯＲ
Ｇをマツピング処理して表示装置４に表示するようにす
る。

Ｆ作用 表情曲面データ記憶装置２に格納されているプリミテイ
ブ表情曲面データを読み出して、そのプリミテイブ表情
曲面上に原画面１１上に２次元的に表された表情画像を
マツピングすれば、表情画像が立体的な画像に変換され
て表示装置４上に表示される。従つて判断情報Ｒ_INに応
じて表情曲面データ記憶装置２に格納されている表情曲
面データを読み出せば、表示装置４上の表情画像の表情
が判断情報Ｒ_INの内容を表示し、かくしてオペレータは
直感的に、かつ適確に判断情報Ｒ_INの内容を把握するこ
とができる。

かくするにつき第１の発明においては、表情曲面データ
記憶装置２から読み出した複数の表情曲面データＦＤ１
〜ＦＤ１２について内挿演算することによつて新たな内
挿表情曲面を作成するようにしたことにより、表情曲面
データ記憶装置２の記憶データを使つて当該記憶データ
によつては表すことができない表情をもつた表情画像を
表示装置４上に表示することができる。

これに加えて第２の発明においては、内挿演算をする際
に、内挿係数ｋの数値を時間の経過に従つて変化させる
ようにすることにより、判断情報Ｒ_INによつて表情に一
連の変化を表示させるような動的な表情画像を指定でき
ることになり、この分さらに一段と多様な表示を実現し
得る。

Ｇ実施例 以下図面について、本発明を、顔の表情を利用して判断
情報を表示する場合に適用した実施例を詳述する。

第１図において、１は全体として判断情報表示装置を示
し、各種の顔の表情を表す曲面データ（これを表情曲面
データと呼ぶ）を記憶する表情曲面データ記憶装置２を
有する。表情曲面データ記憶装置２には第２図に示すよ
うに、種々の標準的な表情を表すプリミテイブな表情曲
面データＦＤ１、ＦＤ２……ＦＤ１２が格納されてい
る。これらの表情曲面データＦＤ１、ＦＤ２……ＦＤ１
２は、コンピユータの判断結果を表す判断情報Ｒ_INによ
つて選択されるような表情をもつている。

例えばコンピユータによつて経営判断結果を表示する必
要がある場合、例えば営業成績が著しく良好な場合第２
図（Ｃ）に示すように、「明るく喜んだ表情」を表す表
情曲面データＦＤ３が選択される。また好転するきつか
けが表れているような判断結果が得られた場合には、こ
れに対応して第２図（Ｆ）に示すように「きりつとした
表情」を表す表情曲面データＦＤ６が選択される。これ
に対して例えば営業成績が伸び悩んでいるという判断結
果が得られたとき、これに対応して第２図（Ｇ）に示す
ように、「少し困つた表情」を表す表情曲面データＦＤ
７が選択され、不振の程度が大きくなれば、順次第２図
（Ｄ）及び第２図（Ｅ）に示すように、「次第に不愉快
さが大きくなるような表情」を表す表情曲面データＦＤ
４、ＦＤ５が選択される。

これらの表情曲面データは、コンピユータから曲面処理
装置３に与えられる判断情報Ｒ_INに基づいて、対応する
表情曲面データを曲面処理装置３が表情曲面データ記憶
装置２から読み出して、表示装置４に表示させる。かく
してオペレータは、コンピユータから到来する判断情報
Ｒ_INの内容を、表示装置４の表示画面ＤＳＰに表示され
る顔画像の表情によつて、一目して把握することができ
る。

第１図の判断情報表示装置１は、表示装置４に微妙な表
情の変化を表示できるようなプリミテイブな顔画像に対
応する表情曲面データを表情曲面データ記憶装置２に格
納し得るような構成を有する。

すなわち原画面１１上に平面的に表されている顔画像を
テレビジヨンカメラ１２によつて撮像し、その出力端に
得られる原画像データＤ_INをビデオテープ記録装置、ビ
デオシート記録装置などでなる映像記録装置１３に記録
し、又はフレームバツフアメモリ１４に格納する。

かくして映像記録装置１３、又はフレームバツフアメモ
リ１４の出力端に得られる表情画像データＯＲＧは２次
元平面上の表情画像を表しており、この表情画像データ
ＯＲＧを画像変換装置１５において画像データ制御装置
１６から供給される変形制御データＤＥＦによつて変形
処理することにより、表情曲面データに対して表情画像
データＯＲＧをマツピング処理してなる表示データＤ
_OUTを表示装置４に送出するようになされている。

この実施例の場合、プリミテイブな表情曲面データＦＤ
１、ＦＤ２……ＦＤ１２（第２図）は、画像データ制御
装置１６においてパラメータ入力手段１７から入力され
るパラメータに応じて以下に述べる手法によつて作成さ
れ、かくして作成された変形曲面を表す変形制御データ
ＤＥＦによつて画像変換装置１５を制御することによ
り、立体的な曲面上に表情画像データＯＲＧを張り付け
るようなマツピング演算処理を実行するようになされて
いる。

この実施例の場合、パラメータ入力手段１７はトラツク
ボール１８、複数のレバー１９及びマウス２０でなる。

画像変換装置１５は表情画像データＯＲＧを受け、画像
データ制御装置１６から供給される変形制御データＤＥ
Ｆに基づいて、この変形制御データＤＥＦが変形を指示
していないときには、表情画像データＯＲＧで表される
顔の表情画像を、第３図に示すように、ｘｙ座標で表さ
れる原面ＳＯＲに張り付けてそのまま表示装置４に表示
させるようになされている。

画像データ制御装置１６はパラメータ入力手段１７によ
つて入力されたパラメータに基づいて原面ＳＯＲの座標
（Ｘ_ｉ、Ｙ_ｉ）に作用点ＣＰ_ｉ ^＊を表す位置ベクトルを
指定し、作用点ＣＰ_ｉ ^＊を含む変形領域ＶＣＦの範囲に
限つて変形演算を実行する。この演算結果は、第４図に
示すように、表示装置４の表示画面ＤＳＰ上に任意に決
めた視点位置から変形後の立体曲面を見たような顔画像
ＦＤを表示することができる。

かかる変形領域ＶＣＦにおける曲面の変形は、次の漸化
式 Ｐ_ｉ ^＊＝Ｐ_i-1 ^＊＋Ｕ^＊……（１） で表される変換式を用いて漸化的に演算することにより
実行される。

（１）式において、Ｐ_ｉ ^＊は３次元的空間に形成される
変形後の曲面の各点を表す位置ベクトルで、この位置ベ
クトルＰ_ｉ ^＊は、変形前の曲面上にある対応する点の位
置ベクトルＰ_i-1 ^＊と、当該変形前の位置ベクトルＰ_i-1
^＊からの変形量ベクトルＵ^＊との和で表される。

この変形量ベクトルＵ^＊は次式 Ｕ^＊＝Ｖ_ｉ ^＊＊Ｆ_ｉ（Ｐ_i-1 ^＊、ＣＰ_ｉ ^＊……（２） のように、ベクトル場関数Ｆ_ｉ（Ｐ_i-1 ^＊、ＣＰ_ｉ ^＊）
に対して変形ベクトルＶ_ｉ ^＊を乗算して得られる位置ベ
クトルで表される。

ここで、変形ベクトルＶ_ｉ ^＊は、原面ＳＯＲにおいて作
用点ＣＰ_ｉ ^＊が指定されたとき、当該作用点ＣＰ_ｉ ^＊に
おいて原面ＳＯＲに対して与えるべき変形の方向及び大
きさをベクトル量で表したもので、これにより原面ＳＯ
Ｒの作用点ＣＰ_ｉ ^＊は変形ベクトルＶ_ｉ ^＊の方向にその
大きさだけ持ち上げられるような変形を受けることにな
る。

またベクトル場関数Ｆ_ｉ（Ｐ_i-1 ^＊、ＣＰ_ｉ ^＊）は、作
用点ＣＰ_ｉ ^＊を含んで決められる変形領域ＶＣＦ（その
大きさはパラメータを設定入力することにより指定でき
る）の各点Ｐ_i-1 ^＊に対して、相対的にどの程度の変形
を与えるかを決める相対的な変形率の分布を表してい
る。この相対的な変形率の分布は、変形領域ＶＣＦの内
部にのみ値をもち、かつ周辺部に行くと「０になる」、
又は「０に収束する」ようなスカラ量の分布をもつ。

従つて変形量ベクトルＵ^＊は、変形領域ＶＣＦの各点に
おける変形量を表す位置ベクトルでなり、その方向は変
形ベクトルＶ_ｉ ^＊と平行な方向をもち、かつ大きさは、
変形ベクトルＶ_ｉ ^＊の大きさと、ベクトル場関数Ｆ_ｉに
よつて表される相対的な変形率の分布との乗算値（スカ
ラ量）をもつ。かくして変形領域ＶＣＦの曲面の変形
は、作用点ＣＰ_ｉ ^＊において変形ベクトルＶ_ｉ ^＊の方向
及び大きさで生じ、この作用点ＣＰ_ｉ ^＊から周辺部に行
くに従つて変形ベクトルＶ_ｉ ^＊の方向に、かつベクトル
場関数Ｆ_ｉの変形率の変化に対応して変化する大きさで
生じる。

ここで、ベクトル場関数Ｆ_ｉとして例えばガウス分布関
数のように中心点から外側に行くに従つて対称的に徐々
に０に収束するような関数が割り当てられた場合には、
変形量ベクトルＵ^＊は作用点ＣＰ_ｉ ^＊の位置において変
形ベクトルＶ_ｉ ^＊の方向の最大値をもち、作用点ＣＰ_ｉ
^＊から外周部に行くに従つてベクトルＶ_ｉ ^＊の方向をも
ち、かつ大きさが次第に０に収束して行くような変形面
が得られることになる。

このようにして１回の変換操作によつて変形量ベクトル
Ｕ^＊が求められ、これが変形前の位置ベクトルＰ_i-1 ^＊
と加算されて変形後の位置ベクトルＰ_ｉ ^＊が求められ、
以下同様にして変形操作が行われるたびに（１）式によ
つて表される漸化式を演算することによつて、変形前の
位置ベクトルに基づいて変形面を表す位置ベクトルが繰
り返し漸化的に演算されて行く。

このような漸化的な演算がＮ回繰り返された結果得られ
る最終的な変形曲面を表す位置ベクトルＰ_Ｎ ^＊は、次式 によつて表されるように、変形開始前の原面ＳＯＲ上の
点Ｐ_ｏ ^＊を表す位置ベクトルに対して、Ｎ回の変形演算
（ｉ＝１〜Ｎ）によつて順次得られた変形量ベクトルＵ
^＊の総和（すなわちトータル変形量）を加算した位置ベ
クトルとして求められる。

かくして（３）式によれば、オペレータは原面ＳＯＲの
点Ｐ_ｏ ^＊からＮ回の変形操作を順次行う際に、そのたび
に変形前の曲面について作用点ＣＰ_ｉ ^＊を指定して（例
えば原面ＳＯＲの座標を用いて指定する）、変形前の曲
面Ｐ_i-1 ^＊上の変形させたい部分をオペレータの判断に
基づいて任意に指定できる。またベクトル場関数Ｆ_ｉ及
び変形ベクトルＶ_ｉ ^＊を決めるパラメータを指定し直す
ことによつて、変形領域ＶＣＦの大きさ、変形曲面の変
形率分布、変形の方向を、同様にオペレータの判断に基
づいて任意に設定し直すことができる。

かくしてオペレータは、１回の変形操作を実行するごと
に、変形前の曲面に対して、所望の位置に、所望の方向
に、所望の大きさをもつ変形を部分的に加えるような操
作を漸化的に積み重ねることができる。

第１図の判断情報表示装置１の曲面処理装置３は、
（１）式〜（３）式について上述した曲面作成方法によ
つて、原面ＳＯＲ上の各点の座標位置を、３次元空間の
点を表す位置ベクトルＰ_ｉ ^＊に変換させるような変形制
御データＤＥＦを画像データ制御装置１６において発生
し、この変形制御データＤＥＦによつて画像変換装置１
５を変形制御する。これにより画像変換装置１５は、変
形制御データＤＥＦによつて表される変形曲面上に、映
像記録装置１３又はフレームバツフアメモリ１４から入
力された表情画像データＯＲＧをマツピングするような
画像変換処理を実行する。

ここで画像変換装置１５としては、特開昭58-19975号公
報に開示のものを適用し得、次の手順で、表情画像デー
タＯＲＧを変形曲面上にマツピング処理する。

すなわち先ず表情画像データＯＲＧが表されるｘｙ座標
上の原面ＳＯＲを必要に応じた大きさの領域に分割し、
各分割領域の１つの代表点について変形制御データＤＥ
Ｆに基づく変形演算を実行することによつて、変形曲面
上に座標変換する。

かくして、変形制御データＤＥＦに対応する変形曲面上
に代表点による変換画像が形成されるが、画像変換装置
１５は続いて当該変換後の各代表点を中心として、周囲
にある４つの代表点から、当該中心の代表点を含む所定
の大きさの平行四辺形領域を形成し（互いに隣り合う代
表点を結ぶ方向に沿う辺をもつ）、この平行四辺形領域
内に含まれる各画素に対して、当該中心の代表点がもつ
ている画像情報に基づいて補間演算を実行する。この補
間演算は、平行四辺形内における各画素の位置に応じて
例えば線形演算を実行することにより求められる。

このようにして表情画像を表してなる原面ＳＯＲの表情
画像データＯＲＧを、代表点によつて画像変換処理する
と共に、変換後の代表点に基づいて補間演算処理するこ
とによつて変換画像に変換するようにしたことにより、
画像変換装置１５の変換処理を実用上リアルタイムでな
し得る。

かくして変形制御データＤＥＦを、パラメータ入力手段
１７によつて繰り返し変更することによつて、表情曲面
データを繰り返し変形処理して行くようにすれば、画像
変換装置１５はこれをリアルタイムで演算して表示装置
４の表示画面ＤＳＰ上に、その都度変形後の表情曲面上
に原面ＳＯＲに表されている画像をマツピングした内容
をもつ変形後の画像を、表示することができ、かくして
インターラクテイブに画像の変形操作をなし得ることに
なる。

この実施例の場合、画像データ制御装置１６は、ベクト
ル場関数Ｆ_ｉとしてガウス分布関数を用いると共に、変
形領域ＶＣＦとして円又は楕円形状の領域を指定し得る
ようになされている。このときベクトル場関数Ｆ_ｉは次
式 で表されるように、ｘｙ平面上の作用点ＣＰ
_ｉ ^＊（Ｘ_ｉ、Ｙ_ｉ）を中心として、ｘ方向及びｙ方向の
半径がα_ｉ及びβ_ｉの楕円（α_ｉ≠β_ｉ）又は円（α_ｉ
＝β_ｉ）について、第５図に示すように、ｘ方向及びｙ
方向にガウス分布関数を呈するようになる（第５図の場
合はｘ方向のみについて示す）。

従つて変形量ベクトルＵ^＊は、次式 で表されることになる。

このようにするとき、オペレータは、ベクトル場関数Ｆ
_ｉについて、作用点ＣＰ_ｉ ^＊のパラメータを座標
（Ｘ_ｉ、Ｙ_ｉ）に設定し、また変形領域ＶＣＦのパラメ
ータとしてｘ方向及びｙ方向の半径α_ｉ及びβ_ｉを設定
すると共に、変形ベクトルＶ_ｉ ^＊のパラメータを設定す
る。かくしてオペレータは、作用点ＣＰ_ｉ ^＊（Ｘ_ｉ、Ｙ
_ｉ）を中心として、半径α_ｉ及びβ_ｉの円又は楕円の変
形領域ＶＣＦについて、作用点ＣＰ_ｉ ^＊（Ｘ_ｉ、Ｙ_ｉ）
に立てられた変形ベクトルＶ_ｉ ^＊の方向に、変形ベクト
ルＶ_ｉ ^＊を中心にして周辺部に行くに従つてガウス分布
曲線を描くように変形率が滑らかに０に収束して行くよ
うな変形曲面を得ることができる。

かくして変形前の曲面Ｐ_i-1 ^＊のうち、原面ＳＯＲ上の
作用点ＣＰ_ｉ ^＊を中心とした局所的な変形領域ＶＣＦに
ついて、変形ベクトルＶ_ｉ ^＊の方向にガウス分布関数で
示されるように滑らかな曲面を呈するような変形曲面Ｐ
_ｉ ^＊を得ることができる。かくして人の顔面と同様に柔
らかさをもつた顔の画像を表してなる顔画像を表示装置
４上に表示することができる。

この実施例の場合、曲面処理装置３は、オペレータがパ
ラメータ入力手段１７によつてパラメータを入力操作し
たとき、これに応じて表情画像データＯＲＧを、第６図
に示す処理手順に従つて変形処理し、これにより、表情
曲面データ記憶装置２のプリミテイブな表情曲面データ
を作成する。

すなわち画像データ制御装置１６に設けられている中央
処理ユニツト（ＣＰＵ）は、ステツプＳＰ１において当
該処理手順をスタートした後、ステツプＳＰ２におい
て、原面ＳＯＲ（表情画像データＯＲＧでなる）を表す
位置ベクトルＰ_ｏ ^＊を曲面処理装置３に設けられている
曲面データメモリ３２（第７図（Ａ））に設定する。

続いてＣＰＵは次のステツプＳＰ３に移つて、オペレー
タによつてレバー１９及びマウス２０を用いて設定され
たパラメータα_ｉ、β_ｉ、Ｘ_ｉ、Ｙ_ｉ、Ｖ_ｉ ^＊を入力す
る。

画像データ制御装置１６のＣＰＵは、次のステツプＳＰ
４においてオペレータによつてトラツクボール１８から
入力される視点位置データを取り込んだ後、ステツプＳ
Ｐ５に移る。このステツプＳＰ５は、（４）式及び
（５）式について上述した演算を実行する。ここで画像
データ制御装置１６は変形制御データＤＥＦを画像変換
装置１５に送出し、変形前の位置ベクトルＰ
_i-1 ^＊（ｘ、ｙ）として曲面データメモリ３２に設定さ
れているものを用い、また各パラメータα_ｉ、β_ｉ、Ｘ
_ｉ、Ｙ_ｉ、Ｖ_ｉ ^＊としてステツプＳＰ３において設定さ
れたものを用いて変形演算を行わせる。

続いて画像データ制御装置１６のＣＰＵはステツプＳＰ
６において画像変換装置１５を用いて、ステツプＳＰ５
で演算された変形後の位置ベクトルＰ_ｉ ^＊によつて表さ
れる変形曲面上に表情画像データＯＲＧをマツピング処
理させて表示装置４に表示させる。

この状態において、画像データ制御装置１６のＣＰＵは
当該表示を継続させることにより、次のステツプＳＰ７
においてオペレータが表示装置４の表示を見ながら変形
の程度がオペレータの要求に適合したものであるか否か
を確認させる。その後画像データ制御装置１６のＣＰＵ
は、次のステツプＳＰ８に移つてオペレータが確認信号
を入力したか否かの判断をする。

ここで否定結果が得られると、画像データ制御装置１６
のＣＰＵは、上述のステツプＳＰ３に戻つて新たなパラ
メータの設定を待ち受ける状態に戻る。

このときオペレータは、ステツプＳＰ３、ＳＰ４におい
て、新たなパラメータの設定をし直すことにより、ステ
ツプＳＰ５、ＳＰ６において変形演算式の演算をし直し
た後、その演算結果に基づく画像を表示装置４に表示さ
せ、ステツプＳＰ８において再度オペレータに対して変
形が要求通りであるか否かの判断をさせる。

かくして画像データ制御装置１６のＣＰＵは、ステツプ
ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−Ｓ
Ｐ３のループＬＯＯＰ１によつて、オペレータが自分の
要求に合う変形ができるまで繰り返し作用点ＣＰ_ｉ ^＊の
位置、変形領域ＶＣＦの大きさ、変形ベクトルＶ_ｉ ^＊の
方向及び高さを設定し直すことができる。

やがてオペレータが自分の設定操作に満足して設定終了
信号を画像データ制御装置１６に入力すると、そのＣＰ
Ｕは、次のステツプＳＰ９に移つて、設定されたデータ
α_ｉ、β_ｉ、Ｘ_ｉ、Ｙ_ｉ、Ｖ_ｉ ^＊を画像データ制御装置
１６内に設けられたコマンドリストメモリ３１（第７図
（Ｂ））の第１回目の設定操作に対応するパラメータメ
モリエリアＮ＝１に格納した後、ステツプＳＰ１０に移
つて操作回数ｉに「＋１」加算をした後（ｉ＝２にな
る）、ステツプＳＰ１１に移る。

このステツプＳＰ１１は、オペレータが変形操作を終了
したか否かを確認するステツプで、オペレータからの操
作終了指令が入力されていないとき、画像データ制御装
置１６のＣＰＵは、ステツプＳＰ１１において否定結果
を得ることにより、ループＬＯＯＰ２を通つて上述のス
テツプＳＰ３に戻つて、オペレータによる第２回目の変
形操作（ｉ＝２）を待ち受ける状態になる。

この状態において、オペレータは新たな意図の下に第１
回目の画面の変形操作によつて作成した曲面に対して、
第２回目の曲面の変形操作をし得る。かくして第１回目
の変形操作によつて変形した作用点ＣＰ_１ ^＊とは異なる
作用点ＣＰ_２ ^＊について、オペレータは再度、自分の要
求に合う変形操作を実行し得る。

この第２回目の変形操作において、画像データ制御装置
１６は、ステツプＳＰ３において取り込まれたパラメー
タデータに基づいて、ステツプＳＰ４において設定され
た視点位置から見た変形画像をステツプＳＰ５において
演算し、ステツプＳＰ６において表示装置４上に表示し
た後、ステツプＳＰ９において入力されたパラメータデ
ータをコマンドリストメモリ３１に格納する一連の変形
操作を実行する。

以下同様にして画像データ制御装置１６のＣＰＵは、オ
ペレータが新たな変形操作をするごとに上述の変形処理
及びその処理結果の表示装置４への表示を実行した後、
パラメータデータをコマンドリストメモリ３１に格納す
る操作を繰り返す。

やがてオペレータが全ての変形処理を終了すると、画像
データ制御装置１６はこれに応じてステツプＳＰ１１に
おいて肯定結果を得ることによつてステツプＳＰ１２に
移つてＮ回の変形処理によつて作成された変形曲面デー
タを１つのプリミテイブな表情曲面データＦＤ１として
表情曲面データ記憶装置２に入力した後、ステツプＳＰ
１３に移つて当該プログラムを終了する。

以下同様にしてその他のプリミテイブな表情曲面データ
ＦＤ２、ＦＤ３……ＦＤ１２を作成する際には、画像デ
ータ制御装置１６が第６図について上述した曲面変形処
理手順をその都度繰り返す。その曲面変形処理手順にお
いて、オペレータがパラメータ入力手段１７によつて入
力されるパラメータを必要に応じて選定することによつ
て、「怒つた顔」、「沈んだ顔」、「困つた顔」、「喜
んだ顔」、などの表情をもつ多数のプリミテイブな顔画
像データを表情曲面データ記憶装置２に格納することが
できる。

従つて判断情報表示装置１は、判断能力をもつ機器例え
ばコンピユータから判断情報Ｒ_INが与えられたとき、こ
の判断情報Ｒ_INに対応する表情曲面データを表情曲面デ
ータ記憶装置２から読み出して画像変換装置１５を介し
て表示装置４に表示させることにより、判断情報Ｒ_INの
内容を表情曲面データが表す表情によつて表示すること
ができる。かくして第８図に示すように、表情曲面デー
タＦＤ１、ＦＤ２……ＦＤ１２によつて形成された立体
曲面上に、表情画像データＯＲＧをマツピングしてなる
顔画像を表示し得る。

従つてオペレータは、表示装置４に表示された顔画像の
表情を見ることによつて視覚的に判断情報Ｒ_INの内容を
容易に把握することができる。

次に、表情曲面データ記憶装置２に格納されているプリ
ミテイブな表情曲面は、以下に述べるような補間演算処
理をすることによつて、更に多様な表情をもつた顔画像
として表示装置４に表示し得る。

例えば第２図に示されている表情曲面データＦＤ１、Ｆ
Ｄ２……ＦＤ１２のうちの２つの表情曲面データを選択
し（これをＦＤ_Ａ及びＦＤ_Ｂと表す）、これら２つの表
情曲面データＦＤ_Ａ及びＦＤ_Ｂを内挿係数ｋで内挿する
場合、得られる表情曲面データＦＤ_ABは ＦＤ_AB＝（１−ｋ）ＦＤ_Ａ＋ｋＦＤ_Ｂ……（６） で表されるような内挿演算を実行することにより得られ
る。ここでｋは ０≦ｋ≦１……（７） に選定される。

（６）式の内挿演算によつて得られた表情曲面データＦ
Ｄ_ABは、２つの表情曲面データＦＤ_Ａ及びＦＤ_Ｂのそれ
ぞれの表情とは異なり、かつ両者の中間的な表情をもつ
ようになる。従つて表情曲面データ記憶装置２に格納す
るプリミテイブな表情曲面データの数に制限があつたと
しても、実用上その中間的な表情をもつ表情曲面データ
を作成して表示することができる。

内挿係数ｋは内挿係数記憶装置２１に記憶されており、
判断情報Ｒ_INによつて内挿を必要とする表情の表情曲面
データが指定されたとき、画像データ制御装置１６は、
表情曲面データ記憶装置２から２つの表情曲面データＦ
Ｄ_Ａ及びＦＤ_Ｂを読み出すと共に、対応する内挿係数を
内挿係数記憶装置２１から読み出して内挿演算した後、
画像変換装置１５を介して表示装置４に表示させる。

このようにすれば、表情曲面データ記憶装置２に格納し
ておくべきプリミテイブな表情曲面データの数をそれほ
ど多くしなくとも、多様な表情をもつ顔画像を表示装置
４上に表示させることができる。

なお、上述の内挿の実施例では、２つの表情曲面データ
間の内挿演算を求める場合について述べたが、これに限
らず複数個例えば４個の表情曲面データＦＤ_Ａ、ＦＤ_Ｂ
ＦＤ_Ｃ ＦＤ_Ｄを順次内挿係数ｋ_１、ｋ_２ ｋ_３で内
挿演算する（これを多重内挿と呼ぶ）ようにすれば、こ
れら４つの表情曲面データＦＤ_Ａ〜ＦＤ_Ｄの中間的な表
情をもつ顔画像を表示し得、このようにしても上述の実
施例の場合と同様の効果を得ることができる。

この実施例の場合表情曲面データＦＤ_Ａ及びＦＤ_Ｂを内
挿係数ｋ_１で内挿したとき得られる表情曲面データＦＤ
_ABは ＦＤ_AB＝（１−ｋ_１）ＦＤ_Ａ＋ｋ_１ＦＤ_Ｂ……（８） で求められ、この表情曲面データＦＤ_AB及び表情曲面デ
ータＦＤ_Ｃを内挿係数ｋ_２で内挿して得られる表情曲面
データＦＤ_ABCは ＦＤ_ABC＝（１−ｋ_２）ＦＤ_AB＋ｋ_２ＦＤ_Ｃ……（９） で表され、更にこの表情曲面データＦＤ_ABC及びＦＤ_Ｄ
を内挿係数ｋ_３で内挿して得られる表情曲面データＦＤ
_ABCDは ＦＤ_ABCD＝（１−ｋ_３）ＦＤ_ABC＋ｋ_３ＦＤ_Ｄ……（1
0） で表される。従つて最終的に得られる表情曲面データＦ
Ｄ_ABCDは ＦＤ_ABCD＝Ｉ_Ａ・ＦＤ_Ａ＋Ｉ_Ｂ・ＦＤ_Ｂ＋Ｉ_Ｃ・ＦＤ_Ｃ
＋Ｉ_Ｄ・ＦＤ_Ｄ……（11） で表されるように、多重内挿係数Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ
_Ｄと、対応する表情曲面データＦＤ_Ａ、ＦＤ_Ｂ、Ｆ
Ｄ_Ｃ、ＦＤ_Ｄとの積を加算することによつて求めること
ができる。

ここで内挿係数Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄは Ｉ_Ａ＝（１−ｋ_３）（１−ｋ_２）（１−ｋ_１）……（1
2） Ｉ_Ｂ＝（１−ｋ_３）（１−ｋ_２）ｋ_１……（13） Ｉ_Ｃ＝（１−ｋ_３）ｋ_２……（14） Ｉ_Ｄ＝ｋ_３……（15） で表され、それぞれ関連のある一連の内挿係数として内
挿係数記憶装置２１に格納されている。

次に、他の実施例を述べる。以上の実施例の場合は、１
つの判断情報Ｒ_INに対して１つの表情曲面データを割り
当てた場合について述べたが、これに代え、１つの判断
情報Ｒ_INが到来した時、複数の表情曲面データが時間の
経過に従つて変化するような表示モード（これをアニメ
ーシヨン表示モードと呼ぶ）で表示することもできる。

このようなアニメーシヨン表示モードで表示するため
に、画像データ制御装置１６には、キーフレーム記憶装
置２２が設けられている。このキーフレーム記憶装置２
２は、第９図に示すように、時点ｔ_１、ｔ_２、ｔ_３のよ
うに時間が経過するに従つて、複数例えば３つの表情曲
面データＦＤ２、ＦＤ１、ＦＤ３順次表示させ、また時
点ｔ_１〜ｔ_２の間は、表情曲面データＦＤ２及びＦＤ１
を内挿しかつその内挿係数を数値０から１まで次第に変
化させて行く。同様にして表情曲面データＦＤ１及びＦ
Ｄ３間においてもこれら２つの表情曲面データを内挿す
ると共に、内挿係数を０から１に変化させて行く。

ここで時点ｔ_１、ｔ_２、ｔ_３において表示すべき表情曲
面データＦＤ２、ＦＤ１、ＦＤ３をキーフレームと呼
び、このキーフレームの配列及び発生すべき時点を表す
データがキーフレーム記憶装置２２内に記憶されてい
る。これに加えて、時点ｔ_１〜ｔ_２、ｔ_２〜ｔ_３間の内
挿係数の変化を、例えば所定の時間間隔においてとつた
デイジタルデータとしてキーフレーム記憶装置２２に格
納される。

かくして画像データ制御装置１６に対して、第９図に示
すように表情が変化するアニメーシヨンモードが指定さ
れたとき、画像データ制御装置１６はキーフレーム記憶
装置２２からキーフレームの配列、表示すべき時点及び
時間の経過に対する内挿係数の変化に関するデータを読
み出して、時間の経過に従つて変化する内挿係数を用い
て変形制御データＤＥＦを形成する。かくして表示装置
４上には、第９図に示すアニメーシヨンモードで顔画像
が表示される。

このようにすれば表示装置４に表示された顔画像が、時
間の経過に従つて動くことにより、顔の表情の変化また
は顔パーツの動き（例えば目をぱちぱち動かしたり、口
を動かしたりする動作）によつて判断情報Ｒ_INの内容を
表示することができる。

かかるアニメーシヨンモードによる表示は、表示装置４
上に表示する顔画像として立体画像を用いることができ
ることにより、例えば顔を頷かせたり、頭を振つたりな
どの所作をも合わせて表示することができ、かくして比
較的少ないプリミテイブな顔画像を用いて一段と多様な
顔画像を表示し得る。

なおアニメーシヨン表示モードによつて顔画像を表示す
る場合、その動きに合わせて音声を発生することができ
るような音声合成装置を設けるようにしても良く、この
ようにすればさらに多様な表示を実現し得る。

キーフレーム記憶装置２２へのデータの入力は、第１０
図の処理手順に従つて実行される。すなわちステツプＳ
Ｐ２１において画像データ制御装置１６が処理手順をス
タートした後、次のステツプＳＰ２２において表情曲面
データ記憶装置２に記憶されている表情曲面データのう
ち、アニメーシヨン表示モードに使用するプリミテイブ
な表情曲面データ（第２図）を選択する。

続いて画像データ制御装置１６は次のステツプＳＰ２３
において選択した顔画像データＦＤ２、ＦＤ１、ＦＤ３
をキーフレームとして表示すべき時間を設定し、次のス
テツプＳＰ２４においてキーフレームの顔画像データを
各時間に割り当てた後ステツプＳＰ２５において各キー
フレームのデータをキーフレーム記憶装置２２に登録す
る。

その後画像データ制御装置１６はステツプＳＰ２６にお
いて次に設定すべきキーフレームがあるか否かの判断を
し、ある場合には上述のステツプＳＰ２３に戻つて当該
キーフレームについてのデータの登録を実行する。かく
して時点ｔ_１、ｔ_２、ｔ_３についての顔画像データＦＤ
２、ＦＤ１、ＦＤ３のキーフレーム記憶装置２２への登
録が終了すると、画像データ制御装置１６はステツプＳ
Ｐ２６において否定結果を得ることにより、ステツプＳ
Ｐ２７に移つてキーフレーム相互間の内挿係数の変化を
表す内挿係数データをキーフレーム記憶装置２２に設定
した後、ステツプＳＰ２８において当該アニメーシヨン
表示モードデータの作成処理手順を終了する。

なお上述においては表示装置４に表示する表情として人
間の顔の表情を用いるようにした場合について述べた
が、これに限らず肩、手など、要するに表情の変化を表
すことができるような体の部分の画像を用いるようにし
ても、上述の場合と同様の効果を得ることができる。

Ｈ発明の効果 以上のように第１の発明によれば、複数のプリミテイブ
な表情曲面データを用いて内挿演算処理による表情曲面
データの変形処理をすることにより、複数のプリミテイ
ブな顔画像の表情の異なる中間的な表情をもつた顔画像
を作成できることにより、表情曲面データ記憶装置とし
て比較的小容量のものを用いても格段的に多様な表情曲
面データを作成することができる判断情報表示装置を容
易に得ることができる。

また第２の発明によれば、複数のプリミテイブな表情曲
面データを内挿処理する際に、内挿係数を時間の経過に
従つて変更するようにしたことにより、表情装置上に動
く顔画像の表情を変化させることができ、かくして一段
と多様の表情をもつた顔画像を実現し得る。

【図面の簡単な説明】

第１図は本発明による判断情報表示装置の一実施例を示
すブロック図、第２図はプリミテイブな表情曲面データ
の説明に供する略線図、第３図は第１図の原画ＳＯＲの
説明に供する略線図、第４図は表示装置４上の表示を示
す略線図、第５図は画像データ制御装置１６における演
算に用いられるベクトル場関数Ｆ_ｉの説明に供する略線
図、第６図は画像データ制御装置１６の曲面変形処理手
順を示すフローチヤート、第７図は曲面処理装置３に設
けられているメモリを示す略線図、第８図は表示装置４
に表示される立体的な顔画像を示す斜視図、第９図はア
ニメーシヨン表示モードにおけるキーフレームの配列を
示す略線図、第１０図はアニメーシヨン表示モードにお
いて使用されるデータの作成手順を示すフローチヤート
である。 １……判断情報表示装置、２……表情曲面データ記憶装
置、３……曲面処理装置、４……表示装置、１１……原
画面、１５……画像変換装置、１６……画像データ制御
装置、１７……パラメータ入力手段、２１……内挿係数
記憶装置、２２……キーフレーム記憶装置。

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数のプリミテイブ表情曲面を表す表情曲
   面データを表情曲面データ記憶装置に格納し、 上記複数の表情曲面データについて内挿演算することに
   よつて新たな内挿表情曲面データを作成し、 判断情報に応答して、上記表情曲面データ記憶装置から
   読み出した上記表情曲面データ又は上記内挿表情曲面デ
   ータに対して２次元的に表された表情画像データをマツ
   ピング処理して表示装置に表示する ことを特徴とする判断情報表示装置。
2. 【請求項２】複数のプリミテイブ表情曲面を表す表情曲
   面データを表情曲面データ記憶装置に格納し、 上記複数の表情曲面データについて内挿演算することに
   よつて新たな内挿表情曲面データを作成すると共に、上
   記内挿演算において用いる内挿係数の数値を時間の経過
   に従つて変更して上記内挿表情曲面データを変化させる
   ことにより、上記表情画像データによつて得られる表情
   に一連の変化を生じさせるようにし、 判断情報に応答して上記表情曲面データ記憶装置から読
   み出した上記表情曲面データ又は上記内挿表情曲面デー
   タに対して２次元的に表された表情画像データをマツピ
   ング処理して表示装置に表示する ことを特徴とする判断情報表示装置。