JPS6299874A - 判断情報表示装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

Ａ産業上の利用分野 Ｂ発明の概要 Ｃ従来の技術 り発明が解決しようとする問題点 Ｅ問題点を解決するための手段（第１図、第２図、第９
図） Ｆ作用（第１図、第２図、第９図） Ｇ実施例（第１図〜第１０図） Ｈ発明の効果 Ａ産業上の利用分野 本発明は判断情報表示装置に関し、特に例えばコンピュ
ータのように判断能力をもつ機器の判断結果をオペレー
タに報知する手段として用いて好適なものである。

Ｂ発明の概要 人間の顔、手、肩などの表情を用いて判断情報の内容を
表示するようになされた判断情報表示装置において、複
数のプリミティブ表情曲面について内挿演算を実行する
ことによって中間的な表情をもつ表示を得るようにする
ことにより、少ないプリミティブ表情曲面データに基づ
いて多様な表示を得ることができる。

Ｃ従来の技術 従来判断能力をもつ機器例えばコンピュータにおいては
、判断結果をオペレータに報知する手段として、表示装
置（通常は陰極線管が用いられる）上に符号又は文書に
よって判断結果を表示するようになされている。

Ｄ発明が解決しようとする問題点 このような手法によってコンピュータから得られた判断
情報を表示しようとする場合、多数の文字又は符号を組
み合わせるようにすれば、コンピュータの多様な判断結
果を一応はそれぞれ区別しながら表示し得る。しかし、
このようにした場合、実際上コンピュータの判断結果が
多様な場合には、オペレータが表示装置の表示を適確に
判断することが要求され、オペレータの負担が極端に大
きくなることを避は得ない。

本発明は以上の点を考慮してなされたもので、人間の体
の部分、例えば頭、手、屑などの僅かな変化によって多
様な情報を相手に知らせることができる点に着目して、
当該体の部分の表情を簡便に可視確認できるようにする
ことによって、−目してコンピュータ等の機器の判断結
果をオペレータが読み取り得るようにした判断情報表示
装置を提案しようとするものである。

Ｅ問題点を解決するための手段 かかる問題点を解決するため第１の発明においては、複
数のプリミティブ表情曲面を表す表情曲面データＦＤＩ
−ＦＩ）１２を表情曲面データ記憶装置２に格納し、上
記複数の表情曲面データＦＤ１−ＦＤ１２について内挿
演算することによって新たな内挿表情曲面データを作成
し、　判断情報Ｒ１に応答して、上記表情曲面データ記
憶装置２から読み出した上記表情曲面データＦＤＩ〜Ｆ
Ｄ１２又は上記内挿表情曲面データに対して２次元的に
表された表情画像データＯＲＧをマツピング処理して表
示装置４に表示するようにする。

また第２の発明においては、複数のプリミティブ表情曲
面を表す表情曲面データＦＤＩ〜ＦＤＩ２を表情曲面デ
ータ記憶装置２に格納し、上記複数の表情曲面データＦ
ＤＩ〜ＦＤ１２について内挿演算することによって新た
な内挿表情曲面データを作成すると共に、上記内挿演算
において用いる内挿係数にの数値を時間の経過に従って
変更して上記内挿表情曲面データを変化させることによ
り、上記表情画像データＯＲＧによって得られる表情に
一連の変化を生じさせるようにし、判断情報Ｒ１，４に
応答して上記表情曲面データ記憶装置２から読み出した
上記表情曲面データＦＤＩ〜ＦＤ１２又は上記内挿表情
曲面データに対して２次元的に表された表情画像データ
ＯＲＧをマツピング処理して表示装置４に表示するよう
にする。

Ｆ作用 表情曲面データ記憶装置２に格納されているプリミティ
ブ表情曲面データを読み出して、そのプリミティブ表情
曲面上に原画面ｊ′、上に２次元的に表された表情画像
をマツピングすれば、表情画像が立体的な画像に変換さ
れて表示装置４上に表示される。従って判断情報Ｒ１に
応じて表情曲面データ記憶装置２に格納されている表情
曲面データを読み出せば、表示装置４上の表情画像の表
情が判断情報ＲＩＨの内容を表示し、か（してオペレー
タは直感的に、かつ適確に判断情報ＲＩＭの内容を把握
することができる。

かくするにつき第１の発明においては、表情曲面データ
記憶装置２から読み出した複数の表情曲面データＦＤＩ
〜ＦＤ１２について内挿演算することによって新たな内
挿表情曲面を作成するようにしたことにより、表情曲面
データ記憶装置２の記憶データを使って当該記憶データ
によっては表すことができない表情をもった表情画像を
表示装置４上に表示することができる。

これに加えて第２の発明においては、内挿演算をする際
に、内挿係数にの数値を時間の経過に従って変化させる
ようにすることにより、判断情報ＲＩＭによって表情に
一連の変化を表示させるような動的な表情画像を指定で
きることになり、この分さらに一段と多様な表示を実現
し得る。

Ｇ実施例 以下図面について、本発明を、顔の表情を利用して判断
情報を表示する場合に適用した実施例を詳述する。

第１図において、ｌは全体として判断情報表示装置を示
し、各種の顔の表情を表す曲面データ（これを表情曲面
データと呼ぶ）を記憶する表情曲面データ記憶装置２を
有する。表情曲面データ記憶装置２には第２図に示すよ
うに、種々の標準的な表情を表すプリミティブな表情曲
面データＦＤ１、ＦＤ２・・・・・・ＦＤ１２が格納さ
れている。これらの表情曲面データＦＤＩ、ＦＤ２・・
・・・・ＦＤ１２は、コンピュータの判断結果を表す判
断情報ＲＩＭによって選択されるような表情をもってい
る。

例えばコンピュータによって経営判断結果を表示する必
要がある場合、例えば営業成績が著しく良好な場合第２
図（Ｃ）に示すように、「明るく喜んだ表情」を表す表
情曲面データＦＤ３が選択される。また好転するきっか
けが表れているような判断結果が得られた場合には、こ
れに対応して第２図（Ｆ）に示すように「きりつとした
表情」を表す表情曲面データＦＤ６が選択される。これ
に対して例えば営業成績が伸び悩んでいるという判断結
果が得られたとき、これに対応して第２図（Ｇ）に示す
ように、「少し困った表情」を表す表情曲面データＦＤ
７が選択され、不振の程度が大きくなれば、順次第２図
（Ｄ）及び第２図（Ｅ）に示すように、「次第に不愉快
さが大きくなるような表情」を表す表情曲面データＦＤ
４、ＦＤ５が選択される。

これらの表情曲面データは、コンピュータから曲面処理
装置３に与えられる判断情報ＲＩＮに基づいて、対応す
る表情曲面データを曲面処理装置３が表情曲面データ記
憶装置２から読み出して、表示装置４に表示させる。か
くしてオペレータは、コンピュータから到来する判断情
ｔＩ！ＲＩ　Ｎの内容を、表示装置４の表示画面ＤＳＰ
に表示される顔画像の表情によって、−目して把握する
ことができる。

第１図の判断情報表示装置１は、表示装置４に微妙な表
情の変化を表示できるようなプリミティブな顔画像に対
応する表情曲面データを表情曲面データ記憶装置２に格
納し得るような構成を有する。

すなわち原画面１）上に平面的に表されている顔画像を
テレビジョンカメラ１２によって撮像し、その出力端に
得られる原画像データＤＩＮをビデオテープ記録装置、
ビデオシート記録装置などでなる映像記録装置１３に記
録し、又はフレームバッファメモリ１４に格納する。

かくして映像記録装置１３、又はフレームバッファメモ
リ１４の出力端に得られる表情画像データＯＲＧは２次
元平面上の表情画像を表しており、この表情画像データ
ＯＲＧを画像変換装置１５において画像データ制御装置
１６から供給される変形制御データＤＥＦによって変形
処理することにより、表情曲面データに対して表情画像
データＯＲＧをマツピング処理してなる表示データＤｏ
υ丁を表示装置４に送出するようになされている。

この実施例の場合、プリミティブな表情曲面データＦＤ
Ｉ、ＦＤ２・・・・・・ＦＤ１２（第２図）は、画像デ
ータ制御装置１６においてパラメータ入力手段１７から
入力されるパラメータに応じて以下に述べる手法によっ
て作成され、かくして作成された変形曲面を表す変形制
御データＤＥＦによって画像変換装置１５を制御するこ
とにより、立体的な曲面上に表情画像データＯＲＧを張
り付けるようなマツピング演算処理を実行するようにな
されている。

この実施例の場合、パラメータ入力手段１７はトラック
ボール１８、複数のレバー１９及びマウス２０でなる。

画像変換装置１５は表情画像データＯＲＧを受け、画像
データ制御装置１６から供給される変形制御データＤＥ
Ｆに基づいて、この変形制御データＤＥＦが変形を指示
していないときには、表情画像データＯＲＧで表される
顔の表情画像を、第３図に示すように、ｘｙ座標で表さ
れる原画ＳＯＲに張り付けてそのまま表示装置４に表示
させるようになされている。

画像データ制御装置１６はパラメータ入力手段１７によ
って入力されたパラメータに基づいて原画ＳＯＲの座標
（Ｘｉ　、Ｙｉ　）に作用点ｃｐ、”を表す位置ベクト
ルを指定し、作用点ＣＰｉ９を含む変形領域ＶＣＦの範
囲に限って変形演算を実行する。その演算結果は、第４
図に示すように、表示装置４の表示画面ＤＳＰ上に任意
に決めた視点位置から変形後の立体曲面を見たような、
顔画像ＦＤを表示することができる。

かかる変形領域ＶＣＦにおける曲面の変形は、次の漸化
式 ％式％（１） で表される変換式を用いて漸化的に演算することにより
実行される。

（１）式において、Ｐ、′は３次元空間に形成される変
形後の曲面の各点を表す位置ベクトルで、この位置ベク
トルｐ　％は、変形前の曲面上にある対応する点の位置
ベクトルｐ　＝−＋　＊と、当該変形前の位置ベクトル
Ｐｉ、′からの変形量ベクトルＵ０との和で表される。

この変形量へクトルし′″は次式 ％式％） のように、　ベクトル場関数Ｆ＋　　（Ｐｔ−＋　”　
、ｃＰ、。）に対して変形ベクトル■ｉ′を乗算して得
られる位置ベクトルで表される。

ここで、変形ベクトルＶ１″は、原画ＳＯＲにおいて作
用点ＣＰ、”が指定されたとき、当該作用点ｃｐ、”に
おいて原画ＳＯＲに対して与えるべき変形の方向及び大
きさをベクトル量で表したもので、これにより原画ＳＯ
Ｒの作用点ＣＰ、”は変形ベクトル■、＊の方向にその
大きさだけ持ち上げられるような変形を受けることにな
る。

またベクトル場関数Ｆｉ　　（Ｐｉ−＋　”　、ＣＰｉ
　”）は、作用点ｃｐ、”を含んで決められる変形領域
ＶＣＦ　（その大きさはパラメータを設定入力すること
により指定できる）の各点ｐ　ｔ−ｔ　＄に対して、相
対的にどの程度の変形を与えるかを決める相対的な変形
率の分布を表している。この相対的な変形率の分布は、
変形領域ＶＣＦの内部にのみ値をもち、かつ周辺部に行
くと「０になる」、又は「０に収束する」ようなスカラ
量の分布をもつ。

従って変形量ベクトルＵＩは、変形領域ＶＣＦの各点に
おける変形量を表す位置ベクトルでなり、その方向は変
形ベクトルＶ、′″と平行な方向をもち、かつ大きさは
、変形ベクトルＶ　、　ｍの大きさと、ベクトル場関数
Ｆｉによって表される相対的な変形率の分布との乗算値
（スカラ看）をもつ。

かくして変形領域ＶＣＦの曲面の変形は、作用点ＣＰ、
”において変形ベクトル■１′の方向及び大きさで生じ
、この作用点ｃｐ、”から周辺部に行くに従って変形ベ
クトル■１９の方向に、かつベクトル場関数ＦＡの変形
率の変化に対応して変化する大きさで生じる。

ここで、ベクトル場関数Ｆ、とじて例えばガウス分布関
数のように中心点から外側に行くに従って対称的に徐々
にＯに収束するような関数が割り当てられた場合には、
変形量ベクトルＵ′″は作用点ｃｐ、”の位置において
変形ベクトルＶＨ”の方向の最大値をもち、作用点ｃｐ
、”から外周部に行くに従ってベクトルｖ、′の方向を
もち、かつ大きさが次第にＯに収束して行（ような変形
面が得られることになる。

このようにして１回の変換操作によって変形量ベクトル
Ｕ０が求められ、これが変形前の位置ベクトルｐ　＝−
＋　＊と加算されて変形後の位置ベクトルＰ、″が求め
られ、以下同様にして変形操作が行われるたびに（１）
式によって表される漸化式を演算することによって、変
形前の位置ベクトルに基づいて変形面を表す位置ベクト
ルが繰り返し漸化的に演算されて行く。

このような漸化的な演算がＮ回繰り返された結果得られ
る最終的な変形曲面を表す位置ベクトルＰ８′は、次式 ％式％） によって表されるように、変形開始前の加面ＳＯＲ上の
点Ｐ。。を表す位置ベクトルに対して、Ｎ回の変形演算
（ｉ−１〜Ｎ）によって順次得られた変形量ベクトルＵ
“の総和（すなわちトータル変形量）を加算した位置ベ
クトルとして求められる。

かくして（３）式によれば、オペレータは原画ＳＯＲの
点Ｐ。″からＮ回の変形操作を順次行う際に、そのたび
に変形前の曲面について作用点ＣＰ、″を指定して（例
えば原画ＳＯＲの座標を用いて↑指定する）、変形前の
曲面ＰＬ−１′上の変形させたい部分をオペレータの判
断に基づいて任意に多指定できる。またベクトル場関数
Ｆ、及び変形ベクトルｖ％を決めるパラメータを指定し
直すことによって、変形領域ＶＣＦの大きさ、変形曲面
の変形率分布、変形の方向を、同様にオペレータの判断
に基づいて任意に設定し直すことができる。

かくしてオペレータは、１回の変形操作を実行するごと
に、変形前の曲面に対して、所望の位置に、所望の方向
に、所望の大きさをもつ変形を部分的に加えるような操
作を漸化的に積み重ねることができる。

第１図の判断情報表示装置１の曲面処理装置３は、（１
）弐〜（３）式について上述した曲面作成方法によって
、加面ＳＯＲ上の各点の座標位置を、３次元空間の点を
表す位置ベクトルＰｉ０に変換させるような変形制御デ
ータＤＥＦを画像データ制御装置１６において発生し、
この変形制御データＤＥＦによって画像変換装置１５を
変換制御する。これにより画像変換装置１５は、変形制
御データＤＥＦによって表される変形曲面上に、映像記
録装置１３又はフレームバッファメモリ１４から入力さ
れた表情画像データＯＲＧをマツピングするような画像
変換処理を実行する。

ここで画像変換装置１５としては、時間昭５８−１９９
７５号公報に開示のものを適用し得、次の手順で、表情
画像データＯＲＧを変形曲面上にマツピング処理する。

すなわち先ず表情画像データＯＲＧが表されるｘｙ座標
上の原画ＳＯＲを必要に応じた大きさの領域に分割し、
各分割領域の１つの代表点について変形制御データＤＥ
Ｆに基づく変形演算を実行することによって、変形曲面
上に座標変換する。

かくして、変形制御データＤＥＦに対応する変形曲面上
に代表点による変換画像が形成されるが、画像変換装置
１５は続いて当該変喚後の各代表点を中心として、周囲
にある４つの代表点から、当該中心の代表点を含む所定
の大きさの平行四辺影領域を形成しく互いに隣り合う代
表点を結ぶ方向に沿う辺をもつ）、この平行四辺形領域
内に含まれる各画素に対して、当該中心の代表点がもっ
ている画像情報に基づいて補間演算を実行する。この補
間演算は、平行四辺形内における各画素の位置に応じて
例えば線形演算を実行することにより求められる。

このようにして表情画像を表してなる原画ＳＯＲの表情
画像データＯＲＧを、代表点によって画像変換処理する
と共に、変換後の代表点に基づいて補間演算処理するこ
とによって変換画像に変換するようにしたことにより、
画像変換装置１５の変換処理を実用上リアルタイムでな
し得る。

かくして変形制御データＤＥＦを、パラメータ入力手段
１７によって繰り返し変更することによって、表情曲面
データを繰り返し変形処理して行くようにすれば、画像
変換装置１５はこれをリアルタイムで演算して表示装置
４の表示画面ＤＳＰ上に、その都度変形後の表情曲面上
に原画ＳＯＲに表されている画像をマツピングした内容
をもつ変形後の画像を、表示することができ、かくして
インターラクテイブに画像の変形操作をなし得ることに
なる。

この実施例の場合、画像データ制御装置１６は５、ベク
トル場間数Ｆ、とじてガウス分布関数を用いると共に、
変形領域ＶＣＦとして円又は楕円形状の領域を指定し得
るようになされている。このときベクトル場関数Ｆｌは
次式 ％式％） で表されるように、ｘｙ平面上の作用点ｃｐ、”（Ｘｉ
　、Ｙｉ　）を中心として、Ｘ方向及びＸ方向の半径が
α１及びβ、の楕円（α正≠β１）又は円（α１＝βＮ
）について、第５図に示すように、Ｘ方向及びＸ方向に
ガウス分布関数を呈するようになる（第５図の場合はＸ
方向のみについて示す）。

従って変形量ベクトルＵ“は、次式 ％式％） このようにするとき、オペレータは、ベクトル場関数Ｆ
、について、作用点ｃｐ、”のパラメータを座標（Ｘｉ
　、Ｙ、）に設定し、また変形領域ＶＣＦのパラメータ
としてＸ方向及びＸ方向の半径α１及びβ１を設定する
と共に、変形ベクトルｙ　％のパラメータを設定する。

かくしてオペレータは、作用点ＣＰｉ　”　　（Ｘｉ　
、Ｙｉ　）を中心として、半径αえ及びβ、の円又は楕
円の変形領域ＶＣＦについて、作用点ＣＰ＋　”　　（
Ｘｔ　、Ｙｉ　）に立てられた変形ベクトルｙ　％の方
向に、変形ベクトルｙ　％を中心にして周辺部に行くに
従ってガウス分布曲線を描くように変形率が滑らかに０
に収束して行くような変形曲面を得ることができる。

かくして変形前の曲面Ｐｉ−＋′のうち、原画ＳＯＲ上
の作用点ｃｐ、”を中心とした局所的な変形領域ＶＣＦ
について、変形ベクトルｙ　％の方向にガウス分布関数
で示されるように滑らかな曲面を呈するような変形曲面
Ｐ、′″を得ることができる。かくして人の顔面と同様
に柔らかさをもった顔の画像を表してなる顔画像を表示
装置４上に表示することができる。

この実施例の場合、曲面処理装置３は、オペレータがパ
ラメータ入力手段１７によってパラメータを入力操作し
たとき、これに応じて表情画像データＯＲＧを、第６図
に示す処理手順に従って変形処理し、これにより、表情
曲面データ記憶装置２のプリミティブな表情曲面データ
を作成する。

すなわち画像データ制御装置１６に設けられている中央
処理ユニット（ＣＰＵ）は、ステップＳＰｉにおいて当
該処理手順をスタートした後、ステップＳＰ２において
、原画ＳＯＲ（表情画像データＯＲＧでなる）を表す位
置ベクトルＰ。′を曲面処理装置３に設けられている曲
面データメモリ３２（第７図（Ａ））に設定する。

続いてＣＰＵは次のステップＳＰ３に移って、オペレー
タによってレバー１９及びマウス２０を用いて設定され
たパラメータα１、β４、Ｘｌ、ｙ、　、ｖ、”を入力
する。

画像データ制御装置１６のＣＰＵは、次のステップＳＰ
４においてオペレータによってトラックボール１８から
入力される視点位置データを取り込んだ後、ステップＳ
Ｐ５に移る。このステップＳＰ５は、（４）式及び（５
）式について上述した演算を実行する。ここで画像デー
タ制御装置１６は変形制御データＤＥＦを画像変換装置
１５に送出し、変形前の位置ベクトルＰ＋−＋　”　　
（Ｘ％　ｙ）として曲面データメモリ３２に設定されて
いるものを用い、また各パラメータα１）βム、Ｘ１ｓ
Ｙｉ　、Ｖ、”としてステップＳＰ３において設定され
たものを用いて変形演算を行わせる。

続いて画像データ制御装置１６のＣＰＵはステップＳＰ
６において画像変換装置１５を用いて、ステップＳＰ５
で演算された変形後の位置ベクトルＰｉ０によって表さ
れる変形曲面上に表情画像データＯＲＧをマツピング処
理させて表示装置４に表示させる。

この状態において、画像データ制御装置１６のＣＰＵは
当該表示を継続させることにより、次のステップＳＰ７
においてオペレータが表示’７２４の表示を見ながら変
形の程度がオペレータの要求に適合したものであるか否
かを確認させる。その後画像データ制御装置１６のＣＰ
Ｕは、次のステップＳＰ８に移ってオペレータが［ＬＥ
倍信号入力したか否かの判断をする。

ここで否定結果が得られると、画像データ制御装置１６
のＣＰＵは、上述のステップＳＰ３に戻って新たなパラ
メータの設定を待ち受ける状態に戻る。

このときオペレータは、ステップＳＰ３、ＳＦ３におい
て、新たなパラメータの設定をし直すことにより、ステ
ップＳＰ５、ＳＦ３において変形演算式の演算をし直し
た後、その演算結果に基づく画像を表示値Ｗ４に表示さ
せ、ステップＳＰ８において再度オペレータに対して変
形が要求通りであるか否かの判断をさせる。

か（して画像データ制御装置１６のＣＰＵは、ステップ
５Ｐ３−３Ｐ４−３Ｐ５−３Ｐ６−３Ｐ？−３Ｐ８−３
Ｐ３のループＬＯＯＰＩによって、オペレータが自分の
要求に合う変形ができるまで繰り返し作用点ＣＰ！”の
位置、変形領域ＶＣＦの大きさ、変形ベクトルＶ、”の
方向及び高さを設定し直すことができる。

やがてオペレータが自分の設定操作に満足して設定終了
信号を画像データ制御装置１６に入力する上、そのＣＰ
Ｕは、次のステップＳＰ９に移って、設定されたデータ
α８、β８、Ｘ８、Ｙ８、■８″を画像データ制御装置
１６内に設けられたコマンドリストメモリ３１　（第７
図（Ｂ））の第１回目の設定操作に対応するパラメータ
メモリエリアＮ＝ｌに格納した後、ステップ５ＰＩＯに
移って操作回数ｉに「＋１」加算をしたｆ！（ｉ＝２に
なる）、ステップ５ＰＩＩに移る。

このステップ５ＰＩＩは、オペレータが変形操作を終了
したか否かを確認するステップで、オペレータからの操
作終了指令が入力されていないとき、画像データ制御装
置１６のＣＰＵは、ステップ５ＰＩＩにおいて否定結果
を得ることにより、ループＬ○ＯＰ２を通って上述のス
テップＳＰ３に戻って、オペレータによる第２回目の変
形操作（ｉ＝２）を待ち受ける状態になる。

この状態において、オペレータは新たな意図の下に第１
回目の画面の変形操作によって作成した曲面に対して、
第２回目の曲面の変形操作をし得る。かくして第１回目
の変形操作によって変形した作用点ｃｐ、”とは異なる
作用点ＣＰ、”について、オペレータは再度、自分の要
求に合う変形操作を実行し得る。

この第２回目の変形操作において、画像データ制御装置
１６は、ステップＳＰ３において取り込まれたパラメー
タデータに基づいて、ステップＳＰ４において設定され
た視点位置から見た変形画像をステップＳＰ５において
演算し、ステップＳＰ６において表示装置４上に表示し
た後、ステップＳＰ９において人力されたパラメータデ
ータをコマンドリストメモリ３１に格納する一連の変形
操作を実行する。

以下同様にして画像データ制御装置１６のＣＰＵは、オ
ペレータが新たな変形操作をするごとに上述の変形処理
及びその処理結果の表示装置４への表示を実行した後、
パラメータデータをコマントリストメモリ３１に格納す
る操作を繰り返す。

やがてオペレータが全ての変形処理を終了すると、画像
データ制御装置１６はこれに応じてステップ５ＰＩＩに
おいて肯定結果を得ることによってステップ５ＰＩ２に
移ってＮ回の変形処理によって作成された変形曲面デー
タを１つのプリミティブな表情曲面データＦＤＩとして
表情曲面データ記憶装置２に入力した後、ステップ５Ｐ
１３に移って当該プログラムを終了する。

以下同様にしてその他のプリミティブな表情曲面データ
ＦＤ２、ＦＤ３・・・・・・ＦＤ１２を作成する際には
、画像データ制御装置１６が第６図について上述した曲
面変形処理手順をその都度繰り返す。

その曲面変形処理手順において、オペレータがパラメー
タ入力手段１７によって入力されるパラメータを必要に
応じて選定することによって、「怒った頭」、「沈んだ
顔」、「困った顔」、「喜んだ顔」などの表情をもつ多
数のプリミティブな顔画像データを表情曲面データ記憶
装置２に格納することができる。

従って判断情報表示装置１は、判断能力をもつ機器例え
ばコンピュータから判断情報ＲＩ８が与えられたとき、
この判断情報ＲＩＮに対応する表情曲面データを表情曲
面データ記憶装置２から読み出して画像変換装置１５を
介して表示装置４に表示させることにより、判断情報Ｒ
１，４の内容を表情曲面データが表す表情によって表示
することができる。かくして第８図に示すように、表情
曲面データＦＤＩ、ＦＤ２・・・・・・ＦＤ１２によっ
て形成された立体曲面上に、表情画像データＯＲＧをマ
ツピングしてなる顔画像を表示し得る。

従ってオペレータは、表示装置４に表示された顔画像の
表情を見ることによって視覚的に判断情報ＲＩＭの内容
を容易に把握することができる。

次に、表情曲面データ記憶装置２に格納されているプリ
ミティブな表情曲面は、以下に述べるような補間演算処
理をすることによって、更に多様な表情をもった顔画像
として表示装置４に表示し得る。

例えば第２図に示されている表情曲面データＦＤ１、Ｆ
Ｄ２・・・・・・ＦＤ１２のうちの２つの表情曲面デー
タを選択しくこれをＦＤＡ及びＦＤ、と表す）、これら
２つの表情曲面データＦＤＡ及びＦＤ、を内挿係数にで
内挿する場合、得られる表情曲面データＦＤａｍは ＦＤＡＩ＝　（１ｋ）ＦＤＡ＋ｋＦＤｉ・・・・・・（
６） で表されるような内挿演算を実行することにより得られ
る。ここでｋは Ｏ≦に≦１　　　　　　　　　　・・・・・・（７）に
選定される。

（６）式の内挿演算によって得られた表情曲面データＦ
ＤＡ、は、２つの表情曲面データＦＤＡ及びＦＤ、のそ
れぞれの表情とは異なり、かつ両者の中間的な表情をも
つようになる。従って表情曲面データ記憶装置２に格納
するプリミティブな表情曲面データの数に制限があった
としても、実用上その中間的な表情をもつ表情曲面デー
タを作成して表示することができる。

内挿係数には内挿係数記憶装置２１に記憶されており、
判断情Ｉｎ　Ｒ＋　ｓによって内挿を必要とする表情の
表情曲面データが指定されたとき、画像データ制御装置
１６は、表情曲面データ記憶装置２から２つの表情曲面
データＦＤＡ及びＦＤ、を読み出すと共に、対応する内
挿係数を内挿係数記憶装置２１から読み出して内挿演算
した後、画像変換装置１５を介して表示装置４に表示さ
せる。

このようにすれば、表情曲面データ記憶装置２に格納し
ておくべきプリミティブな表情曲面データの数をそれほ
ど多（しなくとも、多様な表情をもつ顔画像を表示装置
４上に表示させることができる。

なお、上述の内挿の実施例では、２つの表情曲面データ
間の内挿演算を求める場合について述べたが、これに限
らず複数個例えば４個の表情曲面データＦＤＡ１ＦＤＩ
１）ＦＤＣ，、ＦＤＤを順次内挿係数に、　、ｋ、　、
ｋ、で内挿演算する（これを多重内挿と呼ぶ）ようにす
れば、これら４つの表情曲面データＦ　Ｄ　Ａ’＝　Ｆ
　Ｄ　ｏの中間的な表情をもつ顔画像を表示し得、この
ようにしても上述の実施例の場合と同様の効果を得るこ
とができる。

この実施例の場合表情曲面データＦＤ＾及びＦＤ３を内
挿係数に１で内挿したとき得られる表情曲面データＦＤ
ＡＩは ＦＤ□＝　（１ｋ＋　）ＦＤＡ　＋に、ＦＤｍ・・・・
・・（８） で求められ、この表情曲面データＦＤＡＩ及び表情曲面
データＦＤｃを内挿係数ｋｔで内挿して得られる表情曲
面データＦＤａｍ。は Ｆ　ＤＡＩＣ＝　（１ｋｇ　）　Ｆ　Ｄａｍ＋　ｋｇ　
Ｆ　Ｄｃ・・・・・・（９） で表され、更にこの表情曲面データＦＤＡＩｌｃ及びＦ
Ｄ、を内挿係数に３で内挿して得られる表情曲面データ
ＦＤ□。は ＦＤａｓｃｎ＝　　（１ｋ３　）ＦＤＡＩＣ＋に、ＦＤ
。

・・・・・・　（１０） で表される。従って最終的に得られる表情曲面データＦ
Ｄ□。は Ｆ　ＤＡＩＣＤ−Ｉ　Ａ　　’　Ｆ　ＤＡ＋　Ｉ　ｎ　
　・ＦＤｍ＋　Ｉｃ　　−ＦＤｃ　＋　ＩＤ　　・ＦＤ
。

・・・・・・（１）） で表されるように、　多重内挿係数ＩＡ、１．、Ｉｃ、
Ｉｏと、対応する表情曲面データＦＤＡ、ＦＤａ　、Ｆ
Ｄｃ　、ＦＤｏとの積を加算することによって求めるこ
とができる。

ここで内挿係数１ａ、Ｉ！ｌ、ＩＣ２１０はＩＡ　＝　
（１ｋｚ）（１ｋ２）（１ｋ＋　）・・・・・・（１２
） Ｉｓ　＝　（１ｋ、）（１ｋｇ　）　ｋ＋・・・・・・
　（１３） ｒｅ　　＝　　（１−に、ｓ　　）　　ｋｇ　　　　　
　　　−−−−・−（１４）１、＝に、　　　　　　　
　　　　　　　　　・・・・・・　（１５）で表され、
それぞれ関連のある一連の内挿係数として内挿係数記憶
装置２１に格納されている。

次に、他の実施例を述べる。以上の実施例の場合は、１
つの判断情’Ｐａ　ＲＩ　Ｎに対して１つの表情曲面デ
ータを割り当てた場合について述べたが、これに代え、
１つの判断情報ＲＩＭが到来した時、複数の表情曲面デ
ータが時間の経過に従って変化するような表示モード（
これをアニメーション表示モードと呼ぶ）で表示するこ
ともできる。

このようなアニメーション表示モードで表示するために
、画像データ制御装置１６には、キーフレーム記憶装置
２２が設けられている。このキーフレーム記憶装置２２
は、第９図に示すように、時点ｔ１、２、ｔ、のように
時間が経過するに従って、複数例えば３つの表情曲面デ
ータＦＤ２、ＦＤＩ、ＦＤ３を順次表示させ、また時点
も１〜１ｔの間は、表情曲面データＦＤ２及びＦＤＩを
内挿しかつその内−挿係数を数値０から１まで次第に変
化させて行く、同様にして表情曲面データＦＤ１及びＦ
Ｄ３間においてもこれら２つの表情曲面データを内挿す
ると共に、内挿係数をＯから１に変化させて行く。

ここで時点ｔ９、２、Ｌ、において表示すぺき表情曲面
データＦＤ２、ＦＤＩ、ＦＤ３をキーフレームと呼び、
このキーフレームの配列及び発生すべき時点を表すデー
タがキーフレーム記憶装置２２内に記憶されている。こ
れに加えて、時点ｔ１〜１．．１．〜ｔ１間の内挿係数
の変化を、例えば所定の時間間隔においてとったディジ
タルデータとしてキーフレーム記憶装置２２に格納され
る。

かくして画像データ制御装置１６に対して、第９図に示
すように表情が変化するアニメーションモードが指定さ
れたとき、画像データ制御装置１６はキーフレーム記憶
装置２２からキーフレームの配列、表示すべき時点皮び
時間の経過に対する内挿係数の変化に関するデータを読
み出して、時間の経過に従って変化する内挿係数を用い
て変形制御データＤＥＦを形成する。かくして表示装置
４上には、第９図に示すアニメーションモードで顔画像
が表示される。

このようにすれば表示装置４に表示された顔画像が、時
間の経過に従って動くことにより、顔の表情の変化また
は類パーツの動き（例えば目をばちばち動かしたり、口
を動かしたりする動作）によって判断情報ＲＩＭの内容
を表示することができる。

かかるアニメーションモードによる表示は、表示装置４
上に表示する顔画像どして立体画像を用いることができ
ることにより、例えば顔を頷かせたり、頭を振ったりな
どの所作をも合わせて表示することができ、かくして比
較的少ないプリミティブな顔画像を用いて一段と多様な
顔画像を表示し得る。

なおアニメーション表示モードによって顔画像を表示す
る場合、その動きに合わせて音声を発生することができ
るような音声合成装置を設けるようにしても良く、この
ようにすればさらに多様な表示を実現し得る。

キーフレーム記憶装置２２へのデータの入力は、第１０
図の処理手順に従って実行される。すなわちステップ５
Ｐ２１において画像データ制御装置１６が処理手順をス
タートした後、次のステップ５Ｐ２２において表情曲面
データ記憶装置２に記憶されている表情曲面データのう
ち、アニメーション表示モードに使用するプリミティブ
な表情曲面データ（第２図）を選択する。

続いて画像データ制御装置１６は次のステップ５Ｐ２３
において選択した顔画像データＦＤ２、ＦＤＩ、ＦＤ３
をキーフレームとして表示すべき時間を設定し、次のス
テップ５Ｐ２４においてキーフレームの顔画像データを
各時間に割り当てた後ステップ５Ｐ２５において各キー
フレームのデータをキーフレーム記憶装置２２に登録す
る。

その後画像データ制御装置１６はステップ５Ｐ２６にお
いて次に設定すべきキーフレームがあるか否かの判断を
し、ある場合には上述のステップ５Ｐ２３に戻って当該
キーフレームについてのデータの登録を実行する。かく
して時点１．．１．、ｔ、についての顔画像データＦＤ
２、ＦＤＩ、ＦＤ３のキーフレーム記憶装置２２への登
録が終了すると、画像データ制御装置１６はステップ５
Ｐ２６において否定結果を得ることにより、ステップ５
Ｐ２７に移ってキーフレーム相互間の内挿係数の変化を
表す内挿係数データをキーフレーム記憶装置２２に設定
した後、ステップ５Ｐ２８において′当該アニメーショ
ン表示モードデータの作成処理手順を終了する。

なお上述においては表示装置４に表示する表情として人
間の顔の表情を用いるようにした場合について述べたが
、これに限らず肩、手など、要するに表情の変化を表す
ことができるような体の部分の画像を用いるようにして
も、上述の場合と同様の効果を得ることができる。

Ｈ発明の効果 以上のように第１の発明によれば、複数のプリミティブ
な表情曲面データを用いて内挿演算処理による表情曲面
データの変形処理をすることにより、複数のプリミティ
ブな顔画像の表情の異なる中間的な表情をもった顔画像
を作成できることにより、表情曲面データ記憶装置とし
て比較的小容量のものを用いても格段的に多様な表情曲
面データを作成することができる判断情報表示装置を容
易に得ることができる。

また第２の発明によれば、複数のプリミティブな表情曲
面データを内挿処理する際に、内挿係数を時間の経過に
従って変更するようにしたことにより、表示装置上に動
く顔画像の表情を変化させることができ、かくして一段
と多様の表情をもった顔画像を実現し得る。

【図面の簡単な説明】

第１図は本発明による判断情報表示装置の一実施例を示
すブロック図、第２図はプリミティブな表情曲面データ
の説明に供する路線図、第３図は第１図の原画ＳＯＲの
説明に供する路線図、第４図は表示装置４上の表示を示
す路線図、第５図は画像データ制御装置１６における演
算に用いられ順を示すフローチャート、第７図は曲面処
理装置３に設けられているメモリを示す路線図、第８図
は表示装置４に表示される立体的な顔画像を示す斜視図
、第９図はアニメーション表示モードにおけるキーフレ
ームの配列を示す路線図、第１０図はアニメーション表
示モードにおいて使用されるデータの作成手順を示すフ
ローチャートである。 ｌ・・・・・・判断情報表示装置、２・・・・・・表情
曲面データ記憶装置、３・・・・・・曲面処理装置、４
・旧・・表示装置、１）・・・・・・原画面、１５・・
・・・・画像変換装置、１６・・・・・・画像データ制
御装置、１７・・・・・・パラメータ入力手段、２１・
・・・・・内挿係数記憶装置、２２・・・・・・キーフ
レーム記憶装置。 （Ａ）　　　　　　　　（Ｂ）　　　　　　　　（Ｃ１
（Ｄ）ＣＥ）　　　　　　　　（Ｆ）　　　　　　　　
（（７）　　　　　　　　（Ｈ）Ｅｌ）　　　　　　　
　Ｕ）　　　　　　　　（／＜）　　　　　　　　（Ｌ
）表情曲面テ゛−タ 哨２ｇ １〕：用ル＞ｎ才１定 羊３劇 曲面の孟水 ベクトル場閲牧へ゛ Φ　５　副 （Ｂ） 前面９＆埋釆！のメ土り 蔓　７　回 コ変形処理千順 芋　６　図 表示装置の顔画像 某６　図 キーフレームの配りＩＩ 箒９　図 アニメーションデ′−タの作成手順 羊ｆＯ日

Claims (2)

【特許請求の範囲】
1. （１）複数のプリミティブ表情曲面を表す表情曲面デー
   タを表情曲面データ記憶装置に格納し、上記複数の表情
   曲面データについて内挿演算することによって新たな内
   挿表情曲面データを作成し、 判断情報に応答して、上記表情曲面データ記憶装置から
   読み出した上記表情曲面データ又は上記内挿表情曲面デ
   ータに対して２次元的に表された表情画像データをマッ
   ピング処理して表示装置に表示する ことを特徴とする判断情報表示装置。
2. （２）複数のプリミティブ表情曲面を表す表情曲面デー
   タを表情曲面データ記憶装置に格納し、上記複数の表情
   曲面データについて内挿演算することによって新たな内
   挿表情曲面データを作成すると共に、上記内挿演算にお
   いて用いる内挿係数の数値を時間の経過に従って変更し
   て上記内挿表情曲面データを変化させることにより、上
   記表情画像データによつて得られる表情に一連の変化を
   生じさせるようにし、 判断情報に応答して上記表情曲面データ記憶装置から読
   み出した上記表情曲面データ又は上記内挿表情曲面デー
   タに対して２次元的に表された表情画像データをマッピ
   ング処理して表示装置に表示する ことを特徴とする判断情報表示装置。