JPH0374777A - 顔画像合成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の利用分野］ 本発明は顔画像合成装置に係り、特に合成した顔画像を
より自然に見せることができる顔画像合成装置に関する
ものである。

［従来の技術］ 一般にテレビ電話等に使用される低ビツトレートの画像
情報通信においては、受信側に立体構造モデルを用意し
、送信側では該立体構造モデルの変位を送信する符号復
号化技術や、送信側でフレーム単位にこま落としされた
符号化信号を送信し、受信側でこの欠落したフレームを
再生してフレームレートを増加するフレーム内挿技術が
採用されている。

これらの符号複合化技術では、先に送信した画像情報の
うち変位のあった部分の符号化信号を送信するため、例
えば人物の会話中の顔画像を送信する際には送信側が口
及び口周辺の変化量（動き）を送信し、受信側ではこの
口周辺のみを変化させるものであった。

尚、このような技術は例えば、文献「電子情報通信学会
技術研究報告、ＩＥ８７−２Ｊの「分析合成符号化にお
けるモデル構成と表情合成」　（相澤清晴、山田幸則、
原島博、斎藤隆弘著）の記事に報告されている。

〔発明が解決しようとする課題］ 前記従来の方法では受信側の合成画像が会話中には口お
よびその周囲しか動かないため、見た目に非常に不自然
であると言う不具合があった。これは、そもそも人間は
会話をしたり表情を変えたりするときには、本能的に無
意識下でまばたきをしたり頭部を揺らしたりすることで
、自然な表現を行なうためである。

本発明の目的は、前述の従来技術の問題点を除去するこ
とであり、顔画像の合成において非周期的にまばたきを
発生させたり、会話（目部分開閉）時や表情変化におい
ては頭部に揺らぎを発生させることにより、顔画像の自
然な表現を合成することができる顔画像合成装置を提供
することである。

［課題を解決するための手段］ 前記目的を達成するため本発明は、表情及び動きパラメ
ータを含む顔画像情報を入力として顔画像を合成する顔
画像合成装置において、入力した顔画像情報に含まれな
い人間の本能的動作若しくは無意識動作に基ずく動きパ
ラメータ及び表情パラメータを該顔画像情報に付加して
顔画像を合成することを第１の特徴とする。

更に本発明は、複数の点、直線、曲線、平面、曲面、も
しくは内部が充填された立体などの幾何図形の集合で表
現される顔画像構造モデルあるいは人物構造モデルを内
蔵し、入力された変形・回転・移動などの座標変換情報
により前記モデルを構成する幾何図形を変形・回転・移
動して、さらにその表面もしくは内部に色情報・濃淡情
報を付加することにより顔画の像合成を行なう顔画像合
成装置において、人間が本能的若しくは無意識に行なう
表情・動きに基づく追加座標変換情報を記憶しておく記
憶手段と、座標変換情報に従って構造モデルを非周期的
に変形・回転・移動する座標変換手段とを設けたことを
第２の特徴とする。

また本発明は顔画像合成装置において、人間の動き・表
情に付随して本能的若しくは無意識に行なう動き・表情
に基ずく追加座標変換情報を記憶する記憶手段と、座標
変換情報により構造モデルを変形・回転・移動する座標
変換手段とを設けたことを第３の特徴とする。

［作用］ 前記第１の特徴による顔画像合成装置は、低ビツトレー
ト転送による合成顔画像の不自然さを、転送顔画像情報
に含まれない人間の本能的動作若しくは無意識動作に基
ずく動きパラメータ及び表情パラメータを該顔画像情報
に付加して顔画像を合成することにより、自然な顔画像
を合成することができる。

更に第２の特徴による顔画像合成装置は、入力した座標
変換情報に含まれない追加座標変換情報を記憶手段から
読み出して入力座標変換情報に付加した後に座標変換手
段が非周期的に変形・回転・移動することにより、例え
ば頭部の揺らぎ、まばたき等を付加して自然な顔画像を
合成することができる。

また本発明の第３の特徴による顔画像合成装置は、入力
した座標変換情報に対応した付随の追加座標変換情報を
前記記憶手段から選択的に読み出して入力座標変換情報
に付加した後に座標変換手段が顔面の像合成を行なうこ
とにより、例えば笑顔の際にエクボを追加する等より自
然な顔画像を合成することができる。

［実施例コ 以下本発明による顔画像合成装置の一実施例を図面を用
いて詳細に説明する。

第１図は本発明の第一の実施例による顔画像合成装置の
構成を示す図であり、第２図は本実施例装置の動作を説
明するためのフローチャートである。

図に示す顔画像合成装置は例えば送信側から送信される
符号化信号である顔画像の表情パラメータ及び動きパラ
メータを入力する表情・動きパラメータ入力器９と、人
物あるいは顔の立体構造モデル（複数の点、直線、曲線
、平面、曲面、もしくは内部が充填された立体などの幾
何図形の集合で表現される顔画像構造モデル）の各頂点
の座標値を格納する構造モデルデータ記憶部１と、非周
期的な処理を行なうべき表情・動きパラメータの組合せ
（人間が本能的または無意識に行なう表情・動き）のた
めの追加表情及び動きパラメータを格納する処理動作記
憶部１２と、該記憶部から読みだした追加表情パラメー
タ及び追加動きパラメータを出力する追加処理器１１と
、表情・動きパラメータの種類に対応した構造モデルの
頂点の位置および、その頂点の移動させるべき方向・大
きさを格納する表情合成規則記憶部５と、前記入力器９
から入力した表情・動きパラメータと追加処理器１１か
ら入力した追加表情パラメータとを加算し、この加算さ
れた表情の種類に対応する立体構造モデルの各頂点の座
標値を構造モデルデータ記憶部ｌから読み出すと共に、
該頂点の移動させるべき方向・大きさの規則を表情合成
規則記憶部５から入力して表情合成に必要な構造モデル
の頂点の座標を前記規則に従って移動し、この移動した
結果を動きパラメータと共に座標変換器１４に出力する
構造モデル変形器１３と、前記構造モデル変形器１３か
ら出力された表情合成に必要な構造モデルの頂点の座標
及び動きパラメータ及び追加処理器１１から入力した動
きパラメータを加算し、変形済みの構造モデルの座標値
を平行移動・回転して出力する座標変換器１４と、構造
モデルの三頂点どうしを接続して表されるポリゴン（三
角バッチ）ごとに対応する色、輝度、色差などの濃淡情
報を格納する濃淡情報記憶部７と、該記憶部７から読み
出したポリゴンごとに対応する濃淡情報を用いてテクス
チャマツプ等の技法でポリゴンの全ての位置に濃淡情報
を与え、全てのポリゴンを処理した顔合成画像を画像表
示器１０に出力する画像合成器８とから構成される。

この画像表示器１０は一般のビデオモ；りと同様な画像
情報を表示するものであり、追加処理器１１での追加処
理の例としては、頭部の微小量振動、まぶた、眉毛、は
ぼ、あご、鼻、耳、口などの不規則な振動などがある。

この様に構成された顔画像合成装置は、第２図に示すフ
ローチャートに従って動作する。

即ち、本装置は、外部から表情・動きパラメータを表情
・動きパラメータ入力器９が入力すると（ステップ２０
１）、構造モデル変形器１３が顔等の立体構造モデルの
各頂点の座標値を構造モデルデータ記憶部１より読みだ
す（ステップ２０２）。

次いで追加処理器１１が、非周期的な処理を行なうべき
表情・動きパラメータの組合せ、即ち人間が本能的に無
意識に行なう表情・動きのためのパラメータを処理動作
記憶部１２より読みだし、追加表情パラメータを構造モ
デル変形器１３に、追加動きパラメータを座標変換器１
４に出力する。

つまり、非周期的に登録された頭部の微小量振動、まぶ
た、眉毛、はぼ、あご、鼻、耳、口などの不規則な振動
等の表情・動きパラメータを追加する（ステップ２０３
）。

次に構造モデル変形器１３は、前記入力器９及び追加処
理器１１から入力された表情パラメータを加算し、その
表情の種類に対応する構造モデルの頂点の位置および、
その頂点の移動させるべき方向・大きさを表情合成規則
記憶部５より読みだしくステップ２０４）、表情合成に
必要な構造モデルの頂点の座標を規則に従って合威しく
ステップ２０５）、その結果を動きパラメータと共に座
標変換器１４に渡す。

座標変換器１４では、構造モデル変形器１３から入力さ
れた動きパラメータと追加処理器１１から入力された追
加動きパラメータを加算した量だけ、変形済みの構造モ
デル（例えば、現在表示中の顔画像）の座標値を平行移
動・回転等を行ない、結果を画像合成器８に出力する（
ステップ２０６）。

この画像合成器８では、構造モデルの三頂点どうしを接
続して表されるポリゴン（三角バッチ）ごとに対応する
色、輝度、色差などの濃淡情報を濃淡情報記憶部７より
読みだし、テクスチャマツプに代表される技法でポリゴ
ンの全ての位置に濃淡情報を与え、全てのポリゴンを処
理しくステップ２０７）、合成画像として画像表示器１
０に出力する（ステップ２０８）。

この様に本実施例による顔画像合成装置は、外部から入
力した画像の表情・動きパラメータに、人間が無意識に
行なう表情・動きのためのパラメータを非周期的な処理
として追加することにより、顔画像の合成において非周
期的にまばたきを発生させたり、会話（目部分開閉）時
や表情変化において頭部に揺らぎを発生させることによ
り、低ビツトレートの画像情報通信においても顔画像の
自然な表現を合成することができる。

次に本発明の第２の実施例を第３図及び第４図を参照し
て説明する。

まず本実施例による顔画像合成装置の構成を前述の実施
例と比較して説明すると、本装置は表情・動きパラメー
タ入力器９．構造モデルデータ記憶部１．構造モデル変
形器１３９表情合或規則記憶部５．座標変換器１４．濃
淡情報記憶部７１画像合戊器８９画像表示器１０．特別
処理器２及び処理規則記憶部４とから構成され、構成上
の相違点は前記入力器９の出力が特別処理器２に入力さ
れていること、本実施例の特徴である特別処理器２及び
処理規則記憶部４が設けられていること、更に該入力器
９に入力されるパラメータが内蔵する構造モデルを変形
し表情を合成するための表情の種別とその重みからなる
表情パラメータと、平行移動量・回転量・スケーリング
量などからなる動きパラメータを組合せたものであるこ
とである。

本実施例による処理規則記憶部４は、入力器９から入力
された表情・動きパラメータの組合せ及びその組合せに
対する特別処理である追加表情パラメータ及び追加動作
パラメータ（具体的には会話時の目部分の動きパラメー
タに対して頭部を微小量揺らす追加動作パラメータや、
目部分が微笑表情の表情パラメータに対してエクボを追
加したり目を細める等の追加表情パラメータ）を格納し
ている。即ち人間がある表情に対して本能的または無意
識的に行なうしぐさを格納している。

さてこの様に構成された顔画像合成装置は、第４図に示
すフローチャートに従って動作するものである。この動
作を図を参照して説明すると、まず表情・動きパラメー
タ入力器９が外部から入力した表情・動きパラメータ（
内蔵する構造モデルを変形し表情を合成するための表情
の種別とその重みからなる表情パラメータと、平行移動
量・回転量・スケーリング量などからなる動きパラメー
タを組み合わせたもの）を構造モデル変形器１３及び特
別処理器２に出力する（ステップ４０１）。

該パラメータを入力した構造モデル変形器１３は人物あ
るいは顔の立体構造モデルの各頂点の座標値を構造モデ
ルデータ記憶部１より読みだす（ステップ４０２）。

一方、同様に該入力器９より表情・動きパラメータを入
力した特別処理器２では、入力パラメータに対応する特
別処理、即ち追加する表情・動作パラメータを処理規則
記憶部４より読みだし、追加表情パラメータを構造モデ
ル変形器１３に出力すると共に、追加動きパラメータを
座標変換部１４に出力する（ステップ４０３）。これら
追加パラメータは、例えば入力した表情パラメータが「
口の開閉（会話）」に対して「頭部の微小揺れの動きパ
ラメータ」１人力した表情パラメータが「微笑形の口表
情」に対して「エクボ表情パラメータ」である。

これらパラメータを入力した構造モデル変形器１３では
、前記パラメータ入力器９から入力された表情パラメー
タと特別処理器２から入力された追加表情パラメータを
加算した表情の種類に対応する構造モデルの頂点の位置
および、その頂点の移動させるべき方向・大きさを表情
合成規則記憶部５より読み出しくステップ４０４）、表
情合成に必要な構造モデルの頂点の座標を表情合成規則
記憶部１からの規則に従って移動しくステップ４０５）
、結果を動きパラメータと共に座標変換器１４に渡す。

例えば「微笑形の口表情」に「エクボ」を追加した表情
パラメータを座標変換器１４に渡す。

この結果を入力した座標変換器１４では、該変形器１３
から入力された動きパラメータと特別処理器２から入力
された動きパラメータを加算した量だけ、変形済みの構
造モデルの座標値を平行移動・回転等を行ない（ステッ
プ４０６）、その結果を画像合成器８に出力する。例え
ば「微笑形の口及びエクボ」の表情パラメータと、「頭
部の微小揺れ」の動きパラメータを用いて顔画像情報の
座標変換を行なって出力する。

該画像合成器８では、構造モデルの二項点どうしを接続
しで表されるポリゴン（三角パッチ）ごとに対応する色
、輝度、色差などの濃淡情報を濃淡情報記憶部７より読
みだし、テクスチャマツプに代表される技法でポリゴン
の全ての位置に濃淡情報を与え、全てのポリゴンを処理
した後（ステップ４０７）、合成画像として画像表示器
１０に出力（ステップ４０８）して表情及び動作を追加
した合成顔画像を表示する。

従って本実施例による顔画像合成装置では、会話（口の
開閉）時に頭部を揺らす等の動作を追加すると共に笑顔
の時にエクボを追加する等の表情を追加した合成画像が
出力されるため、少ない情報量（パラメータ）で極めて
自然な表現を行なうことができる。例えば本実施例によ
る装置では、キーフレーム中割り法を用いて表情・動き
の変化を滑らかに内挿補間している場合でも、まばたき
などの瞬間的に行なわれるべき処理が正確に実行できる
。

［発明の効果］ 以上述べごとく本発明による顔画像合成装置は、会話（
口の開閉）のためのパラメータ入力において口の周囲の
動きにに加えて、瞬きや頭部の揺らぎを伴う合成画像が
出力されるため、少ない情報量（パラメータ）で非常に
自然な表現ができる。

また本発明の装置では、キーフレーム中割り法を用いて
表情・動きの変化を滑らかに内挿補間している場合でも
、まばたきなどの瞬間的に行なわれるべき処理が正確に
実行できる。

【図面の簡単な説明】 第１図は本発明による顔画像合成装置の一実施例を示す
図、第２図は第１図に示した装置の動作を説明するため
のフローチャート図、第３図は本発明による顔画像合成
装置の他の実施例を示す図、第４図は第３図に装置の動
作を説明するためのフローチャート図である。 １：構造モデルデータ記憶部、２：特別処理器、４：処
理規則記憶部、５：表情合成規則記憶部、７：濃淡情報
記憶部、８：画像合成器、９：表情・動きパラメータ入
力器、 １０：画像表示器、１１：追加処理器、１２：処理動作
記憶部、１３：構造モデル変形器、１４：座標変換器。

Claims (3)

【特許請求の範囲】
1. （１）表情及び動きパラメータを含む顔画像情報を入力
   として顔画像を合成する顔画像合成装置において、入力
   した顔画像情報に含まれない人間の本能的動作若しくは
   無意識動作に基ずく動きパラメータ及び表情パラメータ
   を該顔画像情報に付加して顔画像を合成することを特徴
   とする顔画像合成装置。
2. （２）複数の点、直線、曲線、平面、曲面、もしくは内
   部が充填された立体などの幾何図形の集合で表現される
   顔画像構造モデルあるいは人物構造モデルを内蔵し、入
   力された変形・回転・移動などの座標変換情報により前
   記モデルを構成する幾何図形を変形・回転・移動して、
   さらにその表面もしくは内部に色情報・濃淡情報を付加
   することにより顔画の像合成を行なう顔画像合成装置に
   おいて、人間が本能的若しくは無意識に行なう表情・動
   きに基づく追加座標変換情報を記憶しておく記憶手段と
   、座標変換情報に従って構造モデルを変形・回転・移動
   する座標変換手段とを備え、入力した座標変換情報に含
   まれない追加座標変換情報を非周期的に記憶手段から読
   み出して入力座標変換情報に付加した後に座標変換手段
   が顔画像の合成を行なうことを特徴とする顔画像合成装
   置。
3. （３）複数の点、直線、曲線、平面、曲面、もしくは内
   部が充填された立体などの幾何図形の集合で表現される
   顔画像構造モデルあるいは人物構造モデルを内蔵し、入
   力された変形・回転・移動などの座標変換情報によりこ
   のモデルを構成する幾何図形を変形・回転・移動して、
   さらにその表面もしくは内部に色情報・濃淡情報を付加
   することにより顔画の像合成を行なう顔画像合成装置に
   おいて、人間の動き・表情に付随して本能的若しくは無
   意識に行なう動き・表情に基ずく追加座標変換情報を記
   憶する記憶手段と、座標変換情報により構造モデルを変
   形・回転・移動する座標変換手段とを備え、入力した座
   標変換情報に対応した付随の追加座標変換情報を前記記
   憶手段から選択的に読み出して入力座標変換情報に付加
   した後に座標変換手段が顔画像の合成を行なうことを特
   徴とする顔画像合成装置。