JP2667455B2 - 顔動画像合成システム - Google Patents
顔動画像合成システムInfo
- Publication number
- JP2667455B2 JP2667455B2 JP63187702A JP18770288A JP2667455B2 JP 2667455 B2 JP2667455 B2 JP 2667455B2 JP 63187702 A JP63187702 A JP 63187702A JP 18770288 A JP18770288 A JP 18770288A JP 2667455 B2 JP2667455 B2 JP 2667455B2
- Authority
- JP
- Japan
- Prior art keywords
- mouth
- image
- patch model
- shape
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 ［目 次］ 概要 産業上の利用分野 従来の技術（第12図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作 用（第１図） 実施例（第２〜11図） 発明の効果 ［概 要］ 初期化時に伝送される少数の初期化データを用いるこ
とにより、通信中に伝送される音声情報に応じて、受信
側で顔の動画像を合成して表示する顔動画像合成システ
ムに関し、 受信側で、送信側から送られてくる音声情報に適合す
るように、口の部分を変形させて、画像を再生する際
に、音声情報に対応した口内部画像をも表示できるよう
にして、より自然な顔の動画像を合成できるようにする
ことを目的とし、 受信側に、初期化時に送られる１フレーム分の静止顔
画像データを記憶する手段と、口形２次元パッチモデル
を入力された音声情報に対応する口形符号に応じて変形
する手段と、口画像のうち口腔内部部分を切り出した口
内部画像データを全口形符号の数だけ記憶する手段と、
口符号に応じて選択された口内部画像データを口内部２
次元パッチモデルにあてはめて口形符号に応じた口内部
画像として出力する手段と、画像合成手段をそなえるよ
うに構成する。
とにより、通信中に伝送される音声情報に応じて、受信
側で顔の動画像を合成して表示する顔動画像合成システ
ムに関し、 受信側で、送信側から送られてくる音声情報に適合す
るように、口の部分を変形させて、画像を再生する際
に、音声情報に対応した口内部画像をも表示できるよう
にして、より自然な顔の動画像を合成できるようにする
ことを目的とし、 受信側に、初期化時に送られる１フレーム分の静止顔
画像データを記憶する手段と、口形２次元パッチモデル
を入力された音声情報に対応する口形符号に応じて変形
する手段と、口画像のうち口腔内部部分を切り出した口
内部画像データを全口形符号の数だけ記憶する手段と、
口符号に応じて選択された口内部画像データを口内部２
次元パッチモデルにあてはめて口形符号に応じた口内部
画像として出力する手段と、画像合成手段をそなえるよ
うに構成する。
［産業上の利用分野］ 本発明は、初期化時に伝送される少数の初期化データ
を用いることにより、通信中に伝送される音声情報に応
じて、受信側で顔の動画像を合成して表示する顔動画像
合成システムに関する。
を用いることにより、通信中に伝送される音声情報に応
じて、受信側で顔の動画像を合成して表示する顔動画像
合成システムに関する。
テレビ（TV）電話、TV会議等においては、最終的に公
衆電話回線を利用した伝送方式を採用することが目標と
されており、このため、得られた画像情報を可能な限り
圧縮することが要望されている。
衆電話回線を利用した伝送方式を採用することが目標と
されており、このため、得られた画像情報を可能な限り
圧縮することが要望されている。
［従来の技術］ TV電話等において伝送される画像は、通常、人物の顔
動画像であるが、かかる動画像情報は、第12図に示すよ
うに、音声情報とハ独立して伝送されるのが従来からの
方式である。
動画像であるが、かかる動画像情報は、第12図に示すよ
うに、音声情報とハ独立して伝送されるのが従来からの
方式である。
即ち、入力画像は、送信側においてTVカメラ61により
アナログ画像信号として発生され、この画像信号は画像
符号化装置62でディジタル信号に変換されて符号化され
圧縮されて受信側に送られる。受信側では、画像復号化
装置63により受信画像を下の信号に復号化してディスプ
レイ64に出力画像として表示する。
アナログ画像信号として発生され、この画像信号は画像
符号化装置62でディジタル信号に変換されて符号化され
圧縮されて受信側に送られる。受信側では、画像復号化
装置63により受信画像を下の信号に復号化してディスプ
レイ64に出力画像として表示する。
また、入力音声は送信側でマイク65で音声情報として
得た後、音声符号化装置66で音声特有の符号化を行なっ
て圧縮した後、受信側で音声復号化装置67で複合化され
てスピーカー68から出力音声として得られる。
得た後、音声符号化装置66で音声特有の符号化を行なっ
て圧縮した後、受信側で音声復号化装置67で複合化され
てスピーカー68から出力音声として得られる。
しかしながら、このような従来から一般的に行なわれ
てきた動画像の伝送方式は、動画像の情報量が大きいた
め、低ビットレートの通信回線を利用することができ
ず、コストが高くなってしまうとともに、公衆電話回線
を利用したTV電話等の適用には程遠いという問題点があ
った。
てきた動画像の伝送方式は、動画像の情報量が大きいた
め、低ビットレートの通信回線を利用することができ
ず、コストが高くなってしまうとともに、公衆電話回線
を利用したTV電話等の適用には程遠いという問題点があ
った。
そこで、送信側からは例えば顔の静止情報をあらかじ
め送っておき、受信側で、送信側から送られてくる音声
情報からこの音声情報に適合するように、口の部分など
を変形させて、画像を再生することも考えられる。
め送っておき、受信側で、送信側から送られてくる音声
情報からこの音声情報に適合するように、口の部分など
を変形させて、画像を再生することも考えられる。
［発明が解決しようとする課題］ しかしなが、このような手段では、口を開いた顔画像
を合成する際に、口内部（歯の部分とか舌の部分など）
の画像が表示されていないため、顔の動画像としては不
自然さが残ってしまうという問題点がある。
を合成する際に、口内部（歯の部分とか舌の部分など）
の画像が表示されていないため、顔の動画像としては不
自然さが残ってしまうという問題点がある。
本発明は、このような問題点を解決しようとするもの
で、初期化時に伝送させる少数の初期化データを用いる
ことにより、通信中に伝送される音声情報に応じて、受
信側で顔の動画像を合成して表示するものにおいて、受
信側で、送信側から送られてくる音声情報からこの音声
情報に適合するように、口の部分を変形させて、画像を
再生する際に、音声情報に対応した口内部画像をも表示
できるようにして、より自然な顔の動画像を合成できる
ようにした、顔同画像合成システムを提供することを目
的としている。
で、初期化時に伝送させる少数の初期化データを用いる
ことにより、通信中に伝送される音声情報に応じて、受
信側で顔の動画像を合成して表示するものにおいて、受
信側で、送信側から送られてくる音声情報からこの音声
情報に適合するように、口の部分を変形させて、画像を
再生する際に、音声情報に対応した口内部画像をも表示
できるようにして、より自然な顔の動画像を合成できる
ようにした、顔同画像合成システムを提供することを目
的としている。
［課題を解決するための手段］ 第１図は本発明の原理ブロック図である。
第１図において、１は静止顔画像データ記憶手段で、
この静止顔画像データ記憶手段１は、初期化時に送られ
る１フレーム分の静止顔画像データを記憶するものであ
る。
この静止顔画像データ記憶手段１は、初期化時に送られ
る１フレーム分の静止顔画像データを記憶するものであ
る。
２は口形２次元パッチモデル変形手段で、この口形２
次元パッチモデル変形手段２は、口を含む口周辺の形状
をパッチの集合で表した口２次元パッチモデルを、入力
された音声情報に対応する口形符号に応じて変形するも
のである。
次元パッチモデル変形手段２は、口を含む口周辺の形状
をパッチの集合で表した口２次元パッチモデルを、入力
された音声情報に対応する口形符号に応じて変形するも
のである。
３は口内部画像データ記憶手段で、この口内部画像デ
ータ記憶手段３は、口画像のうち口腔内部部分を切り出
した口内部画像データを、全口形符号の数だけ記憶する
もので、このために複数（M;自然数）の口内部画像メモ
リ３−１〜３−Ｍを有している。
ータ記憶手段３は、口画像のうち口腔内部部分を切り出
した口内部画像データを、全口形符号の数だけ記憶する
もので、このために複数（M;自然数）の口内部画像メモ
リ３−１〜３−Ｍを有している。
４は口内部２次元パッチモデル変形手段で、この口内
部２次元パッチモデル変形手段４は、口形符号に応じて
切り替わった切替手段５を介して入力された口内部画像
データ記憶手段３から選択された口内部画像データを、
口内部形状をパッチの集合で表わした口内部２次元パッ
チモデルにあてはめて口形符号に応じた口内部画像とし
て出力するものである。
部２次元パッチモデル変形手段４は、口形符号に応じて
切り替わった切替手段５を介して入力された口内部画像
データ記憶手段３から選択された口内部画像データを、
口内部形状をパッチの集合で表わした口内部２次元パッ
チモデルにあてはめて口形符号に応じた口内部画像とし
て出力するものである。
５は切替手段で、この切替手段５は、口形符号に応じ
てこの口形符号に対応する口内部画像メモリ３−ｉ（ｉ
＝1,2,・・,M）と口内部２次元パッチモデル変換手段４
とを接続するように切り替わるものである。
てこの口形符号に対応する口内部画像メモリ３−ｉ（ｉ
＝1,2,・・,M）と口内部２次元パッチモデル変換手段４
とを接続するように切り替わるものである。
６は画像合成手段で、この画像合成手段６は、静止顔
画像データ記憶手段1,口形２次元パッチモデル変形手段
２および口内部２次元パッチモデル変形手段４からの画
像情報を合成するものである。
画像データ記憶手段1,口形２次元パッチモデル変形手段
２および口内部２次元パッチモデル変形手段４からの画
像情報を合成するものである。
［作 用］ 上述の構成により、まず、初期化時において、送信側
から静止顔画像データ手段１へ静止顔画像データが送ら
れるが、その後は、口形２次元パッチモデルが静止顔画
像と整合するように、静止顔画像データ記憶手段１の静
止顔画像データと口形２次元パッチモデル変形手段２の
口形２次元パッチモデルのデータとのマッングが施され
るとともに、口内部画像が全口形符号に対して口内部２
次元パッチモデルに整合するように、口内部２次元パッ
チモデル変形手段４の口内部２次元パッチモデルと口内
部画像データ記憶手段３の口内部画像データとのマッピ
ングが口形符号の全てについて施される。
から静止顔画像データ手段１へ静止顔画像データが送ら
れるが、その後は、口形２次元パッチモデルが静止顔画
像と整合するように、静止顔画像データ記憶手段１の静
止顔画像データと口形２次元パッチモデル変形手段２の
口形２次元パッチモデルのデータとのマッングが施され
るとともに、口内部画像が全口形符号に対して口内部２
次元パッチモデルに整合するように、口内部２次元パッ
チモデル変形手段４の口内部２次元パッチモデルと口内
部画像データ記憶手段３の口内部画像データとのマッピ
ングが口形符号の全てについて施される。
このような初期化時の操作の後、通信が行なわれるわ
けであるが、かかる通信時においては、口形２次元パッ
チモデルが、入力された音声情報に対応する口形符号に
応じて変形されるとともに、口形符号に応じて切替手段
５が切り替わり、この切替手段５を介して入力された口
内部画像データが、口内部形状をパッチの集合で表わし
た口内部２次元パッチモデルにあてはめられ、口形符号
に応じた口内部画像として出力される。即ち、各口形符
号に応じて、対応する口内部画像のマッピングデータか
ら口内部画像が再生される。
けであるが、かかる通信時においては、口形２次元パッ
チモデルが、入力された音声情報に対応する口形符号に
応じて変形されるとともに、口形符号に応じて切替手段
５が切り替わり、この切替手段５を介して入力された口
内部画像データが、口内部形状をパッチの集合で表わし
た口内部２次元パッチモデルにあてはめられ、口形符号
に応じた口内部画像として出力される。即ち、各口形符
号に応じて、対応する口内部画像のマッピングデータか
ら口内部画像が再生される。
そして、画像合成手段６にて、静止顔画像データ記憶
手段1,口形２次元パッチモデル変形手段２および口内部
２次元パッチモデル変形手段４からの画像情報が合成さ
れる。
手段1,口形２次元パッチモデル変形手段２および口内部
２次元パッチモデル変形手段４からの画像情報が合成さ
れる。
これにより、通信中に伝送される音声情報に応じて、
受信側で、顔の動画像が合成されて表示される。
受信側で、顔の動画像が合成されて表示される。
［実施例］ 以下、図面を参照して本発明の実施例を説明する。
第２図は本発明の一実施例を示すブロック図で、この
実施例では、送信部10と受信部20とが設けられ、送信部
10は、顔画像入力を画像処理する画像処理部11と、音声
入力を符号化する音声符号化部12とを含んでいる。
実施例では、送信部10と受信部20とが設けられ、送信部
10は、顔画像入力を画像処理する画像処理部11と、音声
入力を符号化する音声符号化部12とを含んでいる。
また、受信部20は、背景画メモリ（静止顔画像データ
記憶手段）19,音声復号化部21,音声認識部22,口形モデ
ル変形部36,制御点座標メモリ（テーブル）23,瞼形モデ
ル変形部24,合成部25,補間点計算部27,ランダムパルス
発生部28,座標テーブル制御部29を有している。
記憶手段）19,音声復号化部21,音声認識部22,口形モデ
ル変形部36,制御点座標メモリ（テーブル）23,瞼形モデ
ル変形部24,合成部25,補間点計算部27,ランダムパルス
発生部28,座標テーブル制御部29を有している。
ここで、背景画メモリ19は、初期化時に送信側より送
られた１フレーム分の顔画像の静止画データ（例えば口
を閉じた顔画像データ）を記憶し格納するものである。
られた１フレーム分の顔画像の静止画データ（例えば口
を閉じた顔画像データ）を記憶し格納するものである。
また、音声復号化部21は送信部10で符号化された音声
符号を復号化するもので、音声認識部22は音声復号化21
から出力された音声信号を音声認識するものである。
符号を復号化するもので、音声認識部22は音声復号化21
から出力された音声信号を音声認識するものである。
口形モデル変形部36は、音声認識部22を通じて入力さ
れた音声情報に対応する口形符号に応じて口形を変形す
るもので、第３図に示すごとく、コードブック361,口外
部モデル変形部362,口内部画像データ記憶部363,口内部
モデル変形部364,切替スイッチ部365,合成画像メモリ36
6をそなえている。
れた音声情報に対応する口形符号に応じて口形を変形す
るもので、第３図に示すごとく、コードブック361,口外
部モデル変形部362,口内部画像データ記憶部363,口内部
モデル変形部364,切替スイッチ部365,合成画像メモリ36
6をそなえている。
コードブック361は、音声認識部22から次々と出力さ
れる音素符号（音声の基本構成単位である母音又は子音
などから成るもの）から１組の口形パラメータ値を逐次
選択するものであるが、このコードブック361には、第
４図に示すように、特定の話者が各音素I,II…,mを発生
した場合の口の形状をパラメータＩ（例えば口の横
幅）,II（例えば唇の厚さ），…,n（例えば口の縦幅）
として数値化したテーブルが予めその個人情報として記
憶されている。
れる音素符号（音声の基本構成単位である母音又は子音
などから成るもの）から１組の口形パラメータ値を逐次
選択するものであるが、このコードブック361には、第
４図に示すように、特定の話者が各音素I,II…,mを発生
した場合の口の形状をパラメータＩ（例えば口の横
幅）,II（例えば唇の厚さ），…,n（例えば口の縦幅）
として数値化したテーブルが予めその個人情報として記
憶されている。
また、口外部モデル変形部362は、コードブック361で
逐次選択された１組の口形パラメータ値に応じて、口を
含む口周辺の形状を第７図に示すように複数（この例で
は26）のパッチR1〜R26の集合で表わした口形２次元パ
ッチモデルを、各パッチR1〜R26の頂点を制御点として
変形することにより、口外部モデル画像を変形するもの
であり、例えば、上記の音素I,II,IIIに対する口画像の
一例を模式的に示すと、第６図（ａ），（ｂ），（ｃ）
のようになる。
逐次選択された１組の口形パラメータ値に応じて、口を
含む口周辺の形状を第７図に示すように複数（この例で
は26）のパッチR1〜R26の集合で表わした口形２次元パ
ッチモデルを、各パッチR1〜R26の頂点を制御点として
変形することにより、口外部モデル画像を変形するもの
であり、例えば、上記の音素I,II,IIIに対する口画像の
一例を模式的に示すと、第６図（ａ），（ｂ），（ｃ）
のようになる。
従って、これらのコードブック361,口外部モデル変形
部362は、口形２次元パッチモデルを、入力された音声
情報に対応する口形符号を応じて変形する口形２次元パ
ッチモデル変形手段を構成する。
部362は、口形２次元パッチモデルを、入力された音声
情報に対応する口形符号を応じて変形する口形２次元パ
ッチモデル変形手段を構成する。
なお、口外部モデル変形部362は、初期化時に、個人
情報として予めその特定話者の１画面（１フレーム）分
の口画像データを背景画メモリ19を介してもらい、これ
を口の幾何学的形状の骨組となるパッチ・モデルにマッ
ピングしたものを口形モデル画像として記憶しておくの
が、このように、最初の送信部10から口部分の画像を１
画面分送っておく場合でも、コードブック361は予め作
っておく必要がある。
情報として予めその特定話者の１画面（１フレーム）分
の口画像データを背景画メモリ19を介してもらい、これ
を口の幾何学的形状の骨組となるパッチ・モデルにマッ
ピングしたものを口形モデル画像として記憶しておくの
が、このように、最初の送信部10から口部分の画像を１
画面分送っておく場合でも、コードブック361は予め作
っておく必要がある。
口内部画像データ記憶部363は、口画像のうち口腔内
部部分（歯の部分や舌の部分など）を切り出した口内部
画像データを、全口形符号の数（Ｍ）だめ記憶するもの
で、このために複数（Ｍ）の口内部画像メモリ363−１
〜363−Ｍを有している。なお、この場合の各口形符号
1,2,・・,Mの口内部画像の例を示すと、第９図の下段部
のようになる。
部部分（歯の部分や舌の部分など）を切り出した口内部
画像データを、全口形符号の数（Ｍ）だめ記憶するもの
で、このために複数（Ｍ）の口内部画像メモリ363−１
〜363−Ｍを有している。なお、この場合の各口形符号
1,2,・・,Mの口内部画像の例を示すと、第９図の下段部
のようになる。
口内部モデル変形部364は、口形符号ｉ（ｉ＝1,2,・
・,M）に応じて切り替わった切替スイッチ部365を介し
て入力された口内部画像データ記憶部363から選択され
た口内部画像データを、口内部形状を第８図に示すよう
に複数（この例では８）のパッチS1〜S8の集合で表わし
た口内部２次元パッチモデルにあてはめて、口形符号に
応じた口内部画像として出力するものである。その様子
を模式的に示すと、第９図のようになる。
・,M）に応じて切り替わった切替スイッチ部365を介し
て入力された口内部画像データ記憶部363から選択され
た口内部画像データを、口内部形状を第８図に示すよう
に複数（この例では８）のパッチS1〜S8の集合で表わし
た口内部２次元パッチモデルにあてはめて、口形符号に
応じた口内部画像として出力するものである。その様子
を模式的に示すと、第９図のようになる。
切替スイッチ部365は、口形符号ｉに応じてこの口形
符号に対応する口内部画像メモリ363−ｉと口内部モデ
ル変形部の364とを接続するように切り替わるものであ
る。
符号に対応する口内部画像メモリ363−ｉと口内部モデ
ル変形部の364とを接続するように切り替わるものであ
る。
合成画像メモリ366は、口外部モデル変形部362および
口内部モデル変形部364からの画像情報を合成するもの
である。
口内部モデル変形部364からの画像情報を合成するもの
である。
なお、この場合も、初期化時において、口形２次元パ
ッチモデル（第７図参照）が静止顔画像と整合するよう
に、静止顔画像データと口形２次元パッチモデルのデー
タとのマッピングを施すほか、口内部画像が全口形符号
に対して口内部２次元パッチモデル（第８図参照）に整
合するように、口内部２次元パッチモデルと口内部画像
データとのマッピングを口形符号の全てについて施して
おく。
ッチモデル（第７図参照）が静止顔画像と整合するよう
に、静止顔画像データと口形２次元パッチモデルのデー
タとのマッピングを施すほか、口内部画像が全口形符号
に対して口内部２次元パッチモデル（第８図参照）に整
合するように、口内部２次元パッチモデルと口内部画像
データとのマッピングを口形符号の全てについて施して
おく。
次に、第２図に示す補間計算部27は、静止画データに
対応する瞼形状モデル（第10図参照）の全頂点P1〜P8の
座標データを初期化時に受けて、まばたき開始から終了
までの各フレーム時点での制御点P2,P3,P4の座標を線形
補間計算し、そのデータを制御点座標メモリ23へ送るも
のである。
対応する瞼形状モデル（第10図参照）の全頂点P1〜P8の
座標データを初期化時に受けて、まばたき開始から終了
までの各フレーム時点での制御点P2,P3,P4の座標を線形
補間計算し、そのデータを制御点座標メモリ23へ送るも
のである。
すなわち、この瞼形状モデルは、第10図に示すごと
く、８個の頂点P1〜P8（各点がx,yの２次元座標値）を
もつ）と、これらの頂点P1〜P8をつないでできる６個の
三角形パッチT1〜T6とで構成されるが、この瞼形状モデ
ルは、まばたきの動作を合成するため、P2,P3,P4を制御
点（x,y座標を変化させる点）とし、その他の５点は不
動（固定点）としている。
く、８個の頂点P1〜P8（各点がx,yの２次元座標値）を
もつ）と、これらの頂点P1〜P8をつないでできる６個の
三角形パッチT1〜T6とで構成されるが、この瞼形状モデ
ルは、まばたきの動作を合成するため、P2,P3,P4を制御
点（x,y座標を変化させる点）とし、その他の５点は不
動（固定点）としている。
そして、この補間点計算部27においては、初期化時
に、８個の頂点P1〜P8の座標のほかに、P2,P3,P4の最下
点を示すP2′,P3′,P4′の３点の座標も与えられ、あら
かじめ与えられたまばたき１回当りのフレーム数Ｎよ
り、P2→P2′→P2,P3→P3′→P3,P4→P4′→P4の各区間
を線形補間するようになっている。
に、８個の頂点P1〜P8の座標のほかに、P2,P3,P4の最下
点を示すP2′,P3′,P4′の３点の座標も与えられ、あら
かじめ与えられたまばたき１回当りのフレーム数Ｎよ
り、P2→P2′→P2,P3→P3′→P3,P4→P4′→P4の各区間
を線形補間するようになっている。
制御点座標メモリ23は、瞼形モデル画像の瞼パラメー
タを基に瞼のまばたき動作を記憶するものである。具体
的には、上記補間点計算部27で補間計算されたまばたき
開始から終了までの各フレーム時点における３つの制御
点P2,P3,P4の座標をテーブルの形で、制御点座標メモリ
23に記憶領域に保管するのである。この制御点座標テー
ブルの構成例を第５図に示す。
タを基に瞼のまばたき動作を記憶するものである。具体
的には、上記補間点計算部27で補間計算されたまばたき
開始から終了までの各フレーム時点における３つの制御
点P2,P3,P4の座標をテーブルの形で、制御点座標メモリ
23に記憶領域に保管するのである。この制御点座標テー
ブルの構成例を第５図に示す。
ランダムパルス発生部28は、まばたき信号（ランダム
パルス信号）を発生するものである。
パルス信号）を発生するものである。
また、座標テーブル制御部29は、ランダムパルス発生
部28からまばたき開始信号を受けた時点から制御点座標
メモリ23の座標テーブル内の全頂点データを順次読み出
し、各フレームごとに瞼形モデル変形部24へと転送する
ものである。
部28からまばたき開始信号を受けた時点から制御点座標
メモリ23の座標テーブル内の全頂点データを順次読み出
し、各フレームごとに瞼形モデル変形部24へと転送する
ものである。
瞼形モデル変形部24は、顔の瞼部分の幾何学的形状を
示す瞼形パラメータによって定義される瞼形モデル画像
を記憶するもので、この瞼形モデル変形部24では、制御
点座標メモリ23から瞼パラメータを取り出し、この瞼パ
ラメータに基づいて瞼形モデル画像を変形するようなも
のである。具体的には、座標テーブル制御部29の作用に
より、制御点座標メモリ23から順次送られてくる瞼パラ
メータを取り込んで、この瞼パラメータに基づいて瞼形
モデル画像を形成するのである。ここで、この瞼形モデ
ル画像の変形の様子を模式的に示すと、第11図（ａ）〜
（ｃ）のようになる。
示す瞼形パラメータによって定義される瞼形モデル画像
を記憶するもので、この瞼形モデル変形部24では、制御
点座標メモリ23から瞼パラメータを取り出し、この瞼パ
ラメータに基づいて瞼形モデル画像を変形するようなも
のである。具体的には、座標テーブル制御部29の作用に
より、制御点座標メモリ23から順次送られてくる瞼パラ
メータを取り込んで、この瞼パラメータに基づいて瞼形
モデル画像を形成するのである。ここで、この瞼形モデ
ル画像の変形の様子を模式的に示すと、第11図（ａ）〜
（ｃ）のようになる。
合成部25は、口形モデル変形部36から発生された画像
口画像（この画像は口周辺部を含む口外形画像と歯や歯
ぐきの部分等を含む口内部画像とを合成されたものであ
る）および瞼形モデル変形部24から発生された瞼を、背
景画メモリ19に記憶された静止顔画像の口部分および瞼
部分以外の画像と合成するものである。
口画像（この画像は口周辺部を含む口外形画像と歯や歯
ぐきの部分等を含む口内部画像とを合成されたものであ
る）および瞼形モデル変形部24から発生された瞼を、背
景画メモリ19に記憶された静止顔画像の口部分および瞼
部分以外の画像と合成するものである。
次に、この実施例の動作を説明する。
音声入力は音声符号化部12で符号化されて受信部20に
伝送されるが、この音声符号は音声復号化部21を復号化
して音声として出力される。
伝送されるが、この音声符号は音声復号化部21を復号化
して音声として出力される。
また、一方において、この音声出力は音声認識部22に
送られ、その音素符号が逐次抽出されてコードブック36
1に送られる。コードブック361では、入力した音素符号
に基づいて第４図に示すコードブックの中から対応する
口形に関する１組のパラメータ値I,II,…,nを選択す
る。そして、これらの選択された１組のパラメータ値に
より、予め記憶した口外部モデル画像を変形した口周辺
画像を口外部モデル変形部362で発生する。この結果、
発生された口画像と音声認識部22で抽出された音素との
対応関係は、例えば第６図（ａ），（ｂ），（ｃ）に示
すようになる。
送られ、その音素符号が逐次抽出されてコードブック36
1に送られる。コードブック361では、入力した音素符号
に基づいて第４図に示すコードブックの中から対応する
口形に関する１組のパラメータ値I,II,…,nを選択す
る。そして、これらの選択された１組のパラメータ値に
より、予め記憶した口外部モデル画像を変形した口周辺
画像を口外部モデル変形部362で発生する。この結果、
発生された口画像と音声認識部22で抽出された音素との
対応関係は、例えば第６図（ａ），（ｂ），（ｃ）に示
すようになる。
また、口形符号ｉに応じて切替スイッチ部365が切り
替わり、この切替スイッチ部365を介して入力された口
内部画像データが口内部２次元パッチモデルにあてはめ
られ、各口形符号ｉに応じた口内部画像として出力され
る。即ち、各口形符号に応じて、対応する口内部画像の
マッピングデータから口内部画像が再生される。その様
子を模式的に示すと、第９図のようになる。
替わり、この切替スイッチ部365を介して入力された口
内部画像データが口内部２次元パッチモデルにあてはめ
られ、各口形符号ｉに応じた口内部画像として出力され
る。即ち、各口形符号に応じて、対応する口内部画像の
マッピングデータから口内部画像が再生される。その様
子を模式的に示すと、第９図のようになる。
そして、合成画素メモリ366にて、口外部モデル変形
部362および口内部モデル変形部364からの画像情報が合
成されることにより、口画像がつくられる。
部362および口内部モデル変形部364からの画像情報が合
成されることにより、口画像がつくられる。
なお、初期化時には、第７図に示すような口形２次元
パッチモデルが静止顔画像と整合するように、これらの
静止顔画像データと口形２次元パッチモデルのテータと
のマッピングが施されるほか、口内部画像が全口形符号
に対して口内部２次元パッチモデル（第９図参照）に整
合するように、これらの口内部２次元パッチモデルと口
内部画像データとのマッピングが口形符号の全てについ
て施される。
パッチモデルが静止顔画像と整合するように、これらの
静止顔画像データと口形２次元パッチモデルのテータと
のマッピングが施されるほか、口内部画像が全口形符号
に対して口内部２次元パッチモデル（第９図参照）に整
合するように、これらの口内部２次元パッチモデルと口
内部画像データとのマッピングが口形符号の全てについ
て施される。
一方、ランダムパルス発生部28からは、ランダムは時
間間隔で、まばたき開始信号が発せられる。
間間隔で、まばたき開始信号が発せられる。
このようにランダムパルス発生部28からパルス列信号
が出力されると、座標テーブル制御部29では、このまば
たき開始信号を受けた時点から、制御点座標メモリ23の
座標テーブル内の全頂点データを読み出し、各フレーム
毎に瞼形モデル変形部24へと転送する。かかる転送はま
ばたき開始信号発生時から単位まばたき当りのフレーム
数が経過した時点で終了する。そして、瞼形モデル変形
部24では、上記の頂点データに従って、あらかじめ記憶
した瞼形モデル画像を変形した瞼画像を発生する。
が出力されると、座標テーブル制御部29では、このまば
たき開始信号を受けた時点から、制御点座標メモリ23の
座標テーブル内の全頂点データを読み出し、各フレーム
毎に瞼形モデル変形部24へと転送する。かかる転送はま
ばたき開始信号発生時から単位まばたき当りのフレーム
数が経過した時点で終了する。そして、瞼形モデル変形
部24では、上記の頂点データに従って、あらかじめ記憶
した瞼形モデル画像を変形した瞼画像を発生する。
このように変形して発生された口画像（この口画像は
口外部画像と口内部画像とを合成したものである）およ
び瞼画像は、その後、背景画メモリ19に記憶された静止
顔画像の口および瞼以外の画像と、合成部25で、合成さ
れて、顔全体の動画像として出力されることとなる。
口外部画像と口内部画像とを合成したものである）およ
び瞼画像は、その後、背景画メモリ19に記憶された静止
顔画像の口および瞼以外の画像と、合成部25で、合成さ
れて、顔全体の動画像として出力されることとなる。
これにより、顔動画の情報をより圧縮できるので、情
報量を大きく削減することができ、その結果、低ビット
レートの回線を利用した低廉な画像伝送方式を実現でき
るほか、再生画像の瞼部分が適当にまばたきをしなが
ら、更に入力音声情報に適合するように、口の部分を変
形させる際に、音声情報に対応した口内部画像をも表示
できるので、より自然な顔の動画像を合成できる。
報量を大きく削減することができ、その結果、低ビット
レートの回線を利用した低廉な画像伝送方式を実現でき
るほか、再生画像の瞼部分が適当にまばたきをしなが
ら、更に入力音声情報に適合するように、口の部分を変
形させる際に、音声情報に対応した口内部画像をも表示
できるので、より自然な顔の動画像を合成できる。
なお、上記の口形モデル変形部36での口形モデル画像
の変形および瞼形モデル変形部24での瞼形モデル画像の
変形に用いられる手法は、信学技報IE87−2,第87巻、第
19号,1987に記述されている。
の変形および瞼形モデル変形部24での瞼形モデル画像の
変形に用いられる手法は、信学技報IE87−2,第87巻、第
19号,1987に記述されている。
［発明の効果］ 以上詳述したように、本発明の顔動画像合成システム
によれば、顔動画の情報をより圧縮できるので、情報量
を大きく削減することができ、その結果、低ビットレー
トの回線を利用した低廉な画像伝送方式を実現できるほ
か、受信側で、送信側から送られてくる音声情報からこ
の音声情報に適合するように、口の部分を変形させて、
画像を再生する際に、音声情報に対応した口内部画像を
も表示できるので、より自然な顔の動画像を合成できる
という利点がある。
によれば、顔動画の情報をより圧縮できるので、情報量
を大きく削減することができ、その結果、低ビットレー
トの回線を利用した低廉な画像伝送方式を実現できるほ
か、受信側で、送信側から送られてくる音声情報からこ
の音声情報に適合するように、口の部分を変形させて、
画像を再生する際に、音声情報に対応した口内部画像を
も表示できるので、より自然な顔の動画像を合成できる
という利点がある。
【図面の簡単な説明】 第１図は本発明の原理ブロク図、 第２図は本発明の一実施例を示すブロック図、 第３図は口形モデル変形部のブロック図、 第４図はコードブックの構成図、 第５図は制御点座標テーブルの構成図、 第６図（ａ），（ｂ），（ｃ）は音素符号に対する口画
像を示す図、 第７図は口形２次元パッチモデルを示す図、 第８図は口内部２次元パッチモデルを示す図、 第９図は口内部画像の生成法を示す模式図、 第10図は瞼領域の形状モデル構成を示す図、 第11図（ａ），（ｂ），（ｃ）は瞼形モデルの画像の変
形を概念を説明する図、 第12図は従来の一般的な画像伝送方式を示す系統図であ
る。 図において、 １は静止顔画像データ記憶手段、 ２は口形２次元パッチモデル変形手段、 ３は口内部画像データ記憶手段、 ３−１〜３−Ｍは口内部画像メモリ、 ４は口内部２次元パッチモデル変形手段、 ５は切替手段、 ６は画像合成手段、 10は送信部、 11は画像処理部、 12は音声符号化部、 19は背景画メモリ、 20は受信部、 21は音声復号化部、 22は音声認識部、 23は制御点座標メモリ（テーブル）、 24は瞼形モデル変形部、 25は合成部、 27は補間点計算部、 28はランダムパルス発生部、 29は座標テーブル制御部、 36は口形モデル変形部、 361はコードブック、 362は口外部モデル変形部、 363は口内部画像データ記憶部、 363−１〜363−Ｍは口内部画像メモリ、 364は口内部モデル変形部、 365は切替スイッチ部、 366は合成画像メモリである。
像を示す図、 第７図は口形２次元パッチモデルを示す図、 第８図は口内部２次元パッチモデルを示す図、 第９図は口内部画像の生成法を示す模式図、 第10図は瞼領域の形状モデル構成を示す図、 第11図（ａ），（ｂ），（ｃ）は瞼形モデルの画像の変
形を概念を説明する図、 第12図は従来の一般的な画像伝送方式を示す系統図であ
る。 図において、 １は静止顔画像データ記憶手段、 ２は口形２次元パッチモデル変形手段、 ３は口内部画像データ記憶手段、 ３−１〜３−Ｍは口内部画像メモリ、 ４は口内部２次元パッチモデル変形手段、 ５は切替手段、 ６は画像合成手段、 10は送信部、 11は画像処理部、 12は音声符号化部、 19は背景画メモリ、 20は受信部、 21は音声復号化部、 22は音声認識部、 23は制御点座標メモリ（テーブル）、 24は瞼形モデル変形部、 25は合成部、 27は補間点計算部、 28はランダムパルス発生部、 29は座標テーブル制御部、 36は口形モデル変形部、 361はコードブック、 362は口外部モデル変形部、 363は口内部画像データ記憶部、 363−１〜363−Ｍは口内部画像メモリ、 364は口内部モデル変形部、 365は切替スイッチ部、 366は合成画像メモリである。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭62−120179（ＪＰ，Ａ) 特開 昭62−274962（ＪＰ，Ａ) 実開 昭62−34880（ＪＰ，Ｕ)
Claims (2)
- 【請求項１】初期化時に伝送される少数の初期化データ
を用いることにより、通信中に伝送される音声情報に応
じて、受信側で顔の動画像を合成して表示する顔動画像
合成システムにおいて、 該受信側に、 該初期化時に送られる１フレーム分の静止顔画像データ
を記憶する静止顔画像データ記憶手段（1,19）と、 口を含む口周辺の形状をパッチの集合で表わした口形２
次元パッチモデルを、入力された音声情報に対応する口
形符号に応じて変形する口形２次元パッチモデル変形手
段（2,361,362）と、 口画像のうち口腔内部部分を切り出した口内部画像デー
タを全口形符号の数だけ記憶する口内部画像データ記憶
手段（3,363）と、 口形符号に応じて該口内部画像データ記憶手段（3,36
3）から選択された口内部画像データを、口内部形状を
パッチの集合で表わした口内部２次元パッチモデルにあ
てはめて、該口形符号に応じた口内部画像として出力す
る口内部２次元パッチモデル変形手段（4,364）と、 該静止顔画像データ記憶手段（1,19），該口形２次元パ
ッチモデル変形手段（2,362）および該口内部２次元パ
ッチモデル変形手段（4,364）からの画像情報を合成す
る画像合成手段（3,366）とをそなえて構成されたこと
を 特徴とする、顔動画像合成システム。 - 【請求項２】該初期化時において、該口形２次元パッチ
モデルが該顔画像と整合するように該静止顔画像データ
と該口形２次元パッチモデルのデータとのマッピングを
施すとともに、該口内部画像が全口形符号に対して該口
内部形２次元パッチモデルに整合するように、該口内部
形２次元パッチモデルと該口内部画像データとのマッピ
ングを口形符号の全てについて施すことを特徴とする、
請求項１記載の顔動画像合成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63187702A JP2667455B2 (ja) | 1988-07-27 | 1988-07-27 | 顔動画像合成システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63187702A JP2667455B2 (ja) | 1988-07-27 | 1988-07-27 | 顔動画像合成システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0236687A JPH0236687A (ja) | 1990-02-06 |
| JP2667455B2 true JP2667455B2 (ja) | 1997-10-27 |
Family
ID=16210664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63187702A Expired - Fee Related JP2667455B2 (ja) | 1988-07-27 | 1988-07-27 | 顔動画像合成システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2667455B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3070073B2 (ja) | 1990-07-13 | 2000-07-24 | ソニー株式会社 | 音声信号に基づく形状制御方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02105681U (ja) * | 1989-02-08 | 1990-08-22 | ||
| JPH06121311A (ja) * | 1992-10-05 | 1994-04-28 | Casio Comput Co Ltd | 仮想現実空間供用システム |
| JP2773647B2 (ja) * | 1993-07-15 | 1998-07-09 | 日本電気株式会社 | 映像表示装置 |
| JP2611728B2 (ja) * | 1993-11-02 | 1997-05-21 | 日本電気株式会社 | 動画像符号化復号化方式 |
| US5426460A (en) * | 1993-12-17 | 1995-06-20 | At&T Corp. | Virtual multimedia service for mass market connectivity |
| US6330023B1 (en) * | 1994-03-18 | 2001-12-11 | American Telephone And Telegraph Corporation | Video signal processing systems and methods utilizing automated speech analysis |
| US7198078B2 (en) | 2003-07-04 | 2007-04-03 | Toyoda Gosei Co., Ltd. | Filler pipe |
-
1988
- 1988-07-27 JP JP63187702A patent/JP2667455B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3070073B2 (ja) | 1990-07-13 | 2000-07-24 | ソニー株式会社 | 音声信号に基づく形状制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0236687A (ja) | 1990-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5826234A (en) | Device and method for dubbing an audio-visual presentation which generates synthesized speech and corresponding facial movements | |
| JP2006330958A (ja) | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ | |
| JPS62120179A (ja) | 画像合成装置 | |
| US6208356B1 (en) | Image synthesis | |
| JPH089372A (ja) | 受信ビデオ信号のフレーム伝送速度を高める装置 | |
| JPH0823530A (ja) | 音声信号及び映像信号のストリームの処理方法及び装置 | |
| KR950030647A (ko) | 화상통신장치 | |
| WO2007076278A2 (en) | Method for animating a facial image using speech data | |
| KR20020022504A (ko) | 3차원 캐릭터의 동작, 얼굴 표정, 립싱크 및 립싱크된음성 합성을 지원하는 3차원 동영상 저작 도구의 제작시스템 및 방법 | |
| JPH03121688A (ja) | 画像信号の符号化・復号化器 | |
| JPH05153581A (ja) | 顔画像符号化方式 | |
| JP2667455B2 (ja) | 顔動画像合成システム | |
| JPH10247254A (ja) | 唇動きパラメータ発生装置 | |
| JP2005518581A (ja) | 漫画化トーキングヘッドを生成するための方法及びシステム | |
| EP0890168A1 (en) | Image synthesis | |
| EP0710929A2 (en) | Acoustic-assisted image processing | |
| JP3920889B2 (ja) | 画像合成装置 | |
| JPH01190187A (ja) | 画像伝送方式 | |
| KR100229538B1 (ko) | 얼글 움직임을 인코딩하기 위한 방법 및 장치한 방법 및 장치 | |
| JP2644789B2 (ja) | 画像伝送方式 | |
| JPH02196585A (ja) | 音声信号通信装置 | |
| JPH0216681A (ja) | 顔動画像合成用まばたき信号発生方式 | |
| JP2005130356A (ja) | テレビ電話システム及びその通信方法、並びに通信端末 | |
| JPH0888853A (ja) | メディア処理システム | |
| JP3854871B2 (ja) | 画像処理装置、画像処理方法、記録媒体及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |