JPH05153581A

JPH05153581A - 顔画像符号化方式

Info

Publication number: JPH05153581A
Application number: JP31805591A
Authority: JP
Inventors: Kazuya Horii; 和哉堀井
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1991-12-02
Filing date: 1991-12-02
Publication date: 1993-06-18

Abstract

(57)【要約】【目的】本発明は、処理が容易で、データ圧縮効率の
高い顔画像符号化方式を提供することを目的とする。【構成】顔原画像４０１は、表情分析４０２、表情パ
ラメータ変換４０３を経て、３次元モデル４０５ａに対
する、口以外の表情変形パラメータ４０４が求められ
る。一方、原音声１０１は特徴抽出１０２、音素認識１
０３を経て、口形状パラメータ変換１０４により、口形
状パラメータ１０５に変換される。前記表情変形パラメ
ータ４０４と口形状パラメータ１０５により、３次元モ
デル４０５ｂがモデル変形４０６され、輝度、色付加４
０７の処理を経て、復号画像４０８が得られる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像通信、あるい
は、画像蓄積等への応用を目的とした、顔画像データ圧
縮のための画像符号化方式に関するものである。

【０００２】

【従来の技術】近年、テレビ電話、テレビ会議等の画像
の狭帯域通信、あるいは、蓄積メデイア等への応用を目
指して、画像データ圧縮のための画像符号化方式の開
発、実用化が盛んに行われている。例えば、画像を小さ
いブロックに分割して、ブロック内画素を互いに無相関
な軸へ変換することにより冗長性を取り除く変換符号
化、あるいは、ブロック内の画素から構成されるベクト
ルを代表ベクトルに写像して、その代表ベクトルの番号
を符号化データとするベクトル量子化等様々な符号化方
式が存在する。しかしながら、前記、変換符号化、ベク
トル量子化に代表される従来の符号化方式は、総括する
と、画像における輝度、色、あるいは、色差などの空間
的な変化そのものを忠実に再現することを目的とした、
波形符号化に分類されるものであり、その符号化効率に
は限界がある。例えば、画像通信において、６４Ｋｂｐ
ｓ（ｂｐｓ：ビットパーセカンド、１秒間に送ることの
できるビット数）の伝送路で動画を送る場合、波形符号
化では、一般のテレビ放送と比較して、動き、画質とも
満足のいくものではない。そこで、最近、従来のデータ
圧縮の考え方を大きく転換させ、高画質、高効率を目指
した分析・合成符号化と呼ばれる画像符号化方式が研究
されている。分析・合成符号化は波形符号化の限界を越
えるものとして注目されはじめており、近年において
は、特に、テレビ電話、テレビ会議等への応用を目指し
て、人間の顔画像の分析・合成符号化の研究が盛んに行
われている。顔画像の分析・合成符号化においては、符
号化側と復号化側で、同じ顔画像の３次元モデルを所有
し、符号化側では、各画素値の集合として与えられる顔
画像データを分析して、３次元モデルに対する変形情報
を抽出し、符号化データとする。一方、復号化側では、
前記符号化データ、即ち、３次元モデルの変形情報に基
づき、予め所有する３次元モデルを変形させ、輝度や色
データを付加して、顔画像を再生する。

【０００３】さて、従来、顔画像を対象としたこの種の
分析・合成符号化方式の概念を示したものとしては、例
えば、信学論Ｂ−１Ｖｏｌ．Ｊ７２−Ｂ−１Ｎｏ．
３（１９８９）相澤・原島・斉藤「構造モデルを用いた
画像の分析合成符号化方式」に示されたものがある。図
４は、前記引用例に示されている図を、本発明との比較
を容易にするために修正して示したものである。図にお
いて、顔原画像４０１はカメラ、スキャナ等の画像入力
装置から入力される人間の顔画像、表情分析４０２は、
前記顔原画像４０１を入力データとし、表情を分析す
る。表情パラメータ変換４０３では、前記表情分析４０
２の出力データに基づき、３次元モデル４０５ａを基準
とした時の表情パラメータ４０４を抽出し、符号化デー
タとして出力する。一方、復号化側では、まず、受け取
った符号化データ、即ち、表情パラメータ４０４に基づ
き、モデル変形４０６において３次元モデル４０５ｂを
変形させる。さらに、輝度・色付加４０７では、変形後
のモデル画像に対して、画素毎に輝度・色をつけ、表示
するための復号画像４０８が生成される。

【０００４】次に動作について説明する。

【０００５】図４において、画像入力装置等から入力さ
れた人間の顔原画像４０１は、いわゆる、ビットマップ
画像と呼ばれるものであり、画像を構成する各画素毎に
画素値を持った、圧縮されていない状態のデジタル画像
である。この顔原画像４０１は、次段の表情分析４０２
において、まず、フィルタリング処理等を用いたノイズ
除去、輝度や色や顔の大きさ等の正規化、顔輪郭線の抽
出、あるいは、目、眉、鼻、口などの、顔を構成する各
要素の抽出処理が行われる。次に、抽出された各要素の
相対位置関係、輪郭線との相対位置関係、あるいは、各
要素の大きさ等の情報を用いて、表情の分析が行われ
る。表情の種類としては、例えば、典型的なものとし
て、無表情（中立）、喜び、怒り、驚き、哀しみ、恐
れ、嫌悪などがあるが、ここでは、「表情」を広義にと
らえ、瞳の向きやまばたき、あるいは頭部全体の動き等
についても含むものとする。ただし、現時点において
は、前記の喜怒哀楽等の表情を認識することはむづかし
い状況であるため、顔の各要素毎に基本となる動きパタ
ーンを数種類ずつ決め、その基本パターンを抽出してい
るのが現状である。たとえば、眉に関する基本パターン
としては、（１）眉の内側を上げる、（２）眉の外側を
上げる、（３）眉を下げる、などがある。さて、上記の
ようにして求められた表情分析データは、次に表情パラ
メータ変換４０３において、３次元モデル４０５ａの変
形パラメータに変換される。３次元モデル４０５ａは、
ワイヤー（線分）によって形状を表現する、例えば、図
５に示したようなワイヤーフレームモデルが使用され
る。各ワイヤーの始点、終点の座標は、予め、入力され
る顔原画像４０１に適合するように、拡大、縮小、平行
移動、回転等によって変換されている。即ち、顔原画像
４０１と図５のワイヤーフレームモデルは、重なるよう
に変換されており、当然のことながら、復号化側に対し
ても同様の変換情報が送られて３次元モデル４０５ｂ
は、３次元モデル４０５ａに全く等しく変形されてい
る。この状態において、前記表情分析４０２から表情分
析データが送られてくると、表情パラメータ抽出４０３
では、表情分析データを３次元モデル４０５ａ用の変形
パラメータに変換し、その変形のための表情パラメータ
４０４を最終的な符号化データとする。一方、復号化側
では、まず、前記表情パラメータ４０４によって、３次
元モデル４０５ｂを変形させることにより、３次元モデ
ル４０５ｂの表情を変更する。即ち、図５におけるワイ
ヤーフレームモデルの座標点が変換される。輝度・色付
加４０７においては、変形されたワイヤーフレームモデ
ルの各パッチ（線分によって囲まれる平面、あるいは曲
面）に対応した、輝度、色等の変形前の画素情報をピッ
クアップして、ワイヤフレームモデルにはりつけ、最終
的な復号画像４０８を得る。さて、上記においては、符
号化側から復号化側へ伝送される情報は３次元モデル変
形用の表情パラメータ４０４のみでよく、極端に送信デ
ータの圧縮が実現できる。なお、これは、文字の場合に
あてはめると、文字の原画像をそのまま送る場合と、文
字を認識してそのコード情報を送る場合に相当する。

【０００６】さらに、以上の従来例においては、画像の
みについて説明したが、実際のシステム、例えば、テレ
ビ電話、テレビ会議等においては、画像とともに、音声
の伝送も不可欠であり、符号化方式は個々独立であって
も、両者は切り放して考えるべきものではない。

【０００７】

【発明が解決しようとする課題】従来の顔画像符号化方
式は、以上のように処理されており、それだけでも、も
ちろん、有効な方式である。しかしながら、画像システ
ムを構築する場合において、画像からは切り放して考え
ることのできない音声を、全く別のものとしてとらえ、
両者、即ち、画像と音声の間にある相関性を全く利用し
ていないため、さらなるデータ圧縮の高効率化を見逃し
てしまっている。相関の存在とは、即ち、さらなるデー
タ圧縮の可能性があることに等しい。

【０００８】

【課題を解決するための手段】本発明は、音声の認識・
合成符号化課程において発生する情報、即ち、音声認識
情報を、画像の分析合成符号化課程における３次元モデ
ルの変形情報として利用する。

【０００９】

【作用】２次元情報である画像からの表情解析処理の一
部が、１次元情報である音声からの認識処理に置き代わ
るため、表情解析における処理時間が大幅に短縮され
る。

【００１０】

【実施例】（実施例１）以下、この発明の実施例につい
て図面を参照しながら説明する。

【００１１】図１は本発明の第１の実施例における顔画
像符号化方式の処理を示したブロック図である。図にお
いて、顔原画像４０１はカメラ、スキャナ等の画像入力
装置から入力される人間の顔画像、表情分析４０２は、
前記顔原画像４０１を入力データとし、表情を分析す
る。表情パラメータ変換４０３では、前記表情分析４０
２の出力データ、および、後記口形状パラメータ１０５
に基づき、３次元モデル４０５ａを基準とした時の表情
パラメータ４０４を抽出し、符号化データとして出力す
る。一方、復号化側では、まず、受け取った符号化デー
タ、即ち、表情パラメータ４０４に基づき、モデル変形
４０６において３次元モデル４０５ｂを変形させる。さ
らに、輝度・色付加４０７では、変形後のモデル画像に
対して、画素毎に輝度・色をつけ、表示するための復号
画像４０８が生成される。一方、音声系において、原音
声１０１はマイク等から入力される人間の音声、特徴抽
出１０２は前記原音声１０１から認識に必要な特徴量を
抽出する。音素認識１０３では、前記特徴抽出１０２の
出力をもとに、音素を認識する。音素認識結果１０６は
口形状パラメータ変換１０４において、３次元モデルの
口、あるいは、口周辺を変形させるための口形状パラメ
ータ１０５に変換され、モデル変形４０６で使用され
る。一方、前記音素認識１０３における音素認識結果１
０６は、音声合成１０７で逆に合成され、再生音声１０
８として出力される。

【００１２】次に動作について説明する。

【００１３】図１において、画像系の処理順序は従来例
の場合と殆ど同様であるので、個々の動作説明は省略す
る。以下、本発明が従来例と大きく異なる点、即ち、画
像と音声の間に存在する相関性を利用して画像の符号化
を行う点を中心に説明する。一般に、音声情報と画像情
報は、それぞれ独立した情報源として考えられ、ゆえ
に、データ圧縮の分野においても、これまでは独立に符
・復号化処理されていた。例えば、風景画面を音楽とと
もに映し出すテレビ画像を考えた場合、風景そのもの
と、同時に流される音声との間には、通常全く関連性は
ない。しかしながら、ある状況下においては、画像と音
声の間に相関性が生ずる場合がある。例えば、人間が話
している画像などが前記相関が生ずる場合に相当する。
即ち、図２に示すように、無表情の時には閉じていた唇
が、「あ」という音声を発する時には「あ」という口形
状に、また、「い」という音声を発する時には「い」と
いう口形状に変形する。従って、音声情報から音素を認
識すれば、その認識情報を使用して顔画像における口形
状を変形させることができる。

【００１４】図１において、特徴抽出１０２は、マイク
等から入力された原音声１０１を、ある一定の間隔で周
波数分析し、音素の特徴を抽出する。なお、ここで言う
「音素」とは、音韻や音節などの総称である。また、特
徴抽出１０２では、音声の有無を判別し、音声が存在す
る時のみ音素の特徴抽出を行う。次に、音素認識１０３
では、前記特徴抽出１０２で得られた音素の特徴を、予
め決めてある音素の標準パターンと比較して音素を認識
する。音素の標準パターンは、個人差があるため、話者
に応じて適応的に学習、書換えが行われる場合もある。
音素認識結果１０６には、例えば、５０音の他に継続時
間、音の高低、強弱、あるいは、包絡線等の音韻的な情
報も含まれる。こうして得られた音素認識結果１０６
は、従来、表情分析４０２、および、表情パラメータ変
換４０３の処理を経て抽出された表情パラメータ４０４
の一部として、モデル変形４０６に送られ、３次元モデ
ル４０５ｂを変形させる。輝度、色付加４０７におい
て、変形後のモデルに輝度、色等の画素値をはり付け、
復号画像４０８とするのは従来例の場合と全く同様であ
る。また、音素認識結果１０６は、復号側に送られ、音
声合成１０７において合成され、再生音声１０８となっ
てスピーカ等から出力される。

【００１５】（実施例２）図３は、本発明の第２の実施
例における顔画像符号化方式の処理を示したブロック図
である。

【００１６】本実施例が上記第１の実施例と相違する点
は、上記第１の実施例が、前記音素認識１０３、口形状
パラメータ変換１０４の処理を経て抽出された口形状パ
ラメータ１０５を、直接３次元モデルの変形に使用する
のに対して、本実施例では口形状パラメータ１０５か
ら、３次元モデルの口周辺を局部的に変形させ、原画像
との差分をとり、この差分から３次元モデルの変形量、
即ち、口周辺の表情パラメータ４０４の補正値を求める
ようにした点である。図３において、口形状パラメータ
１０５はモデル局部変形１０９によって、３次元モデル
の口周辺を局部的に変形させ、顔原画像４０１との間で
差分が取られる。この差分は実際の顔原画像４０１と、
復号画像の間の差であるから、両者は小さい方が好まし
い。そこで、既に求められている表情パラメータに対す
る補正値を、口形状パラメータ予測１１０において前記
差分から予測し、補正後の表情パラメータを最終的な表
情パラメータ４０４とする。以下、第１の実施例と同様
な処理が行われる。

【００１７】なお、以上説明した本発明による実施例の
動作は、顔原画像に付随する音声情報が存在する場合の
ものであり、音声情報が存在しない場合には、顔の目や
鼻等の他の部分と同様、顔原画像から表情分析されて口
形状パラメータが求められる。上記の動作の切り替え
は、音声情報の有無を検出する特徴抽出１０２がこれを
行う。

【００１８】

【発明の効果】以上説明したように本発明によれば、２
次元空間情報としての顔画像の表情分析に比べ、１次元
情報として処理の容易な音声認識の結果を利用して、３
次元モデルにおける口形状の変形を行うため、顔画像の
符号化、具体的には、表情分析に要する時間が大幅に短
縮される。さらに、第２の実施例では、上記の効果に加
えて、より原画像に近い画像の再現が可能となる。

【００１９】なお、上記では、３次元モデルを使用する
場合を例にとり説明したが、２次元モデルであっても同
様の効果が得られる。

【００２０】また、上記本発明による実施例において、
音声認識は、音声自体の符号化、伝送のために存在する
ものであるため、画像と音声の両方を扱うシステムであ
れば、負担になるものではない。あるいは、上記では、
音声の符号化方式として音声認識、合成による方法を例
にとったが、音声合成が存在せず音声認識処理のみの場
合でも本発明の効果は変わらない。この場合、音声自体
は別の符号化方式、たとえば、波形符号化等を用いて符
号化してもよい。さらに、上記では、画像符号化方式
として、分析合成符号化のみを使用する場合を例にとっ
たが、従来の波形符号化方式と分析合成符号化方式を組
み合わせた混合方式であっても、同様の効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例による顔画像符号化方
式の処理ブロックを示した図である。

【図２】本発明の第１の実施例による顔画像符号化方
式において、音声と画像の相関を直感的に説明した図で
ある。

【図３】本発明の第２の実施例による顔画像符号化方
式の処理ブロックを示した図である。

【図４】従来例における顔画像符号化方式の処理ブロ
ックを示した図である。

【図５】従来例、および、本発明の実施例における顔
画像符号化方式の３次元モデル用ワイヤーフレームモデ
ルを示した図である。

【符号の説明】

１０１原音声１０２特徴抽出１０３音素認識１０４口形状パラメータ変換１０５口形状パラメータ１０６音素認識結果１０７音声合成１０８再生音声１０９モデル局部変形１１０口形状パラメータ予測４０１顔原画像４０２表情分析４０３表情パラメータ変換４０４表情パラメータ４０５３次元モデル４０６モデル変形４０７輝度・色付加４０８復号画像

Claims

【特許請求の範囲】

【請求項１】符号化側、および、復号化側において、
同様に、顔画像の２次元、あるいは、３次元モデルを所
有し、符号化側では顔原画像から表情分析を行い、前記
２次元、あるいは、３次元モデルの変形情報を出力し、
復号化側では前記変形情報をもとに、２次元、あるい
は、３次元モデルを変形させて画像を合成する顔画像符
号化方式において、顔原画像に付随する音声情報が存在する場合には、該音
声情報より音素を認識して、３次元モデルにおける口、
および、口周辺の変形情報として使用し、音声情報が存在しない場合には、原画像から認識した変
形情報のみを使用して符号化を行うことを特徴とする顔
画像符号化方式。
【請求項２】前記音素認識結果から抽出した、顔画像
における口、および、口周辺の変形情報を基に合成した
画像と、入力された原画像との差分値から、２次元、あ
るいは、３次元モデルの変形情報を補正することを特徴
とする請求項１記載の顔画像符号化方式。