JP2502176B2

JP2502176B2 - 画像信号の符号化器及びその復号化器

Info

Publication number: JP2502176B2
Application number: JP23927490A
Authority: JP
Inventors: 隆浩福原; 篤道村上
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1990-09-10
Filing date: 1990-09-10
Publication date: 1996-05-29
Anticipated expiration: 2011-05-29
Also published as: JPH04151988A

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、画像情報を高能率に伝送する画像信号の
符号化器及びその復号化器に関するものである。

〔従来の技術〕

第11図は例えば電子情報通信学会論文誌Ｂ−1vol.J72
−Ｂ−1 No.3 pp200〜207（1989.3）に示された従来の
分析合成符号化方式の概念図であり、（１）は符号化
器、（２）は復号化器、（３）は３次元構造モデル、
（100）は入力画像信号、（200）は分析パラメータ情
報、（300）は出力画像信号、（400）は３次元構造モデ
ル情報である。

次に動作について説明する。まず、入力画像信号（10
0）に対して符号化器（１）では、３次元構造モデル
（３）を用いて対象となる被写体の分析を行い、分析パ
ラメータ情報（200）を出力する。他方、復号化器
（２）では、同じく３次元構造モデル（３）を用いて該
分析パラメータ（200）より被写体画像の分析を行い、
出力画像信号（300）を得る。

ここで、入力画像が人物の肩上の顔画像の場合は、第
12図のような頭部モデルを数多くの３角形パッチで構成
した３次元構造モデル（３）を用意し、入力画像中の被
写体画像に対して第13図のように整合する。連続する入
力画像中の被写体の動きや表情変化等に対しては、該３
次元構造モデル（３）の変形処理、３次元変形処理等に
よって、分析パラメータ情報（200）を得、これを符号
化器（１）の出力として復号化器（２）側に伝送するこ
とになる。

〔発明が解決しようとする課題〕

従来の分析合成符号化技術を用いた画像伝送方式は以
上のように構成されているので、人物頭部の３次元構造
モデルの場合、頭部を構成する各部位（眼、口、髪等）
ごとの構造モデルを有しないため、入力画像中の被写体
画像の自然な動きを分析することが困難であるという問
題点があった。

また、従来、特開昭63−299680号及び特開昭62−1075
83号公報には、入力画像を背景画と動きのない動画に分
離して伝送することにより、少ない符号量の画像信号の
符号化及び復号化を行う技術が開示されているが、画像
の自然な動きを分析することには不適で、符号量の一層
の削減が要求される。

この発明は上記のような問題点を解決するためになさ
れたもので、被写体画像を構成する各部位ごとの３次元
構造モデルを階層構造化し、各構造モデル単位に分析及
び合成を実現することにより、入力画像中の被写体画像
に複雑な動きがあった場合においても、階層化された構
造モデル単位に動きを分析でき、その結果、常に動きの
自由度が高く、低レートの画像伝送を実現する画像信号
の復号化器及びその復号化器を得ることを目的とするも
のである。

〔課題を解決するための手段〕

この発明に係る画像信号の符号化器及びその復号化器
は、符号化器側に、被写体画像の多次元構造モデルを階
層構造化して登録してなる多次元階層構造モデルデータ
ベースと、上記多次元構造モデルを入力画像信号より分
離抽出された被写体画像の画像信号サイズに整合して更
新多次元構造モデルを得るモデル整合部と、上記更新多
次元構造モデルの構成要素の濃淡値を抽出してその濃淡
値に応じた濃淡パラメータ情報を出力する濃淡情報抽出
部と、前フレームの更新多次元構造モデルと現フレーム
の更新多次元構造モデルとの間の多次元階層化された構
造モデル単位に動きを検出して動き情報及び回転・並進
運動パラメータ情報を出力する動き検出部と、被写体画
像の各構成要素の動き情報の代表的パターンをインデッ
クスを付与して登録してなるパターン登録データベース
と、上記動き検出部からの動き情報と上記パターン登録
データベース内のパターンとのベクトル量子化によるマ
ッチング処理に基づいて最も類似した動き情報のパター
ンのインデックス情報を出力するパターンマッチング部
と、上記動き情報のインデックス情報及び回転・並進運
動パラメータ情報と上記濃淡パラメータ情報とを多重化
して伝送路に送出する多重化部とを備えると共に、復号
化器側に、被写体画像の多次元構造モデルを階層構造化
して登録してなる多次元階層構造モデルデータベース
と、被写体画像の各構成要素の動き情報の代表的パター
ンをインデックスを付与して登録してなるパターン登録
データベースと、多重化された入力信号を動き情報のイ
ンデックス情報及び回転・並進運動パラメータ情報と濃
淡パラメータ情報とに分離し、上記動き情報のインデッ
クス情報及び回転・並進パラメータ情報を用いて上記多
次元階層構造モデルデータベース及び上記パターン登録
データベースから多次元構造モデルの多次元階層化され
た構造モデル単位の動きを復元すると共に動きのある階
層化された構造モデル単位に上記濃淡パラメータ情報を
マッピングして合成画像を出力する合成復号化器とを備
えたものである。

また、この発明に係る画像信号の符号化器及びその復
号化器は、上記記載の画像信号の符号化器及びその復号
化器において、符号化器及び復号化器に、画像信号の濃
淡値に応じた濃淡パラメータ情報を予め登録してなるカ
ラールックアップテーブルをそれぞれ備え、上記符号化
器の濃淡情報抽出部は、上記更新多次元構造モデルの構
成要素から抽出した濃淡値に応じた濃淡パラメータ情報
を上記カラールックアップテーブルから得て上記多重化
部に出力すると共に、上記合成復号化器は、上記カラー
ルックアップテーブルの中から上記濃淡パラメータ情報
に応じた濃淡値を得て被写体画像の濃淡情報を再現する
ことを特徴とするものである。

〔作用〕

この発明による画像信号の符号化器及びその復号化器
においては、入力画像信号から分離抽出した被写体画像
に対して階層化された構造モデル単位の３次元構造モデ
ルを整合して、構成要素である各構造モデル単位ごとに
分析パラメータを抽出し、これを伝送するため、被写体
画像が部分的に小さな動きしか示さなかった場合でも比
較的下位層に位置する構造モデルの分析パラメータのみ
を符号化出力として伝送すればよく、また、被写体画像
全体が回転・並進運動した時には、比較的最上位置の分
析パラメータを伝送すればよく、常に低レートでの画像
伝送を実現することができ、また、これら構造モデルが
階層構造化されているので、被写体画像の自由度の高い
複雑な動きを分析、合成することが可能となる。

また、この発明による画像信号の符号化器及びその復
号化器においては、分析対象となる構造モデルが剛体で
ある場合には、動き情報（座標軸回りの回転角、座標軸
に沿った並行移動距離等）を分析パラメータとし、一方
構造モデルが非剛体である場合には、構造モデルの領域
内の特徴点の移動を動きのパターン（Action Unit）の
組合せとして記述し、これを分析パラメータとして符号
化出力すればよく、常に低レートでの画像伝送が可能に
なる。

〔実施例〕

以下、この発明の一実施例を図を用いて説明する。第
１図はこの発明の一実施例による概略的な全体構成図を
示し、図において、（10）はディジタル化された入力画
像信号（100）を背景画像と被写体画像（例えば人物の
顔画像）とに分離・抽出し、被写体画像に３次元階層構
造モデルを整合し、階層化された構造モデル単位に動き
を分析して動きのある構造モデルの分析パラメータを符
号化出力（200）として送出する分析符号化器、（４）
は入力画像の濃淡情報をパラメータ化するためのカラー
ルックアップテーブル、（５）は上記３次元構造モデル
を階層構造化して登録してなる３次元階層構造モデルデ
ータベース、（20）は分析符号化器（10）の符号化出力
（200）である分析パラメータより合成画像を出力する
合成復号化器であり、上記分析符号化器（10）とカラー
ルックアップテーブル（４）及び３次元階層構造モデル
データベース（５）で符号化器を構成すると共に、上記
合成復号化器（20）とカラールックアップテーブル
（４）及び３次元階層構造モデルデータベース（５）で
復号化器を構成している。

次に動作について説明する。入力画像信号（100）が
例えば人物の顔画像であった場合、分析符号化器（10）
で顔画像部と背景画像部に分離されるが、顔画像部はさ
らに３次元階層構造モデルデータベース（５）に登録さ
れた各階層構造モデル単位に整合される。そこで、入力
画像信号（100）より分析された分析結果は、第２図に
示す５階層19構造の階層構造モデル単位に得られ、これ
を分析パラメータ（200）として合成復号器（２）側へ
伝送する。従って、例えば顔画像が傾いた場合には第３
図（Ａ）のM12（顔モデル）に対しての分析パラメータ
が供され、また向って左の眼球部が横に回転した場合に
は第３図（Ａ）のM21に対する分析パラメータのみを分
析符号化器（10）の分析パラメータ（200）として伝送
すればよい。

ここで、分析パラメータ（200）のデータ配列は第４
図に示す通りであり、階層化構造モデルアドレスビット
列と動きパラメータビット列及びカラー情報ビット列か
ら成っている。階層化構造モデルアドレスビット列は、
第５図に示す通り、階層構造モデルに対応したツリー構
造になっており、第２図の各構造モデルに対応してい
る。例えば、右眼球部の分析パラメータを送る場合に
は、該階層化構造モデルアドレスビット列は、“1211"
の４ビットの情報となる。一方、動きパラメータビット
列は、第４図に示した通り、分析モデルが頭部M11、眼
球部M21,M24、歯部M27等の剛体である場合には、該構造
モデルの動き情報（回転、並進運動）とする。また、分
析モデルが上左半部M17等の非剛体である場合には、該
構造モデルの代表的な動き、変形の情報をパラメータ化
してこれを動きのパターン情報とし、分析符号化器（1
0）及び合成復号化器（20）中のデータベース（５）に
登録しておく。第６図はこれを説明したものであり、下
部M19の領域中の特徴点群がある距離だけ、ある方向に
移動する動きをAction Unitの組合せで表現し、これを
動きパラメータ出力としたものである。尚、実際の被写
体画像の動きと上記Action Unitとのマッチング処理に
は、多次元信号空間でのパターンマッチングに行われる
ベクトル量子化等を用いれば汎用性が高い。

すなわち、被写体画像の動き、変形等の代表的なパタ
ーンを、上記分析符号化器（10）と合成復号化器（20）
とにデータベースとして登録し、入力画像より抽出した
実際の被写体画像の分析結果を上記データベース中のサ
ンプル値とベクトル量子化を行い、最適値を分析パラメ
ータとして出力する機能を有することにより、大幅な伝
送情報量の削減が図れる。

また、上記３次元構造モデルデータベース（５）に登
録された階層構造モデルを示すアドレスビット列を、出
現した被写体画像の動き及び変形情報の出現確率分布に
よってアダプティブに可変長符号化することにより、常
に階層構造モデルを示すアドレスビット列が全体として
最短になるよう機能させて、さらに情報量の削減が図れ
る。

また、上記の実施例では、第２図に示す通り、上位階
層より下位階層へ１階層下がるごとに１ビット付加して
いたが、被写体画像の動きを分析し、下位階層の動きが
頻繁に発生する場合には、これらに対して短かいビット
列を与え、逆に上位階層の構造モデルに対しては長いビ
ット列を与えることにより、全体の情報発生量を削減す
ることができる。

次に、第７図は上記分析符号化器（10）の具体的構成
例を示し、分析符号化器（10）は、ディジタル化された
入力画像信号（100）（TV電話等の用途の場合、人間の
肩上の画像に相当）を、人物部と背景部とに分離し、人
物部の画像信号出力を送出する背景分離部（11）、３次
元階層構造モデルデータベース（５）に登録された人物
頭部の基本３次元構造モデルを入力される人物部画像信
号のサイズに整合して更新３次元構造モデルを得るモデ
ル整合部（12）、入力される更新３次元構造モデル及び
カラールックアップテーブル（４）内情報に基づいてそ
の構成要素である３角形パッチの全ての頂点上の濃淡値
（RGB値）を抽出して分析パラメータの濃淡情報を得る
濃淡情報抽出部（13）、上記更新３次元構造モデルを順
次記憶し現フレームより１フレーム前の情報を出力する
フレームメモリ（14）、入力される上記更新３次元構造
モデルとその１フレーム前のフレームメモリ（14）から
の更新３次元構造モデルとの間の動きを検出して運動パ
ラメータ情報と３角形パッチの頂点群の動き量情報を出
力する動き検出部（15）、上記３角形パッチの頂点群の
代表的な動き量情報のパターンを登録してなるパターン
登録データベース（16）、上記動き検出部（15）からの
動き量情報とパターン登録データベース（16）内のパタ
ーンのマッチング処理に基づき最も類似した動き量のパ
ターンのインデックス番号を出力するパターンマッチン
グ部（17）、及び分析パラメータ結果である濃淡パタメ
ータ情報、運動パラメータ情報及び動きパターンインデ
ックス情報を多重化して分析符号化器（10）の出力（20
0）を得る多重化部（18）を備える。

次に、上記第７図構成に係る分析符号化器（10）の具
体的動作について説明する。背景分離部（11）において
分離された人物部画像信号はモデル整合部（12）の入力
となり同モデル整合部（12）において基本３次元構造モ
デルデータベース中に登録された人物頭部の３次元構造
モデルを人物部画像のサイズに整合する。この際、３次
元構造モデルのデータフォーマットとしては、同モデル
の構成要素である３角形バッチの３頂点のXYZ座標及び
頂点接続情報である。第８図はこれらについて説明した
ものであるが、同図（ａ），（ｂ）が実際にはデータフ
ァイルとして３次元階層構造モデルデータベース（５）
内に記憶されていることになる。

次に、これらのデータを人物画像に整合する技術とし
ては、画素の輝度の勾配を求めて、エッジ領域を検出
し、眼、鼻、口、顔の輪郭を抽出する従来の手法を用い
れば良く、それぞれの構造モデル部に対して３次元構造
モデルを自動整合することができる。

尚、前述の背景分離の技術としては、これも画素の輝
度の勾配を算出し、エッジを検出する手法により輝度良
く背景画として人物画とを分離できる。

次に、整合する際の手法であるが、まず人物画の全体
的なサイズ（縦長、横幅等）を抽出したエッジ情報等か
ら算出し、基本となる３次元構造モデルの外枠の各頂点
を人物画の輪郭に合わせ込む。そして、上と同じくエッ
ジを抽出により検出した人物画中の眼、鼻、口等の各構
造モデルのサイズを算出し、基本３次元構造モデルの
眼、鼻、口に相当する３角形バッチ群の特徴点を人物画
のそれに整合することになる。

以上の操作により５階層19構造部を持つすべてのモデ
ルに対して人物画への自動整合が行なわれたことにな
る。

続いて、モデル整合部（12）において人物画に整合さ
れた更新３次元構造モデルは、濃淡情報抽出部（13）、
動き検出部（15）、及びフレームメモリ（14）の入力と
なる。まず、最初に濃淡情報抽出部（13）に入力した更
新３次元構造モデルに対してその構成要素である３角形
バッチのすべての頂点上の濃淡値（RGB値）が抽出さ
れ、分析パラメータの濃淡パラメータ情報が出力され
る。人物画の構造モデルは、通常全部で例えば520個程
度の頂点が存在するが、一般的にはこれら520個の点のR
GB値が濃淡パラメータ情報の内容となる。この際、用い
るのがカラールックテーブル（４）であり、限定色表示
の場合、つまり自然色（1670万色、RGB 8bitずつ合計24
bit表示のこと）もの色を表示できない場合は、色の階
調を落として限定色で表示する必要性が出てくる。従っ
て、その場合、例えばRGB 4bitずつ、計12bit表示の場
合は2¹²＝4096（色）表示モードになるが、カラールッ
クアップテーブル（４）には通常この4096色のカラー情
報のみが記憶されていることになり、実際の画像よりも
階調を落とした形で濃淡パラメータ情報が出力されるこ
とになる。これはメモリの制約の問題に起因するためで
あり、カラールックアップテーブル（４）に高価なメモ
リを多く持てない場合は上記の限定色表示が必要であ
る。

次に、更新３次元構造モデルは、動き検出部（15）、
フレームメモリ（14）の入力となり、ここでは現フレー
ムより１フレーム前の更新３次元構造モデルと現フレー
ムの更新３次元構造モデルとの間の動きが検出される。
また、動き検出部（15）では、その３角形バッチが剛体
モデルに属するものか、または非剛体モデルに属するも
のかでその出力が異なる。モデル整合部（12）から更新
３次元構造モデルが出力される時点では眼、口、鼻等の
各構造モデルに３角形バッチ群が整合されているので、
どの３角形バッチが19構造であるどの構造モデルに属し
ているかは明らかになっており、剛体、非剛体のどちら
に属する３角形バッチかも自明である。剛体の動きの場
合は、動き検出部（15）において、３角形バッチ単位の
頂点の動きを検出する必要はなく、第９図に示す通り、
剛体中の３点A,B,Cを検出し（前フレームの更新３次元
構造モデルの信号中）、次に変化後の３点Ａ′,B′,C′
（現フレームの更新３次元構造モデルの信号中）を検出
する。つまりＡ→Ａ′,B→Ｂ′,C→Ｃ′に動いたことに
なり、これはマトリクス変換テーブルを計算する従来手
法により回転・並進運動パラメータが求まることにな
る。回転・並進運動パラメータの内容としては、第10図
に示す通り、回転角θ_ｘ，θ_ｙ，θ_ｚ、並進移動距
離）、d_x，d_y，d_zが１つの剛体に対して１セットになっ
ている。

他方、非剛体の動きの場合は、構造モデルの構成要素
である３角形バッチ単位の頂点の動きが現フレームと前
フレームの更新３次元構造モデルの差分を取ることによ
り求まる。これら頂点群の動き量情報はパターンマッチ
ング部（17）において、代表的なパターンを登録したパ
ターン登録データベース（16）のパターンとパターンマ
ッチング処理が行われ、最も類似した動き量のパターン
のインデックス番号が出力される。この場合、パターン
マッチング手法としては多次元ベクトルの手法であるベ
クトル量子化法を用いればより効果的であろう。

最後に、以上分析パラメータ結果である濃淡パラメー
タ情報、回転・並進運動パラメータ情報、動きパターン
インデックス情報が多重化部（18）において多重化さ
れ、分析符号化器（10）の出力信号（200）となる。

なお、上記各実施例において、入力画像信号から分離
抽出された背景画像は特に言及していないが、伝送の必
要のある場合のみ背景画像用の構造モデルを用いて符号
化し伝送すればよく、上記各実施例の如くそれ以外の場
合には被写体画像の構造モデルのみを用いて分析符号化
を行えばよいので伝送情報量の大幅な削減が実現でき
る。

〔発明の効果〕以上のように、この発明によれば、入力画像を被写体
画像と背景画像とに分離抽出し、背景画像については必
要時のみ伝送するため、情報伝送量の削減が実現でき、
さらに被写体画像については階層構造化された各構造モ
デル単位に動きを分析し、これを分析パラメータとして
伝送するため、被写体画像の動きが部分的に僅かであっ
た場合にも、あるいは被写体全体が回転・並進運動する
場合においても、それぞれ最適な階層の最適な構造モデ
ルの動き情報として分析パラメータを送出すればよいの
で、常に動きの自由度の高い画像符号化伝送が可能にな
るという効果がある。

また、この発明によれば、分析対象となる構造モデル
が剛体である場合には、動き情報（座標軸回りの回転
角、座標軸に沿った並行移動距離等）を分析パラメータ
とし、一方構造モデルが非剛体である場合には、構造モ
デルの領域内の特徴点の移動を動きのパターン（Action
Unit）の組合せとして記述し、これを分析パラメータ
として符号化出力すればよいので、常に低ルートでの画
像伝送が可能になるという効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像信号の符号化器
及びその復号化器の構成を示すブロック図、第２図は３
次元構造モデルの階層構造を示した説明図、第３図
（ａ），（ｂ）は被写体画像を特に人物の肩上の顔画像
とした場合の各構造モデルの位置を示した説明図、第４
図は実際に分析符号化器の符号化出力となる分析パラメ
ータのビット構成図、第５図は第２図の３次元構造モデ
ルを示すアドレスビット列のツリー構造を示した説明
図、第６図（ａ），（ｂ）は被写体の動きのパターン情
報の１具体例の説明図、第７図は第１図の復号化器部の
詳細構成図、第８図（ａ），（ｂ）は３角形パッチの３
頂点の座標及び頂点接続情報の説明図、第９図と第10図
は剛体の回転・並進運動パラメータの求め方とその内容
の説明図、第11図は従来の分析合成符号化器のブロック
図、第12図は抽出した３次元構造モデルを示す説明図、
第13図は３次元構造モデルを被写体画像（顔画像）に整
合した説明図である。（４）…カラールックアップテーブル、（５）…３次元
階層構造モデルデータベース、（10）…分析符号化器、
（20）…合成復号化器、（100）…入力画像信号、（20
0）…分析パラメータ、（300）…出力画像信号、M11〜M
29…階層構造モデル。なお、各図中、同一符号は同一または相当部分を示す。

Claims

(57)【特許請求の範囲】

【請求項１】符号化器側に、被写体画像の多次元構造モ
デルを階層構造化して登録してなる多次元階層構造モデ
ルデータベースと、上記多次元構造モデルを入力画像信
号より分離抽出された被写体画像の画像信号サイズに整
合して更新多次元構造モデルを得るモデル整合部と、上
記更新多次元構造モデルの構成要素の濃淡値を抽出して
その濃淡値に応じた濃淡パラメータ情報を出力する濃淡
情報抽出部と、前フレームの更新多次元構造モデルと現
フレームの更新多次元構造モデルとの間の多次元階層化
された構造モデル単位に動きを検出して動き情報及び回
転・並進運動パラメータ情報を出力する動き検出部と、
被写体画像の各構成要素の動き情報の代表的パターンを
インデックスを付与して登録してなるパターン登録デー
タベースと、上記動き検出部からの動き情報と上記パタ
ーン登録データベース内のパターンとのベクトル量子化
によるマッチング処理に基づいて最も類似した動き情報
のパターンのインデックス情報を出力するパターンマッ
チング部と、上記動き情報のインデックス情報及び回転
・並進運動パラメータ情報と上記濃淡パラメータ情報と
を多重化して伝送路に送出する多重化部とを備えると共
に、復号化器側に、被写体画像の多次元構造モデルを階
層構造化して登録してなる多次元階層構造モデルデータ
ベースと、被写体画像の各構成要素の動き情報の代表的
パターンをインデックス付与して登録してなるパターン
登録データベースと、多重化された入力信号を動き情報
のインデックス情報及び回転・並進運動パラメータ情報
と濃淡パラメータ情報とに分離し、上記動き情報のイン
デックス情報及び回転。並進パラメータ情報を用いて上
記多次元階層構造モデルデータベース及び上記パターン
登録データベースから多次元構造モデルの多次元階層化
された構造モデル単位の動きを復元すると共に動きのあ
る階層化された構造モデル単位に上記濃淡パラメータ情
報をマッピングして合成画像を出力する合成復号化器と
を備えた画像信号の符号化器及びその復号化器。
【請求項２】請求項第１項記載の画像信号の符号化器及
びその復号化器において、符号化器及び復号化器に、画
像信号の濃淡値に応じた濃淡パラメータ情報を予め登録
してなるカラールックアップテーブルをそれぞれ備え、
上記復号化器の濃淡情報抽出部は、上記更新多次元構造
モデルの構成要素から抽出した濃淡値に応じた濃淡パラ
メータ情報を上記カラールックアップテーブルから得て
上記多重化部に出力すると共に、上記合成復号化器は、
上記カラールックアップテーブルの中から上記濃淡パラ
メータ情報に応じた濃淡値を得て被写体画像の濃淡情報
を再現することを特徴とする画像信号の復号化器及びそ
の復号化器。