JPH04151988A - 画像信号の符号化器及びその復号化器 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野〕 この発明は、画像情報を高能率に伝送する画像信号の符
号化器及びその復号化器に関するものである。

（従来の技術） 第１１図は例えば電子情報通信学会論文誌Ｂ−１ｖｏ１
．Ｊ７２−Ｂ−Ｉ　Ｎｏ、３　ｐｐ２００〜２０７（１
９８９，３）　　に示された従来の分析合成符号化方式
の概念図であり、（１）は符号化器、（２）は復号化器
、（３）は３次元構造モデル、（１００）は入力画像信
号、（Ｚｏｏ）は分析パラメータ情報、（３００）は出
力画像信号、（４００）は３次元構造モデル情報である
。

次に動作について説明する。まず、入力画像信号（１０
０）に対して符号化器（１）では、３次元構造モデル（
３）を用いて対象となる被写体の分析を行い、分析パラ
メータ情報（２００）を出力する。他方、復号化器（２
）では、同じく３次元構造モデル（３）を用いて該分析
パラメータ（２００）より被写体画像の分析を行い、出
力画像信号（３００）を得る。

ここで、入力画像が人物の肩上の顔画像の場合は、第１
２図のような頭部モデルを数多くの３角形バツチで構成
した３次元構造モデル（３）を用意し、入力画像中の被
写体画像に対して第１３図のように整合する。連続する
入力画像中の被写体の動きや表情変化等に対しては、該
３次元構造モデル（３）の変形処理、３次元変換処理等
によって、分析パラメータ情報（２Ｈ）を得、これを符
号化器゛（１）の出力として復号化器（２）側に伝送す
ることになる。

〔発明が解決しようとする課題〕

従来の分析合成符号化技術を用いた画像伝送方式は以上
のように構成されているので、人物頭部の３次元構造モ
デルの場合、頭部を構成する各部位（眼、口、髪等）ご
との構造モデルを有しないため、入力画像中の被写体画
像の自然な動きを分析することが困難であるという問題
点があった。

この発明は上記のような問題点を解決するためになされ
たもので、被写体画像を構成する各部位ごとの３次元構
造モデルを階層構造化し、各構造モデル単位に分析及び
合成を実現することにより、入力画像中の被写体画像に
複雑な動きがあった場合においても、階層化された構造
モデル単位に動きを分析でき、その結果、常に動きの自
由度が高く、低レートの画像伝送を実現する画像信号の
符号化器及びその復号化器を得ることを目的とするもの
である。

〔課題を解決するための手段） この発明に係る画像信号の符号化器は、ディジタル化さ
れた入力画像信号を背景画像と被写体画像とに分離抽出
し、被写体画像に階層化した３次元構造モデルを整合し
、階層化された構造モデル単位に動きを分析して動きの
ある構造モデルの分析パラメータを符号化出力として送
出する分析符号化器と、上記３次元構造モデルを階層構
造化して登録してなる３次元階層構造モデルデータベー
スとを有する分析符号化器を備えたものである。

また、この発明に係る画像信号の復号化器は、３次元構
造モデルを階層構造化して登録してなる３次元階層構造
モデルデータベースと、分析符号化器の符号化出力であ
る分析パラメータを入力して上記データベースに基づぎ
動きのある階層化された構造モデル単位に合成画像を出
力する合成復号化とを有する合成復号化器を備えたもの
である。

また、この発明に係る画像信号の符号化器及びその復号
化器は、上記記載の画像信号の符号化器及びその復号化
器において、被写体画像の動ぎ及び変形等の代表的パタ
ーンを、上記分析符号化器と合成復号化器とにデータベ
ースとして登録し、入力画像信号より抽出した実際の被
写体画像の分析結果を上記データベース中のサンプル値
とベクトル量子化を行い、最適値を分析パラメータとし
て出力する機能を有するものである。

また、この発明に係る画像信号の符号化器及びその復号
化器は、上記記載の画像信号の符号化器及びその復号化
器において、入力画像の濃淡情報をパラメータ化するた
めのカラールックアップテーブルを分析符号化器と合成
復号化器に備えたものである。

〔作用〕

この発明による画像信号の符号化器及びその復号化器に
おいては、入力画像信号から分離抽出した被写体画像に
対して階層化された構造モデル単位の３次元構造モデル
を整合して、構成要素である各構造モデル単位ごとに分
析パラメータを抽出し、これを伝送するため、被写体画
像が部分的に小さな動きしか示さなかった場合でも比較
的下位層に位置する構造モデルの分析パラメータのみを
符号化出力として伝送すれはよく、また、被写体画像全
体が回転・並進運動した時には、比較的最上位置の分析
パラメータを伝送すればよく、常に低レートでの画像伝
送を実現することができ、また、これら構造モデルが階
層構造化されているので、被写体画像の自由度の高い複
雑な動きを分析、合成することが可能となる。

また、この発明による画像信号の符号化器及びその復号
化器においては、分析対象となる構造モデルが剛体であ
る場合には、動き情報（座標軸回りの回転角、座標軸に
沿った平行移動距離等）を分析パラメータとし、一方構
造モデルが非剛体である場合には、構造モデルの領域内
の特徴点の移動を動きのパターン（八ｃｔｉｏｎ　Ｕｎ
ｉｔ）の組合せとして記述し、これを分析パラメータと
して符号化出力すればよく、常に低レートでの画像伝送
が可能になる。

〔実施例〕

以下、この発明の一実施例を図を用いて説明する。第１
図はこの発明の一実施例による概略的な全体構成図を示
し、図において、（ｌＯ）はディジタル化された入力画
像信号（１００）を背景画像と被写体画像（例えば人物
の顔画像）とに分離・抽出し、被写体画像に３次元階層
構造モデルを整合し、階層化された構造モデル単位に動
きを分析して動きのある構造モデルの分析パラメータを
符号化出力（２００）として送出する分析符号化器、（
４）は入力画像の濃淡情報をパラメータ化するためのカ
ラールックアップテーブル、（５）は上記３次元構造モ
デルを階層構造化して登録してなる３次元階層構造モデ
ルデータベース、（２０）は分析符号化器（ｌＯ）の符
号化出力（２００）である分析パラメータより合成画像
を出力する合成復号化器であり、上記分析符号化器（１
０）とカラールックアップテーブル（４）及び３次元階
層構造モデルデータベース（５）で符号化器を構成する
と共に、上記合成復号化器（２０）とカラールックアッ
プテーブル（４）及び３次元階層構造モデルデータベー
ス（５）で復号化器を構成している。

次に動作について説明する。入力画像信号（１００）が
例えば人物の顔画像であった場合、分析符号化器（１０
）で顔画像部と背景画像部に分離されるが、顔画像部は
さらに３次元階層構造モデルデータベース（５）に登録
された各階層構造モデル単位に整合される。そこで、入
力画像信号（１００）より分析された分析結果は、第２
図に示す５階層１９構造の階層構造モデル単位に得られ
、これを分析パラメータ（２００）　として合成復号器
（２）側へ伝送する。従って、例えば顔画像が傾いた場
合には第３図（八）のＭ１２（顔モデル）に対しての分
析パラメータが供され、また向って左の眼球部が横に回
転した場合には８３図（Ａ）のＭ２１　に対する分析ノ
＼ラメータのみを分析符号化器（ｌＯ）の分析ノ＜ラメ
ータ（２００）　として伝送すれはよい。

ここで、分析パラメータ（２００）のデータ配列は第４
図に示す通りであり、階層化構造モデルアドレスビット
列と動きパラメータヒツト列及びカラー情報ビット列か
ら成っている。階層化構造モデルアドレスピット列は、
第５図に示す通り、階層構造モデルに対応したツリー構
造になっており、第２図の各構造モデルに対応している
。例えば、右眼球部の分析パラメータを送る場合には、
該階層化構造モデルアドレスピット列は°’１２１１”
の４ビツトの情報となる。一方、動きパラメータビット
列は、第４図に示した通り、分析モデルが頭部Ｍｌｌ　
、眼球部Ｍ２１．Ｍ２４　、歯部Ｍ２７等の剛体である
場合には、該構造モデルの動き情報（回転、並進運動）
とする。また、分析モデルが上左半部Ｍ１７等の非剛体
である場合には、該構造モデルの代表的な動き、変形の
情報をパラメータ化してこれを動ぎのパターン情報とし
、分析符号化器（１０）及び合成復号化器（２０）中の
データヘース（５）に登録しておく。第６図はこれを説
明したものであり、下部Ｍ１９の領域中の特徴点群かあ
る距離たけ、ある方向に移動する動きをＡｃｔｉｏｎＵ
ｎ已の組合せで表現し、これを動ぎパラメータ出力とじ
たものである。尚、実際の被写体画像の動きと上記Ａｃ
ｔｆｏｎ　ＩＪｎｊｔとのマツチング処理には、多次元
信号空間でのパターンマツチングに行われるベクトル量
子化等を用いれば汎用性が高い。

すなわち、被写体画像の動き、変形等の代表的なパター
ンを、上記分析符号化器（１０）と合成復号化器（２０
）とにデータベースとして登録し、入力画像より抽出し
た実際の被写体画像の分析結果を上記データベース中の
サンプル値とベクトル量子化を行い、最適値を分析パラ
メータとして出力する機能を有することにより、大幅な
伝送情報量の削減が図れる。

また、上記３次元構造モデルデータベース（５）に登録
された階層構造モデルを示すアドレスビット列を、出現
した被写体画像の動き及び変形情報の出現確率分布によ
ってアダプティブに可変長符号化することにより、常に
階層構造モデルを示すアドレスビット列が全体として最
短になるよう機能させて、さらに情報量の削減が図れる
。

また、上記の実施例では、第２図に示す通り、上位階層
より下位階層へ１階層下がるごとに１ビツト付加してい
たが、被写体画像の動きを分析し、下位階層の動きが頻
繁に発生する場合には、これらに対して短かいビット列
を与え、逆に上位階層の構造モデルに対しては長いビッ
ト列を与えることにより、全体の情報発生量を削減する
ことができる。

次に、第７図は上記分析符号化器（ｌＯ）の具体的構成
例を示し、分析符号化器（１０）は、ディジタル化され
た入力画像信号（１００）　　（ＴＶ電話等の用途の場
合、人間の肩上の画像に相当）を、人物部と背景部とに
分離し、人物部の画像信号出力を送出する背景分鵬部（
１１）、３次元階層構造モデルデータベース（５）に登
録された人物頭部の基本３次元構造モデルを入力される
人物部画像信号のサイズに整合して更新３次元構造モデ
ルを得るモデル整合部（１２）、入力される更新３次元
構造モデル及びカラールックアップテーブル（４）量情
報に基づいてその構成要素である３角形パツチの全ての
頂点上のａ淡値（ＲＧＩＩ値）を抽出して分析パラメー
タの濃淡情報を得る濃淡情報抽出部（１３）、上記更新
３次元構造モデルを順次記憶し現フレームより１フレー
ム前の情報を出力するフレームメモリ（１４）、入力さ
れる上記更新３次元構造モデルとその１フレーム前のフ
レームメモリ（１４）からの更新３次元構造モデルとの
間の動きを検出して運動パラメータ情報と３角形バツチ
の頂点群の動き量情報を出力する動き検出部（１５）、
上記３角形パツチの頂点群の代表的な動き量情報のパタ
ーンを登録してなるパターン登録データベース（１６）
、上記動き検出部（１５）からの動き量情報とパターン
登録データベース（１６）内のパターンのマツチング処
理に基づき最も類似した動き量のパターンのインデック
ス番号を出力するパターンマツチング部（１７）、及び
分析パラメータ結果である濃淡パラメータ情報、運動パ
ラメータ情報及び動きパターンインデックス情報を多重
化して分析符号化器（１０）の出力（２００）を得る多
重化部（１８）を備える。

次に、上記第７図構成に係る分析符号化器（１０）の具
体的動作について説明する。背景分離部（１１）におい
て分離された人物部画像信号はモデル整合部（１２）の
入力となり同モデル整合部（１２）において基本３次元
構造モデルデータベース中に登録された人物頭部の３次
元構造モデルを人物部画像のサイズに整合する。この際
、３次元構造モデルのデータフォーマットとしては、同
モデルの構成要素である３角形バツチの３頂点のＸＹＺ
座標及び頂点接続情報である。第８図はこれらについて
説明したものであるが、同図（ａ）　、　（ｂ）が実際
にはデータファイルとして３次元階層構造モデルデータ
ベース（５）内に記憶されていることになる。

次に、これらのデータを人物部画像に整合する技術とし
ては、画素の輝度の勾配を求めて、エツジ領域を検出し
、眼、鼻、口、顔の輪郭を抽出する従来の手法を用いれ
ば良く、それぞれの構造モデル部に対して３次元構造モ
デルを自動整合することができる。

尚、前述の背景分離の技術としては、これも画素の輝度
の勾配を算出し、エツジを検出する手法により精度良く
背景画として人物画とを分離できる。

次に、整合する際の手法であるが、まず人物画の全体的
なサイズ（縦長、横幅等）を抽出したエツジ情報等から
算出し、基本となる３次元構造モデルの外枠の各頂点を
人物画の輪郭に合わせ込む。そして、上と同じくエツジ
を抽出により検出した人物画中の眼、鼻、口等の各構造
モデルのサイズを算出し、基本３次元構造モデルの眼、
鼻、口に相当する３角形ハツチ群の特徴点を人物画のそ
れに整合することになる。

以上の操作により５階層１９構造部を持つすべてのモデ
ルに対して人物画への自動整合が行なわれたことになる
。

続いて、モデル整合部（１２）において人物画に整合さ
れた更新３次元構造モデルは、濃淡情報抽出部（１３）
、動き検出部（１５）、及びフレームメモリ（１４）の
入力となる。まず、最初に濃淡情報抽出部（１３）に入
力した更新３次元構造モデルに対してその構成要素であ
る３角形ハツチのすべての頂点上の濃淡値（ＲＧＢ値）
が抽出され、分析パラメータの濃淡パラメータ情報が出
力される。人物画の構造モデルは、通常全部で例えば５
２０個程鹿の頂点が存在するが、一般的にはこれら５２
０個の点の１ｔＧＢ値が？ａ淡パラメータ情報の内容と
なる。この際、用いるのがカラールックテーブル（４）
であり、限定色表示の場合、つまり自然色（１６７０万
色、ＲＧＢ　ＢｂＨずつ合計２４ｂＨ表示のこと）もの
色を表示できない場合は、色の階調を落として限定色で
表示する必要性が出てくる。従って、その場合、例えば
ＲＧＢ　Ｊｂｉｔずつ、計１２ｂｉｔ表示の場合は２１
２＝４０９６　（色）表示モードになるか、カラルック
アップテーブル（４）には通常この４０９６色のカラー
情報のみが記憶されていることになり、実際の画像より
も階調を落とした形で濃淡パラメータ情報が出力される
ことになる。これはメモリの制約の問題に起因するため
であり、カラールックアップテーブル（４）に高価なメ
モリを多く持てない場合は上記の限定色表示が必要であ
る。

次に、更新３次元構造モデルは、動き検出部（１５）、
フレームメモリ（１４）の入力となり、ここでは現フレ
ームより１フレーム前の更新３次元構造モデルと現フレ
ームの更新３次元構造モデルとの間の動きが検出される
。また、動き検出部（１５）では、その３角形バツヂが
剛体モデルに属するものか、または非剛体モデルに属す
るものかでその出力が異なる。モデル整合部（１２）か
ら更新３次元構造モデルが出力される時点では眼、口、
鼻等の各構造モデルに３角形バッチ群が整合されている
ので、どの３角形バツチが１９構造であるどの構造モデ
ルに属しているかは明らかになっており、剛体、非剛体
のどちらに属する３角形バツチかも自明である。剛体の
動きの場合は、動き検出部（１５）において、３角形バ
ッチ単位の頂点の動きを検出する必要はなく、第９図に
示す通り、剛体中の３点Ａ、Ｂ、Ｃを検出しく前フレー
ムの更新３次元構造モデルの信号中）、次に変化後の３
点Ａ°。

Ｂ　’、Ｃ’（現フレームの更新３次元構造モデルの信
号中）を検出する。つまりＡ−４Ａ’、Ｂ−Ｂ’、Ｃ→
Ｃ゛に動いたことになり、これはマトリクス変換テーブ
ルを計算する従来手法により回転・並進運動パラメータ
が求まることになる。回転・並進運動パラメータの内容
としては、第１０図に示す通り、回転角θつ、θ９．θ
２、並進移動距離）、ｄ８ｄｙ、ｄ、が１つの剛体に対
して１セツトになっている。

他方、非剛体の動きの場合は、構造モデルの構成要素で
ある３角形バッチ単位の頂点の動きが現フレームと前フ
レームの更新３次元構造モデルの差分を取ることにより
求まる。これら頂点群の動き量情報はパターンマツチン
グ部（１７）において、代表的なパターンを登録したパ
ターン登録データベース（１Ｂ）のパターンとパターン
マツチング％％里が行われ、最も類似した動ぎ量のパタ
ーンのインデックス番号が出力される。この場合、パタ
ーンマツチング部法としては多次元ベクトルの手法であ
るベクトル量子化法を用いればより効果的てあろう。

最後に、以上分析パラメータ結果である？Ｒ濃淡パラメ
ータ情報回転・並進運動パラメータ情報、動きパターン
インデックス情報が多重化部（１８）において多重化さ
れ、分析符号化器（１０）の出力信号（２００）　　と
なる。

なお、上記各実施例において、入力画像信号から分離抽
出された背景画像は特に言及していないが、伝送の必要
のある場合のみ背景画像用の構造モデルを用いて符号化
し伝送すればよく、上記各実施例の如くそれ以外の場合
には被写体画像の構造モデルのみを用いて分析符号化を
行えばよいので伝送情報量の大幅な削減が実現できる。

（発明の効果） 以上のように、この発明によれば、入力画像を被写体画
像と背景画像とに分離抽出し、背景画像については必要
時のみ伝送するため、情報伝送量の削減が実現でき、さ
らに被写体画像については階層構造化された各構造モデ
ル単位に動きを分析し、これを分析パラメータとして伝
送するため、被写体画像の動きが部分的に僅かであった
場合にも、あるいは被写体全体が回転・並進運動する場
合においても、それぞれ最適な階層の最適な構造モデル
の動き情報として分析パラメータを送出すればよいので
、常に動きの自由度の高い画像符号化伝送が可能になる
という効果がある。

また、この発明によれば、分析対象となる構造モデルが
剛体である場合には、動き情報（座標軸回りの回転角、
座標軸に沿った平行移動距離等）を分析パラメータとし
、一方構造モデルが非剛体である場合には、構造モデル
の領域内の特徴点の移動を動きのパターン（八ｃｔｉｏ
ｎ　ｌ１ｎｉｔ）の組合せとして記述し、これを分析パ
ラメータとして符号化出力すればよいので、常に低レー
トでの画像伝送が可能になるという効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像信号の符号化器
及びその復号化器の構成を示すブロック図、第２図は３
次元構造モデルの階層構造を示した説明図、第３図（ａ
）　、　（ｂ）は被写体画像を特に人物の肩上の顔画像
とした場合の各構造モデルの位置を示した説明図、第４
図は実際に分析符号化器の符号化出力となる分析パラメ
ータのビット構成図、第５図は第２図の３次元構造モデ
ルを示すアドレスビット列のツリー構造を示した説明図
、第６　図（ａ）　、　（ｂ）は被写体の動きのパター
ン情報の１具体例の説明図、第７図は第１図の符号化器
部の詳細構成図、第８図（ａ）　、　（ｂ）は３角形パ
ツチの３頂点の座標及び頂点接続情報の説明図、第９図
と第１０図は剛体の回転・並進運動パラメータの求め方
とその内容の説明図、第１１図は従来の分析合成符号化
器のブロック図、第１２図は抽出した３次元構造モデル
を示す説明図、第１３図は３次元構造モデルを被写体画
像（顔画像）に整合した説明図である。 ４）・・・カラールックアップテーブル、５）・・・３
次元階層構造モデルデータベース、１０）・・・分析符
号化器、 ２０）・・・合成復号化器、 １００）・・・入力画像信号、 ２００）・・・分析パラメータ、 （３００）・・・出力画像信号、 Ｍｌｌ〜Ｍ２９・・・階層構造モデル。 なお、各図中、同一符号は同一または相当部分手 続 補 正 書（自発） 平成 ３年 ５月２２日

Claims (4)

【特許請求の範囲】
1. （１）ディジタル化された入力画像信号を背景画像と被
   写体画像とに分離抽出し、被写体画像に階層化した３次
   元構造モデルを整合し、階層化された構造モデル単位に
   動きを分析して動きのある構造モデルの分析パラメータ
   を符号化出力として送出する分析符号化器と、上記３次
   元構造モデルを階層構造化して登録してなる３次元階層
   構造モデルデータベースとを有する分析符号化器を備え
   た画像信号の符号化器。
2. （２）３次元構造モデルを階層構造化して登録してなる
   ３次元階層構造モデルデータベースと、分析符号化器の
   符号化出力である分析パラメータを入力して上記データ
   ベースに基づき動きのある階層化された構造モデル単位
   に合成画像を出力する合成復号化とを有する合成復号化
   器を備えた画像信号の復号化器。
3. （３）請求の範囲第１項と第２項記載の画像信号の符号
   化器及びその復号化器において、被写体画像の動き及び
   変形等の代表的パターンを、上記分析符号化器と合成復
   号化器とにデータベースとして登録し、入力画像信号よ
   り抽出した実際の被写体画像の分析結果を上記データベ
   ース中のサンプル値とベクトル量子化を行い、最適値を
   分析パラメータとして出力する機能を有することを特徴
   とする画像信号の符号化器及びその復号化器。
4. （４）請求の範囲第１項と第２項及び第３項記載の画像
   信号の符号化器及びその復号化器において、入力画像の
   濃淡情報をパラメータ化するためのカラールックアップ
   テーブルを分析符号化器と合成復号化器に備えたことを
   特徴とする画像信号の符号化器及びその復号化器。