JPH07170523A

JPH07170523A - 動画像符号化装置と動画像復号化装置

Info

Publication number: JPH07170523A
Application number: JP33285693A
Authority: JP
Inventors: Kenji Datake; 健志駄竹; Katsumi Takahashi; 克己高橋; Naoaki Kuratate; 尚明倉立; Mitsunori Omokawa; 光教面川; Shogo Yamaguchi; 尚吾山口; Kazuo Ozeki; 和夫大関
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-03-04
Filing date: 1993-12-27
Publication date: 1995-07-04
Anticipated expiration: 2018-05-12
Also published as: JP3405788B2

Abstract

(57)【要約】【目的】低ビットレートでも高い符号化効率が得られ
る動画像符号化装置を提供する。【構成】入力画像信号の中から動物体を抽出し、動き
を解析し、再構成画像との残差信号と動きパラメータと
を出力する動物体解析手段２と、残差信号を符号化する
残差符号化手段４と、動きパラメータと残差符号化情報
とから画像を再構成する再構成手段３と、動きパラメー
タと残差符号化情報とを可変長符号化する可変長符号化
手段５とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化装置とそ
の動画像復号化装置に関する。

【０００２】

【従来の技術】画像符号化技術は、従来より画像通信、
放送、蓄積などに利用されている。画像符号化は、ファ
クシミリなどの静止画伝送であれば、なるべく高速に伝
送することを目的として行われ、またテレビ会議、テレ
ビ電話などの動画像通信であれば、なるべく狭い帯域ま
たは低いビットレートで伝送することを目的として行わ
れる。また、画像情報をディスクやメモリなどに記録す
る場合、できるだけ多くの画像を効率よく記録するため
に画像符号化技術が利用されている。

【０００３】図５に従来の動画像符号化装置のブロック
図を示す。入力された画像信号は、複数のブロックに分
割され、ブロック毎に前フレームの画像に対する動きを
示す動きベクトルが推定される。この動きベクトルによ
り前フレームの画像の動き補償を行い、入力画像との差
分をとる。この差分信号をＤＣＴ（離散コサイン変換）
し、量子化し、可変長符号化して出力する。

【０００４】ここでのＤＣＴに示されるように、従来の
変換符号化においては、変換方法（変換行列）は画像が
定常であるとの仮定のもとに単一の変換のみを用いて行
なっていた。また変換行列を複数用意し、切り替える行
列可変の適応ＫＬ変換符号化方式においては、変換行列
を選択するために固定の量子化に対し全探索するなどの
演算効率の悪い方式が検討されてきたため、動画像に対
する最適な方式が確立されていなかった。更にあらかじ
め用意されたＫＬ変換のなかから最適な変換を選択する
手法として入力の自己相関行列空間上での距離を用いる
手法、画像に方向性が常にあることを仮定した手法など
があったが、符号化誤差最小化の観点からは最適な方法
でないためその性能劣化が生じていた。

【０００５】一方、図５に示す従来の画像符号化方式に
おいて、仮に最適な変換方法が選択されたとしても、入
力画像信号に対し必ずブロック単位に平行移動させて動
き補償を行ない、ブロック単位に予測誤差の変換を行な
っていた。従って、低ビットレートになると予測誤差を
十分に伝送できないためブロック状の歪みが生じて画質
を劣化させていた。その上、動物体の背後から現れた背
景部分は予測できないため、符号化効率が低下してい
た。

【０００６】

【発明が解決しようとする課題】上述したように従来の
画像符号化方式では、ブロック単位に平行移動させて動
き補償を行っていた。従って、もしあるブロックが静止
領域と動領域にまたがっている場合、動領域に合わせて
平行移動させるか静止領域に合わせてそのままにしてお
くかのどちらかである。どちらの場合でも片方の領域の
差分信号が大きくなる。また、人の目や口などのように
被写体が変形する場合もブロックの平行移動だけでは十
分な動き補償を行えない。また、被写体が回転したり、
カメラのズームにより被写体が拡大縮小した場合も同様
である。

【０００７】第１の発明は、上述した問題点を解決する
ためになされたもので、被写体の動きを十分に補償し、
高い符号化効率が得られる動画像符号化装置を提供する
ことを目的とする。

【０００８】第２の発明は、その符号化されたデータを
復号化する動画像復号化装置を提供する。

【０００９】また、以上述べたように従来の画像符号化
装置においては、変換行列を複数備えていたとしても最
適な選択方法が確立されておらず、更にブロック状の歪
みや背景部分の出現に対処できないために符号化効率が
低下するという欠点があった。

【００１０】第３、４の発明の目的は、複数の変換行列
の中から最適なものを選択すると共に、ブロック状の歪
みや背景部分の出現にも対処できる符号化効率の高い画
像符号化装置を提供することにある。

【００１１】また、第５の発明は、その符号化されたデ
ータを復号化する動画像復号化装置を提供する。

【００１２】

【課題を解決するための手段】第１の発明の動画像符号
化装置は、入力画像信号の中から動物体を抽出して、こ
の動きを解析することにより、再構成画像との残差信号
と動きパラメータとを出力する動物体解析手段と、前記
動物体解析手段からの前記残差信号を符号化して残差符
号化情報を形成する残差符号化手段と、前記動物体解析
手段からの前記動きパラメータと前記残差符号化手段か
らの前記残差符号化情報とから画像を再構成する再構成
手段と、前記動物体解析手段からの前記動きパラメータ
と前記残差符号化手段からの前記残差符号化情報とを可
変長符号化する可変長符号化手段とを有するものであ
る。

【００１３】第２の発明の動画像復号化装置は、符号化
データを受信し、可変長符号であるこの符号化データを
復号化し、グローバル動きパラメータ、多角形パッチ動
きパラメータ及び残差符号とに分離する可変長復号化手
段と、この可変長復号化手段から出力された残差符号を
復号して残差信号を出力する残差符号復号化手段と、フ
レームメモリに蓄積された前フレームの復号画像と、前
記可変長復号化手段から出力されたグローバル動きパラ
メータから動領域全体の動き補償を行い、グローバル動
き補償画像を出力するグローバル動き補償手段と、この
グローバル動き補償手段から出力されたグローバル動き
補償画像と、前記可変長復号化手段から出力された多角
形パッチ動きパラメータから動領域内部の局所的な動き
補償を行い、動き補償予測画像を出力する多角形パッチ
補償手段と、この多角形パッチ補償手段から出力された
動き補償予測画像と、前記残差符号復号化手段から出力
された残差符号を加算して、復号画像を作成して、復号
画像を出力すると共に、フレームメモリに送る加算手段
とよりなる。

【００１４】第３の発明は、画像信号に対し時間方向の
差分をとることにより予測を行なう予測手段と、予め用
意された複数の変換方法から１つを選択する選択手段
と、この選択手段により選択された変換方法に従って前
記予測手段からの予測残差信号を変換し量子化する変換
手段と、この変換手段からの量子化信号を符号化して送
出する符号化手段と、前記変換手段からの量子化信号を
逆量子化する逆量子化手段と、この逆量子化手段からの
逆量子化信号を前記選択された変換方法に対応する逆変
換方法に従って逆変換を行ない局所復号信号を得る逆変
換手段とを備えたことを特徴とするものである。

【００１５】第４の発明は、入力画像信号と前フレーム
画像信号とから動きを解析して動き補償を行なう動き補
償手段と、この動き補償手段からの動き補償画像信号及
び前記入力画像信号を夫々サブバンドに分割するサブバ
ンド分割手段と、前記入力画像信号に対応するサブバン
ド画像信号に対し、残差をとるべき信号を適応的に選択
する適応予測手段と、この適応予測手段より選択された
信号と前記入力サブバンド画像信号との残差をとって符
号化する残差符号化手段と、この残差符号化手段からの
残差符号化信号を復号化して前記適応予測手段からの選
択信号と加算することにより局部復号サブバンド画像信
号を生成する復号化手段とを備え、前記適応予測手段は
残差をとるべき信号として少くとも動き補償サブバンド
画像信号、前フレームの局部復号サブバンド画像信号及
び無信号の中から選択することを特徴とするものであ
る。

【００１６】第５の発明の動画像復号化装置は、符号化
データを受信し、可変長符号であるこの符号化データを
復号化し、動きパラメータ、適応予測選択信号及び残差
符号とに分離する可変長復号化手段と、この可変長復号
化手段により分離された残差符号を復号化する残差復号
化手段と、適応予測信号を生成する選択手段と、前記残
差復号化手段により生成された残差信号と、前記選択手
段により生成された適応予測信号とを加算しサブバンド
復号画像を生成する加算手段と、この加算手段により生
成されたサブバンド復号画像を蓄積するフレームメモリ
と、このフレームメモリから出力されたサブバンド復号
画像をサブバンド合成し、ベースバンド復号画像を生成
するサブバンド合成手段と、このサブバンド合成手段に
より生成されたベースバンド復号画像信号を、前記可変
長復号化手段により分離された動きパラメータに基づき
動き補償を行う動き補償手段と、この動き補償手段の出
力信号をサブバンドに分割して動き補償サブバンド画像
信号を出力するサブバンド分割手段とを備え、前記選択
手段は、前記可変長復号化手段により分離された適応予
測選択信号に基づき、少なくとも前記サブバンド分割手
段からの動き補償サブバンド画像信号、前記フレームメ
モリからの前フレームサブバンド復号画像信号及び無信
号の中から適応予測信号を選択するものである。

【００１７】

【作用】第１の発明の動画像符号化装置について説明
する。

【００１８】動物体解析手段は、入力画像信号の中から
動物体を抽出して、この動きを解析することにより、再
構成画像との残差信号と動きパラメータとを出力する。
残差符号化手段は、前記動物体解析手段からの前記残差
信号を符号化して残差符号化情報を形成する。再構成手
段は、前記動物体解析手段からの前記動きパラメータと
前記残差符号化手段からの前記残差符号化情報とから画
像を再構成する。そして、可変長符号化手段は、前記動
物体解析手段からの前記動きパラメータと前記残差符号
化手段からの前記残差符号化情報とを可変長符号化す
る。

【００１９】これにより、入力画像信号から動領域を抽
出し、その領域だけ動き補償を施すので、動物体の境界
付近での動き補償の効率が向上する。また、動領域に多
角形パッチを当て、細かい動き推定を行うことにより、
目や口の変形にも対応できる動き補償を行うことができ
る。

【００２０】第２の発明の動画像復号化装置について説
明する。

【００２１】可変長復号化手段が、動画像符号化装置か
ら符号化データを受信し、可変長符号であるこの符号化
データを復号化し、グローバル動きパラメータ、多角形
パッチ動きパラメータ及び残差符号とに分離する。

【００２２】残差符号復号化手段が、この可変長復号化
手段から出力された残差符号を復号して残差信号を出力
する。

【００２３】グローバル動き補償手段が、フレームメモ
リに蓄積された前フレームの復号画像と、前記可変長復
号化手段から出力されたグローバル動きパラメータから
動領域全体の動き補償を行い、グローバル動き補償画像
を出力する。

【００２４】多角形パッチ補償手段が、このグローバル
動き補償手段から出力されたグローバル動き補償画像
と、前記可変長復号化手段から出力された多角形パッチ
動きパラメータから動領域内部の局所的な動き補償を行
い、動き補償予測画像を出力する。

【００２５】加算手段が、この多角形パッチ補償手段か
ら出力された動き補償予測画像と、前記残差符号復号化
手段から出力された残差符号を加算して、復号画像を作
成して、復号画像を出力すると共に、フレームメモリに
送る。

【００２６】第３の発明によれば、画像信号の符号化が
適応ＫＬ変換により著しく向上する。また静止画、動画
を問わず変換を階層化しておくことにより、実現形態の
状態により柔軟に各種ハードウェア構成を取ることがで
きる。また最適の変換を選択するための演算が大幅に減
少する。

【００２７】第４の発明によれば、複写体の動きを十分
に補償し、サブバンドに分割して処理を行なうことによ
り、視覚的に重要な低周波信号を優先的に符号化できる
ので、視覚的に高い画質が得られ、また、背景予測によ
り動物体の背景から現れた背景部分の予測を行なうこと
により高い符号化効率が得られる。

【００２８】第５の発明の動画像復号化装置について説
明する。

【００２９】可変長復号化手段が、動画像符号化装置か
ら符号化データを受信し、可変長符号であるこの符号化
データを復号化し、動きパラメータ、適応予測選択信号
及び残差符号とに分離する。

【００３０】残差復号化手段が、この可変長復号化手段
により分離された残差符号を復号化する。

【００３１】加算手段が、前記残差復号化手段により生
成された残差信号と、後述する選択手段により生成され
た適応予測信号とを加算して、サブバンド復号画像を生
成する。

【００３２】フレームメモリが、この加算手段により生
成されたサブバンド復号画像を蓄積する。

【００３３】サブバンド合成手段が、このフレームメモ
リから出力されたサブバンド復号画像をサブバンド合成
し、ベースバンド復号画像を生成する。

【００３４】動き補償手段が、このサブバンド合成手段
により生成されたベースバンド復号画像信号を、前記可
変長復号化手段により分離された動きパラメータに基づ
き動き補償を行う。

【００３５】サブバンド分割手段が、この動き補償手段
の出力信号をサブバンドに分割して動き補償サブバンド
画像信号を出力する。

【００３６】この場合に、前記選択手段は、前記可変長
復号化手段により分離された適応予測選択信号に基づ
き、少なくとも前記サブバンド分割手段からの動き補償
サブバンド画像信号、前記フレームメモリからの前フレ
ームサブバンド復号画像信号及び無信号の中から適応予
測信号を選択する。

【００３７】

【実施例】（第１の発明）以下、第１の発明の動画像符
号化装置の一実施例を図１〜図１５を用いて説明する。

【００３８】図１は、動画像符号化装置のブロック図で
ある。

【００３９】入力端子１から入力された画像信号は、動
物体解析部２で動領域と静止領域に分割され、動領域の
抽出と動きパラメータの推定が行われる。その動きパラ
メータにより再構成画像の動き補償が行われ、入力画像
との差分がとられる。その残差信号は、残差符号化部４
で符号化される。動きパラメータ情報と残差符号化情報
は、可変長符号化器（ＶＬＣ）５で可変長符号化され出
力される。また、動きパラメータ情報と残差符号化情報
により再構成部３で画像が再構成される。

【００４０】残差符号化部４の方式としては、波形を効
率よく表現できる方式であれば何でも良く、例えば、残
差信号を量子化し、０でない画素値にアドレスを付けて
送る条件付き画素補充方式や、数画素まとめて一つのコ
ードで表現するベクトル量子化や、離散コサイン変換し
てから量子化して送る方式などが考えられる。

【００４１】図２は、動物体解析部２の一例を示すブロ
ック図である。

【００４２】入力端子１から入力された画像信号は、動
領域抽出部１１で動領域が抽出される。グローバル動き
推定部１２では、動領域全体の動きパラメータが推定さ
れる。その後、多角形パッチ動き推定部１３で、動領域
に多角形パッチが当てられ動領域の中の細かい動きが推
定される。入力端子１０から入力された再構成画像は、
グローバル動きパラメータと多角形動きパラメータによ
り、動き補償部１４で動き補償が行われる。入力画像と
動き補償された画像との差分がとられ、残差信号として
出力端子１６から出力される。

【００４３】動領域抽出部１１における動領域抽出の一
方法としては、入力画像の時間的差分、即ちフレーム間
差分をとり、閾値より大きい画素を動領域とし、ノイズ
成分を除去するために孤立点除去を行ったり、また、領
域の統合を行うことにより動領域を抽出する。しかし、
この方法では、動物体の平坦部分では、ほとんど差分が
でないため、図６のように、動領域が分離して、多くの
動領域に分割されてしまい、領域情報が増えてしまうと
いう問題がある。動領域抽出の別の方法としては、図７
のように、まずフレーム間差分をとり、左右から動物体
のエッジを探索し、その内側を動領域とする方法であ
る。この方法によると動領域が分離することはない。ま
た、左右だけでなく、上下左右から動物体のエッジを探
索することにより、更に正確に動領域の抽出ができる。

【００４４】グローバル動き推定部１２におけるグロー
バル動き推定は、図８及び下記の（１）式に示すよう
に、ある点（ｘ，ｙ）が別の点（ｘ’，ｙ’）に移動す
る写像を考え、動きパラメータａ〜ｆを求める。

【００４５】但し、ａ〜ｄは、回転、拡大、縮小、変形
を表現するパラメータで、ｅ，ｆは、平行移動を表すパ
ラメータである。

【００４６】

【数１】多角形パッチ動き推定部１３における多角形パッチ動き
推定は、図９に示すように１フレーム前の画像をグロー
バル動きパラメータで写像した後、多角形パッチを動領
域に当てる。ここでは、三角形パッチとした。現フレー
ム画像との誤差が最小になるように各三角形の頂点を移
動する。三角形の中の画像は、アフィン変換により写像
する。アフィン変換の式は、（１）式と同じであり、各
三角形毎にパラメータが異なる。伝送する情報として
は、各頂点の移動量だけでよい。

【００４７】動物体が移動したときに、光の当たり具合
が変化して、同じ対応点でも輝度が変化することがあ
る。これを補償するには、三角形パッチの頂点を２次元
平面内で移動するだけでなく、輝度値方向にも移動させ
る必要がある。ある点（ｘ，ｙ）が別の点（ｘ’，
ｙ’）に移動したときの輝度値方向の明るさ補正量を
ｚ’とすると、ｚ’＝ｋｘ＋ｌｙ＋ｍ ……（２）となる。パラメータｋ，ｌ，ｍは、三角形パッチの各頂
点の輝度値方向の移動量から求めることができる。

【００４８】図３は、動物体解析部２の他の実施例を示
すブロック図である。

【００４９】図２との違いは、特徴点抽出部１７と、人
物検出部１８があることである。特徴点抽出部１７によ
り、再構成画像から人の顔の目や口などの特徴点を抽出
する。その特徴点の周囲は、図１０に示すように三角形
パッチの大きさを小さくして、より細かい動きに対応で
きるようにする。または、図１１に示すように、特徴点
に合わせた形状の三角形パッチを当てて動き補償を行
い、更に固定形状の三角パッチを当てて動き補償を行う
ようにしても良い。特徴点は、入力画像から抽出するよ
うにしても良いが、再構成画像から抽出するようにする
と、受信側でも同じようにできるので、特徴点の位置情
報を送る必要がなくなる。

【００５０】この特徴点抽出は、人の顔のようにある程
度モデル化できる場合は高い確率で抽出が可能である
が、一般の画像の場合は抽出が難しい。したがって、人
物検出部１８で自動的に人物画像かどうか判断するか、
またはマニュアルでモードを切り替えて、一般画像の場
合は特徴点抽出をやめて固定の三角形パッチを使うよう
にすれば良い。または、人物画像用の符号化器と一般画
像の符号化器を用意し、切り替えるようにしてもよい。

【００５１】図４は、本発明の動物体解析部の更に別の
例を示すブロック図である。図２との違いは、背景画像
構成部１９があることである。再構成画像の中から長時
間静止している画素を背景メモリに書き込んでいき、背
景画像を構成する。この背景画像は、動物体の後ろから
背景が現れてきたときに使う。動物体の後ろから現れて
きた背景は、前回動領域で今回静止領域となった部分で
ある。この背景補償領域は、受信側でも分かるので、領
域情報を送る必要はない。

【００５２】領域の境界線の情報を送る方法として差分
チェーン符号がある。これは、図１２に示すように、進
むことができる８方向に番号を付け、最初はその番号を
送り、その次からは前の方向との差分を送る方法であ
る。境界線をそれほど正確に送る必要がない場合は、図
１３に示すように、代表点の位置だけを送り、その間を
スプライン曲線などの曲線で補間する方法もある。この
方法を使うと、動画像の場合、代表点のずれ量だけを送
れば良いので、さらに情報量を減らすことができる。

【００５３】静止領域と背景補償領域と動領域を合成す
るときに、切り貼りにより合成すると、境界線が強調さ
れるため視覚的に好ましくない。図１４は、背景と動領
域の信号を１次元で表現した図である。背景と動領域
は、カメラのボケや信号処理により信号がなまるため、
なだらかに接続されている。動領域が左に移動したとき
に、動領域を切りとって背景に貼りつけると、境界線が
シャープになり必要以上に目立ってしまう。そこで、境
界線付近をなだらかに減衰させ、オーバーラップさせる
ことにより、なめらかに接続することができる。

【００５４】図１５は、顔の画像を通信する場合のブロ
ック図であって、（ａ）は送信部、（ｂ）は受信部であ
る。

【００５５】送信部において、符号１００は、一般にパ
ラメ―タ符号化器と呼ばれている符号化部であって、本
発明の動領域を分離する符号化器、輪郭で分離する符号
化器、モデルベ―スト符号化器、分析合成符号化器また
は知的符号化器等である。符号１０２は、従来の波形符
号化器である。そして、入力信号をパラメ―タ検出器１
０４により顔の画像を含むか否かを検出して、自動的に
または手動で選択器１０６で選択して両者を切替え、顔
の画像を含む場合は、パラメ―タ符号化器１００で送出
し、含まない場合は、波形符号化器１０２で送出する。

【００５６】受信部においても、同様に、自動的にまた
は手動で選択器１０８で選択して両者を切替え、顔の画
像を含む場合は、パラメ―タ復号化器１１０で受信し、
含まない場合は、波形復号化器１１２で受信する。

【００５７】（第２の発明）第２の発明の一実施例であ
る動画像復号化装置２００について図１６のブロック図
に基づいて説明する。

【００５８】これは、図１に示した動画像符号化装置に
よって符号化された符号化データを復号する装置であ
る。

【００５９】動画像符号化装置からの符号化データが、
動画像復号化装置２００の入力端子２０１から入力さ
れ、可変長復号化器（ＶＬＤ）２０２で可変長符号の復
号化が行われ、動きパラメータと残差符号が出力され
る。動きパラメータは、動領域情報とグローバル動きパ
ラメータと多角形パッチ動きパラメータを含んでいる。

【００６０】残差符号復号化器２０４は、残差符号を復
号し、残差信号を出力する。

【００６１】グローバル動き補償回路２０７は、フレー
ムメモリ２０８に蓄積された前フレームの復号画像と動
領域情報とグローバル動きパラメータが入力され、動領
域全体の動き補償を行い、グローバル動き補償画像を出
力する。

【００６２】パラメータが入力され、動領域内部の局所
的な動き補償を行い、動き補償予測画像を出力する。

【００６３】加算器２０５は、動き補償予測画像と残差
符号を加算して、復号画像を作成して、復号画像を出力
端子２０９から出力すると共に、フレームメモリ２０８
に送る。

【００６４】これにより、図１に示した動画像符号化装
置によって符号化された符号化データを復号化できる。

【００６５】（第３の発明）図１７は本発明の第３の実
施例のブロック構成図である。入力画像はフレームメモ
リ３０８に格納された、時間的に以前の画像データから
動き予測回路３０９で作成されるフレーム間またはフィ
ールド間予測信号により差分器３０１で予測差分され
る。時間方向予測は例えば１６画素ｘ１６ラインのブロ
ックの範囲までに関しマッチングにより予測差分誤差の
電力和または絶対値和の最小となるブロックを探索する
ことにより求まる。予測差分信号は予め用意された直交
変換の集合のなかから、選択手段３０２により選択され
変換演算器３０３へその選択情報が送られる。選択手段
３０２では、例えば入力信号−この場合は予測残差信号
−の自己相関行列を求め、予め用意した直交変換に対応
する自己相関行列とのユークリッド距離の最も近いもの
を選択する基準として演算を行なう事ができる。変換は
画像をＮｘＮ画素の小ブロックＧに分割しＮｘＮの縦変
換行列ＴｖとＮｘＮの横変換行列ＴｎによりＦ＝ＴｖＧＴｎで表される行列変換を行なう。変換後のデータは量子化
器３０４で量子化され必要に応じ可変長符号化器３１０
で可変長符号化され、送出される。一方量子化結果は逆
量子化器３０５で逆量子化される。この場合、図１８の
ように一旦量子化した結果を逆量子化するのでなく、直
接逆量子化結果を生成しても良い。逆量子化結果は変換
した時の演算が選択手段３０２から送られ、これに対応
した逆変換の演算が逆変換器３０６で行なわれる。変換
は行列の係数としてメモリに格納しておき、選択手段の
指示により変換に使用する係数が読み出される。このと
き逆変換用の変換係数も読み出され逆変換器３０６に送
れば良い。この直交変換は正規直交変換であるため、逆
変換は転置行列であるから、変換用に読み出した係数は
そのまま配置を縦と横に関し変えるだけで使用できるの
で構成が簡略化できる。逆変換結果は動き予測回路３０
９から生成された予測信号と加算器３０７で加算され、
フレームメモリ３０８の内容が書き替えられる。選択手
段３０２で選択した変換を表すフラッグ信号が上記量子
化、符号化された信号とともに、送出される。上記直交
変換はＫＬ変換の場合最適となるが、他の近似的直交変
換を用いることもできる。

【００６６】図１９は本発明の第２の実施例である。動
き予測回路３０９で求められた時間方向予測信号、予測
残差信号、入力信号等を用いて、判定器３１１は符号化
モードの切り替えを指示する。すなわちまず、入力信号
と予測残差信号の電力和または絶対値和を比較し小さい
方を選択する選択を行なう。切り替えスイッチ３１２に
よりこの信号の切り替えがなされる。またこの選択され
た信号のブロック内電力和または絶対値和が一定のしき
い値以下の時以下の変換符号化を行なわず、これを示す
符号を送出する。またしきい値より大きい場合は適応変
換を行ない、これを示す符号と変換、量子化、符号化の
結果とともに送出する。この場合複数の変換から所望の
変換を選択した結果を示すフラッグ信号も合わせて送出
される。一方局所復号も上記判定結果により、まず予測
残差信号でなく入力信号が選択された時はスイッチ３１
３により動き補償予測信号ではなく０信号が逆変換結果
に加えられる。また変換演算への入力信号電力等がしき
い値以下で変換符号化を行なわないブロックはフレーム
メモリ３０８の内容も変更がなされない。

【００６７】図２０は本発明の第３の実施例である。符
号化に先立ち、送信機の制御部が受信機と通信し、予め
用意された変換のなかから用いる変換を限定して使用す
る取決めを行なう。例えば予め１６種の直交変換と１つ
のＤＣＴとの合計１７種が用意されている場合、１７種
全てを用いる場合、１６種の直交変換のみを用いる場
合、ＤＣＴのみ用いる場合などが考えられる。またＤＣ
Ｔを含め全体で１６種の変換を用意しておきハードウェ
アの状況により１６種、８種、４種、２種、ＤＣＴのみ
１種などの中から選ぶ形も可能である。このときどの行
列を選択したかの選択情報は最初に取り決めた変換の種
類数やその内容により変えることにより、より効率化を
図ることができる。

【００６８】図２１は本発明の第４の実施例である。本
実施例は、複数の変換を順次切り替えて変換し、変換後
に量子化し可変長符号化を行ない、符号化誤差と符号量
が所定の関数関係を保ったまま最適となる変換を選択す
るとともに、この選択結果を表す信号を合わせて伝送す
る行列可変の適応変換を行なうものであり、最適な変換
の選択法に関するものである。予め用意されたあらゆる
変換を試み、その中から最も効率の良い変換を選択する
ものである。このためまず変換後のデータと量子化後の
データの比較を行なう符号化誤差係数器３１４により誤
差が計算される。具体的には各ブロックの変換後と量子
化後データの差の２乗和を計算すれば良い。次に可変長
符号化後の符号量を計数器３１５で計数する。誤差は少
ない方が良く、符号量も少ない方が良いがこれらは対立
関係にあり、両者を総合的にＲ／Ｄ判定器３１６で判定
する必要がある。図２２にこのＲ／Ｄ判定器３１６の動
作原理を示す。すなわち横軸にビットレート、縦軸に誤
差をとった時、ビットレートと誤差が効率上等価な関係
にある点を結ぶと、図２２の曲線群のようになってい
る。この曲線上に計数器３１４、３１５で計測されたデ
ータを記入したものが、Ａ、Ｂ、Ｃ、Ｄ、Ｅの各点であ
ったとする。まずＡ点とＢ点は等しい価値であるが、こ
れより下にある点の方が、同ビットレートで誤差が小さ
いため効率が高くなっている。従ってＣ点に比べＤ点や
Ｅ点の方か高効率である。Ｄ点とＥ点は等価でありどち
らを選択しても良い。この時さらにＤ点かＥ点かのどち
らを選択するかのルールを決めておくこともできる。例
えば、レートがある範囲に入っている方を優先する、レ
ートが小さい方を優先する、両者を加味した判定マップ
を作成しておくなどが容易に考えられる。

【００６９】図２３は本発明の第５の実施例である。本
実施例は、複数の変換に対応する自己相関行列と自己相
関行列間の距離関係ネットワークを有し、入力画像信号
の自己相関行列と変換に対応する自己相関行列との距離
を演算する手段を有し、前記距離ネットワーク上で入力
と変換の自己相関行列の最小距離探索を行なうことを特
徴とする行列可変の適応変換を行なうものである。変換
行列に対応する自己相関行列の距離関係を図２４のよう
にネットワーク化しておくことにより、全部の変換行列
の中から最適なものを選択するのでなく、そのうちの一
部分の探索のみ行なえば良いため、演算量が大幅に減少
する。入力信号はまず自己相関行列が３１７で作成され
ネットワーク探索器３２０で探索される。係数メモリに
対応した自己相関行列はネットワーク化されメモリ３１
８に格納されている。ネットワークは図２４のように距
離関係をもとに各自己相関行列が整列されている。例え
ば第一段階で入力と初期値である１番の自己相関行列と
その近傍にある１から７までの自己相関行列と距離比較
がなされる。もし４が最小だったとすると同様に４近傍
の１、５、８、９、１０、３について探索される。４が
最小の時これを最適変換と決めることができる。距離で
ネットワーク化されているため、局所最適には陥らな
い。また全探索するより早く最適点に到達できる特徴を
持つ。

【００７０】図２５は本発明の第６の実施例である。こ
れは、入力の自己相関行列と最小距離にある変換に対応
した自己相関行列を求めた後、その自己相関行列に対応
した変換を含む部分変換の集合に対し、変換符号化結果
が局所的に最適となる変換を選択するものであり、図２
１の実施例と図２３の実施例の一般的組み合わせの一形
態である。自己相関行列空間での探索を行なった後、可
変長符号化まで行なう時などの最適変換の候補が絞り込
まれる。この限定された変換候補に対し、Ｒ／Ｄの観点
から最適変換を探索するものである。

【００７１】（第４の発明）以下、第４の発明の実施例
を図面を用いて説明する。図２６は、本発明の一実施例
に係わる動画像符号化装置のブロック図である。入力端
子３２１から入力された画像信号は、動き補償回路３２
２とサブバンド分割回路３２３に入力される。動き補償
回路３２２は、入力画像信号と前フレーム画像信号とか
ら動き解析を行ない、前フレーム画像の動き補償を行な
う。動き解析は、ブロック毎に平行移動量を求めるブロ
ックマッチング法でもよいし、後述するように、まず動
領域を抽出し動領域全体の動きを求め、更に細かい動き
を求める方法でもよい。この動き補償された画像信号
は、サブバンド分割回路３２４で入力画像信号と同様に
複数のサブバンドに分割される。図２７にサブバンド分
割の例を示す。これは、まず水平垂直それぞれに２つの
周波数領域に分割し、ＬＬ、ＨＬ、ＬＨ、ＨＨに４分割
する。更に、ローバンドＬＬをＬＬＬ、ＬＨＬ、ＬＬ
Ｈ、ＬＨＨに４分割する。次に、動き補償サブバンド画
像と前フレームサブバンド画像と背景サブバンド画像と
無信号の中から適応予測回路３２７で選択し、入力サブ
バンド画像と選択された予測信号との差を残差符号化回
路３２８で符号化する。次に、残差符号化情報と適応予
測情報と動き解析情報とが可変長符号化回路３３３で可
変長符号化され、出力端子３３４から出力される。それ
と同時に、残差符号化情報は、残差復号化回路３２９で
復号化され、加算器３３０で適応予測信号と加算され
る。加算された信号は、背景予測回路３３１とフレーム
メモリ３３２に入力される。背景予測回路３３１では、
背景部分かどうかを判断し、背景部分のみ蓄積する。フ
レームメモリ３３２の出力の前フレームサブバンド画像
信号は、サブバンド合成回路３２５で各周波数成分が合
成され、前フレーム画像が再構成される。

【００７２】図２８は、本発明の動き補償回路の一例を
示すブロック図である。入力端子３４１から入力された
画像信号は、動領域抽出部３４３で動領域が抽出され
る。動領域抽出部の一方法としては、まずフレーム間差
分をとり、左右から動物体のエッジを探索し、その内側
を動領域とする方法である。この方法によると動領域が
分離することはない。また、左右だけでなく、上下左右
から動物体のエッジを探索することにより、更に正確に
動領域の抽出ができる。グローバル動き推定部３４４で
は、動領域全体の動きパラメータが推定される。グロー
バル動き推定は、下記の（３）式に示すように、ある点
（ｘ、ｙ）が別の点（ｘ’、ｙ’）に移動する写像を考
え、動きパラメータａ〜ｆを求める。ａ〜ｄは、回転、
拡大、縮小、変形を表現するパラメータで、ｅ、ｆは、
平行移動を表すパラメータである。

【００７３】

【数２】多角形パッチ動き推定部３４５では、動領域に多角形パ
ッチが当てられ動領域の中の細かい動きが推定される。
多角形パッチ動き推定は、図２９に示すように１フレー
ム前の画像をグローバル動きパラメータで写像した後、
多角形パッチを動領域に当てる。ここでは、三角形パッ
チとした。現フレーム画像との誤差が最小になるように
各三角形の頂点を移動する。三角形の中の画像は、アフ
ィン変換により写像する。アフィン変換の式は、（３）
式と同じであり、各三角形毎にパラメータが異なる。伝
送する情報としては、各頂点の移動量だけでよい。入力
端子３４２から入力された前フレーム画像は、グローバ
ル動きパラメータと多角形動きパラメータにより、動き
補償部３２６で動き補償が行なわれ出力端子３４８から
出力される。

【００７４】図３０は、本発明の背景予測回路の一例を
示すブロック図である。入力端子３５１から入力された
信号サブバンド画像は、静止時間計測部３５３で画素単
位または複数画素のブロック単位に静止している時間が
計測される。その静止時間が一定時間以上のときは、書
き込み制御部３５４で書き込み信号が発生され復号サブ
バンド画像が背景メモリ３５５に書き込まれる。また、
入力端子３５２から入力された適応予測選択信号が無信
号を示しているとき、すなわちフレーム内符号化されて
いるときも書き込み信号を発生させる。これは、過去の
信号で予測できない新しい画像信号が現れたときにフレ
ーム内符号化が選択されるのでその部分が背景である可
能性が高いからである。

【００７５】図３１は、本発明の適応予測回路の一例を
示すブロック図である。入力端子３６１から入力サブバ
ンド画像、入力端子３６２から動き補償サブバンド画
像、入力端子３６３から前フレームサブバンド画像、入
力端子３６４から背景サブバンド画像が入力され、評価
回路３６５に入力される。評価回路３６５では、入力サ
ブバンド画像に対する動き補償サブバンド画像、前フレ
ームサブバンド画像、背景サブバンド画像、無信号との
評価値が計算される。評価値としては、差分絶対値和ま
たは差分２乗和が計算される。前フレームサブバンド画
像の評価値が設定値以下のときは、セレクタ３６６で前
フレームサブバンド画像が予測信号として選択され出力
端子３６８から出力される。それ以外の時は、最も評価
値が小さいものが選択される。無信号が選択されたとき
は、予測信号は０となり、フレーム内符号化になる。

【００７６】図３２は、本発明の残差符号化回路の一例
を示すブロック図である。予測残差信号は、画素間の相
関はほとんどないが、局所的にはフレーム内符号化が選
択された場合などに高い相関が残っていることがある。
そのような局所的相関を利用して更に残差信号を小さく
することができる。入力端子３７１から入力された予測
残差信号は、予測部３７４により既に符号化された画素
を用いて予測され、その予測誤差が量子化器３７３で量
子化され出力端子３７７から出力される。また、量子化
信号と予測信号が加算器３７６で加算されメモリ３７５
に書き込まれ、次の画素の予測のために使われる。図３
３に、４ｘ４のブロックで処理する場合の例を示す。斜
線部分は、既に符号化の終了した部分である。先ず、ブ
ロック右下の画素Ｘ（４、４）が既に符号化の終了した
画素を用いて数２により予測され、予測誤差が量子化さ
れる。

【００７７】 P(4 、4)=(ah(4、4)X(0 、4)+av(4 、4)X(4 、0))/2 ……（４）量子化された予測誤差と予測値が加算されＸ（４、４）
が確定する。次に画素Ｘ（２、４）、Ｘ（４、２）が、
下記の（５）（６）式より予測され、予測誤差が量子化
される。

【００７８】 P(2 、4)=ah(2 、4)(X(0、4)+X(4、4))/2 ……（５） P(4 、2)=av(4 、2)(X(4、0)+X(4、4))/2 ……（６）次に、画素Ｘ（２、２）が（７）式により予測され、予
測誤差が量子化される。

【００７９】 P(2 、2)= (ah(2、2)(X(0、2)+X(4、2))+av(2、2)(X(2、0)+X(2、4)))/4 ……（７）同様にして、その間の画素も符号化される。ここで、予
測係数（ａｈ（ｉ、ｊ）、ａｖ（ｉ、ｊ）は、画素間相
関によって決まる。しかし、入力画像毎に画素間相関を
計算するのは現実的でないので、標準的な画像に対する
各バンドの画素間相関を調べ、その値により予測係数を
決定すればよい。

【００８０】量子化された予測誤差の符号化は、量子化
値が０の場合とそれ以外の場合に分けて符号化すればよ
い。図３４（ａ）は、黒い部分が量子化値が０でない画
素を示している。この位置情報を図３４（ｂ）のように
４分木で表現し可変長符号化する。そして、０でない量
子化値だけ可変長符号化する。

【００８１】（第５の発明）第５の発明の一実施例であ
る動画像復号化装置について図３５のブロック図に基づ
いて説明する。

【００８２】これは、第４の発明である動画像符号化装
置によって符号化された符号化データを復号する装置で
ある。

【００８３】入力端子４０１から、符号化データが入力
され、可変長復号化器４０２で可変長符号の復号化が行
われ、動きパラメータ、適応予測選択信号及び予測誤差
量子化信号が出力される。

【００８４】予測誤差量子化信号は、逆量子化器４０３
で逆量子化され、予測器４０５の出力と加算器４０４で
加算され、残差復号信号になる。この残差復号信号は、
メモリ４０６に書き込まれ、次の復号画素を予測するた
めに使われる。

【００８５】予測器４０５は、次の復号画素の近傍の既
に復号化された画素を用いて、次の復号画素を予測す
る。

【００８６】選択回路４０８は、無信号及び後述する動
き補償サブバンド画像信号、前フレームサブバンド画像
信号、サブバンド背景予測信号の４つの信号の中から１
つの信号を、適応予測選択信号により選択して、適応予
測信号として出力する。

【００８７】残差復号信号は、選択回路４０８からの適
応予測信号と、加算器４０７で加算され、サブバンド復
号画像が得られる。そして、このサブバンド復号画像
は、フレームメモリ４０９と背景予測回路４１０に出力
される。

【００８８】サブバンド復号画像は、フレームメモリ４
０９に書き込まれる。

【００８９】背景予測回路４１０は、サブバンド復号画
像の中から新しく送られてきた部分や長時間静止してい
る部分を選択的に、背景予測回路４１０の中の背景メモ
リに書き込む。そして、サブバンド背景予測信号として
選択回路４０８へ出力される。

【００９０】フレームメモリ４０９からのサブバンド復
号画像は、サブバンド合成器４１３で、ベースバンド復
号画像に合成され、出力端子４１４から出力される。ま
た、前フレームサブバンド画像信号として選択回路４０
８へ出力される。

【００９１】ベースバンド復号画像は、動き補償回路４
１２で動きパラメータに基づいて動き補償され、サブバ
ンド分割回路４１１でサブバンドに分割され、動き補償
サブバンド画像信号として選択回路４０８へ出力され
る。

【００９２】動画像符号化装置側が、図２８のようにグ
ローバル動き補償と多角形パッチ動き補償の２段階にな
っていれば、動画像復号化装置側も動き補償を２段階に
する必要がある。

【００９３】また、動画像符号化装置側に背景予測回路
が含まれていなければ、動画像復号化装置側も必要な
い。

【００９４】

【発明の効果】第１の発明の動画像符号化装置は、入力
画像信号から動領域を抽出し、その領域だけ動き補償を
施すので、動物体の境界付近での動き補償の効率が向上
する。また、動領域に多角形パッチを当て、細かい動き
推定を行うことにより、目や口の変形にも対応できる動
き補償を行うことができる。

【００９５】第２の発明の動画像復号化装置であると、
被写体の動きを十分に補償しつつ、高い符号化効率の符
号化データを復号化できる。

【００９６】第３の発明によれば、適応ＫＬ変換を選択
することにより静止画、動画を問わず符号化効率の向上
が図れる。

【００９７】第４の発明によれば、被写体の動きを十分
に補償し、サブバンドに分割して処理を行なうことによ
り、視覚的に重要な低周波信号を優先的に符号化できる
ので、視覚的に高い画像が得られる。更に背景予測によ
り動物体の背景から現われた背景部分の予測を行なうこ
とにより一層高い符号化効率が得られる。

【００９８】第５の発明の動画像復号化装置であると、
被写体の動きを十分に補償し、サブバンドに分割して処
理を行なうことにより、高い符号化効率の符号化データ
を復号化できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像符号化装置のブ
ロック図。

【図２】本発明の動画像解析部の一例を示すブロック
図。

【図３】本発明の動画像解析部の別の例を示すブロック
図。

【図４】本発明の動画像解析部の更に別の例を示すブロ
ック図。

【図５】従来の動画像符号化装置の例を示すブロック
図。

【図６】フレーム間差分の孤立点除去と領域統合による
動領域抽出の説明図。

【図７】動領域境界の内側を動領域とする方法による動
領域抽出の説明図。

【図８】グローバル動き推定を説明する図。

【図９】三角形パッチ動き推定を説明する図。

【図１０】特徴点周囲の三角形パッチの大きさを小さく
し動き補償を行う方法を説明する図。

【図１１】三角形パッチの形状を特徴点に合わせて動き
補償を行う方法を説明する図。

【図１２】差分チェーン符号化を説明する図。

【図１３】代表点だけ送り、間を補間することにより境
界線を表現する図。

【図１４】背景と動領域を合成するやり方を説明する
図。

【図１５】顔の画像を通信する場合のブロック図であっ
て、（ａ）は送信部、（ｂ）は受信部である。

【図１６】第２の発明の動画像復号化装置のブロック
図。

【図１７】第３の発明の第１実施例のブロック図。

【図１８】第３の発明の第１実施例の量子化器と逆量子
化器の位置を示す図。

【図１９】第３の発明の第２実施例のブロック図。

【図２０】第３の発明の第３実施例のブロック図。

【図２１】第３の発明の第４実施例のブロック図。

【図２２】第３の発明の第４実施例のＲ／Ｄ判定器の動
作原理を示す図。

【図２３】第３の発明の第５実施例のブロック図。

【図２４】第３の発明の第５実施例の自己相関行列の距
離関係ネットワークを示す図。

【図２５】第３の発明の第６実施例のブロック図。

【図２６】第４の発明の動画像符号化装置のブロック
図。

【図２７】第４の発明のサブバンド分割の例を示す図。

【図２８】第４の発明の動き補償回路のブロック図。

【図２９】第４の発明の三角形パッチ動き推定を説明す
る図。

【図３０】第４の発明の背景予測回路のブロック図。

【図３１】第４の発明の適応予測回路のブロック図。

【図３２】第４の発明の残差符号化回路のブロック図。

【図３３】第４の発明の残差符号化処理を説明する図。

【図３４】第４の発明の量子化値が０でない画素位置の
符号化を説明する図。

【図３５】第５の発明の動画像復号化装置のブロック
図。

【符号の説明】

１…入力端子２…動物体解析部３…画像再構成部４…残差符号化部５…可変長符号化部６…出力端子１１…動領域抽出部１２…グローバル動き推定部１３…多角形パッチ動き推定部１４…動き補償部１７…特徴点抽出部１９…背景画像構成部３０１…差分器３０２…選択手段３０３…変換演算器３０４…量子化器３０５…逆量子化器３０６…逆変換器３０７…加算器３０８…フレームメモリ３０９…動き予測回路３１０…可変長符号器３１１…判定器３１２、３１３…切換えスイッチ３１４…符号化誤差計数器３１５…符号量計数器３１６…Ｒ／Ｄ判定器３１７…自己相関行列３１８…係数メモリ３１９…対応自己相関行列ネットワーク３２０…ネットワーク探索器３２１…入力端子３２２…動き補償回路３２３、３２４…サブバンド分割回路３２５…サブバンド合成回路３２６…減算器３２７…適応予測回路３２８…残差符号化回路３２９…残差復号化回路３３０…加算器３３１…背景予測回路３３２…フレームメモリ３３３…可変長符号化回路３３４…出力端子

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉立尚明大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (72)発明者面川光教大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (72)発明者山口尚吾大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内 (72)発明者大関和夫大阪府大阪市北区大淀中一丁目１番30号梅田スカイビルタワーウエスト株式会社東芝関西支社内

Claims

【特許請求の範囲】

【請求項１】入力画像信号の中から動物体を抽出して、
この動きを解析することにより、再構成画像との残差信
号と動きパラメータとを出力する動物体解析手段と、前記動物体解析手段からの前記残差信号を符号化して残
差符号化情報を形成する残差符号化手段と、前記動物体解析手段からの前記動きパラメータと前記残
差符号化手段からの前記残差符号化情報とから画像を再
構成する再構成手段と、前記動物体解析手段からの前記動きパラメータと前記残
差符号化手段からの前記残差符号化情報とを可変長符号
化する可変長符号化手段とを有することを特徴とする動
画像符号化装置。
【請求項２】前記動物体解析手段は、入力画像の中から動いている領域を抽出する動領域抽出
手段と、前記動領域抽出手段によって抽出された動領域の中の全
体的な動きを推定するグローバル動き推定手段と、前記動領域に多角形パッチを当てて細かい動きを推定す
る多角形パッチ動き推定手段と、前記グローバル動き推定手段により推定されたグローバ
ル動きパラメータと前記多角形パッチ動き推定手段によ
り推定された多角形パッチ動きパラメータにより再構成
画像の動き補償を行う動き補償手段とからなることを特
徴とする請求項１記載の動画像符号化装置。
【請求項３】前記動物体解析手段は、入力画像の中から動いている領域を抽出する動領域抽出
手段と、前記動領域抽出手段によって抽出された動領域の中の全
体的な動きを推定するグローバル動き推定手段と、再構成画像の動領域の中から特徴点を抽出する特徴点抽
出手段と、前記特徴点抽出手段により抽出された動領域の特徴点に
多角形の頂点がくるように多角形パッチを当てて細かい
動きを推定する多角形パッチ動き推定手段と、前記グローバル動き推定手段により推定されたグローバ
ル動きパラメータと前記多角形パッチ動き推定手段によ
り推定された多角形パッチ動きパラメータにより再構成
画像の動き補償を行う動き補償手段とからなることを特
徴とする請求項１記載の動画像符号化装置。
【請求項４】前記動物体解析手段は、入力画像の中から動いている領域を抽出する動領域抽出
手段と、前記動領域抽出手段によって抽出された動領域の中の全
体的な動きを推定するグローバル動き推定手段と、再構成画像の動領域の中から特徴点を抽出する特徴点抽
出手段と、前記特徴点抽出手段により抽出された動領域の特徴点の
周囲に小さい多角形パッチを、それ以外に大きい多角形
パッチを当てて細かい動きを推定する多角形パッチ動き
推定手段と、前記グローバル動き推定手段により推定されたグローバ
ル動きパラメータと前記多角形パッチ動き推定手段によ
り推定された多角形パッチ動きパラメータにより再構成
画像の動き補償を行う動き補償手段とからなることを特
徴とする請求項１記載の動画像符号化装置。
【請求項５】前記動領域抽出手段は、入力画像から時間的な差分をとり、差分の大きな領域を
上下左右から探索し、その内側を動領域とすることを特
徴とする請求項１記載の動画像符号化装置。
【請求項６】前記動物体解析手段は、入力画像の中から動いている領域を抽出する動領域抽出
手段と、前記動領域抽出手段によって抽出された動領域の中の全
体的な動きを推定するグローバル動き推定手段と、前記動領域に多角形パッチを当てて細かい動きを推定す
る多角形パッチ動き推定手段と、再構成画像から背景画像を構成する背景画像構成手段
と、前記グローバル動き推定手段により推定されたグローバ
ル動きパラメータと前記多角形パッチ動き推定手段によ
り推定された多角形パッチ動きパラメータにより再構成
画像の動き補償と、動物体の後ろから現れた背景を前記
背景画像構成手段によって構成した背景画像で補償する
動き補償手段とからなることを特徴とする請求項１記載
の動画像符号化装置。
【請求項７】符号化データを受信し、可変長符号である
この符号化データを復号化し、グローバル動きパラメー
タ、多角形パッチ動きパラメータ及び残差符号とに分離
する可変長復号化手段と、この可変長復号化手段から出力された残差符号を復号し
て残差信号を出力する残差符号復号化手段と、フレームメモリに蓄積された前フレームの復号画像と、
前記可変長復号化手段から出力されたグローバル動きパ
ラメータから動領域全体の動き補償を行い、グローバル
動き補償画像を出力するグローバル動き補償手段と、このグローバル動き補償手段から出力されたグローバル
動き補償画像と、前記可変長復号化手段から出力された
多角形パッチ動きパラメータから動領域内部の局所的な
動き補償を行い、動き補償予測画像を出力する多角形パ
ッチ補償手段と、この多角形パッチ補償手段から出力された動き補償予測
画像と、前記残差符号復号化手段から出力された残差符
号を加算して、復号画像を作成して、復号画像を出力す
ると共に、フレームメモリに送る加算手段とよりなるこ
とを特徴とする動画像復号化装置。
【請求項８】画像信号に対し時間方向の差分をとること
により予測を行なう予測手段と、予め用意された複数の
変換方法から１つを選択する選択手段と、この選択手段により選択された変換方法に従って前記予
測手段からの予測残差信号を変換し量子化する変換手段
と、この変換手段からの量子化信号を符号化して送出する符
号化手段と、前記変換手段からの量子化信号を逆量子化
する逆量子化手段と、この逆量子化手段からの逆量子化信号を前記選択された
変換方法に対応する逆変換方法に従って逆変換を行な
い、局所復号信号を得る逆変換手段とを備えたことを特
徴とする画像符号化装置。
【請求項９】選択手段は、複数の変換方法に対応する自
己相関行列、及びこれら相互間の距離関係ネットワーク
を有し、画像信号の自己相関行列と前記変換方法に対応
する自己相関行列との最小距離探索を行なうことによ
り、最適な自己相関行列を選択するものであることを特
徴とする請求項８の記載の画像符号化装置。
【請求項１０】入力画像信号と前フレーム画像信号とか
ら動きを解析して動き補償を行なう動き補償手段と、この動き補償手段からの動き補償画像信号及び前記入力
画像信号を夫々サブバンドに分割するサブバンド分割手
段と、前記入力画像信号に対応するサブバンド画像信号に対し
残差をとるべき信号を適応的に選択する適応予測手段
と、この適応予測手段より選択された信号と前記入力サブバ
ンド画像信号との残差をとって符号化する残差符号化手
段と、この残差符号化手段からの残差符号化信号を復号化して
前記適応予測手段からの選択信号と加算することにより
局部復号サブバンド画像信号を生成する復号化手段とを
備え、前記適応予測手段は、残差をとるべき信号として少くと
も動き補償サブバンド画像信号、前フレームの局部復号
サブバンド画像信号及び無信号の中から選択することを
特徴とする画像符号化装置。
【請求項１１】残差符号化手段は、前記残差符号化信号
に対しブロック毎に画素単位で更に符号化するに際し、
当該ブロックに隣接する既に符号化済の画素及び当該ブ
ロック内の既に符号化済の画素から予測を行なうもので
あることを特徴とする請求項１０記載の画像符号化装
置。
【請求項１２】符号化データを受信し、可変長符号であ
るこの符号化データを復号化し、動きパラメータ、適応
予測選択信号及び残差符号とに分離する可変長復号化手
段と、この可変長復号化手段により分離された残差符号を復号
化する残差復号化手段と、適応予測信号を生成する選択手段と、前記残差復号化手段により生成された残差信号と、前記
選択手段により生成された適応予測信号とを加算しサブ
バンド復号画像を生成する加算手段と、この加算手段により生成されたサブバンド復号画像を蓄
積するフレームメモリと、このフレームメモリから出力されたサブバンド復号画像
をサブバンド合成し、ベースバンド復号画像を生成する
サブバンド合成手段と、このサブバンド合成手段により生成されたベースバンド
復号画像信号を、前記可変長復号化手段により分離され
た動きパラメータに基づき動き補償を行う動き補償手段
と、この動き補償手段の出力信号をサブバンドに分割して動
き補償サブバンド画像信号を出力するサブバンド分割手
段とを備え、前記選択手段は、前記可変長復号化手段により分離され
た適応予測選択信号に基づき、少なくとも前記サブバン
ド分割手段からの動き補償サブバンド画像信号、前記フ
レームメモリからの前フレームサブバンド復号画像信号
及び無信号の中から適応予測信号を選択することを特徴
とする動画像復号化装置。