JPH0787582B2

JPH0787582B2 - 画像符号化伝送装置

Info

Publication number: JPH0787582B2
Application number: JP18880188A
Authority: JP
Inventors: 篤道村上; 一博松崎
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1988-07-27
Filing date: 1988-07-27
Publication date: 1995-09-20
Anticipated expiration: 2010-09-20
Also published as: JPH0237889A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は画像符号化伝送装置、特にテレビ会議、テレビ
電話等のテレビ通信に用いられる画像符号化伝送装置の
改良に関するものである。

［従来の技術］以下、従来の画像符号化伝送装置を図面に基づいて説明
する。

第８図には、『動画像符号化における画質適応制御：伊
藤敦他（1986年画像符号化シンポジウム予稿6.3）』に
開示された画像符号化伝送装置のブロック構成が示され
ている。

同図に示されるように、該画像符号化伝送装置は、前処
理部（Ａ）と、動き補償部（Ｂ）と、ベクトル量子化符
号化部（Ｃ）と、ベクトル量子化復号化部（Ｄ）と、か
らなっている。

そして、前記前処理部（Ａ）は、１フレーム毎に動画像
信号（100）を読み込みアナログ／デジタル変換（以下A
/D変換という）して画素信号（101）を生成するA/D変換
器（１）と、画像上近接した位置にある画素を所定数ず
つブロック化し、該ブロック毎に画素信号（101）群か
らなる画像ベクトル信号（102）を生成するブロック分
割器（２）とからなっている。

また、動き補償部（Ｂ）は、前フレームの復号化再生信
号（112）を記憶するフレームメモリ（３）と、該フレ
ームメモリ（３）に記憶された前フレームの復号化再生
信号（112）から現ブロック位置を基準とする複数個の
参照ブロック（103）を生成し、前記画像ベクトル信号
（102）に最も近似する参照ブロック（104a）および動
き位置情報（104b）を探索出力する動き補償処理部（10
4）と、からなっている。

ベクトル量子化符号化部（Ｃ）は、前記画像ベクトル信
号（102）と前記選択された参照ブロック（104a）とを
差演算して差分ベクトル信号（105）を出力する減算器
（５）と、前記差分ベクトル信号（105）の大きさを示
す評価値を演算し、該評価値としきい値との比較を行
い、前記評価値がしきい値の範囲内の場合には前記画像
ベクトル信号（102）と前記参照ブロック（104a）が同
一であると判断してブロック判定情報が無効情報とし、
前記評価値がしきい値の範囲外である場合には要送信ブ
ロックとしてブロック判定情報を有効情報とする有効／
無効ブロック識別部（６）と、前記有効／無効ブロック
識別部（６）にて有効情報と判定された差分ベクトル信
号（105）のみをベクトル量子化符号化して符号化ベク
トル信号（107）を出力するベクトル量子化符号化部
（７）と、該符号化ベクトル信号（107）および動き位
置情報（104b）を多重化して可変長符号化する可変長符
号化部（８）とからなっている。

そして、前記可変長符号化部（８）より出力される多重
化符号化データ（108）は送信バッファ（９）を介して
通信回線に出力される。

またベクトル量子化復号化部（Ｄ）は、前記符号化ベク
トル信号（107）をベクトル量子化復号化して復号化ベ
クトル信号（110）を出力するベクトル量子化復号化部
（10）と、復号化ベクトル信号（110）と前記探索され
た参照ブロック（104a）とを加演算して復号化再生ベク
トル信号（111）を出力する加算器（11）とからなって
いる。

また、空間フィルタ（12）は前記復号化再生信号（11
1）の平滑化処理を行うフィルタである。

次に該従来の画像符号化伝送装置の動作について説明す
る。

まず、第１フレームの動画像信号（100）は前記A/D変換
器（１）に入力され画素信号（101）に変換され、ブロ
ック分割器（２）に入力される。

そして、前記ブロック分割器（２）にて、画像上近接し
た位置にある前記画素信号（101）を所定数ずつまとめ
て画像ベクトル信号（102）を生成して出力する。

次に、前記画像ベクトル信号（102）は、減算器（５）
をそのまま通過し、ベクトル量子化符号化部（７）に入
力される。

そして、ベクトル量子化符号化部（７）は、前記画像ベ
クトル信号（102）のベクトル量子化符号化を以下のよ
うに行う。

まず、前記画像ベクトル信号（102）の平均値ｍを算出
する。そして、該平均値ｍに基づき平均値分離化を行い
平均値分離ベクトルを出力する。

そして、前記平均値分離ベクトルに最も近似するベクト
ルをパターンベクトルを複数個記憶しているコードブッ
クから探索してベクトル信号（102）の符号化ベクトル
（107）として出力する。

そして、前記ベクトル量子化符号化されたベクトル信号
（107）は、可変長符号化された後送信バッファ（９）
を介して送信符号化データ（109a）として通信回線に出
力される。

一方、前記符号化ベクトル信号（107）はベクトル量子
化復号化部（10）に入力され復号化された後、加算器
（11）を通過し、空間フィルタ（12）にて平滑化処理さ
れフレームメモリ（３）に書き込まれる。

そして、第２フレームの動画像信号（100）は、前処理
回路（Ａ）にて画像ベクトル信号（102）に変換出力さ
れ、該画像ベクトル信号（102）は前記減算器（５）に
入力される。

また、前記ベクトル信号（102）は動き補償処理部
（４）に入力される。

一方、前記フレームメモリ（３）に記憶された復号化再
生信号（112）から該入力ブロックと同一位置にあるベ
クトル信号含む複数個の参照ブロック信号（103）が生
成され、動き補償処理部（４）に入力される。

そして、動き補償処理部（４）にて、前記ベクトル信号
（102）と前記各参照ブロック信号（103）との歪み演算
がなされ、最も小さい歪値を与える参照ブロックが選択
されその参照ブロック信号（104a）と動き位置情報（10
4b）がそれぞれ出力される。

そして、減算器（５）にて、前記ベクトル信号（102）
と前記参照ブロック信号（104a）とを差演算して差分ベ
クトル信号（105）を生成し、ベクトル量子化符号化部
（７）および有効／無効ブロック識別部（６）に出力す
る。

そして、有効／無効ブロック識別部（６）では次式のよ
うな判定を行う。

d:評価値 ε_i:差分ベクトル信号の要素ｄ≧Th ならば有効ｄ＜Th ならば無効そして、前記有効／無効ブロック識別部（６）の判定が
有効であった場合は、要送信情報として前記差分ベクト
ル信号（105）のベクトル量子化符号化を行う。

また、前記有効／無効ブロック識別部（６）の判定が無
効であった場合は、前記選択された参照ブロック信号
（104a）と前記画像ベクトル信号（102）が同一である
と見なし、前記動き位置情報（104b）のみを伝送する。

次に、符号化ベクトル信号（107）は、前記動き位置情
報（104b）と共に可変長符号化部（８）にて発生確率の
高いものには短い符号を発生確率の低い信号には長い符
号値を割り当てる可変長符号化が行われ多重化した後送
信バッファ（９）に出力される。

一方、前記符号化ベクトル信号（107）はベクトル量子
化復号化部（10）にて、復号化ベクトル信号（110）に
変換され更に加算器（11）にて前記参照ブロック信号
（104a）と加算され復号化再生ベクトル信号（111）に
変換される。

更に、前記復号化再生ベクトル信号（111）は動き位置
情報（104b）の大きい時には平滑化処理がなされ、フレ
ームメモリ（３）に記憶される。ここで、前記空間フィ
ルタ（12）の平滑化処理は、動き補償により得られた動
き位置情報（104b）に基づきなされ同領域に対してのみ
平滑化処理を行い静止領域に対しては平滑化処理を行わ
ないように制御される。

［発明が解決しようとする課題］従来の画像符号化伝送装置は、以上のように構成されて
いるので、入力した動画像信号に近い復号化画像となる
ような精度の高い符号化がなされた部分に対してもフィ
ルタによって平滑化処理がほどこされる一方、動きベク
トル情報によりフィルタのオンオフを行うため領域につ
いては平滑化処理がなされず粗く符号化された領域に対
する符号化雑音が蓄積して復号化画像の品質の低下を招
くという問題点があった。

本発明に係る画像符号化伝送装置は上記問題点を解決す
ることを課題としてなされたものであり、符号化雑音を
効果的に抑圧できるとともに再生画像の品質を局所的に
制御できる画像符号化伝送装置を提供することを目的と
する。

［課題を解決するための手段］上記目的を達成するために、本発明に係る画像符号化伝
送装置は、動き補償部、ベクトル量子化符号化部及びベ
クトル量子化復号部を備え、前記ベクトル量子化符号化
部で動きのある被写体を含んだ画像領域を符号化する際
に、前記動き補償部で最適な予測を与える領域を前記ベ
クトル量子化復号化部で復号された符号化済みの画像フ
レームから探索し、検出した動き量を補正して予測画像
を生成する動き補償予測機能を備える画像符号化伝送装
置において、前記ベクトル量子化復号化部で復号化された、符号化済
みの画像信号の平滑化処理を行う適応型空間フィルタ
と、前記動き補償部での動き補償予測により得られた前記動
き量に基づいて前記適応型空間フィルタの動作と非動作
を切り替えるとともに、前記ベクトル量子化符号化部か
ら出力された符号化精度に基づいて前記適応型空間フィ
ルタによる画像信号の平滑化の度合いを変化させる平滑
化特性制御部と、を備えたものである。

［作用］このように、本発明の画像符号化伝送装置では、フレー
ム間符号化ループ内の空間フィルタの動作／非動作及び
その平滑化特性を、動き量と符号化精度に基づいて制御
することにより、量子化雑音の抑圧を図るものである。

すなわち、動き量が０である場合には空間フィルタを非
動作制御して平滑化処理を省略して高域低減を避け、ま
た、動き量が０でない場合には空間フィルタを動作させ
るが、符号化精度が低い場合には符号化精度が高い場合
に比べて平滑化の度合いを大きくしてブロック歪みや偽
輪郭などを抑圧する。

これにより、復号画像の画質を低下させることなく、符
号化雑音を効率的に除去することが可能となる。

［実施例］以下、本発明に係る画像符号化伝送装置に好適な一実施
例を図面に基づいて説明する。

第１図は本発明の本実施例による画像符号化伝送装置の
送信部の構成を示すブロック構成図である。

また、第２図にはベクトル量子化符号化部（７）の詳細
なブロック構成が示されている。

なお図において、従来の第８図従来例と同一部分には同
一符号を付しその説明を省略する。

同図に示されるように、該ベクトル量子化符号化部
（７）は、前記有効／無効ブロック識別部（６）より出
力された判定情報（106）及び送信バッファ（９）に一
時記憶される前フレームの送信データの情報量（109b）
に基づき量子化特性を制御する量子化制御部（7a）と、
量子化制御部（7a）より出力される有効差分ベクトル信
号（107a）の平均値ｍを算出し、前記差分ベクトル信号
（107a）の平均値分離化を行う平均値分離部（7b）と、
前記平均値分離部（7b）より出力される平均値分離ベク
トル信号（107b2）をベクトル量子化する内積ベクトル
量子化部（7c）と、複数個のパターンベクトルを記憶す
るコードブック（7d）とからなっている。

従って、量子化制御部（7a）は、前記情報（106）が有
効である時は差分ベクトル信号（105）をそのまま有効
差分ベクトル信号（107a）として出力し、無効の場合は
ゼロベクトルを有効差分ベクトル（107a）として出力す
る。

そして、前記平均値分離部（7b）は、前記算出された平
均値ｍに基づいて前記有効差分ベクトル信号（107）を
平均値分離する。更に、平均値分離部（7b）は、前記の
平均値ｍを前記量子化制御部（7a）より指定される量子
化特性（S1）に基づいて平均値ｍを量子化し、平均値量
子化番号（107b1）を出力する。

そして、前記平均値分離部（7b）は、平均値分離ベクト
ル（107b2）を内積ベクトル量子化部（7c）に出力す
る。

次に前記内積ベクトル量子化部（7c）は、第３図に示さ
れるように、木構造に配列された複数個の平均値分離正
規化ベクトルのパターンベクトルを記憶するコードブッ
ク（7d）を用いて前記平均値分離ベクトル（107b2）と
を内積演算することにより最も内積値の大きいパターン
ベクトルを選択する。

また、ベクトル量子化復号化部（10）の詳細なブロック
構成が第４図に示されており、前記ベクトル量子化復号
化部（10）は、前記量子化符号化された平均値ｍ（107b
1）を前記量子化制御部（7a）より出力された量子化特
性（S1）に基づいて復号化を行う平均値復号化部（10
b）と、前記量子化特性（S1）に従って振幅利得を復号
化する振幅利得復号化部（10c）と、インデックス復号
化部（10a）と、からなっている。

次に実施例の動作について説明する。差分ベクトル信号
（105）の生成までは、従来と同様の手順なのでその説
明を省略する。

従来と同様の手順により得られた差分ベクトル信号（10
5）は、従来と同様に、有効／無効ブロック識別部
（６）とベクトル量子化符号化部（７）へ出力される。

そして、前記量子化制御部（7a）に入力された差分ベク
トル信号（105）は、有効／無効ブロック情報（106）に
基づいてベクトルの各要素の値が調整される。

すなわち、有効ブロックの場合は、前記差分ベクトル信
号（105）の値がそのまま有効差分ベクトル信号（107
a）として平均値分離部（7b）へ出力されるのに対し、
無効ブロックの場合は各要素に全て０が代入された有効
差分ベクトル信号（107a）が出力される。

無効ブロックに対してはベクトル量子化符号化は適用さ
れず、以下有効ブロックのベクトル量子化符号化を述べ
る。

前記量子化制御部（7a）は、前フレームの送信情報量で
あるバッファ蓄積情報量（109b）に基づいて量子化ステ
ップ幅を規定する量子化特性信号（S1）を符号化対象ブ
ロック単位で周期的に出力する。

そして、平均値分離部（7b）は、前記有効差分ベクトル
信号（107a）の平均値ｍを算出し、前量子化特性信号
（S1）に基づき量子化し平均値量子化番号（107b1）と
して出力するとともに、前記平均値ｍに基づいて前記有
効差分ベクトルの平均値分離を行い平均値分離ベクトル
（107b2）として内積ベクトル量子化部（7c）に出力す
る。

次に、内積ベクトル量子化部（7c）では、前記平均値分
離ベクトル（107b2）とコードブック（7d）内の平均値
０、大きさ１に正規化されたパターンベクトルとの内積
を計算し内積が最大となるコードベクトルのインデック
ス（107C2）とその最大内積値で与えられる振幅利得（1
07C1）が求められ、前記量子化特性信号（S1）に基づい
て量子化される。

ここで前記ベクトル量子化過程で、最大内積を与えるコ
ードベクトル（量子化代表ベクトル）探索時の演算高速
化のために、第３図に示すようにパターンベクトルを木
構造に構成し、上位のベクトルが下位の代表ベクトルと
なるように予め設計されている。

各段において、前記平均値分離ベクトル（107b2）との
内積値が大きい方のコードベクトルを２つの内から１つ
選択する操作を最上段から最下段まで順次実行し、最下
段の量子化代表ベクトルを決定する。

２進木構造に配列されたパターンベクトルの場合、各節
点からの分岐の方向に従って０または１が割り当てられ
ており、最下段の量子化代表ベクトルに至るまでの経路
を表す二進数列が該量子化代表ベクトルのインデックス
（107C2）に対応する。

さらに、得られた振幅利得σの大きさに応じてインデッ
クス（107C2）の下位ビットを切り捨てた新しいインデ
ックス（107C2）が伝送される。

従って、ベクトル量子化符号化においては、振幅利得の
大きさに応じてベクトル量子化の精度も可変制御される
ため、振幅利得量子化番号（107C1）を符号化精度とみ
なすことができる。

以上のように、ベクトル量子化符号化部（７）より出力
される符号化ベクトル信号（107）は、平均値量子化番
号（107b1）と、振幅利得量子化番号（107c1）と、イン
デックス（107C2）と、有効／無効ブロック情報（106）
と、量子化特性（S1）とから構成され前記可変調符号化
部（８）に出力され前記動き情報（104b）と多重化され
送信バッファ（９）に出力され送信情報として通信回線
に出力される。

次に、第４図に基づいてベクトル量子化復号化部（Ｄ）
の動作について説明する。

有効ブロックに関しては、符号化ベクトル信号（107）
中の平均値量子化番号（107b）、振幅利得量子化番号
（107c）、インデックス（107C2）がそれぞれ平均値復
号化部（10b）、振幅利得復号化部（10c）、インデック
ス復号化部（10a）において復号化され乗算器（10e）、
加算器（10f）による積和演算により前記有効差分ベク
トル信号（107a）に復号化され、復号化信号（110）と
して出力される。

なお、平均値および振幅利得の復号化には、量子化ステ
ップ幅を規定する量子化特性信号（S1）が用いられる。

一方、無効ブロックに関しては、ゼロ信号生成部（10
g）から生成されるゼロ信号（110g）がセレクタ（10h）
より出力され、前記復号化された有効差分ベクトル信号
（107a）に復号化され、復号化ベクトル信号（110）と
して出力される。

そして、前記復号化ベクトル信号（110）は、加算器（1
1）にて、前記参照ブロック（104a）と加算され、復号
化再生信号（111）として出力される。

次に、第５図に適応型空間フィルタとして二次元空間フ
ィルタを用いる場合の二次元空間フィルタに対する入力
信号サンプル画素の画面上の配列を示し該適応型空間フ
ィルタを説明する。

ここで、平滑化され、出力されるべき着目サンプル値を
Ｘ、該サンプルに対し二次元配列上で隣接する参照サン
プル画素値を左上方から右方向に向って順にそれぞれ
Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈとすると平滑処理は次
式に従って実行される。

但し、は平滑された着目画素サンプル値、すなわちフ
ィルタ出力信号サンプル値であり、a₁、a₂、a₃は平滑化
特性を制御するための平滑化特性係数である。そして、
前記平滑化特性係数a₁を大きくするほど平滑作用が弱く
なり、小さくするほど平滑作用が強くなる。

以下、適応型空間フィルタ（22）の適応的制御方法の一
例を示す。

前記適応型空間フィルタ（22）の適応制御パラメータと
して、動き位置情報（104b）と、ベクトル量子化符号化
の際に符号化対象ブロックの符号化精度を示す振幅利得
量子化番号（107C1）と、有効／無効ブロック情報（10
6）とが、それぞれ適応型空間フィルタ（22）に入力さ
れる。

この適応型空間フィルタ（22）では、第６図に示すよう
に、振幅利得量子化番号（107C1）で示される符号化精
度の高低に基づいて、フィルタ特性が符号化対象ブロッ
ク毎に適応的に制御され、符号化対象ブロック内の画素
を処理単位として平滑化処理がなされる。

但し、動き補償処理にて、動き位置情報（104b）が“0"
で、かつ前記有効／無効ブロック情報（106）が無効ブ
ロックである場合には、静止領域の広域減衰を避ける必
要があるため、その動き補償対象ブロック内の全符号化
対象ブロックに対する平滑化処理は行わない。

なお、上記実施例では、ブロック符号化手法としてベク
トル量子化符号化方法を用いた場合の適応型空間フィル
タ（22）の適用例について説明したが、変換符号化手法
等を用いた場合に対しても、この適応型フィルタ（22）
を適用することが可能であり、この場合符号化精度情報
として符号化対象ブロックの変換係数に対する量子化ス
テップサイズや変換係数量子化符号化後の符号長を適応
制御パラメータに用いることにより上記実施例と同様の
効果を得る。

また、上記実施例では適応型空間フィルタ（22）をフレ
ーム間符号化伝送装置に対して適用した例を示したが、
フレーム内符号化伝送装置に対して適用しても、上記実
施例と同様の効果を奏する。

第７図に、本発明の他の実施例として、フレーム内符号
化伝送装置に、本発明の適応型空間フィルタ（22）を適
用した装置のブロック構成例を示す。

本実施例装置では、ブロック符号化部（７）にて、有効
／無効ブロック情報（106）に基づいて有効ブロックに
対してブロック符号化がフレーム内で行われる。

そして、入力された有効／無効ブロック情報（106）が
有効ブロックである場合に、フレーム内復号化ベクトル
信号（110）と参照ブロック（104a）との加算を行う一
方、無効ブロックに対しては入力された参照ブロック
（104a）をそのまま復号化再生信号として出力する適応
型加算器である。そして符号化精度情報に応じて適応型
空間フィルタ（22）の制御を行う。

なお、上記実施例は、適応型空間フィルタ（22）をルー
プ内フィルタとして用いた場合の実施例を示したが、適
応型空間フィルタ（22）を受信側の復号化装置に適用し
ても同様の効果を奏する。

［発明の効果］以上説明したように、本発明に係る画像符号化伝送装置
によれば、画像符号化伝送装置内に適応型空間フィルタ
を配置し、符号化精度、動きベクトル情報および有効／
無効ブロック情報に基づきブロック単位に適応型空間フ
ィルタの平滑特性を適応的に制御するように構成したの
で、復号化画像の解像度を低下せずに符号化雑音を除去
できるため有効な復号化画像品質が得られる効果があ
る。

【図面の簡単な説明】

第１図は本発明に係る画像符号化伝送装置の好適な一実
施例によるブロック構成図、第２図は第１図実施例装置
のベクトル量子化符号化部の詳細説明図、第３図はベク
トル量子化符号化およびベクトル量子化復号化の際に使
用するコードブックの説明図、第４図はベクトル量子化
復号化部のブロック図、第５図は適応型空間フィルタの
画素配置を示す説明図、第６図は適応型空間フィルタの
フィルタの平滑特性制御例の説明図、第７図は他の実施
例による画像符号化伝送装置のブロック構成図、第８図
は従来の画像符号化伝送装置の構成を示すブロック図で
ある。図において、（Ａ）は前処理部、（Ｂ）は動き補償部、
（Ｃ）はベクトル量子化符号化部、（Ｄ）はベクトル量
子化復号化部、（６）は有効／無効ブロック識別部、
（７）はベクトル量子符号化部（ブロック符号化部）、
（10）はベクトル量子化復号化部（ブロック復号化
部）、（22）は適応型空間フィルタ、（９）は送信バッ
ファである。なお、図中、同一符号は同一、又は相当部分を示す。

Claims

【特許請求の範囲】

【請求項１】動き補償部、ベクトル量子化符号化部及び
ベクトル量子化復号化部を備え、前記ベクトル量子化符
号化部で動きのある被写体を含んだ画像領域を符号化す
る際に、前記動き補償部で最適な予測を与える領域を前
記ベクトル量子化復号化部で復号された符号化済みの画
像フレームから探索し、検出した動き量を補正して予測
画像を生成する動き補償予測機能を備える画像符号化伝
送装置において、前記ベクトル量子化復号化部で復号化された、符号化済
みの画像信号の平滑化処理を行う適応型空間フィルタ
と、前記動き補償部での動き補償予測により得られた前記動
き量に基づいて前記適応型空間フィルタの動作と非動作
を切り替えるとともに、前記ベクトル量子化符号化部か
ら出力された符号化精度に基づいて前記適応型空間フィ
ルタによる画像信号の平滑化の度合いを変化させる平滑
化特性制御部と、を備えたことを特徴とする画像符号化伝送装置。