JPH04207285A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、テレビ電話またはテレビ会議システムなどの
カラー動画像の動画像符号化装置に関する。

従来の技術 動画像符号化技術の発達にともない、テレビ電話または
テレビ会議システムなどのカラー動画像の符号化装置が
開発されている。例えば、［テレビ電話／テレビ会議の
研究動向−カラー動画像低レート符号化技術−Ｊ　　（
ｆｉ子情報通信学会誌νｏｌ。

７０、阻９．　ｐｐ９３９−９４４．１９８７年９月）
に記載されている動画像の符号化装置が知られている。

以下、第５図を用いて、テレビジョン信号の１フレーム
または１フイールドを定められた大きさのブロックに分
割し、ブロック毎に符号化する従来の動画像符号化装置
について説明する。第５図において、１は入力画信号を
一時記憶し、ＭｘＮ（Ｍ、Ｎは正整数）画素からなるブ
ロック単位で読み出し符号化を行うための画像メモリ、
２はｌフレーム周期前の画信号を記憶するフレームメモ
リ、３は画像メモリ１から読みだした現フレームの符号
化ブロックの画信号とフレームメモリ２に蓄積されてい
る前フレームの再生信号を比較し動ベクトルと動き補償
制御信号を算出する動き検出部、４は動き検出部が算出
した動ベクトルと動き補償判定結果に基づいて参照ブロ
ックを出力する動き補償部、５は入力画信号ブロックと
参照ブロックの差分演算を行なう差分器、６は差分器５
の出力を直交変換する直交変換部、７は直交変換部６の
出力を量子化する量子化部、８は量子化部７の出力を可
変長符号化する可変長符号化部、９は可変長符号化部８
の出力と動ベクトル及び復号化装置で画像を復号化する
際に必要な制御情報を定められた形式に構成する伝送フ
レーム構成部、１０は送信する符号を一時蓄積する伝送
バッファメモリ、１１は量子化部７の出力を逆直交変換
する逆直交変換部、１２は逆直交変換部１１の出力と参
照ブロックとを加算する加算器である。

以上のような構成において、以下その動作を説明する。

入力画信号は画像メモリｌに一時記憶された後：　ＭＸ
Ｎ　（Ｍ、Ｎは正整数）画素からなるブロック単位で読
み出される。動き検出部３は画像メモリ１から読み出し
た入力画信号ブロックの画素値とフレームメモリ２に蓄
積しているｌフレーム周期前の画像フレーム（以下、参
照フレームと呼ぶ）の画素値を比較し、入力画信号ブロ
ックとの差分が最も小さい参照フレーム中の画信号ブロ
ックを検出し、検出した参照ブロックを始点、入力画信
号ブロックを終点とする動ベクトルを出力する。動き補
償部４は動き検出部３で検出した動ベクトルを用い、フ
レームメモリ２から動ベクトル値だけシフトしたフレー
ム間予測ブロックを出力する。差分器５は入力画信号ブ
ロックとフレーム間予測ブロックとの差分演算処理を画
素単位で行ない、予測誤差ブロックを出力する。直交変
換部６は予測誤差ブロックに対してブロック単位で２次
元離散コサイン変換を行ない変換係数行列を出力する。

量子化部７は符号化する通報の種類を削減するために変
換係数行列の各要素を量子化する。

量子化特性の一例を第６図に示す、第６図において、ｇ
は量子化ステップ幅である。直交変換部６の出力である
直交変換係数Ｃが ｊｇ≦ｃ　＜　（ｊ＋１）ｇ　（ｃ≧０．　ｊ＝ｏ、　
１．２．・・・）または（ｊ−１）ｇ＜　ｃ≦ｊｇ　（
ｃ　＜（Ｌ　ｊ＝（Ｌ　−Ｌ　−２，・・・）である時
、Ｃはｊ≧０の場合（２ｊ＋１）ｇ／２に、ｊ〈０の場
合（２ｊ−１）ｇ／２に量子化される（ただし、ｊは量
子化レベルでｊ＝０のときはＣはＯに量子化される）。

量子化ステップ幅ｇは複数ブロックを１グループとして
各グループ毎に、前グループの符号化終了後の伝送バッ
ファメモリ刊の回線に未送出の符号蓄積量により算出さ
れる。伝送速度が６４キロビット／秒、符号化処理が１
０フレ一ム／秒、伝送バッフ７メモリ容量が６４００ビ
ツトの場合の量子化ステップ幅ｇの算出方法の一例を第
７図に示す。第７図は量子化ステップ幅ｇの最小値を４
、最大値を６４とし、符号蓄積量が２００ビツト増加す
る毎に量子化ステップ幅を２ずつ増加させる。

可変長符号化部８は前記量子化レベルｊと量子化値Ｏの
ランの組合せを可変長符号化する。発生頻度の高いｊの
小さな値及び０の短いランの組合せに対しては短い符号
が割り当てられる。従って、伝送バッファメモリの符号
蓄積量が増加すると、量子化ステップ幅ｇが大きくなり
、量子化値Ｏが増加するため発生符号量が削減される。

伝送ハンファメモリ刊の符号蓄積量が予め定めたしきい
値を超えた場合には、符号蓄積量がしきい値よりも少な
くなるまで符号化処理を中止（動ベクトル値を０、変換
係数の量子化値をすべて０とする）する。符号化処理の
中止は前記ブロック単位で行なう。

伝送フレーム構成部９は、可変長符号化部日の出力と動
ベクトル及び復号化装置で画像を復号化する際に必要な
前記量子化ステップ幅ｇなどの制御情報を定められた形
式に構成し、伝送バッファメモリ１０に出力する。伝送
へソファメモリ１０に蓄積された情報は回線を経由して
復号化装置に伝送される。

逆直交変換部１１は、量子化した変換係数行列に対して
ブロック単位で逆離散コサイン変換処理をおこなう、加
算器１２は、逆直交変換部１１の出力と参照ブロックと
を画素単位で加算し、次フレームの符号化処理に使用す
る参照フレームデータとして、フレームメモリ２に出力
する。なお、参照フレームデータは、復号化装置で再生
する画像と一致する。

発明が解決しようとする課題 しかし従来の動画像符号化装置では、画面中の動きが激
しい場合や動き物体の面積が大きい場合には、動き補償
後のフレーム間差分値が大きいため、符号蓄積量の増加
とともに量子化ステップ幅が大きくなる前記量子化ステ
ップ幅の制御方法では発生符号が急激に増加し、前記符
号蓄積量が予め定めたしきい値を超えることによるブロ
ック毎の符号化処理の中止が発生し、著しい画質劣化が
発生するという問題があった。

本発明は、以上のような課題に鑑み、ブロック毎の符号
化処理の中止を削減するための量子化ステップ幅の制御
を行ない、画質劣化を減少させるためのものである。

課題を解決するための手段 本発明は、量子化ステップ幅を伝送メモリ内の符号蓄積
量から定められた算出方法に基づいて算出する際に、そ
の算出された量子化ステップ幅を予め定められた方法に
基づいて、前記算出された量子化ステップ幅より大きい
かまたは前記量子化ステップ幅が定められた最大値の場
合のみ等しい値に変換する第１の量子化ステップ幅変換
手段と、前記算出された量子化ステ・ンプ幅を予め定め
られた方法に基づいて、前記第１の量子化ステップ幅変
換手段より算出された値より小さいかまたは前記量子化
ステップ幅が定められた最大値の場合のみ等しい値に変
換する第２の量子化ステップ幅変換手段と、前記動き補
償判定結果で動き補償を行なうブロック（動ブロック）
の場合には、前記ブロックに隣接した周辺のブロックの
動ベクトル値と前記ブロックの動ベクトル値とを比較し
、動ベクトルが一致したとみなせるブロックがＫ個以上
存在する場合には第２の量子化ステップ幅変換手段より
算出された量子化ステップ幅を選択し、動ベクトルが一
致したとみなせるブロックがＫ個未満の場合には前記第
１の量子化ステップ幅変換手段より算出された量子化ス
テップ幅を選択し、前記動き補償判定結果で動き補償を
行なわないブロック（静止ブロック）の場合には、前記
第２の量子化ステップ幅変換手段より算出された量子化
ステップ幅を選択する量子化ステップ選択手段とを具備
し、選択された量子化ステップ幅を用いて前記直交変換
係数を量子化することにより、上記目的を達成するもの
である。

作用 人間の視覚特性に関して、画像中の静止物体に対しては
解像度が高く、動物体に対しては静止物体に比べて解像
度が低いがパンニング映像など平行に移動する物体に対
しては静止物体と同様に解像度が高いことはよく知られ
ている。しかし、従来の技術で示した動画像符号化装置
では複数ブロックからなるグループに対して均一の量子
化ステップ幅で直交変換係数を量子化しているため、前
記視覚特性が十分に利用されていない。本発明では符号
化ブロック毎に動ブロックと静止ブロックを識別し、動
ブロックに対しては平行移動するブロックとそうでない
ブロックを識別し、平行移動する動ブロックについては
静止ブロックと同一の量子化幅で、平行移動ではない動
ブロックは静止ブロックよりも大きなステップ幅で直交
変換係数を量子化しているため、量子化後の直交変換係
数の値０の出現頻度が高くなり、この結果、平行移動で
はない動ブロックの解像度は低下するが動ブロックの発
生符号量が低下することになり、画面全体の発生符号量
を低下させることができる。従って、符号量が予め定め
たしきい値を超えることによるブロック毎の符号化処理
の中止の発生が減少し、ａ質実化を減少することができ
る。

実施例 以下、第１図を参照しながら本発明の一実施例について
説明する。第１図は本発明の一実施例における動画像符
号化装置のブロック結線図である。

第１図において、ｌは入力画信号を一時記憶し、ＭｘＮ
　（Ｍ、Ｎは正整数）画素からなるブロック単位で読み
出し符号化を行うための画像メモリ、２は１フレ一ム周
期前の両信号を記憶するフレームメモリ、３は画像メモ
リ１から読みだした現フレームの符号化ブロックの画信
号とフレームメモリ２に蓄積されている前フレームの再
生信号を比較し動ベクトルと動き補償制御信号を算出す
る動き検出部、４は動き検出部が算出した動ベクトルと
動き補償判定結果に基づいて参照ブロックを出力する動
き補償部、５は入力画信号プロ・７りと参照ブロックの
差分演算を行なう差分器、６は差分器５の出力を直交変
換する直交変換部、７は直交変換部６の出力を量子化す
る量子化部、８は量子化部７の出力を可変長符号化する
可変長符号化部、９は可変長符号化部８の出力と動ベク
トル値号化装置で画像を復号化する際に必要な制御情報
を定められた形式に構成する伝送フレーム構成部、１０
は送信する符号を一時蓄積する伝送バッファメモリ、１
１は量子化部７の出力を逆直交変換する逆直交変換部、
１２は逆直交変換部１１の出力と参照ブロックとを加算
する加算器である。１３は本発明による量子化ステップ
幅制御部である。　　　　　′以上の構成において、以
下にその動作を説明する。入力画信号は画像メモリ１に
一時記憶された後、ＭＸＮ　（Ｍ、Ｎは正整数）画素か
らなるブロック単位で読み出される。動き検出部３は画
像メモリ１から読み出した入力画信号ブロックの画素値
とフレームメモリ２に蓄積している１フレ一ム周期°前
の画像フレーム（以下、参照フレームと呼ぶ）の画素値
を比較し、入力画信号ブロックとの差分の絶対値和が最
も小さい参照フレーム中の画信号ブロックを検出し、検
出した参照ブロックを始点、入力画信号ブロックを終点
とする動ベクトルを出力する。同時に、動ベクトル算出
時の評価値（例えば、前記フレーム間差分の絶対値和）
を用いて符号化ブロックに対する動き補償が有効（すな
わち、符号化ブロックが動ブロック）か、無効（すなわ
ち、符号化ブロックが静止ブロック）かを判定し、その
結果を動き補償制御信号として前記動ベクトルとともに
出力する。なお、本発明の動き検出部では後述する量子
化ステップ幅制御部で隣接するブロックの動ベクトル値
が必要とされるため、動ベクトル検出は符号化処理に対
してＮライン先行して処理が行なわれる。動き補償部４
は動き検出部３で検出した動ベクトルを用い、フレーム
メモリ２から動ベクトル値だけシフトしたフレーム間予
測ブロックを出力する。差分器５は入力画信号ブロック
とフレーム間予測ブロックとの差分演算処理を画素単位
で行ない、予測誤差ブロックを出力する。直交変換部６
は予測誤差ブロックに対してブロック単位で２次元前敗
コサイン変換を行ない変換係数行列を出力する。量子化
部７は符号化する通報の種類を削減するために変換係数
行列の各要素を後述する本発明の特徴である量子化ステ
ップ幅制御部１３からの出力信号りにより量子化する。

すなわち、直交変換部６の出力である直交変換係数Ｃが ｊｈ≦ｃ　＜、（ｊ＋１）ｈ　（ｃ≧０．　ｊ＝ｏ、　
Ｉ、　２．−）または（ｊ−１）ｈ＜ｃ≦ｊｈ　（ｃｏ
ｏ、　ｊ＝０．−１．−２．・・・）である時、Ｃはｊ
≧００場合（２ｊ＋ｌ）ｈ／２に、Ｊく０の場°合（２
ｊ−１）ｈ／２に量子化される（ただし、ｊは量子化レ
ベルで」＝ＯのときはＣは０に量子化される）。

次に第１図の要部である量子化ステップ幅制御部！３の
構成と動作について説明する。

第２図は量子化ステップ幅制御部の構成の−実施例であ
る。量子化ステップ幅制御部の入力信号である量子化ス
テップ幅ｇは従来例と同様に複数ブロックを１グループ
として各グループ毎に、前グループの符号化終了後の伝
送バッファメモリ１０の回線に未送出の符号蓄積量によ
り例えば第７図を用いて算出される。

量子化ステップ幅第１変換器１３１は入力量子化ステッ
プ幅εをｇより大きいかまたはＧが定められた最大値の
場合のみ等しい値に変換する。一方、量子化ステップ幅
第２変換器１３２は入力量子化ステップ幅ｇを前記量子
化ステ２１幅第１変換器より算出される値より小さいか
またはεが定められた最大値の場合のみ等しい値に変換
する。量子化ステップ幅第１変換器および第２変換器の
変換特性の一例を第３図に示す、第３図は第１変換器の
出力は入力量子化ステップ幅ｇより大きく、かつ第２変
換器の出力は入力量子化幅ｇより小さい場合である。

量子化ステップ幅第１変換器および第２変換器の変換処
理は同時に行われ、選択器１３３により選択されて前述
した量子化部７への量子化ステップ幅りとして出力され
る。ここで、選択器１３３は動き検出部３（第２図）の
出力信号である動き補償制御信号と動ベクトル値により
選択動作を行う。

すなわち、 （１）動き補償が無効、すなわち符号化ブロックが静止
ブロックの場合には量子化ステップ幅第２変換器の出力
が選択される。

（２）動き補償制御信号が動き補償有効を示している場
合には第４図に示すように符号化プロ・ツク（Ｌｊ）の
動ベクトル値と符号化ブロック（ｉ、　Ｈに隣接した８
個のブロック（ｉ−１，ｊ−１）、（ｉ、　ｊ−１）。

（ｉ＋１．　ｊ−１）＋（ｉ−１，ｊ）、（ｉ＋１．　
Ｄ、（ｉ４．　ｊ＋１）＋（ｉ。

ｊ＋１）、（＋＋１．　Ｊ＋１）の動ベクトル値とを比
較し、−致したブロック数を計数し、前記−政敵が予め
定めた値によりも大きいか等しい場合には前記量子化ス
テップ幅第２変換器の出力を選択し、その他の場合には
量子化ステップ幅第１変換器の出力を選択し、動き補償
制御信号が動き補償無効を示している場合には量子化ス
テップ幅第２変換器の出力を選択する。

以上に述べた選択方法の結果、動き補償が有効であり、
かつ隣接するブロックと同一方向には移動していない動
ブロックの場合には第１の量子化ステップ幅変換出力が
選択され、その値は、入力量子化ステップ幅ｇより大き
な値となり、この値を用いて量子化部７は直交変換係数
を量子化するため、入力量子化ステップ幅ｇで量子化す
る場合に比べて、解像度は低下するが量子化後の値Ｏの
発生頻度は高くなる。この時、第２変換器の変換特性は
第２図より入力量子化ステップ幅ｇより小さな値となり
、この値を用い′ζ量子化部７は直交変換係数を量子化
するため、入力量子化ステ７１幅ｇで量子化する場合に
比べて高精度な量子化を行うことができ、静止ブロック
および隣接ブロックと同一の方向に移動している動ブロ
ックにおける画質低下を防ぐことができる。なお、実験
によればに＝４とすることにより、隣接ブロックと同一
方向に移動する勤ブロックをほぼ検出することができた
。

可変長符号化部８は前記量子化レベルｊと量子化値Ｏの
ランの組合せを可変長符号化する。

伝送フレーム構成部９は、可変長符号化部８の出力と動
ベクトル、動き補償制御情報及び復号化装置で画像を復
号化する際に必要な前記量子化ステップ幅ｇなどの制御
情報を定められた形式に構成し、伝送バッファメモリｌ
Ｏに出力する。伝送バッファメモリＩＯに蓄積された情
報は回線を経由して復号化装置に伝送される。なお、本
発明においては量子化ステップ幅に関して復号化装置に
伝送する情報は従来と同様に伝送バッファメモリ蓄積量
から算出される量子化ステップ幅ｇのみである。

これは量子化ステップ幅変換手段があらがしめ定められ
ていること、および動き補償制御情報と動ベクトル値に
より静止ブロックか隣接するブロックと同一の方向に平
行移動する動ブロックか否かの判定が復号化装置で行え
、この結果量子化ステップ幅は符号化装置の量子化ステ
ップ幅に一意に等しく定まるからである。

逆直交変換部１１は、量子化した変換係数行列に対して
ブロック単位で逆離散コサイン変換処理をおこなう。加
算器１２は、逆直交変換部１１の出力と参照ブロックと
を画素単位で加算し、次フレームの符号化処理に使用す
る参照フレームデータとして、フレームメモリ２に出力
する。

発明の効果 以上の説明から明らかなように、本発明によれば、量子
化ステップ幅を伝送メモリ内の符号蓄積量から定められ
た算出方法に基づいて算出する量子化制御方法において
、前記算出された量子化ステップ幅を予め定められた方
法に基づいて、前記算出された量子化ステップ幅より大
きいかまたは前記量子化ステップ幅が定められた最大値
の場合のみ等しい値に変換する第１の量子化ステップ幅
変換手段と、前記算出された量子化ステップ幅を予め定
められた方法に基づいて、前記第１の量子化ステップ幅
変換手段より算出された値より小さいかまたは前記量子
化ステップ幅が定められた最大値の場合のみ等しい値に
変換する第２の量子化ステップ幅変換手段と、前記動き
補償判定結果で動き補償を行なうブロック（動ブロック
）の場合には、該ブロックに隣接した周辺のブロックの
動ベクトル値と該ブロックの動ベクトル値とを比較し、
動ベクトルが一致したとみなせるブロックがＫ個以１−
存在する場合には第２の量子化ステップ幅変換手段より
算出された量子化ステップ幅を選択し、動ベクトルが一
致し、たとみなせるブロックがＫ個未満の場合には前記
第１の量子化ステップ幅変換手段より算出された量子化
ステップ幅を選択し、前記動き補償判定結果で動き補償
を行なわないブロック（静止ブロック）の場合には、前
記第２の量子化ステップ幅変換手段より算出された量子
化ステップ幅を選択する量子化ステップ選択手段と゛を
具備し、選択された量子化ステップを用いて直交変換係
数を量子化するごとにより、画像中の静止物体および平
行移動する初物体に対しｔは解像度が高く、平行移動で
はない動物体に対しては静止物体に比べて解像度が低い
という人間の視覚特性に合致した量子化を行うことがで
き、平行移動ではない動ブロックに対しては静止ブロッ
クまたは平行移動する動物体よりも大きなステップ幅で
直交変換係数を量子化しているため、量子化後の直交変
換係数の値Ｏの出現頻度が高くなり、この結果、動ブロ
ックの解像度は低下するが動ブロックの発生符号量が低
下することになり、静止ブロックまたは平行移動する動
ブロックの画質低下を発生ずることなく画面全体の発生
符号量を低下させることができる。従って、符号量が予
め定めたしきい値を趙えるごとによるブロック毎の符号
化処理の中止の発生が減少し、画質劣化を減少すること
ができる。

【図面の簡単な説明】

第１図は本発明の一実施例における動画像符号化装置の
ブロック結線図、第２図は同装置の要部である量子化ス
テップ幅制御部のブロック結線図、第３図は同装置の要
部である量子化ステップ幅制御部における量子化ステッ
プ幅変換器の変換特性を示した図、第４図は同装置の処
理におけ号符号化ブロックと隣接するブロックの関係を
示した図、第５図は従来の動画像符号化装置のブロック
結線図、第６図は同装置による直交変換係数の￥子化特
性を示した図、第７図は同装置の要部である伝送バッフ
ァメモリ部の符号蓄積量から量子化ステップ幅を算出す
るための符号蓄積量と量子化ステップ幅の関係を示した
図である。 ！・・−・・・画像メモリ部、２・・・・・・フレーム
メモリ部、３・・・・・・動き検出部、４・・・・・・
動き補償部、５・・・・・・差分器、６・・・・・・直
交変換部、７・・・・・・量子化部、８・・・・・・可
変長？ｊ号化部、９・・・・・・伝送フレーｌ、構成部
、１０・・・・・・伝送バッフアメ・［り部、ＩＩ・・
・・・・逆直交変換部、１２・・・・・・加算器、１３
・・・・・・量子化ステップ幅制御部、１３１・・・・
・・量子化ステップ幅第１変換器、１３２・・・・・・
量子化ステップ輻第２変換器、１３３・・・・・・選択
器。 代理人の氏名　弁理士　小辺治　明　ほか２名覇軒ρ 〜　　　　　　　　　　　　ｅ ヒｈ 転　　　　　　　　− 第３図 入力！子イしズテ・ソ７＃に９ 第４図 昭順ヨ伝 １１２０１！＜Ｒ 第６１ｉ 甲

Claims (1)

【特許請求の範囲】
1. 　変換係数を量子化するための量子化ステップ幅を伝送
   メモリ内の符号蓄積量から定められた算出方法に基づい
   て算出する際に、その算出された量子化ステップ幅を予
   め定められた方法に基づいて、前記算出された量子化ス
   テップ幅より大きいかまたは前記量子化ステップ幅が定
   められた最大値の場合のみ等しい値に変換する第１の量
   子化ステップ幅変換手段と、前記算出された量子化ステ
   ップ幅を予め定められた方法に基づいて、前記第１の量
   子化ステップ幅変換手段より算出された値より小さいか
   または前記量子化ステップ幅が定められた最大値の場合
   のみ等しい値に変換する第２の量子化ステップ幅変換手
   段と、前記動き補償判定結果で動き補償を行なう動ブロ
   ックの場合には、前記ブロックに隣接した周辺のブロッ
   クの動ベクトル値と前記ブロックの動ベクトル値とを比
   較し、動ベクトルが一致したとみなせるブロックがＫ個
   以上存在する場合には第２の量子化ステップ幅変換手段
   より算出された量子化ステップ幅を選択し、動ベクトル
   が一致したとみなせるブロックがＫ個未満の場合には前
   記第１の量子化ステップ幅変換手段より算出された量子
   化ステップ幅を選択し、前記動き補償判定結果で動き補
   償を行なわない静止ブロックの場合には、前記第２の量
   子化ステップ幅変換手段より算出された量子化ステップ
   幅を選択する量子化ステップ選択手段とを具備し、選択
   された量子化ステップ幅を用いて前記直交変換係数を量
   子化することを特徴とした動画像符号化装置。