JPH0761153B2 - 動き補償予測フレーム間符号化装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明はテレビジョン信号の動き補償予測フレーム間符
号化装置に関する。

従来の技術 近年、動画像符号化技術の発達にともない、テレビ電
話、テレビ会議システム、CD−ROM、ディジタルVTR等で
用いられるカラー動画像の高能率符号化装置として動き
補償予測フレーム間符号化装置が開発されている。例え
ば、吹抜敬彦著「TV画像の多次元信号処理」（1988年11
月15日発行、日刊工業新聞社刊、第７章 高能率符号
化、pp213−Pp291）に記載された動き補償予測フレーム
間符号化装置が知られている。

動き補償予測フレーム間符号化装置では、一定のフレー
ムレートで映像符号化が実現できるように、発生符号量
が多い場合には予測誤差の量子化ステップサイズを大き
くして発生する符号量を制限している。従来の量子化ス
テップサイズの決定方式として、シー・シー・アイ・テ
ィ・ティの「ディスクリプション アールエム８」198
9.9.9（C.C.I.T.T.SGXV文書＃525“title:Discription
of Ref.Model 8（RM8）,source:Working Party XV/4 Sp
ecialist Group On Coding for Visual Telephony,vers
ion:June.9.1989"）に記載された動き補償予測フレーム
間符号化装置が知られている。

以下、第２図を参照して従来の動き補償予測フレーム間
符号化装置について説明する。第２図において、41は入
力テレビジョン信号が入力する入力端子、43は現フレー
ムの符号化ブロックの画信号と前フレームの再生画信号
を比較して符号化ブロックの動ベクトルを算出する動ベ
クトル算出部、44は現フレームと前フレームの再生画信
号を蓄積する画像メモリ部、48は前フレームの再生画信
号に対して動き補償する動き補償部、50は動き補償信号
に対して２次元ローパスフィルタ処理するループ内フィ
ルタ部、52は符号化ブロックの原画信号と予測信号の差
分演算を行ない予測誤差を算出する予測誤差算出部、54
は予測誤差信号を直交変換する直交変換部、56は直交変
換係数を量子化する量子化部、59は量子化ステップサイ
ズを算出する量子化ステップサイズ算出部、60は伝送フ
レーム一時蓄積する符号メモリ部、62は量子化した直交
変換係数を逆直交変換する逆直交変換部、64は現フレー
ムの再生画像を算出する再生画像算出部、66は予測誤差
を通信路符号化する予測誤差符号化部、68は動ベクトル
を通信路符号化する動ベクトル符号化部、70は予測符号
と動ベクトル符号より伝送フレームを構成するマルチプ
レクサ部、73は伝送信号を出力する出力端子である。

以上のような構成に於て、以下その動作について説明す
る。図示されていないアナログ・ディジタル変換回路で
ディジタル信号に変換され、水平方向Ｍ画素、垂直方向
Ｎラインのブロックに分割されたテレビジョン信号は、
入力端子41より入力テレビジョン信号42として入力され
る。

動ベクトル算出部43は、入力テレビジョン信号42と画像
メモリ部44に蓄積されている前フレームの再生テレビジ
ョン信号45を比較し、符号化ブロックの動きを動ベクト
ルとして算出し、動ベクトル信号46として出力する。同
時に動ベクトル算出部43は、動ベクトル算出時の評価値
を用いて、符号化ブロックについて動き補償の有効・無
効を判定し、その結果を動き補償制御信号として動ベク
トル信号46を出力する。従って、動ベクトル信号46に
は、動ベクトルと動き補償信号が重畳されている。

動き補償部48は、（１）動き補償制御信号が動き補償の
有効を指示している場合には前フレームの再生テレビジ
ョン信号45を動ベクトルで動き補償し、（２）動き補償
制御信号が動き補償の無効を指示している場合には前フ
レームの再生テレビジョン信号45をそのままで、動き補
償信号49として出力する。

ループ内フィルタ部50は動ベクトルを用いて動き補償し
た符号化ブロックに対して、２次元ローパスフィルタ処
理を行ない、予測信号51を算出する。予測誤差算出部52
は、符号化ブロックの入力テレビジョン信号42と予測信
号51の差分演算を行ない、その結果を予測誤差信号53と
して出力する。

直交変換部54は、予測誤差信号53に対して直交変換を行
ない、予測誤差信号53の近傍画素間が持つ高い相関性を
除去して、予測誤差直交変換係数55を算出する。直交変
換方式としては、多くの場合、高い変換効率を持ち、ハ
ードウェア化について実現性のある離散コサイン変換が
用いられる。

量子化部56は、量子化ステップサイズ57を用いて、予測
誤差直交変換係数55を量子化し、予測誤差直交変換量子
化係数58を算出する。

量子化ステップサイズ算出部59は、以下に示した方式に
より、符号メモリ部60内の残留符号量61より量子化ステ
ップサイズ57を算出する。

以下に、本従来例における量子化ステップサイズ57の算
出方法について記述する。

入力テレビジョン信号は第３図に示すように、水平方向
352画素、垂直方向288ラインの大きさを有し、水平方向
16画素、垂直方向16ラインの領域（本従来例では、「マ
イクロブロック（Macro Block）」と呼んでいる。）に
分割されている。量子化ステップサイズQbは、ｎマクロ
ブロック周期で、量子化開始時に第（１）式に示した式
より算出する。

Qb＝２×INT〔Bcont÷200q〕＋２ ……（１） 但し、第（１）式に於て以下のように定義する。

（ａ）INT〔＊〕は、小数点以下を切り捨てる関数とす
る。

例:INT〔1.5〕＝１、INT〔1.3〕＝１、INT〔1.6〕＝１ （ｂ）Bcontは、符号メモリ部60の残留符号量を示す。

（ｃ）ｑは、符号化速度パラメータであり、符号化速度
Ｐと第（２）式の関係がある。

Ｐ＝ｑ×64kbit/sec ……（２） 例:P＝64kbit/secの時、ｑ＝１となる。

第（１）式より明らかなように、残留符号量Bcontが多
くなると、量子化ステップサイズQbが大きくなり発生符
号量が制限され、一定フレームレートの映像信号符号化
が実現できる。例えば、量子化ステップサイズQbの算出
部に、残留符号量Bcont＝700bitの時は、量子化ステッ
プサイズQb＝８となり、残留符号量Bcont＝600bitの時
は、量子化ステップサイズQb＝62となる。

ただし、第１マクロブロックから第（ｎ−１）マクロブ
ロックまでは予め定めた量子化ステップサイズQbで量子
化を行なう。

例えば、Ｐ＝64kbit/sec（ｑ＝１）の場合、Qb＝32とす
る。

本従来例では、量子化ステップサイズQbの算出周期ｎ
は、ｎ＝12としている。

逆直交変換部62は、予測誤差直交変換量子化係数58を逆
直交変換し、量子化誤差を含んだ予測誤差信号63を算出
する。再生画像算出部64は量子化誤差を含んだ予測誤差
信号63と予測信号51を加算し、符号化ブロックの再生画
像65を算出する 画像メモリ部44は現フレームの再生画像信号65を蓄積
し、前フレームの再生画像信号45を出力する。予測誤差
符号部66は予測誤差直交変換量子化係数58、量子化ステ
ップサイズ57を符号化し、予測誤差符号67を算出する。
量子化ステップサイズ57の符号化は、量子化ステップサ
イズ57の値が変化したとき、つまりｎマクロブロックに
１回のみとする。

動ベクトル符号化部68は動ベクトル46を符号化し、動ベ
クトル符号69を算出する。マルチプレクサ部70は予測誤
差符号67と動ベクトル符号69より、所定の形式の伝送フ
レーム71を算出する。符号メモリ部60は伝送フレーム71
を、一旦蓄積し、図示していない外部より入力するのク
ロック信号に同期して、伝送符号72として出力端子73よ
り出力する。同時に、符号メモリ部60はメモリ内に残留
している符号量を残量符号量61として算出する。

発明が解決しようとする課題 しかし、以上のような構成では量子化ステップサイズQb
が、量子化ステップサイズを算出するブロック周期間
（従来例では、ｎマクロブロック周期間）は固定される
ために、連続したｎブロック間は入力テレビジョン信号
の持つ特徴に関わらず同一の量子化ステップサイズQbで
予測誤差が量子化される。つまり、同一の量子化ステッ
プサイズ周期に属する連続したブロック内では、精微な
パターンを持つブロックが、他のブロックと同じ量子化
ステップサイズQbで量子化されるために、精微なパター
ンを持つブロックの画質が劣化するという課題があっ
た。すなわち、精微なパターンを持つブロックより発生
する予測誤差を、大きな量子化ステップサイズで量子化
する事により、精微性が失われ、平坦なブロックとなる
「ブロック歪」が発生し、視覚的に大きな画質劣化して
認識されていた。一方、量子化ステップサイズを符号化
して発生する符号量を削減するために、同一の量子化ス
テップサイズで量子化する連続したブロック数は一定以
上なければならない（従来例では、ｎマクロブロック）
ので、毎ブロックごとに量子化ステップサイズを算出
し、変更することはできない。

本発明は、以上のような課題に鑑み、発生符号量より算
出した基準となる第１の量子化ステップサイズで量子化
される連続したブロックで、個々のブロックの持つ画像
的な精微性に比例して、ブロックごとに第１の量子化ス
テップサイズから、ブロック毎に第２の量子化ステップ
サイズを算出し、第２の量子化ステップサイズを用い
て、予測誤差信号を量子化することにより、画質の向上
を図ることを目的とする。つまり、各ブロックで精微性
が高いブロックは量子化ステップサイズを第１の量子化
ステップサイズより小さくする事で、発生符号量は制限
しつつ、精微性を保持し、その結果としてブロックの画
質を向上させ、画像全体の画質向上が達成できる。

課題を解決するための手段 テレビジョン信号をアナログ／ディジタル変換するアナ
ログ／ディジタル手段と、ディジタル化した入力テレビ
ジョン信号の１フレームまたは１フィールドを定められ
た大きさのブロックに分割するブロック分割手段と、個
々のブロックについてテレビジョン画像の動きである動
ベクトルを算出する動ベクトル算出手段と、個々のブロ
ックについて前記動ベクトルを用いて動き補償するか判
定する動き補償判定手段と、動き補償するブロックに対
して、前フレームの再生画像を動ベクトルで動き補償
し、予測画素値を算出する予測画素値算出手段と、符号
化ブロックの画素値と予測画素値との差分を予測誤差値
として算出する予測誤差値算出手段と、予測誤差値を直
交変換し、直交変換係数を算出する直交変換係数算出手
段と、発生符号量より第１の量子化ステップサイズを算
出する第１の量子化ステップサイズ算出手段と、入力テ
レビジョン信号のブロック毎の画素値の分散を算出する
分散算出手段と、分散よりブロックをクラス分けし、各
クラス毎に第１の量子化ステップサイズより第２の量子
化ステップサイズを算出する第２の量子化ステップサイ
ズ算出手段と、第２の量子化ステップサイズを用いて、
直交変換係数を量子化し、量子化した直交変換係数を算
出する直交変換係枚算出手段と、第１の量子化ステップ
サイズと量子化のクラス分けに関する情報と量子化した
直交変換係数を符号化する直交変換係数符号化手段と、
量子化した直交変換係数を逆直交変換し、量子化した予
測誤差を算出する量子化予測誤差算出手段と、量子化し
た予測誤差と予測信号より再生画像を算出する再生画像
算出手段と、再生画像を蓄積する蓄積手段と、動ベクト
ルとを符号化する動ベクトル符号化手段とを設けること
により、上記目的を達成するものである。

作 用 入力テレビジョン信号の持つブロック毎の精微性は、ブ
ロック内の画素値の分散σ^２で測定できると考えられ
る。例えば、精微なパターンを持つブロックの分散σ^２
は、急峻な画素値の変化を持つ「粗い」ブロックの分散
σ^２に比べ小さいと考えられる。また、精微性の高いブ
ロックほど前記分散σ^２が小さくなると考えられる。

従って、本発明は上記構成により、入力テレビジョン信
号の持つブロック毎の精微性を前記分散σ^２で測定し、
同一の基準となる第１の量子化ステップサイズで量子化
する連続したブロックで、精微な画像を有するブロック
については前記第１の量子化ステップサイズを、各ブロ
ックの持つ精微性に比例して、小さくした第２の量子化
ステップサイズで予測誤差を量子化することにより、発
生符号量を制限しつつ、精微な画像を有するブロックの
画質を向上することができるようにしたものである。

実施例 以下、第１図を参照しながら本発明の第１の実施例につ
いて説明する。第１図は本発明の第１の実施例における
動き補償フレーム間符号化装置のブロック結線図であ
る。第１図において、１は入力テレビジョン信号が入力
され入力端子、３は現フレームの符号化ブロック画信号
と前フレームの再生画信号を比較して符号化ブロックの
動ベクトルと動き補償制御信号を算出する動ベクトル算
出部、４は現フレーム前と２前フレームの再生画信号を
蓄積する画像メモリ部、７は前フレームの再生画信号に
対して動き補償する動き補償部、９は動き補償信号に対
して２次元ローパスフィルタ処理するループ内フィルタ
部、11は符号化ブロックの原画信号と予測信号の差分演
算を行ない予測誤差を算出する予測誤差算出部、13は予
測誤差信号を直交変換する直交変換部、15は直交変換係
数を量子化する量子化部、16は入力テレビジョン信号の
分散を算出する分散値算出部、18は第２の量子化ステッ
プサイズを算出する第２の量子化ステップサイズ算出
部、22は第１の量子化ステップサイズを算出する第１量
子化サイズ算出部、23は伝送フレームを一時蓄積する符
号メモリ部、26は量子化した直交変換係数を逆直交変換
する逆直交変換部、28は現フレームの再生画像を算出す
る再生画像算出部、30は予測誤差、第１量子化ステップ
サイズ、量子化クラス情報を通信路符号化する予測誤差
符号化部、32は動ベクトルを通信路符号化する動ベクト
ル符号化部、34は予測符号と動ベクトル符号より伝送フ
レームを構成するマルチプレクサ部、37は伝送信号を出
力する出力端子である。

以上のような構成において、以下その動作を説明する。
テレビジョン信号は第１図に図示されていない信号処理
部でアナログ／ディジタル変換され、水平方向Ｍ画素、
垂直方向Ｎラインのブロックに分割され、入力端子１よ
り入力テレビジョン信号２として入力される。次に、動
ベクトル算出部３は入力テレビジョン信号２と、画像メ
モリ部４より読みだした前フレームの再生画像５を比較
し、動ベクトルを算出し、動ベクトル信号６として出力
される。同時に、動ベクトル算出部３は動ベクトル算出
時の評価値を用いて、符号化ブロックに対する動き補償
が有効か無効かを判定し、その結果を動き補償制御情報
として動ベクトル信号６として出力される。

動き補償部７は、符号化ブロックと同一位置の前フレー
ムの再生画像５に対し動ベクトル信号６により動き補償
する場合は動ベクトルで動き補償し、動き補償しない場
合は何もせずに、動き補償信号８として出力する。ルー
プ内フィルタ部９は、動き補償信号８に対し、符号化ブ
ロックが動き補償するブロックであるは２次元ローパス
フィルタ処理であるループ内フィルタ処理を行い、その
他の場合は、ループ内フィルタ処理しないで、予測信号
10として出力する。

予測誤差算出部11は、符号化ブロックの入力テレビジョ
ン信号２と予測信号10の差分演算を行ない、その結果を
予測誤差信号12として出力する。直交変換部13は予測誤
差信号12に対して直交変換を行ない、予測誤差信号12の
近傍誤差間が持つ高い相関性を除去して、予測誤差直交
変換係数14を算出する。直交変換方式としては、多くの
場合、高い変換効率を持ち、ハードウェア化について実
現性のある離散コサイン変換が用いられる。

次に、量子化部15で、予測誤差直交変換係数14を量子化
するのに用いる第２の量子化ステップサイズ20の算出方
法について記述する。

分散値算出部16は、符号化ブロックの入力テレビジョン
信号２の画素値の分散σ^２を第（３）式により算出し分
散信号17として出力する。分散σ^２は、入力画信号２の
精微性が高いブロックでは小さい値となり、入力画信号
２の精微性が低いブロックでは大きい値となる。

但し、第（３）式において以下のように定義する。

（ａ）、Ｍはブロックの水平方向画個数を示す。

（ｂ）、Ｎはブロックの垂直方向ライン数を示す。

（ｃ）、ｐ（i,j）はブロック内アドレス（i,j）の画素
値を示す。

（ｄ）、Ｐはブロックの平均画素値を示す。（第（４）
式参照） 第２量子化ステップサイズ算出部18は、符号化ブロック
の分散信号17と第１の量子化ステップサイズ19より、第
２の量子化ステップサイズ20と量子化クラス情報21を算
出する。第１の量子化ステップ19は、第１量子化ステッ
プサイズ算出部22で、符号メモリ部23内の符号残留量24
より、前記の従来例で記述した方式により求める。

第２量子化ステップサイズ算出部18は、以下に示すよう
に、分散信号17と予め定めた３閾値th1,th2,th3を比較
し、各ブロックを４つの量子化クラスに分け、量子化ク
ラスにより第１の量子化ステップサイズ19より第２の量
子化ステップサイズ20を算出する。但し、第一の量子化
ステップサイズをQbとし、第２の量子化ステップサイズ
をQstepとする。

０≦σ^２＜th1の場合 th1≦σ^２＜th2の場合 th2≦σ^２＜th3の場合 th3≦σ^２の場合 Qstep Class＝４ Qstep ＝Qb 以上のようにすることにより、第２の量子化ステップサ
イズ20は、入力画信号２の精微性が高いブロックに対し
ては、第１の量子化ステップサイズ19より小さくなる。

量子化部15は、予測誤差直交変換係数14を第２を量子化
ステップサイズ20で量子化し、予測誤差直交変換量子化
係数25を算出する。逆直交変換部26は、予測誤差直交変
換量子化係数25を逆直交変換し、量子化誤差を含んだ予
測誤差信号27を算出する。再生画像算出部28は量子化誤
差を含んだ予測誤差信号27と予測信号10を加算し、符号
化ブロック再生画像29を算出する。画像メモリ部４は現
フレームの再生画像信号29を蓄積し、前フレームの再生
画像信号を５を出力する。予測誤差符号化部30は、第１
の量子化ステップサイズ19、量子化クラス情報21、予測
誤差直交変換量子化係数25を符号化し、予測誤差符号31
を算出する。動ベクトル符号化部32は動き補償したブロ
ックの動ベクトル信号６を符号化し、動ベクトル符号33
を算出する。マルチプレクサ部34は予測誤差符号31と動
ベクトル符号33より、所定の形式の伝送フレーム35を算
出する。符号メモリ部23は伝送フレーム35を、一旦蓄積
し、図示していない外部より入力するクロック信号に同
期して、伝送符号36として出力端子37より、出力する。
同時に、符号メモリ部23はメモリ内に残留している符号
量を残留符号量24として算出する。

以上の説明から明らかなように本実施例によれば、同一
の量子化ステップサイズに属する連続したブロック郡に
おいて、各ブロックの精微性に比例して、基準となる第
１の量子化ステップサイズより、ブロック毎の第２の量
子化ステップサイズを算出し、第２の量子化ステップサ
イズを用いて予測誤差信号を量子化するので、画像の精
微性を損なわず、画像全体の画質向上が達成できる。

なお、以上の説明では分散値算出部16で算出する分散値
17を第（３）式で定義したが、入力テレビジョン信号２
の精細性を測定できる分散であれば、他の測定尺度でも
よい。例えば、一般にブロックの大きさ（水平方向画素
数:M,垂直方向ライン数:N）は固定値であるから、計算
処理が簡単な尺度として第（５）式に示した数値Ｄがあ
る。ただし、ｐ（i,j）はブロック内アドレス（i,j）の
画素値、Ｐはブロックの平均画素値を示す。

また、以上の説明では量子化ステップサイズのクラス分
けを４クラスとしたが、他のクラス分け数でもよい。

さらに、以上の説明ではクラス分け毎に基準となる第１
の量子化ステップサイズを等分し、第２の量子化ステッ
プサイズを決定したが、分散が小さいブロックに対して
第２の量子化ステップサイズが小さくなるように算出さ
れれば、他の方法でもよい。

発明の効果 以上のように、本発明の効果としては、入力テレビジョ
ン信号の持つ精微性に関する特徴をブロック単位に測定
し、同一の量子化ステップサイズで量子化する連続した
ブロック郡内で、精微な絵柄を持つブロックに対しては
前記量子化ステップサイズを小さくすることにより、発
生符号量は制限しつつ、原画像の持つ精微性を損なう事
なく動画像符号化が行える為に、画質向上が図られ、そ
の効果は大きい。

【図面の簡単な説明】

第１図は本発明の一実施例における動き補償予測フレー
ム間符号化装置のブロック結線図、第２図は従来の動き
補償予測フレーム間符号化装置のブロック結線図、第３
図は従来例における画像とマクロブロックの関係を示し
た概念図である。 １……入力端子、３……動ベクトル算出部、４……画像
メモリ部、７……動き補償部、９……ループ内フィルタ
部、11……予測誤差算出部、13……直交変換部、15……
量子化部、16……分散値算出部、18……第２量子化ステ
ップ算出部、22……第１量子化ステップ算出部、26……
逆直交変換部、28……再生画像算出部、30……予測誤差
符号化部、32……動ベクトル符号化部、34……マルチプ
レクサ部、23……符号メモリ部、37……出力端子。

Claims (1)

【特許請求の範囲】
1. 【請求項１】テレビジョン信号をアナログ／ディジタル
   変換するアナログ／ディジタル手段と、ディジタル化し
   た入力テレビジョン信号の１フレームまたは１フィール
   ドを定められた大きさのブロックに分割するブロック分
   割手段と、個々のブロックについてテレビジョン画像の
   動きである動ベクトルを算出する動ベクトル算出手段
   と、個々のブロックについて前記動ベクトルを用いて動
   き補償するか判定する動き補償判定手段と、動き補償す
   るブロックに対して、前フレームの再生画像を動ベクト
   ルで動き補償し、予測画素値を算出する予測画素値算出
   手段と、符号化ブロックの画素値と予測画素値との差分
   を予測誤差として算出する予測誤差値算出手段と、予測
   誤差値を直交変換し、直交変換係数を算出する直交変換
   係数算出手段と、発生符号量より第１の量子化ステップ
   サイズを算出する第１の量子化ステップサイズ算出手段
   と、入力テレビジョン信号のブロック毎の画素値の分散
   を算出する分散算出手段と、分散よりブロックをクラス
   分けし、各クラス毎に第１の量子化ステップサイズより
   第２の量子化ステップサイズを算出する第２の量子化ス
   テップサイズ算出手段と、第２の量子化ステップサイズ
   を用いて、直交変換係数を量子化し、量子化した直交変
   換係数を算出する直交変換係数算出手段と、第１の量子
   化ステップサイズと量子化のクラス分けに関する情報と
   量子化した直交変換係数を符号化する直交変換係数符号
   化手段と、量子化した直交変換係数を逆直交変換し、量
   子化した予測誤差を算出する量子化予測誤差算出手段
   と、量子化した予測誤差と予測信号より再生画像を算出
   する再生画像算出手段と、再生画像を蓄積する蓄積手段
   と、動ベクトルとを符号化する動ベクトル符号化手段と
   を具備した動き補償予測フレーム間符号化装置。