JP2630022B2 - 動き補償フレーム間符号化装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、映像信号の動き補償フレーム間符号化装置
に関する。

従来の技術 近年、動画像符号化技術の発達に伴い、テレビ電話、
テレビ会議システム、CD−ROM、ディジタルVTR等で用い
られるカラー動画像の高能率符号化装置として動き補償
予測フレーム間符号化装置が開発されている。例えば、
大久保栄：“テレビ会議／電話用符号化の標準化動向"P
SCJ89画像符号化講演会pp.43〜48に記載された動き補償
予測フレーム間符号化装置が知られている。

以下、第２図を参照して従来の動き補償予測フレーム
間符号化装置について説明する。第２図において、51は
入力映像信号が入力する入力端子、53は現フレームの符
号化ブロックの画信号と前フレームの再生画信号を比較
して符号化ブロックの動ベクトルを算出する動ベクトル
算出部、54は現フレームと前フレームの再生画信号を蓄
積する画像メモリ部、58は前フレームの再生画信号に対
して動き補償予測する動き補償予測部、60は符号化する
ブロックをフレーム内符号化するかフレーム間符号化す
るか判定する符号化方式判定部、64は符号化ブロックの
原画信号と予測信号の差分演算を行い予測誤差を算出す
る予測誤差算出部、66は符号化方式制御信号により、直
交変換する信号の選択と再生画像を算出するための信号
の選択を行うスイッチ部、68は直交変換する信号を直交
変換する直交変換部、70は直交変換係数を量子化する量
子化部、73は量子化ステップサイズを算出する量子化ス
テップサイズ算出部、74は伝送フレームを一時蓄積する
符号メモリ部、76は量子化した直交変換係数を逆直交変
換する逆直交変換部、78は現フレームの再生画像を算出
する再生画像算出部、82は予測誤差を通信路符号化する
予測誤差符号化部、84は動ベクトルを通信路符号化する
動ベクトル符号化部、86は予測符号と動ベクトル符号よ
り伝送フレームを構成するマルチプレクサ部、89は伝送
信号を出力する出力端子である。

以上のような構成において、以下その動作について説
明する。

図示されていないアナログ・ディジタル変換回路でデ
ィジタル信号に変換され、水平方向Ｍ画素、垂直方向Ｎ
ラインのブロックに分割された映像信号は、入力端子51
より入力映像信号52として入力する。

動ベクトル算出部53は、入力映像信号52と画像メモリ
部54に蓄積されている前フレームの再生映像信号55を比
較し、符号化ブロックの動きを動ベクトルとして算出
し、動ベクトル信号56に出力する。同時に動ベクトル算
出部53は、動ベクトル算出時の評価値を用いて、符号化
ブロックについて動き補償予測の有効・無効を判定し、
その結果を動き補償予測制御信号として動ベクトル信号
56に出力する。従って、動ベクトル信号56には、動ベク
トルと動き補償予測信号が重畳されている。動き補償予
測部58は、（１）動き補償予測制御信号が動き補償予測
の有効を指示している場合には、前フレームの再生映像
信号55を動ベクトルで動き補償予測し、（２）動き補償
予測制御信号が動き補償予測の無効を指示している場合
には前フレームの再生映像信号55をそのままで、予測信
号63として出力する。

符号化方式判定部60は、ブロック単位に入力映像信号
52と予測信号63より、フレーム内符号化とフレーム間符
号化のどちらが有効かを判定し、結果を符号化方式制御
信号61として出力する。ブロック単位に符号化方式をフ
レーム内符号化方式とフレーム間符号化方式で切り替え
ることにより、フレーム間符号化方式のみで符号化する
場合に比べ、以下の改善が図れる。

（１）シーンチェンジ発生時、フレーム内符号化が選
択されるためにシーンチェンジ後の画質向上が図れる。
（２）動体の大きな動きが発生すると、動体の陰に隠れ
ていた背景領域が出現し、この場合にフレーム内符号化
が選択されるために、画質向上が図れる。

また、CD−ROM等に用いる蓄積系メディア符号化方式
では、再生画像の編集機能や逆方向再生機能を実現する
ために、一定フレーム周期毎に全ブロックをフレーム内
符号化したフレーム（このフレームを、「リフレッシュ
・フレーム（Refresh Frame）」と呼ぶ。）を挿入する
必要があり、動き補償予測フレーム間符号化装置にフレ
ーム内符号化装置を具備することにリフレッシュ・フォ
ームの挿入が実現できる。

予測誤差算出部64は、符号化ブロックの入力映像信号
52と予測信号63の差分演算を行い、その結果を予測誤差
信号65として出力する。

スイッチ部66は、（１）符号化方式制御信号61がフレ
ーム内符号化を選択している場合には、直交変換する信
号67として入力映像信号52を選択し、（２）符号方式制
御信号61がフレーム間符号化を選択している場合には、
直交変換する信号67として予測誤差信号65を選択する。

直交変換部68は、直交交換する信号67に対して直交変
換を行い、直交変換する信号67の近傍画素間が持つ高い
相関性を除去して、直交変換係数69を算出する。直交変
換方式としては、多くの場合、高い変換効率を持ち、ハ
ードウェア化について実現性のある離散コサイン変換が
用いられる。

量子化部70は、量子化ステップサイズ71を用いて、直
交変換係数69を量子化し、直交変換量子化係数72を算出
する。

量子化ステップサイズ算出部73は、符号メモリ部74内
の残留符号量75より量子化ステップサイズ71を算出す
る。

逆直交変換部76は、直交変換量子化係数72を逆直交変
換し、量子化誤差を含んだ直交変換した信号77を算出す
る。

スイッチ部66は、（１）符号化方式制御信号61がフレ
ーム内符号化を選択している場合には、再生画像算出信
号79として数値「０」信号80を選択し、（２）符号化方
式制御信号61がフレーム間符号化を選択している場合に
は、再生画像算出信号79として予測信号63を選択する。

再生画像算出部78は、量子化誤差を含んだ直交変換し
た信号77と再生画像算出信号79を加算し、符号化ブロッ
クの再生画像81を算出する。

画像メモリ54は、現フレームの再生画像信号81を蓄積
し、前フレームの再生画像信号55を出力する。予測誤差
符号化部82は、直交変換量子化係数72、量子化ステップ
サイズ71、符号化方式制御信号61を符号化し、予測誤差
符号83を算出する。量子化ステップサイズ71の符号化
は、量子化ステップサイズ71の値が変化したときのみと
する。

動ベクトル符号化部84は、動ベクトル56を符号化し、
動ベクトル符号85を算出する。マルチプレクサ部86は、
予測誤差符号83と動ベクトル符号85より、所定の形式の
伝送フレーム87を算出する。

符号メモリ部74は、伝送フレーム87を一旦蓄積し、図
示していない外部より入力するクロック信号に同期し
て、伝送符号88として出力端子89より出力する。同時
に、符号メモリ部74は、メモリ内に残留している符号量
を残留符号量75として算出する。

発明が解決しようとする課題 動き補償予測フレーム間符号化方式は、高い符号化効
率を実現できる反面、以下に延べる問題点を有してい
る。

個々のブロックにおいてフレーム内符号化を行うかフ
レーム間符号化を行うかは、動き補償制御信号に基づく
符号化ブロックの予測画素値および符号化ブロックの画
素値を用いて以下の方法により判定している。

符号化ブロックのサイズをＭ×Ｎ、符号化ブロックの
予測画素値をＰ（Ｍ、Ｎ）、画素値をＳ（Ｍ、Ｎ）とす
る。

によりVAR（入力画素値と予測画素値の誤差の２乗平
均）、VAROR（入力画素値の分散）を求め以下の基準に
よってフレーム内符号化をするか、もしくはフレーム間
符号化をするかを判定する。

VAR＜＝64の場合フレーム間符号化 VAR＞64の場合 VAR＞＝VARORならば フレーム内符号化 VAR＜VARORならば フレーム間符号化 そのため、VAR、VARORによって、フレーム内符号化を
行うか、フレーム間符号化を行うのか否かの境界近くで
判定が行われるブロックが数多く存在する部分では、フ
レーム内符号化を行うブロックとフレーム間符号化を行
うブロックが混在することになる。

特に一定値以上の大きさを持つ画面全体の平行移動
（パニング;panning）時に、画面上の平坦な部分で、フ
レーム間符号化されるブロックに囲まれてフレーム内符
号化されるブロックが存在すると画質劣化の原因とな
る。

本発明は、以上のような課題に鑑み、従来の方式では
フレーム内符号化を行うブロックについても、動ベクト
ルが周辺の隣接したブロックの動ベクトルと同一か検査
し、符号化ブロックがパニング発生時の中心部のブロッ
クである場合には、フレーム内符号化を行う判定を補正
してフレーム間符号化を行い、画質の向上を図ることを
目的としたものである。

課題を解決するための手段 この目的を達成するために、本発明は、映像信号をア
ナログディジタル変換する手段と、ディジタル化した入
力映像信号の１フレームまたは１フィールドを定められ
た大きさのブロックに分割する手段と、個々のブロック
についてテレビジョン画像の動きである動ベクトルを算
出する手段と、フレーム間差分値に基づいて、動ベクト
ルを用いた符号化ブロックに対する動き補償を行うか否
かを判定し、その結果を動き補償制御信号として出力す
る動き補償判定手段と、符号化ブロック及び符号化ブロ
ックに隣接した周辺のブロックの動ベクトルを蓄積する
手段と、符号化ブロックの入力映像信号の画素値と、動
き補償制御信号に基づく予測画素値との差分を予測誤差
値として算出する手段と、個々のブロックについて、予
測誤差値と入力映像信号の画素値に基づいてフレーム間
符号化するかフレーム内符号化するかを判定し、符号化
方式制御信号として出力する第１の符号化方式判定手段
と、第１の符号化方式判定手段においてフレーム内符号
化すると判定されたブロックの動ベクトルと、隣接する
ブロックの動ベクトルを比較し、動ベクトルが一致した
と看做せるブロックがｋ個（ｋは、８以下の正整数）以
上ある場合に、第１の符号化方式制御信号を補正し、フ
レーム間符号化方式を行うように変更する符号化方式制
御信号補正手段と、入力映像信号または予測誤差値を直
交変換し、直交変換係数を算出する手段と、発生符号量
より量子化ステップサイズを算出する量子化ステップサ
イズ決定手段と、量子化ステップサイズにより直交変換
係数を量子化し、量子化した直交変換係数を算出する手
段と、量子化した直交変換係数を符号化する手段と、量
子化した直交変換係数を逆直交変換し、逆量子化信号を
算出する逆量子化手段と、符号化方式制御信号により、
再生画素値の算出時に用いる画素値を予測画素値とする
か、数値「０」とするかを切り替える切り替え手段と、
予測画素値または数値「０」と逆量子化信号より、再生
画像を算出する画像再生手段と、再生画像を蓄積する画
像蓄積手段と、動ベクトルを符号化する動ベクトル符号
化手段を設けるように構成されている。

作 用 本発明は、上記構成により、符号化ブロックの動ベク
トルが隣接した周辺のブロックの動ベクトルと同一の場
合は、フレーム内符号化を行うと判定されたブロックに
おいても、その判定を補正してフレーム間符号化を行う
ことにより、画質を向上させるように作用する。

実施例 以下、本発明の一実施例について図面を参照しながら
説明する。第１図は本発明の一実施例における動き補償
フレーム間符号化装置のブロック図である。

第１図において、１は入力映像信号が入力する入力端
子、３は現フレームの符号化ブロックの画信号と前フレ
ームの再生画信号を比較して符号化ブロックの動ベクト
ルと動き補償予測制御信号を算出する動ベクトル算出
部、４は現フレームと前フレームの再生画信号を蓄積す
る画像メモリ部、７は前フレームの再生画信号に対して
動き補償予測する動き補償予測部、９は符号化するブロ
ックをフレーム間符号化するかフレーム内符号化するか
を判定する第１符号化方式判定部、21は符号化ブロック
の動ベクトルと周囲のブロックの動ベクトルより、第１
符号化方式判定部の判定結果を補正す第２符号化方式判
定部、13は符号化ブロックの原画信号と予測信号の差分
演算を行い予測誤差を算出する予測誤差算出部、15およ
び16は符号化方式制御信号により、直交変換する信号の
選択と再生画像を算出するための信号を選択するスイッ
チ部、17は直交変換する直交変換部、19は直交変換係数
を量子化する量子化部、22は量子化ステップサイズを算
出する量子化ステップサイズ算出部、28は伝送フレーム
を一時蓄積する符号メモリ部、30は量子化した直交変換
係数を逆直交変換する逆直交変換部、34は現フレームの
再生画像を算出する再生画像算出部、36は符号化方式制
御信号、予測誤差、量子化ステップサイズを通信路符号
化する予測誤差符号化部、38は動ベクトルを通信路符号
化する動ベクトル符号化部、40は予測符号と動ベクトル
符号より伝送フレームを構成するマルチプレクサ部、43
は伝送信号を出力する出力端子である。

以上のような構成において、以下その動作を説明す
る。

映像信号は、第１図に図示されていない信号処理部で
アナログ・ディジタル変換され、水平方向Ｍ画素、垂直
方向Ｎラインのブロックに分割され、入力端子１より入
力映像信号２として入力する。次に、動ベクトル算出部
３は入力映像信号２と、画像メモリ部４より読み出した
前フレームの再生画像５を比較し、動ベクトルを算出
し、動ベクトル信号６に出力する。同時に、動ベクトル
算出部３は動ベクトル算出時の評価値を用いて、符号化
ブロックに対する動き補償予測が有効か無効かを判定
し、その結果を動き補償予測制御情報として動ベクトル
信号６に出力する。従って、動ベクトル信号６には動ベ
クトルと動き補償予測信号が重畳されている。

動き補償予測部７は、符号化ブロックと同一位置の前
フレームの再生画像５に対し動ベクトル信号６により動
き補償予測する場合は動ベクトルで動き補償予測し、動
き補償予測しない場合は何もせずに、予測画素信号８と
して出力する。

第１符号化方式判定部９は、ブロック単位に入力映像
信号２と、予測画素信号８によって求めた予測誤差信号
をもとに、フレーム間符号化方式とフレーム内符号化方
式のどちらが有効かを判定し、その結果を第１符号化方
式制御信号10として出力する。次に第２符号化方式判定
部21は、フレーム間符号化をすると判定した符号化ブロ
ックについては、第１符号化方式制御信号10をそのまま
第２符号化方式制御信号44に出力する。また、フレーム
内符号化を行うと判定されたブロックについては、動ベ
クトル信号６から符号化ブロックの動ベクトルと周囲の
ブロックの動ベクトルを比較し、一致したと看做せるブ
ロック数がｋ個以上（ｋは８以下の正整数）であるとき
はフレーム間符号化を行うよう第１符号化方式制御信号
10を補正し、結果を第２符号化制御信号44として出力す
る。予測誤差算出部13は、符号化ブロックの入力映像信
号２と予測信号８の差分演算を行い、その結果を予測誤
差信号14として出力する。スイッチ部15は、（１）第１
符号化方式制御信号44がフレーム内符号化を選択してい
る場合には、直交変換する信号16として入力映像信号２
を選択し、（２）第２符号化方式制御信号44がフレーム
間符号化を選択している場合には、直交変換する信号16
として予測誤差信号14を選択する。

直交変換部17は、直交変換する信号16に対して直交変
換を行い、直交変換する信号16の近傍画素間が持つ高い
相関性を除去して、直交変換係数18を算出する。直交変
換方式としては、多くの場合、高い変換効率を持ち、ハ
ードウェア化について実現性のある離散コサイン変換が
用いられる。

量子化部19は、量子化ステップサイズ20で直交変換係
数18を量子化し、直交変換量子化信号29を算出する。

スイッチ部16は、（１）第２符号化方式制御信号44が
フレーム内符号化を選択している場合には、再生画像算
出信号32として数値「０」信号33を選択し、（２）第２
符号化方式制御信号44がフレーム間符号化を選択してい
る場合には、再生画像算出信号32として予測信号８を選
択する。

再生画像算出部34は、量子化誤差を含んだ信号31と再
生画像算出信号32を加算し、符号化ブロックの再生画像
35を算出する。画像メモリ４は、現フレームの再生画像
信号35を蓄積し、前フレームの再生画像信号５を出力す
る。

予測誤差符号化部36は、符号化方式制御信号44、量子
化ステップサイズ20、直交変換量子化係数29を符号化
し、予測誤差符号37を算出する。

動ベクトル符号化部38は、動き補償予測したブロック
の動ベクトル信号６を符号化し、動ベクトル符号39を算
出する。

マルチプレクサ部40は、予測誤差符号37と動ベクトル
符号39より、所定の形式の伝送フレーム41を算出する。

符号メモリ部28は、伝送フレーム41を一旦蓄積し、図
示していない外部より入力するクロック信号に同期し
て、伝送符号42として出力端子43より出力する。同時
に、符号メモリ部28は、メモリ内に残留している符号量
を残留符号量23として算出する。

以上の説明から明らかなように本実施例によれば、第
２符号化方式判定部21で、符号化ブロックの動ベクトル
と隣接した周辺ブロックの動ベクトルを比較し、符号化
ブロックの動ベクトルが隣接した周辺のブロックの動ベ
クトルと同一の場合は、フレーム内符号化を行うと判定
されたブロックに対してもフレーム間符号化を行うこと
により、画面全体平行移動時に、画面の平坦部でフレー
ム内符号化を行うブロックとフレーム間符号化を行うブ
ロックが混在することによって起こる画質の劣化を防
ぎ、画質を向上させたものである。

なお、以上の説明において、フレーム内符号化すると
判定されたブロックについて判定を補正し、フレーム間
符号化するか否かを「符号化ブロックの動ベクトルと符
号化ブロックに隣接した周辺のブロックの動ベクトルの
一致数」で判定する例を示したが、「一致したと看做せ
る数」で判定してもよい。

また、以上の説明において、前フレームの再生画と現
フレームの現画とを用いて、動ベクトルの検出を行う例
を示したが、前フレームの原画と現フレームの原画とを
用いて、動ベクトルを検出してもよい。

発明の効果 以上のように本発明は、フレーム間符号化・フレーム
内符号化の判定に関し、フレーム内符号化を行うと判定
した符号化ブロックについて、符号化ブロックの動ベク
トルと隣接した周辺ブロックの動ベクトルを一時記憶す
る手段と、符号化ブロックの動ベクトルと隣接した周辺
ブロックの動ベクトルを比較し、符号化ブロックの動ベ
クトルが隣接した周辺のブロックの動ベクトルと同一の
場合は、フレーム内符号化を行うという判定を補正し、
フレーム間符号化を行う手段を具備することにより、画
面全体の平行移動時などに、画面上の平坦部でフレーム
内符号化を行うブロックとフレーム間符号化を行うブロ
ックが混在することによっておこる画質の劣化を防ぎ、
画質を向上させることができる。

【図面の簡単な説明】

第１図は本発明の一実施例における動き補償フレーム間
符号化装置のブロック図、第２図は従来の動き補償予測
フレーム間符号化装置のブロック図である。 1,51……入力端子、3,53……動ベクトル算出部、4,54…
…画像メモリ部、7,58……動き補償部、60……符号化方
式判定部、９……第１符号化方式判定部、21……第２符
号化方式判定部、13,64……予測誤差算出部、15,16,66
……スイッチ部、17,68……直交変換部、19,70……量子
化部、22,73……量子化ステップサイズ算出部、28,74…
…符号メモリ部、28,74……符号メモリ部、30,76……逆
直交変換部、34,78……再生画像算出部、36,82……予測
誤差符号化部、38,84……動ベクトル符号化部、40,86…
…マルチプレクサ部、43,69……出力端子。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】映像信号をアナログディジタル変換する手
   段と、 ディジタル化した入力映像信号の１フレームまたは１フ
   ィールドを定められた大きさのブロックに分割する手段
   と、 個々のブロックについてテレビジョン画像の動きである
   動ベクトルを算出する手段と、 フレーム間差分値に基づいて、前記動ベクトルを用いた
   符号化ブロックに対する動き補償を行うか否かを判定
   し、その結果を動き補償制御信号として出力する動き補
   償判定手段と、 符号化ブロック及び符号化ブロックに隣接した周辺のブ
   ロックの動ベクトルを蓄積する手段と、 符号化ブロックの入力映像信号の画素値と、動き補償制
   御信号に基づく予測画素値との差分を予測誤差値として
   算出する手段と、 個々のブロックについて、予測誤差値と入力映像信号の
   画素値に基づいてフレーム間符号化するかフレーム内符
   号化するかを判定し、符号化方式制御信号として出力す
   る第１の符号化方式判定手段と、 前記第１の符号化方式判定手段においてフレーム内符号
   化すると判定されたブロックの動ベクトルと、隣接する
   ブロックの動ベクトルを比較し、動ベクトルが一致した
   と着做せるブロックがｋ個（ｋは、８以下の正整数）以
   上ある場合に、前記第１の符号化方式制御信号を補正
   し、フレーム間符号化方式を行うように変更する符号化
   方式制御信号補正手段と、 入力映像信号または予測誤差値を直交変換し、直交変換
   係数を算出する手段と、 発生符号量より量子化ステップサイズを算出する量子化
   ステップサイズ決定手段と、 前記量子化ステップサイズにより直交変換係数を量子化
   し、量子化した直交変換係数を算出する手段と、 量子化した直交変換係数を符号化する手段と、 量子化した直交変換係数を逆直交変換し、逆量子化信号
   を算出する逆量子化手段と、 前記符号化方式制御信号により、再生画素値の算出時に
   用いる画素値を予測画素値とするか、数値「０」とする
   かを切り替える切り替え手段と、 予測画素値または数値「０」と逆量子化信号より、再生
   画像を算出する画像再生手段と、 再生画像を蓄積する画像蓄積手段と、 動ベクトルを符号化する動ベクトル符号化手段を具備す
   る動き補償フレーム間符号化装置。