JPH01183286A - 動画像の予測符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第９図〜第１４図） 発明が解決しようとする問題点 問題点を解決するための手段（第１図）作用（第２図） 実施例（第３図〜第７図） 変更例（第８図） 発明の効果 〔概要〕 可変ブロックサイズによる動画像の予測符号化方式に関
し。

動画像予測符号化における予測誤差算出のための計算？
の削減を図ることを目的とし。

符号化を行うブロックのブロックサイズを複数種類予め
定め、各ブロックサイズのブロックについて所要の予測
方法で予測誤差を求め、求められた予測誤差を評価する
ことによって符号化に通したブロックサイズを動画像の
各部位毎に決定してブロック単位で符号化する動画像予
測符号化方式において、最小ブロックサイズのブロック
の各々について該所要の予測方式により予測誤差を求め
。

求められた最小ブロックサイズのブロックの予測誤差を
統合演市することによってＬ位層ブロックサイズのブロ
ックの予測誤差を算出するよう構成する。

〔産業上の利用分野〕

本発明は可変ブロックサイズによる動画像の予測符号化
方式に関する。

〔従来の技術〕

テレビ会議システム等を実現する動画像帯域圧縮符号化
方式として予測符号化方式があり、これにはフレーム内
子測、フレーム間予測、動き補償予測等がある。

動き補償予測はフレーム間の相関を利用して動きの検出
を行うことにより時間軸方向の冗長性を大きく削減する
方式であり９画面を複数のブロックに分割してブロック
単位で符号化を行い、各ブロックにつき動ベクトルを算
出して予測の補正を行う。このブロックのサイズについ
て検討してみ　　′ると、一般にブロックサイズは小さ
くなるほど伝送情報量は増大するのでビットレートの低
減化の観点からはブロックサイズは大きくとったほうが
よい。この場合、静止領域については予測のブロックサ
イズを大きくして伝送情報量を小さくしても、復元され
た画面と原画との誤差は小さい。−方、動領域ではブロ
ックサイズを大きくすると予測誤差が大きくなり、復元
画像の品質が劣化する。

このためブロックサイズを小さくして予測誤差を小さく
する必要があるが、この場合、伝送情報量が大きくなり
、ビットレートの低減を図れない。

このように動き補償予測方式では符号化を行うブロック
サイズは画面のどの部分でも一定であり。

画面の静止領域でも動きの激しい動領域でも同一のサイ
ズで符号化を行っている。このため１例えばブロックサ
イズを一様に大きくした場合は動きの激しい部分では誤
差が大きくなる。一方、ブロックサイズを一様に小さく
した場合は動きの激しい部分での誤差を小さくできるが
、半面、静止部分に対しての伝達情報量が増大し、余分
な情報を伝送しなければならなくなる。

このような問題を解決するために９本出願人に係る発明
の名称「可変ブロックサイズ動き補償方式」と称される
昭和６２年９月２２日付けの特許出願においては、動画
像の静止部分や動部分等の各部位の性質に応じて適応的
に予測方式とブロックサイズを選択して画像符号化を行
うことにより。

動画像全体に対して誤差の小さい的確な符号化を行いつ
つ全体として伝送効率の向上を図ることができる画像符
号化方式が提案される。以下にこの画像符号化方式につ
いて更に詳細に説明する。

この画像符号化方式は、動画像信号をブロック単位で予
測符号化し、それに際し予測方式としてフレーム間予測
、動き補償予測およびフレーム内予測の何れかを適応的
に選択するとともに５画像の変化の激しい部分に対して
はブロックサイズを小さくし静止的な部分に対してはブ
ロックサイズを大きくするといったように画面の部分的
な状態に応じてブロックサイズを適応的に切り換える。

ここで被符号化ブロックのブロックサイズを最大で３２
　Ｘ　３２　（ｐｅｌ）とし、このサイズで以下に説明
する処理を繰り返すものとして説明する。第９図に示さ
れるように、被符号化ブロックの最大サイズは３２　Ｘ
　３２であり、これを数段階に分けてｋｌｆｉ次に細分
割して１６Ｘ１６．８Ｘ８，４Ｘ４の計、４種類のブロ
ックサイズを用窓する。従って３２　Ｘ　３２のブロッ
クは、第１θ図に示されるように、　１６Ｘ１６．　８
Ｘ８．４Ｘ４と順次に小なるブロックに４段階に細分化
されることになる。

次にこのようにして得られた各階層のサイズのブロック
全部についてブロック毎に、フレーム間予測、動き？ｉ
償予測およびフレーム内予測の３種類の予測符号化を行
ってそれぞれフレーム間予測誤差ε（ｋ）、動き補償予
測誤差ε（−およびフレーム内予測誤差ε（ｎ）を得る
。そして各ブロック毎にこれらの予測誤差ε（ｋ）、ε
（（２）、ε（ｎ）を所定の評価関数に従って評価して
そのブロックについての最適の予測方式を決定し、その
予測方式識別情報とともにその予測方式による予測誤差
を当該ブロック対応のメモリに格納する。

なおここで動き補償予測の予測誤差ε−）の計算方法に
ついてさらに詳細に説明すると、これは以下のように動
ベクトル探索して行われる。すなわち動ベクトルの探索
は、第１１図に示されるような探索順番表に基づいて行
われるものであり、現フレームの入力画面ＯＲＧに対し
て前フレームの参照画面ＲＥＦの位置を探索順番表に従
ってそれに示される動ベクトル位置に順次にずらして、
それぞれの位置において画面の予測誤差の絶対値の積算
値を求め、それらの値を評価して誤差が最小となる最適
の動ベクトルを決定してその最適動ベクトルの予測誤差
を当該ブロックの予測誤差とするものである。なおここ
では評価のために予測誤差の絶対値を用いたが、これに
限らず例えば予測誤差の平均二乗の平方根を用いること
なども可能である。

探索順番表の折目の中の数字は探索位置の順番を示して
おり、これらは所定の探索範囲内において順番付けされ
ている。１番目に指定された゛位置を探索しその後、順
次に探索位置を遠ざけていく。

ここで１番目の位置は参照画面１２ＥＦの位置を移動さ
せていない場合に相当するものであり、従ってこれはフ
レーム間予測の場合に相当する。

以上のようにして各ブロックサイズの全てのブロックに
ついて予測方式の決定が行われ、その結果選択された予
測方式と予測誤差が各ブロック対応のメモリにそれぞれ
格納されると１次に符号化に最適のブロックサイズの決
定が行われる。このブロックサイズの決定は、まず４×
４のブロックと８×８のブロックの間で行われ１次いで
８×８と１６Ｘ１６の間、１６Ｘ１６と３２　Ｘ　３２
の間の順で行われる。

すなわち８×８のブロックの予測誤差と、そのブロック
を更に４分割した４×４の４つのブロックの各予測誤差
の平均値とを所定の評価関数に従って評価し１画面のそ
の部位を符号化するには８×８のブロックと４×４のブ
ロックとではどちらがより適切であるかを判定する。こ
のような処理を８×８と４×４のブロック全てにつき行
ったら。

次に８×８と１６Ｘ１６のブロックに対して同様な処理
を行うものである。

以上により１画像の各部位に応じて最適なブロックサイ
ズが選ばれる。この場合、動きが少ない静止的な部位に
対しては最大のブロックサイズ３２×３２が選択され、
動きが多くなるに従い順に小さなブロック１６Ｘ１６，
８Ｘ８．４Ｘ４が選択される。

このようにして３２　Ｘ　３２のブロックサイズを最大
ブロックとして１６Ｘ１６．８Ｘ８，４Ｘ４の各サイズ
のブロックの全てについて予測誤差等のデータを求める
と、そのデータ構造は第１２図に示されるような４段４
分岐のツリー状のものとなり、この中で評価関数に従っ
て順次にブロックサイズを決定することによって最適な
径路が決定される。

第１３図は処理結果の一例としての最適径路を示すもの
である。図中、ｍ線の長円は最適のブロックサイズとし
て選ばれたブロックを示し、太線の長円は最適のブロッ
クサイズに選ばれなかったブロックを示す。なお各長円
に対応して予測誤差εと予測のための情報量ｉがデータ
としてメモリに格納されるものとする。

第１３図中に■〜■で示された１６Ｘ１６のブロックは
、第１４図に示されるように、３２Ｘ３２のブロックを
４分割した１６Ｘ１６の各ブロック■〜■の各位置に対
応している。第１３図において１６Ｘ１６のブロックよ
りさらに下位階層に分岐されるブロックの上位階層ブロ
ックに対する位置関係も第１４図の位置関係と同様にな
っている。したがって第１３図のように決定された径路
は９画面上では第１５図に示すように、３２Ｘ３２のブ
ロックが複数種類のプロ・２りで細分化されたものに対
応する。

（発明が解決しようとする問題点〕 上述した可変ブロックサイズによる画像符号化方式では
各ブロックサイズの全てのブロックについてそれぞれフ
レーム間予測、動き補償予測およびフレーム内予測を行
って予測誤差を求めている。

このためこれらの予測処理に要する計算量は固定ブロッ
クサイズによる予測符号化の場合に比較して多（なり、
特に動き補償予測を行うための計算量は格段に多くなる
。

このことは装置化に際して実時間での処理を行う上で不
都合であり、また実時間で処理しようとすると装置が大
型化してしまうという問題点がある。

したがって本発明の目的は、可変ブロックサイズによる
画像符号化に際し、各プｍｌ　ツタの予測誤差を算出す
るための計算量を削減することにある。

〔問題点を解決するための手段〕

第１図は本発明が係わる予測符号化方式の原理図である
。

本発明に係る動画像の予測符号化方式は、符号化を行う
ブロックのブロックサイズを複数種類予め定め（５１）
、各ブロックサイズのブロックについて所要の予測方法
で予測誤差を求め（Ｓ２）。

求められた予測誤差を評価することによって符号化に適
したブロックサイズを動画像の各部位毎に決定して（Ｓ
３）ブロック単位で符号化する動画像予測符号化方式に
おいて、最小ブロックサイズのブロックの各々について
該所要の予測方式により予測誤差を求め（Ｓ４）、求め
られた最小ブロックサイズのブロックの予測誤差を統合
演算することによって上位層ブロックサイズのブロック
の予測誤差を算出する（Ｓ５）ものである。

〔作用〕

ブロックサイズとしてＮ１からＮｍまでの複数種類のサ
イズで可変ブロックサイズの動画像符号化を行うものと
し、ここでサイズＮ１を最小のブロックとし、Ｎｍを最
大サイズのブロックとする。

予測方法としてはここでは動き補償予測を用いるものと
する。

まず最下層の最小ブロックＮ１について動き補償予測を
行っそれぞれの同ベクトル毎に動き補償子θり誤差を求
めてメモリに保存しておく。これを最小ブロックＮ１の
全てについて行う。

最小ブロックＮ１の次に小さいブロックＮ２　　（最下
層から２段目）においては、そのブロックと同位置を占
める最下層の複数のブロックの予測誤差を各ベクトル毎
に統合（平均値を求める）してその平均値を予測誤差と
し、それをメモリに保存する。この操作をブロックＮ２
のそれぞれについて行う。

このような操作を最上層のブロックＮｌ１１まで順次に
進める。これによって最小ブロックＮ１以外のブロック
の予測誤差の計算は単にメモリからデータを読み出して
その平均値をとるだけの簡単な諜作で行える。

なお予測方式がフレーム間予測の場合は動き補償予測に
おける勅ベクトル（０，０）につき求めたデータがその
まま使え、また人力ブロック自身の平均値をとるフレー
ム内予測についても同様なことができるものである。

第２図は最大ブロックサイズを幹として得られる各ブロ
ックサイズのデータ構造を示すものであり、これはに段
！分岐のツリー状構造となっており、動ベクトル毎にか
かるデータ構造対応のメモリが用意されるものである。

〔実施例〕

以下１本発明の実施例を図面を参照して説明する。

第３図には本発明の一実施例としての動画像予測符号化
方式における予測誤差計算手順の流れ図が示される。こ
の実施例方式は、第９図および第１０図に示されるよう
な最大３２Ｘ３２（ｐｅ＋）のブロックを１６Ｘ１６１
　８Ｘ８．４Ｘ４の各ブロックサイズに分割してそれぞ
れのサイズのブロックに対して動き補償予測の動ベクト
ルの探索を行い、その結果得られる予測誤差に基づき画
面の各部位の性質に応じて最適のブロックサイズを適応
的に選択して符号化する可変ブロックサイズ動き補償予
測符号化に関してのものであり、このような処理が１画
面中の他の３２　Ｘ　３２のサイズのブロックに対して
も繰り返されるものである。

まず最小サイズの４×４の６４個の各ブロックについて
動き補償予測を行い、予測誤差ε（ｍｌを求める。第４
図は成る一つの４×４ブロツクについて予測誤差を算出
するための手順を詳細に示した流れ図である。

いま動き補償予測に際しての動ベクトルの探索の範囲を
、説明を簡単化するため、第５図に示されるような範囲
であるとする。すなわちｉ軸方向に−７〜＋７　（画素
）、ｊ軸方法に−７〜＋７　（画素）の範囲である。こ
の探索範囲内にある各動ベクトルをＶ（ｉ、ｊ）で表す
ものとし＋　（ｉ、ｊ）はｊ軸およびｊ軸の座標を示す
。

第４図において、まず変数ｉとｊをそれぞれ−７に設定
しくステップＳ２１．５２２）、　　動ベクトルＶ（ｉ
＋ｊ）の位置に参照画面ＲＥＦを移動させてその位置で
入力画面ＯＲＧに対する予測誤差を算出する（ステップ
５２３）。このようにして求めた予測誤差を当該動ベク
トルＶ　（ｉ、Ｄ対応に用怠されたメモリに格納する（
ステップ５２４）。

上述の操作をｉ軸方向に−７から→−７（画素）まで繰
り返しくステップ３２２〜Ｓ　２６）　、さらにこの操
作をｊ軸方向に−７から＋７　（画素）まで繰り返すこ
とによって（ステップ３２２〜３２Ｂ）　、　　第５図
に示される探索範囲中の全ての動ベクトル■（ｉ、ｊ）
に対してそれぞれ予測誤差を求め、その結果を各動ベク
トルＶ（ｉ、ｊ）対応のメモリに格納する。

この操作を６４個の４×４ブロツク全てについて行うも
のである。（ステップＳ　１１）。

次にこのようにして求めた４×４ブロツクの予測誤差に
基づき、８×８ブロツクの予測誤差を算出する。これは
、成る一つの８×８ブロツクにつき、その８×８ブロツ
クと同位置を占める４つの４×４ブロツクの予測誤差の
平均値を各動ベクトル■（ＩＩＪ）毎に求め、これを予
測誤差とすることによる。この操作はその８×８のブロ
ックの大きさで動き補償を行ったことと同じになる（ス
テップ５１３）。以上の操作を１６個の８×８ブロツク
全てについて行うものである。

更に１６Ｘ１６のブロックの予測誤差の算出も上述同様
にして行われる。すなわち成る一つの１６Ｘ１６ブロツ
クにつき、その１６Ｘ１６ブロツクと同位置を占める４
つの８×８ブロツクの予測誤差の平均値を各動ベクトル
Ｖ　（ｉ、ｊ）毎に求め、これを予測誤差とする。この
操作を４つの１６Ｘ１６のブロック全てについて行う　
（ステップ５１３）。

最後に最大サイズ３２　Ｘ　３２のブロックの予測誤差
も上述同様、３２Ｘ３２のブロック−つに相当する１６
ＸＩ６のブロック４つの平均値をとり、これを予測誤差
とすることにより算゛出される　（ステップ５１４）。

このようにして算出された各ブロックサイズのブロック
の予測誤差を格納するメモリ構成が第６図に示される。

この第６図のメモリ構成は一つの動ベクトルＶ（ｉ、ｊ
）についてのものであり１図中。

左端は４×４ブロツク対応のメモリであり、右側にいく
に従って順次、８×８ブロック対応、１６×１６ブロソ
ク対応、３２Ｘ３２ブロツク対応のメモリとなる。図か
らも明らかなように、４つの４×４のメモリの内容を加
算して４で割ることにより平均値を求めて８×８のメモ
リの内容とし、さらにこの８×８の４つのメモリの内容
を加算して４で割って１６Ｘ１６のメモリの内容とし、
最後にこの１６×１６のメモリの内容を加算し４で割っ
て３２　Ｘ　３２のメモリの内容としている。

第６図に示すメモリ構成のブロックが、動ベクトルＶ　
（−７，−７）・−Ｖ　（０，０）−Ｖ　（７，７）の
全てについて備えられるものである。第７図はこのよう
な全ての動ベクトルについての全体的なメモリ構成を示
す図である。図示のように、勤ベクトルＶ（−７、−７
）　−Ｖ（０，０）−Ｖ（７，７）のそれぞれについて
。

４Ｘ４，８Ｘ８．１６Ｘ１６および３２　Ｘ　３２ブロ
ツク対応のメモリからなるメモリブロックが備えられる
ものである。なおここで動Ｖ　（０，０）の時の動き補
償予測はフレーム間予測となり、したがってそのメモリ
の格納データはフレーム間予測誤差となる。

変更例 本発明の実施にあたっては種々の変更態様が可能である
。例えば、上述の実施例では予測方式として動き補償予
測を行う場合について説明したが。

これに限らず本発明は例えばフレーム間予測、あるいは
入力ブロック自体の平均値を求めて予測誤差を算出する
フレーム内予測などを行う場合についても通用できるも
のである。

また可変ブロックサイズによる予測符号化においては、
計算量の削減と効率化などのため予測誤差を知りたい段
より１最小さいブロックサイズの動き補償予測が行われ
ない場合があるが、かかる場合のメモリ構成は第７図に
示されるようなものとすればよい。すなわち各メモリの
番地対応に予測誤差の計算を行ったか否かを示すフラグ
をたてるフラグ部分を設け（図中にＺで示す）、この部
分により計算がされていないことが判明したら必要に応
じて当該ブロックの動き補償予測の計算を行うようにす
る。

〔発明の効果〕

本発明によれば、可変ブロックサイズによる動画像予測
符号化における予測誤差の算出を行うに際し、最小サイ
ズのブロックについて所要の予測方式で予測誤差を一度
算出してメモリに格納しておけば、他のブロックサイズ
のブロックの予測誤差の計算はメモリの内容を読み出し
て平均をとるだけの簡単な演算で求められるようになり
、よって予測誤差算出の計算量を大幅に削減することが
でき、それにより装置の実時間処理化および小型化を図
ることができる。

【図面の簡単な説明】

第１図は本発明に係る動画像の予測符号化方式第２図は
本発明方式により算出される予測誤差を保存するメモリ
構成の例を示す図。 第３図は本発明の一実施例としての予測符号化方式にお
ける予測誤差算出手順を説明する流れ図。 第４図は第２図における４×４ブロツクにおける予測誤
差を求める手順を示す流れ図。 第５図は動ベクトル探索範囲の例を示す図。 第６図は本発明の実施例において成る一つの動ベクトル
に関してのメモリ構成の例を示す図。 第７図は本発明の実施例において全動ベクトルに関して
の全体的なメモリ構成を示す図。 第８図は本発明の変更例における成る一つの動ベクトル
に関してのメモリ構成を示す図。 第９図および第１０図はブロック分割の例を説明する図
。 第１１図は勤ベクトルの探索順番表を示す図。 第１２図は可変ブロックサイズ予測符号化によるデータ
構造の一例を示す図、および 第１３図〜第１５図は可変ブロックサイズ予測符号化に
よる処理結果の一例を示す図である。 Ｃ：！＋４− 杢発朗し；関１ヶ原理図 第１図 最ホフロノクワイで １く索　用１ｉ４ｒ表の　１　イタ１１第１１図 本発明／）実施４列の液孔図 第３図 ４ｘ４フ泊・ンク子３則畜民差奪巴の１卑細ｒＪガｂ民
図第４図 第６図 、図ト亮−メ弓０１七ヨ更イ〃）１ 第８図 フロック分割のイク１１ 第９図 フロック分割の硬Ｉ 第１０図 ４Ｘ４　（ｐｅｌ　） ＊相棒；のテータ構造 第１２図

Claims (1)

1. 【特許請求の範囲】 １、符号化を行うブロックのブロックサイズを複数種類
   予め定め（Ｓ１）、 各ブロックサイズのブロックについて所要の予測方法で
   予測誤差を求め（Ｓ２）、 求められた予測誤差を評価することによって符号化に適
   したブロックサイズを動画像の各部位毎に決定して（Ｓ
   ３）ブロック単位で符号化する動画像の予測符号化方式
   において、 最小ブロックサイズのブロックの各々について該所要の
   予測方式により予測誤差を求め（Ｓ４）、求められた最
   小ブロックサイズのブロックの予測誤差を統合演算する
   ことによって上位層ブロックサイズのブロックの予測誤
   差を算出する（Ｓ５）ことを特徴とする動画像の予測符
   号化方式。 ２、予測方式として動き補償予測が用いられ、該上位層
   ブロックサイズのブロックの予測誤差の統合演算は、動
   き補償の動ベクトル毎に行われることを特徴とする特許
   請求の範囲第１項に記載の予測符号化方式。