JPH02214389A - 動画像の縦続的符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概要］ 動画像信号の伝送に際し、フレーム間の差分信号をとり
、これを２種以上の異なるブロックサイズでブロック符
号化を縦続的に用いて符号化する符号化方式により低域
信号成分を条件付画素補充を用いて符号化する第１段目
のブロック符号化部と、該符号化による残差信号に対し
て更に活性度情報の符号化及び第２のブロック符号化を
行う動画像の縦続的符号化方式により少ないビット数で
動画像の特徴を効果的に伝送することを可能とする。

［発明の属する技術分野］ 本発明は動画像信号を高能率に伝送するための符号化方
式に関するものであり、特に、フレーム間符号化とＤＣ
Ｔ（離散的ｃｏｓ変換）或はベクトル量子化とを組み合
わせたハイブリット符号化方式における高能率化に関す
る。

［従来の技術］ テレビジョン信号などの動画像信号を効率よ（伝送する
ためには、人力画像信号に含まれる時間的・空間的な冗
長度（相関）を低減し、また、振幅成分の情報を低減さ
せ、全体としてなるべく少ない情報量で入力画像信号を
表現することが必要である。このための方法は一般に高
能率符号化或いは冗長度抑圧符号化と呼ばれている。

動画像信号に対して時間軸方向での冗長性を低減する方
法としてフレーム間差分信号或いは動き補償フレーム間
差分信号（以下ＭＣ差分と略記）を求め、この差分信号
を符号化して伝送する方式が有効である。このための方
法としては、画素単位に符号化する方式と、複数の画素
を一括してブロック単位に符号化する方式とがある。前
者は、画素単位に差分値に対して量子化を行うか、或い
は近傍画素での差分値に基づいた予測符号化を行うもの
である。ハードウェア的には比較的簡単なものであり、
使用できるビットレートが高い場合には有効な方法であ
る。しかし、画面全体を画素単位で扱うため、ビットレ
ートが限られている場合には、量子化を極端に粗くする
必要があり、従って符号化される画素数、表現できる振
幅のレベル数が少な（なり、十分な画質を達成すること
は困難である。

これに対し後者は、例えば２次元の矩形ブロックを単位
として符号化する方法である。代表的な方法としては２
次元直交変換がある。ここで直交変換は次のように定義
される。

大きさＭ−Ｎ画素の画像Ｘに対し、ユニタリ行列ＡＭ、
　Ａｌｌによる、 Ｘ＝Ａ、・Ａ、４ｔ（ｔ、は転置を表す）（但し、Ｘは
変換結果であり、Ｍ−Ｎ個の要素から成る） の形の変換を２次元ユニタリ変換と呼び、特にユニタリ
行列が直交行列である場合に２次元直交変換と呼ぶ。高
能率符号化への応用の点からは、Ｈａｌｓｈ−１１ａｄ
ａｍａｒｄ変換、離散的ｃｏｓ変換（以下ＤＣＴという
）などがある、直交行列としては、例えば大きさ４×４
の場合次の様になる。

Ｗａｌｓｈ−Ｈａｄａｍａｒｄ変換（Ｗａｌｓｈ　−０
ｒｄｅｒ）離散的ｃｏｓ変換（ＤＣＴ） 入力信号に相関性がある場合、直交変換の適用により変
換係数出力成分においては相互の相関が低くなり、また
低次成分へ電力が集中するなどの性質がある０例えば主
要な変換係数出力成分のみを伝送するなどの方法により
、動画像信号を表現するために必要な情報量の低減が可
能である。

またその他ブロックに分割された信号値を一定の順序に
走査しこれをベクトル値として扱い、この入力ベクトル
値に最も近い事前に定めたコードブック中の代表ベクト
ルを選択し、この代表ベクトル番号を伝送することによ
り情報量の低減を行うベクトル量子化と呼ばれる方式も
ある。ベクトル量子化を用いて画像符号化方式に、特に
ベクトルの分散値を表すゲイン成分とベクトルの波形を
表すシェープ成分とを別々に用いるゲインシェープベク
トル量子化と呼ばれる符号化方式に関しては、特願昭６
２−３２７４１７号（昭和６２．１２．２５出願）「ベ
クトル符号化方式」　（鉛末、渡辺）に説明が述べられ
ている。

従来のブロック単位での符号化方式の構成図として、第
１図にＭＣ予測を用いた例を示す。図中１は入力画像信
号を並べ換えてブロック順とするためのブロック化操作
部、２は画像信号を少なくとも１フレーム分以上蓄積す
るための画像メモリ部、３は画像メモリ部２内から入力
ブロックと最も類似したブロックを探し出すための動き
検出部、４は検出されたブロック内の画素値を入力ブロ
ック内の画素値に対する予測値すなわち動き補償予測値
とするための動き補償予測部、５はブロック単位での符
号化部、６はブロック単位符号化部５に対する復号化部
、１１は減算器、１４は加算器である。減算器１１によ
り、ＭＣ差分が算出され、これに対してブロック単位の
符号化部５により冗長度抑圧のための符号化、例えば２
次元直交変換符号化、を行い送信する。一方丈に、復号
化部６によりＭＣ差分に対する復号値が与えられ、これ
を加算器１４を用いて動き補償予測部４の出力と加え合
わせることにより復号画像が得られる。この復号画像は
画像メモリ部２において少なくとも１フレーム期間蓄え
られ、次フレームにおけるＭＣ差分の算出に利用される
。

［発明が解釈しようとする問題点１ しかしながら前述の予測誤差信号を符号化する方式には
、多数の困難が存在する０画像信号、特に動画像信号は
非定常的な性質を持っており、動きの大きな画像フレー
ムと動きの小さな画像フレームがある。また同一フレー
ム内において動きのある部分とない部分や、単純な絵柄
をしており隣接画素同志相関の低い部分と細かい絵柄で
相関の高い部分などがあり、局所的な性質が著しく変化
する。その為、高能率な符号化を実現するにあたっては
常に同じ符号化方法を用いていては限界が存在する。よ
って前述した局所的に変化する画像信号の性質に従って
符号化の方法を変化させなければ高能率な符号化が実現
できない。

例えば画面中の動き量が大きな部分では、フレーム間の
差分信号をとると、入力画像信号をそのまま符号化する
場合に比べさらに多量の符号化信号を伝送しなければな
いない場合も生じてしまう。

また直交変換処理を行う１ブロックの中でみると、その
ブロック内での総和としての変化はわずかでも、特定の
周波数成分、例えば直流成分のみが変化し、この値を送
ることによりかえって１プロッりごとの平均値が変動し
てブロック状の雑音を生じ、画質を低下させるなどの問
題が従来より知られていた。

第２図では、物体がフレーム間でＬｌからり。

までυだけ移動している。この時、ブロックＡについて
は両フレームで対応する部分があるため、ＭＣ差分の値
は小さ（なる、一方、ブロックＢについては物体の移動
に伴い今まで見えていなかった背景が出て来るため、こ
の部分す、において、その周囲ｂ＋、ｂ＊に比べＭＣ差
分値の急峻な変化が生じる。

［問題点を解決するための手段］ 本発明は上記問題点に鑑み、フレーム間差分及びＭＣ差
分の性質を踏まえて、これを効率よく表現するための、
動画像信号の高能率符号化方式を提供することを特徴と
する特に、使用できるビットレートが限られている場合
に、フレーム間差分或いはＭＣ差分に含まれる情報を効
率良く表現し、復号画像の画質の向上を図ることを目的
とする。

本発明の特徴は、フレーム間差分信号或いはＭＣ差分信
号に対し、異なるブロックサイズのブロック符号化を縦
続して用いることにより、前述したような差分有効ブロ
ック中に生ずる局所的な性質の違いに効率良く対処しよ
うとするものである。

初めに比較的大きなブロックサイズのブロック符号化を
用い、差分信号の低域成分に関し符号化を行う、これに
より前述したブロック状の雑音によるブロック歪の発生
を防止する。次に、同ブロックの中の局所的な性質の違
い、例えば動物体部分と背景部分との活性度の違い或い
は小ブロックごとの有効・無効の違いを符号化すると共
に、性質の均一となった小ブロックごとに符号化を行う
。

こうすることにより、各ブロックごとに必要とする情報
を効率良く利用しながらハイブリッド符号化におけるブ
ロック内の局所的性質の変動を吸収することが可能とな
る。

［作用］ ブロック歪の影響が少なく、また画面中に動・静物体が
混在している画面に対しても入力画像に適した符号化が
可能になり、画質劣化を最小化出来る。

［実施例］ 本発明の実施例を図によって説明する。第３図は本発明
の詳細な説明するためのものである。入力信号はたとえ
ば動画像信号を複数画素分まとめてブロック化したもの
である。

信号線により供給される入力画像信号１１は減算器２０
０によって、フレーム間予測値或いはＭＣ予測値信号１
２との差分がとられ、フレーム間予測誤差信号１３が得
られる。その予測誤差信号は、有・無効ブロック情報符
号化部３００、帯域分割部４００及び減算器２１０に導
かれる。

有・無効判定ブロック情報符号化部３００では、第１の
ブロック例えば１６画素×１６ラインを単位として有効
・無効判定を行い、この結果を信号１４として受信側に
伝送すると共に、後述する第１のブロック符号化部４０
０に同じく結果１５を知らせる。但しこれは１構成例で
あって、本発明の第２構成例として例えば前記の信号１
３を有・無効ブロック情報符号化部３００の入力とする
代わりに、先の第１のブロック符号化部５００において
符号化を行い、この結果生じた符号化結果を図中１５の
逆方向に１５”　として送り、これを基に有効・無効の
判定を行ってもよい。

帯域分割部４００では、入力差分信号１３に低域通過形
のフィルタ処理を行い、次段の第１のブロック符号化部
５００に適した画素数に標本点の間引きを行う０例えば
、水平・垂直方向ともそれぞれ１／４に帯域制限した後
、水平・垂直とも４画素おきの間引きを行い、入力時１
６画素×１６ラインであったブロックを４画素×４ライ
ンとして信号１６を出力する。但し、以上の説明におい
て４画素おきの間引きを行ったが、これは説明上の１例
であり、極端な例として間引き処理を行わないとしても
本発明の効果の一部は達成可能である。

第１のブロック符号化部５００は、この信号１６をブロ
ック符号化する部分であり、従来より良く知られている
直交変換符号化或いはベクトル量子化等により冗長成分
の削減を行う、この第１のブロック符号化部５００によ
り符号化された結果の信号、例えばＤＣＴ変換した後の
変換係数出力値を量子化した値或いは例えばベクトル量
子化を行った結果選択されたベクトル番号は信号１７と
して、受信側に伝送される。尚、この時前述した信号１
５により、そのブロックに対応した領域が無効ブロック
と判定された時には、そのときの出力信号は強制的にＯ
とする。また逆に前記第２の例の場合には、この符号化
部５００での出力結果１７を基に例えば出力値が全てＯ
となる代表値を選択している場合には、このこの結果を
信号１５’として有・無効ブロック情報符号化部３００
に送る。

第１のブロック復号化部６００では、符号化結果を復号
する０例えばＤＣＴの逆変換値或いはベクトル量子化の
代表ベクトル番号よりベクトル値を復号する等の操作に
より、第１のブロック符号化の復号値を得る、更に標本
点を内挿等により増やし、信号１３と等しい画素数に増
量して出力１８を作成する。

この出力１８は、減算器２１０に送られ、フレーム間予
測画素信号１３と第１のブロック復号化信号１８との差
分をとることにより予測誤差信号の残差１９を作成する
。また、同じ値は加算器１０１０に送られ、次画面以後
の符号化のために用いる復号値作成の一部とする。

予測誤差信号残差成分１９は、第２のブロック符号化部
８００及び活性度情報符号化部７００に送られる。活性
度情報符号化部７００では前記第１のブロックサイズ、
例えば１６画素×１６ラインの中をさらに小さい第２の
ブロック、例えば４画素×４ラインに分け、この小ブロ
ック単位ごとの活性度を表す情報、例えば分散値或いは
ブロック中の最大値と最小値との差等を演算により求め
る。次に、この値をもとに例えば所定の閾値と比較する
ことにより小ブロックごとの有効・無効の別を指定する
情報を作成し、これを受信側に信号２１として送るか、
或いは他の構成例として、活性度を表す信号をそのまま
信号２１として受信側に送る。尚、この時の符号化出力
伝送部１１００における信号の伝送路符号化方法として
は、例えばランレングス符号化、ＤＣＴ符号化、或いは
ベクトル量子化等を用いることとする。

また有効・無効の提示或いは活性度情報符号化部７００
は信号２０として第２のブロック符号化部８００にも送
り、第２のブロック符号化部８００の制御に用いる。尚
、本符号化情報に関しても、前記の信号１５と同様に、
先に第２のブロック符号化を行った後にこの結果を２０
′として活性度情報符号化部７００に送り、この結果に
より例えば有効・無効情報を信号２１として伝送する構
成も可能である。

第２のブロック符号化部８００では信号２０に基づき、
例えば有効小ブロックについてのみＤＣＴ変換により４
×４のブロックサイズの符号化を行い、この結果を信号
２２として受信側に送る。

また、他の実現方法として、信号２０により活性度情報
を得、これを基に該当するブロックの信号の正規化を行
い、正規化後の信号に対しベクトル量子化を行う。すな
わち、この場合には、活性度情報符号化部７００がゲイ
ン情報を第２ブロック符号化部８００がシェープ情報を
符号化するゲインシェープベクトル量子化を行うことと
なる。面この場合には、このゲイン情報に相当する信号
は第２のブロック復号化部９００で必要となるので、信
号２３として送ることとなる。

第２のブロック復号化部９００では、第２のブロック符
号化部８００の符号化信号及びもし必要なら信号２３を
用いて第２ブロックの復号値を作成し信号２３を出す。

この信号値２３、第１のブロックの復号信号１８及びフ
レーム間の予測信号１２の３者を加算器１０１０．１０
２０により加えることにより、入力画像信号を本方式に
より符号化した結果の画像２４を作成する。この復号値
はフレームメモリ１００に入力して蓄積され、現画面以
後の符号化のために蓄積する。尚、フレームメモリ１０
０はｌフレーム以上の画素の信号値を遅延出来ることが
最低限の条件であるが、画面中の動き量に応じて遅延を
可変制御してフレーム間の動き補償予測を実現する構成
とすることも可能である。

尚以上の例においては、小ブロックを固定したブロック
サイズにより符号化処理をする場合を示したが、例えば
４画素×４ラインの小ブロックが縦又は横に並んでいる
場合、４画素×４ラインの小ブロックが縦横に２個ずつ
まとまって有効となっている場合などには、これらの小
ブロックをまとめて４画素×８ライン、８画素×４ライ
ン、８画素×８ラインのブロックとして例えばＤＣＴに
より処理を行う方法も可能である。

有・無効ブロック情報符号化部３００の出力１４、第１
のブロック符号化部５００の出力１７、活性度情報符号
化部７００の出力２１、第２のブロック符号化部８００
の出力２２の各符号化信号は、符号化信号伝送部１１０
０で多重化し、受信側装置に向は伝送路に信号２５とし
て送り出す。

第３図中の有・無効ブロック情報符号化部３００の構成
例については、例えば特願昭６１−２６７３６７号（昭
和６１．１１．１０出１！ｉ）　　ｒ動画像信号のハイ
ブリット符号化方式」　（羽島、加藤、太田、手抄）に
示されている。また第１のブロック符号化部５００、第
１のブロック復号化部６００、活性度情報符号化部７０
０、第２のブロック符号化部８００、第２のブロック復
号化部９００等については、前述した様にベクトル量子
化或いはＤＣＴ符号化等を用いるが、これら各部の構成
例については前述した特願昭６２−３２７４１７号（昭
和６２、１２．２５出願）「ベクトル符号化方式」　（
鉛末、渡辺）或いは特願昭６１−６６．５２６０号（昭
和６１．３．２４出願）「動画像の高能率符号化方式」
（金子、太田、加藤、松田）等にその構成例が示されて
いる。

本発明においてはフレーム間の予測を行った信号に対し
ブロック符号化を行うことを念頭においているが、当然
のことながらこのフレーム間予測符号化はＭＣ予測符号
化にも拡張可能である。

［発明の効果］ 本発明により、動画像の画面間の相関を利用した予測符
号化と直交変換或いはベクトル量子化等のブロック符号
化とを組み合わせたハイブリッド符号化方式に伴う画質
劣化の減少が可能となり、符号化効率の向上を実現する
ことができる。

【図面の簡単な説明】

第１図は従来方式を説明するためのブロック図、第２図
は従来方式の問題点であるフレーム間差分ブロック中の
局所的性質の違いを説明するための略図、第３図は本発
明の符号化方式の全体を説明するためのブロック図であ
る。

Claims (3)

【特許請求の範囲】
1. （１）入力動画像信号に対して比較的大きなサイズのブ
   ロックでブロック化を行って該ブロック毎に予測値の差
   分信号の低域成分について符号化を行う第１の符号化手
   段と、 前記各ブロックの中の局所的な性質の違いを符号化する
   と共に性質の均一となった小ブロックごとに符号化を行
   う第２の符号化手段と、前記第１の符号化手段の出力と
   前記第２の符号化手段の出力とを伝送するための信号伝
   送手段と を備えた動画像の縦続的符号化方式。
2. （２）入力動画像信号を符号化した結果を常時少なくと
   も１フレーム以上蓄積することを可能とするフレームメ
   モリ部と、 該メモリ出力を予測値とし同予測値と入力画像信号との
   差分をとる予測値作成部と、 該予測値作成部により生じた予測誤差信号をｍ画素×ｎ
   ラインのブロックごとにまとめ該ブロックに有意な差が
   生じているか否かの判定に基づき有効・無効ブロックの
   別を指示する有・無効ブロック情報符号化部と、 前記予測誤差信号より低域信号成分を分離する帯域分割
   部と、該帯域分割部より出力される低域信号からその画
   素数を減少させた信号を得て前記有・無効ブロック情報
   符号化部で有効ブロックと指示されたブロックに対して
   のみその信号値を符号化する第１のブロック符号化部と
   、該符号化結果を復号しかつ原信号入力画像と同数まで
   の画素数に戻す第１のブロック復号化部と、 該第１のブロック復号化部の出力信号と前記予測値作成
   部からの予測誤差信号との差分をとりこれをｋ画素×１
   ライン（但しｋ≦ｍ、１≦ｎ）の小ブロックに分け、該
   小ブロックごとに有意な差が生じているか否か或いはそ
   の小ブロックごとの活性度を符号化する活性度情報符号
   化部と、 該活性層情報符号化部により有効或いは活性度が所定の
   閾値以上と指示された小ブロックについて符号化を行う
   第２のブロック符号化部と、該第２のブロック復号化部
   の結果を復号化する第２のブロック復号化部と、 該第２のブロック復号化部の復号値と前記第１のブロッ
   ク復号化部の復号値及び前記フレームメモリ部からの予
   測値とを加算し復号化画像信号を得るともにこの値を前
   記フレームメモリに入力する画像復号化部と、 前記有・無効ブロック情報符号化部と第１のブロック符
   号化部と活性度情報符号化部及び第２のブロック符号化
   部の各信号を受信側に伝送するための符号化信号伝送部
   と を備えた動画像の縦続的符号化方式。
3. （３）前記第２のブロック符号化部において活性度情報
   符号化部の伝送情報に応じて処理する小ブロックのサイ
   ズを切り替えることにより変更して符号化処理を行うこ
   とを特徴とする特許請求の範囲第２項記載の動画像の縦
   続的符号化方式。