JP2917782B2

JP2917782B2 - 画像ブロック符号化装置

Info

Publication number: JP2917782B2
Application number: JP32317093A
Authority: JP
Inventors: 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1993-11-29
Filing date: 1993-11-29
Publication date: 1999-07-12
Anticipated expiration: 2014-07-12
Also published as: JPH07154797A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】画像情報の伝送、表示、蓄積を行
う装置に於いて、信号をより少ない符合量でディジタル
化する高能率符号化装置に関し、特に画像をブロック単
位で処理する符号化装置に関する。

【０００２】

【従来の技術】画像の高能率符号化では、離散コサイン
変換（以下、ＤＣＴと記す）に代表される直交変換を用
いて、ブロック単位で処理するのが一般的となってお
り、ＩＳＯ／ＩＥＣの静止画用標準符号化方式（ＪＰＥ
Ｇ）、動画用標準符号化方式（ＭＰＥＧ）などでも広く
使われている。ここに前記ブロックの大きさは、ＤＣＴ
に合わせて例えば８×８画素などとされ、７２０×４８
０画素の画像なら一画面が９０×６０のブロックに区切
られることになる。

【０００３】以下、ブロック単位で処理を行う一般的な
符号化装置の例を図４を基に説明する。図４は従来の符
号化装置の第１の例を示すブロック図である。図４に於
いて、画像入力端子１より入力された画像信号は、ＤＣ
Ｔ３に与えられる。前記画像信号はＤＣＴの処理ブロッ
クが８×８画素とすると８×８画素のブロック単位で入
力される。ＤＣＴ３では、離散コサイン変換（ＤＣＴ）
が行われ、変換された係数は量子化器４に与えられる。
量子化器４では量子化制御器１３から与えられるステッ
プ幅で量子化され、固定長符号が量子化ステップ幅の情
報と共に可変長符号器５に与えられる。

【０００４】可変長符号器５では固定長符号が可変長符
号化されて圧縮された符号となり、量子化ステップ幅の
情報と多重化されてバッファ６に与えられる。バッファ
６では可変長符号化により変動した単位時間当たりの送
出符号量が一定にされ、符号が符号出力端子７より出力
される。また、バッファ６からはバッファの充足度の情
報が量子化制御器１３に与えられる。量子化制御器１３
では、バッファ６の充足度の情報から量子化ステップ幅
が決められ、その情報が量子化器４に与えられる。前記
量子化ステップ幅は、バッファ６に符号が多く溜まって
いる場合には量子化を粗くし、少ない場合には細かくさ
れる。

【０００５】次に、図４に示す符号化装置に対応する復
号装置の例を図５を基に説明する。図５は従来の復号装
置の第１の例を示すブロック図である。図５に於いて、
符号入力端子５１に入力された符号はバッファ６に与え
られる。バッファ６では固定転送速度で入力される符号
が、可変長復号化処理に合わせて可変転送速度で可変長
復号器５２に与えられる。可変長復号器５２では可変長
符号が固定長に戻され、得られた固定長符号と量子化ス
テップ幅の情報が逆量子化器１２に与えられる。逆量子
化器１２では、量子化ステップ幅の情報に応じて固定長
符号に対応する量子化代表値が求められ、これにより再
生されたＤＣＴ係数は逆ＤＣＴ１１に与えられる。逆Ｄ
ＣＴ１１では、ＤＣＴ３の逆変換処理が行われ、再生さ
れた画像が画像出力端子５３より出力される。

【０００６】図４に示す符号化装置と図５に示す復号装
置では、ブロック毎に独立に処理されているため、ブロ
ック間相関は使われていない。一方、ブロック間相関を
考慮したものとして、ブロック間の予測を行って符号化
する符号化装置がある。以下、このような符号化装置に
ついて図６を基に説明する。図６は従来の符号化装置の
第２の例を示すブロック図である。この符号化装置につ
いては、電子情報通信学会論文誌Ｂ、ＶＯＬ．Ｊ７
１−Ｂ、NO.6 Ｐ７１７−７２４（１９８８年６月）な
どに、「外挿予測−離散サイン変換による画像の高能率
符号化」のタイトルで紹介されている。

【０００７】図６に於いて、画像入力端子１より入力さ
れた入力画像信号は、予測信号減算器２１に与えられ
る。予測信号減算器２１ではブロック間予測器１０から
与えられるブロック間予測信号が前記入力画像信号から
減算され、予測残差が離散サイン変換器（以下、ＤＳＴ
と記す）６１に与えられる。ＤＳＴ６１は図４に示すＤ
ＣＴ３と同様のもので、コサイン変換の代わりにサイン
変換が行われる。コサイン変換でなくサイン変換が行わ
れるのは、ブロック間予測残差はブロック端に近いほう
で振幅が小さくなり、サイン変換の方が変換効率が良く
なるためである。ＤＳＴ６１で変換された係数は量子化
器４に与えられる。

【０００８】量子化器４、可変長符号器５、バッファ
６、量子化制御器１３の動作は基本的に図４の場合と同
じであり、圧縮された符号が符号出力端子７より出力さ
れる。量子化器４の出力である固定長符号は可変長符号
器５と逆量子化器１２とに与えられる。逆量子化器１２
の動作は図５の場合と同じで、再生されたＤＳＴ係数が
逆ＤＳＴ６２に与えられる。逆ＤＳＴ６２ではＤＳＴ６
１の逆変換が行われ、再生された予測残差信号は予測信
号加算器２３に与えられる。

【０００９】予測信号加算器２３では、ブロック間予測
器１０から与えられるブロック間予測信号が前記予測残
差と加算され、得られた再生画像信号がブロック間予測
器１０に与えられる。ブロック間予測器１０では、すで
に符号化されたブロックの画素を用いてこれから符号化
されるブロック（被符号化ブロック）の予測信号が作ら
れ、予測信号減算器２１と予測信号加算器２３とに与え
られる。前記予測信号の作り方は、前記した論文に示さ
れている。

【００１０】以下に、図６の符号化装置に対応する復号
装置ついて図７を基に説明する。図７は、従来の復号装
置の第２の例を示すブロック図である。図７に於いて、
符号入力端子５１より入力された符号は、バッファ６に
与えられる。バッファ６、可変長復号器５２、逆量子化
器１２の動作は図５の場合と同じであり、逆ＤＳＴ６２
の動作は図６の場合と同じであって、逆ＤＳＴ６２で再
生された予測残差信号は予測信号加算器２３に与えられ
る。予測信号加算器２３では、ブロック間予測器１０か
ら与えられるブロック間予測信号と前記予測残差信号と
が加算され、得られた再生画像信号が画像出力端子７か
ら出力されると共に、ブロック間予測器１０にも与えら
れる。ブロック間予測器１０では図６の場合と同様にブ
ロック間の予測信号が作られ、予測信号加算器２３に与
えられる。

【００１１】

【発明が解決しようとする課題】ブロック単位の処理を
行う高能率符号化では、量子化が粗くなつた場合に量子
化誤差が大きくなり、高い周波数の成分が抑圧される。
ブロック内では量子化誤差がある程度あっても、信号の
連続性が保たれているため不自然さはないが、他のブロ
ックとは誤差に相関がないため、ブロックの境界で再生
画像が不連続となる。そのため視覚的に処理ブロックが
検知され易くなり、画像がブロック状に見えると言った
画質劣化の問題が生じる。一方、ブロック間で予測を行
う符号化では、ブロック間の連続性が保ち易いので、画
像がブロック状に見えると言った画質劣化は生じ難い
が、符号がブロック間で相関を持つため、誤り伝播が起
こった場合に誤りによって生ずる画質の劣化が伝播し易
いと言った問題点がある。また、この手法はブロック間
で予測を行わない一般的な符号化との互換性がない。本
発明は以上の問題点に着目してなされたもので、その目
的は、ブロック間予測を伴わない一般的な符号化と再生
装置の互換性を保ちながら、再生画像でのブロック形状
が目立ち難い符号化を行う画像ブロック符号化装置を提
供することである。

【００１２】

【課題を解決するための手段】本発明の画像ブロック符
号化装置は、画像をブロック単位で処理する符号化装置
に於いて、符号化された画像を復号手段によって復号し
て再生画像信号を得、隣接する被符号化ブロックのため
のブロック間予測信号をブロック間予測手段で前記再生
画像信号から求め、混合手段によって前記ブロック間予
測信号と入力画像信号とを加重加算して混合し、得られ
た信号を符号化手段で符号化するようにした画像ブロッ
ク符号化装置である。また本発明の画像ブロック符号化
装置は、前記画像ブロック符号化装置であって、前記混
合手段に於いて、前記ブロック間予測信号と前記入力画
像信号との差に応じて、或いは前記符号化手段における
量子化ステップ幅に応じて、前記加重加算の比率を変え
るようにした画像ブロック符号化装置である。

【００１３】

【作用】本発明の画像ブロック符号化装置では、復号手
段で局部復号された再生画像信号を用いてブロック間の
予測信号がブロック間予測手段で作られる。前記ブロッ
ク間予測信号が入力画像信号に近い場合、入力画像信号
に前記ブロック間予測信号が混合手段で混合されてから
符号化手段で符号化されるが、ブロック間の予測信号は
近接ブロックの再生画像信号と連続性が保たれているの
で、この成分を混合した信号を符号化することで、被符
号化ブロックとその近接ブロックの再生画像との連続性
が良くなる。そのため視覚的に処理ブロックが検知され
難くなる。一方、ブロック間予測信号が入力画像信号に
近くない場合は、前記ブロック間予測信号は混合され
ず、従来と同様な符号化となる。なお、この符号化装置
で符号化された画像信号の復号は、ブロック間の処理を
行わない一般的な復号装置で行われる。

【００１４】

【実施例】以下、本発明の画像ブロック符号化装置の第
１実施例について図１を基に説明する。図１は本発明の
画像ブロック符号化装置の第１実施例を示すブロック図
である。本実施例の画像ブロック符号化装置で符号化さ
れた画像信号の復号は、図５に示すようなブロック間の
処理を行わない一般的な従来の復号装置を用いて行うこ
とができる。図１に於いて、図４と同一機能で同一の作
用を呈するものには同一の符号を付し、その説明を省略
する。

【００１５】図１に於いて、図４に示す従来例との構成
上の相違は、加算器２、減算器８、非線形変換器９から
なる混合手段２０と、ブロック間予測器（ブロック間予
測手段）１０と、逆ＤＣＴ１１及び逆量子化器１２から
なる復号手段３０とが設けられている点であり、符号化
手段４０は従来例と同じである。画像入力端子１よりブ
ロック毎に入力された画像信号は、加算器２と減算器８
とに与えられる。加算器２では非線形変換器９から与え
られる補正信号が入力画像信号と加算され、補正された
被符号化信号がＤＣＴ３に与えられる。

【００１６】符号化手段４０の動作は図４に示す従来例
のものと同じであり、圧縮された符号が符号出力端子７
より出力される。また、量子化制御器１３より出力され
る量子化ステップ幅の情報は、量子化器４と非線形変換
器９とに与えられ、量子化器４から出力されるＤＣＴ係
数の固定長符号は、可変長符号器５と逆量子化器１２と
に与えられる。逆量子化器１２、逆ＤＣＴ１１の動作は
図５に示す従来例復号装置のものと同じで、再生された
画像が逆ＤＣＴ１１からブロック間予測器１０に与えら
れる。ブロック間予測器１０の動作は図６に示す従来例
のものと同じで、求められたブロック間予測信号が減算
器８の被減算入力に与えられる。ここに、符号化済みブ
ロックと被符号化ブロックの位置関係は図８に（ａ）で
示すようになる。

【００１７】図８は処理ブロックを示す図である。図８
に於いて、（ａ）は外挿型の場合の処理ブロックを示
し、（ｂ）は内挿型の場合の処理ブロックを示す。
（ａ）に示す白いブロックは未処理のブロックであり、
黒点で塗り潰したブロックは符号化済みのブロックであ
る。但しブロックＢ１は被符号化ブロックであって上と
左のブロックを基に符号化される。図６に示す従来例符
号化装置ではブロック間予測信号と入力画像信号との差
分をとる予測処理が行われるのに対し、図１に示す本実
施例符号化装置では、ブロック間予測信号Ｓ３を用い
て、次に示す混合処理が混合手段２０で行われる。図１
に於いて、混合手段２０は加算器２、減算器８、非線形
変換器９により構成され、減算器８では前記ブロック間
予測信号Ｓ３から入力画像信号Ｓ１が減算され、その差
信号Ｄが非線形変換器９に与えられる。非線形変換器９
では前記差信号Ｄが図９に示す非線形変換特性で変換さ
れ、求められた補正信号Ｎが加算器２に与えられる。

【００１８】即ち、混合手段２０ではブロック間予測信
号Ｓ３と入力画像信号Ｓ１とが、その差分Ｄに応じて決
まる非線形変換器９のゲインに応じて、異なった割合で
混合される。前記差分Ｄが小さく非線形変換器９のゲイ
ンが１（線形）の場合は、減算器８の出力は加算器２に
直接入力されることになり、減算器８で減算され加算器
２で加算される入力画像信号Ｓ１は相殺されてなくな
り、ブロック間予測信号Ｓ３のみが被符号化信号Ｓ４と
して加算器２から出力されることになる。前記差分Ｄが
大で非線形変換器９のゲインが０の場合は、加算器２に
は入力画像信号Ｓ１のみが入力され、この信号Ｓ１が被
符号化信号Ｓ４となる。非線形変換器９のゲインは非線
形変換器９の入力すなわちブロック間予測信号Ｓ３と入
力画像信号Ｓ１の差に応じて０〜１の値となる。差が小
さな時は、非線形変換器９の特性からゲインは１に近く
なり、被符号化信号Ｓ４はブロック間予測信号Ｓ３の割
合が多くなる。差が大きくなるに連れてゲインは０に近
くなり、被符号化信号Ｓ４は入力画像Ｓ１の割合が多く
なる。

【００１９】図９は非線形変換器の特性を示す図であ
る。図９には、非線形変換器９の入出力特性が示されて
おり、その非線形変換特性は、減算器８から供給される
差信号Ｄの値がａ以下では入出力が等しく、Ｄがａと２
ａの間では出力はａとされ、Ｄが２ａより大きくなるに
従って出力は減らされ、３ａ以上の入力に対して出力は
０とされる。負の入出力についても同様に被線形の変換
が行われるが図示が省略されている。前記変換特性によ
れば、ブロック間予測信号が入力画像信号に近いほど、
混合に於いてブロック間予測信号の割合が大きくなる。
前記ａの値は量子化制御器１３より出力される量子化ス
テップ幅の情報で決められ、量子化ステップ幅に比例し
た値とされる。量子化ステップ幅が粗い場合にはブロッ
クの連続性が重要になるので、非線形変換器から出力さ
れる補正信号による補正が多くなるようにされ、量子化
ステップ幅が細かい場合には連続性の問題は少なくなる
ので、補正の副作用を考慮し補正が少なくなるようにさ
れる。

【００２０】図１０は符号化処理における各信号の様子
を示す図である。図１０では画面の水平方向の２ブロッ
クが１次元的に示されている。図１０に於いて、左側が
すでに符号化の済んだ符号化済みブロックで、右側がこ
れから符号化される被符号化ブロックである。左側の符
号化済みブロックでは、入力画像信号Ｓ１と再生信号Ｓ
２との間に、量子化に起因する誤差がある。右側の被符
号化ブロックで、入力画像信号Ｓ１がそのまま符号化さ
れると、再生信号Ｓ２は右ブロックとは無関係に誤差を
生じるので、入力画像信号Ｓ１では保たれていたブロッ
ク間の連続性が再生信号Ｓ２では失われ、ブロック間で
不連続となる。このため、再生画像にブロック歪みが生
じる。

【００２１】一方、ブロック間予測信号Ｓ３は符号化済
みブロックの再生信号Ｓ２を延長する形で生成されるの
で、再生信号Ｓ２に対してブロック間の連続性が保たれ
ている。そこで、この信号と入力画像信号Ｓ１とを混合
した信号を被符号化信号Ｓ４とすることで、ブロック間
の連続性が改善される。しかし、前記信号Ｓ３と信号Ｓ
１との差が大きな場合に、前記加算器２でブロック間予
測信号Ｓ３が混合されると、これが歪みの原因となり不
都合である。そこで、被符号化信号Ｓ４は、ブロック間
予測信号Ｓ３が入力画像信号Ｓ１に近い場合は、ブロッ
ク間予測信号Ｓ３に近い値とされ、離れている場合は入
力画像信号Ｓ１に近い値とされる。このようにして、ブ
ロック間予測信号Ｓ３の混入によって生じる副作用を問
題とならない程度に抑えることが出来る。

【００２２】また、ブロック間予測信号が入力画像信号
と大きく異なる場合は、非線形変換器９の出力による補
正は行われず入力画像信号がそのまま符号化される。本
発明はブロック境界における連続性を改善するものなの
で、境界から離れた部分ではあまり補正しないようにし
てもよい。具体的には、図９に示す縦軸の値に図１１に
示す補正制限係数を乗じた値を、ブロック内の各画素ご
とに乗じることで実現できる。図１１は補正のブロック
内制限の様子を示す図である。

【００２３】以下、本発明の画像ブロック符号化装置の
第２実施例について図２を基に説明する。図２は本発明
の画像ブロック符号化装置の第２実施例を示すブロック
図である。図２に於いて、図１と同一機能で同一の作用
を呈するものには同一の符号を付しその説明を省略す
る。この実施例はフレーム間予測を行う符号化の場合で
あり、図１との構成上の違いは、符号化手段４０に対し
符号化手段４０Ａでは予測信号減算器２１が設けられ、
復号手段３０に対し復号手段３０Ａではフレーム間予測
器２２と予測信号加算器２３とが設けられている点であ
る。画像入力端子１より入力された画像信号は、加算器
２と減算器８とに与えられる。加算器２では非線形変換
器９から与えられる補正信号が入力画像信号に加算さ
れ、補正された被符号化信号が予測信号減算器２１に与
えられる。

【００２４】予測信号減算器２１ではフレーム間予測器
２２から与えられるフレーム間予測信号が前記被符号化
信号から減算され、その差分である予測残差信号がＤＣ
Ｔ３に与えられる。ＤＣＴ３、量子化器４、可変長符号
器５、バッファ６、逆ＤＣＴ１１、逆量子化器１２、量
子化制御器１３の動作は図１の実施例と同じであり、圧
縮された符号が符号出力端子７より出力される。一方、
逆ＤＣＴ１１で再生された予測残差信号（再生予測残差
信号）は予測信号加算器２３に与えられる。予測信号加
算器２３では、フレーム間予測器２２から与えられるフ
レーム間予測信号が前記再生予測残差信号に加算されて
再生画像信号となり、フレーム間予測器２２とブロック
間予測器１０とに与えられる。

【００２５】フレーム間予測器２２では、予測信号加算
器２３から与えらた再生画像信号が１フレーム遅延され
てフレーム間予測信号が作られ、これが予測信号減算器
２１と予測信号加算器２３とに与えられる。ブロック間
予測器１０の動作は図５に示す従来例復号装置のものと
同じで、求められたブロック間予測信号が減算器８の被
減算入力に与えられる。このようにフレーム間予測を行
う符号化では、局部復号で得られた再生画像信号がフレ
ーム間予測とブロック間予測の両方に使われ合理的であ
る。この第２実施例に対応する復号装置では、補正に対
応した処理は必要なく、普通のフレーム間予測に対応す
るもので良い。

【００２６】以下、本発明の画像ブロック符号化装置の
第３実施例について図３を基に説明する。図３は本発明
の画像ブロック符号化装置の第３実施例を示すブロック
図である。図３に於いて、図１と同一機能で同一の作用
を呈するものには同一の符号を付しその説明を省略す
る。図３に示す第３実施例と図１に示す第１実施例との
構成上の違いは、予測手段としてブロック間予測器１０
の代わりに内挿予測器１０Ａが設けられている点と、ス
イッチ３１が設けられている点と、混合手段２０Ａで遅
延器３２が設けられている点である。

【００２７】処理は図８に（ｂ）で示すように内挿型で
あり、一松模様状に１ブロックおきに区分された２種類
のブロックで異なる。図１に示す第１実施例や図２に示
す第２実施例に於いては全てのブロックが上と左のブロ
ックから予測されているのに対し、図３に示す第３実施
例に於いては半分のブロック（塗り潰してない非補正ブ
ロック）はそのまま符号化され、残り半分のブロック
（塗り潰してある補正対象ブロック）は夫々のブロック
が上下と左右の４方向から内挿により予測される。

【００２８】図３に於いて、画像入力端子１より入力さ
れた画像信号は、スイッチ３１と遅延器３２とに与えら
れる。スイッチ３１では、入力画像信号或いは加算器２
から与えられる補正された被符号化信号がブロック毎に
選択されて、ＤＣＴ３に与えられる。ＤＣＴ３、量子化
器４、可変長符号器５、バッファ６、逆ＤＣＴ１１、逆
量子化器１２、量子化制御器１３の動作は図１の第１実
施例と同じであり、圧縮された符号が符号出力端子７よ
り出力される。ただし、ブロックの順序が内挿処理のた
め入れ替わっているので、図５に示す従来例と同じ復号
装置で復号するためには、バッファ６などで符号のブロ
ック順を入れ替える必要がある。

【００２９】一方、逆ＤＣＴ１１で再生された画像信号
は内挿予測器１０Ａに与えられる。内挿予測器１０Ａで
は被符号化ブロックの周辺４ブロックから内挿により予
測信号が作られ、減算器８に与えられる。加算器２、減
算器８、非線形変換器９の動作は図１のものと同じであ
るが、入力画像信号は、前記予測信号が作られるまで遅
延器３２で遅延されて加算器２と減算器８とに与えられ
る。本手法は内挿予測なので、前記第１実施例や第２実
施例と比較して、より確からしい予測が可能になる。

【００３０】

【発明の効果】本発明では、局部復号された再生画像信
号からブロック間の予測信号を作り、それが入力画像信
号に近い場合、入力画像信号にブロック間予測信号を混
合させてから符号化するが、ブロック間の予測信号は、
近接ブロックの再生画像と連続性が保たれたものであ
り、この成分を混合した信号を符号化することで、近接
ブロックの再生画像との連続性が良くなる。これによ
り、画像のブロック境界は検知され難くなり、画像がブ
ロック状に見えると言った画質劣化が軽減される。主観
画質が改善されるので、主観画質を一定とするとその分
符号量を減らすことも可能となる。復号装置はブロック
間の処理を行わない一般的なものと同じであり、互換性
を保ったまま、前記の画質改善が可能になる。

【図面の簡単な説明】

【図１】本発明の画像ブロック符号化装置の第１実施例
を示すブロック図である。

【図２】本発明の画像ブロック符号化装置の第２実施例
を示すブロック図である。

【図３】本発明の画像ブロック符号化装置の第３実施例
を示すブロック図である。

【図４】従来の符号化装置の第１の例を示すブロック図
である。

【図５】従来の復号装置の第１の例を示すブロック図で
ある。

【図６】従来の符号化装置の第２の例を示すブロック図
である。

【図７】従来の復号装置の第２の例を示すブロック図で
ある。

【図８】処理ブロックを示す図である。

【図９】非線形変換器の特性を示す図である。

【図１０】符号化処理に於ける各信号の様子を示す図で
ある。

【図１１】補正のブロック内制限の様子を示す図であ
る。

【符号の説明】

１０ブロック間予測手段（ブロック間予測器）１０Ａブロック間予測手段（内挿予測器）２０、２０Ａ混合手段３０、３０Ａ復号手段４０，４０Ａ符号化手段

Claims

(57)【特許請求の範囲】

【請求項１】画像信号を所定のブロック単位で符号化す
る画像ブロック符号化装置に於いて、符号化された画像
信号を復号して再生画像信号を得る復号手段と、被符号化ブロックとこれに隣接するブロックとの間のブ
ロック間予測信号を前記再生画像信号から求めるブロッ
ク間予測手段と、前記ブロック間予測信号と入力画像信号とを加重加算し
て被符号化信号を得る混合手段と、前記被符号化信号を符号化する符号化手段とを備えたこ
とを特徴とする画像ブロック符号化装置。
【請求項２】請求項１に記載の画像ブロック符号化装置
であって、前記混合手段に於いて、前記ブロック間予測
信号と前記入力画像信号との差に応じて前記加重加算の
比率を変えることを特徴とする画像ブロック符号化装
置。
【請求項３】請求項１に記載の画像ブロック符号化装置
であって、前記混合手段に於いて、前記符号化手段にお
ける量子化ステップ幅に応じて前記加重加算の比率を変
えることを特徴とする画像ブロック符号化装置。