JPH03283785A - ブロック符号化信号復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像の効率的な伝送・蓄積を実現する画像信
号のブロック符号化方式において、量子化や伝送誤りに
より情報が欠落し、画質劣化した画像に対して、元の画
像を予測して補償し、画質を改善する方式に関するもの
である。

〔従来の技術〕

伝送レートの低い画像符号化装置には、直交変換符号化
方式がしばしば用いられている。この方式は、サンプリ
ングされた画像を縦Ｎ画素・横Ｍ画素からなるブロック
に分割し、ブロック内の信号を２次元の係数（空間周波
数成分に相当）に変換し、符号化するものである。低次
の変換係数の付近に有意な係数が集中し、高次の項は、
伝送しなくても画質劣化が目立ちにくい性質を利用して
、冗長度を抑圧している。直交変換の手法としてはＤ　
ＣＴ　（Ｄｉｓｃｒｅｔｅ　Ｃｏ５１ｎｅ　Ｔｒａｎｓ
ｆｏｒｍ）が実現性と圧縮率面で優れ、動画・静止画と
もに国際規格への採用が決定している６ しかし、伝送レートが特に低い符号化装置では、時間当
りの伝送フレーム数を確保するため、上記変換係数の情
報の一部しか伝送されないことがある。また場合によっ
てはブロックの全情報が伝送されないことがある。さら
に、極めて雑音が多い伝送路や、パケット通信のように
パケット単位の損失が発生する伝送路では、伝送中に情
報が失われて１ブロック全体を復号化することが不可能
となることがある。このと上記ブロックの境界付近に固
有の歪（ブロック歪）が発生し、復号画像の画質が大き
く劣化する問題点がある。このブロック歪は、自然には
無い人為的な査音のため、ランダム雑音や輪郭のボケ等
に比べて目立ち易く、ブロック符号化における画質劣化
の最大の要因である。従来、このような雑音を除去する
手法として、２次元の適応フィルタが用いられてきた（
例えば、大木他：　［低ビットレート動画像符号化用動
き適応型後処理フィルタ」、信学秋全大Ｄ−４９（昭６
３）。）。これらは特性の異なる２次元フィルタをいく
つか設け、これを切り替える方式である。

〔発明が解決しようとする課題〕

しかしながら、伝送もしくは再生によって表示すべき周
波数帯域は、ブロックによって多様に変動する。このた
め次の２点の問題が発生した。

（１）ブロック歪が目立たない特性のフィルタを選択す
ると、ブロックによっては伝送した周波数成分まで除去
され、解像度が低下する。

（２）ブロック単位のフィルタの切り替えの影響が。

画像上に雑音として現れる。

本発明の目的は、伝送された周波数成分を損なうことな
く、上記のブロック歪のみを効率的に除去するため、量
子化や伝送誤りで失われたブロック内の情報の一部また
は全部を補償する手法を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため本発明においては、ブロック歪
を含む画像に対し、以下の処理を施す。

（１）ブロック境界をなめらかに接続するように、ブロ
ック境界付近の一部の画素を予測する。

（２）予測された画素に関連する情報から、変換係数の
一部を予測する。

（３）得られた変換係数を逆直交変換することにより、
ブロック内全体の画素の失られた情報の予測と補償を行
う。

この時、補償の量を適応的に制御することにより、過度
の補償による、新たな画質劣化の発生を防止することも
有効である。

〔作用〕

これらの処理により、的確にブロック境界の不連続を軽
減する補償が行えるため、例えば輪郭部分の劣化など、
新たな歪の発生を低く抑えながらブロック歪を軽減する
ことを可能となる。さらにブロック全部の情報が欠落し
た場合には、これらの処理によりブロック全部の画素を
予測することにより１画質の劣化を小さく抑えることが
可能となる。

〔実施例〕

以下、画面を用いて本発明の一実施例について詳細に説
明する。

第１図は、直交変換とブロック符号化を用いた、一般的
な画像符号化装置に、本発明による符号化画像補償装置
を適用した場合の装置の構成図である。本発明で付は加
えられる部分は点線で囲われた部分である。はじめに、
点線部分を除いた一般的な画像符号化復号化装置の動作
を説明する。

入力画像は、ＮＸＭ画素のブロック単位に切り出され、
直交変換部１により直交変換係数に変換される。以下、
この直交変換の一例としてＤＣＴを取り上げ、Ｎ＝８．
Ｍ＝８の場合について説明を進めるが、ＤＣＴに限らず
直交変換ならば同様に扱え、Ｎ、Ｍについても自然数で
あれば問題はない、８×８のＤＣＴは、画像を［Ｇ］、
変換係数を［Ｋ］とすると、次のような行列演算により
表わされる。

［Ｋコ　＝［Ｔ］・ＣＯ３・ｔ［Ｔ］ ここで［Ｔ］はＤＣＴマトリクスであり、そのＮ＝８．
Ｍ＝８の場合のｉ行ｊ列の成分を次に示す。

Ｔｉｊ＝１／２　・Ｌｉ−ｃｏｓ［（ｉ−１）（ｊ−１
／２ｈｃ／８］（ｌ　ｅ　Ｊ　＝１　＊　２　ｔ　３　
ｍ・・・、８）ｉ＝＝１のときＬｉ＝１／Ｊ「 １−Ｉ−１のときＬ１＝１ 直交変換部１の出力は量子化部２に送られる。

量子化部２では１発生する情報量が制限される。

次に信号はエントロピー符号化部３によって効率的に符
号を割り当てられ１種々に制御情報と共に伝送路４に送
られる。

復号側で、伝送路４から得た符号を、まずエントロピー
復号部５で復号する０次に逆量子化部６により量子化部
２の逆の処理が行われる。逆量子化部６を経た信号は逆
直交変換部７により、直交変換部１の逆の処理を行い、
画像として復元される。

以上の従来方式では、この信号をほぼそのまま出力とし
て得ていたため、ブロック歪が含まれていた。このブロ
ック歪のもとになる情報の欠落が発生する原因としては
、以下の点が挙げられる。

（１）量子化部２の情報発生量の制限が強くなるほど、
伝送される情報の精度が低下し、失われる情報も増加す
る。

（２）伝送路４では雑音や、パケット単位の損失等の情
報の欠落が発生する。

次に１本発明の欠落情報補償のための処理について詳し
く述べる。これは第１図の主に点線内の部分で行われる
。逆直交変換部７で得られた画像情報には、前述のよう
に一般的に情報の欠落がある。それらが視覚的に最も目
だつのが、ブロックの境界付近であり、普通ブロック境
界の不連続として呪われる。

そこで、ブロック境界周辺画素子測部８において、第２
図の例のように、ブロックの境界に近いいくつかの画素
を１回りのブロックの画素との相関等を用いて予測する
。なお、第２図の例では、図のように２８画素を選んで
いるが、どの画素をどれだけの数選択しても差し支えな
い、ただし。

このときブロック境界に近い画素を選び、予測方法をブ
ロック境界での不連続を小さくするように選べば、ブロ
ック歪の軽減に効果的である０画素の選び方や、予測の
方法は、注目するブロックの様々な状況に応じて変化さ
せ、後の補正の効果をより高めることも可能である。ま
た、これらの画素に関連する情報を予め伝送する方式も
考えられ。

後の補正をより正確に行うことも可能となる。ブロック
境界周辺画素子測部８で得られた。ブロック境界付近の
予測画素１３に関連した情報は、直交変換係数演算部９
において、直交変換係数の形に変換される。このときの
ちとになる直交変換は、直交変換部１と必ずしも同じで
ある必要はないが。

直交変換１と同じＤＣＴを用いる。

直交変換係数演算部９では、第３図に一例を示すような
演算が行われる−　ｄ　”　’　（ｄ　ｏ　−ｄ　ｚ　
−ｄ　ｚ　−・・・、ｄ、、）は、第２図の例における
ブロック境界付近の予測画素１３の値ｂ　ｃ＝　ｔ（Ｑ
　ｏ　＊　Ｑ　ｔ　ｅ　ｅ　ｚ　ｔ・・・ｔ　Ｃａｔ）
は、求めようとする直交変換係数である。このときｄｉ
とｃｊの要素数は同じである必要があり、以下の条件を
満たす。

ｄ−［Ｈ］−’ｃ：　　　　　　　　　　　　　・・・
（１）［Ｄ］＝’［Ｔ］［Ｃ］［Ｔ］　　　　　　　　
　・・・（２）ただし、［Ｄ］はブロック内の画素を表
す行列で、［Ｄ］はブロックの直交変換係数の行列であ
る。このとき、ｄｉは［Ｄ］の要素の一部で、ｃｊは［
Ｃ］の要素の一部であるｍ　ｃｊを第４図の例のように
配置し［Ｃ］として（２）式に代入すると、〔Ｄ］が得
られ、［Ｄ］から第２図のようにｄｉが取り出せる。ｃ
ｊの配置は、ｃｊの数がｄｉの数と一致していれば、は
ぼ自由に決めることが８来、注目するブロックごとに状
況に応じ適応的に変えることもできるが、視覚的に↓よ
直流に近い成分に配置する方が、ブロック歪の軽減に効
果的である。

このようなｄｉとｃｊの関係から、（１）式を満たすよ
うな行列［Ｈ］−”が求められる。次にこれの逆行列と
して、［Ｈ］　＝ｈｘｊ（ｘｔｊ＝ｏ、１，２．・・・
２７）が求められる。これを使用して、ｄｉから直交変
換係数ｃｊが下の式のように求められる。

ｃ＝［Ｈ］ｄ　　　　　　　　　　　　　・・・（３）
このようにして得られた直交変換係数１４に関連する情
報は、補正量制御部１０によって、適当な制限を加えら
れる。これは、ブロック内の情報が一部は伝送されてき
ている場合に、せっかく伝送されてきている情報を捨て
てしまうような大きな補正を行わないためである。この
補正量制御は。

直交変換係数演算部９の前や、逆直交変換部１１の後で
も可能である。一般的に量子化２でどの程度の情報が欠
落したかに関連する情報が伝送されるため、この情報を
利用し、量子化２で捨てられたと予測される範囲内で、
画像に補正を加えようとするものである。

補正量制御部１０で制限を加えられた直交変換係数は逆
直交変換部１１により逆直交変換される。

ここで使用される直交変換も、必ずしも逆直交変換部７
と同じものでなくても良いが、直交変換係数演算部９の
もとになった直交変換の逆変換である必要がある。この
直交変換が直交変換部１と同じものであれば、逆直交変
換部１１も逆直交変換部７と同じものとなり、逆直交変
換手段の共有も可能である。この例では、直交変換係数
演算部９のもとになる直交変換も直交変換部１と同じＯ
ＣＴを仮定しているので、逆直交変換部１１は逆ＯＣＴ
となる。この変換によりブロック内全体の画素の補正値
に関連する情報１５が得られる。

ブロック周辺の画素の予測値からブロック内全体の画素
を予測した例を第５図に概念的に示す。

この例には、ブロック境界周辺画素予測８で得たブロッ
ク境界付近の画素の補正値（ａ）から、直交変換係数演
算部９．補正量制御部１０．逆直交変換部１１の処理で
、ブロック全体の予測画素（ｂ）が計算される様子が、
模式的に表されている。

こうして得られたブロック内全体の補正値に関する情報
１５を、出力値補正部１２において、逆直交変換部７の
出力のブロック歪を含む画像に関連づけることにより、
ブロック歪の軽減された出力画像を得ることができる。

以上の説明は、おもに静止画伝送等のフレーム内予測符
号化に適用した場合についてのものであったが、フレー
ム間予測を含む場合についても、まったく同様に適用す
ることができる。

フレーム間予測を含む符号化に適用するときは、本方式
によりブロック歪の軽減された画像を、次のフレームの
予測に利用することにより、従来方式に比べてより効率
の良い符号化を行うこともできる。

また、ここまでは画像の伝送に適用する場合を述べたが
、伝送路４を蓄積手段に置き換えれば、効率的な画像蓄
積を行う装置に、適用可能なことは明らかで・ある。

また、画像符号化装置に限らず、画像を扱う装置におい
て、扱う画像のある矩形の領域の画像の情報の一部また
は全部が失われた場合、その矩形の領域をブロックとみ
なして、上記と同じ処理を行えば、その領域の画像をあ
る程度復元も可能である。

なお、上記の全ての処理は、専用の装置でなく。

計算機による処理によって行うことが可能なのは。

明らかである。

〔発明の効果〕

このように１本発明を適用することにより、伝送された
周波数成分を損なうことなく、画質の向上にきわめて有
害なブロック歪を大きく軽減できるため、実施して効果
は極めて大きい。

【図面の簡単な説明】

第１図は一般的な画像符号化装置に本発明を適用した一
実施例の構成図、第２図はブロック境界付近の予測画素
の選び方の例を示す説明図、第３図はブロック境界付近
の予測画素から直交変換係数を得るための行列演算の例
を示す図、第４図は予測に使用する直交変換係数行列の
例を示す図、第５図はブロック境界周辺の予測画素値か
らブロツク全体の欠落情報補償成分を計算した例を示し
た模式図である。 １・・・直交変換部、２・・・量子化部、３・・・エン
トロピー符号化部、４・・・伝送路、５・・・エントロ
ピー復号部、６・・・逆量子化部、７・・・逆直交変換
部、８・・・ブロック境界周辺画素子測部、９・・・直
交変換係数演算部、１０・・・補正量制御部、１１・・
・逆直交変換部。 １２・・・圧力値補正部、１３・・・ブロック境界付近
の予測画素、１４・・・直交変換係数、１５・・・ブロ
ック内画素の補正情報、／−

Claims (1)

1. 【特許請求の範囲】 １、サンプリングされた画像信号をブロックに分割し、
   伝送もしくは記録・再生を行う符号化装置に使用するブ
   ロック符号化信号復号化装置であつて、予測したブロッ
   クの一部の画素に関連する情報から、このブロックを直
   交変換した変換係数の一部を計算し、得られた変換係数
   を逆直交変換することにより、ブロック内部の全体の画
   素の失われた情報を予測し補償する手段を有するブロッ
   ク符号化信号復号化装置。 ２、特許請求の範囲第１項記載の画像のブロック符号化
   信号復号化装置に於いて、補償の方法や量を適応的に変
   化させられることを特徴とするブロック符号化信号復号
   化装置。 ３、ブロック符号化された画像信号を復号化する際、復
   号化画像の品質を高める装置であつて、符号化や伝送、
   蓄積中に欠落した情報を、復号化する際に補償すること
   により画像品質を向上させ、このとき情報の欠落の発生
   する原因から、その欠落の量を予測し、またそれがブロ
   ック全体に与える影響を予測し、補償に利用することを
   特徴とする、ブロック符号化信号復号化装置。 ４、ブロック符号化された画像信号を復号化する際、復
   号化画像の品質を高める手段であつて、信号処理の為の
   専用の手段を設けるのでなく、計算機の演算処理により
   、請求項１、請求項２または請求項３記載のブロック符
   号化信号復号化装置と同様の効果を得る手段を有するブ
   ロック符号化画像復号化装置。