JP3317982B2 - 画像信号復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、高圧縮符号化された後
に伝送もしくは記録された画像を復号する画像信号復号
化装置に係り、特に、ブロック歪除去処理の改良に関す
る。

【０００２】

【従来の技術】ＣＣＤ（電荷結合素子）に代表される固
体撮像装置等により撮像された画像信号を、メモリカー
ド，磁気ディスク，あるいは磁気テープ，等の記憶装置
にディジタルデータとして記録する場合、そのデータ量
は膨大なものとなる。このため、限られた記憶容量の範
囲で記録しようとするには、得られた画像信号のデータ
に対し、何らかの高能率な圧縮を行なうことが必要とな
る。

【０００３】そのような高能率な画像データの圧縮方式
として、所定の大きさのブロックに分割した画像データ
に対する直交変換符号化を利用した符号化方法が広く知
られている。

【０００４】しかしながら、この方法は、ブロック毎に
直交変換として２次元のＤＣＴ（離散コサイン変換）等
を行なって変換した係数を、各周波数成分に応じた線形
量子化し、可変長符号化を行ない、その結果を伝送また
は記録しているので、量子化誤差つまり画質劣化の度合
いがブロック毎に異なり、ブロック境界が目立ってしま
うという所謂ブロック歪みが発生してしまう。

【０００５】以下、この様子をもう少し詳しく説明す
る。上記ＤＣＴを行なうことにより、画像データは直流
成分ＤＣと交流成分ＡＣに変換される。この時、例えば
８×８の画素毎にブロック化したとすると、マトリック
ス上には原点位置（（０，０）位置）に直流成分ＤＣの
値を示すデータが格納され、（０，７）位置には横軸方
向の交流成分ＡＣの最大周波数値を示すデータが、
（７，０）位置には縦軸方向の交流成分ＡＣの最大周波
数値を示すデータが、さらに、（７，７）位置には斜方
向の交流成分ＡＣの最大周波数値を示すデータがそれぞ
れ格納される。そして、中間位置では、それぞれの座標
位置により関係付けられる方向に於ける周波数データ
が、原点側より順次高い周波数のものが出現する形で格
納されることになる。

【０００６】次に、このマトリックスに於ける各座標位
置の格納データを、各周波数成分毎の量子化幅で割るこ
とにより、各周波数成分に応じた線形量子化を行ない、
この量子化された値に対し可変長符号化としてハフマン
符号化を行なう。この時、直流成分ＤＣに関しては、近
傍ブロックの直流成分との差分値をハフマン符号化す
る。また、交流成分ＡＣに関しては、ジグザグスキャン
と呼ばれる低い周波数成分から高い周波数成分へのスキ
ャンを行ない、無効（値が“０”）の成分の連続する個
数（零のラン数）と、それに続く有効な成分の値の２次
元のハフマン符号化を行なって、データとする。

【０００７】この方法に於いて、圧縮率は、前記量子化
の量子化幅を変化させることによって制御されるのが一
般的で、圧縮率が高くなるほど、量子化幅は大きくな
り、従って量子化誤差が大きくなり、再生画像の画質劣
化が目立つようになる。

【０００８】この変換係数の量子化誤差は、再生画像に
於いてブロック境界部分に不連続が発生する所謂ブロッ
ク歪みとして現われ、このブロック歪みは、視覚的に目
立つために、たとえＳ／Ｎが良好であっても、主観的な
印象は悪くなってしまう。

【０００９】そこで、復号器によって再生された画像
に、歪除去処理として低域通過（ローパス）フィルタを
かける方法が考え出された。この後置フィルタは、比較
的良好に歪を除去することができるが、画像中にエッヂ
等が含まれている場合にそれらがボケてしまい、逆にボ
ケを減らすためにローパスの度合いをゆるくするとブロ
ック歪みが完全に除去できなくなるといった不具合があ
った。

【００１０】このような点に鑑みて、例えば特開平３−
４６４８２号公報に開示されているように、上述したよ
うなブロック歪みが発生しているかどうか判断し、歪み
の度合いに応じて歪み除去処理の程度を変化させる方法
が考え出されている。

【００１１】また、特開平１−３１１７８２号公報に
は、変換係数をどの程度伝送するかを決めて、その範囲
内の係数を量子化，符号化して伝送し、それと同時に伝
送された範囲も情報として多重化して伝送し、復号器側
では、その情報を利用して後置フィルタの度合いを局所
的に変化させるようにした方法も開示されている。

【００１２】

【発明が解決しようとする課題】しかしながら、上記特
開平３−４６４８２号公報に開示されている方法では、
ブロック歪みの度合いを求めるときに、画像情報と歪み
とを区別するのが難しく、歪みだけでなく画像のエッヂ
情報までも失ってしまうことがある。

【００１３】また、後者の特開平１−３１１７８２号公
報に開示されている方法では、符号器側で変換係数の送
られた範囲を示す信号を送り、その信号に従ってフィル
タの度合いを変化させるようにしているので、変換係数
の送られた範囲を示す信号を伝送しなければならない分
だけ情報に無駄があり、従って圧縮率をあまり上げるこ
とができないといった不具合があった。

【００１４】本発明は上記の点に鑑みてなされたもの
で、高圧縮された画像に対して簡単な回路により、適応
的にブロック歪除去処理を行なうことのできる画像信号
復号化装置を提供することを目的とする。

【００１５】

【課題を解決するための手段】上記日的を達成するため
に、本発明による画像信号復号化装置は、画像データを
ブロックに分割し、この分割されたブロック毎に直交変
換を行なってからこの変換出力を量子化し、その後この
量子化出力を可変長符号化して圧縮した圧縮画像データ
を受けて、この圧縮画像データを復号化する可変長符号
デコード手段と、前記可変長符号デコード手段からの復
号化出力を逆量子化する逆量子化手段と、前記逆量子化
手段からの逆量子化出力を逆直交変換する逆直交変換手
段と、前記逆直交変換手段からの変換出力の復号された
画像データを前記ブロック間の境界を含むように設定さ
れたサブブロックに分割するサブブロッキング手段と、
前記サブブロッキング手段の出力に対し、ローパスフィ
ルタによる歪み除去処理を行なう歪除去手段と、前記圧
縮画像データを復号して得た変換係数の有意データの持
っている帯域を保存するように前記歪除去手段に於ける
歪み除去処理のローパスフィルタ特性をサブブロック毎
に適応的に変化させる歪除去特性決定手段とを具備する
ことを特徴としている。

【００１６】

【作用】即ち、一般に、ブロック歪みの目立ちやすさ
は、近傍の画像の持つ空間周波数によって変化する。つ
まり、細かな構造の有る高い空間周波数まで成分を持っ
ているような部分にブロック歪みが発生している場合に
は、あまりブロック歪みは目立たない。逆に、比較的に
変化の緩やかな低い空間周波数成分しか無い部分にブロ
ック歪みが発生している場合は、ブロック歪みが目立ち
やすくなる。

【００１７】一方、ブロック歪みは、ブロック境界での
不連続性によるものなので、非常に高い空間周波数まで
成分を持っている。従って、歪みの近傍の画像の持つ空
間周波数よりも高い空間周波数成分を除いてやることに
よって、ブロック歪みは目立たなくすることができる。

【００１８】そこで、本発明による画像信号復号化装置
では、復号された画像データをブロック間の境界を含む
ように設定されたサブブロックに分割し、そのサブブロ
ック毎に、圧縮画像データを復号して得た変換係数の有
意データの持っている帯域を保存するように、歪み除去
処理のローパスフィルタ特性を適応的に変化させるよう
にしている。つまり、ブロック単位で記録されていた情
報の帯域をほとんど失わないようにフィルタリングする
ように、低い空間周波数成分しか無いサブブロックには
広い範囲に渡って平均化するような強いローパスフィル
タリングを行ない、逆に比較的高い空間周波数成分まで
含んでいるサブブロックにはあまりぼかさないような弱
いローパスフィルタリングを行なうことで、画像にボケ
等を生じさせずにブロック歪みを除去することができ
る。

【００１９】

【実施例】以下、図面を参照して、本発明の実施例を説
明する。

【００２０】図１は、本発明の第１の実施例に係る画像
信号復号化装置のブロック構成図である。画像データを
ブロックに分割し、この分割されたブロック毎に直交変
換を行なってからこの変換出力を量子化し、その後、こ
の量子化出力を可変長符号化して圧縮された後、伝送も
しくは記録された圧縮画像データは、可変長符号デコー
ド回路１１に与えられる。この可変長符号デコード回路
１１は、与えられた圧縮画像データの可変長符号をデコ
ードし、逆量子化回路１２に送って逆量子化する。この
逆量子化結果は、圧縮単位であるブロック毎の変換係数
であるので、ブロック内の空間周波数成分に相当してい
る。

【００２１】逆量子化回路１２の出力データは、二分さ
れて、一方は逆直交変換回路１３に送られ、実空間での
画像信号を得る。残りの一方は、係数判定回路１４に送
られる。この係数判定回路１４では、各ブロック毎に空
間周波数成分の絶対値を閾値と比較し、閾値より大きい
係数を有意係数とし、歪除去特性決定回路１７にその情
報を送る。

【００２２】一方、逆直交変換回路１３で得られた画像
信号は、サブブロッキング回路１５に送られてサブブロ
ックに分解された後、歪除去回路１６に送られてサブブ
ロック毎に最適な歪み除去処理を施される。この歪除去
回路１６に於ける歪み除去処理は、サブブロック単位で
歪み除去処理を行なったときに前記係数判定回路１４で
求めた圧縮単位のブロックの有意係数の帯域を保存する
ようなローパスの特性を歪除去特性決定回路１７にて決
定し、この特性で行なわれるようにしている。

【００２３】具体的には、今、逆直変換回路１３に与え
られる３つのブロックの直交変換係数を、図２の（Ａ）
のような８画素×８画素のＤＣＴ係数とし、左から順に
第１，第２，第３ブロックとし、それぞれ斜線のハッチ
ングを施して示す４×４の部分２１，３×３の部分２
２，１×１の部分２３の係数が零でなかったとする。係
数判定回路１４では、同図のハッチングを施して示す部
分２１，２２，２３が、非零であることから、それらを
有意係数と判定する（ちなみに、この有意係数の判定方
法については、本発明が適用されるような符号化に於い
て圧縮率を上げていくと量子化幅が大きくなっていき、
特に高周波成分は一般的にパワーが少ないためほとんど
が０に量子化され、有意な係数として残るものは少ない
ので、非零を有意係数と判定する方法は有効である）。

【００２４】一方、サブブロッキング回路１５で、サブ
ブロックに分割した画像データに対して歪除去回路１６
でコンボリューションフィルタリングを行なう。ここで
今、単純のために、歪み除去処理として１次元の横方向
のフィルタリングだけを考えると、歪除去回路１６は、
図２の（Ｂ）に破線で示すようにサブブロックに分割し
た画像信号に対して前記各ブロックの有意係数の帯域を
保存するような歪み除去処理を行なう。つまり、Ａのサ
ブブロックは第１と第２ブロックに、Ｂのサブブロック
は第２と第３ブロックにそれぞれまたがっているので、
歪除去特性決定回路１７では、サブブロックのまたがっ
たブロックの帯域の広いほうを保存するようなフィルタ
を選択するようにしている。従って、Ａのサブブロック
の場合は第１ブロック、Ｂのサブロックの場合は第２ブ
ロックの帯域を保存するようなフィルタとなる。このよ
うにブロック歪みの存在するブロック境界と歪み除去処
理を行なうサブブロック境界とを異ならせるのは、以下
の理由による。

【００２５】図３の（Ａ）は、ブロック歪みの存在する
ブロック境界とサブブロック境界とを等しくした場合の
例である。左側のブロックＡには何もなく、周波数的に
はＤＣ成分のみのブロックである。右側のブロックＢの
斜線部２４は他の部分とコントラスト差の大きいシャド
ウ部で、強いエッヂの存在するブロックとなっており、
高い周波数成分まで含んでいる。

【００２６】従って、ブロックＡの全ての画素に対して
ブロックＡの周波数帯域を保存するようなフィルタリン
グを行なってしまうと、ブロックＢ近傍の画素にも強い
ローパスをかけることになるので、フィルタのタップが
ブロックＢの斜線部を含んだ場合にブロックＡ中にもシ
ャドウ部ができてくる。ところが、ブロックＢの画素に
対して殆どローパスはかけられないので、エッヂがその
まま残ることになる。従って、フィルタリング後は図３
の（Ｂ）のように、エッヂが二重になるような歪みが発
生してしまうことがある。

【００２７】このような歪みは、本第１の実施例のよう
に、ブロック歪みの存在するブロック境界と歪み除去処
理を行なうサブブロック境界とを異ならせることによっ
て防ぐことが可能となる。

【００２８】図４は、本発明の第２の実施例に係る画像
信号復号化装置のブロック構成図である。本第２の実施
例は、変換係数に対する周波数領域でのフィルタリング
を可能とするものである。

【００２９】即ち、本第２の実施例の画像信号復号化装
置では、先ず可変長符号デコード回路４１は、伝送また
は記録された圧縮画像データを受けて、その圧縮画像デ
ータの可変長符号をデコードする。このデコード出力
は、逆量子化回路４２に与えられ、逆量子化される。こ
の逆量子化された結果は二分されて、一方は逆直交変換
回路４３に送られる。この逆直交変換回路１３は、与え
られた逆量子化出力を逆直交変換して実空間での画像信
号を得、これをサブブロッキング回路４５に送って、サ
ブブロックに分解する。この時、ブロック境界と歪み除
去処理を行なうサブブロック境界とは異ならせてある。

【００３０】サブブロッキング回路４５の出力は、直交
変換回路４６に送られて、直交変換係数にされる。この
直交変換係数にされた信号は、二分されて、一方は歪除
去回路４９に送られる。もう一方は、絶対値回路４７で
絶対値に変換された後、歪除去特性決定回路４８に送ら
れる。

【００３１】この歪除去特性決定回路４８には、上記逆
量子化回路４２のもう一方の出力が同様に絶対値回路４
４によって絶対値に変換されて与えられている。従っ
て、この歪除去特性決定回路４８は、両方の直交変換係
数の絶対値を比較し、歪み除去特性を決定して、その情
報を歪除去回路４９に送る。

【００３２】歪除去回路４９では、前記情報に基づいて
サブブロック毎に最適な歪み除去処理を施す。この時の
歪み除去処理は、直交変換係数面での周波数フィルタリ
ングとなる。歪除去特性決定回路４８でのフィルタの特
性決定方法は、サブブロック毎の直交変換係数の絶対値
が、サブブロックのまたがるブロックのそれとほぼ等し
いエネルギーを持つようにするフィルタリングとしてい
る。

【００３３】このフィルタは、絶対値回路４４からの出
力からだけ、もしくは第１の実施例同様係数判定回路の
出力によって決定しても構わない。これらの場合には、
直交変換回路４６の出力は、歪除去回路４９にだけ送れ
ば良く、従って絶対値回路４７は必要なくなる。そし
て、フィルタリング後、再び逆直交変換回路５０で逆直
交変換されて出力回路５１によって出力される。

【００３４】次に、本発明の第３の実施例につき説明す
る。本第３の実施例では、サブブロックは圧縮時のブロ
ックサイズよりも小さくして、それぞれの位置によって
フィルタ特性を変えるようにしているものである。

【００３５】図５に於いて、実線は圧縮時のブロック境
界で、破線は歪み除去処理のための４×４のサブブロッ
ク境界を示している。同図の斜線のハッチングを施して
示すサブブロックはブロック境界を含まないので、高周
波によるブロック歪みの除去には殆ど影響しない部分で
ある。従って、このようなサブブロックの歪み除去特性
を他のブロック境界を含むものと同じにするのは無駄な
場合がある。

【００３６】そこで、本第３の実施例では、ブロック境
界を含まないサブブロックに対して歪除去特性決定回路
に於いて非常に強いローパスをかけると判断された場合
以外はローパスの度合いを弱いものに変更するようにし
ている。従って、空のような低周波数成分しかないよう
な領域はこれまでと同様に強いローパスがかけられ、高
周波成分を含む領域ではブロック境界近傍とそうでない
部分とで異なるフィルタがかけられることになる。

【００３７】具体的には、例えば第１の実施例のような
構成の場合には、サブブロッキング回路１５から歪除去
特性決定回路１７に、サブブロックがどのブロックに属
しているのかという情報と、ブロック境界を含むかどう
かという情報を送るようにすれば良い。

【００３８】以上、第１乃至第３の実施例により説明し
たように、本発明によれば、圧縮データを復号して得た
変換係数の有意データの持っている帯域を保存するよう
なローパスフィルタをサブブロック毎に適応的にかける
ことで、各ブロック内の構造をボケさせずに歪みを除去
することができるようになる。また、復号化処理の途中
結果であるデータのみを用いて歪み除去特性を決定する
ので、符号器側で歪み除去のための情報を付加する必要
はなく、画像中のエッヂの有無やブロック歪を検出する
ような処理も当然必要としないので、回路的に非常に簡
単な構成で実現できる。

【００３９】なお、本発明をカラー画像に応用した場
合、輝度信号と色差信号とでそれぞれ別々に処理しても
良いし、輝度信号を先に処理して色差信号は輝度信号の
歪み除去特性の結果を利用して処理を決定するようにし
ても良い。さらに、両方の信号で決定した歪み除去特性
の好ましい方を選択して、両方の信号に同じ処理を施す
ようにしても良い。また、歪み除去処理の程度を決定す
る評価値として、各ブロックの符号量か、または各ブロ
ックの変換係数の有意な係数の個数、もしくは各ブロッ
クの変換係数の有意な係数のそれぞれのシーケンスによ
って予め定められている重みの和を用いるようにしても
構わない。

【００４０】また、上記実施例で詳述したような、コン
ボリューションフィルタのカーネルサイズは任意であっ
て、フィルタリングに先立ってフィルタ特性を決めるた
めのデータや各ブロックの再生データを全て求めてメモ
リに格納しておいてフィルタリングするようにしても良
い。

【００４１】なお、本発明は、前述した実施例で使用し
たブロックサイズ，直交変換の種類，可変長符号化の種
類，等に限定されるものではない。また、フィルタは周
波数面でのフィルタリングや、コンボリューションフィ
ルタ以外でも歪み除去効果のあるものであればどのよう
な物であっても構わない。

【００４２】

【発明の効果】以上詳述したように、本発明によれば、
高圧縮された画像に対して簡単な回路により、適応的に
ブロック歪除去処理を行なうことのできる画像信号復号
化装置を提供することができる。

【００４３】即ち、本発明は、圧縮画像の復号化装置に
関するもので、伝送もしくは記録されていた画像情報だ
けを用いて適応的にブロック歪を除去することができ、
しかも回路的には簡単な構成なので、応用する装置のコ
ストダウンと小型化が図れ、静止画像のみならず、動画
像の再生機能付ディジタル電子カメラ等にも利用でき
る。また、サブブロックが各ブロック間の境界を含むよ
うに設定され、このサブブロック毎に歪み除去処理のロ
ーパスフィルタ特性を決定しているので、隣接する各ブ
ロック間で周波数特性が大きく異なる場合でも画質の劣
化を低減することができる。

【００４４】さらに、本発明によれば、符号化装置は従
来構成のままで良い。即ち、標準的な圧縮方式に対して
も復号化装置への工夫のみで効果が上げられ、もちろん
従来通りの再生もでき、また、歪み除去の程度を自由に
設定することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る画像信号復号化装
置のブロック構成図である。

【図２】（Ａ）は係数判定回路の動作を説明するための
図であり、（Ｂ）は歪除去特性決定回路の動作を説明す
るための図である。

【図３】（Ａ）及び（Ｂ）はそれぞれブロック歪みの存
在するブロック境界とサブブロック境界とを等しくした
場合の歪除去回路に於けるフィルタリング前後のブロッ
クの状態を示す図である。

【図４】本発明の第２の実施例に係る画像信号復号化装
置のブロック構成図である。

【図５】本発明の第３の実施例に係る画像信号復号化装
置の動作を説明するための圧縮時のブロック境界と歪み
除去処理のためのサブブロックとの関係を示す図であ
る。

【符号の説明】

１１，４１…可変長符号デコード回路、１２，４２…逆
量子化回路、１３，４３，５０…逆直交変換回路、１４
…係数判定回路、１５，４５…サブブロッキング回路、
１６，４９…歪除去回路、１７，４８…歪除去特性決定
回路、１８，５１…出力回路、４４，４７…絶対値回
路、４６…直交変換回路。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 画像データをブロックに分割し、この分
   割されたブロック毎に直交変換を行なってからこの変換
   出力を量子化し、その後この量子化出力を可変長符号化
   して圧縮した圧縮画像データを受けて、この圧縮画像デ
   ータを復号化する可変長符号デコード手段と、 前記可変長符号デコード手段からの復号化出力を逆量子
   化する逆量子化手段と、 前記逆量子化手段からの逆量子化出力を逆直交変換する
   逆直交変換手段と、 前記逆直交変換手段からの変換出力の復号された画像デ
   ータを前記ブロック間の境界を含むように設定されたサ
   ブブロックに分割するサブブロッキング手段と、 前記サブブロッキング手段の出力に対し、ローパスフィ
   ルタによる歪み除去処理を行なう歪除去手段と、 前記圧縮画像データを復号して得た変換係数の有意デー
   タの持っている帯域を保存するように前記歪除去手段に
   於ける歪み除去処理のローパスフィルタ特性をサブブロ
   ック毎に適応的に変化させる歪除去特性決定手段と、 を具備することを特徴とする画像信号復号化装置。
2. 【請求項２】 前記歪除去特性決定手段は、前記サブブ
   ロックがまたがる各ブロックの周波数帯域を比較し、こ
   の比較結果に基づいて前記ローパスフィルタ特性を決定
   することを特徴とする請求項１に記載の画像信号復号化
   装置。
3. 【請求項３】 前記歪除去特性決定手段は、前記周波数
   帯域の広いほうのブロックに基づいて前記ローパスフィ
   ルタ特性を決定することを特徴とする請求項２に記載の
   画像信号復号化装置。
4. 【請求項４】 前記歪除去特性決定手段は、前記サブブ
   ロックの直交変換係数の絶対値とサブブロックがまたが
   るブロックの直交変換係数の絶対値とを比較し、この比
   較結果に基づいて前記ローパスフィルタ特性を決定する
   ことを特徴とする請求項１に記載の画像信号復号化装
   置。
5. 【請求項５】 前記歪除去特性決定手段は、前記サブブ
   ロックの直交変換係数の絶対値が、前記ブロックの直交
   変換係数の絶対値とほぼ等しいエネルギーを持つように
   前記ローパスフィルタ特性を決定することを特徴とする
   請求項４に記載の画像信号復号化装置。