JP3132171B2

JP3132171B2 - 縮小画像の復号装置

Info

Publication number: JP3132171B2
Application number: JP20867292A
Authority: JP
Inventors: 直哉林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1992-08-05
Filing date: 1992-08-05
Publication date: 2001-02-05
Anticipated expiration: 2016-02-05
Also published as: JPH0662225A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化してデータ量を
圧縮した画像を復号する復号装置に関し、特に符号化し
た画像の縮小画像の復号方法に関する。

【０００２】

【従来の技術】画像はデータ量が非常に多いため、しば
しばデータ量を圧縮して記録あるいは伝送する。このデ
ータ量の圧縮は符号化と呼ばれる。逆に符号化した画像
データを伸長して画像の復元をすることは復号と呼ばれ
る。このような符号化／復号方法として、離散コサイン
変換（以下ＤＣＴという）を用いる方式が知られてお
り、たとえば、ＡｌａｉｎＬｅｇｅｒ，Ｊｏａｎ
Ｌ．Ｍｉｔｃｈｅｌｌ，Ｙａｍａｚａｋｉによる論文
「ＳＴＩＬＬＰＩＣＴＵＲＥＣＯＭＰＲＥＳＳＩＯ
ＮＡＬＧＯＲＩＴＨＭＳＥＶＡＬＵＡＴＥＤＦＯ
ＲＩＮＴＥＲＮＡＴＩＯＮＡＬＳＴＡＮＤＡＲＤＩ
ＳＡＴＩＯＮ（１９８８年ＩＥＥＥＧｌｏｂａｌ
ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓＣｏｎｆｅｒ
ｅｎｃｅ＆Ｅｘｈｉｂｉｔｉｏｎ論文集講演番号３
１．７．１）」に紹介されている。

【０００３】一方、画像のデータベースでは、それに含
まれる画像を複数枚同時に表示できると便利である。こ
れを使えばデータベースに含まれる画像の一覧あるいは
その一部を表示できるからで、ユーザーは、まず画像の
一覧を見て目的の画像を探し、次にその目的の画像を画
面全体に表示するという操作ができる。この画像の一覧
を表示するためには復号した画像を縮小して表示するこ
とが必要になる。このような縮小画像の表示が可能な、
ＤＣＴを用いる符号化／復号方法の従来例として図３の
ブロック図に示す方法がある。

【０００４】次に、この従来例を、図３，図４を参照し
て説明する。なお本発明は復号方法に関するものである
が、説明の必要上対応する符号化方法から説明する。

【０００５】まず、原画像を図３の画像分割部７におい
て水平方向８画素×垂直方向８画素のブロックに分割す
る。この結果、図４の原画像１３に示すように分割され
る。次に原画像の各ブロックを順に、ブロック符号化部
１１においてブロック毎に符号化し、得られた圧縮デー
タをたとえば磁気ディスクなどの媒体に記録する。この
ブロックの符号化はラスタスキャン順に行なう。すなわ
ち、画像の左上端のブロックから水平方向に順に符号化
し、右上端のブロックの次は、１つの下の段に移って、
その段の左端のブロックからやはり水平方向に順に符号
化し、その段の右端のブロックの次は、その１つ下の段
のブロックをやはり左端から右端に符号化する。こうし
て右下端のブロックまで順に符号化する。

【０００６】ブロック符号化部１１は、図３に示すよう
に、ＤＣＴ部８、量子化部９、可変長符号符号化１０か
らなる。以下に原画像のブロックを２次元整数配列ｆ
（ｉ，ｊ）（ｉ、ｊはそれぞれ水平方向、垂直方向の座
標で、図５に示すように０から７までの整数値をとる）
として、これらの処理を具体的に説明する。ｆ（ｉ，
ｊ）はたとえば、最も暗い画素の信号レベルを−１２
８、最も明るい画素の信号レベルを１２７とする８ビッ
ト整数値をとる。

【０００７】ＤＣＴ部８ではｆ（ｉ，ｊ）を次の（１）
式に従って水平方向８点×垂直方向８点の２次元離散コ
サイン変換し、ＤＣＴ係数Ｆ（ｕ，ｖ）に変換する。こ
こでｕ、ｖは離散コサイン変換における水平方向、垂直
方向の周波数をそれぞれ表し、ｉ、ｊと同様に０から７
までの整数値をとる。Ｆ（ｕ，ｖ）は２次元整数配列
で、ｆ（ｉ，ｊ）が８ビット整数の場合、３ビット増え
て−１０２４から１０２３までの１１ビット整数をと
る。

【０００８】

【０００９】また（１）式のｓｑｒｔ（２）は２の平方
根である。ＤＣＴは画像の情報を低い周波数成分、すな
わちｕあるいはｖが小さい周波数に集める性質をもって
おり、Ｆ（ｕ，ｖ）の絶対値は一般に低い周波数成分が
大きく、高い周波数成分が小さくなる。

【００１０】次の量子下部９では、ＤＣＴ８で得られた
Ｆ（ｕ，ｖ）を正整数値をとる量子化マトリクスＱ
（ｕ，ｖ）を用いて次の（２）式のように量子化し、２
次元整数配列Ｃ（ｕ，ｖ）に変換する。

【００１１】

【００１２】ここで除算は整数の除算で、小数点以下は
切り捨てる。量子化マトリクスの値を、低い周波数成分
に対しては小さく、高い周波数成分に対しては大きく設
定することにより、Ｃ（ｕ，ｖ）の高い周波数成分をほ
とんど０にできる。これらの高い周波数は人の目には判
別しにくいので、復号した画像の劣化がそれほど感知さ
れることなく情報を圧縮できる。

【００１３】次の可変長符号符号化部１０では、Ｃ
（ｕ，ｖ）をハフマン符号などの可変長符号により符号
化する。可変長符号は出現頻度の高いシンボルにビット
長の短い符号語を割り当て、出現頻度の低いシンボルに
はビット長の長い符号語を割り当てることにより全体の
情報量を圧縮する符号である。Ｃ（ｕ，ｖ）の符号化に
おいては、まずＣ（ｕ，ｖ）を次に示すように低い周波
数からジグザグスキャンして１次元のデータに順番を並
べかえる。

【００１４】Ｃ（０，０），Ｃ（１，０），Ｃ（０，
１），Ｃ（０，２），Ｃ（１，１），Ｃ（２，０），Ｃ
（３，０），Ｃ（２，１），Ｃ（１，２），Ｃ（０，
３），Ｃ（０，４），Ｃ（１，３），Ｃ（２，２），Ｃ
（３，１），Ｃ（４，０），…，Ｃ（７，６），Ｃ
（６，７），Ｃ（７，７）次に、この１次元データをＣ（０，０）から調べて、連
続する０の数すなわち０のラン数と、それに続く非零の
Ｃ（ｕ，ｖ）の値の組である（０ラン数、非零係数）を
使って表す。またＣ（７，７）が０の場合には、最後の
非零係数が含まれる組の次にエンドオブブロックＥＯＢ
をおいて残りのＣ（ｕ，ｖ）が全て０であることを表
す。もし、全てのＣ（ｕ，ｖ）が０ならばエンドオブブ
ロックＥＯＢのみで表す。その結果たとえば非零係数
が、Ｃ（０，０），Ｃ（０，１），Ｃ（２，１），Ｃ
（１，３）のみの場合には、Ｃ（ｕ，ｖ）は次のように
表される。

【００１５】（０，Ｃ（０，０）），（１，Ｃ（０，
１）），（４，Ｃ（２，１）），（３，Ｃ（１，
３）），ＥＯＢそして（Ｇラン数、非零係数）の組とエンドオブブロッ
クＥＯＢをシンボルとして可変長符号で符号化する。こ
のシンボルと符号語の対応は対応表により定められ、圧
縮データからシンボルを忠実に復元できる。ブロック符
号化１１ではこのようにしてブロックの圧縮データを生
成する。

【００１６】以上説明したようにして原画像のすべての
ブロックを符号化し、画像全体の圧縮データを生成す
る。こうして得られた圧縮データの総ビット数は原画像
の総ビット数よりかなり少なく、典型的な圧縮率として
１／１０から１／５０程度が得られる。

【００１７】次に、復号方法について説明する。ここで
は原画像の大きさ、すなわち水平方向のブロック数およ
び垂直方向のブロック数が復号時に既知であり、量子化
部９で用いた量子化マトリクスＱ（ｕ，ｖ）、可変長符
号符号化部１０で用いたシンボルと符号語の対応表も復
号時に既知とする。ただし、これらが固定されていない
場合は、圧縮データのはじめにヘッダー部を設けてそこ
にこれらを入れておき、復号する前に読みだす。

【００１８】まず、図３あるいは図４に示すように、圧
縮データから１ブロック分のデータを取り出し、ブロッ
ク復号部１２で復号する。これにより１ブロック分の画
像が復号される。

【００１９】さらに、画素間引き部５において、縮小画
像を生成するため復号したブロックを構成する画素から
水平方向垂直方向とも等間隔になるようにいくつかの画
素を取り出す。たとえば、図６に示すｉ、ｊにおいてｉ
とｊがともに偶数の画素だけを取り出せば、水平方向４
画素×垂直方向４画素からなる縮小ブロックが取り出さ
れる。この場合の縮小ブロックは、水平方向、垂直方向
とも１／２に縮小したものとなる。そして画像合成部６
において、復号した縮小ブロックを前に説明したラスタ
スキャン順に並べれば、図５に示すように水平方向、垂
直方向とも１／２に縮小した縮小画像が生成される。

【００２０】もし、画素間引き部５で、ｉが０あるいは
４、ｊが０あるいは４というように、ｉ、ｊを等間隔に
２個づつ選んで、それをともに満たす画素だけを取り出
せば、水平方向２画素×垂直方向２画素からなる縮小ブ
ロックが取り出される。この場合、画像合成部６におい
て生成される縮小画像は、水平方向、垂直方向とも１／
４に縮小したものとなる。同様に、画素間引き部５で、
ｉ、ｊが０というようにｉ、ｊを１つずつ選んで、それ
をともに満たす画素だけを取り出せば、水平方向、垂直
方向とも１／８に縮小した縮小画像が生成される。この
ように画素間引き部５で、復号した１ブロックから水平
方向垂直方向ともに等間隔に画素を取り出して水平方向
２^(3-n)画素×垂直方向２^(3-n)画素（ｎ＝１、２、
３）の縮小ブロックをつくることにより、水平平行垂直
方向とも１／２ⁿ（ｎ＝１、２、３）の縮小画像が復号
できる。また縮小せずに画像を復号するには画素間引き
部５をとばせばよい。

【００２１】ブロック復号部１２は、図３に示すように
可変長符号復号部１、逆量子化部２、逆ＤＣＴ部４から
なり、これらはブロック符号化部１１の逆の処理を次の
ように行なう。

【００２２】可変長符号復号部１は、圧縮データに含ま
れる符号語を、シンボルと符号語の対応表を参照するこ
とにより、それに対応するシンボルに変換する。これに
より（０ラン数、非零係数）の組あるいはエンドオブブ
ロックが検出される。これらをＣ（０，０）から検出し
た０ラン数だけ値０を代入し、次のＣ（ｕ，ｖ）に検出
した比例係数の値を代入する。そして次のＣ（ｕ，ｖ）
から再び次に検出した（０ラン数、比例係数）を使って
同じことを繰り返す。もし変換したインボルがエンドオ
ブブロックであれば残りのＣ（ｕ，ｖ）にはすべて０を
代入する。このようにしてＣ（７，７）まで代入し終わ
ればそこで１ブロック分の係数Ｃ（ｕ，ｖ）が揃う。

【００２３】次に逆量子化部２で、１ブロック分のＣ
（ｕ，ｖ）から次の（３）式に従ってＤＣＴ係数Ｆ’
（ｕ，ｖ）を計算する。

【００２４】

【００２５】ブロック符号化部１１のＤＣＴ部８で計算
したＦ（ｕ，ｖ）とＦ’（ｕ，ｖ）とはほぼ等しく、そ
の絶対値の差は量子化マトリクスＱ（ｕ，ｖ）の１／２
以下となる。

【００２６】次に、逆ＤＣＴ部４でＦ’（ｕ，ｖ）を次
の（４）式に従って２次元逆離散コサイン変換する。こ
こでｃ（ｕ）、ｃ（ｖ）は（１）式と同じ定数である。

【００２７】

【００２８】２次元逆離散コサイン変換は２次元離散コ
サイン変換の逆変換で、もしＦ’（ｕ，ｖ）とＦ（ｕ，
ｖ）が等しけらば、ｆ’（ｉ，ｊ）は原画像のブロック
ｆ（ｉ，ｊ）と等しくなる。実際には前に延べたように
Ｆ’（ｕ，ｖ）とＦ（ｕ，ｖ）には絶対値で量子化マト
リクスＱ（ｕ，ｖ）の１／２以下の差があるので、復号
したｆ’（ｉ，ｊ）は原画像のブロックｆ（ｉ，ｊ）と
は多少異なる。しかしこの符号化／復号方法によって生
じる劣化を人の目にはあまり目立たない程度に量子化マ
トリクスＱ（ｕ，ｖ）を選ぶことができる。ブロック復
号部１２ではこのようにしてブロックの圧縮データを伸
長する。このようにして符号化した画像の縮小を復号し
ている。

【００２９】また、ＤＣＴを用いる符号化／復号方法の
別の従来例として図６，図７のように、図３にマクロブ
ロック生成部１５を付加する方法がある。この場合の復
号方法について説明する。ここでは縮小率として、１／
ｎただしｎがブロックの水平方向垂直方向の大きさの公
約数以外の場合の例を示す。ブロックの水平方向垂直方
向の大きさの公約数をとる例として、この場合には８の
公倍数である２をとる１／２、４をとる１／４、８をと
る１／８がある。このような場合は１ブロックをなす画
素から等間隔に画素を間引いて縮小できるが、実現でき
る縮小率は限られており、たとえば１／３や、１／５が
都合がよい場合も多い。以外では１／３の場合の例をと
って説明する。

【００３０】この場合、マクロブロック生成部１５で
は、復号したブロックから、図８に示すように隣接する
水平方向３ブロック×垂直方向３ブロックすなわち水平
方向２４画素×垂直方向２４画素からなるマクロブロッ
クを生成する。さらに画素間引き部５で、このマクロブ
ロクから水平方向３画素×垂直方向３画素ごとにその中
心の１画素を取出し、水平方向８画素×垂直方向８画素
からなる縮小マクロブロックをつくる。この水平方向３
画素×垂直方向３画素から取り出す１画素の位置は固定
するので、水平方向２４画素×垂直方向２４画素のマク
ロブロックから水平方向垂直方向とも等間隔に画素を取
出すことになる。この縮小マクロブロックはマクロブロ
ックを水平方向、垂直方向とも１／３に縮小したものと
なる。

【００３１】そして画像合成部６において、このように
復号した縮小マクロブロックをそのマクロブロックが原
画像に締めていた位置に並べることにより、図７に示す
ように水平方向、垂直方向とも１／３に縮小した縮小画
像が復号できる。この場合、圧縮データのなかでラスタ
スキャン順にブロックの符号化データが並んでいるた
め、マクロブロック生成部１５には水平方向３段分の復
号したブロックを保存する記憶領域が必要である。しか
し全画面を復号してから画素を間引くより、記憶領域は
少なくて済む。

【００３２】また、縮小せずに画像を復号するにはマク
ロブロック生成部１５と画素間引き部５をとばせばよ
い。１／３以外たとえば１／５の縮小画像を復号する場
合も、水平方向５ブロック×垂直方向５ブロックからな
るマクロブロックを生成し、画素間引き部５で、このマ
クロブロックから水平方向５画素×垂直方向５画素ごと
にその中心の１画素を取り出して水平方向８画素×垂直
方向８画素からなる縮小マクロブロックをつくれば同様
にできる。他の場合も同様である。

【００３３】

【発明が解決しようとする課題】上述した従来の方法で
縮小画像の復号ができるが、一般に離散画像を画素を間
引くことにより縮小すると、画像に含まれる高い周波数
成分が低い周波数に折り返して、折り返し雑音と呼ばれ
る雑音として表れる。これは縮小する前の画像に含まれ
る高い周波性成分が縮小により縮小画像のナイキスト周
波数以上に変換されるために発生するもので、これが大
きいと画質に悪影響をもたらす。

【００３４】ＤＣＴを用いる符号化では、前述したよう
にＤＣＴにおける高い周波数の量子化マトリクスの値を
大きくすることによりＤＣＴにおける高い周波数成分を
抑圧する。これにより高い周波数成分が抑圧されるが、
しかしこの量子化マトリクスの値が小さい場合や、ある
いは原画像に含まれる高い周波数成分が大きい場合には
それらが残り、復号した縮小画像に折り返し雑音が表れ
る。特に、原画像を相当する小さく縮小すると、量子化
マトリクスの値が小さい周波数成分までも折り返し雑音
となるので、このような縮小画像の画質は落ちる。

【００３５】本発明の目的は、縮小画像の復号で生じる
このような折り返し雑音を、軽減する縮小画像の復号方
法を提供することにある。

【００３６】

【課題を解決するための手段】本発明の構成は、画像を
水平方向Ｍ画素×垂直方向Ｎ画素（Ｍ，Ｎは２以上の整
数）の大きさでブロックに分割し、これら各ブロックを
水平方向Ｍ点×垂直方向Ｎ点２次元離散コサイン変換し
たのち量子化して得られる、前記各ブロックの量子化し
た離散コサイン変換係数ブロックを、前記各ブロックの
配置を示すブロック位置に割り当てた順番に従って並べ
ることにより生成した前記画像の圧縮データから、前記
量子化した離散コサイン変換係数ブロックを順に取り出
す復号部と；この復号部の出力を逆量子化して逆量子化
した離散コサイン変換係数ブロックを生成する逆量子化
部と；原点を中心に水平方向垂直方向とも対称で、水平
方向２Ｍ−１点以下×垂直方向２Ｎ−１点以下の大きさ
のインパルス応答を有し、水平方向２Ｍ点×垂直方向２
Ｎ点２次元離散フーリエ変換係数のうち、水平方向周波
数が０よりＭ−１、垂直方向周波数が０よりＮ−１から
なる水平方向Ｍ点×垂直方向Ｎ点の第１のブロックを求
め、この第１のブロックの成分に前記逆量子化部の出力
ブロックの各成分をかける低域通過フィルタと；この低
域通過フィルタの出力を水平方向Ｍ点×垂直方向Ｎ点２
次元逆離散コサイン変換して前記各ブロックを復号する
逆離散コサイン変換部と；この逆離散コサイン変換部の
出力ブロックから水平方向垂直方向ともに等間隔に画素
を取出して縮小ブロックをつくる画素間引き部と；前記
縮小ブロックをこのブロックの前記ブロック位置に並べ
ることにより前記画像の縮小画像を復元する画像合成部
とを備え、前記画素間引き部が、逆離散コサイン変換し
て復号された各ブロックが画像に占める位置において隣
接する水平方向Ｋブロック×垂直方向Ｋブロック（Ｋは
２以上の整数）に含まれる画素から等間隔に画素を取出
して縮小ブロックをつくり、前記画像合成部が、前記水
平方向Ｋブロック×垂直方向Ｋブロックが前記画像にお
いて占める位置に並べることにより前記画像の縮小画像
を復元する縮小画像の復号装置において、前記逆離散コ
サイン変換された各ブロックが、前記画像に占める位置
において隣接する水平方向Ｋブロック×垂直方向Ｋブロ
ックに含まれるブロック境界に並ぶ画素を、これが属す
るブロックと隣接するブロックに属し、前記画素と接す
る画素との信号レベルの平均で置き換えた後、前記画素
間引き部に供給するマクロブロック生成部を備えること
を特徴とする。

【００３７】

【作用】本発明の縮小画像の復号方法では、画像の間引
きで生じる折り返し雑音を軽減するため、復号したＤＣ
Ｔ係数Ｆ’（ｕ，ｖ）に低域通過フイルタ（以下ＬＰＦ
という）をかけてから２次元逆離散コサイン変換してブ
ロックを生成し、このブロックの画素を間引いて縮小画
像を生成する。

【００３８】

【実施例】以下、ブロックの大きさを水平方向Ｍ画素×
垂直方向Ｎ画素としてこの方法を説明する。ＬＰＦとし
ては、画像にかけるフィルタとして適当な、位相特性が
０のフィルタ、すなわち原点を中心に水平方向垂直方向
とも対称なインパルス応答をもつＬＰＦを選ぶ。また、
インパルス応答は水平方向２Ｍ−１点以下、垂直方向２
Ｎ−１点以下とする。

【００３９】例えばブロックの大きさが水平方向８画素
×垂直方向８画素の場合、インパルス応答は１５×１５
以下となる。このようなＬＰＦのインパルス応答をｈ
（ｉ，ｊ）とする。ｈ（ｉ，ｊ）の例としてたとえば次
の２つが挙げられる。いずれも中心の値がｈ（０，０）
で、値がない部分のｈ（ｉ，ｊ）は０の値をとる。

【００４０】

【００４１】このようなＰＬＦをｆ’（ｉ，ｊ）の０≦
ｉ＜Ｍ、０≦ｊ＜Ｎの領域にかけることを考える。そこ
で、ブロック外（ｉ＜０、Ｍ≦ｉ、ｊ＜０、Ｎ≦ｊ）の
画素を、ブロック内の画素を境界（ｉ＝０、ｉ＝Ｍ−
１、ｊ＝０、ｊ＝Ｎ−１）から折り返し次の（５）式の
ように近似する。隣接する画素はあまり変化しない場合
が多いので、特に境界付近において、この方法は本来の
隣接するブロックの画素のよい近似となる。

【００４２】

【００４３】ブロック外の画素を（５）式のように近似
して、０≦ｉ＜Ｍ、０≦ｊ＜Ｎの領域に、上のような水
平方向垂直方向とも対称なインパルス応答ｈ（ｉ，ｊ）
をもつＬＰＦかけた画像をｇ（ｉ，ｊ）（０≦ｉ＜Ｍ、
０≦ｊ＜Ｎとすると、ｇ（ｉ，ｊ）は次の（６）式のよ
うになる。

【００４４】

【００４５】このｇ（ｉ，ｊ）の２次元離散コサイン変
換を計算する。ただし簡単に表すため（７）式で定義す
るａi （ｕ）、ｂj （ｖ）を用いる。また三角関数の性
質からａi （ｕ）、ｂj （ｖ）に関して（８）が成立す
ることを利用する。

【００４６】

【００４７】まず（６）式の第１項のＭ×Ｎ点２次元離
散コサイン変換は次の（９）式のようになる。

【００４８】

【００４９】ここでＦ’（ｕ，ｖ）はｆ’（ｉ，ｊ）
（０≦ｉ＜Ｍ、０≦ｊ＜Ｎ）を２次元離散コサイン変換
したもので、Ｍ＝Ｎ＝８の場合には、（４）式のＦ’
（ｕ，ｖ）と同じものである。第２項、第３項はそれぞ
れ次の（１０）式、（１１）式，（１２）式のようにな
る。

【００５０】

【００５１】

【００５２】これら（９），（１０），（１１），（１
２）式よりｇ（ｉ，ｊ）の２次元離散コサイン変換Ｇ
（ｕ，ｖ）は次の（１３）式のようになる。

【００５３】

【００５４】ところでｈ（ｉ，ｊ）を水平方向垂直方向
の周波数をそれぞれμ、νとして２Ｍ点×２Ｎ点の２次
元離散フーリエ変換とする次の（１４）式のようにな
る。

【００５５】

【００５６】（１３）式と（１４）式を比較すると、
（１３）式のＦ’（ｕ，ｖ）の係数は、ｈ（ｉ，ｊ）の
２Ｍ点×２Ｎ点２次元離散フーリエ変換係数と同じ形で
ある。したがってｈ（ｉ，ｊ）を水平方向、垂直方向と
もブロックの大きさの２倍の点数で２次元離散フーリエ
変換し、その周波数を離散コサイン変換における周波数
と同一視して、Ｆ’（ｕ，ｖ）にかけたものがＧ（ｕ，
ｖ）となる。よって逆にＦ’（ｕ，ｖ）を、（１３）式
のように原点を中心に水平方向垂直方向とも対称なＬＰ
Ｆの離散フーリエ変換係数で変調してから２次元逆離散
コサイン変換すれば、ブロック外の画素をブロック内の
画素を用いて（５）式のように近似した場合における、
このＬＰＦがかかったブロックが得られる。こうして得
られたブロックの画素を間引いて縮小ブロックをつくれ
ば、または得られたブロックからマクロブロックをつく
り、マクロブロックの画素を間引いて縮小ブロックをつ
くれば、縮小による折り返し雑音が軽減された縮小ブロ
ックが得られる。

【００５７】本発明では、このようにまずｈ（ｉ，ｊ）
を水平方向垂直方向ともそれぞれブロックの大きさの２
倍の点数、すなわち水平方向２Ｍ点×垂直方向２Ｎ点で
２次元離散フーリエ変換する。そしてそのなかの水平方
向周波数が０よりＭ−１、垂直方向周波数が０よりＮ−
１の成分からなる水平方向Ｍ点×垂直方向Ｎ点のブロッ
クを、そのまま２次元離散コサイン変換の周波数特性と
みなしてＦ’（ｕ，ｖ）にかけてから、２次元逆離散コ
サイン変換することにより、ＬＰＦの効果が得られるこ
とを利用している。

【００５８】

【実施例】図１は本発明に関連する縮小画像の復号装置
のブロック図を示す。ここでは従来例と同様に水平方向
８画素×垂直方向８画素からなるブロックに分割して符
号化した圧縮データから、水平方向垂直方向とも１／２
に縮小した縮小画像を生成する場合の動作を説明する。
なお、図３と同じ番号を付した部分は従来例と同じ動作
をするので説明を略す。

【００５９】この装置は、従来例に対しフイルタ３が付
加されている。従来例の画像の符号化方法と同じ方法で
符号化された圧縮データは、可変長符号復号部１によ
り、符号語から、それに対応するシンボルである（０ラ
ン数、非零係数）の組あるいはエンドオブブロックに変
換される。そしてこの０ラン数と非零係数を、Ｃ（０，
０）からジグザグスキャン順にＣ（７，７）まで代入す
る。ここで途中にエンドオブブロックがみつかれば、以
降のＣ（ｕ，ｖ）はすべて０とする。こうして１ブロッ
ク分のＣ（ｕ，ｖ）を求める。

【００６０】次に、逆量子化部２で、１ブロック分のＣ
（ｕ，ｖ）を（３）式にしたがって逆量子化し、ＤＣＴ
係数Ｆ’（ｕ，ｖ）を計算する。さらにフイルタ３で１
ブロック分のＤＣＴ係数Ｆ’（ｕ，ｖ）に、次の（１
５）式のようにＬＰＦをかける。

【００６１】

【００６２】（１５）式は（１３）式でＭ＝Ｎ＝８とし
て、下に示す原点を中心に水平方向垂直方向とも対称
で、水平方向３画素×垂直方向３画素のＬＰＦのインパ
ルス応答ｈ（ｉ，ｊ）を代入したものである。

【００６３】１／１６２／１６１／１６２／１６４／１６２／１６（ｈ（０，０）＝４／
１６）１／１６２／１６１／１６次に、逆ＤＣＴ４で（４）式のＦ’（ｕ，ｖ）のかわり
に（１５）式を用いて２次元逆離散コサイン変換する。
この結果得られるブロックは、前に説明したように、
Ｆ’（ｕ，ｖ）の２次元逆離散コサイン変換ｆ’（ｉ，
ｊ）のブロック外の画素を（５）式のようにブロック内
の画素で近似し、０≦ｉ＜８、０≦ｊ＜８の領域に、上
のインパルス応答ｈ（ｉ，ｊ）をもつＬＰＦをかけたブ
ロックと等しくなる。したがって水平方向垂直方向とも
高い周波数成分が減衰している。

【００６４】さらに、画素間引き部５で図５に示すブロ
ックのｉ，ｊにおいて、ｉ，ｊが共に偶数の画素だけを
取り出し、水平方向４画素×垂直方向４画素からなる縮
小ブロックを生成する。この縮小ブロックは、水平方
向、垂直方向とも１／２に縮小したものであり、フィル
タ３で水平方向垂直方向とも高い周波数成分が減衰して
いるため、縮小過程が生じる折り返し雑音が軽減されて
いる。

【００６５】このようにして復号した縮小ブロックを画
像合成部６においてラスタスキャン順にならべれば、図
４に示すように水平方向、垂直方向とも１／２に縮小し
た縮小画像が生成できる。

【００６６】次に、本発明の関連技術の第２例として、
水平方向垂直方向とも１／４に縮小する場合の動作を説
明する。図１のフイルタ３において、１ブロック分のＤ
ＣＴ係数Ｆ’（ｕ，ｖ）に、次の（１６）式のようにＬ
ＰＦをかける。

【００６７】

【００６８】この（１６）式は（１３）式でＭ＝Ｎ＝８
として、次に示す原点を中心に水平方向垂直方向とも対
称で、水平方向７画素×垂直方向７画素のＬＰＦのイン
パルス応答ｈ（ｉ，ｊ）を代入したものである。このｈ
（ｉ，ｊ）は第１の実施例よりカットオフ周波数が低い
ＬＰＦなので、この装置は図１の場合より小さく縮小す
る場合は好適である。

【００６９】

【００７０】次に、逆ＤＣＴ４で（４）式のＦ’（ｕ，
ｖ）のかわりに（１６）式を用いて２次元逆離散コサイ
ン変換する。この結果得られるブロックは、前に説明し
たように、Ｆ’（ｕ，ｖ）の２次元逆離散コサイン変換
ｆ’（ｉ，ｊ）のブロック外の画素を（５）式のように
ブロック内の画素で近似し、０≦ｉ＜８、０≦ｊ＜８の
領域に、上のインパルス応答ｈ（ｉ，ｊ）をもつＬＰＦ
をかけたブロックと等しくなる。したがって水平方向垂
直方向とも高い周波数成分が減衰している。

【００７１】さらに、画素間引き部５で、図５に示すよ
うブロックのｉ、ｊにおいて、ｉ、ｊとも０または４の
画素だけを取り出し、水平方向２画素×垂直方向２画素
からなる縮小ブロックを生成する。この縮小ブロック
は、水平方向、垂直方向とも１／４に縮小したものであ
り、フイルタ３で水平方向垂直方向とも高い周波数成分
が減衰しているため、縮小過程で生じる折り返し雑音が
軽減されている。

【００７２】このようにして復号した縮小ブロックを画
像合成部６においてラスタスキャン順に並べれば図４に
示すように水平方向、垂直方向とも１／４に縮小した縮
小画像が生成できる。同様に考えれば、画素間引き部５
で、１ブロックから水平方向垂直方向とも等間隔に画素
を取り出して、水平方向２^(3-n)画素×垂直方向２
^(3-n)画素（ｎ＝１、２、３）の縮小ブロックをつくれ
ば、垂直方向とも１／２ⁿの縮小画像が生成できる。こ
の縮小画像はフイルタ３により、縮小過程で生じる折り
返し雑音が軽減されている。

【００７３】以上説明したように本関連技術により、縮
小過程で生じる折り返し雑音が軽減された、画質のよい
１／２_n（ｎ＝１、２、３）の縮小画像が生成できる。
なお、これらの例はＭ＝Ｎ＝８の場合であるが、そのほ
かのＭ，Ｎについても、これら縮小画像の復号装置によ
り、同様に縮小過程で生じる折り返し雑音が軽減された
縮小画像が生成できるのは明らかである。

【００７４】図２は本発明の第１の実施例のブロック図
であり、図１に対して逆ＤＣＴ部４の後にマクロブロッ
ク生成部１５が付加された場合を示す。この場合、逆Ｄ
ＣＴ変換された信号は、マクロブロック生成部１５で、
復号したブロックから、図８に示すように隣接する水平
方向３ブロック×垂直方向３ブロックすなわち水平方向
２４画素×垂直方向２４画素からなるマクロブロックを
生成する。

【００７５】さらに画素間引き部５で、このマクロブロ
ックから水平方向３画素×垂直方向３画素ごとに画素を
取り出して水平方向８画素×垂直方向８画素からなる縮
小マクロブロックをつくる。ここでこの水平方向３画素
×垂直方向３画素×垂直方向３画素から取り出す１画素
の位置はその中心の画素に固定しているので、水平方向
２４画素×垂直方向２４画素のマクロブロックから水平
方向垂直方向とも等間隔に画素を取り出している。この
縮小マクロブロックはマクロブロックを水平方向、垂直
方向とも１／３に縮小したものとなる。

【００７６】そして画像合成部６において、このように
復号した縮小マクロブロックをそのマクロブロックが原
画像に占めていた位置に並べることにより、図４に示す
ように水平方向、垂直方向とも１／３に縮小した縮小画
像が復号できる。この場合の縮小マクロブロックは、フ
イルタ３により水平方向垂直方向とも高い周波数成分が
減衰しているので、本実施例で復号した縮小画像は折り
返し雑音が軽減されている。

【００７７】同様に考えれば、マクロブロック生成部１
５で水平方向Ｋブロック×垂直方向Ｋブロック（Ｋは整
数）からなるマクロブロックを生成し、画素間引き部５
で、マクロブロックから等間隔になるように水平方向Ｋ
画素×垂直方向Ｋ画素毎に１画素を取り出して縮小マク
ロブロックをつくれば、水平方向垂直方向とも１／Ｋの
縮小画像が生成できる。この縮小画像はフイルタ３によ
り、縮小過程で生じる折り返し雑音が軽減されている。
このようにして縮小過程で生じる折り返し雑音が軽減さ
れた、画質のよい１／Ｋの縮小画像が生成できる。

【００７８】次に、本発明の第４の実施例として、同様
に水平方向垂直方向とも１／３に縮小する場合の動作を
説明する。この場合のマクロブロック生成部１５は次の
ように働く。マクロブロック生成部１５で、復号したブ
ロックから、図８に示すように隣接する水平方向３ブロ
ック垂直方向３ブロックすなわち水平方向２４画素×垂
直方向２４画素からなるマクロブロックを生成する。こ
こで第３の実施例と異なる動作として、マクロブロック
内のブロック境界をなす画素を、その画素が属するブロ
ックと隣接するブロックに属し、かつその画素に隣接す
る画素との平均で置き換える。すなわち、図８に示すマ
クロブロックをｇ”（ｉ’，ｊ’）（０≦ｉ’＜２４、
０≦ｊ’＜２４）とすると、ブロック境界をなす画素は
ｉ’＝７ｐ＋８、ｉ’＝８ｐ＋８、ｊ’８ｑ＋７、ｊ’
８ｑ＋８（ｐ＝０，１、ｑ＝０，１）をみたす画素であ
るが、これらを次のようにこれらの平均に置き換える。

【００７９】

【００８０】したがって、特に４ブロックの境界では次
のようにブロック境界の４画素の平均となる。

【００８１】

【００８２】この操作により、縮小画像の画質が第１の
実施例よりよくなる場合がある。以下これについて図５
を用いて詳しく説明する。マクロブロックｇ”（ｉ’，
ｊ’）を構成する各ブロックｇ（ｉ，ｊ）（０≦ｉ＜
８、０≦ｊ＜８）にマクロブロック内の水平方向垂直方
向の位置を示す番号ｐ、ｑをつけてｇ_pq（ｉ，ｊ）とす
る。図５の場合は以下のようになる。

【００８３】

【００８４】また、従来例と同じＬＰＦをかけない場合
のブロックを前と同様にｆ”（ｉ，ｊ）（０≦ｉ＜８、
０≦ｊ＜８）、隣接するこれらのブロックからつくる水
平方向３ブロック×垂直方向３ブロックのマクロブロッ
クをｆ”（ｉ’，ｊ’）（０≦ｉ’＜２４、０≦ｊ’＜
２４）、マクロブロック内の位置をつけたブロックを同
様にｆ”（ｉ，ｊ）とｆ_pq（ｉ，ｊ）には次の（１７）
式の関係が成り立つ。

【００８５】上述のブロック境界の画素ｇ”（８ｐ＋
７，８ｑ＋ｊ）とｇ”（８ｐ＋８，８ｑ＋ｊ）の平均
は、前述したようにフイルタ３が（５）式のようにブロ
ック外を定義して（６）式のようにｈ（ｉ，ｊ）をかけ
ることと等しいので次の（１７）式のようになる。

【００８６】

【００８７】従って、この（１７）式から次のようにし
て（１８）式が得られる。

【００８８】

【００８９】

【００９０】

【００９１】この（１８）式より、ｇ”（８ｐ＋７，
ｊ’）とｇ”（８ｐ＋８，ｊ’）の平均はｆ”（８ｐ＋
７，ｊ’）にＬＰＦをかけた結果とｆ”（８ｐ＋８，
ｊ’）にＬＰＦをかけた結果の平均となる。

【００９２】ｇ”（ｉ’，８ｑ＋７）とｇ”（ｉ’，８
ｑ＋８）の平均も同様にｆ”（ｉ’，８ｑ＋７）にＬＰ
Ｆをかけた結果とｆ”（ｉ’，８ｑ＋８）にＬＰＦをか
けた結果の平均となる。また４ブロックの境界でも同様
に、ｆ”（ｉ’，ｊ’）のブロック境界の４画素にそれ
ぞれＬＰＦをかけた結果の平均となる。

【００９３】この実施例のブロック境界の画素は、ブロ
ック外の画素をブロック内の画素で近似してＬＰＦをか
けた第３の実施例とは違い、ブロック外の画素をマクロ
ブロック内であれば実際の画素で定義して、ＬＰＦをか
けた結果を平均している。従って、平均をとる操作が必
要なものの、第３の実施例のマクロブロックに近くなる
場合がある。したがって画質がよくなる場合がある。

【００９４】さらに画素間引き部５で、第３の実施例と
同様にこのマクロブロックから水平方向３画素×垂直方
向３画素ごとに中心の１画素を取り出して水平方向８画
素×垂直方向８画素からなる縮小マクロブロックをつく
る。この縮小マクロブロックはマクロブロックを水平方
向、垂直方向とも１／３に縮小したものとなる。そして
画像合成部６において、このように複合した縮小マクロ
ブロックをそのマクロブロックが原画像に占めていた位
置に並べることにより、図４に示すように水平方向、垂
直方向とも１／３に縮小した縮小画像が復号できる。こ
うして復号した縮小画像は、フイルタ３により水平方向
垂直方向とも高い周波数成分が減衰しているので、折り
返し雑音が軽減されている。

【００９５】同様に考えれば、マクロブロック生成部１
５で水平方向Ｋブロック×垂直方向Ｋブロック（Ｋは整
数）からなるマクロブロックを生成し、画素間引き部５
で、マクロブロックから等間隔になるように水平方向Ｋ
画素×垂直方向Ｋ画素毎に１画素を取り出して縮小マク
ロブロックをつくれば、水平方向垂直方向とも１／Ｋの
縮小画像が生成できる。この縮小画像はフイルタ３によ
り、縮小過程で生じる折り返し雑音が軽減されている。

【００９６】以上説明したように本発明により、縮小過
程で生じる折り返し雑音が軽減された、画質のよい縮小
画像が生成できる。

【００９７】

【発明の効果】以上説明したように本発明の縮小画像の
復号装置を用いることにより、縮小過程で発生する折り
返し雑音を軽減した縮小画像が生成できる。したがって
得られる縮小画像の画質はよくなる。

【図面の簡単な説明】

【図１】本発明の縮小画像復号装置を説明する第１の関
連技術のブロック図。

【図２】本発明の一実施例を説明する縮小画像の復号装
置のブロック図。

【図３】従来の縮小画像復号方法及び対応する符号化方
法を説明するブロック図。

【図４】図３の縮小画像複合方法及び対応する符号化方
法と画像の関係を説明するブロック図。

【図５】従来の画像のブロックの一例の表示図。

【図６】従来の他の縮小画像復号方法及び対応する符号
化方法を説明するブロック図。

【図７】図６の縮小画像復号方法及び対応する符号化方
法と画像の関係を説明するブロック図。

【図８】一般のマクロブロックの一例の表示図。

【符号の説明】

１可変長符号復号部２逆量子化部３フイルタ４逆ＤＣＴ５画素間引き部６画像合成部７画像分割部８ＤＣＴ部９量子化部１０可変長符号符号化部１１ブロック符号化部１２ブロック復号部１３原画像１４縮小画像１５マクロブロック生成部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/38 - 1/393 G06T 3/40 H04N 1/41 - 1/419

Claims

(57)【特許請求の範囲】

【請求項１】画像を水平方向Ｍ画素×垂直方向Ｎ画素
（Ｍ，Ｎは２以上の整数）の大きさでブロックに分割
し、これら各ブロックを水平方向Ｍ点×垂直方向Ｎ点２
次元離散コサイン変換したのち量子化して得られる、前
記各ブロックの量子化した離散コサイン変換係数ブロッ
クを、前記各ブロックの配置を示すブロック位置に割り
当てた順番に従って並べることにより生成した前記画像
の圧縮データから、前記量子化した離散コサイン変換係
数ブロックを順に取り出す復号部と；この復号部の出力
を逆量子化して逆量子化した離散コサイン変換係数ブロ
ックを生成する逆量子化部と；原点を中心に水平方向垂
直方向とも対称で、水平方向２Ｍ−１点以下×垂直方向
２Ｎ−１点以下の大きさのインパルス応答を有し、水平
方向２Ｍ点×垂直方向２Ｎ点２次元離散フーリエ変換係
数のうち、水平方向周波数が０よりＭ−１、垂直方向周
波数が０よりＮ−１からなる水平方向Ｍ点×垂直方向Ｎ
点の第１のブロックを求め、この第１のブロックの成分
に前記逆量子化部の出力ブロックの各成分をかける低域
通過フィルタと；この低域通過フィルタの出力を水平方
向Ｍ点×垂直方向Ｎ点２次元逆離散コサイン変換して前
記各ブロックを復号する逆離散コサイン変換部と；この
逆離散コサイン変換部の出力ブロックから水平方向垂直
方向ともに等間隔に画素を取出して縮小ブロックをつく
る画素間引き部と；前記縮小ブロックをこのブロックの
前記ブロック位置に並べることにより前記画像の縮小画
像を復元する画像合成部とを備え、前記画素間引き部
が、逆離散コサイン変換して復号された各ブロックが画
像に占める位置において隣接する水平方向Ｋブロック×
垂直方向Ｋブロック（Ｋは２以上の整数）に含まれる画
素から等間隔に画素を取出して縮小ブロックをつくり、
前記画像合成部が、前記水平方向Ｋブロック×垂直方向
Ｋブロックが前記画像において占める位置に並べること
により前記画像の縮小画像を復元する縮小画像の復号装
置において、前記逆離散コサイン変換された各ブロック
が、前記画像に占める位置において隣接する水平方向Ｋ
ブロック×垂直方向Ｋブロックに含まれるブロック境界
に並ぶ画素を、これが属するブロックと隣接するブロッ
クに属し、前記画素と接する画素との信号レベルの平均
で置き換えた後、前記画素間引き部に供給するマクロブ
ロック生成部を備えることを特徴とする縮小画像の復号
装置。