JP3238444B2 - 画像符号化方式及び画像復号化方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像符号化方式及び画像
復号化方式に関し、特に画像データを高効率で圧縮して
符号化するとともに迅速な検索を可能とする画像符号化
方式及び画像復号化方式に関する。

【０００２】

【従来の技術】画像データを圧縮、符号化する画像符号
化方式は、著しいデジタル技術の進展と相まって近年き
わめて広い範囲に利用されている。例えば、電子スチル
カメラでは、光学系を介してＣＣＤ等の撮像素子上に結
像させて得た画像信号をデジタル信号に変換した後、直
交変換処理を施し、更に所定の量子化、符号化処理を施
しＩＣカードメモリ等の記録媒体に記録し、再生時、記
録媒体から読み出した画像データに対して逆直交変換処
理を施し再生画像を得ている。

【０００３】図９には、上記スチルカメラにも適用され
ている従来の画像符号化方式の構成例が示されている。
入力画像信号は、Ａ／Ｄコンバータ（ＡＤＣ）１でデジ
タル信号に変換されてフレームメモリ（ＲＡＭ）２に記
録される。フレームメモリ２からは、例えば、一枚の画
面を複数個のブロックに分割した分割ブロック単位の画
像データが読み出される。このブロック単位の読み出し
は、例えば、図１０に示すように４×４画素から成るブ
ロックのデータについて矢印方向に行われ、ＤＣＴ（離
散コサイン変換：Discrete Cosine Transform)部３に送
出される。ＤＣＴ部３で直交変換された変換係数は、周
知のジグザグ走査(ZigーZag Scan)回路４により並べ替
えられ、図１１に示されるような順番でＳＱuvとして出
力される。図１１において、ＳＱ00は直流係数、ＳＱ01
〜ＳＱ015 は交流係数を示す。つまり、ブロックの先頭
で出力される変換係数が直流係数となる。得られた変換
係数は、量子化テーブル６に格納されている量子化パタ
ーンに基づいて量子化回路５により量子化される。ここ
で、変換係数の順番と量子化テーブル６の出力の順番を
一致させるため、ジグザグ走査回路４からは同期信号が
量子化テーブル６に送出されている。

【０００４】量子化回路５からの直流係数は、減算回路
１３により遅延回路１２で遅延された前のブロックの直
流係数との差がとられ、スイッチ１５を介して符号化回
路１０に送出され、符号化される。一方、交流係数は、
図１１に示すようなジグザグ走査と量子化により数値が
０の連続する系列が多いので、ランレングス符号化を施
すため連続する０の個数（０ラン）をＺＲＬ回路１４で
計数する。こうして計数された０ラン及び非０係数の数
値を後段の符号化回路１０にスイッチ１５を介して送出
する。スイッチ１５は、ジグザグ走査回路４からの同期
信号を受けて、上記減算回路１３とＺＲＬ回路１４の出
力を切り換え出力する。以上の処理により、情報圧縮さ
れ符号化された画像データのブロックは、初めに直流係
数の予測誤差データ、次に交流係数の０ラン及び非０係
数のデータとなり、次のデータは次のブロックのデータ
となる。

【０００５】

【発明が解決しようとする課題】上述のように、従来の
画像符号化方式では、横方向に位置するブロック間の相
関を利用して隣接するブロックの直流係数の予測誤差を
符号化することにより符号化の効率化を図っている。し
かしながら、横方向のブロック間相関だけを利用し、縦
方向の相関を利用していないため、効率化は充分ではな
い。また、従来の画像符号化方式では、画像の全ブロッ
クの処理を終了しないと画像を復元できず、したがっ
て、多数の画像の検索や画像データが低速で送られてく
る場合など、処理の初めの時点で画像の概略を知りたい
ときには時間がかかり不都合であるという問題があっ
た。

【０００６】そこで、本発明の目的は、横方向だけでな
く縦方向の相関をも利用して更に高効率な符号化を可能
とするだけでなく、迅速な画像検索を可能とする画像符
号化方式及び画像復号化方式を提供することにある。

【０００７】

【課題を解決するための手段】前述の課題を解決するた
め、本発明による画像符号化方式は、入力画像を幾つか
のブロックに分割し、このブロックを直交変換して得ら
れた交流係数を量子化し、この量子化された交流係数値
を一時的に保存するとともに、各ブロックの直流係数を
抽出して画像を生成して上記の入力画像に置き換え、以
上の処理を直流係数を抽出して生成した画像が１個のブ
ロックになるまで繰り返した後、最終的に得られた１個
のブロックを直交変換し、直流係数を符号化するととも
に、このブロックの交流係数を符号化し、上記の一時的
に保存された交流係数を保存された順番とは逆の段階順
に符号化することにより階層的な画像符号化を行うよう
に構成される。また、本発明による画像復号化方式は、
変換係数を、原画像に基づく縮小画像の直流係数、該縮
小画像の交流係数、以降、該縮小画像より画素数が多い
各画像の交流係数を画素数が増加するような順番で有し
ている階層的に符号化された画像データを復号化する画
像復号化方式であって、 前記縮小画像の直流係数及び交
流係数を組み合わせ、逆量子化及び逆直交変換を行なっ
て縮小画像を得、 前記縮小画像の各画素を直流係数と
し、次の交流係数を逆量子化して該直流係数と組み合わ
せ、逆直交変換を行なって前記縮小画像より画素数が増
加した画像を得、この処理を繰り返して最終的に原画像
を復元可能にするように構成される。

【０００８】

【作用】本発明では、入力画像データを複数のブロック
に分割し、すべての分割ブロックについて直交変換処理
により得られる直流係数を求めて新たな画像を生成し、
同様な処理を生成画像が１個のブロックになるまで繰り
返し、ブロックについての交流係数とともに符号化し、
ブロック間の縦方向及び横方向の相関を有効に利用し、
階層的な符号化により、符号化効率を高め、迅速な検索
等を可能にしている。また、変換係数を、原画像に基づ
く縮小画像の直流係数、該縮小画像の交流係数、以降、
該縮小画像より画素数が多い各画像の交流係数を画素数
が増加するような順番で有している階層的に符号化され
た画像データを復号化する際、縮小画像の直流係数及び
交流係数を組み合わせ、逆量子化及び逆直交変換を行な
って得られた縮小画像の各画素を直流係数とし、次の交
流係数を逆量子化して該直流係数と組み合わせ、逆直交
変換を行なって前記縮小画像より画素数が増加した画像
を得る処理を繰り返して最終的に原画像の復元を可能と
している。

【０００９】

【実施例】次に、本発明について図面を参照しながら説
明する。図１は、本発明による画像符号化方式の一実施
例を示す構成ブロック図である。図１において、図９と
同一符号が付与されている構成部は同様な機能を有する
構成部を示す。変換係数のうち直流係数は、ブロックの
直流成分を示すので、各ブロック直流係数を抽出して１
個の画素として並べることにより縦横がブロックサイズ
分の１の縮小画像を得ることができる。例えば、図２に
おける（ａ）のように、原画像を縦横２画素のブロック
に分割し、直交変換を施し、得られた直流係数を集めて
（ｂ）のような縮小画像が生成される。この縮小画像を
同様に、（ｃ）の如く、ブロック分割して直交変換を施
し、直流係数のみを集めると縮小画像（ｄ）が得られ
る。同様な処理を繰り返し施し、処理結果（ｗ）、
（ｘ）…を経て、最終段階では（ｙ）に示す如く、縦横
４画素の画像（ブロック４個）が入力され、直交変換を
施して直流係数を集めると、（ｚ）に示す如く、縦横２
画素の縮小画像が得られる。本発明では、上述処理を施
し、直流係数の横方向だけでなく縦方向の相関をも利用
している。また、各段階での縮小画像を逆の順番で見る
と段階的に画素数が増加する方向になるから、各段階で
の縮小画像の係数を逆の順番で符号化されたデータを復
元すると段階的に画素数が増加する画像が得られること
になる。

【００１０】本実施例は、縦横ともに２５６画素の画像
を符号化する例を示す。この画像を縦横４画素ずつのブ
ロックに分割して処理する場合、直流係数を抽出して縮
小画像を生成させ、これを繰り返すと、図３に示すよう
に、第３段階の出力画像は縦横４画素の画像（１個のブ
ロック）になる。これらの処理態様が図４や図５に示さ
れている。すなわち、第１段階では、Ａ／Ｄコンバータ
１からのデジタル画像データは、フレームメモリ２に一
度記憶され、上記ブロックに分割された順番で読み出さ
れてＤＣＴ回路３に送出される。ＤＣＴ回路３から読み
出された変換係数は、ジグザグ走査回路４で順番を並べ
替えられる。このとき、例えば、ブロック０を処理した
後は、フレームメモリ２のブロック０の領域はすでに読
み出されたデータの領域なので、縮小画像を生成するた
めの領域として用いることができる。そして、図４に示
すようにブロック０の直流係数をアドレス０に、以降、
ブロック１の直流係数をアドレス１に、といった順番で
フレームメモリ２に書き込む。また、交流係数は、量子
化回路５で量子化され、係数メモリであるＲＡＭ７に書
き込まれる。

【００１１】以上の処理により得られる縮小画像が図３
の（ｃ）に示されている。この画像に対して同様な処理
（第２段階）を施すと、縦横１６画素の画像（図３の
（ｂ））がフレームメモリ２上に生成されることにな
る。更に同様の処理を繰り返す（第３段階）と、図３の
（ａ）のような縦横４画素の画像がフレームメモリ２上
に生成される。この画像（１個のブロック）に対してＤ
ＣＴ処理を施し、得られた直流係数を量子化して係数メ
モリであるＲＡＭ７に書き込み、次の交流係数も量子化
してＲＡＭ７に書き込む。図３において、（ｄ）には、
第１段階の２５６×２５６の合計４０９６ブロックから
成る入力画像（原画）が示されており、この場合、直流
係数は４０９６個、交流係数は６１４４０個得られるこ
とになる。また、（ｃ）には、第２段階の入力画像デー
タとして６４×６４の合計２５６ブロックらなる画像が
示されており、２５６個の直流係数と３８４０個の交流
係数が得られる。同図（ｂ）には第３段階の１６×１６
の合計１６ブロックの入力画像が示され、１６個の直流
係数と２４０個の交流係数が得られる。更に、（ａ）に
は第３段階の出力として４×４の合計１ブロックの画像
が示され、１個の直流係数と１５個の交流係数が得られ
る。尚、（ｄ）におけるデータの読み出しは０〜６１４
３９、（ｃ）の読み出しは６１４４０〜６５２７９、
（ｂ）の読み出しは６５２８０〜６５５１９、（ａ）の
読み出しは６５５２０〜６５５３５のように行われる。

【００１２】図５において、（ｄ）に示す２５６×２５
６の原画像は、４×４ブロック単位でＤＣＴ処理され、
量子化、ジグザグ走査によりＳＱ01〜ＳＱ15が得られ、
第１段階の出力として、（ｃ）に示すような縮小画像が
得られる。また、第２段階の出力は、（ｂ）に示され、
これをＤＣＴ処理して直流係数と交流係数を求め、量子
化、ジグザグ走査により（ａ）に示す如く第３段階出力
を得る。これを更にＤＣＴ処理して、直流係数ＤＣＴ
（ＳＱ00）と、交流係数ＳＱ01〜ＳＱ15が得られる。

【００１３】以上の各段階を終了すると、ＲＡＭ（係数
メモリ）７には、図６に示すような順番で量子化された
係数値が記憶される。図６においては、第１〜第３段階
の処理におけるブロックについての書き込み順序、交流
係数、直流係数、読み出し順番が示されている。符号化
するために、最初に第３段階の出力画像の直流係数を読
み出しスイッチ９をａ側に設定して符号化する。以後は
スイッチ９をｂ側に設定して図６に示すような順番で読
み出し０ランをＺＲＬ回路８で計数する。そして、０ラ
ン及び非０係数の数値を符号化回路１０で符号化する。

【００１４】このようにして符号化されたデータは図７
に示すような順番になる。初めは図５の縮小画像（ａ）
ーー１個のブロックーーの直流係数のデータ、次は縮小
画像（ａ）の交流係数、以降、縮小画像の（ｂ）、
（ｃ）の交流係数データが続き、最終的には、原画像
（ｄ）の交流係数のデータとなる。この画像データを復
号して得られる画像は、最初は直流係数により原画像全
体の直流成分が得られ、次に縮小画像（ａ）の交流係数
が得られるので、最初に得られた直流係数と組み合わせ
て逆量子化及び逆ＤＣＴ処理により縦横４画素の縮小画
像（ａ）が得られる。この縮小画像の各画素は縮小画像
（ｂ）の各ブロックの直流係数である。従って、次の縮
小画像（ｂ）の交流係数データを逆量子化して画像
（ａ）の画像データ、つまり、直流係数と組み合わせ、
逆ＤＣＴ処理を施すと縦横１６画素の縮小画像（ｂ）が
得られる。また、この画像の各画素は縮小画像（ｃ）の
各ブロックの直流係数に相当するから、次の縮小画像
（ｃ）の交流係数のデータと組み合わせることにより縮
小画像（ｃ）を得ることができる。更に、この画像の各
画素は原画像（ｄ）の各ブロックの直流係数に相当する
から、図７の最後の領域データである画像（ｄ）の交流
係数のデータと組み合わせることで原画像が復元され
る。以上のように、段階的に画素数が増加する復元が可
能な画像データを得ることができ、且つ、直流係数の縦
方向の相関も有効に利用できる。

【００１５】図８には、本発明による画像符号化方式の
他の実施例の構成ブロック図が示されている。本実施例
は、量子化された交流係数の０ランをＺＲＬ回路８で計
数し、０ランと非０係数とをＲＡＭメモリ１１に書き込
む。この実施例によっても同様に段階的な復元が可能で
ある。

【００１６】

【発明の効果】以上説明したように、本発明による画像
符号化方式及び画像復号化方式は、入力画像データを複
数のブロックに分割し、すべての分割ブロックについて
直交変換処理により得られる直流係数を求めて新たな画
像を生成し、同様な処理を生成画像が１個のブロックに
なるまで繰り返し、上記ブロックについての交流係数と
ともに符号化しており、ブロック間の縦方向及び横方向
の相関を有効に利用しているので、符号化効率が向上す
るだけでなく、階層的な符号化が可能となり、復号の初
めの時点で画像の概略を再現でき、迅速な検索等が可能
になるという顕著な効果を奏する。

【図面の簡単な説明】

【図１】本発明による画像符号化方式の一実施例を示す
構成ブロック図である。

【図２】図１の実施例における各処理段階の動作を説明
するための図である。

【図３】図１の実施例における各処理段階の動作を説明
するための図である。

【図４】図１の実施例におけるブロック分割と変換係数
との関係を示す図である。

【図５】図１の実施例における各処理段階の動作を説明
するための図である。

【図６】図１の実施例における各処理段階の動作を説明
するための図である。

【図７】図１の実施例における係数メモリに記録される
係数値の例を示す図である。

【図８】本発明による画像符号化方式の他の実施例を示
す構成ブロック図である。

【図９】従来の画像符号化方式の構成例を示す図であ
る。

【図１０】図９の例におけるデータの読み出し順序を示
す図である。

【図１１】図９の例におけるジグザグ走査回路により直
流係数と交流係数の読み出し順序を示す図である。

【符号の説明】

１ Ａ／Ｄコンバータ ２，７，１１
ＲＡＭ ３ ＤＣＴ回路 ４
ジグザグ走査回路 ５ 量子化回路 ６
量子化テーブル ８，１４ ＺＲＬ回路 ９，１５
スイッチ １０ 符号化回路 １２
遅延回路 １３ 減算回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力画像を幾つかのブロックに分割し、こ
   のブロックを直交変換して得られた交流係数を量子化
   し、この量子化された交流係数値を一時的に保存すると
   ともに、各ブロックの直流係数を抽出して画像を生成し
   て上記の入力画像に置き換え、以上の処理を直流係数を
   抽出して生成した画像が１個のブロックになるまで繰り
   返した後、最終的に得られた１個のブロックを直交変換
   し、直流係数を符号化するとともに、このブロックの交
   流係数を符号化し、上記の一時的に保存された交流係数
   を保存された順番とは逆の段階順に符号化することによ
   り階層的な画像符号化を行うことを特徴とする画像符号
   化方式。
2. 【請求項２】変換係数を、原画像に基づく縮小画像の直
   流係数、該縮小画像の交流係数、以降、該縮小画像より
   画素数が多い各画像の交流係数を画素数が増加するよう
   な順番で有している階層的に符号化された画像データを
   復号化する画像復号化方式であって、 前記縮小画像の直流係数及び交流係数を組み合わせ、逆
   量子化及び逆直交変換を行なって縮小画像を得、 前記縮小画像の各画素を直流係数とし、次の交流係数を
   逆量子化して該直流係数と組み合わせ、逆直交変換を行
   なって前記縮小画像より画素数が増加した画像を得、こ
   の処理を繰り返して最終的に原画像を復元可能にするこ
   とを特徴とする画像復号化方式。