JPH0683442B2 - 画像信号の符号化方式とその装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は画像信号の伝送時間を短縮する、あるいは蓄積
記憶容量を削減するための画像信号符号化装置、および
その方法に関する。

（従来の技術） 多値画像（例えば１画素8bit,256レベル）に対するデー
タ圧縮方式には、情報保存型の符号化と情報非保存型の
符号化がある。情報保存型の符号化とは、符号化の過程
に量子化を含まないものを指し、符号化・復号化の処理
によって原画像と全く同一の画像を再生することが可能
であるが、高い圧縮率は得られない。一方情報非保存型
の符号化とは、符号化の過程でなんらかの量子化処理を
含むものを指し、符号化・復号化の処理によって再生画
像は量子化雑音を含み画品質の劣化を伴うが、高い圧縮
率が得られる。

情報非保存型の符号化の場合には一般に量子化歪（S/N
比）とデータ圧縮率（情報量）との関係で評価される
が、良好なS/N比対情報量の関係を実現するひとつの方
式として直交変換後の変換係数を量子化して可変長符号
化する方式がある。

この方式においては、一般に変換係数の電力が一部の変
換係数に集中するので、電力の大きな変換係数に対して
多くの情報量を割り当て、電力の小さい変換係数には少
ない情報量しか割り当てないという情報量の偏りを設け
ることにより、大幅な情報量の圧縮が可能となる。

また、通常の画像信号の分布は画像によって大幅に異な
っているが、この変換係数の分布は画像に依らずある一
定のモデルに従っている場合が多い。従って、このモデ
ルに基づいて設計した可変長符号を用いることにより、
画像に依らない情報量の圧縮が実現できる。

さらに、多値画像の符号化方式として、プログレッシブ
符号化方式というものがある。このプログレッシブ符号
化方式とは、まず第１段階として画像全体の大まかな情
報を用いて粗い画像表示し、順次段階的に細かな情報を
用いてより精密な画像を表示していく方法である。

このプロクレッシブ符号化方式において、第１段階で用
いられる画像全体の大まか情報の情報量を少なくしてお
けば、通信における情報の伝送速度が遅い場合でも、と
りあえずまず第１段階として粗い画像を高速に表示する
ことができる。この第１段階としては粗い画像ではある
が画像全体が表示されるので、通常の画像を行単位に順
次精細な画像として復号していく場合に比べて、より素
早く画像全体の情報を得ることができる。従って、伝送
速度が遅い場合でも利用者に与える負担を大幅に軽減で
きる。

また、細かな情報を受信するにつれて画像全体が徐々に
精細となって行くので、全ての情報を受信する以前に画
像の判別が可能となる。従って、大量の画像のなかから
必要な画像のみを検索したい場合、判別ができた時点で
情報の伝送を打ち切ることができるので、検索の効率を
大幅に向上できる。

このようなプログレッシブ符号化方式は、直交変換を用
いた符号化方式を応用することにより、容易に実現でき
る。すなわち、全部の直交変換係数を伝送する代わり
に、まず直交変換係数の内で電力が集中しているものの
みを画像全体について符号化して伝送する。そして、伝
送された直交変換係数のみを逆変換して、復号された画
像を表示する。

この場合、一部の直交変換係数のみを伝送しているの
で、全部の直交変換係数を伝送する場合に比べて情報量
ははるかに小さくなる。従って、情報の伝送速度が遅い
場合でも、高速に伝送可能である。また、画像全体の情
報を伝送しているので、粗い画像ではあるが画像全体を
表示することができる。

そして、順次残りの直交変換係数を伝送することによ
り、より精細な復号画像を得ることができる。

また、このようなプログレッシブな符号化方式に対し
て、通常の行単位に順次画像を符号化して復号化する方
式を、シーケンシャルな符号化方式と呼ぶ。この方式を
実現するためには、最初から全部の直交変換係数を符号
化すれば良い。

（発明が解決しようとする問題点） このような直交変換係数を量子化して可変長符号化する
方式を用いる場合、プログレッシブとシーケンシャルと
両方の符号化方式を実現したいという要求が生じる。例
えば、画像を符号化して符号を蓄積しておいて、必要に
応じて蓄積された符号を読み出して利用するような場合
には、シーケンシャル符号化方式で十分である。しかし
ながら、このように蓄積された画像の情報を伝送する場
合には、プログレッシブ符号化方式での伝送が必要にな
る。

ところが、直交変換係数を量子化して可変長符号化する
方式を用いて、プログレッシブまたはシーケンシャルな
符号化方式を実現しようとする場合、それぞれに対応す
る符号の構成は大きく異なってしまう。そこで両方の符
号化方式を利用するためには、それぞれの符号化方式に
対応する符号を別々に蓄積しておかなければならなくな
ってしまう。すなわち、１つの画像に対してプログレッ
シブ用とシーケンシャル用との２つの符号を蓄積するこ
とになり、画像情報を蓄積するための容量を浪費してし
まうという問題点がある。

また、伝送速度に応じてプログレッシブの方法を変化さ
せたいという要求もある。例えば、伝送速度がある程度
高速の場合には、最初の第１段階から多くの直交変換係
数を符号化して、多くの情報を伝送してしまうことがで
きる。しかし、伝送速度が非常に低速の場合には、最初
の第１段階では少しの直交変換係数のみを符号化して画
像全体の非常に大まかな情報のみを少ない情報量で伝送
すべきとなる。しかしながら、あらかじめプログレッシ
ブ用の符号を蓄積しておくためには、最初に送るべき直
交変換係数の個数などを固定しておかなければならず、
このような伝送速度に応じた符号化を実現できない。

本発明は、シーケンシャル用の符号を蓄積しておき、画
像情報の伝送の際にこれを復号してプログレッシブ用の
符号を生成することで、画像情報を効率良く蓄積してお
くことができ、しかも伝送速度に応じたプログレッシブ
符号化を実現できる、画像信号の符号化方式とその装置
を提供することを目的とする。

（問題点を解決するための手段） 本発明の画像信号の符号化方式は、複数の画素からなる
ブロック単位で画像信号を読み出し、上記ブロック単位
に直交変換を施して複数の変換係数を求め、上記変換係
数を量子化して各変換係数に対応する量子化インデック
スを求め、上記量子化インデックスを可変長符号化して
生成される符号を蓄積しておき、画像情報を複数のステ
ージに分割して伝送する際に各ステージにおいて伝送す
べき符号の１ブロック当りの個数を与え、上記符号を読
み出して量子化インデックスを復号し、上記の各ステー
ジにおいて上記の各ブロック毎にそのブロック内の符号
化されていない量子化インデックスを可変長符号化して
符号を生成し、各ブロック毎に生成される符号がそのス
テージに対応する上記個数に達するかまたはそのブロッ
クの全ての量子化インデックスを符号化するまで上記符
号を生成し、上記の各ステージ毎に生成された符号を全
ブロックについて伝送する手段で構成される。

また、本発明の画像信号符号化装置は、複数の画素から
なるブロック単位で画像信号を読み出すブロック読み出
し部と、上記ブロック単位に直交変換を施して複数の変
換係数を求める直交変換部と、上記変換係数を量子化し
て各変換係数に対応する量子化インデックスを出力する
量子化部と、上記画像信号を符号化し蓄積する際には上
記ブロックの上記量子化インデックスの先頭位置を符号
化の開始位置として出力し画像情報を複数のステージに
分割して伝送する際には各ステージにおいて上記の各ブ
ロック毎にそのブロック内の符号化されていない量子化
インデックスの先頭位置を符号化の開始位置として出力
する開始位置出力部と、上記開始位置から上記量子化イ
ンデックスを可変符号化して符号を出力する符号化部
と、上記符号化部から出力される符号を蓄積する符号蓄
積部と、上記符号化部から出力される符号を伝送する符
号伝送部と、上記符号蓄積部に蓄積された符号を復号し
て量子化インデックスを出力する復号化部と、上記の各
ステージにおいて伝送すべき符号の１ブロック当りの個
数を記憶する個数記憶部と、上記画像信号を符号化し蓄
積する際には上記ブロックの全ての量子化インデックス
を符号化するよう上記符号化部を制御し、上記画像情報
を複数のステージに分割して伝送する際には上記の各ス
テージにおいて各ブロック毎に生成される符号がそのス
テージに対応する上記個数に達するかまたはそのブロッ
クの全ての量子化インデックスを符号化するまで上記符
号を生成するよう上記符号化部を制御する制御部とで構
成される。

（作用） 本発明の画像信号の符号化方式について説明する。

まず、複数の画素からなるブロック単位で画像信号を読
み出す。このブロックとしては、ｎ×ｎ画素からなる正
方形のブロックを用いる場合が多い。

次に、このブロック単位に直交変換を施して複数の変換
係数を求める。この直交変換としては、２次元の離散コ
サイン変換やアダマール変換など、任意の直交変換を用
いることができる。もしｎ×ｎ画素からなる正方形のブ
ロックを用いた場合、この複数の変換係数も１ブロック
当たりｎ×ｎ個となる。

そして、各変換係数をあらかじめ与えられた量子化ステ
ップで割ることにより量子化を行い、各変換係数に対応
する量子化インデックスを求める。ただし、ここでは全
ての変換係数を同一の量子化ステップで量子化すること
にするが、各変換係数のブロック内での位置に応じて、
異なる量子化ステップを用いることもできる。

こうして求められた量子化インデックスを可変長符号化
して、生成される符号を蓄積しておく。この量子化イン
デックスを可変長符号化する方法としては、ブロック内
の全ての量子化インデックスをそれぞれ個別に可変長符
号化する方法が一般的だが、その他にも有意な量子化イ
ンデックス（０でない量子化インデックス）のブロック
内での位置と大きさとを可変長符号化する方法や、まず
ブロック内の量子化インデックスをジグザグにスキャン
して連続する０の量子化インデックスをゼロランとして
一まとめにしてしまい、その長さを可変長符号化する方
法など、様々な方法がある。

これらの方法の一例は、例えば文献1:太田睦、古閑敏夫
著、「動き補償フレーム間ハイブリッド符号化方式にお
ける各種不等長符号化の比較」、昭和61年度電子通信学
会通信部門全国大会講演論文集、分冊１、１−206頁
や、文献2:坪井幸利、岡本貞二著、「カラー静止画像符
号化におけるエントロピー符号化の各種方式の比較検
討」、画像符号化シンポジウム、第２回シンポジウム試
料、71-72頁などに述べられている。

このように蓄積された画像情報をプログレッシブ符号化
の形態で複数のステージに分割して伝送する際には、ま
ず各ステージにおいて伝送すべの符号の１ブロック当り
の個数を、あらかじめ定めておく。ただし、このように
個数をあらかじめ定めておく代わりに、画像の統計量や
画像情報の伝送速度に合わせて決定することもできる。

次に、蓄積された符号を読み出して、量子化インデック
スを復号する。そして、ブロック内の複数の量子化イン
デックスを可変長符号化して符号を生成し、第１ステー
ジとして定められた１ブロック当りの個数の符号を伝送
する。このような符号の伝送を全ブロックについて実行
し、第１ステージを終了する。

ところで、一般に量子化インデックスの可変長符号化方
法を用いた場合、１つの符号で表される量子化インデッ
クスの個数は異なっている。例えば、ゼロランを用いた
場合に１つの符号は１つのゼロランの長さを示している
が、１つのゼロランは連続する０の量子化インデックス
を示しており、その０の量子化インデックスの個数はま
ちまちである。

従って、第１ステージとして各ブロック毎に定められた
個数の符号を伝送すると、符号化されて伝送される量子
化インデックスの個数は一般にブロック毎に異なること
になる。

そこで第２ステージでは、各ブロックについて第１ステ
ージでは符号化されなかった量子化インデックスを可変
長符号化して、あらかじめ第２ステージとして定められ
た１ブロック当りの個数の符号を全ブロックについて伝
送する。以下のステージでも同様である。

このような量子化インデックスの可変長符号化方法を用
いた場合、一般に各ブロック毎の符号の個数は一致しな
い。例えば、各ブロックの量子化インデックスの個数は
等しいが、ゼロランの長さを用いた場合に１つの符号で
示される量子化インデックスの数は符号毎に異なってい
るので、ゼロランの長さを用いて符号化すればブロック
毎の符号の個数は異なることになる。

従って、ブロックによってはそのステージとして定めら
れた個数の符号を生成する前にブロックの全ての量子化
インデックスの符号化が終了してしまう場合がある。そ
のような場合は、ブロック全ての量子化インデックスを
符号化するまで可変長符号化を行って符号を生成して伝
送し、そのブロックの処理を終了する。これにより、そ
のブロックについては定められた個数よりも少ない符号
しか伝送されないが、復号化側でもそのブロックの全て
の量子化インデックスが復号できた段階でそのブロック
の符号の伝送が終了したことが分かるので、正しく復号
化処理を実行できる。

また、そのステージよりも以前のステージで全ての量子
化インデックスを符号化してしまい全ての符号を伝送し
てしまったブロックについては、符号を伝送しない。こ
のような場合にも、やはり復号化側ではそのブロックの
全ての符号がそれ以前のステージで伝送されたことが分
かっているので、正しく復号化処理を実行できる。

復号側では、まず第１ステージで伝送された符号から復
号される量子化インデックスに基づいて画像の復号を行
い、粗い画像を表示する。そして、第２、第３のステー
ジの情報を得ることにより、順次精細な画像を復号して
表示する。

このように各ステージで１ブロック当りで定められた個
数の符号を伝送することにより、プログレッシブな符号
化が実現できる。

（実施例） 以下、図面により本発明の一実施例を説明する。

第１図は本発明の画像信号の符号化方式を実現する符号
化装置の一例を示すブロック図である。なお、以下の説
明では直交変換として２次元の離散コサイン変換を用い
ているが、アダマール変換などの直交変換を用いること
も可能である。

第１図に示すように、ブロック読み出し部１によってDC
T変換を行うブロック単位に画像信号を読み出す。例え
ば、１画素当たり8bitの画像信号を縦８画素、横８画素
の計64画素を１ブロックとして読み出す。そして、DCT
変換部２は読み出された１ブロック分の画像信号101の
２次元離散コサイン変換を行い、８×８個の変換係数10
2を計算する。

こうして計算された変換係数102を受けて、量子化部３
は変換係数102をあらかじめ与えられた量子化ステップ
で割ることにより量子化を行い、各変換係数102に対応
する量子化インデックス103を出力する。ただし、ここ
では全ての変換係数を同一の量子化ステップで量子化す
ることにするが、各変換係数102のブロック内での位置
に応じて、異なる量子化ステップを用いることもでき
る。

次に開始位置出力部４は、符号化の開始位置104として
ブロックの量子化インデックス103の先頭を示す値とし
て“1"を符号化部５に出力する。

第２図（ａ）（ｂ）は、ブロック内の複数の量子化イン
デックスを符号化する方法を示す説明図である。第２図
（ａ）は符号化部５がブロック内の量子化インデックス
103を読み出す順番を示している。符号化の際には、符
号化部５は開始位置出力部４から得られる開始位置104
で示される量子化インデックス103を先頭として、第２
図（ａ）で示される順番に量子化インデックス103が読
み出す。この場合は、開始位置出力部４から開始位置10
4として“1"が出力されるので、符号化部５はブロック
の先頭の量子化インデックス103から読み出すことにな
る。

そして符号化部５は、これらの量子化インデックス103
の可変長符号化を行い、符号105を生成して出力する。
この量子化インデックス103の可変長符号化方法は、文
献１や文献２に示されている。

この可変長符号化において、符号化部５は制御部10の制
御により、各ブロックの全ての量子化インデックス103
を符号化して符号105を出力する。こうして出力された
符号105は、符号蓄積部６に蓄積される。

画像情報を複数のステージに分割して伝送する際には、
個数記憶部８に、各ステージにおいて伝送すべき符号の
１ブロック当りの個数108をあらかじめ記憶させてお
く。そして、まず符号蓄積部６に蓄積された符号105を
読み出して、復号化部７において符号105を復号処理を
行い量子化インデックス107を復号する。この量子化イ
ンデックス107は、量子化インデックス103と同一のもの
である。

次に、制御部10は第１ステージに対応する個数108を読
み出して、符号化部５の制御を行う。同時に開始位置出
力部４からは、第１ステージにおいてはブロックの先頭
の量子化インデックス107を示す値として“1"が開始位
置104として出力される。

この開始位置104を受けた符号化部５は、制御部10に制
御されて量子化インデックス107の符号化を行い、符号1
15を出力する。この際に、制御部10は符号化部５での可
変符号化処理を制御し、各ブロック毎に生成される符号
115が第１ステージに対応する個数108に達すると、その
ブロックの符号化処理を終了させて、次のブロックの符
号化処理を開始させる。また、個数108に達する前にそ
のブロックの全ての量子化インデックス107を符号化し
た場合には、やはりそのブロックの符号化処理を終了さ
せて、次のブロックの符号化処理を開始させる。

このように符号化部５で生成された符号115は、符号伝
送部９を通じて伝送される。そして、全てのブロックの
符号115を伝送して第１ステージを終了する。

また開始位置出力部４は、第２図（ｂ）に示すように符
号化部５で第１ステージの符号化を終了した量子化イン
デックス107の次の量子化インデックス107の位置を、次
のステージでの開始位置104としてブロック毎に記憶す
る。ただし、第１ステージでブロック内の全ての量子化
インデックス107を符号化してしまった場合には、最後
の量子化インデックス107の次の値として“65"を記憶す
る。

次に第２ステージにおいては、制御部10は第２ステージ
に対応する伝送すべき符号の１ブロック当りの個数108
を個数記憶部８から読み出して、第１ステージと同様に
符号化部５を制御して、符号115を伝送する。

ただし、開始位置出力部４からは開始位置104として第
１ステージで符号化を終了した量子化インデックス107
の次の量子化インデックス107を示す値が出力されてい
るので、まだ符号化していない量子化インデックス107
のみを符号化することができる。また、第１ステージで
符号化を終了してしまったブロックについては、開始位
置104として“65"が出力されるので、このブロックにつ
いては符号化処理を行わずに次のブロックの符号化処理
を開始する。

このように符号化部５で生成された符号115は、符号伝
送部９を通じて伝送される。そして、全てのブロックの
符号115を伝送して第２ステージを終了する。

なお、開始位置出力部４では第１ステージと同様の処理
により、次のステージでの開始位置104が更新されて記
憶される。

以下のステージでも第２ステージと同様の処理を行い、
最終ステージの処理を行ってから画像情報の伝送処理を
終了する。

なお、ここでは各バンドを符号化する毎に符号化部７で
符号105の復号処理を行って量子化インデックス107を復
号するものとした。その代わりに、復号化部７に量子化
インデックス107のメモリを設けておき、第１ステージ
のみこの復号処理を行い、以下のステージではこのメモ
リに記憶された量子化インデックス107を用いることも
できる。

また、開始位置出力部４は各ステージでの符号化を終了
した量子化インデックス107の次の量子化インデックス1
07の位置を、次のステージでの開始位置104としてブロ
ック毎に記憶するものとした。このように記憶する代わ
りに、まず個数記憶部８から各ステージでの個数を読み
出し、各ブロックの先頭の量子化インデックス107から
読み出して符号化と同様の処理を行い、そのステージで
の開始位置104を各ブロック毎に求めても良い。

ここで、符号蓄積部６に蓄積された符号105は全ての量
子化インデックス103を符号化したものであるので、シ
ーケンシャル用の符号となっており、この符号をそのま
ま復号すれば、シーケンシャルな画像の復号が実行でき
る。

また、画像情報の伝送の際には、各ステージ毎に量子化
インデックス107を符号化して伝送しているので、これ
を逆変換して復号することによりプログレッシブな画像
の伝送および復号が実行できる。

さらに、符号蓄積部６に蓄積された符号105をそのまま
伝送すれば、シーケンシャルな画像の伝送および復号も
実行できる。

このように、シーケンシャル用の符号を蓄積しておくの
みで、シーケンシャルとプログレッシブの両方を実現す
ることができる。

また、個数記憶部８に記憶された個数を変化させること
により、プログレッシブに画像情報を伝送する際の各ス
テージで伝送する情報量や、画像が段階的に精細となる
様子を自由に設定できる。従って、様々な伝送速度や画
像を対象とした場合でも、それに応じたプログレッシブ
符号化方式を実現できる。

以上の説明においてはブロックサイズを８×８として説
明したが、別のサイズや形状を用いても差し支え無い。

また、以上の説明においては画像信号として特に規定は
していないが、多値の白黒画像、RGBの各カラー成分画
像、Ｙ・（Ｒ−Ｙ）・（Ｂ−Ｙ）等の輝度・色差信号
は、すべてこの画像信号の中に含まれる。同様に、テレ
ビジョン信号等の動画像におけるフレーム間差分信号に
おいても適用でき、十分な効果を得ることができる。こ
のフレーム間差分信号については、文献3:「テレビジョ
ン バンドウィドス コンプレッション トランスミッ
ション バイ モーション モンペンセイティド イン
ターフレーム コーディング (Television Bandwidth
Compression transmission byMotion-compensated Inte
rframe Coding)」アイ・イー・イー・イー コミニュケ
ーションマガジン(IEEE Communication Magazine)誌、1
982年11月号、24-30頁に詳細に述べられている。

（発明の効果） 以上述べたように本発明の画像信号の符号化方式および
その装置を用いることにより、シーケンシャル用の符号
を蓄積しておき、画像情報の伝送の際にこれを復号して
プログレッシブ用の符号を生成できる。従って、画像情
報を効率良く蓄積しておくことができ、しかも伝送速度
に応じたプログレッシブ符号化を実現できる。

【図面の簡単な説明】

第１図は本発明の画像信号の符号化方式を実現する符号
化装置の一例を示すブロック図、第２図（ａ）（ｂ）
は、ブロック内の複数の量子化インデックスを符号化す
る方法を示す説明図である。図において、 １……ブロック読み出し部、２……DCT変換部、３……
量子化部、４……開始位置出力部、５……符号化部、６
……符号蓄積部、７……復号化部、８……個数記憶部、
９……符号伝送部、10……制御部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数の画素からなるブロック単位で画像信
   号を読み出し、上記ブロック単位に直交変換を施して複
   数の変換係数を求め、上記変換係数を量子化して各変換
   係数に対応する量子化インデックスを求め、上記量子化
   インデックスを可変長符号化して生成される符号を蓄積
   しておき、画像情報を複数のステージに分割して伝送す
   る際に各ステージにおいて伝送すべき符号の１ブロック
   当りの個数を与え、上記符号を読み出して量子化インデ
   ックスを復号し、上記の各ステージにおいて上記の各ブ
   ロック毎にそのブロック内の符号化されていない量子化
   インデックスを可変長符号化して符号を生成し、各ブロ
   ック毎に生成される符号がそのステージに対応する上記
   個数に達するかまたはそのブロックの全ての量子化イン
   デックスを符号化するまで上記符号を生成し、上記の各
   ステージ毎に生成された符号を全ブロックについて伝送
   する画像信号の符号化方式。
2. 【請求項２】複数の画素からなるブロック単位で画像信
   号を読み出すブロック読み出し部と、上記ブロック単位
   に直交変換を施して複数の変換係数を求める直交変換部
   と、上記変換係数を量子化して各変換係数に対応する量
   子化インデックスを出力する量子化部と、上記画像信号
   を符号化し蓄積する際には上記ブロックの上記量子化イ
   ンデックスの先頭位置を符号化の開始位置として出力し
   画像情報を複数のステージに分割して伝送する際には各
   ステージにおいて上記の各ブロック毎にそのブロック内
   の符号化されていない量子化インデックスの先頭位置を
   符号化の開始位置として出力する開始位置出力部と、上
   記開始位置から上記量子化インデックスを可変長符号化
   して符号を出力する符号化部と、上記符号化部から出力
   される符号を蓄積する符号蓄積部と、上記符号化部から
   出力される符号を伝送する符号伝送部と、上記符号蓄積
   部に蓄積された符号を復号して量子化インデックスを出
   力する復号化部と、上記の各ステージにおいて伝送すべ
   き符号の１ブロック当りの個数を記憶する個数記憶部
   と、上記画像信号を符号化し蓄積する際には上記ブロッ
   クの全ての量子化インデックスを符号化するよう上記符
   号化部を制御し、上記画像情報を複数のステージに分割
   して伝送する際には上記の各ステージにおいて各ブロッ
   ク毎に生成される符号がそのステージに対応する上記個
   数に達するかまたはそのブロックの全ての量子化インデ
   ックスを符号化するまで各ブロック毎に上記符号を生成
   するよう上記符号化部を制御する制御部とで構成される
   画像信号の符号化装置。