JP3877087B2 - 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 - Google Patents
画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 Download PDFInfo
- Publication number
- JP3877087B2 JP3877087B2 JP35816596A JP35816596A JP3877087B2 JP 3877087 B2 JP3877087 B2 JP 3877087B2 JP 35816596 A JP35816596 A JP 35816596A JP 35816596 A JP35816596 A JP 35816596A JP 3877087 B2 JP3877087 B2 JP 3877087B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- layer
- image data
- quantization
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術（図９及び図１０）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）実施例（図１〜図４）
（２）第１参考例（図５及び図６）
（３）第２参考例（図７及び図８）
（４）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて生成された符号化データが記録された記録媒体に関し、特に所定の画像データを異なる解像度でなる複数階層の画像データに分割し、それぞれの階層の画像データを符号化して、符号化データを生成する（すなわち画像データを階層符号化する）場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、この種の画像信号符号化装置においては、高解像度の入力画像データを第１の階層画像データとして、この第１の階層データよりも解像度の低い第２の階層データ、さらに第２の階層データよりも解像度の低い第３の階層データ、……を順次形成し、これら複数の階層データをそれぞれ圧縮符号化する。これにより、情報量が順次低減された複数階層分の階層符号化データが形成され、この複数の階層符号化データを通信路や記録再生経路を介して伝送することができる。
【０００４】
この複数の階層符号化データを復号化する画像信号復号装置では、複数の階層符号化データを全て復号することもでき、またそれぞれに対応するテレビジヨンモニタの解像度等に応じていずれかの階層符号化データのうち所望の１つを選択して復号することもできる。これにより、階層化された複数の階層データから所望の階層データのみについて復号化すれば、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００５】
ここで、図９に示すように、この階層符号化として、例えば４階層の符号化を実現する画像信号符号化装置１は、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に、補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度データＤ５、Ｄ６、Ｄ７にそれぞれ戻す。
【０００６】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７は、それぞれ差分回路８、９、１０に入力され、各差分回路により差分データＤ８、Ｄ９、Ｄ１０が生成される。この差分データＤ８〜Ｄ１０の度数分布は０付近に集中することになるため、画像符号化装置１においては、階層データのデータ量を低減することができると共に、信号電力を低減することができる。また、後段に配置される可変長符号化回路で、ランレングス符号化やハフマン符号化などを使用することにより、さらにデータ量を低減することができる。ここで、この差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が、入力画像データＤ１に対して１、1/4 、1/16、1/64のサイズとなつている。
【０００７】
それぞれの差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタより得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつてそれぞれ符号化されて圧縮処理が施される。この結果、各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が所定の順序で通信路に送出されたり、伝送路を介して記録媒体に記録される。
【０００８】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１０に示す画像信号復号化装置２０によつて復号される。すなわち、それぞれ、入力端子を介して通信路もしくは記録媒体から供給された第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果、復号器２４からは、復号された第４の階層データＤ２４が出力される。
【０００９】
また、復号器２３の出力は、加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして、復号器２２の出力は、加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに、復号器２１の出力は、加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【００１０】
【発明が解決しようとする課題】
ところが、かかる階層符号化を実現する画像信号符号化装置１においては、入力画像データＤ１を複数の階層データに分割して、それぞれの階層データを符号化するため、必然的に階層成分だけ伝送データ量が増加する。したがつて、その分、階層符号化を用いない高能率符号化方式に比して圧縮効率が低下するという問題がある。
【００１１】
また、画像信号復号化装置２０においては、解像度の低い上位階層で復元された階層データに基づいて本来解像度の高い下位階層の階層データを復元するというように、上位階層データから下位階層データに向かつて順に階層データＤ２４、Ｄ２３、Ｄ２２、Ｄ２１を復元する。したがつて、符号化された上位階層の階層データＤ１４やＤ１３を復号したときに、その復号データに圧縮符号化による誤差が含まれると、本来高解像度が望まれる下位階層の復元階層データＤ２１やＤ２２に圧縮符号化誤差が伝播され、下位階層の復元階層データにその誤差に基づく画質劣化が非常に目立つて現れるという問題があつた。
【００１２】
本発明は、以上の点を考慮してなされたもので、画像データを階層符号化する際に圧縮効率を向上し得ると共に、画質劣化を低減し得る画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて符号化された符号化データが記録された記録媒体を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、各階層データを平均値演算により生成した後、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元できる画素データを間引くと共に、上位階層のデータほど量子化ビツト数を多く割り当てて圧縮符号化することにより、間引きによつて伝送画素データが減るため階層構造に基づく伝送画素数の増加を抑制し得ると共に、上位階層のデータほど量子化ビツト数を多く割り当てたことによつて上記階層の量子化誤差に基づく下位階層画像の劣化を抑制し得る。
【００１４】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）実施例
図１は、全体として実施例による画像信号符号化装置４０を示している。この実施例では、３階層分の階層データを形成し、各階層の階層画像データをそれぞれ圧縮符号化して伝送する場合を示している。画像信号符号化装置４０は、例えば、高解像度の16ビツトの入力画像データＤ３１（以下、これを第１階層画像データと呼ぶ）をブロツク化回路４１において２ライン×２画素の小ブロツクに分割して、第１階層のブロツク化データＤ３２を形成し、この第１階層のブロツク化データＤ３２を間引き回路４２及び平均化回路４３に送出する。
【００１６】
平均化回路４３は、ブロツク化データＤ３２の各ブロツク内画素値を平均化して、入力画像データＤ３１に対して1/4 に縮小された第２階層画像データＤ３３を生成し、この第２階層画像データをブロツク化回路４４に送出する。ブロツク化回路４４は、ブロツク化回路４１と同様に、第２階層画像データＤ３３を２ライン×２画素の小ブロツクに分割して、第２階層のブロツク化データＤ３４を形成し、この第２階層のブロツク化データＤ３４を間引き回路４５及び平均化回路４６に送出する。
【００１７】
平均化回路４６は、平均化回路４３と同様に、ブロツク化データＤ３４の各ブロツク内画素値を平均化して、第２階層画像データＤ３３に対して1/4 に縮小された、すなわち第１階層画像データＤ３１に対して1/16に縮小された第３階層画像データＤ３５を生成する。すなわち、この平均化処理に関して、平均化回路４３は、図２（Ｃ）の点線で示すように、第１階層のブロツク内の４画素（例えばＸ11、Ｘ12、Ｘ21、Ｘ22）を用いて、次式、
【数１】
による平均値演算を行い、図２（Ｂ）で示す第２階層の１画素（例えばＹ11）を生成する。なお、画素Ｙ13、Ｙ31、……も第１階層の４画素平均により、同様に生成される。
【００１８】
同様に、平均化回路４６は、図２（Ｂ）に示すような第２階層のブロツク内の４画素（例えばＹ11、Ｙ13、Ｙ31、Ｙ33）を用いて、次式、
【数２】
による平均値演算を行い、図２（Ａ）で示す第３階層の１画素（例えばＺ11）を生成する。なお、画素Ｚ15、Ｚ51、……も第２階層の４画素平均により、同様に生成される。
【００１９】
間引き回路４２、４５は、ブロツク化回路４１からのブロツク化データＤ３２及びブロツク化回路４４からのブロツク化データＤ３４をそれぞれ受信し、４画素で構成されるブロツク化データＤ３２、Ｄ３４のうち１画素を取り除き、各ブロツクにつき取り除かれた１画素を除く３画素で構成される間引きデータＤ３６、Ｄ３７を形成し、この間引きデータＤ３６、Ｄ３７をそれぞれ量子化回路４７、４８に送出する。すなわち、間引き回路４２は、図２（Ｃ）の点線で示すような画素Ｘ11、Ｘ13、……を間引きにより削除し、間引き回路４５は、図２（Ｂ）の点線で示すような画素Ｙ11、Ｙ15、……を間引きにより削除する。
【００２０】
従つて、第１階層の量子化回路４７及び第２階層の量子化回路４８の量子化対象となる画素は、図２（Ｃ）及び図２（Ｂ）の実線で示される画素Ｘ12、Ｘ21、Ｘ22、……やＹ13、Ｙ31、Ｙ33……である。よつて、第１階層について見れば、第１階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減できる。また、第２階層について見れば、平均演算より生成された第２階層の全ての画素を量子化して伝送する場合と比較して、伝送画素を3/4 に低減できる。
【００２１】
また、全体的に見れば、画像信号符号化装置４０においては、第１階層画像データＤ３１のみを圧縮して伝送する場合と比較して、等しい伝送画素数で、複数階層の画像データを伝送することができるようになされている。この結果、画像信号符号化装置４０は、伝送情報量を増加させずに、複数階層の画像データを伝送することができる。なお、間引き回路４２、４５において間引かれた画素は、後述する復号側（受信側）で簡単な算術式を用いて復元することができる。
【００２２】
第１階層の量子化回路４７は、第１階層間引きデータＤ３６の各画素（例えば、１６ビツト）を例えば１ビツトで再量子化することにより圧縮する。そして、この再量子化により得られた再量子化データＤ３８を可変長符号化回路（ＶＬＣ）５０に送出する。第２階層の量子化回路４８は、第２階層間引きデータＤ３７の各画素（例えば、１６ビツト）を例えば４ビツトで再量子化し、この再量子化により得られた再量子化データＤ３９を可変長符号化回路５１に送出する。また第３階層の量子化回路４９は、第３階層画像データＤ３５の各画素（例えば１６ビツト）を例えば１６ビツトで再量子化し、この再量子化により得られた再量子化データＤ４０を可変長符号化回路５２に送出する。
【００２３】
このように、本発明の実施例における画像信号符号化装置４０は、再量子化の際に上位階層データほど大きな量子化ビツト数を割り当てて量子化（すなわち上位階層データほど量子化幅を細かくする）し、上位階層データほど再量子化時の量子化誤差を小さくするようになされている。
【００２４】
可変長符号化回路５０〜５２のそれぞれは、再量子化データＤ３８〜Ｄ４０に対して発生度数の大きい量子化コードほど短いハフマンコードを割り当て、各再量子化データＤ３８〜Ｄ４０を可能な限り少ない符号量で表現した第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を形成する。そして、これら第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を伝送フオーマツト変換回路５３に送出する。
【００２５】
伝送フオーマツト変換回路５３は、第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を所定の順序で配列したり、各階層符号化データの階層を識別するための識別コードを付加することにより、伝送画像データＤ４４を形成して、この伝送画像データＤ４４を出力する。出力された伝送画像データＤ４４は、その後、通信路５４を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体５５に記録される。
【００２６】
このようにして形成された伝送画像データＤ４４を復号する画像信号復号化装置６０は、例えば図３に示すように構成することができる。この画像信号復号化装置６０は、通信路５４を介して供給されるか、もしくは再生伝送路を介して記録媒体５５から再生される伝送画像データＤ４４をデータ分流回路６１に入力する。データ分流回路６１は、図示しないスイツチング回路を有し、伝送画像データＤ４４に含まれる各階層の識別コードを参照して伝送画像データＤ４４を第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２に分流し、これら第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２をそれぞれ可変長復号化回路（ＩＶＬＣ）６２、６３、６４に送出する。
【００２７】
可変長復号化回路６２、６３、６４は、それぞれ上述した図１に示された可変長符号化回路５０、５１、５２と逆の処理を実行し、ハフマン符号によつて表現されている第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２を再量子化コードで表現された再量子化データＤ５３、Ｄ５４、Ｄ５５にそれぞれ変換する。そして、これらの再量子化データＤ５３、Ｄ５４、Ｄ５５をそれぞれ逆量子化回路６５、６６、６７に送出する。
【００２８】
逆量子化回路６５は、上述した図１に示された量子化回路４７によつて１画素当り１ビツトとされた再量子化データＤ５３を例えば１６ビツトのデータに逆量子化し、第１階層間引き復号データＤ５６を生成する。そして、この第１階層間引き復号データＤ５６を合成回路６８及び画素生成回路６９に送出する。逆量子化回路６６は、上述した図１に示された量子化回路４８によつて１画素当り４ビツトとされた再量子化データＤ５４を例えば１６ビツトのデータに逆量子化し、第２階層間引き復号データＤ５７を生成する。そして、この第２階層間引き復号データＤ５７を合成回路７０及び画素生成回路７１に送出する。
【００２９】
逆量子化回路６７は、上述した図１に示された量子化回路４９によつて１画素当り１６ビツトとされた再量子化データＤ５５を例えば１６ビツトのまま第３階層復号画像データＤ５８として出力する。そして、この第３階層復号画像データＤ５８を例えば出力端子を介して表示画素数の少ない低解像度のテレビジヨンモニタに送出すると共に画素生成回路７１に送出する。
【００３０】
画素生成回路７１は、第３階層復号画像データＤ５８と第２階層間引き復号データＤ５７を用いて、上述した図１に示された画像信号符号化装置４０の間引き回路４５で間引かれた第２階層画素（すなわち図２（Ｂ）の点線で示す画素）を復元する。例えば間引きにより削除された第２階層の画素Ｙ11は、次式、
【数３】
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００３１】
合成回路７０は、このようにして生成された第２階層の復元画素データＤ５９を第２階層間引き復号データＤ５７中の所定の位置に挿入して合成することにより、第２階層復号画像データＤ６０を形成する。そして、この第２階層復号画像データＤ６０を例えば出力端子を介して表示画素数が中程度のテレビジヨンモニタに送出すると共に画素生成回路６９に送出する。
【００３２】
画素生成回路６９は、第２階層復号画像データＤ６０と第１階層間引き復号データＤ５６を用いて、上述した図１に示された画像信号符号化装置４０の間引き回路４２で間引かれた第１階層画素（すなわち図２（Ｃ）の点線で示す画素）を復元する。例えば間引きにより削除された第１階層画素Ｘ11は、次式、
【数４】
のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００３３】
合成回路６８は、このようにして生成された第１階層の復元画素データＤ６１を第１階層間引き復号データＤ５６中の所定の位置に挿入して合成することにより、第１階層復号画像データＤ６２を形成する。そして、この第１階層復号画像データＤ６２を出力端子を介して例えば表示画素数が多いハイビジヨンテレビモニタに送出する。
【００３４】
以上の構成において、画像信号符号化装置４０は、下位階層の複数画素の平均値によつて上位階層画素を生成することにより、複数階層の画像データＤ３１、Ｄ３３、Ｄ３５を生成する。
【００３５】
これに加えて、画像信号符号化装置４０は、最上位階層（すなわち第３階層）を除いた階層画像データについて、同じ平均演算に用いた画素のうちの１画素は復号側で簡単な算術演算によつて復元できるので伝送画素から除外する。この結果、画像信号符号化装置４０においては、階層構造に起因する伝送画素数の増加を伴わない階層符号化処理を実現することができる。
【００３６】
ところで、画像信号符号化装置４０では、量子化回路４７〜４９によつて各階層画像データを再量子化することで各階層におけるデータ量を圧縮する。この結果、各再量子化データＤ３８、Ｄ３９、Ｄ４０は必然的に再量子化時の量子化誤差を含む値となる。そしてこの量子化誤差が大きくなるほど、復号画像データＤ５８、Ｄ６０、Ｄ６２は、真値と比較して誤差が大きくなり、画質が劣化することになる。
【００３７】
そこで、画像信号符号化装置４０及び画像信号復号化装置６０における各階層での量子化誤差の影響について考える。ここで、各画素Ｚ11、Ｙ11、……の復号値をＺ11′、Ｙ11′、……とし、真値をＺ11、Ｙ11、……とし、量子化誤差をＥ（Ｚ11）、Ｅ（Ｙ11）……とすると、例えば逆量子化回路６７によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、次式、
【数５】
となる。また、逆量子化回路６６によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数６】
となる。
【００３８】
ところが、画素生成回路７１によつて復元される第２階層画素Ｙ11は、（３）式に基づいて生成されるので、その復号値Ｙ11′は、次式、
【数７】
となり、Ｚ11についての量子化誤差が４倍となつて影響する。
【００３９】
また、逆量子化回路６５によつて得られる第１階層画素Ｘ12、Ｘ21、Ｘ22、Ｘ14、Ｘ23、Ｘ24の復号値Ｘ12′、Ｘ21′、Ｘ22′、Ｘ14′、Ｘ23′、Ｘ24′は、次式、
【数８】
となるが、画素生成回路６９によつて復元される第１階層画素Ｘ13、Ｘ31、Ｘ33は、（４）式に基づいて生成されるので、その復号値Ｘ13′、Ｘ31′、Ｘ33′は、次式、
【数９】
となり、それぞれの復号値Ｘ13′、Ｘ31′、Ｘ33′に、空間的に対応する第２階層画素Ｙ13、Ｙ31、Ｙ33、すなわち対応する上位階層画素についての量子化誤差が４倍となつて影響する。
【００４０】
さらに、画素生成回路７１を経て画素生成回路６９によつて復元される第１階層画素Ｘ11においては、その復号値Ｘ11′は、次式、
【数１０】
で示すように、復号値Ｘ11′に、第２階層画素Ｙ13、Ｙ31、Ｙ33についての量子化誤差が４倍となつて影響するのに加えて、第３階層画素Ｚ11についての量子化誤差が１６倍となつて影響する。
【００４１】
図４は、この各復号画素値Ｚ11′、Ｙ11′、Ｙ13′、……に対する各量子化誤差Ｅ（Ｚ11）、Ｅ（Ｙ13）、Ｅ（Ｙ31）、……の影響の大きさの様子を示している。図４を見れば明らかなように、上位階層での量子化誤差は下位階層での復号値に大きな影響を及ぼす。
【００４２】
これを考慮して本発明においては、上位階層の量子化回路ほど細かい量子化を行うことにより上位階層の量子化誤差を小さくして、下位階層での画質劣化を低減し得るようになされている。具体的には、上述したように画像信号符号化装置４０における量子化回路４７、４８、４９の各量子化ビツトをそれぞれ１ビツト、４ビツト、１６ビツトと選定することにより、上位階層ほど細かい量子化を行う。この場合の量子化ビツト数は、下位階層データを復号する際の復元画素値に与える上位階層における量子化誤差の影響の程度を考慮して選定する。
また、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、量子化ビツト数は、最下位階層からの階層段数及び上位階層データを生成するときに使用する画素数に応じて選定してもよい。
【００４３】
この結果、例えば（１０）式について考えると、量子化誤差Ｅ（Ｚ11）の誤差の程度は、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と比べて１／１６倍となり、また、量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）の程度は、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と比べると１／４倍となることにより、復号時に量子化誤差Ｅ（Ｚ11）の誤差を１６倍したり、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）を４倍しても、これから得られる誤差は、逆量子化回路６５から直接得られる量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と同程度となる。従つて、上位階層での量子化歪みに基づく下位階層画像の画質劣化を格段に低減し得る。
【００４４】
なお、この実施例では、上位階層の量子化ビツト数を多くしているので、その分伝送情報量も増えるように見えるが、上位階層ほど画素数が少ないので量子化ビツト数を多くすることによる情報量の増加は、実際上問題とならない程度に抑えられている。
【００４５】
さらに、上述の実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトに選定するようにした場合について述べたが、本発明はこれに限らず、上位階層データの量子化誤差の下位階層データの影響度を考慮して、上位階層の量子化回路ほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにすれば良い。または、上述の実施例においては、各階層において、量子化ビツト数を決定する際に、最下位階層からの段数及び上位階層データを生成するときに使用する画素数に応じて、量子化ビツト数を決定するようにすればよい。
【００４６】
以上の実施例の構成によれば、入力画像データＤ３１から平均値演算によりそれぞれ解像度の異なる複数の階層画像データＤ３１、Ｄ３３、Ｄ３５を生成し、これらの複数の階層画像データＤ３１、Ｄ３３、Ｄ３５をそれぞれ量子化して複数の階層符号化データＤ４１、Ｄ４２、Ｄ４３を生成する画像信号符号化装置４０において、最上位階層を除く各階層の画素のうち隣接上位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる画素Ｙ１１、Ｙ１５、……、Ｘ１１、Ｘ１３、……を伝送しないようにすると共に、上位階層の量子化回路ほど細かい量子化を行うようにしたことにより、伝送画素情報を少なくできるため圧縮効率を向上し得、下位階層画素に対する上位階層画素の量子化誤差の影響を小さくできるため画質劣化を低減し得る。また、この場合、上位階層データの量子化誤差の下位階層データの影響度を考慮して上位階層の量子化回路ほど細かい量子化を行うことにより、画質劣化を低減できる。
【００４７】
また上述した本発明の実施例から明らかなように、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。
【００４８】
（２）第１参考例
図５は、全体として第１参考例の画像信号符号化装置８０を示している。上述の実施例と比較して、最上位階層を除いて階層間データの残差（差分）を圧縮符号化する点と量子化回路の量子化ビツト割り当てが異なる点を除いて、図１の画像信号符号化装置４０と同様の構成を有する。したがつて、図１と対応する部分については同一符号を付す。
【００４９】
すなわち、上述の実施例の画像信号符号化装置４０が各画素をＰＣＭ（Pulse Code Modulation）の形式で伝送するようになされているのに対して、この第１参考例の画像信号符号化装置８０は、各画素をＤＰＣＭ（Differential Pulse Code Modulation）の形式で伝送するようになされている。これにより、画像信号符号化装置８０は、上述の実施例と比較して、一段と伝送情報量を低減させることができる。
【００５０】
具体的に説明すると、画像信号符号化装置８０は、第３階層画像データＤ３５及び第２階層ブロツク化データＤ３４を差分回路８１に供給する。差分回路８１は、第３階層画像データＤ３５と第２階層ブロツク化データＤ３４との間で空間的に対応する画素同士の差分を演算し、第２階層差分データＤ７０を形成し、この第２階層差分データＤ７０を間引き回路８２に送出する。このとき、差分回路８１は、第２階層画素Ｙ13、Ｙ31、Ｙ33の差分値ΔＹ13、ΔＹ31、ΔＹ33を、これらの画素に対応する上位階層画素Ｚ11を用いて、次式、
【数１１】
のようにして求める。
【００５１】
画像信号符号化装置８０は、同様にして第２階層ブロツク化データＤ３４及び第１階層ブロツク化データＤ３２を差分回路８３に供給する。差分回路８３は、第２階層ブロツク化データＤ３４と第１階層ブロツク化データＤ３２との間で空間的に対応する画素同士の差分を演算し、第１階層差分データＤ７１を形成し、この第１階層差分データＤ７１を間引き回路８４に送出する。このとき、差分回路８３は、第１階層画素Ｘ12、Ｘ21、Ｘ22の差分値ΔＸ12、ΔＸ21、ΔＸ22を、これらの画素に対応する上位階層画素Ｙ11を用いて、次式、
【数１２】
のようにして求める。
【００５２】
間引き回路８４、８２のそれぞれは、上述した図１に示された間引き回路４２、４５と同様に、ブロツク化回路４１からのブロツク化データＤ３２及びブロツク化回路４４からのブロツク化データＤ３４をそれぞれ受信する。そして、４画素で構成されるブロツク化データＤ３２、Ｄ３４に対応して各ブロツクにつき４画素で構成されている第１階層及び第２階層差分データＤ７１、Ｄ７０の中からそれぞれ１画素を間引き、各ブロツクにつき取り除かれた１画素を除く残り３画素によつて構成される階層差分間引きデータＤ７２、Ｄ７３を形成し、この階層差分間引きデータＤ７２、Ｄ７３をそれぞれ量子化回路８５、８６に送出する。
【００５３】
ここで第１階層の量子化回路８５、第２階層の量子化回路８６及び第３階層の量子化回路８７は、後述する理由により、各画素の再量子化に割り当てる量子化ビツト数がそれぞれ、１ビツト、２ビツト及び４ビツトに選定されている。画像信号符号化装置８０においては、各量子化回路８５、８６及び８７としてこのような量子化特性を持たせることにより、復号側において特に下位階層画像の画質劣化を低減し得るようになされている。
【００５４】
また、量子化回路８５、８６は、零付近ほど量子化ステツプ幅が小さく（細かく）なるように量子化特性が選定されている。これにより零付近にデータが集中する階層差分間引きデータＤ７２、Ｄ７３に対して量子化誤差の小さな再量子化を施すことができるようになされている。つまり、画像信号の階層間の画素には相関があるため、差分データは０になる可能性が高く、差分データが０近傍に集中するためである。
【００５５】
量子化回路８５、８６、８７により得られた再量子化データＤ７４、Ｄ７５、Ｄ７６は可変長符号化回路（ＶＬＣ）５０、５１、５２によつてそれぞれ可変長符号化され、第１階層、第２階層及び第３階層符号化データＤ７７、Ｄ７８、Ｄ７９として出力される。そしてこれらの第１階層、第２階層及び第３階層符号化データＤ７７、Ｄ７８、Ｄ７９が続く伝送フオーマツト変換回路５３に入力され、伝送フオーマツト変換回路５３は伝送画像データＤ８０を形成してそれを出力する。この出力された伝送画像データＤ８０は、その後、通信路８８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体８９に記録される。
【００５６】
図６は、画像信号符号化装置８０により圧縮符号化された伝送画像データＤ８０を復号する画像信号復号化装置９０の構成を示している。画像信号復号化装置９０において、図３に示された画像信号復号化装置６０との対応部分に同一符号を付している。画像信号復号化装置９０は、通信路８８を介して供給されるか、もしくは再生伝送路を介して記録媒体８９から再生される伝送画像データＤ８０をデータ分流回路６１に入力する。データ分流回路６１は、伝送画像データＤ８０を第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３に分流し、これらの第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３は、可変長復号化回路（ＩＶＬＣ）６２、６３及び６４にそれぞれ供給される。可変長復号化回路（ＩＶＬＣ）６２、６３及び６４のそれぞれは、第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３をそれぞれ可変長復号し、再量子化データＤ８４、Ｄ８５、Ｄ８６を形成し、これらの再量子化データＤ８４、Ｄ８５、Ｄ８６を逆量子化回路９１、９２及び９３にそれぞれ送出する。なお、可変長復号化回路（ＩＶＬＣ）６２、６３及び６４は、図５で示された可変長符号化回路（ＶＬＣ）５０、５１及び５２にそれぞれ対応する逆処理を実行する。
【００５７】
逆量子化回路９１、９２及び９３は、１画素当り１ビツト、２ビツト及び４ビツトに再量子化されてなる再量子化データＤ８４、Ｄ８５及びＤ８６を１画素当り１６ビツトでなるデータにそれぞれ逆量子化し、第１階層及び第２階層の階層差分間引きデータＤ８７及びＤ８８並びに第３階層復号画像データＤ８９をそれぞれ生成する。なお、逆量子化回路９１、９２及び９３は、図５で示された量子化回路８５、８６及び８７にそれぞれ対応する逆処理を実行する。
【００５８】
第３階層復号画像データＤ８９は、そのまま低解像度のテレビジヨンモニタ等に出力されると共に、加算回路９４及び画素生成回路９５に送出される。加算回路９４は、次式、
【数１３】
のような加算演算を行い、第２階層間引き復号データＤ９０を算出する。
【００５９】
画素生成回路９５は、第２階層差分間引きデータＤ８８と第３階層復号画像データＤ８９とを用いて、図５で示された間引き回路８２で間引かれた第２階層画素Ｙ11を、次式、
【数１４】
により求める。この（１４）式は、上述した（３）式と比較すると、第３階層画素Ｚ11の乗算係数が（３）式では「４」であつたのに対して、この式では「１」となつていることが分かる。このことは（１４）式において、第２階層の画素値に対する第３階層の画素値の影響が（３）式と比べて小さいことを意味する。
【００６０】
合成回路９６は、第２階層間引き復号データＤ９０と第２階層復元画素データＤ９１とを合成して第２階層復号画像データＤ９２を形成し、この第２階層復号画像データＤ９２を出力端子を介してテレビジヨンモニタ等に出力すると共に、加算回路９７及び画素生成回路９８に送出する。加算回路９７は、次式、
【数１５】
のような加算演算を行い、第１階層間引き復号データＤ９３を算出する。
【００６１】
画素生成回路９８は、第１階層差分間引きデータＤ８７と第２階層復号画像データＤ９２とを用いて、図５に示された間引き回路８４で間引かれた第１階層画素Ｘ１３、Ｘ３１、Ｘ３３を、次式、
【数１６】
により求める。また、画素生成回路９８は、間引かれた第１階層画素Ｘ１１を、次式、
【数１７】
により求める。
【００６２】
合成回路９９は、第１階層間引き復号データＤ９３と第１階層復元画素データＤ９４とを合成して、第１階層復号画像データＤ９５を形成する。そして、この第１階層復号画像データＤ９５を出力端子を介して、例えば高解像度のテレビジヨンモニタ等に出力する。
【００６３】
次に、上述の実施例と同様に、この第１参考例の画像信号符号化装置８０及び画像信号復号化装置９０における各階層での量子化誤差の影響について考える。ここで、第１参考例における量子化回路８７と逆量子化回路９３、量子化回路８６と逆量子化回路９２、量子化回路８５と逆量子化回路９１で設定されている量子化ビツト数が、上述の実施例と異なるため、量子化誤差について同じように説明することは実際上できないが、以下の説明では上述の実施例及び第１参考例の量子化ビツト数が階層毎に同じものとして考える。
【００６４】
逆量子化回路９３によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、（５）式と同じとなる。また加算回路９４によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数１８】
で示す値となる。
【００６５】
また、画素生成回路９５によつて復元される第２階層画素Ｙ１１は、（１４）式に基づいて生成されるので、その復号値Ｙ１１′は、次式、
【数１９】
で示す値となる。この（１９）式を上述した（７）式と比較すると、第３階層画素Ｚ１１の量子化誤差Ｅ（Ｚ１１）の乗算係数が（７）式では「４」であつたのに対して、「１」となつていることが分かる。このことは、この参考例の符号化復号化によれば、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を１／４程度に低減させることができることを意味する。つまり、上述の実施例では、例えば、（６）、（７）式から明らかなように、第３階層の画素Ｚ１１の量子化誤差は、第２階層の復号画素値Ｙ１１′のみに反映されており、第２階層の復号画素値Ｙ１３′、Ｙ３１′、Ｙ３３′には反映されていない。しかしながら、第２の実施例では、（１８）、（１９）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ１１の量子化誤差は、第２階層の復号画素値Ｙ１１′、Ｙ１３′、Ｙ３１′、Ｙ３３′のすべてに反映されることになる。したがつて、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を低減させることができる。
【００６６】
また差分回路９７によつて得られる第１階層画素Ｘ１２、Ｘ２１、Ｘ２２、Ｘ３２、Ｘ４１、Ｘ４２の復号値Ｘ１２′、Ｘ２１′、Ｘ２２′、Ｘ３２′、Ｘ４１′、Ｘ４２′は、次式、
【数２０】
で示される値となり、画素生成回路９８によつて復元される第１階層画素Ｘ３１の復号値Ｘ３１′は、次式、
【数２１】
で示される値となる。
【００６７】
さらに画素生成回路９５を経て画素生成回路９８によつて復元される第１階層画素Ｘ１１の復号値Ｘ１１′は、次式、
【数２２】
で示される値となり、Ｚ１１についての量子化誤差が等倍となつて影響し、Ｙ１３、Ｙ３１、Ｙ３３についての量子化誤差も等倍となつて影響する。しかしながらこの（２２）式と（１０）式を比較すれば明らかなように、Ｚ１１、Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差が復号値Ｘ１１′に与える影響は上述の実施例の場合よりも格段に低減されている。つまり、上述の実施例では、例えば、（９）、（１０）式から明らかなように、第３階層の画素Ｚ１１の量子化誤差及び第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差は、第１階層の復号画素値Ｘ１１′のみに反映されており、第１階層の復号画素Ｘ１２′、Ｘ２１′、Ｘ２２′には反映されていない。
しかしながら、第２の実施例では、（２０）、（２１）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ１１の量子化誤差及び第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差は、第１階層の復号画素Ｘ１１′、Ｘ１２′、Ｘ２１′、Ｙ２２′に反映されることになる。したがつて、第３階層画素の量子化誤差及び第２階層画素の量子化誤差が第１階層画素の復号に与える影響を低減させることができる。
【００６８】
この第１参考例の画像信号符号化装置８０においては、上述の実施例において各量子化回路４７、４８、４９にそれぞれ１ビツト、４ビツト、１６ビツトの量子化ビツトを持たせたのに対し、各量子化回路８５、８６、８７にそれぞれ１ビツト、２ビツト、４ビツトの量子化ビツトを持たせれば上位階層での量子化誤差に基づく下位階層での画質劣化を十分に抑制することができる。つまり、量子化ビツト数は、下位階層に与える量子化誤差の影響度によつて決定されている。また、量子化ビツト数は、最下位階層からの階層段数及び上位階層画素を生成するために使用される画数に応じて決定されてもよい。この結果、画像信号符号化装置８０においては、一段と少ない伝送情報量で高画質の復元画像を得ることができる。
【００６９】
以上の第１参考例の構成によれば、入力画像データＤ３１から平均値演算により得た複数の階層画像データの各階層データと隣接上位階層データとの階層差分データを生成し、最上位階層データＤ３５と複数の階層差分データＤ７２、Ｄ７３をそれぞれ量子化して複数の階層符号化データを生成する画像信号符号化装置８０において、最上位階層を除く各階層の画素のうち隣接下位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる差分画素データΔＹ１１、ΔＹ１５、……、ΔＸ１１、ΔＸ１３……を伝送しないようにするとともに、上位階層の量子化回路ほど細かい量子化を行うようにしたことにより、画質劣化を抑制した状態で一段と伝送情報量を削減できる。また、この場合、上位階層データの量子化誤差の下位階層データの影響度を考慮して、上位階層の量子化回路ほど、細かい量子化を行うことにより、画質劣化を低減できる。
また上述した本発明の第１参考例から明らかなように、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。
また、以上の第１参考例から明らかなように、階層間の差分データを得ることにより、復号時に間引かれた画素にだけ上位階層画素の量子化誤差を反映させるのではなく、間引きデータを復号するために使用される伝送画素にも上位階層画素の量子化誤差を反映させるようにすれば、さらに、画質劣化を低減した画像符号化装置を提供することができる。
【００７０】
（３）第２参考例
図７は、全体として第２参考例の画像信号符号化装置１００を示している。この画像信号符号化装置１００は、第１参考例と比較して、適応予測回路１０１及び１０２を設けたことを除いて第１参考例の画像信号符号化装置８０と同様の構成を有する。したがつて、図５と対応部分に同一符号を付して示してしている。
【００７１】
適応予測回路１０１は、第３階層画像データＤ３５に基づいて所定の予測処理を行い、第２階層画像データＤ３４に対応する第２階層予測データＤ１００を生成する。そして、この第２階層予測データＤ１００を差分回路８１に送出する。同様に、適応予測回路１０２は、第２階層画像データＤ３４に基づいて所定の予測処理を行い、第１階層画像データＤ３２に対応する第１階層予測データＤ１０１を生成する。そして、この第１階層予測データＤ１０１を差分回路８３に送出する。
【００７２】
実際上、適応予測回路１０１及び１０２は、クラス分類適応処理を適用して、複数の上位階層画素から下位階層の１画素を予測する。具体的には、予測しようとする下位階層の画素をその空間的に近傍の複数の上位階層画素のレベル分布に基づいてクラス分類する。また、適応予測回路１０１及び１０２は、予め学習によつて獲得された、クラス毎に複数の予測係数あるいは１個の予測値を格納したメモリ（図示せず）を有し、上記クラス分類で決定されたクラスに対応した複数の予測係数あるいは１個の予測値をメモリから読み出す。予測値の場合は、その予測値がそのまま予測画素として使用され、予測係数の場合は、複数の予測係数と複数の画素との線形一次結合により予測値を生成する。また、予測値は正規化されている場合は、この予測値に所定の処理を施して予測画素を生成する。このようなクラス分類適応処理の詳細は、例えば特願平4-155719号に開示されている。また、このようなクラス分類適応処理のアルゴリズムは、すでに知られている。また、第２参考例における適応予測回路において、クラス分類適応処理のアルゴリズムを用いているが、本発明はこれに限らず、現在知られている他の予測方法を用いてもよい。
【００７３】
画像信号符号化装置１００により圧縮符号化された伝送画像データＤ８０′を復号する画像信号復号化装置９０′の構成を図８に示す。この画像信号復号化装置９０′は、第１参考例の画像信号復号化装置９０と比較して、適応予測回路１０１′及び１０２′を設けたことを除いて第１参考例の画像信号復号化装置９０と同様の構成を有する。したがつて図６との対応部分に同一符号を付して示している。
【００７４】
この第２参考例による画像信号復号化装置９０′において、第３階層復号データＤ８９′を入力する第１の適応予測回路１０１′は、図７に示した適応予測回路１０１に対応するクラス分類適応処理を第３階層復号データＤ８９′に基づいて実行し、この結果得られる第２階層予測データＤ１００′を画素生成回路９５に送出する。画素生成回路９５は、第２階層の逆量子化回路９２から出力される第２階層差分間引きデータＤ８８′と第２階層予測データＤ１００′とを用いて、図７で示された間引き回路８２で間引かれた第２階層画素を生成する。また、第３階層復号データＤ８９′に基づいて第１の適応予測回路１０１′によつて得られた第２階層予測データＤ１００′は、第２階層の逆量子化回路９２から出力される第２階層差分間引きデータＤ８８′に加算される。この加算により得られる第２階層間引き復号データＤ９０′は、画素生成回路９５によつて生成された第２階層画素Ｄ９１′と合成され、第２階層復号画像データＤ９２′となる。
【００７５】
また、第２階層復号データＤ９２′を入力する第２の適応予測回路１０２′は、図７に示した適用予測回路１０２に対応するクラス分類適応処理を第２階層復号データＤ９２′に基づいて実行し、この結果得られる第１階層予測データＤ１０１′を画素生成回路９８に送出する。画素生成回路９８は、第１階層の逆量子化回路９１から出力される第１階層差分間引きデータＤ８７′と第１階層予測データＤ１０１′とを用いて、図７で示された間引き回路８４で間引かれた第１階層画素を生成する。また、第２階層復号データＤ９２′に基づいて第２の適応予測回路１０２′によつて得られた第１階層予測データＤ１０１′は、第１階層の逆量子化回路９１から出力される第１階層差分間引きデータＤ８７′に加算される。この加算により得られる第１階層間引き復号データＤ９３′は、画素生成回路９８によつて生成された第１階層画素Ｄ９４′と合成され、第１階層復号画像データＤ９５′となる。
【００７６】
以上の第２参考例の構成によれば、画像信号符号化装置１００の差分回路８３及び８１から得られる第１階層差分データＤ７１′及び第２階層差分データＤ７０′の残差を一段と小さくできるので、伝送情報量を一段と低減し得る画像信号符号化装置１００を実現できる。
【００７７】
（４）他の実施例
なお、上述の実施例においては、３階層分の階層画像データＤ３１、Ｄ３４、Ｄ３５を生成し、これを圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、順次平均値演算を繰り返すことにより４階層や５階層分の階層画像データを生成し、これを量子化によつて圧縮符号化して伝送する場合にも適用し得る。
また、上述の実施例においては、下位階層の４画素を用いた平均値演算によつて上位階層の１画素を生成する場合について述べたが、本発明はこれに限らず、例えば下位階層の６画素もしくはそれ以上の画素を用いた平均値演算によつて上位階層の１画素を生成するようにして階層画像データを生成するようにしても良い。
【００７８】
また、上述した実施例においては、量子化器をすべて線形量子化器として記載したが、本発明はこれに限らず、非線型量子化や適応量子化、さらには、ダイナミツクレンジに応じた適用量子化などを適用してもよい。
さらに、本発明の実施例は、ブロツク図を用いて示したハードウエアによつて実現しているが、本発明はこれに限らず、ＣＰＵやメモリなどを用いてソフトウエアで実現することも可能である。
【００７９】
さらに上述の実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトに選定すると共に、上述の第２実施例においては、量子化回路８５、８６、８７の量子化ビツト数をそれぞれ１ビツト、２ビツト、４ビツトに選定するようにした場合について述べたが、本発明はこれに限らず、要は上位階層の量子化回路ほど量子化幅を小さくして細かい量子化を行うようにすれば良い。
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考え得る。したがつて、本発明の要旨は、実施例に限定されるものではない。
【００８０】
【発明の効果】
上述のように本発明によれば、解像度の最も低い最上位階層を除く各階層画像データについて、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元可能な画素を伝送対象から除外すると共に、上位階層のデータほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにしたことにより、圧縮効率が向上しかつ画質劣化が低減した階層符号化を実現することができる。
【図面の簡単な説明】
【図１】 本実施例による画像信号符号化装置の構成を示すブロツク図である。
【図２】 階層化及び伝送画素の説明に供する略線図である。
【図３】 本実施例による画像信号復号化装置の構成を示すブロツク図である。
【図４】 各階層における量子化誤差が各階層の復元画素に与える影響を表わす略線図である。
【図５】 第１参考例による画像信号符号化装置の構成を示すブロツク図である。
【図６】 第１参考例による画像信号復号化装置の構成を示すブロツク図である。
【図７】 第２参考例による画像信号符号化装置の構成を示すブロツク図である。
【図８】 第２参考例による画像信号復号化装置の構成を示すブロツク図である。
【図９】 従来の画像信号符号化装置の構成を示すブロツク図である。
【図１０】 従来の階層符号化データを復号する画像信号復号化装置の構成を示すブロツク図である。
【符号の説明】
４０、８０、１００……画像信号符号化装置、４３、４６……平均化回路、４２、４５、８２、８４……間引き回路、４７〜４９、８５〜８７……量子化回路、６０、９０、９０′……画像信号復号化装置、１０１、１０２、１０１′、１０２′……適応予測回路、Ｄ３１……入力画像データ、Ｄ３３……第２階層画像データ、Ｄ３５……第３階層画像データ、Ｄ４１、Ｄ７７、Ｄ７７′……第１階層符号化データ、Ｄ４２、Ｄ７８、Ｄ７８′……第２階層符号化データ、Ｄ４３、Ｄ７９、Ｄ７９′……第３階層符号化データ、Ｄ４４、Ｄ８０、Ｄ８０′……伝送画像データ、Ｄ５８、Ｄ８９、Ｄ８９′……第３階層復号画像データ、Ｄ６０、Ｄ９２、Ｄ９２′……第２階層復号画像データ、Ｄ６２、Ｄ９５、Ｄ９５′……第１階層復号画像データ、Ｄ７０、Ｄ７０′……第２階層差分データ、Ｄ７１、Ｄ７１′……第１階層差分データ、Ｄ１００、Ｄ１００′……第２階層予測データ、Ｄ１０１、Ｄ１０１′……第１階層予測データ、Ｚ……第３階層画素、Ｙ……第２階層画素、Ｘ……第１階層画素。
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術（図９及び図１０）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）実施例（図１〜図４）
（２）第１参考例（図５及び図６）
（３）第２参考例（図７及び図８）
（４）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて生成された符号化データが記録された記録媒体に関し、特に所定の画像データを異なる解像度でなる複数階層の画像データに分割し、それぞれの階層の画像データを符号化して、符号化データを生成する（すなわち画像データを階層符号化する）場合に適用して好適なものである。
【０００３】
【従来の技術】
従来、この種の画像信号符号化装置においては、高解像度の入力画像データを第１の階層画像データとして、この第１の階層データよりも解像度の低い第２の階層データ、さらに第２の階層データよりも解像度の低い第３の階層データ、……を順次形成し、これら複数の階層データをそれぞれ圧縮符号化する。これにより、情報量が順次低減された複数階層分の階層符号化データが形成され、この複数の階層符号化データを通信路や記録再生経路を介して伝送することができる。
【０００４】
この複数の階層符号化データを復号化する画像信号復号装置では、複数の階層符号化データを全て復号することもでき、またそれぞれに対応するテレビジヨンモニタの解像度等に応じていずれかの階層符号化データのうち所望の１つを選択して復号することもできる。これにより、階層化された複数の階層データから所望の階層データのみについて復号化すれば、必要最小限の伝送データ量で所望の画像データを得ることもできる。
【０００５】
ここで、図９に示すように、この階層符号化として、例えば４階層の符号化を実現する画像信号符号化装置１は、それぞれ３段分の間引きフイルタ２、３、４と補間フイルタ５、６、７とを有し、入力画像データＤ１について各段の間引きフイルタ２、３、４によつて順次解像度の低い縮小画像データＤ２、Ｄ３、Ｄ４を形成すると共に、補間フイルタ５、６、７により縮小画像データＤ２、Ｄ３、Ｄ４を縮小前の解像度データＤ５、Ｄ６、Ｄ７にそれぞれ戻す。
【０００６】
各間引きフイルタ２〜４の出力Ｄ２〜Ｄ４及び各補間フイルタ５〜７の出力Ｄ５〜Ｄ７は、それぞれ差分回路８、９、１０に入力され、各差分回路により差分データＤ８、Ｄ９、Ｄ１０が生成される。この差分データＤ８〜Ｄ１０の度数分布は０付近に集中することになるため、画像符号化装置１においては、階層データのデータ量を低減することができると共に、信号電力を低減することができる。また、後段に配置される可変長符号化回路で、ランレングス符号化やハフマン符号化などを使用することにより、さらにデータ量を低減することができる。ここで、この差分データＤ８〜Ｄ１０及び縮小画像データＤ４はそれぞれ面積が、入力画像データＤ１に対して１、1/4 、1/16、1/64のサイズとなつている。
【０００７】
それぞれの差分回路８〜１０より得られる差分データＤ８〜Ｄ１０及び間引きフイルタより得られる縮小画像データＤ４は、各符号器１１、１２、１３、１４によつてそれぞれ符号化されて圧縮処理が施される。この結果、各符号器１１、１２、１３、１４から解像度の異なる第１、第２、第３及び第４の階層データＤ１１、Ｄ１２、Ｄ１３及びＤ１４が所定の順序で通信路に送出されたり、伝送路を介して記録媒体に記録される。
【０００８】
このようにして伝送される第１〜第４の階層データＤ１１〜Ｄ１４は、図１０に示す画像信号復号化装置２０によつて復号される。すなわち、それぞれ、入力端子を介して通信路もしくは記録媒体から供給された第１〜第４の階層データＤ１１〜Ｄ１４は、それぞれ復号器２１、２２、２３、２４によつて復号され、この結果、復号器２４からは、復号された第４の階層データＤ２４が出力される。
【０００９】
また、復号器２３の出力は、加算回路２９において補間フイルタ２６より得られる第４の階層データＤ２４の補間データと加算され、これにより第３の階層データＤ２３が復元される。同様にして、復号器２２の出力は、加算回路３０において補間フイルタ２７より得られる第３の階層データＤ２３の補間データと加算され、これにより第２の階層データＤ２２が復元される。さらに、復号器２１の出力は、加算回路３１において補間フイルタ２８より得られる第２の階層データＤ２２の補間データと加算され、これにより第１の階層データＤ２１が復元される。
【００１０】
【発明が解決しようとする課題】
ところが、かかる階層符号化を実現する画像信号符号化装置１においては、入力画像データＤ１を複数の階層データに分割して、それぞれの階層データを符号化するため、必然的に階層成分だけ伝送データ量が増加する。したがつて、その分、階層符号化を用いない高能率符号化方式に比して圧縮効率が低下するという問題がある。
【００１１】
また、画像信号復号化装置２０においては、解像度の低い上位階層で復元された階層データに基づいて本来解像度の高い下位階層の階層データを復元するというように、上位階層データから下位階層データに向かつて順に階層データＤ２４、Ｄ２３、Ｄ２２、Ｄ２１を復元する。したがつて、符号化された上位階層の階層データＤ１４やＤ１３を復号したときに、その復号データに圧縮符号化による誤差が含まれると、本来高解像度が望まれる下位階層の復元階層データＤ２１やＤ２２に圧縮符号化誤差が伝播され、下位階層の復元階層データにその誤差に基づく画質劣化が非常に目立つて現れるという問題があつた。
【００１２】
本発明は、以上の点を考慮してなされたもので、画像データを階層符号化する際に圧縮効率を向上し得ると共に、画質劣化を低減し得る画像信号符号化方法、画像信号符号化装置、画像信号伝送方法及び、画像信号復号装置によつて復号可能な画像信号符号化方法又は装置によつて符号化された符号化データが記録された記録媒体を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、各階層データを平均値演算により生成した後、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元できる画素データを間引くと共に、上位階層のデータほど量子化ビツト数を多く割り当てて圧縮符号化することにより、間引きによつて伝送画素データが減るため階層構造に基づく伝送画素数の増加を抑制し得ると共に、上位階層のデータほど量子化ビツト数を多く割り当てたことによつて上記階層の量子化誤差に基づく下位階層画像の劣化を抑制し得る。
【００１４】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）実施例
図１は、全体として実施例による画像信号符号化装置４０を示している。この実施例では、３階層分の階層データを形成し、各階層の階層画像データをそれぞれ圧縮符号化して伝送する場合を示している。画像信号符号化装置４０は、例えば、高解像度の16ビツトの入力画像データＤ３１（以下、これを第１階層画像データと呼ぶ）をブロツク化回路４１において２ライン×２画素の小ブロツクに分割して、第１階層のブロツク化データＤ３２を形成し、この第１階層のブロツク化データＤ３２を間引き回路４２及び平均化回路４３に送出する。
【００１６】
平均化回路４３は、ブロツク化データＤ３２の各ブロツク内画素値を平均化して、入力画像データＤ３１に対して1/4 に縮小された第２階層画像データＤ３３を生成し、この第２階層画像データをブロツク化回路４４に送出する。ブロツク化回路４４は、ブロツク化回路４１と同様に、第２階層画像データＤ３３を２ライン×２画素の小ブロツクに分割して、第２階層のブロツク化データＤ３４を形成し、この第２階層のブロツク化データＤ３４を間引き回路４５及び平均化回路４６に送出する。
【００１７】
平均化回路４６は、平均化回路４３と同様に、ブロツク化データＤ３４の各ブロツク内画素値を平均化して、第２階層画像データＤ３３に対して1/4 に縮小された、すなわち第１階層画像データＤ３１に対して1/16に縮小された第３階層画像データＤ３５を生成する。すなわち、この平均化処理に関して、平均化回路４３は、図２（Ｃ）の点線で示すように、第１階層のブロツク内の４画素（例えばＸ11、Ｘ12、Ｘ21、Ｘ22）を用いて、次式、
【数１】
【００１８】
同様に、平均化回路４６は、図２（Ｂ）に示すような第２階層のブロツク内の４画素（例えばＹ11、Ｙ13、Ｙ31、Ｙ33）を用いて、次式、
【数２】
【００１９】
間引き回路４２、４５は、ブロツク化回路４１からのブロツク化データＤ３２及びブロツク化回路４４からのブロツク化データＤ３４をそれぞれ受信し、４画素で構成されるブロツク化データＤ３２、Ｄ３４のうち１画素を取り除き、各ブロツクにつき取り除かれた１画素を除く３画素で構成される間引きデータＤ３６、Ｄ３７を形成し、この間引きデータＤ３６、Ｄ３７をそれぞれ量子化回路４７、４８に送出する。すなわち、間引き回路４２は、図２（Ｃ）の点線で示すような画素Ｘ11、Ｘ13、……を間引きにより削除し、間引き回路４５は、図２（Ｂ）の点線で示すような画素Ｙ11、Ｙ15、……を間引きにより削除する。
【００２０】
従つて、第１階層の量子化回路４７及び第２階層の量子化回路４８の量子化対象となる画素は、図２（Ｃ）及び図２（Ｂ）の実線で示される画素Ｘ12、Ｘ21、Ｘ22、……やＹ13、Ｙ31、Ｙ33……である。よつて、第１階層について見れば、第１階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減できる。また、第２階層について見れば、平均演算より生成された第２階層の全ての画素を量子化して伝送する場合と比較して、伝送画素を3/4 に低減できる。
【００２１】
また、全体的に見れば、画像信号符号化装置４０においては、第１階層画像データＤ３１のみを圧縮して伝送する場合と比較して、等しい伝送画素数で、複数階層の画像データを伝送することができるようになされている。この結果、画像信号符号化装置４０は、伝送情報量を増加させずに、複数階層の画像データを伝送することができる。なお、間引き回路４２、４５において間引かれた画素は、後述する復号側（受信側）で簡単な算術式を用いて復元することができる。
【００２２】
第１階層の量子化回路４７は、第１階層間引きデータＤ３６の各画素（例えば、１６ビツト）を例えば１ビツトで再量子化することにより圧縮する。そして、この再量子化により得られた再量子化データＤ３８を可変長符号化回路（ＶＬＣ）５０に送出する。第２階層の量子化回路４８は、第２階層間引きデータＤ３７の各画素（例えば、１６ビツト）を例えば４ビツトで再量子化し、この再量子化により得られた再量子化データＤ３９を可変長符号化回路５１に送出する。また第３階層の量子化回路４９は、第３階層画像データＤ３５の各画素（例えば１６ビツト）を例えば１６ビツトで再量子化し、この再量子化により得られた再量子化データＤ４０を可変長符号化回路５２に送出する。
【００２３】
このように、本発明の実施例における画像信号符号化装置４０は、再量子化の際に上位階層データほど大きな量子化ビツト数を割り当てて量子化（すなわち上位階層データほど量子化幅を細かくする）し、上位階層データほど再量子化時の量子化誤差を小さくするようになされている。
【００２４】
可変長符号化回路５０〜５２のそれぞれは、再量子化データＤ３８〜Ｄ４０に対して発生度数の大きい量子化コードほど短いハフマンコードを割り当て、各再量子化データＤ３８〜Ｄ４０を可能な限り少ない符号量で表現した第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を形成する。そして、これら第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を伝送フオーマツト変換回路５３に送出する。
【００２５】
伝送フオーマツト変換回路５３は、第１階層符号化データＤ４１、第２階層符号化データＤ４２及び第３階層符号化データＤ４３を所定の順序で配列したり、各階層符号化データの階層を識別するための識別コードを付加することにより、伝送画像データＤ４４を形成して、この伝送画像データＤ４４を出力する。出力された伝送画像データＤ４４は、その後、通信路５４を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体５５に記録される。
【００２６】
このようにして形成された伝送画像データＤ４４を復号する画像信号復号化装置６０は、例えば図３に示すように構成することができる。この画像信号復号化装置６０は、通信路５４を介して供給されるか、もしくは再生伝送路を介して記録媒体５５から再生される伝送画像データＤ４４をデータ分流回路６１に入力する。データ分流回路６１は、図示しないスイツチング回路を有し、伝送画像データＤ４４に含まれる各階層の識別コードを参照して伝送画像データＤ４４を第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２に分流し、これら第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２をそれぞれ可変長復号化回路（ＩＶＬＣ）６２、６３、６４に送出する。
【００２７】
可変長復号化回路６２、６３、６４は、それぞれ上述した図１に示された可変長符号化回路５０、５１、５２と逆の処理を実行し、ハフマン符号によつて表現されている第１階層符号化データＤ５０、第２階層符号化データＤ５１及び第３階層符号化データＤ５２を再量子化コードで表現された再量子化データＤ５３、Ｄ５４、Ｄ５５にそれぞれ変換する。そして、これらの再量子化データＤ５３、Ｄ５４、Ｄ５５をそれぞれ逆量子化回路６５、６６、６７に送出する。
【００２８】
逆量子化回路６５は、上述した図１に示された量子化回路４７によつて１画素当り１ビツトとされた再量子化データＤ５３を例えば１６ビツトのデータに逆量子化し、第１階層間引き復号データＤ５６を生成する。そして、この第１階層間引き復号データＤ５６を合成回路６８及び画素生成回路６９に送出する。逆量子化回路６６は、上述した図１に示された量子化回路４８によつて１画素当り４ビツトとされた再量子化データＤ５４を例えば１６ビツトのデータに逆量子化し、第２階層間引き復号データＤ５７を生成する。そして、この第２階層間引き復号データＤ５７を合成回路７０及び画素生成回路７１に送出する。
【００２９】
逆量子化回路６７は、上述した図１に示された量子化回路４９によつて１画素当り１６ビツトとされた再量子化データＤ５５を例えば１６ビツトのまま第３階層復号画像データＤ５８として出力する。そして、この第３階層復号画像データＤ５８を例えば出力端子を介して表示画素数の少ない低解像度のテレビジヨンモニタに送出すると共に画素生成回路７１に送出する。
【００３０】
画素生成回路７１は、第３階層復号画像データＤ５８と第２階層間引き復号データＤ５７を用いて、上述した図１に示された画像信号符号化装置４０の間引き回路４５で間引かれた第２階層画素（すなわち図２（Ｂ）の点線で示す画素）を復元する。例えば間引きにより削除された第２階層の画素Ｙ11は、次式、
【数３】
【００３１】
合成回路７０は、このようにして生成された第２階層の復元画素データＤ５９を第２階層間引き復号データＤ５７中の所定の位置に挿入して合成することにより、第２階層復号画像データＤ６０を形成する。そして、この第２階層復号画像データＤ６０を例えば出力端子を介して表示画素数が中程度のテレビジヨンモニタに送出すると共に画素生成回路６９に送出する。
【００３２】
画素生成回路６９は、第２階層復号画像データＤ６０と第１階層間引き復号データＤ５６を用いて、上述した図１に示された画像信号符号化装置４０の間引き回路４２で間引かれた第１階層画素（すなわち図２（Ｃ）の点線で示す画素）を復元する。例えば間引きにより削除された第１階層画素Ｘ11は、次式、
【数４】
【００３３】
合成回路６８は、このようにして生成された第１階層の復元画素データＤ６１を第１階層間引き復号データＤ５６中の所定の位置に挿入して合成することにより、第１階層復号画像データＤ６２を形成する。そして、この第１階層復号画像データＤ６２を出力端子を介して例えば表示画素数が多いハイビジヨンテレビモニタに送出する。
【００３４】
以上の構成において、画像信号符号化装置４０は、下位階層の複数画素の平均値によつて上位階層画素を生成することにより、複数階層の画像データＤ３１、Ｄ３３、Ｄ３５を生成する。
【００３５】
これに加えて、画像信号符号化装置４０は、最上位階層（すなわち第３階層）を除いた階層画像データについて、同じ平均演算に用いた画素のうちの１画素は復号側で簡単な算術演算によつて復元できるので伝送画素から除外する。この結果、画像信号符号化装置４０においては、階層構造に起因する伝送画素数の増加を伴わない階層符号化処理を実現することができる。
【００３６】
ところで、画像信号符号化装置４０では、量子化回路４７〜４９によつて各階層画像データを再量子化することで各階層におけるデータ量を圧縮する。この結果、各再量子化データＤ３８、Ｄ３９、Ｄ４０は必然的に再量子化時の量子化誤差を含む値となる。そしてこの量子化誤差が大きくなるほど、復号画像データＤ５８、Ｄ６０、Ｄ６２は、真値と比較して誤差が大きくなり、画質が劣化することになる。
【００３７】
そこで、画像信号符号化装置４０及び画像信号復号化装置６０における各階層での量子化誤差の影響について考える。ここで、各画素Ｚ11、Ｙ11、……の復号値をＺ11′、Ｙ11′、……とし、真値をＺ11、Ｙ11、……とし、量子化誤差をＥ（Ｚ11）、Ｅ（Ｙ11）……とすると、例えば逆量子化回路６７によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、次式、
【数５】
【数６】
【００３８】
ところが、画素生成回路７１によつて復元される第２階層画素Ｙ11は、（３）式に基づいて生成されるので、その復号値Ｙ11′は、次式、
【数７】
【００３９】
また、逆量子化回路６５によつて得られる第１階層画素Ｘ12、Ｘ21、Ｘ22、Ｘ14、Ｘ23、Ｘ24の復号値Ｘ12′、Ｘ21′、Ｘ22′、Ｘ14′、Ｘ23′、Ｘ24′は、次式、
【数８】
【数９】
【００４０】
さらに、画素生成回路７１を経て画素生成回路６９によつて復元される第１階層画素Ｘ11においては、その復号値Ｘ11′は、次式、
【数１０】
【００４１】
図４は、この各復号画素値Ｚ11′、Ｙ11′、Ｙ13′、……に対する各量子化誤差Ｅ（Ｚ11）、Ｅ（Ｙ13）、Ｅ（Ｙ31）、……の影響の大きさの様子を示している。図４を見れば明らかなように、上位階層での量子化誤差は下位階層での復号値に大きな影響を及ぼす。
【００４２】
これを考慮して本発明においては、上位階層の量子化回路ほど細かい量子化を行うことにより上位階層の量子化誤差を小さくして、下位階層での画質劣化を低減し得るようになされている。具体的には、上述したように画像信号符号化装置４０における量子化回路４７、４８、４９の各量子化ビツトをそれぞれ１ビツト、４ビツト、１６ビツトと選定することにより、上位階層ほど細かい量子化を行う。この場合の量子化ビツト数は、下位階層データを復号する際の復元画素値に与える上位階層における量子化誤差の影響の程度を考慮して選定する。
また、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、量子化ビツト数は、最下位階層からの階層段数及び上位階層データを生成するときに使用する画素数に応じて選定してもよい。
【００４３】
この結果、例えば（１０）式について考えると、量子化誤差Ｅ（Ｚ11）の誤差の程度は、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と比べて１／１６倍となり、また、量子化誤差Ｅ（Ｙ13）、Ｅ（Ｙ31）、Ｅ（Ｙ33）の程度は、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と比べると１／４倍となることにより、復号時に量子化誤差Ｅ（Ｚ11）の誤差を１６倍したり、量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）を４倍しても、これから得られる誤差は、逆量子化回路６５から直接得られる量子化誤差Ｅ（Ｘ12）、Ｅ（Ｘ21）、Ｅ（Ｘ22）と同程度となる。従つて、上位階層での量子化歪みに基づく下位階層画像の画質劣化を格段に低減し得る。
【００４４】
なお、この実施例では、上位階層の量子化ビツト数を多くしているので、その分伝送情報量も増えるように見えるが、上位階層ほど画素数が少ないので量子化ビツト数を多くすることによる情報量の増加は、実際上問題とならない程度に抑えられている。
【００４５】
さらに、上述の実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトに選定するようにした場合について述べたが、本発明はこれに限らず、上位階層データの量子化誤差の下位階層データの影響度を考慮して、上位階層の量子化回路ほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにすれば良い。または、上述の実施例においては、各階層において、量子化ビツト数を決定する際に、最下位階層からの段数及び上位階層データを生成するときに使用する画素数に応じて、量子化ビツト数を決定するようにすればよい。
【００４６】
以上の実施例の構成によれば、入力画像データＤ３１から平均値演算によりそれぞれ解像度の異なる複数の階層画像データＤ３１、Ｄ３３、Ｄ３５を生成し、これらの複数の階層画像データＤ３１、Ｄ３３、Ｄ３５をそれぞれ量子化して複数の階層符号化データＤ４１、Ｄ４２、Ｄ４３を生成する画像信号符号化装置４０において、最上位階層を除く各階層の画素のうち隣接上位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる画素Ｙ１１、Ｙ１５、……、Ｘ１１、Ｘ１３、……を伝送しないようにすると共に、上位階層の量子化回路ほど細かい量子化を行うようにしたことにより、伝送画素情報を少なくできるため圧縮効率を向上し得、下位階層画素に対する上位階層画素の量子化誤差の影響を小さくできるため画質劣化を低減し得る。また、この場合、上位階層データの量子化誤差の下位階層データの影響度を考慮して上位階層の量子化回路ほど細かい量子化を行うことにより、画質劣化を低減できる。
【００４７】
また上述した本発明の実施例から明らかなように、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。
【００４８】
（２）第１参考例
図５は、全体として第１参考例の画像信号符号化装置８０を示している。上述の実施例と比較して、最上位階層を除いて階層間データの残差（差分）を圧縮符号化する点と量子化回路の量子化ビツト割り当てが異なる点を除いて、図１の画像信号符号化装置４０と同様の構成を有する。したがつて、図１と対応する部分については同一符号を付す。
【００４９】
すなわち、上述の実施例の画像信号符号化装置４０が各画素をＰＣＭ（Pulse Code Modulation）の形式で伝送するようになされているのに対して、この第１参考例の画像信号符号化装置８０は、各画素をＤＰＣＭ（Differential Pulse Code Modulation）の形式で伝送するようになされている。これにより、画像信号符号化装置８０は、上述の実施例と比較して、一段と伝送情報量を低減させることができる。
【００５０】
具体的に説明すると、画像信号符号化装置８０は、第３階層画像データＤ３５及び第２階層ブロツク化データＤ３４を差分回路８１に供給する。差分回路８１は、第３階層画像データＤ３５と第２階層ブロツク化データＤ３４との間で空間的に対応する画素同士の差分を演算し、第２階層差分データＤ７０を形成し、この第２階層差分データＤ７０を間引き回路８２に送出する。このとき、差分回路８１は、第２階層画素Ｙ13、Ｙ31、Ｙ33の差分値ΔＹ13、ΔＹ31、ΔＹ33を、これらの画素に対応する上位階層画素Ｚ11を用いて、次式、
【数１１】
【００５１】
画像信号符号化装置８０は、同様にして第２階層ブロツク化データＤ３４及び第１階層ブロツク化データＤ３２を差分回路８３に供給する。差分回路８３は、第２階層ブロツク化データＤ３４と第１階層ブロツク化データＤ３２との間で空間的に対応する画素同士の差分を演算し、第１階層差分データＤ７１を形成し、この第１階層差分データＤ７１を間引き回路８４に送出する。このとき、差分回路８３は、第１階層画素Ｘ12、Ｘ21、Ｘ22の差分値ΔＸ12、ΔＸ21、ΔＸ22を、これらの画素に対応する上位階層画素Ｙ11を用いて、次式、
【数１２】
【００５２】
間引き回路８４、８２のそれぞれは、上述した図１に示された間引き回路４２、４５と同様に、ブロツク化回路４１からのブロツク化データＤ３２及びブロツク化回路４４からのブロツク化データＤ３４をそれぞれ受信する。そして、４画素で構成されるブロツク化データＤ３２、Ｄ３４に対応して各ブロツクにつき４画素で構成されている第１階層及び第２階層差分データＤ７１、Ｄ７０の中からそれぞれ１画素を間引き、各ブロツクにつき取り除かれた１画素を除く残り３画素によつて構成される階層差分間引きデータＤ７２、Ｄ７３を形成し、この階層差分間引きデータＤ７２、Ｄ７３をそれぞれ量子化回路８５、８６に送出する。
【００５３】
ここで第１階層の量子化回路８５、第２階層の量子化回路８６及び第３階層の量子化回路８７は、後述する理由により、各画素の再量子化に割り当てる量子化ビツト数がそれぞれ、１ビツト、２ビツト及び４ビツトに選定されている。画像信号符号化装置８０においては、各量子化回路８５、８６及び８７としてこのような量子化特性を持たせることにより、復号側において特に下位階層画像の画質劣化を低減し得るようになされている。
【００５４】
また、量子化回路８５、８６は、零付近ほど量子化ステツプ幅が小さく（細かく）なるように量子化特性が選定されている。これにより零付近にデータが集中する階層差分間引きデータＤ７２、Ｄ７３に対して量子化誤差の小さな再量子化を施すことができるようになされている。つまり、画像信号の階層間の画素には相関があるため、差分データは０になる可能性が高く、差分データが０近傍に集中するためである。
【００５５】
量子化回路８５、８６、８７により得られた再量子化データＤ７４、Ｄ７５、Ｄ７６は可変長符号化回路（ＶＬＣ）５０、５１、５２によつてそれぞれ可変長符号化され、第１階層、第２階層及び第３階層符号化データＤ７７、Ｄ７８、Ｄ７９として出力される。そしてこれらの第１階層、第２階層及び第３階層符号化データＤ７７、Ｄ７８、Ｄ７９が続く伝送フオーマツト変換回路５３に入力され、伝送フオーマツト変換回路５３は伝送画像データＤ８０を形成してそれを出力する。この出力された伝送画像データＤ８０は、その後、通信路８８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体８９に記録される。
【００５６】
図６は、画像信号符号化装置８０により圧縮符号化された伝送画像データＤ８０を復号する画像信号復号化装置９０の構成を示している。画像信号復号化装置９０において、図３に示された画像信号復号化装置６０との対応部分に同一符号を付している。画像信号復号化装置９０は、通信路８８を介して供給されるか、もしくは再生伝送路を介して記録媒体８９から再生される伝送画像データＤ８０をデータ分流回路６１に入力する。データ分流回路６１は、伝送画像データＤ８０を第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３に分流し、これらの第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３は、可変長復号化回路（ＩＶＬＣ）６２、６３及び６４にそれぞれ供給される。可変長復号化回路（ＩＶＬＣ）６２、６３及び６４のそれぞれは、第１階層、第２階層及び第３階層符号化データＤ８１、Ｄ８２及びＤ８３をそれぞれ可変長復号し、再量子化データＤ８４、Ｄ８５、Ｄ８６を形成し、これらの再量子化データＤ８４、Ｄ８５、Ｄ８６を逆量子化回路９１、９２及び９３にそれぞれ送出する。なお、可変長復号化回路（ＩＶＬＣ）６２、６３及び６４は、図５で示された可変長符号化回路（ＶＬＣ）５０、５１及び５２にそれぞれ対応する逆処理を実行する。
【００５７】
逆量子化回路９１、９２及び９３は、１画素当り１ビツト、２ビツト及び４ビツトに再量子化されてなる再量子化データＤ８４、Ｄ８５及びＤ８６を１画素当り１６ビツトでなるデータにそれぞれ逆量子化し、第１階層及び第２階層の階層差分間引きデータＤ８７及びＤ８８並びに第３階層復号画像データＤ８９をそれぞれ生成する。なお、逆量子化回路９１、９２及び９３は、図５で示された量子化回路８５、８６及び８７にそれぞれ対応する逆処理を実行する。
【００５８】
第３階層復号画像データＤ８９は、そのまま低解像度のテレビジヨンモニタ等に出力されると共に、加算回路９４及び画素生成回路９５に送出される。加算回路９４は、次式、
【数１３】
【００５９】
画素生成回路９５は、第２階層差分間引きデータＤ８８と第３階層復号画像データＤ８９とを用いて、図５で示された間引き回路８２で間引かれた第２階層画素Ｙ11を、次式、
【数１４】
【００６０】
合成回路９６は、第２階層間引き復号データＤ９０と第２階層復元画素データＤ９１とを合成して第２階層復号画像データＤ９２を形成し、この第２階層復号画像データＤ９２を出力端子を介してテレビジヨンモニタ等に出力すると共に、加算回路９７及び画素生成回路９８に送出する。加算回路９７は、次式、
【数１５】
【００６１】
画素生成回路９８は、第１階層差分間引きデータＤ８７と第２階層復号画像データＤ９２とを用いて、図５に示された間引き回路８４で間引かれた第１階層画素Ｘ１３、Ｘ３１、Ｘ３３を、次式、
【数１６】
【数１７】
【００６２】
合成回路９９は、第１階層間引き復号データＤ９３と第１階層復元画素データＤ９４とを合成して、第１階層復号画像データＤ９５を形成する。そして、この第１階層復号画像データＤ９５を出力端子を介して、例えば高解像度のテレビジヨンモニタ等に出力する。
【００６３】
次に、上述の実施例と同様に、この第１参考例の画像信号符号化装置８０及び画像信号復号化装置９０における各階層での量子化誤差の影響について考える。ここで、第１参考例における量子化回路８７と逆量子化回路９３、量子化回路８６と逆量子化回路９２、量子化回路８５と逆量子化回路９１で設定されている量子化ビツト数が、上述の実施例と異なるため、量子化誤差について同じように説明することは実際上できないが、以下の説明では上述の実施例及び第１参考例の量子化ビツト数が階層毎に同じものとして考える。
【００６４】
逆量子化回路９３によつて得られる第３階層の画素Ｚ11の復号値Ｚ11′は、（５）式と同じとなる。また加算回路９４によつて得られる第２階層の画素Ｙ13、Ｙ31、Ｙ33の復号値Ｙ13′、Ｙ31′、Ｙ33′は、次式、
【数１８】
【００６５】
また、画素生成回路９５によつて復元される第２階層画素Ｙ１１は、（１４）式に基づいて生成されるので、その復号値Ｙ１１′は、次式、
【数１９】
【００６６】
また差分回路９７によつて得られる第１階層画素Ｘ１２、Ｘ２１、Ｘ２２、Ｘ３２、Ｘ４１、Ｘ４２の復号値Ｘ１２′、Ｘ２１′、Ｘ２２′、Ｘ３２′、Ｘ４１′、Ｘ４２′は、次式、
【数２０】
【数２１】
【００６７】
さらに画素生成回路９５を経て画素生成回路９８によつて復元される第１階層画素Ｘ１１の復号値Ｘ１１′は、次式、
【数２２】
しかしながら、第２の実施例では、（２０）、（２１）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ１１の量子化誤差及び第２階層の画素Ｙ１３、Ｙ３１、Ｙ３３の量子化誤差は、第１階層の復号画素Ｘ１１′、Ｘ１２′、Ｘ２１′、Ｙ２２′に反映されることになる。したがつて、第３階層画素の量子化誤差及び第２階層画素の量子化誤差が第１階層画素の復号に与える影響を低減させることができる。
【００６８】
この第１参考例の画像信号符号化装置８０においては、上述の実施例において各量子化回路４７、４８、４９にそれぞれ１ビツト、４ビツト、１６ビツトの量子化ビツトを持たせたのに対し、各量子化回路８５、８６、８７にそれぞれ１ビツト、２ビツト、４ビツトの量子化ビツトを持たせれば上位階層での量子化誤差に基づく下位階層での画質劣化を十分に抑制することができる。つまり、量子化ビツト数は、下位階層に与える量子化誤差の影響度によつて決定されている。また、量子化ビツト数は、最下位階層からの階層段数及び上位階層画素を生成するために使用される画数に応じて決定されてもよい。この結果、画像信号符号化装置８０においては、一段と少ない伝送情報量で高画質の復元画像を得ることができる。
【００６９】
以上の第１参考例の構成によれば、入力画像データＤ３１から平均値演算により得た複数の階層画像データの各階層データと隣接上位階層データとの階層差分データを生成し、最上位階層データＤ３５と複数の階層差分データＤ７２、Ｄ７３をそれぞれ量子化して複数の階層符号化データを生成する画像信号符号化装置８０において、最上位階層を除く各階層の画素のうち隣接下位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる差分画素データΔＹ１１、ΔＹ１５、……、ΔＸ１１、ΔＸ１３……を伝送しないようにするとともに、上位階層の量子化回路ほど細かい量子化を行うようにしたことにより、画質劣化を抑制した状態で一段と伝送情報量を削減できる。また、この場合、上位階層データの量子化誤差の下位階層データの影響度を考慮して、上位階層の量子化回路ほど、細かい量子化を行うことにより、画質劣化を低減できる。
また上述した本発明の第１参考例から明らかなように、上位階層データの量子化誤差の下位階層データに対する影響度は、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に関係してくる。したがつて、上位階層の量子化ビツト数を決定する際に、最下位階層からの階層の段数及び上位階層データを生成するときに使用する画素数に応じて、最下位階層に影響する量子化誤差を最小限にするような量子化ビツト数もしくはそれ以上の量子化ビツト数に設定すれば、画質劣化を低減した画像符号化装置を提供することができる。
また、以上の第１参考例から明らかなように、階層間の差分データを得ることにより、復号時に間引かれた画素にだけ上位階層画素の量子化誤差を反映させるのではなく、間引きデータを復号するために使用される伝送画素にも上位階層画素の量子化誤差を反映させるようにすれば、さらに、画質劣化を低減した画像符号化装置を提供することができる。
【００７０】
（３）第２参考例
図７は、全体として第２参考例の画像信号符号化装置１００を示している。この画像信号符号化装置１００は、第１参考例と比較して、適応予測回路１０１及び１０２を設けたことを除いて第１参考例の画像信号符号化装置８０と同様の構成を有する。したがつて、図５と対応部分に同一符号を付して示してしている。
【００７１】
適応予測回路１０１は、第３階層画像データＤ３５に基づいて所定の予測処理を行い、第２階層画像データＤ３４に対応する第２階層予測データＤ１００を生成する。そして、この第２階層予測データＤ１００を差分回路８１に送出する。同様に、適応予測回路１０２は、第２階層画像データＤ３４に基づいて所定の予測処理を行い、第１階層画像データＤ３２に対応する第１階層予測データＤ１０１を生成する。そして、この第１階層予測データＤ１０１を差分回路８３に送出する。
【００７２】
実際上、適応予測回路１０１及び１０２は、クラス分類適応処理を適用して、複数の上位階層画素から下位階層の１画素を予測する。具体的には、予測しようとする下位階層の画素をその空間的に近傍の複数の上位階層画素のレベル分布に基づいてクラス分類する。また、適応予測回路１０１及び１０２は、予め学習によつて獲得された、クラス毎に複数の予測係数あるいは１個の予測値を格納したメモリ（図示せず）を有し、上記クラス分類で決定されたクラスに対応した複数の予測係数あるいは１個の予測値をメモリから読み出す。予測値の場合は、その予測値がそのまま予測画素として使用され、予測係数の場合は、複数の予測係数と複数の画素との線形一次結合により予測値を生成する。また、予測値は正規化されている場合は、この予測値に所定の処理を施して予測画素を生成する。このようなクラス分類適応処理の詳細は、例えば特願平4-155719号に開示されている。また、このようなクラス分類適応処理のアルゴリズムは、すでに知られている。また、第２参考例における適応予測回路において、クラス分類適応処理のアルゴリズムを用いているが、本発明はこれに限らず、現在知られている他の予測方法を用いてもよい。
【００７３】
画像信号符号化装置１００により圧縮符号化された伝送画像データＤ８０′を復号する画像信号復号化装置９０′の構成を図８に示す。この画像信号復号化装置９０′は、第１参考例の画像信号復号化装置９０と比較して、適応予測回路１０１′及び１０２′を設けたことを除いて第１参考例の画像信号復号化装置９０と同様の構成を有する。したがつて図６との対応部分に同一符号を付して示している。
【００７４】
この第２参考例による画像信号復号化装置９０′において、第３階層復号データＤ８９′を入力する第１の適応予測回路１０１′は、図７に示した適応予測回路１０１に対応するクラス分類適応処理を第３階層復号データＤ８９′に基づいて実行し、この結果得られる第２階層予測データＤ１００′を画素生成回路９５に送出する。画素生成回路９５は、第２階層の逆量子化回路９２から出力される第２階層差分間引きデータＤ８８′と第２階層予測データＤ１００′とを用いて、図７で示された間引き回路８２で間引かれた第２階層画素を生成する。また、第３階層復号データＤ８９′に基づいて第１の適応予測回路１０１′によつて得られた第２階層予測データＤ１００′は、第２階層の逆量子化回路９２から出力される第２階層差分間引きデータＤ８８′に加算される。この加算により得られる第２階層間引き復号データＤ９０′は、画素生成回路９５によつて生成された第２階層画素Ｄ９１′と合成され、第２階層復号画像データＤ９２′となる。
【００７５】
また、第２階層復号データＤ９２′を入力する第２の適応予測回路１０２′は、図７に示した適用予測回路１０２に対応するクラス分類適応処理を第２階層復号データＤ９２′に基づいて実行し、この結果得られる第１階層予測データＤ１０１′を画素生成回路９８に送出する。画素生成回路９８は、第１階層の逆量子化回路９１から出力される第１階層差分間引きデータＤ８７′と第１階層予測データＤ１０１′とを用いて、図７で示された間引き回路８４で間引かれた第１階層画素を生成する。また、第２階層復号データＤ９２′に基づいて第２の適応予測回路１０２′によつて得られた第１階層予測データＤ１０１′は、第１階層の逆量子化回路９１から出力される第１階層差分間引きデータＤ８７′に加算される。この加算により得られる第１階層間引き復号データＤ９３′は、画素生成回路９８によつて生成された第１階層画素Ｄ９４′と合成され、第１階層復号画像データＤ９５′となる。
【００７６】
以上の第２参考例の構成によれば、画像信号符号化装置１００の差分回路８３及び８１から得られる第１階層差分データＤ７１′及び第２階層差分データＤ７０′の残差を一段と小さくできるので、伝送情報量を一段と低減し得る画像信号符号化装置１００を実現できる。
【００７７】
（４）他の実施例
なお、上述の実施例においては、３階層分の階層画像データＤ３１、Ｄ３４、Ｄ３５を生成し、これを圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、順次平均値演算を繰り返すことにより４階層や５階層分の階層画像データを生成し、これを量子化によつて圧縮符号化して伝送する場合にも適用し得る。
また、上述の実施例においては、下位階層の４画素を用いた平均値演算によつて上位階層の１画素を生成する場合について述べたが、本発明はこれに限らず、例えば下位階層の６画素もしくはそれ以上の画素を用いた平均値演算によつて上位階層の１画素を生成するようにして階層画像データを生成するようにしても良い。
【００７８】
また、上述した実施例においては、量子化器をすべて線形量子化器として記載したが、本発明はこれに限らず、非線型量子化や適応量子化、さらには、ダイナミツクレンジに応じた適用量子化などを適用してもよい。
さらに、本発明の実施例は、ブロツク図を用いて示したハードウエアによつて実現しているが、本発明はこれに限らず、ＣＰＵやメモリなどを用いてソフトウエアで実現することも可能である。
【００７９】
さらに上述の実施例においては、量子化回路４７、４８、４９の量子化ビツト数をそれぞれ１ビツト、４ビツト、１６ビツトに選定すると共に、上述の第２実施例においては、量子化回路８５、８６、８７の量子化ビツト数をそれぞれ１ビツト、２ビツト、４ビツトに選定するようにした場合について述べたが、本発明はこれに限らず、要は上位階層の量子化回路ほど量子化幅を小さくして細かい量子化を行うようにすれば良い。
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考え得る。したがつて、本発明の要旨は、実施例に限定されるものではない。
【００８０】
【発明の効果】
上述のように本発明によれば、解像度の最も低い最上位階層を除く各階層画像データについて、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元可能な画素を伝送対象から除外すると共に、上位階層のデータほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにしたことにより、圧縮効率が向上しかつ画質劣化が低減した階層符号化を実現することができる。
【図面の簡単な説明】
【図１】 本実施例による画像信号符号化装置の構成を示すブロツク図である。
【図２】 階層化及び伝送画素の説明に供する略線図である。
【図３】 本実施例による画像信号復号化装置の構成を示すブロツク図である。
【図４】 各階層における量子化誤差が各階層の復元画素に与える影響を表わす略線図である。
【図５】 第１参考例による画像信号符号化装置の構成を示すブロツク図である。
【図６】 第１参考例による画像信号復号化装置の構成を示すブロツク図である。
【図７】 第２参考例による画像信号符号化装置の構成を示すブロツク図である。
【図８】 第２参考例による画像信号復号化装置の構成を示すブロツク図である。
【図９】 従来の画像信号符号化装置の構成を示すブロツク図である。
【図１０】 従来の階層符号化データを復号する画像信号復号化装置の構成を示すブロツク図である。
【符号の説明】
４０、８０、１００……画像信号符号化装置、４３、４６……平均化回路、４２、４５、８２、８４……間引き回路、４７〜４９、８５〜８７……量子化回路、６０、９０、９０′……画像信号復号化装置、１０１、１０２、１０１′、１０２′……適応予測回路、Ｄ３１……入力画像データ、Ｄ３３……第２階層画像データ、Ｄ３５……第３階層画像データ、Ｄ４１、Ｄ７７、Ｄ７７′……第１階層符号化データ、Ｄ４２、Ｄ７８、Ｄ７８′……第２階層符号化データ、Ｄ４３、Ｄ７９、Ｄ７９′……第３階層符号化データ、Ｄ４４、Ｄ８０、Ｄ８０′……伝送画像データ、Ｄ５８、Ｄ８９、Ｄ８９′……第３階層復号画像データ、Ｄ６０、Ｄ９２、Ｄ９２′……第２階層復号画像データ、Ｄ６２、Ｄ９５、Ｄ９５′……第１階層復号画像データ、Ｄ７０、Ｄ７０′……第２階層差分データ、Ｄ７１、Ｄ７１′……第１階層差分データ、Ｄ１００、Ｄ１００′……第２階層予測データ、Ｄ１０１、Ｄ１０１′……第１階層予測データ、Ｚ……第３階層画素、Ｙ……第２階層画素、Ｘ……第１階層画素。
Claims (6)
- 入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化ステツプと
からなり、
上記量子化ステツプでは、上位階層のデータほど細かく量子化するようになされている
ことを特徴とする画像信号符号化方法。 - 入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成する間引きデータ形成手段と、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化手段と
からなり、
上記量子化手段では、上位階層のデータほど細かく量子化するようになされている
ことを特徴とする画像信号符号化装置。 - 請求項２において、
上記量子化手段では、上位階層の生成に使用される画素数と、該上位階層における最下位層からの段数とを基準として、上位階層のデータほど細かく量子化される量子化ビツト数が設定される
ことを特徴とする画像信号符号化装置。 - 入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化し、その符号化されたデータを伝送する画像信号伝送方法において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成するステツプと、
解像度の最も低い最上位階層を除く各階層画像データについて、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データを間引き、残りの画素で形成される間引きデータを形成するステツプと、
上記最上位階層画像データ及び上記最上位階層を除く各階層の間引きデータをそれぞれ量子化によつて圧縮符号化し、伝送画像データを生成する量子化ステツプと、
上記伝送画像データを伝送するステツプと
からなり、
上記量子化ステツプは、上位階層のデータほど細かく量子化するようになされている
ことを特徴とする画像信号伝送方法。 - 請求項４おいて、
上記量子化ステツプでは、上位階層の生成に使用される画素数と、該上位階層における 最下位層からの段数とを基準として、上位階層のデータほど細かく量子化される量子化ビツト数が設定される
ことを特徴とする画像信号伝送方法。 - 入力画像データから解像度の異なる複数の階層画像データを生成し、各階層画像データを符号化する画像信号符号化装置において、
各階層画像データの複数の画素値を平均演算し、上位階層画像データを生成する画像データ生成手段と、
解像度の最も低い最上位階層を除く各階層画像に関するデータについて、各階層に関するデータ及び該隣接上位階層画像に関するデータを用いた演算によつて復元できる範囲で、上記各階層に関するデータを間引き、残りの画素に関するデータで形成される間引きデータを形成する間引きデータ形成手段と、
上記最上位階層画像に関するデータ及び上記最上位階層を除く各階層に関する間引きデータをそれぞれ量子化によつて圧縮符号化し、複数の階層符号化データを生成する量子化手段と、
からなり、
上記量子化手段では、上位階層に関するデータほど細かく量子化するようになされている
ことを特徴とする画像信号符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35816596A JP3877087B2 (ja) | 1995-12-27 | 1996-12-27 | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35186195 | 1995-12-27 | ||
| JP7-351861 | 1995-12-27 | ||
| JP35816596A JP3877087B2 (ja) | 1995-12-27 | 1996-12-27 | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006126593A Division JP4310710B2 (ja) | 1995-12-27 | 2006-04-28 | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09331527A JPH09331527A (ja) | 1997-12-22 |
| JP3877087B2 true JP3877087B2 (ja) | 2007-02-07 |
Family
ID=26579505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35816596A Expired - Fee Related JP3877087B2 (ja) | 1995-12-27 | 1996-12-27 | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3877087B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4214562B2 (ja) | 1998-06-26 | 2009-01-28 | ソニー株式会社 | 復号装置 |
| US7817869B2 (en) * | 2004-05-07 | 2010-10-19 | Sony Corporation | Variable support robust transform for multiple description coding |
| JP2013168702A (ja) * | 2012-02-14 | 2013-08-29 | Ntt Electornics Corp | 画像処理装置 |
| JP2015536108A (ja) * | 2012-10-07 | 2015-12-17 | ヌメリ リミテッド | 映像圧縮方法 |
-
1996
- 1996-12-27 JP JP35816596A patent/JP3877087B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09331527A (ja) | 1997-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Lossless compression of color mosaic images | |
| US7463780B2 (en) | Image encoder, image encoding method, image decoder, and image decoding method | |
| US8531321B1 (en) | Signal processing and inheritance in a tiered signal quality hierarchy | |
| JP3743384B2 (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| US7133567B2 (en) | Image coding apparatus and image coding method | |
| JP2013517670A (ja) | 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置 | |
| US7120306B2 (en) | Image processing method and image coding apparatus utilizing the image processing method | |
| US7313284B2 (en) | Image coding apparatus, program, storage medium and image coding method | |
| JPWO2003079692A1 (ja) | 階層符号化装置および復号装置 | |
| CN1143438C (zh) | 图像信号编码设备和方法及图像信号解码设备和方法 | |
| JP3877087B2 (ja) | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 | |
| JP2004166254A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| US7551788B2 (en) | Digital image coding device and method for noise removal using wavelet transforms | |
| US7305138B2 (en) | Image encoding apparatus, image encoding method and program | |
| US8428116B2 (en) | Moving picture encoding device, method, program, and moving picture decoding device, method, and program | |
| JP4762445B2 (ja) | ブロック変換ベースの復号化器で使用される方法と装置 | |
| JP3853708B2 (ja) | デジタル画像符号化装置および符号化方法ならびにプログラム | |
| JP4310710B2 (ja) | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 | |
| JP2004186902A (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP3781220B2 (ja) | 画像信号符号化方法、画像信号符号化装置及び画像信号伝送方法 | |
| Darragh et al. | Fixed distortion, variable rate subband coding of images | |
| JPH1188183A (ja) | ウェーブレット変換装置およびその方法並びにウェーブレット逆変換装置およびその方法並びに画像符号化装置およびその方法並びに画像復号化装置およびその方法 | |
| CN1898963A (zh) | 运动图像再现方法、装置以及程序 | |
| JPH10215454A (ja) | 符号化装置及び符号化方法 | |
| JPS63280576A (ja) | 圧縮符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091110 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |