WO2007058294A1

WO2007058294A1 - 符号化装置および方法、復号装置および方法、並びに、伝送システム

Info

Publication number: WO2007058294A1
Application number: PCT/JP2006/322949
Authority: WO
Inventors: Takahiro Fukuhara; Kazuhisa Hosaka; Katsutoshi Ando
Original assignee: Sony Corporation
Priority date: 2005-11-18
Filing date: 2006-11-17
Publication date: 2007-05-24
Also published as: WO2007058296B1; KR20080071482A; TWI341658B; JP4888729B2; US20090102686A1; TW200746655A; TW200727598A; EP1901544A1; WO2007058294B1; EP1901544B1; US7701365B2; KR101320534B1; JP4900720B2; US8320693B2; EP1838081A4; JPWO2007058294A1; TWI336570B; EP1838081A1; EP1901544A4; WO2007058296A1

Abstract

本発明は、圧縮符号化して送出される画像データを、受信側でより短時間に復号画像として出力できるようにする符号化装置および方法、復号装置および方法、並びに、伝送システムに関する。ウェーブレット変換に際して、最低域成分の1ライン分のケイスウデータが生成されるライン数を単位として、ライン単位でフィルタ処理を行う。1回目は第1ライン乃至第7ラインの処理がなされ、分解レベル＝1で高域成分の係数C1、係数C2、および係数C3と、低域成分の係数Ca、係数Cb、および係数Ccとが生成され、分解レベル＝2で係数Ca、係数Cb、および係数Ccからさらに高域成分の係数C4と、低域成分の係数C5とが生成される。これらの係数は、低域から高域の順に並び替えられて合成フィルタに供給される。合成フィルタは、供給された順に係数のフィルタ処理を行って画像データを生成し、出力する。

Description

明細書

符号化装置および方法、復号装置および方法、並びに、伝送システム技術分野

[0001] 本発明は、符号化装置および方法、復号装置および方法、並びに、伝送システムに関し、特に、圧縮符号化して送出される画像データを、受信側でより短時間に復号画像として出力できるようにする符号化装置および方法、復号装置および方法、並びに、伝送システムに関する。

背景技術

[0002] 画像データの圧縮符号化方式としては、従来から、 ISOdnternational Organization for Standardization)により標準化された JPEG(Joint Photographic Experts Group)方式と呼ばれる技術が多く用いられていた。この JPEG方式は、画像データをブロックに分割し、分割された領域のそれぞれに対して DCT(Discrete Cosine Transform)を施して DCT係数を得て、得られた DCT係数を量子化しさらにエントロピ符号ィ匕を行うことで、高品質且つ高圧縮率を実現している。

[0003] また、近年では、画像データを、フィルタバンクと呼ばれる、ハイパスフィルタとローパスフィルタとを組み合わせたフィルタによって複数の帯域に分割し、分割された帯域毎に符号ィ匕を行う符号ィ匕方式の研究が盛んになつている。このような符号ィ匕方式の中でも、ウェーブレット変換符号化と称される符号化方式は、上述した DCTで問題となる、高圧縮時におけるブロック歪みが発生しないことから、画像の圧縮符号化の際に DCTに代わって利用可能な新たな技術として、有力視されて!/、る。

[0004] 例えば、 2001年 1月に国際標準化が完了した JPEG2000では、このウェーブレット変換に、ビットプレーン単位のビットモデリングと算術符号ィ匕による高能率エントロピ符号化を組み合わせた圧縮符号化方式を採用して、る。この JPEG2000方式によれば、従来の JPEG方式に対して符号ィ匕効率の大きな改善が実現されている。特許文献 1 には、より符号ィ匕効率を向上させたウェーブレット変換方法が記載されている。

[0005] 特許文献 1 :特開平 9-130800号公報このような国際規格においては、デコーダ側の規格のみが規定されており、エンコーダ側は、自由に設計することができる。発明の開示

発明が解決しょうとする課題

[0006] ところで、例えば上述した JPEG2000方式では、従来は、そのアルゴリズム上、画面内の全ての画素の符号ィ匕が終了した後でないと、必要となるヘッダ情報が記述できなかった。つまり、このヘッダ情報には、符号ィ匕結果の圧縮データサイズといった、復号時に必須とされる情報を記述したり、符号データの終端にマーカが付加されたりする必要があり、これらの情報は、 1画面分の符号化が全て完了した後でないと、確定しない。

[0007] これは、 JPEG2000方式に限らず、 JPEG方式や、動画像データの圧縮方式である M PEG(Moving Pictures Experts Group)方式などでも、同様である。

[0008] このため、従来の画像圧縮技術によれば、圧縮符号化の結果である符号化コードストリームの出力を、 1フレーム分、あるいは、インタレース画像の場合 1フィールド分の画像を全て符号化した後に行わざるを得なカゝつたとヽぅ問題点があった。

[0009] これにより、画像データの送出側および受信側との間で、 1フレーム分、あるいは、ィンタレース画像の場合 1フィールド分の遅延時間が発生することが防げな力つたという問題点があった。

[0010] したがって、この発明の目的は、画像データの圧縮符号化および復号、ならびに、復号された画像データの出力を、より低遅延で行うことを可能とした符号ィ匕装置および方法、復号装置および方法、並びに、伝送システムを提供することにある。

課題を解決するための手段

[0011] 本発明の第 1の側面の符号化装置は、画像データを符号化する符号化装置であつて、前記画像データに対して階層的にフィルタ処理を行い、周波数帯域毎に分解された係数データからなる複数のサブバンドを生成するフィルタ手段と、前記フィルタ手段により生成された係数データを蓄積的に記憶する記憶手段と、前記記憶手段により記憶された前記係数データを所定の順序で出力するように並び替える係数並び替え手段とを備える。

[0012] 前記フィルタ手段は、前記画像データを画面の上端側から下端側に向けて、ライン単位で前記フィルタ処理を行うことができる。 [0013] 前記フィルタ手段は、前記画像データに対し、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データであるラインブロック毎にフィルタ処理を行うことができる。

[0014] 前記フィルタ手段は、前記フィルタ処理を、前記画像データに対応する画面の垂直方向、および水平方向の両方に対して行うことができる。

[0015] 前記フィルタ手段による前記フィルタ処理のタップ数および分解レベル数のうち少なくとも一方は、目標とする遅延時間に応じて決定されるようにすることができる。

[0016] 前記フィルタ手段は、前記フィルタ処理により得られる低域成分のサブバンドの係数データに対してさらに前記フィルタ処理を施す、ウェーブレットフィルタ処理を行うことがでさる。

[0017] 前記フィルタ手段は、リフティング技術を用いて前記ウェーブレットフィルタ処理を行うことができる。

[0018] 前記フィルタ手段は、前記リフティング技術を用いて、分解レベル =X+1のフィルタ処理を行う際、分解レベル =Xのフィルタ処理で低域成分のサブバンドとして算出された係数データに対して行うことができる。

[0019] 前記記憶手段は、前記フィルタ手段による前記ウェーブレットフィルタ処理の過程で生成される低域成分のサブバンドの係数データを保持する第 1のバッファ手段と、前記フィルタ手段による前記ウェーブレットフィルタ処理の過程で生成される高域成分のサブバンドの係数データを保持する第 2のノッファ手段とをさらに備えることができる。

[0020] 前記第 2のバッファ手段は、前記フィルタ手段により最低域成分のサブバンドの係数データが生成されるまで、前記最低域以外の帯域の成分のサブバンドの係数データを保持することができる。

[0021] 前記係数並び替え手段は、前記サブバンドを低域成分から高域成分の順に出力するように、前記係数データの並び替えを行うことができる。

[0022] 前記係数並び替え手段は、前記画像データに対し、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データであるラインブロック毎に並び替えを行うことができる。 [0023] 前記係数データをエントロピ符号ィ匕するエントロピ符号ィ匕手段をさらに備えるようにすることができる。

[0024] 前記エントロピ符号化手段は、前記係数並び替え手段により並び替えられた係数データを順次、エントロピ符号ィ匕することができる。

[0025] 前記係数並び替え手段は、前記サブバンドを低域成分から高域成分の順に出力するように、前記係数データの並び替えを行い、前記エントロピ符号化手段は、前記係数並び替え手段により前記係数データが並び替えられ次第、並び替えられた係数データを低域成分力も高域成分の順番にエントロピ符号ィ匕することができる。

[0026] 前記エントロピ符号化手段は、前記フィルタ手段により生成された前記係数データに対してエントロピ符号化を行い、前記記憶手段は、前記エントロピ符号化手段によりエントロピ符号化された前記係数データを記憶することができる。

[0027] 前記記憶手段は、前記エントロピ符号化手段により最低域成分のサブバンドの係数データがエントロピ符号化されるまで、前記最低域成分以外の帯域成分のサブバンドとして生成され、前記エントロピ符号化手段によりエントロピ符号化された係数データを記憶しておくことができる。

[0028] 前記係数並び替え手段は、前記サブバンドを低域成分から高域成分の順に出力するように、前記記憶手段により記憶されている、前記エントロピ符号化手段によりェントロピ符号化された係数データの並び替えを行ヽ、前記係数データを並び替え次第、並び替えられた係数データを低域成分から高域成分の順番に出力することができる。

[0029] 前記エントロピ符号化手段は、同一サブバンド内の複数ラインの係数データを纏めてエントロピ符号ィ匕することができる。

[0030] 前記エントロピ符号ィ匕手段は、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する係数データ群であるラインブロックを構成するすべてのサブバンドのラインを、低域から高域の順番に、 1次元方向に並べた係数データ列に対して符号ィ匕を行うことができる。

[0031] 前記エントロピ符号化手段は、前記フィルタ手段により生成された前記係数データを量子化する量子化手段と、前記量子化手段により前記係数データが量子化されて得られた量子化結果の係数を情報源符号化する情報源符号化手段とを備えることができる。

[0032] 少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する前記係数データの集合であるラインブロック毎の係数データが、前記エントロピ符号ィ匕手段により低域成分力高域成分の順番にエントロピ符号ィ匕されて得られた符号ィ匕結果のデータに所定のヘッダを付加し、へッダとデータ本体とをパケットィ匕するパケットィ匕手段と、前記パケット化手段により生成された前記パケットを送出する送出手段とを備え、前記エントロピ符号化手段、前記パケット化手段、および前記送出手段は、同時並列的に各処理を行い、前記エントロピ符号化手段は、前記ラインブロック単位で前記係数データの前記エントロピ符号化を行い、前記パケット化手段は、前記エントロピ符号ィ匕手段によるエントロピ符号ィ匕によつて前記ラインブロック毎の符号ィ匕結果のデータが生成され次第、前記ラインブロック毎の符号化結果のデータをパケット化し、前記送出手段は、前記パケット化手段により前記ラインブロック毎の符号ィ匕結果のデータがパケット化され次第、得られたパケットを送出するようにすることができる。

[0033] 前記ヘッダには、画面内において前記ラインブロックを識別するための識別情報と、データ本体のデータ長と、符号ィ匕情報が記録されているようにすることができる。

[0034] 前記エントロピ符号化手段は、前記フィルタ手段により生成された前記係数データを量子化する量子化手段と、前記量子化手段により前記係数データが量子化されて得られた量子化結果の係数を情報源符号ィ匕する情報源符号ィ匕手段とを備え、前記符号化情報には、前記量子化手段による量子化の量子化ステップサイズの情報が含まれるよう〖こすることができる。

[0035] 前記量子ィ匕ステップサイズの情報には、すべてのサブバンド毎の量子ィ匕ステップサィズの情報が含まれて、るようにすることができる。

[0036] 本発明の第 1の側面の符号ィ匕方法は、画像データを符号ィ匕する符号ィ匕装置の符号化方法であって、前記画像データに対して階層的にフィルタ処理を行い、周波数帯域毎に分解された係数データ力なる複数のサブバンドを生成するフィルタステツプと、前記フィルタステップの処理により生成された前記係数データを記憶部に蓄積的に記憶させる記憶制御ステップと、前記記憶制御ステップの処理により制御されて前記記憶部に記憶された前記係数データを所定の順序で出力するように並び替える係数並び替えステップとを備える。

[0037] 本発明の第 2の側面の復号装置は、画像データが符号化された符号ィ匕データを復号する復号装置であって、ライン単位で供給される、前記画像データに対して階層的に第 1のフィルタ処理がなされ周波数帯域毎に分解された複数のサブバンドの係数データを記憶する記憶手段と、前記記憶手段により記憶されて！、る前記係数データを所定の順序で出力するように並び替える係数並び替え手段と、前記並び替え手段により並び替えられて、前記記憶手段より出力された前記係数データに対して第 2 のフィルタ処理を行ヽ、周波数帯域に分解された複数のサブバンドの係数データを合成して前記画像データを生成するフィルタ手段とを備える。

[0038] 前記係数並び替え手段は、前記サブバンドの低域成分力高域成分の順に出力するように、前記係数データの並び替えを行うことができる。

[0039] 前記係数並び替え手段は、前記記憶手段により記憶されている前記係数データに対して、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する前記係数データの集合であるラインプロック毎に並び替えを行うことができる。

[0040] 前記フィルタ手段は、画面の上端側から下端側に向けてライン単位で前記第 2のフィルタ処理を行、、前記画像データを生成することができる。

[0041] 前記フィルタ手段は、前記係数データに対して、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する前記係数データの集合であるラインブロック毎に前記第 2のフィルタ処理を行うことができる。

[0042] 前記フィルタ手段は、リフティング技術を用いて前記第 2のフィルタ処理を行うことができる。

[0043] 前記符号ィ匕データをサブバンド毎にライン単位でエントロピ復号するエントロピ復号手段をさらに備え、前記記憶手段は、前記エントロピ復号手段によるエントロピ復号により得られた係数データを記憶することができる。 [0044] 前記エントロピ復号手段は、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する係数データ群であるラインブロックを構成するすべてのサブバンドのラインが符号ィ匕されて 1次元に並べられた符号化データを、復号することができる。

[0045] 前記エントロピ復号手段は、前記符号化データに対して情報源復号を行う情報源復号手段と、前記情報源復号手段による情報源復号の結果得られた係数データを逆量子化する逆量子化手段とを備えることができる。

[0046] 本発明の第 2の側面の復号方法は、画像データが符号化された符号化データを復号する復号装置の復号方法であって、ライン単位で供給される、前記画像データに対して階層的に第 1のフィルタ処理がなされ周波数帯域毎に分解された複数のサブバンドの係数データを記憶部に記憶させる記憶制御ステップと、前記記憶制御ステツプの処理により制御されて前記記憶部に記憶された係数データを所定の順序で出力するように並び替える係数並び替えステップと、前記並び替えステップの処理により並び替えられて前記記憶部より出力された係数データに対して第 2のフィルタ処理を行ヽ、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成するフィルタステップとを備える。

[0047] 本発明の第 3の側面の伝送システムは、画像データを符号化する符号化装置と、前記画像データが符号化された符号化データを復号する復号装置を備え、前記符号化装置および前記復号装置の間で前記符号化データを伝送する伝送システムであつて、前記符号化装置は、前記画像データに対して階層的に第 1のフィルタ処理を行い、周波数帯域毎に分解された係数データ力なる複数のサブバンドを生成する第 1のフィルタ手段と、前記第 1のフィルタ手段により生成された前記係数データを蓄積的に記憶する記憶手段と、前記記憶手段により記憶された前記係数データを所定の順序で出力するように並び替える係数並び替え手段とを備え、前記復号装置は、前記符号化装置より伝送路を介して伝送された、前記係数並び替え手段により並び替えられた前記係数データに対して第 2のフィルタ処理を行い、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する第 2のフィルタ手段とを備える。 [0048] 本発明の第 1の側面においては、画像データに対して階層的にフィルタ処理が行われ、周波数帯域毎に分解された係数データ力なる複数のサブバンドが生成され、その生成された係数データが蓄積的に記憶され、その記憶された係数データが所定の順序で出力されるように並び替えられる。

[0049] 本発明の第 2の側面においては、ライン単位で供給される、画像データに対して階層的に第 1のフィルタ処理がなされ周波数帯域毎に分解された複数のサブバンドの係数データが記憶され、その記憶されて、る係数データが所定の順序で出力されるように並び替えられ、その並び替えられて出力された係数データに対して第 2のフィルタ処理が行われ、周波数帯域に分解された複数のサブバンドの係数データが合成されて画像データが生成される。

[0050] 本発明の第 3の側面においては、符号化装置において、画像データに対して階層的に第 1のフィルタ処理が行われ、周波数帯域毎に分解された係数データ力なる複数のサブバンドが生成され、その生成された係数データが蓄積的に記憶され、その記憶された係数データが所定の順序で出力されるように並び替えられ、復号装置において、符号化装置より伝送路を介して伝送された、所定の順序に並び替えられた係数データに対して第 2のフィルタ処理が行われ、周波数帯域に分解された複数のサブバンドの係数データが合成されて画像データが生成される。

発明の効果

[0051] この発明では、画像データに対して階層的にフィルタ処理を行い、周波数帯域毎に分解された係数データ力なる複数のサブバンドを生成し、フィルタ処理により生成された係数データを記憶部に蓄積的に記憶し、記憶部に記憶された係数データを所定の順序で出力するように並び替えるようにしているため、復号の際に、係数データを供給された順に処理するようにでき、画像データの符号化から、符号化データを復号し画像データを出力するまでの遅延時間を短縮できる効果がある。

図面の簡単な説明

[0052] [図 1]本発明を適用した画像符号ィ匕装置の一例の構成を示すブロック図である。

[図 2]ウェーブレット変換について概略的に説明するための略線図である。

[図 3]ウェーブレット変換について概略的に説明するための略線図である。 [図 4]5 X 3フィルタに対してリフティング技術を適用した場合のウェーブレット変換について概略的に説明するための略線図である。

[図 5]5 X 3フィルタに対してリフティング技術を適用した場合のウェーブレット逆変換について概略的に説明するための略線図である。

[図 6]5 X 3フィルタのリフティングによるフィルタリングを分解レベル =2まで実行した例を示す略線図である。

[図 7]この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。

[図 8]符号ィ匕処理の流れの例を説明するためのフローチャートである。

圆 9]本発明を適用した画像復号装置の一例の構成を示すブロック図である。

[図 10]復号処理の流れの例を説明するためのフローチャートである。

圆 11]本発明を適用した画像符号ィ匕装置および画像復号装置の各要素の一例の並列動作を概略的に示す略線図である。

圆 12]本発明を適用した画像符号ィ匕装置の一例の構成を示すブロック図である。

[図 13]ウェーブレット係数の並び替え処理を画像符号ィ匕装置側で行う場合の処理の流れを説明するための略線図である。

[図 14]ウェーブレット係数の並び替え処理を画像復号装置側で行う場合の処理の流れを説明するための略線図である。

圆 15]本発明を適用した画像符号ィ匕装置の一例の構成を示すブロック図である。圆 16]本発明を適用した画像復号装置の一例の構成を示すブロック図である。圆 17]符号ィ匕データの授受の様子の例を説明する模式図である。

[図 18]パケットの構成例を示す図である。

圆 19]本発明を適用した画像符号ィ匕装置の構成例を示すブロック図である。

[図 20]サブバンドを説明するための図である。

圆 21]符号化される量子化係数の一例を示す図である。

[図 22]エントロピ符号ィ匕部の構成例を示すブロック図である。

[図 23]符号ィ匕処理を説明するためのフローチャートである。

[図 24]エントロピ符号ィ匕処理を説明するためのフローチャートである。 [図 25]w個組符号ィ匕処理を説明するためのフローチャートである。

圆 26]画像復号装置の構成例を示すブロック図である。

[図 27]エントロピ復号部の構成例を示すブロック図である。

[図 28]符号分割部の構成例を示すブロック図である。

[図 29]符号分割部の他の構成例を示すブロック図である。

[図 30]復号処理を説明するためのフローチャートである。

[図 31]エントロピ復号処理を説明するためのフローチャートである。

[図 32]w個組復号処理を説明するためのフローチャートである。

[図 33]エントロピ符号ィ匕部の他の構成例を示すブロック図である。

圆 34]符号化される量子化係数の一例を示す図である。

[図 35]w個組符号ィ匕処理を説明するためのフローチャートである。

[図 36]w個組復号処理を説明するためのフローチャートである。

[図 37]本発明を適用したディジタルトライアッタスシステムの一例の構成を示すブロック図である。

[図 38]本発明を適用した無線伝送システムの一例の構成を示すブロック図である。圆 39]本発明を適用した家庭用ゲーム機器の一例の構成を示す図である。

圆 40]本発明を適用した情報処理システムの構成例を示す図である。

符号の説明

1 画像符号化装置， 10 ウェーブレット変換部， 11 途中計算用バッファ部， 1 2 係数並び替え用バッファ部， 13 係数並び替え部， 14 レート制御部， 15 ェントロピ符号化部， 20 画像復号装置， 21 エントロピ復号部， 22 係数バッファ部， 23 ウェーブレット逆変換部， 30 画像符号化装置， 31 符号並び替え用バッファ部， 32 符号並び替え部， 41 画像符号化装置， 42 画像復号装置， 43 係数並び替え用バッファ部， 111 画像符号化装置， 121 ウェーブレット変換部 , 122 量子化部， 123 エントロピ符号化部， 161 ライン判定部， 162 VLC符号化部， 163 最大有効桁数計算部， 164 VLC符号化部， 165 有効桁抽出部 , 166 VLC符号化部， 167 サイン抽出部， 168 VLC符号化部， 169 符号連結部， 211 画像復号装置， 221 エントロピ復号部， 222 逆量子化部， 223 ゥエーブレット逆変換部， 251 符号分割部， 252 ライン判定部， 253 発生部， 2 54 VLC復号部， 255 VLC復号部， 256 VLC復号部， 257 量子化係数合成部， 258 切替部， 271 制御部， 272 メモリ， 291 制御部， 401 バッファ， 5 00 送信ユニット， 501 トライアッタスケーブル， 502 カメラ制御部， 510 ビデオ信号符号化部， 511 ビデオ信号復号部， 526 ビデオ信号復号部， 527 ビデオ信号符号化部， 600 送信ユニット， 601 受信装置， 602 ビデオ信号符号化部 , 612 無線モジュール部， 621 無線モジュール部， 624 ビデオ信号復号部， 700 ビデオカメラ装置， 701 家庭用ゲーム機器の本体

発明を実施するための最良の形態

[0054] 以下、この発明の実施の第 1の形態を、図面を参照しながら説明する。図 1は、この発明の実施の第 1の形態に適用可能な画像符号化装置の一例の構成を示す。画像符号化装置 1は、ウエーブレット変換部 10、途中計算用バッファ部 11、係数並び替え用バッファ部 12、係数並び替え部 13、レート制御部 14、およびエントロピ符号ィ匕部 15 からなる。

[0055] 入力された画像データは、途中計算用バッファ部 11に一時的に溜め込まれる。ゥェ一ブレット変換部 10は、途中計算用バッファ部 11に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部 10は、途中計算用バッファ部 11力も画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部 11に格納する。ウェーブレット変換部 10は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部 10は、途中計算用バッファ部 11 に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部 11に格納される。

[0056] ウェーブレット変換部 10は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部 11から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部 12に書き込む。

[0057] 係数並び替え部 13は、係数並び替え用バッファ部 12に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部 15に供給する。エントロピ符号ィ匕部 15は、供給された係数データを、例えばハフマン符号ィ匕ゃ算術符号ィ匕といった所定のェントロピ符号化方式で符号化する。

[0058] エントロピ符号ィ匕部 15は、レート制御部 14と連動的に動作し、出力される圧縮符号化データのビットレートが略一定値となるように制御される。すなわち、レート制御部 1 4は、エントロピ符号ィ匕部 15からの符号ィ匕データ情報に基づき、エントロピ符号ィ匕部 1 5により圧縮符号化されたデータのビットレートが目標値に達した時点あるいは目標値に達する直前でエントロピ符号ィ匕部 15による符号ィ匕処理を終了するように制御する制御信号を、エントロピ符号化部 15に対して供給する。エントロピ符号ィ匕部 15は、レート制御部 14力供給される制御信号に応じて符号ィ匕処理が終了した時点で、符号化データを出力する。

[0059] ウェーブレット変換部 10で行われる処理について、より詳細に説明する。先ず、ゥェ一ブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図 2に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追!ヽ込んで!/ヽくことで、効率的な圧縮符号ィ匕を可能とする。

[0060] なお、図 2は、画像データの最低域成分領域に対する低域成分の領域 Lおよび高域成分の領域 Hへの分割処理を 3回、繰り返し、分割レベル =3とした場合の例である。図 2において、 " および〃 ΗΊま、それぞれ低域成分および高域成分を表し、〃じ' およびの順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、〃じ'および" H〃の前の数字は、その領域の分割レベノレを示す。

[0061] また、図 2の例から分かるように、画面の右下の領域力左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図 2の例では、画面の右下の領域が最も低域成分の少なヽ (高域成分が最も多く含まれる)領域 3HHとされる、画面が 4分割された左上の領域は、さらに 4分割され、この 4分割された領域のうち左上の領域がさらに 4分割される。最も左上隅の領域は、最も低域成分を多く含む領域 0LLとされる。

[0062] 低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図 3の Aに一例が示される分割レベル = 1 の状態から、図 3の Bに一例が示される分割レベル =3の状態のように分割レベルを進めて、くに従って、図 3の Bに示されるようにしてサブバンドが形成されて!、くこと力らも、理解される。例えば、図 2におけるウェーブレット変換の分割レベルは 3であり、この結果、 10個のサブバンドが形成されている。

[0063] ウェーブレット変換部 10は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、ディジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持って、るため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。

[0064] 次に、この発明の実施の第 1の形態に適用可能なウェーブレット変換の具体的な例として、 5 X 3フィルタを用いた方法について説明する。この 5 X 3フィルタを用いた方法は、従来技術で既に説明した JPEG2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。

[0065] 5 X 3フィルタのインパルス応答 (Z変換表現）は、次の式（1)および式 (2)に示すように、低域フィルタ H (z)と、高域フィルタ H (z)とから構成される。式（1)および式 (2)か

0 1

ら、低域フィルタ H (z)は、 5タップで、高域フィルタ H (z)は、 3タップであることが分か

0 1

る。

[0066] H (z) =(-l+2z^_1+6z"²+2z"³-z"⁴)/8 · · · (1)

[0067] これら式（1)および式 (2)によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング (Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。図 4を用いて、 5 X 3フィルタに対してリフティング技術を適用した場合の、ウェーブレット変換を行う分析フィルタ側の処理について、概略的に説明する。

[0068] 図 4において、最上段部、中段部および最下段部は、それぞれ入力画像の画素列、高域成分出力および低域成分出力を示す。最上段は、入力画像の画素列に限らず、先のフィルタ処理で得られた係数でもよい。ここでは、最上段部が入力画像で画素列であるものとし、四角印（國）が偶数番目（最初を 0番目とする）の画素またはライン、丸印（參）が奇数番目の画素またはラインとする。

[0069] 先ず第 1段階として、次式 (3)により入力画素列力高域成分の係数 d ¹を生成する = (1 °— l/2(s °+s °) · · · (3)

i i i i+1

[0070] 次に第 2段階として、この生成された高域成分の係数と、入力画像の奇数番目の画素とを用いて、次式 (4)により低域成分の係数 s ¹を生成する。

s ^ s lACd i + d ¹) · · · (4)

i i i-1 i

[0071] 分析フィルタ側では、このようにして、フィルタリング処理により入力画像の画素データを低域成分と高域成分とに分解する。

[0072] 図 5を用いて、ウェーブレット変換により生成された係数を復元するウェーブレット逆変換を行う合成フィルタ側の処理について、概略的に説明する。この図 5は、上述の図 4と対応し、 5 X 3フィルタを用い、リフティング技術を適用した例を示す。図 5において、最上段部は、ウェーブレット変換により生成された入力係数を示し、丸印（參）が高域成分の係数、四角印（國）が低域成分の係数をそれぞれ示す。

[0073] 先ず第 1段階として、次式 (5)に従い、入力された低域成分および高域成分の係数から、偶数番目（最初を 0番目とする）の係数 s ^Qが生成される。

s ^ s -lACd i + d ¹) · · · (5)

i i i-1 i

[0074] 次に第 2段階として、次式 (6)に従い、上述の第 1段階で生成された偶数番目の係数 s °と、入力された高域成分の係数 d ¹とから、奇数番目の係数 d°が生成される。 d ^ d ^l^Cs s °) · · · (6)

i i i i+1

[0075] 合成フィルタ側では、このようにして、フィルタリング処理により低域成分および高域成分の係数を合成し、ウェーブレット逆変換を行う。

[0076] 次に、この発明の実施の第 1の形態によるウェーブレット変換方法について説明する。図 6は、図 4を用いて説明した 5 X 3フィルタのリフティングによるフィルタ処理を、分解レベル =2まで実行した例を示す。なお、図 6において、図の左側に分析フィルタとして示される部分は、画像符号ィ匕装置 1側におけるウェーブレット変換部 10のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述する画像復号装置側におけるウェーブレット逆変換部のフィルタである。

[0077] なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端力右端に向けて走査されて 1ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて 1画面が構成されるものとする。

[0078] 図 6において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部 10におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から 1列目乃至 3列目が分割レベル = 1のフィルタ処理を示し、 4列目乃至 6列目が分割レベル =2のフィルタ処理を示す。左端から 2列目は、左端の原画像データの画素に基づく高域成分出力、左端から 3列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル =2のフィルタ処理は、左端から 4列目乃至 6列目に示されるように、分割レベル = 1のフィルタ処理の出力に対して処理がなされる。

[0079] 分解レベル = 1のフィルタ処理において、第 1段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第 2段階のフィルタ処理として、第 1段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル = 1の一例のフィルタ処理を、図 6における左側 (分析フィルタ側）の第 1列目乃至第 3列目に示す。算出された高域成分の係数データは、図 1で説明した係数並び替え用バッファ部 12に格納される。また、算出された低域成分の係数データのは、途中計算用バッファ部 11 に格納される。

[0080] 図 6においては、係数並び替え用バッファ部 12は、一点鎖線で囲まれた部分として示し、途中計算用バッファ部 11は、点線で囲まれた部分として示す。

[0081] 途中計算用バッファ部 11に保持された分解レベル = 1のフィルタ処理の結果に基づき、分解レベル =2のフィルタ処理が行われる。分解レベル =2のフィルタ処理では、分解レベル = 1のフィルタ処理にぉ、て低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル = 1と同様のフィルタ処理を行う。分解レベル =2のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、図 1で説明した係数並び替え用バッファ部 12に格納される。

[0082] ウェーブレット変換部 10では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル = 1のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部 11に格納する。次に、途中計算用バッファ部 11に格納された係数データに対して、垂直方向に分解レベル = 1のフィルタ処理を行う。この分解レベル = 1の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域 HHおよび領域 HLと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域 LHおよび領域 LLとの 4領域が形成される。

[0083] そして、分解レベル =2では、水平方向および垂直方向のそれぞれについて、分解レベル = 1で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル =2では、分解レベル = 1で分割されて形成された領域 LLがさらに 4分割され、領域 LL内にさらに領域 HH、領域 HL、領域 LHおよび領域 LLが形成される。

[0084] この実施の第 1の形態では、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図 6の例では、画面上の第 1ラインからの処理になる 1回目の処理は、 7ラインにっヽてフィルタ処理を行、、 8ライン目力の処理になる 2回目以降の処理は、 4ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに 2分解した後に、 1ライン分の最低域成分が生成されるために必要なライン数に基づく。 [0085] なお、以下において、この最低域成分の 1ライン分 (最低域成分のサブバンドの 1ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、ラインブロック（またはプレシンクト）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される 1行分の画素データ若しくは係数データのことを示す。すなわち、ラインブロック（プレシンクト）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド 1ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。

[0086] 図 6によれば、分解レベル =2のフィルタ処理結果で得られる係数 C5は、係数 C4および途中計算用バッファ部 11に格納された係数 Cに基づき算出され、係数 C4は、途

a

中計算用バッファ部 11に格納された係数 C、係数 Cおよび係数 Cに基づき算出され

a b c

る。さらに、係数 Cは、係数並び替え用バッファ部 12に格納される係数 C2および係数 C3、並びに、第 5ラインの画素データに基づき算出される。また、係数 C3は、第 5ライン乃至第 7ラインの画素データに基づき算出される。このように、分割レベル =2における低域成分の係数 C5を得るためには、第 1ライン乃至第 7ラインの画素データが必要とされる。

[0087] これに対して、 2回目以降のフィルタ処理にお!、ては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部 12に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。

[0088] すなわち、図 6によれば、分解レベル =2のフィルタ処理結果で得られる低域成分の係数のうち、係数 C5の次の係数である係数 C9は、係数 C4および係数 C8、並びに、途中計算用バッファ部 11に格納された係数 Cに基づき算出される。係数 C4は、上述した 1回目のフィルタ処理により既に算出され、係数並び替え用バッファ部 12に格納されている。同様に、係数 Cは、上述の 1回目のフィルタ処理により既に算出され、途中計算用バッファ部 11に格納されている。したがって、この 2回目のフィルタ処理においては、係数 C8を算出するためのフィルタ処理のみ力新たになされることになる。この新たなフィルタ処理は、第 8ライン乃至第 11ラインがさらに用いられてなされる。 [0089] このように、 2回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部 11および係数並び替え用バッファ部 12に格納されたデータを用いることができるので、それぞれ 4ライン毎の処理で済むことになる。

[0090] なお、画面上のライン数が符号ィ匕のライン数と合致しなヽ場合は、原画像データのラインを所定に複製してライン数を符号ィ匕のライン数と合わせて、フィルタ処理を行う

[0091] 詳細は後述するが、この発明では、このように、最低域成分 1ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて (ラインブロック単位で)行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能として、る。

[0092] ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第 1のノッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第 2のノッファとが必要とされる。第 1のバッファは、途中計算用バッファ部 11に対応し、図 6においては点線で囲まれて示されている。また、第 2のバッファは、係数並び替え用バッファ部 12に対応し、図 6においては一点鎖線に囲まれて示されている。第 2のノッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号ィ匕処理の対象とされる。

[0093] 係数並び替え部 13の処理について説明する。上述したように、ウェーブレット変換部 10で算出された係数データは、係数並び替え用バッファ部 12に格納され、係数並び替え部 13により順序を並び替えられて読み出され、エントロピ符号ィ匕部 15に送出される。

[0094] 既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図 6の例では、 1回目において、原画像の画素データにより、分解レベル = 1のフィルタ処理で、高域成分の係数 Cl、係数 C2および係数 C3 が順次生成される。そして、分解レベル = 1のフィルタ処理で得られた低域成分の係数データに対して分解レベル =2のフィルタ処理を行!、、低域成分の係数 C4および係数 C5が順次生成される。すなわち、第 1回目では、係数 Cl、係数 C2、係数 C3、係数 C4、係数 C5の順に、係数データが生成される。この係数データの生成順は、ゥェ一ブレット変換の原理上、必ずこの順序（高域から低域の順）になる。

[0095] これに対して、復号側では、低遅延で即座に復号を行うためには低域成分力画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。

[0096] 図 6の例を用いて、より具体的に説明する。図 6の右側は、逆ウェーブレット変換を行う合成フィルタ側を示す。復号側の、出力画像データの第 1ライン目を含む 1回目の合成処理 (逆ウェーブレット変換処理）は、符号化側の 1回目のフィルタ処理で生成された最低域成分の係数 C4および係数 C5と、係数 C1とを用いて行われる。

[0097] すなわち、 1回目の合成処理においては、係数 C5、係数 C4、係数 C1の順に符号ィ匕側から復号側に係数データを供給し、復号側では、分解レベル =2に対応する合成処理である合成レベル =2の処理で、係数 C5および係数 C4に対して合成処理を行つて係数 C

fを生成し、ノッファに格納する。そして、分解レベル = 1に対応する合成処理である合成レベル = 1の処理で、この係数 Cと係数 C1に対して合成処理を行って、

f

第 1ラインを出力する。

[0098] このように、第 1回目の合成処理においては、符号化側で係数 Cl、係数 C2、係数 C 3、係数 C4、係数 C5の順に生成され係数並び替え用バッファ部 12に格納された係数データが、係数 C5、係数 C4、係数 Cl、 · · ·の順に並び替えられて復号側に供給される。

[0099] なお、図 6の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号ィ匕側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数 C1 (5)は、図 6の左側の分析フィルタ側では係数 C5であって、合成フィルタ側では第 1ライン目であることを示す。

[0100] 符号化側の 2回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図 6の例では、符号ィ匕側の 2回目のフィルタ処理で生成された低域成分の係数 C8および係数 C9を用いて行う、復号側の 2回目の合成処理は、符号化側の 1回目のフィルタ処理で生成された係数 C2および係数 C3がさらに必要とされ、第 2ライン乃至第 5ラインが復号される。

[0101] すなわち、 2回目の合成処理においては、係数 C9、係数 C8、係数 C2、係数 C3の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル =2の処理において、係数 C8および係数 C9と、 1回目の合成処理の際に符号化側から供給された係数 C4とを用いて係数 Cを生成し、バッファに格納する。この係数 Cと、上述の

g g

係数 C4と、 1回目の合成処理により生成されバッファに格納された係数 Cとを用いて

f

係数 Cを生成し、バッファに格納する。

h

[0102] そして、合成レベル = 1の処理において、合成レベル =2の処理で生成されバッファに格納された係数 Cおよび係数 Cと、符号化側から供給された係数 C2 (合成フィル g h

タでは係数 C6 (2)と示されて、る）および係数 C3 (合成フィルタでは係数 C7 (3)と示されている）とを用いて合成処理が行われ、第 2ライン乃至第 5ラインが復号される。

[0103] このように、第 2回目の合成処理においては、符号化側で係数 C2、係数 C3、（係数 C4、係数 C5)、係数 C6、係数 C7、係数 C8、係数 C9の順に生成された係数データが、係数 C9、係数 C8、係数 C2、係数 C3、 · · ·の順に並び替えられて復号側に供給される

[0104] 3回目以降の合成処理においても、同様にして、並び替えバッファ部 12に格納された係数データが所定に並び替えられて復号部に供給され、 4ラインずつ、ラインが復号される。

[0105] なお、符号ィ匕側において画面の下端のラインを含むフィルタ処理 (以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファ〖こ格納された係数データを全て出力することになるため、出力ライン数が多くなる。図 6 の例では、最後の回に 8ラインが出力される。

[0106] なお、係数並び替え部 13による係数データの並び替え処理は、例えば、係数並び替え用バッファ部 12に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。

[0107] 図 7を用いて、上述までの処理をより具体的に説明する。図 7は、 5 X 3フィルタを用いて、分解レベル =2までウェーブレット変換によるフィルタ処理を施した例である。ゥエーブレット変換部 10において、図 7の Aに一例が示されるように、入力画像データの第 1ライン力も第 7ラインに対して 1回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図 7の Aの In-1)。

[0108] 1回目のフィルタ処理の分解レベル = 1の処理において、係数 Cl、係数 C2、および係数 C3の 3ライン分の係数データが生成され、図 7の Bに一例が示されるように、分解レベル = 1で形成される領域 HH、領域 HLおよび領域 LHのそれぞれに配置される（図 7の Bの WT_1)。

[0109] また、分解レベル = 1で形成される領域 LLは、分解レベル =2による水平および垂直方向のフィルタ処理でさらに 4分割される。分解レベル = 2で生成される係数 C5および係数 C4は、分解レベル = 1による領域 LL内において、領域 LLに係数 C5による 1 ラインが配置され、領域 HH、領域 HLおよび領域 LHのそれぞれに、係数 C4による 1ラインが配置される。

[0110] ウェーブレット変換部 10による 2回目以降のフィルタ処理では、 4ライン毎にフィルタ処理が行われ（図 7の Aの Ιη-2 · · 、分解レベル = 1で 2ラインずつの係数データが生成され（図 7の Βの WT- 2)、分解レベル =2で 1ラインずつの係数データが生成される。

[0111] 図 6の 2回目の例では、分解レベル = 1のフィルタ処理で係数 C6および係数 C7の 2 ライン分の係数データが生成され、図 7の Βに一例が示されるように、分解レベル 1で形成される領域 ΗΗ、領域 HLおよび領域 LHの、 1回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル = 1による領域 LL内において、分解レベル =2のフィルタ処理で生成された 1ライン分の係数 C9が領域 LLに配置され、 1ライン分の係数 C8が領域 HH、領域 HLおよび領域 LHにそれぞれ配置される。

[0112] 図 7の Bのようにウェーブレット変換されたデータを復号した際には、図 7の Cに一例が示されるように、符号ィ匕側の第 1ライン乃至第 7ラインによる 1回目のフィルタ処理に対して、復号側の 1回目の合成処理による第 1ラインが出力される（図 7の Cの Out-1) 。以降、符号ィ匕側の 2回目力も最後の回の前までのフィルタ処理に対して、復号側で 4ラインずつが出力される（図 7の Cの Out-2 · · 。そして、符号化側の最後の回のフィルタ処理に対して、復号側で 8ラインが出力される。

[0113] ウェーブレット変換部 10で高域成分側力ゝら低域成分側へと生成された係数データは、係数並び替え用バッファ部 12に順次格納される。係数並び替え部 13は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部 12に係数データが蓄積されると、係数並び替え用バッファ部 12から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部 15に順次、供給される。

[0114] エントロピ符号ィ匕部 15は、供給された係数データに対して、レート制御部 14力も供給される制御信号に基づき出力データのビットレートが目標ビットレートになるように符号化動作を制御して、エントロピ符号化を施す。エントロピ符号化された符号化データは、復号側に供給される。符号ィ匕方式としては、既知の技術であるハフマン符号化や算術符号化などが考えられる。勿論、これらに限らず、可逆的な符号化処理が可能であれば、他の符号ィ匕方式を用いてもよい。

[0115] なお、エントロピ符号ィ匕部 15力係数並び替え部 13力読み出された係数データに対して、最初に量子化を行い、得られた量子化係数に対してハフマン符号化や算術符号化等の情報源符号化処理を施すようにすれば、さらに圧縮効果の向上を期待することができる。この量子化の方法としてはどのようなものを用いても良ぐ例えば、一般的な手段、つまり、以下の式 (7)に示されるような、係数データ Wを量子化ステツプサイズ Δで除算する手法を用いれば良!、。

[0116] 量子化係数 =\Υ/ Δ · · · (7)

[0117] 図 6および図 7を用いて説明したように、この発明の実施の第 1の形態では、ゥエーブレット変換部 10は、画像データの複数ライン毎（ラインブロック毎）にウェーブレット変換処理を行う。エントロピ符号ィ匕部 15では符号化された符号ィ匕データは、このラインブロック毎に出力される。すなわち、上述の、 5 X 3フィルタを用い、分解レベル =2 まで処理を行った場合には、 1画面のデータの出力において、最初が 1ライン、 2回目以降最後の回の前までが 4ラインずつ、最後の回が 8ラインの出力が得られる。

[0118] なお、係数並び替え部 13で並び替えられた後の係数データをエントロピ符号ィ匕する場合、例えば図 6で示した 1回目のフィルタ処理では、最初の係数 C5のラインをェントロピ符号ィ匕する際には、未だ過去のラインすなわち既に係数データが生成されたラインが存在していない。したがって、この場合には、この 1ラインだけをエントロピ符号化する。これに対して、係数 C1のラインを符号ィ匕する際には、係数 C5および係数 C4 のラインが過去のラインとなっている。これら近接する複数ラインは、似たデータで構成されて!/、ることが考えられるので、これら複数ラインを纏めてエントロピ符号ィ匕することは、有効である。

[0119] また、上述では、ウェーブレット変換部 10において、 5 X 3フィルタを用いてウェーブレット変換によるフィルタ処理を行う例について説明した力これはこの例に限られない。例えば、ウェーブレット変換部 10では、例えば 9 X 7フィルタといった、さらにタップ数の長いフィルタを用いることができる。この場合、フィルタのタップ数が長ければ、フィルタに蓄積されるライン数も多くなるので、画像データの入力から符号化データの出力までの遅延時間が長くなることになる。

[0120] また、上述では、説明のためウェーブレット変換の分解レベルを分解レベル =2とした力これはこの例に限られず、さらに分解レベルを上げることができる。分解レベルを上げるほど、より高圧縮率を実現することができる。例えば、一般的には、ウェーブレット変換においては、分解レベル =4までフィルタ処理が繰り返される。なお、分解レベルが上がれば、遅延時間も増大することになる。

[0121] したがって、実際のシステムにこの発明の実施の第 1の形態を適用する際には、当該システムに要求される遅延時間ゃ復号画像の画質などに応じて、フィルタのタップ数や、分解レベルを決めることが好ましい。このフィルタのタップ数や、分解レベルは、固定値とせずに、適応的に選択するようにもできる。

[0122] 次に、以上のような画像符号化装置 1による符号化処理全体の具体的な流れの例を図 8のフローチャートを参照して説明する。

[0123] 符号化処理が開始されると、ウェーブレット変換部 10は、ステップ S1において、処理対象ラインブロックの番号 Aを初期設定にする。通常の場合、番号 Aは「1」に設定される。設定が終了すると、ウェーブレット変換部 10は、ステップ S2において、最低域サブバンドにおいて上力も A番目の 1ラインを生成するのに必要なライン数 (すなわち、 1ラインブロック）の画像データを取得し、その画像データに対して、ステップ S3において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行!、、ステップ S4にお、て画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。 [0124] ステップ S5においてウェーブレット変換部 10は、分析フィルタリング処理を最終レべルまで行ったか否かを判定し、分解レベルが最終レベルに達して!/、な!/、と判定した場合、処理をステップ S3に戻し、現在の分解レベルに対して、ステップ S3およびステップ S4の分析フィルタリング処理を繰り返す。

[0125] ステップ S5において、分析フィルタリング処理が最終レベルまで行われたと判定した場合、ウェーブレット変換部 10は、処理をステップ S6に進める。

[0126] ステップ S6において、係数並び替え部 13は、ラインブロック A (ピクチャ (インタレース方式の場合フィールド)の上から A番目のラインブロック）の係数を低域力高域の順番に並び替える。エントロピ符号ィ匕部 15は、ステップ S7において、その係数に対してライン毎にエントロピ符号ィ匕する。エントロピ符号ィ匕が終了すると、エントロピ符号ィ匕部 15は、ステップ S8においてラインブロック Aの符号ィ匕データを外部に送出する。

[0127] ウェーブレット変換部 10は、ステップ S9において番号 Aの値を「1」インクリメントして次のラインブロックを処理対象とし、ステップ S10において、処理対象のピクチャ (インタレース方式の場合フィールド）について、未処理の画像入力ラインが存在するか否かを判定し、存在すると判定した場合、処理をステップ S2に戻し、新たな処理対象のラインブロックに対してそれ以降の処理を繰り返す。

[0128] 以上のようにステップ S2乃至ステップ S10の処理が繰り返し実行され、各ラインブロックが符号化される。そして、ステップ S10において、未処理の画像入力ラインが存在しないと判定した場合、ウェーブレット変換部 10は、そのピクチヤに対する符号化処理を終了する。次のピクチヤに対しては新たに符号ィ匕処理が開始される。

[0129] 従来のウェーブレット変換の方法の場合、まず、水平分析フィルタリング処理をピクチヤ (インタレース方式の場合フィールド)全体に対して行、、次に垂直分析フィルタリング処理をそのピクチャ全体に対して行う。そして得られた低域成分全体に対して同様の水平分析フィルタリング処理と垂直分析フィルタリング処理を順に行う。以上のように、分解レベルが最終レベルに達するまで、分析フィルタリング処理が再帰的に繰り返される。従って、各分析フィルタリング処理の結果をバッファに保持させる必要があるが、その際、ノッファは、ピクチャ (インタレース方式の場合フィールド)全体、若しくは、その時点の分解レベルの低域成分全体のフィルタリング結果を保持する必要力 Sあり、多大なメモリ容量を必要とすることになる (保持するデータ量が多い)。

[0130] また、この場合、ピクチャ (インタレース方式の場合フィールド）内にお、て全てのゥエーブレット変換が終了しないと、後段の係数並び替えやエントロピ符号ィ匕を行うことができず、遅延時間が増大する。

[0131] これに対して、画像符号ィ匕装置 1のウェーブレット変換部 10の場合、上述したようにラインブロック単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に)保持する（バッファリングする）必要のあるデータの量が少なぐ用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号ィ匕等の処理も行うことができる（つまり、係数並び替えやエントロピ符号ィ匕をラインブロック単位で行うことができる）。従って、従来の方法と比較して遅延時間を大幅に低減させることができる。

[0132] 図 9は、図 1の画像符号化装置 1に対応する画像復号装置の一例の構成を示す。図 1の画像符号ィ匕装置 1のエントロピ符号ィ匕部 15から出力された符号ィ匕データ（図 1の符号化データ出力）は、図 9の画像復号装置 20のエントロピ復号部 21に供給され（図 9の符号化データ入力）、エントロピ符号を復号され、係数データとされる。係数データは、係数バッファ部 22に格納される。ウェーブレット逆変換部 23は、係数バッファ部 22に格納された係数データを用いて、例えば図 5および図 6を用いて説明したようにして合成フィルタによる合成フィルタ処理を行ヽ、合成フィルタ処理の結果を再び係数バッファ部 22に格納する。ウェーブレット逆変換部 23は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得る。

[0133] 次に、以上のような画像復号装置 20による復号処理全体の具体的な流れの例を図 10のフローチャートを参照して説明する。

[0134] 復号処理が開始されると、エントロピ復号部 21は、ステップ S31において、符号化データを取得し、ステップ S32において、ライン毎に符号化データをエントロピ復号する。ステップ S33において、係数バッファ部 22は、その復号されて得られた係数を保持する。ステップ S34においてウェーブレット逆変換部 23は、係数バッファ部 22に 1ラインブロック分の係数が蓄積された力否かを判定し、蓄積されていないと判定した場合、処理をステップ S31に戻し、それ以降の処理を実行させ、係数バッファ部 22に 1ラインブロック分の係数が蓄積されるまで待機する。

[0135] ステップ S34において係数バッファ部 22に 1ラインブロック分の係数が蓄積されたと判定した場合、ウェーブレット逆変換部 23は、処理をステップ S35に進め、係数バッファ部 22に保持されている係数を 1ラインブロック分読み出す。

[0136] そしてその読み出した係数に対して、ウェーブレット逆変換部 23は、ステップ S36にお!ヽて、画面垂直方向に並ぶ係数に対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行い、ステップ S37において、画面水平方向に並ぶ係数に対して合成フィルタリング処理を行う水平合成フィルタリング処理を行、、ステップ S38において、合成フィルタリング処理がレベル 1 (分解レベルの値が「1」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換した力否かを判定し、レベル 1まで達していないと判定した場合、処理をステップ S36に戻し、ステップ S36およびステップ S37のフィルタリング処理を繰り返す。

[0137] ステップ S38において、レベル 1まで逆変換処理が終了したと判定した場合、ゥエーブレット逆変換部 23は、処理をステップ S39に進め、逆変換処理により得られた画像データを外部に出力する。

[0138] ステップ S40において、エントロピ復号部 21は、復号処理を終了するか否かを判定し、符号化データの入力が継続しており、復号処理を終了しないと判定した場合、処理をステップ S31に戻し、それ以降の処理を繰り返す。また、ステップ S40において、符号化データの入力が終了するなどして復号処理を終了すると判定した場合、エントロピ復号部 21は、復号処理を終了する。

[0139] 従来のウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要がある力その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる (保持するデータ量が多い)。 [0140] また、この場合、ピクチャ (インタレース方式の場合フィールド）内にお、て全てのゥエーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。

[0141] これに対して、画像復号装置 20のウェーブレット逆変換部 23の場合、上述したようにラインブロック単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル 1まで連続して行うので、従来の方法と比較して、一度に（同時期に)バッファリングする必要のあるデータの量が少なぐ用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル 1まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に (ラインブロック単位で)画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。

[0142] なお、図 1に示される画像符号化装置 1や、図 9に示される画像復号装置 20の各要素の動作（図 8の符号ィ匕処理や図 10の復号処理）は、例えば図示されない CPU(Cent ral Processing Unit)により、所定のプログラムに従い制御される。プログラムは、例えば図示されない ROM(Read Only Memory)に予め記憶される。これに限らず、画像符号化装置や画像復号装置を構成する各要素間でタイミング信号や制御信号を互いにやりとりして、全体として動作させることも可能である。また、画像符号化装置や画像復号装置は、コンピュータ装置上で動作するソフトウェアで実現することも可能である。

[0143] 次に、この発明の実施の第 2の形態について説明する。この実施の第 2の形態では、上述の実施の第 1の形態で説明したシステムにおいて、画像符号化装置 1および画像復号装置 20の各要素を並列的に動作させ、画像の圧縮符号化および復号処理をより低遅延で行うようにしたものである。

[0144] なお、実施の第 2の形態では、上述の実施の第 1の形態で図 1乃至図 10を用いて説明した画像符号化装置 1および画像復号装置 20、ならびに、符号化方法および復号方法をそのまま適用可能なので、これらの説明は、繁雑さを避けるために省略する。

[0145] 図 11は、この発明の実施の第 2の形態による、画像符号化装置 1および画像復号装置 20の各要素の一例の並列動作を概略的に示す。この図 11は、上述した図 7と対応するものである。画像データの入力 In-1 (図 11の A)に対して、エントロピ符号ィ匕部 15 で 1回目のウェーブレット変換 WT-1が施される（図 11の B)。図 6を参照し説明したように、この 1回目のウェーブレット変換 WT-1は、最初の 3ラインが入力された時点で開始され、係数 C1が生成される。すなわち、画像データ In-1の入力からウェーブレット変換 WT-1が開始されるまで、 3ライン分の遅延が生じる。

[0146] 生成された係数データは、係数並び替え用バッファ部 12に格納される。以降、入力された画像データに対してウェーブレット変換が施され、 1回目の処理が終了すると、そのまま 2回目のウェーブレット変換 WT-2に処理が移行する。

[0147] 2回目のウェーブレット変換 WT-2のための画像データ In-2の入力と、当該 2回目のウェーブレット変換 WT-2の処理と並列的に、係数並び替え部 13により 3個の、係数 C 1、係数 C4、および係数 C5の並び替え Ord- 1が実行される（図 11の C)。

[0148] なお、ウェーブレット変換 WT-1の終了から並び替え Ord-1が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部 13に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部 13の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではな、。

[0149] 係数データは、並び替えが終了した順に係数並び替え用バッファ部 12力読み出され、エントロピ符号化部 15に供給され、エントロピ符号化 EC-1が行われる（図 11の D ) oこのエントロピ符号化 EC-1は、 3個の、係数 Cl、係数 C4、および係数 C5の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数 C5による 1ラインの並び替えが終了した時点で、当該係数 C5に対するエントロピ符号化を開始することができる。この場合、並び替え Ord-1の処理開始力もエントロピ符号ィ匕 EC-1の処理開始までの遅延は、 1ライン分となる。

[0150] エントロピ符号ィ匕部 15によるエントロピ符号化 EC-1が終了した符号ィ匕データは、何らかの伝送路を介して画像復号装置 20に伝送される（図 11の E)。符号化データが伝送される伝送路としては、例えばインターネットなどの通信ネットワークが考えられる。この場合、符号化データは、 IP(Internet Protocol)により伝送される。これに限らず、符号化データの伝送路としては、 USB(Universal Serial Bus)や IEEE1394(Institute Ele ctrical and Electronics Engineers 1394)といった通信インタフェースや、 IEEE802.il 規格などに代表される無線通信も考えられる。

[0151] 画像符号ィ匕装置 1に対して、 1回目の処理による 7ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。画像符号化装置 1では、画像データの入力 In-n (nは 2以上）に伴い、上述したようにして、 4ライン毎にゥェ一ブレット変換 WT- n、並び替え Ord- nおよびエントロピ符号化 EC- nを行う。画像符号ィ匕装置 1における最後の回の処理に対する並び替え Ordおよびエントロピ符号化 E Cは、 6ラインに対して行われる。これらの処理は、画像符号化装置 1において、図 11 の A乃至図 11の Dに例示されるように、並列的に行われる。

[0152] 画像符号化装置 1によるエントロピ符号化 EC-1により符号化された符号化データが、画像復号装置 20に伝送路を介して伝送され、エントロピ復号部 21に供給される。ェントロピ復号部 21は、供給された、エントロピ符号化 EC- 1により符号化された符号ィ匕データに対して、順次、エントロピ符号の復号 iEC-1を行い、係数データを復元する（図 11の F)。復元された係数データは、順次、係数バッファ部 22に格納される。ゥエーブレット逆変換部 23は、係数バッファ部 22にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部 22から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換 iWT-1を行う（図 11の G)。

[0153] 図 6を参照して説明したように、ウェーブレット逆変換部 23によるウェーブレット逆変換 iWT-1は、係数 C4および係数 C5が係数バッファ部 22に格納された時点で開始することができる。したがって、エントロピ復号部 21による復号 iEC-1が開始されて力ゥエーブレット逆変換部 23によるウェーブレット逆変換 iWT-1が開始されるまでの遅延は、 2ライン分となる。

[0154] ウェーブレット逆変換部 23において、 1回目のウェーブレット変換による 3ライン分のウェーブレット逆変換 iWT-1が終了すると、ウェーブレット逆変換 iWT-1で生成された画像データの出力 Out-1が行われる（図 11の!■[)。出力 Out-1では、図 6および図 7を用いて説明したように、第 1ライン目の画像データが出力される。

[0155] 画像復号装置 20に対して、画像符号ィ匕装置 1における 1回目の処理による 3ライン分の符号化された係数データの入力に続けて、エントロピ符号ィ匕 EC-n (nは 2以上）により符号化された係数データが順次、入力される。画像復号装置 20では、入力された係数データに対して、上述したようにして、 4ライン毎にエントロピ復号 iEC-nおよびウェーブレット逆変換 iWT- nを行、、ウェーブレット逆変換 iWT-nにより復元された画像データの出力 Out-nを順次、行う。画像符号化装置の最後の回に対応するェント口ピ復号 iECおよびウェーブレット逆変換 iWTは、 6ラインに対して行われ、出力 Outは、 8ラインが出力される。これらの処理は、画像復号装置において、図 11の F乃至図 11 の Hに例示されるように、並列的に行われる。

[0156] 上述のようにして、画面上部から下部の方向に順番に、画像符号化装置 1および画像復号装置 20における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。

[0157] 図 11を参照して、 5 X 3フィルタを用いて分解レベル =2までウェーブレット変換を行つた場合の、画像入力力も画像出力までの遅延時間を計算してみる。第 1ライン目の画像データが画像符号化装置 1に入力されてから、この第 1ライン目の画像データが画像復号装置 20から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。

[0158] (1)最初のライン入力から 7ライン分のウェーブレット変換 WT-1が終了するまでの遅延 D— WT

(2) 3ライン分の計数並び替え Ord-1に伴う時間 D_Ord

(3) 3ライン分のエントロピ符号化 EC- 1に伴う時間 D_EC

(4) 3ライン分のエントロピ復号 iEC- 1に伴う時間 D_iEC

(5) 3ライン分のゥヱーブレット逆変換 iWT-1に伴う時間 DjWT

[0159] 図 11を参照して、上述の各要素による遅延の計算を試みる。（1)の遅延 D_WTは、 1 0ライン分の時間である。（2)の時間 D_Ord、（3)の時間 D_EC、（4)の時間 DjEC、および (5)の時間 DjWTは、それぞれ 3ライン分の時間である。また、画像符号化装置 1において、並び替え Ord-1が開始されてから 1ライン後には、エントロピ符号ィ匕 EC-1を開始することができる。同様に、画像復号装置 20において、エントロピ復号 iEC-1が開始されてから 2ライン後には、ウェーブレット逆変換 iWT-1を開始することができる。また、エントロピ復号 iEC-1は、エントロピ符号化 EC-1で 1ライン分の符号ィ匕が終了した時点で処理を開始することができる。

[0160] したがって、この図 11の例では、画像符号ィ匕装置に第 1ライン目の画像データが入力されてから、画像復号装置カゝら当該第 1ライン目の画像データが出力されるまでの遅延時間は、 10+1+1+2+3=17ライン分となる。

[0161] 遅延時間について、より具体的な例を挙げて考察する。入力される画像データが H DTV(High Definition Television)のインタレースビデオ信号の場合、例えば 1920画素 X 1080ラインの解像度で 1フレームが構成され、 1フィールドは、 1920画素 X 540ラインとなる。したがって、フレーム周波数を 30Hzとした場合、 1フィールドの 540ラインが 16. 67msec ( = lsec/60フィールド）の時間に、画像符号化装置 1に入力されることになる。

[0162] したがって、 7ライン分の画像データの入力に伴う遅延時間は、 0.216msec ( = 16.67 msec X 7/540ライン)であり、例えば 1フィールドの更新時間に対して非常に短い時間となる。また、上述した（1)の遅延 D_WT、（2)の時間 D_Ord、（3)の時間 D_EC、（4)の時間 D_iEC、および（5)の時間 DjWTの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。各処理を行う要素をハードウア化すれば、処理時間をさらに短縮することも可能である。

[0163] 次に、この発明の実施の第 3の形態について説明する。上述した実施の第 1および第 2の形態では、画像符号化装置 1において、ウェーブレット変換を行った後に係数データの並び替えを行っていた。これに対して、この発明の実施の第 3の形態では、係数データの並び替えを、エントロピ符号ィ匕の後に行うようにしている。すなわち、この場合の画像符号ィ匕装置では、入力された画像データに対してウェーブレット変換を行、生成された係数に対してエントロピ符号化を施し、エントロピ符号化されたデータに対して並び替え処理を行う。このように、係数データの並び替えをエントロピ符号ィ匕の後で行うことで、係数並び替えバッファにおいて必要とされる記憶容量を抑えることがでさる。

[0164] 例えば、入力画像データのビット精度が 8ビットの場合、ウェーブレット変換を複数レベル分解まで行うと、生成される係数データのビット精度が例えば 12ビット程度となる。エントロピ符号化処理の前に係数並び替え処理を行う場合、係数並び替え用バッファ部は、このビット精度 12ビットの係数データを、所定ライン数分、格納する必要がある。ウェーブレット変換で生成された係数データをエントロピ符号ィ匕した後に並び替え処理するようにすれば、係数並び替え用バッファは、エントロピ符号化により圧縮されたデータを格納すればょ、ので、より小さ、記憶容量で済むことになる。

[0165] 図 12は、この発明の実施の第 3の形態による画像符号ィ匕装置の一例の構成を示す。なお、図 12において、上述した図 1と共通する部分には同一の符号を付し、詳細な説明を省略する。

[0166] 入力画像データは、画像符号化装置 30の途中計算用バッファ部 11に一旦格納される。ウェーブレット変換部 10は、途中計算用バッファ部 11に格納された画像データに対して、実施の第 1の形態で既に説明したようにして、ウェーブレット変換を所定に施す。ウェーブレット変換で生成された係数データは、エントロピ符号ィ匕部 15に供給される。エントロピ符号ィ匕部 15は、レート制御部 14と連動的に動作し、出力される圧縮符号ィ匕データのビットレートが略一定値となるように制御され、供給された係数データに対してエントロピ符号化処理を行う。つまり、エントロピ符号ィ匕部 15は、係数の順序に関わらず、取得した係数を、その取得した順序で同様に符号ィ匕する。

[0167] ウェーブレット変換により生成された係数データがエントロピ符号ィ匕部 15でェントロピ符号ィ匕された符号ィ匕データは、符号並び替え用バッファ部 31にー且格納される。符号並び替え部 32は、符号並び替え用バッファ部 31に並び替える符号化データが格納され次第、符号並び替え用バッファ部 31から符号化データを並び替えて読み出す。実施の第 1の形態で既に説明したように、ウェーブレット変換部 10で生成された係数データは、高域成分から低域成分の順に、画面の上端側から下端側に向けて生成される。復号側において低遅延で画像データの出力を行うためには、符号並び替え用バッファ部 31に格納された符号ィ匕データを、ウェーブレット変換による係数データの低域成分から高域成分の順に並び替えて読み出す。

[0168] 符号並び替え用バッファ部 31から読み出された符号ィ匕データが出力の符号ィ匕デ一タとして、例えば伝送路に送出される。

[0169] なお、この実施の第 3の形態による画像符号ィ匕装置 30で符号ィ匕され出力されたデータは、図 9を用いて既に説明した、実施の第 1の形態による画像復号装置 20により、実施の第 1の形態の場合と同様に復号することができる。すなわち、例えば伝送路を介して画像復号装置 20に入力された符号ィ匕データは、エントロピ復号部 21でェントロピ符号の復号がなされ、係数データが復元される。復元された係数データは、係数ノッファ部 22に順次、格納される。ウェーブレット逆変換部 23は、係数バッファ部 22に格納された係数データに対してウェーブレット逆変換を施し、画像データを出力する

[0170] 次に、この発明の実施の第 4の形態について説明する。上述までの、実施の第 1の形態乃至第 3の形態では、ウェーブレット変換で生成された係数データの並び替え処理を、図 13に一例が示されるように、画像符号ィ匕装置側で行っていた。これに対して、この発明の実施の第 4の形態では、ウェーブレット変換により生成された係数データの並び替え処理を、図 14で一例が示されるように、画像復号装置側で行うようにしている。

[0171] ウェーブレット変換で生成された係数データを並び替える処理では、上述の実施の第 3の形態でも説明したように、係数並び替え用バッファの記憶容量として比較的大容量が必要となると共に、係数並び替えの処理自体にも、高い処理能力が要求される。この場合でも、画像符号ィ匕装置側の処理能力がある程度以上高い場合には、上述の実施の第 1の形態乃至第 3の形態で説明したように、画像符号化装置側で係数並び替え処理を行っても、何ら問題は生じない。

[0172] ここで、携帯電話端末や PDA(Personal Digital Assistant)と!、つた所謂モパイル端末などの、比較的処理能力の低い機器に画像符号化装置が搭載される場合について考える。例えば、近年では、携帯電話端末に対して撮像機能を付加した製品が広く普及している (カメラ機能付き携帯電話端末と呼ぶ)。このようなカメラ機能付き携帯電話端末で撮像された画像データをウェーブレット変換およびエントロピ符号ィ匕により圧縮符号化し、無線あるいは有線通信を介して伝送することが考えられる。

[0173] このような例えばモパイル端末は、 CPUの処理能力も限られ、また、メモリ容量にもある程度の上限がある。そのため、上述したような係数並び替えに伴う処理の負荷などは、無視できない問題となる。

[0174] そこで、図 14に一例が示されるように、並び替え処理を画像復号装置側に組み入れることで、画像符号ィ匕装置側の負荷が軽くなり、画像符号化装置をモパイル端末などの比較的処理能力が低い機器に搭載することが可能となる。

[0175] 図 15は、この実施の第 4の形態に適用可能な画像符号ィ匕装置の一例の構成を示す。なお、この図 15において、上述の図 1と共通する部分には同一の符号を付して、詳細な説明を省略する。

[0176] この図 15に示される画像符号ィ匕装置 41の構成は、上述の図 1で示した画像符号ィ匕装置 1の構成に対して係数並び替え部 13および係数並び替え用バッファ部 12を除去した構成となっている。すなわち、この実施の第 4の形態では、画像符号化装置 41としては、従来から用いられる、ウェーブレット変換部 10、途中計算用バッファ部 11、ェントロピ符号ィ匕部 15およびレート制御部 14を組み合わせた構成を適用することが可能である。

[0177] 入力された画像データは、途中計算用バッファ部 11に一時的に溜め込まれる。ゥェ一ブレット変換部 10は、途中計算用バッファ部 11に溜め込まれた画像データに対してウェーブレット変換を施し、生成された係数データを、係数データの生成順に順次、エントロピ符号化部 15に供給する。すなわち、エントロピ符号ィ匕部 15に対して、ゥェ一ブレット変換の順序に従ヽ高域成分から低域成分の順に、生成された係数データが供給される。エントロピ符号ィ匕部 15は、供給された係数に対して、レート制御部 14 により出力データのビットレートを制御されながらエントロピ符号ィ匕を施す。エントロピ符号ィ匕部 15から、ウェーブレット変換により生成された係数データがエントロピ符号ィ匕された符号化データが出力される。

[0178] 図 16は、この実施の第 4の形態による画像復号装置の一例の構成を示す。なお、この図 16において、上述の図 9と共通する部分には同一の符号を付し、詳細な説明を省略する。

[0179] 図 15で説明した画像符号ィ匕装置 41のエントロピ符号ィ匕部 15力も出力された符号ィ匕データは、図 16の画像復号装置 42のエントロピ復号部 21に供給され、エントロピ符号を復号され係数データとされる。係数データは、係数バッファ部 22を介して係数並び替え用バッファ部 43に格納される。ウェーブレット逆変換部 23は、係数並び替え用バッファ部 43に係数データの並び替えが可能となるまで係数データが蓄積されると、係数並び替え用バッファ部 43に格納された係数データを、低域成分から高域成分の順に並び替えて読み出し、読み出された順に係数データを用いてウェーブレット逆変換処理を行う。 5 X 3フィルタを用いる場合は、上述の図 14で示したようになる。

[0180] すなわち、ウェーブレット逆変換部 23は、例えば 1フレームの先頭からの処理であれば、係数並び替え用バッファ部 43にエントロピ符号の復号がなされた係数 Cl、係数 C 4、および係数 C5が格納された時点で、係数並び替え用バッファ部 43から係数データを読み出し、ウェーブレット逆変換処理を行う。ウェーブレット逆変換部 23でゥエーブレット逆変換を施されたデータは、順次、出力画像データとして出力される。

[0181] なお、この実施の第 4の形態の場合でも、上述の実施の第 2の形態で図 11を用いて既に説明したように、画像符号化装置 41における各要素の処理と、伝送路に対する符号化データの伝送と、画像復号装置 42における各要素の処理とが並列的に実行される。

[0182] 次に、この発明の実施の第 5の形態について説明する。この実施の第 5の形態では、上述した実施の第 1の形態乃至第 4の形態による画像符号化装置と画像復号装置の間で授受される符号ィ匕データがパケット化される。

[0183] 図 17は、その符号ィ匕データの授受の様子の例を説明する模式図である。図 17に示される例の場合においても、上述した他の実施の形態と同様に、画像データは、ラインブロック毎に、所定のライン数分だけ入力されながらウェーブレット変換される（サブバンド 51)。そして、所定のウェーブレット変換分解レベルまで達した際に、最低域サブバンドから最高域サブバンドまでの係数ラインが、生成された順序とは逆に、つまり低域から高域の順番に並び替えられる。

[0184] 図 17のサブバンド 51において、斜め線、縦線、および波線の模様分けされた部分は、それぞれ異なるラインブロックである（矢印で示されるように、サブバンド 51の白ヌキ部分も同様にラインブロック毎に分割して処理される）。並び替えられた後のラインブロックの係数が上述した様にエントロピ符号化され、符号ィ匕データが生成される。

[0185] ここで、例えば画像符号ィ匕装置が符号ィ匕データをそのまま送出すると、画像復号装置が各ラインブロックの境界を識別することが困難な (若しくは煩雑な処理が必要になる)場合がある。そこで、本実施の形態においては、画像符号化装置が、符号化データに例えばラインブロック単位でヘッダを付加し、ヘッダと符号ィ匕データとから成るパケットとして送出するようにする。

[0186] つまり、画像符号化装置は、図 17に示されるように、 1番目のラインブロック（Lineblo ck-1)の符号ィ匕データ (エンコードデータ）を生成すると、それをパケットィ匕し、送信パケット 61として画像復号装置に送出する。画像復号装置は、そのパケットを受信すると (受信パケット 71)、その符号ィ匕データを復号 (デコード)する。

[0187] 同様に、画像符号化装置は、 2番目のラインブロック (Lineblock-2)の符号化データを生成すると、それをパケット化し、送信パケット 62として画像復号装置に送出する。画像復号装置は、そのパケットを受信すると (受信パケット 72)、その符号ィ匕データを復号 (デコード)する。さらに同様に、画像符号化装置は、 3番目のラインブロック (Lin eblock-3)の符号ィ匕データを生成すると、それをパケットィ匕し、送信パケット 63として画像復号装置に送出する。画像復号装置は、そのパケットを受信すると (受信パケット 7 3)、その符号ィ匕データを復号 (デコード)する。

[0188] 画像符号化装置および画像復号装置は、以上のような処理を、 X番目の最終ラインブロック（Lineblock- X)まで繰り返す（送信パケット 64、受信パケット 74)。以上のようにして画像復号装置において復号画像 81が生成される。

[0189] 図 18にヘッダの構成例を示す。上述したようにパケットはヘッダ（Header) 91と符号化データにより構成される力そのヘッダ 91には、ラインブロックの番号 (NUM) 93と符号化データ長（LEN) 94の記述が含まれて、る。

[0190] 画像復号装置は、受信した符号化データに付加されたヘッダに含まれるこれらの情報を読み取ることにより、各ラインブロックの境界を容易に識別することができ、復号処理の負荷や処理時間を低減させることができる。

[0191] なお、図 18に示されるように、さらに、ラインブロックを構成するサブバンド毎の量子ィ匕ステップサイズ（Δ 1乃至 Δ Ν) 92の記述を付加するようにしてもよい。これにより、画像復号装置は、サブバンド毎の逆量子化を行うことができ、よりきめ細かな画質制御を行うことが出来る。

[0192] また、画像符号化装置および画像復号装置は、上述したような符号化、パケットィ匕、パケットの送受信、および復号等の各処理を、第 4の実施の形態において説明したように、ラインブロック毎に、同時並行的に (パイプラインィ匕して）実行するようにしてもよい。

[0193] このようにすることにより、画像復号装置において画像出力が得られるまでの遅延時間を大幅に低減させることができる。図 17においては一例として、インタレース動画 (60フィールド/秒）での動作例を示している。この例において、 1フィールドの時間は、 1秒 ÷60=約 16.7msecであるが、同時並行的に各処理を行うようにすることにより、約 5msecの遅延時間で画像出力が得られるようにすることが出来る。

[0194] 次に、この発明の実施の第 6の形態について説明する。この実施の第 6の形態では、上述した各実施の形態における画像符号ィ匕装置におけるエントロピ符号ィ匕と、画像復号装置におけるエントロピ復号の具体的な例を示す。上述した各実施の形態において、エントロピ符号ィ匕はどのような方法を用いるようにしてもよいが、本実施の形態に示される方式を用いることにより、画像符号化装置は、より容易な演算により符号化を行うことができるので、遅延時間、消費電力、およびバッファメモリ量等を低減させることができる。

[0195] なお、上述したように、各実施の形態において、エントロピ符号ィ匕の際に係数データを量子化して力符号ィ匕を行うことができる力本実施の形態においても同様であり、係数データの量子化を行って力エントロピ符号ィ匕を行うようにしてもよいし、量子化を行わずに係数データをエントロピ符号ィ匕するようにしてもよい。ただし、後述するように、量子化を行う場合の方が画質をより向上させることができるので、以下においては、量子化を行う場合のエントロピ符号ィ匕についてのみ説明する。換言すれば、量子化を行わない場合のエントロピ符号ィ匕についての説明は省略するが、量子化を行う場合のエントロピ符号ィ匕の説明を適用することができる。

[0196] また、以下においては、係数並び替えについての説明を省略する。上述した各実施の形態においては、並び替えられた係数データをエントロピ符号化する場合、ェントロピ符号化を行った符号化データを並び替える場合、および、エントロピ復号の後に係数データを並び替える場合について説明した力この並び替えは基本的にゥェ一ブレット逆変換処理を高速に行うための処理であり、基本的にエントロピ符号ィ匕処理 (およびエントロピ復号処理)とは関係が無い。また、係数並び替えを行う場合であつても、その並び替えはラインブロック内において行われるため、具体的な内容については後述する力基本的に本実施の形態において説明するエントロピ符号ィ匕には影響しない。つまり、順番を並び替えられた係数データを符号化する場合、並び替える前の係数データを符号化する場合のいずれの場合も本実施の形態のエントロピ符号ィ匕方法を同様に適用することができる。従って、以下においては説明の簡略ィ匕のため係数並び替えについての説明を省略する。

[0197] 換言すれば、以下においては、本実施の形態のエントロピ符号ィ匕を、図 15に示される実施の第 4の形態の画像符号ィ匕装置 41のエントロピ符号ィ匕部 15において量子化処理を行う場合について説明する。なお、画像復号装置についても同様の理由から、その場合の画像符号ィ匕装置に対応するものについてのみ説明し、係数並び替えを行う場合や、逆量子化を行わな!/ヽ場合の画像復号装置につ!ヽての説明は省略する

[0198] 図 19は、本発明を適用した画像符号ィ匕装置の構成例を示すブロック図である。

[0199] 画像符号化装置 111は、ウェーブレット変換部 121、量子化部 122、およびエントロピ符号ィ匕部 123を有する。

[0200] ウェーブレット変換部 121は、例えば、図 15のウェーブレット変換部 10に対応し、同様の処理を行う。つまり、ウェーブレット変換部 121には、例えば、必要に応じて DCレベルシフトが施されたコンポーネント信号である画像 (データ）が入力される。ウェーブレット変換部 121は、その入力された画像をウェーブレット変換して複数のサブバンドに分解する。ウェーブレット変換部 121は、ウェーブレット変換により得られたサブバンドのゥーブレット係数を量子化部 122に供給する。

[0201] 量子化部 122は、ウェーブレット変換部 121から供給されたウェーブレット係数を量子化し、その結果として得られた量子化係数をエントロピ符号ィ匕部 123に供給する。

[0202] エントロピ符号ィ匕部 123は、量子化部 122から供給された量子化係数をエントロピ符号化し、これにより得られた符号を符号化された画像 (データ)として出力する。ェントロピ符号ィ匕部 123から出力された画像は、例えば、レート制御処理された後、パケット化されて記録されたり、画像符号化装置 111に接続された他の装置（図示せず）に供給されたりする。 [0203] すなわち、量子化部 122およびエントロピ符号化部 123は、例えば図 15のエントロピ符号ィ匕部 15およびレート制御部 14に対応する。

[0204] 次に、図 20および図 21を参照して、図 19のエントロピ符号化部 123が行うエントロピ符号ィ匕について説明する。

[0205] 例えば、図 20に示すように、 1つのサブバンドがライン L1乃至ライン L6の 6本のライン力構成されているとし、 xy座標系におけるライン上の画素に対応する位置を (X, y) とする。ここで、各ラインの図中、左端の位置の X座標は 0とされ、ライン L1の y座標は 0 とされる。

[0206] 量子化部 122からエントロピ符号ィ匕部 123には、ビットプレーン表現された、サブバンドの各位置 (X, y)における量子化係数がライン L1からライン L6までラスタスキャン順に入力される。

[0207] 換言すれば、エントロピ符号ィ匕部 123には、まず、ライン L1の左端の位置 (0, 0)に対応する量子化係数が入力される。次にその位置 (0, 0)の右隣の位置（1, 0)に対応する量子化係数がエントロピ符号ィ匕部 123に入力され、ライン L1の右端の位置まで、量子化係数が入力された位置の右隣の位置に対応する量子化係数がエントロピ符号化部 123に順次入力される。そして、ライン L1上の位置の量子化係数が全て入力されると、ライン L2の左端の位置 (0, 1)力順番に右端の位置まで、ライン L2上の各位置に対応する量子化係数がエントロピ符号ィ匕部 123に入力され、同様にライン L3からライン L6まで、各ライン上の位置に対応する量子化係数がエントロピ符号ィ匕部 123に入力される。

[0208] 例えば、図 21の図中、左上に示すように、図 20のライン L1の左端の位置の量子化係数力も順番に、 12個の量子化係数がエントロピ符号ィ匕部 123に入力されると、ェントロピ符号ィ匕部 123は、予め定められた所定の数 w (図 21では w=4)ずつ量子化係数を符号化する。

[0209] ここで、図 21の左上に示された各量子化係数は、その符号の絶対値力 ^進数の桁に分けられて表現されて（ビットプレーン表現されて）おり、図 21の例では、エントロピ符号化部 123には、 1つのライン（図 20のライン L1)の量子化係数" -0101"、 "+0011"、 "-0110"、 "+0010"、 "+0011"、 "+0110"、 "0000"、 "-0011"、 "+1101"、 "-0100"、 "+01 11"、および" -1010"が順番に入力される。

[0210] 1つの量子化係数は、 "+ " (正)または" " (負）で表わされる量子化係数の符号（以下、量子化係数のサイン (Sign)と称する。）と、 2進数で表わされた量子化係数の絶対値とからなる。図 21では、量子化係数の絶対値の各桁の値を示す各ビットのうち、図中、最も上側のビットが最上位ビット (最上位の桁のビット）を表わしている。したがつて、例えば、量子ィ匕係数" -0101 "は、そのサインが" "であり、 2進数で表わされた絶対値が" 0101"であるので、この量子ィ匕係数は 10進数で表わすど' -5"となる。

[0211] まず、エントロピ符号ィ匕部 123は、入力された 1つのラインの量子化係数 (の絶対値）が全て 0であるカゝ否かを判定し、その判定結果に応じて、これから符号化するラインの量子化係数が全て 0であるか否かを示す符号を出力する。量子化係数が全て 0であると判定した場合、エントロピ符号ィ匕部 123は、ラインの量子化係数が全て 0であるか否かを示す符号として 0を出力して、現在行ってヽるラインの量子化係数の符号ィ匕を終了する。また、全ての量子化係数の値が 0ではない（0の量子化係数のみではない )と判定した場合、エントロピ符号ィ匕部 123は、ラインの量子化係数が全て 0であるか否かを示す符号として 1を出力する。

[0212] 図中、左上に示した 12個の量子化係数が入力された場合、入力されたラインの量子化係数は 0のみではないので、図中、右上に示すように、エントロピ符号ィ匕部 123は符号として 1を出力する。

[0213] ラインの量子化係数が全て 0であるカゝ否かを示す符号として、量子化係数が全て 0 でないことを示す符号 1が出力されると、次に、エントロピ符号ィ匕部 123は、入力された最初の 4つ（w個）の量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0010"の符号化を行う。

[0214] エントロピ符号ィ匕部 123は、今回入力された連続する 4つの量子化係数の最大有効桁数（図 21における変数 Bの値)と、前回符号化した (入力された) 4つ (w個）の量子ィ匕係数の最大有効桁数とを比較し、最大有効桁数が変化したカゝ否かを判定して、量子化係数の最大有効桁数を示す符号を出力する。

[0215] ここで、最大有効桁数とは、まとめて符号化する 4つ (w個）の量子化係数のうち、絶対値が最も大きい量子化係数の有効桁数をいう。換言すれば、最大有効桁数は、 4 つの量子化係数のうち、絶対値が最も大きい量子化係数の最上位にある 1が何桁目にあるかを示す。したがって、例えば、まとめて符号ィ匕する 4つの量子化係数" -0101" 、 "+0011"、 "-0110"、および" +0010"の最大有効桁数は、絶対値が最も大きい量子ィ匕係数"- 0110"の最上位にある 1の桁である" 3"とされる。

[0216] また、量子化係数の最大有効桁数を示す符号は、最大有効桁数が変化したカゝ否かを示す符号、最大有効桁数が増加したか、または減少したかを示す符号、および最大有効桁数の変化量を示す符号カゝらなり、最大有効桁数が変化していない場合、最大有効桁数が増カ卩したか、または減少したかを示す符号、および最大有効桁数の変化量を示す符号は出力されない。

[0217] エントロピ符号ィ匕部 123は、最大有効桁数の比較の結果、最大有効桁数が変化した場合、最大有効桁数が変化したことを示す符号 1を出力し、最大有効桁数が変化して、な、場合、最大有効桁数が変化して、な、ことを示す符号 0を出力する。

[0218] なお、最大有効桁数が変化した力否かを判定する場合に、今回初めて 4つの量子ィ匕係数が入力されるとき、すなわち、符号ィ匕するサブバンドの量子化係数が初めて入力されるとき (例えば、図 20のライン L1の左端力順番に 4つの量子化係数が入力されるとき）、前回、そのサブバンドの量子化係数は符号化されていないので、前回符号化した 4つ (w個）の量子化係数の最大有効桁数は 0とされる。

[0219] したがって、エントロピ符号化部 123は、今回入力された 4つの量子化係数" -0101" 、 "+0011"、 "-0110"、および" +0010"の最大有効桁数 3と、前回符号化した量子化係数の最大有効桁数 0とを比較し、最大有効桁数が変化したので符号 1を出力する。

[0220] また、エントロピ符号ィ匕部 123は、最大有効桁数が変化したことを示す符号 1に続いて、最大有効桁数が増加したか、または減少したかを示す符号を出力する。ここで、エントロピ符号ィ匕部 123は、最大有効桁数が増加した場合には 0を出力し、最大有効桁数が減少した場合には 1を出力する。

[0221] 前回の最大有効桁数は 0であり、今回の最大有効桁数は 3であるので、図中、右上に示すように、エントロピ符号ィ匕部 123は、最大有効桁数が増加したことを示す符号 0 を出力する。

[0222] さらに、エントロピ符号ィ匕部 123は、最大有効桁数が増加したか、または減少したかを示す符号を出力すると、最大有効桁数がどれだけ増加または減少したかを示す符号、すなわち、最大有効桁数の変化量を示す符号を出力する。具体的には、ェントロピ符号ィ匕部 123は、最大有効桁数の変化量 (すなわち、増加量または減少量)を nとすると、（n-1)個の符号 0を出力し、それらの 0に続いて符号 1を出力する。

[0223] 図 3の最初の 4つの量子化係数を符号ィ匕する場合、最大有効桁数の変化量は 3 ( = 3-0)であるので、エントロピ符号ィ匕部 123は符号として、 2 ( = 3-1)個の 0を出力し、さらに 1を出力する。

[0224] 次に、エントロピ符号ィ匕部 123は、今回符号化する 4つ (w個）の量子化係数のそれぞれの絶対値を示す最大有効桁数分の符号を出力する。すなわち、エントロピ符号化部 123は、それぞれの量子化係数について、最大有効桁数により示される有効桁の最大の桁カゝら順番に最小の桁まで、量子化係数の絶対値の各桁の値を示す符号を出力する。

[0225] 今回符号化する量子化係数は、 "-0101"、 "+0011"、 "-0110",および" +0010"であるので、エントロピ符号ィ匕部 123は、まず、最初に入力された量子化係数" -0101 "の絶対値を示す最大有効桁数分の符号を出力する。ここで、今回の最大有効桁数は 3 であるので、エントロピ符号ィ匕部 123は、量子化係数" -0101 "の最大有効桁数により示される有効桁の最大の桁 (すなわち、 3桁目）の値 "1"、最大の桁より 1つ下の桁 (2 桁目）の値" 0"、および最下位の桁の値 "1 "を出力する。これにより、量子化係数" -01 01"の絶対値を示す有効桁数分の符号" 101"が出力される。

[0226] 同様に、エントロピ符号化部 123は、量子化係数" +0011"、 "-0110",および" +0010 "の絶対値を示す有効桁数分の符号 "011"、 "110"、および" 010"を順番に出力する。したがって、量子化係数は、 "-0101"、 "+0011"、 "-0110"、および" +0010"のそれぞれの絶対値を示す最大有効桁数分の符号として、 "101011110010"が出力される。このように、エントロピ符号ィ匕部 123からは、量子化係数の絶対値を示す符号として、符号ィ匕する 4つの量子化係数の最大有効桁数に応じた長さの符号が出力される。

[0227] そして最後に、エントロピ符号ィ匕部 123は、 4つ (w個）の量子化係数のうち、絶対値力でない量子化係数のそれぞれのサインを示す符号を出力する。ここで、エントロピ符号化部 123は、量子化係数のサイン力 + " (正)である場合、符号 0を出力し、サインが" " (負)である場合、符号 1を出力する。

[0228] 今回符号化する量子化係数は、 "-0101"、 "+0011"、 "-0110",および" +0010"であり、これらの量子化係数のサインは、順に負、正、負、正であるので、図中、右上に示すように、エントロピ符号ィ匕部 123は、量子化係数のそれぞれのサインを示す符号として、 "1010"を出力する。

[0229] 最初に入力された 4つの量子化係数が符号ィ匕されると、エントロピ符号ィ匕部 123は、続いて、次の連続する 4つの量子化係数" +0011"、 "+0110"、 "0000"、および" -0011

"の符号化を行う。

[0230] 最初に (前回)入力された量子化係数の符号ィ匕における場合と同様に、まず、ェントロピ符号ィ匕部 123は、今回、新たに入力された 4つ (w個）の量子化係数の最大有効桁数と、前回符号ィ匕した 4つの量子化係数の最大有効桁数とを比較する。

[0231] 今回入力された 4つ（w個）の量子化係数" +0011"、 "+0110"、 "0000"、および"- 001 Γの最大有効桁数は、絶対値が最も大きい量子化係数" +0110"の最上位にある 1の桁である" 3"であり、前回符号ィ匕した量子化係数の最大有効桁数" 3"と同じであるので、エントロピ符号ィ匕部 123は、最大有効桁数が変化していないことを示す符号 0を出力する。

[0232] 続、て、エントロピ符号ィ匕部 123は、今回符号化する 4つ (w個）の量子化係数" +001 1"、 "+0110"、 "0000"、および" -0011 "のそれぞれの絶対値を示す最大有効桁数分の符号 "011"、 "110"、 "000"、および" 011"が順番に並べられた符号" 011110000011

"を出力する。

[0233] そして、量子化係数の絶対値を示す符号が出力されると、エントロピ符号ィ匕部 123 は、 4つの量子ィ匕係数のうち、絶対値が 0でない量子ィ匕係数のそれぞれのサインを示す符号を出力する。

[0234] 今回符号化する量子化係数は、 "+0011"、 "+0110"、 "0000"、および" -0011 "であり、 3つ目の量子ィ匕係数" 0000"はその絶対値が 0であるので、エントロピ符号ィ匕部 123 は、 0でない量子化係数" +0011"、 "+0110"、および" -0011 "のそれぞれのサイン（正、正、負）を示す符号" 001"を出力する。

[0235] 4つの量子化係数" +0011"、 "+0110"、 "0000"、および"- 0011"が符号化されると、さらに、エントロピ符号化部 123は、次の 4つの量子化係数" +1101"、 "-0100"、 "+011 1"、および"- 1010"の符号化を行う。

[0236] まず、エントロピ符号ィ匕部 123は、今回、新たに入力された 4つ (w個）の量子化係数の最大有効桁数と、前回符号ィヒした 4つの量子化係数の最大有効桁数とを比較する

[0237] 今回入力された 4つ（w個）の量子化係数" +1101"、 "-0100", "+0111"、および" -10 10"の最大有効桁数は、絶対値が最も大きい量子化係数" +1101"の最上位にある 1 の桁である" 4"であり、前回符号ィ匕した量子化係数の最大有効桁数" 3"とは異なるので、エントロピ符号ィ匕部 123は、最大有効桁数が変化したことを示す符号 1を出力する

[0238] また、前回の最大有効桁数は 3であり、今回の最大有効桁数は 4であるので、ェントロピ符号ィ匕部 123は、図中、右側に示すように、最大有効桁数が増加したことを示す符号 0を出力する。

[0239] さらに、エントロピ符号ィ匕部 123は、最大有効桁数がどれだけ増加または減少したかを示す符号を出力する。この場合、最大有効桁数の変化量は 1 ( =4-3)であるので、エントロピ符号ィ匕部 123は符号として、 0 ( = 1-1)個の 0を出力し、さらに 1を出力する（すなわち、符号 1を出力する)。

[0240] 次に、エントロピ符号ィ匕部 123は、今回符号ィ匕する 4つ (w個）の量子化係数" +1101" 、 "-0100"、 "+0111"、および" -1010"のそれぞれの絶対値を示す最大有効桁数分の符号" 1101"、 "0100"、 "0111"、および" 1010"が順番に並べられた符号" 1101010001 111010"を出力する。

[0241] そして、量子化係数の絶対値を示す符号が出力されると、エントロピ符号ィ匕部 123 は、 4つの量子ィ匕係数のうち、 0でない量子ィ匕係数のそれぞれのサインを示す符号を出力する。

[0242] 今回符号化する量子化係数は、 "+1101"、 "-0100"、 "+0111"、および"- 1010"であり、これらの量子化係数のサインは、順番に正、負、正、負であるので、図中、右下に示すように、エントロピ符号ィ匕部 123は、量子化係数のそれぞれのサインを示す符号として、 "0101 "を出力する。 [0243] このようにして、エントロピ符号ィ匕部 123は、入力された量子化係数を、連続する予め定められた数 (w個）ずつ符号ィ匕する。これにより、エントロピ符号ィ匕部 123からは、符号ィ匕するラインの量子化係数が全て 0であるか否かを示す符号が出力され、ラインの量子化係数が全て 0でないことを示す符号が出力されると、次に、 w個の量子化係数の最大有効桁数を示す符号、 w個の量子化係数の絶対値 (ビットプレーン表現)を示す符号、およびそれらの量子化係数のサインを示す符号が出力される。

[0244] そして、これらの w個の量子化係数の最大有効桁数を示す符号、 w個の量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号のそれぞれは、そのラインの量子化係数が全て符号化されるまで、次の w個の量子化係数の最大有効桁数を示す符号、量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号が繰り返し出力される。

[0245] なお、量子化係数カ^スタスキャン順に符号化されると説明したが、量子化係数が符号ィ匕される順番は必ずしもラスタスキャン順である必要はない。例えば、図 20に示したサブバンドの量子化係数が符号化される場合、最初に位置 (0, 0)、 (0, 1)、 (0, 2)、および (0, 3) (すなわち、ライン L1乃至ライン L4のそれぞれの図中、左端の位置）の量子化係数が符号化され、次に、位置（1, 0)、 (1, 1)、 (1, 2)、および（1, 3)の量子化係数が符号ィ匕されるといったように、図中、縦方向に並ぶ 4つの位置の量子化係数を w個の量子化係数として、 w個ずつ順番に符号ィ匕するようにしてもよい。

[0246] 以上において説明した処理を行う図 1のエントロピ符号ィ匕部 123は、より詳細には、図 22に示すように構成される。

[0247] エントロピ符号化部 123は、ライン判定部 161、 VLC (Variable Length Coding)符号化部 162、最大有効桁数計算部 163、 VLC符号化部 164、有効桁抽出部 165、 VLC符号ィ匕部 166、サイン抽出部 167、 VLC符号ィ匕部 168、および符号連結部 169を有する。

[0248] 量子化部 122 (図 19)から出力された量子化係数は、ライン判定部 161、最大有効桁数計算部 163、有効桁抽出部 165、およびサイン抽出部 167に供給 (入力）される。

[0249] ライン判定部 161は、量子化部 122から入力された、これから符号化する 1つのラインの量子化係数が全て 0であるか否かを判定し、その判定の結果を示す情報を VLC符号ィ匕部 162に供給する。 [0250] VLC符号ィ匕部 162は、ライン判定部 161からの判定の結果を示す情報に基づいて、符号ィ匕するラインの量子化係数が全て 0であるか否かを示す符号を符号連結部 169 に出力する。

[0251] 最大有効桁数計算部 163は、量子化部 122から入力された、連続する w個の量子化係数の最大有効桁数を計算し、その計算の結果を示す情報を VLC符号ィ匕部 164および有効桁抽出部 165に供給する。

[0252] VLC符号ィ匕部 164は、最大有効桁数計算部 163からの計算の結果を示す情報に基づヽて、 w個の量子化係数の最大有効桁数を示す符号を符号連結部 169に供給する。

[0253] 有効桁抽出部 165は、最大有効桁数計算部 163からの計算の結果を示す情報に基づいて、量子化部 122から供給された w個の量子化係数の有効桁を抽出し、抽出した量子化係数の有効桁 (のデータ）を VLC符号ィ匕部 166およびサイン抽出部 167に供給する。

[0254] VLC符号ィ匕部 166は、有効桁抽出部 165からの量子化係数の有効桁に基づいて、これらの量子化係数の絶対値を符号化し、これにより得られた量子化係数の絶対値を示す符号を符号連結部 169に供給する。

[0255] サイン抽出部 167は、有効桁抽出部 165からの量子化係数の有効桁に基づいて、量子化部 122から供給された量子化係数のサインを抽出して、抽出したサイン (のデータ）を VLC符号ィ匕部 168に供給する。

[0256] VLC符号ィ匕部 168は、サイン抽出部 167からのサイン (のデータ）を符号化し、これにより得られる量子化係数のサインを示す符号を符号連結部 169に供給する。

[0257] 符号連結部 169は、 VLC符号化部 162、 VLC符号化部 164、 VLC符号ィ匕部 166、および VLC符号ィ匕部 168のそれぞれから供給された、ラインの量子化係数が全て 0であるか否かを示す符号、最大有効桁数を示す符号、量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号のそれぞれを連結し、符号化された画像 (データ）として出力する。

[0258] 次に、図 23のフローチャートを参照して、画像符号化装置 111 (図 19)による、符号化処理について説明する。この符号化処理は、ウェーブレット変換部 121に、符号ィ匕する画像 (データ）が入力されると開始される。

[0259] ステップ S111において、ウェーブレット変換部 121は、入力された画像にウェーブレット変換を施して、入力された画像を複数のサブバンドに分解し、各サブバンドのゥェ一ブレット係数を量子化部 122に供給する。

[0260] ステップ S112において、量子化部 122は、ウェーブレット変換部 121から供給されたウェーブレット係数を量子化し、その結果得られた量子化係数をエントロピ符号ィ匕部 1 23に供給する。これにより、エントロピ符号ィ匕部 123には、例えば、図 21を参照して説明したビットプレーン表現された、サブバンドの各位置の量子化係数が入力される。

[0261] ステップ S113において、エントロピ符号ィ匕部 123は、エントロピ符号ィ匕処理を行い、符号化処理を終了する。なお、エントロピ符号ィ匕処理の詳細は後述する力ェントロピ符号ィ匕部 123は、エントロピ符号ィ匕処理において、図 21を参照して説明したように、量子化部 122から供給された量子化係数を所定の数 (w個)ずつ符号ィ匕し、符号化するラインの量子化係数が全て 0であるか否かを示す符号、量子化係数の最大有効桁数を示す符号、量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号を、符号化された画像 (データ)として出力する。

[0262] このようにして、画像符号化装置 111は、入力された画像を符号化して出力する。

[0263] 次に、図 24のフローチャートを参照して、図 23のステップ S113の処理に対応するェントロピ符号化処理につ!ヽて説明する。

[0264] 図 23のステップ S112において、量子化部 122から出力された量子化係数は、ェントロピ符号化部 123 (図 22)のライン判定部 161、最大有効桁数計算部 163、有効桁抽出部 165、およびサイン抽出部 167に供給 (入力）される。

[0265] ステップ S141において、ライン判定部 161は、これから符号ィ匕するサブバンドのラインを示す変数 yを y=0として、これを記憶する。

[0266] 例えば、図 20に示したサブバンドの量子化係数を符号ィ匕する場合、ライン判定部 1 61は、そのサブバンドのライン (ライン L1乃至ライン L6)を示す変数 yを、 y=0とする。なお、ここで、変数 yにより示されるライン yは、サブバンドのライン上の各位置 (X, y)の y座標が yであるラインを示している。したがって、例えば、ライン判定部 161が記憶している変数 yが y=0である場合、その変数により示されるラインは、ライン上の各位置の y座標が 0であるライン LIとなる。

[0267] ステップ S142において、最大有効桁数計算部 163は、ライン判定部 161が記憶している変数 yにより示されるライン yよりも 1つ前のライン (y-1)上の最初に入力される w個の量子化係数の最大有効桁数を示す変数 Binitを Binit = 0として、これを記憶する。

[0268] 例えば、ライン (y—l)力図 20に示したライン L1である場合、ライン (y—l)上の最初に入力される w個の量子化係数の最大有効桁数を示す変数 Binitの値は、ライン L1の図中、左端の位置から w個の量子化係数、すなわち、位置 (0, 0)、 (1, 0)、 · · ·、 (w-1 , 0)の w個の量子化係数の最大有効桁数となる。また、ライン判定部 161が記憶している変数 y力 ^sy=0である場合、ライン (y—l)は存在しないので、変数 Binitの値は、 Bin it=0とされる。

[0269] ステップ S143において、ライン判定部 161は、記憶している変数 yにより示されるライン yの量子化係数 (の絶対値）が全て 0であるカゝ否かを判定する。例えば、ライン yが、図 20に示したライン L1である場合、ライン判定部 161は、ライン L1上の位置 (X, y)の量子化係数が全て 0であるとき、量子化係数が全て 0であると判定する。

[0270] ステップ S143において、量子化係数が全て 0であると判定した場合、ライン判定部 16 1は、量子化係数が全て 0である旨の情報を生成してそれを VLC符号ィ匕部 162および最大有効桁数計算部 163に供給し、処理をステップ S144に進める。

[0271] ステップ S144において、 VLC符号化部 162は、ライン判定部 161からの量子化係数が全て 0である旨の情報に基づ、て、符号ィ匕するラインの量子化係数が全て 0であることを示す符号 0を符号連結部 169に出力（供給)する。符号連結部 169は、 VLC符号化部 162から供給された符号 0を、ライン yの量子化係数の符号化の結果得られた符号として、そのまま出力する。

[0272] ステップ S145において、最大有効桁数計算部 163は、ライン判定部 161からの量子ィ匕係数が全て 0である旨の情報に基づ、て、記憶して、る変数 Binitの値を Binit = 0とし、変数 Binitを更新する。

[0273] ステップ S146において、ライン判定部 161は、符号化しているサブバンドのラインのうち、未処理のラインがある力否かを判定する。すなわち、ライン判定部 161は、符号ィ匕して、るサブバンドの全てのラインの量子化係数を符号ィ匕した力否かを判定する。例えば、図 20に示したサブバンドの量子化係数を符号ィ匕している場合、ライン L1乃至ライン L6上の全ての位置の量子化係数が符号ィ匕されたとき、ライン判定部 161は、未処理のラインが存在しな、と判定する。

[0274] そのステップ S146において、未処理のラインがあると判定した場合、ライン判定部 16

1は、次のライン、すなわち、ライン (y+ 1)上の各位置の量子化係数を符号ィ匕するので、処理をステップ S147に進める。

[0275] ステップ S147において、ライン判定部 161は、記憶しているラインを示す変数 yをインクリメントして y=y+ lとし、処理をステップ S 143に戻し、上述したそれ以降の処理を再び実行させる。

[0276] これに対して、ステップ S146にお、て、未処理のラインが無、と判定した場合、ライン判定部 161は、サブバンドを構成する全てのラインについて量子化係数を符号ィ匕したので、エントロピ符号化処理を終了し、処理を図 23のステップ S113に戻し、符号ィ匕処理を終了させる。

[0277] また、図 24のステップ S143にお!/、て、ライン yの量子化係数が全て 0でな!/ヽ（0でな!/ヽ量子化係数が存在する）と判定した場合、ライン判定部 161は、量子化係数が全て 0 でなヽ (0でな、量子化係数が存在する）旨の情報を生成してそれを VLC符号ィ匕部 1 62および最大有効桁数計算部 163に供給し、ステップ S148に処理を進める。

[0278] ステップ S148において、 VLC符号化部 162は、ライン判定部 161からの量子化係数が全て 0でな、旨の情報に基づ、て、符号ィ匕するラインの量子化係数が全て 0でなヽことを示す符号 1を符号連結部 169に出力 (供給)する。

[0279] ステップ S149において、最大有効桁数計算部 163は、ライン判定部 161からの量子ィ匕係数が全て 0でな、旨の情報に基づ、て、これ力符号ィ匕する w個の量子化係数のうち、最初に入力される量子化係数に対応するライン y上の位置の X座標を示す変数 Xの値を x=0として、この変数 Xを記憶する。

[0280] 例えば、ライン yが、図 20に示したライン L1である場合、最大有効桁数計算部 163が記憶している変数 Xの値は、これから符号化しょうとするライン L1上の連続する w個の位置（X, 0)、（x+ 1, 0)、 · · ·、 (x +w- 1, 0)のうちの図中、一番左側の位置（X, 0)の X座標を示している。 [0281] また、ステップ S149において、最大有効桁数計算部 163は、前回符号化された w個の量子化係数の最大有効桁数を示す変数 Bの値を B = Binitとして、この変数 Bを記憶する。すなわち、最大有効桁数計算部 163は、変数 Bの値を記憶している変数 Binit の値として変数 Bを更新し、更新された変数 Bの値を記憶する。

[0282] 最大有効桁数計算部 163は変数 Bの値を更新すると、更新された変数 B (最大有効桁数)の値を示す情報を VLC符号ィ匕部 164および有効桁抽出部 165に供給する。また、 VLC符号化部 164および有効桁抽出部 165は、それぞれ最大有効桁数計算部 16 3から供給された変数 Bの値を記憶する。

[0283] ステップ S150において、エントロピ符号ィ匕部 123は w個組符号ィ匕処理を行う。なお、 w 個組符号ィ匕処理の詳細は後述する力 w個組符号ィ匕処理において、エントロピ符号化部 123は、ライン判定部 161が記憶している変数 yにより示されるライン y上の連続する w個の量子化係数を符号ィ匕する。

[0284] ここで、ライン判定部 161が記憶して、る変数 yおよび、最大有効桁数計算部 163が記憶している変数 Xにより特定されるライン y上の位置を (X, y)とすると、ライン y上の w 個の連続する位置は、ライン y上の連続する位置 (X, y)、 (x+ 1, y)、 · · ·、 (x+w- 1, y)とされる。すなわち、 w個組符号ィ匕処理において、エントロピ符号ィ匕部 123は、位置 (X, y)、（x+ 1, y)、 · · ·、 (x+w- 1, y)のそれぞれの量子化係数を符号ィ匕する。

[0285] ステップ S151において、最大有効桁数計算部 163は、ライン yに未処理の量子化係数があるカゝ否かを判定する。すなわち、最大有効桁数計算部 163は、ライン判定部 16 1が記憶している変数 yにより示されるライン y上の位置の全ての量子化係数を符号ィ匕したカゝ否かを判定する。

[0286] ステップ S151において、ライン yに未処理の量子化係数があると判定した場合、最大有効桁数計算部 163は、次の w個の量子化係数を符号ィ匕するので、処理をステツプ S152に進める。

[0287] ステップ S152において、最大有効桁数計算部 163は、記憶している変数 xを、 x=x

+wとし、処理をステップ S150に戻す。これにより、その後のステップ S150の処理において、ライン y上の位置（x+w, y)、 (x+w+ 1, y)、 · · ·、（x+2w— 1, y)のそれぞれの量子化係数が符号化される。 [0288] また、ステップ S151にお、て、ライン yに未処理の量子化係数がな、と判定した場合、最大有効桁数計算部 163は、ライン y上の一の全ての位置の量子化係数が符号ィ匕されたので、処理をステップ S146に戻し、それ以降の処理を実行させる。

[0289] このようにして、エントロピ符号ィ匕部 123は、サブバンドの各位置の量子化係数を所定の数ずつラスタスキャン順に符号ィ匕する。

[0290] このように、サブバンドの各位置の量子化係数を所定の数ずつラスタスキャン順に符号化することによって、入力された量子化係数を入力された順番に処理することができ、量子化係数の符号ィ匕により生じる遅延をより少なくすることができる。

[0291] 次に、図 25のフローチャートを参照して、図 24のステップ S50の処理に対応する w個組符号化処理にっヽて説明する。

[0292] ステップ S181において、最大有効桁数計算部 163は、記憶している変数 xにより特定されるライン y上の位置を (X, y)として、連続する w個の位置 (X, y)、（x+ 1, y)、 · · ·、（ x+w- 1, y)の量子化係数のうち、絶対値が最も大きい量子化係数の有効桁数を、これから符号ィ匕する w個の量子化係数の最大有効桁数を示す変数 Bnewの値として、この変数 Bnewを記憶する。

[0293] また、最大有効桁数計算部 163は、求められた w個の量子化係数の最大有効桁数、すなわち、変数 Bnewの値を VLC符号ィ匕部 164および有効桁抽出部 165に供給する

[0294] 例えば、 w個の連続する位置の量子化係数のそれぞれ力図 21に示した量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0010"である場合、これらの量子化係数のうち、絶対値が最大の量子化係数は" -0110"であり、その有効桁数は" -0110"の最上位にある 1の桁である" 3"であるので、変数 Bnewの値は 3とされる。

[0295] ステップ S182において、 VLC符号化部 164は、 B = Bnewであるか否かを判定する。

すなわち、 VLC符号ィ匕部 164は、記憶している、前回符号ィ匕された w個の量子化係数の最大有効桁数を示す変数 Bの値が、最大有効桁数計算部 163から供給された、これカも符号ィ匕する w個の量子化係数の最大有効桁数を示す変数 Bnewの値と同じであるカゝ否かを判定する。

[0296] ステップ S182において、 B = Bnewであると判定した場合、 VLC符号化部 164は、処理をステップ S183に進め、これから符号ィ匕する w個の量子化係数の最大有効桁数を示す符号として、最大有効桁数が変化していないことを示す符号 0を符号連結部 169 に出力する。そして、最大有効桁数を示す符号 0が出力すると、 VLC符号ィ匕部 164は、ステップ S184の処理乃至ステップ S188の処理をスキップし、ステップ S189に処理を進める。

[0297] これに対して、ステップ S182において、 B = Bnewでないと判定した場合、 VLC符号化部 164は、処理をステップ S184に進め、（最大有効桁数が変化したので、）最大有効桁数が変化したことを示す符号 1を符号連結部 169に出力する。

[0298] ステップ S185において、 VLC符号化部 164は、次式（8)を満たす整数 nおよび mを求める。

[0299] Bnew=B+ (n+ l) X (- l) 'm · · · (8)

[0300] ここで、式（8)における記号"'"は、冪乗を表わしている。したがって、（一1) 'mは、 (

- 1)の m乗を表わして!/、る。

[0301] 例えば、 Bnew=3であり、 B = 0である場合、式（8)を満たす nおよび mとして、それぞれ n=2、および m=0が求まる。変数 Bnewおよび変数 Bを比較した場合、変数 Bnewの値の絶対値と変数 Bの値の絶対値の差が大きいほど、式 (8)における nの値は大きくなる。したがって nの値は、最大有効桁数の変化量を示しているということができる。また、変数 Bnewの値が変数 Bの値よりも大きい場合、 mの値は 0となり、逆に変数 Bnewの値が変数 Bの値よりも小さい場合、 mの値は 1となる。したがって、式（8)における mの値は、最大有効桁数が増加したか、または減少したかを示しているということができる

[0302] ステップ S186において、 VLC符号ィ匕部 164は、最大有効桁数が増加した力、または減少したかを示す符号として、式 (8)を満たす mの値を 1ビットの符号で符号連結部 16 9に出力する。例えば、式 (8)を満たす mの値力^である場合、 VLC符号ィ匕部 164は、最大有効桁数が増カロしたことを示す符号 0を出力する。

[0303] ステップ S187にお、て、 VLC符号ィ匕部 164は、最大有効桁数の変化量を示す符号として、式 (8)を満たす nの値だけ連続する 0に続けて 1個の 1を符号連結部 169に出力する。すなわち、 VLC符号ィ匕部 164は、 n個の 0および 1個の 1を最大有効桁数の変化量を示す符号として出力する。

[0304] 例えば、式 (8)を満たす nの値が 2である場合、 VLC符号化部 164は、最大有効桁数の変化量を示す符号として" 001"を符号連結部 169に出力する。

[0305] これにより、 VLC符号ィ匕部 164から符号連結部 169には、これから符号化する w個の量子化係数の最大有効桁数を示す符号として、最大有効桁数が変化したことを示す符号、最大有効桁数が増加したか、または減少したかを示す符号、および最大有効桁数の変化量を示す符号が出力される。

[0306] ステップ S188において、最大有効桁数計算部 163は、記憶している変数 Bの値を B

= Bnewとし、処理をステップ S189に進める。すなわち、最大有効桁数計算部 163は、記憶している変数 Bの値を、記憶している変数 Bnewの値として変数 Bを更新する。また、 VLC符号ィ匕部 164および有効桁抽出部 165も記憶している変数 Bの値を B = Bnew とする。

[0307] ステップ S188において、変数 Bの値が B = Bnewとされる力、またはステップ S183において、量子化係数の最大有効桁数を示す符号が出力されると、ステップ S189において、最大有効桁数計算部 163は、記憶している変数 Xの値カ^である場合、記憶している変数 Binitの値を Binit = Bとする。

[0308] すなわち、最大有効桁数計算部 163は、記憶して、る変数 Xの値カ^である場合、記憶している、ライン (y— 1)上の最初に入力される w個の量子化係数の最大有効桁数を示す変数 Binitの値を、前回符号化された w個の量子化係数の最大有効桁数を示す変数 Bの値として、変数 Binitを更新する。

[0309] このように、変数 x=0である場合に、変数 Binitの値を Binit=Bとすることで、次のライン (例えば、ライン (y+ 1) )の x=0から始まる w個の量子ィ匕係数について、前のライン (例えば、ライン y)の x=0から始まる w個の量子化係数の最大有効桁数との相関関係を利用して量子化係数の符号ィ匕を行うことができる。

[0310] ステップ S190において、有効桁抽出部 165は、所定の変数をして、変数 iを 0から（ w— 1)まで変化させて、量子化部 122から供給された、ライン y上の位置 (x+i, y)の量子化係数から、量子化係数の有効桁を抽出する。有効桁抽出部 165は、抽出した量子化係数の有効桁 (のデータ）を VLC符号ィ匕部 166およびサイン抽出部 167に供給する。また、 VLC符号ィ匕部 166は、有効桁抽出部 165から供給された有効桁に基づいて (有効桁を符号化して)、 w個の量子化係数の絶対値を示す符号を符号連結部 169に出力する。

[0311] ここで、位置 (x+i, y)における xの値は、最大有効桁数計算部 163が記憶している変数 Xの値とされる。例えば、最大有効桁数計算部 163が記憶している変数 Xの値力 SO であり、有効桁抽出部 165が記憶している変数 Bの値が 3であり、さらに、量子化部 122 力も有効桁抽出部 165に、位置 (x+i, y) (0≤ 3)のそれぞれ、すなわち位置 (0, y) 、 (1, y)、 (2, y)、および (3, y)の量子化係数に対応する図 21に示した w個（4個）の量子化係数" -0101"、 "+0011"、 "-0110"、および" +0010"が供給されたとすると、有効桁抽出部 165は、これらの量子化係数から有効桁を抽出する。

[0312] この場合、有効桁抽出部 165が記憶している変数 Bの値は 3であり、有効桁は 3桁であるから、有効桁抽出部 165は、位置 (X, y)に対応する量子化係数" -0101 "から、最下位から 3桁の値" 101"を抽出する。

[0313] 同様に、有効桁抽出部 165は、位置 (x+ 1, y)、位置 (x+2, y)、および位置 (x+3, y)のそれぞれの量子化係数" +0011"、 "-0110"、および" +0010"から、順次、これらの最下位から 3桁の値 "011"、 "110"、および" 010"を抽出する。これにより、有効桁抽出部 165から VLC符号ィ匕部 166およびサイン抽出部 167には、量子化係数" -0101"、 "+0 011"、 "-0110"、および" +0010"の有効桁（の符号） "101"、 "011"、 "110"、および" 01 0"が出力される。 VLC符号ィ匕部 166は、有効桁抽出部 165から供給された符号" 101" 、 "011"、 "110"、および" 010"を符号ィ匕して、 w個（4個）の量子ィ匕係数の絶対値を示す符号" 101011110010"を、符号連結部 169に出力する。

[0314] ステップ S191において、サイン抽出部 167は、所定の変数をして、変数 iを 0から (w

1)まで変化させて、量子化部 122から供給された、量子化係数の絶対値が 0でないライン y上の位置 (x+i, y)の量子化係数から、量子化係数のサインを抽出し、抽出したサイン (のデータ）を VLC符号ィ匕部 168に供給する。 VLC符号ィ匕部 168は、サイン抽出部 167からのサインを符号ィ匕し、これにより得られる量子化係数のサインを示す符号を符号連結部 169に出力する。

[0315] 符号連結部 169は、 VLC符号ィ匕部 168から量子化係数のサインを示す符号が供給されると、 VLC符号化部 162、 VLC符号化部 164、 VLC符号化部 166、および VLC符号ィ匕部 168のそれぞれから供給された、量子化係数が全て 0であるか否かを示す符号、量子化係数の最大有効桁数を示す符号、量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号のそれぞれを連結して、連結された符号を符号化された画像として出力し、 w個組符号化処理を終了し、図 24のステップ S150に処理を戻し、ステップ S151以降の処理を実行する。

[0316] ここで、位置 (x+i, y)における xの値は、最大有効桁数計算部 163が記憶している変数 Xの値とされる。例えば、最大有効桁数計算部 163が記憶している変数 Xの値が 0 であり、量子化部 122からサイン抽出部 167に、位置 (x+i, y) (0≤i≤3)のそれぞれ、すなわち位置 (0, y)、 (1, y)、 (2, y)、および (3, y)の量子化係数に対応する図 21に示した w個（4個）の量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0010"が供給されたとすると、量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0010"のそれぞれは 0ではないので、サイン抽出部 167は、これらの量子化係数からサインを抽出する

[0317] この場合、サイン抽出部 167は、位置 (X, y)に対応する量子化係数" -0101 "から量子化係数のサイン"― "を抽出する。

[0318] 同様に、サイン抽出部 167は、位置 (x+ 1, y)、位置 (x+2, y)、および位置 (x+3, y )のそれぞれの量子化係数" +0011"、 "-0110"、および" +0010"から、順次、これらの量子化係数のサイン" + "、 " "、および" + "を抽出する。これにより、サイン抽出部 1 67から VLC符号化部 168には、量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0 010"のサイン"一"、 " + "、 "一"、および" + "が出力される。 VLC符号ィ匕部 168は、サイン抽出部 167から供給された量子化係数のサイン"—"、 " + "、 'し"、および" + "を符号化する。

[0319] 例えば、 VLC符号ィ匕部 168は、サイン" "が入力されると符号 1を出力し、サイン"

+ "が入力されると符号 0を出力することにより、入力されたサインを符号化する。この場合、 VLC符号ィ匕部 168には、量子化係数のサイン"—"、 " + "、 " "、および" + " が入力されるので、 VLC符号ィ匕部 168は、符号 "1"、 "0"、 "1"、 "0"からなる符号" 101 0"を量子化係数のサインを示す符号として符号連結部 169に出力する。 [0320] このようにして、エントロピ符号ィ匕部 123は、サブバンドの量子化係数を、予め定められた所定の数ずつまとめて符号化し、量子化係数の最大有効桁数を示す符号、量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号を出力する

[0321] このように、サブバンドの量子化係数を、予め定められた所定の数ずつまとめて符号化することで、例えば、 JPEG2000方式により画像を符号ィ匕する場合とは異なり、複数のコーディングパスに基づ、て、ビットプレーンごとに複数の処理を行う必要がなく

、また、可変長符号ィ匕を行うので、符号ィ匕の処理量を大幅に低減することができる。これにより、より高速に画像の符号ィ匕を行うことができ、高解像度の画像をリアルタイムで符号ィ匕するための符号ィ匕装置を安価で実現することができる。

[0322] さらに、画像符号ィ匕装置 111においては、画像を符号化する場合に、符号の長さを明示的に符号ィ匕する必要がないため、符号量を少なくすることができ、符号の長さの情報を管理する必要もない。

[0323] なお、以上においては、 w個の量子化係数のうち、絶対値の最も大きい量子化係数の有効桁数を、最大有効桁数を示す変数 Bnewの値とすると説明したが、変数 Bnew の値は、 w個の量子化係数のうち、絶対値の最も大きい量子化係数の有効桁数以上の値であればよい。変数 Bnewの値が大きくなると、量子化係数の絶対値を示す符号の符号量が多くなる力変数 Bnewの値を、絶対値の最も大きい量子化係数の有効桁数以上の値とすることで、量子化係数の最大有効桁数を示す符号の符号量を少なくすることができる。

[0324] 次に、画像符号ィ匕装置 111により符号化された画像を復号する画像復号装置について説明する。

[0325] 図 26は、画像復号装置の構成例を示すブロック図である。

[0326] 画像復号装置 211は、エントロピ復号部 221、逆量子化部 222、およびウェーブレット逆変換部 223から構成され、エントロピ復号部 221には、符号化された画像 (データ）が入力される。

[0327] エントロピ復号部 221は、入力された符号化された画像としての符号をエントロピ復号し、これにより得られた量子化係数を逆量子化部 222に供給する。 [0328] 逆量子化部 222は、エントロピ復号部 221から供給された量子化係数を逆量子化し、逆量子化により得られた各サブバンドのウェーブレット係数をウェーブレット逆変換部 223に供給する。

[0329] ウェーブレット逆変換部 223は、逆量子化部 222から供給された、各サブバンドのゥエーブレット係数にウェーブレット逆変換を施し、その結果得られた画像を、復号された画像として出力する。

[0330] また、このような処理を行う画像復号装置 211のエントロピ復号部 221は、より詳細には、例えば、図 27に示すように構成される。

[0331] エントロピ復号部 221は、より詳細には、符号分割部 251、ライン判定部 252、発生部 253、 VLC復号部 254、 VLC復号部 255、 VLC復号部 256、量子化係数合成部 257、および切替部 258を有する。

[0332] 符号分割部 251は、ライン判定部 252、 VLC復号部 254、 VLC復号部 255、および VL C復号部 256のそれぞれから供給される情報に基づいて、入力された、符号化された画像としての符号を分割し、分割された所定の長さの符号をライン判定部 252、 VLC 復号部 254、 VLC復号部 255、または VLC復号部 256に供給する。

[0333] すなわち、符号分割部 251は、入力された符号を、符号化された 1つのラインの量子ィ匕係数が全て 0であるカゝ否かを示す符号、符号化された w個の量子化係数の最大有効桁数を示す符号、符号化された w個の量子化係数の絶対値を示す符号、および符号化された量子化係数のサインを示す符号のそれぞれに分割し、ライン判定部 25 2、 VLC復号部 254、 VLC復号部 255、および VLC復号部 256のそれぞれに供給する。

[0334] ライン判定部 252は、符号分割部 251から供給された符号に基づいて、符号化されたサブバンドの 1つのラインの量子化係数が全て 0であるか否かを判定し、その判定の結果を示す情報を、符号分割部 251、発生部 253、および VLC復号部 254に供給する。

[0335] 発生部 253は、ライン判定部 252からの判定の結果を示す情報に基づいて、 1ライン分の 0である量子化係数を示す符号を発生して切替部 258に供給する。

[0336] VLC復号部 254は、符号分割部 251から供給された、符号化された w個の量子化係数の最大有効桁数を示す符号を復号して、符号化された w個の量子化係数の最大有効桁数を求め、求めた最大有効桁数を示す情報を符号分割部 251、 VLC復号部 2 55、および量子化係数合成部 257に供給する。

[0337] VLC復号部 255は、 VLC復号部 254からの最大有効桁数を示す情報に基づいて、符号分割部 251から供給された量子化係数の絶対値を示す符号を復号し、これにより得られた w個の量子化係数の有効桁 (のデータ）を、 VLC復号部 256および量子化係数合成部 257に供給する。また、 VLC復号部 255は、量子化係数の絶対値を示す符号の復号の結果を示す情報を符号分割部 251に供給する。

[0338] VLC復号部 256は、 VLC復号部 255から供給された量子化係数の有効桁に基づいて、符号分割部 251から供給された量子化係数のサインを示す符号を復号し、これにより得られる量子化係数のサイン (のデータ）を量子化係数合成部 257に供給する。また、 VLC復号部 256は、量子化係数のサインを示す符号の復号の結果を示す情報を符号分割部 251に供給する。

[0339] 量子化係数合成部 257は、 VLC復号部 254からの最大有効桁数を示す情報に基づ V、て、 VLC復号部 255から供給された量子化係数の有効桁および VLC復号部 256から供給された量子化係数のサインを合成し、これにより得られた w個の量子化係数を切替部 258に供給する。

[0340] 切替部 258は、発生部 253または量子化係数合成部 257からの量子化係数を出力する。

[0341] 図 28は、符号分割部 251のより詳細な構成例を示すブロック図である。

[0342] 符号分割部 251は、制御部 271およびメモリ 272を有している。制御部 271は、符号ィ匕された画像としての符号が入力されると、入力された符号をメモリ 272に供給して一時的に記憶させる。

[0343] そして、制御部 271は、図 27に示したライン判定部 252、 VLC復号部 254、 VLC復号部 255、および VLC復号部 256のそれぞれから供給される情報に基づいて、メモリ 272 に一時的に記憶されている符号のうち、所定の長さの符号を読み出して、ライン判定部 252、 VLC復号部 254、 VLC復号部 255、または VLC復号部 256に供給する。

[0344] また、符号分割部 251は、図 28に示した構成例の他、例えば、図 29に示すように構成されてもよい。 [0345] 図 29に示す符号分割部 251は、制御部 291、スィッチ 292、並びに、ノード 293-1乃至ノード 293- 4を有する。

[0346] 制御部 291は、符号ィ匕された画像としての符号が符号分割部 251に入力されると、図 27に示したライン判定部 252、 VLC復号部 254、 VLC復号部 255、および VLC復号部 256のそれぞれから供給される情報に基づいて、スィッチ 292を制御し、入力された符号のうち、所定の長さの符号をライン判定部 252、 VLC復号部 254、 VLC復号部 255 、または VLC復号部 256に供給させる。

[0347] すなわち、ノード 293-1乃至ノード 293-4のそれぞれは、ライン判定部 252、 VLC復号部 254、 VLC復号部 255、および VLC復号部 256のそれぞれに接続されており、制御部 291は、符号の供給先として、ノード 293-1乃至ノード 293-4のいずれかを選択し、スイッチ 292と、選択されたノードとの接続を制御する。

[0348] スィッチ 292が制御部 291の制御に基づ、て選択されたノードを入力と接続するので、符号分割部 251に入力された符号は、スィッチ 292、およびスィッチ 292と接続されたノードを介して、符号の供給先として選択されたライン判定部 252、 VLC復号部 254、 V LC復号部 255、または VLC復号部 256に供給される。

[0349] 次に、図 30のフローチャートを参照して、画像復号装置 211による復号処理について説明する。この復号処理は、エントロピ復号部 221に符号化された画像としての符号が入力されると開始される。

[0350] ステップ S231において、エントロピ復号部 221は、エントロピ復号処理を行い、入力された画像としての符号をエントロピ復号し、これにより得られた量子化係数を逆量子化部 222に供給する。なお、エントロピ復号処理の詳細は後述する力このエントロピ復号処理において、エントロピ復号部 221は、符号ィ匕されたサブバンドのライン上の連続する位置の量子化係数^ w個ずっ復号し、復号された量子化係数を逆量子化部 222に供給する。

[0351] ステップ S232において、逆量子化部 222は、エントロピ復号部 221から供給された量子化係数を逆量子化し、逆量子化により得られた各サブバンドのウエーブレット係数をウェーブレット逆変換部 223に供給する。

[0352] ステップ S233において、ウェーブレット逆変換部 223は、逆量子化部 222から供給された、各サブバンドのウェーブレット係数にウェーブレット逆変換を施し、その結果得られた画像を出力して復号処理は終了する。

[0353] このようにして、画像復号装置 211は、符号化された画像を復号して出力する。

[0354] 次に、図 31のフローチャートを参照して、図 30のステップ S231の処理に対応するェントロピ復号処理にっ、て説明する。

[0355] ステップ S261にお!/、て、ライン判定部 252は、これカも復号するサブバンドのラインを示す変数 yを y=0として、これを記憶する。

[0356] ステップ S262において、 VLC復号部 254は、ライン判定部 252が記憶している変数 y により示されるライン yよりも 1つ前のライン (y—l)上の最初に入力される w個の量子化係数の最大有効桁数を示す変数 Binitを Binit=0として、これを記憶する。

[0357] 例えば、ライン (y—l)力図 20に示したライン L1である場合、ライン (y—l)上の最初に入力される w個の量子化係数の最大有効桁数を示す変数 Binitの値は、ライン L1の図中、左端の位置から w個の量子化係数の最大有効桁数となる。また、ライン判定部 152が記憶している変数 yが y=0である場合、ライン (y—l)は存在しないので、変数 Bi nitの値は、 Binit =0とされる。

[0358] また、ステップ S262において、符号分割部 251は、入力された符号のうち、最初の 1 ビットの符号を、これから復号するラインの量子化係数が全て 0であるか否かを示す符号として、ライン判定部 252に供給する。

[0359] ステップ S263において、ライン判定部 252は、符号分割部 251から読み込んだ (供給された） 1ビットの符号カ^であるか否かを判定し、その判定の結果を示す情報を生成して発生部 253、 VLC復号部 254、および符号分割部 251に供給する。

[0360] ステップ S263にお、て、符号が 0であると判定した場合、ライン yの量子化係数が全て 0であるので、ライン判定部 252は、処理をステップ S264に進める。ステップ S264において発生部 253は、ライン判定部 252からの判定の結果を示す情報に基づいて、ライン yの量子化係数を全て 0とする。そして、発生部 253は、ライン yの量子化係数を示す符号を発生して切替部 258に供給する。

[0361] 例えば、図 21に示したように、 1つの量子ィ匕係数が 4桁で表わされ、 1つのラインの量子化係数力^個である場合、発生部 253は、ライン yの量子化係数を示す符号として、 20 (=4 X 5)個の 0を発生して切替部 258に供給する。切替部 258は、発生部 253から供給された連続する 20個の 0を、 1つのラインの量子化係数を示す符号として、逆量子化部 222に出力する。

[0362] ステップ S265にお!/、て、 VLC復号部 254は、ライン判定部 252からの判定の結果を示す情報に基づいて、記憶している変数 Binitの値を Binit=0とし、変数 Binitを更新する。

[0363] ステップ S266にお!/、て、ライン判定部 252は、復号して!/、るサブバンドのラインのうち、未処理のラインがある力否かを判定する。すなわち、ライン判定部 252は、復号しているサブバンドの全てのライン上の位置の量子ィ匕係数を復号したか否かを判定する

[0364] ステップ S266にお、て、未処理のラインがあると判定した場合、ライン判定部 252は、自分自身が記憶して、る変数 yにより示されるライン yの次のライン (y+ 1)上の各位置の量子化係数を復号するので、処理をステップ S267に進める。

[0365] ステップ S267にお、て、ライン判定部 252は、記憶して、るラインを示す変数 yをインクリメントして y=y+ lとし、処理をステップ S263に戻し、それ以降の処理を実行させる

[0366] これに対して、ステップ S266にお!/、て、未処理のラインが無、と判定した場合、サブバンドを構成する全てのラインにっヽて量子化係数が復号されたので、ライン判定部 252は、エントロピ復号処理を終了し、処理を図 30のステップ S231に戻し、ステップ S23 2以降の処理を実行させる。

[0367] また、図 31のステップ S263にお、て、符号力 ^でな、と判定した場合、ライン判定部 252は、処理をステップ S268に進める。ステップ S268において、 VLC復号部 254は、ライン判定部 252からの判定の結果を示す情報に基づいて、これから復号する w個の量子化係数のうち、最初に入力される量子化係数に対応するライン y上の位置の X座標を示す変数 Xの値を x=0として、この変数 Xを記憶する。

[0368] また、ステップ S268において、 VLC復号部 254は、前回復号された w個の量子化係数の最大有効桁数を示す変数 Bの値を B = Binitとして、この変数 Bを記憶する。すなわち、 VLC復号部 254は、変数 Bの値を記憶している変数 Binitの値として変数 Bを更新し、更新された変数 Bの値を記憶する。

[0369] さらに、ステップ S268において、符号分割部 251は、ライン判定部 252からの判定の結果を示す情報に基づいて、入力された符号の次の 1ビットの符号を、これから復号する w個の量子化係数の最大有効桁数が変化したカゝ否かを示す符号として、 VLC復号部 254に供給する。

[0370] ステップ S269において、エントロピ復号部 221は、 w個糸且復号処理を行う。なお、 w個組復号処理の詳細は後述するが、この w個組復号処理において、エントロピ復号部 2 21は、ライン判定部 252が記憶している変数 yにより示されるライン y上の連続する w個の位置の量子化係数を復号する。

[0371] ステップ S270にお!/、て、 VLC復号部 254は、ライン yに未処理の量子化係数があるか否かを判定する。すなわち、 VLC復号部 254は、ライン判定部 252が記憶している変数 yにより示されるライン y上の位置の全ての量子化係数を復号したカゝ否かを判定する。

[0372] ステップ S270にお、て、ライン yに未処理の量子化係数があると判定した場合、次の w個の量子化係数を復号するので、 VLC復号部 254は、処理をステップ S271に進める

[0373] ステップ S271にお!/、て、 VLC復号部 254は、記憶して!/、る変数 xを、 x=x+wとして、処理をステップ S269に戻す。これにより、その後のステップ S269の処理において、ライン y上の位置（x+w, y)、 (x+w+ 1, y)、 · · ·、（x+2w— 1, y)のそれぞれの量子化係数が復号される。

[0374] また、ステップ S270にお、て、ライン yに未処理の量子化係数がな、と判定した場合、 VLC復号部 254は、ライン y上の全ての位置の量子化係数が復号されたので、処理をステップ S266に戻し、それ以降の処理を実行させる。

[0375] このようにして、エントロピ復号部 221は、サブバンドの各位置の量子化係数を所定の数ずつラスタスキャン順に復号する。

[0376] このように、サブバンドの各位置の量子化係数を所定の数ずつラスタスキャン順に復号することによって、符号化された量子化係数を、入力された順番に処理することができ、量子化係数の復号により生じる遅延をより少なくすることができる。 [0377] 次に、図 32のフローチャートを参照して、図 31のステップ S269の処理に対応する w 個組復号処理にっ、て説明する。

[0378] 上述したように、図 31のステップ S268において、符号分割部 251から VLC復号部 254 には、これから復号する w個の量子化係数の最大有効桁数が変化したか否かを示す

1ビットの符号が供給される。

[0379] 図 32のステップ S311において、 VLC復号部 254は、読み込んだ（供給された） 1ビットの符号力^である力否かを判定する。

[0380] ステップ S311において、読み込んだ符号が 0であると判定した場合、最大有効桁数は変化していないので、 VLC復号部 254は、最大有効桁数が変化していない旨の情報を生成し、それを符号分割部 251、 VLC復号部 255、および量子化係数合成部 257 に供給し、ステップ S312乃至ステップ S314の各処理をスキップして、ステップ S315に処理を進める。

[0381] すなわち、最大有効桁数が変化したか否かを示す符号カ^である場合、図 21を参照して説明したように、最大有効桁数が変化した力否かを示す 1ビットの符号 0の後には、最大有効桁数が増加したか、または減少したかを示す符号、および最大有効桁数の変化量を示す符号ではなぐ量子化係数の絶対値を示す符号が入力されるので、最大有効桁数が増加したか、または減少したかを示す符号、および最大有効桁数の変化量を示す符号を復号する処理であるステップ S312乃至ステップ S314の各処理はスキップされる。

[0382] これに対して、ステップ S311において、読み込んだ 1ビットの符号が 0でないと判定した場合、最大有効桁数が変化したので、 VLC復号部 254は、処理をステップ S312に進め、符号分割部 251から符号を 1ビット読み込み、その値を所定の変数 mとして記憶する。

[0383] ステップ S313において、 VLC復号部 254は、符号が 1となるまで (符号 1を読み込むまで)符号分割部 251から符号を読み込み、それまでに読み込んだ符号 0の数を所定の変数 nとして記憶する。例えば、 VLC復号部 254が符号分割部 251から読み込んだ 3つ目の符号が 1であった場合、すなわち、 VLC復号部 254が符号" 001"を読み込んだ場合、 VLC復号部 254が符号 1を読み込むまでに、読み込んだ符号 0の数は 2であるので、 VLC復号部 254は、読み込んだ符号 0の数である 2を変数 nの値として記憶する。

[0384] ステップ S314にお、て、 VLC復号部 254は、最大有効桁数を示す変数 Bの値を以下の式 (9)により求め、求められた変数 Bの値を記憶する。

[0385] B = B+ (n+ l) X (- l) 'm · · · (9)

[0386] ここで、式（9)における左辺は、新たに求められる変数 Bの値を表わしており、右辺の Bは記憶している変数 Bの値を表わしている。また、式 (9)における記号"""は、冪乗を表わしている。したがって、（― l) 'mは、（ 1)の m乗を表わしている。

[0387] VLC復号部 254は、記憶して、る変数 B、変数 m、および変数 nに基づ、て、式 (9)を計算して記憶している変数 Bを更新する。 VLC復号部 254は、最大有効桁数を示す変数 Bを更新すると、更新された最大有効桁数を示す情報を生成して、符号分割部 2 51、 VLC復号部 255、および量子化係数合成部 257に供給する。

[0388] ステップ S314において新たな最大有効桁数を求める力、ステップ S311において、読み込んだ 1ビットの符号が 0であると判定すると、 VLC復号部 254は、ステップ S315に処理を進め、記憶している変数 Xの値が 0である場合、記憶している変数 Binitの値を Bini t = Bとする。

[0389] すなわち、 VLC復号部 254は、記憶して、る変数 xの値力 ^である場合、記憶してヽる、ライン (y— 1)上の最初に入力される w個の量子化係数の最大有効桁数を示す変数 Binitの値を、これカも復号する w個の量子化係数の最大有効桁数を示す変数 Bの値として、変数 Binitを更新する。

[0390] このように、変数 x=0である場合に、変数 Binitの値を Binit=Bとすることで、次のライン (例えば、ライン (y+ 1) )の x=0から始まる w個の量子ィ匕係数について、前のライン (例えば、ライン y)の x=0から始まる w個の量子化係数の最大有効桁数との相関関係を利用して量子化係数の復号を行うことができる。

[0391] ステップ S316にお!/、て、 VLC復号部 255は、所定の変数を iとして、変数 iを 0から（w

1)まで変化させて、符号分割部 251から符号を Bビットずつ読み込み、読み込んだ Bビットの符号を、ライン y上の位置 (x+i, y)の量子化係数の有効桁を示す符号として、 VLC復号部 256および量子化係数合成部 257に供給（出力）する。また、 VLC復号部 255は、量子化係数の有効桁を示す情報を生成して、符号分割部 251に供給する。

[0392] ここで、位置 (x + i, y)における xの値は、 VLC復号部 254が記憶して!/、る変数 xの値とされる。例えば、 VLC復号部 254が記憶している変数 Xの値力^であり、 VLC復号部 2 55が記憶している変数 Bの値力 ¾である場合、 VLC復号部 255は、変数 i = 0として符号分割部 251から 3ビットの符号を読み込み、読み込んだ 3ビットの符号を位置 (0, y)における量子化係数の有効桁として出力する。

[0393] 同様に、 VLC復号部 255は、変数 i = lとして符号分割部 251からさらに 3ビットの符号を読み込み、その符号を位置（1, y)における量子化係数の有効桁として出力し、変数 i = 2として符号分割部 251から次の 3ビットの符号を読み込み、その符号を位置 (2, y)における量子化係数の有効桁として出力し、変数 i=3として符号分割部 151から、さらに次の 3ビットの符号を読み込み、その符号を位置 (3, y)における量子化係数の有効桁として出力する。

[0394] ステップ S317にお!/、て、 VLC復号部 256は、所定の変数を iとして、変数 iを 0から（w

1)まで変化させて、ライン y上の位置 (x+i, y)の量子化係数の有効桁 (絶対値)が 0でなければ、符号分割部 251から符号を 1ビット読み込む。そして、 VLC復号部 256 は、読み込んだ符号を復号し、これにより得られた符号を量子化係数のサインとして量子化係数合成部 257に供給（出力）する。また、 VLC復号部 256は、量子化係数のサインを示す情報を生成して、符号分割部 251に供給する。

[0395] ここで、位置 (x + i, y)における xの値は、 VLC復号部 254が記憶して!/、る変数 xの値とされる。例えば、 VLC復号部 254が記憶している変数 Xの値力^であり、 VLC復号部 2 55から 0でない有効桁 (を示す符号）が供給された場合、 VLC復号部 256は、変数 i = 0 として符号分割部 251から 1ビットの符号を読み込み、その符号力^であれば、位置 (0 , y)における量子化係数のサイン "—"を示す符号を量子化係数合成部 257に供給し、読み込んだ符号が 1であれば、位置 (0, y)における量子化係数のサイン" + "を示す符号を量子化係数合成部 257に供給する。

[0396] また、 VLC復号部 256は、 VLC復号部 255から供給された有効桁 (を示す符号)の絶対値が 0である場合、位置 (0, y)における量子化係数のサインはないので、符号分割部 251から符号を読み込まな、。 [0397] 同様にして、 VLC復号部 255から次に供給された有効桁 (の絶対値）が 0でな、場合、 VLC復号部 256は、変数 i= lとして符号分割部 251から 1ビットの符号を読み込み、その符号力^であれば、サイン" "を示す符号を、読み込んだ符号が 1であれば、サイン" + "を示す符号を量子化係数合成部 257に供給する。

[0398] さらに、 VLC復号部 255から次に供給された有効桁力^でない場合、 VLC復号部 256 は、変数 i=2として符号分割部 251から 1ビットの符号を読み込み、その符号力^であれば、サイン" "を示す符号を、読み込んだ符号が 1であれば、サイン" + "を示す符号を量子化係数合成部 257に供給する。また、 VLC復号部 255から次に供給された有効桁が 0でない場合、 VLC復号部 256は、変数 i=3として符号分割部 251から 1ビットの符号を読み込み、その符号カ^であれば、サイン" "を示す符号を、読み込んだ符号が 1であれば、サイン" + "を示す符号を量子化係数合成部 257に供給する。

[0399] ステップ S318において、量子化係数合成部 257は、 VLC復号部 255から供給された有効桁、および VLC復号部 255から供給されたサインを合成し、これにより得られた量子化係数を、切替部 258を介して逆量子化部 222に出力し、 w個組復号処理を終了して処理を図 31のステップ S269に戻し、ステップ S270以降の処理を実行させる。

[0400] 例えば、出力する量子化係数の絶対値の桁数は予め定められている。予め定められた出力する量子化係数の絶対値の桁数が 4桁であり、 VLC復号部 254からの最大有効桁数を示す情報により示される最大有効桁数が 3である場合、 VLC復号部 255から有効桁" 101"が供給され、 VLC復号部 255からサイン" "を示す符号が供給されたとき、量子化係数合成部 257は、量子化係数" -0101 "を出力する。

[0401] すなわち、量子化係数合成部 257は、量子化係数の絶対値の桁数は 4桁であり、有効桁は "101" (3桁）であるので、有効桁" 101 "の最上位のビットのさらに 1つ上位のビットを 0として、量子化係数の絶対値を 4桁である" 0101"とする。そして、さらに、量子ィ匕係数のサイン "—"と、量子ィ匕係数の絶対値" 0101"とを合成して得られる" -0101" を量子化係数として出力する。

[0402] なお、量子化係数合成部 257は、 VLC復号部 255から供給された有効桁カ^である場合には、サインのない量子化係数を出力する。例えば、予め定められた出力する量子化係数の絶対値の桁数が 4桁であり、 VLC復号部 254からの最大有効桁数を示す情報により示される最大有効桁数力 ¾である場合、 VLC復号部 255から有効桁" 000 "が供給されたとき、量子化係数合成部 257は、量子化係数" 0000"を出力する。

[0403] このようにして、エントロピ復号部 221は、符号ィ匕されたサブバンドの量子化係数を、予め定められた所定の数ずつまとめて復号する。

[0404] このように、符号ィ匕されたサブバンドの量子化係数を、予め定められた所定の数ずつまとめて復号することで、例えば、 JPEG2000方式により画像を復号する場合とは異なり、複数のコーディングノスに基づいて、ビットプレーンごとに複数の処理を行う必要がなぐより高速に画像の復号を行うことができる。これにより、高解像度の画像をリアルタイムで復号するための復号装置を安価で実現することができる。

[0405] ところで、以上において説明した画像符号ィ匕装置 111にいては、量子化係数の絶対値を符号化 (または復号)する場合に、予め定められた w個の量子化係数の絶対値を順番に符号ィ匕すると説明した力汎用 DSP(Digital Signal Processor)や、汎用 CPUにおいて用いられている SIMD (Single Instruction Multiple Data)演算命令を利用して、 w個の量子化係数を同時に (並列に)符号ィ匕 (または復号)することにより、より高速に画像を符号化 (または復号)することができる。

[0406] ここで、 SIMD演算命令の一例としては、例えば、インテル株式会社の CPUにお!/、て用いられている MMX (MultiMedia extension)、 SSE (Streaming SIMD Extensions)、 S SE2、 SSE3などがある。

[0407] このような SIMD演算命令を利用して量子化係数の絶対値を符号化する場合、画像符号ィ匕装置 111のエントロピ符号ィ匕部 123は、例えば、図 33に示すように構成される。

[0408] 図 33に示すエントロピ符号ィ匕部 123は、ライン判定部 161、 VLC符号化部 162、最大有効桁数計算部 163、 VLC符号化部 164、有効桁抽出部 165、 VLC符号ィ匕部 166、サイン抽出部 167、および VLC符号化部 168が設けられている点において、図 22に示したエントロピ符号ィ匕部 123と同様であり、符号連結部 169に新たにバッファ 401が設けられている点において異なる。なお、図 33において、図 22における場合と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

[0409] 符号連結部 169のバッファ 401には、 VLC符号化部 162、 VLC符号化部 164、 VLC符号ィ匕部 166、および VLC符号ィ匕部 168のそれぞれから供給された、ラインの量子化係数が全て 0であるか否かを示す符号、最大有効桁数を示す符号、量子化係数の絶対値を示す符号、および量子化係数のサインを示す符号のそれぞれが一時的に記憶される。

[0410] ノッファ 401の記憶領域は、 32ビットごとに管理され、バッファ 401に入力される符号（データ）は、スカラ演算処理に用いられる符号と、ベクトル演算処理に用いられる符号とに分けられて記憶される。すなわち、 1つの 32ビットの記憶領域には、一時的に記憶する符号 (データ）として、スカラ演算処理に用いられる符号、またはベクトル演算処理に用いられる符号が記憶される。

[0411] 図 33のエントロピ符号ィ匕部 123においては、量子ィ匕係数の絶対値力 IMD演算命令を利用して並列に符号化されるので、量子化係数の絶対値を示す符号がベクトル演算処理に用いられる符号とされ、その他の符号は、スカラ演算処理に用いられる符号とされる。

[0412] なお、以下の説明にお、ては、ノッファ 401に設けられる 32ビットの記憶領域のうち、スカラ演算処理に用いられる符号が記憶される記憶領域をスカラ領域とも称し、ベタトル演算処理に用いられる符号が記憶される記憶領域をベクトル領域とも称する。

[0413] 次に、図 34を参照して、図 33のエントロピ符号化部 123が行うエントロピ符号化について説明する。

[0414] 例えば、図 34の左上に示すように、図 21に示した 12個の量子化係数" -0101"、 "+00 11"、 "-0110"、 "+0010"、 "+0011"、 "+0110"、 "0000"、 "-0011"、 "+1101"、 "-0100" 、 "+0111"、および" -1010"がエントロピ符号ィ匕部 123に順番に入力されたとする。

[0415] すると、図 21を参照して説明した場合と同様に、エントロピ符号ィ匕部 123の符号連結部 169には、これから符号化するラインの量子化係数が全て 0であるか否かを示す符号 "1"、および最初に入力された 4つの量子化係数" -0101"、 "+0011"、 "-0110"、および" +0010"の最大有効桁数を示す符号" 10001 "が供給される。

[0416] そして、これらの量子ィ匕係数が全て 0である力否かを示す符号 "1"、および量子化係数の最大有効桁数を示す符号" 10001 "からなる符号" 110001 "は、矢印 Allに示すように、符号連結部 169のバッファ 401に設けられた 32ビットのスカラ領域に記憶される [0417] 図 34の例においては、スカラ領域は、さらに 4つの 8ビットの領域に分けられており、スカラ領域には、その領域に記憶される符号が図中、左から右方向に、上位のビット力順番に格納されて記憶される。そして、 1つのスカラ領域の全体に符号が格納されると、すなわち、 1つのスカラ領域に 32ビットの符号が格納されると、ノッファ 401には、新たな 1つのスカラ領域が設けられ、新たに設けられたスカラ領域に、順次スカラ演算処理に用いられる符号が格納されて!ヽく。

[0418] 量子化係数が全て 0であるカゝ否かを示す符号 "1"、および量子化係数の最大有効桁数を示す符号" 10001 "からなる符号" 110001 "がスカラ領域に記憶されると、次に、エントロピ符号ィ匕部 123は、最初に入力された w個（4個）の量子化係数" -0101"、 "+00 11"、 "-0110"、および" +0010"のそれぞれの絶対値を示す最大有効桁数分の符号を、同時に（並列に並べて)ベクトル領域に記憶する。

[0419] 量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0010"の最大有効桁数は、図 2 1を参照して説明したように、 "3"であるから、これらの 4個の量子化係数の絶対値を示す符号は、それぞれ "101"、 "011"、 "110"、および" 010"となり、矢印 A12に示すように、量子化係数の絶対値を示す符号 "101"、 "011"、 "110"、および" 010"は、ノッファ 401に設けられた 1つのベクトル領域に並列に並べられて格納され、記憶される。

[0420] ここで、ベクトル領域は、さらに 4つの 8ビットの領域に分けられており、ベクトル領域の 4つの領域のそれぞれには、同じ長さの（ビット長の） 4つの量子化係数の絶対値を示す符号のそれぞれが、図中、左から右方向に、上位のビットから順番に格納されて

SC fedれる。

[0421] 矢印 A12により示されるベクトル領域においては、図中、左側の 8ビットの領域に量子化係数の絶対値を示す符号" 101"が左側カゝら格納され、左から 2番目の 8ビットの領域に符号" 011"が左側から格納され、右から 2番目の領域に符号" 110"が左側から格納され、さらに、一番右側の領域には符号" 010"が左側力格納されて記憶されている。

[0422] また、ベクトル領域もスカラ領域における場合と同様に、 1つのベクトル領域の全体に符号が格納されると、すなわち、 1つのベクトル領域に 32ビットの符号が格納されると、ノッファ 401には、新たな 1つのベクトル領域が設けられ、新たに設けられたべタトル領域に、順次ベクトル演算処理に用いられる符号が格納されて、く。

[0423] そして、 4つの量子化係数" -0101"、 "+0011"、 "-0110",および" +0010"の絶対値を示す符号がベクトル領域に記憶されると、エントロピ符号ィ匕部 123は、矢印 A13に示すように、これらの 4つの量子化係数のサインを示す符号をスカラ領域に格納して記憶する。

[0424] 矢印 Allに示したようにスカラ領域には、量子化係数が全て 0である力否かを示す符号 " Γ、および量子化係数の最大有効桁数を示す符号" 10001 "からなる符号" 110 001"が既に記憶されているので、エントロピ符号ィ匕部 123は、矢印 A13に示すように、量子化係数"- 0101"、 "+0011"、 "-0110"、および" +0010"のサインを示す符号" 1010 "を、スカラ領域の既に記憶されている符号" 110001 "の右側に (符号" 110001 "に続けて)格納して記憶する。

[0425] さらに、最初の 4つの量子化係数が符号ィ匕されると、エントロピ符号ィ匕部 123は、次の 4つの量子化係数" +0011"、 "+0110"、 "0000"、および"- 0011"を符号化する。

[0426] まず、エントロピ符号ィ匕部 123は、前回符号化した 4つの量子化係数の最大有効桁数" 3"と、今回符号化する量子化係数" +0011"、 "+0110"、 "0000"、および" -0011 "の最大有効桁数" 3"とを比較し、最大有効桁数が変化していないので、矢印 A14に示すように、最大有効桁数を示す符号として、最大有効桁数が変化していないことを示す符号" 0"を、既に記憶されている符号" 1100011010"に続けてスカラ領域に格納し飞 feす。。

[0427] 次に、エントロピ符号ィ匕部 123は、今回入力された w個（4個）の量子化係数" +0011" 、 "+0110"、 "0000"、および" -0011 "のそれぞれの絶対値を示す最大有効桁数分の符号 "011"、 "110"、 "000"、および" 011"のそれぞれを、矢印 A15に示すようにべタトル領域に同時に格納して記憶する。

[0428] 矢印 A12に示したように、ベクトル領域の図中、左側の 8ビットの領域、左から 2番目の 8ビットの領域、右から 2番目の 8ビットの領域、および一番右側の 8ビットの領域のそれぞれには、既に符号 "101"、 "011"、 "110"、および" 010"のそれぞれが記憶されているので、エントロピ符号ィ匕部 123は、矢印 A15に示すように、今回入力された量子化係数の絶対値を示す符号 "011"、 "110"、 "000"、および" 011"のそれぞれを、ベタトル領域に既に記憶されている符号 "101"、 "011"、 "110"、および" 010"のそれぞれの右側に続けて格納して記憶する。

[0429] さらに、エントロピ符号ィ匕部 123は、矢印 A16に示すように、今回入力された 4つの量子化係数" +0011"、 "+0110"、 "0000"、および" -0011 "のうち、絶対値力^でない量子ィ匕係数のサインを示す符号" 001"を、スカラ領域内の既に記憶されている符号" 1100 0110100"の右側に続けて格納して記憶する。

[0430] そして、 4つの量子化係数" +0011"、 "+0110"、 "0000"、および" -0011 "が符号化されると、エントロピ符号化部 123は、次の 4つの量子化係数" +1101"、 "-0100"、 "+011 1"、および"- 1010"の符号化を行う。

[0431] まず、エントロピ符号化部 123は、今回入力された 4つの量子化係数" +1101"、 "-01 00"、 "+0111"、および" -1010"の最大有効桁数" 4"と、前回符号化した 4つの量子化係数" 3"とを比較して、矢印 A17に示すように、最大有効桁数が変化したことを示す符号 "1"、最大有効桁数が増加したことを示す符号" 0"、および最大有効桁数の変化量を示す符号" Γからなる、最大有効桁数を示す符号" 101"をスカラ領域に格納し飞 feす。。

[0432] この場合、スカラ領域には、矢印 A16に示したように、既に符号" 11000110100001" が記憶されているので、エントロピ符号ィ匕部 123は、矢印 A17に示すように、この符号" 11000110100001 "の図中、右側に最大有効桁数を示す符号" 101"を格納する。

[0433] さらに、 4つの量子化係数" +1101"、 "-0100"、 "+0111"、および" -1010"の最大有効桁数を示す符号が記憶されると、エントロピ符号ィ匕部 123は、これらの量子化係数の絶対値を示す符号" 1101"、 "0100"、 "0111"、および" 1010"のそれぞれを、矢印 A 18に示すようにベクトル領域に同時に格納して記憶する。

[0434] 矢印 A15に示したように、ベクトル領域の図中、左側の 8ビットの領域、左から 2番目の 8ビットの領域、右から 2番目の 8ビットの領域、および一番右側の 8ビットの領域のそれぞれには、既に符号" 101011"、 "011110"、 "110000"、および" 010011 "のそれぞれが記憶されており、左側の 8ビットの領域、左から 2番目の 8ビットの領域、右から 2番目の 8ビットの領域、および一番右側の 8ビットの領域のそれぞれには、それぞれ 2ビットの符号しか記憶することができな!/、。 [0435] そこで、エントロピ符号ィ匕部 123は、矢印 A18に示すように、ノッファ 401に新たなベタトル領域を確保し (設け)、今回入力された量子化係数の絶対値を示す符号" 1101 "、 "0100"、 "0111"、および" 1010"のそれぞれのうちの上位の 2ビットの符号 "11"、 "0 1"、 "01"、および" 10"のそれぞれを、ベクトル領域に既に記憶されている符号" 1010 11"、 "011110"、 "110000"、および" 010011 "のそれぞれの右側に続けて格納して記憶し、今回入力された量子化係数の絶対値を示す符号" 1101"、 "0100"、 "0111"、および" 1010"のそれぞれのうちの下位の 2ビットの符号 "01"、 "00"、 "11"、および" 10" のそれぞれを、新たに設けられたベクトル領域 (矢印 A18により示される 2つのベクトル領域のうち、図中、下側のベクトル領域）の図中、左側の 8ビットの領域、左から 2番目の 8ビットの領域、右から 2番目の 8ビットの領域、および一番右側の 8ビットの領域のそれぞれの左側に格納して記憶する。

[0436] そして、 4つの量子化係数" +1101"、 "-0100"、 "+0111"、および"- 1010"の絶対値を示す符号が記憶されると、矢印 A19に示すように、エントロピ符号ィ匕部 123は、これらの 4つの量子化係数のうち、絶対値が 0でない量子化係数のサインを示す符号" 0101 "を、スカラ領域内の既に記憶されている符号" 11000110100001101 "の右側に続けて格納して記憶する。

[0437] このようにして、入力された量子化係数が符号化されると、エントロピ符号ィ匕部 123 は、矢印 A19により示されるスカラ領域に記憶されている符号、矢印 A19により示される 2つのベクトル領域のうちの図中、上側のベクトル領域に記憶されている符号、および下側のベクトル領域に記憶されてヽる符号を、符号ィ匕された画像として順番に出力する。

[0438] この場合、矢印 A19により示されるスカラ領域の図中、右側の 11ビットには、符号が格納されていない。また、矢印 A19により示される 2つのベクトル領域のうちの下側のベクトル領域の左側の 8ビットの領域、左から 2番目の 8ビットの領域、右から 2番目の 8 ビットの領域、および一番右側の 8ビットの領域のそれぞれの右側の 6ビットの領域にも、符号が格納されていない。

[0439] このように、スカラ領域およびベクトル領域に格納されて記憶されて、る符号を、符号化された画像として出力する場合に、入力された量子化係数の符号化が終了した時点にぉ、て、スカラ領域およびベクトル領域に符号が格納されてヽな、領域があるときには、その符号が格納されていない領域に、例えば符号" 0"などの任意の符号が格納されて記憶されてから、スカラ領域およびベクトル領域に記憶された符号が符号化された画像として出力される。

[0440] したがって、例えば、矢印 A19に示す例においては、符号化された画像として、スカラ領域に格納された符号" 11000110100001101010100000000000"、図中、上側のベタトル領域に記憶された符号" 10101111011110011100000101001110"、および下側のベクトル領域に記憶された符号" 01000000000000001100000010000000"が順番に出力される。ここで、スカラ領域およびベクトル領域のうち、量子化係数の符号ィ匕が終了した時点で符号が格納されて、な力つた領域に格納される任意の符号は、復号時に読み込まれることはな、ので、どのような符号が格納されてもょ、。

[0441] 画像符号化装置 111は、 SIMD演算命令を利用して量子化係数の絶対値を符号ィ匕する場合においても、画像が入力されると、図 23のフローチャートを参照して説明した符号化処理を行う。また、図 23のステップ S113の処理に対応する図 24のエントロピ符号化処理においては、図 24のステップ S141乃至ステップ S149の各処理、ステップ S 151の処理、およびステップ S152の処理については、画像符号化装置 111は、 SIMD 演算命令を利用しない場合と同様の処理（図 24を参照して説明した処理)を行い、ステツプ S150に対応する w個組符号ィ匕処理において、 SIMD演算命令を利用しない場合とは異なる処理を行う。

[0442] 以下、図 35のフローチャートを参照して、画像符号ィ匕装置 111が SIMD演算命令を利用して量子化係数の絶対値を符号化する場合における、 w個組符号化処理について説明する。なお、ステップ S411乃至ステップ S419の各処理は、図 25のステップ S1 81乃至ステップ S189の各処理にそれぞれ対応し、それぞれ同様に実行される。従つて、それらの説明は繰り返しになるので省略する。

[0443] また、 SIMD演算命令を利用して量子化係数の絶対値を符号化する場合、図 24または図 35を参照して説明した処理において、 VLC符号ィ匕部 162から符号連結部 169に供給される、これから符号ィ匕するラインの量子化係数の絶対値が全て 0である力否かを示す符号、 VLC符号ィ匕部 164から符号連結部 169に供給される量子化係数の最大有効桁数を示す符号、および VLC符号ィ匕部 168から符号連結部 169に供給される量子化係数のサインを示す符号のそれぞれは、図 34を参照して説明したように、符号連結部 169のバッファ 401に設けられたスカラ領域に格納されて記憶される。

[0444] ステップ S420において、有効桁抽出部 165は、量子化部 122から供給された、 w個の連続するライン y上の位置 (X, y)、（x+ 1, y)、 · · ·、 (x +w- 1, y)の量子化係数から、量子化係数の有効桁を同時に抽出する。有効桁抽出部 165は、抽出した量子化係数の有効桁を VLC符号ィ匕部 166およびサイン抽出部 167に供給する。また、 VLC符号化部 166は、有効桁抽出部 165から供給された有効桁に基づいて (有効桁を符号ィ匕して）、 w個の量子化係数の絶対値を示す符号を同時に符号連結部 169に出力する。

[0445] ここで、位置 (X, y)における Xの値は、最大有効桁数計算部 163が記憶して、る変数 Xの値とされ、 yの値は、ライン判定部 161が記憶している変数 yの値とされる。例えば、有効桁抽出部 165が量子化係数の有効桁として、有効桁 "101"、 "011"、 "110"、および" 010"を抽出した場合、 VLC符号ィ匕部 166から符号連結部 169には 4つの量子化係数の絶対値を示す符号 "101"、 "011"、 "110"、および" 010"が供給されるので、符号連結部 169は、供給されたこれらの量子化係数の絶対値を示す符号を符号ィ匕して、図 34の矢印 A12に示したように、ベクトル領域に格納して記憶させる。

[0446] ステップ S421にお!/、て、サイン抽出部 167は、所定の変数をして、変数 iを 0から (w

1)まで変化させて、量子化部 122から供給された、量子化係数力 SOでないライン y上の位置 (x+i, y)の量子化係数から、量子化係数のサインを抽出し、抽出したサイン（のデータ）を VLC符号ィ匕部 168に供給する。ここで、位置 (X, y)における xの値は、最大有効桁数計算部 163が記憶している変数 Xの値とされ、 yの値は、ライン判定部 161 が記憶して、る変数 yの値とされる。

[0447] VLC符号ィ匕部 168は、サイン抽出部 167からのサインを符号ィ匕し、これにより得られる量子化係数のサインを示す符号を符号連結部 169に出力する。また、符号連結部 1 69は、図 34を参照して説明したように、 VLC符号ィ匕部 168から供給された量子化係数のサインを示す符号を、ノッファ 401のスカラ領域に格納して記憶させる。

[0448] 符号連結部 169は、量子化係数のサインを示す符号をバッファ 401のスカラ領域に格納して記憶させると、図 34を参照して説明したように、バッファ 401のスカラ領域に記憶されている符号、およびベクトル領域に記憶されている符号を連結して、連結された符号を符号化された画像として出力し、 w個組符号化処理を終了し、処理を図 2 4のステップ S150に戻し、ステップ S151以降の処理を実行させる。

[0449] このようにして、エントロピ符号ィ匕部 123は、予め定められた数の量子化係数の絶対値を同時に符号ィ匕する。

[0450] 従来の JPEG2000方式によるエントロピ符号化においては、複数のコーディングパスに基づいて、量子化係数をビットプレーンごとに算術符号ィ匕するため、エントロピ符号ィ匕における所定の処理を並列して同時に行うことは困難であった力エントロピ符号ィ匕部 123においては、ビットプレーン単位で複雑な処理を行う必要はないので、複数の量子化係数の絶対値を同時に符号ィ匕することができる。

[0451] このように、予め定められた数の量子化係数の絶対値を同時に符号ィ匕することによつて、複数の処理を同時 (並列）に行うことができ、より高速に画像を符号化することができる。

[0452] なお、ステップ S421の処理において、 w個の量子化係数のサインの符号化を順番に行うと説明したが、量子化係数の絶対値の符号化における場合と同様に、 SIMD演算命令を利用することで、 w個の量子化係数のサインの符号ィ匕を同時に行うようにしてもよい。この場合、符号化により得られた w個の量子化係数のサインを示す符号のそれぞれは、バッファ 401のベクトル領域に w個に分けられて格納される。

[0453] また、バッファ 401にお!/、ては、 1つのスカラ領域またはベクトル領域を 32ビットの領域とし、その 32ビットの領域をさらに 4つの 8ビットの領域に分けて使用すると説明した 1S 1つのスカラ領域またはベクトル領域の大きさなどは任意の大きさとすることができる。例えば、 1つのスカラ領域またはベクトル領域を 128ビットの領域とし、その 128ビットの領域を 8つの 16ビットの領域に分けて使用するようにしてもよい。

[0454] さらに、 SIMD演算命令を利用して符号化された画像を復号する場合、画像を復号する画像復号装置 211の符号分割部 251 (図 27)は、例えば、図 28に示した構成とされ、メモリ 272には、符号化された画像としての符号が、図 34を参照して説明したように、 32ビットずつ格納されて記憶される。

[0455] 制御部 271は、メモリ 272から符号を読み出して出力する場合、まず、最初の 32ビットの符号が格納されて、る記憶領域をスカラ領域として、スカラ領域の先頭力順番に

、これ力ゝら復号するラインの量子化係数の絶対値が全て 0であるか否かを示す符号、量子化係数の最大有効桁数を示す符号、または量子化係数のサインを示す符号を読み出して出力する。

[0456] また、制御部 271は、メモリ 272から量子化係数の絶対値を示す符号を読み出す場合、メモリ 272のスカラ領域とされた記憶領域の次の 32ビットの記憶領域 (したがって、この記憶領域からはまだ符号が読み出されていない）をベクトル領域として、このべクトル領域から量子化係数の絶対値を示す符号を読み出して出力する。

[0457] なお、画像が符号化される場合、復号時にお！、て最初に量子化係数の絶対値を示す符号を読み出すときに、スカラ領域とされた記憶領域の次の 32ビットの記憶領域に、必ず量子化係数の絶対値を示す符号 (ベクトル演算に用いられる符号)が格納されて、るように画像の符号化が行われる。

[0458] さらに、符号ィ匕された画像としての符号が何ビットの記憶領域に分けられてメモリ 27 2に格納されるかは、画像符号ィ匕装置 111において画像が符号ィ匕される場合に、 1つのスカラ領域およびベクトル領域が何ビットとされるかに応じて変化する。すなわち、画像としての符号が分けられて格納されるメモリ 272内の複数の記憶領域のそれぞれの大きさは、画像が符号ィ匕される場合における 1つのスカラ領域およびベクトル領域の大きさと同じ大きさとされる。

[0459] 画像復号装置 211は、 SIMD演算命令を利用して量子化係数の絶対値を復号する場合においても、符号化された画像が入力されると、図 30のフローチャートを参照して説明した復号処理を行う。また、図 30のステップ S231の処理に対応する図 31のェントロピ復号処理においては、図 31のステップ S261乃至ステップ S268の各処理、ステツプ S270の処理、並びにステップ S271の処理については、画像復号装置 211は、 SIMD 演算命令を利用しない場合と同様の処理（図 31を参照して説明した処理)を行い、ステツプ S269に対応する w個組復号処理にぉ、て、 SIMD演算命令を利用しな、場合とは異なる処理を行う。

[0460] 以下、図 36のフローチャートを参照して、画像復号装置 211が SIMD演算命令を利用して量子化係数の絶対値を復号する場合における、 w個組復号処理につヽて説明する。

[0461] なお、ステップ S451乃至ステップ S455の各処理は、図 32のステップ S311乃至ステツプ S315の各処理とそれぞれ対応し、それぞれ同様に実行される。従って、それらについての説明は繰り返しになるので省略する。

[0462] また、 SIMD演算命令を利用して量子化係数の絶対値を復号する場合、符号分割部 251のメモリ 272には、例えば、図 34の矢印 A19に示したように、画像としての符号が 3つの 32ビットの領域に分けられて記憶される。そして、ライン判定部 252、 VLC復号部 254、および VLC復号部 256のそれぞれは、 3つの 32ビットの領域のうち、図 34中、一番上の領域をスカラ領域として、スカラ領域の先頭（図中、左側)からラインの量子ィ匕係数が全て 0であるか否かを示す符号、量子化係数の最大有効桁数を示す符号、および量子化係数のサインを示す符号のそれぞれを順番に読み出して復号する。

[0463] ステップ S456において、 VLC復号部 255は、符号分割部 251から、連続する Bビットの符号を w個同時に読み込み、読み込んだ w個の Bビットの符号のそれぞれを、ライン y上の位置 (X, y)、（x+ 1, y)、 · · ·、（x+w—l , y)の量子化係数の有効桁を示す符号として、 VLC復号部 256および量子化係数合成部 257に供給（出力）する。また、 VL C復号部 255は、量子化係数の有効桁を示す情報を生成して、符号分割部 251に供給する。ここで、位置 (X, y)における Xの値は、 VLC復号部 254が記憶している変数 X の値とされ、 yの値は、ライン判定部 252が記憶している変数 yの値とされる。

[0464] 例えば、予め定められた数カであり、変数 Bの値が 3であり、符号分割部 251のメモリ 272に、図 34の矢印 A19に示したように、画像としての符号が 3つの 32ビットの記憶領域に分けられて記憶されているとすると、図 34中、一番上側の 32ビットの記憶領域は、既にスカラ領域とされて、ラインの量子化係数が全て 0であるか否かを示す符号、および量子化係数の最大有効桁数を示す符号が読み出されており、次の 32ビットの記憶領域 (上から 2番目の記憶領域)からは、まだ符号が読み出されて、な、ので、 V LC復号部 155は、上から 2番目の記憶領域をベクトル領域として、このベクトル領域の左側の 8ビットの領域、左から 2番目の 8ビットの領域、右から 2番目の 8ビットの領域、および一番右側の 8ビットの領域のそれぞれの図中左側から、位置 (X, y)、 (x+ 1, y) 、 (x+2, y)、および (x+3, y)の量子化係数の有効桁を示す符号 "101"、 "011"、 "11 0"、および" 010"のそれぞれを同時に読み出して出力する。

[0465] w個の量子化係数の有効桁を示す符号が、 VLC復号部 256および量子化係数合成部 257に供給されると、その後、ステップ S457の処理およびステップ S458の処理が行われるが、これらの処理は、図 32のステップ S317の処理およびステップ S318の処理と同様なので、その説明は省略する。

[0466] このようにして、エントロピ復号部 221は、予め定められた数の量子化係数の絶対値を同時に復号する。

[0467] このように、予め定められた数の量子化係数の絶対値を同時に復号することによつて、複数の処理を同時 (並列）に行うことができ、より高速に画像を復号することができる。

[0468] なお、ステップ S457の処理にお!、て、 w個の量子化係数のサインを示す符号のそれぞれの復号を順番に行うと説明したが、 w個の量子化係数のサインを示す符号のそれぞれの復号を、 SIMD演算命令を利用して同時に（並列に)行うようにしてもょ、。

[0469] 以上のように、従来の JPEG2000方式による画像の符号ィ匕 (または復号）とは異なり、複数のコーディングパスに基づ、て、量子化係数をビットプレーンごとに算術符号ィ匕する必要がないため、より簡単な処理でより高速に画像を符号ィ匕 (または復号)することがでさる。

[0470] 従来の JPEG2000方式においては、複数のコーディングパスに基づいて、ビットプレーン毎に処理を行うので、それらの処理を行う場合に、おおよそ量子化係数にビットプレーンの数を掛け合わせた回数程度、量子化係数にアクセスしなければならず、処理量が多力つた。

[0471] また、符号化された画像をパケット化する場合に、 1つの画像の符号化が完全に終了しなければパケットィ匕の処理を開始することができないため、その分だけ遅延が生じる。さらに、 JPEG2000方式においては、例えば、図 2に示したサブバンド上の X方向および y方向に平行な辺カゝらなる矩形領域内の位置に対応する (符号化された)量子ィ匕係数力 S1つのパケットに格納されるため、その矩形領域の y方向の長さに応じた遅延も生じる。従来の JPEG2000方式においては、このような符号ィ匕による遅延が生じるため、リアルタイムでの処理は困難であった。なお、サブバンド上の矩形領域の y方向の長さを短くすることにより、遅延を低減することは可能であつたが、この場合、符号化効率が悪くなつてしまう。

[0472] これに対して、画像符号ィ匕装置 111においては、上述したように、複数のコーディングノスに基づ、て、量子化係数をビットプレーンごとに算術符号ィ匕する必要はなぐ画像の符号化を行う場合に、量子化係数の絶対値を示す符号を出力するとき、最大有効桁数を示す符号を出力するとき、および量子化係数のサインを示す符号を出力するときに量子化係数にアクセスするだけなので、より簡単に画像を符号ィ匕することができる。

[0473] なお、最大有効桁数を示す符号および量子化係数のサインを示す符号は 1ビットや 0ビットであることもあるので、実質的には、画像の符号化を行う場合に、おおよそ 2回程度量子化係数にアクセスするだけで画像を符号ィ匕することができる。また、画像を復号する場合、量子化係数には 1度だけアクセスすればよいので、より簡単により高速に画像を復号することができる。

[0474] 画像符号ィ匕装置 111または画像復号装置 211においては、サブバンドの量子化係数をラスタスキャン順に符号ィ匕または復号するので、量子化係数をバッファリングする必要がなぐ符号ィ匕または復号による遅延を低減することができる。

[0475] さらに、実際に横 1920画素 X縦 1080画素の YUV4: 2 : 2形式の画像を、 SIMD演算命令を利用して (但し、 w=4)実際に符号ィ匕および復号したところ、次のような結果が得られた。なお、符号化を行う場合、画像をウェーブレット変換して 5段階のサブバンド分解を行い、さらに、各サブバンドのウェーブレット係数を量子化して得られた量子化係数を符号化した。また、符号ィ匕および復号に必要な機能ブロック (例えば、図 33のエントロピ符号化部 123および図 27のエントロピ復号部 221)、並びに JPEG2000方式により画像を符号ィ匕および復号する機能ブロックは、 Pentium (登録商標) 4 (インテル株式会社の商標）と称される CPU (クロック周波数 3.0GHz)に所定のプログラムを実行させることにより実現させた。

[0476] 従来の JPEG2000方式により 1フレーム分の画像を符号化した場合、その符号量は 2 91571バイトであり、符号ィ匕に必要とされた時間は、 0.26157秒であった。また、符号ィ匕された画像を復号するために必要な時間は 0.24718秒であった。 [0477] これに対して、図 33のエントロピ符号ィ匕部 123により、 1フレーム分の画像を符号化した場合、その符号量は 343840バイトであり、符号ィ匕に必要とされた時間は、 0.03453 秒であった。また、符号化された画像を、図 27のエントロピ復号部 221により復号するために必要な時間は 0.02750秒であった。

[0478] 動画像においては、多くの場合、 1秒間に 30フレーム表示されるので、 1フレーム当たり 0.033 ( = 1/30)秒で符号ィ匕または復号することができれば、画像をリアルタイムに処理することができる。 JPEG2000方式では、符号化に必要な時間は 0.26157秒であり、復号に必要な時間は 0.24718秒であるので、画像をリアルタイムに処理することは困難であるが、図 33のエントロピ符号ィ匕部 123により画像を符号ィ匕させる場合には、符号ィ匕に必要な時間は 0.03453秒であり、ほぼリアルタイムに画像を処理することができる。また、図 27のエントロピ復号部 221により画像を復号する場合、復号に必要な時間は 0.02750秒であるので、十分にリアルタイムで処理を行うことができる。

[0479] 以上にぉヽては、画像データを符号化する例、または、画像データが符号化された符号ィ匕データを復号する例について説明したが、画像データに限らず、例えば、音声データなどを符号化する場合や、音声データ等が符号化された符号化データを復号する場合にも適用することが可能である。例えば、音声データを符号化する場合、音声データとして入力された符号により表わされる w個の所定の数値の最大有効桁数を示す符号、それらの数値の絶対値を示す符号、およびそれらの数値のサインを示す符号が符号化された音声データとして出力される。

[0480] また本実施の形態の特徴にっ、てさらに付言すると、本実施の形態にぉ、て説明した符号ィ匕方式では、量子化係数が可逆符号化される。そのため、例えば、人間の視覚特性に合わせて高域の係数ほど大きな量子化ステップサイズで量子化されるようにすることにより、発生符号量あたりの画質を大きく向上させることが出来る。また、例えば、特定の空間範囲で用いる量子化ステップサイズを小さくするようにすることにより、その空間範囲の画質を向上させることもできる。

[0481] さらに、本実施の形態において説明した符号化方式では、絶対値の有効桁部分を並べたものが符号される。仮に、絶対値の有効桁部分が VLC符号化されて送出されるようにすると、絶対値の有効桁数力その場合には、 2~(N*W)個のエントリを持つ非常に大きな VLCテーブルが必要になる（演算処理の負荷や処理時間だけでなぐ VLC テーブルを保持するのに必要なメモリの容量も増大する）。これに対して、本実施の形態において説明した符号ィ匕方式においてはこのような大きなテーブルを使う必要がない（演算処理の負荷や処理時間だけでなぐメモリの容量を低減させることができる)。

[0482] また、 VLCよりも圧縮率が高い算術符号を使うことも考えられる力例えば JPEG200 0のような算術符号ィ匕を用いた圧縮方式を用いた場合でも、本実施の形態において説明した符号ィ匕方式の場合と比べて、圧縮率が大きく向上することはない。つまり、本実施の形態において説明した符号ィ匕方式は、符号ィ匕処理が容易でありながら圧縮率が高い。

[0483] 本実施の形態において説明した符号ィヒ方式は、 w個組の係数における絶対値の最大有効桁数を符号化するので、隣同士の係数の有効桁数が似ていることを利用して発生符号量を低減させることができる。

[0484] また、本実施の形態にお!、て説明した符号化方式は、 w個組の係数における絶対値の最大有効桁数を符号ィ匕するときに差分符号ィ匕を行うので、この点でも隣同士の係数の有効桁数が似ていることを利用して発生符号量を低減させることができる。

[0485] 以上に説明した実施の第 6の形態のエントロピ符号ィ匕部 123によるエントロピ符号ィ匕処理、およびエントロピ復号部 221によるエントロピ復号処理は、上述した実施の第 1 の形態乃至第 5の形態のそれぞれに適用することができ、画像符号化処理や画像復号処理全体の遅延時間、消費電力、および処理に必要なバッファメモリ量等をさらに低減させることができる。例えば、エントロピ符号ィ匕部 123を図 1の画像符号ィ匕装置 1 のエントロピ符号ィ匕部 15として適用してもよい（つまり、エントロピ符号ィ匕部 15力ェントロピ符号ィ匕部 123と同様にエントロピ符号ィ匕処理を実行するようにすることができる）。また、例えば、エントロピ復号部 221を図 9の画像復号装置 20のエントロピ復号部 21 として適用してもよい（つまり、エントロピ復号部 21が、エントロピ復号部 221と同様にェントロピ復号処理を実行するようにすることができる）。

[0486] つまり、実施の第 6の形態のエントロピ符号ィ匕処理は、上述した実施の第 1の形態乃至第 5の形態のそれぞれに適用することにより、各実施の形態のウェーブレット変換部からの係数の出力順の特徴 (つまり連続する係数の有効桁数が似て、ること）を生力して発生符合量を低減させることができる。また、係数の並び替えを行う場合であつても、ウェーブレット変換部がラインブロック単位でウェーブレット変換を行うので、連続する係数の有効桁数が似ているという特徴には大きな影響を与えることがなぐエントロピ符号ィ匕処理の発生符号量は大きく変化しない。

[0487] 以上のように、実施の第 6の形態のエントロピ符号ィ匕処理は、上述した実施の第 1の形態乃至第 5の形態において説明したウェーブレット変換処理と、処理される係数データの特徴や期待される効果が似ており、互いに親和性が高い。従って、上述した実施の第 1の形態乃至第 5の形態において説明したウェーブレット変換処理に対して、他の符号化方式を適用する場合よりも、本実施の形態のエントロピ符号化処理を適用する場合の方が、画像符号ィ匕処理全体においてより大きな効果を得ることを期待することができる。

[0488] 次に、発明の実施の第 7の形態について説明する。この実施の第 7の形態は、上述した各実施の形態による画像符号ィ匕装置および画像復号装置を、ディジタルトライアックスシステムに適用した例である。

[0489] トライアッタスシステムは、テレビジョン放送局や制作スタジオなどにお！、て、スタジォ収録や中継などの際に、ビデオカメラと、カメラコントロールユニットやスィッチャとを接続する 1本の同軸ケーブルで、映像信号、音声信号、送り返し (リターン)の映像信号、同期信号など複数の信号を重畳させて送信すると共に、電源の供給も行うようにしたシステムである。

[0490] 従来のトライアッタスシステムは、アナログ信号を用いて上述の各信号の伝送を行うようにした例が大部分であった。し力しながら、近年では、システム全体のディジタルィ匕に伴、、放送局内などで用いるトライアッタスシステムのディジタルィ匕が進んで、る

[0491] 既存のディジタルトライアッタスシステムでは、トライアッタスケーブルを介して伝送されるディジタルビデオ信号は、非圧縮のビデオ信号であった。これは、特に放送局などにおいては信号の遅延時間に対する要求スペックが厳しぐ基本的に、撮像から例えばモニタ出力までの遅延時間カ^フィールド（16.67msec)以内であることが要求されるためである。高圧縮率および高画質を実現した MPEG2(Moving Pictures Exper ts Group 2)や MPEG4といった圧縮符号化方式は、ビデオ信号の圧縮符号化や圧縮ビデオ信号の復号に際して数フレーム分の時間を要し、遅延時間が大きいため、トラィアッタスシステムに採用されることはな力つた。

[0492] この発明による画像符号化および画像復号方法は、上述したように、画像データの入力から出力画像が得られるまでの遅延時間が 1フィールド時間以内、例えば数ライン乃至数十ラインと極めて短ぐディジタルトライアッタスシステムに対して用いて好適なものである。

[0493] 図 37は、この発明による画像符号ィ匕および画像復号方法を適用可能な、ディジタルトライアッタスシステムの一例の構成を示す。送信ユニット 500とカメラ制御部 502と力 Sトライアッタスケーブル（同軸ケーブル) 501を介して接続される。送信ユニット 500からカメラ制御部 502に対する、実際に放映されたり素材として用ヽられたりするデイジタルビデオ信号およびディジタルオーディオ信号 (以下、本線信号と呼ぶ）の送出、カメラ制御部 502からビデオカメラ部 503に対する、インカム用のオーディオ信号およびリターン用のディジタルビデオ信号の送出力トライアッタスケーブル 501を介して行われる。

[0494] 送信ユニット 500は、例えば図示されないビデオカメラ装置に内蔵される。これに限らず、送信ユニット 500がビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定に接続されて用いられるものとしてもよい。また、カメラ制御部 502は、例えば一般的に CCU(Camera Control Unit)と呼ばれる装置である。

[0495] なお、ディジタルオーディオ信号については、この発明の主旨と関わりが少ないので、繁雑さを避けるための説明を省略する。

[0496] ビデオカメラ部 503は、例えば図示されなヽビデオカメラ装置内に構成され、レンズ、フォーカス機構、ズーム機構、アイリス調整機構などを有する光学系 550を介して入射された被写体からの光を、 CCD(Charge Coupled Device)などからなる図示されない撮像素子で受光する。撮像素子は、受光された光を光電変換で電気信号に変換し、さらに所定の信号処理を施してベースバンドのディジタルビデオ信号を出力する。このディジタルビデオ信号は、例えば HD- SDI(High Definition-Serial Data Interface )のフォーマットにマッピングして出力される。

[0497] また、ビデオカメラ部 503は、モニタ用に用いられる表示部 551と、外部と音声によるやりとりを行うためのインカム 552が接続される。

[0498] 送信ユニット 500は、ビデオ信号符号化部 510およびビデオ信号復号部 511、デイジタル変調部 512およびディジタル復調部 513、アンプ 514およびアンプ 515、並びに、ビデォ分離 Z合成部 516を有する。

[0499] 送信ユニット 500において、ビデオカメラ部 503から、例えば HD-SDIのフォーマットにマッピングされたベースバンドのディジタルビデオ信号が供給される。このディジタルビデオ信号は、ビデオ信号符号ィ匕部 510で圧縮符号化され、符号化ストリームとされてディジタル変調部 512に供給される。ディジタル変調部 512は、供給された符号化ストリームを、トライアッタスケーブル 501を介した伝送に適した形式の信号に変調して出力する。ディジタル変調部 512から出力された信号は、アンプ 514を介してビデオ分離 Z合成部 516に供給される。ビデオ分離 Z合成部 516は、供給された信号をトライアツタスケーブル 501に送出する。この信号は、トライアッタスケーブル 501を介してカメラ制御部 502に受信される。

[0500] カメラ制御部 502から出力された信号力トライアッタスケーブル 501を介して送信ュニット 500に受信される。受信された信号は、ビデオ分離 Z合成部 516に供給され、デイジタルビデオ信号の部分とその他の信号の部分とが分離される。受信信号のうちデイジタルビデオ信号の部分は、アンプ 515を介してディジタル復調部 513に供給され、カメラ制御部 502側でトライアッタスケーブル 501を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。

[0501] 符号化ストリームは、ビデオ信号復号部 511に供給され、圧縮符号を復号され、ベースバンドのディジタルビデオ信号とされる。この復号されたディジタルビデオ信号は、 HD-SDIのフォーマットにマッピングされて出力され、リターン用のディジタルビデオ信号としてビデオカメラ部 503に供給される。このリターン用のディジタルビデオ信号は、ビデオカメラ部 503に接続される表示部 551に供給され、撮影者のためのモニタなどに利用される。

[0502] カメラ制御部 502は、ビデオ分離 Z合成部 520、アンプ 521およびアンプ 522、フロントエンド部 523、ディジタル復調部 524およびディジタル変調部 525、並びに、ビデオ信号復号部 526およびビデオ信号符号化部 527を有する。

[0503] 送信ユニット 500から出力された信号力トライアッタスケーブル 501を介してカメラ制御部 502に受信される。受信された信号は、ビデオ分離 Z合成部 520に供給される。ビデオ分離 Z合成部 520は、供給された信号を、アンプ 521およびフロントエンド部 52 3を介してディジタル復調部 524に供給する。なお、フロントエンド部 523は、入力信号のゲインを調整するゲイン制御部や、入力信号に対して所定のフィルタ処理を施すフィルタ部などを有する。

[0504] ディジタル復調部 524は、送信ユニット 500側でトライアッタスケーブル 501を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。この符号化ストリームは、ビデオ信号復号部 526に供給され、圧縮符号を復号され、ベースバンドのディジタルビデオ信号にとされる。この復号されたディジタルビデオ信号は、 HD-SDIのフォーマットにマッピングされて出力され、本線信号として外部に出力される。

[0505] 外部からカメラ制御部 502に対して、リターン用のディジタルビデオ信号と、ディジタルオーディォ信号とが供給される。ディジタルオーディオ信号は、例えば、撮影者のインカム 552に供給され、外部から撮影者に対する音声による指示を伝達するのに用いられる。

[0506] リターン用のディジタルビデオ信号は、ビデオ信号符号化部 527に供給されて圧縮符号化され、ディジタル変調部 525に供給される。ディジタル変調部 525は、供給された符号化ストリームを、トライアッタスケーブル 501を介した伝送に適した形式の信号に変調して出力する。ディジタル変調部 525から出力された信号は、フロントエンド部 523およびアンプ 522を介してビデオ分離 Z合成部 520に供給される、ビデオ分離 Z 合成部 520は、この信号を他の信号と多重化し、トライアッタスケーブル 501に送出する。この信号は、トライアッタスケーブル 501を介してビデオカメラ部 503に受信される。

[0507] この発明の実施の第 7の形態では、上述したビデオ信号符号化部 510およびビデオ信号符号化部 527、並びに、ビデオ信号復号部 511およびビデオ信号復号部 526〖こ対して、上述した各実施の形態で説明した画像符号化装置および画像復号装置をそれぞれ適用する。

[0508] 特に、画像符号化装置および画像復号装置における各要素の処理を並列的に行うようにした、発明の実施の第 2の形態は、ビデオカメラ部 503で撮影された映像が力メラ制御部 502から出力される際の遅延や、外部から供給されカメラ制御部 502からビデォカメラ部 503に送信されるリターン用のディジタルビデオ信号の遅延を低く抑えることができ、この発明の実施の第 7の形態に用いて好適である。

[0509] また、図 37に例示したシステムの場合、送信ユニット 500およびカメラ制御部 502のそれぞれにおいて、信号処理能力やメモリ容量を、適宜、設定することができると考えられるので、係数データの並び替え処理を行う位置は、送信ユニット 500側およびカメラ制御部 502側の何れであってもよいし、エントロピ符号ィ匕を行う位置も同様に、並び替え処理の前後の何れであってもよ、。

[0510] すなわち、送信ユニット 500側にぉ、て、ビデオ信号符号ィ匕部 510は、供給されたデイジタルビデオ信号に対して、この発明による方法に従、ウェーブレット変換およびエントロピ符号化を施し、符号化ストリームを出力する。上述したように、ビデオ信号符号化部 510は、ウェーブレット変換に用いるフィルタのタップ数およびウェーブレット変換の分解レベル数に応じたライン数が入力されると、ウェーブレット変換を開始する。そして、図 5、図 6および図 11などを用いて説明したように、画像符号化装置および画像復号装置において、各要素に必要な係数データが蓄積されると、順次、各要素による処理が行われる。 1フレームまたは 1フィールドの下端のラインまで処理が終了したら、次の 1フレームまたは 1フィールドの処理が開始される。

[0511] カメラ制御部 502側力も送信ユニット 500側に、リターン用のディジタルビデオ信号を送信する場合も、同様である。すなわち、カメラ制御部 502側において、ビデオ信号符号ィ匕部 527は、外部力も供給されたリターン用のディジタルビデオ信号に対して、この発明による方法に従、ウェーブレット変換およびエントロピ符号ィ匕を施し、符号ィ匕ストリームを出力する。

[0512] ここで、リターン用のディジタルビデオ信号は、本線信号のディジタルビデオ信号よりも画質が低くても構わないとされている場合が多い。そこで、ビデオ信号符号化部 5 27において、符号ィ匕時のビットレートを下げるようにするとよい。例えば、ビデオ信号符号ィ匕部 527において、レート制御部 14により、エントロピ符号ィ匕部 15でのエントロピ符号ィ匕処理をより低ビットレートになるまで行うように制御する。また例えば、カメラ制御部 502側では、ビデオ信号符号化部 527におヽてウェーブレット変換部 10でより高い分解レベルまで変換処理を行い、送信ユニット 500側では、ビデオ信号復号部 511 のウェーブレット逆変換部 23におけるウェーブレット逆変換を、より低い分解レベルまでに止める方法も考えられる。カメラ制御部 502側のビデオ信号符号ィ匕部 527における処理は、この例に限らず、ウェーブレット変換における分解レベルをより低く抑えて変換処理による負担を軽減することも考えられる。

[0513] 次に、この発明の実施の第 8の形態について説明する。この発明の実施の第 8の形態では、この発明による画像符号化装置で符号化された符号化データの画像復号装置側への伝送を、無線通信を用いて行うようにしている。図 38は、この発明の実施の第 8の形態による無線伝送システムの一例の構成を示す。なお、この図 38の例では、ビデオ信号はビデオカメラまたは送信ユニット 600 (以下、送信ユニット 600と略称する）側から受信装置 601側に、一方向的に送信される。オーディオ信号およびその他の信号は、送信ユニット 600と受信装置 601との間で双方向の通信が可能である。

[0514] 送信ユニット 600は、例えばビデオカメラ部 602を有する図示されな、ビデオカメラ装置に内蔵される。これに限らず、送信ユニット 600がビデオカメラ部 602を有するビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定に接続されて用いられるちのとしてちょい。

[0515] ビデオカメラ部 602は、例えば所定の光学系と、例えば CCDからなる撮像素子と、撮像素子カゝら出力された信号をディジタルビデオ信号として出力する信号処理部とを有する。ビデオカメラ部 602から、例えば HD-SDIのフォーマットにマッピングされてデイジタルビデオ信号が出力される。これはこの例に限らず、ビデオカメラ部 602から出力されるディジタルビデオ信号は、他のフォーマットでもよ、。

[0516] 送信ユニット 600は、ビデオ信号符号化部 610、ディジタル変調部 611および無線モジュール部 612を有する。送信ユニット 600において、ビデオカメラ部 602から、ベースバンドのディジタルビデオ信号が例えば HD-SDIのフォーマットにマッピングされて出力される。このディジタルビデオ信号は、ビデオ信号符号ィ匕部 610でこの発明に係る圧縮符号ィ匕方法により、ウェーブレット変換およびエントロピ符号ィ匕により圧縮符号ィ匕され、符号化ストリームとされてディジタル変調部 611に供給される。ディジタル変調部 611は、供給された符号化ストリームを、無線通信を行うために適した形式の信号にディジタル変調して出力する。

[0517] また、ディジタル変調部 611には、ディジタルオーディオ信号やその他の信号、例えば所定のコマンドやデータも供給される。例えば、ビデオカメラ部 602は、マイクロホンを有し、集音された音声を音声信号に変換し、さらに当該音声信号を A/D変換してディジタルオーディオ信号として出力する。また、ビデオカメラ部 602は、所定のコマンドゃデータを出力できるようになつている。コマンドやデータは、ビデオカメラ部 602の内部で発生するようにしても良いし、ビデオカメラ部 602に操作部を設け、当該操作部に対するユーザの操作に応じてコマンドやデータを生成するようにしてもょヽ。ビデオカメラ部 602に対してコマンドやデータを入力する入力装置を接続するようにしてもよい。

[0518] ディジタル変調部 611は、これらディジタルオーディオ信号やその他の信号をデイジタル変調し、出力する。ディジタル変調部 611から出力されたディジタル変調信号は、無線モジュール部 612に供給されアンテナ 613から電波として無線送信される。

[0519] なお、無線モジュール部 612は、受信装置 601側からの自動再送要求 (ARQ： Auto R epeat Request)を受信すると、ディジタル変調部 611に対してこの ARQを通知し、データの再送を要求する。

[0520] アンテナ 613から送信された電波は、受信装置 601側のアンテナ 620で受信され、無線モジュール部 621に供給される。無線モジュール部 621は、受信された電波に基づくディジタル変調信号をフロントエンド部 622に供給する。フロントエンド部 622は、供給されたディジタル変調信号に対して例えばゲイン制御といった所定の信号処理を施して、ディジタル復調部 623に供給する。ディジタル復調部 623は、供給されたディジタル変調信号を復調し、符号化ストリームを復元する。

[0521] ディジタル復調部 623で復元された符号化ストリームは、ビデオ信号復号部 624に供給され、この発明に係る復号方法により圧縮符号を復号され、ベースバンドのデイジタルビデオ信号とされる。この復号されたディジタルビデオ信号は、例えば HD-SDIのフォーマットにマッピングされて出力される。

[0522] ディジタル復調部 623には、送信ユニット 600側でディジタル変調され送信された、ディジタルオーディオ信号やその他の信号も供給される。ディジタル復調部 623は、これらディジタルオーディオ信号やその他の信号がディジタル変調された信号を復調し、ディジタルオーディオ信号やその他の信号を復元して出力する。

[0523] また、フロントエンド部 622は、無線モジュール部 621から供給された受信信号に対して所定の方法でエラー検出を行、、例えば誤ったフレームが受信されたと、つたェラーが検出されると、 ARQを出力する。 ARQは、無線モジュール部 621に供給され、アンテナ 620から送信される。

[0524] このような構成にぉ、て、送信ユニット 600を例えばビデオカメラ部 602を有する比較的小型のビデオカメラ装置に内蔵させ、受信装置 601にはモニタ装置を接続し、ビデォ信号復号部 624から出力されたディジタルビデオ信号をモニタ装置に供給する。受信装置 601に対して、送信ユニット 600の内蔵されたビデオカメラ装置が無線モジユール部 612から送信される電波の到達範囲内にあれば、ビデオカメラ装置で撮影された映像を、低遅延、例えば 1フィールドまたは 1フレーム時間以内の遅延でモニタ装置により見ることができる。

[0525] なお、図 38では、送信ユニット 600と受信装置 601との間の通信を、無線通信を用いて行い、ビデオ信号を、無線通信を介して伝送するようにしている力これはこの例に限定されない。例えば、送信ユニット 600と受信装置 601は、インターネットなどのネットワークを介して接続するようにしてもよい。この場合、送信ユニット 600側の無線モジュール部 612および受信装置 601側の無線モジュール部 621は、それぞれ IP(Internet P rotocol)を用いた通信が可能な通信インタフェースとされる。

[0526] この実施の第 8の形態によるシステムは、様々な応用が考えられる。例えば、この実施の第 8の形態によるシステムは、テレビジョン会議システムに応用することができる。例えば、 USB(Universal Serial Bus)接続が可能な簡易的なビデオカメラ装置をパーソナルコンピュータといったコンピュータ装置に接続すると共に、コンピュータ装置側にビデオ信号符号化部 610およびビデオ信号復号部 624を搭載する。コンピュータ装置に搭載されるビデオ信号符号ィ匕部 610およびビデオ信号復号部 624は、ハードウェアで構成してもよ、し、コンピュータ装置上で動作するソフトウェアとして実現することも可能である。

[0527] 例えば、会議に参加するメンバそれぞれに、コンピュータ装置と当該コンピュータ装置に接続されるビデオカメラ装置が用意され、コンピュータ装置が例えばテレビジョン会議システムのサービスを提供するサーバ装置に、有線および Zまたは無線によるネットワークを介して接続される。ビデオカメラ装置から出力されたビデオ信号は、 US Bケーブルを介してコンピュータ装置に供給され、コンピュータ装置内のビデオ信号符号化部 610で、この発明に係る符号化処理を施される。コンピュータ装置は、ビデォ信号が符号化された符号化ストリームを、ネットワークを介してサーバ装置などに送信する。

[0528] サーバ装置は、受信した符号化ストリームを、参加メンバそれぞれのコンピュータ装置にネットワークを介して送信する。この符号化ストリームは、参加メンバそれぞれのコンピュータ装置に受信され、コンピュータ装置内のビデオ信号復号部 624でこの発明に係る復号処理がなされる。ビデオ信号復号部 624から出力された画像データが、コンピュータ装置の表示部に映像として表示される。

[0529] すなわち、各参カロメンバのコンピュータ装置の表示部には、他の参カロメンバのビデォカメラ装置で撮影されたそれぞれの映像が表示されることになる。この発明の実施の第 8の形態によれば、ビデオカメラ装置での撮影によるビデオ信号の符号化から、他の参加メンバのコンピュータ装置で復号されるまでの遅延時間が短ぐ参加メンバのコンピュータ装置の表示部に表示される他の参加メンバそれぞれの映像の違和感を少なくできる。

[0530] さらに、ビデオ信号符号ィ匕部 610をビデオカメラ装置側に搭載することも考えられる。例えば、ビデオカメラ装置に送信ユニット 600を内蔵させる。このように構成することで、ビデオカメラ装置にコンピュータ装置などの他の装置を接続する必要が無くなる

[0531] このような、送信ユニット 600が内蔵されたビデオカメラ装置と受信装置 601と力もなるシステムは、上述したテレビジョン会議システムの他にも、様々な応用が考えられる。例えば、図 39に概略的に示されるように、このシステムを家庭用ゲーム機器に適用することができる。図 39において、ビデオカメラ装置 700は、この発明の実施の第 8の形態による送信ユニット 600が内蔵される。

[0532] 家庭用ゲーム機器の本体 701は、例えば CPU、 RAMおよび ROMや、 CD- ROM(Co mpact Disc-Read Only Memory)や DVD— ROM(Digital Versatile Disc— ROM)に対応したディスクドライブ装置、 CPUにより生成された表示制御信号をビデオ信号に変換して出力するグラフィック制御部、オーディオ信号を再生するオーディオ再生部などが例えばバスで接続され、コンピュータ装置と略同様の構成とされる。家庭用ゲーム機器の本体 701は、 ROMに予め記憶されたプログラムや、ディスクドライブ装置に装填された CD- ROMや DVD- ROMに記録されたプログラムに従い、 CPUにより全体が制御される。 RAMは、 CPUのワークメモリとして用いられる。この家庭用ゲーム機器の本体 701に対して、受信装置 601を内蔵する。受信装置 601から出力されるディジタルビデォ信号やその他の信号は、例えばバスを介して CPUに供給される。

[0533] このようなシステムにおいて、例えば、家庭用ゲーム機器の本体において、外部から供給されたディジタルビデオ信号による画像を、ゲーム内の画像として用いることができるようにされたゲームソフトウェアが起動されているものとする。例えば、このゲームソフトウェアは、外部から供給されたディジタルビデオ信号による画像をゲーム内の画像として用いることができると共に、当該画像内での人物（プレーヤ)などの動きを識別し、識別された動きに応じた動作を行うことが可能とされている。

[0534] ビデオカメラ装置 700は、撮影されたディジタルビデオ信号を、内蔵される送信ュ- ット 600にお、て、ビデオ信号符号ィ匕部 610でこの発明に係る符号化方法で符号化し、符号化ストリームをディジタル変調部 611で変調して無線モジュール部 612に供給し、アンテナ 613から送信する。送信された電波は、家庭用ゲーム機器の本体 701に内蔵される受信装置 601にお、てアンテナ 620で受信され、受信信号が無線モジュール部 621およびフロントエンド部 622を介してディジタル復調部 623に供給される。受信信号は、ディジタル復調部 623で復調された符号化ストリームとされ、ビデオ信号復号部 624に供給される。ビデオ信号復号部 624では、供給された符号化ストリームを、この発明に係る復号方法で復号し、ベースバンドのディジタルビデオ信号を出力する。

[0535] ビデオ信号復号部 624から出力されたベースバンドのディジタルビデオ信号は、家庭用ゲーム機器の本体 701において、バスに送出され、例えば RAMに一時的に記憶される。 CPUは、所定のプログラムに従い、 RAMに記憶されたディジタルビデオ信号を読み出すことで、このディジタルビデオ信号による画像内の人物の動きを検出したり、当該画像をゲーム内で用いたりすることができるようにされる。

[0536] ビデオカメラ装置 700で撮影され、得られたディジタルビデオ信号が符号ィ匕されてから、家庭用ゲーム機器の本体 701で符号化ストリームが復号され画像が得られるまでの遅延時間が短いので、家庭用ゲーム機器の本体 701上で動作するゲームソフトゥエアにおける、プレーヤの動きに対する応答性が良くなり、ゲームの操作性を向上させることができる。

[0537] なお、このような、家庭用ゲーム機器と共に用いられるビデオカメラ装置 700は、価格や大きさなどの面力みても簡易な構成とされることが多ぐコンピュータ装置などのように、処理能力の高い CPUや、記憶容量の大きなメモリを搭載できないことが想定される。

[0538] つまり、一般的に、ビデオカメラ装置 700は、ビデオカメラ装置 700を利用するゲームをプレイする場合にのみ必要になる、家庭用ゲーム機器の本体 701の周辺機器であり、家庭用ゲーム機器の本体 701を用、てゲームをプレイするのに必要な装置ではない。そのような場合、ビデオカメラ装置 700が家庭用ゲーム機器の本体 701と別商品として販売される（所謂、別売り）ことが多い。その場合に、ビデオカメラ装置 700に、処理能力の高!、CPUや記憶容量の大きなメモリを搭載し、高額な価格で販売するようにすると、一般的に販売数が低減する恐れがある。その場合、このビデオカメラ装置 7 00を利用するゲームの販売数も低減する恐れがあり、収益の低下につながる恐れがある。また、特に、家庭用ゲームにおいては普及率が販売数に対して強い影響を与えることも多く、ビデオカメラ装置 700の普及率が低いと、さらに販売数が低減する恐れがある。

[0539] 逆に、ビデオカメラ装置 700を安価で多数販売して普及率を向上させることにより、このビデオカメラ装置 700を利用する家庭用ゲームの販売数や人気度を向上させることができ、さらに、そのことが家庭用ゲーム機器の本体 701のさらなる購買動機に繋がることを期待することができる。そのためにも、ビデオカメラ装置 700は、簡易な構成とすることが望ま U、場合が多、。

[0540] この場合、例えば、ビデオカメラ装置 700に内蔵される送信ユニット 600のビデオ信号符号ィ匕部 610において、ウェーブレット変換を低い分解レベルで抑えて行うことが考えられる。こうすることで、係数並び替え用バッファ部に用いるメモリ容量が少なくて済む。

[0541] また、ビデオ信号符号ィ匕部 610に、実施の第 3の形態で説明した、図 12に例示される画像符号化装置の構成を適用することが考えられる。さらに、ビデオ信号符号化部 610に、実施の第 4の形態で説明した、図 15に例示される画像符号化装置の構成を適用すると、ビデオ信号符号ィ匕部 610側でウェーブレット変換係数データの並び替え処理を行う必要が無くなるため、ビデオカメラ装置 700側の負担をより減らすことが可能となり、好ましい。この場合、家庭用ゲーム機器の本体 701側に内蔵される受信装置 601において、ビデオ信号復号部 624として、実施の第 4の形態で説明した、図 16に例示される画像復号装置を用いる必要がある。

[0542] なお、上述では、ビデオカメラ装置 700と家庭用ゲーム機器の本体 701とは、無線通信で接続されるように説明したが、これはこの例に限られない。すなわち、ビデオカメラ装置 700と家庭用ゲーム機器の本体 701とは、 USBや IEEE1394といったインタフエ一スにより、有線で接続されていてもよい。

[0543] 以上のように、本発明は、多様な形態に適用することができ、容易に多様な用途に応用することができる (すなわち汎用性が高い)ことも大きな効果である。

[0544] 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ、または、複数の装置よりなる情報処理システムの情報処理装置などに、プログラム記録媒体からインストールされる。

[0545] 図 40は、上述した一連の処理をプログラムにより実行する情報処理システムの構成の例を示すブロック図である。 [0546] 図 40に示されるように、情報処理システム 800は、情報処理装置 801、その情報処理装置 801と PCレス 802によって接続された、記憶装置 803、複数台のビデオテープレコーダ（VTR)である VTR804-1乃至 VTR804-S、ユーザがこれらに対する操作入力を行うためのマウス 805、キーボード 806、並びに操作コントローラ 807により構成されるシステムであり、インストールされたプログラムによって、上述したような画像符号化処理や画像復号処理等を行うシステムである。

[0547] 例えば情報処理システム 800の情報処理装置 801は、 RAID (Redundant Arrays of In dependent Disks)でなる大容量の記憶装置 803に記憶されて!、る動画コンテンツを符号化して得られた符号化データを記憶装置 803に記憶させたり、記憶装置 803に記憶されて、る符号化データを復号して得られた復号画像データ (動画コンテンツ)を記憶装置 803に記憶させたり、符号ィ匕データゃ復号画像データを VTR804-1乃至 VTR8 04-Sを介してビデオテープに記録したりすることができる。また、情報処理装置 801は、 VTR804-1乃至 VTR804-Sに装着されたビデオテープに記録された動画コンテンツを記憶装置 803に取り込み得るようにもなされている。その際、情報処理装置 801が、動画コンテンツを符号ィ匕するようにしてもよい。

[0548] 情報処理装置 801は、マイクロプロセッサ 901、 GPU (Graphics Processing Unit) 902 、 XDR (Extreme Data Rate) - RAM903、サウスブリッジ 904、 HDD905、 USBインタフエース（USB I/F) 906、およびサウンド入出カコーデック 907を有している。

[0549] GPU902は専用のバス 911を介してマイクロプロセッサ 901に接続される。 XDR- RAM 903は専用のバス 912を介してマイクロプロセッサ 901に接続される。サウスブリッジ 904 は、専用のバスを介してマイクロプロセッサ 901の I/Oコントローラ 944に接続される。このサウスブリッジ 904には、 HDD905、 USBインタフェース 906、および、サウンド入出力コーデック 907も接続されている。このサウンド入出カコーデック 907にはスピーカ 921 が接続されている。また、 GPU902にはディスプレイ 922が接続されている。

[0550] またサウスブリッジ 904には、さらに、 PCIバス 802を介して、マウス 805キーボード 806 、 VTR804-1乃至 VTR804-S、記憶装置 803、並びに、操作コントローラ 807が接続されている。

[0551] マウス 805およびキーボード 806は、ユーザの操作入力を受け、 PCIバス 802およびサウスブリッジ 904を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ 901に供給する。記憶装置 803および VTR804-1乃至 VTR804-Sは、所定のデータを記録または再生できるようになされて、る。

[0552] P バス 802にはさらに、必要に応じてドライブ 808が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア 811が適宜装着され、それら力も読み出されたコンピュータプログラム力必要に応じて HDD905にインストールされる。

[0553] マイクロプロセッサ 901は、 OS (Operating System)等の基本プログラムを実行する汎用のメイン CPUコア 941と、メイン CPUコア 941に内部バス 945を介して接続された複数 (この場合 8個）の RISC (Reduced Instruction Set Computer)タイプの信号処理プロセッサである、サブ CPUコア 942-1乃至サブ CPUコア 942-8と、例えば 256[MByte]の容量を持つ XDR-RAM903に対するメモリコントロールを行うメモリコントローラ 943と、サゥスブリッジ 904との間でデータの入出力を管理する I/O (In/Out)コントローラ 944とが 1 チップに集積されたマルチコア構成でなり、例えば動作周波数 4[GHz]を実現してヽる。

[0554] このマイクロプロセッサ 901は、起動時、 HDD905に格納された制御プログラムに基づき、 HDD905に格納されている必要なアプリケーションプログラムを読み出して XDR - RAM903に展開し、この後このアプリケーションプログラム及びオペレータ操作に基づ、て必要な制御処理を実行する。

[0555] また、マイクロプロセッサ 901は、ソフトウェアを実行することにより、例えば、上述した各実施の形態の画像符号化処理や画像復号処理を実現し、エンコードの結果得られた符号化ストリームを、サウスブリッジ 904を介して、 HDD905に供給して記憶させたり、デコードした結果得られる動画像コンテンツの再生映像を、 GPU902へデータ転送して、ディスプレイ 922に表示させたりすることができる。

[0556] マイクロプロセッサ 901内の各 CPUコアの使用方法は任意である力例えば、メイン CPUコア 941が、画像符号化処理や画像復号処理の制御に関する処理を行い、 8個のサブ CPUコア 942-1乃至サブ CPUコア 942-8に、ウェーブレット変換、係数並び替え、エントロピ符号化、エントロピ復号、ウェーブレット逆変換、量子化、および逆量子化等の各処理を、例えば図 11を参照して説明したように同時並列的に実行させるようにしてもよい。その際、メイン CPUコア 941が、 8個のサブ CPUコア 942-1乃至サブ CPUコァ 942-8のそれぞれに対してラインブロック (プレシンクト）単位で処理を割り振るようにすれば、画像符号化処理や画像復号処理が、図 11を参照して説明した場合と同様にラインブロック単位で同時並列的に実行される。つまり、画像符号化処理や画像復号処理の効率を向上させ、処理全体の遅延時間を短縮させ、さらに、負荷、処理時間、および、処理に必要なメモリ容量を低減させることができる。もちろん、これ以外の方法で各処理を行うようにしてもょ、。

[0557] 例えば、マイクロプロセッサ 901の 8個のサブ CPUコア 942乃至サブ CPUコア 942-8のうちの一部がエンコード処理を、他の部分がデコード処理を、同時並列的に実行するようにすることも可會である。

[0558] また、例えば、 PCIバス 802に、独立したエンコーダまたはデコーダ、もしくは、コーデック処理装置が接続されて、る場合、マイクロプロセッサ 901の 8個のサブ CPUコア 94 2乃至サブ CPUコア 942- 8が、サウスブリッジ 904および PCIバス 802を介して、これらの装置が実行する処理を制御するようにしてもよい。さらに、これらの装置が複数接続されている場合、または、これらの装置が複数のデコーダまたはエンコーダを含んでいる場合、マイクロプロセッサ 901の 8個のサブ CPUコア 942乃至サブ CPUコア 942-8は、複数のデコーダまたはエンコーダが実行する処理を、分担して制御するようにしてもよい。

[0559] このときメイン CPUコア 941は、 8個のサブ CPUコア 942乃至サブ CPUコア 942- 8の動作を管理し、各サブ CPUコアに対して処理を割り当てたり、処理結果を引き取ったりする。さらに、メイン CPUコア 941は、これらのサブ CPUコアが行う以外の処理も行う。例えば、メイン CPUコア 941は、サウスブリッジ 904を介してマウス 805、キーボード 806、または、操作コントローラ 807から供給された命令を受け付け、命令に応じた種々の処理を実行する。

[0560] GPU902は、ディスプレイ 922に表示する動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理にカ卩えて、動画コンテンッの再生映像及び静止画コンテンツの静止画像をディスプレイ 922に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像及び静止画コンテンッの静止画像に対する拡大 ·縮小処理等を行う機能を司り、マイクロプロセッサ 901 の処理負担を軽減させるようになされて!ヽる。

[0561] GPU902は、マイクロプロセッサ 901の制御のもとに、供給された動画コンテンツの映像データや静止画コンテンツの画像データに対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ 922へ送出して、画像信号をディスプレイ 922へ表示させる。

[0562] ところで、マイクロプロセッサ 901における 8個のサブ CPUコア 942乃至サブ CPUコア 9 42-8で同時並列的にデコードされた複数の動画コンテンツにおける再生映像は、バス 911を介して GPU902へデータ転送される力このときの転送速度は、例えば、最大 30[Gbyte/sec]であり、特殊効果の施された複雑な再生映像であっても高速かつ滑らかに表示し得るようになされて!、る。

[0563] また、マイクロプロセッサ 901は、動画コンテンツの映像データ及び音声データのうち音声データに対して音声ミキシング処理を施し、その結果得られた編集音声データを、サウスブリッジ 904およびサウンド入出カコーデック 907を介して、スピーカ 921へ送出することにより、音声信号に基づく音声をスピーカ 921から出力させることもできる

[0564] 上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力ネットワークや記録媒体からインストールされる。

[0565] この記録媒体は、例えば、図 40に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されてヽる磁気ディスク (フレキシブルディスクを含む）、光ディスク（CD- ROM,DVDを含む）、光磁気ディスク（MD を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア 811により構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されている HDD905や記憶装置 803等で構成される。もちろん、記録媒体は、 RO Mやフラッシュメモリ等の半導体メモリであってもよ、。

[0566] 以上においては、マイクロプロセッサ 901内に 8個のサブ CPUコアが構成されるように説明したが、これに限らず、サブ CPUコアの数は任意である。また、マイクロプロセッサ 901が、メイン CPUコアとサブ CPUコアのような複数のコアにより構成されていなくてもよぐシングルコア（1つのコア）により構成される CPUを用いるようにしてもよい。また、マイクロプロセッサ 901の代わりに複数の CPUを用いるようにしてもよいし、複数の情報処理装置を用いる（すなわち、本発明の処理を実行するプログラムを、互いに連携して動作する複数の装置にぉ、て実行する）ようにしてもよ、。

[0567] なお、本明細書にぉ、て、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

[0568] また、本明細書にお!、て、システムとは、複数のデバイス (装置）により構成される装置全体を表わすものである。

[0569] なお、以上において、一つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて一つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さら〖こ、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。

産業上の利用可能性

[0570] 以上説明したこの発明は、画像を圧縮符号化して伝送し、伝送先で圧縮符号を復号して出力するような装置またはシステムであれば、様々なものに適用することができる。この発明は、特に、画像の圧縮符号化から復号および出力までの遅延が短いことが要求されるような装置またはシステムに用いて好適である。

[0571] 例えば、この発明は、ビデオカメラで撮影された映像を見ながらマジックハンドを操作して治療行為を行うような、医用遠隔医療診断の用途に用いて好適である。また、この発明は、放送局内などのシステムにおける、ディジタルビデオ信号の圧縮符号化および伝送、ならびに、圧縮符号化されたディジタルビデオ信号の復号に用いて好適である。

[0572] さらに、実況中継される映像の配信を行うシステム、教育現場において生徒と教師との間でインタラクティブな通信を可能としたシステムなどに、この発明を適用することができる。

さらにまた、カメラ機能付き携帯電話端末といった、撮像機能を有するモパイル端末で撮影された画像データの送信や、テレビジョン会議システム、監視カメラおよび監視カメラで撮影された映像を記録するレコーダによるシステムなどに、この発明を適用することができる。

Claims

請求の範囲

[1] 画像データを符号化する符号化装置であって、

前記画像データに対して階層的にフィルタ処理を行い、周波数帯域毎に分解された係数データ力なる複数のサブバンドを生成するフィルタ手段と、

前記フィルタ手段により生成された係数データを蓄積的に記憶する記憶手段と、前記記憶手段により記憶された前記係数データを所定の順序で出力するように並び替える係数並び替え手段と

を備える符号化装置。

[2] 前記フィルタ手段は、前記画像データを画面の上端側から下端側に向けて、ライン単位で前記フィルタ処理を行う

請求項 1に記載の符号化装置。

[3] 前記フィルタ手段は、前記画像データに対し、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データであるラインブロック毎にフィルタ処理を行う

請求項 2に記載の符号化装置。

[4] 前記フィルタ手段は、前記フィルタ処理を、前記画像データに対応する画面の垂直方向、および水平方向の両方に対して行う

請求項 1に記載の符号化装置。

[5] 前記フィルタ手段による前記フィルタ処理のタップ数および分解レベル数のうち少なくとも一方は、目標とする遅延時間に応じて決定される

請求項 1に記載の符号化装置。

[6] 前記フィルタ手段は、前記フィルタ処理により得られる低域成分のサブバンドの係数データに対してさらに前記フィルタ処理を施す、ウェーブレットフィルタ処理を行う請求項 1に記載の符号化装置。

[7] 前記フィルタ手段は、リフティング技術を用いて前記ウェーブレットフィルタ処理を行

5

請求項 6に記載の符号化装置。

[8] 前記フィルタ手段は、前記リフティング技術を用いて、分解レベル =X+1のフィルタ処理を行う際、分解レベル =xのフィルタ処理で低域成分のサブバンドとして算出された係数データに対して行う

請求項 6に記載の符号化装置。

[9] 前記記憶手段は、

前記フィルタ手段による前記ウェーブレットフィルタ処理の過程で生成される低域成分のサブバンドの係数データを保持する第 1のノッファ手段と、

前記フィルタ手段による前記ウェーブレットフィルタ処理の過程で生成される高域成分のサブバンドの係数データを保持する第 2のノッファ手段と

をさらに備える請求項 6に記載の符号化装置。

[10] 前記第 2のバッファ手段は、前記フィルタ手段により最低域成分のサブバンドの係数データが生成されるまで、前記最低域以外の帯域の成分のサブバンドの係数データを保持する

請求項 9に記載の符号化装置。

[11] 前記係数並び替え手段は、前記サブバンドを低域成分力も高域成分の順に出力するように、前記係数データの並び替えを行う

請求項 1に記載の符号化装置。

[12] 前記係数並び替え手段は、前記画像データに対し、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データであるラインブロック毎に並び替えを行う

請求項 1に記載の符号化装置。

[13] 前記係数データをエントロピ符号ィ匕するエントロピ符号ィ匕手段をさらに備える

請求項 1に記載の符号化装置。

[14] 前記エントロピ符号化手段は、前記係数並び替え手段により並び替えられた係数データを順次、エントロピ符号化する

請求項 13に記載の符号化装置。

[15] 前記係数並び替え手段は、前記サブバンドを低域成分力も高域成分の順に出力するように、前記係数データの並び替えを行い、

前記エントロピ符号化手段は、前記係数並び替え手段により前記係数データが並び替えられ次第、並び替えられた係数データを低域成分から高域成分の順番にェントロピ符号化する

請求項 14に記載の符号化装置。

[16] 前記エントロピ符号化手段は、前記フィルタ手段により生成された前記係数データに対してエントロピ符号ィ匕を行!、、

前記記憶手段は、前記エントロピ符号化手段によりエントロピ符号化された前記係数データを記憶する

請求項 13に記載の符号化装置。

[17] 前記記憶手段は、前記エントロピ符号化手段により最低域成分のサブバンドの係数データがエントロピ符号化されるまで、前記最低域成分以外の帯域成分のサブバンドとして生成され、前記エントロピ符号化手段によりエントロピ符号化された係数データを記憶しておく

請求項 16に記載の符号化装置。

[18] 前記係数並び替え手段は、前記サブバンドを低域成分から高域成分の順に出力するように、前記記憶手段により記憶されている、前記エントロピ符号化手段によりェントロピ符号化された係数データの並び替えを行ヽ、前記係数データを並び替え次第、並び替えられた係数データを低域成分から高域成分の順番に出力する

請求項 16に記載の符号化装置。

[19] 前記エントロピ符号化手段は、同一サブバンド内の複数ラインの係数データを纏めてエントロピ符号化する

請求項 13に記載の符号化装置。

[20] 前記エントロピ符号ィ匕手段は、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する係数データ群であるラインブロックを構成するすべてのサブバンドのラインを、低域から高域の順番に、 1次元方向に並べた係数データ列に対して符号ィ匕を行う

請求項 13に記載の符号化装置。

[21] 前記エントロピ符号化手段は、

前記フィルタ手段により生成された前記係数データを量子化する量子化手段と、前記量子化手段により前記係数データが量子化されて得られた量子化結果の係数を情報源符号化する情報源符号化手段と

を備える請求項 13に記載の符号化装置。

[22] 少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する前記係数データの集合であるラインブロック毎の係数データが、前記エントロピ符号ィ匕手段により低域成分力高域成分の順番にエントロピ符号ィ匕されて得られた符号ィ匕結果のデータに所定のヘッダを付加し、へッダとデータ本体とをパケットィ匕するパケットィ匕手段と、

前記パケット化手段により生成された前記パケットを送出する送出手段とを備え、

前記エントロピ符号化手段、前記パケット化手段、および前記送出手段は、同時並列的に各処理を行い、

前記エントロピ符号化手段は、前記ラインブロック単位で前記係数データの前記ェントロピ符号ィ匕を行い、

前記パケット化手段は、前記エントロピ符号ィ匕手段によるエントロピ符号ィ匕によって前記ラインブロック毎の符号ィ匕結果のデータが生成され次第、前記ラインブロック毎の符号ィ匕結果のデータをパケットィ匕し、

前記送出手段は、前記パケット化手段により前記ラインブロック毎の符号化結果のデータがパケット化され次第、得られたパケットを送出する

請求項 13に記載の符号化装置。

[23] 前記ヘッダには、画面内において前記ラインブロックを識別するための識別情報と、データ本体のデータ長と、符号化情報が記録されている

請求項 22に記載の符号化装置。

[24] 前記エントロピ符号化手段は、

を備え、前記符号化情報には、前記量子化手段による量子化の量子化ステップサイズの情報が含まれる

請求項 23に記載の符号化装置。

[25] 前記量子化ステップサイズの情報には、すべてのサブバンド毎の量子化ステップサィズの情報が含まれている

請求項 24に記載の符号化装置。

[26] 画像データを符号ィ匕する符号ィ匕装置の符号ィ匕方法であって、

前記画像データに対して階層的にフィルタ処理を行い、周波数帯域毎に分解された係数データ力なる複数のサブバンドを生成するフィルタステップと、

前記フィルタステップの処理により生成された前記係数データを記憶部に蓄積的に記憶させる記憶制御ステップと、

前記記憶制御ステップの処理により制御されて前記記憶部に記憶された前記係数データを所定の順序で出力するように並び替える係数並び替えステップと

を備えることを特徴とする符号化方法。

[27] 画像データが符号化された符号ィ匕データを復号する復号装置であって、

ライン単位で供給される、前記画像データに対して階層的に第 1のフィルタ処理がなされ周波数帯域毎に分解された複数のサブバンドの係数データを記憶する記憶手段と、

前記記憶手段により記憶されている前記係数データを所定の順序で出力するように並び替える係数並び替え手段と、

前記並び替え手段により並び替えられて、前記記憶手段より出力された前記係数データに対して第 2のフィルタ処理を行い、周波数帯域に分解された複数のサブバンドの係数データを合成して前記画像データを生成するフィルタ手段と

を備える復号装置。

[28] 前記係数並び替え手段は、前記サブバンドの低域成分力高域成分の順に出力するように、前記係数データの並び替えを行う

請求項 27に記載の復号装置。

[29] 前記係数並び替え手段は、前記記憶手段により記憶されている前記係数データに対して、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する前記係数データの集合であるラインプロック毎に並び替えを行う

請求項 27に記載の復号装置。

[30] 前記フィルタ手段は、画面の上端側力下端側に向けてライン単位で前記第 2のフィルタ処理を行ヽ前記画像データを生成する

請求項 27に記載の復号装置。

[31] 前記フィルタ手段は、前記係数データに対して、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する前記係数データの集合であるラインブロック毎に前記第 2のフィルタ処理を行う請求項 27に記載の復号装置。

[32] 前記フィルタ手段は、リフティング技術を用いて前記第 2のフィルタ処理を行う請求項 27に記載の復号装置。

[33] 前記符号ィ匕データをサブバンド毎にライン単位でエントロピ復号するエントロピ復号手段をさらに備え、

前記記憶手段は、前記エントロピ復号手段によるエントロピ復号により得られた係数データを記憶する

請求項 27に記載の復号装置。

[34] 前記エントロピ復号手段は、少なくとも最低域成分のサブバンドの 1ライン分の係数データを生成するのに必要なライン数分の画像データに対応する係数データ群であるラインブロックを構成するすべてのサブバンドのラインが符号ィ匕されて 1次元に並べられた符号化データを、復号する

請求項 33に記載の復号装置。

[35] 前記エントロピ復号手段は、

前記符号化データに対して情報源復号を行う情報源復号手段と、

前記情報源復号手段による情報源復号の結果得られた係数データを逆量子化する逆量子化手段と

を備える請求項 33に記載の復号装置。

[36] 画像データが符号化された符号化データを復号する復号装置の復号方法であつて、

ライン単位で供給される、前記画像データに対して階層的に第 1のフィルタ処理がなされ周波数帯域毎に分解された複数のサブバンドの係数データを記憶部に記憶させる記憶制御ステップと、

前記記憶制御ステップの処理により制御されて前記記憶部に記憶された係数データを所定の順序で出力するように並び替える係数並び替えステップと、

前記並び替えステップの処理により並び替えられて前記記憶部より出力された係数データに対して第 2のフィルタ処理を行い、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成するフィルタステップと

を備える復号方法。

[37] 画像データを符号化する符号化装置と、前記画像データが符号化された符号化デ一タを復号する復号装置を備え、前記符号化装置および前記復号装置の間で前記符号化データを伝送する伝送システムであって、

前記符号化装置は、

前記画像データに対して階層的に第 1のフィルタ処理を行い、周波数帯域毎に分解された係数データ力なる複数のサブバンドを生成する第 1のフィルタ手段と、前記第 1のフィルタ手段により生成された前記係数データを蓄積的に記憶する記憶手段と、

前記記憶手段により記憶された前記係数データを所定の順序で出力するように並び替える係数並び替え手段と

を備え、

前記復号装置は、

前記符号化装置より伝送路を介して伝送された、前記係数並び替え手段により並び替えられた前記係数データに対して第 2のフィルタ処理を行ヽ、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する第 2のフィルタ手段と

を備える伝送システム。