JP3743384B2 - 画像符号化装置及び方法、並びに画像復号装置及び方法 - Google Patents
画像符号化装置及び方法、並びに画像復号装置及び方法 Download PDFInfo
- Publication number
- JP3743384B2 JP3743384B2 JP2002118516A JP2002118516A JP3743384B2 JP 3743384 B2 JP3743384 B2 JP 3743384B2 JP 2002118516 A JP2002118516 A JP 2002118516A JP 2002118516 A JP2002118516 A JP 2002118516A JP 3743384 B2 JP3743384 B2 JP 3743384B2
- Authority
- JP
- Japan
- Prior art keywords
- code
- image
- subband
- encoding
- arithmetic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばＪＰＥＧ−２０００のように、ウェーブレット変換とエントロピー符号化とにより画像を圧縮する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式として、ＩＳＯ（International Standards Organization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）方式がある。これは、離散コサイン変換（DCT:Descrete Cosine Transform）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
一方、近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴのように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
【発明が解決しようとする課題】
ところで、２００１年１月に国際標準化が完了したＪＰＥＧ−２０００は、このウェーブレット変換に高能率なエントロピー符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、ＪＰＥＧに比べて符号化効率の大きな改善を実現している。
【０００５】
これらの国際規格ではデコーダ側の規格のみが定められており、エンコーダ側は自由に設計することができる。その反面、一般に負荷が重いエントロピー符号化の処理の軽減手段や、目標の圧縮率を実現するためのレート制御の効果的な手段についての規格が存在しないため、ノウハウの確立が何よりも重要になる。特にＪＰＥＧでは、このレート制御が困難であり、目標値を得るまでに複数回の符号化を施す必要も多々あった。しかしながら、これは処理時間の増大に繋がるため、ＪＰＥＧ−２０００では、１度の符号化で目標の符号量を得ることが望まれている。
【０００６】
また、このＪＰＥＧ−２０００規格は、静止画の規格であり、動画像では頻繁に存在するインタレース画像に対する十分な検討がなされていない。したがって、静止画用の技術をそのまま動画像に応用すると、画質劣化が目立ってしまうという欠点が露呈する。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えばＪＰＥＧ−２０００のように、ウェーブレット変換とエントロピー符号化とにより、静止画像のみならず動画像をも高品質に圧縮する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成する。特に、入力画像がインタレース画像の場合、フィルタリングに際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して、さらにフィルタリング処理を施すようにし、符号ブロックを生成するに際しては、上記水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズを他のサブバンドよりも小さく設定する。
【００１１】
また、上述した目的を達成するために、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成し、符号化コードストリームとして出力する。特に、入力画像がインタレース画像の場合、符号量制御に際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける算術符号が優先的に符号化コードストリームに含められるように符号量を制御する。
【００１５】
また、上述した目的を達成するために、本発明に係る画像復号装置及びその方法は、パケットで構成された符号化コードストリームをヘッダと算術符号とに分解して算術符号を復号し、ビットプレーン毎に符号化パスを復号し、最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロックを復元し、符号ブロックを集めてサブバンドを生成し、低域成分のサブバンドに対して、階層的に低域フィルタ及び高域フィルタを垂直及び水平方向に施す。特に、符号化コードストリームの元画像がインタレース画像の場合、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズは、他のサブバンドよりも小さく設定されており、逆フィルタリング処理に際しては、前処理として、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して逆フィルタリング処理を施す。
【００１７】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＪＰＥＧ−２０００方式により入力画像を圧縮符号化する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法に適用したものである。
【００１８】
（１）画像符号化装置の構成及び動作
本実施の形態における画像符号化装置の概略構成を図１に示す。図１に示すように、画像符号化装置１は、ＤＣレベルシフト部１０と、ウェーブレット変換部１１と、量子化部１２と、符号ブロック化部１３と、ビットプレーン符号化パス生成部１４と、算術符号化部１５と、レート制御部１７と、ヘッダ生成部１８と、パケット生成部１９とから構成されている。ここで、ビットプレーン符号化パス生成部１４と算術符号化部１５とにより、ＥＢＣＯＴ（Embedded Coding with
Optimized Truncation）部１６が構成される。
【００１９】
ＤＣレベルシフト部１０は、後段のウェーブレット変換部１１におけるウェーブレット変換を効率的に行い圧縮率を向上させるために、原信号のレベルシフトを行う。原理的には、ＲＧＢ信号は、正の値（符号なしの整数値）を持つため、原信号のダイナミックレンジを半分にするレベルシフトを行うことで、圧縮効率を向上させることができる。これに対して、ＹＣｂＣｒ信号におけるＣｂやＣｒといった色差信号は、正負両方の整数値を持つため、レベルシフトは行われない。
【００２０】
ウェーブレット変換部１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像を予めバッファリングしておく必要があるが、簡単のため、図１では図示を省略する。
【００２１】
ＤＣレベルシフト部１０は、フィルタリングに必要な最低限の画像信号Ｄ１０を入力し、上述のようにレベルシフトを行う。そして、ウェーブレット変換部１１は、ＤＣレベルシフト後の画像信号Ｄ１１に対して、ウェーブレット変換を行うフィルタリング処理を行い、ウェーブレット変換係数Ｄ１２を生成する。
【００２２】
このウェーブレット変換では、通常図２に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。このことは、図３（Ａ）に示す分割レベル＝１から図３（Ｂ）に示す分割レベル＝３のように、分割レベルを進めていくに従って、同図のようにサブバンドが形成されていくことからも分かる。ここで、図２におけるウェーブレット変換のレベル数は３であり、この結果計１０個のサブバンドが形成されている。ここで、図２においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの後の数字は分割レベルを表す。すなわち、例えばＬＨ−１は、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンドを表す。なお、詳しくは後述するが、ウェーブレット変換部１１は、画像信号Ｄ１１の特徴を考慮し、例えばインタレース画像の場合には、例えば水平方向が低域で垂直方向が高域の成分から成るサブバンドをさらに分割する。
【００２３】
量子化部１２は、ウェーブレット変換部１１から供給されたウェーブレット変換係数Ｄ１２に対して非可逆圧縮を施す。量子化手段としては、ウェーブレット変換係数Ｄ１２を量子化ステップサイズで除算するスカラ量子化を用いることができる。ここで、ＪＰＥＧ−２０００の規格上、上述の非可逆圧縮を行う場合で、非可逆の９×７ウェーブレット変換フィルタを用いる場合には、自動的にスカラ量子化を併用することが決められている。一方、可逆の５×３ウェーブレット変換フィルタを用いる場合には、量子化を行わず、後述のように符号化パスを切り捨てることによって、符号量制御が行われる。したがって、図１の量子化部１２が動作するのは、実際には非可逆の９×７ウェーブレット変換フィルタを用いた場合である。以下、この非可逆の９×７ウェーブレット変換フィルタを用いる場合を想定して説明を進める。
【００２４】
符号ブロック化部１３は、量子化部１２で生成された量子化係数Ｄ１３を、エントロピー符号化の処理単位である所定の大きさの符号ブロックに分割する。ここで、サブバンド中の符号ブロックの位置関係を図４に示す。通常、例えば６４×６４程度のサイズの符号ブロックが、分割後のすべてのサブバンド中に生成される。したがって、最も分割レベルが小さいＨＨ−１（図２）のサブバンドの大きさが６４０×３２０であった場合には、６４×６４の符号ブロックは水平方向に１０個、垂直方向に５個、合計５０個存在することになる。符号ブロック化部１３は、符号ブロック毎の量子化係数Ｄ１４をビットプレーン符号化パス生成部１４に供給し、後段の符号化処理は、これらの符号ブロック毎に行われる。
【００２５】
ビットプレーン符号化パス生成部１４は、符号ブロック毎の量子化係数Ｄ１４に対して、以下のようにして係数ビット・モデリングを行う。ここで、本実施の形態では、特にＪＰＥＧ−２０００規格で定められたＥＢＣＯＴと呼ばれるエントロピー符号化を例に取りながら説明する。なお、このＥＢＣＯＴについては、例えば、文献「IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system」等に詳細に記載されている。
【００２６】
このＥＢＣＯＴの説明の前に、ビットプレーンの概念について図５を用いて説明する。図５（Ａ）は、縦４個、横４個の計１６個の係数から成る量子化係数を仮定したものである。この１６個の係数のうち絶対値が最大のものは１３であり、２進数表現では１１０１となる。したがって、係数の絶対値のビットプレーンは、図５（Ｂ）に示すような４つのビットプレーンから構成される。なお、各ビットプレーンの要素は、すべて０又は１の数を取る。一方、量子化係数の符号は、−６が唯一負の値であり、それ以外は０又は正の値である。したがって、符号のビットプレーンは、図５（Ｃ）に示すようになる。
【００２７】
ＥＢＣＯＴは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化する手段であり、符号ブロック単位に量子化係数をエントロピー符号化する。符号ブロックは、最上位ビット（MSB）から最下位ビット（LSB）方向にビットプレーン毎に独立して符号化される。また、符号ブロックの縦横のサイズは、４から２５６までの２の冪乗で、通常は３２×３２、６４×６４、１２８×３２等の大きさが使用される。量子化係数は、ｎビットの符号付き２進数で表されており、ｂｉｔ０からｂｉｔ(ｎ−２)がＬＳＢからＭＳＢまでのそれぞれのビットを表す。なお、残りの１ビットは符号である。符号ブロックの符号化は、ＭＳＢ側のビットプレーンから順番に、以下の(a)〜(c)に示す３種類の符号化パスによって行われる。
【００２８】
(a) Significant Propagation Pass
(b) Magnitude Refinement Pass
(c) Cleanup Pass
３つの符号化パスの用いられる順序を図６に示す。図６に示すように、先ずビットプレーン（ｎ−２）（MSB）がCleanup Passによって符号化される。続いて、順次ＬＳＢ側に向かい、各ビットプレーンが、Significant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いられて符号化される。
【００２９】
但し、実際にはＭＳＢ側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、オール０のビットプレーンは符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの任意の符号化パスまでで符号化を打ち切ることにより、符号量と画質のトレードオフを取る、すなわちレート制御を行うことができる。
【００３０】
ここで、係数の走査（スキャニング）について図７を用いて説明する。符号ブロックは、高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅は、符号ブロックの幅に等しい。スキャン順とは１個の符号ブロック内の全ての係数を辿る順番であり、符号ブロック中では上のストライプから下のストライプへの順序、各ストライプ中では左の列から右の列への順序、各列中では上から下への順序でスキャニングされる。なお、各符号化パスにおいて符号ブロック中のすべての係数がこのスキャン順で処理される。
【００３１】
以下、上述した３つの符号化パスについて説明する。
【００３２】
(a) Significance Propagation Pass
あるビットプレーンを符号化する Significance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値が算術符号化される。その符号化したビットプレーンの値が１である場合には、符号の正負が続けて算術符号化される。
【００３３】
ここでsignificanceとは、各係数に対して符号化器が持つ状態である。significanceの初期値は、non-significantを表す０であり、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続ける。したがって、significanceとは、有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでSignificance Propagation Pass が発生すれば、以降のビットプレーンではSignificance Propagation Passは発生しない。
【００３４】
(b) Magnitude Refinement Pass
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで符号化していないsignificantな係数のビットプレーンの値が算術符号化される。
【００３５】
(c) Cleanup Pass
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで符号化していないnon-significantな係数のビットプレーンの値が算術符号化される。その符号化したビットプレーンの値が１である場合には、符号の正負が続けて算術符号化される。
【００３６】
なお、以上の３つの符号化パスでの算術符号化では、ケースに応じてＺＣ（Zero Coding）、ＲＬＣ（Run-Length Coding）、ＳＣ（Sign Coding）、ＭＲ（Magnitude Refinement）が使い分けられて係数のコンテキストが選択される。そして、ＭＱ符号化と呼ばれる算術符号によって選択されたコンテキストが符号化される。このＭＱ符号化は、ＪＢＩＧ２で規定された学習型の２値算術符号である。ＭＱ符号化については、例えば、文献「ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000」等に記載されている。ＪＰＥＧ−２０００では、すべての符号化パスで合計１９種類のコンテキストがある。
【００３７】
以上のようにしてビットプレーン符号化パス生成部１４は、符号ブロック毎の量子化係数Ｄ１４をビットプレーンに分解すると共に各ビットプレーンを３つの符号化パスに分解し、符号化パス毎に量子化係数Ｄ１５を生成する。そして、算術符号化部１５は、この符号化パス毎の量子化係数Ｄ１５に対して算術符号化を施す。
【００３８】
レート制御部１７は、少なくとも一部の符号化パスの処理を行った後で、算術符号化部１５から供給された算術符号Ｄ１６の符号量をカウントし、目標の符号量に達した時点で、又は達する直前に、それより後の算術符号Ｄ１６を切り捨てる。このように、符号量をオーバーする直前で切り捨てることにより、確実に目標の符号量に抑えることができる。レート制御部１７は、この符号量制御完了後の算術符号Ｄ１７を、ヘッダ生成部１８及びパケット生成部１９に供給する。
【００３９】
ヘッダ生成部１８は、レート制御部１７から供給された符号量制御完了後の算術符号Ｄ１７に基づいて、符号ブロック内での付加情報、例えば符号ブロック内の符号化パスの個数や圧縮コードストリームのデータ長等をヘッダＤ１８として生成し、このヘッダＤ１８をパケット生成部１９に供給する。
【００４０】
パケット生成部１９は、符号量制御完了後の算術符号Ｄ１７とヘッダＤ１８とを合わせてパケットＤ１９を生成し、符号化コードストリームとして出力する。この際、パケット生成部１９は、図８に示すように同一解像度レベルから個々のパケットを生成する。なお、図８から分かるように、最低域であるパケット−１は、ＬＬ成分のみを含み、それ以外のパケット−２乃至パケット−４は、ＬＨ成分，ＨＬ成分及びＨＨ成分を含む。
【００４１】
以上のように、本実施の形態における画像符号化装置１は、ウェーブレット変換及びエントロピー符号化を用いて入力画像を高効率に圧縮符号化し、パケット化して符号化コードストリームとして出力することができる。
【００４２】
ところで、上述したＪＰＥＧ−２０００規格は、静止画の規格であり、動画像では頻繁に存在するインタレース画像に対する十分な検討がなされていない。したがって、静止画用の技術をそのまま動画像に応用すると、劣化が目立ってしまうという欠点が露呈する。以下、具体的に説明する。
【００４３】
あるインタレースの動画シーンの１フレームを図９に示す。これをＰＣモニタ等のプログレッシブ方式のモニタで見ると、動きのある部分にインタレースの影響が強く出て、横方向に縞模様が見える。
【００４４】
すなわち、図１０（Ａ）に示すように、丸い物体が画面中を右方向に移動する場合、インタレース画面では問題ないが、プログレッシブ画面では図１０（Ｂ）のように横方向に縞模様が見えてしまう。これはインタレース画面が奇数フィールドと偶数フィールドとで飛び越し走査を用いていることに起因している。
【００４５】
図９に示した画像を５回ウェーブレット変換及び分割した後の各サブバンドの様子を図１１に示す。図１１から分かるように、明らかにＬＨ−１成分、すなわち最高域のサブバンドで、水平方向が低域で垂直方向が高域の成分から成るサブバンドの成分の係数のエネルギが他のサブバンドに比べて大きくなっている。
【００４６】
そこで、本実施の形態におけるウェーブレット変換部１１では、入力画像の特徴を利用し、インタレース画像に対しては、図１２に示すようにＬＨ−１成分をさらにウェーブレット変換及び分割する。なお、ＬＨ−１成分に限定されるものではなく、例えばＬＨ−２成分やその他の成分についても、同様にウェーブレット変換及び分割することが有効であるのは言うまでもない。
【００４７】
ここで、入力画像がインタレースであることは通常符号化を行う前に明らかであるため、ＬＨ成分を上述のようにさらにウェーブレット変換及び分割することが可能である。またウェーブレット変換及び分割して生成されたサブバンド係数分布を見て、エネルギが大きいサブバンド（インタレース画像の場合は特にＬＨ成分）をさらにウェーブレット変換及び分割するようにしてもよく、これにより圧縮率を向上させることができる。
【００４８】
なお、入力画像がカラー画像である場合には、人間の視覚特性が輝度成分と比較して色差成分に対して鈍感である特徴を利用することができる。すなわち、上述したようにサブバンドに対してフィルタリング及び分割処理を施す際に、輝度成分の入力画像と色差成分の入力画像とに対して異なる処理を施すことができる。例えば、輝度成分に対しては、低域成分のサブバンドに対する階層的なフィルタリング及び分割を行い、同時に水平方向が低域で且つ垂直方向が高域のサブバンドに対してもフィルタリング及び分割を行う。一方、色差成分に対しては、低域成分のサブバンドに対する階層的なフィルタリング及び分割だけに限定する。これにより、人間の視覚特性を利用して、画質劣化を抑えながら圧縮率を向上させることができる。
【００４９】
（１−２）第１の変形例
上述の実施の形態では、符号ブロック化部１３における符号ブロックサイズは、例えば６４×６４であるとして説明した。しかしＪＰＥＧ−２０００規格では、水平方向のサイズ×垂直方向のサイズが４０９６以下であり且つサイズが２の冪乗であればよい。
【００５０】
ここで、符号ブロックサイズは、図４に示したように全てのサブバンドで同一値を取るため、符号化効率及び画質に影響を与える。一方、ＪＰＥＧ−２０００では、復号時にウェーブレット逆変換を行って画像を復元するため、低域成分での歪みやノイズがウェーブレット逆変換時に大きな画質劣化に繋がる。したがって、画質劣化を小さい領域に限定できれば画質向上に寄与する可能性が向上する。
【００５１】
そこで、例えばインタレース入力画像の場合には、プログレッシブ画像と比較して、符号ブロックサイズを３２×３２等の小さいサイズにするのが有効である。特にインタレース画像の場合には垂直方向の相関が低いため、符号ブロックサイズを６４×３２、或いは１２８×１６等の横長のサイズに設定することが有効である。
【００５２】
また、入力画像の輝度成分と色差成分とで符号ブロックサイズを別々なものにすることもできる。例えば、人間の視覚特性上、輝度成分の入力画像は画質劣化が目立ち易いため、符号ブロックサイズを３２×３２、６４×３２、或いは１２８×１６等の小さいサイズとし、劣化の目立ちにくい色差成分に対しては符号ブロックサイズを６４×６４に設定することができる。
【００５３】
（１−３）第２の変形例
上述の第１の変形例では、符号ブロックサイズを入力画像の特徴に合わせて可変にするものとして説明したが、以下に説明する第２の変形例では、符号ブロックを包含する矩形領域を決定する。この矩形領域は、ＪＰＥＧ−２０００規格では、プリシンクト（Precinct）と呼ばれており、そのサイズは以下のように決定される。ここで、PPx，PPyはマーカで定義されている。
【００５４】
Precinct H ＝ 2^PPx （水平方向サイズ）
Precinct V ＝ 2^PPy （垂直方向サイズ）
また、符号ブロックサイズは、以下の式で決定される。
【００５５】
符号ブロックサイズ（水平）＝ 2^xcb’
符号ブロックサイズ（垂直）＝ 2^ycb’
xcb’＝ min(xcb, PPx-1), for r>0 ・・・（１）
xcb’＝ min(xcb, PPx), for r=0 ・・・（２）
ycb’＝ min(ycb, PPy-1), for r>0 ・・・（３）
ycb’＝ min(ycb, PPy), for r=0 ・・・（４）
ここで、ｒはウェーブレット分解後の解像度レベルを示し、xcb, ycbは最初に指定された符号ブロックサイズを示す。例えば、最初に指定された符号ブロックサイズが６４×６４（＝２６×２６）であれば、xcb＝ycb＝６となる。
【００５６】
上記式（１）〜式（４）に示すように、符号ブロックサイズは、プリシンクトのサイズとの関係で決定され、プリシンクトのサイズよりも大きくなることはできない。この関係を図１３に示す。図１３の例では、プリシンクトサイズ＝（１２８，３２）であり、その中に存在している符号ブロックサイズ＝（６４，３２）となっている。
【００５７】
なお、ＪＰＥＧ−２０００規格では、ＳＰｃｏｄマーカを用いることで、ウェーブレット変換及び分割の過程で生成される解像度レベル毎に、異なるサイズのプリシンクトを定義することができる。
【００５８】
この解像度レベルについて図１４を用いて説明する。図１４は、ウェーブレット変換の分割レベルが３のケースである。この場合、最低域が０−ＬＬであり、次の高域は、１−ＨＬ，１−ＬＨ，１−ＨＨから構成される。さらに次の高域では、２−ＨＬ，２−ＬＨ，２−ＨＨとなり、最高域は、３−ＨＬ，３−ＬＨ，３−ＨＨとなる。なお、解像度レベルについて記述する場合は、例えばＮ−ＬＨのように、Ｎで解像度レベルのレベル番号を指定する。
【００５９】
図１３及び図１４を照らし合わせて考えれば、例えば１−ＬＨ成分のサブバンドのプリシンクトサイズ＝（１２８，１６）とし、２−ＬＨ成分のサブバンドのプリシンクトサイズ＝（１２８，３２）とすることができる。
【００６０】
これにより、サブバンド毎に係数のエネルギ分布が異なった場合であっても、プリシンクトサイズ、さらに結果として符号ブロックサイズを可変に設定することができ、符号化画質を向上することができる。
【００６１】
ここで、インタレース入力画像の場合には、上述したようにＬＨ成分にエネルギが集まり易いことから、水平方向が低域で且つ垂直方向が高域のサブバンド内のプリシンクトサイズを他のサブバンド内よりも小さいサイズにするのが効果的である。このとき、１個のプリシンクト＝１個の符号ブロックとすれば、結果的にそのサブバンド内の矩形領域は、符号ブロックに他ならなくなる。
【００６２】
また、輝度成分の入力画像と色差成分の入力画像とで、プリシンクトサイズを可変にすることもできる。一般には、画質劣化が目立ちにくい色差成分の入力画像に対してプリシンクトサイズを大きめに設定しておくことが効果的である。
【００６３】
（１−４）第３の変形例
以下の第３の変形例では、先ずレート制御部１７（図１）の動作について詳細に説明する。上述の実施の形態では、目標符号量に達した際に、又は達する直前に符号化パスを切り捨てる、又はそれ以上の符号化パスを選択せず打ち切ることで、レート制御を行うものとして説明したが、ここでは図１５を用いてレート制御部１７の内部処理についてさらに詳しく説明する。
【００６４】
図１５に示すように、符号化パス符号量算出部２０及び符号化パス歪み削減量算出部２１は、算術符号化後の算術符号Ｄ１６を入力する。そして、符号化パス符号量算出部２０は、符号ブロック内に生成される符号化パスで実際に発生する符号量Ｒを、全ての符号ブロックの全ての符号化パスに対して求め、この全ての符号ブロックの符号化パスの符号量Ｒを示す情報Ｄ２０をＲＤ特性算出部２２に供給する。
【００６５】
同様に、符号化パス歪み削減量算出部２１は、その符号化パスを含めた場合にどの程度歪みが低減されるかを示す歪み削減量Ｄを、全ての符号ブロックの全ての符号化パスに対して求め、この全ての符号ブロックの符号化パスの歪み削減量Ｄを示す情報Ｄ２１をＲＤ特性算出部２２に供給する。
【００６６】
ＲＤ特性算出部２２は、各符号化パスのＲＤ特性、通常はＲＤ特性の傾きを算出する。そしてＲＤ特性算出部２２は、この結果得られたＲＤ特性値及び各符号化パスの情報Ｄ２２を全符号化パス分記憶保持しておき、また、このＲＤ特性値及び各符号化パスの情報Ｄ２２を符号化パス選択部２３に供給する。
【００６７】
符号化パス選択部２３は、ＲＤ特性算出部２２から供給されたＲＤ特性値及び各符号化パスの情報Ｄ２２に基づいて、画像全体の目標符号量に最も近くなるように、各符号化パスを含めるか切り捨てるかの選択を行う。この際、符号化パス選択部２３は、図１６に示すようなＲＤ特性を利用する。図１６において黒丸のポイントは切り捨ての候補となる符号化パスであり、白丸のポイントは切り捨ての対象外となる符号化パスであることを示している。したがって、符号化パス選択部２３は、目標符号量に最も近くなるように、これらの白丸の符号化パスを選択する動作を行う。以上の動作によって最終的に選択された符号化パスの情報である算術符号Ｄ１７が図１に示したヘッダ生成部１８及びパケット生成部１９に供給される。
【００６８】
ここで、ＪＰＥＧ−２０００符号化の技術としてビジュアル・ウェイティング（Visual Weighting）法がある。これは、人間の視覚システムを巧みに利用した手法であり、画像の空間周波数に対して人間の視覚システムの変動感受性をモデル化し、これをコントラスト感受性機能（Contrast Sensitivity Function: CSF）として体系付けたものである。ＣＳＦの重みは、実際には画像の変換係数の視覚周波数によって決定されるものであり、ウェーブレット変換後の個々のサブバンドに対してＣＳＦの重みが別個に用意される。なお、このＣＳＦの重みは、符号化側で設計され、復号画像がどのような条件下で視覚されるかに依存している。
【００６９】
上述した図１５では、ＶＷ係数出力部２４は、符号化パス歪み削減量算出部２１にＶＷ係数値Ｄ２３を供給する。そして、符号化パス歪み削減量算出部２１は、ＶＷ係数値Ｄ２３を加味した歪み削減量Ｄを算出する。具体的には、図１７に示すように、ウェーブレット変換及び分割で生成されるサブバンド毎にＶＷ係数値Ｄ２３を設定しておく。ＶＷ係数出力部２４は、これらの係数値を記憶保持する。
【００７０】
このＶＷ係数値Ｄ２３の実際の値としては、例えば図１８のように各分割レベルのサブバンド毎に決めておくことができる。図１８に示すように、輝度（Ｙ）と色差（Ｃｂ、Ｃｒ）とで別々に係数値が決められており、分割レベルが大きいほど、すなわち、より低域成分ほど、係数値も大きくなっていることが分かる。ここで、係数値が大きいことは、レート制御の際に符号化パスの切り捨てが行われにくいことを意味する。なお、図１８において、Ｙ、Ｃｂ、Ｃｒ全て低域ほど（分割レベルが大きい程）係数値が大きくなっているのは、上述したように、画像のエネルギが低域に集中していることを利用しているためである。
【００７１】
符号化パス歪み削減量算出部２１は、ＶＷ係数値Ｄ２３を各符号化パスの歪み削減量Ｄに乗算した結果を新たな歪み削減量Ｄとする。これは、サブバンド毎の優先的な重み付けをしたことと等価であり、レート制御の際に低域のサブバンドに存在する符号化パスほど切り捨てられにくくなり、逆に高域のサブバンドに存在する符号化パスほど切り捨てられやすくなる。
【００７２】
ここで、入力画像の特徴を利用して、ある特定のサブバンドの係数値を大きい値又は小さい値に設定するようにしてもよい。例えば入力画像がインタレース画像であった場合、上述したようにＬＨ成分のエネルギが大きくなる傾向にあるため、図１９に示すようにＬＨ成分に相当する係数の重み値を大きくすることが有効である。これにより、インタレース成分の画像が保持され、高画質化に繋がる効果がある。
【００７３】
なお、図１８、図１９共に、ＹよりもＣｂ又はＣｒの重み係数値の方が小さい値に設定されている。これは、輝度成分よりも色差成分に対する人間の視覚特性が鋭敏でない特徴を生かしたものである。
【００７４】
（２）画像復号装置の構成及び動作
本実施の形態における画像復号装置の概略構成を図２０に示す。図２０に示すように、画像復号装置２は、パケット分解部３０と、ヘッダ解析部３１と、復号ブロック化部３２と、算術復号部３４と、ビットプレーン復号パス生成部３５と、逆量子化部３６と、ウェーブレット逆変換部３７と、ＤＣレベル逆シフト部３８とから構成されている。ここで、算術復号部３４とビットプレーン復号パス生成部３５とにより、ＥＢＣＯＴ復号部３３が構成される。
【００７５】
パケット分解部３０は、符号化コードストリームＤ３０を入力し、パケットヘッダＤ３１と中身のパケット本体Ｄ３２とに分解する。なお、パケット本体Ｄ３２には、実際の符号化コードストリームが書き込まれている。パケット分解部３０は、パケットヘッダＤ３１をヘッダ解析部３１に供給し、パケット本体Ｄ３２を復号ブロック化部３２に供給する。
【００７６】
ヘッダ解析部３１は、パケットヘッダＤ３１を解析し、例えば符号ブロック内の符号化パスの個数や符号化パスの発生符号量等の符号化パスの情報Ｄ３３をビットプレーン復号パス生成部３５に供給する。また、ヘッダ解析部３１は、符号ブロックの位置情報Ｄ３４を復号ブロック化部３２に供給する。
【００７７】
復号ブロック化部３２は、符号ブロック毎の符号化コードストリームＤ３５を算術復号部３４に供給する。
【００７８】
算術復号部３４は、符号ブロック毎の符号化コードストリームＤ３５を算術復号して係数情報Ｄ３６を生成し、ビットデモデリング処理を行うビットプレーン復号パス生成部３５は、係数情報Ｄ３６からビットプレーン単位のバイナリデータを復元する。これは、実際には量子化係数Ｄ３７になっている。ビットプレーン復号パス生成部３５は、この量子化係数Ｄ３７を逆量子化部３６に供給する。
【００７９】
逆量子化部３６は、ビットプレーン復号パス生成部３５から供給された量子化係数Ｄ３７を逆量子化してウェーブレット変換係数Ｄ３８に変換する。なお、上述したように、画像符号化装置１において非可逆の９×７ウェーブレット変換フィルタが用いられた場合には量子化されるため、逆量子化部３６で逆量子化される。これに対して、画像符号化装置１において可逆の５×３ウェーブレット変換フィルタが用いられた場合には量子化が省略されるため、ビットプレーン単位のバイナリデータは、ビットプレーン復号パス生成部３５から直接ウェーブレット逆変換部３７に供給される。この画像符号化装置１における量子化の有無は、ＪＰＥＧ−２０００規格では符号化コードストリームＤ３０中のマーカによって判別可能である。
【００８０】
ウェーブレット逆変換部３７は、ウェーブレット変換係数Ｄ３８を逆変換して復号画像Ｄ３９を生成し、この復号画像Ｄ３９をＤＣレベル逆シフト部３８に供給する。
【００８１】
ＤＣレベル逆シフト部３８は、画像符号化装置１においてＤＣレベルシフト処理が施されていた場合に復号画像Ｄ３９に対して逆シフト処理を行い、最終的な復号画像Ｄ４０を出力する。
【００８２】
ここで、例えばインタレース入力画像に対して、最高域のサブバンドで、且つ水平方向が低域で垂直方向が高域の成分から成るサブバンドをさらにウェーブレット変換及び分割している場合には、低域成分のサブバンドに対して階層的にウェーブレット逆変換及び合成する際に、水平方向が低域で且つ垂直方向が高域のサブバンドに対しては、さらにウェーブレット逆変換及び合成する。
【００８３】
また、画像符号化装置１において、サブバンドに対してフィルタリング及び分割処理を施す際に、入力画像の輝度成分と色差成分とで異なる処理を施している場合には、ウェーブレット逆変換及び合成処理を施す際にも、輝度成分の符号化コードストリームと色差成分の符号化コードストリームとで異なる処理を施す。
【００８４】
また、上述した第２の変形例で述べたプリシンクト手段を用いて符号化が行われた場合には、複数個の符号ブロックを集めてプリシンクトを形成し、これらのプリシンクトを複数個集めてサブバンドを形成し、サブバンドの係数に対してウェーブレット逆変換及び合成を行う。この際、画像符号化装置１において、輝度成分と色差成分とで異なるプリシンクトサイズで符号化が行われた場合には、符号化コードストリームを復号する際にも、輝度成分と色差成分とで異なるサイズのプリシンクトを形成する。
【００８５】
（３）その他
以上説明したように、本実施の形態における画像符号化装置１では、入力画像の特徴を考慮し、例えばインタレース画像の場合には、最高域のサブバンドで、水平方向が低域で垂直方向が高域の成分から成るサブバンドの成分の係数のエネルギが他のサブバンドに比べて大きくなることを利用して、このサブバンドに対してさらにウェーブレット変換を施す。また、入力画像の特徴を考慮し、例えばインタレース画像の場合には、水平方向が低域で垂直方向が高域の成分から成るサブバンドにおける符号ブロックの大きさや符号ブロックを包含するプリシンクトの大きさを小さくなるように設定する。さらに、ビジュアル・ウェイティング法におけるサブバンド毎の重み係数を導入し、例えばインタレース画像の場合には、水平方向が低域で垂直方向が高域の成分から成るサブバンドにおける重み係数値を大きくし、レート制御の際に符号化パスの切り捨てが行われにくくする。画像符号化装置１は、以上のような技術を用いることにより、インタレース画像で問題となる奇数フィールドと偶数フィールドとの歪みによる対象物のぎこちない動きを抑制又は回避し、主観的な画質を向上させることができる。
【００８６】
また、以上の技術を輝度成分と色差成分とで使い分けることにより、人間の視覚特性を利用して、画質劣化を抑えながら圧縮率を向上させることができる。
【００８７】
また、本実施の形態における画像復号装置２では、画像符号化装置１に対応する処理を行うことで、入力した符号化コードストリームを復号することができる。
【００８８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８９】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、画像符号化装置１及び画像復号装置２における処理を、それぞれＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００９２】
【発明の効果】
以上詳細に説明したように、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成する。特に、入力画像がインタレース画像の場合、フィルタリングに際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して、さらにフィルタリング処理を施すようにし、符号ブロックを生成するに際しては、上記水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズを他のサブバンドよりも小さく設定する。
【００９３】
また、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成し、符号化コードストリームとして出力する。特に、入力画像がインタレース画像の場合、符号量制御に際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける算術符号が優先的に符号化コードストリームに含められるように符号量を制御する。
【００９７】
以上のような画像符号化装置及びその方法によれば、インタレース画像で問題となる奇数フィールドと偶数フィールドとの歪みによる対象物のぎこちない動きを抑制又は回避し、主観的な画質を向上させることができる。
【００９８】
また、本発明に係る画像復号装置及びその方法は、パケットで構成された符号化コードストリームをヘッダと算術符号とに分解して算術符号を復号し、ビットプレーン毎に符号化パスを復号し、最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロックを復元し、符号ブロックを集めてサブバンドを生成し、低域成分のサブバンドに対して、階層的に低域フィルタ及び高域フィルタを垂直及び水平方向に施す。特に、符号化コードストリームの元画像がインタレース画像の場合、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズは、他のサブバンドよりも小さく設定されており、逆フィルタリング処理に際しては、前処理として、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して逆フィルタリング処理を施す。
【００９９】
このような画像復号装置及びその方法によれば、インタレース画像で問題となる奇数フィールドと偶数フィールドとの歪みによる対象物のぎこちない動きを抑制又は回避するようにして符号化された符号化コードストリームを復号することができる。
【図面の簡単な説明】
【図１】本実施の形態における画像符号化装置の概略構成を説明する図である。
【図２】 第３レベルまでウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図３】 実際の画像をウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図４】 符号ブロックとサブバンドとの関係を説明する図である。
【図５】 ビットプレーンを説明する図であり、同図（Ａ）は、計１６個の係数から成る量子化係数を示し、同図（Ｂ）は、係数の絶対値のビットプレーンを示し、同図（Ｃ）は、符号のビットプレーンを示す。
【図６】 符号ブロック内の符号化パスの処理手順を説明する図である。
【図７】 符号ブロック内の係数のスキャン順序を説明する図である。
【図８】 同画像符号化装置で生成されるパケットを説明する図である。
【図９】 インタレース動画像の一例を説明する図である。
【図１０】 インタレース画像における被写体画像の見え方を説明する図であり、同図（Ａ）は、物体が画面中を右方向に移動する場合を示し、同図（Ｂ）は、プログレッシブ画面における当該物体の見え方を示す。
【図１１】 インタレース画像をウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図１２】 ＬＬ成分とＬＨ成分とを階層的にウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図１３】 プリシンクトを使った場合の符号ブロックサイズを説明する図である。
【図１４】 解像度レベルの番号を説明する図である。
【図１５】 ＲＤ特性を利用したレート制御部を説明する図である。
【図１６】 ＲＤ特性を説明する図である。
【図１７】 ビジュアル・ウェイティング法における重み係数の概念を説明する図である。
【図１８】 ビジュアル・ウェイティング法における実際の重み係数を説明する図である。
【図１９】 インタレース画像用のビジュアル・ウェイティングの重み係数を説明する図である。
【図２０】 本実施の形態における画像復号装置の概略構成を説明する図である。
【符号の説明】
１ 画像符号化装置、２ 画像復号装置、１０ ＤＣレベルシフト部、１１ ウェーブレット変換部、１２ 量子化部、１３ 符号ブロック化部、１４ ビットプレーン符号化パス生成部、１５ 算術符号化部、１６ ＥＢＣＯＴ部、１７レート制御部、１８ ヘッダ生成部、１９ パケット生成部、２０ 符号化パス符号量算出部、２１ 符号化パス歪み削減量算出部、２２ ＲＤ特性算出部、２３ 符号化パス選択部、２４ ＶＷ係数出力部、３０ パケット分解部、３１ヘッダ解析部、３２ 復号ブロック化部、３３ ＥＢＣＯＴ復号部、３４ 算術復号部、３５ ビットプレーン復号パス生成部、３６ 逆量子化部、３７ ウェーブレット逆変換部、３８ ＤＣレベル逆シフト部
【発明の属する技術分野】
本発明は、例えばＪＰＥＧ−２０００のように、ウェーブレット変換とエントロピー符号化とにより画像を圧縮する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式として、ＩＳＯ（International Standards Organization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）方式がある。これは、離散コサイン変換（DCT:Descrete Cosine Transform）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
一方、近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴのように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
【発明が解決しようとする課題】
ところで、２００１年１月に国際標準化が完了したＪＰＥＧ−２０００は、このウェーブレット変換に高能率なエントロピー符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、ＪＰＥＧに比べて符号化効率の大きな改善を実現している。
【０００５】
これらの国際規格ではデコーダ側の規格のみが定められており、エンコーダ側は自由に設計することができる。その反面、一般に負荷が重いエントロピー符号化の処理の軽減手段や、目標の圧縮率を実現するためのレート制御の効果的な手段についての規格が存在しないため、ノウハウの確立が何よりも重要になる。特にＪＰＥＧでは、このレート制御が困難であり、目標値を得るまでに複数回の符号化を施す必要も多々あった。しかしながら、これは処理時間の増大に繋がるため、ＪＰＥＧ−２０００では、１度の符号化で目標の符号量を得ることが望まれている。
【０００６】
また、このＪＰＥＧ−２０００規格は、静止画の規格であり、動画像では頻繁に存在するインタレース画像に対する十分な検討がなされていない。したがって、静止画用の技術をそのまま動画像に応用すると、画質劣化が目立ってしまうという欠点が露呈する。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えばＪＰＥＧ−２０００のように、ウェーブレット変換とエントロピー符号化とにより、静止画像のみならず動画像をも高品質に圧縮する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成する。特に、入力画像がインタレース画像の場合、フィルタリングに際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して、さらにフィルタリング処理を施すようにし、符号ブロックを生成するに際しては、上記水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズを他のサブバンドよりも小さく設定する。
【００１１】
また、上述した目的を達成するために、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成し、符号化コードストリームとして出力する。特に、入力画像がインタレース画像の場合、符号量制御に際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける算術符号が優先的に符号化コードストリームに含められるように符号量を制御する。
【００１５】
また、上述した目的を達成するために、本発明に係る画像復号装置及びその方法は、パケットで構成された符号化コードストリームをヘッダと算術符号とに分解して算術符号を復号し、ビットプレーン毎に符号化パスを復号し、最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロックを復元し、符号ブロックを集めてサブバンドを生成し、低域成分のサブバンドに対して、階層的に低域フィルタ及び高域フィルタを垂直及び水平方向に施す。特に、符号化コードストリームの元画像がインタレース画像の場合、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズは、他のサブバンドよりも小さく設定されており、逆フィルタリング処理に際しては、前処理として、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して逆フィルタリング処理を施す。
【００１７】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＪＰＥＧ−２０００方式により入力画像を圧縮符号化する画像符号化装置及びその方法、並びにその圧縮された画像を復号する画像復号装置及びその方法に適用したものである。
【００１８】
（１）画像符号化装置の構成及び動作
本実施の形態における画像符号化装置の概略構成を図１に示す。図１に示すように、画像符号化装置１は、ＤＣレベルシフト部１０と、ウェーブレット変換部１１と、量子化部１２と、符号ブロック化部１３と、ビットプレーン符号化パス生成部１４と、算術符号化部１５と、レート制御部１７と、ヘッダ生成部１８と、パケット生成部１９とから構成されている。ここで、ビットプレーン符号化パス生成部１４と算術符号化部１５とにより、ＥＢＣＯＴ（Embedded Coding with
Optimized Truncation）部１６が構成される。
【００１９】
ＤＣレベルシフト部１０は、後段のウェーブレット変換部１１におけるウェーブレット変換を効率的に行い圧縮率を向上させるために、原信号のレベルシフトを行う。原理的には、ＲＧＢ信号は、正の値（符号なしの整数値）を持つため、原信号のダイナミックレンジを半分にするレベルシフトを行うことで、圧縮効率を向上させることができる。これに対して、ＹＣｂＣｒ信号におけるＣｂやＣｒといった色差信号は、正負両方の整数値を持つため、レベルシフトは行われない。
【００２０】
ウェーブレット変換部１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像を予めバッファリングしておく必要があるが、簡単のため、図１では図示を省略する。
【００２１】
ＤＣレベルシフト部１０は、フィルタリングに必要な最低限の画像信号Ｄ１０を入力し、上述のようにレベルシフトを行う。そして、ウェーブレット変換部１１は、ＤＣレベルシフト後の画像信号Ｄ１１に対して、ウェーブレット変換を行うフィルタリング処理を行い、ウェーブレット変換係数Ｄ１２を生成する。
【００２２】
このウェーブレット変換では、通常図２に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。このことは、図３（Ａ）に示す分割レベル＝１から図３（Ｂ）に示す分割レベル＝３のように、分割レベルを進めていくに従って、同図のようにサブバンドが形成されていくことからも分かる。ここで、図２におけるウェーブレット変換のレベル数は３であり、この結果計１０個のサブバンドが形成されている。ここで、図２においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの後の数字は分割レベルを表す。すなわち、例えばＬＨ−１は、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンドを表す。なお、詳しくは後述するが、ウェーブレット変換部１１は、画像信号Ｄ１１の特徴を考慮し、例えばインタレース画像の場合には、例えば水平方向が低域で垂直方向が高域の成分から成るサブバンドをさらに分割する。
【００２３】
量子化部１２は、ウェーブレット変換部１１から供給されたウェーブレット変換係数Ｄ１２に対して非可逆圧縮を施す。量子化手段としては、ウェーブレット変換係数Ｄ１２を量子化ステップサイズで除算するスカラ量子化を用いることができる。ここで、ＪＰＥＧ−２０００の規格上、上述の非可逆圧縮を行う場合で、非可逆の９×７ウェーブレット変換フィルタを用いる場合には、自動的にスカラ量子化を併用することが決められている。一方、可逆の５×３ウェーブレット変換フィルタを用いる場合には、量子化を行わず、後述のように符号化パスを切り捨てることによって、符号量制御が行われる。したがって、図１の量子化部１２が動作するのは、実際には非可逆の９×７ウェーブレット変換フィルタを用いた場合である。以下、この非可逆の９×７ウェーブレット変換フィルタを用いる場合を想定して説明を進める。
【００２４】
符号ブロック化部１３は、量子化部１２で生成された量子化係数Ｄ１３を、エントロピー符号化の処理単位である所定の大きさの符号ブロックに分割する。ここで、サブバンド中の符号ブロックの位置関係を図４に示す。通常、例えば６４×６４程度のサイズの符号ブロックが、分割後のすべてのサブバンド中に生成される。したがって、最も分割レベルが小さいＨＨ−１（図２）のサブバンドの大きさが６４０×３２０であった場合には、６４×６４の符号ブロックは水平方向に１０個、垂直方向に５個、合計５０個存在することになる。符号ブロック化部１３は、符号ブロック毎の量子化係数Ｄ１４をビットプレーン符号化パス生成部１４に供給し、後段の符号化処理は、これらの符号ブロック毎に行われる。
【００２５】
ビットプレーン符号化パス生成部１４は、符号ブロック毎の量子化係数Ｄ１４に対して、以下のようにして係数ビット・モデリングを行う。ここで、本実施の形態では、特にＪＰＥＧ−２０００規格で定められたＥＢＣＯＴと呼ばれるエントロピー符号化を例に取りながら説明する。なお、このＥＢＣＯＴについては、例えば、文献「IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system」等に詳細に記載されている。
【００２６】
このＥＢＣＯＴの説明の前に、ビットプレーンの概念について図５を用いて説明する。図５（Ａ）は、縦４個、横４個の計１６個の係数から成る量子化係数を仮定したものである。この１６個の係数のうち絶対値が最大のものは１３であり、２進数表現では１１０１となる。したがって、係数の絶対値のビットプレーンは、図５（Ｂ）に示すような４つのビットプレーンから構成される。なお、各ビットプレーンの要素は、すべて０又は１の数を取る。一方、量子化係数の符号は、−６が唯一負の値であり、それ以外は０又は正の値である。したがって、符号のビットプレーンは、図５（Ｃ）に示すようになる。
【００２７】
ＥＢＣＯＴは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化する手段であり、符号ブロック単位に量子化係数をエントロピー符号化する。符号ブロックは、最上位ビット（MSB）から最下位ビット（LSB）方向にビットプレーン毎に独立して符号化される。また、符号ブロックの縦横のサイズは、４から２５６までの２の冪乗で、通常は３２×３２、６４×６４、１２８×３２等の大きさが使用される。量子化係数は、ｎビットの符号付き２進数で表されており、ｂｉｔ０からｂｉｔ(ｎ−２)がＬＳＢからＭＳＢまでのそれぞれのビットを表す。なお、残りの１ビットは符号である。符号ブロックの符号化は、ＭＳＢ側のビットプレーンから順番に、以下の(a)〜(c)に示す３種類の符号化パスによって行われる。
【００２８】
(a) Significant Propagation Pass
(b) Magnitude Refinement Pass
(c) Cleanup Pass
３つの符号化パスの用いられる順序を図６に示す。図６に示すように、先ずビットプレーン（ｎ−２）（MSB）がCleanup Passによって符号化される。続いて、順次ＬＳＢ側に向かい、各ビットプレーンが、Significant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いられて符号化される。
【００２９】
但し、実際にはＭＳＢ側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、オール０のビットプレーンは符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの任意の符号化パスまでで符号化を打ち切ることにより、符号量と画質のトレードオフを取る、すなわちレート制御を行うことができる。
【００３０】
ここで、係数の走査（スキャニング）について図７を用いて説明する。符号ブロックは、高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅は、符号ブロックの幅に等しい。スキャン順とは１個の符号ブロック内の全ての係数を辿る順番であり、符号ブロック中では上のストライプから下のストライプへの順序、各ストライプ中では左の列から右の列への順序、各列中では上から下への順序でスキャニングされる。なお、各符号化パスにおいて符号ブロック中のすべての係数がこのスキャン順で処理される。
【００３１】
以下、上述した３つの符号化パスについて説明する。
【００３２】
(a) Significance Propagation Pass
あるビットプレーンを符号化する Significance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値が算術符号化される。その符号化したビットプレーンの値が１である場合には、符号の正負が続けて算術符号化される。
【００３３】
ここでsignificanceとは、各係数に対して符号化器が持つ状態である。significanceの初期値は、non-significantを表す０であり、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続ける。したがって、significanceとは、有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでSignificance Propagation Pass が発生すれば、以降のビットプレーンではSignificance Propagation Passは発生しない。
【００３４】
(b) Magnitude Refinement Pass
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで符号化していないsignificantな係数のビットプレーンの値が算術符号化される。
【００３５】
(c) Cleanup Pass
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで符号化していないnon-significantな係数のビットプレーンの値が算術符号化される。その符号化したビットプレーンの値が１である場合には、符号の正負が続けて算術符号化される。
【００３６】
なお、以上の３つの符号化パスでの算術符号化では、ケースに応じてＺＣ（Zero Coding）、ＲＬＣ（Run-Length Coding）、ＳＣ（Sign Coding）、ＭＲ（Magnitude Refinement）が使い分けられて係数のコンテキストが選択される。そして、ＭＱ符号化と呼ばれる算術符号によって選択されたコンテキストが符号化される。このＭＱ符号化は、ＪＢＩＧ２で規定された学習型の２値算術符号である。ＭＱ符号化については、例えば、文献「ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000」等に記載されている。ＪＰＥＧ−２０００では、すべての符号化パスで合計１９種類のコンテキストがある。
【００３７】
以上のようにしてビットプレーン符号化パス生成部１４は、符号ブロック毎の量子化係数Ｄ１４をビットプレーンに分解すると共に各ビットプレーンを３つの符号化パスに分解し、符号化パス毎に量子化係数Ｄ１５を生成する。そして、算術符号化部１５は、この符号化パス毎の量子化係数Ｄ１５に対して算術符号化を施す。
【００３８】
レート制御部１７は、少なくとも一部の符号化パスの処理を行った後で、算術符号化部１５から供給された算術符号Ｄ１６の符号量をカウントし、目標の符号量に達した時点で、又は達する直前に、それより後の算術符号Ｄ１６を切り捨てる。このように、符号量をオーバーする直前で切り捨てることにより、確実に目標の符号量に抑えることができる。レート制御部１７は、この符号量制御完了後の算術符号Ｄ１７を、ヘッダ生成部１８及びパケット生成部１９に供給する。
【００３９】
ヘッダ生成部１８は、レート制御部１７から供給された符号量制御完了後の算術符号Ｄ１７に基づいて、符号ブロック内での付加情報、例えば符号ブロック内の符号化パスの個数や圧縮コードストリームのデータ長等をヘッダＤ１８として生成し、このヘッダＤ１８をパケット生成部１９に供給する。
【００４０】
パケット生成部１９は、符号量制御完了後の算術符号Ｄ１７とヘッダＤ１８とを合わせてパケットＤ１９を生成し、符号化コードストリームとして出力する。この際、パケット生成部１９は、図８に示すように同一解像度レベルから個々のパケットを生成する。なお、図８から分かるように、最低域であるパケット−１は、ＬＬ成分のみを含み、それ以外のパケット−２乃至パケット−４は、ＬＨ成分，ＨＬ成分及びＨＨ成分を含む。
【００４１】
以上のように、本実施の形態における画像符号化装置１は、ウェーブレット変換及びエントロピー符号化を用いて入力画像を高効率に圧縮符号化し、パケット化して符号化コードストリームとして出力することができる。
【００４２】
ところで、上述したＪＰＥＧ−２０００規格は、静止画の規格であり、動画像では頻繁に存在するインタレース画像に対する十分な検討がなされていない。したがって、静止画用の技術をそのまま動画像に応用すると、劣化が目立ってしまうという欠点が露呈する。以下、具体的に説明する。
【００４３】
あるインタレースの動画シーンの１フレームを図９に示す。これをＰＣモニタ等のプログレッシブ方式のモニタで見ると、動きのある部分にインタレースの影響が強く出て、横方向に縞模様が見える。
【００４４】
すなわち、図１０（Ａ）に示すように、丸い物体が画面中を右方向に移動する場合、インタレース画面では問題ないが、プログレッシブ画面では図１０（Ｂ）のように横方向に縞模様が見えてしまう。これはインタレース画面が奇数フィールドと偶数フィールドとで飛び越し走査を用いていることに起因している。
【００４５】
図９に示した画像を５回ウェーブレット変換及び分割した後の各サブバンドの様子を図１１に示す。図１１から分かるように、明らかにＬＨ−１成分、すなわち最高域のサブバンドで、水平方向が低域で垂直方向が高域の成分から成るサブバンドの成分の係数のエネルギが他のサブバンドに比べて大きくなっている。
【００４６】
そこで、本実施の形態におけるウェーブレット変換部１１では、入力画像の特徴を利用し、インタレース画像に対しては、図１２に示すようにＬＨ−１成分をさらにウェーブレット変換及び分割する。なお、ＬＨ−１成分に限定されるものではなく、例えばＬＨ−２成分やその他の成分についても、同様にウェーブレット変換及び分割することが有効であるのは言うまでもない。
【００４７】
ここで、入力画像がインタレースであることは通常符号化を行う前に明らかであるため、ＬＨ成分を上述のようにさらにウェーブレット変換及び分割することが可能である。またウェーブレット変換及び分割して生成されたサブバンド係数分布を見て、エネルギが大きいサブバンド（インタレース画像の場合は特にＬＨ成分）をさらにウェーブレット変換及び分割するようにしてもよく、これにより圧縮率を向上させることができる。
【００４８】
なお、入力画像がカラー画像である場合には、人間の視覚特性が輝度成分と比較して色差成分に対して鈍感である特徴を利用することができる。すなわち、上述したようにサブバンドに対してフィルタリング及び分割処理を施す際に、輝度成分の入力画像と色差成分の入力画像とに対して異なる処理を施すことができる。例えば、輝度成分に対しては、低域成分のサブバンドに対する階層的なフィルタリング及び分割を行い、同時に水平方向が低域で且つ垂直方向が高域のサブバンドに対してもフィルタリング及び分割を行う。一方、色差成分に対しては、低域成分のサブバンドに対する階層的なフィルタリング及び分割だけに限定する。これにより、人間の視覚特性を利用して、画質劣化を抑えながら圧縮率を向上させることができる。
【００４９】
（１−２）第１の変形例
上述の実施の形態では、符号ブロック化部１３における符号ブロックサイズは、例えば６４×６４であるとして説明した。しかしＪＰＥＧ−２０００規格では、水平方向のサイズ×垂直方向のサイズが４０９６以下であり且つサイズが２の冪乗であればよい。
【００５０】
ここで、符号ブロックサイズは、図４に示したように全てのサブバンドで同一値を取るため、符号化効率及び画質に影響を与える。一方、ＪＰＥＧ−２０００では、復号時にウェーブレット逆変換を行って画像を復元するため、低域成分での歪みやノイズがウェーブレット逆変換時に大きな画質劣化に繋がる。したがって、画質劣化を小さい領域に限定できれば画質向上に寄与する可能性が向上する。
【００５１】
そこで、例えばインタレース入力画像の場合には、プログレッシブ画像と比較して、符号ブロックサイズを３２×３２等の小さいサイズにするのが有効である。特にインタレース画像の場合には垂直方向の相関が低いため、符号ブロックサイズを６４×３２、或いは１２８×１６等の横長のサイズに設定することが有効である。
【００５２】
また、入力画像の輝度成分と色差成分とで符号ブロックサイズを別々なものにすることもできる。例えば、人間の視覚特性上、輝度成分の入力画像は画質劣化が目立ち易いため、符号ブロックサイズを３２×３２、６４×３２、或いは１２８×１６等の小さいサイズとし、劣化の目立ちにくい色差成分に対しては符号ブロックサイズを６４×６４に設定することができる。
【００５３】
（１−３）第２の変形例
上述の第１の変形例では、符号ブロックサイズを入力画像の特徴に合わせて可変にするものとして説明したが、以下に説明する第２の変形例では、符号ブロックを包含する矩形領域を決定する。この矩形領域は、ＪＰＥＧ−２０００規格では、プリシンクト（Precinct）と呼ばれており、そのサイズは以下のように決定される。ここで、PPx，PPyはマーカで定義されている。
【００５４】
Precinct H ＝ 2^PPx （水平方向サイズ）
Precinct V ＝ 2^PPy （垂直方向サイズ）
また、符号ブロックサイズは、以下の式で決定される。
【００５５】
符号ブロックサイズ（水平）＝ 2^xcb’
符号ブロックサイズ（垂直）＝ 2^ycb’
xcb’＝ min(xcb, PPx-1), for r>0 ・・・（１）
xcb’＝ min(xcb, PPx), for r=0 ・・・（２）
ycb’＝ min(ycb, PPy-1), for r>0 ・・・（３）
ycb’＝ min(ycb, PPy), for r=0 ・・・（４）
ここで、ｒはウェーブレット分解後の解像度レベルを示し、xcb, ycbは最初に指定された符号ブロックサイズを示す。例えば、最初に指定された符号ブロックサイズが６４×６４（＝２６×２６）であれば、xcb＝ycb＝６となる。
【００５６】
上記式（１）〜式（４）に示すように、符号ブロックサイズは、プリシンクトのサイズとの関係で決定され、プリシンクトのサイズよりも大きくなることはできない。この関係を図１３に示す。図１３の例では、プリシンクトサイズ＝（１２８，３２）であり、その中に存在している符号ブロックサイズ＝（６４，３２）となっている。
【００５７】
なお、ＪＰＥＧ−２０００規格では、ＳＰｃｏｄマーカを用いることで、ウェーブレット変換及び分割の過程で生成される解像度レベル毎に、異なるサイズのプリシンクトを定義することができる。
【００５８】
この解像度レベルについて図１４を用いて説明する。図１４は、ウェーブレット変換の分割レベルが３のケースである。この場合、最低域が０−ＬＬであり、次の高域は、１−ＨＬ，１−ＬＨ，１−ＨＨから構成される。さらに次の高域では、２−ＨＬ，２−ＬＨ，２−ＨＨとなり、最高域は、３−ＨＬ，３−ＬＨ，３−ＨＨとなる。なお、解像度レベルについて記述する場合は、例えばＮ−ＬＨのように、Ｎで解像度レベルのレベル番号を指定する。
【００５９】
図１３及び図１４を照らし合わせて考えれば、例えば１−ＬＨ成分のサブバンドのプリシンクトサイズ＝（１２８，１６）とし、２−ＬＨ成分のサブバンドのプリシンクトサイズ＝（１２８，３２）とすることができる。
【００６０】
これにより、サブバンド毎に係数のエネルギ分布が異なった場合であっても、プリシンクトサイズ、さらに結果として符号ブロックサイズを可変に設定することができ、符号化画質を向上することができる。
【００６１】
ここで、インタレース入力画像の場合には、上述したようにＬＨ成分にエネルギが集まり易いことから、水平方向が低域で且つ垂直方向が高域のサブバンド内のプリシンクトサイズを他のサブバンド内よりも小さいサイズにするのが効果的である。このとき、１個のプリシンクト＝１個の符号ブロックとすれば、結果的にそのサブバンド内の矩形領域は、符号ブロックに他ならなくなる。
【００６２】
また、輝度成分の入力画像と色差成分の入力画像とで、プリシンクトサイズを可変にすることもできる。一般には、画質劣化が目立ちにくい色差成分の入力画像に対してプリシンクトサイズを大きめに設定しておくことが効果的である。
【００６３】
（１−４）第３の変形例
以下の第３の変形例では、先ずレート制御部１７（図１）の動作について詳細に説明する。上述の実施の形態では、目標符号量に達した際に、又は達する直前に符号化パスを切り捨てる、又はそれ以上の符号化パスを選択せず打ち切ることで、レート制御を行うものとして説明したが、ここでは図１５を用いてレート制御部１７の内部処理についてさらに詳しく説明する。
【００６４】
図１５に示すように、符号化パス符号量算出部２０及び符号化パス歪み削減量算出部２１は、算術符号化後の算術符号Ｄ１６を入力する。そして、符号化パス符号量算出部２０は、符号ブロック内に生成される符号化パスで実際に発生する符号量Ｒを、全ての符号ブロックの全ての符号化パスに対して求め、この全ての符号ブロックの符号化パスの符号量Ｒを示す情報Ｄ２０をＲＤ特性算出部２２に供給する。
【００６５】
同様に、符号化パス歪み削減量算出部２１は、その符号化パスを含めた場合にどの程度歪みが低減されるかを示す歪み削減量Ｄを、全ての符号ブロックの全ての符号化パスに対して求め、この全ての符号ブロックの符号化パスの歪み削減量Ｄを示す情報Ｄ２１をＲＤ特性算出部２２に供給する。
【００６６】
ＲＤ特性算出部２２は、各符号化パスのＲＤ特性、通常はＲＤ特性の傾きを算出する。そしてＲＤ特性算出部２２は、この結果得られたＲＤ特性値及び各符号化パスの情報Ｄ２２を全符号化パス分記憶保持しておき、また、このＲＤ特性値及び各符号化パスの情報Ｄ２２を符号化パス選択部２３に供給する。
【００６７】
符号化パス選択部２３は、ＲＤ特性算出部２２から供給されたＲＤ特性値及び各符号化パスの情報Ｄ２２に基づいて、画像全体の目標符号量に最も近くなるように、各符号化パスを含めるか切り捨てるかの選択を行う。この際、符号化パス選択部２３は、図１６に示すようなＲＤ特性を利用する。図１６において黒丸のポイントは切り捨ての候補となる符号化パスであり、白丸のポイントは切り捨ての対象外となる符号化パスであることを示している。したがって、符号化パス選択部２３は、目標符号量に最も近くなるように、これらの白丸の符号化パスを選択する動作を行う。以上の動作によって最終的に選択された符号化パスの情報である算術符号Ｄ１７が図１に示したヘッダ生成部１８及びパケット生成部１９に供給される。
【００６８】
ここで、ＪＰＥＧ−２０００符号化の技術としてビジュアル・ウェイティング（Visual Weighting）法がある。これは、人間の視覚システムを巧みに利用した手法であり、画像の空間周波数に対して人間の視覚システムの変動感受性をモデル化し、これをコントラスト感受性機能（Contrast Sensitivity Function: CSF）として体系付けたものである。ＣＳＦの重みは、実際には画像の変換係数の視覚周波数によって決定されるものであり、ウェーブレット変換後の個々のサブバンドに対してＣＳＦの重みが別個に用意される。なお、このＣＳＦの重みは、符号化側で設計され、復号画像がどのような条件下で視覚されるかに依存している。
【００６９】
上述した図１５では、ＶＷ係数出力部２４は、符号化パス歪み削減量算出部２１にＶＷ係数値Ｄ２３を供給する。そして、符号化パス歪み削減量算出部２１は、ＶＷ係数値Ｄ２３を加味した歪み削減量Ｄを算出する。具体的には、図１７に示すように、ウェーブレット変換及び分割で生成されるサブバンド毎にＶＷ係数値Ｄ２３を設定しておく。ＶＷ係数出力部２４は、これらの係数値を記憶保持する。
【００７０】
このＶＷ係数値Ｄ２３の実際の値としては、例えば図１８のように各分割レベルのサブバンド毎に決めておくことができる。図１８に示すように、輝度（Ｙ）と色差（Ｃｂ、Ｃｒ）とで別々に係数値が決められており、分割レベルが大きいほど、すなわち、より低域成分ほど、係数値も大きくなっていることが分かる。ここで、係数値が大きいことは、レート制御の際に符号化パスの切り捨てが行われにくいことを意味する。なお、図１８において、Ｙ、Ｃｂ、Ｃｒ全て低域ほど（分割レベルが大きい程）係数値が大きくなっているのは、上述したように、画像のエネルギが低域に集中していることを利用しているためである。
【００７１】
符号化パス歪み削減量算出部２１は、ＶＷ係数値Ｄ２３を各符号化パスの歪み削減量Ｄに乗算した結果を新たな歪み削減量Ｄとする。これは、サブバンド毎の優先的な重み付けをしたことと等価であり、レート制御の際に低域のサブバンドに存在する符号化パスほど切り捨てられにくくなり、逆に高域のサブバンドに存在する符号化パスほど切り捨てられやすくなる。
【００７２】
ここで、入力画像の特徴を利用して、ある特定のサブバンドの係数値を大きい値又は小さい値に設定するようにしてもよい。例えば入力画像がインタレース画像であった場合、上述したようにＬＨ成分のエネルギが大きくなる傾向にあるため、図１９に示すようにＬＨ成分に相当する係数の重み値を大きくすることが有効である。これにより、インタレース成分の画像が保持され、高画質化に繋がる効果がある。
【００７３】
なお、図１８、図１９共に、ＹよりもＣｂ又はＣｒの重み係数値の方が小さい値に設定されている。これは、輝度成分よりも色差成分に対する人間の視覚特性が鋭敏でない特徴を生かしたものである。
【００７４】
（２）画像復号装置の構成及び動作
本実施の形態における画像復号装置の概略構成を図２０に示す。図２０に示すように、画像復号装置２は、パケット分解部３０と、ヘッダ解析部３１と、復号ブロック化部３２と、算術復号部３４と、ビットプレーン復号パス生成部３５と、逆量子化部３６と、ウェーブレット逆変換部３７と、ＤＣレベル逆シフト部３８とから構成されている。ここで、算術復号部３４とビットプレーン復号パス生成部３５とにより、ＥＢＣＯＴ復号部３３が構成される。
【００７５】
パケット分解部３０は、符号化コードストリームＤ３０を入力し、パケットヘッダＤ３１と中身のパケット本体Ｄ３２とに分解する。なお、パケット本体Ｄ３２には、実際の符号化コードストリームが書き込まれている。パケット分解部３０は、パケットヘッダＤ３１をヘッダ解析部３１に供給し、パケット本体Ｄ３２を復号ブロック化部３２に供給する。
【００７６】
ヘッダ解析部３１は、パケットヘッダＤ３１を解析し、例えば符号ブロック内の符号化パスの個数や符号化パスの発生符号量等の符号化パスの情報Ｄ３３をビットプレーン復号パス生成部３５に供給する。また、ヘッダ解析部３１は、符号ブロックの位置情報Ｄ３４を復号ブロック化部３２に供給する。
【００７７】
復号ブロック化部３２は、符号ブロック毎の符号化コードストリームＤ３５を算術復号部３４に供給する。
【００７８】
算術復号部３４は、符号ブロック毎の符号化コードストリームＤ３５を算術復号して係数情報Ｄ３６を生成し、ビットデモデリング処理を行うビットプレーン復号パス生成部３５は、係数情報Ｄ３６からビットプレーン単位のバイナリデータを復元する。これは、実際には量子化係数Ｄ３７になっている。ビットプレーン復号パス生成部３５は、この量子化係数Ｄ３７を逆量子化部３６に供給する。
【００７９】
逆量子化部３６は、ビットプレーン復号パス生成部３５から供給された量子化係数Ｄ３７を逆量子化してウェーブレット変換係数Ｄ３８に変換する。なお、上述したように、画像符号化装置１において非可逆の９×７ウェーブレット変換フィルタが用いられた場合には量子化されるため、逆量子化部３６で逆量子化される。これに対して、画像符号化装置１において可逆の５×３ウェーブレット変換フィルタが用いられた場合には量子化が省略されるため、ビットプレーン単位のバイナリデータは、ビットプレーン復号パス生成部３５から直接ウェーブレット逆変換部３７に供給される。この画像符号化装置１における量子化の有無は、ＪＰＥＧ−２０００規格では符号化コードストリームＤ３０中のマーカによって判別可能である。
【００８０】
ウェーブレット逆変換部３７は、ウェーブレット変換係数Ｄ３８を逆変換して復号画像Ｄ３９を生成し、この復号画像Ｄ３９をＤＣレベル逆シフト部３８に供給する。
【００８１】
ＤＣレベル逆シフト部３８は、画像符号化装置１においてＤＣレベルシフト処理が施されていた場合に復号画像Ｄ３９に対して逆シフト処理を行い、最終的な復号画像Ｄ４０を出力する。
【００８２】
ここで、例えばインタレース入力画像に対して、最高域のサブバンドで、且つ水平方向が低域で垂直方向が高域の成分から成るサブバンドをさらにウェーブレット変換及び分割している場合には、低域成分のサブバンドに対して階層的にウェーブレット逆変換及び合成する際に、水平方向が低域で且つ垂直方向が高域のサブバンドに対しては、さらにウェーブレット逆変換及び合成する。
【００８３】
また、画像符号化装置１において、サブバンドに対してフィルタリング及び分割処理を施す際に、入力画像の輝度成分と色差成分とで異なる処理を施している場合には、ウェーブレット逆変換及び合成処理を施す際にも、輝度成分の符号化コードストリームと色差成分の符号化コードストリームとで異なる処理を施す。
【００８４】
また、上述した第２の変形例で述べたプリシンクト手段を用いて符号化が行われた場合には、複数個の符号ブロックを集めてプリシンクトを形成し、これらのプリシンクトを複数個集めてサブバンドを形成し、サブバンドの係数に対してウェーブレット逆変換及び合成を行う。この際、画像符号化装置１において、輝度成分と色差成分とで異なるプリシンクトサイズで符号化が行われた場合には、符号化コードストリームを復号する際にも、輝度成分と色差成分とで異なるサイズのプリシンクトを形成する。
【００８５】
（３）その他
以上説明したように、本実施の形態における画像符号化装置１では、入力画像の特徴を考慮し、例えばインタレース画像の場合には、最高域のサブバンドで、水平方向が低域で垂直方向が高域の成分から成るサブバンドの成分の係数のエネルギが他のサブバンドに比べて大きくなることを利用して、このサブバンドに対してさらにウェーブレット変換を施す。また、入力画像の特徴を考慮し、例えばインタレース画像の場合には、水平方向が低域で垂直方向が高域の成分から成るサブバンドにおける符号ブロックの大きさや符号ブロックを包含するプリシンクトの大きさを小さくなるように設定する。さらに、ビジュアル・ウェイティング法におけるサブバンド毎の重み係数を導入し、例えばインタレース画像の場合には、水平方向が低域で垂直方向が高域の成分から成るサブバンドにおける重み係数値を大きくし、レート制御の際に符号化パスの切り捨てが行われにくくする。画像符号化装置１は、以上のような技術を用いることにより、インタレース画像で問題となる奇数フィールドと偶数フィールドとの歪みによる対象物のぎこちない動きを抑制又は回避し、主観的な画質を向上させることができる。
【００８６】
また、以上の技術を輝度成分と色差成分とで使い分けることにより、人間の視覚特性を利用して、画質劣化を抑えながら圧縮率を向上させることができる。
【００８７】
また、本実施の形態における画像復号装置２では、画像符号化装置１に対応する処理を行うことで、入力した符号化コードストリームを復号することができる。
【００８８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８９】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、画像符号化装置１及び画像復号装置２における処理を、それぞれＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００９２】
【発明の効果】
以上詳細に説明したように、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成する。特に、入力画像がインタレース画像の場合、フィルタリングに際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して、さらにフィルタリング処理を施すようにし、符号ブロックを生成するに際しては、上記水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズを他のサブバンドよりも小さく設定する。
【００９３】
また、本発明に係る画像符号化装置及びその方法は、入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成し、フィルタリングによって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成し、この符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成し、このビットプレーン毎に符号化パスを生成し、符号化パス内で算術符号化を行う。そして、生成された算術符号に基づいて、目標の符号量になるように符号量を制御し、符号量制御後の算術符号にヘッダを加えてパケットを生成し、符号化コードストリームとして出力する。特に、入力画像がインタレース画像の場合、符号量制御に際しては、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける算術符号が優先的に符号化コードストリームに含められるように符号量を制御する。
【００９７】
以上のような画像符号化装置及びその方法によれば、インタレース画像で問題となる奇数フィールドと偶数フィールドとの歪みによる対象物のぎこちない動きを抑制又は回避し、主観的な画質を向上させることができる。
【００９８】
また、本発明に係る画像復号装置及びその方法は、パケットで構成された符号化コードストリームをヘッダと算術符号とに分解して算術符号を復号し、ビットプレーン毎に符号化パスを復号し、最上位ビットから最下位ビットに至るビットプレーンに基づいて符号ブロックを復元し、符号ブロックを集めてサブバンドを生成し、低域成分のサブバンドに対して、階層的に低域フィルタ及び高域フィルタを垂直及び水平方向に施す。特に、符号化コードストリームの元画像がインタレース画像の場合、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズは、他のサブバンドよりも小さく設定されており、逆フィルタリング処理に際しては、前処理として、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して逆フィルタリング処理を施す。
【００９９】
このような画像復号装置及びその方法によれば、インタレース画像で問題となる奇数フィールドと偶数フィールドとの歪みによる対象物のぎこちない動きを抑制又は回避するようにして符号化された符号化コードストリームを復号することができる。
【図面の簡単な説明】
【図１】本実施の形態における画像符号化装置の概略構成を説明する図である。
【図２】 第３レベルまでウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図３】 実際の画像をウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図４】 符号ブロックとサブバンドとの関係を説明する図である。
【図５】 ビットプレーンを説明する図であり、同図（Ａ）は、計１６個の係数から成る量子化係数を示し、同図（Ｂ）は、係数の絶対値のビットプレーンを示し、同図（Ｃ）は、符号のビットプレーンを示す。
【図６】 符号ブロック内の符号化パスの処理手順を説明する図である。
【図７】 符号ブロック内の係数のスキャン順序を説明する図である。
【図８】 同画像符号化装置で生成されるパケットを説明する図である。
【図９】 インタレース動画像の一例を説明する図である。
【図１０】 インタレース画像における被写体画像の見え方を説明する図であり、同図（Ａ）は、物体が画面中を右方向に移動する場合を示し、同図（Ｂ）は、プログレッシブ画面における当該物体の見え方を示す。
【図１１】 インタレース画像をウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図１２】 ＬＬ成分とＬＨ成分とを階層的にウェーブレット変換・分割した場合のサブバンドを説明する図である。
【図１３】 プリシンクトを使った場合の符号ブロックサイズを説明する図である。
【図１４】 解像度レベルの番号を説明する図である。
【図１５】 ＲＤ特性を利用したレート制御部を説明する図である。
【図１６】 ＲＤ特性を説明する図である。
【図１７】 ビジュアル・ウェイティング法における重み係数の概念を説明する図である。
【図１８】 ビジュアル・ウェイティング法における実際の重み係数を説明する図である。
【図１９】 インタレース画像用のビジュアル・ウェイティングの重み係数を説明する図である。
【図２０】 本実施の形態における画像復号装置の概略構成を説明する図である。
【符号の説明】
１ 画像符号化装置、２ 画像復号装置、１０ ＤＣレベルシフト部、１１ ウェーブレット変換部、１２ 量子化部、１３ 符号ブロック化部、１４ ビットプレーン符号化パス生成部、１５ 算術符号化部、１６ ＥＢＣＯＴ部、１７レート制御部、１８ ヘッダ生成部、１９ パケット生成部、２０ 符号化パス符号量算出部、２１ 符号化パス歪み削減量算出部、２２ ＲＤ特性算出部、２３ 符号化パス選択部、２４ ＶＷ係数出力部、３０ パケット分解部、３１ヘッダ解析部、３２ 復号ブロック化部、３３ ＥＢＣＯＴ復号部、３４ 算術復号部、３５ ビットプレーン復号パス生成部、３６ 逆量子化部、３７ ウェーブレット逆変換部、３８ ＤＣレベル逆シフト部
Claims (6)
- 入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成するフィルタリング手段と、
上記フィルタリング手段によって生成されたサブバンドを分割して所定の大きさの符号ブロックを生成する符号ブロック生成手段と、
上記符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成するビットプレーン生成手段と、
上記ビットプレーン毎に符号化パスを生成する符号化パス生成手段と、
上記符号化パス内で算術符号化を行う算術符号化手段と、
生成された算術符号に基づいて、目標の符号量になるように符号量を制御する符号量制御手段と、
符号量制御後の算術符号にヘッダを加えてパケットを生成するパケット生成手段とを備え、
上記入力画像がインタレース画像の場合、
上記フィルタリング手段は、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して、さらにフィルタリング処理を施し、
上記符号ブロック生成手段は、上記水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズを他のサブバンドよりも小さく設定する
ことを特徴とする画像符号化装置。 - 上記入力画像がインタレース画像の場合、上記符号量制御手段は、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける算術符号が優先的に上記符号化コードストリームに含められるように符号量を制御することを特徴とする請求項１記載の画像符号化装置。
- 入力画像に対して、低域フィルタ及び高域フィルタを垂直方向及び水平方向に施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施すことにより、サブバンド係数を生成するフィルタリング工程と、
上記フィルタリング工程にて生成されたサブバンドを分割して所定の大きさの符号ブロックを生成する符号ブロック生成工程と、
上記符号ブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成するビットプレーン生成工程と、
上記ビットプレーン毎に符号化パスを生成する符号化パス生成工程と、
上記符号化パス内で算術符号化を行う算術符号化工程と、
生成された算術符号に基づいて、目標の符号量になるように符号量を制御する符号量制御工程と、
符号量制御後の算術符号にヘッダを加えてパケットを生成するパケット生成工程とを有し、
上記入力画像がインタレース画像の場合、
上記フィルタリング工程では、水平方向が低域であり且つ垂直方向が高域のサブバンドに対して、さらにフィルタリング処理を施し、
上記符号ブロック生成工程では、上記水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズを他のサブバンドよりも小さく設定する
ことを特徴とする画像符号化方法。 - 上記入力画像がインタレース画像の場合、上記符号量制御工程では、水平方向が低域であり且つ垂直方向が高域のサブバンドにおける算術符号が優先的に上記符号化コードストリームに含められるように符号量を制御することを特徴とする請求項３記載の画像符号化方法。
- パケットで構成された符号化コードストリームをヘッダと算術符号とに分解するパケット分解手段と、
上記算術符号を復号する復号手段と、
ビットプレーン毎に符号化パスを復号する符号化パス復号手段と、
最上位ビットから最下位ビットに至る上記ビットプレーンに基づいて符号ブロックを復元する符号ブロック復元手段と、
上記符号ブロックを集めてサブバンドを生成するサブバンド生成手段と、
低域成分の上記サブバンドに対して、階層的に低域フィルタ及び高域フィルタを垂直及び水平方向に施す逆フィルタリング手段とを備え、
上記符号化コードストリームの元画像がインタレース画像の場合、
水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズは、他のサブバンドよりも小さく設定されており、
上記逆フィルタリング手段は、前処理として、上記水平方向が低域であり且つ垂直方向が高域のサブバンドに対して逆フィルタリング処理を施す
ことを特徴とする画像復号装置。 - パケットで構成された符号化コードストリームをヘッダと算術符号とに分解するパケット分解工程と、
上記算術符号を復号する復号工程と、
ビットプレーン毎に符号化パスを復号する符号化パス復号工程と、
最上位ビットから最下位ビットに至る上記ビットプレーンに基づいて符号ブロックを復元する符号ブロック復元工程と、
上記符号ブロックを集めてサブバンドを生成するサブバンド生成工程と、
低域成分の上記サブバンドに対して、階層的に低域フィルタ及び高域フィルタを垂直及び水平方向に施す逆フィルタリング工程とを有し、
上記符号化コードストリームの元画像がインタレース画像の場合、
水平方向が低域であり且つ垂直方向が高域のサブバンドにおける上記符号ブロックのサイズは、他のサブバンドよりも小さく設定されており、
上記逆フィルタリング工程では、前処理として、上記水平方向が低域であり且つ垂直方向が高域のサブバンドに対して逆フィルタリング処理を施す
ことを特徴とする画像復号方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002118516A JP3743384B2 (ja) | 2002-04-19 | 2002-04-19 | 画像符号化装置及び方法、並びに画像復号装置及び方法 |
| US10/290,405 US7127111B2 (en) | 2002-04-19 | 2002-11-08 | Image coding apparatus and method, image decoding apparatus and method, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002118516A JP3743384B2 (ja) | 2002-04-19 | 2002-04-19 | 画像符号化装置及び方法、並びに画像復号装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319185A JP2003319185A (ja) | 2003-11-07 |
| JP3743384B2 true JP3743384B2 (ja) | 2006-02-08 |
Family
ID=29207866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002118516A Expired - Fee Related JP3743384B2 (ja) | 2002-04-19 | 2002-04-19 | 画像符号化装置及び方法、並びに画像復号装置及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7127111B2 (ja) |
| JP (1) | JP3743384B2 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7483575B2 (en) * | 2002-10-25 | 2009-01-27 | Sony Corporation | Picture encoding apparatus and method, program and recording medium |
| JP2004221633A (ja) * | 2003-01-09 | 2004-08-05 | Ricoh Co Ltd | 画像処理装置、画像処理用プログラム及び記憶媒体 |
| US9264736B2 (en) * | 2003-01-14 | 2016-02-16 | Nippon Telegraph And Telephone Corporation | Encoding method, decoding method, encoding device, and decoding device |
| JP2004297772A (ja) * | 2003-03-12 | 2004-10-21 | Ricoh Co Ltd | 画像処理システム、画像形成装置、画像処理方法、プログラム及び記憶媒体 |
| US9171577B1 (en) * | 2003-04-25 | 2015-10-27 | Gopro, Inc. | Encoding and decoding selectively retrievable representations of video content |
| US7200277B2 (en) * | 2003-07-01 | 2007-04-03 | Eastman Kodak Company | Method for transcoding a JPEG2000 compressed image |
| JP4135617B2 (ja) * | 2003-09-08 | 2008-08-20 | ソニー株式会社 | 画像符号化装置及び方法 |
| JP4090975B2 (ja) * | 2003-09-30 | 2008-05-28 | 株式会社リコー | 画像処理装置 |
| US7565022B2 (en) * | 2003-12-19 | 2009-07-21 | Intel Corporation | Bit-plane formatting including zero bit-plane detection |
| JP2006013766A (ja) * | 2004-06-24 | 2006-01-12 | Matsushita Electric Ind Co Ltd | 動画記録方法、動画記録装置、動画再生方法および動画再生装置 |
| KR100677446B1 (ko) * | 2005-03-31 | 2007-02-02 | 엘지전자 주식회사 | 휴대단말기의 영상신호 압축 코딩장치 및 방법 |
| US7916961B2 (en) * | 2005-09-06 | 2011-03-29 | Megachips Corporation | Compression encoder, compression encoding method and program |
| JPWO2007066710A1 (ja) * | 2005-12-07 | 2009-05-21 | ソニー株式会社 | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| WO2007066709A1 (ja) * | 2005-12-07 | 2007-06-14 | Sony Corporation | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
| US8463061B2 (en) * | 2006-07-13 | 2013-06-11 | Nec Corporation | Encoding and decoding two-dimensional signal using a wavelet transform |
| JP5162939B2 (ja) * | 2007-03-30 | 2013-03-13 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4793320B2 (ja) * | 2007-05-17 | 2011-10-12 | ソニー株式会社 | 情報処理装置および方法 |
| JP4517306B2 (ja) | 2007-05-17 | 2010-08-04 | ソニー株式会社 | 情報処理装置および方法 |
| JP4525704B2 (ja) * | 2007-05-17 | 2010-08-18 | ソニー株式会社 | 符号化装置および方法、記録媒体、並びにプログラム。 |
| JP4841504B2 (ja) * | 2007-05-31 | 2011-12-21 | 三洋電機株式会社 | 画像符号化装置および方法 |
| JP5098081B2 (ja) * | 2007-07-19 | 2012-12-12 | オリンパス株式会社 | 画像処理方法および画像処理装置 |
| CN101874408A (zh) * | 2007-11-22 | 2010-10-27 | 日本电气株式会社 | 图像捕获设备、编码方法及程序 |
| JP5359302B2 (ja) * | 2008-03-18 | 2013-12-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4670947B2 (ja) * | 2008-12-05 | 2011-04-13 | ソニー株式会社 | 情報処理装置および方法 |
| JP5235813B2 (ja) * | 2009-07-31 | 2013-07-10 | キヤノン株式会社 | 動画像符号化装置、動画像符号化方法及びコンピュータプログラム |
| CA2815817C (en) * | 2010-12-07 | 2019-01-15 | Sony Corporation | Image processing device and image processing method |
| US9363522B2 (en) * | 2011-04-28 | 2016-06-07 | Warner Bros. Entertainment, Inc. | Region-of-interest encoding enhancements for variable-bitrate mezzanine compression |
| JP2013106333A (ja) * | 2011-11-17 | 2013-05-30 | Sony Corp | 画像処理装置および方法 |
| JP5950157B2 (ja) * | 2012-05-18 | 2016-07-13 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
| AU2017204643B2 (en) * | 2017-07-07 | 2020-05-14 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
| WO2020073098A1 (en) * | 2018-10-12 | 2020-04-16 | Kakadu R & D Pty Ltd | A method and apparatus for image compression |
| WO2020168520A1 (zh) * | 2019-02-21 | 2020-08-27 | 深圳市大疆创新科技有限公司 | 编码器、编码系统和编码方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2262854B (en) * | 1991-12-24 | 1995-05-24 | Sony Broadcast & Communication | Image processing apparatus |
| JP3534465B2 (ja) * | 1994-12-28 | 2004-06-07 | パイオニア株式会社 | サブバンド符号化方法 |
| JPH08186815A (ja) * | 1994-12-28 | 1996-07-16 | Pioneer Electron Corp | サブバンド符号化方法 |
| JP3855286B2 (ja) * | 1995-10-26 | 2006-12-06 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 |
| US6229926B1 (en) * | 1998-07-24 | 2001-05-08 | Picsurf, Inc. | Memory saving wavelet-like image transform system and method for digital camera and other memory conservative applications |
| JP2000184204A (ja) * | 1998-12-11 | 2000-06-30 | Canon Inc | 画像処理装置及び方法及び記憶媒体 |
| KR100284027B1 (ko) * | 1998-12-22 | 2001-03-02 | 서평원 | 웨이블릿 패킷 계수의 재배치방법 |
| US6477280B1 (en) * | 1999-03-26 | 2002-11-05 | Microsoft Corporation | Lossless adaptive encoding of finite alphabet data |
| AUPQ618500A0 (en) * | 2000-03-13 | 2000-04-06 | Canon Kabushiki Kaisha | Memory management of compressed images data |
| JP3702778B2 (ja) * | 2000-11-27 | 2005-10-05 | ソニー株式会社 | 画像符号化装置及び方法 |
| US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
-
2002
- 2002-04-19 JP JP2002118516A patent/JP3743384B2/ja not_active Expired - Fee Related
- 2002-11-08 US US10/290,405 patent/US7127111B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319185A (ja) | 2003-11-07 |
| US20030198391A1 (en) | 2003-10-23 |
| US7127111B2 (en) | 2006-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3743384B2 (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| JP4273996B2 (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| US6519284B1 (en) | Encoding method for the compression of a video sequence | |
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| JP4124792B2 (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
| US9077960B2 (en) | Non-zero coefficient block pattern coding | |
| US5737448A (en) | Method and apparatus for low bit rate image compression | |
| JP2004336254A (ja) | 画像符号化装置及び方法 | |
| US7065252B1 (en) | System and method providing improved data compression via wavelet coefficient encoding | |
| JP4449400B2 (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP2005515729A (ja) | ビデオ符号化方法 | |
| JP2004528791A (ja) | インターフレーム符号化方法および装置 | |
| US20090034624A1 (en) | Method and Apparatus For a Multidimensional Discrete Multiwavelet Transform | |
| JP4003628B2 (ja) | 画像符号化装置及び方法、並びにプログラム | |
| Singh et al. | JPEG2000: A review and its performance comparison with JPEG | |
| Suruliandi et al. | Empirical evaluation of EZW and other encoding techniques in the wavelet-based image compression domain | |
| JP2004350034A (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| JP4372327B2 (ja) | 画像符号化装置および画像符号化方法並びに復号化装置および復号化方法 | |
| JP4379527B2 (ja) | 符号化装置及び方法 | |
| JP4367113B2 (ja) | 画像符号化装置及び方法 | |
| Morris et al. | Intra-frame wavelet video coding | |
| Surabhi et al. | A robust perceptual colour image compression with watermarking | |
| Wasilewski | Adaptive segmentation of wavelet transform coefficients for video compression | |
| Hsieh et al. | Application of grey polynomial interpolation to reduce the block effect in low bit rate coding | |
| Zhang et al. | Wavelet Based Image Compression System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |