JP3576660B2 - 画像符号化装置および画像復号化装置 - Google Patents
画像符号化装置および画像復号化装置 Download PDFInfo
- Publication number
- JP3576660B2 JP3576660B2 JP27718195A JP27718195A JP3576660B2 JP 3576660 B2 JP3576660 B2 JP 3576660B2 JP 27718195 A JP27718195 A JP 27718195A JP 27718195 A JP27718195 A JP 27718195A JP 3576660 B2 JP3576660 B2 JP 3576660B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- layer
- signal
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、画像信号を高能率に符号化し伝送・蓄積に供すると共に、また復号するための画像符号化装置および復号化装置にかかわり、特に、スケーラビリティ機能を有する画像符号化装置および復号化装置に関する。
【0002】
【従来の技術】
画像信号は膨大な情報量を持つため、伝送や蓄積に供する場合には圧縮符号化するのが一般的である。画像信号を高能率に符号化するには、フレーム単位の画像を、所要画素数単位でブロック分けし、その各ブロック毎に直交変換して画像の持つ空間周波数を各周波数成分に分離し、変換係数として取得してこれを符号化する。
【0003】
ところで、画像符号化の機能として、ビットストリームを部分的に復号することで、画質(SNR; Signal to Noise Ratio)、空間解像度、時間解像度を段階的に可変とすることを可能にするスケーラビリティの機能が要求されている。
【0004】
図7は、N段階に空間解像度を可変にし、M段階に画質を可変にするようにしたスケーラビリティ機能を有するビットストリームのイメージである。図7における斜線部で示されたビットストリームをデコードすることで、空間解像度がn(=1〜N)、画質がm(=1〜M)の再生画像が得られる。
【0005】
ISO/IECにおいて標準化されたメディア統合系動画像符号化標準であるMPEG2のビデオパート(IS13818‐2)にも、スケーラビリティの機能が取り入れられている。
【0006】
このスケーラビリティは、図15、図16に示されるような階層的な符号化法により実現される。図15は、SNRスケーラビリティの、また、図16は、空間スケーラビリティの、エンコーダの例とそのデコーダの構成をそれぞれ示したものである。
【0007】
図15、図16において、Dは遅延手段であって、ベースレイヤからの予測値が得られるまでの遅延を与えるためのものであり、DCTは離散コサイン変換(直交変換)を行う手段、Qは量子化を行う量子化器、IQは逆量子化を行う逆量子化器、IDCTは逆DCTを行う手段、FMはフレームメモリ、MCは動き補償予測を行う手段、VLCは可変長符号化を行う手段、VLDは可変長復号化を行う手段、DSはダウンサンプリングする手段、USはアップサンプリングを行う手段、wは重み付けパラメータ(0,0.5,1)をそれぞれ示している。
【0008】
図15の(a)は符号化のためのエンコーダを、そして、(b)はデコーダの構成例を示している。エンコーダにおいては、画質の低いレイヤであるベースレイヤと、画質の高いレイヤであるエンハンスレーヤに別れている。
【0009】
そして、ベースレイヤではMPEG1あるいはMPEG2で符号化され、エンハンスレーヤでは、ベースレイヤで符号化されたデータを再現し、元のデ−タからこの再現されたものを引き、その結果得られる誤差分だけをベースレイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズで量子化して符号化する。すなわち、より細かく量子化して符号化する。そして、ベースレイヤ情報にエンハンスレーヤの情報を加えることで、精細さを向上させることができ、高画質の画像の伝送・蓄積が可能になる。
【0010】
このように画像をベースレイヤとエンハンスレーヤに分け、ベースレイヤで符号化されたデータを再現し、元のデ−タからこの再現されたものを引き、その結果得られる誤差分だけをベースレイヤの量子化ステップ・サイズよりも小さな量子化ステップ・サイズで量子化して符号化することで、高精細な画像の符号化/復号化できるようにする技術をSNRスケーラビリティという。
【0011】
図15の(a)のエンコーダでは、入力画像をベースレイヤとエンハンスレーヤにそれぞれ入力し、ベースレイヤではこれを前フレームの画像から得た動き補償予測値との誤差分を得る処理をした後に直交変換し(DCT)、その変換係数を量子化して可変長復号化し、ベースレイヤ出力とする。また、量子化出力は、逆量子化した後、逆DCTし、これに前フレームの動き補償予測値を加えてフレーム画像を得、このフレーム画像から動き補償予測を行い、前フレームの動き補償予測値とする。
【0012】
一方、エンハンスレーヤでは入力画像を、ベースレイヤからの予測値が得られるまでの遅延を与えたのちに、前フレームの画像から得たエンハンスレイヤでの動き補償予測値との誤差分を得る処理をし、その後に直交変換し(DCT)、その変換係数にベースレイヤの逆量子化出力分の補正を加えてからこれを量子化して可変長復号化し、エンハンスレイヤ出力とする。また、量子化出力は、逆量子化した後、ベースレイヤにて得た前フレームの動き補償予測値を加えて逆DCTし、これにエンハンスレイヤで得た前フレームの動き補償予測値を加えてフレーム画像を得、このフレーム画像から動き補償予測を行い、エンハンスレイヤでの前フレームの動き補償予測値とする。
【0013】
これにより、SNRスケーラビリティを使用した動画像の符号化を行うことができる。
【0014】
図15のSNRスケーラビリティは、図15では2階層で表現しているが、更に階層数を増やすことで、様々なSNRの再生画像が得られる。
【0015】
図15の(b)に示すデコーダでは、それぞれ別個に与えられるエンハンスレイヤとベースレイヤの可変長復号化データを、それぞれ別個に可変長復号化し、逆量子化してから両者を加え、これを逆DCTした後、前フレームの動き補償予測値を加えて画像信号を復元すると共に、復元した画像信号から得た1フレーム前の画像から動き補償予測を行い、前フレームの動き補償予測値とする。
【0016】
以上が、SNRスケーラビリティを採用した符号化と復号化の例である。
【0017】
一方、空間スケーラビリティは、空間解像度からみたものであり、空間解像度の低いベースレイヤと空間解像度の高いエンハンスレイヤに分けて符号化する。ベースレイヤは通常のMPEG2の符号化方法を使用して符号化し、エンハンスレイヤではベースレイヤの画像をアップサンプリング(低解像度画像の画素間に平均値等の画素を付加し、高解像度画像を作成すること)してエンハンスレイヤと同じサイズの画像を作成し、エンハンスレイヤの画像からの動き補償予測と、このアップサンプリングされた画像からの動き補償予測とから適応的に予測をすることで、効率の良い符号化をすることができるようにするものであり、エンコーダの構成例は図16の(a)の如きであり、デコーダの構成例は図16の(b)の如きで実現できるものである。
【0018】
図16の空間スケーラビリティは、例えば、MPEG2のビットストリームの一部を取り出すとMPEG1でデコードすることができるという後方互換性を実現するために存在しており、様々な解像度の画像を再生することができるようにする機能ではない(参考文献:“特集 MPEG”テレビ誌、Vol.49,No.4,pp.458−463,1993)。
【0019】
すなわち、MPEG2における動画像の符号化技術においては、高画質の画像の高能率符号化と高画質再生を目指しており、符号化した画像に忠実な画像が再現できるようにしている。
【0020】
しかしながら、マルチメディアの普及に伴い、再生側のシステムでは、高能率符号化された高画質画像のデータをフルデコードすることができる再生装置の要求の他、携帯用のシステムなどのように、画質はともかくとして画面が再生できれば良いような用途や、システム価格を抑制するために、簡易型とするシステムの要求などがある。
【0021】
このような要求に応えるためには、例えば、画像を8×8画素のマトリックスにブロック分けし、各ブロック単位でDCTを行った場合に、8×8の変換係数が得られるわけであるから、本来ならば第1低周波項から第8低周波項までの分を復号化しなければならないところを、第1低周波項から第4低周波項までの分を復号化したり、第1低周波項から第6低周波項までの分を復号化したりといった具合に、再生は8×8ではなく、4×4とか、6×6の情報で復元するといったように簡素化することで対応できることになる。
【0022】
しかし、本来、8×8であるものを4×4とか、6×6の情報で復元すると、動き補償予測値都のミスマッチが生じ、誤差が累積するため、画像が著しく劣化する。このような符号化側と復号化側とのミスマッチを如何に克服するかが大きな課題となる。
【0023】
なお、標準化はされてはいないが、符号化側と復号化側との空間解像度の違いに対処すべく、空間解像度を変換する方法として直交変換(例えばDCT(離散コサイン変換))係数の一部を、元の次数よりも小さな次数で逆変換することにより、空間解像度を可変にする方法もある。
【0024】
しかし、解像度変換された画像で動き補償予測を行う際に、動き補償予測に起因したドリフトと呼ばれる画質劣化が再生画像に発生してしまう(参考文献:岩橋他、“スケーラブル・デコーダにおけるドリフト低減のための動き補償”、信学技報IE94−97,1994)。
【0025】
従って、符号化側と復号化側とのミスマッチ克服のための技術としては問題がある。
【0026】
また、動画像の符号化技術として、J.Y.A.Wang et.al.“Applying Mid−level Vision Techniques for Video Data Compression and Manipulation”,M.I.T.MediaLab.Tech.Report No.263,Feb.1994、において、ミッドレベル符号化と呼ばれる範疇に属する画像符号化法が提案されている。
【0027】
この方式では、図17の(a)のような画像があったとして、これを図17の(b),(c)のように、背景と被写体(以降、これをオブジェクトと呼ぶ)を分けて符号化している。
【0028】
そして、この方式では、背景(図17の(c))やオブジェクト(図17の(b))を別々に符号化するために、オブジェクトの形状や画面内の位置を表すための情報であるアルファマップ信号(図17の(d)における白画素がオブジェクトの画素を示す)が必要となる。
【0029】
なお、背景のアルファマップ信号(図17の(e))は、オブジェクトのアルファマップ信号から一意に求められる。
【0030】
このような符号化法では、任意形状の画像を符号化する必要があり、また、解像度の異なる画像を再生するためには解像度変換が可能でなければならない。
【0031】
任意形状画像の符号化法および解像度変換法の技術としては、本件発明者らが特願平7‐97073号にて既に提案した任意形状画像信号の直交変換法なる手法がある。この技術は、背景と被写体とを含む画像に対して、例えば、符号化装置においてオブジェクト(被写体;(コンテント))の位置および形状を表すマップ信号に従って、画像信号のうち、オブジェクトの内部に位置するブロック(内部ブロック)は全画素の信号、オブジェクトの境界部を含むブロック(エッジブロック)はオブジェクトの内部に含まれる画素の信号のみを、それぞれ2次元直交変換して変換係数を符号化すると共に、マップ信号を符号化し、復号化装置においては復号し解像度変換したマップ信号に基づいて、復号した直交変換係数から所望解像度の画像を再生するために必要な直交変換係数を選択し、内部ブロックは全ての係数を、そして、エッジブロックはオブジェクトの内部に含まれる係数のみを、それぞれ2次元逆直交変換して、解像度変換された再生画像信号を得るというものであり、これにより、任意形状のオブジェクトを含むエッジブロックについて解像度変換を行うことができるようにしたものである。
【0032】
図18は、当該任意形状画像信号の直交変換法の一例であり、任意形状画像を正方ブロックで等分割した際に、形状の境界部を含むエッジブロックに対する変換と、解像度変換の様子を図示したものである。
【0033】
図18は形状の境界部を含むエッジブロックに対する変換の手順を説明する図である。図18に示すように、[i] 入力されたエッジブロック信号の中で、[ii]まず、斜線で示されるコンテントの内部に含まれる画素を左端に寄せ集める。
【0034】
[iii] 次に斜線に示される画素を水平方向に1次元DCTする。[iv]次に、網線で示される変換係数を上端に寄せ集める。[v] 最後に、網線で示される変換係数を垂直方向に1次元DCTする。
【0035】
このような手順を踏むことにより、任意形状の2次元変換係数([v] における黒塗りの部分)が得られる。
【0036】
図19は解像度変換手順である。図19では、[i] 元のアルファマップ信号を、[ii]水平・垂直共に5/8に解像度が変換されたアルファマップ信号にし、[iii] これを図18(a)の変換手順と同様に、水平方向に並べ換えた後、[iv]垂直方向に並べ換えることで、水平・垂直共に5/8の解像度の再生画像を得るのに必要な変換係数の位置を求める。[v] 次に、この位置情報を用いて必要な帯域の係数を選択する(黒塗りの部分)。ここで選択された変換係数を、解像度変換されたアルファマップ信号にしたがって、図18(a)の変換手段と逆の仮定を施すことで、解像度変換された画像を得る。
【0037】
【発明が解決しようとする課題】
動画像の符号化/復号化を行う場合、利用形態によっては符号化側での解像度より低い解像度で復号化したいという要求がある。しかし、符号化側での解像度と、復号化側での解像度が異なると、ミスマッチによる再生画像の劣化があり、これを抑制できるようにすると共に、符号化側では効率の良い符号化を可能にする技術の開発が必要である。
【0038】
また、背景とオブジェクトを分離して符号化する符号化技術があるが、このような符号化技術においても、解像度と画質を可変とすることが可能なスケーラブル符号化が必要となる。
【0039】
しかし、これらの要求に応えることのできる技術はまだない。
【0040】
そこで、この発明の目的とするところは、第1には、符号化側での解像度と、復号化側での解像度が異なる場合においても、ミスマッチが生じることがなく、良質の画像を符号化/復号化できると共に、符号化効率を保つことができるようにした画像符号化/復号化装置を提供することにある。
【0041】
また、この発明の第2の目的とするところは、背景とオブジェクトを分離して符号化する符号化技術において、ミスマッチが生じることがなく、解像度と画質を可変とすることができるようにした画像符号化/復号化装置を提供することにある。
【0042】
【課題を解決するための手段】
本発明は、前記第1の目的を達成するため、第1には、N×N個(N:自然数)の変換係数毎に変換係数領域での動き補償予測が用いられる動き補償予測+変換符号化装置において、局部復号された変換係数を低域からn×n個(n=1〜N)選択することにより、N階層の変換係数ピラミッドを作成する手段と、N階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、N階層の再生画像ピラミッドを作成する手段と、N階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換する手段と、前記変換係数を統合することにより動き補償予測値を作成する手段を有する動画像符号化装置を提供する。
【0043】
また、本発明は、前記第1の目的を達成するため、第2には、前記第1の構成の符号化装置において符号化された符号化ビットストリームの中から、第n階層(n=1〜N)までの符号を取り出す手段と、復号されたn×n個の変換係数から、n階層の変換係数ピラミッドを作成する手段と、n階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、n階層の再生画像ピラミッドを作成する手段と、n階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換する手段と、前記変換係数を統合することにより動き補償予測値を作成する手段を有し、第n階層の再生画像を再生することを特徴とする動画像復号化装置を提供する。
【0044】
また、本発明は、前記第1の目的を達成するため、第3には、前記第1の構成の符号化装置を用いた、M階層(M:自然数)のSNRスケーラビリティを実現する符号化装置であって、第m階層(m=2〜N)の予測誤差信号と、第m−1階層の予測誤差信号の局部再生値との差分信号を求める手段と、第m階層において、前記差分信号を第m−1階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第m−1階層の予測誤差信号の局部再生値を加算することで、第m階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置を提供する。
【0045】
また、本発明は、前記第1の目的を達成するため、第4には、前記第3の構成の符号化装置で符号化された符号化ビットストリームの中から、第m階層(m=1〜M)までの符号を取り出す手段と、第m階層までの各階層の符号を復号する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第m階層までの逆量子化値を加算する手段を、第2の構成に付加した動画像復号化装置を提供する。
【0046】
また、本発明は、前記第2の目的を達成するため、第5には、N×N個の変換係数毎に変換係数領域での動き補償予測が用いられる動き補償予測+変換符号化装置において、入力画像の背景とオブジェクトを識別するアルファマップ信号があって、アルファマップを符号化する手段と、アルファマップにしたがって任意形状画像を変換係数に変換する手段と、アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段を有することを特徴とした画像符号化装置を提供する。
【0047】
また、本発明は、前記第2の目的を達成するため、第6には、前記第5の構成の動画像符号化装置において、アルファマップ信号を解像度変換してN階層のアルファマップ信号ピラミッドを作成する手段と、各階層毎に、アルファマップ信号にしたがって局部復号された変換係数を低域からn階層分(n=1〜N)選択することにより、N階層の変換係数ピラミッドを作成する手段と、N階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、N階層の再生画像ピラミッドを作成する手段と、N階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより、動き補償予測値を作成する手段を有する動画像符号化装置を提供する。
【0048】
また、本発明は、前記第2の目的を達成するため、第7には、前記第5の構成の符号化装置で符号化された符号化ビットストリームを復号化する動画像復号化装置であって、アルファマップを復号化する手段と、アルファマップにしたがって任意形状画像を変換係数に変換する手段と、アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段を有することを特徴とした画像復号化装置を提供する。
【0049】
また、本発明は、前記第2の目的を達成するため、第8には、前記第6の構成の符号化装置において符号化された符号化ビットストリームの中から、第n階層(n=1〜N)までの符号を取り出す手段と、アルファマップ信号を復号する手段と、復号されたアルファマップ信号を解像度変換してN階層のアルファマップ信号ピラミッドを作成する手段と、復号された変換係数から、アルファマップ信号ピラミッドにしたがってn階層の変換係数ピラミッドを作成する手段と、n階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、n階層の再生画像ピラミッドを作成する手段と、n階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより動き補償予測値を作成する手段を有し、第n階層の再生画像を再生することを特徴とする動画像復号化装置を提供する。
【0050】
また、本発明は、前記第2の目的を達成するため、第9には、前記第5の構成の符号化装置を用いた、M階層(M:自然数)のSNRスケーラビリティを実現する符号化装置であって、第m階層(m=2〜N)の予測誤差信号と、第m−1階層の予測誤差信号の局部再生値との差分信号を求める手段と、第m階層において、前記差分信号を第m−1階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第m−1階層の予測誤差信号の局部再生値を加算することで、第m階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置を提供する。
【0051】
また、本発明は、前記第2の目的を達成するため、第10には、前記第9の構成の符号化装置で符号化された符号化ビットストリームの中から、第m階層(m=1〜M)までの符号を取り出す手段と、第m階層までの各階層の符号を復号する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第m階層までの逆量子化値を加算する手段を、前記第7の構成に付加した構成の動画像復号化装置を提供する。
【0052】
また、本発明は、前記第2の目的を達成するため、第11には、前記第6の構成の符号化装置を用いた、M階層(M:自然数)のSNRスケーラビリティを実現する符号化装置であって、第m階層(m=2〜N)の予測誤差信号と、第m−1階層の予測誤差信号の局部再生値との差分信号を求める手段と、第m階層において、前記差分信号を第m−1階層の量子化ステップサイズよりも小さいステップサイズで量子化する手段と、逆量子化された前記差分信号と、第m−1階層の予測誤差信号の局部再生値を加算することで、第m階層の予測誤差信号の局部再生値を求めることを特徴とする動画像符号化装置を提供する。
【0053】
また、本発明は、前記第2の目的を達成するため、第12には、前記第11の構成の符号化装置で符号化された符号化ビットストリームの中から、第m階層(m=1〜M)までの符号を取り出す手段と、第m階層までの各階層の符号を復号する手段と、前記手段により復号された量子化値を各階層において逆量子化する手段と、第m階層までの逆量子化値を加算する手段とを第8の構成に付加したことを特徴とする動画像復号化装置を提供する。
【0054】
また、本発明は、前記第1の目的を達成するため、第13には、N×N個の変換係数毎に変換係数領域での動き補償予測が用いられる動き補償予測+変換符号化装置において、M階層のSNRスケーラビリティを実現する符号化装置であって、第m階層(m=2〜M)の動き補償予測値と第m−1階層の局部再生値とを変換係数毎に切り換えることで、第m階層の予測値を求める手段と、第m−1階層における、予測誤差信号の量子化値の絶対値がしきい値以下となる変換係数は第m階層の動き補償予測値を、しきい値以上となる変換係数は第m−1階層の局部再生値を出力するセレクタを有することを特徴とする動画像符号化装置を提供する。
【0055】
また、本発明は、前記第1の目的を達成するため、第14には、前記第13の構成の符号化装置で符号化された符号化ビットストリームから、第m階層(m=2〜M)までの符号を取り出す手段と、第m階層までの各階層の符号を復号する手段と、前記手段により復号された予測誤差信号の量子化値を各階層において逆量子化する手段と、第m階層の動き補償予測値と第m−1階層の再生値とを変換係数毎に切り換えることで、第m階層の予測値を求める手段と、第m−1階層における、予測誤差信号の量子化値の絶対値がしきい値以下となる変換係数は第m階層の動き補償予測値を、しきい値以上となる変換係数は第m−1階層の再生値を出力するセレクタを有することを特徴とする動画像復号化装置を提供する。
【0056】
このような構成の本発明によれば、N×N個の変換係数毎に変換係数の領域で、動き補償を行う際に、動き補償予測値をN階層の解像度毎に求めることでドリフトによる画質劣化を伴わずに、解像度の異なる再生画像を得ることができる。
【0057】
更に、本発明では、前記符号化装置とSNRスケーラビリティを組み合わせることにより解像度と画質を多階層に分割したスケーラブル符号化が実現される。
【0058】
また、本発明では前記符号化装置において、アルファマップ信号にしたがって、任意形状直交変換を施すことにより、任意形状画像の解像度と画質を可変とした再生画像が得られる。
【0059】
【発明の実施の形態】
以下、図面を参照して本発明の具体例を説明する。本発明は、図1の画像伝送システムにおける送受信装置(図1のA、B)内の、画像符号化・復号化装置に関するものである。
【0060】
(第1の具体例)
図2、図3および図4を用いて、本発明の第1の具体例を説明する。第1の具体例は、エンコード側とデコード側との解像度の違いによるミスマッチ防止をはかり、どのような解像度でもエンコーダと同じ予測値が得られるようにして、ドリフトのない品位の高い画像を復元できるようにするシステムを説明する。
【0061】
《第1の具体例の符号化装置》
図2(a)は本発明を適用した画像符号化/復号化装置のエンコード側のブロック図、図2(b)は、この図2(a)の構成において用いる局部復号化回路の具体的構成例を示すブロック図である。
【0062】
はじめに、画像符号化装置から説明する。図2(a)は、本発明が適用される、直交変換係数領域での動き補償予測を用いた動き補償予測+直交変換符号化装置(変換後差分構成)のブロック図である。
【0063】
図2(a)において、100は直交変換回路、110は差分回路、120は量子化回路、130は可変長符号化回路、140は逆量子化回路、200は局部復号回路である。
【0064】
これらのうち、直交変換回路100は、画像信号を直交変換処理するものであり、線10を介して供給される画像信号をN×N画素毎にブロック分けし、このブロック単位で例えば、DCT(離散コサイン変換)により直交変換して、N×N個の変換係数を得るものである。
【0065】
また、差分回路110は、直交変換回路100より供給される直交変換係数と、局部復号回路200より線20を介して供給されるN×N個の変換係数の予測値との予測誤差を計算するものである。量子化回路120は、この差分回路110の求めた予測誤差を量子化するものであり、可変長符号化回路130はこの量子化回路120にて量子化された予測誤差信号を可変長符号化するものであり、予測誤差信号の量子化値を可変長符号化して、符号化した画像信号として線30を介して出力するものである。
【0066】
逆量子化回路140は、量子化回路120からの量子化された予測誤差信号を受けてこれを逆量子化して予測誤差信号の再生値を得る回路であり、当該予測誤差信号の再生値を線40を介して局部復号回路200に供給する構成としてある。
【0067】
局部復号回路200は、逆量子化回路140から得た予測誤差信号の再生値と前の画像から得た動き補償予測値とを加算して変換係数の再生値を得、これを逆変換して局部復号信号を得ると共に、この得た局部復号画像信号から動き補償予測値を生成し、この動き補償予測値をN×N画素毎に直交変換して、N×N個の変換係数の予測値を得るものである。
【0068】
局部復号回路200は、加算回路201、逆直交変換回路202、フレームメモリ203、動き補償予測回路204、直交変換回路205から構成されている。そして、局部復号回路200においては、逆量子化回路140から得られた予測誤差信号の再生値と線20を介して供給される予測値とを加算回路201にて加算することにより変換係数の再生値を得、逆直交変換回路202はこの加算回路201にて得た変換係数を逆変換してN×N画素毎の局部復号信号を得、フレームメモリ203は、この逆直交変換回路202より供給されるN×N画素毎の局部復号信号を蓄積することにより局部復号画像を保持するものである。また、動き補償予測回路204は、このフレームメモリ203に保持されている局部復号画像の画像信号を用いて動き補償予測値を生成するものであり、直交変換回路205は、この動き補償予測回路204の生成した動き補償予測値をN×N画素毎に直交変換し、変換係数を線20を介して出力する構成である。
【0069】
このような構成の画像符号化装置において、線10を介して画像信号を供給すると、この画像信号は直交変換回路100により線N×N画素毎に直交変換される。これによりN×N個の変換係数が得られる。この得られた変換係数は差分回路110に入力される。
【0070】
差分回路110では、直交変換回路100より供給される直交変換係数と、局部復号回路200より線20を介して供給されるN×N個の変換係数の予測値との予測誤差が計算される。そして、その計算結果は量子化回路120に供給される。量子化回路120はこの予測誤差値を量子化する。量子化回路120にて量子化された予測誤差信号は、可変長符号化回路130と逆量子化回路140に供給される。
【0071】
可変長符号化回路130では予測誤差信号の量子化値が可変長符号化され、線30を介して出力される。逆量子化回路140では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線40を介して局部復号回路200に供給する。
【0072】
局部復号回路200では、線40を介して供給される予測誤差信号の再生値と線20を介して供給される予測値とを加算回路201にて加算することにより変換係数の再生値を得た後、逆直交変換回路202に供給する。逆直交変換回路202では加算回路201より供給された変換係数を逆変換して局部復号信号を出力する。
【0073】
フレームメモリ203では、逆直交変換回路202より供給されるN×N画素毎の局部復号信号を蓄積して局部復号画像を得る。動き補償予測回路204では、フレームメモリ203に蓄積されている局部復号画像信号を用いて動き補償予測値を生成し、直交変換回路205に供給する。直交変換回路205では、動き補償予測値をN×N画素毎に直交変換し、変換係数を線20を介して出力する。
【0074】
このようにして、画像信号を圧縮符号化する場合に、直交変換したのち、局部復号回路200により局部復号画像信号を用いて動き補償予測値を生成し、これと画像信号を直交変換して得た変換係数との差分を得て、予測誤差を得、この予測誤差を量子化した後、可変長符号化するようにした。
【0075】
つぎに、局部復号回路200の具体例を図2(b)に示す。
【0076】
図2(b)において、211は加算回路、220は係数選択回路、212は逆直交変換回路、213はフレームメモリ、214は動き補償予測回路、215は直交変換回路、230は係数統合回路である。
【0077】
逆直交変換回路212、フレームメモリ213、動き補償予測回路214、直交変換回路215各々は、変換係数がN×Nの構成であるとすれば、変換係数が“1×1”〜“N×N”の構成のものをそれぞれ取得できるようにするために、“1×1”用、“2×2”用、〜“N−1×N−1”用、“N×N”用のそれぞれ独立した系統を用意してあり、合計N系統分の構成としてある。
【0078】
図2(b)の局部復号回路200において、加算回路211は、線40を介して供給される予測誤差信号の再生値と線20を介して供給される予測値(動き補償予測値)とを加算することにより動き補償済み変換係数の再生値(図3の(A))を得る回路であり、係数選択回路220は、この動き補償済み変換係数の再生値である図3(A)のN×Nの変換係数の中から、低域のn×n(n=1〜N)の変換係数を選択し、図3(B)に示す“1×1”〜“N×N”のN階層のピラミッドを構成し、各々の階層の変換係数を、対応の階層の逆直交変換回路212に供給する機能を有するものである。
【0079】
つまり、図3(A)のN×Nの変換係数の中から、N×Nの変換係数組、N−1×N−1の変換係数組、N−2×N−2の変換係数組、〜2×2の変換係数組、1×1の変換係数組、の計N種の変換係数の組を得、N系統分ある逆直交変換回路212のうち、それぞれの階層別の該当の系統の逆直交変換回路に入力する(なお、変換係数の組はN種より少なくとも良い。例えば、“N×N”,“3N/4×3N/4”,“N/2×N/2”,“N/4×N/4”,“1×1”の計5種の変換係数の組とするといった具合である)。
【0080】
これは、図3(A)のN×Nの変換係数の中から、単純に該当の係数部分を抽出することで足りる。例えば、1×1の変換係数組は、1×1用の系統の逆直交変換回路212(IOT1 )に与えられ、2×2の変換係数組は、2×2用の系統の逆直交変換回路212(IOT2 )に与えられ、N−1×N−1の変換係数組は、N−1×N−1用の系統の逆直交変換回路212(IOTN−1 )に与えられ、N×Nの変換係数組は、N×N用の系統の逆直交変換回路212(IOTN )に与えられるといった具合である。
【0081】
各系統別の逆直交変換回路212では、各階層別に係数選択回路220より自己に供給された変換係数を逆変換して局部復号信号を得るものであり、各系統別の局部復号信号を示すと図3の(C)如きである。1乃至N系統、それぞれで得た局部復号信号は、これらを合わせて局部復号信号ピラミッドと呼ぶことにする。この局部復号信号ピラミッド(図3の(C))は、直交変換を用いて構成されたガウシアンピラミッドに相当する(ガウシアンピラミッドに関する参考文献:P.J.Burt et.al“The Laplacian Pyramidas a Compact Image Code”,IEEE Trans. COM Vol.31,No.4,pp.532−540,April 1983)。
【0082】
1乃至N系統の各系統別フレームメモリ213は、逆直交変換回路212より供給される該当の系統の局部復号信号を蓄積して自系統の局部復号画像を得るものであり、1乃至N系統の各フレームメモリ213において蓄積して得られた各階層毎の局部復号画像を、合わせて局部復号画像ピラミッドと呼ぶことにする。
【0083】
これにより、1×1の変換係数組は、1×1用の系統のフレームメモリ213(FM1 )に蓄積されて直流成分のみの局部復号信号(第1低周波項の局部復号信号)が得られ、2×2の変換係数組は、2×2用のフレームメモリ213(FM2 )に蓄積されて直流成分と交流成分のうちの最も低い周波数成分からなる局部復号信号(第1および第2低周波項からなる局部復号信号)が得られ、N×Nの変換係数組は、N×N用のフレームメモリ213(FMN )に蓄積されて直流成分とN−1次分までの交流成分からなる局部復号信号(第1低周波項乃至第N低周波項からなる局部復号信号)が得られる。
【0084】
動き補償予測回路214は、フレームメモリ213に蓄積されている局部復号画像信号を用いて各階層毎に動き補償予測値を生成するものであって、1乃至N系統の各系統別動き補償予測回路214は、それぞれ自系統のフレームメモリ213に蓄積されている局部復号画像信号を用いて自系統対応の階層の動き補償予測値を生成する構成となっている。
【0085】
直交変換回路215は、動き補償予測値を各階層毎に直交変換し、図3の(D)における網掛け部の変換係数を係数統合回路230に供給するものである。すなわち、1乃至N系統の各系統別直交変換回路215は、各系統別動き補償予測回路214のうちのそれぞれ対応する系統の生成する動き補償予測値を受けて直交変換するものであり、例えば、第1系統の直交変換回路215(OT1 )であれば、直流成分の周波数帯(第1低周波項)の動き補償予測値を、第2系統の直交変換回路215(OT2 )であれば、直流成分の次の周波数帯(第2低周波項)の動き補償予測値を、第3系統の直交変換回路215(OT3 )であれば、直流成分の次々周波数帯(第3低周波項)の動き補償予測値を、第N系統の直交変換回路215(OTN )であれば、最上位項の周波数帯(第N周波項)の動き補償予測値を、出力するものである。
【0086】
係数統合回路230は、各直交変換回路215から出力された各階層の動き補償予測値の直交変換による変換係数を受けて、帯域毎に統合したN×N個の変換係数予測値(図3の(E))を線20を介して出力するものである。
【0087】
このような構成の局部復号回路200の作用は、つぎの通りである。線40を介して供給される予測誤差信号の再生値と線20を介して供給される予測値(動き補償予測値)とを加算回路211にて加算することにより、動き補償済み変換係数の再生値(図3の(A))を得る。この動き補償済み変換係数の再生値は係数選択回路220に供給され、係数選択回路220では、図3(A)のN×Nの変換係数の中から、低域のn×n(n=1〜N)の変換係数を選択し、図3(B)に示す“1×1”〜“N×N”のN階層のピラミッドを構成し、各々の階層の変換係数を逆直交変換回路212に供給する。
【0088】
つまり、図3(A)のN×Nの変換係数の中から、N×Nの変換係数組、N−1×N−1の変換係数組、N−2×N−2の変換係数組、〜2×2の変換係数組、1×1の変換係数組、の計N種の変換係数の組を得る。これは図3(A)のN×Nの変換係数の中から、単純に該当の係数部分を抽出することで足りる。
【0089】
逆直交変換回路212では、各階層毎に係数選択回路220より供給された変換係数を逆変換して局部復号信号ピラミッド(図3の(C))を出力する。
【0090】
この局部復号信号ピラミッド(図3の(C))は、直交変換を用いて構成されたガウシアンピラミッドに相当する。
【0091】
フレームメモリ213では、逆直交変換回路212より供給される局部復号信号ピラミッドを各階層毎に蓄積して局部復号画像ピラミッドを得る。
【0092】
動き補償予測回路214では、フレームメモリ213に蓄積されている局部復号画像信号を用いて各階層毎に動き補償予測値を生成し、直交変換回路215に供給する。直交変換回路215では、動き補償予測値を各階層毎に直交変換し、図3の(D)における斜線部の変換係数を係数統合回路230に供給する。
【0093】
係数統合回路230では、各階層の変換係数を帯域毎に統合したN×N個の変換係数予測値を線20を介して出力する。なお、動き補償に用いる動きベクトルは、各階層毎に求めても良いし、第N階層で求めてきた動きベクトルをn/Nに縮小して、第n階層に用いてもドリフトは生じない。また、図2(b)中での点A〜Eは、各々図3の(A)〜(E)に対応する。
【0094】
このようにして、画像信号を圧縮符号化する場合に、直交変換した後、局部復号回路200により局部復号画像信号を用いて動き補償予測値を生成し、これと画像信号を直交変換して得た変換係数との差分を得て、予測誤差を得、この予測誤差を量子化した後、可変長符号化するようにした。特に、局部復号画像信号は、画像信号をN×N画素でブロック分けして直交変換し、圧縮符号化する場合に、1×1,2×2,3×3,〜N×Nの変換係数からなる各階層毎に、それぞれ変換係数を逆変換して局部復号信号ピラミッドを得、これを各階層別にフレームメモリに蓄積して各階層別局部復号画像を得、これより各階層別にその階層での最大の周波項の成分についての動き補償予測値を求め、これをそれぞれ直交変換して統合することにより、N×Nの変換係数構成の階層における動き補償予測値を求めるようにした。そのため、各階層別に動き補償予測値とn×n対応階層に対応する逆直交変換出力が、ミスマッチを伴うことなく再生可能になる(但し、n=1〜Nの自然数)。
【0095】
《第1の具体例の復号化装置》
図4は、図2の符号化装置は符号化されたビットストリームを復号化して再生画像を得る復号化装置のブロック図である。
【0096】
図4(a)において、150は可変長復号化回路、160は逆量子化回路、300は復号回路である。復号回路300は、加算回路301、逆直交変換回路302、フレームメモリ303、動き補償予測回路304、直交変換回路305から構成される。
【0097】
可変長復号化回路150は、符号化ビットストリームを予測誤差信号に復号するものであり、逆量子化回路160は、この復号された予測誤差信号を逆量子化して予測誤差信号の再生値を得るものであり、復号回路300は、この予測誤差信号の再生値と前のフレームから得られる予測誤差の予測値とを加算することにより変換係数の再生値を得た後、これを直交変換の逆変換をして得た信号を復号信号として出力するものである。
【0098】
具体的には、この復号回路300は、逆量子化回路160から与えられる予測誤差信号の再生値と直交変換回路305より供給される予測値とを加算回路301にて加算することにより変換係数の再生値を得た後、この変換係数再生値を逆直交変換回路302において逆変換して得た信号を復号信号として出力すると共に、この復号信号をフレームメモリ303に蓄積し、フレームメモリ303ではN×N画素毎の復号信号を蓄積することにより復号画像を得、さらに動き補償予測回路304において、フレームメモリ303に蓄積されている復号画像信号を用いて動き補償予測値を生成し、これを直交変換回路305にて、N×N画素毎に直交変換し、得られた変換係数を加算回路301に供給する。
【0099】
このような構成において、その作用を説明する。図2の符号化装置にて符号化されたビットストリームが、線50を介して可変長復号化回路150に供給されると、この符号化ビットストリームはこの可変長復号化回路150で、予測誤差信号に復号された後、逆量子化回路160に供給される。逆量子化回路160では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線60を介して復号回路300に供給する。復号回路300では、線60を介して供給される予測誤差信号の再生値と直交変換回路305より供給される予測値とを加算回路301にて加算することにより変換係数の再生値を得た後、逆直交変換回路302に供給する。
【0100】
逆直交変換回路302では加算回路301より供給された変換係数を逆変換して復号信号を線70を介して出力する。フレームメモリ303では、逆直交変換回路302より供給されるN×N画素毎の復号信号を蓄積して復号画像を得る。動き補償予測回路304では、フレームメモリ303に蓄積されている復号画像信号を用いて動き補償予測値を生成し、直交変換回路305に供給する。直交変換回路305では、動き補償予測値をN×N画素毎に直交変換し、変換係数を加算回路301に供給する。
【0101】
《第1の具体例における復号回路300の構成例》
図4(b)は、本発明の具体例である局部復号回路200に対応する復号回路300の具体例である。本具体例では、N階層に階層化されたデータのうち、低域からn階層分のデータを復号して、水平・垂直共にn/Nの解像度の再生画像を得る場合について述べる。
【0102】
図4(b)に示すように、復号回路300は、加算回路311、係数選択回路320、逆直交変換回路312、フレームメモリ313、動き補償予測回路314、直交変換回路315、係数統合回路330より構成される。
【0103】
この例では、逆直交変換回路312、フレームメモリ313、動き補償予測回路314、直交変換回路315各々は、N階層に階層化されたデータのうち、低域からn階層分のデータを復号して、水平・垂直共にn/Nの解像度の再生画像を得るようにする場合に、変換係数が“1×1”〜“n×n”(但し、n=1〜N)の構成のものをそれぞれ取得できるようにするために、“1×1”用、“2×2”用、〜“n−1×n−1”用、“n×n”用のそれぞれ独立した系統を用意してあり、合計n系統分の構成としてある。
【0104】
加算回路311は、逆量子化回路160から与えられる予測誤差信号の再生値と、係数統合回路330より供給される予測値とを加算することにより、変換係数の再生値を得るものであり、係数選択回路320は、加算回路311により得られる変換係数の再生値をn階層のピラミッドに編成し、各階層別に分配するものであって、本具体例では第1階層からn階層までを使用して画像復号することを目指すので、“1×1”〜“n×n”の各階層分を分離分配する構成である。
【0105】
逆直交変換回路312は、変換係数を逆直交変換するものであり、各階層別に設けられていて、係数選択回路320により各階層分に分離分配されたもののうち、対応する階層のものを逆直交変換して復号する構成としてある。
【0106】
すなわち、係数選択回路320により“1×1”〜“n×n”の各階層のものが分配されるが、“1×1”の階層のものは、1×1用の系統の逆直交変換回路312(IOT1 )に与えられ、“2×2”の階層のものは、2×2用の系統の逆直交変換回路312(IOT2 )に与えられ、“n−1×n−1”の階層のものは、n−1×n−1用の系統の逆直交変換回路312(IOTN−1 )に与えられ、“n×n”の階層のものは、n×n用の系統の逆直交変換回路312(IOTN )に与えられるといった具合である。
【0107】
n系統分ある逆直交変換回路312では、各階層毎に係数選択回路320より供給された変換係数を逆変換して復号信号ピラミッドをフレームメモリ313に供給するが、n×n用の系統の逆直交変換回路312(IOTN )の逆変換出力である復号信号は線70を介して最終的な画像信号出力とする。
【0108】
n系統分あるフレームメモリ313は、対応する系統の逆直交変換回路312より供給される復号信号を各階層毎に蓄積して復号画像ピラミッドを得る。
【0109】
すなわち、“1×1”の階層の復号信号は、1×1用の系統のフレームメモリ313(FM1 )に蓄積されて直流成分のみによる画像の復号信号(第1低周波項からなる復号信号)が得られ、“2×2”の階層の復号信号は、2×2用のフレームメモリ313(FM2 )に蓄積されて直流成分と交流成分のうちの最も低い周波数成分からなる画像の復号信号(第1および第2低周波項からなる復号信号)が得られ、“n×n”の階層の復号信号は、n×n用の系統のフレームメモリ313(FMN )に蓄積されて直流成分から交流成分のうちのn−1次分までの成分からなる復号信号(第1低周波項乃至第n低周波項からなる復号信号)が得られる。
【0110】
動き補償予測回路314は、フレームメモリ313に蓄積されている復号画像信号を用いて各階層毎に動き補償予測値を生成するものであって、1乃至n系統の各系統別動き補償予測回路314は、それぞれ自系統のフレームメモリ313に蓄積されている復号画像信号を用いて自系統対応の階層の動き補償予測値を生成する構成となっている。
【0111】
直交変換回路315は、動き補償予測値を各階層毎に直交変換し、図3の(D)における網掛け表示部の領域の変換係数を係数統合回路330に供給するものである。すなわち、1乃至n系統の各系統別直交変換回路315は、各系統別動き補償予測回路314のうちのそれぞれ対応する系統の生成する動き補償予測値を受けて直交変換するものであり、例えば、第1系統の直交変換回路315(OT1 )であれば、直流成分の周波数帯(第1低周波項)の動き補償予測値を、第2系統の直交変換回路315(OT2 )であれば、直流成分の次の周波数帯(第2低周波項)の動き補償予測値を、第3系統の直交変換回路315(OT3 )であれば、直流成分の次々周波数帯(第3低周波項)の動き補償予測値を、第n系統の直交変換回路315(OTN )であれば、n位項の周波数帯(第n低周波項)の動き補償予測値を、出力するものである。
【0112】
係数統合回路330は、各階層の変換係数を帯域毎に統合したn×n個の変換係数予測値を加算回路311に供給するものである。
【0113】
このような構成において、加算回路311では、線60を介して供給される予測誤差信号の再生値と、係数統合回路330より供給される予測値とを加算することにより、変換係数の再生値を得た後、係数選択回路320に供給する。係数選択回路320では、“1×1”〜“n×n”のn階層のピラミッドを構成し、各々の階層の変換係数を階層別に設けた逆直交変換回路312のうちの対応するものに供給する。
【0114】
逆直交変換回路312では、各階層毎に係数選択回路320より供給された変換係数を逆変換して復号信号ピラミッドを各階層別に対応するフレームメモリ313に供給すると共に、第n階層の復号信号を線70を介して復元された画像信号として出力する。
【0115】
各階層別のフレームメモリ313では、それぞれ自系統の対応する階層の逆直交変換回路312より供給される復号信号を蓄積することにより、階層別の復号画像を得て、復号画像ピラミッドを得る。
【0116】
各階層別の動き補償予測回路314では、自系統の対応するフレームメモリ313に蓄積されている復号画像信号を用いてそれぞれ動き補償予測値を生成し、各階層別の動き補償予測値を得る。そして、これを各階層別の直交変換回路315のうちの、対応する階層の直交変換回路に供給する。各階層別の直交変換回路315では、対応する階層の動き補償予測値を受けてこれを直交変換することにより、図3の(D)における網掛け表示部の領域の変換係数を得てこれを係数統合回路330に供給する。
【0117】
係数統合回路330では、各階層別の変換係数を帯域毎に統合したn×n個の変換係数予測値を得て、これを加算回路311に供給する。また、図4(b)中での点A〜Eは、図2(b)と同様に、各々図3の(A)〜(E)に対応する。なお、線70を介して復号回路300より出力される画像は第n階層の再生画像のみでも良い。
【0118】
このようにして、画像信号をN×N画素でブロック分けして直交変換し、圧縮符号化した信号のビットストリームを、N×Nより小さいn×nで復号化する場合に、ビットストリームから得た予測誤差信号の再生値を1×1〜n×nの変換係数構成の階層に対応する形態となるように分配し、それぞれ逆直交変換してこれらのうちのn×n対応階層に対応する逆直交変換出力を復号信号として用い、画像再生に使用するようにした。
【0119】
また、各階層対応の変換係数について、それぞれ逆直交変換して得た出力を蓄積して各階層対応のフレーム画像を得、これを各階層別にそれぞれ動き補償予測値を生成し、各階層別の動き補償予測値を得、これを各階層別に直交変換して各階層別にその階層での最大周波項の成分についての動き補償予測値を求め、これをそれぞれ統合することにより、n×nの変換係数構成の階層における動き補償予測値を求めるようにした。そして、予測誤差信号の再生値に対して、この動き補償予測値分を補償するようにした。
【0120】
そのため、各階層別にその階層での最大周波項の成分についての動き補償がなされることと、予測誤差信号の再生値(動き補償済み)をn×nの変換係数構成の階層に対応する変換係数についてのみ、逆直交変換してその出力を画像再生に使用することで、符号化側と復号化側での解像度の違いによるミスマッチが全くなくなる。すなわち、符号化側と復号化側での使用する直交変換低周波項の次数の違いによる画質劣化を防止できる。
【0121】
これは符号化側では、画像信号を圧縮符号化する場合に、直交変換したのち、局部復号回路200により局部復号画像信号を用いて動き補償予測値を生成し、これと画像信号を直交変換して得た変換係数との差分を得て、予測誤差を得、この予測誤差を量子化した後、可変長符号化するようにした。特に、局部復号画像信号は、画像信号をN×N画素でブロック分けして直交変換し、圧縮符号化する場合に、1×1,2×2,3×3,〜N×Nの変換係数からなる各階層毎に、それぞれ変換係数を逆変換して局部復号信号ピラミッドを得、これを各階層別にフレームメモリに蓄積して各階層別局部復号画像を得、これより各階層別にその階層での最大周波項の成分についての動き補償予測値を求め、これをそれぞれ直交変換して統合することにより、N×Nの変換係数構成の階層における動き補償予測値を求めるようにして、各階層別に動き補償予測値とn×n対応階層に対応する逆直交変換出力をミスマッチを伴うことなく再生可能にしたことによる(但し、n=1〜Nの自然数)。
【0122】
(第2の具体例)
図5および図6を用いて、本発明の第2の具体例の説明をする。第2の具体例はSNRスケーラビリティに関するものであり、量子化ステップを初めに粗く、段々細かくすることにより画質を向上させるようにするものである。
【0123】
図5は、本発明が適用される直交変換係数領域での動き補償予測を用いた動き補償予測+直交変換符号化装置(変換後差分構成)であり、図6はこの符号化装置で得たビットストリームからSNRスケーラビリティを実現する復号化装置のブロック図である。
【0124】
図5は、M階層に分けて量子化を行う符号化装置の例を示しており、図5において、100は直交変換回路、121,122,123は量子化回路、131〜133は可変長符号化回路、420,421は加算回路、200a,200b,〜200Mは局部復号回路、400,401は遅延回路、111,112,113,410,411は差分回路、132,141,142,143は逆量子化回路である。
【0125】
局部復号回路200aを持つ第1階層L1の構成要素は、ベースレイヤの符号化信号を得るためのものであり、局部復号回路200bを持つ第2階層L2の構成要素は、エンハンスレイヤの符号化信号を得るためのものであり、局部復号回路200Mを持つ第M階層LMの構成要素は、エンハンスレイヤの符号化信号を得るためのものである。
【0126】
図5の如き構成の符号化装置において、画像信号はまずはじめに直交変換回路100において直交変換するが、その符号化対象の画像信号は、線10を介して供給される。この供給される画像信号は直交変換回路100においてN×N画素毎に直交変換され、N×N個の変換係数が得られる。この直交変換係数は各階層L1〜LMに与えられる。
【0127】
第1階層L1においては、直交変換回路100からの直交変換係数は、差分回路111に入力される。そして、この差分回路111では、直交変換回路100より供給される直交変換係数と、局部復号回路200aより線21を介して供給されるN×N個の変換係数の予測値との予測誤差が計算され、量子化回路121に供給される。量子化回路121にて量子化された予測誤差信号は、可変長符号化回路131と逆量子化回路141に供給される。
【0128】
可変長符号化回路131では予測誤差信号の量子化値が可変長符号化され、線31を介して出力される。逆量子化回路141では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線41を介して局部復号回路200aと第2階層L2に供給する。
【0129】
第2階層L2において、遅延回路400では、線41を介して第1階層L1における該ブロックの予測誤差信号の再生値が得られるまで、直交変換回路100より供給された直交変換係数が差分回路112に供給されるタイミングを遅延させる。
【0130】
差分回路112では、遅延回路400より供給される直交変換係数と、局部復号回路200bより線22を介して供給される変換係数の予測値との予測誤差が計算され、差分回路410に供給される。差分回路410では、差分回路112より供給される第2階層L2での予測誤差と、線41を介して供給される第1階層L1での予測誤差の再生値との差分が計算され、量子化回路122に供給され、ここで当該差分は量子化される。
【0131】
量子化回路122にて量子化された予測誤差信号の差分は、可変長符号化回路132と逆量子化回路142に供給される。可変長符号化回路132では予測誤差信号の差分の量子化値が可変長符号化され、線32を介して出力される。
【0132】
逆量子化回路142では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得た後、加算回路420において線41を介して供給される第1階層L1の予測誤差信号の再生値を加算して、第2階層L2の予測誤差信号の再生値を得た後、線42を介して局部復号回路200bに供給する。
【0133】
第M階層LMにおいては、遅延回路401では、線43を介して第M−1階層LM−1 における該ブロックの予測誤差信号の再生値が得られるまで、直交変換回路100より供給された直交変換係数が差分回路113に供給されるタイミングを遅延させる。そして、差分回路113では、遅延回路401より供給される直交変換係数と、局部復号回路200Mより線23を介して供給される変換係数の予測値との予測誤差が計算され、差分回路411に供給される。
【0134】
差分回路411では、差分回路113より供給される第M階層での予測誤差と、線43を介して供給される第M−1階層LM−1 での予測誤差の再生値との差分が計算され、量子化回路123に供給されてここで量子化される。そして、この量子化回路123にて量子化された予測誤差信号の差分は、可変長符号化回路133と逆量子化回路143に供給される。
【0135】
可変長符号化回路133では予測誤差信号の差分の量子化値が可変長符号化され、線33を介して出力される。逆量子化回路143では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得た後、これに加算回路421において線43を介して供給される第M−1階層LM−1 の予測誤差信号の再生値を加算することで、第M階層LMの予測誤差信号の再生値を得、これを線44を介して局部復号回路200Mに供給する。
【0136】
ここで、第m(m=1〜M)階層Lmにおける量子化ステップサイズは、第m−1階層Lm−1 よりも小さくする。つまり、前段階層のものよりも量子化ステップサイズを小さくする。しかし、動き補償に用いる動きベクトルは各階層とも同じものを用いた方が良い。なお、可変長符号化回路131,132,133で用いられる可変長符号は、各々同じものでも良いし、各々別のものでも良い。
【0137】
このようにして、第2階層以上では自己より1段、下位までの各階層の局部復号信号を直交変換回路100から得られる変換係数から差し引くことで、自己の階層対応の次数の変換係数のうちの最高次の、すなわち、各階層別にその階層での最高次領域の周波項成分についての予測誤差信号値を求め、これを量子化して可変長符号化して出力することで、M階層に分けられてそれぞれ階層別にその階層での最大の周波項の成分についての予測誤差信号値を符号化したビットストリームを得る。
【0138】
これら各階層別のビットストリームは、伝送等に供する場合、例えば、多重化して出力するようにする。そして、復号化側では、これを分離化して各階層別のビットストリームに戻して使用する。
【0139】
図6は、図5の符号化装置でM階層に分けられて符号化されたビットストリームの中から、第m階層までのビットストリームを復号化して再生画像を得る復号化装置のブロック図である。
【0140】
図6において、151,152,153は可変長復号化回路であり、161,162,163は逆量子化回路であり、430,431は加算回路であり、300はである。
【0141】
可変長復号化回路151と逆量子化回路161で第1階層L1のビットストリームを復号化し、可変長復号化回路152、逆量子化回路162で第2階層L2のビットストリームを復号化し、 可変長復号化回路153、逆量子化回路163で第n階層Lnのビットストリームを復号化する。
【0142】
このような構成において、符号化装置で符号化された各階層対応の符号化ビットストリームは、線51,52,53を介して対応する階層用の可変長復号化回路151,152,153に供給される。そして、各々供給された対応階層の符号化ビットストリームは、これら可変長復号化回路151,152,153にてそれぞれ予測誤差信号あるいは予測誤差信号の差分に復号された後、対応する階層の逆量子化回路161,162,163に供給される。
【0143】
逆量子化回路162,163では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得る。そして、加算回路430において、第m階層から第2階層までの予測誤差の差分の再生値を加算して、加算回路431に供給する。また、逆量子化回路161では、第1階層の予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、加算回路431に供給する。そして、この加算回路431で加算回路430が求めた第m階層から第2階層までの予測誤差の差分の再生値の加算値と加算されて、m階層分の合計の予測誤差信号の再生値が求められ、これは線60を介して復号回路300に供給される。
【0144】
ここで、局部復号回路200a,200b,〜200M−1 および復号回路300に本発明の第1の具体例を適用したとすると、画質がM階層に、そして、解像度がN階層に分割されたビットストリームが構成され、その一部をデコードすることで所望の画質mと解像度nの再生画像が得られるようになる(図7参照)。
【0145】
(第3の具体例)
図8、図9および図10を用いて、本発明の第3の具体例の説明をする。第3の具体例は、画像中から注目像の部分の像だけを所望の解像度で符号化することができるようにした技術であって、本具体例では、前記第1の具体例をアルファマップ信号で示された任意形状の画像に適用するものである。
【0146】
図8(a)は任意形状の画像を符号化する符号化装置の構成例であり、図において、180はアルファマップ符号化回路、181は多重化回路、105は直交変換回路、115は差分回路、125は量子化回路、135は可変長復号化回路、145は逆量子化回路、500は局部復号化回路、501は加算回路、502は逆直交変換回路、503はフレームメモリ、504は動き補償予測回路、505は直交変換回路である。
【0147】
この具体例では、画像信号の他に、この画像信号の画像に対応するアルファマップ情報(画像の位置を示す情報で例えば、画像を二値化したもの)をも作成して本システムに入力されるものとする。
【0148】
アルファマップ符号化回路180は、前記画像のアルファマップ情報を入力として受け、これを符号化して線82に出力するものであり、また、符号化したアルファマップ信号を復号する機能を有していてこれによって復号したアルファマップ信号の局部復号信号を線81を介して出力する機能を有する。
【0149】
直交変換回路105は前記画像信号と、線81を介して供給されるアルファマップ信号の局部復号信号が入力され、アルファマップ信号の局部復号信号を参照して画像の抽出すべき部分の画像信号について直交変換して出力するものである。
【0150】
アルファマップは画像の注目部分を示す二値デ−タであり、これを参照することで、画像のどの部分が注目部分であるかがわかる仕組みである。
【0151】
局部復号回路500は、直交変換回路105で直交変換され、動き補償予測値分を差し引いた差分である予測誤差値の信号(予測誤差信号)を、予測値分補償した画像から、アルファマップの局部復号信号に基づいて動き補償予測値を求めて直交変換し、予測値として出力するものである。
【0152】
多重化回路181はアルファマップ符号化回路180から出力される前記画像のアルファマップ情報の符号化信号と、可変長復号化回路135の出力する画像誤差信号の符号化信号を多重化して出力するものである。
【0153】
このような構成おいて、アルファマップ符号化回路180では、入力されるアルファマップの情報を符号化する。そして、符号化されたアルファマップ信号を線82を介して出力し、また、この符号化されたアルファマップ信号を復号化してこれをアルファマップ信号の局部復号信号として線81を介し、局部復号回路500と直交変換回路105に出力する。
【0154】
一方、直交変換回路105においては、線10を介して画像信号が入力されるが、この画像信号を、線81を介して供給されるアルファマップの局部復号信号に基づいて直交変換する。そして、この直交変換されて得られた係数は、差分回路115に与えられる。
【0155】
差分回路115では、直交変換回路105より供給される直交変換係数と、局部復号回路500より線25を介して供給される変換係数の予測値との予測誤差が計算され、量子化回路125に供給されて、ここで量子化される。
【0156】
そして、この量子化回路125にて量子化された予測誤差信号は、可変長符号化回路135と逆量子化回路145に供給される。可変長復号化回路135では予測誤差信号の量子化値を可変長符号化する。そして、この可変長符号化した信号は線35へと出力することになる。
【0157】
一方、逆量子化回路145では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線45を介して局部復号回路500に供給する。
【0158】
局部復号回路500では、線45を介して供給される予測誤差信号の再生値と線25を介して供給される予測値とを加算回路501にて加算することにより、変換係数の再生値を得た後、逆直交変換回路502に供給する。
【0159】
逆直交変換回路502では、線81を介して供給されるアルファマップの局部復号信号に基づいて加算回路501より供給された変換係数を逆変換し、局部復号信号を出力してフレームメモリ503に与える。
【0160】
そして、フレームメモリ503では、この逆直交変換回路502より供給される局部復号画像を蓄積する。動き補償予測回路504では、フレームメモリ503に蓄積されている局部復号画像信号を用い、これより、線81を介して供給されるアルファマップの局部復号信号に基づいて注目画像部分についてのみの動き補償予測値を生成し、直交変換回路505に供給する。直交変換回路505では、線81を介して供給されるアルファマップの局部復号信号に基づいて動き補償予測値を直交変換し、変換係数を線25を介して出力する。
【0161】
なお、直交変換回路105,505、および逆直交変換回路502には、例えば、特願平7‐97073号に開示した技術である任意形状画像信号の直交変換法を適用すると良い。
【0162】
符号化されたアルファマップ信号は線82を介して、符号化された変換係数は線35を介して、各々多重化回路181に供給されて多重化された後、線85を介してビットストリームとして出力される。
【0163】
このようにして、注目画像部分を抽出して可変長符号化したものと、注目画像部分を示す符号化されたアルファマップ信号とを多重化して、ビットストリーム化する。
【0164】
図8(b)は、注目画像の動き補償予測値を、目的とする解像度で精度良く得ることができるようにする局部復号回路500の具体例である。ここでは、階層別にそれぞれ誤差信号を得て最後に統合することで精度の良い予測値を得るようにしたものであり、511は加算回路、512は逆直交変換回路、513はフレームメモリ、514は動き補償予測回路、515は直交変換回路、520は係数選択回路、530は係数統合回路、540は解像度変換回路である。
【0165】
逆直交変換回路512、フレームメモリ513、動き補償予測回路514各々は、変換係数がN×Nの構成であるとすれば、変換係数が“1×1”〜“N×N”の構成のものをそれぞれ取得できるようにするために、“1×1”用、“2×2”用、〜“N−1×N−1”用、“N×N”用のそれぞれ独立した系統を用意してあり、合計N系統分(N階層分)の構成としてある。
【0166】
解像度変換回路540は線81を介して与えられるアルファマップの局部復号信号を水平・垂直共にn/N倍(n=1〜N)に解像度変換してN階層ピラミッドの信号として線83に出力するものである。
【0167】
加算回路511は線45を介して供給される予測誤差信号の再生値と線25を介して供給される予測値とを加算する回路であり、この加算により変換係数の再生値を得るものである。
【0168】
係数選択回路520は、加算回路511からの変換係数の再生値を受け、線83を介して供給されるN階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択して第1〜第N階層各々の相当する変換係数を得ることにより、N階層ピラミッドを得るものである。
【0169】
逆直交変換回路512は、この各々の階層の変換係数のうち、対応の階層の変換係数を逆直交変換して出力するものであって、各階層別の逆直交変換回路512では、各階層毎に線83を介して供給されるアルファマップ信号ピラミッドにしたがって、係数選択回路520より供給された変換係数を逆変換して局部復号信号を得ることにより、局部復号信号ピラミッドを得る。
【0170】
各々の階層のフレームメモリ513は、対応する階層の逆直交変換回路512より供給される局部復号信号を蓄積して局部復号画像を得るものである。各々の階層の動き補償予測回路514は、対応する階層のフレームメモリ513に蓄積されている局部復号画像信号を用い、各階層毎に線83を介して供給されるアルファマップ信号ピラミッドにしたがって、その階層における動き補償予測値を生成して対応する階層の直交変換回路515に供給するものである。
【0171】
また、各々の階層の直交変換回路515は、対応する階層の動き補償予測値を、各階層毎に線83を介して供給されるアルファマップ信号にしたがって、直交変換するものであり、この直交変換した変換係数のうち、その階層における最大周波項での変換係数を係数統合回路530に供給するものである。
【0172】
係数統合回路530は、各階層の直交変換回路515から出力された変換係数を統合して線25に出力するものである。
【0173】
すなわち、第1乃至第N階層の各階層別直交変換回路515は、各階層別動き補償予測回路514のうちのそれぞれ対応する階層の生成する動き補償予測値を受けて直交変換するものであり、例えば、第1階層用の系統の直交変換回路515(OT1 )であれば、直流成分の周波数帯(第1低周波項)の動き補償予測値を、第2階層用の系統の直交変換回路515(OT2 )であれば、直流成分の次の周波数帯(第2低周波項)の動き補償予測値を、第3階層用の系統の直交変換回路515(OT3 )であれば、直流成分の次々周波数帯(第3低周波項)の動き補償予測値を、第N階層用の系統の直交変換回路515(OTN )であれば、最上位項の周波数帯(第N周波項)の動き補償予測値を、出力するものである。
【0174】
そして、係数統合回路530は、各直交変換回路515から出力された各階層の動き補償予測値の直交変換による変換係数を受けて、帯域毎に統合したN×N個の変換係数予測値を線25を介して出力するものである。
【0175】
このような構成において、アルファマップ符号化回路180より線81を介して解像度変換回路540に供給されたアルファマップの局部復号信号は、この解像度変換回路540において解像度変換され、水平・垂直共にn/N倍(n=1〜N)に解像度変換されて第1階層から第N階層までの各階層相当の変換係数を得ることにより、変換係数についてのN階層のピラミッドが作成される。
【0176】
この解像度変換されたN階層のピラミッドは、それぞれ階層対応の動き補償予測回路514(MC1 〜MCN )に線83を介して出力される。また、線83を介して出力されるN階層のピラミッドは、係数選択回路520,逆直交変換回路512,直交変換回路515,係数統合回路530にも入力される。
【0177】
一方、逆量子化回路145で逆量子化された出力(予測誤差信号の再生値)は、係数統合回路530から出力される変換係数予測値(各階層の変換係数を帯域毎に統合した変換係数予測値)と加算回路511にて加算されることにより、変換係数の再生値が得られる。そして、このようにして得た変換係数の再生値は、係数選択回路520に供給される。
【0178】
係数選択回路520では、線83を介して供給されるN階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択してN階層のピラミッドを構成し、各々の階層の変換係数を各階層対応の逆直交変換回路512に供給する。各階層の逆直交変換回路512では、各階層毎に線83を介して供給されるアルファマップ信号ピラミッドにしたがって、係数選択回路520より供給された変換係数を逆変換して局部復号信号を得ることにより、局部復号信号ピラミッドを得る。
【0179】
この局部復号信号はそれぞれ対応の階層のフレームメモリ513に与えられ、これらフレームメモリ513では、対応する階層の逆直交変換回路512より供給される局部復号信号を蓄積して局部復号画像を得る。これにより、局部復号信号ピラミッドを各階層毎に蓄積して局部復号画像ピラミッドを得ることができる。
【0180】
局部復号画像ピラミッドは動き補償予測回路514に与えられる。各階層別の動き補償予測回路514では、対応する階層のフレームメモリ513に蓄積されている局部復号画像信号を用い、各階層毎に線83を介して供給されるアルファマップ信号ピラミッドにしたがって、動き補償予測値を生成して対応する階層の直交変換回路515に供給する。
【0181】
各階層の直交変換回路515では、入力される動き補償予測値をアルファマップ信号にしたがって直交変換することにより、各階層別の変換係数を得る。すなわち、直交変換回路515では各階層毎に線83を介して供給されるアルファマップ信号ピラミッドにしたがって直交変換し、この変換により各階層で得たそれぞれの最高次数の周波数項における変換係数を係数統合回路530に供給する。係数統合回路530では、これら各階層の変換係数を帯域毎に統合した変換係数予測値を線25を介して出力する。
【0182】
なお、直交変換回路515、逆直交変換回路512、および係数選択回路520には、特願平7‐97073号に開示した技術である解像度変換が可能な任意形状画像信号の直交変換法を適用すると良い。
【0183】
係数統合回路530から出力されたこれら各階層の変換係数を、帯域毎に統合した変換係数予測値は局部復号回路500の出力として線25を介して図8(a)の差分回路115に与えることにより、当該差分回路115では、直交変換回路105より供給される直交変換係数と、局部復号回路500より線25を介して供給される変換係数の予測値との予測誤差が計算され、量子化回路125に供給されて、ここで量子化される。
【0184】
そして、この量子化回路125にて量子化された予測誤差信号は、可変長符号化回路135と逆量子化回路145に供給され、可変長復号化回路135では予測誤差信号の量子化値が可変長符号化され、線35を介して出力される。
【0185】
一方、逆量子化回路145では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線45を介して局部復号回路500に供給することになり、これを元に局部復号回路500において、動き補償予測を行って変換係数予測値を求め、差分回路115に返されることになる。
【0186】
このようにして、画像の注目画像部分を抽出して注目画像部分についてのみの動き補償予測値に対する前フレーム画面の当該注目画像部分の動き補償予測値との誤差分を得、これを可変長符号化したものと、注目画像部分を示す符号化されたアルファマップ信号とを多重化して、ビットストリーム化して出力する。
【0187】
このビットストリーム化したものを再生するには、次のようにする。
【0188】
図9は、図8の符号化装置で符号化されたビットストリームを復号化して再生画像を得る、復号化装置のブロック図である。
【0189】
図9(a)において、190は分離化回路、191はアルファマップ復号化回路、155は可変長復号化回路、165は逆量子化回路、600は復号回路である。これらのうち、分離化回路190はアルファマップに関する符号と、変換係数に関する符号に分離するものであり、アルファマップ復号化回路191はこの分離されたアルファマップ信号を再生し、線92を介して復号回路600に供給するものである。
【0190】
可変長復号化回路155は、分離化回路190にて分離して供給された予測誤差信号に関する符号の符号化ビットストリームを、予測誤差信号に復号するものであり、逆量子化回路165はこの復号された予測誤差信号を逆量子化して予測誤差信号の再生値を得るものであり、復号回路600はこの予測誤差信号の再生値とアルファマップの復号信号に基づいて、再生値を求めて出力するものである。
【0191】
復号回路600は、加算回路601、逆直交変換回路602(IOTN )、フレームメモリ603(FMN )、動き補償予測回路604(MCN )、直交変換回路605(OTN )とより構成される。
【0192】
加算回路601は線65を介して与えられる信号と直交変換回路605(OTN )の出力を加算する回路であり、逆直交変換回路602(IOTN )は、この加算回路601出力を、アルファマップ復号化回路191からのアルファマップにしたがって逆直交変換して再生信号を得、これを線75に出力するものである。
【0193】
また、フレームメモリ603(FMN )は、逆直交変換回路602(IOTN )からの信号を蓄積してフレーム画像を得るものであり、動き補償予測回路604(MCN )は、このフレーム画像から動き補償予測を行うものであり、直交変換回路605(OTN )はこの動き補償予測されて得られた値をアルファマップ信号にしたがって直交変換して変換係数を得、加算回路601に与えるものである。
【0194】
このような構成において、図8の多重化回路181からの出力である多重化された符号化ビットストリームは、線90を介して分離化回路190に供給される。
【0195】
すると分離化回路190においてはこの符号化ビットストリームを、アルファマップに関する符号と、変換係数に関する符号に分離する。そして、アルファマップに関する符号は、線91を介してアルファマップ復号化回路191に供給され、また、予測誤差信号に関する符号については線55を介して可変長復号化回路155に供給される。
【0196】
アルファマップ復号化回路191では、アルファマップに関する符号からアルファマップ信号を再生し、線92を介して復号回路600に供給する。
【0197】
一方、線55を介して可変長復号化回路155に供給された符号化ビットストリームは、ここで予測誤差信号に復号されたのち、逆量子化回路165に供給される。逆量子化回路165では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線65を介して復号回路600に供給する。そして、復号回路600では、線92を介して供給されるアルファマップの復号信号に基づいて、再生値を求めて線75を介して出力する。
【0198】
復号回路600の具体例を図9(b)に示す。図において、640は解像度変換回路、610は係数選択回路、611は加算回路、612は逆直交変換回路、613はフレームメモリ、514は動き補償予測回路、615は直交変換回路、630は係数統合回路である。
【0199】
これらのうち、逆直交変換回路612、フレームメモリ613、動き補償予測回路514、直交変換回路615各々は、変換係数が符号化装置側での変換係数がN×Nの構成であり、復号化はこのうちの所望構成“n×n”(n=1〜N;Nは自然数)を復元するとして、この場合、変換係数が“1×1”〜“n×n”の構成のものをそれぞれ取得できるようにするために、“1×1”用、“2×2”用、〜“n×n”用のそれぞれ独立した系統を用意してあり、合計N系統分(N階層分)の構成としてある。
【0200】
解像度変換回路640は線92を介して与えられるアルファマップの局部復号信号を水平・垂直共にn/N倍(n=1〜N)に解像度変換してn階層ピラミッドの信号として逆直交変換回路612,直交変換回路615に出力するものである。逆直交変換回路612,直交変換回路615は各階層対応に設けられており、従って、解像度変換された信号はその信号の対応する階層対応のものに入力される構成である。
【0201】
加算回路611は線65を介して与えられる信号と係数統合回路630の出力を加算する回路であり、係数選択回路610はこの加算回路611からの変換係数の再生値を受け、解像度変換回路640より供給されるN階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択して第1〜第N階層各々の相当する変換係数を得ることにより、N階層ピラミッドを得るものである。
【0202】
また、階層毎の逆直交変換回路612は係数選択回路610より与えられる第1〜第N階層各々の相当する変換係数のうち、対応する階層のものを受けてそれぞれ変換係数を逆変換し、復元して再生信号を得るものであり、本システムではこのうち、目的の解像度に対応する階層の出力を最終的な再生信号として用いる構成である。
【0203】
各階層のフレームメモリ613は、各階層毎の逆直交変換回路612のうち、自己対応の階層の逆直交変換回路の出力を得てこれを蓄積し、その階層対応の解像度のフレーム画像を得るものであり、動き補償予測回路514は各階層毎のフレームメモリ613のうち、自己対応の階層用のフレームメモリからの画像を得てこれよりその階層における画像の動き補償予測値を得るものであり、直交変換回路615は各階層別に設けられており、それぞれ対応の階層の動き補償予測値を直交変換すると共に、この直交変換した変換係数のうち、その階層における最大周波項での変換係数を出力するものである。
【0204】
係数統合回路630は、各階層の直交変換回路615から出力された変換係数を統合して加算回路611に出力するものである。
【0205】
すなわち、第1乃至第N階層用の各階層別直交変換回路615は、各階層別動き補償予測回路614のうちのそれぞれ対応する階層の生成する動き補償予測値を受けて直交変換し、その階層での最大周波項の変換係数を出力するものであり、例えば、第1階層用の系統の直交変換回路515(OT1 )であれば、直流成分の周波数帯(第1低周波項)の動き補償予測値を、第2階層用の系統の直交変換回路515(OT2 )であれば、直流成分の次の周波数帯(第2低周波項)の動き補償予測値を、第3階層用の系統の直交変換回路515(OT3 )であれば、直流成分の次々周波数帯(第3低周波項)の動き補償予測値を、第N階層用の系統の直交変換回路515(OTN )であれば、最上位項の周波数帯(第N周波項)の動き補償予測値を出力する。
【0206】
そして、係数統合回路630は、各直交変換回路515から出力された各階層の動き補償予測値の直交変換による変換係数を受けて、帯域毎に統合したn×n個の変換係数予測値を加算回路611に与えるものである。
【0207】
このような構成において、解像度変換回路640は線92を介して与えられるアルファマップの局部復号信号を水平・垂直共にn/N倍に解像度変換してn階層ピラミッドの信号として逆直交変換回路612,直交変換回路615に出力する。逆直交変換回路612,直交変換回路615は各階層対応に設けられており、従って、解像度変換された信号はその信号の対応する階層対応のものに入力される。
【0208】
一方、加算回路611には線65を介して逆量子化回路165から与えられる信号と係数統合回路630の出力が与えられ、加算回路611は両者を加算して変換係数の再生値を得てこれを係数選択回路610に与える。係数選択回路610はこの加算回路611からの変換係数の再生値を受け、解像度変換回路640より供給されるN階層のアルファマップ信号ピラミッドにしたがって、変換係数を選択して第1〜第N階層各々の相当する変換係数を得ることにより、N階層ピラミッドを得る。このN階層ピラミッドは、階層毎の逆直交変換回路612のうちの対応する階層のものに入力される。
【0209】
すなわち、階層毎の逆直交変換回路612では係数選択回路610より与えられる第1〜第N階層各々の相当する変換係数のうち、対応する階層のものを受けることになり、それぞれ受けた変換係数を逆変換し、再生信号を得る。そして、本システムではこのうち、目的の解像度に対応する階層の出力を最終的な再生信号として用いる。
【0210】
階層毎の逆直交変換回路612の出力は、また、各階層別に設けられたフレームメモリ613のうちの対応する階層のものに入力される。これにより各階層別のフレームメモリ613は、それぞれ各階層毎の逆直交変換回路612のうち、自己対応の階層の逆直交変換回路の出力を得てこれを蓄積し、その階層対応の解像度のフレーム画像を得る。
【0211】
各階層別の動き補償予測回路514は各階層毎のフレームメモリ613のうち、自己対応の階層用のフレームメモリからの画像を得てこれよりその階層における画像の動き補償予測値を得る。そして、これを各階層別に設けられた直交変換回路615の対応する階層のものに入力する。各階層別の直交変換回路615では、それぞれ対応の階層の動き補償予測値を直交変換すると共に、この直交変換した変換係数のうち、その階層における最大周波項での変換係数を係数統合回路630に出力する。
【0212】
そして、係数統合回路630は、各階層の直交変換回路615から出力された変換係数を統合して加算回路611に出力する。
【0213】
このように、図9(b)の構成に関しては、図8(b)と同様のプロセスで、N階層ピラミッドのうちの第n階層までの再生画像を求める。そして、所望とする再生画像の解像度が第n階層対応のものであれば、各階層毎の逆直交変換回路612の出力のうち、第n階層用の出力を再生信号として用いる。
【0214】
なお、解像度変換回路540,解像度変換回路640における縮小・拡大変換に利用できる技術としては、例えば、“尾上編:画像処理ハンドブック、p.630,昭晃堂”に記載されている“2値画像の解像度変換法”を用いれば良い。
【0215】
以上第3の具体例においては、画像中から注目像の部分の像だけを所望の解像度で符号化することができると共に、再生側ではこれと同等もしくはそれ以下の解像度での画像を得ることができるようになる。
【0216】
(第4の具体例)
次に、図10を用いて本発明の第4の具体例を説明する。第4の具体例は図5で説明した第2の具体例の技術において、任意形状の画像を符号化することができるようにする技術である。
【0217】
図10は、第4の具体例が適用されるSNRスケーラビリティ実現のための符号化回路部の構成を示すブロック図である。図において、105は直交変換回路、180はアルファマップ符号化回路、181は多重化回路、126,127,128は量子化回路、136,137,138は可変長符号化回路、500a,500b,〜500Mは局部復号回路、405〜408は遅延回路、116,117,118,415,416は差分回路、146,147,148は逆量子化回路、425,426は加算回路である。
【0218】
アルファマップ符号化回路180は、前記画像のアルファマップ情報を入力として受け、これを符号化して線82に出力するものであり、また、符号化したアルファマップ信号を復号する機能を有していてこれによって復号したアルファマップ信号の局部復号信号を線81を介して出力する機能を有する。
【0219】
また、局部復号回路500aを持つ第1階層L1の構成要素は、ベースレイヤの符号化信号を得るためのものであり、局部復号回路500bを持つ第2階層L2の構成要素は、エンハンスレイヤの符号化信号を得るためのものであり、局部復号回路500Mを持つ第M階層LMの構成要素は、エンハンスレイヤの符号化信号を得るためのものである。
【0220】
図10の直交変換回路105には、線10を介して画像信号が供給され、また、線81を介してアルファマップの局部復号信号が供給される。そして、直交変換回路105は、画像信号をアルファマップの局部復号信号に基づいて直交変換する。
【0221】
図10のアルファマップ符号化回路180には、線80を介してアルファマップ符号が入力され、一方、直交変換回路105には、線10を介して画像信号が供給される。そして、アルファマップ符号化回路180はこれを符号化して多重化回路181に出力すると共に、符号化したアルファマップを復号化し、線81を介して直交変換回路105に与える。
【0222】
多重化回路181では、アルファマップ符号化回路180からのアルファマップ符号化出力と、可変長符号化回路136からの出力を多重化して出力する。
【0223】
直交変換回路105では、線10を介して供給された画像信号を、線81を介してアルファマップの局部復号信号に基づいて直交変換し、この直交変換したことにより得られた直交変換係数を、第1階層L1の差分回路116と第2階層L2の遅延回路405,406と 〜第M階層LMの遅延回路407,408とに与える。
【0224】
そして、第1階層L1における差分回路116では、直交変換回路105より供給される直交変換係数と、局部復号回路500aより線26を介して供給される変換係数の予測値との予測誤差が計算され、量子化回路126に供給される。そして、この量子化回路126にて量子化される。量子化された予測誤差信号は、可変長符号化回路136と逆量子化回路146に供給される。可変長符号化回路136では予測誤差信号の量子化値が可変長符号化され、線36を介して出力される。
【0225】
また、逆量子化回路146では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線46を介して局部復号回路500と第2階層L2に供給する。そして、第2階層においては、まず遅延回路406にて、線46を介して第1階層L1における該ブロックの予測誤差信号の再生値が得られるまで、直交変換回路105より供給された直交変換係数が差分回路117に供給されるタイミングを遅延させる。
【0226】
また、遅延回路405では、遅延回路406と同様に線81を介して供給されるアルファマップ信号を遅延させた後、線86を介して第2階層L2の局部復号回路500に供給する。
【0227】
差分回路117では、遅延回路406より供給される直交変換係数と、局部復号回路500bより線27を介して供給される変換係数の予測値との予測誤差が計算され、差分回路415に供給される。そして、差分回路415では、差分回路117より供給される第2階層L2での予測誤差と、線46を介して供給される第1階層L1での予測誤差の再生値との差分が計算され、量子化回路127に供給される。そして、量子化回路127ではこれを量子化する。
【0228】
量子化回路127にて量子化された予測誤差信号の差分は、可変長符号化回路137と逆量子化回路147に供給される。
【0229】
可変長符号化回路137では予測誤差信号の差分の量子化値が可変長符号化され、線37を介して第2階層L2の可変長符号化信号として出力されることになる。
【0230】
また、予測誤差信号の差分の量子化出力を受けた逆量子化回路147では、これを逆量子化し、予測誤差信号の差分の再生値に戻した後、加算回路425において線46を介して供給される第1階層L1の予測誤差信号の再生値を加算することにより、第2階層の予測誤差信号の再生値を得る。そして、この第2階層の予測誤差信号の再生値を、線47を介して局部復号回路500bに供給する。
【0231】
また、第M階層LMにおいては、直交変換回路105の出力は、まず遅延回路408において所定の時間、遅延される。すなわち、ここでの遅延量は、線48を介して第M−1階層LM−1 における該ブロックの予測誤差信号の再生値が得られるまでに相当する遅延時間であり、直交変換回路105より供給された直交変換係数が差分回路118に供給されるまでのタイミング分が遅延される。
【0232】
また、遅延回路407では、遅延回路408と同様に線81を介して供給されるアルファマップ信号を遅延させた後、線87を介して第M階層LMの局部復号回路500Mに供給される。
【0233】
差分回路118では、遅延回路408より供給される直交変換係数と、局部復号回路500Mより線28を介して供給される変換係数の予測値との予測誤差が計算され、差分回路416に供給される。そして、差分回路416では、差分回路118より供給される第M階層LMでの予測誤差と、線48を介して供給される第M−1階層LM−1 での予測誤差の再生値との差分が計算され、量子化回路128に供給されて、ここで量子化される。
【0234】
量子化回路128にて量子化された予測誤差信号の差分は、可変長符号化回路138と逆量子化回路148に供給される。可変長符号化回路138では予測誤差信号の差分の量子化値が可変長符号化され、第M階層LMでの可変長符号化信号として線38を介して出力されることになる。
【0235】
また、一方、逆量子化回路148では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得た後、加算回路426において線48を介して供給される第M−1階層の予測誤差信号の再生値を加算して、第M階層LMの予測誤差信号の再生値を得た後、線49を介して局部復号回路500Mに供給する。
【0236】
このようにして第2の具体例の技術において、任意形状の画像を符号化することができるようになる。
【0237】
つぎに、復号化装置を説明する。
【0238】
図11は第4の具体例において符号化された信号を復号化する装置の構成図である。図において、190は分離化回路、191はアルファマップ復号化回路、156,157,158は可変長復号化回路、166,167,168は逆量子化回路、435,436は加算回路、600は復号回路である。
【0239】
分離化回路190は多重化回路181で多重化された第1階層の符号化信号とアルファマップの符号化信号との多重化信号を分離化して、第1階層の符号化信号とアルファマップの符号化信号に戻すものであり、アルファマップ復号化回路191は分離化回路190で分離されたアルファマップの符号化信号を復号して元のアルファマップを得るものであり、可変長復号化回路156は分離化回路190で分離された第1階層の符号化信号を復号化するものであり、逆量子化回路166はこの復号化された信号を逆量子化して元の誤差値に戻すものであり、可変長復号化回路157は、復号化装置側の第2階層L2の可変長符号化回路137で符号化されたものを復号化するものであり、逆量子化回路167はこれを逆量子化して第2階層L2用の元の誤差値に戻すものであり、可変長復号化回路158は、復号化装置側の第m階層Lmの可変長符号化回路138で符号化されたものを復号化するものであり、逆量子化回路168はこれを逆量子化して第m階層Lm用の元の誤差値に戻すものである。
【0240】
また、加算回路435は第3階層L3用の元の誤差値と第2階層L2用の元の誤差値とを加算するものであり、加算回路436は加算回路435の出力と第1階層L1用の元の誤差値とを加算するものである。
【0241】
復号回路600は加算回路436の出力とアルファマップ復号化回路191の出力であるアルファマップとから、注目画像部分の再生信号を復号化して出力するものである。
【0242】
図11において、線90を介して分離化回路190に供給された第1階層L1の符号化ビットストリームは、アルファマップに関する符号と、変換係数に関する符号に分離され、各々線91と線56を介して出力される。線56,57,58を介して可変長復号化回路156,157,158に各々供給された符号化ビットストリームは、予測誤差信号あるいは予測誤差信号の差分に復号されたのち逆量子化回路166,167,168に各々供給される。
【0243】
逆量子化回路167,168では、予測誤差信号の差分を逆量子化して予測誤差信号の差分の再生値を得る。そして、加算回路435において、第m階層Lmから第2階層L2までの予測誤差の差分の再生値を加算して、加算回路436に供給する。第1階層L1用の逆量子化回路166では、第1階層L1の予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、加算回路436に供給して、ここで第m階層Lmから第2階層L2までの分の予測誤差信号の再生値を加算する。加算回路436で求められた第m階層Lmから第1階層L1までの分の予測誤差信号の再生値の合計値は線65を介して復号回路600に供給される。
【0244】
そして、復号回路600はこれらの再生値の合計値とアルファマップとを元に、注目画像部分の画像の再生信号を得る。
【0245】
このようにして、任意形状の画像を符号化すると共に、これを復号化することができるようになる。
【0246】
(第5の具体例)
図12、図13および図14を用いて、本発明の第5の具体例の説明をする。第5の具体例は第m階層の符号化効率を向上させる技術である。
【0247】
本具体例は、前記第2の具体例および第4の具体例において、第m階層での予測信号を、第m−1階層の復号信号と第m階層の動き補償予測信号とを適用的に切り換えることにより求めることで、第m階層の符号化効率を向上させるものである。
【0248】
以下では、ベースレイヤとエンハンスレイヤの2階層にした場合の、本具体例を第2の具体例に適用した例を示す。第4の具体例に付いても同様に適用することができる。
【0249】
《第5の具体例における符号化装置の構成例》
図12は、本発明の符号化装置のブロック図である。この符号化装置は直交変換回路100、局部復号回路200および700、遅延回路409、差分回路110および119、量子化回路120および129、可変長符号化回路130および139、逆量子化回路140および149とから構成される。
【0250】
局部復号回路700は、加算回路701と逆直交変換回路(IOTN )、フレームメモリ703(FMN )、動き補償予測回路704(MCN )、直交変換回路705(OTN )、セレクタ706とより構成される。
【0251】
直交変換回路100において、線10を介して供給される画像信号は、N×N画素毎に直交変換され、N×N個の変換係数が得られる。ベースレイヤは第1、第3の具体例と同一の構成であり、局部復号信号200における加算回路201の出力信号である該ブロックの変換係数の再生信号と、量子化回路120の出力である該ブロックの変換係数の動き補償予測誤差信号の量子化値が、各々線BD と線PQ を介してエンハンスレイヤに供給される。
【0252】
エンハンスレイヤにおいては、当該レイヤにおける遅延回路409において、線BD を介して該ブロックの再生信号が得られるまでの時間分、直交変換回路100より供給された直交変換係数が差分回路119に供給されるタイミングを遅延させる。
【0253】
差分回路119では、直交変換回路100より供給される直交変換係数と、局部復号回路700より線29を介して供給されるN×N個の変換係数の予測値との予測誤差が計算され、量子化回路129に供給される。量子化回路129にて量子化された予測誤差信号は、可変長符号化回路139と逆量子化回路149に供給される。
【0254】
可変長符号化回路139では予測誤差信号の量子化値が可変長符号化され、線39を介して出力される。逆量子化回路149では、予測誤差信号を逆量子化することにより得た予測誤差信号の再生値を、局部復号回路700に供給する。
【0255】
局部復号回路700では、逆量子化回路149より供給される予測誤差信号の再生値と線29を介して供給される予測値とを加算回路701にて加算することにより、変換係数の再生値を得、これを逆直交変換回路702に供給する。
【0256】
逆直交変換回路702では加算回路701より供給された変換係数を逆変換して局部復号信号を出力する。そして、フレームメモリ703では、逆直交変換回路702より供給されるN×N画素毎の局部復号信号を蓄積して局部復号画像を得る。動き補償予測回路704では、フレームメモリ703に蓄積されている局部復号画像信号を用いて動き補償予測値を生成し、直交変換回路705に供給する。
【0257】
直交変換回路705では、動き補償予測値をN×N画素毎に直交変換し、変換係数を線EMCを介してセレクタ706に出力する。セレクタ706では、線BD と線EMCを介して供給された変換係数を、線PQ を介して供給されるベースレイヤでの動き補償予測誤差信号の変換係数の量子化値にしたがって、適応的に切り換える。
【0258】
図13は、セレクタ706に適用している文献(T.K.Tan et.al.“A Frequency Scalable Coding SchemeEmploying Pyramid and Subband Techniques”,IEEE Trans.CAS for Video Technology,Vol.4,No.2,Apr.1994)に記載されている切り換え手段の例である。
【0259】
図13において、PQ は量子化回路120の出力、BD は局部復号回路200における加算回路201の出力、EMCは局部復号回路700における直交変換回路705の出力であり、量子化回路120の出力PQ である量子化値の中で、“0”で無い係数(白丸で囲んだもの)は動き補償予測が当たらなかった係数である。ここで、動き補償予測回路704においてベースレイヤと同じ動きベクトルを用いて動き補償予測を行っているため、エンハンスレイヤにおいても同じ係数の動き補償予測は当たらない。
【0260】
一方、エンハンスレイヤを符号化する前にベースレイヤの符号化を終了させておけば、ベースレイヤの再生信号を用いることができる。従って、図13における出力PQ の量子化値の中で、この白丸で囲んである係数は、ベースレイヤの再生信号をセレクタ706において選択して線29を介して出力するようにする。なお、出力PQ を用いてセレクタ706を係数毎に切り換える点は前記文献と同じである。しかし、本具体例ではベースレイヤの再生を予測値に用いている点が異なる。
【0261】
《第5の具体例における復号化装置の構成例》
図14は、図12の符号化装置で2階層に分けられて符号化されたビットストリームを復号化して再生画像を得るための復号化装置のブロック図である。この復号化装置は、可変長復号回路150および159、逆量子化回路160および169、復号回路300および800とより構成される。
【0262】
エンハンスレイヤの復号回路800は、加算回路801、逆直交変換回路802、フレームメモリ803、動き補償予測回路804、直交変換回路805、フセレクタ806とより構成される。
【0263】
図14において、ベースレイヤは第1、第3の具体例と同一の構成であり、加算回路301の出力信号である該ブロックの変換係数の再生信号BD と、可変長復号回路150の出力である該ブロックの変換係数の動き補償予測誤差信号の量子化値PQ が、エンハンスレイヤのセレクタ806に供給される。
【0264】
エンハンスレイヤにおいては、線59を介して可変長復号化回路159に供給された符号化ビットストリームは、予測誤差信号に復号された後、逆量子化回路169に供給される。逆量子化回路169では、予測誤差信号を逆量子化して予測誤差信号の再生値を得た後、線69を介して復号回路800に供給する。
【0265】
復号回路800では、線69を介して供給される予測誤差信号の再生値とセレクタ806より供給される予測値とを加算回路801にて加算することにより変換係数の再生値を得た後、逆直交変換回路802に供給する。そして、逆直交変換回路802では加算回路801より供給された変換係数を逆変換して復号信号を線79を介して出力する。
【0266】
フレームメモリ803では、逆直交変換回路802より供給されるN×N画素毎の復号信号を蓄積して復号画像を得る。動き補償予測回路804では、フレームメモリ803に蓄積されている復号画像信号を用いて動き補償予測値を生成し、直交変換回路805に供給する。
【0267】
直交変換回路805では、動は補償予測値をN×N画素毎に直交変換し、変換係数を線EMCを介して出力する。セレクタ806では、再生信号BD と直交変換回路805の出力である変換係数EMCを、ベースレイヤでの動き補償予測誤差信号の変換係数の量子化値PQ (可変長復号回路150の出力)にしたがって、適応的に切り換える。ここで、セレクタ806はセレクタ706と同じ動作をする。
【0268】
以上、本具体例は、前記第2の具体例および第4の具体例において、第m階層での予測信号を、第m−1階層の復号信号と第m階層の動き補償予測信号とを適用的に切り換えることにより求めるようにしたものであり、これにより、第m階層の符号化効率を向上させることができるようになる。
【0269】
上記の具体例では、変換基底がブロック間でオーバラップしていない例を示した。
【0270】
一方、“文献:如澤他、動き補償フィルタバンク構造を用いた画像符号化、PCSJ92,8−5,1992”では、基底がオーバラップしている場合でも変換後差分構成を取ることで符号化効率の低下の少ない動き補償フィルタバンク構造を用いた符号化法を提案している。本発明のように直交変換係数領域での予測符号化装置(変換後差分構成)には、上記文献の考え方が適用できるので、動き補償フィルタバンク構造を、第1〜第5の具体例に適用しても良い。
【0271】
以上種々の例を説明したが、本発明は、多階層に解像度や画質を可変にすることが可能なスケーラブル符号化法において、ドリフトによる画質劣化や、大幅な符号化効率低下の無い動画像符号化・復号化装置を提供することを目的としたものであり、N×N個(N:自然数)の変換係数毎に変換係数領域での動き補償予測を用いた動き補償予測+変換符号化において、
局部復号された変換係数を低域からn×n個(n=1〜N)選択することにより、N階層の変換係数ピラミッドを作成し、このN階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、N階層の再生画像ピラミッドを作成し、このN階層の再生画像ピラミッドを各階層別に蓄積してそれぞれフレーム画像を得、この各フレーム画像を参照して、各階層毎に動き補償予測信号を作成し、この動き補償予測信号を各階層毎にそれぞれ変換係数に変換し、それぞれの階層での最高次の変換係数を抽出してこれを統合することにより、動き補償予測値を作成するようにした。そして、これを符号化するようにした。
【0272】
また、復号化は復号化して得た変換係数のうち、必要な解像度対応の階層における最高次の変換係数を含むそれ以下の低次の変換係数を抽出してこれを逆変換することにより必要な解像度対応の階層における動き補償予測値を得て再生信号とするようにした。
【0273】
従って、符号化側での分解能より低い任意の分解能で復号化する場合においても、ミスマッチが生じることがなく、多階層に解像度や画質を可変にすることが可能なスケーラブル符号化法において、ドリフトによる画質劣化や、大幅な符号化効率低下の無い動画像符号化・復号化装置が得られることになる。
【0274】
【発明の効果】
以上、本発明によれば、ドリフトの影響や、大幅や符号化効率の低下無しに、任意形状画像の解像度と画質を多段階に可変可能なスケーラブル符号化が実現される。
【図面の簡単な説明】
【図1】本発明を説明するための図であって、本発明による画像符号化装置および画像復号化装置が適用される画像伝送システムの一例を示す図。
【図2】本発明を説明するための図であって、本発明の第1の具体例における符号化装置の構成例を示すブロック図。
【図3】本発明を説明するための図であって、本発明の第1の具体例における局部復号回路を説明するための図。
【図4】本発明を説明するための図であって、本発明の第1の具体例における復号化装置の構成例を示すブロック図。
【図5】本発明を説明するための図であって、本発明の第2の具体例の構成例を示すブロック図。
【図6】図5の符号化装置でM階層に分けられて符号化されたビットストリームの中から、第m階層までのビットストリームを復号化して再生画像を得る復号化装置のブロック図。
【図7】スケーラビリティを説明する図。
【図8】本発明を説明するための図であって、本発明の第3の具体例における符号化装置の構成例を示すブロック図。
【図9】本発明を説明するための図であって、本発明の第3の具体例における復号化装置の構成例を示すブロック図。
【図10】本発明を説明するための図であって、本発明の第4の具体例における符号化回路部の構成を示すブロック図。
【図11】本発明を説明するための図であって、本発明の第4の具体例における復号化回路部の構成例を示すブロック図。
【図12】本発明を説明するための図であって、本発明の第5の具体例における符号化装置の構成例を示すブロック図。
【図13】本発明を説明するための図であって、本発明の第5の具体例における予測値切り換え法を説明する図。
【図14】本発明を説明するための図であって、本発明の第5の具体例における復号化装置の構成例を示すブロック図。
【図15】従来技術を説明するための図であって、MPEG2のSNRスケーラビリティのブロック図。
【図16】従来技術を説明するための図であって、MPEG2の空間スケーラビリティのブロック図。
【図17】アルファマップを説明する図。
【図18】先行技術である任意形状画像の直交変換を説明する図。
【図19】先行技術である任意形状画像の解像度変換を説明する図。
【符号の説明】
100,105,205,305,505,605,705,805…直交変換回路
110〜113,115〜119,410,411,415,416…差分回路
120〜123,125〜129…量子化回路
130〜133,135〜139…可変長符号化回路
140〜149,160〜169…逆量子化回路
150〜153,155〜159…可変長復号化回路
180…アルファマップ符号化回路
181…多重化回路
190…分離化回路
191…アルファマップ復号化回路
200,200a〜200M,500,500a〜500M,700…局部復号回路
300,600,800…復号回路
201,211,301,311,420,421,425,426,430,431,435,436,501,511,601,611,701,801…加算回路
202,302,502,602,702,802…逆直交変換回路
203,303,503,603,703,803…フレームメモリ
204,304,504,604,704,804…動き補償予測回路
212,312,512,612…逆直交変換回路ピラミッド
213,313,513,613…フレームメモリピラミッド
214,314,514,614…動き補償予測回路ピラミッド
215,315,515,615…直交変換回路ピラミッド
220,320,520,620…係数選択回路
230,330,530,630…係数統合回路
400,401,405,406,407,408…遅延回路。
Claims (4)
- 直交変換によるN×N個(N:自然数)の変換係数毎に変換係数領域での動き補償予測値を用い、画像信号を直交変換によるN×N個の変換係数に変換してこれに前記動き補償予測値分の補正を加えた予測誤差信号を得、これを符号化してビットストリームを得る動画像の符号化装置において、局部復号された変換係数を低域からn×n個(n=1〜N)選択することにより、第1階層から第N階層までのN階層のうち、少なくとも2つの変換係数ピラミッドを作成する手段と、前記N階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、N階層の再生画像ピラミッドを作成する手段と、N階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている各階層毎の画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換すると共に、各階層毎にその階層での最高次領域の変換係数をそれぞれ得る手段と、前記各階層での最高次領域の変換係数を統合することにより前記動き補償予測値を得る手段と、を有することを特徴とする画像符号化装置。
- 請求項1記載の符号化装置により得られた符号化ビットストリームを復号する復号化装置において、前記符号化ビットストリームを復号して変換係数に再生する手段と、この再生した変換係数に動き補償予測値分の補正を施した変換係数を得る手段と、この動き補償予測値分の補正を施した変換係数から、第1乃至第n階層(n=1〜N)までの各階層対応の符号を階層別に取り出して、n階層の変換係数ピラミッドを作成する手段と、n階層の変換係数ピラミッドを各階層毎に逆変換を施すことにより、n階層の再生画像ピラミッドを作成すると共に、第n階層の再生画像の情報を目的の再生画像とする手段と、n階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照して、各階層毎に動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎に変換係数に変換すると共に、各階層毎にその階層での最高次領域の変換係数をそれぞれ得る手段と、前記それぞれ得た最高次領域の変換係数を統合することにより前記動き補償予測値を得る手段とを有し、第n階層の再生画像を再生することを特徴とする画像復号化装置。
- 直交変換によるN×N個の変換係数毎に変換係数領域での動き補償予測値を用い、画像信号を直交変換によるN×N個の変換係数に変換してこれに前記動き補償予測値分の補正を加えた予測誤差信号を得、これを符号化してビットストリームを得る動画像符号化を用いる装置において、入力画像の背景とオブジェクトを識別するアルファマップ信号を受けてこれを符号化する手段と、前記入力画像のうち、前記アルファマップにしたがった対応領域の画像について直交変換することにより、任意形状画像を変換係数に変換して出力する手段と、前記アルファマップにしたがって前記変換係数を逆変換することにより、任意形状画像を再生する手段と、符号化されたアルファマップ信号を解像度変換してN階層のアルファマップ信号ピラミッドを作成する手段と、各階層毎に、アルファマップ信号にしたがって局部復号された変換係数を低域からn階層分(n=1〜N)選択することにより、N階層の変換係数ピラミッドを作成する手段と、このN階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、N階層の再生画像ピラミッドを作成する手段と、前記N階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照し、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより動き補償予測値を作成する手段を有する動画像符号化装置。
- 請求項3記載の符号化装置において、符号化された符号化ビットストリームを復号化する画像復号化装置であって、前記符号化ビットストリームから、第n階層(n=1〜N)までの符号を取り出す手段と、前記符号化ビットストリームからアルファマップ信号を復号する手段と、復号されたアルファマップ信号を解像度変換してN階層のアルファマップ信号ピラミッドを作成する手段と、復号された変換係数から、アルファマップ信号ピラミッドにしたがってn階層の変換係数ピラミッドを作成する手段と、前記n階層の変換係数ピラミッドを各階層毎にアルファマップ信号にしたがって逆変換を施すことにより、n階層の再生画像ピラミッドを作成する手段と、前記n階層の再生画像ピラミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄積されている画像を参照し、各階層毎にアルファマップ信号にしたがって動き補償予測信号を作成する手段と、前記動き補償予測信号を各階層毎にアルファマップ信号にしたがって変換係数に変換する手段と、前記アルファマップ信号ピラミッドにしたがって前記変換係数を統合することにより復号側動き補償予測値を作成する手段と、前記復号側動き補償予測値と前記予測誤差信号の再生値を加算する加算手段と、この加算手段からの変換係数再生値から第n階層の変換係数再生値を選択し再生画像を再生する手段とを具備することを特徴とする動画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27718195A JP3576660B2 (ja) | 1995-09-29 | 1995-09-29 | 画像符号化装置および画像復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27718195A JP3576660B2 (ja) | 1995-09-29 | 1995-09-29 | 画像符号化装置および画像復号化装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004073470A Division JP3914214B2 (ja) | 2004-03-15 | 2004-03-15 | 画像符号化装置および画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0998434A JPH0998434A (ja) | 1997-04-08 |
JP3576660B2 true JP3576660B2 (ja) | 2004-10-13 |
Family
ID=17579942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27718195A Expired - Fee Related JP3576660B2 (ja) | 1995-09-29 | 1995-09-29 | 画像符号化装置および画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3576660B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100480751B1 (ko) * | 1998-10-10 | 2005-05-16 | 삼성전자주식회사 | 동영상부호화/복호화방법및장치 |
FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
US6920175B2 (en) * | 2001-01-03 | 2005-07-19 | Nokia Corporation | Video coding architecture and methods for using same |
CN1849828A (zh) | 2003-07-09 | 2006-10-18 | 日本电气株式会社 | 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置和计算机程序 |
TWI255146B (en) * | 2003-12-04 | 2006-05-11 | Nec Corp | Moving picture encoding method and device, and moving picture decoding method and device, and storage medium |
US7949518B2 (en) * | 2004-04-28 | 2011-05-24 | Panasonic Corporation | Hierarchy encoding apparatus and hierarchy encoding method |
JP3936708B2 (ja) * | 2004-05-26 | 2007-06-27 | 日本電信電話株式会社 | 画像通信システム,通信会議システム,階層符号化装置,サーバ装置,画像通信方法,画像通信プログラムおよび画像通信プログラム記録媒体 |
US7995656B2 (en) | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
-
1995
- 1995-09-29 JP JP27718195A patent/JP3576660B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0998434A (ja) | 1997-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3788823B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
US6173013B1 (en) | Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal | |
KR100621581B1 (ko) | 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치 | |
JP2935934B2 (ja) | 圧縮動画像データ生成方法及びデコード方法 | |
US7889793B2 (en) | Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer | |
KR100791299B1 (ko) | 다 계층 기반의 비디오 인코딩 방법 및 장치 | |
US7010043B2 (en) | Resolution scalable video coder for low latency | |
US20070291847A1 (en) | Video-signal layered coding and decoding methods, apparatuses, and programs | |
JP2005507589A (ja) | 空間拡張可能圧縮 | |
JP2005507589A5 (ja) | ||
JPH06197334A (ja) | 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体 | |
CA2543947A1 (en) | Method and apparatus for adaptively selecting context model for entropy coding | |
JP2005507590A (ja) | 空間拡張可能圧縮 | |
EP1659797A2 (en) | Method and apparatus for compressing motion vectors in video coder based on multi-layer | |
JP2007174568A (ja) | 符号化方法 | |
JP2005507590A5 (ja) | ||
JP2011193531A (ja) | 動画像符号化装置及び動画像復号装置と、その方法及びプログラム | |
JP4382284B2 (ja) | サブバンドの符号化/復号 | |
JP2007266749A (ja) | 符号化方法 | |
JP3576660B2 (ja) | 画像符号化装置および画像復号化装置 | |
JP3518733B2 (ja) | 物体単位映像信号符号化/復号化装置及び方法 | |
JP4660408B2 (ja) | 符号化方法 | |
JP4209134B2 (ja) | 圧縮ビットストリームをアップサンプリングする方法および装置 | |
JP3914214B2 (ja) | 画像符号化装置および画像復号化装置 | |
KR100601609B1 (ko) | 동화상 복호화 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040708 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |