JP3869303B2 - 画像復号化方法及び装置 - Google Patents
画像復号化方法及び装置 Download PDFInfo
- Publication number
- JP3869303B2 JP3869303B2 JP2002119631A JP2002119631A JP3869303B2 JP 3869303 B2 JP3869303 B2 JP 3869303B2 JP 2002119631 A JP2002119631 A JP 2002119631A JP 2002119631 A JP2002119631 A JP 2002119631A JP 3869303 B2 JP3869303 B2 JP 3869303B2
- Authority
- JP
- Japan
- Prior art keywords
- orthogonal transform
- block
- content
- circuit
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号を高能率に符号化して伝送または蓄積することを可能とする画像復号化方法及び装置に関する。
【０００２】
【従来の技術】
従来の画像符号化装置、例えばＭＰＥＧで規定された動画像符号化装置では、図３６に示すように入力された画像信号を８×８画素の正方ブロックに分割した後、２次元離散コサイン変換（ＤＣＴ）を施して符号化している。
【０００３】
一方、J.Y.A.Wang et.al“Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”，M.I.T.MediaLab.Tech.Report No.263,Feb.1994（文献１）には、図３７に示すように背景と被写体（以後、コンテントと呼ぶ）を分けて符号化する技術が開示されている。このように背景やコンテントを別々に符号化するために、コンテントの形状や画面内の位置を表すアルファマップと呼ばれるマップ信号が用意される。この符号化法によると、コンテント毎に画質を変えたり、特定のコンテントのみを再生したりすることができる。ただし、図３６に示したように画面内を正方ブロックに分割して符号化する場合には、図３８に示すようにコンテントの境界部を含むブロック、すなわちコンテントの内部と外部にまたがるエッジブロックについては別個に処理を行う必要がある。
【０００４】
また、画面内の統計的性質や被写体の形状に合わせて、画面内を任意形状のブロックに分割して符号化する方法が提案されている。このような任意形状の直交変換方法は、“松田他、「ＤＣＴを用いた画像の可変ブロックサイズ形状変換符号化の検討」、信学秋季全大D-146,1992”（文献２）に記載されている。本明細書では、この変換法をＡＳ−ＤＣＴと呼ぶことにする。ＡＳ−ＤＣＴでは、まず図３９（ａ）に示すように水平（または垂直）方向に１次元のＤＣＴを施し、次に図３９（ｂ）に示すように低域のＤＣＴ係数から順に並べ換えた後、垂直（または水平）方向に１次元ＤＣＴを施している。
【０００５】
また、“松田他、「ＤＣＴを用いた画像の可変ブロック形状変換符号化の性能評価」、PCSJ92,7-10,1992”（文献３）では、水平方向と垂直方向の変換の順序として、実際に符号化を行ってみて符号化効率の高い方の変換順序を選択することで符号化効率の改善を図っている。
【０００６】
さらに、“K.R.Rao/P.Yip 共著、安田浩／藤原洋共訳「画像符号化技術−ＤＣＴとその国際標準−」，7.3,pp.164〜165,オーム社”（文献４）には、２次元ＤＣＴを利用して画像信号の解像度変換を実現する方法が記載されている。すなわち、図４０に示すように、２次元ＤＣＴによって得られたＤＣＴ係数の一部を取り出し、次数の異なるＤＣＴで逆変換することで解像度の変換が実現できる。
【０００７】
【発明が解決しようとする課題】
グラフィックディスプレイのような画像システムにおいては、多様な画像効果を実現するために、画面内のコンテントを解像度変換して縮小や拡大を行うことが望まれる。コンテントの形状は種々のものがあり、これら任意形状のコンテントについて解像度変換を行う必要がある。しかし、例えば文献２に記載された任意形状の直交変換法であるＡＳ−ＤＣＴでは、変換対象のブロックがエッジブロック、つまりコンテントの境界部を含むブロックである場合には、解像度変換を実現することができない。
【０００８】
本発明の目的は、コンテントの境界部を含むブロックについて解像度変換を行うことができる画像復号化方法及び装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため、本発明では画像信号の方形状のブロック毎に入力される画面内のコンテントの位置および形状を表す符号化されたマップ信号を復号し（第１の復号化）、この第１の復号化により復号されたマップ信号を解像度変換する。一方、符号化された直交変換係数を復号し（第２の復号化）、この第２の復号化により復号された直交変換係数から解像度変換されたマップ信号に基づいて所定解像度の画像を再生するために必要な直交変換係数を選択し、この選択された直交変換係数を逆直交変換して、逆直交変換結果から解像度変換された再生画像信号を得る。そして、前記逆直交変換において、選択された直交変換係数のうちコンテントの内部に位置するブロックについては全ての係数を２次元逆直交変換し、コンテントの境界部を含むブロックについてはコンテントの内部に含まれる係数を２次元または１次元逆直交変換することを特徴とする。
【００１０】
ここで、逆直交変換においては例えばコンテントの境界部を含むブロックについては、コンテントの内部に含まれる変換係数を水平または垂直方向に並べ換えた後、水平または垂直方向に１次元逆直交変換を行い、元の画素位置に並べ換えを行った後、垂直または水平方向に１次元逆直交変換を行う。
【００１１】
また、画像符号化側においてコンテント内部の画像信号の水平および垂直方向の相関が大きいと判定された方向から先に１次元直交変換を行うように１次元直交変換の方向を切り換えた場合は、その切り換え情報に基づいて第１の画像復号化装置において１次元逆直交変換の方向を切り換えるようにする。
【００１２】
このように本発明では、コンテントの位置および形状を表すマップ信号に従って画像信号のうちコンテントの内部に位置するブロック（内部ブロック）は全画素の信号、コンテントの境界部を含むブロック（エッジブロック）はコンテントの内部に含まれる画素の信号をそれぞれ２次元直交変換して変換係数を符号化すると共に、マップ信号を符号化しておき、マップ信号を復号し解像度変換したマップ信号に基づいて、復号した直交変換係数から所望解像度の画像を再生するために必要な直交変換係数を選択し、内部ブロックは全ての係数、エッジブロックはコンテントの内部に含まれる係数をそれぞれ２次元逆直交変換して、解像度変換された再生画像信号を得ることにより、任意形状のコンテントを含むエッジブロックについて解像度変換を行うことができる。
【００１３】
この場合、２次元直交変換における水平および垂直方向の１次元直交変換の順序を切り換えられるようにしておき、コンテント内部の画像信号の水平および垂直方向のそれぞれの相関を検出して、相関の高い方向について先に１次元直交変換を行うことで、符号化効率を向上させることができる。
【００１４】
【実施形態】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像符号化装置の構成を示すブロック図である。入力の画像信号１０は、図示しないブロック化回路により複数の正方ブロックに分割された後、減算回路１００に供給される。減算回路１００では、動き補償予測回路１１０より供給される動き補償予測信号と入力画像信号１０との差分である予測誤差信号３０が求められ、直交変換回路２００に供給される。
【００１５】
直交変換回路２００では、予測誤差信号３０をブロック毎に供給されるアルファマップ信号２０に従って直交変換係数に変換した後、量子化回路１２０に供給する。量子化回路１２０で量子化された変換係数は、可変長符号化回路１４０により符号化されると共に、逆量子化回路１３０によって逆量子化される。逆量子化された変換係数４０は、逆直交変換回路３００によって逆変換された後、加算回路１５０において動き補償予測回路１１０より供給される動き補償予測信号と加算される。
【００１６】
加算回路１５０の出力である局部復号画像信号は、動き補償予測回路１１０内のフレームメモリに蓄えられる。可変長符号化回路１４０で符号化された変換係数と、アルファマップ符号化回路１６０により符号化されたアルファマップ信号は、多重化回路１７０において動きベクトル情報等のサイド情報と共に多重化され、符号化ビットストリーム５０として出力される。なお、アルファマップ信号は二値画像の符号化法、例えばＭＭＲ（Modified Modified Read）により符号化される。
【００１７】
次に、図１における直交変換回路２００および逆直交変換回路３００について詳細に説明する。図２および図３は、それぞれ直交変換回路２００および逆直交変換回路３００の詳細な構成を示すブロック図である。
【００１８】
図２に示す直交変換回路２００はスイッチ回路２１０、ＡＳ−ＤＣＴ回路２２０およびＤＣＴ回路２３０からなり、アルファマップ信号２０はスイッチ回路２１０とＡＳ−ＤＣＴ回路２２０に供給される。スイッチ回路２１０では、入力される予測誤差信号３０のブロックが図３８中に示した外部ブロック、内部ブロック、エッジブロックのいずれかであるかを判定し、内部ブロックである場合には予測誤差信号３０をＤＣＴ回路２３０に供給し、エッジブロックつまりコンテントの境界部を含むブロックである場合には予測誤差信号３０をＡＳ−ＤＣＴ回路２２０に供給する。なお、該ブロックが外部ブロックである場合には符号化しないか、または他の方法で符号化するものとする。
【００１９】
図４はＡＳ−ＤＣＴ回路２２０の構成を示す図であり、図６はＡＳ−ＤＣＴの変換手順の例である。図６に示すように、入力されたエッジブロック中で斜線で示されるコンテントの内部に含まれる画素を最初に並べ換え回路２２１により左端に寄せ集める。次に、ＤＣＴ回路２２２において斜線で示される画素について水平方向に１次元ＤＣＴを行う。次に、並べ換え回路２２３において網線で示される変換係数を上端に寄せ集める。最後に、ＤＣＴ回路２２４において網線で示される変換係数について垂直方向に１次元ＤＣＴを行う。なお、並べ換えおよびＤＣＴの順序を入れ替えて処理することも可能である。
【００２０】
図３に示す逆直交変換回路３００は、スイッチ回路３１０、ＡＳ−ＩＤＣＴ回路３２０およびＩＤＣＴ回路３３０からなり、アルファマップ信号２０はスイッチ回路３１０とＡＳ−ＩＤＣＴ回路３２０に供給される。
【００２１】
図５は、ＡＳ−ＩＤＣＴ回路３２０の構成を示す図であり、ＩＤＣＴ回路３２１、並べ換え回路３２２、ＩＤＣＴ回路３２３および並べ換え回路３２４からなる。このように、逆直交変換回路３００では直交変換回路２００と逆の操作が行われる。
【００２２】
次に、本実施形態における画像復号化装置について説明する。図７は、図１の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図である。入力される符号化ビットストリーム６０は、分離化回路４００において変換係数やアルファマップ信号の成分に分離される。変換係数の符号は可変長復号回路４１０により復号された後、逆量子化回路４２０により逆量子化される。一方、アルファマップ信号はアルファマップ復号化回路４３０により復号された後、解像度変換回路４４０によって所望の解像度に変換される。
【００２３】
解像度変換回路４４０は、二値画像信号であるアルファマップ信号を解像度変換する。このような２値画像の解像度変換法としては、例えば、“画像処理ハンドブック、ｐ．６３０、昭晃堂”（文献５）に記載されている拡大縮小法を用いることができる。係数選択回路４５０では、解像度変換回路４４０で解像度が変換されたアルファマップ信号を前述したＡＳ−ＤＣＴの変換手順と同様に、図８に示すように水平方向に並べ換えた後、垂直方向に並べ換えることで、該解像度の再生画像を得るのに必要な変換係数の帯域を求める。なお、図８は解像度を水平・垂直共に５／８に解像度変換した例である。
【００２４】
次に、逆量子化回路４２０より供給される変換係数から必要な帯域の係数を選択し、逆直交変換回路４６０に供給する。逆直交変換回路４６０では、内部ブロックの変換係数については５×５の２次元ＩＤＣＴを施し、エッジブロックの変換係数については解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従ってＡＳ−ＩＤＣＴを施し、逆変換した信号を加算回路７４０に供給する。加算回路４７０では、動き補償回路４８０より供給される動き補償予測信号と逆直交変換回路４６０から供給される信号とを加算して得られた再生画像信号７０を出力する。
【００２５】
（第２の実施形態）
次に、図９〜図１５を用いて第２の実施形態を説明する。
図９は、本実施形態に係る画像符号化装置の構成を示すブロック図である。本実施形態において、直交変換回路２５０および逆直交変換回路３５０は、図２中のＡＳ−ＤＣＴ回路２２０および図３中のＡＳ−ＩＤＣＴ回路３２０の変換の順序を切り換えられるようにしたＡＳ−ＤＣＴ回路およびＡＳ−ＩＤＣＴ回路を構成要素として有する。そして、予測誤差信号３０の水平および垂直方向のそれぞれの相関を相関検出回路１８０により検出し、相関の高い方向を表す信号（切り換え信号）２１を直交変換回路２５０、逆直交変換回路３５０および多重化回路１７０に供給する。相関検出回路１８０において相関を検出する手段としては、例えば水平方向と垂直方向とで各々隣接画素間の２乗誤差を計算する方法がある。
【００２６】
図１０および図１１は、それぞれ直交変換回路２５０および逆直交変換回路３５０の詳細な構成を示すブロック図である。図１０に示す直交変換回路２５０は図２と同様に、スイッチ回路２１０、ＡＳ−ＤＣＴ回路２６０およびＤＣＴ回路２３０からなり、アルファマップ信号２０はスイッチ回路２１０とＡＳ−ＤＣＴ回路２６０に供給され、切り換え信号２１はＡＳ−ＤＣＴ回路２６０に供給される。図１１に示す逆直交変換回路３５０はスイッチ回路３１０、ＡＳ−ＩＤＣＴ回路３６０およびＩＤＣＴ回路３３０からなり、アルファマップ信号２０はスイッチ回路３１０とＡＳ−ＩＤＣＴ回路３６０に供給され、切り換え信号２１はＩＤＣＴ回路３３０に供給される。
【００２７】
図１２および図１３は、それぞれ図１０中のＡＳ−ＤＣＴ回路２６０および図１１中のＡＳ−ＩＤＣＴ回路３６０の構成を示すブロック図であり、図１４はＡＳ−ＤＣＴ回路２６０およびＡＳ−ＩＤＣＴ回路３６０において、変換の順序を切り換える方法を詳細に説明する図である。変換の順序は、図１２および図１３内の第１のスイッチ回路２６１，３６１および第２のスイッチ回路２６２，３６２を図１４図（ａ）および（ｂ）のように切り換えることで変更される。具体的には、スイッチ回路２６１，２６２および３６１，３６２は切り換え信号２１により水平方向の相関が高い場合には図１４（ａ）のように切り換えられ、垂直方向の相関が高い場合には図１４（ｂ）のように切り換えられる。なお、切り換え信号２１はブロック毎に１ビットで符号化して変更してもよいし、フレーム毎に１ビットで符号化して変更しても良い。
【００２８】
次に、本実施形態における画像復号化装置について説明する。図１５は、図９の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図である。図７に示した第１の実施形態の画像復号化装置と異なる点は、入力される符号化ビットストリーム６０から分離化回路４００において分離された変換順序の切り換え信号６１を逆直交変換回路４６１に供給しているところである。逆直交変換回路４６１は、図１１に示す画像符号化装置内の逆直交変換回路３５０と同様に構成され、切り換え信号６１により図１４で説明したように逆変換の順序を切り換えている。
【００２９】
次に、図１６および図１７を用いてＡＳ−ＤＣＴの変換係数のスキャン法の具体例を説明する。一般に、正方ブロックのＤＣＴ係数を符号化する場合には、ジグザグスキャンした後、係数の大きさとゼロランレングスの合成事象を２次元可変長符号化を用いて符号化している（「画像符号化技術−ＤＣＴとその国際標準−」、pp.288〜290 参照）。一方、ＡＳ−ＤＣＴではブロックの形状により、図１６に示すように変換係数の分布が水平方向ｈや垂直方向ｖに偏在する場合がある。従って、本実施形態ではアルファマップ信号により特定できる変換係数の分布に適合させてスキャンの順序を画像符号化装置および画像復号化装置双方においてそれぞれ決定している。
【００３０】
図１６は、スキャン順序決定手順の例である。まず、アルファマップ信号２０（０：コンテント外部、１：コンテント内部）を水平方向ｈおよび垂直方向ｖに並べ換え、変換係数の分布（ｍａｐ［ｖ］［ｈ］：ｖ、ｈ＝０〜ｓｉｚｅ−１）を得る。次に、以下にＣ言語で記述する手順により、スキャン順序（ｏｒｄｅｒ［ｖ］［ｈ］：ｖ、ｈ＝０〜ｓｉｚｅ−１）を決定する。
【００３１】
更に、符号化データにスケーラブル機能を実現するために数々のスキャン方法が提案されている（「画像符号化技術−ＤＣＴとその国際標準−」、図7.144 参照）。
【００３２】
図１７は、ＡＳ−ＤＣＴにおけるスケーラブル機能を実現するためのスキャン方法決定回路のブロック図である。解像度変換回路４４０においては、アルファマップ信号８０を解像度変換し（例えば、水平・垂直方向共に１／２）、第１の水平・垂直並べ換え回路４４１に供給する。また、第２の水平・垂直並べ換え回路４４２には解像度変換されないアルファマップ信号８０が供給される。水平・垂直並べ換え回路４４１，４４２では、図１６に示されているような並べ換えが行われ、その結果（ｍａｐ［ｖ］［ｈ］）が各々第１のスキャン順序決定回路４４４および排他的論理和計算回路４４３に供給される。
【００３３】
第１のスキャン順序決定回路４４４では、図１６に示した手順で解像度変換されたアルファマップ信号のスキャン順序（低域成分の順序）を決定し、そのスキャン順序の情報８１を第２のスキャン順序決定回路４４５に供給する。排他的論理和計算回路４４３では、第１の水平・垂直並べ換え回路４４１より供給される低解像度のｍａｐ［ｖ］［ｈ］と、第２の水平・垂直並べ換え回路４４２より供給される高解像度のｍａｐ［ｖ］［ｈ］との差分がとられ、この差分８２が第２のスキャン順序決定回路４４５に供給される。
【００３４】
第２のスキャン順序決定回路４４５では、第１のスキャン順序決定回路４４４で決定された低域成分のスキャン順序に引き続いて、高域成分スキャン順序が決定され、低域と高域成分を合わせたスキャン順序を示す情報８３が出力される。このアルゴリズムは、更に多段階に分割してスキャン順序を決定する場合にも適用可能である。
【００３５】
（第３の実施形態）
次に、図１８〜図２１を用いて第３の実施形態を説明する。
図１８は、本実施形態に係る画像符号化装置の構成を示すブロック図である。平均値分離回路５００では、アルファマップ信号２０に従って予測誤差信号３０がエッジブロックの信号であれば、平均値分離回路５００でコンテントの内部の信号（図１９の斜線部）の平均値を算出して分離し、コンテントの外部の信号は全て０にする。この処理により、図１９の中央の正方ブロックのブロック内平均値は０となる。このブロック内平均値０の信号３２をＤＣＴ回路２３０に供給して２次元ＤＣＴを施すと、図１９の右側の正方ブロックのようにＤＣ成分は０となる。この際、コンテント外部の信号を平均値が０となる条件の下で、外挿した信号に置き換えてもよい。
【００３６】
平均値分離回路５００において算出された平均値３１は、ＤＣＴ回路２３０より供給されるＤＣＴの交流変換係数と共に量子化回路１２１に供給され、量子化された後に逆量子化回路１３１および可変長符号化回路１４０に供給される。逆量子化回路１３１では、平均値および交流変換係数を逆量子化する。量子化された平均値４１は平均値合成回路５１０に、また量子化された交流変換係数４２は逆ＤＣＴ回路３３０にそれぞれ供給される。
【００３７】
平均値合成回路５１０では、逆ＤＣＴ回路３３０において逆変換された信号をアルファマップ信号２０に従って、コンテントの内部の信号に平均値４１を合成することで再生画像信号を得る。この際、コンテントの外部の信号は、例えば０にリセットしておく。
【００３８】
次に、本実施形態における画像復号化装置について説明する。図２０は、図１８の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図であり、図２１は解像度変換された信号を再生する手順を示す図である。図２０において、逆量子化回路４２１では平均値および交流変換係数を逆量子化し、平均値６２を介して平均値合成回路５１１に、交流変換係数６３を係数選択回路４５１へそれぞれ供給する。逆ＤＣＴ回路４６２では、係数選択回路４５１において選択された所望の解像度を得るのに必要な帯域の変換係数に対してＤＣＴを施す（図２１の例では、５×５の２次元ＩＤＣＴ）。
【００３９】
平均値合成回路５１１では、逆ＤＣＴ回路４６２によって逆変換された信号を解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従って、コンテント内部の信号に平均値６２を合成することで、再生画像信号を得る。
【００４０】
（第４の実施形態）
次に、図２２〜図２５を用いて第４の実施形態を説明する。
図２２は、本実施形態に係る画像符号化装置の構成を示すブロック図である。平均値算出回路５０１では、アルファマップ信号２０に従って予測誤差信号３０がエッジブロックの信号であれば、コンテントの内部の画素（図２３の斜線部）の平均値ａを算出してし、平均値挿入回路５０２に供給する。この平均値挿入回路５０２では、図２３に示すようにコンテントの外部の画素値を全てコンテントの内部の画素値の平均値ａにする処理を行う（平均値挿入）。この処理により、図２３の中央の正方ブロックのブロック内平均値はａとなる。このブロック内平均値ａの信号をＤＣＴ回路２３０に供給して２次元ＤＣＴを施すと、図２３の右側の正方ブロックのようにＤＣ成分はＡ（＝８×ａ）となる。この際、コンテント外部の信号を平均値がａとなる条件の下で、外挿した信号に置き換えてもよい。
【００４１】
平均値挿入回路５０２の出力はＤＣＴ回路２３０に供給され、ＤＣＴ係数に変換された後、量子化回路１２０に供給され、量子化される。量子化された変換係数は、逆量子化回路１３０および可変長符号化回路１４０に供給される。逆量子化回路１３０では、量子化回路１２０より供給される変換係数を逆量子化し、逆ＤＣＴ回路３３０に供給する。
【００４２】
画素分離回路５１２では、逆ＤＣＴ回路３３０において逆変換された信号をアルファマップ信号２０に従って、コンテントの内部の画素信号を分離することで再生画像信号を得る。この際、コンテントの外部の信号は、例えば０にリセットしておく。
【００４３】
次に、本実施形態における画像復号化装置について説明する。図２４は、図２２の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図であり、図２５は解像度変換された信号を再生する手順を示す図である。図２４において、逆量子化回路４２０では変換係数を逆量子化して係数選択回路４５１へ供給する。逆ＤＣＴ回路４６２では、係数選択回路４５１において選択された所望の解像度を得るのに必要な帯域の変換係数に対してＤＣＴを施す（図２５の例では、５×５の２次元ＩＤＣＴ）。
【００４４】
画素分離回路５１３では、逆ＤＣＴ回路４６２によって逆変換された信号を解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従って、コンテント内部の画素の信号を分離することで、再生画像信号を得る。
【００４５】
（第５の実施形態）
次に、図２６〜図３０を用いて第５の実施形態を説明する。本実施形態は、ベクトル量子化（ＶＱ）による任意形状ブロックの符号化法を用いた例である。図２２は、本実施形態に係る画像符号化装置の構成を示すブロック図であり、図２３はエッジブロックにおける符号化手順を示す図である。
【００４６】
図２６において、ベクトル量子化器６００は予測誤差信号３０とコードブックに蓄えられているコードベクトルとをマッチングして、予測誤差信号３０と最も相関の高いコードベクトルを選択する。この際、図２７に示したようにエッジブロックに関しては、アルファマップ信号２０に従ってコンテントの内部の信号 （図の斜線部）のみでコードベクトルとのマッチングを行い、最も相関の高いコードベクトルのインデックス（図２７の例では、“２”）を出力する。
【００４７】
符号化回路１４１では、ベクトル量子化器６００より供給されるインデックスを可変長あるいは固定長で符号化して、多重化回路１７０に出力する。逆ベクトル量子化器６１０においては、図２８に示すようにベクトル量子化器６００より供給されるインデックスに対応するコードベクトルから、アルファマップ信号２０に従ってコンテントの内部の信号（図の斜線部）を切り出して再生画像信号を出力する。
【００４８】
次に、本実施形態における画像復号化装置について説明する。図２９は、図２６の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図であり、図３０は逆ベクトル量子化器６２０に設けられるコードブックである。入力される符号化ビットストリーム６０から分離回路４００により分離されたアルファマップ信号は、アルファマップ復号化回路４３０により復号され、解像度変換回路４４０により各サブバンド画像信号の解像度に解像度変換される。一方、分離回路４００により分離されたインデックスは復号化回路４１１により復号され、逆ベクトル量子化器６２０に供給される。
【００４９】
逆ベクトル量子化器６２０では、図３０に示すようにインデックスに対応する多重解像度表現されたコードベクトルの中から所望の解像度のコードベクトルを選択し、解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従って、コンテントの内部の信号（図の斜線部）を切り出す。この信号に基づいて、加算回路４７０および動き補償回路４８０により再生画像信号７０が得られる。
【００５０】
（第６の実施形態）
次に、図３１〜図３４を用いて第６の実施形態を説明する。図３１および図３２は、画像信号のサブバンド分割を説明する図である。入力画像信号は、帯域分割とダウンサンプリングによりサブバンド分割される。図３１は、入力画像を４帯域（ＬＬ，ＬＨ，ＨＬ，ＨＨ）や、帯域ＬＬを更に４帯域に分割して７帯域にサブバンド分割した例である。また、図３２は４帯域にサブバンド分割した際の各成分の空間周波数軸上における配置である。ここでは、入力画像信号を４帯域にサブバンド分割した例について述べる。
【００５１】
図３３は、本実施形態に係る画像符号化装置の構成を示すブロック図であり、入力画像信号１０はサブバンド分割回路７００において複数のサブバンド画像信号に分割された後、任意形状符号化回路７１０，７１１，７１２，７１３に入力される。任意形状符号化回路７１０においてはサブバンド画像信号ＬＬ、任意形状符号化回路７１１においてはサブバンド画像信号ＬＨ、任意形状符号化回路７１２においてはサブバンド画像信号ＨＬ、任意形状符号化回路７１３においてはサブバンド画像信号ＨＨをそれぞれ第１〜第４の実施形態のいずれかで説明した任意形状の符号化法により符号化する。この際、アルファマップ信号は解像度変換回路４４６により各サブバンド画像の解像度に変換され、任意形状符号化回路７１０，７１１，７１２，７１３にそれぞれ供給される。符号化されたアルファマップ信号およびサブバンド画像信号は多重化回路１７０を介して符号化ビットストリーム５０として出力される。
【００５２】
図３４は、図３３の画像符号化装置に対応する本実施形態に係る画像復号化装置の構成を示すブロック図である。入力される符号化ビットストリーム６０から分離回路４００により分離されたアルファマップ信号は、アルファマップ復号化回路４３０により復号され、解像度変換回路４４６により各サブバンド画像信号の解像度に解像度変換される。
【００５３】
一方、分離回路４００により分離されたサブバンド画像信号は任意形状復号化回路７２０，７２１，７２２，７２３に入力され、解像度変換回路４４６から供給されるアルファマップ信号に従って、任意形状復号化回路７２０においてはサブバンド画像信号ＬＬ、任意形状復号化回路７２１においてはサブバンド画像信号ＬＨ、任意形状復号化回路７２２においてはサブバンド画像信号ＨＬ、任意形状復号化回路７２３においてはサブバンド画像信号ＨＨがそれぞれ第１〜第４の実施形態で説明した任意形状の復号化法により再生される。すなわち、例えばエッジブロックについては、サブバンド画像信号のうちコンテントの内部の信号のみが復号化される。
【００５４】
再生された各サブバンド画像信号は、サブバンド合成回路７３０において所定解像度を得るために必要なサブバンド画像信号のみが合成され、再生画像信号７０として出力される。ここで、例えば再生画像信号７０としてサブバンド画像ＬＬのみを出力すれば、低解像度の画像が再生される。
【００５５】
次に、本発明の応用例として、本発明による画像符号化／復号化装置を適用した画像伝送システムの実施形態を図３５を用いて説明する。パーソナルコンピュータ（ＰＣ）１００１に備えら付けられたカメラ１００２より入力された画像信号は、ＰＣ１００１に組み込まれた画像符号化装置によって符号化される。この画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１００３により無線で送信され、他の無線機１００４によって受信される。無線機１００４で受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはワークステーション（ＥＷＳ）１００５に組み込まれた画像復号化装置によって復号され、ＥＷＳ１００５のディスプレイに表示される。
【００５６】
一方、ＥＷＳ１００５に備え付けられたカメラ１００６より入力された画像信号は、ＥＷＳ１００６に組み込まれた画像符号化装置を用いて上記と同様に符号化される。符号化データは、他の音声やデータの情報と多重化され、無線機１００４により無線で送信され、無線機１００３によって受信される。無線機１００３によって受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはＰＣ１００１に組み込まれた画像復号化装置によって復号され、ＰＣ１００１のディスプレイに表示される。
なお、データの送受信は無線でなく、有線伝送系を用いても構わない。
【００５７】
【発明の効果】
以上説明したように、本発明によれば任意形状のコンテントを含むエッジブロックについて解像度変換を行うことができ、またエッジブロックにおいて従来の符号化法と比べて符号化効率を低下させずに符号化を行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る画像符号化装置の構成を示すブロック図
【図２】図１における直交変換回路の構成を示すブロック図
【図３】図１における逆直交変換回路の構成を示すブロック図
【図４】図２におけるＡＳ−ＤＣＴ回路の構成を示すブロック図
【図５】図２におけるＡＳ−ＩＤＣＴ回路の構成を示すブロック図
【図６】ＡＳ−ＤＣＴの変換手順を示す図
【図７】同実施形態に係る画像復号化装置の構成を示すブロック図
【図８】同実施形態における解像度変換手順を示す図
【図９】第２の実施形態に係る画像符号化装置の構成を示すブロック図
【図１０】図９における直交変換回路の構成を示すブロック図
【図１１】図９における逆直交変換回路の構成を示すブロック図
【図１２】図１０におけるＡＳ−ＤＣＴ回路の構成を示すブロック図
【図１３】図１１におけるＡＳ−ＩＤＣＴ回路の構成を示すブロック図
【図１４】同実施形態におけるＡＳ−ＤＣＴの変換順序切り換え動作を示す図
【図１５】同実施形態に係る画像復号化装置の構成を示すブロック図
【図１６】第１および第２の実施形態におけるスキャン順序決定手順の例を示す図
【図１７】ＡＳ−ＤＣＴにおけるスケーラブル機能を実現するためのスキャン方法決定回路のブロック図
【図１８】第３の実施形態に係る画像符号化装置の構成を示すブロック図
【図１９】同実施形態に係る画像符号化装置における平均値分離手順を示す図
【図２０】同実施形態に係る画像復号化装置の構成を示すブロック図
【図２１】同実施形態に係る画像復号化装置における平均値合成手順を示す図
【図２２】第４の実施形態に係る画像符号化装置の構成を示すブロック図
【図２３】同実施形態に係る画像符号化装置における平均値挿入手順を示す図
【図２４】同実施形態に係る画像復号化装置の構成を示すブロック図
【図２５】同実施形態に係る画像復号化装置における画素分離手順を示す図
【図２６】第４の実施形態に係る画像符号化装置の構成を示すブロック図
【図２７】図２６におけるベクトル量子化器での任意形状ブロックのベクトル量子化法を説明するための図
【図２８】図２６における逆ベクトル量子化器での任意形状ブロックの逆ベクトル量子化法を説明するための図
【図２９】同実施形態に係る画像復号化装置の構成を示すブロック図
【図３０】図２９における逆ベクトル量子化器に設けられるコードブックを示す図
【図３１】第５の実施形態に係る画像信号のサブバンド分割を説明する図
【図３２】同実施形態において画像信号を４帯域にサブバンド分割した際の各成分の空間周波数軸上における配置を示す図
【図３３】同実施形態に係る画像符号化装置の構成を示すブロック図
【図３４】同実施形態に係る画像復号化装置の構成を示すブロック図
【図３５】本発明による画像符号化装置および画像復号化装置が適用される画像伝送システムの一例を示す図
【図３６】従来の画像符号化装置の原理説明図
【図３７】従来の背景とコンテントを分けて符号化する方法を説明するための図
【図３８】従来のコンテントベース符号化を説明する図
【図３９】従来の任意形状直交変換法を説明する図
【図４０】直交変換を用いて解像度変換を実現する方法を説明する図
【符号の説明】
１，１００…減算回路
２，１１０，４８０…動き補償予測回路
３，２２２，２２４，２３０…離散コサイン変換回路
４，１２０，１２１…量子化回路
５，１３０，１３１，４２０，４２１…逆量子化回路
６，３２１，３２３，３３０，４６２…逆離散コサイン変換回路
７，１４０…可変長符号化回路
８，１５０，４７０…加算回路
９，１７０…多重化回路
１０…画像信号
２０…アルファマップ信号
３０…予測誤差信号
４０…変換係数
５０…符号化ビットストリーム
６０…符号化ビットストリーム
７０…再生画像信号
８０…アルファマップ信号
１４１…符号化回路
１６０…アルファマップ符号化回路
２００，２５０…直交変換回路
２１０，３１０…スイッチ回路
２２０，２６０…ＡＳ−ＤＣＴ回路
３００，３５０…逆直交変換回路
３２０，３６０…逆ＡＳ−ＤＣＴ回路
４００…分離化回路
４１０…可変長復号化回路
４３０…アルファマップ復号化回路
４４０…解像度変換回路
４４１，４４２…水平・垂直並べ換え回路，
４４３…排他的論理和計算回路
４４４，４４５…スキャン順序決定回路
４５０，４５１…係数選択回路
５００…平均値分離回路
５１０，５１１…平均値合成回路
５０１…平均値算出回路
５０２…平均値挿入回路
５１２，５１３…画素分離回路
６００…ベクトル量子化回路
６１０，６２０…逆ベクトル量子化回路
７００…サブバンド分割回路
７１０，７１１，７１２，７１３…任意形状符号化回路
７２０，７２１，７２２，７２３…任意形状復号化回路
７３０…サブバンド合成回路
【発明の属する技術分野】
本発明は、画像信号を高能率に符号化して伝送または蓄積することを可能とする画像復号化方法及び装置に関する。
【０００２】
【従来の技術】
従来の画像符号化装置、例えばＭＰＥＧで規定された動画像符号化装置では、図３６に示すように入力された画像信号を８×８画素の正方ブロックに分割した後、２次元離散コサイン変換（ＤＣＴ）を施して符号化している。
【０００３】
一方、J.Y.A.Wang et.al“Applying Mid-level Vision Techniques for Video Data Compression and Manipulation”，M.I.T.MediaLab.Tech.Report No.263,Feb.1994（文献１）には、図３７に示すように背景と被写体（以後、コンテントと呼ぶ）を分けて符号化する技術が開示されている。このように背景やコンテントを別々に符号化するために、コンテントの形状や画面内の位置を表すアルファマップと呼ばれるマップ信号が用意される。この符号化法によると、コンテント毎に画質を変えたり、特定のコンテントのみを再生したりすることができる。ただし、図３６に示したように画面内を正方ブロックに分割して符号化する場合には、図３８に示すようにコンテントの境界部を含むブロック、すなわちコンテントの内部と外部にまたがるエッジブロックについては別個に処理を行う必要がある。
【０００４】
また、画面内の統計的性質や被写体の形状に合わせて、画面内を任意形状のブロックに分割して符号化する方法が提案されている。このような任意形状の直交変換方法は、“松田他、「ＤＣＴを用いた画像の可変ブロックサイズ形状変換符号化の検討」、信学秋季全大D-146,1992”（文献２）に記載されている。本明細書では、この変換法をＡＳ−ＤＣＴと呼ぶことにする。ＡＳ−ＤＣＴでは、まず図３９（ａ）に示すように水平（または垂直）方向に１次元のＤＣＴを施し、次に図３９（ｂ）に示すように低域のＤＣＴ係数から順に並べ換えた後、垂直（または水平）方向に１次元ＤＣＴを施している。
【０００５】
また、“松田他、「ＤＣＴを用いた画像の可変ブロック形状変換符号化の性能評価」、PCSJ92,7-10,1992”（文献３）では、水平方向と垂直方向の変換の順序として、実際に符号化を行ってみて符号化効率の高い方の変換順序を選択することで符号化効率の改善を図っている。
【０００６】
さらに、“K.R.Rao/P.Yip 共著、安田浩／藤原洋共訳「画像符号化技術−ＤＣＴとその国際標準−」，7.3,pp.164〜165,オーム社”（文献４）には、２次元ＤＣＴを利用して画像信号の解像度変換を実現する方法が記載されている。すなわち、図４０に示すように、２次元ＤＣＴによって得られたＤＣＴ係数の一部を取り出し、次数の異なるＤＣＴで逆変換することで解像度の変換が実現できる。
【０００７】
【発明が解決しようとする課題】
グラフィックディスプレイのような画像システムにおいては、多様な画像効果を実現するために、画面内のコンテントを解像度変換して縮小や拡大を行うことが望まれる。コンテントの形状は種々のものがあり、これら任意形状のコンテントについて解像度変換を行う必要がある。しかし、例えば文献２に記載された任意形状の直交変換法であるＡＳ−ＤＣＴでは、変換対象のブロックがエッジブロック、つまりコンテントの境界部を含むブロックである場合には、解像度変換を実現することができない。
【０００８】
本発明の目的は、コンテントの境界部を含むブロックについて解像度変換を行うことができる画像復号化方法及び装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため、本発明では画像信号の方形状のブロック毎に入力される画面内のコンテントの位置および形状を表す符号化されたマップ信号を復号し（第１の復号化）、この第１の復号化により復号されたマップ信号を解像度変換する。一方、符号化された直交変換係数を復号し（第２の復号化）、この第２の復号化により復号された直交変換係数から解像度変換されたマップ信号に基づいて所定解像度の画像を再生するために必要な直交変換係数を選択し、この選択された直交変換係数を逆直交変換して、逆直交変換結果から解像度変換された再生画像信号を得る。そして、前記逆直交変換において、選択された直交変換係数のうちコンテントの内部に位置するブロックについては全ての係数を２次元逆直交変換し、コンテントの境界部を含むブロックについてはコンテントの内部に含まれる係数を２次元または１次元逆直交変換することを特徴とする。
【００１０】
ここで、逆直交変換においては例えばコンテントの境界部を含むブロックについては、コンテントの内部に含まれる変換係数を水平または垂直方向に並べ換えた後、水平または垂直方向に１次元逆直交変換を行い、元の画素位置に並べ換えを行った後、垂直または水平方向に１次元逆直交変換を行う。
【００１１】
また、画像符号化側においてコンテント内部の画像信号の水平および垂直方向の相関が大きいと判定された方向から先に１次元直交変換を行うように１次元直交変換の方向を切り換えた場合は、その切り換え情報に基づいて第１の画像復号化装置において１次元逆直交変換の方向を切り換えるようにする。
【００１２】
このように本発明では、コンテントの位置および形状を表すマップ信号に従って画像信号のうちコンテントの内部に位置するブロック（内部ブロック）は全画素の信号、コンテントの境界部を含むブロック（エッジブロック）はコンテントの内部に含まれる画素の信号をそれぞれ２次元直交変換して変換係数を符号化すると共に、マップ信号を符号化しておき、マップ信号を復号し解像度変換したマップ信号に基づいて、復号した直交変換係数から所望解像度の画像を再生するために必要な直交変換係数を選択し、内部ブロックは全ての係数、エッジブロックはコンテントの内部に含まれる係数をそれぞれ２次元逆直交変換して、解像度変換された再生画像信号を得ることにより、任意形状のコンテントを含むエッジブロックについて解像度変換を行うことができる。
【００１３】
この場合、２次元直交変換における水平および垂直方向の１次元直交変換の順序を切り換えられるようにしておき、コンテント内部の画像信号の水平および垂直方向のそれぞれの相関を検出して、相関の高い方向について先に１次元直交変換を行うことで、符号化効率を向上させることができる。
【００１４】
【実施形態】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像符号化装置の構成を示すブロック図である。入力の画像信号１０は、図示しないブロック化回路により複数の正方ブロックに分割された後、減算回路１００に供給される。減算回路１００では、動き補償予測回路１１０より供給される動き補償予測信号と入力画像信号１０との差分である予測誤差信号３０が求められ、直交変換回路２００に供給される。
【００１５】
直交変換回路２００では、予測誤差信号３０をブロック毎に供給されるアルファマップ信号２０に従って直交変換係数に変換した後、量子化回路１２０に供給する。量子化回路１２０で量子化された変換係数は、可変長符号化回路１４０により符号化されると共に、逆量子化回路１３０によって逆量子化される。逆量子化された変換係数４０は、逆直交変換回路３００によって逆変換された後、加算回路１５０において動き補償予測回路１１０より供給される動き補償予測信号と加算される。
【００１６】
加算回路１５０の出力である局部復号画像信号は、動き補償予測回路１１０内のフレームメモリに蓄えられる。可変長符号化回路１４０で符号化された変換係数と、アルファマップ符号化回路１６０により符号化されたアルファマップ信号は、多重化回路１７０において動きベクトル情報等のサイド情報と共に多重化され、符号化ビットストリーム５０として出力される。なお、アルファマップ信号は二値画像の符号化法、例えばＭＭＲ（Modified Modified Read）により符号化される。
【００１７】
次に、図１における直交変換回路２００および逆直交変換回路３００について詳細に説明する。図２および図３は、それぞれ直交変換回路２００および逆直交変換回路３００の詳細な構成を示すブロック図である。
【００１８】
図２に示す直交変換回路２００はスイッチ回路２１０、ＡＳ−ＤＣＴ回路２２０およびＤＣＴ回路２３０からなり、アルファマップ信号２０はスイッチ回路２１０とＡＳ−ＤＣＴ回路２２０に供給される。スイッチ回路２１０では、入力される予測誤差信号３０のブロックが図３８中に示した外部ブロック、内部ブロック、エッジブロックのいずれかであるかを判定し、内部ブロックである場合には予測誤差信号３０をＤＣＴ回路２３０に供給し、エッジブロックつまりコンテントの境界部を含むブロックである場合には予測誤差信号３０をＡＳ−ＤＣＴ回路２２０に供給する。なお、該ブロックが外部ブロックである場合には符号化しないか、または他の方法で符号化するものとする。
【００１９】
図４はＡＳ−ＤＣＴ回路２２０の構成を示す図であり、図６はＡＳ−ＤＣＴの変換手順の例である。図６に示すように、入力されたエッジブロック中で斜線で示されるコンテントの内部に含まれる画素を最初に並べ換え回路２２１により左端に寄せ集める。次に、ＤＣＴ回路２２２において斜線で示される画素について水平方向に１次元ＤＣＴを行う。次に、並べ換え回路２２３において網線で示される変換係数を上端に寄せ集める。最後に、ＤＣＴ回路２２４において網線で示される変換係数について垂直方向に１次元ＤＣＴを行う。なお、並べ換えおよびＤＣＴの順序を入れ替えて処理することも可能である。
【００２０】
図３に示す逆直交変換回路３００は、スイッチ回路３１０、ＡＳ−ＩＤＣＴ回路３２０およびＩＤＣＴ回路３３０からなり、アルファマップ信号２０はスイッチ回路３１０とＡＳ−ＩＤＣＴ回路３２０に供給される。
【００２１】
図５は、ＡＳ−ＩＤＣＴ回路３２０の構成を示す図であり、ＩＤＣＴ回路３２１、並べ換え回路３２２、ＩＤＣＴ回路３２３および並べ換え回路３２４からなる。このように、逆直交変換回路３００では直交変換回路２００と逆の操作が行われる。
【００２２】
次に、本実施形態における画像復号化装置について説明する。図７は、図１の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図である。入力される符号化ビットストリーム６０は、分離化回路４００において変換係数やアルファマップ信号の成分に分離される。変換係数の符号は可変長復号回路４１０により復号された後、逆量子化回路４２０により逆量子化される。一方、アルファマップ信号はアルファマップ復号化回路４３０により復号された後、解像度変換回路４４０によって所望の解像度に変換される。
【００２３】
解像度変換回路４４０は、二値画像信号であるアルファマップ信号を解像度変換する。このような２値画像の解像度変換法としては、例えば、“画像処理ハンドブック、ｐ．６３０、昭晃堂”（文献５）に記載されている拡大縮小法を用いることができる。係数選択回路４５０では、解像度変換回路４４０で解像度が変換されたアルファマップ信号を前述したＡＳ−ＤＣＴの変換手順と同様に、図８に示すように水平方向に並べ換えた後、垂直方向に並べ換えることで、該解像度の再生画像を得るのに必要な変換係数の帯域を求める。なお、図８は解像度を水平・垂直共に５／８に解像度変換した例である。
【００２４】
次に、逆量子化回路４２０より供給される変換係数から必要な帯域の係数を選択し、逆直交変換回路４６０に供給する。逆直交変換回路４６０では、内部ブロックの変換係数については５×５の２次元ＩＤＣＴを施し、エッジブロックの変換係数については解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従ってＡＳ−ＩＤＣＴを施し、逆変換した信号を加算回路７４０に供給する。加算回路４７０では、動き補償回路４８０より供給される動き補償予測信号と逆直交変換回路４６０から供給される信号とを加算して得られた再生画像信号７０を出力する。
【００２５】
（第２の実施形態）
次に、図９〜図１５を用いて第２の実施形態を説明する。
図９は、本実施形態に係る画像符号化装置の構成を示すブロック図である。本実施形態において、直交変換回路２５０および逆直交変換回路３５０は、図２中のＡＳ−ＤＣＴ回路２２０および図３中のＡＳ−ＩＤＣＴ回路３２０の変換の順序を切り換えられるようにしたＡＳ−ＤＣＴ回路およびＡＳ−ＩＤＣＴ回路を構成要素として有する。そして、予測誤差信号３０の水平および垂直方向のそれぞれの相関を相関検出回路１８０により検出し、相関の高い方向を表す信号（切り換え信号）２１を直交変換回路２５０、逆直交変換回路３５０および多重化回路１７０に供給する。相関検出回路１８０において相関を検出する手段としては、例えば水平方向と垂直方向とで各々隣接画素間の２乗誤差を計算する方法がある。
【００２６】
図１０および図１１は、それぞれ直交変換回路２５０および逆直交変換回路３５０の詳細な構成を示すブロック図である。図１０に示す直交変換回路２５０は図２と同様に、スイッチ回路２１０、ＡＳ−ＤＣＴ回路２６０およびＤＣＴ回路２３０からなり、アルファマップ信号２０はスイッチ回路２１０とＡＳ−ＤＣＴ回路２６０に供給され、切り換え信号２１はＡＳ−ＤＣＴ回路２６０に供給される。図１１に示す逆直交変換回路３５０はスイッチ回路３１０、ＡＳ−ＩＤＣＴ回路３６０およびＩＤＣＴ回路３３０からなり、アルファマップ信号２０はスイッチ回路３１０とＡＳ−ＩＤＣＴ回路３６０に供給され、切り換え信号２１はＩＤＣＴ回路３３０に供給される。
【００２７】
図１２および図１３は、それぞれ図１０中のＡＳ−ＤＣＴ回路２６０および図１１中のＡＳ−ＩＤＣＴ回路３６０の構成を示すブロック図であり、図１４はＡＳ−ＤＣＴ回路２６０およびＡＳ−ＩＤＣＴ回路３６０において、変換の順序を切り換える方法を詳細に説明する図である。変換の順序は、図１２および図１３内の第１のスイッチ回路２６１，３６１および第２のスイッチ回路２６２，３６２を図１４図（ａ）および（ｂ）のように切り換えることで変更される。具体的には、スイッチ回路２６１，２６２および３６１，３６２は切り換え信号２１により水平方向の相関が高い場合には図１４（ａ）のように切り換えられ、垂直方向の相関が高い場合には図１４（ｂ）のように切り換えられる。なお、切り換え信号２１はブロック毎に１ビットで符号化して変更してもよいし、フレーム毎に１ビットで符号化して変更しても良い。
【００２８】
次に、本実施形態における画像復号化装置について説明する。図１５は、図９の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図である。図７に示した第１の実施形態の画像復号化装置と異なる点は、入力される符号化ビットストリーム６０から分離化回路４００において分離された変換順序の切り換え信号６１を逆直交変換回路４６１に供給しているところである。逆直交変換回路４６１は、図１１に示す画像符号化装置内の逆直交変換回路３５０と同様に構成され、切り換え信号６１により図１４で説明したように逆変換の順序を切り換えている。
【００２９】
次に、図１６および図１７を用いてＡＳ−ＤＣＴの変換係数のスキャン法の具体例を説明する。一般に、正方ブロックのＤＣＴ係数を符号化する場合には、ジグザグスキャンした後、係数の大きさとゼロランレングスの合成事象を２次元可変長符号化を用いて符号化している（「画像符号化技術−ＤＣＴとその国際標準−」、pp.288〜290 参照）。一方、ＡＳ−ＤＣＴではブロックの形状により、図１６に示すように変換係数の分布が水平方向ｈや垂直方向ｖに偏在する場合がある。従って、本実施形態ではアルファマップ信号により特定できる変換係数の分布に適合させてスキャンの順序を画像符号化装置および画像復号化装置双方においてそれぞれ決定している。
【００３０】
図１６は、スキャン順序決定手順の例である。まず、アルファマップ信号２０（０：コンテント外部、１：コンテント内部）を水平方向ｈおよび垂直方向ｖに並べ換え、変換係数の分布（ｍａｐ［ｖ］［ｈ］：ｖ、ｈ＝０〜ｓｉｚｅ−１）を得る。次に、以下にＣ言語で記述する手順により、スキャン順序（ｏｒｄｅｒ［ｖ］［ｈ］：ｖ、ｈ＝０〜ｓｉｚｅ−１）を決定する。
【００３１】
【００３２】
図１７は、ＡＳ−ＤＣＴにおけるスケーラブル機能を実現するためのスキャン方法決定回路のブロック図である。解像度変換回路４４０においては、アルファマップ信号８０を解像度変換し（例えば、水平・垂直方向共に１／２）、第１の水平・垂直並べ換え回路４４１に供給する。また、第２の水平・垂直並べ換え回路４４２には解像度変換されないアルファマップ信号８０が供給される。水平・垂直並べ換え回路４４１，４４２では、図１６に示されているような並べ換えが行われ、その結果（ｍａｐ［ｖ］［ｈ］）が各々第１のスキャン順序決定回路４４４および排他的論理和計算回路４４３に供給される。
【００３３】
第１のスキャン順序決定回路４４４では、図１６に示した手順で解像度変換されたアルファマップ信号のスキャン順序（低域成分の順序）を決定し、そのスキャン順序の情報８１を第２のスキャン順序決定回路４４５に供給する。排他的論理和計算回路４４３では、第１の水平・垂直並べ換え回路４４１より供給される低解像度のｍａｐ［ｖ］［ｈ］と、第２の水平・垂直並べ換え回路４４２より供給される高解像度のｍａｐ［ｖ］［ｈ］との差分がとられ、この差分８２が第２のスキャン順序決定回路４４５に供給される。
【００３４】
第２のスキャン順序決定回路４４５では、第１のスキャン順序決定回路４４４で決定された低域成分のスキャン順序に引き続いて、高域成分スキャン順序が決定され、低域と高域成分を合わせたスキャン順序を示す情報８３が出力される。このアルゴリズムは、更に多段階に分割してスキャン順序を決定する場合にも適用可能である。
【００３５】
（第３の実施形態）
次に、図１８〜図２１を用いて第３の実施形態を説明する。
図１８は、本実施形態に係る画像符号化装置の構成を示すブロック図である。平均値分離回路５００では、アルファマップ信号２０に従って予測誤差信号３０がエッジブロックの信号であれば、平均値分離回路５００でコンテントの内部の信号（図１９の斜線部）の平均値を算出して分離し、コンテントの外部の信号は全て０にする。この処理により、図１９の中央の正方ブロックのブロック内平均値は０となる。このブロック内平均値０の信号３２をＤＣＴ回路２３０に供給して２次元ＤＣＴを施すと、図１９の右側の正方ブロックのようにＤＣ成分は０となる。この際、コンテント外部の信号を平均値が０となる条件の下で、外挿した信号に置き換えてもよい。
【００３６】
平均値分離回路５００において算出された平均値３１は、ＤＣＴ回路２３０より供給されるＤＣＴの交流変換係数と共に量子化回路１２１に供給され、量子化された後に逆量子化回路１３１および可変長符号化回路１４０に供給される。逆量子化回路１３１では、平均値および交流変換係数を逆量子化する。量子化された平均値４１は平均値合成回路５１０に、また量子化された交流変換係数４２は逆ＤＣＴ回路３３０にそれぞれ供給される。
【００３７】
平均値合成回路５１０では、逆ＤＣＴ回路３３０において逆変換された信号をアルファマップ信号２０に従って、コンテントの内部の信号に平均値４１を合成することで再生画像信号を得る。この際、コンテントの外部の信号は、例えば０にリセットしておく。
【００３８】
次に、本実施形態における画像復号化装置について説明する。図２０は、図１８の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図であり、図２１は解像度変換された信号を再生する手順を示す図である。図２０において、逆量子化回路４２１では平均値および交流変換係数を逆量子化し、平均値６２を介して平均値合成回路５１１に、交流変換係数６３を係数選択回路４５１へそれぞれ供給する。逆ＤＣＴ回路４６２では、係数選択回路４５１において選択された所望の解像度を得るのに必要な帯域の変換係数に対してＤＣＴを施す（図２１の例では、５×５の２次元ＩＤＣＴ）。
【００３９】
平均値合成回路５１１では、逆ＤＣＴ回路４６２によって逆変換された信号を解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従って、コンテント内部の信号に平均値６２を合成することで、再生画像信号を得る。
【００４０】
（第４の実施形態）
次に、図２２〜図２５を用いて第４の実施形態を説明する。
図２２は、本実施形態に係る画像符号化装置の構成を示すブロック図である。平均値算出回路５０１では、アルファマップ信号２０に従って予測誤差信号３０がエッジブロックの信号であれば、コンテントの内部の画素（図２３の斜線部）の平均値ａを算出してし、平均値挿入回路５０２に供給する。この平均値挿入回路５０２では、図２３に示すようにコンテントの外部の画素値を全てコンテントの内部の画素値の平均値ａにする処理を行う（平均値挿入）。この処理により、図２３の中央の正方ブロックのブロック内平均値はａとなる。このブロック内平均値ａの信号をＤＣＴ回路２３０に供給して２次元ＤＣＴを施すと、図２３の右側の正方ブロックのようにＤＣ成分はＡ（＝８×ａ）となる。この際、コンテント外部の信号を平均値がａとなる条件の下で、外挿した信号に置き換えてもよい。
【００４１】
平均値挿入回路５０２の出力はＤＣＴ回路２３０に供給され、ＤＣＴ係数に変換された後、量子化回路１２０に供給され、量子化される。量子化された変換係数は、逆量子化回路１３０および可変長符号化回路１４０に供給される。逆量子化回路１３０では、量子化回路１２０より供給される変換係数を逆量子化し、逆ＤＣＴ回路３３０に供給する。
【００４２】
画素分離回路５１２では、逆ＤＣＴ回路３３０において逆変換された信号をアルファマップ信号２０に従って、コンテントの内部の画素信号を分離することで再生画像信号を得る。この際、コンテントの外部の信号は、例えば０にリセットしておく。
【００４３】
次に、本実施形態における画像復号化装置について説明する。図２４は、図２２の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図であり、図２５は解像度変換された信号を再生する手順を示す図である。図２４において、逆量子化回路４２０では変換係数を逆量子化して係数選択回路４５１へ供給する。逆ＤＣＴ回路４６２では、係数選択回路４５１において選択された所望の解像度を得るのに必要な帯域の変換係数に対してＤＣＴを施す（図２５の例では、５×５の２次元ＩＤＣＴ）。
【００４４】
画素分離回路５１３では、逆ＤＣＴ回路４６２によって逆変換された信号を解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従って、コンテント内部の画素の信号を分離することで、再生画像信号を得る。
【００４５】
（第５の実施形態）
次に、図２６〜図３０を用いて第５の実施形態を説明する。本実施形態は、ベクトル量子化（ＶＱ）による任意形状ブロックの符号化法を用いた例である。図２２は、本実施形態に係る画像符号化装置の構成を示すブロック図であり、図２３はエッジブロックにおける符号化手順を示す図である。
【００４６】
図２６において、ベクトル量子化器６００は予測誤差信号３０とコードブックに蓄えられているコードベクトルとをマッチングして、予測誤差信号３０と最も相関の高いコードベクトルを選択する。この際、図２７に示したようにエッジブロックに関しては、アルファマップ信号２０に従ってコンテントの内部の信号 （図の斜線部）のみでコードベクトルとのマッチングを行い、最も相関の高いコードベクトルのインデックス（図２７の例では、“２”）を出力する。
【００４７】
符号化回路１４１では、ベクトル量子化器６００より供給されるインデックスを可変長あるいは固定長で符号化して、多重化回路１７０に出力する。逆ベクトル量子化器６１０においては、図２８に示すようにベクトル量子化器６００より供給されるインデックスに対応するコードベクトルから、アルファマップ信号２０に従ってコンテントの内部の信号（図の斜線部）を切り出して再生画像信号を出力する。
【００４８】
次に、本実施形態における画像復号化装置について説明する。図２９は、図２６の画像符号化装置に対応する解像度変換機能を有する画像復号化装置の構成を示すブロック図であり、図３０は逆ベクトル量子化器６２０に設けられるコードブックである。入力される符号化ビットストリーム６０から分離回路４００により分離されたアルファマップ信号は、アルファマップ復号化回路４３０により復号され、解像度変換回路４４０により各サブバンド画像信号の解像度に解像度変換される。一方、分離回路４００により分離されたインデックスは復号化回路４１１により復号され、逆ベクトル量子化器６２０に供給される。
【００４９】
逆ベクトル量子化器６２０では、図３０に示すようにインデックスに対応する多重解像度表現されたコードベクトルの中から所望の解像度のコードベクトルを選択し、解像度変換回路４４０より供給される解像度変換されたアルファマップ信号に従って、コンテントの内部の信号（図の斜線部）を切り出す。この信号に基づいて、加算回路４７０および動き補償回路４８０により再生画像信号７０が得られる。
【００５０】
（第６の実施形態）
次に、図３１〜図３４を用いて第６の実施形態を説明する。図３１および図３２は、画像信号のサブバンド分割を説明する図である。入力画像信号は、帯域分割とダウンサンプリングによりサブバンド分割される。図３１は、入力画像を４帯域（ＬＬ，ＬＨ，ＨＬ，ＨＨ）や、帯域ＬＬを更に４帯域に分割して７帯域にサブバンド分割した例である。また、図３２は４帯域にサブバンド分割した際の各成分の空間周波数軸上における配置である。ここでは、入力画像信号を４帯域にサブバンド分割した例について述べる。
【００５１】
図３３は、本実施形態に係る画像符号化装置の構成を示すブロック図であり、入力画像信号１０はサブバンド分割回路７００において複数のサブバンド画像信号に分割された後、任意形状符号化回路７１０，７１１，７１２，７１３に入力される。任意形状符号化回路７１０においてはサブバンド画像信号ＬＬ、任意形状符号化回路７１１においてはサブバンド画像信号ＬＨ、任意形状符号化回路７１２においてはサブバンド画像信号ＨＬ、任意形状符号化回路７１３においてはサブバンド画像信号ＨＨをそれぞれ第１〜第４の実施形態のいずれかで説明した任意形状の符号化法により符号化する。この際、アルファマップ信号は解像度変換回路４４６により各サブバンド画像の解像度に変換され、任意形状符号化回路７１０，７１１，７１２，７１３にそれぞれ供給される。符号化されたアルファマップ信号およびサブバンド画像信号は多重化回路１７０を介して符号化ビットストリーム５０として出力される。
【００５２】
図３４は、図３３の画像符号化装置に対応する本実施形態に係る画像復号化装置の構成を示すブロック図である。入力される符号化ビットストリーム６０から分離回路４００により分離されたアルファマップ信号は、アルファマップ復号化回路４３０により復号され、解像度変換回路４４６により各サブバンド画像信号の解像度に解像度変換される。
【００５３】
一方、分離回路４００により分離されたサブバンド画像信号は任意形状復号化回路７２０，７２１，７２２，７２３に入力され、解像度変換回路４４６から供給されるアルファマップ信号に従って、任意形状復号化回路７２０においてはサブバンド画像信号ＬＬ、任意形状復号化回路７２１においてはサブバンド画像信号ＬＨ、任意形状復号化回路７２２においてはサブバンド画像信号ＨＬ、任意形状復号化回路７２３においてはサブバンド画像信号ＨＨがそれぞれ第１〜第４の実施形態で説明した任意形状の復号化法により再生される。すなわち、例えばエッジブロックについては、サブバンド画像信号のうちコンテントの内部の信号のみが復号化される。
【００５４】
再生された各サブバンド画像信号は、サブバンド合成回路７３０において所定解像度を得るために必要なサブバンド画像信号のみが合成され、再生画像信号７０として出力される。ここで、例えば再生画像信号７０としてサブバンド画像ＬＬのみを出力すれば、低解像度の画像が再生される。
【００５５】
次に、本発明の応用例として、本発明による画像符号化／復号化装置を適用した画像伝送システムの実施形態を図３５を用いて説明する。パーソナルコンピュータ（ＰＣ）１００１に備えら付けられたカメラ１００２より入力された画像信号は、ＰＣ１００１に組み込まれた画像符号化装置によって符号化される。この画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１００３により無線で送信され、他の無線機１００４によって受信される。無線機１００４で受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはワークステーション（ＥＷＳ）１００５に組み込まれた画像復号化装置によって復号され、ＥＷＳ１００５のディスプレイに表示される。
【００５６】
一方、ＥＷＳ１００５に備え付けられたカメラ１００６より入力された画像信号は、ＥＷＳ１００６に組み込まれた画像符号化装置を用いて上記と同様に符号化される。符号化データは、他の音声やデータの情報と多重化され、無線機１００４により無線で送信され、無線機１００３によって受信される。無線機１００３によって受信された信号は、画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、画像信号の符号化データはＰＣ１００１に組み込まれた画像復号化装置によって復号され、ＰＣ１００１のディスプレイに表示される。
なお、データの送受信は無線でなく、有線伝送系を用いても構わない。
【００５７】
【発明の効果】
以上説明したように、本発明によれば任意形状のコンテントを含むエッジブロックについて解像度変換を行うことができ、またエッジブロックにおいて従来の符号化法と比べて符号化効率を低下させずに符号化を行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る画像符号化装置の構成を示すブロック図
【図２】図１における直交変換回路の構成を示すブロック図
【図３】図１における逆直交変換回路の構成を示すブロック図
【図４】図２におけるＡＳ−ＤＣＴ回路の構成を示すブロック図
【図５】図２におけるＡＳ−ＩＤＣＴ回路の構成を示すブロック図
【図６】ＡＳ−ＤＣＴの変換手順を示す図
【図７】同実施形態に係る画像復号化装置の構成を示すブロック図
【図８】同実施形態における解像度変換手順を示す図
【図９】第２の実施形態に係る画像符号化装置の構成を示すブロック図
【図１０】図９における直交変換回路の構成を示すブロック図
【図１１】図９における逆直交変換回路の構成を示すブロック図
【図１２】図１０におけるＡＳ−ＤＣＴ回路の構成を示すブロック図
【図１３】図１１におけるＡＳ−ＩＤＣＴ回路の構成を示すブロック図
【図１４】同実施形態におけるＡＳ−ＤＣＴの変換順序切り換え動作を示す図
【図１５】同実施形態に係る画像復号化装置の構成を示すブロック図
【図１６】第１および第２の実施形態におけるスキャン順序決定手順の例を示す図
【図１７】ＡＳ−ＤＣＴにおけるスケーラブル機能を実現するためのスキャン方法決定回路のブロック図
【図１８】第３の実施形態に係る画像符号化装置の構成を示すブロック図
【図１９】同実施形態に係る画像符号化装置における平均値分離手順を示す図
【図２０】同実施形態に係る画像復号化装置の構成を示すブロック図
【図２１】同実施形態に係る画像復号化装置における平均値合成手順を示す図
【図２２】第４の実施形態に係る画像符号化装置の構成を示すブロック図
【図２３】同実施形態に係る画像符号化装置における平均値挿入手順を示す図
【図２４】同実施形態に係る画像復号化装置の構成を示すブロック図
【図２５】同実施形態に係る画像復号化装置における画素分離手順を示す図
【図２６】第４の実施形態に係る画像符号化装置の構成を示すブロック図
【図２７】図２６におけるベクトル量子化器での任意形状ブロックのベクトル量子化法を説明するための図
【図２８】図２６における逆ベクトル量子化器での任意形状ブロックの逆ベクトル量子化法を説明するための図
【図２９】同実施形態に係る画像復号化装置の構成を示すブロック図
【図３０】図２９における逆ベクトル量子化器に設けられるコードブックを示す図
【図３１】第５の実施形態に係る画像信号のサブバンド分割を説明する図
【図３２】同実施形態において画像信号を４帯域にサブバンド分割した際の各成分の空間周波数軸上における配置を示す図
【図３３】同実施形態に係る画像符号化装置の構成を示すブロック図
【図３４】同実施形態に係る画像復号化装置の構成を示すブロック図
【図３５】本発明による画像符号化装置および画像復号化装置が適用される画像伝送システムの一例を示す図
【図３６】従来の画像符号化装置の原理説明図
【図３７】従来の背景とコンテントを分けて符号化する方法を説明するための図
【図３８】従来のコンテントベース符号化を説明する図
【図３９】従来の任意形状直交変換法を説明する図
【図４０】直交変換を用いて解像度変換を実現する方法を説明する図
【符号の説明】
１，１００…減算回路
２，１１０，４８０…動き補償予測回路
３，２２２，２２４，２３０…離散コサイン変換回路
４，１２０，１２１…量子化回路
５，１３０，１３１，４２０，４２１…逆量子化回路
６，３２１，３２３，３３０，４６２…逆離散コサイン変換回路
７，１４０…可変長符号化回路
８，１５０，４７０…加算回路
９，１７０…多重化回路
１０…画像信号
２０…アルファマップ信号
３０…予測誤差信号
４０…変換係数
５０…符号化ビットストリーム
６０…符号化ビットストリーム
７０…再生画像信号
８０…アルファマップ信号
１４１…符号化回路
１６０…アルファマップ符号化回路
２００，２５０…直交変換回路
２１０，３１０…スイッチ回路
２２０，２６０…ＡＳ−ＤＣＴ回路
３００，３５０…逆直交変換回路
３２０，３６０…逆ＡＳ−ＤＣＴ回路
４００…分離化回路
４１０…可変長復号化回路
４３０…アルファマップ復号化回路
４４０…解像度変換回路
４４１，４４２…水平・垂直並べ換え回路，
４４３…排他的論理和計算回路
４４４，４４５…スキャン順序決定回路
４５０，４５１…係数選択回路
５００…平均値分離回路
５１０，５１１…平均値合成回路
５０１…平均値算出回路
５０２…平均値挿入回路
５１２，５１３…画素分離回路
６００…ベクトル量子化回路
６１０，６２０…逆ベクトル量子化回路
７００…サブバンド分割回路
７１０，７１１，７１２，７１３…任意形状符号化回路
７２０，７２１，７２２，７２３…任意形状復号化回路
７３０…サブバンド合成回路
Claims (4)
- 画像信号の方形状のブロック毎に入力される画面内のコンテントの位置および形状を表す符号化された二値のマップ信号を復号する第１の復号化ステップと、
前記第１の復号化ステップにより復号されたマップ信号を所望解像度に解像度変換する解像度変換ステップと、
符号化された直交変換係数を復号する第２の復号化ステップと、
前記解像度変換ステップにより解像度変換されたマップ信号を水平方向にブロック内の左端に寄せ集めるように並べ換えた後、ブロック内の上端に寄せ集めるように垂直方向に並べ換えるステップを含み、該ステップにより並べ換えたマップ信号に基づいて、前記第２の復号化ステップにより復号された直交変換係数から該並べ換えたマップ信号の値“１”に対応する帯域である、前記所望解像度の再生画像信号を得るために必要な帯域の直交変換係数を選択する係数選択ステップと、
前記係数選択ステップにより選択された直交変換係数を逆直交変換する逆直交変換ステップと、
前記逆直交変換ステップによる逆直交変換結果から解像度変換された再生画像信号を得る再生ステップとを備え、
前記逆直交変換ステップは、前記解像度変換されたマップ信号に基づいて前記係数選択ステップにより選択された直交変換係数がコンテントの内部に位置するブロックの直交変換係数かコンテントの境界部を含むブロックの直交変換係数かの判定を行い、前記係数選択ステップにより選択された直交変換係数のうちコンテントの内部に位置するブロックの係数については全ての係数を２次元逆直交変換し、コンテントの境界部を含むブロックの係数についてはコンテント内部に含まれる係数を垂直方向に１次元逆直交変換した後、垂直方向に並べ換え、次いで水平方向に１次元逆直交変換した後、水平方向に並べ換えることを特徴とする画像復号化方法。 - 画像信号の方形状のブロック毎に入力される画面内のコンテントの位置および形状を表す符号化された二値のマップ信号を復号する第１の復号化ステップと、
前記第１の復号化ステップにより復号されたマップ信号を所望解像度に解像度変換する解像度変換ステップと、
符号化された直交変換係数を復号する第２の復号化ステップと、
前記解像度変換ステップにより解像度変換されたマップ信号を垂直方向にブロック内の上端に寄せ集めるように並べ換えた後、ブロック内の左端に寄せ集めるように垂直方向に並べ換えるステップを含み、該ステップにより並べ換えたマップ信号に基づいて、前記第２の復号化ステップにより復号された直交変換係数から該並べ換えたマップ信号の値“１”に対応する帯域である、前記所望解像度の再生画像信号を得るために必要な帯域の直交変換係数を選択する係数選択ステップと、
前記係数選択ステップにより選択された直交変換係数を逆直交変換する逆直交変換ステップと、
前記逆直交変換ステップによる逆直交変換結果から解像度変換された再生画像信号を得る再生ステップとを備え、
前記逆直交変換ステップは、前記解像度変換されたマップ信号に基づいて前記係数選択ステップにより選択された直交変換係数がコンテントの内部に位置するブロックの直交変換係数かコンテントの境界部を含むブロックの直交変換係数かの判定を行い、前記係数選択ステップにより選択された直交変換係数のうちコンテントの内部に位置するブロックの係数については全ての係数を２次元逆直交変換し、コンテントの境界部を含むブロックの係数についてはコンテント内部に含まれる係数を水平方向に１次元逆直交変換した後、水平方向に並べ換え、次いで垂直方向に１次元逆直交変換した後、垂直方向に並べ換えることを特徴とする画像復号化方法。 - 画像信号の方形状のブロック毎に入力される画面内のコンテントの位置および形状を表す符号化された二値のマップ信号を復号する第１の復号化手段と、
前記第１の復号化手段により復号されたマップ信号を所望解像度に解像度変換する解像度変換手段と、
符号化された直交変換係数を復号する第２の復号化手段と、
前記解像度変換ステップにより解像度変換されたマップ信号を水平方向にブロック内の左端に寄せ集めるように並べ換えた後、ブロック内の上端に寄せ集めるように垂直方向に並べ換える手段を含み、該手段により並べ換えたマップ信号に基づいて、前記第２の復号化手段により復号された直交変換係数から該並べ換えたマップ信号の値“１”に対応する帯域である、前記所望解像度の再生画像信号を得るために必要な帯域の直交変換係数を選択する係数選択手段と、
前記係数選択手段により選択された直交変換係数を逆直交変換する逆直交変換手段と、
前記逆直交変換手段による逆直交変換結果から解像度変換された再生画像信号を得る再生手段とを備え、
前記逆直交変換手段は、前記解像度変換されたマップ信号に基づいて前記係数選択ステップにより選択された直交変換係数がコンテントの内部に位置するブロックの直交変換係数かコンテントの境界部を含むブロックの直交変換係数かの判定を行い、前記係数選択ステップにより選択された直交変換係数のうちコンテントの内部に位置するブロックの係数については全ての係数を２次元逆直交変換し、コンテントの境界部を含むブロックの係数についてはコンテント内部に含まれる係数を垂直方向に１次元逆直交変換した後、垂直方向に並べ換え、次いで水平方向に１次元逆直交変換した後、水平方向に並べ換えることを特徴とする画像復号化装置。 - 画像信号の方形状のブロック毎に入力される画面内のコンテントの位置および形状を表す符号化された二値のマップ信号を復号する第１の復号化手段と、
前記第１の復号化手段により復号されたマップ信号を所望解像度に解像度変換する解像度変換手段と、
符号化された直交変換係数を復号する第２の復号化手段と、
前記解像度変換手段により解像度変換されたマップ信号を水平方向にブロック内の上端に寄せ集めるように並べ換えた後、ブロック内の左端に寄せ集めるように垂直方向に並べ換える手段を含み、該手段により並べ換えたマップ信号に基づいて、前記第２の復号化手段により復号された直交変換係数から該並べ換えたマップ信号の値“１”に対応する帯域である、前記所望解像度の再生画像信号を得るために必要な帯域の直交変換係数を選択する係数選択手段と、
前記係数選択手段により選択された直交変換係数を逆直交変換する逆直交変換手段と、
前記逆直交変換手段による逆直交変換結果から解像度変換された再生画像信号を得る再生手段とを備え、
前記逆直交変換手段は、前記解像度変換されたマップ信号に基づいて前記係数選択ステップにより選択された直交変換係数がコンテントの内部に位置するブロックの直交変換係数かコンテントの境界部を含むブロックの直交変換係数かの判定を行い、前記係数選択ステップにより選択された直交変換係数のうちコンテントの内部に位置するブロックの係数については全ての係数を２次元逆直交変換し、コンテントの境界部を含むブロックの係数についてはコンテント内部に含まれる係数を水平方向に１次元逆直交変換した後、水平方向に並べ換え、次いで垂直方向に１次元逆直交変換した後、垂直方向に並べ換えることを特徴とする画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002119631A JP3869303B2 (ja) | 2002-04-22 | 2002-04-22 | 画像復号化方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002119631A JP3869303B2 (ja) | 2002-04-22 | 2002-04-22 | 画像復号化方法及び装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9707395A Division JPH08294119A (ja) | 1994-11-10 | 1995-04-21 | 画像符号化／復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003023633A JP2003023633A (ja) | 2003-01-24 |
| JP3869303B2 true JP3869303B2 (ja) | 2007-01-17 |
Family
ID=19194095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002119631A Expired - Fee Related JP3869303B2 (ja) | 2002-04-22 | 2002-04-22 | 画像復号化方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3869303B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101169994B1 (ko) | 2005-04-07 | 2012-08-01 | 삼성전자주식회사 | 알파 평면을 이용한 영상 데이터 처리 장치 및 방법 |
-
2002
- 2002-04-22 JP JP2002119631A patent/JP3869303B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003023633A (ja) | 2003-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3788823B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| KR101465817B1 (ko) | 크로마 샘플 위치 정보의 시그널링 및 사용 | |
| JP4409276B2 (ja) | 多重解像度映像表示の方法及び映像符号器 | |
| JP3144806B2 (ja) | デジタル画像復号化装置 | |
| JP4124792B2 (ja) | 符号化方法及び復号化方法及び符号化装置及び復号化装置 | |
| EP2200330A1 (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
| WO2010004726A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 | |
| CN101001381A (zh) | 图像编码、解码装置及图像编码、解码方法 | |
| JP2006115459A (ja) | Ｓｖｃの圧縮率を高めるシステムおよび方法 | |
| JPH08294119A (ja) | 画像符号化／復号化装置 | |
| US6928191B2 (en) | Apparatus and method for improved interlace processing | |
| JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| JP2006246351A (ja) | 画像符号化装置および画像復号化装置 | |
| JP3869303B2 (ja) | 画像復号化方法及び装置 | |
| JPH0918876A (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP2003023634A (ja) | 画像符号化／復号化方法及び装置 | |
| Hu et al. | Motion differential set partition coding for image sequence and video compression | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP2000295622A (ja) | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体 | |
| JP2002513251A (ja) | 情報システムでの情報圧縮方法。 | |
| JP2001238220A (ja) | 動画像符号化装置および動画像符号化方法 | |
| WO2011049074A1 (ja) | 画像符号化装置、及び画像復号装置 | |
| JP3401759B2 (ja) | 画像符号化方法及び装置並びに画像符号化プログラムを記録した記録媒体 | |
| JP4174254B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
| JPH07336681A (ja) | 画像変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061012 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |