JP3674158B2 - 画像符号化方法及び画像復号装置 - Google Patents
画像符号化方法及び画像復号装置 Download PDFInfo
- Publication number
- JP3674158B2 JP3674158B2 JP17145196A JP17145196A JP3674158B2 JP 3674158 B2 JP3674158 B2 JP 3674158B2 JP 17145196 A JP17145196 A JP 17145196A JP 17145196 A JP17145196 A JP 17145196A JP 3674158 B2 JP3674158 B2 JP 3674158B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- inverse
- subband
- wavelet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化方法及び画像符号装置に関し、特に、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に動画の映像信号を蓄積用符号化して記録するシステムや、伝送路を介して動画の映像信号を伝送するシステム等において使用される画像符号化方法及び画像復号装置に関するものである。
【０００２】
【従来技術】
ディジタル信号の圧縮を目的とした符号化／復号化方式の１つとして、ウェーブレットフィルタ、またはサブバンドフィルタによる帯域分割に基づく方法がある。これらは、入力された信号に対して、異なる通過帯域を有する複数のフィルタを施した後、各帯域幅に応じた間隔でサブサンプリングを施し、各フィルタの出力信号のエネルギーの偏りを利用して圧縮を行うものである。
【０００３】
図８に、ウエーブレットフィルタまたはサブバンドフィルタによる帯域分割および合成のための基本構成を示す。ここでは入力を１次元信号ｘ［ｉ］とする。
図８において、分割器３００は、帯域分割のための解析用ローパスフィルタ３０１と帯域分割のための解析用ハイパスフィルタ３０２を備え、これら２つのフィルタ３０１，３０２によって、入力信号を低周波数帯域信号ＸＬ［ｉ］および高周波数帯域信号ＸＨ［ｉ］に分割する。そして、サブサンプル器３３０Ａ，３３０Ｂは、帯域分割された各信号ＸＬ［ｉ］，ＸＨ［ｉ］に対して、次の
【０００４】
【数１】
【０００５】
なる（１）式，（２）式で示すにように１サンプル毎の間引き処理を行う。
【０００６】
合成器４００では、上記間引き処理された各信号ＸＬ［ｊ］，ＸＨ［ｊ］に対して、次の
【０００７】
【数２】
【０００８】
なる（３）式，（４）式に示すように、アップサンプル器４３１Ａ，４３１Ｂによってサンプル間隔を２倍に引き伸ばし、その中心位置にゼロの値を持つサンプルを挿入する。
【０００９】
そして、合成用ローパスフィルタ４１１、合成用ハイパスフィルタ４１２によって各帯域信号ＸＬ［ｉ］，ＸＨ［ｉ］に補間処理を施し、その後、加算器４３６で加算することによって、入力信号ｘ［ｉ］を復元する。
【００１０】
ここで、分割器３００側の解析用ローパスフィルタ３０１、解析用ハイパスフィルタ３０２、及び合成器４００側の合成用ローパスフィルタ４１１、合成用ハイパスフィルタ４１２は、次の
【００１１】
【数３】
【００１２】
なる（５）式，（６）式の関係が完全に、または近似的に満たされるように構成されている。Ｈ0（ｚ）、Ｈ1（ｚ）、Ｆ0（ｚ）、Ｆ1（ｚ）はそれぞれ解析用ローパスフィルタ３０１、解析用ハイパスフィルタ３０２、合成用ローパスフィルタ４１１、合成用ハイパスフィルタ４１２の伝達関数であり、Ｌは任意の整数である。この拘束条件によって、合成器４００における加算器４３６からの出力信号Ｘ”［ｉ］が入力信号ｘ［ｉ］と完全に、あるいは近似的に一致することが保証される。
【００１３】
上述のようなウエーブレット分割、合成を符号化に用いる場合、サブサンプル器３３０Ａ，３３０Ｂとアップサンプル器４３１Ａ，４３１Ｂの間で符号化／復号化処理が行われることになる。また、図８の例では入力信号を２つの帯域に分割しているが、データ量の圧縮を目的とした符号化では、より効率的な圧縮を行うために、各帯域をさらに２乃至３回程度、再帰的に分割していくことが行われている。
【００１４】
図９及び図１０にウエーブレット分割・合成またはサブバンド分割・合成の従来例の構成を示す。
【００１５】
図９に示すウェーブレット分割を行う符号器５００は、解析用ローパスフィルタ５０１Ａと解析用ハイパスフィルタ５０２Ａによって入力信号ｘ［ｉ］を低周波数帯域ＸＬ０［ｉ］と高周波数帯域ＸＨ０［ｉ］に分割するが、（１）式と同様のサブサンプリング処理がサブサンプル器５３０Ａにより施された低周波数帯域信号ＸＬ０［ｊ］は、第２の解析用ローパスフィルタ５０１Ｂと第２の解析用ハイパスフィルタ５０２Ｂによってさらに帯域分割が行われ、サブサンプル器５３０Ｃ，５３０Ｄによりサブサンプリング処理が施される。
【００１６】
一方、１段目の解析用ハイパスフィルタ５０２Ａを通過した高周波数帯域信号ＸＨ０［ｉ］は、サブサンプル器５３０Ｂによってサブサンプリング処理が施されたのち、低周波数帯域信号との同期をとるために遅延器５３７に入力される。この遅延器５３７によって遅延の施された１段目の高周波数帯域信号ＸＨ０［ｊ］、及び２段目のサブサンプル器５３０Ｃ，５３０Ｄによってサブサンプル処理の施された高周波数帯域信号ＸＨｌ［ｋ］、低周波数帯域信号ＸＬｌ［ｋ］は、それぞれ量子化器５３２Ａ，５３２Ｂ，５３２Ｃに入力され、対応する量子化ステップＱＨ０，ＱＨ１，ＱＬ１によって、次の
【００１７】
【数４】
【００１８】
なる（７）式，（８）式，（９）式のように量子化される。
【００１９】
そして、量子化された各データＸＬ１’［ｋ］，ＸＨ１’［ｋ］，ＸＨ０’［ｊ］は、可逆符号器／多重化器５３４に入力され、従来行われているようなハフマン符号化や算術符号化などの可逆符号化、さらに多重化処理などが施されて、蓄積媒体や伝送路を介して図１０に示す復号器６００に送られる。
【００２０】
図１０において、ウェーブレット合成を行う復号器６００では、逆多重化器／可逆復号器６３５によって、上記符号器５００でなされた多重化処理や可逆符号化に対する復号処理を行うことにより、データＸＬ１’［ｋ］，ＸＨ１’［ｋ］，ＸＨ０’［ｊ］を復元する。復元されたデータＸＬ１’［ｋ］，ＸＨ１’［ｋ］，ＸＨ０’［ｊ］はそれぞれ異なる逆量子化器６３３Ａ，６３３Ｂ，６３３Ｃに入力され、次の
【００２１】
【数５】
【００２２】
なる（１０）式，（１１）式，（１２）式に示すように、上記量子化器４３２Ａ，４３２Ｂ，４３２Ｃによってなされたのと逆の変換が施される。
【００２３】
ここで、２段目の分割における低周波数帯域信号ＸＬ１”［ｋ]及び高周波数帯域信号ＸＨ１”［ｋ］はそれぞれアップサンプル器６３１Ａ，６３１Ｂに入力される。また１段目の分割における高周波数帯域信号ＸＨ０”［ｊ］は遅延器６３７に入力され、１段目の分割による低周波数帯域信号ＸＬ０”［ｊ］が再構成されるのに必要な時間だけ遅延が施される。
【００２４】
各アップサンプル器６３１Ａ，６３１Ｂによって（３）式及び（４）式と同様のアップサンプル処理の施された低周波数帯域信号ＸＬ１”［ｊ］及び高周波数信号ＸＨ１”［ｊ］は、それぞれ解析用ローパスフィルタ５０１Ｂ、解析用ハイパスフィルタ５０２Ｂと（５）式及び（６）式の関係にある合成用ローパスフィルタ６１１Ａ、合成用ハイパスフィルタ６１２Ａに入力される。各フィルタ６１１Ａ，６１２Ａの出力は加算器６３６Ａによって加算され、符号器５００において１段目の分割によって得られた低周波数帯域信号ＸＬ０［ｊ］に対応する信号ＸＬ０”［ｊ］となる。
【００２５】
また、１段目の低周波数帯域信号ＸＬ０”［ｊ］と遅延器６３７によって遅延の施された１段目の高周波数帯域信号ＸＨ０”［ｊ］は、それぞれ各アップサンプル器６３１Ｃ，６３１Ｄによりアップサンプリングが行われた後、合成用ローパスフィルタ６１１Ｂ、合成用ハイパスフィルタ６１２Ｂにより補間処理が施され、加算器６３６Ｂによって加算されて、入力信号ｘ［ｉ］に対応する再現信号ｘ”［ｉ］が得られる。
【００２６】
次に、図１１，図１２を用いて動画像符号化方式、及び復号化方式の従来例を説明する。
【００２７】
図１１に示す符号器７００において、動きベクトル検出器７１１は、フレームメモリ７１２に保存された入力画像から、動きベクトルｖを検出する。動きベクトルの検出法としては、通常、１６画素×１６画素のブロック単位でのブロックマッチングが行われる。また、より高い精度を実現するために、半画素単位のマッチングが行われる。
【００２８】
また、動き補償器７０３は図示せぬフレームメモリを備え、現在、符号化すべき画像の各位置の画素値を、すでに符号化／復号化が終了し、このフレームメモリに保存されている画像から予測する。時刻ｔに入力された画像上の位置（ｉ，ｊ）における画素値Ｉ［ｉ，ｊ，ｔ］の予測値Ｉ’［ｉ，ｊ，ｔ］は、この位置に対応する動きベクトルをｖ＝（ｖｘ（ｉ，ｊ，ｔ），ｖｙ（ｉ，ｊ，ｔ））を用いて、次の
【００２９】
【数６】
【００３０】
なる（１３）式のように決定される。
【００３１】
ここで、Ｔは、現在予測を行っている画像Ｉが入力された時刻と、フレームメモリ上にある画像が入力された時刻の差であり、（１３）式右辺のＩ［ｉ’，ｊ’，ｔ−Ｔ］、Ｉ［ｉ’＋１，ｊ’，ｔ−Ｔ］、Ｉ［ｉ’，ｊ’＋１，ｔ−Ｔ］、Ｉ［ｉ’＋１，ｊ’＋１，ｔ−Ｔ］は、図示せぬフレームメモリ上の画素値を表わす。また、ｉｎｔ（ｘ）はｘを越えない最大の整数値を表している。
【００３２】
また、減算器７９０は、現在符号化すべき画素の値と、動き補償器７０３によって算出された予測値との差分を計算する。ウェーブレット変換器７１４は、上記減算器７９０により算出された差分値にウェーブレット変換を施す。さらに、量子化器７１５は、ウェーブレット変換器７１４によって得られたウェーブレット係数ｃに対して、適当なステップサイズＱを用いて次の
【００３３】
【数７】
【００３４】
なる式（１４）のような量子化処理を行う。
【００３５】
そして、上記量子化器７１５により量子化処理の施されたウェーブレット係数は、可変長符号化器７１６及び逆量子化器７２５に供給される。逆量子化器７２５では、量子化器７１５で用いられたのと同じステップサイズにより、次の
【００３６】
【数８】
【００３７】
なる式（１５）のような逆量子化処理を行う。
【００３８】
逆量子化の施されたデータは、逆ウェーブレット変換器７２４によって逆ウェーブレットが行われ、画素値の差分値が復元される。この差分値は、加算器７９１によって動き補償器７０３から出力される予測値と加算されて画素値のデータとなり、動き補償器７０３に送られて図示せぬフレームメモリに保存される。そして、可変長符号化器７１６は、量子化器７１５によって得られた量子化されたウェーブレット係数、及び動きベクトル検出器７１１によって得られた動きベクトルｖに対して可変長符号化を施し、ビットストリームを出力する。
【００３９】
一方、図１２に示す復号器８００では、はじめに逆可変長符号化器８２６によって上述の符号器７００における可変長符号化器７１６の逆処理を施し、ビットストリームから、量子化の施されたウエーブレット係数及び動きベクトルｖを復元する。そして、得られたウエーブレット係数は逆量子化器８２５に、動きベクトルvは動き補償器８０３にそれぞれ供給される。上記逆量子化器８２５及び逆ウエーブレット器８２４は、符号器７００のものと同じものであり、それぞれにおいて、式（３）の逆量子化処理および逆ウエーブレット変換を施すことにより、画素値の差分値を復元する。
【００４０】
この差分値は、加算器８９１によって、動き補償器８０３によってすでに生成されている予測値と加算されて画素値のデータとなり、符号器７００への入力画像に対応する画像が再構成される。復号化された画像の各画素値は、予測画像を生成するために、動き補償器８０３に備えられた図示せぬフレームメモリに保存される。
【００４１】
動き補償器８０３は、符号器７００のものと同じものであり、逆可変長符号化器８２６によって得られた動きベクトルｖ及びすでにこの動き補償器８０３が備える図示せぬフレームメモリに保存されている画像を用いて、現在復号化すべき画像の各画素値の予測を行う。
【００４２】
但し、現在符号化すべき画素の値と動き補償器７０３によって算出された予測値との差分が大きい場合には、符号化ビット量が多くなることを防ぐために、以下に示すイントラブロック符号化を行なう場合もある。すなわち、ブロック内の各画素からブロック内の輝度値の平均を引いた値をウェーブレット変換器に送ると共に、その輝度値の平均に対して符号化を行なう。
【００４３】
ウェーブレット符号化方式では、一般には例えば図１３に示したような文法で符号化ビット列が生成される。ウェーブレット変換を用いた符号化方式では、ＭＰＥＧ１やＭＰＥＧ２で用いられている離散コサイン変換（ＤＣＴ）のようなブロック単位ではなく、一般に画像全体に対して量子化ウェーブレット係数を算出し符号化を行なう。そのため、符号化を行なう画像について、全ての動きベクトルの情報を出力した後、全てのウェーブレット係数の出力を行なう。図１３に示した文法では、動きベクトルの検出及び動き補償の単位である各ブロックについて、まずベクトルの数を示すフラグを出力し、ベクトルの数が０であるイントラブロックの場合には、ウェーブレット係数の直流成分である平均オフセット値を出力し、ベクトルの数が１もしくはそれ以上であるインターブロックの場合（１つのブロック内に複数の動きベクトルを許容する場合もある）には、その領域に対して検出された動きベクトルを出力する。
【００４４】
【発明が解決しようとする課題】
ウェーブレット分割又はサブバンド分割に基づいた従来の符号化方式では、ウェーブレット変換又はサブバンド変換を行なった後で量子化すると、主に高周波成分において量子化ノイズが発生し、逆量子化した後でウェーブレット逆変換又はサブバンド逆変換を行なって得られる画像にリンギングが発生するといった問題があった。特に、画像間予測を行なう際には、本来差分画像中の静止している領域の多くが無意値であるにもかかわらず、複数回の分割を行なう際のサブサンプリングの影響で、分割が進むほど相対的にタップ数が増える効果によって、動いている領域周辺等の有意値が静止している領域等の無意値にも拡散し、結果として広い範囲にリンギングが発生するといった問題があった。
【００４５】
そこで、本発明の目的は、ウェーブレット分割又はサブバンド分割と量子化に伴うウェーブレット係数又はサブバンド係数の量子化ノイズ成分の拡散を抑えることができ、リンギングの発生範囲を小さく抑えることができる画像符号化方法及び画像復号装置を提供することにある。
【００４６】
【課題を解決するための手段】
上記課題を解決するために本発明は、既に符号化／復号化の終了している画像から動き補償手段を用いて得られた画像と、入力された画像との差分画像に対して、無意領域を検出し、検出した領域の位置情報を符号化し、その領域に対して平滑化が行なわれるように構成されている。
【００４７】
すなわち、本発明に係る画像符号化方法は、入力された画像から動きベクトルを検出し、上記動きベクトルと既に符号化／復号化の終了している画像から動き補償による予測画像を構成し、上記予測画像と入力された画像との差分画像を算出し、上記差分画像から差分値の無意領域を検出し、上記差分画像に対してウェーブレット変換による周波数帯域分割処理を施し、ウェーブレット係数を生成し、上記ウェーブレット係数に対して量子化を行なって量子化ウェーブレット係数を算出し、上記量子化ウェーブレット係数を上記動きベクトル及び上記無意領域の情報と共に符号化し、上記量子化ウェーブレット係数に対して逆量子化を行なった後逆ウェーブレット変換を施して差分画像を復元し、上記逆ウェーブレット変換により得られた差分画像に対して上記無意領域を平滑化して平滑化差分画像を算出し、上記平滑化差分画像と上記予測画像とを加算することによって復号化側で再生されるべき画像を得て、この画像から上記動き補償による予測画像を構成することを特徴とする。
【００４８】
また、本発明に係る画像符号化方法は、入力された画像から動きベクトルを検出し、上記動きベクトルと既に符号化／復号化の終了している画像から動き補償による予測画像を構成し、上記予測画像と入力された画像との差分画像を算出し、上記差分画像から差分値の無意領域を検出し、上記差分画像に対してサブバンド変換による周波数帯域分割処理を施してサブバンド係数を生成し、上記サブバンド係数に対して量子化を行なって量子化サブバンド係数を算出し、上記量子化サブバンド係数を上記動きベクトル及び上記無意領域の情報と共に符号化し、上記量子化サブバンド係数に対して逆量子化を行なった後逆サブバンド変換を施して差分画像を復元し、上記逆サブバンド変換によって得られた差分画像に対して上記無意領域を平滑化して平滑化差分画像を算出し、上記平滑化差分画像と上記予測画像とを加算することによって復号化側で再生されるべき画像を画像を得て、この画像から上記動き補償による予測画像を構成することを特徴とする。
【００５９】
本発明に係る画像復号装置は、入力画像と動き補償による予測画像の差分画像に対するウェーブレット係数を量子化した量子化ウェーブレット係数から復元された差分画像に対して差分値の無意領域を平滑化した平滑化差分画像と上記予測画像とを加算することによって生成される画像から上記動き補償による予測画像が構成され、上記差分画像に対して差分値の無意領域を示す情報が上記量子化ウェーブレット係数及び動きベクトルとともに符号化されて伝送される伝送系における画像復号装置であって、上記伝送系により与えられた動きベクトルと既に復号化の終了している画像から予測画像を構成する動き補償手段と、上記伝送系により与えられた量子化ウェーブレット係数に対して逆量子化を行なった後の逆ウェーブレット変換を施して差分画像を復元する逆ウェーブレット変換手段と、上記逆ウェーブレット変換手段によって得られた差分画像に対して、上記伝送系により与えられた無意領域の位置情報に基づいて差分画像中で該当する領域の平滑化を行なう領域平滑化手段と、上記動き補償手段によって得られた予測画像と上記領域平滑化手段によって得られた平滑化差分画像との加算を行ない、再生画像を復元する画像加算手段とを有することを特徴とする。
【００６０】
また、本発明に係る画像復号装置は、入力画像と動き補償による予測画像の差分画像に対するサブバンド係数を量子化した量子化サブバンド係数から復元された差分画像に対して差分値の無意領域を平滑化した平滑化差分画像と上記予測画像とを加算することによって生成される画像から上記動き補償による予測画像が構成され、上記差分画像に対して差分値の無意領域を示す情報が上記量子化サブバンド係数及び動きベクトルとともに符号化されて伝送される伝送系における画像復号装置であって、上記伝送系により与えられた動きベクトルと既に復号化の終了している画像から予測画像を構成する動き補償手段と、上記伝送系により与えられた量子化サブバンド係数に対して逆量子化を行なった後の逆サブバンド変換を施して差分画像を復元する逆サブバンド変換手段と、上記逆サブバンド変換手段によって得られた差分画像に対して、上記伝送系により与えられた無意領域の位置情報に基づいて差分画像中で該当する領域の平滑化を行なう領域平滑化手段と、上記動き補償手段によって得られた予測画像と上記領域平滑化手段によって得られた平滑化差分画像との加算を行ない、再生画像を復元する画像加算手段とを有することを特徴とする。
【００６２】
【発明の実施の形態】
以下、本発明に係る画像符号化方法、画像信号記録媒体及び画像復号化装置のいくつかの好ましい実施の形態について図面を参照しながら説明する。
【００６３】
図１乃至図３に示す第１の実施の形態は、図１１，図１２に示したウェーブレット変換による符号化／復号化の従来例を改良したもので、基本的な構成は上記従来例とほぼ同じであるが、符号器１００においてウェーブレット変換器１４の前に無意領域指定器１０５が、また、符号器１００及び復号器２００においてウェーブレット逆変換器１２４，２２４の後に平滑化器１０６，２０６が存在する点が異なる。
【００６４】
図１に示す符号器１００において、動きベクトル検出器１１１は、フレームメモリ１１２に保存された入力画像から、動きベクトルｖを検出する。動きベクトルの検出法としては、通常、１６画素×１６画素のブロック単位でのブロックマッチングが行われる。また、より高い精度を実現するために、半画素単位のマッチングが行われる。また、動き補償器１０３は図示せぬフレームメモリを備え、現在、符号化すべき画像の各位置の画素値を、すでに符号化／復号化が終了し、このフレームメモリに保存されている画像から予測する。そして、減算器１９０は、現在符号化すべき画素の値と、動き補償器１０３によって算出された予測値との差分を計算する。
【００６５】
そして、無意領域指定器１０５では、入力が差分画像である場合、すなわち、減算器１９０により算出された差分値が入力である場合に、その差分値の無意領域を検出し、その位置情報ｌｏｃａｔｉｏｎを平滑化器１０６及び可変長符号化器１１６へ送る。
【００６６】
無意領域指定器１０５では、例えば以下のように平滑化領域を指定する。まず、入力された差分画像を、例えば図２のように縦横１６画素のブロックに分割する。この時の各ブロックは、例えば動きベクトルの検出を行なった時に用いたブロックと同じものを用いる。その後各ブロックについて、次の（１６）式に示すように、
【００６７】
【数９】
【００６８】
差分値の絶対値和又は二乗和ｓｕｍを算出する。なお式（１６）において、Ｘは差分画像中の任意のブロックを表し、ｉ，ｊは座標位置、ＢＳはブロックの範囲を表す。この和ｓｕｍがある閾値以下である場合には、そのブロックの位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送る。
【００６９】
ここで、上記無意領域指定器１０５では、ブロック内の差分値の平均を求めた後、次の（１７）式にて、
【００７０】
【数１０】
【００７１】
ブロック内の差分値の標準偏差ｄｅｖを求め、この値がある閾値以下である場合には、そのブロック位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送るようにしてもよい。あるいは、ブロック内の差分値の平均を求めた後、ブロック内の差分値の偏差の中で最大のものを求め、この偏差がある閾値以下である場合には、そのブロック位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送る。ブロック内の差分値の偏差のうち、複数を評価の際の対象として用いても良い。静止しているブロック領域における差分値や標準偏差は小さくなるため、上記の評価方法によれば、静止しているブロック領域を指定できる。また、ここに記した以外の評価方法を用いても良い。
【００７２】
そして、ウェーブレット変換器１１４は、上記減算器１９０により算出された差分値にウェーブレット変換を施す。さらに、量子化器１１５は、ウェーブレット変換器１４によって得られたウェーブレット係数ｃに対して、適当なステップサイズＱを用いて量子化処理を行う。
【００７３】
上記量子化器１１５により量子化処理の施されたウェーブレット係数は、可変長符号化器１１６及び逆量子化器１２５に供給される。逆量子化器１２５では、量子化器１１５で用いられたのと同じステップサイズにより逆量子化処理を行う。逆量子化の施されたデータは、逆ウェーブレット変換器１２４によって逆ウェーブレットが行われ、画素値の差分値が復元される。この上記逆ウェーブレット変換器１２４によって復元された画素値の差分値が平滑化器１０６を介して加算器１９１に供給される。
【００７４】
上記平滑化器１０６では、上記無意領域指定器１０５から送られる位置情報ｌｏｃａｔｉｏｎに基づいて、画像中で該当する範囲に対して平滑化を行なう。
【００７５】
そして、上記差分値は、加算器１９１によって動き補償器１０３から出力される予測値と加算されて画素値のデータとなり、動き補償器１０３に送られて図示せぬフレームメモリに保存される。そして、可変長符号化器１１６は、上記無意領域指定器１０５により検出した上記差分値の無意領域を示す位置情報ｌｏｃａｔｉｏｎとともに量子化器１１５によって得られた量子化されたウェーブレット係数及び動きベクトル検出器１１１によって得られた動きベクトルｖに対して可変長符号化を施し、ビットストリームを出力する。
【００７６】
一方、図３に示す復号器２００では、はじめに逆可変長符号化器２２６によって上記符号器１００における可変長符号化器１１６の逆処理を施し、ビットストリームから、上記差分値の無意領域を示す位置情報ｌｏｃａｔｉｏｎ、量子化されたウェーブレット係数及び動きベクトルｖを復元する。そして、得られた位置情報ｌｏｃａｔｉｏｎは平滑化器２０６に、ウエーブレット係数は逆量子化器２２５に、動きベクトルｖは動き補償器２０３にそれぞれ供給される。上記逆量子化器２２５及び逆ウエーブレット器２２４は、上記符号器１００のものと同じものであり、それぞれにおいて逆量子化処理および逆ウエーブレット変換を施すことにより、画素値の差分値を復元する。
【００７７】
上記平滑化器２０６では、上記逆ウエーブレット変換器２２４により復元された画素値の差分値に対して、上記逆可変長符号化器２２６から送られる位置情報ｌｏｃａｔｉｏｎに基づいて、画像中で該当する範囲の平滑化を行なう。
【００７８】
そして、上記差分値は、加算器２９１によって、動き補償器２０３によってすでに生成されている予測値と加算されて画素値のデータとなり、符号器１５０への入力画像に対応する画像が再構成される。復号化された画像の各画素値は、予測画像を生成するために、動き補償器２０３に備えられた図示せぬフレームメモリに保存される。
【００７９】
ここで、上記動き補償器２０３は、符号器１００のものと同じものであり、逆可変長符号化器２２６によって得られた動きベクトルｖ及びすでにこの動き補償器２０３が備える図示せぬフレームメモリに保存されている画像を用いて、現在復号化すべき画像の各画素値の予測を行う。
【００８０】
但し、現在符号化すべき画素の値と動き補償器２０３によって算出された予測値との差分が大きい場合には、符号化ビット量が多くなることを防ぐためにイントラブロック符号化を行なう場合もある。すなわち、ブロック内の各画素からブロック内の輝度値の平均を引いた値をウェーブレット変換器に送ると共に、その輝度値の平均に対して符号化を行なう。
【００８１】
ここで、図１に示した符号器１００において、ブロック内の差分値や差分値の標準偏差の代わりに、例えば動きベクトル検出器１１１で求まるベクトルｖを用いて評価を行なう方法もある。すなわち、図４に示す変形例のように、動きベクトル検出器１１１で求まるベクトルを無意領域指定器１０５に送り、このベクトルの大きさがある閾値以下である場合には、そのブロックの位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送る。
【００８２】
静止しているブロック領域でのベクトルは小さくなるため、上記の評価方法によれば、静止しているブロック領域を指定できる。動きベクトル検出器１１１で求まるベクトル v に限らず、他の処理器で求まる指標を用いても良い。
【００８３】
また、第１の実施の形態で示した評価方法等を組み合わせても良い。例えば、これらの実施例に示した評価方法に対する論理和や論理積を求め、その結果を評価の際に用いても良い。さらに、第１の実施の形態で示した評価方法を反対にしても良い。例えば第１の実施の形態について、ブロック内の差分値の絶対値和又は二乗和がある閾値以上の場合、そのブロックを動いている領域とみなし、そのブロック位置に対する有意領域フラグを平滑化器１０６及び可変長符号化器１６へ送る。平滑化器１０６では、有意領域でないブロック位置に対して平滑化を行なう。
【００８４】
平滑化器１０６，２０６では、例えば以下のように平滑化を行なう。無意領域指定器１０５又は逆可変長符号化器２２６から送られる縦横１６画素のブロックに対する無意領域フラグを受けとり、画像中でそのブロック位置に該当する範囲に対して差分値を全て強制的に０に置き換える。なお、差分値を全て強制的に０に置き換える以外の平滑化を行なっても良い。
【００８５】
このような構成によれば、縦横１６画素のブロックというまとまった単位で領域の指定が行なえる上に、動きベクトルの検出を行なった時に用いたブロックと同じものを用いることによって、形状に対して多くのビットを割り振る必要がなくなる。なお、無意領域指定器１０５で差分画像を分割する際や領域を指定する際等には、必ずしも縦横１６画素のブロックで指定を行なう必要はなく、任意の形状を用いて良い。
【００８６】
次に、図５に本発明の第２の実施の形態を示す。この第２の実施の形態における符号化器１００の基本的な構成は上述の図１に示した第１の実施の形態における符号化器１００とほぼ同じであるが、符号器１００の無意領域指定器１０５の後に第２の平滑化器１０６Ｓがある所が異なる。
【００８７】
可変長符号化器１１６で量子化ウェーブレット係数の符号化を行なう際、一般に０である係数が多いほど符号化ビット列は少なくて済む。この第２の実施の形態では、ウェーブレット変換器１１４の前に平滑化器１０６Ｓを置くことによって、例えば無意値は強制的に０になるため、符号化効率が向上する。
【００８８】
さらに、図６及び図７に本発明の第３の実施の形態を示す。この第３の実施の形態では、動きベクトルの検出及び動き補償の単位である各ブロックについて、以下のように符号化ビット列を構成する。
【００８９】
すなわち、図６のフローチャートに示すように、先ずステップＳ１において、符号化すべきデータのブロックがイントラブロックであるか否を判定する。そして、イントラブロックの場合には、ステップＳ２に移ってベクトルの数を０かつ無意領域フラグをＯＦＦとし、その後ステップＳ３に進んで、そのブロック内の輝度値の平均である平均オフセット値を出力する。
【００９０】
また、イントラブロック以外の場合には、ステップＳ４に移って動きベクトルの大きさが０でかつ無意領域であるか否かを判定する。そして、動きベクトルの大きさが０でかつ無意領域であるブロックの場合は、ステップＳ５に進んで、ベクトルの数を０かつ無意領域フラグをＯＮにする。この場合には、その他に符号化を行なう必要がなくなる。これ以外のブロックの場合には、ステップＳ６に移って無意領域であるか否かを判定する。そして、無意領域である場合は、ステップＳ７に進んで、ベクトルの数を１以上かつ無意領域フラグをＯＮにする。また、無意領域でない場合は、ステップＳ８に進んで、ベクトルの数を１もしくはそれ以上にし、無意領域フラグＯＦＦにする。
【００９１】
そして、無意領域フラグＯＮ，ＯＦＦを出力した後、ステップＳ９に移って、その領域に対して検出された動きベクトルを出力する。
【００９２】
ブロックの走査順は、例えば図２の矢印で示した通りである。以上に示した文法を用いることによって、無意領域の位置情報とその領域に対して検出された動きベクトル等をブロック単位で一括して表現することができる。
【００９３】
この第３の実施の形態の基本的な構成は、図７に示すように上述の図１３に示した従来例とほぼ同じであるが、無意領域であるか否かを示す無意領域フラグが加わっている点が異なり、これによって無意領域に対する動きベクトルを省略できる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、ウェーブレット分割、又はサブバンド分割と量子化に伴うウェーブレット係数、又はサブバンド係数の量子化ノイズ成分の拡散を抑えることができ、リンギングの発生範囲を小さく抑えることができる。
【図面の簡単な説明】
【図１】本発明に係る画像符号化方法を実施するための符号器の構成を示すブロック図である。
【図２】上記復号器における画像のブロック分割及びブロックの走査順を示す図である。
【図３】本発明に係る復号器の構成を示すブロック図である。
【図４】本発明に係る画像符号化方法を実施するための符号器の他の構成を示すブロック図である。
【図５】本発明に係る画像符号化方法を実施するための符号器の他の構成を示すブロック図である。
【図６】本発明に係る画像符号化方法による符号化ビット列生成の手順を示すフローチャートである。
【図７】本発明に係る画像符号化方法による符号化ビット列生成の文法構造を示す図である。
【図８】ウエーブレット分割・合成の原理を示すブロック図である。
【図９】ウエーブレット分割を行う分割器の基本構成を示すブロック図である。
【図１０】ウエーブレット合成を行う合成器の基本構成を示すブロック図である。
【図１１】ウエーブレット分割を行う従来の符号器の構成を示すブロック図である。
【図１２】ウエーブレット合成を行う従来の復号器の構成を示すブロック図である。
【図１３】従来の符号化ビット列生成の文法構造を示す図である。
【符号の説明】
１００ 符号器、 １０３，２０３ 動き補償器、 １０５ 無意領域指定器、 １０６，１０６Ｓ，２０６ 平滑化器、 １１１ 動きベクトル検出器、 １１２ フレームメモリ、 １１４ ウエーブレット変換器、 １１５ 量子化器、１１６ 可変長符号化器、 １２４，２２４ 逆ウエーブレット変換器、１２５，２２５ 逆量子化器、 １９０ 減算器、 １９１，２９１ 加算器、 ２００ 復号器、 ２２６ 逆可変長符号化器
【発明の属する技術分野】
本発明は、画像符号化方法及び画像符号装置に関し、特に、光ディスク、磁気ディスク、磁気テープ等の画像記録媒体に動画の映像信号を蓄積用符号化して記録するシステムや、伝送路を介して動画の映像信号を伝送するシステム等において使用される画像符号化方法及び画像復号装置に関するものである。
【０００２】
【従来技術】
ディジタル信号の圧縮を目的とした符号化／復号化方式の１つとして、ウェーブレットフィルタ、またはサブバンドフィルタによる帯域分割に基づく方法がある。これらは、入力された信号に対して、異なる通過帯域を有する複数のフィルタを施した後、各帯域幅に応じた間隔でサブサンプリングを施し、各フィルタの出力信号のエネルギーの偏りを利用して圧縮を行うものである。
【０００３】
図８に、ウエーブレットフィルタまたはサブバンドフィルタによる帯域分割および合成のための基本構成を示す。ここでは入力を１次元信号ｘ［ｉ］とする。
図８において、分割器３００は、帯域分割のための解析用ローパスフィルタ３０１と帯域分割のための解析用ハイパスフィルタ３０２を備え、これら２つのフィルタ３０１，３０２によって、入力信号を低周波数帯域信号ＸＬ［ｉ］および高周波数帯域信号ＸＨ［ｉ］に分割する。そして、サブサンプル器３３０Ａ，３３０Ｂは、帯域分割された各信号ＸＬ［ｉ］，ＸＨ［ｉ］に対して、次の
【０００４】
【数１】
なる（１）式，（２）式で示すにように１サンプル毎の間引き処理を行う。
【０００６】
合成器４００では、上記間引き処理された各信号ＸＬ［ｊ］，ＸＨ［ｊ］に対して、次の
【０００７】
【数２】
なる（３）式，（４）式に示すように、アップサンプル器４３１Ａ，４３１Ｂによってサンプル間隔を２倍に引き伸ばし、その中心位置にゼロの値を持つサンプルを挿入する。
【０００９】
そして、合成用ローパスフィルタ４１１、合成用ハイパスフィルタ４１２によって各帯域信号ＸＬ［ｉ］，ＸＨ［ｉ］に補間処理を施し、その後、加算器４３６で加算することによって、入力信号ｘ［ｉ］を復元する。
【００１０】
ここで、分割器３００側の解析用ローパスフィルタ３０１、解析用ハイパスフィルタ３０２、及び合成器４００側の合成用ローパスフィルタ４１１、合成用ハイパスフィルタ４１２は、次の
【００１１】
【数３】
なる（５）式，（６）式の関係が完全に、または近似的に満たされるように構成されている。Ｈ0（ｚ）、Ｈ1（ｚ）、Ｆ0（ｚ）、Ｆ1（ｚ）はそれぞれ解析用ローパスフィルタ３０１、解析用ハイパスフィルタ３０２、合成用ローパスフィルタ４１１、合成用ハイパスフィルタ４１２の伝達関数であり、Ｌは任意の整数である。この拘束条件によって、合成器４００における加算器４３６からの出力信号Ｘ”［ｉ］が入力信号ｘ［ｉ］と完全に、あるいは近似的に一致することが保証される。
【００１３】
上述のようなウエーブレット分割、合成を符号化に用いる場合、サブサンプル器３３０Ａ，３３０Ｂとアップサンプル器４３１Ａ，４３１Ｂの間で符号化／復号化処理が行われることになる。また、図８の例では入力信号を２つの帯域に分割しているが、データ量の圧縮を目的とした符号化では、より効率的な圧縮を行うために、各帯域をさらに２乃至３回程度、再帰的に分割していくことが行われている。
【００１４】
図９及び図１０にウエーブレット分割・合成またはサブバンド分割・合成の従来例の構成を示す。
【００１５】
図９に示すウェーブレット分割を行う符号器５００は、解析用ローパスフィルタ５０１Ａと解析用ハイパスフィルタ５０２Ａによって入力信号ｘ［ｉ］を低周波数帯域ＸＬ０［ｉ］と高周波数帯域ＸＨ０［ｉ］に分割するが、（１）式と同様のサブサンプリング処理がサブサンプル器５３０Ａにより施された低周波数帯域信号ＸＬ０［ｊ］は、第２の解析用ローパスフィルタ５０１Ｂと第２の解析用ハイパスフィルタ５０２Ｂによってさらに帯域分割が行われ、サブサンプル器５３０Ｃ，５３０Ｄによりサブサンプリング処理が施される。
【００１６】
一方、１段目の解析用ハイパスフィルタ５０２Ａを通過した高周波数帯域信号ＸＨ０［ｉ］は、サブサンプル器５３０Ｂによってサブサンプリング処理が施されたのち、低周波数帯域信号との同期をとるために遅延器５３７に入力される。この遅延器５３７によって遅延の施された１段目の高周波数帯域信号ＸＨ０［ｊ］、及び２段目のサブサンプル器５３０Ｃ，５３０Ｄによってサブサンプル処理の施された高周波数帯域信号ＸＨｌ［ｋ］、低周波数帯域信号ＸＬｌ［ｋ］は、それぞれ量子化器５３２Ａ，５３２Ｂ，５３２Ｃに入力され、対応する量子化ステップＱＨ０，ＱＨ１，ＱＬ１によって、次の
【００１７】
【数４】
なる（７）式，（８）式，（９）式のように量子化される。
【００１９】
そして、量子化された各データＸＬ１’［ｋ］，ＸＨ１’［ｋ］，ＸＨ０’［ｊ］は、可逆符号器／多重化器５３４に入力され、従来行われているようなハフマン符号化や算術符号化などの可逆符号化、さらに多重化処理などが施されて、蓄積媒体や伝送路を介して図１０に示す復号器６００に送られる。
【００２０】
図１０において、ウェーブレット合成を行う復号器６００では、逆多重化器／可逆復号器６３５によって、上記符号器５００でなされた多重化処理や可逆符号化に対する復号処理を行うことにより、データＸＬ１’［ｋ］，ＸＨ１’［ｋ］，ＸＨ０’［ｊ］を復元する。復元されたデータＸＬ１’［ｋ］，ＸＨ１’［ｋ］，ＸＨ０’［ｊ］はそれぞれ異なる逆量子化器６３３Ａ，６３３Ｂ，６３３Ｃに入力され、次の
【００２１】
【数５】
なる（１０）式，（１１）式，（１２）式に示すように、上記量子化器４３２Ａ，４３２Ｂ，４３２Ｃによってなされたのと逆の変換が施される。
【００２３】
ここで、２段目の分割における低周波数帯域信号ＸＬ１”［ｋ]及び高周波数帯域信号ＸＨ１”［ｋ］はそれぞれアップサンプル器６３１Ａ，６３１Ｂに入力される。また１段目の分割における高周波数帯域信号ＸＨ０”［ｊ］は遅延器６３７に入力され、１段目の分割による低周波数帯域信号ＸＬ０”［ｊ］が再構成されるのに必要な時間だけ遅延が施される。
【００２４】
各アップサンプル器６３１Ａ，６３１Ｂによって（３）式及び（４）式と同様のアップサンプル処理の施された低周波数帯域信号ＸＬ１”［ｊ］及び高周波数信号ＸＨ１”［ｊ］は、それぞれ解析用ローパスフィルタ５０１Ｂ、解析用ハイパスフィルタ５０２Ｂと（５）式及び（６）式の関係にある合成用ローパスフィルタ６１１Ａ、合成用ハイパスフィルタ６１２Ａに入力される。各フィルタ６１１Ａ，６１２Ａの出力は加算器６３６Ａによって加算され、符号器５００において１段目の分割によって得られた低周波数帯域信号ＸＬ０［ｊ］に対応する信号ＸＬ０”［ｊ］となる。
【００２５】
また、１段目の低周波数帯域信号ＸＬ０”［ｊ］と遅延器６３７によって遅延の施された１段目の高周波数帯域信号ＸＨ０”［ｊ］は、それぞれ各アップサンプル器６３１Ｃ，６３１Ｄによりアップサンプリングが行われた後、合成用ローパスフィルタ６１１Ｂ、合成用ハイパスフィルタ６１２Ｂにより補間処理が施され、加算器６３６Ｂによって加算されて、入力信号ｘ［ｉ］に対応する再現信号ｘ”［ｉ］が得られる。
【００２６】
次に、図１１，図１２を用いて動画像符号化方式、及び復号化方式の従来例を説明する。
【００２７】
図１１に示す符号器７００において、動きベクトル検出器７１１は、フレームメモリ７１２に保存された入力画像から、動きベクトルｖを検出する。動きベクトルの検出法としては、通常、１６画素×１６画素のブロック単位でのブロックマッチングが行われる。また、より高い精度を実現するために、半画素単位のマッチングが行われる。
【００２８】
また、動き補償器７０３は図示せぬフレームメモリを備え、現在、符号化すべき画像の各位置の画素値を、すでに符号化／復号化が終了し、このフレームメモリに保存されている画像から予測する。時刻ｔに入力された画像上の位置（ｉ，ｊ）における画素値Ｉ［ｉ，ｊ，ｔ］の予測値Ｉ’［ｉ，ｊ，ｔ］は、この位置に対応する動きベクトルをｖ＝（ｖｘ（ｉ，ｊ，ｔ），ｖｙ（ｉ，ｊ，ｔ））を用いて、次の
【００２９】
【数６】
なる（１３）式のように決定される。
【００３１】
ここで、Ｔは、現在予測を行っている画像Ｉが入力された時刻と、フレームメモリ上にある画像が入力された時刻の差であり、（１３）式右辺のＩ［ｉ’，ｊ’，ｔ−Ｔ］、Ｉ［ｉ’＋１，ｊ’，ｔ−Ｔ］、Ｉ［ｉ’，ｊ’＋１，ｔ−Ｔ］、Ｉ［ｉ’＋１，ｊ’＋１，ｔ−Ｔ］は、図示せぬフレームメモリ上の画素値を表わす。また、ｉｎｔ（ｘ）はｘを越えない最大の整数値を表している。
【００３２】
また、減算器７９０は、現在符号化すべき画素の値と、動き補償器７０３によって算出された予測値との差分を計算する。ウェーブレット変換器７１４は、上記減算器７９０により算出された差分値にウェーブレット変換を施す。さらに、量子化器７１５は、ウェーブレット変換器７１４によって得られたウェーブレット係数ｃに対して、適当なステップサイズＱを用いて次の
【００３３】
【数７】
なる式（１４）のような量子化処理を行う。
【００３５】
そして、上記量子化器７１５により量子化処理の施されたウェーブレット係数は、可変長符号化器７１６及び逆量子化器７２５に供給される。逆量子化器７２５では、量子化器７１５で用いられたのと同じステップサイズにより、次の
【００３６】
【数８】
なる式（１５）のような逆量子化処理を行う。
【００３８】
逆量子化の施されたデータは、逆ウェーブレット変換器７２４によって逆ウェーブレットが行われ、画素値の差分値が復元される。この差分値は、加算器７９１によって動き補償器７０３から出力される予測値と加算されて画素値のデータとなり、動き補償器７０３に送られて図示せぬフレームメモリに保存される。そして、可変長符号化器７１６は、量子化器７１５によって得られた量子化されたウェーブレット係数、及び動きベクトル検出器７１１によって得られた動きベクトルｖに対して可変長符号化を施し、ビットストリームを出力する。
【００３９】
一方、図１２に示す復号器８００では、はじめに逆可変長符号化器８２６によって上述の符号器７００における可変長符号化器７１６の逆処理を施し、ビットストリームから、量子化の施されたウエーブレット係数及び動きベクトルｖを復元する。そして、得られたウエーブレット係数は逆量子化器８２５に、動きベクトルvは動き補償器８０３にそれぞれ供給される。上記逆量子化器８２５及び逆ウエーブレット器８２４は、符号器７００のものと同じものであり、それぞれにおいて、式（３）の逆量子化処理および逆ウエーブレット変換を施すことにより、画素値の差分値を復元する。
【００４０】
この差分値は、加算器８９１によって、動き補償器８０３によってすでに生成されている予測値と加算されて画素値のデータとなり、符号器７００への入力画像に対応する画像が再構成される。復号化された画像の各画素値は、予測画像を生成するために、動き補償器８０３に備えられた図示せぬフレームメモリに保存される。
【００４１】
動き補償器８０３は、符号器７００のものと同じものであり、逆可変長符号化器８２６によって得られた動きベクトルｖ及びすでにこの動き補償器８０３が備える図示せぬフレームメモリに保存されている画像を用いて、現在復号化すべき画像の各画素値の予測を行う。
【００４２】
但し、現在符号化すべき画素の値と動き補償器７０３によって算出された予測値との差分が大きい場合には、符号化ビット量が多くなることを防ぐために、以下に示すイントラブロック符号化を行なう場合もある。すなわち、ブロック内の各画素からブロック内の輝度値の平均を引いた値をウェーブレット変換器に送ると共に、その輝度値の平均に対して符号化を行なう。
【００４３】
ウェーブレット符号化方式では、一般には例えば図１３に示したような文法で符号化ビット列が生成される。ウェーブレット変換を用いた符号化方式では、ＭＰＥＧ１やＭＰＥＧ２で用いられている離散コサイン変換（ＤＣＴ）のようなブロック単位ではなく、一般に画像全体に対して量子化ウェーブレット係数を算出し符号化を行なう。そのため、符号化を行なう画像について、全ての動きベクトルの情報を出力した後、全てのウェーブレット係数の出力を行なう。図１３に示した文法では、動きベクトルの検出及び動き補償の単位である各ブロックについて、まずベクトルの数を示すフラグを出力し、ベクトルの数が０であるイントラブロックの場合には、ウェーブレット係数の直流成分である平均オフセット値を出力し、ベクトルの数が１もしくはそれ以上であるインターブロックの場合（１つのブロック内に複数の動きベクトルを許容する場合もある）には、その領域に対して検出された動きベクトルを出力する。
【００４４】
【発明が解決しようとする課題】
ウェーブレット分割又はサブバンド分割に基づいた従来の符号化方式では、ウェーブレット変換又はサブバンド変換を行なった後で量子化すると、主に高周波成分において量子化ノイズが発生し、逆量子化した後でウェーブレット逆変換又はサブバンド逆変換を行なって得られる画像にリンギングが発生するといった問題があった。特に、画像間予測を行なう際には、本来差分画像中の静止している領域の多くが無意値であるにもかかわらず、複数回の分割を行なう際のサブサンプリングの影響で、分割が進むほど相対的にタップ数が増える効果によって、動いている領域周辺等の有意値が静止している領域等の無意値にも拡散し、結果として広い範囲にリンギングが発生するといった問題があった。
【００４５】
そこで、本発明の目的は、ウェーブレット分割又はサブバンド分割と量子化に伴うウェーブレット係数又はサブバンド係数の量子化ノイズ成分の拡散を抑えることができ、リンギングの発生範囲を小さく抑えることができる画像符号化方法及び画像復号装置を提供することにある。
【００４６】
【課題を解決するための手段】
上記課題を解決するために本発明は、既に符号化／復号化の終了している画像から動き補償手段を用いて得られた画像と、入力された画像との差分画像に対して、無意領域を検出し、検出した領域の位置情報を符号化し、その領域に対して平滑化が行なわれるように構成されている。
【００４７】
すなわち、本発明に係る画像符号化方法は、入力された画像から動きベクトルを検出し、上記動きベクトルと既に符号化／復号化の終了している画像から動き補償による予測画像を構成し、上記予測画像と入力された画像との差分画像を算出し、上記差分画像から差分値の無意領域を検出し、上記差分画像に対してウェーブレット変換による周波数帯域分割処理を施し、ウェーブレット係数を生成し、上記ウェーブレット係数に対して量子化を行なって量子化ウェーブレット係数を算出し、上記量子化ウェーブレット係数を上記動きベクトル及び上記無意領域の情報と共に符号化し、上記量子化ウェーブレット係数に対して逆量子化を行なった後逆ウェーブレット変換を施して差分画像を復元し、上記逆ウェーブレット変換により得られた差分画像に対して上記無意領域を平滑化して平滑化差分画像を算出し、上記平滑化差分画像と上記予測画像とを加算することによって復号化側で再生されるべき画像を得て、この画像から上記動き補償による予測画像を構成することを特徴とする。
【００４８】
また、本発明に係る画像符号化方法は、入力された画像から動きベクトルを検出し、上記動きベクトルと既に符号化／復号化の終了している画像から動き補償による予測画像を構成し、上記予測画像と入力された画像との差分画像を算出し、上記差分画像から差分値の無意領域を検出し、上記差分画像に対してサブバンド変換による周波数帯域分割処理を施してサブバンド係数を生成し、上記サブバンド係数に対して量子化を行なって量子化サブバンド係数を算出し、上記量子化サブバンド係数を上記動きベクトル及び上記無意領域の情報と共に符号化し、上記量子化サブバンド係数に対して逆量子化を行なった後逆サブバンド変換を施して差分画像を復元し、上記逆サブバンド変換によって得られた差分画像に対して上記無意領域を平滑化して平滑化差分画像を算出し、上記平滑化差分画像と上記予測画像とを加算することによって復号化側で再生されるべき画像を画像を得て、この画像から上記動き補償による予測画像を構成することを特徴とする。
【００５９】
本発明に係る画像復号装置は、入力画像と動き補償による予測画像の差分画像に対するウェーブレット係数を量子化した量子化ウェーブレット係数から復元された差分画像に対して差分値の無意領域を平滑化した平滑化差分画像と上記予測画像とを加算することによって生成される画像から上記動き補償による予測画像が構成され、上記差分画像に対して差分値の無意領域を示す情報が上記量子化ウェーブレット係数及び動きベクトルとともに符号化されて伝送される伝送系における画像復号装置であって、上記伝送系により与えられた動きベクトルと既に復号化の終了している画像から予測画像を構成する動き補償手段と、上記伝送系により与えられた量子化ウェーブレット係数に対して逆量子化を行なった後の逆ウェーブレット変換を施して差分画像を復元する逆ウェーブレット変換手段と、上記逆ウェーブレット変換手段によって得られた差分画像に対して、上記伝送系により与えられた無意領域の位置情報に基づいて差分画像中で該当する領域の平滑化を行なう領域平滑化手段と、上記動き補償手段によって得られた予測画像と上記領域平滑化手段によって得られた平滑化差分画像との加算を行ない、再生画像を復元する画像加算手段とを有することを特徴とする。
【００６０】
また、本発明に係る画像復号装置は、入力画像と動き補償による予測画像の差分画像に対するサブバンド係数を量子化した量子化サブバンド係数から復元された差分画像に対して差分値の無意領域を平滑化した平滑化差分画像と上記予測画像とを加算することによって生成される画像から上記動き補償による予測画像が構成され、上記差分画像に対して差分値の無意領域を示す情報が上記量子化サブバンド係数及び動きベクトルとともに符号化されて伝送される伝送系における画像復号装置であって、上記伝送系により与えられた動きベクトルと既に復号化の終了している画像から予測画像を構成する動き補償手段と、上記伝送系により与えられた量子化サブバンド係数に対して逆量子化を行なった後の逆サブバンド変換を施して差分画像を復元する逆サブバンド変換手段と、上記逆サブバンド変換手段によって得られた差分画像に対して、上記伝送系により与えられた無意領域の位置情報に基づいて差分画像中で該当する領域の平滑化を行なう領域平滑化手段と、上記動き補償手段によって得られた予測画像と上記領域平滑化手段によって得られた平滑化差分画像との加算を行ない、再生画像を復元する画像加算手段とを有することを特徴とする。
【００６２】
【発明の実施の形態】
以下、本発明に係る画像符号化方法、画像信号記録媒体及び画像復号化装置のいくつかの好ましい実施の形態について図面を参照しながら説明する。
【００６３】
図１乃至図３に示す第１の実施の形態は、図１１，図１２に示したウェーブレット変換による符号化／復号化の従来例を改良したもので、基本的な構成は上記従来例とほぼ同じであるが、符号器１００においてウェーブレット変換器１４の前に無意領域指定器１０５が、また、符号器１００及び復号器２００においてウェーブレット逆変換器１２４，２２４の後に平滑化器１０６，２０６が存在する点が異なる。
【００６４】
図１に示す符号器１００において、動きベクトル検出器１１１は、フレームメモリ１１２に保存された入力画像から、動きベクトルｖを検出する。動きベクトルの検出法としては、通常、１６画素×１６画素のブロック単位でのブロックマッチングが行われる。また、より高い精度を実現するために、半画素単位のマッチングが行われる。また、動き補償器１０３は図示せぬフレームメモリを備え、現在、符号化すべき画像の各位置の画素値を、すでに符号化／復号化が終了し、このフレームメモリに保存されている画像から予測する。そして、減算器１９０は、現在符号化すべき画素の値と、動き補償器１０３によって算出された予測値との差分を計算する。
【００６５】
そして、無意領域指定器１０５では、入力が差分画像である場合、すなわち、減算器１９０により算出された差分値が入力である場合に、その差分値の無意領域を検出し、その位置情報ｌｏｃａｔｉｏｎを平滑化器１０６及び可変長符号化器１１６へ送る。
【００６６】
無意領域指定器１０５では、例えば以下のように平滑化領域を指定する。まず、入力された差分画像を、例えば図２のように縦横１６画素のブロックに分割する。この時の各ブロックは、例えば動きベクトルの検出を行なった時に用いたブロックと同じものを用いる。その後各ブロックについて、次の（１６）式に示すように、
【００６７】
【数９】
差分値の絶対値和又は二乗和ｓｕｍを算出する。なお式（１６）において、Ｘは差分画像中の任意のブロックを表し、ｉ，ｊは座標位置、ＢＳはブロックの範囲を表す。この和ｓｕｍがある閾値以下である場合には、そのブロックの位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送る。
【００６９】
ここで、上記無意領域指定器１０５では、ブロック内の差分値の平均を求めた後、次の（１７）式にて、
【００７０】
【数１０】
ブロック内の差分値の標準偏差ｄｅｖを求め、この値がある閾値以下である場合には、そのブロック位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送るようにしてもよい。あるいは、ブロック内の差分値の平均を求めた後、ブロック内の差分値の偏差の中で最大のものを求め、この偏差がある閾値以下である場合には、そのブロック位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送る。ブロック内の差分値の偏差のうち、複数を評価の際の対象として用いても良い。静止しているブロック領域における差分値や標準偏差は小さくなるため、上記の評価方法によれば、静止しているブロック領域を指定できる。また、ここに記した以外の評価方法を用いても良い。
【００７２】
そして、ウェーブレット変換器１１４は、上記減算器１９０により算出された差分値にウェーブレット変換を施す。さらに、量子化器１１５は、ウェーブレット変換器１４によって得られたウェーブレット係数ｃに対して、適当なステップサイズＱを用いて量子化処理を行う。
【００７３】
上記量子化器１１５により量子化処理の施されたウェーブレット係数は、可変長符号化器１１６及び逆量子化器１２５に供給される。逆量子化器１２５では、量子化器１１５で用いられたのと同じステップサイズにより逆量子化処理を行う。逆量子化の施されたデータは、逆ウェーブレット変換器１２４によって逆ウェーブレットが行われ、画素値の差分値が復元される。この上記逆ウェーブレット変換器１２４によって復元された画素値の差分値が平滑化器１０６を介して加算器１９１に供給される。
【００７４】
上記平滑化器１０６では、上記無意領域指定器１０５から送られる位置情報ｌｏｃａｔｉｏｎに基づいて、画像中で該当する範囲に対して平滑化を行なう。
【００７５】
そして、上記差分値は、加算器１９１によって動き補償器１０３から出力される予測値と加算されて画素値のデータとなり、動き補償器１０３に送られて図示せぬフレームメモリに保存される。そして、可変長符号化器１１６は、上記無意領域指定器１０５により検出した上記差分値の無意領域を示す位置情報ｌｏｃａｔｉｏｎとともに量子化器１１５によって得られた量子化されたウェーブレット係数及び動きベクトル検出器１１１によって得られた動きベクトルｖに対して可変長符号化を施し、ビットストリームを出力する。
【００７６】
一方、図３に示す復号器２００では、はじめに逆可変長符号化器２２６によって上記符号器１００における可変長符号化器１１６の逆処理を施し、ビットストリームから、上記差分値の無意領域を示す位置情報ｌｏｃａｔｉｏｎ、量子化されたウェーブレット係数及び動きベクトルｖを復元する。そして、得られた位置情報ｌｏｃａｔｉｏｎは平滑化器２０６に、ウエーブレット係数は逆量子化器２２５に、動きベクトルｖは動き補償器２０３にそれぞれ供給される。上記逆量子化器２２５及び逆ウエーブレット器２２４は、上記符号器１００のものと同じものであり、それぞれにおいて逆量子化処理および逆ウエーブレット変換を施すことにより、画素値の差分値を復元する。
【００７７】
上記平滑化器２０６では、上記逆ウエーブレット変換器２２４により復元された画素値の差分値に対して、上記逆可変長符号化器２２６から送られる位置情報ｌｏｃａｔｉｏｎに基づいて、画像中で該当する範囲の平滑化を行なう。
【００７８】
そして、上記差分値は、加算器２９１によって、動き補償器２０３によってすでに生成されている予測値と加算されて画素値のデータとなり、符号器１５０への入力画像に対応する画像が再構成される。復号化された画像の各画素値は、予測画像を生成するために、動き補償器２０３に備えられた図示せぬフレームメモリに保存される。
【００７９】
ここで、上記動き補償器２０３は、符号器１００のものと同じものであり、逆可変長符号化器２２６によって得られた動きベクトルｖ及びすでにこの動き補償器２０３が備える図示せぬフレームメモリに保存されている画像を用いて、現在復号化すべき画像の各画素値の予測を行う。
【００８０】
但し、現在符号化すべき画素の値と動き補償器２０３によって算出された予測値との差分が大きい場合には、符号化ビット量が多くなることを防ぐためにイントラブロック符号化を行なう場合もある。すなわち、ブロック内の各画素からブロック内の輝度値の平均を引いた値をウェーブレット変換器に送ると共に、その輝度値の平均に対して符号化を行なう。
【００８１】
ここで、図１に示した符号器１００において、ブロック内の差分値や差分値の標準偏差の代わりに、例えば動きベクトル検出器１１１で求まるベクトルｖを用いて評価を行なう方法もある。すなわち、図４に示す変形例のように、動きベクトル検出器１１１で求まるベクトルを無意領域指定器１０５に送り、このベクトルの大きさがある閾値以下である場合には、そのブロックの位置に対する無意領域フラグを平滑化器１０６及び可変長符号化器１１６へ送る。
【００８２】
静止しているブロック領域でのベクトルは小さくなるため、上記の評価方法によれば、静止しているブロック領域を指定できる。動きベクトル検出器１１１で求まるベクトル v に限らず、他の処理器で求まる指標を用いても良い。
【００８３】
また、第１の実施の形態で示した評価方法等を組み合わせても良い。例えば、これらの実施例に示した評価方法に対する論理和や論理積を求め、その結果を評価の際に用いても良い。さらに、第１の実施の形態で示した評価方法を反対にしても良い。例えば第１の実施の形態について、ブロック内の差分値の絶対値和又は二乗和がある閾値以上の場合、そのブロックを動いている領域とみなし、そのブロック位置に対する有意領域フラグを平滑化器１０６及び可変長符号化器１６へ送る。平滑化器１０６では、有意領域でないブロック位置に対して平滑化を行なう。
【００８４】
平滑化器１０６，２０６では、例えば以下のように平滑化を行なう。無意領域指定器１０５又は逆可変長符号化器２２６から送られる縦横１６画素のブロックに対する無意領域フラグを受けとり、画像中でそのブロック位置に該当する範囲に対して差分値を全て強制的に０に置き換える。なお、差分値を全て強制的に０に置き換える以外の平滑化を行なっても良い。
【００８５】
このような構成によれば、縦横１６画素のブロックというまとまった単位で領域の指定が行なえる上に、動きベクトルの検出を行なった時に用いたブロックと同じものを用いることによって、形状に対して多くのビットを割り振る必要がなくなる。なお、無意領域指定器１０５で差分画像を分割する際や領域を指定する際等には、必ずしも縦横１６画素のブロックで指定を行なう必要はなく、任意の形状を用いて良い。
【００８６】
次に、図５に本発明の第２の実施の形態を示す。この第２の実施の形態における符号化器１００の基本的な構成は上述の図１に示した第１の実施の形態における符号化器１００とほぼ同じであるが、符号器１００の無意領域指定器１０５の後に第２の平滑化器１０６Ｓがある所が異なる。
【００８７】
可変長符号化器１１６で量子化ウェーブレット係数の符号化を行なう際、一般に０である係数が多いほど符号化ビット列は少なくて済む。この第２の実施の形態では、ウェーブレット変換器１１４の前に平滑化器１０６Ｓを置くことによって、例えば無意値は強制的に０になるため、符号化効率が向上する。
【００８８】
さらに、図６及び図７に本発明の第３の実施の形態を示す。この第３の実施の形態では、動きベクトルの検出及び動き補償の単位である各ブロックについて、以下のように符号化ビット列を構成する。
【００８９】
すなわち、図６のフローチャートに示すように、先ずステップＳ１において、符号化すべきデータのブロックがイントラブロックであるか否を判定する。そして、イントラブロックの場合には、ステップＳ２に移ってベクトルの数を０かつ無意領域フラグをＯＦＦとし、その後ステップＳ３に進んで、そのブロック内の輝度値の平均である平均オフセット値を出力する。
【００９０】
また、イントラブロック以外の場合には、ステップＳ４に移って動きベクトルの大きさが０でかつ無意領域であるか否かを判定する。そして、動きベクトルの大きさが０でかつ無意領域であるブロックの場合は、ステップＳ５に進んで、ベクトルの数を０かつ無意領域フラグをＯＮにする。この場合には、その他に符号化を行なう必要がなくなる。これ以外のブロックの場合には、ステップＳ６に移って無意領域であるか否かを判定する。そして、無意領域である場合は、ステップＳ７に進んで、ベクトルの数を１以上かつ無意領域フラグをＯＮにする。また、無意領域でない場合は、ステップＳ８に進んで、ベクトルの数を１もしくはそれ以上にし、無意領域フラグＯＦＦにする。
【００９１】
そして、無意領域フラグＯＮ，ＯＦＦを出力した後、ステップＳ９に移って、その領域に対して検出された動きベクトルを出力する。
【００９２】
ブロックの走査順は、例えば図２の矢印で示した通りである。以上に示した文法を用いることによって、無意領域の位置情報とその領域に対して検出された動きベクトル等をブロック単位で一括して表現することができる。
【００９３】
この第３の実施の形態の基本的な構成は、図７に示すように上述の図１３に示した従来例とほぼ同じであるが、無意領域であるか否かを示す無意領域フラグが加わっている点が異なり、これによって無意領域に対する動きベクトルを省略できる。
【００９４】
【発明の効果】
以上説明したように、本発明によれば、ウェーブレット分割、又はサブバンド分割と量子化に伴うウェーブレット係数、又はサブバンド係数の量子化ノイズ成分の拡散を抑えることができ、リンギングの発生範囲を小さく抑えることができる。
【図面の簡単な説明】
【図１】本発明に係る画像符号化方法を実施するための符号器の構成を示すブロック図である。
【図２】上記復号器における画像のブロック分割及びブロックの走査順を示す図である。
【図３】本発明に係る復号器の構成を示すブロック図である。
【図４】本発明に係る画像符号化方法を実施するための符号器の他の構成を示すブロック図である。
【図５】本発明に係る画像符号化方法を実施するための符号器の他の構成を示すブロック図である。
【図６】本発明に係る画像符号化方法による符号化ビット列生成の手順を示すフローチャートである。
【図７】本発明に係る画像符号化方法による符号化ビット列生成の文法構造を示す図である。
【図８】ウエーブレット分割・合成の原理を示すブロック図である。
【図９】ウエーブレット分割を行う分割器の基本構成を示すブロック図である。
【図１０】ウエーブレット合成を行う合成器の基本構成を示すブロック図である。
【図１１】ウエーブレット分割を行う従来の符号器の構成を示すブロック図である。
【図１２】ウエーブレット合成を行う従来の復号器の構成を示すブロック図である。
【図１３】従来の符号化ビット列生成の文法構造を示す図である。
【符号の説明】
１００ 符号器、 １０３，２０３ 動き補償器、 １０５ 無意領域指定器、 １０６，１０６Ｓ，２０６ 平滑化器、 １１１ 動きベクトル検出器、 １１２ フレームメモリ、 １１４ ウエーブレット変換器、 １１５ 量子化器、１１６ 可変長符号化器、 １２４，２２４ 逆ウエーブレット変換器、１２５，２２５ 逆量子化器、 １９０ 減算器、 １９１，２９１ 加算器、 ２００ 復号器、 ２２６ 逆可変長符号化器
Claims (4)
- 入力された画像から動きベクトルを検出し、上記動きベクトルと既に符号化／復号化の終了している画像から動き補償による予測画像を構成し、上記予測画像と入力された画像との差分画像を算出し、上記差分画像から差分値の無意領域を検出し、上記差分画像に対してウェーブレット変換による周波数帯域分割処理を施してウェーブレット係数を生成し、上記ウェーブレット係数に対して量子化を行なって量子化ウェーブレット係数を算出し、上記量子化ウェーブレット係数を上記動きベクトル及び上記無意領域の情報と共に符号化し、上記量子化ウェーブレット係数に対して逆量子化を行なった後逆ウェーブレット変換を施して差分画像を復元し、上記逆ウェーブレット変換により得られた差分画像に対して上記無意領域を平滑化して平滑化差分画像を算出し、上記平滑化差分画像と上記予測画像とを加算することによって復号化側で再生されるべき画像を得て、この画像から上記動き補償による予測画像を構成することを特徴とする画像符号化方法。
- 入力された画像から動きベクトルを検出し、上記動きベクトルと既に符号化／復号化の終了している画像から動き補償による予測画像を構成し、上記予測画像と入力された画像との差分画像を算出し、上記差分画像から差分値の無意領域を検出し、上記差分画像に対してサブバンド変換による周波数帯域分割処理を施し、サブバンド係数を生成し、上記サブバンド係数に対して量子化を行なって量子化サブバンド係数を算出し、上記量子化サブバンド係数を上記動きベクトル及び上記無意領域の情報と共に符号化し、上記量子化サブバンド係数に対して逆量子化を行なった後逆サブバンド変換を施して差分画像を復元し、上記逆サブバンド変換によって得られた差分画像に対して上記無意領域を平滑化して平滑化差分画像を算出し、上記平滑化差分画像と上記予測画像とを加算することによって復号化側で再生されるべき画像を画像を得て、この画像から上記動き補償による予測画像を構成することを特徴とする画像符号化方法。
- 入力画像と動き補償による予測画像の差分画像に対するウェーブレット係数を量子化した量子化ウェーブレット係数から復元された差分画像に対して差分値の無意領域を平滑化した平滑化差分画像と上記予測画像とを加算することによって生成される画像から上記動き補償による予測画像が構成され、上記差分画像に対して差分値の無意領域を示す情報が上記量子化ウェーブレット係数及び動きベクトルとともに符号化されて伝送される伝送系における画像復号装置であって、上記伝送系により与えられた動きベクトルと既に復号化の終了している画像から予測画像を構成する動き補償手段と、上記伝送系により与えられた量子化ウェーブレット係数に対して逆量子化を行なった後の逆ウェーブレット変換を施して差分画像を復元する逆ウェーブレット変換手段と、上記逆ウェーブレット変換手段によって得られた差分画像に対して、上記伝送系により与えられた無意領域の位置情報に基づいて差分画像中で該当する領域の平滑化を行なう領域平滑化手段と、上記動き補償手段によって得られた予測画像と上記領域平滑化手段によって得られた平滑化差分画像との加算を行ない、再生画像を復元する画像加算手段とを有することを特徴とする画像復号装置。
- 入力画像と動き補償による予測画像の差分画像に対するサブバンド係数を量子化した量子化サブバンド係数から復元された差分画像に対して差分値の無意領域を平滑化した平滑化差分画像と上記予測画像とを加算することによって生成される画像から上記動き補償による予測画像が構成され、上記差分画像に対して差分値の無意領域を示す情報が上記量子化サブバンド係数及び動きベクトルとともに符号化されて伝送される伝送系における画像復号装置であって、上記伝送系により与えられた動きベクトルと既に復号化の終了している画像から予測画像を構成する動き補償手段と、上記伝送系により与えられた量子化サブバンド係数に対して逆量子化を行なった後の逆サブバンド変換を施して差分画像を復元する逆サブバンド変換手段と、上記逆サブバンド変換手段によって得られた差分画像に対して、上記伝送系により与えられた無意領域の位置情報に基づいて差分画像中で該当する領域の平滑化を行なう領域平滑化手段と、上記動き補償手段によって得られた予測画像と上記領域平滑化手段によって得られた平滑化差分画像との加算を行ない、再生画像を復元する画像加算手段とを有することを特徴とする画像復号装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17145196A JP3674158B2 (ja) | 1996-07-01 | 1996-07-01 | 画像符号化方法及び画像復号装置 |
| US08/881,142 US5982435A (en) | 1996-07-01 | 1997-06-24 | Method and apparatus for encoding image, method and apparatus for decoding image, and medium for recording image signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17145196A JP3674158B2 (ja) | 1996-07-01 | 1996-07-01 | 画像符号化方法及び画像復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1023411A JPH1023411A (ja) | 1998-01-23 |
| JP3674158B2 true JP3674158B2 (ja) | 2005-07-20 |
Family
ID=15923354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17145196A Expired - Fee Related JP3674158B2 (ja) | 1996-07-01 | 1996-07-01 | 画像符号化方法及び画像復号装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5982435A (ja) |
| JP (1) | JP3674158B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236888A (zh) * | 2011-07-22 | 2011-11-09 | 清华大学 | 基于双树离散小波包的图像去噪方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| GB2392338B (en) * | 2001-03-13 | 2005-10-05 | Loronix Information Systems In | Data compression by reducing redundancy |
| FR2822330B1 (fr) * | 2001-03-14 | 2003-05-02 | Thomson Multimedia Sa | Procede de codage par blocs, de type mpeg, dans lequel on affecte une resolution a chaque bloc |
| US7206459B2 (en) | 2001-07-31 | 2007-04-17 | Ricoh Co., Ltd. | Enhancement of compressed images |
| US7706448B2 (en) * | 2003-07-30 | 2010-04-27 | Microsoft Corporation | Reversible diffusion-based compression |
| JP2007506348A (ja) * | 2003-09-23 | 2007-03-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム |
| JP2005295505A (ja) | 2004-03-12 | 2005-10-20 | Canon Inc | 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP4702928B2 (ja) | 2004-03-12 | 2011-06-15 | キヤノン株式会社 | 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
| US8218634B2 (en) * | 2005-01-13 | 2012-07-10 | Ntt Docomo, Inc. | Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression |
| US7590298B2 (en) * | 2006-04-12 | 2009-09-15 | Xerox Corporation | Decompression with reduced ringing artifacts |
| JP2007295319A (ja) * | 2006-04-26 | 2007-11-08 | Pixwork Inc | 画像処理装置及びそれを備えた画像形成装置 |
| EP2330011B1 (en) | 2008-08-26 | 2016-10-05 | Hitachi, Ltd. | Operation arrangement support system and method thereof |
| KR20140088924A (ko) * | 2012-12-14 | 2014-07-14 | 삼성전자주식회사 | 이미지 데이터 표시장치 및 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69312132T2 (de) * | 1992-03-17 | 1998-01-15 | Sony Corp | Bildkompressionsgerät |
| JPH0638198A (ja) * | 1992-05-19 | 1994-02-10 | Sony Corp | 画像信号伝送装置及び画像信号伝送方法 |
| US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
| US5495292A (en) * | 1993-09-03 | 1996-02-27 | Gte Laboratories Incorporated | Inter-frame wavelet transform coder for color video compression |
| JPH08186815A (ja) * | 1994-12-28 | 1996-07-16 | Pioneer Electron Corp | サブバンド符号化方法 |
| EP0857392B1 (en) * | 1995-10-25 | 2004-08-11 | Sarnoff Corporation | Overlapping block zerotree wavelet image coder |
-
1996
- 1996-07-01 JP JP17145196A patent/JP3674158B2/ja not_active Expired - Fee Related
-
1997
- 1997-06-24 US US08/881,142 patent/US5982435A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236888A (zh) * | 2011-07-22 | 2011-11-09 | 清华大学 | 基于双树离散小波包的图像去噪方法 |
| CN102236888B (zh) * | 2011-07-22 | 2013-03-27 | 清华大学 | 基于双树离散小波包的图像去噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5982435A (en) | 1999-11-09 |
| JPH1023411A (ja) | 1998-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7680346B2 (en) | Method and apparatus for encoding image and method and apparatus for decoding image using human visual characteristics | |
| JP4102841B2 (ja) | ビデオ画像を処理するコンピュータ実行方法 | |
| US20060280372A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
| JP3674158B2 (ja) | 画像符号化方法及び画像復号装置 | |
| JPH03139988A (ja) | イメージ回復方法及び装置 | |
| KR20020026198A (ko) | 비디오 압축 | |
| JPH0970044A (ja) | 画像信号処理装置および方法 | |
| JP2004032718A (ja) | フェーディング推定／補償によりビデオフレームを処理するシステムおよび方法 | |
| KR100961760B1 (ko) | 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치 | |
| JPH05219385A (ja) | 画像圧縮・伸張方法および装置 | |
| US6804299B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
| US20060159168A1 (en) | Method and apparatus for encoding pictures without loss of DC components | |
| WO2006132509A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
| US5614953A (en) | Image signal decoding apparatus having an encoding error compensation | |
| JP2004266794A (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
| JPH07250327A (ja) | 画像符号化方法 | |
| KR101562343B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| JPS63284974A (ja) | 画像圧縮方式 | |
| KR101583870B1 (ko) | 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법 | |
| JPH08242450A (ja) | 画像符号化装置及び画像復号化装置 | |
| KR100287214B1 (ko) | 동영상 부호화방법 및 장치 | |
| JP2938652B2 (ja) | 時変フレーム間サブバンド符号化方法 | |
| KR100234239B1 (ko) | 블록킹 효과 경감을 위한 양자화 방법과 그 장치 | |
| KR101700411B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR20150096353A (ko) | 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050418 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |