JP4125885B2 - 画像符号化方法及びその装置と、画像符号化プログラム及びそのプログラムを記録した記録媒体 - Google Patents
画像符号化方法及びその装置と、画像符号化プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4125885B2 JP4125885B2 JP2001343974A JP2001343974A JP4125885B2 JP 4125885 B2 JP4125885 B2 JP 4125885B2 JP 2001343974 A JP2001343974 A JP 2001343974A JP 2001343974 A JP2001343974 A JP 2001343974A JP 4125885 B2 JP4125885 B2 JP 4125885B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- result
- encoding
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、多段符号化において、１段目の符号化時の量子化ステップに比べて２段目の符号化時の量子化ステップが大きい場合に、２段目の符号化において発生する再量子化歪みを、あらかじめ１段目の符号化時に予測して、その再量子化歪みを補償する誤差補償信号を１段目のビットストリームに埋め込んでおくことによって、２段目の再量子化歪みを抑制する画像符号化方法及びその装置と、その画像符号化方法の実現に用いられる画像符号化プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
動画像を伝送する際に、１段目の伝送レートＲ１が比較的高く、２段目の伝送レートＲ２が比較的低いような場合がある。例えば、編集加工が行なわれるスタジオ間の伝送路は比較的ビットレートが高いが、最終的な配信用途の伝送路はビットレートが低いなどのような場合である。
【０００３】
このような場合、従来大きく分けて、以下の３つの符号化／伝送方法を用いていた。
【０００４】
（１）方法１（単純２重）
原画像から、それぞれ独立に２つのビットレート（Ｒ１−Ｒ２とＲ２）のストリームを生成し、１段目は両方一緒に伝送し、２段目はＲ２のビットストリームのみを伝送する。
【０００５】
（２）方法２（ＳＮＲスケーラビリティ）
ＭＰＥＧ−２などで規定されているＳＮＲスケーラビリティを利用し、初めにベースレイヤをビットレートＲ２で、また、ベースレイヤとエンハンスメントレイヤとを足したビットレートがＲ１となるように符号化する。
【０００６】
そして、１段目はベースレイヤとエンハンスメントレイヤとの両方を伝送し、２段目はベースレイヤのみを伝送する。
【０００７】
（３）方法３（再符号化）
原画像を、１段目はビットレートＲ１で符号化して伝送し、２段目はその再生画像をビットレートＲ２に再符号化して伝送する。
【０００８】
これら３つの方法についてそれぞれ以下のような特徴がある。
【０００９】
（イ）方法１の特徴
▲１▼１段目のストリームのビットレートＲ１−Ｒ２が２段目のビットレートＲ２より小さい場合には全く意味がない。そうでない場合でも、Ｒ１−Ｒ２の画質が１段目の伝送路の持つビットレートＲ１の画質に比べると大きく劣る。
【００１０】
▲２▼２段目の画質は理想的である。
【００１１】
▲３▼符号化装置・復号化装置が単純である。
【００１２】
▲４▼あらかじめ２段目のレートが分かっている場合のみ適用可能である。
【００１３】
（ロ）方法２の特徴
▲１▼１段目のベースレイヤ＋エンハンスメントレイヤの画質は理想的なＲ１の画質に比べるとやや劣る。
【００１４】
▲２▼２段目の画質は理想的である。
【００１５】
▲３▼符号化装置・復号化装置ともにＳＮＲスケーラビリティに対応している必要がある。
【００１６】
▲４▼あらかじめ２段目のレートが分かっている場合のみ適用可能である。
【００１７】
（ハ）方法３の特徴
▲１▼１段目の画質は理想的である。
【００１８】
▲２▼２段目の画質は再符号化の際に再量子化歪みが生じるため、理想的なＲ２の画質に比べ劣る。
【００１９】
▲３▼符号化装置・復号化装置は単純である。
【００２０】
▲４▼２段目がどのようなレートでも対応可能である。
【００２１】
ここで理想的な画質とは、与えられた伝送路ビットレートを符号化ビットレートとして、原画像から通常の符号化方法で符号化した場合の画質を指す。
【００２２】
方法２は画質の面では優れているが、ＳＮＲスケーラビリティに対応した符号化装置・復号化装置は装置が複雑で、一般に普及していないという問題がある。そのため、通常は方法３が用いられるのが一般的である。
【００２３】
【発明が解決しようとする課題】
しかしながら、上述の方法３（再符号化）には、２段目の再符号化時に再量子化歪みにより画質が劣化するという問題がある。
【００２４】
この問題は、配信系の限られたビットレートの下でいかに高画質を維持するかという問題が今日非常に大きな課題であることを考えると、大きな欠点であるといえる。
【００２５】
本発明はかかる事情に鑑みてなされたものであって、再符号化方法を用いるときに、２段目の再符号化時に発生する再量子化歪みを抑制できるようにする新たな画像符号化技術の提供を目的とする。
【００２６】
【課題を解決するための手段】
上述した再量子化歪みが生じる仕組みについて、ＭＰＥＧ−２の場合を例にとって説明する。
【００２７】
（１）はじめに、動き補償を伴わないイントラ符号化における場合について説明する。
【００２８】
図１に示すような２つの系を考える。一つは原画像を量子化ステップＱ１で符号化・復号化してから量子化ステップＱ２で符号化・復号化する２段接続系であり、もう一つは原画像を量子化ステップＱ２で符号化・復号化する単段接続系である。
【００２９】
ここで、２段接続系の１段目符号化器の量子化部への入力ａ点における任意のブロックの任意のＤＣＴ成分をＦa （ｕ，ｖ）とする。Ｆa （ｕ，ｖ）は量子化ステップＱ１によって量子化された後、１段目復号時に逆量子化されてｂ点においてＦb （ｕ，ｖ）となる。
【００３０】
図２に示すように、Ｆb （ｕ，ｖ）はＦa （ｕ，ｖ）が含まれる量子化範囲の量子化代表値となる。Ｆb （ｕ，ｖ）はさらに逆ＤＣＴされ、２段目符号化時に再びＤＣＴされてｃ点に至る。このときｂ点とｃ点の間の逆ＤＣＴ、ＤＣＴの変換はＤＣＴタイプ（フィールド・フレーム）が一致していて、かつＤＣＴ演算誤差が無視できれば、ほぼ無視することができる。
【００３１】
このため２段目符号化時の量子化部への入力ｃ点のＤＣＴ成分Ｆc （ｕ，ｖ）とｂ点のＤＣＴ成分Ｆb （ｕ，ｖ）とは、ほぼ同じ値とすることができる。Ｆc （ｕ，ｖ）は量子化ステップＱ２によって再び量子化された後、２段目復号時に逆量子化されてｄ点のＦd （ｕ，ｖ）となる。
【００３２】
一方、単段接続系の符号化器の量子化部への入力ｅ点のＤＣＴ成分Ｆe （ｕ，ｖ）とａ点のＤＣＴ成分Ｆa （ｕ，ｖ）とは、ＤＣＴタイプが一致している条件のもとでは、同じ値である。このＦe （ｕ，ｖ）は量子化ステップＱ２によって量子化された後、逆量子化されてｆ点においてＦf （ｕ，ｖ）となる。
【００３３】
図２において、Ｆa （ｕ，ｖ),Ｆb （ｕ，ｖ),Ｆc （ｕ，ｖ),Ｆd （ｕ，ｖ),Ｆe （ｕ，ｖ),Ｆf （ｕ，ｖ）の関係を見ると、Ｆc （ｕ，ｖ)(＝Ｆb （ｕ，ｖ))の値と、Ｆe （ｕ，ｖ)(＝Ｆa （ｕ，ｖ))の値とが２番目の量子化器（Ｑ２）の同じ量子化範囲に入る場合には、Ｆd （ｕ，ｖ）とＦf （ｕ，ｖ）とは同じ値になり、２段接続系の復号画像と単段接続系の復号画像とは一致し、再量子化歪みは生じないことになる。
【００３４】
逆に異なる量子化範囲に入る場合には、Ｆd （ｕ，ｖ）とＦf （ｕ，ｖ）とは異なる値になり、これが再量子化歪みとなる。このとき、イントラマクロブロックは図３に示すような線形量子化器を用いるため、Ｆd （ｕ，ｖ）とＦf （ｕ，ｖ）とは異なる値をとったとしても、−１か１の違う量子化値しかとらない。
【００３５】
一方、このように２段目の量子化器で−１か１ずれた量子化値をとった場合、１段目の量子化値をそれぞれ−１または１ずらしてＦ’（ｕ，ｖ）とすると、図２に示すように、その２段目の量子化器の量子化値はＦe （ｕ，ｖ）の量子化代表値Ｆf （ｕ，ｖ）と同じ値になる。
【００３６】
すなわち、あらかじめ１段目の量子化ステップと２段目の量子化ステップとが分かっており、ＤＣＴタイプが一致しており、ＤＣＴ演算誤差を無視できるという条件であれば、１段目の量子化値に、Ｆd （ｕ，ｖ）の量子化値とＦf （ｕ，ｖ）の量子化値との差分値である−１または１の誤差補償信号を加えることで、２段目における再量子化歪みをなくすことができる。
【００３７】
そこで、本発明では、ＤＣＴ成分を量子化ステップＱ２で量子化した結果と、ＤＣＴ成分を量子化ステップＱ１で量子化・逆量子化したのち量子化ステップＱ２で量子化した結果との差分値を、ＤＣＴ成分を量子化ステップＱ１で量子化した結果に加算して符号化するように符号化器を構成する。
【００３８】
これにより、本発明によれば、イントラ符号化の場合は、次に量子化ステップＱ２で再符号化しても再量子化歪みが生じないようにすることができる。
【００３９】
（２）次に、ノンイントラ符号化の場合について説明する。動き補償が行なわれること、デッドゾーン付き量子化であることが異なるが、上記とほぼ同様の理由で再量子化歪みが生じる。
【００４０】
動き補償が伴う場合、図４に示すように、２段接続系の１段目復号時の逆ＤＣＴと２段目符号化時のＤＣＴとの間に予測画像Ｐ１，Ｐ２の加減算が入る。
【００４１】
このため、１段目復号時の逆量子化器の出力（ｂ点の値）と、２段目符号化時の量子化器への入力（ｃ点の値）とは異なった値となる。しかし、以下に説明するように、単段接続系の予測画像と２段接続系の予測画像とを一致させれば、１段目の周波数領域における量子化誤差はそのまま２段目の量子化器に伝達される。
【００４２】
すなわち、原画像をＸ、ＤＣＴ変換行列をＡ、１段目量子化／逆量子化時に発生する量子化誤差をＮQ1とすると、図４のａ点におけるＤＣＴ成分はＡ（Ｘ−Ｐ１）、ｂ点におけるＤＣＴ成分はＡ（Ｘ−Ｐ１）＋ＮQ1となり、２段目の量子化器の入力であるｃ点におけるＤＣＴ成分は、Ａ（Ａ-1（Ａ（Ｘ−Ｐ１）＋ＮQ1）＋Ｐ１−Ｐ２）、すなわち、Ａ（Ｘ−Ｐ２）＋ＮQ1となる。
【００４３】
一方、単段接続系の符号化器の予測画像が２段接続系の２段目の符号化器の予測画像と同じＰ２であると仮定すると、ｅ点におけるＤＣＴ成分はＡ（Ｘ−Ｐ２）であり、これより、１段目量子化／逆量子化時に発生した量子化誤差ＮQ1は、そのまま２段目の量子化器に伝達されることが分かる。
【００４４】
そのため、図５のケースＡに示すように、１段目におけるＦa （ｕ，ｖ),Ｆb （ｕ，ｖ),Ｆ’（ｕ，ｖ）の相対関係を維持したまま、ある値だけシフトして、Ｆe （ｕ，ｖ),Ｆc （ｕ，ｖ),Ｆ”（ｕ，ｖ）として２段目の量子化器に入力されるため、上述のイントラ符号化の場合と同様の方法で再量子化歪みを防ぐことができる。
【００４５】
すなわち、Ｆa （ｕ，ｖ）を量子化・逆量子化することで生ずる量子化誤差ＮQ1に従って、Ｆc （ｕ，ｖ）とＦe （ｕ，ｖ）との間にはＮQ1の差が発生し、これにより、Ｆc （ｕ，ｖ）は量子化・逆量子化によりＦd （ｕ，ｖ）となり、Ｆe （ｕ，ｖ）は量子化・逆量子化によりＦf （ｕ，ｖ）となる。このとき、１段目の量子化値に、Ｆd （ｕ，ｖ）の量子化値とＦf （ｕ，ｖ）の量子化値との差分値である−１または１の誤差補償信号を加えることで、２段目における再量子化歪みをなくすことができるのである。
【００４６】
ただし、ＭＰＥＧ−1,２などの規格におけるノンイントラ符号化では、イントラ符号化と異なり図６に示すようなデッドゾーン付き量子化器を用いるため、ある条件化では、上記のような方法では再量子化歪みを防ぐことができない。図５のケースＢがその例である。
【００４７】
この場合、“Ｑ１＞３／２Ｑ２”で、かつ１段目の量子化値が−１または１の場合のみ、２段目のＦ”（ｕ，ｖ）の量子化値がＦe （ｕ，ｖ）の量子化代表値Ｆf （ｕ，ｖ）に一致しない現象がおき、誤差となる。ただし、この現象の影響はそれほど大きくないため、ノンイントラ符号化においても再量子化歪みを大きく抑制することができる。
【００４８】
そこで、本発明では、量子化ステップＱ２で符号化した場合のＤＣＴ成分の量子化結果と、量子化ステップＱ１で符号化・復号化したのち量子化ステップＱ２で符号化した場合のＤＣＴ成分の量子化結果との差分を誤差補償信号として、これを量子化ステップＱ１で符号化した場合のＤＣＴ成分の量子化結果に加算して符号化するように符号化器を構成する。そして、このとき、単段接続系の予測画像と２段接続系の予測画像とを一致させるという構成を採る。
【００４９】
これにより、本発明によれば、ノンイントラ符号化の場合でも、次に量子化ステップＱ２で再符号化しても再量子化歪みがほとんど生じないようにすることができる。
【００５０】
このような構成を採る本発明の符号化器によって生成されたビットストリームは、誤差補償信号が加わっているものの、量子化ステップＱ１によって量子化されたビットストリームであることから、普通のデコーダを使い量子化ステップＱ１によって通常どおりデコードすることができる。
【００５１】
本発明の符号化器では、このビットストリームを生成する際に、量子化ステップＱ２をユーザーデータなどにあらかじめ書き込んで伝送しておくことで、再びデコードし、エンコードする際に、その量子化ステップＱ２を使って符号化することにより、２段接続系にも関わらず、再量子化歪みが生じない２段目の符号化を実現できるようになる。
【００５２】
このように、本発明では、多段符号化の際に、２段目以降で発生する再量子化歪みを補償する誤差補償信号を、あらかじめ初段の符号化時に埋め込んでおくことで、再符号化時の再量子化歪みを大きく抑制することを実現する。
【００５３】
すなわち、図７に示すように、原画像をビットレートＲ１で符号化・復号化したのち、ビットレートＲ２（Ｒ１＞Ｒ２）で再符号化するような２段接続系の２段目のビットレートＲ２の画質は、原画像から直接ビットレートＲ２で符号化した場合の画質に比べて再量子化歪みによって低下する。
【００５４】
そこで、原画像と、原画像から直接ビットレートＲ２で符号化した画像とを用いて、本発明による手法によりビットレートＲ１で符号化・復号化を行なえば、２段目でビットレートＲ２で再符号化した際に、再量子化歪みによる画質低下を起こすことなく、原画像から直接ビットレートＲ２で符号化した場合の画質とほぼ同等の画質にすることができる。
【００５５】
なお、本発明による符号化は、かかる効果を得る手段として、誤差補償信号を埋め込みながら符号化を行うことから、その影響で、１段目のビットレートＲ１で符号化した場合の画質が低下することになる。
【００５６】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００５７】
（１）第１の実施形態例
本実施形態例は、動き補償を行わずに入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、量子化値で表される誤差補償信号を用いる構成を採っている。
【００５８】
図８に本実施形態例を図示する。ここで、この実施形態例は請求項４に対応するものである。
【００５９】
図８に示す実施形態例に従い、各マクロブロックに対して、以下のようにして符号化を行なう。各マクロブロックの符号化はイントラ符号化を行なう。
【００６０】
入力画像ＸをＤＣＴし、それぞれの周波数成分信号を得る。ここで、ＤＣＴタイプは各マクロブロックごとに適応的に判定するものとする。
【００６１】
各マクロブロックの周波数成分信号を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを求め、また、同周波数成分信号を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを求める。
【００６２】
そして、量子化周波数成分信号Ｂを量子化ステップＱ１に基づき逆量子化し、さらに量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｃを求める。
【００６３】
そして、量子化周波数成分信号Ａから量子化周波数成分信号Ｃを減算することで誤差補償信号Ｄを得て、その誤差補償信号Ｄに量子化周波数成分信号Ｂを加算して量子化周波数成分信号Ｅを求める。
【００６４】
そして、その量子化周波数成分信号Ｅと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【００６５】
ここで、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１，Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。また、同じマクロブロックの処理に対しては、同じＤＣＴタイプで上記処理を行うものとする。
【００６６】
図９に、図８に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１１に対応するものである。
【００６７】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００６８】
図９の実施形態例に従う符号化装置は、第１の符号化部１０と、第２の符号化部１１と、第３の符号化部１２と、第４の符号化部１３と、誤差補償信号算出部１４とを備える。
【００６９】
図１０に、図８との対応をとりつつ、これらの符号化部１０〜１３と誤差補償信号算出部１４の持つ機能を図示する。
【００７０】
この図に示すように、第１の符号化部１０は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを得るように処理する。
【００７１】
第２の符号化部１１は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号αを得るように処理する。
【００７２】
第３の符号化部１２は、再生画像信号αをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｃを得るように処理する。
【００７３】
誤差補償信号算出部１４は、量子化周波数成分信号Ａから量子化周波数成分信号Ｃを減算して誤差補償信号Ｄを得るように処理する。
【００７４】
第４の符号化部１３は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを得て、その量子化周波数成分信号Ｂに誤差補償信号Ｄを加算することで量子化周波数成分信号Ｅを得て、その量子化周波数成分信号Ｅを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化するように処理する。
【００７５】
この装置構成に従って、本実施形態例により構成される符号化装置が構築されることになる。
【００７６】
（２）第２の実施形態例
本実施形態例は、動き補償を行わずに入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、画像信号で表される誤差補償信号を用いる構成を採っている。
【００７７】
図１１に本実施形態例を図示する。ここで、この実施形態例は請求項５に対応するものである。
【００７８】
図１１に示す実施形態例に従い、各マクロブロックに対して、以下のようにして符号化を行なう。各マクロブロックの符号化はイントラ符号化を行なう。
【００７９】
入力画像ＸをＤＣＴし、それぞれの周波数成分信号を得る。ここで、ＤＣＴタイプは各マクロブロックごとに適応的に判定するものとする。
【００８０】
各マクロブロックの周波数成分信号を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ａを求める。
【００８１】
そして、同周波数成分信号を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ｂを求める。
【００８２】
そして、再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｃを得て、それに入力画像信号Ｘを加算して画像信号Ｄを求める。
【００８３】
そして、画像信号ＤのＤＣＴによって得られる周波数成分信号を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｅを求める。
【００８４】
そして、量子化周波数成分信号Ｅと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【００８５】
ここで、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１，Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。また、同マクロブロックの処理に対しては、同じＤＣＴタイプで上記処理を行うものとする。
【００８６】
本実施形態例は、誤差補償信号を量子化ＤＣＴ成分の差分ではなく、それを復号した画像成分の差分として求め、誤差補償信号を加算する対象も、量子化ＤＣＴ成分ではなくて、その前段の画像成分となっている点において第１の実施形態例と異なる。
【００８７】
これは、ＤＣＴ変換が線形変換であるため、周波数領域における加減算と空間領域（画像成分）における加減算とが等価であることを利用している。これによって、ＤＣＴ成分の入出力機構を設ける必要がなくなり、処理が簡素化されるという利点が得られる。
【００８８】
図１２に、図１１に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１２に対応するものである。
【００８９】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００９０】
図１２の実施形態例に従う符号化装置は、第１の符号化部２０と、第２の符号化部２１と、第３の符号化部２２と、第４の符号化部２３と、誤差補償信号算出部２４とを備える。
【００９１】
図１３に、図１１との対応をとりつつ、これらの符号化部２０〜２３と誤差補償信号算出部２４の持つ機能を図示する。
【００９２】
この図に示すように、第１の符号化部２０は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ａを得るように処理する。
【００９３】
第２の符号化部２１は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号αを得るように処理する。
【００９４】
第３の符号化部２２は、再生画像信号αをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ｂを得るように処理する。
【００９５】
誤差補償信号算出部２４は、再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｃを得て、それに入力画像信号Ｘを加算して画像信号Ｄを得るように処理する。
【００９６】
第４の符号化部２３は、画像信号ＤをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｅを得て、それを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化するように処理する。
【００９７】
この装置構成に従って、本実施形態例により構成される符号化装置が構築されることになる。
【００９８】
（３）第３の実施形態例
本実施形態例は、動き補償を行って入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、量子化値で表される誤差補償信号を用いる構成を採っている。
【００９９】
図１４及び図１５に本実施形態例を図示する。ここで、この実施形態例は請求項６，８，１０に対応するものである。
【０１００】
図１４及び図１５に従い、各マクロブロックについて以下の処理を行なう。ここで、図１４の実施形態例と図１５の実施形態例とでは、予測画像信号Ｐ１，Ｐ２の生成方法が異なっている。
【０１０１】
入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ２との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを求める。
【０１０２】
また、入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ１との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを求める。
【０１０３】
そして、量子化周波数成分信号Ｂを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴし、その結果得られる画像信号に予測画像信号Ｐ１を加算して再生画像信号Ｃを求める。さらに、その再生画像信号Ｃと予測画像信号Ｐ２との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｄを求める。
【０１０４】
そして、量子化周波数成分信号Ａから量子化周波数成分信号Ｄを減算して誤差補償信号Ｅを得て、その誤差補償信号Ｅに量子化周波数成分信号Ｂを加算することで量子化周波数成分信号Ｆを求める。
【０１０５】
そして、量子化周波数成分信号Ｆと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【０１０６】
一方、上述の予測画像信号Ｐ１は、図１４の実施形態例の場合には以下のようにして決定する。
【０１０７】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１０８】
また、上述の予測画像信号Ｐ２は、図１４の実施形態例の場合には以下のようにして決定する。
【０１０９】
すなわち、量子化周波数成分信号Ａを量子化ステップＱ２に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ２を加算することで再生画像信号Ｌ２を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する。
【０１１０】
一方、上述の予測画像Ｐ１は、図１５の実施形態例の場合には以下のようにして決定する。
【０１１１】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１１２】
また、上述の予測画像信号Ｐ２は、図１５の実施形態例の場合には以下のようにして決定する。
【０１１３】
すなわち、再生画像信号Ｌ１と予測画像信号Ｐ２との差分のＤＣＴによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ２を加算することで再生画像信号Ｌ２を得て、それを蓄積する。そして、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像Ｐ２を決定する。
【０１１４】
ただし、上記の処理において、同じマクロブロックの処理に対しては、同じイントラインタ判定、ＤＣＴタイプで上記処理を行なうものとする。また、予測画像信号Ｐ１，Ｐ２とも、イントラインタ判定でイントラ符号化が選択された場合には、全ての画素値がゼロの値をとるものとする。また、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１、Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。
【０１１５】
図１４の実施形態例と図１５の実施形態例とでは、予測画像信号Ｐ２とその元となる再生画像信号Ｌ２の生成方法が異なっている。図１５の実施形態例に従うと、予測画像信号Ｐ２および再生画像信号Ｌ２は、本実施形態例の符号化手法で生成されたビットストリームがデコードされ、再びエンコードされる場合に内部で生成される予測画像信号および再生画像信号と一致するため、誤差が蓄積しないという長所がある。
【０１１６】
図１６に、図１４に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１３／１５に対応するものである。
【０１１７】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１１８】
図１４の実施形態例に従う符号化装置は、第１の符号化部３０と、第２の符号化部３１と、第３の符号化部３２と、第４の符号化部３３と、誤差補償信号算出部３４とを備える。
【０１１９】
図１７に、図１４との対応をとりつつ、これらの符号化部３０〜３３と誤差補償信号算出部３４の持つ機能を図示する。
【０１２０】
第１の符号化部３０は、原画像Ｘを入力画像とし、動き補償の参照画像として第３の符号化部３２へ転送する予測画像画像Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ａを出力する。
【０１２１】
第２の符号化部３１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部３３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部３０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１２２】
第３の符号化部３２は、第２の符号化部３１の生成する局所再生画像Ｃを入力画像とし、動き補償の参照画像として第１の符号化部３０から転送されてくる予測画像画像Ｐ２を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部３０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ｄを出力する。
【０１２３】
誤差補償信号算出部３４は、第１の符号化部３０から出力された各ブロックの量子化周波数成分信号Ａと、第３の符号化部３２から出力された各ブロックの量子化周波数成分信号Ｄとの差分から各ブロックの誤差補償信号Ｅを求める。
【０１２４】
第４の符号化部３３は、原画像Ｘを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部３０に一致させ、また、動きベクトルおよび予測モードと量子化ステップとを第２の符号化部３１に一致させながら、量子化された周波数成分に誤差補償信号算出部３４から受け取った誤差補償信号Ｅをブロック加算しながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１２５】
この符号化装置の出力ストリームとして、第４の符号化部３３の出力ストリームを出力するとともに、そのユーザデータ領域に、第１の符号化部３０における動きベクトルおよび予測モードと量子化ステップとを出力する。
【０１２６】
この図１６及び図１７に示す装置構成に従って、図１４に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１２７】
図１８に、図１５に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１３／１７に対応するものである。
【０１２８】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１２９】
図１８の実施形態例に従う符号化装置は、第１の符号化部４０と、第２の符号化部４１と、第３の符号化部４２と、第４の符号化部４３と、第５の符号化部４４と、誤差補償信号算出部４５とを備える。
【０１３０】
図１９に、図１５との対応をとりつつ、これらの符号化部４０〜４４と誤差補償信号算出部４５の持つ機能を図示する。
【０１３１】
第１の符号化部４０は、原画像Ｘを入力画像とし、動き補償の参照画像として第５の符号化部４４から転送されてくる予測画像信号Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ａを出力する。
【０１３２】
第２の符号化部４１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部４３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードとを第１の符号化部４０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１３３】
第３の符号化部４２は、第２の符号化部４１の生成する局所再生画像Ｃを入力画像とし、動き補償の参照画像として第５の符号化部４４から転送されてくる予測画像信号Ｐ２を使用して、ピクチャタイプと各マクロブロックのフイールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部４０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ｄを出力する。
【０１３４】
誤差補償信号算出部４５は、第１の符号化部４０から出力された各ブロックの量子化周波数成分信号Ａと、第３の符号化部４２から出力された各ブロックの量子化周波数成分信号Ｄとの差分から各ブロックの誤差補償信号Ｅを求める。
【０１３５】
第４の符号化部４３は、原画像Ｘを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードとを第１の符号化部４０に一致させ、また、量子化ステップを第２の符号化部４１に一致させながら、量子化された周波数成分に誤差補償信号算出部４５から受け取った誤差補償信号Ｅをブロックごとに加算しながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１３６】
第５の符号化部４４は、第４の符号化部４３の生成する再生画像信号Ｌ１（局所復号画像）を入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部４０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１３７】
この符号化装置の出力ストリームとして、第４の符号化部４３の出力ストリームを出力するとともに、そのユーザデータ領域に第１の符号化部４０における量子化ステップを出力する。
【０１３８】
この図１８及び図１９に示す装置構成に従って、図１５に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１３９】
（４）第４の実施形態例
本実施形態例は、動き補償を行って入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、画像信号で表される誤差補償信号を用いる構成を採っている。
【０１４０】
図２０及び図２１に本実施形態例を図示する。ここで、この実施形態例は請求項７，９，１０に対応するものである。
【０１４１】
図２０及び図２１に従い、各マクロブロックについて以下の処理を行なう。ここで、図２０の実施形態例と図２１の実施形態例とでは、予測画像信号Ｐ１，Ｐ２の生成方法が異なっている。
【０１４２】
入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ２との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴし、その結果に予測画像信号Ｐ２を加算することで再生画像信号Ａを求める。
【０１４３】
また、入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ１との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴし、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号Ｂを得て、さらに、その再生画像信号Ｂと予測画像信号Ｐ２の差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴし、その結果に予測画像信号Ｐ２を加算することで再生画像信号Ｃを求める。
【０１４４】
そして、再生画像信号Ａから再生画像信号Ｃを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｄを得て、それに入力画像信号Ｘに加算して画像信号Ｅを求める。
【０１４５】
そして、画像信号Ｅと予測画像信号Ｐ１との差分信号のＤＣＴによって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化し量子化周波数成分信号Ｆを求める。
【０１４６】
そして、量子化周波数成分信号Ｆと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【０１４７】
ここで、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１，Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。また、同マクロブロックの処理に対しては、同じＤＣＴタイプで上記処理を行うものとする。
【０１４８】
一方、上述の予測画像信号Ｐ１は、図２０の実施形態例の場合には以下のようにして決定する。
【０１４９】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１５０】
また、上述の予測画像信号Ｐ２は、図２０の実施形態例の場合には以下のようにして決定する。
【０１５１】
すなわち、入力画像信号Ｘと再生画像信号Ａとから動きベクトルを検出して、その動きベクトルとその再生画像信号Ａとに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する。
【０１５２】
一方、上述の予測画像信号Ｐ１は、図２１の実施形態例の場合には以下のようにして決定する。
【０１５３】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１５４】
また、上述の予測画像信号Ｐ２は、図２１の実施形態例の場合には以下のようにして決定する。
【０１５５】
すなわち、再生画像信号Ｌ１と予測画像信号Ｐ２との差分のＤＣＴによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ２を加算することで再生画像信号Ｌ２を得て、それを蓄積する。そして、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像Ｐ２を決定する。
【０１５６】
ただし、上記の処理において、同じマクロブロックの処理に対しては、同じイントラインタ判定、ＤＣＴタイプで上記処理を行なうものとする。また、予測画像信号Ｐ１，Ｐ２とも、イントラインタ判定でイントラ符号化が選択された場合には、全ての画素値がゼロの値をとるものとする。また、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１、Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。
【０１５７】
図２０の実施形態例と図２１の実施形態例とでは、予測画像信号Ｐ２とその元となる再生画像信号Ｌ２の生成方法が異なっている。図２１の実施形態例に従うと、予測画像信号Ｐ２および再生画像信号Ｌ２は、本実施形態例の符号化手法で生成されたビットストリームがデコードされ、再びエンコードされる場合に内部で生成される予測画像信号および再生画像信号と一致するため、誤差が蓄積しないという長所がある。
【０１５８】
本実施形態例は、誤差補償信号を量子化ＤＣＴ成分の差分ではなく、それを復号した画像成分の差分として求め、誤差補償信号を加算する対象も、量子化ＤＣＴ成分ではなくて、その前段の画像成分となっている点において第３の実施形態例と異なる。
【０１５９】
これは、ＤＣＴ変換が線形変換であるため、周波数領域における加減算と空間領域（画像成分）における加減算とが等価であることを利用している。これによって、ＤＣＴ成分の入出力機構を設ける必要がなくなり、処理が簡素化されるという利点が得られる。
【０１６０】
図２２に、図２０に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１４／１６に対応するものである。
【０１６１】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１６２】
図２２の実施形態例に従う符号化装置は、第１の符号化部５０と、第２の符号化部５１と、第３の符号化部５２と、第４の符号化部５３と、誤差補償信号算出部５４とを備える。
【０１６３】
図２３に、図２０との対応をとりつつ、これらの符号化部５０〜５３と誤差補償信号算出部５４の持つ機能を図示する。
【０１６４】
第１の符号化部５０は、原画像Ｘを入力画像とし、動き補償の参照画像として第３の符号化部５２へ転送する予測画像信号Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６５】
第２の符号化部５１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部５３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部５０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６６】
第３の符号化部５２は、第２の符号化部５１の生成する局所再生画像Ｂを入力画像とし、動き補償の参照画像として第１の符号化部５０から転送されてくる予測画像信号Ｐ２を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部５０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６７】
誤差補償信号算出部５４は、第１の符号化部５０から出力された局所復号画像Ａと、第３の符号化部５２から出力された局所復号画像Ｃとの差分に対し、そのマクロブロックの第１の符号化部５０における量子化ステップと第３の符号化部５２における量子化ステップとの比率を乗じることで、誤差補償信号Ｄを求める。
【０１６８】
第４の符号化部５３は、原画像Ｘに誤差補償信号Ｄを加算した画像信号Ｅを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部５０に一致させ、また、動きベクトルおよび予測モードと量子化ステップとを第２の符号化部５１に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６９】
この符号化装置の出力ストリームとして、第４の符号化部５３の出力ストリームを出力するとともに、そのユーザデータ領域に、第１の符号化部５０における動きベクトルおよび予測モードと量子化ステップとを出力する。
【０１７０】
この図２２及び図２３に示す装置構成に従って、図２０に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１７１】
図２４に、図２１に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１４／１７に対応するものである。
【０１７２】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１７３】
図２４の実施形態例に従う符号化装置は、第１の符号化部６０と、第２の符号化部６１と、第３の符号化部６２と、第４の符号化部６３と、第５の符号化部６４と、誤差補償信号算出部６５とを備える。
【０１７４】
図２５に、図２１との対応をとりつつ、これらの符号化部６０〜６４と誤差補償信号算出部６５の持つ機能を図示する。
【０１７５】
第１の符号化部６０は、原画像Ｘを入力画像とし、動き補償の参照画像として第５の符号化部６４から転送されてくる予測画像信号Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１７６】
第２の符号化部６１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部６３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部６０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１７７】
第３の符号化部６２は、第２の符号化部６１の生成する局所再生画像Ｂを入力画像とし、動き補償の参照画像として第５の符号化部６４から転送されてくる予測画像信号Ｐ２を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部６０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１７８】
誤差補償信号算出部６５は、第１の符号化部５０から出力された局所復号画像Ａと、第３の符号化部６２から出力された局所復号画像Ｃとの差分に対し、そのマクロブロックの第１の符号化部６０における量子化ステップと第３の符号化部６３における量子化ステップとの比率を乗じることで、誤差補償信号Ｄを求める。
【０１７９】
第４の符号化部６３は、原画像Ｘに誤差補償信号Ｄを加算した画像信号Ｅを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部６０に一致させ、また、動きベクトルおよび予測モードと量子化ステップとを第２の符号化部６１に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１８０】
第５の符号化部６４は、第４の符号化部６３の生成する再生画像信号Ｌ１（局所復号画像）を入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部６０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１８１】
この符号化装置の出力ストリームとして、第４の符号化部６３の出力ストリームを出力するとともに、そのユーザデータ領域に、第１の符号化部６０における動きベクトルおよび予測モードと量子化ステップとを出力する。
【０１８２】
この図２４及び図２５に示す装置構成に従って、図２１に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１８３】
（５）本実施形態例により符号化されたビットストリームの再符号方法
次に、図２６に従って、第１の実施形態例から第４の実施形態例のいずれかの実施形態例によって符号化され、ユーザデータ領域内に量子化ステップが書き込まれているビットストリームを受け取るときに、このビットストリームを復号し再符号化する処理について説明する。
【０１８４】
このビットストリームを復号する際に、通常のＭＰＥＧ−２ビデオ規格にもとづいて復号画像を得るとともに、このビットストリームのシンタクスのＤＣＴ係数以外のパラメータと、ユーザデータ領域内の量子化ステップとを抽出し、復号画像信号と共に伝送する。
【０１８５】
ビットストリームのシンタクスのＤＣＴ係数以外のパラメータを画像信号と共に伝送する方法としては、ＳＭＰＴＥ−３１９Ｍに規定されているような画像信号の色差信号の下位ビットに埋め込んで伝送する方法や、画像信号の無効領域などに重畳して伝送する方法などがあり、どの方法を利用するかは発明の範囲外である。しかし、いずれの方法でも、使用方法が未定であるビット領域があるため、この領域に、ユーザデータ領域内の量子化ステップを埋め込むことで、復号画像信号と共に伝送することが可能である。
【０１８６】
再び符号化をする際に、各符号化パラメータに関して量子化ステップに関してはもともとユーザデータ領域に書き込まれていたパラメータを使用して符号化をし、それ以外の種類のパラメータはもともとビットストリームシンタクス上にあった符号化パラメータを使用する符号化を行なうことで、再量子化歪みが生じない高画質の画像符号化が実現される。
【０１８７】
【発明の効果】
以上説明したように、本発明によれば、１段目で、ある量子化ステップを用いて入力画像を符号化して復号化し、２段目で、その量子化ステップよりも大きな量子化ステップを用いて復号画像を符号化して復号化するという再符号化を行うときに、２段目の再符号化時に発生する再量子化歪みを抑制できるようにことで、高画質の画像符号化を実現できるになる。
【図面の簡単な説明】
【図１】本発明の適用される画像処理システムの説明図である。
【図２】再量子化歪みの説明図である。
【図３】線形量子化器の説明図である。
【図４】本発明の適用される画像処理システムの説明図である。
【図５】再量子化歪みの説明図である。
【図６】デッドゾーン付き量子化器の説明図である。
【図７】本発明の説明図である。
【図８】本発明の一実施形態例である。
【図９】本発明の一実施形態例である。
【図１０】本発明の一実施形態例である。
【図１１】本発明の一実施形態例である。
【図１２】本発明の一実施形態例である。
【図１３】本発明の一実施形態例である。
【図１４】本発明の一実施形態例である。
【図１５】本発明の一実施形態例である。
【図１６】本発明の一実施形態例である。
【図１７】本発明の一実施形態例である。
【図１８】本発明の一実施形態例である。
【図１９】本発明の一実施形態例である。
【図２０】本発明の一実施形態例である。
【図２１】本発明の一実施形態例である。
【図２２】本発明の一実施形態例である。
【図２３】本発明の一実施形態例である。
【図２４】本発明の一実施形態例である。
【図２５】本発明の一実施形態例である。
【図２６】ビットストリームの再符号方法の説明図である。
【符号の説明】
１０ 第１の符号化部
１１ 第２の符号化部
１２ 第３の符号化部
１３ 第４の符号化部
１４ 誤差補償信号算出部
２０ 第１の符号化部
２１ 第２の符号化部
２２ 第３の符号化部
２３ 第４の符号化部
２４ 誤差補償信号算出部
３０ 第１の符号化部
３１ 第２の符号化部
３２ 第３の符号化部
３３ 第４の符号化部
３４ 誤差補償信号算出部
４０ 第１の符号化部
４１ 第２の符号化部
４２ 第３の符号化部
４３ 第４の符号化部
４４ 第５の符号化部
４５ 誤差補償信号算出部
５０ 第１の符号化部
５１ 第２の符号化部
５２ 第３の符号化部
５３ 第４の符号化部
５４ 誤差補償信号算出部
６０ 第１の符号化部
６１ 第２の符号化部
６２ 第３の符号化部
６３ 第４の符号化部
６４ 第５の符号化部
６５ 誤差補償信号算出部
【発明の属する技術分野】
本発明は、多段符号化において、１段目の符号化時の量子化ステップに比べて２段目の符号化時の量子化ステップが大きい場合に、２段目の符号化において発生する再量子化歪みを、あらかじめ１段目の符号化時に予測して、その再量子化歪みを補償する誤差補償信号を１段目のビットストリームに埋め込んでおくことによって、２段目の再量子化歪みを抑制する画像符号化方法及びその装置と、その画像符号化方法の実現に用いられる画像符号化プログラム及びそのプログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
動画像を伝送する際に、１段目の伝送レートＲ１が比較的高く、２段目の伝送レートＲ２が比較的低いような場合がある。例えば、編集加工が行なわれるスタジオ間の伝送路は比較的ビットレートが高いが、最終的な配信用途の伝送路はビットレートが低いなどのような場合である。
【０００３】
このような場合、従来大きく分けて、以下の３つの符号化／伝送方法を用いていた。
【０００４】
（１）方法１（単純２重）
原画像から、それぞれ独立に２つのビットレート（Ｒ１−Ｒ２とＲ２）のストリームを生成し、１段目は両方一緒に伝送し、２段目はＲ２のビットストリームのみを伝送する。
【０００５】
（２）方法２（ＳＮＲスケーラビリティ）
ＭＰＥＧ−２などで規定されているＳＮＲスケーラビリティを利用し、初めにベースレイヤをビットレートＲ２で、また、ベースレイヤとエンハンスメントレイヤとを足したビットレートがＲ１となるように符号化する。
【０００６】
そして、１段目はベースレイヤとエンハンスメントレイヤとの両方を伝送し、２段目はベースレイヤのみを伝送する。
【０００７】
（３）方法３（再符号化）
原画像を、１段目はビットレートＲ１で符号化して伝送し、２段目はその再生画像をビットレートＲ２に再符号化して伝送する。
【０００８】
これら３つの方法についてそれぞれ以下のような特徴がある。
【０００９】
（イ）方法１の特徴
▲１▼１段目のストリームのビットレートＲ１−Ｒ２が２段目のビットレートＲ２より小さい場合には全く意味がない。そうでない場合でも、Ｒ１−Ｒ２の画質が１段目の伝送路の持つビットレートＲ１の画質に比べると大きく劣る。
【００１０】
▲２▼２段目の画質は理想的である。
【００１１】
▲３▼符号化装置・復号化装置が単純である。
【００１２】
▲４▼あらかじめ２段目のレートが分かっている場合のみ適用可能である。
【００１３】
（ロ）方法２の特徴
▲１▼１段目のベースレイヤ＋エンハンスメントレイヤの画質は理想的なＲ１の画質に比べるとやや劣る。
【００１４】
▲２▼２段目の画質は理想的である。
【００１５】
▲３▼符号化装置・復号化装置ともにＳＮＲスケーラビリティに対応している必要がある。
【００１６】
▲４▼あらかじめ２段目のレートが分かっている場合のみ適用可能である。
【００１７】
（ハ）方法３の特徴
▲１▼１段目の画質は理想的である。
【００１８】
▲２▼２段目の画質は再符号化の際に再量子化歪みが生じるため、理想的なＲ２の画質に比べ劣る。
【００１９】
▲３▼符号化装置・復号化装置は単純である。
【００２０】
▲４▼２段目がどのようなレートでも対応可能である。
【００２１】
ここで理想的な画質とは、与えられた伝送路ビットレートを符号化ビットレートとして、原画像から通常の符号化方法で符号化した場合の画質を指す。
【００２２】
方法２は画質の面では優れているが、ＳＮＲスケーラビリティに対応した符号化装置・復号化装置は装置が複雑で、一般に普及していないという問題がある。そのため、通常は方法３が用いられるのが一般的である。
【００２３】
【発明が解決しようとする課題】
しかしながら、上述の方法３（再符号化）には、２段目の再符号化時に再量子化歪みにより画質が劣化するという問題がある。
【００２４】
この問題は、配信系の限られたビットレートの下でいかに高画質を維持するかという問題が今日非常に大きな課題であることを考えると、大きな欠点であるといえる。
【００２５】
本発明はかかる事情に鑑みてなされたものであって、再符号化方法を用いるときに、２段目の再符号化時に発生する再量子化歪みを抑制できるようにする新たな画像符号化技術の提供を目的とする。
【００２６】
【課題を解決するための手段】
上述した再量子化歪みが生じる仕組みについて、ＭＰＥＧ−２の場合を例にとって説明する。
【００２７】
（１）はじめに、動き補償を伴わないイントラ符号化における場合について説明する。
【００２８】
図１に示すような２つの系を考える。一つは原画像を量子化ステップＱ１で符号化・復号化してから量子化ステップＱ２で符号化・復号化する２段接続系であり、もう一つは原画像を量子化ステップＱ２で符号化・復号化する単段接続系である。
【００２９】
ここで、２段接続系の１段目符号化器の量子化部への入力ａ点における任意のブロックの任意のＤＣＴ成分をＦa （ｕ，ｖ）とする。Ｆa （ｕ，ｖ）は量子化ステップＱ１によって量子化された後、１段目復号時に逆量子化されてｂ点においてＦb （ｕ，ｖ）となる。
【００３０】
図２に示すように、Ｆb （ｕ，ｖ）はＦa （ｕ，ｖ）が含まれる量子化範囲の量子化代表値となる。Ｆb （ｕ，ｖ）はさらに逆ＤＣＴされ、２段目符号化時に再びＤＣＴされてｃ点に至る。このときｂ点とｃ点の間の逆ＤＣＴ、ＤＣＴの変換はＤＣＴタイプ（フィールド・フレーム）が一致していて、かつＤＣＴ演算誤差が無視できれば、ほぼ無視することができる。
【００３１】
このため２段目符号化時の量子化部への入力ｃ点のＤＣＴ成分Ｆc （ｕ，ｖ）とｂ点のＤＣＴ成分Ｆb （ｕ，ｖ）とは、ほぼ同じ値とすることができる。Ｆc （ｕ，ｖ）は量子化ステップＱ２によって再び量子化された後、２段目復号時に逆量子化されてｄ点のＦd （ｕ，ｖ）となる。
【００３２】
一方、単段接続系の符号化器の量子化部への入力ｅ点のＤＣＴ成分Ｆe （ｕ，ｖ）とａ点のＤＣＴ成分Ｆa （ｕ，ｖ）とは、ＤＣＴタイプが一致している条件のもとでは、同じ値である。このＦe （ｕ，ｖ）は量子化ステップＱ２によって量子化された後、逆量子化されてｆ点においてＦf （ｕ，ｖ）となる。
【００３３】
図２において、Ｆa （ｕ，ｖ),Ｆb （ｕ，ｖ),Ｆc （ｕ，ｖ),Ｆd （ｕ，ｖ),Ｆe （ｕ，ｖ),Ｆf （ｕ，ｖ）の関係を見ると、Ｆc （ｕ，ｖ)(＝Ｆb （ｕ，ｖ))の値と、Ｆe （ｕ，ｖ)(＝Ｆa （ｕ，ｖ))の値とが２番目の量子化器（Ｑ２）の同じ量子化範囲に入る場合には、Ｆd （ｕ，ｖ）とＦf （ｕ，ｖ）とは同じ値になり、２段接続系の復号画像と単段接続系の復号画像とは一致し、再量子化歪みは生じないことになる。
【００３４】
逆に異なる量子化範囲に入る場合には、Ｆd （ｕ，ｖ）とＦf （ｕ，ｖ）とは異なる値になり、これが再量子化歪みとなる。このとき、イントラマクロブロックは図３に示すような線形量子化器を用いるため、Ｆd （ｕ，ｖ）とＦf （ｕ，ｖ）とは異なる値をとったとしても、−１か１の違う量子化値しかとらない。
【００３５】
一方、このように２段目の量子化器で−１か１ずれた量子化値をとった場合、１段目の量子化値をそれぞれ−１または１ずらしてＦ’（ｕ，ｖ）とすると、図２に示すように、その２段目の量子化器の量子化値はＦe （ｕ，ｖ）の量子化代表値Ｆf （ｕ，ｖ）と同じ値になる。
【００３６】
すなわち、あらかじめ１段目の量子化ステップと２段目の量子化ステップとが分かっており、ＤＣＴタイプが一致しており、ＤＣＴ演算誤差を無視できるという条件であれば、１段目の量子化値に、Ｆd （ｕ，ｖ）の量子化値とＦf （ｕ，ｖ）の量子化値との差分値である−１または１の誤差補償信号を加えることで、２段目における再量子化歪みをなくすことができる。
【００３７】
そこで、本発明では、ＤＣＴ成分を量子化ステップＱ２で量子化した結果と、ＤＣＴ成分を量子化ステップＱ１で量子化・逆量子化したのち量子化ステップＱ２で量子化した結果との差分値を、ＤＣＴ成分を量子化ステップＱ１で量子化した結果に加算して符号化するように符号化器を構成する。
【００３８】
これにより、本発明によれば、イントラ符号化の場合は、次に量子化ステップＱ２で再符号化しても再量子化歪みが生じないようにすることができる。
【００３９】
（２）次に、ノンイントラ符号化の場合について説明する。動き補償が行なわれること、デッドゾーン付き量子化であることが異なるが、上記とほぼ同様の理由で再量子化歪みが生じる。
【００４０】
動き補償が伴う場合、図４に示すように、２段接続系の１段目復号時の逆ＤＣＴと２段目符号化時のＤＣＴとの間に予測画像Ｐ１，Ｐ２の加減算が入る。
【００４１】
このため、１段目復号時の逆量子化器の出力（ｂ点の値）と、２段目符号化時の量子化器への入力（ｃ点の値）とは異なった値となる。しかし、以下に説明するように、単段接続系の予測画像と２段接続系の予測画像とを一致させれば、１段目の周波数領域における量子化誤差はそのまま２段目の量子化器に伝達される。
【００４２】
すなわち、原画像をＸ、ＤＣＴ変換行列をＡ、１段目量子化／逆量子化時に発生する量子化誤差をＮQ1とすると、図４のａ点におけるＤＣＴ成分はＡ（Ｘ−Ｐ１）、ｂ点におけるＤＣＴ成分はＡ（Ｘ−Ｐ１）＋ＮQ1となり、２段目の量子化器の入力であるｃ点におけるＤＣＴ成分は、Ａ（Ａ-1（Ａ（Ｘ−Ｐ１）＋ＮQ1）＋Ｐ１−Ｐ２）、すなわち、Ａ（Ｘ−Ｐ２）＋ＮQ1となる。
【００４３】
一方、単段接続系の符号化器の予測画像が２段接続系の２段目の符号化器の予測画像と同じＰ２であると仮定すると、ｅ点におけるＤＣＴ成分はＡ（Ｘ−Ｐ２）であり、これより、１段目量子化／逆量子化時に発生した量子化誤差ＮQ1は、そのまま２段目の量子化器に伝達されることが分かる。
【００４４】
そのため、図５のケースＡに示すように、１段目におけるＦa （ｕ，ｖ),Ｆb （ｕ，ｖ),Ｆ’（ｕ，ｖ）の相対関係を維持したまま、ある値だけシフトして、Ｆe （ｕ，ｖ),Ｆc （ｕ，ｖ),Ｆ”（ｕ，ｖ）として２段目の量子化器に入力されるため、上述のイントラ符号化の場合と同様の方法で再量子化歪みを防ぐことができる。
【００４５】
すなわち、Ｆa （ｕ，ｖ）を量子化・逆量子化することで生ずる量子化誤差ＮQ1に従って、Ｆc （ｕ，ｖ）とＦe （ｕ，ｖ）との間にはＮQ1の差が発生し、これにより、Ｆc （ｕ，ｖ）は量子化・逆量子化によりＦd （ｕ，ｖ）となり、Ｆe （ｕ，ｖ）は量子化・逆量子化によりＦf （ｕ，ｖ）となる。このとき、１段目の量子化値に、Ｆd （ｕ，ｖ）の量子化値とＦf （ｕ，ｖ）の量子化値との差分値である−１または１の誤差補償信号を加えることで、２段目における再量子化歪みをなくすことができるのである。
【００４６】
ただし、ＭＰＥＧ−1,２などの規格におけるノンイントラ符号化では、イントラ符号化と異なり図６に示すようなデッドゾーン付き量子化器を用いるため、ある条件化では、上記のような方法では再量子化歪みを防ぐことができない。図５のケースＢがその例である。
【００４７】
この場合、“Ｑ１＞３／２Ｑ２”で、かつ１段目の量子化値が−１または１の場合のみ、２段目のＦ”（ｕ，ｖ）の量子化値がＦe （ｕ，ｖ）の量子化代表値Ｆf （ｕ，ｖ）に一致しない現象がおき、誤差となる。ただし、この現象の影響はそれほど大きくないため、ノンイントラ符号化においても再量子化歪みを大きく抑制することができる。
【００４８】
そこで、本発明では、量子化ステップＱ２で符号化した場合のＤＣＴ成分の量子化結果と、量子化ステップＱ１で符号化・復号化したのち量子化ステップＱ２で符号化した場合のＤＣＴ成分の量子化結果との差分を誤差補償信号として、これを量子化ステップＱ１で符号化した場合のＤＣＴ成分の量子化結果に加算して符号化するように符号化器を構成する。そして、このとき、単段接続系の予測画像と２段接続系の予測画像とを一致させるという構成を採る。
【００４９】
これにより、本発明によれば、ノンイントラ符号化の場合でも、次に量子化ステップＱ２で再符号化しても再量子化歪みがほとんど生じないようにすることができる。
【００５０】
このような構成を採る本発明の符号化器によって生成されたビットストリームは、誤差補償信号が加わっているものの、量子化ステップＱ１によって量子化されたビットストリームであることから、普通のデコーダを使い量子化ステップＱ１によって通常どおりデコードすることができる。
【００５１】
本発明の符号化器では、このビットストリームを生成する際に、量子化ステップＱ２をユーザーデータなどにあらかじめ書き込んで伝送しておくことで、再びデコードし、エンコードする際に、その量子化ステップＱ２を使って符号化することにより、２段接続系にも関わらず、再量子化歪みが生じない２段目の符号化を実現できるようになる。
【００５２】
このように、本発明では、多段符号化の際に、２段目以降で発生する再量子化歪みを補償する誤差補償信号を、あらかじめ初段の符号化時に埋め込んでおくことで、再符号化時の再量子化歪みを大きく抑制することを実現する。
【００５３】
すなわち、図７に示すように、原画像をビットレートＲ１で符号化・復号化したのち、ビットレートＲ２（Ｒ１＞Ｒ２）で再符号化するような２段接続系の２段目のビットレートＲ２の画質は、原画像から直接ビットレートＲ２で符号化した場合の画質に比べて再量子化歪みによって低下する。
【００５４】
そこで、原画像と、原画像から直接ビットレートＲ２で符号化した画像とを用いて、本発明による手法によりビットレートＲ１で符号化・復号化を行なえば、２段目でビットレートＲ２で再符号化した際に、再量子化歪みによる画質低下を起こすことなく、原画像から直接ビットレートＲ２で符号化した場合の画質とほぼ同等の画質にすることができる。
【００５５】
なお、本発明による符号化は、かかる効果を得る手段として、誤差補償信号を埋め込みながら符号化を行うことから、その影響で、１段目のビットレートＲ１で符号化した場合の画質が低下することになる。
【００５６】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００５７】
（１）第１の実施形態例
本実施形態例は、動き補償を行わずに入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、量子化値で表される誤差補償信号を用いる構成を採っている。
【００５８】
図８に本実施形態例を図示する。ここで、この実施形態例は請求項４に対応するものである。
【００５９】
図８に示す実施形態例に従い、各マクロブロックに対して、以下のようにして符号化を行なう。各マクロブロックの符号化はイントラ符号化を行なう。
【００６０】
入力画像ＸをＤＣＴし、それぞれの周波数成分信号を得る。ここで、ＤＣＴタイプは各マクロブロックごとに適応的に判定するものとする。
【００６１】
各マクロブロックの周波数成分信号を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを求め、また、同周波数成分信号を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを求める。
【００６２】
そして、量子化周波数成分信号Ｂを量子化ステップＱ１に基づき逆量子化し、さらに量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｃを求める。
【００６３】
そして、量子化周波数成分信号Ａから量子化周波数成分信号Ｃを減算することで誤差補償信号Ｄを得て、その誤差補償信号Ｄに量子化周波数成分信号Ｂを加算して量子化周波数成分信号Ｅを求める。
【００６４】
そして、その量子化周波数成分信号Ｅと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【００６５】
ここで、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１，Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。また、同じマクロブロックの処理に対しては、同じＤＣＴタイプで上記処理を行うものとする。
【００６６】
図９に、図８に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１１に対応するものである。
【００６７】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００６８】
図９の実施形態例に従う符号化装置は、第１の符号化部１０と、第２の符号化部１１と、第３の符号化部１２と、第４の符号化部１３と、誤差補償信号算出部１４とを備える。
【００６９】
図１０に、図８との対応をとりつつ、これらの符号化部１０〜１３と誤差補償信号算出部１４の持つ機能を図示する。
【００７０】
この図に示すように、第１の符号化部１０は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを得るように処理する。
【００７１】
第２の符号化部１１は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号αを得るように処理する。
【００７２】
第３の符号化部１２は、再生画像信号αをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｃを得るように処理する。
【００７３】
誤差補償信号算出部１４は、量子化周波数成分信号Ａから量子化周波数成分信号Ｃを減算して誤差補償信号Ｄを得るように処理する。
【００７４】
第４の符号化部１３は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを得て、その量子化周波数成分信号Ｂに誤差補償信号Ｄを加算することで量子化周波数成分信号Ｅを得て、その量子化周波数成分信号Ｅを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化するように処理する。
【００７５】
この装置構成に従って、本実施形態例により構成される符号化装置が構築されることになる。
【００７６】
（２）第２の実施形態例
本実施形態例は、動き補償を行わずに入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、画像信号で表される誤差補償信号を用いる構成を採っている。
【００７７】
図１１に本実施形態例を図示する。ここで、この実施形態例は請求項５に対応するものである。
【００７８】
図１１に示す実施形態例に従い、各マクロブロックに対して、以下のようにして符号化を行なう。各マクロブロックの符号化はイントラ符号化を行なう。
【００７９】
入力画像ＸをＤＣＴし、それぞれの周波数成分信号を得る。ここで、ＤＣＴタイプは各マクロブロックごとに適応的に判定するものとする。
【００８０】
各マクロブロックの周波数成分信号を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ａを求める。
【００８１】
そして、同周波数成分信号を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ｂを求める。
【００８２】
そして、再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｃを得て、それに入力画像信号Ｘを加算して画像信号Ｄを求める。
【００８３】
そして、画像信号ＤのＤＣＴによって得られる周波数成分信号を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｅを求める。
【００８４】
そして、量子化周波数成分信号Ｅと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【００８５】
ここで、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１，Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。また、同マクロブロックの処理に対しては、同じＤＣＴタイプで上記処理を行うものとする。
【００８６】
本実施形態例は、誤差補償信号を量子化ＤＣＴ成分の差分ではなく、それを復号した画像成分の差分として求め、誤差補償信号を加算する対象も、量子化ＤＣＴ成分ではなくて、その前段の画像成分となっている点において第１の実施形態例と異なる。
【００８７】
これは、ＤＣＴ変換が線形変換であるため、周波数領域における加減算と空間領域（画像成分）における加減算とが等価であることを利用している。これによって、ＤＣＴ成分の入出力機構を設ける必要がなくなり、処理が簡素化されるという利点が得られる。
【００８８】
図１２に、図１１に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１２に対応するものである。
【００８９】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【００９０】
図１２の実施形態例に従う符号化装置は、第１の符号化部２０と、第２の符号化部２１と、第３の符号化部２２と、第４の符号化部２３と、誤差補償信号算出部２４とを備える。
【００９１】
図１３に、図１１との対応をとりつつ、これらの符号化部２０〜２３と誤差補償信号算出部２４の持つ機能を図示する。
【００９２】
この図に示すように、第１の符号化部２０は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ａを得るように処理する。
【００９３】
第２の符号化部２１は、入力画像信号ＸをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号αを得るように処理する。
【００９４】
第３の符号化部２２は、再生画像信号αをＤＣＴし、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして再生画像信号Ｂを得るように処理する。
【００９５】
誤差補償信号算出部２４は、再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｃを得て、それに入力画像信号Ｘを加算して画像信号Ｄを得るように処理する。
【００９６】
第４の符号化部２３は、画像信号ＤをＤＣＴし、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｅを得て、それを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化するように処理する。
【００９７】
この装置構成に従って、本実施形態例により構成される符号化装置が構築されることになる。
【００９８】
（３）第３の実施形態例
本実施形態例は、動き補償を行って入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、量子化値で表される誤差補償信号を用いる構成を採っている。
【００９９】
図１４及び図１５に本実施形態例を図示する。ここで、この実施形態例は請求項６，８，１０に対応するものである。
【０１００】
図１４及び図１５に従い、各マクロブロックについて以下の処理を行なう。ここで、図１４の実施形態例と図１５の実施形態例とでは、予測画像信号Ｐ１，Ｐ２の生成方法が異なっている。
【０１０１】
入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ２との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを求める。
【０１０２】
また、入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ１との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを求める。
【０１０３】
そして、量子化周波数成分信号Ｂを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴし、その結果得られる画像信号に予測画像信号Ｐ１を加算して再生画像信号Ｃを求める。さらに、その再生画像信号Ｃと予測画像信号Ｐ２との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｄを求める。
【０１０４】
そして、量子化周波数成分信号Ａから量子化周波数成分信号Ｄを減算して誤差補償信号Ｅを得て、その誤差補償信号Ｅに量子化周波数成分信号Ｂを加算することで量子化周波数成分信号Ｆを求める。
【０１０５】
そして、量子化周波数成分信号Ｆと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【０１０６】
一方、上述の予測画像信号Ｐ１は、図１４の実施形態例の場合には以下のようにして決定する。
【０１０７】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１０８】
また、上述の予測画像信号Ｐ２は、図１４の実施形態例の場合には以下のようにして決定する。
【０１０９】
すなわち、量子化周波数成分信号Ａを量子化ステップＱ２に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ２を加算することで再生画像信号Ｌ２を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する。
【０１１０】
一方、上述の予測画像Ｐ１は、図１５の実施形態例の場合には以下のようにして決定する。
【０１１１】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１１２】
また、上述の予測画像信号Ｐ２は、図１５の実施形態例の場合には以下のようにして決定する。
【０１１３】
すなわち、再生画像信号Ｌ１と予測画像信号Ｐ２との差分のＤＣＴによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ２を加算することで再生画像信号Ｌ２を得て、それを蓄積する。そして、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像Ｐ２を決定する。
【０１１４】
ただし、上記の処理において、同じマクロブロックの処理に対しては、同じイントラインタ判定、ＤＣＴタイプで上記処理を行なうものとする。また、予測画像信号Ｐ１，Ｐ２とも、イントラインタ判定でイントラ符号化が選択された場合には、全ての画素値がゼロの値をとるものとする。また、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１、Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。
【０１１５】
図１４の実施形態例と図１５の実施形態例とでは、予測画像信号Ｐ２とその元となる再生画像信号Ｌ２の生成方法が異なっている。図１５の実施形態例に従うと、予測画像信号Ｐ２および再生画像信号Ｌ２は、本実施形態例の符号化手法で生成されたビットストリームがデコードされ、再びエンコードされる場合に内部で生成される予測画像信号および再生画像信号と一致するため、誤差が蓄積しないという長所がある。
【０１１６】
図１６に、図１４に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１３／１５に対応するものである。
【０１１７】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１１８】
図１４の実施形態例に従う符号化装置は、第１の符号化部３０と、第２の符号化部３１と、第３の符号化部３２と、第４の符号化部３３と、誤差補償信号算出部３４とを備える。
【０１１９】
図１７に、図１４との対応をとりつつ、これらの符号化部３０〜３３と誤差補償信号算出部３４の持つ機能を図示する。
【０１２０】
第１の符号化部３０は、原画像Ｘを入力画像とし、動き補償の参照画像として第３の符号化部３２へ転送する予測画像画像Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ａを出力する。
【０１２１】
第２の符号化部３１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部３３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部３０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１２２】
第３の符号化部３２は、第２の符号化部３１の生成する局所再生画像Ｃを入力画像とし、動き補償の参照画像として第１の符号化部３０から転送されてくる予測画像画像Ｐ２を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部３０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ｄを出力する。
【０１２３】
誤差補償信号算出部３４は、第１の符号化部３０から出力された各ブロックの量子化周波数成分信号Ａと、第３の符号化部３２から出力された各ブロックの量子化周波数成分信号Ｄとの差分から各ブロックの誤差補償信号Ｅを求める。
【０１２４】
第４の符号化部３３は、原画像Ｘを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部３０に一致させ、また、動きベクトルおよび予測モードと量子化ステップとを第２の符号化部３１に一致させながら、量子化された周波数成分に誤差補償信号算出部３４から受け取った誤差補償信号Ｅをブロック加算しながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１２５】
この符号化装置の出力ストリームとして、第４の符号化部３３の出力ストリームを出力するとともに、そのユーザデータ領域に、第１の符号化部３０における動きベクトルおよび予測モードと量子化ステップとを出力する。
【０１２６】
この図１６及び図１７に示す装置構成に従って、図１４に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１２７】
図１８に、図１５に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１３／１７に対応するものである。
【０１２８】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１２９】
図１８の実施形態例に従う符号化装置は、第１の符号化部４０と、第２の符号化部４１と、第３の符号化部４２と、第４の符号化部４３と、第５の符号化部４４と、誤差補償信号算出部４５とを備える。
【０１３０】
図１９に、図１５との対応をとりつつ、これらの符号化部４０〜４４と誤差補償信号算出部４５の持つ機能を図示する。
【０１３１】
第１の符号化部４０は、原画像Ｘを入力画像とし、動き補償の参照画像として第５の符号化部４４から転送されてくる予測画像信号Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ａを出力する。
【０１３２】
第２の符号化部４１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部４３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードとを第１の符号化部４０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１３３】
第３の符号化部４２は、第２の符号化部４１の生成する局所再生画像Ｃを入力画像とし、動き補償の参照画像として第５の符号化部４４から転送されてくる予測画像信号Ｐ２を使用して、ピクチャタイプと各マクロブロックのフイールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部４０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。また、各ブロックの量子化周波数成分信号Ｄを出力する。
【０１３４】
誤差補償信号算出部４５は、第１の符号化部４０から出力された各ブロックの量子化周波数成分信号Ａと、第３の符号化部４２から出力された各ブロックの量子化周波数成分信号Ｄとの差分から各ブロックの誤差補償信号Ｅを求める。
【０１３５】
第４の符号化部４３は、原画像Ｘを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードとを第１の符号化部４０に一致させ、また、量子化ステップを第２の符号化部４１に一致させながら、量子化された周波数成分に誤差補償信号算出部４５から受け取った誤差補償信号Ｅをブロックごとに加算しながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１３６】
第５の符号化部４４は、第４の符号化部４３の生成する再生画像信号Ｌ１（局所復号画像）を入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部４０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１３７】
この符号化装置の出力ストリームとして、第４の符号化部４３の出力ストリームを出力するとともに、そのユーザデータ領域に第１の符号化部４０における量子化ステップを出力する。
【０１３８】
この図１８及び図１９に示す装置構成に従って、図１５に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１３９】
（４）第４の実施形態例
本実施形態例は、動き補償を行って入力画像（原画像）の符号化を行うときに本発明を適用した実施形態例であり、このとき、画像信号で表される誤差補償信号を用いる構成を採っている。
【０１４０】
図２０及び図２１に本実施形態例を図示する。ここで、この実施形態例は請求項７，９，１０に対応するものである。
【０１４１】
図２０及び図２１に従い、各マクロブロックについて以下の処理を行なう。ここで、図２０の実施形態例と図２１の実施形態例とでは、予測画像信号Ｐ１，Ｐ２の生成方法が異なっている。
【０１４２】
入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ２との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴし、その結果に予測画像信号Ｐ２を加算することで再生画像信号Ａを求める。
【０１４３】
また、入力画像信号Ｘと後述の方法で求める予測画像信号Ｐ１との差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴし、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号Ｂを得て、さらに、その再生画像信号Ｂと予測画像信号Ｐ２の差分信号をＤＣＴすることによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴし、その結果に予測画像信号Ｐ２を加算することで再生画像信号Ｃを求める。
【０１４４】
そして、再生画像信号Ａから再生画像信号Ｃを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｄを得て、それに入力画像信号Ｘに加算して画像信号Ｅを求める。
【０１４５】
そして、画像信号Ｅと予測画像信号Ｐ１との差分信号のＤＣＴによって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化し量子化周波数成分信号Ｆを求める。
【０１４６】
そして、量子化周波数成分信号Ｆと各種符号化パラメータとをＭＰＥＧ−２の規格にもとづいて可逆符号化してＭＰＥＧ−２ビットストリームを生成し、また、量子化ステップＱ２を可逆符号化して、そのビットストリームのユーザデータ領域に埋め込む。
【０１４７】
ここで、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１，Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。また、同マクロブロックの処理に対しては、同じＤＣＴタイプで上記処理を行うものとする。
【０１４８】
一方、上述の予測画像信号Ｐ１は、図２０の実施形態例の場合には以下のようにして決定する。
【０１４９】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１５０】
また、上述の予測画像信号Ｐ２は、図２０の実施形態例の場合には以下のようにして決定する。
【０１５１】
すなわち、入力画像信号Ｘと再生画像信号Ａとから動きベクトルを検出して、その動きベクトルとその再生画像信号Ａとに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する。
【０１５２】
一方、上述の予測画像信号Ｐ１は、図２１の実施形態例の場合には以下のようにして決定する。
【０１５３】
すなわち、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、さらに逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ１を加算することで再生画像信号をＬ１を得て、それを蓄積する。そして、入力画像信号Ｘとその蓄積した再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する。
【０１５４】
また、上述の予測画像信号Ｐ２は、図２１の実施形態例の場合には以下のようにして決定する。
【０１５５】
すなわち、再生画像信号Ｌ１と予測画像信号Ｐ２との差分のＤＣＴによって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆ＤＣＴして、その結果得られる画像信号に予測画像信号Ｐ２を加算することで再生画像信号Ｌ２を得て、それを蓄積する。そして、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルとその再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像Ｐ２を決定する。
【０１５６】
ただし、上記の処理において、同じマクロブロックの処理に対しては、同じイントラインタ判定、ＤＣＴタイプで上記処理を行なうものとする。また、予測画像信号Ｐ１，Ｐ２とも、イントラインタ判定でイントラ符号化が選択された場合には、全ての画素値がゼロの値をとるものとする。また、各量子化処理はＭＰＥＧ−２に従うものとし、量子化マトリックスは共通のものを使用する。また、量子化ステップＱ１、Ｑ２については、Ｑ２の方がＱ１よりも大きいものとする。
【０１５７】
図２０の実施形態例と図２１の実施形態例とでは、予測画像信号Ｐ２とその元となる再生画像信号Ｌ２の生成方法が異なっている。図２１の実施形態例に従うと、予測画像信号Ｐ２および再生画像信号Ｌ２は、本実施形態例の符号化手法で生成されたビットストリームがデコードされ、再びエンコードされる場合に内部で生成される予測画像信号および再生画像信号と一致するため、誤差が蓄積しないという長所がある。
【０１５８】
本実施形態例は、誤差補償信号を量子化ＤＣＴ成分の差分ではなく、それを復号した画像成分の差分として求め、誤差補償信号を加算する対象も、量子化ＤＣＴ成分ではなくて、その前段の画像成分となっている点において第３の実施形態例と異なる。
【０１５９】
これは、ＤＣＴ変換が線形変換であるため、周波数領域における加減算と空間領域（画像成分）における加減算とが等価であることを利用している。これによって、ＤＣＴ成分の入出力機構を設ける必要がなくなり、処理が簡素化されるという利点が得られる。
【０１６０】
図２２に、図２０に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１４／１６に対応するものである。
【０１６１】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１６２】
図２２の実施形態例に従う符号化装置は、第１の符号化部５０と、第２の符号化部５１と、第３の符号化部５２と、第４の符号化部５３と、誤差補償信号算出部５４とを備える。
【０１６３】
図２３に、図２０との対応をとりつつ、これらの符号化部５０〜５３と誤差補償信号算出部５４の持つ機能を図示する。
【０１６４】
第１の符号化部５０は、原画像Ｘを入力画像とし、動き補償の参照画像として第３の符号化部５２へ転送する予測画像信号Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６５】
第２の符号化部５１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部５３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部５０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６６】
第３の符号化部５２は、第２の符号化部５１の生成する局所再生画像Ｂを入力画像とし、動き補償の参照画像として第１の符号化部５０から転送されてくる予測画像信号Ｐ２を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部５０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６７】
誤差補償信号算出部５４は、第１の符号化部５０から出力された局所復号画像Ａと、第３の符号化部５２から出力された局所復号画像Ｃとの差分に対し、そのマクロブロックの第１の符号化部５０における量子化ステップと第３の符号化部５２における量子化ステップとの比率を乗じることで、誤差補償信号Ｄを求める。
【０１６８】
第４の符号化部５３は、原画像Ｘに誤差補償信号Ｄを加算した画像信号Ｅを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部５０に一致させ、また、動きベクトルおよび予測モードと量子化ステップとを第２の符号化部５１に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１６９】
この符号化装置の出力ストリームとして、第４の符号化部５３の出力ストリームを出力するとともに、そのユーザデータ領域に、第１の符号化部５０における動きベクトルおよび予測モードと量子化ステップとを出力する。
【０１７０】
この図２２及び図２３に示す装置構成に従って、図２０に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１７１】
図２４に、図２１に示す本実施形態例を装置構成で実現すべく構成される符号化装置の一実施形態例を図示する。ここで、この実施形態例に従う符号化装置は請求項１４／１７に対応するものである。
【０１７２】
この符号化装置の持つ各処理手段はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどの記録媒体に記録して提供することができる。
【０１７３】
図２４の実施形態例に従う符号化装置は、第１の符号化部６０と、第２の符号化部６１と、第３の符号化部６２と、第４の符号化部６３と、第５の符号化部６４と、誤差補償信号算出部６５とを備える。
【０１７４】
図２５に、図２１との対応をとりつつ、これらの符号化部６０〜６４と誤差補償信号算出部６５の持つ機能を図示する。
【０１７５】
第１の符号化部６０は、原画像Ｘを入力画像とし、動き補償の参照画像として第５の符号化部６４から転送されてくる予測画像信号Ｐ２を使用して、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１７６】
第２の符号化部６１は、原画像Ｘを入力画像とし、動き補償の参照画像として第４の符号化部６３から転送されてくる予測画像信号Ｐ１を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部６０に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１７７】
第３の符号化部６２は、第２の符号化部６１の生成する局所再生画像Ｂを入力画像とし、動き補償の参照画像として第５の符号化部６４から転送されてくる予測画像信号Ｐ２を使用して、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部６０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１７８】
誤差補償信号算出部６５は、第１の符号化部５０から出力された局所復号画像Ａと、第３の符号化部６２から出力された局所復号画像Ｃとの差分に対し、そのマクロブロックの第１の符号化部６０における量子化ステップと第３の符号化部６３における量子化ステップとの比率を乗じることで、誤差補償信号Ｄを求める。
【０１７９】
第４の符号化部６３は、原画像Ｘに誤差補償信号Ｄを加算した画像信号Ｅを入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果とを第１の符号化部６０に一致させ、また、動きベクトルおよび予測モードと量子化ステップとを第２の符号化部６１に一致させながら、ビットレートＲ１（量子化ステップＱ１）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１８０】
第５の符号化部６４は、第４の符号化部６３の生成する再生画像信号Ｌ１（局所復号画像）を入力画像とし、ピクチャタイプと各マクロブロックのフィールド・フレームＤＣＴ判定とイントラ・ノンイントラ判定結果と動きベクトルおよび予測モードと量子化ステップとを第１の符号化部６０に一致させながら、ビットレートＲ２（量子化ステップＱ２）でＭＰＥＧ−２ビデオ符号化を行なう。
【０１８１】
この符号化装置の出力ストリームとして、第４の符号化部６３の出力ストリームを出力するとともに、そのユーザデータ領域に、第１の符号化部６０における動きベクトルおよび予測モードと量子化ステップとを出力する。
【０１８２】
この図２４及び図２５に示す装置構成に従って、図２１に示す本実施形態例により構成される符号化装置が構築されることになる。
【０１８３】
（５）本実施形態例により符号化されたビットストリームの再符号方法
次に、図２６に従って、第１の実施形態例から第４の実施形態例のいずれかの実施形態例によって符号化され、ユーザデータ領域内に量子化ステップが書き込まれているビットストリームを受け取るときに、このビットストリームを復号し再符号化する処理について説明する。
【０１８４】
このビットストリームを復号する際に、通常のＭＰＥＧ−２ビデオ規格にもとづいて復号画像を得るとともに、このビットストリームのシンタクスのＤＣＴ係数以外のパラメータと、ユーザデータ領域内の量子化ステップとを抽出し、復号画像信号と共に伝送する。
【０１８５】
ビットストリームのシンタクスのＤＣＴ係数以外のパラメータを画像信号と共に伝送する方法としては、ＳＭＰＴＥ−３１９Ｍに規定されているような画像信号の色差信号の下位ビットに埋め込んで伝送する方法や、画像信号の無効領域などに重畳して伝送する方法などがあり、どの方法を利用するかは発明の範囲外である。しかし、いずれの方法でも、使用方法が未定であるビット領域があるため、この領域に、ユーザデータ領域内の量子化ステップを埋め込むことで、復号画像信号と共に伝送することが可能である。
【０１８６】
再び符号化をする際に、各符号化パラメータに関して量子化ステップに関してはもともとユーザデータ領域に書き込まれていたパラメータを使用して符号化をし、それ以外の種類のパラメータはもともとビットストリームシンタクス上にあった符号化パラメータを使用する符号化を行なうことで、再量子化歪みが生じない高画質の画像符号化が実現される。
【０１８７】
【発明の効果】
以上説明したように、本発明によれば、１段目で、ある量子化ステップを用いて入力画像を符号化して復号化し、２段目で、その量子化ステップよりも大きな量子化ステップを用いて復号画像を符号化して復号化するという再符号化を行うときに、２段目の再符号化時に発生する再量子化歪みを抑制できるようにことで、高画質の画像符号化を実現できるになる。
【図面の簡単な説明】
【図１】本発明の適用される画像処理システムの説明図である。
【図２】再量子化歪みの説明図である。
【図３】線形量子化器の説明図である。
【図４】本発明の適用される画像処理システムの説明図である。
【図５】再量子化歪みの説明図である。
【図６】デッドゾーン付き量子化器の説明図である。
【図７】本発明の説明図である。
【図８】本発明の一実施形態例である。
【図９】本発明の一実施形態例である。
【図１０】本発明の一実施形態例である。
【図１１】本発明の一実施形態例である。
【図１２】本発明の一実施形態例である。
【図１３】本発明の一実施形態例である。
【図１４】本発明の一実施形態例である。
【図１５】本発明の一実施形態例である。
【図１６】本発明の一実施形態例である。
【図１７】本発明の一実施形態例である。
【図１８】本発明の一実施形態例である。
【図１９】本発明の一実施形態例である。
【図２０】本発明の一実施形態例である。
【図２１】本発明の一実施形態例である。
【図２２】本発明の一実施形態例である。
【図２３】本発明の一実施形態例である。
【図２４】本発明の一実施形態例である。
【図２５】本発明の一実施形態例である。
【図２６】ビットストリームの再符号方法の説明図である。
【符号の説明】
１０ 第１の符号化部
１１ 第２の符号化部
１２ 第３の符号化部
１３ 第４の符号化部
１４ 誤差補償信号算出部
２０ 第１の符号化部
２１ 第２の符号化部
２２ 第３の符号化部
２３ 第４の符号化部
２４ 誤差補償信号算出部
３０ 第１の符号化部
３１ 第２の符号化部
３２ 第３の符号化部
３３ 第４の符号化部
３４ 誤差補償信号算出部
４０ 第１の符号化部
４１ 第２の符号化部
４２ 第３の符号化部
４３ 第４の符号化部
４４ 第５の符号化部
４５ 誤差補償信号算出部
５０ 第１の符号化部
５１ 第２の符号化部
５２ 第３の符号化部
５３ 第４の符号化部
５４ 誤差補償信号算出部
６０ 第１の符号化部
６１ 第２の符号化部
６２ 第３の符号化部
６３ 第４の符号化部
６４ 第５の符号化部
６５ 誤差補償信号算出部
Claims (19)
- １段目で、ある量子化ステップを用いて入力画像を符号化して復号化し、２段目で、その量子化ステップよりも大きい量子化ステップを用いて該復号画像を符号化して復号化する画像処理システムで用いられる画像符号化方法であって、
１段目の符号化の際に、２段構成で符号化するときに得られる量子化信号と、２段目のみで符号化するときに得られる量子化信号との差分量子化信号を算出することで、２段目の符号化の際に発生する再量子化歪みを予測する過程と、
１段目の符号化の際に、１段目で符号化するときに得られる量子化信号に上記差分量子化信号を加算することで補正して、その補正した量子化信号と、１段目及び２段目で用いる量子化ステップの情報とを１段目の符号化ストリームに埋め込む過程とを備えることを、
特徴とする画像符号化方法。 - １段目で、ある量子化ステップを用いて入力画像を符号化して復号化し、２段目で、その量子化ステップよりも大きい量子化ステップを用いて該復号画像を符号化して復号化する画像処理システムで用いられる画像符号化方法であって、
１段目の符号化の際に、２段構成で符号化・復号化するときに得られる再生画像信号と、２段目のみで符号化・復号化するときに得られる再生画像信号との差分画像信号を算出することで、２段目の符号化の際に発生する再量子化歪みを予測する過程と、
１段目の符号化の際に、１段目の量子化ステップを２段目の量子化ステップで割り算した値を求め、上記差分画像信号にその割り算値を乗算した信号を算出し、入力画像にその乗算結果の信号を加算することで補正して、その補正した入力画像を符号化することで量子化信号を得て、その得た量子化信号と、１段目及び２段目で用いる量子化ステップの情報とを１段目の符号化ストリームに埋め込む過程とを備えることを、
特徴とする画像符号化方法。 - 請求項１又は２記載の画像符号化方法において、
動き補償を行いつつ画像符号化を行うときには、単段で符号化を行うときに用いる予測画像信号と、２段で符号化を行うときに用いる予測画像信号とを一致させつつ、画像符号化を行うように構成されることを、
特徴とする画像符号化方法。 - 直交変換を用いた画像符号化方法において、
入力画像信号Ｘの直交変換によって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを得る過程と、
上記周波数成分信号を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを得る過程と、
量子化周波数成分信号Ｂを量子化ステップＱ１に基づき逆量子化し、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｃを得る過程と、
量子化周波数成分信号Ａから量子化周波数成分信号Ｃを減算して誤差補償信号Ｄを得て、それに量子化周波数成分信号Ｂを加算して量子化周波数成分信号Ｅを得る過程と、
量子化周波数成分信号Ｅを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する過程とを備えることを、
特徴とする画像符号化方法。 - 直交変換を用いた画像符号化方法において、
入力画像信号Ｘの直交変換によって得られる周波数成分信号を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換して再生画像信号Ａを得る過程と、
上記周波数成分信号を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換して再生画像信号Ｂを得る過程と、
再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｃを得て、それに入力画像信号Ｘを加算して画像信号Ｄを得る過程と、
画像信号Ｄの直交変換によって得られる周波数成分信号を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｅを得る過程と、
量子化周波数成分信号Ｅを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する過程とを備えることを、
特徴とする画像符号化方法。 - 動き補償と直交変換とを用いた画像符号化方法において、
入力画像信号Ｘと予測画像信号Ｐ２との差分信号の直交変換によって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを得る過程と、
入力画像信号Ｘと予測画像信号Ｐ１との差分信号の直交変換によって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを得る過程と、
量子化周波数成分信号Ｂを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｃを得て、その再生画像信号Ｃと予測画像信号Ｐ２との差分信号の直交変換によって得られる周波数成分信号を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｄを得る過程と、
量子化周波数成分信号Ａから量子化周波数成分信号Ｄを減算して誤差補償信号Ｅを得て、その誤差補償信号Ｅに量子化周波数成分信号Ｂに加算して量子化周波数成分信号Ｆを得る過程と、
量子化周波数成分信号Ｆを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する過程とを備えることを、
特徴とする画像符号化方法。 - 動き補償と直交変換とを用いた画像符号化方法において、
入力画像信号Ｘと予測画像信号Ｐ２との差分信号の直交変換によって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ａを得る過程と、
入力画像信号Ｘと予測画像信号Ｐ１との差分信号の直交変換によって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｂを得る過程と、
再生画像信号Ｂと予測画像信号Ｐ２との差分信号の直交変換によって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ｃを得る過程と、
再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｄを得て、それに入力画像信号Ｘを加算して画像信号Ｅを得る過程と、
画像信号Ｅと予測画像信号Ｐ１との差分信号の直交変換によって得られる周波数成分信号を、量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｆを得る過程と、
量子化周波数成分信号Ｆを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する過程とを備えることを、
特徴とする画像符号化方法。 - 請求項６記載の画像符号化方法において、
量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｌ１を得て、入力画像信号Ｘと再生画像信号Ｌ１とから動きベクトルを検出し、その動きベクトルと再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する過程と、
量子化周波数成分信号Ａを量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ｌ２を得て、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出し、その動きベクトルと再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する過程とを備えることを、
特徴とする画像符号化方法。 - 請求項７記載の画像符号化方法において、
量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｌ１を得て、入力画像信号Ｘと再生画像信号Ｌ１とから動きベクトルを検出し、その動きベクトルと再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する過程と、
入力画像信号Ｘと再生画像信号Ａとから動きベクトルを検出し、その動きベクトルと再生画像信号Ａとに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する過程とを備えることを、
特徴とする画像符号化方法。 - 請求項６又は７記載の画像符号化方法において、
量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｌ１を得て、入力画像信号Ｘと再生画像信号Ｌ１とから動きベクトルを検出し、その動きベクトルと再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定する過程と、
再生画像信号Ｌ１と予測画像信号Ｐ２との差分の直交変換によって得られる周波数成分信号を、量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ｌ２を得て、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出し、その動きベクトルと再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する過程とを備えることを、
特徴とする画像符号化方法。 - 直交変換を用いた画像符号化装置において、
入力画像信号Ｘを直交変換し、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを得る第１の符号化部と、
入力画像信号Ｘを直交変換し、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換して再生画像信号αを得る第２の符号化部と、
再生画像信号αを直交変換し、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｃを得る第３の符号化部と、
量子化周波数成分信号Ａから量子化周波数成分信号Ｃを減算して誤差補償信号Ｄを得る減算部と、
入力画像信号Ｘを直交変換し、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｂを得て、それに誤差補償信号Ｄを加算して量子化周波数成分信号Ｅを得て、それを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する第４の符号化部とを備えることを、
特徴とする画像符号化装置。 - 直交変換を用いた画像符号化装置において、
入力画像信号Ｘを直交変換し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換して再生画像信号Ａを得る第１の符号化部と、
入力画像信号Ｘを直交変換し、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換して再生画像信号αを得る第２の符号化部と、
再生画像信号αを直交変換し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換して再生画像信号Ｂを得る第３の符号化部と、
再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｃを得て、それに入力画像信号Ｘを加算して画像信号Ｄを得る演算部と、
画像信号Ｄを直交変換し、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｅを得て、それを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する第４の符号化部とを備えることを、
特徴とする画像符号化装置。 - 動き補償と直交変換とを用いた画像符号化装置において、
入力画像信号Ｘと予測画像信号Ｐ２との差分信号を直交変換し、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ａを得る第１の符号化部と、
入力画像信号Ｘと予測画像信号Ｐ１との差分信号を直交変換し、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｃを得る第２の符号化部と、
再生画像信号Ｃと予測画像信号Ｐ２との差分信号を直交変換し、その結果を量子化ステップＱ２に基づき量子化して量子化周波数成分信号Ｄを得る第３の符号化部と、
量子化周波数成分信号Ａから量子化周波数成分信号Ｄを減算して誤差補償信号Ｅを得る減算部と、
入力画像信号Ｘと予測画像信号Ｐ１との差分信号を直交変換し、その結果を量子化ステップＱ１に基づき量子化し、その結果に誤差補償信号Ｅを加算して量子化周波数成分信号Ｆを得て、それを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する第４の符号化部とを備えることを、
特徴とする画像符号化装置。 - 動き補償と直交変換とを用いた画像符号化装置において、
入力画像信号Ｘと予測画像信号Ｐ２との差分信号を直交変換し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ａを得る第１の符号化部と、
入力画像信号Ｘと予測画像信号Ｐ１との差分信号を直交変換し、その結果を量子化ステップＱ１に基づき量子化し、その結果を量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｂを得る第２の符号化部と、
再生画像信号Ｂと予測画像信号Ｐ２との差分信号を直交変換し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ｃを得る第３の符号化部と、
再生画像信号Ａから再生画像信号Ｂを減算し、その減算画像信号の各画素の輝度色差データに“Ｑ１／Ｑ２”を乗じて誤差補償信号Ｄを得て、それに入力画像信号Ｘに加算して画像信号Ｅを得る演算部と、
画像信号Ｅと予測画像信号Ｐ１との差分信号を直交変換し、その結果を量子化ステップＱ１に基づき量子化して量子化周波数成分信号Ｆを得て、それを可逆符号化するとともに、量子化ステップＱ１，Ｑ２を可逆符号化する第４の符号化部とを備えることを、
特徴とする画像符号化装置。 - 請求項１３記載の画像符号化装置において、
上記第１の符号化部は、量子化周波数成分信号Ａを量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ｌ２を得て、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルと再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定し、
上記第４の符号化部は、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｌ１を得て、入力画像信号Ｘと再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルと再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定することを、
特徴とする画像符号化装置。 - 請求項１４記載の画像符号化装置において、
上記第１の符号化部は、入力画像信号Ｘと再生画像信号Ａとから動きベクトルを検出して、その動きベクトルと再生画像信号Ａとに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定し、
上記第４の符号化部は、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｌ１を得て、入力画像信号Ｘと再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルと再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定することを、
特徴とする画像符号化装置。 - 請求項１３又は１４記載の画像符号化装置において、
上記第４の符号化部は、量子化周波数成分信号Ｆを量子化ステップＱ１に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ１を加算して再生画像信号Ｌ１を得て、入力画像信号Ｘと再生画像信号Ｌ１とから動きベクトルを検出して、その動きベクトルと再生画像信号Ｌ１とに基づいて次のフレームの符号化における予測画像信号Ｐ１を決定し、
かつ、再生画像信号Ｌ１と予測画像信号Ｐ２との差分信号を直交変換し、その結果を量子化ステップＱ２に基づき量子化し、その結果を量子化ステップＱ２に基づき逆量子化し、その結果を逆直交変換し、その結果に予測画像信号Ｐ２を加算して再生画像信号Ｌ２を得て、入力画像信号Ｘと再生画像信号Ｌ２とから動きベクトルを検出して、その動きベクトルと再生画像信号Ｌ２とに基づいて次のフレームの符号化における予測画像信号Ｐ２を決定する第５の符号化部を備えることを、
特徴とする画像符号化装置。 - 請求項１ないし１０のいずれか１項に記載される画像符号化方法の実現に用いられる処理をコンピュータに実行させるための画像符号化プログラム。
- 請求項１ないし１０のいずれか１項に記載される画像符号化方法の実現に用いられる処理をコンピュータに実行させるためのプログラムを記録した画像符号化プログラムの記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343974A JP4125885B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及びその装置と、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001343974A JP4125885B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及びその装置と、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003153272A JP2003153272A (ja) | 2003-05-23 |
| JP4125885B2 true JP4125885B2 (ja) | 2008-07-30 |
Family
ID=19157563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001343974A Expired - Fee Related JP4125885B2 (ja) | 2001-11-09 | 2001-11-09 | 画像符号化方法及びその装置と、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4125885B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101224352B1 (ko) * | 2004-10-20 | 2013-01-21 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 양자화 잡음을 감소시키는 방법 |
| JP6417815B2 (ja) * | 2014-09-19 | 2018-11-07 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
-
2001
- 2001-11-09 JP JP2001343974A patent/JP4125885B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003153272A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4955686B2 (ja) | 効率的な統合デジタルビデオトランスコーディング | |
| US20090238264A1 (en) | System and method for real-time transcoding of digital video for fine granular scalability | |
| US20050002458A1 (en) | Spatial scalable compression | |
| KR100853336B1 (ko) | 화상 부호화 장치 및 화상 복호화 장치 | |
| JP2009508452A (ja) | 任意分解能変更サイズ縮小デコーダ | |
| US20090097546A1 (en) | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate | |
| JP4068537B2 (ja) | 階層符号化ビットストリームの再量子化方法及びその装置と、階層符号化ビットストリームの再量子化プログラム及びそのプログラムを記録した記録媒体 | |
| US20050265444A1 (en) | Moving image encoding/decoding apparatus and method | |
| JP2015533461A (ja) | レート歪みオプティマイザ及び複数の色成分の同時最適化を含む最適化技法 | |
| US6775325B1 (en) | Method and apparatus for converting the bitrate of an encoded bitstream without full re-encoding | |
| JP2005160084A (ja) | ＳＮＲ（ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）スケーラビリティを実現するための動映像処理装置及びその方法 | |
| US20070025438A1 (en) | Elastic storage | |
| JP2003264840A (ja) | 符号化動画像データの方式変換装置 | |
| US20080025402A1 (en) | Method of detecting scene conversion for controlling video encoding data rate | |
| JP4125885B2 (ja) | 画像符号化方法及びその装置と、画像符号化プログラム及びそのプログラムを記録した記録媒体 | |
| KR20070081949A (ko) | 트랜스코딩 장치 및 방법 | |
| JP3963296B2 (ja) | 動画像の伝送レート変換装置 | |
| US20060140274A1 (en) | Transcoder and method used therein | |
| KR0172902B1 (ko) | 엠펙 ii 부호기 | |
| KR20030083109A (ko) | 비트율 변환부호화장치 | |
| JP2005236584A (ja) | 動画像情報変換符号化装置 | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP2005507620A (ja) | 圧縮 | |
| Fogg et al. | ISO/IEC software implementation of MPEG-1 video | |
| JP4798652B2 (ja) | 動画像のレート変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080509 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |