JP3764457B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム - Google Patents
画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム Download PDFInfo
- Publication number
- JP3764457B2 JP3764457B2 JP2003545046A JP2003545046A JP3764457B2 JP 3764457 B2 JP3764457 B2 JP 3764457B2 JP 2003545046 A JP2003545046 A JP 2003545046A JP 2003545046 A JP2003545046 A JP 2003545046A JP 3764457 B2 JP3764457 B2 JP 3764457B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- orthogonal transform
- encoding
- probability table
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Description
【技術分野】
【０００１】
本発明は、モバイル映像伝送システムなどの画像伝送システムに好適に適用することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、動画像の符号化方式として、ＩＴＵ−Ｔ Ｈ．２６ｘやＭＰＥＧシリーズなどの標準動画像符号化方式が知られている。これらの画像符号化方式においては、空間座標によって表された画像データ（空間画像データ）に対して直交変換を行って、空間周波数によって表された画像データ（周波数画像データ）へと変換することが行われている。このような直交変換により、符号化対象となるフレーム画像から空間的変化についての冗長度を除くことが可能となり、画像符号化によるデータ圧縮の効率などが向上される。
【０００３】
画像データに対して適用される直交変換としては、圧縮効率と実装負荷とのバランスや専用ＬＳＩの普及などの観点から、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が主に用いられている。空間画像データに対してＤＣＴを行うことにより、周波数画像データでの周波数画像成分である直交変換係数として、複数のＤＣＴ係数が生成される。
【０００４】
また、ＤＣＴなどの直交変換によって生成された直交変換係数は、さらに可変長符号化されて、画像伝送に用いられる圧縮データである符号化データとなる。このような可変長符号化方法の１つとして、算術符号化（ＡＣ：Arithmetic Coding）が用いられている。
【０００５】
一般に、複数種類のシンボルを組み合わせた情報源系列（シンボル系列）に対して算術符号化を行う場合、まず、［０．０，１．０）の数直線（確率数直線）上において、それぞれのシンボルに対して、シンボルの出現確率に応じて一定の区間を割り当てる。このとき、シンボルと数直線上の区間との対応関係を表したものは、確率テーブルと呼ばれる。算術符号化によって情報源系列を可変長符号化する際には、この確率テーブルを参照することによって、情報源系列を数直線上で表現した符号語が生成される。
【０００６】
ここで、図１〜図３を参照して、算術符号化について説明する。具体的には、文字列「ＡＲＩＴＨＭＥＴＩＣ」を符号化対象の情報源系列とし、その算術符号化を例として説明する。
【０００７】
上記した情報源系列内には、Ａ、Ｃ、Ｅ、Ｈ、Ｉ、Ｍ、Ｒ、Ｔの８種類の文字（シンボル）が現れる。これらの文字に対し、図１の表に示すように、［０．０，１．０）の数直線（確率数直線）上で、文字列における各文字の出現確率に比例した区間長となるようにそれぞれ区間を割り当てる。この文字と数直線上の区間との対応関係を表す図１に示した表が、算術符号化に用いられる確率テーブルとなる。
【０００８】
図２は、図１に示した確率テーブルを用いた文字列「ＡＲＩＴＨＭＥＴＩＣ」の符号化について示す図である。算術符号化においては、確率テーブルに基づいた区間縮小操作を、情報源系列に含まれる各シンボルに対して順次行うことによって、情報源系列を符号化した符号語を生成する。
【０００９】
図２に示した例では、まず、符号化対象である文字列「ＡＲＩＴＨＭＥＴＩＣ」の第１の文字「Ａ」に対して、図１に示した確率テーブルを参照して、数直線上の区間［０，１）を各文字に対応する８個の区間に区分する。そして、それらの区間のうちで、文字「Ａ」に対応する区間［０．０，０．１）へと区間を縮小する。次に、第２の文字「Ｒ」に対して、確率テーブルを参照して、区間［０．０，０．１）を８個の区間に区分する。そして、それらの区間のうちで、文字「Ｒ」に対応する区間［０．０７，０．０８）へと区間を縮小する。
【００１０】
以下、この区間縮小による符号化操作を各文字に対して順次行っていく。そして、最終的に得られた数直線上の区間［０．０７５７４５１５３６，０．０７５７４５１５５２）において、その区間内にある数値「０．０７５７４５１５３６」が、文字列「ＡＲＩＴＨＭＥＴＩＣ」を算術符号化した符号語として生成される。
【００１１】
図３は、図１に示した確率テーブルを用いた符号語「０．０７５７４５１５３６」の文字列「ＡＲＩＴＨＭＥＴＩＣ」への復号について示す図である。
【００１２】
図３に示した例では、まず、復号対象である符号語「０．０７５７４５１５３６」に対して、図１に示した確率テーブルを参照して、符号語が含まれている区間長０．１の区間［０．０，０．１）を特定する。そして、特定された区間に対応する文字「Ａ」を第１の文字として出力するとともに、（符号語−下限）／（区間長）によって、新たな符号語「０．７５７４５１５３６」を生成する。次に、符号語「０．７５７４５１５３６」に対して、確率テーブルを参照して、符号語が含まれている区間長０．１の区間［０．７，０．８）を特定する。そして、特定された区間に対応する文字「Ｒ」を第２の文字として出力するとともに、新たな符号語「０．５７４５１５３６」を生成する。
【００１３】
以下、この復号操作を符号語に対して順次行っていく。そして、算術符号化された符号語「０．０７５７４５１５３６」から、文字列「ＡＲＩＴＨＭＥＴＩＣ」が復元される。
【００１４】
このように、算術符号化を用いた情報源系列の可変長符号化では、情報源系列に含まれるシンボルと数直線上の区間とを対応付けることにより、任意の情報源系列を［０．０，１．０）の数直線上の符号語によって表現することができる。また、シンボルと区間とを対応付ける確率テーブルを各シンボルの出現確率に応じて設定することにより、情報源系列の可変長符号化を効率良く行って、符号化によるデータ圧縮の効率を向上することができる。
【非特許文献１】
VCEG-M10 H.26L Test Model Long Term Number 8 (TML-8) draft0
【発明の開示】
【発明が解決しようとする課題】
【００１５】
図４は、上述した算術符号化による可変長符号化を用いた画像符号化方法の一例を示すフローチャートである。図４に示した画像符号化方法では、ＩＴＵ−Ｔ Ｈ．２６Ｌ映像符号化方式（VCEG-M10 H.26L Test Model Long Term Number 8 (TML-8) draft0 を参照）で用いられているコンテキストモデリングを用いたＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）と呼ばれる方法によって、画像データの算術符号化を行っている。
【００１６】
画像データの符号化においては、まず、符号化対象の画像を所定サイズのブロックに分割し、ブロック毎にイントラフレーム符号化（Intra-Frame Coding、フレーム内符号化）やインターフレーム符号化（Inter-Frame Coding、フレーム間符号化）、ＤＣＴ等の直交変換などの必要なデータ変換処理を行って、ブロック内にある画像を表す画像データを生成する。そして、その画像データに対して、算術符号化などを用いて可変長符号化を行って、データ圧縮された符号化データが生成される。
【００１７】
図４に示した画像符号化方法においては、特に、あらかじめ固定に設定された条件によって符号化を行うのではなく、ブロック毎の画像データを符号化する際に、コンテキストモデリングを行っている（ステップＳ９０１、Context Modeling）。コンテキストモデリングを用いた算術符号化では、画像データの符号化に用いる確率テーブルについて、符号化対象のブロックでの画像データに対して適用する確率テーブルが、隣接ブロックでの画像符号化の処理結果などの符号化条件を参照して切り換えて設定される。
【００１８】
コンテキストモデリングによる確率テーブルの設定を終了したら、符号化対象の画像データ（例えば複数のＤＣＴ係数）を２値化して、伝送すべきデータ系列を生成する（Ｓ９０２、Binarization）。そして、２値化されたデータ系列に対して算術符号化を行って（Ｓ９０３、Adaptive Binary Arithmetic Coding）、符号化データを得る。
【００１９】
具体的には、２値化されたデータ系列の各ビットに対し、コンテキストモデリングによって設定された確率テーブルを割り当てて確率評価を行う（Ｓ９０４、Probability Estimation）。そして、割り当てられた確率テーブルを用いてデータ系列を算術符号化し、符号化データである数直線上の符号語を生成する（Ｓ９０５、Arithmetic Coding）。また、算術符号化の処理結果に基づいて、符号化したビットの発生頻度などの情報を確率テーブルへとフィードバックすることによって確率評価を更新し、符号化の傾向を確率テーブルに反映させる（Ｓ９０６、Probability Estimation Update）。
【００２０】
コンテキストモデリングを用いた算術符号化による上記の画像符号化方法によれば、符号化条件や処理結果に応じて使用する確率テーブルを切り換えることによって、符号化データでの冗長度を低減することが可能である。しかしながら、このようなコンテキストモデリングを行った場合でも、符号化対象となるデータ自体が持つ特性は、算術符号化での符号化条件に対して直接には反映されない。このため、従来の符号化方法では、画像データの冗長度を除去することによる符号化データでのデータ圧縮の効率の向上が充分には実現されていないという問題があった。
【００２１】
本発明は、以上の問題点を解決するためになされたものであり、符号化対象となる画像データの特性が符号化条件に反映されて、符号化データでのデータ圧縮の効率を向上することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
このような目的を達成するために、本発明による画像符号化方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換ステップと、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化ステップとを備え、（３）符号化ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化ステップにおいて、ブロックの隣接ブロックにおける画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００２３】
あるいは、本発明による画像符号化方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を 生成する直交変換ステップと、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化ステップとを備え、（３）符号化ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化ステップにおいて、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００２４】
同様に、本発明による画像符号化装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換手段と、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化手段とを備え、（３）符号化手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化手段は、ブロックの隣接ブロックにおける画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００２５】
あるいは、本発明による画像符号化装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換手段と、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化手段とを備え、（３）符号化手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化手段は、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００２６】
また、本発明による画像符号化プログラムは、上記した画像符号化方法をコンピュータに実行させることを特徴とする。
【００２７】
上記した画像符号化方法、装置、及びプログラムにおいては、空間画像データを直交変換することによって周波数画像データである直交変換係数とした後、その直交変換係数を算術符号化することによって、データ圧縮された符号化データを生成する。そして、直交変換係数の算術符号化において、符号化対象となる直交変換係数の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、算術符号化を行うこととしている。
【００２８】
これにより、画像データである直交変換係数自体が持つデータ特性が、算術符号化での符号化条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、符号化データでのデータ圧縮の効率を向上することが可能となる。
【００２９】
また、本発明による画像復号方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号ステップと、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換ステップとを備え、（３）復号ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号ステップにおいて、ブロックの隣接ブロックにおけ る画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００３０】
あるいは、本発明による画像復号方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号ステップと、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換ステップとを備え、（３）復号ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号ステップにおいて、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００３１】
同様に、本発明による画像復号装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号手段と、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換手段とを備え、（３）復号手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号手段は、ブロックの隣接ブロックにおける画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００３２】
あるいは、本発明による画像復号装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号手段と、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換手段とを備え、（３）復号手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号手段は、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００３３】
また、本発明による画像復号プログラムは、上記した画像復号方法をコンピュータに実行させることを特徴とする。
【００３４】
上記した画像復号方法、装置、及びプログラムにおいては、データ圧縮された符号化データを逆算術符号化することによって周波数画像データである直交変換係数を復号した後、その直交変換係数を逆直交変換することによって、空間画像データを生成する。そして、符号化データの逆算術符号化において、上述した算術符号化の場合と同様に、復号対象となる直交変換係数の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、逆算術符号化を行うこととしている。
【００３５】
これにより、画像データである直交変換係数自体が持つデータ特性が、逆算術符号化での復号条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、データ圧縮の効率が向上された符号化データから、画像データを好適に復元することが可能となる。
【００３６】
また、画像伝送システムとしては、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データによって画像を伝送する画像伝送システムであって、（１）画像から符号化データを生成して出力する上記した画像符号化装置と、（２）画像符号化装置からの符号化データを入力して画像を復元する上記した画像復号装置とを備えることが好ましい。
【００３７】
このような画像伝送システムによれば、符号化対象となる画像データの特性が符号化条件に反映されてデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
【発明の効果】
【００３８】
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムは、符号化対象となる画像データの特性が符号化条件に反映されて、符号化データでのデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
【発明を実施するための最良の形態】
【００３９】
以下、図面とともに本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００４０】
まず、画像符号化方法及び画像符号化装置について説明する。
【００４１】
図５は、本発明による画像符号化方法の一実施形態を概略的に示すフローチャートである。本符号化方法は、静画像または動画像でのフレーム画像である入力フレーム画像Ｄ１に対して所定の変換処理操作及び符号化処理操作を行って、モバイル映像伝送システムなどの画像伝送システムにおいて伝送可能なデータ圧縮された符号化データＤ７を生成する画像符号化方法である。
【００４２】
図５に示した画像符号化方法においては、まず、入力フレーム画像Ｄ１に対して所定のデータ処理操作を行って画像データを変換し、空間座標によって表された画像データ（空間画像データ）Ｄ５とする（ステップＳ１０１）。ここで行われるデータ処理操作としては、例えば、動画像でのフレーム画像に対してインターフレーム符号化（フレーム間符号化）を行う場合の動き補償（ＭＣ：Motion Compensation）フレーム間予測がある。また、フレーム画像に対してイントラフレーム符号化（フレーム内符号化）を行う場合には、例えば、入力フレーム画像Ｄ１の画像データがそのまま空間画像データＤ５となる。
【００４３】
次に、空間画像データＤ５に対して直交変換操作を行って、空間周波数によって表された画像データ（周波数画像データ）Ｄ６を生成する（Ｓ１０２、直交変換ステップ）。この直交変換は、フレーム画像を所定サイズ（所定の画素数）で分割したブロック毎に、ブロック内にある画像の空間画像データに対して行われる。これにより、入力フレーム画像Ｄ１に含まれるブロック毎に、それぞれ周波数画像データＤ６が得られる。
【００４４】
直交変換によって得られる周波数画像データＤ６は、複数の直交変換係数からなる。直交変換係数は、ブロック内の画像における所定の空間周波数での周波数画像成分をそれぞれ表している。また、この直交変換係数に対して、必要に応じて量子化操作がさらに行われ、符号化対象となる直交変換係数（量子化係数）が生成される。
【００４５】
続いて、複数の直交変換係数Ｄ６に対して算術符号化を用いて可変長符号化を行い、圧縮データである符号化データＤ７を生成する（Ｓ１０３、符号化ステップ）。すなわち、直交変換係数Ｄ６に対して適用する確率テーブルを所定の確率テーブルに設定する（Ｓ１０４）。そして、設定された確率テーブルを用いて直交変換係数Ｄ６を算術符号化して（Ｓ１０５）、符号化データＤ７とする。
【００４６】
ここで、本実施形態の画像符号化方法においては、直交変換係数Ｄ６に対して算術符号化を行う際に、複数の直交変換係数Ｄ６のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて、適用する確率テーブルを切り換えている。具体的には、例えば、複数の直交変換係数Ｄ６のうちの所定の直交変換係数に対して、他の直交変換係数とは異なる確率テーブルをあらかじめ用意して適用する。あるいは、所定の直交変換係数について、符号化条件などに応じて、適用する確率テーブルを他の直交変換係数とは別に切り換える。
【００４７】
本実施形態による画像符号化方法の効果について説明する。
【００４８】
図５に示した画像符号化方法においては、空間画像データＤ５を直交変換することによって周波数画像データである直交変換係数Ｄ６とした後、その直交変換係数を算術符号化することによって、データ圧縮された符号化データＤ７を生成する。そして、直交変換係数Ｄ６の算術符号化において、符号化対象となる直交変換係数Ｄ６の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、算術符号化を行うこととしている。
【００４９】
このように直交変換係数の空間周波数の値に関するコンテキストを用いて確率テーブルを設定することにより、画像データである直交変換係数Ｄ６自体が持つデータ特性が、算術符号化での符号化条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、符号化データＤ７でのデータ圧縮の効率を向上することが可能となる。なお、具体的な確率テーブルの切り換え方法については、詳しく後述する。
【００５０】
図６は、本発明による画像符号化装置の一実施形態の構成を示すブロック図である。以下、図６に示した画像符号化装置を参照しつつ、図５に示した画像符号化方法についてさらに説明する。なお、以下においては、符号化対象として画像符号化装置に入力される入力フレーム画像Ｄ１について、主に時系列のフレーム画像からなる動画像を想定している。ただし、本発明による画像符号化方法及び画像符号化装置は、１フレームからなる静画像に対しても同様に適用することが可能である。
【００５１】
符号化対象として入力された入力フレーム画像Ｄ１は、まず、１６画素×１６ラインのサイズで正方形の画像ブロックへと分割される。この画像ブロックは、動き補償などのデータ処理の単位となる画像ブロックであり、マクロブロックと呼ばれる。なお、後述するＤＣＴ（直交変換）では、例えばＨ．２６Ｌ符号化方式では、４画素×４ラインのサイズのＤＣＴブロックが用いられる。この場合、１個のマクロブロックは、ＤＣＴにおいて、１６個の輝度（Luma）ブロックと、８個の色差（Chroma）ブロックとを有する。画像符号化はこれらのブロック毎に行われる。
【００５２】
フレーム画像Ｄ１は動き検出部１１に入力され、マクロブロック毎に画像の動きが検出される。動き検出部１１は、動きを検出しようとするマクロブロックでの画像データと、入力フレーム画像または他のフレーム画像にある他のマクロブロックでの画像データとを比較して、画像の動きを示す動きベクトルＤ２を検出する。
【００５３】
具体的には、動き検出部１１では、符号化済のフレーム画像としてフレームメモリ２０に格納されている局所復号画像Ｄ８内の所定の画像領域を参照して、現在の符号化対象となっている入力フレーム画像Ｄ１のマクロブロックと類似するパターンを見つけ出す。そして、その類似パターンとマクロブロックとの間の空間的な移動量によって、動きベクトルＤ２を決定する。また、このとき、動き補償について用意された複数の符号化モードから、マクロブロックでの動き補償に用いられる符号化モードが選択される。
【００５４】
図７Ａ〜図７Ｊは、動き補償について用意される符号化モードの一例を示す模式図である。この図７Ａ〜図７Ｊに例示した符号化モードでは、動き補償を行わないスキップ（Ｓｋｉｐ）モード０と、それぞれ異なる動き補償用ブロックへのブロック区分を用いてインターフレーム符号化を行うインターモード１〜７と、それぞれ異なるブロック区分を用いてイントラフレーム符号化を行うイントラモード８、９との１０個の符号化モードが用意されている。なお、上記した動きベクトルＤ２は、各マクロブロックに対して、区分された動き補償用ブロック毎に付与される。
【００５５】
動きベクトルＤ２が求められたら、動き補償部１２において、動き検出部１１からの動きベクトルＤ２と、フレームメモリ２０からの局所復号画像Ｄ８とを用いて、動き予測画像を生成する。フレーム画像Ｄ１に含まれる全てのマクロブロックについて動きベクトルＤ２を決定して動き予測画像を生成することにより、入力フレーム画像Ｄ１に対する予測フレーム画像Ｄ４が得られる。
【００５６】
続いて、減算器１３において、入力フレーム画像Ｄ１と予測フレーム画像Ｄ４との間の差分（予測残差）フレーム画像Ｄ５が生成される。また、予測フレーム画像Ｄ４が作成されていない場合には、入力フレーム画像Ｄ１がそのままフレーム画像Ｄ５とされる。このフレーム画像Ｄ５は、入力フレーム画像Ｄ１と同様に空間座標によって表された画像データであり、この空間画像データＤ５が以後の直交変換及び算術符号化の対象となる。
【００５７】
差分フレーム画像Ｄ５の画像データは、直交変換部（直交変換手段）１４へと入力される。直交変換部１４では、空間座標による差分フレーム画像Ｄ５に対して、マクロブロックに含まれる直交変換ブロック（例えば１６個の輝度ブロックと８個の色差ブロック）毎に直交変換が行われる。そして、空間周波数による画像データとして、複数の直交変換係数が生成される。また、この直交変換係数は、量子化部１５において所定の量子化パラメータによって量子化されて、算術符号化の対象となる最終的な直交変換係数（量子化係数）Ｄ６が得られる。
【００５８】
図８Ａ及び図８Ｂは、画像データの直交変換について示す図である。フレーム画像Ｄ５内にある直交変換用に分割された各ブロックの画像データは空間画像データであり、図８Ａに４×４の画像成分によって例示するように、水平座標と垂直座標とで規定される４×４の空間画像成分ａ１１〜ａ４４によって表される。直交変換部１４は、この空間画像データを所定の変換方法で直交変換することによって、図８Ｂに示す画像データへと変換する。この画像データは周波数画像データであり、水平周波数と垂直周波数とで規定される４×４の周波数画像成分である直交変換係数ｆ１１〜ｆ４４によって表される。
【００５９】
具体的な直交変換としては、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を適用することができる。ＤＣＴは、フーリエ変換のコサインの項を用いる直交変換であり、画像符号化において多く用いられている。空間画像データに対してＤＣＴを行うことにより、周波数画像データであるＤＣＴ係数ｆ１１〜ｆ４４が生成される。なお、ＤＣＴにおいては、例えばＨ．２６Ｌ符号化方式では、直交変換用のブロックとして、図８Ａ及び図８Ｂに示したように４×４のＤＣＴブロックが用いられる。
【００６０】
直交変換部１４及び量子化部１５によって生成された直交変換係数Ｄ６は、可変長符号化部（符号化手段）１６において、所定の確率テーブルを用いた算術符号化によって可変長符号化される。これにより、入力フレーム画像Ｄ１の圧縮データである符号化データＤ７が生成される。
【００６１】
また、可変長符号化部１６には、直交変換係数Ｄ６に加えて、動き検出部１１によって検出された動きベクトルＤ２と、動き検出部１１において選択された符号化モードを示す符号化モード情報Ｄ３とが入力されている。これらの動きベクトルＤ２及び符号化モード情報Ｄ３は、可変長符号化部１６において、直交変換係数Ｄ６と同様に、所定の確率テーブルを用いた算術符号化によって可変長符号化されて、符号化データＤ７に多重化される。
【００６２】
ここで、可変長符号化部１６において算術符号化に用いられる確率テーブルの設定については、図５に示した画像符号化方法に関して上述した通りである。また、動きベクトルＤ２及び符号化モード情報Ｄ３の算術符号化においては、通常は、直交変換係数Ｄ６の算術符号化とは異なる確率テーブルが用いられる。また、直交変換係数Ｄ６の算術符号化においても、輝度ブロックの算術符号化と色差ブロックの算術符号化とで、異なる確率テーブルを用いても良い。
【００６３】
また、直交変換部１４及び量子化部１５によって生成された直交変換係数Ｄ６は、本画像符号化装置内において、逆量子化部１７及び逆直交変換部１８によって復号される。そして、復号された画像データと予測フレーム画像Ｄ４とが加算器１９において加算されて、局所復号画像Ｄ８が生成される。この局所復号画像Ｄ８はフレームメモリ２０に格納されて、他のフレーム画像の動き補償に利用される。
【００６４】
次に、画像復号方法及び画像復号装置について説明する。
【００６５】
図９は、本発明による画像復号方法の一実施形態を概略的に示すフローチャートである。本復号方法は、図５に示した画像符号化方法によって生成された符号化データＤ７に対して所定の復号処理操作及び変換処理操作を行って、入力フレーム画像Ｄ１に対応する画像として出力フレーム画像Ｄ１０を復元する画像復号方法である。
【００６６】
図９に示した画像復号方法においては、まず、符号化データＤ７に対して逆算術符号化を用いて可変長復号を行い、空間周波数によって表された画像データである複数の直交変換係数（量子化係数）Ｄ６を生成する（Ｓ２０１、復号ステップ）。すなわち、符号化データＤ７に対して適用する確率テーブルを所定の確率テーブルに設定する（Ｓ２０２）。そして、設定された確率テーブルを用いて符号化データＤ７を逆算術符号化して（Ｓ２０３）、周波数画像データである直交変換係数Ｄ６とする。
【００６７】
ここで、本実施形態の画像復号方法においては、符号化データＤ７に対して逆算術符号化を行う際に、複数の直交変換係数Ｄ６のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて、適用する確率テーブルを切り換えている。具体的には、例えば、複数の直交変換係数Ｄ６のうちの所定の直交変換係数に対して、他の直交変換係数とは異なる確率テーブルをあらかじめ用意して適用する。あるいは、所定の直交変換係数について、符号化条件などに応じて、適用する確率テーブルを他の直交変換係数とは別に切り換える。
【００６８】
次に、複数の直交変換係数Ｄ６に対して逆量子化操作及び逆直交変換操作を順次行って、空間座標によって表された画像データ（空間画像データ）Ｄ９を生成する（Ｓ２０４、逆直交変換ステップ）。そして、空間画像データＤ９に対して所定のデータ処理操作を行って画像データを変換し、出力フレーム画像Ｄ１０を復元する（Ｓ２０５）。
【００６９】
本実施形態による画像復号方法の効果について説明する。
【００７０】
図９に示した画像復号方法においては、データ圧縮された符号化データＤ７を逆算術符号化することによって周波数画像データである直交変換係数Ｄ６を復号した後、その直交変換係数を逆直交変換することによって、空間画像データＤ９を生成する。そして、符号化データＤ７の逆算術符号化において、上述した算術符号化の場合と同様に、復号対象となる直交変換係数Ｄ６の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、逆算術符号化を行うこととしている。
【００７１】
このように直交変換係数の空間周波数の値に関するコンテキストを用いて確率テーブルを設定することにより、画像データである直交変換係数Ｄ６自体が持つデータ特性が、逆算術符号化での復号条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、データ圧縮の効率が向上された符号化データＤ７から、画像データを好適に復元することが可能となる。
【００７２】
図１０は、本発明による画像復号装置の一実施形態の構成を示すブロック図である。
【００７３】
復号対象として入力された符号化データＤ７は可変長復号部（復号手段）２１に入力されて所定の確率テーブルを用いた逆算術符号化によって可変長復号され、複数の直交変換係数Ｄ６が生成される。可変長復号部２１は、データ圧縮された符号化データＤ７について、フレーム画像の先頭を示す同期ワードを検出し、以後、マクロブロック毎に符号化データＤ７に含まれている各データを復号して、周波数画像データである直交変換係数Ｄ６、及び動きベクトルＤ２等を生成する。なお、算術符号化に用いる確率テーブルは、上述のように適宜切り換えられる。
【００７４】
可変長復号部２１において復号された直交変換係数Ｄ６は、逆量子化部２２及び逆直交変換部（逆直交変換手段）２３によって逆量子化、逆直交変換される。これにより、空間画像データである復元差分フレーム画像Ｄ９が生成される。この復元差分フレーム画像Ｄ９は、符号化前の差分フレーム画像Ｄ５に対応したフレーム画像である。
【００７５】
一方、動きベクトルＤ２は、動き補償部２４へと入力される。動き補償部２４では、可変長復号部２１からの動きベクトルＤ２と、フレームメモリ２５に格納されている他のフレーム画像とを用いて、予測フレーム画像Ｄ４が生成される。そして、加算器２６において、復元差分フレーム画像Ｄ９と予測フレーム画像Ｄ４とが加算されて、復元されたフレーム画像が出力フレーム画像Ｄ１０として出力される。
【００７６】
ここで、上記した画像符号化装置において実行される画像符号化方法に対応する処理は、画像符号化をコンピュータに実行させるための画像符号化プログラムによって実現可能である。また、画像復号装置において実行させる画像復号方法に対応する処理は、画像復号をコンピュータに実行させるための画像復号プログラムによって実現可能である。
【００７７】
例えば、画像符号化装置は、画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶させるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の画像符号化プログラムを実行することにより、画像符号化装置を実現することができる。
【００７８】
同様に、画像復号装置は、画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の画像復号プログラムを実行することにより、画像復号装置を実現することができる。
【００７９】
また、画像符号化または画像復号のための各処理をＣＰＵに実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフレキシブルディスクなどの磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばＲＡＭ、ＲＯＭ、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【００８０】
また、画像符号化または画像復号をコンピュータに実行させるための上記したプログラムは、搬送波に包含されるコンピュータデータ信号とすることが可能である。これにより、画像符号化プログラムまたは画像復号プログラムを、有線または無線の搬送路等を介して搬送することができる。
【００８１】
以下、図５、図６に示した画像符号化方法及び画像符号化装置における直交変換係数の算術符号化（可変長符号化）の手順、及びその好適な符号化条件について、具体例を示しつつ説明する。ここでは、空間画像データを周波数画像データへと変換する直交変換としてはＤＣＴを想定し、ＩＴＵ−Ｔ Ｈ．２６Ｌ符号化方式におけるＤＣＴ係数の符号化を例として説明している。なお、以下に説明する符号化方法及び符号化条件については、図９、図１０に示した画像復号方法及び画像復号装置に対しても同様に適用することが可能である。また、具体的な符号化方式については、上記したＨ．２６Ｌ符号化方式には限定されない。
【００８２】
まず、図１１Ａ〜図１１Ｄ及び図１２を参照して、ＤＣＴ係数の算術符号化の具体的な手順について説明する。図１１Ａは、図８Ｂに示した４×４のＤＣＴ係数（量子化係数）ｆ１１〜ｆ４４の具体的な一数値例を示している。画像符号化装置の可変長符号化部では、このようなＤＣＴ係数に対して所定の処理手順で算術符号化を行って、符号化データを生成する。
【００８３】
空間周波数によって表された画像データでの周波数画像成分であるＤＣＴ係数ｆ１１〜ｆ４４においては、空間座標によって表された画像データでの空間画像成分ａ１１〜ａ４４（図８Ａ参照）とは異なり、各ＤＣＴ係数が、その係数値の大きさなどについて、対応する空間周波数の値に依存したデータ特性を有している。すなわち、各ＤＣＴ係数ｆｉｊでは、その添字の値ｉ、ｊが対応する垂直周波数、水平周波数をそれぞれ表している。複数のＤＣＴ係数ｆ１１〜ｆ４４は、これらの垂直周波数の値及び水平周波数の値に依存して、互いに異なるデータ特性（例えばデータの傾向）を有する。
【００８４】
例えば、ｉ、ｊが小さく空間周波数の値が低い周波数域にあるｆ１１、ｆ１２、ｆ２１などのＤＣＴ係数と、ｉ、ｊが大きく空間周波数の値が高い周波数域にあるｆ４４、ｆ４３、ｆ３４などのＤＣＴ係数とでは、その係数値の大きさや、係数値が０である確率などについてのデータ特性が異なっている。一般に、自然画像においては、低周波数域で大きい直交変換の係数値が得られ、高周波数になるにしたがって係数値が小さくなる。
【００８５】
図５、図６に示した画像符号化方法及び画像符号化装置においては、このようなＤＣＴ係数の空間周波数に依存したデータ特性を考慮し、上述のように、符号化対象であるＤＣＴ係数に対して、空間周波数の値に応じて適用する確率テーブルを切り換えて算術符号化を行うことによって、符号化の効率を向上している。
【００８６】
ＤＣＴ係数の算術符号化の処理手順においては、まず、２次元データであるＤＣＴ係数ｆ１１〜ｆ４４が、図１１Ｂに示すジグザグ・スキャンによって、１次元データへと変換される。このジグザグ・スキャンでは、スキャン後の１次元データが低周波数域から高周波数域へと移行していくデータ列となるように、ＤＣＴ係数がスキャンされる。
【００８７】
具体的には、ｉ＋ｊ＝２で空間周波数の値が最も低いＤＣＴ係数ｆ１１からスキャンを開始して、ｉ＋ｊ＝３の係数ｆ１２、ｆ２１、ｉ＋ｊ＝４の係数ｆ３１、ｆ２２、ｆ１３、…という順で、ｉ＋ｊ＝８で空間周波数の値が最も高い係数ｆ４４まで順次、ＤＣＴ係数をジグザグにスキャンする。これにより、低周波数域から高周波数域へとＤＣＴ係数が並ぶ、図１１Ｃに示す１次元データが得られる。
【００８８】
このＤＣＴ係数の１次元データは、そのデータ量を低減するため、さらに、図１１Ｄに示すＬｅｖｅｌ（レベル）及びＲｕｎ（ラン）からなるデータへと変換される。ここで、Ｌｅｖｅｌは、複数のＤＣＴ係数のうちで０でない係数値を持つＤＣＴ係数での係数レベルを示す。また、Ｒｕｎは、０でないＤＣＴ係数の直前にある係数値が０のデータの数であるランレングスを示す。
【００８９】
例えば、図１１Ａに示したＤＣＴ係数のデータ例では、図１１Ｃに示すように、１６個のＤＣＴ係数ｆ１１〜ｆ４４が、０でない係数値を持つＤＣＴ係数の出現位置に基づいて、係数ｆ１１からなる係数群ｓ１、係数ｆ１２、ｆ２１からなる係数群ｓ２、係数ｆ３１〜ｆ１３からなる係数群ｓ３、係数ｆ１４〜ｆ３２からなる係数群ｓ４、及び係数ｆ４１〜ｆ４４からなる係数群ｓ５へと区分される。
【００９０】
そして、これらの係数群ｓ１〜ｓ５に対して、図１１Ｄに示すように、それぞれＬｅｖｅｌ値及びＲｕｎ値が求められる。具体的には、係数群ｓ１では、Ｌｅｖｅｌ値がｆ１１＝１０、Ｒｕｎ値が０である。また、係数群ｓ２では、Ｌｅｖｅｌ値がｆ２１＝２、Ｒｕｎ値が１である。また、係数群ｓ３では、Ｌｅｖｅｌ値がｆ１３＝−１、Ｒｕｎ値が２である。また、係数群ｓ４では、Ｌｅｖｅｌ値がｆ３２＝１、Ｒｕｎ値が２である。
【００９１】
また、最後の係数群ｓ５は、全ての係数ｆ４１〜ｆ４４の係数値が０となっている係数群であり、図１１Ａに示したＤＣＴ係数における有効なデータの終端（ＥＯＢ：End of Block）となっている。したがって、この係数群ｓ５では、ＥＯＢ符号を意味する０をＬｅｖｅｌ値とする。
【００９２】
なお、ＤＣＴブロックに対するＤＣＴ係数のデータにおいて、全てのＤＣＴ係数が０であれば、そのＤＣＴブロックは無効であるので、ＤＣＴ係数は算術符号化の対象とされない。このようなＤＣＴブロックの有効、無効は、例えば、各マクロブロックに対して与えられる符号化ブロック・パターン（ＣＢＰ：Coded Block Pattern）によって指定される。このＣＢＰは、マクロブロックに含まれている１６個の輝度ブロック及び８個の色差ブロックのそれぞれについて、ブロックの有効、無効を指定する。
【００９３】
図１１Ｄに示したＬｅｖｅｌ及びＲｕｎからなるデータは、所定の２値化テーブルを用いて２値化され、算術符号化の対象となる２値化パターンが作成される。図１２は、図１１Ｄに示したＬｅｖｅｌデータの２値化に用いられる２値化テーブルの一例を示す表である。この２値化テーブルでは、Ｌｅｖｅｌの値０、１、２、３、…は、それぞれ異なるパターン長で２値化される。
【００９４】
各Ｌｅｖｅｌ及びＲｕｎのデータがそれぞれ２値化されたら、それらのデータをｓ１のＬｅｖｅｌ、ｓ１のＲｕｎ、ｓ２のＬｅｖｅｌ、ｓ２のＲｕｎ、…、ｓ５のＬｅｖｅｌの順で、所定の確率テーブルを用いて算術符号化して、図１１Ａの直交変換係数に対応する符号化データである符号語を生成する。
【００９５】
ここで、ＤＣＴ係数の算術符号化に用いられる確率テーブルについては、各マクロブロックにおいて、インターフレーム符号化とイントラフレーム符号化、あるいは輝度ブロックと色差ブロックとで、異なる確率テーブルを用いても良い。また、図１２に示すような２値化パターンの算術符号化では、例えば、Ｂｉｎ＿ｎｏ．（符号位置）１で最初の２値化符号、Ｂｉｎ＿ｎｏ．２の２値化符号、Ｂｉｎ＿ｎｏ．が３以上の２値化符号、及び２値化パターンの正負を表す符合データとで異なる確率テーブルを用いるなど、２値化符号の符号位置に応じて異なる確率テーブルを用いても良い。
【００９６】
さらに、図５、図６に示した画像符号化方法及び画像符号化装置においては、上述したように、ＤＣＴ係数ｆ１１〜ｆ４４のうちの所定のＤＣＴ係数について、そのＤＣＴ係数での空間周波数の値に応じて適用する確率テーブルを切り換えている。
【００９７】
ここで、適用する確率テーブルを切り換えるためのＤＣＴ係数の区分方法としては、複数のＤＣＴ係数ｆ１１〜ｆ４４を、空間周波数の値が低い第１係数群、及び空間周波数の値が高い第２係数群に分け、第１係数群と第２係数群とで適用する確率テーブルを切り換える方法がある。
【００９８】
周波数画像データであるＤＣＴ係数（直交変換係数）では、上述したように、低周波数域にあるＤＣＴ係数と、高周波数域にあるＤＣＴ係数とでデータ特性が異なる。したがって、低周波数域及び高周波数域の２つの係数群へとＤＣＴ係数を分けて、それぞれで確率テーブルを切り換えることにより、算術符号化における符号化条件に対して、空間周波数に依存したＤＣＴ係数のデータ特性を効果的に反映させることができる。
【００９９】
ＤＣＴ係数の具体的な区分方法としては、例えば、算術符号化において最初の符号化対象となる直交変換係数を第１係数群Ｇ１とする区分がある。これは、０でない直交変換係数のうちで空間周波数の値が最も低い直交変換係数からなる図１１Ｃに示した係数群ｓ１を第１係数群Ｇ１とし、他の係数を第２係数群Ｇ２とすることに相当する。
【０１００】
例えば、全体で空間周波数の値が最も低いＤＣＴ係数ｆ１１が０でなければ、図１３Ａに示すように、１個のＤＣＴ係数ｆ１１が第１係数群Ｇ１、１５個のＤＣＴ係数ｆ１２〜ｆ４４が第２係数群Ｇ２として区分される。係数群ｓ１での係数が０となるのは、ブロック内のすべての直交変換係数が０のときであり、したがって、他の係数群での係数が０となることとは、その意味が異なる。したがって、最初の符号化対象となるＤＣＴ係数を第１係数群Ｇ１とし、他のＤＣＴ係数に対して確率テーブルを切り換えることによって、符号化データでのデータ圧縮の効率を向上することができる。
【０１０１】
あるいは、図１３Ｂに示すように、ｆｉｊでのｉ＋ｊが２〜４の範囲にある６個のＤＣＴ係数ｆ１１〜ｆ３１を第１係数群Ｇ１とし、他の１０個のＤＣＴ係数ｆ１４〜ｆ４４を第２係数群Ｇ２とする区分を用いても良い。このような区分においても、第１係数群Ｇ１と第２係数群Ｇ２とで、係数が０となる確率やＥＯＢが出現する確率が異なる。したがって、これらの係数群で確率テーブルを切り換えることによって、符号化データでのデータ圧縮の効率を向上することができる。また、これ以外の区分方法を用いても良い。あるいは、ＤＣＴ係数を３以上の係数群に区分して、それぞれで適用する確率テーブルを切り換えても良い。
【０１０２】
ＤＣＴ係数に対する確率テーブルの切り換え方法としては、各ＤＣＴ係数での予想されるデータ特性に応じてあらかじめ確率テーブルを切り換えておく方法を用いることができる。あるいは、図４に示したコンテキストモデリングを用いた符号化方法（ＣＡＢＡＣ）によって確率テーブルの切り換え及び更新を行っても良い。
【０１０３】
具体的なコンテキストモデリングの例としては、例えば図１４に示すように、符号化対象のブロックＣに対して、左側に位置する隣接ブロックＡ及び上側に位置する隣接ブロックＢを考える。そして、２個の隣接ブロックＡ、Ｂのそれぞれにおける画像符号化の処理結果を参照して、ブロックＣに対して適用する確率テーブルを切り換える方法がある。
【０１０４】
符号化対象となっているブロックＣの画像データは、画像の一般的な性質として、符号化済の隣接ブロックＡ、Ｂの画像に類似した画像データとなっている可能性が高い。したがって、上記のように隣接ブロックでの画像符号化の処理結果を参照するコンテキストモデリングを用いて確率テーブルを切り換えることにより、符号化条件に応じて符号化データでの冗長度を低減させて、そのデータ圧縮の効率を向上することができる。
【０１０５】
図１３Ａに示した区分方法でＤＣＴ係数を２つの係数群に区分した場合における具体的な確率テーブルの切り換え方法の例について説明する。係数群Ｇ２にある他のＤＣＴ係数とは異なる係数群Ｇ１に設定された最初の符号化対象となる係数群ｓ１でのＤＣＴ係数は、上述したようにブロック内での０でない直交変換係数の有無を示す係数である。このため、例えば動き補償ブロックの場合、隣接ブロックにおいて動きの変化がなく、ＤＣＴ係数が発生していなければ、そのブロックにおいても同様にＤＣＴ係数が発生しない確率が高い。
【０１０６】
このような最初の符号化対象となるＤＣＴ係数のデータ特性を利用して、符号化対象のブロックＣに対して隣接ブロックＡ、Ｂを参照する図１４に示したコンテキストモデリングを適用することが可能である。すなわち、隣接ブロックＡ、Ｂにおける画像符号化の処理結果での０でないＤＣＴ係数の有無を参照して、ブロックＣでの最初の符号化対象となるＤＣＴ係数に対する確率テーブルを切り換えるコンテキストモデリングを行えば、ブロックＣの符号化データでの冗長度を低減することができる。
【０１０７】
図１５は、隣接ブロックＡ、Ｂにおける０でないＤＣＴ係数の有無と、ブロックＣにおけるＤＣＴ係数がすべて０である頻度及び確率との相関を示す表である。この表において、Ａ＋Ｂ＝０は、隣接ブロックＡ、Ｂでともに０でないＤＣＴ係数が存在しなかった場合を示している。また、Ａ＋Ｂ＝１は、隣接ブロックＡ、Ｂで０でないＤＣＴ係数が一方に存在した場合を示している。また、Ａ＋Ｂ＝２は、隣接ブロックＡ、Ｂで０でないＤＣＴ係数が両方に存在した場合を示している。
【０１０８】
ここで、ＤＣＴ係数の相関をみるための符号化対象の画像データとしては、テスト画像「Foreman」を使用した。また、イントラモードでは量子化パラメータをＱＰ＝１０、インターモードではＱＰ＝１６とした。また、映像サイズはＱＣＩＦ（縦１７６×横１４４）を用いた。
【０１０９】
図１５の表に示すように、イントラモード及びインターモードのいずれにおいても、Ａ＋Ｂ＝０のときにＣ＝０（ブロックＣでのＤＣＴ係数がすべて０）である確率が最も高く、Ａ＋Ｂが大きくなるとともにＣ＝０である確率が低下している。また、Ａ＋Ｂ＝０のときにＣ＝０である確率を比較すると、相関が比較的大きいインターモードにおいて、より確率が大きくなっている。
【０１１０】
以上より、左側及び上側の隣接ブロックによるＡ＋Ｂの値０、１、２を参照してブロックＣでのＤＣＴ係数に対する確率テーブルを切り換えることによって、符号化データでのデータ圧縮の効率を向上することができる。また、この場合のＤＣＴ係数に対する確率テーブルの切り換えについては、具体的には、図１２に示した２値化テーブルを考慮して、２値化パターンに含まれる最初の２値化符号であるＢｉｎ＿ｎｏ．１の２値化符号に対する確率テーブルを切り換えることが好ましい。
【０１１１】
直交変換係数に対応する２値化パターンの最初の２値化符号は、通常、符号化される直交変換係数のＬｅｖｅｌ値が０であるか、１以上であるかを表す符号である。したがって、この２値化符号に適用する確率テーブルを切り換えることにより、データ圧縮の効率を効果的に向上することができる。あるいは、他の符号位置（Ｂｉｎ＿ｎｏ．）に対する確率テーブルも同様に切り換えても良い。
【０１１２】
図１６は、上記した最初の符号化対象となるＤＣＴ係数に対する確率テーブルの切り換えによる符号量の低減効果について示す表である。この表では、従来のＨ．２６Ｌ符号化方式のＣＡＢＡＣを用いて画像を符号化した場合の符号量、最初の符号化対象となるＤＣＴ係数に対する確率テーブルを切り換えた本発明の方法を用いて画像を符号化した場合の符号量、及び確率テーブルを切り換える方法を用いたことによる符号量の低減率を示している。
【０１１３】
ここで、符号量の低減率をみるための符号化対象の画像データ、及び画像符号化に用いる量子化パラメータＱＰについては、（ａ）テスト画像「Foreman」でＱＰ＝２４、（ｂ）テスト画像「Foreman」でＱＰ＝１６、（ｃ）テスト画像「Stefan」でＱＰ＝２４、及び（ｄ）テスト画像「Stefan」でＱＰ＝１６、の４つの条件で画像符号化を行った。
【０１１４】
図１６の表に示すように、４つの条件での画像符号化のすべてにおいて、確率テーブルの切り換えによる符号量の低減効果が得られている。また、テスト画像「Foreman」及び「Stefan」のいずれにおいても、量子化パラメータＱＰが大きくＤＣＴ係数が０となる確率が高い条件の方が、より大きい低減効果が得られている。
【０１１５】
次に、図１３Ｂに示した区分方法でＤＣＴ係数を２つの係数群に区分した場合における具体的な確率テーブルの切り換え方法の例について説明する。周波数画像データであるＤＣＴ係数では、一般に、低周波数域から高周波数域へと移行するにしたがって係数値が小さくなる。このため、低周波数域の第１係数群Ｇ１と、高周波数域の第２係数群Ｇ２とでは、ＤＣＴ係数における０でない有効なデータの終端を示すＥＯＢの出現確率が異なる。
【０１１６】
したがって、第１係数群Ｇ１と第２係数群Ｇ２とで、Ｂｉｎ＿ｎｏ．１に対するＥＯＢかどうかを示す確率テーブルを切り換えれば、生成される符号化データでの冗長度を低減することができる。また、ＥＯＢ以外についての確率テーブルを切り換えても良い。
【０１１７】
この場合の確率テーブルの切り換え方法としては、例えば、ＤＣＴ係数の量子化に用いられた量子化パラメータＱＰを参照して、第１係数群Ｇ１と第２係数群Ｇ２とで確率テーブルを切り換える方法がある。
【０１１８】
ＤＣＴ係数を量子化した場合、量子化されたＤＣＴ係数のデータ特性は、量子化に用いられた量子化パラメータの影響を受ける。例えば、ＥＯＢについての確率テーブルの切り換えを考えると、量子化パラメータが大きくなれば、ＥＯＢはより低周波数側のＤＣＴ係数で発生しやすくなる。したがって、量子化パラメータを参照して確率テーブルを切り換えることにより、量子化条件に応じて符号化データでの冗長度を低減させて、データ圧縮の効率を向上することができる。この場合、係数群Ｇ１、Ｇ２の区分位置を変動させることによって、確率テーブルを切り換えても良い。
【０１１９】
また、上記した確率テーブルの切り換えまたは係数群の区分位置の変動については、ブロックＣに対して隣接ブロックＡ、Ｂを参照する図１４に示したコンテキストモデリングを用いて行うことも可能である。例えば、一般的な画像においては、直流成分のみの画像ブロックが連続する場合など、ＥＯＢの出現位置が空間的に連続する傾向がある。したがって、左側及び上側の２個の隣接ブロックＡ、Ｂそれぞれにおける処理結果でのＥＯＢの位置を参照するコンテキストモデリングを行えば、ブロックＣの符号化データでの冗長度を低減することができる。
【０１２０】
具体的には、例えば、隣接ブロックＡ、ＢでのＥＯＢの位置を参照し、そのＥＯＢの位置をブロックＣでの係数群Ｇ１、Ｇ２の区分位置として、係数群Ｇ１とＧ２とで異なる確率テーブルを用いる方法がある。この場合、隣接ブロックＡ、ＢでＥＯＢの位置が異なる場合には、そのうちの高周波数側、低周波数側、または平均値の位置を選択して用いるなど、所定の方法でブロックＣでの区分位置を設定することが好ましい。
【０１２１】
また、隣接ブロックＡ、Ｂともに０でない直交変換係数が存在しない場合や、イントラモードなどの異なる符号化モードを用いているなどの理由により、隣接ブロックＡ、Ｂを参照しての区分位置の設定ができない場合には、あらかじめ別に用意された確率テーブルを用いることが好ましい。
【０１２２】
また、設定される係数群の区分位置に上限または下限を設けておき、隣接ブロックＡ、ＢでのＥＯＢの位置がその範囲外となる場合には、上限または下限の区分位置を用いても良い。このような上限、下限を設ける場合には、直交変換係数の量子化に用いられる量子化パラメータを参照して設定することが好ましい。
【０１２３】
また、このような、ＥＯＢの位置を参照した確率テーブルの切り換えにおいても、具体的には、図８に示した２値化テーブルを考慮して、２値化パターンに含まれる最初の２値化符号であるＢｉｎ＿ｎｏ．１の２値化符号に対する確率テーブルを切り換えることが好ましい。
【０１２４】
また、確率テーブルの切り換えについては、ＥＯＢの位置等を参照した確率テーブルの切り換え以外にも様々な方法を用いることができる。例えば、隣接ブロックでの動きベクトルや符号化モード、ＤＣＴ係数の大きさや０でない係数の数等を参照しても良い。
【０１２５】
図１７は、本発明による画像伝送システム（例えばモバイル映像伝送システム）の一実施形態の構成を示す模式図である。本画像伝送システムは、図５に示した画像符号化方法が実現される画像符号化装置（例えば図６に示す画像符号化装置）１と、図９に示した画像復号方法が実現される画像復号装置（例えば図１０に示す画像復号装置）２とを備えて構成される。
【０１２６】
本システムにおいて、入力フレーム画像Ｄ１は、画像符号化装置１において符号化されて符号化データＤ７が生成され、有線または無線の所定の伝送路へと出力される。そして、画像符号化装置１から伝送路を伝送された符号化データＤ７は、画像復号装置２に入力され、出力フレーム画像Ｄ１０として復元される。
【０１２７】
このような画像伝送システムによれば、符号化対象となる画像データの特性が符号化条件に反映されてデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
【産業上の利用可能性】
【０１２８】
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムは、符号化対象となる画像データの特性が符号化条件に反映されて、符号化データでのデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
【０１２９】
すなわち、直交変換係数と符号化データとの間での算術符号化または復号において、符号化対象となる直交変換係数の空間周波数に依存したデータ特性を考慮し、複数の直交変換係数のうちの所定の直交変換係数について算術符号化に用いる確率テーブルを切り換える構成によれば、画像データである直交変換係数自体が持つデータ特性が、算術符号化での符号化条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、符号化データでのデータ圧縮の効率を向上することが可能となる。
【図面の簡単な説明】
【０１３０】
【図１】算術符号化に用いられる確率テーブルの一例を示す表である。
【図２】図１に示した確率テーブルを用いた文字列の符号化について示す図である。
【図３】図１に示した確率テーブルを用いた文字列の復号について示す図である。
【図４】算術符号化を用いた画像符号化方法の一例を示すフローチャートである。
【図５】画像符号化方法の一実施形態を概略的に示すフローチャートである。
【図６】画像符号化装置の一実施形態の構成を示すブロック図である。
【図７Ａ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｂ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｃ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｄ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｅ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｆ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｇ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｈ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｉ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｊ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図８Ａ】画像データの直交変換について示す図である。
【図８Ｂ】画像データの直交変換について示す図である。
【図９】画像復号方法の一実施形態を概略的に示すフローチャートである。
【図１０】画像復号装置の一実施形態の構成を示すブロック図である。
【図１１Ａ】ＤＣＴ係数の算術符号化について示す図である。
【図１１Ｂ】ＤＣＴ係数の算術符号化について示す図である。
【図１１Ｃ】ＤＣＴ係数の算術符号化について示す図である。
【図１１Ｄ】ＤＣＴ係数の算術符号化について示す図である。
【図１２】Ｌｅｖｅｌデータの２値化に用いられる２値化テーブルの例を示す表である。
【図１３Ａ】確率テーブルを切り換えるためのＤＣＴ係数の区分方法の例を示す図である。
【図１３Ｂ】確率テーブルを切り換えるためのＤＣＴ係数の区分方法の例を示す図である。
【図１４】符号化対象のブロックＣに対して、隣接ブロックＡ、Ｂを参照するコンテキストモデリングについて示す図である。
【図１５】隣接ブロックＡ、Ｂにおける０でないＤＣＴ係数の有無と、ブロックＣにおけるＤＣＴ係数が０である確率との相関を示す表である。
【図１６】ＤＣＴ係数に対する確率テーブルの切り換えによる符号量の低減効果について示す表である。
【図１７】画像伝送システムの一実施形態の構成を示す模式図である。
【符号の説明】
【０１３１】
１１…動き検出部、１２…動き補償部、１３…減算器、１４…直交変換部、１５…量子化部、１６…可変長符号化部、１７…逆量子化部、１８…逆直交変換部、１９…加算器、 ２０…フレームメモリ、 ２１…可変長復号部、２２…逆量子化部、２３…逆直交変換部、２４…動き補償部、２５…フレームメモリ、２６…加算器、 Ｄ１…入力フレーム画像、Ｄ２…動きベクトル、Ｄ３…符号化モード情報、Ｄ４…予測フレーム画像、Ｄ５…差分フレーム画像、Ｄ６…直交変換係数、Ｄ７…符号化データ、Ｄ８…局所復号画像、Ｄ９…復元差分フレーム画像、Ｄ１０…出力フレーム画像。
【０００１】
本発明は、モバイル映像伝送システムなどの画像伝送システムに好適に適用することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムに関するものである。
【背景技術】
【０００２】
従来、動画像の符号化方式として、ＩＴＵ−Ｔ Ｈ．２６ｘやＭＰＥＧシリーズなどの標準動画像符号化方式が知られている。これらの画像符号化方式においては、空間座標によって表された画像データ（空間画像データ）に対して直交変換を行って、空間周波数によって表された画像データ（周波数画像データ）へと変換することが行われている。このような直交変換により、符号化対象となるフレーム画像から空間的変化についての冗長度を除くことが可能となり、画像符号化によるデータ圧縮の効率などが向上される。
【０００３】
画像データに対して適用される直交変換としては、圧縮効率と実装負荷とのバランスや専用ＬＳＩの普及などの観点から、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が主に用いられている。空間画像データに対してＤＣＴを行うことにより、周波数画像データでの周波数画像成分である直交変換係数として、複数のＤＣＴ係数が生成される。
【０００４】
また、ＤＣＴなどの直交変換によって生成された直交変換係数は、さらに可変長符号化されて、画像伝送に用いられる圧縮データである符号化データとなる。このような可変長符号化方法の１つとして、算術符号化（ＡＣ：Arithmetic Coding）が用いられている。
【０００５】
一般に、複数種類のシンボルを組み合わせた情報源系列（シンボル系列）に対して算術符号化を行う場合、まず、［０．０，１．０）の数直線（確率数直線）上において、それぞれのシンボルに対して、シンボルの出現確率に応じて一定の区間を割り当てる。このとき、シンボルと数直線上の区間との対応関係を表したものは、確率テーブルと呼ばれる。算術符号化によって情報源系列を可変長符号化する際には、この確率テーブルを参照することによって、情報源系列を数直線上で表現した符号語が生成される。
【０００６】
ここで、図１〜図３を参照して、算術符号化について説明する。具体的には、文字列「ＡＲＩＴＨＭＥＴＩＣ」を符号化対象の情報源系列とし、その算術符号化を例として説明する。
【０００７】
上記した情報源系列内には、Ａ、Ｃ、Ｅ、Ｈ、Ｉ、Ｍ、Ｒ、Ｔの８種類の文字（シンボル）が現れる。これらの文字に対し、図１の表に示すように、［０．０，１．０）の数直線（確率数直線）上で、文字列における各文字の出現確率に比例した区間長となるようにそれぞれ区間を割り当てる。この文字と数直線上の区間との対応関係を表す図１に示した表が、算術符号化に用いられる確率テーブルとなる。
【０００８】
図２は、図１に示した確率テーブルを用いた文字列「ＡＲＩＴＨＭＥＴＩＣ」の符号化について示す図である。算術符号化においては、確率テーブルに基づいた区間縮小操作を、情報源系列に含まれる各シンボルに対して順次行うことによって、情報源系列を符号化した符号語を生成する。
【０００９】
図２に示した例では、まず、符号化対象である文字列「ＡＲＩＴＨＭＥＴＩＣ」の第１の文字「Ａ」に対して、図１に示した確率テーブルを参照して、数直線上の区間［０，１）を各文字に対応する８個の区間に区分する。そして、それらの区間のうちで、文字「Ａ」に対応する区間［０．０，０．１）へと区間を縮小する。次に、第２の文字「Ｒ」に対して、確率テーブルを参照して、区間［０．０，０．１）を８個の区間に区分する。そして、それらの区間のうちで、文字「Ｒ」に対応する区間［０．０７，０．０８）へと区間を縮小する。
【００１０】
以下、この区間縮小による符号化操作を各文字に対して順次行っていく。そして、最終的に得られた数直線上の区間［０．０７５７４５１５３６，０．０７５７４５１５５２）において、その区間内にある数値「０．０７５７４５１５３６」が、文字列「ＡＲＩＴＨＭＥＴＩＣ」を算術符号化した符号語として生成される。
【００１１】
図３は、図１に示した確率テーブルを用いた符号語「０．０７５７４５１５３６」の文字列「ＡＲＩＴＨＭＥＴＩＣ」への復号について示す図である。
【００１２】
図３に示した例では、まず、復号対象である符号語「０．０７５７４５１５３６」に対して、図１に示した確率テーブルを参照して、符号語が含まれている区間長０．１の区間［０．０，０．１）を特定する。そして、特定された区間に対応する文字「Ａ」を第１の文字として出力するとともに、（符号語−下限）／（区間長）によって、新たな符号語「０．７５７４５１５３６」を生成する。次に、符号語「０．７５７４５１５３６」に対して、確率テーブルを参照して、符号語が含まれている区間長０．１の区間［０．７，０．８）を特定する。そして、特定された区間に対応する文字「Ｒ」を第２の文字として出力するとともに、新たな符号語「０．５７４５１５３６」を生成する。
【００１３】
以下、この復号操作を符号語に対して順次行っていく。そして、算術符号化された符号語「０．０７５７４５１５３６」から、文字列「ＡＲＩＴＨＭＥＴＩＣ」が復元される。
【００１４】
このように、算術符号化を用いた情報源系列の可変長符号化では、情報源系列に含まれるシンボルと数直線上の区間とを対応付けることにより、任意の情報源系列を［０．０，１．０）の数直線上の符号語によって表現することができる。また、シンボルと区間とを対応付ける確率テーブルを各シンボルの出現確率に応じて設定することにより、情報源系列の可変長符号化を効率良く行って、符号化によるデータ圧縮の効率を向上することができる。
【非特許文献１】
VCEG-M10 H.26L Test Model Long Term Number 8 (TML-8) draft0
【発明の開示】
【発明が解決しようとする課題】
【００１５】
図４は、上述した算術符号化による可変長符号化を用いた画像符号化方法の一例を示すフローチャートである。図４に示した画像符号化方法では、ＩＴＵ−Ｔ Ｈ．２６Ｌ映像符号化方式（VCEG-M10 H.26L Test Model Long Term Number 8 (TML-8) draft0 を参照）で用いられているコンテキストモデリングを用いたＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）と呼ばれる方法によって、画像データの算術符号化を行っている。
【００１６】
画像データの符号化においては、まず、符号化対象の画像を所定サイズのブロックに分割し、ブロック毎にイントラフレーム符号化（Intra-Frame Coding、フレーム内符号化）やインターフレーム符号化（Inter-Frame Coding、フレーム間符号化）、ＤＣＴ等の直交変換などの必要なデータ変換処理を行って、ブロック内にある画像を表す画像データを生成する。そして、その画像データに対して、算術符号化などを用いて可変長符号化を行って、データ圧縮された符号化データが生成される。
【００１７】
図４に示した画像符号化方法においては、特に、あらかじめ固定に設定された条件によって符号化を行うのではなく、ブロック毎の画像データを符号化する際に、コンテキストモデリングを行っている（ステップＳ９０１、Context Modeling）。コンテキストモデリングを用いた算術符号化では、画像データの符号化に用いる確率テーブルについて、符号化対象のブロックでの画像データに対して適用する確率テーブルが、隣接ブロックでの画像符号化の処理結果などの符号化条件を参照して切り換えて設定される。
【００１８】
コンテキストモデリングによる確率テーブルの設定を終了したら、符号化対象の画像データ（例えば複数のＤＣＴ係数）を２値化して、伝送すべきデータ系列を生成する（Ｓ９０２、Binarization）。そして、２値化されたデータ系列に対して算術符号化を行って（Ｓ９０３、Adaptive Binary Arithmetic Coding）、符号化データを得る。
【００１９】
具体的には、２値化されたデータ系列の各ビットに対し、コンテキストモデリングによって設定された確率テーブルを割り当てて確率評価を行う（Ｓ９０４、Probability Estimation）。そして、割り当てられた確率テーブルを用いてデータ系列を算術符号化し、符号化データである数直線上の符号語を生成する（Ｓ９０５、Arithmetic Coding）。また、算術符号化の処理結果に基づいて、符号化したビットの発生頻度などの情報を確率テーブルへとフィードバックすることによって確率評価を更新し、符号化の傾向を確率テーブルに反映させる（Ｓ９０６、Probability Estimation Update）。
【００２０】
コンテキストモデリングを用いた算術符号化による上記の画像符号化方法によれば、符号化条件や処理結果に応じて使用する確率テーブルを切り換えることによって、符号化データでの冗長度を低減することが可能である。しかしながら、このようなコンテキストモデリングを行った場合でも、符号化対象となるデータ自体が持つ特性は、算術符号化での符号化条件に対して直接には反映されない。このため、従来の符号化方法では、画像データの冗長度を除去することによる符号化データでのデータ圧縮の効率の向上が充分には実現されていないという問題があった。
【００２１】
本発明は、以上の問題点を解決するためになされたものであり、符号化対象となる画像データの特性が符号化条件に反映されて、符号化データでのデータ圧縮の効率を向上することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
このような目的を達成するために、本発明による画像符号化方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換ステップと、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化ステップとを備え、（３）符号化ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化ステップにおいて、ブロックの隣接ブロックにおける画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００２３】
あるいは、本発明による画像符号化方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化方法であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を 生成する直交変換ステップと、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化ステップとを備え、（３）符号化ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化ステップにおいて、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００２４】
同様に、本発明による画像符号化装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換手段と、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化手段とを備え、（３）符号化手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化手段は、ブロックの隣接ブロックにおける画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００２５】
あるいは、本発明による画像符号化装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化する符号化装置であって、（１）ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換手段と、（２）所定の確率テーブルを用いた算術符号化によって複数の直交変換係数を可変長符号化して、符号化データを生成する符号化手段とを備え、（３）符号化手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）符号化手段は、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００２６】
また、本発明による画像符号化プログラムは、上記した画像符号化方法をコンピュータに実行させることを特徴とする。
【００２７】
上記した画像符号化方法、装置、及びプログラムにおいては、空間画像データを直交変換することによって周波数画像データである直交変換係数とした後、その直交変換係数を算術符号化することによって、データ圧縮された符号化データを生成する。そして、直交変換係数の算術符号化において、符号化対象となる直交変換係数の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、算術符号化を行うこととしている。
【００２８】
これにより、画像データである直交変換係数自体が持つデータ特性が、算術符号化での符号化条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、符号化データでのデータ圧縮の効率を向上することが可能となる。
【００２９】
また、本発明による画像復号方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号ステップと、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換ステップとを備え、（３）復号ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号ステップにおいて、ブロックの隣接ブロックにおけ る画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００３０】
あるいは、本発明による画像復号方法は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号ステップと、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換ステップとを備え、（３）復号ステップにおいて、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号ステップにおいて、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００３１】
同様に、本発明による画像復号装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号手段と、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換手段とを備え、（３）復号手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号手段は、ブロックの隣接ブロックにおける画像符号化の処理結果として隣接ブロックにおける処理結果でのＥＯＢの位置を参照して、確率テーブルを切り換えることを特徴とする。
【００３２】
あるいは、本発明による画像復号装置は、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、（１）所定の確率テーブルを用いた逆算術符号化によって符号化データを可変長復号して、複数の直交変換係数を生成する復号手段と、（２）複数の直交変換係数に対して逆直交変換を行って、ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換手段とを備え、（３）復号手段は、複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する確率テーブルを切り換えるとともに、（４）復号手段は、複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、確率テーブルを切り換えることを特徴とする。
【００３３】
また、本発明による画像復号プログラムは、上記した画像復号方法をコンピュータに実行させることを特徴とする。
【００３４】
上記した画像復号方法、装置、及びプログラムにおいては、データ圧縮された符号化データを逆算術符号化することによって周波数画像データである直交変換係数を復号した後、その直交変換係数を逆直交変換することによって、空間画像データを生成する。そして、符号化データの逆算術符号化において、上述した算術符号化の場合と同様に、復号対象となる直交変換係数の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、逆算術符号化を行うこととしている。
【００３５】
これにより、画像データである直交変換係数自体が持つデータ特性が、逆算術符号化での復号条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、データ圧縮の効率が向上された符号化データから、画像データを好適に復元することが可能となる。
【００３６】
また、画像伝送システムとしては、画像を所定サイズのブロックに分割し、ブロック毎に画像データを符号化した符号化データによって画像を伝送する画像伝送システムであって、（１）画像から符号化データを生成して出力する上記した画像符号化装置と、（２）画像符号化装置からの符号化データを入力して画像を復元する上記した画像復号装置とを備えることが好ましい。
【００３７】
このような画像伝送システムによれば、符号化対象となる画像データの特性が符号化条件に反映されてデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
【発明の効果】
【００３８】
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムは、符号化対象となる画像データの特性が符号化条件に反映されて、符号化データでのデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
【発明を実施するための最良の形態】
【００３９】
以下、図面とともに本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００４０】
まず、画像符号化方法及び画像符号化装置について説明する。
【００４１】
図５は、本発明による画像符号化方法の一実施形態を概略的に示すフローチャートである。本符号化方法は、静画像または動画像でのフレーム画像である入力フレーム画像Ｄ１に対して所定の変換処理操作及び符号化処理操作を行って、モバイル映像伝送システムなどの画像伝送システムにおいて伝送可能なデータ圧縮された符号化データＤ７を生成する画像符号化方法である。
【００４２】
図５に示した画像符号化方法においては、まず、入力フレーム画像Ｄ１に対して所定のデータ処理操作を行って画像データを変換し、空間座標によって表された画像データ（空間画像データ）Ｄ５とする（ステップＳ１０１）。ここで行われるデータ処理操作としては、例えば、動画像でのフレーム画像に対してインターフレーム符号化（フレーム間符号化）を行う場合の動き補償（ＭＣ：Motion Compensation）フレーム間予測がある。また、フレーム画像に対してイントラフレーム符号化（フレーム内符号化）を行う場合には、例えば、入力フレーム画像Ｄ１の画像データがそのまま空間画像データＤ５となる。
【００４３】
次に、空間画像データＤ５に対して直交変換操作を行って、空間周波数によって表された画像データ（周波数画像データ）Ｄ６を生成する（Ｓ１０２、直交変換ステップ）。この直交変換は、フレーム画像を所定サイズ（所定の画素数）で分割したブロック毎に、ブロック内にある画像の空間画像データに対して行われる。これにより、入力フレーム画像Ｄ１に含まれるブロック毎に、それぞれ周波数画像データＤ６が得られる。
【００４４】
直交変換によって得られる周波数画像データＤ６は、複数の直交変換係数からなる。直交変換係数は、ブロック内の画像における所定の空間周波数での周波数画像成分をそれぞれ表している。また、この直交変換係数に対して、必要に応じて量子化操作がさらに行われ、符号化対象となる直交変換係数（量子化係数）が生成される。
【００４５】
続いて、複数の直交変換係数Ｄ６に対して算術符号化を用いて可変長符号化を行い、圧縮データである符号化データＤ７を生成する（Ｓ１０３、符号化ステップ）。すなわち、直交変換係数Ｄ６に対して適用する確率テーブルを所定の確率テーブルに設定する（Ｓ１０４）。そして、設定された確率テーブルを用いて直交変換係数Ｄ６を算術符号化して（Ｓ１０５）、符号化データＤ７とする。
【００４６】
ここで、本実施形態の画像符号化方法においては、直交変換係数Ｄ６に対して算術符号化を行う際に、複数の直交変換係数Ｄ６のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて、適用する確率テーブルを切り換えている。具体的には、例えば、複数の直交変換係数Ｄ６のうちの所定の直交変換係数に対して、他の直交変換係数とは異なる確率テーブルをあらかじめ用意して適用する。あるいは、所定の直交変換係数について、符号化条件などに応じて、適用する確率テーブルを他の直交変換係数とは別に切り換える。
【００４７】
本実施形態による画像符号化方法の効果について説明する。
【００４８】
図５に示した画像符号化方法においては、空間画像データＤ５を直交変換することによって周波数画像データである直交変換係数Ｄ６とした後、その直交変換係数を算術符号化することによって、データ圧縮された符号化データＤ７を生成する。そして、直交変換係数Ｄ６の算術符号化において、符号化対象となる直交変換係数Ｄ６の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、算術符号化を行うこととしている。
【００４９】
このように直交変換係数の空間周波数の値に関するコンテキストを用いて確率テーブルを設定することにより、画像データである直交変換係数Ｄ６自体が持つデータ特性が、算術符号化での符号化条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、符号化データＤ７でのデータ圧縮の効率を向上することが可能となる。なお、具体的な確率テーブルの切り換え方法については、詳しく後述する。
【００５０】
図６は、本発明による画像符号化装置の一実施形態の構成を示すブロック図である。以下、図６に示した画像符号化装置を参照しつつ、図５に示した画像符号化方法についてさらに説明する。なお、以下においては、符号化対象として画像符号化装置に入力される入力フレーム画像Ｄ１について、主に時系列のフレーム画像からなる動画像を想定している。ただし、本発明による画像符号化方法及び画像符号化装置は、１フレームからなる静画像に対しても同様に適用することが可能である。
【００５１】
符号化対象として入力された入力フレーム画像Ｄ１は、まず、１６画素×１６ラインのサイズで正方形の画像ブロックへと分割される。この画像ブロックは、動き補償などのデータ処理の単位となる画像ブロックであり、マクロブロックと呼ばれる。なお、後述するＤＣＴ（直交変換）では、例えばＨ．２６Ｌ符号化方式では、４画素×４ラインのサイズのＤＣＴブロックが用いられる。この場合、１個のマクロブロックは、ＤＣＴにおいて、１６個の輝度（Luma）ブロックと、８個の色差（Chroma）ブロックとを有する。画像符号化はこれらのブロック毎に行われる。
【００５２】
フレーム画像Ｄ１は動き検出部１１に入力され、マクロブロック毎に画像の動きが検出される。動き検出部１１は、動きを検出しようとするマクロブロックでの画像データと、入力フレーム画像または他のフレーム画像にある他のマクロブロックでの画像データとを比較して、画像の動きを示す動きベクトルＤ２を検出する。
【００５３】
具体的には、動き検出部１１では、符号化済のフレーム画像としてフレームメモリ２０に格納されている局所復号画像Ｄ８内の所定の画像領域を参照して、現在の符号化対象となっている入力フレーム画像Ｄ１のマクロブロックと類似するパターンを見つけ出す。そして、その類似パターンとマクロブロックとの間の空間的な移動量によって、動きベクトルＤ２を決定する。また、このとき、動き補償について用意された複数の符号化モードから、マクロブロックでの動き補償に用いられる符号化モードが選択される。
【００５４】
図７Ａ〜図７Ｊは、動き補償について用意される符号化モードの一例を示す模式図である。この図７Ａ〜図７Ｊに例示した符号化モードでは、動き補償を行わないスキップ（Ｓｋｉｐ）モード０と、それぞれ異なる動き補償用ブロックへのブロック区分を用いてインターフレーム符号化を行うインターモード１〜７と、それぞれ異なるブロック区分を用いてイントラフレーム符号化を行うイントラモード８、９との１０個の符号化モードが用意されている。なお、上記した動きベクトルＤ２は、各マクロブロックに対して、区分された動き補償用ブロック毎に付与される。
【００５５】
動きベクトルＤ２が求められたら、動き補償部１２において、動き検出部１１からの動きベクトルＤ２と、フレームメモリ２０からの局所復号画像Ｄ８とを用いて、動き予測画像を生成する。フレーム画像Ｄ１に含まれる全てのマクロブロックについて動きベクトルＤ２を決定して動き予測画像を生成することにより、入力フレーム画像Ｄ１に対する予測フレーム画像Ｄ４が得られる。
【００５６】
続いて、減算器１３において、入力フレーム画像Ｄ１と予測フレーム画像Ｄ４との間の差分（予測残差）フレーム画像Ｄ５が生成される。また、予測フレーム画像Ｄ４が作成されていない場合には、入力フレーム画像Ｄ１がそのままフレーム画像Ｄ５とされる。このフレーム画像Ｄ５は、入力フレーム画像Ｄ１と同様に空間座標によって表された画像データであり、この空間画像データＤ５が以後の直交変換及び算術符号化の対象となる。
【００５７】
差分フレーム画像Ｄ５の画像データは、直交変換部（直交変換手段）１４へと入力される。直交変換部１４では、空間座標による差分フレーム画像Ｄ５に対して、マクロブロックに含まれる直交変換ブロック（例えば１６個の輝度ブロックと８個の色差ブロック）毎に直交変換が行われる。そして、空間周波数による画像データとして、複数の直交変換係数が生成される。また、この直交変換係数は、量子化部１５において所定の量子化パラメータによって量子化されて、算術符号化の対象となる最終的な直交変換係数（量子化係数）Ｄ６が得られる。
【００５８】
図８Ａ及び図８Ｂは、画像データの直交変換について示す図である。フレーム画像Ｄ５内にある直交変換用に分割された各ブロックの画像データは空間画像データであり、図８Ａに４×４の画像成分によって例示するように、水平座標と垂直座標とで規定される４×４の空間画像成分ａ１１〜ａ４４によって表される。直交変換部１４は、この空間画像データを所定の変換方法で直交変換することによって、図８Ｂに示す画像データへと変換する。この画像データは周波数画像データであり、水平周波数と垂直周波数とで規定される４×４の周波数画像成分である直交変換係数ｆ１１〜ｆ４４によって表される。
【００５９】
具体的な直交変換としては、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を適用することができる。ＤＣＴは、フーリエ変換のコサインの項を用いる直交変換であり、画像符号化において多く用いられている。空間画像データに対してＤＣＴを行うことにより、周波数画像データであるＤＣＴ係数ｆ１１〜ｆ４４が生成される。なお、ＤＣＴにおいては、例えばＨ．２６Ｌ符号化方式では、直交変換用のブロックとして、図８Ａ及び図８Ｂに示したように４×４のＤＣＴブロックが用いられる。
【００６０】
直交変換部１４及び量子化部１５によって生成された直交変換係数Ｄ６は、可変長符号化部（符号化手段）１６において、所定の確率テーブルを用いた算術符号化によって可変長符号化される。これにより、入力フレーム画像Ｄ１の圧縮データである符号化データＤ７が生成される。
【００６１】
また、可変長符号化部１６には、直交変換係数Ｄ６に加えて、動き検出部１１によって検出された動きベクトルＤ２と、動き検出部１１において選択された符号化モードを示す符号化モード情報Ｄ３とが入力されている。これらの動きベクトルＤ２及び符号化モード情報Ｄ３は、可変長符号化部１６において、直交変換係数Ｄ６と同様に、所定の確率テーブルを用いた算術符号化によって可変長符号化されて、符号化データＤ７に多重化される。
【００６２】
ここで、可変長符号化部１６において算術符号化に用いられる確率テーブルの設定については、図５に示した画像符号化方法に関して上述した通りである。また、動きベクトルＤ２及び符号化モード情報Ｄ３の算術符号化においては、通常は、直交変換係数Ｄ６の算術符号化とは異なる確率テーブルが用いられる。また、直交変換係数Ｄ６の算術符号化においても、輝度ブロックの算術符号化と色差ブロックの算術符号化とで、異なる確率テーブルを用いても良い。
【００６３】
また、直交変換部１４及び量子化部１５によって生成された直交変換係数Ｄ６は、本画像符号化装置内において、逆量子化部１７及び逆直交変換部１８によって復号される。そして、復号された画像データと予測フレーム画像Ｄ４とが加算器１９において加算されて、局所復号画像Ｄ８が生成される。この局所復号画像Ｄ８はフレームメモリ２０に格納されて、他のフレーム画像の動き補償に利用される。
【００６４】
次に、画像復号方法及び画像復号装置について説明する。
【００６５】
図９は、本発明による画像復号方法の一実施形態を概略的に示すフローチャートである。本復号方法は、図５に示した画像符号化方法によって生成された符号化データＤ７に対して所定の復号処理操作及び変換処理操作を行って、入力フレーム画像Ｄ１に対応する画像として出力フレーム画像Ｄ１０を復元する画像復号方法である。
【００６６】
図９に示した画像復号方法においては、まず、符号化データＤ７に対して逆算術符号化を用いて可変長復号を行い、空間周波数によって表された画像データである複数の直交変換係数（量子化係数）Ｄ６を生成する（Ｓ２０１、復号ステップ）。すなわち、符号化データＤ７に対して適用する確率テーブルを所定の確率テーブルに設定する（Ｓ２０２）。そして、設定された確率テーブルを用いて符号化データＤ７を逆算術符号化して（Ｓ２０３）、周波数画像データである直交変換係数Ｄ６とする。
【００６７】
ここで、本実施形態の画像復号方法においては、符号化データＤ７に対して逆算術符号化を行う際に、複数の直交変換係数Ｄ６のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて、適用する確率テーブルを切り換えている。具体的には、例えば、複数の直交変換係数Ｄ６のうちの所定の直交変換係数に対して、他の直交変換係数とは異なる確率テーブルをあらかじめ用意して適用する。あるいは、所定の直交変換係数について、符号化条件などに応じて、適用する確率テーブルを他の直交変換係数とは別に切り換える。
【００６８】
次に、複数の直交変換係数Ｄ６に対して逆量子化操作及び逆直交変換操作を順次行って、空間座標によって表された画像データ（空間画像データ）Ｄ９を生成する（Ｓ２０４、逆直交変換ステップ）。そして、空間画像データＤ９に対して所定のデータ処理操作を行って画像データを変換し、出力フレーム画像Ｄ１０を復元する（Ｓ２０５）。
【００６９】
本実施形態による画像復号方法の効果について説明する。
【００７０】
図９に示した画像復号方法においては、データ圧縮された符号化データＤ７を逆算術符号化することによって周波数画像データである直交変換係数Ｄ６を復号した後、その直交変換係数を逆直交変換することによって、空間画像データＤ９を生成する。そして、符号化データＤ７の逆算術符号化において、上述した算術符号化の場合と同様に、復号対象となる直交変換係数Ｄ６の空間周波数に依存したデータ特性を考慮し、１または複数の直交変換係数について他の直交変換係数に対して確率テーブルを切り換えて、逆算術符号化を行うこととしている。
【００７１】
このように直交変換係数の空間周波数の値に関するコンテキストを用いて確率テーブルを設定することにより、画像データである直交変換係数Ｄ６自体が持つデータ特性が、逆算術符号化での復号条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、データ圧縮の効率が向上された符号化データＤ７から、画像データを好適に復元することが可能となる。
【００７２】
図１０は、本発明による画像復号装置の一実施形態の構成を示すブロック図である。
【００７３】
復号対象として入力された符号化データＤ７は可変長復号部（復号手段）２１に入力されて所定の確率テーブルを用いた逆算術符号化によって可変長復号され、複数の直交変換係数Ｄ６が生成される。可変長復号部２１は、データ圧縮された符号化データＤ７について、フレーム画像の先頭を示す同期ワードを検出し、以後、マクロブロック毎に符号化データＤ７に含まれている各データを復号して、周波数画像データである直交変換係数Ｄ６、及び動きベクトルＤ２等を生成する。なお、算術符号化に用いる確率テーブルは、上述のように適宜切り換えられる。
【００７４】
可変長復号部２１において復号された直交変換係数Ｄ６は、逆量子化部２２及び逆直交変換部（逆直交変換手段）２３によって逆量子化、逆直交変換される。これにより、空間画像データである復元差分フレーム画像Ｄ９が生成される。この復元差分フレーム画像Ｄ９は、符号化前の差分フレーム画像Ｄ５に対応したフレーム画像である。
【００７５】
一方、動きベクトルＤ２は、動き補償部２４へと入力される。動き補償部２４では、可変長復号部２１からの動きベクトルＤ２と、フレームメモリ２５に格納されている他のフレーム画像とを用いて、予測フレーム画像Ｄ４が生成される。そして、加算器２６において、復元差分フレーム画像Ｄ９と予測フレーム画像Ｄ４とが加算されて、復元されたフレーム画像が出力フレーム画像Ｄ１０として出力される。
【００７６】
ここで、上記した画像符号化装置において実行される画像符号化方法に対応する処理は、画像符号化をコンピュータに実行させるための画像符号化プログラムによって実現可能である。また、画像復号装置において実行させる画像復号方法に対応する処理は、画像復号をコンピュータに実行させるための画像復号プログラムによって実現可能である。
【００７７】
例えば、画像符号化装置は、画像符号化の処理動作に必要な各ソフトウェアプログラムなどが記憶させるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の画像符号化プログラムを実行することにより、画像符号化装置を実現することができる。
【００７８】
同様に、画像復号装置は、画像復号の処理動作に必要な各ソフトウェアプログラムなどが記憶されるＲＯＭと、プログラム実行中に一時的にデータが記憶されるＲＡＭとが接続されたＣＰＵによって構成することができる。このような構成において、ＣＰＵによって所定の画像復号プログラムを実行することにより、画像復号装置を実現することができる。
【００７９】
また、画像符号化または画像復号のための各処理をＣＰＵに実行させるための上記したプログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフレキシブルディスクなどの磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいは、プログラム命令を実行または格納するように特別に配置された、例えばＲＡＭ、ＲＯＭ、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
【００８０】
また、画像符号化または画像復号をコンピュータに実行させるための上記したプログラムは、搬送波に包含されるコンピュータデータ信号とすることが可能である。これにより、画像符号化プログラムまたは画像復号プログラムを、有線または無線の搬送路等を介して搬送することができる。
【００８１】
以下、図５、図６に示した画像符号化方法及び画像符号化装置における直交変換係数の算術符号化（可変長符号化）の手順、及びその好適な符号化条件について、具体例を示しつつ説明する。ここでは、空間画像データを周波数画像データへと変換する直交変換としてはＤＣＴを想定し、ＩＴＵ−Ｔ Ｈ．２６Ｌ符号化方式におけるＤＣＴ係数の符号化を例として説明している。なお、以下に説明する符号化方法及び符号化条件については、図９、図１０に示した画像復号方法及び画像復号装置に対しても同様に適用することが可能である。また、具体的な符号化方式については、上記したＨ．２６Ｌ符号化方式には限定されない。
【００８２】
まず、図１１Ａ〜図１１Ｄ及び図１２を参照して、ＤＣＴ係数の算術符号化の具体的な手順について説明する。図１１Ａは、図８Ｂに示した４×４のＤＣＴ係数（量子化係数）ｆ１１〜ｆ４４の具体的な一数値例を示している。画像符号化装置の可変長符号化部では、このようなＤＣＴ係数に対して所定の処理手順で算術符号化を行って、符号化データを生成する。
【００８３】
空間周波数によって表された画像データでの周波数画像成分であるＤＣＴ係数ｆ１１〜ｆ４４においては、空間座標によって表された画像データでの空間画像成分ａ１１〜ａ４４（図８Ａ参照）とは異なり、各ＤＣＴ係数が、その係数値の大きさなどについて、対応する空間周波数の値に依存したデータ特性を有している。すなわち、各ＤＣＴ係数ｆｉｊでは、その添字の値ｉ、ｊが対応する垂直周波数、水平周波数をそれぞれ表している。複数のＤＣＴ係数ｆ１１〜ｆ４４は、これらの垂直周波数の値及び水平周波数の値に依存して、互いに異なるデータ特性（例えばデータの傾向）を有する。
【００８４】
例えば、ｉ、ｊが小さく空間周波数の値が低い周波数域にあるｆ１１、ｆ１２、ｆ２１などのＤＣＴ係数と、ｉ、ｊが大きく空間周波数の値が高い周波数域にあるｆ４４、ｆ４３、ｆ３４などのＤＣＴ係数とでは、その係数値の大きさや、係数値が０である確率などについてのデータ特性が異なっている。一般に、自然画像においては、低周波数域で大きい直交変換の係数値が得られ、高周波数になるにしたがって係数値が小さくなる。
【００８５】
図５、図６に示した画像符号化方法及び画像符号化装置においては、このようなＤＣＴ係数の空間周波数に依存したデータ特性を考慮し、上述のように、符号化対象であるＤＣＴ係数に対して、空間周波数の値に応じて適用する確率テーブルを切り換えて算術符号化を行うことによって、符号化の効率を向上している。
【００８６】
ＤＣＴ係数の算術符号化の処理手順においては、まず、２次元データであるＤＣＴ係数ｆ１１〜ｆ４４が、図１１Ｂに示すジグザグ・スキャンによって、１次元データへと変換される。このジグザグ・スキャンでは、スキャン後の１次元データが低周波数域から高周波数域へと移行していくデータ列となるように、ＤＣＴ係数がスキャンされる。
【００８７】
具体的には、ｉ＋ｊ＝２で空間周波数の値が最も低いＤＣＴ係数ｆ１１からスキャンを開始して、ｉ＋ｊ＝３の係数ｆ１２、ｆ２１、ｉ＋ｊ＝４の係数ｆ３１、ｆ２２、ｆ１３、…という順で、ｉ＋ｊ＝８で空間周波数の値が最も高い係数ｆ４４まで順次、ＤＣＴ係数をジグザグにスキャンする。これにより、低周波数域から高周波数域へとＤＣＴ係数が並ぶ、図１１Ｃに示す１次元データが得られる。
【００８８】
このＤＣＴ係数の１次元データは、そのデータ量を低減するため、さらに、図１１Ｄに示すＬｅｖｅｌ（レベル）及びＲｕｎ（ラン）からなるデータへと変換される。ここで、Ｌｅｖｅｌは、複数のＤＣＴ係数のうちで０でない係数値を持つＤＣＴ係数での係数レベルを示す。また、Ｒｕｎは、０でないＤＣＴ係数の直前にある係数値が０のデータの数であるランレングスを示す。
【００８９】
例えば、図１１Ａに示したＤＣＴ係数のデータ例では、図１１Ｃに示すように、１６個のＤＣＴ係数ｆ１１〜ｆ４４が、０でない係数値を持つＤＣＴ係数の出現位置に基づいて、係数ｆ１１からなる係数群ｓ１、係数ｆ１２、ｆ２１からなる係数群ｓ２、係数ｆ３１〜ｆ１３からなる係数群ｓ３、係数ｆ１４〜ｆ３２からなる係数群ｓ４、及び係数ｆ４１〜ｆ４４からなる係数群ｓ５へと区分される。
【００９０】
そして、これらの係数群ｓ１〜ｓ５に対して、図１１Ｄに示すように、それぞれＬｅｖｅｌ値及びＲｕｎ値が求められる。具体的には、係数群ｓ１では、Ｌｅｖｅｌ値がｆ１１＝１０、Ｒｕｎ値が０である。また、係数群ｓ２では、Ｌｅｖｅｌ値がｆ２１＝２、Ｒｕｎ値が１である。また、係数群ｓ３では、Ｌｅｖｅｌ値がｆ１３＝−１、Ｒｕｎ値が２である。また、係数群ｓ４では、Ｌｅｖｅｌ値がｆ３２＝１、Ｒｕｎ値が２である。
【００９１】
また、最後の係数群ｓ５は、全ての係数ｆ４１〜ｆ４４の係数値が０となっている係数群であり、図１１Ａに示したＤＣＴ係数における有効なデータの終端（ＥＯＢ：End of Block）となっている。したがって、この係数群ｓ５では、ＥＯＢ符号を意味する０をＬｅｖｅｌ値とする。
【００９２】
なお、ＤＣＴブロックに対するＤＣＴ係数のデータにおいて、全てのＤＣＴ係数が０であれば、そのＤＣＴブロックは無効であるので、ＤＣＴ係数は算術符号化の対象とされない。このようなＤＣＴブロックの有効、無効は、例えば、各マクロブロックに対して与えられる符号化ブロック・パターン（ＣＢＰ：Coded Block Pattern）によって指定される。このＣＢＰは、マクロブロックに含まれている１６個の輝度ブロック及び８個の色差ブロックのそれぞれについて、ブロックの有効、無効を指定する。
【００９３】
図１１Ｄに示したＬｅｖｅｌ及びＲｕｎからなるデータは、所定の２値化テーブルを用いて２値化され、算術符号化の対象となる２値化パターンが作成される。図１２は、図１１Ｄに示したＬｅｖｅｌデータの２値化に用いられる２値化テーブルの一例を示す表である。この２値化テーブルでは、Ｌｅｖｅｌの値０、１、２、３、…は、それぞれ異なるパターン長で２値化される。
【００９４】
各Ｌｅｖｅｌ及びＲｕｎのデータがそれぞれ２値化されたら、それらのデータをｓ１のＬｅｖｅｌ、ｓ１のＲｕｎ、ｓ２のＬｅｖｅｌ、ｓ２のＲｕｎ、…、ｓ５のＬｅｖｅｌの順で、所定の確率テーブルを用いて算術符号化して、図１１Ａの直交変換係数に対応する符号化データである符号語を生成する。
【００９５】
ここで、ＤＣＴ係数の算術符号化に用いられる確率テーブルについては、各マクロブロックにおいて、インターフレーム符号化とイントラフレーム符号化、あるいは輝度ブロックと色差ブロックとで、異なる確率テーブルを用いても良い。また、図１２に示すような２値化パターンの算術符号化では、例えば、Ｂｉｎ＿ｎｏ．（符号位置）１で最初の２値化符号、Ｂｉｎ＿ｎｏ．２の２値化符号、Ｂｉｎ＿ｎｏ．が３以上の２値化符号、及び２値化パターンの正負を表す符合データとで異なる確率テーブルを用いるなど、２値化符号の符号位置に応じて異なる確率テーブルを用いても良い。
【００９６】
さらに、図５、図６に示した画像符号化方法及び画像符号化装置においては、上述したように、ＤＣＴ係数ｆ１１〜ｆ４４のうちの所定のＤＣＴ係数について、そのＤＣＴ係数での空間周波数の値に応じて適用する確率テーブルを切り換えている。
【００９７】
ここで、適用する確率テーブルを切り換えるためのＤＣＴ係数の区分方法としては、複数のＤＣＴ係数ｆ１１〜ｆ４４を、空間周波数の値が低い第１係数群、及び空間周波数の値が高い第２係数群に分け、第１係数群と第２係数群とで適用する確率テーブルを切り換える方法がある。
【００９８】
周波数画像データであるＤＣＴ係数（直交変換係数）では、上述したように、低周波数域にあるＤＣＴ係数と、高周波数域にあるＤＣＴ係数とでデータ特性が異なる。したがって、低周波数域及び高周波数域の２つの係数群へとＤＣＴ係数を分けて、それぞれで確率テーブルを切り換えることにより、算術符号化における符号化条件に対して、空間周波数に依存したＤＣＴ係数のデータ特性を効果的に反映させることができる。
【００９９】
ＤＣＴ係数の具体的な区分方法としては、例えば、算術符号化において最初の符号化対象となる直交変換係数を第１係数群Ｇ１とする区分がある。これは、０でない直交変換係数のうちで空間周波数の値が最も低い直交変換係数からなる図１１Ｃに示した係数群ｓ１を第１係数群Ｇ１とし、他の係数を第２係数群Ｇ２とすることに相当する。
【０１００】
例えば、全体で空間周波数の値が最も低いＤＣＴ係数ｆ１１が０でなければ、図１３Ａに示すように、１個のＤＣＴ係数ｆ１１が第１係数群Ｇ１、１５個のＤＣＴ係数ｆ１２〜ｆ４４が第２係数群Ｇ２として区分される。係数群ｓ１での係数が０となるのは、ブロック内のすべての直交変換係数が０のときであり、したがって、他の係数群での係数が０となることとは、その意味が異なる。したがって、最初の符号化対象となるＤＣＴ係数を第１係数群Ｇ１とし、他のＤＣＴ係数に対して確率テーブルを切り換えることによって、符号化データでのデータ圧縮の効率を向上することができる。
【０１０１】
あるいは、図１３Ｂに示すように、ｆｉｊでのｉ＋ｊが２〜４の範囲にある６個のＤＣＴ係数ｆ１１〜ｆ３１を第１係数群Ｇ１とし、他の１０個のＤＣＴ係数ｆ１４〜ｆ４４を第２係数群Ｇ２とする区分を用いても良い。このような区分においても、第１係数群Ｇ１と第２係数群Ｇ２とで、係数が０となる確率やＥＯＢが出現する確率が異なる。したがって、これらの係数群で確率テーブルを切り換えることによって、符号化データでのデータ圧縮の効率を向上することができる。また、これ以外の区分方法を用いても良い。あるいは、ＤＣＴ係数を３以上の係数群に区分して、それぞれで適用する確率テーブルを切り換えても良い。
【０１０２】
ＤＣＴ係数に対する確率テーブルの切り換え方法としては、各ＤＣＴ係数での予想されるデータ特性に応じてあらかじめ確率テーブルを切り換えておく方法を用いることができる。あるいは、図４に示したコンテキストモデリングを用いた符号化方法（ＣＡＢＡＣ）によって確率テーブルの切り換え及び更新を行っても良い。
【０１０３】
具体的なコンテキストモデリングの例としては、例えば図１４に示すように、符号化対象のブロックＣに対して、左側に位置する隣接ブロックＡ及び上側に位置する隣接ブロックＢを考える。そして、２個の隣接ブロックＡ、Ｂのそれぞれにおける画像符号化の処理結果を参照して、ブロックＣに対して適用する確率テーブルを切り換える方法がある。
【０１０４】
符号化対象となっているブロックＣの画像データは、画像の一般的な性質として、符号化済の隣接ブロックＡ、Ｂの画像に類似した画像データとなっている可能性が高い。したがって、上記のように隣接ブロックでの画像符号化の処理結果を参照するコンテキストモデリングを用いて確率テーブルを切り換えることにより、符号化条件に応じて符号化データでの冗長度を低減させて、そのデータ圧縮の効率を向上することができる。
【０１０５】
図１３Ａに示した区分方法でＤＣＴ係数を２つの係数群に区分した場合における具体的な確率テーブルの切り換え方法の例について説明する。係数群Ｇ２にある他のＤＣＴ係数とは異なる係数群Ｇ１に設定された最初の符号化対象となる係数群ｓ１でのＤＣＴ係数は、上述したようにブロック内での０でない直交変換係数の有無を示す係数である。このため、例えば動き補償ブロックの場合、隣接ブロックにおいて動きの変化がなく、ＤＣＴ係数が発生していなければ、そのブロックにおいても同様にＤＣＴ係数が発生しない確率が高い。
【０１０６】
このような最初の符号化対象となるＤＣＴ係数のデータ特性を利用して、符号化対象のブロックＣに対して隣接ブロックＡ、Ｂを参照する図１４に示したコンテキストモデリングを適用することが可能である。すなわち、隣接ブロックＡ、Ｂにおける画像符号化の処理結果での０でないＤＣＴ係数の有無を参照して、ブロックＣでの最初の符号化対象となるＤＣＴ係数に対する確率テーブルを切り換えるコンテキストモデリングを行えば、ブロックＣの符号化データでの冗長度を低減することができる。
【０１０７】
図１５は、隣接ブロックＡ、Ｂにおける０でないＤＣＴ係数の有無と、ブロックＣにおけるＤＣＴ係数がすべて０である頻度及び確率との相関を示す表である。この表において、Ａ＋Ｂ＝０は、隣接ブロックＡ、Ｂでともに０でないＤＣＴ係数が存在しなかった場合を示している。また、Ａ＋Ｂ＝１は、隣接ブロックＡ、Ｂで０でないＤＣＴ係数が一方に存在した場合を示している。また、Ａ＋Ｂ＝２は、隣接ブロックＡ、Ｂで０でないＤＣＴ係数が両方に存在した場合を示している。
【０１０８】
ここで、ＤＣＴ係数の相関をみるための符号化対象の画像データとしては、テスト画像「Foreman」を使用した。また、イントラモードでは量子化パラメータをＱＰ＝１０、インターモードではＱＰ＝１６とした。また、映像サイズはＱＣＩＦ（縦１７６×横１４４）を用いた。
【０１０９】
図１５の表に示すように、イントラモード及びインターモードのいずれにおいても、Ａ＋Ｂ＝０のときにＣ＝０（ブロックＣでのＤＣＴ係数がすべて０）である確率が最も高く、Ａ＋Ｂが大きくなるとともにＣ＝０である確率が低下している。また、Ａ＋Ｂ＝０のときにＣ＝０である確率を比較すると、相関が比較的大きいインターモードにおいて、より確率が大きくなっている。
【０１１０】
以上より、左側及び上側の隣接ブロックによるＡ＋Ｂの値０、１、２を参照してブロックＣでのＤＣＴ係数に対する確率テーブルを切り換えることによって、符号化データでのデータ圧縮の効率を向上することができる。また、この場合のＤＣＴ係数に対する確率テーブルの切り換えについては、具体的には、図１２に示した２値化テーブルを考慮して、２値化パターンに含まれる最初の２値化符号であるＢｉｎ＿ｎｏ．１の２値化符号に対する確率テーブルを切り換えることが好ましい。
【０１１１】
直交変換係数に対応する２値化パターンの最初の２値化符号は、通常、符号化される直交変換係数のＬｅｖｅｌ値が０であるか、１以上であるかを表す符号である。したがって、この２値化符号に適用する確率テーブルを切り換えることにより、データ圧縮の効率を効果的に向上することができる。あるいは、他の符号位置（Ｂｉｎ＿ｎｏ．）に対する確率テーブルも同様に切り換えても良い。
【０１１２】
図１６は、上記した最初の符号化対象となるＤＣＴ係数に対する確率テーブルの切り換えによる符号量の低減効果について示す表である。この表では、従来のＨ．２６Ｌ符号化方式のＣＡＢＡＣを用いて画像を符号化した場合の符号量、最初の符号化対象となるＤＣＴ係数に対する確率テーブルを切り換えた本発明の方法を用いて画像を符号化した場合の符号量、及び確率テーブルを切り換える方法を用いたことによる符号量の低減率を示している。
【０１１３】
ここで、符号量の低減率をみるための符号化対象の画像データ、及び画像符号化に用いる量子化パラメータＱＰについては、（ａ）テスト画像「Foreman」でＱＰ＝２４、（ｂ）テスト画像「Foreman」でＱＰ＝１６、（ｃ）テスト画像「Stefan」でＱＰ＝２４、及び（ｄ）テスト画像「Stefan」でＱＰ＝１６、の４つの条件で画像符号化を行った。
【０１１４】
図１６の表に示すように、４つの条件での画像符号化のすべてにおいて、確率テーブルの切り換えによる符号量の低減効果が得られている。また、テスト画像「Foreman」及び「Stefan」のいずれにおいても、量子化パラメータＱＰが大きくＤＣＴ係数が０となる確率が高い条件の方が、より大きい低減効果が得られている。
【０１１５】
次に、図１３Ｂに示した区分方法でＤＣＴ係数を２つの係数群に区分した場合における具体的な確率テーブルの切り換え方法の例について説明する。周波数画像データであるＤＣＴ係数では、一般に、低周波数域から高周波数域へと移行するにしたがって係数値が小さくなる。このため、低周波数域の第１係数群Ｇ１と、高周波数域の第２係数群Ｇ２とでは、ＤＣＴ係数における０でない有効なデータの終端を示すＥＯＢの出現確率が異なる。
【０１１６】
したがって、第１係数群Ｇ１と第２係数群Ｇ２とで、Ｂｉｎ＿ｎｏ．１に対するＥＯＢかどうかを示す確率テーブルを切り換えれば、生成される符号化データでの冗長度を低減することができる。また、ＥＯＢ以外についての確率テーブルを切り換えても良い。
【０１１７】
この場合の確率テーブルの切り換え方法としては、例えば、ＤＣＴ係数の量子化に用いられた量子化パラメータＱＰを参照して、第１係数群Ｇ１と第２係数群Ｇ２とで確率テーブルを切り換える方法がある。
【０１１８】
ＤＣＴ係数を量子化した場合、量子化されたＤＣＴ係数のデータ特性は、量子化に用いられた量子化パラメータの影響を受ける。例えば、ＥＯＢについての確率テーブルの切り換えを考えると、量子化パラメータが大きくなれば、ＥＯＢはより低周波数側のＤＣＴ係数で発生しやすくなる。したがって、量子化パラメータを参照して確率テーブルを切り換えることにより、量子化条件に応じて符号化データでの冗長度を低減させて、データ圧縮の効率を向上することができる。この場合、係数群Ｇ１、Ｇ２の区分位置を変動させることによって、確率テーブルを切り換えても良い。
【０１１９】
また、上記した確率テーブルの切り換えまたは係数群の区分位置の変動については、ブロックＣに対して隣接ブロックＡ、Ｂを参照する図１４に示したコンテキストモデリングを用いて行うことも可能である。例えば、一般的な画像においては、直流成分のみの画像ブロックが連続する場合など、ＥＯＢの出現位置が空間的に連続する傾向がある。したがって、左側及び上側の２個の隣接ブロックＡ、Ｂそれぞれにおける処理結果でのＥＯＢの位置を参照するコンテキストモデリングを行えば、ブロックＣの符号化データでの冗長度を低減することができる。
【０１２０】
具体的には、例えば、隣接ブロックＡ、ＢでのＥＯＢの位置を参照し、そのＥＯＢの位置をブロックＣでの係数群Ｇ１、Ｇ２の区分位置として、係数群Ｇ１とＧ２とで異なる確率テーブルを用いる方法がある。この場合、隣接ブロックＡ、ＢでＥＯＢの位置が異なる場合には、そのうちの高周波数側、低周波数側、または平均値の位置を選択して用いるなど、所定の方法でブロックＣでの区分位置を設定することが好ましい。
【０１２１】
また、隣接ブロックＡ、Ｂともに０でない直交変換係数が存在しない場合や、イントラモードなどの異なる符号化モードを用いているなどの理由により、隣接ブロックＡ、Ｂを参照しての区分位置の設定ができない場合には、あらかじめ別に用意された確率テーブルを用いることが好ましい。
【０１２２】
また、設定される係数群の区分位置に上限または下限を設けておき、隣接ブロックＡ、ＢでのＥＯＢの位置がその範囲外となる場合には、上限または下限の区分位置を用いても良い。このような上限、下限を設ける場合には、直交変換係数の量子化に用いられる量子化パラメータを参照して設定することが好ましい。
【０１２３】
また、このような、ＥＯＢの位置を参照した確率テーブルの切り換えにおいても、具体的には、図８に示した２値化テーブルを考慮して、２値化パターンに含まれる最初の２値化符号であるＢｉｎ＿ｎｏ．１の２値化符号に対する確率テーブルを切り換えることが好ましい。
【０１２４】
また、確率テーブルの切り換えについては、ＥＯＢの位置等を参照した確率テーブルの切り換え以外にも様々な方法を用いることができる。例えば、隣接ブロックでの動きベクトルや符号化モード、ＤＣＴ係数の大きさや０でない係数の数等を参照しても良い。
【０１２５】
図１７は、本発明による画像伝送システム（例えばモバイル映像伝送システム）の一実施形態の構成を示す模式図である。本画像伝送システムは、図５に示した画像符号化方法が実現される画像符号化装置（例えば図６に示す画像符号化装置）１と、図９に示した画像復号方法が実現される画像復号装置（例えば図１０に示す画像復号装置）２とを備えて構成される。
【０１２６】
本システムにおいて、入力フレーム画像Ｄ１は、画像符号化装置１において符号化されて符号化データＤ７が生成され、有線または無線の所定の伝送路へと出力される。そして、画像符号化装置１から伝送路を伝送された符号化データＤ７は、画像復号装置２に入力され、出力フレーム画像Ｄ１０として復元される。
【０１２７】
このような画像伝送システムによれば、符号化対象となる画像データの特性が符号化条件に反映されてデータ圧縮の効率が向上された符号化データを用いて、効率的に画像を伝送することができる。
【産業上の利用可能性】
【０１２８】
本発明による画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムは、符号化対象となる画像データの特性が符号化条件に反映されて、符号化データでのデータ圧縮の効率を向上することが可能な方法及び装置等として利用可能である。
【０１２９】
すなわち、直交変換係数と符号化データとの間での算術符号化または復号において、符号化対象となる直交変換係数の空間周波数に依存したデータ特性を考慮し、複数の直交変換係数のうちの所定の直交変換係数について算術符号化に用いる確率テーブルを切り換える構成によれば、画像データである直交変換係数自体が持つデータ特性が、算術符号化での符号化条件に対して反映される。したがって、画像データの冗長度を効果的に除去して、符号化データでのデータ圧縮の効率を向上することが可能となる。
【図面の簡単な説明】
【０１３０】
【図１】算術符号化に用いられる確率テーブルの一例を示す表である。
【図２】図１に示した確率テーブルを用いた文字列の符号化について示す図である。
【図３】図１に示した確率テーブルを用いた文字列の復号について示す図である。
【図４】算術符号化を用いた画像符号化方法の一例を示すフローチャートである。
【図５】画像符号化方法の一実施形態を概略的に示すフローチャートである。
【図６】画像符号化装置の一実施形態の構成を示すブロック図である。
【図７Ａ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｂ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｃ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｄ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｅ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｆ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｇ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｈ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｉ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図７Ｊ】動き補償に用いられる符号化モードの一例を示す模式図である。
【図８Ａ】画像データの直交変換について示す図である。
【図８Ｂ】画像データの直交変換について示す図である。
【図９】画像復号方法の一実施形態を概略的に示すフローチャートである。
【図１０】画像復号装置の一実施形態の構成を示すブロック図である。
【図１１Ａ】ＤＣＴ係数の算術符号化について示す図である。
【図１１Ｂ】ＤＣＴ係数の算術符号化について示す図である。
【図１１Ｃ】ＤＣＴ係数の算術符号化について示す図である。
【図１１Ｄ】ＤＣＴ係数の算術符号化について示す図である。
【図１２】Ｌｅｖｅｌデータの２値化に用いられる２値化テーブルの例を示す表である。
【図１３Ａ】確率テーブルを切り換えるためのＤＣＴ係数の区分方法の例を示す図である。
【図１３Ｂ】確率テーブルを切り換えるためのＤＣＴ係数の区分方法の例を示す図である。
【図１４】符号化対象のブロックＣに対して、隣接ブロックＡ、Ｂを参照するコンテキストモデリングについて示す図である。
【図１５】隣接ブロックＡ、Ｂにおける０でないＤＣＴ係数の有無と、ブロックＣにおけるＤＣＴ係数が０である確率との相関を示す表である。
【図１６】ＤＣＴ係数に対する確率テーブルの切り換えによる符号量の低減効果について示す表である。
【図１７】画像伝送システムの一実施形態の構成を示す模式図である。
【符号の説明】
【０１３１】
１１…動き検出部、１２…動き補償部、１３…減算器、１４…直交変換部、１５…量子化部、１６…可変長符号化部、１７…逆量子化部、１８…逆直交変換部、１９…加算器、 ２０…フレームメモリ、 ２１…可変長復号部、２２…逆量子化部、２３…逆直交変換部、２４…動き補償部、２５…フレームメモリ、２６…加算器、 Ｄ１…入力フレーム画像、Ｄ２…動きベクトル、Ｄ３…符号化モード情報、Ｄ４…予測フレーム画像、Ｄ５…差分フレーム画像、Ｄ６…直交変換係数、Ｄ７…符号化データ、Ｄ８…局所復号画像、Ｄ９…復元差分フレーム画像、Ｄ１０…出力フレーム画像。
Claims (34)
- 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化方法であって、
前記ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換ステップと、
所定の確率テーブルを用いた算術符号化によって前記複数の直交変換係数を可変長符号化して、符号化データを生成する符号化ステップとを備え、
前記符号化ステップにおいて、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記符号化ステップにおいて、前記ブロックの隣接ブロックにおける画像符号化の処理結果として前記隣接ブロックにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする画像符号化方法。 - 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化方法であって、
前記ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換ステップと、
所定の確率テーブルを用いた算術符号化によって前記複数の直交変換係数を可変長符号化して、符号化データを生成する符号化ステップとを備え、
前記符号化ステップにおいて、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記符号化ステップにおいて、前記複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、前記確率テーブルを切り換えることを特徴とする画像符号化方法。 - 前記符号化ステップにおいて、前記複数の直交変換係数を、前記空間周波数の値が低い第１係数群、及び前記空間周波数の値が高い第２係数群に分け、前記第１係数群と前記第２係数群とで適用する前記確率テーブルを切り換えることを特徴とする請求項１または２記載の画像符号化方法。
- 前記第１係数群は、最初の符号化対象となる直交変換係数からなることを特徴とする請求項３記載の画像符号化方法。
- 前記符号化ステップにおいて、前記隣接ブロックにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項１記載の画像符号化方法。
- 前記符号化ステップにおいて、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項５記載の画像符号化方法。
- 前記符号化ステップにおいて、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする請求項１記載の画像符号化方法。
- 前記符号化ステップにおいて、前記複数の直交変換係数を２値化して、得られた２値化パターンを算術符号化によって可変長符号化するとともに、前記２値化パターンに含まれる最初の２値化符号について、適用する前記確率テーブルを切り換えることを特徴とする請求項１〜７のいずれか一項記載の画像符号化方法。
- 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、
所定の確率テーブルを用いた逆算術符号化によって前記符号化データを可変長復号して、複数の直交変換係数を生成する復号ステップと、
前記複数の直交変換係数に対して逆直交変換を行って、前記ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換ステップとを備え、
前記復号ステップにおいて、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記復号ステップにおいて、前記ブロックの隣接ブロックにおける画像符号化の処理結果として前記隣接ブロックにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする画像復号方法。 - 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号方法であって、
所定の確率テーブルを用いた逆算術符号化によって前記符号化データを可変長復号して、複数の直交変換係数を生成する復号ステップと、
前記複数の直交変換係数に対して逆直交変換を行って、前記ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換ステップとを備え、
前記復号ステップにおいて、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記復号ステップにおいて、前記複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、前記確率テーブルを切り換えることを特徴とする画像復号方法。 - 前記復号ステップにおいて、前記複数の直交変換係数を、前記空間周波数の値が低い第１係数群、及び前記空間周波数の値が高い第２係数群に分け、前記第１係数群と前記第２係数群とで適用する前記確率テーブルを切り換えることを特徴とする請求項９または１０記載の画像復号方法。
- 前記第１係数群は、最初の符号化対象となる直交変換係数からなることを特徴とする請求項１１記載の画像復号方法。
- 前記復号ステップにおいて、前記隣接ブロックにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項９記載の画像復号方法。
- 前記復号ステップにおいて、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項１３記載の画像復号方法。
- 前記復号ステップにおいて、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする請求項９記載の画像復号方法。
- 前記復号ステップにおいて、前記符号化データを逆算術符号化によって可変長復号して得られた２値化パターンを逆２値化して、前記複数の直交変換係数を生成するとともに、前記２値化パターンに含まれる最初の２値化符号について、適用する前記確率テーブルを切り換えることを特徴とする請求項９〜１５のいずれか一項記載の画像復号方法。
- 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化装置であって、
前記ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換手段と、
所定の確率テーブルを用いた算術符号化によって前記複数の直交変換係数を可変長符号化して、符号化データを生成する符号化手段とを備え、
前記符号化手段は、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記符号化手段は、前記ブロックの隣接ブロックにおける画像符号化の処理結果として 前記隣接ブロックにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする画像符号化装置。 - 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化する符号化装置であって、
前記ブロック内にある画像の空間座標によって表された画像データに対して直交変換を行って、複数の直交変換係数を生成する直交変換手段と、
所定の確率テーブルを用いた算術符号化によって前記複数の直交変換係数を可変長符号化して、符号化データを生成する符号化手段とを備え、
前記符号化手段は、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記符号化手段は、前記複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、前記確率テーブルを切り換えることを特徴とする画像符号化装置。 - 前記符号化手段は、前記複数の直交変換係数を、前記空間周波数の値が低い第１係数群、及び前記空間周波数の値が高い第２係数群に分け、前記第１係数群と前記第２係数群とで適用する前記確率テーブルを切り換えることを特徴とする請求項１７または１８記載の画像符号化装置。
- 前記第１係数群は、最初の符号化対象となる直交変換係数からなることを特徴とする請求項１９記載の画像符号化装置。
- 前記符号化手段は、前記隣接ブロックにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項１７記載の画像符号化装置。
- 前記符号化手段は、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項２１記載の画像符号化装置。
- 前記符号化手段は、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする請求項１７記載の画像符号化装置。
- 前記符号化手段は、前記複数の直交変換係数を２値化して、得られた２値化パターンを算術符号化によって可変長符号化するとともに、前記２値化パターンに含まれる最初の２値化符号について、適用する前記確率テーブルを切り換えることを特徴とする請求項１７〜２３のいずれか一項記載の画像符号化装置。
- 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、
所定の確率テーブルを用いた逆算術符号化によって前記符号化データを可変長復号して、複数の直交変換係数を生成する復号手段と、
前記複数の直交変換係数に対して逆直交変換を行って、前記ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換手段とを備え、
前記復号手段は、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記復号手段は、前記ブロックの隣接ブロックにおける画像符号化の処理結果として前記隣接ブロックにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする画像復号装置。 - 画像を所定サイズのブロックに分割し、前記ブロック毎に画像データを符号化した符号化データを復号する復号装置であって、
所定の確率テーブルを用いた逆算術符号化によって前記符号化データを可変長復号して、複数の直交変換係数を生成する復号手段と、
前記複数の直交変換係数に対して逆直交変換を行って、前記ブロック内にある画像の空間座標によって表された画像データを生成する逆直交変換手段とを備え、
前記復号手段は、前記複数の直交変換係数のうちの所定の直交変換係数について、その直交変換係数での空間周波数の値に応じて適用する前記確率テーブルを切り換えるとともに、
前記復号手段は、前記複数の直交変換係数の量子化に用いられた量子化パラメータを参照して、前記確率テーブルを切り換えることを特徴とする画像復号装置。 - 前記復号手段は、前記複数の直交変換係数を、前記空間周波数の値が低い第１係数群、及び前記空間周波数の値が高い第２係数群に分け、前記第１係数群と前記第２係数群とで適用する前記確率テーブルを切り換えることを特徴とする請求項２５または２６記載の画像復号装置。
- 前記第１係数群は、最初の符号化対象となる直交変換係数からなることを特徴とする請求項２７記載の画像復号装置。
- 前記復号手段は、前記隣接ブロックにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項２５記載の画像復号装置。
- 前記復号手段は、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果での０でない前記直交変換係数の有無を参照して、前記確率テーブルを切り換えることを特徴とする請求項２９記載の画像復号装置。
- 前記復号手段は、前記ブロックの左側に位置する前記隣接ブロックと、上側に位置する前記隣接ブロックとのそれぞれにおける前記処理結果でのＥＯＢの位置を参照して、前記確率テーブルを切り換えることを特徴とする請求項２５記載の画像復号装置。
- 前記復号手段は、前記符号化データを逆算術符号化によって可変長復号して得られた２値化パターンを逆２値化して、前記複数の直交変換係数を生成するとともに、前記２値化パターンに含まれる最初の２値化符号について、適用する前記確率テーブルを切り換えることを特徴とする請求項２５〜３１のいずれか一項記載の画像復号装置。
- 請求項１〜８のいずれか一項記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
- 請求項９〜１６のいずれか一項記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001352377 | 2001-11-16 | ||
| JP2001352377 | 2001-11-16 | ||
| PCT/JP2002/012012 WO2003043346A1 (en) | 2001-11-16 | 2002-11-18 | Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003043346A1 JPWO2003043346A1 (ja) | 2005-03-10 |
| JP3764457B2 true JP3764457B2 (ja) | 2006-04-05 |
Family
ID=19164563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003545046A Expired - Fee Related JP3764457B2 (ja) | 2001-11-16 | 2002-11-18 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7251371B2 (ja) |
| EP (3) | EP2222084A2 (ja) |
| JP (1) | JP3764457B2 (ja) |
| CN (1) | CN100499810C (ja) |
| WO (1) | WO2003043346A1 (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
| US20050259734A1 (en) * | 2004-05-21 | 2005-11-24 | Timothy Hellman | Motion vector generator for macroblock adaptive field/frame coded video data |
| JP4799377B2 (ja) * | 2006-11-17 | 2011-10-26 | キヤノン株式会社 | 画像符号化装置 |
| KR101539240B1 (ko) * | 2007-06-14 | 2015-07-30 | 삼성전자주식회사 | 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치 |
| US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
| JP4382840B2 (ja) * | 2007-08-20 | 2009-12-16 | Ｎｔｔエレクトロニクス株式会社 | ２値算術符号化装置 |
| EP2106148A3 (en) * | 2008-03-28 | 2010-11-03 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding/decoding information about intra-prediction mode of video |
| JP5258664B2 (ja) * | 2009-04-14 | 2013-08-07 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム |
| CN104270636B (zh) * | 2009-05-29 | 2018-11-09 | 三菱电机株式会社 | 图像编码装置以及图像编码方法 |
| CN101646086B (zh) * | 2009-08-21 | 2011-07-20 | 香港应用科技研究院有限公司 | 用于4×4块变换系数标示的前文参考模型化的方法及装置 |
| JP5389187B2 (ja) * | 2009-10-29 | 2014-01-15 | パナソニック株式会社 | 画像符号化方法および画像符号化装置 |
| WO2011087320A2 (ko) | 2010-01-15 | 2011-07-21 | 삼성전자 주식회사 | 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 부호화 방법 및 장치, 예측 부호화를 위해 가변적인 파티션을 이용하는 비디오 복호화 방법 및 장치 |
| JP5706771B2 (ja) | 2010-07-30 | 2015-04-22 | キヤノン株式会社 | 動画像の予測符号化装置及びその制御方法、コンピュータプログラム |
| US9042440B2 (en) * | 2010-12-03 | 2015-05-26 | Qualcomm Incorporated | Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding |
| US20120163456A1 (en) | 2010-12-22 | 2012-06-28 | Qualcomm Incorporated | Using a most probable scanning order to efficiently code scanning order information for a video block in video coding |
| KR101888218B1 (ko) * | 2011-01-19 | 2018-08-13 | 선 페이턴트 트러스트 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치 |
| US20120207400A1 (en) * | 2011-02-10 | 2012-08-16 | Hisao Sasai | Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus |
| US20120230418A1 (en) | 2011-03-08 | 2012-09-13 | Qualcomm Incorporated | Coding of transform coefficients for video coding |
| US9106913B2 (en) | 2011-03-08 | 2015-08-11 | Qualcomm Incorporated | Coding of transform coefficients for video coding |
| US9167253B2 (en) | 2011-06-28 | 2015-10-20 | Qualcomm Incorporated | Derivation of the position in scan order of the last significant transform coefficient in video coding |
| WO2013096671A1 (en) * | 2011-12-20 | 2013-06-27 | General Instrument Corporation | Method and apparatus for efficient transform unit encoding |
| KR20130086004A (ko) * | 2012-01-20 | 2013-07-30 | 삼성전자주식회사 | 병렬 처리가 가능한 엔트로피 부호화 방법 및 장치, 병렬 처리가 가능한 엔트로피 복호화 방법 및 장치 |
| JP6156723B2 (ja) * | 2012-03-08 | 2017-07-05 | サン パテント トラスト | 画像符号化方法、画像復号化方法、画像符号化装置および画像復号化装置 |
| AU2012232992A1 (en) * | 2012-09-28 | 2014-04-17 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding the transform units of a coding unit |
| US20150189269A1 (en) * | 2013-12-30 | 2015-07-02 | Google Inc. | Recursive block partitioning |
| US9877048B2 (en) * | 2014-06-09 | 2018-01-23 | Qualcomm Incorporated | Entropy coding techniques for display stream compression (DSC) |
| KR101573334B1 (ko) | 2014-08-07 | 2015-12-01 | 삼성전자주식회사 | 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치 |
| KR101540563B1 (ko) | 2014-12-01 | 2015-08-06 | 삼성전자주식회사 | 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치 |
| KR101573684B1 (ko) | 2015-03-16 | 2015-12-11 | 삼성전자주식회사 | 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치 |
| US10171810B2 (en) | 2015-06-22 | 2019-01-01 | Cisco Technology, Inc. | Transform coefficient coding using level-mode and run-mode |
| KR101573340B1 (ko) | 2015-06-24 | 2015-12-11 | 삼성전자주식회사 | 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치 |
| KR101731431B1 (ko) | 2015-11-25 | 2017-04-28 | 삼성전자주식회사 | 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1296430C (en) * | 1986-11-10 | 1992-02-25 | Masahide Kaneko | Encoding system capable of accomplishing a high efficiency by anterior and/or posterior processing to quantization |
| JP2839339B2 (ja) * | 1990-08-06 | 1998-12-16 | 松下電器産業株式会社 | 直交変換符号化装置および直交変換符号化方法 |
| KR0141824B1 (ko) * | 1991-12-23 | 1998-07-15 | 구자홍 | 가변길이의 적응 영상 압축 방법 및 장치 |
| US5376968A (en) * | 1993-03-11 | 1994-12-27 | General Instrument Corporation | Adaptive compression of digital video data using different modes such as PCM and DPCM |
| KR0155784B1 (ko) * | 1993-12-16 | 1998-12-15 | 김광호 | 영상데이타의 적응형 가변장 부호화/복호화방법 |
| JP3305140B2 (ja) * | 1994-12-28 | 2002-07-22 | キヤノン株式会社 | 符号化装置及び方法 |
| JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化／復号化方法及び装置 |
| US6259738B1 (en) * | 1996-10-31 | 2001-07-10 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| JP3222876B2 (ja) * | 1996-11-07 | 2001-10-29 | 松下電器産業株式会社 | 画像符号化方法および画像符号化装置並びに画像符号化プログラムを記録した記録媒体 |
-
2002
- 2002-11-18 EP EP20100162717 patent/EP2222084A2/en not_active Withdrawn
- 2002-11-18 WO PCT/JP2002/012012 patent/WO2003043346A1/ja active Application Filing
- 2002-11-18 EP EP02780117A patent/EP1445955A4/en not_active Withdrawn
- 2002-11-18 CN CNB028082427A patent/CN100499810C/zh not_active Expired - Fee Related
- 2002-11-18 JP JP2003545046A patent/JP3764457B2/ja not_active Expired - Fee Related
- 2002-11-18 EP EP20100162686 patent/EP2222083A2/en not_active Withdrawn
-
2003
- 2003-10-22 US US10/475,570 patent/US7251371B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003043346A8 (en) | 2005-03-24 |
| CN100499810C (zh) | 2009-06-10 |
| US7251371B2 (en) | 2007-07-31 |
| EP2222083A2 (en) | 2010-08-25 |
| JPWO2003043346A1 (ja) | 2005-03-10 |
| US20040131272A1 (en) | 2004-07-08 |
| EP1445955A4 (en) | 2009-10-28 |
| CN1633811A (zh) | 2005-06-29 |
| EP2222084A2 (en) | 2010-08-25 |
| WO2003043346A1 (en) | 2003-05-22 |
| EP1445955A1 (en) | 2004-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3764457B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
| JP3764458B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
| US10602181B2 (en) | Apparatus for decoding an image | |
| RU2739729C1 (ru) | Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы | |
| JP4700491B2 (ja) | 適応係数スキャン順序付け | |
| US9113163B2 (en) | Method of decoding moving picture | |
| JP3842803B2 (ja) | 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び信号復号プログラム | |
| KR101717510B1 (ko) | 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법 | |
| CN101132534A (zh) | 用于自适应块变换的基于上下文的自适应可变长度编码 | |
| JP3778913B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム | |
| CN104956674A (zh) | 用于最末重要系数位置编码中的上下文减少的设备和方法 | |
| JP2005176073A (ja) | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム | |
| JP2012023613A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| KR20180096194A (ko) | 변환 계수 부호화 및 복호화 장치와 이를 구비하는 부호화 장치 및 복호화 장치 | |
| JP3491001B1 (ja) | 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム | |
| CN111264060A (zh) | 动态图像编码装置、动态图像编码方法、动态图像编码用计算机程序、动态图像解码装置、动态图像解码方法和动态图像解码用计算机程序 | |
| JP5469931B2 (ja) | 動画像復号化方法、動画像符号化方法 | |
| JP6485045B2 (ja) | インデックス演算装置、プログラム及び方法 | |
| WO2011083520A1 (ja) | 動画像符号化装置および動画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3764457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090127 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140127 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |