JP4281667B2 - 画像符号化装置 - Google Patents

Description

本発明は画像を符号化するための画像符号化装置、及び画像符号化方法に関し、特にこれらを用いた画像記録装置、プレーヤ、携帯電話、デジタルカメラ等の装置に関する。

大容量の映像、音声情報をデジタルデータ化して記録、伝達する手法として、MPEG(Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、H.264/AVC(Advanced Video Coding)規格等が定められている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
H.264/AVC規格を例に挙げて、以下説明する。H.264/AVC規格では、これまでMPEG等で用いられてきた、動き補償予測やDCT(Discrete Cosine Transform)による算術符号化の技術に加え、イントラ予測符号化と呼ばれるイントラフレーム内における符号化済み隣接ブロックからの信号レベル予測技術が採用されている。またインター予測においても、これまでマクロブロック単位で行われていた動き補償予測が、さらに小さい単位であるサブマクロブロック単位で行うことができるようになっている。サブマクロブロックのサイズは16×8画素、8×16画素、8×8画素など様々な種類があり、圧縮効率に有利なように画像に応じて選択することができる（例えば非特許文献１参照）。このように各マクロブロックにおいて様々な符号化の条件を選ぶことができるが、これらの条件を符号化モードと呼ぶ。符号化モードをいかに適切に選択するかによって符号化効率に大きな影響を与えるが、これを判定する方式としてRate-Distortion最適化方式が提案されている（非特許文献２参照）。この方式は、各マクロブロックについて全てのモードについて符号量と復号後の原画との符号化誤差を計算し、コスト計算式に従って最も良いモードを選択する方式となっている。

また一方で、量子化パラメータも符号化効率に大きな影響を与える要素である。量子化ステップは量子化パラメータによって決定されるが、これによって符号量と符号化誤差が決定される。一般的には量子化パラメータが大きいほど符号量は小さく、符号化誤差は大きくなる傾向があるが、実際には必ずしもこの通りにはならない。量子化パラメータの決定方法としては、例えば特許文献３に記載されている。この方式では、異なる量子化パラメータによって符号化を行い、量子化誤差を計算することによって量子化パラメータを決定している。しかしこの方式は量子化誤差を評価基準として用いているため、符号化誤差と異なり、必ずしも最も効率的な量子化パラメータを選択するとは限らないという問題点がある。

Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG : "Text of International Standard of Joint Video Specification", ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding, (December, 2003).

Gary Sullivan and Thomas Wiegand : "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90 (November, 1998). 特開平８−１３０４７９号公報

上記のように既存の量子化パラメータ決定方法では、符号量と量子化誤差を評価基準として用いていた。しかしこの方法では、符号化後のデータを復号化した画像を用いていないので、原画像との正確な誤差を求めているわけではなく、必ずしも最も効率的な量子化パラメータを選択できるとは限らないという問題点があった。

また、既存の量子化パラメータ決定方法では、上記のようなRate-Distortion最適化によるモード選択方式が考慮されていなかった。すなわち、複数の量子化パラメータを用いて符号量の計算を行い、最適な量子化パラメータの選択を行う際に、複数の符号化モードの候補に対してどのような評価を行うかが決まっていなかったため、モード選択と量子化パラメータ選択を同時に行うことができなかった。

本発明は上記従来技術を鑑みて、符号化モード選択と量子化パラメータ選択を同時に行うための評価基準を与え、これにより符号化効率に対して最適なモード、及び量子化パラメータを選択するための方式と、これを行う画像符号化装置を提供するものである。

本発明において、上記の課題を解決するためには、例えば特許請求の範囲に記載されるように構成すればよい。

本発明により、複数の符号化モードの中から適切なものを選択する符号化モード選択と、複数の量子化パラメータから適切なものを選択する量子化パラメータ選択を同時に行うことができるようになり、既存の方式に比べ同じビットレートでより高い画質で画像符号化を行うことができ、またレートコントロールによる符号量調節では、より正確なビットレートの割当が可能になり、これらに対応した高性能な画像符号化装置を実現できる。

以下、本発明の実施例を図示により説明する。
図１に本発明による画像符号化装置の一実施例を示し、その特徴について述べる。
図１は画像符号化装置におけるマクロブロックに関する処理部分について説明した図である。本処理部はおおまかに、モード制御部(101)、複数の予測誤差計算部(102)(105)、量子化制御部(106)、複数の符号化誤差計算部(111)〜(115)、モード・量子化判定部(116)、復号画像メモリ(118)、予測画像メモリ(117)からなる。予測誤差計算部はそれぞれイントラ・インター予測部(103)とDCT変換部(104)を持つ。また符号化誤差計算部はそれぞれ量子化部(107)、係数符号化部(108)、逆量子化部(109)、逆DCT変換部(110)を持つ。なお原画像に関しては、上記各部から適宜アクセス可能とする。

まずモード制御部(101)は、マクロブロックの符号化において候補となる複数の符号化モードについて並列処理可能なように処理を分割する。例えば符号化モードは大まかにイントラ符号化とインター符号化に分けられる。イントラ符号化においては、H.264/AVC規格では4×4画素サイズで予測処理を行うイントラ4×4モードと、16×16画素サイズで予測処理を行うイントラ16×16モードがある。またインター符号化には、前方予測を行うＰピクチャ符号化、前方後方予測を行うＢピクチャ符号化があり、動き補償予測を行うブロックサイズとして、16×16画素、16×8画素、8×16画素、8×8画素等いろいろなサイズ及び分割の方法を選ぶことができる。これら個々の予測符号化方式をモードと呼ぶ。候補となるモードの数だけ処理を分割し、それぞれのモードに関して予測誤差計測部(102)にて処理を行う。

予測誤差計測部(102)はイントラ・インター予測部(103)とDCT変換部(104)を持つ。イントラ・インター予測部(103)はマクロブロック単位での予測処理を行う。例えばイントラ16×16モードでは、隣り合うマクロブロックの境界画素から現マクロブロックの画素を予測し、原画像との差分を取る。またインター予測では、分割されたサブマクロブロックレベルで動きベクトル探索を行い、それぞれのサブマクロブロックに対して動き補償予測によって現画像との差分をとる。これらは既存の方式と同じイントラ・インター予測を行えばよい。次にDCT変換部(104)は上記の差分信号に対してDCT変換を行う。これは既存の画像符号化装置におけるDCT変換の処理と同様である。

次に量子化制御部(106)がそれぞれの符号化モードの候補において、複数の量子化パラメータ(QP)を割当て、並列に処理を分割する。例えば、ピクチャ単位でのレートコントロールやユーザの指定によって量子化パラメータがQP1と定められている時、一定の範囲、例えばQP=QP1±3についてQPを設定し、それぞれ符号化誤差計算部(111)〜(115)に割当てて処理を行う。この場合、７通りのQPについて処理が行われ、候補となるモードの数を６つとすると、７×６＝４２パターンの符号量と符号化誤差が計算されることになる。尚、本発明においては、QPを変化させて適切な値を選択することが大きな特徴であり、モードについては上記のように複数の候補について条件を調べて選択してもよいし、適当に一つのモードを選択し、それについてQPの決定を行ってもよい。

符号化誤差計算部(111)では、指定された符号化モードの指定された量子化パラメータについて符号量と符号化誤差の計算を行う。ここで符号化誤差とは、マクロブロックの符号化後のデータから復号処理した画像と原画像とを比較した時の誤差を言う。通常はSSD(Sum of Square Difference)が用いられるが、他の基準を用いてもよい。符号化誤差計算部(111)は量子化部(107)、係数符号化部(108)、逆量子化部(109)、逆DCT変換部(110)を持つ。量子化部(107)はDCT変換によって得られた残差信号の変換係数を指定された量子化パラメータに従って量子化する。係数符号化部(108)は量子化された変換係数を一定のスキャン順序と符号化方法に従って符号化データへと変換する。逆量子化部(109)は量子化された変換係数を逆量子化してDCT変換可能な変換係数へと戻す。逆DCT変換部(110)は変換係数を逆DCT変換し、復号された画素信号を出力する。これらはH.264/AVC規格に定められた方式を用いればよい。本発明において、符号化誤差計算部(111)に逆DCT変換部(110)を持つことが大きな特徴である。例えば逆DCT変換を行わずに量子化誤差を評価基準として用る等ると、符号化後のデータを復号化した画像を用いないと原画像との正確な誤差を求めることができず、QPを変化させて調べても必ずしも最も効率的なQPを選択できるとは限らないという問題点があった。本発明では、逆DCT変換後の画像と原画像との差分を調べるため正確な誤差を計算することができ、より適切なQPを求めることができるという特徴がある。

次にモード・量子化判定部(116)が、上記の処理によって得られた各モードのそれぞれの量子化パラメータにおける符号化データ列と復号された画素信号から、符号量と符号化誤差を計算し、これを各モード・量子化パラメータの条件における符号化コストとして計算する。そして上記符号化データ列と復号画素信号をバッファに格納し、コスト計算の処理結果に従って最も適切な符号化モードと量子化パラメータを決定し、このデータを出力する。復号画素信号については、復号画像メモリ(118)に格納され、されにこれが予測画像メモリ(117)に転送されて予測参照画像として用いられる。
次に図２に本発明による画像符号化装置の一実施例について、その一部を詳しく示し、特徴について説明する。図２は本発明によるモード・量子化判定部(116)の実装を詳しく示した図である。

モード・量子化判定部(116)は、符号量計測部(201)、符号化誤差計測部(202)、バッファ(203)、コスト計算部(204)を持つ。符号量計測部(201)は上記の係数符号化部(108)から得られた符号化データ列から符号量の計測を行うビット量のカウンタである。符号化誤差計測部(202)は上記の逆DCT変換部(110)から得られた復号画素信号と原画像の信号から、当該マクロブロックの符号化誤差を計測する。復号画素信号と原画像を用いることにより正確な符号化誤差を求めることができる。これにより、既存の方法よりも正確な量子化パラメータを求めることができる。バッファ(203)は符号化データと復号画素信号を格納しておくメモリである。これらを格納しておき、コスト計算部(204)の指示によって出力すべきモード・量子化パラメータが決定した時、該当する符号化データと復号画素信号を出力する。コスト計算部(204)は、符号化モードと量子化パラメータの判定基準となるコストの計算を行う。コストの計算は符号量と符号化誤差の積、あるいは線形結合等を用いればよい。例えば、Rate-Distortion最適化方式ならば、下記数式１を用いればよい。

ここでJがコストを示し、SSDは復号画像と原画像の差分の二乗和、Bitsは符号量を示す。λはラグランジュパラメータを示し、cは定数であるがH.264/AVCではc=0.85が用いられている。QPは量子化パラメータである。Jが最も小さくなる符号化モードと量子化パラメータの組合せを求め、これを最もよい符号化モード、量子化パラメータとして設定する。この例ではモード判定と量子化パラメータの判定基準を一つの式で示しているが、まず同じQPの複数のモードに対して上記の式でモードの選択を行い、その後にQPの選択に関しては、基準のQPよりもSSDが小さく、かつBitsが最も小さいものを一番良い量子化パラメータとして選ぶ等、段階的にモード選択と量子化パラメータ選択を行ってもよい。また上記の式ではSSDを輝度成分(Luma)と色差成分(Chroma)のSSDを合計したものとしているが、Lumaのみ、あるいはChromaのみで判定してもよい。λに関しては、他の式を用いてもよい。例えば数式２を用いた方がより適切な値を選択できる場合もある。

また、より正確には回帰分析を用いてλを求めてもよい。例えば、符号量BitsをSSDの関数としてR(SSD)と置いた時、分布が数式３に従うと仮定して最小二乗法を用いてaを求める。そして次に計測されたSSDに対して数式４を用いてλを求める。求められたλを同じQP毎に平均を取って、これを用いれば、コストJをより正確に求めることができる。

このようにして、適切なモードと量子化パラメータが選択される。

図３に本発明による画像符号化方法の一実施例を示し、その特徴について述べる。
まずステップ(301)において画像符号化におけるマクロブロック処理を開始する。
ステップ(302)ではモード制御を行う。上記のように複数の符号化モードに対して条件を切り替え、それぞれについて以下に示す処理を行っていく。各モードに関する処理は並列的に行われてもよいし、処理されたデータをバッファに格納しながら順番に行ってもよい。以下では複数のモードの処理を順番に行っていく方式について説明する。次にステップ(303)に進む。

ステップ(303)ではイントラ・インター予測を行う。イントラ予測・インター予測については前述の通りであり、既存の方式と同じイントラ・インター予測を行えばよい。次にステップ(304)ではDCT変換処理を行う。DCT変換処理は既存の方式と同様である。次にステップ(305)に進む。

ステップ(305)では量子化パラメータの制御を行う。現在処理中の符号化モードに対して、量子化パラメータを一定の範囲で変化させ、以下の処理を行う。例えば、基準となる量子化パラメータをQP1とする時、QP=QP1±3について処理を行う。次にステップ(306)に進む。

ステップ(306)では量子化処理を行う。ここではDCT変換によって得られた残差信号の変換係数を指定された量子化パラメータに従って量子化する。次にステップ(307)とステップ(310)に進み、それぞれ処理を行う。

ステップ(307)では逆量子化処理を行う。ここでは量子化された変換係数を逆量子化してDCT変換可能な変換係数へと戻す。次にステップ(308)では逆DCT変換を行う。逆DCT変換により変換係数は復号画素信号となる。さらにステップ(309)では符号化誤差の計測を行う。復号画素信号と原画像の信号から、当該マクロブロックのSSDを計測する。符号化誤差の基準としてはSSDではなくSAD(Sum of Absolute Difference)等の他の計算方式を用いてもよい。

ステップ(310)では係数の符号化処理を行う。ここでは量子化された変換係数を一定のスキャン順序と符号化方法に従って符号化データへと変換する。次にステップ(311)では符号量の計測を行う。上記の符号化データのビット量をカウントする。これらはH.264/AVC規格に定められた方式を用いればよい。

次にステップ(312)では量子化パラメータの判定を行う。ここでは、まずステップ(305)にて設定された範囲の量子化パラメータについて、全て符号量計測と符号化誤差計測が終了するまでステップ(305)からのループを継続する。そして候補となる量子化パラメータの全てについて計測が終了した後に、量子化パラメータの判定を行う。判定方法としては、前述の数式１を用いて、現在処理中の符号化モードの中でコストJが最も小さくなる量子化パラメータを適切な量子化パラメータとして設定する。量子化パラメータの選択に関しては、他の方法として、基準のQPにおける符号化時よりもSSDが小さく、かつBitsが最も小さいものを一番良い量子化パラメータとして選ぶ等してもよい。あるいは基準のQPにおける符号量より一定のビット量を超えないQPの条件に対し、SSDが最も小さくなる時のQPを一番良いものとして選択する方法を用いてもよい。SSDとしては、輝度成分(Luma)と色差成分(Chroma)のSSDを合計したものを用いてもよいし、どちらか一方を用いてもよい。次にステップ(313)に進む。

ステップ(313)ではモード判定を行う。ここでは、まずステップ(302)にて設定される全ての符号化モードの候補に対して量子化パラメータ設定と、符号量計測、符号化誤差計測が終了するまでステップ(302)からのループを継続する。そして候補となる符号化モードの全てについて計測が終了した後に、符号化モードの判定を行う。判定方法としては、前述の数式１を用いてコストJが最も小さくなる符号化モードを選択すればよい。これによって適切な量子化パラメータと符号化モードが選択される。選択された量子化パラメータと符号化モードについて、符号化データと復号画像を出力し、マクロブロックでの処理が終了する。

次に図４を用いて本発明による画像符号化方法の他の例を示し、その特徴について述べる。
図４の流れ図は図３と比べて、ステップ(305)とステップ(312)によって繰り返し行われる量子化パラメータ制御と量子化パラメータ判定のループと、ステップ(302)とステップ(313)によって行われるモード制御、モード判定のループの順序を逆にしたものである。その他の処理については、前述の図３の方法と同じである。量子化パラメータ判定と、符号化モード判定の順序を変えても同様の処理を行うことができる。但し、例えば量子化パラメータの判定を行う時に、QPを徐々に大きくしていき、符号化誤差が一定の値を超えたときにはそれ以上QPを大きくせず、それまでに処理を行ったQPの範囲内で量子化パラメータを選択する場合など、途中で処理を切り上げて高速化する場合には図３の方法が処理速度を上げることができる。一方で、選択されたモードによって量子化パラメータの設定範囲を変化させ、より柔軟な量子化パラメータの設定を行いたい場合には、図４の方法が有利となる。

上記のような方法により、適切な符号化モードと量子化パラメータを同時に設定することが可能な画像符号化装置を実現できる。
なお、前記実施例ではH.264/AVCによる画像符号化装置を例に挙げて説明してきたが、本発明の適用はこれに限定されるものではなく、（ＴＶ会議システム、映像アーカイブシステム、映像監視システム、デジタルビデオレコーダ、デジタルビデオカメラ、カメラ付携帯電話等の画像符号化を用いる機器等にも用いることができる。

本発明で用いる画像符号化装置の一実施例の説明図である。 本発明で用いる画像符号化装置の一部を詳細に示した図である。 本発明による画像符号化方法の一例を説明した図である。 本発明による画像符号化方法の他の一例を説明した図である。

符号の説明

101…モード制御部; 102,105…予測誤差計算部; 103…イントラ・インター予測部; 104…DCT変換部; 106…量子化制御部; 107…量子化部; 108…係数符号化部; 109…逆量子化部; 110…逆DCT変換部; 111, 112,113,114,115…符号化誤差計算部; 116…モード・量子化判定部; 117…予測画像メモリ; 118…復号画像メモリ; 201…符号量計測部; 202…符号化誤差計測部; 203…バッファ; 204…コスト計算部;。

Claims (2)

1. 入力された画像データを周波数変換する周波数変換部と、量子化パラメータの制御を行う量子化制御部と、該量子化制御部によって割り当てられた量子化パラメータを用いて上記周波数変換されたデータを量子化する量子化部と、該量子化された係数を符号化して、符号化データを生成する符号化部と、上記量子化部からの出力を逆量子化する逆量子化部と、逆量子化部からの出力を逆周波数変換し、復号画素信号を生成する逆周波数変換部と、
   をそれぞれ有し、互いに異なる複数の符号化モードと互いに異なる複数の量子化パラメータからなる組み合わせのそれぞれについて符号化誤差算出処理を行う複数の符号化データ・復号画素信号生成部と、
   前記複数の符号化データ・復号画素信号生成部を制御する制御部と、
   前記複数の符号化データ・復号画素信号生成部における前記複数の符号化モードと前記複数の量子化パラメータからなる組み合わせごとの前記逆周波数変換処理後の画像と原画像との差分に基づいて、前記複数の符号化モードと前記複数の量子化パラメータからなる組み合わせごとの符号化コストを算出し、前記複数の符号化データ・復号画素信号生成部における前記複数の符号化モードと前記複数の量子化パラメータからなる組み合わせのうちから、前記符号化コストが最小となる符号化モードと量子化パラメータとの組み合わせを求め、該組み合わせにおける符号化モードと量子化パラメータとを選択するモード量子化判定部と
   を備えることを特徴とする画像符号化装置。
2. 前記複数の符号化データ・復号画素信号生成部は、それぞれの符号化モードと量子化パラメータの組み合わせについて符号化誤差算出処理を並列的に行う
   ことを特徴とする請求項１に記載の画像符号化装置。

Images