JP5092558B2

JP5092558B2 - 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置

Info

Publication number: JP5092558B2
Application number: JP2007152242A
Authority: JP
Inventors: 智一村上; 昌史高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-06-08
Filing date: 2007-06-08
Publication date: 2012-12-05
Anticipated expiration: 2027-06-08
Also published as: EP2001238A2; JP2008306510A; EP2001238A3; US20080304572A1

Description

本発明は画像を符号化する画像符号化方法、画像符号化装置、符号化画像データを復号化する画像復号化方法及び画像符号化装置に関する。

画像、音声情報をデジタルデータ化して記録、伝達する手法として、H.264/AVC(Advanced Video Coding)規格が定められている。

H.264/AVC方式では、マクロブロックと呼ばれる各フレームの符号化単位において、様々な予測符号化のパターンの中から符号量に対する画質が最も高くなるパターンを選ぶことができるようになっている。こうした符号化のパターンを符号化モードと呼ぶ。（非特許文献１参照）
H.264/AVC方式における符号化モードについては、画像を16×16、8×8または4×4などの２のべき乗サイズのブロックに分割して、動き補償予測を行うモードやイントラ予測を行うモード等がある。

これら既存の方式では、原画像と予測画像の残差成分に対して、DCT(Discrete Cosine Transform)を用いた周波数変換と係数の量子化を行うことによってデータの圧縮を行っている。またDCTの代わりにWavelet変換を用いる方式も存在する。

一方で、DCTやWaveletでは水平方向、垂直方向の相関性を利用するため、画像の特徴によっては斜め方向の成分を十分圧縮できない。これを解決する方法として、ラドン変換(finite Radon transform)を用いたRidgelet変換と呼ばれる方式が検討されている。（非特許文献２参照）
Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG : "Text of International Standard of Joint Video Specification", ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding, (December, 2003). Minh N. Do and Martin Vetterli: "The Finite Ridgelet Transform for Image Representation", IEEE Transactions on Image Processing, Vol.12, No.1 (January, 2003).

しかし、ラドン変換は、画像サイズが素数でない画像に対して用いた場合は、逆変換により画像を復元した場合に画質が劣化するという性質がある。

そのため、素数ではない２のべき乗サイズのブロックを用いる既存の画像符号化方式と共通のサイズのブロックを用いる符号化方式に使用すると復号画像の画質が十分ではなく、ラドン変換を用いるによる符号量低減を実現することが困難であった。

本発明は上記課題を鑑みてなされたものであり、本発明の目的は、符号化時の符号量を低減しながら、復号時の画質の劣化を防止することにある。

上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。

本発明によれば、符号化時の符号量を低減しながら、復号時の画質の劣化を防止することができる。

以下、本発明の実施例を、図面を参照して説明する。

また、各図面において、同一の符号が付されている構成要素は同一の機能を有すること
とする。

また、本明細書の各記載及び各図面における「ラドン変換モード」という表現は、本発明に係る新たな符号化モードを示す。

また、本明細書の各記載及び各図面における「残差成分」という表現は、「予測誤差」と同様の意味も含む。

また、本明細書の各記載及び各図面における「領域」という表現は、「画像」と同様の意味も含む。

また、本明細書の各記載及び各図面における「フラグとともに伝送」という表現は、「フラグに含めて伝送」という意味も含む。

まず、本発明の第１の実施例について図面を参照して説明する
図１に本発明の実施例１に係る画像符号化装置のブロック図の一例を示す。

画像符号化装置は、例えばブロック分割部１０１、予測誤差計算部１０２、イントラ予測部１０３、動き予測部１０４、縮小フィルタ１０５、ラドン変換部１０６、周波数変換部１０７、量子化部１０８、エントロピー符号化部１０９、DCT変換部１１０、量子化部１１１、エントロピー符号化部１１２、逆量子化部１１３、逆周波数変換部１１４、逆ラドン変換部１１５、拡大フィルタ１１６、逆量子化部１１７、逆DCT変換部１１８、モード選択部１１９、復号画像メモリ１２０、データ出力部１２１からなる。

以下に画像符号化装置の各構成要素の動作を詳細に説明する。

なお、画像符号化装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えば制御部や記憶部が記憶するソフトウェアと協働することにより実現しても構わない。

まずブロック分割部１０１は、符号化対象である原画像を入力し、これを符号化の単位であるブロックに分割する。ここで分割するブロックのサイズは、マクロブロックと呼ばれる16×16画素等の２のべき乗サイズのものを用いる。ここで、画像全体をブロックとして処理してもよい。

本実施例に係る画像符号化装置では、素数サイズのブロックを必要とするラドン変換と、２のべき乗サイズのブロックを利用する従来のDCTを用いた符号化方式を共存させることが可能である。

以下の説明では、例として、ブロックサイズを8×8画素とした場合について説明する。また、マクロブロックサイズは16×16画素とし、マクロブロックは、8×8画素のブロックが４つ集まったものとする。

予測誤差計算部１０２では、生成された予測画像と原画像との差分を取って残差成分を計算し出力する。予測方法については一般にイントラ（フレーム内）予測とインター（フレーム間）予測があり、これらはそれぞれイントラ予測部１０３と動き予測部１０４によって行われる。イントラ予測は符号化対象ブロックよりも前に符号化された同じフレームの情報を用い、インター予測は符号化対象フレームよりも前に符号化された、再生時間としては前または後ろのフレームの情報を用いる。これらは復号画像メモリ１２０に格納されている。イントラ予測、動き予測の方法については、例えば、上述の非特許文献１に記載される従来の方法を用いればよい。またブロックによっては予測が行われない場合もあり、この場合は原画像がそのまま残差成分として扱われる。

ここで、イントラ予測部１０３や動き予測部１０４、復号画像メモリ１２０は、説明のため一つだけ記載したが、符号化モード毎、フレーム毎にそれぞれ備えても良い。

次に、各符号化モードに対して処理が分岐する。

既存の符号化方式と同様の符号化モードについては、DCT変換部１１０において、予測誤差計算部１０２から入力された残差成分に対してDCT変換が行われ、係数に変換される。続いて量子化部１１１に送られ、各変換係数が量子化される。量子化された係数はエントロピー符号化部１１２に送られ、一定の順序に従って可変長符号等を用いた情報圧縮が行われ、データがモード選択部１１９に送られる。一方で量子化された係数は逆量子化部１１７にも送られ、逆量子化によって変換係数に戻され、さらに逆DCT変換部１１８によって残差成分へと復元される。残差成分は、予測誤差計算部１０２からの情報が加えられて、復号画像に戻り、復号画像メモリ１２０に記憶される。当該復号画像は、モード選択部１１９に入力されてモード選択のために利用される。これらの処理は、上述の非特許文献１に記載される従来の方法と同様である。

次に、本実施例にて利用する新しい符号化モードであるラドン変換モードについて説明する。この符号化モードでは、まず予測誤差計算部１０２から残差成分が縮小フィルタ１０５に入力され、画像の縮小変換が行われる。縮小変換では、例えば8×8画素のブロックが、これを縮小した7×7画素のブロックと、この縮小変換において生成する係数とに分離される。8×8画素サイズのブロックでは、7×7画素サイズのブロックと15個の係数が出力される。縮小フィルタは必ずしも一つのパターンとは限らず、ブロックの特徴に合わせて適切なフィルタを選択するようにしてもよい。また、このフィルタは複数回実行してもよい。例えば16×16画素サイズのブロックに対して3回処理を実行することにより、13×13画素サイズのブロックを出力するようにしてもよい。縮小フィルタの詳細は後述する。

次に、ラドン変換部１０６においてラドン変換が行われる。ここでラドン変換は前述の縮小変換によって作成された縮小領域（縮小画像）を対象として行われる。8×8画素サイズのブロックでは、7×7画素サイズの部分が対象となる。ラドン変換については非特許文献２に記載されている従来の方法を用いればよい。ラドン変換はブロックサイズが素数である必要があるが、本実施例では8×8画素サイズのブロックが7×7画素サイズに変換されているため、簡単に適用できる。詳細は後述する。

次に周波数変換部１０７において、ラドン変換後の係数が周波数変換される。ここで周波数変換はDCT変換を用いてもよいし、Wavelet変換を用いてもよい。周波数変換の代わりに、ラドン変換の同じ方向に対する和の複数の成分について、隣り合う成分の差分を取る処理を行っても良い。詳細は後述する。

なお、このとき、前述の縮小フィルタ１０５で生成された係数部分に対しては、周波数変換部１０７では周波数変換処理は行われない。

次に量子化部１０８において、周波数変換後の係数を量子化する。量子化は係数を数値で除算して値を小さくし、情報量を削減する処理である。前述の、縮小フィルタ１０５によって生じた縮小領域以外の係数の部分と、縮小領域においてラドン変換され、その後周波数変換された係数の部分とでは、量子化の値をそれぞれ別に与えることによって符号化の画質の精度を高めることができる。また、縮小領域においてラドン変換され周波数変換された係数についても、垂直成分、水平成分、その他の斜め方向の成分について、それぞれ別の量子化値を与えることによって、人間の視覚に対して目立ち易い垂直水平成分の精度を高め、その他の成分の精度を低くすることができ、同じ符号量に対して高い画質を再現する方式を実現できる。

次にエントロピー符号化部１０９において、量子化後の係数を、可変長符号等を用いて符号化する。エントロピー符号化には一般的な方式を用いればよい。出力された符号はモード選択のためにモード選択部１１９に送られる。

一方で、量子化後の係数は逆量子化部１１３に送られ、量子化前の係数に復元される。これは量子化部１０８と逆の操作を行えばよい。

次に逆周波数変換部１１４では、係数に対して逆周波数変換を行うことによって周波数変換前の係数に復元する。これは周波数変換部１０７と逆の操作を行えばよい。

次に逆ラドン変換部１１５において、逆ラドン変換が行われる。これはラドン変換部１０６の逆の操作である。詳細は後述する。

次に拡大フィルタ１１６において、逆ラドン変換によって復元された縮小領域（復元画像）と復元のための係数を利用して、拡大処理によりブロックの残差成分を復元する。例えば、8×8画素サイズのブロックでは、7×7画素サイズの縮小された領域と15個の係数を利用して、8×8画素サイズのブロックが復元される。これは縮小フィルタ１０５の逆の操作である。

次に、残差成分は予測誤差計算部１０２からの情報が加えられて、復号画像に戻り、復号画像メモリ１２０に記憶される。当該復号画像は、モード選択部１１９に入力されてモード選択のために利用される。

以上が、本実施例にて利用するラドン変換モードにおける処理である。

次に、モード選択部１１９では、複数の符号化モードに関する情報を元に、そのブロック、マクロブロックについて最も符号化効率の高いモードを選択する。各符号化モードについて、原画像と復号画像との誤差（符号化誤差）とその符号化モードを利用した場合に発生する符号量を算出し、両者の関係から適切な符号化モードを選択する。例えば最も符号化効率の良い符号化モードを選択する方式としてRate-Distortion最適化方式などの既存の方式を用いればよい（参考文献参照）。この方式は、各マクロブロックについて全てのモードについて符号量と復号後の原画との符号化誤差を計算し、コスト計算式に従って最も良いモードを選択する方式となっている。
（参考文献）Gary Sullivan and Thomas Wiegand : "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90 (November, 1998).
最後にデータ出力部１２１が選択された符号を出力して符号化ストリームが作成され、画像の符号化が行われる。

このとき、本実施例に係るラドン変換モードにより生成された符号化ストリームは、例えば、イントラ予測を行うラドン変換モード、動き予測を行うラドン変換モードというような形で、符号化モードの一つの種類として示されて出力される。もしくは、独立にラドン変換フラグを用意し、既存の全ての符号化モードに対して、DCT変換を利用するモード、ラドン変換を利用するモード、というような形で各符号化モードにおける周波数変換の一形態としてフラグを追加して出力してもよい。

次に図３を用いて、ラドン変換モードにおける縮小フィルタ処理について説明する。

ここでは、16×16画素のマクロブロック３０１を8×8画素のブロック３０２に分割し、それぞれのブロックを縮小処理する例を用いて説明する。一般にブロックサイズを２のべき乗とし、縮小された後の領域のサイズはそれより一つ少ない数で素数になるように設定することが望ましい。例えば、ブロックサイズと縮小された後の領域のサイズとの組み合わせが、４と３、８と７、３２と３１のような組み合わせであると、２のべき乗のブロックサイズを用いる符号化方式とラドン変換を好適に両立することができる。以下では、例として８と７の組み合わせをもちいて説明する。

縮小変換は、例えば数式１および図３０３に示される行列を用いることによって実行できる。数式１においてa_ijは(i,j)の位置の行列の要素を示す。ここで、nはブロックのサイズである。ここで、行列の最も左上の位置は(i,j)=(0,0)である。また、例えばn=8の時は３０４のようになり、n=4の時は３０５のようになる。この行列において最下行は復元のための係数を出力するための行であり、これは行列a_ijが逆行列を求められるように適当に定めればよい。ブロック内の隣接画素間の差があまり大きくない場合には、数式１のように定めることによって復元のための係数を小さくできる。またこの行の値を対象のブロックの特徴によって切り替えてもよい。

この行列を8×8画素のブロックに左側から掛けると、垂直方向に縮小が行われ、出力された行列の最下行が復元のための係数となる。次に、出力された行列の転置行列を作成し、この行列の一番右の列を残した行列、すなわちn-1列×n行の行列に対して再び数式１の行列を左側から掛けると、元のブロックに対する水平方向の縮小が行われる。ここで出力された行列でも最下行が復元のための係数となる。ここで、先ほど残した一番右の列を含めて、n×nサイズの行列を再び転置すると、最右列と最下行が復元のための係数となり、残ったn-1×n-1サイズのブロックが縮小された領域となる。例えば8×8画素サイズのブロックでは、7×7画素サイズのブロックと15個の係数が出力される。これによって縮小変換が行われる。このような縮小フィルタは、他にも種類があり、逆変換可能なフィルタであればどのようなものを用いてもよい。また入力されるブロックに適応して変更してもよい。

なお、nの値に、n-1が素数となるような２のべき乗の値を入れることにより、上記に例を示したブロックサイズ以外のサイズのブロックを用いる場合にも適用できる。

以上説明した縮小フィルタによれば、２のべき乗のブロックサイズの画像を、素数のブロックサイズの画像に変換することが可能となる。

次に図４を用いて、ラドン変換モードにおけるラドン変換について説明する。

本発明では縮小フィルタによって作られた縮小領域に対してラドン変換を行う。ラドン変換は以下に説明する方法を用いて行う。すなわち、４０１において同じ模様で示された複数の画素について和を取る変換である。例えば7×7サイズでは、８つの方向に対して和が計算される。１つの方向に対して７本のラインがあり、和としては８つの値が得られるが、８つの方向についてどれも７本の合計（すなわちブロックの画素の全ての和）は同じであるから、全体の和が１つ分かっていれば、各方向については６本のラインの和がわかれば７本のデータが得られる。すなわち、縮小フィルタ処理後の画像サイズが、n×nサイズであれば、n+1方向に対してn-1本のデータと1つの全体の和が必要となり、(n+1)(n-1)+1=n×nとなるため、係数の数は元々のブロックサイズと同じとなって冗長にならない。

このラドン変換を式で示すと数式２および４０２のようになる。

数式２において、(i,j)がブロック内の位置を示し、pがブロックサイズを示す。kが傾き・ラインの方向を示し、lがラインの番号・位置を示す。Z_pは0からpまでの位置を示す集合である。この式では正規化のために和をpの平方根で割っている。

一方、逆ラドン変換については、４０１に示すように、ある画素を通るラインは一つの方向について１本だけであり、全ての方向についてこれらのラインを見ると、ブロック内のその注目画素以外の画素は、全て１回ずつ通ることがわかる。すなわち、注目画素の値をV、この画素を通る全てのラインの総和をSumL、ブロック画素の総和をSumB、ブロックサイズをnとすると、Vは以下の数式３で表される。

また、これを数式２に対応する式で表すと数式４および４０３のようになる。

数式４において、(i,j)がブロック内の位置を示し、pがブロックサイズを示す。kが傾き・ラインの方向を示し、lがラインの番号・位置を示す。Z_pは0からpまでの位置を示す集合である。この式では正規化のために和をpの平方根で割っている。

このようなラドン変換、逆ラドン変換はブロックサイズが素数である必要があるが、本実施例では分割のときに8×8画素サイズであったブロックが、縮小フィルタにより7×7画素サイズに変換されているため、適用が可能となる。

次にラドン変換モードにおける周波数変換処理について説明する。

ラドン変換された係数に対して周波数変換を行うが、これは既存のDCT変換を用いてもよいし、Wavelet変換を用いてもよい。上述のある方向に対する各ラインの和は、お互いに相関があると考えられるので、DCT変換やWavelet変換によって冗長度を削減できる。周波数変換はラドン変換された係数だけでなく、縮小処理によって生じた係数に対しても行ってもよい。

一方、周波数変換の代わりに、ラドン変換の同じ方向に対するラインの和について、隣り合う成分の差分を取る処理を行っても良い。例えば７つの係数に対して数式５のような変換行列Ｔを左側から掛ければ、出力される係数の最初のものはラインの合計、すなわちブロック画素の総和となり、これはブロックで一つだけ伝送すれば済む。また、残りの係数については、隣り合う成分で差分を取っているので係数を小さくできる。この方式の逆変換は数式５の変換行列Ｔの逆行列を掛け合わせればよい。

次にラドン変換モードにおける量子化処理について説明する。量子化は、縮小変換時に出力される係数、ラドン変換と周波数変換後に出力される係数に対して行う。これらについては、量子化の値をそれぞれ別に与えることによって符号化の画質の精度を調整することができる。また、ラドン変換と周波数変換後に出力される係数については、垂直成分、水平成分、その他の斜め方向の成分について、それぞれ別の量子化値を与えれば、人間の視覚に対して目立ち易い垂直水平成分の精度を高め、その他の成分の精度を低くすることができ、同じ符号量に対して高い画質を再現する方式を実現できる。これらの量子化の値はブロック毎に変化させてもよい。

次に、図５を用いて、本発明の実施例１に係る画像符号化装置における符号化方法の流れについて説明する。

まず、ステップ５０１で、符号化対象となる原画像を入力し、ブロックに分割する。ブロックに分割せず、画面全体を１つのブロックとして扱ってもよい。次に、ステップ５０２では、ステップ５０１で取得した原画像のブロックについて、各符号化モードでの予測画像の合成を行い、予測画像と原画像との残差成分を算出する。例えば、ステップ５０２は、画像符号化装置のイントラ予測部１０３、動き予測部１０４などが、それぞれの符号化モードについて行えばよい。ここで符号化モード毎に処理が分岐する。既存のDCT変換を用いる符号化モードはステップ５０６に進み、本発明で用いるラドン変換モードではステップ５０３に進む。

既存の符号化モードについて、ステップ５０６では、残差成分についてDCT変換処理と量子化処理とを行い、符号化データを算出する。例えば、ステップ５０６は、画像符号化装置のDCT変換部１１０・量子化部１１１が行えばよい。ステップ５０６ではさらに、当該符号化データにエントロピー符号化処理、逆量子化、逆DCT変換による復号画像の作成を行う。これらは例えば、エントロピー符号化部１１２、逆量子化部１１７、逆DCT変換部１１８が行えばよい。いずれの場合でも、ステップ５０６では、符号化データと復号画像を出力する。

ラドン符号化モードについて、ステップ５０３では、ブロックの縮小変換を行う。縮小変換は前述の通りである。例えば、ステップ５０３は、画像符号化装置の縮小フィルタ１０５が行えばよい。次にステップ５０４では、縮小されたブロックに対してラドン変換を行う。ラドン変換は前述の通りである。例えば、ステップ５０４は、画像符号化装置のラドン変換部１０６が行えばよい。次にステップ５０５では、ラドン変換後の係数について周波数変換処理と量子化処理とを行い、符号化係数を算出する。例えば、ステップ５０５は、画像符号化装置の周波数変換部１０７・量子化部１０８が行えばよい。ステップ５０５ではさらに、当該符号化係数にエントロピー符号化処理、逆量子化を行い符号化データを生成し、これに逆周波数変換、逆ラドン変換、拡大フィルタによる復号画像の作成を行う。これらは例えば、エントロピー符号化部１０９、逆量子化部１１３、逆周波数変換部１１４、逆ラドン変換部１１５、拡大フィルタ１１６が行えばよい。いずれの場合でも、ステップ５０５では、符号化データと復号画像を出力する。

次に、ステップ５０７では、ステップ５０６およびステップ５０５の処理を行った、各符号化モードについての画像符号化結果を比較して、当該ブロックについて出力する符号化モードを決定する。例えば、ステップ５０７は、画像符号化装置のモード選択部１１９が行えばよい。次にステップ５０８では、ステップ５０７で選択した符号化モードにおける符号化データを符号化ストリームとして出力する。

なお、本実施例に係る画像符号化装置及び画像符号化方法における符号化モードの一例を図８に示す。

すなわち図１の画像符号化装置では、図８に示す従来のイントラ予測モードであるＤＣＴモード１の場合には、イントラ予測部１０３で生成した予測画像と入力画像の残差成分を、ＤＣＴ変換部１１０、量子化部１１１とエントロピー符号化部１１２との処理により符号化する。

次に、図８に示す従来の動き予測モードであるＤＣＴモード２の場合には、動き予測部１０４で生成した予測画像と入力画像の残差成分を、ＤＣＴ変換部１１０、量子化部１１１とエントロピー符号化部１１２との処理により符号化する。

次に、図８に示す本実施例の新たな符号化モードであるラドン符号化モード１の場合には、イントラ予測部１０３で生成した予測画像と入力画像の残差成分を、縮小フィルタ１０５、ラドン変換部１０６、周波数変換部１０７、量子化部１０８とエントロピー符号化部１０９との処理により符号化する。

次に、図８に示す本実施例の新たな符号化モードであるラドン符号化モード２の場合には、動き予測部１０４で生成した予測画像と入力画像の残差成分を、縮小フィルタ１０５、ラドン変換部１０６、周波数変換部１０７、量子化部１０８とエントロピー符号化部１０９との処理により符号化する。

また図５の画像符号化方法では、図８に示す従来のイントラ予測モードであるＤＣＴモード１の場合には、ステップ５０２において、イントラ予測により生成した予測画像と入力画像の残差成分を生成し、ステップ５０６において、ＤＣＴ変換、量子化、エントロピー符号化により符号化する。

次に、図８に示す従来の動き予測モードであるＤＣＴモード２の場合には、ステップ５０２において、動き予測により生成した予測画像と入力画像の残差成分を生成し、ステップ５０６において、ＤＣＴ変換、量子化、エントロピー符号化により符号化する。

次に、図８に示す本実施例の新たな符号化モードであるラドン符号化モード１の場合には、ステップ５０２において、イントラ予測により生成した予測画像と入力画像の残差成分を生成し、ステップ５０３、ステップ５０４、ステップ５０５により、ラドン変換を用いた符号化を行う。

以上説明した図８の符号化モードの例は、説明のため、ブロックサイズ等のデータの種類については規定しなかった。しかし、符号化モードで用いるブロックのサイズまたは、ラドン符号化モードにおいて用いる縮小画像のサイズなどをパラメータとして、各符号化モードを細分化して規定してもよい。

以上説明したように、本願の一実施例における符号化処理が行われる。

以上説明した実施例１に係る画像符号化装置及び画像符号化方法によれば、既存の符号化方式と共通のブロックサイズを用いる符号化処理においてラドン変換を用いることが可能となり、既存方式よりも圧縮効率の高い画像符号化装置及び画像符号化方法を実現することが可能となる。

さらに、実施例１に係る画像符号化装置及び画像符号化方法によれば、ラドン変換モードを用いることにより、垂直・水平方向だけでなく斜め方向の情報を効率的に圧縮することができ、これらの圧縮精度を適切に制御することによって人間の視覚特性に合った画像劣化の少ない画像符号化装置及び画像符号化方法を実現することができる。

よって、実施例１に係る画像符号化装置及び画像符号化方法は、当該モードを採用することにより、高い圧縮効率と、精度の高い予測画像の生成を両立することができる。

また、実施例１に係る画像符号化装置及び画像符号化方法は、これらを用いた記録装置、携帯電話、デジタルカメラ等に適用することが可能である。

以上説明した本発明の実施例１に係る画像符号化装置及び画像符号化方法によれば、符号化データの符号量を低減し、当該符号化データを復号した場合の復号画像の画質の劣化を防ぐことが可能となる。すなわち、高い圧縮率とより良い画質とを実現することができる。

次に、図７に本発明の実施例２に係るデータ記録媒体の一例を示す。

本発明の本実施例に係る符号化ストリームは、実施例１に係る実施例１に係る画像符号化装置または画像符号化方法により生成された符号化ストリームである。その生成方法は、実施例１に示したとおりであるので、説明を省略する。

ここで、本実施例に係る符号化ストリームは、例えば、データ記録媒体７０１上にデータ列７０２として記録される。データ列７０２は、例えば、所定の文法に従う符号化ストリームとして記録されている。以下ではH.264/AVC規格の一部を変更したものとして説明する。

まず、H.264/AVCでは、シーケンスパラメータセット７０３、ピクチャパラメータセット７０４、スライス７０５、７０６、７０７からストリームが構成される。以下、１つのスライスに１つの画像（ピクチャ）が格納される場合を例に示す。

各スライスの内部には、例えば、それぞれのマクロブロックに関する情報７０８が含まれている。マクロブロックに関する情報７０８の内部には、例えば、マクロブロックごとにそれぞれの符号化モードを記録する領域があり、これを符号化モードフラグ７０９とする。

次に、本実施例に係るラドン変換モードは、例えば、イントラ予測を行うラドン変換モード、動き予測を行うラドン変換モードというような形で符号化モードの一つの種類として、符号化モードフラグ７０９に記録される。あるいは、独立にラドン変換フラグを用意し、既存の全ての符号化モードに対して、DCT変換を利用するモード、ラドン変換を利用するモード、というような形で各符号化モードにおける周波数変換の一形態としてフラグを追加する形でもよい。

以上説明した実施例２に係るデータ記録媒体によれば、既存の符号化方式と共通のブロックサイズを用いながら、ラドン変換により符号化した符号化ストリームを記録することができ、既存の符号化方式と共通のブロックサイズを用いた符号化ストリームでありながら、既存方式よりも圧縮効率を高く記録することが可能となる。

また、垂直・水平方向だけでなく斜め方向の情報を効率的に圧縮することができるラドン変換により符号化した符号化ストリームを、ラドン変換を用いた符号化ストリームであることを示しながら記録する。これにより、既存方式よりも圧縮効率を高く記録しながら、復号時に人間の視覚特性に合った画像劣化の少ない復号画像を生成することができるデータ記録媒体を実現できる。

以上説明した本発明の実施例２に係るデータ記録媒体によれば、符号量を低減し、画質の劣化を防ぐことができる。すなわち、圧縮率が高く、画質のより良い符号化ストリームを記録するデータ記録媒体を実現することができる。

次に、図２に本発明の実施例３に係る画像復号化装置のブロック図の一例を示す。

画像復号化装置は例えば、ストリーム解析部２０１、モード判定部２０２、係数解析部２０３、イントラ予測合成部２０４、動き予測合成部２０５、逆量子化部２０６、逆周波数変換部２０７、逆ラドン変換部２０８、拡大フィルタ２０９、逆量子化部２１０、逆DCT変換部２１１、復号画像メモリ２１２、画像出力部２１３からなる。

以下に画像復号化装置の各構成要素の動作を詳細に説明する。

なお、画像復号化装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えば制御部や記憶部が記憶するソフトウェアと協働することにより実現しても構わない。

まずストリーム解析部２０１が、入力された符号化ストリームを解析する。ここで、ストリーム解析部２０１は、パケットからのデータ抽出処理や各種ヘッダ、フラグの情報取得処理も行う。さらに各マクロブロックの処理を行う。

またこのとき、ストリーム解析部２０１に入力される符号化ストリームは、例えば、実施例１に係る画像符号化装置及び画像符号化方法により生成された符号化ストリームである。その生成方法は、実施例１に示したとおりであるので説明を省略する。実施例２に示したデータ記録媒体から読み出した符号化ストリームであってもよい。その記録方法は実施例２に示したとおりであるので説明を省略する。

次に、モード判定部２０２は、各マクロブロックについて、フラグ等によって指定された符号化モードの判別を行う。以下の復号化処理は、当該判別結果の符号化モードに対応する処理が行われる。以下にそれぞれの符号化モードについての処理を説明する。

まず、符号化モードがイントラ符号化である場合には、イントラ予測合成部２０４がイントラ予測と予測画像の合成を行う。この方法は従来の方法を用いればよい。ここで、イントラ予測合成部２０４は合成した予測画像を出力する。

符号化モードがフレーム間予測による符号化である場合には、動き予測合成部２０５が、動き予測と予測画像の合成を行う。このとき、画像復号化装置に入力された符号化ストリームが含む動きベクトルを用いる場合や、スキップモードやダイレクトモード等、隣り合うマクロブロックの情報や隣り合うフレームに関するマクロブロックの情報が用いられる場合がある。これについても同様に従来の方法を用いればよい。ここで、動き予測合成部２０５は合成した予測画像を出力する。

一方、係数解析部２０３は、入力符号化ストリームに含まれる各マクロブロックの符号化データを解析し、残差成分の符号化データを出力する。この時、モード判定部２０２の判別結果の符号化モードに対応する処理が行われる。

符号化モードが従来のDCTを用いる変換方式で符号化されている場合には、符号化データは逆量子化部２１０に送られ、逆量子化部２１０は符号化データに逆量子化処理を行い、これを逆DCT変換部２１１に送る。逆DCT変換部２１１は、逆量子化された係数を逆DCT変換し残差成分を復元する。これらは、図１の逆量子化部１１７、逆DCT変換部１１８と同様の処理である。

符号化モードが本発明によるラドン変換モードである場合には、符号化データは逆量子化部２０６に送られ、逆量子化部２０６は符号化データに逆量子化処理を行い、これを逆周波数変換部２０７に送る。逆周波数変換部２０７は、逆量子化された係数を逆周波数変換し逆ラドン変換部２０８に送る。逆ラドン変換部２０８は係数を逆ラドン変換し、縮小領域の画素を出力する。次に拡大フィルタ２０９は、逆ラドン変換によって復元された縮小領域と復元のための係数を利用して、拡大処理によりブロックの残差成分を復元する。例えば、8×8サイズのブロックでは、7×7サイズの縮小された領域と15個の係数を利用して、8×8サイズのブロックが復元される。これらは、図１の逆量子化部１１３、逆周波数変換部１１４、逆ラドン変換部１１５、拡大フィルタ１１６と同様の処理である。

上記のようにして復元された各符号化モードの残差成分は、イントラ予測合成部２０４や動き予測合成部２０５から出力される予測画像と加算されて、復号画像に戻り、復号画像メモリ２１２に格納される。復号画像メモリ２１２には、現在復号しているフレームの情報と、過去に復号したフレームの情報が格納されており、イントラ予測合成部２０４や動き予測合成部２０５に参照される。

最後に復号された画像が画像出力部２１３によって出力され、画像の復号化が行われる。

次に、図６を用いて、本発明の実施例３に係る画像復号化装置における画像復号化方法の流れについて説明する。

まず、ステップ６０１で、復号化対象となる符号化ストリームを取得する。例えば、ステップ６０１は、画像復号化装置のストリーム解析部２０１が行えばよい。次に、ステップ６０２では、ステップ６０１において取得した符号化ストリームに含まれる符号化モードフラグと符号化データを解析する。例えば、ステップ６０２も同じく、画像復号化装置のストリーム解析部２０１が行えばよい。次に、ステップ６０３では、ステップ６０２において解析した符号化モードフラグを用いて、当該符号化データに含まれる一の符号化単位（ブロック単位や画素単位など）についての符号化モードを判定する。例えば、ステップ６０３は、画像復号化装置のモード判定部２０２が行えばよい。次に、ステップ６０４では、ステップ６０３において判定された符号化モードに対応する予測画像の合成を行う。ステップ６０４の処理の詳細は、例えば、判定された符号化モードに応じて、図２における画像復号化装置のイントラ予測合成部２０４、動き予測合成部２０５が、それぞれの対応する符号化モードの場合に予測画像の合成処理を行えばよい。ここで符号化モード毎に処理が分岐する。既存のDCT変換を用いる符号化モードはステップ６０８に進み、本発明で用いるラドン変換モードではステップ６０５に進む。

既存の符号化モードについて、ステップ６０８では、符号化データを解析し、当該符号化データについて逆量子化処理、逆DCT変換処理を行い、前記一の符号化単位についての残差成分の復号を行う。例えば、ステップ６０８の処理は、画像復号化装置の係数解析部２０３と逆量子化部２１０、逆DCT変換部２１１が行えばよい。

ラドン変換モードについて、ステップ６０５では、符号化データを解析し、当該符号化データについて逆量子化処理、逆周波数変換処理を行い、前記一の符号化単位についてラドン変換後の係数を復元する。これらの処理は前述の通りである。次にステップ６０６では、逆ラドン変換を行い縮小されたブロックを復元する。逆ラドン変換は前述の通りである。次にステップ６０７では、ブロックの拡大変換を行い、残差成分の復元を行う。拡大変換については前述の通りである。これらは例えば、画像復号化装置の係数解析部２０３、逆量子化部２０６、逆周波数変換部２０７、逆ラドン変換部２０８、拡大フィルタ２０９が行えばよい。

次に、ステップ６０９では、予測画像と復号された残差成分とを合成し、復号画像の生成を行う。次に、ステップ６１０では、生成された復号画像の出力を行う。例えば、ステップ６１０の処理は、画像復号化装置の復号画像メモリ２１２、画像出力部２１３が行えばよい。

なお、図２の画像復号化装置では、復号化対象の符号化ストリームが図８に示す従来のイントラ予測モードであるＤＣＴモード１の場合には、逆量子化部２１０及び逆DCT変換部２１１により復号化された残差成分と、イントラ予測合成部２０４により生成された予測画像とを合成して復号画像を生成する。

また、復号化対象の符号化ストリームが図８に示す従来の動き予測モードであるＤＣＴモード２の場合には、逆量子化部２１０及び逆DCT変換部２１１により復号化された残差成分と、動き予測合成部２０５により生成された予測画像とを合成して復号画像を生成する。

また、復号化対象の符号化ストリームが図８に示す本実施例の新たな符号化モードであるラドン符号化モード１の場合には、逆量子化部２０６、逆周波数変換部２０７、逆ラドン変換部２０８及び拡大フィルタ２０９により復号化された残差成分と、イントラ予測合成部２０４により生成された予測画像とを合成して復号画像を生成する。

また、復号化対象の符号化ストリームが図８に示す本実施例の新たな符号化モードであるラドン符号化モード１の場合には、逆量子化部２０６、逆周波数変換部２０７、逆ラドン変換部２０８及び拡大フィルタ２０９により復号化された残差成分と、動き予測合成部２０５により生成された予測画像とを合成して復号画像を生成する。

また、図６の画像復号化方法では、復号化対象の符号化ストリームが図８に示す従来のイントラ予測モードであるＤＣＴモード１の場合には、ステップ６０４において、イントラ予測により予測画像を合成し、ステップ６０８において、符号化データについて、逆量子化・逆ＤＣＴ変換を行って残差成分を復号し、ステップ６０９で予測画像と残差成分を合成して復号画像を生成する。

次に、復号化対象の符号化ストリームが図８に示す従来の動き予測モードであるＤＣＴモード２の場合には、ステップ６０４において、動き予測により予測画像を合成し、ステップ６０８において、符号化データについて、逆量子化・逆ＤＣＴ変換を行って残差成分を復号し、ステップ６０９で予測画像と残差成分を合成して復号画像を生成する。

次に、復号化対象の符号化ストリームが図８に示す本実施例の新たな符号化モードであるラドン符号化モード１の場合には、ステップ６０４において、イントラ予測により予測画像を合成し、ステップ６０５からステップ６０７において残差成分を復号し、ステップ６０９で予測画像と残差成分を合成して復号画像を生成する。

次に、復号化対象の符号化ストリームが図８に示す本実施例の新たな符号化モードであるラドン符号化モード２の場合には、ステップ６０４において、イントラ予測により予測画像を合成し、ステップ６０５からステップ６０７において残差成分を復号し、ステップ６０９で予測画像と残差成分を合成して復号画像を生成する。

なお、本実施例においても、図８の符号化モードの例に示す以外にも、符号化モードで用いるブロックのサイズまたは、ラドン符号化モードにおいて用いる縮小画像のサイズなどをパラメータとして、各符号化モードを細分化して規定した符号化ストリームを、復号対象ストリームとしてもよい。

以上説明したように、本願の一実施例における復号化処理が行われる。

以上説明した実施例３に係る画像復号化装置及び画像復号化方法によれば、既存の符号化方式と共通のブロックサイズを用い、かつ、ラドン変換を用いて符号化された符号化ストリームを復号することが可能な画像復号化装置及び画像復号化方法を実現することが可能となる。

さらに、実施例３に係る画像復号化装置及び画像復号化方法によれば、ラドン変換モードにより符号化された符号化ストリームを復号することにより、人間の視覚特性に合った画像劣化の少ない画像を復号する画像復号化装置及び画像復号化方法を実現することができる。

また、実施例３に係る画像復号化装置及び画像復号化方法は、これらを用いた再生装置、携帯電話、デジタルカメラ等に適用することが可能である。

以上説明した本発明の実施例３に係る画像復号化装置及び画像復号化方法によれば、符号量の少ない符号化データをより高画質に復号することが可能となる。

なお、以上説明した各図、各方法等の実施例のいずれを組み合わせても、本発明の一実施の形態となりうる。

以上説明した本発明の各実施例によれば、符号量を低減し、画質の劣化を防ぐことができる。すなわち、高い圧縮率とより良い画質とを実現することができる。

本発明の実施例に係る画像符号化装置の一例の説明図である。本発明の実施例に係る画像復号化装置の一例の説明図である。本発明の実施例に係る縮小フィルタの一例の説明図である。本発明の実施例に係るラドン変換の一例の説明図である。本発明の実施例に係る画像符号化方法の一例の説明図である。本発明の実施例に係る画像復号化方法の一例の説明図である。本発明の実施例に係るデータ記録媒体の一例の説明図である。本発明の実施例に係る符号化モードの一例の説明図である。

符号の説明

１０１…ブロック分割部、１０２…予測誤差計算部、１０３…イントラ予測部、１０４…動き予測部、１０５…縮小フィルタ、１０６…ラドン変換部、１０７…周波数変換部、１０８…量子化部、１０９…エントロピー符号化部、１１０…DCT変換部、１１１…量子化部、１１２…エントロピー符号化部、１１３…逆量子化部、１１４…逆周波数変換部、１１５…逆ラドン変換部、１１６…拡大フィルタ、１１７…逆量子化部、１１８…逆DCT変換部、１１９…モード選択部、１２０…復号画像メモリ、１２１…データ出力部、２０１…ストリーム解析部、２０２…モード判定部、２０３…係数解析部、２０４…イントラ予測合成部、２０５…動き予測合成部、２０６…逆量子化部、２０７…逆周波数変換部、２０８…逆ラドン変換部、２０９…拡大フィルタ、２１０…逆量子化部、２１１…逆DCT変換部、２１２…復号画像メモリ、２１３…画像出力部、３０１…マクロブロック、３０２…ブロック、３０３、３０４、３０５…縮小フィルタの式、４０１…ラドン変換の方向を示す図、４０２…ラドン変換の式、４０３…逆ラドン変換の式、７０１…データ記録媒体、７０２…データ列、７０３…シーケンスパラメータセット、７０４…ピクチャパラメータセット、７０５、７０６、７０７…スライス、７０８…マクロブロック情報、７０９…符号化モードフラグ

Claims

画像を符号化した符号化ストリームを復号化する画像復号化方法であって、
前記符号化ストリームの符号化モードを判定する符号化モード判定ステップと、
前記符号化モード判定ステップにおいて、前記符号化モードが符号化時に素数ではない２のべき乗サイズのブロックを素数サイズのブロックに縮小する縮小フィルタとラドン変換を用いて符号化したことを示す符号化モードであると判定した場合に、
前記符号化ストリームに逆量子化処理及び逆周波数変換処理を行う逆量子化・周波数変換処理ステップと、
前記逆量子化・周波数変換処理ステップが処理した係数に対して逆ラドン変換処理を行い、復元画像を生成する逆ラドン変換処理ステップと、
前記逆ラドン変換処理ステップにより生成された復元画像を拡大変換する拡大変換ステップとを備える画像復号化方法。
請求項１に記載の画像復号化方法であって、
前記拡大変換ステップで拡大変換した復元画像と、
前記符号化モード判定ステップで判定した符号化モードに対応する予測画像とを合成し、復号画像を生成する復号画像生成ステップを備える画像復号化方法。
請求項２に記載の画像復号化方法であって、
前記復号画像生成ステップは、前記符号化モード判定ステップで判定した符号化モードがイントラ予測を用いるモードである場合には、
前記イントラ予測により生成した予測画像と前記拡大変換ステップで拡大変換した復元画像とを合成し、復号画像を生成する復号画像生成ステップを備える画像復号化方法。
請求項２に記載の画像復号化方法であって、
前記復号画像生成ステップは、前記符号化モード判定ステップで判定した符号化モードが、動き予測を用いるモードである場合には、
前記動き予測により生成した予測画像と前記拡大変換ステップで拡大変換した復元画像とを合成し、復号画像を生成する復号画像生成ステップを備える画像復号化方法。
入力画像を符号化する画像符号化方法であって、
素数ではない２のべき乗サイズの入力画像全体もしくは入力画像を分割した素数ではない２のべき乗サイズのブロック単位の画像に縮小変換を行い、素数サイズの画像に縮小する縮小ステップと、
前記縮小ステップ後の画像に対してラドン変換を行い、第１の係数を生成するラドン変換ステップと、
前記係数について周波数変換処理を行う周波数変換ステップと、
前記周波数変換ステップ後の第１の係数について、量子化処理を行い第１の符号化データを算出する第１の量子化ステップと、
前記素数ではない２のべき乗サイズの入力画像全体もしくは前記入力画像を分割した素数ではない２のべき乗サイズのブロック単位の画像に対して、前記ラドン変換以外の変換処理を行って第２の係数を生成する変換ステップと、
前記変換ステップ後の第２の係数について、量子化処理を行い第２の符号化データを算出する第２の量子化ステップと、
前記第１の符号化データと前記第２の符号化データを比較して、出力する符号化モードを決定する符号化モード決定ステップとを備える画像符号化方法。
請求項５に記載の画像符号化方法であって、
前記素数ではない２のべき乗サイズの入力画像全体もしくは前記入力画像を分割した素数ではない２のべき乗サイズのブロック単位の画像に対し、前記ラドン変換を用いる符号化モードと前記ラドン変換以外の変換を用いる符号化モードについて、それぞれの予測画像を生成する予測ステップを備え、
前記第１の量子化ステップは、前記第１の符号化データのほかに第１の復号画像を出力し、
前記第２の量子化ステップは、前記第２の符号化データのほかに第２の復号画像を出力し、
前記符号化モード決定ステップは、前記入力画像と、前記第１及び第２の復号画像とを比較して、符号化モードを決定する画像符号化方法。
画像を符号化した符号化ストリームを復号化する画像復号化装置であって、
前記符号化ストリームの符号化モードは、ラドン変換を用いて符号化されたことを示す第１の符号化モードとラドン変換以外の変換処理を用いて符号化されたことを示す第２の符号化モードとがあり、
前記符号化ストリームを入力し前記符号化モードを判定するモード判定部と、
前記第１の符号化モードを有する符号化ストリームに含まれる符号化係数に対して逆量子化を行い、係数を出力する第１の逆量子化部と、
前記第１の逆量子化部が逆量子化した係数に対して逆周波数変換を行う逆周波数変換部と、
前記逆周波数変換部が逆周波数変換した係数に対して逆ラドン変換を行い、素数サイズの復元画像を生成する逆ラドン変換部と、
前記逆ラドン変換部が生成する素数サイズの復元画像を素数ではない２のべき乗サイズに拡大する拡大フィルタと、
前記第２の符号化モードを有する符号化ストリームに含まれる符号化係数に対して逆量子化を行い、係数を出力する第２の逆量子化部と、
前記第２の逆量子化部が逆量子化した係数に対してラドン変換以外の変換処理に対する逆変換処理を行う変換部とを備え、
前記モード判定部が前記符号化ストリームの符号化モードが第１の符号化モードであると判定した場合、前記符号化ストリームの符号化係数が前記第１の逆量子化部に入力され、
前記モード判定部が前記符号化ストリームの符号化モードが第２の符号化モードであると判定した場合、前記符号化ストリームの符号化係数が前記第２の逆量子化部に入力されることを特徴とする画像復号化装置。
入力画像を符号化する画像符号化装置であって、
素数ではない２のべき乗サイズの入力画像全体もしくは前記入力画像を分割した素数ではない２のべき乗サイズのブロック単位の画像を素数サイズの画像に縮小する縮小フィルタと、
前記縮小フィルタが縮小した画像にラドン変換を行って係数を生成するラドン変換部と、
前記ラドン変換部が生成した係数を周波数変換する周波数変換部と、
前記周波数変換部が周波数変換した係数を量子化する第１の量子化部と、
前記素数ではない２のべき乗サイズの入力画像全体もしくは前記入力画像を分割した素数ではない２のべき乗サイズのブロック単位の画像に前記ラドン変換以外の変換処理を行って係数を生成する変換部と、
前記変換部が生成した係数を量子化する第２の量子化部と、
前記第１の量子化部が量子化した係数と前記第２の量子化部が量子化した係数とを選択的に切り替えて出力する符号化モード選択部とを備える画像符号化装置。
請求項８に記載の画像符号化装置であって、
前記変換部はＤＣＴ（Discrete Cosine Transform）処理を用いた変換処理を行う画像符号化装置。