JPWO2019003676A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

Abstract

画像処理装置は、演算部１２で算出された原画像データと予測画像データとの差を示す残差データについて、変換処理ブロック毎に複数種類の係数の量子化を行う。例えば直交変換部１４で生成された変換係数を量子化部１５で量子化して変換量子化データと、直交変換をスキップする変換スキップを用いることにより残差データを量子化部１６で量子化して変換スキップ量子化データを生成する。エントロピー符号化部２８は、変換量子化データと変換スキップ量子化データを符号化して符号化ストリームを生成する。変換スキップを用いることで生じる復号画像の画質低下を、変換係数量子化データの復号結果を用いて抑制できるようになる。

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、復号画像の画質低下を抑制できるようにする。

従来、動画像を効率的に伝送または記録するために、動画像データの符号化を行い符号化ストリームを生成する符号化装置、および符号化ストリームの復号を行い動画像データを生成する復号装置が広く用いられている。また、動画像符号化方式として、例えば非特許文献１，２で示すように、ＨＥＶＣ（High Efficiency Video Coding、すなわちＩＴＵ−Ｔ Ｈ．２６５またはＩＳＯ／ＩＥＣ ２３００８−２）が規格化されている。

ＨＥＶＣでは、ＣＴＵ（Coding Tree Unit）と呼ばれるブロックの単位でピクチャ分割が行われる。ＣＴＵは１６の倍数で最大６４×６４画素のいずれかの固定ブロックサイズとされている。各ＣＴＵは、四分木ベースで可変サイズの符号化ユニット（Coding Unit：ＣＵ）に分割される。また、ＣＴＵを分割しない場合は、ＣＴＵがＣＵとなる。各ＣＵは予測ユニット（Prediction Unit：ＰＵ）と呼ばれるブロック、及び変換ユニット（Transform Unit：ＴＵ）と呼ばれるブロックに分割される。ＰＵとＴＵは、ＣＵ内で独立に定義される。ＨＥＶＣでは、急峻なエッジの保持のため、ＴＵに対して予測誤差の直交変換をスキップして量子化する変換スキップモードが設けられている。

また、特許文献１では、予測誤差の特性を示す特徴量に基づいて直交変換のスキップが選択されている。

特開２０１４−１３１２７０号公報

ITU-T Recommendation H.265:"High efficiency video coding," 2013. ISO/IEC 23008-2:"High Efficiency Video Coding," 2013.

ところで、残差データ（予測誤差）にＤＣ成分（直流成分）が含まれる場合、直交変換をスキップして残差データを量子化すると、逆量子化後の残差データではＤＣ成分を再現することができない場合がある。また、直交変換をスキップしたことで残差データにＤＣずれを生じると、直交変換が行われたＴＵと直交変換がスキップされたＴＵのブロック境界部分で不連続を生じて、復号画像は画質の低下した画像となってしまう。

そこで、本技術では、復号画像の画質低下を抑制できる画像処理装置と画像処理方法およびプログラムを提供する。

この技術の第１の側面は、
画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成する量子化部と、
前記量子化部で生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成する符号化部と
を備える画像処理装置にある。

この技術においては、画像データ例えば符号化対象の画像データと予測画像データとの差を示す残差データから、各変換処理ブロックで生成された複数種類の係数、例えば直交変換処理によって得られる変換係数と直交変換をスキップする変換スキップ処理によって得られる変換スキップ係数のそれぞれの量子化データが量子化部で生成される。符号化部は、変換スキップ係数の量子化データと変換係数における例えばＤＣ成分（直流成分）の係数の量子化データとを符号化する。また、画像データの成分分離処理を周波数領域または空間領域で行うフィルタ部を設けて、符号化部は、フィルタ部の成分分離処理で得られた第１の分離データに対して直交変換を行うことにより得られた変換係数の量子化データと、成分分離処理で得られた第１の分離画像データと異なる第２分離データに対して変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する。

また、符号化部は、直交変換を画像データに対して行うことにより得られた変換係数の量子化データと、変換係数の係数データの量子化と逆量子化および逆直交変換を行うことにより得られた復号データと画像データとの差に対して変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化してもよい。また、符号化部は、変換スキップ処理を画像データに対して行うことにより得られた変換スキップ係数の量子化データと、変換スキップ係数の係数データの量子化と逆量子化を行うことにより得られた復号データと画像データとの差に対して直交変換処理を行うことにより得られた変換係数の量子化データを符号化してもよい。

量子化部は、係数の種類毎に設定された量子化パラメータに基づいて係数の量子化を行い、符号化部は、係数の種類毎に設定された量子化パラメータを示す情報を符号化して符号化ストリームに含める。

この技術の第２の側面は、
画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成することと、
前記量子化部で生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成することと
を含む画像処理方法にある。

この技術の第３の側面は、
画像符号化処理をコンピュータで実行させるプログラムであって、
画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成する手順と、
前記生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成する手順と
を前記コンピュータで実行させるプログラム。

この技術の第４の側面は、
符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得する復号部と、
前記復号部で取得された量子化データの逆量子化を行い前記種類毎の係数を生成する逆量子化部と、
前記逆量子化部で得られた係数から前記係数の種類毎に画像データを生成する逆変換部と、
前記逆変換部で得られた前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成する演算部と
を備える画像処理装置にある。

この技術においては、符号化ストリームの復号を復号部で行い、例えば複数種類の係数の種類毎の量子化データと複数種類の係数の種類毎の量子化パラメータを示す情報を取得する。逆量子化部は、復号部で取得された量子化データの逆量子化を行い種類毎の係数を生成する。また、逆量子化では、係数の種類毎に対応する量子化パラメータの情報を用いて対応する量子化データの逆量子化を行う。逆変換部は、逆量子化部で得られた係数から係数の種類毎に画像データを生成する。演算部は、逆変換部で得られた係数の種類毎の画像データを用いた演算処理を行い、逆変換部で得られた係数の種類毎の画像データと予測画像データを、画素位置を合わせて加算して復号画像データを生成する。

この技術の第５の側面は、
符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得することと、
前記取得された量子化データの逆量子化を行い前記種類毎の係数を生成することと、
前記生成された係数から前記係数の種類毎に画像データを生成することと、
前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成することと
を含む画像処理方法にある。

この技術の第６の側面は、
画像復号処理をコンピュータで実行させるプログラムであって、
符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得する手順と、
前記取得された量子化データの逆量子化を行い前記種類毎の係数を生成する手順と、
前記生成された係数から前記係数の種類毎に画像データを生成する手順と
前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成する手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データが生成されて、この複数種類毎の量子化データを符号化して符号化ストリームが生成される。また、符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得して、取得した量子化データの逆量子化を行い種類毎の係数が生成される。また、生成された係数から係数の種類毎に画像データが生成されて、係数の種類毎の画像データを用いた演算処理によって復号画像データが生成される。このため、復号画像の画質低下を抑制できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像符号化装置の第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 画像符号化装置の第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 画像符号化装置の第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 画像符号化装置の第４の実施の形態の構成を例示した図である。 周波数領域で成分分離処理を行う場合のフィルタ部の構成を例示した図である。 空間領域で成分分離処理を行う場合のフィルタ部の構成を例示した図である。 空間フィルタを例示した図である。 第４の実施の形態の動作を例示したフローチャートである。 画像復号装置の第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 画像復号装置の第２の実施の形態の構成を例示した図である。 第２の実施の動作を例示したフローチャートである。 動作例を示す図である。 原画像と復号画像を例示した図である。 複数種類の係数の伝送に関するシンタックスを示す図（その１）である。 複数種類の係数の伝送に関するシンタックスを示す図（その２）である。 複数の量子化パラメータを用いる場合のシンタックスを示す図である。 テレビジョン装置の概略的な構成の一例を示す図である。 携帯電話機の概略的な構成の一例を示す図である。 記録再生装置の概略的な構成の一例を示す図である。 撮像装置の概略的な構成の一例を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の概要
２．画像符号化装置について
２−１．第１の実施の形態
２−１−１．画像符号化装置の構成
２−１−２．画像符号化装置の動作
２−２．第２の実施の形態
２−２−１．画像符号化装置の構成
２−２−２．画像符号化装置の動作
２−３．第３の実施の形態
２−３−１．画像符号化装置の構成
２−３−２．画像符号化装置の動作
２−４．第４の実施の形態
２−４−１．画像符号化装置の構成
２−４−２．画像符号化装置の動作
３．画像復号装置について
３−１．第１の実施の形態
３−１−１．画像復号装置の構成
３−１−２．画像復号装置の動作
３−２．第２の実施の形態
３−２−１．画像復号装置の構成
３−２−２．画像復号装置の動作
４．画像処理装置の動作例
５．複数種類の係数の伝送に関するシンタックスについて
６．複数種類の係数を伝送する場合の量子化パラメータについて
７．応用例

＜１．画像処理装置の概要＞
本技術の画像処理装置では、画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成して、複数種類毎の量子化データを符号化して符号化ストリーム（ビットストリーム）を生成する。また、画像処理装置は、符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得して、取得した量子化データの逆量子化を行い種類毎の係数を生成する。画像処理装置は、生成された係数から係数の種類毎に画像データを生成して、この画像データを用いた演算処理を行い復号画像データを生成する。

次に、複数種類の係数として、直交変換を行うことにより得られる変換係数と、直交変換をスキップする変換スキップ処理を行うことによって得られる変換スキップ係数を用いる場合について、画像データの符号化を行い符号化ストリームを生成する画像符号化装置と、符号化ストリームの復号を行い復号画像データを生成する画像復号装置のそれぞれについて説明する。

＜２．画像符号化装置について＞
＜２−１．第１の実施の形態＞
画像符号化装置の第１の実施の形態では、符号化対象の画像データと予測画像データとの差を示す残差データに対して、変換処理ブロック毎（例えばＴＵ毎）に直交変換と変換スキップ処理を行う。また、画像符号化装置は、直交変換により得られた変換係数の量子化データと、変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データとを符号化して、符号化ストリームを生成する。

＜２−１−１．画像符号化装置の構成＞
図１は、画像符号化装置の第１の実施の形態の構成を例示している。画像符号化装置１０-1は、入力画像データの符号化を行い符号化ストリームを生成する。

画像符号化装置１０-1は、画面並べ替えバッファ１１、演算部１２、直交変換部１４、量子化部１５，１６、エントロピー符号化部２８、蓄積バッファ２９、レート制御部３０を有する。また、画像符号化装置１０-1は、逆量子化部３１，３３、逆直交変換部３２、演算部３４，４１、ループ内フィルタ４２、フレームメモリ４３、選択部４４を有している。さらに、画像符号化装置１０-1は、イントラ予測部４５、動き予測・補償部４６、予測選択部４７を有する。

画面並べ替えバッファ１１は、入力画像の画像データを記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ１１は、符号化順とされた符号化対象の画像データ（原画像データ）を、演算部１２へ出力する。また、画面並べ替えバッファ１１は、イントラ予測部４５および動き予測・補償部４６へ出力する。

演算部１２は、画面並べ替えバッファ１１から供給された原画像データから、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを画素位置毎に減算して、予測残差を示す残差データを生成する。演算部１２は生成した残差データを直交変換部１４と量子化部１６へ出力する。

例えば、イントラ符号化が行われる画像の場合、演算部１２は原画像データから、イントラ予測部４５で生成された予測画像データを減算する。また、例えば、インター符号化が行われる画像の場合、演算部１２は原画像データから、動き予測・補償部４６で生成された予測画像データを減算する。

直交変換部１４は、演算部１２から供給される残差データに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１５へ出力する。

量子化部１５は、直交変換部１４から供給される変換係数を量子化して、エントロピー符号化部２８と逆量子化部３１へ出力する。なお、変換係数の量子化データを変換量子化データとする。

量子化部１６は、演算部１２で生成された残差データの直交変換をスキップする変換スキップ処理を行うことにより得られた変換スキップ係数、すなわち残差データを示す変換スキップ係数を量子化して、エントロピー符号化部２８と逆量子化部３３へ出力する。なお、変換スキップ係数の量子化データを変換スキップ量子化データとする。

エントロピー符号化部２８は、量子化部１５から供給された変換量子化データと、量子化部１６から供給された変換スキップ量子化データに対して、エントロピー符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）等の算術符号化処理を行う。また、エントロピー符号化部２８は、予測選択部４７で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報などのパラメータ、またはインター予測モードを示す情報や動きベクトル情報などのパラメータを取得する。さらに、エントロピー符号化部２８は、ループ内フィルタ４２からフィルタ処理に関するパラメータを取得する。エントロピー符号化部２８は、変換量子化データと変換スキップ量子化データをエントロピー符号化するとともに、取得した各パラメータ（シンタックス要素）をエントロピー符号化してヘッダ情報の一部として（多重化して）蓄積バッファ２９に蓄積させる。

蓄積バッファ２９は、エントロピー符号化部２８から供給された符号化データを一時的に保持し、所定のタイミングにおいて、符号化データを例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。

レート制御部３０は、蓄積バッファ２９に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５，１６の量子化動作のレートを制御する。

逆量子化部３１は、量子化部１５から供給された変換量子化データを、量子化部１５で行われた量子化に対応する方法で逆量子化する。逆量子化部３１は、得られた逆量子化データすなわち変換係数を逆直交変換部３２へ出力する。

逆直交変換部３２は、逆量子化部３１から供給された変換係数を直交変換部１４で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３２は、逆直交変換結果すなわち復号された残差データを、演算部３４へ出力する。

逆量子化部３３は、量子化部１６から供給された変換スキップ量子化データを、量子化部１６で行われた量子化に対応する方法で逆量子化する。逆量子化部３３は、得られた逆量子化データすなわち残差データを演算部３４へ出力する。

演算部３４は、逆直交変換部３２から供給された残差データと、逆量子化部３３から供給された残差データを加算して、加算結果を復号残差データとして演算部４１へ出力する。

演算部４１は、演算部３４から供給された復号残差データに、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを加算して、局部的に復号された画像データ（復号画像データ）を得る。例えば、残差データが、イントラ符号化が行われる画像に対応する場合、演算部４１は、残差データにイントラ予測部４５から供給される予測画像データを加算する。また、例えば、残差データが、インター符号化が行われる画像に対応する場合、演算部３４は、残差データに動き予測・補償部４６から供給される予測画像データを加算する。加算結果である復号画像データは、ループ内フィルタ４２へ出力する。また、復号画像データは参照画像データとしてフレームメモリ４３へ出力する。

ループ内フィルタ４２は、例えばデブロッキングフィルタや適応オフセットフィルタおよび適応ループフィルタの少なくともいずれかを用いて構成されている。デブロッキングフィルタは、デブロッキングフィルタ処理を行うことにより復号画像データのブロック歪を除去する。適応オフセットフィルタは、適応オフセットフィルタ処理（ＳＡＯ（Sample Adaptive Offset）処理）を行い、リンギングの抑制やグラデーション画像等で生じる復号画像における画素値の誤差を低減させる。ループ内フィルタ４２は、例えば２次元のウィナーフィルタ（Wiener Filter）等を用いて構成されており、適応ループフィルタ（ＡＬＦ：Adaptive Loop Filter)処理を行い符号化歪みを除去する。ループ内フィルタ４２は、フィルタ処理後の復号画像データを参照画像データとしてフレームメモリ４３へ出力する。また、ループ内フィルタ４２は、フィルタ処理に関するパラメータをエントロピー符号化部２８へ出力する。

フレームメモリ４３に蓄積されている参照画像データは、所定のタイミングで選択部４４を介してイントラ予測部４５または動き予測・補償部４６に出力される。例えば、イントラ符号化が行われる画像の場合、フレームメモリ４３からループ内フィルタ４２によるフィルタ処理が行われていない参照画像データが読み出されて、選択部４４を介してイントラ予測部４５へ出力される。また、例えば、インター符号化が行われる場合、フレームメモリ４３からループ内フィルタ４２でフィルタ処理が行われている参照画像データが読み出されて、選択部４４を介して動き予測・補償部４６へ出力される。

イントラ予測部４５は、画面内の画素値を用いて予測画像データを生成するイントラ予測（画面内予測）を行う。イントラ予測部４５は、演算部４１で生成されてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて全てのイントラ予測モード毎に予測画像データを生成する。また、イントラ予測部４５は、画面並べ替えバッファ１１から供給された原画像データと予測画像データを用いて各イントラ予測モードのコスト（例えばレート歪みコスト）の算出等を行い、算出したコストが最小となる最適なモードを選択する。イントラ予測部４５は、最適なイントラ予測モードを選択すると、選択したイントラ予測モードの予測画像データと、選択したイントラ予測モードを示すイントラ予測モード情報等のパラメータ、コスト等を予測選択部４７へ出力する。

動き予測・補償部４６は、インター符号化が行われる画像について、画面並べ替えバッファ１１から供給された原画像データと、フィルタ処理が行われてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて動き予測を行う。また、動き予測・補償部４６は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像データを生成する。

動き予測・補償部４６は、候補となる全てのインター予測モードのインター予測処理を行い、全てのイントラ予測モード毎に予測画像データを生成してコスト（例えばレート歪みコスト）の算出等を行い、算出したコストが最小となる最適なモードを選択する。動き予測・補償部４６は、最適なインター予測モードを選択すると、選択したインター予測モードの予測画像データと、選択したインター予測モードを示すインター予測モード情報や算出した動きベクトルを示す動きベクトル情報などのパラメータ、コスト等を予測選択部４７へ出力する。

予測選択部４７は、イントラ予測モードとインター予測モードのコストに基づき最適な予測処理を選択する。予測選択部４７は、イントラ予測処理を選択した場合、イントラ予測部４５から供給された予測画像データを演算部１２や演算部４１へ出力して、イントラ予測モード情報等のパラメータをエントロピー符号化部２８へ出力する。予測選択部４７は、インター予測処理を選択した場合、動き予測・補償部４６から供給された予測画像データを演算部１２や演算部４１へ出力して、インター予測モード情報や動きベクトル情報等のパラメータをエントロピー符号化部２８へ出力する。

＜２−１−２．画像符号化装置の動作＞
次に、画像符号化装置の第１の実施の形態の動作について説明する。図２は、画像符号化装置の動作を例示したフローチャートである。

ステップＳＴ１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０-1の画面並べ替えバッファ１１は、表示順のフレーム画像を符号化順に並べ替えて、イントラ予測部４５と動き予測・補償部４６へ出力する。

ステップＳＴ２において画像符号化装置はイントラ予測処理を行う。画像符号化装置１０-1のイントラ予測部４５は、フレームメモリ４３から読み出した参照画像データを用いて、処理対象のブロックの画素を候補となる全てのイントラ予測モードでイントラ予測して予測画像データを生成する。また、イントラ予測部４５は、生成した予測画像データと原画像データを用いてコストを算出する。なお、参照画像データとしては、ループ内フィルタ４２によるフィルタ処理が行われていない復号画像データが用いられる。イントラ予測部４５は、算出されたコストに基づいて、最適イントラ予測モードを選択して、最適イントラ予測モードのイントラ予測により生成された予測画像データとパラメータやコストを予測選択部４７に出力する。

ステップＳＴ３において画像符号化装置は動き予測・補償処理を行う。画像符号化装置１０-1の動き予測・補償部４６は、処理対象のブロックの画素を、候補となる全てのインター予測モードでインター予測を行い予測画像データを生成する。また、動き予測・補償部４６は、生成した予測画像データと原画像データを用いてコストを算出する。なお、参照画像データとしては、ループ内フィルタ４２よりフィルタ処理が行われた復号画像データが用いられる。動き予測・補償部４６は、算出したコストに基づいて、最適インター予測モードを決定して、最適インター予測モードにより生成された予測画像データとパラメータとコストを予測選択部４７へ出力する。

ステップＳＴ４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０-1の予測選択部４７は、ステップＳＴ２およびステップＳＴ３で算出されたコストに基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４７は、決定した最適予測モードの予測画像データを選択して、演算部１２，４１へ出力する。なお、予測画像データは、後述するステップＳＴ５，ＳＴ１０の演算に利用される。また、予測選択部４７は、最適予測モードに関するパラメータを、エントロピー符号化部２８へ出力する。

ステップＳＴ５において画像符号化装置は差分演算処理を行う。画像符号化装置１０-1の演算部１２は、ステップＳＴ１で並べ替えられた原画像データと、ステップＳＴ４で選択された予測画像データとの差分を算出して、差分結果である残差データを直交変換部１４と量子化部１６へ出力する。

ステップＳＴ６において画像符号化装置は直交変換処理を行う。画像符号化装置１０-1の直交変換部１４は、演算部１２から供給された残差データを直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換を行い、得られた変換係数を量子化部１５へ出力する。

ステップＳＴ７において画像符号化装置は量子化処理を行う。画像符号化装置１０-1の量子化部１５は、直交変換部１４から供給された変換係数を量子化して、変換量子化データを生成する。量子化部１５は、生成した変換量子化データをエントロピー符号化部２８と逆量子化部３１へ出力する。また、量子化部１６は、演算部１２で生成された残差データの変換スキップ処理を行うことにより得られた変換スキップ係数（残差データ）を量子化して、変換スキップ量子化データを生成する。量子化部１６は、生成した変換スキップ量子化データをエントロピー符号化部２８と逆量子化部３３へ出力する。この量子化に際しては、後述するステップＳＴ１５の処理で説明されるようにレート制御が行われる。

以上のようにして生成された量子化データは、次のようにして局部的に復号される。すなわち、ステップＳＴ８において画像符号化装置は逆量子化処理を行う。画像符号化装置１０-1の逆量子化部３１は、量子化部１５から供給された変換量子化データを量子化部１５に対応する特性で逆量子化して、得られた変換係数を逆直交変換部３２へ出力する。また、画像符号化装置１０-1の逆量子化部３３は、量子化部１６から供給された変換スキップ量子化データを量子化部１６に対応する特性で逆量子化して、得られた残差データを演算部３４へ出力する。

ステップＳＴ９において画像符号化装置は逆直交変換処理を行う。画像符号化装置１０-1の逆直交変換部３２は、逆量子化部３１で得られた逆量子化データすなわち変換係数を直交変換部１４に対応する特性で逆直交変換して、得られた残差データを演算部３４へ出力する。

ステップＳＴ１０において画像符号化装置は画像加算処理を行う。画像符号化装置１０-1の演算部３４は、ステップＳＴ８において逆量子化部３３で逆量子化を行うことにより得られた残差データと、ステップＳＴ９において逆直交変換部３２で逆直交変換を行うことにより得られた残差データを加算することで、局部的に復号された残差データを生成する。また、演算部４１は、局部的に復号された残差データとステップＳＴ４で選択された予測画像データを加算することで局部的に復号された（すなわち、ローカルデコードされた）復号画像データを生成して、ループ内フィルタ４２とフレームメモリ４３へ出力する。

ステップＳＴ１１において画像符号化装置はループ内フィルタ処理を行う。画像符号化装置１０-1のループ内フィルタ４２は、演算部４１で生成された復号画像データに対して、例えばデブロッキングフィルタ処理とＳＡＯ処理および適応ループフィルタ処理の少なくともいずれかのフィルタ処理を行う。ループ内フィルタ４２は、フィルタ処理後の復号画像データをフレームメモリ４３へ出力する。

ステップＳＴ１２において画像符号化装置は記憶処理を行う。画像符号化装置１０-1のフレームメモリ４３は、演算部４１から供給されたループ内フィルタ処理前の復号画像データと、ステップＳＴ１１でループ内フィルタ処理が行われたループ内フィルタ４２からの復号画像データを参照画像データとして記憶する。

ステップＳＴ１３において画像符号化装置はエントロピー符号化処理を行う。画像符号化装置１０-1のエントロピー符号化部２８は、量子化部１５，１６から供給された変換量子化データと変換スキップ量子化データ、およびループ内フィルタ４２や予測選択部４７から供給されたパラメータ等を符号化して蓄積バッファ２９へ出力する。

ステップＳＴ１４において画像符号化装置は蓄積処理を行う。画像符号化装置１０-1の蓄積バッファ２９は、エントロピー符号化部２８から供給された符号化データを蓄積する。蓄積バッファ２９に蓄積された符号化データは、適宜読み出されて伝送路等を介して復号側に供給される。

ステップＳＴ１５において画像符号化装置はレート制御を行う。画像符号化装置１０-1のレート制御部３０は、蓄積バッファ２９に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部１５，１６の量子化動作のレート制御を行う。

このように、第１の実施の形態では、直交変換後の変換係数と変換スキップ係数を符号化ストリームに含めて画像符号化装置から画像復号装置に伝送される。したがって、直交変換後の変換係数の量子化および逆量子化等を行い復号された復号画像に比べてモスキートノイズ等による画質低減を抑制できる。また、変換スキップ係数の量子化および逆量子化等を行い復号された復号画像に比べてグラデーションの破綻を少なくできる。したがって、変換係数または変換スキップ係数のいずれかを符号化ストリームに含める場合に比べて、復号画像の高画質低下を抑制できるようになる。

また、第１の実施の形態では、変換係数と変換スキップ係数を独立に並列して算出して量子化することから、変換係数と変換スキップ係数を符号化ストリームに含める場合でも符号化処理を高速に行うことができる。

＜２−２．第２の実施の形態＞
次に、画像符号化装置の第２の実施の形態について説明する。画像符号化装置は、符号化対象画像と予測画像との差を示す残差データに対して、変換処理ブロック毎に直交変換を行う。また、画像符号化装置は、直交変換により得られた変換係数の量子化と逆量子化および逆直交変換を行うことにより復号された残差データに生じた誤差を算出する。さらに、算出した誤差残差データに対する直交変換をスキップして変換スキップ係数として、変換係数と変換スキップ係数とを符号化して、符号化ストリームを生成する。

＜２−２−１．画像符号化装置の構成＞
図３は、画像符号化装置の第２の実施の形態の構成を例示している。画像符号化装置１０-2は、原画像データの符号化を行い符号化ストリームを生成する。

画像符号化装置１０-2は、画面並べ替えバッファ１１、演算部１２，２４、直交変換部１４、量子化部１５、逆量子化部２２、逆直交変換部２３、量子化部２５、エントロピー符号化部２８、蓄積バッファ２９、レート制御部３０を有する。また、画像符号化装置１０-2は、逆量子化部３５、演算部３６，４１、ループ内フィルタ４２、フレームメモリ４３、選択部４４を有している。さらに、画像符号化装置１０-2は、イントラ予測部４５、動き予測・補償部４６、予測選択部４７を有する。

画面並べ替えバッファ１１は、入力画像の画像データを記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ１１は、符号化順とされた符号化対象の画像データ（原画像データ）を、演算部１２へ出力する。また、画面並べ替えバッファ１１は、イントラ予測部４５および動き予測・補償部４６へ出力する。

演算部１２は、画面並べ替えバッファ１１から供給された原画像データから、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを画素位置毎に減算して、予測残差を示す残差データを生成する。演算部１２は生成した残差データを直交変換部１４へ出力する。

直交変換部１４は、演算部１２から供給される残差データに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１５へ出力する。

量子化部１５は、直交変換部１４から供給される変換係数を量子化して、逆量子化部２２とエントロピー符号化部２８へ出力する。

逆量子化部２２は、量子化部１５から供給された変換量子化データを、量子化部１５で行われた量子化に対応する方法で逆量子化する。逆量子化部２２は、得られた逆量子化データすなわち変換係数を逆直交変換部２３へ出力する。

逆直交変換部２３は、逆量子化部２２から供給された変換係数を直交変換部１４で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部２３は、逆直交変換結果すなわち復号された残差データを、演算部２４，３６へ出力する。

演算部２４は、逆直交変換部２３から供給された復号残差データを、演算部１２から供給された差分データから減算して、直交変換と量子化および逆量子化と逆直交変換を行ったことによって生じる誤差を示すデータ（以下「変換誤差データ」という）を算出して、直交変換がスキップされた変換スキップ係数として量子化部２５へ出力する。

量子化部２５は、演算部２４から供給される変換スキップ係数を量子化して、変換誤差量子化データを生成する。量子化部２５は、生成した変換スキップ量子化データをエントロピー符号化部２８と逆量子化部３５へ出力する。

エントロピー符号化部２８は、量子化部１５から供給された変換量子化データと、量子化部２５から供給された変換スキップ量子化データに対して、エントロピー符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）等の算術符号化処理を行う。また、エントロピー符号化部２８は、予測選択部４７で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報などのパラメータ、またはインター予測モードを示す情報や動きベクトル情報などのパラメータを取得する。さらに、エントロピー符号化部２８は、ループ内フィルタ４２からフィルタ処理に関するパラメータを取得する。エントロピー符号化部２８は、変換量子化データと変換スキップ量子化データをエントロピー符号化するとともに、取得した各パラメータ（シンタックス要素）をエントロピー符号化してヘッダ情報の一部として（多重化して）蓄積バッファ２９に蓄積させる。

蓄積バッファ２９は、エントロピー符号化部２８から供給された符号化データを一時的に保持し、所定のタイミングにおいて、符号化データを例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。

レート制御部３０は、蓄積バッファ２９に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５，２５の量子化動作のレートを制御する。

逆量子化部３５は、量子化部２５から供給された変換スキップ量子化データを、量子化部２５で行われた量子化に対応する方法で逆量子化する。逆量子化部３５は、得られた復号変換誤差データを演算部３６へ出力する。

演算部３６は、逆直交変換部２３で復号された残差データと、逆量子化部３５で復号された変換誤差データを加算して、加算結果を復号残差データとして演算部４１へ出力する。

演算部４１は、演算部３６から供給された復号残差データに、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを加算して、局部的に復号された画像データ（復号画像データ）を得る。演算部４１は、加算結果である復号画像データを、ループ内フィルタ４２へ出力する。また、復号画像データは参照画像データとしてフレームメモリ４３へ出力する。

ループ内フィルタ４２は、例えばデブロッキングフィルタや適応オフセットフィルタおよび適応ループフィルタの少なくともいずれかを用いて構成されている。ループ内フィルタ４２は、復号画像データのフィルタ処理を行い、フィルタ処理後の復号画像データを参照画像データとしてフレームメモリ４３へ出力する。また、ループ内フィルタ４２は、フィルタ処理に関するパラメータをエントロピー符号化部２８へ出力する。

フレームメモリ４３に蓄積されている参照画像データは、所定のタイミングで選択部４４を介してイントラ予測部４５または動き予測・補償部４６に出力される。

イントラ予測部４５は、画面内の画素値を用いて予測画像データを生成するイントラ予測（画面内予測）を行う。イントラ予測部４５は、演算部４１で生成されてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて全てのイントラ予測モード毎に予測画像データを生成する。また、イントラ予測部４５は、画面並べ替えバッファ１１から供給された原画像データと予測画像データを用いて各イントラ予測モードのコストの算出等を行い、算出したコストが最小となる最適なモードを選択する。イントラ予測部４５は、選択したイントラ予測モードの予測画像データと、選択したイントラ予測モードを示すイントラ予測モード情報等のパラメータ、コスト等を予測選択部４７へ出力する。

動き予測・補償部４６は、インター符号化が行われる画像について、画面並べ替えバッファ１１から供給された原画像データと、フィルタ処理が行われてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて動き予測を行う。また、動き予測・補償部４６は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像データを生成する。

動き予測・補償部４６は、候補となる全てのインター予測モードのインター予測処理を行い、全てのイントラ予測モード毎に予測画像データを生成してコストの算出等を行い、算出したコストが最小となる最適なモードを選択する。動き予測・補償部４６は、選択したインター予測モードの予測画像データと、選択したインター予測モードを示すインター予測モード情報や算出した動きベクトルを示す動きベクトル情報などのパラメータ、コスト等を予測選択部４７へ出力する。

予測選択部４７は、イントラ予測モードとインター予測モードのコストに基づき最適な予測処理を選択する。予測選択部４７は、イントラ予測処理を選択した場合、イントラ予測部４５から供給された予測画像データを演算部１２や演算部４１へ出力して、イントラ予測モード情報等のパラメータをエントロピー符号化部２８へ出力する。予測選択部４７は、インター予測処理を選択した場合、動き予測・補償部４６から供給された予測画像データを演算部１２や演算部４１へ出力して、インター予測モード情報や動きベクトル情報等のパラメータをエントロピー符号化部２８へ出力する。

＜２−２−２．画像符号化装置の動作＞
次に、画像符号化装置の第２の実施の形態の動作について説明する。図４は、画像符号化装置の動作を例示したフローチャートである。なお、第１の実施の形態と同一の処理については簡単に説明する。

ステップＳＴ２１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０-2の画面並べ替えバッファ１１は、表示順のフレーム画像を符号化順に並べ替えて、イントラ予測部４５と動き予測・補償部４６へ出力する。

ステップＳＴ２２において画像符号化装置はイントラ予測処理を行う。画像符号化装置１０-2のイントラ予測部４５は、最適イントラ予測モードで生成された予測画像データとパラメータやコストを予測選択部４７に出力する。

ステップＳＴ２３において画像符号化装置は動き予測・補償処理を行う。画像符号化装置１０-2の動き予測・補償部４６は、最適インター予測モードにより生成された予測画像データとパラメータとコストを予測選択部４７へ出力する。

ステップＳＴ２４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０-2の予測選択部４７は、ステップＳＴ２２およびステップＳＴ２３で算出されたコストに基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４７は、決定した最適予測モードの予測画像データを選択して、演算部１２，４１へ出力する。

ステップＳＴ２５において画像符号化装置は差分演算処理を行う。画像符号化装置１０-2の演算部１２は、ステップＳＴ２１で並べ替えられた原画像データと、ステップＳＴ２４で選択された予測画像データとの差分を算出して、差分結果である残差データを直交変換部１４と演算部２４へ出力する。

ステップＳＴ２６において画像符号化装置は直交変換処理を行う。画像符号化装置１０-2の直交変換部１４は、演算部１２から供給された残差データを直交変換して、得られた変換係数を量子化部１５へ出力する。

ステップＳＴ２７において画像符号化装置は量子化処理を行う。画像符号化装置１０-2の量子化部１５は、直交変換部１４から供給された変換係数を量子化して変換量子化データを生成する。量子化部１５は、生成した変換量子化データを逆量子化部２２とエントロピー符号化部２８へ出力する。

ステップＳＴ２８において画像符号化装置は逆量子化処理を行う。画像符号化装置１０-2の逆量子化部２２は、量子化部１５から出力された変換量子化データを量子化部１５に対応する特性で逆量子化して、得られた変換係数を逆直交変換部２３へ出力する。

ステップＳＴ２９において画像符号化装置は逆直交変換処理を行う。画像符号化装置１０-2の逆直交変換部２３は、逆量子化部２２で生成された逆量子化データすなわち変換係数を直交変換部１４に対応する特性で逆直交変換して、得られた残差データを演算部２４と演算部３６へ出力する。

ステップＳＴ３０において画像符号化装置は誤差算出処理を行う。画像符号化装置１０-2の演算部２４は、ステップＳＴ２５で算出した残差データからステップＳＴ２９で得られた残差データを減算して変換誤差データを生成して、量子化部２５へ出力する。

ステップＳＴ３１において画像符号化装置は誤差の量子化・逆量子化処理を行う。画像符号化装置１０-2の量子化部２５は、ステップＳＴ３０で生成された変換誤差データである変換スキップ係数を量子化して変換スキップ量子化データを生成してエントロピー符号化部２８と逆量子化部３５へ出力する。また、逆量子化部３５は変換スキップ量子化データの逆量子化を行う。逆量子化部３５は量子化部２５から供給された変換スキップ量子化データを量子化部２５に対応する特性で逆量子化して、得られた変換誤差データを演算部３６へ出力する。

ステップＳＴ３２において画像符号化装置は残差復号処理を行う。画像符号化装置１０-2の演算部３６は、逆量子化部３５で得られた変換誤差データとステップＳＴ２９において逆直交変換部２３で得られた残差データを加算して復号残差データを生成して演算部４１へ出力する。

ステップＳＴ３３において画像符号化装置は画像加算処理を行う。画像符号化装置１０-2の演算部４１は、ステップＳＴ３２によって、局部的に復号された復号残差データとステップＳＴ２４で選択された予測画像データを加算することで局部的に復号された復号画像データを生成して、ループ内フィルタ４２とフレームメモリ４３へ出力する。

ステップＳＴ３４において画像符号化装置はループ内フィルタ処理を行う。画像符号化装置１０-2のループ内フィルタ４２は、演算部４１で生成された復号画像データに対して、例えばデブロッキングフィルタ処理とＳＡＯ処理および適応ループフィルタ処理の少なくともいずれかのフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ４３へ出力する。

ステップＳＴ３５において画像符号化装置は記憶処理を行う。画像符号化装置１０-2のフレームメモリ４３は、ステップＳＴ３４のループ内フィルタ処理後の復号画像データと、ループ内フィルタ処理前の復号画像データを参照画像データとして記憶する。

ステップＳＴ３６において画像符号化装置はエントロピー符号化処理を行う。画像符号化装置１０-2のエントロピー符号化部２８は、量子化部１５，２５から供給された変換量子化データと変換スキップ量子化データ、およびループ内フィルタ４２や予測選択部４７から供給されたパラメータ等を符号化する。

ステップＳＴ３７において画像符号化装置は蓄積処理を行う。画像符号化装置１０-2の蓄積バッファ２９は、符号化データを蓄積する。蓄積バッファ２９に蓄積された符号化データは適宜読み出されて、伝送路等を介して復号側に伝送される。

ステップＳＴ３８において画像符号化装置はレート制御を行う。画像符号化装置１０-2のレート制御部３０は、蓄積バッファ２９に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部１５，２５の量子化動作のレート制御を行う。

このような第２の実施の形態によれば、残差データの直交変換および直交変換によって得られた変換係数の量子化と逆量子化さらに逆量子化により得られた変換係数の逆直交変換を行うことで、復号された残差データに誤差を生じても、この誤差を示す変換誤差データが変換スキップ係数として量子化されて符号化ストリームに含められる。したがって、後述するように変換係数と変換スキップ係数を用いた復号処理を行うことで、誤差の影響を受けることなく復号画像データを生成できるようになる。

また、第２の実施の形態によれば、グラデーションなど中低域部を直交変換係数によって再現して、直交変換係数で再現できないようなインパルス等の高周波部分を変換スキップ係数すなわち変換誤差データで再現できる。このため、残差データの再現性が良好となり、復号画像の画質低下を抑制できる。

＜２−３．第３の実施の形態＞
次に、画像符号化装置の第３の実施の形態について説明する。画像符号化装置は、符号化対象画像と予測画像との差を示す残差データに対して、変換処理ブロック毎に変換スキップを行う。また、画像符号化装置は、変換スキップ後である変換スキップ係数の量子化と逆量子化を行うことにより復号された残差データに生じた誤差を算出する。さらに、画像符号化装置は、算出した誤差残差データに対する直交変換を行い変換係数を生成して、変換スキップ係数と変換係数とを符号化して、符号化ストリームを生成する。

＜２−３−１．画像符号化装置の構成＞
図５は、画像符号化装置の第３の実施の形態の構成を例示している。画像符号化装置１０-3は、原画像データの符号化を行い符号化ストリームを生成する。

画像符号化装置１０-3は、画面並べ替えバッファ１１、演算部１２，１９、量子化部１７，２７、逆量子化部１８，３７、直交変換部２６、エントロピー符号化部２８、蓄積バッファ２９、レート制御部３０を有する。また、画像符号化装置１０-3は、逆量子化部３７、逆直交変換部３８、演算部３９，４１、ループ内フィルタ４２、フレームメモリ４３、選択部４４を有している。さらに、画像符号化装置１０-3は、イントラ予測部４５、動き予測・補償部４６、予測選択部４７を有する。

画面並べ替えバッファ１１は、入力画像の画像データを記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ１１は、符号化順とされた符号化対象の画像データ（原画像データ）を、演算部１２へ出力する。また、画面並べ替えバッファ１１は、イントラ予測部４５および動き予測・補償部４６へ出力する。

演算部１２は、画面並べ替えバッファ１１から供給された原画像データから、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを画素位置毎に減算して、予測残差を示す残差データを生成する。演算部１２は生成した残差データを量子化部１７と演算部１９へ出力する。

量子化部１７は、演算部１２から供給される残差データの直交変換をスキップする変換スキップ処理を行うことにより得られた変換スキップ係数、すなわち残差データを示す変換スキップ係数を量子化して、逆量子化部１８とエントロピー符号化部２８へ出力する。

逆量子化部１８は、量子化部１７から供給された変換スキップ量子化データを、量子化部１７で行われた量子化に対応する方法で逆量子化する。逆量子化部１８は、得られた逆量子化データを演算部１９，３９へ出力する。

演算部１９は、逆量子化部１８から供給された復号残差データを、演算部１２から供給された差分データから減算して、変換スキップ係数の量子化および逆量子化を行ったことによって生じる誤差を示すデータ（以下「変換スキップ誤差データ」という）を算出して、直交変換部２６へ出力する。

直交変換部２６は、演算部１９から供給される変換スキップ残差データに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２７へ出力する。

量子化部２７は、直交変換部２６から供給される変換係数を量子化して、変換量子化データをエントロピー符号化部２８と逆量子化部３７へ出力する。

エントロピー符号化部２８は、量子化部１７から供給された変換スキップ量子化データと、量子化部２７から供給された変換量子化データに対して、エントロピー符号化処理、例えばＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）等の算術符号化処理を行う。また、エントロピー符号化部２８は、予測選択部４７で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報などのパラメータ、またはインター予測モードを示す情報や動きベクトル情報などのパラメータを取得する。さらに、エントロピー符号化部２８は、ループ内フィルタ４２からフィルタ処理に関するパラメータを取得する。エントロピー符号化部２８は、変換量子化データと変換スキップ量子化データをエントロピー符号化するとともに、取得した各パラメータ（シンタックス要素）をエントロピー符号化してヘッダ情報の一部として（多重化して）蓄積バッファ２９に蓄積させる。

蓄積バッファ２９は、エントロピー符号化部２８から供給された符号化データを一時的に保持し、所定のタイミングにおいて、符号化データを例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。

レート制御部３０は、蓄積バッファ２９に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１７，２７の量子化動作のレートを制御する。

逆量子化部３７は、量子化部２７から供給された変換量子化データを、量子化部２７で行われた量子化に対応する方法で逆量子化する。逆量子化部３７は、得られた逆量子化データすなわち変換係数を逆直交変換部３８へ出力する。

逆直交変換部３８は、逆量子化部３７から供給された変換係数を直交変換部２６で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３８は、逆直交変換結果すなわち復号された変換スキップ誤差データを演算部３９へ出力する。

演算部３９は、逆量子化部１８から供給された残差データと逆直交変換部３８から供給された変換スキップ誤差データを加算して、加算結果を復号残差データとして演算部４１へ出力する。

演算部４１は、演算部３９から供給された復号残差データに、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを加算して、局部的に復号された画像データ（復号画像データ）を得る。演算部４１は、加算結果である復号画像データを、ループ内フィルタ４２へ出力する。また、復号画像データは参照画像データとしてフレームメモリ４３へ出力する。

ループ内フィルタ４２は、例えばデブロッキングフィルタや適応オフセットフィルタおよび適応ループフィルタの少なくともいずれかを用いて構成されている。ループ内フィルタ４２は、復号画像データのフィルタ処理を行い、フィルタ処理後の復号画像データを参照画像データとしてフレームメモリ４３へ出力する。また、ループ内フィルタ４２は、フィルタ処理に関するパラメータをエントロピー符号化部２８へ出力する。

フレームメモリ４３に蓄積されている参照画像データは、所定のタイミングで選択部４４を介してイントラ予測部４５または動き予測・補償部４６に出力される。

イントラ予測部４５は、画面内の画素値を用いて予測画像データを生成するイントラ予測（画面内予測）を行う。イントラ予測部４５は、演算部４１で生成されてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて全てのイントラ予測モード毎に予測画像データを生成する。また、イントラ予測部４５は、画面並べ替えバッファ１１から供給された原画像データと予測画像データを用いて各イントラ予測モードのコストの算出等を行い、算出したコストが最小となる最適なモードを選択する。イントラ予測部４５は、選択したイントラ予測モードの予測画像データと、選択したイントラ予測モードを示すイントラ予測モード情報等のパラメータ、コスト等を予測選択部４７へ出力する。

動き予測・補償部４６は、インター符号化が行われる画像について、画面並べ替えバッファ１１から供給された原画像データと、フィルタ処理が行われてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて動き予測を行う。また、動き予測・補償部４６は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像データを生成する。

動き予測・補償部４６は、候補となる全てのインター予測モードのインター予測処理を行い、全てのイントラ予測モード毎に予測画像データを生成してコストの算出等を行い、算出したコストが最小となる最適なモードを選択する。動き予測・補償部４６は、選択したインター予測モードの予測画像データと、選択したインター予測モードを示すインター予測モード情報や算出した動きベクトルを示す動きベクトル情報などのパラメータ、コスト等を予測選択部４７へ出力する。

予測選択部４７は、イントラ予測モードとインター予測モードのコストに基づき最適な予測処理を選択する。予測選択部４７は、イントラ予測処理を選択した場合、イントラ予測部４５から供給された予測画像データを演算部１２や演算部４１へ出力して、イントラ予測モード情報等のパラメータをエントロピー符号化部２８へ出力する。予測選択部４７は、インター予測処理を選択した場合、動き予測・補償部４６から供給された予測画像データを演算部１２や演算部４１へ出力して、インター予測モード情報や動きベクトル情報等のパラメータをエントロピー符号化部２８へ出力する。

＜２−３−２．画像符号化装置の動作＞
次に、画像符号化装置の第３の実施の形態の動作について説明する。図６は、画像符号化装置の動作を例示したフローチャートである。

ステップＳＴ４１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０-3の画面並べ替えバッファ１１は、表示順のフレーム画像を符号化順に並べ替えて、イントラ予測部４５と動き予測・補償部４６へ出力する。

ステップＳＴ４２において画像符号化装置はイントラ予測処理を行う。画像符号化装置１０-3のイントラ予測部４５は、最適イントラ予測モードで生成された予測画像データとパラメータやコストを予測選択部４７に出力する。

ステップＳＴ４３において画像符号化装置は動き予測・補償処理を行う。画像符号化装置１０-3の動き予測・補償部４６は、最適インター予測モードにより生成された予測画像データとパラメータとコストを予測選択部４７へ出力する。

ステップＳＴ４４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０-3の予測選択部４７は、ステップＳＴ４２およびステップＳＴ４３で算出されたコストに基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４７は、決定した最適予測モードの予測画像データを選択して、演算部１２，４１へ出力する。

ステップＳＴ４５において画像符号化装置は差分演算処理を行う。画像符号化装置１０-3の演算部１２は、ステップＳＴ４１で並べ替えられた原画像データと、ステップＳＴ４４で選択された予測画像データとの差分を算出して、差分結果である残差データを量子化部１７と演算部１９へ出力する。

ステップＳＴ４６において画像符号化装置は量子化処理を行う。画像符号化装置１０-3の量子化部１７は、演算部１２で生成された残差データの変換スキップ処理を行うことにより得られた変換スキップ係数を量子化して、変換スキップ量子化データを逆量子化部１８とエントロピー符号化部２８へ出力する。この量子化に際しては、後述するステップＳＴ５８の処理で説明されるようにレート制御が行われる。

ステップＳＴ４７において画像符号化装置は逆量子化処理を行う。画像符号化装置１０-3の逆量子化部１８は、量子化部１７から出力された変換スキップ量子化データを量子化部１７に対応する特性で逆量子化して得られた残差データを演算部１９と演算部３９へ出力する。

ステップＳＴ４８において画像符号化装置は誤差算出処理を行う。画像符号化装置１０-3の演算部１９は、ステップＳＴ４５で算出した残差データからステップＳＴ４７で得られた残差データを減算して、変換スキップ係数の量子化と逆量子化を行うことによって生じた誤差を示す変換スキップ誤差データを生成して直交変換部２６へ出力する。

ステップＳＴ４９において画像符号化装置は直交変換処理を行う。画像符号化装置１０-3の直交変換部１４は、演算部１２から供給された変換スキップ誤差データを直交変換して、得られた変換係数を量子化部２７へ出力する。

ステップＳＴ５０において画像符号化装置は量子化処理を行う。画像符号化装置１０-3の量子化部２７は、直交変換部２６から供給された変換係数を量子化して、得られた変換量子化データをエントロピー符号化部２８と逆量子化部３７へ出力する。この量子化に際しては、後述するステップＳＴ５８の処理で説明されるようにレート制御が行われる。

ステップＳＴ５１において画像符号化装置は誤差の逆量子化・逆直交変換処理を行う。画像符号化装置１０-3の逆量子化部３７は、ステップＳＴ５０で得られた変換量子化データを量子化部２７に対応する特性で逆量子化して逆直交変換部３８へ出力する。また、画像符号化装置１０-3の逆直交変換部３８は、逆量子化部３７で得られた変換係数を直交変換部２６に対応する特性で逆直交変換して、得られた変換スキップ誤差データを演算部３９へ出力する。

ステップＳＴ５２において画像符号化装置は残差復号処理を行う。画像符号化装置１０-3の演算部３９は、逆量子化部１８で得られた変換スキップ誤差データとステップＳＴ５１において逆直交変換部３８で得られた復号残差データを加算して復号残差データを生成して演算部４１へ出力する。

ステップＳＴ５３において画像符号化装置は画像加算処理を行う。画像符号化装置１０-3の演算部４１は、ステップＳＴ５２によって、局部的に復号された復号残差データとステップＳＴ４４で選択された予測画像データを加算することで局部的に復号された復号画像データを生成して、ループ内フィルタ４２へ出力する。

ステップＳＴ５４において画像符号化装置はループ内フィルタ処理を行う。画像符号化装置１０-3のループ内フィルタ４２は、演算部４１で生成された復号画像データに対して、例えばデブロッキングフィルタ処理とＳＡＯ処理および適応ループフィルタ処理の少なくともいずれかのフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ４３へ出力する。

ステップＳＴ５５において画像符号化装置は記憶処理を行う。画像符号化装置１０-3のフレームメモリ４３は、ステップＳＴ５４のループ内フィルタ処理後の復号画像データと、ループ内フィルタ処理前の復号画像データを参照画像データとして記憶する。

ステップＳＴ５６において画像符号化装置はエントロピー符号化処理を行う。画像符号化装置１０-3のエントロピー符号化部２８は、量子化部１７から供給された変換スキップ量子化データと、量子化部２７から供給された変換量子化データおよび予測選択部４７等から供給されたパラメータを符号化して蓄積バッファ２９へ出力する。

ステップＳＴ５７において画像符号化装置は蓄積処理を行う。画像符号化装置１０-3の蓄積バッファ２９は、エントロピー符号化部２８から供給された符号化データを蓄積する。蓄積バッファ２９に蓄積された符号化データは、適宜読み出されて伝送路等を介して復号側に伝送される。

ステップＳＴ５８において画像符号化装置はレート制御を行う。画像符号化装置１０-3のレート制御部３０は、蓄積バッファ２９に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部１７，２７の量子化動作のレート制御を行う。

このような第３の実施の形態によれば、残差データの変換スキップ処理と量子化および逆量子化を行うことで、復号された残差データに誤差を生じても、この誤差を示す変換スキップ誤差データを直交変換して得られた変換係数が量子化されて符号化ストリームに含められる。したがって、後述するように変換係数と変換スキップ係数を用いた復号処理を行うことで、誤差の影響を受けることなく復号画像データを生成できるようになる。

また、第３の実施の形態では、インパルス等の高周波部分を変換スキップ係数によって再現して、変換スキップ係数で再現できないようなグラデーション等の中低域を直交変換係数で再現できるので残差データの再現性が良好となり、復号画像の画質低下を抑制できる。

＜２−４．第４の実施の形態＞
次に、画像処理装置の第４の実施の形態について、画像符号化装置は、領域分離データを用いて第１の実施の形態と同様な処理を行う。画像符号化装置は、周波数領域の分離または空間領域の分離を行い、一方の分離データについて直交変換を用いて符号化処理を行い、他方の分離データについて変換スキップを用いて符号化処理を行う。なお、第４の実施の形態において、第１の実施の形態と対応する構成については同一符号を付している。

＜２−４−１．画像符号化装置の構成＞
図７は、画像符号化装置の第４の実施の形態の構成を例示している。画像符号化装置１０-4は、原画像データの符号化を行い符号化ストリームを生成する。

画像符号化装置１０-4は、画面並べ替えバッファ１１、演算部１２、フィルタ部１３、直交変換部１４、量子化部１５，１６、エントロピー符号化部２８、蓄積バッファ２９、レート制御部３０を有する。また、画像符号化装置１０-4は、逆量子化部３１，３３、逆直交変換部３２、演算部３４，４１、ループ内フィルタ４２、フレームメモリ４３、選択部４４を有している。さらに、画像符号化装置１０-4は、イントラ予測部４５、動き予測・補償部４６、予測選択部４７を有する。

画面並べ替えバッファ１１は、入力画像の画像データを記憶して、記憶した表示順序のフレーム画像を、ＧＯＰ（Group of Picture）構造に応じて、符号化のための順序（符号化順）に並べ替える。画面並べ替えバッファ１１は、符号化順とされた符号化対象の画像データ（原画像データ）を、演算部１２へ出力する。また、画面並べ替えバッファ１１は、イントラ予測部４５および動き予測・補償部４６へ出力する。

演算部１２は、画面並べ替えバッファ１１から供給された原画像データから、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを画素位置毎に減算して、予測残差を示す残差データを生成する。演算部１２は生成した残差データをフィルタ部１３へ出力する。

フィルタ部１３は残差データの成分分離処理を行い分離データを生成する。フィルタ部１３は、例えば残差データを用いて周波数領域または空間領域での分離を行い分離データを生成する。

図８は周波数領域で成分分離処理を行う場合のフィルタ部の構成を例示している。フィルタ部１３は、図８の（ａ）に示すように、直交変換部１３１と周波数分離部１３２と逆直交変換部１３３，１３４を有している。

直交変換部１３１は、残差データに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、残差データを空間領域から周波数領域に変換する。直交変換部１３１は、直交変換によって得られた変換係数を周波数分離部１３２へ出力する。

周波数分離部１３２は、直交変換部１３１から供給された変換係数を、低い周波数である第１帯域と第１帯域よりも高い周波数である第２帯域に分離する。周波数分離部１３２は第１帯域の変換係数を逆直交変換部１３３へ出力して、第２帯域の変換係数を逆直交変換部１３４へ出力する。

逆直交変換部１３３は、周波数分離部１３２から供給された第１帯域の変換係数に対して逆直交変換を行い、変換係数を周波数領域から空間領域に変換する。逆直交変換部１３３は、逆直交変換によって得られた画像データを分離データとして直交変換部１４へ出力する。

逆直交変換部１３４は、周波数分離部１３２から供給された第２帯域の変換係数に対して逆直交変換を行い、変換係数を周波数領域から空間領域に変換する。逆直交変換部１３４は、逆直交変換によって得られた画像データを分離データとして量子化部１６へ出力する。

このように、フィルタ部１３は、残差データの領域分離を行い、例えば低い周波数である第１帯域の周波数成分の画像データを分離データとして直交変換部１４へ出力して、第１帯域よりも高い周波数である第２帯域の周波数成分の画像データを分離データとして量子化部１６へ出力する。

ところで、直交変換部１３１で行われる直交変換が直交変換部１４で行われる直交変換と等しい場合、直交変換部１４として直交変換部１３１を用いるようにしてもよい。図８の（ｂ）は、直交変換部１３１を直交変換部１４として用いる場合の構成を例示している。

フィルタ部１３は、直交変換部１３１と周波数分離部１３２と逆直交変換部１３４を有している。

直交変換部１３１は、残差データに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、残差データを空間領域から周波数領域に変換する。直交変換部１３１は、直交変換によって得られた変換係数を周波数分離部１３２へ出力する。

周波数分離部１３２は、直交変換部１３１から供給された変換係数を、低い周波数である第１帯域と第１帯域よりも高い周波数である第２帯域に分離する。周波数分離部１３２は第１帯域の変換係数を量子化部１５へ出力して、第２帯域の変換係数を逆直交変換部１３４へ出力する。

逆直交変換部１３４は、周波数分離部１３２から供給された第２帯域の変換係数に対して逆直交変換を行い、変換係数を周波数領域から空間領域に変換する。逆直交変換部１３４は、逆直交変換によって得られた画像データを分離データとして量子化部１６へ出力する。

このように、フィルタ部１３は、残差データの領域分離を行い、低い周波数である第１帯域の周波数成分を示す変換係数を量子化部１５へ出力して、第１帯域よりも高い周波数である第２帯域の周波数成分の画像データを分離データとして量子化部１６へ出力する。

次に、残差データを用いて空間領域で成分分離処理を行い分離データを生成する場合について説明する。フィルタ部１３は空間フィルタを用いて例えば残差データが示す画像を平滑化画像とテクスチャ成分画像に分離する。図９は空間領域で成分分離処理を行う場合のフィルタ部の構成を例示している。フィルタ部１３は、図９の（ａ）に示すように、空間フィルタ１３５，１３６を有している。

空間フィルタ１３５は、残差データを用いて平滑化処理を行い平滑化画像を生成する。空間フィルタ１３５は例えば移動平均フィルタ等を用いて残差データのフィルタ処理を行い、平滑化画像の画像データを生成して直交変換部１４へ出力する。なお、図１０は空間フィルタを例示しており、図１０の（ａ）は、３×３の移動平均フィルタを例示している。

空間フィルタ１３６は、残差データを用いてテクスチャ成分抽出処理を行いテクスチャ成分画像を生成する。空間フィルタ１３６は、例えばラプラシアンフィルタや微分フィルタ等を用いて、残差データのフィルタ処理を行い、エッジ等を示すテクスチャ成分画像の画像データを量子化部１６へ出力する。なお、図１０の（ｂ）は、３×３のラプラシアンフィルタを例示している。

また、フィルタ部１３は、平滑化画像の画像データを用いてテクスチャ成分画像の画像データを生成してもよい。図９の（ｂ）は、平滑化画像の画像データを用いてテクスチャ成分画像の画像データを生成する場合のフィルタ部の構成を例示している。フィルタ部１３は、空間フィルタ１３５と減算部１３７を有している。

空間フィルタ１３５は、残差データを用いて平滑化処理を行い平滑化画像を生成する。空間フィルタ１３５は例えば移動平均フィルタ等を用いて残差データのフィルタ処理を行い、平滑化画像の画像データを生成して、減算部１３７と直交変換部１４へ出力する。

減算部１３７は、空間フィルタ１３５で生成された平滑化画像の画像データを残差データから減算して、減算結果をテクスチャ成分画像の画像データとして量子化部１６へ出力する。

また、図９に示す空間フィルタでは、移動平均フィルタやラプラシアンフィルタ等の線形フィルタを用いる場合について説明したが、フィルタ部１３は、非線形フィルタを用いてもよい。例えば、インパルス状画像等は直交変換での表現が困難であることから、インパルス状の画像データの除去能力が高いメディアンフィルタを空間フィルタ１３５として用いる。したがって、インパルス状画像が除かれた画像データを直交変換部１４へ出力できる。また、空間フィルタ１３５で生成されたフィルタ処理後の画像データを残差データから減算して、インパルス状画像を示す画像データを量子化部１６へ出力する。

また、空間領域の分離を行う場合のフィルタ部の構成は、図９に示す場合に限られない。例えば、ラプラシアンフィルタや微分フィルタ等を用いて生成したテクスチャ成分画像の画像データを量子化部１６へ出力する。また、テクスチャ成分画像の画像データを残差データから減算して得られた画像データを平滑化画像の画像データとして直交変換部１４へ出力してもよい。

このように、フィルタ部１３は、残差データが示す画像を特性が異なる２つの画像に分離して、一方の画像の画像データを分離データとして直交変換部１４へ出力して、他方の画像の画像データを分離データとして量子化部１６へ出力する。

直交変換部１４は、フィルタ部１３から供給される分離データに対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１５へ出力する。

量子化部１５は、直交変換部１４（またはフィルタ部１３）から供給される変換係数を量子化して、エントロピー符号化部２８と逆量子化部３１へ出力する。なお、変換係数の量子化データを変換量子化データとする。

量子化部１６は、フィルタ部１３から供給される分離データを変換スキップ係数として量子化を行い、得られた変換スキップ量子化データをエントロピー符号化部２８と逆量子化部３３へ出力する。

エントロピー符号化部２８は、量子化部１５から供給された変換量子化データと、量子化部１６から供給された変換スキップ量子化データに対して、算術符号化等のエントロピー符号化処理を行う。また、エントロピー符号化部２８は、予測選択部４７で選択された予測モードのパラメータ、例えばイントラ予測モードを示す情報などのパラメータ、またはインター予測モードを示す情報や動きベクトル情報などのパラメータを取得する。さらに、エントロピー符号化部２８は、ループ内フィルタ４２からフィルタ処理に関するパラメータを取得する。エントロピー符号化部２８は、変換量子化データと変換スキップ量子化データを符号化するとともに、取得した各パラメータ（シンタックス要素）を符号化してヘッダ情報の一部として（多重化して）蓄積バッファ２９に蓄積させる。

蓄積バッファ２９は、エントロピー符号化部２８から供給された符号化データを一時的に保持し、所定のタイミングにおいて、符号化データを例えば後段の図示せぬ記録装置や伝送路などに符号化ストリームとして出力する。

レート制御部３０は、蓄積バッファ２９に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５，１６の量子化動作のレートを制御する。

逆量子化部３１は、量子化部１５から供給された変換量子化データを、量子化部１５で行われた量子化に対応する方法で逆量子化する。逆量子化部３１は、得られた逆量子化データすなわち変換係数を逆直交変換部３２へ出力する。

逆直交変換部３２は、逆量子化部３１から供給された変換係数を直交変換部１４で行われた直交変換処理に対応する方法で逆直交変換する。逆直交変換部３２は、逆直交変換結果すなわち復号された残差データを、演算部３４へ出力する。

逆量子化部３３は、量子化部１６から供給された変換スキップ量子化データを、量子化部１６で行われた量子化に対応する方法で逆量子化する。逆量子化部３３は、得られた逆量子化データすなわち残差データを演算部３４へ出力する。

演算部３４は、逆直交変換部３２から供給された残差データと、逆量子化部３３から供給された残差データを加算して、加算結果を復号残差データとして演算部４１へ出力する。

演算部４１は、演算部３４から供給された復号残差データに、予測選択部４７を介してイントラ予測部４５若しくは動き予測・補償部４６から供給される予測画像データを加算して、局部的に復号された復号画像データを得る。演算部４１は、復号画像データをループ内フィルタ４２へ出力する。また、演算部４１は、復号画像データを参照画像データとしてフレームメモリ４３へ出力する。

ループ内フィルタ４２は、例えばデブロッキングフィルタや適応オフセットフィルタおよび適応ループフィルタの少なくともいずれかを用いて構成されている。ループ内フィルタ４２は、復号画像データのフィルタ処理を行い、フィルタ処理後の復号画像データを参照画像データとしてフレームメモリ４３へ出力する。また、ループ内フィルタ４２は、フィルタ処理に関するパラメータをエントロピー符号化部２８へ出力する。

フレームメモリ４３に蓄積されている参照画像データは、所定のタイミングで選択部４４を介してイントラ予測部４５または動き予測・補償部４６に出力される。

イントラ予測部４５は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部４５は、演算部４１で生成されてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて全てのイントラ予測モード毎に予測画像データを生成する。また、イントラ予測部４５は、画面並べ替えバッファ１１から供給された原画像データと予測画像データを用いて各イントラ予測モードのコストの算出等を行い、算出したコストが最小となる最適なモードを選択する。イントラ予測部４５は、選択したイントラ予測モードの予測画像データと、選択したイントラ予測モードを示すイントラ予測モード情報等のパラメータ、コスト等を予測選択部４７へ出力する。

動き予測・補償部４６は、インター符号化が行われる画像について、画面並べ替えバッファ１１から供給された原画像データと、フィルタ処理が行われてフレームメモリ４３に記憶されている復号画像データを参照画像データとして用いて動き予測を行う。また、動き予測・補償部４６は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像データを生成する。

動き予測・補償部４６は、候補となる全てのインター予測モードのインター予測処理を行い、全てのイントラ予測モード毎に予測画像データを生成してコストの算出等を行い、算出したコストが最小となる最適なモードを選択する。動き予測・補償部４６は、選択したインター予測モードの予測画像データと、選択したインター予測モードを示すインター予測モード情報や算出した動きベクトルを示す動きベクトル情報などのパラメータ、コスト等を予測選択部４７へ出力する。

予測選択部４７は、イントラ予測モードとインター予測モードのコストに基づき最適な予測処理を選択する。予測選択部４７は、イントラ予測処理を選択した場合、イントラ予測部４５から供給された予測画像データを演算部１２や演算部４１へ出力して、イントラ予測モード情報等のパラメータをエントロピー符号化部２８へ出力する。予測選択部４７は、インター予測処理を選択した場合、動き予測・補償部４６から供給された予測画像データを演算部１２や演算部４１へ出力して、インター予測モード情報や動きベクトル情報等のパラメータをエントロピー符号化部２８へ出力する。

＜２−４−２．画像符号化装置の動作＞
次に、画像符号化装置の第４の実施の形態の動作について説明する。図１１は、画像符号化装置の動作を例示したフローチャートである。なお、ステップＳＴ６１乃至ステップＳＴ６５およびステップＳＴ６６乃至ステップＳＴ７６は、図２に示す第１の実施の形態のステップＳＴ１乃至ステップＳＴ１５に相当する。

ステップＳＴ６１において画像符号化装置は画面並べ替え処理を行う。画像符号化装置１０-4の画面並べ替えバッファ１１は、表示順のフレーム画像を符号化順に並べ替えて、イントラ予測部４５と動き予測・補償部４６へ出力する。

ステップＳＴ６２において画像符号化装置はイントラ予測処理を行う。画像符号化装置１０-4のイントラ予測部４５は、最適イントラ予測モードで生成された予測画像データとパラメータやコストを予測選択部４７に出力する。

ステップＳＴ６３において画像符号化装置は動き予測・補償処理を行う。画像符号化装置１０-4の動き予測・補償部４６は、最適インター予測モードにより生成された予測画像データとパラメータとコストを予測選択部４７へ出力する。

ステップＳＴ６４において画像符号化装置は予測画像選択処理を行う。画像符号化装置１０-4の予測選択部４７は、ステップＳＴ６２およびステップＳＴ６３で算出されたコストに基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測選択部４７は、決定した最適予測モードの予測画像データを選択して、演算部１２，４１へ出力する。

ステップＳＴ６５において画像符号化装置は差分演算処理を行う。画像符号化装置１０-4の演算部１２は、ステップＳＴ６１で並べ替えられた原画像データと、ステップＳＴ６４で選択された予測画像データとの差分を算出して、差分結果である残差データをフィルタ部１３へ出力する。

ステップＳＴ６６において画像符号化装置は成分分離処理を行う。画像符号化装置１０-4のフィルタ部１３は、演算部１２から供給された残差データの成分分離処理を行い第１の分離データを直交変換部１４に出力して、第２の分離データを量子化部１６へ出力する。

ステップＳＴ６７において画像符号化装置は直交変換処理を行う。画像符号化装置１０-4の直交変換部１４は、ステップＳＴ６６の成分分離処理によって得られた第１の分離データを直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換を行い、得られた変換係数を量子化部１５へ出力する。
ステップＳＴ６８において画像符号化装置は量子化処理を行う。画像符号化装置１０-4の量子化部１５は、直交変換部１４から供給された変換係数を量子化して、変換量子化データを生成する。量子化部１５は、生成した変換量子化データをエントロピー符号化部２８と逆量子化部３１へ出力する。また、量子化部１６は、フィルタ部１３から供給された第２の分離データを、変換スキップ処理を行うことにより得られた変換スキップ係数として量子化して、変換スキップ量子化データを生成する。量子化部１６は、生成した変換スキップ量子化データをエントロピー符号化部２８と逆量子化部３３へ出力する。この量子化に際しては、後述するステップＳＴ７６の処理で説明されるようにレート制御が行われる。

ステップＳＴ６８において画像符号化装置は量子化処理を行う。画像符号化装置１０-4の量子化部１５は、直交変換部１４から供給された変換係数を量子化して、変換量子化データを生成する。量子化部１５は、生成した変換量子化データをエントロピー符号化部２８と逆量子化部３１へ出力する。また、量子化部１６は、フィルタ部１３から供給された第２の分離データを、変換スキップ処理を行うことにより得られた変換スキップ係数として量子化して、変換スキップ量子化データを生成する。量子化部１６は、生成した変換スキップ量子化データをエントロピー符号化部２８と逆量子化部３３へ出力する。この量子化に際しては、後述するステップＳＴ７６の処理で説明されるようにレート制御が行われる。

以上のようにして生成された量子化データは、次のようにして局部的に復号される。すなわち、ステップＳＴ６９において画像符号化装置は逆量子化処理を行う。画像符号化装置１０-4の逆量子化部３１は、量子化部１５から出力された変換量子化データを量子化部１５に対応する特性で逆量子化する。また、画像符号化装置１０-4の逆量子化部３３は、量子化部１６から出力された変換スキップ量子化データを量子化部１６に対応する特性で逆量子化して残差データを得る。

ステップＳＴ７０において画像符号化装置は逆直交変換処理を行う。画像符号化装置１０-4の逆直交変換部３２は、逆量子化部３１で得られた逆量子化データすなわち変換係数を直交変換部１４に対応する特性で逆直交変換して残差データを生成する。

ステップＳＴ７１において画像符号化装置は画像加算処理を行う。画像符号化装置１０-4の演算部３４は、ステップＳＴ６９において逆量子化部３３で逆量子化を行うことにより得られた残差データと、ステップＳＴ７０において逆直交変換部３２で逆直交変換を行うことにより得られた残差データを加算する。また、演算部４１は、局部的に復号された残差データとステップＳＴ６５で選択された予測画像データを加算して、局部的に復号された復号画像データを生成する。

ステップＳＴ７２において画像符号化装置はループ内フィルタ処理を行う。画像符号化装置１０-4のループ内フィルタ４２は、演算部４１で生成された復号画像データに対して、例えばデブロッキングフィルタ処理とＳＡＯ処理および適応ループフィルタ処理の少なくともいずれかのフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ４３へ出力する。

ステップＳＴ７３において画像符号化装置は記憶処理を行う。画像符号化装置１０-4のフレームメモリ４３は、ステップＳＴ７２のループ内フィルタ処理後の復号画像データと、ループ内フィルタ処理前の復号画像データを参照画像データとして記憶する。

ステップＳＴ７４において画像符号化装置はエントロピー符号化処理を行う。画像符号化装置１０-4のエントロピー符号化部２８は、量子化部１５，２５から供給された変換量子化データと変換スキップ量子化データ、およびループ内フィルタ４２や予測選択部４７から供給されたパラメータ等を符号化する。

ステップＳＴ７５において画像符号化装置は蓄積処理を行う。画像符号化装置１０-4の蓄積バッファ２９は、符号化データを蓄積する。蓄積バッファ２９に蓄積された符号化データは適宜読み出されて、伝送路等を介して復号側に伝送される。

ステップＳＴ７６において画像符号化装置はレート制御を行う。画像符号化装置１０-4のレート制御部３０は、蓄積バッファ２９に蓄積された符号化データがオーバーフローあるいはアンダーフローを生じないように量子化部１５，２５の量子化動作のレート制御を行う。

このような第４の実施の形態によれば、残差データが直交変換用の周波数帯域と変換スキップ用の周波数帯域に分割されて、直交変換係数と変換スキップ係数の生成が並行して行われる。このため、直交変換係数と変換スキップ係数の量子化データを符号化ストリームに含める場合でも符号化処理を高速に行うことができる。また、フィルタ部における成分分離処理を最適化すれば、復号画像におけるリンギングやバンディングの発生を抑制できる。

＜３．画像復号装置について＞
＜３−１．第１の実施の形態＞
画像復号装置の第１の実施の形態では、上述の画像符号化装置で生成された符号化ストリームの復号を行い、変換係数の量子化データと変換スキップ係数の量子化データを同時に取得する。また、画像処理装置は、取得した変換係数の逆量子化と逆直交変換および取得した変換スキップ係数の逆量子化を並列に行い、変換係数と変換スキップ係数に基づく画像データをそれぞれ生成して、生成された画像データを用いた演算処理を行い復号画像データを生成する。

＜３−１−１．画像復号装置の構成＞
図１２は、画像復号装置の第１の実施の形態の構成を例示している。画像符号化装置で生成された符号化ストリームは、所定の伝送路または記録媒体等を介して画像復号装置６０-1に供給されて復号される。

画像復号装置６０-1は、蓄積バッファ６１、エントロピー復号部６２、逆量子化部６３，６７、逆直交変換部６５、演算部６８、ループ内フィルタ６９、画面並べ替えバッファ７０を有する。また、画像復号装置６０-1は、フレームメモリ７１、選択部７２、イントラ予測部７３、動き補償部７４を有する。

蓄積バッファ６１は、伝送されてきた符号化ストリーム例えば図１に示す画像符号化装置で生成された符号化ストリームを受け取り蓄積する。この符号化ストリームは、所定のタイミングで読み出されてエントロピー復号部６２へ出力される。

エントロピー復号部６２は、符号化ストリームをエントロピー復号して、得られたイントラ予測モードを示す情報などのパラメータをイントラ予測部７３へ出力し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き補償部７４へ出力する。また、エントロピー復号部６２は、フィルタに関するパラメータをループ内フィルタ６９へ出力する。さらに、エントロピー復号部６２は、変換量子化データと変換量子化データに関するパラメータを逆量子化部６３へ出力して、差分量子化データを差分量子化データに関するパラメータを逆量子化部６７へ出力する。

逆量子化部６３は、エントロピー復号部６２によって復号された変換量子化データを、復号されたパラメータを用いて図１の量子化部１５の量子化方式に対応する方式で逆量子化する。逆量子化部６３は、逆量子化によって得られた変換係数を逆直交変換部６５へ出力する。

逆量子化部６７は、エントロピー復号部６２で復号された変換スキップ量子化データを、復号されたパラメータを用いて図１に示す量子化部１６の量子化方式に対応する方式で逆量子化する。逆量子化部６７は、逆量子化によって得られた変換スキップ係数である復号残差データを演算部６８へ出力する。

逆直交変換部６５は、図１の直交変換部１４の直交変換方式に対応する方式で逆直交変換を行い、画像符号化装置における直交変換前の残差データに対応する復号残差データを得て演算部６８へ出力する。

演算部６８には、イントラ予測部７３若しくは動き補償部７４から予測画像データが供給される。演算部６８は、逆直交変換部６５と逆量子化部６７のそれぞれから供給された復号残差データと予測画像データとを加算して、画像符号化装置の演算部１２によって予測画像データが減算される前の原画像データに対応する復号画像データを得る。演算部６８は、その復号画像データをループ内フィルタ６９とフレームメモリ７１へ出力する。

ループ内フィルタ６９は、エントロピー復号部６２から供給されるパラメータを用いて、デブロッキングフィルタ処理やＳＡＯ処理および適応ループフィルタ処理の少なくともいずれかを画像符号化装置のループ内フィルタ４２と同様に行い、フィルタ処理結果を画面並べ替えバッファ７０とフレームメモリ７１へ出力する。

画面並べ替えバッファ７０は、画像の並べ替えを行う。すなわち、画像符号化装置の画面並べ替えバッファ１１により符号化の順番のために並べ替えられたフレームの順番を、元の表示の順番に並べ替えられて、出力画像データを生成する。

フレームメモリ７１、選択部７２、イントラ予測部７３、動き補償部７４は、画像符号化装置のフレームメモリ４３、選択部４４、イントラ予測部４５、動き予測・補償部４６にそれぞれ対応する。

フレームメモリ７１は、演算部６８から供給された復号画像データとループ内フィルタ６９から供給された復号画像データを参照画像データとして記憶する。

選択部７２は、イントラ予測に用いる参照画像データをフレームメモリ７１から読み出し、イントラ予測部７３へ出力する。また、選択部７２は、インター予測に用いる参照画像データをフレームメモリ７１から読み出して、動き補償部７４へ出力する。

イントラ予測部７３には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等がエントロピー復号部６２から適宜供給される。イントラ予測部７３は、この情報に基づいて、フレームメモリ７１から取得した参照画像データから予測画像データを生成して演算部６８へ出力する。

動き補償部７４には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）がエントロピー復号部６２から供給される。動き補償部７４は、エントロピー復号部６２から供給されるそれらの情報に基づいて、フレームメモリ７１から取得した参照画像データから予測画像データを生成して演算部６８へ出力する。

＜３−１−２．画像復号装置の動作＞
次に、画像復号装置の第１の実施の形態の動作について説明する。図１３は、画像復号装置の動作を例示したフローチャートである。

復号処理が開始されると、ステップＳＴ８１において画像復号装置は蓄積処理を行う。画像復号装置６０-1の蓄積バッファ６１は、符号化ストリームを受け取り蓄積する。

ステップＳＴ８２において画像復号装置はエントロピー復号処理を行う。画像復号装置６０-1のエントロピー復号部６２は、蓄積バッファ６１から符号化ストリームを取得して復号処理を行い、画像符号化装置のエントロピー符号化処理で符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャを復号する。また、エントロピー復号部６２は、ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）やループ内フィルタ処理などのパラメータの情報も復号する。予測モード情報がイントラ予測モード情報である場合、予測モード情報はイントラ予測部７３へ出力される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き補償部７４へ出力される。また、ループ内フィルタ処理に関するパラメータはループ内フィルタ６９へ出力される。量子化パラメータに関する情報は、逆量子化部６３，６７へ出力される。

ステップＳＴ８３において画像復号装置は予測画像生成処理を行う。画像復号装置６０-1のイントラ予測部７３または動き補償部７４は、エントロピー復号部６２から供給される予測モード情報に対応して、それぞれ予測画像生成処理を行う。

すなわち、エントロピー復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７３はフレームメモリ７１に記憶されている参照画像データを用いてイントラ予測モードのイントラ予測画像データを生成する。エントロピー復号部６２からインター予測モード情報が供給された場合、動き補償部７４は、フレームメモリ７１に記憶されている参照画像データを用いてインター予測モードの動き補償処理を行い、インター予測画像データを生成する。この処理により、イントラ予測部７３により生成されたイントラ予測画像データ、または動き補償部７４により生成されたインター予測画像データが演算部６８へ出力される。

ステップＳＴ８４において画像復号装置は逆量子化処理を行う。画像復号装置６０-1の逆量子化部６３は、エントロピー復号部６２で得られた変換量子化データを、復号されたパラメータを用いて画像符号化装置の量子化処理に対応する方式で逆量子化して、得られた変換係数を逆直交変換部６５へ出力する。また、逆量子化部６７は、エントロピー復号部６２で得られた変換スキップ量子化データを、復号されたパラメータを用いて画像符号化装置の量子化処理に対応する方式で逆量子化して、得られた変換スキップ係数すなわち復号残差データを演算部６８へ出力する。

ステップＳＴ８５において画像復号装置は逆直交変換処理を行う。画像復号装置６０-1の逆直交変換部６５は、逆量子化部６３から供給された逆量子化データすなわち変換係数を、画像符号化装置の直交変換処理に対応する方式で逆直交変換処理を行い、画像符号化装置における直交変換前の残差データに対応する復号残差データを得て演算部６８へ出力する。

ステップＳＴ８６において画像復号装置は画像加算処理を行う。画像復号装置６０-1の演算部６８は、イントラ予測部７３若しくは動き補償部７４から供給された予測画像データと、逆直交変換部６５から供給された復号残差データと逆量子化部６７から供給された残差データを加算して復号画像データを生成する。演算部６８は、生成した復号画像データをループ内フィルタ６９とフレームメモリ７１へ出力する。

ステップＳＴ８７において画像復号装置はループ内フィルタ処理を行う。画像復号装置６０-1のループ内フィルタ６９は、演算部６８より出力された復号画像データに対して、デブロッキングフィルタ処理とＳＡＯ処理および適応ループ内フィルタ処理の少なくともいずれかを画像符号化装置のループ内フィルタ処理と同様に行う。ループ内フィルタ６９は、フィルタ処理後の復号画像データを画面並べ替えバッファ７０およびフレームメモリ７１へ出力する。

ステップＳＴ８８において画像復号装置は記憶処理を行う。画像復号装置６０-1のフレームメモリ７１は、演算部６８から供給されたフィルタ処理前の復号画像データと、ループ内フィルタ６９によってフィルタ処理が行われた復号画像データを参照画像データとして記憶する。

ステップＳＴ８９において画像復号装置は画面並べ替え処理を行う。画像復号装置６０-1の画面並べ替えバッファ７０は、ループ内フィルタ６９から供給された復号画像データを蓄積して、蓄積した復号画像データを画像符号化装置の画面並べ替えバッファ１１で並べ替えられる前の表示順序に戻して、出力画像データとして出力する。

このように、第１の実施の形態では、例えば変換係数と変換スキップ係数が含められた符号化ストリームの復号処理を行うことができるので、変換係数と変換スキップ係数のいずれかを含む符号化ストリームの復号処理を行う場合に比べて、復号画像の高画質低下を抑制できるようになる。

＜３−２．第２の実施の形態＞
画像復号装置の第２の実施の形態では、上述の画像符号化装置で生成された符号化ストリームの復号を行い、変換係数の量子化データと変換スキップ係数の量子化データの逆量子化を順に行う。また、逆量子化を行うことにより得られた変換係数の逆直交変換を行う。さらに、変換スキップ係数の量子化データの逆量子化を行うことによって生成された画像データ、または変換係数の逆直交変換を行うことによって生成された画像データの一方をバッファに一時格納したのち、他方の画像データと同期して用いて演算処理を行い復号画像データを生成する。なお、第２の実施の形態では、変換スキップ係数の量子化データの逆量子化の後に変換係数の量子化データの逆量子化が行われて、変換スキップ係数についての逆量子化によって生成された画像データをバッファに格納する場合を例示している。また、第１の実施の形態と対応する構成については同一符号を付している。

＜３−２−１．画像復号装置の構成＞
図１４は、画像復号装置の第２の実施の形態の構成を例示している。上述の画像符号化装置で生成された符号化ストリームは、所定の伝送路または記録媒体等を介して画像復号装置６０-2に供給されて復号される。

画像復号装置６０-2は、蓄積バッファ６１、エントロピー復号部６２、逆量子化部６３，選択部６４、逆直交変換部６５、バッファ６６、演算部６８、ループ内フィルタ６９、画面並べ替えバッファ７０を有する。また、画像復号装置６０-2は、フレームメモリ７１、選択部７２、イントラ予測部７３、動き補償部７４を有する。

蓄積バッファ６１は、伝送されてきた符号化ストリーム例えば図３に示す画像符号化装置で生成された符号化ストリームを受け取り蓄積する。この符号化ストリームは、所定のタイミングで読み出されてエントロピー復号部６２へ出力される。

エントロピー復号部６２は、符号化ストリームをエントロピー復号して、得られたイントラ予測モードを示す情報などのパラメータをイントラ予測部７３へ出力し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き補償部７４へ出力する。また、エントロピー復号部６２は、フィルタに関するパラメータをループ内フィルタ６９へ出力する。さらに、エントロピー復号部６２は、変換量子化データと変換量子化データに関するパラメータを逆量子化部６３へ出力する。

逆量子化部６３は、エントロピー復号部６２で復号された変換量子化データを、復号されたパラメータを用いて図３の量子化部１５の量子化方式に対応する方式で逆量子化する。また、逆量子化部６３は、エントロピー復号部６２で復号された変換スキップ量子化データを、復号されたパラメータを用いて図３の量子化部２５の量子化方式に対応する方式で逆量子化する。逆量子化部６３は、逆量子化によって得られた変換係数と変換スキップ英数を選択部６４へ出力する。

選択部６４は、逆量子化によって得られた変換係数を逆直交変換部６５へ出力する。また、選択部６４は、逆量子化によって得られた変換スキップ係数すなわち変換誤差データをバッファ６６へ出力する。

逆直交変換部６５は、変換係数に対して図３の直交変換部１４の直交変換方式に対応する方式で逆直交変換を行い、得られた残差データを演算部６８へ出力する。

演算部６８には、イントラ予測部７３若しくは動き補償部７４から予測画像データが供給される。また、演算部６８には、逆直交変換部６５から残差データとバッファ６６から変換誤差データが供給される。演算部６８は、画素毎に残差データと変換誤差データと予測画像データを加算して、画像符号化装置の演算部１２により予測画像データが減算される前の原画像データに対応する復号画像データを得る。演算部６８は、その復号画像データをループ内フィルタ６９とフレームメモリ７１へ出力する。

ループ内フィルタ６９は、エントロピー復号部６２から供給されるパラメータを用いて、デブロッキングフィルタ処理やＳＡＯ処理および適応ループフィルタ処理の少なくともいずれかを画像符号化装置のループ内フィルタ４２と同様に行い、フィルタ処理結果を画面並べ替えバッファ７０とフレームメモリ７１へ出力する。

画面並べ替えバッファ７０は、画像の並べ替えを行う。すなわち、画像符号化装置の画面並べ替えバッファ１１により符号化の順番のために並べ替えられたフレームの順番を、元の表示の順番に並べ替えられて、出力画像データを生成する。

フレームメモリ７１、選択部７２、イントラ予測部７３、動き補償部７４は、画像符号化装置のフレームメモリ４３、選択部４４、イントラ予測部４５、動き予測・補償部４６にそれぞれ対応する。

フレームメモリ７１は、演算部６８から供給された復号画像データとループ内フィルタ６９から供給された復号画像データを参照画像データとして記憶する。

選択部７２は、イントラ予測に用いる参照画像データをフレームメモリ７１から読み出し、イントラ予測部７３へ出力する。また、選択部７２は、インター予測に用いる参照画像データをフレームメモリ７１から読み出して、動き補償部７４へ出力する。

イントラ予測部７３には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等がエントロピー復号部６２から適宜供給される。イントラ予測部７３は、この情報に基づいて、フレームメモリ７１から取得した参照画像データから予測画像データを生成し、生成した予測画像データを演算部６８へ出力する。

動き補償部７４には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）がエントロピー復号部６２から供給される。動き補償部７４は、エントロピー復号部６２から供給されるそれらの情報に基づいて、フレームメモリ７１から取得した参照画像データから予測画像データを生成して演算部６８へ出力する。

＜３−２−２．画像復号装置の動作＞
次に、画像復号装置の第２の実施の形態の動作について説明する。図１５は、画像復号装置の動作を例示したフローチャートである。

復号処理が開始されると、ステップＳＴ９１において画像復号装置は蓄積処理を行う。画像復号装置６０-2の蓄積バッファ６１は、符号化ストリームを受け取り蓄積する。

ステップＳＴ９２において画像復号装置はエントロピー復号処理を行う。画像復号装置６０-2のエントロピー復号部６２は、蓄積バッファ６１から符号化ストリームを取得して復号処理を行い、画像符号化装置のエントロピー符号化処理で符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャを復号する。また、エントロピー復号部６２は、ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）やループ内フィルタ処理などのパラメータの情報も復号する。予測モード情報がイントラ予測モード情報である場合、予測モード情報はイントラ予測部７３へ出力される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き補償部７４へ出力される。また、ループ内フィルタ処理に関するパラメータはループ内フィルタ６９へ出力される。量子化パラメータに関する情報は、逆量子化部６３へ出力される。

ステップＳＴ９３において画像復号装置は予測画像生成処理を行う。画像復号装置６０-2のイントラ予測部７３または動き補償部７４は、エントロピー復号部６２から供給される予測モード情報に対応して、それぞれ予測画像生成処理を行う。

すなわち、エントロピー復号部６２からイントラ予測モード情報が供給された場合、イントラ予測部７３はフレームメモリ７１に記憶されている参照画像データを用いてイントラ予測モードのイントラ予測画像データを生成する。エントロピー復号部６２からインター予測モード情報が供給された場合、動き補償部７４は、フレームメモリ７１に記憶されている参照画像データを用いてインター予測モードの動き補償処理を行い、インター予測画像データを生成する。この処理により、イントラ予測部７３により生成された予測画像データまたは動き補償部７４により生成された予測画像データが演算部６８へ出力される。

ステップＳＴ９４において画像復号装置は逆量子化処理を行う。画像復号装置６０-2の逆量子化部６３は、エントロピー復号部６２で得られた変換量子化データを、復号されたパラメータを用いて画像符号化装置の量子化処理に対応する方式で逆量子化して、得られた変換係数を逆直交変換部６５へ出力する。また、逆量子化部６７は、エントロピー復号部６２で得られた変換スキップ量子化データを、復号されたパラメータを用いて画像符号化装置の量子化処理に対応する方式で逆量子化して、得られた変換スキップ係数すなわち復号変換誤差データを演算部６８へ出力する。

ステップＳＴ９５において画像復号装置は逆直交変換処理を行う。画像復号装置６０-2の逆直交変換部６５は、逆量子化部６３から供給された逆量子化データすなわち変換係数を、画像符号化装置の直交変換処理に対応する方式で逆直交変換処理を行い、残差データを得て演算部６８へ出力する。

ステップＳＴ９６において画像復号装置は残差復号処理を行う。画像復号装置６０-2の演算部６８は、逆直交変換部６５から供給された残差データとバッファ６６から供給された変換誤差データを画素毎に加算して、画像符号化装置における直交変換前の残差データに対応する復号残差データを生成する。

ステップＳＴ９７において画像復号装置は画像加算処理を行う。画像復号装置６０-2の演算部６８は、イントラ予測部７３若しくは動き補償部７４から供給された予測画像データと、ステップＳＴ９６で生成した復号残差データを加算して復号画像データを生成する。演算部６８は、生成した復号画像データをループ内フィルタ６９とフレームメモリ７１へ出力する。

ステップＳＴ９８において画像復号装置はループ内フィルタ処理を行う。画像復号装置６０-2のループ内フィルタ６９は、演算部６８より出力された復号画像データに対して、デブロッキングフィルタ処理とＳＡＯ処理および適応ループ内フィルタ処理の少なくともいずれかを画像符号化装置のループ内フィルタ処理と同様に行う。ループ内フィルタ６９は、フィルタ処理後の復号画像データを画面並べ替えバッファ７０およびフレームメモリ７１へ出力する。

ステップＳＴ９９において画像復号装置は記憶処理を行う。画像復号装置６０-2のフレームメモリ７１は、演算部６８から供給されたフィルタ処理前の復号画像データと、ループ内フィルタ６９によってフィルタ処理が行われた復号画像データを参照画像データとして記憶する。

ステップＳＴ１００において画像復号装置は画面並べ替え処理を行う。画像復号装置６０-2の画面並べ替えバッファ７０は、ループ内フィルタ６９から供給された復号画像データを蓄積して、蓄積した復号画像データを画像符号化装置の画面並べ替えバッファ１１で並べ替えられる前の表示順序に戻して、出力画像データとして出力する。

また、図示せずも、変換係数の量子化データの逆量子化後に変換スキップ係数の量子化データの逆量子化が行われる場合、逆直交変換部６５で生成された画像データをバッファに一時格納したのち、変換スキップ係数についての逆量子化を行うことによって生成された画像データと同期して用いて演算処理を行い復号画像データを生成する。

このように、第２の実施の形態では、変換係数と変換スキップ係数が含められた符号化ストリームの復号処理を行うことができるので、変換係数と変換スキップ係数のいずれかを含む符号化ストリームの復号処理を行う場合に比べて、復号画像の高画質低下を抑制できるようになる。また、変換係数の量子化データと変換スキップ係数の量子化データを同時に取得して、取得した変換係数の逆量子化と逆直交変換および取得した変換スキップ係数の逆量子化を並列に行うことができない場合でも、復号画像を生成できるようになる。

＜４．画像処理装置の動作例＞
次に、画像処理装置の動作例について説明する。図１６は動作例を示している。図１６の（ａ）は原画像データを例示しており、図１６の（ｂ）は予測画像データを例示している。また、図１６の（ｃ）は残差データを示している。図１７は原画像と復号画像を例示しており、図１７の（ａ）は図１６の（ａ）に示す原画像データに対応する原画像である。

残差データに対して直交変換を用いて符号化処理を行うことにより生成した符号化ストリームの復号処理を行うと図１６の（ｄ）に示す復号残差データを得ることができる。この復号残差データに予測画像データを加算することで、図１６の（ｅ）に示す復号画像データが得られる。なお、図１７の（ｂ）は図１６の（ｅ）に示す復号画像データに対応する復号画像である。

また、残差データに対して変換スキップを用いて符号化処理を行うことにより生成した符号化ストリームの復号処理を行うと図１６の（ｆ）に示す復号残差データを得ることができる。この復号残差データに予測画像データを加算することで、図１６の（ｇ）に示す復号画像データが得られる。なお、図１７の（ｃ）は図１６の（ｇ）に示す復号画像データに対応する復号画像である。

ここで、符号化ストリームに含まれる係数が変換係数のみである場合、図１６の（ｅ）および図１７の（ｂ）に示すように、復号時にインパルスを再現できず、モスキートノイズが発生する。また、符号化ストリームに含まれる係数が変換スキップ係数のみである場合、図１６の（ｇ）および図１７の（ｃ）に示すように、復号時にインパルスを再現できるが、グラデーションを正しく再現できない。

これらに対して、本技術では符号化ストリームに変換係数と変換スキップ係数を含める。したがって、符号化ストリームの復号処理を行うと、図１６の（ｈ）に示す復号残差データを得ることができる。この復号残差データに予測画像データを加算することで、図１６の（ｉ）に示す復号画像データが得られる。なお、図１７の（ｄ）は図１６の（ｉ）に示す復号画像データに対応する復号画像である。このように、符号化ストリームに変換係数と変換スキップ係数を含める場合、図１６の（ｉ）および図１７の（ｄ）に示すように、復号時にモスキートノイズを発生することがなく、インパルスとグラデーションを再現できる。すなわち、変換係数と変換スキップ係数を符号化ストリームに含めることで、変換係数または変換スキップ係数の一方を符号化ストリームに含める場合に比べて高画質の復号画像を得られるようになる。

また、図１６および図１７から明らかなように、変換スキップ係数のみを符号化ストリームに含める場合、復号画像では低域周波数成分の画像再現性が低下している。したがって、変換係数と変換スキップ係数を符号化ストリームに含める場合、復号画像における低域周波数成分の画像再現性の低下の防止と符号量の削減のため、変換係数における例えば直流成分（ＤＣ成分のみ）を符号化ストリームに含めるようにしてもよい。

＜５．複数種類の係数の伝送に関するシンタックスについて＞
上述の画像符号化装置における第１乃至第４の実施の形態では、変換係数と変換スキップ係数を符号化ストリームに含めることから、次に、変換係数と変換スキップ係数を符号化ストリームに含めるためのシンタックスについて説明する。

図１８，１９は、複数種類の係数の伝送に関するシンタックスを例示している。図１８の（ａ）は、係数の伝送における第１例のシンタックスを例示している。なお、第１例では、１つ目の係数を変換スキップ係数として、２つ目の係数を変換係数の直流成分（ＤＣ成分）とした場合のシンタックスを例示している。

「additional_dc_offset_flag[x0][y0][cIdx]」は当該ＴＵについてのＤＣ成分を含むか否かを示すフラグの追加を示しており、ＤＣ成分を含めない場合にフラグを「０」、ＤＣ成分を含める場合にフラグを「１」とする。「additional_dc_offset_sign」はＤＣ成分の符号、「additional_dc_offset_level」はＤＣ成分の値を示す。

図１８の（ｂ）は、係数の伝送における第２例のシンタックスを例示している。なお、第２例では、伝送する２つ目の係数がＴＵサイズである場合のシンタックスを例示している。

「additional_coeff_flag[x0][y0][cIdx]」は、当該ＴＵについて２つ目の係数を含むか否かを示すフラグの追加を示しており、２つ目の係数を含めない場合にフラグを「０」、２つ目の係数を含める場合にフラグを「１」とする。「additional_last_sig_coeff_x_prefix，additional_last_sig_coeff_y_prefix，additional_last_sig_coeff_x_suffix，additional_last_sig_coeff_y_suffix」は、２つ目の係数に関する係数位置のプレフィックスやサフィックスを示す。

「additional_coded_sub_block_flag[xS][yS]」は、４×４単位のサブブロック内に非零係数があるか否かを示すフラグである。「additional_sig_coeff_flag[xC][yC]」は、４×４単位のサブブロック内の各係数が非零係数があるか否かを示すフラグである。

「additional_coeff_abs_level_greater1_flag[n]」は、係数の絶対値が２以上かどうかを示すフラグである。「additional_coeff_abs_level_greater2_flag[n]」は係数の絶対値が３以上かどうかを示すフラグである。「additional_coeff_sign_flag[n]」は、係数の正負符号を示すフラグである。「additional_coeff_abs_level_remaining[n]」は、係数の絶対値からフラグで表現した値を引いた値を示す。

図１９の（ａ）は、係数の伝送における第３例のシンタックスを例示している。なお、第３例では、伝送する２つ目の係数が低域４×４のサイズである場合のシンタックスを例示している。

「additional_coeff_flag[x0][y0][cIdx]」は、当該ＴＵについて２つ目の係数を含むか否かを示すフラグの追加を示しており、２つ目の係数を含めない場合にフラグを「０」、２つ目の係数を含める場合にフラグを「１」とする。

「additional_last_sig_coeff_x_prefix，additional_last_sig_coeff_y_prefix」は、２つ目の係数に関する係数位置のプレフィックスを示す。「additional_sig_coeff_flag[xC][yC]」は、４×４単位のサブブロック内の各係数が非零係数があるか否かを示すフラグである。

「additional_coeff_abs_level_greater1_flag[n]」は、係数の絶対値が２以上かどうかを示すフラグである。「additional_coeff_abs_level_greater2_flag[n]」は係数の絶対値が３以上かどうかを示すフラグである。「additional_coeff_sign_flag[n]」は、係数の正負符号を示すフラグである。「additional_coeff_abs_level_remaining[n]」は、係数の絶対値からフラグで表現した値を引いた値を示す。

図１９の（ｂ）は、係数の伝送における第４例のシンタックスを例示している。なお、第４例では、第１例乃至第３例のいずれかを選択可能とする場合のシンタックスを例示している。

「additional_coeff_mode[x0][y0][cIdx]」は、当該ＴＵについて２つ目の係数を含むか否かおよび伝送モードを示すフラグの追加を示しており、２つ目の係数を含めない場合はフラグを「０」、伝送する２つ目の係数がＤＣ成分である場合はフラグを「１」、２つ目の係数について低域４×４の係数のみを伝送する場合はフラグを「２」、伝送する２つ目の係数がＴＵサイズである場合はフラグを「３」とする。

「additional_last_sig_coeff_x_prefix，additional_last_sig_coeff_y_prefix，additional_last_sig_coeff_x_suffix，additional_last_sig_coeff_y_suffix」は、２つ目の係数に関する係数位置のプレフィックスやサフィックスを示す。

「additional_coded_sub_block_flag[xS][yS]」は、４×４単位のサブブロック内に非零係数があるか否かを示すフラグである。「additional_sig_coeff_flag[xC][yC]」は、４×４単位のサブブロック内の各係数が非零係数があるか否かを示すフラグである。

「additional_coeff_abs_level_greater1_flag[n]」は、係数の絶対値が２以上かどうかを示すフラグである。「additional_coeff_abs_level_greater2_flag[n]」は係数の絶対値が３以上かどうかを示すフラグである。「additional_coeff_sign_flag[n]」は、係数の正負符号を示すフラグである。「additional_coeff_abs_level_remaining[n]」は、係数の絶対値からフラグで表現した値を引いた値を示す。「additional_dc_offset_sign」はＤＣ成分の符号、「additional_dc_offset_level」はＤＣ成分の値を示す。

このようなシンタックスを用いることで、画像符号化装置は２つ目の係数を符号化ストリームに含めることが可能となり、画像復号装置はシンタックスに基づき２つ目の係数を用いて復号処理を行うことで、変換係数または変換スキップ係数のいずれか一方を伝送する場合に比べて、復号画像の画質低下を抑制できるようになる。

＜６．複数種類の係数を伝送する場合の量子化パラメータについて＞
ところで、画像符号化装置では、量子化パラメータ（ＱＰ：Quantization Parameter）に応じて量子化ステップの設定を行い、量子化パラメータが大きくなるに伴いステップ幅を広くすることが行われている。ここで、上述の実施の形態のように複数種類の係数を量子化して符号化ストリームに含める場合、各種類の係数に対して等しい量子化パラメータを用いる場合に限らず、種類毎に量子化パラメータを設定してもよい。例えばいずれかの係数を重視して符号化ストリームを生成する場合、重視する係数に対する量子化パラメータの値を小さくして量子化ステップのステップ幅を狭くして、重視する係数のデータ量を多くする。このように、種類毎に量子化パラメータを設定すれば、自由度の高い符号化処理が可能となり、等しい量子化パラメータを用いるに比べて復号画像を高画質とすることが可能となる。

図２０は、複数の量子化パラメータを用いる場合のシンタックスを例示している。例えばＨＥＶＣのシンタックスを使用する場合、「Pic_parameter_set_rbsp」に図２０の（ａ）に示す「cu_qp_delta_additional_enabled_flag」を設ける。このシンタックスは、２つ目の量子化パラメータを使用するか否かを示すフラグである。

また、「transform_unit」に図２０の（ｂ）に示す「cu_qp_delta_additional_abs」と「cu_qp_delta_additional_sign_flag」を設ける。「cu_qp_delta_additional_abs」は１つ目の量子化パラメータに対する２つ目の量子化パラメータの差の絶対値を示しており、「cu_qp_delta_additional_sign_flag」は１つ目の量子化パラメータに対する２つ目の量子化パラメータの差の正負符号を示している。例えば、１つ目の量子化パラメータを変換スキップの係数に対する量子化パラメータとした場合、追加して直交変換の変換係数を符号化ストリームに含める場合には、２つ目の量子化パラメータを直交変換の係数に対する量子化パラメータとする。また、１つ目の量子化パラメータを直交変換の変換係数に対する量子化パラメータとした場合、追加して変換スキップ係数を伝送する場合には、２つ目の量子化パラメータを変換スキップ係数に対する量子化パラメータとする。

このようなシンタックスを用いることで、複数種類の係数を符号化ストリームに含める際に個々に量子化パラメータを設定しても、符号化処理に対応した復号処理を行うことができる。

なお、上述の実施の形態では、直交変換を行うことにより得られる変換係数と、直交変換をスキップする変換スキップ処理を行うことによって得られる変換スキップ係数を符号化ストリームに含める場合について説明したが、複数種類の係数は直交変換の変換係数や変換スキップ係数に限られるものではなく、他の変換係数を用いてもよく、他の係数をさらに含めるようにしてもよい。

＜７．応用例＞
次に、本技術の画像処理装置の応用例について説明する。

［第１の応用例：テレビジョン受像機］
図２１は、上述した画像処理装置を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）などの補助的なデータを抽出し、抽出したデータを制御部９１０へ出力する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去（抑制）などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＥＬＤ（Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）（有機ＥＬディスプレイ）など）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去（抑制）などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、画質の低下が抑制された復号画像を表示できる。

［第２の応用例：携帯電話機］
図２２は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３へ出力される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、符号化効率の向上および画質の低下が抑制された復号画像の出力を行えるようになる。

［第３の応用例：記録再生装置］
図２３は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した画像符号化装置の機能を有する。また、デコーダ９４７は、上述した画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、符号化効率の向上および画質の低下が抑制された復号画像の再生を行えるようになる。

［第４の応用例：撮像装置］
図２４は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、符号化効率の向上および画質の低下が抑制された復号画像の出力を行えるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成する量子化部と、
前記量子化部で生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成する符号化部と
を備える画像処理装置。
（２） 前記複数種類の係数は、直交変換を行うことにより得られる変換係数と、前記直交変換をスキップする変換スキップ処理を行うことによって得られる変換スキップ係数である（１）に記載の画像処理装置。
（３） 前記符号化部は、
前記画像データに対して前記直交変換を行うことにより得られた変換係数の量子化データと、
前記画像データに対して前記変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する（２）に記載の画像処理装置。
（４） 前記変換係数の量子化データは前記変換係数の直流成分を示す（３）に記載の画像処理装置。
（５） 前記画像データの成分分離処理を行うフィルタ部をさらに備え、
前記符号化部は、
前記フィルタ部の成分分離処理で得られた第１の分離データに対して前記直交変換を行うことにより得られた変換係数の量子化データと、
前記フィルタ部の成分分離処理で得られた前記第１の分離データと異なる第２分離データに対して前記変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する（３）に記載の画像処理装置。
（６） 前記フィルタ部は、周波数領域での成分分離処理を行い、前記第１の分離データと前記第１の分離データよりも高い周波数成分である前記第２の分離データを生成する（５）に記載の画像処理装置。
（７） 前記フィルタ部は、空間領域での成分分離処理を行い、平滑化処理とテクスチャ成分抽出処理、または平滑化処理とテクスチャ成分抽出処理のいずれかと処理結果を用いた演算処理によって、前記第１の分離データと前記第２の分離データを生成する（５）に記載の画像処理装置。
（８） 前記フィルタ部は、前記平滑化処理によって、または前記テクスチャ成分抽出処理の処理結果と前記画像データを用いた演算処理によって前記第１の分離データを生成して、前記テクスチャ成分抽出処理によって、または前記平滑化処理の処理結果と前記画像データを用いた演算処理によって前記第２の分離データを生成する（７）に記載の画像処理装置。
（９） 前記符号化部は、
前記直交変換を前記画像データに対して行うことにより得られた変換係数の量子化データと、
前記変換係数の量子化と逆量子化および逆直交変換を行うことにより得られた復号データと前記画像データとの差に対して、前記変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する（２）に記載の画像処理装置。
（１０） 前記符号化部は、
前記変換スキップ処理を前記画像データに対して行うことにより得られた変換スキップ係数の量子化データと、
前記変換スキップ係数の量子化と逆量子化を行うことにより得られた復号データと前記画像データとの差に対して、前記直交変換を行うことにより得られた変換係数の量子化データを符号化する（２）に記載の画像処理装置。
（１１） 前記量子化部は、前記係数の種類毎に設定された量子化パラメータに基づいて前記係数の量子化を行い、
前記符号化部は、前記係数の種類毎に設定された量子化パラメータを示す情報を符号化して前記符号化ストリームに含める（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記画像データは、符号化対象の画像データと予測画像データとの差を示す残差データである（１）乃至（１１）のいずれかに記載の画像処理装置。

さらに、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得する復号部と、
前記復号部で取得された量子化データの逆量子化を行い前記種類毎の係数を生成する逆量子化部と、
前記逆量子化部で得られた係数から前記係数の種類毎に画像データを生成する逆変換部と、
前記逆変換部で得られた前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成する演算部と
を備える画像処理装置。
（２） 前記復号部は、前記符号化ストリームの復号を行い、前記複数種類の係数の種類毎の量子化パラメータを示す情報を取得して、
前記逆量子化部は、前記係数の種類毎に対応する量子化パラメータの情報を用いて対応する量子化データの逆量子化を行う（１）に記載の画像処理装置。
（３） 前記演算部は、前記逆変換部で得られた前記係数の種類毎の画像データと予測画像データを、画素位置を合わせて加算して前記復号画像データを生成する（１）または（２）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法およびプログラムでは、画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データが生成されて、この複数種類毎の量子化データを符号化して符号化ストリームが生成される。また、符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得して、取得した量子化データの逆量子化を行い種類毎の係数が生成される。また、生成された係数から係数の種類毎に画像データが生成されて、係数の種類毎の画像データを用いた演算処理によって復号画像データが生成される。このため、復号画像の画質低下を抑制できるようになる。したがって、画像データの符号化処理または復号処理を行う電子機器に適している。

１０-1，１０-2，１０-3，１０-4・・・画像符号化装置
１１，７０・・・画面並べ替えバッファ
１２，１９，２４，３４，３６，３９，４１，６８，１３７・・・演算部
１３・・・フィルタ部
１４，２６，１３１・・・直交変換部
１５，１６，１７，２５，２７・・・量子化部
１７，１８，２２，３１，３３，３５，３７，６３，６７・・・逆量子化部
２３，３２，３８，６５，１３３，１３４・・・逆直交変換部
２８・・・エントロピー符号化部
２９，６１・・・蓄積バッファ
３０・・・レート制御部
４２，６９・・・ループ内フィルタ
４３，７１・・・フレームメモリ
４４，６４，７２・・・選択部
４５，７３・・・イントラ予測部
４６・・・動き予測・補償部
４７・・・予測選択部
６０-1，６０-2・・・画像復号装置
６２・・・エントロピー復号部
６６・・・バッファ
７４・・・動き補償部
１３２・・・周波数分離部
１３５，１３６・・・空間フィルタ

Claims (19)

1. 画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成する量子化部と、
   前記量子化部で生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成する符号化部と
   を備える画像処理装置。
2. 前記複数種類の係数は、直交変換を行うことにより得られる変換係数と、前記直交変換をスキップする変換スキップ処理を行うことによって得られる変換スキップ係数である
   請求項１に記載の画像処理装置。
3. 前記符号化部は、
   前記画像データに対して前記直交変換を行うことにより得られた変換係数の量子化データと、
   前記画像データに対して前記変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する
   請求項２に記載の画像処理装置。
4. 前記変換係数の量子化データは前記変換係数の直流成分を示す
   請求項３に記載の画像処理装置。
5. 前記画像データの成分分離処理を行うフィルタ部をさらに備え、
   前記符号化部は、
   前記フィルタ部の成分分離処理で得られた第１の分離データに対して前記直交変換を行うことにより得られた変換係数の量子化データと、
   前記フィルタ部の成分分離処理で得られた前記第１の分離データと異なる第２分離データに対して前記変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する
   請求項３に記載の画像処理装置。
6. 前記フィルタ部は、周波数領域での成分分離処理を行い、前記第１の分離データと前記第１の分離データよりも高い周波数成分である前記第２の分離データを生成する
   請求項５に記載の画像処理装置。
7. 前記フィルタ部は、空間領域での成分分離処理を行い、平滑化処理とテクスチャ成分抽出処理、または平滑化処理とテクスチャ成分抽出処理のいずれかと処理結果を用いた演算処理によって、前記第１の分離データと前記第２の分離データを生成する
   請求項５に記載の画像処理装置。
8. 前記フィルタ部は、前記平滑化処理によって、または前記テクスチャ成分抽出処理の処理結果と前記画像データを用いた演算処理によって前記第１の分離データを生成して、前記テクスチャ成分抽出処理によって、または前記平滑化処理の処理結果と前記画像データを用いた演算処理によって前記第２の分離データを生成する
   請求項７に記載の画像処理装置。
9. 前記符号化部は、
   前記直交変換を前記画像データに対して行うことにより得られた変換係数の量子化データと、
   前記変換係数の量子化と逆量子化および逆直交変換を行うことにより得られた復号データと前記画像データとの差に対して、前記変換スキップ処理を行うことにより得られた変換スキップ係数の量子化データを符号化する
   請求項２に記載の画像処理装置。
10. 前記符号化部は、
    前記変換スキップ処理を前記画像データに対して行うことにより得られた変換スキップ係数の量子化データと、
    前記変換スキップ係数の量子化と逆量子化を行うことにより得られた復号データと前記画像データとの差に対して、前記直交変換を行うことにより得られた変換係数の量子化データを符号化する
    請求項２に記載の画像処理装置。
11. 前記量子化部は、前記係数の種類毎に設定された量子化パラメータに基づいて前記係数の量子化を行い、
    前記符号化部は、前記係数の種類毎に設定された量子化パラメータを示す情報を符号化して前記符号化ストリームに含める
    請求項１に記載の画像処理装置。
12. 前記画像データは、符号化対象の画像データと予測画像データとの差を示す残差データである
    請求項１に記載の画像処理装置。
13. 画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成することと、
    前記量子化部で生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成することと
    を含む画像処理方法。
14. 画像符号化処理をコンピュータで実行させるプログラムであって、
    画像データから各変換処理ブロックで生成された複数種類の係数を種類毎に量子化して量子化データを生成する手順と、
    前記生成された前記複数種類毎の量子化データを符号化して符号化ストリームを生成する手順と
    を前記コンピュータで実行させるプログラム。
15. 符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得する復号部と、
    前記復号部で取得された量子化データの逆量子化を行い前記種類毎の係数を生成する逆量子化部と、
    前記逆量子化部で得られた係数から前記係数の種類毎に画像データを生成する逆変換部と、
    前記逆変換部で得られた前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成する演算部と
    を備える画像処理装置。
16. 前記復号部は、前記符号化ストリームの復号を行い、前記複数種類の係数の種類毎の量子化パラメータを示す情報を取得して、
    前記逆量子化部は、前記係数の種類毎に対応する量子化パラメータの情報を用いて対応する量子化データの逆量子化を行う
    請求項１５に記載の画像処理装置。
17. 前記演算部は、前記逆変換部で得られた前記係数の種類毎の画像データと予測画像データを、画素位置を合わせて加算して前記復号画像データを生成する
    請求項１５に記載の画像処理装置。
18. 符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得することと、
    前記取得された量子化データの逆量子化を行い前記種類毎の係数を生成することと、
    前記生成された係数から前記係数の種類毎に画像データを生成することと、
    前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成することと
    を含む画像処理方法。
19. 画像復号処理をコンピュータで実行させるプログラムであって、
    符号化ストリームの復号を行い、複数種類の係数の種類毎の量子化データを取得する手順と、
    前記取得された量子化データの逆量子化を行い前記種類毎の係数を生成する手順と、
    前記生成された係数から前記係数の種類毎に画像データを生成する手順と
    前記係数の種類毎の画像データを用いた演算処理を行い復号画像データを生成する手順と
    を前記コンピュータで実行させるプログラム。

Images