JP4813328B2 - 符号化装置、符号化方法、及びプログラム - Google Patents

Description

本発明は、符号化装置、符号化方法、及びプログラムに関する。

近年、画像符号化技術、画像符号化方式の発展はめざましく、薄型テレビ、ＨＤＤレコーダに代表されるデジタル家電製品などに幅広く応用されている。

なかでも、非特許文献１に記載される画像符号化方式は、デジタル放送や、光ディスクの規格にも採用されており、今後ますます利用範囲が拡大していくことが期待される。

非特許文献１、２に記載される画像符号化方式などにおいて、映像データは、一連の静止画像データ（以下、単に画像データという。）により構成される。各画像データはスライスと呼ばれる単位に分割されて符号化される。ここで、各スライスは１つ以上のマクロブロック（縦１６画素、横１６画素からなる矩形のブロック）から構成される。

符号化装置は、マクロブロック毎に、同一画像データ内の相関または画像データ間の相関のいずれかを利用した予測画像データを生成する。具体的には、符号化装置は、まず予測モードを決定し、決定した予測モードを用いて、予測画像データを生成する。

この予測モードは、大きく分けてイントラ予測モードとインター予測モードの２種類に分類される。符号化装置は、マクロブロック毎に、イントラ予測モード又はインター予測モードのいずれかを選択し、選択した予測モードを用いて予測画像データを生成する。イントラ予測モードとインター予測モードは、それぞれ以下に説明する複数の予測モードに細分される。以下、イントラ予測モードとインター予測モードそれぞれについて、詳細に説明する。

イントラ予測モードにおいては、符号化装置は、同一画像データ内の相関を用いて予測画像データを生成する。具体的には、各符号化方式において規定される１又は複数のイントラ予測画像データ生成方法（一例では、符号化対象のマクロブロックの真上に隣接するマクロブロック(既に符号化済み)の再生画像のうち、最も下のラインの画素値をそのまま下に引き伸ばして予測画像データを生成する方法。また、他の一例では、符号化対象マクロブロックの真左に隣接するマクロブロック(既に符号化済み)の再生画像のうち、最も右のラインの画素値をそのまま下に引き伸ばして予測画像データを生成する方法。）から最適な方法を選択した上で、同一画像データ内の既符号化部分の再生データを用いて、予測画像データを生成する。イントラ予測モードにかかる各予測モードは、イントラ予測画像データ生成方法により特定される。以下では、イントラ予測画像データ生成方法を特定するための情報をイントラ予測モード情報と称する。

インター予測モードにおいては、符号化装置は、まず前予測、後予測、双方向予測といった動き予測の方向を決定し、決定結果に応じて、過去に符号化した画像データの中から予測画像データの生成に使用する画像データ（参照画像）を選択する。なお、前予測、後予測では１枚、双方向予測では２枚の参照画像がそれぞれ選択される。次に、選択した画像データごとに、当該マクロブロックの内容に最も近い領域を特定し、当該マクロブロックと前記領域の相対的な位置関係を動きベクトルとして抽出する。そして、参照画像を動きベクトルに基づいて変化させることにより、予測画像データを生成する。以下では、こうして決定される予測の方向を示す情報を予測方向情報と称する。また、選択される参照画像を特定する情報を参照画像インデックスと称する。さらに、動きベクトルを示す情報を動きベクトル情報と称する。

ここで、インター予測において選択される参照画像は必ずしもマクロブロックの単位で選択されるわけではなく、例えばマクロブロックを更に縦横２分割したサブマクロブロック単位で選択されることもある。参照画像がサブマクロブロックの単位で選択される場合、マクロブロックの分割方法を示す情報が復号時に必要となる。以下では、この情報を分割情報と称する。

インター予測モードにかかる各予測モードは、予測方向、参照画像、動きベクトル、及び分割方法の組み合わせにより特定される。以下では、予測モードを特定するこれらの組み合わせを示す情報（予測方向情報、参照画像インデックス、動きベクトル情報、及び分割情報の組み合わせ）をインター予測モード情報と称する。

なお、イントラ予測モードのみを使用して符号化されたスライスはイントラスライス、インター予測モードも使用して符号化されたスライスはインタースライスと呼ばれる。

符号化装置は、生成した予測画像データと当該ブロックの差分を示す差分データと、上記イントラ予測モード情報又はインター予測モード情報と、を符号化することにより、当該ブロックに対応する符号化データを得る。これにより、画像データが持つデータ量の大幅な削減が実現される。

特許文献１には、非特許文献１に記載される画像符号化方式を用いて画像データを符号化する際に発生しやすい平坦領域（画像データの複雑さが比較的小さい領域）での画質劣化を、平坦領域に属するブロックでインター予測モードが選択され易くすることにより抑制することに関する画像符号化技術が提案されている。すなわち、特許文献１に記載の符号化装置は、平坦領域に属するブロックでは、符号化効率の観点から、インター予測モード及びイントラ予測モードのうち、イントラ予測モードが選択されやすい傾向にあるところ、平坦領域をイントラ予測モードで符号化すると、ノイズ等の影響により、イントラ予測画像データ生成方法がブロック毎に頻繁に切り換わり、特に低ビットレートで符号化する場合に、符号化データを再生した際、その切り換わりが視覚的に知覚されてしまうという問題意識に基づき、平坦領域に属するブロックでイントラ予測モードが選択されにくいようにしている。

また、特許文献２には、既に符号化された画像データの入力を受け付け、一旦復号化して再度符号化する再符号化装置の例が記載されている。この再符号化装置は、入力された符号化画像データから上記イントラ予測モード情報又はインター予測モード情報を取り出し、その中のいくつかを踏襲しつつ、符号化データを得ている。
特開２００６−９４０８１号公報 特開平７−２８８８０４号公報 「国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ） １４４９６−１０」，２００５年 「国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ） １３８１８−２」，２００２年

しかしながら、特許文献１に記載の技術により平坦領域に属するブロックがインター予測モードにより符号化されるようにしたとしても、予測モードの切り換え（予測方向、参照画像、動きベクトル、及び分割方法のうちいずれか少なくとも１つの切り換え）がブロック毎に頻繁に行われるとやはり、特に低ビットレートで符号化する場合に、ブロック境界における画質の劣化が人間の目に知覚されることになる。

以下、ブロック単位で参照画像が切り換わることによる画質劣化について図面を用いて説明する。

図１７は、符号化対象である画像データの一例を示すイメージ図である。図１７に示す画像データは、横８×縦６のブロックに分割されて符号化されるものとする。ここで、ブロックＯ０１、ブロックＯ０２、ブロックＯ０３は、１つの平坦領域を構成するブロック群であり、水平方向に連続している。また、線分Ｏ０４は、ブロックＯ０１、Ｏ０２、Ｏ０３を横断する線分である。

図１８（ａ）は、図１７に示す画像データにおける線分Ｏ０４上の画素値の変化を示すイメージ図である。横軸は、画素の水平方向の位置を表し、縦軸は、各位置における画素値を表している。区間ＰＡ０１、区間ＰＡ０２、区間ＰＡ０３は、それぞれブロックＯ０１、Ｏ０２、Ｏ０３に対応している。

図１８（ｂ）、（ｃ）は、いずれも、図１７に示す画像データを符号化する際、参照画像をブロック毎に切り換えずに、１枚の参照画像を用いて予測画像データの生成を行った結果得られる予測画像データにおける線分Ｏ０４上の画素値の変化の例を示すイメージ図である。ここで、図１８（ｂ）に示す予測画像データを生成するときに使用する参照画像を参照画像Ａ、図１８（ｃ）に示す予測画像データを生成するときに使用する参照画像を参照画像Ｂとし、参照画像Ａと参照画像Ｂは異なる画像であるとする。区間ＰＢ０１、ＰＢ０２、ＰＢ０３は、それぞれ、ブロックＯ０１、Ｏ０２、Ｏ０３についての予測画像データの画素値を表し、区間ＰＣ０１、ＰＣ０２、ＰＣ０３は、それぞれ、ブロックＯ０１、Ｏ０２、Ｏ０３についての予測画像データの画素値を表す。図１８（ａ）に示す画像データと、図１８（ｂ）、（ｃ）に示す予測画像データの対応する位置の画素同士の画素値の差分は、画素の位置にかかわらず概ね一定の値である。図１８（ｂ）、（ｃ）に示すような状態は、例えば、動きの小さい平坦な物体を、蛍光灯のように照度の時間的変動（フリッカー）が発生する光源下で撮影してなる映像データや、フェードインやフェードアウトなどのエフェクトを施してなる映像データを符号化する際に生じやすい。

一方、図１８（ｄ）は、図１７に示す画像データを符号化する際、参照画像をブロック毎に切り換えた結果得られる予測画像データにおける線分Ｏ０４上の画素値の変化の一例を示すイメージ図である。ここで、区間ＰＤ０１、ＰＤ０２、ＰＤ０３は、それぞれ、ブロックＯ０１、Ｏ０２、Ｏ０３についての予測画像データの画素値を表しており、区間ＰＤ０１、ＰＤ０３は、参照画像Ａにより予測画像データが生成され、区間ＰＤ０２は、参照画像Ｂにより予測画像データが生成されている。

図１８（ｄ）に示す予測画像データには、ブロック境界（区間ＰＤ０１と区間ＰＤ０２の境界及び区間ＰＤ０２と区間ＰＤ０３の境界）において、図１８（ｂ）、（ｃ）に示す予測画像データには存在しない、画素値のギャップが存在する。そして、このギャップは、量子化スケールの値が大きい場合には、符号化データを再生した際、ほぼそのままの形で現われる。

つまり、例え、符号化効率の観点から図１８（ｄ）に示す予測画像データが生成される予測モードが最適モードであったとしても、劣化が目立ちやすい平坦領域に属するブロックＯ０１、Ｏ０２、Ｏ０３に関しては、あえて図１８（ｂ）または図１８（ｃ）に示す予測画像データが生成される予測モードを選択するほうが、つまり、いずれのブロックについても同じ参照画像を用いて予測するほうが、上記ギャップが存在しない分、主観的な画質向上の観点からは好ましいのである。

換言すれば、平坦領域における画質劣化を抑制するためには、特許文献１に記載の技術のようにインター予測モードが優先的に選ばれるようにするだけでは不十分で、ブロック毎の予測モードの頻繁な切り換わりについて制限することが望まれる。

従って、本発明の課題の一つは、平坦領域におけるブロック毎の予測モードの切り換わりを制限することで、再生画像の画質向上に資する符号化装置、符号化方法、及びプログラムを提供することにある。

上記課題の本発明にかかる符号化装置は、複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化装置であって、前記画像データ中の平坦領域を抽出する平坦領域抽出手段と、前記ブロック毎に予測モードを決定する予測モード決定手段と、を含み、前記予測モード決定手段は、前記平坦領域に属するブロックのうちの少なくとも一部の間で予測モードが統一されるよう、各ブロックについての予測モードを決定する、ことを特徴とする。

これによれば、平坦領域におけるブロック毎の予測モードの切り換わりが制限できるので、再生画像の画質が向上する。

また、本発明の別の一側面にかかる符号化装置は、複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化装置であって、前記画像データ中の平坦領域を抽出する平坦領域抽出手段と、前記平坦領域に属するブロックのうちの少なくとも一部について予測モードを決定する際の基準とする基準予測モードを決定する基準予測モード決定手段と、前記平坦領域に属するブロックのうちの前記少なくとも一部について、前記基準予測モード決定手段により決定される前記基準予測モードに基づき、予測モードを決定する予測モード決定手段と、を含むことを特徴とする。

これによっても、平坦領域におけるブロック毎の予測モードの切り換わりが制限できるので、再生画像の画質が向上する。

また、上記各符号化装置において、前記平坦領域抽出手段は、画像データの複雑さを表すアクティビティの値を用いて、前記平坦領域を抽出する、こととしてもよい。

また、上記符号化装置において、当該符号化装置は、前記画像データを符号化する際、所与の量子化パラメータを用いる量子化処理を行い、前記平坦領域抽出手段は、前記量子化パラメータの値を用いて、前記平坦領域を抽出する、こととしてもよい。

また、上記各符号化装置において、前記平坦領域は、空間的に連続する２以上のブロックにより構成される、こととしてもよい。

また、上記各符号化装置において、前記予測モード決定手段は、前記複数のブロックそれぞれについて予測モードを決定し、前記基準予測モード決定手段は、前記平坦領域に属するブロックのうち、前記予測モード決定手段により最初に予測モードが決定されるブロックについての予測モードを、前記基準予測モードとして決定する、こととしてもよい。

また、上記各符号化装置において、前記画像データは、ブロック単位で予測モードを切り換えて符号化されており、当該符号化装置は、前記画像データを一旦復号した後、前記ブロック単位で予測モードを切り換えて再度符号化し、前記基準予測モード決定手段は、前記平坦領域に属するブロックそれぞれについて、前記画像データが符号化された際に用いられた予測モードを取得し、その中の最頻の予測モードを、前記基準予測モードとして決定する、こととしてもよい。

また、上記各符号化装置において、前記予測モードは、予測方向、参照画像、動きベクトル、及び分割情報のうちいずれか少なくとも１つにより特定される、こととしてもよい。

また、本発明にかかる符号化方法は、複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化方法であって、前記画像データ中の平坦領域を抽出する平坦領域抽出ステップと、前記平坦領域に属するブロックのうちの少なくとも一部について予測モードを決定する際の基準とする基準予測モードを決定する基準予測モード決定ステップと、前記平坦領域に属するブロックのうちの前記少なくとも一部について、前記基準予測モード決定ステップにおいて決定される前記基準予測モードに基づき、予測モードを決定する予測モード決定ステップと、を含むことを特徴とする。

また、本発明にかかるプログラムは、複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化装置としてコンピュータを機能させるためのプログラムであって、前記画像データ中の平坦領域を抽出する平坦領域抽出手段、前記平坦領域に属するブロックのうちの少なくとも一部について予測モードを決定する際の基準とする基準予測モードを決定する基準予測モード決定手段、及び前記平坦領域に属するブロックのうちの前記少なくとも一部について、前記基準予測モード決定手段により決定される前記基準予測モードに基づき、予測モードを決定する予測モード決定手段、として前記コンピュータをさらに機能させるためのプログラムである。

本発明によれば、再生画像の画質が向上する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

［実施形態１］
図１は、本発明の実施形態１にかかる符号化装置１ａの構成を示す概略ブロック図である。同図に示すように、符号化装置１ａは、Ａ／Ｄ（アナログディジタル変換回路）２、画面並べ替えバッファ３、減算回路４、直交変換回路７、量子化回路８、可逆符号化回路１０、蓄積バッファ１１、逆量子化回路１３、逆直交変換回路１４、デブロックフィルタ回路１５、フレームメモリ１６、加算回路１７、アクティビティ算出回路４２ａ、レート制御回路４３、動き予測・補償回路４４、イントラ・インター判定回路４５ａ、イントラ予測回路４６、領域情報設定回路５１ａ、領域情報メモリ５２ａを含んで構成される。これらの各構成要素は、映像を符号化するための一連の処理を行うためのものである。

以下では、符号化のための一般的な構成についてまず説明し、その後、平坦領域におけるブロック毎の予測モードの切り換わりを制限するための構成について説明する。

Ａ／Ｄ２は、ビデオ信号をアナログディジタル変換して画像データを出力する。

画面並べ替えバッファ３は、Ａ／Ｄ２から出力される画像データを入力し、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて、画像データのフレームを並べ替えて出力する。

アクティビティ算出回路４２ａは、処理対象の画像データについて、ブロック（縦１６画素、横１６画素からなる矩形のブロックであるマクロブロック、またはマクロブロックを更に縦横２分割したサブマクロブロック）毎に画像の平坦度を示すパラメータ（アクティビティ）を計算、出力する。アクティビティの値は画像データの複雑さを示している。具体的なアクティビティとしては、例えばマクロブロック単位でアクティビティを導出する場合、式（１）に示すようなマクロブロックに含まれる画素値の分散が用いられる。ただし、式（１）における変数ａｃｔが該分散である。また、Ｐ_ｋはｋ番目の画素の画素値であり、Ｐの上に線を引いてなる記号は、各Ｐ_ｋの平均値である。また、ここではｋを、１から２５６までの自然数であるとしている。このようにしているのは、マクロブロックの画素数が１６×１６＝２５６であるためである。

レート制御回路４３は、アクティビティ算出回路４２ａにより得られるアクティビティと後述する蓄積バッファ１１の空き容量とに基づき、レート制御の処理を実行する。レート制御回路４３は、レート制御の処理結果に応じて量子化パラメータを取得し、出力する。

イントラ・インター判定回路４５ａは、後述するイントラ予測回路４６から、ブロック毎に誤差値ＳＡ（Ｔ）Ｄ、オフセット値ＳＡ（Ｔ）Ｄ０の入力を受け付ける。そして、ブロック毎に、イントラ予測モードにかかる全ての予測モード（イントラ予測画像データ生成方法）について、それぞれコスト値Ｃｏｓｔ（Ｍｏｄｅ）を算出する。ここで、変数Ｍｏｄｅは予測モードを示す。なお、イントラ・インター判定回路４５ａは、イントラ予測モードにかかる全ての予測モードではなく、その中から処理速度の観点などに基づいて選択された１以上の予測モードのみについて、それぞれコスト値Ｃｏｓｔ（Ｍｏｄｅ）を算出することとしてもよい。

また、イントラ・インター判定回路４５ａは、ブロック毎に、後述する動き予測・補償回路Ｘ４４からコスト値Ｃｏｓｔ（Ｍｏｄｅ）の入力を受け付ける。こうして受け付けられるコスト値Ｃｏｓｔ（Ｍｏｄｅ）は、ブロック毎に、インター予測モードにかかる全ての予測モード（予測方向、参照画像、動きベクトル、及び分割方法の組み合わせ）又はその中から後述のようにして選択された１以上の予測モードについて、それぞれ算出されたコスト値Ｃｏｓｔ（Ｍｏｄｅ）のうち、その値が最も小さいものである。

イントラ・インター判定回路４５ａは、算出したコスト値Ｃｏｓｔ（Ｍｏｄｅ）と、動き予測・補償回路４４から入力されたコスト値Ｃｏｓｔ（Ｍｏｄｅ）と、を比較し、最もコスト値Ｃｏｓｔ（Ｍｏｄｅ）が小さくなる予測モードをブロック毎に決定する。そして、決定した予測モードによる予測画像データを出力するよう、イントラ予測回路４６又は動き予測・補償回路４４に指示する。

なお、イントラ・インター判定回路４５ａは、式（２）により、各ブロックについてのコスト値Ｃｏｓｔ（Ｍｏｄｅ）を算出する。

なお、誤差値ＳＡ（Ｔ）Ｄは、各ブロックについて、画像データと予測モードＭｏｄｅにおける予測画像データとの画素値差分の絶対値誤差和（ＳＡＤ）、又は該画素値差分を直交変換して得られる直交変換係数の絶対値和（ＳＡＴＤ）のいずれかである。いずれであるにしても、誤差値ＳＡ（Ｔ）Ｄの値が小さいことは、画像データと予測画像データの差分が小さい、つまり、差分データの符号量が小さくなることを示唆し、ひいては、予測モードＭｏｄｅにおける符号化効率が高くなることを示唆する。

また、オフセット値ＳＡ（Ｔ）Ｄ０は、イントラ予測モード情報の符号化にかかるコスト（例えばイントラ予測モード情報の符号量）を示す。

動き予測・補償回路４４は、イントラ・インター判定回路４５ａの制御により、ブロック毎に、インター予測モードにかかる全ての予測モード（予測方向、参照画像、動きベクトル、及び分割方法の組み合わせ）について、式（２）を用い、それぞれコスト値Ｃｏｓｔ（Ｍｏｄｅ）を算出する。ただし、この場合、オフセット値ＳＡ（Ｔ）Ｄ０は、インター予測モード情報の符号化にかかるコスト（例えばインター予測モード情報の符号量）を示す。なお、動き予測・補償回路４４も、イントラ・インター判定回路４５ａと同様、インター予測モードにかかる全ての予測モードではなく、その中から処理速度の観点などに基づいて選択された１以上の予測モードのみについて、それぞれコスト値Ｃｏｓｔ（Ｍｏｄｅ）を算出することとしてもよい。

そして、算出した各コスト値Ｃｏｓｔ（Ｍｏｄｅ）を比較し、最もその値が小さいＣｏｓｔ（Ｍｏｄｅ）をイントラ・インター判定回路４５ａに出力する。また、この出力に応じたイントラ・インター判定回路４５ａからの指示に応じて予測画像データを生成し、イントラ・インター判定回路４５ａを介して、減算回路４に出力する。

イントラ予測回路４６は、イントラ・インター判定回路４５ａの制御により、イントラ予測モードにかかる全ての予測モード（イントラ予測画像データ生成方法）について、上記誤差値ＳＡ（Ｔ）Ｄ及びオフセット値ＳＡ（Ｔ）Ｄ０を算出し、イントラ・インター判定回路４５ａに出力する。また、この出力通知に応じたイントラ・インター判定回路４５ａからの指示に応じて予測画像データを生成し、イントラ・インター判定回路４５ａを介して、減算回路４に出力する。

減算回路４は、画面並べ替えバッファ３から画像データの入力を受け付け、イントラ予測回路４６や動き予測・補償回路４４により生成される予測画像との差分データを生成して出力する。

直交変換回路７は、減算回路４から差分データの入力を受け付け、離散コサイン変換などの直交変換処理を実行し、その処理結果として得られる変換係数データを出力する。

量子化回路８は、レート制御回路４３から入力される量子化パラメータを用いて、直交変換回路７が出力する変換係数データを量子化して出力する。具体的には、変換係数データを量子化パラメータで決定される除数によって除算し、その結果を小数点以下を切り捨てることにより、量子化された変換係数データを取得し、出力する。この処理では、量子化パラメータの値が大きいほど、対応する上記除数も大きくなり、結果として切り捨てられる情報量も多くなる。

可逆符号化回路１０は、量子化回路８の出力データを可変長符号化、算術符号化などにより可逆符号化処理する。また、可逆符号化回路１０は、ブロック毎に、イントラ予測回路４６や動き予測・補償回路４４が生成する各予測モード情報などを、ヘッダ情報として設定する処理も行う。可逆符号化回路１０は、以上の各処理の結果得られる符号化データを出力する。

蓄積バッファ１１は、可逆符号化回路１０が出力した符号化データを蓄積し、後続する伝送路の伝送速度に応じて出力する。こうして出力された符号化データは、その符号化データを読み出す装置又は受信する装置によって復号され、映像として再生される。これらの装置には、従来公知のものを使用して差し支えない。

逆量子化回路１３は、量子化回路８の出力データを逆量子化処理し、これにより量子化回路８に入力された変換係数データを再生する。

逆直交変換回路１４は、逆量子化回路１３の出力データを逆直交変換処理し、直交変換回路７に入力された差分データを再生する。

加算回路１７は、逆直交変換回路１４から出力される再生差分データに、適宜、イントラ予測回路４６や動き予測・補償回路４４により生成される予測画像データを加算し、再生画像データとして出力する。

デブロックフィルタ回路１５は、加算回路１７が出力した再生画像データからブロック歪を除去して出力する。

フレームメモリ１６は、デブロックフィルタ回路１５が出力したブロック歪除去後の再生画像を、参照画像として用いるために記録する。

以下、平坦領域におけるブロック毎の予測モードの切り換わりを制限するための構成について説明する。

領域情報設定回路５１ａは、アクティビティ算出回路４２ａからアクティビティ、レート制御回路４３から量子化パラメータ、イントラ予測回路４６や動き予測・補償回路４４から各予測モード情報、の入力をそれぞれ受け付ける。そして、そのうち上記アクティビティ及び量子化パラメータの値を用いて、画像データ中の平坦領域を抽出し、抽出した平坦領域を特定するための平坦領域情報と、該平坦領域についての代表的な予測モード（該平坦領域情報により示される平坦領域に属する各ブロックについて予測モードを決定する際の基準とする基準予測モード）を示す基準予測モード情報と、を対応付けてなる領域情報を生成し、出力する。この基準予測モードを決定するための処理については後述する。

領域情報メモリ５２ａは、領域情報設定回路５１ａが出力する領域情報を少なくとも１画像データ分格納する。

図２は、１画像データ分の領域情報の具体的な格納形式の一例を示すイメージ図である。同図に示す領域情報の格納形式においては、領域情報設定回路５１ａは、１画像データに含まれる平坦領域を１つの平坦領域として取り扱い、該１つの平坦領域についての基準予測モード情報を、そのまま領域情報として領域情報メモリ５２ａに格納する。なお、平坦領域が存在しない画像データについては、無効な予測モードに関する情報（無効予測モード情報）が領域情報として格納される。

イントラ・インター判定回路４５ａは、領域情報メモリ５２ａに格納される領域情報に基づいて動き予測・補償回路Ｘ４４とイントラ予測回路Ｘ４６を制御し、ブロック毎に予測モードを決定する。この場合において、イントラ・インター判定回路４５ａは、平坦領域に属するブロックの間で予測モードが統一されるよう、各ブロックについての予測モードを決定する。

以下、具体的に説明する。イントラ・インター判定回路４５ａは、画像データ中の各ブロックについて、所定の順序で順次予測モードを決定していく。領域情報設定回路５１ａは、こうして順次決定される予測モードを動き予測・補償回路４４又はイントラ予測回路４６を介して順次受け取り、平坦領域に属するブロックのうち、最初に予測モードが決定されるブロックについての予測モードを、基準予測モードとして決定する。領域情報設定回路５１ａは、こうして決定した基準予測モードに基づいて領域情報を生成し、領域情報メモリ５２ａに記憶させる。

イントラ・インター判定回路４５ａは、領域情報メモリ５２ａに基準予測モード情報が記憶されている場合に、平坦領域に属するブロックについて、該基準予測モード情報により示される基準予測モードに基づき、予測モードを決定する。より具体的には、基準予測モードを、該ブロックの予測モードとする。

以下、フローチャートを用いて、上述した予測モード決定の方法についてより詳細に説明する。

図３は、符号化装置１ａが、領域情報の初期化を行う際の動作フローチャートの一例を示す図である。同図に示す動作フローチャートの処理は、１つの画像データの符号化処理の開始直前に呼び出される。

符号化処理開始後、領域情報設定回路５１ａは、領域情報メモリ５２ａの内容を初期化し（ステップＳＦ０１）、処理を終了する。なお、初期化とは、領域情報の初期値として上記無効予測モード情報を格納することを意味する。つまり、画像データの符号化の開始直前の時点では、平坦領域は存在しないものとして領域情報が設定される。

図４は、符号化装置１ａが、各ブロックを符号化する際の動作フローチャートの一例を示す図である。

アクティビティ算出回路４２ａは、符号化対象のブロックについて、アクティビティを求める（ステップＳＦ１１）。続いて、レート制御回路４３は、量子化パラメータを求める（ステップＳＦ１２）。

次に、領域情報設定回路５１ａは、ステップＳＦ１１で求められたアクティビティが所定の閾値ＴＨＡ１以下であるか否か、つまり、符号化対象のブロックが平坦であるか否かを、判定する（ステップＳＦ１３）。ここで、閾値ＴＨＡ１は、定数であってもよいし、量子化パラメータなどに依存する変数であってもよい。より具体的には、閾値ＴＨＡ１は、ステップＳＦ１２で求められた量子化パラメータの値が所定値以上の場合は所定の正の定数に設定され、該量子化パラメータの値が所定値未満の場合はゼロに設定される変数である。

アクティビティの値が閾値ＴＨＡ１以下でない場合は（ステップＳＦ１３における否定判定）、イントラ・インター判定回路４５ａは予測モードを決定し（ステップＳＦ１４）、符号化装置１ａの処理は後述するステップＳＦ１９に移行する。ステップＳＦ１４における予測モードの決定動作は、イントラ予測モードにかかる全ての予測モード及びインター予測モードにかかる全ての予測モードを含む全ての予測モードの中から最適なものを決定するような動作であってもよいし、処理速度の観点などから限定された予測モードの中から最適なものを決定するような動作であってもよい。

一方、アクティビティの値が閾値ＴＨＡ１以下である場合には（ステップＳＦ１３における肯定判定）、イントラ・インター判定回路４５ａは、領域情報が初期値（無効予測モード情報）のままであるか否かを判定する（ステップＳＦ１５）。

領域情報が初期値のまま更新されていない場合には（ステップＳＦ１５における肯定判定）、イントラ・インター判定回路４５ａは、インター予測モードにかかる全ての予測モード又はそのうちの一部の中から最適なものを決定する（ステップＳＦ１６）。領域情報設定回路Ａ５１ａは、決定された予測モードを示す予測モード情報で領域情報メモリ５２ａ内の領域情報を更新し（ステップＳＦ１７）、符号化装置１ａの処理は後述するステップＳＦ１９に移行する。つまり、１つの画像データを構成する全てのブロックを符号化する過程において、最初に平坦であると判定されたブロックについて決定された予測モードが、該画像データ内の平坦領域における代表的な予測モードとして、領域情報メモリ５２ａに保存されることとなる。

なお、ステップＳＦ１６において、インター予測モードのみに限定して予測モードを決定するのは、アクティビティの低い領域においてイントラ予測モードが選択されないようにすることで画質の劣化をより抑えることができるためであるが、ステップＳＦ１４同様、全ての予測モードの中から最適なものを決定するようにしても構わない。

なお、ステップＳＦ１６においては、決定する予測モードの候補をインター予測モードにかかる全ての予測モードのみに完全に限定するのではなく、イントラ予測モードにかかる全ての予測モードも含む全ての予測モードを候補とし、かつインター予測モードにかかる予測モード候補が選択され易くすることとしてもよい。以下、このための具体的な処理について説明する。

動き予測・補償回路４４は、インター予測モードに関するオフセット値ＳＡ（Ｔ）Ｄ０を、式（３）によって計算する。ここで、ＱＰ０（ＱＰ）は、量子化パラメータＱＰを量子化スケールに変換する関数であり、オフセット値ＳＡ（Ｔ）Ｄ０のオーダーを誤差値ＳＡ（Ｔ）Ｄと揃える目的で導入されているものである。

他方、イントラ・インター判定回路４５ａは、イントラ予測モードに関するオフセット値ＳＡ（Ｔ）Ｄ０を、式（４）によって計算する。

ここで、ＭＢａｃｔは、アクティビティ算出回路４２ａにより得られるアクティビティであり、ｆ（ＭＢａｃｔ）は、アクティビティＭＢａｃｔを変数とする所定の単調減少関数である。この関数ｆ（ＭＢａｃｔ）を適切に定義してオフセット値ＳＡ（Ｔ）Ｄ０を算出することで、アクティビティＭＢａｃｔの値が小さいときに、イントラ予測モードにかかるオフセット値ＳＡ（Ｔ）Ｄ０、更には、イントラ予測モードにかかるコスト値Ｃｏｓｔ（Ｍｏｄｅ）が大きくなるようにすることができる。一方、このようにしてもインター予測モードに関するオフセット値ＳＡ（Ｔ）Ｄ０には影響がないので、インター予測モードにかかるコスト値Ｃｏｓｔ（Ｍｏｄｅ）に変化はなく、結局、イントラ予測モードの選択頻度が下がることになる。すなわち、インター予測モードにかかる予測モード候補が選択され易くなる。

さて、領域情報がステップＳＦ１７の処理により既に更新されていた場合は（ステップＳＦ１５における否定判定）、イントラ・インター判定回路４５ａは、インター予測モードにかかる全ての予測モード又はそのうちの一部の中から領域情報の内容に応じた制限の下で予測モードを決定し（ステップＳＦ１８）、符号化装置１ａの処理は後述するステップＳＦ１９に移行する。

ステップＳＦ１８における制限の具体的な内容としては、参照画像を、領域情報として保持されている基準予測モード情報により示される参照画像と同一に制限するというもの、予測方向を、領域情報として保持されている基準予測モード情報により示される予測方向と同一に制限するというもの、動きベクトルを、領域情報として保持されている基準予測モード情報により示される動きベクトルと同一に制限するというもの、分割方法を、領域情報として保持されている基準予測モード情報により示される分割方法と同一に制限するというもの、などが挙げられる。また、ステップＳＦ１７において領域情報として格納する情報は、必ずしも各予測モード情報の全てでなくともよく、必要に応じ、例えば参照画像を示す情報だけ、或いは動きベクトルを示す情報だけ（インター予測モード情報の場合）、というようにしてもよい。

なお、ステップＳＦ１８において、インター予測モードのみに限定して予測モードを決定するのは、ステップＳＦ１６と同様に理由によるが、ステップＳＦ１４同様、全ての予測モードの中から最適なものを決定するようにしても構わない。また、ステップＳＦ１８で決定された予測モードにかかるコスト値が所定の閾値ＴＨＣＯＳＴ１以上の場合は、予測モードの制限に伴う符号化効率の極端な低下を回避するために、制限を解除し、再度全ての予測モードの中から最適な予測モードを決定しなおすようにしてもよい。

そして最後に、符号化装置１ａは、決定された予測モードを用いて符号化対象のブロックの符号化を行い（ステップＳＦ１９）、処理を終了する。

図５は、符号化対象である画像データの一例を示すイメージ図である。図５（ａ）に示すように、ここでは、画像データは横８×縦６の４８ブロックに分割されて符号化されるものとする。図５（ｂ）は、図５（ａ）に示す画像データを構成する各ブロックに付与されるアドレスを示すイメージ図である。符号化装置１ａは、図５（ｂ）に示すアドレスの値の小さいブロックから順に符号化を行う。図５（ｃ）は、図５（ａ）に示す画像データについてのアクティビティのマップの一例を示すイメージ図である。図５（ｄ）は、図５（ａ）に示す原画像を、符号化装置１ａにより符号化する過程で検出される平坦領域の一例を示すイメージ図である。

例えば、上記閾値ＴＨＡ１が定数値１０であるとすると、図５（ｃ）に示すアクティビティのマップにおいて、アクティビティの値が３、５、７となるブロックが平坦であると判定される。結果、符号化装置１ａは、図５（ｄ）に示す領域ＮＤ０１、領域ＮＤ０２、領域ＮＤ０３を１つの平坦領域とみなし、該平坦領域の中で最初に処理されるブロック（図５（ｄ）において網掛けされている、アドレス９のブロック）のために決定された予測モードを、平坦領域における代表的な予測モード（基準予測モード）とする。そして、平坦領域に属する他のブロックの処理においては、参照画像や動きベクトルが、上記代表的な予測モードと同一なものとなるよう、予測モードの決定動作に制限を加えるのである。具体的には、基準予測モードを、平坦領域に属する他のブロックの予測モードとして決定するのである。

以上の説明から、符号化装置１ａによると、アクティビティが上記閾値ＴＨＡ１以下である全てのブロックについて、参照画像や、予測方向、動きベクトル、分割方法の統一がなされる。結果、図１８（ｄ）に示す予測画像データに見られるようなブロック境界におけるギャップが軽減され、ひいては再生画像の主観的な画質が向上する。また、ステップＳＦ１６、ステップＳＦ１８においては、制限された予測モードの中から最適な予測モードを決定するため、常に全ての予測モードの中から予測モードを決定する場合と比べて、処理時間が短縮される。

［実施形態２］
図６は、本発明の実施形態２にかかる符号化装置１ｂの構成を示す概略ブロック図である。同図に示すように、符号化装置１ｂの構成は、符号化装置１ａにおいて、イントラ・インター判定回路４５ａ、領域情報設定回路５１ａ、及び領域情報メモリ５２ａに代えてイントラ・インター判定回路４５ｂ、領域情報設定回路５１ｂ、及び領域情報メモリ５２ｂを含むものとなっている。以下では、イントラ・インター判定回路４５ａ、領域情報設定回路５１ａ、及び領域情報メモリ５２ａと、イントラ・インター判定回路４５ｂ、領域情報設定回路５１ｂ、及び領域情報メモリ５２ｂと、の相違点を中心に説明する。

領域情報設定回路５１ｂは、アクティビティ算出回路４２ａから入力されるアクティビティ及びレート制御回路４３から入力される量子化パラメータの値を用いて、画像データ中の平坦領域を抽出する。本実施形態では、平坦領域は空間的に連続する１又は複数のブロックにより構成される領域であり、場合により、領域情報設定回路５１ｂは、１つの画像データにおいて複数の平坦領域を抽出する。ここで、２つのブロックＡ、Ｂが「空間的に連続する」とは、ブロックＡの一辺とブロックＢの一辺とが接している状況のことを指す。

領域情報設定回路５１ｂは、こうして抽出した１又は複数の平坦領域をそれぞれ特定するための平坦領域情報と、該各平坦領域それぞれについての代表的な予測モード（該平坦領域情報により示される各平坦領域にそれぞれ属する各ブロックについて予測モードを決定する際の基準とする基準予測モード）を示す基準予測モード情報と、からなる領域情報を生成し、出力する。この基準予測モードを決定するための処理については後述する。

領域情報メモリ５２ｂは、領域情報設定回路５１ｂが出力する領域情報を少なくとも１画像データ分格納する。

図７は、１画像データ分の領域情報の具体的な格納形式の一例を示すイメージ図である。同図に示す領域情報の格納形式においては、平坦領域毎に識別子が割り当てられている。領域情報設定回路５１ｂは、各ブロックに、いずれかの平坦領域に属する場合にはその平坦領域の識別子を、該ブロックがいずれの平坦領域にも属さない場合には無効な識別子を、対応付けてなる平坦領域情報（図中の領域ＭＢ０１）と、各平坦領域それぞれについての代表的な予測モード（基準予測モード）を示す基準予測モード情報（図中の領域ＭＢ０２）と、を領域情報メモリ５２ｂに格納する。

イントラ・インター判定回路４５ｂは、領域情報メモリ５２ｂに格納される領域情報に基づいて動き予測・補償回路４４とイントラ予測回路４６を制御し、ブロック毎に予測モードを決定する。この場合において、イントラ・インター判定回路４５ｂは、平坦領域毎に、該平坦領域に属するブロックの間で予測モードが統一されるよう、各ブロックについての予測モードを決定する。

以下、具体的に説明する。イントラ・インター判定回路４５ｂは、画像データ中の各ブロックについて、所定の順序で順次予測モードを決定していく。領域情報設定回路５１ａは、こうして順次決定される予測モードを動き予測・補償回路４４又はイントラ予測回路４６を介して順次受け取り、平坦領域ごとに、各平坦領域に属するブロックのうち、最初に予測モードが決定されるブロックについての予測モードを、基準予測モードとして決定する。領域情報設定回路５１ｂは、ある平坦領域について基準予測モードを決定すると、領域情報メモリ５２ｂに記憶される領域情報において、該平坦領域についての基準予測モードを、決定した基準予測モードにより更新する。

イントラ・インター判定回路４５ｂは、ある平坦領域に属するブロックについて予測モードを決定しようとする際、領域情報メモリ５２ｂに該平坦領域についての基準予測モードが記憶されている場合、該基準予測モードに基づき、予測モードを決定する。より具体的には、該基準予測モードを、該ブロックの予測モードとする。

以下、フローチャートを用いて、上述した予測モード決定の方法についてより詳細に説明する。

図８は、符号化装置１ｂが、領域情報の初期化を行う際の動作フローチャートの一例を示す図である。同図に示す動作フローチャートの処理は、１つの画像データの符号化処理の開始直前に呼び出される。

符号化処理開始後、領域情報設定回路５１ｂは、まず、処理対象ブロックのアドレスを示す変数ＡＤＤＲをゼロに設定する（ステップＳＨ０１）。

次に、アクティビティ算出回路４２ａは、アドレスＡＤＤＲのブロックについてアクティビティを求める（ステップＳＨ０２）。続いて、レート制御回路４３は、量子化パラメータを求める（ステップＳＨ０３）。

次に、領域情報設定回路５１ｂは、ステップＳＨ０２で求められたアクティビティが所定の閾値ＴＨＡ２以下であるか否か、つまり、アドレスＡＤＤＲのブロックが平坦であるか否かを判定する。そして、平坦領域であると判定したブロックについては仮の識別子０を、平坦領域でないと判定したブロックについては無効であることを示す識別子−１を、それぞれ対応付けることにより、平坦領域情報（の一部分）を生成し、領域情報メモリ５２ｂの領域ＭＢ０１に保存する（ステップＳＨ０４）。ここで、閾値ＴＨＡ２は、定数であってもよいし、量子化パラメータなどに依存する変数であってもよい。より具体的には、閾値ＴＨＡ２は、ステップＳＨ０３で求められた量子化パラメータの値が所定値以上の場合は所定の正の定数に設定され、該量子化パラメータの値が所定値未満の場合はゼロに設定される変数である。

領域情報設定回路５１ｂは、ステップＳＨ０４の処理が終了すると、変数ＡＤＤＲの値が画像データに属する最後のブロックを指すか否かを判定する（ステップＳＨ０５）。そして、最後のブロックを指さない場合（ステップＳＨ０５における否定判定）、符号化装置１ｂは、変数ＡＤＤＲの値を１増加した上で（ステップＳＨ０６）、その処理をステップＳＨ０２に戻す。

一方、変数ＡＤＤＲの値が最後のブロックを指す場合（ステップＳＨ０５における肯定判定）、領域情報設定回路５１ｂは、空間的に連続する平坦なブロック群毎に異なる識別子を付与し、領域情報メモリ５２ｂ内に、識別子毎の代表的な予測モードに関する情報（基準予測モード情報）を保持するための領域ＭＢ０２を確保した上で、該領域ＭＢ０２を初期化し（ステップＳＨ０７）、処理を終了する。なお、領域ＭＢ０２の初期化とは、各識別子にそれぞれ無効予測モードを対応付ける基準予測モード情報を、領域ＭＢ０２に記憶させることを意味する。

図９は、符号化装置１ｂが、各ブロックを符号化する際の動作フローチャートの一例である。

アクティビティ算出回路４２ａは、符号化対象のブロックについて、アクティビティを求める（ステップＳＩ０１）。続いて、レート制御回路４３は、量子化パラメータを求める（ステップＳＩ０２）。なお、図８に示す動作フローチャートにおいても、結果的に画像データ内の全てのブロックについてのアクティビティと量子化パラメータを取得しているため、これらの値を保持しておくメモリを別途追加し、ステップＳＩ０１、ＳＩ０２は、このメモリから値を読み出すだけの処理であるとしてもよい。

次に、イントラ・インター判定回路４５ｂは、符号化対象のブロックが属する領域の識別子を領域情報メモリ５２ｂ内の領域ＭＢ０１（平坦領域情報）から読み出し、読み出した識別子に基づいて、該ブロックが平坦領域に属するか否かを判定する（ステップＳＩ０３）。

符号化対象のブロックが平坦領域に属さないと判定された場合は（ステップＳＩ０３における否定判定）、イントラ・インター判定回路４５ｂは、ステップＳＦ１４（図４）と同様の処理により予測モードを決定し（ステップＳＩ０４）、符号化装置１ｂの処理は後述するステップＳＩ０９に移行する。

一方、符号化対象のブロックが平坦領域に属すると判定された場合は（ステップＳＩ０３における肯定判定）、イントラ・インター判定回路４５ｂは、該ブロックが属する平坦領域についての基準予測モードを領域情報メモリ５２ｂ内の領域ＭＢ０２（基準予測モード情報）から読み出し、該基準予測モードが初期値（無効予測モード）のままであるか否かを判定する（ステップＳＩ０５）。

基準予測モードが初期値のまま更新されていない場合は（ステップＳＩ０５における肯定判定）、イントラ・インター判定回路４５ｂは、ステップＳＦ１６（図４）と同様の処理により、インター予測モードにかかる全ての予測モード又はそのうちの一部の中から最適なものを決定する（ステップＳＩ０６）。領域情報設定回路Ａ５１ｂは、決定された予測モードにより、基準予測モード情報に含まれる基準予測モードを更新し（ステップＳＩ０７）、符号化装置１ｂの処理は後述するステップＳＩ０９に移行する。つまり、１つの平坦領域を構成するブロックのうち、最初に符号化されるマクロブロックについて決定された予測モードが、該平坦領域における代表的な予測モードとして、領域情報メモリ５２ｂ内の領域ＭＢ０２に保存されることとなる。

一方、基準予測モードがステップＳＩ０７の処理により既に更新されていた場合は（ステップＳＩ０５における否定判定）、イントラ・インター判定回路４５ｂは、ステップＳＦ１８（図４）と同様の処理により、インター予測モードにかかる全ての予測モード又はそのうちの一部の中から基準予測モードに応じた制限の下で予測モードを決定し（ステップＳＩ０８）、符号化装置１ｂの処理は後述するステップＳＩ０９に移行する。ここで、ステップＳＩ０８で決定された予測モードにかかるコスト値が所定の閾値ＴＨＣＯＳＴ２以上の場合は、予測モードの制限に伴う符号化効率の極端な低下を回避するために、制限を解除し、再度全ての予測モードの中から最適な予測モードを決定しなおすようにしてもよい。

そして最後に、符号化装置１ｂは、決定された予測モードを用いて符号化対象のブロックの符号化を行い（ステップＳＩ０９）、処理を終了する。

図１０（ａ）は、図５（ｄ）に示した平坦領域について、符号化装置１ｂにより付与される識別子を表示してなるイメージ図である。

例えば、閾値ＴＨＡ２が定数値１０であるとすると、図５（ｃ）に示すアクティビティのマップにおいて、アクティビティの値が３、５、７となるマクロブロックが平坦であると判定される。結果、符号化装置１ｂは、図１０（ａ）に示す領域ＮＥ０１、領域ＮＥ０２、領域ＮＥ０３を、それぞれ独立した平坦領域とみなし、各平坦領域の中でそれぞれ最初に処理されるブロック（図１０（ａ）中、各平坦領域内において網掛けされている、アドレスが９、２０、３２のブロック）のために決定された予測モードを、それぞれ各平坦領域における代表的な予測モード（基準予測モード）とする。そして、各平坦領域に属する他のブロックの処理においては、参照画像や動きベクトルが、上記代表的な予測モードと同一なものとなるよう、予測モードの決定動作に制限を加えるのである。具体的には、基準予測モードを、平坦領域に属する他のブロックの予測モードとして決定するのである。

なお、図１０（ａ）において、アドレスが３２のブロックのみにより構成される領域ＮＥ０３を１つの独立した平坦領域としているが、上下左右に隣接するブロックがいずれも平坦でないため、ブロック境界におけるギャップが画質劣化として問題となることはない。つまり、１つのブロックのみにより構成される領域を平坦領域として取り扱っても、再生画像の画質向上に資することはない。逆に、基準予測モードの決定等にかかる処理が必要となるため、符号化装置１ｂの処理量が増加してしまう。よって、単一のマクロブロックから構成される領域については、平坦領域として取り扱わないことが望ましい。具体的には、ステップＳＨ０７において、該ブロックに付与する識別子を無効な識別子とすることにより、事実上平坦領域でない領域として扱うようにしてもよい。図１０（ｂ）は、図１０（ａ）に示した各平坦領域から、単一のブロックで構成される領域ＮＥ０３を除外した状態を示している。

以上の説明から、符号化装置１ｂによると、空間的に連続する平坦領域毎に、参照画像や、予測方向、動きベクトル、分割方法を図ることができるようになる。結果、図１８（ｄ）に示す予測画像データに見られるようなマクロブロック境界におけるギャップが軽減され、ひいては再生画像の主観的な画質が向上する。また、ステップＳＩ０６、ステップＳＩ０８においては、制限された予測モードの中から最適な予測モードを決定するため、常に全ての予測モードの中から予測モードを決定する場合と比べて、処理時間が短縮される。

また、符号化装置１ｂは、空間的に不連続で、ブロック境界におけるギャップが発生し得ない平坦領域間では予測モードの統一を行わないため、符号化装置１ａと比べて、符号化効率がさらに向上することが期待できる。

［実施形態例３］
図１１は、本発明の実施形態３にかかる符号化装置１ｃの構成を示す概略ブロック図である。同図に示すように、符号化装置１ｃの構成は、符号化装置１ｂにおいて、Ａ／Ｄ２、画面並べ替えバッファ３、アクティビティ算出回路４２ａ、イントラ・インター判定回路４５ｂ、及び領域情報設定回路５１ｂに代えて復号回路６１、アクティビティ算出回路４２ｃ、イントラ・インター判定回路４５ｃ、及び領域情報設定回路５１ｃを含むものとなっている。以下では、復号回路６１について説明するとともに、アクティビティ算出回路４２ａ、イントラ・インター判定回路４５ａ、及び領域情報設定回路５１ａと、アクティビティ算出回路４２ｃ、イントラ・インター判定回路４５ｃ、及び領域情報設定回路５１ｃと、の相違点を中心に説明する。

符号化装置１ｃは、例えば高ビットレートの入力符号化データ（画像データを、符号化装置１ａ、符号化装置１ｂ、又は背景技術にかかる符号化装置により符号化したもの）を低ビットレートの出力符号化データに変換する、という目的で用いられる再符号化装置である。このような再符号化装置は、入力符号化データを一旦復号した後、該入力符号化データにおける符号化情報を原則として踏襲しつつ、量子化パラメータだけを大きし、ブロック単位で予測モードを切り換えて再度符号化することで発生符号量を削減し、出力符号化データを生成する。上述のように、平坦領域におけるブロック毎の予測モードの切り換わりによりブロック境界においてギャップが生ずる場合があるが、量子化パラメータが大きくなることにより、出力符号化データにおいて、このギャップが強調されてしまう場合がある。そこで、本実施形態では、再符号化装置である符号化装置１ｃにおいて、平坦領域におけるブロック毎の予測モードの切り換わりを制限する。

復号回路６１は、外部から入力符号化データを受け取って所定の復号化処理を施し、符号化情報や復号画像データを出力する。ここで、この符号化情報には、ＧＯＰ構造にかかるＩピクチャ、Ｐピクチャ、Ｂピクチャなどのピクチャ種別情報、各ブロックの符号化に用いられている予測モードを示す予測モード情報、量子化パラメータの情報、変換係数の情報、ブロック毎の発生符号量など、入力符号化データの復号の過程で得られる情報が含まれる。復号回路６１が出力する復号画像データには、後段の各回路により、符号化装置１ａや符号化装置１ｂで行われるものと同様な符号化処理が施される。

また、復号回路６１は、各ブロックにかかる復号画像データを、入力符号化データの符号化時における符号化の順に出力する。このようにしているので、符号化装置１ｃが、入力符号化データのＧＯＰ構造と同一のＧＯＰ構造を利用する符号化処理を行う限りにおいては、符号化装置１ａや符号化装置１ｂに含まれる画面並べ替えバッファ３に相当する回路は不要である。ただし、画面並べ替えバッファ３を用いて、入力符号化データとは異なる任意のＧＯＰ構造で符号化を行うようにしても構わないのは勿論である。

アクティビティ算出回路４２ｃは、処理対象の画像データについて、復号回路６１から符号化情報を受け取り、ブロック毎にアクティビティを計算、出力する。具体的なアクティビティとしては、式（５）に示すように、量子化パラメータＱＰを量子化スケールに変換してなる値ＱＰ０（ＱＰ）と、ブロック毎の発生符号量ＭＢｂｉｔｓの値と、の積が用いられる。

なお、アクティビティ算出回路４２ｃは、符号化情報の代わりに、復号画像データを受け取り、アクティビティ算出回路４２ａと同一の方法により、アクティビティを求めるようにしてもよい。

領域情報設定回路５１ｃは、復号回路６１から符号化情報、アクティビティ算出回路４２ｃからアクティビティ、レート制御回路４３から量子化パラメータ、イントラ予測回路４６や動き予測・補償回路４４により生成される各予測モード情報を受け取り、領域情報を生成、出力する。領域情報設定回路５１ａや領域情報設定回路５１ｂとの主たる違いは、復号回路６１が出力する符号化情報を領域情報の生成に利用する点にある。

具体的には、領域情報設定回路５１ｃは、平坦領域に属するブロックそれぞれについて、入力符号化データが符号化された際に用いられた予測モードを取得する。そして、平坦領域ごとに最頻の予測モードを取得し、各平坦領域についての基準予測モードとして決定する。領域情報設定回路５１ｃは、こうして決定した各基準予測モードを用い、領域情報設定回路５１ｂと同様の処理により領域情報を生成し、領域情報メモリ５２ｂに記憶させる。

イントラ・インター判定回路４５ｃは、領域情報及び符号化情報に基づいて、動き予測・補償回路４４とイントラ予測回路４６を制御し、ブロック毎に予測モードを決定する。イントラ・インター判定回路４５ｃの動作は、予測モードの決定の過程において符号化情報を利用する点で、イントラ・インター判定回路４５ａやイントラ・インター判定回路４５ｂと異なる。すなわち、イントラ・インター判定回路４５ｃは、例えば、符号化情報に含まれる動きベクトルを利用して動き予測に掛かる処理量を削減する。なお、符号化情報を利用せず、イントラ・インター判定回路４５ｃはイントラ・インター判定回路４５ａと全く同一の動作をすることとしてもかまわない。

以下、フローチャートを用いて、上述した予測モード決定の方法についてより詳細に説明する。

図１２は、符号化装置１ｃが、領域情報の設定を行う際の動作フローチャートの一例である。同図に示す動作フローチャートの処理は、１つの復号画像データの符号化の開始直前に呼び出される。

符号化処理開始後、領域情報設定回路５１ｃは、まず、処理対象ブロックのアドレスを示す変数ＡＤＤＲをゼロに設定する（ステップＳＫ０１）。

次に、アクティビティ算出回路４２ｃは、アドレスＡＤＤＲのマクロブロックについて、アクティビティを求める（ステップＳＫ０２）。続いて、レート制御回路４３は、量子化パラメータを求める（ステップＳＫ０３）。

次に、領域情報設定回路５１ｃは、ステップＳＫ０２で求められたアクティビティが所定の閾値ＴＨＡ３以下であるか否か、つまり、アドレスＡＤＤＲのブロックが平坦であるか否かを判定する。そして、平坦領域であると判定したブロックについては仮の識別子０を、平坦領域でないと判定したブロックについては無効であることを示す識別子−１を、それぞれ対応付けることにより、平坦領域情報（の一部分）を生成し、領域情報メモリ５２ｂに保存する（ステップＳＫ０４）。ここで、閾値ＴＨＡ３は、定数であってもよいし、量子化パラメータなどに依存する変数であってもよい。より具体的には、閾値ＴＨＡ３は、ステップＳＫ０３で求められた量子化パラメータの値が所定値以上の場合は所定の正の定数に設定され、該量子化パラメータの値が所定値未満の場合はゼロに設定される変数である。

領域情報設定回路５１ｃは、ステップＳＫ０４の処理が終了すると、変数ＡＤＤＲの値が復号画像データの最後のブロックを指すか否かを判定する（ステップＳＫ０５）。そして、最後のブロックを指さない場合（ステップＳＫ０５における否定判定）、符号化装置１ｃは、アドレスＡＤＤＲの値を１増加した上で（ステップＳＫ０６）、その処理をステップＳＫ０２に戻す。

一方、変数ＡＤＤＲの値が最後のブロックを指す場合（ステップＳＫ０５における肯定判定）、領域情報設定回路５１ｃは、空間的に連続する平坦なブロック群毎に異なる識別子を付与し、領域情報メモリ５２ｂ内に、識別子毎の代表的な予測モードに関する情報（基準予測モード情報）を保持するための領域ＭＢ０２を確保するとともに、平坦領域毎の基準予測モード（最頻の予測モード）を決定し、決定した各基準予測モードを示す基準予測モード情報を領域ＭＢ０２内に記憶させて（ステップＳＫ０７）、処理を終了する。

ここで、基準予測モード（最頻の予測モード）の具体的な決定方法について例示する。ここでは、２通りの方法を示す。１つは、面積的に最も支配的な予測モードを最頻の予測モードとする方法である（決定方法１）。もう１つは、ブロックの個数が最多となる予測モードを最頻の予測モードとする方法（決定方法２）である。以下、予測モードを参照画像インデックスにより特定する場合を取り上げ、決定方法１、決定方法２について図を用いて詳しく説明する。

図１３は、入力符号化データ内にある１つの平坦領域内に属するブロックを示す図である。同図に示す太い黒線は、マクロブロックを示している。マクロブロックＱＡ０１，ＱＡ０２，ＱＡ０７は、２つのブロックから構成される。また、マクロブロックＱＡ０３，ＱＡ０４，ＱＡ０５，ＱＡ０８，ＱＡ０９は、１つのブロックから構成される。また、マクロブロックＱＡ０６は、４つのブロックから構成される。結局、同図に示す平坦領域は、１５個のブロックから構成されている。同図において、各ブロックに書き込まれている０または１の数値は、参照画像インデックスを示す値である。

決定方法１によると、仮に１マクロブロックあたりの面積を４とした場合、参照画像インデックス０で特定される参照画像を予測に用いる予測モード（予測モード０）を使用するブロックの総面積は１９、参照画像インデックス１で特定される参照画像を予測に用いる予測モード（予測モード１）を使用するブロックの総面積は１７であるため、最頻の予測モードは、予測モード０となる。

一方、決定方法２によると、予測モード０を使用するブロックの数は７、予測モード１を使用するブロックの数は８であるため、最頻の予測モードは、予測モード１となる。

図１４は、符号化装置１ｃが、各ブロックを符号化する際の動作フローチャートの一例を示す図である。

アクティビティ算出回路４２ａは、符号化対象のブロックについて、アクティビティを求める（ステップＳＬ０１）。続いて、レート制御回路４３は、量子化パラメータを求める（ステップＳＬ０２）。なお、図１２に示す動作フローチャートにおいても、結果的に復号画像データ内の全てのマクロブロックについてのアクティビティと量子化パラメータを取得しているため、これらの値を保持しておくためのメモリを別途追加し、ステップＳＬ０１、ＳＬ０２は、このメモリから値を読み出すだけの処理であるとしてもよい。

次に、イントラ・インター判定回路４５ｃは、符号化対象のブロックが属する領域の識別子を領域情報メモリ５２ｂ内の領域ＭＢ０１から読み出し、読み出した識別子に基づいて、該ブロックが平坦領域に属するか否かを判定する（ステップＳＬ０３）。

符号化対象のブロックが平坦領域に属さないと判定された場合は（ステップＳＬ０３における否定判定）、イントラ・インター判定回路４５ｂは、ステップＳＦ１４（図４）と同様の処理により予測モードを決定し（ステップＳＬ０４）、符号化装置１ｃの処理は後述するステップＳＬ０６に移行する。なお、ステップＳＬ０４における予測モードの決定において、入力符号化データに含まれる符号化情報に応じて、決定される予測モードに所定の制限を加えてもよい。

一方、符号化対象のブロックが平坦領域に属すると判定された場合は（ステップＳＬ０３における肯定判定）、イントラ・インター判定回路４５ｃは、該ブロックが属する平坦領域についての基準予測モードを領域情報メモリ５２ｂ内の領域ＭＢ０２（基準予測モード情報）から読み出し、ステップＳＦ１８（図４）と同様の処理により、インター予測モードにかかる全ての予測モード又はそのうちの一部の中から該基準予測モードに応じた制限の下で予測モードを決定し（ステップＳＬ０５）、符号化装置１ｃの処理は後述するステップＳＬ０６に移行する。ここで、ステップＳＬ０５で決定された予測モードにかかるコスト値が所定の閾値ＴＨＣＯＳＴ３以上の場合は、予測モードの制限に伴う符号化効率の極端な低下を回避するために、制限を解除し、再度全ての予測モードの中から最適な予測モードを決定しなおすようにしてもよい。

そして最後に、符号化装置１ｃは、決定された予測モードを用いて符号化対象のブロックの符号化を行い（ステップＳＬ０６）、処理を終了する。

図１５（ａ）は、図５（ｄ）に示した平坦領域について、符号化装置１ｂにより付与される識別子を表示してなるイメージ図である。

例えば、閾値ＴＨＡ３が定数値１０であるとすると、図５（ｃ）に示すアクティビティのマップにおいて、アクティビティの値が３、５、７となるマクロブロックが平坦であると判定される。結果、符号化装置１ｃは、図１５（ａ）に示す領域ＮＧ０１、領域ＮＧ０２、領域ＮＧ０３を、それぞれ独立した平坦領域とみなし、各平坦領域の中で最頻の予測モードを、それぞれ各平坦領域における代表的な予測モード（基準予測モード）とする。そして、各平坦領域に属する他のブロックの処理においては、参照画像や動きベクトルが、上記代表的な予測モードと同一なものとなるよう、予測モードの決定動作に制限を加えるのである。具体的には、基準予測モードを、平坦領域に属する他のブロックの予測モードとして決定するのである。

なお、図１５（ａ）において、アドレスが３２のブロックのみにより構成される領域ＮＧ０３を１つの独立した平坦領域としているが、上下左右に隣接するブロックがいずれも平坦でないため、ブロック境界におけるギャップが画質劣化として問題となることはない。よって、実施形態２でも説明したように、ステップＳＫ０７において、アドレス３２のブロックに付与する識別子を無効な識別子とすることにより、事実上平坦領域でない領域として扱うようにしてもよい。図１５（ｂ）は、図１５（ａ）に示した各平坦領域から、単一のブロックで構成される領域ＮＥ０３を除外した状態を示している。

以上の説明から、符号化装置１ｃによると、空間的に連続する平坦領域毎に、参照画像や、予測方向、動きベクトル、分割方法の統一を図ることができるようになる。

また、ここでいうところの統一とは、入力符号化データにおける最頻の予測モードへの統一であるため、符号化装置１ａや符号化装置１ｂのように、各平坦領域の最初に符号化されるマクロブロックについての予測モードに統一する場合と比べて基準予測モードが適切なものとなる可能性が高まり、符号化効率の観点で有利になる。

結果、特に高ビットレートから低ビットレートへの再符号化、つまり、入力符号化データより量子化パラメータが大きくなるような再符号化において、図Ｐ（ｄ）に示す予測画像に見られるようなブロック境界におけるギャップが軽減され、ひいては再生画像の主観的な画質が向上する。

なお、本発明は上記各実施形態に限定されるものではない。例えば、上記実施形態２及び実施形態３で用いた領域情報（図７）に代えて、図１６に示す領域情報を用いることも可能である。図１６は、１画像データ分の領域情報の具体的な格納形式の一例を示すイメージ図である。同図に示す領域情報の格納形式においては、平坦領域毎に領域が割り当てられている。例えば、０番目の平坦領域には領域ＭＣ_１が、１番目の平坦領域には領域ＭＣ_２が、それぞれ割り当てられている。そして、各領域の先頭には、各平坦領域についての代表的な予測モード（基準予測モード）を示す基準予測モード情報が記憶されており、さらに各領域の残りの部分には、各平坦領域に属するブロックの数を示すブロック数情報及び各ブロックのアドレスが記憶されている。

また、実施形態３では、最頻の予測モードを基準予測モードとする実施形態を、復号画像データを符号化する再符号化装置をベースに説明したが、（非復号）画像データを符号化する符号化装置において、同様に最頻の予測モードを基準予測モードとすることも可能である。この場合、１つの画像データに属する全てのブロックについて一旦予測モードを仮決定した後、その結果に基づいて基準予測モードを決定し、再度全てのブロックについて予測モードの決定を行う、という処理を行うことが望ましい。

また、符号化装置１ａ乃至１ｃの各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記各処理を行ってもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本発明の実施形態１にかかる符号化装置の構成を示す概略ブロック図である。 本発明の実施形態１にかかる領域情報を示す図である。 本発明の実施形態１にかかる符号化装置の処理フローを示すフロー図である。 本発明の実施形態１にかかる符号化装置の処理フローを示すフロー図である。 本発明の実施形態１にかかる符号化対象の画像データの一例を示すイメージ図である。 本発明の実施形態２にかかる符号化装置の構成を示す概略ブロック図である。 本発明の実施形態２にかかる領域情報を示す図である。 本発明の実施形態２にかかる符号化装置の処理フローを示すフロー図である。 本発明の実施形態２にかかる符号化装置の処理フローを示すフロー図である。 本発明の実施形態２にかかる符号化対象の画像データの一例を示すイメージ図である。 本発明の実施形態３にかかる符号化装置の構成を示す概略ブロック図である。 本発明の実施形態３にかかる符号化装置の処理フローを示すフロー図である。 本発明の実施形態３にかかる入力符号化データ内にある１つの平坦領域内に属するブロックを示す図である。 本発明の実施形態３にかかる符号化装置の処理フローを示すフロー図である。 本発明の実施形態３にかかる符号化対象の画像データの一例を示すイメージ図である。 本発明の変形例にかかる領域情報を示す図である。 本発明の背景技術にかかる符号化対象の画像データを示すイメージ図である。 本発明の背景技術にかかる符号化対象の画像データの画素値（輝度）の変化を示すイメージ図である。

符号の説明

１ａ，１ｂ，１ｃ 符号化装置、
２ Ａ／Ｄ、
３ 画面並べ替えバッファ、
４ 減算回路、
７ 直交変換回路、
８ 量子化回路、
１０ 可逆符号化回路、
１１ 蓄積バッファ、
１３ 逆量子化回路、
１４ 逆直交変換回路、
１５ デブロックフィルタ回路、
１６ フレームメモリ、
１７ 加算回路、
４２ａ，４２ｃ アクティビティ算出回路、
４３ レート制御回路、
４４ 動き予測・補償回路、
４５ａ，４５ｂ，４５ｃ イントラ・インター判定回路、
４６ イントラ予測回路、
５１ａ，５１ｂ，５１ｃ 領域情報設定回路、
５２ａ，５２ｂ 領域情報メモリ、
６１ 復号回路。

Claims (9)

1. 複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化装置であって、
   前記画像データ中の平坦領域を抽出する平坦領域抽出手段と、
   前記平坦領域に属するブロックのうちの少なくとも一部について予測モードを決定する際の基準とする基準予測モードを決定する基準予測モード決定手段と、
   前記平坦領域に属するブロックについて、前記基準予測モードを該ブロックの予測モードと決定する予測モード決定手段と、
   を含むことを特徴とする符号化装置。
2. 請求項１に記載の符号化装置において、
   前記平坦領域抽出手段は、画像データの複雑さを表すアクティビティの値を用いて、前記平坦領域を抽出する、
   ことを特徴とする符号化装置。
3. 請求項２に記載の符号化装置において、
   当該符号化装置は、前記画像データを符号化する際、所与の量子化パラメータを用いる量子化処理を行い、
   前記平坦領域抽出手段は、前記アクティビティの値が前記量子化パラメータに依存する閾値以下である平坦領域を抽出する、
   ことを特徴とする符号化装置。
4. 請求項１から３までのいずれかに記載の符号化装置において、
   前記平坦領域は、空間的に連続する２以上のブロックにより構成される、
   ことを特徴とする符号化装置。
5. 請求項１から４までのいずれかに記載の符号化装置において、
   前記予測モード決定手段は、前記複数のブロックそれぞれについて予測モードを決定し、
   前記基準予測モード決定手段は、前記平坦領域に属するブロックのうち、前記予測モード決定手段により最初に予測モードが決定されるブロックについての予測モードを、前記基準予測モードとして決定する、
   ことを特徴とする符号化装置。
6. 請求項１から４までのいずれかに記載の符号化装置において、
   前記画像データは、ブロック単位で予測モードを切り換えて第１の符号化がなされており、
   当該符号化装置は、前記画像データを一旦復号した後、前記ブロック単位で予測モードを切り換えて再度符号化する第２の符号化をし、
   前記基準予測モード決定手段は、前記平坦領域に属するブロックそれぞれについて、前記画像データが前記第１の符号化をされた際に用いられた予測モードを取得し、その中の最頻の予測モードを、前記基準予測モードとして決定する、
   ことを特徴とする符号化装置。
7. 請求項１から６までのいずれかに記載の符号化装置において、
   前記予測モードは、予測方向、参照画像、動きベクトル、及び分割方法のうちいずれか少なくとも１つにより特定される、
   ことを特徴とする符号化装置。
8. 複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化方法であって、
   前記画像データ中の平坦領域を抽出する平坦領域抽出ステップと、
   前記平坦領域に属するブロックのうちの少なくとも一部について予測モードを決定する際の基準とする基準予測モードを決定する基準予測モード決定ステップと、
   前記平坦領域に属するブロックについて、前記基準予測モードを該ブロックの予測モードと決定する予測モード決定ステップと、
   を含むことを特徴とする符号化方法。
9. 複数のブロックから構成される画像データについて、前記ブロック単位で予測モードを切り換えて符号化を行う符号化装置としてコンピュータを機能させるためのプログラムであって、
   前記画像データ中の平坦領域を抽出する平坦領域抽出手段、
   前記平坦領域に属するブロックのうちの少なくとも一部について予測モードを決定する際の基準とする基準予測モードを決定する基準予測モード決定手段、及び
   前記平坦領域に属するブロックについて、前記基準予測モードを該ブロックの予測モードと決定する予測モード決定手段、
   として前記コンピュータをさらに機能させるためのプログラム。

Images