JP5212372B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、例えば前回の符号化で使われた量子化行列や量子化パラメータ等を所定単位で検出する符号化装置及び方法に関する。

従来、テレビジョン放送局間で映像データの伝送を行う際、或いは複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写を行う際には、MPEG（Moving picture experts group）方式で符号化した映像データを復号化し、再度、符号化することから、エンコーダとデコーダを直列にタンデム接続する必要がある。

そして、このようなタンデム接続時の符号化と復号化の繰り返しによる映像の品質劣化を低減する手法として所謂「バックサーチ」という手法が採用されている。

ここで、「バックサーチ」とは、以前の符号化で使用された量子化ステップ、或いは、その倍数関係にある量子化ステップを用いると、離散余弦変換（DCT；discrete cosine transfer）係数の剰余の総和が極小となるという性質を利用して、最小値に係る量子化ステップを最適な量子化ステップとして求める手法である。

この「バックサーチ」を用いた技術については、例えば特許文献１では、前回の符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップ及びＧＯＰ（Group of pictures）位相で再び入力映像データを符号化し、エンコーダとデコーダをタンデム接続して映像データの符号化及び復号化を繰り返した場合の映像の品質の劣化を防止する映像データ圧縮装置が開示されている。

一方、今日では、MPEG方式に代えて、AVC（Advanced Video Coding）規格が、携帯電話のテレビ電話といった低速・低画質の用途からハイビジョンテレビ放送等の大容量・高画質の動画まで幅広い用途に用いられてきているが、動き補償、フレーム間予測、DCT、エントロピー符号化などを組み合わせたアルゴリズムを利用しており、MPEGに比べて同じクオリティならば、概ね半分程度のデータ量で済むよう改良されている。

このAVCの画面内符号化では、符号化効率を向上させるために、画面内の周辺画素からマクロブロック内の画素値を予測し、その予測からの差分画像データを符号化する画面内予測が導入された。この画面内符号化のみを用いて符号化されたAVCのストリームを、以下、AVC Intraと呼ぶ。すなわち、このAVC Intraでは、符号化の際に入力画像を周辺画素からの予測画像と差分に分離し、該差分を符号化する。

予測画像は、上の画素からの予測や横の画素からの予測等、9個のモードが用意されており、通常は単位ブロック（例えば4x4サンプル等）あたりの予測画像からの差分の総和が最も小さくなるような予測モードを採用するようになっている。
特開平１０−１７４０９８号公報

しかしながら、前述した従来の手法では、符号化時の発生符号量は減少する傾向にあるが、AVCによる符号化は、量子化の部分が非可逆変換であるため、符号化と復号化を行うと元の入力画像に対して量子化歪が生じることから、ダビング時に符号化と復号化を繰り返す度に、量子化歪により画質が低下していく。特に、ダビング時に、この量子化歪の影響により前回の符号化時とは異なる予測モードが採用されると、再度量子化歪が発生してしまい、その結果、画質が低下するという問題が生じるおそれがある。

かかる課題を解決するため本発明の画像処理装置においては、符号化処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成部と、差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付け部と、順位付け部によって付けられた順位が最も高い画面内予測モードの差分画像データから、少なくとも一度以上符号化されたことのある差分画像データが前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチ部と、順位付け部によって付けられた順位が高い順から対象数の差分画像データを、バックサーチ部により検出された量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出部と、剰余値が最小となる差分画像データが生成された画面内予測モードを、差分画像データに対する画面内予測モードとして決定する画面内予測モード決定部とを設けるようにした。

これにより画像処理装置は、特定の画面内予測モードの優先順位を毎回高く設定することができるため、特定の画面内予測モードを選択し易くなり、前回の符号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪みを抑制できる。

また本発明の画像処理方法においては、符号化処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成ステップと、差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付けステップと、順位付けステップによって付けられた順位が最も高い画面内予測モードの差分画像データから、少なくとも一度以上符号化されたことのある差分画像データが前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチステップと、順位付けステップによって付けられた順位が高い順から対象数の差分画像データを、バックサーチステップにより検出された量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出ステップと、剰余値が最小となる差分画像データが生成された画面内予測モードを、差分画像データに対する画面内予測モードとして決定する画面内予測モード決定ステップとを設けるようにした。

これにより画像処理装置は、特定の画面内予測モードの優先順位を毎回高く設定することができるため、特定の画面内予測モードを選択し易くなり、前回の符号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪みを抑制できる。

本発明によれば、これにより画像処理装置は、特定の画面内予測モードの優先順位を毎回高く設定することができるため、特定の画面内予測モードを選択し易くなり、前回の符号化時に使用された画面内予測モードを選択し易くしてダビング時の量子化歪みを抑制でき、画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。

図１は、本発明の第１及び第２の実施の形態に係る符号化装置の概念図。 図２は、ＡＶＣ規格における変換と量子化の説明に供する略線図である。 図３は、一度も符号化されていない画像を入力画像としたときの、量子化パラメータQPと剰余の総和（Σｒ）との関係を示す図。 図４は、符号化と復号が行われた入力画像について、量子化パラメータQPと剰余の総和（Σｒ）との関係を示す図。 図５は、リスケーリングファクターRFによる規格化後の量子化パラメータQPと評価値の総和ΣYとの関係を示す図。 図６は、リスケーリングファクターRFによる規格化、所定領域の補正後の量子化パラメータQPと評価値の総和ΣYとの関係を示す図。 図７ｖ本発明の第１の実施の形態に係る符号化装置の構成図。 図８は、（ａ）はQ matrix検出部の構成図、（ｂ）はQP検出部の構成図。 図９は、マクロブロックとイントラ符号化単位の関係を示す図。 図１０は、（ａ）〜（ｉ）は、9種類の4×4Intra予測モードの説明図。 図１１は、本発明の第１の実施の形態の処理の流れを示すブロック図。 図１２は、本発明の第１の実施の形態に係る符号化装置のQ matrix検出部によるスライス単位でのQ matrix検出の処理について説明するフローチャート。 図１３は、本発明の第１の実施の形態に係る符号化装置のQP検出部によるマクロブロック単位でのQP検出の処理について説明するフローチャート。 図１４は、本発明の第１の実施の形態によるオフセット優先適用処理の詳細なフローチャート。 図１５は、本発明の第２の実施の形態に係る符号化装置の構成図。 図１６は、本発明の第２の実施の形態に係る符号化装置による予測モード検出の処理について説明するフローチャート。 図１７は、本発明の他の実施の形態によるオフセット優先適用処理の詳細なフローチャート。

以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
（１）本発明の概略
（２）第１の実施の形態（オフセット優先適用処理）
（３）第２の実施の形態（バックサーチによる画面内予測モードの確認）

（１）本発明の概略
（１−１）前提
一般に、AVC（Advanced Video Coding）規格による符号化は非可逆変換であるため符号化と復号化を行うと元のベースバンド（Baseband）画像に対して歪が生じる。従って、例えばタンデム接続によるダビング等により符号化と復号化を繰り返す度に該歪により画質が低下していく。

この点に鑑みて、本発明の第１の実施の形態では、AVC規格の画面内符号化において、一度符号化、復号化を通した画像を再度符号化する際に、前回の符号化で使われた以下の３つのパラメータを再利用することで、画像の歪を符号器と復号器の演算誤差のみに抑えることを特徴の一つとしている。

(1) 画面内予測モード
(2) 量子化行列(Qmatrix)
(3) 量子化パラメータ (QP)
これらのうち、第１の実施の形態における量子化行列検出処理では、特に(2)に着目し、量子化パラメータ検出処理では(3)に着目し、オフセット優先適用処理では(1)に着目する。

すなわちAVC規格におけるイントラ（Intra）画像、即ちAVC Intraに対しダビングを行う際に、前回の符号化で使われた量子化行列Qmatrix、量子化パラメータQP及び画面内予測モードを検出して、同じQmatrixとQPとを利用することで量子化丸めを防ぎ、ダビング特性の向上を実現する。

ここで、図１には本発明の第１の実施の形態に係る符号化装置及び方法における概念図を示し説明する。

同図に示されるように、この画像処理装置１は第１の符号化部２、第２の符号化部３、バックサーチ部３を備え、更にバックサーチ部３は予測モード検出部５、量子化行列(Qmatrix)検出部６、量子化パラメータ(QP)検出部７を有している。

このような構成において、第１の符号化部２は、入力された画像情報に対して第１の符号化を行う。バックサーチ部３は、種々の量子化行列Qmatrixと量子化パラメータQPの組み合わせによるリスケーリングファクター（RF; Rescaling factor）で第１の符号化の過程で得られる整数精度DCT係数を除算したときに得られる剰余rの大きさを評価することで、第１の符号化において使われた量子化行列Qmatrix、量子化パラメータQP及び画面内予測モードを検出する。そして、第２の符号化部４は、第１の符号化においてバックサーチ部３により検出された量子化行列Qmatrix、量子化パラメータQP及び画面内予測モードを用いて第２の符号化を行う。

即ち、より詳細には、バックサーチ部３では、Qmatrix検出部６は、第１の符号化の過程で得られる整数精度DCT係数に基づいて、第１の符号化において、上記整数精度DCT係数を種々の量子化行列Qmatrixと量子化パラメータQPの組み合わせによるリスケーリングファクターRFで除算した剰余を用いて、スライス毎に量子化行列Qmatrixを検出する。

QP検出部７は、第１の符号化の過程で得られる整数精度DCT係数に基づいて、整数精度DCT係数を種々の量子化行列Qmatrixと量子化パラメータQPの組み合わせによるリスケーリングファクターRFで除算した剰余を用いて、量子化パラメータQPをマクロブロック毎に検出する。

さらに、予測モード検出部５は、前回の符号化の際に使用された画面内予測モードを検出する。この検出された予測モードは第２の符号化部４において採用される。

先ず、本発明の第１の実施の形態に係る画像処理装置１に対する理解を深めるべく、本実施の形態が着目した特徴的な性質・原理について詳細に説明する。

図１に示すように、AVC規格では、Intra画像に対し、９つの画面内予測モードから選択された一の画面内予測モードを用いて入力画像から差分画像データを生成する。なお以下、Intra画像に対するAVC規格をAVC Intraと称する。次いでAVC Intraでは、差分画像データに対してＤＣＴ処理を実行し、得られたＤＣＴ係数を量子化行列Qmatrixと量子化パラメータQPの組み合わせによるリスケーリングファクターRFで除算することにより量子化して量子化レベル（量子化係数）でなる量子化データを生成する。この量子化データは、さらに所定の符号化方式により符号化され、符号化ストリームとなる。この符号化ストリームは、符号化に使用された画面内予測モード、量子化行列Qmatrix及び量子化パラメータQPが設定されることになる。

ＡＶＣ規格では、復号化の際、設定された画面内予測モード、量子化行列Qmatrix及び量子化パラメータQPを用いて量子化データを復号するが、符号化の際に丸められた剰余部分を復元することはできない。従って、ＡＶＣ規格では、この量子化の剰余分だけ画質を低下させることになる。以下、この画質の低下を量子化歪と呼ぶ。

例えば業務用の放送装置などでは、映像データに対し、複数回に亘って符号化及び復号化を繰り返すような場合が想定される。このとき、毎回異なる画面内予測モード、量子化行列Qmatrix及び量子化パラメータQPを用いると、符号化の度に量子化歪が発生してしまい、符号化の度に映像データの画質を低下させてしまう。

AVC Intraでは、一度符号化、復号化を通した画像を再度符号化する際に、前回の符号化で使われた量子化行列Qmatrix、量子化パラメータQP及び画面内予測モードを使うと、前回の符号化で量子化歪が既に落とされているので、それ以上量子化歪が生じにくいという性質がある。

このため本発明では、前回の符号化で使われた量子化行列Qmatrix、量子化パラメータQP又は画面内予測モードを検出し、これらを用いて符号化を実行することにより、映像データの画質低下を抑制する。

このように前回の符号化で使われた量子化行列Qmatrix、量子化パラメータQP又は画面内予測モードを高い確率で検出することを、以下の説明においては「バックサーチ」と称する。

ここで上述した特許文献１に記載されているように、バックサーチは、ＭＰＥＧ（Moving picture experts group）−２において、ＤＣＴ係数を各量子化スケールＱによって除算すると共に、剰余ｒの最も小さい量子化スケールＱを前回符号化したときに使用した量子化スケールＱとして検出することができる。

しかしながらＡＶＣ規格では、ＭＰＥＧ−２とは以下の点において相違しており、ＭＰＥＧ−２の手法をそのまま適用すると、検出の精度が低下してしまう。

・整数精度演算の導入により符号化と復号化におけるDCT係数が等価に扱えない。

・復号時の演算誤差が大きく、検出精度に大きく影響する。

・剰余関数が量子化パラメータQPに関して周期をもつため、同じ値の最小値が複数存在する。

そこで、本発明は、AVCによる符号化を採用し、前回の符号化で使われた量子化行列Qmatrixや量子化パラメータQP等を所定単位で高い確率で検出し、それらを再利用することでダビング時の量子化による丸め誤差を低減し、ダビング特性を向上することを課題とする。

（１−２）バックサーチの原理
以下、該バックサーチの具体的方法につき言及する。

AVC Intraでは、復号化の際に、量子化レベルZに量子化行列Qmatrixと量子化パラメータQPの関数であるリスケーリングファクターRFが乗算されて整数精度DCT係数Wを6bit左シフトしたものが復号される。

このように、復号の過程で、量子化レベルZにRFを乗算して整数精度DCT係数Wを得ているので、次の符号化において整数精度DCT係数WはRFで割り切れる。つまり、次の符号化の際にシフトされた整数精度DCT係数（W<<6）を同じRFで割った場合に、その剰余rは0になると考えられる。このような性質に着目から、種々の量子化行列Qmatrixと量子化パラメータQPの組み合わせによるリスケーリングファクターRFを用いてシフトされた整数精度DCT係数(W<<6)を割った剰余rの大きさを評価することで、前回の符号化で使われた量子化行列Qmatrixと量子化パラメータQPを検出することができる。

以上に加えて、第１の実施の形態に係る画像処理装置１では、検出精度を向上させる為に、MPEGでは考慮されなかった、AVC Intra特有の性質に起因する以下の(i)〜(vi)の点を考慮する。以下、各点につき詳述する。

(i) 符号化と復号化におけるRFの変換
AVC Intraでは、DCT部を整数精度部と非整数精度部に分け、整数精度部を整数精度DCTと称し、非整数精度部と量子化を合わせて量子化と称している。AVC Intraでは、符号化と復号化で整数精度部と非整数精度部の切り分け位置が異なるため、符号化に用いる整数精度DCT（以下、単に「DCT」と表記する）と復号に用いる整数精度逆DCT（以下、単に「逆DCT」と表記する）は逆変換ではない。ゆえに、符号化で使われるDCT係数Wと復号で使われる逆DCT係数W（以下、「W'」と表記する)は等しくならない。

即ち、DCT係数WとDCT係数W’は次式で示される。

このDCT、逆DCTの式より、DCT係数WとDCT係数W’の間には次式が成立する。

このようにDCT係数W’の位置（i,j）により16、20、25を掛けたものがWとなるが、この変換行列を「D」とし、（６）式に定義する。即ち、バックサーチ処理における符号化で用いるRFは復号化で用いるRF（以下、「RFr」と表記する）に、DCT係数WとDCT係数W’の変換行列Dを乗じたものとする。

すなわちAVC Intraでは、図２に示すように、差分画像データに対して符号化及び復号化によりDCT処理を施した後に逆DCT処理を行うと、復号差分画像データの値が変換行列Ｄだけスケールアップされることになる。

またAVC Intraでは、量子化の際に、次式で表される量子化誤差ＥＲが発生する。なお（７）式を実際の数値として表すと、（８）式のように表すことができる。すなわちAVC Intraでは、ＤＣＴ係数に対して符号化及び復号化により量子化処理及び逆量子化処理を行うと、逆ＤＣＴ係数の要素の値が量子化誤差ＥＲだけスケールアップされることになる。

このためAVC Intraでは、復号化の際、復号差分画像データを「６４」で除算することにより、復号差分画像データの値を差分画像データと同レベルにするようなされている。

すなわちAVC Intraでは、差分画像データに対してDCT処理を施した時点で、変換行列Dが乗算されてスケールアップされているものとみなすことができる。これに伴い、剰余ｒの値もスケールアップされることになるが、（８）式に示したように、その値（すなわち係数要素）は行列の位置によって異なっている。

従って仮にDCT係数を復号リスケーリングファクターRFによって除算すると、DCT係数の位置に応じて剰余ｒが大きくなったり、小さくなったりしてしまうことになり、剰余ｒを単純に比較できなくなってしまう。

従って画像処理装置１では、次式のように復号時のリスケーリングファクター（以下、これを復号リスケーリングファクターRFｒと呼ぶ）に対して変換行列Dを乗算することにより、バックサーチ処理の際に除算する値として使用されるリスケーリングファクターRFを算出する。

即ち、一度、符号化を介した入力画像（差分画像データ）のDCT係数Wは（５）式によるDCT係数WとDCT係数W’の変換行列Dを考慮すると、{V Qmatrix D 2^floor(QP/6)}で割り切れ、剰余ｒが0となると考えられる。

これにより画像処理装置１では、剰余ｒからDCT処理に伴うスケールアップの影響を排除することができ、剰余ｒを同一スケールで比較し得るようになされている。

このように画像処理装置１では、復号リスケーリングファクターRFｒに対して変換行列Dの値を乗算してリスケーリングファクターRFを算出する。これにより画像処理装置１では、リスケーリングファクターRFによって差分画像データを除算することにより、DCT処理によって一律にスケールアップされる分をも同時に除算することができるため、スケールアップによる剰余ｒの変動を低減し、バックサーチの検出の精度を向上させ得るようになされている。

(ii) 復号時の誤差
AVC Intraでは、周辺画素からの予測画像との差分絶対値和（SAD: Sum of Absolute Difference、すなわち差分画像データ）を符号化する。復号時に量子化レベルZに復号リスケーリングファクターRFｒを乗じるが、復号時の演算丸めを防ぐため、復号リスケーリングファクターRFｒは規格上予め6bit桁上げされている(復号の際にDCT係数W'を6bit左シフトしたものが得られるのはそのためである)。

従って、逆量子化、逆DCT処理は、6bit桁上げされた状態で演算され、予測画像を6bit桁上げしたものと足し合わせた後に、その和を6bit桁下げしてベースバンド画像を得る。この6bitの桁下げにより、下位6bitに入っていたデータが四捨五入される為、演算誤差Eが発生し、次回の符号化で生じたシフトされたDCT係数(W<<6)はリスケーリングファクターRFで割り切れないことがある。

そこで本発明は、剰余rが0になる量子化パラメータQPではなく、剰余rが最小値になる量子化パラメータQPを検出する。

ここでこの復号時の演算誤差Eは負の値であることもあるので、実際の剰余rの値と、剰余rをリスケーリングファクターRFから引いた値を比較し、小さい方を評価値Yとする。

例として、RF = 3600、DCT係数W = 7200の場合を考える。

演算誤差Eがない場合の剰余rは、次式のようになる。

実際には演算誤差Eは見積もれないが、E = -2として単純に剰余rを評価値Yとすると、次式のようになり、最小値として検出され難くなる。

ここで、上記のように実際の剰余rの値と、剰余rをリスケーリングファクターRFから引いた値を比較し、小さい方を評価値Yとすると、次式が得られ、評価値Yは演算誤差Eの絶対値となる。

従って本発明の画像処理装置１では、（１２）式に従って評価値Yを算出すると共に、評価値Yが最小値となる量子化パラメータQPを検出するようにした。これにより画像処理装置１は、適切な評価値Yを用いて適切に量子化パラメータQPを検出することができる。

(iii) 剰余曲線の性質と量子化パラメータQPの周期について
一度も符号化されていない画像を入力画像として、6bitシフトされたDCT係数(W<<6)を種々の量子化パラメータQPによるリスケーリングファクターRFで割って剰余rを算出し、横軸に量子化パラメータQP、縦軸に剰余の総和（Σｒ）をとると、図３に示されるような右上がりの曲線となる。

同様に、符号化と復号化が行われた入力画像について6bitシフトされたDCT係数(W<<6)を種々の量子化パラメータQPによるリスケーリングファクターRFで割って剰余rを算出し、横軸に量子化パラメータ、縦軸に剰余の総和（Σｒ）をとると、図４に示されるようになる。この場合、剰余rの総和（Σｒ）の極小値は生じるが、やはり右上がりの傾向があり、符号化と復号化を既に行っているか否かによらず量子化パラメータQPが小さいほど剰余ｒの総和（Σｒ）も小さくなることが分かる。

従って、種々の量子化パラメータQPによる剰余rの総和（Σｒ）の大小関係を単純に評価すると、前回の符号化で使われた量子化パラメータQPよりも小さい量子化パラメータQPが最小値として誤検出されることがある。この問題を解決するために、剰余rの値をさらにリスケーリングファクターRFで規格化したものを評価値Yとして用いる。

このときの評価値Yの総和（ΣY）と量子化パラメータQPとの関係を図５に示している。図５から、前回の符号化で使用された量子化パラメータQPについての評価値Yの総和（ΣY）が、６ｎずれた量子化パラメータQPについての評価値Yの総和（ΣY）よりも小さくなっていることがわかる。

また、図３、図４に示されるように、(|W|<<7) ≦ RFとなる量子化パラメータQPで評価値Yの値（剰余ｒの絶対値）がフラットになる領域が発生する傾向があり、この領域はリスケーリングファクターRFによる規格化を行うと単調減少して（図５参照）、誤検出の原因となる。

この際、同じリスケーリングファクターRFで割った場合でも統計的にはDCT係数Wが大きいほど剰余rも大きくなるため、剰余rをDCT係数の絶対値|W|でスケーリングした後、リスケーリングファクターRFで規格化する。これにより、大きな剰余を採り得るDCT係数Wが小さな剰余をもった場合は偶然ではないと考え、重み付けできる（通常、低周波成分ほど大きなDCT係数Wを持つため、低周波成分が重み付けされる)。

図６に、剰余rをDCT係数の絶対値|W|でスケーリングした後、リスケーリングファクターRFで規格化した評価値Yの総和（ΣY）と、量子化パラメータQPとの関係を示している。図から、前回の符号化で使用された量子化パラメータQPにおける評価値Yの総和（ΣY）と６ｎずれた量子化パラメータQPについての評価値Yの総和（ΣY）は図５と比較して殆ど変化していないことがわかる。

さらに画像処理装置１では、評価値Yの総和(ΣY)が傾斜を有する(|W|<<7) >
RFとなる領域のみでリスケーリングファクターRFによる規格化を行い、それ以外の領域ではDCT係数絶対値|W|の値を評価値Yとして用いることもできる。

これにより、画像処理装置１では、図６に示したように、リスケーリングファクターRFによる規格化に起因して、(|W|<<7) ≦ RFとなる領域において評価値Yの総和（ΣY）が最小となり、誤った量子化パラメータQPが前回使用された量子化パラメータQPとして検出されてしまうことを確実に防止し得るようになされている。

(iv) 量子化パラメータQPの周期について
AVC Intraでは、規格上、量子化パラメータQPが±6変化すると、リスケーリングファクターRFが±2倍になる性質を有している。従って、ある量子化パラメータQPにおいて剰余rの総和（Σｒ）が極小値をもった場合、QP±6n（n=1、2…）でも剰余rの総和（Σｒ）が極小値を持つことがある(図４参照)。

このため単純に上記の評価値Yを評価すると、6nずれた量子化パラメータQPが検出されることがある。従って画像処理装置１では、剰余rの総和（Σｒ）が最小となる量子化パラメータQPより6n大きな量子化パラメータQPに極小値がある場合はその量子化パラメータQPを採用する。

具体的に、画像処理装置１は、剰余rの総和（Σｒ）が小さい方から順に5個程度の量子化パラメータQPの値を配列に格納しておき、剰余rの総和（Σｒ）が最小となるQPと2番目に剰余rの総和（Σｒ）が小さいQPとを比較してその差が6nであれば、QPの大きな方を採用する。更に、画像処理装置１は、採用した量子化パラメータQPと3番目に剰余rの総和（Σｒ）が小さい量子化パラメータQPとを比較し、両者の差が6nであれば、また大きい方の量子化パラメータQPを採用し、採用された量子化パラメータQPの入れ替えを行う。

このように画像処理装置１は、剰余ｒの総和（Σｒ）の極小値を複数検出した場合には、大きい値を有する量子化パラメータQPを優先して前回の符号化に使用された量子化パラメータQPとして採用する。これにより画像処理装置１は、6nずれた量子化パラメータQPが前回の符号化に使用された量子化パラメータQPとして誤検出されることを抑制し得るようになされている。

さらに画像処理装置１は、当該検出された複数の剰余ｒの総和（Σｒ）が6n周期でなるか否かを確認し偶発的に存在する極小値が前回の符号化に使用された量子化パラメータQPとして誤検出されることを抑制し得るようになされている。

(v) 演算量の削減方法
本発明の画像処理装置１では、種々の量子化パラメータQPに関して前述したようにリスケーリングファクターRFを計算し、剰余rから算出される評価値Yを用いて前回の符号化で使われた量子化パラメータQPを検出する。従って、採り得る量子化パラメータQPの数が多い程、演算、評価も処理量が多くなる。この問題を避けるために、前回符号化に使われた量子化パラメータQPの大体の値が既知の場合は、その周辺の量子化パラメータQPのみで評価すれば十分とし、演算量を削減している。

なおこの量子化パラメータQPは、例えば第３の実施の形態における量子化係数による原画判定処理において算出することができる。また入力画像データのアクティビティなどから推測することもできる。

(vi) その他、以下の条件も考慮する。

画面内予測モードが前回の符号化の時と異なっていても、上記(iv)の6n入れ替えを行うと、検出率は維持できる。また、量子化パラメータQPの大体の値が既知である場合にも同様である。これは、予測モードを前回の符号化時と異なるモードに変えたときに生じる問題に着目したものであるが、予測モードが前回の符号化時と異なっていても、この実施の形態では対応可能とする。

量子化行列Qmatrixは予めいくつかのパターンが定義されているものとする（例えばID番号などで識別できるものとする）。

すなわち画像処理装置１では、量子化行列Qmatrixが変化することによりリスケーリングファクターRFも変化するため、量子化パラメータQPに加えて量子化行列Qmatrixをも検出する必要がある。

画像処理装置１では、マクロブロック単位で量子化行列Qmatrixと量子化パラメータQPの組み合わせを変えて、各量子化行列Qmatrixと量子化パラメータQPごとにリスケーリングファクターRFを計算する。尚、先に図４で前述したように、剰余rの最小値は、量子化パラメータQPに関して6nの周期を有しており、量子化パラメータQPが6nずれていても、量子化行列Qmatrixさえ検出できれば良い。このため画像処理装置１では、前回の符号化で使われた量子化パラメータQPの大体の値が分かっていれば、該QPの値を含んだ連続した6個の量子化パラメータQPで評価すれば十分であるものとする。

以上を考慮して、本発明の画像処理装置１では、上記特徴的な視点をふまえて、先ず前回使用した量子化行列Qmatrixを検出する量子化行列検出処理を実行した後、該量子化行列Qmatrixを用いて量子化パラメータQPを検出する量子化パラメータ検出処理を実行する。

（２）第１の実施の形態
（２−１）符号化装置の構成
以下、図７には本発明の第１の実施の形態に係る符号化装置１０の構成を示し説明する。なお符号化装置１０は、図１における画像処理装置１に対応するものである。またバックサーチ部３０はバックサーチ部３に、パラメータエンコーダ５０は第２の符号化部４に、Qmatrix検出部３１はQmatrix検出部６に、ＱＰ検出部３２はQP検出部７にそれぞれ対応するものである。

図７に示されるように、符号化装置１０は、１パス(pass)目のプレエンコーダ２０とバックサーチ部３０、２パス(pass)目のパラメータエンコーダ５０、符号量制御部４０、Qmatrix/QP決定部４１、画面内予測モード決定部４５を備えている。より詳細には、１パス目のプレエンコーダ２０は、更にoffset付Intra予測モード決定部２１、整数精度DCT部２２、量子化部２３、エントロピー計算部２４からなる。バックサーチ部３０は、更にQmatrix検出部３１、ＱＰ検出部３２、画面内予測モード検出部３３からなる。そして、２パス目のパラメータエンコーダ５０は、画面内予測処理部５１、整数精度DCT部５２、量子化部５３、エントロピー符号化部５４からなる。尚、ここでは、２パス符号化を採用することを想定しているが、それ以上のマルチパス（multi-pass）符号化であっても基本的な考え方は同じである。

ここで、Qmatrix検出部３１の詳細な構成例を図８（ａ）に示している。またＱＰ検出部３２の詳細な構成例を図８（ｂ）に示している。

図８（ａ）に示すように、Qmatrix検出部３１は、剰余計算部３１ａ、評価値判定部３１ｂ、Qmatrix判定部３１ｃからなる。そして、図８（ｂ）に示すように、ＱＰ検出部３２は、剰余計算部３２ａ、評価値判定部３２ｂ、QP判定部３２ｃからなる。

このような構成において、入力画像は１パス目のプレエンコーダ２０に入力される。

より詳細には、入力画像データはoffset付Intra予測モード決定部２１に入力される。このoffset付Intra予測モード決定部２１は、後述するオフセット優先適用処理により、９つの画面内予測モードから最適な画面内予測モードを決定すると共に、入力画像が周辺画素を用いた予測画像からの差分画像データ及び差分絶対値和SADを生成し、これらを整数精度DCT部２２に入力する。

整数精度DCT部２２は、離散余弦変換による直行変換により差分画像データからDCT係数Wを生成し、量子化部２３及びバックサーチ部３に供給する。

量子化部２３ではDCT係数Wが入力されると、当該DCT係数を量子化し、量子化データを生成する。この量子化により量子化部２３より出力された量子化レベルZは、エントロピー計算部２４に送られる。

エントロピー計算部２４は、入力された量子化レベルZをバイナライズ、算術符号化して符号化ストリームを生成し、符号量制御部４０に供給する。符号量制御部４０は、当該符号化ストリームの発生符号量に基づいてパラメータエンコーダ５０に対する符号量制御を実行する場合の量子化行列Qmatrix及び量子化パラメータQPを見積り、これをQmatrix/QP決定部４１に送出する。

一方、スライス単位で整数精度DCT部２２よりバックサーチ部３０に送られたDCT係数Wは、Qmatrix検出部３１に入力される。Qmatrix検出部３１は、剰余計算部３１ａによってDCT係数Wを種々の量子化行列QmatrixによるリスケーリングファクターRFによって除算し、評価値判定部３１ｂに供給する。評価値判定部３１ｂは、剰余rを剰余rを(iii)で前述した考え方に従って評価値Yに変換し、Qmatrix判定部３１ｃに送出する。Qmatrix判定部３１ｃは、種々の量子化行列Qmatrixについての評価値Yを比較し、評価値Yが最小である量子化行列Qmatrixを前回使われた量子化行列Qmatrixとして出力する。尚、Qmatrix検出部３１による量子化行列検出処理手順の詳細については後述する。

このとき検出された量子化行列QmatrixはＱＰ検出部３２に送られる。剰余計算部３２ａは、DCT係数Wを種々の量子化パラメータQPによるリスケーリングファクターRFによって除算し、評価値判定部３２ｂに供給する。評価値判定部３２ｂは、評価値Qmatrix検出部３１によって検出された量子化行列Qmatrixを用い、剰余rを(iii)で前述した考え方に従って評価値Yに変換し、QP判定部３２ｃに送出する。QP判定部３２ｃは、種々の量子化パラメータQPについての評価値Yを比較し、評価値Yが最小である量子化パラメータQ Pを前回使われた量子化パラメータQ Pとして出力する。尚、ＱＰ検出部３２による量子化パラメータ検出処理手順の詳細については後述する。

この検出された前回の量子化パラメータQPと量子化行列Qmatrixは、Qmatrix/QP決定部４１に送られる。Qmatrix/QP決定部４１では、量子化行列Qmatrixと量子化パラメータQPに関して、１パス目のプレエンコーダ２０で見積もられたものを採用するのか、バックサーチ部３０で検出されたものを使うかを決定する。通常、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないためバックサーチは失敗し、１パス目のプレエンコーダ２０による符号化処理により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、バックサーチ部３０によって検出されたものを採用する。

２パス目のパラメータエンコーダ５０では、前述したようにQmatrix/QP決定部４１で決定された量子化行列Qmatrix、量子化パラメータQP、offset付Intra予測モード決定部２１で決定された画面内予測モードを使って、入力画像を符号化し、符号化ストリーム（Stream）として出力する。

より詳細には、画面内予測処理部５１では、最適な画面内予測モードとしてoffset付Intra予測モード決定部２１で決定された画面内予測モードに選定し、周辺画素の予測画像を用いて入力画像から差分画像データを生成し、当該差分画像データを整数精度DCT部５２に入力する。整数精度DCT部５２では、離散コサイン変換による直行変換により差分画像データをDCT係数Wとして出力する。量子化部５３ではDCT係数Wを入力として、Qmatrix/QP決定部４１で決定された量子化行列Qmatrix、量子化パラメータQPを用いて量子化を行い、量子化レベルZをエントロピー符号化部５４に送出する。エントロピー符号化部５４では、入力された量子化レベルZをバイナライズ、算術符号化して符号化ストリームとして出力する。

（２−２）オフセット優先適用処理
AVCのイントラ(画面内符号化)フレームでは、ダビングにおいて前回の符号化で使用された画面内予測モードを再利用することは画質低下を防ぐために有効な手段である。

量子化行列検出処理及び量子化パラメータ検出処理において、前述したように、AVC Intraでは、復号の際に、量子化レベルZに量子化行列Qmatrixと量子化パラメータQPの関数であるリスケーリングファクターRFが乗算されてDCT係数Wを6bit左シフトしたものが復号される。画面内予測モードが変わった場合はDCT係数の分布が変わるので、剰余rが0である確率は低くなる。

すなわち、図９に示すように、上述した量子化行列検出処理及び量子化パラメータ検出処理はマクロブロックMBごと（１６×１６画素）単位で実行される。これに対して画面予測は、例えば４×４画素のサブマクロブロックによるイントラ符号化単位IAで実行される。すなわち、マクロブロックMBには４×４＝１６のイントラ符号化単位IAが含まれることになる。

符号化装置１０では、予め符号量が最小となる画面内予測モードを検出すると共に、当該検出された画面内予測モードにおいて上述した量子化行列検出処理及び量子化パラメータ検出処理を実行する。このとき、検出された画面内予測モードが前回符号化された画面内予測モードとは限らないものの、発生符号量が最小となる画面内予測モードを用いているため、１６のイントラ符号化単位IAのうち、多数は前回符号化された画面内予測モードであることが想定される。

この場合、符号化装置１０は、上述したようにマクロブロックごとに剰余ｒの総和（Σｒ）を用いて極小値を検出する。このため画像処理装置１は、１６のイントラ符号化単位IAにおいて、前回使用したものとは異なる画面内予測モードが混ざっていたとしても、多数の前回符号化された画面内予測モードに基づいて、量子化行列Qmatrix及び量子化パラメータQPを適切に検出することができる。

かかる構成に加えて、本発明の符号化装置１０では、AVC Intraで符号化を行う際に、AVCの規格で定義されている9個の画面内（Intra（イントラ））予測モードのうち、特定の画面内予測モードを優先的に選択させる。これにより符号化装置１０では、ダビング時の画面内予測モード変化を防止する。その結果、再度量子化歪が発生することを抑え、ダビング特性を向上させるものである。

即ち、ダビング時に前回の符号化で使われた画面内予測モードが選択されると、既に前回の量子化で丸められるべきデータが落ちているので、それ以上量子化歪が発生しにくいという性質がある。このような性質に着目し、この実施の形態では、所定の画面内予測モードが優先的に選択されるようにしてダビング特性を向上させることを特徴とする。

ここで、本発明の理解を助けるために、図１０を参照して、AVC Intraで符号化を行う際の9個の画面内予測モードについて、その概略を説明する。

図１０（ａ）〜（ｉ）は、9種類の画面内予測モード（モード番号0〜8）の予測方向を示している。

予測方向は、この9通りの予測方向（モード番号0〜8でなる画面内予測モード）の中から、4×4画素のブロック毎に一の予測方向（すなわち画面内予測モード）を選択して、この選択した予測方向を用いて4×4画素のブロック単位で符号化することになる。特に、モード番号2でなる画面内予測モードでは、処理対象となる4×４の処理対象画素の左（水平方向に隣接）の４画素と、上（垂直方向に隣接）の4画素の計8画素の平均値(例えばmean(Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ))を基準とし、処理対象画素の4×4画素の全てを予測するものである。

以下、このモード番号２でなる画面内予測モードを、以下DC（Direct Current）予測モードと呼ぶ。他の画面内予測モード（モード番号0〜1、3~8）については、図に示す矢印の方向に従って予測が行われる。

図１１は、入力画像データが非原画であった場合に実行される処理の流れを示したものであり、図７の符号化装置１０における構成の一部を抽出して示している。

この図１１に示すように、符号化装置１０は、画面内予測モード決定手段としてのoffset（オフセット）付Intra予測モード決定部２１、離散余弦変換手段としての整数精度DCT部２２、量子化パラメータ計算手段としてのバックサーチ部３０、量子化手段としての量子化部５３、符号化手段としてのCABAC（Context-based Adaptive Binary Arithmetic Code）などでなるエントロピー符号化部５４によって処理を実行する。尚、エントロピー符号化部５４は、周囲の状況（コンテキスト）に応じて、適応的に符号化を行う２値の算術符号化方式を採用するものである。

このような構成において、入力画像データはoffset付Intra予測モード決定部２１に入力され、offset付Intra予測モード決定部２１にて、9種類の画面内予測モードのうち1の画面内予測モードが採用される。従来の情報符号化装置では、量子化係数におけるゼロを増大させてエントロピー符号化部５４における発生符号量を小さくするため、イントラ符号化単位IAごとの予測画像（すなわち差分画像データ）における処理対象画素の絶対値の和となる差分絶対値和SADが最も小さいものが採用される。本実施の形態では、後述する図１４のフローチャートの流れに沿って処理が実行される。すなわち符号化装置１０のoffset付Intra予測モード決定部２１は、各画面内予測モードに対してoffsetの値を予め設定しておき、それぞれの画面内予測モードによって符号化された差分画像データにおける差分絶対値和SADを算出する。そしてoffset付Intra予測モード決定部２１は、差分絶対値和SADに対して画面内予測モードに対応するoffsetを付加すると共に、オフセットが付加されたオフセット付差分絶対値和SADｆ同士を比較して、差分絶対値和SADが最小となる画面内予測モードを実際の符号化に使用する画面内予測モードとして採用する。offset付Intra予測モード決定部２１は、このようにして選択された画面内予測モードのモード番号xと、差分画像データとを整数精度DCT部２２に供給する。

整数精度DCT部２２では、差分画像データをDCTにより直交座標変換し、DCT係数Wとしてバックサーチ部３０へと送出する。バックサーチ部３０では、上述したバックサーチ処理により量子化パラメータQP及び量子化行列Qmatrixを検出し、これらとDCT係数Wとを量子化部５３に供給する。量子化部５３では、このDCT係数Wを量子化パラメータQP及び量子化行列Qmatrixを用いて量子化し、量子化レベルZとしてエントロピー符号化部５４へと出力する。

こうして、エントロピー符号化部５４では、量子化レベルZを、バイナライズ、算術符号化して符号化ストリームとして出力することになる。

ここで、特にoffset付Intra予測モード決定部２１は、以下の特徴的な作用を奏する。

(1) それぞれの画面内予測モード間での予測画像からの差分絶対値和SADの差が小さく、符号化時の量子化歪により再度符号化を実行したときに差分絶対値和SADの大小関係が入れ替わる可能性のあるものを予めDC予測モードに固定することにより、再度量子化歪が発生することを抑える。

(2) 例えば、インターレースの画像等、ある方向の相関が極端に強く、DC予測モードに固定すると予測画像からの差分絶対値和SADが極端に大きくなり、発生符号量が増大するような場合は、その相関の大きい方向の画面内予測モードを選び、発生符号量の増大を抑える。

(3) 入力画像の特性により、上記(1)、(2)の閾値をパラメータoffsetの値によって調節する。また、パラメータoffsetは、画面内予測モード毎に別々の値を設定して、DC予測→縦方向予測→横方向予測→…方向予測のように、段階的に優先順位を付与してもよい。

この実施の形態に係る符号化装置では、以上(1)〜(3)により、入力画像の特性により柔軟な画質、ダビング特性の制御を実現する。

より具体的には、AVC Intraでは、前述したような9個の画面内予測モードのうち、ある単一の画面内予測モードのみを許可した場合に、周辺画素の平均値から予測画像を得るDC予測モード（即ち、図１０（ｃ）の画面内予測モード番号2）がSNRの値だけでなく、視覚的にも優れている。このような点に着目して、この実施の形態に係る符号化装置１０では該DC予測モードを優先的に選択させる。実際上、符号化装置１０では、9つの画面内予測モードのうち、本来選ばれるべき最も差分絶対値和SADの小さい画面内予測モードとDC予測モードとの間で予測画像からの差分絶対値和SADを比較して、その差がoffset未満ならDC予測モードを採用する。

具体的に、入力画像データが入力されると、offset付Intra予測モード決定部２１は、画面内予測モードごとにoffset[n]の値を設定する。offset[n]の値は、画面内予測モードごとに予め定められている。offset付Intra予測モード決定部２１は、図示しないＲＯＭ（Read Only Memory）などからoffset[n]を読出すことにより、offset[n]の値を設定する。

このoffset[n]の値は、符号化による画質の低下の度合いに応じて決定されており、当該画質の低下が小さい画面内予測モード程小さくなるように設定されている。すなわちoffset[n]の値は、最も画質の低下が小さいDC予測モードに対するオフセットを「０」（オフセットを付加しない）に設定される。またoffset[n]の値は、画質の低下度合いが大きい画面内予測モードに対して大きく、画質の低下度合いが小さい画面内予測モードに対して小さくなるように設定される。

次いでoffset付Intra予測モード決定部２１は、各画面内予測モードごとに入力画像データから差分画像データを生成すると共に、差分絶対値和SADを算出する。offset付Intra予測モード決定部２１は、当該差分絶対値和SADに対して画面内予測モードに対応するoffset[n]を付加し、オフセット付差分絶対値和SADｆを算出する。なおDC予測モードについては、差分絶対値和SAD＝オフセット付差分絶対値和SADｆとする。

offset付Intra予測モード決定部２１は、オフセット付差分絶対値和SADｆ同士を比較し、オフセット付差分絶対値和SADｆが最小となる画面内予測モードを符号化に使用する画面内予測モードとして選択する。

そしてoffset付Intra予測モード決定部２１は、選択された画面内予測モードのモード番号ｘと、差分画像データとを整数精度DCT処理部２２に供給するようになされている。

最後に、offsetの値は、一般的に以下のような結果を与える。

(a)offsetの値が小さい場合
この場合は、最も差分絶対値和SADが小さい画面内予測モードが選ばれやすくなるため、一回目の符号化で得られる画像の画質は良くなる傾向にあるが、DC予測モードに固定する効果が弱いので、ダビングによる画質劣化はあまり改善されない。

(b)offsetの値が大きい場合
この場合は、DC予測モードに固定する効果が強いため、ダビングによる画質劣化は抑えられるが、差分絶対値和SADが最小の画面内予測モードが選ばれにくくなるため、一回目の符号化で得られる画像の画質は悪くなる傾向にある。ダビングを繰り返すと差分絶対値和SADが最も小さい画面内予測モードを採用する通常のダビングを繰り返す場合よりSNR、視覚特性が向上する。

これら(a)、(b)の効果を考慮すると、テレビ放送局など、予め複数回のダビングをして利用することが予想される画像に対してはoffsetを大きめ（32〜128程度）に設定することが望ましい。逆に一回目の符号化で得られる画像での利用や、あまりダビングをしないことが予想される画像に対してはoffsetを小さめ（例えば、32未満）に設定することで、符号化画像の最適な利用段階（ダビング回数）において最良のSNR特性、視覚特性を得ることができるものと考えられる。

以上説明したように、本発明の一実施の形態に係る符号化装置１０によれば以下のような効果が奏される。即ち、offsetの値に応じてDC予測モードを優先的に選択させることで、ダビング時の画面内予測モード変化を抑えることができる。更に、offsetの値により、画像の使用目的に合わせた柔軟なダビング特性制御ができる。そして、ダビング時に前回の符号化と同じ画面内予測モードが選ばれやすくすることで、繰り返し量子化歪が乗ることを回避し、ダビング時の画質劣化を抑えることができる。

（２−３）処理手順
（２−３−１）量子化行列検出処理
以下、量子化行列検出処理手順ＲＴ１を示す図１２のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置１０のQmatrix検出部３１によるスライス単位でのQmatrix検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。

なおこの図１２において、符号化装置１０は、各ＤＣＴ係数の絶対値|Ｗ|が規格化閾値以下（すなわち|Ｗ|＜＜７がＲＦ以下）である場合にのみ、剰余ｒをリスケーリングファクターＲＦによって規格化することにより評価値Ｙを算出し、ＤＣＴ係数の絶対値|Ｗ|が規格化閾値より大きい場合には、剰余ｒを評価値Ｙとする。そして符号化装置１０は、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて量子化行列Ｑmatrixを検出するようになされている。

Qmatrix検出部３１は、整数精度DCT部２２で求められたDCT係数Wの絶対値|W|を入力として、前回の符号化で使われた可能性のある量子化行列Qmatrixと量子化パラメータQPの中から初期値を決める（ステップＳ１）。続いてQmatrix検出部３１は、マクロブロック単位で量子化行列Qmatrixと量子化パラメータQPの組み合わせを変えて、各量子化行列Qmatrixと量子化パラメータQPごとにリスケーリングファクターRFを計算する。このとき剰余計算部３１ａは、スライス内の各サンプルに対して|W|<<6を該リスケーリングファクターRFで割った剰余ｒを計算する（ステップＳ２）。尚、先に図４で前述したように、剰余rの最小値は、量子化パラメータQPに関して6nの周期を有しており、量子化パラメータQPが6nずれていても、この図１０の処理では量子化行列Qmatrixさえ検出できればいいので、前回の符号化で使われた量子化パラメータQPの大体の値が分かっていれば、該QPの値を含んだ連続した6個の量子化パラメータQPで評価すれば十分であるものとする。

続いて、評価値判定部３１ｂは、|W|<<7＞RFであるか否かを判定し、該関係が成立する場合には、剰余ｒをリスケーリングファクターRFで規格化（スケーリング）したものを評価値Yとする（ステップＳ４）。一方評価値判定部３１ｂは、該関係が成立しない場合には、|W|<<6を評価値Yとする（ステップＳ５）。このように、評価値判定部３１ｂは、マクロブロック内の256(=16x16)サンプルに関して、シフトされたDCT係数(W<<6)をリスケーリングファクターRFで割った剰余rに上記 (iii)の規格化と補正を施したものを評価値Yとし、該評価値Yの総和を量子化行列Qmatrixと量子化パラメータQP毎に計算する（ステップＳ６〜８）。

こうして、可能性のある全ての量子化行列Qmatrix、６つの量子化パラメータQPについて評価値Yが計算されると（ステップＳ７をＹｅｓに分岐）、Qmatrix判定部３１ｃは、スライス単位で量子化行列Qmatrixと量子化パラメータQPごとの評価値Yの総和を比較し（ステップＳ９）、総和（ΣY）が最小となる量子化行列Qmatrixを検出し、前回使われた量子化行列Qmatrixであるものとし（ステップＳ１０）、該量子化行列QmatrixのＩＤ番号を出力する。

なお符号化装置１０は、例えばステップＳ２の前段において剰余ｒに対してＤＣＴ係数の絶対値|Ｗ|を乗算して重み付けした乗算値を算出し、当該乗算値をリスケーリングファクターＲＦによって規格化し、評価値Ｙとしても良い。この場合、符号化装置１０は、各ＤＣＴ係数の絶対値|Ｗ|が大きい領域であっても、当該領域の評価値Ｙを大きくして誤検出を防止し得るため、重み付けによって当該規格化した値を一律に評価値Ｙとすることができる。

また符号化装置１０は、例えば剰余ｒをそのまま評価値Ｙとして極小値を検出し、複数の極小値が検出された場合には、量子化パラメータQPにおける極小値の周期が６ｎであることを確認した上で、大きい値でなる量子化パラメータQPを前回の符号化に使用された量子化パラメータQPとして検出することも可能である。

（２−３−２）量子化パラメータ検出処理
次に、量子化パラメータ検出処理手順ＲＴ２を示す図１３のフローチャートを参照して、本発明の第１の実施の形態に係る符号化装置１０のＱＰ検出部３２によるマクロブロック単位での量子化パラメータQP検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。

なおこの図１３において、符号化装置１０は、各ＤＣＴ係数の絶対値|Ｗ|が規格化閾値以下（すなわち|Ｗ|＜＜７がＲＦ以下）である場合にのみ、剰余ｒをリスケーリングファクターＲＦによって規格化することにより評価値Ｙを算出し、ＤＣＴ係数の絶対値|Ｗ|が規格化閾値より大きい場合には、剰余ｒを評価値Ｙとする。そして符号化装置１０は、評価値Ｙが最小となるリスケーリングファクターＲＦに基づいて量子化パラメータQPを検出するようになされている。

ＱＰ検出部３２は、整数精度DCT部２２で求められたDCT係数Wの絶対値|W|を入力として、で検出された量子化行列Qmatrixを用いて、マクロブロック単位で種々の量子化パラメータQPごとにリスケーリングファクターRFを計算する。ＱＰ検出部３２は、この時点で前回使われた量子化パラメータQPの大体の値が分かっている場合は、その周辺のQPのみを検出対象とすることで演算量を減らすことができる。ＱＰ検出部３２は、前回の符号化で使われた可能性のある量子化パラメータQPの中から初期値を求めると（ステップＳ２１）、マクロブロック内の全てのDCT係数の絶対値|W|が0であるか否かを判断する（ステップＳ２２）。そしてＱＰ検出部３２は、全てのDCT係数の絶対値|W|が0である場合には量子化パラメータQPは検出不可能とする(ステップＳ２３)。即ちＱＰ検出部３２は、マクロブロック内のすべてのDCT係数の絶対値|W|が0の場合はどの量子化パラメータQPで割っても剰余rは0となるので量子化パラメータQPは検出できない為、検出除外する。

一方、ステップＳ２２にて、全てのDCT係数の絶対値|W|が0でない場合には、ＱＰ検出部３２の剰余計算部３２ａは、マクロブロック内の256(=16x16)の各サンプルに対してシフトされたDCT係数（|W|<<6）を（９）式に従ってに求めたリスケーリングファクターRFで割った剰余ｒを計算する（ステップＳ２４）。

続いて、評価値判定部３２ｂは、（|W|<<7）>RFであるか否かを判定し（ステップＳ２５）、（|W|<<7）>RFである場合には、剰余ｒをリスケーリングファクターRFで規格化したものを評価値Yとし（ステップＳ２６）、（|W|<<7）>RFでない場合には（|W|<<6）を評価値Yとする（ステップＳ２７）。即ち評価値判定部３２ｂは、マクロブロック内の256(=16x16)サンプルに関して、シフトされたDCT係数(W<<6)をRFで割った剰余に(iii)で述べた規格化と補正を行ったものを評価値Yとし、その総和（ΣY）を量子化パラメータQPごとに計算する（ステップＳ２８）。

次いで、評価値判定部３２ｂは、可能性のある全ての量子化パラメータQPに関して評価値Yが計算されているか否かを判断し（ステップＳ２９）、全ての量子化パラメータQPに関して評価値Yが計算されていない場合には、量子化パラメータQPを変更し（ステップＳ３０）、ステップＳ２６、Ｓ２８、Ｓ２９の処理を繰り返す。

こうして、可能性のある全ての量子化パラメータQPについて評価値Yが計算されると（ステップＳ２９をYesに分岐）、QP判定部３２ｃは、マクロブロック単位でQP毎の評価値Yの総和（ΣY）を比較し（ステップＳ３１）、総和が最小となる量子化パラメータQPを前回使用された量子化パラメータQPとし（ステップＳ３２）、当該量子化パラメータQPの値を出力することになる。

このとき、量子化パラメータQPが６未満となる領域は誤検出の可能性が高くなるので除外する。それは、例えば200Mbps以下の実用領域では6未満の量子化パラメータQPが使われることはほとんどなく、除外した方が検出率が高くなるからである。

以上説明したように、本発明の第１の実施の形態の符号化装置１０は、Qmatrix検出部３１により、符号化の過程で得られるDCT係数から前回の符号化で使われたQmatrixをスライスごとに剰余ｒを用いて高い確率で検出することができる。更に符号化装置１０は、ＱＰ検出部３２により、符号化の過程で得られるDCT係数から前回の符号化で使われたQPをマクロブロックごとに剰余ｒを用いて高い確率で検出することができる。そして、符号化装置１０は、これら検出された量子化行列Qmatrixと量子化パラメータQPを再利用することでダビング時の丸め誤差を低減し、ダビング特性を向上することができる。また符号化装置１０は、変換行列Dを導入することで、符号化と復号化におけるDCT係数を等価に扱うことが可能となる。さらに符号化装置１０は、剰余ｒをDCT係数Wで重み付けし、リスケーリングファクターRFで規格化することで検出精度を高めることができる。

また符号化装置１０は、AVCから導入された量子化パラメータのQPの6nの周期性を考慮し、剰余ｒが最小値をと量子化パラメータQPより、6n大きいQPに剰余ｒの極小値がある場合は、最小値でなくてもその量子化パラメータQPを前回の符号化で使われた量子化パラメータQPとする。そして符号化装置１０は、前回の符号化で使われた量子化パラメータのQPのおおよその値が既知の場合、該値から±nだけ量子化パラメータQPを変化させて評価することで、演算量を減らすことができる。

（２−３−３）オフセット優先適用処理手順
次に、符号化プログラムに従って実行されるオフセット優先適用処理手順ＲＴ３について、図１４のフローチャートを用いて説明する。

符号化装置１０のoffset付Intra予測モード決定部２１は、入力画像データが供給されると、オフセット優先適用処理手順ＲＴ３を開始し、ステップＳ５１へ移る。

ステップＳ５１において、offset付Intra予測モード決定部２１は、それぞれの画像予測モードに対し、当該モード番号ｎに応じたoffset[n]を設定すると、次のステップＳ５２へ移る。

ステップＳ５２において、offset付Intra予測モード決定部２１は、各画像予測モードにおける各モード番号ｎに対応する差分画像データをそれぞれ生成すると共に、当該差分画像データから差分絶対値和SADをそれぞれ算出すると、次のステップＳ５３へ移る。

ステップＳ５３において、offset付Intra予測モード決定部２１は、付加処理対象となる画面内予測モードのモード番号ｎを「０」に設定し、最小差分絶対値和minSADを計算上想定される整数の最大値INT_MAXに設定すると、次のステップＳ５４へ移る。

ステップＳ５４において、offset付Intra予測モード決定部２１は、現在の付加処理対象のモード番号ｎが「２」であるか否かについて判別する。ここで否定結果が得られた場合、このことは差分絶対値和SADに対してオフセットを付加する必要があることを表しており、このときoffset付Intra予測モード決定部２１は、次のステップＳ５５へ移る。

ステップＳ５５において、offset付Intra予測モード決定部２１は、差分絶対値和SADに対してステップＳ５１において設定したoffset[n]を付加してオフセット付差分絶対値和SADｆを算出すると、次のステップＳ５６へ移る。

これに対してステップＳ５４において肯定結果が得られた場合、このことは差分絶対値和SADをそのままオフセット付差分絶対値和SADｆとすべきことを表しており、このときoffset付Intra予測モード決定部２１は、次のステップＳ５６へ移る。

ステップＳ５６において、offset付Intra予測モード決定部２１は、現在の付加処理対象のモード番号ｎが「８」であるか否かについて判別する。ここで否定結果が得られた場合、このことは処理すべき画面内予測モードが残っていることを表しており、このときoffset付Intra予測モード決定部２１は、次のステップＳ５７へ移り、付加処理対象のモード番号ｎを「１」加算すると、ステップＳ５４へ戻って処理を継続する。

これに対してステップＳ５６において肯定結果が得られた場合、このことはｎ＝０〜８までの全ての画面内予測モードに対応するオフセット付差分絶対値和ＳＡＤｆを算出したことを表しており、このときoffset付Intra予測モード決定部２１は、次のステップＳ５９へ移る。

ステップＳ５９において、offset付Intra予測モード決定部２１は、比較処理対象のモード番号ｎを「０」に設定すると、次のステップＳ５９へ移る。

ステップＳ５９において、offset付Intra予測モード決定部２１は、比較処理対象のオフセット付き差分絶対値和ＳＡＤｆが最小差分絶対値和minSAD未満であるか否かについて判別する。

ここで肯定結果が得られた場合、offset付Intra予測モード決定部２１は、次のステップS６１へ移り、最小差分絶対値和minSADを比較処理対象のオフセット付き差分絶対値和ＳＡＤｆの値に更新し、次のステップＳ６２へ移る。

これに対してステップＳ６０において否定結果が得られた場合、offset付Intra予測モード決定部２１は、最小差分絶対値和minSADを更新する必要がないため、次のステップＳ６２へ移る。

ステップＳ６２において、offset付Intra予測モード決定部２１は、比較処理対象のモード番号ｎが「８」であるか否かについて判別する。ここで否定結果が得られた場合、このことは処理すべき画面内予測モードが残っていることを表しており、このときoffset付Intra予測モード決定部２１は、次のステップＳ６３へ移り、比較処理対象のモード番号ｎを「１」加算すると、ステップＳ６０へ戻って処理を継続する。

これに対してステップＳ６２において肯定結果が得られた場合、このことはｎ＝０〜８までの全ての画面内予測モードに対応するオフセット付差分絶対値和ＳＡＤｆを比較したことを表しており、このときoffset付Intra予測モード決定部２１は、終了ステップへ移り、オフセット優先適用処理手順ＲＴ３を終了する。

（２−４）動作及び効果
以上の構成において、符号化装置１０は、処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、AVC規格により予め定められた９の画面内予測モードごとに生成する。そして符号化装置１０は、差分画像データにおける各処理対象画素の絶対値の和に基づく差分合計値としての差分絶対値和SADと、画面内予測モードに予め設定されたoffset[n]による優先順位とに応じて、当該画面内予測モードを順位付けするようにした。

これにより符号化装置１０は、offset[n]の値が低く優先順位の高い特定の画面内予測モードを優先的に高い順位に順位付けすることができる。

また符号化装置１０は、複数の差分画像データについての差分絶対値和SADに対し、画面内予測モードに応じたオフセット（offset[n]）を付加してオフセット付差分絶対値和SADｆを生成する。そして符号化装置１０は、オフセット付差分絶対値和SADｆを比較することにより、画面内予測モードを順位付けするようにした。

これにより符号化装置１０は、画面内予測モードに応じた順位付けの優先度合いを簡単に設定することができる。また符号化装置１０は、特定の画面内予測モードを固定的に用いるのではなく、あくまでoffset[n]を付加することにより、発生符号量の増大を抑制することができる。

さらに符号化装置１０は、オフセット付差分絶対値和ＳＡＤｆが最小値をとる差分画像データを生成したときの画面内予測モードを、差分画像データを符号化する画面内予測モードとして決定するようにした。

これにより符号化装置１０は、特定の画面内予測モードが差分画像データを符号化する画面内予測モードとして決定され易くすることができるため、前回符号化時に使用された画面内予測モードを選択し易くできる。この結果符号化装置１０は、前回符号化時と同一の画面内予測モードを用いる確率を向上させることができるため、ダビング時の画質を向上させ得るようになされている。

また符号化装置１０は、複数の画面内予測モードのうち、画質の低下が少ない一の画面内予測モードに対してオフセットを付加しないことにより、差分画像データを符号化する画面内予測モードとして画質の低下が少ない画面内予測モードを選択し易くでき、復号化時の画質の低下を抑制できる。

この画質の低下が少ない一の画面内予測モードは、周辺画素の平均値からの差分値をとるＤＣ予測モードであり、ＡＶＣ規格における垂直及び平行方向の周辺画素の平均値からの差分値をとるモード２である。これにより符号化装置１０は、最も画質の低下が小さいＤＣ予測モードを多用して符号化時の画質低下を抑制することができる。

さらに符号化装置１０は、画面内予測モードにおける画質の低下度合いに応じて、offset[n]を設定することにより、画質の低下が少ない程画面内予測モードの優先順位が高くなるように順位付けすることができる。

また符号化装置１０は、画面内予測モードによる差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子を検出することにより、ダビング時の画質の低下を抑制することができる。

さらに符号化装置１０は、offset[n]として、想定されるダビング回数に応じた値を設定することにより、発生符号量と画質の低下とを比較考量して用途や目的に応じたoffset[n]を設定し、ユーザの要望に応じることができる。

以上の構成によれば、符号化装置１０は、各画面内予測モードによる差分絶対値和ＳＡＤを比較した上で特定の画面内予測モードを優先的に高く順位付けすることにより、特定の画面内予測モードを毎回高く順位付けできる。この結果符号化装置１０は、前回符号化時に使用した画面内予測モードを選択的に高く順位付けして符号化に使用される差分画像データの画面内予測モードとして選択し易くできる。かくして本発明は、画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。

（３）第２の実施の形態
図１５及び図１６に示す第２の実施の形態では、図２〜図１４に示した第１の実施の形態と対応する箇所に同一符号を附して示している。第２の実施の形態における符号化装置１１では、量子化行列検出処理及び量子化パラメータ検出処理の後に、画面内予測モード検出処理を実行する点が、第１の実施の形態と異なっている。

（３−１）画面内予測モードの検出
AVCのイントラ(画面内符号化)フレームでは、ダビングにおいて前回の符号化で使用された画面内予測モードを再利用することは画質低下を防ぐために有効な手段である。そこで、画面内予測モード検出処理では、入力画像データのみを利用し、その剰余ｒを用いて算術的に前回の符号化で使われた画面内予測モードを検出することを特徴とする。

すなわち符号化装置１１は、量子化行列Qmatrix及び量子化パラメータQPを検出した後に、当該量子化行列Qmatrix及び量子化パラメータQPを用いて、イントラ符号化単位IAごとに画面内予測モードを変えて剰余ｒの総和（Σｒ）を用いて極小値を検出する。これにより符号化装置１１は、マクロブロックMBにおける全てのイントラ符号化単位IAについて、前回符号化された画面内予測モードを検出することが可能となる。

このとき符号化装置１１は、オフセット優先適用処理によってオフセット付差分絶対値和ＳＡＤを順位付けし、当該オフセット付差分絶対値和ＳＡＤが小さい方から３つの画面内予測モードに対し、画面内予測モード検出処理を実行する。これにより符号化装置１１は、前回符号化された画面内予測モードを選び易くすることができるため、処理対象となる３つの画面内予測モードとして、前回符号化された画面内予測モードを確実に含ませ得るようになされている。

すなわち画面内予測モード検出処理では、量子化行列検出処理及び量子化パラメータ検出処理で前述した考え方等に基づき前回の符号化で使われた量子化マトリクスと量子化パラメータが既知の場合、9個の画面内予測モードのそれぞれのDCT係数を6ビットシフトした(W<<6)をリスケーリングファクターRFで割っていくことにより、剰余rが最小となる画面内予測モードを検出する。

以上に加えて、画像処理装置１では、検出精度を向上させる為に、MPEGでは考慮されなかった、AVC Intra特有の性質に起因する以下の点を考慮する。即ち、この画面内予測モード検出処理おいては、量子化行列検出処理及び量子化パラメータ検出処理で前述した(i)、(ii)に加えて、以下の(vii)を考慮する。

(vii) DCT係数の分布
画面内予測モードが異なると、差分の値も変わり、結果としてDCT係数の分布が異なる。したがって、一般的にはサブマクロブロック内の剰余rの総和を0でないDCT係数の個数で除算し、１サンプルあたりの剰余で比較するのが公平であると考えられる。

しかしながら、実際には、前回の符号化で使われた予測モードが選ばれると、予測が高い精度で当たるために、0でないDCT係数の個数が少なくなり、前回の予測と方向的にずれたモードであるほど、0でないDCT係数の個数も増加する傾向にある。

従って、画面内予測モード検出処理では、剰余rの総和に対し、0でないDCT係数の個数で除算せず、0でないDCT係数の個数を乗算した。これにより、前回の予測と方向的にずれたモードの剰余rの総和に数値的なペナルティを与えることができると考えられる。

剰余rの総和に0でないDCT係数の個数を乗算したものを評価値Yとし、各予測モード間で、この評価値Yを比較して、評価値Yが最小の予測モードを前回の符号化で使われた予測モードと考える。

本発明の符号化装置１１では、上記特徴的な視点(vii)をふまえて、最適な予測モードを決定する。

（３−２）符号化装置の構成
符号化装置１１では、画面内予測モード検出部３３と、画面内予測モード決定部４５を有している点と、画面内予測処理部５１及び整数精度DCT部５２を有している点とが符号化装置１０と異なっている。以下、当該相違点を中心に説明する。

Qmatrix検出部３１及びQP検出部３２によって検出された前回の量子化パラメータQPと量子化行列Qmatrixは、Qmatrix/QP決定部４１に送られる。Qmatrix/QP決定部４１では、量子化行列Qmatrixと量子化パラメータQPに関して、１パス目のプレエンコーダ２０で見積もられたものを採用するのか、バックサーチ部３０で検出されたものを使うかを決定する。通常、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないためバックサーチは失敗し、１パス目のプレエンコーダ２０による符号化処理により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、バックサーチ部３０によって検出されたものを採用する。

また、バックサーチ部３０によって検出された前回の符号化に使用された量子化パラメータQPと量子化行列Qmatrixは、画面内予測モード検出部３３にも送られる。画面内予測モード検出部３３は、量子化パラメータQPと量子化行列Qmatrixを用いることにより、上述した画面内予測モード検出処理により前回の画面内予測モードを検出する。尚、この画面内予測モード検出部３３による画面内予測モード検出処理手順の詳細については後述する。この前回の予測モードは画面内予測モード決定部４５に送出される。画面内予測モード決定部４５では、１パス符号化でオフセット付差分絶対値和SADｆが最小となる第１予測モードを採用するか、画面内予測モード検出部３３により検出された前回の予測モードを採用するかを決定する。

即ち、画面内予測モード検出部３３は、量子化パラメータQPと量子化行列Qmatrixに基づいて、前回の予測モードを検出する。この前回の予測モードは画面内予測モード決定部４５に送出される。画面内予測モード決定部４５では、１パス符号化で差分絶対値和SADが最小となる第１予測モードを採用するか、画面内予測モード検出部３３により検出された前回の予測モードを採用するかを決定する。

すなわち、入力画像データが一度も符号化されていない原画像である場合には、前回の符号化がないため画面内予測モードの検出（バックサーチ）は失敗し、offset付Intra予測モード決定部２１により見積もられたものを採用する。逆に入力画像が既に符号化されたことのある非原画である場合には、量子化歪が繰り返し乗ることを避ける為、画面内予測モード検出部３３によって検出されたものを採用する。

２パス目のパラメータエンコーダ５０では、前述したようにQmatrix/QP決定部４１で決定された量子化行列Qmatrix、量子化パラメータQP、画面内予測モード決定部４５で決定された画面内予測モードを使って、入力画像を符号化し、符号化ストリーム（Stream）として出力する。

より詳細には、画面内予測処理部５１では、最適な画面内予測モードとして画面内予測モード決定部４５で決定された画面内予測モードに選定し、周辺画素の予測画像を用いて入力画像から差分画像データを生成し、当該差分画像データを整数精度DCT部５２に入力する。整数精度DCT部５２では、離散コサイン変換による直行変換により差分画像データをDCT係数Wとして出力する。量子化部５３ではDCT係数Wを入力として、Qmatrix/QP決定部４１で決定された量子化行列Qmatrix、量子化パラメータQPを用いて量子化を行い、量子化レベルZをエントロピー符号化部５４に送出する。エントロピー符号化部５４では、入力された量子化レベルZをバイナライズ、算術符号化して符号化ストリームとして出力する。

（３−３）画面内予測モード検出処理
以下、画面内予測モード検出処理手順ＲＴ４を示す図１４のフローチャートを参照して、本発明の第２の実施の形態に係る符号化装置１０の画面内予測モード検出部３３による予測モード検出の処理について更に説明する。これは、同実施の形態に係る画像情報符号化方法にも相当する。

先ず画面内予測モード検出部３３は、予測画像からの差分絶対値和（すなわち差分画像データの絶対値の総和）が最も小さい画面内予測モードを初期値とする（ステップＳ１５１）。続いて画面内予測モード検出部３３は、予測画像からの差分画像データ分に対してDCT処理を行う（ステップＳ１５２）。画面内予測モード検出部３３は4×4のサブマクロブロック内の各サンプルに対してDCT係数Wの絶対値|W|を６ビットシフトした（|W|<<6）をRFで割った剰余ｒを計算する（ステップＳ１５３）。

そして画面内予測モード検出部３３は、剰余ｒの総和にDCT係数の偶数を掛けたものを評価値Yとする（ステップＳ１５６）。

続いて画面内予測モード検出部３３は、画面ない可能性のある全ての画面内予測モードに関してYが計算されたか否かを判定し（ステップＳ１５７）、評価値Yが計算されていなければ次に差分絶対値和SADが小さい予測モードに切り替え（ステップＳ１５８）、ステップＳ５２〜Ｓ５７の処理を繰り返す。そして画面内予測モード検出部３３は、可能性のある全ての画面内予測モードに関してYが計算されたものと判定すると（ステップＳ１５７をYesに分岐）、各画面内予測モード間で評価値Yを比較し（ステップＳ１５９）、評価値Yが最小である画面内予測モードを前回使われた予測モードとし（ステップＳ１６０）、処理を終了する。

以上説明したように、本発明の第１の実施の形態の符号化装置１０は、前回の符号化で使われた画面内予測モードを入力画像から算術的に検出することにより、AVCイントラフレームのダビング時に繰り返し量子化歪が発生することを抑制することができる。これにより符号化装置１０は、ダビング時のSN比と視覚特性の低下を改善することができる。

さらに符号化装置１０は、画面内予測モード間で、サブマクロブロック内の予測画像からの差分絶対値和SADを比較する際に、該差分絶対値和SADの小さい物から順に比較するが、これは、前回の符号化で使われた確率の高い画面内予測モードから比較していくことと等価であり、例えば差分絶対値和SADの小さい画面内予測モードから順に所定数（例えば3つ）のモードのみを比較することで演算量を軽減することが可能となる。また符号化装置１０は、変換行列Dの導入により、符号化と復号化におけるDCT係数を等価に扱うことが可能となる。

以上のほか、符号化装置１０は、前回の符号化の画面内予測のアルゴリズムによらず検出できるので、一回目の符号化で視覚特性を考慮した画面内予測方法を用いてもダビング時には本アルゴリズムを利用可能である。

（３−４）動作及び効果
以上の構成によれば、符号化装置１１は、オフセット付差分絶対値和ＳＡＤｆが最小となる差分画像データから、前回の符号化時に使用された量子化ステップの基になる量子化因子としての量子化パラメータQP及び量子化行列Qmatrixを検出する。

符号化装置１１は、バックサーチによって検出された量子化パラメータQP及び量子化行列Qmatrixに基づく除算因子によって、オフセット付差分絶対値和が小さい順で、対象数である３つの差分画像データを除算したときの剰余値ｒを算出する。

そして符号化装置１１は、剰余値ｒが最小となる差分画像データが生成された画面内予測モードを、差分画像データに対する画面内予測モードとして決定するようにした。

これにより符号化装置１１は、前回の符号化時に使用された画面内予測モードを確実に検出できるため、ダビング時の画質低下を一段と抑制することができる。

以上の構成によれば、符号化装置１１は、オフセット優先適用処理によって特定の画面内予測モードを優先的に高く順位付けすることにより、画面内予測モード検出処理の対象となる３つの画面内予測モードに前回の符号化時に使用された画面内予測モードをほぼ確実に含ませることができる。

これにより符号化装置１１は、画面内予測モード検出処理によって前回の符号化時に使用された画面内予測モードをほぼ確実に検出できる。かくして本発明は、符号化時の画質の低下を抑制し得る画像処理装置及び画像処理方法を実現できる。

（４）他の実施の形態
以下、図１７のフローチャートを参照して、他の実施の形態に係る符号化装置によるオフセット優先適用処理手順ＲＴ５について詳細に説明する。

入力画像データが入力されると、offset付Intra予測モード決定部は、予測モードごとにoffset[n]の値を決める（ステップＳ２０１）。ここで、nはDC予測と比較する予測モード番号（0〜8（2を除く））を意味している。続いてoffset付Intra予測モード決定部は、x=2（DC予測モードに設定）として（ステップＳ２０２）、nに比較対象となる画面内予測モード番号を付与する（ステップＳ２０３）。ここでxは符号化で採用される予測モード番号を意味している。

続いてoffset付Intra予測モード決定部は、比較対象となる画面内予測モードの差分絶対値和SADとoffset[n]の総和がDC予測モードの差分絶対値和SADよりも小さいか否かを判断する（ステップＳ２０４）。

ステップＳ２０４において、offset付Intra予測モード決定部は比較対象となる画面内予測モードの差分絶対値和SADとoffset[n]との加算値であるオフセット付差分絶対値和ＳＡＤｆがモード番号ｘのオフセット付差分絶対値和ＳＡＤｆよりも小さいと判断された場合には（ステップＳ２０４をYesに分岐）、ｘに対して比較対象となる画面内予測モードのモード番号ｎを代入し、ステップＳ２０５へ移る。

一方、比較対象となる画面内予測モードの差分絶対値和SADとoffset[n]との加算値であるオフセット付差分絶対値和ＳＡＤｆがモード番号ｘのオフセット付差分絶対値和ＳＡＤｆよりも小さくないと判断された場合（ステップＳ２０４をNoに分岐）、offset付Intra予測モード決定部は、採用する可能性のある全ての予測モードに関して比較を行ったか否かを判断する（ステップＳ２０５）。offset付Intra予測モード決定部は、全ての判断を完了していない場合（ステップＳ２０５をNoに分岐）には、nの値を更新し（ステップＳ２０６）、次の候補のモードについてステップＳ５の比較を実施する。

ステップＳ２０５において、採用する可能性のある全ての予測モードに関して比較を行ったと判断された場合（ステップＳ２０５をYesに分岐）、offset付Intra予測モード決定部は、Mode ｘを符号化で採用する予測モードとし（ステップＳ２０７）、一連の処理を終了する。

また符号化装置は、差分絶対値和SADが最小となる画面内予測モードを選択し、選択された画面内予測モードにおける差分絶対値和SADと、複数の画面内予測モードのうち一の優先予測モード（DC予測モード）における差分絶対値和SADとを比較する。そして符号化装置は、当該差分絶対値和SADの差が閾値未満のときには差分絶対値和優先予測モードに対応する差分画像データを実際に符号化する差分画像データとして決定するようにしても良い。

また上述した第１及び第２の実施の形態においては、差分絶対値和SADに基づいて順位付けするようにした場合について述べた。本発明はこれに限らず、例えば差分絶対値和ＳＡＤにアダマール変換し、絶対値和を算出したSATD（Sum of Absolute Transformed Difference）やＳＳＤ（Sum of Square Difference、二乗誤差和）を用いて順位付けするようにしても良い。

さらに上述した第１及び第２の実施の形態においては、ＤＣ予測モードにのみoffset[n]を付加しないようにした場合について述べた。本発明はこれに限らず、他の画面内予測モードに対してoffset[n]を付加しないようにしても良い。また本発明は、２以上の画面内予測モードに対してoffset[n]を付加しないようにしても良い。

さらに上述した第１及び第２の実施の形態においては、各画面内予測モードごとに異なる値をoffset[n]として付加するようにした場合について述べた。本発明はこれに限らず、同一の値を付加するようにしても良い。

さらに上述した第１及び第２の実施の形態においては、画質の低下度合いに応じたoffset[n]を付加するようにした場合について述べた。本発明はこれに限らず、例えば発生符号量の発生度合いに応じたoffset[n]を付加するようにしても良い。また本発明は、offset[n]を付加する指標は必ずしも必要ではない。

さらに上述した第１及び第２の実施の形態においては、符号化装置がバックサーチ処理及びオフセット優先適用処理の両方を実行するようにした場合について述べた。本発明はこれに限らず、オフセット優先適用処理のみを実行するようにしても良い。この場合整数精度ＤＣＴ部２２は、ＤＣＴ係数を量子化パラメータ計算部（図示せず）に供給する。量子化パラメータ計算部は、このDCT係数Wの大きさや周波数域の分布状況に応じて適切な量子化パラメータQPを決定し、量子化部５３へ供給し、エントロピー符号化部５４を介して符号化ストリームとして出力させる。

さらに上述した第２の実施の形態においては、符号化装置が処理数として３つの画面内予測モードに対して画面内予測モード検出処理を実行するようにした場合について述べた。本発明はこれに限らず、処理数に特に制限はない。

さらに上述した第１及び第２の実施の形態においては、４×４画素のサブマクロブロックでなるイントラ符号化単位ごとに差分絶対値和SADを算出するようにした場合について述べた。本発明はこれに限らず、例えば８×８画素や１６×８画素などでも良く、イントラ符号化単位に制限はない。

さらに上述した第１及び第２の実施の形態においては、符号化装置がAVC規格に準拠して処理を実行するようにした場合について述べた。本発明はこれに限らず、複数の画面内予測モードのうち、一の画面内予測モードを選択する全ての方式に対して本発明を適用することができる。

さらに上述した第１及び第２の実施の形態においては、差分画像データ生成部及び順位付け部としてのoffset付Intra予測モード決定部２１によって画像処理装置としての符号化装置１０及び１１を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による差分画像データ生成部及び順位付け部によって本発明の画像処理装置を構成しても良い。

以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。

例えば、前述した第１及び第２の実施の形態に係る画像情報符号化処理装置及び方法は、コンピュータにより実行されるプログラム、及び該プログラムを格納した記録媒体としても実施可能であることは勿論であり、その場合も、前述した作用効果が奏される。

２…第１の符号化部、３…バックサーチ部、４…第２の符号化部、５…予測モード検出部、６…Qmatrix検出部、７…QP検出部、２０…プレエンコーダ、２１…offset付Intra予測モード決定部、２２整数精度DCT部、２３…量子化部、２４…エントロピー計算部、３０…バックサーチ部、３１…Qmatrix検出部、３２…QP検出部、３３…画面内予測モード検出部、４０…符号量制御部、４１…Qmatrix/QP決定部、４５画面内予測モード決定部、５０…パラメータエンコーダ、５１…画面内予測処理部、５２…整数精度DCT部、５３…量子化部、５４…エントロピー符号化部。

Claims (11)

1. 符号化処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成部と、
   上記差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付け部と、
   上記順位付け部によって付けられた順位が最も高い画面内予測モードの差分画像データから、少なくとも一度以上符号化されたことのある差分画像データが前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチ部と、
   上記順位付け部によって付けられた順位が高い順から対象数の差分画像データを、上記バックサーチ部により検出された上記量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出部と、
   上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記差分画像データに対する画面内予測モードとして決定する画面内予測モード決定部と
   を有する画像処理装置。
2. 上記順位付け部は、
   上記発生符号量及び上記画面内予測モードに予め設定された優先順位とに基づいて、上記差分合計値を算出する
   請求項１に記載の画像処理装置。
3. 上記順位付け部は、
   上記複数の差分画像データの発生符号量に対し、画面内予測モードに応じたオフセットを付加することにより、上記差分合計値を生成するオフセット付加部と、
   上記差分合計値を比較することにより、上記差分合計値の低い順から画面内予測モードを順位付けする差分合計値比較部と
   を有する請求項２に記載の画像処理装置。
4. 上記オフセット付加部は、
   上記複数の画面内予測モードのうち、画質の低下が少ない一の画面内予測モードに対して上記オフセットを付加しない
   請求項３に記載の画像処理装置。
5. 上記画質の低下が少ない一の画面内予測モードは、
   周辺画素の平均値からの差分値をとる画面内予測モードである
   請求項４に記載の画像処理装置。
6. 上記画像処理装置は、
   ＡＶＣ規格に対応しており、
   上記画質の低下が少ない一の画面内予測モードは、
   垂直及び平行方向の周辺画素の平均値からの差分値をとるモード２である
   請求項５に記載の画像処理装置。
7. 上記オフセット付加部は、
   画質の低下が少ない画面内予測モードに対して小さく、画質の低下が多い画面内予測モードに対して大きくなるよう、上記オフセットを設定する
   請求項６に記載の画像処理装置。
8. 上記対象数は、
   ３である
   請求項１に記載の画像処理装置。
9. 上記画面内予測モード決定部は、
   上記バックサーチ部によって上記量子化因子が検出されない場合には、上記差分合計値が最小値をとる差分画像データを生成したときの画面内予測モードを、上記差分画像データを符号化する画面内予測モードとして決定する
   請求項２に記載の画像処理装置。
10. 上記画面内予測モード決定部は、
    上記バックサーチ部によって上記量子化因子が検出されず、かつ上記順位付け部によって１位に順位付けられた画面内予測モードに対する、２位以下に順位付けられた画面内予測モードの差分合計値の差異が、画面内予測モードに応じたオフセット未満の場合には、画質の低下が少ない一の画面内予測モードを上記差分画像データに対する画面内予測モードとして決定する
    請求項１に記載の画像処理装置。
11. 符号化処理対象となる処理対象画素の周辺画素からの差分値からなる差分画像データを、予め定められた複数の画面内予測モードごとに生成する差分画像データ生成ステップと、
    上記差分画像データの発生符号量に基づく差分合計値の低い順から当該画面内予測モードを順位付けする順位付けステップと、
    上記順位付けステップによって付けられた順位が最も高い画面内予測モードの差分画像データから、少なくとも一度以上符号化されたことのある差分画像データが前回の符号化時に使用された量子化ステップの基になる量子化因子を検出するバックサーチステップと、
    上記順位付けステップによって付けられた順位が高い順から対象数の差分画像データを、上記バックサーチステップにより検出された上記量子化因子に基づいて算出されるスケーリングファクターによって除算したときの剰余値を算出する剰余値算出ステップと、
    上記剰余値が最小となる差分画像データが生成された上記画面内予測モードを、上記差分画像データに対する画面内予測モードとして決定する画面内予測モード決定ステップと
    を有する画像処理方法。

Images