JP4820800B2

JP4820800B2 - 画像符号化方法、画像符号化装置、及び画像符号化プログラム

Info

Publication number: JP4820800B2
Application number: JP2007282077A
Authority: JP
Inventors: 幸浩坂東; 和也早瀬; 誠之高村; 一人上倉; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-10-30
Filing date: 2007-10-30
Publication date: 2011-11-24
Anticipated expiration: 2027-10-30
Also published as: JP2009111733A

Description

本発明は、画像符号化方法、画像符号化装置、及び画像符号化プログラムに関する。

［二乗誤差規範のコスト関数を用いる符号化方式］
Ｈ．２６４では、イントラ予測及び可変形状動き補償の導入に伴い、従来の標準化方式と比べて、予測モードの種類が増加している。このため、一定の主観画質を保持しつつ、符号量を削減するには、適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭでは、次式（１）に示すＲ−Ｄコストを最小化する予測モードを選択している（非特許文献１参照）。

ここで、Ｓは原信号、ｑは量子化パラメータ、ｍは予測モードを表す番号であり、Ｓ_ｍ，ｑはＳに対してモードｍを用いて予測し、ｑを用いて量子化した場合の復号信号である。また、λはモード選択に用いるラグランジェの未定乗数である。さらに、Ｄ（Ｓ，（＾）Ｓ_ｍ，ｑ）は次式（２）に示す二乗誤差和である。

ここで、Ｓ^Ｙ、Ｓ^Ｕ、Ｓ^Ｖは原信号のＹ，Ｕ，Ｖ成分であり、Ｓ^Ｙ _ｍ，ｑ、Ｓ^Ｕ _ｍ，ｑ、Ｓ^Ｖ _ｍ，ｑは復号信号のＹ，Ｕ，Ｖ成分である。

Ｈ．２６４における復号信号の算出手順を以下に説明する。なお、説明に用いる記号を図１０にまとめる。Ｈ．２６４の符号化処理では、モード番号ｍの予測を用いた場合の予測誤差信号Ｒ（＝Ｓ−Ｐｍ）に対して、変換行列Φを用いた直交変換が次式（３）のように施される。

Φ^ｔは変換行列Φに対する転置行列を表す。なお、変換行列Φは次式（４）で表される整数要素の直交行列である。

次に、行列Φが非正規行列であるため、次式（５）に従って行列の正規化に相当する処理を行う。

これは、数式（３）においてΦの代わりに次式（６）のφを用いることに相当する。

さらに、Ｃに対して、量子化パラメータｑを用いた量子化が次式（７）の通り施される。なお、参照ソフトウェアＪＭでは、正規化は、量子化の中に組み込まれている。

一方、Ｈ．２６４の復号処理では、Ｖに対して、次式（８）のように逆量子化を施し、変換係数の復号値を得る。

次に、（＾）Ｃ_ｑに対して、次式（９）のように、逆変換を施し、予測誤差の復号信号を得る。

最後に、次式（１０）により、符号化対象画像の復号信号を得る。

［主観画質を考慮した歪み量への重み付け］
前述した通り、参照ソフトウェアＪＭで用いられている主観画質の尺度は、二乗誤差である。しかしながら、この二乗誤差は、必ずしも、主観的な画質劣化を反映した歪み量ではない。例えば、高周波数成分の変化は、低周波成分の変化に比べて、視覚的には、検知されにくい。しかしながら、こうした視覚特性を利用していない符号化器（例えば、参照ソフトウェアＪＭ）には、符号量の効率的な削減に関して、改良の余地が残る。

そこで、時空間周波数成分に対して視覚感度に差があることを利用する検討がなされている。直交変換係数に対して、視覚感度に応じて空間周波数成分毎に歪み量の重み付けを行うことで、主観画質に対応した歪み量を定義する。さらに、時間方向の視覚感度も考慮して、上述した重み付けされた歪み量に対して、変移量に応じてさらに重み付けを行う。こうして、時空間の視覚感度に基づいて重み付けされた歪み量を、符号化パラメータ選択のコスト関数において用いる。

次に、量子化誤差信号に対する視覚感度に基づく重み付けについて説明する。量子化誤差信号に対する視覚感度に基づく重み付けとしは、例えば、次式（１１）で表わされるＲ−Ｄコストがある。

ここで、Ｃ_ｍはモード番号ｍを用いた場合の予測残差信号Ｒ_ｍに対する変換係数であり、Ｃ_ｍ，ｑはＣ_ｍを量子化パラメータｑで量子化・逆量子化して得られる係数の復号値である。このＲ−Ｄコストの計算に用いる歪み量として、次式（１２）に示す重み付け歪み量を用いる。

ここで、Ｃ^γ（ｉ） _ｍ［ｋ，ｌ］（γ＝Ｙ，Ｕ，Ｖ）は、Ｃ_ｍの要素であり、マクロブロック（Ｙ成分の場合、１６×１６［画素］、Ｕ，Ｖ成分の場合、８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる変換係数である。また、（＾）Ｃ^γ（ｉ） _ｍ［ｋ，ｌ］（γ＝Ｙ，Ｕ，Ｖ）は、Ｃ_ｍ，ｑの要素であり、マクロブロック（Ｙ成分の場合、１６×１６［画素］），Ｕ，Ｖ成分の場合、８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる復号変換係数である。

さらに、Ｗ^γ _ｋ，ｌ（γ＝Ｙ，Ｕ，Ｖ）は、１以下に設定される重み係数であり、以下では、感度係数と呼ぶ。感度係数の算出については、［感度係数の算出］にて詳述する。上記数式（１２）において、Ｗ^γ _ｋ，ｌを小さな値に設定することは、量子化歪みＤ（Ｃ_ｍ，Ｃ_ｍ，ｑ）を小さく見積もることに相当する。

なお、直交変換の正規性より、Ｗ^γ _ｋ，ｌ＝１（^∀ｋ，ｌ；γ＝Ｙ，Ｕ，Ｖ）とすれば、上述した重み付け歪み量は、二乗誤差和と等価となる。Ｗ^γ _ｋ，ｌ（γ＝Ｙ，Ｕ，Ｖ）は、空間周波数及び時間周波数が高いほど、小さな値をとる。なお、直交変換の正規性より、Ｗ^γ _ｋ，ｌ＝１（^∀ｋ，ｌ；γ＝Ｙ，Ｕ，Ｖ）とすれば、上述した重み付け歪み量は、二乗誤差和と等価となる。
K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006. http://ftp3.itu.ch/av-arch/jvt-site/2006-01-Bangkok/JVT-R095.zip

上述したコスト感度関数に基づく歪み量への重み付けを行う方法では、マクロブロック単位に感度関数による重み付けを行うため、重み付け後の歪み量にブロック境界における不連続性（ブロック歪み）が反映されない。動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式（例えば、Ｈ．２６４）では、ブロック歪みは、特徴的な符号化歪みである。このため、ブロック歪みが考慮されていない場合、得られた重み付き歪み量が主観画質を正しく反映できないケースが発生する。

符号化歪み尺度においてブロック歪みが反映されなかった原因について説明する。従来技術では、各マクロブロックのＤＣＴ係数に対して、コントラスト感度関数に基づき重み付けを行っていた。このため、各マクロブロック内の波形に対するコントラスト感度は反映していたが、隣接ブロック間の不連続性については、考慮されていなかった。図１１に示す１次元信号を例に取ると、各ブロック（ブロックｋ−１、ブロックｋ、ブロックｋ＋１）のＤＣＴ係数に対して重み付けを行うブロックに閉じた処理では、ブロック間の不連続性（ブロックk −１とブロックｋの間の不連続性、あるいは、ブロックｋとブロックｋ＋１の間の不連続性）を知り得ない。

すなわち、上述した従来技術では、画素単位でしか画質を考慮していなかった。このため、画素単位の主観画質しか担保できておらず、ブロック歪みが発生し、復号画像の画質を大きく劣化させるという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式において、ブロック歪みによる復号画像の画像劣化を防止することができ、かつ、符号量を削減することができる画像符号化方法、画像符号化装置、及び画像符号化プログラムを提供することにある。

上述した課題を解決するために、本発明は、画像信号、あるいは、フレーム内予測及びフレーム間予測により得られた予測誤差信号に対して、変換符号化、量子化による情報圧縮を行う画像符号化方法において、歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ、インター予測モード、量子化パラメータ、静止画像符号化における量子化パラメータ、イントラ予測モード等の符号化パラメータを決定する際、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測するステップと、さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定するステップと、前記空間周波数成分及び前記時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出するステップと、前記重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定するステップと、前記コスト関数を最小化するモードを選択するステップと、を含むことを特徴とする画像符号化方法である。

本発明は、上記の発明において、ブロック内の空間周波数成分を計測する際、符号化に用いる直交変換の基底画像に対して、水平・垂直方向のサンプル数が各々、２倍になるように、零値を加えた修正基底画像を生成するステップと、前記修正基底画像に対して、離散フーリエ変換係数を計算することで、ブロック内の空間周波数成分及び隣接ブロック間の不連続性に関する空間周波数成分を算出するステップとを更に含むことを特徴とする。

また、上述した課題を解決するために、本発明は、画像信号、あるいは、フレーム内予測及びフレーム間予測により得られた予測誤差信号に対して、変換符号化、量子化による情報圧縮を行う画像符号化装置において、歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ、インター予測モード、量子化パラメータ、静止画像符号化における量子化パラメータ、イントラ予測モード等の符号化パラメータを決定する際、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測する空間周波数成分計測手段と、さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定する時間周波数成分推定手段と、前記空間周波数成分及び前記時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出する重要度算出手段と、前記重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定するコスト関数設定手段と、前記コスト関数を最小化するモードを選択するモード選択手段と、を備えることを特徴とする画像符号化装置である。

本発明は、上記の発明において、前記空間周波数計測手段は、ブロック内の空間周波数成分を測定する際、符号化に用いる直交変換の基底画像に対して、水平・垂直方向のサンプル数が各々、２倍になるように、零値を加えた修正基底画像を生成する修正基底画像生成手段と、前記修正基底画像に対して、離散フーリエ変換係数を計算することで、ブロック内の空間周波数成分及び隣接ブロック間の不連続性に関する空間周波数成分を算出する空間周波数成分算出手段とを備えることを特徴とする。

また、上述した課題を解決するために、本発明は、画像信号、あるいは、フレーム内予測及びフレーム間予測により得られた予測誤差信号に対して、変換符号化、量子化による情報圧縮を行う画像符号化装置を制御するコンピュータに、歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ、インター予測モード、量子化パラメータ、静止画像符号化における量子化パラメータ、イントラ予測モード等の符号化パラメータを決定する際、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測するステップと、さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定するステップと、前記空間周波数成分及び前記時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出するステップと、前記重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定するステップと、前記コスト関数を最小化するモードを選択するステップと、を実行させることを特徴とする画像符号化プログラムである。

この発明によれば、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測し、さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定し、空間周波数成分及び時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出し、該重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定し、該コスト関数を最小化するモードを選択する。したがって、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式において、ブロック歪みによる復号画像の画像劣化を防止することができ、かつ、符号量を削減することができるという利点が得られる。

また、本発明によれば、ブロック内の空間周波数成分を計測する際、符号化に用いる直交変換の基底画像に対して、水平・垂直方向のサンプル数が各々、２倍になるように、零値を加えた修正基底画像を生成し、該修正基底画像に対して、離散フーリエ変換係数を計算することで、ブロック内及び隣接ブロック間の不連続性に関する空間周波数成分を算出する。したがって、動き補償によるフレーム間予測と直交変換を組み合わせたブロックベースの符号化方式において、ブロック歪みによる復号画像の画像劣化を防止することができ、かつ、符号量を削減することができるという利点が得られる。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．本発明の原理
本発明の原理について説明する。本発明では、ブロック歪みを考慮した歪み尺度を導入し、符号化パラメータの設定に用いるコスト関数において、ブロック歪みを考慮した符号化パラメータを設定する。具体的には、同歪み尺度の計算時に、隣接ブロックとの不連続性に対しても、周波数分析を行い、隣接ブロックとの不連続性を歪み尺度の計算時に反映させる。そこで、ブロック内の波形とあわせて、隣接ブロック間の不連続性も考慮した周波数分析を行い、コントラスト感度関数に基づき歪み量に対する重み付けを行う。

［感度係数の算出］
上述した重み付けの係数の算出において、入力となるのは、変換行列と変移量である。なお、以下では、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合を考える。ｒを視距離パラメータと呼ぶ。

変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφ_ｋとすると、同行列に対する基底画像は、次式より得られる。なお、Ｈ．２６４の場合、Ｎとして取りうる値は４または８のいずれかである。

ここで、φ^ｔ _ｌはφ_ｌの転置ベクトルである。各基底画像ｆ_ｋ，ｌ（ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して、ゼロ埋めにより、サイズを２倍に拡大する。ゼロ埋めの方法としては、例えば、次式（１４）、（１５）のような方法がある。
ゼロパディング方法１：

ゼロパディング方法２：

ゼロ埋めの結果得られる（〜）ｆ_ｋ，ｌ（ｘ，ｙ）を修正基底画像と呼ぶ。例えば、Ｎ＝４の場合には、図９（ａ）、（ｂ）に示すように、網掛け部の４×４画素に、基底画像が配置され、それ以外の位置に、零値がパディングされる（ゼロ埋め）。図９（ａ）が上記セロパディング方法１であり、図９（ｂ）が上記セロパディング方法２である。修正基底画像に対して、次式（１６）に示す離散フーリエ変換を施し、フーリエ係数を得る。なお、以下では、Ｎ＝２^ｍとおく。

ここで、ｊは虚数単位である。
上記数式（１６）によるフーリエ係数を次式（１７）に示す。

さらに、数式（１７）に対して、次式（１８）に示す重み付けを行う。

以下、数式（１８）の右辺の第１項の（＾）Ｆ_ｋ，ｌ（ｕ，ｖ）について説明する。ここで、ｇ（η，ｗ）は、視覚感度関数として知られる関数であり、次式（１９）のような関数形で表される。

ここで、ａ，ｂ，ｃ，ｄは、視覚感度関数の関数形を定めるパラメータ（以後、モデルパラメータと呼ぶ）であり、例えば、次式（２０）で示すような値が用いられる。

また、式（１９）において、ηは、次式（２１）で示す値とする。

θ（ｒ，Ｈ）は、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度であり、次式（２２）により与えられる。

ωは単位時間当たりの角度の変化量［ｄｅｇｒｅｅｓ／ｓｅｃ］であり、以下のように設定される。このマクロブロックの変移量が（ｄ_ｘ，ｄ_ｙ）と推定され、縦幅Ｈの画像を視距離ｒＨにおいて観測する場合、単位時間当たりの角度の変化量は、次式（２３）により与えられる。

ここで、ｆ_ｒは、フレームレートである。ｋ，ｌ基底に対する感度係数を次式（２４）で示す電力比として定義する。

なお、Ｗ^Ｕ _ｋ，ｌ（ω），Ｗ^ｖ _ｋ，ｌ（ω）についても同様に求めることができる。このとき、輝度成分と色差成分とでモデルパラメータを変更することも可能である。

Ｂ．第１実施形態
図１は、本発明の第１実施形態によるモード選択装置の構成を示すブロック図である。図において、変移量記憶部３００は、推定変移量を記憶する。初期モード設定部３０１は、初期モードを設定する。モード記憶部３０２は、初期設定されたモードを記憶するとともに、適宜、後述するモード設定部３１６により設定されたモードを記憶（更新）する。

符号量算出部３０３は、入力される符号化対象フレーム信号、参照フレーム信号及び量子化パラメータに基づいて、符号量を算出する。符号量記憶部３０４は、算出された符号量を記憶する。重み付き歪み量算出部３０５は、モード記憶部３０２に記憶されているモードに従って、変移量記憶部３００に記憶されている変移量から重み付き歪み量を算出する。重み付き歪み量記憶部３０６は、算出された重み付き歪み量を記憶する。未定乗数算出部３０７は、入力される符号化対象フレーム信号、参照フレーム信号及び量子化パラメータに基づいて、未定乗数を算出する。未定乗数記憶部３０８は、算出された未定乗数を記憶する。

コスト算出部（コスト関数設定手段）３０９は、符号量記憶部３０４に記憶されている符号量と、重み付き歪み量記憶部３０６に記憶されている重み付き歪み量と、未定乗数記憶部３０８に記憶されている未定乗数とに基づいて、コストを算出する。コスト記憶部３１０は、算出されたコストを記憶する。最小コスト判定部（モード選択手段）３１１は、コスト記憶部３１０に記憶されているコストから、最小コストを判定する。最小コスト記憶部３１２は、最小コスト判定部３１１により判定された最小コストを記憶する。

最適モード更新部３１３は、最小コスト判定部３１１により、算出したコストがレジスタに格納されているコストの最小値より小さいと判定された場合に、その時点でモード記憶部３０２に記憶されているモードを最適モード記憶部３１４に格納する。最適モード記憶部３１４は、算出したコストがレジスタに格納されているコストの最小値より小さいと判定された時点のモードを最適モードとして記憶する。

最終モード判定部３１５は、全てのモードについて処理を終えたか否か、すなわち最終モードであるか否かを判定し、最終モードでない場合には、最小コスト判定３１１の判定結果をモード設定部（モード選択手段）３１６に供給し、最終モードである場合には、最小コスト判定３１１の判定結果を最適モード出力部３１６に供給する。最適モード出力部３１６は、最終モード判定部３１５から最小コスト判定３１１の判定結果が供給されると、すなわち、全てのモードについて処理を終えると、最適モード記憶部３１４に記憶されている最適モードを出力する。

図２は、上述した重み付き歪み量算出部３０５の構成を示すブロック図である。図において、変換係数正規化部４０１は、入力される変換係数を正規化する。正規化変換係数記憶部４０２は、正規化された変換係数を記憶する。変換係数復号部４０３は、入力される変換係数を復号する。復号変換係数記憶部４０４は、復号された変換係数を記憶する。変移量記憶部４０８は、入力される変換量を記憶する。

感度係数算出部（空間周波数成分計測手段、時間周波数成分推定手段、重要度算出手段、空間周波数成分算出手段）４０９は、変移量記憶部４０８に記憶されている変移量から感度係数を算出する。感度係数記憶部４１０は、算出された感度係数を記憶する。感度係数乗算部４０７は、歪み量記憶部４０６から歪み量を読み出し、感度係数記憶部４１０から読み出した感度係数を乗算する。歪み量記憶部４１１は、感度係数が乗算された歪み量を記憶する。歪み量和算出部４１２は、歪み量記憶部４１１から読み出した歪み量を加算し、重み付き歪み量として出力する。

図３は、上述した感度係数算出部４０９の構成を示すブロック図である。図において、変換係数記憶部６０１は、入力される変換係数を記憶する。変換行列サイズ記憶部６０２は、入力される変換行列サイズを記憶する。基底画像算出部６０３は、変換係数記憶部６０１から読み出した変換係数と、変換行列サイズ記憶部６０２から読み出した変換行列サイズとに従って、基底画像を算出する。基底画像記憶部６０４は、算出された基底画像を記憶する。

修正基底画像算出部（修正基底画像生成手段）６０５は、基底画像記憶部６０４から読み出した基底画像を、変換行列サイズ記憶部６０２から読み出した変換行列サイズに従って、修正基底画像を算出する。修正基底画像記憶部６０６は、修正された基底画像を記憶する。コントラスト感度関数記憶部６０７は、入力されるコントラスト感度関数を記憶する。乗算部６０８は、修正基底画像記憶部６０６から読み出した修正された基底画像と、コントラスト感度関数記憶部６０７から読み出したコントラスト感度関数とを乗算する。加算部６０９は、乗算された値を加算し、感度係数として出力する。

図４は、本実施形態による、符号化モード選択処理の動作を説明するためのフローチャートである。まず、初期モード設定部３０１で、モードの初期値を設定する（ステップＳ１０１）。具体的には、最小コスト、最適モードを格納するレジスタを初期化する。次に、変移量記憶部３００に変移量を格納する（ステップＳ１０２）。次に、符号量算出部３０３で、符号量を算出し（ステップＳ１０３）、重み付き歪み量算出部３０５で、重み付き歪み量を算出する（ステップＳ１０４）。なお、重み付き歪み量の算出の詳細については後述する。

次に、未定乗数算出部で、未定乗数を算出し（ステップＳ１０５）、コスト算出部３０９で、符号量、重み付き歪み量、及び未定乗数により、コストを算出する（ステップＳ１０６）。次に、最小コスト判定部３１１で、算出したコストが最小コスト記憶部３１２（レジスタ）に格納されているコストの最小値より小さいか否かを判定し（ステップＳ１０７）、最小値より小さくない場合には、モードを変更し（ステップＳ１１１）、ステップＳ１０３に戻り、変更されたモードで、符号量、重み付き符号量、未定乗数、コストの算出を行う。

一方、算出したコストがレジスタに格納されているコストの最小値より小さい場合には、算出されたコストを格納し（ステップＳ１０８）、その時点のモードを格納する（ステップＳ１０９）。次に、全てのモードについて処理を終えたか否かを判定し（ステップS１１０）、終えていない場合には、モードを変更し（ステップＳ１１１）、ステップＳ１０３に戻り、変更されたモードで、上述した処理を繰り返す。一方、全てのモードについて処理を終えた場合には、当該処理を終了する。

図５は、上記ステップＳ１０４の重み付き歪み量の算出手順を示すフローチャートである。まず、変換係数正規化部４０１で、入力される変換係数を正規化し（ステップＳ２０１）、変換係数復号部４０３で、入力される変換係数を復号する（ステップＳ２０２）。次に、変換量を読み込み（ステップＳ２０３）、感度係数算出部４０９で感度係数を算出し、感度係数を設定する（ステップＳ２０４）。次に、カウンタｉ、レジスタＳ（歪み量記憶部４１１）を０に初期化し（ステップＳ２０５）、歪み量算出部４０５で、変換係数の第ｉ成分の符号化歪みを算出する（ステップＳ２０６）。

次に、感度係数乗算部４０７で、変換係数の第ｉ成分の符号化歪みに感度係数を乗じ（ステップＳ２０７）、歪み量和算出部４１２で、感度係数を乗じた符号化歪み（歪み量）をレジスタＳ（歪み量記憶部４１１）に加算する（ステップＳ２０８）。次に、変換係数の全成分について処理が終了したか否かを判定し（ステップＳ２０９）、全て終了していない場合には、カウンタｉに１加算し（ステップＳ２１０）、ステップＳ２０６に戻り、次の成分について上述した処理を繰り返す。以下、全成分について終了するまでカウンタｉに１を加算して上述した処理を繰り返す。そして、変換係数の全成分について処理が終了すると、当該処理を終了する。

図６は、上記ステップＳ２０４の感度係数の設定手順を示すフローチャートである。まず、変換行列（ＤＣＴ）のサイズ（Ｎ×Ｎとする）を読み込み（ステップＳ５０１）、カウンタｉを０に初期化する（ステップＳ５０２）。次に、基底画像算出部６０３で、変換行列（ＤＣＴ）における、第ｉ番目の基底画像を算出し（ステップＳ５０３）、修正基底画像算出部６０５で、前述した数式（２１）に従って、ゼロ埋めにより、該基底画像に対して２倍のサイズの画像（２Ｎ×２Ｎの画像：修正基底画像）を生成する（ステップＳ５０４）。

次に、修正基底画像に対して、周波数分析（ＤＦＴ）を行い、修正基底画像内の周波数成分の分布を算出する（ステップＳ５０５）。次に、コントラスト感度関数（ＣＳＦ）を読み込み（ステップＳ５０６）、カウンタｋ、レジスタＷ［ｉ］を０に初期化する（ステップＳ５０７）。次に、乗算部６０８で、前述した数式（２２）に従って、修正基底画像の周波数成分の第ｋ成分に対してコントラスト感度関数の対応する値を乗じ（ステップＳ５０８）、加算部６０９で、該乗算の結果得られた値を、レジスタＷ［ｉ］に加算する（ステップＳ５０９）。

次に、修正基底画像の全周波数成分について処理が終了したか否かを判定し（ステップＳ５１０）、全周波数成分について終了していない場合には、カウンタｋに１加算し（ステップＳ５１１）、ステップＳ５０８に戻り、上述した処理を繰り返す。一方、全周波数成分について処理が終了した場合には、全ての基底画像について処理が終了したか否かを判定し（ステップＳ５１２）、全ての基底画像について終了していない場合には、カウンタｉに１加算し（ステップＳ５１３）、ステップＳ５０３に戻り、上述した処理を繰り返す。そして、全ての基底画像について処理が終了すると、当該処理を終了する。

Ｃ．第２実施形態
次に、本発明の第２実施形態について説明する。上述した第１実施形態では、モード選択による例であったが、本第２実施形態では、量子化パラメータを選択するようになっている。

図７は、本第２実施形態による量子化パラメータ選択装置の構成を示すブロックである。図において、変移量記憶部８００は、推定変移量を記憶する。初期量子化パラメータ設定部８０１は、初期量子化パラメータを設定する。量子化パラメータ記憶部８０２は、初期設定された量子化パラメータを記憶するとともに、適宜、後述する量子化パラメータ設定部８１６により設定された量子化パラメータを記憶（更新）する。

符号量算出部８０３は、入力される符号化対象フレーム信号、参照フレーム信号及び量子化パラメータに基づいて、符号量を算出する。符号量記憶部８０４は、算出された符号量を記憶する。重み付き歪み量算出部８０５は、量子化パラメータ記憶部８０２に記憶されている量子化パラメータに従って、変移量記憶部８００に記憶されている変移量の下限値から重み付き歪み量を算出する。重み付き歪み量記憶部８０６は、算出された重み付き歪み量を記憶する。未定乗数算出部８０７は、入力される符号化対象フレーム信号、参照フレーム信号及び量子化パラメータに基づいて、未定乗数を算出する。未定乗数記憶部８０８は、算出された未定乗数を記憶する。

コスト算出部８０９は、符号量記憶部８０４に記憶されている符号量と、重み付き歪み量記憶部８０６に記憶されている重み付き歪み量と、未定乗数記憶部８０８に記憶されている未定乗数とに基づいて、コストを算出する。コスト記憶部８１０は、算出されたコストを記憶する。最小コスト判定部８１１は、コスト記憶部８１０に記憶されているコストから、最小コストを判定する。最小コスト記憶部８１２は、最小コスト判定部８１１により判定された最小コストを記憶する。

最適量子化パラメータ更新部８１３は、最小コスト判定部８１１により、算出したコストがレジスタに格納されているコストの最小値より小さいと判定された場合に、その時点で量子化パラメータ記憶部８０２に記憶されている量子化パラメータを最適量子化パラメータ記憶部８１４に格納する。最適量子化パラメータ記憶部８１４は、算出したコストがレジスタに格納されているコストの最小値より小さいと判定された時点の量子化パラメータを最適量子化パラメータとして記憶する。

最終量子化パラメータ判定部８１５は、全ての量子化パラメータについて処理を終えたか否か、すなわち最終量子化パラメータであるか否かを判定し、最終量子化パラメータでない場合には、最小コスト判定８１１の判定結果を量子化パラメータ設定部８１６に供給し、最終量子化パラメータである場合には、最小コスト判定８１１の判定結果を最適量子化パラメータ出力部８１６に供給する。最適量子化パラメータ出力部８１６は、最終量子化パラメータ判定部８１５から最小コスト判定８１１の判定結果が供給されると、すなわち、全ての量子化パラメータについて処理を終えると、最適量子化パラメータ記憶部８１４に記憶されている最適量子化パラメータを出力する。

図８は、本第２実施形態による、量子化パラメータ選択処理の動作を説明するためのフローチャートである。まず、初期量子化パラメータ設定部８０１で、量子化パラメータの初期値を設定する（ステップＳ７００）。具体的には、最小コスト、最適量子化パラメータを格納するレジスタを初期化する。次に、変移量記憶部８００に変移量を格納する（ステップＳ７０１）。次に、符号量算出部８０３で、符号量を算出し（ステップＳ７０３）、重み付き歪み量算出部８０５で、重み付き歪み量を算出する（ステップＳ７０４）。なお、重み付き歪み量の算出の詳細については前述した第１実施形態と同様である。

次に、未定乗数算出部８０７で、未定乗数を算出し（ステップＳ７０５）、コスト算出部８０９で、符号量、重み付き歪み量、及び未定乗数により、コストを算出する（ステップＳ７０６）。次に、最小コスト判定部８１１で、算出したコストが最小コスト記憶部８１２（レジスタ）に格納されているコストの最小値より小さいか否かを判定し（ステップＳ７０７）、最小値より小さくない場合には、量子化パラメータを変更し（ステップＳ７１１）、ステップＳ７０３に戻り、変更された量子化パラメータで、符号量、重み付き符号量、未定乗数、コストの算出を行う。

一方、算出したコストがレジスタに格納されているコストの最小値より小さい場合には、算出されたコストを最小コスト格納部８１２に格納し（ステップＳ１０８）、その時点の量子化パラメータを格納する（ステップＳ７０９）。次に、全ての量子化パラメータについて処理を終えたか否かを判定し（ステップS７１０）、終えていない場合には、量子化パラメータを変更し（ステップＳ７１１）、ステップＳ７０３に戻り、変更された量子化パラメータで、上述した処理を繰り返す。一方、全ての量子化パラメータについて処理を終えた場合には、当該処理を終了する。

上述した第１、第２実施形態によれば、ブロック歪みを考慮した歪み尺度を導入し、符号化パラメータの設定に用いるコスト関数において、同歪み尺度の計算時に、隣接ブロックとの不連続性に対しても、周波数分析を行い、隣接ブロックとの不連続性を歪み尺度の計算時に反映させるべく、コントラスト感度関数に基づき歪み量に対する重み付けを行うようにしたので、ブロック歪みの発生を防止し、復号画像の画像劣化を防止することができるという利点が得られる。

本発明の第１実施形態によるモード選択装置の構成を示すブロック図である。本第１実施形態による重み付き歪み量算出部３０５の構成を示すブロック図である。本第１実施形態による感度係数算出部４０９の構成を示すブロック図である。本実施形態による、符号化モード選択処理の動作を説明するためのフローチャートである。本第１実施形態による重み付き歪み量の算出手順を示すフローチャートである。本第１実施形態による感度係数の設定手順を示すフローチャートである。本発明の第２実施形態による量子化パラメータ選択装置の構成を示すブロックである。本第２実施形態による、量子化パラメータ選択処理の動作を説明するためのフローチャートである。ゼロパディング方法を説明するための概念図である。本明細書で説明に用いる記号の例を示す表図である。従来技術の課題を説明するための概念図である。

符号の説明

３００変移量記憶部
３０１初期モード設定部
３０２モード記憶部
３０３符号量算出部
３０４符号量記憶部
３０５重み付き歪み量算出部
３０６重み付き歪み量記憶部
３０７未定乗数算出部
３０８未定乗数記憶部
３０９コスト算出部
３１０コスト記憶部
３１１最小コスト判定部
３１２最小コスト記憶部
３１３最適モード更新部
３１４最適モード記憶部
３１５最終モード判定部
３１６最適モード出力部
４０１変換係数正規化部
４０２正規化変換係数記憶部
４０３変換係数復号部
４０４復号変換係数記憶部
４０７感度係数乗算部
４０８変移量記憶部
４０９感度係数算出部
４１０感度係数記憶部
４１１歪み量記憶部
４１２歪み量和算出部
６０１変換係数記憶部
６０２変換行列サイズ記憶部
６０３基底画像算出部
６０４基底画像記憶部
６０５修正基底画像算出部
６０６修正基底画像記憶部
６０７コントラスト感度関数記憶部
６０８乗算部
６０９加算部

Claims

画像信号、あるいは、フレーム内予測及びフレーム間予測により得られた予測誤差信号に対して、変換符号化、量子化による情報圧縮を行う画像符号化方法において、
歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ、インター予測モード、量子化パラメータ、静止画像符号化における量子化パラメータ、イントラ予測モード等の符号化パラメータを決定する際、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測するステップと、
さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定するステップと、
前記空間周波数成分及び前記時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出するステップと、
前記重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定するステップと、
前記コスト関数を最小化するモードを選択するステップと、
を含むことを特徴とする画像符号化方法。
ブロック内の空間周波数成分を計測する際、符号化に用いる直交変換の基底画像に対して、水平・垂直方向のサンプル数が各々、２倍になるように、零値を加えた修正基底画像を生成するステップと、
前記修正基底画像に対して、離散フーリエ変換係数を計算することで、ブロック内の空間周波数成分及び隣接ブロック間の不連続性に関する空間周波数成分を算出するステップと
を更に含むことを特徴とする請求項１に記載の画像符号化方法。
画像信号、あるいは、フレーム内予測及びフレーム間予測により得られた予測誤差信号に対して、変換符号化、量子化による情報圧縮を行う画像符号化装置において、
歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ、インター予測モード、量子化パラメータ、静止画像符号化における量子化パラメータ、イントラ予測モード等の符号化パラメータを決定する際、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測する空間周波数成分計測手段と、
さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定する時間周波数成分推定手段と、
前記空間周波数成分及び前記時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出する重要度算出手段と、
前記重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定するコスト関数設定手段と、
前記コスト関数を最小化するモードを選択するモード選択手段と、
を備えることを特徴とする画像符号化装置。
前記空間周波数計測手段は、
ブロック内の空間周波数成分を測定する際、符号化に用いる直交変換の基底画像に対して、水平・垂直方向のサンプル数が各々、２倍になるように、零値を加えた修正基底画像を生成する修正基底画像生成手段と、
前記修正基底画像に対して、離散フーリエ変換係数を計算することで、ブロック内の空間周波数成分及び隣接ブロック間の不連続性に関する空間周波数成分を算出する空間周波数成分算出手段と
を備えることを特徴とする請求項３に記載の画像符号化装置。
画像信号、あるいは、フレーム内予測及びフレーム間予測により得られた予測誤差信号に対して、変換符号化、量子化による情報圧縮を行う画像符号化装置を制御するコンピュータに、
歪み量、符号量、未定乗数からなるラグランジェのコスト関数に基づいて、動画像符号化における動き補償ブロックサイズ、インター予測モード、量子化パラメータ、静止画像符号化における量子化パラメータ、イントラ予測モード等の符号化パラメータを決定する際、ブロック内の空間周波数成分、及び隣接ブロック間の不連続性に関する空間周波数成分を計測するステップと、
さらに、ブロック内の時間周波数成分、及び隣接ブロック間の不連続性に関する時間周波数成分を推定するステップと、
前記空間周波数成分及び前記時間周波数成分の成分毎に、視覚感度関数に基づいて、重要度を算出するステップと、
前記重要度に基づいて、周波数毎に重み付けされた二乗誤差として得られる歪み量を用いて符号量との加重和としてコスト関数を設定するステップと、
前記コスト関数を最小化するモードを選択するステップと、
を実行させることを特徴とする画像符号化プログラム。