JP4709187B2 - 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4709187B2 JP4709187B2 JP2007180910A JP2007180910A JP4709187B2 JP 4709187 B2 JP4709187 B2 JP 4709187B2 JP 2007180910 A JP2007180910 A JP 2007180910A JP 2007180910 A JP2007180910 A JP 2007180910A JP 4709187 B2 JP4709187 B2 JP 4709187B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- mode
- determined
- cost
- prediction mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像符号化で用いられる符号化パラメータ決定方法およびその装置と、その符号化パラメータ決定方法の実現に用いられる符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、時空間視覚感度を考慮して動画像の符号化を行うときに、復号画像の主観品質を保ちながら効率的に符号量を削減できるようにする符号化パラメータの決定を実現する符号化パラメータ決定方法およびその装置と、その符号化パラメータ決定方法の実現に用いられる符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
［二乗誤差規範のコスト関数を用いる符号化方式］
Ｈ．２６４では、イントラ予測および可変形状動き補償の導入に伴い、従来の標準化方式と比べて、予測モードの種類が増加している。このため、一定の主観画質を保持しつつ符号量を削減するには、適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ（非特許文献１参照）では、以下のＲ−Ｄコストを最小化する予測モードを選択している。なお、以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
Ｈ．２６４では、イントラ予測および可変形状動き補償の導入に伴い、従来の標準化方式と比べて、予測モードの種類が増加している。このため、一定の主観画質を保持しつつ符号量を削減するには、適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ（非特許文献１参照）では、以下のＲ−Ｄコストを最小化する予測モードを選択している。なお、以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
ここで、Ｓは原信号、ｑは量子化パラメータ、ｍは予測モードを表す番号であり、＾Ｓm,q は原信号Ｓに対して予測モードｍを用いて予測し、量子化パラメータｑを用いて量子化した場合の復号信号である。また、λはモード選択に用いるラグランジェの未定乗数である。さらに、Ｄ（Ｓ，＾Ｓm,q ）は次式に示す二乗誤差和である。
ここで、ＳY ，ＳU ，ＳV はそれぞれ原信号のＹ，Ｕ，Ｖ成分であり、＾ＳY m,q ，＾ＳU m,q ，＾ＳV m,q はそれぞれ復号信号のＹ，Ｕ，Ｖ成分である。
Ｈ．２６４における復号信号の算出方法を以下に示す。なお、説明に用いる記号を下記の表にまとめる。
Ｈ．２６４の符号化処理では、モード番号ｍの予測を用いた場合の予測誤差信号Ｒm （＝Ｓ−Ｐm ）に対して、変換行列Φを用いた直交変換が次式のように施される。
ここで、Φt は変換行列Φに対する転置行列を表す。なお、変換行列Φは次式で表される整数要素の直交行列である。
次に、行列Φが非正規行列であるため、次式に示すように、行列の正規化に相当する処理を行う。
Ｃn ＝Ｎ（Ｃ）
さらに、Ｃn に対して、量子化パラメータｑを用いた量子化が次式のとおり施される。なお、Ｈ．２６４の参照ソフトウェアＪＭでは、正規化は量子化の中に組み込まれている。
さらに、Ｃn に対して、量子化パラメータｑを用いた量子化が次式のとおり施される。なお、Ｈ．２６４の参照ソフトウェアＪＭでは、正規化は量子化の中に組み込まれている。
Ｖ＝Ｑ（Ｃn ）
一方、Ｈ．２６４の復号処理では、Ｖに対して、次式のように逆量子化を施し、変換係数の復号値を得る。
一方、Ｈ．２６４の復号処理では、Ｖに対して、次式のように逆量子化を施し、変換係数の復号値を得る。
次に、＾Ｃq に対して、次式のように逆変換を施し、予測誤差の復号信号を得る。
最後に、次式により、符号化対象画像の復号信号を得る。
［主観画質を考慮した歪み量への重み付け］
前述の通り、Ｈ．２６４の参照ソフトウェアＪＭで用いられている主観画質の尺度は二乗誤差である。しかし、この二乗誤差は必ずしも、主観的な画質劣化を反映した歪み量ではない。例えば、高周波数成分の変化は低周波成分の変化に比べて、視覚的には検知されにくい。しかし、こうした視覚特性を利用していない符号化器（例えば、ＪＭ）には、符号量の効率的な削減に関して、改良の余地が残る。
前述の通り、Ｈ．２６４の参照ソフトウェアＪＭで用いられている主観画質の尺度は二乗誤差である。しかし、この二乗誤差は必ずしも、主観的な画質劣化を反映した歪み量ではない。例えば、高周波数成分の変化は低周波成分の変化に比べて、視覚的には検知されにくい。しかし、こうした視覚特性を利用していない符号化器（例えば、ＪＭ）には、符号量の効率的な削減に関して、改良の余地が残る。
そこで、時空間周波数成分に対して視覚感度に差があることを利用する検討がなされている。直交変換係数に対して、視覚感度に応じて空間周波数成分毎に歪み量の重み付けを行うことで、主観画質に対応した歪み量を定義する。さらに、時間方向の視覚感度も考慮して、上述の重み付けされた歪み量に対して、変移量に応じてさらに重み付けを行う。こうして時空間の視覚感度に基づき重み付けされた歪み量を、符号化パラメータ選択のコスト関数において用いる。
量子化誤差信号に対する視覚感度に基づく重み付けについて、以下に説明する。ここでは、次式のＲ−Ｄコストを用いることを想定している。
ここで、Ｃm はモード番号ｍを用いた場合の予測残差信号Ｒm に対する変換係数であり、＾Ｃm,q はＣm を量子化パラメータｑで量子化・逆量子化して得られる係数の復号値である。このＲ−Ｄコストの計算に用いる歪み量として、以下の重み付け歪み量を用いる。
ここで、１６／Ｎおよび８／Ｎを囲む記号は、小数部分の切り捨てを意味する。また、ＣY(i) m［ｋ，ｌ］，ＣU(i) m［ｋ，ｌ］，ＣV(i) m［ｋ，ｌ］はＣm の要素であり、マクロブロック（Ｙ成分の場合には１６×１６［画素］、Ｕ，Ｖ成分の場合には８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる変換係数である。また、＾ＣY(i) m,q［ｋ，ｌ］、＾ＣU(i) m,q［ｋ，ｌ］、＾ＣV(i) m,q［ｋ，ｌ］は＾Ｃm,q の要素であり、マクロブロック（Ｙ成分の場合には１６×１６［画素］、Ｕ，Ｖ成分の場合には８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち、ラスター走査においてｉ番目に走査されるサブブロックに含まれる復号変換係数である。
さらに、ＷY k,l ，ＷU k,l ，ＷV k,l は１以下に設定される重み係数であり、空間周波数および時間周波数が高いほど、小さな値をとる。
上式において、ＷY k,l ，ＷU k,l ，ＷV k,l を小さな値に設定することは、量子化歪みＤ（Ｃm ，＾Ｃm,q ）を小さく見積もることに相当する。なお、直交変換の正規性より、すべてのｋ，１に対して、ＷY k,l ＝１，ＷU k,l ＝１，ＷV k,l ＝１とすれば、上述の重み付け歪み量は二乗誤差和と等価となる。
K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team （JVT ）of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006.
K.P.Lim and G.Sullivan and T.Wiegand, Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team （JVT ）of ISO/IEC MPEG and ITU-T VCEG, JVT-R95, Jan., 2006.
Ｈ．２６４では、直上、直左、直左上のマクロブロックの動きベクトルを用いて、符号化対象のマクロブロックの動きベクトルに対する予測ベクトルを生成する。
スキップモード以外の予測モードの場合には、この予測ベクトルとの差分情報を用いて、動きベクトルを表現する。
一方、スキップモードの場合には、動きベクトルとして、この予測ベクトルを用いる。さらに、フレーム間予測残差は零値として、復号信号を生成する。
このため、予測ベクトルが異なる絵柄の領域を参照することになれば、スキップモードのマクロブロックに大きな符号化歪みが重畳することになる。一方、符号量は極めて微小に抑えることができる。
こうした符号化歪みと符号量とはトレードオフの関係にあるため、ＪＭと呼ばれるＨ．２６４の符号化器では、符号化歪みと符号量との加重和としてラグランジェのコスト関数を導入し、このトレードオフのバランスを勘案し、予測モードの選択を行っている。
しかるに、前述のコントラスト感度関数に基づく歪み量への重み付け（ＷY k,l ，ＷU k,l ，ＷV k,l による重み付け）を行った場合、スキップモードが大きな画質劣化を含んでいるにもかかわらず、スキップモードが最適な予測モードとして選択される場合がある。
このような画質劣化が発生するということは、符号化歪みに対する重み付けを行う際に、スキップモードに関しては、このモードの持つ特異性を考慮する必要性があることを示唆している。しかしながら、従来技術では、そのような検討がなされていない。
本発明はかかる事情に鑑みてなされたものであって、時空間視覚特性に基づき重み付けされた符号化歪みを用いたコスト関数の最小化により、符号化パラメータの決定を行う際に、スキップモードの主観画質を適切に評価した符号化歪みの尺度を導入することで、スキップモードにおける画質劣化を回避し、スキップモードの符号量削減のメリットを最大限享受しうる新たな符号化パラメータ決定技術を確立することを目的とする。
〔１〕第１の構成
前記の目的を達成するために、本発明の符号化パラメータ決定装置は、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定するために、（イ）符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する算出手段と、（ロ）時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と算出手段の算出した推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、推定変位量の大きさが規定の閾値より大きいのか否かを判断することで、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する判断手段と、（ハ）判断手段が該当のブロックでないと判断した判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、判断手段が該当のブロックであると判断した判断対象のブロックについては、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードをそのブロックの最適な予測モードとして決定する決定手段と、（ニ）重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードでないブロックについて、その予測モードをそのブロックの最適な予測モードとして決定する第２の決定手段と、（ホ）判断手段が判断対象とするブロックについて、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、判断手段による判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する第３の決定手段とを備えるように構成する。
前記の目的を達成するために、本発明の符号化パラメータ決定装置は、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定するために、（イ）符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する算出手段と、（ロ）時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と算出手段の算出した推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、推定変位量の大きさが規定の閾値より大きいのか否かを判断することで、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する判断手段と、（ハ）判断手段が該当のブロックでないと判断した判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、判断手段が該当のブロックであると判断した判断対象のブロックについては、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードをそのブロックの最適な予測モードとして決定する決定手段と、（ニ）重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードでないブロックについて、その予測モードをそのブロックの最適な予測モードとして決定する第２の決定手段と、（ホ）判断手段が判断対象とするブロックについて、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、判断手段による判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する第３の決定手段とを備えるように構成する。
以上の各処理手段が動作することで実現される本発明の符号化パラメータ決定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
このように構成される本発明の符号化パラメータ決定装置では、符号化対象のブロックについて、時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモード（動きベクトルとして予測ベクトルを用いることを指示する予測モード）である場合には、そのブロックの最適な予測モードして、そのままスキップモードを決定するのではなくて、符号化する際に用いる変位量と符号化に先立って算出した推定変位量とを比較して、その２つの変位量の乖離が大きく、かつ、推定変位量が大きい場合には、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードをそのブロックの最適な予測モードとして決定するようにする。
〔２〕第２の構成
また、前記の目的を達成するために、本発明の符号化パラメータ決定装置は、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定するために、（イ）符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する算出手段と、（ロ）時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と算出手段の算出した推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、推定変位量の大きさが規定の閾値より大きいのか否かを判断することで、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する判断手段と、（ハ）判断手段が該当のブロックでないと判断した判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、判断手段が該当のブロックであると判断した判断対象のブロックについては、コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定する決定手段と、（ニ）重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードでないブロックについて、その予測モードをそのブロックの最適な予測モードとして決定する第２の決定手段と、（ホ）判断手段が判断対象とするブロックについて、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、判断手段による判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する第３の決定手段とを備えるように構成する。
また、前記の目的を達成するために、本発明の符号化パラメータ決定装置は、フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定するために、（イ）符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する算出手段と、（ロ）時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と算出手段の算出した推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、推定変位量の大きさが規定の閾値より大きいのか否かを判断することで、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する判断手段と、（ハ）判断手段が該当のブロックでないと判断した判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、判断手段が該当のブロックであると判断した判断対象のブロックについては、コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定する決定手段と、（ニ）重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードでないブロックについて、その予測モードをそのブロックの最適な予測モードとして決定する第２の決定手段と、（ホ）判断手段が判断対象とするブロックについて、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、判断手段による判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する第３の決定手段とを備えるように構成する。
以上の各処理手段が動作することで実現される本発明の符号化パラメータ決定方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
このように構成される本発明の符号化パラメータ決定装置では、符号化対象のブロックについて、時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモード（動きベクトルとして予測ベクトルを用いることを指示する予測モード）である場合には、そのブロックの最適な予測モードして、そのままスキップモードを決定するのではなくて、符号化する際に用いる変位量と符号化に先立って算出した推定変位量とを比較して、その２つの変位量の乖離が大きく、かつ、推定変位量が大きい場合には、コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定するようにする。
〔３〕本発明について
このように、本発明では、あるブロックについて、重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードである場合には、そのブロックの最適な予測モードして、そのままスキップモードを決定するのではなくて、符号化する際に用いる変位量と符号化に先立って算出した推定変位量とを比較して、その２つの変位量の乖離が大きく、かつ、推定変位量が大きい場合には、コスト最小で選択されたものの、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを考慮して、スキップモード以外の予測モードをそのブロックの最適な予測モードとして決定するようにするという構成を採る。
このように、本発明では、あるブロックについて、重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードである場合には、そのブロックの最適な予測モードして、そのままスキップモードを決定するのではなくて、符号化する際に用いる変位量と符号化に先立って算出した推定変位量とを比較して、その２つの変位量の乖離が大きく、かつ、推定変位量が大きい場合には、コスト最小で選択されたものの、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを考慮して、スキップモード以外の予測モードをそのブロックの最適な予測モードとして決定するようにするという構成を採る。
スキップモードが大きな画質劣化を含んでいるにもかかわらず、最適な予測モードとして選択される原因を、以下で考察する。
従来法では、各マクロブロックの真の変移量を符号化処理に先立ち推定する。ここで得られる変移量を推定変移量と呼ぶ。この推定変移量を用いて歪み量に対する重み付けを行う。符号化処理で用いる変移量は、別途、符号化器で算出する。この変移量を符号化器変移量と呼ぶ。
従来法では、推定変移量と符号化器変移量とが大きく乖離しないことを前提としている。これに対して、スキップモードの場合、動き探索を行う訳ではないため、符号化器変移量である予測ベクトルが推定変移量と大きく乖離する可能性がある。その結果、異なる絵柄の領域を参照することになれば、大きな符号化歪みが発生する。
しかし、推定変移量が大きな場合には、こうした大きな符号化歪みが発生したとしても、重み付けにより、その符号化歪みは小さく見積もられる。その結果、コストが小さくなり、最適モードとして選択される可能性がある。
そこで、本発明では、推定変移量と符号化器変移量との乖離度を考慮して、歪み量に対する重み付けを行う。すなわち、推定変移量と符号化器変移量とが大きく乖離し、かつ、推定変移量が大きな場合には、前述の画質劣化の可能性が高まるため、重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードを用いることを決定したり、重み付けがされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モード（スキップモード）の次にコストの小さなものとして選択された予測モードを用いることを決定するようにするのである。
次に、推定変移量と符号化器変移量との乖離度を評価する評価関数、および推定変移量の大きさを評価する評価関数について説明する。
［推定変位量の参照フレームと符号化器変移量の参照フレームとが同一の場合］
以下では、マクロブロックに対する推定変移量を“＾ｄ＝（＾ｄx ，＾ｄy ）”と表し、符号化器変移量を“ｄ＝（ｄｘ，ｄｙ）”と表す。
以下では、マクロブロックに対する推定変移量を“＾ｄ＝（＾ｄx ，＾ｄy ）”と表し、符号化器変移量を“ｄ＝（ｄｘ，ｄｙ）”と表す。
次の２つの条件（１)(２）を満たす場合、歪み量に対する重み付けは行わないこととする。
ここで、ｄ（）は２つのベクトルの乖離度を表す関数であり、例えば、下記の式（１）で表される２つのベクトルの内積や、下記の式（２）で表される２つのベクトルの距離や、下記の式（３）で表される２つのベクトルの距離などを用いる。
また、条件（２）の左辺は、下記の式（４）で表されるベクトルの絶対値ノルムである。ここで、θ，ψは外部から与えられる閾値である。
［推定変移量の参照フレームと符号化器変移量の参照フレームとが異なる場合］
処理対象のマクロブロックが第ｔフレームに存在し、推定変移量が第ｔ−ｒe フレームを参照し、符号化器変移量が第ｔ−ｒc フレームを参照する場合にあって、次の２つの条件を満たす場合、歪み量に対する重み付けは行わないこととする。
処理対象のマクロブロックが第ｔフレームに存在し、推定変移量が第ｔ−ｒe フレームを参照し、符号化器変移量が第ｔ−ｒc フレームを参照する場合にあって、次の２つの条件を満たす場合、歪み量に対する重み付けは行わないこととする。
つまり、推定変移量の参照フレームと符号化器変移量の参照フレームとが異なる場合、２つの変移量を隣接フレーム間の変移量に正規化した値を評価に用いる。また、ｒc ，ｒe は正負いずれの値もとりうる。正値の場合は前方予測、負値の場合は後方予測にあたる。このため、各変移量をｒc ，ｒe で除算するのは、ベクトルの長さの正規化とあわせて、ベクトルの方向が異なる場合に、両ベクトルの方向をそろえる意味も有る。
［Ｂフレームにおけるスキップモードの場合］
Ｂフレームにおけるスキップモードの場合、符号化器変移量の算出方法として２種類の方法（spatial directとtemporal direct)が規定されている。
Ｂフレームにおけるスキップモードの場合、符号化器変移量の算出方法として２種類の方法（spatial directとtemporal direct)が規定されている。
（ｉ）temporal direct の場合
符号化器変移量は、アンカーピクチャ（通常、表示順序で符号化対象フレームの後方の一番近い参照フレーム）において、符号化対象ブロックと同一位置にあるブロックであるアンカーブロックの変移量（アンカー変移量と呼ぶ）を用いて設定する。アンカー変移量をｄCol とし、アンカーピクチャとその参照フレームとの間の時間間隔をｔd とし、同参照フレームと符号化対象フレームとの間の時間間隔をｔb として、双方向予測の動きベクトルは以下のように求められる。
符号化器変移量は、アンカーピクチャ（通常、表示順序で符号化対象フレームの後方の一番近い参照フレーム）において、符号化対象ブロックと同一位置にあるブロックであるアンカーブロックの変移量（アンカー変移量と呼ぶ）を用いて設定する。アンカー変移量をｄCol とし、アンカーピクチャとその参照フレームとの間の時間間隔をｔd とし、同参照フレームと符号化対象フレームとの間の時間間隔をｔb として、双方向予測の動きベクトルは以下のように求められる。
双方向予測の動きベクトルは、いずれも、アンカー変移量から求まることが上式より分かる。そこで、次の２つの条件を満たす場合、歪み量に対する重み付けは行わないこととする。
見かけ上、双方向予測の動きベクトルは２本であっても、２つのベクトルの方向はアンカー変移量と従属な関係にある。このため、推定変移量とアンカー変移量とについて評価すれば、双方向予測の２つのベクトルと推定変移量との各乖離度を得ることができる。このため、上式では、推定変移量とアンカー変移量の乖離度を評価尺度として用いている。
（ii）spatial directの場合
アンカー変移量の値によって、以下のいずれかを決定する。
アンカー変移量の値によって、以下のいずれかを決定する。
・双方向予測の動きベクトルを零ベクトルに設定する
・近傍マクロブロックの動きベクトルから導出する
双方向予測の動きベクトルをｄL0及びｄL1とし、各参照フレームを第ｔ−ｒc0フレーム及び第ｔ−ｒc1フレームとすると、次の条件を満たす場合、歪み量に対する重み付けは行わないこととする。
・近傍マクロブロックの動きベクトルから導出する
双方向予測の動きベクトルをｄL0及びｄL1とし、各参照フレームを第ｔ−ｒc0フレーム及び第ｔ−ｒc1フレームとすると、次の条件を満たす場合、歪み量に対する重み付けは行わないこととする。
本発明では、このような評価関数を用いて、符号化する際に用いる変位量（符号化器変移量）と符号化に先立って算出した推定変位量との乖離度と、その推定変位量の大きさとを評価して、それに基づいて、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを判断する場合は、スキップモード以外の予測モードをそのブロックの最適な予測モードとして決定するようにするのである。
本発明では、時空間コントラスト感度関数に基づく歪み量への重み付けを行った場合、スキップモードが大きな画質劣化を含んでいるにもかかわらず、最適な予測モードとして選択されることがないよう、スキップモードの主観画質を適切に評価した符号化歪みの尺度を導入することで、画質劣化の誘発を回避している。
これにより、本発明によれば、スキップモードにおける画質劣化を回避し、スキップモードの符号量削減のメリットを最大限享受することが可能となる。つまり、動きベクトルとして予測ベクトルを用いることを指示するスキップモードに対しても、視覚的には検知され難い領域に対して符号量の削減を行うため、復号画像の主観画質を保ちながら、効率的に符号量を削減できるようになる。
以下、実施の形態に従って本発明を詳細に説明する。
図１に、本発明を具備する映像符号化装置１の装置構成を図示する。
本発明を具備する映像符号化装置１は、Ｈ．２６４に従って動画像を符号化する処理を行うものであり、この図に示すように、符号化対象マクロブロックの符号化に用いる符号化パラメータを決定する符号化パラメータ決定部１０と、符号化パラメータ決定部１０の決定した符号化パラメータを使って符号化対象マクロブロックを符号化する符号化部２０とを備える。
この符号化パラメータ決定部１０は、符号化パラメータの１つである予測モードを決定するために、符号化対象フレーム信号と参照フレーム信号と量子化パラメータとを入力として、符号化対象マクロブロックの予測モードを決定するという処理を行う予測モード決定部１１を備えるものであり、そして、この予測モード決定部１１は、その決定を行うために、符号化対象マクロブロックの推定変位量を算出する推定変位量算出部１２を備える。
図２に、符号化パラメータ決定部１０の実行するフローチャートの一例を図示する。ここで、このフローチャートでは、符号化パラメータ決定部１０が量子化パラメータおよび予測モードを決定することを想定している。
符号化パラメータ決定部１０は、符号化対象マクロブロックの符号化に用いる量子化パラメータおよび予測モードを決定する場合には、図２のフローチャートに示すように、先ず最初に、ステップＳ１０で、レジスタＣに対して大きな値を示す初期コストを格納するとともに、レジスタＭに対して意味のない値を格納することで、レジスタＣおよびレジスタＭを初期化する。
続いて、ステップＳ１１で、量子化パラメータの値を格納する変数ＱＰに、量子化パラメータの最小値ＱＰmin を設定する。
続いて、ステップＳ１２で、変数ＱＰに設定した量子化パラメータを指定して予測モード決定部１１を起動することで、変数ＱＰに設定した量子化パラメータにおける最適な予測モードを決定する。このとき実行する予測モードの決定処理については、図３及び図５のフローチャートに従って後述する。
続いて、ステップＳ１３で、変数ＱＰに設定した量子化パラメータと、ステップＳ１２で決定した予測モードとを用いて符号化する場合のコストを算出する。
続いて、ステップＳ１４で、ステップＳ１３で算出したコストがレジスタＣに格納されるコストよりも小さいのか否かを判断する。
この判断処理に従って、ステップＳ１３で算出したコストの方が小さいことを判断するときには、ステップＳ１５に進んで、ステップＳ１３で算出したコストをレジスタＣに格納し、続くステップＳ１６で、変数ＱＰに設定した量子化パラメータと、ステップＳ１２で決定した予測モードの識別情報との組情報をレジスタＭに格納する。一方、ステップＳ１３で算出したコストの方が大きいことを判断するときには、このステップＳ１５，１６の処理を省略する。
続いて、ステップＳ１７で、変数ＱＰに設定した量子化パラメータの値がその最大値ＱＰmax を超えたのか否かを判断して、最大値ＱＰmax を超えていないことを判断するときには、ステップＳ１８に進んで、変数ＱＰに設定した量子化パラメータの値を規定量ΔＱＰだけ増分させてから、ステップＳ１２の処理に戻る。
このようにして、ステップＳ１２〜ステップＳ１８の処理を繰り返していくことで、ステップＳ１７で、変数ＱＰに設定した量子化パラメータの値がその最大値ＱＰmax を超えたことを判断すると、ステップＳ１９に進んで、レジスタＭに格納される量子化パラメータおよび予測モードを用いて符号化することを決定して、量子化パラメータおよび予測モードの決定処理を終了する。
〔１〕第１の実施形態例
図３に、予測モード決定部１１の実行するフローチャートの一実施形態例を図示する。
図３に、予測モード決定部１１の実行するフローチャートの一実施形態例を図示する。
次に、このフローチャートに従って、本実施形態例において予測モード決定部１１が実行する予測モードの決定処理について詳細に説明する。
予測モード決定部１１は、符号化対象マクロブロックについて量子化パラメータを指定して予測モードの決定要求が発行されると、図３のフローチャートに示すように、先ず最初に、ステップＳ１００で、レジスタＸに対して予測モードの初期値（初期値となる予測モードの識別情報）を設定し、さらに、Ｒ−Ｄコストを格納することになる２つのレジスタＣ０，Ｃ１に対して大きな値を示す初期コストを格納するとともに、予測モードの識別情報を格納することになる２つのレジスタＭ０，Ｍ１に対して意味のない値を格納することで、レジスタＸ，Ｃ０，Ｃ１，Ｍ０，Ｍ１を初期化する。
なお、以下に説明するように、これらのレジスタＸ，Ｃ０，Ｃ１，Ｍ０，Ｍ１の他に、符号量を格納するレジスタαと、未定乗数を格納するレジスタβと、重み付き歪み量を格納するレジスタγ０と、重みなし歪み量を格納するレジスタγ１という４つのレジスタを使用している。
続いて、ステップＳ１０１で、符号化対象マクロブロックの変移量を推定する。この推定手法については、外部より与えられるものとする。例えば、Ｈ．２６４の参照ソフトＪＭが算出する動きベクトルを、以下で使用する変移量の推定値として用いることも可能である。あるいは、符号化対象マクロブロックと参照マクロブロックとの絶対値誤差和を最小化する規範に従って、推定変位量を算出することも可能である。
続いて、ステップＳ１０２で、レジスタＸの予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の符号量を算出し、その算出した値をレジスタαに書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
続いて、ステップＳ１０３で、レジスタＸの予測モード、量子化パラメータを入力として、その予測モードを用いて符号化する場合の未定乗数を算出し、その算出した値をレジスタβに書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
続いて、ステップＳ１０４で、最初に、ステップＳ１０１で算出した推定変位量に基づいて重みを決定し、次に、レジスタＸの予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その予測モードを用いて符号化する場合の重み付き歪み量を算出し、その算出した値をレジスタγ０に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）に従う。
続いて、ステップＳ１０５で、レジスタαに格納される符号量と、レジスタβに格納される未定乗数と、レジスタγ０に格納される重み付き歪み量とを読み出して、Ｒ−Ｄコストを算出する。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）に従う。
続いて、ステップＳ１０６で、その算出したＲ−ＤコストとレジスタＣ０の値とを比較して、その算出したＲ−Ｄコストの方がレジスタＣ０の値よりも小さいことを判断するときには、ステップＳ１０７に進んで、その算出したＲ−ＤコストをレジスタＣ０に格納し、続くステップＳ１０８で、レジスタＸに格納されている予測モードの識別情報をレジスタＭ０に格納する。一方、ステップＳ１０６で、算出したＲ−Ｄコストの方がレジスタＣ０の値よりも大きいことを判断するときには、このステップＳ１０７，１０８の処理を省略する。
このステップＳ１０４〜ステップＳ１０８の処理と並列処理する形で、ステップＳ１０４ｘ〜ステップＳ１０８ｘの処理を実行する。
すなわち、ステップＳ１０４ｘで、レジスタＸの予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の重みなし歪み量を算出し、その算出した値をレジスタγ１に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）で重み付けがない（Ｗk,l Y ＝Ｗk,l U ＝Ｗk,l V ＝１）ものとしたものに従うか、あるいは、前述した式（Ｂ)(〔数２〕に示した式）に従う。
続いて、ステップＳ１０５ｘで、レジスタαに格納される符号量と、レジスタβに格納される未定乗数と、レジスタγ１に格納される重みなし歪み量とを読み出して、Ｒ−Ｄコストを算出する。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）で歪み量を重みなしの値を用いるものに従うか、あるいは、前述した式（Ａ)(〔数１〕に示した式）に従う。
続いて、ステップＳ１０６ｘで、その算出したＲ−ＤコストとレジスタＣ１の値とを比較して、その算出したＲ−Ｄコストの方がレジスタＣ１の値よりも小さいことを判断するときには、ステップＳ１０７ｘに進んで、その算出したＲ−ＤコストをレジスタＣ１に格納し、続くステップＳ１０８ｘで、レジスタＸに格納されている予測モードの識別情報をレジスタＭ１に格納する。一方、ステップＳ１０６ｘで、算出したＲ−Ｄコストの方がレジスタＣ１の値よりも大きいことを判断するときには、このステップＳ１０７ｘ，１０８ｘの処理を省略する。
ステップＳ１０８，ステップＳ１０８ｘの処理を終了すると、続いて、ステップＳ１０９で、全ての予測モードを処理したのか否かを判断して、全ての予測モードを処理してないことを判断するときには、ステップＳ１１０に進んで、予め定められる順番に従って未処理の予測モードの中から予測モードを１つ選択して、その選択した予測モードの識別情報をレジスタＸに格納してから、ステップＳ１０２に処理に戻る。
このようにして、ステップＳ１０２〜ステップＳ１１０の処理を繰り返していくことで、ステップＳ１０９で、全ての予測モードを処理したことを判断すると、ステップＳ１１１に進んで、レジスタＭ０に格納される予測モードの識別情報がスキップモードであることを示しているのか否かを判断する。
すなわち、重み付き歪み量を用いて評価したＲ−Ｄコスト最小の予測モードがスキップモードであるのか否かを判断するのである。
このステップＳ１１１の判断処理に従って、レジスタＭ０に格納される予測モードの識別情報がスキップモードでないことを判断するときには、スキップモードによる画質劣化が問題とならないことから、ステップＳ１１５に進んで、レジスタＭ０に格納される予測モードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
一方、ステップＳ１１１の判断処理に従って、レジスタＭ０に格納される予測モードの識別情報がスキップモードであることを判断するときには、ステップＳ１１２に進んで、レジスタＭ１に格納される予測モードの識別情報がスキップモードであることを示しているのか否かを判断する。
すなわち、重みなし歪み量を用いて評価したＲ−Ｄコスト最小の予測モードがスキップモードであるのか否かを判断するのである。
このステップＳ１１２の判断処理に従って、レジスタＭ１に格納される予測モードの識別情報がスキップモードであることを判断するときには、重み付き歪み量を用いても、重みなし歪み量を用いてもスキップモードが選択されたことから、ステップＳ１１５に進んで、レジスタＭ０に格納される予測モードであるスキップモードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
一方、このステップＳ１１２の判断処理に従って、レジスタＭ１に格納される予測モードの識別情報がスキップモードでないことを判断するときは、ステップＳ１１３に進んで、ステップＳ１０１で推定した推定変位量と符号化対象ブロックの予測ベクトルとの乖離度が閾値より大きく、かつ、その推定変位量の大きさが閾値より大きいのか否かの判定を行う。
すなわち、ステップＳ１１１でＲ−Ｄコスト最小の予測モードがスキップモードである判断していることで、実際に符号化する場合には周辺のマクロブロックの動きベクトルから求められる予測ベクトルを動きベクトルとして用いることになることから、ステップＳ１０１で推定した推定変位量とその予測ベクトルとを判断対象として、２つの変位量の乖離度が閾値より大きく、かつ、推定変位量の大きさが閾値より大きいのか否かの判定を行うのである。
このステップＳ１１３の判断処理に従って、２つの変位量の乖離度が閾値より大きく、かつ、推定変位量の大きさが閾値より大きいという条件が成立することを判断するときには、ステップＳ１１４に進んで、レジスタＭ１に格納される予測モードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
一方、このステップＳ１１３の判断処理に従って、２つの変位量の乖離度が閾値より大きく、かつ、推定変位量の大きさが閾値より大きいという条件が成立しないことを判断するときには、ステップＳ１１５に進んで、レジスタＭ０に格納される予測モードであるスキップモードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
このようにして、本実施形態例では、予測モード決定部１１は、符号化対象マクロブロックについて、重み付きの歪み量を使って求められたＲ−Ｄコスト最小の予測モードがスキップモードであっても、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを判断する場合には、重みなしの歪み量を使って求められたＲ−Ｄコスト最小の予測モードを最適な予測モードとして決定するように処理するのである。
図４に、本実施形態例を実現する予測モード決定部１１の装置構成の一例を図示する。
ここで、１００は変位量記憶部、１０１は予測ベクトル算出部、１０２は予測ベクトル記憶部、１０３は初期モード設定部、１０４はモード記憶部、１０５は符号量算出部、１０６は符号量記憶部、１０７は重み付き歪み量算出部、１０８は重み付き歪み量記憶部、１０９は重みなし歪み量算出部、１１０は重みなし歪み量記憶部、１１１は未定乗数算出部、１１２は未定乗数記憶部、１１３はコスト算出部、１１４はコスト記憶部、１１５は重みなしコスト算出部、１１６は重みなしコスト記憶部、１１７は最小コスト判定部、１１８は最小コスト記憶部、１１９は重みなし最小コスト記憶部、１２０はモード更新部、１２１は最適モード記憶部、１２２は重みなし最適モード記憶部、１２３は最終モード判定部、１２４はモード設定部、１２５は最適モード出力部である。
次に、これらの各処理部について説明する。
〔変位量記憶部１００〕
変位量記憶部１００は、図示しない推定変位量算出部の算出した符号化対象マクロブロックについての推定変位量を格納する。この推定変位量の推定方法としては、例えば、Ｈ．２６４の参照ソフトＪＭが算出する動きベクトルを変移量の推定値として用いることも可能である。あるいは、符号化対象マクロブロックと参照マクロブロックとの絶対値誤差和を最小化する規範に従って、推定変位量を算出することも可能である。
変位量記憶部１００は、図示しない推定変位量算出部の算出した符号化対象マクロブロックについての推定変位量を格納する。この推定変位量の推定方法としては、例えば、Ｈ．２６４の参照ソフトＪＭが算出する動きベクトルを変移量の推定値として用いることも可能である。あるいは、符号化対象マクロブロックと参照マクロブロックとの絶対値誤差和を最小化する規範に従って、推定変位量を算出することも可能である。
〔予測ベクトル算出部１０１〕
予測ベクトル算出部１０１は、符号化対象マクロブロックに隣接するマクロブロックの動きベクトル、マクロブロックの分割情報を入力として、符号化対象マクロブロックに対する予測ベクトルを算出し、予測ベクトル記憶部１０２に書き出す。具体的な算出方法は、Ｈ．２６４の規定に従う。
予測ベクトル算出部１０１は、符号化対象マクロブロックに隣接するマクロブロックの動きベクトル、マクロブロックの分割情報を入力として、符号化対象マクロブロックに対する予測ベクトルを算出し、予測ベクトル記憶部１０２に書き出す。具体的な算出方法は、Ｈ．２６４の規定に従う。
〔初期モード設定部１０３〕
初期モード設定部１０３は、予測モードの初期値をモード記憶部１０４に書き出す。
初期モード設定部１０３は、予測モードの初期値をモード記憶部１０４に書き出す。
〔符号量算出部１０５〕
符号量算出部１０５は、モード記憶部１０４の記憶する予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の符号量を算出し、その算出した値を符号量記憶部１０６に書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
符号量算出部１０５は、モード記憶部１０４の記憶する予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の符号量を算出し、その算出した値を符号量記憶部１０６に書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
〔重み付き歪み量算出部１０７〕
重み付き歪み量算出部１０７は、変位量記憶部１００に記憶される推定変位量に基づいて重みを決定するとともに、モード記憶部１０４の記憶する予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その予測モードを用いて符号化する場合の重み付き歪み量を算出し、その算出した値を重み付き歪み量記憶部１０８に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）に従う。
重み付き歪み量算出部１０７は、変位量記憶部１００に記憶される推定変位量に基づいて重みを決定するとともに、モード記憶部１０４の記憶する予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その予測モードを用いて符号化する場合の重み付き歪み量を算出し、その算出した値を重み付き歪み量記憶部１０８に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）に従う。
〔重みなし歪み量算出部１０９〕
重みなし歪み量算出部１０９は、モード記憶部１０４の記憶する予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の重みなし歪み量を算出し、その算出した値を重みなし歪み量記憶部１１０に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）で重み付けがないものとしたものに従うか、あるいは、前述した式（Ｂ)(〔数２〕に示した式）に従う。
重みなし歪み量算出部１０９は、モード記憶部１０４の記憶する予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の重みなし歪み量を算出し、その算出した値を重みなし歪み量記憶部１１０に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）で重み付けがないものとしたものに従うか、あるいは、前述した式（Ｂ)(〔数２〕に示した式）に従う。
〔未定乗数算出部１１１〕
未定乗数算出部１１１は、モード記憶部１０４の記憶する予測モード、量子化パラメータを入力として、その予測モードを用いて符号化する場合の未定乗数を算出し、その算出した値を未定乗数記憶部１１２に書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
未定乗数算出部１１１は、モード記憶部１０４の記憶する予測モード、量子化パラメータを入力として、その予測モードを用いて符号化する場合の未定乗数を算出し、その算出した値を未定乗数記憶部１１２に書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
〔コスト算出部１１３〕
コスト算出部１１３は、符号量記憶部１０６に記憶される符号量と、重み付き歪み量記憶部１０８に記憶される重み付き歪み量と、未定乗数記憶部１１２に記憶される未定乗数とを読み出して、Ｒ−Ｄコストを算出して、その算出した値をコスト記憶部１１４に書き出す。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）に従う。
コスト算出部１１３は、符号量記憶部１０６に記憶される符号量と、重み付き歪み量記憶部１０８に記憶される重み付き歪み量と、未定乗数記憶部１１２に記憶される未定乗数とを読み出して、Ｒ−Ｄコストを算出して、その算出した値をコスト記憶部１１４に書き出す。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）に従う。
〔重みなしコスト算出部１１５〕
重みなしコスト算出部１１５は、符号量記憶部１０６に記憶される符号量と、重みなし歪み量記憶部１１０に記憶される重みなし歪み量と、未定乗数記憶部１１２に記憶される未定乗数とを読み出して、Ｒ−Ｄコストを算出し、その算出した値を重みなしコスト記憶部１１６に書き出す。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）で歪み量を重みなしの値を用いるものに従うか、あるいは、前述した式（Ａ)(〔数１〕に示した式）に従う。
重みなしコスト算出部１１５は、符号量記憶部１０６に記憶される符号量と、重みなし歪み量記憶部１１０に記憶される重みなし歪み量と、未定乗数記憶部１１２に記憶される未定乗数とを読み出して、Ｒ−Ｄコストを算出し、その算出した値を重みなしコスト記憶部１１６に書き出す。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）で歪み量を重みなしの値を用いるものに従うか、あるいは、前述した式（Ａ)(〔数１〕に示した式）に従う。
〔最小コスト判定部１１７〕
最小コスト判定部１１７は、コスト記憶部１１４に記憶されるＲ−Ｄコストと、最小コスト記憶部１１８に記憶される最小コストとを読み出して、そのＲ−Ｄコストがその最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその最小コストよりも小さい場合には、そのＲ−Ｄコストを最小コスト記憶部１１８に書き出すとともに、モード更新部１２０に制御を渡す。一方、そのＲ−Ｄコストがその最小コストよりも大きい場合には、最終モード判定部１２３に制御を渡す。
最小コスト判定部１１７は、コスト記憶部１１４に記憶されるＲ−Ｄコストと、最小コスト記憶部１１８に記憶される最小コストとを読み出して、そのＲ−Ｄコストがその最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその最小コストよりも小さい場合には、そのＲ−Ｄコストを最小コスト記憶部１１８に書き出すとともに、モード更新部１２０に制御を渡す。一方、そのＲ−Ｄコストがその最小コストよりも大きい場合には、最終モード判定部１２３に制御を渡す。
そして、重みなしコスト記憶部１１６に記憶されるＲ−Ｄコストと、重みなし最小コスト記憶部１１９に記憶される最小コストとを読み出して、そのＲ−Ｄコストがその最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその最小コストよりも小さい場合には、そのＲ−Ｄコストを重みなし最小コスト記憶部１１９に書き出すとともに、モード更新部１２０に制御を渡す。一方、そのＲ−Ｄコストがその最小コストよりも大きい場合には、最終モード判定部１２３に制御を渡す。
〔モード更新部１２０〕
モード更新部１２０は、最小コスト判定部１１７が最小コスト記憶部１１８にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を最適モード記憶部１２１に書き出してから、最終モード判定部１２３に制御を渡す。
モード更新部１２０は、最小コスト判定部１１７が最小コスト記憶部１１８にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を最適モード記憶部１２１に書き出してから、最終モード判定部１２３に制御を渡す。
そして、最小コスト判定部１１７が重みなし最小コスト記憶部１１９にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を重みなし最適モード記憶部１２２に書き出してから、最終モード判定部１２３に制御を渡す。
〔最終モード判定部１２３〕
最終モード判定部１２３は、最小コスト判定部１１７やモード更新部１２０から制御が渡されると、モード設定部１２４が全ての予測モードの設定を終了したのか否かを判断して、全ての予測モードの設定を終了したことを判断するときには、最適モード出力部１２５に対して最適な予測モードの出力を指示し、全ての予測モードの設定を終了していないことを判断するときには、モード設定部１２４に対して次の予測モードの設定を指示する。
最終モード判定部１２３は、最小コスト判定部１１７やモード更新部１２０から制御が渡されると、モード設定部１２４が全ての予測モードの設定を終了したのか否かを判断して、全ての予測モードの設定を終了したことを判断するときには、最適モード出力部１２５に対して最適な予測モードの出力を指示し、全ての予測モードの設定を終了していないことを判断するときには、モード設定部１２４に対して次の予測モードの設定を指示する。
〔モード設定部１２４〕
モード設定部１２４は、最終モード判定部１２３から予測モードの設定指示があると、モード記憶部１０４に対して次の予測モードを設定する。
モード設定部１２４は、最終モード判定部１２３から予測モードの設定指示があると、モード記憶部１０４に対して次の予測モードを設定する。
〔最適モード出力部１２５〕
最適モード出力部１２５は、最終モード判定部１２３から最適な予測モードの出力指示があると、最適モード記憶部１２１に記憶される予測モードがスキップモードであるのか否かの判定を行い、スキップモードでない場合には、最適モード記憶部１２１に記憶される予測モードを符号化対象ブロックの最適な予測モードとして出力する。
最適モード出力部１２５は、最終モード判定部１２３から最適な予測モードの出力指示があると、最適モード記憶部１２１に記憶される予測モードがスキップモードであるのか否かの判定を行い、スキップモードでない場合には、最適モード記憶部１２１に記憶される予測モードを符号化対象ブロックの最適な予測モードとして出力する。
一方、最適モード記憶部１２１に記憶される予測モードがスキップモードである場合には、重みなし最適モード記憶部１２２に記憶される予測モードがスキップモードであるのか否かの判定を行い、スキップモードである場合には、最適モード記憶部１２１に記憶されるスキップモードを符号化対象ブロックの最適な予測モードとして出力する。
一方、最適モード記憶部１２１に記憶される予測モードがスキップモードで、重みなし最適モード記憶部１２２に記憶される予測モードがスキップモードでない場合には、変位量記憶部１００に記憶される推定変位量と、予測ベクトル記憶部１０２に記憶される予測ベクトルとを読み出して、その推定変位量とその予測ベクトルとの乖離度を算出するとともに、変移推定量の大きさを算出して、その乖離度が閾値よりも大きく、かつ、その変移推定量の大きさが閾値よりも大きいのか否かの判定を行う。そして、その判定結果に基づいて、推定変位量と予測ベクトルとの乖離度が大きく、かつ、変移推定量が大きいという条件が成立する場合には、重みなし最適モード記憶部１２２に記憶される予測モードを符号化対象ブロックの最適な予測モードとして出力し、その条件が成立しない場合には、最適モード記憶部１２１に記憶されるスキップモードを符号化対象ブロックの最適な予測モードとして出力する。
この図４に示す構成に従って、予測モード決定部１１は、図３のフローチャートの処理を実行することで、符号化対象マクロブロックについて、重み付きの歪み量を使って求められたＲ−Ｄコスト最小の予測モードがスキップモードであっても、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを判断する場合には、重みなしの歪み量を使って求められたＲ−Ｄコスト最小の予測モードを符号化対象ブロックの最適な予測モードとして決定するように処理するのである。
〔２〕第２の実施形態例
図５に、予測モード決定部１１の実行するフローチャートの他の実施形態例を図示する。
図５に、予測モード決定部１１の実行するフローチャートの他の実施形態例を図示する。
次に、このフローチャートに従って、本実施形態例において予測モード決定部１１が実行する予測モードの決定処理について詳細に説明する。
予測モード決定部１１は、符号化対象マクロブロックについて量子化パラメータを指定して予測モードの決定要求が発行されると、図５のフローチャートに示すように、先ず最初に、ステップＳ２００で、レジスタＸに対して予測モードの初期値（初期値となる予測モードの識別情報）を設定し、さらに、Ｒ−Ｄコストを格納することになる３つのレジスタＣ０，Ｃ１，Ｃ２に対して大きな値を示す初期コストを格納するとともに、予測モードの識別情報を格納することになる３つのレジスタＭ０，Ｍ１，Ｍ２に対して意味のない値を格納することで、レジスタＸ，Ｃ０〜Ｃ２，Ｍ０〜Ｍ２を初期化する。
なお、以下に説明するように、これらのレジスタＸ，Ｃ０〜Ｃ２，Ｍ０〜Ｍ２の他に、符号量を格納するレジスタαと、未定乗数を格納するレジスタβと、重み付き歪み量を格納するレジスタγ０と、重みなし歪み量を格納するレジスタγ１という４つのレジスタを使用している。
続いて、ステップＳ２０１で、符号化対象マクロブロックの変移量を推定する。この推定手法については、外部より与えられるものとする。例えば、Ｈ．２６４の参照ソフトＪＭが算出する動きベクトルを、以下で使用する変移量の推定値として用いることも可能である。あるいは、符号化対象マクロブロックと参照マクロブロックとの絶対値誤差和を最小化する規範に従って、推定変位量を算出することも可能である。
続いて、ステップＳ２０２で、レジスタＸの予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の符号量を算出し、その算出した値をレジスタαに書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
続いて、ステップＳ２０３で、レジスタＸの予測モード、量子化パラメータを入力として、その予測モードを用いて符号化する場合の未定乗数を算出し、その算出した値をレジスタβに書き出す。具体的な算出方法は、Ｈ．２６４の参照ソフトＪＭの方法に従う。
続いて、ステップＳ２０４で、最初に、ステップＳ２０１で算出した推定変位量に基づいて重みを決定し、次に、レジスタＸの予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、それらの入力信号とその決定した重みとに基づいて、その予測モードを用いて符号化する場合の重み付き歪み量を算出し、その算出した値をレジスタγ０に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）に従う。
続いて、ステップＳ２０５で、レジスタαに格納される符号量と、レジスタβに格納される未定乗数と、レジスタγ０に格納される重み付き歪み量とを読み出して、Ｒ−Ｄコストを算出する。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）に従う。
続いて、ステップＳ２０６で、その算出したＲ−ＤコストとレジスタＣ０の値とを比較して、その算出したＲ−Ｄコストの方がレジスタＣ０の値よりも小さいことを判断するときには、ステップＳ２０７に進んで、その算出したＲ−ＤコストをレジスタＣ０に格納し、続くステップＳ２０８で、レジスタＸに格納されている予測モードの識別情報をレジスタＭ０に格納する。
一方、ステップＳ２０６の判断処理で、ステップＳ２０５で算出したＲ−Ｄコストの方がレジスタＣ０の値よりも大きいことを判断するときには、ステップＳ２０９に進んで、その算出したＲ−ＤコストとレジスタＣ２の値とを比較し、その算出したＲ−Ｄコストの方がレジスタＣ２の値よりも小さいことを判断するときには、ステップＳ２１０に進んで、その算出したＲ−ＤコストをレジスタＣ２に格納し、続くステップＳ２１１で、レジスタＸに格納されている予測モードの識別情報をレジスタＭ１に格納する。一方、ステップＳ２０９で、その算出したＲ−Ｄコストの方が大きいことを判断するときには、このステップＳ２１０，２１１の処理を省略する。
このようにして、レジスタＣ０には、これまでの処理の求められた最小コストが格納されるとともに、それに対応して、レジスタＭ０には、その最小コストを実現する予測モードの識別情報が格納され、そして、レジスタＣ２には、これまでの処理の求められた最小コストに続く小さなコストが格納されるとともに、それに対応して、レジスタＭ０には、その最小コストに続く小さなコストを実現する予測モードの識別情報が格納されることになる。
このステップＳ２０４〜ステップＳ２１１の処理と並列処理する形で、ステップＳ２０４ｘ〜ステップＳ２０８ｘの処理を実行する。
すなわち、ステップＳ２０４ｘで、レジスタＸの予測モード、予測ベクトル、量子化パラメータ、符号化対象フレーム信号、参照フレーム信号を入力として、その予測モードを用いて符号化する場合の重みなし歪み量を算出し、その算出した値をレジスタγ１に書き出す。具体的な算出方法は、前述した式（Ｄ)(〔数９〕に示した式）で重み付けがないものとしたものに従うか、あるいは、前述した式（Ｂ)(〔数２〕に示した式）に従う。
続いて、ステップＳ２０５ｘで、レジスタαに格納される符号量と、レジスタβに格納される未定乗数と、レジスタγ１に格納される重みなし歪み量とを読み出して、Ｒ−Ｄコストを算出する。具体的な算出方法は、前述した式（Ｃ)(〔数８〕に示した式）で歪み量を重みなしの値を用いるものに従うか、あるいは、前述した式（Ａ)(〔数１〕に示した式）に従う。
続いて、ステップＳ２０６ｘで、その算出したＲ−ＤコストとレジスタＣ１の値とを比較して、その算出したＲ−Ｄコストの方がレジスタＣ１の値よりも小さいことを判断するときには、ステップＳ２０７ｘに進んで、その算出したＲ−ＤコストをレジスタＣ１に格納し、続くステップＳ２０８ｘで、レジスタＸに格納されている予測モードの識別情報をレジスタＭ１に格納する。一方、ステップＳ２０６ｘで、算出したＲ−Ｄコストの方がレジスタＣ１の値よりも大きいことを判断するときには、このステップＳ２０７ｘ，２０８ｘの処理を省略する。
ステップＳ２０８，ステップＳ２０８ｘ，ステップＳ２１１の処理を終了すると、続いて、ステップＳ２１２で、全ての予測モードを処理したのか否かを判断して、全ての予測モードを処理してないことを判断するときには、ステップＳ２１３に進んで、予め定められる順番に従って未処理の予測モードの中から予測モードを１つ選択し、その選択した予測モードの識別情報をレジスタＸに格納してから、ステップＳ２０２に処理に戻る。
このようにして、ステップＳ２０２〜ステップＳ２１３の処理を繰り返していくことで、ステップＳ２１２で、全ての予測モードを処理したことを判断すると、ステップＳ２１４に進んで、レジスタＭ０に格納される予測モードの識別情報がスキップモードであることを示しているのか否かを判断する。
すなわち、重み付き歪み量を用いて評価したＲ−Ｄコスト最小の予測モードがスキップモードであるのか否かを判断するのである。
このステップＳ２１４の判断処理に従って、レジスタＭ０に格納される予測モードの識別情報がスキップモードでないことを判断するときには、スキップモードによる画質劣化が問題とならないことから、ステップＳ２１８に進んで、レジスタＭ０に格納される予測モードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
一方、ステップＳ２１４の判断処理に従って、レジスタＭ０に格納される予測モードの識別情報がスキップモードであることを判断するときには、ステップＳ２１５に進んで、レジスタＭ１に格納される予測モードの識別情報がスキップモードであることを示しているのか否かを判断する。
すなわち、重みなし歪み量を用いて評価したＲ−Ｄコスト最小の予測モードがスキップモードであるのか否かを判断するのである。
このステップＳ２１５の判断処理に従って、レジスタＭ１に格納される予測モードの識別情報がスキップモードであることを判断するときには、重み付き歪み量を用いても、重みなし歪み量を用いてもスキップモードが選択されたことから、ステップＳ２１８に進んで、レジスタＭ０に格納される予測モードであるスキップモードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
一方、このステップＳ２１５の判断処理に従って、レジスタＭ１に格納される予測モードの識別情報がスキップモードでないことを判断するときは、ステップＳ２１６に進んで、ステップＳ２０１で推定した推定変位量と符号化対象ブロックの予測ベクトルとの乖離度が閾値より大きく、かつ、その推定変位量の大きさが閾値より大きいのか否かの判定を行う。
すなわち、ステップＳ２１４でＲ−Ｄコスト最小の予測モードがスキップモードである判断していることで、実際に符号化する場合には周辺のマクロブロックの動きベクトルから求められる予測ベクトルを動きベクトルとして用いることになることから、ステップＳ２０１で推定した推定変位量とその予測ベクトルとを判断対象として、２つの変位量の乖離度が閾値より大きく、かつ、推定変位量の大きさが閾値より大きいのか否かの判定を行うのである。
このステップＳ２１６の判断処理に従って、２つの変位量の乖離度が閾値より大きく、かつ、推定変位量の大きさが閾値より大きいという条件が成立することを判断するときには、ステップＳ２１７に進んで、レジスタＭ２に格納される予測モードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
一方、このステップＳ２１６の判断処理に従って、２つの変位量の乖離度が閾値より大きく、かつ、推定変位量の大きさが閾値より大きいという条件が成立しないことを判断するときには、ステップＳ２１８に進んで、レジスタＭ０に格納される予測モードであるスキップモードを符号化対象ブロックの最適な予測モードとして出力して、処理を終了する。
このようにして、本実施形態例では、予測モード決定部１１は、符号化対象マクロブロックについて、重み付きの歪み量を使って求められたＲ−Ｄコスト最小の予測モードがスキップモードであっても、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを判断する場合には、その次に小さなＲ−Ｄコストの予測モードを最適な予測モードとして決定するのである。
図６に、本実施形態例を実現する予測モード決定部１１の装置構成の一例を図示する。
この図６に示す装置構成と図４に示す装置構成との違いは、この図６に示す構成では、新たに準最小コスト記憶部２００および準最適モード記憶部２０１を備えるとともに、 図４に示す最小コスト判定部１１７とは異なる処理を実行する最小コスト判定部１１７αと、図４に示すモード更新部１２０とは異なる処理を実行するモード更新部１２０αと、図４に示す最適モード出力部１２５とは異なる処理を実行する最適モード出力部１２５αとを備えるという点である。
次に、これらの各処理部について説明するが、変位量記憶部１００、予測ベクトル算出部１０１、初期モード設定部１０３、符号量算出部１０５、重み付き歪み量算出部１０７、重みなし歪み量算出部１０９、未定乗数算出部１１１、コスト算出部１１３および重みなしコスト算出部１１５の処理については、図４で説明したものと同じであるので、その説明を省略する。
〔最小コスト判定部１１７α〕
最小コスト判定部１１７αは、コスト記憶部１１４に記憶されるＲ−Ｄコストと、最小コスト記憶部１１８に記憶される最小コストとを読み出して、そのＲ−Ｄコストがその最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその最小コストよりも小さい場合には、そのＲ−Ｄコストを最小コスト記憶部１１８に書き出すとともに、モード更新部１２０αに制御を渡す。
最小コスト判定部１１７αは、コスト記憶部１１４に記憶されるＲ−Ｄコストと、最小コスト記憶部１１８に記憶される最小コストとを読み出して、そのＲ−Ｄコストがその最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその最小コストよりも小さい場合には、そのＲ−Ｄコストを最小コスト記憶部１１８に書き出すとともに、モード更新部１２０αに制御を渡す。
一方、そのＲ−Ｄコストがその最小コストよりも大きい場合には、コスト記憶部１１４に記憶されるＲ−Ｄコストと、準最小コスト記憶部２００に記憶される準最小コスト（２番目に小さなコスト）とを読み出して、そのＲ−Ｄコストがその準最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその準最小コストよりも小さい場合には、そのＲ−Ｄコストを準最小コスト記憶部２００に書き出すとともに、モード更新部１２０αに制御を渡す。一方、そのＲ−Ｄコストがその準最小コストよりも大きい場合には、最終モード判定部１２３に制御を渡す。
そして、重みなしコスト記憶部１１６に記憶されるＲ−Ｄコストと、重みなし最小コスト記憶部１１９に記憶される最小コストとを読み出して、そのＲ−Ｄコストがその最小コストよりも小さいのか否かの判定を行い、そのＲ−Ｄコストがその最小コストよりも小さい場合には、そのＲ−Ｄコストを重みなし最小コスト記憶部１１９に書き出すとともに、モード更新部１２０αに制御を渡す。一方、そのＲ−Ｄコストがその最小コストよりも大きい場合には、最終モード判定部１２３に制御を渡す。
〔モード更新部１２０α〕
モード更新部１２０αは、最小コスト判定部１１７αが最小コスト記憶部１１８にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を最適モード記憶部１２１に書き出してから、最終モード判定部１２３に制御を渡す。
モード更新部１２０αは、最小コスト判定部１１７αが最小コスト記憶部１１８にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を最適モード記憶部１２１に書き出してから、最終モード判定部１２３に制御を渡す。
そして、最小コスト判定部１１７αが準最小コスト記憶部２００にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を準最適モード記憶部２０１に書き出してから、最終モード判定部１２３に制御を渡す。
そして、最小コスト判定部１１７αが重みなし最小コスト記憶部１１９にＲ−Ｄコストを書き出すときに、そのＲ−Ｄコストの算出元となった予測モード（その時点でモード記憶部１０４に記憶されている予測モード）の識別情報を重みなし最適モード記憶部１２２に書き出してから、最終モード判定部１２３に制御を渡す。
〔最終モード判定部１２３〕
最終モード判定部１２３は、最小コスト判定部１１７αやモード更新部１２０αから制御が渡されると、モード設定部１２４が全ての予測モードの設定を終了したのか否かを判断して、全ての予測モードの設定を終了したことを判断するときには、最適モード出力部１２５αに対して最適な予測モードの出力を指示し、全ての予測モードの設定を終了していないことを判断するときには、モード設定部１２４に対して次の予測モードの設定を指示する。
最終モード判定部１２３は、最小コスト判定部１１７αやモード更新部１２０αから制御が渡されると、モード設定部１２４が全ての予測モードの設定を終了したのか否かを判断して、全ての予測モードの設定を終了したことを判断するときには、最適モード出力部１２５αに対して最適な予測モードの出力を指示し、全ての予測モードの設定を終了していないことを判断するときには、モード設定部１２４に対して次の予測モードの設定を指示する。
〔モード設定部１２４〕
モード設定部１２４は、最終モード判定部１２３から予測モードの設定指示があると、モード記憶部１０４に対して次の予測モードを設定する。
モード設定部１２４は、最終モード判定部１２３から予測モードの設定指示があると、モード記憶部１０４に対して次の予測モードを設定する。
〔最適モード出力部１２５α〕
最適モード出力部１２５αは、最終モード判定部１２３から最適モードの出力指示があると、最適モード記憶部１２１に記憶される予測モードがスキップモードであるのか否かの判定を行い、スキップモードでない場合には、最適モード記憶部１２１に記憶される予測モードを符号化対象ブロックの最適な予測モードとして出力する。
最適モード出力部１２５αは、最終モード判定部１２３から最適モードの出力指示があると、最適モード記憶部１２１に記憶される予測モードがスキップモードであるのか否かの判定を行い、スキップモードでない場合には、最適モード記憶部１２１に記憶される予測モードを符号化対象ブロックの最適な予測モードとして出力する。
一方、最適モード記憶部１２１に記憶される予測モードがスキップモードである場合には、重みなし最適モード記憶部１２２に記憶される予測モードがスキップモードであるのか否かの判定を行い、スキップモードである場合には、最適モード記憶部１２１に記憶されるスキップモードを符号化対象ブロックの最適な予測モードとして出力する。
一方、最適モード記憶部１２１に記憶される予測モードがスキップモードで、重みなし最適モード記憶部１２２に記憶される予測モードがスキップモードでない場合には、変位量記憶部１００に記憶される推定変位量と、予測ベクトル記憶部１０２に記憶される予測ベクトルとを読み出して、その推定変位量とその予測ベクトルとの乖離度を算出するとともに、変移推定量の大きさを算出して、その乖離度が閾値よりも大きく、かつ、その変移推定量の大きさが閾値よりも大きいのか否かの判定を行う。そして、その判定結果に基づいて、推定変位量と予測ベクトルとの乖離度が大きく、かつ、変移推定量が大きいという条件が成立する場合には、準最適モード記憶部２０１に記憶される予測モードを符号化対象ブロックの最適な予測モードとして出力し、その条件が成立しない場合には、最適モード記憶部１２１に記憶されるスキップモードを符号化対象ブロックの最適な予測モードとして出力する。
この図６に示す構成に従って、予測モード決定部１１は、図５のフローチャートの処理を実行することで、符号化対象マクロブロックについて、重み付きの歪み量を使って求められたＲ−Ｄコスト最小の予測モードがスキップモードであっても、スキップモードで符号化したのでは大きな画質劣化を含んでいる可能性が高いことを判断する場合には、その次に小さなＲ−Ｄコストの予測モードを最適な予測モードとして決定するように処理するのである。
〔３〕本発明の有効性を検証するために行った実験の実験結果について
本発明の有効性を検証するために、本発明をＨ．２６４の参照ソフトウェアＪＳＭＶ（version 8.0.1)に実装し、デフォルトのＪＳＭＶとの比較実験を行った。
本発明の有効性を検証するために、本発明をＨ．２６４の参照ソフトウェアＪＳＭＶ（version 8.0.1)に実装し、デフォルトのＪＳＭＶとの比較実験を行った。
この実験で用いた符号化対象のシーケンスは、サイズ３５２×２８８[pixles]の“Mobile＆Calender", "City”である。また、いずれのシーケンスもフレームレート３０[fps] である。ＧＯＰ構造はＩ，Ｐピクチャからなり、Ｉピクチャの挿入間隔を１５フレームとした。量子化パラメータはＩ，Ｐピクチャいずれに対してもＱＰ＝２８とした。
この実験により得られた符号量の比較結果を下記の表に示す。
この実験結果から、本発明は、ＪＳＭＶに対して１．１５〜４．１４％の符号量低減を実現していることを確認できた。これにより本発明の有効性を検証することができた。なお、この実験で得た両手法の復号画像には、主観的な画質の差が認められないことを確認している。
本発明は、動きベクトルとして予測ベクトルを用いることを指示するスキップモードを持つ動画像符号化に適用できるものであり、本発明を適用することで、スキップモードにおける画質劣化を回避しつつ、スキップモードの符号量削減のメリットを最大限享受することができるようになる。
１ 映像符号化装置
１０ 符号化パラメータ決定部
１１ 予測モード決定部
１２ 推定変位量算出部
２０ 符号化部
１００ 変位量記憶部
１０１ 予測ベクトル算出部
１０２ 予測ベクトル記憶部
１０３ 初期モード設定部
１０４ モード記憶部
１０５ 符号量算出部
１０６ 符号量記憶部
１０７ 重み付き歪み量算出部
１０８ 重み付き歪み量記憶部
１０９ 重みなし歪み量算出部
１１０ 重みなし歪み量記憶部
１１１ 未定乗数算出部
１１２ 未定乗数記憶部
１１３ コスト算出部
１１４ コスト記憶部
１１５ 重みなしコスト算出部
１１６ 重みなしコスト記憶部
１１７ 最小コスト判定部
１１８ 最小コスト記憶部
１１９ 重みなし最小コスト記憶部
１２０ モード更新部
１２１ 最適モード記憶部
１２２ 重みなし最適モード記憶部
１２３ 最終モード判定部
１２４ モード設定部
１２５ 最適モード出力部
２００ 準最小コスト記憶部
２０１ 準最適モード記憶部
１０ 符号化パラメータ決定部
１１ 予測モード決定部
１２ 推定変位量算出部
２０ 符号化部
１００ 変位量記憶部
１０１ 予測ベクトル算出部
１０２ 予測ベクトル記憶部
１０３ 初期モード設定部
１０４ モード記憶部
１０５ 符号量算出部
１０６ 符号量記憶部
１０７ 重み付き歪み量算出部
１０８ 重み付き歪み量記憶部
１０９ 重みなし歪み量算出部
１１０ 重みなし歪み量記憶部
１１１ 未定乗数算出部
１１２ 未定乗数記憶部
１１３ コスト算出部
１１４ コスト記憶部
１１５ 重みなしコスト算出部
１１６ 重みなしコスト記憶部
１１７ 最小コスト判定部
１１８ 最小コスト記憶部
１１９ 重みなし最小コスト記憶部
１２０ モード更新部
１２１ 最適モード記憶部
１２２ 重みなし最適モード記憶部
１２３ 最終モード判定部
１２４ モード設定部
１２５ 最適モード出力部
２００ 準最小コスト記憶部
２０１ 準最適モード記憶部
Claims (11)
- フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定する符号化パラメータ決定方法であって、
符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する過程と、
時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と前記推定変位量とに基づいて、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する過程と、
前記該当のブロックでないと判断した前記判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、前記該当のブロックであると判断した前記判断対象のブロックについては、前記重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードをそのブロックの最適な予測モードとして決定する過程とを備えることを、
特徴とする符号化パラメータ決定方法。 - 請求項１に記載の符号化パラメータ決定方法において、
前記判断する過程では、前記変位量と前記推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、前記推定変位量の大きさが規定の閾値より大きい場合に、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当すると判断することを、
特徴とする符号化パラメータ決定方法。 - 請求項１又は２に記載の符号化パラメータ決定方法において、
前記判断対象のブロックについて、前記重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、前記判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する過程を備えることを、
特徴とする符号化パラメータ決定方法。 - フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定する符号化パラメータ決定方法であって、
符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する過程と、
時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と前記推定変位量とに基づいて、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する過程と、
前記該当のブロックでないと判断した前記判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、前記該当のブロックであると判断した前記判断対象のブロックについては、前記コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定する過程とを備え、
前記判断する過程では、前記変位量と前記推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、前記推定変位量の大きさが規定の閾値より大きい場合に、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当すると判断することを、
特徴とする符号化パラメータ決定方法。 - フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定する符号化パラメータ決定方法であって、
符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する過程と、
時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と前記推定変位量とに基づいて、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する過程と、
前記該当のブロックでないと判断した前記判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、前記該当のブロックであると判断した前記判断対象のブロックについては、前記コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定する過程とを備え、
さらに、前記判断対象のブロックについて、前記重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、前記判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する過程を備えることを、
特徴とする符号化パラメータ決定方法。 - 請求項１ないし５のいずれか１項に記載の符号化パラメータ決定方法において、
前記重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードでないブロックについて、その予測モードをそのブロックの最適な予測モードとして決定する過程を備えることを、
特徴とする符号化パラメータ決定方法。 - フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定する符号化パラメータ決定装置であって、
符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する手段と、
時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と前記推定変位量とに基づいて、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する手段と、
前記該当のブロックでないと判断した前記判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、前記該当のブロックであると判断した前記判断対象のブロックについては、前記重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードをそのブロックの最適な予測モードとして決定する手段とを備えることを、
特徴とする符号化パラメータ決定装置。 - フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定する符号化パラメータ決定装置であって、
符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する手段と、
時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と前記推定変位量とに基づいて、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する手段と、
前記該当のブロックでないと判断した前記判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、前記該当のブロックであると判断した前記判断対象のブロックについては、前記コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定する手段とを備え、
前記判断する手段は、前記変位量と前記推定変位量とを比較して、その２つの変位量の乖離度が規定の閾値より大きく、かつ、前記推定変位量の大きさが規定の閾値より大きい場合に、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当すると判断することを、
特徴とする符号化パラメータ決定装置。 - フレーム内予測およびフレーム間予測により得られた予測誤差信号に対して、変換符号化および量子化による情報圧縮を行う画像符号化に用いる符号化パラメータを決定する符号化パラメータ決定装置であって、
符号化対象のブロックについて、符号化処理に先立って、画像信号の時間的な動きを示す推定変位量を算出する手段と、
時空間視覚感度を示す感度係数を用いて重み付けされた歪み量を用いてコストを算出することで選択されたコスト最小の予測モードがスキップモードであるブロックを判断対象として、そのブロックを符号化する際に用いる変位量と前記推定変位量とに基づいて、スキップモードで符号化すると画質劣化が大きくなる可能性の高いブロックに該当するのか否かを判断する手段と、
前記該当のブロックでないと判断した前記判断対象のブロックについては、スキップモードをそのブロックの最適な予測モードとして決定し、前記該当のブロックであると判断した前記判断対象のブロックについては、前記コスト最小のスキップモードの次にコストの小さなものとして選択された予測モードをそのブロックの最適な予測モードとして決定する手段とを備え、
さらに、前記判断対象のブロックについて、前記重み付けがされない歪み量を用いてコストを算出することで選択されたコスト最小の予測モードもまたスキップモードである場合には、前記判断処理を行うことなく、スキップモードをそのブロックの最適な予測モードとして決定する手段を備えることを、
特徴とする符号化パラメータ決定装置。 - 請求項１ないし６のいずれか１項に記載の符号化パラメータ決定方法の実現に用いられる処理をコンピュータに実行させるための符号化パラメータ決定プログラム。
- 請求項１ないし６のいずれか１項に記載の符号化パラメータ決定方法の実現に用いられる処理をコンピュータに実行させるための符号化パラメータ決定プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007180910A JP4709187B2 (ja) | 2007-07-10 | 2007-07-10 | 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007180910A JP4709187B2 (ja) | 2007-07-10 | 2007-07-10 | 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009021673A JP2009021673A (ja) | 2009-01-29 |
| JP4709187B2 true JP4709187B2 (ja) | 2011-06-22 |
Family
ID=40360944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007180910A Active JP4709187B2 (ja) | 2007-07-10 | 2007-07-10 | 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4709187B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120039389A1 (en) * | 2009-04-28 | 2012-02-16 | Telefonaktiebolaget L M Ericsson | Distortion weighing |
| KR20110068792A (ko) | 2009-12-16 | 2011-06-22 | 한국전자통신연구원 | 적응적 영상 부호화 장치 및 방법 |
| JP5341786B2 (ja) * | 2010-01-20 | 2013-11-13 | 株式会社メガチップス | 画像符号化装置及び画像変換装置 |
| WO2011122659A1 (ja) * | 2010-03-30 | 2011-10-06 | シャープ株式会社 | 符号化装置および復号装置 |
| EP2582134A1 (en) * | 2011-10-12 | 2013-04-17 | Thomson Licensing | Saliency value determination of predictively encoded video streams |
| JP5702820B2 (ja) * | 2013-04-02 | 2015-04-15 | 日本電信電話株式会社 | 予測モード決定方法、動画像符号化装置、及び予測モード決定プログラム |
| US10356405B2 (en) * | 2013-11-04 | 2019-07-16 | Integrated Device Technology, Inc. | Methods and apparatuses for multi-pass adaptive quantization |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336675A (ja) * | 1997-05-30 | 1998-12-18 | Toshiba Corp | 動画像符号化方法および装置 |
| JP2005348093A (ja) * | 2004-06-03 | 2005-12-15 | Sony Corp | 画像処理装置、そのプログラムおよびその方法 |
| JP2006005466A (ja) * | 2004-06-15 | 2006-01-05 | Toshiba Corp | 画像符号化方法及び装置 |
-
2007
- 2007-07-10 JP JP2007180910A patent/JP4709187B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336675A (ja) * | 1997-05-30 | 1998-12-18 | Toshiba Corp | 動画像符号化方法および装置 |
| JP2005348093A (ja) * | 2004-06-03 | 2005-12-15 | Sony Corp | 画像処理装置、そのプログラムおよびその方法 |
| JP2006005466A (ja) * | 2004-06-15 | 2006-01-05 | Toshiba Corp | 画像符号化方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009021673A (ja) | 2009-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11538198B2 (en) | Apparatus and method for coding/decoding image selectively using discrete cosine/sine transform | |
| US8165195B2 (en) | Method of and apparatus for video intraprediction encoding/decoding | |
| KR100785589B1 (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
| KR100716999B1 (ko) | 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치 | |
| KR101177031B1 (ko) | 인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한 방법 및 장치 | |
| KR100727969B1 (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| JP4709187B2 (ja) | 符号化パラメータ決定方法、符号化パラメータ決定装置、符号化パラメータ決定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US20090238271A1 (en) | Apparatus and method for encoding and decoding using alternative converter accoding to the correlation of residual signal | |
| KR101215614B1 (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| KR100727970B1 (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| US20070171970A1 (en) | Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization | |
| US20090232211A1 (en) | Method and apparatus for encoding/decoding image based on intra prediction | |
| JP4519933B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| KR100694093B1 (ko) | 영상 블럭의 계수 예측 장치 및 그 방법 | |
| US8189673B2 (en) | Method of and apparatus for predicting DC coefficient of video data unit | |
| JP4884703B2 (ja) | 画像の空間予測符号化方法、符号化装置、復号化方法及び復号化装置 | |
| KR100727988B1 (ko) | 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치 | |
| JP4709074B2 (ja) | 動画像符号化方法，装置，そのプログラムおよびそのプログラムを記録した記録媒体 | |
| JP4709179B2 (ja) | 符号化パラメータ選択方法，符号化パラメータ選択装置，符号化パラメータ選択プログラムおよびその記録媒体 | |
| JP2006100871A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
| CN112740691A (zh) | 用于编码和解码表示至少一个图像的数据流的方法和设备 | |
| US20070064790A1 (en) | Apparatus and method for video encoding/decoding and recording medium having recorded thereon program for the method | |
| CN112740690B (zh) | 用于编码和解码代表至少一个图像的数据流的方法和设备 | |
| JP4819856B2 (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2006262075A (ja) | 画像符号化装置、画像符号化方法、および画像符号化用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110215 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110317 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |