JP4901772B2

JP4901772B2 - 動画像符号化方法及び動画像符号化装置

Info

Publication number: JP4901772B2
Application number: JP2008016817A
Authority: JP
Inventors: チョンスーンリム; ワハダニアビクター; ハンブーンテオ; 敏康杉尾; 孝啓西; 陽司柴原; 一也高木
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-02-09
Filing date: 2008-01-28
Publication date: 2012-03-21
Anticipated expiration: 2028-01-28
Also published as: US20080192824A1; US8279923B2; JP2008219870A

Description

本発明は、マルチメディアデータを符号化する符号化技術に関し、特に、画面内予測符号化を用いる動画像圧縮符号化技術に関する。

一般に、ＩＳＯ／ＩＥＣ１４４９６−２パート１０国際標準規格のような動画像符号化アルゴリズムの多くは、連続した画面間予測ピクチャからなるグループの始点でキーピクチャとしても知られる画面内ピクチャを符号化するものである。画面内符号化ピクチャは、隣接するピクチャに依存して復号化されるのではない自己完結型のピクチャである。これは、動画像復号化装置が、圧縮動画像ストリームにおけるある画面内符号化ピクチャに先行するピクチャを復号化することなく、当該画面内ピクチャを含む特定のピクチャグループ（ＧＯＰ）及び当該画面内ピクチャに続く画面間予測ピクチャを独立的に復号化するためのアクセスポイントとして時折用いられる。符号化動画像シーケンスは、ランダムアクセスや符号化動画像シーケンスの一部の復号化を容易にする数個のピクチャグループからなることがある。

「パルシング」の影響とは、ある画面内ピクチャの符号化画質が当該画面内ピクチャ以前の画面間ピクチャの画質とは異なる場合に発生する歪みである。言い換えると、パルシング歪みは、あるピクチャグループから別のピクチャグループへの移行部分に発生する。複数のピクチャグループからなる符号化動画像シーケンスにおいて、パルシング歪みは、画面内ピクチャの画質が異なることによりピクチャグループの周期ごとに発生する「パルス」状に見えるものである。パルシングの影響は、特に動画像シーケンスが非常に高い圧縮率で符号化された場合、ピクチャ内の動きが小さい領域でより目立つ。図１は、動画像シーケンスにおいて、パルシング歪みが発生するであろう場所の例を示す。同図に示されるように、パルシング歪みは、ふたつの異なるＧＯＰ間のＧＯＰ境界に発生する。

パルシングの影響を軽減するために、ある従来技術においては、画面内ピクチャ全体の画質を制御するためのレート制御アルゴリズムを用いたり、ＧＯＰ境界においてだけビットレートを変更させたりする方式がある（例えば、特許文献１参照）。通常、パルシングの影響は、画面内ピクチャが過度に圧縮された場合に生じる。そのため、パルシングの影響を軽減する方法のひとつとして、画面間ピクチャの圧縮率を上げつつ、画面内ピクチャ全体の圧縮率を下げる方法がある。しかしながら、この方法には、圧縮率を上げて画面間ピクチャの画質を低下させると、ブロッキングやリンギングなどの別の歪みが増加する結果になるという問題がある。
特開２０００−７８５７７号公報

パルシングの影響は、特にＩＳＯ／ＩＥＣ１４４９６−２パート１０国際標準規格のような動画像符号化アルゴリズムを用いて高い圧縮率で圧縮された動画像において目立つ歪みである。当該圧縮動画像の画質を改善するためには、当該動画像を符号化する前か復号化した後に、歪みを削減する必要がある。パルシングの影響を軽減するために画面内ピクチャ全体の圧縮率を下げる当該従来技術においては、ピクチャグループ全体としてある圧縮率を維持するために、高い圧縮率を用いた画面間ピクチャの画質を低下させることになるという問題がある。それゆえ、当該従来技術は、ピクチャグループ間の境界におけるパルシングの影響を削減するものの、ピクチャグループ内の画面間ピクチャにより多くの歪みを発生させている。

そこで、本発明は、上記の問題に鑑みてなされたものであって、パルシング歪みの影響を軽減化することができる動画像符号化方法等を提供することを目的とする。

上記課題を解決するために、ピクチャグループのはじめのほうにあるピクチャの画質を適応的に調整する新たな方法を導入する。本発明は、先行するピクチャグループに属するピクチャのマクロブロックとの関係に基づいて、あるピクチャグループに属するピクチャの画質を適応的に調整するという点で新しい。それゆえ、本発明は、パルシング歪みが視覚的により顕著であるピクチャ領域の画質を適応的に調整する。

本発明に係る動画像符号化方法は、既定の量子化制御変数を用いて、所定のブロック単位で動画像を符号化する動画像符号化方法であって、符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出ステップと、前記相関の度合いが所定の閾値以下である場合に、量子化ステップサイズが既定のサイズとなるように、原画ブロックの前記既定の量子化制御変数を決定する第１の決定ステップと、前記相関の度合いが所定の閾値より大きい場合に、量子化ステップサイズが前記既定のサイズよりも小さくなるように前記量子化制御変数を決定する第２の決定ステップと、前記量子化制御変数に基づいて量子化ステップサイズを決定し、所定の画像符号化ツールを用いて、決定された前記量子化ステップサイズで前記原画ブロックを符号化する画像符号化ステップとを含み、前記第２の決定ステップは、前記原画ブロックの前記既定の量子化制御変数を決定するサブステップと、前記原画ブロックに用いられる直交変換サイズを決定するサブステップと、前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブステップと、前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブステップと、前記直交変換サイズが第２のサイズであると判定された場合に、第２デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブステップとを含む。
また、動画像符号化方法は、既定の量子化マトリクスを用いて、所定のブロック単位で動画像を符号化する動画像符号化方法であって、符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出ステップと、前記相関の度合いが所定の閾値以下である場合に、量子化マトリクスの各係数が既定の係数となるように、原画ブロックの既定の量子化マトリクスを決定する第１の決定ステップと、前記相関の度合いが所定の閾値より大きい場合に、量子化マトリクスの各係数が既定の係数よりも小さくなるように決定する第２の決定ステップと、所定の画像符号化ツールを用いて、決定された前記量子化マトリクスで前記原画ブロックを符号化する画像符号化ステップとを含み、前記第２の決定ステップは、前記原画ブロックの既定の量子化マトリクスを特定するサブステップと、前記原画ブロックに用いられる直交変換サイズを決定するサブステップと、前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブステップと、前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブステップと、前記直交変換サイズが第１のサイズであると判定された場合に、第２デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブステップとを含んでもよい。

また、本発明に係る動画像符号化装置は、既定の量子化制御変数を用いて、所定のブロック単位で動画像を符号化する動画像符号化装置であって、符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出手段と、前記相関の度合いが所定の閾値以下である場合に、量子化ステップサイズが既定のサイズとなるように、原画ブロックの前記既定の量子化制御変数を決定する第１の決定手段と、前記相関の度合いが所定の閾値より大きい場合に、量子化ステップサイズが前記既定のサイズよりも小さくなるように前記量子化制御変数を決定する第２の決定手段と、前記量子化制御変数に基づいて量子化ステップサイズを決定し、所定の画像符号化ツールを用いて、決定された前記量子化ステップサイズで前記原画ブロックを符号化する画像符号化手段とを備え、前記第２の決定手段は、前記原画ブロックの前記既定の量子化制御変数を決定するサブ手段と、前記原画ブロックに用いられる直交変換サイズを決定するサブ手段と、前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブ手段と、前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブ手段と、前記直交変換サイズが第２のサイズであると判定された場合に、第２デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブ手段とを備える。
また、動画像符号化装置は、既定の量子化マトリクスを用いて、所定のブロック単位で動画像を符号化する動画像符号化装置であって、符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出手段と、前記相関の度合いが所定の閾値以下である場合に、量子化マトリクスの各係数が既定の係数となるように、原画ブロックの既定の量子化マトリクスを決定する第１の決定手段と、前記相関の度合いが所定の閾値より大きい場合に、量子化マトリクスの各係数が既定の係数よりも小さくなるように決定する第２の決定手段と、所定の画像符号化ツールを用いて、決定された前記量子化マトリクスで前記原画ブロックを符号化する画像符号化手段とを備え、前記第２の決定手段は、前記原画ブロックの既定の量子化マトリクスを特定するサブ手段と、前記原画ブロックに用いられる直交変換サイズを決定するサブ手段と、前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブ手段と、前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブ手段と、前記直交変換サイズが第１のサイズであると判定された場合に、第２デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブ手段とを備えてもよい。

なお、本発明は、上記動画像符号化方法におけるステップをコンピュータに実行させるためのプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることもできる。

さらに、本発明は、上記動画像符号化装置における特徴的な構成手段を備える集積回路として実現することもできる。

本発明の効果は、ふたつの独立したピクチャグループ間の、特に移行部分で、圧縮動画像シーケンスのパルシング歪みを削減することである。当該効果は、視覚的な画質の向上という形で現れる。

適応的画質調整処理は、画面内予測ピクチャと画面間予測ピクチャ双方のマクロブロックに適用することが可能である。適応的画質調整処理がひとつの画面内予測ピクチャのマクロブロックに適用された場合であっても、当該画面内符号化ピクチャにおけるサイズの拡大を制約するものの、圧縮動画像シーケンスのパルシング歪みを削減することはできる。これにより、圧縮動画像シーケンスの圧縮率を下げることなく動画像シーケンス全体の画質が改善される。

以下、本発明に係る動画像符号化方法及び動画像符号化装置について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態及び添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。

図２は、本発明の実施の形態に係る動画像符号化装置における画像符号化部の機能構成を示すブロック図である。図２に示されるように、画像符号化部４２２は、ピクチャメモリ２００、予測部２０２、減算部２０４、直交変換部２０６、量子化部２０８、及び係数走査部２１０を備える。量子化部２０８は、変換係数を量子化することにより、画像の圧縮率を制御する。量子化レベルは、量子化制御変数ＱＣin（例えば、量子化パラメータＱＰin又は量子化マトリクスＱＭinなど）によって決定される。例えば、量子化パラメータは、量子化ステップサイズに正比例する。つまり、量子化パラメータの値が大きいほど、量子化ステップサイズは大きくなり、それゆえ、圧縮率が大きくなる。

（第１の実施の形態）
動画像に対する適応的画質調整処理には２つのステップがある。第１のステップは、非圧縮原画サンプルの符号化対象マクロブロックと先行する非圧縮ピクチャのサンプルとの相関を決定することである。次のステップは、非圧縮原画サンプルの符号化対象マクロブロックと先行する非圧縮ピクチャのサンプルとの相関が高い場合、符号化対象マクロブロックの符号化画質を改善することである。

図３は、本発明の第１の実施の形態における適応的画質調整処理を示すフローチャートである。同図に示されるように、非圧縮原画サンプルのマクロブロックは、モジュール３００において符号化対象の非圧縮原画ピクチャから得られる。

次に、モジュール３０２において、参照ピクチャは、モジュール３０４に示されるように、ピクチャメモリに格納された原画のピクチャグループから選択される。この場合のピクチャは、フレームピクチャ又はフィールドピクチャとすることができる。本実施の形態の一例として、符号化対象ピクチャがフレームピクチャである場合、参照フレームは、当該符号化対象ピクチャに対し時間的に直近の参照フレームピクチャであるという基準に基づいて選択される。符号化対象ピクチャがフィールドピクチャである場合、当該符号化対象フィールドピクチャと同じフィールドパリティを有する直近の参照フィールドピクチャが選択される。

モジュール３０６において、非圧縮原画サンプルのマクロブロックの動きベクトルセットを導き出すために、選択された参照ピクチャに対し動き検出ステップが実施される。モジュール３０８において、予測サンプルのマクロブロックを導き出すために、導き出された動きベクトルに基づいて動き補償ステップが実施される。

モジュール３１０において、予測サンプルの導き出されたマクロブロックのサンプル値と原画サンプルのマクロブロックのサンプル値との差分絶対値和によって変化する式に基づいて、コスト値が求められる。コスト値（Ｃｏｓｔ）を求める式の一例を以下に示す。

ここで、ＳＡＤとは予測サンプルと原画サンプルとの差分絶対値和であり、Ｌａｍｂｄａは固定値であり、ＭＶＣｏｓｔは、導き出された動きベクトルに左右される要素Ｃｏｓｔを表す。Ｌａｍｂｄａの値はゼロになることがあり、その場合、要素ＭＶＣｏｓｔは、無視してもよい。

モジュール３１２において、モジュール３０６から導き出された動きベクトルの絶対値は、予め定められた第１閾値と比較される。例えば、所定の第１閾値はある整数である。次に、モジュール３１４において、モジュール３１０から求められたコストは、予め定められた第２閾値と比較される。例えば、所定の第２閾値はある整数である。

モジュール３１６に示されるように、動きベクトルの全要素の絶対値が所定の第１閾値より小さく、かつ、求められたコストが所定の第２閾値より小さい場合、モジュール３１８に示されるように、符号化対象マクロブロックの新たな量子化パラメータが決定される。量子化パラメータとは、量子化ステップサイズを制御するパラメータである。

動きベクトルのいずれかの要素の絶対値が所定の第１閾値より大きい、若しくは求められたコストが所定の第２閾値より大きい場合（３１６でＮｏ）、モジュール３２２において、求められたコストは予め定められた第３閾値と比較される。例えば、所定の第３閾値はある整数である。

求められたコストがモジュール３２４において所定の第３閾値よりも小さい場合、モジュール３１８に示されるように、符号化対象マクロブロックに対し新たな量子化パラメータが決定される。さもなくば、モジュール３２６において符号化対象マクロブロックに用いられる量子化パラメータが既定値に設定される。その後、原画サンプルの符号化対象マクロブロックは、モジュール３２０における量子化パラメータに基づき、画像符号化ツールを用いて符号化される。そのようなツールの例としては、予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。

適応的画質調整処理は、画面内予測ピクチャと画面間予測ピクチャ双方のマクロブロックに適用可能である。画面内予測ピクチャのマクロブロックのみに適用された場合、モジュール３２０において用いられる画像符号化ツールには、空間的予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。適応的画質調整処理が画面間予測ピクチャのマクロブロックに適用された場合、画面内マクロブロックに用いられる画像符号化ツールには、空間的予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。画面間マクロブロックのための画像符号化ツールには、時間的予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。

図４は、本発明における新たな量子化パラメータの決定処理の例を示すフローチャートである。

まず、モジュール７００において、符号化対象マクロブロックに対し既定の量子化パラメータが決定される。次に、モジュール７０２において、符号化対象マクロブロックに用いられる直交変換サイズが決定される。そのような直交変換の例としては、８×８変換や４×４変換がある。この例では、Ｎ×Ｎ変換とは、幅においてＮ個のサンプル×高さにおいてＮ個のサンプルの変換であり、ここでのＮは整数値であればよい。モジュール７０４において、決定された変換サイズは、８×８サイズと比較される。モジュール７０４において、当該変換サイズが、８×８サイズであった場合、当該量子化パラメータは、モジュール７０６において既定の第１デルタ量子化パラメータ値の分だけ減らされる。モジュール７０２において、当該変換サイズが、８×８ではなく、例えば４×４であった場合、当該量子化パラメータは、モジュール７０８において既定の第２デルタ量子化パラメータ値の分だけ減らされる。なお、直交変換サイズは、上記の８×８サイズや４×４サイズに限定されるものではなく、１６×１６サイズ、１６×８サイズ及び８×４サイズなど、その他のサイズであってもよい。

図４の例では、画像符号化処理において実施可能な直交変換の数は２つである。直交変換が１つだけ実施可能な場合、モジュール７０２及び７０４は必要ではなく、量子化パラメータは、ただ１つの既定のデルタ量子化パラメータ値の分だけ減らされる。

なお、図４においては、新たな量子化パラメータの決定処理について示したが、量子化ステップサイズを制御するパラメータとしては、量子化パラメータ以外に量子化マトリクスがある（以下、これらを総称して「量子化制御変数」という。）。

図５は、本発明における新たな量子化制御変数の決定処理の例を示すフローチャートである。なお、以下では、量子化制御変数として量子化マトリクスを採り上げることとする。

まず、モジュール６５０において、符号化対象マクロブロックに対し既定の量子化制御変数である量子化マトリクスが決定される。次に、モジュール６５２において、符号化対象マクロブロックに用いられる直交変換サイズが決定される。そのような直交変換サイズの例としては、図４と同様に、８×８変換や４×４変換などがある。ここでは便宜上、直交変換サイズを２種類に分類し、例えば、１６×１６サイズ、１６×８サイズ又は８×８サイズを「大きなサイズ」とし、８×４サイズ又は４×４サイズを「小さなサイズ」とする。

モジュール６５４において、決定された変換サイズの大小を判定する。変換サイズが「大きいサイズ」と判定された場合は（６５４で大）、モジュール６５６において、既定の量子化制御変数を量子化ステップサイズが小さくなるように変更する。具体的には、モジュール６５４において、変換サイズが８×８サイズであると判定された場合、当該量子化マトリクスの各係数は、モジュール６５６において、既定の第１デルタ量子化マトリクスの各係数の分だけ減らすこととする。

一方、変換サイズが「小さいサイズ」と判定された場合は（６５４で小）、モジュール６５８において、既定の量子化制御変数によって量子化ステップサイズを決定する。具体的には、モジュール６５４において、変換サイズが４×４であると判定された場合、当該量子化マトリクスの各係数は、モジュール６５８において既定の第２デルタ量子化マトリクスの各係数の分だけ減らすこととする。

図５の例では、画像符号化処理において実施可能な直交変換の数は２つである。直交変換が１つだけ実施可能な場合、モジュール６５２及び６５４は必要ではなく、量子化マトリクスの各係数は、ただ１つの既定のデルタ量子化マトリクスの各係数の分だけ減らされる。

図６は、本発明の第１の実施の形態における動画像符号化装置の機能構成を示すブロック図である。この動画像符号化装置１００は、ピクチャメモリ４００、参照ピクチャ選択部４０２、動き検出部４０４、動き補償部４０６、動きベクトル比較部４０８、コスト演算部４１０、２つのコスト比較部４１２及び４１４、２つのスイッチ部４１６及び４１８、量子化パラメータ決定部４２１、画像符号化部４２２及びエントロピー符号化部４２４を備える。

参照ピクチャ選択部４０２は、符号化対象ピクチャ情報Ｄ２及び参照ピクチャ情報Ｄ４を受信し、直近の時間距離に基づいて適切な参照ピクチャを選択し、参照インデックスＤ５を動き検出部４０４に出力する。原画サンプルＤ１のマクロブロックは、入力Ｖinとして受信される。動き検出部４０４は、原画サンプルＤ１７のマクロブロック、参照インデックスＤ５及び参照ピクチャＤ３を受信する。これは、動きベクトルセットＤ６を出力する。

動きベクトル比較部４０８は、動きベクトルセットＤ６を取り、これを所定の第１閾値と比較し、信号Ｄ９を出力する。動きベクトルの全要素の絶対値が当該第１閾値より小さい場合、信号Ｄ９は１に設定され、小さくなければ０に設定される。

その後、動き補償部４０６は、参照インデックスＤ５、動きベクトルセットＤ６、及び参照ピクチャＤ３を取る。これは、予測サンプルＤ７のマクロブロックを出力する。コスト演算部４１０は、予測サンプルＤ７のマクロブロック、原画サンプルＤ１７のマクロブロック、及び動きベクトルセットＤ６を取る。これは、コスト値Ｄ８をコスト比較部４１２に出力する。コスト比較部４１２は、コスト値Ｄ８を取り、これを所定の第２閾値と比較し、信号Ｄ１０をスイッチ部４１６に出力する。求められたコストが当該所定の第２閾値より小さい場合、信号Ｄ１０は１に設定される。小さくなければ、信号Ｄ１０は０に設定される。

スイッチ部４１６は、信号Ｄ１０及びＤ９次第で、入力Ｄ１へ出力Ｄ１２か出力Ｄ１３を接続する。信号Ｄ１０及びＤ９の両方が１であれば、Ｄ１２がＤ１に接続され、１でなければ、Ｄ１３が既定の量子化パラメータＱＰinであるＤ１に接続される。

コスト比較部４１４は、コスト値Ｄ８を取り、これを所定の第３閾値と比較し、信号Ｄ１１を第２スイッチ部４１８に出力する。求められたコストが当該所定の第３閾値より小さい場合、信号Ｄ１１は１に設定される。小さくなければ、信号Ｄ１１は０に設定される。

スイッチ部４１８は、信号Ｄ１１次第で、入力Ｄ１３へ出力Ｄ１４か出力Ｄ１５を接続する。信号Ｄ１１が１であれば、Ｄ１４がＤ１３に接続され、１でなければ、Ｄ１５がＤ１３に接続される。

量子化パラメータ決定部４２１は、次の入力のうちいずれかを取る。すなわち、それは信号Ｄ１４又はＤ１２として示された既定の量子化パラメータである。いくつかの実施態様において、符号化対象マクロブロックに用いられる直交変換における既定のサイズもまた、量子化パラメータ決定部に入力される。その後、量子化パラメータ決定部４２１は、新たな量子化パラメータＤ１６を画像符号化部４２２に出力する。画像符号化部４２２は、原画サンプルＤ１７のマクロブロックを取り、信号Ｄ１６又はＤ１５として示された量子化パラメータ値を用いてこれを符号化し、量子化残差Ｄ１８のマクロブロックをエントロピー符号化部４２４に出力する。最後に、エントロピー符号化部４２４は、Ｎ×Ｍの量子化残差ブロックを符号化し、圧縮ビットストリームＶoutを出力する。

なお、上記図６の動画像符号化装置１００においては、量子化パラメータ決定部４２１を備えているが、上記の理由により、量子化パラメータ決定部に代えて量子化制御変数決定部を備えて動画像符号化装置を構成してもよい。

図７は、量子化制御変数決定部を備える動画像符号化装置の機能構成を示すブロック図である。図７に示すように、動画像符号化装置１１０は、量子化パラメータ決定部４２１に代えて量子化制御変数決定部４２０を備える以外、上記図６の動画像符号化装置１００と同じ構成である。

量子化制御変数決定部４２０は、次の入力のうちいずれかを取る。すなわち、それは信号Ｃ１４又はＣ１２として示された既定の量子化マトリクスである。いくつかの実施態様において、符号化対象マクロブロックに用いられる直交変換における既定のサイズもまた、量子化制御変数決定部４２０に入力される。その後、量子化制御変数決定部４２０は、新たな量子化マトリクスＣ１６を画像符号化部４２２に出力する。画像符号化部４２２は、原画サンプルＤ１７のマクロブロックを取り、信号Ｃ１６又はＣ１５として示された量子化マトリクス値を用いてこれを符号化し、量子化残差Ｄ１８のマクロブロックをエントロピー符号化部４２４に出力する。最後に、エントロピー符号化部４２４は、Ｎ×Ｍの量子化残差ブロックを符号化し、圧縮ビットストリームＶoutを出力する。

以上のように、本実施の形態に係る動画像符号化装置によれば、隣接するピクチャ間（より具体的には隣接するピクチャ同士における各マクロブロック間）の相関が高い場合だけ、符号化対象のピクチャ（より具体的には符号化対象のマクロブロック）が高精細になるように符号化するので、パルシングノイズの発生を防止することができる。

なお、上記のコスト演算部及びコスト比較部は、特許請求の範囲における相関算出部の一例である。

また、上記の量子化パラメータ決定部及び量子化制御変数決定部は、特許請求の範囲における変数決定部の一例である。

（第２の実施の形態）
適応的画質調整処理にはふたつのステップがある。第１のステップは、非圧縮原画サンプルの符号化対象マクロブロックと先行する再構成ピクチャのサンプルとの相関を決定することである。次のステップは、非圧縮原画サンプルの符号化対象マクロブロックと先行する再構成ピクチャのサンプルとの相関が高い場合、符号化対象マクロブロックの符号化画質を改善することである。

実施の形態２の適応的画質調整処理は、参照ピクチャを選択する処理や、モジュール５０２、５０６及び５０８それぞれにおける動き検出処理及び動き補償処理において、非圧縮原画ピクチャの代わりに再構成ピクチャを参照ピクチャとして用いる点を除いて実施の形態１において定義された処理と同様である。

図８は、本発明の第２の実施の形態における適応的画質調整処理を示すフローチャートである。同図に示されるように、非圧縮原画サンプルのマクロブロックは、モジュール５００において符号化対象の非圧縮原画ピクチャから得られる。

次に、モジュール５０２において、参照ピクチャは、モジュール５０４に示されるようにピクチャメモリに格納された再構成ピクチャグループから選択される。この場合のピクチャは、フレームピクチャ又はフィールドピクチャとすることができる。本実施の形態の一例として、符号化対象ピクチャがフレームピクチャである場合、参照フレームは、当該符号化対象ピクチャに対し時間的に直近の参照フレームピクチャであるという基準に基づいて選択される。符号化対象ピクチャがフィールドピクチャである場合、当該フィールドピクチャと同じフィールドパリティを有する直近の参照フィールドピクチャが選択される。

モジュール５０６において、非圧縮原画サンプルのマクロブロックの動きベクトルセットを導き出すために、選択された参照ピクチャに対し動き検出ステップが実施される。モジュール５０８において、予測サンプルのマクロブロックを導き出すために、導き出された動きベクトルに基づいて動き補償ステップが実施される。

モジュール５１０において、予測サンプルの導き出されたマクロブロックのサンプル値と原画サンプルのマクロブロックのサンプル値との差分絶対値和によって変化する式に基づいて、コスト値が求められる。コスト値（Ｃｏｓｔ）を求める式の一例を以下に示す。

モジュール５１２において、モジュール５０６から導き出された動きベクトルの絶対値は、予め定められた第１閾値と比較される。例えば、所定の第１閾値はある整数である。次に、モジュール５１４において、モジュール５１０から求められたコストは、予め定められた第２閾値と比較される。例えば、所定の第２閾値はある整数である。

モジュール５１６に示されるように、動きベクトルの全要素の絶対値が所定の第１閾値より小さく、かつ、求められたコストが所定の第２閾値より小さい場合、モジュール５１８に示されるように、符号化対象マクロブロックの新たな量子化パラメータが決定される。量子化パラメータとは、量子化ステップサイズを制御するパラメータである。

動きベクトルのいずれかの要素の絶対値が所定の第１閾値より大きい、若しくは求められたコストが所定の第２閾値より大きい場合、求められたコストは予め定められた第３閾値と比較される。例えば、所定の第３閾値はある整数である。

求められたコストがモジュール５２４における所定の第３閾値よりも小さい場合、モジュール５１８における符号化対象マクロブロックに対し新たな量子化パラメータが決定される。さもなくば、モジュール５２６において符号化対象マクロブロックに用いられる量子化パラメータが既定値に設定される。その後、原画サンプルの符号化対象マクロブロックは、モジュール５２０における量子化パラメータに基づき、画像符号化ツールを用いて符号化される。そのようなツールの例としては、予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。

適応的画質調整処理は、画面内予測ピクチャと画面間予測ピクチャ双方のマクロブロックに適用可能である。画面内予測ピクチャのマクロブロックのみに適用された場合、モジュール５２０において用いられる画像符号化ツールには、空間的予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。適応的画質調整処理が画面間予測ピクチャのマクロブロックに適用された場合、画面内マクロブロックに用いられる画像符号化ツールには、空間的予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。画面間マクロブロックのための画像符号化ツールには、時間的予測ツール、直交変換ツール、量子化ツール及びエントロピー符号化ツールなどがある。

図４は、本発明における新たな量子化パラメータの決定処理の例を示す。まず、モジュール７００において、符号化対象マクロブロックに対し既定の量子化パラメータが決定される。次に、モジュール７０２において、符号化対象マクロブロックに用いられる直交変換サイズが決定される。そのような直交変換の例としては、８×８変換や４×４変換がある。この例では、Ｎ×Ｎ変換とは、幅においてＮ個のサンプル×高さにおいてＮ個のサンプルの変換であり、ここでのＮは整数値であればよい。モジュール７０４において、決定された変換サイズは、８×８サイズと比較される。モジュール７０４において、当該変換サイズが、８×８サイズであった場合、当該量子化パラメータは、モジュール７０６において既定の第１デルタ量子化パラメータ値の分だけ減らされる。モジュール７０２において、当該変換サイズが、８×８ではなく、例えば４×４であった場合、当該量子化パラメータは、モジュール７０８において既定の第２デルタ量子化パラメータ値の分だけ減らされる。

この例では、画像符号化処理において実施可能な直交変換の数はふたつである。直交変換がひとつだけ実施可能な場合、モジュール７０２及び７０４は必要ではなく、量子化パラメータは、ただひとつの既定のデルタ量子化パラメータ値の分だけ減らされる。

なお、本実施の形態においても、上記の第１の実施の形態の場合と同様に、新たな量子化制御変数として量子化マトリクスを決定してもよい。

図９は、本発明の第２の実施の形態における動画像符号化装置の機能構成を示すブロック図である。動画像符号化装置１２０は、ピクチャメモリ６００、参照ピクチャ選択部６０２、動き検出部６０４、動き補償部６０６、動きベクトル比較部６０８、コスト演算部６１０、ふたつのコスト比較部６１２及び６１４、ふたつのスイッチ部６１６及び６１８、量子化パラメータ決定部６２１、画像符号化部６２２、画像復号化部６２５及びエントロピー符号化部６２４を備える。

第２の実施の形態における動画像符号化装置１２０は、ピクチャメモリ６００が非圧縮原画ピクチャの代わりに再構成ピクチャを含む点、及び圧縮ピクチャを再構成するために画像復号化部６２５を備える点を除き、第１の実施の形態における動画像符号化装置１００と同様である。

参照ピクチャ選択部６０２は、符号化対象ピクチャ情報Ｄ２及び参照ピクチャ情報Ｄ４を受信し、直近の時間距離に基づいて適切な参照ピクチャを選択し、参照インデックスＤ５を動き検出部６０４に出力する。原画サンプルＤ１のマクロブロックは、入力Ｖinとして受信される。動き検出部６０４は、原画サンプルＤ１７のマクロブロック、参照インデックスＤ５及び参照ピクチャＤ３を受信する。これは、動きベクトルセットＤ６を出力する。

動きベクトル比較部６０８は、動きベクトルセットＤ６を取り、これを所定の第１閾値と比較し、信号Ｄ９を出力する。動きベクトルの全要素の絶対値が当該第１閾値より小さい場合、信号Ｄ９は１に設定され、小さくなければ０に設定される。

その後、動き補償部６０６は、参照インデックスＤ５、動きベクトルセットＤ６及び参照ピクチャＤ３を取る。これは、予測サンプルＤ７のマクロブロックを出力する。コスト演算部６１０は、予測サンプルＤ７のマクロブロック、原画サンプルＤ１７のマクロブロック、及び動きベクトルセットＤ６を取る。これは、コスト値Ｄ８をコスト比較部６１２に出力する。コスト比較部６１２は、コスト値Ｄ８を取り、これを所定の第２閾値と比較し、信号Ｄ１０をスイッチ部６１６に出力する。求められたコストが当該所定の第２閾値より小さい場合、信号Ｄ１０は１に設定される。小さくなければ、信号Ｄ１０は０に設定される。

スイッチ部６１６は、信号Ｄ１０及びＤ９次第で、入力Ｄ１へ出力Ｄ１２か出力Ｄ１３を接続する。信号Ｄ１０及びＤ９の両方が１であれば、Ｄ１２がＤ１に接続され、１でなければ、Ｄ１３が既定の量子化パラメータＱＰinであるＤ１に接続される。

コスト比較部６１４は、コスト値Ｄ８を取り、これを所定の第３閾値と比較し、信号Ｄ１１を第２スイッチ部６１８に出力する。求められたコストが当該所定の第３閾値より小さい場合、信号Ｄ１１は１に設定される。小さくなければ、信号Ｄ１１は０に設定される。

スイッチ部６１８は、信号Ｄ１１次第で、入力Ｄ１３へ出力Ｄ１４か出力Ｄ１５を接続する。信号Ｄ１１が１であれば、Ｄ１４がＤ１３に接続され、１でなければ、Ｄ１５がＤ１３に接続される。

量子化パラメータ決定部６２１は、次の入力のうちいずれかを取る。すなわち、それは信号Ｄ１４又はＤ１２として示された既定の量子化パラメータである。いくつかの実施態様において、符号化対象マクロブロックに用いられる直交変換における既定のサイズもまた、量子化パラメータ決定部に入力される。その後、量子化パラメータ決定部６２１は、新たな量子化パラメータＤ１６を画像符号化部６２２に出力する。画像符号化部６２２は、原画サンプルＤ１７のマクロブロックを取り、信号Ｄ１６又はＤ１５として示された量子化パラメータ値を用いてこれを符号化し、量子化残差Ｄ１８のマクロブロックをエントロピー符号化部６２４に出力する。エントロピー符号化部６２４は、Ｎ×Ｍの量子化残差ブロックを符号化し、圧縮ビットストリームＶoutを出力する。最後に、画像復号化部６２５は、量子化残差Ｄ１８のマクロブロックを取り、再構成サンプルのマクロブロックを再構成し、これをピクチャメモリ６００に格納する。当該再構成ピクチャは、動き検出部６０４及び動き補償部６０６において参照ピクチャとして用いられる。

なお、上記の第１の実施の形態及び第２の実施の形態では、動画像符号化装置及び動画像符号化装置の実施例について説明したが、これらに対応する動画像復号化方法及び動画像復号化装置を実現することもできる。この場合の動画像復号化装置は、符号化された画像データから量子化制御変数を抽出する制御変数抽出手段と、抽出された量子化制御変数に基づいて決定した量子化ステップサイズによって（さらに、所定の画像復号化ツールを用いて）、上記の符号化された画像データを復号化する画像復号化手段とを備えることとする。

以上のように、本実施の形態に係る動画像符号化装置によれば、再構成ピクチャを含む隣接するピクチャ間（より具体的には隣接するピクチャ同士における各マクロブロック間）の相関が高い場合だけ、符号化対象のピクチャ（より具体的には符号化対象のマクロブロック）が高精細になるように符号化するので、パルシングノイズの発生を防止することができる。

本発明は、あらゆるマルチメディアデータを符号化する動画像符号化装置に利用が可能であり、特に、画面内ピクチャ符号化を用いる動画像符号化装置及び動画像符号化方法、及びこれらに対応する動画像復号化装置及び動画像復号化方法として利用が可能である。

符号化動画像シーケンスにおけるパルシング歪みの例を説明する図である。マクロブロックの調整に用いる画像符号化部の例を示すブロック図である。本発明の第１の実施の形態における適応的画質調整処理を示すフローチャートである。本発明における量子化パラメータを設定する処理の例を示すフローチャートである。本発明における量子化制御変数を設定する処理の例を示すフローチャートである。本発明の第１の実施の形態における動画像符号化装置の一例の機能構成を示すブロック図である。本発明の第１の実施の形態における動画像符号化装置のその他の例の機能構成を示すブロック図である。本発明の第２の実施の形態における適応的画質調整処理を示すフローチャートである。本発明の第２の実施の形態における動画像符号化装置の一例の機能構成を示すブロック図である。

符号の説明

１００、１１０、１２０動画像符号化装置
２００、４００、６００ピクチャメモリ
２０２予測部
２０４減算部
２０６直交変換部
２０８量子化部
２１０係数走査部
４０２、６０２参照ピクチャ選択部
４０４、６０４動き検出部
４０６、６０６動き補償部
４０８、６０８動きベクトル比較部
４１０、６１０コスト演算部
４１２、４１４、６１２、６１４コスト比較部
４１６、４１８、６１６、６１８スイッチ部
４２０量子化制御変数決定部
４２１、６２１量子化パラメータ決定部
４２２、６２２画像符号化部
４２４、６２４エントロピー符号化部
６２５画像復号化部

Claims

既定の量子化制御変数を用いて、所定のブロック単位で動画像を符号化する動画像符号化方法であって、
符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出ステップと、
前記相関の度合いが所定の閾値以下である場合に、量子化ステップサイズが既定のサイズとなるように、原画ブロックの前記既定の量子化制御変数を決定する第１の決定ステップと、
前記相関の度合いが所定の閾値より大きい場合に、量子化ステップサイズが前記既定のサイズよりも小さくなるように前記量子化制御変数を決定する第２の決定ステップと、
前記量子化制御変数に基づいて量子化ステップサイズを決定し、所定の画像符号化ツールを用いて、決定された前記量子化ステップサイズで前記原画ブロックを符号化する画像符号化ステップと
を含み、
前記第２の決定ステップは、
前記原画ブロックの前記既定の量子化制御変数を決定するサブステップと、
前記原画ブロックに用いられる直交変換サイズを決定するサブステップと、
前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブステップと、
前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブステップと、
前記直交変換サイズが第２のサイズであると判定された場合に、第２デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブステップと
を含むことを特徴とする動画像符号化方法。
既定の量子化マトリクスを用いて、所定のブロック単位で動画像を符号化する動画像符号化方法であって、
符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出ステップと、
前記相関の度合いが所定の閾値以下である場合に、量子化マトリクスの各係数が既定の係数となるように、原画ブロックの既定の量子化マトリクスを決定する第１の決定ステップと、
前記相関の度合いが所定の閾値より大きい場合に、量子化マトリクスの各係数が既定の係数よりも小さくなるように決定する第２の決定ステップと、
所定の画像符号化ツールを用いて、決定された前記量子化マトリクスで前記原画ブロックを符号化する画像符号化ステップと
を含み、
前記第２の決定ステップは、
前記原画ブロックの既定の量子化マトリクスを特定するサブステップと、
前記原画ブロックに用いられる直交変換サイズを決定するサブステップと、
前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブステップと、
前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブステップと、
前記直交変換サイズが第１のサイズであると判定された場合に、第２デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブステップと
を含むことを特徴とする動画像符号化方法。
既定の量子化制御変数を用いて、所定のブロック単位で動画像を符号化する動画像符号化装置であって、
符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出手段と、
前記相関の度合いが所定の閾値以下である場合に、量子化ステップサイズが既定のサイズとなるように、原画ブロックの前記既定の量子化制御変数を決定する第１の決定手段と、
前記相関の度合いが所定の閾値より大きい場合に、量子化ステップサイズが前記既定のサイズよりも小さくなるように前記量子化制御変数を決定する第２の決定手段と、
前記量子化制御変数に基づいて量子化ステップサイズを決定し、所定の画像符号化ツールを用いて、決定された前記量子化ステップサイズで前記原画ブロックを符号化する画像符号化手段と
を備え、
前記第２の決定手段は、
前記原画ブロックの前記既定の量子化制御変数を決定するサブ手段と、
前記原画ブロックに用いられる直交変換サイズを決定するサブ手段と、
前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブ手段と、
前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブ手段と、
前記直交変換サイズが第２のサイズであると判定された場合に、第２デルタ量子化制御変数値分だけ前記量子化制御変数を小さくするサブ手段と
を備えることを特徴とする動画像符号化装置。
既定の量子化マトリクスを用いて、所定のブロック単位で動画像を符号化する動画像符号化装置であって、
符号化対象の原画における原画ブロックと先行する非圧縮ピクチャにおける予測ブロックとの相関の度合いを算出する相関算出手段と、
前記相関の度合いが所定の閾値以下である場合に、量子化マトリクスの各係数が既定の係数となるように、原画ブロックの既定の量子化マトリクスを決定する第１の決定手段と、
前記相関の度合いが所定の閾値より大きい場合に、量子化マトリクスの各係数が既定の係数よりも小さくなるように決定する第２の決定手段と、
所定の画像符号化ツールを用いて、決定された前記量子化マトリクスで前記原画ブロックを符号化する画像符号化手段と
を備え、
前記第２の決定手段は、
前記原画ブロックの既定の量子化マトリクスを特定するサブ手段と、
前記原画ブロックに用いられる直交変換サイズを決定するサブ手段と、
前記直交変換サイズが第１のサイズであるか、前記第１のサイズよりも小さい第２のサイズであるか否かを判定するサブ手段と、
前記直交変換サイズが第１のサイズであると判定された場合に、第１デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブ手段と、
前記直交変換サイズが第１のサイズであると判定された場合に、第２デルタ量子化マトリクスの各係数分だけ前記量子化マトリクスの各係数を小さくするサブ手段と
を備えることを特徴とする動画像符号化装置。