JP5790722B2 - 動画像符号化方法 - Google Patents

Description

本発明は、動画像符号化及びそれに対応した動画像復号の技術分野に関するものであり、特に、量子化計算の演算単位をより細かく制御可能とすることにより、符号化効率や目で見た画質の向上を図るものである。

動画像符号化方式においては、原信号の莫大な情報を、時間方向、空間方向の冗長性を省くことにより情報量圧縮を行っている。具体的には、時間方向としては、動きベクトルを用いて前後フレームとの差分を取る動き補償方式、空間方向としては、画面、すなわち水平・垂直方向に分布した画素の平面を周波数成分に変換する直交変換及び直交変換係数の量子化による代表値化などの手法が採用されている。また、算術的な情報圧縮の手法として可変長符号化（エントロピ符号化）が用いられている。

従来の動画像符号化方式における、特に動き補償方式を採用した符号化処理単位は、16x16画素のMB(Macro Block：マクロブロック)単位が基本であったが、符号化方式H.263、MPEG-4において8x8画素のブロック単位の符号化が可能となった。最新の動画像符号化H.264/AVC(Advanced Video Coding)においては、分割の数がより増えて、16x16、16x8、8x16、8x8の分割、更に8x8画素ブロックにおいては、8x8、8x4、4x8、4x4のサブブロックに分割することが可能となった。

動き補償による時間方向の情報圧縮に限らず、例えば直交変換においても、かつては8x8画素単位のDCT(Discrete Cosine Transform) のみであったが、H.264/AVCにおいてはハイプロファイルより上位のプロファイルという制限こそあるが、4x4/8x8の処理単位切り替えをマクロブロック単位で選択することが可能となっている。

図１は、上述の動画像符号化方式を実現する動画像符号化装置（エンコーダという場合がある。）の機能ブロック構成例を示す図である。
図１に例示するように、動画像符号化装置の機能ブロックは、フレームメモリ１１、原画マクロブロックバッファ１２、参照ブロックバッファ１３、動きベクトル探索器２１、予測判定器２２、減算器３１、第１のスイッチ３２、直交変換(DCT)部３３、量子化(Q)部３４、可変長符号化(ENT)部５１、逆量子化(IQ)部４４、逆直交変換(IDCT)部４３、第２のスイッチ４２、及び加算器４１を含んで構成される。

フレームメモリ１１は動き予測を行うために過去・未来の映像を格納する。
原画マクロブロックバッファ１２は、フレームメモリ１１に格納されたフレームの符号化対象である原フレームのマクロブロックを格納し、参照ブロックバッファ１３は、原フレームのマクロブロックに対する参照ブロックを格納する。

動きベクトル探索器２１は、原フレームのマクロブロックと参照ブロックにより動きベクトルを探索する。
予測判定器２２は、図３Ａに示すマクロブロックの分割形状の全ての場合の動き予測評価を行い、分割形状を決定するとともにフレーム間予測による符号化を行うかフレーム内予測による符号化を行うかを判定する。

減算器３１はマクロブロックと予測マクロブロックの差分を演算する。
第１のスイッチ３２と第２のスイッチ４２は、フレーム間(Inter)予測による符号化であるかフレーム内(Intra)予測による符号化であるかに応じて切り替わる。

直交変換(DCT)部３３は、時間方向の情報圧縮された画像データを直交変換（例えばDCT）して直交変換係数を求め、空間方向に情報圧縮する。
量子化(Q)部３４は直交変換係数を量子化し、可変長符号化(ENT)部５１は、さらに算術的な情報圧縮を行って符号化出力を出力する。

逆量子化(IQ)部４４は、量子化された直交変換係数の逆量子化を行い元の直交変換係数を求め、逆直交変換(IDCT)部４３は直交変換係数から逆直交変換により直交変換前のデータを復元する。

加算器４１は、フレーム間予測による符号化であるときに逆直交変換(IDCT)部４３の出力である差分データに予測画像データを加算して原画像を復元する。
図２は、従来例でのマクロブロック処理のフローを説明する図である。

図２のフローは、エンコーダでマクロブロックを処理して生成された各情報が符号化情報として設定され送信される順番に応じたものであり、この順番は、H.264でのデコードシンタックスエレメントとして規定されているものに従っている。後記の表１に示すのは、H.264のマクロブロックレイヤ以下のシンタックス表である。

まず、最初の符号化情報として、ステップＳ２１に示すようにマクロブロックタイプ情報が設定される。この情報中には、フレーム間予測であるかフレーム内予測であるかの情報やマクロブロック分割形状の情報が含まれる。次の符号化情報として、ステップＳ２２に示すように動きベクトル情報が設定される。マクロブロックタイプによってマクロブロックの分割形状が変わるので、ステップＳ２３に示すように動きベクトル情報はその分割数分情報が設定されることになる。

次にステップＳ２４において量子化パラメータ値が符号化情報中に設定されるが、これはマクロブロックに１つの情報となっている。
次に、ステップＳ２５で直交変換を8x8/4x4のどちら単位で行うかのフラグが直交変換情報として符号化情報中に設定される。

最後にステップＳ２６において、8x8か4x4単位での直交変換後の係数を求め、それをステップＳ２４で設定されている量子化パラメータで量子化した変換係数情報がサブブロック単位で生成され、送信される。この処理は、ステップＳ２７に示すように分割数分繰り返される。このとき、符号化情報中にcbp(coded block pattern)というサブブロック毎の有効/無効を示すフラグが動きベクトルの情報の後、量子化パラメータの情報の前に設定されており、そのフラグのとおり有効なサブブロックの係数情報のみ送信されることになる。

図３Ａ〜図３Ｃは、動画像符号化における従来のマクロブロック分割を説明する図である。図３Ａに示すのは、動き予測におけるマクロブロックの分割を説明するものであり、図に示すように、16x16,16x8,8x16,8x8により分割することと、8x8で分割した一部をさらに8x4, 4x8, 4x4で分割することが可能である。

図３Ｂに示すのは、直交変換におけるマクロブロックの分割を説明するものであり、図に示すように、8x8と4x4による分割が可能である。
図３Ｃに示すのは、量子化の場合であり、図示のとおり、量子化は16x16単位で実行される。

次に、符号化の処理について、図１及び図３Ａ〜図３Ｃを参照してさらに説明する。
図１に示す予測判定器２２で図３Ａに示す16x16,16x8,8x16,8x8…,の全ての分割による動き予測評価を行い、最も効率の良い分割の仕方やフレーム間予測とフレーム内予測のいずれを選択するか判定して予測モード(マクロブロックタイプ)を決定する。

次に、直交変換(DCT)の単位として図３Ｂに示す8x8と4x4のどちらの単位で処理した方が予測誤差が少なくなるかにより直交変換の対象とするブロックのサイズ（直交変換情報)を決め、直交変換(DCT)部３３において直交変換処理を実行する。

次に量子化(Q)部３４において、変換された係数を情報量配分の観点から決定された量子化パラメータ値を用いて代表値化し、残った非０の有効係数を伝送する。この際にcbpという各サブブロック単位の量子化係数値に有効係数が存在するかどうかを示すフラグを計算し、符号化情報としては、cbpとcbpで有効フラグが立っているサブブロックである有効係数が存在するサブブロックの量子化係数情報のみを送る。

次に、動画像符号化技術に関する下記特許文献１〜４を紹介する。
特許文献１には、特に画面内における予測符号化技術が記載されている。特許文献２には、特にマクロブロックを任意の線分で分割することが記載されている。特許文献３には、特に符号化方式を変換する場合の再符号化を高速に行おうとする技術が記載されている。特許文献４には、小ブロックに再分割を行って直交変換を行う技術が記載されている。

しかし、いずれの文献にも、マクロブロックを分割して量子化を行うことは記載されていない。

特開２００５−３１８４６８号公報 特開２００５−２７７９６８号公報 特開２００５−２３６５８４号公報 特開平８−７９７５３号公報

上述のように、動き補償による符号化や直交変換による符号化においてはマクロブロックを小ブロックに分割して実行することが行われているが、量子化においては、依然としてマクロブロック単位に一つのパラメータで処理を行うというのが実情である。実際、量子化制御については、適応量子化で、例えばアクティビティの低い所を細かい量子化パラメータ、アクティビティの高い所を粗い量子化パラメータを用いる等の主観評価改善技術があるが、マクロブロック単位に一つのパラメータで処理を行っているので、マクロブロック内に上記双方の映像を含む場合などでも、それぞれの映像に応じた細かい制御が出来ないということになる。

つまり、動き補償や直交変換処理が可変サイズの小ブロック単位で処理可能なのに対して、量子化では細かい制御が出来ないという点で問題がある。
そこで、本発明の解決しようとする課題は、マクロブロック内の映像の性質に応じて細かな量子化制御を可能とすることである。

本発明では、量子化パラメータについて動き補償や直交変換の処理と同様に、マクロブロック以下のサブブロック単位のパラメータ値変更を可能とすることにより、より詳細な量子化制御を実現する。つまりマクロブロック内に、特徴の異なる複数の映像が混在していた場合に、あるサブブロックは細かい量子化パラメータ、別のサブブロックは粗い量子化パラメータを選択するなどして、よりメリハリのある量子化制御を実行する。
本発明の一側面に係る、動画像の各フレームを所定サイズのブロックに分割し、該所定サイズのブロックに対して動き補償、直交変換、量子化、を組み合わせて符号化を行う動画像符号化方法は、所定サイズのブロックを、所定サイズのブロック以下の小ブロックにさらに分割し、小ブロックと等しいか又は小ブロックより小さいブロックサイズで直交変換を行い、小ブロックへの分割形状と同一の小ブロックごとに、画像特徴に応じて決定した量子化パラメータにより直交変換係数の量子化を行い、小ブロックごとに決定した量子化パラメータと符号化済の周辺の複数の所定サイズのブロック又は小ブロックの量子化パラメータの中間値との差分を求め、所定サイズのブロックを小ブロックに分割した分割情報と差分を含めて符号化する。

本発明によれば、量子化をマクロブロック以下のサブブロック単位で実施することにより、従来方式に比べよりきめ細かい符号化制御を実現することができる。

従来の動画像符号化装置の機能ブロック構成例を示す図である。 従来例でのマクロブロック処理のフローを説明する図である。 動画像符号化における従来の動き予測におけるマクロブロック分割を説明する図である。 動画像符号化における従来の直交変換におけるマクロブロック分割を説明する図である。 動画像符号化における従来の量子化においてマクロブロック分割を行っていないことを示す図である。 本発明の実施例１に係る動画像符号化装置の機能ブロック構成例を示す図である。 図４に示す量子化分割判定器の機能ブロック構成例を示す図である。 本発明の実施例１に係るマクロブロック処理のフローを説明する図である。 本発明の実施例２に係るマクロブロック処理のフローを説明する図である。 本発明の実施例３について説明する図である。 本発明の実施例３について説明する図である。 本発明の実施例３について説明する図である。 本発明の動画像符号化装置に対応する動画像復号装置の機能ブロック構成例を示す図である。

本発明では、量子化パラメータについても、動き補償や直交変換の処理と同様に、マクロブロック以下のサブブロック単位のパラメータ値の変更を可能とする。そのために、本発明の量子化パラメータ切り替えは、上記図１に示す機能ブロックのうちの量子化(Q)部３４、逆量子化(IQ)部４４の制御単位をより細かくすることにより実現する。

図４は、本発明の実施例１に係る動画像符号化装置の機能ブロック構成例を示す図であり、本発明と関連する部分について示すものである。
図３に示す従来例との違いは、量子化パラメータをどのサブブロック単位で設定するかを判定する量子化分割判定器３５が追加されているところである。また、量子化(Q)部３４ａ及び逆量子化(IQ)部４４ａも量子化分割判定器３５の出力である量子化分割情報に応じて処理対象のサブブロック単位を切り替えるように変更されている。

図４の量子化分割判定器３５には、第１のスイッチ３２を介してマクロブロック単位の画素情報が入力される。フレーム内予測の場合は原画マクロブロックバッファ１２からマクロブロックの画像そのものが入力され、フレーム間予測の場合は減算器３１を介して差分画像が入力される。

量子化分割判定器３５は入力されたマクロブロックの画素を、例えば予測判定器２２で全通りの動きベクトル分割モードでの予測評価を行なっているのと同様に、想定している分割単位でモード処理を行い、どの分割モードが良いかの予測評価を実施し、その結果を量子化(Q)部３４ａ及び逆量子化(IQ)部４４ａに出力する。

図５は、図４に示す量子化分割判定器３５の機能ブロック構成例を示す図である。
入力されたマクロブロック単位の画素情報はマクロブロックメモリ１１０に格納され、分割モードに応じた、例えば小ブロック１（16x16、１個）１２１、小ブロック２（16x8、２個）１２２、小ブロック３（8x16、２個）１２３、小ブロック４（8x8、４個）１２４のバッファに読み出され、それぞれに対応したアクティビティ計算部１３１〜１３４でそれぞれのサブブロックのアクティビティが計算され、その分割モードの評価値を出力する。

アクティビティ計算部１３１〜１３４での計算結果は分割モードスイッチ１４０を介して量子化分割決定部１５０に入力される。
量子化分割決定部１５０では前記計算結果に基づき分割モードを決定し、それに対応した量子化分割情報を出力する。

本発明は、アクティビティの異なるサブブロックに対して、それぞれに適応した量子化パラメータにより量子化を行うものであるが、単に分割数を増やすと処理量及び符号量が増大するので、適応量子化と符号量増大等のバランスを考慮する必要がある。

適応量子化の面から考えると、アクティビティに差のある部分がサブブロックとして分離されることが望ましい。アクティビティは画像の模様の細かさに対応することから、画素の分散の大きい領域はアクティビティが高く、画素の分散の小さい領域はアクティビティが低い。つまり、ある画像領域をサブブロックに分割したとき、それらのサブブロックが、画素の分散の大きいサブブロックと画素の分散の小さいサブブロックからなるように分割できれば、その分割が好ましいことになる。例えば、晴れた日の荒れた海のように、上半分は青空、下半分は波が複雑な模様を描く海といった画像であれば図３の（ａ）に示す16x8の分割が好ましい。

そこで、サブブロック中の画素の分散をサブブロックのアクティビティと定義すると、サブブロックのアクティビティの分散が大きい分割形状であればアクティビティに差のある部分がサブブロックとして分離されることになり、その分割モードの評価を大きくすることが考えられる。

一方、分割による符号量の増大とのバランスを取るためには、分割結果のサブブロックのアクティビティの分散と分割前のサブブロックのアクティビティの分散の差が所定の閾値より大きいという条件を設定することが考えられる。

先の晴れた日の荒れた海の画像の例では、さらに8x8のサブブロックまで分割するかは、その分割によるサブブロックのアクティビティの分散の増加によるメリットと符号量の増大とのバランスの問題となる。

そこで、マクロブロックを０番目の分割形状として、定められた分割形状の範囲で分割数を増やして行き、評価を行うことになるが、評価の方法としては、上記の考えに基づいて、種々の手法があり得る。

例えば、ｉ番目（ｉ≧０）の分割によるサブブロックのアクティビティの分散をＢ（ｉ）としたとき、ある閾値Ｃに対して、Ｂ（ｉ＋１）−Ｂ（ｉ）＜Ｃ が成立すれば、ｉ番目の分割形状を採用することができる。ｉ＋１番目の分割形状が複数ある場合には、上記不等式が全ての分割形状について成り立つことを条件にすることができる。また、閾値Ｃは、Ｃ（ｉ）としてｉにより変化させることも考えられる。

また、次のステップの分割との比較だけでなく、ｊ＞ｉであるすべてのｊについて、Ｂ（ｊ）−Ｂ（ｉ）＜Ｃ の成立を条件にすることも考えられる。
さらにまた、次のような手法も考えられる。

いま、サブブロックｓのアクティビティＡ（ｓ）を
Ａ（ｓ）＝Σ(各画素値 - 画素の平均値)^２−(Σ(各画素値 - 画素の平均値))^２と定義する。和はサブブロック内部の画素について取るものとする。

そして、マクロブロック内のある分割形状Ｄ（ｋ）のサブブロックのアクティビティの分散ＢＤ（ｋ）を
ＢＤ（ｋ）＝Σ(Ａ（ｓ） −Ａ（ｓ）の平均値)^２
−(Σ(Ａ（ｓ）−Ａ（ｓ）の平均値))^２
と定義する。和は分割形状Ｄ（ｋ）のサブブロックについて取るものとする。

さらに、分割形状Ｄ（ｋ）の評価式Ｈ（ｋ）を、αを正のパラメータとして
Ｈ（ｋ）＝−ΣＡ（ｓ）−α＊ＢＤ（ｋ）
と定義する。和は分割形状Ｄ（ｋ）のサブブロックについて取るものとする。

上記評価式Ｈ（ｋ）の意図は、サブブロックに分割した際のサブブロック毎のアクティビティ値の差が大きい(つまりブロック内に絵柄の細かいサブブロックと絵柄の平らなサブブロックが存在する)場合に、評価式Ｈ（ｋ）の値をより下げる様にして、最終的には各分割モードのアクティビティ(評価式Ｈ（ｋ）の値)が最も小さいものを、量子化の分割モードとして選択することである。

Ｈ（ｋ）の第１項は、分割数が増えれば増加し、第２項は減少する。αの値は、この２つの項の重みを調整するための変数であり、適宜調整可能な値とする。(画素のアクティビティは16x16=256画素の分散であり、サブブロックのアクティビティは分割の形状が図４に示した例であると、２〜４サブブロックの分散となる。これらの条件と具体的な画素値の大きさ等を勘案してαの値を調整する。)
以上のように、分割によるメリットとデメリットを勘案して分割モードを選択するようにする。

量子化分割決定部１５０で生成された量子化分割情報は、先に述べたように量子化(Q)部３４ａに渡され、直交変換後の変換係数を指定された分割単位で量子化演算するのに用いられる。

図６は、本発明の実施例１に係るマクロブロック処理のフローを説明する図である。
図２に示すフローと比較すると、図６のステップＳ６１からステップＳ６３までの動きベクトル情報を求めて符号化情報に設定する処理は、図２のステップＳ２１からステップＳ２３までの処理と同様である。最初の符号化情報として、ステップＳ６１に示すように動き補償分割情報としてのマクロブロックタイプ情報が設定される。この情報中には、先に述べたようにフレーム間予測であるかフレーム内予測であるかの情報やマクロブロック分割形状の情報が含まれる。次に、ステップＳ６２に示すように動きベクトル情報が設定される。マクロブロックタイプによってマクロブロックの分割形状が変わるので、ステップＳ６３に示すように動きベクトル情報はその分割数分情報が設定されることになる。

次にステップＳ６４において、量子化分割判定器３５で生成された量子化分割情報が設定される。
次のステップＳ６５とステップＳ６６の処理は、量子化分割情報に示される量子化分割数分の量子化パラメータを求めてそれを符号化情報中に設定するものである。

図５に例示した量子化分割判定器３５の構成では、小ブロックへの分割を実質的に行わない16x16の小ブロック１個、16x8の小ブロック２個、8x16の小ブロック２個、8x8の小ブロック４個のいずれかの量子化分割情報が選択されている。これらの分割の形状は、図３の（ｂ）に示す直交変換における分割の形状がその再分割となるように選ばれている。

実施例１では、量子化分割判定器３５で選択されたマクロブロックの分割形状に応じたサブブロック単位で量子化パラメータを切り替え可能であり、図２のフローと異なり、量子化パラメータをサブブロック単位に挿入するものである。

次に、ステップＳ６７で直交変換を8x8/4x4のどちら単位で行うかのフラグが直交変換情報として符号化情報中に設定される。
最後にステップＳ６８において、8x8か4x4単位での直交変換後の係数を求め、それをステップＳ６５で設定されている量子化パラメータで量子化した変換係数情報がサブブロック単位で生成され、送信される。この処理は、ステップＳ６９に示すように分割数分繰り返される。このとき、符号化情報中にcbp(coded block pattern)というサブブロック毎の有効/無効を示すフラグが動きベクトルの情報の後、量子化パラメータの情報の前に設定されており、そのフラグのとおり有効なサブブロックの係数情報のみ送信されることは、図２に示す従来例と同様である。

また、直交変換情報として設定する係数は量子化後の係数となるため、図２に示す従来例と同じように、分割された量子化パラメータ情報、そして直交変換情報の順で符号化情報に挿入することになる。

次に、本発明の実施例２について説明をする。実施例２は、量子化処理におけるマクロブロックの分割形状を、他の符号化処理における分割形状と同一とすることにより、量子化分割情報の符号化を不要とするものである。したがって、その分だけ符号量が増加することを防ぐことができる。

図７は、直交変換の分割形状に、量子化の分割形状を合わせた場合のマクロブロック処理のフローを説明する図である。図６に示す実施例１に係るマクロブロック処理のフローと比べると、ステップＳ６５の量子化分割情報を設定する処理が不要となっている。

したがって、実施例２においては、図４に示す量子化分割判定器３５は不要であり、そのかわり、予測判定器から直交変換の分割形状の情報が量子化(Q)部３４ａ及び逆量子化(IQ)部４４ａに出力される。

例えば直交変換のマクロブロック分割によるサブブロックのサイズが8x8であれば、量子化処理のマクロブロック分割によるサブブロックのサイズも8x8となる。
ステップＳ７１からステップＳ７３までの動きベクトル情報を求めて符号化情報に設定する処理は、図２のステップＳ２１からステップＳ２３までの処理及び図６のステップＳ６１からステップＳ６３までの処理と同様である。

次に、ステップＳ７５で直交変換を8x8/4x4のどちら単位で行うかのフラグが直交変換情報として符号化情報中に設定される。
引き続いて、ステップＳ７５で設定された分割形状に応じたサブブロックごとにステップＳ７６で量子化パラメータ情報が設定され、ステップＳ７７で、該設定された量子化パラメータ情報で量子化した直交変換の係数情報が求められ動画像符号化情報中に設定される。

ステップＳ７８に示すように、ステップＳ７６及びステップＳ７７は直交変換のサブブロック分割数分繰り返される。
図７に例示するものを、以上では量子化の分割形状を直交変換の分割形状に合わせたものとして説明したが、直交変換の代わりに動き補償の分割形状と量子化の分割形状を合わせることも可能である。その場合、ステップＳ７６では、ステップＳ７１で設定された分割形状に応じたサブブロックごとに量子化パラメータ情報が設定され、ステップＳ７７では、該設定された量子化パラメータ情報で量子化した直交変換の係数情報が求められ動画像符号化情報中に設定される。ただしこの場合、動き補償の分割形状すなわち量子化の分割形状は、直交変換のサブブロックサイズ以上のサイズを有するサブブロックによる分割である必要がある。それは、量子化の分割形状の方が細かいものであると、直交変換も結局それに合わせた処理を行わざるを得ないからである。

次に、実施例３について説明をする。実施例３は量子化パラメータの符号化に関するものであり、上記実施例１あるいは実施例２と同時に実施可能なものである。
従来の量子化はマクロブロック単位であり、量子化パラメータの符号化方式は、現マクロブロックと現マクロブロックの左に位置するマクロブロックの量子化パラメータ値の差分を符号化するものである。

本発明では、量子化の単位をサブブロックとすることを可能としていることから、実施例３においては、量子化パラメータ値を周辺の複数のサブブロックを参考にして差分符号化を行い、より量子化パラメータ情報の符号量を抑えるようにする。

図８Ａ〜図８Ｃは、実施例３について説明する図であり、現在符号化処理中のサブブロックと周辺の参考とすべきサブブロックを例示する図である。図８Ａ〜図８Ｃにおいて、実線の描かれたマクロブロックあるいはサブブロックＤは現在符号化処理中のものであり、点線の描かれたマクロブロックあるいはサブブロックＢ、Ｃ、Ｄは周辺の参考とすべきものである。

例えば、動きベクトルでは、現マクロブロックの動きベクトルの予測として、図８Ａに示す左マクロブロック(A)、上マクロブロック(B)、右上マクロブロック(C)の各マクロブロックの動きベクトルの中間値を予測ベクトルとし、その予測ベクトルとの差分を符号化したりしている。これと同様に、量子化の単位をサブブロック化した場合でも、左マクロブロックＡ、上マクロブロックＢ、右上マクロブロックＣの各マクロブロックの量子化パラメータ値の中間値を計算し、その中間値との差分を符号化することにより、マクロブロックＤの量子化パラメータ値に関する情報量を減らすことが可能となる。

図８Ｂは、現マクロブロックＤに対して左マクロブロックのサブブロックＡ、上マクロブロックのサブブロックＢ及び右上マクロブロックのサブブロックＣの量子化パラメータ値を参照して符号化することを示し、図８Ｃは、現マクロブロックの現サブブロックＤに対して左マクロブロックＡ、現マクロブロックの上サブブロックＢ及び現マクロブロックの右上サブブロックＣの量子化パラメータ値を参照して符号化することを示している。

上記図８Ｂや図８のＣに示すように、左マクロブロック、上マクロブロック、右上マクロブロックの位置に複数のサブブロックが接している場合がある。この場合には、動きベクトルの予測と同様に、例えば左サブブロックＡとしてはより上側のサブブロックを、上サブブロックＢとしてはより左側のサブブロックを、右上サブブロックＣとしてはより左下側のサブブロックを選択することと決めておく。

以上詳細に説明したように、本発明によれば、良好な動画像符号化を実現することが可能である。また、細かい単位で量子化パラメータを変更することにより、量子化情報伝送についての符号量が増大することが考えられるが、その符号量増大についても、本発明は、最小限に抑えるように工夫をしたものである。

最後に、本発明の動画像符号化方式に対応する動画像復号について説明をする。
図９は、本発明の動画像符号化装置に対応する動画像復号装置の機能ブロック構成例を示す図であり、本発明と関連する部分のみ記載している。動画像復号装置の処理は、ほぼ動画像符号化装置における逆量子化以降の画像復元処理と同様な処理である。

例えば図４に例示する動画像符号化装置から出力された符号化出力は、蓄積媒体あるいは通信媒体を介して可変長復号器（ＥＮＴ）１５１に入力される。可変長復号器（ＥＮＴ）１５１は、図１及び図４に示す可変長符号化(ENT)部５１に対応するものであり、可変長符号化(ENT)部５１が行った算術的な情報圧縮の逆変換を行い、算術的な情報圧縮前のデータ、すなわち量子化後のデータ等を復号する。

上記復号後のデータから、量子化分割情報取得器１３５は図４に示す量子化分割判定器３５で設定された量子化分割情報を取得し、逆量子化(IQ)部１４４の逆量子化処理を制御する。先に述べたように、量子化分割情報は、量子化パラメータをサブブロックごとに切り替え可能とするマクロブロックの分割形状を示すものであるから、逆量子化(IQ)部１４４は処理対象のマクロブロックを指示された分割形状に応じたサブブロックごとに量子化された直交変換係数の逆量子化を行い元の直交変換係数を求める。

逆直交変換(IDCT)部１４３は直交変換係数から逆直交変換により直交変換前のデータを復元する。
一方、可変長復号器（ＥＮＴ）１５１の復号データは、予測モード取得器１２２に与えられる。

予測モード取得器１２２は上記復号データから、図４に示す予測判定器２２で選択された予測モードがフレーム間予測とフレーム内予測のいずれであるかの情報を取得し、それに応じてスイッチ１４２をintra側かinter側に切り替える。

フレーム内予測モードの場合は、逆直交変換(IDCT)部１４３の出力が復元画像として出力されるとともに、フレーム間予測モードにおける画像復元に用いるためにフレームメモリ１１１に蓄積される。

フレーム間予測モードの場合は、逆直交変換(IDCT)部１４３の出力は差分データである。その差分の元になる画像データはフレームメモリ１１１から読み出され、動きベクトル取得器１２１で取得した動きベクトル情報を付加して予測モード取得器１２２から加算器１４１に与えられる。加算器１４１は逆直交変換(IDCT)部１４３の出力である差分データと予測モード取得器１２２からの画像データを加算して復元画像を生成する。

以上、図９に示す動画像復号器を実施例１の動画像符号化装置に対応するものとして説明したが、量子化分割情報取得器１３５において、マクロブロックタイプ情報あるいは直交変換情報を取得することにより、実施例２の動画像符号化装置に対応することができることは、明らかである。したがって、図９に示す動画像復号器の機能ブロック構成例は、実施例１のものに限定されるものではないことも明らかである。

表１参考情報：MBレイヤ処理(H.264/AVC規格書より)

Claims (1)

1. 動画像の各フレームを所定サイズのブロックに分割し、該所定サイズのブロックに対して動き補償、直交変換、量子化、を組み合わせて符号化を行う動画像符号化方法において、
   前記所定サイズのブロックを、該所定サイズのブロック以下の小ブロックにさらに分割し、
   前記小ブロックと等しいか又は前記小ブロックより小さいブロックサイズで直交変換を行い、
   前記小ブロックへの分割形状と同一の小ブロックごとに、画像特徴に応じて決定した量子化パラメータにより前記直交変換係数の量子化を行い、
   前記小ブロックごとに決定した量子化パラメータと符号化済の周辺の複数の前記所定サイズのブロック又は前記小ブロックの量子化パラメータの中間値との差分を求め、
   前記所定サイズのブロックを小ブロックに分割した分割情報と前記差分を含めて符号化する、
   ことを特徴とする動画像符号化方法。

Images