JP5123168B2 - 量子化きざみを局所的に調整する方法 - Google Patents

Description

本発明は、画像の系列を事前解析するステップを使って、ある系列の諸画像における量子化きざみを局所的に調整する方法に関する。

本発明はビデオ圧縮、特に選択的圧縮の分野に適用される。関心領域をもつ画像の選択的圧縮のいかなる方法も二つの機構に関わる：先験的選択機構および先験的圧縮機構である：
・情報の選択は視覚的な注意機構であり、画像中に含まれる関心のあるイベントの位置およびこれらのイベントの互いとの関係での相対的な重要性を定義する；
・先験的圧縮機構は、画像の性質およびエンコードならびにエンコード資源すなわちビットレートまたは品質の割り当ての基準を特徴付ける。

いかなる圧縮方法もエンコードされるべきデータを量子化するための量子化方法に関わる。本発明は、より詳細には、画像中の各領域についての量子化きざみの局所的な調整に関する。従来式のアプローチでは、量子化きざみの局所的調整は各マクロブロックについて（あるいは各ピクセル・ブロックについて）画像内でのその視覚心理学的重要性に基づいて実行される。こうしたアプローチは特に、それほど重要でないマクロブロックをより強く量子化し、逆に重要なマクロブロック（目を引くマクロブロック）は関連する量子化きざみを小さくすることによって保存するために使用される。しかしながら、こうしたアプローチでは、重要なマクロブロックの再構成品質（すなわちデコード後の）は、ある画像と次の画像とで強く変動することがあり、観察者にとって問題となる。さらに、再構成品質は関心領域内でも変動しうる。

本発明の目的は、従来技術の欠点の少なくとも一つを解決することである。本発明は、設定点の量子化きざみ（QP*）に対して、n画像からなる系列の画像中の量子化きざみを局所的に調整するための方法に関する。各画像は少なくとも一つの関心領域（region of interest）および一つの有力マスキング領域（potential masking region）を有し、各領域は可能性としてはいくつかの相異なるグループのピクセルを有している。関心領域および有力マスキング領域は、設定点の量子化きざみで量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされる。本発明によれば、本方法は以下のステップを有する：
・当該系列の各画像について、第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAX_j）で量子化された有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MIN_j）で量子化された関心領域をエンコードするために使われるビット数と、第一のビット数との間の第二のビット差を計算し；
・当該系列の各画像において、有力マスキング領域に第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和（G_POT）がn個の第二のビット差の和（D_ROI）より大きい場合には、関心領域に第二の量子化きざみを割り当て、それ以外の場合には第二の量子化きざみ以上の第三の量子化きざみを関心領域に割り当て、それにより前記n個の第一のビット差の和が、当該系列の画像の関心領域の間で、各画像について計算された再構成品質基準に従って、分配されるようにする。

ある個別的な実施形態によれば、第一の量子化きざみ（QP_POT_MAX_j）は、該第一の量子化きざみが有力マスキング領域を符号化するために使われるときに該有力マスキング領域の第一の所定の再構成品質（PSNR^min _POT）を保証するよう、決定される。第二の量子化きざみ（QP_ROI_MIN_j）は、該第二の量子化きざみ（QP_ROI_MIN_j）が関心領域を符号化するために使われるときに該関心領域の第二の所定の再構成品質（PSNR^max _ROI）を保証するよう、決定される。

好ましくは、当該系列のn枚の画像にわたって、n個の第一のビット差の和（G_POT）がn個の第二のビット差の和（D_ROI）より小さい場合には、n個の第一のビット差の和（G_POT）は、第二の所定の再構成品質（PSNR^max _ROI）と、設定点の量子化きざみ（QP*）をその関心領域の符号化に使うときのその関心領域の再構成品質との間の差に基づいて、当該系列のn枚の画像の関心領域の間で比例配分される。

もう一つの実施形態によれば、前記画像はさらに中立領域を有しており、該中立領域は可能性としては離散した（disjoint）諸グループのピクセルを有しており、該中立領域には設定点の量子化きざみ（QP*）が割り当てられる。

本発明はまた、n枚の画像の系列を符号化する方法であって、n枚の画像を一組の係数に変換するステップと、前記係数のそれぞれを量子化きざみによって量子化するステップと、量子化された係数をエンコードするステップとを有しており、前記量子化きざみが上記の方法に従って局所的に調整される方法にも関する。

本発明はまた、少なくとも一つの関心領域および一つの有力マスキング領域を有するn枚の画像の系列を符号化する符号化装置に関する。該装置は：
・n枚の画像のそれぞれを一組の係数に変換する手段と；
・前記係数を、設定点の量子化きざみ（QP*）に関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、関心領域および有力マスキング領域は設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段と；
・量子化された係数を符号化する符号化手段とを有している。

本発明によれば、前記量子化手段は：
・当該系列の各画像について、第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAX_j）で量子化された有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MIN_j）で量子化された関心領域をエンコードするために使われるビット数と、第一のビット数との間の第二のビット差を計算する手段と；
・当該系列の各画像において、有力マスキング領域に第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和（G_POT）がn個の第二のビット差の和（D_ROI）より大きい場合には、関心領域に第二の量子化きざみを割り当て、それ以外の場合には第二の量子化きざみ以上の第三の量子化きざみを関心領域に割り当て、それにより前記n個の第一のビット差の和が、各画像について計算された再構成品質基準に従って、当該系列の画像の関心領域の間で分配されるようにする手段とを有する。

有利には、前記符号化装置はさらに、設定点の量子化きざみ（QP*）による量子化手段を提供するレート制御手段を有する。

本発明は、付属の図面を参照しつつ、決して限定するものではない例示的な実施形態および有利な実装によってよりよく理解され、例解されるであろう。

本発明は、画像の関心のある各領域または区域（すなわち、より注目を引く領域）について、量子化きざみを設定点の量子化きざみ（QP*）に対して局所的に調整する方法に関する。いくつかの画像からなる系列の一部である画像は、ピクセルのブロックからなる。量子化きざみを局所的に適応させる方法において、画像の他の領域を犠牲にして関心のある空間領域を厚遇することによって、与えられた全体的なビットレートについて、関心領域の視覚的な品質が向上する。画像中における関心領域の選択に基づいて、量子化きざみはこれらの領域の関心に従って局所的に調整される。この調整は、重要性の低い領域をより強く圧縮して、使われないことがありうるエンコード資源（すなわち、ビット数）を系列に沿って関心領域に再分配する。ある画像から別の画像へのビットのこの再分配により、関心領域についてより安定した再構成品質（すなわち復号後品質の）を得ることが可能になる。本発明に基づく方法は、画像系列事前解析ステップを使って、特に、当該系列中の関心領域のビット数の点での要件を特徴付け、その結果として系列全体にわたって関心領域の再構成品質をなめらかにする。

より具体的には、本発明に基づく方法は、非関心領域から関心領域にビットレートを移転するために使われることができる。このために、提案される解決策は、画像中の各領域について量子化きざみQPの変動すなわち量子化きざみの局所的調整を用いる。この調整は、QP*と表される量子化きざみの値の初期設定点（たとえば、各画像についてのビットレート制御から導出される）に対してなされる。この量子化きざみQP*は設定点のビットレートD*に対応する。この量子化きざみの値は、必要なら、系列の間に画像から画像へと変わってもよい。より具体的には、本発明によれば、画像の各領域についての量子化きざみは、領域の視覚的関心に従って修正される。量子化きざみの正方向の変動は、品質低下を代償としてより強い圧縮、すなわちビットレートの利得を与える。負方向の変動は、エンコード・コストの上昇を代償としてより細かな圧縮、すなわち向上した再構成品質を与える。

したがって、本方法はコンテンツについての先験的な情報を知ることを要求する。本発明に基づく方法によって使用されるこの先験的情報は二つのカテゴリーにはいる。コンテンツについての先験的情報の第一のカテゴリーは、系列の各画像において、より多くの注目を集める領域すなわち関心領域の位置に関するものである。この領域は、離散した諸グループのピクセル・ブロックからなっていてもよいが、それでも同一の領域として定義される。この情報は、画像中の各ブロックb_iについて人間の視覚系にとっての関心のレベルを示す二値の関心マップIによって与えられることができる：関心のあるブロックb_iについてはI(b_i)＝1であり、関心のないブロックb_iについてはI(b_i)＝0である。このマップは、たとえば、顕著性マップを閾値処理することによって得ることができる。顕著性マップとは、画像中の各ピクセルについてその知覚的関心を示すマップである。このマップは、動き情報などの多様な情報を考慮して構築できる。ピクセルに関連付けられる値が大きいほど、そのピクセルは目を引くことになる。各ブロックについての顕著性値を得るためには、所与のブロックについて、そのブロックに属するピクセルに関連付けられた値を平均することが考えられる。あるいはそれらの顕著性値の中央値を取るのでもよい。より一般的にいえば、本発明は、各ブロックb_iについてその関心レベルを特徴付ける関心の二値でないマップの場合にも適用できる。コンテンツについての先験的情報の第二のカテゴリーは、系列の各画像において、視覚的アーチファクトに対する強いマスキング機能を有する画像の領域の位置に関するものである。この領域は、離散した諸グループのピクセル・ブロックからなっていてもよい。デジタル・ビデオ・システムにおいて使用される非可逆圧縮法はアーチファクトを生じるが、その可視性は処理される画像の内容に強く依存する。コントラスト・マスキング効果は、信号の可視性のこの修正を別の信号の存在に変換する。この修正は、可視性閾値の低下の方向に行く（容易化［facilitation］）こともできるし、可視性閾値の増加の方向に行く（マスキング）ことさえできる。非関心領域の部分であるブロックにおける新たなアーチファクトの出現を制限するために、コンテンツに対する先験的情報は、各ブロックb_iについてその視覚的なマスキング能力を示す二値のマップPによっても与えられる：マスキング能力の強いブロックについてはP(b_i)＝1であり、マスキング領域の弱いブロックb_iについてはP(b_i)＝0である。このマップは、たとえば、活動性マップを閾値処理することによって得ることができる。活動性マップとは、所与のブロックについてその活動性のレベルを示すマップである。このレベルは、たとえばブロックの分散を測定することによって計算できる。本稿では、以下、強いマスキング能力をもつ画像中の非関心領域のブロックb_iの集合は「有力マスキング領域（potential masking region）」と呼ばれる。有力マスキング領域に属さない非関心領域のブロックb_iの集合は「中立領域（neutral region）」と呼ばれる。関心領域の位置およびマスキング能力が強い領域にそれぞれ関係する二つの二値マップは結合されて単一のマップI_finalが得られ、これが、量子化きざみを局所的に調整するために使用されるものであり、画像中の各ブロックb_iに次のように値0、1または2を関連付ける：

ここで：
・I_Finalはエンコーダに送信される新しいマップであり、関心領域および有力マスキング領域をも示し、このマップからビットの移転が適用されることになる；
・Pは有力マスキング領域を定義する二値マップ；
・Iは関心領域および非関心領域を定義する二値マップ。

本方法は、PSNR(QP)曲線（ピーク信号対雑音比［peak signal-to-noise ratio］を量子化きざみの関数として表す曲線）およびNbBit(QP)曲線（ビット数［the number of bits］を量子化きざみの関数として表す曲線）をも使用する。これらの曲線は、系列の各画像における関心領域および有力マスキング領域のそれぞれに固有であり、関連付けられている。PSNRは、画像品質を特徴付けるのに使われる基準である。この場合、PSNRは、画像、ブロックまたは画像中の領域を復号した後の再構成品質を特徴付けるために使用される。そこで、PSNRは次のように定義される：

ここで、SSEは平方誤差和（sum of the squared errors）である。SSEは、あるブロックについて、源画像中のピクセルに関連付けられた値と再構成された画像、すなわち復号画像中の対応するピクセルに関連付けられた値とのピクセルごとの差の当該ブロック上での和によって定義される。

本発明によれば、他の品質基準も使うことができる。画像のある領域から他の領域にビットを再分配する前に、値QP*のまわりで上に定義した曲線の部分を構築するために、系列の各画像jについての学習ステップが必要とされる。これらの曲線部分は、データ・ファイルを通じてなど、外的手段によって提供されてもよい。それは、三つの異なる量子化きざみ：QP*−L、QP*＋KおよびQP*を使って、画像jの関心領域または有力マスキング領域のいずれかに属する各ピクセル・ブロック（たとえば、16×16ピクセルの大きさのマクロブロック）をエンコードすることからなる。関心領域に属するエンコードされたブロックの再構成（すなわち復号）後、所与の量子化きざみの値（QP*−L、QP*＋KまたはQP*）についてこれらのブロックに関係するデータ（PSNRおよびNbBit）が平均されて、画像j中の該関心領域について、かつ三つの量子化きざみの値それぞれについて、PSNR値（PSNR^j _ROI）およびビット数の値（NbBit^j _ROI）が得られる。同様に、有力マスキング領域に属するブロックに関係するデータが平均されて、画像j中の該有力マスキング領域について、かつ三つの量子化きざみの値それぞれについて、PSNR値（PSNR^j _POT）およびビット数の値（NbBit^j _POT）が得られる。すると、三つの値QP*−L、QP*＋KおよびQP*の間の線形補間によって、曲線PSNR^j(QP)およびNbBit^j(QP)が補間され、画像jについて、関心領域については曲線PSNR^j _ROI(QP)およびNbBit^j _ROI(QP)が、有力マスキング領域については曲線PSNR^j _POT(QP)およびNbBit^j _POT(QP)が得られる。

ビットの移転または再分配の原理は、有力マスキング領域に属するブロックはより強く（設定点の量子化きざみQP*に基づく初期エンコードを基準として）圧縮し、有力マスキング領域のエンコードに使用されない（NbBit^j _POT(QP*)を基準として）ビットを関心領域のエンコードのために使用することにある。本方法によれば、有力マスキング領域のブロックを量子化するためには、有力マスキング領域に関連した再構成品質の最低限の所定の値PSNR^min _POT（たとえば20dB）が尊重される限りにおいて、より強い量子化きざみが使われることができる。同様に、関心領域については、再構成品質の最大の所定の値PSNR_max ^ROIが設定される（たとえば35dB）。これらの値は自動的に設定されることもできるし、手動で（たとえばオペレーターによって）設定されることもできる。本発明に基づく方法は、当該系列について設定点ビットレートD*とほぼ同様の全体的なビットレートを維持するよう注意しつつ、有力マスキング領域から関心領域にビットを移転させることによって、量子化きざみを局所的に適応させることにある。本発明に基づく方法は、第一の系列事前解析ステップを使用する。このステップでは、有力マスキング領域に割り当てられた量子化きざみを大きくすることによって系列全体にわたって回収または節約できるビット数が計算され、同様に、関心領域をより細かい量子化きざみでエンコードするために系列全部にわたって要求される追加的なビット数が計算される。この目的に向け、本選択的圧縮システムに関わる各領域（すなわち関心領域および有力マスキング領域）について、そして系列の各画像jについて、量子化きざみについてのいわゆる有効な値の集合が定義される。これらの値は、有力マスキング領域および関心領域においてそれぞれ最小PSNR要件および最大PSNR要件を満足する再構成品質を尊重するよう、PSNR(QP)曲線（各領域についておよび各画像についてモデル化される）から決定される。画像jにおける有力マスキング領域について、有力マスキング領域に割り当てられることのできる量子化きざみの値は、QP*で表される設定点の値と、最低限の再構成品質PSNR^min _POTを保証できるようにする最高値（QP_POT_MAX_jと記す）との間で変動する。同じ原理は関心領域に適用される。画像jにおける関心領域に割り当てられることのできる量子化きざみの値は、目標再構成品質PSNR^max _POTを達成できるようにする量子化きざみの最小値（QP_ROI_MIN_jと記す）と設定点の値QP*との間で変動する。

本発明によれば、事前解析ステップはまず、系列の各画像について、関心領域のビット数に関する要求と、有力マスキング領域が提供できるビット数とを収集することを含む。第二に、ビットの移転は、系列を通じて有力マスキング領域によってもたらされる可能性に基づく。二つの結末が考えられる：有力マスキング領域が要求を満たすことができるか、できないかである。後者の場合、ビットの再分配は、PSNRベースの品質の設定点に対する関心領域のPSNR不足分に比例して実行される。

事前解析においては、系列の各画像jについて、有力マスキング領域をQP_POT_MAX_jでエンコードするときに節約できるビット数が、該領域に関連付けられた曲線NbBit^j _POT(QP)から決定される。目標再構成品質PSNR^max _ROIを達成するための追加的なビットに関する関心領域の要求も評価される。最低限の再構成品質を提供する最大量子化きざみを用いたエンコードについて画像jの有力マスキング領域から節約されるビット数を表すのに項gain_j(QP_POT_MAX_j)を使うとすると、
gain_j(QP_POT_MAX_j)＝NbBit^j _POT(QP*)−NbBit^j _POT(QP_POT_MAX_j)
ここで：
・NbBit^j _POT(QP)は画像jの有力マスキング領域に関連付けられた曲線NbBit(QP)。
・QP_POT_MAX_jは、有力マスキング領域の最低限の再構成品質を提供するために使うことのできる量子化きざみの値。

目標再構成品質を満足する画像jの関心領域によって要求されるビット数を表すのに項requirement_j(QP_ROI_MIN_j)を使うとすると、
requirement_j(QP_ROI_MIN_j)＝NbBit^j _ROI(QP_ROI_MIN_j)−NbBit^j _ROI(QP*)
ここで：
・NbBit^j _ROI(QP)は画像jの関心領域に関連付けられた曲線NbBit(QP)。
・QP_ROI_MIN_jは、目標再構成品質に近い関心領域の再構成品質を保証するために使うことのできる量子化きざみの値。

この画像解析では、有力マスキング領域で節約されるビット数（G_POTと記す）および関心領域によって要求されるビット数（D_ROIと記す）が系列を通じて集約される。

ここで、Nはエンコードされるべき画像の数である。

さらに、設定点のきざみで量子化される関心領域の再構成品質と目標再構成品質PSNR^max _ROIとの間の品質差（我々のアプローチではPSNRによって評価されるが、これに制約されない）が、図１によって示されるように系列の各画像jについて計算される。ΔPSNR_ROIを、系列を通じたこれらの品質差の集約値とする。よって

ここで：
・δPSNR^j _ROI＝MAX(0,PSNR^max _ROI−PSNR^j _ROI(QP*))は画像jの関心領域の品質差であり；
・Nはエンコードされるべき系列の画像数であり；
・PSNR^j _ROI(QP*)は画像jの関心領域のPSNRの値である。

この事前解析の最後には、次の値が知られる：
・画像レベルでは：
・関心領域の目標再構成品質からの品質距離；
・それぞれ最低再構成品質PSNR^min _POTおよび目標再構成品質PSNR^max _ROIを達成するためにそれぞれ有力マスキング領域および関心領域に適用できる量子化きざみQP_POT_MAX_jおよびQP_ROI_MIN_j；
・系列レベルでは：
・関心領域の、目標再構成品質に比べた品質差の集約値ΔPSNR_ROI；
・有力マスキング領域G_POT上で節約される総ビット数
・目標再構成品質を達成するために関心領域によって要求される総ビット数D_ROI。

本方法の第二のステップのねらいは、量子化きざみQP_POT_MAX_jを用いた有力マスキング領域のエンコードから導かれる、系列を通じて節約されるビット数を、適宜、関心領域の目標再構成品質を満たすために再分配することによって、系列の各画像中の各領域について量子化きざみを割り当てることである。この分配は、実際上、有力マスキング領域が提供する能力、すなわち有力マスキング領域が要求を満たすことができるか（場合１）、できないか（場合２）に従ってなされる。

場合１：G_POT≧D_ROI
系列を通じて節約される総ビット数が、目標再構成品質を達成するために関心領域によって要求される総ビット数以上である。有力マスキング領域から節約されたビットの、系列を通じての関心領域への再分配ができる。この場合、全体としてのビットレートを下げることができる。

関心領域および有力マスキング領域の量子化きざみの局所的調整は、各画像jについて、それぞれの値QP_ROI_MIN_jおよびQP_POT_MAX_jに基づいて直接実行される。すなわち、QP_ROI_MIN_jが有力マスキング領域に割り当てられ、QP_POT_MAX_jが関心領域に割り当てられる。

場合２：G_POT＜D_ROI
系列を通じて集約されたビットレート節約が関心領域の要求を完全には満たすことができない。

量子化きざみの局所的調整後に設定点のビットレート（設定点の量子化きざみによって得られる）とほぼ同様の全体としてのビットレートを保持するために、現在の値QP_ROI_MIN_jより大きい、関心領域についての新たな量子化きざみの値QP_ROI_jを各画像jについて評価しなければならない。その際、ビットの再分配は、PSNRベースの品質設定点に対する関心領域のPSNR不足分に比例してなされる。各画像jについて、現在の関心領域のエンコードのために追加される追加ビット数NbAdditionalBits^j _ROIは、現在の品質差δPSNR^j _ROIに比例するように、有力マスキング領域から得られる総ビット数から、次のように計算される：

曲線NbBit^j _ROI(QP)から、新たな目標ビット数NbBit^j _ROI(QP*)＋NbAdditionalBits^j _ROIに近づくために使うことのできる関心領域の量子化きざみQP_ROI^jの値が推定される。

関心領域および有力マスキング領域の量子化きざみの局所的調整は、各画像jについて、それぞれの値QP_ROI_jおよびQP_POT_MAX_jに基づいて実行される。中立領域のブロックについては、選択的エンコード方針に関して中立的であると考えられる。すなわち、これらのブロックに割り当てられる量子化きざみは、設定点の量子化きざみQP*に対応する、すなわち量子化きざみの局所的適応はない。

本発明はまた、本発明に基づく量子化方法を実装するn枚の画像の系列を符号化するための符号化方法にも関する。該符号化方法は、前記系列のn枚の画像を一組の係数に、たとえばDCTを使って変換するステップと、前記係数を上記の方法に従って前記系列のn枚の画像内で局所的に適応された量子化きざみによって量子化するステップと、前記量子化された係数を（たとえばエントロピー符号化プロセスを使って）エンコードするステップとを有する。

本発明はまた、図２に描かれている、画像の系列を符号化する符号化装置１０にも関係する。図２には本質的なモジュールのみが描かれており、これから述べる。本符号化装置は、本符号化装置の入力の源画像を一組の係数（たとえばDCT係数）に変換するモジュール１１０を有する。モジュール１１０はたとえばDCT変換を実装するものである。次いで前記係数は、量子化モジュール１２０で量子化され、量子化された係数が得られる。量子化モジュール１２０は、本発明に基づく量子化きざみの局所的調整の方法を実装するよう適応されている。より具体的には、量子化モジュール１２０は系列の各画像の関心領域に量子化きざみを割り当てる。その際、節約されるビット数GPOTが十分であれば再構成品質を保証するように、あるいはこの節約されたビット数G_POTが系列全体にわたる関心領域の間で、目標再構成品質と設定点再構成（すなわち当該関心領域をQP*で量子化するときに得られる品質）との間の差に比例して分配されるようにする。次いで量子化された係数は、当業者に知られている符号化モジュール１３０、たとえばエントロピー・エンコーダによってエンコードされる。ある個別的な実施形態によれば、符号化装置１０はレート制御モジュール１４０を有する。モジュール１４０は、量子化モジュール１２０に設定点の量子化きざみQP*を提供することもできる。

もちろん、本発明は上述した実施形態に限定されるものではない。特に、当業者は、開示された実施形態にいかなる変形をも加えることができ、それらを組み合わせてさまざまな利点から裨益することができる。従来式のPSNR以外の基準を、画像の、ピクセルのブロックのあるいは画像中のある領域の再構成品質を特徴付けるために使うこともできる。たとえば、分散に基づいて重み付けされたPSNR、視覚心理学的モデリングに基づいた基準などである。同様に、PSNR(QP)およびNbBit(QP)の曲線は、記載した以外の手段で得ることもできる。よって、曲線を補間するために三つよりも多い量子化きざみを使うこともできる。同様に、たとえば多項式補間のような別の種類の補間を使うこともできる。

関心マップは、画像中の各ブロックについて関心レベルの高低を特徴付ける、二値でないマップであることもできる。これらのマップは、画像中でいくつかの関心領域を定義し、各領域のためにその関心レベルに従ってビットが再割り当てされるようにするために使うことができる。

エンコードされるべき系列の各画像についての関心領域のPSNRの傾向を示す図である。 本発明に基づく符号化装置を描く図である。

Claims (10)

1. 設定点の量子化きざみに対して、n画像からなる系列の画像中の量子化きざみを局所的に調整するために調整手段が実行する方法であって、前記画像は少なくとも一つの関心領域および一つの有力マスキング領域を有し、有力マスキング領域とは、活動性のレベルが閾値より高い非関心領域であり、該領域のそれぞれは可能性としてはいくつかの離散したグループのピクセルを有しており、前記関心領域および有力マスキング領域は、前記設定点の量子化きざみで量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるものであり、当該方法は：
   ・当該系列の各画像について、前記第二のビット数と、設定点の量子化きざみ以上の第一の量子化きざみで量子化された前記有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ以下の第二の量子化きざみで量子化された前記関心領域をエンコードするために使われるビット数と、前記第一のビット数との間の第二のビット差を計算し；
   ・当該系列の各画像において、有力マスキング領域に前記第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和がn個の第二のビット差の和より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には前記第二の量子化きざみ以上の第三の量子化きざみを前記関心領域に割り当て、それにより前記n個の第一のビット差の和が、当該系列の諸画像の関心領域の間で、各画像について計算された再構成品質基準に従って、分配されるようにする、
   ステップを有することを特徴とする方法。
2. 前記第一の量子化きざみは、該第一の量子化きざみが前記有力マスキング領域を符号化するために使われるときに該有力マスキング領域の第一の所定の再構成品質を保証するよう決定される、請求項１記載の方法。
3. 前記第二の量子化きざみは、該第二の量子化きざみが前記関心領域を符号化するために使われるときに該関心領域の第二の所定の再構成品質を保証するよう決定される、請求項１または２記載の方法。
4. 当該系列の前記n枚の画像にわたって、前記n個の第一のビット差の和が前記n個の第二のビット差の和より小さい場合には、前記n個の第一のビット差の和は、前記第二の所定の再構成品質と、前記設定点の量子化きざみを前記関心領域の符号化に使うときの前記関心領域の再構成品質との間の差に基づいて、当該系列の前記n枚の画像の関心領域の間で比例配分される、請求項３記載の方法。
5. 前記画像がさらに中立領域を有しており、該中立領域は可能性としては離散した諸グループのピクセルを有しており、該中立領域には設定点の量子化きざみが割り当てられる、請求項１ないし４記載の方法。
6. n枚の画像の系列を符号化する方法であって、前記n枚の画像を一組の係数に変換するステップと、前記係数のそれぞれを量子化きざみによって量子化するステップと、前記量子化された係数をエンコードするステップとを有しており、前記量子化きざみが請求項１ないし５のうちいずれか一項記載の方法に従って局所的に調整される方法。
7. 少なくとも一つの関心領域および一つの有力マスキング領域を有する画像n枚の系列を符号化する符号化装置であって、有力マスキング領域とは、活動性のレベルが閾値より高い非関心領域であり、該領域のそれぞれは可能性としてはいくつかの離散したグループのピクセルを有しており、当該装置は：
   ・前記n枚の画像のそれぞれを一組の係数に変換する手段と；
   ・前記係数を、設定点の量子化きざみに関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、前記関心領域および有力マスキング領域は前記設定点の量子化きざみで量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段と；
   ・前記量子化された係数を符号化する符号化手段とを有しており；
   前記量子化手段が：
   ・当該系列の各画像について、前記第二のビット数と、設定点の量子化きざみ以上の第一の量子化きざみで量子化された前記有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ以下の第二の量子化きざみで量子化された前記関心領域をエンコードするために使われるビット数と、前記第一のビット数との間の第二のビット差を計算する手段と；
   ・当該系列の各画像において、有力マスキング領域に前記第一の量子化きざみを割り当て、当該系列の前記n枚の画像にわたってn個の第一のビット差の和がn個の第二のビット差の和より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には前記第二の量子化きざみ以上の第三の量子化きざみを前記関心領域に割り当て、それにより前記n個の第一のビット差の和が、各画像について計算された再構成品質基準に従って、当該系列の諸画像の関心領域の間で分配されるようにする手段とを有する、
   ことを特徴とする装置。
8. 前記設定点の量子化きざみによる前記量子化手段を提供するレート制御手段をさらに有する、請求項７記載の符号化装置。
9. 前記活動性のレベルが前記有力マスキング領域の分散である、請求項１記載の方法。
10. 前記活動性のレベルが前記有力マスキング領域の分散である、請求項７記載の装置。

Images