JP5148605B2 - フレーム・モード又はフィールド・モードの符号化方法 - Google Patents

Description

本発明は、フィールド・モード又はフレーム・モードでピクチャを符号化する方法及び装置に関し、フレーム・モードは、マクロブロック群についてピクチャ内で局所にフィールド・モードを使用することができる。

インタレース・ビデオは、最も一般的に使用されているテレビジョン形式である。フレーム・ピクチャは、それぞれピクチャの偶数行及び奇数行を表す２つの偶数フィールド及び奇数フィールド（トップ・フィールド及びボトム・フィールドとも呼ばれる）を含む。トップ・フィールド及びボトム・フィールドは２つの別々の時点で取得され、系列の一部のピクチャには、２つの取得間の移動によるインタレーシング・アーチファクトがみられる。

前述の形式のサポートを向上させるために、ＭＰＥＧ４又はＨ２６４標準は、３つの別々のモード（すなわち、「フレーム」、「フィールド」及び「ＭＢＡＦＦ」（マクロブロック適応型フィールド・フレーム））によってピクチャが符号化されることが可能になる。フレーム・モードでは、ピクチャはそのまま、符号化され、フィールド・モードでは、２つのフィールドが別個に符号化される。ＭＢＡＦＦモードをフレーム・モードとともに使用して、ピクチャのフィールドを局所で分離することを可能にすることにより、このモードを改良することが可能である。

図１は、フィールド・モード又はフレーム・モードで符号化された２つのマクロブロック（ＭＢ）によって構成されるピクチャ又はスーパーマクロブロック（ＳＭＢ）のマクロブロック群を示す。フレーム・モードでのスーパーマクロブロックの符号化には、第１のフィールド及び第２のフィールドの行の交番によってそれぞれが構成される１及び２と表すマクロブロックの符号化が関係する。フレーム・モードでのスーパーマクロブロックの符号化には、第１のフィールド及び第２のフィールドにそれぞれが属する一連の行によって構成される３及び４と表すマクロブロックの符号化が関係する。図２は、マクロブロック又はスーパーマクロブロック（参照符号６）の対でピクチャ走査を行い、局所での符号化の選択を可能にするピクチャ（参照符号５）を示す。

したがって、モード選択（ピクチャの場合、フィールド符号化モード又はフレーム符号化モ―ドであり、ピクチャのフィールド符号化の場合、ピクチャのスーパーマクロブロックのフィールド符号化モード又はフレーム符号化モードである）の課題は、ピクチャのビットレート／品質の観点から圧縮の最適化を可能にする。

前述の課題を解決するために２つの解決策のタイプ（すなわち、経験に基づいた基準に基づく解決策、及び演繹的基準に基づく解決策）が現在存在している。

経験に基づいたアルゴリズムの場合、符号化は、２つのパスで行われる（すなわち、一方はフィールド・モードで行われ、他方は、フレーム・モード又はフレーム＋ＭＢＡＦＦモードで行われる）。符号化器は次いで、各パス後に、得られた結果を記憶し、次いで、ピクチャのビットレート／品質の妥協に基づいた最適化関数を使用してこれらを比較する。この種の方法の欠点は、算出時間におけるそのコストである。

いくつかの演繹的手法が存在している。

第１の「演繹的」手法は、「Ｆａｓｔ ｄｅｃｉｓｉｏｎ ｏｎ ｐｉｃｔｕｒｅ ａｄａｐｔｉｖｅ ｆｒａｍｅ／ｆｉｅｌｄ ｃｏｄｉｎｇ ｆｏｒ Ｈ．２６４」と題する、Ｙｉｎ、 Ａ． Ｔｏｕｒａｐｉｓ、 Ｊ． Ｂｏｙｃｅによる文献に開示されている。上記開示アルゴリズムは、符号化器が有する選択肢がフィールド・モード及びフレーム・モードのみの場合の課題を解決することを提案している。これは、動いているピクチャ・ゾーンの符号化はしばしば、フレーム・モードよりもフィールド・モードのほうが好適であるという仮説に基づく。

主たる考えは、「Ａ Ｒｏｂｕｓｔ Ｍｏｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｅｓｔｉｍａｔｉｏｎ Ｆｉｌｔｅｒ Ｆｏｒ Ｖｉｄｅｏ Ｓｉｇｎａｌｓ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００３ ＳＰＩＥ Ｃｏｎｆ． ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ， Ｊａｎ． ２００３」と題する、Ｍ． Ｌａｔｚｅｌ， Ｊ． Ｋ． Ｔｓｏｔｓｏｓによる文献に示された動き検出フィルタを使用して、動いている領域に属するスーパーマクロブロック（２つの垂直マクロブロックによって構成される）を検出することである。

ピクチャが概括的に、「動いている」マクロブロックを含む場合、アルゴリズムにより、フィールド・モードで符号化する旨の決定が行われ、他方の場合には、フレーム・モードで符号化する旨の決定が行われる。

使用される動き検出器フィルタはこの係数
Ｋ_ＢＰ＝［−１，２，−３，４，−３，２，−１］
で表される。このフィルタをピクチャＩ（ｘ，ｙ）（すなわち、「ピクチャの輝度値」）に垂直方向に施して、ピクチャＩ_ＢＰ（ｘ，ｙ）を出力で供給する。マスク・ピクチャが次いで、

というやり方で構成される。ここで、Ｔ１は所定の閾値である。

スーパーマクロブロックは、そのスーパーマクロブロックＳＭＢのｘ，ｙ画素が

であるような場合、動いているとみなされる。ここで、Ｔ２は所定の閾値である。

次いで、動いているスーパーマクロブロックの、ピクチャ内のスーパーマクロブロックに対するＳ比、及び現在のピクチャとその参照との間の、輝度における差Ｄの絶対値の平均が算出される。

フレーム／フィールドは、ピクチャ全体について以下の通り、決定される。すなわち、
ピクチャがイントラ・タイプの場合であり、
Ｓ＜０．５の場合、符号化はフレーム・モードで行われ、
さもなければ、符号化はフィールド・モードで行われ、
ピクチャが双方向予測タイプの場合であり、かつＳ＜０．６の場合、
符号化はフレーム・モードで行われ、
さもなければ、符号化はフィールド・モードで行われ、
さもなければ、ピクチャが一方向予測タイプの場合であり、かつ（（Ｓ＞０．５） ＯＲ （（Ｓ＞０．３ ＡＮＤ Ｄ＞４．５） ＡＮＤ （Ｄ＜１０．０）））の場合、
符号化はフレーム・モードで行われ、
さもなければ、符号化はフレーム・モードで行われる。

大文字のＡＮＤ及びＯＲの項は論理演算子である。

上記文献には、種々の閾値を自動的に求めることも提案されている。

前述の手法の欠点は、フィールド・モ―ド又はフレーム・モードの考えられる局所の利用を考慮に入れていないので、最適化されていないという点である。前述の手法は、ＭＢＡＦＦモードには適していない。

別の手法が「Ｖｉｄｅｏ ｃｏｄｅｒ ｗｉｔｈ ｃｏｎｔｒｏｌ ｏｆ ＧＯＰ ｓｔｒｕｃｔｕｒｅ ｂｙ ｓｐａｔｉａｌ ａｎｄ ｔｅｍｐｏｒａｌ ａｃｔｉｖｉｔｙ」と題する、Ｘ． Ｄｕｃｌｏｕｘ、 Ｐ Ａｌｅｘａｎｄｒｅ 及び Ｌ Ｎｏｂｌｅｔによる西暦２００５年１月５日付出願の欧州特許出願（ＥＰ１４９４４８３）において提案されている（大局基準に基づいたアルゴリズムが記載されている）。ピクチャ全体上で計算された２つのメトリックの比較により、フレーム／フィールドの選択が可能になる。

２つのメトリックは以下の通りである。

フィールド内輝度勾配は、連続する２本の線間の差の絶対値の和であり、フィールド内の１６本の線×１６本の線として算出される。

ここで、ＦＹ_ｎ（ｉ．ｊ）は、フィールドｎ内の１６×１６ブロックのｋ個の行の水平座標ｉ及び垂直座標ｊの画素の輝度値を表し、係数ｋは、ｋ＝０乃至ｋ＝（フィールドの行の数）／１６−１の間を変動する。

フィールド間輝度勾配は、１Ｔ、２Ｔ、ｘＴの周期で離間した２フィールドの同じ位置に配置された画素の差の絶対値の和で表され、フィールド内の１６本の線×１６本の線で算出される。

名称ＦＬＡＤＩｎｔｒａ及びＦＬＡＤＩｎｔｅｒは、ＦｉｅＬｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅと同様であるとみなされる。

大局勾配（フィールド内ＦＬＡＤＩｎｔｒａＳｕｍ_ｎ及びフィールド間ＦＬＡＤＩｎｔｅｒ１Ｔ_ｎ）はｎ個のフィールドの場合、

で表される。

フィールドｎ−１はピクチャのトップ・フィールドであり、ｎはボトム・フィールドであるとすれば、選択基準は、空間活動

で表される。

ＳＰＡｃｔが所定の閾値で大きい場合、ピクチャがフィールド・モードで符号化され、さもなければ、ピクチャがフレーム・モード＋ＭＢＡＦＦを使用して符号化される。

最後に、第３の手法は、双方向予測タイプのＢピクチャ全てをフレーム・モードで符号化し、一方向予測タイプのピクチャＰをフィールド・モードで符号化することを伴う。この単純なアルゴリズムは、ピクチャ・タイプ毎の、経験に基づいたアルゴリズムによって最も多く使用されるモードであるという認識によって生まれている。

前述の従来技術に関して、動き検出器フィルタは、マスクの記憶、算出、及び完全なピクチャの処理動作を必要とする。フィルタリングの解決策は、（特に、マクロブロック又はスーパーマクロブロックのレベルにおける符号化モードの選択について）最適化されていない。

同様に、大局勾配の算出は圧縮を最適化することを可能にしない（符号化モードの選択は、完全なピクチャについて行われる）。

前述の解決策は実現が単純であるが、特定の回復品質における圧縮率の点で最適化されていない。

本発明の目的の１つは、前述の欠点を解決することである。本発明は、フィールド・モード又はフレーム・モードでピクチャを符号化する方法及び装置であって、フレーム・モードは、マクロブロック群についてピクチャ内で局所にフィールド・モードを使用することができ、上記方法及び装置は、
各構成フィールドのマクロブロック間の時間活動、及び各構成マクロブロックの空間活動を、フィールド・モード内のマクロブロック群について算出する機能と、
時間活動の増加関数、及び算出された空間活動の減少関数の群に関する活動係数を算出する機能と、
群に関する活動係数を所定の閾値と比較して、活動を有する群としてこれを定義する機能と、
ピクチャ内のマクロブロックの群の数に対する、活動を有する検出マクロブロック群の数によってフィールド・モード又はフレーム・モードでピクチャを符号化する機能とを有する。

特定の実現形態によれば、時間活動は、フィールド・モードにおけるマクロブロックの群のフィールド・マクロブロック間のフィールド間勾配の関数であり、空間活動は、フィールド・モードにおけるフィールド・マクロブロックそれぞれから２×２で得られる線間のフィールド内勾配の関数である。

特定の実現形態によれば、活動係数は、フィールド間勾配の増加関数、及びフィールド内勾配の和の減少関数である。

特定の実現形態によれば、マクロブロック群はスーパーマクロブロックであり、マクロブロック群のレベルでのフィールド・モード又はフレーム・モードは、ＭＢＡＦＦ（マクロブロック適応型フィールド・フレーム）モードである。

特定の実現形態によれば、相対活動は、

の値を有する。

ＦＹ_ｎ（ｉ，ｊ）は、スーパーマクロブロックのフィールドｎの水平座標ｉ及び垂直座標ｊの画素の輝度値を表す。

特定の実現形態によれば、活動があるとされたマクロブロックの群の数の、マクロブロックの群の合計数に対する比が所定の閾値よりも大きい場合、ピクチャはフィールド・モードで符号化され、さもなければ、ピクチャはＭＢＡＦＦフレーム・モードで符号化される。

特定の実現形態では、所定の閾値は１／２である。

本発明は、フィールド・モード又はフレーム・モードでピクチャを実際に符号化する符号化回路に接続された、符号化決定アルゴリズムを行うための前置解析回路を備える、上記方法を実現する装置にも関し、上記符号化回路は、ピクチャ内に、活動を有する検出マクロブロック群の数によってフィールド・モード又はフレーム・モードで符号化情報を前置解析回路から受け取る。

本発明は、動き又は活動の検出を符号化エンティティ、及び考えられる符号化モード（すなわち、マクロブロックの群、並びにフィールド・モード及びフレーム・モード）に適合させ、この検出を向上させることにより、ピクチャのフィールド符号化モード又はフレーム符号化モードの選択肢の最適化を可能にする。データ圧縮、又は特定のビットレートのピクチャ品質が改善される。

他の特定の構成及び利点は以下の説明から明らかになり、上記説明は、限定的でない例として記載しており、添付図面を参照している。

本願の原理は、局所手法においてメトリック勾配を使用することを含む。これは、勾配に対する特定の基準を満たすピクチャのスーパーマクロブロックを検出することを伴う。前置解析段階により、ピクチャのレベルでフレーム／フィールド符号化モードを決定するために前述の比を算出することが可能になる。

以下明細書では、ブロックの空間活動又は空間複雑度を、ブロック内の空間相関に直結した値として表す。空間複雑度が高い場合、相関は低く、逆も同様である。同様に、時間複雑度は時間相関（一般に、ピクチャの同じ場所に配置された２つのブロック間、又はピクチャ系列の連続フィールド間）に関係付けられる。

スーパーマクロブロックの符号化モードの選択のためにフィールド内の垂直空間活動を使用することにより、フィールド間の差に対応する動き情報を相対化することが可能になる。ＭＢＡＦＦ符号化の利点は、均一な動きのゾーン、又は安定したテクスチャのゾーンを含む場合、少なくなる。前述の（すなわち、ピクチャの別個のフィールドへの符号化、又はＭＢＡＦＦの可能性を有するフレームへの符号化の）場合、本質的なことは、賢明なフィールド又はフレームの決定を行い、必要な場合、ＭＢＡＦＦ符号化を使用することができることである。よって、前述の式を考慮すれば、

となり、値ＳＰＡｃｔは、ピクチャ全体の大局的な算出の結果であり、フィールド／フレーム決定は閾値に対して行われる。実際に、前述の大局的な算出は平均化により、マクロブロック対に対する局所測定を希釈化する傾向にある。以下明細書に記載するように、本発明はまず、フィールド／フレーム決定を局所で行い、その後、大局的な解析を行う。この解析は、局所決定の組から処理される。本明細書記載のシミュレーション結果は、前述の手法が適切であることを示す。

図３は、本発明による方法のフロー図を示す。

フィールドｎ−１及びフィールド１に関するデータがフロー図の入力に送出される。フィールドｎ−１のマクロブロック及びフィールドｎのマクロブロックによって構成されるスーパーマクロブロックそれぞれが順次、処理される。

工程７は、フィールドｎの１６×１６マクロブロック内の、２×２単位の線の絶対値の差に対応するＦＬＡＤＩｎｔｒａＭＢ_ｎのイントラ算出を行う。

同様に、フィールドｎ−１の１６×１６マクロブロックに対応するＦＬＡＤＩｎｔｒａＭＢ_ｎ−１を算出する場合、

となる。

ＦＹ_ｎ（ｉ，ｊ）は、スーパーマクロブロックのフィールドｎの水平座標ｉ及び垂直座標ｊの画素の輝度値を表す。フィールドｎ−１は、スーパーマクロブロックのピクチャのトップ・フィールドであり、フィールドｎは、スーパーマクロブロックのピクチャのボトム・フィールドである。

工程８は、フィールドｎのマクロブロックとフィールドｎ−１のマクロブロックとの間の絶対値における差に対応するＦＬＡＤｉｎｔｅｒＭＢのインター算出を行う。

フィールドｎのマクロブロックの線及びフィールドｎ−１に対応するマクロブロックの線によって構成されるスーパーマクロブロック毎に、ブロック１６×３２の垂直勾配（フレーム構成の場合）が、１６×３２ブロックの垂直勾配（フィールド構成の場合）と比較される。工程９はよって、相対活動係数と呼ぶ比Ｒを算出する。

別のやり方では、Ｒ比の分子は、連続する２つのフィールドｎ−１及びｎ間の１６×１６フィールド・マクロブロックの勾配を表し、Ｒ比の分母は、フィールドｎ及びフィールドｎ−１の２×２単位の連続した線間の１６×１６のフィールド・マクロブロックの勾配の１における和である。

以下の工程１０は、所定の閾値Ｔ１（経験的に求めることが可能である）でこの算出値Ｒを比較する。Ｒ比がＴ１閾値よりも大きな場合、スーパーマクロブロックは、動いているか、又は活動している領域に属しているとみなされ、活動を有するスーパーマクロブロックと呼ばれる。

Ｒが閾値Ｔ１より大きな場合、工程１１により、カウンタＮｂＭＢフィールドが１増やされ、それにより、この条件を満たすピクチャのマクロブロックの数が知られることが可能になる。

Ｒが閾値Ｔ１より少ない場合、次の工程は、これが、ピクチャの最後のスーパーマクロブロックを伴うか否かを検証する工程１２である。

最後のスーパーマクロブロックを伴わない場合、工程１２は、走査の方向に応じて、次のスーパーマクロブロックで、現在のスーパーマクロブロックを置き換える工程１３を介して工程７にループバックする。最後のスーパーマクロブロックを伴う場合（すなわち、ピクチャ全体が処理された場合）、ピクチャ内のマクロブロックの数を２で割った値と、値ＮｂＭＢフィールドを比較する。この値がこの数よりも大きな場合（すなわち、動いているスーパーマクロブロックの、ピクチャのスーパーマクロブロックに対する比が５０％を超えた場合、ピクチャはフィールド・モードで符号化される（工程１５）。この値が５０％以下の場合、ピクチャは、ＭＢＡＦＦモードを使用してフレーム・モードで符号化される（工程１６）。

実現されるアルゴリズムは、演繹的な基準に基づく。前置解析中に、動いているとされたか、又は空間活動及び時間活動を有するマクロブロックの数が閾値よりも大きい場合（上記例では、ピクチャ内のマクロブロックの数の半分）、ピクチャのマクロブロック全ての符号化を強制的にフィールド・モードで行う（すなわち、ピクチャをフィールド・モードで符号化する）ことが効果的である。反対のケースでは、ピクチャはフレーム・モードで符号化される（スーパーマクロブロック・レベルで符号化する場合の選択肢はフィールド・モード又はフレーム・モードになる）。

符号化品質を求めるために、検査系列としてその有用性が知られている一般的な系列のいくつかについて、本発明による方法を、上述の方法（すなわち、フィールド・モードへの予測タイプのＰピクチャの符号化、及びフレーム・モードへの双方向タイプのＢピクチャの符号化のアルゴリズムを使用した方法、及び勾配アルゴリズムを使用した方法）と比較した。

結果を以下の表において、経験に基づいたアルゴリズム（最高の結果をもたらす参照アルゴリズム）と比較して記載する。

表は、×印でマーキングした「最善の」アルゴリズムに対する、アルゴリズムのビットレート／歪みの点での損失率を表す。表は、歪み＝ｆ（ビットレート）下の領域の比に関する。ビデオ符号化アルゴリズムを比較する前述のやり方は、「Ｃａｌｃｕｌａｔｉｏｎ ｏｆ ａｖｅｒａｇｅ ＰＳＮＲ ｄｉｆｆｅｒｅｎｃｅｓ ｂｅｔｗｅｅｎ ＲＤ ｃｕｒｖｅｓ， ｄｏｃｕｍｅｎｔ ＶＣＥＧ−Ｍ３３， ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＶＣＥＧ） Ｍｅｅｔｉｎｇ， Ａｐｒｉｌ ２００１」と題する、Ｇｉｓｌｅ Ｂｊｏｎｔｅｇａａｒｄによる文献に開示されており、測定名「Ｂｊｏｎｔｅｇａａｒｄ」として知られている、ビデオ圧縮界において現在使用されているアルゴリズムに対応する。

単一の系列（ｂｉｇｄｉｌ）を除き、本発明によるアルゴリズムは、勾配の場合の結果よりも良好な結果又は勾配の場合の結果と少なくとも同等の結果をもたらす。

本発明は、上記方法に実現するための装置にも関する。上記装置は前置解析回路及び実際の符号化器を備える。前置解析回路は、上述のフィールド・フレーム決定アルゴリズムを使用する。フィールド・フレーム符号化モードに関する情報は、ピクチャ系列の符号化の効果的な実現のために符号化器に送出される。

上記例は、サイズ１６×１６のマクロブロックについて記載している。当然、本発明は、何れのサイズのマクロブロックにもあてはまる。
本発明は、ＭＢＡＦＦモード（特に、ＭＰＥＧ４標準又はＨ２６４）を使用した何れのタイプの標準にもあてはまる。

フレーム・モード及びフィールド・モードにおけるマクロブロック群を示す図である。 ＭＢＡＦＦモードを使用したピクチャ符号化を示す図である。 本発明による符号化アルゴリズムを示す図である。

Claims (5)

1. フィールド・モード又はフレーム・モードでピクチャを符号化する方法であって、前記ピクチャのフレーム・モードは、マクロブロック群について、前記ピクチャ内で局所に前記フィールド・モードを所要することができ、
   各構成フィールドのマクロブロック間の時間活動、及び各構成マクロブロックの空間活動を、フィールド・モード内のマクロブロック群について算出する工程と、
   前記時間活動の増加関数、及び前記算出された空間活動の減少関数である、群に関する活動係数を算出する工程と、
   前記群に関する前記活動係数を所定の閾値と比較して、活動を有する群としてこれを定義する工程と、
   前記ピクチャ内のマクロブロックの群の数に対する、活動を有する検出マクロブロック群の数によってフィールド・モード又はフレーム・モードで前記ピクチャを符号化する工程とを有し、前記マクロブロック群はスーパーマクロブロックであり、
   前記活動係数は、
   

   

   に等しく、
   ＦＹ_ｎ（ｉ，ｊ）は、前記スーパーマクロブロックのフィールドｎの水平座標ｉ及び垂直座標ｊの画素の輝度値を表す方法。
2. 請求項１記載の方法であって、前記スーパーマクロブロックのレベルでの前記フィールド・モード又は前記フレーム・モードは、ＭＢＡＦＦ（マクロブロック適応型フィールド・フレーム）モードである方法。
3. 請求項１記載の方法であって、活動があるとされたスーパーマクロブロックの数の、スーパーマクロブロックの合計数に対する比が所定の閾値よりも大きい場合、前記ピクチャはフィールド・モードで符号化され、さもなければ、前記ピクチャはＭＢＡＦＦフレーム・モードで符号化される方法。
4. 請求項３記載の方法であって、前記所定の閾値が１／２である方法。
5. 請求項１記載の方法を実現する装置であって、フィールド・モード又はフレーム・モード内のピクチャを実際に符号化する符号化回路に接続された、符号化決定アルゴリズムを行うための前置解析回路を備え、前記符号化回路は、前記ピクチャ内に、活動を有する検出スーパーマクロブロックの数によって決定されるフィールド・モード又はフレーム・モードに関する符号化情報を前記前置解析回路から受け取る装置。

Images