JP5474838B2 - 改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置 - Google Patents

Description

本発明は、ビデオ符号化に関し、より詳細には、改善された効率及び主観的な品質をサポートする予測フレームの選択の方法及び装置に関する。

本出願は、2008年3月10日に提出された米国仮出願第61/035187号（代理人番号PU080013）の利益を特許請求するものであり、この米国仮出願は、引用によりその完全な形で本明細書に盛り込まれる。

典型的に、現在最新のビデオ符号化規格は、あるフレームを符号化するために３つの一般的なフレームタイプ、すなわちＩフレーム、Ｐフレーム及びＢフレームを規定する。Ｂフレームとは、双方向予測フレーム（Bi-directional frame）又は双方向予測フレーム（Bi-directional predictive frame）、或いは双予測フレーム（Bi-predictive frame）の略記である。Ｂフレームは、それらに先行するフレーム及び後続するフレームに依存し、先行するフレームから変化したデータであって、次のフレームにおけるデータとは異なるデータのみを含む。Ｐフレームは、予測フレーム（Predictive frame）又は予測されたフレーム（Predicted frame）の略記である。Ｐフレームは、Ｉフレームに後続し、先行するＩフレームから変化したデータのみを含む。Ｐフレームは、そのデータの大部分に情報を与えるためにＩフレームに依存する。Ｉフレームは、キーフレームとも呼ばれ、イントラフレーム（Intra-frame）の略記である。Ｉフレームは、あるフレームを表示するために必要な全てのデータを記憶し、インターフレームの動き補償予測（MCP）を含まない。一般的な用法では、Ｉフレームは、圧縮されたビデオにおいてＰフレームとＢフレームが組み入れられる。Ｐフレーム符号化は、順方向インターフレームＭＣＰのみを可能とし、Ｂフレーム符号化は、順方向だけでなく、後方向及び双方向ＭＣＰを可能とする。あるフレームを符号化するために正しいフレームタイプをどのように選択すべきかは、重要な問題であり、符号化効率に影響を及ぼすだけでなく、符号化されたビデオの知覚的な品質にも影響を及ぼす。

Ｉフレームタイプの選択は、簡単なことがある。最初のビデオフレームのほかに、シーン変化があるときは何時でも、又は、最大のＧＯＰ（Group-of-Picture）の長さに到達したときは何時でも、あるフレームはＩフレームとして符号化される。実際に、最大のGOPの長さをもつGOP構造は、符号化されたビデオの高速なランダムアクセスを保証するために適用されることがある。しかし、予測／双方向予測（Ｐ／Ｂ）フレームタイプの選択は、重要であって、より困難な問題である。Ｐフレーム符号化に比較して、Ｂフレーム符号化は、より柔軟な予測の選択を可能にし、したがって、一般に、個々のフレームについて良好な符号化効率が得られる。しかし、Ｂフレームの直後のフレームを符号化する効率は、妥協される場合がある。これは、そのフレームの直前のフレームがＢフレームとして符号化され、その予測はＢフレームの直前のフレームを参照し、したがって妥協された符号化効率を招くためである。Ｐ／Ｂフレームタイプは、最良の全体の符号化効率を達成するために選択されるべきである。実際に、Ｂフレーム符号化の別の利点は、結果として得られるフリッカのアーチファクトである。後方向予測及び双方向予測のため、符号化されたＰフレームとＢフレームとの間、又は２つの符号化されたＢフレーム間の結果として得られるフレーム間の差は、通常、２つの符号化されたＰフレーム間のものよりも重要である。したがって、特に、低ビットレート又は中間ビットレートで、Ｂフレーム符号化が多くなるにつれて、より多くのフリッカのアーチファクトが観察される。

フレームタイプの選択／判定のほかに、この同じ問題は、他の関連される及び類似の状況で対処される。たとえば、同じ問題は、動的／適応ＧＯＰ（Group of Picture）構造で対処される。さらに、同じ問題は、参照フレームの配置／挿入の状況で対処される。基本的に、この問題は、関与するフレームとその隣接するフレームの両者の全体の符号化性能が最適化されるように、あるフレームがＰフレームに符号化されるべきか又はＢフレームに符号化されるべきかをどのように適切に判定するかである。

全ての既存のスキームは、符号化効率を改善することを主要な目的としている。このため、広く認識された経験則は、第一及び第二の従来技術のアプローチに関して記載されるように、以下の通りである。Ｐフレーム（又は参照フレーム）は、フレーム間の動きが高いときに、すなわち２つの隣接するフレーム間の相関が低いときに挿入されるべきである一方、非参照のＢフレームの符号化はより効率的であり、低い又は中間の動きフレームを符号化するために適用されるべきである。

既存の参照文献では、Ｐ／Ｂフレームタイプの選択の問題は、ＧＯＰに基づく符号化のシナリオについて通常は対処される。第三の従来技術のアプローチでは、あるＧＯＰのレート歪みの最適なＰ／Ｂ符号化パターン／構造を発見するため、あるスキームが提案される。あるＧＯＰ内のそれぞれのフレームについて、Ｐ／Ｂ判定のほかに、スキームは、ＣＢＲ（Constant Bit Rate）レート制御について最適な量子化パラメータをサーチする。符号化効率に関するその最適性にも関わらず、このスキームは、ある判定の結果を見るために、あるフレームの多数の実際の符号化経路を必要とし、したがって、リアルタイムの符号化シナリオにおいて禁止される更なる遅延の要求を招くことは言うまでもなく、非実用的な計算上の複雑さを招く。

実際、大部分の既存のスキームは、低い複雑度の実用的なソリューションである。第二の従来技術のアプローチでは、Ｐフレームは、蓄積された動き強度が所定の閾値を超えたときに挿入され、この場合、動き強度は、動きベクトル（ＭＶ）の絶対の大きさの合計で測定される一方、第四の従来技術のアプローチにおけるスキームは、動きの速度が殆ど一定であるとき、すなわちその前方向及び後方向の動きの強度が類似であるか又は釣り合っているとき、Ｂフレームとして符号化される。原理上は、蓄積された動き及び釣り合いの取れた動きに関する経験則は、相補的なものであり、したがって全体的に適用された場合、良好な性能が達成される。

別のタイプのＰ／Ｂ選択のアプローチは、数学的モデルに基づいている。しかし、実際に、Ｂフレーム符号化は、関与される後方向予測のために迷惑なフリッカのアーチファクトを生じる場合があり、このアーチファクトは、低い動きフレームで容易に観察される。

第五の従来技術のアプローチでは、ＧＯＰのそのＰ／Ｂパターンとの符号化ゲイン、並びにインターフレーム及びイントラフレームの特性に関連する解析関数が導出され、最適なＧＯＰ構造は、符号化ゲインを最大にする構造である。他のスキームは、最適な連続するＢフレームの数を、あるＧＯＰの平均の動き予測誤差及び平均の空間アクティビティの関数としてモデル化する。数学的な関数／モデルの明示的な形式の代わりに、第六の従来技術のアプローチでは、Ｐ／Ｂフレームタイプの選択は、分類の問題として考えられ、この場合、入力の特徴の変数は、現在のフレームと次のフレームの動き予測誤差の平均及び変動であり、出力はＰ／Ｂ判定である。大量のトレーニングデータが与えられると、分類の分散密度関数は、ＧＭＭ（Gaussian Mixture Models）及びＥＭ（Expectation Maximization）方法で導出される。しかし、全てのこれらのモデルに基づくスキームについて、それらのモデリング精度は、経験則に基づくアプローチにおけるのと同様に良好に正当化されず、有効な符号化のパフォーマンスが常に保証されない場合がある。

Ｐ／Ｂフレームタイプの選択スキームでは、あるフレームの動き強度をどのように正確に測定すべきかは、重要な問題であることがある。フレームの動き強度は、高い動きフレームは符号化のために複雑なフレームであるので、あるフレームの符号化の複雑さを表す。様々なフレームレベルのヒストグラムに基づいた測定が従来技術において調査された。これらの測定は、容易に計算することができる。しかし、これらは、全体的な動きを測定するのは得意であるが、局所的な動きを測定するのは得意ではない。動き予測又は補償は、動きの強度の更に正確な測定値を導出するのに役立つ。第二の従来技術のアプローチでは、あるフレームの全てのマクロブロック（ＭＢ）の絶対の動きベクトル（ＭＶ）の大きさの合計が動きを測定するために使用される一方、第六の従来技術のアプローチでは、動き予測誤差のみが測定のために使用される。しかし、これらの何れも、より正確なフレームの複雑さの測度を導き、したがって良好なＰ／Ｂ選択の性能を導く動きベクトル及び動き予測誤差の両者を包括的に考慮していない。

従来技術のこれらの課題及び問題点、並びに他の課題及び問題点は本発明により対処され、改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置に向けられる。

本発明の態様によれば、装置が提供され、本装置は、符号化効率と、双方向インター予測ピクチャとしてピクチャを符号化することから生じるフリッカのアーチファクトの判定とに基づいて、ピクチャを１方向のインター予測ピクチャのタイプとして符号化することと、双方向のインター予測ピクチャのタイプとして符号化することとの間で選択する選択スキームを使用して、あるピクチャを符号化するエンコーダを含む。

本発明の別の態様によれば、方法が提供され、本方法は、符号化効率と双方向インター予測ピクチャとしてピクチャを符号化することから生じるフリッカのアーチファクトの判定とに基づいて、ピクチャを１方向のインター予測ピクチャのタイプとして符号化することと、双方向のインター予測ピクチャのタイプとして符号化することとの間で選択する選択スキームを使用して、あるピクチャを符号化するステップを含む。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれることとなる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の添付図面に従って良好に理解される。
本発明の実施の形態に係るビデオエンコーダのブロック図である。 本発明の実施の形態に係る、ビデオエンコーダにおけるＰ／Ｂフレームタイプの選択の例示的な方法のフローチャートである。

本発明は、改善された効率及び主観的な品質をサポートする予測フレームの選択の方法及び装置に向けられる。

ここでの記載は、本発明の原理を例示するものである。したがって、当業者であれば、本実施の形態で明示的に記載又は図示されないが、本発明を実施する様々なアレンジメントであって、本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されたい。

本実施の形態で引用される全ての例及び条件付き言語は、当該技術分野を促進するために本発明者により与えられる本発明の原理及び概念の理解において読者を支援する教育的な目的が意図され、係る特に引用される例及び条件に限定されないとして解釈されるべきである。

さらに、本発明の特定の例と同様に、本発明の原理、態様及び実施の形態を引用する全ての説明は、本発明の構造的及び機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在既知の等価な概念と、将来に開発される等価な概念、すなわち構造に関わらず、同じ機能を実行する開発された任意のエレメントを含むことが意図される。

従って、たとえば、本実施の形態で与えられるブロック図は、本発明を実施する例示的な回路の概念図を表すことが当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等はコンピュータ読み取り可能な媒体において実質的に表現され、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表現することを理解されるであろう。

図示される様々なエレメントの機能は、適切なソフトウェアに関連するソフトウェアを実行可能なハードウェアと同様に、専用のハードウェアの使用を通して提供される。プロセッサにより提供されたとき、これらの機能は、単一の専用プロセッサにより提供されるか、単一の共有プロセッサにより提供されるか、或いはそのうちの幾つかが供給される複数の個々のプロセッサにより提供される。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、及び不揮発性メモリを暗黙的に含む場合がある。

コンベンショナル及び／又はカスタムといった他のハードウェアが含まれる場合がある。同様に、図示される任意のスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作により、専用ロジックにより、プログラム制御と専用ロジックのインタラクションにより、又は手動により実行される場合があり、特定の技術は、コンテキストから更に詳細に理解されるように、実装者により選択可能である。

本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、たとえばａ）その機能を実行する回路素子の組み合わせ、ｂ）その機能を実行するためにそのソフトウェアを実行する適切な回路と組み合わされる、ファームウェア、マイクロコード等を含む任意の形態でのソフトウェア、を含むその機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な引用される手段が請求項が求めるやり方で組み合わされ、纏められるという事実にある。したがって、それらの機能を提供することができる任意の手段は本明細書で示されるものに等価であるとみなされる。本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、その他の変形例と同様に、実施の形態と共に記載される特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な位置に現れるフレーズ「１実施の形態では」又は「実施の形態では」の出現は、その変形例と同様に、必ずしも、同じ実施の形態に対して全て参照するものではない。

たとえば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合において、以下「／」、「及び／又は」及び「少なくとも１つ」の何れかの使用は、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、係るフレーズは、第一に列挙されたオプション（Ａ）のみの選択、又は第二に列挙されたオプション（Ｂ）のみの選択、又は第一及び第二に列挙されたオプション（Ａ及びＢ）のみの選択、又は第一及び第三に列挙されたオプション（Ａ及びＣ）のみの選択、又は第二及び第三に列挙されたオプション（Ｂ及びＣ）のみの選択、或いは全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、当業者にとって容易に明らかであるように、多数の列挙されたアイテムについて拡張される場合がある。

さらに、本発明の１以上の実施の形態はMPEG-4AVC標準に関して記載されるが、本発明はこの標準にのみ限定されるものではなく、本発明の精神を維持しつつ、MPEG-4標準の拡張を含めて、本発明の他のビデオ符号化標準、勧告及び拡張に関して利用される場合がある。たとえば、本発明は、限定されるものではないが、ISO/IEC Moving Picture Experts Group-2標準（以下、「MPEG-2標準」）、MPEG-4AVC標準、ITU-T H.263勧告（以下、「H.263勧告」）、及びSMPTE（Society of Motion Picture and Television Engineers）Video Codec-1標準（以下、「VC-1標準」）を含む全ての既存のビデオ符号化標準に適用可能である。さらに、更なる例として、本発明は、MPEG-4AVC標準の階層的なBフレームにも適用可能である。

また、本実施の形態で使用されるように、単語「ピクチャ」は、あるフィールド又はあるフレームの何れかを示す。先行する定義は、MPEG-4AVC標準で述べたピクチャの定義に一致している。

図１を参照して、ビデオエンコーダは、参照符号１００により示される。ビデオエンコーダ１００は、加算器１１０の非反転入力と通信する第一の出力を有する（現在のGOP用の）入力フレームバッファ１０５を含む。加算器１１０の出力は、変換器１１５の入力と信号通信で接続される。変換器１１５の出力は、量子化器１２０の入力と信号通信で接続される。量子化器１２０の第一の出力は、エントロピーコーダ１２５の入力と信号通信で接続される。量子化器１２０の第二の出力は、逆量子化器１３０の入力と信号通信で接続される。逆量子化器１３０の出力は、逆変換器１３５の入力と信号通信で接続される。変換器１３５の出力は、再構成されたフレームバッファ１４０の入力と信号通信で接続される。再構成されたフレームバッファ１４０の出力は、動き補償をもつフレーム間予測器１５５の第一の入力及びイントラフレーム予測器１５０の入力と信号通信で接続される。

動き補償をもつフレーム間予測器１５５の出力は、スイッチ１４５の第一の入力と信号通信で接続される。イントラフレーム予測器１５０の出力は、スイッチ１４５の第二の入力と信号通信で接続される。スイッチ１４５の出力は、加算器１１０の非反転入力と信号通信で接続される。

入力フレームバッファ１０５の第二の出力は、フレームタイプセレクタ１６０の入力と信号通信で接続される。フレームタイプセレクタ１６０の出力は、動き補償をもつフレーム間予測器１５５の第二の入力、及びスイッチ１４５の第一の入力又は第二の入力の何れかを選択するスイッチ１４５の制御入力と信号通信で接続される。

上述されたように、本発明は、改善された効率及び主観的な品質をサポートする予測フレームの選択の方法及び装置に向けられる。

したがって、本発明によれば、従来技術の方法に関連して記載された非能率、制限及び問題は、効果的且つ能率的なP/Bフレームタイプの選択スキームにより克服される。実施の形態では、このスキームは、より正確なフレームの動きの強度の測度が適合されて、全体で１つの統合されたフレームワークにおいて、幾つかの良好に正当化された経験則を考慮する。最適なフレーム効率のみを主に目標とする既存のスキームとは異なり、本発明のスキームは、符号化効率のみを改善するだけでなく、迷惑なBフレームのフリッカのアーチファクトを効果的に低減する。これは、既存のスキームとは異なり、本発明のスキームの実施の形態では、あるフレームは、Bフレームの符号化が更に効率的である場合だけでなく、Bフレームの符号化が著しいフリッカのアーチファクトを引き起こさない場合にも、Bフレームとして符号化されるように決定されるからである。したがって、全体の知覚的なビデオ符号化の品質は、大いに向上される。

他の標準とは異なり、ISO/IEC（International Organization for Standardization/International Electrical Commission）MPEG-4（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）標準／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下、「MPEG4 AVC標準」）で定義される階層的なBフレームは、予測の参照のために使用することができ、典型的な非参照のBフレームを使用するよりも良好な符号化効率が結果的に得られる。MPEG-4 AVC標準で定義される階層的なBフレームは、系列における所定数の、すなわち２N−１、この場合N＝2，3，4，．．の連続的なBフレームが存在するときは何時でも適用することができる。実施の形態では、提案されるスキームは、階層的なBフレームが許容される場合に適用される。

Bフレームの符号化は、たとえば後方及び双方向予測といったPフレーム符号化よりもフレキシブルな予測モードを可能にするが、実際に、その適用は常に良好な全体的な符号化効率を導くものではない。これは、あるBフレームの直後のフレームは、予測の参照のためにそのBフレームの直前のフレームを使用しなければならず、これは、妥協された符号化効率を招く場合がある。さらに悪いことに、制御されないBフレームの符号化は、特に低い符号化のビットレート又は中間の符号化のビットレートで、深刻なフリッカのアーチファクトを引き起こす場合がある。既存のP／Bフレームタイプの選択スキームは、符号化効率を改善することを全て狙いとしているが、実際に、最終的により重要である知覚的なビデオ符号化の品質を改善することを狙いとしていない。本発明の実施の形態によれば、効果的なP/Bフレームタイプの選択スキームが提供され、この場合、新しく且つ正確なフレームの動きの強度の測度又は符号化の複雑度が採用され、幾つかの良好に正当化された経験則によるテストが１つの統合されたフレームワークにおいて考慮される。実施の形態では、Bフレームよりはむしろ、以下の３つの条件のうちの少なくとも１つが満たされたとき、あるフレームはPフレームとして符号化される。（i）累積された動きが大きい（たとえば第一の閾値よりも大きい）、（ii）前方向の動き及び後方向の動きが釣り合いがとれない（たとえば差が第二の閾値よりも大きい）、及び（iii）動きが小さい（たとえば第三の閾値よりも小さい）。このスキームは、符号化効率を改善するだけでなく、迷惑なBフレームのフリッカによるアーチファクトをも低減するものであり、したがって、符号化されたビデオの全体的な知覚による品質を大いに改善するものである。

先に第一の条件に関して本実施の形態で使用されるように、フレーズ「累積された動き」は、合計された動きの強度、又はフレームの複雑度を示し、たとえばP/Bフレームタイプの判定が行われる現在のフレームまでの複雑度として式（４）で定義される。フレーズ「累積された動き」に関する用語「動き」は、大きい動きの強度はあるフレームについて高い符号化コストを招き、したがって高いフレーム符号化の複雑度を表す。

先の第二及び第三の条件に関して、用語「動き」に対する参照は、第一の条件におけるのと同じ動きの強度又はフレームの複雑度の一般的な概念を示す。実施の形態では、係る動きは、式（４）で定義される新しく且つ効果的なメトリックに関連する。

勿論、本実施の形態で提供される本発明の教示が与えられると、当業者であれば、本発明の精神を維持しつつ、上述された動き（たとえば、累積された前方向の動き、後方向の動き）のこれら及び様々な他の実現及び解釈を創作するであろう。

したがって、本発明によれば、新たなＰ／Ｂフレームタイプの選択スキームが説明される。新規性は３倍である。はじめに、たとえば、上述された第二、第三、第四、第五及び第六の従来技術のアプローチのような符号化効率のみを改善することを目的とする既存のスキームとは異なり、本発明のスキームは、符号化効率を改善することだけでなく、迷惑なＢフレームのフリッカのアーチファクトを低減することを目的とする。結果的に、本発明のスキームの既存のスキームとは異なる１つの重要な違いは、非常に低い動きフレームについて、既存のスキームは、この場合、より多くのＢフレームの符号化を選択して符号化効率を改善する一方で、本発明のスキームは、Ｂフレームのフリッカを防止するためにＢフレームの符号化を選択しない。第二に、ある実施の形態において累積された動きのチェック又はバランスされた動きのチェックの何れかを含む、上述された第二及び第四の従来技術のアプローチにおける２つの既存の経験則に基づくアプローチとは異なり、本発明のスキームは、１つの統合されたフレームワークにおいて幾つかの有効な相補的な経験則を統合するものであり、これは、より包括的であって、全体のパフォーマンスを良好にする。第三に、本発明のスキームは、動きベクトルと動き予測誤差の両者の符号化の複雑度を考慮する、上述された第二及び第六の従来技術のアプローチのような既存のスキームで使用されるよりも正確なフレームの複雑度の測度を使用する。広範囲に及ぶ実験結果は、この新たなスキームがＢフレームの符号化を効果的に利用して符号化効率を改善する一方で、同時に、Ｂフレームの符号化の適用を適切に制限して望まれないフリッカのアーチファクトを低減することを示す。したがって、Ｂフレームの符号化は、望まれないフリッカのアーチファクトを低減するために、本発明のスキームにおいて更に大きく制限される。基本的な考えは、Ｂフレームの符号化がＰフレームの符号化よりも著しく効果的ではないときは何時でも、良好な知覚的なビデオ符号化の品質を保証するため、Ｐフレームタイプが選択される。

特に、本発明のスキームでは、以下の３つの条件のうちの何れか１つが満たされた場合にＰフレームとして符号化される。さもなければ、フレームはＢフレームとして符号化される。ここで、フレームｉの符号化の複雑度、すなわち動きの強度をCmpliとして示す。

多く累積された動きに関する条件：最後の参照フレームの直後のフレームから現在のフレームへの累積された動きの強度が閾値TH1よりも大きい場合、すなわち、以下の通りである。

ここで、curr_frm及びlast_refは、それぞれ、現在のフレーム及び最後の参照フレームのフレーム数である。

釣り合いのとれない動きに関する条件：現在のフレームの前方向及び後方向の動きの強度が釣り合いが取れていない場合、すなわち、以下の通りである。

ここでTH2は閾値である。Cmpl_{curr_frm}は、現在のフレームの前方向の動きの強度を実際に表し、その後方向の動きの強度は、次のフレームの前方向の動きの強度と同じであると想定される。係るように、あるフレームの後方向の動きの強度を計算する必要がなく、計算上の複雑さが大幅に節約される。

低い動きに関する条件：現在のフレームの動きの強度が所定の閾値TH3以下である場合、すなわち、以下の通りである。

先のスキームにおいて、３つの条件が共通のフレームの複雑度の測度で互いに統合されることが分かる。これは、たとえば、上述された第二及び第四の従来技術のアプローチのような既存のスキームにおけるよりもBフレームの符号化の使用に関して強い制限につながる。結果として、過度のBフレームの符号化からのフリッカのアーチファクトは、より効果的に低減される。

多く累積された動きに関する第一の条件は、主に最適な符号化効率のためのものである。上述された第二の従来技術のアプローチにおけるように、以下の点が良好に認識される。動きが大きいとき、後続のフレームにおける良好な予測のパフォーマンスのための参照をリフレッシュするため、Pフレームを挿入することが効果的である。

釣り合いの取れていない動きに関する第二の条件の理由は以下の通りである。関連するフレームの前方向及び後方向の動きが釣り合いがとれていないとき、前方向又は後方向の予測の何れかは、関与するフレームがBフレームに符号化される場合を支配する。したがって、Bフレームの符号化は、Pフレームの符号化の効率と同様の効率を生じる。上述されたように、この場合、Bフレームのフリッカを低減するため、Pフレームタイプが選択され、これにより、類似の符号化効率が得られるが、少ないフリッカのアーチファクトとなり、したがって、全体として、Bフレームの符号化よりも良好な選択である。

低い動きに関する第三の条件は、特にBフレームのフリッカのアーチファクトを低減するためのものである。実際に、たとえば上述された第一、第二及び第四の従来技術のアプローチのような既存のスキームで広く認識されるように、符号化効率の観点で、Bフレームの符号化は、小さな動きのフレームを符号化するためにPフレームの符号化よりも確実に良好な選択である。しかし、小さな動きのフレームは、フリッカのアーチファクトに対して敏感である。特に、非常に小さな動きの場合（たとえば、動きの強度が式（３）で定義されるように所定の閾値以下）、Pフレームの符号化に対するBフレームの符号化の符号化利得が少ない。これは、前方向予測のみにより、優れた予測のパフォーマンスを既に与えているからである。しかし、非常に小さな動きのフレームは、フリッカのアーチファクトに対して非常に敏感である。したがって、この場合、Pフレームの符号化は、全体の良好な符号化のパフォーマンスのために選択される。この慣習は、良好な符号化効率のためにBフレームがこの場合において選択される全ての既存のスキームとは異なる。

式（１）〜式（３）における３つの閾値の実際の値は、適合される特定のフレームの複雑度の測度に関連する。異なる測度は、異なる閾値につながる。実際に、本発明の新たなスキームは、たとえば、上述された第一、第二及び第六の従来技術のアプローチで提案されたような、フレームの複雑度又は動きの強度の測度を包含することができる。したがって、本発明の特定の実施の形態によれば、既存の測度よりも包括的且つ正確である新たなフレームの複雑度の測度が展開される。新たな測度は、以下のように定義される。

ここで、Cmplは、あるフレームの複雑度を示す。

は、あるフレームにおける全てのマクロブックに対する平均された動きベクトルの符号化ビットを示し、

は、あるフレームにおける全てのマクロブロックに対するマクロブロックの動き予測誤差の平均された輝度の平均絶対差（Mean-Absolute-Difference）を示す。式（４）の簡単な合計の形式は、広範な実験を介して良好な経験則から導出される。提案される測度の計算は、動き予測を含み、動きベクトルの強度及び残りの動き予測の残差の強度の両者を考慮する。したがって、たとえば、上述された第一、第二及び第六の従来技術のアプローチで使用される既存の測度よりも包括的且つ正確である。

新たな複雑度の測度は、提案されるP/Bフレームタイプの選択のために事前に計算される。１実施の形態では、新たな複雑度の測度は、事前分析のプロセスで計算され、このプロセスは、前のオリジナルの入力ビデオフレームからの１つの参照の前方向予測のみを行う。計算の複雑度を低減するため、事前分析の動き予測は、インター１６×１６モードのみ及びフルピクセルの動きベクトルのみをチェックする。それぞれのマクロブロックの動きベクトルの符号化を計算するため、MPEG-4AVC JM（Joint Model）エンコーダのレート歪み（Rate-Distortion）が最適化された動き予測で使用されるのと同じ高速の近似スキームが採用される。発生する計算の複雑度は、リアルタイム符号化を考慮しても、本発明の実現で検証されているように、実際のビデオエンコーダで許容可能である。本発明の事前分析の実現によれば、閾値は、以下のように設定される。TH1=12，TH2=2，TH3=4。勿論、本発明は、上述された３つの条件に対応する上述された３つの閾値について先の値に限定されず、したがって、本発明の精神を維持しつつ、他の値も使用される場合がある。

図２を参照して、ビデオエンコーダにおけるP/Bフレームタイプの選択のための例示的な方法は、参照符号２００により示される。

本方法２００は、開始ブロック２０５を含み、この開始ブロックは、制御をループリミットブロック２１０に移す。ループリミットブロック２１０は、ビデオ系列のフレーム０からフレームＮ−１まで、処理されている現在のビデオ系列におけるそれぞれのグループオブピクチャ（ＧＯＰ）についてループを開始し、制御をループリミットブロック２１５に移す。ループリミットブロック２１５は、現在のグループオブピクチャのフレーム１からフレームＮ−１まで、処理されている現在のグループオブピクチャにおけるそれぞれのフレームについてループを開始し、制御を機能ブロック２２０に移す。機能ブロック２２０は、インター１６×１６モードのみをチェックし、フルピクセルの動きベクトルのみをチェックし、前のオリジナルフレームからの１つの参照の前方向予測を実行することを含む簡略化された動き予測による事前分析を実行し、制御を機能ブロック２２５に移す。機能ブロック２２５は、

として現在のフレームのフレームの複雑度の速度Cmplを計算し、制御をループリミットブロック２３０に移す。ループリミットブロック２３０は、現在のグループオブピクチャのそれぞれのフレームを通してループを終了し、制御を機能ブロック２３５に移す。機能ブロック２３５は、（本方法２００の続いて起こるステップによる使用のために）{Cmpl}_i=1 ^N-1を利用可能にし、制御をループリミットブロック２４０に移す。ループリミットブロック２４０は、現在のグループオブピクチャのフレーム１からフレームＮ−１まで、処理されている現在のグループオブピクチャにおけるそれぞれのフレームについてループを開始し、制御を機能ブロック２２０に移す。機能ブロック２４５は、{Cmpli}を使用して式（１）〜式（３）のようにP/Bフレームタイプの選択を実行する。機能ブロック２５０は、現在のフレームについて選択されたフレームタイプを記録し、制御をループリミットブロック２５５に移す。ループリミットブロック２５５は、それぞれのフレームを通してループを終了し、制御を機能ブロック２６０に移す。機能ブロック２６０は、選択されたフレームタイプに従って、Iフレームとして符号化された第一のフレーム及びP又はBフレームの何れかとして符号化された残りのフレームをもつ現在のグループオブピクチャを符号化し、制御をループリミットブロック２６５に移す。ループリミットブロック２６５は、グループオブピクチャを通してループを終了し、制御を終了ブロック２９９に移す。

広範な実験結果は、提案されるP/Bフレームタイプの選択スキームは、深刻なBフレームのフリッカのアーチファクトを回避しつつ、Bフレーム符号化からの符号化効率の利益を効果的に利用できることを示す。Bフレーム符号化がない符号化又は固定された連続するBフレームの数をもつ符号化と比較して、提案される適応型のBフレーム符号化スキームは、良好な符号化効率を達成し、Bフレームのフリッカのアーチファクトが非常に少ない良好な知覚によるビデオ符号化品質を達成する。このスキームの複雑度は高くなく、リアルタイムビデオ符号化に適用することができる。

本発明の多数の付随する利点／特徴の幾つかに関する説明が与えられ、そのうちの幾つかは上述された。たとえば、１つの利点／特徴は、符号化効率と、双方向予測のインター予測ピクチャのタイプとしてピクチャを符号化することから生じるフリッカのアーチファクトの判定とに基づいて、単一方向インター予測ピクチャのタイプとしてピクチャを符号化することと、双方向インター予測ピクチャのタイプとしてピクチャを符号化することとの間で選択する選択スキームを使用して、ピクチャを符号化するエンコーダを有する装置である。

別の利点／特徴は、上述されたエンコーダを有する装置であり、選択スキームは、累積された動きが第一の閾値よりも大きいとき、単一方向の動きの強度と双方向の動きの強度との間の差が第二の閾値よりも大きいとき、又はピクチャの動きが第三の閾値よりも小さいとき、双方向予測インター予測ピクチャのタイプではなく、単一方向インター予測ピクチャタイプとしてピクチャを符号化することを選択する。

更に別の利点／特徴は、上述されたエンコーダを有する装置であり、少なくとも符号化効率は、ピクチャの複雑度の測度に基づく。ピクチャの複雑度の測度は、少なくとも動きベクトルの符号化の複雑度及び動き予測誤差の符号化の複雑度に基づく。

更に別の利点／特徴は、少なくとも符号化効率が上述されたピクチャの複雑度の測度に基づくエンコーダを有する装置であり、ピクチャの複雑度の測度は、平均のマクロブロックの動きベクトルの符号化ビットと、輝度の動き予測誤差の平均のマクロブロックの平均絶対差の合計として計算される。

また、別の利点／特徴は、ピクチャの複雑度の測度が上述された合計として計算されるエンコーダを有する装置であり、ピクチャの複雑度の測度は、動きベクトルの強度と残差の強度の両者を考慮する。

さらに、別の利点／特徴は、少なくとも符号化効率が上述されたようにピクチャの複雑度の測度に基づくエンコーダを有する装置であり、ピクチャは、ビデオ系列に対応する複数のオリジナルピクチャのうちの１つである。ピクチャの複雑度の測度は、簡略化された動き予測をもつ事前分析プロセスを使用して計算される。事前分析プロセスは、インター１６×１６モードのみ及びフルピクセルの動きベクトルのみをチェックすること、複数のオリジナルピクチャからの前のオリジナルピクチャから１つの参照の１つの方向の予測のみを行うことを含む。

さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、双方向のインター予測ピクチャのタイプは、階層的な双方向のインター予測ピクチャのタイプを含む。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態での教示に基づいて当業者により容易に確認される。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はそれらの組み合わせの様々な形式で実現される場合があることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットに実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ、該コンピュータにより実行される。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本実施の形態で記載された様々な処理及び機能は、CPUにより実行されるマイクロ命令の一部又はアプリケーションプログラムの一部、或いはその組み合わせである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

添付図面で示されるシステム構成要素及び方法の幾つかは好ましくはソフトウェアで実現されるため、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされる方式に依存して異なる場合があることを理解されたい。本実施の形態の教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション及び類似の実現又はコンフィギュレーションを創作することができるであろう。

例示的な実施の形態が添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に制限されず、様々な変形及び変更が本発明の精神又は範囲から逸脱することなしに当業者により実施される場合がある。全てのかかる変形及び変更は、特許請求の範囲で述べる本発明の範囲に含まれることが意図される。

Claims (12)

1. グループオブピクチャを形成するフレームのそれぞれについてフレームの複雑度の測度を計算し、前記フレームの複雑度の測度を使用することで、１方向のインター予測フレームのタイプとしてフレームを符号化することと、双方向のインター予測フレームのタイプとしてフレームを符号化することとを選択する選択スキームを使用してフレームを符号化するエンコーダを備え、
   前記選択スキームは、最後の参照フレームの直後のフレームから現在のフレームまでの累積された動きの強度が前記フレームの複雑度の測度としての第一の閾値よりも大きいとき、前記現在のフレームの前方向の動きの強度と後方向の動きの強度との間の差が前記フレームの複雑度の測度としての第二の閾値よりも大きいとき、又は、前記現在のフレームの動きの強度が前記フレームの複雑度の測度としての第三の閾値よりも小さいとき、前記双方向のインター予測フレームのタイプではなく前記１方向のインター予測フレームのタイプとしてフレームを符号化することを選択する、装置。
2. 前記フレームの複雑度の測度は、動きベクトルの符号化の複雑度と動き予測誤差の符号化の複雑度とに基づく、
   請求項１記載の装置。
3. 前記フレームの複雑度の測度は、平均のマクロブロックの動きベクトルの符号化ビットと、輝度の動き予測誤差の平均のマクロブロックの平均絶対差との合計として計算される、
   請求項２記載の装置。
4. 前記フレームの複雑度の測度は、動きベクトルの強度と残差の強度とを考慮する、
   請求項３記載の装置。
5. 前記フレームは、ビデオ系列に対応する複数のオリジナルのフレームのうちの１つであり、前記フレームの複雑度の測度は、簡略化された動き予測による事前分析プロセスを使用して計算され、前記事前分析プロセスは、インター１６×１６モードのみをチェックすること、フルピクセルの動きベクトルのみをチェックすること、前記複数のオリジナルのフレームからの前のオリジナルのフレームから１参照１方向の予測のみを行うことを含む、
   請求項２記載の装置。
6. 前記双方向のインター予測フレームのタイプは、階層的な双方向のインター予測フレームのタイプを有する、
   請求項１記載の装置。
7. グループオブピクチャを形成するフレームのそれぞれについてフレームの複雑度の測度を計算するステップと、
   前記フレームの複雑度の測度を使用することで、１方向のインター予測フレームのタイプとしてフレームを符号化することと、双方向のインター予測フレームのタイプとしてフレームを符号化することとを選択する選択スキームを使用してフレームを符号化するステップとを含み、
   前記選択スキームは、最後の参照フレームの直後のフレームから現在のフレームまでの累積された動きの強度が前記フレームの複雑度の測度としての第一の閾値よりも大きいとき、前記現在のフレームの前方向の動きの強度と後方向の動きの強度との間の差が前記フレームの複雑度の測度としての第二の閾値よりも大きいとき、又は、前記現在のフレームの動きの強度が前記フレームの複雑度の測度としての第三の閾値よりも小さいとき、前記双方向のインター予測フレームのタイプではなく前記１方向のインター予測フレームのタイプとしてフレームを符号化することを選択する、方法。
8. 前記フレームの複雑度の測度は、動きベクトルの符号化の複雑度と動き予測誤差の符号化の複雑度とに基づく、
   請求項７記載の方法。
9. 前記フレームの複雑度の測度は、平均のマクロブロックの動きベクトルの符号化ビットと、輝度の動き予測誤差の平均のマクロブロックの平均絶対差との合計として計算される、
   請求項８記載の方法。
10. 前記フレームの複雑度の測度は、動きベクトルの強度と残差の強度とを考慮する、
    請求項９記載の方法。
11. 前記フレームは、ビデオ系列に対応する複数のオリジナルのフレームのうちの１つであり、前記フレームの複雑度の測度は、簡略化された動き予測による事前分析プロセスを使用して計算され、前記事前分析プロセスは、インター１６×１６モードのみをチェックすること、フルピクセルの動きベクトルのみをチェックすること、前記複数のオリジナルのフレームからの前のオリジナルのフレームから１参照１方向の予測のみを行うことを含む、
    請求項８記載の方法。
12. 前記双方向のインター予測フレームのタイプは、階層的な双方向のインター予測フレームのタイプを有する、
    請求項７記載の方法。

Images