JP6538488B2 - 映像符号化のためのｄｃイントラ予測モードのための方法 - Google Patents

Description

本発明は、映像符号化及び復号化に関するものであり、より詳細には、映像符号化及び復号化のための直流（DC）イントラ予測モードのための方法及び装置に関する。
本出願は、2009年10月22日に提出された米国特許仮出願61/254,095の利益を特許請求するものであり、この米国特許仮出願の内容は、引用により本明細書に完全な形で盛り込まれる。

予測符号化は、映像符号化において重要な技術である。予測符号化は、映像信号において隣接する画素が類似の値を有することがあり、従って画素間の差を符号化することは効率的であるという事実により動機付けられる。予測符号化では、サンプルがダイレクトに符号化されない。むしろ、入力サンプルは、はじめに、幾つかの前に再構成されたサンプルから予測される。次いで、予測誤差（残差）が量子化され、エントロピー符号化される。デコーダで再構成された値は、予測された値に量子化された残差を加えたものである。エンコーダ及びデコーダが同じ予測値を正確に使用することを保証するため、エンコーダは、デコーダと同じプロセスを使用して、再構成されたサンプルを再生することが必要である。これは、閉ループ予測と呼ばれる。

ISO/IEC（International Organization for Standardization/International Electrotechnical Commission）MPEG-4（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）規格／ITU-T（International Telecommunication Union, Telecommunication Sector）H,264勧告（以下、MPEG-4 AVC規格）は、映像符号化規格であり、この規格は、イントラ符号化のための空間方向の予測を採用する。イントラ予測を使用するとき、現在のブロックにおける画素は、その原因となる隣接ブロックから予測される。空間領域における予測を適用することに加えて、エンコーダは、動き予測及び動き補償を通して前のフレームからブロックを予測する。係る時間的な予測は、内在するコンテンツが変化しないときに非常に効果的である。

MPEG-4 AVC規格では、同じスライス内でエンコーダ及びデコーダの両者で利用可能な前に再構成されたサンプルである周辺の利用可能なサンプルを使用して、空間イントラ予測が形成される。ピクチャが低ビットレートで符号化されたとき、再構成されたサンプルは、大きな量子化誤差のためにオリジナルのサンプルから歪む。前に再構成されたサンプルが現在のブロックにおいてイントラ予測のために使用されるので、予測誤差は、ビットレートが低くなるにつれて大きくなり、予測符号化は、非効率的である。

MPEG-4 AVC規格に従って実行されたイントラ符号化のための空間方向予測は、より柔軟な予測のフレームワークを提供し、従って、符号化効率は、イントラ予測が変換領域で実行される前の規格に比較して優れている。先に記載されたように、MPEG-4 AVC規格では、空間イントラ予測は、同じスライス内でエンコーダとデコーダの両者で利用可能な前に再構成されたサンプルである周囲の利用可能なサンプルを使用して形成される。輝度（luma）サンプルについて、イントラ予測は、4×4ブロック毎に（Intra_4×4で示される）、8×8ブロック毎に（Intra_8×8で示される）及び16×16ブロック毎に（Intra_16×16で示される）行われる。図１を参照して、MPEG-4 AVC規格の4×4ブロック毎（Intra_4×4）に関する方向のイントラ予測は、参照符号１００により示される。予測方向は、参照符号１１０により示され、画像ブロックは、参照符号１２０により示され、現在のブロックは、参照符号１３０により示される。輝度予測に加えて、個別の色度予測が実行される。全体で、Intra_4×4及びIntra_8×8について９つの予測モード、Intra_16×16について４つのモード、色度成分について４つのモードが存在する。エンコーダは、符号化すべき予測ブロックとオリジナルブロックとの間の差を最小にする予測モードを選択する。更なるイントラ符号化モードI_PCMは、予測及び変換符号化プロセスをエンコーダがバイパスするのを可能にする。この更なるイントラ符号化モードにより、エンコーダは、サンプルの値を正確に表現し、復号化された画質を抑制することなしに、符号化されたマクロブロックに含まれるビットの数に絶対の限界を設ける。

図２を参照して、MPEG-4 AVC規格のIntra_4×4モードの予測サンプルのラベリングは、参照符号２００により示される。図２は、前に符号化及び再構成された現在のブロックの上及び左にあるサンプル、従って予測を形成するためのエンコーダ及びデコーダで利用可能なサンプルを示す。

図３Ｂ〜図３Ｊを参照して、MPEG-4 AVC規格のIntra_4×4輝度予測モードは、参照符号３００により示される。予測ブロックのサンプルa，b，c，．．．，pは、Intra_4×4輝度予測モード３００を使用してサンプルA〜Mに基づいて計算される。図３Ｂ〜図３Ｊにおける矢印は、Intra_4×4モード３００のそれぞれについての予測の方向を示す。Intra_4×4輝度予測モード３００は、モード０〜８を含み、モード０（図３Ｂ，参照符号３１０により示される）は、垂直予測モードに対応しており、モード１（図３Ｃ，参照符号３１１により示される）は、水平予測モードに対応しており、モード２（図３Ｄ，参照符号３１２により示される）は、DCモードに対応しており、モード３（図３Ｅ，参照符号３１３により示される）は、左下の対角線モードに対応しており、モード４（図３Ｆ，参照符号３１４により示される）は、右下の対角線モードに対応しており、モード５（図３Ｇ，参照符号３１５により示される）は、垂直右モードに対応しており、モード６（図３Ｈ，参照符号３１６により示される）は、水平下モードに対応しており、モード７（図３Ｉ，参照符号３１７により示される）は、垂直左モードに対応しており、モード８（図３Ｊ，参照符号３１８により示される）は、水平上モードに対応している。図３Ａは、Intra_4×4モード３００のそれぞれに対応する一般的な予測方向３３０を示す。

モード３〜８では、予測されたサンプルは、予測サンプルA〜Mの加重平均から形成される。Intra_8×8は、4×4予測と同じ概念を基本的に使用するが、予測性能を改善するために、ブロックサイズ8×8及び予測子の低域通過フィルタリングをもつ。

図４Ａ〜図４Ｄを参照して、MPEG-4 AVC規格に対応する４つのIntra_16×16は、参照符号４００により示される。４つのIntra_16×16モード４００は、モード０〜３を含み、モード０（図４Ａ，参照符号４１１により示される）は、垂直予測モードに対応し、モード１（図４Ｂ，参照符号４１２により示される）は、水平予測モードに対応し、モード２（図４Ｃ，参照符号４１３により示される）は、DC予測モードに対応し、モード３（図４Ｄ，参照符号４１４により示される）は、プレーン予測モードに対応する。イントラ符号化マクロブロックのそれぞれの8×8色度成分は、上及び／又は左の前に符号化された色度サンプルから予測され、両方の色度成分は、同じ予測モードを使用する。４つの予測モードは、モードのナンバリングが異なることを除いて、Intra_16×16に非常に類似している。モードは、DC（モード０）、水平（モード１）、垂直（モード２）及びプレーン（モード３）である。

ITU-T H.26L規格の開発の間、変位イントラ予測が提案された。この提案は、イントラ予測のMPEG-4 AVC規格で規定された、可変のブロックサイズのインター予測の概念を再使用する。図５Ａを参照して、変位イントラ予測の例は、参照符号５５０により示される。変位イントラ予測は、イントラ符号化領域５５２、現在のブロック５５４及び候補となるブロック５５６を含む。一般に、あるスライスの前に符号化されたイントラ領域（例えば、イントラ符号化領域５５２）は、現在のイントラブロック（例えば現在のブロック５５４）の予測のために変位ベクトル（例えば変位ベクトル５５７）により参照される。変位イントラ予測５５０は、マクロブロック毎に実現される。変位ベクトルは、MPEG-4 AVC規格におけるインター動きベクトルに類似して、隣接するブロックの中央値による予測を使用して異なって符号化される。

テンプレートマッチング予測（TMP）は、所与のサンプルに類似した連続したテクスチャの生成に対処するテクスチャ合成の概念である。MPEG-4 AVC規格の概念におけるテンプレートマッチングを使用したイントラ予測が提案されている。この提案では、MPEG-4 AVC規格におけるIntra_4×4又はIntra_8×8予測についての更なるモードとしてスキームが統合される。テンプレートマッチング予測によれば、画像領域の自己類似性が予測のために利用される。あるスライスの前に符号化されたイントラ領域は、予測のために再使用される。TMPアルゴリズムは、復号化データの（１以上の画素のうちの）少なくとも１つのパッチを選択することで、予測下にある現在の画素の値を再帰的に決定する。マッチングルールに従ってパッチが選択され、パッチの隣接する画素は、現在のブロックの隣接する画素に比較され、最も類似した隣接する画素を有するパッチが選択される。図５Ｂを参照して、テンプレートマッチングのイントラ予測の例は、参照符号５７０により示される。テンプレートマッチングのイントラ予測５７０は、候補となる近傍領域５７２、候補となるパッチ５７４、テンプレート５７６、及びターゲット５７８を含む。現在の画素（例えばターゲット５７８）のサーチ領域及び近傍領域（例えば候補となる近傍領域５７２）は、エンコーダ側及びデコーダ側で既知であるので、更なる副情報が送信される必要はなく、両方の側で同じ予測が達成される。

DIP及びTMPの両者は、高い計算上の複雑度という代償を払って、符号化効率を改善する。他のMPEG-4 AVC規格の空間イントラ予測モードに類似して、DIP及びTMPにおける予測は、周囲の利用可能なサンプルを使用して形成される。ピクチャが低ビットレートで符号化されるとき、再構成されたサンプルは、大きな量子化誤差のために、オリジナルサンプルから歪み、予測誤差は大きくなり、予測符号化は非効率的となる。

従来技術のこれらの問題点及び課題、並びに他の問題点及び課題は、映像符号化及び復号化のためのDCイントラ予測モードのための方法及び装置に向けられる、本発明により対処される。

本発明の態様によれば、装置が提供される。本装置は、予め決定された定数から異なる直流の予測値を導出し、直流イントラ予測モードのために、導出された直流の予測値を使用することで、入力ピクチャの少なくとも１部の画像データを符号化するビデオエンコーダを含む。少なくとも１部は、直流イントラ予測モードを使用して符号化される。

本発明の別の態様によれば、ビデオエンコーダにおける方法が提供される。本方法は、予め決定された定数から直流の予測値を導出し、直流のイントラ予測モードのために、導出された直流の予測値を使用することで、入力ピクチャーの少なくとも１部の画像データを符号化することを含む。少なくとも１部は、直流のイントラ予測モードを使用して符号化される。

本発明の更なる別の態様によれば、装置が提供される。本装置は、ビットストリームを分析して、該ビットストリームから直流の予測値を取得し、直流のイントラ予測モードのために、取得された直流の予測値を使用することで、ピクチャの少なくとも１部の画像データを復号化するビデオデコーダを含む。少なくとも１部は、直流イントラ予測モードを使用して復号化される。

本発明の更に別の態様によれば、ビデオデコーダにおける方法が提供される。本方法は、ビットストリームを分析して、該ビットストリームから直流の予測値を取得し、直流のイントラ予測モードのため、取得された直流の予測値を使用することで、ピクチャの少なくとも１部の画像データを復号化するステップを含む。少なくとも１部は、直流のイントラ予測モードを使用して復号化される。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれることとなる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の例示的な図面に従って良好に理解されるであろう。
4×4ブロック毎（Intra_4×4）に関するMPEG-4 AVC規格の方向のイントラ予測を示す図である。 MPEG-4 AVC規格のIntra_4×4モードの予測サンプルのラベリングを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格のIntra_4×4輝度予測モードを示す図である。 MPEG-4 AVC規格に対応するIntra_16×16モードを示す図である。 MPEG-4 AVC規格に対応するIntra_16×16モードを示す図である。 MPEG-4 AVC規格に対応するIntra_16×16モードを示す図である。 MPEG-4 AVC規格に対応するIntra_16×16モードを示す図である。 変位イントラ予測の例を示す図である。 テンプレートマッチングイントラ予測の例を示す図である。 本発明の実施の形態に係る、本発明が適用される例示的なビデオエンコーダを示すブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的なビデオデコーダを示すブロック図である。 本発明の実施の形態に係る、ビデオエンコーダにおける新たなDCモードを利用する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおける新たなDCモードを利用した例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオエンコーダにおけるDCモードを符号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおけるDCモードを復号化する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオエンコーダにおける新たなDCモードを利用する別の例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおける新たなDCモードを利用する別の例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオエンコーダにおけるDC予測値を導出する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、ビデオデコーダにおけるDCイントラ予測モードにおける使用のための閾値を符号化又は記憶する例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおけるDCイントラ予測モードにおける使用のための閾値を復号化又はストレージから取得する例示的な方法を示すフローダイアグラムである。

本発明は、映像符号化及び復号化のためのDCイントラ予測モードの方法及び装置に向けられる。
本実施の形態は、本発明を例示するものである。従って、当業者であれば、本明細書で明示的に記載又は図示されていないが、本発明を実施する様々なアレンジメントであって、本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されるであろう。

本明細書で記載される全ての例及び条件付き言語は、当該技術分野を促進するため日本発明者により寄与される本発明及び概念の理解において読者を支援することが意図され、係る特定の例及び条件に限定されるものではない。

さらに、本発明の原理、態様及び実施の形態を示す全ての説明は、本発明の特定の例と同様に、本発明の構造的に等価な概念及び機能的な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在知られている等価な概念と同様に、将来において開発される等価な概念、すなわち構造に係らず、同じ機能を実行する開発されたエレメントを含むことが意図される。

従って、例えば、本明細書で提示されるブロック図は、本発明を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータが読取り可能な媒体で実質的に表現され、コンピュータ又はプロセッサが明示的に図示されているか否かに係らず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されたい。

図示される様々なエレメントの機能は、専用ハードウェアの使用、適切なソフトウェアと関連するソフトウェアを実行可能なハードウェアの使用により提供される。プロセッサにより提供されたとき、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、及び不揮発性メモリを暗黙的に含む場合がある。

他のハードウェア、コンベンショナル及び／又はカスタムが含まれる場合もある。同様に、図示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作、専用ロジックを通して、プログラム制御と専用ロジックの相互作用を通して、又は更に手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように、実現者により選択可能である。

本発明の特許請求の範囲では、特定の機能を実行する手段として表現されるエレメントは、例えばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形式でのソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な記載される手段により提供される機能は結合され、請求項が従属するやり方で纏められる事実にある。従って、それらの機能を提供する任意の手段は、図示されるものと等価であると考えられる。

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、その他のバリエーションと同様に、実施の形態と関連して記載される特定の特徴、構造、特性等は本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書を通して様々な位置に現れるフレーム「１実施の形態では」又は「実施の形態では」の出現は、他のバリエーションと同様に、必ずしも、同じ実施の形態を参照するものではない。

「／」、「及び／又は」及び「〜の少なくとも１つ」の任意の使用は、例えば、「Ａ／Ｂ」、「Ａ及びＢ」及び「Ａ及びＢの少なくとも１つ」の場合において、最初に列挙されたオプション（Ａ）のみ、又は第二に列挙されたオプション（Ｂ）のみ、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」の場合、係るフレーズは、第一の列挙されたオプション（Ａ）のみ、第二の列挙されたオプション（Ｂ）のみ、第三の列挙されたオプション（Ｃ）のみ、第一及び第二の列挙されたオプション（Ａ及びＢ）のみ、第一及び第三の列挙されたオプション（Ａ及びＣ）のみ、又は第二及び第三の列挙されたオプション（Ｂ及びＣ）のみ、或いは全ての３つのオプション（Ａ及びＢ及びＣ）の選択を含むことが意図される。これは、多くのアイテムが列挙されるときに、当業者によって容易に拡張される場合がある。

本明細書で使用されるとき、単語「ピクチャ」及び「画像」は、相互交換可能に使用され、静止画像又はビデオ系列からのピクチャを示す。知られているように、ピクチャは、フレーム又はフィールドである場合がある。

さらに、本明細書で使用されるとき、フレーズ「正規のMPEG-4 AVC規格モード」は、MPEG-4 AVC規格からDCモードを除いたMPEG-4 AVC規格で利用可能なイントラ符号化モードを示す。

さらに、本明細書で使用されるとき、フレーズ「オリジナルのサンプルデータ」は、入力ピクチャからのデータを示す。

図示及び記載のため、MPEG-4規格を超える改善及び拡張を記載及び説明するためのベースラインとして、MPEG-4 AVC規格を使用した、MPEG-4 AVC規格を通した改善の文脈で例が記載される。しかし、本発明は、MPEG-4 AVC規格及び／又はその拡張のみに限定されるものではないことを理解されたい。本明細書で提供される教示が与えられると、当業者であれば、他の規格の拡張に適用されたとき、又は未だ開発されていない規格に適用されるか及び／又は未だ開発されていない規格に組み込まれたとき、本発明は同様に適用可能であり、少なくとも同様の利益を提供することを容易に理解されるであろう。さらに、規格に準拠しないが、独自定義に準拠するビデオエンコーダ及びビデオデコーダにも本発明が適用されることを理解されたい。

図６を参照して、本発明が適用される例示的なビデオエンコーダは、参照符号６００により示される。ビデオエンコーダ６００は、結合器６８５の非反転入力に接続される出力を有するフレームオーダリングバッファ６１０を含む。結合器６８５の出力は、変換器及び量子化器の第一の入力と接続される。変換器及び量子化器６２５の出力は、エントロピーコーダ６４５の第一の入力、逆変換器及び逆量子化器６５０の第一の入力と接続される。エントロピーコーダ６４５の出力は、結合器６９０の第一の非反転入力と接続される。結合器６９０の出力は、出力バッファ６３５の第一の入力と接続される。

エンコーダコントローラ６０５の第一の出力は、フレームオーダリングバッファ６１０の第二の入力、逆変換器及び逆量子化器６５０の第二の入力、ピクチャタイプ判定モジュール６１５の入力、マクロブロックタイプ（MBタイプ）判定モジュール６２０の第一の入力、イントラ予測モジュール６６０の第二の入力、デブロッキングフィルタ６６５の第二の入力、動き補償器６７０の第一の入力、動き予測器６７５の第一の入力、及び参照ピクチャバッファ６８０の第二の入力と接続される。

エンコーダコントローラ６０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器６３０の第一の入力、変換器及び量子化器６２５の第二の入力、エントロピーコーダ６４５の第二の入力、出力バッファ６３５の第二の入力、SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器６４０と接続される。

SEI挿入器６３０の出力は、結合器６９０の第二の非反転入力と接続される。

ピクチャタイプ判定モジュール６１５の第一の出力は、フレームオーダリングバッファ６１０の第三の入力と接続される。ピクチャタイプ判定モジュール６１５の第二の出力は、マクロブロックタイプの判定モジュール６２０の第二の入力と接続される。

SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器６４０は、結合器６９０の第三の非反転入力と接続される。

逆量子化器及び逆変換器６５０の出力は、結合器６１９の第一の非反転入力と接続される。結合器６１９の出力は、イントラ予測モジュール６６０の第一の入力、デブロッキングフィルタ６６５の第一の入力と接続される。デブロッキングフィルタ６６５の出力は、参照ピクチャバッファ６８０の第一の入力と接続される。参照ピクチャバッファ６８０の出力は、動き予測器６７５の第二の出力、動き補償器６７０の第三の入力と接続される。動き予測器６７５の第一の出力は、動き補償器６７０の第二の入力と接続される。動き予測器６７５の第二の出力は、エントロピーコーダ６４５の第三の入力と接続される。

動き補償器６７０の出力は、スイッチ６９７の第一の入力と接続される。イントラ予測モジュール６６０の出力は、スイッチ６９７の第二の入力と接続される。マクロブロックタイプ判定モジュール６２０の出力は、スイッチ６９７の第三の入力と接続される。スイッチ６９７の第三の入力は、（制御入力、すなわち第三の入力と比較したとき）スイッチの「データ」入力が動き補償器６７０により供給されるべきか、又はイントラ予測モジュール６６０により供給されるべきかを判定する。スイッチ６９７の出力は、結合器６１９の第二の非反転入力と、結合器６８５の反転入力と接続される。

フレームオーダリングバッファ６１０の第一の入力と、エンコーダコントローラ６０５の入力は、入力ピクチャを受信するため、エンコーダ６００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器６３０の第二の入力は、メタデータを受信するため、エンコーダ６００の入力として利用可能である。出力バッファ６３５の出力は、ビットストリームを出力するため、エンコーダ６００の出力として利用可能である。

図７を参照して、本発明が適用される例示的なビデオデコーダは、参照符号７００により示される。ビデオデコーダ７００は、エントロピーデコーダ７４５の第一の入力に接続される出力を有する入力バッファ７１０を含む。エントロピーデコーダ７４５の第一の出力は、逆変換器及び逆量子化器７５０の第一の入力と接続される。逆変換器及び逆量子化器７５０の出力は、結合器７２５の第二の非反転入力と接続される。結合器７２５の出力は、デブロッキングフィルタ７６５の第二の入力と、イントラ予測モジュール７６０の第一の入力と接続される。デブロッキングフィルタ７６５の第二の出力は、参照ピクチャバッファ７８０の第一の入力と接続される。参照ピクチャバッファ７８０の出力は、動き補償器７７０の第二の入力と接続される。

エントロピーデコーダ７４５の第二の出力は、動き補償器７７０の第三の入力、デブロッキングフィルタ７６５の第一の入力、及びイントラ予測器７６０の第三の入力と接続される。エントロピーデコーダ７４５の第三の出力は、デコーダコントローラ７０５の入力と接続される。デコーダコントローラ７０５の第一の出力は、エントロピーデコーダ７４５の第二の入力と接続される。デコーダコントローラ７０５の第二の出力は、逆変換器及び逆量子化器７５０の第二の入力と接続される。デコーダコントローラ７０５の第三の出力は、デブロッキングフィルタ７６５の第三の入力と接続される。デコーダコントローラ７０５の第四の出力は、イントラ予測モジュール７６０の第二の入力、動き補償器７７０の第一の入力、参照ピクチャバッファ７８０の第二の入力と接続される。

動き補償器の出力は、スイッチ７９７の第一の入力と接続される。イントラ予測モジュール７６０の出力は、スイッチ７９７の第二の入力と接続される。スイッチ７９７の出力は、結合器７２５の第一の非反転入力と接続される。

入力バッファ７１０の入力は、入力ビットストリームを受信するため、デコーダ７００の入力として利用可能である。デブロッキングフィルタ７６５の第一の出力は、出力ピクチャを出力するため、デコーダ７００の出力として利用可能である。

先に述べたように、本発明は、映像符号化及び復号化のためにDCイントラ予測モードの方法及び装置に向けられる。本発明によれば、イントラ予測のための新たなDC予測モードが開示される。本発明によれば、DCモードは、原因となる隣接ブロックからの代わりに、予め決定された定数から予測される。この改善の態様は、コンテンツにおける類似の色もつ大きな領域が存在するとき、改善された符号化効率を得るものである。

先の述べたように、例示の目的でMPEG-4 AVC規格に関して本発明が記載されるが、本発明はこの規格にのみ限定されるものではない。従って、MPEG-4規格に関して、図２に示されるように、MPEG-4 AVC規格のDCイントラ予測モードでは、予測ブロックにおける全てのサンプルは、サンプルA, B, C, D, I, J, K及びLにより予測される。

［新たなDCモード−実施の形態１］
本発明によれば、新たなDCイントラ予測モードが開発される。この新たなモードでは、ブロックのDC予測は、従来のような近傍の再構成されたサンプルを使用した予測の代わりに、予め決定された定数から取得される。

この実施の形態では、MPEG-4 AVC規格モードに加えて、新たなDCモードが提案される。新たなDCモードは、モードインデックスを通して（例えばデコーダに）示される。実施の形態では、これは、オーバヘッドにおける更なるビットを通して行われる。

図８を参照して、ビデオエンコーダにおいて新たなDCモードを利用する例示的な方法は、参照符号８００により示される。本方法８００は、開始ブロック８０５を含み、この開始ブロックは、機能ブロック８１０に制御を進める。機能ブロック８１０は、コンテンツを分析して、分析に基づいてコンテンツのDC値（DCpic）を判定し、ループリミットブロック８１５の制御を進める。ループリミットブロック８１５は、例えばコンテンツに対応する現在のピクチャにおいて、１，．．．，ブロック数（＃）の範囲を有する変数ｉを使用してループを開始し、機能ブロック８２０及び機能ブロック８２５に制御を進める。機能ブロック８２０は、新たなDCモードを調べ（DC値＝DCpic）、機能ブロック８３０に制御を進める。機能ブロック８２５は、MPEG-4 AVC規格のモードを調べ、機能ブロック８３０に制御を進める。機能ブロック８３０は、ベストモードを選択し（例えば実施の形態では、最小の速度歪み（RD）コストをもつモードが選択される）、モードインデックスとブロックデータを符号化し、ループリミットブロック８３５に制御を移す。ループリミットブロック８３５は、ループを終了し、終了ブロック８９９に制御を進める。

図９を参照して、ビデオデコーダにおいて新たなDCモードを利用する例示的な方法は、参照符号９００により示される。本方法９００は、開始ブロック９０５を含み、この開始ブロックは、機能ブロック９１０に制御を進める。機能ブロック９１０は、ビットストリームを分析して、ストリームからDC値（DCpic）を取得し、ループリミットブロック９１５に制御を進める。ループリミットブロック９１５は、例えば現在のピクチャにおいて、１，．．．，ブロック数（＃）までの範囲を有する変数ｉを使用してループを開始し、機能ブロック９２０に制御を進める。機能ブロック９２０は、ビットストリームを分析し、現在のブロックのモードインデックスを取得し、判定ブロック９２５に制御を進める。判定ブロック９２５は、現在のモードが新たなDCモードであるか否かを判定する。現在のモードが新たなDCモードである場合、機能ブロック９３０に制御を進める。さもなければ、機能ブロック９３５に制御を進める。機能ブロック９３０は、新たなDCモード（DC値＝DCpic）を使用して現在のブロックを復号化し、ループリミットブロック９４０に制御を進める。機能ブロック９３５は、MPEG-4 AVC規格のモードを使用して現在のブロックを復号化し、ループリミットブロック９４０に制御を進める。ループリミットブロック９４０は、ループを終了し、終了ブロック９９９に制御を進める。

［DCモードの修正型符号化及び復号化−実施の形態２］
この実施の形態では、新たなモードを付加することなしに変形例が提案される。むしろ、DCモードがどのように符号化及び復号化されるかが変形される。この実施の形態は、余分なモードを付加することに起因する（実施の形態１により関係される）オーバヘッドを節約する一方、実施の形態１に対して僅かに余分な計算を含む。

図１０を参照して、ビデオエンコーダにおいてDCモードを符号化する例示的な方法は、参照符号１０００により示される。本方法１０００によるDCモードの符号化は、DCモードが従来においてどのように符号化されるかとは異なることを理解されたい。本方法１０００は、開始ブロック１００５を含み、この開始ブロックは、機能ブロック１０１０に制御を進める。機能ブロック１０１０は、コンテンツを分析して、分析に基づいてコンテンツのDC値（DCpic）を復号化し、ループリミットブロック１０１５に制御を進める。ループリミットブロック１０１５は、例えば現在のピクチャにおいて、１，．．．，ブロック数（＃）までの範囲を有する変数ｉを使用してループを開始し、機能ブロック１０２０及び機能ブロック１０２５に制御を進める。機能ブロック１０２０は、（例えばMPEG-4 AVC規格で行われるように）あるブロックのDC値DCestを推定し、判定ブロック１０３０に制御を進める。判定ブロック１０３０は、｜DCest−DCpic｜＜Tであるかを判定する。｜DCest−DCpic｜＜Tである場合、機能ブロック１０３５に制御を進める。｜DCest−DCpic｜＜Tでない場合、機能ブロック１０４０に制御を進める。機能ブロック１０３５は、新たなDCモード（DC値＝DCpic）を使用して現在のブロックを符号化し、機能ブロック１０４５に制御を進める。機能ブロック１０４５は、ベストモードを選択し、モードインデックスとブロックデータを符号化し、ループリミットブロック１０５０に制御を進める。ループリミットブロック１０５０は、ループを終了し、終了ブロック１０９９に制御を進める。機能ブロック１０２５は、他の正規の（非DC）MPEG-4 AVC規格のモードをテストし、機能ブロック１０４５に制御を進める。機能ブロック１０４０は、正規の（非DC）MPEG-4 AVC規格のモード（DC値＝DCest）を使用して現在のブロックを符号化し、機能ブロック１０４５に制御を進める。

図１１を参照して、ビデオデコーダにおいてDCモードを復号化する例示的な方法は、参照符号１１００により示される。本方法１１００によりDCモードの復号化は、DCモードが従来においてどのように復号化されるかとは異なる。本方法は、開始ブロック１１０５を含み、この開始ブロックは、機能ブロック１１１０に制御を進める。機能ブロック１１１０は、ビットストリームを分析し、DC値（DCpic）と閾値Tを取得し、ループリミットブロック１１１５に制御を進める。ループリミットブロック１１１５は、例えば現在のピクチャにおいて、１，．．．，ブロック数（＃）までの範囲を有する変数ｉを使用してループを開始し、機能ブロック１１２０に制御を進める。機能ブロック１１２０は、ビットストリームを分析し、ビットストリームから現在のブロックのモードインデックスを取得し、判定ブロック１１２５に制御を進める。判定ブロック１１２５は、現在のモードがDCモードであるか否かを判定する。現在のモードがDCモードである場合、判定ブロック１１３０に制御を進める。現在のモードがDCモードでない場合、機能ブロック１１４５に制御を進める。判定ブロック１１３０は、｜DCest−DCpic｜＜Tであるか否かを判定する。｜DCest−DCpic｜＜Tである場合、機能ブロック１１３５に制御を進める。｜DCest−DCpic｜＜Tでない場合、機能ブロック１１４０に制御を移す。機能ブロック１１３５は、新たなDCモード（DC値＝DCpic）を使用して現在のブロックを復号化し、ループリミットブロック１１５０に制御を移す。機能ブロック１１４０は、MPEG-4 AVC規格のDCモードを使用して現在のブロックを復号化し、ループリミットブロック１１５０に制御を進める。機能ブロック１１４５は、正規の（非DC）MPEG-4 AVC規格のモードを使用して現在のブロックを復号化し、ループリミットブロック１１５０に制御を進める。ループリミットブロック１１５０は、ループを終了し、終了ブロック１１９９に制御を進める。

［DCモードの修正型符号化及び復号化−実施の形態３］
この実施の形態では、モード数を増加することなしに別の変形例が提案される。むしろ、MPEG-4 AVC規格のDCモードを提案される新たなDCモードと置き換える。従って、余分なオーバヘッドが含まれない。この実施の形態を、新たなDCモードから利益を受ける領域にのみ適用することが重要である。

図１２を参照して、ビデオエンコーダにおいて、新たなDCモードを利用する別の例示的な方法は、参照符号１２００により示される。本方法１２００は、開始ブロック１２０５を含み、この開始ブロックは、機能ブロック１２１０に制御を移す。機能ブロック１２１０は、コンテンツを分析して、分析に基づいてコンテンツのDC値（DCpic）を判定し、ループリミットブロック１２１５に制御を進める。ループリミットブロック１２１５は、例えばコンテンツに対応する現在のピクチャにおいて、１，．．．，ブロック数（＃）までの範囲を有する変数ｉを使用してループを開始し、機能ブロック１２２０及び機能ブロック１２２５に制御を進める。機能ブロック１２２０は、新たなDCモードを調べ（DC値＝DCpic）、機能ブロック１２３０に制御を進める。機能ブロック１２２５は、正規の（すなわち非DC）MPEG-4 AVC規格のモードを調べ、機能ブロック１２３０に制御を進める。機能ブロック１２３０は、ベストモードを選択し（例えば１実施の形態では、最小の速度歪み（RD）コストをもつモードが選択される）、モードインデックス及びブロックデータを符号化し、ループリミットブロック１２３５に制御を進める。ループリミットブロック１２３５は、ループを終了し、終了ブロック１２９９に制御を進める。

図１３を参照して、ビデオデコーダにおいて、新たなDCモードを利用する別の例示的な方法は、参照符号１３００により示される。本方法１３００は、開始ブロック１３０５を含み、機能ブロック１３１０に制御を移す。機能ブロック１３１０は、ビットストリームを分析して、ビットストリームからDC値（DCpic）を取得し、ループリミットブロック１３１５に制御を進める。ループリミットブロック１３１５は、例えば現在のピクチャにおいて、１，．．．，ブロック数（＃）までの範囲を有する変数ｉを使用してループを開始し、機能ブロック１３２０に制御を進める。機能ブロック１３２０は、ビットストリームを分析して、ビットストリームから現在のブロックのモードインデックスを取得し、判定ブロック１３２５に制御を進める。判定ブロック１３２５は、現在のモードが新たなDCモードであるか否かを判定する。現在のモードが新たなDCモードである場合、機能ブロック１３３０に制御を進める。現在のモードが新たなDCモードでない場合、機能ブロック１３３５に制御を進める。機能ブロック１３３０は、新たなDCモード（DC値＝DCpic）を使用して現在のブロックを復号化し、ループリミットブロック１３４０に制御を進める。機能ブロック１３３５は、正規の（すなわち非DC）MPEG-4 AVC規格のモードを使用して現在のブロックを復号化し、ループリミットブロック１３４０に制御を進める。ループリミットブロック１３４０は、ループを終了し、終了ブロック１３９９に制御を進める。

［DCpicの導出］
以下、DCpicを導出する様々な方法が記載される。新たなDCモードは、あるピクチャにおける１以上の大きな領域が非常の滑らかなコンテンツを有するときに最も有効である。係る大きな領域は、たとえば176×144の集合体のブロックサイズ、又は352×288のサイズを有するピクチャについて類似のサイズの非ブロック形状の領域を含む場合がある。勿論、係る大きなサイズは、全体のピクチャサイズに対するものである。大きな領域のサイズ及び対応するピクチャのサイズの先の仕様は、単なる例示であって、従って、他のサイズは、本発明に従って使用される場合もある。

これらの大きな滑らかな領域におけるサンプル値がDCpic値により良好に表現されるとき、量子化パラメータが大きく且つ近傍のサンプルが深刻に歪んでいるときでさえ、正確なDC予測を有することができる。従って、大きな滑らかな領域が存在するかを検出することが重要である。係る領域が存在する場合、係る領域を表現するために最良のDCpic値が決定される。１つの方法は、入力ピクチャのサンプル値のホストグラムを計算することであり、この場合、ヒストグラムのピークでの値は、DCpicとして使用される。ピクチャがノイズを多く含んでいるとき、ヒストグラムを計算する前に、はじめにピクチャがフィルタリングされる。

図１４を参照して、ビデオエンコーダにおいて、DC予測値を導出する例示的な方法は、参照符号１４００により示される。本方法１４００は、開始ブロック１４０５を含み、この開始ブロックは、機能ブロック１４１０に制御を進める。機能ブロック１４１０は、ピクチャがノイズを多く含んでいる場合、ピクチャを任意にフィルタリングする。機能ブロック１４２０は、入力ピクチャからオリジナルのサンプルデータのヒストグラムを計算し、機能ブロック１４３０に制御を進める。機能ブロック１４３０は、DC予測値としてヒストグラムのピークでの値を使用し、終了ブロック１４９９に制御を進める。

［閾値Tの考慮］
閾値Tの選択は、新たなDCモードがどの位頻繁に選択されるかに影響を及ぼす。閾値Tは、符号化パラメータ及び／又はビデオ系列に基づいて適応的に選択される。

量子化が粗い時、再構成ブロックは、多く歪んでおり、低い品質を有する。新たなDCモードを選択することは、正規のDCモードよりも効果的な場合がある。従って、閾値は、粗い量子化について大きい。

オーバヘッドを節約するため、ビットストリームで送出される代わりに、エンコーダとデコーダの両者でルックアップテーブルに閾値を記憶することもできる。

図１５を参照して、ビデオエンコーダにおいて、DCイントラ予測モードにおける使用のために閾値を符号化又は記憶する例示的な方法は、参照符号１５００により示される。本方法１５００は、開始ブロック１５０５を含み、この開始ブロックは、機能ブロック１５１０に制御を進める。機能ブロック１５１０は、量子化パラメータに応じて閾値を変更し、機能ブロック１５２０に制御を進める。機能ブロック１５２０は、閾値を符号化し、ビットストリームで閾値を送出するか、又はルックアップテーブルに閾値を記憶し、終了ブロック１５９９に制御を進める。

図１６を参照して、ビデオデコーダにおいて、DCイントラ予測モードにおける使用のために閾値を復号化又はストレージから取得する例示的な方法は、参照符号１６００により示される。本方法１６００は、開始ブロック１６０５を含み、この開始ブロックは、機能ブロック１６１０に制御を進める。機能ブロック１６１０は、量子化パラメータに応じて閾値を変更し、機能ブロック１６２０に制御を進める。機能ブロック１６２０は、（例えばビットストリームからの）閾値を復号化するか、ルックアップテーブルから閾値を取得し、終了ブロック１６９９に制御を進める。

［シンタックス］
エンコーダ及びデコーダを同期させるため、DCpic値及び／又は閾値Tは、デコーダで既知である必要がある。表１は、本発明の実施の形態に係る、実施の形態２で使用するための例示的なPPS（Picture Parameter Set）シンタックスを示す。しかし、係るシンタックスは、スライスレベルで指定することもできることを理解されたい。

表１に示されるシンタックスエレメントの意味は、以下の通りである。
DC_pictureは、DCpic値を指定する。
T_DCは、閾値を指定する。｜DCpic−DCest｜＜T_DCのとき、DCpicはDC予測値として使用される。さもなければ、DCestが使用される。

本発明の多くの付随する利点／特徴に関する説明が以下に与えられ、そのうちの幾つかは上述された。例えば、１つの利点／特徴は、予め決定された定数から直流の予測値を導出し、直流のイントラ予測モードについて、導出された直流の予測値を使用することで、入力ピクチャの少なくとも１部の画像データを符号化するビデオエンコーダを有する装置である。少なくとも１部は、直流のイントラ予測モードを使用して符号化される。

別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、直流の予測値は、入力ピクチャに対応するオリジナルのサンプルデータに基づく。

更に別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、導出された直流の予測値は、異なる直流モードに関連する別の直流の予測値に対する改善に比較に応じて使用され、異なる直流モードは、既存のビデオ圧縮規格又は勧告に対応する。

更に別の利点／特徴は、ビデオエンコーダを有する装置であり、導出された直流の予測値は、異なる直流モードに関連する別の直流の予測モードに対する改善の比較に応じて使用され、異なる直流モードは、上述された既存のビデオ圧縮規格又は勧告に対応し、比較は、改善の閾値に基づく。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、比較は、上述された改善の閾値に基づいており、改善の閾値は、量子化パラメータに応じて変化する。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、比較は、上述された改善の閾値に基づいており、改善の閾値は、ルックアップテーブルに記憶される。

また、別の利点／特徴は、ビデオエンコーダを有する装置であり、導出された直流の予測値は、異なる直流モードに対応する別の直流の予測値に対する改善の比較に応じて使用され、異なる直流モードは、上述された既存のビデオ圧縮規格又は勧告に対応し、比較は、速度歪みコストに基づいている。

さらに、別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、直流の予測値は、入力ピクチャを分析して、入力ピクチャから直流の予測値を導出することで導出される。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、直流の予測値は、上述されたように、入力ピクチャを分析して、入力ピクチャから直流の予測値を導出することで導出され、直流の予測値は、入力ピクチャに対応するオリジナルのサンプルデータのヒストグラムを計算して、ヒストグラムのピークでの値を直流の予測値として使用することで導出される。

さらに、別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、直流の予測値は、対応するデコーダへの送信のために符号化される。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本明細書での教示に基づいて当業者により容易に確かめられる場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ又はこれらの組み合わせの様々な形態で実現されることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、任意の適切なアーキテクチャを有するマシンにアップロードされ、該マシンにより実行される。好ましくは、マシンは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載された様々なプロセス及び機能は、CPUにより実行される、マイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはその組み合わせである。さらに、様々な他の周辺ユニットは、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される。

添付図面に示されるシステム構成要素及び方法の幾つかは、ソフトウェアで実現されることが好ましいため、システム構成要素間又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされる方式に依存して異なる場合がある。本明細書での教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション、及び、類似の実現又はコンフィギュレーションを創作することができる。

例示的な実施の形態が添付図面を参照しながら記載されたが、本発明はそれらの正確な実施の形態に限定されるものではなく、本発明の精神又は範囲から逸脱することなしに、当業者により様々な変形及び変更が実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。

Claims (1)

1. ビデオエンコーダにおいて、直流の予測値を導出し、前記導出された直流の予測値を直流のイントラ予測モードのために使用することにより、入力ピクチャの少なくとも１部の画像データを符号化するステップを含む方法であって
   前記少なくとも１部は、前記直流のイントラ予測モードを使用して符号化され、
   前記直流の予測値は、前記入力ピクチャを分析して、前記入力ピクチャから前記直流の予測値を導出することにより導出され、
   前記直流の予測値は、前記入力ピクチャに対応するオリジナルのサンプルデータのヒストグラムを計算し、前記ヒストグラムのピークでの値を前記直流の予測値として使用することにより導出される、前記方法。

Images