JP5224458B2 - マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置 - Google Patents

Description

発明の詳細な説明

［関連出願の相互参照］
本出願は、参照することによりそのすべてがここに含まれる２００６年１月９日に出願された米国仮出願第６０／７５７，３７２号“Ｉｌｌｕｍｉｎａｔｉｏｎ ａｎｄ Ｃｏｌｏｒ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”の利益を主張する。さらに、本出願は、参照することによりそのすべてがここに含まれる２００６年１月９日に出願された米国仮出願第６０／７５７，２８９号“Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ”の利益を主張する。さらに、本出願は、参照することによりそのすべてがここに含まれる共願出願“Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”（代理人整理番号ＰＵ０６０００４）に関する。
［発明の分野］
本発明は、一般にビデオ符号化及び復号化に関し、より詳細には、ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のための照度補償及びカラー補償のための方法及び装置に関する。カラー補償は、少なくとも１つのカラーコンポーネントに適用されるかもしれない。
［発明の背景］
ＭＶＣシーケンスは、異なるビューポイントから同一シーンをキャプチャする２以上のビデオシーケンスのセットである。ＭＶＣは、フリービューポイント及び３Ｄビデオアプリケーション、ホームエンターテイメント、サーベイランスなどを含む広範なアプリケーションを提供する主要な技術である。これらのマルチビューアプリケーションでは、極めて大量のビデオデータをしばしば伴う。

実際的なシナリオでは、多数のカメラを伴うＭＶＣシステムは、異種のカメラ又は完全にはキャリブレートされていないカメラを使用して構築される。これは、あるシーンの同一部分が異なるカメラによりビューされるとき、ルミナンス及びクロミナンスの相違をもたらす。さらに、同一面が異なるアングルから読み取られるときに異なって光を反射する可能性があるという意味で、カメラ距離及びポジショニングはまた照度に影響を与える。これらのシナリオの下では、ルミナンスとクロミナンスの相違はクロスビュー予測（ｃｒｏｓｓ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）の効率性を低下させる。

複数の従来技術によるアプローチが、画像ペア間の照度ミスマッチ問題を解決するため開発されてきた。第１の従来技術によるアプローチでは、ローカル輝度変動モデルを適用するか否かが、クロスエントロピー値に基づき決定される。クロスエントロピーが閾値より大きい場合、乗数（スケール）及びオフセットフィールドを利用して、グローバル及びローカル輝度変動補償が適用される。しかしながら、ベストマッチしたブロックが検出された後、ローカルパラメータのみが選択される。これは、照度ミスマッチが大きなものであるとき問題となりうる。同様に、第２の従来技術によるアプローチは、改良された動き推定アプローチを提案するが、グローバル照度補償モデルが利用される。また、第２の従来技術によるアプローチは、ブロック単位のオン／オフ制御方法を提案しているが、このような方法はＭＳＥに基づくものである。第３の従来技術によるアプローチでは、ビデオシーケンスにおける照度ミスマッチ問題が解決される。第３の従来技術によるアプローチでは、１６×１６マクロブロックのスケール／オフセットパラメータと当該パラメータの予測符号化が提案される。第３の従来技術によるアプローチはまた、レート歪みコストベースのイネーブリングスイッチを提案する。しかしながら、第３の従来技術によるアプローチは、主として時間的なビデオシーケンスに着目している。ビデオシーケンスでは、照度ミスマッチ問題が、クロスビュー予測と同様に常には生じない。
［発明の概要］
従来技術の上記及び他の問題点及び欠点が、ＭＶＣの照度補償及びカラー補償のための方法及び装置に関する本発明により解決される。カラー補償が、少なくとも１つのカラーコンポーネントに適用されるかもしれない。

本発明の一特徴によると、ビデオエンコーダが提供される。ビデオエンコーダは、ピクチャの予測において少なくとも１つのカラーコンポーネントのカラー補償を、前記ピクチャと他のピクチャとの間のカラーデータに関する相関係数に基づき実行することによって、前記ピクチャを符号化するエンコーダを有する。前記ピクチャと前記他のピクチャとは、異なるビューポイントを有し、何れも同一又は類似のシーンのマルチビューコンテンツに対応する。

本発明の他の特徴によると、ビデオ符号化方法が提供される。本方法は、ピクチャの予測において少なくとも１つのカラーコンポーネントのカラー補償を、前記ピクチャと他のピクチャとの間のカラーデータに関する相関係数に基づき実行することによって、前記ピクチャを符号化するステップを有する。前記ピクチャと前記他のピクチャとは、異なるビューポイントを有し、何れも同一又は類似のシーンのマルチビューコンテンツに対応する。

本発明のさらなる他の特徴によると、ビデオデコーダが提供される。ビデオデコーダは、ピクチャの予測において少なくとも１つのカラーコンポーネントのカラー補償を、前記ピクチャと他のピクチャとの間のカラーデータに関する相関係数に基づき実行することによって、前記ピクチャを復号化するデコーダを有する。前記ピクチャと前記他のピクチャは、異なるビューポイントを有し、何れも同一又は類似のシーンのマルチビューコンテンツに対応する。

本発明のさらなる特徴によると、ビデオ復号化方法が提供される。本方法は、ピクチャの予測において少なくとも１つのカラーコンポーネントのカラー補償を、前記ピクチャと他のピクチャとの間のカラーデータに関する相関係数に基づき実行することによって、前記ピクチャを復号化するステップを有する。前記ピクチャと前記他のピクチャは、異なるビューポイントを有し、何れも同一又は類似のシーンのマルチビューコンテンツに対応する。

本発明の上記及び他の側面、特徴及び効果は、添付した図面と共に参照される以下の実施例の詳細な説明から明らかになる。
［詳細な説明］
本発明は、ＭＶＣの照度補償及びカラー補償のための方法及び装置に関する。カラー補償が、少なくとも１つのカラーコンポーネントに適用されるかもしれない。

効果的には、本発明の実施例は、サイマルキャストマルチビューデータの符号化圧縮を向上させる。ここで使用される“マルチビューシーケンス”とは、異なるビューポイントから同一シーンをキャプチャする２以上のビデオシーケンスのセットである。ここに開示される照度補償及びカラー補償の教示は、本原理の範囲を維持しながら、本原理の各種実施例において組み合わされて又は別々に利用されるかもしれない。

本記載は、本発明の原理を示す。このため、当業者は、ここに明示的には記載又は図示されていないが、本発明の原理を実現し、その範囲及び趣旨に含まれる各種構成を想到することが可能であることが理解されるであろう。

ここに記載されるすべての具体例と条件的言語は、読者が技術をさらに促進させるために発明者が寄与した本発明の原理及びコンセプトを理解するのに役立つための教育的な目的を意図している。

さらに、本発明の原理、特徴及び実施例と共に、その具体例を示すここでのすべての言及は、それの構造的及び機能的な均等の範囲を含むことが意図される。さらに、このような均等の範囲は現在知られている均等の範囲と共に将来開発される均等の範囲、すなわち、構成に関係なく同一の機能を実行する何れかの開発される要素を含むことが意図される。

例えば、ここに与えられたブロック図は本発明の原理を実現する例示的な回路の概念図を表すことが、当業者により理解されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読媒体に実質的に表され、明示的には図示されていないが、コンピュータ又はプロセッサにより実行可能な各種プロセスを表すことが理解されるであろう。

図示された各種要素の各機能は、専用のハードウェアと共に、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを利用することにより提供されるかもしれない。プロセッサにより提供されるとき、これらの機能は単一の専用プロセッサ、単一の共有プロセッサ又は一部が共有される複数の個別のプロセッサにより提供されるかもしれない。さらに、“プロセッサ”又は“コントローラ”という用語の明示的な利用は、ソフトウェアを実行可能なハードウェアのみを参照すると解釈されるべきでなく、限定されることなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及び不揮発性ストレージを非明示的に含むかもしれない。

他の、従来の及び／又はカスタムハードウェアもまた含まれるかもしれない。同様に、図示されている何れのスイッチも単に概念的なものである。それらの機能は、プログラムロジックの動作、専用ロジック、プログラム制御と専用ロジックの相互作用又は手動により実行されてもよく、文脈からより具体的に理解されるとき、当該技術は実施者により選択可能である。

請求項において、指定された機能を実行する手段として記載される要素は、例えば、ａ）当該機能を実行する各回路要素の組み合わせ、又はｂ）当該機能を実行するようソフトウェアを実行する適切な回路と組み合わされたファームウェア、マイクロコードなどを含む何れかの形式によるソフトウェアなどを含む、当該機能を実行する何れかの方法を含むことが意図される。このような請求項により規定されるような本発明は、記載された各種手段により提供される機能が、請求項が要求する方法により組み合わされるという事実によるものである。このため、これらの機能を提供可能な手段はここに示されるものと均等であるとみなされる。

本原理の“一実施例”又は“実施例”という明細書における表現は、当該実施例に関して説明される特定の機能、構成又は特徴が本原理の少なくとも１つの実施例に含まれることを意味する。このため、明細書を通じて各所に出現する“一実施例では”又は“実施例では”という表現は、必ずしもすべてが同一の実施例を参照しているとは限らない。

図１を参照するに、本原理が適用される一例となるＭＶＣエンコーダが、参照番号１００により全体表示される。エンコーダ１００は、変換手段１１０の入力と信号通信接続される出力を有する合成手段１０５を有する。変換手段１１０の出力は、量子化手段１１５の入力と信号通信接続される。量子化手段１１５の出力は、エントロピーコーダ１２０の入力及び逆量子化手段１２５の入力と信号通信接続される。逆量子化手段１２５の出力は、逆変換手段１３０の入力と信号通信接続される。逆変換手段１３０の出力は、合成手段１３５の第１非反転入力と信号通信接続される。合成手段１３５の出力は、イントラ予測手段１４５の入力及びデブロッキングフィルタ１５０の入力と信号通信接続される。デブロッキングフィルタ１５０の出力は、基準画像ストア１５５（ビューｉに対する）の入力と信号通信接続される。基準画像ストア１５５の出力は、動き補償手段１７５の第１入力及び動き推定手段１８０の第１入力と信号通信接続される。動き推定手段１８０の出力は、動き補償手段１７５の第２入力と信号通信接続される。

基準画像ストア１６０（他のビューに対する）の出力は、ディスパリティ／照度推定手段１７０の第１入力及びディスパリティ／照度補償手段１６５の第１入力と信号通信接続される。ディスパリティ／照度推定手段１７０の出力は、ディスパリティ／照度補償手段１６５の第２入力と信号通信接続される。

エントロピー復号化ステップ１２０の出力は、エンコーダ１００の出力として利用可能である。合成手段１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、ディスパリティ／照度推定手段１７０の第２入力及び動き推定手段１８０の第２入力と信号通信接続される。スイッチ１８５の出力は、合成手段１３５の第２非反転入力及び合成手段１０５の反転入力と信号通信接続される。スイッチ１８５は、動き補償手段１７５の出力と信号通信接続される第１入力、ディスパリティ／照度補償手段１６５の出力と信号通信接続される第２入力及びイントラ予測手段１４５の出力と信号通信接続される第３入力を有する。

モード決定モジュール１４０は、何れの入力がスイッチ１８５により選択されるか制御するため、スイッチ１８５に接続される出力を有する。

図２を参照するに、本原理が適用される一例となるＭＶＣ復号化ステップが、参照番号２００により全体表示される。復号化ステップ２００は、逆量子化手段２１０の入力と信号通信接続される出力を有するエントロピー復号化ステップ２０５を有する。逆量子化手段の出力は、逆変換手段２１５の入力と信号通信接続される。逆変換手段２１５の出力は、合成手段２２０の第１非反転入力と信号通信接続される。合成手段２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ予測手段２３０の入力と信号通信接続される。デブロッキングフィルタ２２５の出力は、基準画像ストア２４０（ビューｉに対する）の入力と信号通信接続される。基準画像ストア２４０の出力は、動き補償手段２３５の第１入力と信号通信接続される。

基準画像ストア２４５（他のビューに対する）の出力は、ディスパリティ／照度補償手段２５０の第１入力と信号通信接続される。

エントロピーコーダ２０５の入力は、残余ビットストリームを受け付けるため、復号化ステップ２００への入力として利用可能である。さらに、モードモジュール２６０の入力はまた、何れの入力がスイッチ２５５により選択されるか制御するための制御シンタックスを受け付けるため、復号化ステップ２００への入力として利用可能である。さらに、動き補償手段２３５の第２入力は、動きベクトルを受け付けるため、復号化ステップ２００の入力として利用可能である。また、ディスパリティ／照度補償手段２５０の第２入力は、ディスパリティベクトル及び照度補償シンタックスを受け付けるため、復号化ステップ２００への入力として利用可能である。

スイッチ２５５の出力は、合成手段２２０の第２非反転入力と信号通信接続される。スイッチ２５５の第１入力は、ディスパリティ／照度補償手段２５０の出力と信号通信接続される。スイッチ２５５の第２入力は、動き補償手段２３５の出力と信号通信接続される。スイッチ２５５の第３入力は、イントラ予測手段２３０の出力と信号通信接続される。モードモジュール２６０の出力は、何れの入力がスイッチ２５５により選択されるか制御するため、スイッチ２５５と信号通信接続される。デブロッキングフィルタ２２５の出力は、復号化ステップ２００の出力として利用可能である。

本原理の実施例は、マルチビュービデオシーケンスの効率的な符号化に関する。マルチビュービデオシーケンスは、異なるビューポイントから同一シーンをキャプチャする２以上のビデオシーケンスのセットである。特に、本原理による各種実施例は、マルチビュービデオシーケンスを符号化及び復号化するため、照度補償及び／又はカラー補償に関する。

本原理は、マルチビュービデオソースが同一シーンの複数のビューに関するものであるため、複数のビュー画像の間の高い相関度が存在することを考慮している。従って、時間的な冗長性に加えて、ビュー冗長性が利用可能であり、異なるビューにおけるビュー予測（クロスビュー予測）を実行することにより実現される。

例示のため、ここに与えられる説明は、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以降、“ＭＰＥＧ−４ ＡＶＣ規格”と呼ばれる）のＭＶＣの拡張に関する。しかしながら、本原理はまた、当該及び関連技術における当業者により容易に判断されるように、他のビデオ符号化規格にも適用可能であることが理解されるであろう。すなわち、ここに与えられる本原理の教示が与えられると、当該及び関連技術の当業者は、本原理の範囲を維持しながら、ＭＰＥＧ−４ ＡＶＣ規格及び他のビデオ符号化規格を含む各種ビデオ符号化規格に関して本原理を容易に実現することが可能となるであろう。

ＭＰＥＧ−４ ＡＶＣ規格のフレームワークでは、照度補償はディスパリティ補償プロセスの一部とみなすことができ、そこでは、クロスビュー予測（マルチビューシーケンスの異なるビューにわたるビュー予測）は、異なるカメラビューにおける照度の相違を解決するためのオフセットを有する。空間的に近接したブロック間の強力な相関によって、オフセットは量子化及びエントロピー符号化前に差動符号化することが可能である。照度補償は、異なる信号ブロックが異なる照度ミスマッチレベルを受けるため、ブロックベースによりスイッチ可能となるよう実現されてもよい。照度補償に加えて、異なるカメラビュー間のカラーの相違を解決するため、カラー補償デザインがまた提案される。

ＭＰＥＧ−４ ＡＶＣ規格のＭＶＣの拡張に関する照度補償及びカラー補償に関する本原理の例示的な実施例では、一例となるフレームワークが以下に与えられる。スライスレベルでは、現在のスライスに対して照度補償が実行されるか示すため、新たなシンタックス要素（ｉｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）が導入される。マクロブロックレベルでは、２つの新たなシンタックス要素が導入される。１つ（ｉｃ＿ｅｎａｂｌｅ）は、各ブロックの照度補償の利用を示すため導入され、もう１つ（ｉｃ＿ｓｙｍ）は、照度オフセットパラメータを伝えるため導入される。

図３を参照するに、マルチビュービデオコンテンツの照度補償を有する一例となるビデオ符号化方法が、参照番号３００により全体表示される。本方法３００は、ループリミットブロック３１０に制御をわたすスタートブロック３０５を有する。ループリミットブロック３１０は、ｍｂ＝０からＭａｃｒｏＢｌｏｃｋＩｎＰｉｃ−１までの変数を使用してループの範囲を設定することを含む、現在スライスの各マクロブロックにおけるループを開始し、判定ブロック３１５に制御をわたす。判定ブロック３１５は、照度補償（ＩＣ）が現在スライスに対して実行されるか判断する。そうである場合、制御は機能ブロック３２０にわたされる。そうでない場合には、制御は機能ブロック３５０にわたされる。

機能ブロック３２０は、照度補償と共に動き推定を実行し、機能ブロック３２５に制御をわたす。機能ブロック３２５は、ＩＣ予測子ｉｃ＿ｏｆｆｓｅｔ＿ｐを構成し、制御を機能ブロック３３０にわたす。機能ブロック３３０は、ｉｃ＿ｏｆｆｓｅｔの差動的な照度補償符号化を実行し、ｉｃ＿ｏｆｆｓｅｔをｉｃ＿ｓｙｍに量子化し、制御を機能ブロック３３５にわたす、機能ブロック３３５は、照度補償モード判定を実行し、ｉｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを決定し、制御を機能ブロック３４０にわたす。機能ブロック３４０は、シンタックス書き込みを実行し、制御をループリミットブロック３４５にわたす。ループリミットブロック３４５は、現在スライスの各マクロブロックに対するループを終了し、制御をエンドブロック３５５にわたす。

機能ブロック３５０は、動き推定を実行し、照度補償することなく動き判定を行い、制御を機能ブロック３４０にわたす。

図４を参照するに、マルチビュービデオコンテンツの照度補償を有する一例となるビデオ復号化方法が、参照番号４００により全体表示される。本方法４００は、制御をループリミットブロック４１０にわたすスタートブロック４０５を有する。ループリミットブロック４１０は、ｍｂ＝０からＭａｃｒｏＢｌｏｃｋｓＩｎＰｉｃ−１までの変数を使用してループの範囲を設定することを含む、現在スライスの各マクロブロックに対するループを開始し、制御を機能ブロック４１５にわたす。機能ブロック４１５は、シンタックスを読み込み、制御を判定ブロック４２０にわたす。この判定ブロック４２０は、現在スライスに対して照度補償が実行されるか判断する。そうであるばあい、制御は判定ブロック４２５にわたされる。そうでない場合、制御は機能ブロック４５０にわたされる。

判定ブロック４２５は、ｉｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが１に等しいか判断する。そうである場合、制御は機能ブロック４３０にわたされる。そうでない場合、制御は機能ブロック４５０にわたされる。

機能ブロック４３０は、ＩＣ予測子ｉｃ＿ｏｆｆｓｅｔ＿ｐを構成し、制御を機能ブロック４３５にわたす。機能ブロック４３５は、ｉｃ＿ｓｙｍを逆量子化し、ｉｃ＿ｏｆｆｓｅｔを差動復号化し、制御を機能ブロック４４０にわたす。機能ブロック４４０は、照度と共に動き補償を実行し、制御をループリミットブロック４４５にわたす。ループリミットブロック４４５は、現在スライスの各マクロブロックに対するループを終了し、制御をエンドブロック４５５にわたす。

機能ブロック４５０は、照度補償することなく動き補償を実行し、ループリミットブロック４４５に制御をわたす。

本発明の実施例によるクロスビュー予測プロセスの一部として照度補償を利用することに関する説明が与えられる。

照度補償は、ＭＶＣのためのクロスビュー予測に関して実行される。このシナリオでは、クロスビュー予測は、典型的には、異なるビューからのピクチャ間のディスパリティフィールドの計算を伴う。ディスパリティフィールドはクロスビュー予測におけるものであり、動きフィールドは時間予測におけるものである。符号化スキームが適用されると、クロスビューフィールドは、ビュー冗長性を利用するための有効なツールである。

簡単化のため、以下においては、クロスビュー予測と、拡張してディスパリティ推定がブロック毎に実行されることが前提とされる。しかしながら、ここで与えられた本原理の教示が与えられると、このような教示の他のサンプルグループへの拡張が、本原理の範囲を維持しながら、当該及び関連技術における当業者により容易に決定及び実現されることが理解されるべきである。

また、本原理のいくつかの実施例が、動き補償及びディスパリティ補償が実行されるＭＰＥＧ−４ ＡＶＣ規格のＭＶＣ拡張に適用されることに関して説明されるが、ここに与えられる本原理の教示が提供されたとき、本原理の実現形態は、本原理の範囲を維持しながら、当該及び関連技術の当業者により容易に決定及び実現されるように、ディスパリティ補償が実行される他の何れかのＭＶＣスキームに関するものであってもよいことが理解されるであろう。

さらに、照度補償に関する本原理のいくつかの実施例は、ＭＶＣに関して説明されるが、ここに与えられる本原理の教示が提供されたとき、当該及び関連技術の当業者は、本原理の範囲を維持しながら、本原理が適用される他のビデオ関連シナリオを容易に想到することが理解されるべきである。例えば、本原理は画像レジストレーション及びカメラキャリブレーションに適用されるが、これらに限定されるものでない。

本原理の実施例による照度補償シンタックス要素の伝送に関する説明が与えられる。

ＭＰＥＧ−４ ＡＶＣ規格のＭＶＣ拡張に適用される本原理の実施例では、当該スライスに照度補償（ＩＣ）が利用されているか示す新たなシンタックスが、ｉｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇと呼ばれるスライスヘッダに導入される。クロスビュー予測がスライス全体に対して無効とされる場合、ｉｃ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇはゼロに等しく、スライスにはさらなるＩＣ関連シンタックスは存在しない。

照度ミスマッチの程度は、ビュー画像の部分毎に変化する。このため、ディスパリティ補償を利用して、すべてのブロックについてＩＣパラメータを送信することは効率的でないかもしれない。この目的に供するため、ｉｃ＿ｅｎａｂｌｅと呼ばれる新たなブロックベースシンタックスフラグが、ＩＣが特定の１つのブロックに利用されているか示すため、マクロブロック／サブマクロブロックレベルに導入される。

ＭＰＥＧ−４ ＡＶＣ規格は、１６×１６から４×４までのブロックサイズを有する可変的なブロックサイズの動き補償をサポートする。多数のｉｃ＿ｅｎａｂｌｅフラグ及びｉｃ＿ｓｙｍを送りすぎる負担を軽減するため、ＩＣのスイッチングはすべてのブロックサイズに適用される必要はない。一実施例では、ＩＣのスイッチングは、８×８以上のサイズのブロックに対してのみ適用される。

ｉｃ＿ｅｎａｂｌｅの符号化のためのＣＡＢＡＣ（Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）コンテクストデザインが以下のように設計される。すなわち、（１）｛１６×１６，１６×８，８×１６｝のブロックサイズに対して、上と左の各マクロブロックのｉｃ＿ｅｎａｂｌｅフラグに応じて、３つのＣＡＢＡＣコンテクストが使用され、（２）ブロックサイズ８×８に対して、近傍ブロックを参照することなく、個別のＣＡＢＡＣコンテクストが割り当てられる。

例示のため、テーブル１〜３にＩＣ関連シンタックステーブルが示される。テーブル１は、ＭＶＣのスライスヘッダシンタックスを示す。テーブル２は、マクロブロックレイヤシンタックスを示す。テーブル３は、マクロブロック予測シンタックスを示す。

本原理の実施例による照度補償を有するディスパリティ推定に関する説明が与えられる。

符号化アプリケーションの特定のシナリオでは、照度補償（ＩＣ）はディスパリティ補償プロセスの一部とみなされるであろう。より詳細には、ＩＣがブロックのディスパリティ補償において実行されると、照度補償された基準ブロックＢ_ｒは、以下のように計算される。

ただし、Ｒ（ｘ，ｙ）はクロスビュー基準ピクチャであり、（Δｘ，Δｙ）はディスパリティベクトル（ＤＶ）である。図５に示されるように、ＤＶ／ｉｃ＿ｏｆｆｓｅｔ／ｉｃ＿ｅｎａｂｌｅがディスパリティ補償プロセスにおいて一緒に利用される。

図５を参照するに、マルチビュービデオコンテンツの照度補償による基準ブロック生成のための一例となる装置は、参照番号５００により全体表示される。装置６００は、合成手段５１５の第１非反転入力と信号通信接続される出力を有する照度補償量子化手段５０５を有する。合成手段５１５の出力は、合成手段５１５の第２非反転入力と合成手段５２０の第１非反転入力と信号通信接続される。

基準ピクチャストア５１０（他のビューに対する）の出力は、合成手段５２０の第２非反転入力及びスイッチ５２５の第１入力と信号通信接続される。

スイッチ５２５の第２入力は、合成手段５２０の出力と信号通信接続される。

照度補償量子化手段５０５の入力は、ｉｃ＿ｓｙｍシンタックスを受け付けるため、装置５００への入力として利用可能である。さらに、基準ピクチャストア５１０の入力は、ディスパリティベクトルを受け付けるため、装置への入力として利用可能である。さらに、装置５００は、何れの入力がスイッチ５２５により選択されるか制御するためのｉｃ＿ｅｎａｂｌｅシンタックスを受け付けるための入力を有する。スイッチ５２５の出力は、装置５００の出力として利用可能である。

ブロックレベルでは、照度補償パラメータｉｃ＿ｏｆｆｓｅｔは、差動符号化及び一様な量子化を通じて取得される。

本原理の実施例によるｉｃ＿ｏｆｆｓｅｔの差動符号化に関する説明が与えられる。

近傍ブロックにおけるｉｃ＿ｏｆｆｓｅｔの間には強い相関が存在する。この性質を利用するため、ｉｃ＿ｏｆｆｓｅｔは量子化前に以下のように微分される。

ただし、ｉｃ＿ｏｆｆｓｅｔ＿ｄは、微分された照度補償オフセットであり、照度補償予測子ｉｃ＿ｏｆｆｓｅｔ＿ｐは、近傍ブロックからのｉｃ＿ｏｆｆｓｅｔを利用して構成される。

ｉｃ＿ｏｆｆｓｅｔ＿ｐは、以下のルールに従って計算される。第１ルールでは、ｉｃ＿ｏｆｆｓｅｔ＿ｐのデフォルト値は０である。このデフォルト値は、利用可能なＩＣを有する近傍ブロックがないとき利用される。第２ルールでは、ｉｃ＿ｏｆｆｓｅｔ＿ｐは、左のＭＢのブロックサイズに応じて以下のように設定される。すなわち、（１）ブロックサイズ＝１６×１６である場合、左ブロックのｉｃ＿ｏｆｆｓｅｔが利用され、（２）ブロックサイズ＝１６×８又は８×１６である場合、第２ブロックのｉｃ＿ｏｆｆｓｅｔが利用され、（３）ブロックサイズ＝８×８又はそれ未満である場合、８×８のブロックインデックス３，１，２，０（この順番で）の利用可能なｉｃ＿ｏｆｆｓｅｔが利用される。第３ルールでは、左に近傍マクロブロックがない場合、上のブロックからのｉｃ＿ｏｆｆｓｅｔが代わりに利用される。

本原理の実施例によるｉｃ＿ｓｙｍの量子化に関する説明が与えられる。

一様量子化は、微分されたｉｃ＿ｏｆｆｓｅｔに適用される。

固定ステップサイズの量子化方法が利用される場合、μを通知するための追加的なシンタックスは必要でない。固定ステップサイズ量子化が利用されない場合、シンタックスの送信が考慮されるべきである。

本原理の実施例によるｉｃ＿ｓｙｍのエントロピー符号化に関する説明が与えられる。

ｉｃ＿ｓｙｍについて、ユーナリー２値化（ｕｎａｒｙ ｂｉｎａｒｉｚａｔｉｏｎ）がＣＡＢＡＣにおいて利用される。例えば、｜ｉｃ＿ｓｙｍ｜が１である場合、それは“１０”として２値化され、ｉｃ＿ｓｙｍが３である場合、“１１１０”として２値化される。ｉｃ＿ｓｙｍが差動符号化される場合、０に近いｉｃ＿ｓｙｍの値が生じる可能性が高い。この性質を利用するため、４つの異なるコンテクストが各２値化シンボルに割り当てられる。２値化後、１つのシンボルビットがエンドにおいて加えられ、コンテクストなしに符号化される。

本原理の実施例によるカラー補償に関する説明が与えられる。

良好でないカメラキャリブレーションはまた、照度ミスマッチに加えてカラーミスマッチを生じさせる可能性がある。本原理のいくつかの実施例は、上述した照度補償（ＩＣ）アプローチをカラー補償（ＣＣ）に拡張することによって、上記問題を解決する。簡単化のため、カラー補償はＹＵＶカラー空間のＵＶカラーコンポーネントに適用されることが前提とされる。しかしながら、ここに与えられる本原理の教示が与えられると、当該及び関連技術の当業者は、本原理の範囲を維持しながら、他のカラー空間に関して本原理を想到及び容易に実現することが理解されるべきである。

本原理によるカラー補償に関する２つの方法が説明される。第１は、ローカルカラー補償方法であり、第２は、グローバルカラー補償方法である。もちろん、ここに与えられる本原理の教示が与えられると、ここに記載される２つのアプローチの変形及び各ｈｃおうは、本発明の範囲を維持しながら、当該及び関連技術の当業者により容易に想到される。

ローカルカラー補償方法では、照度補償（ＩＣ）と同様に、ローカルカラー補償パラメータｃｃ＿ｏｆｆｓｅｔが導入される。ＵチャネルとＶチャネルのこれら２つの異なるｃｃ＿ｏｆｆｓｅｔは、同一のフラグｉｃ＿ｅｎａｂｌｅと同一のディスパリティベクトルを共有する。

ＹＵＶ４２０クロミナンスサンプリングフォーマットについて、クロミナンスブロックの幅及び高さはルミナンスブロックの半分である。カラー補償シンタックスに多くのビットを費やすことを回避するため、カラー補償のブロックサイズは８×８となるよう固定される。ｃｃ＿ｅｎａｂｌｅフラグは、ｉｃ＿ｅｎａｂｌｅとは独立に通知可能であるか、又はｉｃ＿ｅｎａｂｌｅから導出可能である。

グローバルカラー補償方法に関して、一般にクロミナンスチャネルはルミナンスチャネルよりはるかにスムーズである。カラー補償のためのより経済的な方法は、グローバル補償パラメータｃｃ＿ｏｆｆｓｅｔ＿ｇｌｏｂａｌを私用することである。グローバルなｃｃ＿ｏｆｆｓｅｔは、スライス又はフレームレベルで計算可能であり、同一スライス又はフレームにおけるすべてのブロックに適用可能である。

本発明の多数の付随的な効果／特徴の一部の説明が与えられる。そのうちのいくつかは上述された。例えば、１つの効果／特徴は、ピクチャの予測における少なくとも１つのカラーコンポーネントのカラー補償を、当該ピクチャと他のピクチャとの間のカラーデータに関する相関係数に基づき実行することによって、ピクチャを符号化するエンコーダを有するビデオエンコーダである。当該ピクチャ及び他のピクチャは、異なるビューポイントを有し、その双方が同一又は類似するシーンのマルチビューコンテンツに対応する。

他の効果／特徴は、上述されたビデオエンコーダであり、エンコーダは、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）のＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告とその拡張の少なくとも１つに準拠するビットストリームを提供するためピクチャを符号化する。

さらなる他の効果／特徴は、上述したようなビデオエンコーダであり、当該エンコーダはカラー補償を実行するためハイレベルなシンタックスを利用する。

さらに、他の効果／特徴は、スライスレベルシンタックスを含む上述したようなハイレベルシンタックスを利用するビデオエンコーダである。

さらに、他の効果／特徴は、カラー補償がピクチャの予測に使用されているか示すブロックレベルシンタックスを利用する上述したようなビデオエンコーダである。

また、他の効果／特徴は、ブロックサイズに基づき選択されるブロックレベルシンタックスを符号化するコンテクスト適応的バイナリ算術符号化コンテクストを利用する上述したようなブロックレベルシンタックスを利用するビデオエンコーダである。

さらに、他の効果／特徴は、カラー補償情報を通知するためブロックレベルシンタックスを利用する上述したようなビデオエンコーダである。

さらに、他の効果／特徴は、ブロックサイズに基づき選択されるブロックレベルシンタックスを符号化するコンテクスト適応的バイナリ算術符号化コンテクストを利用する上述したようなブロックレベルシンタックスを利用するビデオエンコーダである。

また、他の効果／特徴は、カラー補償情報がカラーオフセットパラメータを含む上述したようなブロックレベルシンタックスを利用するビデオエンコーダである。

さらに、他の効果／特徴は、スライスレベルシンタックスを利用して、ピクチャに対応するスライス全体のクロミナンスチャネルに適用されるカラー補償量を通知する上述したようなビデオエンコーダである。

さらに、他の効果／特徴は、ピクチャの予測において照度補償を、当該ピクチャと他のピクチャとの間の照度データに関する相関係数に基づき実行することによって、ピクチャを符号化する上述したようなビデオエンコーダである。

さらに、他の効果／特徴は、スライスレベルシンタックスを利用して照度補償を実行することによりピクチャを符号化するビデオエンコーダである。

また、他の効果／特徴は、ブロックレベルシンタックスを利用して、照度補償がピクチャの予測に使用されているか示す上述したような照度補償を実行することによりぴｋｃうはを符号化するビデオエンコーダである。

さらに、他の効果／特徴は、上述したような照度補償を実行することによりピクチャを符号化するビデオエンコーダであり、異なるブロックレベルシンタックスが使用され、照度補償及びカラー補償がそれぞれ示され、異なるブロックレベルシンタックスが独立して通知される。

さらに、他の効果／特徴は、上述したような照度補償を実行することによりピクチャを符号化するビデオエンコーダであり、異なるブロックレベルシンタックスが使用され、照度補償とカラー補償がそれぞれ示され、異なるブロックレベルシンタックスの１つが、異なるブロックレベルシンタックスの他の１つから導出される。

さらに、他の効果／特徴は、上述したような照度補償を実行することによりピクチャを符号化するビデオエンコーダであり、エンコーダはブロックレベルシンタックスを利用して照度補償情報を通知する。

さらに、他の効果／特徴は、照度補償を実行することによりピクチャを符号化し、上述したようなブロックレベルシンタックスを利用するビデオエンコーダであり、エンコーダは、ブロックレベルシンタックスを符号化するため、ブロックサイズに基づき選択されたコンテクスト適応的バイナリ算術符号化コンテクストを利用する。

また、他の効果／特徴は、照度補償を実行することによりピクチャを符号化し、上述したようなブロックレベルシンタックスを利用するビデオエンコーダであり、照度補償情報は、照度オフセットパラメータを含む。

さらに、他の効果／特徴は、上述したような照度補償を実行することによりピクチャを符号化するビデオエンコーダであり、エンコーダはブロックレベルに関する照度補償パラメータとカラー補償パラメータの少なくとも１つの差動符号化を利用する。

さらに、他の効果／特徴は、照度補償を実行することによりピクチャを符号化し、上述したような差動符号化を利用するビデオエンコーダであり、エンコーダは、差動符号化された照度補償パラメータと差動符号化されたカラー補償パラメータの少なくとも１つに対して一様量子化を提供する。

本発明の上記及び他の特徴及び効果は、ここでの教示に基づき当業者により容易に確認されるであろう。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの各種形式により実現可能であることが理解されるべきである。

最も好適には、本発明の教示はハードウェアとソフトウェアとの組み合わせとして実現される。さらに、ソフトウェアは、プログラム記憶ユニットに有形に実現されるアプリケーションプログラムとして実現可能である。アプリケーションプログラムは、何れか適切なアーキテクチャを有するマシーンにアップロード及び実行されるかもしれない。好ましくは、マシーンは、１以上の中央処理ユニット（ＣＰＵ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロ命令コードを有するかもしれない。ここに記載される各種プロセス及びファンクションは、ＣＰＵにより実行可能なマイクロ命令コードの一部、アプリケーションプログラムの一部又はこれらの何れかの組み合わせの何れかであるかもしれない。さらに、追加的なデータ記憶ユニット及び印刷ユニットなどの他の各種周辺ユニットが、コンピュータプラットフォームに接続されるかもしれない。

さらに、添付した図面に示されるシステムコンポーネント及び方法の一部は、好ましくはソフトウェアにより実現されるため、システムコンポーネント又はプロセスファンクションブロックとの間の実際の接続は、本発明がプログラムされる方法に応じて異なるかもしれないことが理解されるべきである。ここでの教示が与えられると、当業者は本発明の上記及び同様の実現形態又は構成を想到可能である。

例示的な実施例が添付した図面を参照して説明されたが、本発明がこれら実施例に限定されるものでなく、本発明の範囲又は趣旨から逸脱することなく様々な変更及び改良が当業者に実現可能であることが理解されるべきである。このようなすべての変更及び改良は、添付した請求項に与えられるような本発明の範囲内に含まれるものである。

図１は、一実施例による本原理が適用される一例となるＭＶＣエンコーダのブロック図である。 図２は、一実施例による本原理が適用される一例となるＭＶＣ復号化ステップのブロック図である。 図３は、本原理の実施例によるマルチビュービデオコンテンツの照度補償を備えた一例となるビデオ符号化方法のフロー図である。 図４は、本原理の実施例によるマルチビュービデオコンテンツの照度補償を備えた一例となるビデオ復号化方法のフロー図である。 図５は、一実施例による本原理が適用されるマルチビュービデオコンテンツの照度補償を備えた基準ブロック生成のための一例となる装置のブロック図である。

Claims (2)

1. ピクチャの予測において少なくとも１つのカラーコンポーネントのシンタックス要素を使用したカラー補償を、前記ピクチャと他のピクチャとの間のカラーデータに関するオフセットに基づき実行することによって、前記ピクチャを符号化するエンコーダを有するビデオエンコーダであって、
   前記少なくとも１つのカラーコンポーネントの各カラーチャネルは、補償のために別個のオフセットを使用し、前記ピクチャと前記他のピクチャとは、異なるビューポイントを有し、何れも同一又は類似のシーンのマルチビューコンテンツに対応する、前記ビデオエンコーダ。
2. ピクチャの予測において少なくとも１つのカラーコンポーネントのシンタックス要素を使用したカラー補償を、前記ピクチャと他のピクチャとの間のカラーデータに関するオフセットに基づき実行することによって、前記ピクチャを符号化するステップを有するビデオ符号化方法であって、
   前記少なくとも１つのカラーコンポーネントの各カラーチャネルは、補償のために別個のオフセットを使用し、前記ピクチャと前記他のピクチャとは、異なるビューポイントを有し、何れも同一又は類似のシーンのマルチビューコンテンツに対応する、前記ビデオ符号化方法。
   

Images