JP6111266B2 - Ｈｄｒビデオをｌｄｒビデオと一緒にエンコードする方法および装置、一緒に符号化されたｈｄｒビデオおよびｌｄｒビデオの一方を再構成する方法および装置ならびに非一時的な記憶媒体 - Google Patents

Description

本発明は高ダイナミックレンジのビデオの符号化の分野でなされる。特に、本発明は、高ダイナミックレンジのビデオを、該高ダイナミックレンジのビデオと同じコンテンツを描く低ダイナミックレンジ・ビデオと一緒に符号化する分野でなされる。

ビデオは一般に、ルミナンス信号を表わすための限られた範囲の値に対応する限られた数のビット（たとえば8ビット、10ビット、12ビットまたはそれ以上）で表わされる。そのようにして表わされるビデオは低ダイナミックレンジのビデオ、あるいは略してLDRビデオと呼ばれる。しかしながら、人間の視覚系は幅広い範囲のルミナンスを知覚できる。上記の限られた表現は、特に著しく暗いまたは明るいビデオ画像領域、つまり高ルミナンスまたは低ルミナンスの領域において、小さな信号変化を正しく再構成することを許容しないことがしばしばである。HDR（High Dynamic Range［高ダイナミックレンジ］）フォーマットは、信号のルミナンス範囲全体において信号の高い精度を保持するために、信号表現のビット深さを、より多くのビット、たとえば20ないし64ビットでの整数表現に、またさらには浮動小数点表現に著しく拡張することからなる。

HDR画像またはビデオはさまざまな仕方で捕捉できる。たとえば、デジタル一眼レフ・カメラは、種々の露出で同じシーンの一連の画像を捕捉するために段階露出撮影（bracketing）技法を使うことができる。ここで、露出とは、画像を撮影するプロセスの間に撮像媒体（写真フィルムまたはイメージセンサー）に入射することが許される光の全密度である。種々の露出の画像はLDR画像として表現される。露出不足の画像は明るい領域での詳細を捕捉し、一方、露出過剰な画像は暗い領域での詳細を捕捉する。このことは、異なる露出値（EV: exposure value）について図１に例示的に描かれている。

これら異なる露出のLDR画像の融合により、浮動小数点表現をもつHDR画像／ビデオを生成できる。生成されたHDR画像／ビデオは暗い領域の詳細も明るい領域での詳細もみな含む。

HDRビデオは、LDR画像と使うよう設計された装置、たとえばセットトップボックス、PVRおよびレガシー・ディスプレイでは、その源フォーマットでは使うことができない。いずれにせよ、トーン・マッピングと呼ばれるプロセスが、特に高強度および低強度範囲における種々の信号強度セグメントの良好な復元を保証しつつ、画像を表現することを許容する。トーン・マッピングは、HDR画像から、すべての要素が正しく露出されているLDR画像を生成する。該LDR画像は、暗い領域および白い領域の両方においてずっと多くの詳細がある。このことは、図２に例示的に描かれている。

HDRは特に、ポストプロダクションにおいて使われる。すべてではないまでも大半の特殊効果ツールは、浮動小数点表現を用いてHDR画像を扱っている。自然なシーンおよび特殊効果の混合もHDR表現において実現される。ポストプロダクション・プロセスの終わりに、写真監督の管理のもとでトーン・マッピングが一般に適用されて、標準的な、たとえば8/10/12ビットのマスターを生成する。

後処理において適用されるトーン・マッピングは一般には未知のものである。

特許文献１では、高ダイナミックレンジ画像要素を予測する方法であって：低ダイナミックレンジ画像データを受領する段階と；予測データおよびHDR残差画像要素を含む高ダイナミックレンジ画像データを受領する段階と；前記LDR画像データからLDR画像値を抽出する段階と；前記予測データに基づいて前記LDR画像値を修正する段階と；前記修正されたLDR画像値を前記HDR残差画像要素と組み合わせてHDR画像要素を形成する段階とを含む方法が記載されている。

米国特許出願公開第2008/0175494号

発明者は、LDRコンテンツおよびHDR残差を使ってHDRコンテンツを表現することには問題がなくはないことを認識した。したがって、本発明は、その代わりに、LDRコンテンツ、LDR残差およびグローバル照明データを使ってHDRコンテンツを表現することを提案する。

すなわち、高ダイナミックレンジのHDRビデオを、HDRビデオの内容のより低いダイナミックレンジでの描写を提供するLDRビデオと一緒にエンコードするための請求項１記載の方法および請求項２記載の装置が提案される。提案される方法は、処理手段を使って、前記LDRビデオの一方のビデオおよび前記HDRビデオから抽出された、前記LDRビデオおよび前記HDRビデオの他方のビデオからは独立なさらなるLDRビデオをエンコードし、前記一方のビデオを参照として使って前記他方のビデオを予測エンコードし、前記HDRビデオからさらに抽出されたグローバル照明データを無損失エンコードすることを含む。前記エンコード装置は前記処理手段を有する。

これは多様な利点を有する。たとえば、参照および予測されるコンテンツの同じビット深さのため、予測はより安定であり、グローバルに最適な予測子がより簡単に見出される。さらに、このアプローチは、たとえば高い勾配上のハローのようなアーチファクトを導入することなく、このHDRコンテンツをサブサンプリングすることを許容する。さらに、このアプローチは、たとえばAVCのような古典的な8ビット・エンコード方式の効率性を活用するために採用される。

本エンコード方法および本エンコード装置のさらなる有利な実施形態の特徴は、従属請求項において記載される。

高ダイナミックレンジのHDRビデオを再構成するための請求項１０記載の方法および請求項１１記載の装置が提案される。前記再構成方法は、処理手段を使って、HDRビデオ・コンテンツのより低いダイナミックレンジでの描写を提供するLDRビデオをデコードし、該LDRビデオおよび残差を使って、前記HDRビデオ・コンテンツのさらなるより低いダイナミックレンジでの描写を提供するさらなるLDRビデオをデコードし、グローバル照明データをデコードし、該グローバル照明データおよび前記LDRビデオおよび前記さらなるLDRビデオの一方を使って前記HDRビデオを再構成することを含む。前記再構成装置は前記処理手段を有する。

本再構成方法および本再構成装置のさらなる有利な実施形態の特徴は、従属請求項において記載される。

本発明はまた、HDRビデオ内容のより低いダイナミックレンジでの描写を提供するLDRビデオと一緒にエンコードされたHDRビデオを担持するデータ・ストリームおよび／または非一時的な記憶媒体をも提案する。HDRビデオは上記の提案されるエンコード方法またはその実施形態に従ってLDRビデオと一緒にエンコードされている。

本発明の例示的な実施形態は図面に示され、以下の記述においてより詳細に説明される。例示的な実施形態は本発明を例解するために説明されるだけであり、請求項において定義される本発明の開示または範囲を限定するためではない。
種々の露出で捕捉された同じコンテンツの例示的な画像を示す。 左側には、過剰露出された領域をもつ例示的な低ダイナミックレンジ画像を示し、右側には、対応する高ダイナミックレンジ画像のトーン・マッピングから帰結する、すべての領域が適正露出されている別の低ダイナミックレンジ画像を示す。 本発明の第一の例示的な枠組みを示す。 本発明の第一の例示的な枠組みを示す。 グローバル照明データ抽出器の第一の例示的な実施形態を示す。 図５に描かれたグローバル照明データ抽出器の例示的な実施形態に対応するHDRビデオ再構成器の第一の例示的な実施形態を示す。 グローバル照明データ抽出器の第二の例示的な実施形態を示す。 図７に描かれたグローバル照明データ抽出器の例示的な実施形態に対応するHDRビデオ再構成器の第二の例示的な実施形態を示す。

本発明は、相応して適応された処理装置を有する任意の電子装置上で実現されうる。たとえば、本発明は、テレビジョン、ビデオ電話、セットトップボックス、ゲートウェイ、パーソナル・コンピュータまたはデジタル・ビデオ・カメラにおいて実現されうる。

本発明のいくつかの例示的な実施形態は、メイン・ビューがたとえばH.264/AVCに従ってビュー内予測エンコードされる、マルチビュー（MVC）エンコード方式に基づく。メイン・ビューは、任意のAVCデコーダによって、該デコーダがMVC方式の補助ビューをさらにデコードできるかどうかに関わりなく、デコードされることができる。これらの実施形態において、メイン・ビューにおいてはLDRビデオがエンコードされる。補助ビューは、グローバル照明データ（global illumination data）GIDまたはLDRビデオ残差のいずれかを含む。グローバル照明データGIDが補助ビューに含まれない場合、該GIDは異なる仕方で、たとえばMVCコードの無損失エンコードされたメタデータとして、伝達される。

補助ビューがグローバル照明データGIDを含む例示的な実施形態では、HDRビデオ画像を形成するために、メイン・ビューのLDRビデオ画像は、前記グローバル照明データGIDに基づいて修正されることができる。

補助ビューがLDRビデオ残差を含む第一の例示的な諸実施形態では、HDRビデオ画像を形成するために、メイン・ビューのLDRビデオ画像は、グローバル照明データGIDに基づいて修正されることができる。メイン・ビューのLDRビデオ画像はさらに、別のLDRビデオ画像を形成するために、補助ビュー内のLDR残差ビデオ画像と組み合わされることができる。

補助ビューがLDRビデオ残差を含む第二の例示的な諸実施形態では、メイン・ビューのLDRビデオ画像は、さらなるLDRビデオ画像を形成するために、補助ビュー内のLDR残差ビデオ画像と組み合わされることができ、該さらなるLDRビデオ画像が、HDRビデオ画像を形成するために、グローバル照明データGIDに基づいて修正されることができる。

前記第二の例示的な実施形態では、LDRビデオ画像はHDRビデオ画像のトーン・マッピングされたバージョンであることができる。ここで、使用されたトーン・マッピングUTMは重要でない、たとえば未知（unkonwn）である。ポストプロダクションにおいてまたはリアルタイム・ライブ・プロダクトにおいて使用できる数多くの異なるトーン・マッピング技法がある。

次いで、エンコーダ側ENCにおいて、図３において例示的に描かれているように、適切なトーン・マッピング技法を使って、前記さらなるLDRビデオを生成するために、さらなるトーン・マップKTMがHDRビデオに適用されることができる。その場合、前記さらなるLDRビデオは、HDRビデオの第二のLDRトーン・マッピングされたバージョンである。必須ではないが好ましくは、HDRビデオの第二のLDRトーン・マッピングされたバージョンは、もとのトーン・マッピングされたバージョンに対する残差を最小にするため、もとのトーン・マッピングされたバージョンに近い。

前記第二の例示的な実施形態では、MVCエンコード手段MVCENCを使って、HDRビデオのもとのLDRトーン・マッピングされたバージョンをメイン・ビューとして、すなわちAVCビデオとしてエンコードし、HDRビデオの前記さらなるLDRトーン・マッピングされたバージョンを補助ビューとしてビュー間予測エンコードする。二つのバージョンは互いに似通っているので、MVCは第二のビューを非常に効率的にエンコードするはずであり、結果として小さなオーバーヘッドのビットストリームを与える。

エンコーダ側ENCでは、前記第二のLDRトーン・マッピングされたバージョンおよび前記もとのHDRビデオから、シーンのグローバル照明GIDがさらに抽出される。この情報はあまり精密である必要はない。人間の目は大きな照明差を区別する能力をもたないからである。この情報も、エンコード手段LLEにおいて、好ましくは無損失（lossless）で、エンコードされる。たとえば、上記二つのLDRバージョンについてのビュー間予測は動きベクトルを必要としないので、動きベクトルの代わりにグローバル照明データGIDがエンコードされる。もう一つの例は、メタデータとしてエンコードされるグローバル照明データGIDである。

結果として得られるデータ・ストリームのメイン・ビューは、すでに展開されたAVCデコーダによって読み取り可能かつデコード可能であり、もとのLDRトーン・マッピングされたビデオを生成することができる。

本発明に基づいて修正されたデコーダDECは、グローバル照明組み合わせ器（global illumination combiner）GICによってもとのLDRトーン・マッピングされたビデオを第二のビューにおける残差と組み合わせ、組み合わせ結果をグローバル照明データGIDに従って処理することによって、もとのLDRトーン・マッピングされたビデオおよびHDRビデオの両方を再現することができる。

そのようなデコーダDECは、はいってくるストリームをデコードして、メイン・ビューと、第二のビューの残差を回復するMVCデコード手段MVCDECを有する。前記残差は、前記第二のビューを再構成するために前記メイン・ビューと一緒に使われることができる。メイン・ビューまたは第二のビューが、LDRディスプレイの源となるべく出力されることができる。メイン・ビューまたは第二のビューはさらに、デコード手段LLDを使ってデコードされるグローバル照明データGIDと一緒に、グローバル照明組み合わせ器GICにおいて、HDRビデオを回復するために使用されることができる。どのビューが使われるかは、グローバル照明データGIDを抽出するために使われたLDRビデオがメイン・ビューとしてエンコードされているか第二のビューとしてエンコードされているかに依存する。

グローバル照明データGIDを抽出するおよび／またはHDRビデオをトーン・マッピングKTMして第二のLDRトーン・マッピングされたバージョンを生成するためには数多くの可能な実装がある。いくつかの例示的な場合について下記で詳述する。

たとえば、グローバル照明GIDは、もとのLDRトーン・マッピングされたバージョンおよびもとのHDRビデオを使って抽出されることができる。これは図４に例示的に描かれている。

図５に描かれているもう一つの例示的な場合には、もとのLDRトーン・マッピングされたバージョンの規格化されたルミナンスに対するHDRビデオの規格化されたルミナンスの比が、グローバル照明データGIDを抽出するために使用されることができる。この場合、第二のLDRトーン・マッピングされたバージョンはもとのLDRトーン・マッピングされたバージョンと同一であり、よって残差はなく、グローバル照明データは第二のビューにおいてエンコードされることができる。

任意的に、抽出に先立って、もとのLDRトーン・マッピングされたバージョンおよびHDRビデオはサブサンプリングSSPされる。

図３に描かれる第二の例示的な場合では、HDRビデオの規格化されたルミナンスの第二のLDRトーン・マッピングされたバージョンの規格化されたルミナンスに対する比が、グローバル照明データを抽出するために使用されることができる。ここで、第二のLDRトーン・マッピングされたバージョンはもとのHDRビデオの既知のトーン・マッピング（known tone mapping）KTMから帰結する。

ここでもまた、抽出に先立って、第二のLDRトーン・マッピングされたバージョンおよびHDRビデオをダウンサンプリングSSPするオプションがある。

第一および第二の例示的な場合の両方において、規格化NRMは、HDRビデオから抽出された最小値および最大値に関して実行される。ルミナンス比はバイナリー化BINされる。グローバル照明データGIDはバイナリー化されたデータおよびメタデータから作られる。メタデータは、ルミナンス比バイナリー化BINの前の最小・最大値および規格化NRM前のHDRルミナンスの最小・最大値について知らせる。サブサンプリングが適用される場合、メタデータはサブサンプリング・パラメータ・データについても知らせる。

第二の例示的な場合において、第二のLDRトーン・マッピングされたバージョンは任意のトーン・マッピング技法によって決定されることができる。

第三の例示的な場合では、粗い照明抽出器が適用される。これは図７に例示的に描かれている。原理は、もとのHDRビデオの二つの成分への分解である。第一の成分が各画像の明るさについて粗く情報を与え、第二の成分は、もとのHDRビデオからのその粗い明るさの除去の結果、すなわちもとのHDRビデオの第二のトーン・マッピングされたバージョンである。

まず、もとのHDRビデオの分解計算DECが適用される。この分解についての例は平方根だが、他の分解も可能である。結果として得られるビデオは次いでサブサンプリングSSPされ、それにより各データがある領域（ピクセルの群）のルミナンスを表わすようになる。このビデオは、デコーダに送られるグローバル照明データGIDの一部であるグローバル照明ビデオを表わす。グローバル照明ビデオは次いで、各点の照明をモデル化する点拡散関数（PSF: Point Spread Function）と畳み込みされる。たとえば、LEDについては、これはその空間的な照明を表わす。結果は、フォーマットがもとのフォーマットと同じビデオである。畳み込みが過剰サンプリング・フィルタとしてはたらくからである。結果として得られるビデオは、もとのHDRビデオおよびグローバル照明ビデオを使って計算され、第二のLDRトーン・マッピングされたビデオが形成される。たとえば、HDRルミナンス対グローバル照明比が計算される。

グローバル照明データGIDは、グローバル照明ビデオおよび若干のメタデータで作られる。メタデータは、デコーダが該メタデータのみからまたは符号化標準と組み合わせて、もとのHDRビデオの分解モデル、各照明点の点拡散関数PSFおよびサブサンプリング構造を決定することができるように構成される。第二のLDRビデオを計算する方法が変わりうる実施形態では、最終的な計算、たとえば除算がさらに信号伝達される。

デコーダ側では、図８に例示的に描かれるように、グローバル照明組み合わせ器GICが、グローバル照明データを点拡散関数PSFと畳み込みするために使われる。その結果が次いで、デコードされた第二のLDRトーン・マッピングされたビデオと一緒に使われて、エンコーダ側でなされた計算の逆を行なうことによって、再構成されたHDRビデオを形成する。よって、エンコーダ側で除算が実行される場合には、デコーダ側では乗算が実行される。

これは、ディスプレイにデュアル変調技術が実装されているディスプレイに源を与えるために特に有用である。すなわち、エンコードのために使われるサブサンプリングおよびPSFがディスプレイのサブサンプリングおよびLED PSFに対応する場合、第二のLDRトーン・マッピングされたビデオは、直接的にLCDパネルの源となることができ、グローバル照明データGIDは直接LEDパネルの源となることができる。

本発明のいくつもの利点のうちに、標準的なHDTVシステムとの遡及互換性をもってHDRデータの効率的なエンコードを可能にするということがある。さらに、本発明は、柔軟性を有し、個別的なディスプレイ技術に簡単に適応されることができる。

したがって、本発明は、多くの異なる産業分野において適用可能である。

本発明のある例示的な実施形態では、グローバル照明データGIDはエンコーダ側で、ピクセルのルミナンス比を使って決定される。これは、図５において例示的に描かれている。グローバル照明抽出手段GIEは、HDRビデオおよび該HDRビデオのLDRトーン・マッピングされたバージョンを入力として受け取り、前記HDRビデオおよびそのトーン・マッピングされたバージョンからルミナンス・ビデオYを抽出する。任意的に、結果として得られるルミナンス・ビデオはサブサンプリングSUBされ、たとえばn_min＝0およびn_max＝1をもつ値範囲（n_min; n_max）に規格化NORされる。あるいはまた、結果として得られるルミナンス・ビデオはサブサンプリングされずに規格化だけされる。次いで、規格化されたルミナンス・ビデオの要素ごとの除算DIVが行なわれる。これは、サブサンプリングなしの場合、ピクセルごとの除算である。結果として得られるルミナンス比が次いで、b_minおよびb_maxを使ってバイナリー化BINされる。すると、バイナリー化されたルミナンス比は、n_min、n_max、b_minおよびb_maxと一緒に、グローバル照明データGIDを表わす。

デコーダ側では、図６に例示的に描かれるように、グローバル照明データGIDは、HDRビデオのLDRトーン・マッピングされたバージョンと一緒に、前記HDRビデオを再構成するために使用されることができる。

すなわち、デコーダ側では、b_min、b_max、n_minおよびn_maxがグローバル照明データGIDをバイナリー化解除DBNし、規格化解除DNMするために使われる。グローバル照明データGIDの分解能が、再構成されるべきHDRビデオのLDRトーン・マッピングされたバージョンの分解能より小さい場合、規格化解除されたデータはアップサンプリングされて前記LDRトーン・マッピングされたバージョンの分解能にされる。再構成されるべきHDRビデオのLDRトーン・マッピングされたバージョンはn_minおよびn_maxを使って規格化される。次いで、規格化されたLDRビデオは、同じ分解能の規格化解除されたデータをピクセルごとに乗算され、結果としてHDRビデオの再構成を与える。

この例示的な実施形態において使われるHDRビデオのLDRトーン・マッピングされたバージョンは、トーン・マッピングが未知であるLDRトーン・マッピングされたバージョンであることができる。この場合、サブサンプリングを実行しないことが有利であることがある。サブサンプリングは再構成されるHDR画像にアーチファクトを引き起こすことがあるからである。

HDRビデオのLDRトーン・マッピングされたバージョンのトーン・マッピングが既知であり、デコード側に伝達される場合には、再構成されるHDRにおける現われる可能性のあるアーチファクトが除去されることができる。

本発明のあるさらなる例示的な実施形態では、グローバル照明データGIDは、やはりピクセルのルミナンス比を使ってエンコーダ側で決定される。だが、このさらなる例示的な実施形態では、HDRビデオからグローバル照明データを生成するために点拡散関数が使われる。すなわち、分解が適用される。

このことは、図７に例示的に描かれている。グローバル照明抽出手段GIEがHDRビデオを受け取り、そこから、該HDRビデオの分解DECと、該分解されたHDRビデオのサブサンプリングSSPと、点拡散関数PSFを使った該サブサンプリングされた分解されたHDRビデオの畳み込みとを使って、グローバル照明データGIDを生成する。次いで、グローバル照明データGIDは点拡散関数PSFを使って畳み込みされ、HDRビデオは、前記HDRビデオのLDRトーン・マッピングされたバージョンを生成するために、畳み込み結果によってピクセルごとに除算される。次いでグローバル照明データGIDおよびLDRトーン・マッピングされたバージョンはエンコードされ、デコーダに送信されるか記憶される。

HDRビデオの対応する再構成は図８に例示的に描かれている。グローバル照明データGIDおよび再構成されるべきHDRビデオのLDRトーン・マッピングされたバージョンが受領される。次いで、グローバル照明データGIDが、エンコーダ側と同じ点拡散関数PSFを使って畳み込みされ、前記HDRビデオを再構成するために、LDRトーン・マッピングされたバージョンがピクセルごとに畳み込み結果を乗算される。

本発明のある例示的な実施形態では、参照としてLDRビデオを使って予測エンコードされた高ダイナミックレンジのHDRビデオを担持する非一時的な記憶媒体がある。前記LDRビデオはHDRビデオ・コンテンツのより低いダイナミックレンジ描写を与えるものである。前記LDRビデオはさらにエンコードされる。前記非一時的記憶媒体は、参照としての前記LDRビデオに対するさらなるLDRビデオのエンコードされた残差と、無損失エンコードされたグローバル照明データとを担持する。ここで、前記さらなるLDRビデオは、前記HDRビデオ・コンテンツのさらなるより低いダイナミックレンジ描写を与え、前記グローバル照明データは前記さらなるLDRビデオを使って前記HDRビデオを再構成することを許容する。

例示的な諸実施形態の間では、高ダイナミックレンジ画像要素を予測する方法もある。前記方法は、低ダイナミックレンジ画像データを受領し、グローバル照明データおよびLDR残差画像要素を含む高ダイナミックレンジ画像データを受領することを含む。前記方法はさらに、前記LDR画像データからLDR画像値を抽出し；前記LDR画像値を前記LDR残差画像要素と組み合わせてLDR画像要素を形成することを含む。最後に、前記LDR画像要素は、前記グローバル照明データに基づいて修正されて、HDRビデオ画像要素を形成する。

例示的な実施形態のうちでは、高ダイナミックレンジ画像要素を予測するためのさらなる方法もある。前記方法は、低ダイナミックレンジ画像データを受領し；予測データおよびHDR残差画像要素を含む高ダイナミックレンジ画像データを受領し；前記LDR画像データからLDR画像値を抽出し；前記予測データに基づいて前記LDR画像値を修正し；前記修正されたLDR画像値を前記HDR残差画像要素と組み合わせて、HDRビデオ画像要素を形成することを含む。

そして、高ダイナミックレンジのHDRビデオをLDRビデオと一緒にエンコードすることを実現する例示的な実施形態がある。前記LDRビデオは前記HDRビデオの内容のより低いダイナミックレンジ描写を与える。これは、処理手段を使って、前記HDRビデオからさらなるLDRビデオおよび対応するグローバル照明データを抽出し、第一のLDRビデオを独立にエンコードし、第二のLDRビデオを前記第一のLDRビデオを参照として使って予測エンコードし、前記グローバル照明データをエンコードすることによる。ここで、前記第一のLDRビデオが前記LDRビデオであり前記第二のLDRビデオが前記さらなるLDRであるか、あるいは前記第一のLDRビデオが前記さらなるLDRビデオであり前記第二のLDRビデオが前記LDRビデオである。
いくつかの付記を記載しておく。
〔付記１〕
高ダイナミックレンジのHDRビデオを、前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるLDRビデオと一緒にエンコードする方法であって、処理手段を使って：
・第一のLDRビデオと呼ばれる、前記HDRビデオの第一のトーン・マッピングされたバージョンと、第二のLDRビデオと呼ばれる、前記第一のLDRビデオとは独立に前記HDRビデオから抽出された前記HDRビデオの第二のトーン・マッピングされたバージョンとをエンコードし、前記第二のLDRビデオを、前記第一のLDRビデオを参照として使って予測エンコードし、
・前記HDRビデオからさらに抽出されたグローバル照明データを無損失エンコードすることを含む、
方法。
〔付記２〕
高ダイナミックレンジのHDRビデオを、前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるLDRビデオと一緒にエンコードする装置であって、
・第一のLDRビデオと呼ばれる、前記HDRビデオの第一のトーン・マッピングされたバージョンと、第二のLDRビデオと呼ばれる、前記第一のLDRビデオとは独立に前記HDRビデオから抽出された前記HDRビデオの第二のトーン・マッピングされたバージョンとをエンコードし、前記第二のLDRビデオを、前記第一のLDRビデオを参照として使って予測エンコードし、
・前記HDRビデオからさらに抽出されたグローバル照明データを無損失エンコードする
処理手段を有する、
装置。
〔付記３〕
前記LDRビデオが前記第一のLDRビデオである、付記１記載の方法または付記２記載の装置。
〔付記４〕
前記LDRビデオが前記第二のLDRビデオである、付記１記載の方法または付記２記載の装置。
〔付記５〕
前記グローバル照明データの抽出が：前記HDRビデオおよび前記LDRビデオからルミナンス・ビデオを抽出し、前記ルミナンス・ビデオを規格化し、前記ルミナンス・ビデオを使って生の照明データをピクセルごとに計算し、前記生の照明データをバイナリー化することによって前記グローバル照明データを計算することを含み、当該方法がさらに、規格化解除および／またはバイナリー化解除を許容する一つまたは複数のパラメータをエンコードすることを含む、
付記１、３または４記載の方法または付記２、３または４記載の装置。
〔付記６〕
前記ルミナンス・ビデオが、規格化に先立ってサブサンプリングされ、サブサンプリングの逆を行なうことを許容する一つまたは複数のアップサンプリング・パラメータがエンコードされる、付記５記載の方法または付記５記載の装置。
〔付記７〕
前記グローバル照明データが前記HDRビデオに対して分解計算を適用し、分解されたビデオをサブサンプリングすることによって抽出され、
前記さらなるLDRビデオが、前記サブサンプリングされたビデオを点拡散関数と畳み込みし、畳み込みされたビデオおよび前記HDRビデオを使って前記さらなるLDRビデオをピクセルごとに計算することによって抽出される、
付記１、３または４記載の方法または付記２、３または４記載の装置。
〔付記８〕
LDRビデオと一緒にエンコードされたHDRビデオを担持するデータ・ストリームであって、前記LDRビデオは前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるものであり、前記HDRビデオは前記LDRビデオと一緒に付記１および３ないし７のうちいずれか一項記載の方法に従ってエンコードされている、データ・ストリーム。
〔付記９〕
LDRビデオと一緒にエンコードされたHDRビデオを担持する非一時的な記憶媒体であって、前記LDRビデオは前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるものであり、前記HDRビデオは前記LDRビデオと一緒に付記１および３ないし７のうちいずれか一項記載の方法に従ってエンコードされている、記憶媒体。
〔付記１０〕
高ダイナミックレンジのHDRビデオを再構成する方法であって、処理手段を使って、
・前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるLDRビデオをデコードする段階と、
・前記LDRビデオおよび残差を使って、前記HDRビデオのコンテンツのさらなるより低いダイナミックレンジでの表現を与える第二のLDRビデオをデコードする段階と、
・グローバル照明データをデコードし、前記グローバル照明データと、前記第一または第二のLDRビデオの一方とを使って前記HDRビデオを再構成する段階とを含む、
方法。
〔付記１１〕
高ダイナミックレンジのHDRビデオを再構成する装置であって、
・前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるLDRビデオをデコードする段階と、
・前記LDRビデオおよび残差を使って、前記HDRビデオのコンテンツのさらなるより低いダイナミックレンジでの表現を与える第二のLDRビデオをデコードする段階と、
・グローバル照明データをデコードし、前記グローバル照明データと、前記第一または第二のLDRビデオの一方とを使って前記HDRビデオを再構成する段階とを実行する処理手段を有する、
装置。
〔付記１２〕
前記第一のLDRビデオが前記LDRビデオである、付記１０記載の方法または付記１１記載の装置。
〔付記１３〕
前記第二のLDRビデオが前記LDRビデオである、付記１０記載の方法または付記１１記載の装置。
〔付記１４〕
一つまたは複数のパラメータがデコードされて、前記グローバル照明データの規格化解除、バイナリー化解除およびアップサンプリングのうちの少なくとも一つのために使われる、付記１０、１２または１３記載の方法または付記１１、１２または１３記載の装置。
〔付記１５〕
前記グローバル照明データがデコード後に点拡散関数と畳み込みされる、付記１０、１２または１３記載の方法または付記１１、１２または１３記載の装置。

Claims (23)

1. 高ダイナミックレンジのHDRビデオを、エンコードされたデータからLDRビデオを与えることを許容するような仕方でエンコードする方法であって、前記LDRビデオは、前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるものであり、当該方法は、処理手段を使って：
   ・第一のLDRビデオと呼ばれる、前記HDRビデオの第一のトーン・マッピングされたバージョンと、第二のLDRビデオと呼ばれる、前記HDRビデオの第二のトーン・マッピングされたバージョンであって前記第一のLDRビデオとは独立に前記HDRビデオから抽出されたバージョンとをエンコードし、前記第二のLDRビデオを、前記第一のLDRビデオを参照として使って予測エンコードし、
   ・前記HDRビデオからさらに抽出されたグローバル照明データを無損失エンコードすることを含み、
   前記グローバル照明データは、前記第一または第二のLDRビデオの一方から前記HDRビデオを再構成することを許容する、
   方法。
2. 高ダイナミックレンジのHDRビデオを、エンコードされたデータからLDRビデオを与えることを許容するような仕方でエンコードする装置であって、前記LDRビデオは、前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与えるものであり、当該装置は、
   ・第一のLDRビデオと呼ばれる、前記HDRビデオの第一のトーン・マッピングされたバージョンと、第二のLDRビデオと呼ばれる、前記HDRビデオの第二のトーン・マッピングされたバージョンであって前記第一のLDRビデオとは独立に前記HDRビデオから抽出されたバージョンとをエンコードし、前記第二のLDRビデオを、前記第一のLDRビデオを参照として使って予測エンコードし、
   ・前記HDRビデオからさらに抽出されたグローバル照明データを無損失エンコードする
   処理手段を有しており、
   前記グローバル照明データは、前記第一または第二のLDRビデオの一方から前記HDRビデオを再構成することを許容する、
   装置。
3. 前記LDRビデオが前記第一のLDRビデオである、請求項１記載の方法。
4. 前記LDRビデオが前記第二のLDRビデオである、請求項１記載の方法。
5. 前記グローバル照明データの抽出が：前記HDRビデオおよび前記LDRビデオからルミナンス・ビデオを抽出し、前記ルミナンス・ビデオを規格化し、前記ルミナンス・ビデオを使って比照明データをピクセルごとに計算し、前記比照明データをバイナリー化することによって前記グローバル照明データを計算することを含み、当該方法がさらに、規格化解除および／またはバイナリー化解除を許容する一つまたは複数のパラメータをエンコードすることを含む、
   請求項１、３または４記載の方法。
6. 前記ルミナンス・ビデオが、規格化に先立ってサブサンプリングされ、サブサンプリングの逆を行なうことを許容する一つまたは複数のアップサンプリング・パラメータがエンコードされる、請求項５記載の方法。
7. 前記グローバル照明データが前記HDRビデオからルミナンス・ビデオを計算し、前記ルミナンス・ビデオをサブサンプリングすることによって抽出され、
   前記第二のLDRビデオが、前記サブサンプリングされたビデオを点拡散関数と畳み込みし、畳み込みされたビデオおよび前記HDRビデオを使って前記第二のLDRビデオをピクセルごとに計算することによって抽出される、
   請求項１、３または４記載の方法。
8. 前記LDRビデオが前記第一のLDRビデオである、請求項２記載の装置。
9. 前記LDRビデオが前記第二のLDRビデオである、請求項２記載の装置。
10. 前記グローバル照明データの抽出が：前記HDRビデオおよび前記LDRビデオからルミナンス・ビデオを抽出し、前記ルミナンス・ビデオを規格化し、前記ルミナンス・ビデオを使って比照明データをピクセルごとに計算し、前記比照明データをバイナリー化することによって前記グローバル照明データを計算することを含み、当該装置がさらに、規格化解除および／またはバイナリー化解除を許容する一つまたは複数のパラメータをエンコードするよう構成されている、
    請求項２、８または９記載の装置。
11. 前記ルミナンス・ビデオが、規格化に先立ってサブサンプリングされ、サブサンプリングの逆を行なうことを許容する一つまたは複数のアップサンプリング・パラメータがエンコードされる、請求項１０記載の装置。
12. 前記グローバル照明データが前記HDRビデオからルミナンス・ビデオを計算し、前記ルミナンス・ビデオをサブサンプリングすることによって抽出され、
    前記第二のLDRビデオが、前記サブサンプリングされたビデオを点拡散関数と畳み込みし、畳み込みされたビデオおよび前記HDRビデオを使って前記第二のLDRビデオをピクセルごとに計算することによって抽出される、
    請求項２、８または９記載の装置。
13. 前記エンコードされたデータを担持する非一時的な記憶媒体であって、前記エンコードされたデータは請求項１および３ないし７のうちいずれか一項記載の方法に従ってエンコードされている、記憶媒体。
14. 高ダイナミックレンジのHDRビデオを再構成する方法であって、処理手段を使って、
    ・前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与える第一のLDRビデオをデコードする段階と、
    ・前記第一のLDRビデオおよび残差を使って、前記HDRビデオのコンテンツのさらなるより低いダイナミックレンジでの表現を与える第二のLDRビデオをデコードする段階と、
    ・グローバル照明データをデコードし、前記グローバル照明データと、前記第一または第二のLDRビデオの一方とを使って前記HDRビデオを再構成する段階とを含む、
    方法。
15. 前記第一のLDRビデオを出力することをさらに含む、請求項１４記載の方法。
16. 前記第二のLDRビデオを出力することをさらに含む、請求項１４記載の方法。
17. 一つまたは複数のパラメータがデコードされて、前記グローバル照明データの規格化解除、バイナリー化解除およびアップサンプリングのうちの少なくとも一つのために使われる、請求項１４、１５、１６のうちいずれか一項記載の方法。
18. 前記グローバル照明データがデコード後に点拡散関数と畳み込みされる、請求項１４、１５、１６のうちいずれか一項記載の方法。
19. 高ダイナミックレンジのHDRビデオを再構成する装置であって、
    ・前記HDRビデオのコンテンツのより低いダイナミックレンジでの表現を与える第一のLDRビデオをデコードする段階と、
    ・前記第一のLDRビデオおよび残差を使って、前記HDRビデオのコンテンツのさらなるより低いダイナミックレンジでの表現を与える第二のLDRビデオをデコードする段階と、
    ・グローバル照明データをデコードし、前記グローバル照明データと、前記第一または第二のLDRビデオの一方とを使って前記HDRビデオを再構成する段階とを実行する処理手段を有する、
    装置。
20. 前記処理手段がさらに、前記第一のLDRビデオを出力するよう構成されている、請求項１９記載の装置。
21. 前記処理手段がさらに、前記第二のLDRビデオを出力するよう構成されている、請求項１９記載の装置。
22. 一つまたは複数のパラメータがデコードされて、前記グローバル照明データの規格化解除、バイナリー化解除およびアップサンプリングのうちの少なくとも一つのために使われる、請求項１９、２０、２１のうちいずれか一項記載の装置。
23. 前記グローバル照明データがデコード後に点拡散関数と畳み込みされる、請求項１９、２０、２１のうちいずれか一項記載の装置。

Images