JP5959607B2 - 階層的vdr符号化における層分解 - Google Patents

階層的vdr符号化における層分解 Download PDF

Info

Publication number
JP5959607B2
JP5959607B2 JP2014249667A JP2014249667A JP5959607B2 JP 5959607 B2 JP5959607 B2 JP 5959607B2 JP 2014249667 A JP2014249667 A JP 2014249667A JP 2014249667 A JP2014249667 A JP 2014249667A JP 5959607 B2 JP5959607 B2 JP 5959607B2
Authority
JP
Japan
Prior art keywords
image
vdr
base layer
input
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014249667A
Other languages
English (en)
Other versions
JP2015084560A (ja
Inventor
スゥ,グワン−ミーン
キュ,シェン
エヌ ヒュルヤルカール,サミール
エヌ ヒュルヤルカール,サミール
チェン,タオ
シー ギッシュ,ウォルター
シー ギッシュ,ウォルター
クープフェル,フーベルト
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2015084560A publication Critical patent/JP2015084560A/ja
Application granted granted Critical
Publication of JP5959607B2 publication Critical patent/JP5959607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願への相互参照
本願は2011年11月4日に出願された米国仮特許出願第61/555,978号および2012年2月8日に出願された米国仮出願第61/596,600号の優先権を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。
技術
本発明は概括的には画像処理に、詳細には階層的VDRコーデックを使った可変ダイナミックレンジ画像のエンコード、デコードおよび表現に関する。
ドルビー・ラボラトリーズ社その他によって開発されつつあるディスプレイ技術は、高ダイナミックレンジ(HDR: high dynamic range)をもつ画像を再生できる。そのようなディスプレイは、通常のディスプレイより現実世界のシーンをより忠実に表現する画像を再現できる。
新たなHDRディスプレイ技術とともに後方互換性をサポートするために、多層ビデオ・エンコーダのような上流の装置から下流の装置にビデオ・データを送達するために複数の層〔レイヤー〕が使用されてもよい。それら複数の層の基本層(BL: base layer)において担持される標準ダイナミックレンジ(SDR: standard dynamic range)ビデオ・データは、SDRディスプレイ上での閲覧体験のために最適化され、一方、前記複数の層のうち前記基本層および向上層(EL: enhancement layer)の組み合わせにおいて担持される視覚的ダイナミックレンジ(VDR: visual dynamic range)ビデオ・データは、SDRディスプレイよりも大きなダイナミックレンジをもつVDRディスプレイの閲覧体験をサポートする。本稿での用法では、そのような画像データのエンコードおよびデコードに関わるコーデックは、SDRディスプレイのために最適化されたVDRコーデックと記される。
BL画像データは、画像データ入力からのより高いビット深さ(たとえば色成分当たり12ビット以上)のHDR源画像から導出されるより低いビット深さ(たとえば色成分当たり8ビット)のSDR画像を含んでいてもよい。BL画像データ中にエンコードされるSDR画像は典型的には、SDR画像が比較的狭いまたは標準ダイナミックレンジの範囲内でできる限りリアルに見えるようカラリストによる色補正〔カラー・コレクション〕を含んでいる。たとえば、標準ダイナミックレンジの範囲内でリアルに見える画像を作り出すために、入力HDR画像中のピクセルの一部または全部に関係した色相情報がSDR画像において変更または補正されていてもよい。これらの色補正は、さまざまな色チャネルにおける非対称的なクリッピングにつながり、特にHDR源画像の比較的露出不足または露出過剰な領域において手動の色変更(manual color alterations)を導入する。色補正されたSDR画像により、SDRディスプレイはHDR源画像の暗い領域やハイライトにおける画像詳細を示すことができることがある。
クリッピングは、結果として得られるピクセル値が目標表現範囲内になるよう色チャネルにおける限界外のピクセル値を変更/修正する色交替の型である。(目標表現範囲は、特定の型のSDRディスプレイによってサポートされる範囲内、あるいは一連のSDRディスプレイによってサポートされる範囲内、あるいは一連のVDRディスプレイによってサポートされる範囲内などのものであってもよい。)クリッピングは、色チャネルのうちのゼロ個、一個または複数において生じうる(たとえば、HDR画像のある部分におけるRGB色空間のR、G、Bピクセル値がトーン・マッピングされた画像においてクリッピングされていることがありうる)。クリッピングの量は、色チャネルによって変わることも、変わらないこともある(たとえば、緑についてはより多くのクリッピング、青についてはより少ないクリッピングなど)。
SDR画像に導入されるクリッピングのような色補正のため、SDR画像は、その対応するVDR画像とは異なる、独立した源の画像内容を含むことになり、そのような色補正は、高ダイナミックレンジ画像を再構成するために下流の装置によって除去することが、込み入った処理および十分大きなビットレートなしには難しく、さらには不可能となる。画像データを下流の装置に伝送するために複数の層が使われる場合、色補正の逆を行なうことは、大量の追加的な画像データがたとえば向上層において下流の装置に伝送されることを要求することがありうる。
上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。
本発明は、限定ではなく例として、付属の図面の図において例示される。図面において、同様の参照符号は同様の要素を指す。
ある例示的な実施形態に基づく、ベースライン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の左半分である。 ある例示的な実施形態に基づく、ベースライン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の右半分である。 ある例示的な実施形態に基づく、メイン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の左半分である。 ある例示的な実施形態に基づく、メイン・プロファイルにおける視覚的ダイナミックレンジ・コーデック・アーキテクチャを示す図の右半分である。 ある例示的な実施形態に基づく、YCbCr色空間において適応されるシーン適応性のダイナミックレンジ調整量子化を示す図である。 AおよびBは、本発明の例示的な実施形態に基づく、例示的なプロセス・フローを示す図である。 本発明のある実施形態に基づく、本稿に記載されるコンピュータまたはコンピューティング装置が実装されうる例示的なハードウェア・プラットフォームを示す図である。 本発明のある実施形態に基づく、遷移シーケンスを検出し、二つの量子化方式の間で選択をするための例示的なフローを示す図である。
階層式VDRコーデックを使って可変ダイナミックレンジ画像をエンコード、デコードおよび表現することに関する例示的な実施形態が本稿で記述される。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に隠蔽し、埋没させ、あるいは曖昧にするのを避けるために、網羅的な詳細さでは記述されない。
例示的な実施形態は、以下のアウトラインに従って本稿で記載される。
1.概観
2.階層式ビデオ送達
2.1 ベースライン・プロファイル
2.3 メイン・プロファイル
3.高度量子化
4.線形伸張
5.例示的な処理フロー
6.適応的なダイナミックレンジ調整
7.実装機構――ハードウェアの概観
8.等価物、拡張、代替その他
〈1.概観〉
この概観は、本発明のある例示的な実施形態のいくつかの側面の基本的な記述を提示する。この概観はその例示的な実施形態の包括的ないし網羅的な要約ではないことは注意しておくべきである。さらに、この概観は、その例示的な実施形態の何らかの特に有意な側面もしくは要素を特定するものと理解されることも、一般には本発明の、特にその例示的な実施形態の何らかの範囲を画定するものと理解されることも、意図されていない。この概観は単に、その例示的な実施形態に関係するいくつかの概念を凝縮された単純化された形式で提示するものであり、単に後続の例示的な諸実施形態のより詳細な説明への概念的な導入部として理解されるべきである。
いくつかの実施形態では、階層式VDRコーデックは、圧縮されたVDR画像(たとえばビデオ画像)をVDR画像処理装置(たとえばVDRディスプレイ)に与えるために使用されてもよい。本稿での用法では、「階層式VDRコーデック」という用語は、SDRディスプレイ上で基本層がそれ自身として閲覧されないことがあるVDRコーデックを指しうる。本稿での用法では、用語「VDR」または「視覚的ダイナミックレンジ」は、標準的なダイナミックレンジより広いダイナミックレンジを指すことがあり、人間の視覚がある瞬間において知覚できる瞬時知覚可能なダイナミックレンジおよび色範囲までの広いダイナミックレンジを含みうるが、それに限られない。
より高いビット深さ(たとえば12+ビット)のVDR画像をサポートする本稿に記載される階層式VDRコーデックは、複数の層における二つ以上のより低いビット深さ(たとえば8ビット)のコーデックをもって実装されてもよい。それら複数の層は基本層および一つまたは複数の向上層を含む。
他の技法とは対照的に、本稿に記載される技法のもとでの基本層画像データは、SDRディスプレイ上での最適化された閲覧をサポートしたり、標準ダイナミックレンジ内での人間の知覚に合致してSDR画像ができるだけ良好に見えるようにするものではない。その代わり、本稿に記載される技法のもとでの基本層画像データは、VDR画像データのより低いビット深さのバージョンの特定の構成(constitution)を含み、基本層ともとのVDR画像との間の残りの差は向上層において担持される。
また、他の技法のもとでは、同じ源画像に関係するVDR画像データおよびSDR画像データは異なる画像内容を含む。たとえば、エンコーダへの入力SDR画像データは、エンコーダにとって入力VDR画像データからはわからないまたは決定可能でないアドホックな独立な変更を含んでいる。しばしば、カラリストによる色補正(color correction)またはカラー・グレーディング(color grading)は、SDR画像データがたとえばカラリストによってすでに変更されたあとにSDR画像データをVDR画像と比較することによって、法科学的に(forensically)解析される必要がある。
これとは対照的に、本稿に記載される技法のもとでは、VDR画像データは、階層的な分解(hierarchical decomposition)、たとえば高度量子化(advanced quantization)に続く層構成の符号化(layered coding)を介して基本層(BL)画像データを導出するために使用されうる。高度量子化において適用される個別的な方法は既知であり、階層式VDRエンコーダによって合目的的に選択されさえする。高度量子化を実行するための特定の高度量子化器の選択/決定は、たとえば、VDRデコーダ側において再構成されるVDR画像の画像品質がどうでありうるかに基づいていてもよい。よって、本稿に記載される技法のもとでの高度量子化は、本稿に記載される階層式VDRコーデックによって事前に(たとえば基本層処理への入力の未圧縮の基本層データが生成される前に)知られており、制御され、実装される一つまたは複数の動作である。よって、VDR画像データと他の技法のもとで独立して変更または生成されているSDR画像データとの間の差を決定するための複雑な解析は、本稿に記載される技法のもとでは回避されるまたは無効にされることができる。
本稿に記載される技法を実装するコーデックは、基本層(BL)画像データともとの入力VDR画像データとの間の統計的な冗長性をフルに活用する層間予測機能を含むよう構成されていてもよい。EL画像データは、異なる層の画像データにおける統計的な冗長性を活用することなく大量のVDR画像データを担持するのではなく、残差(または差分)画像データを(可能性としてはそれだけを)担持していてもよい。
いくつかの実施形態では、向上層において担持されるべきVDR画像データの量をさらに最小化するために、予測が使用されてもよい。高度な階層式VDRエンコーダの特定の応用として、階層式VDRエンコーダによって、高度量子化と予測との間に対応関係が確立されてもよい。入力の未圧縮基本層データを導出するために使われた高度量子化の基本層処理への特定の適用に基づいて、階層式VDRエンコーダは、複数の利用可能な予測方法の間で特定の対応する予測方法を選択してもよい。一例では、高度量子化において線形量子化が使用される場合、一次多項式に基づく予測方法が予測のために使用されてもよい。もう一つの例では、高度量子化において量子化曲線(たとえばシグモイド曲線、μ則、人間知覚ベースの曲線など)が使用される場合、量子化曲線に対応する高次(二次以上)多項式ベースの予測方法が予測のために使用されてもよい。もう一つの例では、高度量子化において色横断(cross-color)(ベクトル)チャネル量子化(たとえば、一次カラー・グレーディング処理において使われた傾き/オフセット/パワー/色相/彩度)が使われる場合、対応する色横断チャネル予測が予測のために使われてもよい。さらにもう一つの例では、高度量子化において区分ごとの量子化が使われる場合、区分ごとの量子化に対応する予測方法が予測のために使われてもよい。対応する予測方法は、事前構成設定されていても、あるいは階層式VDRエンコーダによって動的に選択されてもよい。階層式VDRエンコーダは、前もって(たとえば高度量子化の結果を解析することなく)、高度量子化においてたとえば線形量子化、曲線による量子化、色横断チャネル量子化、区分ごとの量子化、ルックアップテーブル(LUT)ベースの量子化、異なる型の量子化の特定の組み合わせなどが使われているか、およびそれらのうちどの特定の型が使われているかを知っているからである。
対照的に、カラリストによってなされるような基本層における入力SDR画像データへの色補正が独立に実行される他の技法のもとでは、基本層における入力SDR画像データおよび入力VDR画像データ両方の独立して異なる画像内容に対する高価な比較および解析なしには、予測のためにどの方法が適用されるべきかを決定することは困難である。
このように、いくつかの実施形態では、VDRおよび独立して変更された入力基本層の内容における差を決定するための(たとえば予測動作における)複雑で高価な解析が、本稿に記載される技法のもとでは無効にされ、あるいは回避されることができる。階層式VDRコーデックは高度量子化および該高度量子化を予測と相関させる処理論理を実装してもよい。
いくつかの実施形態では、階層式VDRコーデックはSDRディスプレイにおいて閲覧するために最適化された基本層画像データを与えるよう設計されていないものの、階層式VDRコーデックはそれでも、基本層最適化のあるVDRコーデック内の諸コンポーネントを広範に再利用してもよい。ある実施形態では、階層式VDRエンコーダは、入力VDR画像データから高度量子化を介して基本層処理への入力基本層画像を生成するために、SDRディスプレイのために最適化されたVDRコーデック・インフラストラクチャーに一つまたは複数のモジュールを追加したり、あるいは該インフラストラクチャーの一つまたは複数のモジュールを修正したりしてもよい。このように、階層式VDRエンコーダは、VDRのための画像内容の一つの入力およびSDRのための異なる画像内容のもう一つの入力というのではなく、入力VDR画像データからの画像内容の単一の入力を必要とするだけでありうる。たとえば、階層式VDRエンコーダにおける変換モジュールは、入力の16ビットRGB VDRデータを、基本層処理への入力基本層画像データとしての8ビットYCbCrに変換するために高度量子化を実装してもよい。
ある例示的な実施形態では、階層式のVDRコーデックは、たとえば業界標準、独自仕様、業界標準からの拡張またはそれらの組み合わせにおいて定義されるVDR参照処理シンタックス、仕様および符号化アーキテクチャを広範にサポートするよう構成されていてもよい。ある例示的な実施形態では、階層式VDRコーデック(エンコーダおよび/またはデコーダ)の入力および出力の一つまたは複数は、SDRディスプレイのために最適化されたVDRコーデックのためのVDR仕様またはプロファイルによって規定されるものと同じまたは実質的に同様である。階層式VDRコーデックは、二つの(安価な)8ビット・デコーダを介して12+ビットVDR画像を処理およびレンダリングするための媒体であってもよく、VDR画像についての知覚的に同様の画質を与えるために高価な12+ビット・デコーダを使う必要をなくす。本稿での用法では、「N+ビット画像」という用語は、色成分当たりNビット以上を使って表現され、少なくとも一つの色成分をもつ画像を指しうる。いくつかの実施形態では、コーデックにおける二つ以上のより低いビット深さのデコーダおよび/または二つ以上のより低いビット深さのエンコーダが、少なくともいくつかの動作について並列に作業してもよく、装置内において合同してVDR画像データのエンコードおよびデコードを実行してもよい。
本稿に記載される実施形態の実際上の恩恵は、最終的なVDR品質のみを気にかけ、基本層画像データから構築されうるSDRバージョンは見もしない最終消費者に高品質のVDR画像データを提供することを含むが、それのみに限られない。
いくつかの実施形態では、複合コーデック(これはVDRエンコーダまたはVDRデコーダでありうる)が複数のモードで動作するために使用されてもよい。複合コーデックのための動作モードの一つは、複合コーデックを階層式VDRコーデックとして動作させるよう構成してもよく、複合コーデックのための動作モードの異なる一つはSDRディスプレイ上で見るのに好適な基本層をエンコードすることをも許容してもよい。結果として、いくつかの例示的な実施形態では、VDR仕様のいずれかに準拠する符号化されたビットストリームが、複合VDRデコーダによって適正にデコードされうる。結果として、いくつかの例示的な実施形態では、VDR仕様のいずれかに準拠する符号化されたビットストリームが、複合VDRエンコーダによって適正に生成されうる。
いくつかの例示的な実施形態では、他のアプリケーションのために必要とされるデータも、上流の装置から下流の装置に送達されるよう基本層および向上層の画像データとともに含められてもよい。いくつかの例示的な実施形態では、追加的な特徴および/または直交する(orthogonal)特徴が、本稿に記載される基本層および向上層によってサポートされてもよい。
いくつかの例示的な実施形態では、本稿に記載される機構はメディア処理システムの一部をなす。メディア処理システムは、ハンドヘルド装置、ゲーム機、テレビジョン、ラップトップ・コンピュータ、ネットブック・コンピュータ、タブレット・コンピュータ、セルラー無線電話、電子書籍リーダー、ポイントオブセール端末、デスクトップ・コンピュータ、コンピュータ・ワークステーション、コンピュータ・キオスクまたは他のさまざまな種類の端末およびメディア処理ユニットのうちの任意のものを含むがこれに限定されない。
本稿に記載される好ましい実施形態および一般的な原理および特徴に対するさまざまな修正が当業者にはすぐに明白となるであろう。よって、開示は示される実施形態に限定されることは意図されておらず、本稿に記載される原理および特徴と整合する最も広い範囲を与えられるべきものである。
〈2.階層式ビデオ送達〉
いくつかの実施形態では、基本層および一つまたは複数の向上層が、たとえば上流の装置(たとえば図1のVDR画像エンコーダ102または図2のVDR画像エンコーダ202)によって、画像データを一つまたは複数のビデオ信号(または符号化されたビットストリーム)において下流の装置(たとえば図1のVDR画像デコーダ150)に送達するために使用されてもよい。画像データは、より高いビット深さ(たとえば12+ビット)のVDR画像から量子化されて、基本層画像コンテナ(YCbCr 4:2:0画像コンテナ)において担持される、より低いビット深さの基本層画像データと、VDR画像と前記基本層画像データから生成される予測フレームとの間の残差値を含む向上層画像データとを含んでいてもよい。基本層画像データおよび向上層画像データは、下流の装置によって受領され、VDR画像のより高いビット深さ(12+ビット)のバージョンを再構成するために使用されてもよい。
いくつかの実施形態では、基本層画像データはSDRディスプレイ上で見るために最適化されたSDR画像を生成するためではなく、基本層画像データは、向上層画像データと一緒になって、VDRディスプレイ上で見るための高品質のVDR画像を再構成するために最適化されている。
〈2.1 ベースライン・プロファイル〉
図1は、ある例示的な実施形態に基づくベースライン・プロファイルにおけるVDRコーデック・アーキテクチャを示している。本稿での用法では、用語ベースライン・プロファイルは、VDR符号化システムにおける最も単純なエンコーダ・プロファイルを指しうる。ある実施形態では、ベースライン・プロファイルは基本および向上符号化層におけるすべてのビデオ処理をYCbCr 4:2:0に制約する。ある例示的な実施形態では、予測は4:2:0サンプリング方式のもとでYCbCr空間を用いてなされてもよく、たとえば多項式/1D LUT予測方法が予測のために使用されてもよい。いくつかの実施形態では、VDR画像データを下流の装置に送達する上流の装置が本稿に記載される一つまたは複数の技法を実装するVDR画像エンコーダ102を有していてもよく、一方、VDR画像エンコーダ102からビデオ信号を受領し、処理する下流の装置が本稿に記載される一つまたは複数の技法を実装するVDR画像デコーダ150を有していてもよい。VDR画像エンコーダ102およびVDR画像デコーダ150のそれぞれは、一つまたは複数のコンピューティング装置によって実装されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(102)は入力VDR画像(106)を受領するよう構成されている。本稿での用法では、「入力VDR画像」は、該入力VDR画像を生じさせる、源画像のVDRバージョンを導出するために使用されうる広または高ダイナミックレンジ画像データを指しうる(たとえば、ハイエンドの画像取得装置によって捕捉された生の画像など)。入力VDR画像は高ダイナミックレンジ色範囲をサポートする任意の色空間にあってもよい。いくつかの実施形態では、入力VDR画像(106)は、VDR画像エンコーダ(102)がエンコードするために画像データを提供する、源画像に関する唯一の入力であり、本稿に記載される技法のもとでの基本層処理のための前記源画像に関する入力画像データは、高度量子化を使って入力VDR画像(106)に基づいて生成されうる。
ある例示的な実施形態では、入力VDR画像は、図1に示されるように、RGB色空間における12+ビットのRGB画像である。一例では、入力VDR画像において表現されている各ピクセルは、色空間(たとえばRGB色空間)について定義されているすべてのチャネル(たとえば赤、緑および青の色チャネル)についてピクセル値を含む。各ピクセルは任意的および/または代替的に、色空間におけるチャネルの一つまたは複数について、アップサンプリングまたはダウンサンプリングされたピクセル値を含んでいてもよい。いくつかの実施形態では、赤、緑、青のような三原色に加えて、たとえば広い色範囲をサポートするために、本稿で記載されるように、色空間において異なる原色が並行して使用されてもよい。そうした実施形態では、本稿に記載されるような画像データはそれらの異なる原色についての追加的なピクセル値を含み、本稿に記載される技法によって並行して処理されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(102)は、入力VDR画像のピクセル値を第一の色空間(たとえばRGB色空間)から第二の色空間(たとえばYCbCr色空間)に変換するよう構成されている。色空間変換はたとえば、VDR画像エンコーダ(102)においてRGB-2-YCbCrユニット(108)によって実行されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(102)またはその中のダウンサンプリング器(たとえば444-420ダウンサンプリング器110)は、YCbCr色空間におけるVDR画像(たとえば4:4:4サンプリング・フォーマットになっている)をダウンサンプリングして12+ビットのダウンサンプリングされたVDR画像112(たとえば4:2:0サンプリング・フォーマット)にするよう構成されている。圧縮の効果を考えなければ、12ビット+のダウンサンプリングされたVDR画像(112)のクロマ・チャネルにおける画像データの総量は、12ビット+のダウンサンプリングされたVDR画像(112)のルミナンス・チャネルにおける画像データの総量の四分の一のサイズでありうる。
ある例示的な実施形態では、VDR画像エンコーダ(102)は、VDR画像(4:4:4サンプリング・フォーマット)からダウンサンプリングされたYCbCr画像データ(今の例では4:2:0サンプリング・フォーマットになっている)に対して高度量子化を実行して、YCbCr色空間における8ビットBL画像(114)を生成するよう構成されている。図1に示されるように、12+ビットVDR画像(112)および8ビットBL画像(114)はいずれも、同じクロマ・ダウンサンプリング後に生成され、よって同じ画像内容を含む(たとえば、8ビットBL画像114が12+ビットVDR画像112より粗く量子化されている)。
ある例示的な実施形態では、VDR画像エンコーダ(102)またはその中の第一のエンコーダ(116−1)は、YCbCr色空間内の8ビットBL画像(214)をエンコード/フォーマットして4:2:0サンプリング・フォーマットの基本層画像コンテナ中の画像データにするよう構成されていてもよい。いくつかの実施形態では、基本層画像コンテナ中の画像データは、SDRディスプレイ上で見るために最適化されたSDR画像を生成するためではなく、基本層画像コンテナ中の画像データは、VDRディスプレイのために最適化されたVDR画像に再構成されるべき複数層において担持されるべきVDR画像データのための全体的なビット要求を最小限にする目的で、より低いビット深さの画像コンテナ中の基本層画像データの最適な量を含むように最適化される。本稿での用法では、「より低いビット深さ」は、該より低いビット深さをもつ符号化空間において量子化された画像データを指す。より低いビット深さの一例は8ビットである。一方、「より高いビット深さ」は、該より高いビット深さをもつ符号化空間において量子化された画像データを指す。より高いビット深さの一例は12ビット以上である。特に、「より低いビット深さ」または「より高いビット深さ」の用語は、ピクセル値の下位ビットまたは上位ビットを指すのではない。
ある例示的な実施形態では、VDR画像エンコーダ(102)は、基本層画像コンテナ中の画像データに基づいて、基本層ビデオ信号を生成し、この基本層ビデオ信号が下流の装置内のビデオ・デコーダ(たとえばVDR画像デコーダ150またはその中の第一のデコーダ152−1)に対して出力されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(102)中のデコーダ(120)は基本層画像コンテナ中の画像データをデコードして、今の例では4:2:0サンプリング・フォーマットの、デコードされた基本層画像にする。デコードされた基本層画像は8ビットBL画像(114)とは異なっている。デコードされた基本層画像は、第一のエンコーダ(116−1)およびデコーダ(120)によって実行されたエンコードおよびデコード動作において導入された符号化変化、丸め誤差および近似を含んでいるからである。
基本層ビデオ信号に含まれるものに加えて、VDR画像再構成データがVDR画像エンコーダによって下流の装置に、基本層とは別個の一つまたは複数の向上層において送達されてもよい。いくつかの実施形態では、YCbCr色空間におけるより高いビット深さのVDR画像(112)が、同じ画像フレームにおける近隣のサンプルから(イントラ予測を使って)、あるいは同じ層に属し、予測画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから(インター予測)、予測されてもよい。層間予測は、少なくとも部分的に他の層(たとえば基本層)からのデコードされた情報にも基づいていてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(102)は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット(122)を有する。予測処理ユニット(たとえば122)によって実装される予測は、VDRビデオ・デコーダ(たとえば図1の150)によってVDR画像を再構成する際のオーバーヘッドを軽減しうる。ある例示的な実施形態では、VDR画像エンコーダ(102)は、少なくとも部分的には12+ビットVDR画像(112)およびデコードされた基本層画像に基づいて、イントラまたはインター予測(もしくは推定または他の方法)を通じて予測のための一組のマッピング・パラメータ(134)を決定するよう構成されている。予測処理ユニット(122)は該一組のマッピング・パラメータ(134)およびデコードされた基本層画像に基づいてYCbCr色空間内の12+ビット予測画像を生成してもよい。本稿での用法では、マッピング・パラメータの例は、予測のために使用される多項式パラメータを含んでいてもよいが、これのみには限られない。
ある例示的な実施形態では、VDR画像エンコーダ(102)は、12+ビットVDR画像(112)と予測処理ユニット(122)によって生成された予測画像との間の残差値(130)を生成するよう構成されている。ある色チャネル(たとえばルミナンス・チャネル)における残差値は、線形または対数領域における減算演算(たとえば126)によって生成される差であってもよい。代替的および/または任意的に、ある色チャネル(たとえばルミナンス・チャネル)における残差値は、線形または対数領域における除算演算によって生成される比であってもよい。さまざまな例示的な実施形態において、一つまたは複数の他の数学的表現および対応する演算が、12+ビットVDR画像(112)と予測画像との間の残差値(130)を生成する目的のために使用されてもよい。
ある実施形態では、高度量子化(または擬似カラー・グレーディング・プロセス)によって導入される相違のほかは、12+ビットVDR画像(112)と8ビットBL画像(114)は同じ画像内容を含む。ある実施形態では、12+ビットVDR画像(112)は、高度量子化(または擬似カラー・グレーディング・プロセス)によって導入される量子化ノイズまたは相違のほかは、8ビットBL画像(114)と同じクロマ情報を含む。ある実施形態では、12+ビット画像(112)における中間トーン(midtone)および暗い領域は、高度量子化のもとで、基本層においてエンコードされてもよく、一方、12+ビット画像(112)におけるハイライト領域は、同じ高度量子化のもとで、向上層においてエンコードされてもよい。
追加的および/または任意的に、8ビットBL画像(114)から予測画像への処理経路における第一のエンコード・ユニット(116−1)、デコード・ユニット(120)または予測処理ユニット(122)によって、色補正/変更/歪み(たとえばクリッピング)が基本層処理のみに導入されることはない。ある例示的な実施形態では、予測画像は、処理経路に本来的に存在していることがありうる可能な歪み(たとえば基本層コーデックによって引き起こされる基本層歪み)のほかは、8ビットBL画像(114)と同じクロマ情報を含む。
ある例示的な実施形態では、VDR画像エンコーダ(102)内の非線形量子化器(NLQ: non-linear quantizer)128が一つまたは複数のNLQパラメータを使って、12+ビット・デジタル表現中の残差値(130)を量子化して8ビット・デジタル表現(またはYCbCr色空間における8ビット残差値)にするよう構成されている。
ある例示的な実施形態では、VDR画像エンコーダ(102)またはその中の第二のエンコーダ(116−2)は、たとえば4:2:0サンプリング・フォーマットにおいて、向上層画像コンテナ中の8ビット残差値をエンコードするよう構成されている。向上層画像コンテナは論理的に、基本層における基本層画像コンテナとは別個である。
ある例示的な実施形態では、VDR画像エンコーダ(102)は、向上層画像コンテナ中の8ビット残差値に基づいて、向上層ビデオ信号を生成する。該向上層ビデオ信号はビデオ・デコーダ(たとえばVDR画像デコーダ150またはその中の第二のデコーダ152−2)に出力されてもよい。
ある例示的な実施形態では、前記一組のマッピング・パラメータ(134)およびNLQパラメータ(132)は補足向上情報(SEI: supplemental enhancement information)またはビデオ・ビットストリームにおいて(たとえば向上層において)利用可能な他の同様のメタデータ担体の一部として、下流の装置(たとえばVDR画像デコーダ150)に伝送されてもよい。
第一のエンコーダ(116−1)、第二のエンコーダ(116−2)およびデコーダ(120)(および152−1、152−2)のうちの一つまたは複数は、H.264/AVC/HEVC、MPEG-2、VP8、VC-1および/またはその他のような複数のコーデックのうちの一つまたは複数を使って実装されてもよい。
ある例示的な実施形態では、VDR画像デコーダ(150)は、基本層および一つまたは複数の向上層を含む複数の層(または複数のビットストリーム)において入力ビデオ信号を受領するよう構成されている。本稿での用法では、「多層」または「複数の層」の用語は、(ビデオ信号)相互の間で一つまたは複数の論理的な依存関係をもつビデオまたは画像信号を担持する二つ以上のビットストリームを指しうる。
ある例示的な実施形態では、VDR画像デコーダ(150)内の第一のデコーダ(152−1)は、基本層ビデオ信号に基づいて、デコードされた基本層画像を生成するよう構成されている。いくつかの実施形態では、VDR画像デコーダ(150)内の第一のデコーダ(152−1)は、VDR画像デコーダ(102)内のデコーダ(120)と同じまたは実質的に同様であってもよい。同様に、VDR画像デコーダ(150)内のデコードされた基本層画像および前記デコードされた基本層画像は、それらのデコードされた基本層画像が同じVDR画像(たとえば106)を源とする限り、同じまたは実質的に同様であってもよい。
ある例示的な実施形態では、VDRビデオ・デコーダ(150)は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット(158)を有する。予測処理ユニットによって実装される予測は、VDRビデオ・デコーダ(たとえば図1の150)においてVDR画像を効率的に再構成するために使用されてもよい。予測処理ユニット(158)は前記一組のマッピング・パラメータ(134)を受領し、少なくとも部分的には前記一組のマッピング・パラメータ(134)およびデコードされた基本層画像に基づいて、12+ビット予測画像を生成するよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(150)内の第二のデコーダ(152−2)が、一つまたは複数の向上ビデオ信号に基づいて、向上層画像コンテナ内の8ビット残差値を取り出すよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(150)内の非線形量子化解除器(NLdQ: non-linear dequantizer)154が向上層を通じて一つまたは複数のNLQパラメータを受領し、前記一つまたは複数のNLQパラメータを使って8ビット残差値を量子化解除して12+ビット・デジタル表現(またはYCbCr色空間における12+ビット残差値)にするよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(150)は、12+ビット残差値(130)および予測処理ユニット(158)によって生成された12+ビット予測画像に基づいて、再構成されたVDR画像(160)を生成するよう構成されている。ある色チャネル(たとえばルミナンス・チャネル)における再構成されたピクセル値は、線形または対数領域における加算演算(たとえば162)によって生成される和であってもよい。代替的および/または任意的に、ある色チャネル(たとえばルミナンス・チャネル)における再構成された値は、線形または対数領域における乗算演算によって生成される積であってもよい。さまざまな例示的な実施形態において、一つまたは複数の他の数学的表現および対応する演算が、残差値および予測画像から再構成されたピクセル値(160)を生成する目的のために使用されてもよい。
〈2.3 メイン・プロファイル〉
図2は、ある例示的な実施形態に基づくメイン・プロファイルにおけるVDRコーデック・アーキテクチャを示している。本稿での用法では、用語メイン・プロファイルは、VDR符号化システムにおけるベースライン・プロファイルより高い複雑さを許容するプロファイルを指しうる。たとえば、メイン・プロファイルはYCbCrまたはRGB色空間の両方における動作を許容してもよく、4:2:0、4:2:2および4:4:4を含む多様なサブサンプリング・フォーマットにおける動作を許容してもよい。ある例示的な実施形態では、予測は4:4:4サンプリング方式のもとでRGB色空間においてなされてもよく、たとえば多項式/1D LUT予測方法が予測のために使用されてもよい。いくつかの実施形態では、VDR画像データを下流の装置に送達する上流の装置が図2に示されるVDR画像エンコーダ202を有していてもよく、一方、VDR画像データを受領し、処理する下流の装置がVDR画像デコーダ250を有していてもよい。VDR画像エンコーダ202およびVDR画像デコーダ250のそれぞれは、一つまたは複数のコンピューティング装置によって実装されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(202)は入力VDR画像(206)を受領するよう構成されている。入力VDR画像(206)は高ダイナミックレンジ色範囲をサポートする任意の色空間にあってもよい。
ある例示的な実施形態では、入力VDR画像は、図2に示されるように、RGB色空間における12+ビットのRGB画像である。一例では、入力VDR画像における各ピクセルは、RGB色空間において定義されている赤、緑および青の色チャネルについてピクセル値を含む。各ピクセルは任意的および/または代替的に、色空間におけるチャネルの一つまたは複数について、アップサンプリングまたはダウンサンプリングされたピクセル値を含んでいてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(202)は、VDR画像206(今の例では4:4:4サンプリング・フォーマットになっている)内の12+ビットRGB画像データに対して高度量子化を実行して、8ビットRGB VDRデータを生成するよう構成されている。
ある例示的な実施形態では、VDR画像エンコーダ(202)は、その8ビットRGB VDRデータを第一の色空間(今の例ではRGB色空間)から第二の色空間(たとえばYCbCr色空間)に変換するよう構成されている。色空間変換はたとえば、VDR画像エンコーダ(202)内のRGB-2-YCbCrユニット(208)によって実行されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(202)またはその中のダウンサンプリング器(たとえば444-420ダウンサンプリング器210)は、YCbCr色空間における8ビットVDRデータをダウンサンプリングして8ビットのダウンサンプリングされたBL画像214(たとえば4:2:0サンプリング・フォーマット)にするよう構成されている。
ある例示的な実施形態では、VDR画像エンコーダ(202)またはその中の第一のエンコーダ(216−1)は、8ビットのダウンサンプリングされたBL画像(214)をエンコードして基本層画像コンテナ中の画像データにするよう構成されている。ある例示的な実施形態では、基本層画像コンテナ中の画像データは、SDRディスプレイ上で見るために最適化されているのではなく、基本層画像コンテナ中の画像データは、前記より高いビット深さのVDR画像データをより低いビット深さの画像コンテナにおいて表現するための再構成可能な情報の最大量を含むとともに、向上層において担持される必要のあるVDR画像再構成データ(たとえば残差値230)の量を最小限にするように最適化される。
ある例示的な実施形態では、VDR画像エンコーダ(202)は、基本層画像コンテナ中の画像データに基づいて、基本層ビデオ信号を生成し、この基本層ビデオ信号が下流の装置内のビデオ・デコーダ(たとえばVDR画像デコーダ250またはその中の第一のデコーダ252−1)に対して出力されてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(202)中のデコーダ(220)は基本層画像コンテナ中の画像データをデコードして、今の例では4:2:0サンプリング・フォーマットの、デコードされた基本層画像にする。デコードされた基本層画像は8ビットBL画像(214)とは異なっている。デコードされた基本層画像は、第一のエンコーダ(216−1)およびデコーダ(220)によって実行されたエンコードおよびデコード動作において導入された丸め誤差および近似のような変化および誤差を含んでいるからである。
基本層ビデオ信号に加えて、VDR画像再構成データがVDR画像エンコーダによって下流の装置に、基本層とは別個の一つまたは複数の向上層において送達されてもよい。RGB色空間におけるVDR画像(206)は、同じ画像フレームにおける近隣のサンプルから(イントラ予測を使って)、あるいは同じ層に属し、予測画像フレーム・バッファ内に動き補償された予測参照としてバッファリングされる過去のデコードされた画像フレームからのサンプルから(インター予測)、予測されてもよい。層間予測は、少なくとも部分的に他の層(たとえば基本層)からのデコードされた情報にも基づいていてもよい。
ある例示的な実施形態では、VDR画像エンコーダ(202)またはその中のアップサンプリング器(たとえば420-440アップサンプリング器212)は、4:2:0サンプリング・フォーマットのデコードされた基本層画像をアップサンプリングして8ビットのアップサンプリングされた画像データ(今の例では4:4:4サンプリング・フォーマット)にするよう構成されている。
ある例示的な実施形態では、VDR画像エンコーダ(202)またはその中のYCbCr-2-RGBユニット(たとえば236)は、8ビットのアップサンプリングされた画像データを非予測色空間(今の例ではYCbCr色空間)から予測色空間(たとえばRGB色空間)に変換するよう構成されている。
ある例示的な実施形態では、VDR画像エンコーダ(202)は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット(222)を有する。予測処理ユニット(たとえば222)によって実装される予測は、VDRビデオ・デコーダ(たとえば図2の250)によってVDR画像を再構成する際のオーバーヘッドを軽減しうる。ある例示的な実施形態では、VDR画像エンコーダ(202)は、少なくとも部分的には12+ビットVDR画像(206)および予測色空間に変換されたアップサンプリングされた画像データに基づいて、イントラまたはインター予測(もしくは推定または他の方法)を通じて、予測のための一組のマッピング・パラメータ(234)を決定するよう構成されている。予測処理ユニット(222)は該一組のマッピング・パラメータ(234)および予測色空間に変換されたアップサンプリングされた画像データに基づいてRGB色空間内の12+ビット予測画像を生成してもよい。
ある例示的な実施形態では、VDR画像エンコーダ(202)は、12+ビットVDR画像(206)と予測画像との間の残差値(230)を生成する(RGB)よう構成されている。ある色チャネル(たとえばGチャネル)における残差値は、線形または対数領域における減算演算(たとえば126)によって生成される差であってもよい。代替的および/または任意的に、ある色チャネル(たとえばGチャネル)における残差値は、線形または対数領域における除算演算によって生成される比であってもよい。さまざまな例示的な実施形態において、他の数学的表現および対応する演算/マッピング/関数が、12+ビットVDR画像(206)と予測画像との間の残差値(230)を生成する目的のために使用されてもよい。
ある実施形態では、高度量子化(または擬似カラー・グレーディング・プロセス)によって導入される量子化相違またはノイズのほかは、12+ビットVDR画像(206)は8ビットRGB VDRデータと同じクロマ情報を含む。ある実施形態では、12+ビットVDR画像(206)における中間トーン(midtone)および暗い領域は、高度量子化のもとで基本層においてエンコードされてもよく、一方、12+ビットVDR画像(206)におけるハイライト領域は、同じ高度量子化のもとで、向上層においてエンコードされてもよい。
ある例示的な実施形態では、8ビットRGB VDRデータから予測画像への処理経路におけるRGB-2-YCbCrユニット(208)、ダウンサンプリング器(210)、第一のエンコード・ユニット(216−1)、デコード・ユニット(220)、アップサンプリング器(212)、YCbCr-2-RGBユニット(236)または予測処理ユニット(222)によって、追加的な色補正/変更/歪み(たとえばクリッピング)が導入されることはない。ある例示的な実施形態では、予測画像は、処理経路に本来的に存在していることがありうる可能な歪み(たとえば基本層コーデックによって引き起こされる基本層歪みまたはダウンサンプリングおよびアップサンプリングにおけるクロマの再フォーマットからくる誤差)のほかは、8ビットRGB VDRデータと同じクロマ情報を含む。
ある例示的な実施形態では、VDR画像エンコーダ(202)内の444-420ダウンサンプリングおよび非線形量子化ユニット(444-to-420およびNLQ)228が、一つまたは複数のNLQパラメータを使って、残差値(230)をダウンサンプリングおよび量子化して、4:4:4サンプリング・フォーマットの12+ビット・デジタル表現から4:2:0サンプリング・フォーマットの8ビット・デジタル表現(または8ビットRGB残差値)にするよう構成されている。
ある例示的な実施形態では、VDR画像エンコーダ(202)またはその中の第二のエンコーダ(216−2)は、向上層画像コンテナ中の8ビット残差値をエンコードするよう構成されている。向上層画像コンテナは論理的に、基本層画像コンテナとは別個である。
ある例示的な実施形態では、VDR画像エンコーダ(202)は、向上層画像コンテナ中の8ビット残差値に基づいて、向上層ビデオ信号を生成する。該向上層ビデオ信号はビデオ・デコーダ(たとえばVDR画像デコーダ250またはその中の第二のデコーダ252−2)に出力されてもよい。
ある例示的な実施形態では、前記一組のマッピング・パラメータ(234)およびNLQパラメータ(232)は補足向上情報(SEI: supplemental enhancement information)またはビデオ・ビットストリームにおいて(たとえば向上層において)利用可能な他の同様のメタデータ担体の一部として、下流の装置(たとえばVDR画像デコーダ250)に伝送されてもよい。
第一のエンコーダ(216−1)、第二のエンコーダ(216−2)およびデコーダ(220)(252−1および252−2)のうちの一つまたは複数は、H.264/AVC/HEVC、MPEG-2、VP8、VC-1および/またはその他のような複数のコーデックのうちの一つまたは複数を使って実装されてもよい。
ある例示的な実施形態では、VDR画像デコーダ(250)は、基本層および一つまたは複数の向上層を含む複数の層(または複数のビットストリーム)において入力ビデオ信号を受領するよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(250)内の第一のデコーダ(252−1)は、基本層ビデオ信号に基づいて、デコードされた(YCbCr)基本層画像を生成するよう構成されている。いくつかの実施形態では、VDR画像デコーダ(250)内の第一のデコーダ(252−1)は、VDR画像デコーダ(202)内のデコーダ(220)と同じまたは実質的に同様であってもよい。同様に、VDR画像デコーダ(250)内のデコードされた基本層画像および前記デコードされた基本層画像は、それらのデコードされた基本層画像が同じVDR画像(たとえば206)を源とする限り、同じまたは実質的に同様であってもよい。
ある例示的な実施形態では、VDR画像デコーダ(250)またはその中のアップサンプリング器(たとえば444-420ダウンサンプリング器226)は、4:2:0サンプリング・フォーマットのデコードされた基本層画像をアップサンプリングして、今の例では4:4:4サンプリング・フォーマットの8ビットのアップサンプリングされた画像データにするよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(250)またはその中のRGB-2-YCbCrユニット(たとえば264)は、8ビットのアップサンプリングされた画像データを、非予測色空間(今の例ではYCbCr色空間)から予測色空間(たとえばRGB色空間)に変換するよう構成されている。
ある例示的な実施形態では、VDRビデオ・デコーダ(250)は、予測に関係する一つまたは複数の動作を実行する予測処理ユニット(258)を有する。予測処理ユニットによって実装される予測は、VDRビデオ・デコーダ(たとえば図2の250)においてVDR画像を効率的に再構成するために使用されてもよい。予測処理ユニット(258)は前記一組のマッピング・パラメータ(234)を受領し、少なくとも部分的には前記一組のマッピング・パラメータ(234)および予測色空間における8ビットのアップサンプリングされた画像データに基づいて、12+ビット予測画像を生成するよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(250)内の第二のデコーダ(252−2)が、一つまたは複数の向上ビデオ信号に基づいて、向上層画像コンテナ内の8ビット(RGB)残差値を取得するよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(250)内の非線形量子化解除器(NLdQ: non-linear dequantizer)254および420-to-440アップサンプリング器(268)が向上層を通じて一つまたは複数のNLQパラメータを受領し、前記一つまたは複数のNLQパラメータを使って4:2:0サンプリング・フォーマットの8ビット残差値を量子化解除およびアップサンプリングして4:4:4サンプリング・フォーマットの12+ビット・デジタル表現(またはRGB色空間における12+ビット残差値)にするよう構成されている。
ある例示的な実施形態では、VDR画像デコーダ(250)は、12+ビット残差値(230)および予測処理ユニット(258)によって生成された12+ビット予測画像に基づいて、再構成されたVDR画像(260)を生成するよう構成されている。ある色チャネル(たとえばGチャネル)における再構成されたピクセル値は、線形または対数領域における加算演算(たとえば262)によって生成される和であってもよい。代替的および/または任意的に、ある色チャネル(たとえばGチャネル)における再構成された値は、線形または対数領域における乗算演算によって生成される積であってもよい。さまざまな例示的な実施形態において、他の数学的表現および対応する演算/関数/マッピングが、残差値および予測画像から、再構成されたピクセル値(260)を生成する目的のために使用されてもよい。
追加的および/または任意的に、変換、量子化、エントロピー符号化、画像バッファリング、サンプル・フィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、多重分離、インターリーブ、アップスケーリング、ダウンスケーリング、動き補償、視差推定、視差補償、奥行き推定、奥行き補償、エンコード、デコードなどのうちの一つまたは複数が、本稿に記載されるビデオ・エンコーダまたはデコーダによって実行されてもよい。
〈3.高度量子化〉
いくつかの実施形態では、VDR画像エンコーダ(図1の102または図2の202)によって実行されるような高度量子化が、基本層においてできるだけ多くの画像詳細を取り込む/保持するよう設計される。これは、向上層ビデオ信号中にエンコードされる必要のある残差値(たとえば図1の130または図2の230)の量を最小にする。さらに、基本層において取り込まれる/保持される画像詳細は、VDR画像デコーダ(たとえば150)のような下流の装置によってVDR画像を効率的に再構成する際の支援となる。正確な画像詳細の存在は、それがなければ不可逆圧縮処理の際に生成/増幅される視覚的なアーチファクトを軽減/削減/除去する。
論じたように、他の技法によって生成される、SDRディスプレイのために最適化された基本層SDR画像とは異なり、本稿に記載される技法のもとでのデコードされた基本層画像はSDRディスプレイ上で見るためのものではない。むしろ、本稿に記載される技法のもとでのデコードされた基本層画像は、さらにVDR画像エンコーダにおいて残差値を生成するため、およびさらにVDR画像デコーダにおいてより高いビット深さのVDR画像を再構成するための中間画像データのはたらきをする。
本稿に記載される技法のもとでは、SDRディスプレイ上での最良の閲覧経験を生成するために設計されたカラー・グレーディング・プロセスは必要とされず、無効にされたり、あるいは回避されたりしてもよい。向上層処理経路および基本層処理経路における非対称的な(または異なる)クリッピングを引き起こす外部制御された、あるいはユーザー制御された色補正は回避されるか無効にされる。向上層および基本層の両方の処理経路におけるクリッピング・レベルは、本稿に記載される技法のもとでは、VDR画像エンコーダによって完全に制御される。基本層画像データにおいて色クリッピングされるピクセルは、向上層画像データにおいても色クリッピングされうる。
本稿に記載される技法は、基本層におけるSDR画像データおよび向上層におけるVDR画像データに関わる層間予測を含む予測のための計算量を軽減するために使用されてもよく、システム・オン・チップにフレンドリーである。たとえば、本稿に記載される予測プロセスは、本稿に記載されるような高度量子化(または擬似カラー・グレーディング)の逆として実装されてもよい。高度量子化は本稿に記載されるようなVDR画像エンコーダによって完全に制御されうるので、予測プロセスも完全に制御されうる。いくつかの実施形態では、クリッピング・レベルおよび色クリッピングのあるピクセルは、向上層処理経路および基本層処理経路において完全に制御されてもよく、それにより一次多項式マッピングのような計算効率のよい予測方法が、予測画像を生成および再構成するために十分となりうる。
ある例示的な実施形態では、線形量子化器を介して、より高いビット深さ(たとえば16ビット)のVDRデータが(たとえば図1および図2における)高度量子化において直接量子化されて、より低いビット深さ(8ビット)の基本層画像データにされる。
いくつかの例示的な実施形態では、一つまたは複数の線形または非線形量子化器がより高いビット深さ(たとえば12+ビット)の画像データを量子化してより低いビット深さ(たとえば8ビット)の画像データにするために使用されてもよい。異なる色空間および/または異なる色チャネルにおける異なる量子化器が選択されてもよい。たとえば、(たとえばなめらかな領域における)輪郭生成アーチファクトおよび他のアーチファクトを軽減/削減/除去するために、ビデオ信号は、異なる色空間においておよび/または異なる高度量子化方法を用いて、量子化されてもよい。いくつかの実施形態では、本稿に記載される高度量子化は、線計量子化;線形伸張、曲線ベースの/非一様な量子化;フレーム、複数フレーム、シーン、複数シーンまたはフレーム内の一つまたは複数の区画などについてのヒストグラムに基づく確率密度関数(Pdf: probability-density-function)最適化された量子化(たとえばロイド・マックス(Lloyd-Max)量子化);知覚的量子化;ベクトル量子化;上記の任意の組み合わせ(たとえば、知覚的量子化に続いて知覚的空間におけるPdf最適化された量子化)を含んでいてもよい。いくつかの実施形態では、特定の型の高度量子化は、予測方法の一つまたは複数の型と対応関係をもちうる。たとえば、一様量子化が高度量子化として適用されるときは、予測において使用される対応する型の予測方法は、一次多項式に基づいていてもよい。
量子化は、個々のチャネル・ベースで、あるいは二つ以上のチャネルに対して同時に実行されうる。ある例示的な実施形態では、ベクトル量子化が二つ以上の色チャネルを横断して実行されてもよい。たとえば、座標系(たとえば3Dデカルト)が色空間内の色チャネルを軸として使ってセットアップされてもよい。回転のような空間変換が座標系において実行されて、色空間における前記二つ以上の色チャネルの組み合わせ(または該色チャネルの投影の和)として定義される新たな軸を生成してもよい。投影されて新たな軸の一つをなす前記二つ以上の色チャネルにおけるピクセル値は、新たな軸のその一つに対する量子化器によって一緒に量子化されてもよい。
いくつかの実施形態では、個別的な高度量子化方法は、それが、VDRデコーダ側での圧縮された出力VDR画像データについて高い知覚的品質を維持しつつ、どのくらいよく出力多層VDR画像データを圧縮できるかに基づいて選択されてもよい。
いくつかの実施形態では、個別的な高度量子化方法は、コーデックの弱点を補償するよう選択されてもよい。たとえば、コーデックは黒い領域を圧縮する際の性能がよくないことがあり、再構成されたVDR画像において輪郭生成アーチファクトを出力することさえありうる。本稿に記載される高度量子化は、再構成されたVDR画像において可視の輪郭生成アーチファクトがより少ない画像データを生成するよう特定の曲線(たとえば、シグモイド曲線、μ則、人間の知覚に基づく曲線など)を使ってもよい。
本稿に記載される技法のもとでのVDRエンコーダは、VDRエンコーダによって処理されるべき画像内容についての唯一の入力として、入力VDR画像データを受けてもよい。該入力VDR画像データは向上層データ処理に与えられてもよいが、本稿に記載される基本層データ処理への入力画像データを生成するために、オンザフライで(たとえば入力VDRがVDRエンコーダに入力されるのと同じワイヤスピード(wire speed)で)実行されうる高度量子化が使われてもよい。
いくつかの実施形態では、本稿に記載される8ビット量子化ステップ(たとえば図1の128または図2の228)に先立って、ビデオ(たとえばVDR)信号がよりSDR信号のように見えるようにする変換があってもよい。H.264のような既存のエンコーダがSDR信号を処理するために適応されていることがありうるためである。よりSDR信号のように見えるようにするようVDR信号のダイナミックレンジを動かす多様な高度量子化技法が使用されうる。ある例示的な実施形態では、反転可能なカラー・グレーディング方法(たとえば傾き(Slope)+オフセット(Offset)+パワー(Power)+色相(Hue)+彩度(Saturation)またはSOP+HS)が、疎なデータを、目標とされる範囲に変換するために使用されてもよい。もう一つの例示的な実施形態では、ディスプレイ管理において使われるトーン・マッピング曲線が、よりSDR信号のように見えるようVDR信号を変換するために使われてもよい。ここで、用語「ディスプレイ管理」は、特定のディスプレイまたは特定の一連のディスプレイによってサポートされるダイナミックレンジにVDRビデオ信号を適応させるために実行される一つまたは複数の動作をいう。
本稿に記載される高度量子化は、一つまたは複数の異なる仕方で実行されうる。高度量子化は、フレーム全体またはシーン全体が単一の設定を使って量子化されるグローバル量子化を実行してもよい。高度量子化はまた、各フレームが複数の重なり合わない領域に区分され、各重なり合わない領域がその独自の設定を使って量子化される、パーティション・ベースの(ローカル)量子化を実行してもよい。高度量子化は、各フレームが複数の重なり合わない領域に区分され、各重なり合わない領域がその独自の設定を使って量子化されるが、特定の重なり合わない領域についての量子化設定は一つまたは複数の重なっている領域から導出される解析データに基づいて決定される、パーティション・ベースの(ローカル)量子化を実行してもよい。高度量子化は、一つまたは複数の異なる色空間の任意のものにおいて適用されうる。高度量子化が適用されうる色空間の例は、RGB色空間、YCbCr色空間、YCoCg色空間、ACES色空間または他の色空間のうちの任意のものを含むが、それのみに限られるのではない。
いくつかの実施形態では、量子化が適用される色空間は、予測が実行される色空間と同じに保たれる。これは、VDR画像エンコード・プロセスおよびVDR画像デコード・プロセスの両方においてそうであってもよい。画像レンダリングが行なわれる色空間が量子化が行なわれる色空間と異なる場合には、適宜色空間変換が実行されうる。
〈4.線形伸張〉
ある例示的な実施形態では、図1および図2ではYCbCr色空間で、図3またはRGB色空間で示されるように、シーン適応性のダイナミックレンジ調整量子化方法が高度量子化において適用されてもよい。ある考えているシーン内の色チャネルiにおける最大値をvi,maxと表わしてもよい。ある考えているシーン内の色チャネルiにおける最小値をvi,minと表わしてもよい。最小および最大によって定義される範囲および/または該範囲内のデータ点の分布が、画像内容に基づいて、フレームごとに、複数フレームごとに、シーンごとに、複数シーンごとに、プログラムごとに、などで変えられてもよい。
色チャネルiにおける処理すべきピクセル値はviと表わしてもよい。VDR(たとえばルミナンス)符号化空間が16ビット(すなわち図1および図2の12+ビット)の場合、次の式が成り立ちうる:
Figure 0005959607
シーン適応性のダイナミックレンジ調整量子化方法は、範囲〔レンジ〕全体[vi,min,vi,max]を8ビットYCbCr709標準範囲〔レンジ〕[si,min,si,max]に、次のようにマッピングする。
Figure 0005959607
ここで、siは、図1および図2に示される高度量子化によって生成される画像データ中の変換されたピクセル値を表わす。式(2)では、丸めround()演算が、出力が整数になることを保証する。丸めの次にクリッピング関数があってもよい。たとえば、負の値は0にクリッピングされてもよく、255より大きな正の値は255にクリッピングされてもよい。
図3に示されるように、シーン適応性のダイナミックレンジ調整量子化は、8ビットのダイナミックレンジ全体をフルに利用するよう使用されてもよい。図3における量子化レンジ対フレーム・インデックス図の横軸は、フレーム・インデックス変数を表わす。各フレームにおける、プロット302によって示される線形伸張についての最小値si,minは、そのフレームにおける、プロット304によって示される最小値vi,minと同じと設定されてもよい。しかしながら、各フレームにおける、プロット306によって示される線形伸張についての最大値si,maxは、そのフレームにおける、プロット308によって示される最大値vi,maxより小さくないように設定されてもよい。図3に描かれるように、フレーム2200において、(線形伸張符号化技法以外の)他の符号化技法のもとでは、最大値は約140である。対照的に、本稿に記載される線形伸張技法を使うと、フレーム2200についての最大値は約225に拡大される。このように、本稿に記載される線形伸張は、他の符号化技法に比してより多くの量子化ステップを提供し、よってよりよい解像度詳細を提供する。示されるように、線形伸張および他の技法の両方について、クリッピングはフレーム2400付近のフレームにおいて現われはじめ、フレーム2600まで続く。
〈5.例示的な処理フロー〉
図4のAは、本発明のある例示的な実施形態に基づく例示的な処理フローを示している。いくつかの例示的な実施形態では、一つまたは複数のコンピューティング装置またはコンポーネントがこの処理フローを実行してもよい。ブロック402では、多層VDRビデオ・エンコーダ(たとえば図1の102)が入力画像のシーケンス中の入力視覚的ダイナミックレンジ(VDR)画像を受領する。
ブロック404では、多層VDRビデオ・エンコーダ(102)は、一つまたは複数の利用可能な高度量子化方法のうちから特定の高度量子化方法を選択する。
ブロック406では、多層VDRビデオ・エンコーダ(102)は、その特定の高度量子化方法を入力VDR画像に適用して、入力基本層画像を生成する。ある例示的な実施形態では、入力VDR画像はより高いビット深さのVDR画像データを含んでおり、入力基本層画像はより低いビット深さのVDR画像データを含んでいる。
ブロック408では、多層VDRビデオ・エンコーダ(102)は入力基本層画像から導出された画像データを圧縮して基本層(BL)ビデオ信号にする。
ブロック410では、多層VDRビデオ・エンコーダ(102)は、入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層(EL)ビデオ信号にする。
ある例示的な実施形態では、多層VDRビデオ・エンコーダ(102)はBLビデオ信号から前記入力基本層画像に対応する基本層画像をデコードし;一つまたは複数の予測方法のうちから予測方法を選択し;その予測方法を使って、少なくとも部分的には前記基本層画像に基づいて予測画像を生成し;前記予測画像および前記入力VDR画像に基づいて残差値を生成し;前記残差値に非線形量子化を適用して出力EL画像データを生成し、前記残差値はより高いビット深さの値を含み、前記出力EL画像データはより低いビット深さの値を含み;前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号にする。
ある例示的な実施形態では、前記予測方法は、前記高度量子化方法と前記予測方法との間の対応関係に基づいて選択される。
ある例示的な実施形態では、前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数(Pdf)最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化、ベクトル量子化または他の型の量子化のうちの一つまたは複数を含む。
ある例示的な実施形態では、前記入力画像のシーケンスは第二の異なるVDR入力画像を含み;多層VDRビデオ・エンコーダ(102)は、前記一つまたは複数の利用可能な高度量子化方法のうちから第二の異なる特定の高度量子化方法を選択し;その第二の特定の高度量子化方法を前記第二の入力VDR画像に適用して、第二の入力基本層画像を生成し;前記第二の入力基本層画像から導出された第二の画像データを圧縮して前記基本層(BL)ビデオ信号に入れ;前記第二の入力VDR画像から導出された画像データの少なくとも一部を圧縮して前記一つまたは複数の向上層(EL)ビデオ信号に入れる。
ある例示的な実施形態では、多層VDRビデオ・エンコーダ(102)は、前記基本層ビデオ信号から前記第二の入力BL画像に対応する第二の異なるBL画像をデコードし;前記一つまたは複数の予測方法のうちから第二の異なる予測方法を選択し;その第二の予測方法を使って、少なくとも部分的には前記第二のBL画像に基づいて第二の予測画像を生成し;前記第二の予測画像および前記第二の入力VDR画像に基づいて第二の異なる残差値を生成し;前記第二の残差値に非線形量子化を適用して第二の出力EL画像データを生成し、前記第二の残差値はより高いビット深さの値を含み、前記第二の出力EL画像データはより低いビット深さの値を含み;前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号に入れる。
ある例示的な実施形態では、前記入力基本層画像中の画像データは、VDRエンコーダ内の第一の8ビット・エンコーダによって圧縮されて前記BLビデオ信号中に入れられ、前記入力VDR画像中の画像データの前記少なくとも一部はVDRエンコーダ内の第二の8ビット・エンコーダによって圧縮されて前記一つまたは複数の向上層(EL)ビデオ信号中に入れられる。
ある例示的な実施形態では、前記高度量子化方法は、前記入力VDR画像に比して前記一つまたは複数のELビデオ信号中にエンコードされるべき画像データの量を最小にすることを含むがそれに限られない一つまたは複数の要因に基づいて選択される。
ある例示的な実施形態では、前記高度量子化方法は、前記入力VDR画像から決定される一つまたは複数の特性のうちの任意のものを含むがそれに限られない一つまたは複数の因子に基づいて選択される。
ある例示的な実施形態では、前記VDR画像が多層VDRビデオ・エンコーダ(102)によって受領されたのち、カラリストによるカラー・グレーディングが無効にされる。
ある例示的な実施形態では、前記入力基本層画像から導出された画像データを保持するために第一の画像コンテナが使われ、前記入力VDR画像中の画像データの前記少なくとも一部を保持するために第二の異なる画像コンテナが使われる。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は4:4:4サンプリング方式、4:2:2サンプリング方式、4:2:0サンプリング方式または他のサンプリング方式のうちの任意のものを含む。
ある例示的な実施形態では、多層VDRビデオ・エンコーダ(102)は、一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力VDR画像を、一つまたは複数の出力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力VDR画像に変換する。
ある例示的な実施形態では、前記入力VDR画像および前記一つまたは複数のELビデオ信号のうちの少なくとも一方は、高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS: Academy of Motion Picture Arts and Sciences)のアカデミー色エンコード規格(ACES: Academy Color Encoding Specification)に関連するRGB色空間、デジタル・シネマ・イニシアチブ(Digital Cinema Initiative)のP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric)規格、sRGB色空間または国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む。
図4のBは、本発明のある例示的な実施形態に基づく例示的な処理フローを示している。いくつかの実施形態では、一つまたは複数のコンピューティング装置またはコンポーネントがこの処理フローを実行してもよい。ブロック452では、多層ビデオ・デコーダ(たとえば図1の150)が、一つまたは複数の向上層(EL)ビデオ信号に基づいて、入力画像のシーケンス中の、VDR画像の画像データの少なくとも一部を生成する。
ブロック454では、多層ビデオ・デコーダ(150)は、基本層(BL)ビデオ信号に基づいて基本層画像を生成する。前記基本層画像は、一つまたは複数の利用可能な高度量子化方法のうちから選択された特定の高度量子化方法によって生成された、前記VDR画像のより低いビット深さのVDR画像データを含んでいる。
ブロック456では、多層ビデオ・デコーダ(150)は、前記基本層画像および画像データの前記少なくとも一部に基づいて、前記VDR画像のより高いビット深さバージョンを再構成する。
ある例示的な実施形態では、多層ビデオ・デコーダ(150)は、一組のマッピング・パラメータを含むがこれに限られない予測メタデータを受領し;前記予測メタデータに基づいて予測方法を決定し;前記予測方法を使って、少なくとも部分的には前記基本層画像に基づいて予測画像を生成し;前記予測画像を前記一つまたは複数のELビデオ信号から導出される画像データの前記少なくとも一部と組み合わせることによって、前記VDR画像の前記より高いビット深さバージョンを再構成する。
ある例示的な実施形態では、前記予測方法は前記高度量子化方法に対応する。
ある例示的な実施形態では、前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数(Pdf)最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化、ベクトル量子化または他の型の量子化のうちの一つまたは複数を含む。
ある例示的な実施形態では、前記基本層画像は、前記BLビデオ信号から、VDRデコーダ内の第一の8ビット・デコーダによって導出され、前記VDR画像中の画像データの前記少なくとも一部は、前記一つまたは複数の向上層(EL)ビデオ信号から、VDRデコーダ内の第二の8ビット・デコーダによって導出される。
ある例示的な実施形態では、前記高度量子化方法は、源VDR画像に比して前記一つまたは複数のELビデオ信号から導出されるべき画像データの量を最小にすることを含むがそれに限られない一つまたは複数の要因に基づいて選択されたものである。
ある例示的な実施形態では、前記基本層画像中の画像を保持するために第一の画像コンテナが使われ、前記VDR画像中の画像データの前記少なくとも一部を保持するために第二の異なる画像コンテナが使われる。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む。ある例示的な実施形態では、前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は4:4:4サンプリング方式、4:2:2サンプリング方式、4:2:0サンプリング方式または他のサンプリング方式のうちの任意のものを含む。
ある例示的な実施形態では、多層ビデオ・デコーダ(150)は、一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数のVDR画像を処理する。
ある例示的な実施形態では、前記VDR画像の前記より高いビット深さバージョンの少なくとも一部は、高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS: Academy of Motion Picture Arts and Sciences)のアカデミー色エンコード規格(ACES: Academy Color Encoding Specification)に関連するRGB色空間、デジタル・シネマ・イニシアチブ(Digital Cinema Initiative)のP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM: Reference Input Medium Metric/Reference Output Medium Metric)規格、sRGB色空間または国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む。
さまざまな例示的な実施形態において、エンコーダ、デコーダ、システム、装置または一つまたは複数の他のコンピューティング装置が、記載された上記の方法の任意のものまたはその一部を実行する。
〈6.適応的なダイナミックレンジ調整〉
フェードインおよびフェードアウトは、ビデオ・プロダクションにおいて一般的に使われている特殊なシーン遷移効果である。フェードインでは、シーンがフル輝度になるまで明るさが徐々に増す。フェードアウト中は、シーンはフル輝度で始まり、徐々に消えていく。これらの遷移の際のルミナンスの変化のため、動き推定技法が最良の動きベクトルを正確に決定せず、その結果、大きな残差およびより非効率的なビデオ符号化につながることがある。
線形伸張量子化器が適用されるある種の実施形態(たとえば、式(2))では、シーン内の基本層(BL)量子化ステップに、比較的一定なVDRを維持することが望ましい。本稿で「シーン・ベースの適応」と表わすこのアプローチは、エンコーダからデコーダに伝送される必要のある量子化関係のメタデータの量を減らし、また、シーン内で比較的一定の輝度を維持する。これはその後の圧縮プロセスを助ける。しかしながら、そのようなアプローチは、フェードインまたはフェードアウトの間は好適でないことがある。本稿での用法では、「フレームごとの適応」がそのような遷移により好適でありうる。
フェードインまたはフェードアウト遷移の間にF個のフレームがあるとする。ある種の色成分(たとえばルミナンスY)について、もとのVDRシーケンス中のi番目のフレームについて、その色成分についての最大値および最小値をそれぞれvH,iおよびvL,iと表わす(i=0,…,F−1)。同様に、i番目のBLフレームにおける対応する色成分についての最大値および最小値をそれぞれcH,iおよびcL,iと表わす(i=0,…,F−1)。線形伸張量子化方法を使うと、式(2)から、量子化された基本層ストリームのi番目のフレームにおけるj番目のピクセルの値は次のように表わせる。
Figure 0005959607
ここで、vjiはi番目のVDRフレームにおけるj番目のピクセルの値を表わし、Oは丸めオフセットを表わす(たとえばO=0.5またはO=0)。本稿での用法では、床関数
Figure 0005959607
はx以下の最大の整数を計算する。
フェードアウト・シーンについては、最初のフレームが最大のダイナミックレンジをもつはずであり、つまり0<i<Fについて、vH,0≧vH,iである。
フェードイン・シーンについては、最後のフレームが最大のダイナミックレンジをもつはずであり、つまり0≦i<F−1について、vH,F-1≧vH,iである。
上記の定式化を与えられると、生じる問題は、その後の符号化パフォーマンスを最適にするために、式(3)においていかにして{cH,i|i=0,…,F−1}および{cL,i|i=0,…,F−1}パラメータを適応的に調整しうるかということである。
フル探索方法
ある実施形態では、{cH,i|i=0,…,F−1}および{cL,i|i=0,…,F−1}のあらゆる可能な組み合わせを試して、最良の全体的圧縮を提供する変数を選択してもよい。しかしながら、たとえcL,i=0と置いても、8ビット・データについて、cH,iについて255F通りの可能な組み合わせがあり、リアルタイム・エンコードにおいて試し、試験するのは現実的ではないことがある。
等最大値法(Equal Max-value method)
もう一つの実施形態では、すべてのcH,iの値(i=0,…,F−1)をシーン依存の最大値cH,maxに設定してもよい。ある実施形態では、cH,maxは、一定輝度をもつ前または次のシーンのいずれか、つまりフェードインもフェードアウトもないシーンで使われている値を表わしていてもよい(たとえば、[0,F−1]内のすべてのiについてcH,i=cH,max=255)。同様に、cL,iはフェードイン/フェードアウトなしで前または次のシーンで使われた最小値cL,minに設定されてもよい(たとえば、[0,F−1]内のすべてのiについてcL,I=cL,min=0)。そのような実施形態では、フェードインまたはフェードアウト・シーン内のすべてのBLフレームは同じダイナミックレンジ[cL,min cH,max]をもつ。しかしながら、フレームごとのVDRからBLへの量子化ステップは異なることがある。式(3)より、フェードインおよびフェードアウト遷移についてのこの適応量子化アプローチ(フレーム毎適応とも称される)は、次のように表わされてもよい。
Figure 0005959607
シーン・ベースの適応を適用するか(たとえば、シーン全体について一定の量子化を用いて式(2)または(3)を適用する)、あるいはフレーム毎適応を適用するか(たとえば式(4)を適用する)を検出する決定アルゴリズムについて次に述べる。
決定アルゴリズム
ある実施形態では、二つの相続くVDRフレーム、たとえばフレームvi-1およびviを考える。次いで、対応する量子化されたBLフレームsi-1およびsiのヒストグラムを比較することによって決定アルゴリズムが導出されてもよい。本アルゴリズムは、単一の色成分(たとえばルミナンス)について記述されているが、動作はすべての色成分について繰り返されてもよい。
ステップ1:フレーム毎(fbf: frame-by-frame)適応量子化を想定し、BLピクセル値を計算
フレームvi-1およびviを与えられて、式(4)を適用して対応するBLフレーム内のピクセル値を次のようにして計算してもよい。
Figure 0005959607
一般性を失うことなく、BLストリームにおける8ビット色成分を想定すると、フレームsi-1およびsiについて、式(5)および(6)の出力を使ってそれぞれ256個のビンをもつ対応するヒストグラムをn=0,1,…,255についてのHi-1 fbf(n)およびHi fbf(n)として計算してもよい。本稿での用法では、用語ヒストグラムは、可能な相異なるピクセル値のそれぞれにはいる観察されるピクセルの数を数える関数を表わす。たとえば、Hi-1 fbf(20)=10は、フレームi−1における10個のピクセルが値20をもつことを表わす。
ステップ2:Hi-1 fbf(n)とHi fbf(n)の間の平均平方差を計算
ステップ1で計算されたヒストグラムを与えられて、それらの平均平方差を次のように計算してもよい。
Figure 0005959607
上記のプロセスは、ここで、シーン・ベースの適応(sb)量子化を使う想定のもとで繰り返されてもよいだろう。
ステップ3:フレームi−1およびフレームiの間での最小および最大のピクセル値を計算
vLmin=min{vL,i-1,vL,i}
vHmax=max{vH,i-1,vH,i}
次いで、フレームvi-1およびviを与えられて、それらの値および式(3)を適用して、対応するBLピクセル値を次のように計算してもよい。
Figure 0005959607
式(8)および(9)の出力を使って、n=0,1,…,255について、フレーム・ヒストグラムHi sb(n)およびHi-1 sbを計算してもよい。
ステップ4:Hi-1 sb(n)とHi sb(n)の間の平均平方差を計算
Figure 0005959607
ステップ5:フレーム毎またはシーン・ベースの適応のいずれかを適用する適応的な決定は、二つの平均平方差の間の差に基づいていてもよい。
Di fbf<Di sbであれば、フレーム毎調整を使い、
そうでなければ、シーン・ベースの調整を使う。
図6は、ここに記載される決定アルゴリズムのある実施形態を要約している。ステップ610では、プロセスは入力VDR画像のシーケンス内の二つの相続く画像(またはフレーム)にアクセスする。ここに記載した方法を使って、ステップ625および630は対応するBL画像の二つの代替的な表現を計算する。ステップ625はフレーム毎適応を使って(たとえば式(5)および(6)を使って)BLフレームを計算する。ステップ630はシーン・ベースの適応を使って(たとえば式(8)および(9)を使って)BL画像を計算する。これらの計算されたBL画像に基づいて、ステップ625および630は対応するヒストグラム(たとえばHi-1 fbf(n)、Hi fbf(n)、Hi sb(n)、Hi-1 sb(n))を計算してもよい。これらのヒストグラムを与えられて、ヒストグラムの各セットについて、ステップ635および640は第一および第二の平均平方差(たとえば式(7)のDi fbfおよび式(10)のDi sb)を計算してもよい。最後に、ステップ650において、二つの平均平方差を比較し、小さいほうの平均平方差をもつヒストグラムを与える方法を、量子化方法として選択してもよい。
〈7.実装機構――ハードウェアの概観〉
ある実施形態によれば、本稿に記載される技法は、一つまたは複数の特殊目的コンピューティング装置によって実装される。特殊目的コンピューティング装置は、本技法を実行するよう固定構成とされていてもよいし、あるいは一つまたは複数の特定用途向け集積回路(ASIC)またはフィールド・プログラマブル・ゲート・アレイ(FPGA)のような、本技法を実行するよう持続的にプログラムされたデジタル電子デバイスを含んでいてもよいし、あるいはファームウェア、メモリ、他の記憶または組み合わせにおけるプログラム命令に従って本技法を実行するようプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的コンピューティング装置は、カスタムの固定構成論理、ASICまたはFPGAをカスタムのプログラミングと組み合わせて本技法を達成してもよい。特殊目的コンピューティング装置はデスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド装置、ネットワーキング装置または本技法を実装するために固定構成および/またはプログラム論理を組み込んでいる他の任意の装置であってもよい。
たとえば、図5は、本発明の例示的な実施形態が実装されうるコンピュータ・システム500を示すブロック図である。コンピュータ・システム500は、情報を通信するためのバス502または他の通信機構と、情報を処理するための、バス502に結合されたハードウェア・プロセッサ504とを含む。ハードウェア・プロセッサ504はたとえば汎用マイクロプロセッサであってもよい。
コンピュータ・システム500は、ランダム・アクセス・メモリ(RAM)または他の動的記憶装置のような、情報およびプロセッサ504によって実行されるべき命令を記憶するための、バス502に結合されたメイン・メモリ506をも含む。メイン・メモリ506はまた、一時変数または他の中間的な情報を、プロセッサ504によって実行されるべき命令の実行の間、記憶しておくために使われてもよい。そのような命令は、プロセッサ504にとってアクセス可能な非一時的な記憶媒体に記憶されたとき、コンピュータ・システム500を、前記命令において指定されている処理を実行するようカスタマイズされた特殊目的機械にする。
コンピュータ・システム500はさらに、バス502に結合された、静的な情報およびプロセッサ504のための命令を記憶するための読み出し専用メモリ(ROM)508または他の静的記憶装置を含む。磁気ディスクまたは光ディスクのような記憶装置510が提供され、情報および命令を記憶するためにバス502に結合される。
コンピュータ・システム500は、コンピュータ・ユーザーに対して情報を表示するための、液晶ディスプレイのようなディスプレイ512にバス502を介して結合されていてもよい。英数字その他のキーを含む入力装置514が、情報およびコマンド選択をプロセッサ504に伝えるためにバス502に結合される。もう一つの型のユーザー入力装置は、方向情報およびコマンド選択をプロセッサ504に伝えるとともにディスプレイ512上でのカーソル動きを制御するための、マウス、トラックボールまたはカーソル方向キーのようなカーソル・コントロール516である。この入力装置は典型的には、第一軸(たとえばx)および第二軸(たとえばy)の二つの軸方向において二つの自由度をもち、これにより該装置は平面内での位置を指定できる。
コンピュータ・システム500は、本稿に記載される技法を実施するのに、カスタマイズされた固定構成論理、一つまたは複数のASICもしくはFPGA、コンピュータ・システムと組み合わさってコンピュータ・システム500を特殊目的機械にするまたはプログラムするファームウェアおよび/またはプログラム論理を使ってもよい。ある実施形態によれば、本稿の技法は、プロセッサ504がメイン・メモリ506に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行するのに応答して、コンピュータ・システム500によって実行される。そのような命令は、記憶装置510のような別の記憶媒体からメイン・メモリ506に読み込まれてもよい。メイン・メモリ506に含まれる命令のシーケンスの実行により、プロセッサ504は、本稿に記載されるプロセス段階を実行する。代替的な実施形態では、ソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて固定構成の回路が使用されてもよい。
本稿で用いられる用語「記憶媒体」は、データおよび/または機械に特定の仕方で動作させる命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および/または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置510のような光学式または磁気ディスクを含む。揮発性媒体は、メイン・メモリ506のような動的メモリを含む。記憶媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープまたは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、孔のパターンをもつ任意の物理的媒体、RAM、PROMおよびEPROM、フラッシュEPROM、NVRAM、他の任意のメモリ・チップまたはカートリッジを含む。
記憶媒体は、伝送媒体とは異なるが、伝送媒体と関連して用いられてもよい。伝送媒体は、記憶媒体間で情報を転送するのに参加する。たとえば、伝送媒体は同軸ケーブル、銅線および光ファイバーを含み、バス502をなすワイヤを含む。伝送媒体は、電波および赤外線データ通信の際に生成されるような音響波または光波の形を取ることもできる。
さまざまな形の媒体が、一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ504に搬送するのに関与しうる。たとえば、命令は最初、リモート・コンピュータの磁気ディスクまたは半導体ドライブ上に担持されていてもよい。リモート・コンピュータは該命令をその動的メモリにロードし、該命令をモデムを使って電話線を通じて送ることができる。コンピュータ・システム500にローカルなモデムが、電話線上のデータを受信し、赤外線送信器を使ってそのデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号において担持されるデータを受信することができ、適切な回路がそのデータをバス502上に載せることができる。バス502はそのデータをメイン・メモリ506に搬送し、メイン・メモリ506から、プロセッサ504が命令を取り出し、実行する。メイン・メモリ506によって受信される命令は、任意的に、プロセッサ504による実行の前または後に記憶装置510上に記憶されてもよい。
コンピュータ・システム500は、バス502に結合された通信インターフェース518をも含む。通信インターフェース518は、ローカル・ネットワーク522に接続されているネットワーク・リンク520への双方向データ通信結合を提供する。たとえば、通信インターフェース518は、対応する型の電話線へのデータ通信接続を提供するための、統合サービス・デジタル通信網(ISDN)カード、ケーブル・モデム、衛星モデムまたはモデムであってもよい。もう一つの例として、通信インターフェース518は、互換LANへのデータ通信接続を提供するためのローカル・エリア・ネットワーク(LAN)カードであってもよい。無線リンクも実装されてもよい。そのようないかなる実装でも、通信インターフェース518は、さまざまな型の情報を表すデジタル・データ・ストリームを搬送する電気的、磁気的または光学的信号を送受信する。
ネットワーク・リンク520は典型的には、一つまたは複数のネットワークを通じた他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク520は、ローカル・ネットワーク522を通じてホスト・コンピュータ524またはインターネット・サービス・プロバイダー(ISP)526によって運営されているデータ設備への接続を提供してもよい。ISP 526は、現在一般に「インターネット」528と称される世界規模のパケット・データ通信網を通じたデータ通信サービスを提供する。ローカル・ネットワーク522およびインターネット528はいずれも、デジタル・データ・ストリームを担持する電気的、電磁的または光学的信号を使う。コンピュータ・システム500に/からデジタル・データを搬送する、さまざまなネットワークを通じた信号およびネットワーク・リンク520上および通信インターフェース518を通じた信号は、伝送媒体の例示的な形である。
コンピュータ・システム500は、ネットワーク(単数または複数)、ネットワーク・リンク520および通信インターフェース518を通じて、メッセージを送り、プログラム・コードを含めデータを受信することができる。インターネットの例では、サーバー530は、インターネット528、ISP 526、ローカル・ネットワーク522および通信インターフェース518を通じてアプリケーション・プログラムのための要求されたコードを送信してもよい。
受信されたコードは、受信される際にプロセッサ504によって実行されても、および/または、のちの実行のために記憶装置510または他の不揮発性記憶に記憶されてもよい。
〈8.等価物、拡張、代替その他〉
以上の明細書では、本発明の例示的な諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの態様を記載しておく。
〔態様1〕
入力画像のシーケンス中の入力視覚的ダイナミックレンジ(VDR)画像を受領する段階であって、前記入力VDR画像は第一のビット深さを有する、段階と;
一つまたは複数の利用可能な高度量子化関数のうちから特定の高度量子化関数を選択する段階と;
前記特定の高度量子化関数を前記入力VDR画像に適用して、入力基本層画像を生成する段階であって、前記入力基本層画像は前記第一のビット深さより低い第二のビット深さを有する、段階と;
前記入力基本層画像から導出された画像データを圧縮して基本層(BL)ビデオ信号にする段階と;
前記入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層(EL)ビデオ信号にする段階とを含む、
方法。
〔態様2〕
態様1記載の方法であって、さらに:
前記BLビデオ信号から、前記入力BL画像に対応するBL画像をデコードする段階と;
一つまたは複数の予測方法のうちから予測方法を選択する段階と;
その予測方法を使って、少なくとも部分的には前記BL画像に基づいて予測画像を生成する段階と;
前記予測画像および前記入力VDR画像に基づいて残差値を生成する段階と;
前記残差値に非線形量子化を適用して出力EL画像データを生成する段階であって、前記残差値はより高いビット深さの値を含み、前記出力EL画像データはより低いビット深さの値を含む、段階と;
前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号に入れる段階とを含む、
方法。
〔態様3〕
前記予測方法は、前記高度量子化方法と前記予測方法との間の対応関係に基づいて選択される、態様2記載の方法。
〔態様4〕
前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数(Pdf)最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化、色チャネル横断/ベクトル量子化または他の型の量子化のうちの一つまたは複数を含む、態様1記載の方法。
〔態様5〕
態様1記載の方法であって、前記入力画像のシーケンスは異なる第二のVDR入力画像を含み;当該方法はさらに:
前記一つまたは複数の利用可能な高度量子化方法のうちから異なる第二の特定の高度量子化方法を選択する段階と;
前記第二の特定の高度量子化方法を前記第二の入力VDR画像に適用して、第二の入力BL画像を生成する段階と;
前記第二の入力基本層画像から導出された第二の画像データを圧縮して前記BLビデオ信号に入れる段階と;
前記第二の入力VDR画像から導出された画像データの少なくとも一部を圧縮して前記一つまたは複数のELビデオ信号に入れる段階とを含む、
方法。
〔態様6〕
態様5記載の方法であって、さらに:
前記BLビデオ信号から、前記第二の入力BL画像に対応する異なる第二のBL画像をデコードする段階と;
前記一つまたは複数の予測方法のうちから異なる第二の予測方法を選択する段階と;
前記第二の予測方法を使って、少なくとも部分的には前記第二のBL画像に基づいて第二の予測画像を生成する段階と;
前記第二の予測画像および前記第二の入力VDR画像に基づいて異なる第二の残差値を生成する段階と;
前記第二の残差値に非線形量子化を適用して第二の出力EL画像データを生成する段階であって、前記第二の残差値はより高いビット深さの値を含み、前記第二の出力EL画像データはより低いビット深さの値を含む、段階と;
前記出力EL画像データを圧縮して前記一つまたは複数のELビデオ信号に入れる段階とを含む、
方法。
〔態様7〕
前記入力BL画像中の画像データは、VDRエンコーダ内の第一の8ビット・エンコーダによって圧縮されて前記BLビデオ信号中に入れられ、前記入力VDR画像中の画像データの前記少なくとも一部は前記VDRエンコーダ内の第二の8ビット・エンコーダによって圧縮されて前記一つまたは複数のELビデオ信号中に入れられる、態様1記載の方法。
〔態様8〕
前記第一の8ビット・エンコーダおよび前記第二の8ビット・エンコーダの少なくとも一方が、高度ビデオ符号化(AVC: advanced video coding)エンコーダ、動画像専門家グループ(MPEG: Moving Picture Experts Group)-2エンコーダまたは高効率ビデオ符号化(HEVC: High Efficiency Video Coding)エンコーダのうちの一つを含む、態様7記載の方法。
〔態様9〕
前記高度量子化方法が、前記入力VDR画像に比して前記一つまたは複数のELビデオ信号中にエンコードされるべき画像データの量を最小にすることを含むがそれに限られない一つまたは複数の要因に基づいて選択される、態様1記載の方法。
〔態様10〕
前記高度量子化方法は、前記入力VDR画像から決定される一つまたは複数の特性を含むがそれに限られない一つまたは複数の因子に基づいて選択される、態様1記載の方法。
〔態様11〕
前記VDR画像が受領されたのち、カラリストによるカラー・グレーディングが無効にされる、態様1記載の方法。
〔態様12〕
前記入力BL画像から導出された前記画像データを保持するために第一の画像コンテナが使われ、前記入力VDR画像中の画像データの前記少なくとも一部を保持するために異なる第二の画像コンテナが使われる、態様1記載の方法。
〔態様13〕
前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む、態様12記載の方法。
〔態様14〕
前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は4:4:4サンプリング方式、4:2:2サンプリング方式、4:2:0サンプリング方式または他のサンプリング方式のうちの任意のものを含む、態様12記載の方法。
〔態様15〕
一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数の入力VDR画像を、一つまたは複数の出力ビデオ信号と一緒に表現される、受領される、伝送されるまたは記憶される一つまたは複数の出力VDR画像に変換することをさらに含む、態様1記載の方法。
〔態様16〕
前記入力VDR画像および前記一つまたは複数のELビデオ信号のうちの少なくとも一方が、高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS)のアカデミー色エンコード規格(ACES)に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM)規格、sRGB色空間またはRGB色空間またはYCbCr色空間のうちの一つにおいてエンコードされた画像データを含む、態様1記載の方法。
〔態様17〕
前記入力VDR画像を処理して前記BLおよびELビデオ信号中に入れるための特定のプロファイルを決定する段階と;
前記入力VDR画像を処理して前記BLおよびELビデオ信号中に入れる際に前記特定のプロファイルに関係した一つまたは複数の動作を実行する段階とをさらに含む、
態様1記載の方法。
〔態様18〕
一つまたは複数の向上層(EL)ビデオ信号に基づいて、入力画像のシーケンス中の、VDR画像の画像データの少なくとも一部を生成する段階と;
基本層(BL)ビデオ信号に基づいて基本層(BL)画像を生成する段階であって、前記BL画像は、一つまたは複数の利用可能な高度量子化方法のうちから選択された特定の高度量子化方法によって生成された、前記VDR画像の、基本層VDR画像データを含んでいる、段階と;
前記BL画像および画像データの前記少なくとも一部に基づいて、前記BL画像が有する第二のビット深さよりも高い第一のビット深さを有する前記VDR画像のバージョンを再構成する段階とを含む、
方法。
〔態様19〕
態様18記載の方法であって、さらに:
一組のマッピング・パラメータを含むがこれのみに限られない予測メタデータを受領する段階と;
前記予測メタデータに基づいて予測方法を決定する段階と;
前記予測方法を使って、少なくとも部分的には前記BL画像に基づいて予測画像を生成する段階と;
前記予測画像を前記一つまたは複数のELビデオ信号から導出される画像データの前記少なくとも一部と組み合わせることによって、前記VDR画像の前記より高いビット深さバージョンを再構成する段階とを含む、
方法。
〔態様20〕
前記予測方法は前記高度量子化方法に対応する、態様19記載の方法。
〔態様21〕
前記高度量子化方法は、グローバル量子化、線形量子化、線形伸張、曲線ベースの量子化、確率密度関数(Pdf)最適化された量子化、ロイド・マックス量子化、パーティション・ベースの量子化、知覚的量子化、ベクトル量子化または他の型の量子化のうちの一つまたは複数を含む、態様19記載の方法。
〔態様22〕
前記BL画像は、前記BLビデオ信号から、VDRデコーダ内の第一の8ビット・デコーダによって導出され、前記VDR画像中の画像データの前記少なくとも一部は、前記一つまたは複数の向上層(EL)ビデオ信号から、前記VDRデコーダ内の第二の8ビット・デコーダによって導出される、態様19記載の方法。
〔態様23〕
前記第一の8ビット・エンコーダおよび前記第二の8ビット・エンコーダの少なくとも一方が、高度ビデオ符号化(AVC: advanced video coding)エンコーダ、動画像専門家グループ(MPEG: Moving Picture Experts Group)-2エンコーダまたは高効率ビデオ符号化(HEVC: High Efficiency Video Coding)エンコーダのうちの一つを含む、態様22記載の方法。
〔態様24〕
前記高度量子化方法は、源VDR画像に比して前記一つまたは複数のELビデオ信号から導出されるべき画像データの量を最小にすることを含むがそれに限られない一つまたは複数の要因に基づいて選択されたものである、態様18記載の方法。
〔態様25〕
前記BL画像中の前記画像データを保持するために第一の画像コンテナが使われ、前記VDR画像中の画像データの前記少なくとも一部を保持するために異なる第二の画像コンテナが使われる、態様18記載の方法。
〔態様26〕
前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方は、色空間中の一つまたは複数のチャネルにおいてピクセル値を含む、態様25記載の方法。
〔態様27〕
前記第一の画像コンテナおよび前記第二の画像コンテナのうちの少なくとも一方が、複数のサンプリング方式に関連付けられた複数の画像コンテナのうちから選択され、前記複数のサンプリング方式は少なくとも、4:4:4サンプリング方式、4:2:2サンプリング方式、4:2:0サンプリング方式または他のサンプリング方式を含む、態様25記載の方法。
〔態様28〕
一つまたは複数の入力ビデオ信号を用いて表現される、受領される、伝送されるまたは記憶される一つまたは複数のVDR画像を処理する段階をさらに含む、態様18記載の方法。
〔態様29〕
前記VDR画像の前記より高いビット深さのバージョンの少なくとも一部は、高ダイナミックレンジ(HDR)画像フォーマット、映画芸術科学アカデミー(AMPAS)のアカデミー色エンコード規格(ACES)に関連するRGB色空間、デジタル・シネマ・イニシアチブのP3色空間規格、参照入力媒体メトリック/参照出力媒体メトリック(RIMM/ROMM)規格、sRGB色空間または国際電気通信連合(ITU)のBT.709勧告の規格に関連するRGB色空間のうちの一つにおいてエンコードされた画像データを含む、態様18記載の方法。
〔態様30〕
前記BLおよびELビデオ信号に関係する特定のプロファイルを決定する段階と;
前記BLおよびELビデオ信号から前記VDR画像の前記より高いビット深さのバージョンを再構成する際に前記特定のプロファイルに関係した一つまたは複数の動作を実行する段階とをさらに含む、
態様18記載の方法。
〔態様31〕
態様1ないし17のうちいずれか一項記載の方法を実行するエンコーダ。
〔態様32〕
態様18ないし30のうちいずれか一項記載の方法を実行するデコーダ。
〔態様33〕
態様1ないし30のうちいずれか一項記載の方法を実行するシステム。
〔態様34〕
エンコーダおよびデコーダを有するシステムであって:
前記エンコーダは:
入力画像のシーケンス中の入力視覚的ダイナミックレンジ(VDR)画像を受領する段階と;
一つまたは複数の利用可能な高度量子化方法のうちから特定の高度量子化方法を選択する段階と;
前記特定の高度量子化方法を前記入力VDR画像に適用して、入力基本層画像を生成する段階であって、前記入力VDR画像はより高いビット深さのVDR画像データを有し、前記入力基本層画像はより低い第二のビット深さのVDR画像データを有する、段階と;
前記入力基本層画像から導出された画像データを圧縮して基本層(BL)ビデオ信号にする段階と;
前記入力VDR画像から導出された画像データの少なくとも一部を圧縮して一つまたは複数の向上層(EL)ビデオ信号にする段階とを実行するよう構成されており、
前記デコーダは:
前記一つまたは複数の向上層(EL)ビデオ信号に基づいて、前記入力VDR画像の入力画像データの少なくとも一部を生成する段階と;
前記BLビデオ信号に基づいてBL画像を生成する段階と;
前記BL画像および入力画像データの前記少なくとも一部に基づいて、前記入力VDR画像のより高いビット深さのバージョンを再構成する段階とを実行するよう構成されている、
システム。
〔態様35〕
態様1記載の方法であって、選択された高度量子化関数は線形伸張関数
Figure 0005959607
を有しており、ここで、vjiは入力画像の前記シーケンス中のi番目の入力VDR画像のj番目のピクセルを表わし、sjiは生成されたi番目の入力基本層画像のj番目のピクセルを表わし、vL,iおよびvH,iはi番目の入力VDR画像内のピクセルのうち最小および最大のピクセル値を表わし、cL,iおよびcH,iは生成されたi番目の入力基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。
〔態様36〕
態様1記載の方法であって、選択された高度量子化関数はシーン・ベースの適応関数
Figure 0005959607
を有しており、ここで、vjiは入力画像の前記シーケンス中のあるシーン内のi番目の入力VDR画像のj番目のピクセルを表わし、sjiは前記シーン内の生成されたi番目の入力基本層画像のj番目のピクセルを表わし、vL,minおよびvH,maxは前記シーン内の諸入力VDR画像内のピクセル値のうち最小および最大の値を表わし、cL,minおよびcH,maxは前記シーン内の生成された諸入力基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。
〔態様37〕
態様1記載の方法であって、選択された高度量子化関数はフレーム毎の適応関数
Figure 0005959607
を有しており、ここで、vjiは入力画像の前記シーケンス中のある遷移シーン内のi番目の入力VDR画像のj番目のピクセルを表わし、sjiは前記遷移シーン内の生成されたi番目の入力基本層画像のj番目のピクセルを表わし、vL,iおよびvH,iは前記遷移シーン内のi番目の入力VDR画像内のピクセル値のうち最小および最大の値を表わし、cL,minおよびcH,maxは前記遷移シーン内の生成された諸入力基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。
〔態様38〕
前記遷移シーンがフェードイン・シーンまたはフェードアウト・シーンである、態様37記載の方法。
〔態様39〕
態様1記載の方法であって、前記一つまたは複数の利用可能な高度量子化関数のうちから前記特定の高度量子化関数を選択する前記段階がさらに:
入力画像の前記シーケンス中の二つの相続く入力VDR画像を選択する段階と;
第一の適応関数を適用して、二つの対応する基本層(BL)画像の第一の組を計算する段階と;
第二の適応関数を適用して、二つの対応するBL画像の第二の組を計算する段階と;
前記第一の組のBL画像に基づいて第一の組のヒストグラムを計算する段階と;
前記第二の組のBL画像に基づいて第二の組のヒストグラムを計算する段階と;
前記第一の組のヒストグラムに基づいて第一の平均平方差を計算する段階と;
前記第二の組のヒストグラムに基づいて第二の平均平方差を計算する段階と;
前記第一の平均平方差を前記第二の平均平方差と比較する段階と;
前記第一の平均平方差が前記第二の平均平方差より小さい場合に前記第一の適応関数を選択する段階とを含む、
方法。
〔態様40〕
前記第一の適応関数がフレーム毎ベースの適応関数であり、前記第二の適応関数がシーン・ベースの適応関数である、態様39記載の方法。

Claims (15)

  1. エンコード方法であって:
    第一のダイナミックレンジおよび第一のビット深さをもつ入力画像のシーケンス中の入力画像を受領する段階と;
    高度量子化関数のパラメータを選択する段階であって、前記パラメータは前記高度量子化関数の出力下限値および出力上限値を含む、段階と;
    前記高度量子化関数を前記入力画像に適用して、基本層画像を生成する段階であって、前記基本層画像は前記第一のビット深さより低い第二のビット深さおよび前記第一のダイナミックレンジより小さい第二のダイナミックレンジを有する、段階と;
    少なくとも前記基本層画像に基づいて予測画像を生成する段階と;
    前記予測画像に基づいて向上層(EL)画像を生成する段階と;
    前記基本層画像から導出された画像データを圧縮して基本層(BL)符号化ビットストリームにする段階と;
    前記EL画像から導出された画像データを圧縮してEL符号化ビットストリームにする段階とを含み、
    前記高度量子化関数のパラメータは、前記入力画像に比して前記ELビットストリームにエンコードされるべき画像データの量を最小にすることに基づいて、前記基本層画像の画像品質を考慮することなく選択される、
    方法。
  2. 請求項1記載の方法であって、前記高度量子化関数は線形伸張関数
    Figure 0005959607
    を有しており、ここで、vjiは入力画像の前記シーケンス中のi番目の入力画像のj番目のピクセルを表わし、sjiは生成されたi番目の基本層画像のj番目のピクセルを表わし、vL,iおよびvH,iはi番目の入力画像内のピクセルのうち最小および最大のピクセル値を表わし、cL,iおよびcH,iは生成されたi番目の基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。
  3. 請求項1記載の方法であって、前記高度量子化関数はシーン・ベースの適応関数
    Figure 0005959607
    を有しており、ここで、vjiは入力画像の前記シーケンス中のあるシーン内のi番目の入力画像のj番目のピクセルを表わし、sjiは前記シーン内の生成されたi番目の基本層画像のj番目のピクセルを表わし、vL,minおよびvH,maxは前記シーン内の諸入力画像内のピクセル値のうち最小および最大の値を表わし、cL,minおよびcH,maxは前記シーン内の生成された諸基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。
  4. 請求項1記載の方法であって、前記高度量子化関数はフレーム毎の適応関数
    Figure 0005959607
    を有しており、ここで、vjiは入力画像の前記シーケンス中のある遷移シーン内のi番目の入力画像のj番目のピクセルを表わし、sjiは前記遷移シーン内の生成されたi番目の基本層画像のj番目のピクセルを表わし、vL,iおよびvH,iは前記遷移シーン内のi番目の入力画像内のピクセル値のうち最小および最大の値を表わし、cL,minおよびcH,maxは前記遷移シーン内の生成された諸基本層画像内のピクセルのうち最小および最大のピクセル値を表わし、Oは丸め定数である、方法。
  5. 前記遷移シーンがフェードイン・シーンまたはフェードアウト・シーンである、請求項4記載の方法。
  6. 前記高度量子化関数のパラメータを選択する段階がさらに:
    入力画像の前記シーケンス中の二つの相続く入力画像を選択する段階と;
    第一の組のパラメータをもつフレーム毎の適応関数を適用して、二つの対応する基本層(BL)画像の第一の組を計算する段階と;
    第二の組のパラメータをもつシーン・ベースの適応関数を適用して、二つの対応するBL画像の第二の組を計算する段階と;
    前記第一の組のBL画像に基づいて第一の組のヒストグラムを計算する段階と;
    前記第二の組のBL画像に基づいて第二の組のヒストグラムを計算する段階と;
    前記第一の組のヒストグラムに基づいて第一の平均平方差を計算する段階と;
    前記第二の組のヒストグラムに基づいて第二の平均平方差を計算する段階と;
    前記第一の平均平方差を前記第二の平均平方差と比較する段階と;
    前記第一の平均平方差が前記第二の平均平方差より小さい場合に前記第一の組のパラメータをもつフレーム毎の適応関数を前記高度量子化関数として選択する段階とを含む、
    請求項1ないし4のうちいずれか一項記載の方法。
  7. 請求項6記載の方法であって、前記フレーム毎の適応関数は請求項4記載のフレーム毎の適応関数であり、前記シーン・ベースの適応関数は請求項3記載のシーン・ベースの適応関数である、方法。
  8. 前記高度量子化関数のパラメータは、前記入力画像の暗いおよび中間トーンの領域を基本層においてエンコードし、前記入力画像のハイライト領域を向上層においてエンコードするよう選択される、請求項1記載の方法。
  9. 前記予測画像を生成する段階が、前記基本層画像に前記高度量子化関数の逆を適用することを含む、請求項1記載の方法。
  10. 前記第一のダイナミックレンジが高ダイナミックレンジであり、前記第二のダイナミックレンジが標準ダイナミックレンジ(SDR)である、請求項1記載の方法。
  11. 請求項2記載の方法であって、前記高度量子化関数のパラメータを選択する段階がさらに:
    二組以上のcH,iおよびcL,iパラメータを選択する段階と;
    前記二組以上のcH,iおよびcL,iパラメータに基づいて対応する符号化されたBLおよびELビットストリームを生成する段階と;
    前記符号化されたBLおよびELビットストリームのための最良の全体的な圧縮を提供する組を、前記量子化関数パラメータの一部として選択する段階とを含む、
    方法。
  12. 入力画像の前記シーケンス中のあるシーン内の一つまたは複数のフレームについてcH,i=255である、請求項11記載の方法。
  13. 入力画像の前記シーケンス中のあるシーン内の一つまたは複数のフレームについてcL,i=0である、請求項11記載の方法。
  14. 請求項1ないし13のうちいずれか一項記載のエンコード方法を実行するエンコーダ。
  15. 請求項14記載のエンコーダと、デコーダとを有するシステム。
JP2014249667A 2011-11-04 2014-12-10 階層的vdr符号化における層分解 Active JP5959607B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161555978P 2011-11-04 2011-11-04
US61/555,978 2011-11-04
US201261596600P 2012-02-08 2012-02-08
US61/596,600 2012-02-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014539163A Division JP5666756B2 (ja) 2011-11-04 2012-11-01 階層的vdr符号化における層分解

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016122314A Division JP6182644B2 (ja) 2011-11-04 2016-06-21 階層的vdr符号化における層分解

Publications (2)

Publication Number Publication Date
JP2015084560A JP2015084560A (ja) 2015-04-30
JP5959607B2 true JP5959607B2 (ja) 2016-08-02

Family

ID=47222304

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014539163A Active JP5666756B2 (ja) 2011-11-04 2012-11-01 階層的vdr符号化における層分解
JP2014128782A Active JP5970501B2 (ja) 2011-11-04 2014-06-24 階層的vdr符号化における層分解
JP2014249667A Active JP5959607B2 (ja) 2011-11-04 2014-12-10 階層的vdr符号化における層分解
JP2016122314A Active JP6182644B2 (ja) 2011-11-04 2016-06-21 階層的vdr符号化における層分解

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014539163A Active JP5666756B2 (ja) 2011-11-04 2012-11-01 階層的vdr符号化における層分解
JP2014128782A Active JP5970501B2 (ja) 2011-11-04 2014-06-24 階層的vdr符号化における層分解

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016122314A Active JP6182644B2 (ja) 2011-11-04 2016-06-21 階層的vdr符号化における層分解

Country Status (10)

Country Link
US (2) US9497456B2 (ja)
EP (2) EP2774370B1 (ja)
JP (4) JP5666756B2 (ja)
KR (1) KR101912249B1 (ja)
CN (3) CN104322072B (ja)
BR (1) BR112014010311B1 (ja)
HK (2) HK1225540A1 (ja)
RU (2) RU2644065C9 (ja)
TW (1) TWI575933B (ja)
WO (1) WO2013067101A1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1999883A4 (en) 2006-03-14 2013-03-06 Divx Llc FEDERATED DIGITAL RIGHTS MANAGEMENT SYSTEM COMPRISING CONFIDENCE SYSTEMS
US8510303B2 (en) 2009-01-07 2013-08-13 Divx, Llc Singular, collective and automated creation of a media guide for online content
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US11231787B2 (en) 2010-10-06 2022-01-25 Nuvasive, Inc. Imaging system and method for use in surgical and interventional medical procedures
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
KR101957904B1 (ko) 2012-03-12 2019-03-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
WO2014000168A1 (en) * 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
BR112015013768A2 (pt) * 2012-12-18 2017-07-11 Sony Corp dispositivo, e, método de processamento de imagem
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
JP6205000B2 (ja) 2013-03-11 2017-09-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
PL2936814T3 (pl) 2013-03-26 2018-07-31 Dolby Laboratories Licensing Corporation Kodowanie percepcyjnie kwantyzowanej treści wideo podczas wielowarstwowego kodowania VDR
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9584811B2 (en) 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US9712834B2 (en) * 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
US9648351B2 (en) 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
EP3069513B1 (en) 2013-11-12 2019-03-13 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
WO2015133712A1 (ko) * 2014-03-06 2015-09-11 삼성전자 주식회사 영상 복호화 방법 및 그 장치, 영상 부호화 방법 및 그 장치
US9866878B2 (en) * 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
JP6401309B2 (ja) * 2014-06-19 2018-10-10 ヴィド スケール インコーポレイテッド 3次元ベースのカラーマッピングでのモデルパラメータ最適化のためのシステムおよび方法
US9866734B2 (en) 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US9936199B2 (en) 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
US10015525B2 (en) 2014-10-27 2018-07-03 Dolby Laboratories Licensing Corporation Content mapping using extended color range
RU2661309C1 (ru) * 2015-02-17 2018-07-13 Долби Лэборетериз Лайсенсинг Корпорейшн Межслойное предсказание для сигналов с улучшенным динамическим диапазоном
WO2016140954A1 (en) 2015-03-02 2016-09-09 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
RU2666234C1 (ru) 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
WO2016172091A1 (en) 2015-04-22 2016-10-27 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the ipt-pq color space
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
EP3314893A1 (en) * 2015-06-30 2018-05-02 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
CN112040237A (zh) 2015-07-16 2020-12-04 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
US10575005B2 (en) * 2015-07-22 2020-02-25 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
CN107852502B (zh) 2015-07-28 2021-07-20 杜比实验室特许公司 用于增强视频信号的位深的方法、编码器、解码器和系统
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
US10129558B2 (en) 2015-09-21 2018-11-13 Qualcomm Incorporated Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding
CN108141599B (zh) 2015-09-23 2022-01-18 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
US10283032B2 (en) 2015-10-07 2019-05-07 Samsung Display Co., Ltd. Integrated circuit for nonlinear data encoding
US10311558B2 (en) * 2015-11-16 2019-06-04 Dolby Laboratories Licensing Corporation Efficient image processing on content-adaptive PQ signal domain
CN108370446B (zh) * 2015-12-09 2022-02-25 杜比实验室特许公司 具有减小的内插误差的低复杂度查找表构造
US10032262B2 (en) * 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10904534B2 (en) 2016-04-19 2021-01-26 Dolby Laboratories Licensing Corporation Enhancement layer masking for high-dynamic range video coding
US10074162B2 (en) * 2016-08-11 2018-09-11 Intel Corporation Brightness control for spatially adaptive tone mapping of high dynamic range (HDR) images
CN111447048B (zh) * 2017-03-24 2021-12-03 华为技术有限公司 数据传输的方法、设备和系统
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
EP3639238B1 (en) 2017-06-16 2022-06-15 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
CN110999300B (zh) * 2017-07-24 2023-03-28 杜比实验室特许公司 用于图像/视频处理的单通道逆映射
FR3076386B1 (fr) 2017-12-29 2020-02-07 Ateme Methode de compression dynamique
UY38111A (es) 2018-02-28 2019-10-01 Dolby Laboratories Licensing Corp Codificador lineal para el procesamiento de imágenes o video
EP3782365A1 (en) * 2018-04-16 2021-02-24 InterDigital VC Holdings, Inc. Quantization parameter prediction for video encoding and decoding
US10796200B2 (en) * 2018-04-27 2020-10-06 Intel Corporation Training image signal processors using intermediate loss functions
TW201946430A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像訊號轉換裝置及方法
US11151748B2 (en) * 2018-07-13 2021-10-19 Electronics And Telecommunications Research Institute 3D point cloud data encoding/decoding method and apparatus
WO2020089583A1 (en) * 2018-10-09 2020-05-07 V-Nova International Limited Signal element coding format compatability within a hierarchical coding scheme using multiple resolutions
CN111191783B (zh) * 2018-11-15 2024-04-05 嘉楠明芯(北京)科技有限公司 一种自适应量化方法及装置、设备、介质
CN110730350B (zh) * 2019-09-25 2021-08-24 杭州电子科技大学 结合编码深度估计和贝叶斯判决的shvc快速编码方法
WO2021108719A1 (en) * 2019-11-27 2021-06-03 Dolby Laboratories Licensing Corporation Rate-control-aware reshaping in hdr imaging
US11923070B2 (en) 2019-11-28 2024-03-05 Braid Health Inc. Automated visual reporting technique for medical imaging processing system
CN111402380B (zh) * 2020-03-12 2023-06-30 杭州小影创新科技股份有限公司 一种gpu压缩纹理处理方法
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质
KR102566794B1 (ko) * 2021-05-17 2023-08-14 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2022256205A1 (en) 2021-06-01 2022-12-08 Dolby Laboratories Licensing Corporation Rotation-enabled high dynamic range video encoding
CN117956173A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 图像分层编码方法和装置
CN117956168A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 图像编解码方法和装置
CN117354534B (zh) * 2023-12-04 2024-02-02 上海方诚光电科技有限公司 一种自适应图像无损压缩方法、设备及存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9102220D0 (en) 1991-02-01 1991-03-20 British Telecomm Method and apparatus for decoding video signals
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
US6118820A (en) 1998-01-16 2000-09-12 Sarnoff Corporation Region-based information compaction as for digital images
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
JP5249784B2 (ja) 2006-01-23 2013-07-31 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2008043198A1 (en) * 2006-09-30 2008-04-17 Thomson Licensing Method and device for encoding and decoding color enhancement layer for video
EP2084909A4 (en) * 2006-10-25 2012-11-21 Thomson Licensing NEW SYNTAXIC ELEMENTS FOR SVC TO ENABLE SCALE DEPTH OF COLOR BIT DEPTH
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
US8237865B2 (en) * 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
CN101796841B (zh) 2007-06-27 2012-07-18 汤姆逊许可公司 用增强层残差预测对视频数据编码/解码的方法和设备
KR101366249B1 (ko) 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
WO2009003499A1 (en) 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
WO2009051690A1 (en) 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
PL2835976T3 (pl) 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8867616B2 (en) 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
US8537900B2 (en) * 2010-10-04 2013-09-17 Vidyo, Inc. Automatic temporal layer bit allocation
WO2012048052A1 (en) * 2010-10-05 2012-04-12 General Instrument Corporation Method and apparatus for feature based video coding
US8731287B2 (en) 2011-04-14 2014-05-20 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
US9066070B2 (en) 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
RU2616158C2 (ru) 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
WO2012158504A1 (en) 2011-05-16 2012-11-22 Dolby Laboratories Licensing Corporation Efficient architecture for layered vdr coding
US9060180B2 (en) * 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術

Also Published As

Publication number Publication date
TWI575933B (zh) 2017-03-21
BR112014010311A2 (pt) 2017-04-18
JP2016213849A (ja) 2016-12-15
JP2014197893A (ja) 2014-10-16
US20140247869A1 (en) 2014-09-04
EP2774370B1 (en) 2018-12-12
RU2644065C9 (ru) 2018-04-04
CN104322072B (zh) 2016-04-20
US20170019670A1 (en) 2017-01-19
RU2644065C1 (ru) 2018-02-07
JP2015084560A (ja) 2015-04-30
KR20140098072A (ko) 2014-08-07
WO2013067101A1 (en) 2013-05-10
JP5666756B2 (ja) 2015-02-12
JP6182644B2 (ja) 2017-08-16
RU2586572C2 (ru) 2016-06-10
CN105744277B (zh) 2019-12-24
JP2014534743A (ja) 2014-12-18
CN105657425B (zh) 2020-02-14
EP3468203A1 (en) 2019-04-10
CN104322072A (zh) 2015-01-28
EP3468203B1 (en) 2023-09-20
KR101912249B1 (ko) 2018-10-29
CN105744277A (zh) 2016-07-06
HK1202742A1 (zh) 2015-10-02
US9497456B2 (en) 2016-11-15
TW201332363A (zh) 2013-08-01
JP5970501B2 (ja) 2016-08-17
CN105657425A (zh) 2016-06-08
BR112014010311B1 (pt) 2022-05-10
US9924171B2 (en) 2018-03-20
RU2014117573A (ru) 2015-11-10
HK1225540A1 (zh) 2017-09-08
EP2774370A1 (en) 2014-09-10

Similar Documents

Publication Publication Date Title
JP6182644B2 (ja) 階層的vdr符号化における層分解
KR101641523B1 (ko) 다층 vdr 코딩에서의 지각적으로-양자화된 비디오 콘텐트의 인코딩
US10136147B2 (en) Efficient transcoding for backward-compatible wide dynamic range codec
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
TWI812874B (zh) 張量乘積之b平滑曲線預測子
WO2020117603A1 (en) Interpolation of reshaping functions
JP7124100B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN114556940A (zh) 视频编解码器中的质量与计算复杂度之间的可调整的折衷
US20230254494A1 (en) Image prediction for hdr imaging in open-loop codecs
AU2022344154A1 (en) Tensor-product b-spline prediction for hdr video in mobile applications
GB2623148A (en) Constant rate factor video encoding control
WO2024134191A1 (en) Constant rate factor video encoding control
GB2625574A (en) Constant rate factor video encoding control

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160621

R150 Certificate of patent or registration of utility model

Ref document number: 5959607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250