JP6609056B2 - 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム - Google Patents

高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム Download PDF

Info

Publication number
JP6609056B2
JP6609056B2 JP2018534518A JP2018534518A JP6609056B2 JP 6609056 B2 JP6609056 B2 JP 6609056B2 JP 2018534518 A JP2018534518 A JP 2018534518A JP 2018534518 A JP2018534518 A JP 2018534518A JP 6609056 B2 JP6609056 B2 JP 6609056B2
Authority
JP
Japan
Prior art keywords
segment
data
transfer function
pivot point
metadata structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018534518A
Other languages
English (en)
Other versions
JP2018530282A (ja
Inventor
ミヌー、コーヤル
エム. バイロン、デイビッド
グ、ジョーイ
ユ、ユエ
ルトラ、アジェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Enterprises LLC
Original Assignee
Arris Enterprises LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arris Enterprises LLC filed Critical Arris Enterprises LLC
Publication of JP2018530282A publication Critical patent/JP2018530282A/ja
Application granted granted Critical
Publication of JP6609056B2 publication Critical patent/JP6609056B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本開示は、高ダイナミックレンジ(HDR:High Dynamic Range)および/または広色域(WCG:Wide Color Gamut)映像シーケンスの映像符号化および復号化の分野に関し、特に、このようなシーケンスを符号化するため、および、復号化映像シーケンスからHDRおよび/またはWCG映像シーケンスを回復するために使用される伝達関数を格納および送信するための方法に関する。
HDR映像およびWCG映像は、従来の標準ダイナミックレンジ(SDR:Standard Dynamic Range)映像よりも広範な輝度および色値を提供する。たとえば、従来の映像は、輝度および色の範囲が制限され得るため、画像の取り込み、符号化、および/または表示に際して、暗部またはハイライトの詳細が失われてしまう可能性がある。これに対して、HDRおよび/またはWCG映像では、より広範な輝度および色情報を取り込めるため、映像がより自然かつ実際に近い形で人間の眼に映ることになる。
しかし、MPEG−4高度映像符号化(AVC:Advanced Video Coding)および高効率映像符号化(HEVC:High Efficiency Video Coding)などの多くの一般的な映像符号化および復号化方式は、直接、HDRまたはWCG映像を取り扱うようには設計されていない。このように、HDRおよびWCG映像情報は通常、その情報がこれらの映像圧縮アルゴリズムのうちの1つを使用して符号化されることができる前に、他のフォーマットへと変換される。
例えば、EXRファイルフォーマットなどのHDR映像フォーマットは、10個の有効ビット、5個の指数ビットおよび1個の符号ビットを有する16ビット半精度浮動小数点値で、赤、緑、青(RGB)色空間の色を記述する。これらの値は、潜在的な強度および色値の広い範囲をカバーする。SDR映像は、非HDRおよび非WCG映像の色を表現するために8または10ビット整数値を採用する。多くの既存の映像圧縮アルゴリズムは、SDR映像での使用向けであり、したがって、8または10ビット整数値の受信を予期する。映像ダイナミックレンジを実質的に減少させることなく、または、大きな歪みを導入することなく、圧縮アルゴリズムが協働可能な10ビット値へと16ビット半精度浮動小数点色値を量子化することは困難であり得る。
いくつかの符号化器は、均一量子化の前に非線形値へと入力映像からの線形値を変換する符号化伝達関数を使用する。非限定的な例として、符号化伝達関数は、量子化範囲の一端または両端での輝度および/または色(クロミナンス)値を圧縮するガンマ関数を含み得、これにより、より大きな範囲が、符号化器に提供される8または10ビット値で表され得る。しかし、符号化器が非線形値へと線形入力値を変換するために符号化伝達関数を使用する場合であっても、符号化伝達関数は、入力映像の内容に応じて変化しないように固定であり得る。例えば、符号化器の符号化伝達関数は、0から10,000ニットまで(カンデラ毎平方メートル、すなわちcd/m)などのHDR範囲内のすべての可能な入力値を、8ビット値については0から255までまたは10ビット値については0から1023までの範囲の特定の非線形値に静的にマッピングするために定義することができる。しかし、入力映像がその範囲の一部のみに入力値を含む場合、固定マッピングによって量子化レベルの割り当てが不十分となり、再生画像中に量子化歪みが生じる可能性がある。例えば、主に青空を示すピクチャは、青の多くの類似した色合いを有する可能性があるが、それらの青の色合いは、符号化伝達関数が定義されている全範囲の小さな部分を占める可能性がある。このように、同系の青の色合いは同じ値に量子化され得る。この量子化は、輪郭削りまたはバンディングとして視聴者に知覚され得、青の量子化された色合いは、色合い間のより自然な遷移の代わりに、画面上に表示される空を横切ってバンド状に延びる。
さらに、人間の視覚系の精神物理学的研究では、特定の場所でのコントラストレベルへの視聴者の感度は、その場所自体の実際のレベルよりも周囲の場所の平均明るさに、より依存する可能性があることが示されている。しかし、多くの符号化伝達関数は、これを考慮せず、代わりに、周囲画素の特性を考慮に入れない固定変換関数またはテーブルを使用する。
映像データ符号化器は、メタデータを含む第1の自己参照データ構造(以下、メタデータ構造と称する)を生成して、映像データへと復号化映像データを再形成するために復号器によって適用される1つ以上の伝達関数を記述する。符号化器は、P個のピボットポイントに対して伝達関数をセグメント化し、構造内に値Pを格納する。次いで、復号化器は、P個のピボットポイントを格納するためにメタデータ構造内にP個のセルを割り当てる。各伝達関数セグメントは、N個の係数を有するそれぞれの方程式に、方程式の次数に基づいてフィッティングされる。符号化器は、P番目のピボットポイントを除く各ピボットポイントについてN+1個のセルを割り当て、第1のセルにおける数Nおよび残りのセルにおけるN個の係数を格納する。符号化器は、映像データセットに適用される伝達関数を識別するデータを含む、映像データセットに関連付けられた第2のメタデータ構造を生成する。符号化器は、第1および第2のメタデータ構造を含む映像データを符号化する。
本発明のさらなる詳細については、添付の図面を用いて説明する。
符号化システムおよび復号化システムを含む映像符号化システムの実施形態を示す図。 2つまでの色ボリューム変換処理および2つの伝達関数を使用して、非HDR、非WCG映像符号化器と互換性のある符号化ビットストリームへと入力HDRおよび/またはWCG映像シーケンスを符号化し、逆色ボリューム変換処理および伝達関数を使用する相補的映像復号化器で復号化映像へと符号化ビットストリームを復号化するための処理の第1の例を示す図。 2つまでの色ボリューム変換処理および2つの伝達関数を使用して、非HDR、非WCG映像符号化器と互換性のある符号化ビットストリームへと入力HDRおよび/またはWCG映像シーケンスを符号化し、逆色ボリューム変換処理および伝達関数を使用する相補的映像復号化器で復号化映像へと符号化ビットストリームを復号化するための処理の第1の例を示す図。 符号化器によって使用される符号化伝達関数が知覚正規化演算と組み合わされ、復号化器によって使用される逆符号化伝達関数が逆知覚正規化処理と組み合わされた、非HDR、非WCG映像符号化器および復号化器を使用して入力HDRおよび/またはWCG映像シーケンスを符号化および復号化するための処理の第2の例を示す図。 符号化器によって使用される符号化伝達関数が知覚正規化演算と組み合わされ、復号化器によって使用される逆符号化伝達関数が逆知覚正規化処理と組み合わされた、非HDR、非WCG映像符号化器および復号化器を使用して入力HDRおよび/またはWCG映像シーケンスを符号化および復号化するための処理の第2の例を示す図。 図2Aおよび図3Aに示す符号化器によって適用され得る例示的な符号化伝達関数を示すグラフ。 図2Bおよび図3Bに示す復号化器によって適用され得る例示的な逆符号化伝達関数を示すグラフ。 逆符号化伝達関数を記述するメタデータの格納を示すデータ図。 逆符号化伝達関数を記述するメタデータの格納を示すデータ図。 逆符号化伝達関数を記述するメタデータの格納を示すデータ図。 逆符号化伝達関数を記述するメタデータの格納を示すデータ図。 逆符号化伝達関数を記述するメタデータの格納を示すデータ図。 逆符号化伝達関数を記述するメタデータの格納を示すデータ図。
以下に説明する例示的なシステムおよび方法は、効率的にHDRおよび/またはWCG映像を圧縮するために、符号化伝達関数を適応させ、または、HDRおよび/またはWCG映像データを別様に変換および/または再分配し、これにより、該データは、HEVC(高効率映像符号化)、H.264/MPEG−4 AVC(高度映像符号化)またはMPEG−2符号化器などの非HDR、非WCG符号化器によって量子化および符号化され得、そして、受信器でHDRおよび/またはWCGデータの少なくとも一部を回復するために再構成され得る。伝達関数は、入力映像のグループオブピクチャ、ピクチャまたはサブピクチャウィンドウのレベルでの実際の映像内容に基づき得る。これらの映像処理は、潜在的な値の全範囲にわたってとする代わりに入力映像データの時間的および/または空間的セグメントに実際に存在する色および/または強度情報を圧縮する非線形値の曲線またはトーンマップを生成することによって達成され得る。このように、非線形値が均一に量子化される場合、均一量子化によって導入されるノイズおよび/または歪みを、人間の視聴者によって知覚されにくくなるように最小限に抑えることができる。加えて、入力映像データを圧縮して符号化するために使用される符号化伝達関数に関するメタデータ情報は、復号化器に送信される自己参照メタデータ構造へと効率的に挿入される。復号化器は、映像データを復号化する際に、対応する逆演算を実行するためにルックアップテーブル(LUT)としてこの伝達関数を回復する。
図1は、符号化器システム100と復号化器システム150とを含む映像符号化システムの実施形態を示す。符号化器100システムは、入力映像を符号化ビットストリーム109へと符号化、トランスコードおよび/または圧縮するよう構成された、プロセッサ(デジタルシグナルプロセッサ(DSP)または専用映像プロセッサを含む)、メモリ、回路および/または他のハードウェアおよびソフトウェア要素を含むことができる。符号化器システム100は、例えば、HEVC(高効率映像符号化)、H.264/MPEG−4 AVC(高度映像符号化)またはMPEG−2などの映像符号化フォーマットおよび/または圧縮方式に従って符号化ビットストリーム109を生成するように構成することができる。
例示的な符号化器システム100は、映像源102からHDRおよび/またはWCG映像データを受信する。システム100は、プリプロセッサ104を含み、これは、HDRおよび/またはWCGデータを適応的に処理し、これにより、該データは符号化器106およびメモリ105を用いて符号化され得る。符号化器106は、参照ピクチャキャッシュ118内の参照ピクチャを用いて映像データを符号化するMain 10 HEVC符号化器であり得る。符号化映像データは、メモリ105に記憶され得、これはまた、復号化器106および/またはプリプロセッサ104によって使用されるデータ、例えば伝達関数および/またはトーンマップを実装するルックアップテーブルを記憶し得る。プリプロセッサ104および符号化器106は共有メモリ105を使用するものとして示されているが、それらは別個のメモリを使用し得ることが企図される。符号化データは、復号化器システム150の受信器110へビットストリーム109として送信器108を使用して送信され得る。送信器および受信器は、有線、無線または光接続を含む、任意の送信方法を使用し得る。1つの実施形態では、送信器は、インターネットプロトコル(IP)パケットとして符号化映像データをフォーマットして、ネットワークを介して受信器110にIPパケットを送信し得る。ネットワークは、直交振幅変調(QAM:Quadrature Amplitude Modulation)を使用するデジタルケーブルテレビ接続、または、他のデジタル伝送メカニズムであり得る。ネットワークは、有線ケーブルネットワーク、光ファイバネットワークまたは無線ネットワークであり得る。ネットワークは、プライベートネットワークまたはグローバル情報ネットワーク(例えば、インターネット(登録商標))であり得る。符号化映像データの送信に加えて、送信器100は、プリプロセッサ104によって実行される処理を記述するメタデータ122を送信する。メタデータ122は別個の信号として示されているが、メタデータ122は、例えば画像エッセンス、画像シーケンス、グループオブピクチャ(GOP:Group of Pictures)、ピクチャ、スライスまたは他のサブピクチャ要素のビットストリーム内またはヘッダ内の付加拡張情報(SEI:Supplemental Enhancement Information)または映像ユーザビリティ情報(VUI:Video Usability Information)として、ビットストリーム109に含まれ得る。SEIまたはVUIは、矩形の処理ウィンドウを識別し得、該ウィンドウは、入力画像データのxおよびy座標と、識別された処理ウィンドウ上で符号化器によって実行される処理を定義する特定のメタデータとによって定義される。メタデータは、送信ビットストリームの帯域幅の一部を使用する。したがって、符号化器システム100から復号化器システム150へ送信されるメタデータの量を低減することが望ましい。
復号化器システム150は、受信器110でビットストリーム109を受信し、符号化ビットストリーム109をディスプレイ116での提示のために復号化HDRおよび/またはWCG映像へと復号化、トランスコードおよび/または解凍するよう構成された、プロセッサ、メモリ、回路および/または他のハードウェアおよびソフトウェア要素を含むことができる。復号化器システム150は、H.265 HEVC、H.264/MPEG−4 AVCまたはMPEG−2などの映像符号化フォーマットおよび/または圧縮方式に従って復号化器112を使用して符号化ビットストリーム109を復号化するように構成することができる。非限定的な例として、いくつかの実施形態では、復号化器112は、参照ピクチャキャッシュ120に格納された参照画像を使用するMain 10 HEVC復号化器とすることができる。復号化器112は、メモリ111に結合されており、メモリ111は、符号化ビットストリームを保持し、また、逆伝達関数および/またはトーンマップを実装するルックアップテーブルなどの、復号化器112および/またはポストプロセッサ114が使用するデータを保持し得る。復号化器112およびポストプロセッサ114は、共有メモリ111を使用するものとして示されているが、それらは別個のメモリを使用し得ることが企図される。映像データが復号化された後、該データはポストプロセッサ114によって処理され、ポストプロセッサ114は、符号化器から受信したメタデータに応じて、プリプロセッサ104によって実行される処理を逆転させ、HDRおよび/またはWCG映像データを再生する。復号化HDRおよび/またはWCG映像データを、テレビ、モニタまたは他のディスプレイ116上での再生など、再生用のディスプレイデバイスに出力することができる。
いくつかの実施形態では、符号化器システム100および/または復号化器システム150は、専用のハードウェアデバイスとすることができる。他の実施形態では、符号化器システム100および/または復号化器システム150は、サーバ、コンピュータまたは映像処理デバイスなどの他のハードウェア上で実行されるソフトウェアプログラムとすることができ、または、それらを使用することができる。非限定的な例として、符号化器システム100は、映像サービスプロバイダによって運用される映像符号化器とすることができ、一方、復号化器システム150は、コンシューマテレビディスプレイに接続された、ケーブルボックスなどのセットトップボックスの一部とすることができる。
映像源102によって提供される入力映像データは、画像フレームのシーケンス、グループオブピクチャ(GOP)または画像エッセンスを含むことができる。いくつかの実施形態では、ピクチャ内の色は、色空間または色モデルに応じて1つ以上の値を使用してデジタル的に記述することができる。非限定的な例として、ピクチャ内の色は、色が赤チャネル、緑チャネルおよび青チャネルの値の組み合わせにより記述されたRGB色モデルを用いて示すことができる。
入力映像データは、高ダイナミックレンジ(HDR)および/または広色域(WCG)で記述される輝度および/またはクロミナンス値を伴う1つ以上のフレームシーケンスを有するHDR映像とすることができる。非限定的な例として、高ダイナミックレンジを有する映像は、非HDR映像よりも広い範囲の可能な値のスケールで示される輝度値を有することができ、広色域を使用する映像は、少なくともいくつかのチャネルで非WCG映像よりも広い範囲の可能な値の色モデルにて発現されるその色を有することができる。このように、HDR入力映像は、標準または非HDR映像よりも広い範囲の輝度および/またはクロミナンス値を有することができる。
いくつかの実施形態では、HDR入力映像データは、色チャネルあたり8または10ビットなどのより低いビット深度を用いて色値を表す非HDRフォーマットに対して、高ビット深度フォーマット内のRGB値で示されるその色を有することができる。非限定的な例として、HDR入力映像データは、各色チャネルについて(10個の有効ビット、5個の指数ビットおよび1つの符号ビットを有する)16ビット浮動小数点値を用いて線形光RGB領域で表されるRGB色値を伴うEXRファイルフォーマットとすることができる。
図2Aに示すように、符号化器システム200は、処理データの10ビット値への量子化、クロミナンス情報のダウンサンプリング、および、Main 10 HEVC符号化器などの既存の符号化器216を使用して得られたデータの符号化の前に、第1の(中間)色変換演算(色ボリューム変形)202、第1の伝達関数204、第2の(最終)色変換演算206、第2の(符号化)伝達関数208および任意選択の知覚正規化演算210を、線形HDR RGBデータに適用することができる。ブロック202、204、206、208および210は、映像内容の1つ以上の時間的および/または空間的局所化特性に基づいて、非線形曲線上の値へと映像源202からの線形HDR RGB値を変換する圧縮および知覚マッピング演算を実装する。
非限定的な例として、知覚マッピング演算は、映像データセットの内容に合わせて調整することができ、これは、意図される最大サンプル値または最小サンプル値、最小明るさ、平均明るさ、ピーク明るさ、最大コントラスト比、累積分布関数、量子化ステップサイズおよび/またはデータセット内の任意の他の要因に基づいて、HDR/WCG映像データの全てまたは一部を含み得る。いくつかの実施形態では、このような特性をデータセットについて予め決定して指定することができる。あるいは、特性を、処理の様々な段階における、映像の色成分または輝度成分のヒストグラムまたは統計解析により求めることができる。1つの例では、デジタル画像データは、伝達関数またはトーンマッピング演算を適用する前に、処理ウィンドウへとセグメント化され得る。各処理ウィンドウの1つ以上の成分(例えば、Y’CbCr)は、例えば、最小サンプル値、最大サンプル値、平均サンプル値、値、および最大コントラスト(例えば、最大サンプル値の最小サンプル値に対する比)を決定するために分析され得る。これらの値は、単一成分または2つ以上の成分の組み合わせについて計算され得る。これらの値は、処理ウィンドウに適用するための知覚マッピング(例えば、符号化伝達関数および知覚正規化)を決定するために分析され得る。
例示的な知覚マッピングは、符号化器216を用いてより効率的にHDR映像データを符号化できるように、グローバルまたはローカルな時間的または空間的範囲上の入力映像データの内容に合わせて調整される非線形曲線上の線形色情報を再分配するように構成されており、これにより、該データは、図2Bに示す復号化システム220内のHDR映像データとして復号化および再構成され得る。後述するように、入力映像の内容に基づく他の色空間への線形色値の変換および非線形曲線の適用は、均一量子化演算を介して導入される歪みおよび/またはノイズのリスクを低減しながら、再構成画像にHDRおよび/またはWCG詳細を提供することができる。いくつかの実施形態では、映像フレームの一部に存在する、および/または、人間の視聴者に最も知覚されやすい強度および色相の範囲に、より大きな数のビットおよび/または量子化レベルを割り当てることができ、一方、色チャネルに存在しない、および/または、視聴者に知覚されにくい強度および色相に、より小さなビットおよび/または量子化レベルを割り当てることができる。
非限定的な例として、入力映像データが夜間に起こるシーンを表す場合、その画像は主に、RGB領域で実質的に一緒に束ねられる暗色を含む可能性がある。このようなシーンでは、RGB領域内のより明るい色は、存在しないか、またはまれである可能性がある。このような状況では、シーン内に存在しない値を省略または強調抑制しつつ、クロミナンスおよび輝度値が、シーン内に実際に存在するクロミナンスおよび輝度値の範囲を含む1つ以上の非線形曲線に再分配されるように、結合知覚マッピングを適応させることができる。このように、以前に一緒に束ねられた暗いクロミナンスおよび輝度値を、(より大きな数の均一量子化ステップを割り当てられた)非線形値の曲線に実質的に均一に広げることができ、一方、あまり一般的ではない、より明るい値を、一緒に圧縮する(より少ない数の量子化ステップを割り当てる)ことができ、あるいは、それらがシーンに存在しない場合には省略すら行うことができる。暗い値を曲線上に広げることができるので、非線形曲線上の値を離散値またはコードワードへと均一に量子化する場合であっても、それらの間の微細な違いを区別することができる。
上述のように、知覚マッピング演算は、ピクチャのシーケンス、単一ピクチャまたはサブピクチャウィンドウについて入力映像の内容に応じて異なる非線形伝達関数を適用するよう変更することができるように、適応的とすることができる。サブピクチャ処理により、処理ウィンドウ、スライス、AVCのマクロブロックまたはHEVCの符号化ツリー単位(CTU:Coding Tree Unit)などの、同じピクチャの異なるサブエリアを、その内容に基づいて異なるように処理することができる。他の実施形態または状況では、知覚マッピング演算を、異なるピクチャについてピクチャレベルで変更することができる。さらに他の実施形態または状況では、知覚マッピング演算を、異なるグループオブピクチャ(GOP)または画像エッセンスなどのピクチャの異なるシーケンスについて、超(supra)ピクチャレベルで変更することができる。知覚マッピング演算を、RGB、Y’CbCr、X’Y’Z’またはI’PT色空間などの任意の所望の色空間にて適用することができる。ピクチャの特定シーケンス、単一ピクチャまたはサブピクチャ要素を表す映像データの内容は、映像データによって表される画素値のヒストグラムを生成することによって決定され得る。例えば、比較的暗いエリアおよび比較的明るいエリアの両方を有する画像は、例えば四分木アルゴリズムを使用してセグメント化され得、これにより、暗いエリアからのデータが処理ウィンドウの1つのセットになり、明るいエリアからのデータはウィンドウの別のセットになる。暗いエリアのウィンドウに適用される知覚マッピングは、明るいエリアに適用されるものとは異なり得、両エリアにおける詳細を維持して再生HDR画像に表示することができる。
1つの実施態様では、知覚正規化ブロック210および/または符号化伝達関数ブロック208は、知覚的にマッピングされたY’CbCr値を生成するために、色変換ブロック206によって提供されるY’CbCr値に知覚マッピング伝達関数を適用することができる。いくつかの実施形態では、知覚マッピング演算は、関連する知覚的にマッピングされたY’CbCr値にY’CbCr値をマッピングする3Dルックアップテーブル(LUT)または複数の1DのLUTを使用することができる。他の実施形態では、知覚マッピング演算は、各色成分を変換するために1つ以上の数式を使用することができる。非限定的な例として、知覚マッピング演算は次のような数式を使用して値を変換することができる:Y’_PM=f(Y’,Cb,Cr)Cb_PM=g(Y’,Cb,Cr)Cr_PM=h(Y’,Cb,Cr)。この例では、関数は各々、入力として3つのY’CbCr値を取り、知覚的にマッピングされたY’CbCr値を出力することができる。
符号化伝達関数を実装するために1つ以上のLUTまたは方程式が使用される場合、符号化システム100から復号化システム150へと対応する逆符号化伝達関数を定義するメタデータを送信することが望ましい場合がある。異なるグループオブピクチャ、ピクチャまたはサブピクチャ処理ウィンドウについて異なる符号化関数を使用し得るので、符号化システム100は、LUTおよび/または方程式のそれぞれを記述するメタデータを復号化システム150へ送信し得る。以下のマテリアルは、効率的なデータ構造(すなわちメタデータ構造)、および、このメタデータを格納して送信するための方法を記述し、これにより、メタデータは、符号化システム100と復号化システム150との間で、全信号帯域幅のうち比較的少量を消費する。
図2Aに示すように、例示的な符号化器200はHDR/WCG線形RGBデータセット上に第1の色変換演算202を行う。この演算は、中間線形色空間、例えば、LMS、XYZまたはYCbCrへと線形RGB値を変形する。この変形は、RGBデータの冗長性を低減し、データを、より圧縮に資するフォーマットにする。しかし、入力データのフォーマットに応じて、ブロック202は、まったく色変換を行わないか、または、単一フレームの異なる部分を含む映像シーケンスの異なる部分に異なる色変換演算を実行し得ることが企図されている。色変換演算202はまた、実行された変換演算、および、シーケンス、フレームまたは画像のどの部分にそれが実行されたか、を示すメタデータを生成し得る。単に変形を識別する代わりに、メタデータは、ブロック202により適用される色変形演算の逆を表す行列係数を含み得る。逆係数を含むメタデータの代わりに、それが色ボリューム変換演算202にて使用された係数を含み得ること、および、逆係数が復号化器204で生成され得ることが企図される。色変換演算202は、第1の伝達関数204により処理することがより容易な色空間内のデータを生成し得る。
伝達関数204は、値のより小さい範囲へと明るいおよび/または暗い画素値を圧縮するガンマ関数であり得る。あるいは、伝達関数204は知覚量子化(PQ:Perceptual Quantization)伝達関数などの知覚伝達関数であり得る。別の代替として、色変換映像データの変形をまったくもたらさない恒等関数であり得る。この関数は、輝度チャネルにのみ、または、各チャネルに適用することができ、異なる関数が、映像シーケンスの異なる部分および/またはシーケンスにおける異なるフレームまたはフレームの部分に適用され得る。例えば、画像の比較的暗いエリアの輝度チャネルに適用されるガンマまたはPQ伝達関数は、その画像エリア内のクロミナンスチャネルデータに適用される関連演算(例えば、クロスチャネルスケーリング演算)をもたらし得る。ブロック204はまた、適用された変形の逆、および、それが適用された画像データの部分を記述するメタデータも生成する。このメタデータは、線形、二次、三次またはより高次の方程式として逆伝達関数を記述するパラメータを含み得る。完全な伝達関数は、逆伝達関数の各セグメントをモデル化する、線形、二次または三次方程式の係数を指定するために、例えば、線形二次、三次またはより高次のスプライン曲線フィッティング演算を使用して、これらの値から生成され得る。これらの方法を用いて、伝達関数は、ピボットポイントの各連続ペアを結合する関数について線形、二次、三次またはより高次の方程式のピボットポイントおよび係数のシーケンスとして指定され得る。
次いで、ブロック204からの色変換および変形データは、ブロック206において最終的な色変換演算の対象となる。この色変換処理は、例えば、特にWCG画像データについて、より知覚圧縮に適しているI’PTまたはY’CbCrなどの色空間に映像データを変換し得る。ブロック206は、知覚正規化および量子化のための処理がより容易である1つ以上の色空間へと画像のシーケンス、単一画像または画像の部分を変換し得る。ブロック202と同様に、ブロック206によって実行される色変換は、恒等関数であり得、その結果、変換はない。あるいは、異なる色変形演算が、映像データの異なる部分上で実行され得る。さらに、ブロック206は、実行された色変換、および、それが適用された映像データの部分(超フレーム、フレームまたはサブフレーム)を記述するメタデータを生成することができる。このメタデータは、単にデータの部分および適用された変換を識別し得る。あるいは、変換を識別する代わりに、メタデータは、3×3変換行列の係数を含み得る。上述したように、メタデータは、ブロック206によって実行された色変換またはその逆を記述し得る。
ブロック206の後、二度色変換された映像データが、第2の伝達関数208の対象となる。関数208は、人間の視覚系によって重要であると知覚される映像情報を強調すること、および、重要でないと知覚される映像情報を強調抑制することによって、量子化および符号化のための映像データを準備する符号化伝達関数であり得る。伝達関数208は、人間の知覚にデータを適合させる関数であり得、例えば、処理される映像データの部分における画像内容、意図される最大サンプル値および最小サンプル値、最大明るさまたは輝度コントラストおよび/または量子化ステップサイズに基づいて選択することができるガンマ成分を有するスティーブンスのべき法則(Stevens’ power law)またはウェーバーの法則(Weber law)の伝達関数であり得る。ブロック208は、複数の伝達関数を含み得、そのうちの1つは、特定の映像データセットについて選択される。伝達関数208は、輝度画素のコントラスト感度を考慮するために画像を調整し得、輝度サンプルに適用される変形に基づいて、対応するクロミナンスサンプルを再マッピングし得る。この関数は、処理ウィンドウなどの、フレームのシーケンス、単一フレームまたはフレームの部分を含み得る映像データセットに適用され得る。前処理ステージ内の他のブロックと同様に、符号化伝達関数ブロック208は、適用された伝達関数またはその逆、および、それが適用されたフレームまたはフレームの部分を記述するメタデータを生成することができる。このメタデータは、パラメトリックに、または、値のシーケンスによって伝達関数を記述し得る。適用される伝達関数のパラメータは、伝達関数に提供される映像データを分析することによって決定され得る。
1つの実施態様では、複数の逆伝達関数は、様々なデータセットに適用される複数の伝達関数に対応して定義され得る。複数の逆伝達関数を記述する情報は、比較的高いレベル(例えば、画像エッセンス、シーケンスまたはGOPレベル)で画像データにシグナリングされ得、複数の逆伝達関数のうちの特定の1つは、特定のデータセット(例えば、画像、スライスまたはサブ画像処理ウィンドウ)に適用されるように選択され得る。
映像データは、例えば、画像データに四分木分解を適用することにより、処理ウィンドウへと分割され得、これにより、各リーフのデータは、特性値(例えば、最大サンプル値および最小サンプル値、最大明るさまたは輝度コントラストおよび/または量子化ステップサイズ)を有する。あるいは、四分木アルゴリズムは、四分木の各リーフにおける画像データの所定割合(例えば、80〜95%)が(1つまたは複数の)所定範囲内のデータ値を有するように、画像を分割し得る。別の代替では、処理ウィンドウは、カラリストによって決定されるように、所望の主観的目標を達成するためにトーンマッピングが適用される領域として指定されることができる。領域形状は、矩形、円形等とすることができ、形状、位置、サイズ等のパラメータを指定することができる。処理ウィンドウを識別する場合、処理ウィンドウ内の映像データの各映像成分の最大値、平均値および最小値を決定して、伝達関数ブロック208にこれらの値を供給することが望ましい場合がある。例えば、システムは、ビンへと画像画素を分割する処理ウィンドウ上でヒストグラムを実行すること、および、処理ウィンドウ内の画素のある割合(例えば、80〜95%)にまたがる連続ビンのセットを選択することによって、最小値、平均値および最大値を決定し得る。最小データ値は、最小データ値を含むビンによって定義される最小値であり得、最大データ値は、最大データ値を含むビンによって定義される最大値であり得、平均値は、全ての選択ビンのすべての値の平均値または中央値であり得る。次いで、ブロック208は、符号化伝達関数および/または知覚正規化器210を適応させ(例えば、あらかじめ定義された伝達関数の特定の1つを選択して)、最小値未満のおよび/または最大値よりも大きい値に割り当てられた量子化ステップの数を減少させながら、最小値と最大値との間に割り当てられた量子化ステップの数を増加させる。適応は、処理ウィンドウを識別するデータをも含むメタデータに記載される。このメタデータは、ビットストリームで復号化器に送られ、これにより、逆知覚正規化および逆符号化伝達関数が、ビットストリームから復号化されたデータに適用され得る。メタデータは、複数の逆伝達関数が取得され得るデータ、ならびに、選択伝達関数を記述するパラメータを含み得、これにより、選択逆伝達関数をルックアップテーブル(LUT)として再構成し得る。
処理ウィンドウの識別が、符号化伝達関数ブロック208によって実行されるものとして記述されている場合、それが復号化器の他の構成要素によって実行され得ることが企図される。例えば、それは、(図1に示す)映像源102によって、または、中間色変換ブロック202によって実行され得る。処理ウィンドウへと個々のフレームを分割することに加えて、同じアルゴリズムが、それらの共通の特性によってデジタル映像データのフレームをグループ化するために、および/または、個々のフレームの特性を識別するために使用され得る。共通の特性を有するデジタル映像データの部分を符号化処理の早期において識別することは有利であり得、これにより、色変換処理および圧縮伝達関数処理の両方が同一の部分に合わせて調整され得る。
符号化伝達関数208の後、映像データセットは、ブロック210で知覚正規化の対象となり得る。このステップは、映像データのゲイン(スケーリング)およびオフセットを調整し、映像データの知覚圧縮をフレームのグループおよび/またはフレームにわたって、より均一にする。知覚正規化はまた、対応する輝度サンプル上で実行される処理についてクロミナンスサンプルを補償するためにクロスチャネル処理を行い得る。ゲインおよびオフセット値またはそれらの逆、ならびに、それらが適用された画像データの部分の識別は、メタデータとして提供される。均一に知覚変換されたデータを伝達関数204および208が生成する場合、または、映像データにとって均一に知覚変換されることが重要でない場合、知覚正規化は使用されなくてもよい。
Main 10 HEVC符号化器を使用するこの例では、伝達関数208および/または任意選択の知覚正規化処理210によって提供される正規化知覚圧縮データは、量子化器212にて10ビット値に量子化される。伝達関数208および/または知覚正規化器210の出力サンプルが浮動小数点値である場合、量子化器212は、浮動小数点から10ビット固定小数点値へ画素サンプルを変換し得る。出力サンプルがNビット固定小数点値(N>10)である場合、量子化器は、Nビットサンプルの10個の最上位ビット(MSB:Most Significant Bit)を選択し得、または、11番目ビットに基づいてこれらの値を丸め得る。ブロック202、204、206、208および210によって実行される前処理のため、より知覚的に顕著な画像データが、より知覚的に顕著でないデータよりもより多くの数の量子化レベルを受け取る。量子化器212が色成分についてスカラーまたはベクトル量子化を採用し得ることが企図される。
次に、ブロック214は、クロミナンス情報をダウンサンプリングして4:2:0画素へと4:4:4画素を変換する。クロミナンスサンプルの解像度低下は、輝度よりも低い空間解像度で色を知覚する人間の視覚系にとって、気付かれにくいものである。クロミナンス情報をダウンサンプリングするために実行される処理を定義するメタデータは、符号化器のダウンサンプリングブロック214からのメタデータに追加される。このメタデータは、例えば、ダウンサンプリングされたデータを生成するために使用された二次元空間フィルタまたはダウンサンプリングされたデータから空間的にアップサンプリングされたデータを生成する逆フィルタのカーネルを記述し得る。メタデータはまた、サブサンプリング演算で任意の位相シフトオフセットを指定し得る。次いで、符号化器216は、前処理され、量子化およびダウンサンプリングされたデータを符号化し、出力ビットストリームを生成する。1つの実施形態では、メタデータは、付加拡張情報(SEI)または映像ユーザビリティ情報(VUI)データとしてビットストリームで符号化される。ブロック214は4:4:4画素を4:2:0画素に変換するものとして示されているが、他の変換、例えば、4:4:4画素から4:2:2または4:1:1画素フォーマットへの変換が実行され得ることが企図される。これらの代替のダウンサンプリングフォーマットのいずれかがブロック214によって生成される場合、対応するアップサンプリングが、復号化システムにおける対応するブロックによって実行されるであろう。
図2Bに示す復号化システム220は、復号化器222でビットストリームを受信する。例示のMain 10 HEVC復号化器222は、メタデータを抽出し、符号化器216により実行される符号化演算を逆転させて4:2:0画素フォーマットで10ビット映像データを生成する。クロミナンスダウンサンプラ214によって生成されるメタデータは、アップサンプラ224に適用され、アップサンプラ224は、例えば空間補間フィルタに4:2:0サンプルを適用することにより、4:2:0サンプルから4:4:4画素フォーマットサンプルを再構成する。これらのサンプルは、浮動小数点値に4:4:4画素サンプルを変換する、または、固定小数点サンプルにゼロ値の上位ビットを追加し得る逆量子化器226に提供される。逆量子化器226によって実行される演算は、量子化器212によって実行される量子化演算を逆転させる傾向がある。
ブロック228は、知覚正規化ブロック210から受信したメタデータに基づいて、相補的ゲインおよびオフセット演算を実行して、知覚正規化フィルタ210によって実行されるゲインおよびオフセット調整を逆転させる。同様に、ブロック230は、符号化伝達関数208の逆である伝達関数を適用する。これは、メタデータ内のパラメータから発生する逆スティーブンス法則または逆ウェーバー法則伝達関数であり得、または、それは、線形化またはより高次の特性の適用フィルタ特性またはラインセグメントのいずれかのサンプルを表すメタデータの値から再生される伝達関数であり得る。上記のように、複数の逆伝達関数が、シーケンスまたはGOPレベルにおいて指定されていてもよく、これらの伝達関数のうちの1つが、映像データセット(例えば、フレームまたはサブフレーム)について、映像データセットの内容に応じてシグナリングされ得る。
同様に、復号化器220のブロック232、234および236はそれぞれ、ブロック206によって実行される最終的な色変換演算、ブロック204によって実行される第1の伝達関数および符号化器200のブロック202によって実行される中間色変換演算を逆転させる。これらの演算は、メタデータによって示されるように色変換演算および伝達関数に関連付けられた(1つまたは複数の)フレームの領域を表すデータセットに対してのみ実行される。逆色変換ブロック236によって提供される出力データは、再構成された線形HDRおよび/またはWCG RGB信号である。画像暗部の詳細およびテクスチャならびに画像の暗部と明部との両方の色値などの知覚的に重要なデータは、再構成データに保存される一方、知覚的にあまり重要でないデータは失われ得る。図2Aおよび図2Bに示されているシステムならびに以下の図3Aおよび図3Bに示されているシステムは、線形HDR RGBデータを受信して再構成するように示されているが、それらが他のHDRおよび/またはWCGデータを受信および再構成し得ることが企図される。
図3Aおよび図3Bは、図2Aおよび図2Bに示されている符号化および復号化システムの変形例を記載している。図3Aおよび図3Bに示すブロックの多くは、同じ番号を有する図2Aおよび図2B内のブロックと同じである。簡潔にするため、これらのブロックの演算は、個別には本明細書中に記載されていない。一方の図2Aおよび図2Bならびに他方の図3Aおよび図3Bにおける違いの1つは、知覚再形成ブロック304、および、図3Bに示す対応する逆知覚再形成ブロック327である。ブロック304は、符号化伝達関数306を知覚正規化演算308と組み合わせ、同様に、ブロック327は、逆知覚正規化演算326および逆符号化伝達関数ブロック328を組み合わせる。
図2Aおよび図2Bに示すシステム200および220の間の、図3Aおよび図3Bに示す各システム300および320に対する別の違いは、処理ストリームにおけるクロミナンスダウンサンプリング処理302およびクロミナンスアップサンプリング処理330の位置である。図3Aにおいて、ダウンサンプリング処理302は、最終的な色変換処理206によって提供されたデータ上で演算される。同様に、図3Bにおいて、アップサンプリング処理330によって提供されるアップサンプリング出力値は、処理206の逆である逆色変換処理232に適用される。ダウンサンプリングおよびアップサンプリング処理の再配置により、ダウンサンプリングされたクロミナンス値を有する画素に対して知覚再形成処理が実行されることとなる。この変形例により、図2Aに示す対応ブロック208,210および212ならびに図2Bに示すブロック226、228および230によって処理されるよりも、図3Aに示すブロック306、308、310ならびに図3Bに示すブロック324、326および328によって処理されるクロミナンスサンプルがより少なくなるので、より少ない処理をもたらし得る。上記のように、符号化伝達関数306を伴って知覚正規化処理308によって実行されるオフセットおよびゲイン調整を含める工程と、逆符号化伝達関数328を伴って逆知覚正規化処理326によって実行されるオフセットおよびゲイン調整を含める工程とにより、さらなる処理の低減を達成し得る。したがって、図3Aおよび図3Bに示す符号化器および復号化器システムは、図2Aおよび図2Bに示す符号化器および復号化器よりもより効率的であり得る。
1つの例では、入力色成分をx(例えばY,Cb,Cr)とすると、f(x)として、すなわちf(x)に基づいて、逆再スケーリングの出力を計算することができる。N個のセグメントを有する区分関数について、N個の関数f(x)は、0≦i<Nとして、以下のように定義することができる。
1つの実施態様では、本明細書でピボットと称されるN+1個のセグメント境界ポイントxと、区分関数についてのパラメータとをシグナリングすることができる。f(x)が次数Mを有する多項式である場合、多項式を記述するメタデータは、M+1個のパラメータを含む。シグナリング値に基づいて、逆再形成伝達関数に対応するLUTを、復号化システム150において再構成することができる。異なるLUTを、各色成分について使用することができ、どのLUTが所与の画像またはサブ画像処理ウィンドウにおける所与の色成分について再成形するために使用されるかについての指示も、メタデータにてシグナリングすることができる。複数(L個)の逆再形成伝達関数をシグナリングするために使用されるメタデータの量を低減するために、L個のLUTについての対応する区分関数を、符号化システム100から復号化システム150へと送信されるメタデータを含む自己参照メタデータ構造にてシグナリングし得る。
図4および図5はそれぞれ、例示的な再形成伝達関数および逆伝達関数を示す。図4に示す関数410、420および430は、それぞれ異なったガンマ値を有するガンマ符号化伝達関数であり、図5に示す関数510、520および530は、対応する逆ガンマ伝達関数である。逆伝達関数510は、4つのピボットポイントによって定義される3つのセグメントへと分割される。最初のピボットポイントA、および最終ピボットポイントNは、すべての3つの伝達関数について共通である。関数510は、ピボットポイントAおよびNに加えて2つのピボットポイント510Bおよび510Cを有する。ピボットポイントAおよび510B間のセグメントがほぼ線形である(例えば、その線形係数の5%未満である二次係数を有する)ことに留意されたい。ポイント510Bおよび510C間のセグメントは曲線を示し、したがって、有意な二次および三次係数を有し得る。ピボットポイント510CおよびピボットポイントN間のセグメントも、ほぼ線形である。
曲線520によって定義される伝達関数は、ポイントAおよび520B間のセグメントがほぼ線形であり、ポイント520Bおよび520C間のセグメントが曲線であり、ポイント520CおよびN間のセグメントがほぼ線形であるという点で、510によって定義されたものと同様である。曲線530は、より多数のピボットポイントを有する伝達関数を示し、この場合は6個、すなわち、A、530B、530C、530D、530EおよびNである。一方でポイントAおよび530B間、他方でポイント530EおよびN間のセグメントの両方は、ほぼ線形である。伝達関数530は、4つのピボットポイント530B、530C、530Dおよび530Eによって定義された3つの曲線セグメントを有している。
以下のマテリアルは、(図1に示す)符号化システム100から復号化システム150に送信されたメタデータで伝達関数がどのように表されるかについて定義する例示の構文を提示する。また、図5に示す例示の逆伝達関数について形成されたメタデータ構造の例を以下に説明する。
表1および表2の例示の構文では、いくつかの再形成伝達関数NumLutReshapeが、メタデータにてシグナリングされ得、インデックス値lut_reshape_index[c]が、特定の映像データセットの色成分cについて逆再形成関数を選択するために使用され得ることが提案されている。したがって、NumLutReshape LUT(表1に示されている)を定義するメタデータは、比較的高いレベル(例えば画像エッセンス、シーケンスまたはGOP)でメタデータに含まれ得る一方、映像データセットの色成分に使用するための特定LUT(表2に示されている)のreshapeing_idを指定するメタデータが、より低いレベル(例えばピクチャ、スライスまたは処理ウィンドウ)におけるメタデータ内にあり得る。以下のマテリアルは、復号化器150における逆再形成演算において使用されるメタデータに関する。したがって、簡略化のために、本明細書に記載する逆再形成演算を単に再形成演算と称する場合がある。
表1および表2に使用される記述子は、メタデータ値の特性を記述する。u(n)記述子は、nビット符号なし整数を指す。u(1)記述子はまた、1ビットブール値も指し得る。se(v)記述子は、可変長符号付き整数値を指す。1つの実施形態では、この記述子は、指数ゴロム符号化(Exp−Golomb−coded)値を示す。同様に、ue(v)記述子は、指数ゴロム符号化値でもあり得る可変長符号なし整数値を指す。
表1および表2のデータ構文は、LUTがメタデータに含まれている場合に使用されるであろうデータの量に対して、映像復号化器に複数の再形成伝達関数LUTをシグナリングするのに使用されるメタデータ量を低減するためにデータ項目がどのように割り当てられるかを決定するエントリを含む、自己参照メタデータ構造について説明する。下記の項目は、画像エッセンス、映像シーケンスまたはピクチャについて逆伝達関数をシグナリングするために使用されるメタデータの構文で使用される。
以下のように、表1および表2で使用される用語を定義する。
0に等しいnum_lut_reshape_greater1_flagは、メタデータが単一の再形成LUT関数を含むことを指定する(すなわちNumLutReshape=1)。num_lut_reshape_greater1_flagが1に等しい場合、メタデータは、複数の再形成LUT関数を含む。
num_lut_reshape_minus2に+2を行えば、num_lut_reshape_greater1_flag=1の場合、再形成LUT関数(NumLutReshape)の数を指定する。num_lut_reshape_minus2の値は、0〜14の範囲である。上述したように、複数の再形成伝達関数は、画像エッセンス、シーケンス、グループオブピクチャまたはピクチャについてのメタデータに含まれ得る。この値は、さらにストレージ要件を低減するために再形成伝達関数の数「マイナス2」として格納される。上記のように、num_lut_reshape_greater_1_flag=0の場合、メタデータは、単一の伝達関数を含む。num_lut_reshape_greater1_flag=1であり、num_lut_reshape_minus_2=0である場合、メタデータは、2つの再形成伝達関数を含む。num_lut_reshape_minus_2の最大値が14であるため、最大数16個の再形成伝達関数が、この例示のデータ構文によりメタデータで許可される。再形成伝達関数の数を指定することにより、特定の画像または画像シーケンスの要件に一致するようにメタデータの量を調整することができ、これにより、メタデータは、復号化器によって使用される伝達関数の数のみを含む。
lut_reshape_idは、メタデータ内の1つの再形成伝達関数についてのLUT id番号を指定する。lut_reshape_idの値は、0〜15の範囲であり得る。lut_reshape_idが存在しない場合、それは0に等しいと推定される。
signal_reshape_num_pivots_minus2[k]に+2を行えば、lut_reshape_id=kを有する再形成伝達関数について区分セグメント化関数におけるピボット値の数が指定される。signal_reshape_num_pivots_minus2[k]の値は、0〜7の範囲であり、9つもの数のピボットポイントを可能とする。メタデータは、少なくとも1つの伝達関数を含み、図4および図5を参照して以下に説明するように、伝達関数は、少なくとも2つのピボットポイント(エンドポイント)を有するので、ピボットポイントの数が0または1である必要がない。ピボットポイントの数を指定することにより、固定数のピボットポイントを想定するシステムに対してメタデータの量が低減される。
signal_reshape_coded_pivot_value[k][i]は、伝達関数kのピボットポイントiについてピボット値を指定する。ピボット値の各ペアは、伝達関数の区分セグメントを形成する。signal_reshape_coded_pivot_value[k][i]の値は、0〜1023の範囲である。これらのピボット値は、適切な入力値に対応するよう、実際の値にスケーリングまたはマッピングされ得る。
poly_order[k][i]は、伝達関数kおよびセグメントiについて区分再形成関数の多項式の次数を指定する。poly_order[k][i]の値は0〜3の範囲である。この値は、上記方程式(1)に示すように、伝達関数kの関数f(x)で使用される係数の数を指定する。
poly_coef[k][i][j]は、区分セグメント化関数kのピボットポイントiおよびi+1間の伝達関数セグメントについて多項式係数jを指定する。poly_coef[k][i][j]の値は−1024〜+1023(両端を含む)の範囲である。これらの係数は、例えば、線形、二次および三次方程式へ伝達関数のセグメントをフィッティングすること、および、セグメントを定義する方程式として最小誤差を有するフィッティング方程式を選択することによって、生成され得る。選択された方程式の係数は、メタデータ構造におけるセグメントの多項式係数である。
成分c当たりのLUT再形成関数は、以下のように区分多項式関数を用いて計算することができ、ここで、テーブルk=lut_reshape_index[c]が用いられ、0≦k<NumLutReshapeである。入力値はxであり、i番目のセグメントについて出力値はf(x)として計算される。これらの出力値は、適切な出力値に対応するようにスケーリングまたは正規化され得る。
ここで
x_i=signal_reshape_coded_pivot_value[k][i];
a_ij=poly_coef[k][i][j];
M_i=poly_order[k][i];
0≦i≦signal_reshape_num_pivots_minus2[k]
図6Aは、図5に示す伝達関数510および520に表1に示す構文を適用することによって形成されたメタデータ構造を示すデータ図である。明確にするために、データフィールドの名前は、表1に示す名前に対して、図6Aにおいて簡略化されている。表1の1行目および図6のブロック602において、構文は、num_lut_reshape_greater1_flagを1にセットし、これは、メタデータ構造が複数の再形成伝達関数についてメタデータを含むことを示す。次に、表1の3行目(ブロック604)は、num_lut_reshape_minus2を1にセットし、これは、メタデータ構造が3つのLUTを含むことを示す。第1のLUTのlut_reshape_idは、表1の6行目(ブロック606)での構文に応じて0に設定される。構文の8行目(図6のブロック608)では、第1のLUTについて、signal_reshape_num_pivots_minus2が2に設定され、これは、第1のLUT(LUT 0)を生成する関数が4つのピボットポイントを有することを示す。次いで、4つのピボットの値は、表1に示す構文の9〜10行目のforループに応じて、メタデータ構造(610で示されるブロック)へと入力される。最後に、構文の12〜15行目のforループにおいて、各ピボットポイントについて、ピボットポイントと次のピボットポイントとの間の曲線を定義する方程式の次数が、メタデータ構造に入力され(ブロック612)、1に方程式の次数を加えた数に等しい係数の数が続く(ブロック614)。この処理は、第2および第3のLUTについて繰り返される(lut_reshape_id=1およびlut_reshape_id=2)(ブロック616、618、620および622)。
開示されたメタデータ構造は自己参照的であるので、該メタデータ構造は、必要とされる場合にのみデータスペースを割り当てる。さらに、構造が非線形方程式を可能とするため、メタデータから実装される伝達関数は、同数のピボットポイントを有する線形補間セグメント化関数よりも優れた伝達関数をモデル化する。
表1に示す再形成パラメータ構文は、画像エッセンス、画像シーケンス、グループオブピクチャまたはピクチャで使用するための複数の逆伝達関数を定義する。各ピクチャ、または、スライスまたは処理ウィンドウなどの各サブピクチャ要素の各成分(例えばY,Cb,Cr)は、メタデータ内のこれらの伝達関数の1つを指定し得る。伝達関数は、表1に示す構文により形成されたメタデータ構造へとインデックスとして指定される。このインデックスを指定するための構文を、表2に示す。この構文により、1〜3個のインデックス(例えばY,Cb,Cr)を各画像データセット(例えば、フレーム、スライスまたは処理ウィンドウ)について指定することが可能となる。以下の項目は、ピクチャ、または、スライスまたは処理ウィンドウなどのサブピクチャ要素について、このインデックスを指定するための構文に使用される。
lut_reshape_index[c]は、色成分cについて使用するために再形成LUT関数のインデックスを指定する。lut_reshape_index[c]の値は0〜15の範囲である。lut_reshape_index[c]が存在しない場合、それは0に等しいと推定される。図6Bに示すように、例示の再形成IDメタデータ構造は、3つの値、Y_lut_index、Cb_lut_indexおよびCr_lut_indexを含む。各値は、図6Aに示すlut_reshape_idの1つに対応する。
表1および表2の構文を使用して、LUTは、比較的多数の映像データセットについて定義され得、そして、ピクチャデータセットについてまたは処理ウィンドウデータセットについてメタデータにlut_reshape_index[c]を含めることにより、各データセットについてテーブルの1つがシグナリングされ得る。したがって、表1および表2に示す構文から形成されたメタデータ構造は、符号化システム100から復号化システム150に伝達関数をシグナリングするための効率的な方法を提供する。
上述の表1に示した再形成パラメータ構文を、ピクチャパラメータセット(PPS:Picture Parameter Set)の一部としてピクチャレベルで、グループオブピクチャ(GOP)レベルで、シーケンスパラメータセット(SPS:Sequence Parameter Set)および/または映像パラメータセット(VPS:Video Parameter Set)の一部としてシーケンスレベルで、シグナリングすることができる。それはまた、映像データセットの付加拡張情報(SEI)および/または映像ユーザビリティ情報(VUI)にも含まれ得る。例えば、複数の伝達関数を定義する表1の再形成パラメータを、SPSレベルでシグナリングすることができ、特定のデータセット(表2)に使用するための特定の関数を、PPS、スライスまたは処理ウィンドウレベルでシグナリングすることができる。図示の構文要素データタイプは例示であり、所望のパラメータ値の精度および範囲に基づいて変更することができる。値は、伝達関数およびLUT値の計算に使用される。上記シグナリングは、定義することができる「再形成(またはLUT)パラメータセット」を効率的に指定することに留意されたい。あるいは、上記シグナリングは、ピクチャレベル未満でシグナリングするのに適している。1つの例では、ピクチャの四分木分割をシグナリングすることができ、各パーティションについておよび/または各パーティションの各成分についての再形成LUT関数を、表2に示すようにlut_reshape_index[c]値を使用してシグナリングすることができる。
1つの色成分についての、上述した逆再形成演算を、出力値f(x)に入力値xをマッピングするためのLUTを生成するために使用することができ、f(x)=LUT(x)であり、xは、LUTテーブルの値をインデックス付けするために使用される。より一般的には、マッピング演算はf(x)=LUT(x+offset_1)+offset_2で与えられることができ、offset_1はLUTへの入力オフセットであり、offset_2は出力オフセットであり、LUTの出力値に適用される。これらのオフセットは、offset_1については水平に、offset_2については垂直に、図5に示す曲線をシフトさせる効果を有する。offset_1およびoffset_2の値は、固定であり得る、または、所与のユースケースについてシグナリングされ得るオフセット値である。これらは、伝達関数の各セグメントについてシグナリングすることができるか、または、全伝達関数について一度シグナリングすることができる。表3は、例示の構文を示し、offset_1およびoffset_2は、伝達関数についてシグナリングされる。
表3に示した構文を使用して生成された例示のメタデータ構造が、図7Aに示されている。メタデータ構造における最初の8つの要素は、図6Aに示すものと同じである。図6Aと図7Aとの間の違いは、値lut_offset_1(ブロック702)およびlut_offset_2(ブロック704)である。
lut_offset_1[k]は、入力LUT値についてのオフセット値を指定する。この値は、LUT出力値を得るために、入力値xに加算される。lut_offset_1[k]の値は、−1024〜+1023(両端を含む)の範囲を有する符号付き整数である。
lut_offset_2[k]は、出力LUT値についてのオフセット値を指定する。この値は、再形成色成分値(例えばY,Cb,Cr)を得るためにLUT出力値に加算される。lut_offset_2[k]の値は、−1024〜+1023(両端を含む)の範囲を有する符号付き整数である。
別の例では、1つの色成分についての逆再形成演算は、別の色成分の関数に基づくLUTを用いた演算に基づくことができる。このことの1つの適用は、HDR−SDR互換可逆トーンマッピングで説明される。この例では、クロミナンスチャネル逆再形成演算が、クロスチャネル輝度入力Y’によってインデックス付けされた輝度LUTによって提供される値を乗じた復号化クロミナンス入力値C_x’に基づいて、クロミナンス出力C_xを計算し、これにより、C_x=f(C_x’)=LUT(Y/Y’)*C_x’となり、LUTは、クロスチャネル輝度出力YのY’に対する比である。Y’は、輝度LUTのインデックス付けに使用される同一位置の輝度入力値である。同一位置の輝度入力値の例を以下に示す。この逆再形成演算を示すために、メタデータ構造は、表4にて以下に示すように、各色成分についてcross_channel_lut_scaling_flag[c]およびcross_channel_lut_scaling_index[c]をシグナリングする要素を含み得る。この構文を使用して生成される例示のメタデータ構造は、図7Bに示されている。表4および図7Bに示すreshaping id構文は、表1または表3ならびに図6Aおよび図7Aにそれぞれ示されている再形成パラメータと共に使用され得る。クロスチャネル演算にて適用される伝達関数は、LUT(Y/Y’)として示されているが、LUT(Cr/Y’)またはLUT(Cb/Y’)などの他の伝達関数を使用し得ることが企図される。
1に等しいcross_channel_lut_scaling_flag[c]は、同一位置チャネルのcross_channel_lut_scaling_index[c]によってインデックス付けされたlut_reshape_index[c]によって与えられるLUTでの乗算を用いて色成分cについての逆再形成演算が実行されることを指定する。そうでなければ、cross_channel_lut_scaling_flag[c]は0に等しく、チャネルcによってインデックス付けされたlut_reshape_index[c]によって与えられるLUTを用いて色成分cについての逆再形成演算が行われる。
cross_channel_lut_scaling_index[c]は、クロスチャネルLUT逆再形成演算をどれにインデックス付けすべきかについて色成分のインデックスを指定する。存在しない場合、cross_channel_lut_scaling_index[c]の値は、cに等しいと推定される。cross_channel_lut_scaling_index[c]の値は0〜2の範囲を有する。
図7Bは、表4の構文を使用して生成された例示のメタデータ構造を示す。このメタデータ構造は、表6Aまたは表7Aに示す構文を使用して指定された伝達関数を用いてピクチャまたはサブピクチャ要素に関連付けられ得る。表7Bに示すように、輝度データについて使用するためのLUTのインデックスは、ブロック706によって示されるセル内にある。次に、ブロック708において輝度クロスチャネルフラグは、ブロック710が再形成演算で使用するためのクロスチャネル成分を示すデータを含むことを示す1に設定され、この場合、0は輝度チャネルを示す。ブロック712は、Cbクロミナンス成分について使用するためのLUTのインデックスを保持する。この成分について、クロスチャネルフラグは、クロスチャネルスケーリングがCbクロミナンス成分について使用されないことを示す0(ブロック714)である。次に、ブロック716は、Crクロミナンス成分についてのLUTインデックスを保持する。ブロック718のCrクロスチャネルフラグは、Cr成分について使用するためのクロスチャネルインデックスがブロック720にあることを示す。この場合、この値は0であり、同一位置の輝度成分の値が使用されることを示す。
別の構文例では、輝度LUT再形成テーブルインデックスをシグナリングすることができる(lut_reshape_index[0])が、クロミナンスLUT再形成テーブルインデックスは、クロスチャネルスケーリングが使用されない場合(cross_channel_lut_scaling_flag=0)にのみシグナリングされる。クロスチャネルスケーリングが使用される場合(cross_channel_lut_scaling_flag=1)、クロミナンスデータは、(例えば上述のように)入力クロミナンス値で乗算するための同一位置の輝度クロスチャネル値によってインデックス付けされた輝度LUT(lut_reshape_index[0])を使用して修正され、一方、輝度データは、入力輝度値で乗算するために輝度値によってインデックス付けされた輝度LUTを使用する。表5に示したものなどの構文を、この再形成演算についてのメタデータを指定するために使用することができる。
表5において、1に等しいcross_channel_lut_scaling_flagは、色成分cについての逆再形成演算が、num_lut_reshape_greater1_flagが1に等しい場合に同一位置の輝度チャネルによってインデックス付けされるlut_reshape_index[0]によって与えられるLUTでの乗算を用いて、または、num_lut_reshape_greater1_flagが0に等しい場合に0に等しいlut_reshape_idを伴うデフォルトLUTによって、行われることを指定する。cross_channel_lut_scaling_flagが0に等しい場合、色成分cについての逆再形成演算は、num_lut_reshape_greater1_flagが1に等しい場合にチャネルcによってインデックス付けされるlut_reshape_index[c]によって与えられるLUTを用いて、または、num_lut_reshape_greater1_flagが0に等しい場合に0に等しいlut_reshape_idを伴うデフォルトLUTによって、行われる。図7Cは、cross_channel_lut_scaling_flagが0であるとともにnum_lut_reshape_greater1_flagが1である場合、表5の構文から生成され得る例示的なメタデータ構造を示す。この場合、異なるLUTが、各色成分(Y,Cb,Cr)についてHDR/WCGデータを再生するために使用される。
例示的な逆再形成処理は以下の通りである。輝度逆再形成について、入力は、輝度位置(i,j)および復号化輝度値Y’(i,j)であり、出力は、再形成輝度値Y(i,j)である。cross_channel_lut_scaling_flag=1の場合は、
であり、そうでなければ、
であり、LUT_Yは方程式(2)から導かれる。
クロミナンス逆再形成について、入力は、クロミナンスサンプル位置(i,j)、復号化クロミナンス値C’(i,j)および復号化同一位置輝度値Y’(i’j’)である。出力は、再形成クロミナンス値C(i,j)である。cross_channel_lut_scaling_flag=1の場合は、
であり、そうでなければ、
であり、(i,j)=(i’/2,j’/2)であって、LUT_Cは、方程式(2)から導かれる。
別の例では、ウェーバーの法則の第2の変形例の場合について、
であり、CNは、最大コントラスト比であって、LUT(x/x’)についての多項式近似は、signal_reshape_num_pivots_minus2[k]=0を伴うf(x)を有し、多項式係数aijは方程式(8)によって決定される。
これらのパラメータの計算を低減するために、対数の底を変更する(例えば、底を2とする)こと、ならびに、係数のスケーリングを行うことができる。
クロスチャネルスケーリングの例では、サブサンプリングクロミナンスデータについて、同一位置の輝度値を、隣接輝度値の関数、例えば平均値、最小値、最大値、または中央値であるように選択することができる。例えば、4:2:0サブサンプリングについて、最近傍の4つの輝度サンプル値の平均を使用することができる。また、所与の輝度位置における視覚応答も隣接輝度値の関数であるので、輝度値の近傍のフィルタリング演算(例えば、双線形、非分離型、または分離可能フィルタリング)を用いることができる。同一位置の輝度値を決定するために使用するためのマッピング関数または演算を示すために、フラグをシグナリングすることができる。
輝度チャネルでの乗算を含むクロミナンスチャネル逆再形成演算について、輝度チャネルから導入されたノイズは、以下の形の乗法ノイズであり得る。
xはオリジナル信号であり、nは輝度サンプルxについて量子化後に添加されるノイズである。サブサンプリングが適用されない場合、復号化器側での再形成クロミナンスチャネル信号は、C_x=f(C_x’)=LUT(x+n)*C_x’である。4:2:0サブサンプリングの場合、サブサンプリング中にm個の同一位置輝度サンプルが使用されると仮定すると、以下のように近似値で乗法ノイズを低減することが望ましいであろう。
対数状の(例えばlog2)関数が方程式(10)に適用される場合、1/mを伴う対応演算を、m=4の場合に右シフトで計算することができるであろう。計算演算を簡単にするために、LUT内のパラメータも2の倍数になるように設計することができる。
上記マテリアルでは、線形方程式によってモデル化された伝達関数のセグメントについて2つのパラメータ、二次方程式によってモデル化されたセグメントについて3つのパラメータ、および、三次方程式によってモデル化されたセグメントについて4つのパラメータを指定しているが、セグメントごとにシグナリングまたは指定するパラメータの数を、セグメントに課せられた条件に基づいて減少させ得ることが提案される。
区分関数f(x)についてのM次多項式は、M+1個のパラメータaijによって指定され、0≦j≦Mである。しかし、制約が関数に課されている場合、独立パラメータの数を、制約の数によって減少させ得る。区分関数上の合理的制約の例は、全体的な関数が、内部セグメント境界(最初と最後の境界を除く)で連続であることを必要とすることである。別の制約は、(拡張)区分関数が、境界で同一の傾斜を有することを要求することであり得る。
二次(M=2)である区分関数の例について、セグメント境界が連続するように制約される場合、1による区分関数でシグナリングされるパラメータの数を削減することができる。これを達成する1つの方法は、まずi=0セグメント関数パラメータa00、a01、a02、xおよびxをシグナリングすることである。しかし、i=1セグメントについては、以前のパラメータに基づいてa10がa10=f(x)として計算することができるので、パラメータa11、a12およびxのみ、シグナリングされる必要がある。同様に、i=2セグメントについては、パラメータa21、a22およびxのみ、シグナリングされる必要があり、以下同様である。一般的に、i番目のセグメント(i≧1)について、ai0をシグナリングする必要はないが、ai0=fi−1(x)から計算することができる。
内部セグメント境界で連続的であるとともに滑らか(境界を横切って同じ傾き)である二次多項式セグメントの場合について、2による区分関数についてシグナリングするパラメータの数を削減することができる。1つの例では、i=0セグメント関数パラメータa00、a01、a02、xおよびxが、まずシグナリングされる。i=1セグメントについては、以前のパラメータに基づいてa10がa10=f(x)として計算することができ、a11がa11=a01+2a02(x−x)として計算することができるので、パラメータa12およびxのみ、シグナリングされる必要がある。一般的に、i番目のセグメント(i≧1)について、以下のようにai0およびai1を計算することができる。
この場合についてのパラメータをシグナリングするための対応する例示的な構文は以下の表6に示され、構文に起因する例示的なメタデータ構造は、図8に示されている。
上述したように、より高次の多項式をセグメントについて使用することができる。例えば、M+1パラメータで指定されるM次多項式について、2つの制約が課される場合(例えば、境界における連続性および傾き)、他の2つのパラメータは以前のセグメント上の制約から導くことができるので、第1のセグメントを除くすべてについてM−1個のパラメータのみ、シグナリングする必要がある。より高次の多項式によって、さらなる自由度を所望のTFに整合させることができる。セグメントについて境界で連続性または傾きの制約が課されていない場合には、多項式のすべてのパラメータを、セグメントについてシグナリングすることができる一方、境界制約を有する追加のセグメントについては、より少ないパラメータをシグナリングすることができる。他の例は、混合次数の多項式セグメントを含むことができ、課される制約が、シグナリングされるパラメータの数を減らす。また、i=0セグメントパラメータセットがまずシグナリングされた一方で、他の例では、他のパラメータがそこから計算される、異なるセグメントパラメータセットをシグナリングすることができる。別の例では、境界値x(ピボット)を指定する代わりに、f(x)の値を代わりにシグナリングすることも可能である。これらの値およびパラメータは、計算演算を簡単にするために等間隔または2の倍数になるように選択することができる。
図8は、表6に示す構文を使用して生成され得る例示的なメタデータ構造を示す。すべての方程式が二次であると仮定され、より少ない係数が入力されていることを除き、この構造は、図7Aに示す構造と同様である。ブロック802、804および806に示すように、3つの係数が第1のセグメントについて指定されている。しかし、第2および第3のセグメントについては、最後の係数(ブロック808および810において係数2)のみが指定されている。これは、係数0および1が共通のピボットポイントで以前のセグメントのエンドポイントと傾きとから計算され得るからである。
上記において、例を、特定のデバイス、装置、システム、構文および/または方法に関連して説明してきたが、この説明は単なる例としてなされたのであって、限定としてではないことが明らかに理解されるであろう。特定の実施形態は、例えば、命令実行システム、装置、システムまたはマシンによる使用またはそれと関連しての使用のための非一時的なコンピュータ可読記憶媒体に実装され得る。コンピュータ可読記憶媒体は、特定の実施形態によって説明したように、方法を実行するかまたはメタデータ構造を保持するためにコンピュータシステムを制御するための命令を含む。1つ以上のコンピュータプロセッサによって実行されると、命令は、特定の実施形態に記載されているものを実行するように動作可能であり得る。
特許請求の範囲で使用される場合、単語「含む(comprise)」またはその派生語は、特許請求の範囲に記載の構造または方法における他の要素またはステップの存在を除外することを意図していない、非排他的な意味で使用されている。本明細書の説明においておよび以下の特許請求の範囲を通して使用される際に、文脈が別様に明確に指示しない限り、「1つの(a、an)」および「該、前記(the)」は複数への言及を含む。また、本明細書の説明においておよび以下の特許請求の範囲を通して使用される際に、文脈が別様に明確に指示しない限り、「において、における、内の、内に、(in)」の意味は、「において、における、内の、内に、(in)」および「の上の、の上で(on)」を含む。
上記の説明は、特定の実施形態の態様を実装し得る方法の例とともに種々の実施形態を示しており、以下の特許請求の範囲によって定義されるように特定の実施形態の柔軟性および利点を説明するために提示され、これらの実施形態のみであると見なされるべきではない。当業者は、上記開示および以下の特許請求の範囲に基づいて、特許請求の範囲によって定義されるその範囲から逸脱することなく、他の構成、実施形態、実施態様および均等物を採用し得ることを理解するであろう。したがって、明細書および図面は、限定的な意味ではなく例示として捉えられるべきであり、全てのこのような変形は、特許請求の範囲内に含まれることが意図されている。利益、利点、課題の解決策、および、任意の利益、利点または解決策をより顕著に生起または発生させ得る(1つもしくは複数の)任意の要素は、特許請求の範囲のいずれかまたはすべての重要な、必要な、または必須の特徴または要素として解釈されるべきではない。本発明は、本出願の係属中に行われる任意の補正および発行時のそれらの特許請求の範囲のすべての均等物を含む、添付の特許請求の範囲によってのみ定義される。

Claims (20)

  1. 映像データを符号化する工程であって、
    復号化映像データを再形成するために適用される伝達関数を記述するための第1のメタデータ構造を生成して、前記復号化映像データよりも高いダイナミックレンジまたは広い色域のうちの少なくとも1つを有する出力映像データを生成する工程であって、前記第1のメタデータ構造は、ピクチャのシーケンスまたはグループオブピクチャに関連付けられ、前記第1のメタデータ構造を生成する工程は、
    前記伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記セグメントは、連続するピボットポイントのペアによって定義され、連続する前記ピボットポイントの数はP個であり、前記ピボットポイントは、第1のピボットポイントと最後のピボットポイントとを含み、Pは整数である、分割する工程と、
    ピボットポイントの前記数を示す値を格納するために前記第1のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Pを格納する工程と、
    前記第1のメタデータ構造内にP個のピボットポイントセルを割り当てる工程と、
    前記P個のピボットポイントを表すデータ値を前記P個のピボットポイントセル内に格納する工程と、
    各セグメントにそれぞれの方程式をフィッティングする工程であって、各方程式はN個の係数値を有し、Nは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
    前記最後のピボットポイントを除く各ピボットポイントについて、
    前記第1のメタデータ構造内にN+1個のセルを割り当てる工程と、
    前記N+1個のセルの最初のセル内に前記セグメントについての前記値Nを格納する工程と、
    前記N+1個のセルの残りのN個のセル内に前記N個の係数値を格納する工程と、を含む、前記第1のメタデータ構造を生成する工程と、
    ピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素に関連付けられた第2のメタデータ構造を生成する工程であって、前記第2のメタデータ構造内にセルを割り当てる工程と、前記第2のメタデータ構造の前記割り当てられたセル内に、前記伝達関数を識別するデータを格納する工程とを含む、前記第2のメタデータ構造を生成する工程と、
    前記映像データを符号化し、符号化された前記映像データに前記第1および第2のメタデータ構造を含める工程と、を含む前記映像データを符号化する工程、
    を備える、方法。
  2. 前記第1のメタデータ構造内に第1のオフセットセルおよび第2のオフセットセルを割り当てる工程と、
    入力データが前記伝達関数に適用される前に、前記第1のオフセットセル内に、前記入力データに加えられる第1のオフセット値を格納する工程と、
    前記第2のオフセットセル内に、前記伝達関数に適用される前記入力データに起因する出力データに加えられる第2のオフセット値を格納する工程と、
    をさらに備える、請求項1に記載の方法。
  3. 前記伝達関数は、第1の伝達関数であり、前記方法は、
    前記第1のメタデータ構造に第2の伝達関数を記述するメタデータを追加する工程であって、
    前記第2の伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記いくつかのセグメントは、第1のピボットポイントと最後のピボットポイントとを含むQ個のピボットポイントによって定義され、QはPと異なる整数である、分割する工程と、
    ピボットポイントの前記数を示す値を格納するために前記第1のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Qを格納する工程と、
    前記第1のメタデータ構造内にQ個のピボットポイントセルを割り当てる工程と、
    前記Q個のピボットポイントを表すデータ値を前記Q個のピボットポイントセル内に格納する工程と、
    各セグメントに方程式をフィッティングする工程であって、各方程式はN個の係数値を有し、Nは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
    前記最後のピボットポイントを除く各ピボットポイントについて、
    前記第1のメタデータ構造内にN+1個のセルを割り当てる工程と、
    前記N+1個のセルの最初のセル内に前記セグメントについての前記値Nを格納する工程と、
    前記N+1個のセルの残りのN個のセル内に前記N個の係数値を格納する工程と、を含む、前記メタデータを追加する工程と、をさらに備え、
    前記第2のメタデータ構造の前記割り当てられたセル内に格納された前記データは、前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素の特性に基づいて、前記第1の伝達関数または前記第2の伝達関数のうちの1つを示す、請求項1に記載の方法。
  4. 前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
    各セグメントについて、Nは、前記セグメントにフィッティングされた前記方程式の次数に等しい整数である、請求項1に記載の方法。
  5. 前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
    前記セグメントを定義する前記方程式は、第1のセグメントを除く各セグメントを定義する前記方程式の傾きが、前記セグメントと以前の隣接セグメントとが交わる前記ピボットポイントで前記以前の隣接セグメントを定義する前記方程式の傾きと一致するようにさらに制限され、
    各セグメントについて、Nは前記セグメントにフィッティングされた前記方程式の次数−1に等しい整数である、請求項1に記載の方法。
  6. 前記復号化映像データは、輝度成分ならびに第1および第2のクロミナンス成分を含み、
    前記伝達関数は、関数Y/Y’を表し、Y’は前記復号化映像データの輝度成分であり、Yは、前記復号化映像データよりも高いダイナミックレンジまたは広い色域のうちの少なくとも1つを有する、対応する輝度成分であり、
    前記方法は、
    前記第2のメタデータ構造内にフラグセルを割り当て、クロスチャネルスケーリングを示すデータ値を前記フラグセル内に格納する工程と、
    各クロミナンス成分について、
    伝達関数識別セルを割り当てる工程と、
    前記クロミナンス成分に用いられる伝達関数を識別するデータを前記伝達関数識別セル内に格納する工程と、
    をさらに備える、請求項1に記載の方法。
  7. ルックアップテーブル(LUT)として構成されたメモリと、
    符号化映像信号を表すビットストリームを受信するように構成された映像復号化システムであって、前記映像復号化システムに、
    復号化映像データを生成するために前記ビットストリームを復号化する工程と、
    前記ビットストリームのシーケンスまたはグループオブピクチャから第1のメタデータ構造を抽出する工程と、
    前記第1のメタデータ構造から、ピボットポイントの数Pと、P番目のピボットポイントを除く各ピボットポイントについてのそれぞれの係数の数Nと、を表すデータを抽出する工程であって、NおよびPは整数である、工程と、
    前記第1のメタデータ構造から、P個のピボットポイントと、前記P番目のピボットポイントを除く各ピボットポイントについてのN個の係数と、を抽出する工程と、
    抽出された前記ピボットポイントおよび係数から、前記P番目のピボットポイントを除く前記P個のピボットポイントに対応するP−1個の伝達関数セグメントを含む伝達関数を再生する工程と、
    データ値を生成して、再生された前記伝達関数に応じて前記LUT内に再生データ値を格納する工程と、
    前記ビットストリームからのピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素から第2のメタデータ構造を抽出する工程と、
    前記第2のメタデータ構造から前記伝達関数の識別子を抽出する工程と、
    前記LUTへの入力として前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素に対応する復号化映像データを適用することにより、前記LUTの出力として再形成映像データを生成する工程と、
    を行わせるプログラム命令を含む映像復号化システムと、
    を備える、装置。
  8. 前記プログラム命令は、前記復号化システムに、
    前記第1のメタデータ構造から第1のオフセット値および第2のオフセット値を抽出する工程と、
    前記LUTに前記復号化映像データを適用する前に、前記復号化映像データに前記第1のオフセット値を加える工程と、
    前記LUTによって提供される出力データに前記第2のオフセット値を加える工程と、
    をさらに行わせる、請求項7に記載の装置。
  9. 前記メモリは、第1のLUTおよび第2のLUTとして構成され、前記伝達関数は、第1の伝達関数であり、前記第1のLUT内の前記データ値を生成するために使用され、
    前記プログラム命令は、前記復号化システムに、
    前記第1のメタデータ構造から、ピボットポイントの数Qと、Q番目のピボットポイントを除く各ピボットポイントについてのそれぞれの係数の数Nと、を表すデータを抽出する工程であって、Qは整数である、工程と、
    前記第1のメタデータ構造から、Q個のピボットポイントと、各ピボットポイントについての前記N個の係数と、を表すデータを抽出する工程と、
    前記Q個の抽出されたピボットポイントおよびそれぞれの係数から、伝達関数を再生する工程と、
    データ値を生成して、再生された前記伝達関数に応じて前記第2のLUT内に再生データ値を格納する工程と、
    を行わせる、請求項7に記載の装置。
  10. 前記プログラム命令は、前記復号化システムに、第1のピボットポイントと最後のピボットポイントとを除く各ピボットポイントについて追加の係数を生成する工程をさらに行わせ、前記追加の係数は、前記以前のピボットポイントに対応する前記伝達関数セグメントの前記ピボットポイントでの前記値に対応する、請求項7に記載の装置。
  11. 前記プログラム命令は、前記復号化システムに、第1のピボットポイントと最後のピボットポイントとを除く各ピボットポイントについて第1および第2の追加の係数を生成する工程をさらに行わせ、前記第1の追加の係数は、前記以前のピボットポイントに対応する前記伝達関数セグメントの前記ピボットポイントでの前記値に対応し、第2の係数は、前記以前のピボットポイントに関連付けられた前記係数により示される前記ピボットポイントでの傾きに対応する、請求項7に記載の装置。
  12. 前記プログラム命令は、前記復号化システムに、
    前記第2のメタデータ構造からクロスチャネルスケーリングフラグを抽出する工程をさらに行わせ、
    前記クロスチャネルスケーリングフラグに応じて、前記プログラム命令は、前記復号化器に、
    前記第2のメタデータ構造から、復号化された映像信号の各クロミナンスチャネルについてクロスチャネルLUTスケーリングインデックスを抽出する工程と、
    前記クロスチャネルLUTスケーリングインデックスにより示されるLUTに復号化クロミナンスデータに対応する復号化輝度データを適用すること、および、再形成クロミナンスデータを生成するために前記LUTによって生成された出力データによって前記復号化クロミナンスデータを乗算することによって、前記再形成クロミナンスデータを生成する工程と
    を行わせる、請求項7に記載の装置。
  13. 前記プログラム命令は、前記復号化システムに、
    前記第1のメタデータ構造から第1および第2のオフセット値を抽出する工程と、
    前記LUTに前記復号化輝度データを適用する前に、前記復号化クロミナンスデータに前記第1のオフセット値を加える工程と、
    前記再形成クロミナンスデータを生成するために前記LUTによって生成される出力データに前記第2のオフセット値を加える工程と、
    をさらに行わせる、請求項12に記載の装置。
  14. 第1および第2のメタデータ構造を含む符号化映像ビットストリームを保持するように構成されたメモリと、
    映像データを符号化するための符号化システムであって、前記符号化システムは、前記符号化システムに、復号化映像データを再形成するために適用される伝達関数を記述するための前記第1のメタデータ構造を生成して、前記復号化映像データよりも高いダイナミックレンジおよび広い色域のうちの少なくとも1つを有する出力映像データを生成する工程を行わせるプログラム命令を含み、前記第1のメタデータ構造は、ピクチャのシーケンスまたはグループオブピクチャに関連付けられ、前記プログラム命令は、前記符号化システムに、
    前記伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記セグメントは、第1のピボットポイントと最後のピボットポイントとを含むP個の連続するピボットポイントによって定義され、Pは整数である、分割する工程と、
    ピボットポイントの前記数を示す値を格納するために前記第1のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Pを格納する工程と、
    前記第1のメタデータ構造内にP個のピボットポイントセルを割り当てる工程と、
    P個のピボットポイントを表すデータ値を前記P個のピボットポイントセル内に格納する工程と、
    各セグメントにそれぞれの方程式をフィッティングする工程であって、各方程式はN個の係数値を有し、Nは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
    前記最後のピボットポイントを除く各ピボットポイントについて、
    前記第1のメタデータ構造内にN+1個のセルを割り当てる工程と、
    前記N+1個のセルの最初のセル内に前記セグメントについての前記値Nを格納する工程と、
    前記N+1個のセルの残りのN個のセル内にN個の係数値を格納する工程と、
    前記映像データのピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素に関連付けられた第2のメタデータ構造を生成する工程であって、前記符号化システムに、前記第2のメタデータ構造内にセルを割り当てる工程と、前記第2のメタデータ構造の前記割り当てられたセル内に、前記伝達関数を識別するデータを格納する工程とを行わせる命令を含む、前記第2のメタデータ構造を生成する工程と、
    前記映像データを符号化し、前記ビットストリーム内の符号化された前記映像データに前記第1および第2のメタデータ構造を含める工程と、
    を行わせる、符号化システムと、
    を備える、装置。
  15. 前記プログラム命令は、前記符号化システムに、
    前記第1のメタデータ構造内に第1のオフセットセルおよび第2のオフセットセルを割り当てる工程と、
    入力データが前記伝達関数に適用される前に、前記第1のオフセットセル内に、前記入力データに加えられる第1のオフセット値を格納する工程と、
    前記第2のオフセットセル内に、前記伝達関数に適用される前記入力データに起因する出力データに加えられる第2のオフセット値を格納する工程と、
    をさらに行わせる、請求項14に記載の装置。
  16. 前記伝達関数は、第1の伝達関数であり、前記プログラム命令は、前記符号化システムに、
    前記第1のメタデータ構造に第2の伝達関数を記述するメタデータを追加する工程であって、前記符号化システムに、
    前記第2の伝達関数を表すデータをいくつかのセグメントへと分割する工程であって、前記いくつかのセグメントは、第1のピボットポイントと最後のピボットポイントとを含むQ個のピボットポイントによって定義され、QはPと異なる整数である、分割する工程と、
    ピボットポイントの前記数を示す値を格納するために前記第1のメタデータ構造内にセルを割り当て、前記割り当てられたセル内に前記値Qを格納する工程と、
    前記第1のメタデータ構造内にQ個のピボットポイントセルを割り当てる工程と、
    前記Q個のピボットポイントを表すデータ値を前記Q個のピボットポイントセル内に格納する工程と、
    各セグメントに方程式をフィッティングする工程であって、各方程式はN個の係数値を有し、Nは前記セグメントの特性に基づいて変化する整数である、フィッティングする工程と、
    前記最後のピボットポイントを除く各ピボットポイントについて、
    前記第1のメタデータ構造内にN+1個のセルを割り当てる工程と、
    前記N+1個のセルの最初のセル内に前記セグメントについての前記値Nを格納する工程と、
    前記N+1個のセルの前記残りのN個のセル内に前記N個の係数値を格納する工程と、を行わせる命令を含む、前記メタデータを追加する工程をさらに行わせ、
    前記第2のメタデータ構造の前記割り当てられたセル内に格納された前記データは、前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素の特性に基づいて、前記第1の伝達関数および前記第2の伝達関数のうちの1つを示す、請求項14に記載の装置。
  17. 前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
    各セグメントについて、Nは、前記セグメントにフィッティングされた前記方程式の次数に等しい整数である、請求項14に記載の装置。
  18. 前記セグメントを定義する前記方程式は、最後のセグメントを除く各セグメントを定義する前記方程式のエンドポイントが次の連続セグメントを定義する前記方程式の開始ポイントであるように制限され、
    前記セグメントを定義する前記方程式は、第1のセグメントを除く各セグメントを定義する前記方程式の傾きが、前記セグメントと以前の隣接セグメントとが交わる前記ピボットポイントで前記以前の隣接セグメントを定義する前記方程式の傾きと一致するようにさらに制限され、
    各セグメントについて、Nは前記セグメントにフィッティングされた前記方程式の次数−1に等しい整数である、請求項14に記載の装置。
  19. 前記復号化映像データは、輝度成分ならびに第1および第2のクロミナンス成分を含み、
    前記伝達関数は、関数Y/Y’を表し、Y’は前記復号化映像データの輝度成分であり、Yは、前記復号化映像データよりも高いダイナミックレンジおよび広い色域のうちの少なくとも1つを有する、対応する輝度成分であり、
    前記プログラム命令は、前記符号化システムに、
    前記第2のメタデータ構造内にフラグセルを割り当て、クロスチャネルスケーリングを示すデータ値を前記フラグセル内に格納する工程と、
    各クロミナンス成分について、
    伝達関数識別セルを割り当てる工程と、
    前記クロミナンス成分に用いられる伝達関数を識別するデータを前記伝達関数識別セル内に格納する工程と、
    を行わせる、請求項14に記載の装置。
  20. プロセッサに、
    復号化映像データを生成するために符号化映像ビットストリームを復号化する工程と、
    前記ビットストリームのシーケンスまたはグループオブピクチャから第1のメタデータ構造を抽出する工程と、
    前記第1のメタデータ構造から、ピボットポイントの数Pと、P番目のピボットポイントを除く各ピボットポイントについてのそれぞれの係数の数Nと、を表すデータを抽出する工程であって、NおよびPは整数である、工程と、
    前記第1のメタデータ構造から、P個のピボットポイントと、前記P番目のピボットポイントを除く各ピボットポイントについてのN個の係数と、を抽出する工程と、
    抽出された前記ピボットポイントおよび係数から、前記P番目のピボットポイントを除く前記P個のピボットポイントに対応するP−1個の伝達関数セグメントを含む伝達関数を再生する工程と、
    データ値を生成して、再生された前記伝達関数に応じて前記LUT内に再生データ値を格納する工程と、
    前記ビットストリームからのピクチャ、スライス、処理ウィンドウまたはサブピクチャ要素から第2のメタデータ構造を抽出する工程と、
    前記第2のメタデータ構造から前記伝達関数の識別子を抽出する工程と、
    前記LUTへの入力として前記ピクチャ、前記スライス、前記処理ウィンドウまたは前記サブピクチャ要素に対応する復号化映像データを適用することにより、前記LUTの出力として再形成映像データを生成する工程と
    を行わせるプログラム命令を含む、非一時的なコンピュータ可読媒体。
JP2018534518A 2015-09-23 2016-09-23 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム Expired - Fee Related JP6609056B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201562222723P 2015-09-23 2015-09-23
US62/222,723 2015-09-23
US201562241094P 2015-10-13 2015-10-13
US201562241087P 2015-10-13 2015-10-13
US62/241,094 2015-10-13
US62/241,087 2015-10-13
US201562242272P 2015-10-15 2015-10-15
US62/242,272 2015-10-15
US15/274,710 2016-09-23
US15/274,710 US10506232B2 (en) 2015-09-23 2016-09-23 System for reshaping and coding high dynamic range and wide color gamut sequences
PCT/US2016/053521 WO2017053852A1 (en) 2015-09-23 2016-09-23 System for reshaping and coding high dynamic range and wide color gamut sequences

Publications (2)

Publication Number Publication Date
JP2018530282A JP2018530282A (ja) 2018-10-11
JP6609056B2 true JP6609056B2 (ja) 2019-11-20

Family

ID=58283609

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018534516A Active JP6609708B2 (ja) 2015-09-23 2016-09-23 高ダイナミックレンジ映像データの再形成および適応のためのシステムおよび方法
JP2018534518A Expired - Fee Related JP6609056B2 (ja) 2015-09-23 2016-09-23 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018534516A Active JP6609708B2 (ja) 2015-09-23 2016-09-23 高ダイナミックレンジ映像データの再形成および適応のためのシステムおよび方法

Country Status (5)

Country Link
US (10) US10674150B2 (ja)
EP (3) EP3338450A1 (ja)
JP (2) JP6609708B2 (ja)
KR (6) KR102140237B1 (ja)
WO (3) WO2017053846A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016154336A1 (en) * 2015-03-25 2016-09-29 Dolby Laboratories Licensing Corporation Chroma subsampling and gamut reshaping
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
JP6990172B2 (ja) * 2015-09-18 2022-01-12 インターデジタル ヴイシー ホールディングス, インコーポレイテッド Hdr符号化/復号のための色成分サンプルの共に配置される輝度サンプルの決定
EP3338450A1 (en) 2015-09-23 2018-06-27 ARRIS Enterprises LLC System and method for reshaping and adaptation of high dynamic range video data
BR112018009422A8 (pt) * 2015-11-09 2019-02-26 Thomson Licensing método e dispositivo para adaptar o conteúdo de vídeo decodificado às características de um display a partir de fluxos elementares
CN106937121B (zh) * 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
US10397586B2 (en) * 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
US10542296B2 (en) * 2016-05-10 2020-01-21 Dolby Laboratories Licensing Corporation Chroma reshaping of HDR video signals
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
WO2018016381A1 (en) * 2016-07-22 2018-01-25 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
JP6822121B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2558236B (en) 2016-12-22 2021-03-31 Apical Ltd Image data comprising encoded image data and additional data for modification of image
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) * 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
CN107277399B (zh) * 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
WO2019000097A1 (en) * 2017-06-28 2019-01-03 The University Of British Columbia METHODS AND APPARATUS FOR MAPPING TONE AND MAPPING INVERSE TONE
WO2019008819A1 (ja) * 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
US10728559B2 (en) * 2017-07-07 2020-07-28 Qualcomm Incorporated Precision of computation and signaling of dynamic range adjustment and color remapping information
CN110999300B (zh) * 2017-07-24 2023-03-28 杜比实验室特许公司 用于图像/视频处理的单通道逆映射
WO2019023835A1 (zh) * 2017-07-31 2019-02-07 华为技术有限公司 一种广色域图像显示方法及设备
JP7005268B2 (ja) * 2017-10-16 2022-01-21 日本放送協会 符号化装置、復号装置及びプログラム
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
US11928796B2 (en) * 2017-12-01 2024-03-12 Interdigital Patent Holdings, Inc. Method and device for chroma correction of a high-dynamic-range image
US20190045198A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Region adaptive data-efficient generation of partitioning and mode decisions for video encoding
CN117082247A (zh) 2018-02-14 2023-11-17 杜比实验室特许公司 在视频编码中利用率失真优化进行图像再成形
US11303912B2 (en) * 2018-04-18 2022-04-12 Qualcomm Incorporated Decoded picture buffer management and dynamic range adjustment
EP3557875A1 (en) * 2018-04-19 2019-10-23 Ymagis Multidynamic transport and restitution system for theatrical display
EP3595308A1 (en) * 2018-07-12 2020-01-15 THOMSON Licensing Method and apparatus for encoding an image
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
US12022080B2 (en) 2019-03-01 2024-06-25 Lg Electronics Inc. Image coding method based on LMCS, and device therefor
US11924431B2 (en) 2019-03-01 2024-03-05 Lg Electronics Inc. LMCS-based image coding method and device therefor
WO2020177704A1 (en) 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. In-loop filtering in video processing
WO2020180120A1 (ko) * 2019-03-05 2020-09-10 엘지전자 주식회사 Lmcs에 기반한 영상 코딩 방법 및 그 장치
US20220150481A1 (en) * 2019-03-07 2022-05-12 Lg Electronics Inc. Video or image coding based on luma mapping with chroma scaling
EP3709656A1 (en) * 2019-03-11 2020-09-16 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding with forward and inverse mapping models
US11388406B2 (en) * 2019-05-20 2022-07-12 Dolby Laboratories Licensing Corporation Piece-wise-linear mapping for in-loop reshaping in image coding
EP3977735A4 (en) * 2019-05-31 2023-04-05 HFI Innovation Inc. LATENCY REDUCTION METHOD AND APPARATUS FOR CHROMINANCE RESIDUE SCALING
EP4014479B1 (en) * 2019-08-12 2024-03-20 Dolby Laboratories Licensing Corporation Adaptive image data linearization for hdr image sensors
US11355049B2 (en) * 2019-09-26 2022-06-07 Apple, Inc. Pixel leakage and internal resistance compensation systems and methods
GB2589066B (en) * 2019-10-24 2023-06-28 Advanced Risc Mach Ltd Encoding data arrays
CN110740391B (zh) * 2019-10-31 2021-10-26 四川效率源信息安全技术股份有限公司 一种修复mp4损坏文件的方法
WO2021108719A1 (en) * 2019-11-27 2021-06-03 Dolby Laboratories Licensing Corporation Rate-control-aware reshaping in hdr imaging
KR102348633B1 (ko) * 2020-05-20 2022-01-11 국방과학연구소 비디오 암호화 및 복호화 방법 및 장치
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
WO2023287427A1 (en) * 2021-07-16 2023-01-19 Pqsecure Technologies, Llc A method and system for computing large-degree isogenies with an odd degree
CN113538280B (zh) * 2021-07-20 2022-03-04 江苏天汇空间信息研究院有限公司 基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法
US11606605B1 (en) * 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+
WO2023113200A1 (ko) * 2021-12-15 2023-06-22 현대자동차주식회사 잔차신호들의 매핑을 이용하는 비디오 코딩을 위한 방법 및 장치
US20230252611A1 (en) * 2022-02-09 2023-08-10 Samsung Electronics Co., Ltd. Generation of three-dimensional (3d) lookup table for tone mapping or other image processing functions

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6075977A (ja) * 1983-10-03 1985-04-30 Photo Composing Mach Mfg Co Ltd 文字画像デ−タの処理方法
JPH0675977A (ja) 1992-08-26 1994-03-18 Hitachi Inf Syst Ltd オフィス調査票作成支援システム
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
RU2616158C2 (ru) 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
JP6075977B2 (ja) * 2012-06-19 2017-02-08 Ntn株式会社 転がり軸受
AR091515A1 (es) 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
KR102157032B1 (ko) * 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
CN105325003B (zh) * 2013-04-17 2019-05-28 诺基亚技术有限公司 用于视频编码和解码的装置、方法
US9584811B2 (en) * 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US9369739B2 (en) * 2014-10-28 2016-06-14 Avid Technology, Inc. Preserving dynamic range precision in integer image formats
RU2666234C1 (ru) * 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
US10735755B2 (en) 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
WO2016172091A1 (en) * 2015-04-22 2016-10-27 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the ipt-pq color space
JP6582062B2 (ja) * 2015-05-21 2019-09-25 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 画素の前処理および符号化
EP3314893A1 (en) * 2015-06-30 2018-05-02 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
CN112040237A (zh) * 2015-07-16 2020-12-04 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
US10575005B2 (en) * 2015-07-22 2020-02-25 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
US10609395B2 (en) 2015-07-28 2020-03-31 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
EP3354032A1 (en) * 2015-09-21 2018-08-01 VID SCALE, Inc. Inverse reshaping for high dynamic range video coding
EP3338450A1 (en) 2015-09-23 2018-06-27 ARRIS Enterprises LLC System and method for reshaping and adaptation of high dynamic range video data
US20170279640A1 (en) * 2016-03-25 2017-09-28 Qualcomm Incorporated Systems and methods for training field boosting

Also Published As

Publication number Publication date
KR102140237B1 (ko) 2020-07-31
US20230362376A1 (en) 2023-11-09
US11659183B2 (en) 2023-05-23
US20230254488A1 (en) 2023-08-10
KR102393231B1 (ko) 2022-05-03
KR20240037363A (ko) 2024-03-21
KR102140083B1 (ko) 2020-07-31
KR20230008891A (ko) 2023-01-16
JP2018530282A (ja) 2018-10-11
US10674150B2 (en) 2020-06-02
WO2017053852A1 (en) 2017-03-30
US11277610B2 (en) 2022-03-15
JP6609708B2 (ja) 2019-11-20
US20170085889A1 (en) 2017-03-23
WO2017053846A1 (en) 2017-03-30
US20170085880A1 (en) 2017-03-23
KR20180056705A (ko) 2018-05-29
KR20200093694A (ko) 2020-08-05
KR102483438B1 (ko) 2023-01-02
US20200059646A1 (en) 2020-02-20
US11070809B2 (en) 2021-07-20
US20220166981A1 (en) 2022-05-26
KR102647783B1 (ko) 2024-03-15
US10506232B2 (en) 2019-12-10
US12028523B2 (en) 2024-07-02
US20200288132A1 (en) 2020-09-10
US20170085879A1 (en) 2017-03-23
US20230141102A1 (en) 2023-05-11
EP3338450A1 (en) 2018-06-27
US11575899B2 (en) 2023-02-07
EP3338451A1 (en) 2018-06-27
EP3338452A1 (en) 2018-06-27
KR20180056704A (ko) 2018-05-29
US20210314570A1 (en) 2021-10-07
KR20220058969A (ko) 2022-05-10
EP3338452B1 (en) 2020-08-26
JP2018530281A (ja) 2018-10-11
WO2017053849A1 (en) 2017-03-30
US11750814B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
JP6609056B2 (ja) 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム
US11375193B2 (en) System for coding high dynamic range and wide color gamut sequences
JP6608067B2 (ja) 映像復号化器における高ダイナミックレンジ適応演算
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
US12041236B2 (en) System for coding high dynamic range and wide color gamut sequences

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191024

R150 Certificate of patent or registration of utility model

Ref document number: 6609056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees