JP6711943B2 - Hdrおよび広色域の信号のための信号整形および符号化 - Google Patents
Hdrおよび広色域の信号のための信号整形および符号化 Download PDFInfo
- Publication number
- JP6711943B2 JP6711943B2 JP2019093720A JP2019093720A JP6711943B2 JP 6711943 B2 JP6711943 B2 JP 6711943B2 JP 2019093720 A JP2019093720 A JP 2019093720A JP 2019093720 A JP2019093720 A JP 2019093720A JP 6711943 B2 JP6711943 B2 JP 6711943B2
- Authority
- JP
- Japan
- Prior art keywords
- polynomial function
- polynomial
- shaping
- function
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007493 shaping process Methods 0.000 title claims description 102
- 230000006870 function Effects 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 29
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 22
- 241000023320 Luma <angiosperm> Species 0.000 description 14
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000012805 post-processing Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 8
- 230000011664 signaling Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000007667 floating Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は2015年7月16日に出願された米国仮特許出願第62/193,508号および2015年10月6日に出願された同62/347,852号の優先権の利益を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、高ダイナミックレンジ(HDR: high dynamic range)および広色域(WCG: wide color gamut)の信号再整形および符号化に関する。
本稿に記載される例示的実施形態は、高ダイナミックレンジ画像の整形および符号化のためのメッセージ伝達に関する。高ダイナミックレンジ(HDR)画像の符号化効率を改善する方法において、デコーダが、入力符号化ビットストリームからシーケンス処理セット(SPS: sequence processing set)データをパースして、パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出する。デコーダは、HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出する。デコーダは、入力ビットストリームをデコードして、予備的な出力デコード信号を生成し、該予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成する。
図1は、ビデオ捕捉からビデオ・コンテンツ表示までのさまざまな段階を示す通常のビデオ送達パイプライン(100)の例示的なプロセスを描いている。ビデオ・フレーム(102)のシーケンスが画像生成ブロック(105)を使って捕捉または生成される。ビデオ・フレーム(102)は(たとえばデジタル・カメラによって)デジタル的に捕捉されても、あるいは(たとえばコンピュータ・アニメーションを使って)コンピュータによって生成されてもよいが、ビデオ・データ(107)を与える。あるいはまた、ビデオ・フレーム(102)はフィルム・カメラによってフィルム上で捕捉されてもよい。そのフィルムがデジタル・フォーマットに変換されてビデオ・データ(107)を与える。制作フェーズ(110)では、ビデオ・データ(107)は編集されて、ビデオ制作ストリーム(112)を与える。
伝統的に、ビデオ処理はガンマ符号化されたルミナンス/クロマ色空間、たとえばYCbCr、YUVなどにおいて実行される。ある実施形態では、処理パイプラインの一部、たとえば符号化(120)、デコード(130)およびディスプレイ管理(135)は、これからIPT-PQ色空間と称されるものにおいて実行されてもよい。IPT-PQ色空間は、ディスプレイ管理アプリケーションについての特許文献1で最初に導入された。ここで参照によってその全体において組み込まれる非特許文献1(エブナー論文と称する)に記載されるIPTは、人間の視覚系における錐体の間の色差のモデルである。この意味で、これはYCbCrまたはCIE-Lab色空間に似ているが、いくつかの科学的研究で、これらの空間よりも人間の視覚処理をよりよく模倣することが示されている。CIE-Labと同様に、IPTは何らかの参照ルミナンスに対して規格化された空間である。ある実施形態では、規格化は、ターゲット・ディスプレイの最大ルミナンス(たとえば5000ニト)に基づく。
a)任意的な段階(210)が、入力信号(202)のピクセル値(たとえば0ないし4095)を0から1までの間のダイナミックレンジをもつピクセル値に規格化してもよい。
MPEG-1、MPEG-2、AVC、HEVCなどのような既存のビデオ圧縮標準の大半はYCbCr色空間におけるガンマ符号化されたSDR画像について試験され、評価され、最適化されてきたが、実験結果は、追加的な前処理がHDRおよびWCG信号を効率的に符号化することに益することがあることを示している。
一般性を失うことなく、ここに参照によってその全体において組み込まれる最新のHEVC草案規格「HEVC Screen Coding Draft Text 3」、JCTVC-T1005、2015年2月、ジュネーヴ、を使う符号化システム(たとえば310、315)を、HDR信号(302)の符号化(310)および復号(315)のために考える。ある実施形態では、スライス・レベルより下位のHEVC仕様に変更がないとすると、表1が、ある実施形態に基づくHDRおよびWCGビデオ・エンコードをサポートするための、シーケンス・パラメータ・セット(SPS)における、例示的な向上された信号伝達を描いている。ボールド体にされたテキストは、HEVC仕様に呈示されているシンタックスの追加または修正である。
fp_poly_coef[c][i][j]〔浮動小数点多項式係数[c][i][j]〕はc番目の成分におけるi番目の区分についてのj番目の次数の多項式係数の浮動小数点値を指定する。
fp_pow_coef[c][i][j]はc番目の成分におけるi番目の区分についてのj番目の係数の値を指定する。
signal_reshape_video_signal_type_present_flag=0 //デフォルト行列を使用
signal_reshape_model_present_flag=1
signal_reshape_model_id[c]=0(c=0,1,2について) //多項式ベースの整形
signal_reshape_num_pivots_minus2[c]=0(c=0,1,2について) //一つの区分
poly_order_minus[c][i]=0(i=0、c=0,1,2について) //一次多項式(ax+b)
poly_coef_int[c][i][j]=1 (c=0、i=0、j=0について) //Iについてのスケーリングなし(a=1)
poly_coef_int[c][i][j]=2 (c=1,2、i=0、j=0について) //PおよびTを因子2でスケーリング(a=2)
poly_coef_int[c][i][j]=0 (c=0,1,2、i=0,1,2、j=1について) //I,P,Tについてのオフセット(b)は0
poly_coef_frac[c][i][j]=0 (c=0,1,2、i=0,1、j=0,1について) //スケーリング因子およびオフセットに端数なし。
・0に等しいnuh_layer_idをもつアクセス・ユニット・デリミタNALユニット(存在するとき)
・0に等しいnuh_layer_idをもつVPS NALユニット(存在するとき)
・0に等しいnuh_layer_idをもつSPS NALユニット(存在するとき)
・0に等しいnuh_layer_idをもつPPS NALユニット(存在するとき)
・0に等しいnuh_layer_idをもつHRI NALユニット(存在するとき)
・0に等しいnuh_layer_idをもつプレフィックスSEI NALユニット(存在するとき)
・0に等しいnuh_layer_idをもつ、RSV_NVCL41..RSV_NVCL44の範囲内のnal_unit_typeをもつNALユニット(存在するとき)
・0に等しいnuh_layer_idをもつ、UNSPEC48..UNSPEC55の範囲内のnal_unit_typeをもつNALユニット(存在するとき)。
先に論じたように、ある実施形態では、整形関数がエンコーダからデコーダに区分的多項式として信号伝達されてもよい。整形関数および多項式パラメータは、シーン、フレーム、スライス、タイルなどの間隔ごとに変更されることがある。よって、符号化されたビットストリーム内での区分的な多項式の効率的な符号化は、ビデオ符号化において非常に重要である。
(1)0次の連続性:曲線はピボット点において連続である、すなわち、yi-1(xi)=yi(xi);
(2)一次の連続性:各ピボットxiについて、pi-1およびpiの両方が二次の多項式であれば、一階微分はxiにおいてなめらかでなければならない、すなわちy'i-1(xi)=y'i(xi)
これらの制約条件に基づくと、x=xiにおいて、式(5)から、第一の制約条件については
ai-1+bi-1xi+ci-1xi 2=ai+bixi+cixi 2 (6a)
となり、第二の制約条件については、
bi-1+2ci-1xi=bi+2cixi (6b)
となる。式(6a)および(6b)から、
ai=ai-1+(bi-1−bi)xi+(ci-1−ci)xi 2 (7a)
bi=bi-1+2(ci-1−ci)xi (7b)
となる。
・aiは常にai-1,bi-1,bi,ci-1,ci,xiに基づいて再構成できる
・ciはそのセグメントが二次多項式である(すなわちMi=2)である場合にのみ信号伝達される必要がある
・biは一次連続性が満たされない、すなわちMi=2だがMi-1≠2であるときまたはMi=1であるときにのみ信号伝達される必要がある。.
例として、八個の二次多項式を使って定義される整形関数を考える。典型的な慣行のもとでは、それぞれの多項式について三つの係数、合計24個の係数を送信しなければならないであろう。提案される方法を使えば、八つの多項式のどれも一次または零次多項式でない場合、10個の係数が送信される必要があるだけである(第零セグメントについて3個、残りの七個のセグメントについて一つの係数)。
変数BitDepthReshapeInput[c]〔ビット深さ 整形入力[c]〕は次のように導出される:
BitDepthReshapeInput[c]=8+(c==0) ? reshape_input_luma_bit_depth_minus8 : reshape_input_chroma_bit_depth_minus8
。
変数BitDepthReshapeOutput[c]〔ビット深さ 整形出力[c]〕は次のように導出される:
BitDepthReshapeOutput[c]=8+(c==0) ? reshape_output_luma_bit_depth_minus8 : reshape_output_chroma_bit_depth_minus8
。
ReshapeLog2Denom=14+coef_log2_denom_minus14
。
reshape_coded_pivots_value[c][i+1]>reshape_coded_pivots_value[c][i]
。
cは両端を含めて0ないし2の範囲内、jは両端を含めて0ないし2の範囲内として、変数PolyCoef[c][0][j]〔多項式係数[c][0][j]〕は次のように導出される:
このプロセスへの入力はサンプル値Sおよび成分インデックスcである。
このプロセスの出力は、サンプルSが属するセグメントを同定するインデックスidxSである。
変数idxSは次のように導出される。
このプロセスへの入力は、現在のピクチャーの左上のルーマ・サンプルに対するルーマ・サンプル位置を指定するルーマ位置(xP,yP)である。
このプロセスの出力は、hdr整形されたルーマ・サンプル値reshapeLumaSampleである。
reshapeLumaSampleの値は次の順序付けされた段階を適用することによって導出される:
1.変数idxLが、成分0についてサンプル値recPictureL[xP][yP]の入力を用いて上記の区分的関数のインデックスの同定を呼び出すことによって、導出される。
2.reshapeLumaSampleの値が次のように導出される。
このプロセスへの入力は、現在のピクチャーの左上のクロマ・サンプルに対するクロマ・サンプル位置を指定するルーマ位置(xPC,yPC)およびクロマ成分インデックスを指定する変数cIdxである。
このプロセスの出力は、hdr整形されたクロマ・サンプル値reshapeChromaSampleである。
recPictureCは、cIdxが0に等しい場合にはrecPictureC0に等しく、それ以外の場合にはrecPictureC0に等しく設定される。
reshapeChromaSampleの値は次のように導出される。
1.変数idxCが、成分cIdx+1についてサンプル値recPictureC[xPC][yPC]の入力を用いて上記の区分的関数のインデックスの同定を呼び出すことによって、導出される。
2.reshapeChromaSampleの値が次のように導出される。
本発明の実施形態は、コンピュータ・システム、電気回路およびコンポーネントにおいて構成されたシステム、集積回路(IC)デバイス、たとえばマイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他の構成可能もしくはプログラム可能な論理デバイス(PLD)、離散時間もしくはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)および/またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび/またはICは、本稿に記載されるような、向上ダイナミックレンジをもつ画像の信号整形および符号化に関係する命令を実行、制御または執行してもよい。コンピュータおよび/またはICは、本稿に記載される信号整形および符号化プロセスに関係する多様なパラメータまたは値の任意のものを計算しうる。画像およびビデオ実施形態はハードウェア、ソフトウェア、ファームウェアおよびそのさまざまな組み合わせにおいて実装されうる。
HDR画像の効率的な信号整形および符号化に関係する例示的実施形態についてこのように記載されている。以上の明細書では、本発明の実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であり、出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
〔態様1〕
高ダイナミックレンジ・ビデオ・データを生成するためのデコーダであって、当該デコーダは一つまたは複数のプロセッサおよび非一時的メモリを有しており、当該デコーダにより出力画像を生成することは:
シーケンス処理セット(SPS)データを含む入力ビットストリームを受け取り、前記SPSデータの少なくとも一部を前記非一時的メモリに記憶し;
前記SPSデータをパースし;パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出すると:
前記HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出し;
前記入力ビットストリームをデコードして、予備的な出力デコード信号を生成し;
前記予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成することを含む、
デコーダ。
〔態様2〕
前記色空間有効フラグは、色空間情報が存在することを示す、態様1記載のデコーダ。
〔態様3〕
前記色空間情報は、色変換行列に関係した情報を含む、態様2記載のデコーダ。
〔態様4〕
前記HDR拡張シンタックス構造は色空間IDフラグを含む、態様1記載のデコーダ。
〔態様5〕
0に等しい前記色空間IDフラグの値は、処理色空間が前記入力ビットストリームの別の部分において定義されていることを示し、前記色空間IDフラグの0でない値は前記処理色空間を示す、態様4記載のデコーダ。
〔態様6〕
前記適応整形有効フラグは、適応的な整形に関係した情報が存在することを示す、態様1記載のデコーダ。
〔態様7〕
前記適応的な整形に関係した情報は、一つまたは複数の多項式関数に基づいて整形関数を決定するための整形関数パラメータを含む、態様6記載のデコーダ。
〔態様8〕
前記整形関数パラメータが:
前記整形関数を定義するために使われる多項式関数の総数に基づく第一のパラメータを含み、前記整形関数におけるそれぞれの(pi)多項式関数について、さらに:
その多項式関数についての開始ピボット点と;
その多項式関数の次数に基づく第二のパラメータであって、その多項式関数の次数は値2を超えることができない、第二のパラメータと;
その多項式関数についての一つまたは複数の0でない係数とを含む、
態様7記載のデコーダ。
〔態様9〕
第二の隣接する多項式関数に後続する、前記整形関数における第一の多項式関数について、前記第一の多項式関数についての係数は:
その多項式の次数が2である場合、二次の係数(ci)と;
前記第一の多項式の次数が2であり、前記第二の多項式の次数が2でない場合または前記第一の多項式の次数が1である場合、一次の係数(bi)とを含む、
態様8記載のデコーダ。
〔態様10〕
前記第一の多項式関数についての係数が一次の係数(bi)を含まない場合、その多項式の次数が2であれば、一次の係数は前記第二の多項式関数の一次と二次の係数、前記第一の多項式関数の第三の次数係数および前記第一の多項式関数についての開始ピボット点に基づいて計算される、態様9記載のデコーダ。
〔態様11〕
前記第一の多項式関数についての零次の係数(ai)が前記第二の多項式関数の係数、前記第一の多項式関数の二次の係数および第三の次数係数および前記第一の多項式関数についての開始ピボット点に基づいて計算される、態様9記載のデコーダ。
〔態様12〕
前記SDR閲覧可能フラグは、前記入力ビットストリームのデコードされたバージョンが標準ダイナミックレンジ(SDR)ディスプレイで直接閲覧可能であるかどうかを示す、態様1記載のデコーダ。
〔態様13〕
前記入力ビットストリームにおけるピクチャー処理セット(PPS)データをパースし;パースされたPPSデータにおいてピクチャーHDR拡張シンタックス構造が存在していることを検出すると、
前記ピクチャーHDR拡張シンタックス構造から前記入力ビットストリームにおける一つまたは複数のピクチャーについての後処理情報を抽出することをさらに含む、
態様1記載のデコーダ。
〔態様14〕
前記入力ビットストリームにおけるスライス・ヘッダ・データをパースし;パースされたスライス・ヘッダ・データにおいてスライスHDR拡張シンタックス構造が存在していることを検出すると、
前記スライスHDR拡張シンタックス構造から前記入力ビットストリームにおける一つまたは複数のピクチャーについての後処理情報を抽出することをさらに含む、
態様1記載のデコーダ。
〔態様15〕
前記入力ビットストリームのデコードがHEVC標準の仕様に基づいて実行される、態様1記載のデコーダ。
〔態様16〕
準拠デコーダについてのデコーダ準拠ポイントが、前記第二の出力信号を生成した後のところに定義される、態様1記載のデコーダ。
〔態様17〕
デコーダで高ダイナミックレンジ・ビデオ・データを生成するための方法であって:
シーケンス処理セット(SPS)データを含む入力ビットストリームを受け取り、前記SPSデータの少なくとも一部を非一時的メモリに記憶し;
前記SPSデータをパースし;パースされたSPSデータにおいてHDR拡張シンタックス構造が存在していることを検出すると:
前記HDR拡張シンタックス構造から、色空間有効フラグ、色向上有効フラグ、適応整形有効フラグ、ダイナミックレンジ変換フラグ、色補正有効フラグまたはSDR閲覧可能フラグの一つまたは複数を含む後処理情報を抽出し;
前記入力ビットストリームをデコードして、予備的な出力デコード信号を生成し;
前記予備的な出力信号および前記後処理情報に基づいて第二の出力信号を生成することを含む、
方法。
〔態様18〕
一つまたは複数のプロセッサで態様17記載の方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ可読記憶媒体。
Claims (10)
- デコーダにおいてビデオ・データを生成する方法であって、当該方法は:
シーケンス・パラメータ・セット(SPS)データを含む入力ビットストリームを受け取り;
前記SPSデータをパースし;前記入力ビットストリームにおいて適応整形が有効にされていることを検出すると:
前記入力ビットストリームから適応整形メタデータを抽出する段階であって、前記適応整形メタデータは少なくとも、整形関数の区分的な多項式表現に関係したパラメータを含む、段階;および
前記入力ビットストリームをデコードして、前記適応整形メタデータに基づいて出力デコード信号を生成する段階を実行することを含み、
前記適応整形メタデータが:
前記整形関数を定義するために使われる多項式関数の総数に基づく第一のパラメータを含み、前記整形関数におけるそれぞれの(p i )多項式関数について、さらに:
その多項式関数についての開始ピボット点と;
その多項式関数の次数に基づく第二のパラメータであって、その多項式関数の次数は値2を超えることができない、第二のパラメータと;
その多項式関数についての一つまたは複数の0でない係数とを含み、
第二の隣接する多項式関数に後続する、前記整形関数における第一の多項式関数について、前記第一の多項式関数についての係数は:
その多項式の次数が2である場合、二次の係数(c i )と;
前記第一の多項式関数の次数が2であり、前記第二の隣接する多項式関数の次数が2でない場合または前記第一の多項式関数の次数が1である場合、一次の係数(b i )とを含み、
前記第一の多項式関数の次数が1である場合、前記第一の多項式関数についての係数は、二次の係数(c i )を含まず;
前記第一の多項式関数の次数が2であり、前記第二の隣接する多項式関数の次数が2である場合、前記第一の多項式関数についての係数は、一次の係数(b i )を含まない、
方法。 - 前記出力デコード信号を生成することが:
前記適応整形メタデータを考慮に入れることなく、前記入力ビットストリームをデコードして予備的な出力デコード信号を生成し;
前記予備的な出力デコード信号および前記適応整形メタデータに基づいて前記出力デコード信号を生成することを含む、
請求項1記載の方法。 - 前記第一の多項式関数についての係数が一次の係数(bi)を含まない場合、前記第一の多項式関数の次数が2であれば、一次の係数は前記第二の隣接する多項式関数の一次と二次の係数、前記第一の多項式関数の第三の次数係数および前記第一の多項式関数についての開始ピボット点に基づいて計算される、請求項1記載の方法。
- 前記第一の多項式についての一次の係数(bi)は
bi=bi-1+2(ci-1−ci)xi
として計算され、bi-1およびci-1は前記第二の隣接する多項式関数の一次と二次の係数を表わし、ciは前記第一の多項式関数の二次の係数を表わし、xiは前記第一の多項式関数についての開始ピボット点を表わす、請求項3記載の方法。 - 前記第一の多項式関数についての零次の係数(ai)が前記第二の隣接する多項式関数の係数、前記第一の多項式関数の二次の係数および第三の次数係数および前記第一の多項式関数についての開始ピボット点に基づいて計算される、請求項3記載の方法。
- 前記第一の多項式関数についての零次の係数(ai)は
ai=ai-1+(bi-1−bi)xi+(ci-1−ci)xi 2
として計算され、ai-1、bi-1およびci-1は前記第二の隣接する多項式関数の零次、一次および二次の係数を表わし、biおよびciは前記第一の多項式関数の一次および二次の係数を表わし、xiは前記第一の多項式関数についての開始ピボット点を表わす、請求項5記載の方法。 - 前記入力ビットストリームにおけるスライス・ヘッダ・データをパースし;スライスに関係した整形メタデータを抽出することをさらに含む、請求項1記載の方法。
- 前記区分的な多項式表現はN個の線形な(一次の)セグメントを含む、請求項1記載の方法。
- 前記区分的な多項式表現はN個の線形または二次のセグメントを含む、請求項1記載の方法。
- 一つまたは複数のプロセッサで請求項1記載の方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562193508P | 2015-07-16 | 2015-07-16 | |
US62/193,508 | 2015-07-16 | ||
US201562237852P | 2015-10-06 | 2015-10-06 | |
US62/237,852 | 2015-10-06 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018500536A Division JP6530854B2 (ja) | 2015-07-16 | 2016-07-14 | Hdrおよび広色域の信号のための信号整形および符号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019134495A JP2019134495A (ja) | 2019-08-08 |
JP6711943B2 true JP6711943B2 (ja) | 2020-06-17 |
Family
ID=56555785
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018500536A Active JP6530854B2 (ja) | 2015-07-16 | 2016-07-14 | Hdrおよび広色域の信号のための信号整形および符号化 |
JP2019093720A Active JP6711943B2 (ja) | 2015-07-16 | 2019-05-17 | Hdrおよび広色域の信号のための信号整形および符号化 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018500536A Active JP6530854B2 (ja) | 2015-07-16 | 2016-07-14 | Hdrおよび広色域の信号のための信号整形および符号化 |
Country Status (5)
Country | Link |
---|---|
US (5) | US10542289B2 (ja) |
EP (2) | EP4020995A1 (ja) |
JP (2) | JP6530854B2 (ja) |
CN (2) | CN107852511B (ja) |
WO (1) | WO2017011636A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6530854B2 (ja) * | 2015-07-16 | 2019-06-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Hdrおよび広色域の信号のための信号整形および符号化 |
US10244249B2 (en) * | 2015-09-21 | 2019-03-26 | Qualcomm Incorporated | Fixed point implementation of range adjustment of components in video coding |
WO2017053846A1 (en) * | 2015-09-23 | 2017-03-30 | Arris Enterprises Llc | System and method for reshaping and adaptation of high dynamic range video data |
CN106937121B (zh) * | 2015-12-31 | 2021-12-10 | 中兴通讯股份有限公司 | 图像解码和编码方法、解码和编码装置、解码器及编码器 |
US10542296B2 (en) | 2016-05-10 | 2020-01-21 | Dolby Laboratories Licensing Corporation | Chroma reshaping of HDR video signals |
EP3244616A1 (en) * | 2016-05-13 | 2017-11-15 | Thomson Licensing | A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions |
KR102305633B1 (ko) * | 2017-03-17 | 2021-09-28 | 엘지전자 주식회사 | 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 |
US10992941B2 (en) | 2017-06-29 | 2021-04-27 | Dolby Laboratories Licensing Corporation | Integrated image reshaping and video coding |
IL312371A (en) | 2018-02-14 | 2024-06-01 | Dolby Laboratories Licensing Corp | Image reshaping in video encoding using rate warping optimization |
CN117560509A (zh) * | 2019-03-04 | 2024-02-13 | 北京字节跳动网络技术有限公司 | 视频处理中滤波信息的两级信令 |
JP7344654B2 (ja) * | 2019-03-07 | 2023-09-14 | キヤノン株式会社 | 撮像装置及び再生装置及びそれらの制御方法及びプログラム |
CN113711612B (zh) * | 2019-04-20 | 2023-05-26 | 北京字节跳动网络技术有限公司 | 视频编解码中的色度语法元素的信令 |
WO2020233514A1 (en) * | 2019-05-17 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of syntax elements according to chroma format |
CN115567707A (zh) | 2019-05-30 | 2023-01-03 | 抖音视界有限公司 | 色度分量的自适应环路滤波 |
BR112022006422A2 (pt) | 2019-10-07 | 2022-06-28 | Huawei Tech Co Ltd | Prevenção de sinalização redundante em fluxos de bits de vídeo de múltiplas camadas |
US11533512B2 (en) | 2020-04-10 | 2022-12-20 | Qualcomm Incorporated | Dynamic range adjustment parameter signaling and enablement of variable bit depth support |
WO2021216607A1 (en) * | 2020-04-21 | 2021-10-28 | Dolby Laboratories Licensing Corporation | Reshaping functions for hdr imaging with continuity and reversibility constraints |
WO2022072884A1 (en) | 2020-10-02 | 2022-04-07 | Dolby Laboratories Licensing Corporation | Adaptive local reshaping for sdr-to-hdr up-conversion |
CN112261442B (zh) * | 2020-10-19 | 2022-11-11 | 上海网达软件股份有限公司 | 一种用于视频hdr与sdr实时转码的方法及系统 |
JP7543577B2 (ja) | 2021-06-08 | 2024-09-02 | ドルビー ラボラトリーズ ライセンシング コーポレイション | チェーンドリシェーピング関数の最適化 |
WO2024178003A1 (en) * | 2023-02-22 | 2024-08-29 | Dolby Laboratories Licensing Corporation | Tile-based streaming of 360-degree video content |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2742568B1 (fr) * | 1995-12-15 | 1998-02-13 | Catherine Quinquis | Procede d'analyse par prediction lineaire d'un signal audiofrequence, et procedes de codage et de decodage d'un signal audiofrequence en comportant application |
WO2003084472A2 (en) | 2002-04-01 | 2003-10-16 | Walter Reed Army Institute Of Research | Recombinant p. falciparum merozoite protein-142 vaccine |
CN1659889A (zh) * | 2002-04-01 | 2005-08-24 | 迈优科技有限公司 | 用于高度相关图像数据的重复编码压缩 |
GB0423708D0 (en) * | 2004-10-26 | 2004-11-24 | Koninkl Philips Electronics Nv | Adapting filter to detected interference level |
US7929776B2 (en) * | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
JP2007116351A (ja) * | 2005-10-19 | 2007-05-10 | Ntt Docomo Inc | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
US20090003449A1 (en) * | 2007-06-28 | 2009-01-01 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
US8477247B2 (en) * | 2008-09-30 | 2013-07-02 | Intel Corporation | Joint enhancement of lightness, color and contrast of images and video |
CN101431691B (zh) * | 2008-12-04 | 2011-06-15 | 浙江大学 | 高动态范围图像的快速并行压缩方法 |
JP5430218B2 (ja) * | 2009-05-07 | 2014-02-26 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2011142565A (ja) * | 2010-01-08 | 2011-07-21 | Fuji Xerox Co Ltd | 情報処理装置及び情報処理プログラム |
PL2543181T3 (pl) * | 2010-03-03 | 2016-03-31 | Koninklijke Philips Nv | Urządzenia i sposoby definiowania systemu kolorów |
CN101963751B (zh) * | 2010-08-19 | 2011-11-30 | 西北工业大学 | 高分辨率实时全景高动态范围图像获取装置及方法 |
US10298923B2 (en) * | 2011-05-16 | 2019-05-21 | Dolby Laboratories Licensing Corporation | Efficient architecture for layered VDR coding |
KR20200074229A (ko) * | 2011-05-27 | 2020-06-24 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들 |
TWI575933B (zh) * | 2011-11-04 | 2017-03-21 | 杜比實驗室特許公司 | 階層式視覺動態範圍編碼中之層分解技術 |
CN106095356B (zh) | 2011-12-06 | 2019-05-14 | 杜比实验室特许公司 | 改进不同显示能力之间基于感知照度非线性的图像数据交换的装置和方法 |
TWI606718B (zh) * | 2012-01-03 | 2017-11-21 | 杜比實驗室特許公司 | 規定視覺動態範圍編碼操作及參數 |
US9380302B2 (en) * | 2012-02-27 | 2016-06-28 | Texas Instruments Incorporated | Sample adaptive offset (SAO) parameter signaling |
US20150043637A1 (en) * | 2012-04-13 | 2015-02-12 | Sony Corporation | Image processing device and method |
TWI586150B (zh) * | 2012-06-29 | 2017-06-01 | 新力股份有限公司 | 影像處理裝置及非暫態電腦可讀儲存媒體 |
US20140140406A1 (en) * | 2012-11-16 | 2014-05-22 | General Instrument Corporation | Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc) |
CA2889671C (en) * | 2012-11-27 | 2017-08-15 | Lg Electroncs Inc. | Signal transceiving apparatus and signal transceiving method |
WO2014105385A1 (en) * | 2012-12-27 | 2014-07-03 | The Regents Of The University Of California | Anamorphic stretch image compression |
BR112015020009B1 (pt) | 2013-02-21 | 2023-02-07 | Dolby Laboratories Licensing Corporation | Gerenciamento de exibição para vídeo de alta gama dinâmica |
US9565437B2 (en) * | 2013-04-08 | 2017-02-07 | Qualcomm Incorporated | Parameter set designs for video coding extensions |
CN105324997B (zh) * | 2013-06-17 | 2018-06-29 | 杜比实验室特许公司 | 用于增强动态范围信号的分层编码的自适应整形 |
US10063886B2 (en) * | 2013-10-07 | 2018-08-28 | Vid Scale, Inc. | Combined scalability processing for multi-layer video coding |
US20150103925A1 (en) * | 2013-10-15 | 2015-04-16 | Qualcomm Incorporated | Parallel extensions of parameter sets |
KR102509533B1 (ko) * | 2014-02-25 | 2023-03-14 | 애플 인크. | 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수 |
EP2958328A1 (en) * | 2014-06-20 | 2015-12-23 | Thomson Licensing | Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture |
EP3198556B1 (en) | 2014-09-26 | 2018-05-16 | Dolby Laboratories Licensing Corp. | Encoding and decoding perceptually-quantized video content |
US10999607B2 (en) | 2015-01-27 | 2021-05-04 | Interdigital Madison Patent Holdings, Sas | Methods, systems and apparatus for electro-optical and opto-electrical conversion of images and video |
WO2016172091A1 (en) | 2015-04-22 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding in the ipt-pq color space |
JP6530854B2 (ja) * | 2015-07-16 | 2019-06-12 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Hdrおよび広色域の信号のための信号整形および符号化 |
-
2016
- 2016-07-14 JP JP2018500536A patent/JP6530854B2/ja active Active
- 2016-07-14 WO PCT/US2016/042229 patent/WO2017011636A1/en active Application Filing
- 2016-07-14 CN CN201680041756.8A patent/CN107852511B/zh active Active
- 2016-07-14 CN CN202010944913.4A patent/CN112040237B/zh active Active
- 2016-07-14 EP EP22151716.2A patent/EP4020995A1/en active Pending
- 2016-07-14 EP EP16745294.5A patent/EP3323243B1/en active Active
- 2016-07-14 US US15/580,246 patent/US10542289B2/en active Active
-
2019
- 2019-05-17 JP JP2019093720A patent/JP6711943B2/ja active Active
- 2019-12-11 US US16/710,904 patent/US10972756B2/en active Active
-
2021
- 2021-03-16 US US17/203,698 patent/US11234021B2/en active Active
-
2022
- 2022-01-21 US US17/581,827 patent/US11800151B2/en active Active
-
2023
- 2023-09-19 US US18/470,353 patent/US20240007678A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11800151B2 (en) | 2023-10-24 |
CN112040237A (zh) | 2020-12-04 |
EP3323243B1 (en) | 2022-01-19 |
US20210274222A1 (en) | 2021-09-02 |
US20200162759A1 (en) | 2020-05-21 |
US20240007678A1 (en) | 2024-01-04 |
CN107852511B (zh) | 2020-09-22 |
CN107852511A (zh) | 2018-03-27 |
JP2019134495A (ja) | 2019-08-08 |
JP6530854B2 (ja) | 2019-06-12 |
WO2017011636A1 (en) | 2017-01-19 |
EP3323243A1 (en) | 2018-05-23 |
US20180167637A1 (en) | 2018-06-14 |
EP4020995A1 (en) | 2022-06-29 |
US10542289B2 (en) | 2020-01-21 |
US20220150548A1 (en) | 2022-05-12 |
US10972756B2 (en) | 2021-04-06 |
JP2018524931A (ja) | 2018-08-30 |
CN112040237B (zh) | 2024-07-26 |
US11234021B2 (en) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6711943B2 (ja) | Hdrおよび広色域の信号のための信号整形および符号化 | |
RU2762384C1 (ru) | Переформирование сигналов для сигналов широкого динамического диапазона | |
US10484684B2 (en) | Signal reshaping and coding in the IPT-PQ color space | |
KR20180063226A (ko) | 하이 다이내믹 레인지 비디오의 crc 코드들을 포함한 계층화된 표현 및 전달 | |
CN110612724B (zh) | 使用明亮度信息的量化参数预测 | |
JP6395750B2 (ja) | ハイダイナミックレンジ信号のための信号再構成 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6711943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |