JP6383116B2 - ハイダイナミックレンジ映像符号化における、ループ内ブロックベース画像再構成 - Google Patents
ハイダイナミックレンジ映像符号化における、ループ内ブロックベース画像再構成 Download PDFInfo
- Publication number
- JP6383116B2 JP6383116B2 JP2017552806A JP2017552806A JP6383116B2 JP 6383116 B2 JP6383116 B2 JP 6383116B2 JP 2017552806 A JP2017552806 A JP 2017552806A JP 2017552806 A JP2017552806 A JP 2017552806A JP 6383116 B2 JP6383116 B2 JP 6383116B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- bit depth
- generating
- reconstruction function
- reference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006870 function Effects 0.000 claims description 94
- 238000000034 method Methods 0.000 claims description 59
- 108091026890 Coding region Proteins 0.000 claims description 37
- 238000013139 quantization Methods 0.000 claims description 24
- 108700026244 Open Reading Frames Proteins 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 20
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003945 visual behavior Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2015年4月6日に出願された米国仮特許出願第62/143,478号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。
本発明は、広く画像に関する。より詳細には、本発明のある実施形態は、ハイダイナミックレンジの画像および映像シーケンスのための、ループ内(in−loop)ブロックベース(block−based)画像再構成に関する。
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システム(HVS)が画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最暗部(黒)から最明部(白)まで)を知覚する能力に関連し得る。この意味では、DRはシーン−リファード(scene−referred)の強度に関する。DRはまた、ディスプレイデバイスが特定の幅を有する強度範囲を妥当にまたは近似的に描画する能力にも関連し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)の強度に関する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても(例えば、区別なく)使用できるものとする。
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。
ハイダイナミックレンジ(HDR)画像を圧縮する際の、ループ内での適応的再構成の技術を本明細書に記載する。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
本明細書に記載の例示的な実施形態は、HDR画像の符号化(例えば、圧縮および展開)の際における、ループ内ブロックベース再構成に関する。ある実施形態において、エンコーダが、入力ビット深度におけるHDR入力画像にアクセスする。入力画像が有するある符号化領域(coding region)について、エンコーダは、順方向再構成関数および逆方向再構成関数を生成または選択する。エンコーダは、この符号化されることになる領域のための、入力ビット深度における参照画素データにアクセスし、参照画素データと符号化領域の画素データとに順方向再構成関数を適用することにより、ターゲットビット深度における第2の参照データと第2の符号化領域画素データとを生成する。ここで、ターゲットビット深度は入力ビット深度以下である。エンコーダは、第2の参照データと第2の符号化領域画素データとに基づき、ターゲットビット深度における符号化ビットストリームを生成する。エンコーダはまた、符号化ビットストリームのループ内復号化に基づき、復元データ(reconstructed data)を生成する。その後、復元データに逆方向再構成関数を適用することにより、入力ビット深度における将来の参照データを生成する。当該符号化領域について順方向および/または逆方向再構成関数を特徴付けるデータもまた、符号化ビットストリームの一部としてデコーダへと通知され得る。
図1Aは、従来の映像供給パイプライン(100)のプロセス例を示しており、映像のキャプチャから映像コンテンツの表示までの、様々な段を示している。画像生成ブロック(105)を用い、映像フレームのシーケンス(102)をキャプチャまたは生成する。映像フレームは、デジタル的にキャプチャされるか(例えばデジタルカメラにより)またはコンピュータ(例えばコンピュータアニメーションを用いて)によって生成されることにより、映像データ(107)が得られる。あるいは映像フレーム(102)は、銀塩カメラによってフィルム上に取得されてもよい。フィルムがデジタルフォーマットに変換されることによって、映像データ(107)が得られる。プロダクションフェーズ(110)において、映像データ(107)は編集され、映像プロダクションストリーム(112)を得る。
現在、映像供給用のほとんどのデジタルインターフェース、例えばSerial Digital Interface(SDI)などは、各成分につき画素あたり12ビットに制限されている。さらに、ほとんどの圧縮規格、例えばH.264(またはAVC)およびH.265(またはHEVC)などは、各成分につき画素あたり10ビットに制限されている。したがって、既存のインフラストラクチャおよび圧縮規格内において、約0.001から10,000cd/m2(またはニト)のダイナミックレンジを有するHDRコンテンツをサポートするためには、効率的な符号化および/または量子化が必要である。
図2Aは、本発明のある実施形態による、映像エンコーダにおけるループ内再構成のためのシステム例(200A)を示す。図2Aに表すように、ハイダイナミックレンジ画像(例えば、映像フレーム)のシーケンス(202)(例えば、色成分当たり12または16ビットでキャプチャされたもの)が、高ビット深度のフレームバッファ(205)に格納される。映像エンコーダ(例えば、MPEG−2、MPEG−4、AVC、HEVCなどのエンコーダ)はインター/イントラ予測(215)を備えており、これにより、イントラ符号化されたブロックまたは残差(217)のいずれかを生成する。その後、予測プロセス(215)の出力(217)を、適切な変換ドメイン(例えば、DCT)へと変換し、量子化(220)する。最後に、量子化(220)の後で、エントロピーエンコーダ(225)が、ロスレス符号化技術(例えば、ハフマン符号化、算術符号化など)を使用して圧縮ビットストリーム(227)を生成する。殆どの規格準拠エンコーダ(例えば、AVC、HEVCなど)はループ内での復号化プロセスを備えており、このプロセスにおいて、逆量子化および逆変換プロセス(230)を適用した後で、下流のデコーダによって感じとられるであろうような、入力ビットストリームの近似(232)を生成する。高ビット深度のエンコーダおよびデコーダを設計することは高コストであるため、商業的に利用可能な映像エンコーダにおいて、サポートされるビット深度は約8〜10ビットに制限され得る。低コストのエンコーダを使用してHDR入力をより良く符号化するために、順方向再構成ユニット(210)において、高ビット深度バッファの出力(207)を、当初の入力ビット深度BI(例えば、12または16ビット)からターゲットビット深度BT(例えば、8または10ビット)に変換し得る。いくつかの実施形態において、たとえターゲットビット深度が入力ビット深度と同一である場合でも、再構成を適用して信号ダイナミックレンジを制限することは有益であり得る。例えば、再構成によって全体的な圧縮効率を改善することもできるし、再構成において、ある特定のダイナミックレンジのディスプレイに向けたコンテンツを生成することを目標としてもよい。順方向再構成または量子化(210)に関する全てのパラメータは、メタデータ(213)を介して下流のデコーダ(例えば、200B)へと伝達されることができ、これによりデコーダは、エンコーダにおける逆方向再構成ブロック(235)と同様な逆方向再構成関数を生成し得る。
・ステップ(310)において、順方向再構成変換により、符号化されることになる画像領域(207)および、関連参照データ(237)を入力ビット深度(BI)からターゲットビット深度(BT)に変換する。順方向再構成変換に関するパラメータ(213)を使用して、逆方向再構成変換(335)を生成し得る。
・ステップ(315)において、ステップ(310)の出力を、映像エンコーダ(例えば、MPEG−4、AVC、HEVCなど)を使用して符号化する。例えば、映像符号化ステップは、イントラまたはインター予測(315)、変換および量子化(220)、ならびにエントロピー符号化(225)を含み得る。
・ステップ(325)は、映像符号化における従来のループ内復号化(例えば、逆量子化および逆変換)を含むことにより、対応する下流のデコーダ(例えば、200B)によって生成されることになるような復元信号(232)を生成する。逆方向再構成ステップ(335)の後で、将来の符号化領域の符号化において参照データ(237)として使用するために、復元データ(232)をBIビット深度に変換し戻し、フレームバッファに格納する。
・最後に、ステップ(320)において、順方向再構成関数のパラメータ(213)および映像エンコーダの出力(317)を多重化して、符号化ビットストリームを作成する。
この処理は、入力(202)の全ての符号化領域について、そして入力信号の1つ以上の色成分(例えば、ルマおよびクロマ)について、繰り返され得る。メタデータ(213)は、順方向再構成関数のみに関するパラメータを含んでもよいし、逆方向再構成関数のみに関するパラメータを含んでもよいし(これにより、順方向および逆方向再構成関数の両方を導出することが可能となる)、順方向および逆方向関数の両方に関するパラメータを含んでもよい。
・ステップ(350)において、ビットストリームの中で規定されている符号化パラメータに従って、ターゲットビット深度BTにおける符号化領域を復号化する。このような復号化のためには、当該分野で公知の、エントロピー復号化、逆変換と逆量子化、および/またはイントラもしくはインター予測を適用することが必要とされ得る。ビット深度BTにおけるイントラまたはインターベースの復号化に対応するために、復号化に必要とされる全ての参照データ(例えば、以前に復号化された参照領域からの画素データ)(B0≧BTビット深度において格納されている)を、順方向再構成ステップ(310)を使用してBIビット深度に変換し戻す。
・ステップ(335)において、逆方向再構成変換を使用して、復号化信号(257)をビット深度BOを有する信号に変換し戻す。その後、ステップ(340)において、この高ビット深度信号(262)を高ビット深度バッファ(例えば265)に格納する。典型的には、BO=BI(すなわち、エンコーダにおいて使用された当初のHDRビット深度)である。但し、いくつかの実施形態においては、BOは典型的にはBTより大きいものの、BOとBTとは異なっていてもよい(例えば、BI≧BO≧BT)。
図4は、オーバーラップしない複数の符号化領域(例えば、405、410、415)へと細分された画像フレーム(400)の一例を示す。このような領域は、ブロック、マクロブロック、符号化木ブロック、スライスなどに相当し得る。一般的にそうだというわけではないが、このような領域は、全てが均一(例えば32×32)でもよいし、不均等でもよい。イントラ予測において、あるフレームにおける現領域または現ブロックの画素は、他のフレームの画素を一切参照せずに、同一フレーム中の、以前に符号化された近傍の領域からの画素に基づいて予測する。ある実施形態において、L(m,n),jは、m=0,n=0を左上の角として、第j番目フレーム中の第m列n行に位置する第(m,n)HDR領域を表すものとする。ビット深度BIを有するこのような領域中のHDR画素を、v(m,n),j(x,y)と表す。F(m,n),j()は、この領域に対する順方向再構成関数を表し、B(m,n),j()は、これに対応する逆方向再構成関数を表すものとする。ターゲットビット深度BTにおける再構成画素または量子化画素(212)を、
・いずれの近傍も利用不能である。例えば、現ブロックは、フレームの左上角にある(例えば、現ブロックはブロック(405))。
・一個の左近傍が利用可能(例えば、現ブロックは、ブロック(410)または(415))である。このとき、
・上および右上の近傍のみが利用可能(例えば、現ブロックがブロック(420))である。このとき、
・左、左上、上、および右上の近傍のみが利用可能(例えば、現ブロックがブロック(425))である。このとき、画素
・左、左上、および上の近傍のみが利用可能(例えば、現ブロックがブロック(430))である。このとき、画素
本明細書において、「インター符号化」(inter coding)の用語は、あるピクチャにおける符号化領域を、当該ピクチャの外側の符号化要素(サンプル値および動きベクトルなど)を使用して符号化することを指す。インター符号化において、現ピクチャの画素は、表示順で過去(prior)および/または将来のフレームの画素に基づき、動き予測および動き補償を使用して符号化することができる。j+rを、j番目のフレームにおけるある領域L(m,n),jのための参照フレームであるものとする。ここで、rは、正または負の整数である。対応する位置の(collocated)ブロックは、L(m,n),j+rと表せる。
前述のように、再構成関数の個数を制限(例えば、計G個に)することにより、順方向および逆方向再構成関数の復元に関するパラメータをデコーダに伝達するために必要とされるオーバーヘッドを低減し得る。このようなグルーピングまたはクラスタリング方式の例を、本節に提示する。
ある実施形態において、クラスタリングは、a)αc,j、βc,j、またはγc,jを整列させること、およびその後、b)全ての整列されたC個のブロックをG個のグループ(G<C)に分割すること、に基づく。例えば、Ψg,jはグループgを表すものとする。但し、g=0,1,2,…,G−1である。このとき、各グループにおける画素極値(extreme pixels values)によって、各グループの再構成関数のための境界値を決定し得る。例えば、ある実施形態において、αc,j値を昇順に整列させてもよい。{t0,t1, .... ,tC−1}は、各ブロックの整列順を表すものとする。1番目のグループΨ0,jは、インデックス{t0,t1, ....t(C/G)−1}を有するブロックを含んでおり、ブロックt0におけるαc,j値に対応する最小値α(0)をもつ。2番目のグループΨ1,jは、インデックス{t(C/G),t(C/G)+1, ....t2(C/G)−1}を有するブロックを含んでおり、ブロックt(C/G)におけるαc,j値に対応する最小値α(1)をもつ。最終グループΨG−1,jは、ブロックインデックス{t((G−1)C/G),t((G−1)C/G)+1, ....t(C−1)}を有するブロックを含んでおり、ブロックt((G−1)C/G)におけるαc,jに対応する最小値α(G−1)をもつ。各グループにおいて、最小の高ビット深度値および最小の高ビット深度値は、
ある別の実施形態において、各フレームは、初めからG個のオーバーラップしない領域に分割される。その後、これらG個の領域の各々の特性に基づいて、各グループの再構成関数が設計される。
‘925出願において、再構成は、人間の視覚システムのノイズに対する感度に応じた、コンテンツ適応的な量子化を使用して実行される。まず、各画素に対し、許容可能な知覚的ノイズのレベルが判断される。次に、これらのノイズレベルがM個の階級(bins)に整理される。そして最後に、これらM個の階級の各々の特性に応じて、各画素に対する量子化または再構成が決定される。H(m,n),j(x,y)が、各画素v(m,n),j(x,y)に対応付けられた上記のノイズレベルを表すものとする。このとき、各符号化領域L(m,n),jにおいて、
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)または他のコンフィギュラブルまたはプログラマブルロジックデバイス(PLD)、離散時間またはデジタル信号プロセッサ(DSP)、特定用途向けIC(ASIC)などの集積回路(IC)デバイス、および/または、このようなシステム、デバイスまたはコンポーネントを1つ以上含む装置、を用いて実施し得る。このコンピュータおよび/またはICは、本明細書に記載のようなループ内での適応的な再構成プロセスに関する命令を行い、制御し、または実行し得る。このコンピュータおよび/またはICは、本明細書に記載のループ内での適応的な再構成プロセスに関する様々なパラメータまたは値のいずれを演算してもよい。画像およびビデオ実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。
効率的なループ内での適応的再構成プロセスに関する例示的な実施形態を上述した。この明細書中において、各実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
Claims (15)
- エンコーダにおいて、入力ビット深度とターゲットビット深度との間で、画像データをループ内再構成するための方法であって、
前記入力ビット深度の入力画像にアクセスすることと、
前記入力画像を複数の符号化領域に分割することと、
前記入力ビット深度の前記入力画像の各符号化領域について、
前記符号化領域のための順方向再構成関数および逆方向再構成関数を生成または選択することであって、前記順方向再構成関数は、前記入力ビット深度の画像データを前記ターゲットビット深度に変換するように構成され、前記逆方向再構成関数は、前記ターゲットビット深度の画像データを前記入力ビット深度に変換するように構成され、かつ前記ターゲットビット深度は前記入力ビット深度以下である、順方向再構成関数および逆方向再構成関数を生成または選択することと、
前記入力ビット深度の参照データにアクセスすることであって、前記参照データは、以前に符号化された領域からの画素データである、参照データにアクセスすることと、
前記参照データおよび前記符号化領域の画素データに前記順方向再構成関数を適用することにより、前記ターゲットビット深度の、第2の参照データおよび第2の符号化領域画素データを生成することと、
前記第2の参照データおよび前記第2の符号化領域画素データをエンコーダで符号化することにより、前記ターゲットビット深度の符号化ビットストリームを生成することと、
前記エンコーダを使用して、前記符号化ビットストリームのループ内復号化に基づき、復元データを生成することと、
前記復元データに前記逆方向再構成関数を適用することにより、前記入力ビット深度の将来の参照データを生成することであって、前記将来の参照データは、将来の符号化領域を符号化する際の参照データとして使用されるように、フレームバッファに格納される、将来の参照データを生成することと、
を含む方法。 - 前記入力ビット深度の前記入力画像の各符号化領域について、前記符号化ビットストリームを、前記順方向再構成関数および/または前記逆方向再構成関数を特徴付けるメタデータで多重化することをさらに含む、請求項1に記載の方法。
- 前記第2の参照データおよび前記第2の符号化領域画素データをエンコーダで符号化することにより、前記ターゲットビット深度の符号化ビットストリームを生成することは、
前記第2の参照データおよび前記第2の符号化領域画素データに基づいて、イントラ予測またはインター予測を実行することにより、予測データを生成すること、
をさらに含む、請求項1に記載の方法。 - 前記第2の参照データおよび前記第2の符号化領域画素データをエンコーダで符号化することにより、前記ターゲットビット深度の符号化ビットストリームを生成することは、
前記第2の参照データおよび前記第2の符号化領域画素データに基づいて、イントラ予測またはインター予測を実行することにより、予測データを生成することと、
前記予測データに符号化変換を適用することにより、変換された予測データを生成することと、
前記変換された予測データに量子化を適用することにより、量子化データを生成することと、
前記量子化データにエントロピー符号化を適用することにより、前記符号化ビットストリームを生成することと、
を含む、請求項1に記載の方法。 - 前記符号化ビットストリームのループ内復号化に基づき、前記復元データを生成することは、
前記量子化データに逆量子化を適用することにより、逆量子化データを生成することと、
前記逆量子化データに逆変換を適用することにより、推定予測データを生成することと、
前記推定予測データに基づき、前記復元データを生成することと、
をさらに含む、請求項4に記載の方法。 - 前記符号化領域のための順方向再構成関数および逆方向再構成関数を、生成または選択することは、
前記複数の符号化領域をG個のグループにクラスタリングすることであって、Gは、2よりも大きく、かつ前記複数の符号化領域の総数以下である、前記複数の符号化領域をG個のグループにクラスタリングすることと、
前記G個のグループの各々について、順方向再構成関数および逆方向再構成関数を生成することと、
ある選択基準に従って、前記符号化領域のために、前記G組の順方向および逆方向の再構成関数のうち1組を選択することと、
をさらに含む、請求項1に記載の方法。 - 前記複数の符号化領域をG個のグループへとクラスタリングすることは、
各符号化領域における画素値たちの関数を算出することにより、複数の符号化領域メトリックを生成することと、
前記複数の符号化領域メトリックを整列させることと、
整列された前記複数の符号化領域メトリックに基づき、前記G個のグループを生成することと、
をさらに含む、請求項6に記載の方法。 - 前記複数の符号化領域をG個のグループへとクラスタリングすることは、
各符号化領域における画素値たちの関数を算出することにより、複数の符号化領域メトリックを生成することと、
2つの符号化領域が、これらに対応する複数の符号化領域メトリックがある類似度基準に従って類似している場合に、前記2つの符号化領域を同一グループに割り当てることと、
をさらに含む、請求項6に記載の方法。 - 前記複数の符号化領域メトリックは、前記符号化領域における最小画素値、前記符号化領域における最大画素値、または前記符号化領域における最小画素値および最大画素値の関数のうちの1つによって決定される、請求項7または8に記載の方法。
- 前記複数の符号化領域メトリックは、前記符号化領域における画素値の平均値、分散、標準偏差、またはエントロピーのうち1つによって決定される、請求項7または8に記載の方法。
- デコーダにおいて、ターゲットビット深度と出力ビット深度との間で、画像データを逆方向のループ内再構成するための方法であって、
前記ターゲットビット深度の符号化ビットストリームにアクセスすることと、
前記符号化ビットストリームにおける各符号化領域のための順方向再構成関数および/または逆方向再構成関数を特徴付けるデータにアクセスすることであって、前記順方向再構成関数は、前記出力ビット深度の画像データを前記ターゲットビット深度に変換するように構成され、前記逆方向再構成関数は、前記ターゲットビット深度の画像データを前記出力ビット深度に変換するように構成され、前記ターゲットビット深度は前記出力ビット深度以下である、順方向再構成関数および/または逆方向再構成関数を特徴付けるデータにアクセスことと、
前記符号化ビットストリームにおける各符号化領域について、
前記符号化領域のための順方向再構成関数および逆方向再構成関数を割り当てることと、
前記出力ビット深度の参照データにアクセスすることであって、前記出力ビット深度は前記ターゲットビット深度以上であり、前記参照データは以前に復号化された領域からの画素データである、参照データにアクセスすることと
前記参照データに前記順方向再構成関数を適用することにより、前記ターゲットビット深度の第2の参照データを生成することと、
デコーダを使用して、前記符号化ビットストリームデータおよび前記第2の参照データに基づき、前記符号化領域に対する、前記ターゲットビット深度の復号化画素データを生成することと、
前記復号化画素データに前記逆方向再構成関数を適用することにより、前記出力ビット深度の、出力データおよび将来の参照データを生成することであって、前記将来の参照データは、将来の符号化領域を復号化する際の参照データとして使用されるように、フレームバッファに格納される、出力データおよび将来の参照データを生成することと、
を含む方法。 - 前記符号化ビットストリームデータおよび前記第2の参照データに基づき、前記符号化領域に対する復号化画素データを生成することは、
前記第2の参照データに基づき、前記符号化ビットストリームにインター復号化またはイントラ復号化を適用すること、
をさらに含む、請求項11に記載の方法。 - インター復号化またはイントラ復号化を適用することは、
前記符号化ビットストリームデータにエントロピー復号化を適用することにより、エントロピー復号化データを生成することと、
前記エントロピー復号化データに逆量子化を適用することにより、逆量子化データを生成することと、
前記逆量子化データに逆変換を適用することにより、逆変換データを生成することと、
前記逆変換データと前記第2の参照データとを組み合わせることにより、前記復号化画素データを生成することと、
をさらに含む、請求項12に記載の方法。 - プロセッサを備えており、かつ、請求項1から13のいずれかに記載の方法のいずれかを実行するように構成された装置。
- 請求項1から13のいずれかによる方法を実行するためのコンピュータ実行可能命令を格納した、非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562143478P | 2015-04-06 | 2015-04-06 | |
US62/143,478 | 2015-04-06 | ||
PCT/US2016/025082 WO2016164235A1 (en) | 2015-04-06 | 2016-03-30 | In-loop block-based image reshaping in high dynamic range video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018514145A JP2018514145A (ja) | 2018-05-31 |
JP6383116B2 true JP6383116B2 (ja) | 2018-08-29 |
Family
ID=55699846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017552806A Active JP6383116B2 (ja) | 2015-04-06 | 2016-03-30 | ハイダイナミックレンジ映像符号化における、ループ内ブロックベース画像再構成 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10015491B2 (ja) |
EP (1) | EP3281409B1 (ja) |
JP (1) | JP6383116B2 (ja) |
CN (2) | CN107439012B (ja) |
WO (1) | WO2016164235A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10701359B2 (en) * | 2015-06-30 | 2020-06-30 | Dolby Laboratories Licensing Corporation | Real-time content-adaptive perceptual quantizer for high dynamic range images |
EP3142363A1 (en) * | 2015-09-08 | 2017-03-15 | Thomson Licensing | Methods and devices for encoding and decoding a sequence of pictures, and corresponding computer program product and computer-readable medium |
EP3386198A1 (en) | 2017-04-07 | 2018-10-10 | Thomson Licensing | Method and device for predictive picture encoding and decoding |
KR102580314B1 (ko) | 2017-06-29 | 2023-09-19 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 통합된 이미지 정형 및 비디오 코딩 |
CN110999301B (zh) * | 2017-08-15 | 2023-03-28 | 杜比实验室特许公司 | 位深度高效图像处理 |
WO2019036522A1 (en) | 2017-08-15 | 2019-02-21 | Dolby Laboratories Licensing Corporation | EFFICIENT IMAGE PROCESSING IN BIT DEPTH |
MX2020008499A (es) * | 2018-02-14 | 2020-09-25 | Dolby Laboratories Licensing Corp | Reconfiguracion de imagenes en codificacion de video usando la optimizacion de tasa-distorsion. |
US11361506B2 (en) | 2018-04-09 | 2022-06-14 | Dolby Laboratories Licensing Corporation | HDR image representations using neural network mappings |
EP3554074A1 (en) | 2018-04-13 | 2019-10-16 | Thomson Licensing | Methods and apparatus for depth encoding and decoding |
US10757428B2 (en) * | 2018-10-10 | 2020-08-25 | Apple Inc. | Luma and chroma reshaping of HDR video encoding |
WO2020086421A1 (en) * | 2018-10-25 | 2020-04-30 | Interdigital Vc Holdings, Inc. | Video encoding and decoding using block-based in-loop reshaping |
US10769039B2 (en) * | 2018-12-03 | 2020-09-08 | Himax Technologies Limited | Method and apparatus for performing display control of a display panel to display images with aid of dynamic overdrive strength adjustment |
US11647188B2 (en) * | 2019-01-04 | 2023-05-09 | Interdigital Vc Holdings, Inc. | Inverse mapping simplification |
WO2020156533A1 (en) | 2019-02-01 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and palette mode |
JP7199550B2 (ja) | 2019-02-01 | 2023-01-05 | 北京字節跳動網絡技術有限公司 | パラメータセットを使用したインループ再成形情報のシグナリング |
WO2020177702A1 (en) | 2019-03-04 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Two-level signaling of filtering information in video processing |
WO2020182092A1 (en) * | 2019-03-08 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Constraints on model-based reshaping in video processing |
EP3709655A1 (en) * | 2019-03-13 | 2020-09-16 | InterDigital VC Holdings, Inc. | In-loop reshaping adaptive reshaper direction |
KR20210135247A (ko) * | 2019-03-13 | 2021-11-12 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 인 루프 재성형 적응적 재성형기 방향 |
CN117499644A (zh) * | 2019-03-14 | 2024-02-02 | 北京字节跳动网络技术有限公司 | 环路整形信息的信令和语法 |
WO2020182219A1 (en) * | 2019-03-14 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Signaling and syntax for in-loop reshaping information |
WO2020192613A1 (en) | 2019-03-23 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on in-loop reshaping parameter sets |
CA3135968C (en) | 2019-04-18 | 2024-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Restriction on applicability of cross component mode |
CN117579841A (zh) | 2019-04-23 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 降低跨分量依赖性的方法 |
CN117221558A (zh) | 2019-05-08 | 2023-12-12 | 北京字节跳动网络技术有限公司 | 跨分量编解码的适用性条件 |
US11122270B2 (en) * | 2019-06-05 | 2021-09-14 | Dolby Laboratories Licensing Corporation | In-loop reshaping with local illumination compensation in image coding |
CN113994697A (zh) | 2019-06-22 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 色度残差缩放的语法元素 |
CN114128280B (zh) | 2019-07-07 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 色度残差缩放的信令通知 |
EP4032276A1 (en) * | 2019-09-17 | 2022-07-27 | InterDigital VC Holdings France, SAS | Chroma residual scaling foreseeing a corrective value to be added to luma mapping slope values |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007139534A1 (en) * | 2006-05-25 | 2007-12-06 | Thomson Licensing | Method and system for weighted encoding |
KR101701342B1 (ko) * | 2009-08-14 | 2017-02-01 | 삼성전자주식회사 | 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
JP5270592B2 (ja) | 2010-02-23 | 2013-08-21 | 日本電信電話株式会社 | 画像符号化装置,画像符号化方法および画像符号化プログラム |
KR101750046B1 (ko) * | 2010-04-05 | 2017-06-22 | 삼성전자주식회사 | 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치 |
EP2719176B1 (en) * | 2011-06-13 | 2021-07-07 | Dolby Laboratories Licensing Corporation | Visual display resolution prediction based on fused regions |
WO2013009716A2 (en) * | 2011-07-08 | 2013-01-17 | Dolby Laboratories Licensing Corporation | Hybrid encoding and decoding methods for single and multiple layered video coding systems |
TWI606718B (zh) | 2012-01-03 | 2017-11-21 | 杜比實驗室特許公司 | 規定視覺動態範圍編碼操作及參數 |
CN105052143B (zh) * | 2013-03-26 | 2018-04-20 | 杜比实验室特许公司 | 对多层vdr译码中的感知量化的视频内容进行编码 |
CN105324997B (zh) * | 2013-06-17 | 2018-06-29 | 杜比实验室特许公司 | 用于增强动态范围信号的分层编码的自适应整形 |
CN107409213B (zh) | 2015-03-02 | 2020-10-30 | 杜比实验室特许公司 | 用于高动态范围图像的内容自适应感知量化器 |
-
2016
- 2016-03-30 US US15/563,901 patent/US10015491B2/en active Active
- 2016-03-30 CN CN201680020406.3A patent/CN107439012B/zh active Active
- 2016-03-30 JP JP2017552806A patent/JP6383116B2/ja active Active
- 2016-03-30 CN CN201810948829.2A patent/CN109068139B/zh active Active
- 2016-03-30 WO PCT/US2016/025082 patent/WO2016164235A1/en active Application Filing
- 2016-03-30 EP EP16715434.3A patent/EP3281409B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018514145A (ja) | 2018-05-31 |
WO2016164235A1 (en) | 2016-10-13 |
CN109068139B (zh) | 2022-02-22 |
EP3281409B1 (en) | 2019-05-01 |
US20180124399A1 (en) | 2018-05-03 |
CN107439012A (zh) | 2017-12-05 |
EP3281409A1 (en) | 2018-02-14 |
CN107439012B (zh) | 2018-09-25 |
CN109068139A (zh) | 2018-12-21 |
US10015491B2 (en) | 2018-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6383116B2 (ja) | ハイダイナミックレンジ映像符号化における、ループ内ブロックベース画像再構成 | |
KR101939012B1 (ko) | 하이 다이내믹 레인지 이미지들을 위한 콘텐츠 적응적 지각 양자화기 | |
CN110301134B (zh) | 整合的图像整形和视频编码 | |
US10575005B2 (en) | Video coding and delivery with both spatial and dynamic range scalability | |
US10032262B2 (en) | Block-based content-adaptive reshaping for high dynamic range images | |
EP3011741B1 (en) | Adaptive reshaping for layered coding of enhanced dynamic range signals | |
IL305463A (en) | Image reshaping in video encoding using rate warping optimization | |
CN110612724B (zh) | 使用明亮度信息的量化参数预测 | |
US10223774B2 (en) | Single-pass and multi-pass-based polynomial approximations for reshaping functions | |
US11477455B2 (en) | In-loop reshaping with local illumination compensation in image coding | |
JP6320644B2 (ja) | エンハンストダイナミックレンジを備える信号のための階層間予測 | |
CN116034394A (zh) | 假轮廓减轻的自适应流式传输 | |
Naccari et al. | Perceptually optimized video compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6383116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |