JP6771656B2 - シングルレイヤー後方互換性コーデックのリアルタイム再構成 - Google Patents

シングルレイヤー後方互換性コーデックのリアルタイム再構成 Download PDF

Info

Publication number
JP6771656B2
JP6771656B2 JP2019511885A JP2019511885A JP6771656B2 JP 6771656 B2 JP6771656 B2 JP 6771656B2 JP 2019511885 A JP2019511885 A JP 2019511885A JP 2019511885 A JP2019511885 A JP 2019511885A JP 6771656 B2 JP6771656 B2 JP 6771656B2
Authority
JP
Japan
Prior art keywords
determining
chroma
polynomial
frame
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019511885A
Other languages
English (en)
Other versions
JP2019530309A (ja
Inventor
ソォン,チィン
カドゥ,ハーシャッド
チェン,チェン
スゥ,グワン‐ミーン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority claimed from PCT/US2017/048925 external-priority patent/WO2018044803A1/en
Publication of JP2019530309A publication Critical patent/JP2019530309A/ja
Application granted granted Critical
Publication of JP6771656B2 publication Critical patent/JP6771656B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
  • Details Of Garments (AREA)
  • Luminescent Compositions (AREA)

Description

関連出願への相互参照
本願は、2016年8月30日に出願された米国仮特許出願第62/381,233号および2016年8月30日に出願された欧州特許出願第16186392.3号に基づく優先権を主張するものであり、両出願の開示内容を全て本願に援用する。
技術
本発明は、概して画像の符号化および復号化に関する。より詳細には、本発明の一実施形態は、画像の後方互換性符号化および復号化のリアルタイムシングルレイヤー再構成に関する。
背景
本明細書において、用語「ダイナミックレンジ」(DR)は、人間の視覚システム(HVS)が画像においてある範囲の強度(例えば、輝度、ルマ)(例えば、最も暗い黒(暗)から最も明るい白(ハイライト)まで)を知覚する能力に関し得る。この意味では、DRは、「シーン−リファード(scene−referred)」な強度に関する。DRはまた、ディスプレイデバイスが特定幅を有する強度範囲を十分にまたは近似的に描画する能力にも関し得る。この意味では、DRは、ディスプレイ−リファード(display−referred)な強度に関する。本明細書中のいずれの箇所においても、一方の特定の意味が特に重要であると明示されなければ、この用語は、どちらの意味にも(例えば、交換可能に)使用できるものとする。
本明細書において、ハイダイナミックレンジ(HDR)という用語は、人間の視覚システム(HVS)においておよそ14〜15桁以上にわたるDR幅に関する。実際において、人間は、幅広い強度範囲を同時に知覚し得るが、そのDRは、HDRに対して幾分端折られ得る。本明細書において、エンハンストダイナミックレンジ(EDR)または視覚ダイナミックレンジ(VDR)という用語は、個別にまたは区別なく、人間の視覚システム(HVS)(眼球運動を含み、シーンまたは画像全体においてある程度の明順応変化を可能にする)がシーンまたは画像において知覚可能なDRに関する。本明細書において、EDRは、5〜6桁にわたるDRに関し得る。従って、真のシーンリファードなHDRに対しては幾分狭いものの、EDRは広いDR幅を表し、HDRとも呼ばれ得る。
実際において、画像は1つ以上の色成分(例えば、ルマYならびにクロマCbおよびCr)を有しており、各色成分は、画素あたりnビットの精度(例えば、n=8)で表される。線形輝度符号化(linear luminance coding)を用いた場合、n≦8の画像(例えば、カラー24ビットJPEG画像)は、スタンダードダイナミックレンジの画像とされ、n>8の画像は、エンハンストダイナミックレンジの画像とされる。EDRおよびHDR画像はまた、Industrial Light and Magicが開発したOpenEXRファイルフォーマットなどの高精度の(例えば、16ビット)浮動小数点フォーマットを用いて、格納および配信され得る。
あるディスプレイについてのリファレンス電気−光伝達関数(EOTF)は、入力映像信号の明度(color values)(例えば、輝度)間の関係を特徴づけて、そのディスプレイによって生成される出力スクリーン明度(例えば、スクリーン輝度)を出力する。例えば、その開示内容を全て本願に援用するITU Rec.ITU−R BT.1886、「Reference electro−optical transfer function for flat panel displays used in HDTV studio production」(2011年3月)では、陰極線管(CRT)の測定された特性に基づいて、フラットパネルディスプレイ用のリファレンスEOTFを定義している。ある映像ストリームが与えられたとき、そのEOTFに関する情報は典型的にはメタデータとしてビットストリーム中に埋め込まれる。本明細書において、用語「メタデータ」は、符号化ビットストリームの一部として送信され、デコーダによる復号化画像の描画を補助する、任意の補助情報に関する。そのようなメタデータは、本明細書において記載されるような、色空間または色域情報、リファレンスディスプレイパラメータ、および補助信号パラメータなどを含むが、これらに限定されない。
ほとんどのコンシューマー用デスクトップディスプレイは、現在200〜300cd/mまたはニトの輝度をサポートしている。ほとんどのコンシューマー用HDTVは、300〜500ニトの範囲であるが、新しいモデルは1000ニト(cd/m)に達する。従って、このようなディスプレイは、HDRやEDRに対し、より低いダイナミックレンジ(LDR)(またはスタンダードダイナミックレンジ(SDR)とも呼ばれる)の典型例である。撮像機器(例えば、カメラ)およびHDRディスプレイ(例えば、Dolby LaboratoriesのPRM−4200プロフェッショナルリファレンスモニター)における進歩によってHDRコンテンツの普及が進むにつれ、HDRコンテンツは、カラーグレーディングされ、より高いダイナミックレンジ(例えば1,000ニトから5,000ニト以上)をサポートするHDRディスプレイ上に表示されることがある。そのようなディスプレイは、高輝度能力(例えば、0から10,000ニトなど)をサポートする別のEOTFを用いて定義され得る。そのようなEOTFの一例が、その開示内容を全て本願に援用するSMPTE ST 2084:2014「High Dynamic Range EOTF of Mastering Reference Displays」に定義されている。本発明者らの理解によれば、多様なディスプレイデバイスをサポートするために使用され得る可逆的プロダクション品質(production−quality)シングルレイヤー映像信号を符号化および復号化するための技術を向上させる必要がある。
本明細書において、用語「順方向再構成」は、HDR画像をその元のビット深度からより低いかまたは同一のビット深度の画像へマッピング(または量子化)することで、既存の符号化規格または機器を用いてその画像を圧縮することを可能にする処理を表す。受信側は、再構成された信号を展開した後、逆再構成関数を適用して、信号をその元のハイダイナミックレンジに復元し得る。本発明者らの理解によれば、ハイダイナミックレンジ画像の画像再構成のための技術を向上させる必要がある。
順方向再構成ルックアップテーブル(LUT)は、順方向再構成のマッピングまたは量子化を格納した表である。
本明細書において、後方互換性という用語は、SDR、Dolbyメタデータを用いたSDR、およびHDRを交換可能に用いて機能するように設計されたハードウエアおよび/またはソフトウエアを表す。圧縮された映像ビットストリームが存在するならば、SDRが視聴され得る。SDRおよびDolbyメタデータが圧縮された映像ストリーム内に含まれるならば、映像は、SDRまたはHDRで視聴され得る。潜在するビットストリームは、AVC、HEVC、VP9、または任意の将来のコーデックなどの任意のコーデックによって符号化され得る。
リアルタイムという用語は、リアルタイムアーキテクチャおよび/またはリアルタイム実現(real−time implementations)を指し得る。リアルタイムアーキテクチャは、処理のためのデータが処理の時点で利用可能にされる(例えば、現タイムインスタンスにおいて利用可能でないデータにほとんどまたは全く依存しないので、データ依存による遅れができるだけ小さくなる)アーキテクチャを指し得る。リアルタイム実現は、処理が固定の時間間隔内で行われ得る(例えば、平均処理時間は、所定数のフレーム以内で行われ得る(例えば、短時間で結果を出すことができる最適化アルゴリズムなど))ものである。このように、リアルタイムアーキテクチャは、処理の時点に時間的に近いデータを提供し、リアルタイム実現は、所定数のフレーム以内で行われ得る(すなわち、短時間で処理される)アルゴリズムにおいて、この時間的に近いデータを使用する。本開示は、その両方の特徴に関する。最適化されたリアルタイム結果を達成することは、リアルタイムアーキテクチャとともに機能するリアルタイム実現を用いて最適に実現され得ることが理解される。
シングルレイヤーという用語は、圧縮された映像ビットストリームを表す。2つの異なるビットストリームが配信され得る。第1のストリームは、圧縮された画素情報を含む、AVC、HEVCなどの圧縮された映像ビットストリームであり、SDRである。ビットストリームは、任意の従来のデバイスによって復号され得る。第2のストリームは、逆方向再構成関数を含むDolbyメタデータを有する。第1のストリームを用いる場合、映像は、SDRで視聴され得る。第1のストリームおよび第2のストリームの両方が存在するならば、映像は、HDRで視聴され得る。圧縮された映像ビットストリームである第1のストリームは、Dolbyメタデータを含まない。
本明細書において、中心傾向という用語は、平均値(average)、平均値(mean)、中央値、モード、分布の中心、最小絶対偏差、散布度、範囲、分散、標準偏差などのうちの少なくとも1つを尖度と共に記載するための尺度である。例えば、データセットの中央がどこに位置するかを示す尺度である。線形非線形組合せという用語は、代表値(central tendency measure)を参照する際に使用され得る。
本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、1以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。
本発明の一実施形態を添付の図面に、限定することなく、例示する。図において、同様の参照符号は、同様の要素を示す。
図1は、本開示の一実施形態に係る概要例を図示する。 図2は、本開示の一実施形態に係るリアルタイム再構成器例を図示する。 図3Aは、本開示の一実施形態に係るルマ再構成例を図示する。 図3Bは、本開示の一実施形態に係るルマ再構成例を図示する。 図4は、本開示の一実施形態に係る統計スライディングウィンドウおよび中心傾向スライディングウィンドウの例を示す。 図5は、本開示の一実施形態に係るクロマ再構成例を図示する。 図6は、本開示の一実施形態に係る第1のクロマ再構成システム例を図示する。 図7は、本開示の一実施形態に係る第2のクロマ再構成システム例を図示する。 図8は、本開示の一実施形態に係るコンテンツ依存多項式例を図示する。 図9は、本開示の一実施形態に係るシェーダ(shader)制御を図示する。 図10は、本開示の一実施形態に係る第3のクロマ再構成システム例を図示する。
例示的な実施形態の説明
本明細書において、可逆的プロダクション品質シングルレイヤー映像信号の符号化および復号化を説明する。以下の説明において、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明が実施可能であることは明白であろう。他方、本発明の説明を不必要に煩雑にしたり、不明瞭にしたり、難読化したりしないように、周知の構造およびデバイスの細かな詳細までは説明しない。
本開示の第1の局面は、リアルタイム順方向再構成の方法であって、現在のフレームと、少なくとも1つのルックバック(look−back)フレームと、少なくとも1つのルックアヘッド(look−ahead)フレームとを有する統計スライディングウィンドウを選択する工程を包含し、ここで統計スライディングウィンドウは現在のフレームに合わせて画定する(indexes)、方法である。順方向再構成は、より高いダイナミックレンジ(例えば、EDR)からより低いダイナミックレンジ(例えば、SDR)または同じダイナミックレンジへの、可逆なマッピングを含み得る。第1の局面において、方法は、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームの統計値を決定する工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも1つのルックバックフレームを現在のシーンに含める工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも1つのルックバックフレームが統計スライディングウィンドウ内にないならば、少なくとも1つのルックバックフレームを現在のシーンから除外する工程と、少なくとも1つのルックアヘッドフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも1つのルックアヘッドフレームを現在のシーンに含める工程と、少なくとも1つのルックアヘッドフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも1つのルックアヘッドフレームが統計スライディングウィンドウ内にないならば、少なくとも1つのルックアヘッドフレームを現在のシーンから除外する工程とを包含する。第1の局面は、現在のシーン内のフレームのうちの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームの決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、現在のシーン内のフレームのうちの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームの決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、少なくとも1つのルックバックフレームが現在のシーン内にあるならば、現在のフレームおよび少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程とをさらに包含する。統計値のための所定の閾値は、百分率、偏差、絶対差などであり得る。決定された統計値は、統計スライディングウィンドウ(のフレーム)内の最大値(例えば、画素値、ルマ値)の最大レベル、統計スライディングウィンドウの最小値(例えば、画素値、ルマ値)の最小レベル、および統計スライディングウィンドウ内の平均値(例えば、画素値、ルマ値)の平均レベルを含み得る。少なくとも1つのノイズパラメータは、統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定され得る。例えば、少なくとも1つのノイズパラメータは、現在のシーン内のフレームのうちの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームにおける、画素値(例えば、ルマ)からなる複数の階級(bin)の各々についての標準偏差に基づいて(例えば、これらのフレームにわたって平均を計算することによって)決定され得る。少なくとも1つのルマ伝達関数は、決定された統計値に基づいて、ダイナミックトーンマッピング(DTM)を使用して構築され得る。少なくとも1つのルマ伝達関数は、DTMについての所与の傾き、所与のオフセットおよび所与のパワーに基づいてさらに構築され得る。現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程は、少なくとも1つのノイズパラメータに基づいて、ルマ伝達関数の入力符号語の間で(SDRドメインにおける)ビット深度を再割り当てする工程を包含し得る。中心傾向ルマ再構成関数は、中心傾向スライディングウィンドウの現在のフレームおよび少なくとも1つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定され得る。
統計スライディングウィンドウは、現在のフレームの画定とともに、画定する。この統計スライディングウィンドウの基本設定は、A個のルックアヘッドフレームおよびL個のルックバックフレームを有することである。この統計スライディングウィンドウ内のフレームは、現在のフレームと同じシーンにおけるものでないならば、除外される。ルックアヘッドフレームについて、未来のシーン内のフレーム(例えば、現在のシーン内にないフレーム)が存在する場合、これらのフレームは除外される。ルックバックフレームについて、過去のシーン内のフレーム(例えば、現在のシーンの一部でないフレーム)が存在する場合、これらのフレームも除外される。言い換えると、この統計スライディングウィンドウの手法では、フレームは、現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内にあるならば、現在のシーン内にあると考えられる。
ルマ伝達関数は、ダイナミックトーンマッピング(DTM)、カラーボリューム変換(color volume transformations)、知覚的量子化(perceptual quantization)信号のガンマへのマッピングなどを含み得る。
本開示の第2の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)の拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、中心傾向ルマ順方向再構成関数に基づいて、拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定する工程と、統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。
本開示の第3の局面は、リアルタイム順方向再構成の方法であって、現在のフレームと、少なくとも1つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程を包含し、ここで統計スライディングウィンドウは現在のフレームに合わせて画定する、方法である。第3の局面において、方法は、統計スライディングウィンドウ内の現在のフレームおよび少なくとも1つのルックバックフレームの統計値を決定する工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値内にあるならば、少なくとも1つのルックバックフレームを現在のシーンに含める工程と、少なくとも1つのルックバックフレームおよび現在のフレームの決定された統計値が所定の閾値よりも大きいか、または少なくとも1つのルックバックフレームが統計スライディングウィンドウ内にないならば、少なくとも1つのルックバックフレームを現在のシーンから除外する工程とをさらに包含する。第3の局面は、現在のシーン内のフレームのうちの現在のフレームおよび少なくとも1つのルックバックフレームの決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、現在のシーン内のフレームのうちの現在のフレームおよび少なくとも1つのルックバックフレームの決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、少なくとも1つのルックバックフレームが現在のシーン内にあるならば、現在のフレームおよび少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、中心傾向スライディングウィンドウの少なくとも1つのルマ順方向再構成に基づいて、中心傾向ルマ順方向再構成関数を決定する工程とをさらに包含する。
本開示の第4の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)のEDR上限について統計値を解析する工程と、EDR上限の中心傾向および中心傾向ルマ順方向再構成関数に基づいて、EDR上限をSDR上限にマッピングする工程と、統計スライディングウィンドウのクロマコンテンツ依存多項式を決定する工程と、クロマコンテンツ依存多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。
本開示の第5の局面は、リアルタイム順方向再構成の方法であって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)の拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、中心傾向ルマ順方向再構成関数に基づいて、EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定する工程と、統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程とを包含する方法である。
本開示の第6の局面は、リアルタイムに順方向再構成を行う装置であって、現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームのスライディングウィンドウを選択する統計スライディングウィンドウ生成器と、統計スライディングウィンドウ生成器に接続された統計評価器であって、統計スライディングウィンドウの現在のフレーム、少なくとも1つのルックバックフレームおよび少なくとも1つのルックアヘッドフレームについての統計値を決定する統計評価器と、統計スライディングウィンドウ生成器に接続されたシーンカット検出モニタであって、現在のフレームの統計評価器の出力に基づいて、現在のシーンを決定し、そして少なくとも1つのルックバックフレームが現在のシーンの一部であるかどうか、および少なくとも1つのルックアヘッドフレームが現在のシーンの一部であるかどうかを決定するシーンカット検出モニタと、シーンカット検出モニタに接続されたルマ伝達関数マッピング器であって、少なくとも1つの現在のフレーム、少なくとも1つのルックバックフレーム(それが現在のシーン内にある場合)および少なくとも1つのルックアヘッドフレーム(それが現在のシーン内にある場合)についての決定された統計値に基づいて、ルマ伝達関数マッピング曲線を決定するルマ伝達関数マッピング器と、シーンカット検出モニタに接続されたノイズ検出器であって、現在のフレーム、少なくとも1つのルックバックフレーム(それが現在のシーン内にある場合)および少なくとも1つのルックアヘッドフレーム(それが現在のシーン内にある場合)の決定された統計値に基づいて、ノイズパラメータを決定するノイズ検出器と、ルマ伝達関数マッピング器およびノイズ検出器に接続されたルマ順方向再構成器であって、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定するルマ順方向再構成器と、現在のフレームならびに少なくとも1つのルックバックフレーム(それが現在のシーンの一部である場合)および少なくとも1つのルックバックフレーム(それが現在のシーンの一部である場合)の中心傾向スライディングウィンドウを選択する中心傾向スライディングウィンドウ生成器と、ルマ順方向再構成器に接続された中心傾向ルマ順方向再構成器であって、中心傾向スライディングウィンドウの少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する中心傾向ルマ順方向再構成器とを備える装置である。また、この局面は、ルマ順方向再構成関数を逆さに(invert)する逆方向再構成器を備え得る。
本開示の第7の局面は、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)およびオプションとして少なくとも1つのルックアヘッドフレーム(それが存在する場合)のEDR重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する拡張ダイナミックレンジ解析器と、拡張ダイナミックレンジ解析器に接続されたブリッジマッピング器であって、中心傾向ルマ順方向再構成関数に基づいて、EDR重みおよびEDR上限のうちの少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングするブリッジマッピング器とを備える。また、本開示の第6の局面は、ブリッジマッピング器に接続されたクロマフレームソルバであって、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定するクロマフレームソルバと、クロマフレームソルバに接続されたクロマ多項式線形非線形結合器であって、統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定するクロマ多項式線形非線形結合器と、クロマ多項式線形非線形結合器に結合されたクロマ再構成器であって、再構成されたルマを受け取って、再構成されたクロマを決定するように構成されたクロマ再構成器と、クロマ多項式線形非線形結合器に結合されたクロマ多変量・重回帰(MMR)決定器であって、中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマMMR係数を生成するクロマ多変量・重回帰(MMR)決定器とを備える。
本開示の第8の局面は、リアルタイムに順方向再構成を行う装置であって、現在のフレームおよび少なくとも1つのルックバックフレームのスライディングウィンドウを選択する統計スライディングウィンドウ生成器と、統計スライディングウィンドウ生成器に接続された統計評価器であって、統計スライディングウィンドウの現在のフレームおよび少なくとも1つのルックバックフレームについての統計値を決定する統計評価器と、統計スライディングウィンドウ生成器に接続されたシーンカット検出モニタであって、現在のフレームの統計評価器の出力に基づいて、現在のシーンを決定し、そして少なくとも1つのルックバックフレームが現在のシーンの一部であるかどうかを決定するシーンカット検出モニタと、シーンカット検出モニタに接続されたルマ伝達関数マッピング器であって、少なくとも1つの現在のフレームおよび少なくとも1つのルックバックフレーム(それが現在のシーン内にある場合)についての決定された統計値に基づいて、ルマ伝達関数マッピング曲線を決定するルマ伝達関数マッピング器と、シーンカット検出モニタに接続されたノイズ検出器であって、現在のフレームおよび少なくとも1つのルックバックフレーム(それが現在のフレーム内にある場合)の決定された統計値に基づいて、ノイズパラメータを決定するノイズ検出器と、ルマ伝達関数マッピング器およびノイズ検出器に接続されたルマ順方向再構成器であって、現在のシーン内の少なくとも1つのルマ伝達関数および少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定するルマ順方向再構成器と、現在のフレームおよび少なくとも1つのルックバックフレーム(それが現在のシーンの一部である場合)の中心傾向スライディングウィンドウを選択する中心傾向スライディングウィンドウ生成器と、ルマ順方向再構成器に接続された中心傾向ルマ順方向再構成器であって、中心傾向スライディングウィンドウの少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する中心傾向ルマ順方向再構成器とを備える装置である。
本開示の第9の局面は、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックバックフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)のEDR上限の統計値を解析する拡張ダイナミックレンジ解析器と、拡張ダイナミックレンジ解析器に接続されたブリッジマッピング器であって、中心傾向ルマ順方向再構成関数に基づいて、EDR上限をSDR上限にマッピングするブリッジマッピング器と、ブリッジマッピング器に接続されたクロマフレームソルバであって、少なくとも1つのクロマコンテンツ依存多項式(例えば、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解)を決定するクロマフレームソルバと、クロマフレームソルバに接続されたクロマ再構成器であって、再構成されたルマを受け取って、再構成されたクロマを決定するクロマ再構成器と、ブリッジマッピング器に接続されたクロマ多変量・重回帰(MMR)決定器であって、1組のクロマMMR係数を生成するクロマ多変量・重回帰(MMR)決定器とを備える。
本明細書において、MMRという用語は、マルチカラーチャネル多重回帰予測装置を指す。これは、その開示内容を全て本願に援用するG−M.Suらの米国特許第8,811,490号において初めて記載された。ここで、複数のカラー成分を有する画像において、1つのカラー成分の画素が複数のカラー成分からの画素値の線形および/または非線形な組合せを使用して予測され得る。
序説
リアルタイムシングルレイヤー後方互換性(SLBC)コーデックのための従来のアーキテクチャは、典型的には、ライブコンテンツマッピングユニットを介してリファレンススタンダードダイナミックレンジ(SDR)を生成し、近似を使用してSDRを生成する。また、これによりSDRは可逆となる。近似は、拡張ダイナミックレンジ(EDR)データセットを特定するために行われる。この手法は、計算負荷が大きく、遅延を起こし得る。可逆的SDRを直接的に生成することは、現在のフレームに時間的に近いデータを利用し、平均処理時間が特定数のフレーム以内である方法を利用することによって最も最適に達成され得る。
図1は、SLBC100におけるリアルタイム再構成器を示す。このリアルタイム再構成器は、12+ビットカメラ画像をリングバッファメモリなどであり得るフレームバッファ110内に受け取り得る。リアルタイム再構成器114は、ユーザ(例えば、シェーダ(shader))のプリファレンス入力112、例えばリフト、ゲインおよびガンマ(LGG)または傾き、オフセットおよびパワー(SOP)などを利用し得る。リアルタイム再構成器114は、近傍のフレームの統計値に従って入力信号を10ビットドメインに再構成し、再構成された10ビットフレームをリングバッファメモリなどのバッファ116に格納し、10ビット映像をエンコーダ118に出力して、ビットストリーム120を出力する。リアルタイム再構成器114は、メタデータ122を出力し得る。順方向および逆方向再構成関数は、リアルタイムに決定され得る。
再構成されたフレームは、リングバッファメモリなどであり得る10ビット再構成フレームバッファに格納され得る。映像エンコーダ(例えば、高効率映像コーディング(HEVC))は、当該バッファから再構成されたフレームを取り込んで、符号化し得る。メタデータリファレンスピクチャユニット(RPU)信号は、リアルタイム再構成器から出力され得る。ビットストリームおよびメタデータが多重化対象であるならば、多重化モジュールを付加することが可能であり得る。入力および出力ビットの数が任意に設定され得ることは、当業者に理解される。
リアルタイム再構成器の課題として、ハイダイナミックなシーンおよびユーザ調節があり得る。元々、シングルレイヤー後方互換性コーデックは、映像圧縮を容易にし、動き補償のための時間的な整合性のためにシーンベース(scene−based)となるように構築された。リアルタイム再構成を行うために、本開示において新規なアーキテクチャおよびアルゴリズムを提案する。
図2は、全体的な再構成フロー200を示す。このフロー例において、ルマ映像フレームが入力され(210)、統計スライディングウィンドウおよび中心傾向スライディングウィンドウ(詳細は後述)を利用して、ルマの順方向再構成が決定される(212)。ルマ映像フレーム入力に対して並列に、クロマ映像フレームが入力される(214)。ルマ順方向再構成関数を利用して、クロマ順方向再構成関数が決定される(216)。ルマ再構成関数およびクロマ再構成関数を利用して、スタンダードダイナミックレンジ(SDR)出力(218)が実現される。
ルマ逆方向再構成は、ルマ順方向再構成関数の逆関数である(220)。クロマ逆方向再構成は、クロマ順方向再構成関数に基づいて、クロマ多変量・重回帰(MMR)係数(222)を利用する。順方向再構成されたSDRルマ、再構成されたSDRクロマおよびクロマMMR成分を利用して、逆方向再構成されたEDRクロマが決定される。
個々のフレームは、当該フレームに対応付けられた1組の統計値を有する。時間がルックバックフレームからルックアヘッドフレームに順方向に進むにつれ、フレーム統計値が変化すると、シーン境界が検出される。複数のフレームについての統計値が比較され、シーン遷移が決定される。類似の統計特性を有する複数のフレームは、1つのシーンにグループ化される。ここでは、フレームが類似の統計特性を有するかどうかは、それらの統計特性の違いが所定の閾値未満であることによって判定され得る。統計特性が所定の閾値よりも大きければ、フレームは、類似しないと考えられ、異なるシーンに属し得る。
現在のフレームの画定とともに画定する、フレームベースの統計スライディングウィンドウ(図3Aおよび3B)が利用される。この統計スライディングウィンドウについての基本設定は、A個のルックアヘッドフレームおよびL個のルックバックフレームを有することである。この統計スライディングウィンドウ内のフレームは、現在のフレームと同じシーンに含まれないならば、除外される。ルックアヘッドフレームについて、未来のシーンに含まれるフレーム(例えば、現在のシーンに含まれないフレーム)が存在するならば、当該フレームは、除外される。ルックバックフレームについて、過去のシーンに含まれるフレーム(例えば、現在のシーンに含まれないフレーム)が存在するならば、当該フレームも除外される。言い換えると、この統計スライディングウィンドウ手法では、フレームが現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内に存在するならば、当該フレームは、現在のシーン内にある。
統計スライディングウィンドウは、ルックバック方向においては、シーン開始および最大ルックバックバッファサイズによって拘束され、ルックアヘッド方向においては、シーン終了および最大ルックアヘッド遅延によって拘束される。この例において、バッファは、現在のフレームjから後方へ、ルックバックフレームj−Lまで伸びており、現在のフレームjから前方へ、ルックアヘッドフレームj+Aまで伸びている。統計スライディングウィンドウは、ルックバック方向においては、シーン境界および最大ルックバックバッファサイズによって境界づけられ、ルックアヘッド方向においては、シーン境界および最大ルックアヘッド遅延によって境界付けられている。
また、中心傾向スライディングウィンドウが利用される。中心傾向スライディングウィンドウもまた、現在のフレームの画定とともに画定する。この統計スライディングウィンドウについての基本設定は、現在のフレームjまで伸びるj−L個のルックバックフレームを有することである。ルックバックフレームついて、過去のシーンに含まれるフレーム(例えば、現在のシーンに含まれないフレーム)が存在する場合、当該フレームは、除外される。中心傾向スライディングウィンドウもルックバック方向において、シーン境界および最大ルックバックバッファサイズによって境界づけられる。
図3Aおよび3Bは、統計スライディングウィンドウ314および中心傾向スライディングウィンドウ316を示す。両方のウィンドウは、現在のフレームj320に対してスライドする。最大ルックバックバッファサイズ310は、L個のルックバックフレームだけ過去に伸び、最大ルックアヘッド遅延326は、A個のルックアヘッドフレームだけ未来に伸びている。統計スライディングウィンドウ314は、ルマ伝達関数、ノイズ検出器、ならびにEDR上限および重みの計算のために使用される。統計的に類似のフレーム(例えば、現在のフレームの所定の閾値内に統計的差が収まるフレーム)は、現在のフレームの現在のシーン内にあると考えられ、含められる。現在のフレームと類似しない統計値を有するフレーム(例えば、所定の閾値よりも大きな統計的差を有するフレーム)は、除外される。シーン開始は318、現在のフレームは320、後続のフレームは322、シーン終了は324である。
一般に、統計スライディングウィンドウ314は、ルックバック方向においては、最大ルックバックバッファサイズ310およびシーン開始318によって境界づけられ、ルックアヘッド方向においては、シーン終了324および最大ルックアヘッド遅延326によって境界づけられる。
一般に、中心傾向スライディングウィンドウ316は、ルックバック方向においては、最大ルックバックバッファサイズ310およびシーン開始318によって境界づけられ、ルックアヘッド方向においては、現在のフレーム320によって境界づけられる。
図3Aは、最大ルックバックバッファサイズ310によってバッファがルックバック方向の過去のシーンにおいて開始され得る例を示す。この例において、中心傾向スライディングウィンドウ316および統計スライディングウィンドウ314は、ルックバック方向においては、シーン開始318によって境界づけられる。中心傾向スライディングウィンドウ316は、ルックアヘッド方向においては、現在のフレーム320によって境界づけられる。統計スライディングウィンドウ314は、ルックアヘッド方向においては、最大ルックアヘッド遅延326によって境界づけられる。
図3Bは、シーン開始318が最大ルックバックバッファサイズ310を超えてルックバック方向に伸びる例を示す。従ってこの例において、中心傾向スライディングウィンドウ316および統計スライディングウィンドウ314は、ルックバック方向においては、最大ルックバックバッファサイズ310によって境界づけられる。この例において、中心傾向スライディングウィンドウは、ルックアヘッド方向においては、現在のフレーム320によって境界づけられる。統計スライディングウィンドウ314は、ルックアヘッド方向においては、シーン終了324によって境界づけられる。
ルマ再構成についての解は、クロマ再構成のために利用される。クロマ再構成は、導出されたルマ再構成関数および元の拡張ダイナミックレンジ(EDR)データに部分的に基づいて導出される。時間的安定性を与えるために、成分は、2つのレベル処理、すなわち、フレーム統計値レベルおよび中心傾向スライディングウィンドウレベル、を介して扱われる。
逆方向再構成について、ルマ逆方向再構成関数は、ルマ順方向再構成関数の逆関数に基づいて導出される。1組のクロマ多変数多重回帰(MMR)成分が決定される。クロマMMRの演算は、3つのチャネル入力(Y、Cb、Cr)およびリファレンスクロマチャネル(例えば、Cb)を取り込み、次いで最適化を行って、予測クロマ(MMR予測によって生成される)とリファレンスクロマとの差を最小化する1組のクロマMMR係数を求める。順方向再構成されたSDRルマ、再構成されたSDRクロマおよびクロマMMR成分を利用して、逆方向再構成されたEDRクロマが決定される。
ルマ再構成
図4は、フレーム統計値レベルおよび中心傾向スライディングウィンドウレベルに基づき得る一実施形態のアーキテクチャ例を示す。フレーム統計値レベルは、シーン境界でリセットされる統計スライディングウィンドウ(ルックバック+現在のフレーム+ルックアヘッド)を有する。中心傾向スライディングウィンドウレベルは、中心傾向スライディングウィンドウ(ルックバック+現在のフレーム)を有する。実施形態は、スライディングウィンドウ実施のためのデータを格納するためのいくつかのモジュールおよびバッファを備え得る。いくつかの実施においては、統計スライディングウィンドウは、現在のフレームおよび少なくとも1つのルックバックフレームを含むだけでもよく、シーン境界においてリセットされる。
映像フレーム410の入力ルマが受け取られ、メモリ436に格納され、そして後で処理に利用される。
フレーム統計値レベル内において、フレームベースのシーン特徴モジュール412は、入力ルマを受け取り、シーン特徴についてフレーム統計値を決定し、統計値の一部をシーンカットバッファ420Cに格納する。シーンカット検出器モジュールによって行われるシーンカット検出モジュール416は、現在のフレームとルックバックフレームとの間でフレーム統計値を調べ、統計値が類似するならば、ルックバックフレームを現在のシーンに含め、統計値が類似しないならば、ルックバックフレームは、現在のシーンから除外される。また、シーンカット検出器モジュール416は、現在のフレームおよびルックアヘッドフレーム間でフレーム統計値を調べ、統計値が類似するならば、ルックアヘッドフレームを現在のシーンに含め、統計値が類似しないならば、ルックアヘッドフレームは、現在のシーンから除外される。
フレーム統計値レベル内において、統計評価器によって行われるフレームベースのルマ伝達統計モジュール418は、映像フレームの入力ルマを受け取り、ルマ伝達関数に対応づけられた統計値を決定する。ルマ伝達関数に対応づけられた統計値は、ルマ伝達統計値バッファ420Bに格納される。ルマ伝達関数マッピング器422は、ルマ伝達統計値バッファ420Bから統計スライディングウィンドウ内のデータを受け取り、現在のシーンに含まれるフレームからのデータを利用し、シーン変化検出器416によって決定された、現在のシーン内にないフレームからデータを除外して、ルマ伝達関数を決定する。ルマ伝達関数は、ダイナミックトーンマッピング(DTM)、カラーボリューム変換、知覚的量子化信号のガンマへのマッピングなどを含み得る。また、リフト、ゲインおよびガンマ(LGG)または傾き、オフセットおよびパワー(SOP)などの、ルマについてのユーザプリファレンス調節パラメータは、このモジュールに取り込まれ、ルマ伝達関数を変更する。統計スライディングウィンドウは、ルックバック方向においては、シーン境界および最大ルックバックバッファサイズによって境界づけられ、ルックアヘッド方向においては、シーン境界および最大ルックアヘッド遅延によって境界づけられる。
フレーム統計値レベル内では、フレームベース・ブロックベース標準偏差モジュール424が映像フレームの入力ルマを受け取り、そしてノイズの尺度であるフレームベース・ブロックベース標準偏差(BLK−STD)424を決定する。BLKSTDバッファ420Aを使用して、輝度範囲についての最小ビット深度が格納される。ノイズ検出器によって行われるリアルタイムブロックベース標準偏差(RT BLKSTD)モジュール428は、BLKSTDバッファ420Aから統計スライディングウィンドウ内のデータを受け取り、そして現在のシーン内に含まれるフレームからのデータを利用し、そしてシーン変化検出器416によって決定された、現在のシーン内に含まれないフレームからのデータを除外して、RT BLKSTDを決定する。
フレーム統計値レベル内では、ルマ順方向再構成器によって行われるルマ順方向再構成ルックアップテーブル(LUT)モジュール430を利用して、ルマ伝達関数マッピング器422からのルマ伝達関数およびノイズ検出器428からのリアルタイムブロックベース標準偏差(RT BLKSTD)に基づいてルマ順方向再構成LUTまたは関数が生成される。
フレーム統計値レベル内では、バッファは、BLKSTDバッファ420A、ルマ伝達統計値バッファ420Bおよびシーンカットバッファ420Cを含む。シーン変化検出器416は、シーンカットバッファ420Cから取り込んだデータからシーンカットが検出されるかどうかを決定する。このシーンカット検出は、ルマ伝達関数モジュール422およびRT BLKSTDモジュール428について統計スライディングウィンドウの位置を部分的に検出する。シーン検出器は、統計スライディングウィンドウの位置およびサイズを部分的に決定する。ルマ伝達関数モジュール422において、ルマ伝達統計値バッファ420Bおよびシーン変化検出器416からの2つの入力がある。RT BLKSTDモジュール428において、BLKSTDバッファ420Aおよびシーン変化検出器416から入力が来る。
統計スライディングウィンドウは、シーンカット位置、最大ルックバックバッファサイズおよび最大ルックアヘッド遅延によって決定される。ルマ伝達関数モジュール422について統計スライディングウィンドウの位置を決定した後、シーンについてルマ伝達関数が決定される。RT BLKSTDモジュール428について統計スライディングウィンドウの位置を決定した後、シーンについてBLK−STDが決定される。ルマ順方向再構成モジュール430は、ルマ伝達関数モジュール422およびRT BLKSTDモジュール428から入力を受け取る。
中心傾向スライディングウィンドウレベル内において、中心傾向スライディングウィンドウ432は、ルマ順方向再構成ルックアップテーブル430からの出力を格納する。
中心傾向ルマ順方向再構成器によって行われる中心傾向ルマ順方向再構成ルックアップテーブル(LUT)モジュール434は、現在のシーン内に含まれるフレームからのデータを利用し(現在のシーン内に含まれないフレームからのデータは除外)、現在のフレームおよびルックバックフレームのルマ順方向再構成関数の中心傾向を測定する。中心傾向ルマ順方向再構成ルックアップテーブル(LUT)モジュール434は、中心傾向スライディングウィンドウ432からデータを受け取る。
ルマ順方向再構成モジュール438は、メモリ436に格納された入力ルマ映像フレームを受け取り、モジュール434から中心傾向ルマ順方向再構成LUTを受け取り、ルマ順方向再構成438のための順方向ルックアップテーブルを生成する。
中心傾向スライディングウィンドウレベル内において、ルマ逆方向再構成モジュール440は、順方向再構成関数の逆曲線を決定して、ルマ逆方向再構成近似を生成する。ルマ逆方向再構成近似は、リファレンスピクチャユニット(RPU)446に出力され得る。
フレームベースのルマ順方向再構成LUT
フレームベースの統計スライディングウィンドウ解は、統計スライディングウィンドウからのフレーム統計値を利用する。統計スライディングウィンドウは、現在のフレームの画定とともに、画定する。この統計スライディングウィンドウついての基本設定は、A個のルックアヘッドフレームおよびL個のルックバックフレームを有することである。統計スライディングウィンドウ内のフレームは、現在のフレームの現在のシーン内にあるならば、含められる。統計スライディングウィンドウ内のフレームは、現在のフレームの現在のシーン内にないならば、除外される。この含める処理および除外する処理は、ルックバックフレームおよびルックアヘッドフレームの両方に適用される。言い換えると、この統計スライディングウィンドウ手法において、フレームは、現在の統計スライディングウィンドウ内の現在のフレームと同じシーン内にあるならば、現在のシーンに存在すると考えられる。
フレームベースの統計スライディングウィンドウ解は、ルマ順方向再構成LUTを与える。ルマ順方向再構成LUT解を利用して、中心傾向スライディングウィンドウ解が求められる。
リアルタイムブロックベース標準偏差
本明細書において、ブロックベース標準偏差(BLKSTD)という用語は、2016年5月10日に出願された米国仮特許出願第62/334,099号、題名「Block−Based Content−Adaptive Reshaping for High Dynamic Range Images」(米国特許出願公開第2017/0221189号として公開)、において定義される。この出願の開示内容を全て本願に援用する。
j番目の入力画像のp番目の画素を正規化値[0,1](または、[0,1))を有するI(p)と表す。このフレームにおける最小値、最大値および平均値は、
Figure 0006771656
として定義される。
Figure 0006771656
入力画像I(p)は、複数の重複のない、サイズがu×uのブロックに分割される。k番目のブロック内の画素の集合は、θj,kとして表される。k番目のブロック内の画素の平均値は、
Figure 0006771656
として与えられる。
次いで、サイズがu×uのk番目のブロックについてのブロックベース標準偏差stdj,kが以下のように決定される。
Figure 0006771656
stdj,kは、j番目のフレームのk番目のブロック内の画素に対応づけられた標準偏差と見なされ得る。すなわち、j番目のフレームのk番目のブロック内の画素は、対応の標準偏差stdj,kを有する。この段階において、フレームjの画素についての標準偏差マップH(p)が決定され得る。フレームj内の画素pについて、H(p)は、当該画素に対応づけられた標準偏差の値を生成し得る。下限(ビット深度下限)を構築するために、H(p)内のいくつかの画素が無視され得る。以下の画素は、含まれなくてもよい。
・レターボックスに対応する部分は、その部分の画素が定数I(p)(例えば、黒画素に関するすべての画素)を有するので、考えなくてもよい。定数部分は、ゼロ標準偏差および高ビット深度を有する。これらの画素を使用してビット深度下限を決定すると、最終のビット深度がバイアスされ得る。
・フレームの右端部および下端部の画素であって、それらに対応するブロックが16×16よりも小さいサイズを有する画素は、除外され得る。
有効な画素の画素インデックス集合をΩと表す。iをΩ内のインデックスとする。従って、有効な標準偏差測定値の集合は、
Figure 0006771656
として表される。
フレームjについて、m番目の階級についてのノイズ測定値は、bj,mとして表され、以下の手順によって得られ得る。
第1の段階において、入力画像画素強度は、等間隔W(例えば、W=65536/M)を有するM個の階級に区分けされ、ダイナミックレンジ全体をカバーし得る。次いで、階級における平均標準偏差は、以下のように求められ得る。
m番目の階級(ここで、m=0、1、…、M−1)について、フレームjの元の画像の画素は、I(i),i∈Ωと特定され、
Figure 0006771656
の範囲の画素値を有する。個々の階級について、その階級内の画素についての平均標準偏差bj,mが求められる。この平均値をbj,mとして表すと、
Figure 0006771656
が生成される。このように、{bj,m}と表されるM個の階級のデータが求められ得る。
ルマ順方向再構成LUTは、統計スライディングウィンドウ内に得られるパラメータを有するBLK−STDについて先ほど説明した方法と同様の方法で構築され得る。
輝度階級mについてのフレームj−L(ルックバックフレーム)からフレームj+A(ルックアヘッドフレーム)の最小ノイズレベルがL+A+1個のフレームの統計値に基づいて決定される。シーンの開始におけるフレームが完全なL個のフレームを有さないならば、シーン内の利用可能なフレームが利用される。この統計スライディングウィンドウの開始フレームインデックスは、K=max(j−L,F)として表され、ここで、Fは、シーンの開始のフレーム番号である(例えば、F=0)。この統計スライディングウィンドウのルックアヘッドフレームインデックスは、
Figure 0006771656
として表され、ここで、Fは、シーンの終了のフレーム番号である。言い換えると、Kおよび
Figure 0006771656
は、シーンカット境界によって制御される。スライディングウィンドウにわたる平均ノイズ測定値(スライディングウィンドウについてのノイズパラメータ)は、
Figure 0006771656
である。
統計スライディングウィンドウ内の最小値の最小レベル、平均値の平均(平均レベル)および最大値の最大レベルは、以下のように得られる。
Figure 0006771656
ここで、
Figure 0006771656
は、フレームfについての最小値であり、
Figure 0006771656
は、最小値の最小であり、
Figure 0006771656
ここで、
Figure 0006771656
は、フレームfについての最大値であり、
Figure 0006771656
は、最大値の最大であり、
Figure 0006771656
ここで、
Figure 0006771656
は、フレームfについての平均値であり、
Figure 0006771656
は、平均値の平均である。

スライディングウィンドウ内のビット深度下限
次いで、ノイズレベル(ノイズパラメータ)
Figure 0006771656
は、現在のフレームに必要なビット深度
Figure 0006771656
に、例えば、
Figure 0006771656
を介して変換される。ここで、f(・)は、実験で得られる関数であり得る。
必要なビット深度
Figure 0006771656
は、EDRおよびSDRビット深度BおよびBによって正規化され、必要な符号語の正規化量
Figure 0006771656
を得る。例えば、これは、以下を介して得られる。
Figure 0006771656
各階級に必要な符号語の正規化量を得た後、これをM個の階級からEDRドメイン内のすべての符号語に、例えば、
Figure 0006771656
を介して拡張され得る。すなわち、EDRドメイン内の各符号語(画素値)iについて、必要な符号語(SDRドメイン内)の正規化量は、EDRドメイン内の当該符号語を含む階級に必要な符号語の正規化量によって与えられ得る。
Figure 0006771656
は、必要な符号語の数の下限である。いずれの伝達曲線(量子化曲線)も輪郭アーチファクトの生成を避けるためにこの下限を満足すべきである。
ルマ伝達関数は、M個の階級について、ユーザ(シェーダ)のプリファレンス入力である傾きS、オフセットOおよびパワーPを有するダイナミックトーンマッピング(DTM)曲線
Figure 0006771656
を使用して構築され得る。一般に、ルマ伝達関数は、最小値の最小レベル、平均値の平均レベルおよび最大値の最大レベルに依存し得る。また、ルマ伝達関数は、PQを介してガンマ関数(ETF)に変換され得る。フレームjについて、ルマ伝達関数は、以下に基づき得る。
Figure 0006771656
SDRドメイン内で後方互換性であるために、マッピングされた範囲は、SMPTE範囲に拘束され得る。
Figure 0006771656
をそれぞれ最小値および最大値とする。すなわち、
Figure 0006771656
である。
フレームが真のブラックであるならば、LUT内の最小値および最大値は、同じであり得る。LUT内の値は、SMPTE範囲
Figure 0006771656
に直接クリッピング(clip)され得る。
Figure 0006771656
Figure 0006771656
は、
Figure 0006771656
と異なるならば、ルマ順方向再構成LUT範囲
Figure 0006771656
は、SMPTE範囲

Figure 0006771656
に線形にスケーリングされ得る。ここで、
Figure 0006771656
である。
式(18)の定数は、SMPTE標準規格によって定義される。線形スケーリングは、ルマ順方向再構成LUTにおける要素に適用される。
Figure 0006771656
出力値は、SMPTE範囲
Figure 0006771656
にクリッピングされる。
目標とされるマッピング範囲の決定
Figure 0006771656
に基づいて、以下のようにルマ伝達関数を求めた後に極値が求められ得る。
Figure 0006771656
正規化された、利用可能なルマ伝達関数符号語範囲を以下のように定義する。
Figure 0006771656
ここで、Bは、SDRビット深度である。これは、順方向再構成処理において使用され得る符号語バジェット(budget)である。
1階級当たりの目標とされるビット深度T(J)(i)と
Figure 0006771656
との間の差分値は、入力符号語におけるビット深度として求められる。
Figure 0006771656
1階級当たりの最大の値を選択する
個々の入力符号語について、2つの異なるビット深度、(1)ノイズ測定値からの
Figure 0006771656
および(2)ルマ伝達関数からの
Figure 0006771656
がある。2つの集合が以下のようにどちらの値がより大きいかに依存して構築される。
Figure 0006771656
入力符号語iについて、ルマ伝達関数ビット深度
Figure 0006771656

Figure 0006771656
以下であるならば、これは、望ましくない帯状のアーチファクトが見られる可能性があることを意味する。従って、
Figure 0006771656
は、この入力符号語において以下のように使用される。
Figure 0006771656
余分な割り当て符号語の決定
余分な割り当て符号語は、
Figure 0006771656
として決定され得る。
余分な割り当て符号語を差し引く
これらの余分な符号語は、集合Ω(j)から差し引かれる対象となる。簡単な方法は、固定数の符号語
Figure 0006771656
を以下のように等しく引き算することである。
Figure 0006771656
なお、この差し引きの後に、
Figure 0006771656
となる可能がある。この状況は、これらの画素に対しても余分な割り当て符号語を決定することによって、回避すべきである。
曲線の平滑化
2つの階級幅、すなわち、2Wをカバーする簡単な移動平均フィルタが使用され得る。一つの例を以下に示す。
Figure 0006771656
フレームレベル順方向再構成LUTの構築
SDRドメイン内の最小輝度値および最大輝度値をC,Cと表す。順方向再構成LUTは、SDRドメイン内の目標とする低いほうの輝度、すなわち、Cからのオフセットを用いて、累積加算を介して、平滑化された曲線に基づいて構築され得る。フレームjにおけるこのLUTをFLUTとして表す。このFLUTは、単調非減少である。
中心傾向レベルルマ再構成LUT
フレーム統計値レベルLUT(FLUT)が適用されて、EDRフレームを再構成されるならば、フリッカー問題が時間ドメインに生じ得る。統計スライディングウィンドウ内の最大EDR値の最大レベルおよび最小EDR値の最小レベル、
Figure 0006771656
は、
Figure 0006771656
と異なり得るが、これにより、フレームjおよびフレームj+1について異なるフレーム統計値レベルLUTが生成されるので、フリッカー問題が生じる恐れがある。
1つの解決方法は、以下のように統計スライディングウィンドウ内の最大EDR値および最小EDR値の平均を取ることである。
Figure 0006771656
次いで、それらをルマ伝達関数、例えば、DTMアルゴリズムに入れる。この手法によって、可逆性に影響を与えるクリッピングされた情報が生じる。
Figure 0006771656

Figure 0006771656
よりも大きく、および/または
Figure 0006771656

Figure 0006771656
より小さく、そして
Figure 0006771656

Figure 0006771656
の情報を切り取る(clip out)可能性はかなり高い。当該情報は、逆方向再構成において回復できない。
情報を保存するために、(10)〜(12)において定義するような統計スライディングウィンドウ内の以下の最小値、最大値および平均値に注目する。
Figure 0006771656
フリッカーを低減するために、平均演算を現在フレームおよびルックバックフレームのFLUTに以下のように適用する。
Figure 0006771656
Figure 0006771656
は、フレームfのフレーム統計値レベルLUTであり、
Figure 0006771656
は、中心傾向ルマ順方向再構成関数である。遅延を低減するために、ルックアヘッドフレームが再構成平均演算には利用されない。
再構成された信号は、以下のようにFLUTを介して生成され得る。
Figure 0006771656
ここで、
Figure 0006771656
は、フレームj内の画素iの元のEDRルマであり、
Figure 0006771656
は、順方向再構成されたSDRルマである。
第1のシステムにおけるルマ変調クロマ順方向再構成
図5は、クロマ再構成500の概要を示す。第1の例において、ルマ変調再構成関数510を元の拡張ダイナミックレンジ(EDR)データ512とともに使用して、再構成されたスタンダードダイナミックレンジ(SDR)出力514を決定する。
図6は、Cbチャネルについてのクロマ順方向再構成600の第1の例を示す。Crチャネルは、同様に行われ得る。この例において、入力ルマ映像フレーム410が入力され、中心傾向ルマ順方向再構成LUT434が上記のように決定され、ルマ再構成が行われ(438)、再構成されたルマ610を生成する。
フレーム統計値レベルにおいて、入力クロマ映像フレーム614が入力される。2つのトラックに沿って進行し、EDR上限616およびEDR重み628を決定し(拡張ダイナミックレンジ解析器によって行われる)、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックアヘッドフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)の解析を行う。
EDR上限トラックにおいて、EDR上限が決定され(616)、そしてEDR上限バッファ618Bに収集され、上限の平均が求められる(620)。なお、平均演算以外の中心傾向特性が利用され得る。中心傾向ルマ順方向再構成LUT434および平均EDR上限を利用して、EDRからSDRへのマッピングが行われ(622)、そしてSDR上限が決定される(624)。
EDR重みトラックにおいて、EDR重みが決定され(628)、そしてEDR重みバッファ618Aに格納され、EDR重みの平均が求められる(632)。例えば、中心傾向が求められ、そして中心傾向ルマ順方向再構成LUTおよび平均EDR重みを利用して、EDRからSDRへのマッピングが行われ(634)、そして、SDR重みが決定される(636)。622および634のEDRからSDRへのマッピング関数は、ブリッジマッピング器によって行われる。EDR重みの平均演算(632)は、求められ得る、数ある代表値のうちの一例にすぎない。
SDR重み636およびSDR上限624を利用して、クロマ順方向再構成スケール多項式が決定される(626)。これは、クロマフレームソルバによって行われる。
中心傾向スライディングウィンドウレベルにおいて、クロマ順方向再構成多項式626は、フレーム統計値レベルから中心傾向スライディングウィンドウ638に入力される。中心傾向スライディングウィンドウ638において、順方向再構成多項式曲線640の中心傾向が求められる。これをクロマ多項式線形非線形結合器と称する。中心傾向順方向再構成多項式曲線は、中心傾向曲線にフィッティングされる(646)。中心傾向曲線646からクロマMMR係数が決定される(648)。これは、クロマMMR決定器によって行われる。クロマMMR係数は、リファレンスピクチャユニット(rpu)224に出力される。
中心傾向(例えば、線形/非線形組合せ)順方向再構成多項式曲線640を、再構成されたルマ610および入力クロマ映像フレーム614とともに利用して、クロマ順方向構成が決定される(642)。これをクロマ再構成器と称する。その結果、再構成されたクロマ644が得られ、これは、再構成されたルマ612とともにSDRデータ出力218を生じさせる。
図7は、Cbチャネルについてのクロマ順方向再構成700の第2の例を示す。Crチャネルは、同様に行われ得る。図7は、EDR上限だけが統計的に解析される、図6の方法の一変形例を示す。この例において、入力ルマ映像フレーム410が入力され、中心傾向ルマ順方向再構成LUT434が上記のように決定され、ルマ再構成が行われ(438)、再構成されたルマ610が生成される。
フレーム統計値レベルにおいて、入力クロマ映像フレーム614が入力される。この例において、拡張ダイナミックレンジ解析器が統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックアヘッドフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)を解析することによって、EDR上限616だけが統計的に解析される。
EDR上限が決定され(616)、そしてEDR上限バッファ618B内に収集され、上限の平均が求められる(620)。なお、平均以外の中心傾向特性が利用され得る。中心傾向ルマ順方向再構成LUT434および平均EDR上限を利用して、EDRからSDR622へのマッピングが行われ、そしてSDR上限が決定される(624)。SDR上限624を利用して、クロマ順方向再構成スケール多項式626を決定する。これは、クロマフレームソルバによって行われる。
中心傾向スライディングウィンドウレベルにおいて、クロマ順方向再構成多項式626は、フレーム統計値レベルから中心傾向スライディングウィンドウ638に入力される。中心傾向スライディングウィンドウ638において、順方向再構成多項式曲線640の中心傾向が求められる。これを、クロマ多項式線形非線形結合器と称する。中心傾向順方向再構成多項式曲線は、中心傾向曲線646にフィッティングされる。中心傾向曲線646からクロマMMR係数が決定される(648)。これは、クロマMMR決定器によって行われる。そして、クロマMMR係数は、リファレンスピクチャユニット(rpu)224に出力される。
中心傾向(例えば、線形/非線形組合せ)順方向再構成多項式曲線640を、再構成されたルマ610および入力クロマ映像フレーム614とともに、利用して、クロマ順方向構成が決定される(642)。これをクロマ再構成器と称する。その結果、再構成されたクロマ644が得られ、これは、再構成されたルマ612とともに、SDRデータ出力218を生じさせる。
フレームj内の画素iの順方向再構成されたSDRクロマ(チャネルCb)は、
Figure 0006771656
であり、フレームj内の画素iの元のEDRクロマ(チャネルCb)は、
Figure 0006771656
である。輝度変調クロマ順方向再構成が再構成されたSDRルマに基づいて行われ得る。
Figure 0006771656
ここで、
Figure 0006771656
は、フレームj内の画素iの順方向再構成されたSDRクロマ(チャネルCb)であり、
Figure 0006771656
は、フレームj内の画素iの元のEDRクロマ(チャネルCb)である。以下に、チャネルCbを例にしてクロマ順方向再構成およびクロマ逆方向再構成を説明する。チャネルCrは、同じように処理され得る。
フレームjのルマ変調スケール関数である
Figure 0006771656
は、
Figure 0006771656
のK次の多項式関数の以下のような形態を取り得る。
Figure 0006771656
ここで、
Figure 0006771656
は、多項式係数であり、K=2(2次多項式)である。リファレンス多項式係数{αr,k}も決定され得る。リファレンス多項式は、学習データセットから学習された、輝度依存クロマスケールファクタ、2次多項式であり得る。
コンテンツ適応性可逆的再構成関数
再構成されたSDRを利用して、最大スケールファクタを導出し、EDR可逆性を維持し得る。再構成されたSDRを決定するために、ルマ順方向再構成関数が利用され得る。最大スケールファクタは、リアルタイム決定において使用するために、時間ドメインに沿ってフィルタリングおよび平滑化され得る。
図8は、コンテンツ依存多項式800を示す。クロマは、オーバーフローまたはアンダーフローする場合に、再構成されたドメインにクリッピングされ得る。この場合に、最大スケールファクタ(上限)が輝度範囲812に対して配置される。ゼロおよび上限によって境界づけられるような新たな多項式がリファレンス814と新たな多項式816との間の重み付け距離を最小化することによって決定され得る。重み付けファクタは、階級810内の画素数であり得る。
EDRドメイン内の最大スケールファクタ
ルマは、M個の範囲に分割され、EDRルマヒストグラムに収集される。
Figure 0006771656
ここで、Ψj,mは、
Figure 0006771656
間に値を有する画素の集合であり、フレームj内の画素iの元のEDRクロマは、
Figure 0006771656
である。
階級内の最大クロマ値は、以下のように決定され得る。
Figure 0006771656
ここで、ηの実験値は、全範囲出力について0.85であり、ηは、SMPTE範囲出力について0.95である。
階級のクロマスケールファクタの上限(EDR上限)は、全範囲については、
Figure 0006771656
と決定され、SMPTE範囲については、
Figure 0006771656
と決定され得る。ここで、qmaxの実験値は、10である。統計スライディングウィンドウ内のフレームのEDR上限は、収集され、得られたEDR上限の平均が以下のように求められる。
Figure 0006771656
ここで、
Figure 0006771656
は、統計スライディングウィンドウ内のフレームについてのEDR上限である。
SDRドメイン内の最大スケールファクタ
EDR上限は、フレームj(現在のフレーム)のルマFLUTを使用して、SDRにマッピングされ得る。EDRルマにおけるx軸は、再構成されたSDRルマに変更され得る。Mは、[0,1]間のEDRドメインにおいて以下のように一様にサンプリングされる。
Figure 0006771656
ここで、m=0、1、…、ME−1である。サンプリングされた点
Figure 0006771656
は、EDRドメインからM個の階級を有するSDRドメインに以下のようにマッピングされ得る。
Figure 0006771656
なお、Mは、Mよりも大きい。すなわち、階級のより高い精度は、階級のより低い精度にマッピングされる。
次いで、n=0、1、…、MS−1について、n番目の階級内のインデックス
Figure 0006771656
は、
Figure 0006771656
であり得る。
なお、いくつかの
Figure 0006771656
は、同じ階級内に存在し得る。いくつかの階級は、空であり得る。SDR上限は、EDR上限の最小を取ることによって以下のように求められ得る。
Figure 0006771656
数列
Figure 0006771656
内の空の階級は、近傍の状態に応じて補間され得る。すなわち、ある空階級について左右の近傍が利用可能であるならば、最も近い左右近傍に基づいて双線形補間が適用され得る。
Figure 0006771656
の数列の端などのある空階級について左の近傍のみまたは右の近傍のみが利用可能であるならば、最も近い空でない階級の値がコピーされ、
Figure 0006771656
は、フレームjのSDR上限であり得る。
順方向再構成多項式のフレーム統計値レベル生成
ルマの決定と同様に、クロマ再構成関数は、2つの異なるレベルで生成され得る。
個のサンプルがリファレンス多項式曲線から以下のように得られ得る。
Figure 0006771656
3つの点が決定され得る。
Figure 0006771656
フレームベースの多項式係数が決定され得る。点Bがリファレンス多項式曲線上にあるか、それよりも上にある、すなわち、
Figure 0006771656
ここで、
Figure 0006771656
がSDR上限である、ならば、このフレームについてのリファレンス多項式
Figure 0006771656
が利用される。
そうでないならば、順方向再構成2次多項式は、距離最適化問題を解くことによって求められ得る。多項式は、点Aおよび点Bと交差し、リファレンス曲線から最短の重み付け距離を有し得る。重みは、階級内の画素数によって決定され得る。統計スライディングウィンドウ内のフレームの平均重みが決定され、EDRドメイン内の得られた重みは、SDRドメインにマッピングされる。
統計スライディングウィンドウ内のフレームについて、EDR画像における階級内の画素の数は、ヒストグラムΨj,mについて以下のように決定され得る。
Figure 0006771656
ここで、Ψj,mは、(36)のように定義される。EDR重みの平均は、統計スライディングウィンドウにわたって以下のように求められ得る。
Figure 0006771656
EDRドメインは、以下のようにSDRドメインにマッピングされ得る。
Figure 0006771656
EDR重みは、以下のようにSDRドメインにマッピングされ得る。
Figure 0006771656
空階級は、端部の階級を除いて、補間され得る。空の階級が両端にあるならば、当該階級は、補間されない。空の階級は、空でない階級間で補間され、最適化のために重み
Figure 0006771656
が取られ得る。補間の後、空でない階級は、
Figure 0006771656
に基づいて導出され得る。これは、両端の空の階級を除き得る。
重みが得られた後、多項式係数は、以下のように最適化され得る。
Figure 0006771656
探索が失敗したならば、1次多項式が利用され得る。係数は、最適化問題を解くことによって以下のように求められ得る(多項式は、点Cを通り、リファレンス曲線からの最短の重み付け距離を有する)。
Figure 0006771656
また、新たな多項式は、リファレンス曲線からの重みなし距離によって得られ得る。この場合、EDR重みを収集しない。多項式係数は、以下のように得られ得る。
Figure 0006771656
探索が失敗したならば、1次多項式が利用され得る。係数は、最適化問題を解くことによって以下のように求められ得る(多項式は、点Cを通り、リファレンス曲線からの最短の重みなし距離を有する)。
Figure 0006771656
順方向再構成多項式の中心傾向スライディングウィンドウレベル生成
現在のフレームおよびルックバックフレームの多項式曲線の平均が求められ、新たな多項式がその平均曲線にフィッティングされ得る。
中心傾向スライディングウィンドウ内の現在のフレームおよびルックバックフレームのフレーム係数がリファレンス係数{αr,k}と同じならば、最終の係数は、{αr,k}であり得る。そうでなければ、現在のフレームおよびルックバックフレームについて、多項式上のM個のサンプルが以下のように得られる。
Figure 0006771656
多項式について、サンプルの平均が求められ得る。
Figure 0006771656
係数
Figure 0006771656
を有する2次多項式が
Figure 0006771656
にフィッティングされ得る。このフィッティングによって、クロマ順方向再構成スケールファクタが平滑化される。
なお、上記決定は、{x}がすべてのフレームについて同じである限り、中心傾向スライディングウィンドウ内の係数の平均を直接に求めることによって低減され得る。{yj,n}は、
Figure 0006771656
書き換えられ得る。ここで、
Figure 0006771656
である。
Figure 0006771656
は、以下のように書き換えられ得る。
Figure 0006771656
多項式の
Figure 0006771656
へのフィッティングは、以下のようになるように行われる。
Figure 0006771656
ここで、
Figure 0006771656
である。最適化問題は、以下の式で表され得る。
Figure 0006771656
Figure 0006771656
の最小二乗解は、以下のとおりである。
Figure 0006771656
これは、多項式係数の平均を求めることが、多項式曲線の平均を求め、そして新たな多項式を当該平均にフィッティングすることに相当することを示す。この処理は、以下の平均算出手順によって単純化され得る。
Figure 0006771656
クロマスケーリングファクタとして導出された多項式は、直接適用され得る。ルマ値がとり得る値は、有限であるので、多項式からの可能なルマ値を使用して1Dルックアップテーブル(LUT)が構築され得る。LUTは、以下のように決定され得る。
Figure 0006771656
ここで、
Figure 0006771656
であり、Lは、精度に応じて、1024または2048などであり得る。なお、Lは、(2*M)の倍数である。
スケールファクタは、以下のように順方向再構成に適用され得る。
Figure 0006771656
ここで、
Figure 0006771656
または、単にフレームj内の画素iの元のEDRルマである
Figure 0006771656
のMSBを取ることによる。
図9は、多項式が上限および下限を満足する限り上下に移動することを可能にするシェーダ制御900を示す。上限は、多項式910が交差する914として示している。低減された飽和(decreased saturation)912が入力され、多項式を上限914よりわずかに下方に引き下げ得る。また、上限920は、元の多項式916の低減された飽和918に加えて、多項式の増大された飽和(increased saturation)922を可能にし得る。
逆方向再構成関数
2つの入力を有する3次クロマMMRが逆方向再構成のために以下のように利用される。
Figure 0006771656
ここで、
Figure 0006771656
は、フレームj内の画素iの逆方向再構成されたEDRクロマ(チャネルCb)である。クロマMMR係数
Figure 0006771656
は、求められる値であり、rpuに送信され、格納されることになる。
逆方向再構成関数について、システム開始時に、クロマMMR係数は、リファレンス順方向再構成多項式について導き出される。上限超えがないならば(すなわち、リファレンス順方向再構成多項式がSDR上限を超えないならば)、リファレンス多項式係数は、順方向再構成のために使用され、クロマリファレンスMMR係数は、逆方向再構成のために使用され得る。
係数{αr,k}は、以下のスケールファクタを生成する。
Figure 0006771656
ルマ階級の逆スケールファクタは、以下のように決定され得る。
Figure 0006771656
サンプルに対する曲線フィッティングが行われ、以下のような次数Kの多項式が得られ得る。
Figure 0006771656
Figure 0006771656
であるクロマMMR係数
Figure 0006771656
が決定され得る。ここで、
Figure 0006771656
であり、Aは、2016年5月19日に出願された、Q.Songらの米国仮出願シリアル番号62/338,638、「Chroma Reshaping for High Dynamic Range Images」(「638出願」と称す)に記載されるような変換行列である。この出願は、2017年5月17日にPCT出願シリアル番号PCT/US2017/033056としても出願されている。この出願の開示内容を本願に援用する。
フレームについて、得られた順方向再構成多項式がリファレンス多項式と同じであるならば、mは、クロマMMR係数として利用され得る。
そうでなく、順方向再構成多項式がリファレンス多項式と異なるならば、コンテンツ依存クロマMMR係数が利用され得る。
EDR重みおよびSDR重みが得られたならば、最も右の空でない階級
Figure 0006771656
が求められ得る。
階級インデックスは、dmaxによって以下のようにクリッピングされ得る。
Figure 0006771656
ここで、dmaxは、定数である。dmaxの実験値は、M=64の場合、50である。
Dは、M個の階級のうちの最も右の空でない階級に対応するので、M個のサンプルに対して順方向再構成1D LUT
Figure 0006771656
をダウンサンプリングし得る。
Figure 0006771656
このように、サンプルは、元のサンプルに類似し得る。すなわち、d=nについて
Figure 0006771656
である。ここで、
Figure 0006771656
である。
逆スケールファクタは、以下のように決定され得る。
Figure 0006771656
曲線フィッティングをサンプル
Figure 0006771656
に対して行うことによって、以下のようなK次の多項式が得られ得る。
Figure 0006771656
最適化問題は、以下のように表され得る。
Figure 0006771656
最小二乗解は、
Figure 0006771656
であり、ここで、
Figure 0006771656
である。
なお、
Figure 0006771656
は、D(j)に依存し、
Figure 0006771656
は、
システム初期化時にD(j)=50、…、64について予め決定され得る(すなわち、(K+1)*64元の15個のテーブル)。次いで、フレームについて、
Figure 0006771656

Figure 0006771656
に乗算され、
Figure 0006771656
を得る。
Figure 0006771656
であるクロマMMR係数
Figure 0006771656
が得られ得る。ここで、
Figure 0006771656
である。
逆スケールファクタ
Figure 0006771656
の最終のクロマMMR係数
Figure 0006771656
へのそのような変換は、行列変換として表され得る。式(77)の第1の部分は、MMR係数
Figure 0006771656
が中心傾向再構成関数に固定の変換行列
Figure 0006771656
を乗算することによって得られ得ることを示す。ここで、
Figure 0006771656
は、多項式係数である。式(77)の第2の部分は、MMR係数
Figure 0006771656
の決定において単純化がなされ得ることを表す。すなわち、逆スケールファクタサンプル値
Figure 0006771656
が2つの変換行列
Figure 0006771656
と以下のように乗算され得る。
Figure 0006771656
EDR重みまたはSDR重みが決定されなかった場合、Dは、Mに設定され得、MMR係数は、上記と同様の手順を利用して決定され得る。
第2の装置におけるルマ変調クロマ順方向再構成
図10は、モバイルデバイスなどの第2のデバイスのための、Cbチャネルについてのクロマ順方向再構成1000の第2の例を示す。Crチャネルは、同様に行われ得る。この例において、入力ルマ映像フレーム410が入力され、中心傾向ルマ順方向再構成LUT434が上記のように決定され、そしてルマ再構成が行われ(438)、再構成されたルマ610が生成される。
入力クロマ映像フレーム614が入力される。EDR上限が、拡張ダイナミックレンジ解析器によって、統計スライディングウィンドウ内の現在のフレーム、少なくとも1つのルックアヘッドフレーム(それが存在する場合)および少なくとも1つのルックバックフレーム(それが存在する場合)について行われる。EDR上限が決定され(616)、そしてEDR上限バッファ618B内に収集され、この例においては、上限の平均が求められ、中心傾向を決定する任意の処理が利用され得る。中心傾向ルマ順方向再構成LUT434およびモジュール620からの平均上限を利用して、EDRからSDRへのマッピングが行われる(622)。これは、ブリッジマッピング器によって行われる。そしてSDR上限が決定される(624)。
クロマ順方向再構成多項式は、SDR上限出力を利用して、順方向再構成スケール多項式LUTから決定される(1010)。これは、クロマフレームソルバによって行われる。クロマCb順方向再構成多項式出力を利用して、クロマ順方向再構成が行われる(1012)。これは、クロマ再構成器によって行われる。その結果、再構成されたクロマ1014が得られる。再構成されたクロマ出力1014は、再構成されたルマ出力612と組み合わされて、SDRドメインにおけるデータを生成する(218)。さらに、SDR上限624からのデータを使用して、逆方向LUTからクロマMMR係数が得られ得る(1016)。これは、クロマMMR決定器によって行われる。クロマMMR係数は、RPU224に送信され得る。
多項式係数は、所定の順方向再構成係数LUTから得られ、複雑性を低減し得る。順方向再構成係数LUTは、点Bの位置における係数を含み得る。順方向係数LUTの構築の一例は、‘638出願にその詳細を見出すことができる。得られた点Bに対応するインデックス(n,T)が求められ得る。多項式係数は、以下であり得る。
Figure 0006771656
1DスケールファクタLUTは、フレームjについて多項式係数を使用して以下のように構築され得る。
Figure 0006771656
ここで、
Figure 0006771656
である。スケールファクタは、以下のように順方向再構成に適用され得る。
Figure 0006771656
ここで、
Figure 0006771656
である。または、単にフレームj内の画素iの元のEDRルマである
Figure 0006771656
のMSBを取ることによる。
逆方向再構成
逆方向再構成について、クロマMMR係数は、逆方向LUTから求められ得る。逆方向LUTは、点Bの位置のクロマMMR係数を含む。インデックスは、得られた点B(n,T)に対応し得る。クロマMMR係数は、kについてτ(n,T,k)であり得る。ここで、τ(・,・,・)は、逆方向再構成LUTである。逆方向再構成係数LUTの構築の一例は、‘638出願に見出だされ得る。
飽和制御
順方向再構成の多項式係数が上記の手順で得られた後、シェーダは、飽和を手動で調節し得る。シェーダは、多項式曲線が上限または下限に接触するまで、定数係数
Figure 0006771656
を変更し得る。上限
Figure 0006771656
は、上記のように定義される。下限は、δに設定される。ここで、δ≧0である。
手順は、以下のように説明され得る。
Figure 0006771656
スケールファクタは、以下のように得られ得る。
Figure 0006771656
n∈Ωについて
Figure 0006771656
かつ
n=0、1、…、Dについて
Figure 0006771656
であるならば、
Figure 0006771656
は、
Figure 0006771656
によって置き換えられる。
クロマMMR係数は、新たな多項式係数を使用して求められ得る。一例において、δは、0.2に設定され、十分な逆方向再構成されたEDRを確保する
Figure 0006771656
が上記の条件を満足しないならば、
Figure 0006771656
は、変更されないままである。シェーダは、飽和を制御するスライダを有し得る。
均等物、拡張物、代替物、その他
上記記載において、実装毎に異なり得る多数の具体的な詳細に言及しながら本発明の実施形態を説明した。従って、本発明が如何なるものかおよび出願人は本発明が如何なるものであると意図しているかについての唯一且つ排他的な指標は、後の訂正を含む、これら請求項が生じる具体的な形態の、本願から生じる1組の請求項である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項に明示的に記載されていない限定事項、構成要素、特性、特徴、利点または属性は、いかなる形であれ請求の範囲を限定するものではない。従って、本明細書および図面は、限定的ではなく、例示的であると認識されるべきものである。
本発明の様々な局面は、以下の列挙実施形態例(enumerated example embodiment:EEE)から理解され得る。
EEE1.
リアルタイム順方向再構成の方法であって、
現在のフレームと、少なくとも1つのルックバックフレームと、少なくとも1つのルックアヘッドフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの統計値を決定する工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値内にあるならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンに含める工程と、
前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックアヘッドフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、
前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、
前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記中心傾向スライディングウィンドウの前記少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する方法。

EEE2.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE3.
前記1組のクロマ多変量・重回帰(MMR)係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成ルックアップテーブル(LUT)を決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE2に記載の方法。

EEE4.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE5.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE4に記載の方法。

EEE6.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE7.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE6に記載の方法。

EEE8.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE9.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE8に記載の方法。

EEE10.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE11.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE10に記載の方法。

EEE12.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE1に記載の方法。

EEE13.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE12に記載の方法。

EEE14.
リアルタイム順方向再構成の方法であって、
現在のフレームと、少なくとも1つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは前記現在のフレームに合わせて画定する、工程と、
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの統計値を決定する工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程と、
前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程と、
前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程と、
前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
前記シーン内の前記少なくとも1つのルマ順方向再構成関数の中心傾向に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
を包含する方法。

EEE15.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE16.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE15に記載の方法。

EEE17.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE18.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE17に記載の方法。

EEE19.
前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE20.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE19に記載の方法。

EEE21.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つの統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE22.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEEに21記載の方法。

EEE23.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
前記統計スライディングウィンドウの少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE24.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE23に記載の方法。

EEE25.
前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を含むクロマフレーム解を決定する工程と、
前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
をさらに包含するEEE14に記載の方法。

EEE26.
前記1組のクロマ多変量・重回帰係数を生成する工程は、
上限を超えることがなければ、
デフォルトのリファレンス多項式を利用して、順方向再構成関数を決定する工程と、
逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
を包含し、
上限を超えることがあれば、
前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
中心傾向クロマ再構成関数を得る工程と、
前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
前記順方向再構成LUTから逆スケールファクタを決定する工程と、
前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
前記逆多項式の係数に固定の変換行列を乗算する工程と、
逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
を包含する、
EEE25に記載の方法。

Claims (32)

  1. リアルタイム順方向再構成の方法であって、前記順方向再構成は、拡張ダイナミックレンジ(EDR)をスタンダードダイナミックレンジ(SDR)にマッピングする工程を包含し、前記方法は、
    現在のフレームと、少なくとも1つのルックバックフレームと、少なくとも1つのルックアヘッドフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは現在のフレームに合わせて画定する(indexes)、工程と、
    前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの統計値を決定する工程と、
    前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
    前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
    前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値内にあるならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンに含める工程と、
    前記少なくとも1つのルックアヘッドフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックアヘッドフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックアヘッドフレームを前記現在のシーンから除外する工程と、
    前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程であって、前記少なくとも1つのノイズパラメータは、前記統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定される、工程と、
    前記現在のシーン内のフレームのうちの前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程であって、前記少なくとも1つのルマ伝達関数は、前記決定された統計値に基づいて、ダイナミックトーンマッピング(DTM)を使用して構築される、工程と、
    前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程であって、当該決定する工程は、前記少なくとも1つのノイズパラメータに基づいて、前記少なくとも1つのルマ伝達関数の入力符号語の間でビット深度を再割り当てする工程を包含する、工程と、
    前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
    前記中心傾向スライディングウィンドウの前記少なくとも1つのルマ順方向再構成関数に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
    を包含する、方法
  2. 前記決定された統計値は、前記統計スライディングウィンドウ内の最大値の最大レベル、前記統計スライディングウィンドウ内の最小値の最小レベル、および前記統計スライディングウィンドウ内の平均値の平均レベルを含む、請求項1に記載の方法。
  3. 前記少なくとも1つのルマ伝達関数は、所与の傾き、所与のオフセットおよび所与パワーに基づいて、さらに構築される、請求項1に記載の方法。
  4. 前記中心傾向ルマ再構成関数は、前記中心傾向スライディングウィンドウの前記現在のフレームおよび前記少なくとも1つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定される、請求項1から3のいずれかに記載の方法。
  5. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
    前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項1から4のいずれかに記載の方法。
  6. 前記1組のクロマ多変量・重回帰(MMR)係数の生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成ルックアップテーブル(LUT)を決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項5に記載の方法。
  7. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
    前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項1から6のいずれかに記載の方法。
  8. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
    前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項7に記載の方法。
  9. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
    前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項1から8のいずれかに記載の方法。
  10. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項9に記載の方法、
  11. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
    前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項1から4のいずれかに記載の方法。
  12. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項11に記載の方法。
  13. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
    前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項1から4のいずれかに記載の方法。
  14. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
    前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項13に記載の方法。
  15. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
    前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項1から4のいずれかに記載の方法。
  16. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項15に記載の方法。
  17. リアルタイム順方向再構成の方法であって、前記順方向再構成は、拡張ダイナミックレンジ(EDR)をスタンダードダイナミックレンジ(SDR)にマッピングする工程を包含し、前記方法は、
    現在のフレームと、少なくとも1つのルックバックフレームとを有する統計スライディングウィンドウを選択する工程であって、ここで前記統計スライディングウィンドウは前記現在のフレームに合わせて画定する、工程と、
    前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの統計値を決定する工程と、
    前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が所定の閾値内にあるならば、前記少なくとも1つのルックバックフレームを現在のシーンに含める工程と、
    前記少なくとも1つのルックバックフレームおよび前記現在のフレームの前記決定された統計値が前記所定の閾値よりも大きいか、または前記少なくとも1つのルックバックフレームが前記統計スライディングウィンドウ内にないならば、前記少なくとも1つのルックバックフレームを前記現在のシーンから除外する工程と、
    前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのノイズパラメータを決定する工程であって、前記少なくとも1つのノイズパラメータは、前記統計スライディングウィンドウ内のブロックベース標準偏差の平均に基づいて決定される、工程と、
    前記現在のシーン内のフレームのうちの前記現在のフレームおよび前記少なくとも1つのルックバックフレームの前記決定された統計値に基づいて、少なくとも1つのルマ伝達関数を決定する工程であって、前記少なくとも1つのルマ伝達関数は、前記決定された統計値に基づいて、ダイナミックトーンマッピング(DTM)を使用して構築される、工程と、
    前記現在のシーン内の前記少なくとも1つのルマ伝達関数および前記少なくとも1つのノイズパラメータに基づいて、少なくとも1つのルマ順方向再構成関数を決定する工程であって、当該決定する工程は、前記少なくとも1つのノイズパラメータに基づいて、前記少なくとも1つのルマ伝達関数の入力符号語の間でビット深度を再割り当てする工程を包含する、工程と、
    前記少なくとも1つのルックバックフレームが前記現在のシーン内にあるならば、前記現在のフレームおよび前記少なくとも1つのルックバックフレームの中心傾向スライディングウィンドウを選択する工程と、
    前記シーン内の前記少なくとも1つのルマ順方向再構成関数の中心傾向に基づいて、中心傾向ルマ順方向再構成関数を決定する工程と、
    を包含する、方法
  18. 前記決定された統計値は、前記統計スライディングウィンドウ内の最大値の最大レベル、前記統計スライディングウィンドウ内の最小値の最小レベル、および前記統計スライディングウィンドウ内の平均値の平均レベルを含む、請求項17に記載の方法。
  19. 前記少なくとも1つのルマ伝達関数は、所与の傾き、所与のオフセットおよび所与パワーに基づいて、さらに構築される、請求項17に記載の方法。
  20. 前記中心傾向ルマ再構成関数は、前記中心傾向スライディングウィンドウの前記現在のフレームおよび前記少なくとも1つのルックバックフレームについてルマ順方向再構成関数にわたって平均を計算することによって決定される、請求項17〜19のいずれかに記
    載の方法。
  21. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つについての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイ
    ナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
    前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項17から20に記載の方法。
  22. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項21に記載の方法。
  23. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームのEDR上限についての統計値を解析する工程と、
    前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記少なくとも1つのクロマコンテンツ依存多項式および前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項17から22のいずれかに記載の方法。
  24. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
    前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項23に記載の方法。
  25. 前記統計スライディングウィンドウ内の前記現在のフレームおよび前記少なくとも1つのルックバックフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
    前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記それぞれのSDR上限に基づいた前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項17から24のいずれかに記載の方法。
  26. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項25に記載の方法。
  27. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)重みおよびEDR上限のうちの少なくとも1つの統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記拡張ダイナミックレンジ(EDR)重みおよび前記EDR上限のうちの前記少なくとも1つをそれぞれのスタンダードダイナミックレンジ(SDR)重みおよびSDR上限にマッピングする工程と、
    前記それぞれのSDR重みおよびSDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項17から20のいずれかに記載の方法。
  28. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限およびSDR重みに基づいて、前記順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項27に記載の方法。
  29. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームのEDR上限についての統計値を解析する工程と、
    前記EDR上限の中心傾向および前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をSDR上限にマッピングする工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記SDR上限に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項17から20のいずれかに記載の方法。
  30. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限および所定の順方向係数LUTに基づいて、前記順方向再構成関数を決定する工程と、
    前記SDR上限および所定の逆方向係数LUTに基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項29に記載の方法。
  31. 前記統計スライディングウィンドウ内の前記現在のフレーム、前記少なくとも1つのルックバックフレームおよび前記少なくとも1つのルックアヘッドフレームの拡張ダイナミックレンジ(EDR)上限についての統計値を解析する工程と、
    前記中心傾向ルマ順方向再構成関数に基づいて、前記EDR上限をそれぞれのスタンダードダイナミックレンジ(SDR)上限にマッピングする工程と、
    前記SDR上限に基づいて、少なくとも1つのクロマコンテンツ依存多項式を決定する工程と、
    前記統計スライディングウィンドウの前記少なくとも1つのクロマコンテンツ依存多項式に基づいて、中心傾向クロマ順方向再構成多項式を決定する工程と、
    前記中心傾向クロマ順方向再構成多項式に基づいて、1組のクロマ多変量・重回帰係数を生成する工程と、
    をさらに包含する請求項17から20のいずれかに記載の方法。
  32. 前記1組のクロマ多変量・重回帰係数を生成する工程は、
    リファレンス順方向再構成多項式が前記SDR上限を超えることがなければ、
    前記リファレンス順方向再構成多項式を利用して、順方向再構成関数を決定する工程と、
    逆方向再構成のために、前記順方向再構成関数に対応する1組のデフォルトのMMR係数を決定する工程と、
    を包含し、
    前記リファレンス順方向再構成多項式が前記SDR上限を超えることがあれば、
    前記SDR上限に基づいて、順方向再構成関数を決定する工程と、
    中心傾向クロマ再構成関数を得る工程と、
    前記中心傾向クロマ再構成関数に基づいて、順方向再構成LUTを決定する工程と、
    前記順方向再構成LUTから逆スケールファクタを決定する工程と、
    前記逆スケールファクタに基づいて、逆多項式を決定する工程と、
    前記逆多項式の係数に固定の変換行列を乗算する工程と、
    逆方向再構成のために、前記乗算に基づいて、前記MMR係数を決定する工程と、
    を包含する、
    請求項31に記載の方法。
JP2019511885A 2016-08-30 2017-08-28 シングルレイヤー後方互換性コーデックのリアルタイム再構成 Active JP6771656B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662381233P 2016-08-30 2016-08-30
EP16186392 2016-08-30
EP16186392.3 2016-08-30
US62/381,233 2016-08-30
PCT/US2017/048925 WO2018044803A1 (en) 2016-08-30 2017-08-28 Real-time reshaping of single-layer backwards-compatible codec

Publications (2)

Publication Number Publication Date
JP2019530309A JP2019530309A (ja) 2019-10-17
JP6771656B2 true JP6771656B2 (ja) 2020-10-21

Family

ID=59791206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019511885A Active JP6771656B2 (ja) 2016-08-30 2017-08-28 シングルレイヤー後方互換性コーデックのリアルタイム再構成

Country Status (5)

Country Link
US (1) US10701404B2 (ja)
EP (1) EP3507981B1 (ja)
JP (1) JP6771656B2 (ja)
CN (1) CN109792523B (ja)
ES (1) ES2967322T3 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169174A1 (en) * 2018-02-28 2019-09-06 Dolby Laboratories Licensing Corporation Linear encoder for image/video processing
EP3857505B1 (en) * 2018-09-24 2022-08-03 Dolby Laboratories Licensing Corporation Image denoising in sdr to hdr image conversion
US11277646B2 (en) * 2018-10-03 2022-03-15 Dolby Laboratories Licensing Corporation Reducing banding artifacts in backward-compatible HDR imaging
CN114270851A (zh) * 2019-06-24 2022-04-01 Lg电子株式会社 基于亮度映射的视频或图像编码
CN114747224B (zh) 2019-11-27 2023-12-01 杜比实验室特许公司 一种用于生成整形函数的方法、装置以及存储介质
KR20210142398A (ko) * 2020-05-18 2021-11-25 에스케이하이닉스 주식회사 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
US20240037720A1 (en) * 2021-02-15 2024-02-01 Sony Interactive Entertainment Inc. Learning apparatus, moving image generating apparatus, method of generating learned model, moving image generating method, and program
WO2022245695A1 (en) 2021-05-21 2022-11-24 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
US20230300470A1 (en) * 2022-02-03 2023-09-21 Facebook Technologies, Llc Techniques for producing glints and iris illumination for eye tracking

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0184313B1 (ko) * 1993-04-09 1999-05-01 모리시타 요이찌 디지털영상신호를 스크램블 및 디스크램블해서 전송하는 스크램블전송장치
US5984512A (en) * 1994-07-29 1999-11-16 Discovision Associates Method for storing video information
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US7016550B2 (en) * 2002-04-19 2006-03-21 Lockheed Martin Corporation Scene-based non-uniformity offset correction for staring arrays
US7251275B2 (en) * 2002-06-25 2007-07-31 General Instrument Corporation Methods and apparatus for statistical multiplexing during dual pass encoding
JP2004032551A (ja) * 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
US6778183B1 (en) * 2002-07-10 2004-08-17 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
KR101521041B1 (ko) * 2006-05-25 2015-05-15 톰슨 라이센싱 가중 인코딩을 위한 방법 및 시스템
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
EP2093699A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
JP5726914B2 (ja) * 2010-02-19 2015-06-03 トムソン ライセンシングThomson Licensing 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間
CN107105229B9 (zh) 2011-04-14 2020-03-31 杜比实验室特许公司 图像解码方法、视频解码器和非暂态计算机可读存储介质
US9584811B2 (en) * 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
WO2015128295A1 (en) * 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images
US9613407B2 (en) 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US10007967B2 (en) * 2015-06-12 2018-06-26 Gopro, Inc. Temporal and spatial video noise reduction
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
EP3433833B1 (en) 2016-03-23 2021-07-07 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
JP6846442B2 (ja) * 2016-05-19 2021-03-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのクロマ再構成
CN109155853B (zh) 2016-05-19 2023-03-28 杜比实验室特许公司 用于高动态范围图像的色度整形

Also Published As

Publication number Publication date
US10701404B2 (en) 2020-06-30
EP3507981B1 (en) 2023-11-29
ES2967322T3 (es) 2024-04-29
CN109792523B (zh) 2022-11-04
CN109792523A (zh) 2019-05-21
JP2019530309A (ja) 2019-10-17
EP3507981A1 (en) 2019-07-10
US20190222866A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
JP6771656B2 (ja) シングルレイヤー後方互換性コーデックのリアルタイム再構成
US10397576B2 (en) Reshaping curve optimization in HDR coding
EP3433833B1 (en) Encoding and decoding reversible production-quality single-layer video signals
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
US10575028B2 (en) Coding of high dynamic range video using segment-based reshaping
CN109155853B (zh) 用于高动态范围图像的色度整形
JP6684971B2 (ja) ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成
JP7049526B2 (ja) 適応的なsdrからhdrへの再構成関数による、hdr画像化におけるバンディングアーチファクトの低減
JP7094451B2 (ja) 再構成関数の補間
WO2018044803A1 (en) Real-time reshaping of single-layer backwards-compatible codec
CN110770787B (zh) 高效端到端单层逆向显示管理编码
WO2018049335A1 (en) Coding of high dynamic range video using segment-based reshaping
US20230039038A1 (en) Rate-control-aware reshaping in hdr imaging
CN115699734A (zh) 具有连续性约束和可逆性约束的hdr成像整形函数
Lauga et al. Region-based tone mapping for efficient High Dynamic Range video coding
WO2018136432A1 (en) Segment-based reshaping for coding high dynamic range video
US20220295020A1 (en) Electro-optical transfer function conversion and signal legalization

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20190426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200929

R150 Certificate of patent or registration of utility model

Ref document number: 6771656

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250