JP6019157B2 - 画像のダイナミックレンジの拡大 - Google Patents

画像のダイナミックレンジの拡大 Download PDF

Info

Publication number
JP6019157B2
JP6019157B2 JP2015063942A JP2015063942A JP6019157B2 JP 6019157 B2 JP6019157 B2 JP 6019157B2 JP 2015063942 A JP2015063942 A JP 2015063942A JP 2015063942 A JP2015063942 A JP 2015063942A JP 6019157 B2 JP6019157 B2 JP 6019157B2
Authority
JP
Japan
Prior art keywords
sdr
content
mapping
vdr
version
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015063942A
Other languages
English (en)
Other versions
JP2015111959A (ja
Inventor
ギッシュ,ウォルター
リ,ゼン
ピアン,ドナルド
ヴォート,クリストファー
キム,ヒュング−スック
ルホッフ,デイヴィッド
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2015111959A publication Critical patent/JP2015111959A/ja
Application granted granted Critical
Publication of JP6019157B2 publication Critical patent/JP6019157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像に関するものである。より詳細には、本発明の実施の形態は、画像及び映像のダイナミックレンジを拡大することに関する。
本出願は、2010年8月25日に提出された米国特許仮出願第61/376,907号、及び2011年4月12日に提出された米国特許仮出願第61/474,644号に対する優先権を主張するものであり、両者は、あらゆる目的についてその完全な形で本明細書に盛り込まれる。
本明細書で使用されたとき、用語「ダイナミックレンジ(DR)」は、例えば最も暗い暗さから最も明るい明るさまでといった、画像における強度(例えば輝度、ルマ)の範囲を知覚する人間の心理視覚システム(HVS: Human Psychovisual System)の機能に関する。この意味で、DRは、“scene−referred”な強度に関連する。また、DRは、特定の幅の強度範囲を適切に又は近似的にレンダリングする表示装置の機能に関する。この意味で、DRは、“display−referred”な強度に関連する。本明細書の記載における何れかの位置で特定の意味を有するように特定の意味が明示的に指定されない場合、この用語は例えば相互交換可能に何れかの意味で使用される場合があることが推定される。
本明細書で使用されたとき、用語「ハイダイナミックレンジ(HDR)」は、HVSの14〜15のオーダの大きさに及ぶDRの幅(breadth)に関する。例えば、(例えば統計学的、生体測定又は眼科学的な意味の1以上において)本質的な正常さをもつ良好に適合された人間は、約15のオーダの大きさに及ぶ強度範囲を有する。適合された人間は、数えるぐらいに少ない光子の暗い光源を知覚する場合がある。さらに、これら同じ人間は、砂漠、海又は雪における非常に光り輝く真昼の太陽を知覚する(又はダメージを防止するためにちらりと太陽を見る)場合がある。このスパンは、にもかかわらず、例えばそのHVSがリセット及び調節する期間を有する「適合された」人間にとって利用可能である。
対照的に、強度の範囲において広範囲に及ぶ幅を人間が同時に知覚するDRは、HDRに関連して幾分切り詰められる。本明細書で使用されたとき、用語「ビジュアルダイナミックレンジ」又は「可変ダイナミックレンジ(VDR)」は、VSにより同時に知覚可能なDRに個別に又は交換可能に関連する。本明細書で使用されるとき、VDRは、5〜6のオーダの大きさに及ぶDRに関する。従って、scene−referredなHDRに関連して恐らく幾分狭いが、VDRは、それにも係わらず広いDRの幅を表す。本明細書で使用されたとき、用語「同時のダイナミックレンジ」は、VDRに関連する。
かなり最近まで、ディスプレイは、HDR又はVDRよりも著しく狭いDRを有している。典型的に陰極線管(CRT)、及び不変の蛍光灯の白色バックライト又はプラズマスクリーン技術を液晶ディスプレイ(LCD)を使用するテレビジョン(TV)及びコンピュータモニタ装置は、それらのDRレンダリング機能において近似的に3のオーダの大きさに制約される。係る従来のディスプレイは、VDR及びHDRに関して、「ロウダイナミックレンジ」又は「LDR」と呼ばれることがある、標準的なダイナミックレンジ(SDR)を具現する。本明細書で使用されるとき、用語「スタンダードダイナミックレンジ」及び「ロウダイナミックレンジ」及び/又はそれら対応する略記「SDR」及び「LDR」は、同意語及び/又は交換可能に使用される。
それらの基礎となる技術における利点は、より現代的なディスプレイが現代的でないディスプレイでレンダリングされるときと、同じコンテンツを通して様々な品質の特性における大幅な改善により画像及び映像コンテンツをレンダリングすることを可能にする。例えば、より現代的なディスプレイ装置は、高精度(HD)コンテンツ及び/又はイメージスケーラのような様々な表示機能に従ってスケーリングされるコンテンツをレンダリング可能である。さらに、幾つかの現代的なディスプレイは、従来又は標準的なディスプレイのSDRよりも高いDRをもつコンテンツをレンダリング可能である。
例えば、幾つかの現代的なLCDディスプレイは、発光ダイオード(LED)アレイを有するバックライトユニット(BLU)を有する。BLUのLEDは、能動LEDエレメントの分極状態の変調から個別に変調される。この二重の変調アプローチは、BLUアレイとLCDスクリーンエレメントとの間の制御可能な介在層によるような、(たとえなNを2を超える整数としてN変調層に)拡大可能である。それらのLEDアレイに基づくBLU及び二重(又はN重)変調は、係る特徴を有するLCDモニタのdisplay−referred DRを効果的に増加する。
従来のSDRディスプレイに関して、しばしば呼ばれる係る「HDRディスプレイ」及びそれらが可能なDR拡大は、画像、映像コンテンツ及び他の視覚情報を表示する能力において大幅な進歩を表す。係るHDRディスプレイがレンダリングするカラーギャマットは、ワイドカラーギャマット(WCG)をレンダリング可能なポイントにまで、より従来のディスプレイのカラーギャマットを大幅に超える場合がある。「次世代」映画及びTVカメラにより生成されるような、シーンに関連するHDR又はVDR及びWCG画像コンテンツは、(以下、「HDRディスプレイ」と呼ばれる)「HDR」ディスプレイで正確且つ効果的に表示される。本明細書で使用されたとき、第一のカラーギャマットが第二のカラーギャマット「よりも大きい」旨の提示は、第二のカラーギャマットよりも広く、深く又は大きなビット深度を有する第一のカラーギャマットに関する。本明細書で使用されるとき、第二のカラーギャマットが第一のカラーギャマット「よりも小さい」旨の提示は、第一のカラーギャマットよりも狭く、浅く、低く又は少ないビット深度を有する第二のカラーギャマットに関する。
SVC及びHDTV技術のように、画像のDRを拡大することは、分岐したアプローチを典型的に含む。例えば、現代的なHDR対応カメラで捕捉されたscene−referredなHDRコンテンツは、従来のSDTディスプレイで表示されるコンテンツSDRバージョンを生成するために使用される。捕捉されたHDRバージョンからSDRバージョンを生成することは、グローバルトーンマッピング演算子(TMO)をHDRコンテンツにおける(例えば輝度、ルマといった)強度に関連した画素値に適用することを含む。帯域幅を節約するため又は他の考慮のため、実際に捕捉されたHDRコンテンツの送信は、最良のアプローチではない場合がある。
従って、オリジナルTMOに関して逆転された、グローバル逆トーンマッピング演算子(iTMO)は、生成されたSDRコンテンツに適用され、HDRコンテンツのバージョンが予測されるのを可能にする。予測されたHDRコンテンツバージョンは、オリジナルで捕捉されたHDRコンテンツに比較される。例えば、オリジナルHDRバージョンから予測されたHDRバージョンを引くことで、残差画像が生成される。エンコーダは、ベースレイヤ(BL)として生成されたSDRコンテンツを送出し、エンハンスメントレイヤ(EL)として生成されたSDRコンテンツバージョン、残差画像、及び他の予測子をパッケージングする。
ELを、そのSDRコンテンツ、残差及び予測子と共にビットストリームで送出することは、典型的に、ビットストリームでダイレクトにHDRコンテンツの送出において消費されるよりも少ない帯域幅を消費する。エンコーダにより送出されたビットストリームを受信する互換性のあるデコーダは、従来のディスプレイでSDRをデコード及びレンダリングする。しかし、互換性のあるデコーダは、残差画像及びiTMO予測子を使用して、より有能なディスプレイでHDRコンテンツの予測されたバージョンを計算する。それは、帯域幅の節約であり、2層のBL/ELアプローチを、(HDTV及びSDCと同様に)HDRからSDRへの変換、及びSDRからHDRへの変換を行うコーデックにおいて少なくとも部分的にユビキタスにする。
このセクションで記載されたアプローチは、追及されたアプローチであるが、必ずしも前に思いついた又は追及されたアプローチではない。従って、他に指定がない限り、このセクションで記載されたアプローチの何れかはこのセクションにおける包含の理由で単に従来技術として適格であると見なされるべきではない。同様に、1以上にアプローチに関して識別された問題は、特に指定がない限り、このセクションに基づいて従来技術において認識されているように見なされるべきではない。
本明細書では画像のダイナミックレンジを拡大することが記載される。以下の記載では、説明のために、本発明の完全な理解を提供するため、様々な特定の詳細が説明される。これらの特定の詳細なしに本発明が実施される場合があることは明らかである。他の例では、公知の構造及び装置は、本発明を不要に閉塞するか、不明瞭にするか又は曖昧にすることを回避するため、詳細に記載されない。
本明細書で記載される例示的な実施の形態は、画像のダイナミックレンジを拡大することに関する。実施の形態は、第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットをもつ第二の色空間で表現されるビデオ信号に変換する。第二の色空間は、第二のダイナミックレンジと関連される。変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分は、第二のダイナミックレンジを通してマッピングされる。
本発明の実施の形態は、参照符号が類似のエレメントを示す添付図面において、限定されることなしに例示される。
本発明の実施の形態に係る例示的なプロセスのフローチャートを示す。 本発明の実施の形態に係るSDRコンテンツバージョンとVDRコンテンツバージ ョンとの間の例示的なマッピングを示す図である。 本発明の実施の形態に係る例示的なVDRアーキテクチャを示す図である。 本発明の実施の形態に係る例示的なVDRアーキテクチャを示す図である。 本発明の実施の形態に係る例示的なSDRフィルタリング及びマッピングフローを示す図である。 本発明の実施の形態に係る例示的な計算されたパラメータ化された多項式 曲線を示す図である。 本発明の実施の形態に係る例示的な可逆的なマッピングを示す図である。 本発明の実施の形態に係る例示的なプロセスのフローチャートである。 本発明の実施の形態に係る例示的な正規化プロセスを示す図である。 本発明の実施の形態に係る正規化の例を示す図である。 本発明の実施の形態に係る正規化の例を示す図である。 本発明の実施の形態に係る例示的なコーデックを示す図である。 本発明の実施の形態に係る例示的なコーデックを示す図である。 本発明の実施の形態に係る例示的なシグナルフローを示す図である。 本発明の実施の形態に係る例示的なシグナルフローを示す図である。 本発明の実施の形態に係るマッチングされたエンコーダ/デコーダのペア を示す図である。 本発明の実施の形態に係る例示的な拡大を示す図である。 本発明の実施の形態に係る例示的なQP制御を示す図である。 本発明の実施の形態に係る例示的な画像データパケットを示す図である。 本発明の実施の形態に係る例示的な復号化されたシグナルアプリケーショ ンを示す図である。 本発明の実施の形態に係る例示的なカラーギャマットを示す図である。 本発明の実施の形態が実施される例示的なコンピュータシステムプラット フォームを示す図である。 本発明の実施の形態が実施される例示的な装置を示す図である。
[例示的なプロセス]
本実施の形態は、画像のダイナミックレンジを拡大するプロセスに関する。図1は、本発明の実施の形態に係る、例示的なプロセス100のフローチャートである。実施の形態は、第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットをもつ第二の色空間で表現されるビデオ信号に変換する(101)。第二の色空間は、第二のダイナミックレンジと関連される。変換されたビデオ信号の少なくとも2色に関連する成分は、第二のダイナミックレンジを通してマッピングされる(102)。
第二のダイナミックレンジは、第一のダイナミックレンジよりも広い(例えば幅が広い範囲、又は深い範囲に及ぶ)。ビデオ信号に関して、イントラフレームに基づいて、第二のダイナミックレンジは、通常の人間の視覚系(HVS)により同時に知覚可能な色及び/又は強度の範囲に及ぶか又は近似する。この意味で本明細書で使用されたとき、用語「通常“normal”」は、統計的、精神測定的、生体測定的又は眼科学的な意味、診断、評価、結論又は推論のうちの1以上に関連する。
第一のダイナミックレンジは、1以上の標準的(又は「ロウ“low”」)なダイナミックレンジ(SDR又は「LDR」)のモニタ又はディスプレイ、陰極線管(CRT)モニタ又はディスプレイ、又は例えば非変調固体白色BLUをもつ従来のLCDでレンダリング可能な色及び/又は強度の範囲に及ぶか又は近似する。(第二の色空間の)第二のカラーギャマットは、(第一の色空間の)第一のカラーギャマットよりも大きい。
変換及びマッピングに基づいて、1以上の入力ビデオ信号、入力ビデオ信号で表現されるか、送信されるか、記憶されるか又はレンダリングされるか画像又は複数の画像フレーム、又は第一のダイナミックレンジは、1以上の変換されたビデオ信号、第二のダイナミックレンジで表現されたか、送信されたか、記憶されたか又はレンダリングされた変換された画像又は複数の変換された画像フレームに変換される(103)。
第一の色空間及び/又は第二の色空間は、「赤/緑/青」(RGB)色空間を有する。RGB色空間は、3色に関連する成分を有する。色に関連する成分は、赤の成分、緑の成分及び青の成分を有する。マッピングステップは、変換されたビデオ信号の3色に関連する成分を第二のダイナミックレンジを通してマッピングすることを含む。第一の色空間は、ITU(International Telecommunication Union)のBT.709勧告の規格に関連するRGB色空間に実質的に準拠する。第二の色空間は、AMPAS(Academy of Motion Picture Arts and Sciences)のACES(Academy Color Encoding Specification)規格、DCI(Digital Cinema Initiative)の(例えばSMPTE(Society of Motion Picture and Television Engineers)リファレンス:Rp431−2−2007;Eg432−1−2007といった)P3色空間規格、又はRIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric)規格に関連するRGB色空間の少なくとも1つに実質的に準拠する。
マッピングステップは、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング処理を施すことを含む。マッピングステップは、変換されたビデオ信号の3色に関連する成分にグローバルTMOを施すことを含む。
実施の形態は、変換された入力ビデオ信号の少なくとも2色(例えば3色)に関連する成分のそれぞれと関連する飽和レベル104を維持する。飽和レベルの維持は、第二のダイナミックレンジを通して入力ビデオ信号に関連する強度値をマッピングすることを含む。強度値は、変換されたビデオ信号のルマ又は輝度に関連した特性を含む。
強度値は、第一のゲイン設定に従ってスケーリングされる。第一のゲイン設定は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、色度又はクロマに関連する特性に関連する値に関して、10%と20%の間の値を有する。実施の形態では、第一のゲイン設定の値は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、クロマ又は色度の特性に関連する値に関して、15%に等しいか又は近似する。
実施の形態では、マッピングステップは、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆である。マッピングは、第一のダイナミックレンジをもつビデオ信号でシーンが符号化される第一の画像を、第二のダイナミックレンジでシーンがレンダリング及び表示可能である第二の画像で正規化することを含む。マッピングステップは、無損失に可逆である。変換ステップ及び/又はマッピングステップは、3×3アレイのような1以上の複数のマトリクスを連結するか、TMO(相補的又は補助的であるiTMOで無損失に可逆であるか、類似のやり方でTMOに対応する)のような複数の可逆的な非線形マッピングを連結することを含む。付加的又は代替的な実施の形態では、変換ステップ及び/又はマッピングステップは、非線形マッピングと同様に、又は非線形マッピングの代わりに、線形マッピングを連結することを含む。
変換されたビデオ信号は、高精度のVDRバージョンのコンテンツを含む。入力ビデオ信号は、低精度のSDRバージョンのコンテンツを含む。マッピングステップは、高精度のSDRバージョンのコンテンツを推定することを含む。推定するステップは、高精度のSDRバージョンのコンテンツの反復的な一連の推定を生成することを含む。生成するステップは、高精度のSDRバージョンのコンテンツ及び/又はマッピングを反復的に更新することを含む。マッピングは、高精度のVDRバージョンのコンテンツと低精度のVDRバージョンのコンテンツ又は高精度のSDRバージョンのコンテンツとの間のレイヤ間のマッピングを含む。
高精度のVDRコンテンツ及び/又は高精度のSDRコンテンツのバージョンは、第一のビットの精度の範囲を含む。第一のビットの精度の範囲は、少なくとも12ビット、12ビットと14ビットを含めて12ビットと14ビットとの間、又は14ビット以上のビット範囲を含む。低精度のSDRコンテンツのバージョンは、第二のビット精度の範囲を含む。第二のビット精度の範囲は、10ビット、10ビット未満、又は第一のビットの精度未満であるビット精度のビットの範囲を含む。
マッピングステップは、ブラインド計算及び/又はインフォームド計算で先行される。ブラインド計算は、SDRコンテンツバージョンをフィルタリングすることを含む。SDRコンテンツバージョンのフィルタリングは、ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む。実施の形態は、SDRコンテンツバージョンに双方向フィルタを使用する。インフォームド計算は、高精度のSDRコンテンツのバージョンの推定を含む。高精度のSDRのコンテンツのバージョンを推定することは、繰返し計算を含む。繰返し計算は、高精度SDR及びマッピングを繰返し更新することを含み、マッピングは、レイヤ間のマッピングを含む。
本発明の実施の形態は、ベースレイヤ/エンハンスメントレイヤのアプローチの両者を除き、画像のダイナミックレンジの拡大における(画素の輝度又はルマのような)画像の強度値に基づくグローバルトーンマッピング演算子又は他の予測子の使用を除く。プロセス100は、SDRコンテンツのバージョンのVDRバージョンへのマッピングを含む。
[例示的なSDR−VDRマッピング]
図2は、本発明の実施の形態に係る、SDRコンテンツバージョンとVDRコンテンツバージョンとの間の例示的なマッピング200を示す。SDRコンテンツバージョンを含むビデオ信号は、コンバータ201に入力される。コンバータ201は、異なる色空間の間で入力のSDRコンテンツバージョンを変換する。例えば、入力色空間及び変換色空間は、RGB色空間を共に有しており、RGB色空間は、3色に関連する成分である赤成分、緑成分及び青成分を有する。入力色空間は、ITU BT.709と関連するRGB色空間に実質的に準拠する。変換色空間は、AMPAS‘ACES’色空間規格、DCI‘P3’色空間規格、又はRIMM/ROMM色空間規格に関連する少なくともRGB色空間に実質的に準拠する。
実施の形態では、SDR−VDRマッピングは、色関連成分のそれぞれに施される。従って、赤成分202、緑成分203及び青成分204は、VDRコンテンツバージョンにマッピングされる。
実施の形態は、変換された入力ビデオ信号の色に関連する成分と関連する飽和レベルを維持する。飽和レベルの維持は、入力ビデオ信号に関連する強度値を第二のダイナミックレンジにマッピングすることを含む(205)。強度値は、変換されたビデオ信号のルマ又は輝度に関連する特性を有する。強度値は、第一のゲイン設定208‘α’に従ってスケーリングされる。
第一のゲイン設定208は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、色度又はクロマに関連する特性に関連する値に関して10%と20%との間の値を有する。実施の形態では、第一のゲイン設定208の値は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、クロマ又は色度の特性に関連する値に関して、15%に等しいか又は近似する。ゲイン設定208は、変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分の色、色度又はクロマに関連する特性に関連する値に関して別の値(例えば1%から100%に及ぶ)を有する場合がある。
赤成分のマッピング202、緑成分のマッピング203及び青成分のマッピング204は、(1−α)のゲイン設定に従ってスケーリングされる。スケーリングされた色成分のマッピング及びスケーリングされた飽和維持の強度値は合計され(209)、高精度の色空間情報(例えばACES及び/又はP3)をもつVDRコンテンツバージョンを生成する。
[例示的なアーキテクチャ]
図3A及び図3Bは、本発明の実施の形態に係る、例示的なVDRアーキテクチャ300を示す。VDRアーキテクチャ300は、エンコーダ310及びデコーダ320を含む。エンコーダ310は、SDRフィルタリング及びマッピング分析311及びエンコーダモジュール312を含む。SDRフィルタリング及びマッピング分析311は、(例えばACES及び/又はP3といった)広いカラーギャマットの色空間情報と、例えば10ビット以下のビット深度をもつSDRコンテンツを含む入力を受信する。SDRコンテンツは、比較的小さいギャマットの色空間情報(例えばITU BT.709)を有する。SDRフィルタリング及びマッピング分析311は、中間出力をエンコーダモジュール312に供給する。
中間出力は、標準的な(「ロウ」)DR(SDR又は「LDR」)、拡大されたDR(VDR)、及び高精度(例えば14ビットのビット深度)のバージョンのSDRコンテンツの間のマッピングを含む。SDRフィルタリング及びマッピング分析311の中間出力から、エンコーダモジュール312は、エクスポートの出力を生成し、この出力は、(例えばMPEG−4/H.264/AVCと実質的に互換性がある)互換性のあるAVC(Advanced Video Codec)ビットストリーム、SDRフィルタリング及びマッピング分析311及びエンコーダモジュール312を通して実行されたマッピング及び/又は変更に関連するメタデータを含む。
デコーダ320は、デコーダモジュール321及びマッピング及び変換モジュール322を含む。デコーダモジュール321は、互換性があるAVCビットストリームと、(例えばエンコーダ310である)SDR−VDRエンコーダでAVCコンパチブルビットストリームのコンテンツに施されたマッピング及び/又は変更に関連するメタデータを含む入力を受信する。デコーダモジュール321は、AVCコンパチブルビットストリームコンテンツをデコードし、メタデータ入力と共に、マッピング及び変換モジュール322に中間出力を供給する。
中間出力は、SDRコンテンツとVDRコンテンツとの間のマッピング、及びSDRコンテンツの高精度(例えば14ビットのビット深度)バージョンを含む。マッピング及び変換モジュール322は、中間出力を処理し、‘LogLuv’(LogLu’v’のような)付加的又は代替的な色空間、又はVDR又はHDRコンテンツに関連される他の高精度色空間において高精度の色空間情報を有するVDRコンテンツバージョンを生成する。
[例示的なフィルタリング及びマッピングフロー]
階層化されたBL/ELアーキテクチャは、有意な関連するビットコストを有する、本質的に絶対の忠実度で、SDRコンテンツ及びVDRコンテンツの両者を符号化することを典型的に狙いとしている。対照的に、本発明の実施の形態は、ある意味で絶対的な忠実度を効果的になしで済ませる。しかし、実施の形態は、最新式且つ即座に予測できるVDR/HDR対応ディスプレイで知覚的に適切な忠実度を達成する。例えばある画像又は映像における(例えば仮説に基づいた)光特性が1平方メートル当たり1200カンデラ(Cd/m2又はnits)の絶対強度(例えば明るさ、輝度、ルマ、明度)を有する場合、実施の形態は、1100nitsでVDR/HDRディスプレイの光特性をレンダリングする。通常のビューアにとって、光特性は、非常に明るい光として見え。ディスプレイのHDR機能の影響が維持される。このように、実施の形態は、高精度のSDR画像への所定の変更の程度の許容範囲の釣り合いを取り、2つの間のグローバルマッピングを効果的に達成する、例えば逆マッピングからのVDRにおけるある種の欠陥を可能にする。
図4は、本発明の実施の形態に係る、例示的なSDRフィルタリング及びマッピングフロー400を示す。フィルタ情報モジュール401は、VDR入力を受信し、このVDR入力は、ワイドギャマット(例えばACES,P3)の色空間において(例えばSDRに関連するカラーギャマットに関して)比較的高い精度のRGB情報で符号化される。フィルタ情報モジュール401は、そのVDR/高精度のRGB入力で施されたフィルタリングプロセスに関する情報を除き、高精度のVDR’/RGB情報を逆マッピングモジュール405に供給する。
線形色空間変換モジュール402は、SDR入力(例えば10ビット)を受信し、このSDR入力は、標準ギャマット(例えばITU BT.709)色空間で表現される(例えばVDRに関連するカラーギャマットに関して)比較的低い精度のRGB情報で符号化される。線形色空間変換モジュール402は、SDRを処理し、標準ギャマットの色成分を、ACES又はP3色空間のような比較的ワイドなギャマットのRGB色空間に変換する。線形色空間変換モジュール402の出力は、情報加算モジュール403への入力を提供する。
情報加算モジュール403は、そのSDR入力を処理し、(例えばトーンに関連する)更なる情報を加算し、ワイドギャマットのRGB色空間において高精度(例えば14ビット)のSDR’を出力する。
逆マッピングモジュール405は、フィルタ情報モジュール401及び情報加算モジュール403からの入力を処理し、SDRコンテンツバージョンからVDRコンテンツバージョンへのマッピングを生成する。逆マッピングモジュール405は、生成されたSDR−VDRマッピングを出力する。ワイドギャマットRGB色空間における高精度(例えば14ビット)のSDR’は、線形色空間変換モジュール404に供給される。線形色空間変換モジュール404は、情報加算モジュール403の高精度のSDR’/ワイドギャマットRGB色空間出力を、(例えばITU BT.709といった)標準カラーギャマットをもつ高精度SDR’に変換する。変換の実行に応じて、線形色空間変換モジュール404は、AVCコンパチブルビットストリームの成分として、(例えばITU BT.709といった)標準カラーギャマットをもつ高精度SDR’を出力する。復号化されたとき、逆マッピングモジュール405で生成された出力SDR−VDRマッピングは、SDRコンテンツバージョンからVDRコンテンツバージョンへの変換をマッピングし、これにより何れか(又は両者)のコンテンツバージョンが表示されるのを可能にする。逆マッピングモジュール405で生成されたマッピングは、可逆的である。
図5Bは、本発明の実施の形態に係る、例示的な可逆的なマッピングを示す。可逆的なマッピングは、可逆的なマッピングモジュール405で生成されたマッピングを表す。VDRコンテンツバージョン511は、高精度のSDR’のコンテンツバージョン522にマッピングする。マッピングは、TMO515を有する。逆マッピング演算525により、高精度のSDR’のコンテンツバージョン522は、VDRコンテンツバージョン511にマッピングする。逆マッピングは、iTMO525を有し、このiTMOは、TMO515と相補的、補足的であるか、又はさもなければ逆転された対応関係である。高精度のSDR’522は、(例えば8ビットの)低精度のSDR535にフィルタリング(例えば生成)される。
従って、実施の形態は、高精度のSDRのコンテンツバージョンで機能するが、これらのコンテンツバージョンは、入力SDRの「単なる」高精度バージョンを超える。代わりに、高精度のSDRのコンテンツバージョンは、低精度度で復号化されたときに、入力の低精度度のSDRと同様のやり方で見られるか又は知覚される。さらに、実施の形態は、フィルタ情報モジュール401への入力VDR以外を含むVDRコンテンツバージョンを符号化する。代わりに、実施の形態は、フィルタ情報モジュール401に入力されるVDRの「概観“look”」を同時に保持するが、高精度SDR’との厳密に可逆の関係を維持するVDRコンテンツを符号化する。従って、この意味で、フィルタ情報モジュール401で生成されたVDR’は、モジュール401へのVDRコンテンツの入力を少なくとも厳密に近似する。情報加算モジュール403で生成された高精度のSDR’は、ある意味で、線形色空間変換器401に入力されるSDRコンテンツよりも高い品質のSDRのコンテンツバージョンである。これは、高精度のSDR’のコンテンツは、ある意味で、入力の10ビットSDRの最初の作成の間に不要に除去された情報を含むためである。
従って、実施の形態は、非線形マッピングによりダイナミックレンジを低減し、フィルムを本質的にエミュレートし、個々のR,G及びB成分(又は例えば3つの色成分のうちの2つ)をマッピングする。マッピングによって飽和及び/又は色相回転となる場合、実施の形態は、マッピングをスケーリングするか、及び/又は(例えば約15%のファクタにより)強度に関連する飽和を維持するマッピングをスケーリングする。この特徴は、AMPASのIIF(Image Interchange Framework)RRT(Reference Rendering Transform)で採用されるアプローチと一致する。従って、実施の形態は、フィルム、カメラの機能、人間の目の錐体及び/又はある程度一般的な色補正アプローチに類似した、物理的なDRの低減をエミュレートする。
実施の形態は、RGB色成分に対してパラメータ化された多項式曲線(例えばS曲線)のような非線形伝達関数を課す。図5Aは、本発明の実施の形態に係る、例示的な計算されたパラメータ化された多項式曲線500を示す。曲線500のボディは、垂直軸上の出力及び水平軸上の入力により、対数−対数プロット(例えば底10)において近似的に一定の傾きγをもつ実質的に直線である。曲線500の先端は、影又は暗い空間のような比較的低い値に対応する。曲線500の肩は、ライト及びハイライトのような比較的高い値に対応する。実施の形態は、強度に関連するスケーリングファクタのような飽和の補正を適用し、飽和、色相及び/又は色合いの1以上に関連するシフトする色空間がシフトするのを防止する。付加的又は代替的な実施の形態は、例えば非線形伝達関数の代わりに、線形伝達関数をRGB色成分に課す。
実施の形態におけるマッピングの複雑度に関する下限は、非線形の原色の補正の近似又は変換NLxと、マトリクスに基づく二次色補正の近似又は変換Mtxとの積により拘束される。実施の形態は、第一のマトリクスに基づく二次色の補正の近似又は変換Mtx、非線形の原色の補正の近似又は変換NLx、及び第二のマトリクスに基づく二次色の補正の近似又は変換Mtx’の積MNM=Mtx・NLx・Mtx’に対応するある程度一般的な‘MNM’マッピングを使用する。付加的な又は代替的な実施の形態では、マッピングの複雑度に関する下限は、例えば非線形の原色の補正の近似又は変換と同様に又は代わりに、線形の原色の補正の近似又は変換NLxと、マトリクスに基づく二次色の補正の近似又は変換NLxとの積により拘束される。
実施の形態は、同時に知覚可能なVDRの基本的な考えに一致する、順応レベルに正規化される知覚のメトリックに従って本質的に機能する。例えば、信号対雑音比(SNR)の知覚のメトリックは、ピーク信号対雑音比(PSNR)知覚のメトリックと共に又は代替的として使用される。実施の形態は、計算されたまさに知覚可能な差(JND: Just Noticeable
Difference)のような実際に(例えばかろうじて)目に見えるものと、知覚可能な又は意義のあるものとを区別する。明るい画像又はフレーム領域に現れるエラーは、暗い画像又はフレーム領域に現れるエラーよりも知覚可能であるように見える。実施の形態は、符号化の間に3つのメトリクスのうちの1以上又は全部を使用する。(例えば2×104といった)制限されたDRに関するPSNR、自己正規化(self−normalizing)SNR、及び/又はトーンマッピングSSIM(TM−SSIM)のようなSSIM(Structural SIMilarity Index)に基づく測定。
SSIMは、(2つの信号間の平均平方誤差をのみを測定する)PSNRアプローチとは対照的に、(1)強度の比較、(2)コントラストの比較及び(3)構造の比較という3つの個別のコンポーネントを含む。3つの個別の成分は、HDR/VDR信号における視覚的な差を良好に考慮する。さらに、SSIMを計算することは、PSNRアプローチよりもある程度複雑であるが、VDP(Visual Difference Predictor)又はJNDのようなHVSに基づくメトリクスを超える効率を達成する。
実施の形態は、ある態様において入力VDRとは異なるが、高精度/WCG SDRコンテンツをもつ可逆の関係を同時に維持するとき、入力VDRの「概観」を保持するVDR’コンテンツをエンコードする。従って、VDR’は、前の例の意味で、VDRに「近い」。さらに、SDR’は、ある意味で、少なくとも、入力の10ビットSDRの最初の作成の間に不必要に除去された情報を搬送するという意味で、「良好な」SDRのバージョンである。
図5Cは、本発明の実施の形態に係る、例示的なプロセス50のフローチャートを示す。プロセス50は、変更されたVDRコンテンツに関して正規化された高精度SDR’を合成する。ステップ51で、(例えばACES又はP3のような拡大された色空間におけるRGBといった)VDR及び(例えばその最初のBT−709色空間から変換された拡大された色空間におけるRGB)SDRが入力される。ステップ52で、VDR’は、VDRと同じと考えられ、SDR’は、SDRと同じと考えられる。ステップ53で、可逆マッピングM[]が推定される。ステップ54で、推定された可逆マッピングM[]が十分であるかが判定される。十分であると判定された場合、ステップ55で、(例えば拡大された色空間におけるRGBといった)VDR’、(例えば拡大された色空間における高精度のRGBといった)SDR’、及び推定された可逆のマッピングM[]が出力される。十分であると判定されない場合、ステップ56で、1以上の推定された可逆マッピングM[]、VDR’及び/又はSDR’が変更される。推定された可逆マッピングM[]、VDR’及び/又はSDR’の変更に応じて、プロセス50は、ステップ51に反復的に進み、繰り返す。
図6は、本発明の実施の形態に係る、例示的な正規化処理600を示す。正規化モジュール605は、10ビットの低精度SDRの入力及び12ビットのVDRの入力を受信する。正規化モジュール605は、12ビットのVDR’を出力し、この出力は、可逆のマッピングM[]により高精度の12+bitsのSDR’バージョンにマッピングされる。実施の形態では、正規化は、入力のVDRの前処理技術を有し、この前処理技術は、少なくとも2つの機能のうちの1以上を実行する。はじめに、正規化は、可逆的なマッピングを提供する。実施の形態では、可逆的なトーンマッピングは、S形状の多項式712及び722(例えば及び/又は図5の曲線500)のようなパラメータ化された多項式曲線に実質的に準拠する。実施の形態では、可逆のトーンマッピングは、複数のパラメータ化された多項式曲線のセットの1以上に準拠する。
図7Aは、本発明の実施の形態に従って、フォワードマッピングにおいて実行されるクリッピングがなされていないマッピングの反転の例を示す。トーンマッピング711は、VDR信号のハードクリッピングを提供するマッピング予測子M[]で示される。図7A(及び例えば図7B)では、水平方向軸は、VDR値を表し、垂直方向軸は、SDR値を表す。フォワードマッピングM[]は、SDR’=M[VDR]であるようにVDRに作用する。トーンマッピング712は、VDR信号のソフトクリッピングで示される。ソフトクリッピングは、高精度SDR’に情報を加え、ある意味で、対応するVDRバージョンに幾分類似させるやり方でSDR’信号をレンダリングし、従って改善を表す。しかし、結果として得られるSDR’信号が高精度のビット深度(例えば14ビット)を有するが、SDR’信号は、低精度のビット深度(例えば8ビット)を有するSDRコンテンツに対してほとんど知覚できない改善を示す。
第二に、正規化は、SDRコンテンツバージョン及びVDRコンテンツバージョンをグローバルマッピングに一致させ、これにより局所的な変動が効果的に除去される。図7Bは、本発明の実施の形態に係る、グローバルトーンマッピング720の例を示す。実施の形態は、複数のトーンマップのセットの1以上を選択する。トーンマップ721は、複数のトーンマップを示し、1つのトーンマップは、ローカルトーンマッピングを例示する異なる領域にそれぞれ対応する。実施の形態では、選択は、SDRバージョンとSDR’バージョンとの間、又はVDR’バージョンとVDRバージョンとの間といった、可逆のトーンマップのどのマップが最小の変更につながるかに基づいている。最も適した可逆のトーンマップの選択に応じて、SDR’及び/又はVDR’のコンテンツバージョンが変更される。単一のトーンマップ722は、局所的な空間の変動を考慮して選択される。
第三に、正規化は、低精度のSDR入力信号の量子化を処理する。実施の形態では、VDRコンテンツバージョン及びSDRコンテンツバージョンは、正規化されたペアを有する。実施の形態の正規化されたペアリング及び/又はマッピングの可逆性は、AMPASのパイプラインに関連する、IIFのような仕様に実質的に準拠する。実施の形態では、VDR’のコンテンツバージョン及び高精度のSDR’のコンテンツバージョンは、マトリクスのマッピング及び非線形のマッピングにより正規化される。
図8A及び図8Bは、本発明の実施の形態に係る、例示的なコーデック800を示す。プロダクションモジュール810では、コーデックは、正規化モジュール605及びエンコーダ312を備える。正規化モジュール605は、ACES又はP3 RGB色空間を有するVDRのコンテンツバージョンと、BT−709 RGB色空間を有する10ビットのSDRのコンテンツバージョンを処理する。これらの入力の処理に応じて、正規化モジュール605は、BT−709 RGB色空間を有する14ビットのSDR’のコンテンツバージョン、及び可逆的なSDR−VDRマッピングに関する情報をエンコーダ312に提供する。エンコーダ312は、BT−709 RGB色空間をもつ14ビットのSDR’のコンテンツバージョン、可逆的なSDR−VDRマッピングに関連する情報を処理し、SDR及びVDRコンテンツバージョンに関するマッピング及び変更に関連するメタデータのような情報と共に、AVCコンパチブルビットストリーム出力を生成する。
消費モード820において、コーデックは、デコーダ321及びソースディスプレイ管理モジュール822を有する。デコーダ321は、例えばプロダクションモード810において実行されたSDR及びVDRに関するマッピング及び変更に関するメタデータのような情報と共に、AVCコンパチブルビットストリームの入力を受信する。デコーダ321は、入力信号を処理し、BT−709 RGB色空間を有する14ビットのSDR’のコンテンツバージョン、及び可逆的なSDR−VDRマッピングに関する情報をソースディスプレイ管理モジュール822に供給する。ソースディスプレイ管理モジュール822は、BT−709 RGB色空間をもつ14ビットSDR’のコンテンツバージョン、及び可逆的なSDR−VDRマッピングに関連する情報を処理し、あるディスプレイについて変更のマッピングに関連する情報と共にVDRコンテンツを含む出力信号を生成する。
図9A及び図9Bは、本発明の実施の形態に係る、例示的なシグナルフロー900を示す。図9Aは、実施の形態に係る、例示的なメディアモードのシグナルフロー910を示す。正規化モジュール605は、VDRのコンテンツバージョン及び低ビットのSDRのコンテンツバージョンを処理する。これらの入力の処理に応じて、正規化モジュール605は、高精度のSDR’のコンテンツバージョン、及び可逆的なSDR−VDRマッピングに関連する情報をエンコーダ312に供給する。エンコーダ312は、高精度のSDR’のコンテンツバージョン、及び(例えばSDR及びVDRコンテンツバージョンに関するマッピング及び変更に関連するメタデータのような情報と共に)AVCコンパチブルビットストリーム出力を生成する。
例示的なメディアモードのシグナルフロー910において、AVCコンパチブルビットストリームは、H.264/AVC MPEG−4デコーダ915のようなAVC準拠デコーダに供給され、このデコーダは、ビットストリームを処理して、典型的に低精度のSDRのコンテンツバージョンを出力する。さらに、例示的なメディアモードのシグナルフロー910では、AVCコンパチブルビットストリームは、デコーダ321に供給され、このデコーダは、ビットストリームを処理し、高精度のSDR’のコンテンツバージョン、及びSDR’のコンテンツバージョンとVDRコンテンツバージョンとの間のマッピングのセットをソースディスプレイ管理モジュール935に出力する。ソースディスプレイ管理モジュール935は、VDR対応ディスプレイでレンダリングされる、ディスプレイコンパチブルVDRコンテンツバージョンを出力する。
図9Bは、実施の形態に係る、例示的なリアルタイム(例えばブロードキャスト)モードのシグナルフロー920を示す。入力信号は、カラーマネージメントモジュール(例えば色補正ツール)925に入力する。カラーマネージメントモジュール925は、VDR入力を処理する。VDR入力の処理に応じて、カラーマネージメントモジュール925は、高精度のSDR’コンテンツバージョン、及び可逆的なSDR−VDRマッピングに関連する情報をエンコーダ312に供給する。エンコーダ312は、高精度のSDR’のコンテンツバージョン及び可逆的なSDR−VDRマッピングに関連する情報を処理し、(例えばSDR及びVDRコンテンツバージョンに関するマッピング及び変更に関連する、メタデータのような情報と共に)AVCコンパチブルビットストリームの出力を生成する。例示的なリアルタイム/ブロードキャストモードのシグナルフロー920において、AVCコンパチブルビットストリームは、H.264/AVC MPEG−4デコーダ915のようなAVC準拠デコーダに供給され、このデコーダは、ビットストリームを処理して、典型的に低精度のSDRのコンテンツバージョンを出力する。さらに、実施の形態は、メディアモードのシグナルフロー910がデコードされたのと実質的に同じやり方でブロードキャストメディアフロー920を復号化する。実施の形態では、メディアモードのシグナルフロー910及びリアルタイムのブロードキャストフロー920の復号化プロセスは同じである。AVCコンパチブルビットストリームは、デコーダ321に供給され、このデコーダは、ビットストリームを処理し、高精度のSDR’のコンテンツバージョン、及びSDR’のコンテンツバージョンとVDRのコンテンツバージョンとの間のマッピングのセットをソースディスプレイ管理モジュール935に出力する。ソースディスプレイ管理モジュール935は、VDR対応ディスプレイでレンダリングされる、ディスプレイコンパチブルVDRコンテンツバージョンを出力する。
図10は、本発明の実施の形態に係る、整合されたエンコーダ/デコーダのペア1000を示す。実施の形態では、エンコーダ312は、高精度符号化モジュール1011及びAVCコンパチブル(例えば8ビット、高精度のSDR’コンテンツに関してある程度低精度であると考えられる意味でのビット深度)符号化モジュール1012の両者について、高精彩のSDR’コンテンツを含む入力信号を受信する。高精度符号化モジュール1011は、高精度のSDR’のコンテンツを符号化し、高精度のビットストリームを重要な相違点の判定モジュール1013に供給する。コンパチブル符号化モジュール1012は、デコーダ321へのエクスポート及び重要な相違点の判定モジュール1013への入力のため、AVCコンパチブル(例えば8ビット、比較的低い精度)符号化ビットストリーム供給する。
重要な相違点の判定モジュール1013は、高精度符号化モジュール1011からの高精度で符号化されたビットストリームと、AVCコンパチブル(例えば8ビット)符号化モジュール1012からのAVCコンパチブル(例えば8ビット)符号化モジュール1012とを比較する。高精度の符号化ビットストリームとAVCコンパチブル(例えば8ビット、比較的低い精度)符号化ビットストリームとの比較に応じて、重要な相違点の判定モジュール1013は、高精度の符号化ビットストリームとコンパチブル(例えば8ビット、比較的低い精度)符号化されたビットストリームとの間の差に関連するメタデータのような情報をデコーダ321に供給する。
実施の形態では、デコーダ321は、高精度符号化モジュール1011で符号化された高精度のビットストリームと、コンパチブル(例えば8ビット、比較的低い精度)符号化されたビットストリームとの間の差に関連する情報(例えばメタデータ)と共に、AVCコンパチブル(例えば8ビット)符号化ビットストリームをエンコーダ312から受信する。情報(例えばメタデータ)マージモジュール1024は、高精度ビットストリーム間の差に関連する情報を使用して、高精度ビットストリームと同じ情報を本質的に含むビットストリームを効果的に回復(例えば再現、再設定、再構成、再生成、再生)する。回復された高精度ビットストリームから、高精度復号化モジュール1025は、高精度SDR’出力を生成する。例えば、デコーダ321の出力は、少なくとも4:2:0(強度及び色成分)サンプリングパターン又はサンプリングコンフィギュレーション及び少なくとも8ビットを超えるビット深度よりも大きいか又は等しい精度を有する。例示的な実施の形態は、デコーダ321の出力の強度/色のサンプリングパターン/コンフィギュレーションが、4:2:0,4:2:2又は4:4:4の精度を有するか、及び/又は10−14ビットのビット深度を有する。
実施の形態は、スケーラブルなビット深度で機能する。例えば、ビット深度は、8ビットと12ビットプラス(例えば12−14ビット)との間でスケーラブルであるとして実現される。従って、実施の形態は、1以上の確立されたスケーラブルビデオコーディング(SVC)又は関連する技術のアプローチを利用する。従って、ある意味では、実施の形態は、例えば様々なSVC及び関連又は類似のスケーラブルアプローチで効果的に機能するといった、「コーデックにとらわれない“codec agnostic”」として機能する傾向がある。本明細書で使用されたとき、用語「利用する“leverage”」は、係るアプローチの使用に関連する。
さらに、エンコーダ312は、コンパチブル8ビットストリーム及びメタデータを出力するとき、高精度の入力からのコンパチブルビットストリームの導出は、8ビットの量子化雑音を符号化するオーバヘッドを本質的に低減し、これは平滑な勾配を符号化することに特に役立つ。さらに、デコーダ321がメタデータをコンパチブル8ビット符号化ビットストリームとマージするとき、エンコーダ1011の高精度のビットストリームの出力に満足できる程度に近い、高精度のビットストリームを内部で回復する。実施の形態は、高精度のビットストリームを復号化して、高精度のSDR’を生成する。実施の形態は、逆マッピングM−1[]を使用して、SDR’をマッピングして、VDR対応ディスプレイでレンダリングされるVDR出力を生成する。
高精度符号化モジュール1011及び/又はエンコーダ312の他のコンポーネント又は高精度SDR’エンコーダ機能を制御するため、実施の形態は、関連する信号がある場合とない場合があるが、関連する逆マッピングされたVDR空間における(例えば上述されたTM−SSIM又は関連するアプローチにより)品質を評価する。実施の形態は、これらの関連するダイナミックレンジに関連して拡大された画像又はビデオのフレーム領域における計算された精度及び/又は正確さを増加する。例えば、逆マッピングは、精度/正確さを拡大させる。図11は、本発明の実施の形態に係る、例示的な拡大1100を示す。
実施の形態は、量子化パラメータ(QP)を制御する。例えば、QPは、ダイナミックレンジの拡大を受ける画像又はフレーム領域に関して値において減少される。これは、DRの拡大された領域における有意なQPの低減となるため、VDRに関連するビットストリームのオーバヘッドを減少させ、一般的な品質の改善から低い全体のQPを低減させる。図12は、本発明の実施の形態に係る、例示的なQP制御1200を示す。実施の形態は、逆マッピングの推定E=|∇M−1[]|の勾配又は発散に等しいとして拡大パラメータを計算する。実施の形態では、量子化パラメータは、拡大の逆数に比例する(QP∝1/<E>)。
実施の形態は、14ビットの深度に沿って前後にスライドする10ビット符号化の深度で制御を及ぼす。図13は、本発明の実施の形態に係る、例示的な画像データパケット1300を示す。8ビットのSDRセクションは、画像のハイライトのようなヘッドルームに関連する2ビットとシャドウのような詳細に関連する2ビットとの「間でスライドする」。
実施の形態は、ディスプレイマネージメントと統合する。例えば、ソースディスプレイ管理で使用される変換は、実施の形態のコーデック内でSDRとVDRとの間の逆マッピングを整合させ、SDRの逆マッピングは、フルVDRを本質的に備える。ソースディスプレイ管理変換は、従って、SDRを高精度SDR及びフルVDRに一致させる。このように、デュアルエンドのディスプレイ管理が簡略化される。
デコーダ321の出力は、多数のアプリケーションの何れかについて、ひとたびマスタリングされたデジタル画像又はビデオコンテンツとして使用される。図14は、本発明の実施の形態に係る、複数の復号化されたシグナルアプリケーション1400を示す。例えば、デコーダ321の出力を使用するアプリケーション1400は、Dolby Labs ProMonitorTM、デジタルプロジェクタ1402、現在及び将来のデジタルシネマ1403、フィルムトランスファ1404、現在及び将来の家電製品及びホームメディアアプリケーション1405、DCI(Digital Cinema Initiative)及び関連するP3色空間1406に関連するアプリケーション、及びBT−709色空間1407に関連するアプリケーションのようなプロフェッショナルモニタアプリケーション1401の1以上を含む。
図15は、本発明の実施の形態に係る、例示的なカラーギャマット1500を示す図である。カラーギャマット1500は、スペクトル軌跡1501を有する。スペクトル軌跡1501内には、BT−709色空間に関連するギャマット1502、DCI P3色空間に関連するギャマット1503、及びP4色空間に関連するギャマット1504がある。
[例示的なコンピュータシステムの実現]
本発明の実施の形態は、コンピュータシステム、電子回路及びコンポーネントで構成されるシステム、マイクロコントローラのような集積回路(IC)、フィールドプログラマブルゲートアレイ(FPGA)、又は別の構成可能又はプログラマブルロジックデバイス(PLD)、離散時間又はデジタルシグナルプロセッサ(DSP)、特定用途向けIC(ASIC)、及び係るシステム、デバイス又はコンポーネントの1以上を含む装置で実現される。コンピュータ及び/又はICは、本明細書で記載されたような画像及び/又はビデオのダイナミックレンジを拡大することに関連する指示を実行、制御又は実施する。コンピュータ及び/又はICは、例えば本明細書で記載された画像及び/又はビデオのダイナミックレンジを拡大することに関連する様々なパラメータ又は値の何れかを計算する。画像及びビデオのダイナミックレンジを拡大する実施の形態は、ハードウェア、ソフトウェア、ファームウェア及びこれらの様々な組み合わせで実現される。
図16は、本発明の実施の形態が実現される、例示的なコンピュータシステムプラットフォーム1600を示す。コンピュータシステム1600は、バス1602又は情報を伝達する他の通信メカニズム、及び情報を処理するためにバス1602に結合されるプロセッサ1604を含む。コンピュータシステム1600は、プロセッサ1604により実行される情報及び命令を記憶するためにバス1602に結合される、ランダムアクセスメモリ(RAM)又は他のダイナミックストレージデバイスのようなメインメモリ1606を含む。メインメモリ1606は、プロセッサ1604により実行される命令の実行の間に、一時的な変数又は他の中間情報を記憶するために使用される。
コンピュータシステム1600は、プロセッサ1604の静的な情報及び命令を記憶するためにバス1602に結合されるリードオンリメモリ(ROM)1608又は他の静的なストレージデバイスを更に含む。磁気ディスク又は光ディスクのようなストレージデバイス1610が設けられ、情報及び命令を記憶するためにバス1602に結合される。プロセッサ1604は、1以上のデジタルシグナルプロセッシング(DSP)機能を実行する。付加的に又は代替的に、DSP機能は、別のプロセッサ又は(プロセッサ1604で本明細書では表現される)エンティティにより実行される場合がある。
コンピュータシステム1600は、コンピュータユーザに情報を表示するため、液晶ディスプレイ(LCD)、陰極線管(CRT)、プラズマディスプレイ等のようなディスプレイ1612にバス1602を介して結合される。LCDは、発光ダイオードのアレイを含むデュアル又はN変調及び/又はバックライトユニットによる、HDR/VDR及び/又はWCG対応LCDを含む。英数及び他のキーを含む入力装置1614は、プロセッサ1604に情報及び命令の選択を伝達するため、バス1602に結合される。別のタイプのユーザ入力装置は、方向情報及びコマンド選択をプロセッサ1604に伝達し、カーソルの動きをディスプレイ1612で制御する触覚に基づく「タッチスクリーン」GUIディスプレイ又はマウス、トラックボール、又はカーソル方向キーのようなカーソルコントロール1616である。係る入力装置は、装置が平面における位置を特定するのを可能にする、第一の軸(例えばx)及び第二の軸(例えばy)である2つの軸で2つの自由度を典型的に有する。
本発明の実施の形態は、画像及び/又はビデオのダイナミックレンジを拡大するコンピュータシステム1600の使用に関する。本発明の実施の形態は、本明細書で記載された画像及び/又はビデオのダイナミックレンジを計算、拡大するコンピュータシステム1600の使用に関する。本発明の実施の形態によれば、第一のダイナミックレンジに関連する、第一のカラーギャマット及び/又はビット深度をもつ第一の色空間で表現される入力ビデオ信号は、第二のカラーギャマット及び/又はビット深度をもつ第二の色空間で表現されるビデオ信号に変換される。第二の色空間は、第二のダイナミックレンジと関連される。変換されたビデオ信号の少なくとも2色(例えば3色)に関連する成分は、第二のダイナミックレンジを通してマッピングされる。この特徴は、メインメモリ1606に含まれる1以上の命令の1以上の系列を実行するプロセッサ1604に応答して機能するコンピュータシステム1600により提供され、制御され、又は可能にされる。係る命令は、ストレージデバイス1610のような別のコンピュータ読み取り可能な記録媒体からメインメモリ1606に読み取られる。メインメモリ1606に含まれる命令の系列の実行は、プロセッサ1604に、本明細書で記載されたプロセスステップを実行させる。マルチプロセッシングアレンジメントにおける1以上のプロセッサは、メインメモリ1606に含まれる命令の系列を実行するために使用される。代替的な実施の形態では、本発明を実現するソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤド回路が使用される。従って、本発明の実施の形態は、ハードウェア、回路、ファームウェア及び/又はソフトウェアの特定の組み合わせに限定されない。
本明細書で使用されたとき、用語「コンピュータ読み取り可能な記録媒体」及び/又は「コンピュータ読み取り可能な記録媒体」は、実行のためにプロセッサ1604に命令を提供することに加わる何れかの記録媒体を示す。係る記録媒体は、限定されるものではないが、不揮発性媒体、揮発性媒体及び伝送媒体を含む多くの形式を取る。不揮発性媒体は、例えば記憶装置1610のような例えば光又は磁気ディスクを含む。揮発性媒体は、メインメモリ1606のようなダイナミックメモリを含む。伝送媒体は、バス1602を含むワイヤを有する、同軸ケーブル、銅線及び他の導体及び光ファイバを含む。伝送媒体は、無線波及び赤外線及び他の光データ通信の間に生成された、音響(例えば音)又は電磁(例えば光)波の形式を取ることもできる。
コンピュータ読み取り可能な記録媒体の共通の形式は、例えばフロプティカルディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の磁気媒体、CD−ROM、他の光媒体、パンチカード、ペーパーテープ、ホールのパターンをもつ他の旧式又は他の物理的な媒体、RAM、PROM及びEPROM、FLASH−EPROM、他のメモリチップ又はカートリッジ、以下に記載される伝送波、又はコンピュータが読み取ることができる他の媒体を含む。
様々な形式のコンピュータ読み取り可能な記録媒体は、実行のためにプロセッサ1604に1以上の命令の1以上のシーケンスを担持することに係わる。例えば、命令は、リモートコンピュータの磁気ディスクではじめに担持される場合がある。リモートコンピュー多は、命令をそのダイナミックメモリにロードし、モデムを使用して電話回線を通して命令を送出する。コンピュータシステム1660に対してローカルにあるモデムは、電話回線でデータを受信し、赤外線送信機を使用してデータを赤外線信号に変換する。バス1602に結合される赤外線検出器は、赤外線信号で伝送されるデータを受信し、バス1602にデータを配置する。バス1602は、データをメインメモリ1606に伝送し、メインメモリから、プロセッサ1604は、命令を取得及び実行する。メインメモリ1606により受信される命令は、プロセッサ1604により実行の前又は後の何れかで、ストレージデバイス1610で記憶される。
コンピュータシステム1600は、バス1602に結合される通信インタフェース1618を含む。通信インタフェース1618は、ローカルネットワーク1622に接続されるネットワークリンク1620に結合する2方向データ通信を提供する。例えば、通信インタフェース1618は、統合サービスデジタルネットワーク(ISDN)カード又はデジタル加入者回線(DSL)、電話回線の対応するタイプへのデータ通信接続を提供するケーブル又は他のモデムである。別の例として、通信インタフェース1618は、互換性のあるLANへのデータ通信接続を提供するローカルエリアネットワーク(LAN)である。ワイヤレスリンクも実現される。何れかの係る実現では、通信インタフェース1618は、様々なタイプの情報を表すデジタルデータストリームを伝送する電気、電磁又は光信号を送出及び受信する。
ネットワークリンク1620は、他のデータ装置に1以上のネットワークを通してデータ通信を提供する。例えば、ネットワークリンク1620は、コストコンピュータ1624又はインターネットサービスプロバイダ(ISP)(又は電話交換会社)1626により動作されるデータ機器にローカルネットワーク1622を通して接続を提供する。実施の形態では、ローカルリンク1622は、エンコーダ及び/又はデコーダが機能する通信媒体を含む。ISP1626は、Interet1628と一般に呼ばれている世界規模のパケットデータ通信ネットワークを通してデータ通信サービスを提供する。ローカルネットワーク1622及びInternet1628の両者は、デジタルデータストリームを搬送する電気、電磁又は光信号を使用する。様々なネットワークを介した信号、及び、コンピュータシステム1600にデジタルデータを伝送し、コンピュータシステムからデジタルデータを伝送するネットワークリンク1620及び通信インタフェース1618を介した信号は、情報を伝送する伝送波の例示的な形式である。
コンピュータシステム1600は、ネットワーク、ネットワークリンク1620及び通信インタフェース1618を通して、プログラムコードを含めて、メッセージを送出し、データを受信する。
Internetの例では、サーバ1630は、Internet1628、ISP1626、ローカルネットワーク1622及び通信インタフェース1618を介して、アプリケーションプログラムの要求されたコードを送信する。本発明の実施の形態では、1つの係るダウンロードされたアプリケーション装置は、本明細書で記載された画像及び/又はビデオのダイナミックレンジを拡大することを提供する。
受信されたコードは、受信されたときにプロセッサ1604により実行され、及び/又はストレージデバイス1610又は後の実行のために他の不揮発性ストレージに記憶される。このように、コンピュータシステム1600は、伝送波の形式でアプリケーションコードを取得する。
[例示的なICデバイスプラットフォーム]
図17は、例えば本明細書で記載されたような、画像及び/又はビデオのダイナミックレンジを拡大するため、本発明の実施の形態が実現される、例示的なICデバイス1700を示す。ICデバイス1700は、本明細書で記載された改善に関してコンポーネントが機能するエンコーダ及び/又はデコーダ装置のコンポーネントを有する。付加的に又は代替的に、ICデバイス1700は、本明細書で記載された改善に関してコンポーネントが機能する、ディスプレイ管理、生産施設、Internet又は電話網、又はエンコーダ及び/又はデコーダが機能する別のネットワークに関連するエンティティ、装置又はシステムのコンポーネントを有する。
ICデバイス1700は、入力/出力(I/O)機能1701を有する。I/O機能1701は、入力信号を受信し、受信した入力信号を、ルーティングファブリック1710を介して、ストレージ1703と共に機能する中央処理装置(CPU)1702に送出する。また、I/O機能1701は、ICデバイス1700の他のコンポーネント機能からの出力信号を受信し、ルーティングファブリック1710を通してシグナルフローの一部を制御する。デジタルシグナルプロセッシング(DSP)機能は、離散時間のシグナルプロセッシングに関連する機能を少なくとも実行する。インタフェース1705は、外部信号にアクセスし、アクセスした外部信号をI/O機能1701に送出し、ICデバイス1700が信号をエクスポートするのを可能にする。ルーティングファブリック1710は、ICデバイス1700の様々なコンポーネント機能間で信号及び電力を送出する。
アクティブエレメント1711は、設定可能な及び/又はプログラマブルな処理エレメント(CPPE)1711を備え、係るロジックゲートのアレイは、実施の形態において画像及び/又はビデオのダイナミックレンジを拡大することに関連するICデバイス1700の専用機能を実行する。付加的に又は代替的に、アクティブエレメント1711は、例えばICデバイス1700がASICを有する、予めアレイ配列構造にされた(例えば特に設計された、アレイ配列にされた、レイアウトされた、フォトリソグラフィエッチングが施された、及び/又は電気的又は電子的に相互接続及びゲート制御された)電界効果トランジスタ(FET)又はバイポーラロジックデバイスを有する。ストレージ1712は、CPPE(又は他のアクティブエレメント)1711について十分なメモリセルが効果的に機能するように専用にされる。CPPE(又は他のアクティブエレメント)1711は、1以上の専用のDSP機能1714を含む。
[列挙された例示的な実施の形態の部分的なリスト]
本明細書で記載されたように、本発明の実施の形態は、以下に列挙されるように、例示的な実施の形態の1以上に関連する。従って、本発明は、限定されるものではないが、本発明の幾つかの部分の構造、特徴及び機能を記載した以下の列挙された例示的な実施の形態(EEE)を含む、本明細書に記載された形式の何れかで実施される。
EEE1)第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する段階と、前記第二の色空間は、第二のダイナミックレンジと関連されており、
変換されたビデオ信号の少なくとも2つの色に関連する成分を前記第二のダイナミックレンジを通してマッピングする段階と、
を含む方法。
EEE2)前記第二のダイナミックレンジは、前記第一のダイナミックレンジよりも大きい、
EEE1記載の方法。
EEE3)前記第二のダイナミックレンジは、ビデオ信号に関してイントラフレームに基づいて、人間の視覚系により同時に知覚可能な強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
EEE2記載の方法。
EEE4)前記第一のダイナミックレンジは、低い又は標準的なダイナミックレンジのモニタ又はディスプレイでレンダリング可能であるか、或いは陰極線管(CRT)モニタ又はディスプレイでレンダリング可能である強度又は色の範囲に及ぶか、又は前記強度又は色の範囲を近似する、
EEE2記載の方法。
EEE5)前記第二のカラーギャマットは、前記第一のカラーギャマットよりも大きいか、広いか又は深い、
EEE1記載の方法。
EEE6)前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされる画像又は複数の画像フレーム、又は前記第一の色空間の前記第一のカラーギャマットに関連する前記第一のダイナミックレンジは変換される、
EEE 1記載の方法。
EEE7)変換段階及びマッピング段階に基づいて、前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされる画像又は複数の画像フレーム、又は前記第一のダイナミックレンジを、前記第二のダイナミックレンジで表現、送信、記憶又はレンダリングされた1以上の変換されたビデオ信号、変換された画像又は複数の変換された画像の特性に変換する段階を含む、
EEE1記載の方法。
EEE8)前記第一の色空間又は前記第二の色空間の1以上は、3つの色に関連する成分を有するRGB色空間を有し、前記色に関連する成分は、赤色成分、緑色成分及び青色成分を含む、
EEE1記載の方法。
EEE9)前記マッピング段階は、前記第二のダイナミックレンジに前記変換されたビデオ信号の3色に関連する成分をマッピングする段階を含む、
EEE8記載の方法。
EEE10)前記第一の色空間は、ITU(International Telecommunication Union)のBT.709勧告の規格に関連するRGB色空間に実質的に準拠する、
EEE8記載の方法。
EEE11)前記第二の色空間は、AMPAS(Academy of Motion Picture Arts and Sciences)のACES(Academy Color Encoding Specification)規格、Digital Cinema InitiativeのP3色空間規格、又はRIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric)規格に関連するRGB色空間の少なくとも1つに実質的に準拠する、
EEE8記載の方法。
EEE12)前記マッピング段階は、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング動作を施すステップを有する、
EEE1記載の方法。
EEE13)前記マッピング段階は、変換されたビデオ信号の3色に関連する成分にグローバルトーンマッピングを施す段階を含む、
EEE12記載の方法。
EEE14)変換された入力ビデオ信号の少なくとも2色に関連する成分のそれぞれに関連する飽和レベルを維持する段階を更に含む、
EEE1記載の方法。
EEE15)飽和レベルを維持する段階は、前記入力ビデオ信号に関連する強度値を第二のダイナミックレンジにマッピングする段階を含む、
EEE14記載の方法。
EEE16)前記強度値は、変換されたビデオ信号のルマに関連する特性又は輝度に関連する特性の1以上を含む、
EEE15記載の方法。
EEE17)前記強度値は、第一のゲイン設定に従ってスケーリングされる、
EEE15記載の方法。
EEE18)前記第一のゲイン設定は、変換されたビデオ信号の少なくとも2色に関連する成分の色度に関連する特性又はクロマに関連する特性に関連する値に関して、10%と20%との間の値を有する、
EEE17記載の方法。
EEE19)前記第一のゲイン設定の値は、変換されたビデオ信号の少なくとも2色に関連する成分の色度の特性に関連する値に関して、15%に等しいか又は15%に近似する、
EEE17記載の方法。
EEE20)前記マッピング段階は、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆的である、
EEE1記載の方法。
EEE21)前記マッピング段階は、あるシーンが前記第一のダイナミックレンジをもつ前記ビデオ信号で符号化される第一の画像を、前記シーンが前記第二のダイナミックレンジでレンダリング可能又は表示可能である第二の画像で正規化する段階を含み、
前記マッピング段階は無損失で可逆的である、
EEE1記載の方法。
EEE22)前記変換段階と前記マッピング段階の1以上は、
複数のマトリクス、
複数の可逆的な非線形マッピング、又は
複数の可逆的な線形マッピング
の1以上連結する段階を含む、
EEE21記載の方法。
EEE23)a)前記可逆的な非線形マッピング、又は前記可逆的な線形マッピングの1以上は、それぞれトーンマッピング演算を含み、
B)前記複数のマトリクスは、3×3アレイを有する、
EEE22記載の方法。
EEE24)前記可逆的な非線形マッピング又は前記線形マッピングの1以上は、これらの反転に応じて、逆トーンマッピング演算を含む、
EEE23記載の方法。
EEE25)前記変換されたビデオ信号は、広いカラーギャマットVDRバージョンのコンテンツを有し、
前記入力ビデオ信号は、VDRの高い精度又は高いビット深度又は広いカラーギャマットに関して、狭い又は浅いカラーギャマットを有するコンテンツのLDR又はSDRのバージョンを有し、
前記マッピング段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRを推定する段階を含む、
EEE1記載の方法。
EEE26)前記推定する段階は、コンテンツの広いカラーギャマットのSDR又はLDRのバージョンの一連の繰返しの推定を生成する段階を含む、
EEE25記載の方法。
EEE27)前記生成する段階は、前記コンテンツ又は前記マッピングの広いカラーギャマットのSDR又はLDRのバージョンの1以上を繰返し更新する段階を含み、
前記マッピングは、VDRの広いカラーギャマットに関して狭いカラーギャマットを有する前記コンテンツの前記広いカラーギャマットのVDRバージョン又は前記コンテンツのSDR又はLDRバージョンの1以上と、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンとの間のレイヤ間のマッピングを含む、
EEE25記載の方法。
EEE28)前記広いカラーギャマットのVDRコンテンツのバージョン又は前記広いカラーギャマットのSDR又はLDRコンテンツのバージョンの1以上は、第一のビット精度の範囲を有する、
EEE25記載の方法。
EEE29)前記第一のビット精度の範囲は、
少なくとも12ビット、12ビット及び14ビットを含めて12ビットと14ビットとの間、少なくとも14ビット又は14ビット以上の1以上を含む、
EEE25記載の方法。
EEE30)前記VDRの広いカラーギャマットに関して低い又は狭い或いは浅いカラーギャマットを有するSDR又はLDRコンテンツのバージョンは、第二のビット精度の範囲を有する、
EEE25又は29記載の方法。
EEE31)前記第二のビット精度の範囲は、10ビット、10ビット未満のビット精度、又は前記第一のビット精度未満であるビット精度の1以上を含む、
EEE30記載の方法。
EEE32)
前記マッピング段階を実行する前に、当該方法は、ブラインド計算又はインフォームド計算の1以上の実行する段階を更に含む、
EEE25,29及び31の何れか記載の方法。
EEE33)前記ブラインド計算は、前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることを含む、
EEE25,29,31及び32の何れか記載の方法。
EEE34)前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることは、前記ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む、
EEE29乃至33の何れか記載の方法。
EEE35)前記フィルタリングは、双方向フィルタで前記コンテンツをフィルタリングすることを含む、
EEE25,29,31乃至33の何れか記載の方法。
EEE36)前記インフォームド計算は、前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンを推定することを含む、
EEE25又は31記載の方法。
EEE37)前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンの推定は、繰返し計算を含む、
EEE36記載の方法。
EEE38)前記繰返し計算は、前記広いカラーギャマットのSDR又はLDR及び前記マッピングを繰返し更新することを含み、前記マッピングは、レイヤ間のマッピングを含む、
EEE36又は37記載の方法。
EEE39)第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する手段と、前記第二の色空間は、第二のダイナミックレンジと関連されており、
変換されたビデオ信号の少なくとも2色に関連する成分を前記第二のダイナミックレンジにマッピングする手段と、
を備えるシステム。
EEE40)EEE1乃至38の何れか記載の方法の1以上の段階を実行する手段を備える、
EEE39記載のシステム。
EEE41)第一のダイナミックレンジに関連する第一のカラーギャマットをもつ第一の色空間で表現される入力ビデオ信号を、第二のカラーギャマットの第二の色空間で表現されるビデオ信号に変換する変換機能と、第二の色空間は、第二のダイナミックレンジと関連されており、
変換されたビデオ信号の少なくとも2色に関連する成分を前記第二のダイナミックレンジにマッピングするマッピング機能と、
備えるビデオエンコーダ。
EEE42)前記第二のダイナミックレンジは、前記第一のダイナミックレンジよりも大きい、
EEE41記載のビデオエンコーダ。
EEE43)前記第二のダイナミックレンジは、前記ビデオ信号に関してイントラフレームに基づいて、人間の視覚系により同時に知覚できる強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
EEE41記載のビデオエンコーダ。
EEE44)前記第一のダイナミックレンジは、低い又は標準的なダイナミックレンジのモニタ又はディスプレイでレンダリング可能であるか、又は陰極線管(CRT)モニタ又はディスプレイによりレンダリング可能な強度又は色の範囲に及ぶか又は前記強度又は色の範囲を近似する、
EEE41記載のビデオエンコーダ。
EEE45)前記第二のカラーギャマットは、前記第一のカラーギャマットよりも広いか、深いか或いは大きい、
EEE41記載のビデオエンコーダ。
EEE46)前記入力ビデオ信号、前記入力ビデオ信号で表現、送信、記憶又はレンダリングされた画像又は複数の画像フレーム、或いは前記第一の色空間の第一の精度に関連する前記第一のダイナミックレンジの1以上は、1以上の変換されたビデオ信号、前記第二のダイナミックレンジで表現、送信、記憶又はレンダリングされた変換された画像又は複数の変換された画像フレームに変換される、
EEE41記載のビデオエンコーダ。
EEE47)前記第一の色空間又は前記第二の色空間の1以上は、3色に関連する成分を有するRGB色空間を備え、前記色に関連する成分は、赤色成分、緑色成分及び青色成分を含む、
EEE41記載のビデオエンコーダ。
EEE48)前記マッピングステップは、変換されたビデオ信号の3色に関連する成分を第二のダイナミックレンジにマッピングするステップを含む、
EEE47記載のビデオエンコーダ。
EEE49)前記第一の色空間は、ITU(International Telecommunication Union)のBT.709勧告の規格に関連するRGB色空間に実質的に準拠する、
EEE48記載のビデオエンコーダ。
EEE50)前記第二の色空間は、AMPAS(Academy of Motion Picture Arts and Sciences)のACES(Academy Color Encoding Specification)規格、Digital Cinema InitiativeのP3色空間規格、又はRIMM/ROMM(Reference Input Medium Metric/Reference Output Medium Metric)規格に関連するRGB色空間の少なくとも1つに実質的に準拠する、
EEE47記載のビデオエンコーダ。
EEE51)前記P3色空間は、Society of Motion Picture and Television Engineers: SMPTE Rp431−2−2007又はEg432−1−2007の少なくとも1つに実質的に準拠する、
EEE50記載のビデオエンコーダ。
EEE52)前記マッピング段階は、変換された入力ビデオ信号の少なくとも2色に関連する成分にグローバルトーンマッピング動作を施すステップを有する、
EEE48記載のビデオエンコーダ。
EEE53)前記マッピング段階は、変換されたビデオ信号の3色に関連する成分にグローバルトーンマッピングを施す段階を含む、
EEE52記載のビデオエンコーダ。
EEE54)変換された入力ビデオ信号の少なくとも2色に関連する成分のそれぞれに関連する飽和レベルを維持する段階を更に含む、
EEE48記載のビデオエンコーダ。
EEE55)飽和レベルを維持する段階は、第二のダイナミックレンジに前記入力ビデオ信号に関連する強度値をマッピングする段階を含む、
EEE54記載のビデオエンコーダ。
EEE56)前記強度値は、変換されたビデオ信号のルマに関連する特性又は輝度に関連する特性の1以上を含む、
EEE55記載のビデオエンコーダ。
EEE57)前記強度値は、第一のゲイン設定に従ってスケーリングされる、
EEE55記載のビデオエンコーダ。
EEE58)前記第一のゲイン設定は、変換されたビデオ信号の少なくとも2色に関連する成分の色度に関連する特性又はクロマに関連する特性に関連する値に関して、10%と20%との間の値を有する、
EEE57記載のビデオエンコーダ。
EEE59)前記第一のゲイン設定の値は、変換されたビデオ信号の少なくとも2色に関連する成分の色度の特性に関連する値に関して、15%に等しいか又は15%に近似する、
EEE57記載のビデオエンコーダ。
EEE60)前記マッピング段階は、第一のダイナミックレンジ及び色空間、並びに第二のダイナミックレンジ及び色空間に関して可逆的である、
EEE48記載のビデオエンコーダ。
EEE61)前記マッピング段階は、あるシーンが前記第一のダイナミックレンジをもつ前記ビデオ信号で符号化される第一の画像を、前記シーンが前記第二のダイナミックレンジでレンダリング可能又は表示可能である第二の画像で正規化する段階を含み、
前記マッピング段階は無損失で可逆的である、
EEE48記載のビデオエンコーダ。
EEE62)前記変換段階と前記マッピング段階の1以上は、
複数のマトリクス、
複数の可逆的な非線形マッピング、又は
複数の可逆的な線形マッピング
の1以上連結する段階を含む、
EEE61記載のビデオエンコーダ。
EEE63)a)前記可逆的な非線形マッピング、又は前記可逆的な線形マッピングの1以上は、それぞれトーンマッピング演算を含み、
B)前記複数のマトリクスは、3×3アレイを有する、
EEE62記載のビデオエンコーダ。
EEE64)前記可逆的な非線形マッピング又は前記線形マッピングの1以上は、これらの反転に応じて、逆トーンマッピング演算を含む、
EEE63記載のビデオエンコーダ。
EEE65)前記変換されたビデオ信号は、広いカラーギャマットのVDRバージョンのコンテンツを有し、
前記入力ビデオ信号は、VDRの広いカラーギャマットに関して、狭い又は浅い或いは小さいカラーギャマットを有するコンテンツのLDR又はSDRのバージョンを有し、
前記マッピング段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンを推定する段階を含む、
EEE48記載のビデオエンコーダ。
EEE66)前記推定する段階は、前記コンテンツの広いカラーギャマットのSDR又はLDRのバージョンの一連の繰返しの推定を生成する段階を含む、
EEE65記載のビデオエンコーダ。
EEE67)前記生成する段階は、前記コンテンツ又は前記マッピングの広いカラーギャマットのSDR又はLDRのバージョンの1以上を繰返し更新する段階を含み、
前記マッピングは、VDRの広いカラーギャマットに関して狭い又は浅い或いは小さいカラーギャマットを有する前記コンテンツの前記広いカラーギャマットのVDRバージョン又は前記コンテンツのSDR又はLDRバージョンの1以上と、前記コンテンツの広いカラーギャマットのSDR又はLDRバージョンとの間のレイヤ間のマッピングを含む、
EEE65記載のビデオエンコーダ。
EEE68)前記広いカラーギャマットのVDRコンテンツのバージョン又は前記広いカラーギャマットのSDR又はLDRコンテンツのバージョンの1以上は、第一のビット精度の範囲を有する、
EEE65記載のビデオエンコーダ。
EEE69)前記第一のビット精度の範囲は、少なくとも12ビット、12ビット及び14ビットを含めて12ビットと14ビットとの間、少なくとも14ビット又は14ビット以上の1以上を含む、
EEE65記載のビデオエンコーダ。
EEE70)前記VDRの高い精度又は高いビット深度或いは広いカラーギャマットに関して、低い精度又は狭いカラーギャマット或いは浅いビット深度のカラーギャマットを有するSDR又はLDRコンテンツのバージョンは、第二のビット精度の範囲を有する、
EEE65又は69記載のビデオエンコーダ。
EEE71)前記第二のビット精度の範囲は、10ビット、10ビット未満のビット精度、又は前記第一のビット精度未満であるビット精度の1以上を含む、
EEE70記載のビデオエンコーダ。
EEE72)
前記マッピング段階を実行する前に、当該方法は、ブラインド計算又はインフォームド計算の1以上の実行する段階を更に含む、
EEE65,69及び71の何れか記載のビデオエンコーダ。
EEE73)前記ブラインド計算は、前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることを含む、
EEE65,69,71及び72の何れか記載のビデオエンコーダ。
EEE74)前記SDR又はLDRのコンテンツのバージョンをフィルタリングすることは、前記ビデオコンテンツの画像の1以上の平滑な領域において知覚可能な1以上の輪郭のアーチファクトを除去することを含む、
EEE69乃至73の何れか記載のビデオエンコーダ。
EEE75)前記フィルタリングは、双方向フィルタで前記コンテンツをフィルタリングすることを含む、
EEE65,69,71乃至73の何れか記載のビデオエンコーダ。
EEE76)前記インフォームド計算は、前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンを推定することを含む、
EEE65又は71記載のビデオエンコーダ。
EEE77)前記広いカラーギャマットのSDR又はLDRのコンテンツのバージョンの推定は、繰返し計算を含む、
EEE76記載のビデオエンコーダ。
EEE78)前記繰返し計算は、前記広いカラーギャマットのSDR又はLDR及び前記マッピングを繰返し更新することを含み、前記マッピングは、レイヤ間のマッピングを含む、
EEE76又は77記載のビデオエンコーダ。
EEE79)1以上の色空間におけるAVC(Advanced Video Codec)信号に関連する仕様又は規格に実質的に準拠するビデオ信号をデコードするコンプライアントビットストリームデコーディングコンポーネントと、
デコードされたAVCビデオ信号を第二の色空間を少なくとも有する出力ビデオ信号にマッピングするカラーマッピングコンポーネントとを備え、前記少なくとも第二の色空間は、1以上の第一の色空間とは独立である、
ビデオデコーダ。
EEE80)前記少なくとも第二の色空間は、プロフェッショナルビデオモニタにより使用され、処理され又はレンダリングされるカラーギャマットに実質的に準拠する色空間を備え、
前記プロフェッショナルビデオモニタは、フィルム又はデジタルシネマ又はテレビ編集、制作、カラータイミング又は色調節に関連する1以上の機能について使用可能である、
EEE79記載のビデオデコーダ。
EEE81)前記ビデオデコーダは、EEE1乃至38の何れか記載の段階に従って、EEE39又は40の何れか記載のシステムにより、EEE41乃至78の1以上に記載のエンコーダにより符号化されたとき、ビデオ信号を復号化する、
EEE79記載のビデオデコーダ。
EEE82)EEE1乃至38の何れか記載の段階の1以上を実行するコンポーネントと、
EEE39乃至EEE40の何れか記載のシステムを構成し、EEE39乃至40の何れか記載のシステム手段の1以上を有するコンポーネントと、
EEE41乃至78の何れか記載のエンコーダを構成し、EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を備えるコンポーネントと、
EEE79乃至81の何れか記載のデコーダを構成し、EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を備えるコンポーネントと、
EEE83)1以上のプロセッサと、
コンピュータ読み取り可能な記録媒体とを備えるコンピュータシステムであって、
前記コンピュータ読み取り可能な記録媒体は、前記1以上のプロセッサで実行されたとき、前記1以上のプロセッサに、
EEE1乃至38の何れか記載の段階を実行させ、
EEE39乃至40の何れか記載のシステム手段の1以上を制御させ、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を制御させ、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を制御させ、
EEE82記載のビデオ装置のコンポーネントの1以上を制御させる、
命令を含む、コンピュータシステム。
EEE84)EEE1乃至38の何れか記載の1以上の段階を実行する段階と、
EEE39乃至40の何れか記載のシステム手段の1以上を制御する段階と、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を制御する段階と、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を制御する段階と、
EEE82記載のビデオ装置のコンポーネントの1以上を制御する段階と、
を含む、コンピュータシステムの使用。
EEE85)ダイと、
前記ダイ上に設けられる能動素子のアレイであって、ロジック機能を実行するためにプログラムされる能動素子のアレイとを備える集積回路(IC)デバイスであって、
前記ロジック機能は、
EEE1乃至38の何れか記載の1以上の段階を実行し、
EEE39乃至40の何れか記載のシステム手段の1以上を制御し、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上を制御し、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上を制御し、
EEE82記載のビデオ装置のコンポーネントの1以上を制御する、
ICデバイス。
EEE86)前記ICデバイスは、
EEE39乃至40の何れか記載のシステム手段の何れかのコンポーネントと、
EEE41乃至78の何れか記載のエンコーダコンポーネントの何れかのコンポーネントと、
EEE79乃至81の何れか記載のデコーダコンポーネントの何れかのコンポーネントと、
EEE82記載のビデオ装置のコンポーネントの何れかのコンポーネントと、
を備えるEEE85記載のICデバイス。
EEE87)前記ICデバイスは、
プロセッサと、
デジタルシグナルプロセッサ(DSP)と、
設定可能なロジックデバイス又はプログラマブルロジックデバイス(PLD)と、
特定用途向けIC(ASIC)との少なくとも1つを備える、
EEE85又は86記載のICデバイス。
EEE88)設定可能なロジックデバイス又はPLDは、フィールドプログラマブルゲートアレイ(FPGA)、マイクロコントローラ、又はDSPの少なくとも1つを備える、
EEE87記載のICデバイス。
EEE89)1以上のプロセッサにより実行されたとき、前記1以上のプロセッサに、
EEE1乃至38の何れか記載の段階の1以上を実行させ、
EEE83記載のコンピュータシステムを制御させ、
EEE84記載のコンピュータシステムの使用を制御させる、
命令を含むコンピュータ読み取り可能な記録媒体。
EEE90)1以上のプロセッサにより実行されたときに、前記1以上のプロセッサに、
EEE39又は40記載のシステム手段の1以上をプログラム、設定、制御又は備え、
EEE41乃至78の何れか記載のエンコーダコンポーネントの1以上をプログラム、設定、制御又は備え、
EEE79乃至81の何れか記載のデコーダコンポーネントの1以上をプログラム、設定、制御又は備え、
EEE82記載のビデオ装置のコンポーネントの1以上をプログラム、設定、制御又は備え、
EEE83記載のコンピュータシステムをプログラム、設定、制御又は備え、
EEE84記載のコンピュータシステムの使用をプログラム、設定、制御又は備え、
EEE85乃至88の何れか記載のICデバイスの1以上をプログラム、設定、又は制御する、命令を含むコンピュータ読み取り可能な記録媒体。
EEE91)前記コンテンツの広いカラーギャマットのVDRバージョン又は高い精度又は高いビット深度又は広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、又は
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションと関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE25記載の方法。
EEE92)前記コンテンツの広いカラーギャマット、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、又は
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションと関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE39記載のシステム。
EEE93)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE41記載のビデオエンコーダ。
EEE94)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE79記載のビデオデコーダ。
EEE95)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE82記載のビデオ装置。
EEE96)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE83記載のコンピュータシステム。
EEE97)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE83,89及び90の何れか記載のビデオデコーダ。
EEE98)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE85乃至88の何れか記載のICデバイス。
EEE99)前記コンテンツの広いカラーギャマットのVDRバージョン、又は、高い精度又は高いビット深度或いは広いカラーギャマットのVDRの1以上は、
4:2:2の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:4:4の強度及び色のサンプリングパターン又はコンフィギュレーション、
4:2:0の強度及び色のサンプリングパターン又はコンフィギュレーションに関連する精度に少なくとも適合するか又は前記精度を超える強度及び色のサンプリングパターン又はコンフィギュレーション、
の1以上を含む強度及び色のサンプリングパターン又はコンフィギュレーションと関連される、
EEE84記載のコンピュータシステムの使用。
[等価、拡大、代替及び雑則]
画像及びビデオのダイナミックレンジを拡大することに関する例示的な実施の形態が記載される。上述された明細書では、本発明の実施の形態は、実現毎に変化する場合がある様々な特定の詳細を参照して記載された。従って、何が本発明であるかに関する唯一且つ排他的な指標であって、本発明であるように本出願により意図される唯一且つ排他的な指標は、その後の補正を含めて、係る請求項が生じる特定の形式で、本出願から生じる請求項のセットである。係る請求項に含まれる項について本明細書で明示的に述べた定義は、請求項で使用される係る項の意味を支配する。従って、請求項で明示的に引用されない限定、エレメント、特性、特徴、利点又は属性がないことは、多少なりとも係る請求項の範囲を制限するべきではない。明細書及び図面は、限定的な意味ではなく例示的なものと見なされる。
いくつかの態様を記載しておく。
〔態様1〕
2チャンネル音声信号からパラメトリック・ステレオ・パラメータを決定するよう構成されるシステムであって、該システムは:
−前記2チャンネル音声信号から得られるサイド信号のノイズの特性を表わすインパクト・ファクタを決定するよう構成されるノイズ推定ステージと、
−前記2チャンネル音声信号および前記インパクト・ファクタに基づいて、前記パラメトリック・ステレオ・パラメータを決定するよう構成されるパラメトリック・ステレオ・パラメータ推定ステージと、
含む、システム。
〔態様2〕
前記2チャンネル音声信号は中央信号及びサイド信号として表現することができ、対応する左及び右の音声信号を表す、態様1記載のシステム。
〔態様3〕
補助音声信号と前記パラメトリック・ステレオ・パラメータとに基づいて、出力音声信号を生成するよう構成されるアップミックス・ステージを更に含み、前記補助音声信号は前記2チャンネル音声信号から得られる、態様1乃至は2記載のシステム。
〔態様4〕
前記パラメトリック・ステレオ・パラメータは、前記2チャンネル音声信号に基づくステレオ信号の生成のために適用される非相関の量に影響を与える、態様1記載のシステム。
〔態様5〕
前記インパクト・ファクタは前記サイド信号のスペクトル平坦性の特性を表わす、態様1乃至4のいずれか1つに記載のシステム。
〔態様6〕
前記パラメトリック・ステレオ・パラメータ推定ステージは
−前記2チャンネル音声信号の第一信号フレームのサンプルを用いて、ノイズのあるパラメトリック・ステレオ・パラメータを決定し、
−前記インパクト・ファクタを用いて、前記ノイズのあるパラメトリック・ステレオ・パラメータを修正することにより前記パラメトリック・ステレオ・パラメータを決定するよう構成される、
態様5記載のシステム。
〔態様7〕
前記パラメトリック・ステレオ・パラメータ推定ステージは
−前記インパクト・ファクタが前記サイド信号のスペクトル平坦性の高い程度を示す場合、前記ノイズのあるパラメトリック・ステレオ・パラメータを修正し、そうしてステレオ信号の生成のために適用される非相関の量を低減するよう構成される、
態様6記載のシステム。
〔態様8〕
前記パラメトリック・ステレオ・パラメータ推定ステージは、前記ノイズのあるパラメトリック・ステレオ・パラメータ及び前記インパクト・ファクタに応じた関数から、前記パラメトリック・ステレオ・パラメータを決定するよう構成される、態様6又は7に記載のシステム。
〔態様9〕
前記パラメトリック・ステレオ・パラメータは前記2チャンネル音声信号の間の相関を示すインターチャンネル相互相関パラメータである、態様1乃至8のいずれか1つに記載のシステム。
〔態様10〕
−前記インターチャンネル相互相関パラメータは“−1”から“1”までの範囲をカバーし、
−前記インターチャンネル相互相関値“0”は左と右のチャンネルの間に相互相関が無いことを示し、
−前記インターチャンネル相互相関値“1”は左と右のチャンネルの間に完全な相互相関があることを示し、
−前記インターチャンネル相互相関値“−1”は左と右のチャンネルの間に負の完全な相互相関があることを示し、
−前記インパクト・ファクタは“0”から“1”までの範囲をカバーし、
−前記インパクト・ファクタ値“0”は平坦性の低い程度を示し、
−前記インパクト・ファクタ値“1”は平坦性の高い程度を示し、
−前記関数は、前記インパクト・ファクタ値が“0”の場合、前記ノイズのあるインターチャンネル相互相関の値を有し、及び、
−前記関数は、前記インパクト・ファクタ値が“1”の場合、値“1”を有する、
態様9記載のシステム。
〔態様11〕
前記パラメトリック・ステレオ・パラメータ推定ステージは、関数:
ICC_new=(impact factor)+(1−impact factor)ICCを用いて、前記ノイズのあるインターチャンネル相互相関パラメータICCから、インターチャンネル相互相関パラメータICC_newを決定するよう構成される、態様10記載のシステム。
〔態様12〕
前記ノイズ推定ステージは、
−前記サイド信号の第二信号フレームのパワースペクトルを計算し、
−前記パワースペクトルのスロープを補償し、それによって補償パワースペクトルを生じ、そして、
−前記補償パワースペクトルの値であって、SFMとして言及されるスペクトル平坦性指標を決定するよう構成される、
態様1乃至11のいずれか1つに記載のシステム。
〔態様13〕
前記第一と第二の信号フレームは一致する、態様6を引用する態様12記載のシステム。
〔態様14〕
前記SFM値は前記補償パワースペクトルの幾何平均と前記補償パワースペクトルの算術平均との比率として決定される、態様12又は13記載のシステム。
〔態様15〕
前記ノイズ推定ステージは
−前記SFM値をマップし、
−前記マップされたSFM値に基づいて第一のインパクト・ファクタを決定する、
態様12乃至14のいずれか1つに記載のシステム。
〔態様16〕
前記ノイズ推定ステージは前記第一インパクト・ファクタを“0”から“1”までの範囲にマップするよう構成される、態様15記載のシステム。
〔態様17〕
前記ノイズ推定ステージは
−第一の低い閾値を下回るSFM値に対して、第一のインパクト・ファクタを“0”に設定し、
−第一の高い閾値を上回るSFM値に対して、第一のインパクト・ファクタを“1”に設定し、
前記第一の低い閾値から前記第一の高い閾値までのSFM値を“0”から“1”までの範囲にスケーリングする、
態様16記載のシステム。
〔態様18〕
前記ノイズ推定ステージは、
−前記サイド信号の複数の信号フレームに対応する複数のSFM値を考慮することにより、平滑化SFM値を決定し、
−前記平滑化SFM値をマップし、
−前記マップされた平滑化SFM値に基づいて第二のインパクト・ファクタを決定するよう構成される、態様12乃至17のいずれか1つに記載のシステム。
〔態様19〕
前記ノイズ推定ステージは前記第二のインパクト・ファクタを“0”から“1”までの範囲にマップするよう構成される、態様18記載のシステム。
〔態様20〕
前記ノイズ推定ステージは、
−第二の低い閾値を下回る平滑化SFM値に対しては、前記第二のインパクト・ファクタを“0”に設定し、
−第二の高い閾値を上回る平滑化SFM値に対しては、前記第二のインパクト・ファクタを“1”に設定し、
−前記第二の低い閾値から前記第二の高い閾値までの平滑化SFM値を“0”から“1”までの範囲にスケーリングするよう構成される、
態様19記載のシステム。
〔態様21〕
前記第一と第二の低い閾値、及び/又は、前記第一と第二の高い閾値は異なるように設定することができる、態様20記載のシステム。
〔態様22〕
前記ノイズ推定ステージは前記第一と第二のインパクト・ファクタに基づいてインパクト・ファクタを決定するよう構成される、態様18乃至20のいずれか1つに記載のシステム。
〔態様23〕
前記ノイズ推定ステージは前記インパクト・ファクタとして前記第一と第二のインパクト・ファクタのうち大きい方を選択するよう構成される、態様22記載のシステム。
〔態様24〕
前記パラメトリック・ステレオ・パラメータ推定ステージは、チャンネル・レベル・ディフェレンスを示すパラメータを決定するよう更に構成される、態様1乃至23のいずれか1つに記載のシステム。
〔態様25〕
−前記中央信号Mと前記サイド信号Sは左音声信号Lと右音声信号Rと関連し、M=(L+R)/2及びS=(L−R)/2として表され、
−前記補助音声信号は(L+R)/aとして決定され、aは実数、好ましくはa=2である、
態様3乃至24のいずれか1つに記載のシステム。
〔態様26〕
パラメトリック・ステレオをサポートするオーディオ・エンコーダを更に含み、前記オーディオ・エンコーダはパラメトリック・ステレオ・エンコーダを含み、前記パラメトリック・ステレオ・パラメータ推定ステージは前記パラメトリック・ステレオ・エンコーダの部分である、態様1乃至25のいずれか1つに記載のシステム。
〔態様27〕
−前記システムは、前記FMステレオ受信機が前記ステレオ無線信号のモノラル出力を選択することを検出するよう構成され、又は、前記システムは、劣悪な無線受信を検出するよう構成され、
−前記FMステレオ受信機がモノラル出力にスイッチされるか、又は、劣悪な無線受信が発生するときは、ステレオ・アップミックス・ステージは1つ以上のアップミックス・パラメータを使用し、当該アップミックス・パラメータは前記パラメトリック・ステレオ・パラメータ推定ステージから以前に推定されたパラメトリック・ステレオ・パラメータに基づく、
態様3乃至26のいずれか1つに記載のシステム。
〔態様28〕
中央信号とサイド信号とを含むFM無線信号を受信するよう構成され、態様1乃至27のいずれか1つに記載のシステムを含む、FMステレオ無線受信機。
〔態様29〕
モバイル通信装置であって:
−中央信号とサイド信号とを含むFM無線信号を受信するよう構成されるFMステレオ受信機と、
−態様1乃至27のいずれか1つに記載のシステムと、を含む、
装置。
〔態様30〕
2チャンネル音声信号からパラメトリック・ステレオ・パラメータを決定する方法であって、該方法は:
−前記2チャンネル音声信号から得られるサイド信号のノイズの特性を表わすインパクト・ファクタを決定するステップと、
−前記パラメトリック・ステレオ・パラメータを決定するステップであって、前記決定するステップは前記2チャンネル音声信号と前記インパクト・ファクタとに基づく、ステップと、を含む、
方法。
〔態様31〕
プロセッサ上で実行されるよう適応され、コンピュータ・デバイス上で実行されると、態様30に係る方法ステップ群を実行する、ソフトウェア・プログラム。
〔態様32〕
プロセッサ上での実行に適応され、コンピュータ・デバイス上で実行されると、態様30に係る方法ステップ群を実行する、ソフトウェア・プログラムを含む記憶媒体。
〔態様33〕
コンピュータ上で実行されると、態様30の方法を実行する実行可能な命令を含む、コンピュータ・プログラム。

Claims (12)

  1. ビデオ信号をエンコードする方法であって:
    入力ビデオ信号の第一のダイナミックレンジの第一のコンテンツバージョンおよび前記入力ビデオ信号の第二のダイナミックレンジの第二のコンテンツバージョンを受領する段階であって、前記第一のダイナミックレンジは前記第二のダイナミックレンジより高い、段階と、
    前記第一のコンテンツバージョンおよび前記第二のコンテンツバージョンにマッピング推定プロセスを適用して第三のコンテンツバージョン、第四のコンテンツバージョン及び前記第三と第四のコンテンツバージョンの間の可逆的なマッピング関数を生成する段階であって、前記第三のコンテンツバージョンは、前記第四のコンテンツバージョンに前記マッピング関数の逆を適用することによって生成される、前記第一のコンテンツバージョンの修正バージョンを表わし、前記第一のダイナミックレンジをもち、前記第四のコンテンツバージョンは前記第二のコンテンツバージョンの、より高ビット精度のバージョンを表わし、前記第二のダイナミックレンジをもつ、段階と、
    前記第四のコンテンツバージョンの符号化された表現および前記可逆的なマッピング関数に基づいて出力符号化ビットストリームを生成する段階とを含む、
    方法。
  2. 前記第一のコンテンツバージョンは前記入力信号のハイダイナミックレンジ(HDR)表現を含み、前記第二のコンテンツバージョンは前記入力信号のロウダイナミックレンジ(LDR)表現を含む、請求項1記載の方法。
  3. 前記第四のコンテンツバージョンは、前記第二のコンテンツバージョンより高精度のビット深度をもつ、請求項1記載の方法。
  4. 前記出力符号化ビットストリームを生成する段階が、前記第四のコンテンツバージョンおよび前記可逆的なマッピング関数を符号化して、H.264ビデオ符号化規格に準拠するビットストリームおよび関係したメタデータを生成する、請求項1記載の方法。
  5. マッピング関数M[]およびその逆はM-1[]が与えられたとき、
    VDR'=M-1[SDR']かつSDR'=M[VDR']であり、
    VDR'は前記入力ビデオ信号の前記第三のコンテンツバージョンを表わし、SDR'は前記入力ビデオ信号の前記第四のコンテンツバージョンを表わす、
    請求項1記載の方法。
  6. 前記マッピング推定プロセスの適用は:
    第一の画像および第二の画像にアクセスする段階であって、前記入力ビデオ信号中のあるシーンについて、前記第一の画像および前記第二の画像は前記第一のコンテンツバージョンおよび前記第二のコンテンツバージョンにおける前記シーンの対応する表現である、段階と;
    前記第一の画像を使って前記第三のコンテンツバージョン中の第三の画像を初期化する段階と;
    前記第二の画像を使って前記第四のコンテンツバージョン中の第四の画像を初期化する段階と;
    前記第三の画像と前記第四の画像との間の推定される可逆的なマッピング関数を生成する段階と;
    前記可逆的なマッピング関数の精度を評価する段階と;
    前記評価する段階が所定の基準を満たさない場合、前記第三の画像および前記第四の画像の少なくとも一方および前記マッピング関数を修正する段階とを含む、
    請求項1記載の方法。
  7. 前記マッピング推定プロセスは、前記第一の画像および前記第二の画像の少なくとも二つの色成分に対して作用する、請求項6記載の方法。
  8. 前記推定される可逆的なマッピング関数がS形の多項式曲線に従う、請求項6記載の方法。
  9. 請求項1記載の方法であって、さらに:
    デコーダにおいて、前記出力符号化ビットストリームを受領する段階と;
    前記可逆的なマッピング関数を抽出し、前記第四のコンテンツバージョンの前記符号化表現に基づいて復号信号を生成する段階と;
    前記復号信号に基づいて第五の信号を生成する段階であって、前記第五の信号は前記第二のダイナミックレンジの前記入力信号の復号されたバージョンを表わす、段階と;
    前記復号信号および前記可逆的なマッピング関数に基づいて第六の信号を生成する段階であって、前記第六の信号は前記第一のダイナミックレンジの前記入力信号の復号されたバージョンを表わす、段階とを含む、
    方法。
  10. マッピング関数M[]およびその逆はM-1[]が与えられたとき、
    VDR'=M-1[SDR']であり、
    VDR'は前記第六の信号を表わし、SDR'は前記復号信号を表わす、
    請求項9記載の方法。
  11. エンコーダおよびデコーダおよび請求項1乃至10の何れか一項記載の処理段階を実行する手段を備えるシステム。
  12. 請求項1乃至10の何れか一項記載の方法に従ってプロセッサを用いて方法を実行するためのコンピュータ実行可能命令を記録した非一時的なコンピュータ読み取り可能な記憶媒体。
JP2015063942A 2010-08-25 2015-03-26 画像のダイナミックレンジの拡大 Active JP6019157B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37690710P 2010-08-25 2010-08-25
US61/376,907 2010-08-25
US201161474644P 2011-04-12 2011-04-12
US61/474,644 2011-04-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013526106A Division JP5723008B2 (ja) 2010-08-25 2011-08-23 画像のダイナミックレンジの拡大

Publications (2)

Publication Number Publication Date
JP2015111959A JP2015111959A (ja) 2015-06-18
JP6019157B2 true JP6019157B2 (ja) 2016-11-02

Family

ID=44533231

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013526106A Active JP5723008B2 (ja) 2010-08-25 2011-08-23 画像のダイナミックレンジの拡大
JP2015063942A Active JP6019157B2 (ja) 2010-08-25 2015-03-26 画像のダイナミックレンジの拡大

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013526106A Active JP5723008B2 (ja) 2010-08-25 2011-08-23 画像のダイナミックレンジの拡大

Country Status (6)

Country Link
US (2) US9264681B2 (ja)
EP (1) EP2609746B1 (ja)
JP (2) JP5723008B2 (ja)
CN (1) CN103069809B (ja)
TW (2) TWI479898B (ja)
WO (1) WO2012027405A2 (ja)

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743291B2 (en) 2011-04-12 2014-06-03 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
WO2012142506A1 (en) 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
CN107105229B9 (zh) 2011-04-14 2020-03-31 杜比实验室特许公司 图像解码方法、视频解码器和非暂态计算机可读存储介质
US8971408B2 (en) 2011-04-14 2015-03-03 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
US9066070B2 (en) 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
CN103535038B (zh) 2011-05-16 2017-10-13 杜比实验室特许公司 用于分层vdr编码的有效架构
US9060180B2 (en) 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
EP2719176B1 (en) 2011-06-13 2021-07-07 Dolby Laboratories Licensing Corporation Visual display resolution prediction based on fused regions
EP2557789B1 (en) 2011-08-09 2017-09-27 Dolby Laboratories Licensing Corporation Guided image up-sampling in video coding
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
EP2603000B1 (en) 2011-12-08 2017-11-01 Dolby Laboratories Licensing Corporation Guided prediction-filtering in layered vdr image coding
EP2792145B1 (en) * 2011-12-15 2018-03-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
TWI606718B (zh) 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
EP2803190B1 (en) 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
US9420302B2 (en) 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
CN104584526B (zh) * 2012-08-16 2016-04-13 富士胶片株式会社 图像文件生成装置及显示装置
CN110084755B (zh) 2012-11-16 2023-05-23 交互数字麦迪逊专利控股公司 用于图像处理的方法、装置及介质
EP2941872B1 (en) 2013-01-02 2018-09-26 Dolby Laboratories Licensing Corporation Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
JP6205000B2 (ja) 2013-03-11 2017-09-27 ドルビー ラボラトリーズ ライセンシング コーポレイション 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
US9628808B2 (en) 2013-03-26 2017-04-18 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer VDR coding
US8866975B1 (en) 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
EP2997732A1 (en) * 2013-05-15 2016-03-23 VID SCALE, Inc. Single loop decoding based inter layer prediction
WO2014204865A1 (en) 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
JP2015005878A (ja) 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI513310B (zh) * 2013-07-12 2015-12-11 Univ Nat Yunlin Sci & Tech 攝影機動態範圍擴展裝置及方法
WO2015007510A1 (en) 2013-07-16 2015-01-22 Koninklijke Philips N.V. Method and apparatus to create an eotf function for a universal code mapping for an hdr image, method and process to use these images
TWI630821B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
TWI632810B (zh) * 2013-07-19 2018-08-11 新力股份有限公司 Data generating device, data generating method, data reproducing device, and data reproducing method
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
US9800855B2 (en) 2013-08-20 2017-10-24 Sony Corporation Reproduction device, reproduction method, and recording medium
CN105493489B (zh) * 2013-08-22 2019-02-22 杜比实验室特许公司 色域映射系统及方法
US9712834B2 (en) 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
EP3055993B1 (en) 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
US9648351B2 (en) 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
CN105723711B (zh) 2013-11-12 2019-05-07 杜比实验室特许公司 高动态范围视频编码中的预抖动方法、装置及存储介质
JP6042583B2 (ja) * 2013-11-13 2016-12-14 ドルビー ラボラトリーズ ライセンシング コーポレイション Edrビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー
WO2015077329A1 (en) 2013-11-22 2015-05-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
WO2015103124A1 (en) * 2014-01-02 2015-07-09 Vid Scale, Inc. Color space conversion
JP6282357B2 (ja) * 2014-01-06 2018-02-21 エルジー エレクトロニクス インコーポレイティド カラーガマットリサンプリングに基づく放送信号送受信方法及び装置
CN110266912A (zh) * 2014-02-07 2019-09-20 索尼公司 发送装置、接收装置、及显示装置
WO2015123067A1 (en) 2014-02-13 2015-08-20 Dolby International Ab Piecewise inter-layer prediction for signals with enhanced dynamic range
US9277196B2 (en) * 2014-02-19 2016-03-01 DDD IP Ventures, Ltd. Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
WO2015130796A1 (en) * 2014-02-25 2015-09-03 Apple Inc. Adaptive video processing
CN104954770A (zh) * 2014-03-31 2015-09-30 联咏科技股份有限公司 图像处理装置及其方法
JP6536573B2 (ja) 2014-04-22 2019-07-03 ソニー株式会社 符号化装置、符号化方法、送信装置、送信方法、受信装置、受信方法およびプログラム
CN106134172B (zh) * 2014-06-10 2019-10-01 松下知识产权经营株式会社 显示系统、显示方法及显示装置
CN106105177B (zh) * 2014-06-10 2019-09-27 松下知识产权经营株式会社 变换方法及变换装置
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
EP3155799A1 (en) * 2014-06-12 2017-04-19 Thomson Licensing Method of mapping source colors of a source content
CN106416261B (zh) * 2014-06-13 2020-06-26 索尼公司 传输设备、传输方法、接收设备以及接收方法
JP6330507B2 (ja) * 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
JP6512458B2 (ja) * 2014-06-30 2019-05-15 パナソニックIpマネジメント株式会社 データ再生方法及び再生装置
US9866734B2 (en) 2014-08-26 2018-01-09 Dolby Laboratories Licensing Corporation Scene-change detection using video stream pairs
US10542265B2 (en) 2014-09-09 2020-01-21 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
WO2016047085A1 (ja) * 2014-09-22 2016-03-31 パナソニックIpマネジメント株式会社 再生方法および再生装置
JP6302600B2 (ja) 2014-09-26 2018-03-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 知覚的量子化されたビデオコンテンツの符号化および復号化
EP3010231A1 (en) * 2014-10-17 2016-04-20 Thomson Licensing Method for color mapping a video signal based on color mapping data and method of encoding a video signal and color mapping data and corresponding devices
EP3213291B1 (en) 2014-10-27 2019-11-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
PT3217672T (pt) * 2014-11-07 2021-04-19 Sony Corp Aparelho de transmissão, método de transmissão, aparelho de receção e método de receção
US10136133B2 (en) 2014-11-11 2018-11-20 Dolby Laboratories Licensing Corporation Rate control adaptation for high-dynamic range images
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
US10869099B2 (en) 2014-11-26 2020-12-15 Sony Corporation Transmission device, transmission method, reception device, and reception method
FI4093036T3 (fi) * 2014-12-03 2023-11-09 Panasonic Ip Man Co Ltd Datangenerointimenetelmä
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US10531109B2 (en) * 2015-01-27 2020-01-07 Dolby Laboratories Licensing Corporation Predictive image encoding and decoding with pixel group based quantization
KR102529013B1 (ko) * 2015-01-30 2023-05-08 인터디지털 브이씨 홀딩스 인코포레이티드 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치
KR101818900B1 (ko) 2015-02-17 2018-02-21 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측
CA2976183C (en) 2015-02-17 2023-06-20 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
MX371493B (es) * 2015-03-05 2020-01-31 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
EP3067882A1 (en) * 2015-03-10 2016-09-14 Thomson Licensing Adaptive color grade interpolation method and device
WO2016153896A1 (en) 2015-03-20 2016-09-29 Dolby Laboratories Licensing Corporation Signal reshaping approximation
US10687080B2 (en) 2015-08-28 2020-06-16 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
EP3345155B1 (en) * 2015-08-31 2019-06-26 InterDigital VC Holdings, Inc. Method and apparatus for inverse tone mapping
EP3142002A1 (en) 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
CN108141599B (zh) 2015-09-23 2022-01-18 杜比实验室特许公司 在视频编解码器中保留纹理/噪声一致性
CN106878694B (zh) * 2015-12-10 2018-12-18 瑞昱半导体股份有限公司 高动态范围信号处理系统与方法
CN108370405B (zh) * 2015-12-23 2019-11-26 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN106937121B (zh) * 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
US10032262B2 (en) * 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
US10223774B2 (en) 2016-02-02 2019-03-05 Dolby Laboratories Licensing Corporation Single-pass and multi-pass-based polynomial approximations for reshaping functions
EP3220645A1 (en) 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
US10440401B2 (en) 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability
US10699391B2 (en) * 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
EP3456058A1 (en) * 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
PL3813365T3 (pl) * 2016-06-22 2023-12-27 Dolby Laboratories Licensing Corporation Renderowanie z szeroką gamą barw, obrazów dwuwymiarowych (2d) na wyświetlaczach umożliwiających wyświetlanie trzy-wymiarowe (3d)
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10602110B2 (en) * 2016-08-26 2020-03-24 Dolby Laboratories Licensing Corporation Chroma reshaping based on just noticeable differences
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
KR102340082B1 (ko) * 2016-09-20 2021-12-15 소니그룹주식회사 영상 신호 처리 장치, 영상 신호 처리 방법 및 영상 신호 처리 시스템
US20180097527A1 (en) * 2016-10-03 2018-04-05 Microsoft Technology Licensing, Llc 32-bit hdr pixel format with optimum precision
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
CN106911903A (zh) * 2017-03-15 2017-06-30 四川长虹电器股份有限公司 一种sdr信号转hdr信号效果的画质数据处理方法
EP3383017A1 (en) * 2017-03-31 2018-10-03 Thomson Licensing Method and device for color gamut mapping
CN110770787B (zh) 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
JP6584538B2 (ja) * 2018-01-16 2019-10-02 トムソン ライセンシングThomson Licensing 高ダイナミックレンジ画像の処理
BR112020016821B1 (pt) 2018-02-28 2022-08-09 Dolby Laboratories Licensing Corporation Método de geração de metadados de remodelagem de luma e croma com um sistema de processamento, meio legível por máquina e sistema de gerenciamento de exibição
US10609424B2 (en) 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
US10445865B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and apparatus for converting low dynamic range video to high dynamic range video
US10917583B2 (en) 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US10628929B2 (en) 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
CN110691277B (zh) 2018-07-05 2024-03-05 华为技术有限公司 视频信号的处理方法及装置
JP7138935B2 (ja) * 2018-10-19 2022-09-20 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
EP3664017B1 (en) * 2018-12-06 2022-03-02 Robert Bosch GmbH Method and device for digital image or video data processing
US10832389B2 (en) 2018-12-13 2020-11-10 Ati Technologies Ulc Method and system for improved visibility in blended layers for high dynamic range displays
CN113196754B (zh) 2018-12-19 2023-10-03 杜比实验室特许公司 用于减少条带伪影的方法、以及计算机可读存储介质
ES2945657T3 (es) * 2019-04-25 2023-07-05 Dolby Laboratories Licensing Corp Analizador de rango de PQ con consciencia de contenido, y mapeo de tono en alimentaciones en vivo
CN110312136A (zh) * 2019-05-10 2019-10-08 同济大学 一种对多分量数据的编码和解码方法
US20220256071A1 (en) * 2019-08-12 2022-08-11 Dolby Laboratories Licensing Corporation Adaptive image data linearization for hdr image sensors
TWI812874B (zh) 2019-10-01 2023-08-21 美商杜拜研究特許公司 張量乘積之b平滑曲線預測子
CN115797151A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机设备和存储介质

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5249784B2 (ja) 1973-09-14 1977-12-20
JP3509448B2 (ja) 1996-04-12 2004-03-22 ソニー株式会社 ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法
JP3709566B2 (ja) 1997-05-07 2005-10-26 ソニー株式会社 映像信号処理装置、カラービデオカメラ及び映像信号の処理方法
US6282312B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company System using one or more residual image(s) to represent an extended color gamut digital image
US6282313B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company Using a set of residual images to represent an extended color gamut digital image
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
EP2239725B1 (en) 2001-06-07 2013-10-23 Genoa Color Technologies Ltd. System and method of data conversion for wide gamut displays
DE50210590D1 (de) 2002-06-06 2007-09-13 Imaging Solutions Ag Farbmanagement mit Referenzgamut
US20040170319A1 (en) 2003-02-28 2004-09-02 Maurer Ron P. System and method of gamut mapping image data
US7181065B2 (en) 2004-01-07 2007-02-20 Texas Instruments Incorporated Enhanced color correction circuitry capable of employing negative RGB values
US7308135B2 (en) * 2004-01-14 2007-12-11 Eastman Kodak Company Constructing extended color gamut digital images from limited color gamut digital images
KR100601942B1 (ko) * 2004-02-26 2006-07-14 삼성전자주식회사 색 변환 방법 및 장치 및 이를 이용한 다색 디스플레이 장치
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7602537B2 (en) * 2004-05-06 2009-10-13 Canon Kabushiki Kaisha Gamut mapping with primary color rotation
US8050512B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
KR20060081536A (ko) 2005-01-10 2006-07-13 삼성전자주식회사 영상의 rgb 정보를 이용한 블랙/화이트 스트레칭 시스템
WO2006085274A2 (en) * 2005-02-10 2006-08-17 Koninklijke Philips Electronics N.V. Method of displaying an image and correspond image-display system
JP4687320B2 (ja) * 2005-08-11 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US7822270B2 (en) * 2005-08-31 2010-10-26 Microsoft Corporation Multimedia color management system
US7414631B2 (en) 2005-09-08 2008-08-19 Canon Kabushiki Kaisha Perceptual gamut mapping with multiple gamut shells
CN101371583B (zh) * 2006-01-23 2012-03-21 马普科技促进协会 编码/解码高动态范围图像的方法和设备
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
KR20080102117A (ko) * 2006-03-20 2008-11-24 소니 가부시끼 가이샤 화상신호처리장치 및 화상신호처리방법
US8339412B2 (en) * 2006-04-26 2012-12-25 Panasonic Corporation Video processing device, recording medium, video signal processing method, video signal processing program, and integrated circuit
JP2010506440A (ja) * 2006-09-30 2010-02-25 トムソン ライセンシング ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8237865B2 (en) 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
CN101622878B (zh) 2007-01-10 2015-01-14 汤姆逊许可公司 用于实现位深度可分级性的视频编解码方法和视频编解码设备
US7826673B2 (en) 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
EP2132924B1 (fr) 2007-04-03 2018-04-18 Thomson Licensing DTV Procedes et systemes pour des affichages de correction chromatique avec des gammes chromatiques differentes
TW200845723A (en) 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
US20080266314A1 (en) 2007-04-26 2008-10-30 Mark Melvin Butterworth Nonlinearly extending a color gamut of an image
EP2143279B1 (en) 2007-06-29 2010-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US7983502B2 (en) * 2007-08-06 2011-07-19 Microsoft Corporation Viewing wide angle images using dynamic tone mapping
US8175158B2 (en) 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
TWI489442B (zh) 2008-04-03 2015-06-21 Sunplus Technology Co Ltd Adaptive color space conversion system and method
EP2120448A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2010043922A1 (en) 2008-10-17 2010-04-22 Trellis Management Co., Ltd. High dynamic range texture and video coding
KR101539379B1 (ko) 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
CN102388612B (zh) * 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
WO2011133505A1 (en) 2010-04-19 2011-10-27 Dolby Laboratories Licensing Corporation Quality assessment of high dynamic range, visual dynamic range and wide color gamut image and video
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith

Also Published As

Publication number Publication date
JP5723008B2 (ja) 2015-05-27
JP2013543290A (ja) 2013-11-28
WO2012027405A3 (en) 2012-12-13
WO2012027405A2 (en) 2012-03-01
US20160134853A1 (en) 2016-05-12
EP2609746A2 (en) 2013-07-03
TWI479898B (zh) 2015-04-01
US20130148029A1 (en) 2013-06-13
JP2015111959A (ja) 2015-06-18
EP2609746B1 (en) 2020-03-25
TW201223293A (en) 2012-06-01
TWI559779B (zh) 2016-11-21
CN103069809B (zh) 2015-11-25
CN103069809A (zh) 2013-04-24
US10158835B2 (en) 2018-12-18
US9264681B2 (en) 2016-02-16
TW201440531A (zh) 2014-10-16

Similar Documents

Publication Publication Date Title
JP6019157B2 (ja) 画像のダイナミックレンジの拡大
US10419689B2 (en) Mapping between linear luminance values and luma codes
JP6356190B2 (ja) グローバルなディスプレイ管理ベースの光変調
KR102121676B1 (ko) 지각 코드 공간에서 디스플레이를 동작시키기 위한 기술들
KR102385015B1 (ko) 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 방법
CN107409210B (zh) 匹配不同动态范围的彩色图片之间的色彩的方法和设备
WO2012142285A2 (en) Quality assessment for images that have extended dynamic ranges or wide color gamuts
EP2807823B1 (en) Piecewise cross color channel predictor
KR20180123046A (ko) 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스
CN110770787B (zh) 高效端到端单层逆向显示管理编码
JP2019515562A (ja) 高ダイナミックレンジ画像を符号化ビットストリームへ符号化/復号する方法と装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161003

R150 Certificate of patent or registration of utility model

Ref document number: 6019157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250