JP6947893B2 - コード化および復号方法ならびに対応するデバイス - Google Patents

コード化および復号方法ならびに対応するデバイス Download PDF

Info

Publication number
JP6947893B2
JP6947893B2 JP2020165345A JP2020165345A JP6947893B2 JP 6947893 B2 JP6947893 B2 JP 6947893B2 JP 2020165345 A JP2020165345 A JP 2020165345A JP 2020165345 A JP2020165345 A JP 2020165345A JP 6947893 B2 JP6947893 B2 JP 6947893B2
Authority
JP
Japan
Prior art keywords
dynamic range
color
component
high dynamic
luminance component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020165345A
Other languages
English (en)
Other versions
JP2021013172A (ja
Inventor
ルリアネック,ファブリス
ギャルピン,フランク
ラセール,セバスチャン
Original Assignee
インターデジタル マディソン パテント ホールディングス, エスアーエス
インターデジタル マディソン パテント ホールディングス, エスアーエス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル マディソン パテント ホールディングス, エスアーエス, インターデジタル マディソン パテント ホールディングス, エスアーエス filed Critical インターデジタル マディソン パテント ホールディングス, エスアーエス
Publication of JP2021013172A publication Critical patent/JP2021013172A/ja
Application granted granted Critical
Publication of JP6947893B2 publication Critical patent/JP6947893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Description

本開示は、概して、ピクチャ/ビデオの符号化および復号に関する。具体的には、排他的ではないが、本開示の技術分野は、その画素値が高ダイナミックレンジに属するピクチャの復号に関する。
本項目は、以下で説明および/または特許請求される本開示の様々な態様に関連し得る当技術分野の様々な態様を読者に紹介することを意図する。この論考は、本開示の様々な態様をより良く理解するために背景情報を読者に提供する上で役立つと考えられている。それに従って、これらの説明は、これを踏まえて読み進めるべきであり、先行技術を容認するものとして読み進めるべきではないことを理解すべきである。
以下では、カラーピクチャは、ピクチャ(またはビデオ)の画素値に対するすべての情報と、例えば、ピクチャ(またはビデオ)を視覚化および/または復号するためにディスプレイおよび/または他の任意のデバイスによって使用することができるすべての情報とを規定する特定のピクチャ/ビデオフォーマットのいくつかのサンプルアレイ(画素値)を含む。カラーピクチャは、通常はルマ(または輝度)成分である第1のサンプルアレイの形状の少なくとも1つの成分と、少なくとも1つの他のサンプルアレイの形状の少なくとも1つの別の成分とを含む。あるいは、同じように、同一の情報は、従来の3色RGB表現などのカラーサンプル(色成分)アレイセットによって表すこともできる。
画素値は、nの値のベクトルによって表すことができ、nは、成分の数である。ベクトルの各値は、画素値の最大ダイナミックレンジを規定するビットの数で表される。
標準ダイナミックレンジピクチャ(SDRピクチャ)は、通常は、2の累乗またはFストップで測定される、限定されたダイナミックでその輝度値が表されるカラーピクチャである。SDRピクチャは、およそ10Fストップ、すなわち、線形領域において、最も明るい画素と最も暗い画素の比率が1000であるダイナミックを有し、限定された数のビット(最も良く使用されるのは8または10ビット)を用いて、(HDTV(高解像度テレビシステム)およびUHDTV(超高解像度テレビシステム)で、非線形領域において、ダイナミックを低らすために、例えば、ITU−R BT.709 OEFT(光電気伝達関数)(Rec.ITU−R BT.709−5、2002年4月)またはITU−R BT.2020 OETF(Rec.ITU−R BT.2020−1、2014年6月)を使用してコード化される。この限定された非線形の表現では、暗いおよび明るい輝度範囲において特に、細かく変化する信号の全てのレンダリングを正確に行うことはできない。高ダイナミックレンジピクチャ(HDRピクチャ)では、信号のダイナミックは、より高くなり(20Fストップに至るまで、最も明るい画素と最も暗い画素の比率は100万)、そのレンジ全体にわたって高い信号精度を維持するために、新たな非線形表現が必要とされる。HDRピクチャでは、生データは、通常は、浮動小数点フォーマット(各成分に対して32ビットまたは16ビット、すなわち、単精度浮動小数点または半精度浮動小数点)で表される。最も人気があるフォーマットは、openEXR半精度浮動小数点フォーマット(RGB成分毎に16ビット、すなわち、画素毎に48ビット)であるか、または、通常は、少なくとも16ビットのlong型表現の整数値である。
色域は、ある特定の完全な色のセットである。最も一般的な用法は、所定の色空間内においてまたはある特定の出力デバイスによってなど、所定の状況において正確に表すことができる色のセットを指す。色域は、場合により、CIE1931色空間色度図において規定されるRGB原色および白色点によって規定される。
例えば、色域は、UHDTVに対するRGB ITU−R推奨BT.2020色空間によって規定される。以前の規格である、ITU−R推奨BT.709は、HDTVに対してより小さな色域を規定している。SDRでは、ダイナミックレンジは、データがコード化されるカラーボリュームに対して最大で100ニト(カンデラ毎平方メートル)と公式に規定されているが、ディスプレイ技術の中には、より明るい画素を示すものもある。
高ダイナミックレンジピクチャ(HDRピクチャ)は、SDRピクチャのダイナミックより高いHDRダイナミックでその輝度値が表されるカラーピクチャである。
HDRダイナミックは、未だ規格による規定は済んでいないが、ダイナミックレンジが数千ニトに至ることが期待されるであろう。例えば、HDRカラーボリュームは、RGB BT.2020色空間によって規定され、このRGB色空間において表される値は、0〜4000ニトのダイナミックレンジに属する。HDRカラーボリュームの別の例は、RGB BT.2020色空間によって規定され、このRGB色空間において表される値は、0〜1000ニトのダイナミックレンジに属する。
ピクチャ(またはビデオ)のカラーグレーディングは、ピクチャ(またはビデオ)の色を変更/強調するプロセスである。通常は、ピクチャのカラーグレーディングは、このピクチャに対するカラーボリューム(色空間および/またはダイナミックレンジ)の変化または色域の変化を伴う。従って、同じピクチャの2つの異なるカラーグレーディングされたバージョンは、異なるカラーボューム(または色域)で表される値を有するこのピクチャのバージョン、または、それらの色の少なくとも1つが異なるカラーグレードに従って変更/強調されたピクチャのバージョンである。これは、ユーザインタラクションを伴い得る。
例えば、映画の製作では、ピクチャおよびビデオは、3色カメラを使用して、3つの成分(赤、緑および青)から構成されるRGBカラー値に捕捉される。RGBカラー値は、センサの3色特性(原色)に依存する。そして、劇場用にレンダリングするために(特定の劇場用グレードを使用して)、捕捉ピクチャの第1のカラーグレーディングされたバージョンが得られる。通常、捕捉されたピクチャの第1のカラーグレーディングされたバージョンの値は、UHDTVに対するパラメータ値を規定するBT.2020などの標準的なYUVフォーマットに従って表される。
次いで、カラリストは、通常は撮影監督と連携して、アーティスティックな意図を組み込むために、いくつかのカラー値を微調整/マイナーチェンジすることによって、捕捉されたピクチャの第1のカラーグレーディングされたバージョンのカラー値の制御を実行する。
解決すべき問題は、圧縮されたHDRピクチャ(またはビデオ)を配信することであり、その一方でまた、このHDRピクチャ(またはビデオ)がカラーグレーディングされたバージョンを表す関連するSDRピクチャ(またはビデオ)を配信することである。
自明な解決法は、SDRピクチャ(またはビデオ)とHDRピクチャ(またはビデオ)の両方を配信インフラストラクチャ上で同時放送することであるが、その欠点は、HEVC main 10プロファイルなど、SDRピクチャ(またはビデオ)をブロードキャストするように構成された旧来のインフラストラクチャ配信と比べて、必要な帯域幅が事実上倍増することである(“High Efficiency Video Coding”, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, April 2013)。
旧来の配信インフラストラクチャを使用することは、HDRピクチャ(またはビデオ)の配信の普及を加速させるために必要である。さらに、ピクチャ(またはビデオ)のSDRバージョンとHDRバージョンの両方の良好な品質を確保した上で、ビットレートを最小限にしなければならない。
その上、後方互換性が確保されることがある。すなわち、SDRピクチャ(またはビデオ)は、旧来のデコーダおよびディスプレイが装備されたユーザによって視認可能とならなければならない。つなり、特に、知覚される明度全体(すなわち、暗いシーンに対する明るいシーン)および知覚される色が保持(例えば、色相などが保持)されるべきである。
別の明快な解決法は、適切な非線形関数によって、HDRピクチャ(またはビデオ)のダイナミックレンジを、通常、HEVC main 10プロファイルによって直接圧縮された、限定された数のビット(例えば、10ビット)に低減することである。このような非線形関数(曲線)は、SMPTEにおいてDolby社によって提案された、いわゆるPQ EOTFのようなものが既に存在する(SMPTE standard: High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014)。
この解決法の欠点は、後方互換性の欠如である。すなわち、得られたピクチャ(ビデオ)を縮小したバージョンは、SDRピクチャ(またはビデオ)として視認可能であると考えるには十分な視覚品質を有さず、圧縮性能が幾分低い。
本開示は、前述を考慮に入れて考案された。
− ビットストリームから少なくとも1つのルマ成分および2つのクロマ成分を復号することと、
− カラーメタデータを復号することであって、前記メタデータが、色変換タイプを表す構文要素、逆伝達(inverse transfer)タイプを表す構文要素および色変換行列を表す構文要素の少なくとも1つを含む、復号することと、
− 色変換タイプを表す前記構文要素に応答して、ルマおよび/またはクロマ成分を色変換することと、
− 逆伝達タイプを表す構文要素に応答して、第1、第2および第3の成分を得るために、色変換されたルマおよび/またはクロマに逆伝達演算を適用することと、
− RGB高ダイナミックレンジピクチャを得るために、色変換行列を表す前記構文要素に応答して、色変換行列を適用することと
を含む復号方法が開示される。
− 1つのルマ成分および2つのクロマ成分を表すコード化データと、
− 色変換タイプを表す構文要素、逆伝達タイプを表す構文要素および色変換行列を表す構文要素の少なくとも1つを含むカラーメタデータと
を含むビデオ信号も開示される。
− RGB高ダイナミックレンジピクチャをより低いダイナミックレンジの少なくとも1つのルマ成分および2つのクロマ成分に変換することと、
− 少なくとも1つのルマ成分および2つのクロマ成分をコード化することと、
− カラーメタデータをコード化することであって、前記メタデータが、色変換タイプを表す構文要素、逆伝達タイプを表す構文要素および色変換行列を表す構文要素の少なくとも1つを含む、コード化することと
を含むコード化方法が開示される。
ビットストリームにアクセスするように構成された通信インタフェースと、
− 前記ビットストリームから少なくとも1つのルマ成分および2つのクロマ成分を復号することと、
− カラーメタデータを復号することであって、前記メタデータが、色変換タイプを表す構文要素、逆伝達タイプを表す構文要素および色変換行列を表す構文要素の少なくとも1つを含む、復号することと、
− 色変換タイプを表す前記構文要素に応答して、ルマおよび/またはクロマ成分を色変換することと、
− 逆伝達タイプを表す構文要素に応答して、第1、第2および第3の成分を得るために、色変換されたルマおよび/またはクロマに逆伝達演算を適用することと、
− RGB高ダイナミックレンジ信号を得るために、色変換行列を表す前記構文要素に応答して、色変換行列を適用することと
を行うように構成された少なくとも1つのプロセッサとを含むデコーダが開示される。
RGB高ダイナミックレンジピクチャにアクセスするように構成された通信インタフェースと、
− 前記RGB高ダイナミックレンジ信号をより低いダイナミックレンジの少なくとも1つのルマ成分および2つのクロマ成分に変換することと、
− 少なくとも1つのルマ成分および2つのクロマ成分をコード化することと、
− カラーメタデータをコード化することであって、前記メタデータが、色変換タイプを表す構文要素、逆伝達タイプを表す構文要素および色変換行列を表す構文要素の少なくとも1つを含む、コード化することと
を行うように構成された少なくとも1つのプロセッサとを含むコーダが開示される。
図面では、本開示の実施形態を示す。
本開示の実施形態による、カラーピクチャを符号化する方法のステップの図を概略的に示す。 本開示の実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のステップの図を概略的に示す。 本開示の別の実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のステップの図を概略的に示す。 本開示のさらなる別の実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のステップの図を概略的に示す。 実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のフローチャートを描写する。 実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のフローチャートを描写する。 実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のフローチャートを描写する。 実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のフローチャートを描写する。 実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のフローチャートを描写する。 実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法のフローチャートを描写する。 色空間における線と楕円体との交差における可能な解を示す。 本開示の実施形態による、受信機のアーキテクチャの例を示す。 本開示の実施形態による、送信機のアーキテクチャの例を示す。
本開示は、本開示の実施形態が示される添付の図を参照して、以下でより詳細に説明する。しかし、この開示は、多くの代替の形態で具体化することができ、本明細書に記載される実施形態に限定されるものと解釈すべきではない。それに従って、本開示は様々な変更形態および代替の形態の影響を受けやすいが、その具体的な実施形態は、図面では例として示され、本明細書で詳細に説明する。しかし、本開示を開示される特定の形態に限定するという意図は全くなく、それどころか、本開示は、請求項で定義されるような本開示の精神および範囲内に収まるすべての変更形態、均等形態および代替の形態を含むものであることを理解すべきである。
本明細書で使用される専門用語は、特定の実施形態について説明するためだけのものであり、本開示を制限することを意図しない。本明細書で使用される場合は、「a」、「an」および「the」の単数形は、文脈で明確に示されない限り、複数形も含むことを意図する。「含む(「comprises」、「comprising」、「includes」および/または「including」)」という用語は、この明細書で使用される際は、記述される特徴、整数、ステップ、動作、要素および/またはコンポーネントの存在を指定するが、それらの1つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネントおよび/またはグループの存在または追加を除外しないことがさらに理解されよう。その上、ある要素が別の要素に「応答する」または「接続される」ものとして言及されている際は、その要素は、他の要素に直接応答するまたは接続することも、介在要素を存在させることもできる。対照的に、ある要素が他の要素に「直接応答する」または「直接接続される」ものとして言及されている際は、介在要素は存在しない。本明細書で使用される場合は、「および/または」という用語は、関連リストアイテムのうちの1つまたは複数のありとあらゆる組合せを含み、「/」と短縮することができる。
「第1の」、「第2の」などの用語は、本明細書において様々な要素を説明するために使用することができるが、これらの要素は、これらの用語によって制限されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためだけに使用される。例えば、本開示の教示から逸脱することなく、第1の要素は、第2の要素と呼ぶことができ、同様に、第2の要素は、第1の要素と呼ぶことができる。
図のいくつかは、通信の主要な方向を示すために通信経路上に矢印を含むが、通信は、描写される矢印とは反対の方向でも起こり得ることを理解されたい。
いくつかの実施形態は、ブロック図および動作上のフローチャートに関して説明され、各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含む、回路素子、モジュールまたはコードの一部分を表す。また、他の実装形態では、ブロックで記述される機能は、記述される順番以外でも起こり得ることにも留意すべきである。例えば、実際には、関与する機能性に応じて、連続して示される2つのブロックを実質的に同時に実行することも、場合により、ブロックを逆の順番で実行することもできる。
本明細書における「一実施形態」または「実施形態」への言及は、実施形態と関係して説明された特定の特徴、構造または特性を本開示の少なくとも1つの実装形態に含めることができることを意味する。本明細書の様々な場所における「一実施形態では」または「実施形態によれば」という記載の出現は、必ずしもすべてが同じ実施形態を指すとは限らず、別個のまたは代替の実施形態が必ずしも他の実施形態と相互排他的であるとも限らない。
請求項で見られる参照番号は、単なる例示であり、請求項の範囲への制限効果はないものとする。
明示的に説明されてはいないが、本実施形態および変形形態は、いかなる組合せまたは副組合せでも採用することができる。
本開示は、1枚のカラーピクチャの復号のために説明されているが、以下で説明されるように、一連のカラーピクチャの各々は順番に復号されるため、一連のピクチャ(ビデオ)の復号まで拡張される。具体的には、配信スキームの符号化側および復号側は、1枚のピクチャまたは一連のピクチャの符号化および復号のために説明される。配信スキームは、エンコーダ側では、例えば、旧来のSDRワークフローとの互換性を有するフォーマットで表されるSDRピクチャにHDRピクチャをマッピングすることを含む。例示的には、これらに限定されないが、フォーマットは、高解像度テレビ専用の8ビットYUVフォーマット(規格ITU−R Rec BT.709によって定義されるような)、または、超高解像度テレビ専用の10ビットYUVフォーマット(規格ITU−R Rec BT.2020によって定義されるような)であり得る。配信スキームは、旧来のSDR画像コーダを使用して、得られたSDRピクチャを符号化することをさらに含む。例えば、これらに限定されないが、コーダは、例えば、HEVC(またはワークフローによって機能可能な他の任意のコーデック)の、標準8ビットh264/AVC mainプロファイルまたは標準10ビットHEVC main 10プロファイルであり得る。さらに、配信スキームは、得られた符号化されたSDRピクチャのビットストリームを配信することを含む。
デコーダ側で、対象となるユーザによって、2つのシナリオが想定される。
第1のシナリオでは、復号されたSDRピクチャは、配信されたビットストリームから得られ、SDRを処理可能なデバイス上で表示される。
第2のシナリオでは、まず、復号されたSDRピクチャを得て、次に、復号されたSDRピクチャから復号されたHDRピクチャにマッピングすることによって、配信されたビットストリームから復号されたHDRピクチャが得られる。
有利には、HDRピクチャからSDRピクチャへのマッピングは、デコーダによってSDRピクチャからHDRピクチャに逆マッピングできるように、エンコーダによって可逆に行うことができるとよい。このようにすることにより、HDRピクチャに対する、復号されたHDRピクチャのコード化エラーが最小にされる。
以下、可逆なHDRからSDRへのマッピングの実施形態について、EOTFとして平方根が使用される3ステップからなるプロセスに基づいて説明する。
図1に示されるように、カラーピクチャを符号化する方法100は、輝度ダイナミックを減少させるステップ(ステップ110)を含み、このステップ110は、カラーピクチャの色成分Ec(c=1、2、3)の少なくとも1つから元の輝度Yを得るサブステップ111と、符号化されるべきピクチャの変調値(バックライト値とも呼ばれる)Baを決定するためのヒストグラム解析のサブステップ112とを含む。変調値を計算するために、例えば、これらに限定されないが、HDR輝度の平均、中央、最小または最大値を使用するなど、異なる方法を使用することができる。これらの演算は、線形HDR輝度領域YHDR,linにおいて、または、ln(YHDR,lin)もしくはγ<1におけるYHDR,lin γのような非線形領域において実行することができる。
カラーピクチャは、カラーピクチャの画素値が表される3つの色成分を有すると考えられる。本開示は、具体例として少なくとも部分的に説明されているが、3つの成分が表されるいかなる色空間にも制限されず、RGB、CIELUV、XYZ、CIELabなどのいかなる色空間までも拡張される。例として、Ecは、図では、RGBHDRを指す。サブステップ113では、元の輝度Yおよび変調値Baに依存する非線形関数を適用することによって、元の輝度Yおよび変調値Baから輝度成分Lを得るために、元の輝度Yダイナミックのダイナミックが減少される。輝度成分Lは、SDRピクチャの輝度成分であり、従って、Y成分(より正確には、YUV BT709またはYUV BT2020規格の色空間のYSDR成分)と呼ぶこともできる。
第2のステップ120では、カラーピクチャの色成分Ecから2つのクロミナンス成分C1およびC2が決定される。図1で与えられる例の場合、C1およびC2はU’V’を指し、EcはRGBHDRを指す。サブステップ121では、色成分Ecの平方根を取ることによって、中間成分Dc(図1の例では、DcはRを指す)が得られる。図1に示される例の場合、このDcは、RGBHDRの平方根を指す。次のサブステップ122では、中間成分Dcに共通乗算ファクタβ’’を乗じることによって、減少した成分Fc(図1では、
Figure 0006947893
と示される)が得られる。ファクタβ’’(Ba,L)は、輝度成分Yおよび変調値Baに依存する。次のサブステップ123では、3つの減少した成分Fcに以下の行列を乗じることによって、クロミナンス成分C1およびC2(図1では、U’およびV’)が得られる。
[C1;C2]=M[F1;F2;F3]
ここで、Mは、カラーピクチャの色域に依存する2×3行列である。
第3のステップ130では、補正された輝度成分L’および補正されたクロミナンス成分C’1、C’2を得るために、輝度成分Lおよびクロミナンス成分C1、C2の補正が実行される(図では、U’V’からL’U’’V’’を得ることを指す)。この補正は、補正された成分L’、C’1、C’2の色域G1の知覚色をHDRカラーピクチャの成分Ecの色域G2の知覚色に対応させる色域マッピングによって行われる。
より正確には、比色分析および色理論において、彩度、クロマおよび飽和度は、特定の色が知覚される強度を指す。彩度は、有彩色と灰色との差の度合いである。クロマは、同様の視認条件の下で白色に見える、別の色の明度に対する彩度である。飽和度は、自己の明度に対する色の彩度である。
色彩に富んだ刺激は、鮮やかであり、強い色調であり、それほど色彩に富まない刺激は、より落ち着いた灰色に近い色調に見える。彩度が全くない場合は、色は、「無彩色」の灰色である(そのいずれの色においても彩度がないピクチャは、グレースケールと呼ばれる)。いかなる色も、その彩度(またはクロマまたは飽和度)、明るさ(または明度)および色相によって記述することができる。
色の色相および飽和度の定義は、この色を表すために使用される色空間に依存する。
例えば、CIELUV色空間が使用される際は、飽和度suvは、クロマ
Figure 0006947893
を輝度Lで除した比率と定義される。
Figure 0006947893
そして、色相は以下の数式によって表される。
Figure 0006947893
別の例によれば、CIELAB色空間が使用される際は、飽和度は、クロマを輝度で除した比率と定義される。
Figure 0006947893
そして、色相は以下の数式によって表される。
Figure 0006947893
これらの方程式は、人間が知覚する飽和度と一致するような、飽和度および色相の合理的な予測ファクタであり、CIELAB(またはCIELUV)色空間における明度を調整する一方で、角度a/b(またはu/v)を固定したままにすることが同一の色の色相、よって知覚に影響を与えることを示している。ステップ150では、同一のファクタによって色成分Ecをスケーリングすることにより、この角度、したがって、色相を維持する。
次に、HDRカラーピクチャがCIELUV色空間において表されており、輝度成分Lと、CIELUV色空間の2つのクロミナンス成分U(=C1)およびV(=C2)とを合成することによって形成されるピクチャI2を考える。輝度成分Lのダイナミックレンジは、カラーピクチャIの輝度、およびCIELUV色空間の2つのクロミナンス成分U(=C1)およびV(=C2)と比較して減少している(ステップ130)。従って、ピクチャI2の色は、色の飽和度および色相が変化しているため、人間には、異なるものとして知覚される。この方法(ステップ130)は、補正されたピクチャI3の色の色相がHDRカラーピクチャの色の色相と最良に整合するように、補正されたピクチャI3のクロミナンス成分C’1およびC’2を決定する。
サブステップ131、132では、第2のステップ120で使用される共通乗算ファクタβ’’が決定される。次のサブステップ133では、LからL’が生成される。
補正された成分L’、C’1、C’2は、以下の方程式によって、輝度成分Lおよびクロミナンス成分C1、C2から得られる。
・C’1=C1
・C’2=C2
・L’=L−mC’1−nC’2
ここで、mおよびnは、2つの実数の係数である。図1上では、「m」は「a」であり、「n」は「b」である。実数の係数は、HDR Rec BT.709およびBt.2020の色域に依存する。mおよびnの代表的な値は、インターバル[0.1,0.5]において、m≒nである。
補正の変形形態によれば、補正された輝度成分L’の値は、常に、輝度成分Lの値よりも小さい。
Figure 0006947893
これにより、補正された輝度成分L’の値が輝度成分Lの値を超えないことが保証され、従って、色飽和が発生しなくなる。変調値Baは、ビットストリームFおよびピクチャL’C’1C’2(すなわち、図1上では、L’U’V’)において符号化される。
図2に示されるように、ビットストリームからカラーピクチャを復号する対応する方法200が概略的に示されている。復号ステップ210、220および230は、対応する符号化ステップ110、120および130を逆にしたものと考えることができる。
ステップ230では、ビットストリームFから補正された輝度およびクロミナンス成分L’、C’1、C’2(図2では、U’V’を指す)が得られる。サブステップでは、逆補正することによって(すなわち、以下の方程式によって)、輝度成分Lが得られる。
L=L’+mC’1+nC’2
(図2では、mおよびnはaおよびbを指す)
逆補正の変形形態によれば、輝度成分Lの値は、常に、補正された輝度成分L’の値より高い。
Figure 0006947893
この実施形態は、輝度成分Lが、輝度ピークを定義するためにデコーダによって通常は使用される潜在的なクリッピング値を超えないことを保証するため、有利である。
ステップ210では、拡張レンジ輝度である第1の成分(図2のYまたは図3のsqrt(Y))を生成するために、カラーピクチャを符号化する際に得られた元の輝度成分に適用されているダイナミック減少関数の逆関数である非線形ダイナミック拡張関数が輝度Lに適用される(例えば、YHDR=f−1(LSDR)、より正確には、g−1(Ba,L))。
ステップ220では、補正されたクロミナンス成分C’1、C’2(示される例では、U’V’)および第1の成分Y(すなわちsqrt(Y))から、復号されるべきカラーピクチャの少なくとも1つの色成分Ec(示される例では、RGBHDR)が復元される。サブステップ221では、中間クロミナンス成分を得るために、補正されたクロミナンス成分C’1、C’2への共通乗算ファクタβ’の乗算が実行される(C1C2は図2の例に示されるUを指し、
Figure 0006947893
は図3に示される
Figure 0006947893
を指す)。中間クロミナンス成分は、第2の成分Sを得るためにさらなるサブステップ222において使用され、すなわち、図2に示される例で使用される成分表記を参照すると、値Sは、
Figure 0006947893
によって決定される。さらなるサブステップ223では、SUからRが復元される(すなわち、[R;G;B]=Mat3×3[S;U;V])。復号されたカラーピクチャの色成分RGBHDRは、次のサブステップ224において、Rの2乗として決定される。
言い換えれば、方法は、例えば、SDRルマ成分Lおよび2つのSDRクロマ成分UVから、RGB HDR成分を表すRを復元するSDRからHDRへの逆マッピングを可能にする。ここで、HDR輝度成分Yは、Lから導かれ、値Tは、U、VおよびUVの線形結合として演算され、Sは、Y−Tの平方根として演算され、次いで、入力SDRピクチャの各画素に適用される3×3行列とSUVの積としてRが決定される。この3×3行列は、例えば、ITU−R BT709/2020において規定されているRGB−>YUV行列の逆行列、すなわち、C=A−1である。
説明される復号スキームは、圧縮されたHDRピクチャの配信を可能にする一方で、それと同時に、上記HDRピクチャのカラーグレーディングされたバージョンを表す関連SDRピクチャの配信を可能にする。しかし、HDRピクチャを復号して表示する際に圧縮損失により精度の低下が生じ、復号の数値的な安定性またはロバスト性が必ずしも保証されないことがあるため、復号をさらに拡張することができる。
さらなる開示内容の記載は、ロバスト性をさらに向上させる、ビットストリームからカラーピクチャを復号する方法を提供するものである。
この方法は、
− ビットストリームから得られた輝度成分に非線形ダイナミック拡張関数を適用することによって、第1の成分を得ることと、
− 第1の成分によって決定された値とビットストリームから得られた2つのクロミナンス成分の積および2乗値の線形結合との差の平方根を取ることによって、第2の成分を得ることと、
− 少なくとも前記第2の成分および前記2つのクロミナンス成分から、復号されるカラーピクチャの少なくとも1つの色成分を得ることと
を含む。
これにより、例えば、処理ハードウェアによって課され得る制約を考慮することによって少なくとも輝度成分に対してカスタマイズ可能な境界を適用するために、必ずしも符号化の際に適用された対応する非線形ダイナミック減少関数の逆関数ではない、非線形ダイナミック拡張関数を適用することができる。さらに、実際に選択された非線形ダイナミック拡張関数によって生成される第1の成分に対する平方根関数の依存性は、第2の成分の算出を導入された境界に対してだけでなく、既定されていない差の結果による影響に対して適応できるようにして、数値的な安定性を高めることができるようにする。
一態様によれば、
− 第2の成分は、第1の成分によって決定された値が前記線形結合以上である場合にのみ、前記値と前記線形結合との差の平方根を取ることによって得られ、
− そうでない場合には、前記第2の成分は、ゼロに等しくなるように設定され、2つのクロミナンス成分には共通ファクタが乗じられる。これにより、第2の成分が非実数として決定される場合を処理できるようになる。そうでない場合は、この差の処理は、適用されるハードウェアのエラーまたは処理機能性に依存し得る。この例外は、第2の成分を0に設定することによって解決される。しかしながら、虚数値をゼロに置き換えることは、輝度を増大させることに等しい。クロミナンス成分に共通ファクタを適用することなく、第2の成分が0に設定されれば、実際には、第2の成分がゼロに設定された場所の画素の輝度が極めて高くなるであろう。
一実施形態によれば、共通ファクタは、前記第1の成分(すなわち、前記成分の値)を前記線形結合の平方根で除した比率である。
この態様では、非線形ダイナミック拡張関数は、例えば、カラーピクチャを符号化する際に得られた元の輝度成分に対して適用されたダイナミック減少関数の逆関数であり、前記第1の成分によって決定された前記値は、元の輝度成分と等しい。この場合、非線形ダイナミック拡張関数は、第1の成分として元の輝度成分を提供し、第2の成分は、当初符号化された輝度と説明される線形結合との差の平方根として決定される。
別の態様によれば、共通ファクタは、前記線形結合の平方根の逆数である。
この実施形態では、非線形ダイナミック拡張関数は、カラーピクチャを符号化する際に得られた元の輝度成分に対して適用されたダイナミック減少関数の逆関数の平方根であり、第1の成分によって決定された値は、1に等しい。さらに、復号されるカラーピクチャの少なくとも1つの色成分を得ることは、少なくとも1つの色成分に第1の成分を乗じることを含む。これにより、元の輝度成分の平方根によって正規化が行われ、境界がクロミナンス成分および第2の成分に設定され、ハードウェアの実施が簡略化される。最終的に説明される乗算により、適用された正規化が取り除かれる。
対応するスケーリングを2つのクロミナンス成分に適用するため、一実施形態によれば、2つのクロミナンス成分を得るステップは、第1の成分に依存するファクタによって2つのクロミナンス成分の各々をスケーリングすることを含む。
例えば、スケーリングは、線形結合を決定する前に、2つのクロミナンス成分を第1の成分で(すなわち、輝度に適用されたものと同じ正規化ファクタで)除することを含む。
実施形態では、前記ファクタは、元の輝度成分から得られた、復号されているピクチャのバックライト値にも依存する。
実施形態では、第2の成分は、高速処理のためにルックアップテーブルを使用して決定される。
実施形態によれば、少なくとも前記第2の成分および前記2つのクロミナンス成分から復号されるカラーピクチャの少なくとも1つの色成分を得ることは、第2の成分および2つのクロミナンス成分の線形結合として前記少なくとも1つの色成分を決定することを含む。
以下の実施形態はいずれも、RGBまたはYUVを参照する例で説明される場合であっても、RGBまたはYUV以外の他の色空間に適用することができる。
例示的な実施形態として、SDRからHDRへの逆マッピング方法は、SDRルマ成分Lおよび2つのSDRクロマ成分UVから、RGB HDR成分を表すRを復元する。ここで、HDR輝度成分Yは、Lから導かれ、値Tは、U、VおよびUVの線形結合として演算される。Sは、本質的に、Y−Tの平方根として演算される。
i.T≦Yの場合は、S=sqrt(Y−T)であり、
ii.T>Yの場合は、UおよびVには共通ファクタFが乗じられ、Sはゼロに設定される。
次いで、3×3行列とSUVの積としてRが演算される。方法は、入力SDR画像の各画素に適用される。さらに、共通ファクタFは、
Figure 0006947893
に設定することができる。
別の例示的な実施形態として、SDRからHDRへの逆マッピング方法は、SDRルマ成分Lおよび2つのSDRクロマ成分UVから、RGB HDR成分を表すRを復元する。ここで、HDR輝度成分の平方根
Figure 0006947893
は、Lから導かれ、Tは、U、VおよびUVの線形結合として演算され、Sは、本質的に、1−Tの平方根として演算される。
i.T≦1の場合は、S=sqrt(1−T)であり、
ii.T>1の場合は、UおよびVには共通ファクタFが乗じられ、Sはゼロに設定される。
次いで、3×3行列とSUVの積として
Figure 0006947893
が演算される。Rは、
Figure 0006947893
への
Figure 0006947893
の乗算であり、入力SDRピクチャの各画素に対して適用される。さらに、共通ファクタFは
Figure 0006947893
である。一実施形態では、Fは、
Figure 0006947893
の最終的な乗算と同時に適用される、すなわち、その代わりに、
Figure 0006947893
で乗算される。
説明される実施形態により、カラー画像のピーク輝度に依存しない中程度のレジスタサイズを有するデコーダの単純なハードウェア実装形態が可能になる。
カラーピクチャIは、カラーピクチャの画素値が表される3つの色成分を有すると考えられる。本開示は、3つの成分が表されるいかなる色空間にも制限されず、RGB、CIELUV、XYZ、CIELabなどのいかなる色空間までも拡張される。
図3を参照すると、本開示の実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法300のステップの図が概略的に示されている。示される実施形態は、実際には、図2に示される復号方法の変更形態であり、ここでは、処理された輝度およびクロミナンス成分(すなわち、Y、U、V、S)に対して明確な限度が常に利用可能であることを確認する。実施形態間の変更部分のみを詳細に説明する。
ステップ310では、非線形ダイナミック拡張関数は、カラーピクチャを符号化する際に得られた元の輝度成分に適用されているダイナミック減少関数の逆関数の平方根であり、それにより、第1の成分の上限を
Figure 0006947893
に減少させる。
Figure 0006947893
による正規化が導入され、その後に、変更されたクロミナンス再構築ステップ320が続き、次いで、
Figure 0006947893
による再正規化が行われる。
HDR輝度Yは、成分Ecの線形結合である。以下では、Ecの例として、RGBHDRを参照する。
Figure 0006947893
ここで、
Figure 0006947893
と定義する。
結果として、いくつかの定数に至るまで、Ec(すなわち、示される例では、RGB)は、Yによって拘束され、Dc(すなわち、示される例では、R)は、
Figure 0006947893
によって拘束される。また、エンコーダ側から得られるように、Uは、Rの線形結合、すなわち、
Figure 0006947893
である。
2つの変数は、Rによって(従って、
Figure 0006947893
によって)拘束される。要するに、図2に示される実施形態に戻ると、Sの定義において、以下が成り立つ。
Figure 0006947893
平方根の根号内の項は、Yによって拘束され、Sは、
Figure 0006947893
によって拘束される。従って、復号プロセスの入力変数U、中間変数Sおよび出力変数Rはすべて、
Figure 0006947893
によって拘束される。従って、図2に示される復号方法において使用される乗算ファクタβ’は、図3に示される実施形態では、β’と置き換えられ、その結果、UおよびVを処理する代わりに、
Figure 0006947893
が処理される。さらに、
Figure 0006947893
によって再び出力の再スケーリングが行われる。
言い換えれば、乗算ファクタβ’(Ba,L)は、正規化された入力
Figure 0006947893
を得るために、
Figure 0006947893
と置き換えられる(特に、ステップ230と比べて、ステップ330において)。
出力側では、
Figure 0006947893
の乗算によって、復号された
Figure 0006947893
がスケールバックされる。
図3は、SDRルマ成分Lおよび2つのSDRクロマ成分UVから、RGB HDR 成分を表すRを復元するSDRからHDRへの逆マッピング方法を示し、HDR輝度成分の平方根
Figure 0006947893
は、Lから導かれ、値
Figure 0006947893
は、U、VおよびUVの線形結合として演算される。第2の成分Sは、差
Figure 0006947893
の平方根として演算され、
Figure 0006947893
は、3×3行列とSUVの積であり、Rは、
Figure 0006947893
への
Figure 0006947893
の乗算であり、入力SDR画像の各画素に適用される。さらに、UおよびVは、
Figure 0006947893
によって除算される。
ここで図4を参照すると、本開示の別の実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法400のステップの図が概略的に示されている。示される実施形態は、実際には、図3に示される復号方法の変更形態であり、ここでは、それに加えて、第2の成分(図3に示される
Figure 0006947893
に対応する)が虚数値をもたらす場合に、例えば、対応する画素と関連付けられた表示される色の明らかな歪みを回避するために、例外が正しく処理されることを確認する。実施形態間の変更部分のみを詳細に説明する。ステップ410および430は、ステップ310および330とそれぞれ同一である。ステップ425は、ステップ223と同様である。ステップ426は、ステップ224と同様である。
マッピングは、Sが虚数でないという意味において、復号可能なL’U’V’を提供するものと想定される。しかしながら、L’U’V’は、圧縮・解凍されるため、コード化損失は、
Figure 0006947893
が負であり、
Figure 0006947893
が実数とならない入力トリプレット(L’,U’V’)を生じさせることがある。1つの解法は、1によって閾値
Figure 0006947893
を定め、
Figure 0006947893
を導くことである。しかしながら、これは、復号されたRGBに対する限界を逸脱させる。虚数値を
Figure 0006947893
と置き換えることは、Yを増大することに等しい。例えば、
Figure 0006947893
となれば、Yを2倍にすることにより、
Figure 0006947893
が導かれる。しかしながら、この場合、RGBに対する限界Yも2倍になる。これにより、さらなる処理なしでは、
Figure 0006947893
がゼロに設定された所に極めて明るい画素が生成されることとなる。
ステップ420に示されるように、解法を見つける一方で、限界を維持するために、以下の処理が追加的に実行される。サブステップ419では、
Figure 0006947893
は、復号されたU’V’にβ’(Ba,L)を乗じることによって決定される。
第2の成分
Figure 0006947893
は、別個のサブステップにおいて決定される。サブステップ421では、
Figure 0006947893
(すなわち、2つのクロミナンス成分の積および2乗値の線形結合線形結合)のみが決定される。次のサブステップ422では、
Figure 0006947893
が正の値をもたらすかまたは負の値をもたらすかがチェックされる。
Figure 0006947893
の場合は、
Figure 0006947893
は実数であり、復号はこの
Figure 0006947893
を用いて進められ(サブステップ423)、それは、図3に示される処理に対応する。
Figure 0006947893
の場合は、Sは虚数であり、処理は、サブステップ424を続行し、変数
Figure 0006947893
は、以下を行うことによって実数解を得るために、再スケーリングされる。

Figure 0006947893
を設定する。
− 残りの復号において、
Figure 0006947893

Figure 0006947893
と置き換える。

Figure 0006947893
に設定する。
説明される処理は適切な解を提供し、それは、問題を幾何学的に解析する際に明らかになる。方程式
Figure 0006947893
は、R空間における楕円体を規定し、
Figure 0006947893
は、同じ空間における2つの平面の交差(すなわち、線)を規定する。従って、解は、楕円体と線の交差である。この交差は、以下のいずれかである。
− Sが虚数の場合は、空である。
− S=0の場合は、1つの点であり、線は楕円体の接線である。
− S>0の場合は、2つの点であり、Rが正であると規定されているため、正の値を取らなければならない。
さらなるサブステップ425では、
Figure 0006947893
は、ステップ223と同様に、
Figure 0006947893
から復元される。
ここで図5を参照すると、本開示の別の実施形態による、少なくとも1つのビットストリームからカラーピクチャを復号する方法500のステップの図が概略的に示されている。示される実施形態は、実際には、図4に示される復号方法の変更形態である。すなわち、中間R、G、B値への復元された線形輝度信号の平方根(すなわち、
Figure 0006947893
)の乗算が取り除かれる。
実施形態間の変更部分のみを詳細に説明する。ステップ530は、ステップ430と同一である。
ステップ510では、拡張レンジ輝度である第1の成分YHDRを生成するために、非線形ダイナミック拡張関数が輝度Lに適用される。ダイナミック拡張関数g−1は、カラーピクチャを符号化する際に得られた元の輝度成分に適用されているダイナミック減少関数gの逆関数である(例えば、YHDR=g−1(Ba,LSDR))。従って、この事例では、輝度YHDRは、図4の実施形態のステップ410のようなその平方根の代わりに得られる。
ステップ520は、図3のステップ320または図4のステップ420の補正バージョンである。図3および4のステップと同一である図5のステップ(すなわち、
Figure 0006947893
を得るステップまで)は、さらに開示しない。この実施形態では、復号された
Figure 0006947893
は、図3および4の実施形態のような
Figure 0006947893
の乗算によってスケールバックされない。
ステップ5200では、
Figure 0006947893
は、公知のCIE1931 XYZ色空間の(xnorm,znorm)色成分を得るために、最初に、2乗し、次いで、行列Mを乗じる。Mは、RGBからXYZ色空間に信号をマッピングするために当技術分野で知られているM3×3行列の一部として定義される[2×3]行列である。
ステップ5210では、色変換行列が適用される。より正確には、ベクトル(xnorm,1,znormは、最初に、ステップ510で得られたYHDRを乗じ、次いで、3×3行列Nを乗じる。Nは、XYZからRGB色空間に信号をマッピングするために当技術分野で知られている3×3行列である。従って、Nは、M3×3の逆行列である。
この実施形態は、いくつかの利点を提供する。第1に、輝度成分がより少ないプロセスを経る(例えば、平方根なし)。第2に、輝度およびクロミナンス成分が別々に処理される。従って、復元されるHDR輝度はより正確である(すなわち、元の輝度に近い)。第3に、各ステップにおいて最大3つの成分が処理される。以前の実施形態では、4つの成分(例えば、
Figure 0006947893
)が処理され、従って、より多くのメモリが必要とされる。
図6は、図5の実施形態の別の表現である。図4に関して開示される実施形態に反して、中間復号R、G、B値への復元線形輝度信号の平方根の乗算が取り除かれる。
代わりに、2つの別個の処理経路(チャネル)において、所定の画素のクロミナンスおよび輝度値の復元が行われる。それらの混合は、復元HDR RGB線形信号を提供するために、復号プロセスの最後の1つのステップにおいて行われる。
ステップ600では、ビットストリームは、SDRコンテンツを表すL’U’V’成分に復号される。復号は、例えば、HEVCビデオコード化規格に準拠する。
ステップ630では、L’U’V’は、変換されたLUrVr成分に色変換される。色変換は、典型的には、3×3行列の形態を取り、場合により、輝度における追加の「最大」演算子を伴う。このステップは、SDRダイナミックを維持しながら色成分を修正することを目標とする。このステップは、例えば、ステップ530のサブステップおよびそれに加えてステップ419を含む。次いで、ステップ640では、SDRコンテンツを表す変換されたLUrVr成分がHDRコンテンツを表す成分に変換される(逆伝達プロセスとして知られている)。このステップは、成分に応じて異なる逆伝達演算を含む。例示的な実施形態では、ステップ6400において、輝度Lが別個のチャネルにおいて処理される。従って、「逆TFルマ」6400は、線形光領域において輝度HDR信号を復号する。
HDR=g−1(Ydec,Ba))
ここで、Ydecは、ビデオデコーダ(例えば、HEVCデコーダ)によって提供されたルマ値であり、g−1は、エンコーダ側の線形光HDR輝度上で適用された非線形性の逆関数である。
ステップ6410では、CIE XYZ色空間における2つの正規化された色成分値(xnorm,znorm)は、ステップ630で得られた入力(U,V)クロマ値の関数として復元される。例示的な実施形態では、このステップは、以下を含む。
− 図5に関して以前に説明されるようなTの計算(ステップ421)。
− 図5に関して以前に説明されるようなTの関数としてのSの計算(ステップ423および424)。
− YUVからRGBへの3×3行列変換を
Figure 0006947893
成分値に適用することを通じた、中間
Figure 0006947893
値の計算(ステップ425)。
− RGBからXZへの2×3行列変換を
Figure 0006947893
カラー値の2乗に適用することによって、CIE XYZ色空間における結果として得られた(xnorm,znorm)の計算(ステップ5200)。
ステップ650では、色変換行列がYおよび(xnorm,znorm)成分に適用される。例示的な実施形態では、「色変換行列」を適用することは、以下の演算を含む。
(R,G,B)=N.YHDR.(xnorm,1,znorm
ここで、Nは、3×3行列であり、YHDRは、逆輝度伝達関数(ステップ6400)から得られた輝度であり、(xnorm,znorm)は、「色伝達」(ステップ6410)から得られた色成分サンプルである。
図7で描写されるように、任意選択のステップ610では、成分は、420フォーマットから444フォーマットに変換される。
任意選択のステップ620では、UV成分は、復号されたUおよびV値から減ずること512によって、0の近くにシフトされる。シフトされた値は、UcVcと示される。
従って、図6および7は、図5に関して開示される図の高レベル図である。従って、図6のいくつかのステップは、図5に関して開示されるもの以外の他のプロセスと置き換えることができる。
図8で描写される別の実施形態では、提案された復号スキームは、「交差平面色エンハンスメント」モジュール605および「ダイナミックレンジ適応」モジュール635、636などの追加の要素を含む。これらの追加の復号ステップは、以下のMPEGコントリビューション“Response to Call for Evidence for HDR and WCG Video Coding: Arris, Dolby and InterDigital”, Arris Inc., Dolby Laboratories Inc. and InterDigital Communications, LLC, , ISO/IEC JTC1/SC29/WG11 MPEG2015/M36264, June 2015, Warsaw, Poland”で開示されている。
CPCE復号ステップは、エンコーダ側で復号されたピクチャをその元のバージョンにより近くなるようにする色および輝度成分ハイパスフィルタリングプロセスを行うものである。CPCE復号ステップは、任意のいくつかの場所において(モジュール610の前後またはモジュール630の後でさえ)復号プロセスに入れることができる。
信号ダイナミックレンジ適応は、圧縮効率のために信号をより効率的な方法で表すために、乗算ファクタおよび加法オフセットを1つまたは複数の信号成分に適用するものである。ダイナミックレンジ適応もまた、モジュール610の前後に入れることができる。
図6、7または8に関して提案される新しいデコーダアーキテクチャは、図9に示される統合された一般的なHDR復号アーキテクチャに適合するように適応させる。図9は、一般的な復号モジュールおよびHDRビデオコーダから受信された関連メタデータを描写する。
この統合されたアーキテクチャでは、一般的なモジュール630、640および650は、異なる演算を実装することができる。メタデータからの情報(例えば、color_conversion_type)に応じて、ある演算が他の演算の代わりに適用される。色変換ステップ630は、典型的には、3×3行列の形態を取り、場合により、輝度における追加の「最大」演算子を伴う。それは、色変換タイプを示すcolor_conversion_typeというフラグによってパラメータ化される。第1のフラグ値によれば、色補正は、以前に説明される色補正(図5に関して開示されるステップ530および419など)の形態を取ることができる。別の実施形態では、色補正は、図10で開示されるように、文書“Response to Call for Evidence for HDR and WCG Video Coding: Arris, Dolby and InterDigital”, Arris Inc., Dolby Laboratories Inc. and InterDigital Communications, LLC, , ISO/IEC JTC1/SC29/WG11 MPEG2015/M36264, June 2015, Warsaw, Poland”で指定されるようなIPT色空間からLMS色空間への色空間変換を行うものである。第1の事例では、色変換は、コード化ストリームからメタデータとして受信することができるa、bパラメータおよびβ’’ルックアップテーブルによってパラメータ化される。
第1の成分逆伝達ステップ6400は、inv_transfer_typeというフラグの値に従って、YUV空間のY成分またはLMSのL成分である輝度コード化信号に逆非線形性を適用することを含む。YUV色空間の事例では、逆伝達関数は、inv_transfer_typeという構文要素と共にビットストリームから受信することができる単一のBaパラメータのルックアップテーブルを通じてパラメータ化することができる。
第2および第3の成分逆伝達ステップ6410もまた、受信されたinv_transfer_typeという構文要素を通じて指定される。第2および第3の成分逆伝達ステップ6410は、この構文要素の値に従った以前に説明される色補正を行うものである。別のフラグ値によれば、第2および第3の成分逆伝達ステップ6410は、LMS色空間の成分(M,S)に逆非線形性を適用するものであり得る(MPEG2015/M36264, June 2015, Warsaw, Poland”])。
色変換行列ステップ650の適用は、解凍のために使用された色から出力線形光RGB色空間に復号された信号を変換することを含む。この場合もやはり、color_conv_mat_idという専用構文要素の値に従って、これは、(XYZからRGBへの)または(LMSからRGBへの)色空間変換の形態を取ることができる。
図9の上方のメタデータ(例えば、a、b、LUT β、Ba)は、適用される色変換、逆伝達および色行列変換のタイプに依存することに留意すべきである。従って、いくつかの構成では、これらのメタデータは存在せず、従って、使用されない。
上記で開示されるcolor_conversion_type、inv_transfer_typeおよびcolor_conv_mat_idという構文要素は、SEIメッセージ(SEIは、「補助拡張情報(Supplement Enhancement Information)」の英頭字語である)において符号化することができる。それらは、バイナリフラグと定義することができる。
図1〜10では、ステップおよびサブステップは、区別可能な物理ユニットと関係があってもなくともよいモジュールまたは機能ユニットと考えることもできる。例えば、これらのモジュールまたはそれらのいくつかは、特有のコンポーネントまたは回路にまとめることも、ソフトウェアの機能性に寄与することもできる。それに反して、いくつかのモジュールは、別個の物理的実体から潜在的に構成することができる。本開示に適合する装置は、純粋なハードウェアを使用して、例えば、ASIC、FPGAもしくはVLSI(それぞれ、≪特定用途向け集積回路≫、≪フィールドプログラマブルゲートアレイ≫、≪超大規模集積≫)などの専用ハードウェアを使用して、あるいは、デバイスに埋め込まれたいくつかの統合電子コンポーネントから、または、ハードウェアコンポーネントおよびソフトウェアコンポーネントの混合物から実装される。
図11では、R空間に楕円体と線が示されている。図11では、楕円体は、球体で表されている。解がない事例では、線は球体と交差しない(左)。S=0に設定することは、
Figure 0006947893
の半径を有する楕円体を増大する(それ自体が膨らむことに等しい)ことに等しい。図11に示される選ばれた解は、楕円体に触れるポイントまで線を移動することである(右)。次いで、構造により、解Rは、半径
Figure 0006947893
の楕円体上にあり、限界は維持される。
その態様の他の態様によれば、本開示は、上記の方法を実装するように構成されたプロセッサと、このプログラムがコンピュータ上で実行される際に上記の方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品と、少なくとも上記の方法のステップをプロセッサに実行させるための命令がその中に格納されたプロセッサ可読媒体と、前記プログラムがコンピューティングデバイス上で実行される際に上記の方法のステップを実行するためのプログラムコードの命令を保持する非一時的な記憶媒体とを含むデバイスに関する。
図12は、非限定的な実施形態による、ストリームからHDRピクチャを復号するように構成された受信機150の例示的なアーキテクチャを表す。
受信機150は、1つまたは複数のプロセッサ1100を含み、1つまたは複数のプロセッサ1100は、内部メモリ1510(例えば、RAM、ROMおよび/またはEPROM)と共に、例えば、CPU、GPUおよび/またはDSP(デジタル信号プロセッサ(Digital Signal Processor)の英頭字語)を含み得る。受信機150は、その各々が出力情報を表示するようにならびに/あるいはユーザがコマンドおよび/またはデータを入力できるように(例えば、キーボード、マウス、タッチパッド、ウェブカメラ)適応された1つまたは複数の通信インタフェース1110と、受信機150の外部にあり得る電源1120とを含む。また、受信機150は、1つまたは複数のネットワークインタフェース(図示せず)も含む。デコーダモジュール1140は、復号機能を実行するためにデバイスに含めることができるモジュールを表す。それに加えて、デコーダモジュール1140は、受信機150の別個の要素として実装することも、当業者に知られているように、ハードウェアとソフトウェアの組合せとしてプロセッサ1100内に組み込むこともできる。
ストリームは、供給源から得ることができる。異なる実施形態によれば、供給源は、これらに限定されないが、
− ローカルメモリ(例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク)、
− 記憶装置インタフェース(例えば、大容量記憶装置、ROM、光ディスクまたは磁気サポートとのインタフェース)、
− 通信インタフェース(例えば、有線インタフェース(例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース)または無線インタフェース(IEEE802.11インタフェースまたはBluetooth(登録商標)インタフェースなど))、および、
− ピクチャ捕捉回路(例えば、センサ、例えば、CCD(もしくは電荷結合素子)またはCMOS(もしくは相補型金属酸化膜半導体)など)
であり得る。
異なる実施形態によれば、復号されたHDRピクチャは、配信先(例えば、表示デバイス)に送信することができる。例として、復号されたHDRピクチャは、リモートまたはローカルメモリ(例えば、ビデオメモリ、RAM、ハードディスク)に格納される。変形形態では、復号されたHDRピクチャは、記憶装置インタフェース(例えば、大容量記憶装置、ROM、フラッシュメモリ、光ディスクまたは磁気サポートとのインタフェース)に送信される、ならびに/あるいは、通信インタフェース(例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたは放送ネットワークとのインタフェース)上で送信される。
例示的な非限定的な実施形態によれば、受信機150は、メモリ1130に格納されたコンピュータプログラムをさらに含む。コンピュータプログラムは、命令を含み、命令は、受信機150によって(具体的には、プロセッサ1100によって)実行されると、図2〜10を参照して説明される復号方法の少なくとも1つを受信機が実行できるようにする。変形形態によれば、コンピュータプログラムは、受信機150の外部の非一時的なデジタルデータサポート上(例えば、HDD、CD−ROM、DVD、読み取り専用および/またはDVDドライブならびに/あるいはDVD読み取り/書き込みドライブなどの外部記憶媒体上、すべて当技術分野で知られている)に格納される。従って、受信機150は、コンピュータプログラムを読み取るためのメカニズムを含む。さらに、受信機150は、対応するUSBポート(図示せず)を通じて、1つまたは複数のユニバーサルシリアルバス(USB)タイプの記憶装置(例えば、「メモリスティック」)にアクセスすることができる。
例示的な非限定的な実施形態によれば、受信機150は、これらに限定されないが、
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− セットトップボックス、
− TVセット、
− タブレット(またはタブレットコンピュータ)、
− ラップトップ、
− ディスプレイ、および、
− 復号チップ
であり得る。
図13は、非限定的な実施形態による、ストリームにおいてピクチャを符号化するように構成された送信機100の例示的なアーキテクチャを表す。
送信機100は、1つまたは複数のプロセッサ1000を含み、1つまたは複数のプロセッサ1000は、内部メモリ1030(例えば、RAM、ROMおよび/またはEPROM)と共に、例えば、CPU、GPUおよび/またはDSP(デジタル信号プロセッサ(Digital Signal Processor)の英頭字語)を含み得る。送信機100は、その各々が出力情報を表示するようにならびに/あるいはユーザがコマンドおよび/またはデータを入力できるように(例えば、キーボード、マウス、タッチパッド、ウェブカメラ)適応された1つまたは複数の通信インタフェース1010と、送信機100の外部にあり得る電源1020とを含む。また、送信機100は、1つまたは複数のネットワークインタフェース(図示せず)も含む。エンコーダモジュール1040は、コード化機能を実行するためにデバイスに含めることができるモジュールを表す。それに加えて、エンコーダモジュール1040は、送信機100の別個の要素として実装することも、当業者に知られているように、ハードウェアとソフトウェアの組合せとしてプロセッサ1000内に組み込むこともできる。
コード化されるピクチャは、供給源から得ることができる。異なる実施形態によれば、供給源は、これらに限定されないが、
− ローカルメモリ(例えば、ビデオメモリ、RAM、フラッシュメモリ、ハードディスク)、
− 記憶装置インタフェース(例えば、大容量記憶装置、ROM、光ディスクまたは磁気サポートとのインタフェース)、
− 通信インタフェース(例えば、有線インタフェース(例えば、バスインタフェース、広域ネットワークインタフェース、ローカルエリアネットワークインタフェース)または無線インタフェース(IEEE802.11インタフェースまたはBluetoothインタフェースなど))、および、
− 画像捕捉回路(例えば、センサ、例えば、CCD(もしくは電荷結合素子)またはCMOS(もしくは相補型金属酸化膜半導体)など)
であり得る。
異なる実施形態によれば、ストリームは、配信先に送信することができる。例として、ストリームは、リモートまたはローカルメモリ(例えば、ビデオメモリ、RAM、ハードディスク)に格納される。変形形態では、ストリームは、記憶装置インタフェース(例えば、大容量記憶装置、ROM、フラッシュメモリ、光ディスクまたは磁気サポートとのインタフェース)に送信される、ならびに/あるいは、通信インタフェース(例えば、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたは放送ネットワークとのインタフェース)上で送信される。
例示的な非限定的な実施形態によれば、送信機100は、メモリ1030に格納されたコンピュータプログラムをさらに含む。コンピュータプログラムは、命令を含み、命令は、送信機100によって(具体的には、プロセッサ1000によって)実行されると、図1を参照して説明される符号化方法を送信機100が実行できるようにする。変形形態によれば、コンピュータプログラムは、送信機100の外部の非一時的なデジタルデータサポート上(例えば、HDD、CD−ROM、DVD、読み取り専用および/またはDVDドライブならびに/あるいはDVD読み取り/書き込みドライブなどの外部記憶媒体上、すべて当技術分野で知られている)に格納される。従って、送信機100は、コンピュータプログラムを読み取るためのメカニズムを含む。さらに、送信機100は、対応するUSBポート(図示せず)を通じて、1つまたは複数のユニバーサルシリアルバス(USB)タイプの記憶装置(例えば、「メモリスティック」)にアクセスすることができる。
例示的な非限定的な実施形態によれば、送信機100は、これらに限定されないが、
− モバイルデバイス、
− 通信デバイス、
− ゲームデバイス、
− タブレット(またはタブレットコンピュータ)、
− ラップトップ、
− 静止画像カメラ、
− ビデオカメラ、
− 符号化チップ、
− 静止画像サーバ、および、
− ビデオサーバ(例えば、放送サーバ、ビデオオンデマンドサーバまたはウェブサーバ)
であり得る。
本明細書で説明される実装形態は、例えば、方法もしくはプロセス、デバイス、ソフトウェアプログラム、データストリーム、または、信号で実装することができる。実装の単一の形態の文脈においてのみ論じられる(例えば、方法またはデバイスとしてのみ論じられる)場合であっても、論じられる特徴の実装形態は、他の形態(例えば、プログラム)でも実装することができる。デバイスは、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指すデバイス(例えば、プロセッサなど)で実装することができる。また、プロセッサは、例えば、コンピュータ、携帯電話、ポータブル/携帯情報端末(「PDA」)、および、エンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
本明細書で説明される様々なプロセスおよび特徴の実装形態は、様々な異なる機器またはアプリケーション(特に、例えば、機器またはアプリケーション)で具体化することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDAおよび他の通信デバイスを含む。明確であるべきだが、機器は、モバイルであり得、移動車両にインストールすることさえも可能である。
それに加えて、方法は、プロセッサによって実行されている命令によって実装することができ、そのような命令(および/または実装形態によって生成されたデータ値)は、例えば、集積回路、ソフトウェアキャリアまたは他の記憶装置(例えば、ハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えば、デジタル多用途ディスクまたはデジタルビデオディスクと称される場合が多いDVD)、ランダムアクセスメモリ(「RAM」)または読み取り専用メモリ(「ROM」)など)などのプロセッサ可読媒体上に格納することができる。命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェアまたは組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーションまたはその2つの組合せで見つけることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体(記憶装置など)を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装形態によって生成されたデータ値を格納することができる。
当業者には明らかであるように、実装形態は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または、説明される実装形態のうちの1つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態の構文を書き込むまたは読み取るための規則をデータとして伝えるように、あるいは、説明される実施形態によって書き込まれた実際の構文・値をデータとして伝えるように、フォーマットすることができる。そのような信号は、例えば、電磁波として(例えば、スペクトルの高周波部分を使用して)またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、および、符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。
多くの実装形態について説明してきた。それにもかかわらず、様々な変更を行えることが理解されよう。例えば、他の実装形態を生成するために、異なる実装形態の要素を組み合わせることも、補足することも、変更することも、除去することもできる。それに加えて、当業者は、開示されるものの代わりに、他の構造およびプロセスを代用することができ、結果として得られる実装形態は、開示される実装形態と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行することを理解するであろう。それに従って、これらのおよび他の実装形態は、この出願によって企図される。

Claims (9)

  1. ビットストリームから1つの標準ダイナミックレンジ輝度成分L’および2つの標準ダイナミックレンジクロミナンス成分U’およびV’をエンコーダにより復号することと、
    前記標準ダイナミックレンジ輝度成分L’をLに、前記2つの復号された標準ダイナミックレンジクロミナンス成分U’およびV’をUrおよびVrに、それぞれ以下のように色変換することであって、L=L’+max(0,aU’+bV’)、Ur=β(L)U’、Vr=β(L)V’ここで、aおよびbが定数であり、β(L)がLに依存するパラメータである、色変換することと、
    前記色変換された標準ダイナミックレンジ輝度成分Lにダイナミック拡張関数を適用して高ダイナミックレンジ輝度成分Yを得ることであって、前記ダイナミック拡張関数が、エンコーダ側で前記高ダイナミックレンジ輝度成分に適用されたダイナミック減少関数の逆関数である、適用することと、
    前記色変換された標準ダイナミックレンジクロマ成分UrおよびVrに色伝達演算を適用して、中間色空間における中間高ダイナミックレンジクロミナンス成分Xおよび中間高ダイナミックレンジクロミナンス成分Zを得ることと
    前記高ダイナミックレンジ輝度成分Y、前記中間高ダイナミックレンジクロミナンス成分X、及び前記中間高ダイナミックレンジクロミナンス成分Zに色変換行列を適用して、RGB色空間における高ダイナミックレンジピクチャを得ることと
    を含む、復号方法。
  2. 前記色変換された標準ダイナミックレンジ輝度成分Lにダイナミック拡張関数を適用して高ダイナミックレンジ輝度成分Yを得ることは、Y=g −1 (Ba,L)によりなされ、ここで、Baは、変調値であり、g −1 ()は、前記エンコーダ側の線形光高ダイナミックレンジ輝度成分に適用されるダイナミック減少関数の逆関数である、請求項1に記載の方法。
  3. 前記高ダイナミックレンジ輝度成分Y、前記中間高ダイナミックレンジクロミナンス成分X、及び前記中間高ダイナミックレンジクロミナンス成分Zに色変換行列を適用して、RGB色空間における高ダイナミックレンジピクチャを得ることは、
    Ur 、Vr およびUr Vrの線形結合としてTを計算することと、
    T≦1の場合、
    Figure 0006947893
    としてSを計算し、そうでない場合には、Sをゼロに設定し、UrおよびVrを
    Figure 0006947893
    で除することと、
    S、UrおよびVrに色変換行列を適用することによって、RGB色空間における中間(R ,G ,B )成分を計算することと、
    を含む、請求項1又は2に記載の方法。
  4. エンコーダによって生成されたビットストリームにアクセスするように構成された通信インタフェースと、
    プロセッサであって、
    ビットストリームから1つの標準ダイナミックレンジ輝度成分L’および2つの標準ダイナミックレンジクロミナンス成分U’およびV’をエンコーダにより復号することと、
    前記標準ダイナミックレンジ輝度成分L’をLに、前記2つの復号された標準ダイナミックレンジクロミナンス成分U’およびV’をUrおよびVrに、それぞれ以下のように色変換することであって、L=L’+max(0,aU’+bV’)、Ur=β(L)U’、Vr=β(L)V’ここで、aおよびbが定数であり、β(L)がLに依存するパラメータである、色変換することと、
    前記色変換された標準ダイナミックレンジ輝度成分Lにダイナミック拡張関数を適用して高ダイナミックレンジ輝度成分Yを得ることであって、前記ダイナミック拡張関数が、エンコーダ側で前記高ダイナミックレンジ輝度成分に適用されたダイナミック減少関数の逆関数である、適用することと、
    前記色変換された標準ダイナミックレンジクロマ成分UrおよびVrに色伝達演算を適用して、中間色空間における中間高ダイナミックレンジクロミナンス成分Xおよび中間高ダイナミックレンジクロミナンス成分Zを得ることと
    前記高ダイナミックレンジ輝度成分Y、前記中間高ダイナミックレンジクロミナンス成分X、及び前記中間高ダイナミックレンジクロミナンス成分Zに色変換行列を適用して、RGB色空間における高ダイナミックレンジピクチャを得ることと
    を行うように構成された少なくとも1つのプロセッサと、
    を含む、デコーダ。
  5. 前記色変換された標準ダイナミックレンジ輝度成分Lにダイナミック拡張関数を適用して高ダイナミックレンジ輝度成分Yを得ることは、Y=g −1 (Ba,L)によりなされ、ここで、Baは、変調値であり、g −1 ()は、前記エンコーダ側の線形光高ダイナミックレンジ輝度成分に適用されるダイナミック減少関数の逆関数である、請求項4に記載のデコーダ。
  6. 前記高ダイナミックレンジ輝度成分Y、前記中間高ダイナミックレンジクロミナンス成分X、及び前記中間高ダイナミックレンジクロミナンス成分Zに色変換行列を適用して、RGB色空間における高ダイナミックレンジピクチャを得ることは、
    Ur 、Vr およびUr Vrの線形結合としてTを計算することと、
    T≦1の場合、
    Figure 0006947893
    としてSを計算し、そうでない場合には、Sをゼロに設定し、UrおよびVrを
    Figure 0006947893
    で除することと、
    S、UrおよびVrに色変換行列を適用することによって、RGB色空間における中間(R ,G ,B )成分を計算することと、
    を含む、請求項4又は5に記載のデコーダ。
  7. 命令を有するコンピュータプログラムであって、前記命令が、実行され次第、
    ビットストリームから1つの標準ダイナミックレンジ輝度成分L’および2つの標準ダイナミックレンジクロミナンス成分U’およびV’をエンコーダにより復号することと、
    前記標準ダイナミックレンジ輝度成分L’をLに、前記2つの復号された標準ダイナミックレンジクロミナンス成分U’およびV’をUrおよびVrに、それぞれ以下のように色変換することであって、L=L’+max(0,aU’+bV’)、Ur=β(L)U’、Vr=β(L)V’ここで、aおよびbが定数であり、β(L)がLに依存するパラメータである、色変換することと、
    前記色変換された標準ダイナミックレンジ輝度成分Lにダイナミック拡張関数を適用して高ダイナミックレンジ輝度成分Yを得ることであって、前記ダイナミック拡張関数が、エンコーダ側で前記高ダイナミックレンジ輝度成分に適用されたダイナミック減少関数の逆関数である、適用することと、
    前記色変換された標準ダイナミックレンジクロマ成分UrおよびVrに色伝達演算を適用して、中間色空間における中間高ダイナミックレンジクロミナンス成分Xおよび中間高ダイナミックレンジクロミナンス成分Zを得ることと
    前記高ダイナミックレンジ輝度成分Y、前記中間高ダイナミックレンジクロミナンス成分X、及び前記中間高ダイナミックレンジクロミナンス成分Zに色変換行列を適用して、RGB色空間における高ダイナミックレンジピクチャを得ることと
    を行うように少なくとも1つのプロセッサに指示する、コンピュータプログラム
  8. 前記色変換された標準ダイナミックレンジ輝度成分Lにダイナミック拡張関数を適用して高ダイナミックレンジ輝度成分Yを得ることは、Y=g −1 (Ba,L)によりなされ、ここで、Baは、変調値であり、g −1 ()は、前記エンコーダ側の線形光高ダイナミックレンジ輝度成分に適用されるダイナミック減少関数の逆関数である、請求項7に記載のコンピュータプログラム。
  9. 前記高ダイナミックレンジ輝度成分Y、前記中間高ダイナミックレンジクロミナンス成分X、及び前記中間高ダイナミックレンジクロミナンス成分Zに色変換行列を適用して、RGB色空間における高ダイナミックレンジピクチャを得ることは、
    Ur 、Vr およびUr Vrの線形結合としてTを計算することと、
    T≦1の場合、
    Figure 0006947893
    としてSを計算し、そうでない場合には、Sをゼロに設定し、UrおよびVrを
    Figure 0006947893
    で除することと、
    S、UrおよびVrに色変換行列を適用することによって、RGB色空間における中間(R ,G ,B )成分を計算することと、
    を含む、請求項7又は8に記載のコンピュータプログラム。
JP2020165345A 2015-08-24 2020-09-30 コード化および復号方法ならびに対応するデバイス Active JP6947893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15290214.4 2015-08-24
EP15290214 2015-08-24
JP2018509537A JP2018530942A (ja) 2015-08-24 2016-08-16 コード化および復号方法ならびに対応するデバイス

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018509537A Division JP2018530942A (ja) 2015-08-24 2016-08-16 コード化および復号方法ならびに対応するデバイス

Publications (2)

Publication Number Publication Date
JP2021013172A JP2021013172A (ja) 2021-02-04
JP6947893B2 true JP6947893B2 (ja) 2021-10-13

Family

ID=54151214

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018509537A Ceased JP2018530942A (ja) 2015-08-24 2016-08-16 コード化および復号方法ならびに対応するデバイス
JP2020165345A Active JP6947893B2 (ja) 2015-08-24 2020-09-30 コード化および復号方法ならびに対応するデバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018509537A Ceased JP2018530942A (ja) 2015-08-24 2016-08-16 コード化および復号方法ならびに対応するデバイス

Country Status (6)

Country Link
US (1) US11070830B2 (ja)
EP (1) EP3341918B1 (ja)
JP (2) JP2018530942A (ja)
KR (1) KR102509504B1 (ja)
CN (1) CN108352076B (ja)
WO (1) WO2017032646A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051818A1 (en) 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
KR102254535B1 (ko) * 2015-07-22 2021-05-20 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
JP6990172B2 (ja) 2015-09-18 2022-01-12 インターデジタル ヴイシー ホールディングス, インコーポレイテッド Hdr符号化/復号のための色成分サンプルの共に配置される輝度サンプルの決定
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
US11928796B2 (en) * 2017-12-01 2024-03-12 Interdigital Patent Holdings, Inc. Method and device for chroma correction of a high-dynamic-range image
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
CN110267038B (zh) * 2019-06-28 2022-07-29 广东中星微电子有限公司 编码方法及装置、解码方法及装置
CN110460901A (zh) * 2019-08-09 2019-11-15 浙江大华技术股份有限公司 一种视频发送和接收方法及其设备
CN113641531A (zh) * 2021-07-27 2021-11-12 东莞理工学院 Star码的编码方法及其解码方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050185836A1 (en) 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
CN100534202C (zh) * 2005-09-07 2009-08-26 逐点半导体(上海)有限公司 图像色彩的增强处理装置和处理方法
CN100534206C (zh) * 2005-12-06 2009-08-26 逐点半导体(上海)有限公司 一种图像压缩方法
CN100568982C (zh) * 2006-05-10 2009-12-09 广达电脑股份有限公司 影像处理装置及其方法
CN100574459C (zh) * 2006-09-05 2009-12-23 广达电脑股份有限公司 图像处理装置及其方法
CN101009851B (zh) 2007-01-19 2010-07-07 北京中星微电子有限公司 一种图像处理方法及其装置
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US7684084B2 (en) * 2007-09-25 2010-03-23 Xerox Corporation Multiple dimensional color conversion to minimize interpolation error
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
CN101909215B (zh) 2009-06-05 2012-04-18 华映视讯(吴江)有限公司 色彩转换方法以及其相对应的色彩显示方法
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
CN102118624B (zh) * 2011-03-08 2012-12-26 天脉聚源(北京)传媒科技有限公司 一种从rgb色彩空间到yuv色彩空间的图像转换方法
WO2012122462A2 (en) 2011-03-09 2012-09-13 Thimbletech, Inc. Use of magnetic resonance techniques for molecular detection
WO2012122426A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Reference processing for bitdepth and color format scalable video coding
WO2012142285A2 (en) 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
RU2643485C2 (ru) * 2011-09-27 2018-02-01 Конинклейке Филипс Н.В. Устройство и способ для преобразования динамического диапазона изображений
US9420302B2 (en) * 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
PL2836983T3 (pl) * 2012-10-08 2018-01-31 Koninklijke Philips Nv Przetwarzanie obrazu zmieniające luminancję z ograniczeniami barwy
US9860505B2 (en) * 2013-04-30 2018-01-02 Saturn Licensing Llc Transmitting device, transmitting method, receiving device, and receiving method
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
EP3051818A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for decoding a color picture
US10390057B2 (en) * 2015-02-17 2019-08-20 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
TWI764870B (zh) * 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法

Also Published As

Publication number Publication date
CN108352076B (zh) 2021-09-17
EP3341918B1 (en) 2023-10-11
EP3341918A1 (en) 2018-07-04
WO2017032646A1 (en) 2017-03-02
JP2018530942A (ja) 2018-10-18
KR20180044291A (ko) 2018-05-02
US20180249166A1 (en) 2018-08-30
KR102509504B1 (ko) 2023-03-13
JP2021013172A (ja) 2021-02-04
US11070830B2 (en) 2021-07-20
CN108352076A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
JP6947893B2 (ja) コード化および復号方法ならびに対応するデバイス
US11178412B2 (en) Method and apparatus of encoding and decoding a color picture
US11647213B2 (en) Method and device for decoding a color picture
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
JP2018525883A (ja) カラー・ピクチャを符号化および復号する方法およびデバイス
JP2018524924A (ja) Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス
WO2017190985A1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210916

R150 Certificate of patent or registration of utility model

Ref document number: 6947893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150