JP7464537B2 - 画像を符号化するための方法および装置 - Google Patents

画像を符号化するための方法および装置 Download PDF

Info

Publication number
JP7464537B2
JP7464537B2 JP2020567559A JP2020567559A JP7464537B2 JP 7464537 B2 JP7464537 B2 JP 7464537B2 JP 2020567559 A JP2020567559 A JP 2020567559A JP 2020567559 A JP2020567559 A JP 2020567559A JP 7464537 B2 JP7464537 B2 JP 7464537B2
Authority
JP
Japan
Prior art keywords
value
pixel
components
component
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020567559A
Other languages
English (en)
Other versions
JP2021530885A (ja
Inventor
トゥゼ,デイビッド
アンドリフォン,ピエール
コライティス,マリー-ジャン
Original Assignee
インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル ヴイシー ホールディングス, インコーポレイテッド filed Critical インターデジタル ヴイシー ホールディングス, インコーポレイテッド
Publication of JP2021530885A publication Critical patent/JP2021530885A/ja
Application granted granted Critical
Publication of JP7464537B2 publication Critical patent/JP7464537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Description

本実施形態は、結果として得られるビデオの高い忠実度を維持しながらHDRビデオを配信することに関する。
本項では、読者に当技術分野の様々な態様を紹介することを意図しており、これらの態様は、以下に説明および/または特許請求される本実施形態の様々な態様に関連し得る。この議論は、読者に背景情報を提供して、本開示の様々な態様のより良好な理解を容易にするのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということを理解されたい。
以下では、画像データは、画像(またはビデオ)のピクセル値に関するすべての情報と、例えば画像(またはビデオ)を視覚化および/または復号化するためのディスプレイおよび/または任意の他のデバイスによって使用され得るすべての情報と、を特定する特定の画像/ビデオフォーマットの、1つまたはいくつかのサンプル(ピクセル値)配列を指す。画像は、通常は画像の輝度(またはルーマ)を表す第1のサンプル配列の形状の第1の成分と、通常は画像のクロミナンス(またはクロマ)を表す他のサンプル配列の形状の第2の成分および第3の成分と、を備える。あるいは、同等に、同じ情報は、従来の3色RGB表現などの1組の色サンプル配列によっても表され得る。
ピクセル値は、C個の値のベクトルによって表され、ここで、Cは、成分の数である。ベクトルの各値は、ピクセル値の最大ダイナミックレンジを規定するビット数で表される。
標準ダイナミックレンジ画像(SDR画像)は、輝度値が限られたビット数(典型的には、8)で表される画像である。この制限された表現では、特に暗い輝度範囲および明るい輝度範囲で、小さな信号変動を正しくレンダリングすることができない。ハイダイナミックレンジ画像(HDRイメージ)では、ダイナミックレンジの全範囲にわたって信号の高精度が維持されるように、信号表現が拡張されている。HDR画像では、ピクセル値は通常、浮動小数点フォーマット(典型的には、成分ごとに少なくとも10ビット、つまり単精度浮動または半精度浮動)で表され、最も一般的なフォーマットは、openEXR半精度浮動フォーマット(RGB成分ごとに16ビット、すなわち、1ピクセルごとに48ビット)であるか、または典型的には16ビットである長い表現の整数をなす。
高効率ビデオコーディング(HEVC)標準(ITU(02/2018)のITU-T H.265電気通信標準化セクター、シリーズH:オーディオビジュアルおよびマルチメディアシステム、オーディオビジュアルサービスのインフラストラクチャ-動画のコーディング、高効率ビデオコーディング、勧告ITU-T H.265)の出現は、Ultra HDサービスなどの、視聴体験を向上させた新しいビデオサービスの展開を可能にする。空間解像度の増大に加えて、Ultra HDフォーマットは、現在展開されている高解像度フォーマットの標準色域(SCG)および標準ダイナミックレンジ(SDR)よりも広い色域(WCG)および高いダイナミックレンジ(HDR)をもたらし得る。知覚伝達関数知覚量子化器(PQ)などのHDR/WCGビデオの表現およびコーディングのためのさまざまなソリューションが提案されている(SMPTE ST 2084、「High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays,、またはDiaz,R.,Blinstein,S.およびQu,S.「Integrating HEVC Video Compression with a High Dynamic Range Video Pipeline」,SMPTE Motion Imaging Journal,Vol.125,Issue 1.Feb, 2016,pp 14-21)。典型的には、SMPTE ST 2084は、わずか10または12ビットで10 000cd/m2のピーク輝度までのHDRビデオ信号を表現することを可能にする。
復号化およびレンダリング装置とのSDRの下位互換性は、放送システムまたはマルチキャストシステムなどの一部のビデオ配信システムの重要な機能である。シングルレイヤのコーディング/復号化プロセスに基づくソリューションは、下位互換性、例えばSDR互換性があり、既設のレガシー配信ネットワークおよびサービスを活用し得る。
このようなシングルレイヤベースの配信ソリューションは、HDR対応の消費者向け電子(CE)デバイスでの高品質のHDRレンダリングを可能にすると同時に、SDR対応のCEデバイスでの高品質のSDRレンダリングも提供する。このようなソリューションは、符号化された信号、例えばSDR信号と、復号化された信号から別の信号、例えばSDRかまたはHDR信号の一方を再構築するために使用できる関連付けられたメタデータ(ビデオフレームまたはシーンごとに数バイト)に基づいている。
シングルレイヤベースの配信ソリューションの一例が、ETSI技術仕様TS 103 433-1 V1.2.1(2017年8月)に見出され得る。このようなシングルレイヤベースの配信ソリューションは、以下ではSL-HDR1と表記される。
追加的に、HDR配信システム(ワークフローだけでなく、復号化およびレンダリング装置)が、既に展開されている場合がある。実際、HDRコンテンツを含む、いくつかのグローバルなビデオサービスプロバイダーがある。ただし、分散HDRマテリアルは、消費者向けエンドデバイスの特性と一致しないフォーマットまたは特性で表され得る。通常、消費者用エンドデバイスは、復号化されたマテリアルを独自の特性に適合させる。しかしながら、HDR TVで使用されている技術の多様性は、元のコンテンツをグレーディングするために実稼働環境で使用されるマスタリングディスプレイと比較して、消費者向けエンドデバイスの特性が異なるため、レンディションに関して重要な相違を招来する。コンテンツプロデューサにとって、芸術的意図の忠実度と消費者へのそのレンヂテョンとは、最も重要である。したがって、グレーディングプロセス中の製造段階で、または放出前の品質検査オペレータの制御下で生成された「ディスプレイ適応(display adaptation)」メタデータにより、復号化された信号をエンドデバイスの特性に適応させるときに、消費者に芸術的意図を伝達することが可能になる。
ディスプレイ適応と組み合わされたシングルレイヤベースの配信ソリューションの一例が、ETSI技術仕様TS 103 433-2 V1.1.1(2018年1月)に見出され得る。このようなシングルレイヤベースの配信ソリューションは、以下ではSL-HDR2と表記される。
このようなシングルレイヤベースの配信ソリューションであるSL-HDR1またはSL-HDR2は、信号の再構築に使用されるパラメータとしてメタデータを生成する。メタデータは、静的または動的のいずれかであり得る。
静的メタデータは、ビデオ(画像のセット)および/またはプログラムについての、同じままであるビデオコンテンツまたはビデオコンテンツのフォーマットを表すパラメータを意味する。
静的メタデータは、ビデオコンテンツ全体(シーン、ムービー、クリップ...)に有効であり、画像コンテンツ自体または画像コンテンツの表現形式に依存し得る。静的メタデータは、例えば、画像フォーマットまたは色空間、色域を定義し得る。例えば、SMPTE ST 2086:2014「Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Images」は、実稼働環境でマテリアルをグレーディングするために使用されるような、マスタリングディスプレイを記述する一種の静的メタデータである。マスタリングディスプレイカラーボリューム(MDCV)SEI(補助強化情報)メッセージは、H.264/AVC(「Advanced video coding for generic audiovisual Services」、シリーズH:オーディオビジュアルおよびマルチメディアシステム、勧告ITU-T H.264、ITUの電気通信標準化セクタ、2017年4月)とHEVCビデオコーデックとの両方に対するST 2086の配信フレーバである。
動的メタデータは、コンテンツに依存する情報であるため、メタデータは、画像/ビデオコンテンツで、例えば各画像または各画像グループごとに変化する可能性がある。一例として、SMPTE ST 2094:2016標準ファミリ「Dynamic Metadata for Color Volume Transform」は、典型的には、実稼働環境で生成される動的メタデータである。SMPTE ST2094-30は、Colour Remapping Information(CRI)SEIメッセージの効果で、HEVCおよびAVCでコード化されたビデオストリームに沿って配信できる。
基本的に、シングルレイヤベースの配信ソリューションは、入力画像(ビデオ)のフォーマットを、メタデータと関連付けられた出力画像(ビデオ)を生成することを目的とした前処理ステップ、上記の出力画像(ビデオ)およびメタデータの符号化ステップ、上記の出力画像(ビデオ)およびメタデータの復号化ステップ、ならびに上記のデコードされた出力画像(ビデオ)から、および任意で上記の復号化メタデータから画像(ビデオ)を再構築することを目的とする後処理ステップの入力に適応させるフォーマット適応ステップを含む。
後処理ステップは通常、浮動小数点値ではなく整数を使用して実装される。このような整数の実装態様は、上記の後処理ステップで使用される内部変数の値を、これらの内部変数の精度を定義する最大値に制限することを伴う。しかしながら、これらの内部変数の値が上記の最大値を超えると、内部変数の値がクリップされ、これらの内部変数の精度の喪失を招き、上記の後処理の出力画像に視覚的なアーティファクトを招くことが起こり得る。典型的には、いくつかのSL-HDR1またはSL-HDR2の実装態様では、内部クロマ成分の精度を9ビット(+符号ビット)にクリップする必要がある。このクリッピングが発生すると、特に高飽和した赤および青の色で視覚的なアーティファクトを招く。
以下は、本実施形態のいくつかの態様の基本的な理解を提供するために、本実施形態の簡略化された概要を提示する。この概要は、本実施形態の網羅的な概説ではない。本実施形態の主要なまたは重要な要素を特定することを意図していない。以下の概要は、以下に提供されるより詳細な説明への前置きとして、本実施形態のいくつかの態様を単純化した形で提示しているにすぎない。
本実施形態は、先行技術の欠点のうちの少なくとも1つを方法で克服することを述べるものであり、この方法は、入力画像を表す色成分から出力画像のクロマ成分を表すクロマ成分を取得することであって、上記の出力画像が、上記の入力画像に前処理および符号化を適用することによって取得された符号化された画像自体に復号化および後処理を適用することによって取得されることが意図され、上記の後処理が、上記の前処理の関数反転と等価である、取得することと、上記のクロマ成分のうちの少なくとも1つでのピクセルの値が、所与の値を超えている場合、上記のクロマ成分のうちの上記の少なくとも1つでの上記のピクセルの値が、上記の所与の値以下となるように、上記の色成分のうちの少なくとも1つでの上記のピクセルの値を変更することと、を含む。
一実施形態によれば、所与の値が、上記のクロマ成分のうちの少なくとも1つでの上記のピクセルの値をクリッピングする前の最大整数値に依存する。
一実施形態によれば、上記の少なくとも1つのクロマ成分のうちの第1のものでの上記のピクセルの値が、第1の所与の値と比較され、上記の少なくとも1つのクロマ成分のうちの第2のものでの上記のピクセルの値が、第2の所与の値と比較され、上記の第1の所与の値と上記の第2の所与の値とが、異なる値である。
一実施形態によれば、単一の色成分での上記のピクセルの値が、変更される。
一実施形態によれば、上記の色成分のうちの少なくとも1つでの上記のピクセルの値が、単色成分での上記のピクセルの値を、上記のクロマ成分での上記のピクセルの値が上記の所与の値以下であるときに取得される値で置き換えることによって、変更される。
一実施形態によれば、第1のクロマ成分での上記のピクセルの値が、第1の所与の値に等しいときに第1の値が取得され、第2のクロマ成分での上記のピクセルの値が第2の所与の値に等しいときに第2の値が取得され、その場合に、上記のピクセルの最大値が、上記の第1の値が第2の値よりも大きい場合に上記の第1の値であると判定されるか,またはそうでない場合に上記の第2の値であると判定され、上記の色成分のうちの少なくとも1つでの上記のピクセルの値が、単色成分での上記のピクセルの値を上記の最大値で置き換えることによって変更される。
一実施形態によれば、上記の最大値が、厳密に0よりも大きく、かつ上記の単色成分での上記のピクセルの値よりも厳密に大きい場合、上記の単色成分での上記のピクセルの値が、上記の最大値で置き換えられる。
一実施形態によれば、上記の信号色成分が、第1の色成分であると見なされ、第2の色成分での上記のピクセルの値も、変更され、上記の第2の色成分が、第1の値および第2の値に従って判定され、上記の第1の値が、第1のクロマ成分での上記のピクセルの値が、第1の所与の値に等しいときに取得され、上記の第2の値が、第2のクロマ成分での上記のピクセルの値が第2の所与の値に等しいときに取得される。
一実施形態によれば、第2の色成分での上記のピクセルの値が、上記の第2の色成分での上記のピクセルの値に、第1の色成分での上記のピクセルの値に対する最大値の比率を乗算することによって変更され、上記のピクセルの値は、上記の第1の値が第2の値よりも大きい場合に上記の第1の値であるか、またはそうでない場合に上記の第2の値であると判定される。
一実施形態によれば、上記の最大値が、所与の値よりも大きい場合にのみ、第2の色成分での上記のピクセルの値が変更される。
一実施形態によれば、入力画像における上記のピクセルの値が、第1の色成分での上記のピクセルの値よりも低い場合にのみ、第2の色成分での上記のピクセルの値が変更される。
それらの態様のうちの別のものによれば、本実施形態は、プログラムコード命令を含むコンピュータプログラム製品であって、プログラムコード命令が、このプログラムがコンピュータ上で実行されると上記の方法のステップを実行するためのものである、コンピュータプログラム製品に関する。
それらの態様のうちの別のものによれば、本実施形態は、非一過性プロセッサ可読媒体であって、非一過性プロセッサ可読媒体のプログラムコード命令が、このプログラムがコンピュータ上で実行されると上記の方法のステップを実行するためのものである、非一過性プロセッサ可読媒体に関する。
本実施形態の特定の性質、ならびに本実施形態の他の目的、利点、特徴、および使用は、添付の図面と併せて以下の例の説明から明らかになるであろう。
図面には、本実施形態の例が、例示されている。図は以下の通りである。
本実施形態の一例による、改善されたディスプレイ適応機能を有するディスプレイへのコンテンツ配信をサポートするエンドツーエンドワークフローの高レベルの表現を示す。 シングルレイヤベースの配信ソリューションに従って、HDRおよびSDR CEディスプレイへの配信をサポートするエンドツーエンド処理ワークフローの一例を示す。 図2のワークフローの特定の実装態様を示す。 知覚伝達関数の説明図を示す。 マッピングに使用される区分的曲線の一例を示す。 知覚均一信号を線形光ドメインに変換して戻すために使用される曲線の一例を示す。 図1~図4cに関連して説明されている方法を実装するように構成され得る装置のアーキテクチャの例示的な実施形態を表す。 本実施形態の例示的な実施形態による、画像を符号化するための方法のステップの図を示す。
同様または同一の要素は、同じ参照番号で参照される。
本実施形態を、本実施形態の例が示された添付の図面を参照して以降でより完全に説明する。ただし、本実施形態は、多くの代替形態で具体化されてもよく、本明細書に明示される例に限定されるものとして解釈されるべきではない。したがって、本実施形態は様々な変更形態および代替形態を受け入れる余地があるが、その特定の例は、図面に例として示され、本明細書で詳細に説明される。ただし、本実施形態を開示された特定の形態に限定する意図はないが、むしろ、本開示は、特許請求の範囲で定義されているような本実施形態の趣旨および範囲に含まれるすべての変更物、均等物、および代替物に及ぶと理解されたい。
本明細書で使用される専門用語は、特定の例を説明することのみを目的とし、本実施形態を限定することを意図していない。本明細書で使用される場合、単数形「a」、「an」、および「the」は、文脈が明らかに他を示さない限り、複数形も含むことが意図される。本明細書で使用される場合、「備える」、「備えている」、「含む」、および/または「含んでいる」という用語は、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を特定するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。さらに、要素が別の要素に「応答する」または「接続される」と言及される場合、それは他の要素に直接応答するか、もしくは接続され得るか、または介在する要素が存在してもよい。対照的に、要素が他の要素に「直接応答する」または「直接接続される」と言及される場合、介在する要素は存在しない。本明細書で使用する場合、「および/または」という用語は、関連する列挙された項目のうちの1つ以上のありとあらゆる組合せを含み、「/」と略記することができる。本明細書では、第1、第2などの用語を使用して様々な要素を説明する場合があるが、これらの要素はこれらの用語によって限定されるべきではないことが理解されよう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、本実施形態の教示から逸脱することなく、第1の要素を第2の要素と呼ぶことが可能であり、同様に、第2の要素を第1の要素と呼ぶことが可能である。一部の図は、通信の主要な方向を示すために通信経路上に矢印を含んでいるが、通信は、描かれた矢印と反対の方向で発生することがあることを理解されたい。一部の例は、ブロック図および動作フローチャートに関して説明されており、各ブロックは、指定された論理機能(複数可)を実装するための1つ以上の実行可能な命令を含む回路要素、モジュール、またはコードの一部を表す。他の実装態様では、ブロックに記載されている機能(複数可)が記載されている順序とは異なる順序で発生することがあることにも留意されたい。例えば、連続して示されている2つのブロックは、実際、実質的に同時に実行されることがあるか、またはブロックは、伴う機能に応じて、時には逆の順序で実行されることがある。本明細書における「一例に従えば」または「一例では」との言及は、例に関連して説明されている特定の特徴、構造、または特性を、本実施形態の少なくとも1つの実装態様に含めることができることを意味する。本明細書の様々な場所での「一例に従えば」または「一例では」という語句の出現は、必ずしもすべて同じ例を指しているわけではなく、別個または代替の例が他の例を必ずしも相互に排除しているわけでもない。請求項に現れる参照番号は、例証としてのみであり、請求項の範囲に限定的な影響を与えるものではない。明示的には説明されていないが、本例および変形例は、任意の組み合わせまたは部分的な組み合わせで使用されてもよい。
典型的には、2つの異なる画像は、異なる輝度のダイナミックレンジを有する。画像の輝度のダイナミックレンジは、画像の輝度値の最大値と最小値との比率である。
典型的には、画像の輝度のダイナミックレンジが1000未満(例えば、500:100cd/m2割る0.2cd/m2)である場合、上記の画像は、標準ダイナミックレンジ(SDR)画像として表記され、輝度のダイナミックレンジが画像の1000以上(例えば、10000:1000cd/m2割る0.1cd/m2)である場合、上記の画像は、HDR画像として表記される。輝度は、平方メートルあたりの単位カンデラ(cd/m2)で表現される。この単位は、(国際単位系では非推奨であるが)使用される可能性もある「nit」という用語に取って代わる。
本実施形態は、画像の前処理、符号化、復号化、および後処理について説明されているが、シーケンスの各画像が、以下に説明されているように、順次、前処理、符号化、復号化、および後処理されるため、前処理、符号化、復号化、および後処理、ならびに画像のシーケンス(ビデオ)にわたる。
以下では、成分
は、画像nの成分mを指定する。m=1,2,3を有するこれらの成分
は、特定の画像フォーマットで画像Inを表現する。典型的には、画像フォーマットは、カラーボリューム(例えば、色度およびダイナミックレンジ)、色符号化システム(例えば、RGB、YCbCr..)..によって特徴付けられる。
図1は、本実施形態の一例による、改善されたディスプレイ適応機能を備えたディスプレイへのコンテンツ配信をサポートするエンドツーエンドワークフローの高レベルの表現を示す。装置A1は、画像またはビデオストリームを前処理および符号化するための方法を実装するように構成されており、装置A2は、以下に説明されているように画像またはビデオストリームを復号化および後処理するための方法を実装するように構成されており、装置A3は、復号化および後処理された画像またはビデオストリームを表示するように構成されている。2つの遠隔装置A1およびA2は、少なくとも、装置A1から装置A2に符号化された画像またはビデオストリームを提供するように構成された配信ネットワークNETを介して通信している。
装置A1は、以下に説明されているような前処理および/または符号化方法を実装するように構成された少なくとも1つのデバイスを備える。上記の少なくとも1つのデバイスは、モバイルデバイス、通信デバイス、ゲームデバイス、タブレット(またはタブレットコンピュータ)、ラップトップなどのコンピュータデバイス、静止画像カメラ、ビデオカメラ、符号化チップ、静止画サーバ、およびビデオサーバ(例えば、ブロードキャストサーバ、ビデオオンデマンドサーバ、またはWebサーバ)を備えるデバイスのセットに属する。
装置A2は、以下に説明されているようなデコーシングおよび/または後処理方法を実装するように構成された少なくとも1つのデバイスを備える。上記の少なくとも1つのデバイスは、モバイルデバイス、通信デバイス、ゲームデバイス、コンピュータデバイス、およびセットトップボックスを含むデバイスのセットに属する。
装置A3は、表示方法を実装するように構成された少なくとも1つのデバイスを備える。上記の少なくとも1つのデバイスは、TVセット(またはテレビ)、タブレット(またはタブレットコンピュータ)、ラップトップなどのコンピュータデバイス、ディスプレイ、ヘッドマウントディスプレイ、およびレンダリング/表示チップを備えるデバイスのセットに属する。
一例に従えば、ネットワークは、装置A1から複数の装置A2に静止画像またはビデオ画像をブロードキャストするように適合されたブロードキャストネットワークである。DVBおよびATSCベースのネットワークは、このようなブロードキャストネットワークの例である。
別の例に従えば、ネットワークは、装置A1から複数の装置A2に静止画像またはビデオ画像を配信するように適合されたブロードキャストネットワークである。インターネットベースのネットワーク、GSMネットワーク、またはTV over IPネットワークは、このようなブロードキャストネットワークの例である。
例示的な実施形態では、エンドツーエンドワークフローは、装置A1用の放送サーバ、装置A2用のセットトップボックス、装置A3用のテレビセット、およびDVB地上波放送ネットワークを使用する。
代替実施形態では、装置A2およびA3が組み合わされて、単一のデバイス、例えば、セットトップボックスの復号化および後処理機能性を統合するテレビとされる。
代替実施形態では、配信ネットワークNETは、符号化された画像またはビデオストリームが記憶された、物理的にパッケージ化されたメディアで置き換えられる。
物理パッケージメディアとして、Blu-rayディスクおよびUltra HD Blu-rayなどの光パッケージ媒体だけでなく、OTTおよびVoDサービスで使用されるメモリベースのパッケージ媒体が挙げられる。
図2は、シングルレイヤベースの配信ソリューションに従って、HDRおよびSDR CEディスプレイへの配信をサポートするエンドツーエンド処理ワークフローの一例を示す。
基本的に、上述のシングルレイヤベースの配信ソリューションは、SDRの直接的な下位互換性に対処し得、すなわち、このソリューションは、既設のSDR配信ネットワークおよびサービスを活用し、SDR CEデバイスでの高品質SDRレンダリングを含むHDR対応CEデバイスでの高品質HDRレンダリングを可能にする。
SL-HDR1は、このようなシングルレイヤベースの配信ソリューションの1つの例である。
しかし、上記のシングルベースのレイヤ配信ソリューションはまた、ディスプレイ適応動的メタデータがPQ HDRビデオ信号と共に配信される配信ネットワーク上で使用されるソリューションに関連し得る。PQは、Rec.ITU-R BT.2100「Recommendation ITU-R BT.2100-1、Image parameter values for high dynamic range television for use in production and international programme exchange」で指定されているような「知覚量子化」を意味する。
図2に示されているワークフローは、関連付けられたメタデータを用いるシングルレイヤベースの配信ソリューションを伴い、例えばSL-HDR1またはSL-HDR2で指定されているような復号化された画像および上記のメタデータを表す3つの復号化された成分
から入力画像の3つの成分
を表す3つの成分
を再構築する方法の使用の一例を例示している。
情報データIDは、いずれのシングルレイヤベースの配信ソリューションを考慮する必要があるかを判定する。通常、実際には、1つのシングルベースのレイヤ配信ソリューションのみが、インスタンス化され、情報データIDは、固定値である。複数のシングルレイヤベースの配信ソリューションが、インスタンス化される場合には、情報データIDは、これらのシングルレイヤベースの配信ソリューションのうちのいずれを考慮する必要があるかを示す。
典型的には、SL-HDR1およびSL-HDR2は、インスタンス化され得、情報データIDは、SL-HDR1か、またはSL-HDR2のいずれかを考慮する必要があるかどうかを示す。
基本的に、図2に示されているシングルレイヤベースの配信ソリューションは、前処理ステップ20、符号化ステップ23、復号化ステップ25および26、および後処理ステップ28を含む。
前処理ステップ20の入力および出力は、それぞれ成分
のトリプレットであり、後処理ステップ28の入力および出力は、それぞれ成分
のトリプレットである。
図2に示されているシングルレイヤベースの配信ソリューションは、3つの成分
のフォーマットをこれらの成分に適用されるさらなる処理の入力に適応させるための任意でのフォーマット適応ステップ21、22、27、29を含み得る。
例えば、(任意での)ステップ21では、3つの成分
のフォーマットを、前処理ステップ20の入力フォーマット、または符号化ステップ23の入力フォーマットに適合するフォーマットに適応させ得、および(任意での)ステップ22では、また、3つの成分
のフォーマットを、符号化ステップ23の入力フォーマットに適合するフォーマットに適応させ得る。
(任意での)ステップ27では、3つの成分
のフォーマットを、後処理ステップ28の入力に適合するフォーマットに適応させ得、ステップ29では、3つの成分
のフォーマットを、ターゲット装置(例えば、セットトップボックス、接続されたTV、HDR/SDR対応CEデバイス、Ultra HD Blu-rayディスクプレーヤ)の少なくとも1つの特性から定義され得るフォーマットに適応させ得る。
上記のフォーマット適応ステップ(21、22、27、29)は、色空間変換および/または色域マッピング(および/または逆色域マッピング)を含み得る。逆色域マッピングは、例えば、3つの復号化された成分
と、出力画像の3つの成分
または入力画像の3つの成分
と、が異なる色空間および/または色域で表される場合に、使用され得る。
R’G’B’-Y’CbCr変換またはY’CbCr-R’G’B’変換、BT.709-BT.2020またはBT.2020-BT.709、ダウンサンプリングまたはアップサンプリングのクロマ成分などの通常のフォーマット適応プロセスが、使用され得る。
例えば、SL-HDR1は、ETSI技術仕様TS103 433-1 V1.2.1(2017年8月)の付録Dで指定されているようなフォーマット適応プロセスおよび逆色域マッピングを使用し得る。
上記の入力フォーマット適応ステップ21はまた、3つの成分
のビット深度を、PQまたはHLG伝達関数またはその反転(Rec.ITU-R BT.2100)などの伝達関数を3つの成分
に適用することによって、例えば10ビットなどのビット深度に適応させることを含み得る。
前処理ステップ20では、3つの成分
(ステップ21でフォーマットが適応されていない場合に3つの成分
のいずれかに等しいか、またはステップ21でこれらの成分のフォーマットが適応されていない場合にこれらの3つの成分
の適応されたバージョンに等しい)は、3つの成分
(そのフォーマットが、3つの成分
を得るためにステップ22の間に場合によっては適応されることが可能である)とパラメータセットSPとに分解され、切り替えステップ24は、3つの成分
が3つの成分
のいずれかに等しいか、または3つの成分
に等しいかどうかを判定する。
ステップ23では、3つの成分
は、任意のビデオコーデックで符号化され得、ビットストリームBを含む信号は、配信ネットワーク全体に搬送される。
ステップ23の変形例によれば、パラメータセットSPおよび/または情報データIDは、ビットストリームBで関連付けられた静的および/または動的メタデータとして伝達される。
変形例によれば、パラメータセットSPおよび/または情報データIDは、特定のチャネル上で関連付けられた静的および/または動的メタデータとして伝達される。
次いで、図1の装置A2によって復号化されることを意図された少なくとも1つの信号は、ビットストリームBおよび付随するメタデータを搬送する。
変形例では、ビットストリームBは、例えば、ブルーレイディスクまたはハードディスクまたはセットトップボックスのメモリなどの記憶媒体に記憶される。
変形例では、少なくともいくつかの付随する関連付けられたメタデータは、例えば、UltraHD Blu-rayディスクまたはハードディスクまたはセットトップボックスのメモリなどの記憶媒体に記憶される。
好ましくは、ステップ23では、各々が画像を表す、成分
の少なくとも1つのトリプレットのシーケンスと、場合によっては、関連付けられたするメタデータと、がH.265/HEVCコーデックまたはH.264/AVCなどのビデオコーデックで符号化される。
ステップ25では、パラメータセットSPは、ビットストリームBからか、または別の特定のチャネルのいずれかから少なくとも部分的に取得される。パラメータセットSPのパラメータのうちの少なくとも1つはまた、別個の記憶媒体から取得され得る。
ステップ26では、3つの復号化された成分
は、ビットストリームBから取得される。
前処理ステップ20のほぼ関数反転である後処理ステップ28では、3つの成分
は、3つの復号化された成分
および取得されたパラメータセットSPから再構築される。
より詳細には、前処理ステップ20は、ステップ200~203を含む。
ステップ200では、成分
は、3つの成分
のうちの成分
にマッピング関数を適用することによって取得される。上記の成分
は、入力画像の輝度を表す。
数学的に言えば、
であり、MFは、画像の輝度のダイナミックレンジを低下または増加させ得るマッピング関数である。IMFを表意するその反転は、画像の輝度のダイナミックレンジを逆に増加または低下させ得ることに留意されたい。
ステップ202では、再構築された成分
は、成分
に逆マッピング関数:
を適用することによって取得され、ここで、IMFは、マッピング関数MFの関数の反転である。したがって、再構築された成分
の値は、成分
の値のダイナミックレンジに属する。
ステップ201では、成分
は、成分
および再構築された成分
に応じて入力画像のクロマを表す成分
を補正することによって、導出される。
このステップ201は、3つの成分
から取得される色を制御することを可能にし、それらの色と入力画像の色との知覚的マッチングを保証する。成分
(通常、クロマ成分を表意する)の補正は、クロマ補正および逆マッピングステップのパラメータを調整することによる制御の下で維持され得る。3つの成分
から取得される色飽和および色相は、制御下にある。このような制御は、通常、ノンパラメトリックマッピング関数(ステップ200)が使用される場合、不可能である。
任意で、ステップ203では、成分
は、次の、
のように、知覚される飽和をさらに制御するように調整され得、ここで、aおよびbは、2つのパラメータである。
このステップ203は、輝度(成分
によって表される)を制御して、3つの成分
および入力画像の色から取得された色(飽和および色相)間の知覚されたカラーマッチングを保証するすることを可能にする。
パラメータSPのセットは、マッピング関数またはマッピング関数の反転に関連する情報データ(ステップ200、202、および282)、クロマ補正に関連する情報データ(ステップ201および281)、飽和調整関数に関連する情報、特に、飽和調整関数のパラメータaおよびb(ステップ203)、および段階21、22、27、29を適応させるフォーマットで使用される任意での変換に関連する情報(例えば、域マッピングおよび/または逆ギャンピングパラメータ)を含み得る。
パラメータセットSPはまた、出力画像の情報データIDおよび情報特性、例えば、上記の出力画像を表す3つの成分
のフォーマットを含み得る(図2および図3のステップ29および図3の284)。
より詳細には、後処理ステップ28は、パラメータセットSPの少なくとも1つのパラメータを入力として受け取るステップ280~282を含む。
任意でのステップ280では、ステップ27の出力である3つの成分
のうちの成分
は、次の、
以下のように調整され得、ここで、aおよびbは、パラメータセットSPの2つのパラメータである。
例えば、ステップ280は、情報データIDが、SL-HDR1を考慮する必要があることを示している場合に実行され、SL-HDR2を考慮する必要があることを示している場合に実行されない。
ステップ282では、3つの成分
のうちの成分
は、成分
または、任意で、

にマッピング関数を適用することによって取得され、ここで、MF1は、パラメータセットSPの少なくとも1つのパラメータから派生したマッピング関数である。
ステップ281では、3つの成分
のうちの成分
は、成分
または、任意で、
に応じて、3つの成分
の成分
を逆補正することによって導出される。
一実施形態によれば、成分
に、パラメータセットSPのパラメータによって定義され、かつその値が成分
または、任意で、
に依存するような、クロマ補正関数β(.)が乗算される。
数学的に言えば、成分
は、以下によって与えられる。
https://patentlicensing.technicolor.com/IPTech/home/
または任意で、以下によって与えられる。
図3は、図2のシングルレイヤベースのソリューションのハードウェアフレンドリーな最適化を表す。上記の最適化は、2つの追加のステップ283および284を含み、バスのビット幅の使用を低減することによって、ハードウェア実装態様の複雑さを低減することを可能にする。
ステップ283では、(R1、G1、B1)と表記された3つの成分が、パラメータセットSPのパラメータを考慮に入れることによって、ステップ281の出力である、成分
から取得され、
ここで、m0、m1、m2、m3は、パラメータセットSPのパラメータであり、S0は、成分
とパラメータセットSPの他のパラメータとから導出される。
ステップ284では、次いで、3つの成分
が、ステップ282の出力である成分
に応じて、3つの成分(R1、G1、B1)をスケーリングすることによって取得される。
ここで
(ステップ282)。
図2または図3のエンドツーエンドワークフローの第1の例示的な実施形態によれば、情報データIDは、SL-HDR1を考慮する必要があることを示す。
次いで、式(1)中のマッピング関数MF(.)は、入力画像の輝度のダイナミックレンジを縮小し、式(2)中の、式(1)の、反転のIMF(.)は、成分
のダイナミックレンジを拡大し、式(5)中のマッピング関数MF1(.)は、成分
のダイナミックレンジを拡大する。
上記の第1の例示的な実施形態の第1の変形例によれば、成分
は、文献ではルーマを表意する非線形信号であり、入力画像のガンマ圧縮されたRGB成分から次の、
によって取得され(ステップ21)、ここで、γは、ガンマ因子であり、好ましくは2.4に等しいことが可能である。
次に、上記の第1の変形例によれば、次いで、成分
が、入力画像のRGB成分にガンマ圧縮を適用することによって取得され(ステップ21)、
ここで、A=[A123Tは、標準的な3×3R’G’B’-Y’CbCr変換マトリックス(例えば、色空間に応じて、勧告ITU-R BT.2020-2または勧告ITU-R BT.709-6)であり、A1、A2、A3は、
である1×3行列であり、ここで、Amn(m=1,..,3、n=1,..3)は行列係数である。
次に、ステップ201では、上記の第1の変形例によれば、成分
は、ガンマ圧縮された再構築された成分

との積に対する成分
の比率から補正され、
ここで、
は、成分
に依存する値であるが、3つの成分
の原色に依存する一定値でもあり得る。
は、例えば、Rec.BT.2020の場合は1.2に等しいことが可能である。場合によっては、
は、ETSI TS 103 433-1V.1.2.1節C.2.3で指定されているパラメータにも依存し得る。
は、パラメータセットSPのパラメータでもあり得る。
最後に、上記の第1の変形例によれば、次いで、3つの成分
は、Y’CbCr4:2:0ガンマ転送特性ビデオ信号を表し得る。
例えば、マッピング関数MFおよび/またはマッピング関数MFの反転のIMFおよび/またはマッピング関数MF1(.)に関連する制御パラメータは、C3.2節(ETSI技術仕様TS 103 433-1 V1.2.1)で指定されているように決定され得る。クロマ補正関数β(.)およびクロマ補正関数β(.)のパラメータは、C.2.3節およびC.3.4節(ETSI技術仕様TS 103 433-1 V1.2.1)で指定されているように決定され得る。マッピング関数またはマッピング関数の反転に関連する制御パラメータに関連する情報データと、クロマ補正関数β(.)に関連する情報データおよび情報データのパラメータとは、パラメータセットSPのパラメータである。パラメータセットSPのパラメータの数値の例は、例えば、付録F(表F.1)(ETSI技術仕様TS 103 433-1 V1.2.1)に見出され得る。
パラメータm0、m1、m2、m3およびS0は、6.3.2.6節(matrixCoefficient[i]は、m0、m1、m2、m3を定義している)で指定されるように決定され得、ETSI技術仕様TS 103 433-1 V1.2.1の6.3.2.8節(kCoefficient[i]は、S0を構築するために使用される)と再構築のためのそれらの使用とは、7.2.4節(ETSI技術仕様TS 103 433-1 V1.2.1)で指定されるように決定され得る。
上記の第1の例示的な実施形態の第2の変形例によれば、成分
は、以下によって入力画像I1のRGB成分から取得される線形光輝度成分Lである。
次に、上記の第2の変形例によれば、次いで、成分
が、入力画像I1のRGB成分にガンマ圧縮を適用することによってが導出される(ステップ21)。
次に、上記の第2の変形例によれば、次いで、成分
は、ガンマ圧縮された再構築された成分

との積に対する第1の成分
の比率から、成分
を補正することによって、導出される(ステップ201)、
ここで、
は、成分
に依存する値であり、場合によっては、ETSI TS103 433-1 V.1.2.1のC.3.4.2節で指定されているようなパラメータから取得され、ここで、式(22)中で

は、パラメータセットSPのパラメータでもあり得る。
最後に、上記の第2の変形例によれば、次いで、3つの成分
は、Y’CbCr4:2:0ガンマ転送特性ビデオ信号を表し得る。
例えば、マッピング関数MFおよび/またはマッピング関数MFの反転のIMFおよび/またはマッピング関数MF1(.)に関連する制御パラメータは、C3.2節(ETSI技術仕様TS103 433-1 V1.2.1)で指定されているように決定され得る。クロマ補正関数β(.)およびクロマ補正関数β(.)のパラメータは、7.2.3.2節(ETSI技術仕様TS103 433-2V1.1.1)の式(25)で指定されているように決定され得、ここで、fsgf(Yn)=1である。マッピング関数またはマッピング関数の反転に関連する制御パラメータに関連する情報データと、クロマ補正関数β(.)に関連する情報データおよび情報データのパラメータとは、パラメータセットSPのパラメータである。
パラメータm0、m1、m2、m3およびS0は、6.3.2.6節(matrixCoefficient[i]は、m0、m1、m2、m3を定義している)で指定されるように決定され得、ETSI技術仕様TS103 433-1 V1.2.1の6.3.2.8節(kCoefficient[i]は、S0を構築するために使用される)と再構築のためのそれらの使用とは、7.2.4節(ETSI技術仕様TS103 433-1 V1.2.1)で指定されるように決定され得る。
図2または図3のエンドツーエンドワークフローの第2の例示的な実施形態によれば、情報データIDは、SL-HDR2を考慮する必要があることを示す。
次いで、3つの成分
は、Y’CbCr4:4:4フルレンジPQ10(PQ10ビット)ビデオ信号(Rec.ITU-R BT.2100で指定)として表され得る。3つの成分
(典型的には、10、12または16ビット)から計算されたPQ 10ビット画像データおよび関連付けられたパラメータである、3つの成分
が、提供され、次いで、例えば、HEVCメイン10プロファイル符号化方式を使用して符号化される(ステップ23)。これらのパラメータは、パラメータセットSPに設定される。
式(5)中のマッピング関数MF1(.)は、変形例に従って、成分
のダイナミックレンジを拡大または縮小し得る。
例えば、マッピング関数MF1(.)は、接続されたHDR CEディスプレイのピーク輝度がコンテンツのピーク輝度を上回っていると、ダイナミックレンジを拡大する。マッピング関数MF1(.)は、接続されたHDRまたはSDR CEディスプレイのピーク輝度がコンテンツのピーク輝度を下回っていると、ダイナミックレンジを減少させる。例えば、上記のピーク輝度は、パラメータセットSPのパラメータであり得る。
例えば、マッピング機能MF1に関連する制御パラメータは、C.3.2節(ETSI技術仕様TS103 433-1 V1.2.1)で指定されているように決定され得る。クロマ補正関数β(.)およびクロマ補正関数β(.)のパラメータは、7.2.3.2節(ETSI技術仕様TS103 433-2V1.1.1)の式(25)で指定されているように決定され得、ここで、fsgf(Yn)=1である。マッピング関数に関連する制御パラメータに関連する情報データと、クロマ補正関数β(.)に関連する情報データおよび情報データのパラメータと、はパラメータセットSPのパラメータである。パラメータセットSPのパラメータの数値の例は、例えば、付録F(表F.1)(ETSI技術仕様TS103 433-2V1.1.1)に見出され得る。
パラメータm0、m1、m2、m3(ETSI技術仕様TS103 433-2 V1.1.1でmatrixCoefficient[i]によって定義されている)およびS0(ETSI技術仕様TS103 433-2 V1.1.1でkCoefficient[i]で構築される)は、7.2.4節(ETSI技術仕様TS103 433-2 V1.1.1)で指定されているように決定され得る。
上記の第2の例示的な実施形態の第1の変形例によれば、上記の出力画像を表す3つの成分
は、3つの成分
である。
上記の第2の例示的な実施形態の第2の変形例によれば、後処理ステップ28では、3つの成分
は、3つの成分
と復号化後のパラメータセットSPのパラメータとから再構築される(ステップ25)。
次いで、3つの成分
は、SDR対応ディスプレイか、またはHDR対応CEディスプレイのいずれかで利用可能である。3つの成分
のフォーマットは、上述したように、場合によっては適応される(ステップ29)。
マッピング関数MF(.)またはMF1(.)は、知覚伝達関数に基づいており、知覚伝達関数の目的は、入力画像の成分を出力画像の成分に変換し、それにより、それらの輝度の値のダイナミックレンジを縮小(または拡大)することである。したがって、出力画像の成分の値は、入力画像の成分の値よりも低い(または大きい)ダイナミックレンジに属する。上記の知覚伝達関数は、制限された制御パラメータセットを使用する。
図4aは、輝度成分をマッピングするために使用され得る知覚伝達関数の説明図を示すが、輝度成分をマッピングするための同様の知覚伝達関数が、使用されてもよい。マッピングは、マスタリングディスプレイのピーク輝度パラメータ(図4aの5000cd/m2に等しい)によって制御される。黒レベルおよび白レベルをより良く制御するために、コンテンツに依存する黒レベルと白レベルとの間に広がる信号が適用される。次いで、変換された信号は、図4bに例示されているように、3つの部分から構築された区分的曲線を使用してマッピングされる。下部区間および上部区間は線形であり、急勾配は、それぞれshadowGain制御パラメータおよびhighlightGain制御パラメータによって決定される。中間区間は放物線であり、2つの線形区間の間に連続的で滑らかなブリッジを提供する。クロスオーバーの幅は、midToneWidthAdjFactorパラメータによって決定される。マッピングを制御するすべてのパラメータは、例えばETSI TS103 433-1付録A.2のメタデータで指定されているようなSEIメッセージを使用することによって、メタデータとして伝達され得る。
図4cは、知覚伝達関数TM(図4a)の反転の一例を示しており、知覚的に最適化された輝度信号を、ターゲットとなるレガシーディスプレイの最大輝度、例えば100cd/m2に基づいて、変換して線形光ドメインに戻し得る方法を示す。
ステップ25(図2または図3)では、ツリー成分
からツリー成分
を再構築するためのパラメータセットSPが取得される。これらのパラメータは、ビットストリーム、例えばビットストリームBから取得されたメタデータから取得され得る。
ETSI TS103 433-1 V1.2.1の6節および付録A.2は、上記のメタデータの構文の一例を提供する。このETSI勧告の構文は、SDRビデオからHDRビデオを再構築するために記述されているが、この構文は、復号化された成分からの任意の画像の再構築に拡張し得、一例として、TS 103 433-2 V1.1.1は、HDRビデオ信号(異なるダイナミックレンジ)からディスプレイに適応したHDRビデオを再構築するために同じ構文を使用する。
ETSI TS103 433-1 V1.2.1によれば、上記の動的メタデータは、いわゆるパラメータベースモードか、またはテーブルベースモードのいずれかに従って伝達され得る。パラメータベースのモードは、動的メタデータを搬送するための追加のペイロードまたは帯域幅の使用量が非常に少ない直接SDR下位互換性のあるサービスを提供することを主な目的とする配信ワークフローにとって興味深い場合がある。テーブルベースモードは、ローエンド端末を備えたワークフローにとって、またはHDRストリームとSDRストリームとの両方を適切に表現するためにより高いレベルの適応が必要とされる場合に、興味深い場合がある。パラメータベースモードでは、伝達される動的メタデータは、後処理ステップで適用される逆マッピング関数を表す輝度マッピングパラメータ、すなわち、tmInputSignalBlackLevelOffset、tmInputSignalWhiteLevelOffset、shadowGain、highlightGain、midToneWidthAdjFactor、tmOutputFineTuningパラメータである。
さらに、伝達される他の動的メタデータは、ETSI TS103 433-1 V1.2.1の6.3.5節および6.3.6節で指定されているようなデフォルトのクロマ補正関数β(.)を微調整するために使用される色補正パラメータ(saturationGainNumVal、saturationGainX(i)、saturationGainY(i))である。パラメータaおよびbは、上述したように、それぞれsaturationGain関数パラメータで実行され得る。これらの動的メタデータは、HEVC SL-HDR情報(SL-HDRI)ユーザーデータ登録SEIメッセージ(ETSI TS103 433-1 V1.2.1の付録A.2を参照)またはAVS2/IEEE1857.4仕様で指定されているような別の拡張データメカニズムを使用して伝達され得る。典型的な動的メタデータのペイロードサイズは、画像またはシーンあたり100バイト未満である。
図3に戻ると、ステップ25では、SL-HDRI SEIメッセージが解析されて、パラメータセットSPの少なくとも1つのパラメータを取得する。
ステップ282および202では、逆マッピング関数(いわゆるlutMapY)が、取得されたマッピングパラメータから再構築(導出)される(詳細については、ETSI TS103 433-1 V1.2.1の7.2.3.1節、-TS103 433-2 V1.1.1の同じ節を参照)。
ステップ282および202では、クロマ補正関数β(.)(いわゆるlutCC)も、取得された色補正パラメータから再構築(導出)される(詳細については、ETSI TS103 433-1 V1.2.1の7.2.3.2節、TS103 433-2 V1.1.1の同じ節を参照)。
テーブルベースモードでは、伝達される動的データは、マッピング関数を表す区分的線形曲線のピボットポイントである。例えば、動的メタデータは、ピボットポイントの数を示すluminanceMappingNumVal、ピボットポイントの横座標(x)値を示すluminanceMappingX、およびピボットポイントの縦座標(y)値を示すluminanceMappingYである(詳細については、ETSI TS103 433-1 V1.2.1の6.2.7節および6.3.7節を参照)。さらに、伝達される他の動的メタデータは、クロマ補正関数β(.)を表す区分的線形曲線のピボットポイントであり得る。例えば、動的メタデータは、ピボットポイントの数を示すcolorCorrectionNumVal、ピボットポイントのx値を示すcolorCorrectionX、およびピボットポイントのy値を示すcolorCorrectionYである(詳細については、ETSI TS103 433-1 V1.2.1の6.2.8節および6.3.8節を参照)。これらの動的メタデータは、HEVC SL-HDRI SEIメッセージを使用して伝達され得る(6節のパラメータと付録Aの配信メタデータとの間のマッピングは、ETSI TS103 433-1 V1.2.1の付録A.2.3に提供されている)。
ステップ25では、SL-HDRI SEIメッセージが解析されて、逆マッピング関数を表す区分的線形曲線のピボット点、およびクロマ補正関数β(.)を表す区分的線形曲線のピボット点、ならびにクロマからルーマへの注入パラメータaおよびbを取得する。
ステップ282および202では、逆マッピング関数は、逆マッピング関数ITMを表す区分的線形曲線に関連する逆マッピング関数のピボット点から導出される(詳細については、ETSI TS103 433-1 V1.2.1の7.2.3.3節、-ETSI TS103 433-2 V1.1.1の同じ節を参照)。
ステップ281および201では、クロマ補正関数β(.)はまた、クロマ補正関数β(.)を表す区分的線形曲線に関連する上記のピボット点のそれらから導出される(詳細については、ETSI TS103 433-1 V1.2.1の7.2.3.4節、-TS103 433-2 V1.1.1の同じ節を参照)。
後処理ステップでも使用される静的メタデータは、SEIメッセージによって伝達され得ることに留意されたい。例えば、パラメータベースモードか、またはテーブルベースモードのいずれかの選択は、ETSI TS103 433-1 V1.2.1(A.2.2節)で指定されているようなpayloadMode情報によって実行され得る。例えば、原色または最大ディスプレイマスタリングディスプレイ輝度などの静的メタデータは、AVC、HEVCで指定されているようなマスタリングディスプレイカラーボリューム(MDCV)SEIメッセージによって伝達されるか、またはETSI TS103 433-1 V1.2.1の付録A.2で指定されているようなSL-HDRI SEIメッセージ内に埋め込まれる。
ステップ25の実施形態によれば、情報データIDは、ビットストリーム内の構文要素によって明示的に信号伝達され、したがって、ビットストリームを解析することによって取得される。例えば、上記の構文要素は、SL-HDRI SEIメッセージに内包されるsl_HDR_mode_value_minus1構文要素などのSEIメッセージの一部である。
一実施形態によれば、上記の情報データIDは、パラメータセットSPを処理するために入力画像に適用される処理が何であるかを識別する。
この実施形態によれば、次いで、情報データIDを使用して、パラメータを使用して3つの成分
を再構築する方法を推定し得る(ステップ25)。
例えば、1に等しい場合、情報データIDは、パラメータセットSPがSL-HDR1前処理ステップ(ステップ20)を入力HDR画像に適用することによって取得されたこと、および3つの成分
がSDRイメージを表すことを示す。2に等しい場合、情報データIDは、SL-HDR2前処理ステップ(ステップ20)をHDR10ビット画像(ステップ20の入力)に適用することによってパラメータが取得されたこと、および3つの成分
がHDR10画像を表すことを示す。
本実施形態は、入力画像を表す色成分から、出力画像のクロマ成分を表す、通常はクロマ成分を表意する成分
を取得し、当該クロマ成分のうちの少なくとも1つのピクセルの値が所与の値を超える場合、当該クロマ成分のうちの少なくとも1つでの当該ピクセルの値が、当該所与の値以下となるように、当該色成分のうちの少なくとも1つでの当該ピクセルの値を変更する。
上記のクロマ成分のうちの少なくとも1つでのピクセルの値が、所与の値を超えるかどうかを判定することにより、出力画像の高飽和色を検出することができるようになり、上記のクロマ成分のうちの少なくとも1つでの上記のピクセルの値が、上記の所与の値以下となるように、上記の色成分のうちの少なくとも1つでの上記のピクセルの値を変更することにより、上記の高飽和色を、ディスプレイ上のレンダリングされた色に知覚的に影響を及ぼさない範囲に非飽和化する。
例えば、入力画像がRGB色空間で表され、かつクロマ成分が通常のUクロマ成分およびVクロマ成分であるとすると、Uクロマ成分のピクセルの値が所与の値よりも高い場合、入力画像中の上記のピクセルのB成分の値は、上記のピクセルのR成分値およびG成分値と比較して非常に高いことが多い。次いで、本実施形態によれば、上記のピクセルのG(および場合によってはR)成分値は、変更された色成分から取得される、上記のUクロマ成分での上記のピクセルの値が、上記の所与の値以下となるように変更される。
同様に、Vクロマ成分のピクセルの値が、所与の値よりも高い場合、入力画像中の上記のピクセルのR成分値は、上記のピクセルのB成分およびG成分値と比較して非常に高いことが多い。次いで、本実施形態によれば、上記のピクセルのG(および場合によってはB)成分値は、変更された色成分から取得される、上記のVクロマ成分での上記のピクセルの値が、上記の所与の値以下となるように変更される。
図6は、本実施形態の例示的な実施形態による、画像を符号化するための方法のステップの図を示す。
この方法は、ステップ60~62を含む。
ステップ60の入力は、入力画像を表す色成分値のトリプレットである。以下では、色成分のトリプレットは、周知のRGB色空間のトリプレットを指すが、画像を表す値の他のトリプレットは、本実施形態の範囲を限定することなく使用され得る。
図2と図3で上述したように、入力画像を表す3つの成分
が、前処理され(ステップ20)、次いで、出力された3つの成分
が、ビットストリームBに符号化され(ステップ23)、次いで、3つの成分
が、ビットストリームBを復号化する(ステップ26)ことによって取得され、次いで、出力画像を表す3つの成分
が、3つの成分
から直接取得されるか、または3つの成分
と、関連付けられたメタデータから取得されたパラメータセットSPのパラメータ(ステップ25)と、から再構築される(ステップ28)かのいずれかとされる。
ステップ28は、通常、整数値を使用することによって実装され、すなわち、このステップでのいくつかの内部値は、下限値LBVおよび上限値UBVによって境界付けられる特定の範囲に属する整数値である。典型的には、この範囲は、9ビットおよび符号ビットで定義され、すなわち、下限値LBVは、-512に等しく、上限値UBVは、511に等しい。
上記の後処理ステップ28の過程で、3つの成分
のうちの成分
は、成分
または、任意で、
に応じて、3つの成分
のうちの成分
を逆補正することによって導出される。上記の成分
は、出力画像のクロマを表し、すなわち、それらの成分は、通常、3つの成分
のクロマ成分を表意する。
ステップ60では、モジュールM1が、入力画像を表す色成分から、出力画像のクロマ成分
を表すクロマ成分
を取得する。
図2または図3のエンドツーエンドワークフローの第1の例示的な実施形態の第1の変形例によれば、すなわち、SL-HDR1が考慮される場合、クロマ成分
が、式(9)~(10)から取得される式(14)式からによって取得され、
符号化/復号化が(
)を考慮しないものとすると、
(式6再が考慮される場合、式(6)が考慮される場合と同様の結果)。
図2または図3のエンドツーエンドワークフローの第2の例示的な実施形態によれば、すなわち、SL-HDR2が考慮される場合、クロマ成分
は、ディスプレイ適応機能性がないことが考慮される場合、つまりETSI TS103 433-2 V1.1.1、7.2.3.2項でmodFactorが0に等しいことが考慮される場合の式(15)によって取得され、
ここで、R”=EOTFPQ(R)、G”=EOTFPQ(G)、B”=EOTFPQ(B)およびEOFTPQ(.)であり、EOTFPQ(.)は、SMPTE ST 2084で指定されており、符号化/復号化が(
)を考慮せず、かつ
であるものとする(式6再が考慮される場合、式(6)が考慮される場合と同様の結果)。
ステップ61では、モジュールM2は、上記のクロマ成分
のうちの少なくとも1つでのピクセルpの値
が、所与の値を超えているかどうかを検査する。
一実施形態によれば、所与の値は、上記のコロマ成分
のうちの少なくとも1つでのピクセルpの値
をクリッピングする前の最大整数値に依存する。
上記の所与の値は、上限値UBV以下であり得る。
ステップ61の変形例によれば、モジュールM2は、クロマ成分
でのピクセルpの値
が、第1の所与の値を超えている場合、モジュールM2は、クロマ成分
での上記のピクセルpの値
が、第2の所与の値を超えており、かつ上記の第1の所与の値と第2の所与の値とが異なる値であるかどうかを検査する。
クロマ成分に異なる所与の値を定義することにより、3つの成分
のクロマ成分
が、その後、同じ処理に従って取り扱われないため、3つの成分
から取得される色に特殊な効果が導入される。
上記のクロマ成分
でのピクセルpの値
が、それぞれ、所与の値を超えている場合には、ステップ62では、モジュールM3は、上記のクロマ成分のうちの少なくとも1つでの上記のピクセルpの値が、上記の所与の値以下となるように、上記の色成分のうちの少なくとも1つでの上記のピクセルpの値を変更する。
ステップ62の実施形態によれば、単一の色成分での上記のピクセルpの値が、変更される。
例えば、入力画像がRGB色空間で表されているものとすると、G成分は、変更される単一の色成分である。
ステップ62の上記の実施形態の変形例によれば、単色成分での上記のピクセルpの値は、上記のクロマ成分
(または
)での上記のピクセルpの値
(または
)が、上記の所与の値に等しい、すなわち、例えば、所与の値がUBVに等しい場合は
(または
)=UBVである場合に取得される値Val(p)で置き換えられる。
例えば、G成分が、変更される単色成分である場合、値Val(p)は、
がUBV以下である場合に、
によって計算され、ここで、
、EOTF(X)=X1/γ、かつinvEOFT(Y)=Yγであり、これは、式(14)が考慮され、
、EOTF(X)=EOTFPQ(X)、かつinvEOTF(Y)=InvEOTFPQ(Y)である場合であり、ここで、invEOTF(Y)は、式(15)が考慮される場合のEOTFPQ(.)関数の関数反転である。
クロマ成分
(通常のVクロマ成分を表す)が、UBV以下である場合に同様の式が取得され得、
によって計算され、ここで、
、EOTF(X)=X1/γ、かつinvEOFT(Y)=Yγであり、これは、式(14)が考慮され、
、EOTF(X)=EOTFPQ(X)、かつinvEOTF(Y)=InvEOTFPQ(Y)である場合であり、ここで、invEOTF(Y)は、式(15)が考慮される場合のEOTFPQ(.)関数の関数反転である。
ステップ62の別の実施形態によれば、第1の値Val1(p)は、第1のクロマ成分
での上記のピクセルpの値
が、第1の所与の値に等しい場合、式(16)に従って取得され、第2の値Val2(p)は、第2のクロマ成分
での上記のピクセルpの値
が、第2の所与の値に等しい場合、式(17)に従って取得される。
次いで、上記のピクセルpの最大値MaxVal(p)は、上記の第1の値Val1(p)が第2の値Val2(p)よりも大きい場合に上記の第1の値Val1(p)であるか、またはそうでない場合に上記の第2の値Val2(p)であるかのいずれかであると判定される。
第1の所与の値および第2の所与の値は、異なる値UBV1およびUBV2に等しいか、または同じ値、典型的には、値が9ビット(+1つの符号ビット)を使用することによって表される場合には511に等しい、すなわち、所与の値が上限値UBVに等しいことが可能である。
最後に、ステップ62では、単一色成分での上記のピクセルpの値は、上記の単一色成分での上記のピクセルpの値を上記の最大値MaxVal(p)で置き換えることによって変更される。
ステップ62での変形例によれば、単一の色成分での上記のピクセルpの値は、上記のピクセルpの上記の最大値MaxVal(p)が、厳密に0よりも大きく、上記の単色色成分の上記のピクセルpの値よりも厳密に大きい場合、上記の最大値MaxVal(p)で置き換えられる。
ステップ62の実施形態によれば、第1の色成分での上記のピクセルpの値は、上述したように変更され、第2の色成分での上記のピクセルpの値もまた変更され、上記の第2の色成分は、上記の第1の値Val1(p)および第2の値Val2(p)に従って決定される。
例えば、入力画像が、RGB色空間で表され、かつクロマ成分が、通常のUクロマ成分およびVクロマ成分であるものとすると、第1の値Val1(p)は、Uクロマ成分を指し、第2の値Val2(p)は、Vクロマ成分Vを指す。第2の色成分は、Val1(p)>Val2(p)の場合はR色成分であり、そうでない場合はB色成分である。
ステップ62の上記の実施形態の変形例によれば、第2の色成分での上記のピクセルpの値は、上記の第2の色成分での上記のピクセルpの上記の値に、第1の色成分での上記のピクセルpの値に対する最大値MaxVal(p)の比率を乗算することによって変更される。
例えば、入力画像が、RGB色空間で表され、かつクロマ成分が、通常のUクロマ成分およびVクロマ成分であるものとすると、第1の値Val1(p)は、Uクロマ成分を指し、第2の値Val2(p)は、Vクロマ成分Vを指す。次いで、Val1(p)が、Val2(p)よりも大きい、すなわち、MaxVal(p)=Val1()であって色の高飽和がUクロマ成分に起因する場合、R成分は、
R(p)=R(p).Val1(p)/Value(p)によって変更される第2の色成分であり、ここで、Value(p)は、上記の第1の色成分(例えば、G)でのピクセルpの、上記の第1の色成分の上記のピクセルの値の変更前の値である。
このようにして、B成分の高い値は、R成分の値を増大させることによって補償され、出力画像でのピクセルpの色の全体的な非飽和化につながる。
Val1(p)がVal2(p)よりも低い、すなわちMaxVal(p)=Val2()であり、かつ色の高飽和がVクロマ成分に起因する場合、B成分は、
B(p)=B(p).Val2(p)/Value(p)によって変更される第2の色成分であり、ここで、Value(p)は、上記の第1の色成分(例えば、G)のピクセルpの、上記の第1の色成分でのピクセルの値の変更前の値である。
このようにして、R成分の高い値は、B成分の値を増大させることによって補償され、出力画像でのピクセルpの色の全体的な非飽和化につながる。
ステップ62の変形例によれば、第2の色成分での上記のピクセルpの値は、MaxVal(p)が、所与の値LOWよりも大きい、例えば、範囲が9ビットで定義される場合は25である場合にのみ、変更される。
この変形例は、val(p)が低い場合でも比率MaxVAl(p)/Val(p)が、あまり高い値をとらないため、再構築された画像I3上の予期しない色シフトの導入を回避する。
ステップ62の別の変形例によれば、第2の色成分での上記のピクセルpの値は、入力画像中の上記のピクセルpの値val(p)が、単一の(または第1の)色成分、例えばG成分での上記のピクセルpの値よりも低い場合にのみ変更される。
この変形例は、R(またはB)色成分に比率MaxVal(p)/val(p)を適用しても、出力画像に予期しない色シフトを導入し得るほどの高いR(またはB)色成分は生成されないため、生成されないため、R(またはB)色成分が比較的高い場合に出力画像上への予期しない色シフトの導入を回避する。
別の変形例によれば、ガンマ符号化された単色成分のガンマ係数は、MaxVal(p)が所与の値LOW2よりも低いときに変更される。
典型的には、LOW2=1.0であり、ガンマ係数は、MaxVal(p)<LOW2の場合に2.0に等しく、そうでない場合は2.4に等しい。
これには、非常に暗い値の輝度をあまり増幅しないという効果があり、出力画像に予期しない色がポップアップすることを回避する。
図1~図4cおよび図6では、モジュールは、区別可能な物理ユニットに関連していても関連していなくてもよい機能ユニットである。例えば、これらのモジュールもしくはそれらの一部は、一意のコンポーネントもしくは回路にまとめられるか、またはソフトウェアの機能に貢献することができる。反対に、一部のモジュールは個別の物理エンティティで潜在的に構成されてもよい。本実施形態と互換可能である装置は、例えば、それぞれ<<特定用途向け集積回路>>、<<フィールドプログラマブルゲートアレイ>>、<<超大規模集積回路>>であるASIC、FPGA、VLSIなどの専用ハードウェアを使用した純粋なハードウェアを使用してか、または装置に組み込まれたいくつかの集積電子コンポーネントから、もしくはハードウェアおよびソフトウェアコンポーネントの混載からのいずれかで実装される。
図5は、図1~図4cに関連して説明されている方法を実装するように構成され得るデバイス50のアーキテクチャの例示的な実施形態を表す。
装置50は、データおよびアドレスバス51によって相互にリンクされた以下の要素、すなわち、例えばDSP(またはデジタル信号プロセッサ)であるマイクロプロセッサ52(またはCPU)、ROM(または読み取り専用メモリ)53、RAM(またはランダムアクセスメモリ)54、アプリケーションから送信するデータを受信するためのI/Oインターフェース55、および任意でのバッテリ56を備える。一例に従えば、バッテリー56は、デバイスの外部にある。前述のメモリの各々では、本明細書で使用される<<レジスタ>>という語は、小容量(いくつかのビット)の領域、または非常に大きな領域(例えば、プログラム全体、または大量の受信もしくは復号化されたデータ)に対応することができる。ROM53は、少なくともプログラムおよびパラメータを含む。ROM53は、本実施形態に従う技術を実行するためのアルゴリズムおよび命令を記憶し得る。電源が投入されると、CPU52は、プログラムをRAM54にアップロードし、対応する命令を実行する。RAM54は、レジスタ内に、CPU52によって実行され、かつ装置50の電源投入後にアップロードされるプログラム、レジスタ内の入力データ、レジスタ内の、方法の異なる段階での中間データ、およびレジスタ内の、方法の実行のために使用される他の変数を含む。
本明細書で説明された実装態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号に実装され得る。(例えば、方法または装置としてのみ議論された)単一の形態の実装態様の状況でのみ議論されたとしても、議論された特徴の実装態様は、他の形態(例えば、プログラム)でも実装され得る。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。これらの方法は、例えば、装置に実装され得、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジック装置を含む、一般に、処理デバイスを指す、例えばプロセッサなどの装置に実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタンス(「PDA」)、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなどの、通信デバイスを含む。
一例に従えば、入力ビデオまたは入力ビデオの画像は、ソースから取得される。例えば、ソースは、ローカルメモリ(53または54)、例えばビデオメモリまたはRAM(またはランダムアクセスメモリ)、フラッシュメモリ、ROM(または読み取り専用メモリ)、ハードディスク、記憶装置インターフェース(55)、例えば大容量記憶装置を備えたインターフェース、RAM、フラッシュメモリ、ROM、光ディスクまたは磁気サポート、通信インターフェース(55)、例えば有線インターフェース(例えば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース)または無線インターフェース(IEEE802.11インターフェースまたはBluetooth(登録商標)インターフェースなど)、および撮像回路(例えば、CCD(もしくは電荷結合素子)またはCMOS(もしくは相補型金属酸化膜半導体)などのセンサ)を備えるセットに属する。
例に従えば、メタデータを搬送するビットストリームは、宛先に送信される。一例として、ビットストリームは、ローカルメモリまたはリモートメモリ、例えばビデオメモリまたはRAM(54)、ハードディスクに記憶される。変形例では、ビットストリームのうちの少なくとも1つは、記憶装置インターフェース(55)、例えば大容量記憶装置、フラッシュメモリ、ROM、光ディスク、または磁気サポートを備えるインターフェースに送信され、および/または通信インターフェース(55)、例えばポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンク、またはブロードキャストネットワークへのインターフェースを介して伝送される。
他の例に従えば、メタデータを搬送するビットストリームは、ソースから取得される。例示的には、ビットストリームは、ローカルメモリ、例えば、ビデオメモリ(54)、RAM(54)、ROM(53)、フラッシュメモリ(53)、またはハードディスク(53)から読み取られる。変形例では、ビットストリームは、記憶装置インターフェース(55)、例えば、大容量記憶装置、RAM、ROM、フラッシュメモリ、光ディスク、もしくは磁気サポートとのインターフェースから受信され、および/または通信インターフェース(55)、例えば、ポイントツーポイントリンク、バス、ポイントツーマルチポイントリンク、もしくは放送ネットワークとのインターフェースから受信される。
例に従えば、上記に説明したような方法を実装するように構成された装置50は、モバイルデバイス、通信デバイス、ゲームデバイス、タブレット(またはタブレットコンピュータ)、ラップトップ、静止画像カメラ、ビデオカメラ、符号化/復号化チップ、テレビ、セットトップボックス、ディスプレイ、静止画サーバ、およびビデオサーバ(例えば、放送サーバ、ビデオオンデマンドサーバ、またはwebサーバ)を含むセットに属する。
本明細書で説明される様々なプロセスおよび特徴の実装態様は、様々な異なる機器またはアプリケーションで具体化され得る。このような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、入力をエンコーダに提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、および画像もしくはビデオを処理するための任意の他のデバイス、または他の通信装置を含む。明らかである必要があるが、機器は、可搬式とすることができ、移動車両にさえ搭載することができる。
追加的に、方法は、プロセッサによって行われる命令によって実装されてもよく、そのような命令(および/または実装態様によって生成されるデータ値)は、コンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体は、1つ以上のコンピュータ可読媒体で具体化され、かつコンピュータで実行可能なコンピュータ可読プログラムコードがその上で具体化されるコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、そこに情報を記憶する固有の能力、ならびにそこから情報の検索を提供する固有の能力が与えられた非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の適切な組み合わせとすることができるが、これらに限定されない。以下は、本実施形態を適用することができるコンピュータ可読記憶媒体のより具体的な例を提供するが、当業者によって容易に理解されるように、単なる例示であり、網羅的なリストではないことを理解されたい。すなわち、ポータブルコンピュータ、フロッピーディスク、ハードディスク、読み取り専用メモリ(ROM)、消去可能なプログラム可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または以上のものの任意の適切な組み合わせである。
命令は、プロセッサ可読媒体に有形に具体化されるアプリケーションプログラムを形成することができる。命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせで行うことができる。命令は、例えば、オペレーティングシステム、個別アプリケーション、または2つの組み合わせに見出すことができる。したがって、プロセッサは、例えば、プロセスを実行するように構成された装置と、プロセスを実行する命令を有するプロセッサ可読媒体(記憶装置など)を含む装置と、の両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令の他に、または命令の代わりに、実装態様により生成されるデータ値を格納することができる。
当業者には明らかであるように、実装態様は、情報を伝達するようにフォーマットされる多種多様な信号を生成することができ、この情報は、例えば、格納または送信することができる。情報は、例えば、方法を実行する命令、または説明される実装態様のうちの1つにより生成されたデータを含むことができる。例えば、信号は、本実施形態の説明される例の構文をデータとして書き込むか、もしくは読み出すルールを搬送するか、または本実施形態の説明される例によって書き込まれる実際の構文値をデータとして搬送するようにフォーマットすることができる。このような信号は、例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報またはデジタル情報とすることができる。信号は、既知の如く、多種多様な異なる有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に格納することができる。
多数の実装態様が説明されてきた。それにもかかわらず、様々な変更を行うことができることが理解される。例えば、異なる実装態様の要素は、他の実装態様を生成するために組み合わせる、補足する、変更する、または削除することができる。追加的に、当業者であれば、他の構造およびプロセスを、開示される構造およびプロセスに替えて用いることができ、結果として得られる実装態様が、少なくとも実質的に同じ機能(複数可)を、少なくとも実質的に同じ方法(複数可)で実行して、開示される実装態様と少なくとも実質的に同じ結果(複数可)を達成することを理解するであろう。したがって、これらの実装態様および他の実装態様は、本出願により想到される。

Claims (14)

  1. 方法であって、
    入力画像を表す色成分から出力画像のクロマ成分を表すクロマ成分を取得することであって、前記出力画像が、前記入力画像に前処理および符号化を適用することによって取得された符号化された画像自体に復号化および後処理を適用することによって取得され、前記後処理が、前記前処理の関数反転と等価である、取得することと、
    前記クロマ成分のうちの少なくとも1つでのピクセルの値が、所与の値を超えている場合、前記入力画像の前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することであって、前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値から取得された前記クロマ成分のうちの前記少なくとも1つでの前記ピクセルの前記値が、前記所与の値以下である、ことと、
    前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を前記入力画像に挿入することと
    を含む、方法。
  2. 装置であって、
    入力画像を表す色成分から出力画像のクロマ成分を表すクロマ成分を取得することであって、前記出力画像が、前記入力画像に前処理および符号化を適用することによって取得された符号化された画像自体に復号化および後処理を適用することによって取得され、前記後処理が、前記前処理の関数反転と等価である、取得することと、
    前記クロマ成分のうちの少なくとも1つでのピクセルの値が、所与の値を超えている場合、前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値から取得された前記クロマ成分のうちの前記少なくとも1つでの前記ピクセルの前記値が、前記所与の値以下となるように、前記入力画像の前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することと、
    前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を前記入力画像に挿入することと
    を行うための手段を含む、装置。
  3. 前記所与の値が、前記クロマ成分のうちの少なくとも1つでの前記ピクセルの前記値をクリッピングする前の最大整数値に依存する、請求項1に記載の方法
  4. 前記少なくとも1つのクロマ成分のうちの第1のものでの前記ピクセルの値を、第1の所与の値と比較することと、
    前記少なくとも1つのクロマ成分のうちの第2のものでの前記ピクセルの値を、第2の所与の値と比較することと、
    を更に含み、前記第1の所与の値と前記第2の所与の値とが、異なる値である、請求項1に記載の方法。
  5. 前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することは、単一の色成分での前記ピクセルの変更された値を生成することを含む、請求項1に記載の方法。
  6. 前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することは、前記単一の色成分での前記ピクセルの前記値を、前記クロマ成分のうちの前記少なくとも1つでの前記ピクセルの前記値が前記所与の値以下であるときに取得される値で置き換えることを含む、請求項5に記載の方法
  7. 前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することは、
    第1のクロマ成分での前記ピクセルの前記値が、第1の所与の値に等しいときに、第1の値を取得することと、
    第2のクロマ成分での前記ピクセルの前記値が、第2の所与の値に等しいときに、第2の値を取得することと、
    前記第1の値が前記第2の値よりも大きい場合に、前記ピクセルの最大値が前記第1の値であり、前記第1の値が前記第2の値よりも大きくない場合に、前記ピクセルの最大値が前記第2の値であると決定することと、
    前記単一の色成分での前記ピクセルの前記値を前記最大値で置き換えることと、
    を含む、請求項5に記載の方法
  8. 前記最大値が、0よりも大きく、かつ前記単一の色成分での前記ピクセルの前記値よりも大きい、請求項7に記載の方法
  9. 前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することは、
    第1の色成分で前記ピクセルの値を取得することと、
    第2の色成分で前記ピクセルの値を取得することとであって、前記第2の色成分が、第1の値および第2の値に従って決定され、前記第1の値が、第1のクロマ成分での前記ピクセルの前記値が第1の所与の値に等しいときに取得され、前記第2の値が、第2のクロマ成分での前記ピクセルの前記値が第2の所与の値に等しいときに取得される、ことと、
    を含む、請求項1に記載の方法
  10. 前記色成分のうちの少なくとも1つでの前記ピクセルの変更された値を生成することは、
    前記第2の色成分での前記ピクセルの前記値に、前記第1の色成分での前記ピクセルの前記値に対する最大値の比率を乗算することを含み、
    前記第1の値が前記第2の値よりも大きい場合に、前記ピクセルの最大値が前記第1の値であると決定され、前記第1の値が前記第2の値よりも大きくない場合に、前記ピクセルの最大値が前記第2の値であると決定される、請求項9に記載の方法。
  11. 前記最大値が所与の値よりも大きい場合にのみ、前記第2の色成分での前記ピクセルの前記値が変更される、請求項10に記載の方法
  12. 前記入力画像中の前記ピクセルの前記値が前記第1の色成分での前記ピクセルの前記値よりも低い場合にのみ、前記第2の色成分での前記ピクセルの前記値が変更される、請求項9~11のうちの何れか一項に記載の方法
  13. プログラムコード命令を含むコンピュータプログラムであって、前記プログラムコード命令が、このコンピュータプログラムがコンピュータ上で実行されると請求項1、3~12のうちの何れか一項に記載の方法を実行するためのものである、コンピュータプログラム
  14. 非一過性プロセッサ可読媒体であって、前記非一過性プロセッサ可読媒体のプログラムコード命令が、このプログラムがコンピュータ上で実行されると請求項1、3~12のうちの一項に記載の方法を実行するためのものである、非一過性プロセッサ可読媒体。
JP2020567559A 2018-07-12 2019-07-02 画像を符号化するための方法および装置 Active JP7464537B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305942.7A EP3595308A1 (en) 2018-07-12 2018-07-12 Method and apparatus for encoding an image
EP18305942.7 2018-07-12
PCT/US2019/040225 WO2020014034A1 (en) 2018-07-12 2019-07-02 Method and apparatus for encoding an image

Publications (2)

Publication Number Publication Date
JP2021530885A JP2021530885A (ja) 2021-11-11
JP7464537B2 true JP7464537B2 (ja) 2024-04-09

Family

ID=63035979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020567559A Active JP7464537B2 (ja) 2018-07-12 2019-07-02 画像を符号化するための方法および装置

Country Status (7)

Country Link
US (1) US11575944B2 (ja)
EP (2) EP3595308A1 (ja)
JP (1) JP7464537B2 (ja)
KR (1) KR20210029194A (ja)
CN (1) CN112425168A (ja)
BR (1) BR112020024487A2 (ja)
WO (1) WO2020014034A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244718A (ja) 2002-01-30 2003-08-29 At & T Corp クロミナンス減衰による画像および映像処理
JP2018530282A (ja) 2015-09-23 2018-10-11 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001294074A1 (en) * 2001-10-02 2003-06-23 Hewlett-Packard Company Reduction of chromatic bleeding artifacts inimage
RU2686008C2 (ru) 2012-01-17 2019-04-23 Инфобридж Пте. Лтд. Способ применения краевого смещения
RU2619886C2 (ru) * 2013-03-26 2017-05-19 Долби Лабораторис Лайсэнзин Корпорейшн Кодирование перцепционно-квантованного видеоконтента в многоуровневом кодировании vdr
EP3051488A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
WO2017019818A1 (en) 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
WO2017052440A1 (en) * 2015-09-23 2017-03-30 Telefonaktiebolaget Lm Ericsson (Publ) Determination of qp values
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244718A (ja) 2002-01-30 2003-08-29 At & T Corp クロミナンス減衰による画像および映像処理
JP2018530282A (ja) 2015-09-23 2018-10-11 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスの再形成および符号化のためのシステム

Also Published As

Publication number Publication date
US20210297707A1 (en) 2021-09-23
JP2021530885A (ja) 2021-11-11
WO2020014034A1 (en) 2020-01-16
US11575944B2 (en) 2023-02-07
EP3595308A1 (en) 2020-01-15
BR112020024487A2 (pt) 2021-03-02
CN112425168A (zh) 2021-02-26
KR20210029194A (ko) 2021-03-15
EP3821603A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US11902595B2 (en) Method and apparatus for processing a medium dynamic range video signal in SL-HDR2 format
CN110521198B (zh) 用于重构hdr图像的方法和设备
US10600163B2 (en) Method and device for reconstructing a display adapted HDR image
US11928796B2 (en) Method and device for chroma correction of a high-dynamic-range image
CN111386704B (zh) 用于在hdr到sdr转换期间的颜色校正的方法和装置
EP3672219A1 (en) Method and device for determining control parameters for mapping an input image with a high dynamic range to an output image with a lower dynamic range
WO2019203973A1 (en) Method and device for encoding an image or video with optimized compression efficiency preserving image or video fidelity
US11785193B2 (en) Processing an image
WO2019108899A1 (en) Saturation control for high-dynamic range reconstruction
JP7464537B2 (ja) 画像を符号化するための方法および装置
RU2802304C2 (ru) Способ и оборудование для кодирования изображения
JP2019097013A (ja) ディスプレイ適合hdr画像を再構成する方法およびデバイス
JP7483634B2 (ja) Sl-hdr2形式の中間ダイナミックレンジビデオ信号を処理する方法及び装置
RU2776101C1 (ru) Способ и устройство для восстановления адаптированного к дисплею изображения hdr
US11722704B2 (en) Decoding an image
CA2986520A1 (en) Method and device for reconstructing a display adapted hdr image
EP3528201A1 (en) Method and device for controlling saturation in a hdr image
CN111567048A (zh) 对图像进行处理

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240328

R150 Certificate of patent or registration of utility model

Ref document number: 7464537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150