JP6800896B2 - ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること - Google Patents

ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること Download PDF

Info

Publication number
JP6800896B2
JP6800896B2 JP2017563300A JP2017563300A JP6800896B2 JP 6800896 B2 JP6800896 B2 JP 6800896B2 JP 2017563300 A JP2017563300 A JP 2017563300A JP 2017563300 A JP2017563300 A JP 2017563300A JP 6800896 B2 JP6800896 B2 JP 6800896B2
Authority
JP
Japan
Prior art keywords
video data
fcc
chromaticity
chromaticity component
format video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017563300A
Other languages
English (en)
Other versions
JP2018524871A (ja
JP2018524871A5 (ja
Inventor
リ、ソンウォン
ソール・ロジャルス、ジョエル
ラマスブラモニアン、アダルシュ・クリシュナン
ルサノフスキー、ドミトロ
ブーダイジュ・シャンスル、ドネ
カルチェビチ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018524871A publication Critical patent/JP2018524871A/ja
Publication of JP2018524871A5 publication Critical patent/JP2018524871A5/ja
Application granted granted Critical
Publication of JP6800896B2 publication Critical patent/JP6800896B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、2015年6月8日に出願された、「COLOR NOISE REDUCTION AND ADAPTIVE TRANSFER FUNCTIONS FOR FRACTIONAL CHROMATICITY COORDINATES FOR HIGH DYNAMIC RANGE AND WIDE COLOR GAMUT VIDEO DATA」と題する米国仮出願番号第62/172,724号の利益を主張する。
[0002]本開示は、ビデオコーディングに関し、より詳細には、ハイダイナミックレンジ(HDR:high dynamic range)および広色域(WCG:wide color gamut)ビデオデータのビデオコーディングに関する。
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part 10、アドバンストビデオコーディング(AVC)、ITU−T H.265、高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的(ピクチャ内)予測および/または時間的(ピクチャ間)予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオフレームまたはビデオフレームの一部分)は、ツリーブロック、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の近隣ブロック中の参照サンプルに対する空間的予測または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックをポイントする動きベクトルと、コーディングされたブロックと予測ブロックとの間の差を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データはピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。被量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
[0006]本開示は、ハイダイナミックレンジ(HDR)および広色域(Wide Color Gamut)(WCG)表現(representations)をもつビデオ信号の符号化および復号に関する。より詳細には、本開示の技法は、HDRおよびWCGビデオデータのより効率的な圧縮を可能にするためにいくつかの(certain)色空間中でビデオデータに適用されるシグナリングおよび動作を含む。提案される技法は、HDRおよびWCGビデオデータをコーディングするために利用されるハイブリッドベースのビデオコーディングシステム(たとえば、HEVCベースのビデオコーダ)の圧縮効率を改善し得る。
[0007]一態様では、ビデオデータを処理する方法は、圧縮解除されたフラクショナル色度座標(FCC)フォーマットビデオデータ(decompacted fractional chromaticity coordinate formatted video data)を取得するために、1つまたは複数の逆適応伝達関数(TF)を使用して圧縮されたFCCフォーマットビデオデータを逆圧縮することと、逆調整されたFCCフォーマットビデオデータを取得するために、圧縮解除されたFCCフォーマットビデオデータの対応する輝度成分(luminance component)に基づいて圧縮解除されたFCCフォーマットビデオデータの色度成分(chromaticity component)を逆調整することと、ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを取得するために、FCCフォーマットから色表現フォーマットに逆調整されたFCCフォーマットビデオデータの色度成分を変換することとを備える。
[0008]別の態様では、ビデオデータを処理する方法は、色表現フォーマットとフラクショナル色度座標(FCC)フォーマットとの間でハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータの色度成分を変換することと、調整されたFCCフォーマットビデオデータを取得するために、FCCフォーマットビデオデータの対応する輝度成分に基づいてFCCフォーマットビデオデータの色度成分を調整することと、圧縮されたFCCフォーマットビデオデータを取得するために、1つまたは複数の適応伝達関数(TF)を使用してFCCフォーマットビデオデータを圧縮することとを備える。
[0009]別の態様では、ビデオデータを処理するように構成されたデバイスは、圧縮されたフラクショナル色度座標(FCC)フォーマットビデオデータを記憶するように構成されたメモリを備える。本デバイスはまた、圧縮解除されたFCCフォーマットビデオデータを取得するために、1つまたは複数の逆適応伝達関数(TF)を使用して圧縮されたFCCフォーマットビデオデータを逆圧縮することと、逆調整されたFCCフォーマットビデオデータを取得するために、圧縮解除されたFCCフォーマットビデオデータの対応する輝度成分に基づいて圧縮解除されたFCCフォーマットビデオデータの色度成分を逆調整することと、ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを取得するために、FCCフォーマットから色表現フォーマットに逆調整されたFCCフォーマットビデオデータの色度成分を変換することとを行うように構成されたプロセッサを備える。
[0010]別の態様では、ビデオデータを処理するように構成されたデバイスは、ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを記憶するように構成されたメモリを備える。デバイスはまた、色表現フォーマットとフラクショナル色度座標(FCC)フォーマットとの間でHDRおよびWCGビデオデータの色度成分を変換することと、調整されたFCCフォーマットビデオデータを取得するために、FCCフォーマットビデオデータの対応する輝度成分に基づいてFCCフォーマットビデオデータの色度成分を調整することと、圧縮されたFCCフォーマットビデオデータを取得するために、1つまたは複数の適応伝達関数(TF)を使用してFCCフォーマットビデオデータを圧縮することとを行うように構成されたプロセッサを備える。
[0011]本技法の1つまたは複数の態様の詳細は、添付の図面および以下の説明に記載される。これらの技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から、明らかになろう。
[0012]本開示の技法を実装するように構成された例示的なビデオ符号化および復号システムを示すブロック図。 [0013]図1のビデオ前処理ユニットをより詳細に示すブロック図。 [0014]図1のビデオ後処理ユニットをより詳細に示すブロック図。 [0015]輝度(luminance)に関して、本開示で説明する技法の様々な態様に従って適用される線形伝達関数の適応傾斜(adaptive slope)を示すグラフを示す図。 [0016]オフセットなしの適応伝達関数に対するオフセットありの適応伝達関数を示すグラフを示す図。 オフセットなしの適応伝達関数に対するオフセットありの適応伝達関数を示すグラフを示す図。 オフセットなしの適応伝達関数に対するオフセットありの適応伝達関数を示すグラフを示す図。 [0017]本開示で説明する技法の様々な態様による、図1のビデオ前処理ユニットの例示的な動作を示すフローチャート。 [0018]本開示で説明する技法の様々な態様を実行する際の図3のビデオ後処理ユニットの例示的な動作を示すフローチャート。 [0019]前処理されたビデオデータを符号化するために本開示の技法を実施し得るビデオエンコーダの一例を示すブロック図。 [0020]ビデオデータを後処理するより前にビデオデータを復号するために本開示の技法を実施し得るビデオデコーダの一例を示すブロック図。
[0021]本開示は、ハイダイナミックレンジ(HDR)および広色域(WCG)表現をもつビデオ信号の符号化および復号に関する。より詳細には、本開示の技法は、HDRおよびWCGビデオデータのより効率的な圧縮を可能にするためにいくつかの色空間中でビデオデータに適用されるシグナリングおよび動作を含む。提案される技法は、HDRおよびWCGビデオデータをコーディングするために利用されるハイブリッドベースのビデオコーディングシステム(たとえば、HEVCベースのビデオコーダ)の圧縮効率を改善し得る。
[0022]ハイブリッドベースのビデオコーディング規格を含むビデオコーディング規格は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびそれのスケーラブルビデオコーディング(SVC:Scalable Video Coding)拡張とマルチビュービデオコーディング(MVC:Multiview Video Coding)拡張とを含む、(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264を含む。新しいビデオコーディング規格、すなわちHEVCの設計が、ITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)とISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)とのビデオコーディングに関する共同研究部会(JCT−VC:Joint Collaboration Team on Video Coding)によって確定されている。以下「HEVCバージョン1」と呼ぶ確定されたHEVC規格は、「ITU−T H.265, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services − Coding of moving video − High efficiency video coding」、国際電気通信連合(ITU)の電気通信標準化部門、2013年4月として公開されており、別のバージョンが、2014年10月に公開された。
[0023]図1は、本開示の技法を利用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを与えるソースデバイス12を含む。特に、ソースデバイス12は、コンピュータ可読媒体16を介してビデオデータを宛先デバイス14に与える。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
[0024]宛先デバイス14は、コンピュータ可読媒体16を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動させることが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12が宛先デバイス14にリアルタイムで符号化されたビデオデータを直接送信することを可能にする通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信標準規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス12から宛先デバイス14への通信を可能にするために有用であり得る任意の他の機器を含み得る。
[0025]いくつかの例では、符号化されたデータは、出力インターフェース22からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェース28によってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、ストレージデバイスは、ソースデバイス12によって生成された符号化されたビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイスからの記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶することができ、その符号化されたビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワークアタッチストレージ(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、有線接続(たとえば、DSL、ケーブルモデムなど)、または、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0026]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の応用など、様々なマルチメディア応用のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および/またはビデオ電話などの応用をサポートするために、一方向または両方向のビデオ送信をサポートするように構成され得る。
[0027]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオ前処理ユニット19とビデオエンコーダ20とをもつビデオ符号化ユニット21と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30とビデオ後処理ユニット31とをもつビデオ復号ユニット29と、ディスプレイデバイス32とを含む。本開示によれば、ソースデバイス12のビデオエンコーダ20は、ビデオデータを並列に処理するための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス12は、外部カメラなど、外部ビデオソース18からビデオデータを受信し得る。同様に、宛先デバイス14は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0028]図1の図示のシステム10は一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行され得る。概して、本開示の技法はビデオ符号化デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ/デコーダによっても実行され得る。さらに、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14への送信のためのコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。いくつかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム10は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオ電話のために、ビデオデバイス12とビデオデバイス14との間で一方向または双方向のビデオ送信をサポートし得る。
[0029]ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース18は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。いくつかの場合には、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き電話またはビデオ電話を形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。各々の場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータにより生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化されたビデオ情報は、その後、出力インターフェース22によってコンピュータ可読媒体16に出力され得る。
[0030]コンピュータ可読媒体16は、ワイヤレスブロードキャストもしくは有線ネットワーク送信などの一時媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、たとえば、ネットワーク送信を介して、ソースデバイス12から符号化されたビデオデータを受信し、その符号化されたビデオデータを宛先デバイス14に与え得る。同様に、ディスクスタンピング設備などの、媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化されたビデオデータを受信し、その符号化されたビデオデータを含んでいるディスクを製造し得る。したがって、様々な例では、コンピュータ可読媒体16は、様々な形態の1つまたは複数のコンピュータ可読媒体を含むと理解され得る。
[0031]宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義されビデオデコーダ30によっても使用される、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ(GOP)の特性および/または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス32は、ユーザに復号ビデオデータ(decoded video data)を表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0032]ビデオ前処理ユニット19とビデオエンコーダ20とを含むビデオ符号化ユニット21およびビデオデコーダ30とビデオ後処理ユニット31とを含むビデオ復号ユニット29は、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたは任意のそれらの組合せなど、固定機能および/またはプログラマブル処理回路を含む様々な好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、適切な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0033]いくつかの例では、ビデオ前処理ユニット19とビデオ後処理ユニット31とは、本開示で説明する技法に従って動作し得る。たとえば、ビデオ前処理ユニット19は、高精度で数学的にほとんどロスレスな表現からビデオ圧縮および符号化により好適なよりコンパクトまたはロバストな色空間に、たとえば、RGBからYUVまたはYCbCrに、HDR/WCGビデオデータを変換するように動作し得る。この色変換は、ビデオエンコーダ20によって実行されるビデオ圧縮および符号化の前に行われ(occur)得る。他の例では、ビデオエンコーダ20自体が、ビデオ圧縮および符号化のために高精度表現からよりコンパクトまたはロバストな色空間にHDR/WCGビデオデータを変換するように動作し得る。
[0034]逆に、ビデオ後処理ユニット31は、よりコンパクトまたはロバストな色空間から元のHDR/WCGビデオデータの高精度表現に、たとえば、YUVまたはYCbCrからRGBに戻って復号ビデオデータを変換するように動作し得る。この逆色変換プロセスは、ビデオデコーダ30によって実行されるビデオ圧縮解除(video decompression)および復号の後に行われ得る。他の例では、ビデオデコーダ30自体が、よりコンパクトまたはロバストな色空間から元のHDR/WCGビデオデータの高精度表現に戻って復号ビデオデータを変換するように動作し得る。
[0035]いくつかの例では、ビデオエンコーダ20およびビデオデコーダ30は、そのスケーラブルビデオコーディング(SVC)拡張と、マルチビュービデオコーディング(MVC)拡張と、MVCベースの3次元ビデオ(3DV)拡張とを含む、ISO/IEC MPEG−4 Visualおよび(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264などのビデオ圧縮規格に従って動作する。場合によっては、MVCベースの3DVに適合する任意のビットストリームは、MVCプロファイル、たとえばステレオハイプロファイルに準拠するサブビットストリームを常に包含する。さらに、H.264/AVCへの3DVコーディング拡張、すなわち、AVCベースの3DVを生成するための取り組みが進行中である。ビデオコーディング規格の他の例としては、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびITU−T H.264、ISO/IEC Visualがある。他の例では、ビデオエンコーダ20およびビデオデコーダ30は、HEVC規格に従って動作するように構成され得る。
[0036]HEVCおよび他のビデオコーディング規格では、ビデオシーケンスは、通常、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、SL、SCbおよびSCrと示される3つのサンプルアレイを含み得る。SLはルーマサンプルの2次元アレイ(すなわち、ブロック)である。SCbはCbクロミナンスサンプルの2次元アレイである。SCrはCrクロミナンスサンプルの2次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。他の事例では、ピクチャはモノクロームであり得、ルーマサンプルのアレイのみを含み得る。
[0037]ビデオエンコーダ20は、コーディングツリーユニット(CTU)のセットを生成し得る。CTUの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの2つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、CTUは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックはサンプルのN×Nブロックであり得る。CTUは「ツリーブロック」または「最大コーディングユニット」(LCU)と呼ばれることもある。HEVCのCTUは、H.264/AVCなどの他のビデオコーディング規格のマクロブロックに広い意味で類似し得る。しかしながら、CTUは、必ずしも特定のサイズに限定されるとは限らず、1つまたは複数のコーディングユニット(CU)を含み得る。スライスは、ラスタ走査において連続的に順序付けられた整数個のCTUを含み得る。
[0038]本開示は、サンプルの1つまたは複数のブロックと、サンプルの1つまたは複数のブロックのサンプルをコーディングするために使用されるシンタックス構造とを指すために、「ビデオユニット」または「ビデオブロック」という用語を使用することがある。例示的なタイプのビデオユニットには、HEVCにおけるCTU、CU、PU、変換ユニット(TU)、または他のビデオコーディング規格におけるマクロブロック、マクロブロックパーティションなどが含まれ得る。
[0039]コード化CTUを生成するために、ビデオエンコーダ20は、コーディングツリーブロックをコーディングブロックに分割するためにCTUのコーディングツリーブロックに対して4分木区分を再帰的に実行し得、したがって「コーディングツリーユニット」という名称がある。コーディングブロックはサンプルのN×Nブロックである。CUは、ルーマサンプルアレイとCbサンプルアレイとCrサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの2つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、CUは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
[0040]ビデオエンコーダ20は、CUのコーディングブロックを1つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形(すなわち、正方形または非正方形)ブロックであり得る。CUの予測ユニット(PU)は、ルーマサンプルの予測ブロックと、ピクチャのクロマサンプルの2つの対応する予測ブロックと、予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。3つの別個のカラープレーンを有するモノクロームピクチャまたはピクチャでは、PUは、単一の予測ブロックと、その予測ブロックサンプルを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ20は、CUの各PUのルーマ予測ブロックと、Cb予測ブロックと、Cr予測ブロックとのために、予測ルーマブロックと、予測Cbブロックと、予測Crブロックとを生成し得る。
[0041]ビデオエンコーダ20は、PUのための予測ブロックを生成するためにイントラ予測またはインター予測を使用し得る。ビデオエンコーダ20がPUの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ20は、PUに関連するピクチャの復号されたサンプルに基づいてPUの予測ブロックを生成し得る。
[0042]ビデオエンコーダ20が、PUの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ20は、PUに関連するピクチャ以外の1つまたは複数のピクチャの復号サンプルに基づいて、PUの予測ブロックを生成し得る。インター予測は、単方向インター予測(すなわち、単予測)または双方向インター予測(すなわち、双予測)であり得る。単予測または双予測を実施するために、ビデオエンコーダ20は、現在スライスに対して、第1の参照ピクチャリスト(RefPicList0)と第2の参照ピクチャリスト(RefPicList1)とを生成し得る。
[0043]参照ピクチャリストの各々は1つまたは複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ20は、参照ピクチャ中の参照ロケーションを決定するために、RefPicList0およびRefPicList1のいずれかまたは両方の中の参照ピクチャを探索し得る。さらに、単予測を使用するとき、ビデオエンコーダ20は、参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、PUのための予測サンプルブロックを生成し得る。さらに、単予測を使用するとき、ビデオエンコーダ20は、PUの予測ブロックと参照ロケーションとの間の空間変位を示す単一の動きベクトルを生成し得る。PUの予測ブロックと参照ロケーションとの間の空間変位を示すために、動きベクトルは、PUの予測ブロックと参照ロケーションとの間の水平変位を指定する水平成分を含み得、PUの予測ブロックと参照ロケーションとの間の垂直変位を指定する垂直成分を含み得る。
[0044]PUを符号化するために双予測を使用するとき、ビデオエンコーダ20は、RefPicList0中の参照ピクチャ中の第1の参照ロケーションと、RefPicList1中の参照ピクチャ中の第2の参照ロケーションとを決定し得る。ビデオエンコーダ20は、次いで、第1および第2の参照ロケーションに対応するサンプルに少なくとも部分的に基づいて、PUの予測ブロックを生成し得る。その上、PUを符号化するために双予測を使用するとき、ビデオエンコーダ20は、PUのサンプルブロックと第1の参照ロケーションとの間の空間変位を示す第1の動きと、PUの予測ブロックと第2の参照ロケーションとの間の空間変位を示す第2の動きとを生成し得る。
[0045]ビデオエンコーダ20がCUの1つまたは複数のPUのための予測ルーマブロック、予測Cbブロック、および予測Crブロックを生成した後、ビデオエンコーダ20は、CUのためのルーマ残差ブロックを生成し得る。CUのルーマ残差ブロック中の各サンプルは、CUの予測ルーマブロックのうちの1つの中のルーマサンプルとCUの元のルーマコーディングブロックの中の対応するサンプルとの差分を示す。さらに、ビデオエンコーダ20は、CUのCb残差ブロックを生成し得る。CUのCb残差ブロック中の各サンプルは、CUの予測Cbブロックのうちの1つ中のCbサンプルとCUの元のCbコーディングブロック中の対応するサンプルとの間の差を示し得る。ビデオエンコーダ20はまた、CUのCr残差ブロックを生成し得る。CUのCr残差ブロック中の各サンプルは、CUの予測Crブロックのうちの1つの中のCrサンプルと、CUの元のCrコーディングブロックの中の対応するサンプルとの差分を示し得る。
[0046]さらに、ビデオエンコーダ20は、CUのルーマ残差ブロックとCb残差ブロックとCr残差ブロックとを1つまたは複数のルーマ変換ブロックとCb変換ブロックとCr変換ブロックとに分解するために4分木区分を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの長方形ブロックであり得る。CUの変換ユニット(TU)は、ルーマサンプルの変換ブロックと、クロマサンプルの2つの対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは3つの別個の色平面を有するピクチャでは、TUは、単一の変換ブロックと、変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、CUの各TUは、ルーマ変換ブロック、Cb変換ブロック、およびCr変換ブロックに関連付けられ得る。TUに関連付けられたルーマ変換ブロックはCUのルーマ残差ブロックのサブブロックであり得る。Cb変換ブロックは、CUのCb残差ブロックのサブブロックであり得る。Cr変換ブロックは、CUのCr残差ブロックのサブブロックであり得る。
[0047]ビデオエンコーダ20は、TUのルーマ係数ブロックを生成するために、TUのルーマ変換ブロックに1つまたは複数の変換を適用し得る。係数ブロックは変換係数の2次元アレイであり得る。変換係数はスカラー量であり得る。ビデオエンコーダ20は、TUのCb係数ブロックを生成するために、TUのCb変換ブロックに1つまたは複数の変換を適用し得る。ビデオエンコーダ20は、TUのCr係数ブロックを生成するために、TUのCr変換ブロックに1つまたは複数の変換を適用し得る。
[0048]係数ブロック(たとえば、ルーマ係数ブロック、Cb係数ブロックまたはCr係数ブロック)を生成した後、ビデオエンコーダ20は、係数ブロックを量子化し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。さらに、ビデオエンコーダ20は、ピクチャのCUのTUの変換ブロックを再構成するために、変換係数を逆量子化し(inverse quantize)、変換係数に逆変換を適用し得る。ビデオエンコーダ20は、CUのコーディングブロックを再構成するために、CUのTUの再構成された変換ブロックと、CUのPUの予測ブロックとを使用し得る。ピクチャの各CUのコーディングブロックを再構成することによって、ビデオエンコーダ20はピクチャを再構成し得る。ビデオエンコーダ20は、再構成されたピクチャを復号ピクチャバッファ(DPB)に記憶し得る。ビデオエンコーダ20は、DPB中の再構成されたピクチャを、インター予測およびイントラ予測のために使用し得る。
[0049]ビデオエンコーダ20が係数ブロックを量子化した後に、ビデオエンコーダ20は、量子化された変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオエンコーダ20は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング(CABAC)を実施し得る。ビデオエンコーダ20は、エントロピー符号化されたシンタックス要素をビットストリーム中に出力し得る。
[0050]ビデオエンコーダ20は、コード化ピクチャと関連データとの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワークアブストラクションレイヤ(NAL)ユニットを備え得る。NALユニットの各々は、NALユニットヘッダを含み、ローバイトシーケンスペイロード(RBSP)をカプセル化する。NALユニットヘッダは、NALユニットタイプコードを示すシンタックス要素を含み得る。NALユニットのNALユニットヘッダによって指定されるNALユニットタイプ符号は、NALユニットのタイプを示す。RBSPは、NALユニット内にカプセル化された整数個のバイトを含んでいるシンタックス構造であり得る。いくつかの事例では、RBSPは0ビットを含む。
[0051]異なるタイプのNALユニットは、異なるタイプのRBSPをカプセル化し得る。たとえば、第1のタイプのNALユニットはピクチャパラメータセット(PPS)のためのRBSPをカプセル化し得、第2のタイプのNALユニットはコード化スライスのためのRBSPをカプセル化し得、第3のタイプのNALユニットは補足拡張情報(SEI:supplemental enhancement information)のためのRBSPをカプセル化し得、以下同様である。PPSは、0個以上のコード化ピクチャ全体に適用されるシンタックス要素を含んでいることがあるシンタックス構造である。ビデオコーディングデータのためのRBSPをカプセル化するNALユニットは(パラメータセットおよびSEIメッセージのためのRBSPとは対照的に)、ビデオコーディングレイヤ(VCL)NALユニットと呼ばれることがある。コード化スライスをカプセル化するNALユニットは、本明細書ではコード化スライスNALユニットと呼ばれることがある。コード化スライスのRBSPは、スライスヘッダとスライスデータとを含み得る。
[0052]ビデオデコーダ30はビットストリームを受信し得る。さらに、ビデオデコーダ30は、ビットストリームからシンタックス要素を復号するためにビットストリームをパースし得る。ビデオデコーダ30は、ビットストリームから復号されたシンタックス要素に少なくとも部分的に基づいてビデオデータのピクチャを再構成し得る。ビデオデータを再構成するための処理は、概して、ビデオエンコーダ20によって実行されるプロセスの逆であり得る。たとえば、ビデオデコーダ30は、現在CUのPUのための予測ブロックを決定するために、PUの動きベクトルを使用し得る。ビデオデコーダ30は、PUのための予測ブロックを生成するためにPUの1つまたは複数の動きベクトルを使用し得る。
[0053]さらに、ビデオデコーダ30は、現在CUのTUに関連付けられた係数ブロックを逆量子化し得る。ビデオデコーダ30は、現在のCUのTUに関連付けられた変換ブロックを再構成するために、係数ブロックに対して逆変換を実行し得る。ビデオデコーダ30は、現在のCUのPUのための予測サンプルブロックのサンプルを現在のCUのTUの変換ブロックの対応するサンプルに加算することによって、現在のCUのコーディングブロックを再構成し得る。ピクチャの各CUのためのコーディングブロックを再構成することによって、ビデオデコーダ30はピクチャを再構成し得る。ビデオデコーダ30は、出力のためにおよび/または他のピクチャを復号する際に使用するために、復号されたピクチャを復号ピクチャバッファに記憶し得る。
[0054]次世代ビデオアプリケーションは、ハイダイナミックレンジ(HDR)および広色域(WCG)をもつキャプチャされた風景を表すビデオデータを用いて動作することが予期される。利用されるダイナミックレンジおよび色域のパラメータは、ビデオコンテンツの2つの独立した属性である。デジタルテレビジョンおよびマルチメディアサービスのための利用されるダイナミックレンジおよび色域のパラメータの仕様がいくつかの国際規格によって定義される。たとえば、ITU−R Rec.709は、標準ダイナミックレンジ(SDR)および標準色域など、HDTV(高精細度テレビジョン)のためのパラメータを定義し、ITU−R Rec.2020は、アズ(as)HDRおよびWCGのためのUHDTV(超高精細度テレビジョン)パラメータを指定する。他のシステムにおいてダイナミックレンジおよび色域属性を指定する他の規格開発機関(SDO)文献もある。たとえば、P3色域が、SMPTE−231−2(Society of Motion Picture and Television Engineers)において定義されており、HDRのいくつかのパラメータが、SMPTE ST 2084:2014、「High Dynamic Range Electro−Optical Transfer Function of Mastering Reference Displays」2014として公開されたSTMPTE−2084において定義されている。ビデオデータのための色域およびダイナミックレンジの簡単な説明を以下に与える。
[0055]ダイナミックレンジは、ビデオ信号の最小輝度と最大輝度との間の比率として定義され得る。ダイナミックレンジはまた、「fストップ」に関して測定され得、ここで、1つのfストップが、信号ダイナミックレンジの2倍に対応する。MPEGは、HDRコンテンツを16個より多いfストップの輝度変動を採用する(features)コンテンツとして定義する。いくつかの規格では、10個と16個のfストップとの間のダイナミックレンジレベルが、中間ダイナミックレンジと呼ばれることがあり、一方、他の規格では、10個と16個のfストップとの間のダイナミックレンジレベルが、HDRと見なされ得る。HDRと呼ばれるが、人間視覚システム(HVS)は、はるかに大きいダイナミックレンジを知覚することが可能である。ただし、HVSは、いわゆる同時レンジを狭くするための適応機構を含む。したがって、HDRは、標準ダイナミックレンジ(SDR)よりも高いダイナミックレンジを指す。
[0056]現在のビデオアプリケーションおよびサービスは、ITU−R Rec.709によって規定され、一般に、約0.1〜100のカンデラ(cd)毎m2(しばしば「ニト(nit)」と呼ばれる)の明るさ(または輝度)のレンジをサポートするSDRを提供し、(0.1〜0.2が第1のfストップであり、0.2〜0.4が第2のfストップであり、...、25.6〜51.2が、第9のfストップであり、51.2〜102.4が、第10のfストップであると仮定すると)10個未満のfストップをもたらす。次世代ビデオサービスは、最大16個のfストップのダイナミックレンジをもつHDRを提供することが予想される。たとえば、詳細な仕様は現在開発中であるが、HDRのいくつかの初期パラメータが、SMPTE−2084およびRec.2020において規定された。
[0057]HDR以外のより現実的なビデオエクスペリエンスのための別の態様は、色次元であり、これは、従来、色域によって定義される。SDR色域は、BT.709色の赤、緑および青の原色に基づく三角形として表現され得る。より広いUHDTV色域は、BT.2020色の赤、緑および青の原色に基づく三角形として表現され得る。BT.709原色からBT.2020原色に移動することは、約70%多い色を用いるUHDTVサービスを提供することを目的とする。D65は、所与の仕様のための白色を指定する。
[0058]上記のように、HDR/WCGビデオデータは、一般に、4:4:4のクロマフォーマットおよび非常に広域な色空間(たとえば、XYZ)で(たとえば、32ビットの浮動小数点表示を使用して)成分ごとに超高精度でキャプチャされ、記憶される。たとえば、ビデオソース18は、高精度で、4:4:4のクロマフォーマットの、非常に広域な色空間を使用したHDR/WCGビデオデータ17を出力し得る。HDR/WCGビデオデータ17は、高精度で、数学的にほぼロスレスであり得る。ただし、HDR/WGCビデオデータ17は、いくつかの(a number of)冗長性を含み得、これは、圧縮目的のために最適でないことがある。
[0059]本開示で説明する技法によれば、ビデオ前処理ユニット19は、高精度の冗長表現から比較的低い精度のフォーマットにHDR/WCGビデオデータ17を変換し得る。より低い精度のフォーマットの形成は、HDR/WCGビデオデータ17の正確な表現を潜在的に維持しながら比較的高い精度のフォーマットの冗長性を低減するためにHVSベースの仮定を前提とし(be premised upon)得る。たとえば、ビデオ前処理ユニット19は、色表現フォーマットとフラクショナル色度座標(FCC)フォーマットとの間でHDR/WCGビデオデータの色度成分を変換し得る。
[0060]ビデオ前処理ユニット19は、赤、緑、青(RGB)色空間または他の追加の色空間などの色表現フォーマットでHDR/WCGビデオデータ17を受信し得る。ビデオソース18は、たとえば、HDR/WCGビデオデータ17をキャプチャするときに色表現フォーマットを使用するように構成されたビデオキャプチャセンサーまたは画像キャプチャセンサーを含み得る。ビデオ前処理ユニット19は、色表現フォーマットから、(通常「CIE」と略される)Commission International on Illumination(またはフランス語でCommission Internationale de l’eclairage)のYu’v’フォーマットなど、任意の数のFCCフォーマットのうちの1つにHDR/WCGビデオデータ17を変換し得る。CIEのYu’v’色空間は、「Y」として示される輝度成分と「u’」および「v’」として示される2つの色度成分とを含む。CIEのYu’v’色空間に関して本明細書で説明するが、ビデオ前処理ユニット19は、HDR/WCGビデオデータを任意のFCCフォーマットに変換し、FCCフォーマットビデオデータが生じ得る。
[0061]ビデオ前処理ユニット19は、HDR/WCGビデオデータ17をFCCフォーマットに変換した後に、FCCフォーマットビデオデータの対応する輝度成分Yに基づいてFCCフォーマットビデオデータの色度成分のうちの1つまたは複数を調整し得る。FCCフォーマットビデオデータの対応する輝度成分が、一例として、(たとえば、以下でより詳細に説明するように、何らかのしきい値輝度未満など)低相対輝度を示すとき、ビデオ前処理ユニット19は、FCCフォーマットビデオデータの色度成分を調整し得る。FCCフォーマットビデオデータの対応する輝度成分が、高相対ルミナンスを示すとき、ビデオ前処理ユニット19は、FCCフォーマットビデオデータの色度成分を調整しないことがある。
[0062]ビデオ前処理ユニット19は、低輝度設定において発生し得る色度成分中のノイズを低減するために対応する低輝度ピクセルの色度成分を調整し得る。ビデオ前処理ユニット19は、HVSが低輝度設定において色度に敏感でないので画質に影響を及ぼすことなしに色の黒またはグレーを示すために比較的低輝度を有するピクセルの色度成分を設定し得る(これは、ピクセルの大きさ(magnitude)を0または何らかの(some)低しきい値未満に効果的に低減し得る)。
[0063]このようにして、本開示で説明する技法は、色度成分の減少値または0値が後続のビデオ符号化中により良く圧縮され得ると仮定すると、ビットレートの低減を容易にするためにHVSベースの仮定を活用し得る。すなわち、ビデオ符号化は、ピクチャの部分(portions)の比較と、ピクチャの部分の比較から生じる残差データの連続する圧縮とを通して動作する。低輝度の結果としての色雑音は、(ノイズが大部分がランダムであり、したがって、時間的に予測できないと仮定すると)残差データの量の増加をもたらし得る。したがって、色度成分中の色ノイズの量を低減することにより、連続するビデオ符号化がピクチャをより良く圧縮することが可能になり得る。
[0064]ビデオ前処理ユニット19はまた、1つまたは複数の伝達関数(TF)を使用してFCCフォーマットビデオデータの調整された色度成分を圧縮し得る。TFは、より低い輝度のピクセルを表すためにより多くのビットが使用されることを可能にするために比較的高い輝度のピクセルを表すビット数を低減する方法を表し得る。例示的なTFには、映画テレビ技術者協会(SMPTE:Society of Motion Picture & Television Engineers)による、2014年8月29日付けのST 2084:2014−SMPTE規格−「High Dynamic Range Electro−Optical Transfer Function of Mastering Reference Displays」に記載された知覚量子化器(PQ:perceptual quantizer)電気光伝達関数(EOTF:electro-optical transfer function)が含まれ得る。PQ EOTFは、色度成分を表すために使用されるビットを量子化することに関してHVSの制限を利用するために開発された伝達関数の一例を表し得る。PQ EOTFに関して説明したが、本技法は、任意の形態(form)のTFを使用して実行され得る。
[0065]伝達関数を適用した後に、ビデオ前処理ユニット19は、圧縮されたFCCフォーマットビデオデータを量子化し得る。ビデオ前処理ユニット19は、たとえば、浮動小数点フォーマットで依然として定義されているあらゆるピクセル値を識別し、32ビット浮動小数点ピクセル値を量子化して、(たとえば、32ビットから12〜10ビットに下げて)低減されたビット深度を有する整数値ピクセル値を生成し得る。ビデオ前処理ユニット19はまた、量子化されたFCCフォーマットビデオデータの色度成分に関して色度サブサンプリングを実行し得る。ビデオ前処理ユニット19は、色度サブサンプリングを実行して、量子化されたFCCフォーマットビデオデータの色度成分について(for)量子化されたFCCフォーマットビデオデータの4:4:4のサンプリングレートを4:2:0または何らかの他のより低いサンプリングレートに低減し、それによって、サブサンプリングされたFCCフォーマットビデオデータ25を生成し得る。ビデオ前処理ユニット19は、ビデオエンコーダ20にサブサンプリングされたFCCフォーマットビデオデータ25を出力し得る。
[0066]ビデオエンコーダ20は、サブサンプリングされたFCCフォーマットビデオデータの圧縮バージョンを表すビットストリーム23を形成するために、上記で説明したビデオ符号化処理を実行し得る。サブサンプリングされたFCCビデオデータの圧縮バージョンは、上記で説明したビデオ前処理ユニット19によって実行される前処理に一部起因して、冗長情報の低減、色ノイズの抑圧(または、言い換えれば、低減)、量子化、および色度サブサンプリングの結果として、(そのような前処理を受けなかった(having not undergone))HDR/WCGビデオデータ17の圧縮バージョンよりも(ビットに関して)小さいサイズのものになり得る。様々な前処理演算は、量子化および色度サブサンプリングなどのロッシーな演算(lossy operations)にもかかわらず、前処理演算がHVSの制限を利用するように設計されると仮定すると、ビデオデータの品質の低減を生じないことがある。ビデオエンコーダ20は、出力インターフェース22にビットストリーム23を与え得、これは、コンピュータ可読媒体16を介して宛先デバイス14の入力インターフェース28にビットストリーム23を出力し得る。
[0067]宛先デバイス14の入力インターフェース28は、ビットストリーム23を受信すると、ビデオデコーダ30にビットストリーム23を出力し得る。ビデオデコーダ30は、ビデオエンコーダ20によって実行された符号化演算とは逆である(are reciprocal to)復号演算を実行し得る。たとえば、ビデオエンコーダ20は、現在ピクチャのブロックのための参照ブロックとして以前にコーディングされたピクチャのブロックを実行識別し(perform identify)、参照ブロックと現在のピクチャのブロックとの間の差として残差データを生成し得る。ビデオエンコーダ20は、周波数領域に残差データフォームザ(form the)空間領域を変換し、量子化を通して低周波数係数を除去し、(しばしば「エントロピー符号化」と呼ばれる)統計的ロスレス符号化を実行して、圧縮残差データを生成し得る。ビデオデコーダ30は、圧縮された残差データの復号バージョンを復元するために、エントロピー復号、逆量子化、および逆変換を実行するときに、逆演算を実行し得る。ビデオデコーダ30は、ビットストリーム23を復号した後に、またはその間に、ビデオ後処理ユニット31に復号されサブサンプリングされたFCCフォーマットビデオデータ25’を出力し得る。復号されサブサンプリングされたFCCフォーマットビデオデータ25’は、サブサンプリングされたFCCフォーマットビデオデータ25の符号化中にロッシーな演算が実行されると仮定すると、サブサンプリングされたFCCフォーマットビデオデータ25と同じではないが同様であり得る。
[0068]ビデオ後処理ユニット31は、復号されサブサンプリングされたFCCフォーマットビデオデータ25’を後処理するために、ビデオ前処理ユニット19によって実行されるものとは逆の演算を実行し得る。たとえば、ビデオ後処理ユニット31は、色度アップサンプリングを実行して、4:2:0から4:4:4にサブサンプリングされたFCCフォーマットビデオデータ25’の色度成分の解像度を増加させ、それによって、量子化されたFCCフォーマットビデオデータを生成し得る。ビデオ後処理ユニット31は、次に、圧縮されたFCCフォーマットビデオデータを取得するために、量子化されたFCCフォーマットビデオデータに対して逆量子化を実行し得る。
[0069]ビデオ前処理ユニット19によって実行される演算とは逆の後処理演算を実行し続けると、ビデオ後処理ユニット31は、調整されたFCCフォーマットビデオデータを取得するために、圧縮されたFCCフォーマットビデオデータに(たとえば、知覚逆量子化電気光伝達関数(perceptual dequantization electro-optical transfer function)などの)逆TFを適用し得る。ビデオ後処理ユニット31は、FCCフォーマットビデオデータを取得するために、調整されたFCCフォーマットビデオデータに逆色度調整を適用し得る。ビデオ後処理ユニット31は、FCCフォーマットから色表現フォーマットにFCCフォーマットビデオデータの色度成分を変換し、それによって、HDR/WCGビデオデータ17の復号バージョンを取得し得、これは、HDR/WCGビデオデータ17’として示される(これは、やはり、符号化中に実行されるロッシーな演算によりHDR/WCGビデオデータ17と同じではないがそれと同様であり得る)。ビデオ後処理ユニット31は、宛先デバイス14のディスプレイデバイス32にHDR/WCGビデオデータ17’を出力し得、これは、閲覧者(viewer)による消費のためにHDR/WCGビデオデータ17’を提示し得る。
[0070]図2は、図1のビデオ前処理ユニット19をより詳細に示すブロック図である。図2の例では、ビデオ前処理ユニット19は、フォーマット変換ユニット100と、色度調整ユニット102と、圧縮ユニット(compacting unit)104と、量子化ユニット106と、サブサンプリングユニット108とを含む。フォーマット変換ユニット100は、RGB色空間(または他の色表現フォーマット)からFCCフォーマットにHDR/WCGビデオデータ17の色度成分を変換するように構成されたユニットを表す。フォーマット変換ユニット100は、ITU−R BT.709またはITU−R BT.2020において定義されている色空間を有するRGB色空間でHDR/WCGビデオデータ17を受信し得る。これらの色空間のための色域パラメータに関する詳細な情報を、直下の表1中に提供する。
Figure 0006800896
[0071]フォーマット変換ユニット100は、最初に、RGB色空間からCIE−XYZ色空間にHDR/WCGビデオデータ17を変換し得る。RGB色空間からCIE−XYZ色空間に変換することは、線形演算である。RGB(または他の一般的に使用される色空間、YCbCr)が色度の知覚均一性(perceptual uniformity)を有しないので、フォーマット変換ユニット100は、RGB色空間からCIE−XYZ色空間にHDR/WCGビデオデータ17を変換し得る。フォーマット変換ユニット100は、それによって、XYZフォーマットHDR/WCGビデオデータ99を生成し得る。
[0072]フォーマット変換ユニット100は、次に、CIE−XYZ色空間から(「FCCフォーマット」または「FCC色フォーマット」と呼ばれることもある)CIE−Yu’v’などのFCC色空間にXYZフォーマットHDR/WCGビデオデータ99を変換し得る。CIE−XYZ色空間とCIE−Yu’v’色空間への間を変換することは、以下の式(1)〜(3)に従って行われ得る。
Y=Y (1)
Figure 0006800896
Figure 0006800896
いくつかの例では、フォーマット変換ユニット100は、すべてのタイプの入力HDR信号全体にわたってFCC係数の単一のセットを固定し得、ここで、フォーマット変換ユニット100は、すべてのタイプのHDR/WCGビデオデータ17のためにYu’v’色空間を使用し得る。これらの例では、フォーマット変換ユニット100は、HDR/WCGビデオデータ17のタイプにかかわらず式(1)〜(3)を利用し得る。
[0073]他の例では、フォーマット変換ユニット100は、異なるタイプのFCC係数間で切り替えるか、または、言い換えれば、HDR/WCGビデオデータ17のタイプに基づいてFCC係数のタイプを適応的に選択し得る。FCC係数のための一般的な定義を、以下の式(4)〜(6)によって与える。
Y=Y (4)
Figure 0006800896
Figure 0006800896
式(5)および(6)中で、α’およびβ’は、FCCフォーマットビデオデータ101の色度成分を表し、a1〜a4およびb1〜b4は、XYZフォーマットHDR/WCGビデオデータ99に基づいて適応される変数を表す。
[0074]フォーマット変換ユニット100は、いくつかの例では、FCCフォーマットビデオデータ101が範囲を超えるのを防止するためにFCCフォーマットビデオデータ101をクリッピングし得る。言い換えれば、フォーマット変換ユニット100は、FCCフォーマットビデオデータ101が指定された信号範囲を超えることから守る(ensure)ために「サニティ検査(sanity check)」を実行し得る。いずれの場合も、フォーマット変換ユニット100は、色度調整ユニット102にFCCフォーマットビデオデータ101としてYu’v’フォーマットHDR/WCGビデオデータを出力し得る。
[0075]色度調整ユニット102は、FCCフォーマットビデオデータ101の対応する輝度成分に基づいてFCCフォーマットビデオデータ101の色度成分を調整するように構成されたユニットを表し得る。色度調整ユニット102は、低レベルの輝度中に発生するノイズを抑制するように色度成分、たとえば、FCCフォーマットビデオデータ101のu’およびv’を調整し得る。上記のように、サンプル(すなわち、この例ではピクセル)の対応する輝度が、(影に対応する輝度の何らかの値以下、たとえば、0ニト(nit)と1ニトとの間に設定され得る)固定しきい値よりも低くなるとき、色度調整ユニット102は、黒またはグレー(ここで、グレーは(u’,v’)=(0.19783,0.46832)として定義される)に対応する値に色度成分を設定し得る。
[0076]代替的に、色度調整ユニット102は、ピクチャの何らかの部分(たとえば、スライス)、ピクチャ全体、または現在ピクチャが含まれるピクチャグループ(GOP)の輝度に基づいてしきい値を適応的に決定し得る。たとえば、色度調整ユニット102は、ピクチャ中のピクセルのすべての輝度を分析し、しきい値が最も暗いピクセルの5%に適用されるようにしきい値を設定し得る。色度調整ユニット102はまた、ピクチャの場面が全体的に明るい場面または暗い場面であるのかどうかに基づいて5%のしきい値を適応させ得る。言い換えれば、最も暗いピクセルが、依然として、比較的明るい(たとえば、1ニト超)とき、色度調整ユニット102は、しきい値が最も暗いピクセルの2%に適用されるようにしきい値を低下させ得る。最も暗いピクセルが、比較的暗い(たとえば、1ニト未満)とき、色度調整ユニット102は、しきい値が最も暗いピクセルの5%以上に適用されるようにしきい値を増大させ得る。
[0077]色度成分を調整することに関して、ターゲットピクセルの対応する輝度が固定または適応しきい値よりも低いとき、色度調整ユニット102は、一例として、ある範囲内の隣接ピクセルの色度成分の平均としてターゲットピクセルの色度成分を設定し得る。この例では、グレーにクリップするのではなく、色度調整ユニット102は、1)中心がターゲットピクセルに位置するあるサイズの窓内に常駐すること、および2)固定(言い換えれば、所定)または適応しきい値よりも低い輝度成分を有することの2つの条件を満たす隣接ピクセルに平均化フィルタを適用し得る。
[0078]さらに、いくつかの例では、色度調整ユニット102は、色度成分の各々、たとえば、u’およびv’に同じ調整を適用し得る。他の例では、色度調整ユニット102は、色度成分の各々に対して異なる調整を実行し得る。すなわち、色度調整ユニット102は、色度成分の各々に別個に(separately)異なるノイズ低減を適用し得る。
[0079]色度調整ユニット102は、FCCフォーマットビデオデータに対する(to)調整の適用を通して、調整されたFCCフォーマットビデオデータ103を取得し得る。色度調整ユニット102は、圧縮ユニット104に調整されたFCCフォーマットビデオデータ103を出力する。
[0080]圧縮ユニット104は、1つまたは複数の適応伝達関数(TF)110を使用して調整されたFCCフォーマットビデオデータ103の調整された色度成分を圧縮するように構成されたユニットを表し得る。いくつかの例では、圧縮ユニット104は、各色度成分に単独で単一のTF、たとえば、SMPTE−2084において指定されている上記のPQ EOTFを適用し得る。数学的に、調整されたFCCフォーマットビデオデータ103の3つの成分の各々への同じTFの適用は、以下の式(7)〜(9)によって表され得る。
Y’=TF(Y) (7)
α”=TF(α’) (8)
β”=TF(β’) (9)
式(7)〜(9)中で、Y、α’およびβ’は、上記の式(4)〜(6)中で生成される信号を表し、ここで、TF()は、伝達関数を示す。
[0081]このようにして、圧縮ユニット104は、調整されたFCCフォーマットビデオデータ103のY、u’、およびv’成分の各々にTF110のうちの同じ1つを適用し得る。他の例では、圧縮ユニット104は、3つの成分の各々に別個に異なるTF110を適用し得る。TF110は、対数様TF(log-like TF)を含み得、ここで、対数様TFの一例としては、SMPTE−2084において指定されている上記のPQ EOTFを含み得る。
[0082]TF110のうちの対数様のもの(log-like ones)を適用するときに、圧縮ユニット104は、色空間の各成分に、たとえば、Y、u’、およびv’に単独でTF110のうちの対数様のものを適用し得る。他の例では、圧縮ユニット104は、調整されたFCCフォーマットビデオデータ103の輝度成分YにのみTF110のうちの対数様のものを適用し得る。圧縮ユニット104は、次に、調整されたFCCフォーマットビデオデータ103の対応する輝度成分Yのレベルに応じて、調整されたFCCフォーマットビデオデータ103の色度成分u’およびv’にTF110のうちの適応線形のもの(adaptive linear ones)を適用し得る。
[0083]TF110のうちの適応線形のものは、以下の式(10)〜(12)によって数学的に示され得る。
Y’=TF(Y) (10)
Figure 0006800896
Figure 0006800896
式(10)〜(12)中で、TFは、輝度成分のみのための選定される(chosen)TF110のうちの非線形の(たとえば、対数様の)1つを示し、aαおよびaβは、TF110のうちの線形のもののための傾斜を示し、bαおよびbβは、圧縮ユニット104がFCC係数に基づいて決定し得るオフセットを示す。いくつかの例では、圧縮ユニット104は、α’’およびβ’’成分に傾斜およびオフセットを別個に設定し得る。いくつかの例では、圧縮ユニット104は、α’’およびβ’’成分の両方に同一の(またはほぼ同一の)オフセットおよび/または同じ傾斜をもたらすFCC係数を選択し得る。
[0084]例示のために、輝度に関する適応傾斜を示す図4について検討する。図4は、輝度に関して、本開示で説明する技法の様々な態様に従って適用される線形TF110の適応傾斜を示すグラフ200を示す図である。圧縮ユニット104は、輝度の1つまたは複数の領域中でHVSの均一な色度知覚を保持するが、輝度の他の範囲中でHVSの均一な色度知覚を抑制する傾斜を決定し得る。図4の例では、輝度が増大するにつれて傾斜が0.25から1.0まで変化する場合、圧縮ユニット104は、より低い輝度においてノイズを含む色度情報を抑制するが、より高い輝度において色度情報を維持し得る。そのような設計により、圧縮ユニット104は、ある輝度範囲に1.0よりも大きい傾斜を採用することによって色度情報を高める能力が可能になり得る。したがって、1つの例示的な設計は、色度情報をいつ高める(抑制する)べきかと、様々な輝度範囲においてどれくらいの拡張(抑制)を可能にすべきかとの両方を決定し得る。その各々が傾斜と範囲とに関連付けられ得る領域の数は、対象用途、HDR/WCGビデオデータ17の入力特性およびそのような前処理の様々な目的(たとえば、SNR、知覚品質など)に依存し得る。
[0085]圧縮ユニット104は、TF110が適用された後に各輝度においてグレーの同様の色度値を保つように導出されるオフセットで構成され得る。圧縮ユニット104は、上記のように、(「FCC係数」と呼ばれることもある)使用されるFCCフォーマットのタイプに基づいてオフセットを決定し得る。Yu’v’色空間の例では、圧縮ユニット104は、以下の式(13)および(14)に従ってオフセットを決定し得る。
Figure 0006800896
Figure 0006800896
いくつかの例では、圧縮ユニット104は、すべての入力HDR/WCGビデオデータ17全体にわたって同じ傾斜およびオフセットを保ち得る。他の例では、圧縮ユニット104は、スライス、ピクチャ、およびGOPなどの異なるレベルのグラニュラリティ(granularity)における入力特性およびFCC係数に応じて傾斜およびオフセットを調整し得る。Yu’v’のための適応TF110の効果を図5A〜図5C中で可視化する。
[0086]図5A〜図5Cは、オフセットなしの適応TFに対するオフセットありの適応TF110を示すグラフ210A〜210Cを示す図である。図5Aのグラフ210Aは、[0,10]の輝度範囲をもつYu’v’座標中にBT.2020色域を含んでいる三角柱の形態の元のFCCフォーマットビデオデータ101を示す。三角形212は、(三角形212のためのYが2未満であると仮定すると)低輝度におけるサンプルピクセルを表す。図5Bのグラフ210Bは、オフセットを含まない適応線形TFを使用して圧縮した後の同じ三角形212を示し、これは、212’として示される。三角形212’が圧縮されたと仮定すると、三角形212’は三角形212よりもはるかに小さくなり、ここで、傾斜は、輝度変化に対して三角形のサイズがどれくらい変化するのかを決定し得る。しかしながら、三角形212は、左側にシフトし、下に移動し、オフセットなしの適応線形TF110が色度を保持しないことを示し、これは、可視のアーティファクトをもたらし得る。図5Cのグラフ210Cは、3D空間において各輝度における三角形の重心が正しく位置合わせされる(aligned)ようにオフセットされた同じ三角形212’を示し、これは三角形212’’として示される。したがって、オフセットの出願人は、均一な色度を保持するのに役立つ。
[0087]TF110の適用の上記の態様にかかわらず、圧縮ユニット104は、TF110のうちの1つまたは複数を導出し、次いで、すべてのタイプのHDR/WCGビデオデータ17にTF110を固定し得る。代替的に、圧縮ユニット104は、HDR/WCGビデオデータ17のタイプごとに(for each type)、またはHDR/WCGビデオデータ17の(「フレーム」と呼ばれることもある)ピクチャごとにTF110を導出し得る。
[0088]圧縮ユニット104は、圧縮されたFCCフォーマットビデオデータ105を取得するために、調整されたFCCフォーマットビデオデータ103にTF110を適用し得る。圧縮ユニット104は、量子化ユニット106に圧縮されたFCCフォーマットビデオデータ105を出力し得る。
[0089]量子化ユニット106は、量子化されたFCCフォーマットビデオデータ107を取得するために、圧縮されたFCCフォーマットビデオデータ105を量子化するように構成されたユニットを表し得る。量子化ユニット106は、圧縮されたFCCフォーマットビデオデータ105の色度および/または輝度成分のビット深度を、一例として、10ビットに低減し得る。量子化ユニット106は、サブサンプリングユニット108に量子化されたFCCフォーマットビデオデータ107を出力し得る。
[0090]サブサンプリングユニット108は、前処理されたビデオデータ25を取得するために、量子化されたFCCフォーマットビデオデータ107をサブサンプリングするように構成されたユニットを表し得る。サブサンプリングユニット108は、4:4:4フォーマットから4:2:0フォーマットに色度成分を低減するために、量子化されたFCCフォーマットビデオデータ107をサブサンプリングし得る。サブサンプリングユニット108は、ビデオエンコーダ20に前処理ビデオデータ25を出力し得る。
[0091]ビデオ前処理ユニット19はまた、側波帯情報(sideband information)111を生成し得、これは、ビデオ後処理ユニット31が単独で導出することができないことがあるHDR/WCGビデオデータ17を前処理することに関係する情報を含み得、これは、逆動作を実行するために必要とされ得る。たとえば、ビデオ前処理ユニット19は、側波帯情報111中でエンコーダ側で推定される適応TF110とノイズ低減のための関連するパラメータおよびFCC係数とを指定し得る。
[0092]ビデオ前処理ユニット19は、ビデオエンコーダ20に側波帯情報111を与え得、これは、1つまたは複数のビデオユーザビリティ情報(VUI)メッセージ、1つまたは複数の補足エンハンスメント情報(SEI)メッセージ、および/あるいは1つまたは複数のSEI更新メッセージとしてビットストリーム23中で側波帯情報111をシグナリングし得る。ビデオエンコーダ20はまた、いくつかの例では、コーディングツリーユニット(CTU)ヘッダ、スライスヘッダ、および/またはピクチャパラメータセット(PPS)中の側波帯情報111を指定し得る。いくつかの例では、ビデオエンコーダ20は、前処理されたビデオデータ25をコーディングするために有用である重み付け予測ベースプロセスを容易にする、側波帯情報111を利用し得る。
[0093]図3は、図1のビデオ後処理ユニット31をより詳細に示すブロック図である。図3の例では、ビデオ後処理ユニット31は、アップサンプリングユニット150と、逆量子化ユニット152と、逆圧縮ユニット154と、逆調整ユニット156と、逆フォーマット変換ユニット158とを含む。アップサンプリングユニット150は、ビデオ前処理ユニット19のサブサンプリングユニット108に関して上記で説明した動作逆数ザ動作(operations reciprocal the operations)を実行するように構成されたユニットを表す。したがって、アップサンプリングユニット150は、一例として、(復号され前処理されたビデオデータ107’と呼ばれることもある)アップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’を取得するために、復号され圧縮されたFCCフォーマットビデオデータ25’をアップサンプリングし得る。アップサンプリングユニット150は、逆量子化ユニット152にアップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’を出力し得る。
[0094]逆量子化ユニット152は、ビデオ前処理ユニット19の量子化ユニット106に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆量子化ユニット152は、逆量子化され(dequantized)圧縮されたFCCフォーマットビデオデータ105’を取得するために、アップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’を逆量子化し得る。逆量子化は、アップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’の輝度成分と色度成分との各々を表すために使用されるビット数を拡張することを伴い得る。逆量子化ユニット152は、逆圧縮ユニット154に逆量子化され圧縮されたFCCフォーマットビデオデータ105’を出力し得る。
[0095]逆圧縮ユニット154は、ビデオ前処理ユニット19の圧縮ユニット104に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆圧縮ユニット154は、圧縮解除されたFCCフォーマットビデオデータ103’を取得するために、逆量子化され圧縮されたFCCフォーマットビデオデータ105’に逆適応TF160(たとえば、逆適応線形TFまたは逆対数様TF)を適用し得る。逆適応TF160は、上記で説明したPQ EOTFの逆である知覚逆量子化(PD:perceptual dequantization)光電気伝達関数(OETF:optical-electro transfer function)を含み得る。逆圧縮ユニット154は、ビットストリーム23を介してシグナリングされるサイドチャネル情報111に一例として基づいて逆適応TF160を決定するか、あるいは取得し得る。
[0096]逆圧縮ユニット154は、圧縮ユニット104に関して上記で説明した様々な方法で逆量子化され圧縮されたFCCフォーマットビデオデータ105’の輝度成分と色度成分とに逆適応TF160を適応的に適用し得る。言い換えれば、逆圧縮ユニット154は、一例として、逆量子化され圧縮されたFCCフォーマットビデオデータ105’の第1の色度成分と第2の色度成分との各々(すなわち、図3の例におけるu’およびv’)に逆適応TF160のうちの同じ1つを適用することのうちの1つを実行するか、または逆量子化され圧縮されたFCCフォーマットビデオデータ105’の第1の色度成分と第2の色度成分との各々に逆適応TF160のうちの異なる1つを適用し得る。
[0097]別の例として、逆圧縮ユニット154は、逆量子化され圧縮されたFCCフォーマットビデオデータ105’の第1の色度成分と第2の色度成分との各々に逆適応TF160のうちの逆対数様の1つを適用し得る。代替的に、逆圧縮ユニット154は、圧縮されたFCCフォーマットビデオデータの輝度成分だけに逆適応TF160のうちの逆対数様の1つを適用し、圧縮解除された輝度成分のレベルに応じて、逆量子化され圧縮されたFCCフォーマットビデオデータ105’の第1の色度成分と第2の色度成分とに逆適応TF160のうちの逆適応線形の1つを適用し得る。
[0098]このようにして、逆圧縮ユニット154は、圧縮解除されたFCCフォーマットビデオデータ103’を取得するために、逆量子化され圧縮されたFCCフォーマットビデオデータ105’に対して逆圧縮を実行し得る。逆圧縮ユニット154は、逆調整ユニット156に圧縮解除されたFCCフォーマットビデオデータ103’を出力し得る。
[0099]逆調整ユニット156は、ビデオ前処理ユニット19の調整ユニット102に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆調整ユニット156は、逆調整されたFCCフォーマットビデオデータ101’を取得するために、圧縮解除されたFCCフォーマットビデオデータ103’に逆調整を適用し得る。
[0100]たとえば、逆調整ユニット156は、圧縮解除されたFCCフォーマットビデオデータ103’のサンプルの輝度成分がしきい値よりも低いとき、(たとえば、「側波帯情報111」と呼ばれることもあるサイドチャネル情報111として指定される)圧縮解除されたFCCフォーマットビデオデータ103’に関連するビットストリーム23中でシグナリングされる値に圧縮解除されたFCCフォーマットビデオデータ103’のサンプルの色度成分を設定することによって、圧縮解除されたFCCフォーマットビデオデータ103’のサンプルの対応する色度成分を逆調整し得る。しきい値は、固定され得るか、または逆調整ユニット156は、HDRおよびWCGビデオデータ17’の統計値に基づいてしきい値を導出し得る。
[0101]別の例として、逆調整ユニット156は、第1の色度成分と第2の色度成分との両方を一緒に逆調整し得る。代替的に、逆調整ユニット156は、第1の色度成分と第2の色度成分との各々を別個に逆調整し得る。
[0102]このようにして、逆調整ユニット156は、逆調整されたFCCフォーマットビデオデータ101’を取得するために、圧縮解除されたFCCフォーマットビデオデータ103’に対して逆調整を実行し得る。逆調整ユニット156は、逆フォーマット変換ユニット158に逆調整されたFCCフォーマットビデオデータ101’を出力し得る。
[0103]逆フォーマット変換ユニット158は、ビデオ前処理ユニット19のフォーマット変換ユニット100に関して上記で説明した動作とは逆の動作を実行するように構成されたユニットを表し得る。したがって、逆フォーマット変換ユニット158は、HDR/WCGビデオデータ17’を取得するために、逆調整されたFCCフォーマットビデオデータ101’に対して逆フォーマット変換を適用し得る。
[0104]たとえば、逆フォーマット変換ユニット158は、逆調整されたFCCフォーマットビデオデータ101’の色度成分を第2の色表現フォーマットに(たとえば、Yu’v’色空間から第2の色表現フォーマットの一例を表し得るXYZ色空間に)変換し得る。逆フォーマット変換ユニット158は、次に、HDR/WCGビデオデータ17’を取得するために、第2の色表現フォーマットの色度成分を第1の色表現フォーマットに(たとえば、XYZ色空間からRGB色空間に、ここで、RGB色空間は、第1の色表現フォーマットの一例を表す)変換し得る。逆フォーマット変換ユニット158は、逆調整されたFCCフォーマットビデオデータ101’に関連するビットストリーム23中でシグナリングされるサイドチャネル情報111に基づいて色表現フォーマットを決定し得る。
[0105]このようにして、逆フォーマット変換ユニット158は、HDR/WCGビデオデータ17’を取得するために、逆調整されたFCCフォーマットビデオデータ101’に対して逆フォーマット変換を実行し得る。逆フォーマット変換ユニット158は、ディスプレイデバイス32を介した表示のために後処理されたビデオデータ17’としてHDR/WCGビデオデータ17’を出力し得る。
[0106]図6は、本開示で説明する技法の様々な態様による、図1のビデオ前処理ユニット19の例示的な動作を示すフローチャートである。最初に、ビデオ前処理ユニット19のフォーマット変換ユニット100は、HDR/WCGビデオデータ17を受信し得る。フォーマット変換ユニット100は、次に、RGB色空間(または他の色表現フォーマット)からFCCフォーマットにHDR/WCGビデオデータ17の色度成分を変換し、それによって、上記で説明した方法でFCCフォーマットビデオデータ101を取得し得る(200)。
[0107]色度調整ユニット102は、次に、FCCフォーマットビデオデータ101の対応する輝度成分に基づいてFCCフォーマットビデオデータ101の色度成分を調整し得る(202)。色度調整ユニット102は、上記で説明したいくつかの方法のいずれかで低レベルの輝度中に(during)発生するノイズを抑制するように色度成分、たとえば、FCCフォーマットビデオデータ101のu’およびv’を調整し得る。色度調整ユニット102は、FCCフォーマットビデオデータに対する調整の適用を通して、調整されたFCCフォーマットビデオデータ103を取得し得る。色度調整ユニット102は、圧縮ユニット104に調整されたFCCフォーマットビデオデータ103を出力する。
[0108]圧縮ユニット104は、上記で説明した方法で1つまたは複数の適応伝達関数(TF)110を使用して、調整されたFCCフォーマットビデオデータ103を圧縮し得る(204)。圧縮ユニット104は、圧縮されたFCCフォーマットビデオデータ105を取得するために、調整されたFCCフォーマットビデオデータ103にTF110を適用し得る。圧縮ユニット104は、量子化ユニット106に圧縮されたFCCフォーマットビデオデータ105を出力し得る。
[0109]量子化ユニット106は、量子化されたFCCフォーマットビデオデータ107を取得するために、圧縮されたFCCフォーマットビデオデータ105を量子化し得る(206)。量子化ユニット106は、圧縮されたFCCフォーマットビデオデータ105の色度および/または輝度成分のビット深度を、一例として、10ビットに低減し得る。量子化ユニット106は、サブサンプリングユニット108に量子化されたFCCフォーマットビデオデータ107を出力し得る。
[0110]サブサンプリングユニット108は、前処理されたビデオデータ25を取得するために、量子化されたFCCフォーマットビデオデータ107をサブサンプリングする(208)ように構成されたユニットを表し得る。サブサンプリングユニット108は、4:4:4フォーマットから4:2:0フォーマットに色度成分を低減するために、量子化されたFCCフォーマットビデオデータ107をサブサンプリングし得る。サブサンプリングユニット108は、ビデオエンコーダ20に前処理ビデオデータ25を出力し得る。量子化とサブサンプリングとの両方は、前処理の点から(in terms of)随意であり得、破線を使用してそのようなものとして(as such)示される。
[0111]図7は、本開示で説明する技法の様々な態様を実行する際の図3のビデオ後処理ユニット31の例示的な動作を示すフローチャートである。最初に、アップサンプリングユニット150は、復号され圧縮されたFCCフォーマットビデオデータ25’を受信し得る。アップサンプリングユニット150は、(復号され前処理されたビデオデータ107’と呼ばれることもある)アップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’を取得するために、復号され圧縮されたFCCフォーマットビデオデータ25’をアップサンプリングし得る(250)。アップサンプリングユニット150は、逆量子化ユニット152にアップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’を出力し得る。
[0112]逆量子化ユニット152は、逆量子化され圧縮されたFCCフォーマットビデオデータ105’を取得するために、アップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’を逆量子化し得る(252)。逆量子化は、アップサンプリングされ圧縮されたFCCフォーマットビデオデータ107’の輝度成分と色度成分との各々を表すために使用されるビット数を拡張することを伴い得る。逆量子化ユニット152は、逆圧縮ユニット154に逆量子化され圧縮されたFCCフォーマットビデオデータ105’を出力し得る。逆量子化とアップサンプリングとの両方は、後処理の点から随意であり得、破線を使用してそのようなものとして示される。
[0113]逆圧縮ユニット154は、圧縮解除されたFCCフォーマットビデオデータ103’を取得するために、逆量子化され圧縮されたFCCフォーマットビデオデータ105’に逆適応TF160を適用し得る(254)。逆圧縮ユニット154は、ビットストリーム23を介してシグナリングされるサイドチャネル情報111に一例として基づいて逆適応TF160を決定するか、あるいは取得し得る。逆圧縮ユニット154は、逆調整ユニット156に圧縮解除されたFCCフォーマットビデオデータ103’を出力し得る。
[0114]逆調整ユニット156は、上記で説明した方法で、逆調整されたFCCフォーマットビデオデータ101’を取得するために、圧縮解除されたFCCフォーマットビデオデータ103’に逆調整を適用し得る。逆調整ユニット156は、逆フォーマット変換ユニット158に逆調整されたFCCフォーマットビデオデータ101’を出力し得る。
[0115]逆フォーマット変換ユニット158は、上記でより詳細に説明したように、HDRおよびWCGビデオデータ17’を取得するために、逆調整されたFCCフォーマットビデオデータ101’に対して逆フォーマット変換を適用し得る。逆フォーマット変換ユニット158は、ディスプレイデバイス32を介した表示のために後処理されたビデオデータ25’としてHDRおよびWCGビデオデータ17’を出力し得る。
[0116]図8は、前処理されたビデオデータを符号化するために本開示の技法を実装し得るビデオエンコーダ20の一例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または削除するために、空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間的予測に依拠する。イントラモード(Iモード)は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースコーディングモードのいずれかを指すことがある。
[0117]図8に示されているように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。現在のブロックのより効率的なビデオ符号化/圧縮を可能にするために本開示で説明する前処理技法を受けた現在のブロック。図8の例では、ビデオエンコーダ20は、モード選択ユニット40と、ビデオデータメモリ41と、復号ピクチャバッファ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。モード選択ユニット40は、次に、動き補償ユニット44と、動き推定ユニット42と、イントラ予測処理ユニット46と、区分ユニット48とを含む。ビデオブロックの再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためのデブロッキングフィルタ(図11に図示せず)も含まれ得る。必要な場合、デブロッキングフィルタは、通常、加算器62の出力をフィルタリングすることになる。さらなるフィルタ(インループまたはポストループ)も、デブロッキングフィルタに加えて使用され得る。そのようなフィルタは簡潔のために示されていないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理し得る。
[0118]ビデオデータメモリ41は、ビデオエンコーダ20の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ41に記憶されるビデオデータは、たとえば、ビデオソース18から取得され得る。復号ピクチャバッファ64は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオエンコーダ20によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ41および復号ピクチャバッファ64は、同期DRAM(SDRAM)を含む、ダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM(登録商標))、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ41および復号ピクチャバッファ64は、同じメモリデバイスまたは別個のメモリデバイスによって与えられ得る。様々な例では、ビデオデータメモリ41は、ビデオエンコーダ20の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0119]符号化プロセスの間に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割され得る。動き推定ユニット42および動き補償ユニット44は、時間的予測を行うために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測処理ユニット46は、代替的に、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の1つもしくは複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ20は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
[0120]さらに、区分ユニット48は、前のコーディングパス内の前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分することができる。たとえば、区分ユニット48は、最初にフレームまたはスライスをLCUに区分し、レートひずみ分析(たとえば、レートひずみ最適化)に基づいてLCUの各々をサブCUに区分し得る。モード選択ユニット40は、さらに、LCUをサブCUに区分することを示す4分木データ構造を生成し得る。4分木のリーフノードCUは、1つまたは複数のPUと1つまたは複数のTUとを含み得る。
[0121]モード選択ユニット40は、たとえば、誤差結果に基づいてコーディングモード、イントラまたはインターのうちの1つを選択し得て、残差ブロックデータを生成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器50に提供し、また、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器62に提供する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピー符号化ユニット56に与える。
[0122]動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在ピクチャ(または、他のコード化ユニット)内でコーディングされている現在ブロックに対する参照ピクチャ(または、他のコード化ユニット)内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分尺度によって決定され得るピクセル差分に関して、コーディングされるべきブロックとよく一致することが判明しているブロックである。いくつかの例では、ビデオエンコーダ20は、復号ピクチャバッファ64に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照ピクチャの1/4ピクセル位置、1/8ピクセル位置、または他の分数のピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0123]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、復号ピクチャバッファ64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、エントロピー符号化ユニット56と動き補償ユニット44とに計算された動きベクトルを送る。
[0124]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。同じく、動き推定ユニット42および動き補償ユニット44は、いくつかの例では、機能的に統合され得る。現在のビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいてそれを指す予測的ブロックの位置を特定し得る。加算器50は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルーマ成分に対して動き推定を実行し、動き補償ユニット44は、クロマ成分とルーマ成分の両方について、ルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際のビデオデコーダ30による使用のために、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成し得る。
[0125]イントラ予測処理ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット46は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット46(または、いくつかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0126]たとえば、イントラ予測処理ユニット46は、様々な試験されたイントラ予測モードに対するレートひずみ分析を使用してレートひずみ値を計算し、試験されたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化ブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測処理ユニット46は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
[0127]ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット46は、エントロピー符号化ユニット56にブロックのための選択されたイントラ予測モードを示す情報を提供し得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックのための符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを、送信されるビットストリームに含め得る。
[0128]ビデオエンコーダ20は、コーディングされている元のビデオブロックから、モード選択ユニット40からの予測データを減算することによって、残差ビデオブロックを形成する。加算器50は、この減算演算を実施する1つまたは複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換など、変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット52は、概念的にDCTと同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプ変換も使用され得る。いずれの場合でも、変換処理ユニット52は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、ピクセル値領域からの残差情報を、周波数領域などの変換領域に転換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。
[0129]量子化ユニット54は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行し得る。
[0130]量子化の後に、エントロピー符号化ユニット56は、量子化された変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコーディングに続いて、符号化されたビットストリームは、別のデバイス(たとえば、ビデオデコーダ30)に送信されるか、または後の送信もしくは取り出しのためにアーカイブされ得る。
[0131]逆量子化ユニット58および逆変換処理ユニット60は、たとえば、参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構成するために、それぞれ、逆量子化および逆変換を適用する。動き補償ユニット44は、復号ピクチャバッファ64のフレームのうちの1つの予測ブロックに残差ブロックを加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、動き推定において使用するサブ整数ピクセル値を計算するために、1つまたは複数の補間フィルタを再構築された残差ブロックに適用し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償された予測ブロックに加算して、復号ピクチャバッファ64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続ビデオフレーム中のブロックをインターコーディングするための参照ブロックとして、動き推定ユニット42と動き補償ユニット44とによって使用され得る。
[0132]図9は、ビデオデータを後処理するより前にビデオデータを復号するために本開示の技法を実施し得るビデオデコーダ30の一例を示すブロック図である。図9の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、ビデオデータメモリ71と、動き補償ユニット72と、イントラ予測処理ユニット74と、逆量子化ユニット76と、逆変換処理ユニット78と、復号ピクチャバッファ82と、加算器80とを含む。ビデオデコーダ30は、いくつかの例では、ビデオエンコーダ20(図9)に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルに基づいて予測データを生成し得るのに対して、イントラ予測処理ユニット74は、エントロピー復号ユニット70から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。
[0133]ビデオデータメモリ71は、ビデオデコーダ30の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ71に記憶されるビデオデータは、たとえば、コンピュータ可読媒体16から、たとえば、カメラなどのローカルビデオソースから、ビデオデータのワイヤードまたはワイヤレスネットワーク通信を介して、あるいは物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ71は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶する、コーディング済みピクチャバッファ(CPB)を形成し得る。復号ピクチャバッファ82は、たとえば、イントラコーディングモードまたはインターコーディングモードでビデオデコーダ30によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ71および復号ピクチャバッファ82は、同期DRAM(SDRAM)を含む、ダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ71および復号ピクチャバッファ82は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ71は、ビデオデコーダ30の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0134]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ30のエントロピー復号ユニット70は、量子化係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトルと他のシンタックス要素とを動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0135]ビデオスライスがイントラコーディングされた(I)スライスとしてコーディングされるとき、イントラ予測処理ユニット74は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(すなわち、BまたはP)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの1つの中の参照ピクチャの1つから生成され得る。ビデオデコーダ30は、復号ピクチャバッファ82に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照ピクチャリスト、リスト0およびリスト1を構成し得る。動き補償ユニット72は、動きベクトルと他のシンタックス要素とをパースすることによって現在のビデオスライスのビデオブロックに関する予測情報を決定し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラ予測またはインター予測)と、インター予測スライスタイプ(たとえば、BスライスまたはPスライス)と、スライス用の参照ピクチャリストのうちの1つまたは複数についての構成情報と、スライスの各インター符号化ビデオブロックについての動きベクトルと、スライスの各インターコード化ビデオブロックについてのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。
[0136]動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、参照ブロックのサブ整数ピクセルの補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、予測的ブロックを生成するためにその補間フィルタを使用し得る。
[0137]逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された被量子化変換係数を逆量子化(inverse quantize)、すなわち、量子化解除(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に適用されるべき逆量子化の程度を決定するために、ビデオスライス中の各ビデオブロックに対してビデオデコーダ30によって計算される量子化パラメータQPYを使用することを含み得る。逆変換処理ユニット78は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0138]動き補償ユニット72が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後に、ビデオデコーダ30は、逆変換処理ユニット78からの残差ブロックを動き補償ユニット72によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器80は、この加算演算を実行する1つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために復号されたブロックをフィルタリングする、デブロッキングフィルタも適用され得る。他のループフィルタ(コーディングループの中、またはコーディングループの後のいずれかにおける)も、ピクセルの遷移を平滑化し、または場合によってはビデオ品質を改善するために使用され得る。
[0139]所与のフレームまたはピクチャ中の復号ビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ82に記憶される。復号ピクチャバッファ82はまた、図1のディスプレイデバイス32などのディスプレイデバイス上での後の表示のために、復号ビデオを記憶する。復号ピクチャバッファ82はまた、本開示で説明する技法の様々な態様に従って後処理のために復号されたビデオブロックを出力し得る。
[0140]本開示のいくつかの態様について、説明のために、HEVC規格の拡張に関して説明した。ただし、本開示で説明した技法は、他の規格またはまだ開発されていないプロプライエタリなビデオコーディング処理を含む、他のビデオコーディング処理にとって有用であり得る。
[0141]本開示で説明したビデオコーダは、ビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングユニットはビデオエンコーダまたはビデオデコーダを指すことがある。同様に、ビデオコーディングは、適宜、ビデオ符号化またはビデオ復号を指すことがある。
[0142]例によっては、本明細書で説明した技法のうちのいずれかの、いくつかの動作またはイベントは、異なる順序で実施され得、追加、マージ、または完全に除外され得る(たとえば、すべての説明した動作またはイベントが、本技法の実施のために必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて同時に実行され得る。
[0143]1つまたは複数の例では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために、1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0144]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMもしくは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu−rayディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含めるべきである。
[0145]命令は、1つもしくは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積回路もしくはディスクリート論理回路など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用ハードウェアおよび/またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素で十分に実装され得る。
[0146]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置に実装され得る。様々な構成要素、モジュール、またはユニットは、開示された技法を実施するように構成されたデバイスの機能的態様を強調するように本開示において記載されているが、様々なハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされ得るか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
[0147]様々な例を説明した。これらおよび他の例は添付の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1] ビデオデータを処理する方法であって、
圧縮解除されたフラクショナル色度座標(FCC)フォーマットビデオデータを取得するために、1つまたは複数の逆適応伝達関数(TF)を使用して圧縮されたFCCフォーマットビデオデータを逆圧縮することと、
逆調整されたFCCフォーマットビデオデータを取得するために、前記圧縮解除されたFCCフォーマットビデオデータの対応する輝度成分に基づいて前記圧縮解除されたFCCフォーマットビデオデータの色度成分を逆調整することと、
ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを取得するために、前記FCCフォーマットから色表現フォーマットに前記逆調整されたFCCフォーマットビデオデータの前記色度成分を変換することと
を備える方法。
[C2] ビデオデータを処理する前記方法が、前記FCCフォーマットビデオデータをビデオ復号した後にビデオデータを後処理する方法を備え、
前記方法が、
アップサンプリングされ圧縮されたFCCフォーマットビデオデータを取得するために、前記圧縮されたFCCフォーマットビデオデータの色度成分をアップサンプリングすることと、
前記圧縮されたFCCフォーマットビデオデータを取得するために、前記アップサンプリングされ圧縮されたFCCフォーマットビデオデータを逆量子化することと
をさらに備える、
C1に記載の方法。
[C3] 前記色表現フォーマットが、RGB色空間またはXYZ色空間のうちの1つを備え、
前記FCCフォーマットビデオデータが、前記HDRおよびWCGビデオデータに基づいて適応されるFCC色空間またはYu’v’色空間を備える、
C1に記載の方法。
[C4] 前記圧縮解除されたFCCフォーマットビデオデータの前記色度成分を逆調整することは、前記圧縮解除されたFCCフォーマットビデオデータのサンプルの前記輝度成分がしきい値よりも小さいとき、前記圧縮解除されたFCCフォーマットビデオデータの前記サンプルの前記色度成分を、前記圧縮解除されたFCCフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することによって、前記圧縮解除されたFCCフォーマットビデオデータの前記サンプルの前記対応する色度成分を逆調整することを備える、C1に記載の方法。
[C5] 前記しきい値が、前記HDRおよびWCGビデオデータの統計値に基づいて導出されるかまたは固定される、C4に記載の方法。
[C6] 前記圧縮解除されたFCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記圧縮解除されたFCCフォーマットビデオデータが、第2の色度成分を備え、
前記圧縮解除されたFCCフォーマットビデオデータの前記色度成分を逆調整することが、前記第1の色度成分と前記第2の色度成分との両方を一緒に逆調整することまたは前記第1の色度成分と前記第2の色度成分との各々を別個に調整することのうちの1つを備える、
C1に記載の方法。
[C7] 前記圧縮されたFCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記圧縮されたFCCフォーマットビデオデータが、第2の色度成分を備え、
1つまたは複数の逆適応TFを使用して前記圧縮されたFCCフォーマットビデオデータの前記色度成分を逆圧縮することが、前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に同じ逆適応TFを適用すること、または前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に異なる逆適応TFを適用することのうちの1つを備える、
C1に記載の方法。
[C8] 前記圧縮されたFCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記圧縮されたFCCフォーマットビデオデータが、第2の色度成分を備え、
前記圧縮されたFCCフォーマットビデオデータを逆圧縮することが、
逆対数様TFを前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に適用すること、または
前記圧縮されたFCCフォーマットビデオデータの輝度成分だけに逆対数様TFを適用し、前記圧縮解除した輝度成分のレベルに応じて、前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分とに逆適応線形TFを適用すること
のうちの1つを備える、1つまたは複数の逆適応TFを使用して前記圧縮されたFCCフォーマットビデオデータを逆圧縮することを備える、
C1に記載の方法。
[C9] 前記逆調整されたFCCフォーマットビデオデータの前記色度成分を第2の色表現フォーマットに変換することと、
前記HDRおよびWCGビデオデータを取得するために、前記第2の色表現フォーマットの前記色度成分を第1の色表現フォーマットに変換することと
をさらに備える、C1に記載の方法。
[C10] ビデオデータを処理する方法であって、
色表現フォーマットとフラクショナル色度座標(FCC)フォーマットとの間でハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータの色度成分を変換することと、
調整されたFCCフォーマットビデオデータを取得するために、前記FCCフォーマットビデオデータの対応する輝度成分に基づいて前記FCCフォーマットビデオデータの色度成分を調整することと、
圧縮されたFCCフォーマットビデオデータを取得するために、1つまたは複数の適応伝達関数(TF)を使用して前記FCCフォーマットビデオデータを圧縮することと
を備える方法。
[C11] 量子化されたFCCフォーマットビデオデータを取得するために、前記圧縮されたFCCフォーマットビデオデータを量子化することと、
符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたFCCフォーマットビデオデータをサブサンプリングすることと
をさらに備える、C10に記載の方法。
[C12] 前記色表現フォーマットが、RGB色空間またはXYZ色空間のうちの1つを備え、
前記FCCフォーマットビデオデータが、前記HDRおよびWCGビデオデータに基づいて適応されるFCC色空間またはYu’v’色空間を備える、
C10に記載の方法。
[C13] 前記FCCフォーマットビデオデータが範囲を超えるのを防止するために前記FCCフォーマットビデオデータを処理することをさらに備える、C10に記載の方法。
[C14] 前記FCCフォーマットビデオデータの色度成分を調整することは、前記FCCフォーマットビデオデータのサンプルの輝度成分がしきい値よりも小さいとき、
黒またはグレーに対応する値として前記FCCフォーマットビデオデータの前記色度成分を設定すること、または
前記FCCフォーマットビデオデータの前記サンプルの前記色度成分のある範囲内の隣接サンプルの色度成分の平均として前記サンプルの前記色度成分を設定すること
のうちの1つを実行することに少なくとも部分的によってFCCフォーマットビデオデータの前記サンプルの対応する色度成分を調整することを備える、C10に記載の方法。
[C15] 前記しきい値が、前記HDRおよびWCGビデオデータの統計値に基づいて導出されるかまたは固定される、C14に記載の方法。
[C16] 前記FCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記FCCフォーマットビデオデータが、第2の色度成分を備え、
前記FCCフォーマットビデオデータの前記色度成分を調整することが、前記第1の色度成分と前記第2の色度成分との両方を一緒に調整することまたは前記第1の色度成分と前記第2の色度成分との各々を別個に調整することのうちの1つを備える、
C10に記載の方法。
[C17] 前記FCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記FCCフォーマットビデオデータが、第2の色度成分を備え、
1つまたは複数の適応TFを使用して前記FCCフォーマットビデオデータの前記調整された色度成分を圧縮することが、前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に同じTFを適用すること、または前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に異なるTFを適用することのうちの1つを備える、
C10に記載の方法。
[C18] 前記FCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記FCCフォーマットビデオデータが、第2の色度成分を備え、
1つまたは複数の適応TFを使用して前記FCCフォーマットビデオデータの前記調整された色度成分を圧縮することが、
前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に対数様TFを適用すること、または
前記FCCフォーマットビデオデータの輝度成分だけに対数様TFを適用し、前記輝度成分のレベルに応じて、前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分とに適応線形TFを適用すること
のうちの1つを備える、
C10に記載の方法。
[C19] ビデオデータを処理する前記方法が、ビデオ符号化のためにビデオデータを前処理する方法を備え、前記方法が、
ビデオエンコーダにおいて前記適応TFおよび前記色度成分調整のための関連するパラメータと前記FCCフォーマットビデオデータとを推定することと、
符号化ビットストリーム中で前記ビデオエンコーダからビデオデコーダに前記FCCフォーマットビデオデータおよび関連するパラメータをシグナリングすることと
をさらに備える、C10に記載の方法。
[C20] ビデオデータを処理する前記方法が、ビデオ符号化のためにビデオデータを前処理する方法を備え、前記方法が、
第1の色表現フォーマットから第2の色表現フォーマットに前記HDRおよびWCGビデオデータの前記色度成分を変換することと、
前記第2の色表現フォーマットの前記色度成分を前記FCCフォーマットビデオデータに変換することと、
量子化されたFCCフォーマットビデオデータを生成するために、前記圧縮されたFCCフォーマットビデオデータを量子化することと、
ビデオ符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたFCCフォーマットビデオデータをダウンサンプリングすることと
を備える、C10に記載の方法。
[C21] ビデオデータを処理するように構成されたデバイスであって、
圧縮されたフラクショナル色度座標(FCC)フォーマットビデオデータを記憶するように構成されたメモリと、
圧縮解除されたFCCフォーマットビデオデータを取得するために、1つまたは複数の逆適応伝達関数(TF)を使用して前記圧縮されたFCCフォーマットビデオデータを逆圧縮することと、
逆調整されたFCCフォーマットビデオデータを取得するために、前記圧縮解除されたFCCフォーマットビデオデータの対応する輝度成分に基づいて前記圧縮解除されたFCCフォーマットビデオデータの色度成分を逆調整することと、
ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを取得するために、前記FCCフォーマットから色表現フォーマットに前記逆調整されたFCCフォーマットビデオデータの前記色度成分を変換することと
を行うように構成されたプロセッサと
を備えるデバイス。
[C22] 前記圧縮されたFCCフォーマットビデオデータを取得するために、ビットストリームをビデオ復号するように構成されたビデオデコーダ、
ここにおいて、前記プロセッサが、
アップサンプリングされ圧縮されたFCCフォーマットビデオデータを取得するために、前記圧縮されたFCCフォーマットビデオデータの色度成分をアップサンプリングすることと、
前記圧縮されたFCCフォーマットビデオデータを取得するために、前記アップサンプリングされ圧縮されたFCCフォーマットビデオデータを逆量子化することと
を行うようにさらに構成された、
をさらに備える、C21に記載のデバイス。
[C23] 前記色表現フォーマットが、RGB色空間またはXYZ色空間のうちの1つを備え、
前記FCCフォーマットビデオデータが、前記HDRおよびWCGビデオデータに基づいて適応されるFCC色空間またはYu’v’色空間を備える、
C21に記載のデバイス。
[C24] 前記プロセッサが、前記圧縮解除されたFCCフォーマットビデオデータのサンプルの前記輝度成分がしきい値よりも小さいとき、前記圧縮解除されたFCCフォーマットビデオデータの前記サンプルの前記色度成分を、前記圧縮解除されたFCCフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することによって、前記圧縮解除されたFCCフォーマットビデオデータの前記サンプルの前記対応する色度成分を調整することを行うように構成された、C21に記載のデバイス。
[C25] 前記しきい値が、前記HDRおよびWCGビデオデータの統計値に基づいて導出されるかまたは固定される、C24に記載のデバイス。
[C26] 前記圧縮されたFCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
前記圧縮されたFCCフォーマットビデオデータが、第2の色度成分を備え、
前記プロセッサが、
前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に逆対数様TFを適用すること、または
前記圧縮されたFCCフォーマットビデオデータの輝度成分だけに逆対数様TFを適用し、前記輝度成分のレベルに応じて、前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分とに逆適応線形TFを適用すること
のうちの1つを実行するように構成された、
C21に記載のデバイス。
[C27] ビデオデータを処理するように構成されたデバイスであって、
ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを記憶するように構成されたメモリと、
色表現フォーマットとフラクショナル色度座標(FCC)フォーマットとの間でHDRおよびWCGビデオデータの色度成分を変換することと、
調整されたFCCフォーマットビデオデータを取得するために、前記FCCフォーマットビデオデータの対応する輝度成分に基づいて前記FCCフォーマットビデオデータの色度成分を調整することと、
圧縮されたFCCフォーマットビデオデータを取得するために、1つまたは複数の適応伝達関数(TF)を使用して前記FCCフォーマットビデオデータを圧縮することと
を行うように構成されたプロセッサと
を備えるデバイス。
[C28] 前記プロセッサが、
量子化されたFCCフォーマットビデオデータを取得するために、前記圧縮されたFCCフォーマットビデオデータを量子化することと、
符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたFCCフォーマットビデオデータをサブサンプリングすることと
を行うようにさらに構成された、C27に記載のデバイス。
[C29] 前記適応TFおよび前記調整のための関連するパラメータと前記圧縮されたFCCフォーマットビデオデータとを推定することと、
符号化ビットストリーム中で前記ビデオエンコーダからビデオデコーダに前記圧縮されたFCCフォーマットビデオデータおよび前記関連するパラメータをシグナリングすることと
を行うように構成されたビデオエンコーダをさらに備える、C27に記載のデバイス。
[C30] 前記プロセッサが、
第1の色表現フォーマットから第2の色表現フォーマットに前記HDRおよびWCGビデオデータの前記色度成分を変換することと、
前記第2の色表現フォーマットの前記色度成分を前記FCCフォーマットビデオデータに変換することと、
量子化されたFCCフォーマットビデオデータを生成するために、前記圧縮されたFCCフォーマットビデオデータを量子化することと、
ビデオ符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたFCCフォーマットビデオデータをダウンサンプリングすることと
を行うようにさらに構成された、C27に記載のデバイス。

Claims (15)

  1. ビデオデータを処理する方法であって、
    圧縮解除されたフラクショナル色度座標(FCC)フォーマットビデオデータを取得するために、1つまたは複数の逆適応伝達関数(TF)を使用して、圧縮されたFCCフォーマットビデオデータを逆圧縮することと、
    逆調整されたFCCフォーマットビデオデータを取得するために、前記圧縮解除されたFCCフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記圧縮解除されたFCCフォーマットビデオデータの色度成分を逆調整することと、ここにおいて、前記色度成分を逆調整することは、前記色度成分を、前記圧縮解除されたFCCフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することを備える、
    ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを取得するために、前記逆調整されたFCCフォーマットビデオデータの前記色度成分を色表現フォーマットに変換することと
    を備える方法。
  2. 前記圧縮されたFCCフォーマットビデオデータをビデオ復号することと、
    アップサンプリングされ圧縮されたFCCフォーマットビデオデータを取得するために、前記復号され圧縮されたFCCフォーマットビデオデータの色度成分をアップサンプリングすることと、
    前記圧縮されたFCCフォーマットビデオデータを取得するために、前記アップサンプリングされ圧縮されたFCCフォーマットビデオデータを逆量子化することと
    をさらに備える、請求項1に記載の方法。
  3. 前記色表現フォーマットが、RGB色空間またはXYZ色空間のうちの1つを備え、 前記圧縮されたFCCフォーマットビデオデータが、前記HDRおよびWCGビデオデータに基づいて適応されるFCC色空間またはYu’v’色空間を備える、または
    前記しきい値が、前記HDRおよびWCGビデオデータの統計値に基づいて導出されるかまたは固定される、または
    前記逆調整されたFCCフォーマットビデオデータの前記色度成分を第2の色表現フォーマットに変換することと、前記HDRおよびWCGビデオデータを取得するために、前記第2の色表現フォーマットの前記色度成分を第1の色表現フォーマットに変換することと、をさらに備える、
    請求項1に記載の方法。
  4. 前記圧縮解除されたFCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
    前記圧縮解除されたFCCフォーマットビデオデータが、第2の色度成分を備え、
    前記圧縮解除されたFCCフォーマットビデオデータの前記色度成分を逆調整することが、前記第1の色度成分と前記第2の色度成分との両方を一緒に逆調整することまたは前記第1の色度成分と前記第2の色度成分との各々を別個に調整することのうちの1つを備える、
    請求項1に記載の方法。
  5. 前記圧縮されたFCCフォーマットビデオデータの色度成分が、第1の色度成分および第2の色度成分を備え、
    1つまたは複数の逆適応TFを使用して前記圧縮されたFCCフォーマットビデオデータを逆圧縮することが、前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に同じ逆適応TFを適用すること、または前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に異なる逆適応TFを適用することのうちの1つを備える、
    請求項1に記載の方法。
  6. 前記圧縮されたFCCフォーマットビデオデータの色度成分が、第1の色度成分および第2の色度成分を備え、
    前記圧縮されたFCCフォーマットビデオデータを逆圧縮することが、1つまたは複数の逆適応TFを使用して前記圧縮されたFCCフォーマットビデオデータを逆圧縮することを備え、ここにおいて、前記1つまたは複数の逆適応TFを使用することが、
    逆対数様TFを前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に適用すること、または
    前記圧縮されたFCCフォーマットビデオデータの輝度成分だけに逆対数様TFを適用し、前記圧縮解除した輝度成分のレベルに応じて、前記圧縮されたFCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分とに逆適応線形TFを適用すること
    のうちの1つを備える、
    請求項1に記載の方法。
  7. ビデオデータを処理する方法であって、
    フラクショナル色度座標(FCC)フォーマットビデオデータを取得するために、色表現フォーマットとFCCフォーマットとの間でハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータの色度成分を変換することと、
    調整されたFCCフォーマットビデオデータを取得するために、前記FCCフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記FCCフォーマットビデオデータの色度成分を調整することと、ここにおいて、前記色度成分を調整することは、黒またはグレーに対応する値に前記色度成分を設定すること、または、前記色度成分のある範囲内の隣接サンプルの色度成分の平均に前記色度成分を設定すること、を備え、前記しきい値が、前記HDRおよびWCGビデオデータの統計値に基づいて導出されるかまたは固定される、
    圧縮されたFCCフォーマットビデオデータを取得するために、1つまたは複数の適応伝達関数(TF)を使用して、前記調整されたFCCフォーマットビデオデータを圧縮することと、
    を備える方法。
  8. 量子化されたFCCフォーマットビデオデータを取得するために、前記圧縮されたFCCフォーマットビデオデータを量子化することと、
    符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたFCCフォーマットビデオデータをサブサンプリングすることと
    をさらに備える、請求項7に記載の方法。
  9. 前記色表現フォーマットが、RGB色空間またはXYZ色空間のうちの1つを備え、前記FCCフォーマットビデオデータが、前記HDRおよびWCGビデオデータに基づいて適応されるFCC色空間またはYu’v’色空間を備える、または
    前記FCCフォーマットビデオデータが範囲を超えるのを防止するために前記FCCフォーマットビデオデータを処理することをさらに備える、また
    ビデオエンコーダにおいて推定される前記適応TFおよび前記色度成分調整のための関連するパラメータと前記FCCフォーマットビデオデータとを指定することと、符号化ビットストリーム中で前記ビデオエンコーダからビデオデコーダに前記FCCフォーマットビデオデータおよび関連するパラメータをシグナリングすることと、をさらに備える、
    請求項7に記載の方法。
  10. 前記FCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
    前記FCCフォーマットビデオデータが、第2の色度成分を備え、
    前記FCCフォーマットビデオデータの前記色度成分を調整することが、前記第1の色度成分と前記第2の色度成分との両方を一緒に調整することまたは前記第1の色度成分と前記第2の色度成分との各々を別個に調整することのうちの1つを備える、
    請求項7に記載の方法。
  11. 前記FCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
    前記FCCフォーマットビデオデータが、第2の色度成分を備え、
    1つまたは複数の適応TFを使用して、前記FCCフォーマットビデオデータの前記調整された色度成分を圧縮することが、前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に同じTFを適用すること、または前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に異なるTFを適用することのうちの1つを備える、
    請求項7に記載の方法。
  12. 前記FCCフォーマットビデオデータの前記色度成分が、第1の色度成分を備え、
    前記FCCフォーマットビデオデータが、第2の色度成分を備え、
    1つまたは複数の適応TFを使用して、前記FCCフォーマットビデオデータの前記調整された色度成分を圧縮することが、
    前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分との各々に対数様TFを適用すること、または、
    前記FCCフォーマットビデオデータの輝度成分だけに対数様TFを適用し、前記輝度成分のレベルに応じて、前記FCCフォーマットビデオデータの前記第1の色度成分と前記第2の色度成分とに適応線形TFを適用すること
    のうちの1つを備える、請求項7に記載の方法。
  13. ビデオデータを処理する前記方法が、ビデオ符号化のためにビデオデータを前処理する方法を備え、前記方法が、
    第1の色表現フォーマットから第2の色表現フォーマットに前記HDRおよびWCGビデオデータの前記色度成分を変換することと、
    前記第2の色表現フォーマットの前記色度成分を前記FCCフォーマットビデオデータに変換することと、
    量子化されたFCCフォーマットビデオデータを生成するために、前記圧縮されたFCCフォーマットビデオデータを量子化することと、
    ビデオ符号化されるべき前処理されたビデオデータを取得するために、前記量子化されたFCCフォーマットビデオデータをダウンサンプリングすることと
    を備える、請求項7に記載の方法。
  14. ビデオデータを処理するように構成されたデバイスであって、
    圧縮されたフラクショナル色度座標(FCC)フォーマットビデオデータを記憶するように構成されたメモリと、
    圧縮解除されたFCCフォーマットビデオデータを取得するために、1つまたは複数の逆適応伝達関数(TF)を使用して、前記圧縮されたFCCフォーマットビデオデータを逆圧縮することと、
    逆調整されたFCCフォーマットビデオデータを取得するために、前記圧縮解除されたFCCフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記圧縮解除されたFCCフォーマットビデオデータの色度成分を逆調整することと、ここにおいて、前記色度成分を逆調整することは、前記色度成分を、前記圧縮解除されたFCCフォーマットビデオデータに関連するビットストリーム中でシグナリングされる値に設定することを備える、
    ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを取得するために、前記逆調整されたFCCフォーマットビデオデータの前記色度成分を色表現フォーマットに変換することと
    を行うように構成されたプロセッサと
    を備えるデバイス。
  15. ビデオデータを処理するように構成されたデバイスであって、
    ハイダイナミックレンジ(HDR)および広色域(WCG)ビデオデータを記憶するように構成されたメモリと、
    フラクショナル色度座標(FCC)フォーマットビデオデータを取得するために、色表現フォーマットとFCCフォーマットとの間でHDRおよびWCGビデオデータの色度成分を変換することと、
    調整されたFCCフォーマットビデオデータを取得するために、前記FCCフォーマットビデオデータの対応する輝度成分がしきい値よりも低いとき、前記FCCフォーマットビデオデータの色度成分を調整することと、ここにおいて、前記色度成分を調整することは、黒またはグレーに対応する値に前記色度成分を設定すること、または、前記色度成分のある範囲内の隣接サンプルの色度成分の平均に前記色度成分を設定すること、を備え、前記しきい値が、前記HDRおよびWCGビデオデータの統計値に基づいて導出されるかまたは固定される、
    圧縮されたFCCフォーマットビデオデータを取得するために、1つまたは複数の適応伝達関数(TF)を使用して、前記調整されたFCCフォーマットビデオデータを圧縮することと
    を行うように構成されたプロセッサと
    を備えるデバイス。
JP2017563300A 2015-06-08 2016-06-08 ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること Active JP6800896B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562172724P 2015-06-08 2015-06-08
US62/172,724 2015-06-08
US15/176,014 2016-06-07
US15/176,014 US10397585B2 (en) 2015-06-08 2016-06-07 Processing high dynamic range and wide color gamut video data for video coding
PCT/US2016/036488 WO2016200977A1 (en) 2015-06-08 2016-06-08 Processing high dynamic range and wide color gamut video data for video coding

Publications (3)

Publication Number Publication Date
JP2018524871A JP2018524871A (ja) 2018-08-30
JP2018524871A5 JP2018524871A5 (ja) 2019-06-27
JP6800896B2 true JP6800896B2 (ja) 2020-12-16

Family

ID=57452647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563300A Active JP6800896B2 (ja) 2015-06-08 2016-06-08 ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること

Country Status (7)

Country Link
US (2) US10397585B2 (ja)
EP (1) EP3304911A1 (ja)
JP (1) JP6800896B2 (ja)
KR (1) KR102670598B1 (ja)
CN (2) CN107710758B (ja)
TW (1) TW201711473A (ja)
WO (1) WO2016200977A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
US10284863B2 (en) 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
JP6532962B2 (ja) * 2015-06-09 2019-06-19 華為技術有限公司Huawei Technologies Co.,Ltd. 画像符号化方法、画像復号方法、符号化デバイス、および復号デバイス
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
JP6416060B2 (ja) * 2015-09-02 2018-10-31 株式会社東芝 画像圧縮装置、画像伸張装置および画像伝送システム
AU2015261734A1 (en) * 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
CN105472366B (zh) * 2015-12-07 2016-11-02 京东方科技集团股份有限公司 基于心理视觉调制的图像处理方法、装置及显示设备
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP7081835B2 (ja) 2016-08-09 2022-06-07 コントラスト, インコーポレイテッド 車両制御のためのリアルタイムhdrビデオ
JP6822121B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2018190446A1 (ko) * 2017-04-13 2018-10-18 삼성전자 주식회사 영상 처리 방법 및 장치
US9986200B1 (en) * 2017-05-11 2018-05-29 Novatek Microelectronics Corp. Method and video conversion system of updating video setting
US10873763B2 (en) * 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
TWI650998B (zh) * 2017-12-15 2019-02-11 晨星半導體股份有限公司 應用在機上盒的格式轉換電路及相關的方法
TWI633537B (zh) * 2018-02-12 2018-08-21 友達光電股份有限公司 影像優化方法
US11153579B2 (en) * 2018-03-23 2021-10-19 Qualcomm Incorporated Deriving dynamic range adjustment (DRA) parameters for video coding
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
US11423514B2 (en) * 2018-08-14 2022-08-23 Contrast, Inc. Image processing noise reduction
CN113994689A (zh) * 2019-03-20 2022-01-28 威诺瓦国际有限公司 信号增强编码中的残差滤波
CN112434781A (zh) * 2019-08-26 2021-03-02 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
WO2023144091A1 (en) * 2022-01-31 2023-08-03 Interdigital Vc Holdings France, Sas Method for limiting effects of quantization in a color gamut modification process applied to a video content

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62220087A (ja) 1986-03-20 1987-09-28 Minolta Camera Co Ltd 色ノイズ抑制装置
DE3629396C2 (de) * 1986-08-29 1993-12-23 Agfa Gevaert Ag Verfahren zur elektronischen Bildverarbeitung
GB9024978D0 (en) * 1990-11-16 1991-01-02 Rank Cintel Ltd Digital mirror spatial light modulator
US7567722B2 (en) 2005-03-22 2009-07-28 Qualcomm Incorporated Dynamically scaled file encoding
US9179046B1 (en) * 2006-04-28 2015-11-03 Ambarella, Inc. Camera with high-quality still capture during continuous video capture
US8498332B2 (en) * 2006-09-21 2013-07-30 Qualcomm Incorporated Chroma supression features
US7692562B1 (en) 2006-10-18 2010-04-06 Hewlett-Packard Development Company, L.P. System and method for representing digital media
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
CN101778246B (zh) * 2010-01-29 2014-04-02 华为终端有限公司 多画面视频图像处理方法和装置
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
JP5977565B2 (ja) * 2012-04-16 2016-08-24 オリンパス株式会社 画像処理装置
CN102761745B (zh) 2012-07-12 2015-07-22 国家计算机网络与信息安全管理中心 解码方法和解码设备
CN104583876A (zh) 2012-08-24 2015-04-29 佳能株式会社 黄色调色剂和黄色调色剂的制造方法
KR102157032B1 (ko) 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
JP6038360B2 (ja) * 2013-06-17 2016-12-07 ドルビー ラボラトリーズ ライセンシング コーポレイション エンハンストダイナミックレンジ信号の階層符号化のための適応的再構成
CN104519370B (zh) 2013-09-29 2018-06-08 中国电信股份有限公司 一种视频流的拼接方法和系统
WO2015052935A1 (en) 2013-10-11 2015-04-16 Sharp Kabushiki Kaisha Color information and chromaticity signaling
US9544560B2 (en) 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10284863B2 (en) 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
US10397585B2 (en) 2015-06-08 2019-08-27 Qualcomm Incorporated Processing high dynamic range and wide color gamut video data for video coding
US10116938B2 (en) 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences

Also Published As

Publication number Publication date
US20190335184A1 (en) 2019-10-31
US20160360213A1 (en) 2016-12-08
KR102670598B1 (ko) 2024-05-29
US10666957B2 (en) 2020-05-26
CN110933431A (zh) 2020-03-27
CN107710758B (zh) 2020-01-10
WO2016200977A1 (en) 2016-12-15
JP2018524871A (ja) 2018-08-30
CN110933431B (zh) 2023-09-15
EP3304911A1 (en) 2018-04-11
US10397585B2 (en) 2019-08-27
KR20180017009A (ko) 2018-02-20
CN107710758A (zh) 2018-02-16
TW201711473A (zh) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6800896B2 (ja) ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること
JP6780054B2 (ja) マルチレイヤビデオコーディングにおける3次元ルックアップテーブルベースの色域スケーラビリティ
CN111194551B (zh) 利用内容自适应空间变化量化的视频译码
TWI755363B (zh) 用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息
JP7369124B2 (ja) 結合されたピクセル/変換ベースの量子化を用いたビデオコーディングのための量子化パラメータ制御
TWI654875B (zh) 於多層視訊寫碼中用於色彩色域可擴展性之3d查找表之發信色彩值
CN107690808B (zh) 可缩放视频译码中色域缩放性参数及表的推导
US20160309154A1 (en) Dynamic range adjustment for high dynamic range and wide color gamut video coding
JP2018525862A (ja) 高ダイナミックレンジ及び広色域のビデオコード化のための適応一定輝度アプローチ
JP2021510964A (ja) ビデオコーディングのための等しいレンジおよび他のdraパラメータのためのシグナリング機構
JP6768516B2 (ja) 色域スケーラビリティのための3d色予測のために参照レイヤを信号伝達すること
TWI765903B (zh) 用於循環樣本處理之視訊寫碼工具

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201125

R150 Certificate of patent or registration of utility model

Ref document number: 6800896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250