JP7150127B2 - ビデオ信号処理方法及び装置 - Google Patents

ビデオ信号処理方法及び装置 Download PDF

Info

Publication number
JP7150127B2
JP7150127B2 JP2021500066A JP2021500066A JP7150127B2 JP 7150127 B2 JP7150127 B2 JP 7150127B2 JP 2021500066 A JP2021500066 A JP 2021500066A JP 2021500066 A JP2021500066 A JP 2021500066A JP 7150127 B2 JP7150127 B2 JP 7150127B2
Authority
JP
Japan
Prior art keywords
signal
luminance
mapping
chrominance
linear rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021500066A
Other languages
English (en)
Other versions
JP2021529405A (ja
Inventor
ユエン,ローァ
ワーン,ジュヨン
ウー,ゥレンジエン
ホワーン,ファーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021529405A publication Critical patent/JP2021529405A/ja
Application granted granted Critical
Publication of JP7150127B2 publication Critical patent/JP7150127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/873Regeneration of colour television signals for restoring the colour component sequence of the reproduced chrominance signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85Camera processing pipelines; Components thereof for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

技術分野
本願はマルチメディア技術の分野、特にビデオ信号処理方法及び装置に関連する。
背景
ビデオを再生する場合、ビデオ・ソース・デバイスは、再生されるべきビデオを、セット・トップ・ボックスなどの再生装置へ送信し、次いで再生装置は、受信したビデオをテレビ・セットやプロジェクタなどのディスプレイへ、高解像度マルチメディア・インターフェース(high definition multimedia interface,HDMI)インターフェースを使用することにより送信し、次いでディスプレイは受信したビデオを再生する。
現在、HDMIインターフェースを有するディスプレイは、主に2つのタイプのビデオ・フォーマットをサポートしている。一方のタイプは、標準ダイナミック・レンジ(standard dynamic range,SDR)タイプのビデオ・フォーマットであり、SDRタイプのビデオ・フォーマットは複数のSDRビデオ・フォーマットを含む。例えば、色域差に基づいて、SDRタイプのビデオ・フォーマットは、BT709ビデオ・フォーマット、BT2020ビデオ・フォーマットなどを含む。他方のタイプは、高ダイナミック・レンジ(high dynamic range,HDR)タイプのビデオ・フォーマットである。同様に、HDRタイプのビデオ・フォーマットはまた、複数のHDRビデオ・フォーマット、例えばハイブリッド対数ガンマ(hybrid log-gamma,HLG)曲線(HDR HLG)のHDRビデオ・フォーマット、又は知覚量子化(perceptual quantize,PQ)曲線(HDR PQ)のHDRビデオ・フォーマットを含む。
一般に、ディスプレイは限られたビデオ・フォーマットしかサポートできない。例えば、SDRテレビ・セットは、SDRタイプのビデオ・フォーマットの再生のみをサポートすることが可能であり、HDRタイプのビデオ・フォーマットの再生をサポートしていない。別の例として、PQ曲線のHDRビデオ・フォーマットの再生をサポートするテレビ・セットは、HLG曲線のHDRビデオ・フォーマットをサポートすることができない。ディスプレイが受信したビデオのフォーマットが、ディスプレイによりサポートできるビデオ・フォーマットと一致しない場合、著しいピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題が、ディスプレイがビデオを再生する際に引き起こされる可能性がある。
本願の実施形態はビデオ信号処理方法及び装置を提供する。プレイヤにより受信されたビデオのフォーマットが、ディスプレイによりサポートされるビデオ・フォーマットと矛盾する場合に、ディスプレイがビデオを正しく再生するように、受信されたビデオのフォーマットは、フォーマットを、ディスプレイによりサポートされるビデオ・フォーマットに整合させるように変換されることが可能である。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。
第1態様によれば、本願の実施形態はビデオ信号処理方法を提供し、方法は、
処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得するステップと、
電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得するステップと、
第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するステップであって、第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである、ステップと、
第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得するステップであって、第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである、ステップと、
光-電伝達関数に基づいて第3線形RGBを変換して第2非線形RGB信号を取得するステップと、
第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得するステップと、
第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得するステップとを含む。
本願のこの実施形態では、先ず線形空間において処理対象のビデオ信号に対して輝度処理が実行され、次いで輝度処理された信号に対して色域変換が実行され、色域変換された信号は非線形空間に変換され、ディスプレイがビデオを正しく再生するように、彩度処理が、ディスプレイによりサポートされるフォーマットに合致する信号を出力するために実行される。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。また、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、ビデオ信号の輝度が処理された後に、クロミナンス成分は、輝度マッピング曲線と輝度処理入力信号の輝度値とに基づいて対応に調整され、その結果、ビデオ信号の輝度及び彩度の両方を効果的に調整することができる。前述の方法では、処理の観点から、輝度、色域、及び彩度に対する関係が形成され、その結果、信号変換の複雑さが低減され、信号変換効率が改善される。
可能な実装において、処理対象のビデオ信号はHDR信号であり、第2ルミナンス・クロミナンス信号はSDR信号である。
本願のこの実施形態で提供されるビデオ信号処理方法によれば、HDR信号はSDR信号に変換されることが可能であり、その結果、SDR信号フォーマットのみをサポートする表示スクリーンにおいて、HDR信号を表示することができる。
可能な実装において、第1線形RGB信号に輝度マッピングを実行するステップは、
第1線形RGB信号の各原色値に基づいて一時輝度値を計算するステップと、
予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得するステップと、
各原色値に調整係数を乗算して第2線形RGB信号を取得するステップとを含む。
本願のこの実施形態では、調整係数を取得するために輝度処理入力信号の輝度値が輝度マッピング曲線に基づいてマッピングされ、調整係数と入力信号の各原色値とに基づいて輝度処理出力信号が更に取得される。
可能な実装において、一時輝度値は以下の式:
Y=C×R+C×G+C×B
に従って計算され、Yは一時輝度値であり、R、G、及びBはそれぞれ第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である。
一時輝度値を計算する具体的な方法が、本願のこの実施形態において提供される。入力信号の各原色値は対応する係数と乗算され、一時輝度値を取得するために合計が取得される。
可能な実装において、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換するステップは、
第1マッピング関係テーブルを使用することにより、一時輝度値に対応する調整係数を決定するステップを含み、第1マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
本願のこの実施形態では、第1マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納し、一時輝度値に対応する調整係数が、第1マッピング関係テーブルをサーチすることにより決定され、入力信号の調整係数及び各原色値に基づく輝度処理出力信号を取得することができる。
可能な実装において、第1ルミナンス・クロミナンス信号のクロミナンス成分に彩度マッピングを実行するステップは、予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換して彩度因子を取得するステップと、彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するステップとを含む。
クロミナンス成分を調整する具体的な方法が、本願のこの実施態様において提供される。彩度係数は、彩度マッピング曲線を使用することにより取得され、次いで、第1ルミナンス・クロミナンス信号のクロミナンス成分は、調整されたクロミナンス値を取得するために、彩度因子に基づいて調整される。
可能な実装において、予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換するステップは、
第2マッピング関係テーブルを使用することにより、一時輝度値に対応する彩度因子を決定するステップを含み、第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
本願のこの実施形態では、第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納し、一時輝度値に対応する彩度因子は、第2マッピング関係テーブルをサーチすることにより決定され、彩度因子に基づいて第1ルミナンス・クロミナンス信号のクロミナンス成分を調整することにより、調整されたクロミナンス値を取得することができる。
可能な実装において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマット、及び別のルミナンス・クロミナンス(YCC)色空間フォーマットを含む。
第2態様によれば、本願の実施形態はビデオ信号処理方法を提供し、方法は、
処理対象のビデオ信号のクロミナンス成分に対して彩度マッピングを実行して第1ルミナンス・クロミナンス信号を取得するステップと、
第1ルミナンス・クロミナンス信号に対して色空間変換を実行して第1非線形RGB信号を取得するステップと、
電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得するステップと、
第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するステップであって、第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである、ステップと、
第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得するステップであって、第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである、ステップと、
光-電伝達関数に基づいて第3線形RGBを変換して第2非線形RGB信号を取得するステップと、
第2非線形RGB信号に対して色空間変換を実行して第2ルミナンス・クロミナンス信号を取得するステップとを含む。
本願のこの実施形態では、先ず、処理対象のビデオ信号に対して彩度処理が実行され、次いで、線形空間において彩度処理された信号に対して輝度処理及び色域変換が実行され、ディスプレイがビデオを正しく再生するように、色域変換された信号は非線形空間に変換され、ディスプレイによりサポートされるフォーマットに合致する信号を出力する。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。更に、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、ビデオ信号の輝度が処理される前に、クロミナンス成分が輝度マッピング曲線に基づいて相応に調整され、その結果、ビデオ信号の輝度と彩度の両方を効果的に調整することができる。上述の方法では、輝度、色域、及び彩度処理プロセスにおいて対応する彩マッピングが実行され、その結果、上述の方法の関係が処理の観点から形成される。これは、信号変換の複雑さを低減し、信号変換の効率を改善する。
可能な実装において、処理対象のビデオ信号はHDR信号であり、第2ルミナンス・クロミナンス信号はSDR信号である。
本願のこの実施形態で提供されるビデオ信号処理方法によれば、HDR信号はSDR信号に変換されることが可能であり、その結果、SDR信号フォーマットのみをサポートする表示スクリーンにおいて、HDR信号を表示することができる。
可能な実装において、処理対象のビデオ信号のクロミナンス成分に彩度マッピングを実行するステップは、
予め設定済みの彩度マッピング曲線に基づいて処理対象のビデオ信号のルミナンス成分を変換して彩度因子を取得するステップと、
彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するステップとを含む。
クロミナンス成分を調整する特定の方法が、本願のこの実施形態において提供される。彩度因子は、彩度マッピング曲線を使用することにより取得され、次いで、調整されたクロミナンス値を取得するために、第1ルミナンス・クロミナンス信号のクロミナンス成分は彩度因子に基づいて調整される。
可能な実装において、予め設定済みの彩度マッピング曲線に基づいて処理対象のビデオ信号のルミナンス成分を変換するステップは、
第1マッピング関係テーブルを使用することにより、処理対象のビデオ信号のルミナンス成分に対応する彩度因子を決定するステップを含み、第1マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
本願のこの実施形態では、第1マッピング関係テーブルが、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納し、処理対象のビデオ信号のルミナンス成分に対応する彩度因子は、第1マッピング関係テーブルをサーチすることにより決定され、彩度因子に基づいて第1ルミナンス・クロミナンス信号のクロミナンス成分を調整することにより、調整されたクロミナンス値を取得することができる。
可能な実装において、第1線形RGB信号に輝度マッピングを実行するステップは、
第1線形RGB信号の各原色値に基づいて一時輝度値を計算するステップと、
予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得するステップと、
各原色値に調整係数を乗算して第2線形RGB信号を取得するステップとを含む。
本願のこの実施形態では、輝度処理入力信号の輝度値は、調整係数を取得するために輝度マッピング曲線に基づいてマッピングされ、更に、輝度処理出力信号が、調整係数と入力信号の各原色値とに基づいて取得される。
可能な実装において、一時輝度値は以下の式:
Y=C×R+C×G+C×B
に従って計算され、Yは一時輝度値であり、R、G、及びBはそれぞれ第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である。
一時輝度値を計算する具体的な方法が本願のこの実施形態において提供される。入力信号の各原色値は、対応する係数と乗算され、一時輝度値を取得するために合計が取得される。
可能な実装において、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換するステップは、
第2マッピング関係テーブルを使用することにより、一時輝度値に対応する調整因子を決定するステップを含み、第2マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
本願のこの実施形態では、第2マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納し、一時輝度値に対応する調整因子が、第2マッピング関係テーブルをサーチすることにより決定され、調整因子と入力信号の各原色値に基づく輝度処理出力信号を取得することができる。
可能な実装において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマット、及び別のルミナンス・クロミナンス(YCC)色空間フォーマットを含む。
第3態様によれば、本願の実施形態はビデオ信号処理方法を提供し、方法は、
処理対象のビデオ信号に対して色空間変換及び非線形空間-線形空間変換を実行して第1線形RGB信号を取得するステップと、
輝度マッピングにより第1線形RGB信号を第2線形RGB信号に変換するステップと、
光-電伝達関数に基づいて、第2線形RGB信号を非線形RGB信号に変換するステップと、
処理対象のビデオ信号を取得するために、非線形RGB信号に対して色空間変換を実行するステップであって、処理対象のビデオ信号の信号フォーマットはディスプレイ・デバイスに適合している、ステップとを含む。
本願のこの実施形態では、処理対象のビデオ信号が第1線形RGB信号に変換された後に、輝度マッピングが第1線形RGB信号に対して実行され、ディスプレイ・デバイスがビデオを正しく再生するように、線形空間-非線形空間変換及び色空間変換が、輝度マッピングされた信号に対して実行され、ディスプレイ・デバイスに合致するビデオ信号を取得する。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する
可能な実装において、処理対象のビデオ信号はハイブリッド対数ガンマHLG信号であり、処理対象のビデオ信号は知覚量子化PQ信号である。
本願のこの実施形態で提供されるビデオ信号処理方法によれば、HDR HLG信号はHDR PQ信号に変換され、その結果、HDR PQ信号フォーマットをサポートする表示スクリーンにおいて、HDR HLG信号を表示することができる。
可能な実装において、非線形空間-線形空間変換はHLG光-電変換の逆過程である。
可能な実装において、輝度マッピングにより第1線形RGB信号を第2線形RGB信号に変換するステップは、
第1線形RGB信号の各原色値に基づいてシーン輝度値を計算するステップと、
表示輝度値を取得するために、ディスプレイ・デバイスの定格ディスプレイ輝度ピーク値及びシステム・ガンマ値に基づいてシーン輝度値を調整するステップと、
第2線形RGB信号を取得するために、各原色値に、表示輝度値のシーン輝度値に対する比率を乗算するステップを含む。
可能な実装において、表示輝度値は以下の式:
=Y γ*L
に従って取得され、Yは表示輝度値であり、Yはシーン輝度値であり、Lは定格表示輝度ピーク値であり、γはシステム・ガンマ値であり、γ=1.2+0.42*log10(L/1000)である。
本願のこの実施形態では、HDR HLG信号はHDR PQ信号に変換されことが可能である。輝度処理は、HDR HLG信号をHDR PQ信号に変換するために、HDR HLG信号に対して実行され、そのため、HDR HLG信号は、HDR PQ信号をサポートするディスプレイ・デバイスにおいて、正しく表示される。
第4態様によれば、本願の実施形態はビデオ信号処理方法を提供し、方法は、
第1非線形RGB信号を取得するために、処理対象のビデオ信号に対して色空間変換を実行するステップと、
第1非線形RGB信号を電-光伝達関数に基づいて変換して第1線形RGB信号を取得するステップと、
第1線形RGB信号に対して色域変換を実行して第2線形RGB信号を取得するステップであって、第2線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである、ステップと、
第2線形RGB信号に対して輝度マッピングを実行して第3線形RGB信号を取得するステップであって、第3線形RGB信号に対応する輝度値範囲は、ディスプレイ・デバイスに対応する輝度値範囲と同じである、ステップと、
光-電伝達関数に基づいて第3線形RGB信号を変換して第2非線形RGB信号を取得するステップと、
第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得するステップと、
第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得するステップとを含む。
本願のこの実施形態では、先ず処理対象のビデオ信号に対して色空間変換が実行され、次いで、線形空間において、変換されたビデオ信号に対して色域変換が先ず実行され、次いで、色域変換された信号に対して輝度処理が実行され、ディスプレイがビデオを正しく再生するように、輝度処理された信号は、ディスプレイによってサポートされるフォーマットに合致する信号を出力ために、非線形空間に変換される。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。また、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、対応する彩マッピングが輝度処理プロセスで実行され、その結果、上述の方法の関係が処理の観点から形成される。これは、信号変換の複雑さを低減し、信号変換効率を改善する。
可能な実装において、処理対象のビデオ信号はSDR信号であり、第2ルミナンス・クロミナンス信号はHDR信号である。
本願のこの実施形態は、SDR信号がHDR信号に変換されるシナリオに適用可能である可能性があり、その結果、HDR信号フォーマットをサポートする表示スクリーンにおいて、SDR信号を正しく表示することができる。
可能な実装において、第2線形RGB信号に輝度マッピングを実行するステップは、
第2線形RGB信号の各原色値に基づいて一時輝度値を計算するステップと、
予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得するステップと、
各原色値に調整係数を乗算して第3線形RGB信号を取得するステップとを含む。
本願のこの実施形態では、輝度処理入力信号の輝度値が、調整係数を取得するために輝度マッピング曲線に基づいてマッピングされ、更に輝度処理出力信号が調整係数と入力信号の各原色値とに基づいて取得される。
可能な実装において、一時輝度値は以下の式:
Y=C×R+C×G+C×B
に従って計算され、Yは一時輝度値であり、R、G、及びBはそれぞれ第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である。
一時輝度値を計算する具体的な方法が、本願のこの実施形態において提供される。入力信号の各原色値は対応する係数と乗算され、一時輝度値を取得するために合計が取得される。
可能な実装において、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換するステップは、
第1マッピング関係テーブルを使用することにより、一時輝度値に対応する調整係数を決定するステップを含み、第1マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
本願のこの実施形態では、第1マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納し、一時輝度値に対応する調整係数が、第1マッピング関係テーブルをサーチすることにより決定され、入力信号の調整係数及び各原色値に基づく輝度処理出力信号を取得することができる。
可能な実装において、第1ルミナンス・クロミナンス信号のクロミナンス成分に彩度マッピングを実行するステップは、予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換して彩度因子を取得するステップと、彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するステップとを含む。
クロミナンス成分を調整する具体的な方法が、本願のこの実施態様において提供される。彩度因子は、彩度マッピング曲線を使用することにより取得され、次いで、第1ルミナンス・クロミナンス信号のクロミナンス成分は、調整されたクロミナンス値を取得するために、彩度因子に基づいて調整される。
可能な実装において、予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換するステップは、
第2マッピング関係テーブルを使用することにより、一時輝度値に対応する彩度因子を決定するステップを含み、第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
本願のこの実施形態では、第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納し、一時輝度値に対応する彩度因子は、第2マッピング関係テーブルをサーチすることにより決定され、彩度因子に基づいて第1ルミナンス・クロミナンス信号のクロミナンス成分を調整することにより、調整されたクロミナンス値を取得することができる。
可能な実装において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマットを含む。
第5態様によれば、本願の実施形態はビデオ処理方法を提供し、方法は、
第1空間におけるオリジナル入力信号に対して輝度処理及び色域処理を実行して第1出力信号を取得するステップであって、輝度処理は輝度マッピング関係に基づいており、輝度マッピング関係は、輝度マッピング前の初期輝度値と輝度マッピング後の輝度値との間の対応関係を表現している、ステップと、
第1出力信号を第2空間に変換して彩度処理入力信号を取得するステップと、
彩度マッピング関係に基づいて第2空間における彩度処理入力信号に対して彩度処理を実行し、ターゲット出力信号を取得するステップであって、彩度マッピング関係は輝度マッピング関係に基づいて決定され、彩度マッピング関係は、輝度マッピング前の初期輝度値と再度マッピング係数との間の対応関係を表現しており、彩度マッピング係数は彩度処理入力信号のクロミナンス成分を調整するために使用される、ステップとを含む。
本願のこの実施形態では、輝度変換及び色域変換は、先ず、オリジナル入力信号に対して実行されてもよい。輝度の変化は、色の彩度に対する人間の目の知覚に影響を及ぼすので、処理された色が、オリジナル入力信号の色に、よりいっそう近づくように、色の彩度は、輝度処理中に調整され補償されることを要する。彩度処理と輝度処理とが組み合わせられ、その結果、ターゲット出力信号の色精度は改善され、出力ビデオ・ピクチャの歪みが削減され、ユーザーの体感は向上する。
可能な実装において、輝度マッピング関係は線形空間における輝度マッピング関係である。彩度マッピング関係が、輝度マッピング関係に基づいて決定されることは:線形空間における輝度マッピング関係を、彩度処理入力信号が位置する非線形空間に変換して彩度マッピング関係を得ること、を含む。
輝度マッピング関係に基づいて彩度マッピング関係を決定する具体的な方法が本願のこの実施形態で提供される。輝度マッピング関係が線形空間における輝度マッピング関係である場合、彩度マッピング関係を取得するために、線形空間における輝度マッピング関係は、彩度処理入力信号が位置する非線形空間に変換される。
可能な実装において、輝度マッピング関係は非線形空間における輝度マッピング関係である。彩度マッピング関係が、輝度マッピング関係に基づいて決定されることは:
輝度マッピング関係が位置する非線形空間が、彩度処理入力信号が位置する非線形空間と一致しない場合、非線形空間における輝度マッピング関係を線形空間における輝度マッピング関係に変換することと、
彩度マッピング関係を取得するために、線形空間における輝度マッピング関係を、彩度処理入力信号が位置する非線形空間に変換することとを含む。
輝度マッピング関係に基づいて彩度マッピング関係を決定する別の具体的な方法が本願のこの実施形態で提供される。輝度マッピング関係が非線形空間における輝度マッピング関係である場合に、非線形空間における輝度マッピング関係は、線形空間における輝度マッピング関係に変換され、次いで、彩度マッピング関係を取得するために、線形空間における輝度マッピング関係は、彩度処理入力信号が位置する非線形空間に変換される。
可能な実装において、第1空間内のオリジナル入力信号に対して輝度処理及び色域処理を実行し、第1出力信号を取得するステップは、
第1非線形RGB信号を取得するために、オリジナル入力信号を第1空間に変換するステップと、
第1非線形RGB信号に対して電-光変換を実行し、輝度処理入力信号を取得するステップと、
輝度マッピング関係に基づいて、輝度マッピング後に取得される輝度値であって、輝度処理入力信号の輝度値に対応する輝度値を決定するステップと、
輝度値ゲイン及び輝度処理入力信号に基づいて、輝度マッピングされた信号を取得するステップであって、輝度値ゲインは、輝度処理入力信号の輝度値に対する、輝度マッピング後に取得される輝度値の比率である、ステップと、
輝度マッピングされた信号を、ターゲット出力信号が位置する色域に変換して第1出力信号を取得するステップとを含む。
本願のこの実施形態では、先ず輝度処理が第1空間においてオリジナル入力信号に対して実行されることが可能であり、次いで、第1出力信号を取得するために、色域処理が、輝度処理された信号に対して実行される。
可能な実装において、第1空間においてオリジナル入力信号に対して輝度処理及び色域処理を実行して第1出力信号を取得するステップは、
第1非線形RGB信号を得るために、オリジナル入力信号を第1空間に変換するステップと、
第1非線形RGB信号に対して電-光変換を実行し、第1線形RGB信号を取得するステップと、
第1線形RGB信号を、ターゲット出力信号が位置する色域に変換して輝度処理入力信号を取得するステップと、
輝度マッピング関係に基づいて、輝度マッピング後に取得される輝度値であって、輝度処理入力信号の輝度値に対応する輝度値を決定するステップと、
輝度値ゲイン及び輝度処理入力信号に基づいて、第1出力信号を取得するステップであって、輝度値ゲインは、輝度処理入力信号の輝度値に対する、第1出力信号の輝度値の比率である、ステップとを含む。
本願のこの実施形態では、先ず色域処理が第1空間におけるオリジナル入力信号に対して実行されることが可能であり、次いで第1出力信号を取得するために輝度処理が色域処理された信号に対し実行される。
可能な実装において、彩度マッピング関係に基づいて第2空間において彩度処理入力信号に対して彩度処理を実行し、ターゲット出力信号を取得するステップは、
輝度処理入力信号の輝度値及び彩度マッピング関係に基づいて彩度マッピング係数を取得するステップと、
彩度マッピング係数に基づいて彩度処理入力信号のクロミナンス成分を調整し、調整されたクロミナンス成分を取得するステップと、
彩度処理入力信号の輝度値及び調整されたクロミナンス成分に基づいてターゲット出力信号を取得するステップとを含む。
特定の彩度処理方法が本願のこの実施形態で提供される。彩度マッピング係数は、輝度処理入力信号の輝度値と彩度マッピング関係とに基づいて取得され、次いで、輝度処理入力信号のクロミナンス成分は、彩度マッピング係数に基づいて調整され、調整されたクロミナンス成分を取得し、ターゲット出力信号は、彩度処理入力信号の輝度値を参照して取得される。彩度処理と輝度処理とが組み合わせられ、その結果、ターゲット出力信号の色精度は改善され、出力ビデオ・ピクチャの歪みは削減され、ユーザーの体感は改善される。
可能な実装において、クロミナンス成分は第1クロミナンス成分と第2クロミナンス成分とを含む。彩度マッピング係数に基づいて彩度処理入力信号のクロミナンス成分を調整するステップは、
第1ゲイン係数及び彩度マッピング係数に基づいて第1彩度調整因子を決定するステップと、
第2ゲイン係数及び彩度マッピング係数に基づいて第2彩度調整因子を決定するステップと、
第1彩度調整因子に基づいて第1クロミナンス成分を調整するステップと、
第2彩度調整因子に基づいて第2クロミナンス成分を調整するステップとを含む。
本願のこの実施形態では、彩度処理入力信号及び彩度処理出力信号はそれぞれ2つのクロミナンス成分を含み、2つのクロミナンス成分は、彩度処理を実行するために彩度マッピング係数に基づいて別々に調整され、その結果、ターゲット出力信号の色精度は改善され、出力ビデオ・ピクチャの歪みは削減され、ユーザーの体感は改善される。
可能な実装において、オリジナル入力信号はHDR信号であり、ターゲット出力信号はSDR信号である。
本願のこの実施形態では、HDR信号はSDR信号に変換されることが可能であり、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、HDR信号を正しく再生することができる。
可能な実装において、オリジナル入力信号はハイブリッド対数ガンマ曲線のHDR HLG信号であり、又はオリジナル入力信号は知覚量子化曲線のHDR PQ信号である。
本願のこの実施形態では、HDR HLG信号はHDR PQ信号に変換されることが可能であり、その結果、HDR HDR PQ信号をサポートするディスプレイ・デバイスにおいて、HLG信号を正しく再生することができる。
可能な実装において、オリジナル入力信号はSDR信号であり、ターゲット出力信号はHDR信号である。
本願のこの実施形態では、SDR信号はHDR信号に変換されることが可能であり、その結果、HDR信号をサポートするディスプレイ・デバイスにおいて、SDR信号を正しく再生することができる。
第6態様によれば、本願の実施形態はビデオ処理方法を提供し、方法は、
彩度マッピング関係に基づいて第1空間においてオリジナル入力信号に対して再度処理を実行し、彩度処理出力信号を取得するステップであって、彩度マッピング関係は、輝度マッピング関係に基づいて決定され、彩度マッピング関係は、オリジナル入力信号の輝度値と彩度マッピング係数との間の対応関係を表現し、彩度マッピング係数は、オリジナル入力信号のクロミナンス成分を調整するために使用され、輝度マッピング関係は、輝度マッピング前の初期輝度値と輝度マッピング後の輝度値との間の対応関係を表現する、ステップと、
彩度処理出力信号を第2空間に変換して第1入力信号を取得するステップと、
第2空間において第1入力信号に対する輝度処理と色域処理とを実行し、ターゲット出力信号を取得するステップとを含む。
本願のこの実施形態では、先ず彩度処理がオリジナル入力信号に対して実行されてもよく、次いで輝度変換及び色域変換が彩度処理出力信号に対して実行される。輝度の変化は、色の彩度に対する人間の目の知覚に影響を及ぼすので、処理された色が、オリジナル入力信号の色に、よりいっそう近づくように、色の彩度は、輝度処理中に調整され補償されることを要する。彩度処理と輝度処理とが組み合わせられ、その結果、ターゲット出力信号の色精度は改善され、出力ビデオ・ピクチャの歪みが削減され、ユーザーの体感は向上する。
可能な実装において、輝度マッピング関係は線形空間における輝度マッピング関係である。彩度マッピング関係が、輝度マッピング関係に基づいて決定されることは:線形空間における輝度マッピング関係を、オリジナル入力信号が位置する非線形空間に変換して彩度マッピング関係を得ること、を含む。
輝度マッピング関係に基づいて彩度マッピング関係を決定する具体的な方法が本願のこの実施形態で提供される。輝度マッピング関係が線形空間における輝度マッピング関係である場合、彩度マッピング関係を取得するために、線形空間における輝度マッピング関係は、彩度処理入力信号が位置する非線形空間に変換される。
可能な実装において、輝度マッピング関係は非線形空間における輝度マッピング関係である。彩度マッピング関係が、輝度マッピング関係に基づいて決定されることは:
輝度マッピング関係が位置する非線形空間が、オリジナル入力信号が位置する非線形空間と一致しない場合、非線形空間における輝度マッピング関係を線形空間における輝度マッピング関係に変換することと、
彩度マッピング関係を取得するために、線形空間における輝度マッピング関係を、オリジナル入力信号が位置する非線形空間に変換することとを含む。
輝度マッピング関係に基づいて彩度マッピング関係を決定する別の具体的な方法が本願のこの実施形態で提供される。輝度マッピング関係が非線形空間における輝度マッピング関係である場合に、非線形空間における輝度マッピング関係は、線形空間における輝度マッピング関係に変換され、次いで、彩度マッピング関係を取得するために、線形空間における輝度マッピング関係は、彩度処理入力信号が位置する非線形空間に変換される。
可能な実装において、彩度マッピング関係に基づいて第1空間においてオリジナル入力信号に対して彩度処理を実行し、彩度処理出力信号を取得するステップは、
オリジナル入力信号の輝度値及び彩度マッピング関係に基づいて彩度マッピング係数を取得するステップと、
彩度マッピング係数に基づいてオリジナル入力信号のクロミナンス成分を調整し、調整されたクロミナンス成分を取得するステップと、
オリジナル入力信号の輝度値及び調整されたクロミナンス成分に基づいて彩度処理出力信号を取得するステップとを含む。
特定の彩度処理方法が本願のこの実施形態で提供される。彩度マッピング係数は、オリジナル入力信号の輝度値と彩度マッピング関係とに基づいて取得され、次いで、オリジナル入力信号のクロミナンス成分は、彩度マッピング係数に基づいて調整され、調整されたクロミナンス成分を取得し、彩度処理出力信号は、オリジナル入力信号の輝度値を参照して取得される。彩度処理と輝度処理とが組み合わせられ、その結果、ターゲット出力信号の色精度は改善され、出力ビデオ・ピクチャの歪みは削減され、ユーザーの体感は改善される。
可能な実装において、クロミナンス成分は第1クロミナンス成分と第2クロミナンス成分とを含む。彩度マッピング係数に基づいてオリジナル入力信号のクロミナンス成分を調整するステップは、
第1ゲイン係数及び彩度マッピング係数に基づいて第1彩度調整因子を決定するステップと、
第2ゲイン係数及び彩度マッピング係数に基づいて第2彩度調整因子を決定するステップと、
第1彩度調整因子に基づいて第1クロミナンス成分を調整するステップと、
第2彩度調整因子に基づいて第2クロミナンス成分を調整するステップとを含む。
本願のこの実施形態では、オリジナル入力信号及び彩度処理出力信号はそれぞれ2つのクロミナンス成分を含み、2つのクロミナンス成分は、彩度処理を実行するために彩度マッピング係数に基づいて別々に調整され、その結果、ターゲット出力信号の色精度は改善され、出力ビデオ・ピクチャの歪みは削減され、ユーザーの体感は改善される。
可能な実装において、第2空間における第1入力信号に対して輝度処理及び色域処理を実行し、ターゲット出力信号を出力するステップは:
輝度マッピング関係に基づいて、輝度マッピングの後に取得される輝度値であって、第1入力信号の輝度値に対応する輝度値を決定するステップと、
輝度値ゲイン及び第1入力信号に基づいて、輝度マッピングされた信号を取得するステップであって、輝度値ゲインは、第1入力信号の輝度値に対する、輝度マッピング後に取得される輝度値の比率である、ステップと、
輝度マッピングされた信号を、ターゲット出力信号が位置する色域に変換して、ターゲット出力信号を取得するステップとを含む。
本願のこの実施形態では、先ず輝度処理が第2空間における第1入力信号に対して実行され、次いで、ターゲット出力信号を取得するために、色域処理が、輝度処理された信号に対して実行される。
可能な実装において、第2空間において第1入力信号に対して輝度処理及び色域処理を実行し、ターゲット出力信号を取得するステップは:
輝度処理入力信号を取得するために、第1入力信号を、ターゲット出力信号が位置する色に変換するステップと、
輝度マッピング関係に基づいて、輝度マッピング後に取得される輝度値であって、輝度処理入力信号の輝度値に対応する輝度値を決定するステップと、
輝度値ゲイン及び輝度処理入力信号に基づいて、輝度マッピングされた信号を取得し、輝度マッピングされた信号をターゲット出力信号として使用するステップであって、輝度値ゲインは、輝度処理入力信号の輝度値に対する、輝度マッピング後に取得される輝度値の比率である、ステップとを含む。
本願のこの実施形態では、先ず色域処理が第2空間においてオリジナル入力信号に対して実行されることが可能であり、次いで、ターゲット出力信号を取得するために、輝度処理が、色域処理された信号に対して実行される。
本願のこの実施形態では、輝度値ゲイン及び輝度処理入力信号に基づいて輝度マッピングされた信号を取得した後に、方法は、ターゲット出力信号を取得するために、輝度マッピングされた信号を、ターゲット出力信号が位置する空間に変換するステップを更に含む。
可能な実装において、オリジナル入力信号はHDR信号であり、ターゲット出力信号はSDR信号である。
本願のこの実施形態では、HDR信号はSDR信号に変換されることが可能であり、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、HDR信号を正しく再生することができる。
可能な実装において、オリジナル入力信号はハイブリッド対数ガンマ曲線のHDR HLG信号であり、又はオリジナル入力信号は知覚量子化曲線のHDR PQ信号である。
本願のこの実施形態では、HDR HLG信号はHDR PQ信号に変換されることが可能であり、その結果、HDR HDR PQ信号をサポートするディスプレイ・デバイスにおいて、HLG信号を正しく再生することができる。
可能な実装において、オリジナル入力信号はSDR信号であり、ターゲット出力信号はHDR信号である。
本願のこの実施形態では、SDR信号はHDR信号に変換されることが可能であり、その結果、HDR信号をサポートするディスプレイ・デバイスにおいて、SDR信号を正しく再生することができる。
第7態様によれば、本願の実施形態はビデオ処理方法を提供し、方法は、
オリジナル入力信号のフォーマットとターゲット出力信号のフォーマットとを取得するステップと、
オリジナル入力信号のフォーマットとターゲット出力信号のフォーマットとに基づいて、オリジナル入力信号に対して以下の処理:色域処理、輝度処理、及び彩度処理のうちの少なくとも1つの処理を実行することを決定し、少なくとも1つの処理の処理シーケンスを決定するステップと、
処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を取得するステップとを含む。
本願のこの実施形態では、オリジナル入力信号及び処理シーケンスに対して実行される少なくとも1つの処理は、オリジナル入力信号のフォーマット及びターゲット出力信号のフォーマットに基づいて決定されてもよく、その結果、本願の本実施形態で提供される信号処理方法は、様々な信号変換シナリオに適用可能である。
可能な実装において、オリジナル入力信号はHDR信号であり、ターゲット出力信号はSDR信号である。少なくとも1つの処理は、色域処理、輝度処理、及び彩度処理である。
本願のこの実施形態は、HDR信号がSDR信号に変換されるシナリオに適用可能である可能性がある。HDR信号がSDR信号に変換される場合には、色域処理、輝度処理、及び彩度処理がオリジナル入力信号に対して実行されることを必要とする。
可能な実装において、処理シーケンスは輝度処理、色域処理、及び彩度処理である。処理シーケンスに基づいて、オリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を取得するステップは、
オリジナル入力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して輝度処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号に対して色域処理を実行して第3線形RGB信号を生成するステップと、
第3線形RGB信号を彩度処理入力信号に変換するステップと、
彩度処理入力信号に対して彩度処理を実行してターゲット出力信号を生成するステップとを含む。
本願のこの実施形態は、HDR信号をSDR信号に変換する処理シーケンスと、特定の処理ステップとを提供し、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、HDR信号を正しく表示することができる。
可能な実装において、処理シーケンスは、色域処理、輝度処理、及び彩度処理である。処理シーケンスに基づいて、オリジナル入力信号に対して少なくとも1つの処理を実行してターゲット出力信号を取得するステップは、
オリジナル入力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して色域処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号に対して輝度処理を実行して第3線形RGB信号を生成するステップと、
第3線形RGB信号を彩度処理入力信号に変換するステップと、
彩度処理入力信号に対して彩度処理を実行してターゲット出力信号を生成するステップとを含む。
本願のこの実施形態は、HDR信号をSDR信号に変換する別の処理シーケンスと、特定の処理ステップとを提供し、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、HDR信号を正しく表示することができる。
可能な実装において、処理シーケンスは彩度処理、輝度処理、及び色域処理である。処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を取得するステップは、
オリジナル入力信号に対して彩度処理を実行して彩度処理出力信号を生成するステップと、
彩度処理出力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して輝度処理を行って第2線形RGB信号を生成するステップと、
第2線形RGB信号に対して色域処理を行って第3線形RGB信号を生成するステップと、
第3線形RGB信号をターゲット出力信号に変換するステップとを含む。
本願のこの実施形態は、HDR信号をSDR信号に変換する別の処理シーケンスと、特定の処理ステップとを提供し、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、HDR信号を正しく表示することができる。
可能な実装において、処理シーケンスは彩度処理、色域処理、及び輝度処理である。処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を取得するステップは、
オリジナル入力信号に対して彩度処理を実行して彩度処理出力信号を生成するステップと、
彩度処理出力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して色域処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号に対して輝度処理を実行して第3線形RGB信号を生成するステップと、
第3線形RGB信号をターゲット出力信号に変換するステップとを含む。
本願のこの実施形態は、HDR信号をSDR信号に変換するための別の処理シーケンスと、特定の処理ステップとを提供し、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、HDR信号を正しく表示することができる。
可能な実装において、オリジナル入力信号はSDR信号であり、ターゲット出力信号はHDR信号である。少なくとも1つの処理は色域処理及び輝度処理である。処理シーケンスは輝度処理及び色域処理である。処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を得るステップは、
オリジナル入力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して色域処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号に対して輝度処理を実行して第3線形RGB信号を生成するステップと、
第3線形RGB信号をターゲット出力信号に変換するステップとを含む。
本願のこの実施形態は、SDR信号がHDR信号に変換されるシナリオに適用可能である。SDR信号がHDR信号に変換される場合には、色域処理及び輝度処理が、オリジナル入力信号に対して実行されることを要する。本願のこの実施形態は、更に、SDR信号をHDR信号に変換するための処理シーケンスと、特定の処理ステップとを提供し、その結果、HDR信号をサポートするディスプレイ・デバイスにおいて、SDR信号を正しく表示することができる。
可能な実装において、オリジナル入力信号はSDR信号であり、ターゲット出力信号はHDR信号である。少なくとも1つの処理は色域処理及び輝度処理である。処理シーケンスは輝度処理及び色域処理である。処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を得るステップは、
オリジナル入力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して輝度処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号に対して色域処理を実行して第3線形RGB信号を生成するステップと、
第3線形RGB信号をターゲット出力信号に変換するステップとを含む。
本願のこの実施形態は、SDR信号がHDR信号に変換されるシナリオに適用可能である。SDR信号がHDR信号に変換される場合には、色域処理及び輝度処理が、オリジナル入力信号に対して実行されることを要する。本願のこの実施形態は、更に、SDR信号をHDR信号に変換するための別の処理シーケンスと、特定の処理ステップとを提供し、その結果、HDR信号をサポートするディスプレイ・デバイスにおいて、SDR信号を正しく表示することができる。
可能な実装において、オリジナル入力信号はハイブリッド対数ガンマ曲線のHDR HLG信号であり、ターゲット出力信号は知覚量子化曲線のHDR PQ信号である。少なくとも1つの処理はルミナンス処理である。処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を取得するステップは、
オリジナル入力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して輝度処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号をターゲット出力信号に変換するステップとを含む。
本願のこの実施形態は、HDR HLG信号がHDR PQ信号に変換されるシナリオに適用可能である可能性がある。HDR HLG信号がHDR PQ信号に変換される場合、輝度処理がオリジナル入力信号に対して実行されることを要し、その結果、HDR PQ信号をサポートするディスプレイ・デバイスにおいて、HDR HLG信号を正しく表示することができる。
可能な実装において、オリジナル入力信号はSDR信号であり、ターゲット出力信号はSDR信号であり、オリジナル入力信号は第1色域レンジに属し、ターゲット出力信号は第2色域レンジに属する。少なくとも1つの処理は色域処理である。処理シーケンスに基づいてオリジナル入力信号に対して少なくとも1つの処理を実行し、ターゲット出力信号を取得するステップは、
オリジナル入力信号を第1線形RGB信号に変換するステップと、
第1線形RGB信号に対して色域処理を実行して第2線形RGB信号を生成するステップと、
第2線形RGB信号をターゲット出力信号に変換するステップとを含む。
本願のこの実施形態は、異なる色域に属するSDR信号がSDR信号に変換されるシナリオに適用可能である可能性がある。色域処理は、オリジナル入力信号をディスプレイ・デバイスで正しく表示できるように、オリジナル入力信号に対して実行されることを要する。
第8態様によれば、本願の実施形態はビデオ処理装置を提供し、装置は、
処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得するように構成された色空間変換ユニットと、
電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得するように構成された電-光トランスファ・ユニットと、
第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するように構成された輝度マッピング・ユニットであって、第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである、輝度マッピング・ユニットと、
第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得するように構成された色域変換ユニットであって、第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである、色域変換ユニットと、
第3線形RGBを変換して第2非線形RGB信号を取得するように構成された光-電トランスファ・ユニットと、
を含み、色域変換ユニットは、第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得するように更に構成されており、
装置は、第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得するように構成された彩度マッピング・ユニットとを含む。
可能な実装において、処理対象のビデオ信号はHDR信号であり、第2ルミナンス・クロミナンス信号はSDR信号である。
可能な実装において、輝度マッピング・ユニットは、具体的には、
第1線形RGB信号の各原色値に基づいて一時輝度値を計算し、
予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得し、
各原色値に調整係数を乗算して第3線形RGB信号を取得するように構成されている。
可能な実装において、一時輝度値は以下の式:
Y=C×R+C×G+C×B
に従って計算され、Yは一時輝度値であり、R、G、及びBはそれぞれ第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である。
可能な実装において、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換することは、
第1マッピング関係テーブルを使用することにより、一時輝度値に対応する調整係数を決定することを含み、第1マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実装において、彩度マッピング・ユニットは、具体的には、
予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換して彩度因子を取得し、
彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するように構成されている。
可能な実装において、予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換することは、
第2マッピング関係テーブルを使用することにより、一時輝度値に対応する彩度因子を決定することを含み、第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実装において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマット及び別のルミナンス・クロミナンス(YCC)色空間フォーマットを含む。
第9態様によれば、本願の実施形態はビデオ処理装置を提供し、装置は、
処理対象のビデオ信号のクロミナンス成分に対して彩度マッピングを実行して第1ルミナンス・クロミナンス信号を取得するように構成された彩度マッピング・ユニットと、
第1ルミナンス・クロミナンス信号に対して色空間変換を実行して第1非線形RGB信号を取得するように構成された色空間変換ユニットと、
電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得するように構成された電-光トランスファ・ユニットと、
第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するように構成された輝度マッピング・ユニットであって、第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである、輝度マッピング・ユニットと、
第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得するように構成された色域変換ユニットであって、第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである、色域変換ユニットと、
光-電伝達関数に基づいて第3線形RGBを変換して第2非線形RGB信号を取得するように構成された光-電トランスファ・ユニットと
を含み、色空間変換ユニットは、第2非線形RGB信号に対して色空間変換を実行して第2ルミナンス・クロミナンス信号を取得するように更に構成されている。
可能な実装において、処理対象のビデオ信号はHDR信号であり、第2ルミナンス・クロミナンス信号はSDR信号である。
可能な実装において、彩度マッピング・ユニットは、具体的には、
予め設定済みの彩度マッピング曲線に基づいて処理対象のビデオ信号の輝度成分を変換して彩度因子を取得し、
彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するように構成されている。
可能な実装において、予め設定済みの彩度マッピング曲線に基づいて処理対象のビデオ信号のルミナンス成分を変換することは、
第1マッピング関係テーブルを使用することにより、処理対象のビデオ信号のルミナンス成分に対応する彩度因子を決定することを含み、第1マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実装において、輝度マッピング・ユニットは、具体的には、
第1線形RGB信号の各原色値に基づいて一時輝度値を計算し、
予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得するように構成されている。
第2取得サブユニットは、各原色値に調整係数を乗算して第2線形RGB信号を取得するように構成されている。
可能な実装において、一時輝度値は以下の式:
Y=C×R+C×G+C×B
に従って計算され、Yは一時輝度値であり、R、G、及びBはそれぞれ第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である。
可能な実装において、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換することは、
第2マッピング関係テーブルを使用することにより、一時輝度値に対応する調整係数を決定することを含み、第2マッピング関係テーブルは、輝度マッピング・カーブにおける少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実装において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマット及び別のルミナンス・クロミナンス(YCC)色空間フォーマットを含む。
第10態様によれば、本願の実施形態はビデオ処理装置を提供し、装置は、
処理対象のビデオ信号に対して色空間変換及び非線形空間-線形空間変換を実行して第1線形RGB信号を取得するように構成された変換ユニットと、
輝度マッピングにより第1線形RGB信号を第2線形RGB信号に変換するように構成された輝度マッピング・ユニットと、
光-電伝達関数に基づいて、第2線形RGB信号を非線形RGB信号に変換するように構成された光-電トランスファ・ユニットと、
処理対象のビデオ信号を取得するために、非線形RGB信号に対して色空間変換を実行するように構成された色空間変換ユニットであって、処理対象のビデオ信号の信号フォーマットはディスプレイ・デバイスに適合している、色空間変換ユニットとを含む。
可能な実装において、処理対象のビデオ信号は、ハイブリッド対数ガンマHLG信号であり、処理されたビデオ信号は知覚量子化PQ信号である。
可能な実装において、非線形空間-線形空間変換はHLG光-電変換の逆過程である。
可能な実装において、輝度マッピング・ユニットは、具体的には、
第1線形RGB信号の各原色値に基づいてシーン輝度値を計算し、
表示輝度値を取得するために、ディスプレイ・デバイスの定格ディスプレイ輝度ピーク値及びシステム・ガンマ値に基づいてシーン輝度値を調整し、
第2線形RGB信号を取得するために、各原色値に、表示輝度値のシーン輝度値に対する比率を乗算するように構成されている。
可能な実装において、表示輝度値は以下の式:
=Y γ*L
に従って取得され、Yは表示輝度値であり、Yはシーン輝度値であり、Lは定格表示輝度ピーク値であり、γはシステム・ガンマ値であり、γ=1.2+0.42*log10(L/1000)である。
第11態様によれば、本願の実施形態は再生デバイスを提供し、再生デバイスは、
プログラム命令を記憶するように構成されたメモリと、
メモリ中のプログラム命令を呼び出し、本願の実施形態の第1ないし第7態様又は第1ないし第7態様の任意の実装で提供されるビデオ処理方法を実行するように、プログラム命令を実行するように構成されたプロセッサとを含む。
第12態様によれば、本願の実施形態はコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体プログラム命令を記憶する。プログラム命令がコンピュータ又はプロセッサ上で実行されると、コンピュータ又はプロセッサは、本願の実施形態の第1ないし第7態様又は第1ないし第7態様の任意の実装で提供されるビデオ処理方法を実行することが可能である。
第13態様によれば、本願の実施形態は、命令を含むコンピュータ・プログラム製品を提供し、命令がコンピュータ又はプロセッサ上で実行されると、コンピュータ又はプロセッサは、第1ないし第7態様又は第1ないし第7態様の任意の実装で提供されるビデオ処理方法を実行することが可能である。
本願の実施形態による例示的なビデオ信号処理システムのアーキテクチャ図である。
本願の実施形態による例示的なビデオ信号処理方法のフローチャートである。
本願の実施形態による例示的な輝度マッピング曲線の概略図である。
本願の実施形態による別の例示的なビデオ信号処理方法のフローチャートである。
本願の実施形態による別の例示的なビデオ信号処理方法のフローチャートである。
本願の実施形態による別の例示的なビデオ信号処理方法のフローチャートである。
本願の実施形態による別の例示的なビデオ信号処理方法のフローチャートである。
本願の実施形態による別の例示的なビデオ信号処理方法のフローチャートである。
本願の実施形態による例示的なビデオ信号処理装置の構造図である。
本願の実施形態による例示的なビデオ信号処理装置の構造図である。
本願の実施形態による例示的なビデオ信号処理装置の構造図である。
本願の実施形態による別の例示的なビデオ信号処理装置の構造図である。
本願の実施形態によるHDR端末の技術的解決策のブロック図である。
本願の実施形態によりHDR HLG信号をSDR TVに適合させるテスト・ネットワーク化方式の概略図である。
本願の一実施形態によりHDR HLG信号をHDR PQ TVに適合させるテスト・ネットワーク化方式の概略図である。
本願において、「少なくとも1つの」は1つ以上を意味し、「複数の」は2つ以上を意味することが理解されるべきである。「及び/又は」は、関連するオブジェクトの関連付けの関係を記述するために使用され、3つの関係が存在しうることを示す。例えば、「A及び/又はB」は、Aのみが存在すること、Bのみが存在すること、A及びBの両方が存在すること、という3つのケースを示す可能性があり、A及びBは単数又は複数であってもよい。文字「/」は、関連するオブジェクト間で「又は」の関係を一般的に示す。「以下のアイテムのうちの少なくとも1つ」又は類似の表現は、これらのアイテムの任意の組み合わせを意味し、単一のアイテム又は複数のアイテムの任意の組み合わせを含む。例えば、a、b又はcのうちの少なくとも1つは、a、b、c、「a及びb」、「a及びc」、「b及びc」、「a、b及びc」を表現する可能性があり、a、b及びcは、単一のものであってもよいし、複数のものであってもよい。
先ず、本願の実施態様の理解を容易にするために、本願の実施態様における幾つかの概念又は用語を説明する。
原色値(primary color value)は特定の画像色成分(例えば、R、G、B、Y)に対応する値である。
デジタル・コード値(digital code value)は、画像信号のデジタル表現値であり、デジタル・コード値は、非線形の原色値を表すために使用される。
線形原色値(linear primary color value)は、光の強度に直接的に比例する線形原色値である。オプションのケースにおいて、線形原色値は[0,1]に正規化されることを必要とし、略してEと言及される。
非線形原色値(nonlinear primary color value)は、非線形原色値であり、画像情報の正規化されたデジタル表現値であり、デジタル・コード値に正比例する。オプションのケースにおいて、非線形原色値は[0,1]に正規化されることを必要として、略してE’と言及される。
電-光伝達関数(electro-optical transfer function,EOTF)は、非線形原色値から線形原色値への変換関係である。
光-電伝達関数(optical-electro transfer function,OETF)は、線形原色値から非線形原色値への変換関係である。
メタデータ(Metadata)は、ビデオ信号で搬送されるデータであって、ビデオ・ソース情報を記述するデータである。
動的メタデータ(dynamic metadata)は、画像の各フレームに関連付けられたメタデータであり、メタデータはピクチャとともに変わる。
静的メタデータ(static metadata)は、画像シーケンスに関連するメタデータであり、静的メタデータは、画像シーケンスにおいて不変のまま残る。
ルミナンス信号(luma)は非線形の原色信号の組み合わせであり、記号はY’である。
輝度マッピング(luminance mapping)は、ソース画像の輝度の、ターゲット・システムの輝度に対するマッピングである。
カラー・ボリューム(colour volume)は、クロミナンス空間のディスプレイにより表示されることが可能な、クロミナンス及びルミナンスにより構成されるボリュームである。
表示適応(display adaptation)は、ターゲットのディスプレイの表示特性に適合させるために、ビデオ信号に対して実行される処理である。
ソース画像(source picture)は、HDR前処理段階の画像入力である。
マスタリング表示(Mastering Display)は、ビデオ信号が編集及び作成される場合に使用されるリファレンス表示であり、ビデオの編集及び制作効果を判定に使用される。
線形シーン・ライト(Linear Scene Light)信号は、コンテンツを、HDRビデオ技術におけるシーン・ライトとして使用するHDRビデオ信号であり、カメラ/カメラ・センサーによってキャプチャされるシーン・ライトであり、通常は相対値である。HLGコーディングが線形シーン・ライト信号に対して実行された後に、HLG信号が取得される。HLG信号はシーン・ライト信号であり、HLG信号は非線形である。シーン・ライト信号は、通常、ディスプレイ・デバイスで表示される前に、OOTFにより表示光信号に変換されることを必要とする。
線形表示ライト(Linear Display Light)信号は、コンテンツを、HDRビデオ技術における表示ライトとして使用するHDRビデオ信号であり、ディスプレイ・デバイスから発せられる表示ライトであり、通常、ニットという単位の絶対値である。線形表示ライト信号に対してPQ符号化が実行された後、PQ信号が取得される。PQ信号は表示ライト信号であり、PQ信号は非線形信号である。表示ライト信号は、通常、表示ライト信号の絶対輝度に基づいて、ディスプレイ・デバイス上で表示される。
光-光伝達関数(OOTF)は、ビデオ技術において光信号を別の光信号に変換するための曲線である。
ダイナミック・レンジ(Dynamic Range)は、ビデオ信号における最大輝度の最小輝度に対する比率である。
ルマ・クロマ・クロマは、ルミナンス・クロミナンス・クロミナンスを意味し、ビデオ信号のルミナンスとクロミナンスが分離されたビデオ信号の3成分である。
知覚量子化(Perceptual Quantizer,PQ)はHDR標準であり、HDR変換式でもあり、PQは人の視覚能力に基づいて決定される。ディスプレイ・デバイスによって表示されるビデオ信号は、通常、PQ符号化フォーマットのビデオ信号である。
PQ EOTF曲線:PQ符号化電気信号は、ニットという単位である線形光学信号に変換される。変換式は:
Figure 0007150127000001

であり、ここで、E’は入力電気信号であり、その値のレンジは[0,1]であり、固定パラメータ値は以下のとおりである:
m1=2610/16384=0.1593017578125;
m2=2523/4096*128=78.84375;
c1=3424/4096=0.8359375=c3-c2+1;
c2=2413/4096*32=18.8515625;及び
c3=2392/4096*32=18.6875。
PQ EOTF-1曲線はPQ EOTFの逆曲線である。物理的な意味は[0,10000]ニットの線形光学信号をPQ符号化電気信号に変換することである。変換式は以下のとおりである:
Figure 0007150127000002
色域(Color Gamut)は、特定の色空間により包含される色のレンジである。関連する色域規格は、BT.709及びBT.2020を含む。
ハイブリッド対数ガンマ(Hybrid Log Gamma,HLG)は、カメラ、ビデオ・カメラ、画像センサ、又は他の種類の画像収集デバイスによって収集されたビデオ信号又は画像信号が、HLG符号化フォーマットにおけるビデオ信号であるHDR規格である。
HLG OETF曲線は、線形シーン・ライト信号を非線形電気信号に変換するように、線形シーン・ライト信号に対してHLG符号化を実行するための曲線である。変換式は以下のとおりである:
Figure 0007150127000003

Eは[0,1]のレンジの入力線形シーン・ライト信号であり、E’は[0,1]のレンジの出力非線形電気信号であり、固定パラメータは:
a=0.17883277,
b=0.28466892,及び
c=0.55991073 である。
HLG OETF-1曲線はHLG OETFの逆曲線である。HLG符号化非線形電気信号は、線形シーン・ライト信号に変換される。変換式は以下のとおりである:
Figure 0007150127000004
線形空間:本願において、線形空間は、線形光学信号が位置する空間を意味する。
非線形空間:本願において、非線形空間は、非線形曲線を使用することで変換された後に線形光学信号が位置する空間である。HDRの一般的な非線形曲線は、PQ EOTF-1曲線、HLG OETF曲線などを含む。SDRの一般的な非線形曲線はガンマ曲線を含む。一般に、線形光学信号は、非線形曲線を使用することで符号化された後に、人間の眼に対して視覚的に線形であると考えられる。非線形空間は、視覚的に線形空間と考えられてよいことが理解されるべきである。
ガンマ補正(Gamma Correction):ガンマ補正は、画像において非線形トーン編集を実行するための方法であり、画像信号中の暗い部分と明るい部分が検出されることが可能であり、画像のコントラスト効果を向上させるために、暗い部分と明るい部分の割合が増やされる。現在の表示スクリーン、写真フィルム、及び多くの電子カメラの光-電伝達特性は、非線形であるかもしれない。これらの非線形成分の出力と入力との間の関係は、冪関数によって表現されてもよい。具体的には、Output=(Input)γである。
人間の視覚系は線形ではなく、人間は比較により視覚的刺激を知覚するので、非線形変換が、デバイスにより出力される色値に対して実行される。外部の世界が特定の割合で刺激を強めると、その刺激は人間に対して均等に増加する。従って、人間の知覚にとって、等比数列的に増加する物理量は均一的である。人間の視覚的ルールに基づいて入力色を表示するためには、線形色値は、冪関数形式で上記の非線形変換により、非線形色値に変換されることを必要とする。ガンマ値γは、色空間の光-電伝達曲線に基づいて決定されてもよい。
色空間(Color Space):色は、異なる周波数の光に対する、眼の異なる知覚であるかもしれないし、あるいは様々な周波数の客観的に存在する光を表現するかもしれない。色空間は、色を表現するために人間によって確立された座標系によって定義される色のレンジである。色域は、カラー・モデルを使用して1つの色空間を定める。カラー・モデルは、色成分のグループを使用することにより色を表現する抽象的な数学モデルである。カラー・モデルは、例えば赤緑青(red green blue,RGB)モード、及びシアン・マゼンタ・イエロー・キー・プレート(cyan magenta yellow key plate,CMYK)モードを含む可能性がある。色域は、システムによって生成されることが可能な色の合計である。例えば、Adobe RGBとsRGBは、RGBモデルに基づく2つの異なる色空間である。
ディスプレイ又はプリンタなどの各デバイスは、色空間を有し、デバイスの色域の中の色のみを生成することができる。あるデバイスから別のデバイスへ画像を移す場合、各デバイスはデバイスの色空間に基づいてRGB又はCMYKを変換して表示するので、画像の色は、異なるデバイスでは変化する可能性がある。
以下、共通色空間の幾つかのタイプを説明する。
sRGB色空間(standard Red Green Blue color space)は、ディスプレイ、プリンタ、インターネット用にHPとMicrosoftが1996年に開発した標準RGB色空間である。sRGB色空間は、色を定義するための標準的な方法を提供し、その結果、コンピュータのディスプレイ、プリンタ、スキャナなどの様々な外部デバイスは、色に対してアプリケーション・ソフトウェアと共通の言語を有する。sRGB色空間は、独立した色座標に基づいており、そのため、様々なデバイスにより使用され伝送される場合に、これらのデバイス各自の様々な色座標による影響を受けることなく、色は同じ色座標系に対応する。しかしながら、sRGBの色域空間は比較的小さい。3原色、赤、緑、青がsRGBで定義される。3原色の1つの色の値が最大値であり、他の2色の両方の色値がゼロの場合に対応する色がその色を表す。例えば、3原色、赤、緑、青において、色値R、G、Bの値はすべて0~255である。この場合において、RとGの両方の値がゼロである場合、Bが255であるケースに対応する色が青を表す。
本願におけるYCC色空間は、ルミナンスとクロミナンスが分離された色空間を表し、3成分YCCはそれぞれルミナンス・クロミナンス・クロミナンス(Luma-Chroma-Chroma)を表す。共通YCC空間ビデオ信号はYUV、YCbCr、ICtCp等を含む。
異なる色空間は互いの間で変換される可能性があることが理解されるべきである。
予約ビット(reserved_bits):ビットストリーム中の「予約ビット」は、幾つかの構文ユニットがこの部分の将来の拡張のために予約されていることを示し、これらのビットは復号処理中に無視されることを要する。「予約ビット」は、何らかのバイト整合位置から21個より多く連続した「0」を有するべきでない。
マーカー・ビット(marker_bit)は、このビットの値が‘1’であることを必要とすることを示す。
以下、本願の実施態様における技術的解決策を本願の実施態様における添付図面を参照しながら明確かつ完全に説明する。
図1は、本願の実施形態によるビデオ信号処理システムのアーキテクチャ図である。図1に示されるように、ビデオ信号処理システムは、ビデオ・ソース・デバイス、再生デバイス、及びディスプレイ・デバイスを含む。再生デバイスは、ビデオ・ソース・デバイスによって送信された第2信号を受信し、処理対象のビデオ信号を第2ルミナンス・クロミナンス信号に変換した後、再生デバイスは第2ルミナンス・クロミナンス信号をディスプレイ・デバイスに送信する。処理対象のビデオ信号のフォーマットは、第2ルミナンス・クロミナンス信号のフォーマットとは異なる。第2ルミナンス・クロミナンス信号のフォーマットは、ディスプレイ・デバイスによりサポートされるフォーマットに合致している。
HDMIインターフェースを使用することでディスプレイ・デバイスとの接続を確立する場合に、再生デバイスは、ディスプレイ・デバイスによりサポートされることが可能なビデオ・フォーマットを学ぶことが可能である。ディスプレイ・デバイスは、複数のビデオ・フォーマットをサポートすることができる。処理対象のビデオ信号のフォーマットが、ディスプレイ・デバイスによってサポートされることが可能なビデオ・フォーマットではない場合、再生デバイスは、処理対象のビデオ信号のフォーマットを、ディスプレイ・デバイスによってサポートされることが可能なフォーマットに変換することを要する。
例えば、ディスプレイ・デバイスによりサポートされるビデオ・フォーマットはSDRタイプのビデオ・フォーマットであり、再生デバイスにより受信された処理対象のビデオ信号はHDRタイプのビデオ・フォーマットである。表示デバイスはHDRタイプのビデオ・フォーマットを表示することはできない。別の例として、表示デバイスによってサポートされるビデオ・フォーマットは、SDRタイプのBT.601ビデオ・フォーマット及びBT.709ビデオ・フォーマットであり、再生デバイスによって受信された処理対象のビデオ信号のフォーマットは、SDRタイプのBT.2020ビデオ・フォーマットである。再生デバイスによって受信された処理対象のビデオ信号のフォーマットが、再生デバイスによって受信されたビデオを表示するために、表示デバイスによってサポートされるフォーマットに合致しない場合、ビデオは、ディスプレイ・デバイスによってサポートされていないビデオ・フォーマットから、ディスプレイ・デバイスによってサポートされているビデオ・フォーマットへ変換されることを要する。ディスプレイ・デバイスによってサポートされる1つのビデオ・フォーマットが選択され、処理対象のビデオ信号は、ディスプレイ・デバイスによってサポートされていないビデオ・フォーマットから、ディスプレイ・デバイスによってサポートされているビデオ・フォーマットへ変換される。
本願で提供される技術的解決策は、SDRタイプのビデオ・フォーマットとHDRタイプのビデオ・フォーマットとの間の変換などの、異なるタイプのビデオ・フォーマット間のビデオ変換に適用可能であるだけでなく、HDRタイプのビデオ・フォーマットにおけるHDR PQビデオ・フォーマットとHDR HLGビデオ・フォーマットとの間の変換などの、同じタイプの異なる細分されたビデオ・フォーマット間のビデオ変換にも適用可能であることに留意すべきである。
本願の再生デバイスは、HDMIインターフェースを備える再生デバイスであって、HDMIインターフェースを使用することにより表示デバイスと相互作用することが可能な再生デバイスであり、例えば、セット・トップ・ボックス、ブルーレイ・ディスク・ドライブ、コンピュータ、携帯電話などである。本願におけるディスプレイ・デバイスは、テレビ・セット、プロジェクタ、コンピュータ・ディスプレイ等であってもよい。
更に、本願で提供される技術的解決策は、ビデオ・ファイルがローカルに再生されるシナリオにも適用可能である。ローカル・ビデオ・ファイルのフォーマットがディスプレイ・デバイスによってサポートされるフォーマットに合致しない場合、ディスプレイ・デバイスは、ディスプレイ・デバイスのチップ内でビデオ信号を直接的に変換することができる。この場合、チップは、再生デバイスと考えることが可能であり、再生デバイスがディスプレイ・デバイス内に配置され、ソース・デバイスは、ローカル・ビデオ・ファイルを記憶するデバイスであってもよい。例えば、テレビ・セットは、ローカルにビデオ・ファイルを再生することが可能であり、このビデオ信号は、テレビ・セットのチップ内で変換されることが可能である。
本願のこの実施形態で言及される信号フォーマットは、信号の種類、色域、輝度などである。ビデオ信号の種類に基づいて、SDR信号及びHDR信号が存在する可能性がある。信号がHDR信号である場合、信号フォーマットは、代替的に、ハイブリッド対数ガンマ法を使用することによって符号化されたHLG信号、又は知覚量子化法を使用することによって符号化されたPQ信号であるとすることが可能である。信号の色域に基づいて、BT.709、BT.2020等が存在する可能性がある。信号の輝度に基づいて、異なる輝度レンジに属する信号が存在する可能性があり、輝度のレンジは、例えば[0,100]ニット、[0,1000]ニット、及び[0,400]ニットであってもよいが、これらに限定されない。
本願のこの実施形態で言及されている処理対象のビデオ信号及び第2ルミナンス・クロミナンス信号は、YCbCr信号又はYUV信号であってもよいし、あるいは又は別のYCC色空間ファミリーの信号であってもよい。以下の実施形態では、説明の例としてYCbCr信号が使用されている。
図1に与えられているビデオ信号処理システムに関し、以下、本願の実施形態で提供されるビデオ信号処理方法を説明する。
図2に示すように、ビデオ信号処理方法は、少なくとも以下の幾つかのステップを含む可能性がある。
S201:処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得する。
具体的には、処理対象のビデオ信号はYCbCr色空間に属し、処理対象のビデオ信号はYCbCr色空間からRGB色空間に変換される。
処理対象のビデオ信号Y’CbCrは、AVS2復号化、再構成及びクロミナンス・アップサンプリングによって再生デバイスで復元される4:4:4YCbCrの非線形ビデオ信号であり、第1非線形RGB信号はR’G’B’であると仮定する。
Figure 0007150127000005
信号Y’CbCrは、10ビットの限定されたレンジ内のデジタル・コード値であり、その処理の後に得られるR’G’B’は、その値が[0,1]に属する浮動小数点非線形原色値である。
S202:電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得する。
オプションとして、処理対象のビデオ信号がHDR HLG信号である場合、第1非線形RGB信号はHDR曲線を使用することにより線形信号に変換され、変換後に得られる線形信号は第1線形RGB信号である。処理対象のビデオ信号がHDR HLG信号であることは、以下のステップにおける説明の例として使用される。
具体的には、第1非線形RGB信号R’G’B’に対して電-光変換が実行された後に第1線形RGB信号Rが得られるものとする。具体的な計算プロセスは以下のとおりである:
=HLG_OFTF-1(E’) (7)
は、信号Rにおける任意の成分R、G、又はBを表し、Eの値は[0,1]に属する。E’は、信号R’G’B’における成分R’、G’、又はB’であって、Eにより表現される成分に対応するものを表す。関数HLG_OETF-1()はITU BT.2100に基づいて次のように定義される:
Figure 0007150127000006
オプションとして、処理対象のビデオ信号がHDR PQ信号である場合、第1非線形RGB信号はPQ曲線を使用することにより線形信号に変換され、変換後に得られる線形信号は第1線形RGB信号である。具体的な計算プロセスは、処理対象のビデオ信号がHDR HLG信号であり、HLG曲線がPQ曲線で置き換えられるケースと同様である。詳細はここでは説明されない。
S203:第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得する。第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジに合致する。
具体的には、S203は以下の幾つかのステップを含む可能性がある。
S2031:第1線形RGB信号の各原色値に基づいて一時輝度値を計算する。
具体的には、一時輝度値は次式により計算される:
=C×R+C×G+C×B
は一時輝度値であり、R、G、及びBはそれぞれ第1線形RGB信号Rの原色値であり、C=0.2627、C=0.678、及びC=0.0593であり、Yはその値が[0,1]に属する実数である。
本願のこの実施形態における一時輝度値Yの計算方法は、上記計算方法には限定されず、実際の実装プロセスでは別の計算方法が存在する可能性がある。これは本願のこの実施形態に限定されない。
S2032:予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得する。
具体的には、本願のこの実施形態における輝度マッピング曲線は、線形空間における輝度マッピング曲線である。本願のこの実施形態における輝度マッピング曲線(Tone Mapping Curve,TM_Curve)は、信号処理プロセスにおいて予め生成され、処理対象のビデオ信号の輝度は、ディスプレイ・デバイスに合致する表示輝度値、具体的にはディスプレイ・デバイスにおける最終表示輝度を得るためにマッピングされる。
輝度マッピング曲線を生成する複数の方法が存在する。本願のこの実施形態では、輝度マッピング曲線は、以下の方法を使用することにより生成され、曲線上の点(a,b),(a,b),...,(a,b)が、TM_Curveを表すように選択されることが可能である。
Figure 0007150127000007
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,100]ニットである。図3は、本願の実施形態による輝度マッピング曲線の概略図である。水平座標はニットという単位における入力信号の輝度値を表し、垂直座標はニットという単位における出力信号の輝度値を表す。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000008
関数hmt()は次のように定められる:
Figure 0007150127000009
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,150]ニットである。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000010
関数hmt()は次のように定められる:
Figure 0007150127000011
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,200]ニットである。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000012
関数hmt()は次のように定められる:
Figure 0007150127000013
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,250]ニットである。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000014
関数hmt()は次のように定められる:
Figure 0007150127000015
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,300]ニットである。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000016
関数hmt()は次のように定められる:
Figure 0007150127000017
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,350]ニットである。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000018
関数hmt()は次のように定められる:
Figure 0007150127000019
オプションとして、処理対象のビデオ信号の輝度レンジは[0,1000]ニットであり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,400]ニットである。
輝度マッピングはYtPQ=ftm(YdPQ)を取得するために実行される。
tm()は次のように定められる:
Figure 0007150127000020
関数hmt()は次のように定められる:
Figure 0007150127000021
正規化された輝度マッピング輝度値は、Y=PQ_EOTF(YtPQ) (35)である。
Figure 0007150127000022
従って、Yの計算式は:
Figure 0007150127000023

であり、Yは実数であり、Yの値のレンジはディスプレイ・デバイスによりサポートされる輝度レンジに一致する。
この実施形態では、入力信号の最大輝度は次のように設定される:L=1000nits。確かに、Lは代替的に別の値に設定されてもよく、これは具体的には入力信号の輝度レンジによって決定される。
本願のこの実施形態で提供される輝度マッピング曲線を生成する方法は、説明のための単なる具体例に過ぎないことが分かるであろう。実際の実装プロセスにおいては、別の方法が存在し、輝度マッピング曲線を生成する方法は本願のこの実施形態で限定されない。
具体的には、一時輝度値Yは、輝度マッピング曲線に基づいて変換され、輝度マッピング後に得られる輝度値Yを取得する。輝度マッピング後に得られる輝度値の一時輝度値に対する比率は調整係数である。具体的な計算式は以下のとおりである:
Figure 0007150127000024

は、輝度マッピング後に得られる輝度値であって、輝度マッピング曲線に基づいて決定されるものであり、具体的には輝度マッピング曲線の垂直座標値である。
具体的には、輝度マッピング後に取得される一時輝度値Yであって一時輝度値に対応する輝度値Yは、第1マッピング関係テーブルを使用することによって決定されることが可能であり、更に、一時輝度値Yに対応する調整係数は、輝度マッピング後に得られる輝度値Yの一時輝度値Yに対する比率に基づいて決定される。第1マッピング関係テーブルは、輝度マッピング曲線上の少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
S2033:各原色値に調整係数を乗算して第2線形RGB信号を取得する。
具体的には、第2線形RGB信号はRとしてマークされる。具体的な計算プロセスは以下のとおりである:
Figure 0007150127000025
S204:第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得する。第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。
具体的には、第2線形RGB信号RがBT.2020の色域に属し、第3線形RGB信号RがBT.709の色域に属する場合、予め設定済みの色域変換行列は第2線形RGB信号Rの原色値行列によって乗算され、第3線形RGB信号Rの原色値行列が得られる。具体的な色域変換計算処理は以下のとおりである:
Figure 0007150127000026

そのような処理の後に得られるRは、その値が[0,1]に制限された浮動小数点線形原色値である。
第2線形RGB信号に対応する色域は、処理対象のビデオ信号に対応する色域に合致し、第3線形RGB信号が属する色域は、ディスプレイ・デバイスに対応する色域に合致する。
第2線形RGB信号に対応する色域がBT.709であり、第3線形RGB信号に対応する色域がBT.2020である場合、前述の色域変換計算式における色域変換行列が修正され、詳細はここでは説明されない。
オプションのケースにおいて、第2線形RGB信号に対応する色域がディスプレイ・デバイスに対応する色域に合致する場合、色域変換は実行されなくてよい。代替的に、最終的に表示されるビデオ信号の色域が、処理対象のビデオ信号の色域に合致することが予測される場合、即ち、第2線形RGB信号に対応する色域が、第3線形RGB信号に対応する色域に合致する場合、色域変換行列は3次恒等行列であってもよい。
S205:光-電伝達関数に基づいて第3線形RGB信号を変換して第2非線形RGB信号を得る。
具体的には、第2非線形RGB信号はR’G’B’としてマークされる。
第3線形RGB信号Rを第2非線形RGB信号R’G’B’に変換する具体的な計算方法は以下のとおりである:
Figure 0007150127000027
ディスプレイ・デバイスによりサポートされる輝度レンジ範囲が[0,200]ニットである例を使用することにより、上記の計算方法を説明する。γ’の値は2.2,2.4又は別の値であってもよい。これは本願のこの実施形態で限定されない。
S206:第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得する。
具体的には、第1ルミナンス・クロミナンス信号はY’CbCrとしてマークされ、色空間変換プロセスは具体的には以下のとおりである:
Figure 0007150127000028

’G’B’はその値が[0,1]のレンジ内にある非線形の原色値である。そのような処理の後に得られる信号Y’CbCrは、10ビットの限定されたレンジ内のデジタル符号値である。
S207:第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得する。
具体的には、S207は以下の幾つかのステップを含んでもよい。
S2071:予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換して彩度因子を取得する。
具体的には、彩度因子の算出プロセスは以下のとおりである:
(a)輝度マッピングの前に非線形表示輝度値を計算する。
Figure 0007150127000029

(b)輝度マッピングの後に非線形表示輝度値を計算する。
Figure 0007150127000030

(c)彩度因子を計算する。
Figure 0007150127000031
γ’の値は2.2,2.4又は別の値であってもよい。これは本願のこの実施形態で限定されない。
具体的には、一時輝度値に対応する彩度因子は、第2マッピング関係テーブルを使用することにより決定されてもよい。第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
S2072:彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得する。
具体的には、予め設定済みのクロミナンス調整因子は、第1調整因子W及び第2調整因子Wを含んでもよい。第1ルミナンス・クロミナンス信号は、第1クロミナンス成分Cb及び第2クロミナンス成分Crを含む。
第2ルミナンス・クロミナンス信号YCbCrの計算プロセスは具体的には以下のとおりである。
第2ルミナンス・クロミナンス信号の第1クロミナンス成分は、
Cb=Cb×SmGain×W
である。
第2ルミナンス・クロミナンス信号の第2クロミナンス成分は、
Cr=Cr×SmGain×W
である。
第2ルミナンス・クロミナンス信号の輝度値は、
=Y
である。
第2ルミナンス・クロミナンス信号YCbCrは、第2ルミナンス・クロミナンス信号のルミナンス値、第1クロミナンス成分、第2クロミナンス成分に基づいて取得することが可能である。
可能な実装において、第1調整係数Wと第2調整係数Wの両方は1であり、第2ルミナンス・クロミナンス信号の計算プロセスは以下のとおりである:
Figure 0007150127000032
信号YCbCrは、10ビットの限定されたレンジ内のデジタル符号値である。
本願のこの実施形態では、処理対象のHDRビデオ信号はSDR信号に変換され、その結果、SDR信号をサポートするディスプレイ・デバイスにおいて、SDR信号は正しく表示される。本願のこの実施形態では、先ず輝度処理が線形空間において処理対象のビデオ信号に対して実行され、次いで色域変換が、輝度処理された信号に対して実行され、色域変換された信号は非線形空間に変換され、色空間が変換され、ディスプレイがビデオを正しく再生するように、再度処理が、ディスプレイによりサポートされるフォーマットに合致する信号を出力するために実行される。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。また、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、ビデオ信号の輝度が処理された後に、クロミナンス成分は、輝度マッピング曲線と輝度処理入力信号の輝度値とに基づいて相応して調整され、その結果、ビデオ信号の輝度と彩度の両方が効果的に調整される。前述の方法では、処理の観点から、輝度、色域、及び彩度について関係が形成され、その結果、信号変換の複雑さが低減され、信号変換効率が改善される。
前述の実施形態では、色域変換及び輝度マッピングのシーケンスが変更される可能性があり、色空間変換及び非線形空間-線形空間変換が、処理対象のビデオ信号に対して実行された後に、先ず色域変換が実行され、次いで輝度処理が実行され、最終的に彩度マッピングが実行される前に、輝度処理された信号が線形空間から非線形空間へ変換され、色空間変換が実行され、ディスプレイ・デバイスに合致するビデオ信号が取得される、ということを学ぶことができる。
図2の前述の実施形態はまた、SDR信号がHDR信号に変換されるシナリオにも適用可能である、ということを学ぶことができる。具体的には、処理対象のビデオ信号のフォーマットはSDR信号であり、ディスプレイ・デバイスによってサポートされる信号フォーマットはHDR信号(HDR HLG信号又はHLG PQ信号)である。具体的な実装プロセスでは、電-光伝達関数、光-電伝達関数、色域変換行列、及び輝度マッピング曲線は変更される。
SDR信号をHDR信号に変換するシナリオでは、先ず色空間変換及び非線形空間-線形空間変換が処理対象の信号に対して実行され、次いで、色域変換が先ず実行され、次いで輝度処理が実行され、最終的に彩度マッピングが実行される前に、輝度処理された信号が線形空間から非線形空間へ変換され、色空間変換が実行され、ディスプレイ・デバイスに合致するビデオ信号が取得される。具体的には、図4に示すように、ビデオ信号処理方法は、少なくとも以下の幾つかのステップを包含することが可能である。
S401:処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得する。
具体的にはS401はS201と一致しており、詳細はここでは説明されない。
S402:電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得する。
具体的にはS402はS202に類似しており、SDR信号に対応する電-光伝達関数のみが変更されることを要する。詳細はここでは説明されない。
S403:第1線形RGB信号に対して色域変換を実行して第2線形RGB信号を取得する。第2線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。
具体的にはS403はS204に類似しており、SDR信号からHDR信号への変換に対応する色域変換行列のみが変更されることを要する。詳細はここでは説明されない。
S404:第2線形RGB信号に対して輝度マッピングを実行して第3線形RGB信号を取得する。第3線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジに合致する。
具体的には、S404はS203に類似しており、輝度マッピング曲線のみが、処理対象のビデオ信号の輝度レンジとディスプレイ・デバイスに合致する輝度レンジとに基づいて変更されることを要する。詳細はここでは説明されない。
S405:光-電伝達関数に基づいて第3線形RGB信号を変換して第2非線形RGB信号を取得する。
具体的にはS405はS205に類似しており、HDR信号に対応する光-電伝達関数のみが変更されることを要する。詳細はここでは説明されない。
S406:第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得する。
具体的にはS406はS206と一致しており、詳細はここでは説明されない。
S407:第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得する。
具体的にはS407はS207と一致しており、詳細はここでは説明されない。
別の実施形態では、ビデオ信号処理方法において、先ず彩度マッピングが実行される可能性があり、次いで輝度マッピング及び色域変換が実行される。具体的な方法については、図5を参照されたい。
S501:処理対象のビデオ信号のクロミナンス成分に対して彩度マッピングを実行して第1ルミナンス・クロミナンス信号を取得する。
具体的には、具体的な彩度マッピング・プロセスは以下のとおりである。
S5011:予め設定済みの彩度マッピング曲線に基づいて処理対象のビデオ信号の輝度成分を変換して彩度因子を取得する。
具体的には、彩度マッピング曲線は、輝度マッピング曲線に基づいて決定され、彩度マッピング曲線は、輝度マッピング前の初期輝度値と彩度マッピング係数との間の対応関係を表し、彩度マッピング係数は、彩度処理入力信号のクロミナンス成分を調整するために使用される。輝度マッピング関係は、輝度マッピング前の初期輝度値と輝度マッピング後の輝度値との間の対応関係を表す。輝度マッピング関係は、輝度マッピング前の信号に対して輝度処理を実行し、輝度マッピングされた信号を取得するために使用される。
具体的には、輝度マッピング曲線は、線形空間における輝度マッピング曲線であってもよいし、あるいは非線形空間における輝度マッピング曲線であってもよい。
輝度マッピング曲線が線形空間における輝度マッピング曲線である場合、彩度マッピング曲線を取得するために、線形空間における輝度マッピング曲線は、彩度処理入力信号が位置する非線形空間に変換される。
輝度マッピング曲線が非線形空間における輝度マッピング曲線である場合に、輝度マッピング曲線が位置する非線形空間が、彩度処理入力信号が位置する非線形空間と一致していないときは、非線形空間における輝度マッピング曲線は線形空間における輝度マッピング曲線に変換され、次いで、彩度マッピング曲線を取得するために、線形空間における輝度マッピング曲線は、彩度処理入力信号が位置する非線形空間に変換される。輝度マッピング曲線が位置する非線形空間が、彩度処理入力信号が位置する非線形空間と一致する場合、輝度マッピング曲線は彩度マッピング曲線である。
具体的に、彩度因子の算出プロセスについては、図2の実施形態におけるS2071の算出プロセスを参照されたい。詳細はここでは説明されない。
S5012:彩度因子と予め設定済みのクロミナンス調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得する。
具体的に、調整されたクロミナンス値の計算プロセスについては、図2の実施形態におけるS2072の計算プロセスを参照されたい。詳細はここでは説明されない。
S502:第1ルミナンス・クロミナンス信号に対して色空間変換を実行して第1非線形RGB信号を取得する。
具体的に、色空間変換プロセスについては、図2の実施形態におけるS201を参照されたい。詳細はここでは説明されない。
S503:電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得する。
具体的に、電-光伝達プロセスについては、図2の実施形態におけるS202の説明を参照されたい。特定の電-光伝達関数が、処理対象のビデオ信号のフォーマットに基づいて決定される。処理対象のビデオ信号がSDR信号である場合、電-光伝達関数はガンマ曲線である。処理対象のビデオ信号がHDR HLG信号である場合、電-光伝達関数はHLG OETF-1曲線である。処理対象のビデオ信号がHDR PQ信号である場合、電-光伝達関数はPQ EOTF曲線である。
S504:第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得する。第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである。
具体的には、輝度マッピング・プロセスは以下の幾つかのステップを含む可能性がある。
S5041:第1線形RGB信号の各原色値に基づいて一時輝度値を計算する。
具体的には、S5041はS2031に類似しており、詳細はここでは説明されない。
S5042:予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得する。
具体的には、S5042はS2032に類似しており、詳細はここでは説明されない。輝度マッピング曲線は、処理対象のビデオ信号のフォーマットによって決定される。
S5043:各原色値に調整係数を乗算して第2線形RGB信号を取得する。
具体的には、S5043はS2033と類似しており、詳細はここでは説明されない。
S505:第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得する。第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。
具体的に、色域変換プロセスはS204と同様である。対応する色域変換行列は、異なる変換シナリオに対して特に調整される。詳細はここでは説明されない。
S506:光-電伝達関数に基づいて第3線形RGB信号を変換して第2非線形RGB信号を取得する。
具体的には、光-電伝達関数は、ディスプレイ・デバイスによりサポートされる信号フォーマットによって決定される。具体的な実装は図2の実施形態におけるS205と同様であり、詳細はここでは説明されない。
S507:第2非線形RGB信号に対して色空間変換を実行して第2ルミナンス・クロミナンス信号を取得する。
具体的には、色空間変換はS206と一致しており、詳細はここでは説明されない。
本願のこの実施形態は、処理対象のHDR HLG信号がSDR信号に変換されるシナリオ、処理対象のHDR PQ信号がSDR信号に変換されるシナリオ、処理対象のSDR信号がHDR HLG信号又はHDR PQ信号に変換されるシナリオに適用可能である。本願のこの実施形態では、処理対象のビデオ信号は、ディスプレイ・デバイスにおいて正しく表示されることが可能である。先ず彩度マッピングが処理対象のビデオ信号に対して実行され、次に、線形空間内の彩度マッピング信号に対して輝度マッピングを行い、次に、クロミナンス・マッピングが線形空間において再度マッピングされた信号に対して実行され、色域変換が輝度マッピングされた信号に対して実行され、色域変換された信号は非線形空間に変換され、色空間は、ディスプレイがビデオを正しく再生するために、ディスプレイによりサポートされるフォーマットに合致する信号を出力するように変換される。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。更に、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、ビデオ信号の輝度が処理される前に、クロミナンス成分は輝度マッピング曲線に基づいて相応して調整され、その結果、ビデオ信号の輝度と彩度の両方が効果的に調整されることが可能である。前述の方法では、処理の観点から、輝度、色域、及び彩度に対する関係が形成され、その結果、信号変換の複雑さが低減され、信号変換効率が改善される。
例えば、本願の実施形態は、別のビデオ信号処理方法を提供する。方法は以下のシナリオに適用可能である:処理対象のビデオ信号は、輝度レンジが[0,1000]ニットであり且つ色域レンジがBT.2020であるHDR HLG信号であり、ディスプレイ・デバイスによりサポートされる信号フォーマットはSDR信号であり、ディスプレイ・デバイスによりサポートされる輝度レンジは[0,200]ニットであり、ディスプレイ・デバイスによりサポートされる色域レンジはBT.709である。
’CbCrは、AVS2復号化及び再構成及びクロミナンス・アップサンプリングにより端末で復元される4:4:4YCbCr非線形ビデオ信号であると仮定する。各成分は10ビットのデジタル符号値である。
方法は具体的には以下の幾つかのステップを含む可能性がある。
1.処理対象のビデオ信号に対して彩度マッピングを実行し、彩度マッピングされた信号YCbCrを計算する。
(1)正規化されたオリジナル輝度Ynormを計算する。
norm=(Y-64)/(940-64) (48)
normは[0,1]のレンジに制限されることを要する。
(2)彩度マッピング・ゲインSmGain(換言すれば、前述の実施形態における彩度因子)を計算する。
SmGain=fsm(Ynorm) (49)
sm()は彩度マッピング曲線であり、輝度マッピング曲線ftm()に基づいて計算される。fsm()の計算ステップは以下のとおりである:
(a)輝度マッピング曲線ftm()を線形空間に変換して線形輝度マッピング曲線を取得する。
Figure 0007150127000033
Lは、ニットの単位における入力線形輝度であり、ftmL(L)の結果は、ニットの単位における線形輝度である。
(b)線形輝度マッピング曲線ftmL()をHLG空間に変換し、HLG信号に対する輝度マッピング曲線を取得する。
Figure 0007150127000034

eはHLG信号の正規化された輝度であり、ftmHLG(e)の結果はHLG信号の正規化された輝度である。
(c)彩度マッピング曲線fsm()を計算する。
Figure 0007150127000035
(3)彩度マッピングされた信号YCbCrを計算する。
Figure 0007150127000036
信号YCbCrは10ビット制限レンジにおけるデジタル符号値であり、Yの値は[64,940]のレンジ内にあることを必要とし、Cb及びCrの値は[64,960]のレンジ内にあることを必要とする。
2.信号YCbCrに対して色空間変換を実行して非線形信号R’G’B’を取得する。
Figure 0007150127000037
信号Y’CbCrは、10ビット制限レンジにおけるデジタル符号値であり、そのような処理の後に得られるR’G’B’は浮動小数点非線形原色値であり、その値は[0,1]のレンジに制限されることを要する。
3.非線形信号R’G’B’は線形信号Rに変換され、入力信号の線形輝度Yを計算する。
=HLG_OETF-1(E’) (56)
式中のEは信号Rにおける任意の成分の線形原色値を表し、Eの値は[0,1]のレンジ内にある。E’は、R’G’B’における成分であってEにより表現される成分に対応するものの非線形原色値である。関数HLG_OETF-1()は、ITU BT.2100に基づいて以下のように定められる:
Figure 0007150127000038
線形輝度Yは次のように計算される:
=0.2627R+0.6780G+0.0593B (58)
Ysは実数であり、その値は[0,1]のレンジ内にある。
4.輝度マッピングの後に得られる輝度値Yを計算する。
(1)表示輝度Yを計算する。
=1000(Y1.2 (59)
(2)視覚的な線形輝度YdPQを計算する。
Figure 0007150127000039
(3)輝度マッピングを実行してYtPQを取得する。
tPQ=ftm(YdPQ) (61)
式中のftm()は次のように定められる:
Figure 0007150127000040
関数hmt()は次のように定められる。
Figure 0007150127000041
(4)輝度マッピングの後に得られる正規化された線形輝度Yを計算する。
Figure 0007150127000042
従って、Yの計算式は:
=PQ_EOTF(ftm(PQ_EOTF-1(1000(Ys)1.2)) (46)
であり、Yは実数であり、その値は[0,200]のレンジに制限されることを要する。
5.輝度マッピング・ゲインTmGain(即ち、前述の実施形態における調整係数)を計算する。
輝度マッピング・ゲインTmGainの計算式は以下のとおりである:
Figure 0007150127000043
6.線形信号Rに対して輝度マッピングを実行して輝度マッピング信号Rtmtmtmを取得する。
tm=E×TmGain (68)
式中のEは、信号Rにおける任意の成分を表し、Etmは、Rにおける成分であって、Eにより表現される成分に対応するものを表す。
7.信号Rtmtmtmに対して色域マッピングが実行された後に得られる信号Rを計算する。
Figure 0007150127000044
そのような処理の後に得られる信号Rは浮動小数点線形原色値であり、その値は[0,200]のレンジに制限されることを要する。
8.Rが非線形空間に変換された後に得られる信号R’G’B’を計算する。
’=(E/200)1/γ (70)
式(70)におけるγは、2.2、2.4、又は他の値であってもよいことが理解されるべきである。γの値は実際の状況に基づいて選択されることが可能である。これは、本願のこの実施態様において限定されない。
9.非線形信号R’G’B’に対して色空間変換を実行してY’CbCrを取得する。
Figure 0007150127000045

’G’B’は非線形原色値であり、その値は[0,1]のレンジ内にある。このような処理の後に得られる信号Y’CbCrは10ビット制限レンジにおけるデジタル符号値であり、Yの値は[64,940]のレンジ内にあることを必要とし、Cb及びCrの値は[64,960]のレンジ内にあることを必要とする。
前述の実施形態において、色域変換及び輝度マッピングのシーケンスは変更されることが可能であり、色空間変換及び非線形空間-線形空間変換が彩度処理済み信号に対して実行された後に、色域変換が先ず実行され、次いで輝度処理が実行され、最終的に輝度処理済み信号が線形空間から非線形空間へ変換され、ディスプレイ・デバイスに合致するビデオ信号を得るために、色空間変換が実行される、ということを学ぶことができる。具体的には、図6に示すように、ビデオ信号処理方法は、少なくとも以下の幾つかのステップを含む可能性がある。
S601:処理対象のビデオ信号のクロミナンス成分に対して彩度マッピングを実行して第1ルミナンス・クロミナンス信号を取得する。
具体的には、S601はS501と一致しており、詳細はここでは説明されない。
S602:第1ルミナンス・クロミナンス信号に対して色空間変換を実行して第1非線形RGB信号を取得する。
具体的には、S602はS502と一致しており、詳細はここでは説明されない。
S603:電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得する。
具体的には、S603はS503と一致しており、詳細はここでは説明されない。
S604:第1線形RGB信号に対して色域変換を実行して第2線形RGB信号を取得する。第2線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。
具体的には、S604はS505に類似しており、詳細はここでは説明されない。
S605:第2線形RGB信号に対して輝度マッピングを実行して第3線形RGB信号を取得する。第3線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである。
具体的には、S605はS504と類似しており、詳細はここでは説明されない。
S606:光-電伝達関数に基づいて第3線形RGB信号を変換して第2非線形RGB信号を取得する。
具体的には、S606はS506と一致しており、詳細はここでは説明されない。
S607:第2非線形RGB信号に対して色空間変換を実行して第2ルミナンス・クロミナンス信号を取得する。
具体的には、S607はS507と一致しており、詳細はここでは説明されない。
別の可能な実施形態において、ビデオ信号処理方法は、処理対象のHDR HLG信号をHDR PQ信号に変換することに適用可能であるかもしれない。具体的なビデオ信号処理方法は図7に示されている。
S701:処理対象のビデオ信号に対して色空間変換及び非線形空間-線形空間変換を実行して第1線形RGB信号を取得する。
具体的には、非線形信号R’G’B’を取得するために、先ず色空間変換が処理対象のビデオ信号Y’CbCrに対して実行される。
’CbCrは、AVS2復号化、再構成及びクロミナンス・アップサンプリングによって端末で復元される4:4:4YCbCrの非線形ビデオ信号であることが仮定される。各成分は10ビット・デジタル符号値である。
Figure 0007150127000046
信号Y’CbCrは、10ビット制限レンジにおけるデジタル符号値であり、そのような処理の後に得られるR’G’B’は浮動小数点非線形原色値であり、その値は[0,1]のレンジに制限されることを必要とする。
非線形信号R’G’B’は、電-光伝達関数を使用することにより第1線形RGB信号Rに変換される。具体的な変換プロセスは以下のとおりである。
=HLG_OETF-1(E’) (75)
式中のEは、信号Rにおける任意の成分を表し、E’は、信号R’G’B’における成分であって、Eにより表現される成分に対応するものである。関数HLG_OETF-1()は、ITU BT.2100に基づいて以下のように定義される:
Figure 0007150127000047
S702:輝度マッピングにより第1線形RGB信号を第2線形RGB信号に変換する。
具体的には、S702は、以下の幾つかのステップを含む。
S7021:第1線形RGB信号の各原色値に基づいてシーン輝度値を計算する。
具体的には、シーン輝度値は、Y=0.2627R+0.6780G+0.0593B である。
S7022:ディスプレイ・デバイスの定格表示輝度ピーク値とシステム・ガンマ値とに基づいてシーン輝度値を調整して表示輝度値を取得する。
具体的には、表示輝度はY=Y γ*Lであり、Yは表示輝度値であり、Yはシーン輝度値であり、Lは定格表示輝度ピーク値であり、γはシステム・ガンマ値であり、γ=1.2+0.42*log10(L/1000)である。この実施形態では、入力信号の最大輝度は、L=1000ニットに設定される。もちろんLは代替的に別の値に設定されてもよい。これは具体的には入力信号の輝度レンジによって決定される。
S7023:各原色値に、表示輝度値のシーン輝度値に対する比率を乗算して、第2線形RGB信号を取得する。
具体的には、表示輝度値のシーン輝度値に対する比率は、輝度マッピング・ゲインTmGainである。
輝度マッピング・ゲインTmGainの計算は次式に示される:
Figure 0007150127000048
各原色値に、表示輝度値のシーン輝度値に対する比率を乗算し、第2線形RGB信号を取得するプロセスは、以下のとおりである:
=E×TmGain (78)
式中のEは、信号Rにおける任意の成分を表し、Eは、第2線形RGB信号Rにおける成分であってEにより表現される成分に対応するものである。
S703:光-電伝達関数に基づいて第2線形RGB信号を非線形RGB信号に変換する。
具体的には、非線形RGB信号はR’G’B’としてマークされる。光-電伝達プロセスは以下のとおりである:
’=PQ_EOTF-1(E) (79)
式中の関数PQ_EOTF-1()に関し、ITU BT.2100を参照すると定義は以下のとおりである:
Figure 0007150127000049
S704:非線形RGB信号に対して色空間変換を実行し、処理されたビデオ信号を取得する。処理されたビデオ信号の信号フォーマットはディスプレイ・デバイスに適合している。
具体的には、S503における非線形RGB信号R’G’B’に対して色空間変換を実行し、処理された信号Y’CbCrを取得するプロセスは以下のとおりである:
Figure 0007150127000050

’G’B’は浮動小数点非線形原色値であり、その値は[0,1]のレンジにある。このような処理の後に得られる信号Y’CbCrは10ビット制限レンジにおけるデジタル符号値である。
本願のこの実施形態では、処理対象のHDR HLG信号はHDR PQ信号に変換されることが可能であり、その結果、HDR HLGフォーマットにおけるビデオ信号は、HDR PQ信号フォーマットをサポートするディスプレイ・デバイスにおいて正しく表示されることが可能である。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。
別の可能な実施形態において、ビデオ信号処理方法は、BT.2020色域における処理対象のSDR信号をBT.709におけるSDR信号に変換することに適用可能である可能性がある。具体的なビデオ信号処理方法は図8に示されている。
S801:処理対象のビデオ信号に対して色空間変換及び非線形空間-線形空間変換を実行して第1線形RGB信号を取得する。
具体的には、色空間変換及び非線形空間-線形空間変換はS501におけるものと同様であり、S501における電-光伝達関数はガンマ曲線に変えられる。詳細はここでは説明されない。
S802:第1線形RGB信号に対して色域変換を実行して第2線形RGB信号を取得する。
第2線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。
具体的には、色域変換プロセスはS204における計算プロセスと一致しており、詳細はここでは説明されない。
S803:光-電伝達関数に基づいて第2線形RGB信号を変換して第1非線形RGB信号を取得する。
具体的には、ディスプレイ・デバイスによりサポートされる信号フォーマットはSDR信号である。例えば、光-電伝達関数は、ガンマ曲線を使用することにより計算されてもよく、具体的な光-電伝達プロセスは以下のとおりである:
Figure 0007150127000051

Eは第2線形RGB信号における任意の成分であり、E’は、第1非線形RGB信号における成分であって、Eによって表現される成分に対応するものである。
S804:第1非線形RGB信号に対して色空間変換を実行して第2ルミナンス・クロミナンス信号を取得する。第2ルミナンス・クロミナンス信号の信号フォーマットは、ディスプレイ・デバイスに適合している。
具体的には、色空間変換プロセスはS504と一致しており、詳細はここでは説明されない。
本願のこの実施形態では、BT.2020色域における処理対象のSDR信号はBT.709におけるSDR信号に変換されることが可能であり、その結果、BT.2020色域におけるSDR信号は、BT.709におけるSDR信号フォーマットをサポートするディスプレイ・デバイスにおいて、正しく表示されることが可能である。これは、ピクチャの歪み及び不正確なカラー・パフォーマンスの問題を回避する。
本願の実施形態は、対応するビデオ信号処理装置を更に提供する。図9に示されるように、ビデオ信号処理装置70は、少なくとも、色空間変換ユニット710、電-光トランスファ・ユニット720、輝度マッピング・ユニット730、色域変換ユニット740、光-電トランスファ・ユニット750、及び彩度マッピング・ユニット760を含む可能性がある。
色空間変換ユニット710は、処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得するように構成される。詳細についてはS201の説明を参照されたい。詳細はここでは説明されない。
電-光トランスファ・ユニット720は、電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得するように構成される。詳細についてはS202の説明を参照されたい。詳細はここでは説明されない。
輝度マッピング・ユニット730は、第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するように構成されており、第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである。詳細についてはS203の説明を参照されたい。詳細はここでは説明されない。
色域変換ユニット740は、第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得するように構成されており、第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。詳細についてはS204の説明を参照されたい。詳細はここでは説明されない。
光-電トランスファ・ユニット750は、第3線形RGB信号を変換して第2非線形RGB信号を取得するように構成される。詳細についてはS205の説明を参照されたい。詳細はここでは説明されない。
色空間変換ユニット710は、更に、第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得するように構成される。詳細についてはS206の説明を参照されたい。詳細はここでは説明されない。
彩度マッピング・ユニット760は、第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得するように構成される。詳細についてはS207の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、処理対象のビデオ信号は、HDR信号であり、第2ルミナンス・クロミナンス信号は、SDR信号である。
可能な実施形態において、輝度マッピング・ユニット730は、第1計算サブユニット7310、第1変換サブユニット7320、及び第1取得サブユニット7330を含んでもよい。
第1計算サブユニット7310は、第1線形RGB信号の各原色値に基づいて一時輝度値を計算するように構成される。詳細についてはS2031の説明を参照されたい。詳細はここでは説明されない。
第1変換サブユニット7320は、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得する構成される。詳細についてはS2032の説明を参照されたい。詳細はここでは説明されない。
第1取得サブユニット7330は、各原色値に調整係数を乗算して第3線形RGB信号を取得するように構成される。詳細についてはS2033の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、一時輝度値は次式により算出される:
Y=C×R+C×G+C×B (84)
Yは一時輝度値であり、R、G、Bはそれぞれ第1線形RGB信号の原色値であり、C=0.2627、C=0.678、及びC=0.0593である。
可能な実施形態において、第1変換サブユニット7320は、第1マッピング関係テーブルを使用することによって、一時輝度値に対応する調整係数を決定するように構成され、第1マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実施形態において、彩度マッピング・ユニット760は、第2変換サブユニット7610、及び第2取得サブユニット7620を含む。
第2変換サブユニット7610は、予め設定済みの彩度マッピング曲線に基づいて一時輝度値を変換して彩度因子を取得するように構成される。詳細についてはS2071の説明を参照されたい。詳細はここでは説明されない。
第2取得サブユニット7620は、彩度因子と予め設定済みの色度調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するように構成される。詳細についてはS2072の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、第2変換サブユニット7610は、第2マッピング関係テーブルを使用することによって、一時輝度値に対応する彩度係数を決定するように構成され、第2マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実施形態において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマットを含む。
本願のこの実施形態では、処理対象のHDRビデオ信号はSDR信号に変換されることが可能であり、その結果、SDR信号は、SDR信号をサポートするディスプレイ・デバイスにおいて正しく表示されることが可能である。本願のこの実施形態では、先ず線形空間において処理対象のビデオ信号に対して輝度処理が実行され、次いで輝度処理済み信号に対して色域変換が実行され、色域変換済み信号は非線形空間に変換され、色空間が変換され、ディスプレイがビデオを正しく再生するために、ディスプレイによってサポートされるフォーマットに一致する信号を出力するように彩度処理が実行される。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。また、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、ビデオ信号の輝度が処理された後に、クロミナンス成分は、輝度マッピング曲線と輝度処理入力信号の輝度値とに基づいて相応に調整され、その結果、ビデオ信号の輝度と彩度の両方が効果的に調整されることが可能である。前述の方法では、処理の観点から、輝度、色域、及び彩度に対する関係が形成され、その結果、信号変換の複雑さが低減され、信号変換効率が改善される。
本願の実施形態は、更に、別の対応するビデオ信号処理装置を提供する。図10に示されるように、ビデオ信号処理装置80は、少なくとも、彩度マッピング・ユニット810、色空間変換ユニット820、電-光トランスファ・ユニット830、輝度マッピング・ユニット840、色域変換ユニット850、及び光-電トランスファ・ユニット860を含む可能性がある。
彩度マッピング・ユニット810は、処理対象のビデオ信号のクロミナンス成分に対して彩度マッピングを実行して第1ルミナンス・クロミナンス信号を取得するように構成される。詳細についてはS501の説明を参照されたい。詳細はここでは説明されない。
色空間変換ユニット820は、第1ルミナンス・クロミナンス信号に対して色空間変換を実行して第1非線形RGB信号を取得するように構成される。詳細についてはS502の説明を参照されたい。詳細はここでは説明されない。
電-光トランスファ・ユニット830は、電-光伝達関数に基づいて第1非線形RGB信号を変換して第1線形RGB信号を取得するように構成される。詳細についてはS503の説明を参照されたい。詳細はここでは説明されない。
輝度マッピング・ユニット840は、第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するように構成され、第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである。詳細についてはS504の説明を参照されたい。詳細はここでは説明されない。
色域変換ユニット850は、第2線形RGB信号に対して色域変換を実行して第3線形RGB信号を取得するように構成され、第3線形RGB信号に対応する色域は、ディスプレイ・デバイスに対応する色域と同じである。詳細についてはS505の説明を参照されたい。詳細はここでは説明されない。
光-電トランスファ・ユニット860は、光-電伝達関数に基づいて第3線形RGB信号を変換して第2非線形RGB信号を取得するように構成される。詳細についてはS506の説明を参照されたい。詳細はここでは説明されない。
色空間変換ユニット820は、更に、第2非線形RGB信号に対して色空間変換を実行して第2ルミナンス・クロミナンス信号を取得するように構成される。詳細についてはS507の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、処理対象のビデオ信号は、HDR信号であり、第2ルミナンス・クロミナンス信号は、SDR信号である。
可能な実施形態において、彩度マッピング・ユニット810は、第1変換サブユニット8110及び第1取得サブユニット8120を含んでもよい。
第1変換サブユニット8110は、予め設定済みの彩度マッピング曲線に基づいて、処理対象のビデオ信号の輝度成分を変換して彩度因子を取得するように構成される。詳細についてはS5011の説明を参照されたい。詳細はここでは説明されない。
第1取得サブユニット8120は、彩度因子と予め設定済みの色度調整因子との積に、クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するように構成される。詳細についてはS5012の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、第1変換サブユニットは、第1マッピング関係テーブルを使用することにより、処理対象のビデオ信号のルミナンス成分に対応する彩度因子を決定するように構成され、第1マッピング関係テーブルは、彩度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実施形態において、輝度マッピング・ユニット840は、第2計算サブユニット8410、第2変換サブユニット8420、及び第2取得サブユニット8430を含んでもよい。
第2計算サブユニット8410は、第1線形RGB信号の各原色値に基づいて一時輝度値を計算するように構成される。詳細についてはS4041の説明を参照されたい。詳細はここでは説明されない。
第2変換サブユニット8420は、予め設定済みの輝度マッピング曲線に基づいて一時輝度値を変換して調整係数を取得するように構成される。詳細についてはS4042の説明を参照されたい。詳細はここでは説明されない。
第2取得サブユニット8430は、各原色値に調整係数を乗算して第2線形RGB信号を得るように構成される。詳細についてはS4043の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、一時輝度値は次式により算出される:
Y=C×R+C×G+C×B (85)
Yは一時輝度値であり、R、G、Bはそれぞれ第1線形RGB信号の原色値であり、C=0.2627、C=0.678、C=0.0593である。
可能な実施形態において、第2変換サブユニットは、第2のマッピング関係テーブルを使用することにより、一時輝度値に対応する調整係数を決定するように構成され、第2マッピング関係テーブルは、輝度マッピング曲線における少なくとも1つのサンプリング点の水平座標値及び垂直座標値を格納するために使用される。
可能な実施形態において、第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマットを含む。
各ユニットの説明については、ビデオ信号処理方法の前述の実施形態を更に参照されたい、ということが理解されるであろう。詳細はここでは説明されない。
本願のこの実施形態は、処理対象のHDR HLG信号がSDR信号に変換されるシナリオ、処理対象のHDR PQ信号がSDR信号に変換されるシナリオ、及び処理対象のSDR信号がHDR HLG信号又はHDR PQ信号に変換されるシナリオに適用可能である。本願のこの実施形態では、処理対象のビデオ信号は、ディスプレイ・デバイスにおいて正しく表示されることが可能である。先ず処理対象のビデオ信号に対して彩度マッピングが実行され、次に線形空間において彩度マッピング信号に対して輝度マッピングが実行され、次に輝度マッピング信号に対して色域変換が実行され、色域変換された信号が非線形空間に変換され、ディスプレイがビデオを正しく再生するために、ディスプレイによりサポートされるフォーマットに合った信号を出力するように、色空間が変換される。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。更に、本願のこの実施形態では、輝度処理と色域処理とが組み合わせられ、ビデオ信号の輝度が処理される前に、輝度マッピング曲線に基づいてクロミナンス成分が相応に調整され、その結果、ビデオ信号の輝度と彩度の両方を効果的に調整することができる。前述の方法では、処理の観点から、輝度、色域、及び彩度に対する関係が形成され、その結果、信号変換の複雑さが低減され、信号変換効率が改善される。
本願の実施形態は、更に別のビデオ信号処理装置を提供する。図11に示されるように、ビデオ信号処理装置90は、少なくとも変換ユニット910、輝度マッピング・ユニット920、光-電トランスファ・ユニット930、及び色空間変換ユニット940を含む可能性がある。
変換ユニット910は、処理対象のビデオ信号に対して色空間変換及び非線形空間-線形空間変換を実行して第1線形RGB信号を取得するように構成される。詳細についてはS701の説明を参照されたい。詳細はここでは説明されない。
輝度マッピング・ユニット920は、輝度マッピングによって、第1線形RGB信号を第2線形RGB信号に変換するように構成される。詳細についてはS702の説明を参照されたい。詳細はここでは説明されない。
光-電トランスファ・ユニット930は、光-電伝達関数に基づいて、第2線形RGB信号を非線形RGB信号に変換するように構成される。詳細についてはS703の説明を参照されたい。詳細はここでは説明されない。
色空間変換ユニット940は、非線形RGB信号に対して色空間変換を実行して処理されたビデオ信号を取得するように構成され、処理されたビデオ信号の信号フォーマットはディスプレイ・デバイスに適合している。詳細についてはS704の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態において、処理対象のビデオ信号はハイブリッド対数ガンマHLG信号であり、処理されたビデオ信号は知覚量子化PQ信号である。
可能な実施形態において、非線形空間-線形空間変換は、HLG光-電変換の逆プロセスである。
可能な実施形態において、輝度マッピング・ユニット920は、第1計算サブユニット9210、調整サブユニット9220、及び取得サブユニット9230を含んでもよい。
第1の計算サブユニット9210は、第1線形RGB信号の各原色値に基づいてシーン輝度値を計算するように構成される。詳細についてはS7021の説明を参照されたい。詳細はここでは説明されない。
調整サブユニット9220は、表示輝度値を得るために、ディスプレイ・デバイスの定格表示輝度ピーク値及びシステム・ガンマ値に基づいて、シーン輝度値を調整するように構成される。詳細についてはS7022の説明を参照されたい。詳細はここでは説明されない。
取得サブユニット9230は、各原色値に、表示輝度値のシーン輝度値に対する比率を乗算して、第2線形RGB信号を取得するように構成される。詳細についてはS7023の説明を参照されたい。詳細はここでは説明されない。
可能な実施形態では、表示輝度値は以下の式に従って取得される:
=Y γ*L
は表示輝度値であり、Yはシーン輝度値であり、Lは定格表示輝度ピーク値であり、γはシステム・ガンマ値であり、γ=1.2+0.42*log10(L/1000)である。
本願のこの実施形態では、処理対象のHDR HLG信号はHDR PQ信号に変換されることが可能であり、その結果、HDR HLGフォーマットのビデオ信号は、HDR PQ信号フォーマットをサポートするディスプレイ・デバイスにおいて、正しく表示されることが可能である。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。
各ユニットの説明については、ビデオ信号処理方法の前述の実施形態を更に参照されたい、ということは理解されるであろう。詳細はここでは説明されない。
本願では、図9、図10、図11の実施形態で提供されるビデオ信号処理装置は、同じ装置であってもよく、装置のユニットの位置及びパラメータは、調整可能である。具体的には、装置によって含まれるユニットの位置及びパラメータは、処理対象のビデオ信号のフォーマット及びディスプレイ・デバイスによってサポートされる信号フォーマットに基づいて調整されてもよく、その結果、装置は各ビデオ信号変換シナリオに適用可能である。
本願の実施形態は、別のビデオ信号処理装置を提供する。図12に示されるように、ビデオ信号処理装置100は、少なくとも1つのプロセッサ1001、少なくとも1つのネットワーク・インターフェース1004、ユーザー・インターフェース1003、メモリ1005、少なくとも1つの通信バス1002、及び表示スクリーン1006を少なくとも含む可能性がある。通信バス1002は、これらのコンポーネント間の接続及び通信を実現するように構成される。ビデオ信号処理装置100内の各コンポーネントは、別のコネクタを使用することによって更に結合されてもよく、別のコネクタは、種々のインターフェース、伝送ライン又はバスなどを含んでもよいことが理解されるべきである。本願の各実施形態において、結合は、特定の方法での相互接続を意味し、直接接続、又は他のデバイスを使用することによる間接接続を含む。
プロセッサ1001は、以下のタイプのうちの少なくとも1つを含むことができる:汎用中央集中処理ユニット(central processing unit,CPU)、デジタル信号プロセッサ(digital signal processor,DSP)、マイクロプロセッサ、特定用途向け集積回路(application specific integrated circuit,ASIC)、マイクロコントローラ・ユニット(microcontroller unit,MCU)、フィールド・プログラマブル・ゲート・アレイ(field programmable gate array,FPGA)、又は論理演算を実現するように構成された集積回路。例えば、プロセッサ1001は、シングル・コア(single-CPU)プロセッサ又はマルチ・コア(multi-CPU)プロセッサであってもよい。プロセッサ1001に含まれる複数のプロセッサ又はユニットは、1つのチップに集積されてもよいし、又は複数の異なるチップに配置されてもよい。ユーザー・インターフェース1003は、物理的なボタン(押しボタン、ロッカー・ボタン等)、ダイヤル・パッド、スライダ・スイッチ、ジョイスティック、クリック・スクロール・ホイール、光学マウス(光学マウスは、視覚的な出力を表示しない接触感知表面、又はタッチスクリーンを含む接触感知表面の拡張である)等を含んでもよい。ネットワーク・インターフェース1004は、オプションとして、標準有線インターフェース及び無線インターフェース(例えば、WI-FIインターフェース)を含んでもよい。メモリ1005は、不揮発性メモリ、例えば、埋め込みマルチメディア・カード(embedded multi media card,EMMC)、ユニバーサル・フラッシュ・ストレージ(universal flash storage,UFS)、又はリード・オンリー・メモリ(read-only memory,ROM)であってもよい。オプションとして、メモリ1005は、本願のこの実施形態におけるフラッシュ、又は静的な情報及び命令を記憶することができる別のタイプの静的記憶装置を含み、又はランダム・アクセス・メモリ(Random Access Memory,RAM)などの揮発性メモリ(volatile memory)、又は情報及び命令を記憶することができる別のタイプの動的記憶装置、又は電気的に消去可能なプログラマブル・リード・オンリー・メモリ(electrically erasable programmable read-only memory, EEPROM)、コンパクト・ディスク・リード・オンリー・メモリ(compact disc read-only memory,CD-ROM)又は別のディスク記憶装置、光ディスク記憶装置(コンパクト・ディスク、レーザー・ディスク、光ディスク、デジタル汎用ディスク、ブルー・レイ・ディスクなどを含む)、磁気記憶媒体又は別の磁気記憶装置、あるいは、命令又はデータ構造形式でプログラム・コードを搬送又は格納するために使用されることが可能であって、コンピュータによりアクセスされることが可能な他の任意のコンピュータ読み取り可能な記憶媒体を含むが、これらに限定されない。オプションとして、メモリ1005は、プロセッサ1001から遠く離れた少なくとも1つの記憶システムであってもよい。図12に示されるように、コンピュータ記憶媒体として、メモリ1005は、オペレーティング・システム、ネットワーク通信モジュール、ユーザー・インターフェース・モジュール、及びプログラム命令を含んでもよい。
メモリ1005は、独立して存在してもよく、コネクタを使用することによりプロセッサ1001に結合される。メモリ1005は、代替的に、プロセッサ1001と一体化されてもよい。メモリ1005は、本願を実行するためのプログラム命令を含む様々なコンピュータ・プログラム命令を記憶することが可能であり、実行はプロセッサ1001によって制御される。実行される種々のコンピュータ・プログラム命令はまた、プロセッサ1001のドライバ・プログラムとして考えられてもよい。例えば、プロセッサ1001は、メモリ1005に記憶されたコンピュータ・プログラム命令を実行し、本願の方法の実施形態における方法を実現するように構成される。非常に大量のコンピュータ・プログラム命令が存在し、コンピュータ・プログラム命令は、プロセッサ1001内の少なくとも1つのプロセッサによって実行されることが可能なコンピュータ実行可能命令を形成し、関連するプロセッサを、種々のタイプの処理、例えば前述の種々の無線通信プロトコルをサポートする通信信号処理アルゴリズム、オペレーティング・システムの実行、又はアプリケーション・プログラムの実行を行うように駆動することができる。
表示スクリーン1006は、ユーザーにより入力された情報を表示するように構成される。例えば、表示スクリーン1006は表示パネル及びタッチ・パネルを含んでもよい。表示パネルは、液晶ディスプレイ(liquid crystal display,LCD)、有機発光ダイオード(organic light-emitting diode,OLED)、発光ダイオード(light emitting diode,LED)ディスプレイ・デバイス、陰極線管(cathode ray tube,CRT)などを使用することにより構成されてもよい。タッチスクリーンとも言及されるタッチ・パネルは、タッチ・パネルの上又はその近辺でユーザーによって実行された接触操作又は非接触操作(例えば、指又はスタイラスのような適切な任意の物体又はアクセサリを使用することによりタッチ・パネルの上又は近辺でユーザーによって実行された操作であって、身体感知動作を更に含んでもよい操作であり、操作は、単一点制御操作及び多点制御操作等の操作タイプを含む)を収集し、予め設定済みのプログラムに基づいて対応する接続装置を駆動することができる。
本願のこの実施形態では、プレイヤにより受信されたビデオのフォーマットがディスプレイによりサポートされるビデオ・フォーマットと一致しない場合には、受信したビデオのフォーマットは、ディスプレイによりサポートされるビデオ・フォーマットにフォーマットを整合させるように変換され、その結果、ディスプレイはビデオを正しく再生する。これは、ピクチャの歪み、不正確なカラー・パフォーマンス、及び詳細の損失などの問題を回避する。
当業者は、実施形態における方法のプロセスの全部又は一部が、関連するハードウェアを指示するコンピュータ・プログラムによって実現されてもよいことを理解するであろう。プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。プログラムが実行されると、実施形態における方法のプロセスが実行される。記憶媒体の種類についてはメモリ1005の説明を参照されたい。
本願の実施形態は、更に、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータ読み取り可能な記憶媒体は命令を記憶し、命令がコンピュータ又はプロセッサ上で実行されると、コンピュータ又はプロセッサは、上記のビデオ信号処理方法のうちの何れか1つにおける1つ以上のステップを実行できるようにされる。ソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用される場合、前述の装置のモジュールは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。
このような理解に基づいて、本願の実施形態の技術的解決策、先行技術に対して貢献する部分、又は技術的解決策の全部又は一部は、ソフトウェア製品の形態で実現されてもよい。ソフトウェア製品は、記憶媒体に格納され、本願の実施形態で説明される方法の全部又は一部のステップを実行することを、再生デバイス又は再生デバイス内のプロセッサに指示するための幾つかの命令を含む。記憶媒体の種類についてはメモリ1005の関連する説明を参照されたい。
本願の実施形態で提供されるビデオ信号処理方法の具体的な実装は、HDR端末の技術的な解決策に関連し、全体的なビデオ・エンド・ツー・エンド・システムにおけるHDR端末の技術的枠組み及び関連する範囲の関係図が図13に示されている。
本願の実施態様で提供されるビデオ信号処理方法の特定の実装でサポートされるHDR入力信号源は、端末によって受信されるAVS2コード・ストリームである。復号化後に、4:2:0フォーマットの10ビット整数型YCbCr色差信号(以下、YCC信号と略記し、本明細書では改めて説明されない)及び関連するHDR静的又は動的メタデータが取得される。
上記のYCC HDR信号は、以下の幾つかの形式におけるものであってもよい:
Figure 0007150127000052
参考のために、4K超高解像度テレビ番組の映像パラメータをAVS2コード・ストリームにカプセル化したものを以下の表に示す。
Figure 0007150127000053
本願の実施態様で提供されるビデオ信号処理方法の特定の実施態様では、製造時点の相違に起因して、端末によって相互接続される可能性のあるTVは、HDR信号をサポートする能力の点で大幅に相違する可能性がある。通常、古いTVモデルでは新しい信号フォーマットをサポートすることができない。従って、復号端末は、HDR信号をサポートするために、TVの能力の相違に基づいて互換性適応を実行することを必要とする。
HDR信号に対するTVの様々な受信及び処理能力に基づいて、端末デバイスは、相互接続されたテレビを以下のタイプに分割することを必要とするかもしれない:
Figure 0007150127000054
本願の実施形態で提供されるビデオ信号処理方法の特定の実装において、HDR HLG信号を上記のタイプのTVに送信するために、以下の表に列挙される信号変換処理が、信号とTVとの間の互換性適応を実現するために実行される。
Figure 0007150127000055
前述の表において、タイプ2のテレビ・セットは、一般に、BT.709の色域における信号を処理する能力も有する。従って、本願のこの実施形態では、タイプ2のテレビ・セットに対しては、HDR HLG信号もまたBT.709の色域に変換され、タイプ2のテレビ・セットに送信される。
本願のこの実施形態では、処理対象のビデオ信号が変換された後に、変換済み出力信号に対してエフェクト・テストが実行されてもよい。具体的なテスト方法は以下のとおりである:評価対象の画像及びリファレンス画像は、後述する各テスト・スキームに基づいて、特定の期間にわたって、観察者に対して連続的に再生され、次いで、再生後に観察者が採点するための特定の時間インターバルが設定される。最終的に、与えられたすべてのスコアは、このシーケンスの評価値、言い換えれば、評価対象の画像の評価値として平均化される。
BT.500-13の画質及びダメージの採点ルールを参考に、複数のテスト者が以下の表の採点基準に基づいて様々なテスト対象を採点する。
Figure 0007150127000056
本願の実施態様で提供されるビデオ信号処理方法の特定の実装において、HDR HLG信号がSDR TVに適合するシナリオにおける試験回答は以下のように記載される:
試験目的:HDR HLG信号がSDR TVに送信される場合に、HDR HLGからSDRへの画像適応変換が、有益な画像効果を提供できるかどうかを、対照及び試験により記述すること。
DUT:HLGをSDR 709に変換すること。
ベンチマーク1:SDR BT.709においてHLGを表示すること。
ベンチマーク2:HLG BT2020モードにおいてHDR HLGテレビでHLGを眺めること。
HDR HLG信号がSDR TVに適合するシナリオにおける試験ネットワーク方式の概略図が図14に示されている。本願の実施態様で提供されるビデオ信号処理方法の具体的な実装において、HDR HLG信号がHDR PQ TVに適合するシナリオにおける試験回答は以下のように記載される。
DUT:HLGをHDR PQ BT2020に変換すること。
ベンチマーク1:SDR BT.709モードにおいてHDR PQ TVでHLGを眺めること。
ベンチマーク2:HLG BT2020モードにおいてHDR PQ TVでHLGを眺めること。
HDR HLG信号がHDR PQ TVに適合するシナリオにおける試験ネットワーク方式の概略図が図15に示されている。
本願の実施態様における方法の一連のステップは、実際の要件に基づいて調整され、組み合わせられ、又は削除されたりすることが可能である。
本願の実施形態における装置のモジュールは、実際の要件に基づいて組み合わせられ、分割され、又は削除されたりすることが可能である。
結論として、前述の実施形態は、本願の技術的解決策を単に説明するために意図されているに過ぎず、本願を限定するためではない。本願は、前述の実施形態を参照して詳細に説明されているが、当業者は、本願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態で説明されている技術的解決策に対して更に修正を行ってもよいこと、あるいはそのうちの幾つかの技術的特徴に対して均等な置換を行ってもよいことを理解するはずである。

Claims (15)

  1. ビデオ信号処理方法であって、
    処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得するステップと、
    電-光伝達関数に基づいて前記第1非線形RGB信号を変換して第1線形RGB信号を取得するステップと、
    前記第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するステップであって、前記第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである、ステップと、
    光-電伝達関数に基づいて前記第2線形RGBを変換して第2非線形RGB信号を取得するステップと、
    前記第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得するステップと、
    前記第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得するステップと
    を含む方法。
  2. 前記処理対象のビデオ信号は高ダイナミック・レンジ(HDR)信号であり、前記第2ルミナンス・クロミナンス信号は標準ダイナミック・レンジ(SDR)信号である、請求項1に記載の方法。
  3. 前記第1線形RGB信号に対して輝度マッピングを実行する前記ステップは、
    前記第1線形RGB信号の各原色値に基づいて一時輝度値を計算するステップと、
    予め設定済みの輝度マッピング曲線に基づいて前記一時輝度値を変換して調整係数を取得するステップと、
    各原色値に前記調整係数を乗算して前記第2線形RGB信号を取得するステップと
    を含む、請求項1又は2に記載の方法。
  4. 前記一時輝度値は以下の式:
    Y=C×R+C×G+C×B
    に従って計算され、Yは前記一時輝度値であり、R、G、及びBはそれぞれ前記第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である、請求項3に記載の方法。
  5. 前記第1ルミナンス・クロミナンス信号の前記クロミナンス成分に対して彩度マッピングを実行する前記ステップは、
    予め設定済みの彩度マッピング曲線に基づいて前記一時輝度値を変換して彩度因子を取得するステップと、
    前記彩度因子と予め設定済みのクロミナンス調整因子との積に、前記クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得するステップと
    を含む、請求項3又は4に記載の方法。
  6. 前記第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマットを含む、請求項1~5のうちの何れか1項に記載の方法。
  7. ビデオ信号処理装置であって、前記装置は、
    処理対象のビデオ信号に対して色空間変換を実行して第1非線形RGB信号を取得するように構成された色空間変換ユニットと、
    電-光伝達関数に基づいて前記第1非線形RGB信号を変換して第1線形RGB信号を取得するように構成された電-光トランスファ・ユニットと、
    前記第1線形RGB信号に対して輝度マッピングを実行して第2線形RGB信号を取得するように構成された輝度マッピング・ユニットであって、前記第2線形RGB信号に対応する輝度値のレンジは、ディスプレイ・デバイスに対応する輝度値のレンジと同じである、輝度マッピング・ユニットと、
    光-電伝達関数に基づいて前記第2線形RGBを変換して第2非線形RGB信号を取得するように構成された光-電トランスファ・ユニットと
    を含み、前記色空間変換ユニットは、前記第2非線形RGB信号に対して色空間変換を実行して第1ルミナンス・クロミナンス信号を取得するように更に構成されており、
    前記装置は、前記第1ルミナンス・クロミナンス信号のクロミナンス成分に対して彩度マッピングを実行して第2ルミナンス・クロミナンス信号を取得するように構成された彩度マッピング・ユニット
    を含む、装置。
  8. 前記処理対象のビデオ信号は高ダイナミック・レンジ(HDR)信号であり、前記第2ルミナンス・クロミナンス信号は標準ダイナミック・レンジ(SDR)信号である、請求項7に記載の装置。
  9. 前記輝度マッピング・ユニットは、
    前記第1線形RGB信号の各原色値に基づいて一時輝度値を計算し、
    予め設定済みの輝度マッピング曲線に基づいて前記一時輝度値を変換して調整係数を取得し、
    各原色値に前記調整係数を乗算して前記第線形RGB信号を取得する
    ように構成されている、請求項7又は8に記載の装置。
  10. 前記一時輝度値は以下の式:
    Y=C×R+C×G+C×B
    に従って計算され、Yは前記一時輝度値であり、R、G、及びBはそれぞれ前記第1線形RGB信号の原色値であり、C1=0.2627、C2=0.678、及びC3=0.0593である、請求項9に記載の装置。
  11. 前記彩度マッピング・ユニットは、
    予め設定済みの彩度マッピング曲線に基づいて前記一時輝度値を変換して彩度因子を取得し、
    前記彩度因子と予め設定済みのクロミナンス調整因子との積に、前記クロミナンス成分のクロミナンス値を乗算し、調整されたクロミナンス値を取得する
    ように構成されている、請求項9又は10に記載の装置。
  12. 前記第1ルミナンス・クロミナンス信号のカラー・フォーマットは、YUVフォーマット又はYCbCrフォーマットを含む、請求項7~11のうちの何れか1項に記載の装置。
  13. プログラム命令を記憶するように構成されたメモリと、
    前記メモリ中の前記プログラム命令を呼び出し、前記プログラム命令を実行して請求項1~6のうちの何れか1項に記載のビデオ信号処理方法を実行するように構成されたプロセッサと
    を含むビデオ信号処理装置。
  14. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体はプログラム命令を記憶し、前記プログラム命令がコンピュータ又はプロセッサ上で実行されると、前記コンピュータ又は前記プロセッサは請求項1~6のうちの何れか1項に記載のビデオ信号処理方法を実行することが可能である、コンピュータ読み取り可能な記憶媒体。
  15. 請求項1~6のうちの何れか1項に記載の方法をプロセッサに実行させるコンピュータ・プログラム。
JP2021500066A 2018-07-05 2019-06-11 ビデオ信号処理方法及び装置 Active JP7150127B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201810743840 2018-07-05
CN201810743840.5 2018-07-05
CN201810799589.4A CN108882028B (zh) 2018-07-05 2018-07-19 视频信号的处理方法及装置
CN201810799589.4 2018-07-19
PCT/CN2019/090709 WO2020007167A1 (zh) 2018-07-05 2019-06-11 视频信号的处理方法及装置

Publications (2)

Publication Number Publication Date
JP2021529405A JP2021529405A (ja) 2021-10-28
JP7150127B2 true JP7150127B2 (ja) 2022-10-07

Family

ID=64303528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500066A Active JP7150127B2 (ja) 2018-07-05 2019-06-11 ビデオ信号処理方法及び装置

Country Status (6)

Country Link
US (1) US11750785B2 (ja)
EP (1) EP3796666A4 (ja)
JP (1) JP7150127B2 (ja)
KR (1) KR102493933B1 (ja)
CN (2) CN108882028B (ja)
WO (1) WO2020007167A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108882028B (zh) * 2018-07-05 2019-06-14 华为技术有限公司 视频信号的处理方法及装置
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
CN109671399B (zh) * 2018-12-11 2020-08-18 惠科股份有限公司 一种显示模组的驱动方法、驱动系统和显示装置
US11095861B2 (en) 2019-01-31 2021-08-17 Coretronic Corporation Projector and method for projecting image light beam
US10986320B2 (en) 2019-01-31 2021-04-20 Coretronic Corporation Projector and method for projecting image light beam
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
EP3754978A1 (en) * 2019-06-18 2020-12-23 Coretronic Corporation Projector and method for projecting image light beam
CN110675797B (zh) * 2019-09-25 2023-10-13 深圳Tcl数字技术有限公司 一种色域映射方法、组件、显示装置及存储介质
CN115052137B (zh) 2019-10-18 2023-09-26 华为技术有限公司 一种饱和度调整的方法及装置
CN112911366B (zh) * 2019-12-03 2023-10-27 海信视像科技股份有限公司 饱和度调整方法、装置及显示设备
CN111343475B (zh) * 2020-03-04 2022-04-15 广州虎牙科技有限公司 数据处理方法和装置、直播服务器及存储介质
CN111669532B (zh) * 2020-06-02 2021-08-10 国家广播电视总局广播电视科学研究院 一种高动态范围视频端到端实现方法
CN114679626A (zh) * 2020-12-24 2022-06-28 深圳Tcl数字技术有限公司 一种图像处理方法、存储介质及显示设备
CN113489930B (zh) * 2021-06-10 2024-03-19 中央广播电视总台 一种视频信号处理方法、装置及存储介质
CN113870769B (zh) * 2021-09-23 2023-03-21 深圳市艾比森光电股份有限公司 显示屏系统的数据处理方法和系统
CN114422829A (zh) * 2022-01-30 2022-04-29 杭州雾联科技有限公司 一种hdr云视频处理方法、系统及设备
CN114693567B (zh) * 2022-05-30 2022-09-20 深圳思谋信息科技有限公司 图像颜色调整方法、装置、计算机设备和存储介质
CN115442636A (zh) * 2022-07-19 2022-12-06 广州博冠信息科技有限公司 直播视频流转换方法、装置、设备及存储介质
GB2627343A (en) * 2022-12-15 2024-08-21 Koninklijke Philips Nv Image processing apparatus and image processing method
CN117319620B (zh) * 2023-11-30 2024-03-08 深圳市尊正数字视频有限公司 一种hdr预览级现场实时调色方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033534A (ja) 2015-08-04 2017-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
JP2017092964A (ja) 2015-11-16 2017-05-25 トムソン ライセンシングThomson Licensing Hdr画像をエンコードするための方法及び装置
JP2018093530A (ja) 2014-05-28 2018-06-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
JP2017168101A5 (ja) 2017-03-10 2020-03-26

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4807412B2 (ja) * 2006-07-25 2011-11-02 株式会社ニコン 変換マトリックス決定方法、画像処理装置、画像処理プログラム、撮像装置
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
KR20120091578A (ko) * 2011-02-09 2012-08-20 삼성전자주식회사 영상의 밝기 변환 방법 및 장치
JP6015359B2 (ja) * 2012-11-02 2016-10-26 株式会社Jvcケンウッド カラー映像信号処理装置、処理方法及び処理プログラム
BR112015020009B1 (pt) * 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
CN109064433B (zh) * 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
WO2016020189A1 (en) * 2014-08-08 2016-02-11 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
US9654755B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Dynamic range converter with logarithmic conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
KR20170091744A (ko) * 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
EP3051487A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and device for mapping a HDR picture to a SDR picture and corresponding SDR to HDR mapping method and device
EP3054417A1 (en) * 2015-02-06 2016-08-10 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range images
US20160309154A1 (en) 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
KR20180006898A (ko) * 2015-05-12 2018-01-19 소니 주식회사 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
CN107211079B (zh) * 2015-12-17 2021-05-28 皇家飞利浦有限公司 用于图像和视频的动态范围编码
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
JP2019512953A (ja) * 2016-03-14 2019-05-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ダイナミックレンジマッピングのための飽和処理仕様
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
CN107786865B (zh) * 2016-08-31 2019-11-26 深圳市中兴微电子技术有限公司 一种视频帧的处理方法和装置
US10382735B2 (en) * 2016-10-04 2019-08-13 Dolby Laboratories Licensing Corporation Targeted display color volume specification via color remapping information (CRI) messaging
US10244244B2 (en) * 2016-10-26 2019-03-26 Dolby Laboratories Licensing Corporation Screen-adaptive decoding of high dynamic range video
GB2561395A (en) * 2017-04-13 2018-10-17 Sony Corp Colour conversion
CN107154059B (zh) * 2017-06-26 2020-08-04 杭州当虹科技股份有限公司 一种高动态范围视频处理方法
CN108882028B (zh) * 2018-07-05 2019-06-14 华为技术有限公司 视频信号的处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093530A (ja) 2014-05-28 2018-06-14 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
JP2017033534A (ja) 2015-08-04 2017-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
JP2017092964A (ja) 2015-11-16 2017-05-25 トムソン ライセンシングThomson Licensing Hdr画像をエンコードするための方法及び装置
JP2017168101A5 (ja) 2017-03-10 2020-03-26

Also Published As

Publication number Publication date
CN110691277A (zh) 2020-01-14
WO2020007167A1 (zh) 2020-01-09
CN108882028B (zh) 2019-06-14
US20210092342A1 (en) 2021-03-25
CN108882028A (zh) 2018-11-23
EP3796666A1 (en) 2021-03-24
US11750785B2 (en) 2023-09-05
KR102493933B1 (ko) 2023-02-06
EP3796666A4 (en) 2021-06-30
KR20210015959A (ko) 2021-02-10
JP2021529405A (ja) 2021-10-28
CN110691277B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
JP7150127B2 (ja) ビデオ信号処理方法及び装置
JP7101288B2 (ja) Hdr信号の変換用の方法及び装置
RU2648634C1 (ru) Кодирование и декодирование перцепционно квантованного видеосодержимого
TWI735036B (zh) 用於在高動態範圍信號中色彩轉換的方法、設備及非暫態電腦可讀儲存媒體
KR102377807B1 (ko) 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
WO2020007165A1 (zh) 一种视频信号处理的方法及装置
TWI690211B (zh) 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
EP3430807B1 (en) A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
KR101680254B1 (ko) 타깃 컬러 재현 디바이스의 교정 방법
CN108933933B (zh) 一种视频信号处理方法及装置
WO2017203942A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022218245A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
CN117319620B (zh) 一种hdr预览级现场实时调色方法
CN117499559B (zh) 虚拟拍摄系统、设备配置方法、装置、设备及存储介质
US11252401B2 (en) Optically communicating display metadata
Hel Visual Perception Entropy Measure
CN116501273A (zh) 画面显示方法、装置、计算机设备及存储介质
KR20040036789A (ko) 디지털 텔레비젼의 자연영상 생성장치 및 방법
Li et al. Chromatic Adaptation and Chromatic Adaptation Transform Issues in Color Appearance Model

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220927

R150 Certificate of patent or registration of utility model

Ref document number: 7150127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150