JP7462072B2 - ダイナミックレンジのマッピング方法及び機器 - Google Patents

ダイナミックレンジのマッピング方法及び機器 Download PDF

Info

Publication number
JP7462072B2
JP7462072B2 JP2022566031A JP2022566031A JP7462072B2 JP 7462072 B2 JP7462072 B2 JP 7462072B2 JP 2022566031 A JP2022566031 A JP 2022566031A JP 2022566031 A JP2022566031 A JP 2022566031A JP 7462072 B2 JP7462072 B2 JP 7462072B2
Authority
JP
Japan
Prior art keywords
curve
parameters
luminance
value
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022566031A
Other languages
English (en)
Other versions
JP2023523775A (ja
Inventor
シュイ，ウエイウエイ
ユイ，チュエンホーァ
チェン，ホゥ
ワーン，イーチュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023523775A publication Critical patent/JP2023523775A/ja
Application granted granted Critical
Publication of JP7462072B2 publication Critical patent/JP7462072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness

Description

［関連出願］
本願は、参照により全体がここに組み込まれる、中国特許出願番号２０２０１０３６５６９６.３号、中国国家知識産権局に２０２０年４月３０日に出願、名称「DYNAMIC RANGE MAPPING METHOD AND APPARATUS」の優先権を主張する。
［技術分野］
本願は、ディスプレイ技術の分野に関し、特に、ダイナミックレンジマッピング方法及び機器に関する。
ダイナミックレンジ（dynamic range, DR）は、多くの分野で変数の最大値と最小値の比を示す。デジタル画像の場合、ダイナミックレンジは、画像の表示可能な範囲における最大輝度と最小輝度の比、すなわち、画像の「最も明るい」部分と「最も暗い」部分との分割によって得られるグレースケールレベルの量を示す。輝度の単位はカンデラ毎平方メートル（cd/m２）であるが、ニト（nit）で表すこともある。画像のダイナミックレンジが大きいほど、画像を表現するための輝度レベルが多くなり、画像の視覚効果がよりリアルになる。現実世界の自然シーンのダイナミックレンジは、１０－３から１０６の間である。ダイナミックレンジは非常に大きいため、高ダイナミックレンジ（high dynamic range, HDR）と呼ばれる。高ダイナミックレンジ画像と比較して、一般的な画像は標準ダイナミックレンジ（standard dynamic range, SDR）又は低ダイナミックレンジ（low dynamic range, LDR）である。
現在では、ダイナミックレンジが０.１nit未満から４００nitまでのディスプレイ装置をSDRディスプレイ装置と呼ぶのが一般的である。ダイナミックレンジが０.０１nitより大きく５４０nitまでのディスプレイ装置をHDRディスプレイ装置と呼ぶのが一般的である。異なる高ダイナミックレンジディスプレイ装置は異なるダイナミックレンジを表示し、例えば、０.０１nit～５４０nitのHDRディスプレイ装置と０.００５nit～１０００nitのHDRディスプレイ装置である。ダイナミックレンジマッピング方法は、主にフロントエンドHDR信号とバックエンドHDRディスプレイ装置との間の適応処理に適用され、高から低へのトーンマッピング（tone mapping）処理と低から高へのtone-mapping処理が含まれる。例えば、フロントエンドは４０００nitの輝度信号を収集するが、バックエンドのディスプレイ装置は５００nitのHDR表示機能しか備えていない。したがって、４０００nitの輝度信号を５００nitのディスプレイ装置にマッピングすることは、高から低へのマッピング処理である。別の例では、フロントエンドは１００nitのSDR輝度信号を収集するが、バックエンドのディスプレイ装置は２０００nitのHDR表示機能を有する。したがって、１００nitの輝度信号を２０００nitのディスプレイ装置にマッピングすることは、低から高へのマッピング処理である。
従来の技術では、画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度よりも小さい場合、「S」字曲線のダイナミックレンジに基づくマッピングアルゴリズムを用いて、高ダイナミックレンジ画像を表示のためにディスプレイ装置で表示可能なダイナミックレンジに調整することがある。ただし、画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合、上記のソリューションをそのまま使用すると、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなるという異常が発生する。その結果、ユーザ経験に影響が生じる。
本願は、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避するために、ダイナミックレンジマッピング方法及び機器を提供する。
第１の態様によると、ダイナミックレンジマッピング方法であって、
端末装置のディスプレイパラメータを取得するステップと、
画像データの特徴情報を取得するステップと、
前記画像データの第１トーンマッピング曲線の第１パラメータを取得するステップと、
事前設定された条件が満たされると、前記第１パラメータ、前記端末装置の前記ディスプレイパラメータ、及び前記画像データの前記特徴情報に基づき、第２トーンマッピング曲線の第２パラメータを取得するステップであって、前記第２トーンマッピング曲線上の第１点での出力輝度は、前記第２トーンマッピング曲線上の前記第１点での入力輝度より大きくない、ステップと、
前記第２トーンマッピング曲線の前記第２パラメータに基づいて、前記画像データに対してダイナミックレンジマッピングを実行するステップと、
を含む方法が提供される。
従って、本願の実施形態では、第１トーンマッピング曲線のパラメータをさらに調整し、調整した曲線パラメータ（つまり、第２パラメータ）に対応するトーンマッピング曲線（つまり、第２トーンマッピング曲線）上の点の出力輝度が、その点の対応する入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。
本願の本実施形態は、端末装置に適用され得る。端末装置は、例えばディスプレイ装置である。ディスプレイ装置の製品形態は、セットトップボックス、テレビディスプレイ装置、携帯電話ディスプレイ装置、又はライブウェブキャスト及びビデオアプリケーションの変換デバイスなどの電子装置であってよい。一例として、セットトップボックス、テレビディスプレイ装置、又は携帯電話ディスプレイ装置において、本願の本実施形態で提供されるソリューションをハードウェアチップ形式で実装することができる。ライブウェブキャスト装置や動画再生装置では、本願の本実施形態で提供されるソリューションは、主にソフトウェアプログラムコードの形式で実装される。しかしながら、本願の本実施形態はそれらに限定されない。
例えば、画像データは、例えば、HDRソース又はSDRソース、例えば、画像内のピクセルデータ、例えば、各ピクセルの輝度と色のデータであってもよい。
例えば、画像データのメタデータMから画像データの特徴情報を取得してもよい。メタデータMには、例えば、画像データに対応する曲線パラメータMcurve、目標システムディスプレイ実ピーク輝度MTPL（targeted system display actual peak luminance）、画像データの内容の最大輝度値MaxSource（全ピクセルのY成分の最大値又は全ピクセルのRGB成分の最大値のうちの最大値）、最小輝度値MinSource（全ピクセルのY成分の最小値又は全ピクセルのRGB成分の最大値のうちの最小値）、平均値（全ピクセルのY成分の平均値、又は全ピクセルのRGB成分の最大値の平均値）、表示内容の変化範囲が含まれてよい。これは、本願の本実施形態において限定されない。
幾つかの実施形態では、画像データVのピクセル情報からさらに画像データの特徴情報が取得されてもよい。或いは、事前設定された値を持つ画像データの特徴情報値が使用されてもよい。これは、本願の本実施形態において限定されない。
例えば、端末デバイスのディスプレイパラメータMTPLには、端末装置の最大ディスプレイ輝度MaxDisplay及び／又は最小ディスプレイ輝度MinDisplay、又は別のパラメータを含めることができる。これは、本願の本実施形態において限定されない。
第１の態様を参照して、第１の態様の幾つかの実装では、以下の条件のうちのいずれか１つが満たされるとき、事前設定された条件が満たされる：
第１パラメータに基づいて画像データに対してトーンマッピングを行うと、第１トーンマッピング曲線の第２点における出力輝度が、第１トーンマッピング曲線の第２点における入力輝度よりも大きくなる。
或いは、第１パラメータの中のパラメータpP１が第１値Tpより大きい。第１値Tpは、第１パラメータのaP１と、aP１とpP１の間の事前設定された対応とに基づいて得られる。Tpは曲線パラメータpの閾値を示す。第１パラメータpP１がTpを超えると、第２トーンマッピング曲線上の点での出力輝度が入力輝度より大きくなることがある。
或いは、第１パラメータの中のパラメータaP１が第２値Taより大きい。第２値Taは、第１パラメータのpP１と、aP１とpP１の間の事前設定された対応とに基づいて得られる。Taは曲線パラメータaの閾値を示す。第１パラメータaP１がTaを超えると、第２トーンマッピング曲線上の点での出力輝度が入力輝度より大きくなることがある。
或いは、第１パラメータの中のパラメータaP１とパラメータpP１との積が、第３値Tapより大きい。第３値Tapは事前設定された有理数である。第１パラメータの中のパラメータaP１及びパラメータpP１の積がTaを超えると、第２トーンマッピング曲線上の点での出力輝度が入力輝度より大きくなることがある。例えば、第３値Tapは３と４の間の有理数、例えば３．２又は３．４であってよい。これは、本願の本実施形態において限定されない。
本願の実施形態では、事前設定された条件を満たす場合、すなわち、第１トーンマッピング曲線に基づく画像データに対してトーンマッピングを行う場合、第１トーンマッピング曲線上の点の出力輝度が第１トーンマッピング曲線上の点の入力輝度よりも大きい場合に、第２トーンマッピング曲線の第２パラメータを生成する処理を行うことができる。
第１の態様を参照して、第１の態様の幾つかの実装では、第２パラメータは第１線形スプライン曲線パラメータを含む。第１線形スプライン曲線パラメータが第２トーンマッピング曲線上の第１線形スプラインの勾配MB[０][０]及び／又は第１線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]及び／又は第１線形スプラインと垂直座標軸の交点base_offsetを含む。
本願の本実施形態では、第２パラメータに基づいて画像データに対してダイナミックレンジマッピングを行う場合、直線部分（つまり、第１線形スプライン）を用いて、画像データの暗い領域でトーンマッピングを行ってよい。このように、輝度利得を制御することができる。また、第２パラメータを制御して直線から直線y=xに徐々に変化させる方が便利である。直線y=xは、トーンマッピング曲線上の任意の点における出力輝度が入力輝度に等しいことと等価である。従って、本願の本実施形態では、輝度勾配のあるコンテンツではフリッカー現象が発生しにくい。
第１の態様を参照して、第１の態様の幾つかの実装では、第１パラメータは第２線形スプライン曲線パラメータを含む。第２線形スプライン曲線パラメータが第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び／又は第１線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]を含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づく第２トーンマッピング曲線の第２パラメータの取得には、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]及びTH３_mid[０]を調整して、曲線パラメータMB[０][０]及びTH３[０]を取得することが含まれる。
したがって、本願の本実施形態では、第２トーンマッピング曲線上の第１線形スプラインの勾配MB[０][０]、及び第１線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]を、第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]、第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]、端末装置の最大ディスプレイ輝度MaxDisplay、及び画像データの最大輝度補正値max_lumに基づいて求めることができる。
第１の態様を参照して、第１の態様の幾つかの実装では、曲線パラメータMB_mid[０][０]とTH３_mid[０]、及び曲線パラメータMB[０][０]とTH３[０]は次式を満たす：
Figure 0007462072000001
Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１及びN２は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
Figure 0007462072000002
第１の態様を参照して、第１の態様の幾つかの実装では、第１パラメータは第２線形スプライン曲線パラメータを含む。第２線形スプライン曲線パラメータが第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び／又は第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]及び／又は第１線形スプラインと垂直座標軸の交点base_offset_midを含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づき第２トーンマッピング曲線の第２パラメータを取得することには、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_midを調整して、曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetを取得することが含まれる。
第１の態様を参照して、第１の態様の幾つかの実装では、曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_mid、並びに曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetは次式を満たす：
Figure 0007462072000003
Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１及びN３は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
Figure 0007462072000004
第１の態様を参照して、第１の態様の幾つかの実装では、第２パラメータは３次スプライン曲線パラメータを含む。３次スプライン曲線パラメータには、第２トーンマッピング曲線上の３次スプラインの補間点の値TH１[１]、TH２[１]、TH３[１]が含まれる。TH１[１]は３次スプラインの第１範囲ピクセルの輝度値の最小値を示す。TH２[１]は、３次スプラインの第１範囲ピクセルの輝度値の最大値と、３次スプラインの第２範囲ピクセルの輝度値の最小値を示す。TH３[１]は３次スプラインの第２範囲ピクセルの輝度値の最大値を示す。
第１の側面を参照すると、第１の側面の幾つかの実装では、次に示すように、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定されたオフセット値に基づいて、３次スプラインの補間点の値TH１[１]、TH２[１]、TH３[１]が取得される。
Figure 0007462072000005
B、C、Dは３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定された値である。Bは、暗－明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。
従って、本願の本実施形態では、第１パラメータの第２線形スプライン曲線パラメータと、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定されたオフセット値に基づいて、第２パラメータでの３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が取得されてよい。
第１の態様を参照すると、第１の態様の幾つかの実装では、次のように、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値に基づいて、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が取得される。
Figure 0007462072000006
３Spline_TH[i][０][w]、３Spline_TH_Delta１[i][１][w]、３Spline_TH_Delta１[i][２][w]は、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]の計算に使用される相関値であり、メタデータから抽出される。
従って、本願の本実施形態では、第１パラメータの第２線形スプライン曲線パラメータと、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するために使用され且つメタデータから抽出された相関値に基づいて、第２パラメータでの３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が取得されてよい。
第１の態様を参照すると、第１の態様の幾つかの実装では、TH３[０]における前記第２トーンマッピング曲線上の線形スプラインのY座標はTH１[１]における前記第２トーンマッピング曲線上の３次スプラインのY座標と同じであり、TH３[０]における前記線形スプラインの１次微分はTH１[１]における前記３次スプラインの１次微分と同じである。
このように、第２トーンマッピング曲線の線形スプライン曲線と第２トーンマッピング曲線の３次スプライン曲線は、TH[１]で連続になることができる。
第１の態様を参照すると、第１の態様の幾つかの実装では、TH２[１]における第２トーンマッピング曲線上の第１の３次スプラインのY座標は、TH２[１]における第２トーンマッピング曲線上の第２の３次スプラインのY座標と同じであり、TH２[１]における第１の３次スプラインの１次微分はTH２[１]における第２の３次スプラインの１次微分と同じである。
このように、第１の３次スプライン曲線と第２トーンマッピング曲線の第２の３次スプライン曲線は、TH[２]で連続になることができる。
第１の態様を参照すると、第１の態様の幾つかの実装では、TH３[１]における第２トーンマッピング曲線上の第２の３次スプラインのY座標は、TH３[１]における第２トーンマッピング曲線上の第３トーンマッピング関数のY座標と同じであり、TH３[１]における第２の３次スプラインの１次微分は、TH３[１]における第３トーンマッピング関数の１次微分と同じである。
このように、第２トーンマッピング曲線の第２の３次スプライン曲線と第３トーンマッピング関数の曲線は、TH[３]で連続になることができる。
第１の態様を参照すると、第１の態様の幾つかの実装では、画像データの第１トーンマッピング曲線の第１パラメータを取得するステップは、
画像データのメタデータを取得するステップと、
メタデータとディスプレイパラメータに基づいて、第１トーンマッピング曲線の第１パラメータを決定するステップと、を含む。
例えば、ディスプレイ装置は、平均輝度値average_maxrgb、及び／又は最大輝度値MaxSource、及び／又はメタデータM内の画像データVのコンテンツの最小輝度値MinSource、及び／又はディスプレイ装置の最大ディスプレイ輝度MaxDisplay、及び／又はディスプレイ装置の最小ディスプレイ輝度MinDisplay、及び／又は曲線パラメータMcurve（p１,p２,...）、及び／又は他のデータに基づいて、第１トーンマッピング曲線の第１パラメータを取得することができる。第１パラメータは、例えばP１curve（X,p１,p２,...）のように表すことができる。Xは入力輝度値であり、p１,p２,..は曲線パラメータ値である。
第１の態様を参照して、第１の態様の幾つかの実装では、第２パラメータは線形スプライン曲線パラメータを更に含む。線形スプライン曲線パラメータには、第２トーンマッピング曲線上の第１線形スプラインの範囲ピクセルの輝度値の最大値TH３Cと、第１線形スプラインの勾配Darkが含まれる。
本願の本実施形態では、第２パラメータに基づいて画像データに対してダイナミックレンジマッピングを行う場合、直線部分（つまり、第１線形スプライン）を用いて、画像データの暗い領域でトーンマッピングを行ってよい。このように、輝度利得を制御することができる。また、第２パラメータを制御して直線から直線y=xに徐々に変化させる方が便利である。直線y=xは、トーンマッピング曲線上の任意の点における出力輝度が入力輝度に等しいことと等価である。従って、本願の本実施形態では、輝度勾配のあるコンテンツではフリッカー現象が発生しにくい。
第１の態様を参照して、第１の態様の幾つかの実装では、本方法はさらに、第１線形スプラインの初期範囲ピクセルの輝度値の最大値TH３C０を取得するステップと、第１線形スプラインの初期勾配Dark０を取得するステップと、初期範囲ピクセルの輝度値の最大値TH３C０に基づき、範囲ピクセルの輝度値の最大値TH３Cを決定するステップと、初期勾配Dark０に基づいて勾配Darkを決定するステップと、を含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第１線形スプラインの初期範囲ピクセルの輝度値の最大値TH３C０を取得すステップは、
第１のパラメータに基づいて初期範囲ピクセルの輝度値の最大値TH３C０を決定するステップであって、第１パラメータは、第１トーンマッピング曲線上の第２線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]を含む、ステップ、又は、
事前設定された値に基づいて初期範囲ピクセルの輝度値の最大値TH３C０を決定するステップであって、事前設定された値が例えば暗視と明視の分解、すなわち人間の目の錐体細胞と桿体細胞の応答が増大又は減少する輝度であり、例えば１nitである、ステップ、又は、
画像データのメタデータに基づいて、初期範囲ピクセルの輝度値の最大値TH３C０を決定するステップであって、メタデータは、ヒストグラム内の暗い領域ピクセルの数の特徴データを含む、ステップ、を含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第１線形スプラインの初期勾配Dark０を取得するステップは、
第１のパラメータに基づいて初期勾配Dark０を決定するステップであって、第１パラメータは、第１トーンマッピング曲線上の第２線形スプラインの勾配MB[０][０]を含む、ステップ、又は、
範囲ピクセルの輝度値の最大値TH３Cに対する第４値の比に基づいて初期勾配Dark０を決定するステップであって、第４値は、範囲ピクセルの輝度値の最大値TH３Cに対する第１トーンマッピング曲線の出力値である、ステップ、又は、
０と範囲ピクセルの輝度値の最大値TH３Cとの間の第１トーンマッピング曲線の事前設定された入力値の勾配値に基づき、初期勾配Dark０を決定するステップ、を含む。
第１の態様を参照して、第１の態様の幾つかの実装では、初期範囲ピクセルの輝度値の最大値TH３C０、範囲ピクセルの輝度値の最大値TH３C、初期勾配Dark０、及び勾配Darkは次の式を満たす：
Figure 0007462072000007
TH３Cは、TH３C０より大きくMaxSourceより小さい。TH３C０は、MaxSourceより小さい。N１及びN２は０より大きい有利数である。H（L）はトーンマッピング曲線である。G（L）はH（L）の逆関数である。
第１の態様を参照して、第１の態様の幾つかの実装では、初期範囲ピクセルの輝度値の最大値TH３C０、範囲ピクセルの輝度値の最大値TH３C、初期勾配Dark０、及び勾配Darkは次の式を満たす：
Figure 0007462072000008
MaxLumは画像データの最大輝度の調整値である。TH３Cは、TH３C０より大きくMaxSourceより小さい。TH３C０は、MaxSourceより小さい。N１及びN２は０より大きい有利数である。H（L）はトーンマッピング曲線関数である。G（L）はH（L）の逆関数である。
第１の態様を参照して、第１の態様の幾つかの実装では、第２パラメータは３次スプライン曲線パラメータを更に含む。３次スプライン曲線パラメータには、第２トーンマッピング曲線上の第１の３次スプラインの第１範囲ピクセルの輝度値の最小値TH１Dが含まれる。
方法は、第２トーンマッピング曲線上の第１線形スプラインの範囲ピクセルの輝度値の最大値TH３Cに基づいて、第１範囲ピクセルの輝度値の最小値TH１Dを決定するステップをさらに含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第２パラメータは３次スプライン曲線パラメータを更に含む。３次スプライン曲線パラメータには、第２トーンマッピング曲線上の第１の３次スプラインの第１範囲ピクセルの輝度値の最大値TH２Dが含まれる。
方法は、第１範囲ピクセルの輝度値の最小値TH１Dに基づいて、第１範囲ピクセルの輝度値の最大値TH２Dを決定するステップをさらに含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第１範囲ピクセルの輝度値の最小値TH１Dに基づいて第１範囲ピクセルの輝度値の最大値TH２Dを決定するステップは、
第１パラメータ及び第１範囲ピクセルの輝度値の最小値TH１Dに基づいて第１範囲ピクセルの輝度値の最大値TH２Dを決定するステップ、又は、
事前設定された有理数と第１範囲ピクセルの輝度値の最小値TH１Dに基づき、第１範囲ピクセルの輝度値の最大値TH２Dを決定するステップ、又は、
第１範囲ピクセルの輝度値の最小値TH１Dと画像データのメタデータに基づき、第１範囲ピクセルの輝度値の最大値TH２Dを決定するステップ、を含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第２トーンマッピング曲線上の第１の３次スプラインの第１範囲ピクセルの輝度値の最小値TH１Dは、第１線形スプラインの範囲ピクセルの輝度値の最大値TH３Cと同じであり、TH１Dにおける第２トーンマッピング曲線上の線形スプラインと第１の３次スプラインの出力値は同じであり、TH１Dにおける第２トーン曲線上の第１スプラインと第１の３次スプラインの１次微分は同じである。
このように、第２トーンマッピング曲線の線形スプライン曲線と第２トーンマッピング曲線の３次スプライン曲線は、TH１Dで連続になることができる。
第１の態様を参照して、第１の態様の幾つかの実装では、３次スプライン曲線パラメータは、第２トーンマッピング曲線上の第２の３次スプラインの第２範囲ピクセルの輝度値の最大値TH３Dをさらに含む。
方法は、さらに、第１範囲ピクセルの輝度値の最小値TH１Dと第１範囲ピクセルの輝度値の最大値TH２Dとに基づいて、第２範囲ピクセルの輝度値の最大値TH３Dを決定するステップを含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第１範囲ピクセルの輝度値の最小値TH１D及び第１範囲ピクセルの輝度値の最大値TH２Dに基づき、第２範囲ピクセルの輝度値の最大値TH３Dを決定するステップは、
第１範囲ピクセルの輝度値の最小値TH１D、第１範囲ピクセルの輝度値の最大値TH２D、及び第１パラメータに基づいて、第３最大入力輝度TH３Dを決定するステップ、又は、
第１範囲ピクセルの輝度値の最小値TH１D、第１範囲ピクセルの輝度値の最大値TH２D、及び事前設定された有理数に基づき、第３最大入力輝度TH３Dを決定するステップ、又は、
第１範囲ピクセルの輝度値の最小値TH１D、第１範囲ピクセルの輝度値の最大値TH２D、及び画像データのメタデータに基づき、第３最大入力輝度TH３Dを決定するステップ、を含む。
第１の態様を参照して、第１の態様の幾つかの実装では、第２の３次スプラインの第２範囲ピクセルの輝度値の最小値は、第１の３次スプラインの第１範囲ピクセルの輝度値の最大値TH２Dと同じであり、範囲ピクセルの輝度値の最大値TH２Dにおける第１の３次スプラインと第２の３次スプラインの出力値は同じであり、範囲ピクセルの輝度値の最大値TH２Dにおける第１の３次スプラインと第２の３次スプラインの１次微分は同じである。
このように、第１の３次スプライン曲線と第２トーンマッピング曲線の第２の３次スプライン曲線は、TH２Dで連続になることができる。
第１の態様を参照して、第１の態様の幾つかの実装では、第２パラメータは、第２トーンマッピング曲線のトーンマッピングサブ関数の曲線パラメータをさらに含む。トーンマッピングサブ関数の第３範囲ピクセルの輝度値の最小値は、第２範囲ピクセルの輝度値の最大値TH３Dと同じであり、第２の３次スプラインと第２範囲ピクセルの輝度値の最大値TH３Dにおけるトーンマッピングサブ関数の出力値は同じであり、第２範囲ピクセルの輝度値の最大値TH３Dにおける第２の３次スプラインとトーンマッピングサブ関数の１次微分は同じである。
このように、第２トーンマッピング曲線の第２の３次スプライン曲線とトーンマッピングサブ関数の曲線は、TH３Dで連続になることができる。
第１の態様を参照して、第１の態様の幾つかの実装では、第１パラメータはaP１及びpP１を含む。第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づき、第２トーンマッピング曲線の第２パラメータを取得するステップは、
aP１と、aP１及びpP１の間の事前設定された対応とに基づき、第１値Tpを取得するステップと、
pP１がTpより大きい場合に、第１パラメータの中のpP１をTpで置換するステップと、
置換後に得られた第１パラメータを第２パラメータとして使用するステップと、を含む。
従って、第１パラメータの中のpP１がTpにより置換され、置換後に得られた第１パラメータが第２パラメータとして使用され、その結果、第２トーンマッピング曲線上の第１点における出力輝度は、第２トーンマッピング曲線上の第１点における入力輝度より大きくならない。
第１の態様を参照して、第１の態様の幾つかの実装では、第１パラメータはaP１及びpP１を含む。第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づき、第２トーンマッピング曲線の第２パラメータを取得するステップは、
pP１と、aP１及びpP１の間の事前設定された対応とに基づき、第２値Taを取得するステップと、
aP１がTaより大きい場合に、第１パラメータの中のaP１をTaで置換するステップと、
置換後に得られた第１パラメータを第２パラメータとして使用するステップと、を含む。
従って、第１パラメータの中のaP１がTaにより置換され、置換後に得られた第１パラメータが第２パラメータとして使用され、その結果、第２トーンマッピング曲線上の第１点における出力輝度は、第２トーンマッピング曲線上の第１点における入力輝度より大きくならない。
第１の態様を参照して、第１の態様の幾つかの実装では、第１パラメータはaP１及びpP１を含む。第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づき、第２トーンマッピング曲線の第２パラメータを取得するステップは、
aP１*pP１が第３値Tapより大きい場合、第１パラメータの中のpP１をTap/aP１で置換するステップ、又は、
第１パラメータの中のaP１をTap/pP１で置換するステップ、及び、
置換後に得られた第１パラメータを第２パラメータとして使用するステップ、を含む。
従って、第１パラメータの中のpP１がTap/aP１により置換され、又は第１パラメータの中のaP１がTap/pP１により置換され、置換後に得られた第１パラメータが第２パラメータとして使用され、その結果、第２トーンマッピング曲線上の第１点における出力輝度は、第２トーンマッピング曲線上の第１点における入力輝度より大きくならない。
第２の態様によれば、取得ユニットと、処理ユニットと、マッピングユニットと、を含むダイナミックレンジマッピング装置が提供される。
取得ユニットは、端末装置のディスプレイパラメータを取得するように構成される。
取得ユニットはさらに、画像データの特徴情報を取得するように構成される。
取得ユニットはさらに、画像データの第１トーンマッピング曲線の第１パラメータを取得するように構成される。
処理ユニットは、事前設定された条件が満たされたときに、第１パラメータ、端末装置のディスプレイパラメータ、画像データの特徴情報に基づいて、第２トーンマッピング曲線の第２パラメータを取得するように構成される。第２トーンマッピング曲線の第１点での出力輝度は、第２トーンマッピング曲線の第１点での入力輝度より大きくない。
マッピングユニットは、第２トーンマッピング曲線の第２パラメータに基づいて、画像データに対してダイナミックレンジマッピングを行うように構成される。
第２の態様を参照して、第２の態様の幾つかの実装では、以下の条件のうちのいずれか１つが満たされるとき、事前設定された条件が満たされる：
第１パラメータに基づいて画像データに対してトーンマッピングを行うと、第１トーンマッピング曲線の第２点における出力輝度が、第１トーンマッピング曲線の第２点における入力輝度よりも大きくなる。
或いは、第１パラメータの中のパラメータpP１が第１値Tpより大きい。第１値Tpは、第１パラメータのaP１と、aP１とpP１の間の事前設定された対応とに基づいて得られる。
或いは、第１パラメータの中のパラメータaP１が第２値Taより大きい。第２値Taは、第１パラメータのpP１と、aP１とpP１の間のプリセット対応とに基づいて得られる。
或いは、第１パラメータの中のパラメータaP１とパラメータpP１との積が、第３値Tapより大きい。第３値Tapは事前設定された有理数である。
第２の態様を参照して、第２の態様の幾つかの実装では、第２パラメータは第１線形スプライン曲線パラメータを含む。第１線形スプライン曲線パラメータが第２トーンマッピング曲線上の第１線形スプラインの勾配MB[０][０]及び／又は第１線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]及び／又は第１線形スプラインと垂直座標軸の交点base_offsetを含む。
第２の態様を参照して、第２の態様の幾つかの実装では、第１パラメータは第２線形スプライン曲線パラメータを含む。第２線形スプライン曲線パラメータが第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び／又は第１線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]を含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
処理ユニットは、具体的に、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]及びTH３_mid[０]を調整して、曲線パラメータMB[０][０]及びTH３[０]を取得するよう構成される。
第２の態様を参照して、第２の態様の幾つかの実装では、曲線パラメータMB_mid[０][０]とTH３_mid[０]、及び曲線パラメータMB[０][０]とTH３[０]は次式を満たす：
Figure 0007462072000009
Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１及びN２は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
Figure 0007462072000010
第２の態様を参照して、第２の態様の幾つかの実装では、第１パラメータは第２線形スプライン曲線パラメータを含む。第２線形スプライン曲線パラメータが第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び／又は第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]及び／又は第１線形スプラインと垂直座標軸の交点base_offset_midを含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
処理ユニットは、具体的に、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]、TH３_mid[０] 、及び／又はbase_offset_midを調整して、曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetを取得するよう構成される。
第２の態様を参照して、第２の態様の幾つかの実装では、曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_mid、並びに曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetは次式を満たす：
Figure 0007462072000011
Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１及びN３は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
Figure 0007462072000012
第２の態様を参照して、第２の態様の幾つかの実装では、第２パラメータは３次スプライン曲線パラメータを含む。３次スプライン曲線パラメータには、第２トーンマッピング曲線上の３次スプラインの補間点の値TH１[１]、TH２[１]、TH３[１]が含まれる。TH１[１]は３次スプラインの第１範囲ピクセルの輝度値の最小値を示す。TH２[１]は、３次スプラインの第１範囲ピクセルの輝度値の最大値と、３次スプラインの第２範囲ピクセルの輝度値の最小値を示す。TH３[１]は３次スプラインの第２範囲ピクセルの輝度値の最大値を示す。
第２の態様を参照して、第２の態様の幾つかの実装では、次のように、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、補間点値TH１[１]、TH２[１]、TH３[１]の事前設定されたオフセット値に基づいて、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が取得される。
Figure 0007462072000013
B、C、Dは３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定された値である。Bは、暗－明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。
第２の態様を参照して、第２の態様の幾つかの実装では、次のように、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値に基づいて、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が計算される。
Figure 0007462072000014
３Spline_TH[i][０][w]、３Spline_TH_Delta１[i][１][w]、３Spline_TH_Delta１[i][２][w]は、補間点値TH１[１]、TH２[１]、TH３[１]の計算に使用される相関値であり、メタデータから抽出される。
第２の態様を参照して、第２の態様の幾つかの実装では、TH３[０]における前記第２トーンマッピング曲線上の線形スプラインのY座標はTH１[１]における前記第２トーンマッピング曲線上の３次スプラインのY座標と同じであり、TH３[０]における前記線形スプラインの１次微分はTH１[１]における前記３次スプラインの１次微分と同じである。
第２の態様を参照すると、第２の態様の幾つかの実装では、TH２[１]における第２トーンマッピング曲線上の第１の３次スプラインのY座標は、TH２[１]における第２トーンマッピング曲線上の第２の３次スプラインのY座標と同じであり、TH２[１]における第１の３次スプラインの１次微分はTH２[１]における第２の３次スプラインの１次微分と同じである。
第２の態様を参照すると、第２の態様の幾つかの実装では、TH３[１]における第２トーンマッピング曲線上の第２の３次スプラインのY座標は、TH３[１]における第２トーンマッピング曲線上の第３トーンマッピング関数のY座標と同じであり、TH３[１]における第２の３次スプラインの１次微分は、TH３[１]における第３トーンマッピング関数の１次微分と同じである。
第２の態様を参照すると、第２の態様の幾つかの実装では、取得ユニットは、具体的に、画像データのメタデータを取得し、メタデータとディスプレイパラメータに基づいて、第１トーンマッピング曲線の第１パラメータを決定するよう構成される。
第３の態様によると、コンピュータ-可読記憶媒体が提供される。コンピュータ可読記憶媒体は命令を格納する。命令がコンピュータで実行されると、コンピュータは、第１の態様による方法を実行可能にされる。
第４の態様によると、命令を含むコンピュータプログラムプロダクトが提供される。コンピュータプログラムプロダクトがコンピュータで実行されると、コンピュータは、第１の態様による方法を実行可能にされる。
第５の態様によると、第２の態様によるダイナミックレンジマッピング機器を含む電子装置が提供される。
第２の態様から第５の態様で達成された有益な効果と、本願の対応する実装については、第１の態様で達成された有益な効果と、本願の対応する実装を参照のこと。詳細はここで再び記載されない。
現実世界の高ダイナミックレンジからディスプレイ装置への低ダイナミックマッピングの例である。
PQ光電子変換関数の図である。
HLG光電子変換関数の図である。
SLF光電子変換関数の図である。
Sigmoid曲線の概略図である。
ベジェ曲線の概略図である。
画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度と同じ場合のマッピング曲線の例である。
本願の実施形態によるシステムアーキテクチャの概略図である。
本願の実施形態によるダイナミックレンジマッピング方法の概略フローチャートである。
本願の実施形態によるダイナミックレンジマッピング機器の概略ブロック図である。
本願の実施形態による別のダイナミックレンジマッピング機器の概略ブロック図である。
以下は、添付の図面を参照して、本願の技術的ソリューションを説明する。
先ず、本願の実施形態における関連概念と技術について簡単に説明する。
１．ダイナミックレンジ（dynamic range）は、多くの分野で変数の最大値と最小値の比を示す。デジタル画像の場合、ダイナミックレンジとは、画像を表示できる範囲における最大輝度と最小輝度の比率を示す。自然のダイナミックレンジは非常に大きい。例えば、星空の夜景の輝度は約０.００１cd/m２であり、太陽の輝度は最大１０億cd/m２である。ここで、cd/m２（candela per square meter）は、国際単位系における輝度の派生単位である。したがって、自然のダイナミックレンジは１０億/０．００１=１０１３の桁に達する。
しかし、実際の自然のシーンでは太陽の輝度と星の輝度が同時に得られることはない。現実世界の自然のシーンの場合、ダイナミックレンジは１０－３から１０６である。ダイナミックレンジは非常に大きいため、通常、高ダイナミックレンジ（high dynamic range, HDR）と呼ばれる。高ダイナミックレンジ画像と比較して、一般的な画像のダイナミックレンジは、低ダイナミックレンジ（low dynamic range, LDR）又は標準ダイナミックレンジ（standard dynamic range, SDR）と呼ばれる。したがって、デジタルカメラの画像処理は、実際には現実世界の高ダイナミックレンジから写真の低ダイナミックレンジへのマッピング処理であると理解できる。図１は、現実世界の高ダイナミックレンジからディスプレイ装置への低ダイナミックマッピングの例を示している。
画像のダイナミックレンジが大きいほど、画像内で表示されるシーンがより詳細になり、輝度レベルが多くなり、視覚効果がよりリアルになる。従来のデジタル画像では、１ピクセル値を１バイト（つまり、８ビット）空間を使用して格納するのが一般的である。高ダイナミックレンジ画像では、浮動小数点数の複数バイトを使用して１つのピクセル値を格納するため、自然のシーンの高ダイナミックレンジを表現することができる。
光学デジタル画像処理（例えば、デジタルカメラの画像処理）では、画像センサを用いて実際のシーンの光放射を電気信号に変換し、その電気信号をデジタル画像の形式で格納する。画像表示は、デジタル画像によって描写された実景を、ディスプレイ装置を用いて再現することを目的としている。光学デジタル画像処理と画像表示の最終的な目的は、ユーザが実際のシーンを直接観察したときと同じ視覚を得ることができるようにすることである。
しかし、実際のシーンの光放射（光信号）で表せる輝度レベルはほぼ直線的である。従って、光信号は、線形信号とも呼ばれる。しかし、光学デジタル画像化において光信号を電気信号に変換する処理では、すべての光信号が１つの電気信号に対応するわけではない。また、変換によって得られる電気信号は非線形である。従って、電気信号は、非線形信号とも呼ばれる。
２．光電変換関数（optical electro transfer function, OETF）は、画像ピクセルの線形信号と非線形信号の変換関係を表す。
HDR画像を撮影できるカメラが登場する以前は、従来のカメラは、露出値を制御することで、特定の範囲内のキャプチャされた光情報しか記録できなかった。ディスプレイ装置の最大輝度情報が現実世界の輝度情報に届かず、ディスプレイ装置が画像を閲覧するために使用されるので、光電変換機能が必要となる。初期のディスプレイ装置は陰極線管（cathode ray tube, CRT）ディスプレイであり、陰極線管ディスプレイの光電変換関数はガンマ関数である。「ガンマ」関数に基づく光電変換関数は、国際電気通信連合無線通信部門（international telecommunication union-radio communication sector, ITU-R）勧告BT.１８８６規格で、次の式（１）のように定義されている。：
Figure 0007462072000015
上記の変換により８ビットへの量子化の後に得られた画像は、従来のSDR画像である。SDR画像と前述の式（１）の変換関数は、従来のディスプレイ装置（輝度が約１００cd/m２）で良好に動作する。
ディスプレイ装置は絶えずアップグレードされる。現在のディスプレイ装置は、従来のディスプレイ装置と比較して、連続的に増加するダイナミックレンジを表示することができる。既存の消費者レベルのHDRディスプレイは最大６００cd/m２の表示範囲を持ち、ハイエンドのHDRディスプレイは最大２０００cd/m２の表示範囲を持ち、従来のSDRディスプレイ装置の表示範囲をはるかに超える。ITU-RBT．１８８６標準プロトコルでは、従来のSDRディスプレイ装置に適応した光電変換関数は、現在のHDRディスプレイ装置の表示性能をうまく表現できない。従って、HDRディスプレイ装置のアップグレードに対応するために、光電変換関数の改善が必要である。
HDR光電変換関数OETFには、主に知覚量子化器（perceptual quantizer, PQ）光電変換関数、ハイブリッドログガンマ（hybrid log-Gamma, HLG）光電変換関数、シーン輝度忠実度（scene luminance fidelity, SLF）光電変換関数の３つのタイプが含まれる。３つの光電変換関数は、オーディオビデオコーディング規格（audio video coding standard, AVS）で指定されている。
PQ光電変換関数は、人間の目の輝度知覚モデルに基づいて提供される知覚量子化器光電変換関数である。図２は、PQ光電変換関数の図である。
PQ光電変換関数は、画像ピクセルの線形信号値とPQ領域の非線形信号値との変換関係を表す。PQ光電変換関数は、式（２）で表すことができる：
Figure 0007462072000016
式（２）の各パラメータは、以下のように計算される：
Figure 0007462072000017
Lは[０,１]に正規化された値を持つ線形信号値であり、L'は[０,１]の値の範囲を持つ非線形信号値を表し、m１、m２,、c１、c２、及びc３はPQ光電子移動係数である：
Figure 0007462072000018
HLG光電子変換関数は従来のガンマ曲線を改良することによって得られる。図３は、HLG光電変換関数の図である。
HLG光電変換関数では、低輝度領域では従来のガンマ曲線を使用し、高輝度領域では対数曲線を補っている。HLG光電変換関数は、画像ピクセルの線形信号値とHLG領域の非線形信号値との変換関係を表す。HLG光電変換関数は、式（３）で表すことができる：
Figure 0007462072000019
Lは[０,２]の値範囲の線形信号値であり、L'は[０,１]の値範囲の非線形信号値を表し、a、b、cはHLG光電変換係数であり、a=０.１７８８３２７７、b=０.２８４６６８９２、c=０.５５９９１０７３である。
SLF光電変換関数は、人間の目の光学的特性を満たしたときに、HDRシーンにおける輝度分布に基づいて得られる最適曲線である。図４は、SLF光電変換関数の図である。
SLF光電変換関数は、画像ピクセルの線形信号値とSLF領域の非線形信号値との変換曲線を表す。画像ピクセルの線形信号値とSLF領域の非線形信号値との間の変換関係を式（４）に示す：
Figure 0007462072000020
SLF光電変換関数は、式（５）で表すことができる：
Figure 0007462072000021
Lは[０,１]に正規化され値を有する線形信号値であり、L'は[０,１]の値範囲の非線形信号値を表し、p、m、a、及びbはSLF光電変換係数であり、p=２.３、m=０.１４、a=１.１２７６２、及びb=－０.１２７６２である。
３．ダイナミックレンジマッピング方法は、主にフロントエンドHDR信号とバックエンドHDRディスプレイ装置との間の適応処理に適用され、高から低へのトーンマッピング（tone mapping）処理と低から高へのtone-mapping処理が含まれる。例えば、フロントエンドは４０００nitの輝度信号を収集するが、バックエンドのディスプレイ装置（例えば、TVシリーズ又はタブレットコンピュータ）は５００nitのHDR表示能力しか有しない。したがって、４０００nitの輝度信号を５００nitのディスプレイ装置にマッピングすることは、高から低へのtone-mapping処理である。別の例では、フロントエンドは１００nitのSDR輝度信号を収集するが、バックエンドのディスプレイ装置は２０００nitのHDR表示機能を有する。したがって、１００nitの輝度信号を２０００nitのディスプレイ装置にマッピングすることは、低から高へのtone-mapping処理である。
ダイナミックレンジマッピング方法は、静的ダイナミックレンジマッピングと動的ダイナミックレンジマッピングに分けることができる。静的ダイナミックレンジマッピング方法では、同一のビデオコンテンツ又は同一のハードディスクコンテンツに基づいて、単一のデータを用いて全体的なtone-mapping処理を行う、すなわち、同一のビデオコンテンツ又はハードディスクコンテンツの処理曲線は通常同一である。この方法の利点は、伝達される情報が少なく、処理手順が比較的簡単であることである。この方法の欠点は、すべてのシーンでtone-mappingを行うために同じ曲線を使用するため、一部のシーンで情報が失われることである。例えば、明るい領域の保護に焦点を当てた曲線の場合、一部の極端に暗いシーンでは一部の詳細が失われたり見えなくなったりすることがあり、ユーザ経験に影響する。
動的マッピング方法は、特定の領域、各シーン、又は各フレームの内容に基づいて動的に調整することである。この方法の利点は、特定の領域、各シーン、又は各フレームに基づいて処理に異なる曲線を使用することができ、処理された画像がより良好な表示結果を有することである。ただし、各フレームや各シーンが関連するシーン情報を伝達する必要があり、大量の情報が伝達されるという欠点がある。
現在、以下の５つのtone-mapping技術がある。ここでは、５つのtone-mapping技術について説明する。
技術１はドルビーによって提案されたSigmoid曲線に基づくtone-mapping処理である。図５は、Sigmoid曲線の概略図である。図５を参照すると、横座標は入力輝度、すなわちダイナミックレンジ調整前のHDR画像の輝度を表し、縦座標は出力輝度、すなわちダイナミックレンジ調整後に得られた画像の輝度を表す。Sigmoid曲線の形状は「S」形であり、曲線の勾配は最初に増加し、次に減少する。例えば、Sigmoid曲線上の調整点を例にとる。Sigmoid曲線を用いることで、輝度が約３００cd/m２のソース調整レベル（ソース適応レベル）を輝度が約３０cd/m２の目標調整レベル（目標適応レベル）にマッピングすることができる。
技術２はベジェ曲線に基づくtone-mapping処理である。図６は、ベジェ曲線の概略図である。図６において、横座標は入力輝度、すなわちダイナミックレンジ調整前のHDR画像の輝度を表し、縦座標は出力輝度、すなわちダイナミックレンジ調整後に得られた画像の輝度を表す。ベジェ曲線は、０からKsの入力輝度の範囲では線形マッピング処理であり、Ksから１の入力輝度の範囲では「S」字形の曲線であり、曲線の勾配は最初に増加し、次に減少する。
技術３は人間の目が知覚するS字曲線に基づくtone-mapping処理である。曲線の形を式（６）に示す：
Figure 0007462072000022
LとL'は正規化された電気信号又は光信号を表し、aの値は０.０から１.０の範囲であり、bの値は０.０から１.０の範囲であり、p、n、mの値は０.１からNの範囲であり、Nは０.１より大きい有理数であり、L'は０.０から１.０の範囲の有理数であり、Lは０.０から１.０の範囲の有理数であり、k１、k２、k３は有理数である。
技術４は、３次スプラインと直線のS字曲線を組み合わせたtone-mapping処理である。曲線の部分の形状を以下の式（７）に示す：
Figure 0007462072000023
LとL'は正規化された電気信号又は光信号である。aの値は０.０から１.０の範囲であり、bの値は０.０から１.０の範囲であり、p、n、mの値は０.１からNの範囲であり、Nは０.１より大きい有理数であり、L'は０.０から１.０の範囲の有理数であり、Lは０.０から１.０の範囲の有理数であり、k１、k２、k３は有理数であり、k１とk２は同時に０ではなく、K３は０ではない。TH１[i]、TH２[i]、TH３[i]は０.０から１.０の範囲の有理数である。
技術５は、３次スプラインと直線のS字曲線を組み合わせた別のtone-mapping処理である。曲線の部分の形状を以下の式（８）に示す：
Figure 0007462072000024
LとL'は正規化された電気信号又は光信号である。aの値は０.０から１.０の範囲であり、bの値は０.０から１.０の範囲であり、p、n、mの値は０.１からNの範囲であり、Nは０.１より大きい有理数であり、L'は０.０から１.０の範囲の有理数であり、Lは０.０から１.０の範囲の有理数であり、k１、k２、k３は有理数である。LTは事前設定された有理数であり、０.０から１.０の範囲の有理数である。TH１[i]、TH２[i]、TH３[i]は０.０から１.０の範囲の有理数である。
曲線パラメータに関連するメタデータは、動的メタデータで送信される。
技術１の場合、DolbySt２０９４-１０に関連する動的メタデータ定義では、最大値（maximum PQ-encoded maxRGB）、最小値（minimum PQ-encoded maxRGB）、平均値（PQ-encoded maxRGB）などの統計値だけでなく、トーンマッピングオフセット（tone-mapping offset）、トーンマッピング利得（tone-mapping gain）、トーンマッピングガンマ（tone-mapping gamma）などのSigmoid曲線関連パラメータも送信される。
技術２では、St２０９４-４０に関連する動的メタデータ定義にヒストグラム情報（distribution MaxRGB）が含まれており、曲線を直接生成するためのベジェ曲線パラメータ（Bezier curve anchors）も含まれている。
さらに、St２０９４シリーズの規格では、メタデータに目標システムディスプレイの実際のピーク輝度（targeted system display actual peak luminance）が含まれている。
技術３、技術４、技術５では、最大値、最小値、平均値などの情報をメタデータで転送でき、p、m、a、b、n、K１、K２、K３などの曲線パラメータを転送することもできる。
画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度よりも小さい場合、技術１～技術５のダイナミックレンジマッピングアルゴリズムを用いて、高ダイナミックレンジ画像を表示のためにディスプレイ装置で表示可能なダイナミックレンジに調整することができる。ただし、画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合、技術１～技術５のダイナミックレンジマッピングアルゴリズムをそのまま使用すると、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなるという異常が発生する。
図７は、画像の最大輝度とディスプレイ装置の最大ディスプレイ輝度が同じ場合のtone-mapping曲線の例を示している（例えば、どちらも５００cd/m２である）。図７を参照すると、直線y=x（２つのエンドポイントは各々A（５００,５００）とB（０,０））は、入力輝度が出力輝度と同じtone-mapping曲線に対応する。ディスプレイ装置のピクセルの輝度は、直線y=xに基づく元画像の輝度と同じである。例えば、y=x上の点Dの場合、入力輝度と出力輝度はともに４５０cd/m２である。
更に図７を参照すると、「S」字曲線（２つのエンドポイントは各々A（５００,５００）とB（０,０）であり、例えば技術１のSigmoid曲線）では、入力輝度が５００cd/m２に近く、入力輝度が同じ場合、「S」字曲線を使用して実行されたtone-mappingの出力輝度は、y=xを使用して実行されたtone-mappingの出力輝度よりも大きくなる。例えば、点Dと入力輝度が同じ「S」字曲線上の点Eの場合、点Eの出力輝度は４８０cd/m２となる。
これに鑑み、本願はダイナミックレンジマッピング方法を提供する。画像の最大輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合、調整したパラメータに対応するtone-mapping曲線の出力輝度がtone-mapping曲線の入力輝度より大きくならないように、元のtone-mapping曲線のパラメータを調整する。これは、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなるという異常を回避するのを助ける。ここで、元のtone-mapping曲線は、例えば技術１から技術５のtone-mapping曲線のように、画像データのメタデータにおける目標システムディスプレイの実際のピーク輝度に基づいて調整された固定曲線であってもよい。
図８は、本願の実施形態によるダイナミックレンジマッピング方法のシステムアーキテクチャの概略図である。図８を参照すると、フロントエンドは収集と生産によってHDRコンテンツを取得し、HDRコンテンツとHDRコンテンツのメタデータを伝送層を介してディスプレイエンドに送信することができる。ディスプレイエンドはHDRディスプレイ装置を含み、さらにSDRディスプレイ装置を含むことができる。例えば、ディスプレイエンドにHDRディスプレイ装置が含まれている場合、HDRコンテンツをHDRディスプレイ装置にマッピングすることができる。ディスプレイエンドにSDRディスプレイ装置が含まれている場合、HDRコンテンツをSDRディスプレイ装置にマッピングすることができる。
例えば、ディスプレイエンドの製品形態は、セットトップボックス、テレビディスプレイ装置、携帯電話ディスプレイ装置、又はライブウェブキャスト及びビデオアプリケーションの変換デバイスなどの電子装置であってよい。
一例として、セットトップボックス、テレビディスプレイ装置、又は携帯電話ディスプレイ装置において、本願の本実施形態で提供されるソリューションをハードウェアチップ形式で実装することができる。ライブウェブキャスト装置や動画再生装置では、本願の本実施形態で提供されるソリューションは、主にソフトウェアプログラムコードの形式で実装される。しかしながら、本願の本実施形態はそれらに限定されない。
なお、本願の本実施形態では、図７の適用シーンのみを例に説明するが、本願の本実施形態に適用されるシステムアーキテクチャはこれに限定されない。例えば、フロントエンドはさらにSDRコンテンツを取得できる。この場合、ディスプレイエンドにHDRディスプレイ装置が含まれている場合、SDRコンテンツをHDRディスプレイ装置にマッピングすることができる。
図９は、本願の実施形態によるダイナミックレンジマッピング方法９００の概略フローチャートである。方法９００は、例えば、図８に示すディスプレイエンドによって行われる、図８に示す適用シーンに適用できる。図９を参照すると、方法９００は以下のステップ９１０～９４０を含む。
９１０：画像データの特徴情報とローカルディスプレイ装置のディスプレイパラメータを取得する。ここで、画像データ（Vで表すこともできる）は、HDR画像データ又はSDR画像データであってよい。これは、本願の本実施形態において限定されない。
例えば、ディスプレイ装置はフロントエンドからビデオソースを受信してよい。ビデオソースには主に画像データV、例えばピクセルデータが含まれる。具体的な例としては、３８４０×２１６０ピクセルの輝度及び色データなどが含まれてよい。
留意すべきことに、本願の本実施形態において、画像データVのフォーマットは限定されない。例えば、ピクセルデータの色空間としては、画像データVは、Y（luminance）UV（chrominance）空間の画像データであってよく、又はRGBピクセル空間の画像データであってもよい。別の例として、ピクセルデータのビット幅では、画像データVは８ビットのビット幅、つまり１０ビットのビット幅、又は１２ビットのビット幅とすることができる。
幾つかの実施形態では、画像データVを取得する際に、画像データの特徴情報をさらに取得する場合もあり、例えば、メタデータ（metadata）Mから取得する場合がある。画像データVのメタデータMは画像データのデータ特徴を示し、例えば、画像データのフォーマット、又は画像データVに対応する曲線パラメータMcurve、目標システムディスプレイ実ピーク輝度MTPL（targeted system display actual peak luminance）、画像データの内容の最大輝度値MaxSource（全ピクセルのY成分の最大値又は全ピクセルのRGB成分の最大値のうちの最大値）、最小値MinSource（全ピクセルのY成分の最小値又は全ピクセルのRGB成分の最大値のうちの最小値）、平均値（全ピクセルのY成分の平均値、又は全ピクセルのRGB成分の最大値の平均値）、表示内容の変化範囲、等が含まれてよい。これは、本願の本実施形態において限定されない。
幾つかの実施形態では、画像データVのピクセル情報からさらに画像データの特徴情報が取得されてもよい。或いは、事前設定された値を持つ画像データの特徴情報値が使用されてもよい。これは、本願の本実施形態において限定されない。
なお、メタデータMに曲線パラメータMcurveが含まれている場合、本願の本実施形態では、曲線パラメータMcurveのフォーマットは制限されない。例えば、技術３の場合、メタデータに含まれる曲線パラメータMcurveは、p、m、a、b、n、K１、K２、K３などであってよい。
幾つかの実施形態では、メタデータは動的メタデータと静的メタデータを含む。色ボリューム変換の標準ST２０９４-１動的メタデータ、又は関連する静的メタデータ（静的メタデータ）の標準を参照のこと。例えば、メタデータは画像と一緒にパッケージ化されることがあり、例えば、異なるファイルフォーマットと異なる符号化規格のSEIパッケージ、及びハードウェアのHDMIに関連する幾つかのパッケージ構造が含まれる。
幾つかの実施形態では、ディスプレイ装置は、ディスプレイ装置（つまり、実際の端末装置P又はローカルディスプレイ装置）のディスプレイパラメータMTPL（これは、ディスプレイ輝度パラメータとも呼ばれることがある）をさらに得ることができる。例えば、ディスプレイパラメータMTPLには、ディスプレイ装置の最大ディスプレイ輝度MaxDisplayとディスプレイ装置の最小ディスプレイ輝度MinDisplay、又は別のパラメータを含めることができる。これは、本願の本実施形態において限定されない。
９２０：画像データの第１トーンマッピング曲線の第１パラメータを取得する。
例えば、ディスプレイ装置は、画像データVのメタデータMとディスプレイ装置のディスプレイパラメータMTPLに基づいて、画像データVの第１tone-mapping曲線の第１パラメータを取得することができる。例えば、第１tone-mapping曲線の第１パラメータは、平均輝度値average_maxrgb、及び／又は最大輝度値MaxSource、及び／又はメタデータM内の画像データVのコンテンツの最小輝度値MinSource、及び／又はディスプレイ装置の最大ディスプレイ輝度MaxDisplay、及び／又はディスプレイ装置の最小ディスプレイ輝度MinDisplay、及び／又は曲線パラメータMcurve（p１,p２,...）、及び／又は他のデータに基づいて、第１トーンマッピング曲線の第１パラメータを取得することができ、P１curve（X,p１,p２,...）と表すことができる。Xは入力輝度値であり、p１,p２,..は曲線パラメータ値である。
なお、第１tone-mapping曲線の第１パラメータP１curveの形式は、本願の本実施形態に限定されない。また、第１パラメータP１curveを生成するために使用されるデータ、又は第１パラメータP１curveを生成するために使用されるアルゴリズムは、本願の本実施形態に限定されない。例えば、第１パラメータP１curveを生成するために使用されるデータは、メタデータ、及び／又はディスプレイ装置のディスプレイパラメータであってよく、又は他の事前設定されたデータであってよい。
具体的な例として、技術５の場合、曲線パラメータMcurveには、例えばパラメータ値（p、m、a、b、n、K１、K２、又はK３）と（TH１[i]、TH２[i]、TH３[i]又はMB０）が含まれる。第１tone-mapping曲線の第１パラメータP１curve（例えば、pP１、mP１、aP１、bP１、nP１、K１P１、K２P１、K３P１、TH１[i]、TH２[i],TH３[i],MD１[i],MC１[i],MB１[i],MA１[i]、MD２[i]、MC２[i]、MB２[i]、MA２[i]、又はMB３）は、曲線パラメータMcurveに基づいて求めることができる。
別の特定の例として、技術４の場合、曲線パラメータMcurveには、例えばパラメータ値（p、m、a、b、n、K１、K２、又はK３）と（TH１[i]、TH２[i]、TH３[i]又はMB０）が含まれる。第１tone-mapping曲線の第１パラメータP１curve（例えば、pP１、mP１、aP１、bP１、nP１、K１P１、K２P１、K３P１、TH１[i]、TH２[i],TH３[i],MD１[i],MC１[i],MB１[i],MA１[i]、MD２[i]、MC２[i]、MB２[i]、又はMA２[i]）は、曲線パラメータMcurveに基づいて求めることができる。
なお、本出願の本実施形態における第１tone-mapping曲線は、前述の元のtone-mapping曲線の一例であり、技術１、技術２、技術３、技術４、技術５で使用されるtone-mapping曲線を含むが、これに限定されない。本願の第１マッピング曲線の第１パラメータには、技術１、技術２、技術３、技術４、及び技術５で使用されるtone-mapping曲線に関連するパラメータが含まれるが、これらに限定されない。
９３０：事前設定された条件が満たされた場合、特徴情報、ディスプレイパラメータ、第１パラメータに基づき、第２tone-mapping曲線の第２パラメータを取得する。第２tone-mapping曲線の第１点での出力輝度は、第２tone-mapping曲線の第１点での入力輝度より大きくない。すなわち、第２tone-mapping曲線の入力輝度範囲内において、第２tone-mapping曲線に基づいて任意の入力輝度をマッピングして得られる出力輝度は、入力輝度より大きくない。第２パラメータは、画像データに対してダイナミックレンジマッピングを実行するために使用され、Rcurveとして表すことができる。
一例として、tone-mapping曲線の入力輝度は、線形光の場合もあれば、非線形値の場合もあり、線形関係を正規化（例えば、１００００を１として使用したり、コンテンツの最大輝度を１として使用したりする）した後の値の場合もある。これは、本願の本実施形態において限定されない。
例えば、第２tone-mapping曲線の第２パラメータRcurveは、第１パラメータP１curve、平均輝度値average_maxrgb、及び／又は最大輝度値MaxSource、及び／又は画像データVのコンテンツの最小輝度値MinSource、及び／又はディスプレイ装置の最大ディスプレイ輝度MaxDisplay、及び／又はディスプレイ装置の最小ディスプレイ輝度MinDisplay、及び／又はその他のデータに基づいて得られる。
例えば、第２パラメータRcurveは、以下の式（９）のような形式を有してよい：
Figure 0007462072000025
LとL'は正規化された電気信号又は光信号である。Dark、TH３C、TH２D、TH３D、MD１D、MC１D、MB１D、MA１D、MD２D、MC２D、MB２D、MA２Dは有理数である。
幾つかの実施形態では、事前設定された条件は、例えば、第１tone-mapping曲線に基づいて画像データに対してtone-mappingを行う場合、第１tone-mapping曲線上の点の出力輝度が、第１tone-mapping曲線上の点の入力輝度よりも大きくなることである。
なお、本願の本実施形態では、tone-mapping曲線の出力輝度と入力輝度の差が第１範囲内にある場合、出力輝度と入力輝度は基本的に同一であると考えてよい。つまり、tone-mapping曲線の出力輝度が入力輝度より大きく、出力輝度と入力輝度の差が第１範囲内にある場合、出力輝度と入力輝度は基本的に同じであると考えることができる。そうでない場合、tone-mapping曲線の出力輝度が入力輝度よりも大きく、出力輝度と入力輝度の差が第１範囲を超えると、出力輝度が入力輝度よりも大きいと考えられる。
事前設定された条件が満たされている場合、すなわち、第１パラメータに基づいて画像データに対してtone-mappingを行う際に、第１tone-mapping曲線の出力輝度が第１tone-mapping曲線の入力輝度よりも大きい場合、第２tone-mapping曲線の第２パラメータRcurveを生成する処理が行われる。
可能な実装では、事前設定された条件は、第１パラメータのパラメータpP１が第１値Tpよりも大きいことであってよい。第１値Tpは、第１パラメータのaP１と、aP１とpP１の間の事前設定された対応とに基づいて得られる。Tpは、技術３、技術４、又は技術５の曲線パラメータpの閾値を表す。第１パラメータpP１がTpを超えると、第２tone-mapping曲線上の点での出力輝度が入力輝度より大きくなることがある。
具体的な例として、技術４又は技術５の場合、第１パラメータP１curveにはaP１やpP１などのパラメータが含まれる。の場合、TaとしてaP１を使用し、テーブルTpa（Tp,Ta）を検索することで対応する第１値Tpを得る。ここで、テーブルTpa（Tp,Ta）は、aP１及びpP１の事前設定された対応の例である。Taは、技術３、技術４、又は技術５の曲線パラメータaの閾値を表す。
pP１がTpより大きければ、事前設定された条件を満たしている。この場合、任意で、第１パラメータP１curveのpP１をテーブル検索によって得られた第１値Tpに置き換えることができる。このように、置換後に得られる第１パラメータP１curveは、前述の第２パラメータRcurveであってもよい。
pP１がTp以下の場合、第２tone-mapping曲線の第２パラメータRcurveを生成する処理を実行する必要はない。
別の可能な実装では、事前設定された条件は、第１パラメータのパラメータaP１が第２値Taよりも大きいことであってよい。第２値Taは、第１パラメータのpP１と、aP１とpP１の間の事前設定された対応とに基づいて得られる。第１パラメータaP１がTaを超えると、第２tone-mapping曲線上の点での出力輝度が入力輝度より大きくなることがある。
具体的な例として、技術４又は技術５の場合、第１パラメータP１curveにはaP１やpP１などのパラメータが含まれる。この場合、ｐP１をTpとして使用してよく、テーブルTpa（Tp,Ta）を検索することで対応する第２値Taを得る。ここで、テーブルTpa（Tp,Ta）は、aP１及びpP１の事前設定された対応の例である。
aP１がTaより大きければ、事前設定された条件を満たしている。任意で、この場合、任意で、第１パラメータP１curveのaP１をテーブル検索によって得られた第２値Taに置き換えることができる。このように、置換後に得られる第１パラメータは、第２パラメータRcurveであってもよい。
aP１がTa以下の場合、第２tone-mapping曲線の第２パラメータRcurveを生成する処理を実行する必要はない。
前述の例では、テーブルTpa（Tp,Ta）は事前設定された有理数の組み合わせであり、例えば（３.５,０.８７９）と（４.５,０.７７７）である。なお、テーブルにない値については、線形差、隣接値、隣接値の加重平均値などを用いて値を生成する場合がある。更に、テーブルTpa（Tp,Ta）の具体的形式は、本願の本実施形態で限定されない。例えば、テーブルTpa（Tp,Ta）は、TpとTaの間の関数関係として別の方法で表されることもある。
別の可能な実装では、事前設定された条件は、第１パラメータのパラメータaP１及びパラメータpP１が第３値Tapよりも大きいことである。第３値Tapは事前設定された有理数である。例えば、第３値Tapは３と４の間の有理数、例えば３．２又は３．４であってよい。これは、本願の本実施形態において限定されない。
具体的な例として、技術４又は技術５の場合、第１パラメータP１curveにはaP１やpP１などのパラメータが含まれる。この場合、パラメータaP１とパラメータpP１の積aP１*pP１が事前設定された値Tapより大きいかどうかを判定してもよい。
aP１*pP１がTapより大きければ、事前設定された条件を満たしている。この場合、任意で、第１パラメータP１curveのpP１をTap/aP１に置き換えることができ、又は第１パラメータのaP１をTap/pP１に置き換えることができる。このように、置換後に得られる第１パラメータは、第２パラメータRcurveであってもよい。
aP１*pP１がTap以下の場合、第２tone-mapping曲線の第２パラメータRcurveを生成する処理を実行する必要はない。
他の幾つかの実施形態では、第１tone-mapping曲線に対応する第１パラメータP１curveは、代わりに、絶対輝度空間、例えば線形空間、又はPQやHLGのような非線形空間にさらに変換されてもよい。この場合、同じ値のyとxの輝度が同じになることを保証する必要がある。次に、第１tone-mapping曲線が直線y=xとの交点を持つかどうかに基づいて、第１tone-mapping曲線がy=xよりも高い部分を持つことを決定してもよい。例えば、第１tone-mapping曲線が直線y=xとの交点を持つ場合、第１tone-mapping曲線がy=xよりも高い部分を持つと決定されてもよい。第１tone-mapping曲線がy=xとの交点を持たない場合、第１tone-mapping曲線がy=xよりも高い部分を持たないと決定されてもよい。
従って、本願の実施形態では、第１tone-mapping曲線のパラメータをさらに調整し、調整した曲線パラメータ（つまり、第２パラメータ）に対応するtone-mapping曲線（つまり、第２tone-mapping曲線）上の点の出力輝度が、その点の対応する入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。
幾つかの任意の実施形態では、第２パラメータはさらに線形スプライン曲線パラメータを含む。線形スプライン曲線パラメータには、第２tone-mapping曲線の線形スプライン（第１線形スプラインと表記される場合もある）の範囲ピクセルの輝度値の最大値TH３C（第１最大入力輝度TH３Cとも呼ばれる）と、第１線形スプラインの勾配Darkが含まれる。例えば、第１線形スプラインは、例えば入力輝度が前述の式（９）のTH３Cよりも小さいtone-mapping曲線であり、すなわちDark×L、L<TH３Cである。L<TH３Cは第１線形スプラインの範囲ピクセルである。
任意で、ディスプレイ装置は、第１線形スプラインの初期範囲ピクセルの輝度値の最大値TH３C０（初期第１最大入力輝度TH３C０とも呼ばれる）と初期勾配Dark０を取得し、次に初期第１最大入力輝度TH３C０に基づいて第１最大入力輝度TH３Cを決定し、初期勾配Dark０に基づいて勾配Darkを決定することができる。
以下は、本願の実施形態で提供される初期第１最大入力輝度TH３C０を得るための３つの方法について説明する。
方法１：
ディスプレイ装置は、第１パラメータP１curveに基づいて、初期第１最大入力輝度TH３C０を決定してもよい。例えば、第１tone-mapping曲線が線形スプライン（第２線形スプラインとして示されることがある、例えば、技術２、技術４、又は技術５）を持つ場合、初期第１最大入力輝度TH３C０は、第２線形スプラインの範囲ピクセルの輝度値の最大値として決定されてよい。
方法２：
ディスプレイ装置は、事前設定された値に基づいて、初期第１最大入力輝度TH３C０を決定する。例えば、事前設定された値は、暗視と明視の境界、すなわち人間の目の錐体細胞と桿体細胞の応答が増大又は減少する輝度、例えば１nitであってよい。
方法３：
ディスプレイ装置は、画像データVのメタデータMに基づいて、初期第１最大入力輝度TH３C０を決定する。メタデータMには、ヒストグラム中の暗部ピクセルの量の特徴データ、例えば、ヒストグラム中の暗部ピクセルの量の特徴輝度位置、又は暗部ピクセルの暗から明へのピクセルの量/蓄積量が大きく変化する輝度、又は全ピクセルの中の０から特徴輝度までのピクセルの量の事前設定された割合より大きい割合が含まれる。
以下は、本願の実施形態で提供される初期勾配Dark０を得るための３つの方法について説明する。
方法１：
ディスプレイ装置は、第１パラメータP１curveに基づいて、初期勾配Dark０を決定してもよい。例えば、第１tone-mapping曲線が線形スプライン（例えば、第２線形スプライン）を有する場合、初期勾配Dark０は、例えば技術４又は技術５のMB０のように、第２線形スプラインの勾配として決定されてよい。
方法２：
ディスプレイ装置は、第４値と第１最大入力輝度TH３Cの比に基づいて初期勾配Dark０を決定してよい。第４値は、第１最大入力輝度TH３Cにおける第１tone-mapping曲線の出力値である。例えば、第４値をVdark=P１curve（TH３C）と表すことができる。この場合、初期勾配Dark０は（Vdark/TH３C）と表すことができる。
方法３：
ディスプレイ装置は、０と第１最大入力輝度TH３Cの間の第１tone-mapping曲線の事前設定された入力値の勾配値に基づいて、初期勾配Dark０を決定してよい。例えば、初期勾配Dark０は、平均値、最大値、又は０から第１最大入力輝度TH３Cまでの勾配値の中間値であってよい。これは、本願において限定されない。
なお、上記の初期最大入力輝度TH３C０又は初期勾配Dark０を得る方法は単なる例であり、本願の本実施形態の制限を構成するものではない。例えば、上記の方法と同様の方法、又は上記の方法を共通の手段に置き換えて初期最大入力輝度TH３C０又は初期勾配Dark０を得る方法も、本願の本実施形態の保護範囲に含まれる。
以下は、本願の本実施形態で提供される初期最大入力輝度TH３C０と初期勾配Dark０に基づいて、第１最大入力輝度TH３Cと第２目標tone-mapping曲線の勾配Darkを求める２つの方法について説明する。
方法１：
第１最大入力輝度TH３Cと勾配Darkは、以下の式（１０）と（１１）に基づいて決定できる。すなわち、第１初期最大入力輝度TH３C０、第１最大入力輝度TH３C、初期勾配Dark０、勾配Darkは、以下の式（１０）と（１１）を満たす：
Figure 0007462072000026
N１とN２は０より大きい有理数であり、H（L）はtone-mapping曲線であり、G（L）はH（L）の逆関数である。
方法２：
第１最大入力輝度TH３Cと勾配Darkは、以下の式（１２）と（１３）に基づいて決定できる。すなわち、第１初期最大入力輝度TH３C０、第１最大入力輝度TH３C、初期勾配Dark０、勾配Darkは、以下の式（１２）と（１３）を満たす：
Figure 0007462072000027
MaxLumは画像データの最大輝度MaxSourceの調整値であり、H（L）はtone-mapping曲線関数であり、G（L）はH（L）の逆関数である。留意すべきことに、本願の本実施形態において、MaxSourceからMaxLumへの調整の方法は限定されない。
例えば、次の式（１４-１）のtone-mapping曲線の場合、tone-mapping曲線の逆関数G（L）は式（１５-１）に示される：
Figure 0007462072000028
例えば、次の式（１４-２）のtone-mapping曲線の場合、tone-mapping曲線の逆関数G（L）は式（１５-２）に示される：
Figure 0007462072000029
本願の本実施形態では、第２パラメータに基づいて画像データに対してダイナミックレンジマッピングを行う場合、直線部分を用いて、画像データの暗い領域でトーンマッピングを行ってよい。このように、輝度利得を制御することができる。また、第２パラメータを制御して直線から直線y=xに徐々に変化させる方が便利である。直線y=xは、tone-mapping曲線上の任意の点における出力輝度が入力輝度に等しいことと等価である。従って、本願の本実施形態では、輝度勾配のあるコンテンツではフリッカー現象が発生しにくい。
幾つかの任意の実施形態では、第２tone-mapping曲線はさらに３次スプライン曲線を含む。第２パラメータRcurveはさらに、第２tone-mapping曲線の第１の３次スプラインの第１範囲ピクセルの輝度値の最小値を含む。この場合、ディスプレイ装置は、第２tone-mapping曲線上の線形スプラインの範囲ピクセルの輝度値の最大値TH３C、すなわち第１最大入力輝度TH３Cに基づいて、第１の３次スプラインの第１範囲ピクセルの輝度値の最大値TH１Dを決定してもよい。例えば、第１範囲のピクセルの輝度値の最大値TH１Dは、第１最大入力輝度TH３Cと等しくてもよい。つまりTH１D=TH３Cである。
例えば、第１の３次スプラインに対応するtone-mapping曲線は、前述の式（９）における入力輝度範囲がTH３C以上且つTH２D未満のtone-mapping曲線であってよい。すなわち、D１D×（L-TH１D）３+MC１D×（L-TH１D）２+MB１D×（L-TH１D）+MA１D、TH１D≦L<TH２Dであり、TH１D≦L<TH２Dは第１範囲ピクセルである。
第２パラメータRcurveはさらに、第１の３次スプラインの第１範囲ピクセルの輝度値の最大値TH２Dを含み、最大値TH２Dは第２最大入力輝度TH２Dと呼ばれることもある。例えば、第２最大入力輝度TH２Dは、第１範囲ピクセルの輝度値の前述の最大値TH１Dに基づいて決定されてよい。
幾つかの任意の実施形態では、第２パラメータRcurveは、第２tone-mapping曲線上の第２の３次スプラインの第２範囲ピクセルの輝度値の最大値TH３Dをさらに含み、最大値TH３Dは第３最大入力輝度TH３Dと呼ばれることもある。任意で、第２範囲のピクセルの輝度値の最小値をTH２Dにすることもできる。例えば、第２の３次スプラインに対応するtone-mapping曲線は、前述の式（９）における入力輝度範囲がTH２D以上且つTH３D未満のtone-mapping曲線であってよい。すなわち、MD２D×（L-TH２D）３+MC２D×（L-TH２D）２+MB２D×（L-TH２D）+MA２D、TH２D≦L≦TH３Dであり、TH２D≦L≦TH３Dは第２範囲ピクセルである。
例えば、ディスプレイ装置は、第１範囲ピクセルの輝度値の最大値TH１Dと第２最大入力輝度TH２Dとに基づいて、第３最大入力輝度TH３Dを決定してもよい。
以下は、本願の本実施形態で提供される第２最大入力輝度TH２Dと第３最大入力輝度TH３Dの決定方法について説明する。
方法１：
ディスプレイ装置は、第１範囲ピクセルの輝度値の最大値TH１Dと、第１パラメータのTH１[０]、TH２[０]、TH３[０]（又はメタデータMに含まれるパラメータTH１[０]、TH２[０]、TH３[０]）に基づいて、第２最大入力輝度TH２Dを求めることができる。例えば、TH２DとTH３Dは各々次の式（１６-１）と式（１７-１）を満たす：
Figure 0007462072000030
方法２：
ディスプレイ装置は、第１範囲ピクセルの輝度値の最大値TH１Dと、第１パラメータのdeltaTH２[０]及びdeltaTH３[０]（又はメタデータMに含まれるパラメータdeltaTH２[０]及びdeltaTH３[０]）に基づいて、第２最大入力輝度TH２Dを決定してもよい。例えば、TH２DとTH３Dは各々次の式（１６-２）と式（１７-２）を満たしてよい：
Figure 0007462072000031
方法３：
ディスプレイ装置は、TH１Dと事前設定された値に基づいてTH２DとTH３Dを決定してよい。例えば、TH２DとTH３Dは各々次の式（１８）と式（１９）を満たしてよい：
Figure 0007462072000032
Bは０より大きい有理数であり、例えば、暗－明遷移領域ピクセルの輝度値に対応するオフセット値であってもよく、Bのデフォルト値は０.１５であってもよい。CとDは０より大きい有理数であり、例えば、明るい領域のピクセルの輝度値に対応する重み係数であり、CとDのデフォルト値は０.５であってよい。
任意で、第２パラメータRcurve（つまり、式（９））のMD１D、MC１D、MB１D、MA１D、MD２D、MC２D、MB２D、MA２Dなどのパラメータを決定することができる。例えば、これらのパラメータは、以下の式（１４）～（１９）に基づき決定されてよい。
幾つかの実施形態では、第２tone-mapping曲線上の第１の３次スプラインの第１範囲ピクセルの輝度値の最小値TH１Dは、第１最大入力輝度TH３C（つまり、第１線形スプラインの範囲ピクセルの輝度値の最大値TH３C）と同じである。このようにして、第２tone-mapping曲線上の線形スプラインの範囲ピクセルは、第１の３次スプラインの第１範囲ピクセルと連続することができる。また、TH１Dにおける第２tone-mapping曲線上の第１の３次スプラインと第１線形スプラインの出力値は同じであり、TH１Dにおける第２tone-mapping曲線上の第１の３次スプラインと第１線形スプラインの１次微分は同じである。すなわちTH１Dにおいて第２tone-mapping曲線は連続している。
Figure 0007462072000033
幾つかの実施形態では、第２の３次スプラインの第２範囲ピクセルの輝度値の最大値は、第１の３次スプラインの第１範囲ピクセルの輝度値の最大値TH２D、すなわち第２最大入力輝度TH２Dと同じである。TH２Dでの第２の３次スプラインと第１の３次スプラインの出力値は同じである。このようにして、第２tone-mapping曲線上の第１の３次スプラインの第１範囲ピクセルは、第２の３次スプラインの第２範囲ピクセルと連続することができる。また、TH２Dにおける第２の３次スプラインと第１の３次スプラインの１次微分は同じである。つまり、TH２Dにおいて第２tone-mapping曲線は連続している。
例えば、式（９）のRcurveパラメータでは、第２tone-mapping曲線がTH２Dで連続している場合、MD１D、TH３C、MC１D、MB１D、MA１D、MD２D、TH２D、MB２D、及びMA２Dは、次の式（２２）と（２３）を満たす：
Figure 0007462072000034
幾つかの実施形態では、第２パラメータは、第２tone-mapping曲線のtone-mappingサブ関数の曲線パラメータをさらに含む。tone-mappingサブ関数の第３範囲ピクセルの輝度値の最小値は、第２の３次スプラインの第２範囲ピクセルの輝度値の最大値TH３D、すなわち第３最大入力輝度TH３Dと同じである。このようにして、第２tone-mapping曲線上の第２の３次スプラインの第２範囲ピクセルは、tone-mappingサブ関数に対応する第２範囲ピクセルと連続することができる。また、TH３Dでの第２の３次スプラインとtone-mappingサブ関数の出力値は同じであり、TH３Dでの第２の３次スプラインとtone-mappingサブ関数の１次微分は同じである。つまり、TH３Dで第２tone-mapping曲線は連続している
例えば、式（９）のRcurveパラメータでは、第２tone-mapping曲線がTH３Dで連続している場合、MD２D、TH３D、TH２D、MC２D、MB２D、MA２D、MD２D、MC２D、及びMB２Dは、次の式（２４）と（２５）を満たす：
Figure 0007462072000035
さらに、幾つかの実施形態では、TH２Dにおける上記の２つの３次スプラインのセグメント（つまり、第１の３次スプラインと第２の３次スプライン）の値が、事前設定されたポリシーに従って取得されてよい。例えば、TH２Dの３次スプラインの２つのセグメントの各々の値は、入力輝度がTH１DとTH３Dであり、第２tone-mapping曲線上にある２点間の接続線の中間点の値であってよい。
本願の本実施形態では、第２tone-mapping曲線の３次スプライン曲線は、線形スプライン曲線と基本曲線を滑らかに接続することができる一方で、３次スプライン曲線は、直線部分に隣接する部分の利得を制御するのに役立つ。
なお、本願の本実施形態では、第２パラメータの線形スプラインパラメータを取得する処理のみを含めることができ、第２パラメータの線形スプラインパラメータ以外のパラメータを取得する処理が含まれる必要はない。
９４０：第２トーンマッピング曲線の第２パラメータに基づいて、画像データに対してダイナミックレンジマッピングを実行する。例えば、第２パラメータを取得した後、第２tone-mapping曲線を取得して、画像データに対してダイナミックレンジマッピングを実行することができる。
例えば、正規化されたHDR/SDRソースデータと正規化されたHDR/SDRディスプレイデータとの間のマッピング関係は、前述の式（９）に基づいて取得することができる。例えば、ディスプレイ装置の最大ディスプレイ能力と最小ディスプレイ能力（例えば、０）に基づいて、マッピング値L'をディスプレイ装置の最大ディスプレイ能力と最小ディスプレイ能力の間の値に逆正規化することができる。なお、上記の逆正規化計算はPQの非線形空間であってもよいし、又は正規化０から１の線形空間であってもよい。また、逆正規化は０～１００００nitであってよく、又は０.０００１～１０００００nit、等であってもよい。HDR/SDRマッピングデータL'の逆正規化範囲及び逆正規化処理は、本願の本実施形態では限定されない。
なお、２回目のtone-mapping曲線を取得した後に、後続の表示適応処理は、トーンマッピング（tone-mapping）を含まないだけでなく、彩度処理、色域変換処理、ノイズ除去処理、シャープニング処理などを調整するために、表示前にさらに調整されてもよい。これは、本願の本実施形態において限定されない。
なお、さらに、ディスプレイ装置の最大ディスプレイ能力は、装置のパラメータ又はメーカに関する情報に基づき取得されてよい。ディスプレイ装置の最小ディスプレイ能力は通常０nitであり、又は１nitであってもよい。これは、本願の本実施形態において限定されない。
従って、本願の本実施形態では、tone-mapping曲線のパラメータをさらに調整することで、調整した曲線パラメータに対応するtone-mapping曲線の出力輝度が、tone-mapping曲線の入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされたディスプレイ装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。従って、本願の本実施形態では、輝度の異なる端末ディスプレイ装置に高い柔軟性を持たせ、パラメータを適切に調整した場合に良好な表示効果を達成できる。
本願の幾つかの可能な実施形態では、第２パラメータの線形スプライン曲線パラメータ（第１線形スプライン曲線パラメータと示されてもよい）には、第２tone-mapping曲線上の第１線形スプラインの勾配（例えば、MB[０][０]と表すことができる）と、第１線形スプラインの範囲ピクセルの輝度値の最大値（例えば、TH３[０]と表されることもある）を含めることができる。
本願の幾つかの可能な実施形態では、第２パラメータの線形スプライン曲線パラメータ（第１線形スプライン曲線パラメータと示されてもよい）には、第２tone-mapping曲線上の第１線形スプラインの勾配（例えば、MB[０][０]と表すことができる）と、第１線形スプラインの範囲ピクセルの輝度値の最大値（例えば、TH３[０]と表されることもある）と、第１線形スプラインと垂直軸の交点base_offsetと、を含めることができる。
本実施形態では、第１パラメータに含まれる線形スプライン曲線パラメータ（第２線形スプライン曲線パラメータと示されてもよい）には、第２tone-mapping曲線上の第２線形スプラインの勾配（例えば、MB_mid[０][０]と表すことができる）と、第２線形スプラインの範囲ピクセルの輝度値の最大値（例えば、TH３_mid[０]と表されることもある）を含めることができる。
この場合、第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づいて、事前設定された条件を満たしたときに第２tone-mapping曲線の第２パラメータを取得する実装は、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]及びTH３_mid[０]を調整し、曲線パラメータMB[０][０]及びTH３[０]を取得することであってよい。
例えば、パラメータm_a（つまり、tone-mapping曲線パラメータa）がTm_ap（m_p）よりも大きい場合、第２パラメータを生成する処理が実行される。すなわち、MB[０][０]とTH３[０]がmax_lum/MaxDisplayに基づいて調整される。Tm_apは、例えば、m_p_Tとm_a_Tとの間の事前設定されたマッピング関係に基づいて、テーブル（m_p_T,m_a_T）を検索することによって得ることができる。ここで、m_pはtone-mapping曲線パラメータpに対応し、m_pに基づいて得られるm_aの事前設定された値Tm_ap（m_p）はm_a_Tである。
例えば、曲線パラメータMB_mid[０][０]とTH３_mid[０]を調整するとき、入力は、ディスプレイ装置の表示輝度範囲の最大ディスプレイ輝度MaxDisplay（PQドメインの値）、処理対象フレームの最大輝度補正値max_lum、メタデータのtargeted_system_display_maximum_luminance（メタデータにtargeted_system_display_maximum_luminanceが存在しない場合、targeted_system_display_maximum_luminanceはMaxDisplayに等しい）、元の線形スプライン曲線（つまり、第１tone-mapping曲線の線形スプライン曲線）パラメータMB[０][０]又はTH３[０]、及びm_p、m_m、m_n、m_a、m_b、k１、k２、k３を含む色信号マッピング曲線パラメータPtone_mappingであってよい。出力は、線形スプライン曲線（つまり、第２tone-mapping曲線上の線形スプライン）パラメータMB[０][０]又はTH３[０]であってよい。
可能な実装では、曲線パラメータMB_mid[０][０]とTH３_mid[０]、及び曲線パラメータMB[０][０]とTH３[０]は次式（２６）及び（２７）を満たす：
Figure 0007462072000036
N１とN２は０より大きい有理数であり、G（L）はマッピング曲線パラメータTcurveの逆関数である。
別の可能な実装では、曲線パラメータMB_mid[０][０]とTH３_mid[０]、及び曲線パラメータMB[０][０]とTH３[０]は次式（２８）及び（２９）を満たす：
Figure 0007462072000037
MaxLumは最大輝度補正値（MaxSourceの調整値）であり、G（L）はマッピング曲線パラメータTcurveの逆関数である。
別の可能な実装では、曲線パラメータMB_mid[０][０]とTH３_mid[０]、及び曲線パラメータMB[０][０]とTH３[０]は次式（３０）及び（３１）を満たす：
Figure 0007462072000038
Lは入力信号であり、G（L）はtone-mapping曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、H（L,m_a_T）は同様である。N１とN２は有理数であり、例えばN１とN２のデフォルト値は０であってよい。max（a,b）はaとbのうち大きい値を計算することを示し、min（a,b）はaとbのうち小さい値を計算することを示す。
幾つかの実施形態では、k１とk２は同時に０ではなく、K３は０ではない。
例えば、H（L）は以下の幾つかの例である。
Figure 0007462072000039
本願の幾つかの任意の実施形態では、第１パラメータは第２線形スプライン曲線パラメータを含んでよい。第２線形スプライン曲線パラメータには、第１tone-mapping曲線上の第２線形スプラインの勾配MB_mid[０][０]、及び／又は第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]、及び／又は第１線形スプラインと垂直座標軸の交点base_offset_midが含まれる。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
第１パラメータ、ディスプレイパラメータ、及び特徴情報に基づき第２トーンマッピング曲線の第２パラメータを取得することには、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_midを調整して、曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetを取得することが含まれる。
可能な実装では、曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_mid、並びに曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetは次式を満たす：
Figure 0007462072000040
Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１、N２、及びN３は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
Figure 0007462072000041
なお、本願の本実施形態では、第２パラメータの線形スプラインパラメータを取得する処理のみを含めることができ、第２パラメータの線形スプラインパラメータ以外のパラメータを取得する処理が含まれる必要はない。言い換えると、以下の処理プロセスを含まなくてもよい。
幾つかの任意の実施形態では、第２パラメータは３次スプライン曲線パラメータを含む。３次スプライン曲線パラメータには、第２tone-mapping曲線上の３次スプラインの補間点の値TH１[１]、TH２[１]、TH３[１]が含まれる。TH１[１]は３次スプラインの第１範囲ピクセルの輝度値の最小値を示す。TH２[１]は、３次スプラインの第１範囲ピクセルの輝度値の最大値と、３次スプラインの第２範囲ピクセルの輝度値の最小値を示す。TH３[１]は３次スプラインの第２範囲ピクセルの輝度値の最大値を示す。例えば、TH１[１]はTH１Dの例であってよく、TH２[１]はTH２Dの例であってよく、TH３[１]はTH３Dの例であってよい。
可能な実装では、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]は、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定されたオフセット値に基づいて計算されてよい。例えば、TH１[１]、TH２[１]、及びTH３[１]は各々次の式（３２）～（３４）を満たす：
Figure 0007462072000042
B、C、Dは３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定された値である。Bは、暗－明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。例えば、Bのデフォルト値は０.１５であってよく、CとDのデフォルト値は０.５であってよい。
別の可能な実装では、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]は、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値に基づいて計算されてよい。例えば、TH１[１]、TH２[１]、及びTH３[１]は各々次の式（３５）～（３７）を満たす：
Figure 0007462072000043
３Spline_TH[i][０][w]、３Spline_TH_Delta１[i][１][w]、３Spline_TH_Delta１[i][２][w]は、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]の計算に使用される相関値であり、メタデータから抽出される。
幾つかの任意の実施形態では、第２tone-mapping曲線のTH１[１]、TH２[１]、TH３[１]に対応する座標（例えばY座標）を得ることができ、例えば、各々VA１、VA２、VA３と表すことができる。TH３[０]における第２tone-mapping曲線上の線形スプラインのY座標はTH１[１]における第２tone-mapping曲線上の３次スプラインのY座標と同じであり、TH３[０]における線形スプラインの１次微分はTH１[１]における３次スプラインの１次微分と同じである。
幾つかの任意の実施形態では、TH２[１]における第２トーンマッピング曲線上の第１の３次スプラインのY座標は、TH２[１]における第２トーンマッピング曲線上の第２の３次スプラインのY座標と同じであり、TH２[１]における第１の３次スプラインの１次微分は、TH２[１]における第２の３次スプラインの１次微分と同じである。
幾つかの任意の実施形態では、TH３[１]における第２tone-mapping曲線上の第２の３次スプラインのY座標は、TH３[１]における第２tone-mapping曲線上の第３tone-mapping関数のY座標と同じであり、TH３[１]における第２の３次スプラインの１次微分は、TH３[１]における第３tone-mapping関数の１次微分と同じである。
例えば、式（３８）は第２tone-mapping曲線上の線形スプラインに基づいて取得できる：
Figure 0007462072000044
次に、LをTH[１]に設定し、TH[１]の座標VA１を計算し、座標VA１が次式（３９）を満たす。
Figure 0007462072000045
次に、MA[０][１]とMA[１][１]を第２tone-mapping曲線上の第１の３次スプラインに基づいて取得し、MA[０][１]とMA[１][１]は次の式（４０）と（４１）を満たす：
Figure 0007462072000046
次に、MB[０][１]=GD１となるように、第２tone-mapping曲線上の第１の３次スプラインの１次微分GD１を計算し、TH３[１]における第２tone-mapping曲線上の第２の３次スプラインの１次微分GD３を計算する。GD１とGD３は各々次の式（４２）と式（４３）を満たす：
Figure 0007462072000047
次に、TH２[１]における第２tone-mapping曲線の第１の３次スプライン（つまり、第１の３次スプライン）曲線の値VA２[０]を計算し、TH３[１]における第２の３次スプライン（つまり、第２の３次スプライン）曲線の値VA３[０]を計算すると、VA３[０]=VA３となる。
TH３[１]における第２の３次スプライン曲線の微分GD３[０]を計算し、GD３[０]=GD３となる。
TH２[１]における第１の３次スプライン曲線と第２の３次スプライン曲線の１次微分GD２[０]とGD２[１]を各々計算し、GD２[０]=GD２[１]となる。
TH２[１]における２つの３次スプライン曲線の２次微分GGD２[０]及びGGD２[１]を計算し、GGD２[０]=GGD２[１]となる。
結論として、次の式（４４）が得られる：
Figure 0007462072000048
第２パラメータのMC[０][１]、MD[０][１]、MB[１][１]、MC[１][１]、MD[１][１]などのパラメータは、上記の計算を通じて別の条件を参照して取得することができる。
従って、本願の実施形態では、第１tone-mapping曲線のパラメータをさらに調整し、調整した曲線パラメータ（つまり、第２パラメータ）に対応するtone-mapping曲線（つまり、第２tone-mapping曲線）上の点の出力輝度が、その点の対応する入力輝度より大きくならないようにしている。これは、画像の最大ディスプレイ輝度がディスプレイ装置の最大ディスプレイ輝度に近い場合に、マッピングされた端末装置のピクセルの輝度が元の画像の輝度よりも大きくなる異常を回避することを助ける。
以上は、図９を参照して、本願の実施形態におけるダイナミックレンジマッピング方法を詳細に説明した。以下は、図１０及び図１１を参照して、本願の実施形態におけるダイナミックレンジマッピング機器を説明する。なお、図１０及び図１１に示したダイナミックレンジマッピング機器は、図９に示したダイナミックレンジマッピング方法のステップを実行することができる。上記の図９のステップの制限は、図１０及び図１１に示した装置にも適用できる。したがって、図１０及び図１１に示した機器について以下に説明する場合、簡潔にするため、繰り返しの説明は適宜省略する。
図１０は、本願の実施形態によるダイナミックレンジマッピング機器１０００の概略ブロック図である。機器１０００は、取得ユニット１０１０、処理ユニット１０２０、及びマッピングユニット１０３０を含む。
取得ユニット１０１０は、端末装置のディスプレイパラメータを取得するように構成される。
取得ユニット１０１０はさらに、画像データの特徴情報を取得するように構成される。
取得ユニット１０１０はさらに、画像データの第１トーンマッピング曲線の第１パラメータを取得するように構成される。
処理ユニット１０２０は、事前設定された条件が満たされたときに、第１パラメータ、端末装置のディスプレイパラメータ、画像データの特徴情報に基づいて、第２tone-mapping曲線の第２パラメータを取得するように構成される。第２tone-mapping曲線の第１点での出力輝度は、第２tone-mapping曲線の第１点での入力輝度より大きくない。
マッピングユニット１０３０は、第２tone-mapping曲線の第２パラメータに基づいて、画像データに対してダイナミックレンジマッピングを行うように構成される。
本願の幾つかの実装では、以下の条件のうちのいずれか１つが満たされるとき、事前設定された条件が満たされる：
第１パラメータに基づいて画像データに対してtone-mappingを行うと、第１tone-mapping曲線の第２点における出力輝度が、第１tone-mapping曲線の第２点における入力輝度よりも大きくなる。
或いは、第１パラメータの中のパラメータpP１が第１値Tpより大きい。第１値Tpは、第１パラメータのaP１と、aP１とpP１の間の事前設定された対応とに基づいて得られる。
或いは、第１パラメータの中のパラメータaP１が第２値Taより大きい。第２値Taは、第１パラメータのpP１と、aP１とpP１の間のプリセット対応とに基づいて得られる。
或いは、第１パラメータの中のパラメータaP１とパラメータpP１との積が、第３値Tapより大きい。第３値Tapは事前設定された有理数である。
本願の幾つかの実装では、第２パラメータは第１線形スプライン曲線パラメータを含む。第１線形スプライン曲線パラメータは、第２tone-mapping曲線上の勾配MB[０][０]又は第１線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]を含む。
本願の幾つかの実装では、第１パラメータは第２線形スプライン曲線パラメータを含む。第２線形スプライン曲線パラメータが第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び第１線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]を含む。ディスプレイパラメータには、端末装置の最大ディスプレイ輝度MaxDisplayが含まれる。特徴情報には画像データの最大輝度補正値max_lumが含まれる。
処理ユニット１０２０は、具体的に、最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて曲線パラメータMB_mid[０][０]及びTH３_mid[０]を調整して、曲線パラメータMB[０][０]及びTH３[０]を取得するよう構成される。
本願の幾つかの実装では、曲線パラメータMB_mid[０][０]とTH３_mid[０]、及び曲線パラメータMB[０][０]とTH３[０]は次式を満たす：
Figure 0007462072000049
Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、H（L,m_a_T）は同様であり、N１及びN２は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
Figure 0007462072000050
本願の幾つかの実装では、第２パラメータは３次スプライン曲線パラメータを含む。３次スプライン曲線パラメータには、第２tone-mapping曲線上の３次スプラインの補間点の値TH１[１]、TH２[１]、TH３[１]が含まれる。TH１[１]は３次スプラインの第１範囲ピクセルの輝度値の最小値を示す。TH２[１]は、３次スプラインの第１範囲ピクセルの輝度値の最大値と、３次スプラインの第２範囲ピクセルの輝度値の最小値を示す。TH３[１]は３次スプラインの第２範囲ピクセルの輝度値の最大値を示す。
本願の幾つかの実装では、次のように、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、補間点値TH１[１]、TH２[１]、TH３[１]の事前設定されたオフセット値に基づいて、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が取得される。
Figure 0007462072000051
B、C、Dは３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定された値である。Bは、暗－明遷移領域ピクセルの輝度値に対応する事前設定されたのオフセット値である。CとDは明るい領域のピクセルの輝度値に対応する事前設定された重み付け係数である。
本願の幾つかの実装では、次のように、第１パラメータの第２線形スプライン曲線パラメータTH３[０]と、補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値に基づいて、３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]が計算される。
Figure 0007462072000052
３Spline_TH[i][０][w]、３Spline_TH_Delta１[i][１][w]、３Spline_TH_Delta１[i][２][w]は、補間点値TH１[１]、TH２[１]、TH３[１]の計算に使用される相関値であり、メタデータから抽出される。
本願の幾つかの実装では、TH３[０]における第２tone-mapping曲線上の線形スプラインのY座標はTH１[１]における第２トーンマッピング曲線上の３次スプラインのY座標と同じであり、TH３[０]における線形スプラインの１次微分はTH１[１]における３次スプラインの１次微分と同じである。
本願の幾つかの実装では、TH２[１]における第２tone-mapping曲線上の第１の３次スプラインのY座標は、TH２[１]における第２tone-mapping曲線上の第２の３次スプラインのY座標と同じであり、TH２[１]における第１の３次スプラインの１次微分は、TH２[１]における第２の３次スプラインの１次微分と同じである。
本願の幾つかの実装では、TH３[１]における第２tone-mapping曲線上の第２の３次スプラインのY座標は、TH３[１]における第２tone-mapping曲線上の第３tone-mapping関数のY座標と同じであり、TH３[１]における第２の３次スプラインの１次微分は、TH３[１]における第３tone-mapping関数の１次微分と同じである。
本願の幾つかの実装では、取得ユニット１０１０は、具体的に、画像データのメタデータを取得し、メタデータとディスプレイパラメータに基づいて、第１トーンマッピング曲線の第１パラメータを決定するよう構成される。
図１１は、本願の実施形態によるダイナミックレンジマッピング機器１１００のハードウェア構造の概略図である。図１１に示す機器１００は、コンピュータ装置と考えられてよい。機器１１００は、本願の実施形態におけるダイナミックレンジマッピング機器の実装として使用されてよく、又は本願の実施形態におけるダイナミックレンジマッピング方法の実装として使用されてもよい。機器１１００は、プロセッサ１１０１、メモリ１１０２、入出力インタフェース１１０３、及びバス１１０５を含み、通信インタフェース１１０４を更に含んでよい。プロセッサ１１０１、メモリ１１０２、入出力インタフェース１１０３、及び通信インタフェース１１０４は、バス１１０５を使用して相互に通信接続を実現する。
プロセッサ１１０１は、汎用中央処理ユニット（central processing unit, CPU）、マイクロプロセッサ、特定用途向け集積回路（application-specific integrated circuit, ASIC）、又は１つ以上の集積回路であってよい。プロセッサ１１０１は、本願の実施形態では、メディアデータ処理機器内のモジュールで実行する必要がある機能を実装するための関連プログラムを実行するか、又は本願の方法の実施形態では、メディアデータ処理方法を実行するように構成される。プロセッサ１１０１は、集積回路チップであってよく、信号処理能力を有する。実装プロセスでは、前述の方法のステップは、プロセッサ１１０１内のハードウェアの集積論理回路又はソフトウェアの形式の命令を用いて達成されてよい。プロセッサ１１０１は、汎用プロセッサ、デジタル信号プロセッサ（Digital Signal Processor, DSP）、特定用途向け集積回路（Application-Specific Integrated Circuit, ASIC）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array, FPGA）、別のプログラマブル論理素子、個別ゲート、トランジスタ論理素子、又は個別ハードウェアコンポーネントであってよい。プロセッサは、本願の実施形態で開示された方法、ステップ、論理ブロック図を実装し又は実行してよい。汎用プロセッサはマイクロプロセッサであってよく、又はプロセッサは任意の従来のプロセッサ等であってよい。本願の実施形態を参照して開示された方法のステップは、ハードウェア復号プロセッサにより直接実行され達成されてよく、又は復号プロセッサ内のハードウェアとソフトウェアモジュールとの結合を用いて実行され達成されてよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタのような、従来の成熟した記憶媒体に置かれてよい。記憶媒体はメモリ１１０２内に配置される。プロセッサ１１０１は、メモリ１１０２の情報を読み取り、プロセッサ１１０１のハードウェアと組み合わせて、本願の実施形態におけるメディアデータ処理機器に含まれるモジュールにより実行される必要がある機能を達成し、又は本願の方法の実施形態におけるメディアデータ処理方法を実行する。
メモリ１１０２は、読み出し専用メモリ（read-only memory, ROM）、静的記憶装置、動的記憶装置、又はランダムアクセスメモリ（random access memory, RAM）とすることができる。メモリ１１０２はオペレーティングシステムと他のアプリケーションプログラムを格納することができる。本願の実施形態におけるメディアデータ処理機器に含まれるモジュールにより実行される必要がある機能を実装する場合、又は本願の方法の実施形態におけるメディアデータ処理方法をソフトウェア又はファームウェアを用いて実行する場合、本願の実施形態で提供される技術的ソリューションを実装するために使用されるプログラムコードがメモリ１１０２に格納され、プロセッサ１１０１は、メディアデータ処理機器に含まれるモジュールにより実行される必要がある動作を実行し、又は本願の方法の実施形態で提供されるメディアデータ処理方法を実行する。
入出力インタフェース１１０３は、入力データ及び情報を受信し、演算結果などのデータを出力するように構成される。
通信インタフェース１１０４は、装置１１００と他の装置又は通信ネットワークとの間の通信を実現するために、例えばトランシーバなどのトランシーバ機器を使用するが、これに限定されない。通信インタフェース１１０４は、処理機器内の取得モジュール又は送信モジュールとして使用することができる。
バス１１０５は、装置１１００のコンポーネント（例えば、プロセッサ１１０１、メモリ１１０２、入出力インタフェース１１０３、通信インタフェース１１０４）間で情報を送信するためのパスを含むことができる。
なお、図１１には、装置１１００のプロセッサ１１０１、メモリ１１０２、入出力インタフェース１１０３、通信インタフェース１１０４、バス１１０５のみが示されているが、特定の実装プロセスでは、装置１１００は、通常の実行を実現するために必要な別の装置をさらに含むこと、例えば、再生されるビデオデータを表示するように構成されたディスプレイをさらに含んでよいことを、当業者は理解すべきである。さらに、特定の要件に基づいて、当業者は、機器１１００が他の追加機能を実装するためのハードウェアコンポーネントをさらに含んでもよいことを理解すべきである。加えて、当業者は、装置１１００が代替的に本願の本実施形態を実施するために必要なコンポーネントのみを含むことができ、必ずしも図１１に示されたすべてのコンポーネントを含むわけではないことを理解すべきである。
当業者は、本明細書に開示された実施形態で記載された例と組み合わせて、ユニット及びアルゴリズムが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実装できることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約に依存する。当業者は、特定の適用毎に、記載の機能を実施するために異なる方法を使用してよいが、実装が本願の範囲を超えると考えられるべきではない。
本願の実施形態は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体には命令が格納されており、コンピュータ上で命令を実行すると、コンピュータは前述のダイナミックレンジマッピング方式を実行できるようになる。
本願の実施形態は、命令を含むコンピュータプログラムプロダクトを更に提供する。コンピュータプログラムプロダクトがコンピュータで実行されると、該コンピュータは、前述のダイナミックレンジマッピング方法を実行可能にされる。
当業者は、本明細書に開示された実施形態で記載された例と組み合わせて、ユニット及びアルゴリズムが電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実装できることを認識し得る。機能がハードウェア又はソフトウェアにより実行されるかは、技術的ソリューションの特定の適用及び設計制約に依存する。当業者は、特定の適用毎に、記載の機能を実施するために異なる方法を使用してよいが、実装が本願の範囲を超えると考えられるべきではない。
便宜上及び簡潔な説明を目的として、前述jのシステム、機器、及びユニットの詳細な作動プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細はここで再び記載されないことが、当業者により明確に理解され得る。
本願において提供された幾つかの実施形態では、理解されるべきことに、開示のシステム、機器、及び方法は別の方法で実装されてよい。例えば、記載の機器の実施形態は単なる例である。例えば、ユニットへの分割は、単なる論理的機能分割であり、実際の実装では他の分割であってよい。例えば、複数のユニット又はコンポーネントは、結合され又は別のシステムに統合されてよく、或いは、幾つかの機能は、無視され又は実行されなくてよい。さらに、示された又は議論された相互結合又は直接結合又は通信接続は、幾つかのインタフェースを用いて実装されてよい。機器又はユニット間の間接結合又は通信接続は、電子的、機械的、又は他の形式で実装されてよい。
別個の部分として記載されたユニットは、物理的に分離していてよく又はそうでなくてよい。ユニットとして示された部分は、物理的ユニットであってよく又はそうでなくてよく、１つの場所に置かれてよく、又は複数のネットワークユニットに分配されてよい。ユニットのうちの一部又は全部は、実施形態のソリューションの目的を達成するために、実際の要件に基づき選択されてよい。
更に、本願の実施形態における機能ユニットは、１つの処理ユニットに統合されてよく、又は、ユニットの各々は物理的に単独で存在してよく、又は、２つ以上のユニットが１つのユニットに統合される。
機能がソフトウェア機能ユニットの形式で実装され、独立したプロダクトとして販売され又は使用されるとき、機能は、コンピュータ可読記憶媒体に格納されてよい。このような理解に基づき、基本的に本願の技術的ソリューションは、又は従来の技術に貢献する部分は、又は技術的ソリューションのうちの全部又は一部は、ソフトウェアプロダクトの形式で実装されてよい。コンピュータソフトウェアプロダクトは、記憶媒体に格納され、本願の実施形態で記載された方法のステップのうちの全部又は一部を実行するようコンピュータ装置（これは、パーソナルコンピュータ、サーバ、ネットワーク装置、等であってよい）に指示するための幾つかの命令を含む。前述の記憶媒体は、プログラムコードを格納できる、USBフラッシュドライブ、取り外し可能ハードディスク、読み出し専用メモリ（read-only memory, ROM）、ランダムアクセスメモリ（random access memory, RAM）、磁気ディスク、又は光ディスクのような、任意の媒体を含む。
前述の説明は、単に本願の特定の実装であり、本願の保護範囲を限定することを意図しない。本願で開示された技術的範囲の範囲内にある、当業者により直ちに考案される任意の変形又は置換は、本願の保護範囲の中に包含されるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。

Claims (28)

  1. ダイナミックレンジマッピング方法であって、
    端末装置のディスプレイパラメータを取得するステップと、
    画像データの特徴情報を取得するステップと、
    前記画像データの第１トーンマッピング曲線の第１パラメータを取得するステップであって、前記第１パラメータはパラメータa及びパラメータpを含み、閾値Taは前記パラメータa、及び前記パラメータaと前記パラメータpとの間の事前設定された対応に基づき取得される、ステップと、
    前記第１パラメータの中の前記パラメータaが前記閾値Taより大きい場合、前記第１パラメータ、前記端末装置の前記ディスプレイパラメータ、及び前記画像データの前記特徴情報に基づき、第２トーンマッピング曲線の第２パラメータを取得するステップであって、前記第２トーンマッピング曲線上の第１点での出力輝度は、前記第２トーンマッピング曲線上の前記第１点での入力輝度より大きくない、ステップと、
    前記第２トーンマッピング曲線の前記第２パラメータに基づいて、前記画像データに対してダイナミックレンジマッピングを実行するステップと、
    を含む方法。
  2. 前記第２パラメータが第１線形スプライン曲線パラメータを含み、前記第１線形スプライン曲線パラメータが前記第２トーンマッピング曲線上の第１線形スプラインの勾配MB[０][０]及び／又は前記第１線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]及び／又は前記第１線形スプラインと垂直座標軸の交点base_offsetを含む、請求項１に記載の方法。
  3. 前記第１パラメータが第２線形スプライン曲線パラメータを含み、前記第２線形スプライン曲線パラメータが前記第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び/又は前記第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]を含み、前記ディスプレイパラメータが前記端末装置の最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの最大輝度補正値max_lumを含み、
    前記第１パラメータ、前記ディスプレイパラメータ、及び前記特徴情報に基づいて第２トーンマッピング曲線の第２パラメータを取得するステップは、
    前記最大ディスプレイ輝度MaxDisplay及び前記最大輝度補正値max_lumに基づいて、曲線パラメータMB_mid[０][０]及びTH３_mid[０]を調整し、曲線パラメータMB[０][０]及びTH３[０]を取得するステップを含む、請求項２に記載の方法。
  4. 前記曲線パラメータMB_mid[０][０]及びTH３_mid[０]、並びに前記曲線パラメータMB[０][０]及びTH３[０]が次式を満たし：
    Figure 0007462072000053
    Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１及びN２は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
    Figure 0007462072000054
    請求項３に記載の方法。
  5. 前記第２パラメータは３次スプライン曲線パラメータを含み、前記３次スプライン曲線パラメータは前記第２トーンマッピング曲線上の３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を含み、TH１[１]は前記３次スプラインの第１範囲ピクセルの輝度値の最小値を示し、TH２[１]は前記３次スプラインの前記第１範囲ピクセルの前記輝度値の最大値と前記３次スプラインの第２範囲ピクセルの輝度値の最小値を示し、TH３[１]は前記３次スプラインの前記第２範囲ピクセルの前記輝度値の最大値を示す、請求項４に記載の方法。
  6. 前記３次スプラインの前記補間点値TH１[１]、TH２[１]、TH３[１]は、前記第１パラメータの中の前記第２線形スプライン曲線パラメータTH３[０]と、前記補間点値TH１[１]、TH２[１]、TH３[１]の事前設定されたオフセット値に基づいて以下に示すように取得され：
    Figure 0007462072000055
    B、C、Dは、前記３次スプラインの前記補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定された値であり、Bは、暗明遷移領域ピクセルの輝度値に対応する事前設定されたオフセット値であり、C及びDは、明領域ピクセルの輝度値に対応する事前設定された重み付け係数である、請求項５に記載の方法。
  7. 前記３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]は、前記第１パラメータの中の前記第２線形スプライン曲線パラメータTH３[０]及び前記補間点値TH１[１]、TH２[１]、TH３[１]を算出するための相関値に基づいて、次式に示すように計算され：
    Figure 0007462072000056
    ３Spline_TH[i][０][w]、３Spline_TH_Delta１[i][１][w]、及び３Spline_TH_Delta１[i][２][w]は、前記補間点値TH１[１]、TH２[１]、TH３[１]を計算するために使用され且つメタデータから抽出された相関値である、請求項５に記載の方法。
  8. TH３[０]における前記第２トーンマッピング曲線上の線形スプラインのY座標は、TH１[１]における前記第２トーンマッピング曲線上の前記３次スプラインのY座標と同じであり、TH３[０]における前記線形スプラインの１次微分は、TH１[１]における前記３次スプラインの１次微分と同じである、請求項７に記載の方法。
  9. TH２[１]における前記第２トーンマッピング曲線上の第１の３次スプラインのY座標は、TH２[１]における前記第２トーンマッピング曲線上の第２の３次スプラインのY座標と同じであり、TH２[１]における前記第１の３次スプラインの１次微分は、TH２[１]における前記第２の３次スプラインの１次微分と同じである、請求項７又は８に記載の方法。
  10. TH３[１]における前記第２トーンマッピング曲線上の前記第２の３次スプラインのY座標は、TH３[１]における前記第２トーンマッピング曲線上の第３トーンマッピング関数のY座標と同じであり、TH３[１]における前記第２の３次スプラインの１次微分は、TH３[１]における前記第３トーンマッピング関数の１次微分と同じである、請求項９に記載の方法。
  11. 前記画像データの第１トーンマッピング曲線の第１パラメータを取得するステップは、
    前記画像データの前記メタデータを取得するステップと、
    前記メタデータと前記ディスプレイパラメータに基づいて、前記第１トーンマッピング曲線の前記第１パラメータを決定するステップと、
    を含む、請求項７～１０のいずれか一項に記載の方法。
  12. 前記第１パラメータが前記第２線形スプライン曲線パラメータを含み、前記第２線形スプライン曲線パラメータが前記第１トーンマッピング曲線上の前記第２線形スプラインの勾配MB_mid[０][０]及び／又は前記第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]及び／又は前記第１線形スプラインと前記垂直座標軸の交点base_offset_midを含み、前記ディスプレイパラメータが前記端末装置の前記最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの前記最大輝度補正値max_lumを含み、
    前記第１パラメータ、前記ディスプレイパラメータ、及び前記特徴情報に基づいて第２トーンマッピング曲線の第２パラメータを取得するステップは、
    前記最大ディスプレイ輝度MaxDisplay及び前記最大輝度補正値max_lumに基づいて、前記曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_midを調整して、前記曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetを取得するステップを含む、請求項３～１１のいずれか一項に記載の方法。
  13. 前記曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_mid、並びに前記曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetが次式を満たし：
    Figure 0007462072000057
    Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は前記曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１、N２、及びN３は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
    Figure 0007462072000058
    請求項１２に記載の方法。
  14. ダイナミックレンジマッピング機器であって、
    端末装置のディスプレイパラメータを取得するよう構成される取得ユニットであって、前記取得ユニットは、画像データの特徴情報を取得するよう更に構成され、前記取得ユニットは、前記画像データの第１トーンマッピング曲線の第１パラメータを取得するよう更に構成され、前記第１パラメータはパラメータa及びパラメータpを含み、閾値Taは前記パラメータa、及び前記パラメータaと前記パラメータpとの間の事前設定された対応に基づき取得される、取得ユニットと、
    前記第１パラメータの中の前記パラメータaが前記閾値Taより大きい場合、前記第１パラメータ、前記端末装置の前記ディスプレイパラメータ、及び前記画像データの前記特徴情報に基づき、第２トーンマッピング曲線の第２パラメータを取得するよう構成される処理ユニットであって、前記第２トーンマッピング曲線上の第１点での出力輝度は、前記第２トーンマッピング曲線上の前記第１点での入力輝度より大きくない、処理ユニットと、
    前記第２トーンマッピング曲線の前記第２パラメータに基づいて、前記画像データに対してダイナミックレンジマッピングを実行するよう構成されるマッピングユニットと、
    を含む機器。
  15. 前記第２パラメータが第１線形スプライン曲線パラメータを含み、前記第１線形スプライン曲線パラメータが前記第２トーンマッピング曲線上の第１線形スプラインの勾配MB[０][０]及び／又は前記第１線形スプラインの範囲ピクセルの輝度値の最大値TH３[０]及び／又は前記第１線形スプラインと垂直座標軸の交点base_offsetを含む、請求項１４に記載の機器。
  16. 前記第１パラメータが第２線形スプライン曲線パラメータを含み、前記第２線形スプライン曲線パラメータが前記第１トーンマッピング曲線上の第２線形スプラインの勾配MB_mid[０][０]及び／又は前記第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]を含み、前記ディスプレイパラメータが前記端末装置の最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの最大輝度補正値max_lumを含み、
    前記処理ユニットは、
    前記最大ディスプレイ輝度MaxDisplay及び前記最大輝度補正値max_lumに基づいて、曲線パラメータMB_mid[０][０]及びTH３_mid[０]を調整し、曲線パラメータMB[０][０]及びTH３[０]を取得するよう構成される、請求項１５に記載の機器。
  17. 前記曲線パラメータMB_mid[０][０]及びTH３_mid[０]、並びに前記曲線パラメータMB[０][０]及びTH３[０]が次式を満たし：
    Figure 0007462072000059
    Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１及びN２は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
    Figure 0007462072000060
    請求項１６に記載の機器。
  18. 前記第２パラメータは３次スプライン曲線パラメータを含み、前記３次スプライン曲線パラメータは前記第２トーンマッピング曲線上の３次スプラインの補間点値TH１[１]、TH２[１]、TH３[１]を含み、TH１[１]は前記３次スプラインの第１範囲ピクセルの輝度値の最小値を示し、TH２[１]は前記３次スプラインの前記第１範囲ピクセルの前記輝度値の最大値と前記３次スプラインの第２範囲ピクセルの輝度値の最小値を示し、TH３[１]は前記３次スプラインの前記第２範囲ピクセルの前記輝度値の最大値を示す、請求項１７に記載の機器。
  19. 前記３次スプラインの前記補間点値TH１[１]、TH２[１]、TH３[１]は、前記第１パラメータの中の前記第２線形スプライン曲線パラメータTH３[０]と、前記補間点値TH１[１]、TH２[１]、TH３[１]の事前設定されたオフセット値に基づいて以下に示すように取得され：
    Figure 0007462072000061
    B、C、Dは、前記３次スプラインの前記補間点値TH１[１]、TH２[１]、TH３[１]を計算するための相関値の事前設定された値であり、Bは、暗明遷移領域ピクセルの輝度値に対応する事前設定されたオフセット値であり、C及びDは、明領域ピクセルの輝度値に対応する事前設定された重み付け係数である、請求項１８に記載の機器。
  20. 前記３次スプラインの前記補間点値TH１[１]、TH２[１]、TH３[１]が、前記第１パラメータの中の前記第２線形スプライン曲線パラメータTH３[０]と、前記補間点値TH１[１]、TH２[１]、TH３[１]を算出するための相関値とに基づいて次式に示すように算出され：
    Figure 0007462072000062
    ３Spline_TH[i][０][w]、３Spline_TH_Delta１[i][１][w]、３Spline_TH_Delta１[i][２][w]が、前記補間点値TH１[１]、TH２[１]、TH３[１]を算出するために使用される相関値であり、メタデータから抽出されたものである、請求項１８に記載の機器。
  21. TH３[０]における前記第２トーンマッピング曲線上の線形スプラインのY座標はTH１[１]における前記第２トーンマッピング曲線上の３次スプラインのY座標と同じであり、TH３[０]における前記線形スプラインの１次微分はTH１[１]における前記３次スプラインの１次微分と同じである、請求項２０に記載の機器。
  22. TH２[１]における前記第２トーンマッピング曲線上の第１の３次スプラインのY座標は、TH２[１]における前記第２トーンマッピング曲線上の第２の３次スプラインのY座標と同じであり、TH２[１]における前記第１の３次スプラインの１次微分は、TH２[１]における前記第２の３次スプラインの１次微分と同じである、請求項２０又は２１に記載の機器。
  23. TH３[１]における前記第２トーンマッピング曲線上の前記第２の３次スプラインのY座標は、TH３[１]における前記第２トーンマッピング曲線上の第３トーンマッピング関数のY座標と同じであり、TH３[１]における前記第２の３次スプラインの１次微分は、TH３[１]における前記第３トーンマッピング関数の１次微分と同じである、請求項２２に記載の機器。
  24. 前記取得ユニットは、
    前記画像データの前記メタデータを取得し、
    前記メタデータと前記ディスプレイパラメータに基づいて、前記第１トーンマッピング曲線の前記第１パラメータを決定する、
    よう構成される、請求項２０～２３のいずれか一項に記載の機器。
  25. 前記第１パラメータが前記第２線形スプライン曲線パラメータを含み、前記第２線形スプライン曲線パラメータが前記第１トーンマッピング曲線上の前記第２線形スプラインの勾配MB_mid[０][０]及び／又は前記第２線形スプラインの範囲ピクセルの輝度値の最大値TH３_mid[０]及び／又は前記第１線形スプラインと前記垂直座標軸の交点base_offset_midを含み、前記ディスプレイパラメータが前記端末装置の最大ディスプレイ輝度MaxDisplayを含み、前記特徴情報が前記画像データの最大輝度補正値max_lumを含み、
    前記処理ユニットは、
    最大ディスプレイ輝度MaxDisplayと最大輝度補正値max_lumに基づいて、前記曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_midを調整し、前記曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetを取得するよう構成される、請求項１６～２４のいずれか一項に記載の機器。
  26. 前記曲線パラメータMB_mid[０][０]、TH３_mid[０]、及び／又はbase_offset_mid、並びに前記曲線パラメータMB[０][０]、TH３[０]、及び／又はbase_offsetが次式を満たし：
    Figure 0007462072000063
    Lは入力信号であり、G（L）はトーンマッピング曲線に対応する関数H（L）の逆関数であり、m_a、m_b、m_m、m_n、k１、k２、及びk３は前記曲線パラメータであり、G（L,m_a_T）は、G（L）のパラメータM_aの値がm_a_Tであるとき、入力変数Lに対応するG（L）値を示し、N１、N２、及びN３は有理数であり、max（a,b）はa及びbのうち大きい値を計算することを示し、min（a,b）はa及びbのうち小さい値を計算することを示し、H（L）は次式の通りである：
    Figure 0007462072000064
    請求項２５に記載の機器。
  27. コンピュータプログラムを含むコンピュータ可読記憶媒体であって、前記コンピュータプログラムがコンピュータで実行されると、前記コンピュータは、請求項１～１３のいずれか一項に記載の方法を実行可能にされる、コンピュータ可読記憶媒体。
  28. 端末装置であって、
    １つ以上のプロセッサと、
    １つ以上のプログラムを格納するよう構成されるメモリと、
    前記１つ以上のプログラムが前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサは、請求項１～１３のいずれか一項に記載の方法を実行可能にされる、端末装置。
JP2022566031A 2020-04-30 2021-04-26 ダイナミックレンジのマッピング方法及び機器 Active JP7462072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010365696.3A CN113596424B (zh) 2020-04-30 2020-04-30 动态范围映射的方法和装置
CN202010365696.3 2020-04-30
PCT/CN2021/089981 WO2021218924A1 (zh) 2020-04-30 2021-04-26 动态范围映射的方法和装置

Publications (2)

Publication Number Publication Date
JP2023523775A JP2023523775A (ja) 2023-06-07
JP7462072B2 true JP7462072B2 (ja) 2024-04-04

Family

ID=78237389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022566031A Active JP7462072B2 (ja) 2020-04-30 2021-04-26 ダイナミックレンジのマッピング方法及び機器

Country Status (7)

Country Link
US (1) US20230054046A1 (ja)
EP (1) EP4135316A4 (ja)
JP (1) JP7462072B2 (ja)
KR (1) KR20230003066A (ja)
CN (2) CN113596424B (ja)
TW (1) TWI790596B (ja)
WO (1) WO2021218924A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN113850743B (zh) * 2021-11-30 2022-03-01 江苏游隼微电子有限公司 一种基于自适应参数的视频全局色调映射方法
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330674A1 (en) 2017-05-12 2018-11-15 Apple Inc. Electronic Devices With Tone Mapping To Accommodate Simultaneous Display of Standard Dynamic Range and High Dynamic Range Content
JP2019213144A (ja) 2018-06-08 2019-12-12 シャープ株式会社 表示制御装置、表示装置、テレビジョン、及び表示制御方法
US20200014897A1 (en) 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a bezier curve for presentation on a display device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210370A (ja) * 2004-01-22 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
WO2008136629A1 (en) * 2007-05-03 2008-11-13 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
AU2015207818A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
US20180152686A1 (en) * 2016-11-28 2018-05-31 Microsoft Technology Licensing, Llc Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices
CN110867172B (zh) * 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180330674A1 (en) 2017-05-12 2018-11-15 Apple Inc. Electronic Devices With Tone Mapping To Accommodate Simultaneous Display of Standard Dynamic Range and High Dynamic Range Content
JP2019213144A (ja) 2018-06-08 2019-12-12 シャープ株式会社 表示制御装置、表示装置、テレビジョン、及び表示制御方法
US20200014897A1 (en) 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Guided tone mapping of high dynamic range video based on a bezier curve for presentation on a display device

Also Published As

Publication number Publication date
TWI790596B (zh) 2023-01-21
EP4135316A4 (en) 2023-09-13
US20230054046A1 (en) 2023-02-23
CN116132648A (zh) 2023-05-16
EP4135316A1 (en) 2023-02-15
TW202143693A (zh) 2021-11-16
JP2023523775A (ja) 2023-06-07
CN113596424A (zh) 2021-11-02
KR20230003066A (ko) 2023-01-05
CN113596424B (zh) 2022-12-06
WO2021218924A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
JP7462072B2 (ja) ダイナミックレンジのマッピング方法及び機器
RU2711102C1 (ru) Устройство и способ улучшения обмена данными изображения на основе нелинейности восприятия яркости между разными возможностями отображения
EP3465673B1 (en) Transitioning between video priority and graphics priority
US11030729B2 (en) Image processing method and apparatus for adjusting a dynamic range of an image
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
WO2021073304A1 (zh) 一种图像处理的方法及装置
JPWO2018047557A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111885312A (zh) Hdr图像的成像方法、系统、电子设备及存储介质
CN112689138B (zh) 一种图像信号转换处理方法、装置及终端设备
US20230140259A1 (en) Image dynamic range processing method and apparatus
JP7476354B2 (ja) エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法
CN111031301A (zh) 一种色域空间调整的方法、存储设备及显示终端
EP3108451A1 (en) Image processing to retain small color/gray differences
EP4172981A1 (en) Systems and methods for ambient light compensation using pq shift

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7462072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150