JP7476354B2 - エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法 - Google Patents

エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法 Download PDF

Info

Publication number
JP7476354B2
JP7476354B2 JP2022567670A JP2022567670A JP7476354B2 JP 7476354 B2 JP7476354 B2 JP 7476354B2 JP 2022567670 A JP2022567670 A JP 2022567670A JP 2022567670 A JP2022567670 A JP 2022567670A JP 7476354 B2 JP7476354 B2 JP 7476354B2
Authority
JP
Japan
Prior art keywords
anchor points
pair
curve
anchor
anchor point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022567670A
Other languages
English (en)
Other versions
JP2023525284A (ja
Inventor
フ・チェン
イチュアン・ワン
ウェイウェイ・シュー
クアンヘ・ユ
エレナ・アレクサンドロブナ・アルシナ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2023525284A publication Critical patent/JP2023525284A/ja
Application granted granted Critical
Publication of JP7476354B2 publication Critical patent/JP7476354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

本開示は、一般に、ビデオ処理の分野に関し、より詳細には、ハイダイナミックレンジ（HDR）ビデオおよび画像処理に関する。この目的のために、トーンマッピング曲線の1つ以上の曲線パラメータを決定するための方法、HDRビデオフレームを符号化するためのエンコーダ、HDRビデオフレームを復号するためのデコーダ、ならびにエンコーダおよびデコーダを備えるシステムが開示される。特に、トーンマッピング曲線の1つ以上の曲線パラメータは、一対の以前に取得されたアンカー点に基づいて生成されうる。
一般に、デジタルイメージングにおいて、ダイナミックレンジとは、撮影されているシーンの明るさ範囲、所与のデジタルカメラまたはフィルムが取り込むことができる明るさ範囲の限界、またはディスプレイが表示することが可能な明るさ範囲を指しうる。
典型的な現実世界のシーンのダイナミックレンジは、多くの場合、10－3nit～106nitである。これに対して、民生ディスプレイは、通常、はるかに小さいダイナミックレンジを有する。したがって、現実世界のシーンをディスプレイ上に表示することが求められる場合、現実世界のシーンのハイダイナミックレンジをディスプレイのためのより低いダイナミックレンジにスケールダウンする必要があることが多く、このプロセスはトーンマッピングと呼ばれる。トーンマッピングは、一般に非線形マッピングプロセスである。
HDR画像およびビデオ処理では、nitまたはcd／m2の光信号を0と1との間の電気信号に変換するために、知覚量子化（PQ）曲線がしばしば使用される。典型的なPQ曲線の式は以下において与えられる。
ただし、Lは、線形領域における輝度値であり、例えば0nit～10000nitの範囲内であり、Lは、例えば、R値（赤色成分の輝度値）、G値（緑色成分の輝度値）、もしくはB値（青色成分の輝度値）、または明るさ成分Yであることができる。
L’は、PQ領域の電気信号を表し、範囲［0，1］に含まれるか、その中の値を含み、これはPQ値もしくはPQ領域の値と呼ばれることが多い。
PQ伝達関数の入力は線形領域の光信号であり、出力はPQ領域の電気信号である。1対1のマッピングがあるため、量子化が適用されない場合、入力値と出力値は実際には等しい。これらは2つの異なる領域、すなわち、線形領域およびPQ領域にあるだけである。
さらに、量子化にはPQ電気光伝達関数（OETF）がしばしば使用される。線形領域のHDR画像は、最初にPQ領域に変換され、次に10ビットまたは12ビットに量子化される。PQ領域の画像は、保存または送信のためにコーデックによって圧縮されてもよい。PQ領域での量子化は、人間の視覚システムに対してより一様であり、なぜならば人間の視覚系が非線形であるためである。量子化が線形領域で行われた場合、知覚歪みははるかに大きくなる。
トーンマッピングを行うための一部の従来の方法は、使用されるべきトーンマッピング曲線を決定するために複数の点を使用することに基づいている。さらに、一部の従来の方法は、低光領域における第1の曲線（例えば、線形曲線）、中間トーン範囲に対する第2の曲線（例えば、放物線）、および高光領域における第3の曲線（例えば、線形曲線）を使用することに基づいている。
しかしながら、従来の方法の問題は、点の値、または様々なトーンマッピング曲線自体の異なる部分が自由に選択されることができず、これが、トーンマッピング曲線の最終形状の柔軟性を大きく制限する。
従来の方法の他の問題は、トーンマッピング曲線の曲線パラメータを選択することがかなり困難であることである。
したがって、トーンマッピングのための改善された方法が必要とされている。
上述された問題点および欠点を考慮して、本開示の実施形態は、トーンマッピングについて従来の方法、エンコーダ、デコーダ、およびシステムをそれぞれ改善することを目的とする。目的は、HDRビデオフレームのトーンマッピングに適した改善されたトーンマッピング曲線を取得するために、トーンマッピング曲線の1つ以上の曲線パラメータを決定するための方法を提供することである。実施形態は、特に、トーンマッピング曲線の最終形状を取得するためのより大きな柔軟性を提供する。実施形態はさらに、効率的で省リソースである。
この目的は、添付の独立請求項に記載の本発明の実施形態によって達成される。本開示の実施形態の有利な実施態様は、従属請求項にさらに定義されている。
特に、本発明の実施形態は、一対のアンカー点を取得することと、アンカー点を微調整することと、トーンマッピング曲線の曲線パラメータを生成するために、微調整されたアンカー点を使用することとを含みうる。
本開示の第1の態様は、トーンマッピング曲線の1つ以上の曲線パラメータを決定するための方法であって、該方法は、HDRビデオフレームとHDRビデオフレームに関連付けられたメタデータとを取得するステップと、HDRビデオフレームおよびメタデータに基づいて、一対のアンカー点を取得するステップであって、一対のアンカー点は、トーンマッピング曲線の第1のアンカー点および第2のアンカー点を含む、ステップと、一対のアンカー点に基づいてトーンマッピング曲線の1つ以上の曲線パラメータを生成するステップとを含む、方法を提供する。
本方法は、エンコーダ、デコーダ、エンコーダとデコーダとを備えるシステム、HDRシステム、HDRテレビ（TV）、HDRカラーグレーディングソフトウェア、HDRビデオトランスコーダなどの電子デバイスによって（例えば、完全にまたは部分的に）実行されうる。
本方法は、トーンマッピング曲線の1つ以上の曲線パラメータを決定するために使用されうる。トーンマッピング曲線は、適応HDRトーンマッピング曲線であってもよい。例えば、トーンマッピング曲線（例えば、トーンマッピング曲線のパラメータ）は、異なるHDRビデオフレームに対して適応的に決定されうる。トーンマッピング曲線は、入力輝度値（x座標）の出力輝度値（y座標値）へのマッピング（例えば、デコーダによって実行される）を表しうる。
本開示のトーンマッピング曲線の例は、China Ultra－HD Video Industrial Alliance（CUVA）HDR規格の基本曲線であってもよい。
さらに、HDRビデオフレームと、HDRビデオフレームに関連付けられたメタデータとが取得されうる。例えば、HDRビデオフレームは、知覚量子化器（PQ）領域にあってもよいし、PQ領域に変換されてもよい。さらに、HDRビデオフレームに関連付けられたメタデータは、HDRビデオフレームから導出または抽出されうる。メタデータは、例えば同じシーンのHDRフレームおよび／または他のHDRフレームから例えば導出または抽出された、HDRフレームの輝度特性を定義する統計データであってもよいし、これを含んでもよい。
例えば、トーンマッピング曲線は、CUVA HDR規格の基本曲線であってもよく、メタデータは、CUVA HDR規格で定義されているような「MinSource」値および「MaxSource」値を含んでもよい。
一部の実施形態では、本方法は、PQ領域において一対のアンカー点を取得するステップをさらに含む。
全体として、第1の態様の方法は、トーンマッピング曲線の1つ以上の曲線パラメータを取得するための効率的で省リソースの方法を提供し、曲線パラメータは、デコーダが、HDRビデオフレームのトーンマッピングに最適化されうるトーンマッピング曲線を取得することを可能にする。したがって、HDRビデオフレームのトーンマッピングのために、改善されたトーンマッピング曲線が取得されうる。
第1の態様の一実施の形態では、一対のアンカー点を取得するステップは、複数（例えば、少なくとも2つ、3つ、または4つの）対のアンカー点を取得するステップと、複数対のアンカー点の各対について区分線形曲線を生成するステップと、複数のトーンマッピングされたHDRビデオフレームを取得するために、区分線形曲線の各々に基づいてHDRビデオフレームに対してトーンマッピングを実行するステップと、複数のトーンマッピングされたHDRビデオフレームに基づいて、複数対のアンカー点の中から、1つ以上の曲線パラメータを生成するための一対のアンカー点を選択するステップとを含む。
例えば、一部の実施形態では、複数対のアンカー点（例えば、少なくとも2つの対のアンカー点）が取得されてもよい。さらに、アンカー点の各対に基づいて区分線形曲線が生成されてもよく、すなわち、少なくとも2つの区分線形曲線が生成されてもよい。さらに、各区分線形曲線について、HDRビデオフレームに対するトーンマッピングが実行されてもよく、それにより、少なくとも2つのトーンマッピングされたHDRビデオフレームが取得されてもよい。これらに基づいて、トーンマッピング曲線を生成するための一対のアンカー点は、例えば、区分線形曲線を使用して取得されたトーンマッピングされたHDRフレームの各々の、または各々に関する品質尺度を表すか、または示す基準（例えば、フレーム、特にHDRフレームの局所コントラスト、色歪みモデル、または知覚品質モデル）に基づいて選択されてもよい。
第1の態様の一実施の形態では、一対のアンカー点を取得するステップは、複数（例えば、少なくとも2つ、3つ、または4つの）対のアンカー点を取得するステップと、
アンカー点の対の各々について区分線形曲線を構築するステップと、区分線形曲線の各々についてHDRビデオフレームの局所コントラストの変化を推定するステップと、最も高い局所コントラストをもたらす一対のアンカー点を選択するステップとを含む。
第1の態様の一実施の形態では、一対のアンカー点を取得するステップは、初期の一対のアンカー点を含む複数（例えば、少なくとも2つ、3つ、または4つの）対のアンカー点を取得するステップと、アンカー点の対の各々について区分線形曲線を構築するステップと、初期の一対対のアンカー点を使用して構築された区分線形曲線を使用してトーンマッピングされたHDRビデオフレームの局所コントラストと比較して、区分線形曲線の各々についてHDRビデオフレームの局所コントラストの変化を推定するステップと、最も高い局所コントラストをもたらす一対のアンカー点を選択するステップとを含む。
複数対のアンカー点の中からの、曲線パラメータを生成するための一対のアンカー点の選択は、トーンマッピング曲線を改善することを可能にし、例えば、トーンマッピング後のHDRビデオフレームの知覚品質、例えばコントラストを改善するトーンマッピング曲線の1つ以上の曲線パラメータを決定することを可能にする。
第1の態様のさらなる実施の形態では、アンカー点の各対に関する区分線形曲線は、所定の最小アンカー点とそれぞれの第1のアンカー点とを結び、それぞれの第1のアンカー点とそれぞれの第2のアンカー点とを結び、それぞれの第2のアンカー点と所定の最大アンカー点とを結ぶ。
第1の態様のさらなる実施の形態では、1つ以上の曲線パラメータを生成するための一対のアンカー点を選択するステップは、複数の局所コントラストを取得するために、複数のトーンマッピングされたHDRビデオフレームの各々について局所コントラストを決定するステップと、複数の局所コントラストに基づいて、複数対のアンカー点の中から、1つ以上の曲線パラメータを生成するための一対のアンカー点を選択するステップとを含む。
例えば、複数の局所コントラストは、複数のトーンマッピングされたHDRビデオフレームについて取得されうる（すなわち、各トーンマッピングされたHDRビデオフレームに関する局所コントラスト）。さらに、最大のまたは最も高い局所コントラストをもたらす一対のアンカー点が選択されうる（例えば、選択される一対のアンカー点は、最大局所コントラストを有するトーンマッピングされたHDRビデオフレームを取得するために使用される一対のアンカー点である）。
局所コントラストに基づく、複数対のアンカー点の中からの、1つ以上の曲線パラメータを生成するための一対のアンカー点の選択は、改善されたトーンマッピング曲線をもたらしうる。
第1の態様のさらなる実施の形態では、複数対のアンカー点を取得するステップは、初期の一対のアンカー点を取得するステップと、初期の一対のアンカー点に基づいてさらなる対のアンカー点を取得するステップとを含む。
一部の実施形態では、任意の対の第2のアンカー点のx座標値およびy座標値は常に、それぞれの第1のアンカー点のx座標値およびy座標値よりも大きい。
第1の態様のさらなる実施の形態では、さらなる対のアンカー点の第1のアンカー点のx座標値は、初期の一対のアンカー点の第1のアンカー点のx座標値と同一であり、および／またはさらなる対のアンカー点の第2のアンカー点のx座標値は、初期の一対のアンカー点の第2のアンカー点のx座標値と同一である。
第1の態様のさらなる実施の形態では、さらなる対のアンカー点の第1のアンカー点のy座標値は、初期の一対のアンカー点の第1のアンカー点のy座標値と異なり、および／またはさらなる対のアンカー点の第2のアンカー点のy座標値は、初期の一対のアンカー点の第2のアンカー点のy座標値と同一である。
第1の態様のさらなる実施の形態では、初期の一対のアンカー点の第1のアンカー点のx座標値は、所定の最小閾値と所定の中心閾値との間の範囲内で選択され、および／または初期の一対のアンカー点の第2のアンカー点のx座標値は、所定の中心閾値と所定の最大閾値との間の範囲内で選択される。
一部の実施形態では、所定の最小閾値は、例えば、以下では「minCone」とも呼ばれる、人間の視覚錐体細胞が依然として色を知覚することができる輝度値であってもよく、特に0．15の値を有してもよい。
さらに、所定の中心閾値は、例えば、HDRビデオフレームの人間の最小肌色輝度値（以下、「midLight」とも呼ばれる）であってもよく、特に0．35の値を有してもよい。さらに、所定の最大閾値は、例えば、上限閾値としてのdiffuse whiteの輝度値（以下、「defusingLight」とも呼ばれる）であってもよい。
上記で説明されたように初期アンカー点を選択することにより、改善されたトーンマッピング曲線が取得されうる。
第1の態様のさらなる実施の形態では、初期の一対のアンカー点の第1のアンカー点のy座標値は、初期の一対のアンカー点の第1のアンカー点のx座標値に等しい。
第1の態様のさらなる実施の形態では、初期の一対のアンカー点の第2のアンカー点のy座標値は、HDRビデオフレームの輝度値のヒストグラムに基づいて計算される。
例えば、一部の実施形態では、HDRビデオフレームの輝度値のヒストグラムは、「minCone」と「maxSource」との間の画素のヒストグラムであってもよい。
第1の態様のさらなる実施の形態では、本方法は、所定の最小閾値と所定の最大閾値との間の輝度値を有する画素の数を計算するステップ、輝度値のヒストグラムのヒストグラムビンの値と計算された画素の数とを比較するステップ、ならびに1つ以上のヒストグラムビンの値が計算された数よりも大きい場合に、所定の最大ディスプレイ輝度値よりも大きい1つ以上のヒストグラムビン内の画素輝度値をクリッピングし、第2のアンカー点のy座標値を、計算された数よりも大きい1つ以上のヒストグラムビンに属するすべての画素の輝度値の平均値に設定するステップ、および1つ以上のヒストグラムビンの値が計算された数よりも大きくない場合に、所定の中心閾値と所定の最大閾値との間の画素の画素輝度値をクリッピングし、第2のアンカー点のy座標値を、HDRビデオフレームの所定の中心閾値と所定の最大閾値との間のすべての画素の輝度値の平均値に設定するステップをさらに含む。
第1の態様のさらなる実施の形態では、本方法は、1つ以上の曲線パラメータに基づいてトーンマッピング曲線を生成するステップをさらに含む。
第1の態様のさらなる実施の形態では、トーンマッピング曲線は、
によって与えられ、ただし、LはHDRビデオフレームの入力画素の輝度であり、m＿nは第1の値、特にm＿n＝1であり、m＿mは第2の値、特にm＿m＝2．4であり、m＿bは決定されたPQ値であり、m＿pは輝度制御係数であり、m＿aは出力画素の最大輝度を定義するスケーリング係数であり、1つ以上の曲線パラメータはm＿pおよびm＿aを含む。
第1の態様のさらなる実施の形態では、本方法は、メタデータおよびHDRビデオフレームを受信するステップをさらに含む。
第1の態様のさらなる実施の形態では、本方法は、1つ以上の曲線パラメータをさらなるメタデータとしてさらに送信する。
第1の態様のさらなる実施の形態では、本方法は、エンコーダおよび／またはデコーダによって実行される。
本開示の第2の態様は、HDRビデオフレームを符号化するためのエンコーダであって、エンコーダは、第1の態様および／または第1の態様の実施の形態のいずれかによる方法を実行するように構成される、エンコーダを提供する。
第2の態様のエンコーダは、第1の態様の方法に関して説明された利点および効果を達成する。
本開示の第3の態様は、HDRビデオフレームを復号するためのデコーダであって、デコーダは、第1の態様および／または第1の態様の実施の形態のいずれかによる方法を実行するように構成される、デコーダを提供する。
第3の態様のデコーダは、第1の態様の方法に関して説明された利点および効果を達成する。
本開示の第4の態様は、トーンマッピング曲線を生成するためのシステムであって、システムは、第2の態様および／またはその実施の形態のいずれかによるエンコーダと、第3の態様および／またはその実施の形態のいずれかによるデコーダとを備える、システムを提供する。
本開示の第5の態様は、第1の態様および／またはその実施の形態のいずれかによる方法を実行するためのプログラムコードを含むコンピュータプログラムを提供する。
本開示の第6の態様は、プロセッサによって実行されるときに第1の態様および／またはその実施の形態のいずれかによる方法を実行させる実行可能プログラムコードを記憶した非一時的記憶媒体を提供する。
本出願で説明されているすべてのデバイス、要素、ユニット、および手段は、ソフトウェアもしくはハードウェア要素、またはこれらの任意の種類の組み合わせで実施されることができることに留意されたい。本出願で説明されている様々なエンティティによって実行されるすべてのステップ、および様々なエンティティによって実行されると説明されている機能は、それぞれのエンティティがそれぞれのステップおよび機能を実行するように適応または構成されることを意味することを意図されている。特定の実施形態の以下の説明において、外部エンティティによって実行される特定の機能またはステップが、その特定のステップまたは機能を実行するそのエンティティの特定の詳細な要素の説明に反映されていない場合でも、これらの方法および機能が、それぞれのソフトウェアもしくはハードウェア要素またはこれらの任意の種類の組み合わせで実施されることができることは、当業者には明らかなはずである。
上記で説明された態様および実施の形態は、添付の図面に関連して、特定の実施形態の以下の説明において説明される。
本発明の一実施形態によるデバイス（特に、HDRビデオフレームを符号化するためのエンコーダ、またはHDRビデオフレームを復号するためのデコーダ）の概略図を示す。 例示的なトーンマッピング曲線を示す図を示す。 例示的なトーンマッピング曲線を示す図を示す。 例示的なトーンマッピング曲線を示す図を示す。 例示的なメタデータを示す図を示す。 例示的なメタデータを示す図を示す。 エンコーダによってトーンマッピング曲線の1つ以上の曲線パラメータを生成し、生成された曲線パラメータをデコーダに送信するための方法のフローチャートを示す。 デコーダによってトーンマッピング曲線の1つ以上の曲線パラメータを生成するための方法のフローチャートを示す。 トーンマッピング曲線の1つ以上の曲線パラメータを生成するための一対のアンカー点を選択するための方法のフローチャートを示す。 初期の第1のアンカー点を取得する例を示す図を示す。 初期の第2のアンカー点、例えば初期の一対のアンカー点を取得する例を示す図を示す。 一対のアンカー点について生成された区分線形曲線の例を示す図を示す。 区分線形曲線に基づいて生成された曲線パラメータに基づいて生成されたトーンマッピング曲線の例を示す図を示す（比較して示されている）。 本発明の一実施形態による、1つ以上の曲線パラメータを決定するための方法のフローチャートを示す。 HDR動的トーンマッピングプロセスのパイプラインの例を示す。
図1は、本発明の一実施形態によるデバイス100の概略図を示す。デバイス100は、HDRビデオフレームを符号化するためのエンコーダでありうる。あるいは、デバイス100は、HDRビデオフレームを復号するためのデコーダであってもよい。少なくとも1つのこのようなエンコーダと1つのこのようなデコーダとを備えるシステムがさらに形成されうる。デバイス100は、トーンマッピング曲線130の1つ以上の曲線パラメータ131、132を生成するための方法1100（図11に示されている概略図も参照されたい）を実行するように構成されうる。例えば、曲線パラメータ131および132は、上記で述べられたように、それぞれパラメータm＿aおよびm＿pであってもよい。トーンマッピング曲線130は、HDRビデオフレームをトーンマッピングするために使用されることができる。特に、本発明の実施形態は、図12に示されているようにパイプライン1200のブロック1201または1204で実施されうる。特に、方法1100は、パイプライン1200のブロック1201または1204で実行されうる。
デバイス100は、HDRビデオフレーム111と、HDRビデオフレーム111に関連付けられたメタデータ112とを取得するように構成される。デバイス100は、メタデータ112およびHDRビデオフレーム111を、例えば別々に受信しうる。しかしながら、デバイス100はまた、HDRビデオフレーム111からメタデータ112を抽出してもよい。特に、メタデータ112は動的メタデータであってもよく、つまり、メタデータ112は、HDRビデオフレーム111ごとに、および／またはHDRビデオのシーンごとに変化してもよい。
デバイス100は、一対のアンカー点120を取得するようにさらに構成される。一対のアンカー点120は、トーンマッピング曲線130の第1のアンカー点121および第2のアンカー点122を含む。特に、デバイス100は、取得されたHDRビデオフレーム111および／または取得されたメタデータ112に基づいて一対のアンカー点120を取得しうる。デバイス100はまた、複数のアンカー点120の中から、例えば、複数の候補対のアンカー点120の中から、一対のアンカー点120を選択するように構成されてもよい。一対のアンカー点120がトーンマッピング曲線を近似するために使用され、近似されたトーンマッピング曲線に基づいてトーンマッピング動作が実行される場合、選択は、最も高い局所コントラストを提供する一対のアンカー点120に基づきうる。
さらに、デバイス100は、一対のアンカー点120に基づいて、トーンマッピング曲線130の1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を生成するように構成される。それにより、1つ以上の曲線パラメータ131、132は、トーンマッピング曲線130を定義しうる。
デバイス100がデコーダである場合、それは、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）に基づいてトーンマッピング曲線130をさらに生成しうる。さらに、デバイス100は次に、生成されたトーンマッピング曲線130を使用して、HDRビデオフレーム111に対してトーンマッピングを実行しうる。デコーダまたは復号デバイスは、ディスプレイを備えてもよいし、ディスプレイに接続されてもよく、また、トーンマッピングされたHDRビデオフレームをディスプレイに出力してもよい。
デバイス100がエンコーダである場合、それは、さらなるメタデータ322b（図3および図4の例を参照されたい、さらなるメタデータはアーティスティックメタデータと呼ばれる場合もある）として、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を送信しうる。この目的のために、デバイス100は、曲線パラメータ131、132をさらなるメタデータ322bとして使用してもよく、拡張メタデータを取得するためにこのさらなるメタデータ322bを取得されたメタデータ112に含め、次に拡張メタデータを送信してもよい。例えば、この送信はデコーダへのものであってもよく、デコーダは、次に、さらなるメタデータ322bから1つ以上の曲線パラメータ131、132を抽出してもよく、次に、これに基づいてトーンマッピング曲線130を生成してもよい。トーンマッピング曲線の生成は、典型的には、HDRビデオフレームを表示するためにのみ必要とされる。したがって、例えば、エンコーダまたは符号化デバイスがディスプレイを備えるか、またはディスプレイに接続され、トーンマッピングされたHDRビデオフレームをディスプレイに出力する場合、エンコーダはまた、トーンマッピング曲線を生成してもよいが、トーンマッピング曲線の1つ以上の曲線パラメータ（例えば、送信または保存用の）を決定するだけで、トーンマッピング曲線またはそれぞれのトーンマッピングされたHDRビデオ自体を生成しなくてもよい。
特に、トーンマッピング曲線130は、以下で説明されるいわゆる「フェニックス」トーンマッピング曲線であってもよい。
デバイス100（エンコーダまたはデコーダ）は、本明細書で説明されているデバイス100の様々な動作を実行する、行う、または開始するように構成された処理回路（図1には示されていない）を備えうる。処理回路は、ハードウェアおよびソフトウェアを備えうる。ハードウェアは、アナログ回路もしくはデジタル回路、またはアナログ回路とデジタル回路との両方を備えてもよい。デジタル回路は、特定用途向け集積回路（ASIC）、フィールドプログラマブルアレイ（FPGA）、デジタル信号プロセッサ（DSP）、または多目的プロセッサなどの構成要素を備えうる。一実施形態では、処理回路は、1つ以上のプロセッサと、1つ以上のプロセッサに接続された非一時的メモリとを備える。非一時的メモリは、1つ以上のプロセッサによって実行されるときにデバイス100に、本明細書で説明されている動作または方法を実行させる、行わせる、または開始させる実行可能プログラムコードを保持しうる。
特に、デバイス100は、方法1100を実行するための、すなわち上述されたステップを実行するようにデバイス100を制御するためのプログラムコードを含むコンピュータプログラムを実行するためのプロセッサを備えうる。
デコーダによって生成されうるトーンマッピング曲線130の例を示す、特に、PQ領域における例示的なトーンマッピング曲線130A、130B、および130C（x軸または座標：PQ領域における入力輝度、y軸または座標：PQ領域における出力／トーンマッピングされた輝度）を示す図2A、図2B、および図2Cを参照する。
取得されたトーンマッピング曲線130は、「フェニックス曲線」と呼ばれる場合があり、本発明の概要の部分において上記で説明されたように、
によって与えられうる。このトーンマッピング曲線130は、HDRビデオフレーム111をトーンマッピングするためにデコーダによって使用されうる。
「フェニックス曲線」について、パラメータ「m＿b」は、最小ディスプレイ輝度（PQ領域における最小ディスプレイ輝度値、言い換えれば、最小ディスプレイ輝度のPQ値）に固定にされてもよく、パラメータm＿nは1であってもよく、パラメータm＿mは2．4であってもよい。さらに、残りの2つの変数はパラメータm＿aおよびm＿pであり、これらは、上記で述べられた1つ以上の曲線パラメータ131および132であってもよいし、場合によっては、これに含まれてもよい。すなわち、デバイス100は、トーンマッピング曲線130のパラメータm＿aおよびm＿pを生成するように構成されてもよい。
特に、曲線パラメータm＿pは輝度制御係数を表す（特に、m＿pのより大きい値はより明るいトーンマッピングを表す）。さらに、曲線パラメータm＿aは、（トーンマッピング曲線130を使用してトーンマッピングによって取得される）出力画素の最大出力輝度を制御するスケーリング係数である。
「フェニックス曲線」を使用する他の実施形態は、他のパラメータを使用してもよく、例えば、m＿mは1から5の範囲内であってもよく、m＿nは0．5から2の範囲内であってもよい。
実施形態は、他の非線形トーンマッピング曲線（「フェニックス曲線」以外）を使用し、これらの他の非線形トーンマッピング曲線の（例えば、知覚品質に関して）最適な一対のアンカー点を決定するために、2つの適応アンカー点を有する区分線形曲線によって非線形トーンマッピング曲線を近似しうる。
トーンマッピング曲線130は、PQ領域で生成されうる。言い換えれば、トーンマッピング曲線130の入力Lおよび出力は両方ともPQ値を指しうる。入力Lは、0から1の範囲内であってもよく、0のPQ値は線形領域では0nitであり、1のPQ値は線形領域では10000nitである。さらに、出力値は、0からPQ領域の最大ディスプレイ輝度以下のPQ値までの範囲内であってもよい。最小および最大ディスプレイ輝度は、実際のディスプレイに依存し、ディスプレイごとに異なりうる。エンコーダおよび／またはデコーダの実施形態は、トーンマッピング曲線の1つ以上のパラメータが決定されるディスプレイの最小ディスプレイ輝度および最大ディスプレイ輝度を知っているか、または少なくとも想定している。
デコーダによって生成されうる、図2A～図2Cに示されている例示的なトーンマッピング曲線130A、130B、および130Cは、特に、異なる最大入力輝度（例えば、HDRビデオフレーム111に関連する）および最大ディスプレイ輝度（例えば、HDRビデオフレーム111がトーンマッピングされるべきディスプレイ）に基づいて生成される。さらに、例として、m＿p＝5．0である。トーンマッピング曲線130Aは、10000nitの最大入力輝度および500nitの最大ディスプレイ輝度に基づいてデコーダによって生成されうる。さらに、トーンマッピング曲線130Bは、10000nitの最大入力輝度および1000nitの最大ディスプレイ輝度に基づいてデコーダによって生成されうる。さらに、トーンマッピング曲線130Cは、4000nitの最大入力輝度および1000nitの最大ディスプレイ輝度に基づいてデコーダによって生成されてうる。
ここで、例示的なメタデータ112を示す図を示す図3Aおよび図3Bを参照する。特に、第1のモード用のメタデータ112が図3Aに示され、第2のモード用のメタデータ112が図3Bに示されている。本発明の実施形態による方法1100は、第1のモードまたは第2のモードで実行されうる。それにより、エンコーダおよびデコーダは、これらの異なるモードで動作しうる。例として、CUVA HDR規格を参照して、第1のモードは以下では「自動モード」と呼ばれ、第2のモードは以下では「アーティスティックモード」と呼ばれる。両方のモードにおいて、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）は、上記で説明されたように、HDRビデオフレーム111および／またはメタデータ112に基づいて生成されうる。特に、「アーティスティックモード」は、曲線パラメータ131および132の生成が手動で行われることを意味しない。従来、アーティスティックモードでは、1つ以上の曲線パラメータが手動で設計されてメタデータ112に挿入されうる。しかしながら、本発明の実施形態によれば、曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）は、アーティスティックモードでもデバイス100および／または方法1100によって自動的に生成されうる。したがって、本開示における「アーティスティックモード」という表現は、人間のアーティストまたはカラリストが1つ以上の曲線パラメータ131、132の生成に関与することを意味しない。
・自動モード：モードフラグtone＿mapping＿mode＝0。
この第1のモードでは、取得されるメタデータ112は、例えばCUVA HDR規格を参照して、図3Aに示されるようにいわゆる「基本メタデータ」312を含みうる。さらに、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）は、特にデバイス100であるデコーダにおいて、基本メタデータ312（メタデータ112に含まれる）に基づいて計算されうる。基本メタデータ312は、典型的な画像統計を含みうる、例えば、HDRビデオフレーム111に関して、（例えば、HDRフレーム111の）最小輝度値、最大輝度値、平均輝度値、および／または輝度値の分散を含みうる。基本メタデータ312は、曲線パラメータ131および132（例えば、曲線パラメータm＿aおよびm＿p）を計算するのに十分でありうるパラメータの最小セットを含みうる。例えば、基本メタデータ312は、（CUVA HDR規格を参照して）以下のような4つのパラメータを含みうる。
・minimum＿maxrgb＿pq：フレーム内のすべての画素のmaxrgb値の最小値。値はPQ領域にある。
・average＿maxrgb＿pq：フレーム内のすべての画素のmaxrgb値の平均値。
・variance＿maxrgb＿pq：フレーム内のすべての画素のmaxrgb値の90パーセンタイルのmaxrgb値とフレーム内のすべてのmaxrgb値の10パーセンタイルのmaxrgb値との差
・maximum＿maxrgb＿pq：フレーム内のすべての画素のmaxrgb値の最大値。値はPQ領域にある。
ここで、画素のmaxrgb値は、画素のR値、G値、およびB値の最大値である。値はPQ領域にある。また、上記で与えられた4つのパラメータはすべてPQ領域の値である（したがって、各値名は＿pqで終わっている）。
基本メタデータ312のこれらのパラメータは、エンコーダによって送信され、デコーダによって受信されてもよく（例えば、エンコーダとデコーダとの両方が自動モードで動作する場合）、1つ以上の曲線パラメータ131、132を生成するために、すなわち、先に説明されたように、最初に基本メタデータ312に基づいて一対のアンカー点120を取得し、次に一対のアンカー点120に基づいて曲線パラメータ131、132を生成するために、デコーダによって基礎として使用されうる。
さらに、メタデータ112は、任意選択で、カラーメタデータ322a（例えば、色調整または重み付け係数）を含んでもよい。第1のモードでは、トーンマッピング曲線130（例えば、「フェニックス」曲線）の1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）は、メタデータ112の基本メタデータ312に基づいて、および任意選択でカラーメタデータ322aに基づいて計算されることができる。
・アーティスティックモード（モードフラグtone＿mapping＿mode＝1）：
この第2のモードでは、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）は、エンコーダで決定されえ、次に、特にさらなるメタデータ322bとして、メタデータ112に（特に、基本メタデータ312に、および任意選択でカラーメタデータ322aにも）追加されうる。生成された曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）は、メタデータ112に含まれるさらなるメタデータ322bに埋め込まれうる。次に、メタデータ112は、したがってさらなるメタデータ322bも、デコーダに提供されうる。デコーダ（アーティスティックモードの）は、（例えば、ビットストリームから直接アーティスティックモードメタデータを解析することによって）ビットストリームから直接、さらなるメタデータ（例えば1つ以上の曲線パラメータ131、132、例えば曲線パラメータm＿aおよびm＿p）を取得しえ、したがって、基本メタデータおよびHDRビデオフレームから1つ以上の曲線パラメータ131、132を決定する必要がない。これは、デコーダにおける複雑さおよび／または処理能力を低減することを可能にする。
さらなるメタデータ322bは、特に、（CUVA HDR規格を参照して）アーティスティックモードメタデータ322bと呼ばれる場合がある。さらなるメタデータ322bはまた、生成されたトーンマッピング曲線パラメータ131、132（これらは、例えば、計算された「フェニックス」曲線パラメータm＿a、m＿pである）に加えて、「TH1、TH2、TH3、TH＿strength」などの三次スプラインパラメータを含みうる。TH1およびTH3は、三次スプライン曲線の始点および終点のx値である。y値は、フェニックス曲線上の対応する点と同じである。さらに、TH2は、これらの間のx値である。さらに、TH＿strengthは、TH2における三次スプライン曲線のy値であり、これは三次スプライン曲線の高さを制御しうる。TH1からTH3の範囲では、基本トーンマッピング曲線（フェニックス曲線）に取って代わりうる三次スプライン曲線が使用されうる。さらに、重複しない範囲の1つ以上の三次スプライン曲線がサポートされうる。
デコーダは、さらなるメタデータ322bに基づいてトーンマッピング曲線130を生成しうる。特に、デコーダは、トーンマッピング曲線130を生成するためのさらなるメタデータ322bに含まれる1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を使用しうる。例えば、デコーダは、さらなるメタデータ322bから1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を抽出しうる。特に、デコーダはまた、さらなるメタデータ322bに含まれるこれらの曲線パラメータ131、132を破棄することができ、例えば、（例えば、デコーダが「アーティスティックモード」をサポートしていない場合）基本メタデータ312に基づいて新しい1つ以上の曲線パラメータ131、132を計算することができる。
要約すると、第1のモード（例えば、自動モード）と第2のモード（例えば、アーティスティックモード）との違いは、第1のモードでは、基本メタデータ312（メタデータ112の）がデコーダに送信され、デコーダがこれに基づいて1つ以上の曲線パラメータ131、132を生成することである。第2のモードでは、1つ以上の曲線パラメータ131、132がエンコーダで計算され、さらなるメタデータ322bとしてメタデータ112に埋め込まれ、デコーダに送信される。
図4は、本発明の一実施形態を示し、方法1100は、第2のモード（例えば、アーティスティックモード）のエンコーダで実行される。特に、図4は、エンコーダおよびデコーダ（従来のデコーダであってもよい）のシステムによって実行される方法400のフローチャートを示し、エンコーダは、1つ以上の曲線パラメータ131、132を生成し、生成された1つ以上の曲線パラメータ131、132をさらなるメタデータ322bとしてデコーダに送信する。
以下では、方法400はこのシステムに関して例示的に述べられており、本開示を限定することなく、ステップの一部（すなわち、ステップS401～S404）は、エンコーダによって実行され、ステップの一部（すなわち、ステップS405～S406）はデコーダによって実行される。
ステップS401において、エンコーダは、基本メタデータ312を含むメタデータ112を取得する。例えば、エンコーダ100は、HDRフレーム111（HDRビデオソースの）を取得してもよく、HDRビデオフレーム111からメタデータ112、特に基本メタデータ312を抽出してもよい。
例えば、エンコーダは、それにより、以下のパラメータ：最大ディスプレイ輝度MaxDisplay（PQ値）、最小ディスプレイ輝度MinDisplay（PQ値）、現在のHDRビデオフレーム111のRGB領域画素バッファf［Nframe］［3］のうちの1つ以上を取得してもよい。f［Nframe］［3］は、2－dアレイであってもよく、Nframeは、現在のHDRビデオフレーム111内の画素の番号であり、3は、3つのカラーチャネル、すなわちR、G、Bを表す。例えば、f［11］［0］は、ラスタ走査順で12番目の画素のR値であってもよく、f［11］［1］はGであり、f［11］［2］はBである。
ステップS402において、エンコーダは、上記で説明されたように一対のアンカー点120を取得する（一対のアンカー点120が取得／選択されうる方法のより詳細な説明は、以下でさらに与えられる）。例えば、エンコーダは、上記で説明された第1のアンカー点121および第2のアンカー点122を含む2つのアンカー点を計算してもよい。以下で説明されるように、エンコーダは、（例えば、最も高い局所コントラストを生成するトーンマッピングに基づいて）一対のアンカー点120を選択してもよく、一対のアンカー点120を微調整してもよい。
ステップS403において、エンコーダは、一対のアンカー点120に基づいて、トーンマッピング曲線130の1つ以上の曲線パラメータ131および132（例えば、曲線パラメータm＿aおよびm＿p）を生成する。例えば、エンコーダは、一対のアンカー点120に基づいて、フェニックス曲線に関して上記で説明された曲線パラメータm＿aおよびm＿pを計算してもよい。
他の例では、エンコーダは、以下のパラメータ（上記で説明されたようなパラメータ）：m＿p、m＿m、m＿n、m＿b、K1、K2、K3のうちの1つ以上を含む曲線パラメータセットPtone＿mappingを生成してもよい。ただし、m＿pおよびm＿aは非自明であってもよく、その他のパラメータはすべて予め設定されていてもよい（m＿m：2．4；m＿n：1；K1、K2、K3はすべて1である）。
ステップS404において、エンコーダは、さらなるメタデータ322bを含む拡張メタデータ112を取得／生成する。例えば、エンコーダは、さらなるメタデータ322b（ここでは例示的に、アーティスティックモードメタデータと呼ばれる）をメタデータ112に埋め込んでもよく、すなわち、基本メタデータ312に追加する。さらなるメタデータ322bは、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を含む。さらに、エンコーダは、基本メタデータ312とさらなるメタデータ322bとを含む拡張メタデータ112をデコーダに送信してもよい。
ステップS405において、デコーダは曲線パラメータ131、132を取得する。例えば、デコーダは、取得された拡張メタデータ112から、特にさらなるメタデータ322bから、1つ以上の曲線パラメータ131、132（例えば、パラメータm＿aおよびm＿p）を抽出してもよい。
ステップS406において、デコーダは、トーンマッピング曲線130を生成する。例えば、デコーダは、（ステップS405で取得された）曲線パラメータ131、132に基づいてトーンマッピング曲線130を生成してもよい。例えば、デコーダは、m＿aおよびm＿pに基づいて、1つ以上の曲線パラメータ131、132としてフェニックス曲線を生成してもよい。
図5は、本発明の他の実施形態を示し、方法1100は、第1のモード（例えば、自動モード）のデコーダで実行される。特に、図5は、エンコーダ（従来のエンコーダであってもよい）およびデコーダのシステムによって実行される方法500のフローチャートを示し、デコーダは、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を生成する。
以下では、方法500はこのシステムに関して述べられるために例示的に述べられており、本開示を限定することなく、ステップS501はエンコーダによって実行され、ステップS502～S504はデコーダによって実行される。
ステップS501において、エンコーダはメタデータ112を取得する。例えば、エンコーダは、（例えば、HDRビデオソースから）HDRビデオフレーム111を取得してもよく、HDRビデオフレーム111からメタデータ112、特に基本メタデータ312を抽出してもよい。次に、エンコーダは、メタデータ112およびHDRビデオフレーム111をデコーダに提供してもよい。すなわち、デコーダは、メタデータ112およびHDRビデオフレーム111を受信してもよい。
ステップS502において、デコーダは、一対のアンカー点120を取得する。例えば、デコーダは、受信されたHDRビデオフレーム111および／または基本メタデータ312に基づいて、一対のアンカー点120を取得してもよい。一対のアンカー点120は、第1のアンカー点121および第2のアンカー点122を含んでもよい。以下で説明されるように、エンコーダは、（例えば、最も高い局所コントラストを生成するトーンマッピングに基づいて）一対のアンカー点120を選択してもよく、一対のアンカー点120を微調整してもよい。
ステップS503において、デコーダは、一対のアンカー点120に基づいて、トーンマッピング曲線130の1つ以上の曲線パラメータ131および132（例えば、曲線パラメータm＿aおよびm＿p）を生成する。例えば、デコーダ200は、一対のアンカー点120からフェニックス曲線の曲線パラメータm＿aおよびm＿pを計算してもよい。
ステップS504において、デコーダは、トーンマッピング曲線130を生成しうる。例えば、デコーダは、取得された曲線パラメータm＿aおよびm＿pに基づいてトーンマッピング曲線130を生成してもよい、すなわち、デコーダは、上記で説明されたようにフェニックス曲線を生成してもよい。
図5と比較された図4に関して、例えばビデオ圧縮に起因して、デコーダにおけるHDRビデオフレーム111がエンコーダにおけるHDRビデオフレーム111と異なる可能性がありうる。エンコーダ側で、方法1100は符号化前に実行されてもよく、したがって、元のHDRビデオフレーム111が処理されてもよい。エンコーダで方法1100を実行することは、複雑さを低減することを可能にする（エンコーダが1つ以上の曲線パラメータを決定するために元のHDRビデオフレームを使用しうるため、エンコーダで一度だけ実行され、各デコーダでは実行されず、また、より良好なパラメータ、したがってより良好な品質を提供しうる）。しかしながら、デコーダにおいて、方法1100によって復号および処理されうるのは、符号化および圧縮されたHDRビデオフレーム111でありうる。
ここで、上記で説明されたように、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を生成するための一対のアンカー点120を決定するための例示的な方法600のフローチャートを示す図6を参照する。特に、方法600は、上記でも説明されたように、一対のアンカー点120を選択し、（例えば、最も高い局所コントラストを生成するトーンマッピングに基づいて）一対のアンカー点120を微調整する例を説明する。1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を生成するための一対のアンカー点120は、複数対のアンカー点120の中から選択される。一般的に言えば、方法600は、（デバイス100によって）複数対のアンカー点120を取得するステップと、複数対のアンカー点120の各対について区分線形曲線901を生成するステップと、複数のトーンマッピングされたHDRビデオフレームを取得するために、区分線形曲線901の各々に基づいてHDRビデオフレーム111に対してトーンマッピングを実行するステップと、複数のトーンマッピングされたHDRビデオフレームに基づいて、複数対のアンカー点120の中から、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を生成するための一対のアンカー点120を選択するステップとを含む。
方法600は、エンコーダまたはデコーダによって実行されうる。以下では、方法600は、本開示を限定することなく、一般にデバイス100（例えば図1に示されているような）によって実行される方法として例示的に述べられている。
ステップS601aおよびS601bにおいて、デバイス100は、初期の一対のアンカー点120、特に初期アンカー点1（すなわち、初期の第1のアンカー点121）および初期アンカー点2（すなわち、初期の第2のアンカー点122）を取得する。
図7は、取得された初期の第1のアンカー点121の例を示す。
例として、初期の第1のアンカー点121のy座標値は、初期の第1のアンカー点121のx座標値に等しくてもよい。第1の初期アンカー点121のx座標値は、所定の最小閾値と所定の中心閾値との間の範囲内で選択されてもよい。
特に、初期の第1のアンカー点121は（L3，F3N）と表されてもよく、L3は初期の第1のアンカー点のx座標値であり、F3Nは初期の第1のアンカー点のy座標値である。それにより、一実施形態では、L3はメタデータ112内のAverage＿darkの値（PQ値）に等しくてもよく、F3NはターゲットディスプレイのPerceptual＿darkの値（PQ値）に等しくてもよい。他の実施形態では、L3およびF3Nの値は等しく、以下の式を使用して計算されうる。
ただし、f［i］は、f［i］［0］、f［i］［1］、およびf［i］［2］の最大値であり、言い換えれば、i番目の画素のR、G、Bの値の最大値またはi番目の画素のmaxRGB値である。本明細書では、minCone（すなわち、最小閾値）とmidLight（すなわち、中心閾値）との間のf［i］値のみが考慮され、Nframeは、minConeとmidLightとの間のmaxRGB値を有する画素の数を意味する。さらに、minConeの値は、0．15、すなわち、人間の視覚系の錯体細胞が色を知覚することができる輝度範囲の下限閾値のPQ値であってもよい。さらに、midLightの値は0．35であってもよく、これは、BT2408の規格で推奨されている肌色の輝度範囲の下限閾値を意味する。
実施形態は、人間の視覚系または人間の視覚の特性を表すまたは考慮した所定の閾値を使用するように構成されてもよい。例えば、最小閾値は、閾値輝度レベルであって、それ未満では、人間の視覚系の錐体細胞がもはや色を知覚せず（例えば、minCone）、したがってより少ない情報を提供する、閾値輝度レベルに設定されてもよい。したがって、第1のアンカー点は、最小閾値よりも大きく、例えば、minConeよりも大きくなるように選択される。中心閾値および最大閾値は、色知覚に関連するように選択されてもよい。例えば、中心閾値は、人間の肌色を表す、または人間の肌色についての値、例えば、人間の肌色の下限閾値（例えば、midLight）に設定されてもよく、最大閾値は、白色を表す値（例えば、defusingLight）に設定されてもよい。したがって、第2のアンカー点は、肌色および白色が第2のアンカー点によってより良好に制御されるように、これらの2つの値の間で選択される。一実施形態では、最小閾値はminConeに設定されてもよく、中心閾値はmidLightに設定されてもよく、最大閾値はdefusingLightに設定されてもよい。他の実施形態は、上記の閾値および／またはさらなる閾値のうちの1つ以上のみを使用してもよい。
図8は、初期の第1のアンカー点121および初期の第2のアンカー点122を含む、取得された初期の一対のアンカー点120の例を示す図を示す。初期の第2のアンカー点122のx座標値は、所定の中心閾値と所定の最大閾値との間の範囲内で選択されてもよい。
特に、初期の第2のアンカー点122は、［M1，N1N］と表されてもよく、M1は、初期の第2のアンカー点のx座標値であり、N1Nは、初期の第2のアンカー点のy座標値である。M1は、メタデータ112内のaverage＿midLight（PQ値）に等しくてもよく、（midLight（すなわち、中心閾値）からdefusingLight（すなわち、最大閾値）の範囲内のすべてのmaxRGB値を平均することによって計算されてもよい。さらに、defusingLight＝midLight＋（MaxSource－midLight）＊比率であり、比率は4／6に予め設定されてもよい。さらに、MaxSourceは、ソース画像（HDRビデオフレーム111）のmaxRGB値の最大値であってもよい。MinSourceは、ソース画像（HDRビデオフレーム111）のmaxRGB値の最小値であってもよい。defusingLightの値の計算は、例えばBT2048の規格で推奨されているように、defuse white範囲の下限閾値に基づいてもよい。
さらに、初期の第2のアンカー点122のy座標値は、HDRビデオフレーム111の輝度値のヒストグラムに基づいて計算されてもよい。
特に、N1Nは、Perceptual＿midLightの値（PQ値）であってもよく、（midLight，defusingLight）の範囲内のすべてのmaxRGB値のヒストグラムに基づいて計算されてもよく、具体的には以下のように計算されてもよい。
最初に、デバイス100は、（minCone，MaxSource）の範囲内のmaxRGB値のヒストグラムを計算してもよく、ヒストグラムビンサイズは、（MaxSource－minCone）＊V／Uに設定されてもよく、ただし、UおよびVは正の整数であり、Uは6であることが推奨され、Vは3以下である。さらに、デバイス100は、（midLight，defusingLight）の範囲内のmaxRGB値を有する画素の数を計算し、それをHalf＿Numと名付けてもよい。さらに、ヒストグラムビンのサンプルの数がHalf＿Numよりも大きい場合、このビンはHISAビンと呼ばれる。
本明細書では、HISAビンは、ヒストグラムのピーク部分を表す。言い換えれば、HISAビンは、他のビンよりも大きい部分の画素を含む。したがって、HISAビンは著しく多くの画素を含むため、HISAビンが存在する場合、それは他のビンよりも重要である。したがって、アンカー点計算は、HISAビン内の画素に基づく。HISAビンが存在しない場合、これは、ヒストグラムが平坦であり、すべてのビンが同様の数の画素を含み、他のビンよりも重要なビンがないことを意味する。この場合、アンカー点2の計算は、特定のヒストグラムビンに向けられず、midLightとdefusingLightとの間のすべての画素に基づく。
次に、デバイス100は、HISAビンに基づいてN1Nを計算してもよい。1つ以上のHISAビンが存在する場合、以下の通りである。
および、
しかしながら、HISAビンが存在しない場合、システム300は、以下のようにN1Nを計算する。
および、
ただし、difusingLightH＝midLight＋（MaxSource－midLight）＊ratioHであり、ratioHは5／6であることが推奨される。
一般に、一実施形態では、デバイス100は、所定の最小閾値と所定の最大閾値との間の輝度値を有する画素の数を計算してもよい。さらに、デバイス100は、輝度値のヒストグラムのヒストグラムビンの値と、計算された画素の数とを比較してもよい。次に、1つ以上のヒストグラムビンの値が計算された数よりも大きい場合、所定の最大ディスプレイ輝度値よりも大きい1つ以上のヒストグラムビン内の画素輝度値をクリッピングし、第2のアンカー点のy座標値を、計算された数よりも大きい1つ以上のヒストグラムビンに属するすべての画素の輝度値の平均値に設定する。また、1つ以上のヒストグラムビンの値が計算された数よりも大きくない場合、所定の中心閾値と所定の最大閾値との間の画素の画素輝度値をクリッピングし、第2のアンカー点のy座標値を、HDRビデオフレーム111の所定の中心閾値と所定の最大閾値との間のすべての画素の輝度値の平均値に設定する。
ステップS602において、デバイス100は、第1のアンカー点121および第2のアンカー点122について1つ以上のさらなる候補、すなわち、1つ以上のさらなる対のアンカー点120を計算する。特に、デバイス100は、初期の一対のアンカー点120に基づいて、1つ以上のさらなる対のアンカー点120を取得しうる。
例えば、デバイス100は、（M1，N1N－M1＊MaxDisplay＊E／（MaxSource＊10））と表される第2のアンカー点122についてさらなる候補を取得してもよく、（L3，F3N＊MaxDisplay＊F／（MaxSource＊10）と表される第1のアンカー点121についてさらなる候補を取得してもよい。デバイス100は、より多くの候補対のアンカー点120を取得するために、EおよびFの異なる値を選択してもよい。Eの値の範囲は、［1，20］の間であってもよく、Fの値の範囲は、［1，10］の間であってもよい。
さらなるアンカー点121、122を（デバイス100によって）選択するとき、さらなる対のアンカー点120の第1のアンカー点121のx座標値は、初期の第1のアンカー点121のx座標値と同一であってもよく、および／またはさらなる対のアンカー点120の第2のアンカー点122のx座標値は、初期の一対のアンカー点の初期の第2のアンカー点122のx座標値と同一であってもよい。
さらに、さらなる対のアンカー点120の第1のアンカー点121のy座標値は、初期の第1のアンカー点121のy座標値と異なっていてもよく、および／またはさらなる対のアンカー点120の第2のアンカー点122のy座標値は、初期の第2のアンカー点122のy座標値と同一であってもよい。
ステップS603において、デバイス100は、アンカー点120の各対について、すなわち、アンカー点120の初期対およびアンカー点120の1つ以上のさらなる対を含む、アンカー点120の複数対の各々について、区分線形曲線901を生成する。図9は、これに関して、一対のアンカー点120について生成された区分線形曲線901を例示的に示す図を示す。
それにより、アンカー点120の各対に関する区分線形曲線901は、所定の最小アンカー点902とそれぞれの第1のアンカー点121とを結び、それぞれの第1のアンカー点121とそれぞれの第2のアンカー点122とを結び、それぞれの第2のアンカー点122と所定の最大アンカー点902とを結ぶ。
例えば、デバイス100は、（minSource，minDisplay）、すなわち最小アンカー点902および（maxSource，maxDisplay）、すなわち最大アンカー点902と共に一対の候補アンカー点121、122を選択して、この一対のアンカー点120について区分線形曲線901を生成してもよい。この区分線形曲線901は、最終的なトーンマッピング曲線130を近似するための候補として使用されうる。
ステップS604において、デバイス100は、区分線形曲線901を使用してトーンマッピングを行い、局所コントラストを計算する。一般的に言えば、デバイス100は、複数のトーンマッピングされたHDRビデオフレームを取得するために、区分線形曲線901の各々に基づいてHDRビデオフレーム111に対してトーンマッピングを実行しうる。デバイス100はまた、複数の局所コントラストを取得するために、複数のトーンマッピングされたHDRビデオフレームの各々について局所コントラストを決定しうる。
例えば、EおよびFの異なる値が、異なる対のアンカー点120、したがって異なる区分線形曲線901をもたらしてもよい。さらに、各区分線形曲線901を使用して現在のHDRビデオフレーム11に対してトーンマッピングが行われてもよく、局所コントラストが計算される。局所コントラストは、トーンマッピングされたHDRビデオフレームに関して、以下のように計算されうる。
1）デバイス100は、トーンマッピングされたHDRビデオフレームをより小さいパッチに分割しうる。パッチサイズは、8×8、16×16、32×32、または64×64であってもよい。
2）デバイス100は、各画像パッチについて、すべての画素の最大maxRGB値、およびすべての画素の最小maxRGBを計算しえ、局所コントラストは最大値と最小値との差である。
3）デバイス100は、すべてのパッチの局所コントラストを平均しえ、それをトーンマッピングされたHDRビデオフレームの局所コントラスト値として選択しうる。
ステップS605において、デバイス100は、次に、複数のトーンマッピングされたHDRビデオフレームに基づいて、特に複数の局所コントラストに基づいて、複数対のアンカー点120の中から、1つ以上の曲線パラメータ131、132（例えば、曲線パラメータm＿aおよびm＿p）を生成するための一対のアンカー点120を選択しうる。例えば、デバイス100は、最も高い局所コントラストをもたらす一対のアンカー点120を選択してもよい。
例えば、デバイス100は、トーンマッピングされたHDRビデオフレームについて最大局所コントラストをもたらす値Eおよび値Fを別々に選択し、最終的なアンカー点121および122、すなわち［L3，F3］、［M1，N1］を計算してもよい。
ステップS606において、デバイス100は、トーンマッピング曲線130のいくつかの予め設定されたパラメータを取得しうる。
ステップS607において、トーンマッピング曲線130について、デバイス100は、曲線パラメータ131、132を計算する、例えば、それは、パラメータm＿pおよびm＿aを計算しうる。
例えば、デバイス100は、m＿aおよびm＿pを計算するために、選択された一対のアンカー点［L3，F3］および［M1，N1］、ならびに以下の式を使用してもよい。
ただし、m＿mは、2．4に予め設定されてもよい。
さらに、デバイス100は、トーンマッピング曲線130を生成しうる。1つ以上の曲線パラメータ131、132に基づくトーンマッピング曲線130例。任意選択で、デバイス100はまた、トーンマッピング曲線130の予め設定されたパラメータを追加で送信してもよい。
図10は、比較のために、1つ以上の生成された曲線パラメータ131、132に基づいて生成されたトーンマッピング曲線130を示し、選択された一対のアンカー点121に基づいて生成された区分線形曲線901を示し、この区分線形曲線901からは、1つ以上の曲線パラメータ131、132が生成されている。
図11は、本発明の一実施形態による、1つ以上の曲線パラメータ131、132を決定するための方法1100のフローチャートを示す。方法1100は、上記で説明されたように、デバイス100、すなわちエンコーダまたはデコーダによって実行されうる。
方法1100は、HDRビデオフレーム111とHDRビデオフレーム111に関連付けられたメタデータ112とを取得するステップS1101を含む。
方法1100は、HDRビデオフレーム111およびメタデータ112に基づいて、一対のアンカー点120を取得するステップS1102をさらに含み、一対のアンカー点120は、トーンマッピング曲線130の第1のアンカー点121および第2のアンカー点122を含む。
方法1100は、一対のアンカー点120に基づいてトーンマッピング曲線130の1つ以上の曲線パラメータ131、132を生成するステップS1103をさらに含む。1つ以上の曲線パラメータ131、132は、例えば、それぞれ曲線パラメータm＿aおよびm＿pであってもよい。
図12は、HDR動的トーンマッピングプロセスの信号処理パイプライン1200の例を示す。システムの入力は、HDRビデオ、例えばHDRビデオのHDRビデオフレームである。一般に、このHDRビデオは、より良好な品質のために、または特定のアーティスティックな意図のためにカラリストがカラーグレーディングシステムを使用してビデオを編集した、制作後段階の出力であってもよい。HDRビデオは高いピーク輝度を有し、多くの場合、1000nit、または2000nitでありえ、近い将来には4000nit、または10000nitになりうる。さらに、ビデオの画素値はPQ領域にある。
HDR前処理ブロック1201では、HDRビデオは入力と同じままである。しかしながら、メタデータが計算される。さらに、HDRビデオ符号化ブロック1202では、HDRビデオは、例えばビデオコーデック、例えばH．265または任意の他のビデオ規格（国内の、国際的な、または独自の）によるビデオコーデックによって圧縮される。さらに、メタデータが、エンコーダからデコーダに送信される（またはデコーダによる後の検索のために記憶媒体に記憶される）ビデオストリームのヘッダに埋め込まれる。HDRビデオ復号ブロック1203では、デコーダは、HDRビデオビットストリームを受信し、圧縮ビデオを復号し、ヘッダからメタデータを抽出する。
さらに、HDR動的トーンマッピングブロック1204では、HDRビデオを表示能力に適応させるためにトーンマッピングが行われる。
本開示は、例としての様々な実施形態、および実施態様に関連して説明された。しかしながら、他の変形例は、図面、本開示、および独立請求項の検討から、特許請求されている開示を実施する当業者によって理解され、もたらされることができる。特許請求の範囲および説明において、「備える」という語は、他の要素またはステップを除外せず、不定冠詞「a」または「an」は、複数を除外しない。単一の要素または他のユニットは、特許請求の範囲に記載されているいくつかのエンティティまたはアイテムの機能を果たしうる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利な実施態様で使用されることができないことを示していない。
100 デバイス、エンコーダ、デコーダ
111 HDRビデオフレーム
112 拡張メタデータ
120 アンカー点
121 第1のアンカー点、初期アンカー点、候補アンカー点
122 第2のアンカー点、候補アンカー点
130 トーンマッピング曲線
130A トーンマッピング曲線
130B トーンマッピング曲線
130C トーンマッピング曲線
131 トーンマッピング曲線パラメータ
132 トーンマッピング曲線パラメータ
312 基本メタデータ
322a カラーメタデータ
322b さらなるメタデータ
901 区分線形曲線
902 アンカー点
1200 信号処理パイプライン
1201 ブロック
1202 ブロック
1203 ブロック
1204 ブロック

Claims (21)

  1. トーンマッピング曲線の1つ以上の曲線パラメータを決定するための方法であって、前記方法は、
    ハイダイナミックレンジ(HDR)ビデオフレームと前記HDRビデオフレームに関連付けられたメタデータとを取得するステップと、
    前記HDRビデオフレームおよび前記メタデータに基づいて、一対のアンカー点を取得するステップであって、前記一対のアンカー点は、前記トーンマッピング曲線の第1のアンカー点および第2のアンカー点を含む、ステップと、
    前記一対のアンカー点に基づいて前記トーンマッピング曲線の前記1つ以上の曲線パラメータを生成するステップと
    を含み、
    前記トーンマッピング曲線は、
    L＾’＝m＿a（（m＿p×L＾（m＿n））／（（m＿p－1）×L＾（m＿n）＋1））＾（m＿m）＋m＿b
    によって与えられ、ただし、LはHDRビデオフレームの入力画素の輝度であり、m＿nは第1の値、特にm＿n＝1であり、m＿mは第2の値、特にm＿m＝2．4であり、m＿bは決定された知覚量子化PQ値であり、m＿pは輝度制御係数であり、m＿aは出力画素の最大輝度を定義するスケーリング係数であり、前記1つ以上の曲線パラメータはm＿pおよびm＿aを含む、方法。
  2. 一対のアンカー点を取得する前記ステップは、
    複数対のアンカー点を取得するステップと、
    前記複数対のアンカー点の各対について区分線形曲線を生成するステップと、
    複数のトーンマッピングされたHDRビデオフレームを取得するために、前記区分線形曲線の各々に基づいて前記HDRビデオフレームに対してトーンマッピングを実行するステップと、
    前記複数のトーンマッピングされたHDRビデオフレームに基づいて、前記複数対のアンカー点の中から、前記1つ以上の曲線パラメータを生成するための前記一対のアンカー点を選択するステップと
    を含む、請求項1に記載の方法。
  3. アンカー点の各対の前記区分線形曲線は、所定の最小アンカー点とそれぞれの前記第1のアンカー点とを結び、それぞれの前記第1のアンカー点とそれぞれの前記第2のアンカー点とを結び、それぞれの前記第2のアンカー点と所定の最大アンカー点とを結ぶ、請求項2に記載の方法。
  4. 前記1つ以上の曲線パラメータを生成するための前記一対のアンカー点を選択する前記ステップは、
    前記複数のトーンマッピングされたHDRビデオフレームの各々について局所コントラストを決定して、複数の局所コントラストを取得するステップと、
    前記複数の局所コントラストに基づいて、前記複数対のアンカー点の中から、前記1つ以上の曲線パラメータを生成するための前記一対のアンカー点を選択するステップと
    を含む、請求項2または3に記載の方法。
  5. 複数対のアンカー点を取得する前記ステップは、
    初期の一対のアンカー点を取得するステップと、
    前記初期の一対のアンカー点に基づいてさらなる対のアンカー点を取得するステップと
    を含む、請求項2から4のいずれか一項に記載の方法。
  6. 前記さらなる対のアンカー点の第1のアンカー点のx座標値は、前記初期の一対のアンカー点の前記第1のアンカー点のx座標値と同一であり、および／または
    前記さらなる対のアンカー点の第2のアンカー点のx座標値は、前記初期の一対のアンカー点の前記第2のアンカー点のx座標値と同一である、請求項5に記載の方法。
  7. 前記さらなる対のアンカー点の前記第1のアンカー点のy座標値は、前記初期の一対のアンカー点の前記第1のアンカー点のy座標値と異なり、および／または
    前記さらなる対のアンカー点の前記第2のアンカー点のy座標値は、前記初期の一対のアンカー点の前記第2のアンカー点のy座標値と同一である、請求項6に記載の方法。
  8. 前記初期の一対のアンカー点の前記第1のアンカー点のx座標値は、所定の最小閾値と所定の中心閾値との間の範囲内で選択され、および／または
    前記初期の一対のアンカー点の前記第2のアンカー点のx座標値は、前記所定の中心閾値と所定の最大閾値との間の範囲内で選択される、請求項5から7のいずれか一項に記載の方法。
  9. 前記初期の一対のアンカー点の前記第1のアンカー点のy座標値は、前記初期の一対のアンカー点の前記第1のアンカー点の前記x座標値に等しい、請求項8に記載の方法。
  10. 前記初期の一対のアンカー点の前記第2のアンカー点のy座標値は、前記HDRビデオフレームの輝度値のヒストグラムに基づいて計算される、請求項8または9に記載の方法。
  11. 前記方法は、
    前記所定の最小閾値と前記所定の最大閾値との間の輝度値を有する画素の数を計算するステップ、
    輝度値の前記ヒストグラムのヒストグラムビンの値と前記計算された画素の数とを比較するステップ、ならびに
    1つ以上の前記ヒストグラムビンの前記値が前記計算された数よりも大きい場合に、所定の最大ディスプレイ輝度値よりも大きい前記1つ以上のヒストグラムビン内の画素輝度値をクリッピングし、前記第2のアンカー点のy座標値を、前記計算された数よりも大きい前記1つ以上のヒストグラムビンに属するすべての画素の前記輝度値の平均値に設定するステップ、および
    1つ以上の前記ヒストグラムビンの前記値が前記計算された数よりも大きくない場合に、前記所定の中心閾値と前記所定の最大閾値との間の画素の前記画素輝度値をクリッピングし、前記第2のアンカー点の前記y座標値を、前記HDRビデオフレームの前記所定の中心閾値と前記所定の最大閾値との間のすべての画素の前記輝度値の平均値に設定するステップ
    を含む、請求項10に記載の方法。
  12. 前記1つ以上の曲線パラメータに基づいて前記トーンマッピング曲線を生成するステップ
    をさらに含む、請求項1から11のいずれか一項に記載の方法。
  13. 前記方法は、
    前記メタデータおよび前記HDRビデオフレームを受信するステップ
    を含む、請求項1から12のいずれか一項に記載の方法。
  14. 前記方法は、
    前記1つ以上の曲線パラメータをさらなるメタデータとして送信するステップ
    を含む、請求項1から13のいずれか一項に記載の方法。
  15. 前記方法は、エンコーダおよび／またはデコーダによって行われる、
    請求項1から14のいずれか一項に記載の方法。
  16. HDRビデオフレームを符号化するためのエンコーダであって、前記エンコーダ（100）は、請求項1から10および12から14のいずれか一項に記載の方法を行うように構成されている、エンコーダ。
  17. HDRビデオフレームを復号するためのデコーダであって、前記デコーダは、請求項1から13のいずれか一項に記載の方法を行うように構成されている、デコーダ。
  18. トーンマッピング曲線を生成するためのシステムであって、前記システムは、
    請求項16に記載のエンコーダと、
    請求項17に記載のデコーダと
    を備える、システム。
  19. プロセッサによって実行されると請求項1から15のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム。
  20. コンピュータデバイスによって実行されると、コンピュータデバイスに前記請求項１～１５のいずれか一項に記載の方法を行わせるプログラムコードを担持するコンピュータ可読記憶媒体。
  21. 画像復号装置によって復号された符号化ビットストリームを含むコンピュータ可読記憶媒体であって、前記ビットストリームは、
    ハイダイナミックレンジ(HDR)ビデオフレームおよび前記HDRビデオフレームに関連付けられたメタデータの符号化データと、
    一対のアンカー点の符号化データであって、前記一対のアンカー点は、前記HDRビデオフレーム及び前記メタデータに基づいて取得されたトーンマッピング曲線の第1のアンカー点及び第2のアンカー点を含む、前記アンカー点の対の符号化データと、
    前記トーンマッピング曲線の1つ以上の曲線パラメータの符号化データと、
    を含み、
    前記トーンマッピング曲線は、
    L＾’＝m＿a（（m＿p×L＾（m＿n））／（（m＿p－1）×L＾（m＿n）＋1））＾（m＿m）＋m＿b
    によって与えられ、ただし、LはHDRビデオフレームの入力画素の輝度であり、m＿nは第1の値、特にm＿n＝1であり、m＿mは第2の値、特にm＿m＝2．4であり、m＿bは決定された知覚量子化PQ値であり、m＿pは輝度制御係数であり、m＿aは出力画素の最大輝度を定義するスケーリング係数であり、前記1つ以上の曲線パラメータはm＿pおよびm＿aを含む、コンピュータ可読記憶媒体。
JP2022567670A 2020-05-08 2020-05-08 エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法 Active JP7476354B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/089134 WO2021223205A1 (en) 2020-05-08 2020-05-08 Encoder, decoder, system, and method for determining tone mapping curve parameters

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024065991A Division JP2024086904A (ja) 2024-04-16 エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法

Publications (2)

Publication Number Publication Date
JP2023525284A JP2023525284A (ja) 2023-06-15
JP7476354B2 true JP7476354B2 (ja) 2024-04-30

Family

ID=78467683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022567670A Active JP7476354B2 (ja) 2020-05-08 2020-05-08 エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法

Country Status (6)

Country Link
US (1) US20230057829A1 (ja)
EP (1) EP4028987A4 (ja)
JP (1) JP7476354B2 (ja)
KR (1) KR20230002720A (ja)
CN (1) CN115428006A (ja)
WO (1) WO2021223205A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117440118B (zh) * 2023-10-23 2024-06-11 镕铭微电子(上海)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228451A (ja) 2006-02-27 2007-09-06 Konica Minolta Holdings Inc 撮像装置
JP2020510913A (ja) 2017-02-15 2020-04-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのトーン曲線マッピング

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737738B2 (en) * 2010-02-19 2014-05-27 Thomson Licensing Parameters interpolation for high dynamic range video tone mapping
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
US10219345B2 (en) * 2016-11-10 2019-02-26 Ledengin, Inc. Tunable LED emitter with continuous spectrum
WO2018111682A1 (en) * 2016-12-12 2018-06-21 Dolby Laboratories Licensing Corporation Systems and methods for adjusting video processing curves for high dynamic range images
WO2018152063A1 (en) * 2017-02-15 2018-08-23 Dolby Laboratories Licensing Corporation Tone curve mapping for high dynamic range images
MX2020008499A (es) * 2018-02-14 2020-09-25 Dolby Laboratories Licensing Corp Reconfiguracion de imagenes en codificacion de video usando la optimizacion de tasa-distorsion.
WO2020060980A1 (en) * 2018-09-17 2020-03-26 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images on power-limiting displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228451A (ja) 2006-02-27 2007-09-06 Konica Minolta Holdings Inc 撮像装置
JP2020510913A (ja) 2017-02-15 2020-04-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのトーン曲線マッピング

Also Published As

Publication number Publication date
EP4028987A4 (en) 2022-10-12
WO2021223205A1 (en) 2021-11-11
CN115428006A (zh) 2022-12-02
EP4028987A1 (en) 2022-07-20
US20230057829A1 (en) 2023-02-23
KR20230002720A (ko) 2023-01-05
JP2023525284A (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
RU2740034C1 (ru) Линейный кодер для обработки изображений/видео
KR102117522B1 (ko) 높은 동적 범위 비디오에 대한 디스플레이 관리
JP6563915B2 (ja) Ｈｄｒ画像のための汎用コードマッピングのためのｅｏｔｆ関数を生成するための方法及び装置、並びにこれらの画像を用いる方法及び処理
CN107154059B (zh) 一种高动态范围视频处理方法
EP3446486A1 (en) Coding of hdr video signals in the ictcp color format
CN111163268B (zh) 一种图像处理方法、装置以及计算机存储介质
EP3669542B1 (en) Bit-depth efficient image processing
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
JP7462072B2 (ja) ダイナミックレンジのマッピング方法及び機器
JP7476354B2 (ja) エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法
WO2024104245A1 (zh) 色调映射方法、装置及相关设备
WO2018040599A1 (zh) 一种视频帧的处理方法、装置和计算机可读存储介质
JP2012028937A (ja) 映像信号補正装置および映像信号補正プログラム
CN114467298A (zh) 一种图像信号转换处理方法、装置及终端设备
JP2024086904A (ja) エンコーダ、デコーダ、システム、およびトーンマッピング曲線パラメータを決定するための方法
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
JP6860415B2 (ja) 映像信号変換装置、ダイナミックレンジ変換装置およびそれらのプログラム
JP7503655B2 (ja) トーンマッピング曲線のためのパラメータセットの決定
JP6484244B2 (ja) カラー／グレーの小さい差異を保持する画像処理方法
CN117440118B (zh) 图像处理方法、装置、电子设备及存储介质
CN116167950B (zh) 图像处理方法、装置、电子设备及存储介质
EP4172981A1 (en) Systems and methods for ambient light compensation using pq shift
WO2023069585A1 (en) Context-based reshaping algorithms for encoding video data
KR20110043082A (ko) 영상표시기기에서 콘트라스트 제어 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240417

R150 Certificate of patent or registration of utility model

Ref document number: 7476354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150