JP6430577B2 - 画像のダイナミックレンジ変換のための装置及び方法 - Google Patents

画像のダイナミックレンジ変換のための装置及び方法 Download PDF

Info

Publication number
JP6430577B2
JP6430577B2 JP2017082502A JP2017082502A JP6430577B2 JP 6430577 B2 JP6430577 B2 JP 6430577B2 JP 2017082502 A JP2017082502 A JP 2017082502A JP 2017082502 A JP2017082502 A JP 2017082502A JP 6430577 B2 JP6430577 B2 JP 6430577B2
Authority
JP
Japan
Prior art keywords
image
dynamic range
display
conversion
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017082502A
Other languages
English (en)
Other versions
JP2017184238A (ja
Inventor
チャールズ レオナルダス コーネリウス マリア クニベラー
チャールズ レオナルダス コーネリウス マリア クニベラー
ダー フルーテン レナトス ヨセフス バン
ダー フルーテン レナトス ヨセフス バン
ハーン ウィーブ デ
ハーン ウィーブ デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017184238A publication Critical patent/JP2017184238A/ja
Application granted granted Critical
Publication of JP6430577B2 publication Critical patent/JP6430577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/90
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/045Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
    • G09G2370/047Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication

Description

本発明は、画像のダイナミックレンジ変換に関連し、特に、限定的ではないが、ローダイナミックレンジ画像からハイダイナミックレンジ画像を生成する、又はハイダイナミックレンジ画像からローダイナミックレンジ画像を生成する画像処理に関連する。
過去数十年間にかけて、アナログ表現及び通信がデジタル信号表現及び通信に置き換えられるにつれ、多様な源信号のデジタル符号化がますます重要になってきた。データレートを許容可能なレベルに維持しながら、符号化画像及びビデオシーケンスから得られる品質を向上させる研究及び開発が現在も継続的に行われている。
知覚画質の重要なファクタの1つは、画像が表示される際に再現可能なダイナミックレンジである。従来、再現画像のダイナミックレンジは、通常の光景に対して大きく低減される傾向にあった。実際、現実世界で見られる輝度レベルのダイナミックレンジは14桁程度と大きく、月の無い夜から太陽の直視まで様々である。瞬間輝度ダイナミックレンジ及び対応する人間の視覚系反応は、晴天日又は夜において(明るい反射対暗い影領域)、10.000:1〜100.000:1の範囲内にあり得る。従来、ディスプレイのダイナミックレンジは約2〜3桁に制限され、また、センサもノイズの許容能力に応じて制限された範囲、例えば<10.000:1を有した。結果として、従来は、従来のレンダリング装置に知覚可能な人工物を導入することなく、8ビットガンマ符号化フォーマットで画像を保存及び送信できた。しかし、より精密且つ生き生きとした画像を記録するために、6桁より大きいダイナミックレンジを記録可能な新しいハイダイナミックレンジ(HDR)画像センサが開発された。さらに、特殊効果、コンピュータグラフィックス強化、及び他のポストプロダクション作業のほとんどが、すでに日常的に高ビット深度及びハイダイナミックレンジで行われている。
また、最先端のディスプレイシステムのコントラスト及びピーク輝度は上がり続けている。近年、ピーク輝度が約3000Cd/mで、コントラスト比が5〜6桁(ディスプレイ固有;視聴環境も最終的なレンダリングされるコントラスト比に影響を与え、日中のテレビ視聴では50:1以下にさえ下がり得る)の新しいプロトタイプディスプレイが発表されている。将来、ディスプレイはさらに高いダイナミックレンジを提供できることが期待されており、特に高ピーク輝度及びコントラスト比を提供することが期待されている。従来の符号化8ビット信号がこのようなディスプレイ上で表示される場合、邪魔な量子化及びクリッピングアーティファクトが出現し得る。さらに、従来のビデオフォーマットは、新しいHDR画像に含まれる豊富な情報を運ぶには不十分なヘッドルーム及び精度を提供する。
よって、消費者が最先端の(及び将来の)センサ及び表示システムの能力を完全に享受することを可能にする、新しいアプローチへのニーズが高まっている。好ましくは、このような追加情報の表現は、レガシー機器が通常のビデオストリームを依然として受信可能であるとともに、新しいHDR対応デバイスは新しいフォーマットによって運ばれる追加情報の利益を完全に享受できるよう、後方互換性である。したがって、符号化ビデオデータはHDR画像を表現するだけでなく、従来機器上に表示可能な従来のローダイナミックレンジ(LDR)画像の符号化も可能であることが望ましい。
HDRシステムを適切に導入し、HDRの約束を完全に利用するためには、選択されるアプローチが、後方互換性、及びHDRディスプレイへの最適化又は少なくとも適合化の両方を提供することが重要である。しかし、これは本質的に、HDRへの最適化と従来のLDRへの最適化との間で対立をはらむ。
例えば、ビデオクリップ等の典型的な画像コンテンツは、スタジオ内において特定のディスプレイ上での最適な表示のために処理(カラーグレーディング及びトーンマッピング)される。従来、このような最適化はLDRディスプレイのために実行されてきた。例えば、標準的なLDRディスプレイのための製作中、カラーグレーディングの専門家がたくさんの画質特徴のバランスを取り、プロットにとって望ましい「見た目」を作成する。これは、局部的及び局所的なコントラストのバランシングを含み得り、場合によっては意図的なピクセルのクリッピングさえ含み得る。例えば、ピーク輝度が比較的低いディスプレイ上において、爆発又は明るいハイライトは、視聴者に高輝度の印象を与えるために、しばしば厳しくクリッピングされる(黒レベルが乏しいディスプレイ上の暗い影の詳細においても、同じことが起こる)。この操作は、通常は基準LDRディスプレイを仮定して実行され、慣例上、実際にはほぼ全てのコンシューマディスプレイがLDRディスプレイであるので、ディスプレイはこのような基準LDRディスプレイから比較的少ししか逸脱しない。
しかし、映像がHDR対象ディスプレイのために適合されている場合、出力は大きく異なったものになる。実際、カラーの専門家は非常に異なるコードマッピングになる最適化を行う。例えば、HDRディスプレイ上ではハイライト及び影の詳細が良好に保たれるだけでなく、ミドルグレートーンにかけて異なる分布を有するよう最適化され得る。したがって、最適なHDR画像は、白色点輝度(最大達成可能輝度)の違いに対応する値によるLDR画像の単純なスケーリングによっては達成できない。
理想的には、ディスプレイの各選択可能なダイナミックレンジのために、別々のカラーグレーディング及びトーンマッピングが実行される。例えば、1つのビデオシーケンスは最大白色点500Cd/m用であり、1つは1000Cd/m用であり、1つは1500Cd/m用等であり、最大可能輝度まで続く。所与のディスプレイは、単純に自身の輝度に対応するビデオシーケンスを選択する。しかし、このようなアプローチは多数のビデオシーケンスの生成を要し、よってこれらの異なるビデオシーケンスを生成するために必要なリソースも増えるため、実用的ではない。さらに、必要な記憶及び分配能力も著しく増加する。また、このアプローチは選択可能な最大表示輝度レベルを不連続なレベルに限定し、よって、与えられたビデオシーケンスのレベル間の最大表示輝度レベルを有するディスプレイの準最適な(最適でない)パフォーマンスを提供する。また、このようなアプローチは、使用される最大輝度レベルビデオシーケンスより高い最大輝度レベルを有するよう開発された将来のディスプレイを許容しない。
したがって、コンテンツ提供サイドでは限定された数のビデオシーケンスしか作成されないことが予測され、また、ビデオシーケンスがレンダリングされる特定の画像に適したビデオシーケンスを生成するために、配信チェーンの後の方の時点で自動ダイナミックレンジ変換が適用されることが予測される。しかし、このようなアプローチにおいては、最終的な画質は自動ダイナミックレンジ変換に大きく依存する。
したがって、画像の異なるダイナミックレンジをサポートするための改良されたアプローチ、及び好ましくは異なるダイナミックレンジ画像をサポートするための改良されたアプローチは有利である。
したがって、本発明は、好ましくは上記の不都合のうちの1つ又は複数を、単独で又は組み合わせによって緩和、低減、又は排除することを目的とする。
本発明の一側面によれば、画像信号を受信するための受信機であって、前記画像信号は少なくとも第1符号化画像及び第1対象ディスプレイリファレンスを含み、前記第1対象ディスプレイリファレンスは、前記第1符号化画像が符号化において対象とした第1対象ディスプレイのダイナミックレンジを示す、受信機と、前記第1対象ディスプレイリファレンスに応じて、前記第1符号化画像にダイナミックレンジ変換を適用することによって出力画像を生成するダイナミックレンジプロセッサと、前記出力画像を含む出力画像信号を出力するための出力部とを含む、画像処理装置が提供される。
本発明は、異なるダイナミックレンジ及び/又はディスプレイをサポートするシステムを可能にし得る。特に、このアプローチは、画像のレンダリングの具体的な特徴に適合できる改良されたダイナミックレンジ変換を可能にし得る。多くの場合において、LDRからHDRへの、又はHDRからLDRへの改良されたダイナミックレンジ変換が達成され得る。
いくつかの実施形態において、ダイナミックレンジ変換は、第1符号化画像に対して出力ビデオ信号のダイナミックレンジを拡大する。いくつかの実施形態において、ダイナミックレンジ変換は、第1符号化画像に対して出力ビデオ信号のダイナミックレンジを縮小する。
ダイナミックレンジは、レンダリング輝度レンジ、すなわち、レンダリング画像の最小光出力から最大光出力までのレンジに対応する。したがって、ダイナミックレンジは単に最大値と最小値との間の比や、量子化量(ビット数等)ではなく、画像のレンダリングのための実際の輝度範囲に対応する。したがって、ダイナミックレンジは輝度値のレンジを、例えばニットとも呼ばれる平方メートルあたりのカンデラ(cd/m)単位で測定してもよい。したがって、ダイナミックレンジは、最も低い輝度値(多くの場合、絶対黒、すなわち光出力無しと仮定される)に対応する光出力(輝度)から、最大輝度値に対応する光出力(輝度)までの輝度レンジである。ダイナミックレンジは、具体的には、白色点、白色点輝度、白色輝度、又は最大輝度とも呼ばれる最高光出力値によって特徴づけられ得る。LDR画像及びLDRディスプレイにおいて、白色点輝度は典型的には500ニット以下である。
出力画像信号は、具体的には特定のダイナミックレンジを有するディスプレイに送り込まれ、ダイナミックレンジ変換は、符号化画像を、対象ディスプレイリファレンスによって指示されたダイナミックレンジから、画像がレンダリングされるディスプレイのダイナミックレンジに変換し得る。
画像は、例えばビデオシーケンスのフレーム又は画像等の、動画シーケンスの画像であり得る。他の例として、画像は常置の背景、又は例えばグラフィックス等のオーバーレイ画像でもよい。
第1符号化画像は、具体的にはLDR画像でもよく、出力画像はHDR画像でもよい。第1符号化画像は、具体的にはHDR画像でもよく、出力画像はLDR画像でもよい。
本発明の選択任意の特徴によれば、第1対象ディスプレイリファレンスは、第1対象ディスプレイの白色点輝度を含む。
これは、多くの実施形態において好適な動作を提供し得る。特に、実行すべき改良されたダイナミックレンジ変換を実現するのに十分な情報を提供しつつ、低い複雑性及び/又は低いオーバーヘッドを実現できる。
本発明の選択任意の特徴によれば、第1対象ディスプレイリファレンスは、第1対象ディスプレイ用の電気光変換関数指標を含む。
これは、多くの実施形態において好適な動作を提供し得る。特に、実行すべき改良されたダイナミックレンジ変換を実現するのに十分な情報を提供しつつ、低い複雑性及び/又は低いオーバーヘッドを実現できる。また、このアプローチは、具体的にはダイナミックレンジ変換を例えば中範囲輝度の具体的な特徴に適合できる。例えば、これは、ダイナミックレンジ変換が、対象ディスプレイ及びエンドユーザディスプレイのガンマの差を考慮することを可能にする。
本発明の選択任意の特徴によれば、第1対象ディスプレイリファレンスは、第1対象ディスプレイ用の第1符号化画像を生成するのに用いられるトーンマッピングを表すトーンマッピング指標を含む。
これは、多くの場合において、実行されるべき改良されたダイナミックレンジ変換を可能にし得り、特にダイナミックレンジ変換が、コンテンツ作成サイドにおいて実行されるトーンマッピングの具体的な特徴を補償することを可能にする。
したがって、いくつかの場合において、画像処理デバイスは、符号化画像の最適化において対象としたディスプレイの特徴、及び特定のトーンマッピングの特徴の両方を考慮し得る。これは、画像を1つのダイナミックレンジから他のダイナミックレンジに変換する際に、例えば主観的且つ美術的なトーンマッピング決定を考慮することを可能にする。
本発明の任意選択の特徴によれば、画像信号は、ダイナミックレンジ変換制御データを含むデータフィールドを更に含み、ダイナミックレンジプロセッサは、ダイナミックレンジ変換制御データに応じてダイナミックレンジ変換を実行する。
これは、多くのシステムにおいて改良された性能及び/又は機能を提供し得る。特に、これはコンテンツプロバイダサイドが最終的な画像の制御をいくらか維持しながら、特定のダイナミックレンジディスプレイへのローカライズ及び対象化された適合を可能にする。
ダイナミックレンジ変換制御データは、実行されなければならない及び/若しくは適用されてもよいダイナミックレンジ変換の特徴を指定するデータ、並びに/又はダイナミックレンジ変換の推奨特徴を指定するデータを含んでもよい。
本発明の選択任意の特徴によれば、ダイナミックレンジ変換制御データは、異なるディスプレイ輝度レベルに対して異なるダイナミックレンジ変換パラメータを含む。
これは、多くの実施形態において改良された制御及び/又は適合を提供し得る。具体的には、これは、画像処理デバイス103が、出力画像の生成において対象とした特定のダイナミックレンジに適した制御データを選択及び適用することを可能にする。
本発明の選択任意の特徴によれば、ダイナミックレンジ変換制御データは異なるディスプレイ最大輝度レベルに対して異なるトーンマッピングパラメータを含み、ダイナミックレンジプロセッサは、異なるトーンマッピングパラメータ及び出力画像信号の最大輝度に応じて、ダイナミックレンジ変換のためのトーンマッピングパラメータを決定する。
これは、多くの実施形態において改良された制御及び又は適合を提供し得る。具体的には、これは、画像処理デバイス103が、出力画像の生成において対象とした特定のダイナミックレンジに適した制御データを選択及び適用することを可能にする。トーンマッピングパラメータは、具体的には、適用されなければならない、適用されてもよい、又は適用が推奨される、ダイナミックレンジのためのパラメータを与える。
本発明の選択任意の特徴によれば、ダイナミックレンジ変換制御データは、ダイナミックレンジ変換によって適用されなければならない変換パラメータのセットを定めるデータを含む。
これは、画像処理デバイスによってサポートされるディスプレイ上にレンダリングされる画像に関する制御を、コンテンツプロバイダサイドが維持することを可能にする。これは、異なるレンダリング状況間の均質性を保証し得る。このアプローチは、例えば、コンテンツプロバイダが、画像の美術的表現が、複数の異なるディスプレイ上にレンダリングされた場合でも、比較的不変に維持されることを保証できるようにする。
本発明の選択任意の特徴によれば、ダイナミックレンジ変換制御データは、ダイナミックレンジ変換によって適用されるべき変換関数の範囲を定めるデータを含む。
これは、多くの場合において、改良された動作及び改良されたユーザ体験を提供し得る。具体的には、多くの場合において、コンテンツプロバイダによる自身のコンテンツのレンダリングの制御を維持したいという願望と、エンドユーザによるコンテンツを自身の好みに合わせてカスタマイズしたいという願望との間の改良されたトレードオフを可能にする。
本発明の選択任意の特徴によれば、ダイナミックレンジ変換制御データは、異なる画像カテゴリに対して異なる変換制御データを含む。
これは、多くの場合において、改良された変換画像を提供し得る。具体的には、これは、ダイナミックレンジ変換が、異なる画像の個々の特徴に対して最適化されることを可能にする。例えば、メイン画像に対応する画像、グラフィックスに対応する画像、背景に対応する画像等に、異なるダイナミックレンジ変換を適用してもよい。
本発明の選択任意の特徴によれば、第1対象ディスプレイのダイナミックレンジの最大輝度は1000ニット以上である。
変換される画像は、HDR画像でもよい。ダイナミックレンジ変換は、かかるHDR画像を異なるダイナミックレンジを有する(1000以上のダイナミックレンジを有するディスプレイと関連付けられた)他のHDR画像に変換してもよい。したがって、1つのダイナミックレンジ用の1つのHDR画像を(より高い又はより低い白色点輝度を有し得る)他のダイナミックレンジ用の他のHDR画像に変換することによって、改良された画質を達成できる。
本発明の選択任意の特徴によれば、前記画像信号は、第2符号化画像及び第2対象ディスプレイリファレンスを含み、前記第2対象ディスプレイリファレンスは、前記第2符号化画像が符号化において対象とした第2対象ディスプレイのダイナミックレンジを示し、前記第2対象ディスプレイのダイナミックレンジは、前記第1対象ディスプレイのダイナミックレンジとは異なり、前記ダイナミックレンジプロセッサは、前記第2対象ディスプレイリファレンスに応じて前記第2符号化画像にダイナミックレンジ変換を適用する。
これは、多くの場合において、改良された出力品質を実現し得る。具体的には、関連付けられた対象ディスプレイの違いに応じて(及び典型的には対象ディスプレイのそれぞれがどの程度望しい出力画像のダイナミックレンジに関連するかに応じて)、第1符号化画像及び第2符号化画像に異なる変換を適用してもよい。
本発明の選択任意の特徴によれば、画像ダイナミックレンジプロセッサは、第1符号化画像及び第2符号化画像を組み合わせることによって出力画像を生成する。
これは、多くの実施形態及び場合において、改良された画質を提供する。いくつかの場合において、この組み合わせは、複数の画像のうちの1つを単純に選択することによって組み合わせが行われる選択組み合わせであり得る。
本発明の選択任意の特徴によれば、ディスプレイからデータ信号を受信するための受信機であって、前記データ信号は、前記ディスプレイのディスプレイダイナミックレンジ指標を含むダイナミックレンジ指標を含み、前記ディスプレイダイナミックレンジ指標は少なくとも1つの輝度仕様を含む、受信機をさらに含み、前記ダイナミックレンジプロセッサは、前記ディスプレイダイナミックレンジ指標に応じて前記第1符号化画像にダイナミックレンジ変換を適用する。
これは、多くの実施形態において、改良された画像レンダリングを実現し得る。
本発明の選択任意の特徴によれば、前記ダイナミックレンジプロセッサは、前記第1対象ディスプレイリファレンスに応じて、前記第1符号化画像を出力画像として生成するか、又は前記第1符号化画像の変換画像を出力画像として生成するかを選択する。
これは、多くの実施形態において改良された画像レンダリングを可能にし、且つ/又は計算負荷を低減し得る。例えば、エンドユーザディスプレイは、符号化画像が生成において対象としたダイナミックレンジに非常に近いダイナミックレンジを有する場合、受信画像がそのまま使用されると、レンダリング画像の改良された品質が典型的には達成できる。いくつかの実施形態において、ダイナミックレンジ変換は、ヌル動作(第1符号化画像をそのまま使用する)と、対象ディスプレイリファレンスがエンドユーザディスプレイと十分に異なる場合、既定且つ固定のダイナミックレンジ変換を適用することとの間で、単純に切り替えることができる。
本発明の選択任意の特徴によれば、ダイナミックレンジ変換はガマット変換を含む。
これは、多くの実施形態及び場合において、改良された出力画像が生成されることを可能にし得る。具体的には、これは、知覚される改良カラーレンダリングを可能にし得り、また、例えば画像領域の輝度の変化に由来する色認識における変換を補償し得る。いくつかの実施形態において、ダイナミックレンジ変換はガマット変換を含み得る。
本発明の選択任意の特徴によれば、画像処理デバイスは、画像信号の発信源にダイナミックレンジ制御データを送信するための制御データ送信機をさらに含む。
これは、発信源が、ダイナミックレンジ制御データに応じて画像信号を適合することを可能にし得る。ダイナミックレンジ制御データは、具体的には画像の好ましいダイナミックレンジの指標、及び/又はエンドユーザディスプレイのダイナミックレンジ(例えば、白色点輝度及び任意選択のEOTF又はガンマ関数)の指標を含み得る。
本発明の一側面によれば、符号化画像を受信するための受信機と、前記符号化画像、及び前記符号化画像が符号化において対象とした対象ディスプレイのダイナミックレンジを示す対象ディスプレイリファレンスを含む画像信号を生成するための生成器と、前記画像信号を送信するための送信機とを含む、画像信号符号化装置が提供される。
本発明の一側面によれば、画像信号を受信するステップであって、
前記画像信号は、少なくとも第1符号化画像及び第1対象ディスプレイリファレンスを含み、前記第1対象ディスプレイリファレンスは、前記第1符号化画像が符号化において対象とした第1対象ディスプレイのダイナミックレンジを示す、受信するステップと、
前記第1対象ディスプレイリファレンスに応じて、前記第1符号化画像にダイナミックレンジ変換を適用することによって出力画像を生成するステップと、
出力画像を含む出力画像信号を出力するステップと
を含む、画像処理方法が提供される。
本発明の一側面によれば、符号化画像を受信するステップと、前記符号化画像、及び前記符号化画像が符号化において対象とした対象ディスプレイのダイナミックレンジを示す対象ディスプレイリファレンスを生成するステップと、前記画像信号を送信するステップとを含む、画像信号を送信する方法が提供される。
本発明の一側面によれば、第1符号化画像及び第1対象ディスプレイリファレンスを少なくとも含む画像信号であって、前記第1対象ディスプレイリファレンスは、前記第1符号化画像が符号化において対象とした第1対象ディスプレイのダイナミックレンジを示す、画像信号が提供される。
本発明の上記及び他の側面、特徴及び利点は、下記の実施形態を参照して説明することによって明らかになるであろう。
本発明の実施形態を、あくまで例示的な図面を参照して説明する。
図1は、本発明のいくつかの実施形態に係る画像レンダリングシステムの要素の例を示す。 図2は、画像処理装置の要素の例を示す。 図3は、画像処理装置のためのマッピングの例を示す。 図4は、ディスプレイの電気光変換関数(EOTF)の例を示す。 図5は、Blu−ray(登録商標)のHDMV−2Dモードにおける表示プレーンのモデルの例を示す。 図6は、HDR画像及びLDR画像のためのダイナミックレンジ処理の例を示す。 図7は、画像処理装置のためのマッピングの例を示す。 図8は、図9及び図10とは異なるダイナミックレンジ変換を有する画像を同じディスプレイ上に表示した場合の例を示す。 図9は、図8及び図10とは異なるダイナミックレンジ変換を有する画像を同じディスプレイ上に表示した場合の例を示す。 図10は、図8及び図9とは異なるダイナミックレンジ変換を有する画像を同じディスプレイ上に表示した場合の例を示す。 図11は、輝度値と画像処理装置のために選択可能なマッピングとの間の関係の例を示す。 図12は、画像処理装置のためのマッピングの例を示す。 図13は、画像処理装置のためのマッピングの例を示す。 図14は、Blu−ray(登録商標)規格に従うグラフィックスストリームの構造を示す。 図15は、画像及び関連付けられたオーバーレイグラフィックス画像のためのダイナミックレンジ処理の例を示す。 図16は、画像及びグラフィックスのためのダイナミックレンジ処理の例を示す。 図17は、画像処理装置の要素の例を示す。 図18は、画像処理装置のためのマッピングの例を示す。 図19は、画像処理装置の要素の例を示す。 図20は、画像処理装置のためのマッピングの例を示す。 図21は、本発明のいくつかの実施形態に係るディスプレイの要素の例を示す。 図22は、画像処理装置の要素の例を示す。 図23は、符号化装置による、HDR画像を符号化する8ビット画像の生成を概略的に示す。
図1は、オーディオ・ビジュアル配信経路の例を示す。この例において、コンテンツプロバイダ装置101は、映画、テレビ番組等のオーディオ・ビジュアルコンテンツアイテムのためのオーディオ・ビジュアルコンテンツ信号を生成する。コンテンツプロバイダ装置101は、特に、オーディオ・ビジュアルコンテンツを適切な符号化フォーマット及び色表現に従って符号化できる。特に、コンテンツプロバイダ装置101は、オーディオ・ビジュアルコンテンツアイテムのビデオシーケンスの画像を、YCrCb等の適切な表現に従って符号化できる。コンテンツプロバイダ装置101は、コンテンツを製作及び放送する製作及び配信ハウスを表すと考えてもよい。
その後、オーディオ・ビジュアルコンテンツ信号は配信経路105を介して画像処理デバイス103に配信される。画像処理デバイス103は、例えば、パーソナルビデオレコーダ、Blu−ray(登録商標)プレーヤー、ネットワーク(例えばインターネット)ストリーミングデバイス、衛星又は地上テレビ受像機等、コンテンツアイテムの特定のコンシューマが有するセットトップボックスであり得る。
オーディオ・ビジュアルコンテンツは、コンテンツプロバイダ装置101によって符号化され、例えばパッケージメディア(媒体)又は通信メディアからなるメディアを介してコンテンツプロバイダ装置101から配信される。その後、コンテンツは、コンテンツを復号して再生する機能を有する画像処理デバイス103の形態を取るソースデバイスに到達する。
配信経路105はいかなる配信経路でもよく、如何なるメディアを介してもよいし、又は如何なる適切な通信基準を用いてもよいことを理解されたい。また、配信経路はリアルタイムでなくともよく、永久記憶装置又は一時記憶装置を含んでもよい。例えば、配信経路はインターネット、衛星、ケーブル又は地上波ブロードキャスト、携帯型若しくは固定通信ネットワーク等、又はDVD、Blu−ray(登録商標) Disc、若しくはメモリーカード等の物質的に配信されるメディア上の記憶装置を含み得る。
画像処理デバイス103は通信経路109を介してディスプレイ107に接続される。画像処理デバイス103は、オーディオビジュアルコンテンツアイテムを表す表示信号を生成する。このように、ソースデバイスは復号されたコンテンツを、デジタル信号を物質的な表現に変換するテレビ又は他のデバイスであり得るシンクデバイスに流す。
画像処理デバイス103は、データに例えば画像改良又は信号処理アルゴリズムを施すことができ、特に(処理された)オーディオビジュアル信号を復号及び再符号化することができる。再符号化は、特に受信信号とは異なる符号化又は表現フォーマットであり得る。
いくつかの実施形態において、図1のシステムはディスプレイ107にハイダイナミックレンジ(HDR)ビデオ情報を提供するよう構成され、他の実施形態又は状況においては、ディスプレイ107にローダイナミックレンジ(LDR)画像を提供するよう構成される。また、例えば改良された後方互換性を提供するために、いくつかの状況においては、画像が表示されるディスプレイに応じて、LDR画像及びHDR画像の両方を提供可能な場合がある。具体的には、システムはLDR画像及びHDR画像の両方に関する画像信号を通信/配信可能である。
従来のディスプレイは、典型的にはLDR表現を用いる。通常、このようなLDR表現は、指定原色に関連する三成分8ビット表現によって提供される。例えば、RGB色表現は、赤、緑、及び青の原色をそれぞれ参照する3つの8ビットサンプルによって提供され得る。他の表現は、1つの輝度成分及び2つの彩度(色度)成分を用いる(例えばYCrCb)。これらのLDR表現は、所与の明度又は輝度範囲に対応する。
HDRは、特に、HDRディスプレイ上に非常に明るい画像(又は画像領域)が適切に提示されることを可能にする。実際、HDRディスプレイ上に表示されるHDR画像は、LDRディスプレイ上に提示される対応するLDR画像が提供するより、はるかに明るい白色を提供する。実際、HDRディスプレイは、典型的にはLDRディスプレイより少なくとも4倍明るい白色を可能にする。輝度は、具体的には表示可能な最も暗い黒色に対して測定されてもよいし、所与の灰色又は黒色レベルに対して測定されてもよい。
LDR画像は、特に原色のセット及び/又は特定の白色点に関連する固定ビット解像度等の特定のディスプレイパラメータに対応し得る。例えば、与えられたRGB原色のセット、及び例えば500Cd/mの白色点に対して、8ビットが提供され得る。HDR画像は、これらの制限を超えてレンダリングされるべきデータを含む画像である。具体的には、輝度は白色点の4倍以上の明るさであってもよい(例えば、2000Cd/m)。
ハイダイナミックレンジピクセル値は、NTSC及びMPEG−2時代に標準化されたディスプレイ上に忠実に表示することができるレンジより(はるかに)大きい輝度コントラストレンジ(ピクセルセット内の最も明るい輝度/最も暗い輝度)を有する(典型的なRGB原色、最大駆動レベル[255,255,255]を有するD65白色、及び例えば基準輝度500ニット以下の場合)。通常、このような基準ディスプレイに対して、8ビットは約500ニット〜0.5ニット(コントラストレンジ1000:1以下)の全てのグレー値を視覚的に小さいステップで表示するのに十分である一方、HDR画像はより高いビットワード、例えば10ビットによって符号化される(より大きなウェル深度及びDAC、例えば14ビットを有するカメラによって撮影されてもよい)。具体的には、HDR画像は典型的には白色のシーンより高い(明るい画像オブジェクトの)ピクセル値を多く含む。特に、いくつかのピクセルは白色のシーンの2倍より明るい。この白色のシーンは、典型的にはNTSC/MPEG−2基準ディスプレイの白色と等しくされ得る。
HDR画像に用いられるビット数Xは、典型的にはLDR画像に用いられるビット数Y以上である(Xは、典型的には例えば10、12、又は14ビットであり(複数の色チャネルが用いられる場合、色チャネルごと)、Yは、例えば8又は10ビットであり得る)。より小さいレンジ内のピクセルに適応するためには、例えば圧縮スケーリング等の変換/マッピングが要求され得る。輝度差が、ある値から次の値まで不等距離で変化する場合(人間の視覚系のために要求されるわけではない)、典型的には、非線形変換が含まれてもよく、例えば対数符号化は、Xビットワードで線形符号化よりもはるかに大きい輝度レンジを(輝度として)符号化することができる。
LDR画像とHDR画像との間の違いは、単にLDR画像よりHDR画像において用いられるビット数が大きいというだけではない。HDR画像はLDR画像より広い輝度レンジをカバーし、通常はより高い最大輝度値、すなわち、より高い白色点を有する。実際、LDR画像が500ニット以下に対応する最大輝度(白色)点を有する一方、HDR画像は500ニットより高い、しばしば1000ニット以上、2000ニット又は場合によっては4000ニット以上に対応する最大輝度(白色)点を有する。したがって、HDR画像は単に高い粒度又は改良された量子化に対応する大きいビット数を用いるのではなく、実際の高い輝度レンジに対応する。したがって、最大選択可能輝度ピクセル値は、一般的にはLDR画像よりHDR画像において高い輝度/光出力に対応する。実際、HDR画像及びLDR画像は同じビット数を用いつつ、HDR画像の値は、LDR画像の値より大きい輝度ダイナミックレンジ/明るい最大輝度を示す(よって、HDR画像は輝度スケール上でより粗い量子化によって表現される)。
理想的には、コンテンツプロバイダ装置101によって提供されるコンテンツは、ディスプレイ107の輝度範囲と合致する輝度範囲を参照して撮影及び符号化される。しかし、実際のシステムにおいてコンテンツは多様な特徴を有する多様なディスプレイ上にレンダリングされてもよく、且つ/又は特定のディスプレイ107の輝度範囲とは異なる輝度範囲に基づく基準に従って符号化され得る。また、コンテンツは元から撮影デバイス又はディスプレイの輝度範囲にちょうど合うアプローチによって撮影されなくてもよい。
したがって、コンテンツシステムにおけるHDRのサポートは、典型的には異なる輝度範囲間のいくらかの変換を要求する。例えば、LDR画像が受信され、HDRディスプレイ上に提示されるべき場合、LDRからHDRへの変換が実行されるべきである。HDR画像が受信され、LDRディスプレイ上に提示されるべき場合、HDRからLDRへの変換が実行されるべきである。かかる変換は典型的には比較的複雑であり、輝度範囲の単純なスケーリングは不自然に見える画像を生じさせるため、かかるスケーリングと単純に等しいわけではない。典型的にはより複雑な変換が用いられ、これらの変換は通常、トーンマッピングという用語で呼ばれる。
原則的に、このような輝度変換はコンテンツ配信システムの3つの異なる場所で実行され得る。
1つのオプションは、輝度変換をコンテンツプロバイダ装置101で行うことである。典型的には、これは複数のディスプレイに同じ輝度変換操作を配信することを可能にし、多数のユーザに単一の変換を用いることを可能にする。これは、例えば熟練されたトーンマッピングの専門家による複雑な手動のリソース要求トーンマッピングの実行を可能にし、正当化する。実際、これは与えられた輝度範囲に対して主観的に最適化された画像を提供することができ、しばしば美術的トーンマッピングと呼ばれる。しかし、このようなアプローチは非常にリソース要求的であり、多数のディスプレイへの適用については実現可能ではない。また、各サポート輝度範囲のために別々の画像ストリームが必要であり、結果として非常に高い通信リソースが必要になり、これは多くのシステムにおいて非実践的である。
他のオプションは、輝度変換を画像処理デバイス103内で実行することである。しかし、一般のユーザは輝度変換に精通しておらず、要求される労力のため手動による適合を非実践的であるので(特にビデオクリップ、映画等の動画において)、変換は好ましくは自動である。しかし、このような変換では慣例的に最適な画像を提供できない。特に、最適変換は特定のコンテンツのタイプ、画像の意図された特徴に依存する(例えば、暗く不吉なシーン、及び夜間のシーンを示すために単に暗くされたシーンに対しては、異なる変換が適当であり得る)。また、コンテンツ発信者はこのような自動変換の潜在的な影響を憂慮し、それぞれのシナリオにおいてコンテンツが如何に提示されるかの制御を失いたくないと思うかもしれない。また、最適な変換は、典型的にはディスプレイ107の正確な特徴に依存し、仮想の基準ディスプレイに基づく変換は、典型的には準最適な変換をもたらす。
変換は、場合によってはディスプレイ107内で実行されてもよい。
図1のシステムにおいて、画像処理デバイス103は、ダイナミックレンジを拡大するために、コンテンツ処理デバイス103から受信された画像(又はビデオシーケンス等の画像セット)に輝度ダイナミックレンジ変換を実行する機能を有する。具体的には、画像処理デバイス103はコンテンツプロバイダ装置101から画像を受信し、画像を処理してより高いダイナミックレンジ画像を生成する。具体的には、受信画像は、ダイナミックレンジを拡大するために輝度ダイナミックレンジ変換を適用することによってHDR画像に変換されるLDR画像であってもよい。変換された画像は、その後HDRディスプレイであるディスプレイ107に出力することができ、これによって元の受信されたLDR画像がレンダリングされるHDR画像に変換される。ダイナミックレンジ変換は、1つのダイナミックレンジに関連付けられた入力画像の(少なくとも一部の)輝度値を、別のダイナミックレンジに関連付けられた出力画像の(少なくとも一部の)輝度値にマッピングし得る。
他の場合において、画像処理デバイス103は、コンテンツプロバイダ装置101から画像を受信して処理し、より低いダイナミックレンジ画像を生成し得る。具体的には、受信された画像は、ダイナミックレンジを下げるための輝度ダイナミックレンジ変換を適用することによってLDR画像に変換されるHDR画像であり得る。変換された画像はその後、LDRディスプレイであるディスプレイ107に出力することができ、結果として、元の受信されたHDR画像はレンダリングされるLDR画像に変換される。
図1のシステムにおいて、ダイナミックレンジ変換はコンテンツプロバイダ装置101及び/又はディスプレイ107から受信される情報に応じて適合される。したがって、システムにおいて、ダイナミックレンジ変換は単に画像処理デバイス103内でローカルに実行される動作ではなく、コンテンツプロバイダ装置101及び/又はディスプレイ107からの特徴、特性、又は情報にも依存する。
まず、ダイナミックレンジ変換がコンテンツプロバイダ装置101から画像処理デバイス103に供給される情報に基づく場合を参照して、図1のシステムが説明される。
図2は、図1の画像処理デバイス103の要素の例を示す。
画像処理デバイス103は、コンテンツプロバイダ装置101から画像信号を受信する受信機201を有する。画像信号は1つ以上の符号化された画像を含む。多くの場合において、画像信号は、符号化されたビデオシーケンス、すなわち、画像のシーケンスを含むビデオ信号であり得る。例えばJPEG画像コーディング、MPEGビデオコーディング等を含め、任意の適切な画像符号化を用いてもよいことを理解されたい。符号化された画像は、ピクセル値によって表され、画像の各ピクセルのピクセル値は、ピクセル(又は個別の色チャネルサブピクセル)の対応する光出力を表す。ピクセル値は、例えばRGB、YUV等、任意の適切な色表現に基づいて提供することができる。
画像信号はさらに、第1符号化画像の符号化において対象とした対象ディスプレイのダイナミックレンジを示す対象ディスプレイリファレンスを有する。したがって、対象ディスプレイリファレンスは、受信された画像がその作成において対象としたダイナミックレンジを反映する符号化画像のためのリファレンスを提供する。対象ディスプレイリファレンスは、コンテンツプロバイダ装置101におけるトーンマッピングが意図して設計された輝度、特に最適化された輝度を示し得る。
このように、コンテンツプロバイダ装置101は、符号化された画像そのものだけではなく、生成された符号化信号が対象とするディスプレイのダイナミックレンジを表す対象ディスプレイリファレンスをも含む画像信号を生成するよう構成される。コンテンツプロバイダ装置101は、具体的には内部ソース又は外部ソースから符号化画像を受信してもよい。例えば、画像は、符号化された画像を特定のディスプレイのために最適化する手動のトーングレーディングの結果として提供されてもよい。また、コンテンツプロバイダ装置101は、最適化のために用いられた特定のディスプレイの情報を、例えばディスプレイからコンテンツプロバイダ装置101に自動的に通信されるディスプレイ情報を介して取得できる(例えば、コンテンツプロバイダ装置101は、手動トーンマッピングをサポートするために必要な機能を含んでもよく、またこのトーンマッピングのために用いられる対象/リファレンスディスプレイに接続されてもよい)。他の例として、符号化されたトーンマッピングされた画像は、関連ディスプレイの特性が記憶されたメディア上に受信されてもよい。他の例として、コンテンツプロバイダ装置101は、手動のユーザ入力によって対象ディスプレイの特徴の情報を受信してもよい。
コンテンツプロバイダ装置101は、このような情報を受けて、符号化画像、及びトーンマッピングのために用いられた対象ディスプレイのダイナミックレンジを示す対象ディスプレイリファレンスの両方を含む画像信号を生成する。例えば、コンテンツプロバイダ装置101による画像信号は、白色点輝度の認識情報に対応するデータ値、及び任意で対象ディスプレイのそれに対応する電気光変換関数を含んでもよい。
画像処理デバイス103は、画像がレンダリングされる際の出力輝度のより広い範囲に対応するより高いダイナミックレンジを有する出力画像を生成するために、受信された符号化画像にダイナミックレンジ変換を適用するダイナミックレンジプロセッサ203をさらに有する。具体的には、入力符号化画像は、最大輝度白色点500ニットを有するLDRディスプレイのために符号化された画像でもよく、これが、最大輝度白色点が例えば1000又は2000ニットであるHDR出力に変換されてもよい。典型的には、ダイナミックレンジ変換は各値を表すために用いられるビット数も増加させ得るが、これは必須ではなく、いくつかの実施形態においては出力画像と入力画像で同じビット数(又は、出力画像で入力画像より少ないビット数)を用いても良いことを理解されたい。他の例として、入力符号化画像は最大白色点輝度2000ニットのHDRディスプレイのために符号化された画像でもよく、これが最大白色点輝度500ニットのLDR出力画像に変換されてもよい。このようなダイナミックレンジ減少変換は、ピクセル値のために用いられるビット数の減少をも含み得る。
ダイナミックレンジ変換は対象ディスプレイリファレンスに応じて実行されるため、望ましい輝度範囲だけでなく、受信された画像が符号化において対象とした輝度範囲をも考慮に入れることができる。例えば、システムは、ダイナミックレンジ変換を、1000ニットの出力画像を生成するための変換が、入力画像が300ニット画像用に生成されたか又は500ニット画像用に生成されたかに応じて異なるように適合できる。これは、著しく向上された出力画像を提供し得る。
実際、いくつかの実施形態において、入力画像は自身がHDR画像、例えば1000ニット画像であり得る。このような画像の2000ニット画像及び5000ニット画像への最適な変換は典型的には異なり、対象ディスプレイリファレンスの提供は、画像処理デバイス103がダイナミックレンジ変換をその特定の状況のために最適化することを可能にし、これによって特定のディスプレイ特徴のために著しく改良された画像を提供する。ディスプレイが500ニットディスプレイである場合、ダイナミックレンジ変換はダイナミックレンジ拡張ではなく圧縮を実行すべきである。
これらのアプローチは、例えば将来のテレビシステムにおいてますます認められる、不均質なコンテンツ配信システムにおいて特に有利であり得る。実際に、HDR LCD/LEDテレビの(ピーク)輝度は現在急速に上昇しており、近い将来、幅広い(ピーク)輝度を有するディスプレイが市場に共存することが予測される。鮮やかな画像はテレビ画面上で良く映り、鮮やかなテレビは店頭で良く売れる。一方、ノートブックパソコン、タブレット、及びスマートフォンにおける「ローエンド(低価格)」ディスプレイも広く普及してきており、テレビコンテンツをレンダリングするために用いられている。
ディスプレイの輝度(及び、入力ピクセル(色)駆動値から、視聴者に特定の心理視覚的印象を与える光量値への変換を特定する電気光変換関数)はコンテンツ生成側ではわからない(また、一般的にはディスプレイはコンテンツが対象とした/グレーディングされた基準モニタとは異なる)ため、ディスプレイ上に最適な画質を提供することは困難である。また、過去にもディスプレイの輝度に多様性は存在したが、この多様性は比較的程度が小さく、既知の固定の輝度を仮定したとしても大きな品質低下は起こらなかった(また、多くの場合、例えばユーザが手動で画面の輝度及び/又はコントラストを設定することによって補正できた)。
しかし、ディスプレイの種類(スマートフォン、タブレット、ラップトップ、PCモニタ、ブラウン管ディスプレイ、従来の液晶テレビディスプレイ、及び明るいHDRディスプレイ)の著しい増加の結果、レンダリングのために使用されるディスプレイの特徴(特に輝度及びコントラスト)は、非常に多様である。例えば、最先端のハイエンドディスプレイシステムのコントラスト及びピーク輝度は上昇を続けており、ピーク輝度約5000cd/m、コントラスト比5〜6桁の新しいプロトタイプディスプレイが開発されている。一方で、スマートフォンやタブレット等に使用されている携帯型ディスプレイは普及を続けているが、比較的低い性能特徴を有する。
上記のように、映画等のビデオは、所望のレンダリング画像を提供するようにコンテンツ作成側で処理される。例えば、映画が一般配信のために(例えば、DVD又はBlu−ray(登録商標)によって)配給されるとき、プロデューサ/スタジオは典型的には画像を特定のディスプレイ上での最適な映りのために適合及びカスタマイズする。このような処理は、通常、カラーグレーディング及びトーンマッピングと呼ばれる。トーンマッピングは、入力ピクセルの輝度値の出力ピクセルの輝度値への非線形マッピングと考えられる。トーンマッピングは、ビデオをディスプレイの特徴、視聴条件、及び主観的好みに合わせるために実行される。ローカルトーンマッピングの場合、処理は画像内のピクセルの位置によって異なる。グローバルトーンマッピングの場合、全てのピクセルに同じ処理が適用される。
例えば、コンテンツを一般コンシューマ配信にとって適切になるよう変換する場合、通常、トーンマッピングは標準LDRディスプレイ上で望ましい出力を提供するよう実行される。これは、カラーグレーディングの専門家によって手動で行われてもよく、多数の画質特徴がバランシングされ、プロットのために望ましい「見かけ」がつくられる。これは、局部的及び局所的なコントラストのバランシング、場合によっては意図的なピクセルのクリッピングをも含んでもよい。このように、典型的には、この段階におけるトーンマッピングは単純な自動変換ではなく、手動且つ主観的で、しばしば美術的な変換である。
コンテンツがLDR対象ディスプレイではなくHDR対象ディスプレイのためにグレーディングされた場合、トーンマッピングの結果は典型的には大きく異なる。したがって、LDRディスプレイ用に符号化されたビデオコンテンツを単純にHDRディスプレイ上にレンダリングする場合、写される画像は最適画像から大きく異なる。同様に、HDR最適画像が単純にLDRディスプレイ上にレンダリングされる場合、知覚される画質が大きく損なわれるおそれがある。
図1のシステムにおいて、この問題は、画像処理デバイス103内で実行され、好ましくはコンテンツプロバイダ装置101及びディスプレイ107の両方から受信される情報に基づくダイナミックレンジ変換によって解決される。このようにすることで、ダイナミックレンジ変換(特に、トーンマッピングアルゴリズム)は、コンテンツプロバイダ装置101内で実行されたトーンマッピングの特徴を考慮することができ、またディスプレイ107の特定の輝度範囲に適合される。特に、画像処理デバイス103におけるトーンマッピングを、コンテンツ生成サイドのトーンマッピングが対象とした対象ディスプレイに応じて行うことができる。
コンテンツプロバイダ装置101は、画像処理デバイス103に対象ディスプレイリファレンスを提供する(符号化画像とは別々に又は符号化画像と一体的に、すなわち、画像信号は2つの別々のデータ情報から構成されてもよい)。対象ディスプレイリファレンスは、具体的には対象ディスプレイの白色点輝度を含んでもよいし、又は白色点輝度であってもよい。
例えば、あまり複雑でないシステムにおいて、コンテンツプロバイダ装置101は、符号化された画像(ビデオ)ごとに単純に対象ディスプレイの白色点輝度の指標を送信してもよい。例えば、対象ディスプレイにおいて利用可能なニット数を示すデータを伝達してもよい。この場合、ダイナミックレンジ変換はニット数に応じて変換を適合する。例えば、画像処理デバイス103が、2000ニットディスプレイの出力画像を生成するためにダイナミックレンジ変換を行う場合、画像処理デバイス103において行われるダイナミックレンジ変換を最適化するために、入力画像が500ニットディスプレイのためにトーンマッピングされたか、又は1000ニットディスプレイのためにトーンマッピングされたかという知識を用いることができる。ダイナミックレンジ変換はいずれの場合においても非線形変換を適用することができるが、この非線形変換は2つの場合のために異なる特徴を有してもよい、すなわち、コンテンツ提供サイドにおけるトーンマッピングで用いられた対象ディスプレイの白色点に依存してもよい。
例えば、500ニット対象ディスプレイのためにトーンマッピングされた受信LDR画像ピクセルと、2000ニットエンドユーザディスプレイ用の出力HDR画像ピクセルとの間で、以下のマッピングを実行してもよい。
0−200ニット→0−200ニット
200−300ニット→200−600ニット
300−400ニット→600−1000ニット
400−500ニット→1000−2000ニット
ただし、1000ニット対象ディスプレイの場合には以下のマッピングを行ってもよい。
0−200ニット→0−200ニット
200−700ニット→200−1000ニット
700−1000ニット→1000−2000ニット
したがって、相対値(フルマッピングのパーセント)で見ると、上記2つの異なるマッピングは図3のように示すことができる。図3は、x軸上の入力画像の白色レベルのパーセントの、y軸上の出力画像の白色レベルのパーセントに対する関係を、500ニット対象ディスプレイ301及び1000ニット対象ディスプレイそれぞれについて示す。この例において、コンテンツ提供サイドで用いられた/仮定された対象リファレンスディスプレイに応じて、同じユーザディスプレイに2つの大きく異なる非線形トーンマッピングが適用される。
軸を交換することによって、2000ニット最適画像から500又は1000ニット最適画像へのマッピングに同じマッピングを使用できることが理解されるであろう(上記のマッピングの逆マッピングの適用に対応)。例えば、500ニット最適画像へのマッピングは、入力画像が1000、2000、又は4000ニット最適画像であるかに応じて適合され得ることが理解されるであろう。
いくつかの実施形態において、対象ディスプレイリファレンスは、代替的に又は付加的に、対象ディスプレイの電気光変換関数指標を含んでもよい。例えば、対象ディスプレイのガンマ指標が含まれてもよい。
ディスプレイの電気光変換関数(Electro−Optical Transfer Function(EOTF))は、ディスプレイの入力(駆動)輝度値(Y’)と出力輝度値(Y)との間の関係を示す。この変換関数は、ディスプレイの多数の特徴に依存する。また、輝度及びコントラスト等のユーザ設定もこの関数に大きな影響を及ぼす。図4は、8ビット(256レベル)入力値の場合のEOTFの典型的な例を示す。
対象ディスプレイのEOTFの伝達は、符号化画像又はビデオを生成するために用いられる対象又は基準ディスプレイの好適な特徴付けを提供する。この特徴付けは、画像処理デバイス103において、ダイナミックレンジ変換を、対象ディスプレイの特徴とエンドユーザディスプレイの特徴との間の違いを適合するために用いることができる。例えば、ダイナミックレンジ変換は、対象/基準ディスプレイのEOTFとエンドユーザディスプレイのEOTFとの間の比を逆転する補正を含んでもよい。
EOTFを特徴付ける方法は、多数存在することが理解されるであろう。1つの選択可能な方法は、EOTFのサンプル値のセットを提供することである。この場合、画像処理デバイス103は、単純な線形補間を用いてサンプル点間を補間できる。他の選択肢は、表示範囲の少なくとも一部にかけて、ディスプレイのグレースケール/コントラスト挙動のモデルを提供することである。他の例として、コンテンツプロバイダ装置101は、EOTFを特徴付ける特定の数学的関数を伝達してもよい。いくつかの場合において、対象ディスプレイのセットが、関連するモデル/関数のパラメータによって規定され、画像処理デバイス103内にローカルに記憶されてもよい。この場合、コンテンツプロバイダ装置101は、画像処理デバイス103に対象ディスプレイの識別コードのみを伝達してもよい。
他の例として、基礎的な数学的関数を規定しておいて、対象ディスプレイ指標が、既定の関数を特定の対象ディスプレイのEOTFを示すように適合するパラメータを含んでもよい。例えば、EOTFは従来のディスプレイで用いられているようにガンマ関数によって特徴付けられてもよく、対象ディスプレイ指標は、対象ディスプレイの具体的なガンマを提供してもよい。
多くのシステムにおいて、対象ディスプレイ指標は、対象ディスプレイの最大輝度及びガンマを含み得る。したがって、具体的には、EOTFの特徴付けは、2つの値、すなわちガンマ及び白色点/最大輝度によって提供されてもよい。以下の説明は、このような場合に関する。
また、以下の説明は、配信システムがBlu−ray(登録商標)規格に従う実施形態に関して行われる。Blu−ray(登録商標)は、光学ディスク技術に基づくオーディオ/ビデオ/データ配信フォーマットの一種である。BD−ROM(登録商標)は、Blu−ray(登録商標) Disc Read−only format(ブルーレイディスク読み出し専用フォーマット)の頭字語である。このフォーマットは、高精細度ビデオ(2D及び3D)及び高品質オーディオの配信において支配的に用いられている。
BD−ROM(登録商標)プレーヤーは2つの動作モード、HDMV及びBD−Jを有する。プレーヤーは、任意の時点においてHDMVモード又はBD−Jモードである。プロファイル5Blu−ray(登録商標)プレーヤーは、標準2Dビデオ/グラフィックスレンダリングに次ぐ3D立体ビデオ/グラフィックスレンダリングが可能である。例として、図5はHDMV−2Dモードにおける表示プレーンのモデルを示す。
図1のシステムの具体的な例として、画像信号はBDROM(登録商標)上に符号化されたビデオ信号でもよく、よって画像処理デバイス103は具体的にはBlu−ray(登録商標)プレーヤーでもよい。符号化ビデオはディスク上のプライマリビデオコンテンツでもよいし、任意でセカンダリビデオコンテンツでもよい。プライマリビデオは、典型的には2Dの実際の動画であり、場合によっては3D立体フォーマットの動画である。
BDROM(登録商標)システムにおいて最適な画質を達成するために、図1のシステムはBDROM(登録商標)の仕様を増強して、対象ディスプレイパラメータの送信を可能にする。このデータはエンドユーザディスプレイの仮定又は実際の情報とともに、BDROM(登録商標)がダイナミックレンジ変換を実行する上で用いられる。具体的には、BDROM(登録商標)プレーヤー(画像処理デバイス103)は、対象ディスプレイ及び/又はエンドユーザディスプレイの特徴に応じて、追加のビデオトーンマッピング又は他の処理を行ってもよい。
対象ディスプレイのパラメータに関する情報を送信する1つのオプションは、ディスク上のBDROM(登録商標)にこれらのパラメータ値を示すデータを組み込むことである。このために、プレイリストファイル(xxxxx.mpls)内の拡張データ構造を用いることができる。この拡張データ構造は、特有且つ新しい識別情報を有する。互換性のないレガシーBDROM(登録商標)プレーヤーはこの新しいデータ構造を知らず、単純に無視する。これは、後方互換性を保証する。このようなTarget_Display_descriptor(対象ディスプレイ記述子)のシンタックス及びセマンティクスの実施例を以下に示す。
この例において、Abs_Max_Luminance(最大輝度の絶対値)は、以下の式に基づく対象ディスプレイの最大輝度の絶対値/白色点を示す、例えば0〜255の値である。
絶対最大輝度(cd/m)=Abs_Max_Luminance[bit0−4]x10Abs_Max_Luminance[bit5−7]
当然ながら、仮数又はべき指数のために他のビット量を用いてもよいことが理解されるであろう。
Gamma(ガンマ)は、以下の式に基づく対象ディスプレイのガンマを示す、例えば0〜255の値を有するパラメータである。
対象ディスプレイのEOTFのガンマ=ガンマ/25
したがって、この例において、BDROM(登録商標)によって画像処理デバイス103に対象ディスプレイリファレンスが供給され、対象ディスプレイリファレンスは、生成されたビデオ信号が生成において対象とした対象ディスプレイの最大輝度の絶対値及びガンマ値を含む。画像処理デバイス103は自動ダイナミックレンジ変換を実行する際にこの情報を使用し、ビデオ信号のダイナミックレンジを、より高い/より低い輝度のエンドユーザディスプレイのために拡大又は減少させる。
他の多様なダイナミックレンジ変換が選択可能であり、またこのような対象ディスプレイリファレンスに基づくダイナミックレンジ変換を適合する多様な方法を用いることができる。以下において、様々な例が提供されるが、他の実施形態においては他のアプローチを用いることもできることを理解されたい。
まず、与えられた元の画像のLDR画像及びHDR画像への最適マッピングの違いを図6に示す。図6は、LDRディスプレイ(図の下部)及びHDRディスプレイ(図の上部)に用いられ得る異なるトーンマッピングの例を示す。元の画像はLDR及びHDRで同じである。この画像のヒストグラムを図6の左側に示す。ほとんどのピクセルが低〜中範囲の輝度値を有することがわかる。また、ヒストグラムは高輝度値(例えば、車のヘッドライト又はフラッシュライト)において第2の小さなピークを示す。
この例において、トーンマッピングは以下の3つの連続処理工程によって表される。
クリッピング:低及び高範囲の輝度値を限定された個数の出力輝度値にマッピングする。
拡張:ダイナミックレンジを所望の輝度ダイナミックレンジに適合させる。
輝度:平均輝度レベルを最適輝度のために適合させる。
LDRの場合、輝度範囲はLDRディスプレイの輝度範囲にマッピングされる。元の画像のダイナミックレンジははるかに大きいので、ディスプレイの限定されたダイナミックレンジに適応するために、元の画像は大きくクリッピングされる。
HDRの場合(図の上部)、ディスプレイのダイナミックレンジの桁数がLDRディスプレイのそれより大きいので、クリッピングはそれほどされない。
図6は、各工程後のヒストグラム、並びにLDRディスプレイ及びHDRディスプレイ上に示される画像のヒストグラムを示す。特に、最も右側のヒストグラムは、HDRディスプレイ上に示されたLDRトーンマッピングされた画像、及びその反対を示す。前者の場合において、画像は明るすぎ、低及び高範囲の輝度値は過度に詳細を失ってしまう。後者の場合において、画像は暗すぎ、中範囲の輝度値は過度に詳細及びコントラストを失ってしまう。
したがって、LDR最適画像を単にHDRディスプレイ上に表示する(又はその反対)だけでは画質が著しく損なわれてしまうので、画像処理デバイス103は画質を向上させるダイナミックレンジ変換を実行してもよい。また、スタジオで行われる最適化は、最適化が対象とするディスプレイの特徴に強く依存するため、画像処理デバイス103によって行われる最適ダイナミックレンジ変換は、エンドユーザディスプレイのみに依存せず、基準ディスプレイにも依存する。したがって、画像処理デバイス103に供給される対象ディスプレイリファレンスは、画像処理デバイス103が、エンドユーザの仮定又は既知の特徴のみでなく、コンテンツプロバイダサイドで用いられる実際のディスプレイにも基づいて、望ましいダイナミックレンジ変換を行うことを可能にする。実際、対象ディスプレイリファレンスの供給は、画像処理デバイス103がスタジオサイドで実行されたトーンマッピングを部分的に又は完全に取り消すことを可能にすると考えてもよく、これによって、元の画像の特徴を推定することができる。この推定に基づいて、画像処理デバイス103は、エンドユーザHDRディスプレイの具体的なダイナミックレンジ特徴のために最適化された望ましいトーンマッピングを適用することができる。
画像処理デバイス103は、典型的には具体的な逆トーンマッピングを実行して元の信号を再生成し、特定のユーザディスプレイに適したトーンマッピングを実行しようとしないことを理解されたい。実際、典型的には、ダイナミックレンジ変換はこのような逆トーンマッピングを実行するのに十分な情報を提供せず、コンテンツプロバイダによって実行されるトーンマッピングは、しばしば部分的に不可逆的である。しかし、画像処理デバイス103は、受信画像をダイナミックレンジ変換によって適合し、元の画像を生成する逆トーンマッピングの、より理論的な操作の近似(場合によっては非常に粗い)を提供し、続いて元の画像から特定の望ましいダイナミックレンジへの最適トーンマッピングの提供を試みるダイナミックレンジ変換を実行してもよい。したがって、画像処理デバイス103は、例えばダイナミックレンジ変換の入力輝度値から適切な変換の出力輝度値への変換に単純なマッピングを単純に適用してもよい。しかし、このマッピングは所与のエンドユーザディスプレイのための元の画像の望ましいトーンマッピングのみを反映するのではなく、コンテンツプロバイダ装置101で既に実行された実際のトーンマッピングにも依存する。したがって、処理画像デバイス103は、適用されるダイナミックレンジ変換が既に実行されたトーンマッピングを考慮し、そのトーンマッピングに適合するよう、ダイナミックレンジ変換を使用し得る。
例として、画像処理デバイス103は、既定の最大輝度(例えば4000ニット)を有するHDR画像上に表示するための出力画像を提供するよう構成されてもよい。受信画像/ビデオは、500ニットのLDRディスプレイ用にトーンマッピングされていてもよい。したがって、このトーンマッピングは画像を所与の最大輝度及びガンマのために最適化した。具体的な例として、ガンマ関数は図7の曲線701でもよく、500ニットディスプレイ上に提示された場合の画像は図8のようでもよい。
この画像が例えば4000ニットのHDRディスプレイ上に提示される場合、暗い領域の光出力はそれほど変化せず、明るい領域の光出力が大きく増加されることがしばしば望ましい。したがって、(線形の)輝度値と実際の駆動値との間で、大きく異なる関係が求められる。具体的には、図7のマッピング曲線703が用いられた場合、すなわち、コンテンツサイドのトーンマッピングに、より高いガンマが適用された場合、大きく改良された画像が生成される。しかし、この高いマッピングは、500ニットディスプレイ上では図9に示すように過度に暗く見える画像を生み出す。
このシステムにおいて、画像処理デバイス103はコンテンツサイドの対象ディスプレイのガンマ値を知らされ、これにより曲線701を導き出すことができる。また、望ましい曲線703は出力画像が対象とする表示ダイナミックレンジ(ディスプレイ107から画像処理デバイス103に供給、又は仮定/既定され得る)に依存するため、望ましい曲線703を知ることができる。したがって、画像処理デバイス103は、曲線701から曲線703への変換に対応して、各ピクセル輝度値を変換することができる。このようにすることで、画像処理デバイス103はコンテンツプロバイダ装置101から供給される対象ディスプレイリファレンスを使用し、生成出力信号をLDRディスプレイに適したものからHDRディスプレイに適したものに変換するダイナミックレンジ変換を適用できる。
ダイナミックレンジを減少させるダイナミックレンジ変換を実行する場合にも同じ考察が適用できることを理解されたい。例えば、受信コンテンツが携帯電話のディスプレイ等の低品質且つ低輝度のディスプレイ上で表示される場合、マッピング曲線の好ましいガンマは図7の曲線705によって示され得る、すなわち、好ましいガンマより低いガンマであり得る。通常の500ニットLDR上に提示される場合、図10に示されるように、対応する画像は過度に明るくそして過度に低いコントラストを有するように映り、この状況はHDRディスプレイの場合はより悪化する。
したがって、画像処理デバイス103がこのような低輝度ディスプレイのための画像を生成している場合、画像処理デバイス103は、曲線701と曲線705との間の差の分輝度値を調整することによってダイナミックレンジを減少させるダイナミックレンジ変換を実行してもよい。
他の例として、コンテンツプロバイダ装置101が低輝度/ダイナミックレンジディスプレイのための画像(よって、曲線705に基づいて符号化された画像)を提供する場合、画像処理デバイス103は、供給されたこのガンマの知識を用いて、曲線705と曲線701との間の差を適合することによって受信された値を500ニットディスプレイ(4000ニットディスプレイの場合、曲線705と曲線703との間の差を適合することによって)に適した値に変換する。
したがって、対象ディスプレイのために仮定された最大輝度/白色輝度及びガンマ値を示すダイナミックレンジ変換の提供は、画像処理デバイス103が、受信された画像を画像がレンダリングされるディスプレイの特定の輝度値に適したガンマ値に変換することを可能にする。
いくつかのシステムにおいて、対象ディスプレイリファレンスは、第1対象ディスプレイのための第1符号化ビデオストリームを生成するために用いられるトーンマッピングを表すトーンマッピング指標を含んでもよい。
いくつかのシステムにおいて、対象ディスプレイリファレンスは、コンテンツプロバイダサイドで実行された具体的なトーンマッピングの情報をいくらか直接提供してもよい。例えば、対象ディスプレイリファレンスは、生成されたLDR(又はHDR)が対象とする白色点輝度及びガンマを規定する情報、すなわち、実行されたトーンマッピングが対象としたディスプレイを含んでもよい。さらに、対象ディスプレイリファレンスは、例えばコンテンツプロバイダサイドで実行されたトーンマッピングにおいて失われたいくつかの情報を規定する特定の情報を提供してもよい。
例えば、図6の例において、画像処理デバイス103は、クリッピングされた画像に対応するLDRトーンマッピングされた画像を受信してもよい。画像処理デバイス103は、これを対象ディスプレイガンマ及び白色点に基づいて適切なダイナミックレンジ及び非線形関係にマッピングするダイナミックレンジ変換を適用してもよい。ただし、改良された適合を提供するために、LDR画像に用いられる厳しいクリッピングは、好ましくは程度の軽いクリッピングに変更されてもよい(いくつかの場合においてはクリッピングなし)。よって、コンテンツプロバイダ装置101は、コンテンツプロバイダによって実行されたLDR画像のクリッピングを特定する追加の情報を提供してもよく、これによってクリッピングを部分的に又は完全に取り消してもよい。例えば、ダイナミックレンジ変換はクリッピングされた範囲を定めてもよく、画像処理デバイス103はこれに応じて、適切なアルゴリズム(例えば、クリッピングされた値の領域(例えば爆発)を特定し、この領域の中央に向かって増加する輝度を生成する)に従ってこの範囲にクリッピングされた値を分配してもよい。
ダイナミックレンジ変換は、コンテンツプロバイダサイドで実行された追加のトーンマッピングを定める情報を代替的に又は付加的に提供してもよい。例えば、動画又は他のビデオシーケンスのほとんどの画像に対して、比較的標準的なトーンマッピングが実行され得る。画像処理デバイス103は、ガンマ及び白色点輝度に基づいて、このようなトーンマッピングされた画像を、コンテンツプロバイダサイドの標準トーンマッピングを仮定するダイナミックレンジ変換を用いて、望ましい(より高い又は低い)ダイナミックレンジ画像に変換することができる。しかし、いくつかの画像については、コンテンツプロバイダが専用の且つ主観的なトーンマッピングを実行する可能性がある。例えば、カラーグレーディングの担当者はいくつかの画像のために、例えば張りつめたシチュエーションの暗い画像(例えばホラー映画)のための細かな階調又はカラーキャスト、又は幻想的なシーンにおける特定の効果等、特定の美術的な効果又は品質を望む場合がある。このトーンマッピングは、対象ディスプレイリファレンス内のデータによって特徴付けることができ、これにより、画像処理デバイス103がダイナミックレンジ変換を適用された特定のトーンマッピングに適合させることを可能にする。
したがって、具体的に、いくつかの場合において、対象ディスプレイの元の電気光学的挙動への固定された適合によって予測される画像と比べて画像が改良されるよう、コンテンツプロバイダサイドで追加の/改良されたトーンマッピングを実行して、特定の見かけを生成してもよい。コンテンツプロバイダ装置101によって供給されるデータは、基準ディスプレイに対して望ましい見かけを特定してもよく、これは画像処理デバイス103によって、全てのファクタを所与として、望ましい光学的挙動を実際に生成するために用いることができる(一方、入力信号における盲目的なコーディングは、ときとして反射周辺光を下回る結果を生じ得り、符号化されたコンテンツプロバイダサイドの挙動に応じて補正できなくなる場合がある)。
例として、対象ディスプレイのガンマが暗い値において低いことが知られている場合、このような(基準)ディスプレイに関しては、例えばホラーシーンの見かけを微調整することができる。例えば、画像に追加の輝度増加を行い、画像を暗く保ちつつ、少なくとも一部の物体の構造が視えるよう、画像を補正してもよい。
例として、基準対象のガンマ及び白色点輝度とともに、コンテンツ提供サイドのカラーグレーディング担当者は、所定の領域及び/又は画像の美術的な印象に関するいくつかの(追加の)情報を提供してもよい。例えば、所与のEOTFに対して、コンテンツプロバイダは、特定の領域が可視性の向上のためにより高い輝度を有することが望ましいこと、又は霧がかった様子等を提供するためにより低いコントラストを有することが望ましいことを示してもよい。したがって、(例えば、ガンマ及び白色点輝度によって表される)EOTFとともに、対象ディスプレイリファレンスは、局所的/部分的ディスプレイ輝度範囲の境界を示して、グレーレベルの好ましい配置に関するより正確な情報を提供するダイナミックレンジ変換データを提供してもよい。
いくつかの実施形態において、ダイナミックレンジプロセッサ(203)は、受信された符号化画像として出力画像を生成すること、及び第1符号化画像の変換された画像として出力画像を生成することのいずれかを、対象ディスプレイ基準に応じて選択し得る。
具体的に、対象ディスプレイリファレンスによって示される白色点輝度がエンドユーザディスプレイの白色点輝度に十分近い場合、ダイナミックレンジ変換は、受信された符号化画像に何も処理を実行しないこと、すなわち、入力画像を出力画像として単純に用いることを単純に含み得る。ただし、対象ディスプレイリファレンスが示す白色点輝度がエンドユーザディスプレイの白色点輝度とは異なる場合、ダイナミックレンジ変換は、受信画像のピクセルを出力画像のピクセルに適切にマッピングすることによって受信画像を変更し得る。このような場合、マッピングは対象ディスプレイリファレンスに応じて適合され得る。他の例において、1つ以上の既定のマッピングを用いてもよい。
例えば、画像処理デバイス103は、適切な出力画像を提供するよう決定された、白色点輝度レベルを2倍にする第1マッピング、及び、適切な出力画像を提供するよう決定された、白色点輝度レベルを1/2にする第2マッピングを有する。このような例において、画像処理デバイス103は、対象ディスプレイリファレンスの白色点輝度及びエンドユーザディスプレイの白色点に応じて、第1マッピング、第2マッピング、及び一致マッピングを選択し得る。具体的には、画像処理デバイス103は、対象ディスプレイリファレンスの白色点輝度とエンドユーザディスプレイの白色点輝度との間の比率に最も近い対応するマッピングを選択し得る。
例えば、入力画像が、500ニットディスプレイのために最適化されたことを示す対象ディスプレイリファレンスとともに受信され、エンドユーザディスプレイが1000ニットディスプレイである場合、画像処理デバイス103は第1マッピングを選択する。一方、対象ディスプレイリファレンスが入力画像が1000ニットディスプレイのために最適化されたことを示す場合、画像処理デバイス103は一致マッピングを選択する(すなわち、入力画像をそのまま使用する)。対象ディスプレイリファレンスが2000ニットディスプレイのために最適化されたことを示す場合、画像処理デバイス103は第2マッピングを選択する。
受信された対象ディスプレイの白色点輝度が中間値(間の値)の場合、画像処理デバイス103は、白色点輝度間の比率に最も近いマッピングを選択してもよいし、例えばマッピングの間を補間してもよい。
いくつかの実施形態において、ダイナミックレンジ変換はガマット変換を含み得る。したがって、いくつかの実施形態において、ダイナミックレンジプロセッサ203は、対象ディスプレイリファレンスに応じてレンダリングされる画像の彩度を変更し得る。例えば、受信されたHDR画像がLDRディスプレイ上にレンダリングされる場合、圧縮により、個々の画像オブジェクトの変化及び階調が乏しい淡々とした画像になる。このような損失は、ダイナミックレンジ変換によって彩度変化を増加させることによって補償され得る。例えば、明るく照らされたりんごを含む画像がHDRディスプレイ上でのレンダリングのために最適化されている場合、小さいダイナミックレンジを有するLDRディスプレイ上でレンダリングすると、りんごは目立たなくなり、より不明瞭でぼやけて写る。これは、ダイナミックレンジ変換によってりんごの色の飽和度を高めることによって補償され得る。他の例として、輝度変化の減少によりテクスチャの変化が知覚しづらくなることがあるが、これはテクスチャの彩度変化を増加させることによって補償できる。
いくつかのシステムにおいて、ビデオ信号はダイナミックレンジ変換制御データを含むデータフィールドを有し得り、ダイナミックレンジプロセッサ203は、この制御データに応じてダイナミックレンジ変換を適合し得る。これは、コンテンツ所有者/プロバイダが提供コンテンツのレンダリングへの少なくともいくらかの入力又は制御を維持するために用いられ得る。
制御データは、例えば、適用されなければならない、適用されてもよい、又は適用が推奨されるダイナミックレンジ変換の動作又はパラメータを規定し得る。また、制御データは、エンドユーザディスプレイごとに異なり得る。例えば、500ニットディスプレイのために1つのデータセット、1000ニットディスプレイのために他のデータセット、2000ニットディスプレイのために他のデータセット、そして4000ニットディスプレイのために他のデータセット等、複数の潜在的なエンドユーザディスプレイに対して個別の制御データを提供することができる。
例として、図11に示すように、コンテンツ製作者はエンドユーザディスプレイの特徴に応じてダイナミックレンジプロセッサ203によって実行されるべきトーンマッピングを特定し得る。この例において、制御データは、ディスプレイの最大輝度(x軸)の値及びディスプレイに入射する周囲光(よってディスプレイからの反射、y軸)の値に対応して3つの領域を特定し得る。
したがって、この例において、マッピング1は周囲光が少ない環境にある低輝度ディスプレイに用いられる。マッピング1は単純に一致マッピングでもよい、すなわち、受信LDR画像をそのまま使用してもよい。比較的暗い周辺環境(画面反射が少ない)にある高最大輝度(HDR)ディスプレイにはマッピング2を使用してもよい。マッピング2は、LDR画像の明るい輝度を高める一方、暗い部分の輝度を実質的に維持するマッピングを実行し得る。比較的明るい周辺環境(画面反射が多い)にある高最大輝度(HDR)ディスプレイにはマッピング3を使用してもよい。マッピング3は、LDR画像の明るい輝度を高めるだけでなく、暗い画像領域も明るくしてコントラストを上げる、より積極的なマッピングを実行してもよい。
いくつかの場合において、制御データは既定の(コンテンツプロバイダサイド及びレンダリングサイドの両方で標準化された又は知られた)マッピングに対してマッピングの境界を特定し得る。いくつかの場合において、制御データはさらに、ガンマ値を使用する又は特定の変換関数を特定することによって、それぞれのマッピングの要素を規定したり、マッピングを厳密に特定してもよい。
いくつかの実施形態において、ダイナミックレンジ変換制御データは、受信画像を異なるダイナミックレンジを有する画像に変換するために実行すべきダイナミックレンジ変換を直接且つ明確に特定し得る。例えば、制御データは、対象出力ディスプレイの白色点のある範囲に対して、入力画像値から出力画像値への直接マッピングを特定してもよい。マッピングは、ダイナミックレンジプロセッサ203による適切な変換を実現可能にする単純なパラメータとして提供されてもよいし、参照テーブル又は数学的関数等の詳細なデータとして提供されてもよい。
あまり複雑でない例として、ダイナミックレンジ変換は単純にLDR画像の入力値に区分線形関数を適用して改良されたHDR値を生成してもよい。実際、多くの場合において、図12に示すような2つの直線相関からなる単純なマッピングを用いることができる。このマッピングは、入力ピクセル値と出力ピクセル値との間の直接マッピングを示す(又は、いくつかの場合において、マッピングは(場合によっては連続的な)入力ピクセル輝度と出力ピクセル輝度との間のマッピングを反映し得る)。入力HDR画像から出力LDR画像へのマッピングにも同じマッピングを使用できることが理解されるであろう。
具体的には、LDRからHDRへのマッピングにおいて、このアプローチは、画像の暗領域を暗く維持する一方、拡大されたダイナミックレンジによって明るい領域の輝度を上げ、中範囲の見た目を改善してより生き生きとさせるダイナミックレンジ変換を提供する。HDRからLDRへのマッピングにおいては、このアプローチは、画像の暗領域を維持する一方、ディスプレイの低輝度範囲を反映すべく明領域を圧縮するダイナミックレンジ変換を提供する。
しかし、厳密な変換は、画像が生成において対象とした対象ディスプレイ、及び画像がレンダリングされるディスプレイに依存する。例えば、500ニットディスプレイ用の画像を1000ニットディスプレイ上にレンダリングするとき、比較的控えめな変換が求められ、明領域の拡大は比較的限定される。しかし、同じ画像が5000ニットディスプレイ上に表示されるとき、暗領域を明るくし過ぎることなく利用可能な輝度を最大限活用するために、はるかに激しい変換が求められる。
上記と同様に、マッピングは元の画像が対象とする対象ディスプレイに依存する。例えば、1000ニット用に最適化された入力画像が2000ニットディスプレイ上にレンダリングされるとき、比較的控えめな変換が求められ、明領域の拡張は比較的限定される。しかし、500ニットディスプレイ用に最適化された画像が2000ニットディスプレイ上に表示されるとき、暗領域を明るくし過ぎることなく利用可能な輝度を最大限活用するために、はるかに激しい変換が求められる。図13は、2000ニットLDRディスプレイ(最大値255は2000ニットに対応)上に表示されるための1000ニット入力画像(曲線1301、最大値255は1000ニットに対応)及び500ニット入力画像(曲線1303、最大値255は500ニットに対応)に対して、どのように2つの異なるマッピングを用いることができるかを示す。
このような単純な関係の利点は、望ましいトーンマッピングを非常に小さなオーバーヘッドで伝達できることである。実際、制御データは曲線の屈曲点、すなわち、2つの直線区間の遷移点を特定し得る。したがって、単純な2成分データ値によって、画像処理デバイス103が異なるディスプレイに実行すべき望ましいトーンマッピングを特定し得る。画像処理デバイス103は、所与の値の間を補間することによって、他の最大輝度値に対して適切な値を決定できる。
いくつかの実施形態において、例えばより多くの点を設けて、区分線形ではあるが、より多くの直線区間を有する曲線を規定してもよい。これは、より正確なトーンマッピングを可能にし、オーバーヘッドを比較的小さく抑えつつ、生成される画像の品質を向上させる。
多くの実施形態において、制御データは実行されるべき特定のトーンマッピングを特定する代わりに、画像処理デバイス103によってダイナミックレンジ変換/トーンマッピングが自由に適合できる範囲の境界を定めるデータを提供してもよい。
例えば、図12及び図13の曲線の特定の遷移点を特定する代わりに、制御データは、遷移点の範囲を規定してもよい(場合によっては、異なる最大輝度レベルに対して異なる範囲が規定される)。したがって、画像処理デバイス103は、ダイナミックレンジ変換が例えば特定のユーザの好みを考慮したディスプレイの好ましい遷移を提供するよう、ダイナミックレンジ変換の望ましいパラメータを個別に決定できる。しかし、同時に、コンテンツプロバイダはこの自由が許容可能な範囲に制限されることを保証でき、これによって、コンテンツプロバイダはコンテンツがどのようにレンダリングされるかについていくらかの制御を維持できる。
したがって、ダイナミックレンジ変換制御データは、ダイナミックレンジプロセッサ203によって実行されるダイナミックレンジ変換によって適用されるべき変換パラメータを規定するデータを含んでもよいし、又は、変換パラメータの範囲を規定するデータを含んでもよい。制御データは、このような情報をある最大輝度レベルの範囲に対して提供してもよく、異なるエンドユーザディスプレイに対してダイナミックレンジ変換を適合できる。また、最大輝度レベルが制御データ内に明確に含まれていない場合、利用可能なデータ値から、例えば補間によって、適切なデータ値を生成してもよい。例えば、2つの直線区間の間の屈曲点が2000ニットエンドユーザディスプレイ及び4000ニットエンドユーザディスプレイについて示されている場合、3000ニットディスプレイのための適切な値は、単純な補間によって求めることができる(例えば、この特定の例においては単純な平均によって)。
ダイナミック変換、及び、ダイナミック変換を付加的な制御データによってコンテンツプロバイダサイドからとのように制限、適合、及び制御するかに関しては、ともに、個別の場合の好み及び要求に応じて、異なるシステム及び多様なアプローチを取り得ることが理解されるであろう。
実際、コンテンツプロバイダの好み(選択)に応じたトーンマッピングを生成するために、制御データ内に多様なコマンド又はパラメータ値を提供することができる。
例えば、あまり複雑でないシステムにおいて、単純なダイナミック変換を適用してもよく、コンテンツプロバイダ装置101は、対象ディスプレイに対して単純に白レベル及び黒レベルを設けて、ダイナミックレンジプロセッサ203はこれを使用して適用するトーンマッピングを決定してもよい。いくつかのシステムにおいて、入力画像の少なくとも1つの範囲をマッピングするために、トーンマッピング関数(ガンマ等)を義務的に提供してもよい。例えば、制御データは暗及び/又は中範囲は所与のマッピングに従ってレンダリングしなければならないと指定する一方、明範囲は画像処理デバイス103によって自由にマッピング可能にしてもよい。
いくつかの場合において、制御データは単純に(例えば中範囲に)適用可能な適切なマッピングの提案を提供してもよい。このような場合、コンテンツプロバイダは、画像処理デバイス103が、所与のHDRディスプレイ上で高画質を提供すると(例えば、コンテンツプロバイダによる手動最適化によって)判断された提案ダイナミックレンジ変換パラメータを提供することを補助できる。画像処理デバイス103はこれを好適に用いることができるが、例えば個別のユーザの好みに適応させるために、自由にマッピングを変更してもよい。
多くの場合において、マッピングは少なくとも部分的に制御データに基づいて実行され、これは、ガンママッピング、S字曲線、個別の範囲ごとの部分的な指定によって定められる複合マッピング等、比較的複雑でない関数関係を示す。しかし、当然ながらいくつかの場合においては、より複雑なマッピングが用いられてもよい。
また、ダイナミックレンジ変換は、値を表すために用いられるビット数の増加又は減少をしばしば含み得ることを理解されたい。例えば、8ビット画像が12又は14ビット画像に変換され得る。このような場合、コンテンツプロバイダ装置101からの制御データは、量子化変更とは無関係に提供され得る。例えば、8ビットから8ビットへの共符号化トーンマッピング(グレーサブ分配のための「形状」)がコンテンツプロバイダ装置101によって定められてもよく、画像処理デバイス103は、より大きなビット数への変換を考慮に入れて、このマッピングを特定のディスプレイ白色輝度に対して調整してもよい。
他の実施形態又は場合において、ダイナミックレンジ変換は値を表すために使用されるビット数の減少を含み得る。例えば、12ビット画像が8ビット画像に変換されてもよい。このようなケースは、ダイナミックレンジ変換によってダイナミックレンジが縮小される場合、例えば8ビット入力値LDRディスプレイ上にレンダリングされる12ビットHDR画像を変換する場合に起こり得る。
上述のように、制御データは義務的な又は任意の制御データを提供し得る。実際、受信されるデータは、提供されたトーンマッピングパラメータが義務か、許容か、又は提案かを示す1つ以上のフィールドを含んでもよい。
例えば、提案トーンマッピング関数を、そこからどの程度の逸脱(ずれ)が許容されるかを示す指標とともに提供してもよい。この場合、標準的な構成の画像処理デバイス103は提案されたマッピングを自動的に適用し得る。ただし、変換は、例えばユーザの個人的な好みを反映するよう変更されてもよい。例えば、画像の暗領域がコンテンツプロバイダが理想的と考えるより明るくレンダリングされるように、ユーザ入力によって画像処理デバイス103の設定を変更してもよい。例えば、ユーザは単純に輝度を上昇させるボタンを押してもよく、これに応じてトーンマッピングが変更されてもよい(例えば、図12及び図13の曲線の低い方の直線区間が上方に動かされる)。ユーザは、このようにしてトーンマッピングを微調整できる。ただし、コンテンツプロバイダにとってどの程度の微調整が許容されるのかが制御データ内に含まれてもよく、これにより、コンテンツプロバイダがまだ提供画像の完全性を保っていると考えられる出力画像を生成するよう、ダイナミックレンジ変換を制限できる。また、制御データは、ユーザの干渉による効果を特定してもよく、例えば、ユーザがボタンを1回押すことによって変化する輝度を規定又は限定してもよい。
したがって、このダイナミックレンジ変換は、入力画像が生成において対象としたディスプレイのディスプレイ特徴を考慮に入れつつ、特定のエンドユーザディスプレイ107にとって適切な画像を提供するダイナミックレンジ変換を提供する。よって、画像処理デバイス103は所与の最大輝度/明度値に関連付けられた出力信号、すなわち、その白色点/最大輝度値を有するディスプレイ上にレンダリングするための出力信号を生成する。いくつかのシステムにおいて、画像処理デバイス103がディスプレイの白色点輝度を正確に知らず、出力信号が仮定の白色点輝度(例えば、ユーザによって手動で入力される)に対応して生成される場合がある。他の例において(以下で説明されるように)、ディスプレイは白色点輝度に関する情報を提供し、画像処理デバイス103はダイナミックレンジ変換をこの情報に基づいて適合してもよい。
出力信号が生成において対象とする白色点輝度が、受信画像のうちの1つの白色点輝度とちょうど一致する又は十分に近い場合(白色点輝度の閾値との差等、任意の適切な基準に基づいて)、画像処理デバイス103はこの画像をそのまま出力画像に用いてもよい、すなわち、ダイナミックレンジ変換は単純に一致マッピングでもよい。また、出力白色点輝度が受信画像の白色点輝度に直接一致しないが、明確なダイナミックレンジ変換制御データが対象とするエンドユーザディスプレイ白色点輝度と合致する場合、ダイナミックレンジ変換を適合するためにこの制御データを直接使用することができる。出力白色点輝度が受信画像の白色点輝度、又はダイナミックレンジ変換制御データが対象とする白色点輝度と直接一致しない場合、制御データによって提供される、異なる白色点輝度のためのトーンマッピングパラメータを使用して、出力白色点輝度に応じてダイナミック変換を適合してもよい。具体的には、ダイナミックレンジプロセッサ203は、他の白色点輝度値のためのトーンマッピングパラメータ間を補間して特定の出力白色点輝度のためのトーンマッピングパラメータを求めてもよい。多くの実施形態において、単純な線形補間で十分であるが、他のアプローチを使用し得ることも理解されたい。
実際、制御データは、例えば、異なるディスプレイ白色点輝度のためのトーンマッピングパラメータを、どのように処理して特定の出力白色点輝度のためのトーンマッピングパラメータを生成すべきかに関する情報を提供してもよい。例えば、制御データは適切なトーンマッピングパラメータを生成するために使用しなければならない非線形補間関数を示してもよい。
ダイナミックレンジ変換は異なる画像において必ずしも一定でなくてもよく、場合によっては同じ画像においても一定でなくてもよい。
実際、多くのシステムにおいて、ダイナミックレンジ変換制御データは継続的に更新されてもよく、これにより、ダイナミックレンジプロセッサ203によって実行されるダイナミックレンジ変換を現在の特徴に適合できる。これは、暗い画像/シーンに対して明るい画像/シーンとは異なるトーンマッピングを使用することを可能にし得る。これは、改良されたパフォーマンスを提供する。実際、動的に更新されるダイナミックレンジ変換制御データに応じて制御される時間変化ダイナミックレンジ変換を使用することによって、コンテンツプロバイダにさらなる制御を提供できる。例えば、HDRディスプレイ上での暗いシーンのレンダリングは、そのシーンが不安を駆り立てようとする緊張感のあるシーンか、又は単に夜間のシナリオに対応するために暗いだけかによって異なり得る(1つ目の場合、暗いシーンをLDRディスプレイと同様の暗さでHDRディスプレイ上にレンダリングし、2つ目の場合、暗いシーンをいくらか明るくレンダリングしてもよく、これによって、暗領域における、改良された視覚的に知覚可能な違いを実現する追加ダイナミックレンジを活用できる)。
同じ考察を1つの画像内に適用することができる。例えば、あるシーンは暗い影がかかった地面の上空の明るい空に対応し得る(例えば、画像の上半分には明るい空、画像の下半分には森)。2つの領域は、LDRからHDRへのマッピングの際に、好適に異なる方法でマッピングされてもよく、ダイナミックレンジ変換制御データはこれらのマッピングの違いを指定してもよい。したがって、ダイナミックレンジ変換制御データは、異なる画像によって変化する、且つ/又は画像内の位置に応じて変化するトーンマッピングパラメータを含んでもよい。
具体的な例として、少なくともいくつかの制御データは、所与の画像領域、輝度範囲、及び/又は画像範囲に関連付けられてもよい。
ダイナミックレンジ変換制御データは、任意の適切な通信アプローチ又は規格に従って画像処理デバイス103に供給されてもよい。
特定の例において、コンテンツプロバイダ装置101と画像処理デバイス103との間の通信はBlu−ray(登録商標)メディアを用いる。ダイナミックレンジ変換のための制御コマンドの送信は、これらのパラメータ値をディスク上のBDROMデータ内に組み込むことによって達成され得る。このためには、プレイリストファイル(xxxxx.mpls)内の拡張データ構造を用いることができる。この拡張データ構造は、特有且つ新しい認識情報を有する。レガシーBDROMプレイヤーはこの新しいデータ構造に気付かず、単純に無視する。これは後方互換性を保証する。このようなLHDR_descriptor(LHDR記述子)のシンタックス及びセマンティックスの例を以下に示す。
この例において、LHDR_descriptorは3つの処理記述子を含む。これらのパラメータは、対象ディスプレイカテゴリがエンドユーザディスプレイカテゴリとは異なる場合の追加のビデオ処理を指定する。例として、これらのパラメータは以下の値を有し得る。
Video_Process_descriptor(ビデオ処理記述子):
DR_Process_descriptor(ダイナミックレンジ処理記述子):
Level_Process_descriptor(レベル処理記述子):
上記の例は、コンテンツプロバイダ装置101から受信された信号が、画像/ビデオシーケンスの1つのバージョンのみを有する例、特に、信号がLDR画像/ビデオシーケンスのみを有する例に着目した。
しかし、いくつかのシステム及び実施例においては、コンテンツプロバイダ装置101は、画像の1つ以上のバージョンを含む画像信号を生成し得る。このような場合、1つの画像が1つの対象ディスプレイのためにトーンマッピングされ、同じ元画像に対応する他の画像が異なる対象ディスプレイのためにトーンマッピングされ得る。具体的には、1つの画像は、例えば500ニットディスプレイを対象とするLDR画像であり、他の画像は、例えば2000ニットディスプレイを対象とするHDR画像であり得る。
このような例において、画像信号はさらに第2対象ディスプレイリファレンスを含み得る、すなわち、画像ごとに対象ディスプレイリファレンスを設けてもよく、これによって、符号化サイドにおいて個々の画像のトーンマッピング最適化が対象としたディスプレイ特徴を示すことができる。具体的には、画像/ビデオシーケンスごとに最大輝度及びガンマパラメータを提供してもよい。
このようなシステムにおいて、画像処理デバイス103は、第2対象ディスプレイリファレンスに応じてダイナミックレンジ変換を適用でき、特に、第1及び第2対象ディスプレイリファレンスの両方を考慮して適用できる。
ダイナミックレンジ変換は、画像に対して実行される特定のマッピング又は操作を適合するだけでなく、対象ディスプレイリファレンスに応じて、変換の基礎として使用する画像を選択し得る。あまり複雑でない例として、ダイナミックレンジプロセッサ203は、第1画像及び第2画像のどちらを使用するかを、関連付けられた対象ディスプレイリファレンスが、出力信号が対象とする白色点輝度にどの程度近いかに応じて選択できる。具体的には、望ましい白色点輝度に最も近い白色点輝度に関連付けられた画像を選択できる。したがって、LDR出力画像が生成される場合、ダイナミックレンジ変換は符号化LDR画像から実行され得る。一方、符号化HDR画像より高い最大輝度を有するHDR画像が生成される場合、ダイナミックレンジ変換は符号化HDR画像に対して実行され得る。
画像が、複数の符号化画像の白色点輝度の間の最大輝度のために(例えば、1000ニットディスプレイのために)生成される場合、ダイナミックレンジ変換は、両方の画像に基づき得る。具体的には、画像間で補間が実行されてもよい。かかる補間は線形でも非線形でもよく、変換前に符号化画像に直接実行されてもよいし、変換後に画像に適用してもよい。個々の画像への重み付けは、典型的には両画像が所望の最大輝度にどれだけ近いかに依存する。
例えば、第1符号化画像(LDR画像)にダイナミックレンジ変換を適用して第1変換画像を生成し、第2符号化画像にダイナミックレンジ変換を適用して第2変換画像を生成してもよい。その後、第1及び第2変換画像が結合され(例えば、足し合わされ)、出力画像が生成される。第1及び第2画像のそれぞれの重みは、第1及び第2符号化画像のそれぞれの対象ディスプレイリファレンスが所望の出力最大輝度にどれだけ近いかによって決定される。
例えば、700ニットディスプレイに対しては、第1変換画像が第2変換画像より著しく高く重み付けされ、3000ニットディスプレイに対しては、第2変換画像が第1変換画像より著しく高く重み付けされてもよい。2000ニットディスプレイに対しては、両変換画像が等しく重み付けされてもよく、出力値は各画像の値を平均化することによって生成されてもよい。
他の例として、変換は、例えば画像特徴に応じて、異なる画像領域のための第1又は第2画像に基づいて選択的に実行できる。
例えば、比較的暗い領域に対しては、LDR画像にダイナミックレンジ変換を適用して1000ニットディスプレイに適したピクセル値を生成するとともに、HDR画像に対応するLDR画像の暗領域で利用可能な高解像度を活用できる(例えば、両画像で同じビット数が使用される場合)。一方、明るい領域に関しては、HDR画像にダイナミックレンジ変換を適用してピクセル値を生成してもよく、これにより、この画像が典型的には高輝度範囲おいてより多くの情報を持つことができる(特に、HDR画像の場合、典型的にはLDR画像に比べてクリッピングによる情報の損失を大きく低減することができる)。
したがって、コンテンツプロバイダ装置101から1つ以上の画像が受信された場合、画像処理デバイス103は、これらの画像のうちの1つから出力画像を生成してもよいし、画像を組み合わせて出力画像を生成してもよい。符号化画像の選択及び/又は組み合わせは、画像ごとに規定される対象ディスプレイリファレンス、及び出力信号が生成されるべき最大輝度に基づく。
個々の符号化画像の組み合わせ及び/又は選択に加えて、個々のダイナミックレンジ変換をダイナミックレンジ変換に応じて調整及び適合してもよいことを理解されたい。例えば、上記アプローチを個別に各ダイナミックレンジ変換に適用してもよい。同様に、各ダイナミックレンジ変換を上記のように適合及び制御するために用いられ得るダイナミックレンジ変換制御データが受信されてもよい。また、ダイナミックレンジ変換制御データは、第1及び第2符号化画像の処理の組み合わせに対して、義務的、任意、又は好ましい/提案パラメータを規定する情報を含んでもよい。
いくつかのシステムにおいて、ダイナミックレンジ変換制御データは、異なる画像カテゴリに対して異なる変換制御データを有する。具体的には、ダイナミック変換実行の際、異なるタイプの画像/コンテンツを異なる方法で処理してもよい。
例えば、異なるタイプのビデオコンテンツに対して異なるトーンマッピングを規定又は提案してもよい。例えば、アニメ、ホラー映画、サッカーの試合等に対して、異なるダイナミックレンジ変換が規定される。このような場合、受信されるビデオ信号はコンテンツタイプを記述するメタデータを提供して(又は、コンテンツ解析を画像処理デバイス103においてローカルに適用してもよい)、特定のコンテンツに対して適切なダイナミックレンジ変換を適用してもよい。
他の例として、レンダリングされる画像は、異なる画像に対して異なる変換を提供することにより、重複画像の組み合わせとして生成され得る。例えば、Blu−ray(登録商標)では複数の異なる表示プレーンが規定され(図5に示すように)、異なる表示プレーンに異なるダイナミックレンジ変換を適用してもよい。
各表示プレーンの特徴は、コンテンツプロバイダによって特定の対象ディスプレイのために最適化される。エンドユーザの視聴体験は、表示プレーンの特徴をエンドユーザディスプレイに適合することによって最適化できる。典型的には、最適適合は表示プレーンごとに異なる。
トーンマッピングに関して、今日のBDROMシステムにおける状況は以下の通りである。
−スタジオ内において、ビデオトーンマッピング(グローバル又はローカル)がスタジオモニタを使用して実行される。
−スタジオ内において、グラフィックストーンマッピング(通常はビデオトーンマッピングとは異なる)がスタジオモニタを使用して実行される。
−BDROMプレイヤーにおいて、OSDトーンマッピングが実行される。
−ディスプレイにおいて、複合ビデオ及びグラフィックス信号にグローバル及び/又はローカルトーンマッピングが実行される。この処理はエンドユーザによって制御できない。
−ディスプレイにおいて、複合ビデオ及びグラフィックス信号にグローバルトーンマッピングが実行される。この処理は、エンドユーザによって設定された輝度及びコントラスト値等に依存する。
以下の場合、向上された画質を達成できる。
1.ビデオトーンマッピングがエンドユーザディスプレイのために最適化される。
2.グラフィックストーンマッピングがエンドユーザディスプレイのために最適化される。
3.システムは、ビデオトーンマッピングとは異なるグラフィックストーンマッピングを許容する。
4.システムは、異なるグラフィックス要素に対して異なるグラフィックストーンマッピングを許容する。
5.システムは、ビデオ特徴に応じたビデオ及びグラフィックストーンマッピングを許容する。
また、ディスク上にビデオのLDRバージョン及びHDRバージョンが両方存在する場合、追加トーンマッピングは2つの対象ディスプレイのパラメータセットに依存し、一方はビデオのLDRバージョン用であり、他方はビデオのHDRバージョン用である。
他の改変された実施例において、ビデオ及び/又はグラフィックストーンマッピングは時間変化し、例えばシーン内のビデオコンテンツに依存する。コンテンツプロバイダは、ビデオ及びグラフィックスコンテンツの特徴に応じて、プレイヤーにトーンマッピング指示を送信してもよい。他の実施例において、プレイヤーは自主的にビデオ信号からビデオの特徴を抽出し、これらの特徴に応じてビデオ及びグラフィックストーンマッピングを適合する。
例えば、一定の時間サブタイトルをかすませたり、ある時間量にかけてガンマ変更を実行してもよい(また、両者を協調させてもよい)。
BDROMにおいて、如何にグラフィックストーンマッピングのための制御コマンドを提供するかの例を以下に説明する。
BDROMグラフィックスストリームは、トランスポートストリームに組み込まれたPESパケットに組み込まれたセグメントからなる。図14は、適切なデータ構造を示す。
メインビデオとの同期は、PESパケット内のPTS値を用いてエレメンタリーストリームレベルで行われる。BDROMグラフィックスセグメントは、セグメント記述子及びセグメントデータからなる。セグメント記述子は、セグメントの種類及び長さを含む。
以下の表は、ブルーレイディスク規格で規定されるセグメントの種類をいくつか示す。
現行の仕様において、値0x83〜0xFFは予備である。したがって、例えば値0x83を用いて、LHDR_Processing_definition(LHDR処理定義)セグメントを含むセグメントを示すために新しいセグメントタイプが定義される。一般的に、LHDR_Processing_definitionセグメントは、対象ディスプレイがエンドユーザディスプレイと異なる場合、グラフィックスデコーダーがグラフィックスを処理する方法を定義する。
以下の表は、LHDR_Processing_definitionセグメントの構造の例を示す。
この例において、LHDR_Processing_definitionセグメントは、Pop−up_process_descriptor(ポップアップ処理記述子)及びSubtitle_process_descriptor(サブタイトル処理記述子)の2つの処理記述子を含む。また、このセグメントは、対象ディスプレイカテゴリがエンドユーザディスプレイカテゴリと異なる場合に用いられるパレットを含む。LHDRパレットは元のパレットと同じ数のエントリーを含むが、エントリーは他方のディスプレイカテゴリのために最適化される。
Pop−up_process_descriptorパラメータは、対象ディスプレイカテゴリがエンドユーザディスプレイカテゴリとは異なる場合におけるポップアップグラフィックスの追加の処理を指定する。
例として、このパラメータは以下の値を有し得る。
−Pop−up_process_descriptor=0x00:追加処理なし。
−Pop−up_process_descriptor=0x01〜0x03:最小透明値設定。
−Pop−up_process_descriptor=0x04:グラフィックスプロセッサはLHDR_Processing_definitionセグメント内に定義されたパレットを使用する。
−Pop−up_process_descriptor=0x05:追加処理に制限無し。
Subtitle_process_descriptor(サブタイトル処理記述子)パラメータは、対象ディスプレイカテゴリがエンドユーザディスプレイカテゴリとは異なる場合におけるサブタイトルグラフィックスの追加の処理を指定する。
例として、このパラメータは以下の値を有する。
−Subtitle_process_descriptor=0x00:追加処理なし。
−Pop−up_process_descriptor=0x01〜0x03:輝度値適合。
−Subtitle_process_descriptor=0x04:グラフィックスプロセッサはLHDR_Processing_definition内に定義されたパレットを使用する。
−Subtitle_process_descriptor=0x05:追加処理に制限無し。
以下の表にPop−up_process_descriptor及びSubtitle_process_descriptorのシンタックスの具体的な例を示す。
図15及び図16は、ディスプレイ特徴に応じた異なるトーンマッピングの具体的な例を示す。これらの例において、元のコンテンツはHDRビデオコンテンツ及びサブタイトルを有する。ビデオ用のトーンマッピングは図6の例と同じである。
グラフィックスは、黒色の縁を有する白色のサブタイトル文字を有する。元のヒストグラムは、低輝度範囲内のピーク、及び高輝度範囲内の他のピークを示す。このサブタイトルコンテンツのヒストグラムは、LDRディスプレイ上ではテキストが明るく読みやすく映るため、LDRディスプレイに非常に適している。しかし、HDRディスプレイ上ではこれらの文字は明るすぎ、うるささ、暈(ハロ)、及びぎらつきを引き起こす。したがって、サブタイトルグラフィックスのトーンマッピングは、図16に示すように適合される。
上記例において、画像処理デバイス103は、所望の最大輝度に対応するよう出力画像を生成した、すなわち、所与のダイナミックレンジ/白色点輝度を有するディスプレイ上での表示のために出力画像を生成した。具体的には、所望の最大/白色点輝度を示すユーザ設定に対応するよう出力信号を生成してもよいし、又は、単純にディスプレイ107に対して所与のダイナミックレンジを仮定してもよい。
いくつかのシステムにおいて、画像処理デバイス103は、ディスプレイ107の輝度特性を示すディスプレイ107から受信されたデータに応じて処理を適合するダイナミックレンジプロセッサ203を含み得る。
図17は、このような画像処理デバイス103の例を示す。画像処理デバイス103は図1に示すものと対応するが、この例の画像処理デバイス103はさらに、ディスプレイ107からデータ信号を受信するディスプレイ受信機1701を有する。データ信号は、ディスプレイ107のディスプレイダイナミックレンジ指標を含むデータフィールドを含む。ディスプレイダイナミックレンジ指標は、ディスプレイの輝度特性を示す少なくとも1つの輝度仕様を含む。具体的には、輝度仕様は最大輝度の仕様、すなわち、ディスプレイの最大/白色点輝度の仕様を含んでもよい。具体的には、ディスプレイダイナミックレンジ指標は、ディスプレイがHDR又はLDRディスプレイのどちらであるかを定義でき、特に、最大光出力をニット単位で示し得る。したがって、ダイナミックレンジ指標はディスプレイが500ニット、1000ニット、2000ニット、4000ニット等のディスプレイであるかを定義できる。
画像処理デバイス103のディスプレイ受信機1701は、ディスプレイダイナミックレンジ指標が送信されるダイナミックレンジプロセッサ203に接続される。したがって、ダイナミックレンジプロセッサ203は、仮定された又は手動で設定された白色点輝度の出力信号を生成するのではなく、特定のディスプレイに直接対応する出力信号を生成することができる。
したがって、ダイナミックレンジプロセッサ203は、ダイナミックレンジ変換を受信されたディスプレイダイナミックレンジ指標に応じて適合できる。例えば、受信された符号化画像はLDR画像でもよく、この画像が500ニットディスプレイ用に最適化されたと仮定され得る。ディスプレイダイナミックレンジ指標がディスプレイが実際に500ニットディスプレイであると示す場合、画像処理デバイス103は符号化画像をそのまま使用できる。しかし、ディプレイダイナミックレンジ指標がディスプレイが1000ニットディスプレイであると示す場合、第1ダイナミック変換が適用され得る。ダイナミックレンジ指標がディスプレイ107が1000ニットディスプレイであると示す場合、異なる変換が適用され得る(他の値でも同様)。同様に、受信された画像が2000ニット最適化画像である場合、ディスプレイダイナミックレンジ指標がディスプレイが2000ニットディスプレイであると示すのであれば、画像処理デバイス103はこの画像をそのまま使用できる。しかし、ディスプレイダイナミックレンジ指標がディスプレイが1000ニット又は500ニットディスプレイであると示す場合、画像処理デバイス103は、適切なダイナミックレンジ変換を実行してダイナミックレンジを縮小し得る。
例えば、図18を参照して、1000ニットディスプレイ及び4000ニットディスプレイのそれぞれに異なる変換が定義されてもよく、また500ニットディスプレイ用に3つ目の1対1マッピングが定義される。図1において、500ニットディスプレイ用のマッピングは曲線1801によって示され、1000ニットディスプレイ用のマッピングは曲線1803によって示され、4000ニットディスプレイ用のマッピングは曲線1805によって示される。したがって、この例において、受信された符号化画像は500ニット画像であると仮定され、これが特定のディスプレイに適した画像に自動的に変換される。したがって、画像処理デバイス103は、画像処理デバイス103が接続される特定のディスプレイのために最適化された画像を自動的に適合及び生成できる。具体的には、画像処理デバイス103はディスプレイがHDR又はLDRディスプレイのどちらであるかに自動的に適合し、さらに、ディスプレイの特定の白色輝度に適合できる。
ハイダイナミックレンジからローダイナミックレンジへのマッピングの場合、逆マッピングが使用され得ることを理解されたい。
ディスプレイが、図18の3つの曲線のうちの1つに対応する白色輝度を有する場合、符号化画像に対応するマッピングを適用することができる。ディスプレイが異なる輝度値を有する場合、変換の組み合わせを用いてもよい。
したがって、ダイナミックレンジプロセッサ203は、ディスプレイダイナミックレンジ指標に応じて適切なダイナミックレンジ変換を選択できる。あまり複雑でない例として、ダイナミックレンジプロセッサ203は、曲線に関連付けられる白色点輝度がディスプレイダイナミックレンジ指標によって示される白色点輝度にどの程度近いかに応じて、使用する曲線を選択できる。具体的には、ディスプレイダイナミックレンジ指標によって示される所望の白色点輝度に最も近い白色点輝度に関連付けられたマッピングが選択され得る。したがって、LDR出力画像が生成される場合、ダイナミックレンジ変換は曲線1801を用いて実行され得る。比較的白色点輝度が低いHDR画像が生成される場合、曲線1803のマッピングが使用される。また、白色点輝度が高いHDR画像が生成される場合、曲線1805が使用される。
2つのHDR設定用のダイナミックレンジの間の白色輝度用(例えば、2000ニットディスプレイ用)に画像が生成される場合、マッピング1803及び1805の両方を用いてもよい。具体的には、2つのマッピングの変換画像間で補間を実行してもよい。かかる補間は、線形でも非線形でもよい。個々の変換画像の重み付けは、典型的には画像が所望の出力最大輝度にどの程度近いかに依存する。
例えば、符号化画像(LDR画像)に第1マッピング1803を適用して第1変換を実行して、符号化画像に第2マッピングを適用して第2変換を実行してもよい。その後、第1及び第2変換画像は結合され(例えば、足し合わされ)、出力画像が生成される。第1及び第2変換画像のそれぞれの重みは、異なるマッピングに関連付けられた白色輝度が、ディスプレイダイナミックレンジ指標によって示されるディスプレイ白色輝度にどの程度近いかによって決定される。
例えば、1500ニットディスプレイに対しては、第1変換画像は第2変換画像よりはるかに高く重み付けされてもよく、3500ニットディスプレイに対しては、第2変換画像は第1変換画像より著しく高く重み付けされてもよい。
いくつかの実施形態において、ダイナミックレンジプロセッサ(203)は、出力画像を受信された符号化画像として生成するか、又は、ディスプレイダイナミックレンジ指標に応じて、受信された符号化画像の変換画像として生成するかを選択できる。
具体的には、ディスプレイダイナミックレンジ指標によって示される白色点輝度が、受信画像に対して示された又は仮定された白色点輝度に十分に近い場合、ダイナミックレンジ変換は、単純に受信画像に処理を行わないことを含み得る、すなわち、単純に入力画像を出力画像として使用できる。一方、ディスプレイダイナミックレンジ指標によって示される白色点輝度が、受信画像に対して示された又は仮定された白色点輝度とは異なる場合、ダイナミックレンジ変換は、入力画像ピクセルの出力画像ピクセルへの適切なマッピングによって受信された符号化画像を変換し得る。このような場合、受信されたエンドユーザディスプレイの白色点輝度の指標に応じてマッピングを適合できる。他の例において、1つ以上の既定のマッピングを用いてもよい。
例えば、画像処理デバイス103は、白色点輝度を2倍にする、適切な出力画像を提供すべく決定された既定の第1マッピング、及び白色点輝度1/2にする、適切な出力画像を提供すべく決定された既定の第2マッピングを含み得る。このような例において、画像処理デバイス103は、(例えば、対象ディスプレイリファレンスによって示される)受信画像の白色点輝度、及びディスプレイダイナミックレンジ指標によって示されるエンドユーザディスプレイの白色点輝度に応じて、第1マッピング、第2マッピング、及び一致マッピングを選択し得る。具体的には、画像処理デバイス103は、入力画像及びエンドユーザディスプレイの白色点輝度間の比率に最も近いマッピングを選択し得る。
例えば、1000ニットディスプレイのために最適化されたことを示す対象ディスプレイリファレンスを有する入力画像が受信され、エンドユーザディスプレイが2000ニットディスプレイである場合、画像処理デバイス103は第1マッピングを選択する。一方、ダイナミックレンジ指標がエンドユーザディスプレイが1000ニットディスプレイであると示す場合、画像処理デバイス103は一致マッピングを選択する(すなわち、入力画像をそのまま使用する)。ダイナミックレンジ指標がエンドユーザディスプレイが500ニットディスプレイであると示す場合、画像処理デバイス103は第2マッピングを選択する。
エンドユーザディスプレイの白色点輝度の中間値が受信された場合、画像処理デバイス103は、白色点輝度間の比率に最も近いマッピングが選択されてもよいし、例えばマッピング間が補間されてもよい。
図2の例において、画像処理デバイス103はコンテンツプロバイダ装置101から受信された対象ディスプレイリファレンスに基づいて、しかし、特定のディスプレイ107の情報又は知識を有さずに、ダイナミックレンジ変換を実行する(すなわち、単純に所与のダイナミックレンジ/白色点に対して最適化された出力画像を生成できるが、接続されたディスプレイ107がその値を有するかは明確に知らない)。したがって、仮定又は基準白色点輝度を用いてもよい。図17の例において、画像処理デバイス103は、ディスプレイ107から受信されるディスプレイダイナミックレンジ指標に基づいて、しかし、受信された符号化画像が生成において対象としたダイナミックレンジ及び白色点輝度の情報又は知識をなんら有することなく、ダイナミックレンジ変換を実行し得る(すなわち、単純に受信画像のための所与のダイナミックレンジ/白色点に基づいて出力画像を生成できるが、画像が実際にそのようなレンジ及び輝度用に生成されたかは明確に知らない)。したがって、符号化画像に対して仮定又は基準白色点輝度を用いてもよい。ただし、多くの実施例において、画像処理デバイス103はコンテンツプロバイダサイドから受信された情報及びエンドユーザディスプレイから受信された情報の両方に応じてダイナミックレンジ変換を実行し得ることを理解されたい。図19は、対象ディスプレイリファレンス及びディスプレイダイナミックレンジ指標の両方に応じてダイナミックレンジ変換を行うダイナミックレンジプロセッサ203を有する画像処理デバイス103の例を示す。図2及び図17の各アプローチに関して提供されたコメント及び説明が図19のシステムに等しく(適宜)当てはまることを理解されたい。
これらのアプローチは、特に、例えば将来のテレビシステムでますます認知される、不均質なコンテンツ配信システムにおいて好適である。実際、ディスプレイの(ピーク)輝度は現在急速に上昇しており、近い将来には、幅広い(ピーク)輝度を有するディスプレイが市場に共存することが予測される。コンテンツ生成サイドではディスプレイ輝度(及び、典型的には、入力ピクセル(色)駆動値が、視聴者に特定の心理視覚的印象を与える光量に如何に変換されるかを特定する電気光変換関数)を知ることができないため(また、一般的にはこれはコンテンツが意図された/グレーディングの対象とした基準モニタとは異なるため)、ディスプレイ上で最適な画質を提供することは困難になる。
したがって、図1のシステムにおいて、ディスプレイ107(又はシンクデバイス)は自身の輝度能力(ピーク輝度、グレー(/色)レンダリング変換関数、又は特定の電気光変換関数等の、HDR範囲にかけてのグレーレンダリング特性)に関する情報を画像処理デバイス103に逆に送信できる。
具体的な例において、画像処理デバイス103はHDMI(登録商標)インターフェイスによってディスプレイに接続されるBDROMプレイヤーであり、よってダイナミックレンジ指標は、HDMI(登録商標)インターフェイスを介してディスプレイから画像処理デバイス103に通信され得る。したがって、具体的には、ダイナミックレンジ指標は、HDMI(登録商標)を介してディスプレイ107から画像処理デバイス103に送信され得るEDID情報の一部として通信され得る。しかし、このアプローチはDVB受信機、ATSC受信機、パーソナルコンピュータ、タブレット、スマートフォン、及びゲームコンソール等、多くの他のビデオ/グラフィックス生成デバイスに適用され得ることを理解されたい。また、DisplayPort、USB、Ethernet(登録商標)、及びWIFI等、多くの他の有線及び無線インターフェイスを使用し得ることを理解されたい。
画像処理デバイス103は、例えばディスプレイ輝度に応じて、例えばコンテンツ/信号の異なるバージョンのうちの1つを選択し得る。例えば、コンテンツプロバイダ装置101からの信号がLDR画像及びHDR画像を両方含む場合、画像処理デバイス103は、ディスプレイダイナミックレンジ指標がLDRディスプレイ又はHDRディスプレイのどちらを示しているかに基づいて、2つのうちのどちらかを選択できる。他の例として、画像処理デバイス103はコンテンツの異なる輝度バージョンを補間/混合して、ディスプレイ輝度にとってほぼ最適な新しい信号を導き出してもよい。他の例として、画像処理デバイス103は符号化画像から出力画像へのマッピングを適合してもよい。
異なる実施例において、ディスプレイダイナミックレンジ指標内に異なるパラメータ及び情報が提供され得ることを理解されたい。具体的には、対象ディスプレイリファレンスの上記コメント及び説明は、ディスプレイダイナミックレンジ指標に等しく適用され得ることを留意されたい。したがって、ディスプレイ107から画像処理デバイス103に伝達されるパラメータ及び情報は、コンテンツプロバイダ装置101から画像処理デバイス103への対象ディスプレイに関する情報の伝達に関して説明されたものと同様でもよい。
具体的には、ディスプレイは、ディスプレイの最大輝度/白色点輝度を伝達でき、これは上記のようにダイナミックレンジプロセッサ203によって出力信号を適合するために使用することができる。
いくつかの実施形態において、ディスプレイレンジ指標は代替的に又は追加的にディスプレイ107の黒色点輝度を含んでもよい。黒色点輝度は、典型的には最も暗いピクセル値に対応する駆動値に対応する輝度を示してもよい。ディスプレイの固有の黒色点輝度は、いくつかのディスプレイにおいては実質的に光出力無しに対応してもよい。しかし、多くのディスプレイにおいて、例えばLCD要素の最も暗い設定は依然としてディスプレイからいくらかの光出力を生じさせ、黒色画像領域は深い黒色よりいくらか明るく及び灰色に知覚される。このようなディスプレイにおいて、黒色点輝度の情報は、例えばディスプレイの黒色点輝度未満の黒レベルが全て最も暗いピクセル値に変換される(又は、例えばより段階的な遷移を用いる)トーンマッピングをダイナミックレンジプロセッサ203が実行するために使用できる。いくつかの場合において、黒色点輝度は周囲光からの寄与を含み得り、例えば、黒色点輝度はディスプレイから反射されている光の量を反映し得る。
また、多くのディスプレイにおいて、ディスプレイダイナミックレンジ指標はディスプレイのOETFを特徴づける情報をより多く含み得る。具体的には、上述のように、ディスプレイは白色点輝度及び/又は黒色点輝度を含み得る。多くのシステムにおいて、ディスプレイダイナミックレンジ指標は、介在性の光出力におけるディスプレイのOETFに関する更なる詳細をも含み得る。具体的には、ディスプレイダイナミックレンジ指標はディスプレイのOETFのガンマを含み得る。
ダイナミックレンジプロセッサ203は、このOETFの情報を使用して特定のダイナミックレンジ変換を適合することによって所望のパフォーマンスを提供でき、具体的には、HDR画像への変換はより明るい光出力が可能であることだけを反映するのではなく、拡大された輝度範囲における所望の光出力を提供するために、駆動値間の関係を具体的にどのように生成すべきかを考慮してもよい。同様に、LDR画像への変換は、より輝度が低い光出力が利用可能なことを反映するだけでなく、縮小された輝度範囲において所望の光出力を提供するために、駆動値間の関係を具体的にどのように生成すべきかを考慮してもよい。
したがって、具体的には、ディスプレイダイナミックレンジ指標は、ダイナミックレンジプロセッサ203に、1つのダイナミックレンジに対応する入力値をどのように他の典型的にはより大きなダイナミックレンジに対応する出力値にマッピングすべきかを知らせる情報を提供してもよい。ダイナミックレンジプロセッサ203はこれを考慮して、例えばディスプレイ107によるレンダリングにおけるばらつき又は非線形性を補正できる。
多様なダイナミックレンジ変換が選択可能であり、またディスプレイダイナミックレンジ指標に基づいてそのようなダイナミックレンジ変換を適合する多様な方法が使用され得ることを理解されたい。実際、コンテンツプロバイダ装置101からの対象ディスプレイリファレンスに基づくダイナミックレンジ変換に関して提供されたコメントのほとんどは、エンドユーザの輝度特性の情報に基づくダイナミックレンジ変換に等しく(適宜)当てはまる。
あまり複雑でない例として、ダイナミックレンジ変換は、単純にLDR画像の入力値に区分線形関数を適用して改良されたHDR値を生成できる(又はHDR画像の入力値に適用して改良されたLDR値を生成できる)。実際、多くの場合において、図20のような2つの線形関係からなる単純なマッピングを用いることができる。マッピングは、入力ピクセル値と出力ピクセル値との間の直接マッピングを示す(又は、いくつかの場合においては、マッピングは入力ピクセル輝度と出力ピクセル輝度との間の(場合によっては連続的な)マッピングを反映し得る)。
具体的には、このアプローチは、画像の暗領域を暗く保つ一方、明領域のはるかに明るいレンダリング、及び、より生き生きとした改良された中範囲を提供するよう大きく拡大されたダイナミックレンジを使用可能にするダイナミックレンジ変換を提供する。しかし、厳密な変換は、画像がレンダリングされるべきディスプレイに依存する。例えば、1000ニットディスプレイ上に500ニット用の画像をレンダリングする場合、比較的控えめな変換が要求され、明領域の拡張は比較的限定される。しかし、同じ画像が5000ニットディスプレイ上に表示される場合、暗領域を過度に明るくすることなく利用可能な輝度を完全に活用するためには、はるかに劇的な変換が要求される。図20は、1000ニットディスプレイ(曲線2001、最大値255は1000ニットに対応)及び5000ニットディスプレイ(曲線2003、最大値255は5000ニットに対応)それぞれに対する500ニットLDR入力画像(最大値255は500ニットに対応)のための2つの異なるマッピングをどのように使用すべきかを説明する。画像処理デバイス103は、与えられた値の間を補間することによって、他の最大輝度用の適切な値をさらに決定できる。いくつかの実施例において、より多くの点を使用して、区分線形ではあるがより多くの直線区間を有する曲線を定義してもよい。
HDR入力画像からLDR出力画像にマッピングする場合にも同じマッピングが使用できることを理解されたい。
いくつかの実施形態において、ダイナミックレンジ変換は、受信されたディスプレイダイナミックレンジ指標に依存し得るガマット変換を含み得る。したがって、いくつかの実施形態において、ダイナミックレンジプロセッサ203は、ディスプレイダイナミックレンジ指標に応じてレンダリングされる画像の彩度を変更し得る。例えば、受信されたHDR画像をLDRディスプレイ上にレンダリングする場合、圧縮により、個々の画像オブジェクトに変化及び階調が少ない淡々とした画像になる。ダイナミックレンジ変換は、彩度(クロマ)変化を増加させることによってこのような減少を補償できる。例えば、明るく照らされたリンゴを含む画像がHDRディスプレイ上でのレンダリングのために最適化された場合、縮小されたダイナミックレンジを有するLDRディスプレイ上でのレンダリングは、典型的にはリンゴをより目立たなくさせ、より不明瞭にしてぼやけさせる。これは、ダイナミックレンジ変換によってリンゴの色の飽和度を高めることで補償され得る。他の例として、低減された輝度変化のためテクスチャ変化がより知覚しづらくなる場合があるが、これは、テクスチャの彩度変化を高めることによって補償され得る。
いくつかの例又は場合おいて、ディスプレイダイナミックレンジ指標は、標準製造パラメータ、デフォルトのEOTF等、ディスプレイの一般的な情報を提供し得る。いくつかの例及び場合において、ディスプレイダイナミックレンジ指標はさらに、ディスプレイ内で行われる具体的な処理及び具体的なユーザ設定を反映し得る。したがって、このような例において、ディスプレイダイナミックレンジ指標は単にディスプレイのみに依存する固定且つ不変の情報を提供するだけでなく、ディスプレイの具体的な動作を反映し得る時間変化関数を提供し得る。
例えば、ディスプレイは異なるレンダリング特徴を有する異なる画像モードで動作できる。例えば、表示モード「ヴィヴィッド(鮮やか)」においては、ディスプレイは画像を明領域が通常より明るくなるようレンダリングでき、表示モード「ミュート(色調が弱い)」においては、ディスプレイは画像を明領域が通常より暗くなるようにレンダリングできる。現在のモードに関する情報、例えばこのモードのガンマは、ディスプレイダイナミックレンジ変換指標の一部として画像処理デバイス103に報告することができ、これによって、画像処理デバイス103はダイナミックレンジ変換にレンダリング特徴を反映させることができる。画像処理デバイス103は、例えばこれを補償することによってディスプレイ設定を無視してもよいし、また特定の設定を維持するよう変換を最適化してもよい。
また、ディスプレイダイナミックレンジ指標はディスプレイのための他の処理設定を反映してもよい。例えば、クリッピングレベル、バックライト電力設定、カラースキーム(色彩計画)マッピング等を画像処理デバイス103に伝達し、ダイナミックレンジプロセッサ203がこれらを用いることによってダイナミックレンジ変換を適合してもよい。
図21は、画像処理デバイス103にディスプレイダイナミックレンジ指標を供給するディスプレイ107の要素の例を示す。
この例において、ディスプレイは、画像処理デバイス103から画像信号出力を受信する受信機2101を有する。受信画像信号はドライバ2103に接続され、ドライバ2103はさらに画像をレンダリングするディスプレイパネル2105に接続される。ディスプレイパネルは、例えば当業者にとって周知のLCD又はプラズマディスプレイパネルでもよい。
ドライバ2103は、符号化画像をレンダリングするようにディスプレイパネル2105を駆動する。いくつかの実施形態において、ドライバ2103はトーンマッピング、カラーグレーディング等を含む、最新且つ場合によっては適合的な信号処理アルゴリズムを実行し得る。他の実施形態において、ドライバ2103はあまり複雑でなくてもよく、入力信号値からディスプレイ2105のピクセル要素の駆動値への標準的なマッピングを実行してもよい。
システムにおいて、ディスプレイ107はさらに、データ信号を画像処理デバイス103に送信する送信機2107を有する。データ信号は、例えばHDMI(登録商標)接続の場合、後述するようにE−EDID構造を用いてDDCチャネルで通信してもよい。
送信機2107は、ディスプレイ(107)のディスプレイダイナミックレンジ指標を含むようデータ信号を生成する。したがって、具体的には、送信機2107は、例えば白色点輝度及び任意でディスプレイのEOTFを示す。例えば、複数の既定の白色点輝度又はEOTF間の指標を提供するデータ値を生成して送信できる。
いくつかのあまり複雑でない実施形態において、例えば白色点輝度は固定値であって、この基準値を単純に伝達する送信機2107内に記憶されてもよい。より複雑な値の場合、ディスプレイダイナミックレンジ指標は、動的に変化及び/又は適合される値を反映するよう決定されてもよい。例えば、ドライバ2103は異なる表示モードで動作してもよく、ディスプレイダイナミックレンジ指標はこれにしたがって適合されてもよい。他の例として、例えばディスプレイの輝度レベルのユーザ設定がディスプレイダイナミックレンジ指標によって反映されるよう、送信機2107によって生成及び送信されてもよい。
上述のように、ディスプレイダイナミックレンジ指標は周囲光量を含んでもよく、ダイナミックレンジプロセッサは、周囲光量に応じてダイナミックレンジ変換を適合してもよい。周囲光量は、明確な独立したデータとして提供されてもよいし、他のパラメータに反映されてもよい。例えば、周囲光量は、ディスプレイからの光反射に対応する寄与を含み得る黒色点輝度内に反映されてもよい。
多くの場合において、ディスプレイはディスプレイの前方に配置される光検出器を含み得る。光検出器は全体的な周囲光レベルを検出してもよいし、視聴者に反射し返す可能性が高い所与の方向からディスプレイに到達する光を具体的に測定してもよい。この光検出に基づき、ディスプレイはこのようにして、例えば全体的な視聴環境の周囲光レベル、又は具体的なスクリーンからの反射光の推定量を反映する周囲光指標を生成できる。ディスプレイ107はこの値を個別の値として、又は例えば光反射量を反映するよう実効黒色輝度レベルを計算することによって、画像処理デバイス103に報告することができる。
その後、ダイナミックレンジプロセッサ203は、ダイナミックレンジ変換をそれに基づいて適合できる。例えば、周囲光レベルが高い場合、HDRディスプレイの付加的な輝度レベルをより積極的に使用することによって、コントラストが高い明るい画像を生成できる。例えば、平均光出力を比較的高く設定でき、場合によっては中範囲輝度さえHDRレンジに押し上げられてもよい。明領域は全HDRレンジを使用してレンダリングされてもよく、典型的には暗領域でさえ比較的高い光レベルでレンダリングされる。ただし、HDR画像のダイナミックレンジの拡大は、このような比較的明るい画像が大きい輝度変化を保ち、したがって高いコントラストを保つことを可能にする。
したがって、ディスプレイのHDR能力は、例えば明るい昼光下で視聴されたとしても明るく且つ高コントラストを有するよう知覚される画像を提供する画像を生成するよう使用される。暗い部屋の中の場合、このような画像は出力が過度に高く過度に明るく映るため、適切ではない。したがって、暗い環境において、ダイナミックレンジ変換は、例えば暗及び中範囲値に関しては同じLDR光出力を維持し、明領域においてのみ輝度を高める、著しく控えめなLDRからHDRへの変換を実行する。
このアプローチは、画像処理デバイス103が、LDRからHDRへのダイナミックレンジ変換(又は例えばHDRからHDRへのダイナミックレンジ変換)をディスプレイの特定の視聴環境に調和するよう自動的に適合することを可能にする。また、これは画像処理デバイス103がなんら測定を行うことなく、又は実際にこの環境に又は環境の近くに配置されることなく実行可能である。
典型的には、周囲光指標はオプション(選択任意)であり、したがって画像処理デバイス103は指標が利用可能な場合は利用し、そうでない場合は単に特定の特徴(例えば、ディスプレイのOETF)に関するデフォルトのダイナミックレンジ変換を実行する。
したがって、ディスプレイによって供給される視聴環境(特に周囲光)に関する拡張情報は、ディスプレイに最適画像/ビデオを表示するための複雑な画像/ビデオ最適化変換を実行するために画像処理デバイス103によって使用され、最適化は、ディスプレイの特徴だけでなく視聴環境の特徴をも含み得る。
したがって、ディスプレイによって視聴環境に関する情報が提供される場合、さらなる最適化を実行できる。典型的には、ディスプレイは定期的に周囲光を測定し、これに関する情報(例えば、3つのパラメータXYZ形式の輝度及び色)を画像処理デバイス103に送信する。この情報は、典型的にはEDIDデータ、又は情報の一括通信のために主に用いられる他のデータ型の一部として提供されなくてもよい。情報は、例えばHDMI(登録商標)−CEC等を用いて独立したチャネルによって通信されてもよい。この周期的な測定及び更新により、例えばユーザがディスプレイの付近の照明を消すと、画像処理デバイス103は処理を自動的に適合して、例えば異なる色/輝度マッピングを適用することによって暗い視聴環境により適した画像を提供できる。
エンドユーザディスプレイによってディスプレイダイナミックレンジ指標内に報告され得る関係パラメータのセットの例は以下を含む。
・エンドユーザの絶対最大輝度(白色点輝度)。
・エンドユーザディスプレイのガンマ(工場設定)。
エンドユーザディスプレイの絶対最大輝度は、例えば代表的なディスプレイ設定、工場デフォルト設定、又は最大輝度を生じさせる設定に対して定義できる。
エンドユーザディスプレイによってディスプレイダイナミックレンジ指標内に報告され得る関係パラメータのセットの他の例は、以下を含み得る。
・輝度、コントラスト等の現在の設定に対するエンドユーザディスプレイの最大輝度。
・エンドユーザディスプレイのガンマ(現在の設定)。
第1のパラメータのセットは時間から独立している一方、第2のセットはユーザ設定に依存するため、時間変化する。どちらかのセットの適用はシステムの挙動及びユーザ体験に影響を及ぼし、特定のシステムにおける特定のパラメータのセットの使用はシステムの好み及び要求に依存する。実際、2つのセット間でパラメータを混合することができ、例えばスイッチオン時には工場デフォルト設定を提供し、その後定期的にユーザ設定依存パラメータを報告してもよい。
特定のパラメータセットは、ディスプレイのEOTFを特徴付けることができ、これは工場デフォルトEOTF、又は特定の現在のユーザ設定に依存するEOTFであってもよいことを理解されたい。したがって、パラメータはディスプレイの駆動値と輝度出力との間のマッピングに関する情報を提供でき、これは画像処理デバイス103が所望の出力画像を生じさせる駆動値を生成することを可能にする。他の実施例において、他のパラメータを用いてディスプレイの駆動値と光出力との間のマッピングの一部又は全体を特徴付けてもよいことを理解されたい。
他の多様なアプローチを用いて、ディスプレイから画像処理デバイス103にディスプレイダイナミックレンジ指標を伝達できることを理解されたい。
例えば、ユーザ設定から独立した、時間変化しないディスプレイのパラメータの場合、HDMI(登録商標)接続における通信はE−EDID構造を用いるDDCチャネルによって効果的に伝達できる。
あまり複雑でないアプローチにおいて、エンドユーザディスプレイに対して、それぞれが関係パラメータの範囲を定めるカテゴリのセットを定めてもよい。このようなアプローチにおいては、エンドユーザディスプレイのカテゴリ識別コードを送信するだけでよい。
以下、E−EDIDフォーマットによるディスプレイダイナミックレンジ指標データ通信の具体例を説明する。
この具体例において、E−EDIDの最初の128バイトはEDID1.3構造(ベースEDIDブロック)を含む。
ディスプレイダイナミックレンジ指標パラメータのために、E−EDIDデータ構造内に新しいDisplay Descriptor Block(ディスプレイ記述子ブロック)が定められてもよい。現在のデバイスはこのような新しいDisplay Descriptor Blockに気付かず無視するため、後方互換性がもたらせる。この「輝度挙動」記述子の取り得るフォーマットを以下の表に示す。
Peak_Luminance(ピーク輝度)は、以下の式に従ってディスプレイのピーク輝度を示す、0〜255の値を有するパラメータである。
ディスプレイピーク輝度(cd/m)=50xPeak_Luminance
これにより、0〜250*50=12750cd/m又は255*100の範囲をカバーする。
伝達曲線はガンマ曲線(ITU601、ITU709等のように)でもよく、非常に高いガンマでもよい(最大10)。いくつかの場合においては、異なる伝達(又は対数)曲線パラメータがより適切である。例えば、ガンマ関数
γ
の代わりに、べき関数
αβx−Δ
を用いてもよい。パラメータα、β、及びΔは所望の特徴付けを提供するよう設定され得る。
したがって、画像処理デバイス103は、追加情報を用いて、例えばガンマベース変更等のグローバル処理等、異なるビデオ及びグラフィックス(又はマルチ画像成分)グレーレベルを決定するための、より高度な決定を下すことができる。ディスプレイが全てのグレー値をどのように再ガンママッピングするか等、より多くの情報を有することによって、ダイナミックレンジプロセッサ203は、ビデオ及び二次画像の最終的な見かけ(及び、例えば部分領域がどの程度大きいか等の幾何学的特性にも応じて、それらが如何に輝度において重複するか等)のために著しく優れた決定を下すことができる。
上記の例において、ディスプレイ107は、ディスプレイが如何に入力表示信号を表示するかを画像処理デバイス103に知らせるディスプレイダイナミックレンジ指標を供給する。具体的には、ディスプレイダイナミックレンジ指標はディスプレイによって適用される駆動値と光出力との間のマッピングを示し得る。したがって、これらの例において、ディスプレイダイナミックレンジ指標は画像処理デバイス103に利用可能なダイナミックレンジ及びこれが如何に表示されるかを知らせ、画像処理デバイス103はダイナミックレンジ変換を自由に適切に適合できる。
しかし、いくつかのシステムにおいて、ディスプレイは画像処理デバイス103によって実行されるダイナミックレンジ変換をいくらか制御できる。具体的には、ダイナミックレンジ指標はダイナミックレンジ変換制御データを含んでもよく、ダイナミックレンジプロセッサ203は、このダイナミックレンジ変換制御データに応じてダイナミックレンジ変換を実行し得る。
制御データは、例えば適用されなければならない、適用されてもよい、又は適用が推奨されるダイナミックレンジ変換の動作又はパラメータを定める。また、制御データは符号化される画像の異なる特徴ごとに異なってもよい。例えば、複数の可能な初期画像に対して個別の制御データを設けてもよく、例えば500ニットLDR画像に対して1つのセットを設け、1000ニット符号化画像に対して他のセットを設けてもよい。
例として、ディスプレイは、受信画像のダイナミックレンジに応じて、どのトーンマッピングがダイナミックレンジプロセッサ203によって実行されるべきかを指定してもよい。例えば、2000ニットディスプレイに対して、制御データは500ニットLDR画像からマッピングする場合に使用されるべき1つのマッピングを指定して、1000ニット画像からのマッピングに使用されるべき他のマッピングを指定してもよい。
いくつかの場合において、制御データはマッピング間の境界を特定してもよく、マッピングは各区間内で既定されている(例えば、コンテンツプロバイダサイド及びレンダリングサイドの両方で標準化されている又は知られている)。いくつかの場合において、制御データは、例えばガンマ値を使用することによって又は特定の変換関数を指定することによって、異なるマッピングの要素を定めるか又はマッピングを正確に指定してもよい。
いくつかの実施形態において、ダイナミックレンジ変換制御データは、受信された画像をディスプレイのダイナミックレンジに対応するダイナミックレンジを有する画像に変換するために実行すべきダイナミックレンジ変換を直接且つ明確に指定してもよい。例えば、制御データは受信された画像の白色点のある範囲に対して、入力画像値から出力画像値への直接マッピングを指定してもよい。マッピングは単純なパラメータとして提供されてもよく、これによってダイナミックレンジプロセッサ203による適切な変換を実現してもよいし、又は特定の参照表若しくは数学的関数等の詳細なデータを提供してもよい。
あまり複雑でない例として、ダイナミックレンジ変換は単純にLDR画像の入力値に区分線形関数を適用することによって改良されたHDR値を生成してもよい(又はHDR画像の入力値に適用することによって改良されたLDR値を生成してもよい)。実際、多くの場合において、図20に示すような2つの直線相関からなる単純なマッピングが使用され得る。
具体的には、上記のように、このようなアプローチは、画像の暗領域を暗く保つ一方、大きく拡大されたダイナミックレンジを用いて明領域を遥かに明るくレンダリングし、且つより生き生きとした改良された中範囲を提供することができる。しかし、厳密な変換は受信画像のダイナミックレンジ及びエンドユーザ対象ディスプレイのダイナミックレンジに依存する。いくつかのシステムにおいて、ディスプレイは、画像処理デバイス103によって実行されるべきトーンマッピングを単純に関数の屈曲点(すなわち、マッピングの直線要素間の交差点)の座標を指定することによって指定できる。
このような単純な関係は、非常に小さいオーバーヘッドで所望のトーンマッピングを伝達できるという点で有利である。実際、単純な2成分データ値によって、画像処理デバイス103によって実行されるべき所望のトーンマッピングを異なるディスプレイのために指定できる。異なる画像に対して異なる「屈曲」点の座標を伝達することができ、また、画像処理デバイス103は、所与の複数の値の間を補間することによって他の入力画像の適切な値を決定できる。
コンテンツプロバイダ装置101からのダイナミックレンジ変換制御データの提供に関連して提供されたコメントのほとんどが、ディスプレイ107から受信されたダイナミックレンジ変換制御データに等しく(適宜)当てはまる。
したがって、いくつかの場合において、ディスプレイ107は、画像処理デバイス103によって実行されるダイナミックレンジ変換を制御し得る。このようなアプローチの利点は、例えば画像処理デバイス103へのユーザ入力又は設定をなんら要することなく、ユーザがディスプレイを制御することによって所望のレンダリング画像を制御できる点である。これは、同じディスプレイに対して複数の画像処理デバイスが用いられる場合に特に好適であり、特に、複数の異なる画像処理デバイスからの画像に均質性をもたらすことを補助し得る。
多くの実施例において、ディスプレイ107からの制御データは実行されるべき具体的なトーンマッピングを指定せず、ダイナミックレンジ変換/トーンマッピングが画像処理デバイス103によって自由に適合され得る範囲の境界を定めるデータを提供してもよい。
例えば図20の曲線の特定の遷移点を指定する代わりに、制御データは遷移点の範囲を定め得る(場合によっては、異なる最大輝度レベルに対して異なる範囲)。したがって、画像処理デバイス103は、ダイナミックレンジ変換が例えば特定のユーザの好みを考慮して特定のディスプレイの好ましい遷移を提供するよう、ダイナミックレンジ変換の所望のパラメータを個別に決定できる。しかし、一方で、ディスプレイはこの自由度を許容可能なレベルに制限できる。
したがって、ダイナミックレンジ変換制御データは、ダイナミックレンジプロセッサ203によって実行されるダイナミックレンジ変換によって適用されなければならない変換パラメータを定めるデータ、及び/又は変換パラメータの範囲を定めるデータを含み得る。制御データは、このような情報を入力画像ダイナミックレンジのある範囲に対して設けることができ、これによって、ダイナミックレンジ変換の異なる受信画像への適合を可能にする。また、制御データ内に明確に含まれていないダイナミックレンジを有する入力画像に対しては、例えば補間によって、利用可能なデータ値から適切なデータ値を生成できる。例えば、2つの直線区間の間の屈曲点が500ニット入力画像及び2000ニット入力画像用に示されている場合、単純な補間によって1000ニット入力画像に適切な値を求めることができる(例えば、この具体例においては単純に平均化によって)。
ダイナミックレンジ変換、及び、付加的な制御データによってディスプレイサイドからダイナミックレンジ変換をどのように制限、適合、及び制御するかの両方に対して、個別のケースの具体的な好み及び要求に応じて、多様なシステムにおいて多様なアプローチを取ることができることを理解されたい。
いくつかの場合において、制御データは単に、例えば中範囲領域において適用され得る適切なマッピングの提案を提供してもよい。このような場合、ディスプレイ製造者は、画像処理デバイス103が、特定のディスプレイ上で視聴された際に高画質を提供すると(例えば、ディスプレイ製造者による手動の最適化によって)判定された提案ダイナミックレンジ変換パラメータを提供する補助を行うことができる。画像処理デバイス103はこれを好適に使用してもよいが、例えば個々のユーザ好みに適合するようマッピングを変更してもよい。
多くの場合において、少なくとも部分的に制御データに基づいて実行されるマッピングは、ガンママッピング、S字曲線、個別の範囲の部分的仕様によって定められた複合マッピング等の比較的複雑でない関数関係である。しかし、当然ながら、いくつかの場合においては、より複雑なマッピングが用いられ得る。
上述のように、制御データは義務的な又は任意の制御データを提供し得る。実際に、受信データは提供されたトーンマッピングパラメータが義務的、許容、又は提案であるかを示す1つ以上のフィールドを含んでもよい。
いくつかのシステムにおいて、ディスプレイは異なるダイナミックレンジに基づいて動作可能な場合がある。例えば、5000ニットの白色点輝度を有する非常に明るいHDRディスプレイは4000ニットの白色点輝度の表示モードで動作することもでき、さらに、3000ニット、2000ニット、1000ニット、そしてわずか500ニットの白色輝度を有するLDRモードで動作してもよい。
このような場合、ディスプレイからのデータ信号は複数の輝度ダイナミックレンジを示し得る。したがって、異なる輝度ダイナミックレンジのそれぞれが、ディスプレイのダイナミックレンジモードに対応し得る。このような構成において、ダイナミックレンジプロセッサ203は輝度ダイナミックレンジの1つを選択することができ、選択された表示ダイナミックレンジに応じてダイナミックレンジ変換を実行し得る。例えば、ダイナミックレンジプロセッサ203は2000ニットのダイナミックレンジを選択してもよく、この白色点輝度に対して生成画像を最適化するダイナミックレンジ変換を実行してもよい。
ディスプレイの適切な輝度ダイナミックレンジの選択は、異なる特徴に依存し得る。いくつかのシステムにおいて、画像処理デバイス103は画像タイプに基づいて適切なダイナミックレンジを選択してもよい。例えば、各レンジが所与の画像タイプに関連付けられてもよく、画像処理デバイス103は受信画像に最も近い画像タイプを選択し、この画像タイプに関連付けられたダイナミックレンジを使用してもよい。
例えば、異なるコンテンツタイプに対応した複数の画像タイプを定めることができる。例えば、1つの画像タイプはアニメに関連付けられ、他の画像タイプはサッカーの試合に、他の画像タイプはニュース番組に、他の画像タイプは映画に関連付けられてもよい。この場合、画像処理デバイス103は受信画像に対して適切なタイプを決定し(例えば、明確なメタデータ又はコンテンツ解析に基づいて)、対応するダイナミックレンジを適用してもよい。これにより、例えばアニメは高コントラスト及び高輝度で非常に鮮やかに表示される一方、例えば暗い映画が不自然にレンダリングされることはない。
したがって、システムはレンダリングされる特定の信号に適合し得る。例えば、品質の悪いコンシューマビデオ、明るく照らされたサッカーの試合、及び良く照らされたニュース番組(例えば、コントラストが低いシーン)を異なる設定で表示することができ、具体的にはレンダリングされる画像のダイナミックレンジを特定の画像のために特に適切なダイナミックレンジに適合できる。
上述のように、ディスプレイは画像処理デバイス103に制御データを供給できる。しかし、いくつかのシステムにおいて、代替的に又は付加的に、画像処理デバイス103がディスプレイ107に制御データを供給してもよい。
したがって、図22に示すように、画像処理デバイス103は、ディスプレイ107に表示制御データ信号を出力可能なコントローラ2201を有し得る。
表示(ディスプレイ)制御信号は、ディスプレイに対して、画像処理デバイス103によって特定の画像のために選択された特定のダイナミックレンジモードで動作するように具体的に指示することができる。したがって、その結果、照明が乏しいアマチュアの画像がローダイナミックレンジでレンダリングされるため、元の画像には存在しない、ハイダイナミックレンジへの変換による許容できないエラーの導入を避けることができる。また、システムは、高画質画像が効果的にハイダイナミックレンジ画像に変換されて表示されるよう、自動的に適合できる。具体的な例として、アマチュアビデオシーケンスの場合、画像処理デバイス103及びディスプレイはビデオを1000ニットダイナミックレンジで表示するよう自動的に適合する。しかし、プロが撮影した高画質画像の場合、画像処理デバイス103及びディスプレイ107は、ディスプレイの最大ダイナミックレンジである5000ニットダイナミックレンジを用いてビデオを表示するよう自動的に適合できる。
したがって、表示制御信号は、「1000ニットダイナミックレンジを使用」、「LDRレンジを使用」、又は「最大ダイナミックレンジを使用」等のコマンドを含むよう生成され得る。
表示制御データは、複数の前方向(画像処理デバイス103からディスプレイへ)のコマンドを供給するために使用され得る。例えば、制御データはディスプレイのための画像処理指示を含み得り、特に、ディスプレイのためのトーンマッピング指標を含み得る。
例えば、制御データは、ディスプレイ107が適用すべき具体的な輝度設定、クリッピング設定、又はコントラスト設定を指定し得る。したがって、画像処理指示は、ディスプレイ107が受信表示信号に対して実行すべき義務的、自主的、又は提案動作を定め得る。したがって、この制御データは、画像処理デバイス103がディスプレイ107によって実行される処理をいくらか制御することを可能にする。
制御データは、例えば適用されるべき又は適用されないべき特定のフィルタリングを指定し得る。他の例として、制御データは、バックライト操作がどのように実行されるべきかを指定する。例えば、ディスプレイはバックライトのローカルディミングを積極的に使用する低電力モードで動作可能であり、また暗領域のレンダリングを改良できる場合にのみローカルディミングを使用する高電力モードで動作可能である。制御データは、ディスプレイの動作モードを切り替えるために使用され得る。
いくつかの例において、制御データはディスプレイによって実行されるべき特定のトーンマッピングを指定してもよいし、又はトーンマッピング関数をスイッチオフすべきこと(これによって、画像処理デバイス103はトーンマッピングを完全に制御できる)を指定してもよい。
いくつかの実施形態において、システムは両方向、すなわち、画像処理デバイス103からディスプレイ107への前方向、及びディスプレイ107から画像処理デバイス103への後方向への両方の制御データを用いることができる。このような場合、潜在的なコンフリクトを解決する動作条件及び規則を導入する必要があり得る。例えば、画像処理デバイス103がディスプレイ107を制御するマスターデバイスであるように構成されて、コンフリクトが起こった場合ディスプレイ107を支配してもよい。他の例として、コンフリクトが起こらないよう、制御データを該2つの方向で特定のパラメータに制限してもよい。
他の例として、ユーザがマスタースレーブ関係を設定してもよい。例えば、画像処理デバイス103及びディスプレイ107はともに他方のエンティティに制御データを供給するよう構成されてもよく、具体的にはともにマスターデバイスとして動作可能であり得る。このようなシステムにおいて、ユーザはデバイスの一方をマスターデバイスに指名し、他方をスレーブにしてもよい。具体的には、ユーザは、自分がシステムを画像処理デバイス103によって制御したいか、又はディスプレイ107によって制御したいかに基づいてこれを選択できる。
したがって、上記システムは、コンテンツプロバイダと画像処理デバイスとの間の通信、及び/又は画像処理デバイスとディスプレイとの間の通信を可能にする。これらのアプローチは、コンテンツプロバイダと画像処理デバイスとの間、及び/又は画像処理デバイスとディスプレイとの間の通信チャネルを特徴とする多くのシステムにおいて適用できる。例としては、BDROM、ATSC及びDVB、又はインターネット等が含まれる。
システムは、HDMI(登録商標)又はDisplayPort通信インターフェイス等の画像処理デバイスとディスプレイとの間の通信チャネルを使用してもよい。この通信は双方向でもよい。例えば、スマートディスプレイが全ての最適ビデオ及びグラフィックスマッピングを行っている場合、画像処理デバイスは、例えば制御パラメータを読み取り、再フォーマットして同様のHDMI(登録商標)構造で送信してもよい。
このアプローチは、具体的にはBDROMシステム内に適用され得る。したがって、このアプローチは対象ディスプレイパラメータ及び制御コマンドの送信を可能にする強化BDROM仕様であり得る。このようなデータを、エンドユーザディスプレイパラメータと組み合わせて使用することによって、BDROMプレイヤーは、例えば、
・対象ディスプレイ及びエンドユーザディスプレイの特徴に応じて、追加のビデオ及び/若しくはグラフィックストーンマッピング又はプレイヤーにおける他の処理を実行できる。
・コンテンツプロバイダによって供給されたデータストリーム内のコマンドによって導かれた追加のビデオ及び/若しくはグラフィックストーンマッピング又はプレイヤーにおける他の処理を実行できる。
いくつかの実施形態において、画像処理デバイス103は、コンテンツプロバイダ装置101にダイナミックレンジ制御データを送信するための送信機を含み得る。したがって、画像処理デバイス103は、コンテンツプロバイダ装置101において実行される処理若しくは動作を制御する、又は処理若しくは動作に少なくとも影響を与えることが可能でもよい。
具体的な例として、制御データは画像にとって好ましいダイナミックレンジの指標を含み得り、特に、エンドユーザディスプレイのダイナミックレンジの指標(例えば、白色点輝度及び任意でEOTF又はガンマ関数)を含み得る。
いくつかの実施形態において、コンテンツプロバイダ装置101は、トーンマッピングの実行にあたり好ましいダイナミックレンジの指標を考慮し得る。しかし、他の実施形態においては、コンテンツプロバイダ装置101は、例えばトーンマッピングの専門家による手動のトーンマッピングを含む複数の既定のトーンマッピングを提供し得る。例えば、500ニットディスプレイ、1000ニットディスプレイ、及び2000ニットディスプレイ用のトーンマッピングされた画像が生成されてもよい。
このような場合、コンテンツプロバイダ装置101は、受信された制御データに基づいて画像処理デバイス103に送信する画像を選択してもよい。具体的には、制御データによって指示されるダイナミックレンジに最も近い画像を選択し、画像処理デバイス103に送信してもよい。
このようなアプローチは、ストリーミング信号が、エンドユーザディスプレイのダイナミックレンジに可能な限り合致できるよう動的に更新され得るストリーミングアプリケーションに適している。
このアプローチは、画像処理デバイス103で適用されなければならないダイナミックレンジ変換の程度を低減し得り、特にコンテンツプロバイダ装置101が、エンドユーザディスプレイと同じダイナミックレンジにトーンマッピングされた画像を提供できる場合、ダイナミックレンジ変換を単純なヌルオペレーションにすることができる(すなわち、画像処理デバイス103が受信された画像をそのまま使用できる)。
本実施形態が有用であり得るケースは多様である。例えば、特定の白色点、意図された白色、又はピクセル画像コンテンツの同様の値の符号化(例えば、ローカルオブジェクトのテクスチャのDCT符号化)は、多様な出力信号の必要なコードレベル対意図された出力輝度の、より優れた割り当てを可能にする。例えば、暗い部屋のテクスチャを、あたかも良く照らされているかのように符号化し(すなわち、暗いシーンの最大輝度、例えば40ではなく、最大でピクセル輝度255を有するように)、「白色」、すなわち255が特定の方法で処理されなければならない、すなわち、暗くレンダリングされなければならないと指定してもよい。これを実行するための単純な方法は、例えばこの255輝度コードに対して、ディスプレイ上にレンダリングすべき出力輝度を共符号化することである。同じことを、例えば強い光が存在する霧がかったシーンにおいて、主に非常に明るい値を符号化するために実行することができる。
ガンマに関しては、これは、例えば材料が漸進的な映画ネガ材料に基づいて符号化されたか、若しくは強い飽和度設定を有するデジタルカメラによって符号化されたか、又は典型的にはレンダリングが起こる最終的なディスプレイにおいて、ガンマがずれる他の原因を示すために用いられてもよい。EOTFは、典型的には例えば異なるガンマを有する、又は異なる視聴環境を有するディスプレイを補償する等、比較的粗いグレー値挙動を異なるガンマとして補償可能に符号化することができる。したがって、「ガンマ=Xの基準ディスプレイ用に符号化/基準ディスプレイを対象とした(例えば、そのために最適化された)信号」等の信号を送信することによって、他の特徴を有する他のディスプレイが、美術家の意図に沿った最適なレンダリングを実現するためには如何に処理をすればよいのかを知ることができる。トーンマッピングは、例えば画像に適用された典型的なレンダリング意図も伝達することができるため、より一般的でもよい(例えば、美術家が雲をより不吉に暗くした等で、これは、如何なるディスプレイレンダリング計算が行われるにせよ、出力表示画像に少なくとも近似的に示される)。
図23を参照して、他の例、すなわち、HDRシーンを(近似的に)LDR画像(例えば、10ビット画像規格であり得る)に符号化する(「HDR_encoded_as_LDR(LDRとして符号化されたHDR)」)原理を説明する。ただし、ここでは、古典的な8ビット画像、すなわち、例えばMPEG2又はAVC規格と互換性があり、したがって古典的なレンダリング技術によって直接用いられ得る画像の符号化の興味深い変形例を説明する。HDR信号には多くのビットを望む場合があるが(例えば、12、16、又は22ビット)、8ビットの輝度チャネルは、あらゆるピーク白色のレンダリングのために十分に多くの情報(多数の選択可能な色、特に、複雑なテクスチャに近づけるための)を伝達する。また、多くのHDR信号は大幅な近似を許容する。例えば、太陽は表示の際にはいずれにせよ近似されるので、太陽が実際に有する正確な輝度でもって符号化される必要がないからである。LDRレンジの輝度に関しては、例えば6ビットで画像の適切な近似/画質が提供されるので(印刷から知られているように)、より少ないビットでも多くの場合十分である。
したがって、この例において、典型的には単純である適切なマッピング、すなわち、少なくともピクセルの輝度に対して数学的変換を適用することによって、HDR画像を正確に8ビット輝度構造内に符号化する。基準は、一方では(変換を共符号化することによって)、共符号化マッピングを逆転することによって(後補正を全く又は大きくは必要とせず)LDR8ビット符号化画像からHDR画像(すなわち、例えば0.1〜5000ニットディスプレイレンダリングを対象とした8又は12ビット補間近似)を再構成することができる、すなわち、HDR画像は心理視覚的に(ほぼ)見分けがつかなくなる、又は少なくとも良好なHDR画像に見えることである(すなわち、典型的には、HDRシーンは、例えば元の12ビットHDR画像IM_HDRが、そのレンダリングされるべき輝度のHDRレンジHDR_Rngで直接生成された場合、どのようにレンダリングされるかに近似される)。しかし、一方、例えば8ビット信号が0.1−400ニットのLDRディスプレイに直接適用される場合、良好な視覚的レンダリングを可能にするLDR画像が望まれる。例えば、最も重要でないビットを落とし(ドロップし)、白色(最大コード値255)が400ニットでレンダリングされることを意図されたと見なすことによって、単純にHDR画像IM_HDRをLDRレンジLDR_Rngに線形圧縮してもよい。しかし、かかるHDR画像は典型的には非常に明るいオブジェクトを輝度範囲の上側に含むため、かかる8ビット画像はLDRディスプレイでは過度に暗く見える。これは、関連する画像/シーンの暗部は非常に低い輝度コード、すなわち、ディスプレイ出力輝度を有することになるからである。しかし、HDR/12ビット/5000ニット画像から古典的な例えばLDR/8ビット/400ニットAVC表示への符号化の前に、最適なガンマを適用するだけで多くの改良を達成することができる。すなわち、このガンマは、明るいオブジェクトを比較的明るい部分にマッピングするとともに(例えば、HDRへの適切な逆マッピングを実行するのに十分な情報を保ちつつ、LDRディスプレイ上で許容可能な程度にコントラスト及びパステルを下げる)、暗いオブジェクトがLDRディスプレイ上でも適度に明るく見えるよう(また、暗い視聴環境に対する良好なHDR暗部を再作成できるように、又はHDRディスプレイ上でこれらのオブジェクトをより明るく符号化するために十分なテクスチャデータが利用可能であるように)、暗部(例えば、暗い木)を過度につぶさないことによって最適に協調される。
一般的に、かかるマッピングは輝度に対する全体的なグローバル変換であり得る(すなわち、マッピングは、ピクセルが画像内のどこに存在するか、隣接するピクセルの輝度は何か、どのようなシーンオブジェクトか等の幾何学的な局所的な詳細を考慮せず、入力としてピクセルの輝度値のみを取る)。画像内の境界が画定された部分領域又はオブジェクトのみの変換等、幾分かより複雑なマッピングを共符号化してもよい(ローカルマッピング:この場合、典型的にはオブジェクトの境界を既定する等追加の情報が共符号化される)。しかし、一般的には任意の変換を開示の実施形態とともに使用できると理解することができるが、これらの最適マッピングを定める典型的にはグレーディング担当者の作業量を減らすためだけであれば、変換は典型的には少数且つ単純である(S字曲線又は複数点スプライン等の全体的なグローバル関数で十分な場合、ローカルマッピングは符号化されない)。
コンテンツ作成サイド画像符号化装置510を有し、典型的には(典型的には、AVC又はHEVCに規定される等のある画像信号構造S内のメタデータMETとして、変換/マッピング関数又はアルゴリズム戦略によって包囲される)8ビットLDR画像Im_1である出力画像のメモリ(記憶又は送信される信号の最終的な符号化のためのblu−ray(登録商標)ディスク511又は一時メモリ)への符号化が手動によって最適化された例を説明する。このグレーディング担当者は、1つ以上のディスプレイ530上で画像を確認することができ、例えば、(8ビット輝度へのマッピングを行う)画像符号化ユニット550、及び現在使用されている画像符号化規格に従って画像及び色コードをファイナライズするフォーマッタ554に指示を送る前に、LDR画像及び再現可能HDR画像が基準LDRディスプレイ及び基準HDRディスプレイ上でそれぞれ適当に見えるかを確認し、テクスチャ画像を出力512への変換のメタデータとともに共符号化してもよい。
上部において、LDRディスプレイ上にレンダリングされる場合、HDR輝度レンジを有する(画像符号化装置510の入力511を介して入力される)HDR画像IM_HDRが如何にしてLDR輝度レンジを有するLDR画像にマッピングされるかを示す。
「LDRとして符号化されたHDR」を、コンシューマの家等のコンテンツ使用サイドへの送信のためのコンテンツ作成サイドでの符号化について説明したが、もちろん、例えばホームネットワーク内の2つの家庭用装置等の異なる装置間での伝送(トランスコーディング)の際にも同じ「LDRとして符号化されたHDR」の実施形態を使用することができる。この場合、例えば自動画像解析及びマッピングユニットが、自動画像解析及び対応する輝度マッピング方法を適用してもよい。これは、例えば12ビットHDR画像等の第1画像表示を受け取りそれをHDMI(登録商標)又は他のネットワーク接続を介してテレビに送信する場合に、コンテンツ受信又は記憶装置によって実行されてもよい。又は、8ビットLDR画像は、HDR能力を有するが、視覚的な品質が悪い携帯型ディスプレイへのストリーミングのための無線規格に従って又は対して符号化してもよい。
典型的には、少なくとも新しいHDR規格に関して、古典的なLDRスキーム(MPEG)における8ビット符号化(例えば、8ビット輝度及び彩度の通常の2x8ビット符号化)が行われる場合、規格はメタデータ内に、このLDR画像が実際には主にLDRディスプレイに向けられたLDR画像ではなく(とはいえ、該画像は、例えば100ニットピーク輝度又はピーク白色を有するLDRディスプレイ上に適切に映るよう作成されていてもよい)、HDR画像であると注釈をつける。これは、例えば約3500ニットのピーク輝度を有するHDRディスプレイにおいて適切なレンダリングを与えると仮定される一般的なHDRコードを用いて行われてもよい。メタデータ内に共符号化される第1対象ディスプレイリファレンスは幾分かより具体的でもよく、例えばこのHDR信号は元々5000ニットディスプレイ上でグレーディングされた。これは、画像オブジェクトの実際の輝度(LDR輝度にマッピングされたときにも)が、5000ニットディスプレイ上に通常レンダリングされるものに応じた値を有することを意味する(例えば、16ビットHDR生グレーディングにおいて、高輝度のサブレンジを残し、通常の輝度のシーンオブジェクト(典型的にはシーン内のメインオブジェクト)をより深い輝度値に向かわせる)。この場合、実際の3500ニット又は2500ニットディスプレイは、信号が依然として適切な画像を与えると仮定して単純にHDR信号によってディスプレイを駆動するのではなく(ピーク輝度は、意図された値5000ニットの周辺の範囲内)、品質基準に従って実際のディスプレイガマットに最適にガマットマッピングするための色変換関数をさらに最適化できる(例えば、出力輝度の類似性、又はHDR効果に関する心理視覚的外観品質基準等)。場合によっては、最終的なHDR_encoded_as_LDR画像(例えば、250ニットディスプレイ上で最も適切に見え、より高い又はより低いピーク輝度においてわずかな人工物を示し始め、場合によってはこのような人工物を、レンダラーが人工物の補正を試みることができるよう、好ましくは関数的な方法(例えば、幾何学的位置等)でさらに明示する)のための第2ピーク輝度値を共符号化してもよい。
HDRディスプレイとは、ピーク輝度が750ニットより高いディスプレイを指し、より低いピーク輝度を有するディスプレイ、特に500ニット未満のディスプレイをLDRディスプレイとする。
LDR画像から再現されたHDR信号(典型的には、単に共符号化されたマッピングを逆転させることによって導き出されるが、受信側装置が量子化境界緩和画像処理等を適用する等追加の処理を実行してもよい)のLDRレンダリング及びHDRレンダリングの判定のための既定の画質基準は、数学的アルゴリズムであってもよいし、配信のための最終的な画像コーディングのための符号化の際にオペレータが十分に良いと判定してもよい。人によって適用される画質推定法、及びソフトウェアによって符号化される画質推定法は、ともに次のような画像解析基準を適用する:多様な領域において、特に画像の中央領域において十分な(ローカル)コントラストがあるか(すなわち、元の例えばマスタネガスキャン12又は14ビットHDR画像の可視性を十分に維持しているか)、量子化境界等の人工物が多く存在するか、そしてそのステップの大きさ又は幅はどの程度か、輝度ヒストグラムの十分な空間的サブモードがあるか(元の映画的な見かけ/意図が維持されているか)、具体的には、空間的に分離されたオブジェクトが十分な領域間コントラストを有するか等。そして特に、例えば接続された複数の装置からなるネットワーク化されたシステムに元の画像が存在する場合、送信装置(例えばセットトップボックス)は、再現可能なHDR信号がその位置に存在する元の例えば12ビットHDR信号に十分近いかを判定する(MSE若しくはPSNR等の数学的な基準、又は心理視覚的に重み付けされた差等に基づいて実行され得る)。例えば、自動的な輝度変換、及び対応する自動色調整(例えば、ガンマ関数若しくは同様のべき関数、例えば典型的なシーン内の中間輝度等のファクタで曲がるS字曲線、又は小さな輝度領域を検出して各自のサブレンジ及び対応するマッピング関数を与える等の画像解析等でもよい)の後、カラーグレーディング担当者は、(例えば初めに16ニットオリジナルHDRにマスタグレーディングを行った後)さらにHDR_encoded_as_LDR画像をカラーグレーディングする。したがって、一方では、これは良好且つ利用可能なLDRグレーディングを与えるために実行されるが、他方では再現可能なHDRを与えることもでき、したがって、重要な情報を含む領域を十分なコード値を有するLDRレンジの部分領域に割り当てることが可能であり、それらをLDR上で良好なレンダリングを示す「平均」輝度レンジにシフトできる(例えば、暗領域が良く見えるよう暗すぎないが、雰囲気を伝えるのには十分暗い)。典型的には、カラーグレーディング担当者は、自動的な輝度/カラーマッピング関数を微調整することによってこれを達成できる。少なくとも、輝度は正確に配置されるべきであり、色はその後そこから開始して最適化できる。例えば、LDRレンダリングにおいてある背景の領域が薄暗い場合、カラーグレーディング担当者は、LDRレンダリングの他の部分において悪化せず、また当然ながら再現可能なHDR画像の逆マッピングにより臨界未満な品質にならないことを前提として、これらのピクセルに対応する部分においてグローバルマッピング関数をさらに調整してもよい。原則として、カラーグレーディング担当者は、レンダリングの前にレンダラーが考慮することができるよう、画像の残りの部分とは別の表示ピーク輝度、又はガンマ等に対応できるよう空間的に局所的な画像領域をグレーディングする(1回目、又はその領域の第1画像符号化の後の2回目であると仮定して)ことさえ選択できる。これは、例えば暗領域を強調するのに有益であり得るが、一般的には、物は単純に1つのHDR対象ディスプレイ符号化に固定されたままである。したがって、HDRからLDRへのグローバルマッピング関数(又はその逆のLDRからHDRへのマッピング)、及び、適用可能な場合は更なる変換データも共符号化される。レガシーシステムはその全てを無視し、原則的には、第1対象ディスプレイリファレンス及び他の情報が画像符号化信号から落ちていたとしても、古典的な符号化LDR画像を用いることができる。ただし、これは一般的には、例えばアップグレードのために備えられ、古いシステムによっては無視されるが新しいシステムによっては使用されるデータのセクタに書き込まれる。HDR画像復号化ボックスは、このデータが古いLDRディスプレイに関連付けられていたとしても、このデータを一見する。単にLDR信号をディスプレイに適用してレンダリングを駆動する代わりに、色変換、全ての与えられたローカルなファクタ、及び全ての追加メタデータ情報によって、いくらかLDR信号を改良することができる(単純に対象の種類のディスプレイを使用し、現在のレンダリング環境と、グレーディング担当者が作業を行っていた対象のレンダリング環境との類似性に基づいて、LDR入力信号を「盲目的に」変換するか、又はさらにLDR符号化と元のHDR符号化との間のマッピング関数内のいくらか又は全ての情報であって、両者の違いに関する何らかの情報、すなわち、元のシーンのHDR特性及び構成、並びに/又はグレーディングされたHDR信号を用いることによって)。
このような信号は、あらゆるHDR可能システムが、実際にはLDR画像として符号化されたHDR画像を有することを知り、レンダリングの前にそのHDR画像を最適に再現することが可能でありながら、後方互換性を有し、レガシーLDRシステムはレンダリングのためにLDR画像をそのまま使用できる。
例えば、複数のHDRディスプレイのための複数のHDRグレーディングの符号化、複数のLDR符号化、複数の再グレーディング、ディスプレイレンダリングタイプとしても見なすことができる視聴環境の変化等の異なる状況のための複数の代替例等、発明者らの教示からどのような組み合わせをつくることができるかは、当業者にとって明らかであろう。8ビットレガシー符号化等の具体的なパラメータについて述べるとき、当然ながら例えば10ビットLDR符号化技術においても同じことが可能であることが理解されるべきであり、あらゆる変形例、組み合わせ、又は単純な代替例を保護から除外することを望まない。したがって、本願の特許請求の範囲の教示は、当然ながら組み合わせることができ、特に明細書からかかる変形例が不可能且つ意図されないことが明らかでない限り、簡単にともに読み取ることができる変形例の冗長且つ明瞭な記載がなくとも、そのように記載されていると考えるべきである。当然ながら、符号化は、プロフェッショナル用又はモバイルコンシューマ用の、セキュリティシステム、ニュース収集等の複数の用途等、多様な場合において用いることができる。符号化は、IC若しくはマルチチップ、又はネットワーク化された技術システム等の任意の技術システム内において、大部分が自動的に使用できる。本発明のいくつかの部分は、別個のビジネスアプリケーションを形成し得る。例えば、既にその方法でグレーディングされていたが、今度は改良される、又は新しい一般的なディスプレイ若しくは表示方法のため等の種類のグレーディングを欠く、既存の画像符号化への再グレーディングとして任意のグレーディングを実行できる。
上記説明において、発明の実施形態は、明瞭さのために異なる機能的回路、ユニット、及びプロセッサに関連して説明されたことを理解されたい。しかし、本発明から逸脱することなく、異なる機能的回路、ユニット、又はプロセッサ間で、機能を適切に分配することが理解されるであろう。例えば、別々のプロセッサ又はコントローラによって実行されるように説明された機能が、同じプロセッサ又はコントローラによって実行されてもよい。したがって、特定の機能的ユニット又は回路への言及は、あくまで説明される機能を提供するための適切な手段に言及しているにすぎないと解されるべきであり、厳密な論理的又は物理的な構造又は構成を指すものではない。
全ての方法の実施形態及び教示は対応する装置に対応し、場合によっては出力信号又は実施形態等の他のプロダクトに対応し、その逆もあり得る。本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む任意の適切な形態で実装され得る。本発明は、任意で、1つ以上のデータプロセッサ及び/又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装され得る。本発明の実施形態の要素及び部品は、物理的に、機能的に、及び論理的に任意の適切な方法で実装され得る。実際、機能は単一のユニット、複数のユニット、又は他の機能ユニットの一部として実装されてもよい。よって、本発明は単一のユニット内に実装されてもよく、異なるユニット、回路、及びプロセッサ間で物理的及び機能的に分配されてもよい。
本発明は、いくつかの実施形態と関連して説明されたが、本明細書に記載の特定の
形態に限定されることは意図しない。本発明の範囲は、付属の特許請求の範囲によってのみ限定される。また、ある特徴が特定の実施形態と関連して説明されているように見えたとしても、当業者は、説明された実施形態の様々な特徴が本発明に従って組み合わせられることを認識するであろう。特許請求の範囲において、含む(又は有する若しくは備える)という用語は他の要素又はステップの存在を除外しない。
また、個別に列挙されていても、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット、又はプロセッサによって実現され得る。また、個別の特徴が異なる請求項内に含まれているとしても、場合によってはこれらを好適に組み合わせることができ、これらの請求項内に含まれていることは、特徴の組み合わせが不可能且つ/又は不利であることを意味しない。また、1つの請求項カテゴリ内に、ある特徴が含まれていたとしても、このカテゴリには限定されず、該特徴は適宜他の請求項カテゴリに等しく適用可能である。また、請求項内の特徴の順番は特徴が働かなければならない具体的な順番を示すものではなく、特に、方法クレーム内の個別のステップの順番はその順番でステップが実行されなければならないことを意味しない。むしろ、ステップは任意の適切な順番で実行できる。また、要素は複数を除外しない。請求項内の参照記号は単に明瞭化のための例として提供されるものであり、特許請求の範囲をいかなる意味でも限定すると解されるべきではない。

Claims (24)

  1. 画像信号を受信するための受信機であって、前記画像信号は少なくとも第1符号化画像及び第1対象ディスプレイリファレンスを含み、前記第1対象ディスプレイリファレンスは、前記第1符号化画像が符号化において対象とした第1対象ディスプレイのダイナミックレンジを示す、受信機と、
    前記第1対象ディスプレイリファレンスに応じて、前記第1符号化画像にダイナミックレンジ変換を適用することによって出力画像を生成するダイナミックレンジプロセッサと、
    前記出力画像を含む出力画像信号を出力するための出力部と
    を含み、
    前記第1対象ディスプレイリファレンスは、前記第1対象ディスプレイ用の電気光変換関数指標を含む、画像処理装置。
  2. 前記第1対象ディスプレイリファレンスは、前記第1対象ディスプレイ用の前記第1符号化画像を生成するために用いられるトーンマッピングを表すトーンマッピング指標を含む、請求項1に記載の画像処理装置。
  3. 前記画像信号は、ダイナミックレンジ変換制御データを含むデータフィールドをさらに含み、前記ダイナミックレンジプロセッサは、前記ダイナミックレンジ変換制御データに応じて前記ダイナミックレンジ変換を実行する、請求項1又は2に記載の画像処理装置。
  4. 前記ダイナミックレンジプロセッサは、MPEG−AVC符号化等のレガシーLDR符号化として符号化されたLDR画像である前記第1符号化画像を検出し、前記画像信号に関連付けられたメタデータから、前記第1対象ディスプレイリファレンスに対応するダイナミックレンジ変換を読み取り、前記第1符号化画像に前記ダイナミックレンジ変換を適用することによって、前記第1対象ディスプレイ上でのレンダリングのためにグレーディングされたハイダイナミックレンジ画像である出力画像を生成する、請求項1に記載の画像処理装置。
  5. 前記ダイナミックレンジ変換制御データは、異なる表示最大輝度レベルに対して異なるダイナミックレンジ変換パラメータを有する、請求項3に記載の画像処理装置。
  6. 前記ダイナミックレンジ変換制御データは、異なる表示最大輝度レベルに対して異なるトーンマッピングパラメータを有し、前記ダイナミックレンジプロセッサは、前記異なるトーンマッピングパラメータ及び出力画像信号の最大輝度に応じて、前記ダイナミックレンジ変換のためのトーンマッピングパラメータを決定する、請求項3又は5に記載の画像処理装置。
  7. 前記ダイナミックレンジ変換制御データは、前記ダイナミックレンジ変換によって適用されなければならない変換パラメータのセットを定める、請求項3又は5に記載の画像処理装置。
  8. 前記ダイナミックレンジ変換制御データは、前記ダイナミックレンジ変換によって適用されるべき変換パラメータの範囲を定めるデータを含む、請求項3、5、及び7のいずれか一項に記載の画像処理装置。
  9. 前記ダイナミックレンジ変換制御データは、異なる画像カテゴリに対して異なる変換制御データを含む、請求項3又は5に記載の画像処理装置。
  10. 前記第1対象ディスプレイのダイナミックレンジの最大輝度は、1000ニット以上である、請求項1に記載の画像処理装置。
  11. 前記画像信号は、第2符号化画像及び第2対象ディスプレイリファレンスを含み、前記第2対象ディスプレイリファレンスは、前記第2符号化画像が符号化において対象とした第2対象ディスプレイのダイナミックレンジを示し、前記第2対象ディスプレイのダイナミックレンジは、前記第1対象ディスプレイのダイナミックレンジとは異なり、
    前記ダイナミックレンジプロセッサは、前記第2対象ディスプレイリファレンスに応じて前記第2符号化画像にダイナミックレンジ変換を適用する、請求項1に記載の画像処理装置。
  12. 前記ダイナミックレンジプロセッサは、前記第1符号化画像及び前記第2符号化画像を組み合わせることによって出力画像を生成する、請求項11に記載の画像処理装置。
  13. ディスプレイからデータ信号を受信するための受信機であって、前記データ信号は、前記ディスプレイのディスプレイダイナミックレンジ指標を含むダイナミックレンジ指標を含み、前記ディスプレイダイナミックレンジ指標は少なくとも1つの輝度仕様を含む、受信機をさらに含み、
    前記ダイナミックレンジプロセッサは、前記ディスプレイダイナミックレンジ指標に応じて前記第1符号化画像にダイナミックレンジ変換を適用する、請求項1に記載の画像処理装置。
  14. 前記ダイナミックレンジプロセッサは、前記第1対象ディスプレイリファレンスに応じて、前記第1符号化画像を出力画像として生成するか、又は前記第1符号化画像の変換画像を出力画像として生成するかを選択する、請求項1に記載の画像処理装置。
  15. 前記ダイナミックレンジ変換は、ガマット変換を含む、請求項1に記載の画像処理装置。
  16. 前記画像信号の発信源にダイナミックレンジ制御データを送信するための制御データ送信機をさらに含む、請求項1に記載の画像処理装置。
  17. 8ビット画像信号である前記画像信号を受信して、少なくとも前記第1対象ディスプレイリファレンスに基づいて前記画像信号に輝度マッピングを適用し、高ダイナミックレンジ出力信号を取得する、請求項1に記載の画像処理装置。
  18. 符号化画像を受信するための受信機と、
    前記符号化画像、及び前記符号化画像が符号化において対象とした対象ディスプレイのダイナミックレンジを示す対象ディスプレイリファレンスを含む画像信号を生成するための生成器と、
    前記画像信号を送信するための送信機と
    を含み、
    前記対象ディスプレイリファレンスは、前記対象ディスプレイ用の電気光変換関数指標を含む、画像信号符号化装置。
  19. 前記対象ディスプレイリファレンスは、前記第1対象ディスプレイ用の前記第1符号化画像を生成するために用いられるトーンマッピングを表すトーンマッピング指標を含む、請求項18に記載の画像信号符号化装置。
  20. 前記生成器は、ダイナミックレンジ変換制御データを含むデータフィールドを含むよう、前記画像信号を生成し、前記ダイナミックレンジ変換制御データは、前記符号化画像のためのダイナミックレンジ変換のパラメータを示す、請求項18に記載の画像信号符号化装置。
  21. 画像符号化ユニットであって、輝度がピクセルあたり8ビットより高いビットを用いて、400ニットより高いニットを有するディスプレイピーク輝度を対象として符号化された、HDR画像である、前記受信機によって受信された前記符号化画像を、マッピング関数又はアルゴリズムによってピクセルあたり8ビット輝度の画像に符号化し、前記マッピング関数又はアルゴリズムは、このピクセルあたり8ビット輝度画像のLDRディスプレイ上でのLDRレンダリング、及びHDRディスプレイ上でレンダリングされる場合の前記ピクセルあたり8ビット輝度画像から再現可能なHDR画像のHDRレンダリングは、ともに既定の品質基準に従って十分な品質を有することによって特徴付けられ、また、前記マッピング関数又はアルゴリズムを一意的に特徴付けるためのデータが、前記第1対象ディスプレイリファレンス内に共符号化されることによって特徴付けられる当該画像符号化ユニットを含む、請求項18に記載の画像信号符号化装置。
  22. 画像信号を受信するステップであって、前記画像信号は、少なくとも第1符号化画像及び第1対象ディスプレイリファレンスを含み、前記第1対象ディスプレイリファレンスは、前記第1符号化画像が符号化において対象とした第1対象ディスプレイのダイナミックレンジを示し、前記第1対象ディスプレイリファレンスは、電気光変換関数指標を含む、受信するステップと、
    前記第1対象ディスプレイリファレンスに応じて、前記第1符号化画像にダイナミックレンジ変換を適用することによって出力画像を生成するステップと、
    出力画像を含む出力画像信号を出力するステップと
    を含む、画像処理方法。
  23. 符号化画像を受信するステップと、
    前記符号化画像、及び前記符号化画像が符号化において対象とした対象ディスプレイのダイナミックレンジを示し、電気光変換関数指標を含む、対象ディスプレイリファレンスを生成するステップと、
    前記画像信号を送信するステップと
    を含む、画像信号を送信する方法。
  24. コンピュータプログラムであって、前記プログラムがコンピュータ上で動作されると、請求項22又は請求項23の全ステップを実行するコンピュータプログラムコード手段を含む、コンピュータプログラム。
JP2017082502A 2011-09-27 2017-04-19 画像のダイナミックレンジ変換のための装置及び方法 Active JP6430577B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP11182922.2 2011-09-27
EP11182922 2011-09-27
US201261588731P 2012-01-20 2012-01-20
US61/588,731 2012-01-20
EP12160557.0 2012-03-21
EP12160557 2012-03-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014531357A Division JP6133300B2 (ja) 2011-09-27 2012-09-20 画像のダイナミックレンジ変換のための装置及び方法

Publications (2)

Publication Number Publication Date
JP2017184238A JP2017184238A (ja) 2017-10-05
JP6430577B2 true JP6430577B2 (ja) 2018-11-28

Family

ID=47994354

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014531358A Active JP6407717B2 (ja) 2011-09-27 2012-09-20 画像のダイナミックレンジ変換のための装置及び方法
JP2014531357A Active JP6133300B2 (ja) 2011-09-27 2012-09-20 画像のダイナミックレンジ変換のための装置及び方法
JP2017012068A Active JP6509262B2 (ja) 2011-09-27 2017-01-26 画像のダイナミックレンジ変換のための装置及び方法
JP2017082502A Active JP6430577B2 (ja) 2011-09-27 2017-04-19 画像のダイナミックレンジ変換のための装置及び方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2014531358A Active JP6407717B2 (ja) 2011-09-27 2012-09-20 画像のダイナミックレンジ変換のための装置及び方法
JP2014531357A Active JP6133300B2 (ja) 2011-09-27 2012-09-20 画像のダイナミックレンジ変換のための装置及び方法
JP2017012068A Active JP6509262B2 (ja) 2011-09-27 2017-01-26 画像のダイナミックレンジ変換のための装置及び方法

Country Status (16)

Country Link
US (6) US10916000B2 (ja)
EP (2) EP2745290A1 (ja)
JP (4) JP6407717B2 (ja)
KR (1) KR101972748B1 (ja)
CN (3) CN103827956B (ja)
AU (4) AU2012313936B2 (ja)
BR (2) BR112014006977B1 (ja)
CA (2) CA2850037C (ja)
IN (1) IN2014CN01863A (ja)
MX (2) MX2014003554A (ja)
PE (1) PE20141864A1 (ja)
PH (1) PH12017502053A1 (ja)
RU (3) RU2643485C2 (ja)
UA (1) UA116082C2 (ja)
WO (2) WO2013046095A1 (ja)
ZA (2) ZA201403081B (ja)

Families Citing this family (317)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638264B2 (ja) * 1990-07-30 1997-08-06 ヤマハ株式会社 電子楽器用コントローラ
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
EP4155898A1 (en) 2011-12-06 2023-03-29 Dolby Laboratories Licensing Corporation Method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
US10242650B2 (en) 2011-12-06 2019-03-26 Dolby Laboratories Licensing Corporation Perceptual luminance nonlinearity-based image data exchange across different display capabilities
TWI586150B (zh) * 2012-06-29 2017-06-01 新力股份有限公司 影像處理裝置及非暫態電腦可讀儲存媒體
KR102037716B1 (ko) * 2012-11-23 2019-10-30 삼성디스플레이 주식회사 디스플레이 장치의 감마 데이터 저장 방법, 디스플레이 장치 및 디스플레이 장치의 구동 방법
US9332215B1 (en) * 2013-01-23 2016-05-03 Rockwell Collins, Inc. System and method for displaying to airborne personnel mission critical high dynamic range video on a low resolution display
JP6420540B2 (ja) * 2013-02-04 2018-11-07 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
IN2015KN02510A (ja) 2013-02-21 2015-09-11 Dolby Lab Licensing Corp
US10055866B2 (en) * 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
EP2959676B1 (en) 2013-02-21 2020-09-23 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
WO2014128586A1 (en) 2013-02-21 2014-08-28 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
WO2014204865A1 (en) 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
CA2914978C (en) * 2013-06-20 2022-05-03 Sony Corporation Reproduction device, reproduction method, and recording medium
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI684364B (zh) * 2013-06-21 2020-02-01 日商新力股份有限公司 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式
CN105324988B (zh) 2013-06-24 2019-12-06 索尼公司 再现装置、再现方法以及记录介质
JP2015008360A (ja) 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
US10171787B2 (en) * 2013-07-12 2019-01-01 Sony Corporation Reproduction device, reproduction method, and recording medium for displaying graphics having appropriate brightness
EP3024222A4 (en) * 2013-07-14 2017-01-18 LG Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
JP6368365B2 (ja) * 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
RU2654049C2 (ru) 2013-07-19 2018-05-16 Конинклейке Филипс Н.В. Транспортировка hdr метаданных
JP6241683B2 (ja) * 2013-08-20 2017-12-06 ソニー株式会社 再生装置、再生方法、および記録媒体
US9264683B2 (en) 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
US9712781B2 (en) 2013-09-06 2017-07-18 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra-high definition broadcasting signal for high dynamic range representation in digital broadcasting system
KR102113178B1 (ko) * 2013-09-12 2020-05-21 삼성디스플레이 주식회사 표시 장치 및 액정 표시 장치
JP6459969B2 (ja) * 2013-09-27 2019-01-30 ソニー株式会社 再生装置、再生方法
US9448771B2 (en) 2014-10-17 2016-09-20 Duelight Llc System, computer program product, and method for generating a lightweight source code for implementing an image processing pipeline
US9460118B2 (en) 2014-09-30 2016-10-04 Duelight Llc System, method, and computer program product for exchanging images
US9361319B2 (en) 2013-09-30 2016-06-07 Duelight Llc Systems, methods, and computer program products for digital photography
US9508133B2 (en) 2014-11-18 2016-11-29 Duelight Llc System and method for generating an image result based on availability of a network resource
US20230061404A1 (en) * 2013-09-30 2023-03-02 Duelight Llc System, method, and computer program product for exchanging images
ES2929313T3 (es) 2013-10-10 2022-11-28 Dolby Laboratories Licensing Corp Visualización de contenido DCI y otro en un proyector de rango dinámico mejorado
JP6202330B2 (ja) 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
CN105684412B (zh) * 2013-10-22 2017-04-26 杜比实验室特许公司 用于扩展动态范围图像的引导颜色分级
RU2767328C2 (ru) * 2013-11-04 2022-03-17 Долби Лэборетериз Лайсенсинг Корпорейшн Одно- и многомодуляторные проекционные системы с глобальным регулированием яркости
WO2015073377A1 (en) 2013-11-13 2015-05-21 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of edr video
WO2015076608A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 비디오 처리 방법 및 비디오 처리 장치
CN105745914B (zh) 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
BR112016012417B1 (pt) 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
CN105850129B (zh) * 2013-12-27 2019-06-14 汤姆逊许可公司 对高动态范围图像进行色调映射的方法及设备
US10182242B2 (en) 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
WO2015096647A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for major color index map coding
EP3087742B1 (en) 2013-12-27 2020-09-23 HFI Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
EP3061247A4 (en) 2014-01-07 2016-08-31 Mediatek Inc METHOD AND APPARATUS FOR COLOR INDEX PREDICTION
RU2667083C1 (ru) * 2014-01-24 2018-09-14 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
DE202015009982U1 (de) * 2014-02-07 2022-08-02 Sony Group Corporation Übertragungsvorrichtung, Empfangsvorrichtung und Anzeigevorrichtung
KR20150099672A (ko) * 2014-02-22 2015-09-01 삼성전자주식회사 전자 장치 및 그것의 디스플레이 제어 방법
CN106031172B (zh) 2014-02-25 2019-08-20 苹果公司 用于视频编码和解码的自适应传递函数
CN109089014B (zh) 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
WO2015143351A1 (en) * 2014-03-21 2015-09-24 Futurewei Technologies, Inc. Advanced screen content coding with improved color table and index map coding methods
US10306306B2 (en) * 2014-05-12 2019-05-28 Sony Corporation Communication device and communication method to process images
US10404937B2 (en) 2014-05-15 2019-09-03 Sony Corporation Communication device and communication method
JP6751901B2 (ja) * 2014-05-16 2020-09-09 パナソニックIpマネジメント株式会社 輝度変換方法、輝度変換装置および映像表示装置
CN110278345B (zh) * 2014-05-16 2022-08-02 松下知识产权经营株式会社 变换方法、变换装置以及图像显示装置
JP6571073B2 (ja) * 2014-05-20 2019-09-04 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
US10091512B2 (en) 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
RU2667034C2 (ru) 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
US9786251B1 (en) * 2014-05-28 2017-10-10 Musco Corporation Apparatus, method, and system for visually indicating perceived glare thresholds
JP6643669B2 (ja) * 2014-06-10 2020-02-12 パナソニックIpマネジメント株式会社 表示装置および表示方法
CN110460745B (zh) 2014-06-10 2022-03-08 松下知识产权经营株式会社 显示装置
WO2015190045A1 (ja) * 2014-06-10 2015-12-17 パナソニックIpマネジメント株式会社 変換方法および変換装置
JP6531759B2 (ja) * 2014-06-13 2019-06-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015194101A1 (ja) * 2014-06-16 2015-12-23 パナソニックIpマネジメント株式会社 再生方法および再生装置
EP2958075A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and apparatus for dynamic range expansion of LDR video sequence
MX357793B (es) * 2014-06-23 2018-07-25 Panasonic Ip Man Co Ltd Metodo de conversion y aparato de conversion.
WO2015198552A1 (ja) * 2014-06-25 2015-12-30 パナソニックIpマネジメント株式会社 コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法
MX358934B (es) * 2014-06-26 2018-09-10 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos.
MX2019005231A (es) * 2014-06-27 2019-09-10 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos.
MX364635B (es) * 2014-06-27 2019-05-03 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, método de salida de datos y método de generación de datos.
MX2019008149A (es) * 2014-06-30 2019-09-05 Panasonic Ip Man Co Ltd Metodo de reproduccion de datos y dispositivo de reproduccion de datos.
MX366401B (es) 2014-06-30 2019-07-08 Panasonic Ip Man Co Ltd Metodo de reproduccion de datos y dispositivo de reproduccion de datos.
US9613407B2 (en) 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP6478499B2 (ja) * 2014-07-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
EP3944241A3 (en) * 2014-08-07 2022-05-04 Panasonic Intellectual Property Corporation of America Decoding system and decoding method
JP6466258B2 (ja) * 2014-08-07 2019-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生装置、再生方法および記録媒体
WO2016021809A1 (ko) * 2014-08-08 2016-02-11 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
JP7053259B6 (ja) * 2014-08-08 2022-06-01 コーニンクレッカ フィリップス エヌ ヴェ Hdr画像をエンコードする方法及び装置
TWI539433B (zh) * 2014-08-13 2016-06-21 友達光電股份有限公司 曲面顯示裝置及其伽馬校正方法
MX366637B (es) * 2014-08-19 2019-07-17 Panasonic Ip Man Co Ltd Método de transmisión, método de reproducción y dispositivo de reproducción.
WO2016027426A1 (ja) * 2014-08-19 2016-02-25 パナソニックIpマネジメント株式会社 映像ストリーム生成方法、再生装置及び記録媒体
MX2019008379A (es) * 2014-08-19 2019-09-09 Panasonic Ip Man Co Ltd Metodo de transmision, metodo de reproduccion y dispositivo de reproduccion.
JP6331882B2 (ja) * 2014-08-28 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20170221524A1 (en) * 2014-09-08 2017-08-03 Sony Corporation Information processing apparatus, information recording medium, and information processing method, and program
TWI683307B (zh) * 2014-09-08 2020-01-21 日商新力股份有限公司 資訊處理裝置,資訊記錄媒體及資訊處理方法以及程式
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
EP3118854B1 (en) * 2014-09-10 2019-01-30 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
US20170193638A1 (en) * 2014-09-11 2017-07-06 Kevin Patrick GRUNDY System and method for controlling dynamic range compression image processing
US9501855B2 (en) 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method
EP4280598A3 (en) * 2014-09-12 2024-02-21 Panasonic Intellectual Property Corporation of America Recording medium, playback device, and playback method
JP2016062637A (ja) 2014-09-12 2016-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生装置、および再生方法
EP3196881B1 (en) * 2014-09-12 2021-12-22 Sony Group Corporation Playback device, playback method, information processing device, information processing method, program, and recording medium
US10910017B2 (en) 2014-09-12 2021-02-02 Sony Corporation Reproducing device, reproducing method, information processing device, information processing method, program, and recording medium
US10362287B2 (en) 2014-09-12 2019-07-23 Sony Corporation Information processing apparatus, information processing method and program, and recording medium
MX367898B (es) * 2014-09-22 2019-09-11 Panasonic Ip Man Co Ltd Metodo de reproduccion y aparato de reproduccion.
JP5995129B2 (ja) * 2014-09-22 2016-09-21 パナソニックIpマネジメント株式会社 再生方法および再生装置
US9729801B2 (en) * 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
JP6510039B2 (ja) 2014-10-02 2019-05-08 ドルビー ラボラトリーズ ライセンシング コーポレイション ジャダー可視性制御のためのデュアルエンドメタデータ
JP6539032B2 (ja) * 2014-10-06 2019-07-03 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
TR201808347T4 (tr) * 2014-10-10 2018-07-23 Koninklijke Philips Nv Dinamik erim eşleştirmelerine yönelik doyma işleminin belirtimi.
KR20160044954A (ko) * 2014-10-16 2016-04-26 삼성전자주식회사 정보 제공 방법 및 이를 구현하는 전자 장치
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
WO2016063474A1 (ja) * 2014-10-21 2016-04-28 パナソニックIpマネジメント株式会社 再生装置、表示装置および伝送方法
TWI685837B (zh) 2014-10-23 2020-02-21 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式產品、以及記錄媒體
WO2016063475A1 (ja) * 2014-10-24 2016-04-28 パナソニックIpマネジメント株式会社 送信方法および再生装置
EP3213291B1 (en) * 2014-10-27 2019-11-06 Dolby Laboratories Licensing Corporation Content mapping using extended color range
CN110971887B (zh) * 2014-11-04 2021-11-02 松下电器(美国)知识产权公司 再现方法、再现装置以及记录介质
CN107148780B (zh) * 2014-11-07 2020-06-16 索尼公司 发送装置、发送方法、接收装置和接收方法
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
EP3029925A1 (en) 2014-12-01 2016-06-08 Thomson Licensing A method and device for estimating a color mapping between two different color-graded versions of a picture
MX2020004669A (es) 2014-12-03 2022-01-06 Panasonic Ip Man Co Ltd Método de generación de datos, método de reproducción de datos, dispositivo de generación de datos y dispositivo de reproducción de datos.
KR20160067275A (ko) * 2014-12-03 2016-06-14 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックIpマネジメント株式会社 送信方法および送信装置
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
US10366672B2 (en) 2014-12-11 2019-07-30 Koninklijke Philips N.V. Optimizing high dynamic range images for particular displays
ES2825699T3 (es) 2014-12-11 2021-05-17 Koninklijke Philips Nv Optimización e imágenes de alto rango dinámico para pantallas particulares
EP3035678A1 (en) * 2014-12-16 2016-06-22 Thomson Licensing Method and device of converting a high-dynamic-range version of a picture to a standard-dynamic-range version of said picture
TW201633779A (zh) 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
WO2016103968A1 (ja) * 2014-12-22 2016-06-30 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
HUE056171T2 (hu) * 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
CN107211076B (zh) 2015-01-19 2018-10-30 杜比实验室特许公司 用于高动态范围视频的显示管理的方法、装置和存储介质
JP7106273B2 (ja) * 2015-01-27 2022-07-26 インターデジタル マディソン パテント ホールディングス, エスアーエス 画像及びビデオを電気光変換及び光電気変換するための方法、システム、及び機器
JP2018509802A (ja) * 2015-01-29 2018-04-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 局所ダイナミックレンジ調節色処理
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
EP3051825A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus of encoding and decoding a color picture
BR112017015790A2 (pt) 2015-01-30 2018-03-27 Thomson Licensing método e aparelho de codificação e decodificação de uma imagem colorida
GB2534929A (en) * 2015-02-06 2016-08-10 British Broadcasting Corp Method and apparatus for conversion of HDR signals
KR102295970B1 (ko) * 2015-02-06 2021-08-30 엘지전자 주식회사 영상표시장치,
EP3267685B1 (en) * 2015-03-05 2022-11-23 Sony Group Corporation Transmission device, transmission method, receiving device, and receiving method
EP3067882A1 (en) 2015-03-10 2016-09-14 Thomson Licensing Adaptive color grade interpolation method and device
JP6463179B2 (ja) * 2015-03-17 2019-01-30 キヤノン株式会社 信号処理装置、信号処理方法および撮像装置
JP6374614B2 (ja) * 2015-03-20 2018-08-15 ドルビー ラボラトリーズ ライセンシング コーポレイション 信号再整形近似
JP2016178595A (ja) * 2015-03-23 2016-10-06 シャープ株式会社 受信装置、受信方法、及びプログラム
KR102477041B1 (ko) * 2015-03-24 2022-12-14 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3276949A4 (en) * 2015-03-27 2018-04-25 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, record/replay device, signal processing method, and program
US10109228B2 (en) 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
KR102322709B1 (ko) * 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
US10257526B2 (en) * 2015-05-01 2019-04-09 Disney Enterprises, Inc. Perceptual color transformations for wide color gamut video coding
US10708564B2 (en) 2015-05-11 2020-07-07 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method based on metadata
WO2016181584A1 (ja) * 2015-05-12 2016-11-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 表示方法および表示装置
MX2019013303A (es) * 2015-05-12 2020-07-20 Panasonic Ip Corp America Metodo de presentacion visual y dispositivo de presentacion visual.
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
CN107533832B (zh) * 2015-05-12 2020-11-27 索尼公司 图像处理装置、图像处理方法与程序
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
JP6663214B2 (ja) 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP6666022B2 (ja) * 2015-06-04 2020-03-13 キヤノン株式会社 画像表示装置、画像出力装置、及び、それらの制御方法
AU2016270443B2 (en) * 2015-06-05 2019-01-03 Apple Inc. Rendering and displaying high dynamic range content
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
DE112016002868T5 (de) 2015-06-25 2018-03-08 Mitsubishi Electric Corporation Videowiedergabevorrichtung und Videowiedergabeverfahren
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
GB2539917B (en) * 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP3314893A1 (en) * 2015-06-30 2018-05-02 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
JP6611494B2 (ja) * 2015-07-08 2019-11-27 キヤノン株式会社 画像表示装置及びその制御方法
KR102309676B1 (ko) 2015-07-24 2021-10-07 삼성전자주식회사 사용자 적응 이미지 보상기
US10777148B2 (en) 2015-07-31 2020-09-15 Sony Corporation Image signal luminance processing method, device and display apparatus
US10885614B2 (en) 2015-08-19 2021-01-05 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
US11070830B2 (en) 2015-08-24 2021-07-20 Interdigital Madison Patent Holdings, Sas Coding and decoding method with color conversion and corresponding devices
WO2017032822A1 (en) 2015-08-25 2017-03-02 Thomson Licensing Inverse tone mapping based on luminance zones
WO2017040237A1 (en) * 2015-08-28 2017-03-09 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
US10572983B2 (en) 2015-08-31 2020-02-25 Interdigital Vc Holdings, Inc. Method and apparatus for inverse tone mapping
WO2017037971A1 (ja) * 2015-09-01 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 変換方法および変換装置
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックIpマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
CN107925789A (zh) * 2015-09-18 2018-04-17 夏普株式会社 接收装置、接收方法、程序
KR102121676B1 (ko) * 2015-09-21 2020-06-10 돌비 레버러토리즈 라이쎈싱 코오포레이션 지각 코드 공간에서 디스플레이를 동작시키기 위한 기술들
AU2016326942B2 (en) * 2015-09-25 2019-10-10 Sony Corporation Image processing device and image processing method
EP4258673A3 (en) * 2015-10-07 2023-12-13 Panasonic Intellectual Property Management Co., Ltd. Video transmission method, video reception method, video transmission device, and video reception device
JP6830190B2 (ja) * 2015-10-07 2021-02-17 パナソニックIpマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
US10140953B2 (en) * 2015-10-22 2018-11-27 Dolby Laboratories Licensing Corporation Ambient-light-corrected display management for high dynamic range images
MX2018005762A (es) * 2015-11-09 2018-08-01 Thomson Licensing Metodo y dispositivo para adaptar el contenido de video decodificado de corrientes elementales a las caracteristicas de una pantalla.
JP6872098B2 (ja) * 2015-11-12 2021-05-19 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
EP3169071B1 (en) * 2015-11-16 2020-01-29 InterDigital VC Holdings, Inc. Backward-compatible encoding of a hdr picture
CN105336290B (zh) * 2015-11-18 2018-06-01 青岛海信电器股份有限公司 伽马Gamma校正方法及装置
JP6831389B2 (ja) * 2015-11-24 2021-02-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 複数のhdr画像ソースの処理
AU2015261734A1 (en) * 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
WO2017103399A1 (fr) * 2015-12-16 2017-06-22 B<>Com Procede de traitement d'une image numerique, dispositif, equipement terminal et programme d'ordinateur associes
CN111275628A (zh) * 2015-12-23 2020-06-12 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
CN108370428B (zh) 2015-12-25 2020-12-15 夏普株式会社 显示装置和显示装置的控制方法以及电视接收机
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
JP6710970B2 (ja) 2015-12-28 2020-06-17 ソニー株式会社 送信装置および送信方法
JP6233424B2 (ja) * 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6237797B2 (ja) 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
KR20170088303A (ko) * 2016-01-22 2017-08-01 한국전자통신연구원 화질 열화 감소를 위한 영상 신호 변환 방법 및 장치
CN109074775B (zh) * 2016-01-29 2022-02-08 巴科股份有限公司 数字图像处理链和处理块以及包括它们的显示器
KR20180109889A (ko) 2016-02-09 2018-10-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US10257394B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
KR102405309B1 (ko) 2016-02-12 2022-06-07 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP2017151308A (ja) 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
JP6992740B2 (ja) * 2016-02-26 2022-01-13 ソニーグループ株式会社 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6824055B2 (ja) * 2016-03-02 2021-02-03 シャープ株式会社 受信装置および放送システム
JP6451669B2 (ja) * 2016-03-04 2019-01-16 ソニー株式会社 評価装置、評価方法およびカメラシステム
JP6161222B1 (ja) * 2016-03-17 2017-07-12 シャープ株式会社 受信装置および放送システム
ES2951773T3 (es) * 2016-03-18 2023-10-24 Koninklijke Philips Nv Codificación y decodificación de vídeos HDR
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
JP6757157B2 (ja) * 2016-03-29 2020-09-16 キヤノン株式会社 投影装置およびその制御方法
JP6830244B2 (ja) * 2016-03-29 2021-02-17 パナソニックIpマネジメント株式会社 表示装置及びその制御方法
US20170289571A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Temporal control for spatially adaptive tone mapping of high dynamic range video
GB2549521A (en) 2016-04-21 2017-10-25 British Broadcasting Corp Method and apparatus for conversion of dynamic range of video signals
JP6755701B2 (ja) 2016-04-25 2020-09-16 キヤノン株式会社 撮像装置、表示装置及び画像処理装置
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
CN105979192A (zh) * 2016-05-16 2016-09-28 福州瑞芯微电子股份有限公司 一种视频显示方法和装置
JP6891882B2 (ja) * 2016-05-25 2021-06-18 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN113593499B (zh) 2016-05-27 2023-12-12 杜比实验室特许公司 在视频优先级与图形优先级之间转换
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
US10032263B2 (en) 2016-06-12 2018-07-24 Apple Inc. Rendering information into images
JP6729055B2 (ja) * 2016-06-23 2020-07-22 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
WO2018000126A1 (en) * 2016-06-27 2018-01-04 Intel Corporation Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
WO2018035696A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 一种图像处理方法以及装置
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
JP6276815B1 (ja) * 2016-09-02 2018-02-07 シャープ株式会社 画像処理装置、テレビジョン受像機、画像処理システム、画像処理プログラム、記録媒体、および映像提供装置
JP7054851B2 (ja) * 2016-09-09 2022-04-15 パナソニックIpマネジメント株式会社 表示装置および信号処理方法
EP3511928B1 (en) * 2016-09-09 2022-01-12 Panasonic Intellectual Property Management Co., Ltd. Display device and signal processing method
JP6751233B2 (ja) * 2016-09-12 2020-09-02 オンキヨー株式会社 映像処理装置
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
WO2018062062A1 (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 再生方法、生成方法、再生装置、生成装置、および記録媒体
GB2554669B (en) * 2016-09-30 2022-04-06 Apical Ltd Image processing
US11202050B2 (en) 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP2018091999A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置、表示装置及び画像処理方法
CN110050292B (zh) * 2016-12-12 2023-08-01 杜比实验室特许公司 用于调整高动态范围图像的视频处理曲线的系统和方法
JP7131391B2 (ja) * 2017-01-16 2022-09-06 ソニーグループ株式会社 ビデオ処理装置、ビデオ処理方法およびプログラム
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
JP6466488B2 (ja) * 2017-02-09 2019-02-06 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、制御プログラム、及び記録媒体
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
CN106713907B (zh) * 2017-02-21 2018-08-03 京东方科技集团股份有限公司 一种显示器的hdr图像显示性能评测方法及装置
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
JP6381704B1 (ja) * 2017-02-28 2018-08-29 シャープ株式会社 映像信号生成装置、受信装置、テレビジョン受像機、送受信システム、制御プログラム、及び記録媒体
KR102308192B1 (ko) 2017-03-09 2021-10-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
JP2017143546A (ja) * 2017-03-21 2017-08-17 ソニー株式会社 再生装置、記録媒体、表示装置、および情報処理方法
CN110574356B (zh) * 2017-04-10 2024-01-12 惠普发展公司,有限责任合伙企业 动态色域可调整显示器
CN109644289B (zh) * 2017-04-21 2021-11-09 松下知识产权经营株式会社 再现装置、再现方法、显示装置、以及显示方法
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
US10403214B2 (en) * 2017-05-12 2019-09-03 Apple Inc. Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
CN110770787B (zh) * 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
EP3644618A4 (en) * 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
CN110945861B (zh) * 2017-07-07 2022-11-29 株式会社半导体能源研究所 显示系统及显示系统的工作方法
US11049225B2 (en) 2017-07-07 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Video processing system and video processing method
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US11039045B2 (en) 2017-07-14 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method
US10504263B2 (en) * 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
US11065960B2 (en) 2017-09-13 2021-07-20 Corning Incorporated Curved vehicle displays
WO2019053917A1 (ja) * 2017-09-13 2019-03-21 パナソニックIpマネジメント株式会社 輝度特性生成方法
KR102614338B1 (ko) * 2017-09-21 2023-12-19 소니그룹주식회사 재생 장치, 재생 방법, 프로그램, 및 기록 매체
US11019302B2 (en) * 2017-09-28 2021-05-25 Dolby Laboratories Licensing Corporation Frame rate conversion metadata
US11272308B2 (en) * 2017-09-29 2022-03-08 Apple Inc. File format for spatial audio
CN109891902B (zh) 2017-10-06 2022-02-18 松下知识产权经营株式会社 影像显示系统及影像显示方法
JP6753386B2 (ja) * 2017-10-25 2020-09-09 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム
KR102413839B1 (ko) * 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
JP6821269B2 (ja) 2017-12-05 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
JP7191649B2 (ja) * 2017-12-27 2022-12-19 キヤノン株式会社 電子機器
CN110049258B (zh) 2017-12-27 2022-03-25 佳能株式会社 电子设备及其控制方法和计算机可读介质
US11270661B2 (en) * 2017-12-27 2022-03-08 Panasonic Intellectual Property Management Co., Ltd. Display apparatus and display method
JP7180079B2 (ja) * 2018-02-28 2022-11-30 セイコーエプソン株式会社 回路装置及び電子機器
RU2675281C1 (ru) * 2018-03-28 2018-12-18 федеральное государственное бюджетное образовательное учреждение высшего образования "Национальный исследовательский университет "МЭИ" (ФГБОУ ВО "НИУ "МЭИ") Способ идентификации линейной динамической системы
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
JP6652153B2 (ja) * 2018-04-26 2020-02-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
TWI808970B (zh) 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN110620935B (zh) * 2018-06-19 2022-04-08 杭州海康慧影科技有限公司 图像处理方法及装置
EP3824456A1 (en) * 2018-07-16 2021-05-26 Corning Incorporated Display with localized brightness adjustment and related methods
JP2020024550A (ja) * 2018-08-07 2020-02-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020025176A (ja) * 2018-08-07 2020-02-13 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、およびプログラム
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
CN112585969B (zh) * 2018-08-10 2023-03-28 杜比实验室特许公司 用于减少目标图像中的条带伪影的方法、装置及存储介质
CN108986053B (zh) * 2018-08-21 2021-03-16 北京小米移动软件有限公司 屏幕显示方法及装置
JP6583501B2 (ja) * 2018-08-28 2019-10-02 ソニー株式会社 再生装置、表示装置、情報処理方法
CN111063319B (zh) * 2018-10-16 2021-05-18 深圳Tcl新技术有限公司 基于背光调整的图像动态增强方法、装置和计算机设备
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
CN109243383B (zh) * 2018-11-09 2021-12-17 珠海格力电器股份有限公司 一种显示屏的背光亮度调节方法及显示屏装置
RU190476U1 (ru) * 2018-11-19 2019-07-02 Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет" Устройство преобразования яркости цифрового телевизионного изображения
US20200192548A1 (en) * 2018-12-13 2020-06-18 Ati Technologies Ulc Methods and apparatus for displaying a cursor on a high dynamic range display device
EP3672254A1 (en) * 2018-12-21 2020-06-24 InterDigital VC Holdings, Inc. Decoding an image
KR102643588B1 (ko) * 2019-01-21 2024-03-04 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
JP7204514B2 (ja) * 2019-02-13 2023-01-16 キヤノン株式会社 画像出力装置およびその制御方法、プログラム
JP7301551B2 (ja) * 2019-02-21 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
JP2020141334A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CN111754412B (zh) * 2019-03-29 2024-04-19 Tcl科技集团股份有限公司 构建数据对的方法、装置及终端设备
CN110062160B (zh) * 2019-04-09 2021-07-02 Oppo广东移动通信有限公司 图像处理方法和装置
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
JP6672505B2 (ja) * 2019-04-15 2020-03-25 マクセル株式会社 投射型映像表示装置
KR102575261B1 (ko) * 2019-05-16 2023-09-06 주식회사 엘엑스세미콘 주위조도에 따라 영상의 밝기를 조절하는 디스플레이 구동장치 및 구동방법
US11881151B2 (en) * 2019-06-07 2024-01-23 Stereyo Bv Method for producing an image by a display and recording said image by a camera
US11405582B2 (en) * 2019-06-28 2022-08-02 Meta Platforms, Inc. Preprocessing of high-dynamic-range video using a hybrid lookup table scheme
JP6904470B2 (ja) * 2019-08-30 2021-07-14 ソニーグループ株式会社 再生装置、表示装置、情報処理方法
JP6756396B2 (ja) * 2019-08-30 2020-09-16 ソニー株式会社 再生装置、表示装置、情報処理方法
US11473971B2 (en) 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
KR102641738B1 (ko) 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
JP2020074571A (ja) * 2020-01-16 2020-05-14 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11270662B2 (en) * 2020-01-21 2022-03-08 Synaptics Incorporated Device and method for brightness control of display device based on display brightness value encoding parameters beyond brightness
GB2592656B (en) * 2020-03-05 2023-04-19 Canon Kk High level syntax for video coding and decoding
CN111489705B (zh) * 2020-04-14 2023-05-09 深圳市隆利科技股份有限公司 图像分区显示的方法
CN113630563B (zh) * 2020-05-08 2022-07-22 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备
CN113240578A (zh) * 2021-05-13 2021-08-10 北京达佳互联信息技术有限公司 图像特效的生成方法、装置、电子设备及存储介质
CN113658564B (zh) * 2021-08-30 2022-12-13 京东方科技集团股份有限公司 一种图像色深转换的方法、电子设备
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
JPWO2023095718A1 (ja) * 2021-11-29 2023-06-01
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
CN114972124B (zh) * 2022-07-29 2022-10-28 自然资源部第三地理信息制图院 一种遥感图像亮度自适应均衡方法及系统
CN117133252A (zh) * 2023-02-27 2023-11-28 荣耀终端有限公司 图像处理方法和电子设备

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3271487B2 (ja) 1995-08-30 2002-04-02 凸版印刷株式会社 アプルーバル特性付画像データベースおよび画像処理装置
DE69842020D1 (de) 1997-01-31 2011-01-05 Hitachi Ltd Bildanzeigesystem mit der Veranlagung zur Modifikation von Anzeigeeigenschaften in einem bestimmten Anzeigebereich
GB2335326B (en) 1997-10-31 2002-04-17 Sony Corp Image processing apparatus and method and providing medium.
JP2002149149A (ja) 2000-11-13 2002-05-24 Sony Corp 色校正方法および装置
JP4155723B2 (ja) * 2001-04-16 2008-09-24 富士フイルム株式会社 画像管理システム及び画像管理方法、並びに画像表示装置
US20030081118A1 (en) * 2001-10-29 2003-05-01 Cirulli Robert J. Calibration of a telecine transfer device for a best light video setup
DE10213514C1 (de) 2002-03-26 2003-11-27 Michael Kaatze Kaffeebrüher
US20040061709A1 (en) 2002-09-17 2004-04-01 Lg Electronics Inc. Method and apparatus for driving plasma display panel
KR100712334B1 (ko) * 2002-09-30 2007-05-02 엘지전자 주식회사 액정 표시기의 밝기 레벨 조절방법
JP3661692B2 (ja) * 2003-05-30 2005-06-15 セイコーエプソン株式会社 照明装置、投射型表示装置及びその駆動方法
JP3975357B2 (ja) 2003-06-12 2007-09-12 船井電機株式会社 液晶テレビジョン装置
JP2005086226A (ja) * 2003-09-04 2005-03-31 Auto Network Gijutsu Kenkyusho:Kk 撮像装置
JP4617085B2 (ja) 2004-02-16 2011-01-19 キヤノン株式会社 画像表示装置および画像表示方法
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7085414B2 (en) * 2004-05-05 2006-08-01 Canon Kabushiki Kaisha Characterization of display devices by averaging chromaticity values
WO2005109854A1 (en) * 2004-05-11 2005-11-17 Koninklijke Philips Electronics N.V. Method for processing color image data
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
JP4203081B2 (ja) * 2006-05-19 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
US8872753B2 (en) * 2006-08-31 2014-10-28 Ati Technologies Ulc Adjusting brightness of a display image in a display having an adjustable intensity light source
US7978203B1 (en) * 2006-12-18 2011-07-12 Pixar Methods and apparatus for color grading with gamut match preview
CN101569171B (zh) * 2006-12-21 2013-05-15 汤姆森许可贸易公司 为显示器提供颜色分级的方法、装置和系统
JP4687918B2 (ja) 2007-07-24 2011-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US8233738B2 (en) * 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8223113B2 (en) * 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US20100303439A1 (en) * 2008-01-31 2010-12-02 Thomson Licensing Method and system for look data definition and transmission
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
JP4544319B2 (ja) 2008-03-11 2010-09-15 富士フイルム株式会社 画像処理装置、方法及びプログラム
WO2009135358A1 (en) 2008-05-08 2009-11-12 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method and apparatus for enhancing the dynamic range of an image
KR101662696B1 (ko) 2008-08-22 2016-10-05 톰슨 라이센싱 콘텐츠 전달 방법 및 시스템
US8184112B2 (en) * 2008-09-24 2012-05-22 Global Oled Technology Llc Increasing dynamic range of display output
JP2010114839A (ja) 2008-11-10 2010-05-20 Canon Inc 画像処理装置および画像処理方法
US8831343B2 (en) * 2009-01-19 2014-09-09 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
JP5624062B2 (ja) * 2009-03-06 2014-11-12 コーニンクレッカ フィリップス エヌ ヴェ 入力画像データを出力画像データに変換するための方法、入力画像データを出力画像データに変換するための画像変換ユニット、画像処理装置、ディスプレイデバイス
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
EP2230839A1 (en) 2009-03-17 2010-09-22 Koninklijke Philips Electronics N.V. Presentation of video content
CN102422258A (zh) 2009-05-06 2012-04-18 汤姆森许可贸易公司 用于传送根据显示设备能力而优化的多媒体内容的方法和系统
US8483479B2 (en) 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
CN101930719A (zh) 2009-06-18 2010-12-29 辉达公司 自动切换显示器场景模式的方法及系统
JP2011010108A (ja) 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
EP2539884B1 (en) 2010-02-24 2018-12-12 Dolby Laboratories Licensing Corporation Display management methods and apparatus
EP2543181B1 (en) 2010-03-03 2015-10-21 Koninklijke Philips N.V. Apparatuses and methods for defining color regimes
US20110242142A1 (en) 2010-03-30 2011-10-06 Ati Technologies Ulc Multiple display chrominance and luminance method and apparatus
CN101888487B (zh) * 2010-06-02 2012-03-14 中国科学院深圳先进技术研究院 高动态范围视频成像系统和图像生成方法
US9082334B2 (en) * 2010-06-14 2015-07-14 Barco N.V. Luminance boost method and system
US9509935B2 (en) * 2010-07-22 2016-11-29 Dolby Laboratories Licensing Corporation Display management server
EP2596622B1 (en) * 2010-07-22 2023-06-28 Dolby Laboratories Licensing Corporation System, apparatus and methods for mapping between video ranges of image data and display
US8525933B2 (en) * 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US9549197B2 (en) * 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
WO2012153224A1 (en) 2011-05-10 2012-11-15 Koninklijke Philips Electronics N.V. High dynamic range image signal generation and processing
US9451292B2 (en) * 2011-09-15 2016-09-20 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video

Also Published As

Publication number Publication date
JP6407717B2 (ja) 2018-10-17
RU2017137235A3 (ja) 2021-02-25
US20190172187A1 (en) 2019-06-06
ZA201403080B (en) 2015-11-25
US20140210847A1 (en) 2014-07-31
RU2640750C2 (ru) 2018-01-11
WO2013046095A1 (en) 2013-04-04
RU2014116969A (ru) 2015-11-10
CN103843058A (zh) 2014-06-04
CA2850031A1 (en) 2013-04-04
US11423523B2 (en) 2022-08-23
AU2012313935B9 (en) 2017-05-04
US11928803B2 (en) 2024-03-12
US11640656B2 (en) 2023-05-02
US20140225941A1 (en) 2014-08-14
AU2017235969B2 (en) 2019-08-08
CA2850037C (en) 2022-10-04
CA2850037A1 (en) 2013-04-04
PH12017502053A1 (en) 2018-04-23
US20210142453A1 (en) 2021-05-13
BR112014006977A2 (pt) 2017-04-04
AU2017235969A1 (en) 2017-10-19
RU2643485C2 (ru) 2018-02-01
KR101972748B1 (ko) 2019-08-16
BR112014006977B1 (pt) 2022-09-13
US10916000B2 (en) 2021-02-09
JP2014532195A (ja) 2014-12-04
JP2014531821A (ja) 2014-11-27
MX2014003554A (es) 2014-06-05
RU2761120C2 (ru) 2021-12-06
WO2013046096A1 (en) 2013-04-04
US20220343477A1 (en) 2022-10-27
CN103843058B (zh) 2016-11-23
IN2014CN01863A (ja) 2015-05-29
MX2014003556A (es) 2014-05-28
CN103827956A (zh) 2014-05-28
CN107103588A (zh) 2017-08-29
BR112014006978B1 (pt) 2021-08-31
AU2012313935B2 (en) 2017-04-20
PE20141864A1 (es) 2014-12-12
CN103827956B (zh) 2017-06-13
BR112014006978A2 (pt) 2017-04-04
EP2745290A1 (en) 2014-06-25
AU2017235970A1 (en) 2017-10-19
AU2017235970B2 (en) 2019-08-08
JP6509262B2 (ja) 2019-05-08
RU2017137235A (ru) 2019-02-11
ZA201403081B (en) 2015-11-25
JP6133300B2 (ja) 2017-05-24
AU2012313935A1 (en) 2014-05-15
US20190156471A1 (en) 2019-05-23
AU2012313936A1 (en) 2014-05-15
JP2017117476A (ja) 2017-06-29
RU2014116971A (ru) 2015-11-10
KR20140066771A (ko) 2014-06-02
AU2012313936B2 (en) 2017-06-29
EP2745507A1 (en) 2014-06-25
UA116082C2 (uk) 2018-02-12
JP2017184238A (ja) 2017-10-05
CA2850031C (en) 2023-07-11

Similar Documents

Publication Publication Date Title
JP6430577B2 (ja) 画像のダイナミックレンジ変換のための装置及び方法
JP6615251B2 (ja) Hdr画像をエンコードするための方法及び装置、並びに、斯様なエンコードされた画像の使用のための方法及び装置
KR102061349B1 (ko) 높은 다이내믹 레인지 이미지 신호의 생성 및 처리

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181031

R150 Certificate of patent or registration of utility model

Ref document number: 6430577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250