JP6574270B2 - 高ダイナミックレンジのコンテンツのレンダリング及び表示 - Google Patents

高ダイナミックレンジのコンテンツのレンダリング及び表示 Download PDF

Info

Publication number
JP6574270B2
JP6574270B2 JP2017562306A JP2017562306A JP6574270B2 JP 6574270 B2 JP6574270 B2 JP 6574270B2 JP 2017562306 A JP2017562306 A JP 2017562306A JP 2017562306 A JP2017562306 A JP 2017562306A JP 6574270 B2 JP6574270 B2 JP 6574270B2
Authority
JP
Japan
Prior art keywords
display
content
hdr
rendering
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017562306A
Other languages
English (en)
Other versions
JP2018524863A (ja
Inventor
イアン シー ヘンドリー
イアン シー ヘンドリー
ケネス アイ グリーンバウム
ケネス アイ グリーンバウム
エリック エル ダキー
エリック エル ダキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2018524863A publication Critical patent/JP2018524863A/ja
Application granted granted Critical
Publication of JP6574270B2 publication Critical patent/JP6574270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G06T5/90—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6061—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut involving the consideration or construction of a gamut surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Description

本開示は、概してデジタルビデオ又は画像処理及び表示に関する。
パーソナルコンピュータシステム、デスクトップコンピュータシステム、ラップトップコンピュータ及びノートブックコンピュータ、タブレットデバイス又はパッドデバイス、デジタルカメラ、デジタルビデオレコーダ、並びに携帯電話又はスマートフォンを含むがこれらに限られない種々のデバイスは、ビデオ処理方法（単数又は複数）を実行することができるソフトウェア及び／又はハードウェアを含むことができる。例えば、デバイスとして、１つ以上のビデオ処理方法に従って、１つ以上のソースからデジタルビデオ入力を受信して処理し、処理したビデオフレームを出力することができる装置（例えば、システムオンチップ（system−on−a−chip、ＳＯＣ）などの集積回路（integrated circuit、ＩＣ）又はＩＣのサブシステム）を挙げることができる。別の例として、１つ以上のビデオ処理方法に従って、１つ以上のソースからデジタルビデオ入力を受信して処理し、処理したビデオフレームを１つ以上の出力先に出力することができるデバイス上で、ソフトウェアプログラムを実行することができる。
一例として、デジタルビデオ入力が、ビデオエンコード方法、例えば、Ｈ．２６４／高度ビデオ符号化（Advanced Video Coding、ＡＶＣ）形式、又はＨ．２６５高効率ビデオ符号化（High Efficiency Video Coding、ＨＥＶＣ）形式などの圧縮ビデオ形式に従って別の形式にエンコード又は変換される、装置として、又は代わりにソフトウェアプログラムとして、ビデオエンコーダを実装することができる。別の例として、ＡＶＣ又はＨＥＶＣなどの圧縮ビデオ形式のビデオを受信して、ビデオデコード方法、例えば、ディスプレイ装置によって使用される表示形式に従って別の（展開された）形式にデコード又は変換する、装置として、又は代わりにソフトウェアプログラムとして、ビデオデコーダを実装することができる。Ｈ．２６４／ＡＶＣ標準は、ＩＴＵ−Ｔにより、「ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４：Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」と題する文書において公開されている。Ｈ．２６５／ＨＥＶＣ標準は、ＩＴＵ−Ｔにより、「ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する文書において公開されている。
多くのシステムでは、装置又はソフトウェアプログラムは、一般的にコーデックと呼ばれる装置又はプログラムなどの、ビデオエンコーダ構成要素及びビデオデコーダ構成要素の両方を実装することができる。コーデックは、ビデオストリーム内の視覚／画像データ及びオーディオ／サウンドデータの両方をエンコード／デコードすることができることに留意されたい。
デジタル画像及びビデオの処理において、従来、デジタル画像（例えば、ビデオ又は静止画像）は、標準ダイナミックレンジ（standard dynamic range、ＳＤＲ）イメージングと呼ばれる限定されたダイナミックレンジでキャプチャ、レンダリング、及び表示される。拡張又は高ダイナミックレンジ（high dynamic range、ＨＤＲ）イメージングは、標準のデジタルイメージング技術及び手法（標準ダイナミックレンジ又はＳＤＲイメージングと呼ばれる）を使用して得られるより、（例えば、ディスプレイスクリーン又はデバイス上に表示されるような）電子画像の広い範囲の輝度をキャプチャ、表現、又は再生する技術及び手法を指す。画像センサ及びディスプレイなどの多くの新しいデバイスは、ＨＤＲイメージングをサポートしている。これらのデバイスは、ＨＤＲ対応デバイス又はＨＤＲデバイスと呼ばれることがある。同時に、多くのディスプレイ装置は、ＨＤＲイメージングを直接サポートしていないことがある。これらのデバイスは、標準ディスプレイ又はＳＤＲディスプレイと呼ばれることがある。ＨＤＲメディアもまた、例えば、レイトレース、ラジオシティ、又は光の強度をモデル化する他のレンダリングシステムにおけるように、直接統合することができる。ＨＤＲメディアはまた、それぞれ異なる露光で撮られた（露光ブラケティング）一連の（潜在的）ＳＤＲ画像を数学的に組み合わせることにより生成することができる。
高ダイナミックレンジ（ＨＤＲ）のデジタル画像コンテンツをレンダリングして表示するための方法及び装置の各種実施形態を説明する。ＨＤＲ対応（ＨＤＲ）及び非ＨＤＲ対応（標準又はＳＤＲ）ディスプレイの両方への標準ダイナミックレンジ（ＳＤＲ）及びＨＤＲのコンテンツのレンダリング及び表示をサポートすることができる、ＨＤＲレンダリング及びディスプレイシステムの実施形態を説明する。ＨＤＲレンダリング及びディスプレイシステムは、デジタル画像コンテンツをＨＤＲ空間にレンダリングして、レンダリングしたＨＤＲコンテンツを、標準ディスプレイに対してもＨＤＲコンテンツの少なくとも一部を保持することができるディスプレイ処理技術を使用して、ＨＤＲ又は標準ディスプレイの表示空間にマッピングする。ＨＤＲレンダリング及びディスプレイシステムは、対象ディスプレイでの周囲観察条件に従ってデジタル画像コンテンツのレンダリング及び表示を動的に適応させるために、ディスプレイ特性、制御入力、ディスプレイ上にレンダリングされた現在の画像の輝度、ディスプレイのサイズ又は寸法、ディスプレイからの観察者の距離、及び周囲照明レベルなどの環境情報を含むがこれらに限定されない様々な情報を考慮することができる。
現在のディスプレイ情報に従ってＨＤＲコンテンツをレンダリングして表示するための方法の実施形態では、現在のディスプレイ情報を判定又は入手することができる。現在のディスプレイ情報としては、ディスプレイ特性（例えば、ビット深度、解像度、サイズなど）、ディスプレイパイプライン内の構成要素の搬送能力／精細度、制御入力（例えば、輝度制御又は輝度スライダ入力）、及び周囲照明レベルなどの環境情報のうちの１つ以上を挙げることができるがこれらに限定されない。１つ以上のレンダリングパイプラインは、エンコードされたＨＤＲコンテンツを生成するために、現在のディスプレイ情報に従って入力コンテンツをレンダリングしてエンコードすることができる。いくつかの実施形態では、現在のディスプレイ情報をレンダリングパイプライン（単数又は複数）に提供して、対象ディスプレイの現在の条件に従ってデジタル画像コンテンツをレンダリングするのに使用することができる。例えば、いくつかの実施形態では、レンダリングパイプライン（単数又は複数）に現在のディスプレイ情報が提供され、レンダリングパイプライン（単数又は複数）によって最大レンダリング値Ｍを判定するのに使用されることができる。レンダリングパイプライン（単数又は複数）は、次に、入力コンテンツを範囲０．０〜Ｍにレンダリングしてエンコードし、エンコードされたＨＤＲ出力を生成することができる。
いくつかの実施形態では、レンダリングパイプライン（単数又は複数）に現在のディスプレイ情報を提供する代わりに又はそれに加えて、ディスプレイパイプラインによって現在サポートされている最大レンダリング値Ｍを判定するために、ディスプレイパイプラインを含むディスプレイ管理システムによって現在のディスプレイ情報を収集して使用することができ、最大レンダリング値Ｍを、レンダリングパイプラインのうちの１つ以上に提供することができる。例えば、検出された周辺光レベル及び／又は輝度制御入力を使用して、対象ディスプレイでの周囲観察条件に従って、ディスプレイに対する現在の輝度レベルＢを判定することができる。現在の輝度レベルＢは、パーセント値で表現することができ、標準範囲（ＳＤＲ）最大輝度値（１．０）に対応することができる。いくつかの実施形態では最大レンダリング値Ｍは、Ｂの逆数として判定することができる。レンダリングパイプライン（単数又は複数）は、次に、入力コンテンツを範囲０．０〜Ｍにレンダリングしてエンコードし、エンコードされたＨＤＲ出力を生成することができる。
いくつかの実施形態では、Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、Ｍを可能な限り大きくなるように最適化することができる。例えば、観察者の現在の順応において（特に暗い周囲条件での）、ディスプレイの光漏れが不快な知覚閾値を上回らないことが重要であり、Ｍは、この閾値の付近でそれを下回るように最適化することができる。更に、ディスプレイパイプラインの精細度及びディザリング技術などの技術により更に高い精細度を搬送する能力を考えると、平滑な階調度で知覚バンディングが誘発されないように、搬送能力が十分であることが重要であり、Ｍを最適化することは、Ｍをパイプライン（単数又は複数）によってサポートされる値に制限することにより十分な搬送能力を確保するのに役立つ。別の例として、Ｍがあまりに高く設定される場合、公称表示範囲、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の下部部分は、それらがあまりに少ない知覚ｂｉｎにマッピングされているために、現在の周囲条件及びそれらの条件に対する観察者の順応の下で異なる輝度レベルが区別できない点に低減されることがある。したがって、Ｍは、ディスプレイパネルに対する知覚ｂｉｎ閾値を上回らないで、可能な限り大きくなるように最適化することができる。加えて、いくつかの実施形態では、観察者の現在の順応を考えて潜在的に圧縮された信号が視認できるように現在の周囲条件に従って、黒レベルを適応させることができる。更に、ユーザの順応した視覚のモデル及び知覚ｂｉｎにコンテンツをマッピングするために、伝達関数を適用することができる。
いくつかの実施形態では、既存の表示輝度制御、例えば、ＬＣＤバックライトコントローラが一般的に提供する設定より暗い設定をユーザが選択することができる、輝度制御のユーザインタフェース要素を提供することができる。既存の表示輝度制御は、一般的に黒まで連続的に暗くしない。
レンダリングパイプライン（単数又は複数）は、現在のディスプレイ情報、及びしたがってＭが変化すると、入力コンテンツを異なる範囲に動的にレンダリングすることができる。したがって、ＨＤＲコンテンツのレンダリングは、ディスプレイパイプライン内の構成要素の搬送能力／精細度、制御入力（例えば、輝度制御又は輝度スライダ入力）、ディスプレイ上の現在の画像の輝度、及び周囲照明レベルなどの環境情報を含むがこれらに限定されない、現在のディスプレイ条件に従って動的に適応させることができる。
少なくともいくつかの実施形態では、ディスプレイパイプラインは、エンコードされたＨＤＲコンテンツを入手してデコードする。エンコードされたＨＤＲコンテンツは、レンダリングパイプラインからのストリームとして直接受信することができる、又はメモリから、例えば、ＤＭＡメモリ内のバッファ（単数又は複数）から読み出すことができる。ディスプレイパイプラインで、レンダリングパイプライン（単数又は複数）によって範囲０．０〜ＭにレンダリングされたエンコードされたＨＤＲコンテンツは、デコードして、周囲条件及び／又は輝度制御設定に従って判定されたコンテンツに対する現在の輝度レベル及び公称表示範囲を含むがこれらに限定されない、現在のディスプレイ条件に従って対象ディスプレイの表示空間にマッピングすることができる。いくつかの実施形態では、少なくとも一部の現在のディスプレイ条件に対して、ディスプレイパイプラインは、デコードされたＨＤＲコンテンツの標準（範囲０．０〜１．０）部分を現在の輝度レベルに従って判定されたような公称表示範囲にマッピングし、デコードされたＨＤＲコンテンツの拡張（範囲１．０〜Ｍ）部分を現在の輝度レベルを上回るヘッドルームにマッピングすることができる。
したがって、ＨＤＲレンダリング及びディスプレイシステムの実施形態は、ディスプレイ特性（例えば、ビット深度、最大輝度、漏れ、反射率、伝達関数（単数又は複数）など）、ディスプレイパイプライン内の構成要素の搬送能力／精細度、制御入力（例えば、輝度制御又は輝度スライダ入力）、及び周囲照明レベルなどの環境情報を含むがこれらに限定されない、現在のディスプレイ条件に従ってＨＤＲコンテンツを動的にレンダリングして表示することができる。実施形態は、非常に高い周辺光レベルなどの劣悪な環境で見られたとき、ソースコンテンツのダイナミックレンジの外観を保持することができる。実施形態はまた、周囲条件が悪い場合にＳＤＲコンテンツを維持するために適用することができる。実施形態を使用して、標準又はＳＤＲのディスプレイは、ＨＤＲコンテンツが圧縮されて適切なディザが適用された場合、特にユーザの知覚が暗順応したような暗い環境で見られたとき、ＨＤＲの結果を生成することができる。加えて、ディスプレイパネルを異なる環境及び周囲条件に動的に適応させることにより、実施形態は、一部の観察環境においてより少ないバックライトを使用することができ、それにより、例えば、モバイル機器において電力を節約することができる。
いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステムにおける高ダイナミックレンジ（ＨＤＲ）コンテンツのレンダリング及び表示を示す図でる。 いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステムにおける例示的なディスプレイパイプラインを示す図である。 いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステムにおける例示的なディスプレイパイプラインを示す図である。 いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステムにおける例示的なレンダリングパイプラインを示す図である。 例示的なディスプレイパネルに対する人間の知覚範囲を示す図である。 例示的なディスプレイパネルに対する人間の知覚範囲を示す図である。 いくつかの実施形態による、現在のディスプレイ情報に従ったディスプレイへのＨＤＲコンテンツのマッピングを示す図である。 いくつかの実施形態による、現在のディスプレイ情報に従ったディスプレイへのＨＤＲコンテンツのマッピングを示す図である。 いくつかの実施形態による、現在のディスプレイ情報に従ったディスプレイへのＨＤＲコンテンツのマッピングを示す図である。 いくつかの実施形態による、現在のディスプレイ情報に従ってＨＤＲコンテンツをレンダリングして表示するための方法の高レベルのフローチャートである。 いくつかの実施形態による、標準ディスプレイにＨＤＲコンテンツをレンダリングして表示するための方法のフローチャートである。 いくつかの実施形態による、標準ディスプレイにＨＤＲコンテンツをレンダリングして表示するための方法のフローチャートである。 いくつかの実施形態による、標準ディスプレイにＨＤＲコンテンツをレンダリングして表示するための方法のフローチャートである。 いくつかの実施形態による、標準ディスプレイにＨＤＲコンテンツをレンダリングして表示するための方法のフローチャートである。 本明細書で説明するシステム及び方法の態様を実装するように構成することができる、システムオンチップ（ＳＯＣ）の一実施形態のブロック図である。 １つ以上のＳＯＣを含むことができるシステムの一実施形態のブロック図である。 いくつかの実施形態による、本明細書で説明するシステム及び方法の態様を実装するように構成することができる、例示的なコンピュータシステムを示す図である。 いくつかの実施形態による、ポータブル多機能デバイスのブロック図である。 いくつかの実施形態による、ポータブル多機能デバイスを示す図である。
本発明は様々な変更及び代替的な形態を受け入れる余地があるが、その特定の実施形態が、例として図面に示されており、本明細書で詳細に説明されることとする。しかし、図面及び図面に関する詳細な説明は、本発明を開示する特定の形態に限定することを意図しておらず、むしろその意図は、本発明の趣旨及び範囲に含まれるすべての変更形態、均等形態、及び代替形態を網羅することであることを理解されたい。本出願を通して使用するとき、「〜し得る（may）」という語は、義務的な意味（すなわち、〜しなければならない（must）を意味する）ではなく、許容的な意味（すなわち、〜する可能性を有することを意味する）で使用される。同様に、「含む（include、including、及びincludes）」という語は、「〜を含むが、それに限定するものではないこと」を意味する。
種々のユニット、回路、又は他の構成要素については、１つ以上のタスクを実行「するように構成される（configured to）」ものとして述べる場合がある。このような状況では、「〜するように構成される」は、動作中に１つ以上のタスクを実行する「回路を備えている（having circuitry）」ことを広く意味する構造の広義な記述である。よって、ユニット／回路／構成要素は、そのユニット／回路／構成要素が現在動作していないときでも、タスクを実施するように構成することができる。一般に、「〜するように構成される」に対応する構造を形成する回路は、ハードウェア回路を含むことができる。同様に、各種のユニット／回路／構成要素は、説明の便宜上、１つ又は複数のタスクを実施すると記述される場合がある。このような説明は、「〜するように構成される」という語句を含むと解釈されるべきである。１つ以上のタスクを実行するように構成されるユニット／回路／構成要素と表現することは、米国特許法第１１２条、第６項のユニット／回路／構成要素についての解釈を行使しないことを明示的に意図されている。
序論
高ダイナミックレンジ（ＨＤＲ）のデジタル画像コンテンツをレンダリングして表示するための方法及び装置の各種実施形態を説明する。ＨＤＲ対応（ＨＤＲ）及び非ＨＤＲ対応（標準）ディスプレイの両方、並びに異なるダイナミックレンジのＨＤＲディスプレイ（例えば、より大きな輝度の能力があるディスプレイ、より暗い黒を表示することができる（すなわち、より小さな漏れ及び反射）ディスプレイ、及びより高い精細度を有する（すなわち、より多くのレベルのグレーを表示することができる）ディスプレイ）への、標準ダイナミックレンジ（ＳＤＲ）及びＨＤＲコンテンツのレンダリング及び表示をサポートすることができるＨＤＲレンダリング及びディスプレイシステムの実施形態を説明する。ＨＤＲレンダリング及びディスプレイシステムは、デジタル画像コンテンツをＨＤＲ空間にレンダリングして、レンダリングしたＨＤＲコンテンツを、標準ディスプレイに対してもＨＤＲコンテンツの少なくとも一部を保持することができるディスプレイ処理技術を使用して、ＨＤＲ又は標準ディスプレイの表示空間にマッピングする。ＨＤＲレンダリング及びディスプレイシステムは、知覚モデルの観察者の順応した視覚の予測に従ってデジタル画像コンテンツのレンダリング及び表示を動的に適応させるために、ディスプレイ特性（例えば、ビット深度、最大輝度、漏れ、反射率、伝達関数（単数又は複数）など）、ディスプレイパイプライン内の構成要素の搬送能力／精細度、制御入力、ディスプレイ上にレンダリングされた現在の画像の輝度、ディスプレイのサイズ又は寸法、ディスプレイからの観察者の距離、及び周囲照明レベルなどの環境情報を含むがこれらに限定されない様々な情報を考慮することができる。実施形態を使用して、標準又はＳＤＲのディスプレイは、ＨＤＲコンテンツが圧縮されて適切なディザが適用された場合、特にユーザの知覚が暗順応したような暗い環境で見られたとき、ＨＤＲの結果を生成することができる。
いくつかの実施形態では、ＨＤＲレンダリング及びディスプレイシステムは、周囲環境条件、ディスプレイパネルの特性及び能力、輝度制御などの制御によるユーザ入力を含むディスプレイパネル設定、並びにディスプレイパイプライン内の構成要素の精細度などの他の情報に基づいて、ＨＤＲコンテンツを対象ディスプレイパネルに自動的に適応させる方法を用いることができる。いくつかの実施形態では、ＨＤＲレンダリング及びディスプレイシステムは、異なる周囲観察環境での表示のためにコンテンツを動的に適応させることができ、それにより、異なる環境で及び／又は異なる周囲条件下で向上した観察を提供することができる。したがって、ＨＤＲレンダリング及びディスプレイシステムの実施形態は、観察者の視覚のモデル及びコンテンツが見られる環境に順応した知覚範囲に従って、表示されるコンテンツを自動的に適応させることにより、モバイル機器又は他のデバイスのユーザに対して、向上した観察体験を提供することができる。ディスプレイパネルを異なる環境及び周囲条件に動的に適応させることにより、ＨＤＲレンダリング及びディスプレイシステムの実施形態は、一部の観察環境においてより少ないバックライト／輝度を使用することができ、それにより、例えば、モバイル機器において電力を節約することができる。いくつかの実施形態では、表示画素及びバックライト／輝度は、知覚モデルにマッピングすることができ、それにより、例えば、ＨＤＲレンダリング及びディスプレイシステムが異なる環境及び周囲条件に適応させると、ディスプレイをより紙のように機能させることができ得る。換言すれば、ＨＤＲレンダリング及びディスプレイシステムは、ディスプレイを同じ環境で紙の輝度レベルに適合させる、並びに観察者の環境の白色点に又はそれに対して追跡して調整することができ得る。
ＨＤＲレンダリング及びディスプレイシステムの実施形態は、広範囲のディスプレイにわたって、かつ多様なコンテンツに対してＨＤＲ観察体験のある程度を観察者に提供するために、観察者の視覚のモデル及びコンテンツが見られる環境に順応した知覚範囲に従って、表示されるコンテンツを動的に適応させることができる。ＨＤＲコンテンツがディスプレイパネルの表示空間全体にマッピングされる既存のシステムとは異なり、実施形態は、標準コンテンツがマッピングされる表示空間の下部部分又はサブレンジ、及びＨＤＲコンテンツがマッピングされる上部部分又はサブレンジを判定することができる（表示空間のこれらのサブレンジは、表示空間全体をカバーすることができるが、必ずしもそうではないことに留意されたい）。様々な環境で様々なディスプレイにおいて最適な又は所望の観察体験を提供するために、観察者の視覚のモデル及び知覚範囲、並びに／又は観察者の好みに従って、サブレンジ及びそれらの範囲へのコンテンツのマッピングを動的に適応させることができる方法を説明する。例えば、ディスプレイが更に明るくなることができないが、輝部（例えば、ＨＤＲコンテンツ）を範囲のより狭い上部部分に圧縮しながら、低域及び中域値（すなわち、標準コンテンツ）を拡張範囲に階調マッピングすることにより、所望の輝度のより高い知覚レベルを実現することができる点が存在し得る。したがって、ディスプレイが更に明るくなることができなくても、低域及び中域のコンテンツを増強して、パネルの反射率で消失しないように知覚的により明るく見えるようにすることができる。
ＨＤＲレンダリング及びディスプレイシステムの実施形態を使用して、輝度を提供するためにバックライトを使用するディスプレイパネル（例えば、ＬＣＤディスプレイ）に、並びに輝度を提供するためにバックライトを使用しないディスプレイパネル（例えば、それぞれの画素が光を放出するＯＬＥＤディスプレイ）に、本明細書で説明するようにＨＤＲコンテンツをレンダリングして表示することができる。輝度を提供するためにバックライトを使用するディスプレイパネルに関連して、ＨＤＲレンダリング及びディスプレイシステムのいくつかの機能を説明する。しかし、これらの機能の少なくとも一部はまた、輝度を提供するためにバックライトを使用しないディスプレイパネルにも適用することができる。ディスプレイパネルに関連して本明細書で使用されるとき、用語「輝度（brightness）」は、したがって、バックライトにより、又はＬＥＤ技術などの他の技術により提供される輝度に適用される。更に、本明細書で使用されるとき、用語「バックライト」は、輝度を提供するＬＥＤ技術などの他の技術もまた含むことを理解されたい。
ＨＤＲレンダリング及びディスプレイシステム
図１は、少なくともいくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステム１００を示す。ＨＤＲレンダリング及びディスプレイシステム１００の実施形態は、ＨＤＲ対応及び標準ディスプレイ１４０の両方へのＳＤＲ及びＨＤＲのコンテンツのレンダリング及び表示をサポートすることができる。いくつかの実施形態では、ＨＤＲレンダリング及びディスプレイシステム１００は、１つ以上のレンダリングパイプライン１８０と、ディスプレイパイプライン１１０と、対象ディスプレイ１４０とを含むことができる。いくつかの実施形態では、それぞれのレンダリングパイプライン１８０は、表示するためにデジタル画像コンテンツ１１１を生成するアプリケーション、デバイス、モジュール、構成要素、又はシステムに関連付けることができる。いくつかの実施形態では、レンダリングパイプライン１８０は、ソース（例えば、デジタルビデオカメラ若しくは静止画像カメラ、又はビデオストリーミングソース）から「生の（raw）」デジタル画像コンテンツ１１１を受信し、エンコードされたコンテンツ１１２を生成するように受信したデジタル画像コンテンツ１１１をレンダリングしてエンコードする。ディスプレイパイプライン１１０は、１つ以上のレンダリングパイプライン１８０からエンコードされたコンテンツ１１２を受信することができ、ディスプレイ装置１４０に表示するためにフォーマットされた表示コンテンツ１３２を生成するように、受信したコンテンツ１１２をデコードして処理することができる。ＨＤＲレンダリング及びディスプレイシステム１００は、ディスプレイ１４０の現在の条件に従ってＨＤＲコンテンツのレンダリング及び表示を動的に適応させるために、ディスプレイ特性１４２、制御入力１６２、ディスプレイパイプライン１１０内の構成要素の搬送能力／精細度、及び周囲照明レベルなどの環境情報１５２を含むがこれらに限定されない、様々な情報を考慮することができる。いくつかの実施形態では、ディスプレイパイプライン１１０は、他のコンテンツ１１９（例えば、ユーザインタフェース（user interface、ＵＩグラフィック）をレンダリングパイプライン（単数又は複数）１８０から受信したコンテンツ１１２と合成又は混合することができる。
一般的に定義されるダイナミックレンジは、サウンド及び光のような信号などでの可変な量の起こり得る最大値と最小値との間の比である。デジタル画像処理では、高ダイナミックレンジ（ＨＤＲ）画像は、標準デジタルイメージング技術を使用して得られる光度の範囲より広い範囲の光度を生成するＨＤＲイメージング技術を使用して生成される画像である。例えば、ＨＤＲ画像は、既存の画像処理で使用される（一般的に、チャネル当たり８ビット、例えば、色／クロマに対して及びルマに対して８ビット）よりも、多くのチャネル当たりビット（例えば、ルマ及びクロマチャネル当たり１０、１２、１４、又はより多くのビット）、又は光度（ルマチャネル）に対して多くのビットを含むことができる。（チャネル当たりビットは、ビット深度と呼ばれる場合がある。）標準デジタルイメージング技術を使用して生成された画像は、標準ダイナミックレンジ（ＳＤＲ）を有すると称されることがあり、一般的にチャネル当たり８ビットを使用する。加えて、高精細度ＨＤＲ画像は、例えば、量子化の前により高い精細度の信号をディザリングすることにより、又はＨＤＲレベルにわたって観察者の輝度知覚により良好に適合する観察者の視覚に基づく伝達関数、例えば、Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ，Ｉｎｃ．によって提案された知覚量子化器（Perceptual Quantizer、ＰＱ）伝達関数を使用することにより、別の方法で必要とされるであろうより、少ないチャネル当たりビットを使用して表現することができる。ダイナミックレンジは、一般的に、最大値及び最小値により定義される。それは、ダイナミックレンジを増大するために２つの方法があることを意味する。すなわち、最小値を低下させること、又は最大値を増大させること（又はその両方）による。精細度のみでは、最小値を低下させるのに役立つが、最高コードの輝度は、代わりに又は共に増大することがある。
既存のレンダリング及びディスプレイシステムでは、レンダリングパイプラインは、ＳＤＲコンテンツであろうとＨＤＲコンテンツであろうと、すべてのデジタルコンテンツの輝度（ルマ）画素値をディスプレイパイプラインにエンコードして出力するためのビット深度（例えば、８、１０、又は１２ビット）で標準範囲（０．０〜１．０）にマッピングする。それぞれのビット深度は、その範囲がマッピングされる特定の数のコードを提供する。例えば、８ビットは、２５６個のコード（０〜２５５）を提供し、１０ビットは、１０２４個のコード（０〜１０２３）を提供する。ビット深度が１０である場合、０．０は、０にマッピングされ、１．０は、１０２３にマッピングされる。ディスプレイパイプラインは、その出力を入手してデコードし、次に、デジタルコンテンツ値（範囲（０．０〜１．０）をディスプレイの表示空間（例えば、８、１０、又は１２ビット）にマッピングする。したがって、１．０は、元のデジタルコンテンツがＨＤＲコンテンツであったかＳＤＲコンテンツであったかに関わらず、かつディスプレイの特性（例えば、ビット深度）に関わらず、表示される最高輝度値である。
本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステム１００の実施形態では、入力コンテンツ１１１に対するルマ値を標準範囲（０．０〜１．０）にマッピングする代わりに、レンダリングパイプライン１８０が、コンテンツ１１１をより広い範囲にマッピングすることができる。例えば、コンテンツ１１１が通常又は標準輝度より明るいルマ値（例えば、標準輝度の１０倍）を含む場合、次に、レンダリングパイプライン１８０は、ルミナンスデータを範囲０．０〜Ｍ（Ｍは、輝度に対する最大値である）にマッピングすることができる。様々なマッピング技術の任意のものを、レンダリングパイプライン１８０によって使用することができる。いくつかの実施形態では、コンテンツ１１１の標準又はＳＤＲ部分は、範囲０．０〜１．０にマッピングすることができ、コンテンツ１１１の拡張又はＨＤＲ部分は、範囲１．０〜Ｍにマッピングすることができる。例えば、標準輝度の１０倍であるルミナンス値を含む入力コンテンツ１１１に対して、次に、その値は、１．０が標準輝度を表し、Ｍ＝１０．０が最大輝度を表して、範囲０．０〜１０．０にマッピングすることができる。ディスプレイパイプライン１１０で、レンダリングパイプライン（単数又は複数）１８０によって範囲０．０〜ＭにレンダリングされたエンコードされたＨＤＲコンテンツ１１２は、デコードして、本明細書で説明するディスプレイパイプライン処理方法を使用して、対象ディスプレイ１４０の表示空間（例えば、８、１０、又は１２ビット）にマッピングすることができる。例えば、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツは、表示空間の下部部分（例えば、８ビットに対してコード０〜１２７）にマッピングすると共に、拡張範囲（１．０〜Ｍ）又はＨＤＲのコンテンツは、表示空間の残部（例えば、８ビットに対してコード１２８〜２５５）にマッピングすることができる。標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の下部部分は、公称表示範囲と呼ばれる場合がある。
いくつかの実施形態では、レンダリングパイプライン（単数又は複数）１８０及び／又はディスプレイパイプライン１１０によって、現在のディスプレイ情報を収集して、最大レンダリング値Ｍを判定するのに使用することができる。いくつかの実施形態では、Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、Ｍを可能な限り大きくなるように最適化することができる。例えば、観察者の現在の順応において（特に暗い周囲条件での）、ディスプレイの光漏れが不快な知覚閾値を上回らないことが重要であり、Ｍは、この閾値の付近でそれを下回るように最適化することができる。更に、レンダリングパイプライン（単数又は複数）１８０の精細度及びディザリング技術などの技術により更に高い精細度を搬送する能力を考えると、平滑な階調度で知覚バンディングが誘発されないように、搬送能力が十分であることが重要であり、Ｍを最適化することは、Ｍをパイプライン（単数又は複数）によってサポートされる値に制限することにより十分な搬送能力を確保するのに役立つ。別の例として、Ｍがあまりに高く設定される場合、公称表示範囲、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の下部部分は、それらがあまりに少ない知覚ｂｉｎにマッピングされているために現在の周囲条件及びそれらの条件に対する観察者の順応の下で異なる輝度レベルが区別できない点に低減されることがある。したがって、Ｍは、ディスプレイパネルに対する知覚ｂｉｎ閾値を上回らないで、可能な限り大きくなるように最適化することができる。加えて、いくつかの実施形態では、観察者の現在の順応を考えて潜在的に圧縮された信号が視認できるように現在の周囲条件に従って、黒レベルを適応させることができる。更に、ユーザの順応した視覚のモデル及び知覚ｂｉｎにコンテンツをマッピングするために、伝達関数を適用することができる。
図６は、いくつかの実施形態による、現在のディスプレイ情報に従ってＨＤＲコンテンツをレンダリングして表示するための方法の高レベルのフローチャートである。図６の６００に示すように、現在のディスプレイ情報１１４を、判定する又は入手することができる。現在のディスプレイ情報１１４としては、ディスプレイ特性１４２（例えば、ビット深度、解像度、サイズ、最大輝度、漏れ、反射率、伝達関数（単数又は複数）など）、ディスプレイパイプライン１１０内の構成要素の搬送能力／精細度、制御入力１６２（例えば、輝度制御又は輝度スライダ入力）、及び周囲照明レベルなどの環境情報１５２のうちの１つ以上を挙げることができる。図６の６１０に示すように、レンダリングパイプライン（単数又は複数）１８０は、エンコードされたＨＤＲコンテンツ１１２を生成するために、現在のディスプレイ情報１１４に従って入力コンテンツ１１１をレンダリングしてエンコードすることができる。図１を参照して、いくつかの実施形態では、現在のディスプレイ情報１１４をレンダリングパイプライン（単数又は複数）１８０に提供して、対象ディスプレイ１４０の現在の条件に従ってデジタル画像コンテンツ１１１をレンダリングするのに使用することができる。例えば、いくつかの実施形態では、レンダリングパイプライン（単数又は複数）１８０に現在のディスプレイ情報１１４が提供されて、レンダリングパイプライン（単数又は複数）１８０によって最大レンダリング値Ｍを判定するのに使用されることができる。レンダリングパイプライン（単数又は複数）１８０は、次に、入力コンテンツ１１１を範囲０．０〜Ｍにレンダリングしてエンコードし、エンコードされたＨＤＲ出力１１２を生成することができる。
いくつかの実施形態では、レンダリングパイプライン（単数又は複数）１８０に現在のディスプレイ情報１１４を提供する代わりに又はそれに加えて、ディスプレイパイプライン１１０によって現在サポートされている最大レンダリング値Ｍを判定するために、ディスプレイパイプライン１１０を含むディスプレイ管理システムによって現在のディスプレイ情報１１４を収集して使用することができ、最大レンダリング値Ｍをレンダリングパイプライン１８０のうちの１つ以上に提供することができる。例えば、検出された周辺光レベル及び／又は輝度制御入力を使用して、対象ディスプレイでの周囲観察条件に従って、ディスプレイ１４０に対する現在の輝度レベルＢを判定することができる。現在の輝度レベルＢは、パーセント値（例えば、０．２５又は２５％、０．５又は５０％）で表現することができ、標準範囲（ＳＤＲ）最大輝度値（１．０）に対応することができる。いくつかの実施形態では、最大レンダリング値Ｍは、Ｂの逆数として判定することができる。例えば、Ｂ＝０．２５（１／４）である場合、Ｍ＝４／１＝４．０である。同様に、Ｂ＝０．５である場合、Ｍ＝２．０である。いくつかの実施形態では、Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、Ｍを可能な限り大きくなるように最適化することができる。レンダリングパイプライン（単数又は複数）１８０は、次に、入力コンテンツ１１１を範囲０．０〜Ｍにレンダリングしてエンコードし、エンコードされたＨＤＲ出力１１２を生成することができる。
図６の６２０に示すように、ディスプレイパイプライン１１０は、エンコードされたＨＤＲコンテンツ１１２を入手してデコードする。図６の６３０に示すように、ディスプレイパイプライン１１０は、次に、現在のディスプレイ情報に従ってデコードされたＨＤＲコンテンツをディスプレイ１４０にマッピングする。ディスプレイパイプライン１１０で、レンダリングパイプライン（単数又は複数）１８０によって範囲０．０〜ＭにレンダリングされたエンコードされたＨＤＲコンテンツ１１２は、デコードして、対象ディスプレイ１４０の表示空間にマッピングすることができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。例えば、仮定の（線形の）例では、対象ディスプレイ１４０が８ビットのディスプレイであり、Ｂが現在５０％に設定され、Ｍ＝２．０である場合、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツが、Ｂにより示されるように表示空間の下部部分（コード０〜１２７）にマッピングされると共に、拡張範囲（１．０〜２．０）又はＨＤＲのコンテンツは、表示空間の残部（コード１２８〜２５５）にマッピングされる。いくつかの実施形態では、パイプライン１１０のパネルバックライト又は輝度調整構成要素は、ディスプレイ１４０を周囲照明レベルを含む現在の環境条件に適応させるために、少なくとも一部現在の輝度レベルＢに従って、対象ディスプレイパネルに対してバックライト又は輝度レベルを調整することができる。
本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステム１００の実施形態は、例えば、１つ以上の画像キャプチャデバイス及び／又は１つ以上のディスプレイ装置を含む又はそれに結合するように構成されたデバイス又はシステム内に実装することができる。画像キャプチャデバイスは、デジタル画像又はビデオをキャプチャすることができる光センサ又はフォトセンサを含む、任意のデバイスとすることができる。画像キャプチャデバイスとしては、ビデオカメラ及び静止画像カメラ、並びにビデオ及び単一の画像の両方をキャプチャすることができる画像キャプチャデバイスを挙げることができるが、これらに限定されない。画像キャプチャデバイスは、独立型のデバイスとすることができ、又は、スマートフォン、携帯電話、ＰＤＡ、タブレット又はパッドデバイス、多機能デバイス、コンピューティングデバイス、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、デスクトップコンピュータなどが挙げられるがこれらに限定されない、他のデバイスと一体化されたカメラとすることができる。画像キャプチャデバイスは、携帯電話、ＰＤＡ、及びタブレットデバイスなどの小さなデバイス内で使用するのに好適な、小さなフォームファクタのカメラを含むことができることに留意されたい。図８〜図１２は、本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステム１００、画像キャプチャデバイス、若しくはカメラを含む又は実装することができるデバイスの非限定的な実施例を示す。ディスプレイ又はディスプレイ装置としては、スマートフォン、携帯電話、ＰＤＡ、タブレット又はパッドデバイス、多機能デバイス、コンピューティングデバイス、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、デスクトップコンピュータなどが挙げられるがこれらに限定されない、他のデバイスと一体化されたディスプレイスクリーン又はパネルを挙げることができる。ディスプレイ装置としてはまた、ビデオモニタ、プロジェクタ、又は一般的にデジタル画像及び／又はデジタルビデオを表示又は投影することができる任意のデバイスを挙げることができる。ディスプレイ又はディスプレイ装置は、ＬＣＤ（liquid crystal display、液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display、発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode、発光ダイオード）技術を用いてもよいが、他のディスプレイ技術を用いてもよい。ディスプレイ又はディスプレイ装置としては、輝度を提供するためにバックライトを使用するディスプレイ（例えば、ＬＣＤディスプレイ）、並びに輝度を提供するためにバックライトを使用しないディスプレイ（例えば、それぞれの画素が光を放出するＯＬＥＤディスプレイ）を挙げることができる。
ＨＤＲレンダリング及びディスプレイシステム１００の実施形態は、ＨＤＲビデオデータを含むがこれに限定されないＨＤＲコンテンツの、ＨＤＲ対応ディスプレイ装置への、及びＨＤＲイメージングをサポートしないディスプレイ装置へのキャプチャ、処理、エンコード、配信、及び表示をサポートすることができる。加えて、実施形態は、ＳＤＲビデオデータを含むがこれに限定されない標準ダイナミックレンジ（ＳＤＲ）コンテンツの、ＨＤＲ対応ディスプレイ装置及びＨＤＲイメージングをサポートしないディスプレイ装置の両方への表示をサポートすることができる。ＨＤＲレンダリング及びディスプレイシステム１００の実施形態は、ビデオフレーム又はシーケンスをレンダリングして表示することができる。実施形態はまた、ビデオフレーム又はシーケンスの代わりに又はそれに加えて、単一の画像又は静止画像、並びに他のデジタル画像又はデジタルコンテンツをレンダリングして表示することができる。
図８〜図１２は、ＨＤＲレンダリング及びディスプレイシステム１００の実施形態を実装することができるデバイスの非限定的な実施例を示す。画像キャプチャデバイス及び／又はディスプレイ装置を含むデバイス又はシステムは、本明細書で説明するようなビデオデータを含むがこれに限定されないデジタルコンテンツを処理するための機能の少なくとも一部を実装する、ハードウェア及び／又はソフトウェアを含むことができる。いくつかの実施形態では、本明細書で説明するような機能の一部分は、１つのデバイス上に実装することができ、別の部分は、別のデバイス上に実装することができる。例えば、いくつかの実施形態では、画像キャプチャデバイスを含むデバイスは、フォトセンサによりキャプチャされた画像又はビデオを処理して圧縮する（すなわち、エンコードする）レンダリングパイプライン１８０を実装することができ、ディスプレイパネル又はスクリーン１４０を含む別のデバイスは、ディスプレイパネル又はスクリーン１４０に表示するために圧縮された画像を受信して処理する（すなわち、デコードする）ディスプレイパイプライン１１０を実装することができる。いくつかの実施形態では、本明細書で説明するような機能の少なくとも一部は、多機能デバイス、スマートフォン、パッド又はタブレットデバイス、並びにラップトップコンピュータ、ノートブックコンピュータ、及びネットブックコンピュータなどの他のポータブルコンピューティングデバイスを含むがこれらに限定されないデバイス内に使用することができる、システムオンチップ（ＳＯＣ）の１つ以上の構成要素又はモジュールによって実装することができる。例えば、１つ以上のディスプレイパイプライン又はディスプレイ管理システムは、ＳＯＣ内に又はＳＯＣ上のモジュール（デコーディングモジュールと呼ばれる）として実装することができ、レンダリングパイプラインは、ＳＯＣ内に又はＳＯＣ上のモジュール（エンコーディングモジュールと呼ばれる）として実装することができる。図８は、例示的なＳＯＣを示し、図９は、ＳＯＣを実装する例示的なデバイスを示す。図１０は、本明細書で説明する方法及び装置を実装することができる例示的なコンピュータシステムを示す。図１１及び図１２は、本明細書で説明する方法及び装置を実装することができる例示的な多機能デバイスを示す。
本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステム１００のいくつかの実施形態では、コンテンツを１つの表現又は範囲から別のものに変換又はマッピングするのに、包括的階調マッピング（global tone mapping、ＧＴＭ）技術を使用することができる。ＧＴＭ技術では、１つ以上のフレームに対して、包括的階調曲線を特定又は判定して、コンテンツを１つの表現又は範囲から別のものに変換するのに使用することができる。いくつかの実施形態では、ＧＴＭ技術の代わりに又はそれに加えて、例えば、別の方法では表現することができ得ないコントラストを維持するために、コンテンツを１つの表現又は範囲から別のものに変換するのに、局所階調マッピング（local tone mapping、ＬＴＭ）技術を使用することができる。ＬＴＭ技術では、画像又はフレームは、それぞれの領域に対して特定又は判定された階調曲線を有する複数の領域に分割される。ＬＴＭ技術は、例えば、ディスプレイ装置の別の方法で実現可能な範囲を超えて圧縮する場合に、コントラストを維持するのに役立つことがある。これは、例えば、ディスプレイの輝度が周囲の輝度と競合する場合、例えば、直射日光における場合の例であり得る。
図２Ａ、図２Ｂ及び図３は、より詳細なＨＤＲレンダリング及びディスプレイシステム２００の実施形態の構成要素及び動作を示す。ＨＤＲレンダリング及びディスプレイシステム２００は、１つ以上のレンダリングパイプライン２８０と、ディスプレイパイプライン２１０と、動的表示モジュール２７０とを含むことができるが、これらに限定されない。ＨＤＲレンダリング及びディスプレイシステム２００の構成要素は、ハードウェア、ソフトウェア、又はそれらの組み合わせとして実装することができる。図２Ａ及び図２Ｂは、いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステム２００における例示的なディスプレイパイプライン２１０の詳細を示す。図３は、いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステム２００における例示的なレンダリングパイプライン２８０の詳細を示す。ディスプレイパイプライン２１０は、少なくとも１つのディスプレイ２４０を含む又はそれらに結合されたデバイス又はシステム内に実装することができる。レンダリングパイプライン２８０は、例えば、静止画及び／若しくはビデオカメラ（単数又は複数）、又はビデオストリーミングソースなどの、少なくとも１つのデジタル画像コンテンツのソースを含む又はそれらに結合されたデバイス又はシステム内に実装することができる。レンダリングパイプライン２８０及びディスプレイパイプライン２１０は、同じデバイス若しくはシステム内に実装することができる、又は異なるデバイス若しくはシステム内に実装することができる。
ディスプレイパイプライン２１０は、対象ディスプレイ２４０を含んで周囲環境内に配置されたデバイス内に実装することができる。１人以上の観察者は、周囲環境内に配置することができ、ディスプレイ２４０へのコンテンツ２３２出力を見ることができる。システム２００は、ディスプレイ２４０用の１つ以上のコントローラ２６０、例えば、輝度及びコントラストのコントローラを含むことができる、又は実装することができる。システム２００はまた、光センサ又はカメラなどの、１つ以上のセンサ２５０を含む又はこれらにアクセスすることができる。周囲環境は、例えば、家の中の部屋（寝室、書斎など）、屋外設定、オフィスビル内のオフィス若しくは会議室、又は一般的にディスプレイ２４０を備えたシステム２００が存在し得る任意の環境であってよい。周囲環境は、屋内環境での電灯又は天井灯、他の人工光源、窓、及び屋外環境での太陽又は他の光源などの、１つ以上の光源を含むことができる。システム２００及び／又はディスプレイ２４０は、周囲環境内で移動又は再配置する、又は１つの周囲環境（例えば、部屋）から別の周囲環境（例えば、別の部屋又は屋外環境）に移動することができる。
図２Ａ、図２Ｂ及び図３はまた、ＨＤＲレンダリング及びディスプレイシステム２００の構成要素として、動的表示モジュール２７０を示す。いくつかの実施形態では、動的表示モジュール２７０は、ディスプレイパイプライン２１０を含むディスプレイ管理システムの構成要素とすることができる、又は代わりに、ディスプレイパイプライン２１０の構成要素とすることができる。動的表示モジュール２７０は、ディスプレイ特性２４２、ディスプレイパイプライン２１０内の構成要素の搬送能力／精細度、制御入力２６２、及び周囲照明レベルなどの環境情報２５２を含むがこれらに限定されない、様々な情報を収集することができ、ＨＤＲレンダリング及びディスプレイシステム２００に関する公称表示範囲２７３、現在の輝度レベル２７２、及び最大レンダリング値２７４を動的に判定することができる。
図２Ａ及び図３に示すように、少なくともいくつかの実施形態では、レンダリングパイプライン２８０は、ソースから（例えば、レンダリングパイプライン２８０を含むデバイス若しくはシステム上のビデオカメラから、又はビデオストリーミングソースから）コンテンツ２１１を受信し、入力コンテンツ２１１からＨＤＲコンテンツをレンダリングして、エンコード方法、例えば、Ｈ．２６４／高度ビデオ符号化（ＡＶＣ）形式、又はＨ．２６５高効率ビデオ符号化（ＨＥＶＣ）形式などの圧縮ビデオ形式に従って、レンダリングしたコンテンツをエンコードされた形式又は圧縮形式にエンコードすることができる。エンコードされたＨＤＲコンテンツ２８２Ａは、ディスプレイパイプライン２１０にストリーミング配信することができる。あるいは、エンコードされたコンテンツ２８２Ａは、ディスプレイパイプライン２１０によってアクセスするために、メモリ２９０に、例えば、ダイレクトメモリアクセス（direct memory access、ＤＭＡ）メモリ内のバッファ（単数又は複数）にストリーミング配信することができる。ディスプレイパイプライン２１０は、エンコードされたコンテンツ２６２Ｂを入手し、コンテンツ２６２Ｂをデコードし、デコードされたコンテンツを処理して、ディスプレイパネル２４０上に表示するために表示コンテンツ２３２を生成することができる。
図２Ａは、いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステム２００における例示的なディスプレイパイプライン２１０の詳細を示す。ディスプレイパイプライン２１０は、デコーダ２１２構成要素又はモジュール、ビデオパイプ２１４構成要素又はモジュール、フレームレート変換２１６構成要素又はモジュール、合成２１８構成要素又はモジュール、ディスプレイパイプ２２０構成要素又はモジュール、及びディスプレイバックエンド２３０構成要素又はモジュールを含むことができるが、これらに限定されない。図２Ｂは、例示的なディスプレイパイプ２２０及びディスプレイバックエンド２３０を示す。
図２Ａを参照して、エンコードされたＨＤＲビデオストリーム（例えば、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣにエンコードされたビデオストリーム）は、ディスプレイパイプライン２１０のデコーダ２１２構成要素で受信することができる。デコーダ２１２は、入力コンテンツをデコード／展開して、ビデオパイプ２１４に供給されるＨＤＲコンテンツを生成することができる。ビデオパイプ２１４は、コンテンツに関して、ノイズ／アーチファクト低減、スケール変更、鮮明化、及び色処理を含むがこれらに限定されない、様々な処理タスク、又はコンテンツ処理技術を実行することができる。いくつかの実施形態では、フレームレート変換２１６構成要素は、既存のフレームの間の中間フレーム（単数又は複数）を生成することにより、ビデオパイプ２１４の出力をより高いフレームレートに変換することができる。より高いフレームレートに変換することは、例えば、例えばより高い輝度レベルでより明白なちらつきに起因してＨＤＲビデオに現れることがあるジャダーを補償するのに役立つことがある。フレームレート変換２１６構成要素の出力は、スケール変更、色空間変換（単数又は複数）、色域調整、及び局所又は包括的階調マッピングを含むがこれらに限定されない、様々な処理タスクを実行することができるディスプレイパイプ２２０に供給することができる。ディスプレイバックエンド２３０は、次に、対象ディスプレイパネル２４０への表示コンテンツ２３２出力を生成するために、色（クロマ）及び階調（ルマ）調整、階調マッピング、バックライト又は輝度調整、ガンマ補正、白色点補正、黒色点補正、並びに時空ディザリングを含むがこれらに限定されない、追加の処理タスクを実行することができる。いくつかの実施形態では、ディスプレイパイプライン２１０は、テキスト又はＵＩ要素などの他のＳＤＲ又はＨＤＲデジタル情報をレンダリングしたＨＤＲコンテンツと合成又は混合する、合成２１８構成要素を含むことができる。いくつかの実施形態では、ディスプレイパイプライン２１０は、合成のためにＨＤＲコンテンツを線形色空間（例えば、線形ＲＧＢ又はＹＣＣ色空間）に変換することができる。
図２Ａに示すように、動的表示モジュール２７０は、ディスプレイ特性２４２、ディスプレイパイプライン２１０内の構成要素の搬送能力／精細度、制御入力２６２、及び周囲照明レベルなどの環境情報２５２を含むがこれらに限定されない、様々なディスプレイ情報を収集することができ、ＨＤＲレンダリング及びディスプレイシステム２００に関する公称表示範囲２７３、現在の輝度レベルＢ２７２、及び最大レンダリング値２７４を動的に判定することができる。公称表示範囲２７３及び現在の輝度レベルＢ２７２は、ディスプレイパイプライン２１０内の構成要素又はモジュールのうちの１つ以上に入力して、これらの情報に従ってこれらのモジュール（単数又は複数）によって実行されるビデオ処理機能のうちの１つ以上を動的に調整するために使用することができる。したがって、１つ以上の現在の条件（例えば、周辺光、ディスプレイ特性、ディスプレイ設定など）は、入力ＨＤＲコンテンツ２８２Ｂのレンダリング及び表示を対象ディスプレイパネル２４０にリアルタイム又はほぼリアルタイムで動的に適応させるために、検出し、分析して、使用することができる。
いくつかの実施形態では、ディスプレイパイプライン２１０は、レンダリングパイプライン２８０によって範囲０．０〜Ｍにレンダリングされたルマ成分を有するエンコードされたＨＤＲコンテンツ２８２Ｂを受信し、エンコードされたコンテンツをデコードし、デコードされたコンテンツを対象ディスプレイ２４０の表示空間にマッピングして、ルマコンテンツのダイナミックレンジ０．０〜Ｍを保持する。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。例えば、仮定の（線形の）例では、対象ディスプレイ２４０が８ビットのディスプレイであり、現在の輝度レベルＢが５０％で、Ｍ＝２．０である場合、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツを、Ｂにより示されるように表示空間の下部部分（コード０〜１２７）にマッピング又は圧縮すると共に、拡張範囲（１．０〜２．０）又はＨＤＲのコンテンツを、表示空間の残部（コード１２８〜２５５）にマッピングすることができる。したがって、標準ディスプレイ上でも、標準範囲（０．０〜１．０）を上回るレンダリングされたＨＤＲコンテンツを表示することができる。
図２Ｂは、いくつかの実施形態による、ディスプレイパイプライン２１０の例示的なディスプレイパイプ２２０及びディスプレイバックエンド２３０の構成要素を示す。いくつかの実施形態では、ディスプレイパイプ２２０は、垂直及び水平のスケール変更４２２を実行して、ＨＤＲコンテンツを対象ディスプレイパネルの解像度に変換することができる。色空間変換４２４を次に実行して、スケール変更されたコンテンツを、入力コンテンツの色空間（例えば、ＲＢＧ、ＹＣＣ、又はＸＹＺ色空間）から別の色空間（例えば、ＹＣＣ色空間）に変換することができる。色域調整４２６を次にコンテンツに関して実行して、ビデオコンテンツの色（クロマ）成分を対象ディスプレイパネルの色域に調整することができる。別の色空間変換４２８を次に実行して、ビデオコンテンツをディスプレイバックエンド２３０の色空間（例えば、ＲＧＢ色空間）に変換することができる。ディスプレイパイプ２２０によって処理されたビデオコンテンツは、次に、ディスプレイバックエンド２３０に提供することができる。
いくつかの実施形態では、ディスプレイバックエンド２３０は、コンテンツに関して追加のディスプレイパネル固有の処理タスクを実行することができる。ディスプレイバックエンド２３０のいくつかの実施形態では、適応画素調整４３１構成要素は、周辺光レベルなどの環境条件及びディスプレイ特性（例えば、ビット深度、最大輝度、漏れ、反射率、伝達関数（単数又は複数）など）を含むがこれらに限定されない情報２７５に応じて、コンテンツ内の画素値を調整することができる。ディスプレイバックエンド２３０のいくつかの実施形態では、階調マッピング４３２構成要素は、階調マッピングをコンテンツに適用することができる。一般的に定義される階調マッピングは、１組の色調画像値（例えば、ＨＤＲ画像データからのルマ値）を別の値に（例えば、ＳＤＲ画像データに）マッピングする技術である。階調マッピングを使用して、例えば、より限定されたダイナミックレンジ（例えば、ＳＤＲ）を有するメディアにおいて、ＨＤＲ画像の外観を近似することができる。階調マッピングは、一般的にルマ画像データに適用することができる。ディスプレイバックエンド２３０のいくつかの実施形態では、パネルバックライト（又は輝度）調整４３３構成要素は、少なくとも一部現在の輝度レベル２７２に従って、対象ディスプレイパネルに対してバックライト（又は輝度）レベルを調整することができる。ディスプレイバックエンド２３０のいくつかの実施形態では、パネルガンマ補正４３４を実行して、対象ディスプレイパネル上での適切な表示のためにコンテンツの輝度を調整することができる。白色点補正４３５を次に実行して、コンテンツの白色点を対象ディスプレイパネルの白色点に補正することができる。ディスプレイバックエンド２３０のいくつかの実施形態では、空間（フレーム内の）及び／又は時間（２つ以上のフレームにわたる）ディザリング４３６を次にコンテンツに適用して、表示されるコンテンツ内のアーチファクト（例えば、バンディングパターン）を低減する又は取り除くことができる。
図２Ｂに示すように、動的表示モジュール２７０は、ディスプレイ特性２４２、ディスプレイパイプライン２１０内の構成要素の搬送能力／精細度、制御入力２６２、及び周囲照明レベルなどの環境情報２５２を含むがこれらに限定されない、様々な情報を収集することができ、ＨＤＲレンダリング及びディスプレイシステム２００に関する公称表示範囲２７３、現在の輝度レベル２７２、及び他の情報２７５を動的に判定することができる。公称表示範囲２７３、現在の輝度レベル２７２、及び他の情報２７５は、ディスプレイパイプライン２１０のディスプレイパイプ２２０及び／又はディスプレイバックエンド２３０内の構成要素又はモジュールのうちの１つ以上に入力して、これらの情報に従ってこれらのモジュール（単数又は複数）によって実行されるコンテンツ処理機能のうちの１つ以上を動的に調整するために使用することができる。したがって、１つ以上の現在の条件（例えば、周辺光、ディスプレイ特性、ディスプレイ設定など）は、ＨＤＲコンテンツ２８２のレンダリング及び表示を対象ディスプレイパネル２４０に動的に適応させるために、検出し、分析して、使用することができる。
図３は、いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステム２００における例示的なレンダリングパイプライン２８０の詳細を示す。レンダリングパイプライン２８０は、表示するためにデジタル画像コンテンツ２１１を生成するアプリケーション、デバイス、モジュール、構成要素、又はシステムに関連付けることができる。いくつかの実施形態では、レンダリングパイプライン２８０は、ソース（例えば、デジタルビデオカメラ若しくは静止画像カメラ、又はビデオストリーミングソース）から「生の」デジタル画像コンテンツ２１１を受信し、エンコードされたＨＤＲコンテンツ２８２を生成するように受信したデジタル画像コンテンツ２１１をレンダリングしてエンコードする。レンダリングパイプライン２８０は、電気光学伝達関数（electro−optical transfer function、ＥＯＴＦ）２８２構成要素又はモジュール、マッピング２８４構成要素又はモジュール、及びエンコーダ２８８構成要素又はモジュールを含むことができるがこれらに限定されない。
レンダリングパイプライン２８０への入力コンテンツ２１１は、例えば、１６ビットのビット深度で（線形）ＣＩＥ １９３１ ＸＹＺ色空間にエンコードすることができる。しかし、入力コンテンツ２１１は、他の形式、色空間、及びビット深度であってもよい。ＥＯＴＦ２８２構成要素は、電気光学伝達関数（ＥＯＴＦ）動作を入力コンテンツ２１１に適用して、入力コンテンツ２１１のデータを色空間内のｎビットのデータに、例えば、１２ビットのＲＧＢ色空間にマッピングすることができる。マッピング２８４構成要素は、次に、例えば、階調（ルマ）マッピング及び全域（色）マッピング技術を使用して、ＥＯＴＦ２８２によるコンテンツ出力（例えば、１２ビットのＲＧＢデータ）をビット深度及び色空間（例えば、１０ビットのＲＧＢ）にマッピングすることができる。しかし、様々なマッピング技術の任意のものを、マッピング２８４構成要素によって使用することができる。いくつかの実施形態では、マッピング２８４は、表示モジュール２７０及び／又はディスプレイパイプライン２１０から入手したディスプレイ情報に少なくとも一部従って、実行することができる。レンダリングパイプライン２８０のいくつかの実施形態では、マッピング２８４構成要素内で包括的階調マッピング（ＧＴＭ）技術を使用することができる。いくつかの実施形態では、ＧＴＭ技術の代わりに又はそれに加えて、マッピング２８４構成要素内で局所階調マッピング（ＬＴＭ）技術を使用することができる。ＬＴＭ技術では、画像又はフレームは、それぞれの領域に対して特定又は判定された階調曲線を有する複数の領域に分割される。ＬＴＭ技術は、例えば、ディスプレイ装置の別の方法で実現可能な範囲を超えて圧縮する場合に、コントラストを維持するのに役立つことがある。これは、例えば、ディスプレイの輝度が周囲の輝度と競合する場合、例えば、直射日光における場合の例であり得る。いくつかの実施形態では、ＥＯＴＦ２８２構成要素の出力は、マッピング２８４の前に、別の色空間に、例えば、ＲＧＢからＹＣＣ色空間に、変換することができる。
既存のレンダリングパイプラインで行われるようにコンテンツ２１１に対するルマ値を標準範囲（０．０〜１．０）にマッピングする代わりに、レンダリングパイプライン２８０は、コンテンツ２１１をより広い範囲にマッピングすることができる。例えば、入力コンテンツ２１１が通常又は標準輝度より明るいルマ値（例えば、標準輝度の１０倍）を含む場合、レンダリングパイプライン２８０は、ルミナンスデータを範囲０．０〜Ｍ（Ｍは、輝度に対する最大値である）にマッピングすることができる。したがって、マッピング２８４の出力は、ルマが範囲０．０〜ＭにマッピングされたＨＤＲコンテンツである。いくつかの実施形態では、コンテンツ２１１の標準又はＳＤＲ部分は、範囲０．０〜１．０にマッピングすることができ、コンテンツ２１１の拡張又はＨＤＲ部分は、範囲１．０〜Ｍにマッピングすることができる。例えば、標準輝度の１０倍であるルミナンス値を含む入力コンテンツ２１１に対して、次に、その値は、１．０が標準輝度を表し、Ｍ＝１０．０が最大輝度を表して、範囲０．０〜１０．０にマッピングすることができる。
いくつかの実施形態では、ディスプレイ特性２４２、ディスプレイパイプライン２１０内の構成要素の搬送能力／精細度、制御入力２６２、及び環境情報２５２を含むがこれらに限定されない現在のディスプレイ情報を収集して、ディスプレイパイプライン２１０によって現在サポートされている最大レンダリング値Ｍ２７４を判定するために動的表示モジュール２７０によって使用することができ、最大レンダリング値Ｍ２７４は、レンダリングパイプライン２８０に提供することができる。例えば、検出された周辺光レベル及び／又は輝度制御入力を使用して、ディスプレイ２４０に対する現在の輝度レベルＢ２７２を判定することができる。現在の輝度レベルＢ２７２は、パーセント値（例えば、０．２５又は２５％、０．５又は５０％など）で表現することができ、標準範囲（ＳＤＲ）最大輝度値（１．０）に対応することができる。いくつかの実施形態では、最大レンダリング値Ｍ２７４は、Ｂの逆数として判定することができる。例えば、Ｂ＝０．２５（１／４）である場合、Ｍ＝４／１＝４．０である。同様に、Ｂ＝０．５である場合、Ｍ＝２．０である。レンダリングパイプライン２８０は、次に、入力コンテンツ２１１のルマ成分を範囲０．０〜Ｍにマッピングして、エンコードされるＨＤＲコンテンツを生成することができる。
エンコーダ２８８構成要素は、次に、エンコード方法、例えば、Ｈ．２６４／高度ビデオ符号化（ＡＶＣ）形式、又はＨ．２６５高効率ビデオ符号化（ＨＥＶＣ）形式などの圧縮ビデオ形式に従って、レンダリングされたコンテンツ出力をエンコードされた形式又は圧縮形式にエンコードすることができる。いくつかの実施形態では、マッピング２８４構成要素の出力は、エンコーダ２８８の前に、別の色空間に、例えば、ＲＧＢからＹＣＣ色空間に、変換することができる。エンコーダ２８８の出力は、エンコードされたＨＤＲコンテンツ２８２Ａである。エンコードされたＨＤＲコンテンツ２８２Ａは、ディスプレイパイプライン２１０にストリーミング配信することができる。あるいは、エンコードされたコンテンツ２８２Ａは、ディスプレイパイプライン２１０によってアクセスするために、メモリ２９０に、例えば、ダイレクトメモリアクセス（ＤＭＡ）メモリ内のバッファ（単数又は複数）にストリーミング配信することができる。
ディスプレイパイプライン２１０は、エンコードされたコンテンツ２６２Ｂを入手し、コンテンツ２６２Ｂをデコードし、デコードされたコンテンツを処理して、ディスプレイパネル２４０上に表示するために表示コンテンツ２３２を生成することができる。いくつかの実施形態では、動的表示モジュール２７０は、ディスプレイ特性２４２、ディスプレイパイプライン２１０内の構成要素の搬送能力／精細度、制御入力２６２、及び周囲照明レベルなどの環境情報２５２を含むがこれらに限定されない、様々な情報を収集することができ、ＨＤＲレンダリング及びディスプレイシステム２００に関する公称表示範囲２７３、現在の輝度レベル２７２、及び他の情報２７５を動的に判定することができる。公称表示範囲２７３、現在の輝度レベル２７２、及び他の情報２７５は、ディスプレイパイプライン２１０内の構成要素又はモジュールのうちの１つ以上に入力して、これらの情報に従ってこれらのモジュール（単数又は複数）によって実行されるコンテンツ処理機能のうちの１つ以上を動的に調整するために使用することができる。したがって、１つ以上の現在の条件（例えば、周辺光、ディスプレイ特性、ディスプレイ設定など）は、ＨＤＲコンテンツ２８２のレンダリング及び表示を対象ディスプレイパネル２４０に動的に適応させるために、検出し、分析して、使用することができる。
図２Ａ、図２Ｂ、及び図３に示す様々なビデオ形式、色空間、ビット深度などは、例として示され、限定することを意図するものではないことに留意されたい。例えば、入力ビデオに対して、ＣＩＥ １９３１ ＸＹＺ以外の色空間を使用することができる。別の例として、いくつかの実施形態では、エンコード及びデコードは、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣ形式以外のエンコード形式に従って実行することができる。別の例として、レンダリングパイプライン２８０及びディスプレイパイプライン２１０内で使用される色空間、及びディスプレイパイプライン２１０がコンテンツをマッピングする対象ディスプレイパネル２４０の色空間は、各種ＹＵＶ、ＹＣＣ、ＲＧＢ、Ｒｅｃ．７０９、ＤＣＩ Ｐ３、及びＲｅｃ．２０２０色空間を含むがこれらに限定されない様々な色空間のうちの任意のものとすることができる。
観察者の知覚、公称表示範囲、及び輝度
ＨＤＲコンテンツをレンダリングして表示するのに考慮する重要な要因は、観察者の知覚である。人間の視覚系は、広いルクス範囲を有する。しかし、任意の所与の時間において、視覚は、その範囲の小さな部分にのみ順応する。図１〜図３に示すようなＨＤＲレンダリング及びディスプレイシステムの少なくともいくつかの実施形態は、ディスプレイ上にレンダリングされた現在の画像の輝度、ディスプレイのサイズ又は寸法、ディスプレイからの観察者の距離、及び周囲照明を含むがこれに限定されない周囲環境条件を含むがこれらに限定されない条件を検出、追跡、及び分析して、現在の条件、並びに条件がここしばらくどのように変化していたかに従って、観察者の視覚に関する現在の範囲を判定することができ、現在の条件に従ってその範囲内にコンテンツのレンダリング及び表示を対象ディスプレイパネルに対して適応させることができる。
光度測定においては、ルミナンスに対するＳＩ単位は、カンデラ毎平方メートル（ｃｄ／ｍ2）である。カンデラは、光度のＳＩ単位である。同じ単位に対する非ＳＩ用語は、「ＮＩＴ」である。ルクスは、単位面積当たりの光束（ルーメン）を測定する照度及び光束発散度のＳＩ単位である。ルクスは、１ルーメン毎平方メートルに等しい。ルーメンは、光束、発生源により放出された可視光の測定値のＳＩ組立単位である。
図４Ａ及び図４Ｂは、例示的なディスプレイパネルに対する人間の知覚範囲を示す。図４Ａは、暗い環境でのディスプレイに対する知覚範囲を示す。図４Ｂは、より明るい環境でのディスプレイに対する知覚範囲を示す。図４Ａの曲線により示すように、人間の知覚は、非線形である。しかし、人間の視覚は、星明かり（１０-4ルクス）から直射日光（１０4ルクス）までの広いルクス範囲を有する。任意の所与の時間において、人間の視覚は、小さな部分にのみ順応し、一般的に、視野のかなりのパーセント値の範囲を占める最も明るい刺激又は対象物に順応する。任意の所与の順応レベルにおいて、識別することができる２8と２9との間のｂｉｎの強度のみが存在する。図４Ａ及び図４Ｂで、最大ルクスレベル（図４Ａで約２５０、及び図４Ｂで２５００）は、周囲輝度のレベル、及びそれに対応して観察者の知覚が順応したところである。同様に、曲線の暗い端部で、第１の知覚ｂｉｎ（曲線の最低のｂｉｎ）は、真の黒から区別できない。
図４Ａは、相当に暗い環境での相当に明るいディスプレイを示し、ディスプレイは、人間の視覚を相当に良好に模倣している。縦軸は、５１２の知覚レベル（強度）を表す。台座領域は、適切にレンダリングするのが困難な領域である。台座領域は、ディスプレイの黒の漏れ、並びにディスプレイパネルから反射した周辺光により、ディスプレイで実現することができないグレーの色合いを含み、ディスプレイ上の黒が視覚に関して真の黒とは知覚的にどれほど異なるかを示す。
図４Ｂは、ディスプレイが人間の知覚の一部分のみを刺激することができる、より明るい環境での人間の知覚のマッピングを示す。表示範囲として示された曲線の部分は、人間の視覚範囲の半分未満を刺激する。ディスプレイの知覚される応答は、ディスプレイの測定された応答とは異なる。したがって、ディスプレイ上に表現することができるダイナミックレンジに関して限界が存在し得る。
前述したように、所与の順応レベルにおいて、人間の視覚系が識別することができる２8と２9との間の異なる強度のレベルのみが存在する。図１〜図３に示すようなＨＤＲレンダリング及びディスプレイシステムの実施形態は、公称表示範囲と呼ばれる現在の条件に従った人間の視覚に対する現在の範囲を判定するために、周囲照明を含むがこれに限定されない周囲環境条件を検出して分析することができ、現在の条件に従って公称範囲内にコンテンツのレンダリング及び表示を対象ディスプレイパネルに適応させることができる。
図１〜図３に示すようなＨＤＲレンダリング及びディスプレイシステムの実施形態では、周囲照明を含むがこれに限定されない環境情報２５２は、ＨＤＲコンテンツを処理するのに活用することができる。周囲照明条件が既知である場合、観察者の体験を高めることができるいくつかのことを行うことができる。図２Ａ及び図３に示すように、ＨＤＲレンダリング及びディスプレイシステム２００は、ディスプレイ２４０に対する環境条件を監視することができる光センサ又はカメラを含むがこれらに限定されない、１つ以上のセンサ２５０を含むことができる。この環境情報２５２は、周囲環境に従ってＨＤＲコンテンツのレンダリング及び表示を適応させるために、ＨＤＲレンダリング及びディスプレイシステム２００内のモジュールのうちの１つ以上によって活用することができる。例えば、階調マッピング及び／又は全域マッピングが表示するためのコンテンツに適用される場合、マッピングは、少なくとも一部現在の周囲照明に基づいて動的に調整することができる。別の例として、少なくとも一部現在の周囲照明に基づいて、ディスプレイの輝度を上昇又は下降させて調整することができる。いくつかの実施形態では、周囲照明に加えて、観察者の位置及び角度などの他の環境情報２５２もまた、周囲環境に従ってＨＤＲコンテンツのレンダリング及び表示を適応させるのに、収集して使用することができる。
周囲照明などの環境情報２５２に加えて、いくつかの実施形態では、観察者は、観察者に所望の輝度レベルを指定させる表示輝度スライダなどの、１つ以上のコントローラ２６０を介して制御入力２６２を提供することができる。いくつかの実施形態では、既存の表示輝度制御、例えば、ＬＣＤバックライトコントローラが一般的に提供する設定より暗い設定をユーザが選択することができる輝度コントローラ２６０を提供することができる。既存の表示輝度制御は、一般的に黒まで連続的に暗くしない。いくつかの実施形態では、制御入力２６２は、環境情報２５２の代わりに又はそれに加えて、観察者のためにＨＤＲコンテンツのレンダリング及び表示を適応させるのに使用することができる。いくつかの実施形態では、ディスプレイ特性２４２（例えば、ビット深度、解像度、サイズ／寸法、漏れ、反射率、伝達関数（単数又は複数）など）は、ＨＤＲレンダリング及びディスプレイシステム２００によって入手され、観察者のためにＨＤＲコンテンツのレンダリング及び表示を適応させるのに使用されることができる。
図２Ａを参照して、いくつかの実施形態では、ＨＤＲレンダリング及びディスプレイシステム２００は、ディスプレイ特性２４２、ディスプレイパイプライン２１０内の構成要素の搬送能力／精細度、制御入力２６２、及び環境情報２５２を含むがこれらに限定されない、様々な情報を入手又は収集することができ、この情報を使用して、ＨＤＲレンダリング及びディスプレイシステム２００に関する公称表示範囲２７３、現在の輝度レベル２７２、及び最大レンダリング値２７４を動的に判定することができる、動的表示モジュール２７０を含むことができる。最大レンダリング値２７４は、エンコードされるＨＤＲコンテンツを生成してエンコードされたＨＤＲコンテンツ２８２Ａとして出力するために入力コンテンツ２１１をレンダリングする際に、ルマ値に対する最大値Ｍとして使用するために１つ以上のレンダリングパイプライン２８０に送られることができる。公称表示範囲２７３及び現在の輝度レベル２７２は、入力ＨＤＲコンテンツ２８２Ｂを対象ディスプレイ２４０の表示空間にマッピングする際に使用するために、ディスプレイパイプライン２１０に送られることができる。いくつかの実施形態では、動的表示モジュール２７０は、表示するためにＨＤＲコンテンツを処理する際に使用するために、周辺光レベルなどの環境条件を含むがこれに限定されない他の情報２７５をディスプレイパイプライン２１０に送ることができる。
図５Ａ〜図５Ｃは、いくつかの実施形態による、動的表示モジュールによって生成されたような現在のディスプレイ情報を使用した、レンダリングパイプラインによって範囲０．０〜ＭにレンダリングされたＨＤＲコンテンツの表示空間へのマッピングを示す。図５Ａは、通常の照明環境でのＨＤＲコンテンツの通常又は標準ディスプレイ（例えば、８ビットのディスプレイ）へのマッピングを示す。図５Ｂは、ＨＤＲコンテンツの明るいディスプレイ又はＨＤＲ対応ディスプレイ（例えば、１０、１２、又はより多くのビットのディスプレイ）へのマッピングを示す。図５Ｃは、暗い照明環境でのＨＤＲコンテンツの通常又は標準ディスプレイ（例えば、８ビットのディスプレイ）へのマッピングを示す。標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の部分は、公称表示範囲と呼ばれる場合がある。
図５Ａは、いくつかの実施形態による、通常の照明環境でのＨＤＲコンテンツの通常又は標準ディスプレイ（例えば、８ビットのディスプレイ）へのマッピングを示す。８ビットのディスプレイに対して、Ｎ＝２５６である。通常の照明環境では、公称表示範囲（０．０〜１．０）は、ディスプレイのコードのすべてにわたって延在することができる。この例では、８ビットのディスプレイに対して、コードは、０〜２５５であり、一般的に０．０は、コード０にマッピングされ、１．０は、コード２５５にマッピングされる。レンダリングパイプライン（単数又は複数）によって範囲０．０〜Ｍにレンダリングされた入力ＨＤＲコンテンツは、ディスプレイパイプラインによって表示空間の２５６個のコードにマッピングすることができる。いくつかの実施形態では、０．０を０．０／コード０にマッピングすると共に、最大値Ｍを１．０／コード２５５にマッピングすることができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。いくつかの実施形態では、マッピングを実行するために、簡易スケール又乗法関数を使用することができる。いくつかの実施形態では、ガンマ関数、例えば、本明細書で説明するような知覚モデルに従って判定されたガンマ関数に従って、マッピングを実行することができる。いくつかの実施形態では、マッピングを実行するために、１つ以上のルックアップテーブル（lookup tables、ＬＵＴ）を使用することができる。いくつかの実施形態では、ＬＵＴは、特定のディスプレイ若しくはディスプレイの種類に対して補正するように、又は別の方法でマッピングを歪曲若しくは調整するように、適応させることができる。
いくつかの実施形態では、テキスト又はＵＩ要素などの標準範囲（０．０〜１．０）又はＳＤＲのコンテンツは、表示する前にディスプレイパイプラインによってレンダリングされたＨＤＲコンテンツと混合又は合成することができる。いくつかの実施形態では、表示空間内でＳＤＲコンテンツをＨＤＲ（０．０〜Ｍ）コンテンツと合成又は混合する場合、ＳＤＲコンテンツ及びＨＤＲコンテンツの標準（０．０〜１．０）部分を、表示空間の下部部分（例えば、８ビットに対してコード０〜１２７）にマッピング又は圧縮すると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を表示空間の残部（例えば、８ビットに対してコード１２８〜２５５）にマッピングすることができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。例えば、仮定の（線形の）例では、ＳＤＲコンテンツ及びＨＤＲコンテンツの標準（０．０〜１．０）部分を、８ビットに対してコード０〜１２７にマッピング又は圧縮すると共に、Ｍ＝２である場合、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を、表示空間の残部（８ビットに対してコード１２８〜２５５）にマッピングすることができる。
図５Ｂは、いくつかの実施形態による、ＨＤＲコンテンツの明るいディスプレイ又はＨＤＲ対応ディスプレイ（例えば、１０、１２、又はより多くのビットのディスプレイ）へのマッピングを示す。１０ビットのディスプレイに対して、Ｎ＝１０２４である。したがって、コードは、０〜１０２３である。いくつかの実施形態では、ＨＤＲコンテンツの標準（０．０〜１．０）部分を、ディスプレイパイプラインによって、表示空間の下部のコード（０〜ｎ）にマッピングすると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を、表示空間の残部（コードｎ〜１０２３）にマッピングすることができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。いくつかの実施形態では、ｎは、Ｍの値から判定することができる。例えば、仮定の（線形の）例では、Ｍ＝４である場合、１０ビットのディスプレイに対して、ｎ＝（１０２４／４）−１＝２５５である。より現実的には、現実の世界の非線形（ガンマ）の例に対して、Ｍ＝４である場合、２．２のガンマ応答を有する１０ビットのディスプレイに対して、１．０は、（（０．２５）2.2）×１０２３＝４８．４５にマッピングされるであろう。ディスプレイインタフェースは、整数のみを搬送することができるため、これは、４８に丸めることができる、又は（むしろ）４８．４５は、ディザでディスプレイに搬送することができる。
いくつかの実施形態では、拡張表示空間内でＳＤＲコンテンツをＨＤＲ（０．０〜Ｍ）コンテンツと合成又は混合する場合、ＳＤＲコンテンツ及びＨＤＲコンテンツの標準（０．０〜１．０）部分を、表示空間の下部部分（例えば、コード０〜ｎ）にマッピング又は圧縮すると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を表示空間の残部（例えば、コードｎ〜１０２３）にマッピングことができる。
図５Ｃは、いくつかの実施形態による、暗い照明環境でのＨＤＲコンテンツの通常又は標準ディスプレイ（例えば、８ビットのディスプレイ）へのマッピングを示す。暗い環境では、通常のディスプレイでも非常に明るく見えるであろうし、順応した観察者の視覚には不快なほど明るく見える場合がある。したがって、輝度（例えば、バックライトの輝度）を、コントローラ（例えば、輝度スライダのＵＩ要素）を使用して下げることができる、又は、周囲照明を検出するセンサ入力に応じて、自動的に暗くすることができる。いくつかの実施形態では、輝度制御（例えば、輝度スライダのＵＩ要素）により、既存の表示輝度制御、例えば、ＬＣＤバックライトコントローラが一般的に提供する設定より暗い設定をユーザが選択することができる。既存の表示輝度制御は、一般的に黒まで連続的に暗くしない。ＨＤＲレンダリング及びディスプレイシステムの実施形態は、ＨＤＲコンテンツを標準ディスプレイに表示するために、「ヘッドルーム」又は１００％未満の暗くした輝度レベルにより生成された表示空間の未使用部分を活用することができる。例えば、表示輝度が５０％である場合、８ビットのディスプレイに対して、下部部分（０〜１２７）をコンテンツの標準又はＳＤＲ部分（ルマ値０．０〜１．０）のために使用すると共に、表示コードの上部部分（１２８〜２５５）を、レンダリングパイプライン（単数又は複数）によってレンダリングされたようなコンテンツの拡張又はＨＤＲ部分（ルマ値１．０〜Ｍ）のために使用することができる。
いくつかの実施形態では、検出された周辺光レベル及び／又は輝度制御入力を使用して、対象ディスプレイでの周囲観察条件に従って、ディスプレイに対する現在の輝度レベルＢを判定することができる。現在の輝度レベルＢは、パーセント値（例えば、０．２５又は２５％、０．５又は５０％など）として表現することができる。いくつかの実施形態では、Ｂは、標準範囲（ＳＤＲ）の最大輝度値（１．０）に対応する又はマッピングすることができる。いくつかの実施形態では、最大レンダリング値Ｍは、Ｂの逆数として判定することができる。例えば、Ｂ＝０．２５（１／４）である場合、Ｍ＝４／１＝４．０である。同様に、Ｂ＝０．５である場合、Ｍ＝２．０である。レンダリングパイプライン（単数又は複数）は、ＨＤＲコンテンツを範囲０．０〜Ｍにレンダリングすることができる。
いくつかの実施形態では、レンダリングパイプライン（単数又は複数）によって現在のディスプレイ情報を収集して、最大レンダリング値Ｍを判定するのに使用することができる。いくつかの実施形態では、Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、Ｍを可能な限り大きくなるように最適化することができる。例えば、観察者の現在の順応において（特に図５Ｃに示すような暗い周囲条件での）、ディスプレイの光漏れが不快な知覚閾値を上回らないことが重要であり、Ｍは、この閾値の付近でそれを下回るように最適化することができる。別の例として、レンダリングパイプライン（単数又は複数）の精細度及びディザリング技術などの技術により更に高い精細度を搬送する能力を考えると、平滑な階調度で知覚バンディングが誘発されないように、搬送能力が十分であることが重要であり、Ｍを最適化することは、精細度、知覚及び美的限界を上回ることなくＭをパイプライン（単数又は複数）によってサポートされる値に制限することにより、十分な搬送能力を確保するのに役立つ。別の例として、Ｍがあまりに高く設定される場合、公称表示範囲、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の下部部分は、それらがあまりに少ない知覚ｂｉｎにマッピングされているために現在の周囲条件及びそれらの条件に対する観察者の順応の下で異なる輝度レベルが区別できない点に低減されることがある。したがって、Ｍは、ディスプレイパネルに対する知覚ｂｉｎ閾値を上回らないで、可能な限り大きくなるように最適化することができる。加えて、いくつかの実施形態では、観察者の現在の順応を考えて潜在的に圧縮された信号が視認できるように現在の周囲条件に従って、黒レベルを適応させることができる。更に、ユーザの順応した視覚のモデル及び知覚ｂｉｎにコンテンツをマッピングするために、伝達関数を適用することができる。
８ビットのディスプレイに対して、Ｎ＝２５６であり、コードは、０〜２５５である。暗い照明環境では、ＨＤＲコンテンツの標準範囲（０．０〜１．０）部分は、ディスプレイパイプラインによって、Ｂにより判定されるような表示空間の下部部分にマッピング又は圧縮することができる。例えば、仮定の線形の例では、Ｂ＝０．５である場合、標準範囲（０．０〜１．０）は、８ビットのディスプレイに対してコード０〜１２７にマッピングすることができる。ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分は、表示空間の残部（Ｂ＝０．５を有する８ビットのディスプレイに対してコード１２８〜２５５）にマッピングすることができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。より現実的には、現実の世界の非線形（ガンマ）の例に対して、Ｍ＝４である場合、２．２のガンマ応答を有する１０ビットのディスプレイに対して、１．０は、（（０．２５）2.2）×１０２３＝４８．４５にマッピングされるであろう。ディスプレイインタフェースは、整数のみを搬送することができるため、これは、４８に丸めることができる、又は（むしろ）４８．４５は、ディザでディスプレイに搬送することができる。
いくつかの実施形態では、標準表示空間内でＳＤＲコンテンツをＨＤＲ（０．０〜Ｍ）コンテンツと合成又は混合する場合、ＨＤＲコンテンツの標準範囲（０．０〜１．０）部分を、表示空間の下部部分（例えば、８ビットのディスプレイに対してコード０〜１２７）にマッピング又は圧縮すると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を表示空間の残部（例えば、８ビットのディスプレイに対してコード１２８〜２５５）にマッピングことができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。例えば、仮定の（線形の）例では、ＨＤＲコンテンツの標準範囲（０．０〜１．０）部分を、Ｂ＝０．５を有する８ビットのディスプレイに対してコード０〜１２７にマッピング又は圧縮すると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を、表示空間の残部（Ｂ＝０．５を有する８ビットのディスプレイに対してコード１２８〜２５５）にマッピングすることができる。
いくつかの実施形態では、図５Ｃに示すような暗い照明環境でＨＤＲコンテンツを通常又は標準ディスプレイにマッピングする場合、ディスプレイパネルのバックライトは、全出力にしておくことができる。標準範囲（０．０〜１．０）の値は、表示空間の下部部分（すなわち、公称表示範囲）にマッピング又は圧縮されると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分は、表示空間の上部部分又は「ヘッドルーム」部分（ヘッドルームは、１．０を上回る値がマッピングされる表示空間の上部領域である）にマッピングされる。暗い環境でＨＤＲコンテンツを表示する場合にバックライトを全出力にしておいて、標準コンテンツは、観察者に対して快適なレベルで表示され一方で、観察者の知覚が暗順応している場合に爆発などの非常に明るい効果を知覚的に印象的な方法で表示することができる。しかし、バックライトを全出力にしておくことは、著しい電力消費の元である。いくつかの実施形態では、電力消費を低減するために、バックライトの電力は、表示されているコンテンツに基づいて調整される。上部（１．０〜Ｍ）範囲にコンテンツが存在しないとき、バックライトを暗くして、明るいコンテンツが存在するとき、バックライトを上昇させることができる。同じ見掛けの輝度を維持するために、ディスプレイパイプラインによって、バックライト設定に従って画素値を調整することができる。バックライトが高いとき、画素は低減され、バックライトが低いとき、画素は理論的により明るくされる。したがって、より暗い画素は、より明るくなるように引き伸ばすことができるが、より明るい画素は、圧縮される場合があり、したがって、明るいコンテンツの細部は、失われることがある。したがって、この方法は、一部の状況では、例えば、ＵＩ要素などの一般的により明るいＳＤＲコンテンツを映画又はビデオなどの一般的により暗いＨＤＲコンテンツと混合する場合、視覚効果を劣化させることがある。
いくつかの実施形態では、ＵＩ要素などのＳＤＲコンテンツ及びＨＤＲコンテンツは、ＳＤＲコンテンツを表示空間の下部部分にマッピングして、別々に処理されるため、バックライト設定に従って画素値を調整する場合、調整をＨＤＲコンテンツのみに適用して、ＳＤＲコンテンツを保持して、したがって圧縮しないようにできる。したがって、ＵＩ要素などのＳＤＲコンテンツ内の輝度の細部は、保持することができる。
図７Ａ〜図７Ｄは、いくつかの実施形態による、標準ディスプレイにＨＤＲコンテンツをレンダリングして表示するための方法のフローチャートである。図７Ａ〜図７Ｄの方法は、例えば、図１〜図３に示すようなＨＤＲレンダリング及びディスプレイシステムによって実行することができる。
図７Ａは、いくつかの実施形態による、標準ディスプレイにＨＤＲコンテンツをレンダリングして表示するための方法を示す。図７Ａの７００に示すように、現在のディスプレイ条件に従って、公称表示範囲、輝度レベルＢ、及び最大レンダリング値Ｍを判定することができる。いくつかの実施形態では、図２Ａ、図２Ｂ、及び図３に示すようなＨＤＲレンダリング及びディスプレイシステムの動的表示モジュールによって、公称表示範囲、輝度レベルＢ、及び最大レンダリング値Ｍを判定することができる。いくつかの実施形態では、現在のディスプレイ情報を収集して、最大レンダリング値Ｍを判定するのに使用することができる。いくつかの実施形態では、Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、Ｍを可能な限り大きくなるように最適化することができる。加えて、いくつかの実施形態では、観察者の現在の順応を考えて潜在的に圧縮された信号が視認できるように現在の周囲条件に従って、黒レベルを適応させることができる。図７Ｂは、いくつかの実施形態による、図７Ａの要素７００をより詳細に示す。
図７Ａの７１０に示すように、最大レンダリング値Ｍを１つ以上のレンダリングパイプラインに提供することができる。図７Ａの７２０に示すように、レンダリングパイプライン（単数又は複数）は、ＨＤＲコンテンツを範囲０．０〜Ｍにレンダリングすることができる。図３は、いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステムにおける例示的なレンダリングパイプラインの詳細を示す。図７Ｃは、いくつかの実施形態による、図７Ａの要素７２０をより詳細に示す。
図７Ａの７３０に示すように、ディスプレイパイプラインは、レンダリングされたＨＤＲコンテンツを入手することができる。図７Ａの７４０に示すように、ディスプレイパイプラインは、公称表示範囲及び輝度レベルに従って、入手したＨＤＲコンテンツをディスプレイにマッピングすることができる。図２Ａ及び図２Ｂは、いくつかの実施形態による、ＨＤＲレンダリング及びディスプレイシステムにおける例示的なディスプレイパイプラインの詳細を示す。図７Ｄは、いくつかの実施形態による、図７Ａの要素７４０をより詳細に示す。
図７Ａの７５０に示すように、マッピングされたコンテンツは、対象ディスプレイに表示することができる。いくつかの実施形態では、ディスプレイパイプラインは、テキスト又はＵＩ要素などの他のＳＤＲ又はＨＤＲデジタル情報をレンダリングしたＨＤＲコンテンツと合成又は混合することができる。いくつかの実施形態では、テキスト又はＵＩ要素などの標準範囲（０．０〜１．０）又はＳＤＲのコンテンツは、表示する前にディスプレイパイプラインによってレンダリングされたＨＤＲコンテンツと混合又は合成することができる。いくつかの実施形態では、表示空間内でＳＤＲコンテンツをＨＤＲ（０．０〜Ｍ）コンテンツと合成又は混合する場合、ＳＤＲコンテンツ及びＨＤＲコンテンツの標準（０．０〜１．０）部分を、表示空間の下部部分（例えば、Ｍ＝２である場合、８ビットに対してコード０〜１２７）にマッピング又は圧縮すると共に、ＨＤＲコンテンツの拡張範囲（１．０〜Ｍ）部分を表示空間の残部（例えば、８ビットに対してコード１２８〜２５５）にマッピングことができる。マッピングは、線形とすることができるが、必ずしも線形ではないことに留意されたい。
図７Ａの７６０で、ディスプレイ条件が変化した場合、方法は、要素７００に戻って、変化したディスプレイ条件に従って、公称表示範囲、輝度レベルＢ、及び最大レンダリング値Ｍに対する新しい値を判定することができる。ディスプレイ条件の変化の非限定的な例として、観察者が輝度レベルを変更するために輝度制御を調整することができる、又は、センサによって周囲照明条件の変化を検出することができる。ディスプレイに影響を及ぼすことがある他の要因は、白色点偏移に対する補償（温度及び校正補償を含む）、電流若しくは温度限界などの動的パネル限界に関係する輝度限界、又はバッテリ電源若しくは類似の電力制約モードへの切り換えなどのシステム構成の変化などの特徴である。そうでなければ、方法は、要素７２０に戻って、公称表示範囲、輝度レベルＢ、及び最大レンダリング値Ｍに対する現在の値に従って、ＨＤＲコンテンツをレンダリングして表示し続けることができる。
図７Ｂは、いくつかの実施形態による、図７Ａの要素７００をより詳細に示す。図７Ｂの方法は、例えば、図２Ａ、図２Ｂ、及び図３に示すような動的表示モジュールによって実行することができる。図７Ｂの７０２に示すように、ディスプレイ特性、環境情報、及び制御入力を入手することができる。例えば、いくつかの実施形態では、図２Ａ、図２Ｂ、及び図３に示すような動的表示モジュールは、対象ディスプレイからのディスプレイ特性（例えば、ビット深度、解像度、寸法、最大輝度、漏れ、反射率、伝達関数（単数又は複数）など）、１つ以上のセンサからの周辺光レベル及びディスプレイからの観察者の距離などの環境情報、画像の輝度などの現在の画像特性、及び輝度スライダバーなどの１つ以上のコントローラからの制御入力を入手することができる。
図７Ｂの７０４に示すように、入手したディスプレイ特性、環境情報、現在の画像特性、及び制御入力に従って、公称表示範囲、輝度レベルＢ、及び最大レンダリング値Ｍを判定することができる。例えば、いくつかの実施形態では、輝度レベルＢは、検出した周辺光レベルの関数として判定することができる。あるいは、輝度レベルＢは、輝度制御ＵＩ要素への制御入力から判定することができる。いくつかの実施形態では、輝度レベルＢは、周辺光レベル及び輝度制御ＵＩ要素への制御入力の関数として判定することができる。いくつかの実施形態では、最大レンダリング値Ｍは、Ｂの逆数として判定することができる。例えば、Ｂ＝０．２５（１／４）である場合、Ｍ＝４／１＝４．０である。同様に、Ｂ＝０．５である場合、Ｍ＝２．０である。いくつかの実施形態では、輝度レベルＢは、標準範囲（ＳＤＲ）の最大輝度値（１．０）に対応することができ、したがって、公称表示範囲を判定することができる。いくつかの実施形態では、Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、Ｍを可能な限り大きくなるように最適化することができる。例えば、観察者の現在の順応において（特に暗い周囲条件での）、ディスプレイの光漏れが不快な知覚閾値を上回らないことが重要であり、Ｍは、この閾値の付近でそれを下回るように最適化することができる。更に、レンダリングパイプライン（単数又は複数）の精細度及びディザリング技術などの技術により更に高い精細度を搬送する能力を考えると、平滑な階調度で知覚バンディングが誘発されないように、搬送能力が十分であることが重要であり、Ｍを最適化することは、精細度、知覚及び美的限界を上回ることなくＭをパイプライン（単数又は複数）によってサポートされる値に制限することにより、十分な搬送能力を確保するのに役立つ。別の例として、Ｍがあまりに高く設定される場合、公称表示範囲、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の下部部分は、それらがあまりに少ない知覚ｂｉｎ閾値にマッピングされているために現在の周囲条件及びそれらの条件に対する観察者の順応の下で異なる輝度レベルが区別できない点に低減されることがある。したがって、Ｍは、ディスプレイパネルに対する知覚ｂｉｎ閾値を上回らないで、可能な限り大きくなるように最適化することができる。加えて、いくつかの実施形態では、観察者の現在の順応を考えて潜在的に圧縮された信号が視認できるように現在の周囲条件に従って、黒レベルを適応させることができる。更に、ユーザの順応した視覚のモデル及び知覚ｂｉｎにコンテンツをマッピングするために、伝達関数を適用することができる。
図７Ｃは、いくつかの実施形態による、図７Ａの要素７２０をより詳細に示す。図７Ｃの方法は、例えば、図３に示すようなレンダリングパイプラインによって実行することができる。図７Ｃの７２２に示すように、レンダリングパイプラインは、例えば、図２Ａ、図２Ｂ、及び図３に示すような動的表示モジュールから最大レンダリング値Ｍを入手する。図７Ｃの７２４に示すように、レンダリングパイプラインは、ソース（例えば、ビデオカメラ又はビデオストリーミングソース）から受信した「生の」入力コンテンツをレンダリングして、ルマ（輝度）成分を範囲０．０〜Ｍにマッピングすることができる。いくつかの実施形態では、標準又はＳＤＲのコンテンツを、ルマ範囲０．０〜１．０にマッピングすると共に、拡張又はＨＤＲのコンテンツをルマ範囲１．０〜Ｍにマッピングすることができる。図７Ｃの７２６に示すように、レンダリングパイプラインは、ＨＤＲコンテンツを（ルマ範囲０．０〜Ｍを保持して）エンコードして、エンコードされた又は圧縮されたＨＤＲコンテンツを生成することができる。いくつかの実施形態では、レンダリングパイプラインは、エンコード方法、例えば、Ｈ．２６４／高度ビデオ符号化（ＡＶＣ）形式、又はＨ．２６５高効率ビデオ符号化（ＨＥＶＣ）形式などの圧縮ビデオ形式に従って、レンダリングされたコンテンツをエンコードされた形式又は圧縮形式にエンコードすることができる。エンコードされたＨＤＲコンテンツは、ディスプレイパイプラインにストリーミング配信することができる。あるいは、エンコードされたコンテンツは、ディスプレイパイプラインによってアクセスするために、メモリに、例えば、ダイレクトメモリアクセス（ＤＭＡ）メモリ内のバッファ（単数又は複数）にストリーミング配信することができる。
図７Ｄは、いくつかの実施形態による、図７Ａの要素７４０をより詳細に示す。図７Ｄの方法は、例えば、図２Ａ及び図２Ｂに示すようなディスプレイパイプラインによって実行することができる。図７Ｄの７４２に示すように、ディスプレイパイプラインは、エンコードされたＨＤＲコンテンツをデコードすることができる。いくつかの実施形態では、ディスプレイパイプラインは、レンダリングパイプラインによってルマ成分を範囲０．０〜ＭにレンダリングされたエンコードされたＨＤＲコンテンツを受信して、ダイナミックレンジを保持してエンコードされたコンテンツをデコードする。エンコードされたＨＤＲコンテンツは、レンダリングパイプラインからのストリームとして直接受信することができる、又はメモリから、例えば、ＤＭＡメモリ内のバッファ（単数又は複数）から読み出すことができる。
図７Ｄの７４４に示すように、ディスプレイパイプラインは、デコードされたコンテンツ（範囲０．０〜Ｍ）を対象ディスプレイの表示空間にマッピングすることができる。いくつかの実施形態では、ディスプレイパイプラインは、ルマコンテンツのダイナミックレンジ０．０〜Ｍを保持して、デコードされたコンテンツ（範囲０．０〜Ｍ）を対象ディスプレイの表示空間にマッピングする。いくつかの実施形態では、ディスプレイパイプラインは、デコードされたＨＤＲコンテンツの標準（範囲０．０〜１．０）部分を現在の輝度レベルに従って判定されたような公称表示範囲にマッピングし、デコードされたＨＤＲコンテンツの拡張（範囲１．０〜Ｍ）部分を現在の輝度レベルＢを上回るヘッドルームにマッピングすることができる。例えば、対象ディスプレイが８ビットのディスプレイであり、現在の輝度レベルＢが５０％で、Ｍ＝２．０である場合、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツを、Ｂにより示されるように表示空間の下部部分（コード０〜１２７）にマッピング又は圧縮すると共に、拡張範囲（１．０〜２．０）又はＨＤＲのコンテンツを、表示空間の残部（コード１２８〜２５５）にマッピングすることができる。したがって、標準ディスプレイ上でも、標準範囲（０．０〜１．０）を上回るレンダリングされたＨＤＲコンテンツを表示することができる。
いくつかの実施形態では、ＨＤＲデジタル画像コンテンツをレンダリングして表示するための本明細書で説明するような機能の少なくとも一部は、多機能デバイス、スマートフォン、パッド又はタブレットデバイス、並びにラップトップコンピュータ、ノートブックコンピュータ、及びネットブックコンピュータなどの他のポータブルコンピューティングデバイスを含むがこれらに限定されないデバイス内に使用することができる、システムオンチップ（ＳＯＣ）の１つ以上の構成要素又はモジュールによって実装することができる。
ＨＤＲ効果
ＨＤＲレンダリング及びディスプレイシステムの少なくともいくつかの実施形態では、最大レンダリング値Ｍを判定して、レンダリングパイプライン（単数又は複数）に提供することができる。レンダリングパイプライン（単数又は複数）は、次に、入力コンテンツを範囲０．０〜Ｍにレンダリングしてエンコードし、エンコードされたＨＤＲ出力を生成することができる。いくつかの実施形態では、レンダリングパイプライン（単数又は複数）は、標準コンテンツを範囲（０．０〜１．０）に、より明るい又は非常に明るいコンテンツ（例えば、ビデオのシーンの爆発、又は他の明るい効果）を範囲（１．０〜Ｍ）の拡張部分に、レンダリングすることができる。図５Ｃに示すように、ディスプレイパイプラインは、エンコードされたＨＤＲコンテンツをデコードして、デコードされたＨＤＲコンテンツの標準（範囲０．０〜１．０）部分を現在の輝度レベルに従って判定されたようなディスプレイに対する公称表示範囲にマッピングし、デコードされたＨＤＲコンテンツの拡張（範囲１．０〜Ｍ）部分を現在の輝度レベルを上回るヘッドルームにマッピングすることができる。したがって、入力コンテンツ内にビデオのシーンの爆発などの明るい事象又は効果が存在する場合、標準ビデオコンテンツがディスプレイ上で現在の輝度レベルを下回って暗くされていても、爆発は、現在の輝度レベルを上回って表示され、したがって、標準コンテンツより更により明るいように見える。したがって、少なくとも一部の周囲条件及び輝度設定下での標準（非ＨＤＲ対応）ディスプレイ（例えば、最大輝度＝４００ＮＩＴ）上でも、例えば、観察者の知覚が暗順応している場合に、爆発などの非常に明るい効果を、知覚的に印象的な方法で表示することができる。例えば、観察者が１００ＮＩＴに順応している場合、４００ＮＩＴは、知覚的に印象的である。ＮＩＴは、カンデラ毎平方メートルでの光の測定値である。
いくつかの実施形態では、レンダリングパイプライン及び／又はディスプレイパイプラインは、標準範囲（０．０〜１．０）及び拡張範囲（１．０〜Ｍ）の情報を使用して、拡張範囲に効果を加えることができる。例えば、表示用のユーザインタフェース（ＵＩ）要素を処理して表示するとき、ＵＩコンテンツは、一般的にレンダリングし処理して、標準範囲又はＳＤＲのコンテンツとして表示空間にマッピングすることができる。ＳＤＲコンテンツを処理するレンダリングパイプライン及び／又はディスプレイパイプラインは、ＵＩコンテンツに対して拡張範囲（１．０〜Ｍ）への効果を加えることができる。例えば、新しいＵＩ要素を追加する場合、新しい要素の輝度を、１．０の公称値を上回って一時的に増大して、その要素への注意を促すことができる。ＳＤＲコンテンツに対するそのようなＨＤＲ効果は、例えば、リスト内の選択を示す又は注意を促すために、検索機能によって見出された文書内の語句又は文を強調表示するために、並びに、一般的にＳＤＲコンテンツを提供するアプリケーション、ユーティリティ、及び／又はオペレーティングシステムがディスプレイパネルに表示されたＳＤＲコンテンツ内の項目、要素、又は任意の他の場所若しくはオブジェクトを強調表示する又は注意を促すことを所望する一般に任意の場所で、使用することができる。
知覚モデルを使用してＨＤＲレンダリング及び表示を周囲条件に適応させる
前述したように、所与の順応レベルにおいて、人間の視覚系が識別することができる約２8〜２9の異なる強度のレベルのみが存在する。いくつかの実施形態では、本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステムは、現在の条件に従った人間の視覚に対する現在の範囲を判定するために、周囲照明を含むがこれに限定されない周囲環境条件及びバックライト／輝度条件を検出して分析する方法（本明細書で適応レンダリング方法と呼ばれる）を用いることができ、知覚モデルを使用して現在の条件に従ってその範囲内にコンテンツのレンダリング及び表示を対象ディスプレイパネルに適応させることができる。知覚モデルは、「知覚モデル」と題された節で更に説明する。いくつかの実施形態では、適応レンダリング方法の少なくとも一部分は、図２Ａ及び図２Ｂに示すようなディスプレイパイプラインによって実行することができる。いくつかの実施形態では、適応レンダリング方法の少なくとも一部分は、図３に示すようなレンダリングパイプラインによって実行することができる。いくつかの実施形態では、適応レンダリング方法の少なくとも一部分は、図２Ａ、図２Ｂ、及び図３に示すようなＨＤＲレンダリング及びディスプレイシステムの動的表示構成要素又はモジュールによって実行することができる。
ＨＤＲレンダリング及びディスプレイシステムのいくつかの実施形態では、様々な測定値、測定項目、又は特性を入手して、「知覚モデル」と題された節で説明するような知覚モデルに入力することができる。例えば、いくつかの実施形態では、１つ以上のセンサによって検出されたような周辺光レベル、現在の画素輝度、ルックアップテーブル（ＬＵＴ）状態、バックライトの最大輝度レベル、及び／又は現在のバックライトパーセント値若しくはレベルを入手して、本明細書で説明するような知覚モデルに入力することができる。この入力から、知覚モデルは、対象ディスプレイでの周囲観察条件に従って、観察者に関する現在の順応状態又はレベルを判定することができる。順応状態又はレベルを使用して、周囲観察条件に従って、ディスプレイに対する現在の輝度レベルＢを判定することができる。現在の輝度レベルＢは、パーセント値で表現することができ、標準範囲（ＳＤＲ）最大輝度値（１．０）に対応することができる。現在の輝度レベルＢを使用して、ディスプレイパイプラインによって現在サポートされている最大レンダリング値Ｍを判定することができる。いくつかの実施形態では、最大レンダリング値Ｍは、Ｂの逆数として判定することができる。最大レンダリング値Ｍは、レンダリングパイプライン（単数又は複数）に提供することができ、現在の輝度レベルＢは、例えば、図２Ａ〜図３に示すようなディスプレイパイプラインに提供することができる。レンダリングパイプライン（単数又は複数）は、次に、入力コンテンツを範囲０．０〜Ｍにレンダリングしてエンコードし、エンコードされたＨＤＲ出力を生成することができる。ディスプレイパイプラインで、レンダリングパイプライン（単数又は複数）によって範囲０．０〜ＭにレンダリングされたエンコードされたＨＤＲコンテンツは、デコードして、知覚モデルから判定されたような周囲条件に従って、対象ディスプレイの表示空間にマッピングすることができる。いくつかの実施形態では、少なくとも一部の周囲条件及びディスプレイに対して、ディスプレイパイプラインは、デコードされたＨＤＲコンテンツの標準（範囲０．０〜１．０）部分を現在の輝度レベルＢに従って判定されたような公称表示範囲にマッピングし、デコードされたＨＤＲコンテンツの拡張（範囲１．０〜Ｍ）部分を公称表示範囲を上回るヘッドルームにマッピングすることができる。
いくつかの実施形態では、知覚モデルは、ディスプレイパネルの種類に対して予め測定することができる、又は個々のディスプレイパネルに対して測定することができる測定項目である、ディスプレイパネルの測定値を含むことができる。この測定値としては、例えば、ディスプレイパネルからの測定された光漏れ、及びディスプレイパネルから反射した測定された周辺光を挙げることができ、それらの両方は、図４Ａに示すような台座の一因となることがある。台座領域は、ディスプレイの黒の漏れ、並びにディスプレイパネルから反射した周辺光により、ディスプレイで実現することができないグレーの色合いを含み、ディスプレイ上の黒が視覚に関して真の黒とは知覚的にどれほど異なるかを示す。いくつかの実施形態では、これらの測定値を使用して、図５Ａ〜図５Ｃに示すように、視覚的に許容できる黒をなお生成しながら、どれほど低く１．０の公称値（公称表示範囲の上部）を表示空間内に配置することができるかを判定することができる。
いくつかの実施形態では、例えば、図５Ａ〜図５Ｃに示すような、本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステムによって提供されるＨＤＲ範囲のマッピング方法を使用して、図５Ｂ〜図５Ｃに示すような１．０を上回るレンダリング値のＨＤＲ効果を提供することと併せて、又はそれとは別個にのいずれかで、デジタル減光効果を提供することもできる。デジタル減光効果により、動作中のバックライト／輝度が黒／オフに暗くならない（換言すれば、バックライト／輝度を全輝度又は最大輝度と０．０より大きな輝度値との間でのみ調整することができる）ディスプレイが、単にバックライト／輝度をその低い方又は最小レベルに調整することのみにより提供することができる結果より、減光した又は暗い結果を提供することができるようになる。デジタル／減光効果は、例えば、輝度レベルを効果的に調整するために、バックライト／輝度を既知のレベル（全輝度又は最大輝度とすることができるが、必ずしもそうではない）に設定して、本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステムによって提供されるＨＤＲ範囲のマッピング方法を使用して、画素値をスケール変更又はマッピングすることにより実現することができる。
ＨＤＲレンダリング及びディスプレイシステムの実装の詳細
ＨＤＲレンダリング及びディスプレイシステムの各種実施形態は、ＨＤＲコンテンツをレンダリングする際に、色域マッピング及び包括的又は局所階調マッピングを含むがこれらに限定されない、様々な画像処理アルゴリズム及び技術を使用することができる。いくつかの実施形態では、適応レンダリング方法を含むがこれに限定されない、ＨＤＲレンダリング及びディスプレイシステムの機能の少なくとも一部分は、１つ以上のグラフィック処理ユニット（Graphics Processor Units、ＧＰＵ）を使用して実装することができる。例えば、いくつかの実施形態は、知覚モデルに従って判定された調整をコンテンツに適用することができる、カスタムのシェーダを実装することができる。いくつかの実施形態では、ＨＤＲレンダリング及びディスプレイシステムの機能の少なくとも一部分は、カスタムのハードウェアを含むがこれに限定されない他のハードウェア内に、又はそれによって実装することができる。例えば、いくつかの実施形態では、１つ以上の画像信号プロセッサ（Image Signal Processor、ＩＳＰ）色パイプを使用して、レンダリング調整をコンテンツに適用することができる。
ＨＤＲレンダリング及びディスプレイシステムのいくつかの実施形態では、簡易スケール又は乗法関数を使用して、本明細書で説明するようなレンダリングパイプライン及び／又はディスプレイパイプライン内の画素値に調整又はマッピングを適用することができる。いくつかの実施形態では、簡易スケール変更機能の代わりに又はそれに加えて、１つ以上のルックアップテーブル（ＬＵＴ）を使用して、レンダリング調整の少なくとも一部（例えば、画素値マッピング又はスケール変更）をコンテンツに適用することができる。いくつかの実施形態では、ＬＵＴは、特定のディスプレイ又はディスプレイの種類に対して補正するように、適応させることができる。
ＨＤＲレンダリング及びディスプレイシステムのいくつかの実施形態では、レンダリングパイプライン及び／又はディスプレイパイプラインは、コンテンツを１つのダイナミックレンジから別のものにマッピングするのに使用することができる、包括的階調マッピング（ＧＴＭ）技術を使用することができる。ＧＴＭ技術では、１つ以上のフレームに対して、包括的階調曲線を特定又は判定して、コンテンツを１つのダイナミックレンジから別のものに変換するのに使用することができる。いくつかの実施形態では、ＧＴＭ技術の代わりに又はそれに加えて、コンテンツを１つのダイナミックレンジから別のものに変換するのに、局所階調マッピング（ＬＴＭ）技術を使用することができる。ＬＴＭ技術では、画像又はフレームは、それぞれの領域に対して特定又は判定された階調曲線を有する複数の領域に分割される。ＬＴＭ技術は、例えば、ディスプレイ装置の別の方法で実現可能な範囲を超えて圧縮する場合に、コントラストを維持するのに役立つことがある。これは、例えば、ディスプレイの輝度が周囲の輝度と競合する場合、例えば、直射日光における場合の例であり得る。
ＨＤＲレンダリング及びディスプレイシステムのいくつかの実施形態では、レンダリングパイプライン及び／又はディスプレイパイプラインは、本明細書で説明するような様々な画素スケール変更、圧縮、又はマッピング技術の任意のものを適用する際に、又はその後に、ディザリング技術、例えば、確率論的量子化前ディザを用いることができる。コンテンツのマッピング又はスケール変更の後にディザを適用することにより、元のスケール変更されていないコンテンツの外観を維持するのに役立つことができ、マッピング技術の結果として生じることがあるバンディング又は他のアーチファクトを低減する又は取り除くことができる。
知覚モデル
色管理システムは、色外観モデルに従って、カメラデバイス及びディスプレイ装置を含むがこれらに限定されない、様々なデバイスの色表現の間の変換を制御することができる。広く定義された色外観モデルは、一般的に３つ若しくは４つの値又は色成分を使用して色を表現することができる方法を記述する、数学的モデルである。色外観モデルは、色外観（例えば、輝度（ルミナンス）、明度、彩度（colorfulness）、色度、彩度（saturation）、及び色相）の次元を定義することができる。色外観モデルはまた、色成分に適用することができる、色順応変換などの１つ以上の変換又は変換関数を定義することができる。色順応は、一般的に、異なる照明で対象物を見たときの白色点の変化を補償する、人間の視覚系の動的メカニズムとして定義される。色外観モデルでは、色順応変換を使用して、人間の視覚系の色順応をモデル化することができる。実施形態に使用することができる例示的な色外観モデルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｍｉｓｓｉｏｎ ｏｎ Ｉｌｌｕｍｉｎａｔｉｏｎ（ＣＩＥ）Ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｔｔｅｅ ８−０１によって発行されたＣＩＥＣＡＭ０２（Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｌｉｎｇ ｆｏｒ Ｃｏｌｏｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍｓ）である。
既存の色管理システムは、例えば、全域（色、又はクロマ）及びガンマ（階調、又は輝度）マッピング技術を使用して、ソース（例えば、ビデオ）の意図を測定された表示応答にマッピングする又は適合させることができる。
ソース−＞測定されたディスプレイ
しかし、上述したように、観察者によって知覚されるディスプレイの応答は、ディスプレイの測定された応答とは異なることがある。したがって、ＨＤＲレンダリング及びディスプレイシステムのいくつかの実施形態は、追加の適合ステップをマッピング処理に加えることができる。
ソース−＞測定されたディスプレイ−＞順応した視覚
ここで、順応した視覚は、現在の周囲条件（例えば、周辺光レベル）下の観察者の知覚範囲であり、マッピング（矢印により示される）は、色外観モデルの変換（例えば、色順応変換）を含むことができる。マッピング処理にこの追加のステップを含む改良された色管理は、知覚色管理システムと呼ばれることがある。知覚色管理システムの色外観モデルは、知覚モデルと呼ばれることがある。
入手して、ＨＤＲレンダリング及びディスプレイシステム内に実装された知覚色管理システムの知覚モデルに供給することができる情報としては、ディスプレイ情報、例えば、様々なディスプレイ特性及び設定、並びに観察者及び照明の情報を含むがこれらに限定されない環境情報を挙げることができるがこれらに限定されない。この情報の一部は、静的（例えば、ビット深度及び寸法などのディスプレイ特性）であってよく、他の情報は、動的（例えば、現在のディスプレイ設定、バックライト／輝度レベル、周辺光、反射した周辺光、観察者の姿勢、観察者の位置など）であってよい。この情報を収集し使用して、知覚モデルに適用されるような現在の周囲条件に従って、表示するためにコンテンツを適応的にレンダリングすることができる。いくつかの実施形態では、コンテンツが適応されているディスプレイパネルを含むデバイスは、知覚モデルに使用される情報の少なくとも一部を収集するために使用することができる、１つ以上のセンサ、例えば、周辺光センサ、カメラ、動き検出器などを含むことができる。
いくつかの実施形態による、入手して、ＨＤＲレンダリング及びディスプレイシステム内の知覚モデルに入力することができる、様々な測定値、測定項目、又は特性を、以下に記載する。しかし、このリストは、限定を意図するものではない。
・ディスプレイの物理的寸法及び他の静的特性。
・測定値。これらの測定項目は、ディスプレイパネルの種類に対して予め測定することができる、又は個々のディスプレイパネルに対して測定することができる。この測定値は、以下のうちの１つ以上を含むことができるが、これらに限定されない。
−ディスプレイパネルの測定された応答−ソースコンテンツからの入力レベルとそれぞれの色（例えば、ＲＧＢ）チャネルに対するディスプレイパネルの光出力レベルとの間のマッピング。
−ディスプレイパネルの測定された固有の白色点。
−ディスプレイパネルからの測定された光漏れ（図４Ａに示すような台座の一因となる）。
−ディスプレイパネルから反射した測定された周辺光（図４Ａに示すような台座の一因となる）。
−ディスプレイに対する測定された最大及び最小バックライト／輝度レベル。
・例えば、センサ（単数又は複数）によってキャプチャされた、又はセンサ（単数又は複数）によってキャプチャされたデータから判定された周囲測定項目。ディスプレイパネルを含むデバイスはまた、１つ以上のセンサを含むことができる。センサとしては、周辺光センサ、色周辺光センサ、及びカメラのうちの１つ以上を挙げることができるがこれらに限定されない。光センサ及びカメラは、１つ以上の後方（観察者又はユーザに向かう）向きセンサ及び／又は１つ以上の前方（観察者又はユーザから離れる）向きセンサを含むことができる。この周囲測定項目は、以下のうちの１つ以上を含むことができるが、これらに限定されない。
−現在ディスプレイパネルに当たっている光。これは、それぞれの色チャネルに対して判定することができる。
−ディスプレイから反射する光の量。これは、それぞれの色チャネルに対して判定することができる。
−観察者／ユーザが向いている視野又は背景の測定項目（例えば、輝度、色など）。
−観察者が順応する輝度レベル。
−ディスプレイパネルに対する観察者（単数又は複数）の位置（例えば、距離、視野角など）。いくつかの実施形態では、ディスプレイパネルを含むデバイスのユーザを向いたカメラは、ユーザの画像をキャプチャすることができ、画像を分析して、観察者からデバイスまでの距離を推定することができる。例えば、人間の眼はおおよそ同じ距離離れている傾向があるため、観察者の顔の画像を分析して、キャプチャされた画像内の観察者の眼の間の測定された距離に基づいて、距離を判定することができる。観察者までの推定された距離を使用して、例えば、ディスプレイパネルが範囲を定める視野を推定することができる。
・動的に判定されるディスプレイの測定項目は、以下のうちの１つ以上を含むことができるが、これらに限定されない。
−ディスプレイパネルの現在のバックライト／輝度レベル／パーセント値。
−現在の平均画素輝度（画素が実際に照明された）。例えば、この測定項目は、現在表示されるコンテンツの輝度を判定するのに使用することができる。これは、それぞれの色チャネルに対して判定することができる。いくつかの実施形態では、これは、画素値のヒストグラムに基づいて判定することができる。
ＳＤＲディスプレイ上でＨＤＲ体験を提供する
ＨＤＲレンダリング及びディスプレイシステムの実施形態は、例えば、標準ダイナミックレンジ（ＳＤＲ）ディスプレイ上で高ダイナミックレンジ（ＨＤＲ）体験を観察者に提供するために使用することができる。ディスプレイ上のダイナミックレンジを増大することは、その範囲をカバーするために十分なビットの精細度、例えば、より多くのビットを表示空間の暗い／黒の範囲にマッピングする伝達関数、ディスプレイによってサポートされる最大数のＮＩＴ、及び／又はディスプレイによってサポートされる最小数のＮＩＴを必要とする場合がある。
いくつかのＳＤＲディスプレイは、非線形（ガンマがかかった）入力（公称０．０〜１．０の輝度範囲をエンコードする精細度の成分当たりＮビット、例えば、８、１０、１２、又は１６ビット）をサポートし、適度から高い黒レベル漏れ及び反射率で、限定された数のＮＩＴ（一般的に４５０以上のＮＩＴ）の出力を提供することができる。他のＳＤＲディスプレイは、より高い範囲のＮＩＴ（例えば、１０００ＮＩＴ）を提供し、非常に明るくすることができるが、同様に黒レベルをサポートしない。他のＳＤＲディスプレイ（例えば、バックライトを有さず、代わりにそれぞれの画素が光るＯＬＥＤ技術のディスプレイ）は、過度に明るくすることはできないが、非常に暗くする（すなわち、非常に良好な黒レベルを提供する）ことができる。多くのＳＤＲディスプレイは、一般的に、オフィス条件又はより暗い環境でＳＤＲコンテンツを表示するのに良好に動作するが、一般的により明るい環境では良好に動作しない。従来、ＳＤＲディスプレイは、ＨＤＲコンテンツを、そのコンテンツがＳＤＲに階調マッピングされている場合のみ表示することができる。一般的に、ＳＤＲディスプレイのバックライト又は輝度は、そのディスプレイを快適な夜間（又は他の暗い環境）の使用に対して明る過ぎてレンダリングする点までしか暗くできない。一般的に、ダイナミックレンジを拡張する代わりに追加の精細度のために、より高いソースビット表現が使用される。
ＨＤＲディスプレイは、一般的に、ＳＤＲディスプレイより明るく、成分入力当たり８ビットより多くのビットを有し、輝度知覚にマッピングする非線形伝達関数を使用することができ、ＳＤＲディスプレイによって提供されるより高い精細度を与える。ＨＤＲコンテンツは、より暗い環境（対象観察環境）で見ると非常に良く見えるが、より明るい条件では、不適切に見える場合がある。ＳＤＲコンテンツは、ＨＤＲディスプレイ上でまばゆく見えるので、ＳＤＲコンテンツを見るのに不快で、ＨＤＲコンテンツと相容れなくする。ＨＤＲコンテンツの公称レベルが、その最大レベル（最も明るいＨＤＲコンテンツは、一般的に鏡面ハイライトである）より著しく暗いため、ＨＤＲコンテンツは、ＳＤＲコンテンツと比較して暗く見えるであろう。したがって、ＨＤＲディスプレイは、ＳＤＲコンテンツを快適に見るためにＳＤＲモードに手動で切り換えなければならないように、モード付になっていることがある。
本明細書で説明するようなＨＤＲレンダリング及びディスプレイシステムの実施形態は、階調マッピングなしに既存のＳＤＲディスプレイ上でＨＤＲコンテンツを見たときに、実際のＨＤＲ結果を提供するために使用することができる。ディスプレイの輝度制御により、又は実施形態に関して説明するような改良された輝度スライダにより提供されるようなユーザの輝度の好みを使用して、システムは、バックライト／ディスプレイのヘッドルームが存在するか否か（すなわち、ユーザがＳＤＲコンテンツをディスプレイの最大出力より暗く表示するユーザの要求を設定するか否か）を判定することができる。システムは、バックライト／ディスプレイが最大だが、公称ＳＤＲコンテンツ（例えば、コンピュータのデスクトップ）がその所望の輝度に見えるように、コンテンツを再スケール変更することができる。
知覚モデルを使用して、実施形態は、どこにユーザの視覚が順応しているかを判定することができる。ディスプレイに順応している場合、公称ＳＤＲコンテンツがディスプレイの輝度の小部分にマッピングされるように、コンテンツをデジタル的にスケール変更してディザすることができ、したがって、ディスプレイの実際の全輝度がより高いように、ユーザの視覚を順応させることができる。スケール変更されディザされたコンテンツがユーザに視認できるであろうように、黒色点を判定することができる。これは、コンテンツがディスプレイによって押しつぶされた黒の区域にある、又は同じ知覚ｂｉｎにマッピングされて区別できないようにレンダリングされるのを避けるために行われる。
ユーザは、絶対輝度に関しては分からない（又は気にしない）。むしろ、ユーザは、輝度の知覚を気にする。これは、ユーザの順応した視覚に基づく。より大きな見掛けの輝度は、２つの方法で使用できる。
・最大輝度未満が選択された場合に残された輝度範囲を用いることによる（これは、ＳＤＲコンテンツが中程度から暗い環境で明るいディスプレイ上で見られる場合に一般的である）。この場合、輝度は、知覚モデルに従って判定された値に（例えば、美しさ、ディスプレイパネル特性、及び／又は他の要因に基づく知覚モデルの限界の影響を受ける許容できる最大設定に）設定することができ、ＳＤＲコンテンツは、（ＨＤＲコンテンツの公称輝度が所望のように見えるのと）同じに見えるように輝度値に対してスケール変更／マッピングされる。
・ユーザの視覚が主としてディスプレイ（周囲環境ではなく）に順応している薄暗い〜暗い環境では、ユーザの順応が、ディスプレイの潜在的輝度のほんの小部分であるように、コンテンツを劇的にスケールダウンし、これにより、ＨＤＲの明るい細部を、ユーザの順応に対比して劇的に明るく見えるようにすることができる。
いくつかの実施形態では、所与の対象ディスプレイの輝度制御に対して、美的理由のために、単純な乗数ではないバックライト／輝度とスケール変更との間の関係に関数が適用される。この関数は、知覚モデルが最適化するすべての基準に依存する最大値を上回るのを防止することができる。加えて、モード間の激しい遷移を回避するために、この関数は、モード間の滑らかな遷移を提供することができる。この関数を使用して、輝度制御の（例えば、輝度スライダの）全範囲を通して、画像は、ＳＤＲ部分が暗くなるときでも、より良好に見え続ける。
ＨＤＲコンテンツのエンコードは、１．０のＨＤＲが１．０のＳＤＲ（公称輝度レベルと呼ばれる）と同じ輝度を表現するような拡張範囲エンコードである。ＨＤＲ表現は、任意の量だけ１．０を上回ることができ、ＨＤＲ表現の拡張ダイナミックレンジを表現する。エンコードが非線形である場合、ＨＤＲエンコードにより表現される実際の線形輝度は、単純な乗法を大きく上回ることができる（例えば、ガンマ３の空間に（０．０、２．０）をエンコードするＨＤＲ表現は、輝度値を公称輝度の２3（８）倍にエンコードする）。
実施形態は、ＨＤＲコンテンツが一般的なＳＤＲより大きな輝度を有するディスプレイ上に表示される場合、更により高いダイナミックレンジ結果を生成することができる。従来、ディスプレイの輝度は、ユーザにとって不快な点に達すると使用できない。コンテンツをスケール変更することにより、より明るいディスプレイは、更により大きなダイナミックレンジ（ディスプレイ／バックライトのヘッドルームにより）を提供し、より明るい観察環境でのＨＤＲ体験を提供し、より明るい（例えば、直射日光）環境での許容できるＳＤＲ体験を維持すると同時に、標準のオフィス条件又はより暗い条件でもＳＤＲコンテンツの快適な観察を可能にすることができる。
知覚モデルは、適応性であり、同じコンテンツを使用して、多くの異なるディスプレイ、環境にわたって、様々なコンテンツに対して最良の体験を生成することができる。
実施形態は、ＨＤＲコンテンツがより良好な（より暗い）黒を有するディスプレイ上に表示される場合、更により高いダイナミックレンジ結果を生成することができる。
実施形態は、十分に暗くすることができないディスプレイ上でのＨＤＲ及びＳＤＲのコンテンツの快適な観察を可能にすることができる。既存のディスプレイ、特にバックライト式のディスプレイは、多くの場合、黒まで連続的に暗くすることができない。その結果として、視覚が暗順応したユーザにとって不快に明るく見えることがある最小輝度レベルが存在する。実施形態では、信号をスケール変更してディザし、一般的にユーザに提供される範囲を下回る連続的な減光を可能にすることができる。
いくつかの実施形態は、輝度制御アフォーダンスをユーザに提供することができる。一般的な輝度制御は、ユーザが連続的に選択することができる可能な輝度レベルの範囲を提供する。実施形態は、既存のユーザ輝度制御に再度目的を持たせて拡張し、ユーザが、薄暗いより暗い輝度から、ＨＤＲの輝度に、最大輝度までへの、ユーザの所望の公称輝度レベルを指定できるようにすることができる。いくつかの実施形態では、ＨＤＲ範囲を示す輝度制御ＵＩ要素を提供することができ、ＨＤＲ範囲を上回る場合、バックライト／輝度が最小レベルになる、などである。
いくつかの実施形態では、最小バックライト／輝度レベルを上回る点を区別する輝度制御を提供することができ、その点で、追加範囲（例えば、薄暗いより暗い範囲）をスケール変更により提供することができる。実際のバックライト／輝度レベルは、もはやディスプレイの輝度制御により設定される輝度レベルに追従せず、最大輝度が維持され、ＨＤＲが有効にされる上部範囲のコンテンツをスケール変更することによりＨＤＲ効果を提供する。
ディスプレイが更に明るくなることができないが、輝部（例えば、ＨＤＲコンテンツ）を範囲のより狭い上部部分に圧縮しながら、低域及び中域値（すなわち、標準コンテンツ）を拡張範囲に階調マッピングすることにより、輝度のより高い知覚レベルを実現することができる別の点が存在し得る。したがって、ディスプレイが更に明るくなることができなくても、低域及び中域のコンテンツを増強して、パネルの反射率で消失しないように知覚的により明るく見えるようにすることができる。いくつかの実施形態では、輝度制御はまた、この点を区別することができる。例えば、ユーザがより明るい全体体験を所望する（おそらく明るい環境での相対的に暗いディスプレイで）場合、標準コンテンツを範囲の下部部分にスケールダウンする代わりに、ＨＤＲの公称レベルがディスプレイの最大レベルにより近くマッピングされるようにＨＤＲコンテンツを範囲の低減した上部部分に圧縮すると同時に、標準コンテンツをより広い範囲にマッピングすることができ（例えば、スケール変更及び階調マッピングの組み合わせを使用して）、その結果、ＨＤＲの様相が失われるが、ＨＤＲコンテンツのＳＤＲ部分が劣悪な環境で視認可能である。
いくつかの実施形態は、ダイナミックレンジ制限制御を提供することができる。いくつかの使用シナリオでは、ユーザは、ＨＤＲ（例えば、非常に明るい）体験を、ソース、ディスプレイパイプライン、ディスプレイ、及び環境がそれを可能にする場合でも所望しないことがある。いくつかの実施形態では、ダイナミックレンジを制限するために、ユーザにコントローラを提供することができる。これは、ベッドで映画を見るが、劇的な体験又はパートナーを困らせることを所望しないなどの場合に有用であることがある。
いくつかの実施形態では、ダイナミックレンジ拡張コントローラを提供することができる（これは、ダイナミックレンジ制限を提供する上記のコントローラと同じコントローラであってもよいが、必ずしもそうではない）。この制御は、低コントラストのコンテンツをより見やすくし、かつＨＤＲコンテンツでもより刺激的にすることができる。
実施形態は、あまり最適でない環境で見られるディスプレイ上で、最適なＨＤＲ又はＳＤＲのコンテンツ体験を生成することができる。例えば、既存のディスプレイは、直射日光と比較して、非常に暗い。実施形態は、環境（ユーザの順応に影響を及ぼす）に基づいてコンテンツの連続的スケール変更を可能にすることができる。
いくつかの実施形態では、表示範囲内のヘッドルームを増大させることにより輝度レベルを即座に調整するのではなく、輝度の新しい目標が存在するときのモード間の遷移の際に、ディスプレイの漏れが「飛び出」さないように、ヘッドルームを経時的に（例えば、数秒）漸進的に増大することができる。例えば、節電するために、アプリケーションがＨＤＲコンテンツを表示していないときに、バックライト／輝度を低（暗い）レベルにすることができる。使用できるヘッドルームが存在するが、電力消費の理由のために、バックライト／輝度は、最大ではない。アプリケーションがＨＤＲディスプレイの能力を要求する場合、明るい（ＨＤＲ）コンテンツのためのヘッドルームを提供する必要があり、バックライト／輝度は、上昇させる必要があり（例えば、最大レベルに）、コンテンツは、それに応じて表示空間の下部及び上部範囲にスケール変更／マッピングする必要がある。ところが、これは即座に（例えば、１表示フレームで）行なうことができる。しかし、ディスプレイパネルに漏れが存在する範囲では、黒レベルが知覚的に「飛び出す」ことがある。したがって、即座に遷移を実行する代わりに、遷移を経時的に、例えば、１秒以上引き伸ばすことができ、よって、ディスプレイパネル上で知覚的飛び出しが存在しないように、バックライト／輝度レベルを漸進的に上昇させる。
いくつかの実施形態では、知覚モデルを使用して、以下の入力のうちの１つ以上に基づいて最大スケール変更係数（Ｍ）を設定することができる。
・ユーザが環境で見るものの組み合わせに基づいて知覚モデル（時間的知覚追従を有する）によって判定された観察者の順応。
・ユーザの視野に基づくディスプレイの寄与。
−ディスプレイの既知のサイズ。
−ディスプレイからの観察者の実際の距離を判定するためのセンサ（あるいは、一般的な観察距離を使用することができる）。
・ディスプレイからの輝度（黒であっても）。この文脈での輝度は、以下のうちの１つ以上だがこれらに限定されないものの関数であり得る。
−スクリーン上に当たる光を検出するスクリーン側の周辺光センサ。
−ディスプレイの既知の測定された反射率。
−既知の測定されたディスプレイの漏れ。
−ディスプレイパネルの最大輝度。
・以下に基づくディスプレイの漏れ。
−実際のディスプレイ輝度。
−測定されたディスプレイの漏れ（例えば、バックライト／輝度のパーセント値）。
・実際の駆動画素値。
・ディスプレイによって占められていないユーザの視野のパーセント値によりスケール変更することができる、ユーザの視野内でユーザが見ているものからの光を検出する周辺光センサ。
・視野角に基づく既知の測定されたディスプレイ特性。
いくつかの実施形態では、包括的階調マッピングを使用して、ＨＤＲコンテンツを搬送できないディスプレイ、パイプライン、及び順応した視覚／環境上で、ＨＤＲコンテンツを更に適応させることができる。いくつかの実施形態では、ユーザが範囲を制限することを選択する場合に、包括的階調マッピングを適用することができる。
いくつかの実施形態では、局所階調マッピングを使用して、別の方法で可能でないであろう差別化を提供することができ、ディスプレイ、パイプライン、及び順応した視覚／環境上で見たときの、別の方法では搬送できないＨＤＲ体験を増進する。
実施形態は、知覚モデルに基づいて、ディスプレイを観察者の順応した視覚伝達関数にマッピングすることができる。これは、黒色点だけでなく、ディスプレイの伝達関数（ガンマ）もまた適応させることができ、観察者の順応した視覚及び知覚ｂｉｎに対応する、最適なコード間隔を提供することができる。
いくつかの実施形態では、ＨＤＲでの公称輝度は、ペーバーホワイト、肌の色合い、及び／又はタイトルのレベルに基づくことができる。ＨＤＲコンテンツは、一般的に０．０〜１．０（又は任意の）範囲にエンコードされる。そのようなＨＤＲコンテンツを本明細書で説明するような拡張範囲のＨＤＲに変換するために、公称輝度を識別して、公称が１．０になるようにコンテンツをスケール変更する必要がある。公称範囲は、白紙、肌の色合い、又はタイトルなどの一般的な特徴のレベルを判定することにより、手動で又は自動的に判定することができる。スケール変更に加えて、階調マッピングを適用することができる。
ダイナミックレンジを制限する
前述したように、いくつかの実施形態では、最大レンダリング値Ｍを判定する際に、精細度、知覚及び美的閾値を上回らないことを確保しながら、可能な限り広いダイナミックレンジを提供するために、Ｍを可能な限り大きくなるように最適化することができる。この節は、閾値に従ってＭにより提供されるダイナミックレンジを制限しながら最適なＭを判定する態様を更に説明する。
いくつかの実施形態では、ディスプレイパイプライン内でコンテンツを観察者の順応レベルにマッピングするときに不快な不連続（例えば、バンディング、エイリアシング、パレット化（paletteization）、又は量子化）なしに表現できる最大ダイナミックレンジは、以下のうちの１つ以上だが、これらに限定されないものに基づくことができる。
・ディスプレイパネル特性（例えば、最大輝度レベル、伝達関数、ビット深度など）、
・ソースバッファの精細度（チャネル当たりビット数）及び伝達関数、
・以下のうちの１つ以上を含むがこれらに限定されない、ディスプレイパイプラインの任意の又はすべてのソフトウェア及び／又はハードウェア構成要素の精細度、
−ディスプレイドライバ（単数又は複数）の精細度、
−スケーラ（単数又は複数）の精細度、
−線形化構成要素（単数又は複数）の精細度、
−色空間変換構成要素（単数又は複数）の精細度、
−１つ以上の伝達関数の精細度、
−局所コントラスト適応構成要素（単数又は複数）の精細度、
−動的バックライト制御構成要素（単数又は複数）の精細度、
−混合ユニット（単数又は複数）の精細度、
−色空間変換を通して搬送される精細度（例えば、Ｙ’ＣｂＣｒは、同じ成分深さのＲ’Ｇ’Ｂ’よりおおよそ２ビット少ない精細度を搬送する）、
−ディスプレイパイプラインの空間／時間ディザ（ディスプレイの精細度×伝達関数のステップサイズが、コンテンツ及びそれを駆動するディスプレイパイプラインのこの値より厳密に細かくない場合）、及び
−再構成フィルタ（ディスプレイパイプライン又はディスプレイ内のスケーラ及び他のブロック）は、先に適用されたディザを再構成することができ、適切な精細度（及び／又はディザ）がフィルタ後に使用できない場合、デジタル信号のより高い精細度は、失われることがある。
パイプラインの搬送能力又は精細度を上回ることにより、以下のうちの１つ又は両方を引き起こすことがある。
・環境並びにディスプレイパイプラインによる表示及びＪＮＤ（Just Noticeable Difference、丁度可知差異）より大きくなる（すなわち、バンディングギャップが導入される）ような表示に対する観察者の順応でレンダリングするコンテンツソース空間で丁度可知差異未満の２つのコード。
・観察者の順応した空間で同じとして知覚されるように、コンテンツソース空間でＪＮＤより大きく離れてレンダリングされた２つのコード。
その結果として、最大レンダリング値は、パイプラインの搬送能力又は精細度を上回らず、かつユーザの所望のレベル以内で、可能な限り大きく（又はその時点でコンテンツが必要とするように大きく）なるように最適化しなければならず、１つ以上の精細度閾値を使用して、そうなることを確保することができる。
美的閾値の例として、いくつかの実施形態では、組み合わされたディスプレイの漏れ及び再反射が黒を不快に黒でなくさせる（すなわち、グロー効果）場合の知覚モデルの予測に基づいて、最大レンダリング値を制限することができる。いくつかの実施形態では、例えば、想定される黒のグローが不快である著しい黒が存在する中で、瞬時の要求（例えば、爆発）に対してより大きなスケール変更／ダイナミックレンジを可能にするが、より長い期間の小さな成分に対してはそうしない、時間的構成要素が存在することがある。
知覚閾値の例として、最大レンダリング値があまりに高く設定される場合、公称表示範囲、標準範囲（０．０〜１．０）又はＳＤＲのコンテンツがマッピングされる表示空間の下部部分は、それらがディスプレイパネルの表示空間により提供されるようなあまりに少ない知覚ｂｉｎにマッピングされているために現在の周囲条件及びそれらの条件に対する観察者の順応の下で異なる輝度レベルが区別できない点に低減されることがある。したがって、最大レンダリング値は、ディスプレイパネルに対する知覚ｂｉｎ閾値を上回らないで、可能な限り大きくなるように最適化することができる。
例示的なデバイス及び装置
図８〜図１２は、本明細書で説明するような様々なデジタルビデオ又は画像処理及び表示の方法並びに装置の実施形態又は構成要素を内部に又はそれを用いて実装することができる、デバイス及び装置の非限定的な実施例を示す。図８は、例示的なＳＯＣを示し、図９は、ＳＯＣを実装する例示的なデバイスを示す。図１０は、本明細書で説明する方法及び装置を実装することができる例示的なコンピュータシステムを示す。図１１及び図１２は、本明細書で説明する方法及び装置を実装することができる例示的な多機能デバイスを示す。
例示的なシステムオンチップ（ＳＯＣ）
ここで図８は、実施形態に使用することができるシステムオンチップ（ＳＯＣ）８０００の一実施形態のブロック図である。ＳＯＣ８０００は、メモリ８８００に結合されて示されている。名前が暗示するように、ＳＯＣ８０００の構成要素は、集積回路「チップ」として、単一の半導体基板上に集積化することができる。いくつかの実施形態では、構成要素は、システム内の２つ以上の個別のチップ上に実装してもよい。しかし、本明細書では、ＳＯＣ８０００を例として使用する。例示した実施形態では、ＳＯＣ８０００の構成要素は、中央処理装置（central processing unit、ＣＰＵ）複合体８０２０、ディスプレイパイプライン８０５０、オンチップ周辺装置構成要素８０４０Ａ〜８０４０Ｃ（より簡単に「周辺装置」）、メモリコントローラ（memory controller、ＭＣ）８０３０、及び通信ファブリック８０１０を含む。構成要素８０２０、８０３０、８０４０Ａ〜８０４０Ｃ、８０５０は、すべて通信ファブリック８０１０に結合することができる。メモリコントローラ８０３０は使用中、メモリ８８００に結合され得、そして、周辺装置８０４０Ｂは使用中、外部インタフェース８９００に結合され得る。同様に、ディスプレイパイプライン８０５０は、使用中に、ディスプレイ８０５２に結合されていてもよい。例示した実施形態では、ＣＰＵ複合体８０２０には、１つ以上のプロセッサ（Ｐ）８０２４及びレベル２（Ｌ２）キャッシュ８０２２が含まれる。
周辺装置８０４０Ａ〜８０４０Ｃは、ＳＯＣ８０００に含まれる追加ハードウェア機能の任意のセットとすることができる。例えば、周辺装置８０４０Ａ〜８０４０Ｃは、カメラ若しくは他の画像センサからの画像キャプチャデータを処理するように構成された画像信号プロセッサなどのビデオ周辺装置、グラフィック処理ユニット（ＧＰＵ）、ビデオエンコーダ／デコーダ又はコーデック、スケーラ、ローテータ、ブレンダなどを含むことができる。周辺装置８０４０Ａ〜８０４０Ｃは、マイクロフォン、スピーカ、マイクロフォン及びスピーカに対するインタフェース、オーディオプロセッサ、デジタル信号プロセッサ、ミキサなどのオーディオ周辺装置を含むことができる。周辺装置８０４０Ａ〜８０４０Ｃは、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、周辺構成要素相互接続（peripheral component interconnect、ＰＣＩ）（ＰＣＩエクスプレス（PCI Express、ＰＣＩｅ）を含む）、シリアルポート及びパラレルポートなどのインタフェースを含む、ＳＯＣ８０００（例えば、周辺装置８０４０Ｂ）の外部の各種のインタフェース８９００のための周辺インタフェースコントローラを含むことができる。周辺装置８０４０Ａ〜８０４０Ｃは、メディアアクセスコントローラ（media access controllers、ＭＡＣ）などのネットワーク用周辺装置を含むことができる。ハードウェアの任意のセットが含まれてもよい。
ディスプレイパイプライン８０５０は、ディスプレイ８０５２上に表示するために、１つ以上の静止画像及び／又は１つ以上のビデオシーケンスを処理するハードウェアを含むことができる。概して、各ソース静止画像又はビデオシーケンスに対して、ディスプレイパイプライン８０５０を、リードメモリ動作を生成して、フレーム／ビデオシーケンスのそれぞれの部分を表すデータをメモリ８８００からメモリコントローラ８０３０を介して読むように構成してもよい。
ディスプレイパイプライン８０５０を、任意の種類の処理を画像データ（静止画像、ビデオシーケンスなど）に対して実行するように構成してもよい。一実施形態では、ディスプレイパイプライン８０５０は、静止画のスケール変更、ビデオシーケンスのフレームのそれぞれの部分に対するディザ処理、スケール変更、及び／又は色空間変換を実行するように構成することができる。ディスプレイパイプライン８０５０を、静止画像フレームとビデオシーケンスフレームとを合成又は混合して表示用の出力フレームを生成するように構成してもよい。ディスプレイパイプライン８０５０はまた、ディスプレイ制御ユニット、又はディスプレイコントローラと呼ばれることがある。ディスプレイ制御ユニット又はコントローラは、一般に、静止画及び／又はビデオシーケンスなどの１つ以上のソースから表示のための出力フレームを用意するように構成された任意のハードウェア及び／又はソフトウェアであってよい。
より詳細には、ディスプレイパイプライン８０５０は、メモリ８８００に記憶された１つ以上のソースバッファ８８０２Ａ〜８８０２Ｂからソースフレームのそれぞれの部分を取り出し、ソースバッファからのフレームを合成し、得られたフレームをディスプレイ８０５２の対応する部分に表示するように構成することができる。ソースバッファ８８０２Ａ〜８８０２Ｂは、メモリ８８００に記憶することができる任意の数のソースフレームバッファを表す。したがって、ディスプレイパイプライン８０５０を、複数のソースバッファ８８０２Ａ〜８８０２Ｂを読み、画像データを合成して出力フレームを生成するように構成してもよい。
ディスプレイ８０５２は、任意の種類の視覚ディスプレイ装置とすることができる。ディスプレイ８０５２は、例えば、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、プラズマ、ブラウン管（cathode ray tube、ＣＲＴ）などであってよい。ディスプレイ８０５２は、ＳＯＣ８０００を含むシステム（例えば、スマートフォン若しくはタブレット）に一体化することができ、及び／又はコンピュータモニタ、テレビ、若しくは他のデバイスなどの個別に収容されたデバイスとすることができる。様々な種類のソース画像データを、ディスプレイ８０５２上に表示することができる。各種の実施形態では、ソース画像データは、例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−４ Ｐａｒｔ１４（ＭＰ４）、高度ビデオ符号化（Ｈ．２６４／ＡＶＣ）、又はＡｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ（ＡＶＩ）などの形式のビデオクリップを表現することができる。代わりに、ソース画像データは、スライドショーと一般に呼ばれ、タイミングがとれた間隔で表示することができる、各画像がフレームとみなされる一連の静止画とすることができる。画像は、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）、ＲＡＷ画像フォーマット（ＲＡＷ）、Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＧＩＦ）、又はＰｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋｓ Ｇｒａｐｈｉｃｓ（ＰＮＧ）などの形式であり得る。
いくつかの実施形態では、ディスプレイ８０５２をＳＯＣ８０００に直接接続してもよく、ディスプレイパイプライン８０５０によって制御してもよい。つまり、ディスプレイパイプライン８０５０は、１つ以上のクロック、及び／又は垂直ブランキング期間及び水平ブランキング周期制御などのタイミング信号を含む各種の制御／データ信号をディスプレイに提供し得るハードウェア（「バックエンド」）を含み得る。クロックは、画素が送信されていることを示す画素クロックを含み得る。データ信号は、例えば、赤、緑、及び青などの色信号を含み得る。ディスプレイパイプライン８０５０は、ディスプレイ８０５２をリアルタイム又はほぼリアルタイムで制御し、フレームにより示される画像をディスプレイが表示しているときに表示される画素を示すデータを提供することができる。このようなディスプレイ８０５２とのインタフェースは、例えば、ＶＧＡ、ＨＤＭＩ（登録商標）、デジタルビデオインタフェース（digital video interface、ＤＶＩ）、液晶ディスプレイ（ＬＣＤ）インタフェース、プラズマインタフェース、ブラウン管（ＣＲＴ）インタフェース、ＤｉｓｐｌａｙＰｏｒｔインタフェース、任意の独自のディスプレイインタフェースなどであり得る。
ＣＰＵ複合体８０２０は、ＳＯＣ８０００のＣＰＵとして機能する１つ以上のＣＰＵプロセッサ８０２４を含むことができる。システムのＣＰＵは、オペレーティングシステムなどの、システムの主制御ソフトウェアを実行するプロセッサ（単数又は複数）を含む。概して、使用中にＣＰＵにより実行されるソフトウェアは、システムの所望の機能を実現するために、システムの他の構成要素を制御し得る。プロセッサ８０２４は、アプリケーションプログラムなどの他のソフトウェアも、実行することができる。アプリケーションプログラムは、ユーザ機能を提供することができ、より下位のデバイス制御に関して、オベレーティングシステムに依存してもよい。したがって、プロセッサ８０２４はまた、アプリケーションプロセッサと呼ぶことができる。ＣＰＵ複合体８０２０は、Ｌ２キャッシュ８０２２、及び／又はシステムの他の構成要素とのインタフェース（例えば、通信ファブリック８０１０とのインタフェース）などの他のハードウェアを更に含むことができる。概して、プロセッサは、プロセッサにより実装される命令セットアーキテクチャ内に定義された命令を実行するように構成された任意の回路及び／又はマイクロコードを含み得る。命令を実行したことに応じてプロセッサが行う命令及びデータは、一般的にはメモリ８８００に記憶することができるが、周辺装置へのダイレクトプロセッサアクセスについても同様に特定の命令を規定することができる。プロセッサは、システムオンチップ（ＳＯＣ８０００）又は他の集積化レベルとして他の構成要素と共に集積回路上に実装されるプロセッサコアを包含し得る。プロセッサは、別個のマイクロプロセッサ、マルチチップモジュール実装内に集積化されるプロセッサコア及び／又はマイクロプロセッサ、複数の集積回路として実装されるプロセッサなどを更に包含し得る。
メモリコントローラ８０３０は、ＳＯＣ８０００の他の構成要素からのメモリ動作を受信して、メモリ動作を完了するためにメモリ８８００にアクセスする回路を、通常、含むことができる。メモリコントローラ８０３０は、任意の種類のメモリ８８００にアクセスするように構成され得る。例えば、メモリ８８００は、スタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、例えばダブルデータレート（double data rate）（ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＤＲＡＭを含む同期ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）などであってもよい。ＤＤＲ ＤＲＡＭの低電力／モバイルバージョン（例えば、ＬＰＤＤＲ、ｍＤＤＲなど）がサポートされ得る。メモリコントローラ８０３０は、動作を順序付けし（及び場合によっては、再順序付けし）、メモリ８８００へ動作を提示するための、メモリ動作のための待ち行列を含んでもよい。メモリコントローラ８０３０は、メモリへの書き込みを待っている書き込みデータ、及びメモリ動作の送信元への返送を待っている読出しデータを記憶するためのデータバッファを更に含み得る。いくつかの実施形態では、メモリコントローラ８０３０は、最近アクセスされたメモリデータを記憶するためのメモリキャッシュを含み得る。ＳＯＣ実装形態では、例えば、メモリキャッシュは、データが再びすぐにアクセスされると予想される場合には、メモリ８８００からのデータの再アクセスを回避することによって、ＳＯＣ内の電力消費を低減し得る。一部の場合には、メモリキャッシュは、特定の構成要素だけに貢献するＬ２キャッシュ８０２２又はプロセッサ８０２４のキャッシュなどの専用のキャッシュとは対照的に、システムキャッシュと呼ぶこともできる。更に、いくつかの実施形態では、システムキャッシュはメモリコントローラ８０３０内に配置される必要がない。
一実施形態では、メモリ８８００は、チップオンチップ構成又はパッケージオンパッケージ構成においてＳＯＣ８０００と共にパッケージ化され得る。同様に、ＳＯＣ８０００とメモリ８８００とのマルチチップモジュール構成を使用してもよい。かかる構成は、システム中の他の構成要素への（例えば、エンドポイント１６Ａ〜１６Ｂへの）送信よりも、（データのオブザーバビリティに関して）比較的セキュアであり得る。そのため、保護データは、暗号化せずにメモリ８８００に常駐し得るが、ＳＯＣ８０００と外部エンドポイントとの間での交換のために保護データを暗号化してもよい。
通信ファブリック８０１０は、ＳＯＣ８０００の構成要素間で通信するための任意の通信相互接続及び通信プロトコルであり得る。通信ファブリック８０１０は、共有バス構成、クロスバー構成、及びブリッジを有する階層化バスを含むバスベースであり得る。通信ファブリック８０１０はまた、パケットベースとすることができ、ブリッジを有する階層構造、クロスバー、ポイントツーポイント、又は他の相互接続とすることができる。
ＳＯＣ８０００の構成要素の数（及びＣＰＵ複合体８０２０内などの、図８に示すものに関する下位構成要素の数）が実施形態によって異なり得ることに留意されたい。各構成要素／下位構成要素の数は、図８に示すよりも多くてもよく、少なくてもよい。
図９は、１つ以上の外部周辺装置９０２０及び外部メモリ８８００に結合されるＳＯＣ８０００の少なくとも１つの事例を含む、システム９０００の一実施形態のブロック図である。ＳＯＣ８０００に電源電圧を供給すると共に、メモリ８８００及び／又は周辺装置９０２０に１つ以上の電源電圧を供給する電力管理ユニット（power management unit、ＰＭＵ）９０１０が提示されている。いくつかの実施形態では、ＳＯＣ８０００の２つ以上の事例が含まれ得る（及び２つ以上のメモリ８８００も含まれ得る）。
周辺装置９０２０は、システム９０００の種類に応じて、任意の所望の回路を含んでもよい。例えば、一実施形態では、システム９０００は、モバイルデバイス（例えば、パーソナルデジタルアシスタント（personal digital assistant、ＰＤＡ）、スマートフォンなど）であり得、周辺装置９０２０は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラー、全地球測位システムなどの各種の無線通信のためのデバイスを含み得る。周辺装置９０２０はまた、ＲＡＭ記憶装置、ソリッドステート記憶装置、又はディスク記憶装置を含む追加記憶装置も含み得る。周辺装置９０２０は、タッチディスプレイスクリーン又はマルチタッチディスプレイスクリーンを含むディスプレイスクリーン、キーボード又は他の入力デバイス、マイクロフォン、スピーカなどのユーザインタフェースデバイスを含み得る。他の実施形態では、システム９０００は、任意の種類のコンピューティングシステム（例えば、デスクトップパーソナルコンピュータ、ラップトップコンピュータ、ワークステーション、ネットトップなど）とすることができる。
外部メモリ８８００は、任意の種類のメモリを含んでもよい。例えば、外部メモリ８８００は、ＳＲＡＭ、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＳＤＲＡＭ、ＲＡＭＢＵＳ ＤＲＡＭ、ＤＤＲ ＤＲＡＭの低電力バージョン（例えばＬＰＤＤＲ、ｍＤＤＲなど）などのダイナミックＲＡＭ（ＤＲＡＭ）であり得る。外部メモリ８８００は、シングルインラインメモリモジュール（single inline memory modules、ＳＩＭＭ）、デュアルインラインメモリモジュール（dual inline memory modules、ＤＩＭＭ）などの、メモリデバイスが装着される１つ以上のメモリモジュールを含み得る。代わりに、外部メモリ８８００は、チップオンチップ又はパッケージオンパッケージ実装でＳＯＣ８０００に装着される１つ以上のメモリデバイスを含んでもよい。
例示的なコンピュータシステム
図１０は、上述した実施形態のいずれか又はすべてを実施するように構成することができる例示的なコンピュータシステム２９００を示す。異なる実施形態では、コンピュータシステム２９００は、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、タブレット、スレート、パッド、若しくはネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、カメラ、セットトップボックス、モバイルデバイス、家庭用デバイス、アプリケーションサーバ、記憶デバイス、ビデオ録画デバイス、スイッチ、モデム、ルータなどの周辺デバイス、又は一般に任意の種類のコンピューティングデバイス若しくは電子デバイスを含むがこれらに限定されない、様々な種類のデバイスの任意のものであってよい。
本明細書で説明するような各種実施形態は、様々な他のデバイスと双方向作用することができる、１つ以上のコンピュータシステム２９００内に実施することができる。各種実施形態による、図１０のコンピュータシステム２９００として構成された１つ以上のコンピュータ上に、図１〜図９に関して上述した任意の構成要素、アクション、又は機能を実装することができることに留意されたい。図示される実施形態では、コンピュータシステム２９００は、入力／出力（input／output、Ｉ／Ｏ）インタフェース２９３０を介してシステムメモリ２９２０に結合される、１つ以上のプロセッサ２９１０を含む。コンピュータシステム２９００は、Ｉ／Ｏインタフェース２９３０に結合されたネットワークインタフェース２９４０と、カーソル制御２９６０、キーボード２９７０、ディスプレイ（単数又は複数）２９８０、カメラ（単数又は複数）２９９０、並びに、光センサ及び動き検出器を含むがこれらに限定されないセンサ（単数又は複数）２９９２などの、１つ以上の入出力デバイス又は構成要素２９５０とを更に含む。一部の場合には、実施形態は、単一インスタンスのコンピュータシステム２９００を用いて実装されてもよいと企図され、その一方で、他の実施形態では、複数のこのようなシステム、又はコンピュータシステム２９００を構成する複数のノードが、実施形態の異なる部分若しくはインスタンスをホストするように構成されてもよい。例えば、一実施形態では、いくつかの要素は、他の要素を実装するノードと別個であるコンピュータシステム２９００の１つ以上のノードを介して実装されてもよい。
各種実施形態では、コンピュータシステム２９００は、１つのプロセッサ２９１０を含む単一プロセッサシステム、又はいくつかのプロセッサ２９１０（例えば、２つ、４つ、８つ、若しくは別の好適な個数）を含む多重プロセッサシステムであってもよい。プロセッサ２９１０は、命令を実行する能力を有する任意の好適なプロセッサであってもよい。例えば、各種実施形態では、プロセッサ２９１０は、種々の命令セットアーキテクチャ（instruction set architectures、ＩＳＡ）の任意のもの、例えばｘ８２９、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、若しくはＭＩＰＳ ＩＳＡ、又は任意の他の好適なＩＳＡなどを実装する汎用プロセッサ又は組み込みプロセッサであってもよい。多重プロセッサシステムでは、プロセッサ２９１０の各々は、必須のことではないが、同じＩＳＡを共通に実装してもよい。
システムメモリ２９２０は、プロセッサ２９１０によってアクセス可能なプログラム命令２９２２及び／又はデータを記憶するように構成されてもよい。各種実施形態では、システムメモリ２９２０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、又は任意の他の種類のメモリなどの、任意の好適なメモリ技術を用いて実装されてもよい。例示した実施形態では、プログラム命令２９２２は、本明細書で説明する機能のいずれかを実行するように構成することができる。加えて、メモリ２９２０は、本明細書で説明する情報又はデータ構造のいずれかを含むことができる。いくつかの実施形態では、プログラム命令及び／又はデータは、異なる種類のコンピュータアクセス可能媒体上、又はシステムメモリ２９２０若しくはコンピュータシステム２９００とは別個の同様の媒体上で受信、送信又は記憶されてもよい。コンピュータシステム２９００は、前述の図の機能ブロックの機能を実装するものとして説明しているが、本明細書で説明する機能の任意のものを、そのようなコンピュータシステムにより実装することができる。
一実施形態では、Ｉ／Ｏインタフェース２９３０は、プロセッサ２９１０と、システムメモリ２９２０と、ネットワークインタフェース２９４０、又は入力／出力デバイス２９５０などの他の周辺インタフェースを含む、デバイス内の任意の周辺デバイスとの間のＩ／Ｏトラフィックを調整するように構成されてもよい。いくつかの実施形態では、Ｉ／Ｏインタフェース２９３０は、１つの構成要素（例えば、システムメモリ２９２０）からのデータ信号を別の構成要素（例えば、プロセッサ２９１０）による利用に適した形式に変換するために、任意の必要なプロトコル、タイミング又は他のデータ変換を実行してもよい。いくつかの実施形態では、Ｉ／Ｏインタフェース２９３０は、例えば、周辺装置相互接続（ＰＣＩ）バス規格又はユニバーサルシリアルバス（ＵＳＢ）規格のバリアントなどの、様々な種類の周辺バスを通じて取り付けられるデバイスのためのサポートを含んでもよい。いくつかの実施形態では、Ｉ／Ｏインタフェース２９３０の機能は、例えばノースブリッジ及びサウスブリッジ等の２つ以上の別個の構成要素に分割されてもよい。また、いくつかの実施形態では、システムメモリ２９２０へのインタフェース等の、Ｉ／Ｏインタフェース２９３０の機能の一部又はすべては、プロセッサ２９１０内に直接組み込まれてもよい。
ネットワークインタフェース２９４０は、コンピュータシステム２９００と、ネットワーク２９８５に取り付けられた他のデバイス（例えば、キャリアデバイス又はエージェントデバイス）との間、又はコンピュータシステム２９００のノード間でデータが交換されることを可能にするように構成されてもよい。各種実施形態では、ネットワーク２９８５は、ローカルエリアネットワーク（Local Area Network、ＬＡＮ）（例えば、イーサネット（登録商標）若しくは社内ネットワーク）、ワイドエリアネットワーク（Wide Area Network、ＷＡＮ）（例えば、インターネット）、無線データネットワーク、何らかの他の電子データネットワーク、又はこれらのうちのいずれかの組み合わせを含むがこれらに限定されない、１つ以上のネットワークを含んでもよい。各種実施形態では、ネットワークインタフェース２９４０は、例えば、任意の好適な種類のイーサネット（登録商標）ネットワークなどの有線若しくは無線の汎用データネットワークを介した通信、アナログ音声ネットワーク若しくはデジタルファイバ通信ネットワークなどの電気通信／電話通信ネットワークを介した通信、ファイバチャネルＳＡＮなどのストレージエリアネットワークを介した通信、又は任意の他の好適な種類のネットワーク及び／若しくはプロトコルを介した通信をサポートすることができる。
いくつかの実施形態では、入力／出力デバイス２９５０は、１つ以上の表示端末、キーボード、キーパッド、タッチパッド、スキャニングデバイス、音声若しくは光学的認識デバイス、又は１つ以上のコンピュータシステム２９００によるデータの入力若しくはアクセスに適した任意の他のデバイスを含んでもよい。複数の入力／出力デバイス２９５０がコンピュータシステム２９００内に存在してもよいか、又はコンピュータシステム２９００の様々なノード上に分散してもよい。いくつかの実施形態では、同様の入力／出力デバイスは、コンピュータシステム２９００から分離していてもよく、ネットワークインタフェース２９４０を通じるなど、有線又は無線接続を通じてコンピュータシステム２９００の１つ以上のノードと対話してもよい。
図１０に示すように、メモリ２９２０は、上述した任意の要素又はアクションを実行するようにプロセッサで実行可能とすることができる、プログラム命令２９２２を含むことができる。一実施形態では、プログラム命令は、上述した方法を実行することができる。他の実施形態では、異なる要素及びデータが含まれてもよい。データは、上述した任意のデータ又は情報を含むことができることに留意されたい。
当業者は、コンピュータシステム２９００は単なる例示に過ぎず、実施形態の範囲を限定することを意図していないことを理解するであろう。特に、コンピュータシステム及びデバイスは、コンピュータ、ネットワークデバイス、インターネット装置、ＰＤＡ、無線電話、ページャなどを含む、示された機能を実行し得るハードウェア又はソフトウェアの任意の組み合わせを含んでもよい。コンピュータシステム２９００はまた、図示されない他のデバイスに接続されてもよく、又はその代わりに独立型のシステムとして動作してもよい。加えて、図示された構成要素によって提供されている機能性は、いくつかの実施形態では、より少ない構成要素に組み合わせられるか、又は追加の構成要素に分散されてもよい。同様に、いくつかの実施形態では、図示されている構成要素のうちのいくつかの機能性は提供されなくてもよく、及び／又は他の追加の機能性が利用可能であってもよい。
当業者はまた、様々な項目は、使用されている間にメモリ内、又は記憶装置上に記憶されるように示されているが、これらの項目又はそれらの部分はメモリ管理及びデータ完全性の目的のためにメモリと他の記憶デバイスとの間で転送されてもよいことを理解するであろう。代替的に、他の実施形態では、ソフトウェア構成要素の一部又はすべては、別のデバイス上のメモリ内で実行し、コンピュータ間通信を介して、図示されているコンピュータシステムと通信してもよい。システム構成要素又はデータ構造のいくつか又はすべてはまた、以上において様々な例が説明された、適当なドライブによって読み取られるべきコンピュータアクセス可能媒体又はポータブル物品上に（例えば、命令又は構造化データ）として記憶されてもよい。いくつかの実施形態では、コンピュータシステム２９００から分離したコンピュータアクセス可能媒体上に記憶された命令は、伝送媒体、又はネットワーク及び／若しくは無線リンクなどの通信媒体を介して伝達される、電気信号、電磁信号、又はデジタル信号などの信号を介してコンピュータシステム２９００へ伝送されてもよい。様々な実施形態は、上述の説明に従ってコンピュータアクセス可能媒体上に実装される命令及び／又はデータを受信、送信、又は記憶することを更に含んでもよい。一般的に言えば、コンピュータアクセス可能媒体は、磁気媒体若しくは光媒体、例えば、ディスク若しくはＤＶＤ／ＣＤ−ＲＯＭ、ＲＡＭ（例えばＳＤＲＡＭ、ＤＤＲ、ＲＤＲＡＭ、ＳＲＡＭ等）、ＲＯＭ等の揮発性若しくは不揮発性媒体等の、非一時的コンピュータ可読記憶媒体又はメモリ媒体を含んでもよい。いくつかの実施形態では、コンピュータアクセス可能媒体は、ネットワーク及び／若しくは無線リンク等の通信媒体を介して伝達される、電気信号、電磁信号、若しくはデジタル信号等の伝送媒体又は信号を含んでもよい。
多機能デバイスの実施例
図１１は、いくつかの実施形態による、ポータブル多機能デバイスのブロック図を示す。いくつかの実施形態では、このデバイスは、ＰＤＡ機能、カメラ機能、ビデオキャプチャ及び／若しくは再生機能、並びに／又は音楽プレーヤ機能などの、他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的実施形態としては、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）による、ｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたラップトップコンピュータ、携帯電話、スマートフォン、パッド又はタブレットコンピュータなど他のポータブル電子デバイスも使用することができる。また、いくつかの実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたデスクトップコンピュータであることも理解されたい。いくつかの実施形態では、デバイスは、方向センサ（例えば、ゲームコントローラ内の方向センサ）を備えたゲームコンピュータである。他の実施形態では、デバイスは、ポータブル通信デバイスではなく、カメラ及び／又はビデオカメラである。
以下の説明では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、この電子デバイスは、物理キーボード、マウス、及び／又はジョイスティックなどの、１つ以上の他の物理ユーザインタフェースデバイスを含み得ることを理解されたい。
このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、ストリーミングビデオアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上など、様々なアプリケーションをサポートする。
そのデバイス上で実行できる様々なアプリケーションは、タッチ感知面など、少なくとも１つの共通の物理ユーザインタフェースデバイスを使用することができる。タッチ感知面の１つ以上の機能並びにデバイス上に表示される対応する情報を、アプリケーションごとに及び／若しくはそれぞれのアプリケーション内で調整し、並びに／又は変更することができる。このように、そのデバイスの共通の物理アーキテクチャ（タッチ感知面など）は、ユーザにとって直観的及び透過的なユーザインタフェースを有する様々なアプリケーションをサポートすることができる。
デバイス２１００は、メモリ２１０２（１つ以上のコンピュータ可読記憶媒体を含んでもよい）、メモリコントローラ２１２２、１つ以上の処理ユニット（ＣＰＵ）２１２０、周辺機器インタフェース２１１８、ＲＦ回路２１０８、オーディオ回路２１１０、スピーカ２１１１、タッチ感知ディスプレイシステム２１１２、マイクロフォン２１１３、入力／出力（Ｉ／Ｏ）サブシステム２１０６、他の入力制御デバイス２１１６、及び外部ポート２１２４を含んでもよい。デバイス２１００は、１つ以上の光センサ又はカメラ２１６４を含んでもよい。これらの構成要素は、１つ以上の通信バス又は信号ライン２１０３を介して通信してもよい。
デバイス２１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス２１００は、示されているよりも多くの又は少ない構成要素を備えていてもよく、２つ以上の構成要素を組み合わせていてもよく、又は構成要素の異なる構成若しくは配置を有していてもよいということを理解されたい。図１１に示される様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含めた、ハードウェア、ソフトウェア、あるいはハードウェア及びソフトウェアの組み合わせとして実装することができる。
メモリ２１０２は、高速ランダムアクセスメモリを含んでもよく、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの、不揮発性メモリもまた含んでよい。ＣＰＵ２１２０及び周辺機器インタフェース２１１８などの、デバイス２１００の他の構成要素によるメモリ２１０２へのアクセスは、メモリコントローラ２１２２によって制御されてもよい。
周辺機器インタフェース２１１８を使用して、このデバイスの入力及び出力周辺機器を、ＣＰＵ２１２０及びメモリ２１０２に結合することができる。１つ以上のプロセッサ２１２０は、デバイス２１００のための様々な機能を実行しデータ処理を実行するために、メモリ２１０２に記憶された様々なソフトウェアプログラム及び／若しくは命令セットを動作させ、又は実行する。
いくつかの実施形態では、周辺機器インタフェース２１１８、ＣＰＵ２１２０、及びメモリコントローラ２１２２は、チップ２１０４などのシングルチップ上に実装してもよい。いくつかの他の実施形態では、それらは、別個のチップ上に実装してもよい。
ＲＦ（radio frequency、無線周波数）回路２１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路２１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路２１０８は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、コーダ／デコーダ（コーデック）チップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどを含むがこれらに限定されない、これらの機能を実行するための周知の回路を含んでもよい。ＲＦ回路２１０８は、無線通信により、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどの、ネットワーク、並びに他のデバイスと通信を行ってもよい。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（Global System for Mobile Communications、ＧＳＭ）（登録商標）、拡張データＧＳＭ（登録商標）環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high−speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high−speed uplink packet access、ＨＳＵＰＡ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／若しくはＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ）、インスタントメッセージ（例えば、拡張可能なメッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンスイベントパッケージのためのセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスイベントパッケージ（Instant Messaging and Presence Service、ＩＭＰＳ）、及び／若しくはショートメッセージサービス（Short Message Service、ＳＭＳ）、又は本文書の出願日にまだ開発されていない通信プロトコルを含む任意の他の好適な通信プロトコルを含むがこれらに限定されない、様々な通信標準規格、通信プロトコル、及び通信技術の任意のものを使用することができる。
オーディオ回路２１１０、スピーカ２１１１、及びマイクロフォン２１１３は、ユーザとデバイス２１００との間のオーディオインタフェースを提供する。オーディオ回路２１１０は、周辺機器インタフェース２１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ２１１１に送信する。スピーカ２１１１は、電気信号を可聴音波に変換する。オーディオ回路２１１０はまた、マイクロフォン２１１３により音波から変換された電気信号も受信する。オーディオ回路２１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース２１１８に送信する。オーディオデータは、周辺機器インタフェース２１１８によって、メモリ２１０２及び／又はＲＦ回路２１０８から取得され、及び／又は、それらに送信されてもよい。いくつかの実施形態では、オーディオ回路２１１０はまた、ヘッドセットジャックも含む。ヘッドセットジャックは、オーディオ回路２１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の両方を有するヘッドセットなどの、取り外し可能なオーディオ入力／出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム２１０６は、周辺機器インタフェース２１１８に、タッチスクリーン２１１２及び他の入力制御デバイス２１１６などのデバイス２１００の入力／出力周辺機器を結合する。Ｉ／Ｏサブシステム２１０６は、ディスプレイコントローラ２１５６、並びに他の入力制御デバイス２１１６のための１つ以上の入力コントローラ２１６０を含むことができる。１つ以上の入力コントローラ２１６０は、他の入力制御デバイス２１１６との間で、電気信号を受信／送信する。他の入力制御デバイス２１１６は、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含んでもよい。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）２１６０は、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合されてもよい（又は、いずれにも結合されなくてもよい）。１つ以上のボタンは、スピーカ２１１１及び／又はマイクロフォン２１１３の音量調節のためのアップ／ダウンボタンを含んでもよい。１つ以上のボタンは、プッシュボタンを含んでもよい。
タッチ感知ディスプレイ２１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ２１５６は、タッチスクリーン２１１２から電気信号を受信し、及び／又はそれへ電気信号を送信する。タッチスクリーン２１１２は、ユーザに視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組み合わせ（「グラフィック」と総称される）を含んでもよい。いくつかの実施形態において、視覚出力の一部又はすべてはユーザインタフェースオブジェクトに対応してもよい。
タッチスクリーン２１１２は、触覚及び／若しくは触感の接触に基づくユーザからの入力を受け入れるタッチ感知面、センサ、又はセンサのセットを有する。タッチスクリーン２１１２及びディスプレイコントローラ２１５６（メモリ２１０２内の任意の関連モジュール及び／又は命令セットと共に）は、タッチスクリーン２１１２上で接触（及び任意の動作又は接触の中断）を検出し、検出された接触をタッチスクリーン２１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン２１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン２１１２は、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を用いてもよく、他の実施形態では、他のディスプレイ技術を用いてもよい。タッチスクリーン２１１２及びディスプレイコントローラ２１５６は、現在既知の、又は今後開発される様々なタッチ感知技術のうちのいずれかを使用して、接触、及びその接触のあらゆる移動又は中断を検出することができ、これらの技術としては、静電容量技術、抵抗性技術、赤外線技術、及び表面弾性波技術、並びにタッチスクリーン２１１２との１つ以上の接触点を判定するための、他の近接センサアレイ又は他の要素が挙げられるが、これらに限定されない。例示的な実施形態では、Ａｐｐｌｅ Ｉｎｃ．（Ｃｕｐｅｒｔｉｎｏ，Ｃａｌｉｆｏｒｎｉａ）からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などにおいて見られるような、投影型相互静電容量感知技術が使用されている。
タッチスクリーン２１１２は、１００ｄｐｉを超えるビデオ解像度を有し得る。いくつかの実施形態において、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの、任意の好適な物体又は付属物を使用して、タッチスクリーン２１１２と接触することができる。いくつかの実施形態において、ユーザインタフェースは、主として指に基づく接触及びジェスチャによって機能するように設計され、タッチスクリーン上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
いくつかの実施形態では、タッチスクリーン２１１２に加えて、デバイス２１００は、特定の機能をアクティブ又は非アクティブにするためのタッチパッド（図示せず）を含んでもよい。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知領域である。タッチパッドは、タッチスクリーン２１１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されるタッチ感知面の拡張部とすることができる。
デバイス２１００はまた、様々な構成要素に電力を供給するための電力システム２１６２をも含む。電力システム２１６２は、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイスにおける電力の生成、管理、及び分配に関連する任意の他の構成要素を含んでもよい。
デバイス２１００はまた、１つ以上の光センサ又はカメラ２１６４を含んでもよい。図１１は、Ｉ／Ｏサブシステム２１０６内の光センサコントローラ２１５８に結合された、光センサを示す。光センサ２１６４は、例えば、電荷結合デバイス（charge−coupled device、ＣＣＤ）又は相補的金属酸化物半導体（complementary metal−oxide semiconductor、ＣＭＯＳ）フォトトランジスタ若しくはフォトセンサを含んでもよい。光センサ２１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表現するデータに変換する。撮像モジュール２１４３（カメラモジュールとも呼ばれる）と連携して、光センサ２１６４は、静止画像又はビデオシーケンスをキャプチャすることができる。いくつかの実施形態では、少なくとも１つの光センサが、デバイスの前面に配置されたタッチスクリーンディスプレイ２１１２の反対側である、デバイス２１００の背面に配置されている。いくつかの実施形態では、タッチスクリーンディスプレイは、静止画像及び／又はビデオ画像取得用のビューファインダとして使用することができる。いくつかの実施形態では、代わりにデバイスの前面に、又はデバイスの前面にも、少なくとも１つの光センサを配置することができる。
デバイス２１００はまた、１つ以上の近接センサ２１６６を含んでもよい。図１１は、周辺機器インタフェース２１１８に結合された、近接センサ２１６６を示す。あるいは、近接センサ２１６６は、Ｉ／Ｏサブシステム２１０６内の入力コントローラ２１６０に結合されてもよい。いくつかの実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが電話通話を行っている場合）、近接センサが、タッチスクリーン２１１２をオフにして無効にする。
デバイス２１００はまた、１つ以上の方向センサ２１６８を含んでもよい。いくつかの実施形態では、１つ以上の方向センサは、１つ以上の加速度計（例えば、１つ以上の直線加速度計及び／又は１つ以上の回転加速度計）を含む。いくつかの実施形態では、１つ以上の方向センサは、１つ以上のジャイロスコープを含む。いくつかの実施形態では、１つ以上の方向センサは、１つ以上の磁気計を含む。いくつかの実施形態では、１つ以上の方向センサは、全地球測位システム（global positioning system、ＧＰＳ）、全地球的航法衛星システム（Global Navigation Satellite System、ＧＬＯＮＡＳＳ）、及び／又は他の全地球航法システム受信機のうちの１つ以上を含む。ＧＰＳ、ＧＬＯＮＡＳＳ、及び／又は他の全地球航法システム受信機は、デバイス２１００の位置及び向き（例えば、縦向き又は横向き）に関する情報を受信するために使用することができる。いくつかの実施形態では、１つ以上の方向センサは、向き／回転センサの任意の組み合わせを含む。図１１は、周辺機器インタフェース２１１８に結合された、１つ以上の方向センサ２１６８を示す。あるいは、１つ以上の方向センサ２１６８は、Ｉ／Ｏサブシステム２１０６内の入力コントローラ２１６０に結合されてもよい。いくつかの実施形態では、情報は、１つ以上の方向センサから受信したデータの分析に基づいて、縦長表示又は横長表示でタッチスクリーンディスプレイ上に表示される。
いくつかの実施形態では、デバイス２１００はまた、周辺光センサ及び動き検出器を含むがこれらに限定されない、１つ以上の他のセンサ（図示せず）を含むことができる。これらのセンサは、周辺機器インタフェース２１１８に結合することができる、又は代わりにＩ／Ｏサブシステム２１０６の入力コントローラ２１６０に結合することができる。例えば、いくつかの実施形態では、デバイス２１００は、ビデオ及び画像のキャプチャ、処理、及び表示のアプリケーションに使用するためにデバイス２１００の環境から周囲照明測定項目を収集するために使用することができる、少なくとも１つの前向きの（ユーザから離れる）光センサ、及び少なくとも１つの後ろ向き（ユーザに向かう）光センサを含むことができる。
いくつかの実施形態では、メモリ２１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム２１２６、通信モジュール２１２８、接触／動きモジュール（又は命令セット）２１３０、グラフィックモジュール２１３２、テキスト入力モジュール２１３４、全地球測位システム（ＧＰＳ）モジュール２１３５、及びアプリケーション２１３６を含む。更に、いくつかの実施形態では、メモリ２１０２は、デバイス／グローバル内部状態２１５７を記憶する。デバイス／グローバル内部状態２１５７は、以下の１つ以上を含む。現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ２１１２の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス２１１６から得られる情報を含む、センサ状態、及び、デバイスの位置及び／又は姿勢に関する位置情報。
オペレーティングシステム２１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェアコンポーネント及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール２１２８は、１つ以上の外部ポート２１２４を介して他のデバイスとの通信を容易にし、またＲＦ回路２１０８及び／又は外部ポート２１２４が受信したデータを処理するための様々なソフトウェア構成要素を含む。外部ポート２１２４（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに接続するように適合している。いくつかの実施形態において、外部ポートは、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同一の、又はこれに類似した及び／若しくは互換性のあるマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール２１３０は、（ディスプレイコントローラ２１５６と関連して）タッチスクリーン２１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理的なクリックホイール）との接触を検出することができる。接触／動きモジュール２１３０は、接触が生じたかどうかの判定（例えば、フィンガダウンイベントの検出）、接触の移動があるかどうかの判定及びタッチ感知面にわたる移動の追跡（例えば、１つ以上のフィンガドラッギングイベントの検出）、並びに接触が終わったかどうかの判定（例えば、フィンガアップイベント又は接触の中断の検出）など、接触の検出に関連する様々な動作を行うための様々なソフトウェアコンポーネントを含む。接触／動きモジュール２１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動の判定は、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／若しくは方向の変化）の判定を含んでもよい。これらの操作は、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用することができる。いくつかの実施形態では、接触／動きモジュール２１３０及びディスプレイコントローラ２１５６は、タッチパッド上の接触を検出する。
接触／動きモジュール２１３０は、ユーザによるジェスチャ入力を検出することができる。タッチ感知面上での異なるジェスチャは、異なる接触パターンを有する。したがって、特定の接触パターンを検出することによってジェスチャを検出することができる。例えば、フィンガタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて（例えば、アイコンの位置での）そのフィンガダウンイベントと同じ位置（又は、実質的に同じ位置）でフィンガアップ（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面でのフィンガスワイプジェスチャの検出は、フィンガダウンイベントを検出し、続いて１つ以上のフィンガドラッグイベントを検出し、その後、フィンガアップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール２１３２は、表示されるグラフィックの明度を変更するための構成要素を含む、タッチスクリーン２１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々なソフトウェア構成要素を含む。本明細書にて使用されるとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、これらのオブジェクトとしては、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
いくつかの実施形態では、グラフィックモジュール２１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、対応するコードが割り当てられてもよい。グラフィックモジュール２１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データと共に、表示されるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ２１５６に出力する画面の画像データを生成する。
テキスト入力モジュール２１３４は、グラフィックモジュール２１３２の構成要素とすることができ、テキスト入力を必要とする様々なアプリケーション内でテキストを入力するための、ソフトキーボードを提供する。
ＧＰＳモジュール２１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために、（例えば、位置ベースのダイヤリングで使用するために電話モジュール２１３８に、写真／ビデオのメタデータとしてカメラモジュール２１４３に、及び地図／ナビゲーションアプリケーションなどの位置ベースのサービスを提供するアプリケーションに）提供する。
アプリケーション２１３６は、以下のモジュール（又は、命令セット）、又はそれらのサブセット若しくはスーパーセットのうちの１つ以上を含むことができるが、これらに限定されない。
・電話モジュール２１３８、
・テレビ会議モジュール２１３９、
・静止画像及び／又はビデオ画像用のカメラモジュール２１４３、
・画像管理モジュール２１４４、
・ブラウザモジュール２１４７、
・検索モジュール２１５１、
・ビデオプレーヤモジュール及び音楽プレーヤモジュールで構成され得るビデオ及び音楽プレーヤモジュール２１５２、及び／又は
・オンラインビデオモジュール２１５５。
・ゲームモジュールなどの、図示されていない１つ以上の他のモジュール。
メモリ２１０２内に記憶することができる他のアプリケーション２１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、通信／ソーシャルメディアアプリケーション、地図アプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられるがこれらに限定されない。
ＲＦ回路２１０８、オーディオ回路２１１０、スピーカ２１１１、マイクロフォン２１１３、タッチスクリーン２１１２、ディスプレイコントローラ２１５６、接触モジュール２１３０、グラフィックモジュール２１３２、及びテキスト入力モジュール２１３４と連携して、電話モジュール２１３８は、電話番号に対応する一連の文字を入力し、アドレス帳内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、各々の電話番号をダイヤルし、会話を遂行し、会話が完了した際に接続を切るか又は電話を切るために、使用することができる。上述のように、無線通信には、様々な通信規格、通信プロトコル、及び通信技術のうちの任意のものを使用することができる。
ＲＦ回路２１０８、オーディオ回路２１１０、スピーカ２１１１、マイクロフォン２１１３、タッチスクリーン２１１２、ディスプレイコントローラ２１５６、光センサ２１６４、光センサコントローラ２１５８、接触／動きモジュール２１３０、グラフィックモジュール２１３２、テキスト入力モジュール２１３４、及び電話モジュール２１３８と連携して、テレビ会議モジュール２１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、行い、終了するための実行可能命令を含む。
タッチスクリーン２１１２、ディスプレイコントローラ２１５６、光センサ（単数又は複数）２１６４、光センサコントローラ２１５８、接触／動きモジュール２１３０、グラフィックモジュール２１３２、及び画像管理モジュール２１４４と連携して、カメラモジュール２１４３は、静止画像又は（ビデオストリームを含む）ビデオをキャプチャしてメモリ２１０２にそれらを記憶する、静止画像又はビデオの特性を変更する、又はメモリ２１０２から静止画像若しくはビデオを削除する、実行可能命令を含む。
タッチスクリーン２１１２、ディスプレイコントローラ２１５６、接触／動きモジュール２１３０、グラフィックモジュール２１３２、テキスト入力モジュール２１３４、及びカメラモジュール２１４３と連携して、画像管理モジュール２１４４は、静止画像及び／又はビデオ画像を配置する、修正（例えば、編集）する又は別の方法で操作する、ラベルを付ける、削除する、（例えば、デジタルスライドショー又はアルバムにおいて）提示する、及び記憶する、実行可能命令を含む。
ＲＦ回路２１０８、タッチスクリーン２１１２、ディスプレイシステムコントローラ２１５６、接触／動きモジュール２１３０、グラフィックモジュール２１３２、及び、テキスト入力モジュール２１３４と連携して、ブラウザモジュール２１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従い、インターネットを閲覧するための実行可能命令を含む。
タッチスクリーン２１１２、ディスプレイシステムコントローラ２１５６、接触／動きモジュール２１３０、グラフィックモジュール２１３２、及びテキスト入力モジュール２１３４と連携して、検索モジュール２１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ２１０２内のテキスト、音楽、音声、画像、ビデオ、及び／又は他のファイルを検索するための実行可能命令を含む。
タッチスクリーン２１１２、ディスプレイシステムコントローラ２１５６、接触／動きモジュール２１３０、グラフィックモジュール２１３２、オーディオ回路２１１０、スピーカ２１１１、ＲＦ回路２１０８、及びブラウザモジュール２１４７と連携して、ビデオ及び音楽プレーヤモジュール２１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びに、ビデオを（例えば、タッチスクリーン２１１２上又は外部ポート２１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生するための実行可能命令を含む。いくつかの実施形態では、デバイス２１００は、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を含んでもよい。
タッチスクリーン２１１２、ディスプレイシステムコントローラ２１５６、接触／動きモジュール２１３０、グラフィックモジュール２１３２、オーディオ回路２１１０、スピーカ２１１１、ＲＦ回路２１０８、テキスト入力モジュール２１３４、及びブラウザモジュール２１４７と連携して、オンラインビデオモジュール２１５５は、ユーザがＨ．２６４／ＡＶＣ形式又はＨ．２６５／ＨＥＶＣ形式などの１つ以上のビデオ形式のオンラインビデオにアクセスし、閲覧し、受信し（例えば、ストリーミング及び／又はダウンロードにより）、再生し（例えば、タッチスクリーン上で又は外部ポート２１２４を介して接続された外部のディスプレイ上で）、別の方法で管理できるようにする命令を含む。
上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行する実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（すなわち、命令のセット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットを組み合わせるか、又は他の方式で再編成することができる。いくつかの実施形態では、メモリ２１０２は、上記で特定されたモジュール及びデータ構造のサブセットを記憶することができる。更に、メモリ２１０２は、上述されていない追加のモジュール及びデータ構造を記憶してもよい。
いくつかの実施形態では、デバイス２１００は、デバイス上の機能の既定のセットの動作が排他的にタッチスクリーン及び／又はタッチパッドを介して実行されるデバイスである。デバイス２１００の動作に関する主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス２１００上の（プッシュボタン、ダイヤルなどの）物理入力制御デバイスの数を低減することができる。
排他的にタッチスクリーン及び／又はタッチパッドを介して実行することができる機能の既定のセットは、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザにタッチされると、デバイス２１００上に表示することができる任意のユーザインタフェースから、メイン、ホーム、又はルートメニューへとデバイス２１００をナビゲートする。そのような実施形態では、タッチパッドは、「メニューボタン」と称することができる。いくつかの他の実施形態において、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスであってもよい。
図１２は、いくつかの実施形態による、タッチスクリーン２１１２を有するポータブル多機能デバイス２１００を示す。タッチスクリーンは、ユーザインタフェース（ＵＩ）２２００内に１つ以上のグラフィックを表示することができる。デバイス２１００の少なくともいくつかの実施形態では、ユーザは、例えば、１本以上の指２２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２２０３（図には、正確な縮尺率では描かれていない）を用いてグラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択してもよい。
デバイス２１００はまた、「ホーム」又はメニューボタン２２０４などの、１つ以上の物理ボタンを含んでもよい。上述したように、メニューボタン２２０４を使用して、デバイス２１００上で実行することができるアプリケーションのセット内の任意のアプリケーション２１３６へ、ナビゲートすることができる。あるいは、いくつかの実施形態では、メニューボタンは、タッチスクリーン２１１２上に表示されたＧＵＩにおけるソフトキーとして実装することができる。
いくつかの実施形態では、デバイス２１００は、タッチスクリーン２１１２、ホーム又はメニューボタン２２０４、デバイスへの電源をオン／オフしてデバイスをロックするためのプッシュボタン２２０６、音量調整ボタン（単数又は複数）２２０８、加入者識別モジュール（ＳＩＭ）カードスロット２２１０、ヘッドセットジャック２２１２、及びドッキング／充電用外部ポート２１２４を含む。プッシュボタン２２０６を使用して、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、既定時間が経過する前にボタンを解放することによってデバイスをロックし、及び／又は、デバイスのロックを解除する、若しくは、ロック解除処理を開始することができる。代替の実施形態において、デバイス２１００はまた、マイクロフォン２１１３を通して、一部の機能をアクティブにし、又は非アクティブにするための口頭入力を受け入れてもよい。
デバイス２１００はまた、１つ以上のカメラ２１６４を含んでもよい。カメラ２１６４は、例えば、電荷結合デバイス（ＣＣＤ）若しくは相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタ又はフォトセンサを含んでもよい。カメラ２１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像又はビデオフレームを表現するデータに変換する。いくつかの実施形態では、少なくとも１つのカメラ２１６４が、デバイスの前面に配置されたタッチスクリーンディスプレイ２１１２の反対側である、デバイス２１００の背面に配置されてもよい。いくつかの実施形態では、代わりにデバイスの前面に、又はデバイスの前面にも、例えば、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ２１１２上で見るのと同時に、ユーザの画像をテレビ会議のために得ることができるように、タッチスクリーンディスプレイ２１１２と共に、少なくとも１つのカメラ２１６４が配置されてもよい。いくつかの実施形態では、少なくとも１つのカメラ２１６４が、デバイス２１００の前面に配置されてもよく、少なくとも１つのカメラ２１６４が、デバイス２１００の背面に配置されてもよい。いくつかの実施形態では、タッチスクリーンディスプレイ２１１２は、静止画像及び／又はビデオシーケンス取得アプリケーション用のビューファインダ及び／又はユーザインタフェースとして使用することができる。
デバイス２１００は、カメラ２１６４を介してキャプチャされた又は別の方法で取得した（例えば、ネットワークインタフェースを介して）静止画像及び／又はビデオフレーム若しくはビデオシーケンスをキャプチャ、処理、変換、圧縮、展開、記憶、修正、送信、表示、及び別の方法で管理して操作するために使用することができる、ビデオエンコード及び／若しくはデコード構成要素、コーデック、モジュール、又はパイプラインを含むがこれらに限定されない、ビデオ及び画像処理ハードウェア並びに／又はソフトウェアを含むことができる。いくつかの実施形態では、デバイス２１００はまた、ビデオ及び画像のキャプチャ、処理、及び表示に使用するためにデバイス２１００の環境から周囲照明又は他の測定項目を収集するために使用することができる、１つ以上の光センサ又は他のセンサを含むことができる。
異なる実施形態では、本明細書で説明する方法は、ソフトウェア、ハードウェア、又はそれらの組み合わせの形態で実装されてもよい。更に、方法のブロックの順序は変更されてもよく、様々な要素の追加、再順序付け、組み合わせ、省略、修正等が行われてもよい。本開示の利益を得る当業者にとって明白であるような、様々な修正及び変更が行われてもよい。本明細書で説明した各種実施形態は、例示的なものであり、限定的なものではない。多くの変形、修正、追加、及び改善が可能である。そのため、単一の事例として本明細書で説明した構成要素について、複数の事例を提供することができる。種々の構成要素、動作及びデータストアの間の境界は、任意のものであり、規定の動作は、特定の例示的な構成の文脈において示されている。機能の他の割り当てが想定され、以下の特許請求の範囲に含まれる。最終的に、例示的な構成において個別構成要素として提示した構造及び機能は、組み合わせた構造又は構成要素として実装され得る。これらの変形、修正、追加、及び改善、並びに他の変形、修正、追加、及び改善は、以下の特許請求の範囲で定義されるように、実施形態の範囲内に包含することができる。

Claims (20)

  1. ディスプレイパネルと、
    １つ以上のプロセッサとを備えたシステムであって、
    前記プロセッサは、
    (1)周囲照明レベル又は輝度制御設定のうちの１つ以上に従って、現在の輝度レベルＢを決定するよう構成された動的表示モジュールであって、前記現在の輝度レベルＢは前記ディスプレイパネルの表示空間における下部部分及び上部部分を規定する、当該動的表示モジュールと、
    (2)（０．０〜Ｍ）のダイナミックレンジの高ダイナミックレンジ（ＨＤＲ）コンテンツを生成するように、最大レンダリング値Ｍに従って、受信したデジタル画像コンテンツをレンダリングするように構成されたレンダリングパイプラインと、
    (3)ディスプレイパイプラインであって、
    前記レンダリングされたＨＤＲコンテンツを入手し、
    前記ディスプレイパネルの前記表示空間に、前記現在の輝度レベルＢに従って、標準範囲（０．０〜１．０）のレンダリングされたＨＤＲコンテンツを前記表示空間の前記下部部分にマッピングし、拡張範囲（１．０〜Ｍ）のレンダリングされたＨＤＲコンテンツを前記表示空間の前記上部部分にマッピングして、前記レンダリングされたＨＤＲコンテンツをマッピングし、
    前記マッピングされたＨＤＲコンテンツを表示するために前記ディスプレイパネルに出力する、ように構成されたディスプレイパイプラインと、
    を実装するように構成されている、システム。
  2. 前記動的表示モジュールは、
    前記周囲照明レベル又は前記輝度制御設定のうちの１つ以上に従って、前記現在の輝度レベルＢを判定し、
    前記現在の輝度レベルＢに従って現在の最大レンダリング値Ｍを判定し、
    前記現在の最大レンダリング値Ｍを前記レンダリングパイプラインに提供し、ここで前記レンダリングは前記現在の最大レンダリング値Ｍに従って調整されており、
    前記現在の輝度レベルＢを前記ディスプレイパイプラインに提供し、ここで前記マッピングは前記現在の輝度レベルＢに従って調整されている、ことを、繰返し実行するように構成された、動的表示モジュールを更に備える、請求項１に記載のシステム。
  3. 前記周囲照明レベルを含む前記ディスプレイパネルの１つ以上の環境条件を検出するように構成された１つ以上のセンサを更に備える、請求項２に記載のシステム。
  4. 前記輝度制御設定が、前記ディスプレイパネルの表示輝度制御の最小輝度レベルを下回って輝度を設定できるようにする、輝度制御ユーザインタフェース要素からの入力に従って判定される、請求項２に記載のシステム。
  5. 前記ディスプレイパイプラインが、
    ＳＤＲコンテンツソースから標準ダイナミックレンジ（ＳＤＲ）コンテンツを受信し、 前記ＳＤＲコンテンツを、前記表示空間の前記下部部分の前記ＨＤＲコンテンツの前記標準範囲（０．０〜１．０）の部分と合成又は混合する、ように更に構成された、請求項１に記載のシステム。
  6. 前記ディスプレイパネルが、ディスプレイバックライトを含み、前記ディスプレイパイプラインが、
    周囲照明レベル又は輝度制御設定のうちの１つ以上に従って、前記ディスプレイバックライトの輝度レベルを上昇又は下降させて動的に調整し、
    異なるバックライトレベルで前記ＨＤＲコンテンツの見掛けの輝度を維持するように前記ディスプレイバックライトの前記輝度レベルに従って、前記ＨＤＲコンテンツの少なくともいくつかの画素値を調整し、ここで前記ＨＤＲコンテンツと合成又は混合される前記ＳＤＲコンテンツの画素値は調整されない、ように更に構成された、請求項５に記載のシステム。
  7. 前記レンダリングパイプラインが、エンコードされたＨＤＲコンテンツを生成するエンコード形式に従って、前記レンダリングされたＨＤＲコンテンツをエンコードするように更に構成され、
    前記ディスプレイパイプラインが、前記マッピングの前に前記エンコードされたＨＤＲコンテンツをデコードするように更に構成された、請求項１に記載のシステム。
  8. 周囲照明レベル又は輝度制御設定のうちの１つ以上に従って、現在の輝度レベルＢを決定することと、前記現在の輝度レベルＢはディスプレイパネルの表示空間における下部部分及び上部部分を規定し、
    デバイス上に実装されたディスプレイパイプラインによって、１つ以上のレンダリングパイプラインによって（０．０〜Ｍ）（Ｍは最大レンダリング値である）のダイナミックレンジにレンダリングされた高ダイナミックレンジ（ＨＤＲ）コンテンツを入手することと、
    前記ディスプレイパイプラインによって、前記１つ以上のレンダリングパイプラインから入手した前記レンダリングされたＨＤＲコンテンツを、前記ディスプレイパネルの前記表示空間に、前記現在の輝度レベルＢに従ってマッピングすることと、を含み、前記マッピングすることは、
    標準範囲（０．０〜１．０）にレンダリングされたＨＤＲコンテンツを、前記表示空間の前記下部部分にマッピングすることと、
    拡張範囲（１．０〜Ｍ）にレンダリングされたＨＤＲコンテンツを、前記表示空間の前記上部部分にマッピングすることと、
    前記マッピングされたＨＤＲコンテンツを表示するために前記ディスプレイパネルに提供することと、を含む、方法。
  9. 前記周囲照明レベル又は前記輝度制御設定のうちの１つ以上に従って、前記現在の輝度レベルＢを判定することと、
    前記現在の輝度レベルＢに従って現在の最大レンダリング値Ｍを判定することと、
    前記現在の最大レンダリング値Ｍを前記１つ以上のレンダリングパイプラインに提供することであって、前記１つ以上のレンダリングパイプラインは前記現在の最大レンダリング値Ｍに従ってレンダリングを調整する、ことと、
    前記現在の輝度レベルＢを前記ディスプレイパイプラインに提供することであって、前記マッピングは前記現在の輝度レベルＢに従って調整されている、ことと、を繰返し実行することを、更に含む、請求項８に記載の方法。
  10. 前記ディスプレイパネルの現在の周囲条件下での観察者知覚範囲のモデルを知覚モデルに従って判定することであって、前記知覚モデルは、周囲照明条件、ディスプレイパネル特性、又はディスプレイパネル設定のうちの１つ以上を含む入力に従って前記観察者知覚範囲のモデルを判定する、ことと、
    前記観察者知覚範囲のモデルに従って、前記現在の輝度レベルＢ、前記表示空間の前記下部部分及び前記上部部分、並びに前記最大レンダリング値Ｍを判定することと、を更に含む、請求項８に記載の方法。
  11. 前記最大レンダリング値Ｍを前記判定することが、前記知覚モデルに従って１つ以上の閾値を上回らないＭに対する最大値を判定することを含む、請求項１０に記載の方法。
  12. 前記ディスプレイパネルのバックライトの輝度設定を、前記バックライトに対する最大輝度のレベル又は最大輝度付近のレベルに維持することと、
    前記ディスプレイパネル上でデジタル減光効果を提供するように前記現在の輝度レベルＢを調整することと、を更に含む、請求項８に記載の方法。
  13. 少なくとも一部、前記ディスプレイパネルからの測定された光漏れ、及び前記ディスプレイパネルから反射した測定された周辺光に従って、前記現在の輝度レベルＢ、前記表示空間の前記下部部分及び前記上部部分、並びに前記最大レンダリング値Ｍを判定することを更に含む、請求項８に記載の方法。
  14. 前記ディスプレイパイプラインによって、標準ダイナミックレンジ（ＳＤＲ）コンテンツソースからＳＤＲコンテンツを受信することと、
    前記ＳＤＲコンテンツを、前記表示空間の前記下部部分の前記ＨＤＲコンテンツの前記標準範囲（０．０〜１．０）の部分と合成又は混合することと、を更に含む、請求項８に記載の方法。
  15. 前記ＳＤＲコンテンツ内のハイライトＨＤＲコンテンツを受信することと、
    前記ディスプレイパネル上で、前記表示空間の前記上部部分の前記ハイライトＨＤＲコンテンツを前記ＳＤＲコンテンツのハイライト部分に合成又は混合することと、を更に含む、請求項１４に記載の方法。
  16. 周囲照明レベル又は輝度制御設定のうちの１つ以上に従って、前記ディスプレイパネルのバックライトの輝度レベルを上昇又は下降させて動的に調整することと、
    異なるバックライトレベルで前記ＨＤＲコンテンツの見掛けの輝度を維持するように前記バックライトの前記輝度レベルに従って、前記ＨＤＲコンテンツの少なくともいくつかの画素値を調整することであって、前記ＨＤＲコンテンツと合成又は混合される前記ＳＤＲコンテンツの画素値は調整されない、ことと、を更に含む、請求項１４に記載の方法。
  17. １つ以上のプロセッサであって、
    周囲照明レベル又は輝度制御設定のうちの１つ以上に従って、現在の輝度レベルＢを決定するよう構成された動的表示モジュールであって、前記現在の輝度レベルＢはディスプレイパネルの表示空間における下部部分及び上部部分を規定する、当該動的表示モジュールと、
    （０．０〜Ｍ）のダイナミックレンジの高ダイナミックレンジ（ＨＤＲ）コンテンツを生成するように、最大レンダリング値Ｍに従って、入力デジタル画像コンテンツをレンダリングして、エンコードされたＨＤＲコンテンツを生成するように前記レンダリングされたＨＤＲコンテンツをエンコードするように構成されたエンコードモジュールと、
    デコードモジュールであって、
    前記ダイナミックレンジ（０．０〜Ｍ）のＨＤＲコンテンツを生成するようにエンコードされたＨＤＲコンテンツをデコードし、
    前記ディスプレイパネルの前記表示空間に、前記現在の輝度レベルＢに従って、標準範囲（０．０〜１．０）のレンダリングされたＨＤＲコンテンツを前記表示空間の前記下部部分にマッピングし、拡張範囲（１．０〜Ｍ）のレンダリングされたＨＤＲコンテンツを前記表示空間の前記上部部分にマッピングして、前記ＨＤＲコンテンツをマッピングし、
    前記マッピングされたＨＤＲコンテンツを表示するために前記ディスプレイパネルに出力する、ように構成されたデコードモジュールと、
    を実装するように構成された１つ以上のプロセッサ、を備える装置。
  18. 前記動的表示モジュールは、
    前記周囲照明レベル又は前記輝度制御設定のうちの１つ以上に従って、前記現在の輝度レベルＢを判定し、
    前記現在の輝度レベルＢに従って現在の最大レンダリング値Ｍを判定し、ここで前記現在の輝度レベルＢはパーセント値として表現されており、前記現在の最大レンダリング値ＭはＢの逆数として判定されており、
    前記現在の最大レンダリング値Ｍを前記エンコードモジュールに提供し、ここで前記レンダリングは前記現在の最大レンダリング値Ｍに従って調整されており、
    前記現在の輝度レベルＢを前記デコードモジュールに提供し、ここで前記マッピングは前記現在の輝度レベルＢに従って調整されている、ことを、繰返し実行するように構成された、動的表示モジュールを更に備える、請求項１７に記載の装置。
  19. 前記デコードモジュールが、
    標準ダイナミックレンジ（ＳＤＲ）コンテンツを受信し、
    ハイライトＨＤＲコンテンツを受信し、
    前記ＳＤＲコンテンツを、前記表示空間の前記下部部分の前記ＨＤＲコンテンツの前記標準範囲（０．０〜１．０）の部分と合成又は混合し、
    前記ディスプレイパネル上で、前記表示空間の前記上部部分の前記ハイライトＨＤＲコンテンツを前記ＳＤＲコンテンツのハイライト部分に合成又は混合する、ように更に構成された、請求項１７に記載の装置。
  20. 前記デコードモジュールが、
    周囲照明レベル又は輝度制御設定のうちの１つ以上に従って、前記ディスプレイパネルのバックライトの輝度レベルを上昇又は下降させて動的に調整し、
    異なるバックライトレベルで前記ＨＤＲコンテンツの見掛けの輝度を維持するように前記バックライトの前記輝度レベルに従って、前記ＨＤＲコンテンツの少なくともいくつかの画素値を調整し、ここで前記ＨＤＲコンテンツと合成又は混合される標準ダイナミックレンジ（ＳＤＲ）コンテンツの画素値は調整されない、ように更に構成された、請求項１７に記載の装置。
JP2017562306A 2015-06-05 2016-06-03 高ダイナミックレンジのコンテンツのレンダリング及び表示 Active JP6574270B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562171924P 2015-06-05 2015-06-05
US62/171,924 2015-06-05
PCT/US2016/035875 WO2016197033A1 (en) 2015-06-05 2016-06-03 Rendering and displaying high dynamic range content

Publications (2)

Publication Number Publication Date
JP2018524863A JP2018524863A (ja) 2018-08-30
JP6574270B2 true JP6574270B2 (ja) 2019-09-11

Family

ID=56137571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562306A Active JP6574270B2 (ja) 2015-06-05 2016-06-03 高ダイナミックレンジのコンテンツのレンダリング及び表示

Country Status (7)

Country Link
US (2) US10249263B2 (ja)
EP (1) EP3304881B1 (ja)
JP (1) JP6574270B2 (ja)
KR (1) KR102059256B1 (ja)
CN (1) CN107690811B (ja)
AU (1) AU2016270443B2 (ja)
WO (1) WO2016197033A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190045A1 (ja) * 2014-06-10 2015-12-17 パナソニックＩｐマネジメント株式会社 変換方法および変換装置
AU2015207818A1 (en) * 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
EP3142002A1 (en) 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
US10186232B2 (en) * 2016-08-01 2019-01-22 Qualcomm Incorporated Nonlinear signal scaling for display device power saving
US20180098041A1 (en) * 2016-09-30 2018-04-05 Sean J. Lawrence Adaptive chroma subsampling based on display brightness
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
UA124806C2 (uk) * 2016-10-05 2021-11-24 Долбі Леборетеріз Лайсенсінг Корпорейшн Обмін повідомленнями з інформацією про вихідний колірний об'єм
DE102016219607A1 (de) * 2016-10-10 2018-04-12 Siemens Healthcare Gmbh Erzeugung einer mit anatomischen Bilddaten korrelierten Ergebniskarte
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
CA3066397C (en) * 2017-03-06 2023-07-25 E Ink Corporation Method and apparatus for rendering color images
KR102308192B1 (ko) 2017-03-09 2021-10-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
CN107025880B (zh) * 2017-04-14 2019-11-29 西安诺瓦星云科技股份有限公司 图像显示控制方法及装置和显示屏控制系统
CA3082771C (en) 2017-04-21 2022-09-20 Zenimax Media Inc. Systems and methods for encoder-guided adaptive-quality rendering
CN107068114B (zh) * 2017-04-24 2019-04-30 北京小米移动软件有限公司 屏幕颜色调整方法、装置、设备及存储介质
US10242628B2 (en) * 2017-05-18 2019-03-26 Dell Products, L.P. Light Emitting Diode (LED) backlight control for reproduction of High Dynamic Range (HDR) content using Standard Dynamic Range (SDR) Liquid Crystal Display (LCD) panels
US10354613B2 (en) * 2017-06-03 2019-07-16 Apple Inc. Scalable chromatic adaptation
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
US11347296B2 (en) * 2017-07-25 2022-05-31 Dell Products, L.P. Backlight dimming via buck-boost conversion in an information handling system
US10614775B2 (en) 2017-08-08 2020-04-07 Apple Inc. Electronic devices having backlit keyboards displays with adjustable white points
CN107590780B (zh) * 2017-08-09 2023-01-20 深圳Tcl新技术有限公司 图像显示方法、终端及计算机可读存储介质
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
CN107591131B (zh) * 2017-09-20 2020-07-21 海信视像科技股份有限公司 背光源驱动方法和装置
US10930075B2 (en) 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
US10856040B2 (en) * 2017-10-31 2020-12-01 Avago Technologies International Sales Pte. Limited Video rendering system
US10498971B2 (en) 2017-11-03 2019-12-03 Qualcomm Incorporated Systems and methods for high-dynamic range imaging
JP6723969B2 (ja) * 2017-11-06 2020-07-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、表示装置、および画像処理方法
JP6821269B2 (ja) 2017-12-05 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
CN111433842B (zh) * 2017-12-12 2022-02-08 惠普发展公司，有限责任合伙企业 液晶显示器照明模式
CN107945729B (zh) * 2017-12-15 2020-05-08 京东方科技集团股份有限公司 转换方法及电路、显示装置及驱动方法和电路、存储介质
CN109982012B (zh) * 2017-12-28 2021-06-25 展讯通信（上海）有限公司 图像处理方法及装置、存储介质、终端
US10504452B2 (en) * 2018-03-12 2019-12-10 Apple Inc. Pixel contrast control systems and methods
US10917583B2 (en) 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
US11189245B2 (en) * 2018-06-07 2021-11-30 Boris PAVIC System and methodology for the high-fidelity display of artwork images
CN112514359B (zh) 2018-06-18 2022-02-18 杜比实验室特许公司 图像捕获方法、装置、机器可读存储装置
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
EP3824634A1 (en) * 2018-07-17 2021-05-26 Dolby Laboratories Licensing Corporation Foviation and hdr
US10715774B2 (en) 2018-07-23 2020-07-14 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
JP6764446B2 (ja) * 2018-08-09 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置およびキャリブレーション方法
US11302288B2 (en) 2018-09-28 2022-04-12 Apple Inc. Ambient saturation adaptation
US10672363B2 (en) 2018-09-28 2020-06-02 Apple Inc. Color rendering for images in extended dynamic range mode
US11024260B2 (en) 2018-09-28 2021-06-01 Apple Inc. Adaptive transfer functions
JP2022505364A (ja) * 2018-10-17 2022-01-14 コーニング インコーポレイテッド 表示装置エネルギー消費を低減するための方法及びエネルギー消費が低減される装置
US11087502B2 (en) * 2018-10-31 2021-08-10 International Business Machines Corporation Multimodal data visualization using bandwidth profiles and optional environmental compensation
KR102554675B1 (ko) * 2018-11-13 2023-07-13 삼성전자주식회사 전자 장치 및 전자 장치에서 디스플레이 정보에 기반한 조도 센싱 방법
US10652512B1 (en) * 2018-11-20 2020-05-12 Qualcomm Incorporated Enhancement of high dynamic range content
US11587526B2 (en) * 2018-12-20 2023-02-21 Dolby Laboratories Licensing Corporation Luminance adaption to minimize discomfort and improve visibility
US10777167B2 (en) 2019-02-05 2020-09-15 Sergey N. Bezryadin Color image display adaptation to ambient light
JP7301551B2 (ja) * 2019-02-21 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、制御方法、およびプログラム
CN112153240B (zh) * 2019-06-27 2021-11-09 深圳Tcl数字技术有限公司 一种调整图像画质方法、装置及可读存储介质
US10964289B2 (en) 2019-07-25 2021-03-30 Google Llc OLED display with different spatial gamma
US10937385B1 (en) * 2019-08-20 2021-03-02 Apple Inc. Frame replay with bit depth considerations
US11195247B1 (en) * 2019-09-09 2021-12-07 Apple Inc. Camera motion aware local tone mapping
US11473971B2 (en) 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
CN110867172B (zh) 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
TWI739227B (zh) * 2019-12-03 2021-09-11 智成電子股份有限公司 避免多餘記憶體存取的系統單晶片模組
CN112943450A (zh) * 2019-12-10 2021-06-11 中国航发商用航空发动机有限责任公司 一种发动机监视装置
JP7431595B2 (ja) * 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
NO346123B1 (en) * 2020-02-05 2022-03-07 Movi Tech As Video decoding method and device enabling improved user interaction with video content
CN111309229A (zh) * 2020-02-17 2020-06-19 Oppo广东移动通信有限公司 参数调节方法、装置、终端及存储介质
CN111294655B (zh) * 2020-02-20 2021-10-22 深圳创维－Rgb电子有限公司 Hdr片源播放方法、装置及存储介质
CN115918061A (zh) 2020-08-17 2023-04-04 杜比实验室特许公司 用于高动态范围视频的图片元数据
CN112565636B (zh) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质
CN114640799A (zh) * 2020-12-15 2022-06-17 深圳Tcl数字技术有限公司 一种亮度调节方法、装置、存储介质及终端设备
KR20220131637A (ko) * 2021-03-22 2022-09-29 삼성전자주식회사 Hdr 영상을 제공하는 방법 및 이를 지원하는 전자 장치
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11666823B1 (en) * 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11612812B1 (en) 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US20230021726A1 (en) * 2021-07-15 2023-01-26 Samsung Electronics Co., Ltd. System and method for multi-exposure, multi-frame blending of red-green-blue-white (rgbw) images
WO2023094875A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
CN114138218B (zh) * 2021-11-30 2024-02-13 北京达佳互联信息技术有限公司 一种内容显示方法和内容显示设备
CN116704926A (zh) * 2022-02-28 2023-09-05 荣耀终端有限公司 帧数据显示方法、电子设备及存储介质
CN114727029B (zh) * 2022-03-21 2024-03-22 北京百度网讯科技有限公司 视频的处理方法、装置、电子设备及存储介质
CN116168658B (zh) * 2023-02-20 2023-08-15 深圳新视光电科技有限公司 基于径向反射的lcd色差调整方法、装置、设备及介质

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US6762741B2 (en) 2000-12-22 2004-07-13 Visteon Global Technologies, Inc. Automatic brightness control system and method for a display device using a logarithmic sensor
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7593024B2 (en) 2005-01-15 2009-09-22 International Business Machines Corporation Screen calibration for display devices
WO2007026283A2 (en) 2005-08-31 2007-03-08 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content using adaptive extraction regions
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
TWI333383B (en) 2006-09-25 2010-11-11 Ind Tech Res Inst Color adjustment circuit, digital color adjustment device and a multimedia apparatus using the same
KR101318081B1 (ko) 2006-11-21 2013-10-14 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
US20080316372A1 (en) 2007-06-20 2008-12-25 Ning Xu Video display enhancement based on viewer characteristics
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
JP5012333B2 (ja) * 2007-08-30 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 画像処理装置および画像処理方法ならびに撮像装置
TWI394127B (zh) * 2007-12-10 2013-04-21 Au Optronics Corp Method of generating control signal for compression response time
JP5314029B2 (ja) * 2008-08-29 2013-10-16 パナソニック株式会社 色信号変換装置及び色信号変換方法
KR101346008B1 (ko) 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
CN102422322B (zh) 2009-05-11 2015-01-21 杜比实验室特许公司 用于在目标环境下在装置处再现来自源环境的图像的色貌的方法和设备
US8897377B2 (en) 2009-12-31 2014-11-25 Broadcom Corporation Transcoding multiple media elements for independent wireless delivery
WO2011089917A1 (ja) 2010-01-22 2011-07-28 パナソニック株式会社 制御装置、表示装置、眼鏡装置及び映像システム
US8866837B2 (en) * 2010-02-02 2014-10-21 Microsoft Corporation Enhancement of images for display on liquid crystal displays
CN103210418B (zh) * 2010-11-23 2016-08-17 杜比实验室特许公司 高动态范围图像的内容元数据增强
US20120324492A1 (en) 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
WO2013039730A2 (en) 2011-09-15 2013-03-21 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
UA116082C2 (uk) * 2011-09-27 2018-02-12 Конінклійке Філіпс Н.В. Пристрій та спосіб для перетворення динамічного діапазону зображень
JP5165802B1 (ja) * 2012-02-17 2013-03-21 シャープ株式会社 映像表示装置およびテレビ受信装置
US9330606B2 (en) 2012-06-08 2016-05-03 Apple Inc. Electronic device with display brightness control
CN104471939B (zh) * 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
KR101767094B1 (ko) * 2012-12-03 2017-08-31 한화테크윈 주식회사 영상 처리 장치 및 방법
CN103077696B (zh) 2013-01-15 2015-08-12 Opera软件股份公司 用于调节显示屏亮度的方法和设备以及显示系统
EP2959672B1 (en) 2013-02-21 2019-12-04 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US10540920B2 (en) 2013-02-21 2020-01-21 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
GB201304221D0 (en) 2013-03-08 2013-04-24 Univ Warwick High Dynamic Range Imaging Systems
TWI639151B (zh) 2013-03-15 2018-10-21 美商傲思丹度科技公司 動態色域顯示系統、方法、及其應用
US20140321561A1 (en) 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
KR102241672B1 (ko) * 2013-04-30 2021-04-16 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
JP6351313B2 (ja) 2013-07-11 2018-07-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法
JP6368365B2 (ja) 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6042583B2 (ja) 2013-11-13 2016-12-14 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー
WO2016056787A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same

Also Published As

Publication number Publication date
AU2016270443A1 (en) 2017-11-30
EP3304881A1 (en) 2018-04-11
US20160358584A1 (en) 2016-12-08
US10249263B2 (en) 2019-04-02
CN107690811A (zh) 2018-02-13
US20160358346A1 (en) 2016-12-08
US10089960B2 (en) 2018-10-02
KR20170141236A (ko) 2017-12-22
JP2018524863A (ja) 2018-08-30
AU2016270443B2 (en) 2019-01-03
EP3304881B1 (en) 2022-08-10
CN107690811B (zh) 2020-08-04
WO2016197033A1 (en) 2016-12-08
KR102059256B1 (ko) 2019-12-24

Similar Documents

Publication Publication Date Title
JP6574270B2 (ja) 高ダイナミックレンジのコンテンツのレンダリング及び表示
US20210227226A1 (en) Server-side adaptive video processing
US9552781B2 (en) Content adaptive LCD backlight control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190815

R150 Certificate of patent or registration of utility model

Ref document number: 6574270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250