JP6765222B2 - 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 - Google Patents

演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 Download PDF

Info

Publication number
JP6765222B2
JP6765222B2 JP2016108604A JP2016108604A JP6765222B2 JP 6765222 B2 JP6765222 B2 JP 6765222B2 JP 2016108604 A JP2016108604 A JP 2016108604A JP 2016108604 A JP2016108604 A JP 2016108604A JP 6765222 B2 JP6765222 B2 JP 6765222B2
Authority
JP
Japan
Prior art keywords
dynamic range
image
continuous
video
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016108604A
Other languages
English (en)
Other versions
JP2016225982A5 (ja
JP2016225982A (ja
Inventor
スモリック,アルジョサ
チャピロ,アレクサンドレ
クロッシ,シモーネ
エイディン,トゥンク,オザン
ステファノスキ,ニコルス
グロス,マーカス
Original Assignee
ディズニー エンタープライゼス インコーポレイテッド
ディズニー エンタープライゼス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディズニー エンタープライゼス インコーポレイテッド, ディズニー エンタープライゼス インコーポレイテッド filed Critical ディズニー エンタープライゼス インコーポレイテッド
Publication of JP2016225982A publication Critical patent/JP2016225982A/ja
Publication of JP2016225982A5 publication Critical patent/JP2016225982A5/ja
Application granted granted Critical
Publication of JP6765222B2 publication Critical patent/JP6765222B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

(関連出願の相互参照)
本出願は、2015年6月1日に提出された米国暫定特許出願第62/169,465号明細書の出願の利益を主張するものであり、上記出願は本参照によりその全体が開示に含まれる。
本開示は、概して、高ダイナミックレンジ(HDR)ビデオ技術に関し、より具体的に言えば、一部の実施形態は、連続するダイナミック・レンジ・ビデオを生成して配信するための方法に関する。
高ダイナミックレンジ(HDR)は、標準ダイナミックレンジ(SDR)のコンテンツおよびディスプレイより高い輝度または明るさレベルおよび/またはより優れたコントラスト比を有するコンテンツおよびディスプレイを指して使用される。
様々な実施形態に従って、ダイナミックレンジを異にする複数のディスプレイ別に等級(グレード)付けされたビデオまたは画像コンテンツを生成して配信するためのシステムおよび方法を開示する。ある実施形態において、CDRコンテンツの生成は、ソース画像を受信することと、連続するダイナミックレンジ画像を、ソース画像の各ピクセルの輝度を最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定することにより生成すること、を含む。本実施形態の実装において、連続するダイナミックレンジ画像を生成することは、さらに、最小ダイナミックレンジおよび最大ダイナミックレンジのソース画像に等級を付けることを含む。ソース画像は、スタンドアロン画像(例えば、写真)であっても、ビデオに対応するビデオフレームであってもよい。
実施形態において、連続するダイナミックレンジ画像は、打切り多項式級数を用いて連続関数の各々を概算することにより、圧縮されてもよい。本実施形態の具体的な実装において、多項式級数は、チェビシェフ多項式級数である。さらなる実施形態において、打切り多項式級数の多項式係数は、画像のようなフォーマットで表現されてもよい。
本明細書に開示する技術の別の実施形態において、連続するダイナミックレンジ画像またはビデオを生成するためのグラフィカル・ユーザ・インタフェース方法は、コンピュータシステムの1つまたは複数のディスプレイ上に、各等級バージョンがダイナミックレンジを異にするディスプレイ毎に等級付けされる、複数の画像等級バージョンと、画像の第1のピクセルセットの輝度を画定する連続関数を、最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として修正するための制御装置と、を表示することを含む。本方法は、さらに、コンピュータシステムにおいて、連続関数を修正するための制御装置を作動させるユーザ入力を受信することと、ユーザ入力の受信に応答して、連続関数を修正するための制御装置を作動させることを含み、前記コンピュータシステムは、複数の各画像等級バージョンの修正されたバージョンを1つまたは複数のディスプレイ上に表示する。
本明細書に開示する技術のさらに別の実施形態において、ビデオフレームを備える連続するダイナミック・レンジ・ビデオの配信方法は、関連のディスプレイを有する複数の受信機の各々へ、複数のビデオフレームの各々の最小ダイナミックレンジの等級と、複数のビデオフレームの各々の最大ダイナミックレンジの等級と、複数のビデオフレームの各々の各ピクセルの輝度を最小および最大ダイナミックレンジ間の連続関数の近似として規定するメタデータと、を配信するステップを含む。本実施形態の実装において、連続するダイナミック・レンジ・ビデオは、無線通信経由の放送テレビジョン信号として、衛星テレビのネットワーク信号として、またはケーブルテレビのネットワーク信号として送信される。あるいは、連続するダイナミック・レンジ・ビデオは、コンピュータネットワークのコンテンツサーバによって送信されてもよい。
本明細書に開示する技術のさらなる実施形態において、連続するダイナミックレンジ画像を、関連のダイナミックレンジを有するディスプレイ上に表示するために復号する方法は、符号化された連続するダイナミックレンジ画像を受信するステップと、連続するダイナミック画像を、コーデックを用いて復号するステップと、復号された連続するダイナミックレンジ画像およびディスプレイのダイナミックレンジを基礎として、具体的なダイナミックレンジ表現を生成するステップと、を含む。本実施形態において、受信される符号化された連続するダイナミックレンジ画像は、最小ダイナミックレンジが等級付けされた画像バージョンと、最大ダイナミックレンジが等級付けされた画像バージョンと、画像に対応する連続するダイナミックレンジのメタデータと、を含む。
開示する方法の他の特徴および態様は、本開示の実施形態による特徴を例示として示す添付の図面に関連して理解される以下の詳細な説明から、明らかとなるであろう。本概要は、クレームされる開示内容の範囲を限定するためのものではなく、開示内容の範囲は、専ら添付のクレームによって画定される。
本特許または出願ファイルは、カラーで製作された少なくとも1つの図面を含む。要請して手数料を支払えば、カラー図面を含む本特許公報または特許出願公報のコピーが特許庁により提供される。
以下、本開示を1つまたは複数の様々な実施形態により、図面を参照して詳細に述べる。図面は、専ら例示のために提供するものであり、よって単に本開示の典型的な、または例示的な実施形態を描いているに過ぎない。
本開示による、CDRビデオが生成され、符号化されかつ配信され得る例示的な環境を示す。
図1の環境において実装され得るCDRビデオの例示的な生成および符号化システムを示す。
本開示の一実施形態による、CDRビデオを生成し、符号化しかつ配信する方法を示す動作フロー図である。
本開示による、CDRビデオの例示的な生成方法を示す動作フロー図である。
本開示によるダイナミック・レンジ・ハルを表したものである。
本開示による、ビデオフレームのルミパスの実装例を示す。
本開示による、CDRビデオを生成するためにアーティストにより使用され得る例示的なビデオ編集インタフェースを示す。
本開示による、CDRビデオを生成するためにアーティストにより使用され得る例示的なビデオ編集インタフェースを示す。
本開示による、数値的ルミパスを入手するプロセスを示す。
本開示による、配信準備においてCDRビデオを圧縮しかつ符号化する例示的な方法を示す動作フロー図である。
本開示による、異なる次数のチェビシェフ多項式による例示的な関数近似を示す。
本開示の実施形態例による、ビデオシーケンス・フレームの最初の8係数の画像を示す。
本開示による、受信機側における、受信されたCDRビデオのコンテンツストリームを復号して表示するための方法を示す動作フロー図である。
本明細書に開示する方法の様々な特徴を実装するために使用され得る例示的なコンピューティングモジュールを示す。
これらの図は、網羅的なものではなく、よって、開示内容を、開示されている正確な形式に限定するものではない。
複数の売り手から異なるダイナミックレンジを有するHDRディスプレイが出現したことにより、コンテンツを生産しかつ配信するための幾つかの重大な挑戦が生じている。具体的に、生産への挑戦は、ピーク輝度範囲が800−4000cd/cm(800−4000ニト)になることが発表されている幾つかの来たるべきディスプレイ、ならびに異なるダイナミックレンジを有する未来のHDRディスプレイ、に合わせてHDRコンテンツを調製しつつある。固有のディスプレイ・ダイナミック・レンジ毎にコンテンツを等級付ける直裁的なアプローチは、追加的な手作業を要することに起因して順調には進んでいない。文献で提案されているディスプレイ適応型トーンマッピング等の方法は、この問題を軽減することができるが、多様な明るさを表現する精密な芸術的自由さを見込むものではない。
さらに、HDRコンテンツに関連する配信への挑戦は、異なるディスプレイ・ダイナミック・レンジ毎に等級を付けられる多数のHDRストリームを効率的にコード化して送信するタスクである。以前の研究は、単一のHDRストリームをSDRコンテンツ上の残留信号として効率的に配信することを提案していた。しかしながら、このアプローチは、多くのHDRストリームの同時送信が必要とされる新たな状況でのアプリケーションにとって効率的ではない。
本明細書に開示する技術の実施形態に従って、異なるダイナミックレンジを有する複数のディスプレイ毎に等級付けされたビデオまたは画像コンテンツを生成するための新規システムおよび方法を開示する。実施形態において、生成されるコンテンツは、ピクセル−輝度のディスプレイ・ダイナミック・レンジの関数としての新規表現である、「連続するダイナミックレンジ」(CDR)コンテンツである。これらの実施形態において、CDRコンテンツの生成は、最小ダイナミックレンジおよび最大ダイナミックレンジ用にソースコンテンツを等級付けることと、ソースコンテンツの連続するダイナミックレンジを、ソースコンテンツの画像またはビデオフレームの各ピクセルの輝度を最小ダイナミックレンジと最大ダイナミックレンジとの間の連続関数として画定することによって取得すること、を含む。
この方法では、全ての可能なディスプレイ・ダイナミック・レンジについて同時に等級付けされるコンテンツは、ほとんどオーバーヘッドなしで生成されてもよい。これらの実施形態には、異なるダイナミックレンジ毎にピクセル輝度がどのように変わるかをユーザが指定するグラフィカル・ユーザ・インタフェースが設けられてもよく、これにより、CDRビデオまたは画像の完全な芸術的制御による生成が可能にされる。
本明細書に開示する技術のさらなる実施形態では、生成されるCDRビデオを圧縮し、符号化しかつ配信するための方法を説明する。これらの実施形態において、CDRビデオは、1)ビデオの最大ダイナミックレンジの等級、2)ビデオの最小ダイナミックレンジの等級、および3)各ビデオフレームの各ピクセルの輝度を最小および最大ダイナミックレンジ間の連続関数の多項式級数近似として規定するメタデータ、として配信されてもよい。
本明細書でディスプレイに関連して使用している「ダイナミックレンジ」という用語は、概して、ディスプレイの輝度範囲、即ちディスプレイの最小輝度(即ち、「黒レベル」)からピーク輝度までの範囲、を指す。当業者には理解されるであろうが、輝度は、SI単位であるカンデラ毎平方メートル(cd/cm)または非SI単位であるニト等の任意の既知の単位系を用いて測定されてもよい。
さらに、本明細書で使用している「ルミパス(lumipaths)」という用語は、ピクセルの輝度を標的ディスプレイのピーク輝度の関数として表現する関数を指す。
発明を詳述する前に、本発明を実装できる例示的な環境について述べることは有益である。図1は、このような環境の一例100を示す。環境100において、ソースビデオ101(例えば、rawカメラフォーマットのビデオ)は、CDRビデオ生成および符号化システム102を用いて、連続するダイナミック・レンジ・ビデオとして生成されかつ符号化される(ステップ110)。ソースビデオには、映画、予告編、連続番組の一回分、コマーシャル、ビデオゲームのカットシーンおよびこれらに類似するものが含まれてもよい。
後に詳述する実施形態において、CDRビデオ生成および符号化システム102のユーザは、異なるダイナミックレンジ毎にソースビデオ101の各ビデオフレームのピクセル輝度がどのように変わるかを指定するためにグラフィカル・ユーザ・インタフェース(GUI)を利用してもよく、これにより、ダイナミックレンジを異にするディスプレイ毎にビデオの外観を完全に芸術的制御するCDRビデオの生成が可能にされる。
CDRビデオの生成に続いて、ステップ120では、CDRビデオが、復号および表示のために(ステップ130)複数の受信機121−123へ配信される。CDR符号化されたソースビデオにおいて、各フレームのピクセル輝度は、ダイナミックレンジの関数として規定される。したがって、受信機121−123に関連づけられるディスプレイのダイナミックレンジに依存して、受信機121−123は、CDRを、受信機のディスプレイのダイナミックレンジ(図1におけるディスプレイの左側における長方形パターンが示す)を基礎として復号してもよい。具体的な環境100において示されているように、配信ステップ120は、CDRビデオを電子配信ネットワーク115上で複数のテレビ受像機(例えば、スマートテレビ)またはモニタディスプレイ121−123へ流す、または送信することを含む。代替実施形態において、CDRビデオは、CDRビデオを復号して表示することができる、例えばスマートフォン、ラップトップ、タブレット、ワークステーション、およびこれらに類似するもの等の他の受信機へ送信されてもよい。
様々な実施形態において、CDRビデオは、無線通信経由の放送テレビジョン信号、衛星テレビのネットワーク信号またはケーブルテレビのネットワーク信号として送信されてもよい。あるいは、CDRビデオは、コンテンツサーバによってコンピュータネットワーク上で送信されてもよい。当業者には認識されると思われるが、電子配信ネットワーク115は、例えば、同軸ケーブルシステム、光ファイバ・ケーブルシステム、イーサネット(登録商標)・ケーブルシステム、衛星通信システム、セルラ通信システム、およびこれらに類似するもの等の通信媒体による任意の組合せを含んでもよい。さらに他の実施形態において、CDRビデオは、ソリッド・ステート・ドライブ、磁気テープ、カートリッジ、ブルーレイディスク、またはビデオを記憶し得る技術上既知である他の固定式または取外し可能な記憶媒体等の物理媒体を用いて配信されてもよい。
図2は、環境100において実装され得るCDRビデオ生成および符号化システム102の一例を示す。様々な実施形態において、システム102は、ソースビデオを受信しかつ、異なるダイナミックレンジを有する複数の異なるディスプレイに合わせて調製されることが可能なCDRビデオを生成するように構成される任意のコンピューティングシステム(ワークステーション、ラップトップ、スマートフォン、他)であってもよい。図示されているように、システム102は、接続性インタフェース131と、CDRビデオ生成アプリケーション133およびソースビデオ101を記憶するためのストレージ132と、プロセッサ134と、1つまたは複数のディスプレイ135と、を含む。接続性インタフェース131は、システム102をコンテンツ配信ネットワーク(例えば、ネットワーク115)へ、ローカル・エリア・ネットワーク接続、セルラネットワーク接続、衛星ネットワーク接続、またはこれらに類似するもの等の無線ネットワーク接続を用いて接続してもよい。さらに、接続性インタフェースは、例えばUSBインタフェース等の、情報を転送しかつ受信するための物理インタフェースを含んでもよい。
プロセッサ134は、アーティストが異なるダイナミックレンジを有するディスプレイ用にビデオコンテンツをカスタマイズするためのグラフィカル・ユーザ・インタフェースを提供し得るCDRビデオ生成アプリケーション133を実行する。このような実施形態において、アーティストは、ソースビデオ101の各ビデオフレームの異なる領域のピクセル輝度が異なるダイナミックレンジでどのように変わるかを指定してもよい。後に詳述するこれらの実施形態の実装において、ディスプレイ135は、ビデオフレームの複数のダイナミックレンジ・バージョンを、各ビデオフレームのピクセル輝度を制御するための様々なユーザコントロールと共に表示する。実施形態によっては、CDRビデオ生成アプリケーション133は、アニメーションアプリケーション、ビデオ編集アプリケーション、画像編集アプリケーション、ビデオゲーム設計アプリケーション、またはこれらの何らかの組合せの一部として統合されてもよい。
さらなる実施形態では、プロセッサ134は、(例えば、CDRビデオ生成アプリケーション133を介して)生成されたCDRビデオを、システム102または別の配信手段を用いる配信の準備において圧縮しかつ符号化してもよい。
例示的な環境100は、CDRビデオの生成、符号化および配信に関連して記述されているが、別の実施形態において、本発明が写真、コンピュータ生成画像、およびこれらに類似するもの等のCDR画像の生成および配信に注目する環境において実装され得ることは留意されるべきである。当業者には認識されると思われるが、環境100は、CDR画像の生成、符号化および配信用に適合化される可能性もある。
図3は、本明細書に開示する技術の一実施形態による、CDRビデオを生成し、符号化しかつ配信する方法200を示す。方法200は、入力としてソースビデオ201を取り込み、かつ可能な全てのディスプレイ・ダイナミック・レンジについて同時に等級付けされたコンテンツを含むCDRビデオを出力する。配信されるCDRビデオは、ビデオの符号化された最小ダイナミックレンジの等級207と、ビデオの符号化された最大ダイナミックレンジの等級208と、受信側ディスプレイが受信されるCDRビデオをそのダイナミックレンジに合わせて調製するために使用され得る符号化されたメタデータ209とを含む。
方法200については、CDRビデオを生成し(220)かつ生成されたCDRビデオを圧縮して符号化する(230)具体的な方法を示す図4および図9に関連して後述する。様々な実施形態において、方法200のプロセスオペレーション(例えば、配信以外のCDRビデオの生成、圧縮および符号化)のうちの幾つか、または全ては、システム102によりCDRビデオ生成アプリケーション133を用いて実装されてもよい。
方法200は、オペレーション210でソースビデオ201を受信することによって始まる。実施形態において、受信されるソースビデオは、rawカメラフォーマット(例えば、映画、連続番組の一回分、コマーシャル、他)であっても、コンピュータ生成のソースビデオ(例えば、アニメ映画、ビデオゲーム、およびこれらに類似するもののソースビデオ)であってもよい。例えば、ソースビデオは、一シーンを撮影した後にスタジオから、または一シーンをアニメ化した後にグラフィックアーティストから受信されてもよい。様々な実施形態において、ソースビデオのダイナミックレンジは、任意であってもよい。ある特定の実施形態において、ソースビデオは、fストップが14までの高ダイナミックレンジ(HDR)コンテンツを含んでもよい。
ソースビデオ201の受信に続いて、オペレーション220では、CDRビデオが生成される。図4は、CDRビデオを生成する方法の一例220を示している。オペレーション211では、ソースビデオコンテンツ201が最小および最大標的ダイナミックレンジ用に等級付けされ、これにより、最小ダイナミックレンジが等級付けされたコンテンツ202および最大ダイナミックレンジが等級付けされたコンテンツ203が生成される。実施形態において、この等級付けプロセスは、最大および最小ダイナミックレンジのソースビデオの明るさおよび色を規定することを含む。この等級付けプロセスの前、最中または後に、ソースビデオコンテンツ201の「ダイナミック・レンジ・ハル」が決定されてもよい。CDRビデオにより包含されるダイナミックレンジ連続体は、全標的ディスプレイのダイナミックレンジのスーパーセットであることから、ダイナミック・レンジ・ハルは、最小および最大ダイナミックレンジ間のダイナミックレンジ連続体を画定する。
図5は、ダイナミック・レンジ・ハルを表したものである。図示されているように、最小ダイナミックレンジは、標的ディスプレイの全ダイナミックレンジ集合のうちの最小ピーク輝度(b)および最大黒レベル(d)によって境界をつけられている。同様に、最大ダイナミックレンジは、標的ディスプレイの全ダイナミックレンジ集合のうちの最大ピーク輝度(a)および最小黒レベル(c)によって境界をつけられている。様々な実施形態において、システム102は、ソースビデオ102(例えば、映画フィルム、テレビ番組一回分、テレビコマーシャル、他)、標的ディスプレイの既知のダイナミックレンジのリスト、および他のパラメータ等のパラメータを基礎としてダイナミック・レンジ・ハルを決定してもよい。
例えば、複数の標的ディスプレイについて、最低ピーク輝度が100ニトであり、最高ピーク輝度が4000ニトであり、最小黒レベルが0.01ニトであり、最大黒レベルが0.1ニトである事例を考察されたい。この例では、最小ダイナミックレンジが0.1ニトから100ニトまでによって境界をつけられ、かつ最大ダイナミックレンジが0.01ニトから4000ニトによって境界をつけられることになる。同様に、最大等級のコンテンツは、4000ニトのピーク輝度および0.01ニトの黒レベルを有するディスプレイに関して標的にされ、かつ最小等級のコンテンツは、100ニトのピーク輝度および0.1ニトの黒レベルを有するディスプレイに関して標的にされると思われる。
続いて、オペレーション212では、最小および最大ダイナミックレンジの等級202、203を基礎としてソースビデオの各フレームの各ピクセルの輝度を連続関数として規定することにより、CDRビデオが生成されてもよい。これらの実施形態では、ピクセル毎のスカラ輝度値を記憶する従来方法とは対照的に、CDRビデオは、ピクセル毎のダイナミックレンジ関数を記憶してもよい。特定の実施形態では、ピクセルの輝度値を標的ディスプレイのピーク輝度の関数として表す関数である「ルミパス」が使用され、かつ各ピクセルに記憶されてもよい。
図6は、ピクセル501−503を含むビデオフレーム500のルミパスの実施形態例を示す。図示されているように、ビデオフレーム500の各ピクセル501−503は、標的ディスプレイのピークディスプレイ輝度を基礎としてピクセルの輝度を規定する関連のルミパス関数501A−503Aを有する。この実装例では、最小ダイナミックレンジ510と最大ダイナミックレンジ530とがルミパス関数501A−503Aを結んでいた。ダイナミックレンジ520は、中間ダイナミックレンジのディスプレイに対応している。ピクセル501の場合、ピクセル輝度は、ピークディスプレイ輝度の増加と共にさほど増大しておらず、ビデオフレーム500のより暗い部位であることを指している。これに対して、ピクセル502およびピクセル503の場合、ピクセル輝度は、ピークディスプレイ輝度の中心辺りで著しく高まり、その後、横ばい状態になる。当業者には認識されると思われるが、様々な実施形態において、ルミパス関数501A−503Aの形状は、異なるディスプレイのビデオコンテンツの外観に合わせて調製するように変えられてもよい。
実施形態において、各ピクセルのルミパスは、CDRビデオ生成アプリケーション133により提供される相互作用的なビデオ編集インタフェースを用いてユーザにより規定されてもよい。図7A〜図7Bは、システム102のユーザが各ビデオフレームの各ピクセルの輝度を規定するために使用し得るビデオ編集インタフェースの具体的な一実装を示す。この具体的な実施形態に示されているように、第1のSDRディスプレイ(図7Aに示す)は、異なるディスプレイ・ダイナミック・レンジの異なるビデオフレームのルミパスを規定するためのコントロール(例えば、ボタン、トグル、スライダ、ナビゲーションコンポーネント、他)を含むインタフェース600を提供する。第2のHDRディスプレイ(図7Bに示す)は、ユーザが複数のダイナミックレンジに関するその編集を相互作用的に視覚化できるようにするインタフェース610を提供する。複数のダイナミックレンジに関してルミパスを規定しかつ編集を表示するために別々のディスプレイが示されているが、代替実施形態では、双方の機能を実行するために単一のディスプレイ(例えば、大型のHDRディスプレイ)が使用され得ることは留意されるべきである。
インタフェース600は、等級付けセッションを開始すべく等級付けされたビデオをシステムに(例えばフォルダを選択することによって)ロードするためのコントロール605を含む。本実施形態に示されているように、システムには、ダイナミック・レンジ・ハルの極値、即ち最小等級のビデオおよび最大等級のビデオ、の等級付けがロードされる。さらに、インタフェース600は、最高等級のビデオまたはビデオフレーム(601)を選択するためのボタンコントロール601と、最低等級のビデオまたはビデオフレーム602を選択するためのボタンコントロール602と、関連のダイナミックレンジを有する特定のディスプレイを選択するためのスライダコントロール603と、特定のビデオフレームを選択するためのスライダコントロール604とを含む。
インタフェース610は、幾つかのダイナミックレンジに渡る連続するダイナミック・レンジ・ビデオを視覚化するためのタイル型インタフェースを提供する。この実施形態例では、6つのウィンドウによって、ユーザは、ビデオまたはビデオフレームが6つの異なるダイナミック・レンジ・ディスプレイ上でどのように見えるかを視覚化することができる。コントロール609により提供されるフレームモードまたはビデオモードを選択することにより、ユーザは、特定のフレームまたはビデオセグメントがどのように見えるかを視覚化してもよい。この実装において、ダイナミックレンジは、左上から右下へ昇順に示されていて、左上のウィンドウ611が最小ダイナミックレンジの等級を示し、右下のウィンドウ612が最大ダイナミックレンジの等級を示す。あるいは、他の実施形態では、任意数のウィンドウおよび任意のダイナミック・レンジ・ディスプレイ順が使用されてもよい。
インタフェース600により示される実施形態において、アプリケーション133のユーザは、カスケード型のマスクによって、各ビデオフレームにおける編集の規模を画定することができる。図示されているように、マスクインタフェースは、特定のマスクを選択するためのコントロール606と、選択されたマスクのディスプレイ607と、選択されたマスクに対応するルミパス関数を修正するためのコントロール608とを提供してもよい。実装において、マスクは、ビデオフレームの領域、ビデオフレームの特定の領域、またはビデオフレーム全体を対照させるために適用されてもよい。
例えば、図7Bに示されているシーンを考察されたい。第1のグローバルマスクは、アニメ化されたキャラクタの顔および背景環境を含むシーンのあらゆるピクセルに対して一様なマスキングを生成してもよい。そのグローバルマスクにユーザが満足すれば、キャラクタの顔の全てまたは一部をシーンの残りの部分から分離するために別のマスク(例えば、マスク607)が適用されてもよく、精密な局所制御が見込まれる。例えば、キャラクタの顔は、ダイナミック・レンジ・ハル全体に渡って環境より明るく、または暗くされてもよい。あるいは、ユーザは、アニメ化されたキャラクタの顔の外観を、ダイナミックレンジ全体ではなく特定のダイナミックレンジ(例えば、1つまたは2つの標的ディスプレイ)に関して調整することを選んでもよい。上述の例について考察する当業者には認識されると思われるが、マスクは、異なるダイナミックレンジに渡って異なるビデオフレームのハイライトまたはシャドーを変えるために使用されてもよい。
インタフェース600のこの特定の実装に示されているように、第三次多項式スプラインインタフェースのコントロール608は、ユーザが、表示されるルミパス関数の形状を変えることにより(例えば、曲線上の制御点を選択してマウスをドラッグすることにより)、ルミパスを手動で入力しかつ修正することを可能にする。しかしながら、他の実装では、連続関数を規定しかつ修正するための技術上既知である他の適切なインタフェース(例えば、高次多項式スプラインインタフェース)が提供されてもよい。図7A〜図7Bの具体例は、ダイナミック・レンジ・ハルに渡るピクセル輝度を規定するためのルミパス関数の使用に関連して記述されているが、他の実施形態では、最小および最大ダイナミックレンジの等級を基礎としてピクセル輝度を規定するために他の適切な連続関数が使用され得ることも留意されるべきである。また、代替実装では、ユーザ相互作用に依存することなく、最小および最大等級を基礎としてCDRビデオを生成するために、ルミパス関数が予め規定されかつ使用され得ることも留意されるべきである。
実施形態において、各フレームの各ピクセルの輝度を規定する関数、例えばルミパス、は、下記のように数学的に定義されてもよい。まず、最小および最大等級202、203は、各々IαおよびIβと表示されてもよい。Iαの最小およびピーク輝度を各々ηαおよびπαで表し、かつIβの最小およびピーク輝度を各々ηβおよびπβで表す。ダイナミック・レンジ・ハルに渡ってピクセル輝度がどのように変わるかを示す関数は、方程式(1):
によって定義されてもよい。上記式は、各ピクセルpおよびダイナミックレンジ(η,π)、一意の輝度値h(η,π)に関連し、
は、最小等級のピクセルpの輝度であり、かつ
は、最大等級のピクセルpの輝度である。したがって、方程式(1)は、ダイナミック・レンジ・ハルの任意の標的ダイナミックレンジにおける1ピクセルの輝度を、最小および最大等級における実際のピクセル輝度値間の値へマップする。
これらの関数を生成する計算複雑性および配信データの量を減らすために、ドメインは、
に制限されてもよく、かつ任意の
の関連する最小輝度は、方程式(2):

によって定義されてもよい。方程式(2)に続いて、考慮するダイナミック・レンジ・ハルを
で定義してもよい。結果的に、ピクセル輝度値を標的ディスプレイのピーク輝度piの関数として表すルミパスは、方程式(3):

によって定義されてもよい。ここで、παおよびπβは、最大および最小ダイナミックレンジに対応するピーク輝度である。
図6A〜図6Bの例において述べたように、ユーザは、マスクを使用すること、および第三次多項式スプラインインタフェースの制御点を修正してルミパスを調整することによって、所望される画像領域を選択してもよい。より一般的には、ルミパスを規定するためのユーザによるマスクの使用は、下記のように数学的に定義されてもよい。正式には、値
を有する画像マスクMの級数を所与として、ユーザは、ユーザインタフェースを用いて関数
を手動で指定してもよい。各ピクセルに適用する場合、この関数は、各ピクセル位置でマスクにより変調され、
が、方程式(4):
に示されるように得られる。方程式(4)は、マスクにより指定される重みを基礎として、アーティストが規定する曲線と線形曲線との配合を規定し、滑らかに変わる編集が見込まれる。したがって、n個のマスクを採用しかつn個のこうした関数を指定すれば、対応するルミパス
が、全ての関数を連続して適用し(層ベースの等級付け)かつ方程式(5):

が示すように結果をスケーリングすることによって得られてもよい。ここで、ルミパス
は、分析される2極値間に最大明度を有する任意のディスプレイのピクセルpの輝度を規定する所望される曲線である。図8は、方程式(4)および方程式(5)が規定する通りに数値的ルミパスを得るこのプロセスを示している。図示されているように、アーティストが入力するルミパスは、ユーザインタフェースで指定される重みに従って線形関数で平均され、続いて、最終的なピクセル毎のルミパス
を得るために連結される。
当業者には認識されると思われるが、入力されるビデオフレームの等級付けがどのようにして得られるかに関する制限はないことから、ピクセルの空間的対応性が保全される限り、領域選択にあらゆる数のピクセルレベル・マスクを用いることができる。さらに、ルミパスまたは他の関数は、あらゆる数の制御点を用いて精確に規定されてもよく、よって、オペレーション220の間の著しい芸術的自由が可能にされる。
オペレーション220におけるCDRビデオの生成に続いて、そのrawフォーマットにおけるCDRビデオが各フレームf毎に、(1)最小ダイナミックレンジが等級付けされた画像(例えば、
)、2)最大ダイナミックレンジが等級付けされた画像(例えば、
)、および3)フレームのピクセル毎の連続するダイナミックレンジの関数(例えば、ルミパス
)を含むメタデータ、によって表される。実施形態において、このデータのrawフォーマットは、かなりの量のデータを占有させる。したがって、方法200のオペレーション230では、CDRビデオが配信準備において圧縮されて符号化されてもよい。
図9は、配信準備においてCDRビデオを圧縮して符号化する方法230の一例を示す。後に詳述するように、方法230は、実施形態において、元のCDRビデオよりもデータ効率的でありかつ視覚的にロスレスでもある、ピクセル毎のCDR関数の表現を提供するために使用されてもよい。
方法230は、オペレーション231で始まり、ここで、各ピクセルに対応するCDR関数が、所定数の係数の後のトランケートされる多項式級数を用いて近似される。したがって、各CDR関数の結果的な表現は、多項式基底に対する係数の有限集合(即ち、係数のベクトル)である。好適な実施形態において、多項式級数は、結果的な出力が人の視覚系モデルを基礎として視覚的にロスレスである点でトランケートされる。
後に詳述する実施形態において、多項式級数は、トランケートされたチェビシェフ級数である。これらの実施形態において、チェビシェフ多項式の使用は、i)合間に近似する際にルンゲの現象を最小限に抑え、これは、実際には、大部分のディスプレイが調査されるダイナミック・レンジ・ハルの最小端の近くに位置決めされることから重要である、ii)迅速な数値計算が可能である、iii)近似された関数のオリジナルとの誤差を係数から容易に推定される場合があり、これにより停止点が提供される、という理由で望ましい場合がある。しかしながら、技術上知られる他の適切な多項式級数が使用されてもよい。
多項式基底を有する係数の有限集合を用いるCDR関数の近似に続いて、オペレーション232では、多項式係数が、データへのビデオコーデックの適用を可能にする画像フォーマットで表現される。例えば、ある実施形態において、多項式係数は、単色ビデオシーケンスへと再編されてもよい。実施形態において、多項式係数の画像フォーマットでの表現は、続いてデータの符号化に使用されるビデオコーデック(例えば、MPEG−4、H.264、他)に依存してもよい。
この後、オペレーション233では、係数画像(即ち、画像データでフォーマットされた多項式係数)が、MPEG−4またはH.264等の対応するビデオコーデックを用いて符号化されてもよく、よって、追加の圧縮が提供され、かつデータビットレートが向上される。さらに、オペレーション233では、最小ダイナミックレンジが等級付けされたコンテンツ202および最大ダイナミックレンジが等級付けされたコンテンツ203が、LDRおよびHDRコンテンツを圧縮する技術上知られるビデオコーデック(例えば、MPEGフォーマット)を用いて圧縮されかつ符号化されてもよい。実施形態において、コンテンツ202および203は、2信号間の相互冗長性を利用して一緒に、かつ従属的に符号化されてもよい。例えば、特定の実施形態において、これらの2コンテンツは、技術上知られるスケーラブルビデオ符号化(SVC)方法を用いて基本層および強化層として符号化されてもよい。あるいは、他の実施形態において、最小ダイナミックレンジが等級付けされたコンテンツ202および最大ダイナミックレンジが等級付けされたコンテンツ203は、(例えば、H.264を用いて)別々に符号化されてもよい。
実施形態において、上述のルミパス
を用いる方法230の数学的実装は、次のように進行してもよい。人の視覚系は、輝度順応のレベルLを所与として近似しきい値輝度を計算するしきい値対強度(tvi)関数を用いてモデリングされてもよい。tvi関数は、方程式(6):

が示すように、各輝度レベルにおけるピークコントラスト感度を求めることによって計算されてもよい。ここで、CSFは、コントラスト感度関数であり、
は、ピクセルpの順応輝度である。本実装では、人の目が単一ピクセルpに完全に順応できることが想定されている。
ルミパス
を所与とすれば、これは、
が満たされること、即ち、偏差が人の視覚系モデルにより計算されるしきい値より小さいことを条件として、トランケートされたチェビシェフ級数
により、所定のピクセルにおいて知覚的にロスレスな方法で近似されてもよい。トランケートされたチェビシェフ級数は、方程式(7):

によって表現されてもよい。ここで、Ψ(x)は、k番目のチェビシェフ多項式であり、
は、フレームfのピクセルpにおける対応するチェビシェフ係数であり、Np,fは、
より小さい誤差
を得るために必要な最小次数である。これは、
によって決定される
の知覚的にロスレスな近似を規定する。
チェビシェフ級数を計算するために、全てのルミパスのドメインおよびレンジは、これらの全てがチェビシェフドメイン
内に存在するようにスケーリングされる。各基底多項式Ψ(x)は、ドメインD:=[−1,1]を有し、かつそのレンジΨ(D)も同じく部分集合[−1,1]であることから、近似の合計誤差
は、級数の残りの無限係数の絶対値の和によって結ばれる。実施形態において、係数の停止基準は、少数の要素の絶対値の和によって与えられてもよい。例えば、級数は、次の3要素の絶対和が認可された誤差しきい値に達しない時点でトランケートされてもよい。図10には、異なる次数のチェビシェフ多項式による関数の近似例が示されている。原関数と再構成された表現との誤差の絶対値は、図10下部のスケールに示されている。
ルミパスの近似された視覚的ロスレスなルミパス表現
のチェビシェフ係数
の決定に続いて、係数は、量子化されて単色ビデオシーケンスへと再編されてもよい。最大次数N:=maxp,fp,fおよび集合
、但しk>Np,f、が計算されてもよく、これにより、方程式(7)に記されている関数の表現
が導かれる。但し、Nは、固定パラメータである。これで、各ルミパス
は、方程式(8):

のNタプルによって指定される。画像のような表現を得るために、フレームの全ピクセルのタプルcp,fが係数行列
、但し1<k<N、によって表現される。この係数行列は、構成上、
および
と同じピクセル解像度h×wを有する。全ての行列
の全ての成分は、次に、N個の行列
を得るべく特定のビット深さまで一様に量子化されてもよい。実施形態において、ビット深さは、圧縮に使用されるビデオコーデックによりサポートされる画像の最大ビット深さに依存して選択されてもよい。例えば、この実装例において、全行列の成分は、H.264のメインプロファイルにより圧縮をサポートされる画像の最大ビット深さに対応するという理由で、8ビットの整数にまで量子化されてもよい。
図11は、ビデオシーケンスの1フレームの最初の8個の係数画像
を示す。図示されているように、大部分の情報は、最初の数個の係数内に集中されている。係数画像のエネルギーおよび変動は、係数指数の増加に伴って急激に低減する。さらに、係数は、広範な画像領域に渡って一様な値を有し得る。したがって、係数の画像およびビデオの情報コンテンツは、実際には、概して、画像およびビデオ自体よりも制限されてもよく、その圧縮性が大幅に高められる。
この後、ルミパスの圧縮表現が、1)次数Nを表す整数値、2)ビット深さ(例えば、8ビット)の量子化に使用される最小値および最大値を表す2つの浮動小数点値、および3)ビデオコーデック(例えば、H.264)を用いて係数画像を符号化することにより得られる画像シーケンス
、但しk=1,...,N、の符号化表現、を記憶することによって得られてもよい。
オペレーション230におけるビデオの圧縮およびCDRビデオの符号化の後、出力コンテンツは、符号化された最小ダイナミックレンジ等級付けコンテンツ207と、符号化された最大ダイナミックレンジ等級付けコンテンツ208と、符号化されたCDRビデオメタデータ209とを含む。図3を再度参照すると、このコンテンツは、続いてオペレーション240において配信されてもよい。実施形態の実装において、CDRビデオコンテンツは、無線通信経由の放送テレビジョン信号、衛星テレビのネットワーク信号またはケーブルテレビのネットワーク信号として配信されてもよい。あるいは、CDRビデオコンテンツは、コンテンツサーバによりコンピュータネットワーク上で送信されてもよい。さらに他の実施形態において、CDRビデオコンテンツは、ソリッド・ステート・ドライブ、磁気テープ、カートリッジ、ブルーレイディスク、他等の物理媒体を用いて配信されてもよい。
図12は、受信機側における、受信されるCDRビデオコンテンツを復号して表示するための方法700を示す。図示されているように、受信されるCDRコンテンツには、ビデオ符号化された最小ダイナミックレンジ等級付けコンテンツ207、最大ダイナミックレンジ等級付けコンテンツ208およびCDRビデオメタデータ209が含まれてもよい。図12では、別々の参照数字で示されているが、受信される最大ダイナミックレンジ等級付けコンテンツおよび最小ダイナミックレンジ等級付けコンテンツが(例えば、SVC技術を基礎とする基本層および強化層として)一緒に符号化されて着信し得ることは留意されるべきである。
オペレーション702では、受信されたコンテンツが、適切なビデオ圧縮コーデック(例えば、H.264、MPEG−4、他)を用いて復号される。例えば、最小等級のコンテンツおよび最大等級のコンテンツがSVCコーデックを用いて基本層および強化層として一緒に符号化されている具体的な実施形態では、コンテンツは、SVCコーデックを用いて復号されてもよい。あるいは、他の実施形態では、最小ダイナミックレンジが等級付けされたコンテンツ202および最大ダイナミックレンジが等級付けされたコンテンツ203が別々に(例えば、H.264を用いて)復号されてもよい。ある実施形態において、CDRビデオメタデータ209は、コンテンツ207およびコンテンツ208の復号に使用される同じコーデックを用いて復号されてもよい。
続いて、オペレーション704では、受信機が、復号されたコンテンツ、およびコンテンツを表示するディスプレイの既知のダイナミックレンジ705を基礎として、ビデオ707の適切なダイナミックレンジ表現を生成する。当業者には認識されると思われるが、受信機は、係数の多項式ベクトル、および各フレームの各ピクセルのルミパス関数を表現するために使用される多項式級数等の、CDRメタデータの生成に使用されるアルゴリズムの認知を基礎として、各ピクセルのルミパスを再構成してもよい。この後、復号された最大および最小等級の画像、画像の各ピクセルの復号されて復元されたルミパスおよびディスプレイ・ダイナミック・レンジ705を所与として、ディスプレイのそのピクセルの輝度を規定すべく各画像の各ピクセルについて対応するルミパスが評価されてもよく、これにより、ビデオ707の適切なダイナミックレンジ表現が得られる。
本明細書に記述している方法は、主としてCDRビデオの生成、圧縮、配信および受信に関連して記述されているが、当業者には、これらの方法がCDR写真またはコンピュータ生成グラフィックス等のCDR画像の生成にも等しく当てはまることが認識されると思われる。例えば、様々な実施形態において、CDR画像は、最大および最小ダイナミックレンジのソース画像を等級付けすること、および画像の各ピクセルの輝度を、最小および最大ダイナミックレンジの等級を基礎として規定することによって生成されてもよい。別の例として、図7A〜図7Bのグラフィカル・ユーザ・インタフェースは、アーティストが(例えば、新しい画像モード609を追加する、または既存のフレームモードを用いることにより)特定の画像の複数のダイナミックレンジ等級バージョンを同時に表示して修正できるようにすることにより、CDR画像を生成すべく適合化される可能性もある。
同様に、様々な実施形態において、CDR画像は、所定数の係数後にトランケートされる多項式級数を用いて画像の各ピクセルに対応するCDR関数を近似することにより、圧縮されてもよい。さらに、圧縮されたCDR画像は、適切なコーデックを用いて符号化されてもよい。さらに、符号化されたCDR画像は、適切なコーデックを用いて画像を復号しかつ表示する受信機へ配信されてもよい。
図13は、本明細書に開示するシステムおよび方法の様々な特徴を実装するために使用され得るコンピューティングモジュールの一例を示す。本明細書で使用しているモジュールという用語は、本出願の1つまたは複数の実施形態に従って実行されることが可能な所定の機能ユニットを指す場合もある。本明細書において使用されるモジュールは、任意の形式のハードウェア、ソフトウェアまたはこれらの組合せを利用して実装される場合もある。例えば、1つのモジュールを作成するために、1つまたは複数のプロセッサ、コントローラ、ASIC、PLA、PAL、CPLD、FPGA、論理コンポーネント、ソフトウェアルーチンまたは他の機構が実装される場合もある。実装において、本明細書に記述している様々なモジュールは、離散的なモジュールとして実装される場合もあり、または記述している機能および特徴は、1つまたは複数のモジュール間で部分的に、または完全に共用されることが可能である。言い替えれば、本明細書本文を読めば、当業者には明らかとなると思われるが、本明細書に記述している様々な特徴および機能は、あらゆる所定のアプリケーションにおいて実装されてもよく、かつ1つまたは複数の別個の、または共用されるモジュールにおいて、様々な組合せおよび並び換えで実装されることが可能である。様々な特徴または機能性要素が個々に記述され得る、または別々のモジュールとしてクレームされ得るとしても、当業者には、これらの特徴および機能を1つまたは複数の共通するソフトウェアおよびハードウェアエレメント間で共用することができ、かつこのような記述が、このような特徴または機能を実装するための別々のハードウェアまたはソフトウェアコンポーネントの使用を要求する、または含意するものではないことが理解されるであろう。
アプリケーションのコンポーネントまたはモジュールが完全に、または部分的にソフトウェアを用いて実装される場合、ある実施形態において、これらのソフトウェアエレメントは、関連して記述される機能を実行できる計算または処理モジュールで動作するように実装されることが可能である。図13には、このような計算モジュールの一例が示されている。この計算モジュール例1000に関して、様々な実施形態を記述する。この記述を読めば、関連当業者には、他の計算モジュールまたはアーキテクチャを用いてアプリケーションを実装する方法が明らかとなるであろう。
次に、図13を参照すると、計算モジュール1000は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータおよびタブレットコンピュータ、ハンドヘルド計算デバイス(タブレット、PDA、スマートフォン、携帯電話、パームトップ、他)、メインフレーム、スーパーコンピュータ、ワークステーションまたはサーバ、または、所定のアプリケーションまたは環境にとって望ましい、または適切であり得るような他のあらゆるタイプの専用または汎用計算デバイスの内部に見出される計算または処理ケイパビリティを表現してもよい。また、計算モジュール1000は、所定のデバイス内に埋め込まれる、または別段で所定のデバイスが利用可能な計算ケイパビリティを表現する場合もある。例えば、計算モジュールは、例えばデジタルカメラ、ナビゲーションシステム、セルラ電話、携帯用コンピューティングデバイス、モデム、ルータ、WAP、端末および何らかの形式の処理ケイパビリティを含む場合もある他の電子デバイス等の他の電子デバイス内に見出される場合もある。
計算モジュール1000は、例えば、1つまたは複数のプロセッサ、コントローラ、制御モジュール、またはプロセッサ1004等の他の処理デバイスを含む場合もある。プロセッサ1004は、例えばマイクロプロセッサ、コントローラまたは他の制御論理等の汎用または専用処理エンジンを用いて実装される場合もある。図示されている例において、プロセッサ1004は、バス1002へ接続されているが、計算モジュール1000の他のコンポーネントとの相互作用を促進するため、または外的に通信するために、あらゆる通信媒体を用いることができる。
また、計算モジュール1000は、本明細書では単にメインメモリ1008と称される1つまたは複数のメモリモジュールを含む場合もある。例えば、情報およびプロセッサ1004によって実行されるべき命令を記憶するために、好ましくは、ランダム・アクセス・メモリ(RAM)または他のダイナミックメモリが使用される場合もある。また、メインメモリ1008は、プロセッサ1004によって実行されるべき命令の実行中に一時的な変数または他の中間情報を記憶するために使用される場合もある。計算モジュール1000は、同様に、読取り専用メモリ(「ROM」)、またはプロセッサ1004のための静的な情報および命令を記憶するためにバス1002へ結合される他の静的ストレージデバイスを含む場合もある。
また、計算モジュール1000は、1つまたは複数の様々な形式の情報記憶機構1010を含む場合もあり、これは、例えば媒体ドライブ1012およびストレージユニット・インタフェース1020を含む場合もある。媒体ドライブ1012は、ドライブ、または固定式または取外し可能な記憶媒体1014をサポートするための他の機構を含む場合もある。例えば、ハード・ディスク・ドライブ、ソリッド・ステート・ドライブ、磁気テープドライブ、光ディスクドライブ、CD、DVDまたはブルーレイドライブ(RまたはRW)、または他の取外し可能な、または固定式媒体ドライブが提供される場合もある。したがって、記憶媒体1014は、例えば、ハードディスク、ソリッド・ステート・ドライブ、磁気テープ、カートリッジ、光ディスク、CD、DVD、ブルーレイまたは媒体ドライブ1012によって読み取られ、媒体ドライブ1012へ書き込まれ、または媒体ドライブ1012によりアクセスされる他の固定式または取外し可能媒体を含む場合もある。これらの例が示すように、記憶媒体1014は、内部にコンピュータソフトウェアまたはデータを記憶しているコンピュータ使用可能記憶媒体を含むことが可能である。
代替実施形態において、情報記憶機構1010は、コンピュータプログラムまたは他の命令またはデータを計算モジュール1000内へロードできるようにするための他の類似手段を含む場合もある。このような手段は、例えば、固定式または取外し可能なストレージユニット1022と、インタフェース1020とを含む場合もある。このようなストレージユニット1022およびインタフェース1020の例には、プログラムカートリッジおよびカートリッジインタフェース、取外し可能メモリ(例えば、フラッシュメモリまたは他の取外し可能メモリモジュール)およびメモリスロット、PCMCIAスロットおよびカード、およびソフトウェアおよびデータをストレージユニット1022から計算モジュール1000へ転送できるようにする他の固定式または取外し可能なストレージユニット1022およびインタフェース1020が含まれる可能性がある。
また、計算モジュール1000は、通信インタフェース1024を含む場合もある。通信インタフェース1024は、ソフトウェアおよびデータを計算モジュール1000と外部デバイスとの間で転送できるようにするために使用される場合もある。通信インタフェース1024の例には、モデムまたはソフトモデム、ネットワークインタフェース(イーサネット(登録商標)、ネットワーク・インタフェース・カード、ワイメディア、IEEE802.XXまたは他のインタフェース等)、通信ポート(例えば、USBポート、IRポート、RS232ポートBluetooth(登録商標)インタフェースまたは他のポート等)または他の通信インタフェースが含まれる場合もある。通信インタフェース1024を介して転送されるソフトウェアおよびデータは、典型的には、信号上で伝送される場合もあり、信号は、電子信号、電磁信号(光学信号を含む)または所定の通信インタフェース1024によって交換される能力のある他の信号であることが可能である。これらの信号は、チャネル1028を介して通信インタフェース1024へ提供される場合もある。このチャネル1028は、信号を伝送する場合もあり、かつ有線または無線通信媒体を用いて実装される場合もある。チャネル例の一部には、電話回線、セルラリンク、RFリンク、光リンク、ネットワークインタフェース、ローカルエリアまたは広域ネットワークおよび他の有線または無線通信チャネルが含まれる場合もある。
本文書において、「コンピュータプログラム媒体」および「コンピュータ使用可能媒体」という用語は、概して、例えばメモリ1008、ストレージユニット1020、媒体1014およびチャネル1028等の一時的または非一時的な媒体を指して使用される。これらの形式および他の様々な形式のコンピュータプログラム媒体またはコンピュータ使用可能媒体は、1つまたは複数の命令の1つまたは複数のシーケンスを処理デバイスへ伝送して実行することに関わってもよい。媒体上で具現されるこのような命令は、概して「コンピュータ・プログラミング・コード」または「コンピュータ・プログラム・プロダクト」と称される(これらは、コンピュータプログラムまたは他のグルーピング形式にグループ化されてもよい)。実行されると、このような命令は、計算モジュール1000が本明細書で論じているような本出願の特徴または機能を実行することを有効化する場合もある。
これまでの記述は、様々な例示的実施形態および実装に関連するものであるが、個々の実施形態の1つまたはそれ以上に記述されている様々な特徴、態様および機能が、その適用性において、本明細書に記述されている特定の実施形態に限定されるものではなく、単独または様々な組合せにより本出願の他の実施形態のうちの1つまたはそれ以上にも、そうした実施形態が記述されているか否か、およびそうした特徴が、記述されている実施形態の一部として提示されているか否かに関わらず、適用され得ることは理解されるべきである。したがって、本出願の範囲は、上述の例示的な実施形態の何れによっても限定されるべきではない。
本文書に使用されている用語および言い回し、およびその変形は、別段の明示的指摘のない限り、限定ではなく制限なしとして解釈されるべきである。前述の例として、「を含む」という用語は、「を制限なしに含む」といった意味に読み取られるべきであり、「例」という用語は、論じていることの網羅的なリストまたは論じていることを限定するリストではなくその具体例を提供するために使用され、「1つの」という用語は、「少なくとも1つの」、「1つまたは複数の」といった意味に読み取られるべきであり、かつ「従来の」、「伝統的な」、「通常の」、「標準的な」、「既知の」といった形容詞および同様の意味を持つ用語は、記述されていることを所定の時間期間に、または所定の時点で利用可能であることに限定するものとして解釈されるべきではなく、現時点または将来の任意の時点で使用可能であり得る、または既知であり得る従来の、伝統的な、通常の、または標準的な技術を包含するものとして読み取られるべきである。同様に、本文書が、当業者には明らかである、または当業者には既知であると思われる技術を参照する場合、このような技術は、現時点または将来の任意の時点で当業者には明らかである、または既知である技術を包含する。
一部の例における、「1つまたは複数の」、「少なくとも」、「但しこれらに限定されない」等の拡大していく用語および言い回し、または他の類似の言い回しの存在は、このような拡大していく言い回しが存在しない例において、より狭い事例が意図される、または要求されるという意味に読み取られないものとする。「モジュール」という用語の使用は、モジュールの一部として記述またはクレームされているコンポーネントまたは機能が全て共通のパッケージ内で構成されることを含意するものではない。実際に、モジュールの様々なコンポーネントのうちの何れか、または全ては、制御論理であれ他のコンポーネントであれ、単一のパッケージに組み合わされることも、別々に保持されることも可能であり、かつさらに、複数のグルーピングまたはパッケージ内に、または複数のロケーションに渡って分散されることも可能である。
さらに、本明細書に記述されている様々な実施形態は、例示的なブロック図、フローチャートおよび他の例図に関連して記述されている。本文書を読めば、当業者には明らかとなるであろうが、例示されている実施形態およびその様々な代替例は、示されている例に限定されることなく実装されることが可能である。例えば、ブロック図および付随するその説明は、特定のアーキテクチャまたは設定を命じるものとして解釈されるべきではない。
以上、本開示の様々な実施形態について説明したが、これらが限定ではなく単に例として提示されていることは理解されるべきである。同様に、様々な図面は、開示のための例示的なアーキテクチャまたは他の設定を描いたものであって、その目的は、開示に含まれ得る特徴および機能の理解を助けることにある。開示は、例示されているアーキテクチャ例または設定例に限定されるものではなく、所望される特徴は、様々な代替アーキテクチャおよび設定を用いて実装されることが可能である。実際に、当業者には、本開示の所望される特徴を実装するために、代替の機能的、論理的または物理的パーティションおよび設定を実装できる方法が明らかとなるであろう。また、本明細書に描かれているもの以外の多くの異なる構成モジュール名は、様々なパーティションへの適用が可能である。さらに、フロー図、動作説明および方法クレームに関連して、本明細書におけるステップの提示順は、コンテキストにより別段の指示のない限り、様々な実施形態が記載された機能を同じ順序で実行すべく実装されることを命じるものではない。
以上、本開示を様々な例示的実施形態および実装に関連して説明したが、個々の実施形態の1つまたはそれ以上に記述されている様々な特徴、態様および機能が、その適用性において、本明細書に記述されている特定の実施形態に限定されるものではなく、単独または様々な組合せにより本開示の他の実施形態のうちの1つまたはそれ以上にも、そうした実施形態が記述されているか否か、およびそうした特徴が、記述されている実施形態の一部として提示されているか否かに関わらず、適用され得ることは理解されるべきである。したがって、本開示の範囲は、上述の例示的な実施形態の何れによっても限定されるべきではない。
本文書に使用されている用語および言い回し、およびその変形は、別段の明示的指摘のない限り、限定ではなく制限なしとして解釈されるべきである。前述の例として、「を含む」という用語は、「を制限なしに含む」といった意味に読み取られるべきであり、「例」という用語は、論じていることの網羅的なリストまたは論じていることを限定するリストではなくその具体例を提供するために使用され、「1つの」という用語は、「少なくとも1つの」、「1つまたは複数の」といった意味に読み取られるべきであり、かつ「従来の」、「伝統的な」、「通常の」、「標準的な」、「既知の」といった形容詞および同様の意味を持つ用語は、記述されていることを所定の時間期間に、または所定の時点で利用可能であることに限定するものとして解釈されるべきではなく、現時点または将来の任意の時点で使用可能であり得る、または既知であり得る従来の、伝統的な、通常の、または標準的な技術を包含するものとして読み取られるべきである。同様に、本文書が、当業者には明らかである、または当業者には既知であると思われる技術を参照する場合、このような技術は、現時点または将来の任意の時点で当業者には明らかである、または既知である技術を包含する。
一部の例における、「1つまたは複数の」、「少なくとも」、「但しこれらに限定されない」等の拡大していく用語および言い回し、または他の類似の言い回しの存在は、このような拡大していく言い回しが存在しない例において、より狭い事例が意図される、または要求されるという意味に読み取られないものとする。「モジュール」という用語の使用は、モジュールの一部として記述またはクレームされているコンポーネントまたは機能が全て共通のパッケージ内で構成されることを含意するものではない。実際に、モジュールの様々なコンポーネントのうちの何れか、または全ては、制御論理であれ他のコンポーネントであれ、単一のパッケージに組み合わされることも、別々に保持されることも可能であり、かつさらに、複数のグルーピングまたはパッケージ内に、または複数のロケーションに渡って分散されることが可能である。
さらに、本明細書に記述されている様々な実施形態は、例示的なブロック図、フローチャートおよび他の例図に関連して記述されている。本文書を読めば、当業者には明らかとなるであろうが、例示されている実施形態およびその様々な代替例は、示されている例に限定されることなく実装されることが可能である。例えば、ブロック図および付随するその説明は、特定のアーキテクチャまたは設定を命じるものとして解釈されるべきではない。

Claims (52)

  1. ソース画像を受信することと、
    連続するダイナミックレンジ画像を、前記ソース画像の各ピクセルの輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定することにより生成することとを含む、1または複数のプロセッサによって実行される方法。
  2. 前記連続するダイナミックレンジ画像を生成することは、さらに、前記最小ダイナミックレンジおよび前記最大ダイナミックレンジの前記ソース画像に等級を付けることを含む、請求項1に記載の方法。
  3. 前記ソース画像は、ビデオフレームであり、かつ前記連続するダイナミックレンジ画像は、連続するダイナミックレンジのビデオフレームである、請求項2に記載の方法。
  4. 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項3に記載の方法。
  5. ディスプレイ上に、ユーザが前記連続関数を規定または修正できるようにするグラフィカル・ユーザ・インタフェースを表示することをさらに含む、請求項3に記載の方法。
  6. 前記連続するダイナミックレンジ画像を、前記連続関数の各々を打切り多項式級数を用いて近似することにより圧縮することをさらに含む、請求項1に記載の方法。
  7. 前記連続するダイナミックレンジのビデオフレームを、前記連続関数の各々を打切り多項式級数を用いて近似することにより圧縮することをさらに含む、請求項3に記載の方法。
  8. 前記多項式級数は、チェビシェフ多項式級数である、請求項7に記載の方法。
  9. 前記打切り多項式級数の多項式係数を画像のようなフォーマットで表現することをさらに含む、請求項7に記載の方法。
  10. 前記画像のようにフォーマットされた多項式係数を、ビデオコーデックを用いて符号化することをさらに含む、請求項9に記載の方法。
  11. 前記最大ダイナミックレンジは、各々が関連のダイナミックレンジを有する複数の標的ディスプレイの最大ダイナミックレンジに相当し、かつ前記最小ダイナミックレンジは、前記複数の標的ディスプレイの最小ダイナミックレンジに相当する、請求項3に記載の方法。
  12. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサのうちの少なくとも1つに動作可能に結合され、かつ、命令を記憶する1つまたは複数の非一時的コンピュータ読取り可能媒体と、を備えるシステムであって、
    前記命令が前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されたとき、前記システムに、
    ソース画像を受信させ、かつ、
    連続するダイナミックレンジ画像を、前記ソース画像の各ピクセルの輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定することにより生成させる、システム。
  13. 前記ソース画像は、ビデオフレームであり、かつ前記連続するダイナミックレンジ画像は、連続するダイナミックレンジのビデオフレームである、請求項12に記載のシステム。
  14. 前記連続するダイナミックレンジのビデオフレームを生成することは、前記最小ダイナミックレンジおよび前記最大ダイナミックレンジの前記ソース画像に等級を付けることを含む、請求項13に記載のシステム。
  15. 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項14に記載のシステム。
  16. ディスプレイをさらに備え、かつ前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、システムに、さらに、ディスプレイ上に、ユーザが前記連続関数を規定または修正できるようにするグラフィカル・ユーザ・インタフェースを表示させる、請求項13に記載のシステム。
  17. 前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、システムに、さらに、前記連続するダイナミックレンジのビデオフレームを、前記連続関数の各々を打切り多項式級数を用いて近似することにより圧縮させる、請求項13に記載のシステム。
  18. 前記多項式級数は、チェビシェフ多項式級数である、請求項17に記載のシステム。
  19. 連続するダイナミックレンジ画像またはビデオを生成するためのグラフィカル・ユーザ・インタフェース方法であって、
    コンピュータシステムの1つまたは複数のディスプレイ上へ、
    各々が異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、画像の複数の等級付けされたバージョンと、
    前記画像の第1のピクセル集合の輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する連続関数を修正するためのコントロールと、を表示することと、
    前記コンピュータシステムにおいて、前記連続関数を修正するための前記コントロールを作動させるユーザ入力を受信することと、
    前記連続関数を修正するための前記コントロールを作動させる前記ユーザ入力の受信に応答して、前記コンピュータシステムが、前記複数の等級付けされた画像バージョンの各々の修正バージョンを前記1つまたは複数のディスプレイ上に表示することとを含む、グラフィカル・ユーザ・インタフェース方法。
  20. 前記画像は、ビデオに対応する第1のビデオフレームである、請求項19に記載のグラフィカル・ユーザ・インタフェース方法。
  21. 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項19に記載の方法。
  22. 前記画像の前記第1のピクセル集合の前記輝度を規定する前記連続関数は、第1のユーザ選択可能マスクに関連づけられ、かつ、前記第1のユーザ選択可能マスクを表示することをさらに含む、請求項19に記載の方法。
  23. 前記コンピュータシステムにおいて、前記画像の第2のピクセル集合の輝度を最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する第2の連続関数に関連づけられる第2のマスクを選択するユーザ入力を受信することをさらに含む、請求項22に記載の方法。
  24. 前記コンピュータシステムにおいて、前記画像の最大等級のバージョンを選択しかつ前記画像の最小等級のバージョンを選択するユーザ入力を受信することをさらに含む、請求項19に記載の方法。
  25. 前記コンピュータシステムにおいて、前記ビデオに対応する第2のビデオフレームを選択するユーザ入力を受信することと、
    第2のビデオフレームを選択する前記ユーザ入力の受信に応答して、前記コンピュータシステムが、前記1つまたは複数のディスプレイに前記第2のビデオフレームの複数の等級付けされたバージョンを表示させること、をさらに含み、前記等級付けされたバージョンの各々は、異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、請求項20に記載の方法。
  26. ディスプレイと、
    1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサのうちの少なくとも1つへ動作可能に結合され、かつ、命令を記憶する1つまたは複数の非一時的コンピュータ読取り可能媒体と、を備えるシステムであって、
    前記命令が前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されるとき、前記システムに、
    前記ディスプレイ上へ、
    各々が異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、画像の複数の等級付けされたバージョンと、
    前記画像の第1のピクセル集合の輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する連続関数を修正するためのコントロールと、を表示させ、
    前記連続関数を修正するための前記コントロールを作動させるユーザ入力に対応するデータを受信させ、かつ、
    前記連続関数を修正するための前記コントロールを作動させる前記ユーザ入力に対応する前記データの受信に応答して、前記ディスプレイ上へ前記画像の前記複数の等級付けされたバージョンの各々の修正バージョンを表示させる、システム。
  27. 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求26に記載のシステム。
  28. 前記画像の前記第1のピクセル集合の前記輝度を規定する前記連続関数は、第1のユーザ選択可能マスクに関連づけられ、かつ前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、前記ディスプレイ上へ前記第1のユーザ選択可能マスクを表示させる、請求項26に記載のシステム。
  29. 前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、前記画像の第2のピクセル集合の輝度を最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する第2の連続関数に関連づけられる第2のマスクを選択するユーザ入力に対応するデータを受信させる、請求項28に記載のシステム。
  30. 前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、前記画像の最大等級のバージョンを選択しかつ前記画像の最小等級のバージョンを選択するユーザ入力に対応するデータを受信させる、請求項26に記載のシステム。
  31. 前記画像は、ビデオに対応する第1のビデオフレームであり、かつ前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、
    前記ビデオに対応する第2のビデオフレームを選択するユーザ入力に対応するデータを受信させ、かつ、
    第2のビデオフレームを選択する前記ユーザ入力に対応する前記データの受信に応答して、前記ディスプレイへ前記第2のビデオフレームの複数の等級付けされたバージョンを表示させ、前記等級付けされたバージョンの各々は、異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、請求項26に記載のシステム。
  32. 連続するダイナミック・レンジ・ビデオを圧縮して符号化する方法であって、
    ビデオフレームに対応する所定のディスプレイの最小ダイナミックレンジが等級付けされた画像と、
    前記ビデオフレームに対応する所定のディスプレイの最大ダイナミックレンジが等級付けされた画像と、
    前記ビデオフレームのピクセル毎の連続するダイナミックレンジの関数を含むメタデータと、を受信することと、
    前記連続するダイナミックレンジの関数の各々を、前記連続するダイナミックレンジの関数を近似する打切り多項式級数の係数ベクトルを用いて表現することと、
    ビデオコーデックが前記係数ベクトルに適用されることを可能とするように、前記係数ベクトルを画像フォーマットで表現することとを含む方法。
  33. 前記多項式級数は、チェビシェフ多項式級数である、請求項32に記載の方法。
  34. 前記画像フォーマットで表現された前記係数ベクトルを、ビデオコーデックを用いて符号化することをさらに含む、請求項32に記載の方法。
  35. 前記最小ダイナミックレンジが等級付けされた画像および前記最大ダイナミックレンジが等級付けされた画像を、前記2画像間の冗長性を基礎として一緒に、かつ従属的に符号化することをさらに含む、請求項32に記載の方法。
  36. 複数のビデオフレームを備える連続するダイナミック・レンジ・ビデオを配信する方法であって、前記方法は、関連のディスプレイを有する複数の受信機の各々へ、
    前記複数のビデオフレームの各々の所定のディスプレイの最小ダイナミックレンジの等級と、
    前記複数のビデオフレームの各々の所定のディスプレイの最大ダイナミックレンジの等級と、
    前記複数のビデオフレームの各々の各ピクセルの輝度を、前記最小および最大ダイナミックレンジ間の連続関数の近似として規定するメタデータと、を配信することを含み、前記連続関数は、多項式級数を用いて近似される、方法。
  37. 前記連続するダイナミック・レンジ・ビデオは、前記複数の受信機へ、無線通信経由の放送テレビジョン信号、衛星テレビのネットワーク信号またはケーブルテレビのネットワーク信号として送信される、請求項36に記載の方法。
  38. 前記連続するダイナミック・レンジ・ビデオは、コンテンツサーバにより、コンピュータネットワーク上で前記複数の受信機へ送信される、請求項36に記載の方法。
  39. 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項36に記載の方法。
  40. 前記最小ダイナミックレンジの等級および前記最大ダイナミックレンジの等級は、一緒に符号化される、請求項36に記載の方法。
  41. 関連のダイナミックレンジを有する所定のディスプレイ上へ表示するために連続するダイナミックレンジ画像を復号する方法であって、
    画像の最小ダイナミックレンジが等級付けされたバージョンと、
    前記画像の最大ダイナミックレンジが等級付けされたバージョンと、
    前記画像に対応する連続するダイナミックレンジのメタデータと、を含む符号化された連続するダイナミックレンジ画像を受信することと、
    前記連続するダイナミック画像を、コーデックを用いて復号することと、
    前記画像の特定のダイナミックレンジ表現を、前記復号された連続するダイナミックレンジ画像および前記ディスプレイの前記ダイナミックレンジを基礎として生成することとを含む方法。
  42. 前記画像は、ビデオフレームに対応し、かつ前記符号化された連続するダイナミックレンジ画像は、ビデオ符号化された連続するダイナミックレンジのビデオフレームである、請求項41に記載の方法。
  43. 前記受信されるビデオ符号化された最小ダイナミックレンジが等級付けされた画像および最大ダイナミックレンジが等級付けされた画像は、スケーラブルなビデオ・コーディング・コーデックを基礎として一緒に符号化され、かつ前記連続するダイナミックレンジのビデオフレームを復号することは、前記一緒に符号化された画像を、前記スケーラブルなビデオ・コーディング・コーデックを用いて復号することを含む、請求項41に記載の方法。
  44. 前記連続するダイナミックレンジのメタデータは、前記画像のピクセルの輝度を、前記最小および最大ダイナミックレンジ間の前記ピクセルの前記輝度を規定する連続関数を近似する打切り多項式級数の係数として規定するメタデータを含む、請求項41に記載の方法。
  45. 前記多項式級数は、チェビシェフ級数である、請求項44に記載の方法。
  46. 前記連続関数は、ルミパスである、請求項44に記載の方法。
  47. システムであって、
    関連のダイナミックレンジを有する所定のディスプレイと、
    1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサのうちの少なくとも1つへ動作可能に結合され、かつ、命令を記憶する1つまたは複数の非一時的コンピュータ読取り可能媒体と、を備えるシステムであって、
    前記命令が前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、
    画像の最小ダイナミックレンジが等級付けされたバージョンと、
    前記画像の最大ダイナミックレンジが等級付けされたバージョンと、
    前記画像に対応する連続するダイナミックレンジのメタデータと、を含む符号化された連続するダイナミックレンジ画像を受信機に受信させ、
    前記連続するダイナミックレンジ画像を復号させ、
    前記画像の特定のダイナミックレンジ表現を、前記ディスプレイの前記ダイナミックレンジを基礎として生成させ、かつ、
    前記画像の前記特定のダイナミックレンジ表現を、前記ディスプレイ上に表示させる、システム。
  48. 前記画像は、ビデオフレームに対応し、かつ前記符号化された連続するダイナミックレンジ画像は、ビデオ符号化された連続するダイナミックレンジのビデオフレームである、請求項47に記載のシステム。
  49. 前記受信されるビデオ符号化された最小ダイナミックレンジが等級付けされた画像および最大ダイナミックレンジが等級付けされた画像は、コーデックを用いて一緒に、かつ従属的に符号化され、かつ前記連続するダイナミックレンジのビデオフレームを復号することは、前記一緒に、かつ従属的に符号化された画像を、前記コーデックを用いて復号することを含む、請求項47に記載のシステム。
  50. 前記連続するダイナミックレンジのメタデータは、前記画像のピクセルの輝度を、前記最小および最大ダイナミックレンジ間の前記ピクセルの前記輝度を規定する連続関数を近似する打切り多項式級数の係数として規定するメタデータを含む、請求項47に記載のシステム。
  51. 前記多項式級数は、チェビシェフ級数である、請求項50に記載のシステム。
  52. 前記連続関数は、ルミパスである、請求項50に記載のシステム。
JP2016108604A 2015-06-01 2016-05-31 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 Active JP6765222B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562169465P 2015-06-01 2015-06-01
US62/169,465 2015-06-01
US14/861,587 2015-09-22
US14/861,587 US10349127B2 (en) 2015-06-01 2015-09-22 Methods for creating and distributing art-directable continuous dynamic range video

Publications (3)

Publication Number Publication Date
JP2016225982A JP2016225982A (ja) 2016-12-28
JP2016225982A5 JP2016225982A5 (ja) 2019-06-13
JP6765222B2 true JP6765222B2 (ja) 2020-10-07

Family

ID=57282180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016108604A Active JP6765222B2 (ja) 2015-06-01 2016-05-31 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法

Country Status (5)

Country Link
US (2) US10349127B2 (ja)
JP (1) JP6765222B2 (ja)
KR (1) KR102630501B1 (ja)
CN (1) CN106210769B (ja)
DE (1) DE102016209125A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10349127B2 (en) * 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video
KR20190054288A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 디스플레이 시스템
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
TWI723683B (zh) * 2019-12-17 2021-04-01 瑞昱半導體股份有限公司 視訊介面轉換裝置及方法
US20220148256A1 (en) * 2020-11-11 2022-05-12 Nvidia Corporation Image blending using one or more neural networks

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7903137B2 (en) * 2004-10-15 2011-03-08 Lifesize Communications, Inc. Videoconferencing echo cancellers
WO2007082562A2 (en) * 2006-01-23 2007-07-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US7929753B2 (en) * 2006-11-29 2011-04-19 Kwe International Inc. Image processing including, but not limited to, logarithimic coding in color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
US9049450B2 (en) * 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
EP2702766B1 (en) 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
EP3061234B1 (en) * 2013-10-22 2017-12-06 Dolby Laboratories Licensing Corporation Guided color grading for an extended dynamic range image
EP3070934A4 (en) * 2013-11-13 2017-03-29 LG Electronics Inc. Broadcast signal transmission method and apparatus for providing hdr broadcast service
EP2916319A1 (en) * 2014-03-07 2015-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding of information
WO2016040255A1 (en) * 2014-09-09 2016-03-17 Dolby Laboratories Licensing Corporation Self-adaptive prediction method for multi-layer codec
CN109151253B (zh) * 2014-09-22 2020-12-18 松下知识产权经营株式会社 显示装置、显示方法以及再现显示系统
US10547844B2 (en) * 2014-12-04 2020-01-28 Lg Electronics Inc. Broadcasting signal transmission and reception method and device
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10349127B2 (en) * 2015-06-01 2019-07-09 Disney Enterprises, Inc. Methods for creating and distributing art-directable continuous dynamic range video

Also Published As

Publication number Publication date
US10349127B2 (en) 2019-07-09
US11140440B2 (en) 2021-10-05
US20190261049A1 (en) 2019-08-22
DE102016209125A1 (de) 2016-12-01
CN106210769A (zh) 2016-12-07
CN106210769B (zh) 2020-01-31
KR102630501B1 (ko) 2024-01-26
JP2016225982A (ja) 2016-12-28
US20160353164A1 (en) 2016-12-01
KR20160141663A (ko) 2016-12-09

Similar Documents

Publication Publication Date Title
JP6765222B2 (ja) 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法
EP3433833B1 (en) Encoding and decoding reversible production-quality single-layer video signals
JP6846442B2 (ja) ハイダイナミックレンジ画像のためのクロマ再構成
JP7299982B2 (ja) 拡張標準ダイナミックレンジビデオ(sdr+)における機械学習ベースのダイナミックコンポージング
TWI575933B (zh) 階層式視覺動態範圍編碼中之層分解技術
US9042682B2 (en) Content creation using interpolation between content versions
US10609424B2 (en) Single-layer progressive coding for supporting multi-capability HDR composition
CN112714923A (zh) 用于游戏和/或sdr+内容的自动显示管理元数据生成
US8600159B2 (en) Color converting images
JP7386977B2 (ja) テンソル積bスプライン予測子
JP7443546B2 (ja) 画像処理方法、システム及びコンピュータ・プログラム
JP7439251B2 (ja) ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ
CN114223015A (zh) 利用模型模板的高效的用户定义sdr到hdr转换
CN112715029A (zh) Ai编码设备及其操作方法和ai解码设备及其操作方法
EP4245035A1 (en) Wrapped reshaping for codeword augmentation with neighborhood consistency
RU2794137C1 (ru) Предсказатель b-сплайна тензорного произведения
KR102589858B1 (ko) 복호화 장치 및 그 동작방법, 및 ai 업 스케일 장치 및 그 동작방법
US20240095893A1 (en) Image enhancement via global and local reshaping
JP2023532952A (ja) Hdrビデオのクラウド・ベース符号化における作業負荷割り当ておよび処理
Jackson et al. An Introduction to Video: Concepts and Optimization

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20160805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R150 Certificate of patent or registration of utility model

Ref document number: 6765222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250