JP6765222B2 - 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 - Google Patents
演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 Download PDFInfo
- Publication number
- JP6765222B2 JP6765222B2 JP2016108604A JP2016108604A JP6765222B2 JP 6765222 B2 JP6765222 B2 JP 6765222B2 JP 2016108604 A JP2016108604 A JP 2016108604A JP 2016108604 A JP2016108604 A JP 2016108604A JP 6765222 B2 JP6765222 B2 JP 6765222B2
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- image
- continuous
- video
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 84
- 230000006870 function Effects 0.000 claims description 99
- 238000004891 communication Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000005728 strengthening Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920000747 poly(lactic acid) Polymers 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
本出願は、2015年6月1日に提出された米国暫定特許出願第62/169,465号明細書の出願の利益を主張するものであり、上記出願は本参照によりその全体が開示に含まれる。
によって定義されてもよい。上記式は、各ピクセルpおよびダイナミックレンジ(η,π)、一意の輝度値hp(η,π)に関連し、
は、最小等級のピクセルpの輝度であり、かつ
は、最大等級のピクセルpの輝度である。したがって、方程式(1)は、ダイナミック・レンジ・ハルの任意の標的ダイナミックレンジにおける1ピクセルの輝度を、最小および最大等級における実際のピクセル輝度値間の値へマップする。
に制限されてもよく、かつ任意の
の関連する最小輝度は、方程式(2):
によって定義されてもよい。方程式(2)に続いて、考慮するダイナミック・レンジ・ハルを
で定義してもよい。結果的に、ピクセル輝度値を標的ディスプレイのピーク輝度piの関数として表すルミパスは、方程式(3):
によって定義されてもよい。ここで、παおよびπβは、最大および最小ダイナミックレンジに対応するピーク輝度である。
を有する画像マスクMjの級数を所与として、ユーザは、ユーザインタフェースを用いて関数
を手動で指定してもよい。各ピクセルに適用する場合、この関数は、各ピクセル位置でマスクにより変調され、
が、方程式(4):
に示されるように得られる。方程式(4)は、マスクにより指定される重みを基礎として、アーティストが規定する曲線と線形曲線との配合を規定し、滑らかに変わる編集が見込まれる。したがって、n個のマスクを採用しかつn個のこうした関数を指定すれば、対応するルミパス
が、全ての関数を連続して適用し(層ベースの等級付け)かつ方程式(5):
が示すように結果をスケーリングすることによって得られてもよい。ここで、ルミパス
は、分析される2極値間に最大明度を有する任意のディスプレイのピクセルpの輝度を規定する所望される曲線である。図8は、方程式(4)および方程式(5)が規定する通りに数値的ルミパスを得るこのプロセスを示している。図示されているように、アーティストが入力するルミパスは、ユーザインタフェースで指定される重みに従って線形関数で平均され、続いて、最終的なピクセル毎のルミパス
を得るために連結される。
)、2)最大ダイナミックレンジが等級付けされた画像(例えば、
)、および3)フレームのピクセル毎の連続するダイナミックレンジの関数(例えば、ルミパス
)を含むメタデータ、によって表される。実施形態において、このデータのrawフォーマットは、かなりの量のデータを占有させる。したがって、方法200のオペレーション230では、CDRビデオが配信準備において圧縮されて符号化されてもよい。
を用いる方法230の数学的実装は、次のように進行してもよい。人の視覚系は、輝度順応のレベルLaを所与として近似しきい値輝度を計算するしきい値対強度(tvi)関数を用いてモデリングされてもよい。tvi関数は、方程式(6):
が示すように、各輝度レベルにおけるピークコントラスト感度を求めることによって計算されてもよい。ここで、CSFは、コントラスト感度関数であり、
は、ピクセルpの順応輝度である。本実装では、人の目が単一ピクセルpに完全に順応できることが想定されている。
を所与とすれば、これは、
が満たされること、即ち、偏差が人の視覚系モデルにより計算されるしきい値より小さいことを条件として、トランケートされたチェビシェフ級数
により、所定のピクセルにおいて知覚的にロスレスな方法で近似されてもよい。トランケートされたチェビシェフ級数は、方程式(7):
によって表現されてもよい。ここで、Ψk(x)は、k番目のチェビシェフ多項式であり、
は、フレームfのピクセルpにおける対応するチェビシェフ係数であり、Np,fは、
より小さい誤差
を得るために必要な最小次数である。これは、
によって決定される
の知覚的にロスレスな近似を規定する。
内に存在するようにスケーリングされる。各基底多項式Ψk(x)は、ドメインD:=[−1,1]を有し、かつそのレンジΨk(D)も同じく部分集合[−1,1]であることから、近似の合計誤差
は、級数の残りの無限係数の絶対値の和によって結ばれる。実施形態において、係数の停止基準は、少数の要素の絶対値の和によって与えられてもよい。例えば、級数は、次の3要素の絶対和が認可された誤差しきい値に達しない時点でトランケートされてもよい。図10には、異なる次数のチェビシェフ多項式による関数の近似例が示されている。原関数と再構成された表現との誤差の絶対値は、図10下部のスケールに示されている。
のチェビシェフ係数
の決定に続いて、係数は、量子化されて単色ビデオシーケンスへと再編されてもよい。最大次数N:=maxp,fNp,fおよび集合
、但しk>Np,f、が計算されてもよく、これにより、方程式(7)に記されている関数の表現
が導かれる。但し、Nは、固定パラメータである。これで、各ルミパス
は、方程式(8):
のNタプルによって指定される。画像のような表現を得るために、フレームの全ピクセルのタプルcp,fが係数行列
、但し1<k<N、によって表現される。この係数行列は、構成上、
および
と同じピクセル解像度h×wを有する。全ての行列
の全ての成分は、次に、N個の行列
を得るべく特定のビット深さまで一様に量子化されてもよい。実施形態において、ビット深さは、圧縮に使用されるビデオコーデックによりサポートされる画像の最大ビット深さに依存して選択されてもよい。例えば、この実装例において、全行列の成分は、H.264のメインプロファイルにより圧縮をサポートされる画像の最大ビット深さに対応するという理由で、8ビットの整数にまで量子化されてもよい。
を示す。図示されているように、大部分の情報は、最初の数個の係数内に集中されている。係数画像のエネルギーおよび変動は、係数指数の増加に伴って急激に低減する。さらに、係数は、広範な画像領域に渡って一様な値を有し得る。したがって、係数の画像およびビデオの情報コンテンツは、実際には、概して、画像およびビデオ自体よりも制限されてもよく、その圧縮性が大幅に高められる。
、但しk=1,...,N、の符号化表現、を記憶することによって得られてもよい。
Claims (52)
- ソース画像を受信することと、
連続するダイナミックレンジ画像を、前記ソース画像の各ピクセルの輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定することにより生成することとを含む、1または複数のプロセッサによって実行される方法。 - 前記連続するダイナミックレンジ画像を生成することは、さらに、前記最小ダイナミックレンジおよび前記最大ダイナミックレンジの前記ソース画像に等級を付けることを含む、請求項1に記載の方法。
- 前記ソース画像は、ビデオフレームであり、かつ前記連続するダイナミックレンジ画像は、連続するダイナミックレンジのビデオフレームである、請求項2に記載の方法。
- 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項3に記載の方法。
- ディスプレイ上に、ユーザが前記連続関数を規定または修正できるようにするグラフィカル・ユーザ・インタフェースを表示することをさらに含む、請求項3に記載の方法。
- 前記連続するダイナミックレンジ画像を、前記連続関数の各々を打切り多項式級数を用いて近似することにより圧縮することをさらに含む、請求項1に記載の方法。
- 前記連続するダイナミックレンジのビデオフレームを、前記連続関数の各々を打切り多項式級数を用いて近似することにより圧縮することをさらに含む、請求項3に記載の方法。
- 前記多項式級数は、チェビシェフ多項式級数である、請求項7に記載の方法。
- 前記打切り多項式級数の多項式係数を画像のようなフォーマットで表現することをさらに含む、請求項7に記載の方法。
- 前記画像のようにフォーマットされた多項式係数を、ビデオコーデックを用いて符号化することをさらに含む、請求項9に記載の方法。
- 前記最大ダイナミックレンジは、各々が関連のダイナミックレンジを有する複数の標的ディスプレイの最大ダイナミックレンジに相当し、かつ前記最小ダイナミックレンジは、前記複数の標的ディスプレイの最小ダイナミックレンジに相当する、請求項3に記載の方法。
- 1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサのうちの少なくとも1つに動作可能に結合され、かつ、命令を記憶する1つまたは複数の非一時的コンピュータ読取り可能媒体と、を備えるシステムであって、
前記命令が前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されたとき、前記システムに、
ソース画像を受信させ、かつ、
連続するダイナミックレンジ画像を、前記ソース画像の各ピクセルの輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定することにより生成させる、システム。 - 前記ソース画像は、ビデオフレームであり、かつ前記連続するダイナミックレンジ画像は、連続するダイナミックレンジのビデオフレームである、請求項12に記載のシステム。
- 前記連続するダイナミックレンジのビデオフレームを生成することは、前記最小ダイナミックレンジおよび前記最大ダイナミックレンジの前記ソース画像に等級を付けることを含む、請求項13に記載のシステム。
- 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項14に記載のシステム。
- ディスプレイをさらに備え、かつ前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、システムに、さらに、ディスプレイ上に、ユーザが前記連続関数を規定または修正できるようにするグラフィカル・ユーザ・インタフェースを表示させる、請求項13に記載のシステム。
- 前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、システムに、さらに、前記連続するダイナミックレンジのビデオフレームを、前記連続関数の各々を打切り多項式級数を用いて近似することにより圧縮させる、請求項13に記載のシステム。
- 前記多項式級数は、チェビシェフ多項式級数である、請求項17に記載のシステム。
- 連続するダイナミックレンジ画像またはビデオを生成するためのグラフィカル・ユーザ・インタフェース方法であって、
コンピュータシステムの1つまたは複数のディスプレイ上へ、
各々が異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、画像の複数の等級付けされたバージョンと、
前記画像の第1のピクセル集合の輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する連続関数を修正するためのコントロールと、を表示することと、
前記コンピュータシステムにおいて、前記連続関数を修正するための前記コントロールを作動させるユーザ入力を受信することと、
前記連続関数を修正するための前記コントロールを作動させる前記ユーザ入力の受信に応答して、前記コンピュータシステムが、前記複数の等級付けされた画像バージョンの各々の修正バージョンを前記1つまたは複数のディスプレイ上に表示することとを含む、グラフィカル・ユーザ・インタフェース方法。 - 前記画像は、ビデオに対応する第1のビデオフレームである、請求項19に記載のグラフィカル・ユーザ・インタフェース方法。
- 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項19に記載の方法。
- 前記画像の前記第1のピクセル集合の前記輝度を規定する前記連続関数は、第1のユーザ選択可能マスクに関連づけられ、かつ、前記第1のユーザ選択可能マスクを表示することをさらに含む、請求項19に記載の方法。
- 前記コンピュータシステムにおいて、前記画像の第2のピクセル集合の輝度を最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する第2の連続関数に関連づけられる第2のマスクを選択するユーザ入力を受信することをさらに含む、請求項22に記載の方法。
- 前記コンピュータシステムにおいて、前記画像の最大等級のバージョンを選択しかつ前記画像の最小等級のバージョンを選択するユーザ入力を受信することをさらに含む、請求項19に記載の方法。
- 前記コンピュータシステムにおいて、前記ビデオに対応する第2のビデオフレームを選択するユーザ入力を受信することと、
第2のビデオフレームを選択する前記ユーザ入力の受信に応答して、前記コンピュータシステムが、前記1つまたは複数のディスプレイに前記第2のビデオフレームの複数の等級付けされたバージョンを表示させること、をさらに含み、前記等級付けされたバージョンの各々は、異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、請求項20に記載の方法。 - ディスプレイと、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサのうちの少なくとも1つへ動作可能に結合され、かつ、命令を記憶する1つまたは複数の非一時的コンピュータ読取り可能媒体と、を備えるシステムであって、
前記命令が前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されるとき、前記システムに、
前記ディスプレイ上へ、
各々が異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、画像の複数の等級付けされたバージョンと、
前記画像の第1のピクセル集合の輝度を所定のディスプレイの最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する連続関数を修正するためのコントロールと、を表示させ、
前記連続関数を修正するための前記コントロールを作動させるユーザ入力に対応するデータを受信させ、かつ、
前記連続関数を修正するための前記コントロールを作動させる前記ユーザ入力に対応する前記データの受信に応答して、前記ディスプレイ上へ前記画像の前記複数の等級付けされたバージョンの各々の修正バージョンを表示させる、システム。 - 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項26に記載のシステム。
- 前記画像の前記第1のピクセル集合の前記輝度を規定する前記連続関数は、第1のユーザ選択可能マスクに関連づけられ、かつ前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、前記ディスプレイ上へ前記第1のユーザ選択可能マスクを表示させる、請求項26に記載のシステム。
- 前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、前記画像の第2のピクセル集合の輝度を最小ダイナミックレンジおよび最大ダイナミックレンジを基礎とする連続関数として規定する第2の連続関数に関連づけられる第2のマスクを選択するユーザ入力に対応するデータを受信させる、請求項28に記載のシステム。
- 前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、前記画像の最大等級のバージョンを選択しかつ前記画像の最小等級のバージョンを選択するユーザ入力に対応するデータを受信させる、請求項26に記載のシステム。
- 前記画像は、ビデオに対応する第1のビデオフレームであり、かつ前記命令は、前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、前記システムに、さらに、
前記ビデオに対応する第2のビデオフレームを選択するユーザ入力に対応するデータを受信させ、かつ、
第2のビデオフレームを選択する前記ユーザ入力に対応する前記データの受信に応答して、前記ディスプレイへ前記第2のビデオフレームの複数の等級付けされたバージョンを表示させ、前記等級付けされたバージョンの各々は、異なるダイナミック・レンジ・ディスプレイに関して等級付けされた、請求項26に記載のシステム。 - 連続するダイナミック・レンジ・ビデオを圧縮して符号化する方法であって、
ビデオフレームに対応する所定のディスプレイの最小ダイナミックレンジが等級付けされた画像と、
前記ビデオフレームに対応する所定のディスプレイの最大ダイナミックレンジが等級付けされた画像と、
前記ビデオフレームのピクセル毎の連続するダイナミックレンジの関数を含むメタデータと、を受信することと、
前記連続するダイナミックレンジの関数の各々を、前記連続するダイナミックレンジの関数を近似する打切り多項式級数の係数ベクトルを用いて表現することと、
ビデオコーデックが前記係数ベクトルに適用されることを可能とするように、前記係数ベクトルを画像フォーマットで表現することとを含む方法。 - 前記多項式級数は、チェビシェフ多項式級数である、請求項32に記載の方法。
- 前記画像フォーマットで表現された前記係数ベクトルを、ビデオコーデックを用いて符号化することをさらに含む、請求項32に記載の方法。
- 前記最小ダイナミックレンジが等級付けされた画像および前記最大ダイナミックレンジが等級付けされた画像を、前記2画像間の冗長性を基礎として一緒に、かつ従属的に符号化することをさらに含む、請求項32に記載の方法。
- 複数のビデオフレームを備える連続するダイナミック・レンジ・ビデオを配信する方法であって、前記方法は、関連のディスプレイを有する複数の受信機の各々へ、
前記複数のビデオフレームの各々の所定のディスプレイの最小ダイナミックレンジの等級と、
前記複数のビデオフレームの各々の所定のディスプレイの最大ダイナミックレンジの等級と、
前記複数のビデオフレームの各々の各ピクセルの輝度を、前記最小および最大ダイナミックレンジ間の連続関数の近似として規定するメタデータと、を配信することを含み、前記連続関数は、多項式級数を用いて近似される、方法。 - 前記連続するダイナミック・レンジ・ビデオは、前記複数の受信機へ、無線通信経由の放送テレビジョン信号、衛星テレビのネットワーク信号またはケーブルテレビのネットワーク信号として送信される、請求項36に記載の方法。
- 前記連続するダイナミック・レンジ・ビデオは、コンテンツサーバにより、コンピュータネットワーク上で前記複数の受信機へ送信される、請求項36に記載の方法。
- 前記連続関数は、ピクセル輝度値を標的ディスプレイのピーク輝度の関数として表すルミパスである、請求項36に記載の方法。
- 前記最小ダイナミックレンジの等級および前記最大ダイナミックレンジの等級は、一緒に符号化される、請求項36に記載の方法。
- 関連のダイナミックレンジを有する所定のディスプレイ上へ表示するために連続するダイナミックレンジ画像を復号する方法であって、
画像の最小ダイナミックレンジが等級付けされたバージョンと、
前記画像の最大ダイナミックレンジが等級付けされたバージョンと、
前記画像に対応する連続するダイナミックレンジのメタデータと、を含む符号化された連続するダイナミックレンジ画像を受信することと、
前記連続するダイナミック画像を、コーデックを用いて復号することと、
前記画像の特定のダイナミックレンジ表現を、前記復号された連続するダイナミックレンジ画像および前記ディスプレイの前記ダイナミックレンジを基礎として生成することとを含む方法。 - 前記画像は、ビデオフレームに対応し、かつ前記符号化された連続するダイナミックレンジ画像は、ビデオ符号化された連続するダイナミックレンジのビデオフレームである、請求項41に記載の方法。
- 前記受信されるビデオ符号化された最小ダイナミックレンジが等級付けされた画像および最大ダイナミックレンジが等級付けされた画像は、スケーラブルなビデオ・コーディング・コーデックを基礎として一緒に符号化され、かつ前記連続するダイナミックレンジのビデオフレームを復号することは、前記一緒に符号化された画像を、前記スケーラブルなビデオ・コーディング・コーデックを用いて復号することを含む、請求項41に記載の方法。
- 前記連続するダイナミックレンジのメタデータは、前記画像のピクセルの輝度を、前記最小および最大ダイナミックレンジ間の前記ピクセルの前記輝度を規定する連続関数を近似する打切り多項式級数の係数として規定するメタデータを含む、請求項41に記載の方法。
- 前記多項式級数は、チェビシェフ級数である、請求項44に記載の方法。
- 前記連続関数は、ルミパスである、請求項44に記載の方法。
- システムであって、
関連のダイナミックレンジを有する所定のディスプレイと、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサのうちの少なくとも1つへ動作可能に結合され、かつ、命令を記憶する1つまたは複数の非一時的コンピュータ読取り可能媒体と、を備えるシステムであって、
前記命令が前記1つまたは複数のプロセッサのうちの少なくとも1つによって実行されると、
画像の最小ダイナミックレンジが等級付けされたバージョンと、
前記画像の最大ダイナミックレンジが等級付けされたバージョンと、
前記画像に対応する連続するダイナミックレンジのメタデータと、を含む符号化された連続するダイナミックレンジ画像を受信機に受信させ、
前記連続するダイナミックレンジ画像を復号させ、
前記画像の特定のダイナミックレンジ表現を、前記ディスプレイの前記ダイナミックレンジを基礎として生成させ、かつ、
前記画像の前記特定のダイナミックレンジ表現を、前記ディスプレイ上に表示させる、システム。 - 前記画像は、ビデオフレームに対応し、かつ前記符号化された連続するダイナミックレンジ画像は、ビデオ符号化された連続するダイナミックレンジのビデオフレームである、請求項47に記載のシステム。
- 前記受信されるビデオ符号化された最小ダイナミックレンジが等級付けされた画像および最大ダイナミックレンジが等級付けされた画像は、コーデックを用いて一緒に、かつ従属的に符号化され、かつ前記連続するダイナミックレンジのビデオフレームを復号することは、前記一緒に、かつ従属的に符号化された画像を、前記コーデックを用いて復号することを含む、請求項47に記載のシステム。
- 前記連続するダイナミックレンジのメタデータは、前記画像のピクセルの輝度を、前記最小および最大ダイナミックレンジ間の前記ピクセルの前記輝度を規定する連続関数を近似する打切り多項式級数の係数として規定するメタデータを含む、請求項47に記載のシステム。
- 前記多項式級数は、チェビシェフ級数である、請求項50に記載のシステム。
- 前記連続関数は、ルミパスである、請求項50に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562169465P | 2015-06-01 | 2015-06-01 | |
US62/169,465 | 2015-06-01 | ||
US14/861,587 | 2015-09-22 | ||
US14/861,587 US10349127B2 (en) | 2015-06-01 | 2015-09-22 | Methods for creating and distributing art-directable continuous dynamic range video |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016225982A JP2016225982A (ja) | 2016-12-28 |
JP2016225982A5 JP2016225982A5 (ja) | 2019-06-13 |
JP6765222B2 true JP6765222B2 (ja) | 2020-10-07 |
Family
ID=57282180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016108604A Active JP6765222B2 (ja) | 2015-06-01 | 2016-05-31 | 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10349127B2 (ja) |
JP (1) | JP6765222B2 (ja) |
KR (1) | KR102630501B1 (ja) |
CN (1) | CN106210769B (ja) |
DE (1) | DE102016209125A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10349127B2 (en) * | 2015-06-01 | 2019-07-09 | Disney Enterprises, Inc. | Methods for creating and distributing art-directable continuous dynamic range video |
KR20190054288A (ko) * | 2017-11-13 | 2019-05-22 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 디스플레이 시스템 |
AU2018271424A1 (en) * | 2017-12-13 | 2019-06-27 | Playable Pty Ltd | System and Method for Algorithmic Editing of Video Content |
TWI723683B (zh) * | 2019-12-17 | 2021-04-01 | 瑞昱半導體股份有限公司 | 視訊介面轉換裝置及方法 |
US20220148256A1 (en) * | 2020-11-11 | 2022-05-12 | Nvidia Corporation | Image blending using one or more neural networks |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7903137B2 (en) * | 2004-10-15 | 2011-03-08 | Lifesize Communications, Inc. | Videoconferencing echo cancellers |
WO2007082562A2 (en) * | 2006-01-23 | 2007-07-26 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | High dynamic range codecs |
US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
US7929753B2 (en) * | 2006-11-29 | 2011-04-19 | Kwe International Inc. | Image processing including, but not limited to, logarithimic coding in color coordinate systems including systems with a coordinate defined by a square root of a quadratic polynomial in tristimulus values and, possibly, by a sign of a function of one or more of tristimulus values |
US8135230B2 (en) | 2007-07-30 | 2012-03-13 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
JP5589006B2 (ja) * | 2009-03-13 | 2014-09-10 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮 |
US9049450B2 (en) * | 2010-04-05 | 2015-06-02 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment |
EP2702766B1 (en) | 2011-04-28 | 2017-06-14 | Koninklijke Philips N.V. | Apparatuses and methods for hdr image encoding and decoding |
TWI630820B (zh) * | 2013-07-19 | 2018-07-21 | 新力股份有限公司 | File generation device, file generation method, file reproduction device, and file reproduction method |
EP3061234B1 (en) * | 2013-10-22 | 2017-12-06 | Dolby Laboratories Licensing Corporation | Guided color grading for an extended dynamic range image |
EP3070934A4 (en) * | 2013-11-13 | 2017-03-29 | LG Electronics Inc. | Broadcast signal transmission method and apparatus for providing hdr broadcast service |
EP2916319A1 (en) * | 2014-03-07 | 2015-09-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for encoding of information |
WO2016040255A1 (en) * | 2014-09-09 | 2016-03-17 | Dolby Laboratories Licensing Corporation | Self-adaptive prediction method for multi-layer codec |
CN109151253B (zh) * | 2014-09-22 | 2020-12-18 | 松下知识产权经营株式会社 | 显示装置、显示方法以及再现显示系统 |
US10547844B2 (en) * | 2014-12-04 | 2020-01-28 | Lg Electronics Inc. | Broadcasting signal transmission and reception method and device |
WO2016129891A1 (ko) * | 2015-02-11 | 2016-08-18 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
US10349127B2 (en) * | 2015-06-01 | 2019-07-09 | Disney Enterprises, Inc. | Methods for creating and distributing art-directable continuous dynamic range video |
-
2015
- 2015-09-22 US US14/861,587 patent/US10349127B2/en active Active
-
2016
- 2016-05-25 DE DE102016209125.5A patent/DE102016209125A1/de active Pending
- 2016-05-31 KR KR1020160067142A patent/KR102630501B1/ko active IP Right Grant
- 2016-05-31 JP JP2016108604A patent/JP6765222B2/ja active Active
- 2016-06-01 CN CN201610377204.6A patent/CN106210769B/zh active Active
-
2019
- 2019-05-02 US US16/402,146 patent/US11140440B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10349127B2 (en) | 2019-07-09 |
US11140440B2 (en) | 2021-10-05 |
US20190261049A1 (en) | 2019-08-22 |
DE102016209125A1 (de) | 2016-12-01 |
CN106210769A (zh) | 2016-12-07 |
CN106210769B (zh) | 2020-01-31 |
KR102630501B1 (ko) | 2024-01-26 |
JP2016225982A (ja) | 2016-12-28 |
US20160353164A1 (en) | 2016-12-01 |
KR20160141663A (ko) | 2016-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6765222B2 (ja) | 演出可能な連続するダイナミック・レンジ・ビデオを生成して配信するための方法 | |
EP3433833B1 (en) | Encoding and decoding reversible production-quality single-layer video signals | |
JP6846442B2 (ja) | ハイダイナミックレンジ画像のためのクロマ再構成 | |
JP7299982B2 (ja) | 拡張標準ダイナミックレンジビデオ(sdr+)における機械学習ベースのダイナミックコンポージング | |
TWI575933B (zh) | 階層式視覺動態範圍編碼中之層分解技術 | |
US9042682B2 (en) | Content creation using interpolation between content versions | |
US10609424B2 (en) | Single-layer progressive coding for supporting multi-capability HDR composition | |
CN112714923A (zh) | 用于游戏和/或sdr+内容的自动显示管理元数据生成 | |
US8600159B2 (en) | Color converting images | |
JP7386977B2 (ja) | テンソル積bスプライン予測子 | |
JP7443546B2 (ja) | 画像処理方法、システム及びコンピュータ・プログラム | |
JP7439251B2 (ja) | ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ | |
CN114223015A (zh) | 利用模型模板的高效的用户定义sdr到hdr转换 | |
CN112715029A (zh) | Ai编码设备及其操作方法和ai解码设备及其操作方法 | |
EP4245035A1 (en) | Wrapped reshaping for codeword augmentation with neighborhood consistency | |
RU2794137C1 (ru) | Предсказатель b-сплайна тензорного произведения | |
KR102589858B1 (ko) | 복호화 장치 및 그 동작방법, 및 ai 업 스케일 장치 및 그 동작방법 | |
US20240095893A1 (en) | Image enhancement via global and local reshaping | |
JP2023532952A (ja) | Hdrビデオのクラウド・ベース符号化における作業負荷割り当ておよび処理 | |
Jackson et al. | An Introduction to Video: Concepts and Optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20160805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6765222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |