TWI729377B - 用於將影像自第一動態範圍映射至第二動態範圍之方法 - Google Patents

用於將影像自第一動態範圍映射至第二動態範圍之方法 Download PDF

Info

Publication number
TWI729377B
TWI729377B TW108112378A TW108112378A TWI729377B TW I729377 B TWI729377 B TW I729377B TW 108112378 A TW108112378 A TW 108112378A TW 108112378 A TW108112378 A TW 108112378A TW I729377 B TWI729377 B TW I729377B
Authority
TW
Taiwan
Prior art keywords
image
mapping
input
dynamic range
model
Prior art date
Application number
TW108112378A
Other languages
English (en)
Other versions
TW201944357A (zh
Inventor
蘇冠銘
宋青
Original Assignee
美商杜拜研究特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商杜拜研究特許公司 filed Critical 美商杜拜研究特許公司
Publication of TW201944357A publication Critical patent/TW201944357A/zh
Application granted granted Critical
Publication of TWI729377B publication Critical patent/TWI729377B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本發明描述用於利用一組參考色彩分級影像及神經網路將影像自一第一動態範圍映射至一第二動態範圍之方法及系統。給定表示相同場景但在一不同動態範圍下之一第一影像及一第二影像，自多種神經網路(NN)模型選擇一NN模型以基於該第一影像及該第二影像判定近似表示該第二影像之一輸出影像。根據一最佳化準則、該第一影像及該第二影像導出該選定NN模型之參數，其中該等參數包含該選定NN模型之層中之節點之節點權重及/或節點偏差。提供利用全域映射及區域映射表示之例示性HDR至SDR映射。

Description

用於將影像自第一動態範圍映射至第二動態範圍之方法
本發明大體上係關於影像。更特定言之，本發明之一實施例係關於利用神經網路映射將高動態範圍影像自一個表示映射至另一表示。
如本文中利用，術語「動態範圍」(DR)可係關於人類視覺系統(HVS)感知一影像中之一強度(例如，照度、亮度)範圍(例如，自最暗灰色(黑色)至最亮白色(強光))之一能力。在此意義上，DR係關於一「場景參考」強度。DR亦可係關於一顯示器件充分或近似地呈現具有一特定廣度之一強度範圍之能力。在此意義上，DR係關於一「顯示參考」強度。除非在本文中之描述中之任何點處明確指定一特定意義具有特定重要性，否則應推斷，術語可在任一意義上(例如，互換地)利用。
如本文中利用，術語高動態範圍(HDR)係關於橫跨人類視覺系統(HVS)之14至15個數量級之一DR廣度。實務上，相對於HDR，吾等類可在其內同時感知強度範圍中之一廣泛廣度之DR可稍微被截斷。如本文中利用，術語視覺動態範圍(VDR)可個別地或互換地係關於可藉由包含眼動之吾等類視覺系統(HVS)在一場景或影像內感知，從而容許跨場景 或影像之一些光調適改變之DR。如本文中利用，VDR可係關於橫跨5至6個數量級之一DR。因此，雖然相對於真實場景參考HDR，VDR可能稍微更窄，但VDR仍表示一寬DR廣度且亦可被稱為HDR。
實務上，影像包括一或多個色彩分量(例如，亮度Y以及色度Cb及Cr)，其中各色彩分量由每一像素n個位元之一精確度表示(例如，n=8)。利用線性照度編碼，其中n
Figure 108112378-A0305-02-0004-75
8(例如，彩色24位元JPEG影像)之影像被視為具有標準動態範圍之影像，而其中n>8之影像可被視為具有增強動態範圍之影像。亦可利用高精確度(例如，16位元)浮點格式(諸如由Industrial Light and Magic開發之OpenEXR檔案格式)儲存並分佈HDR影像。
大多數消費者桌上型顯示器當前支援200至300cd/m2或尼特之照度。大多數消費者HDTV在自300至500尼特之範圍內，其中新模型達到1000尼特(cd/m2)。因此，相對於HDR，一些習知顯示器代表一較低動態範圍(LDR)(亦被稱為一標準動態範圍(SDR))。隨著HDR內容之可用性歸因於捕獲設備(例如，相機)及HDR顯示器(例如，來自Dolby Laboratories之PRM-4200專業參考監視器)之進步而增長，HDR內容可經色彩分級且顯示於支援較高動態範圍(例如，自1,000尼特至5,000尼特或更多)之HDR顯示器上。
如G-M Su等人之美國專利8,811,490，「Multiple color channel,multiple regression predictor」中論述，影像預測技術在利用單層及多層編碼技術之HDR內容之有效編碼及分佈中扮演一重要角色。影像預測可被視為影像映射之一特殊情況，其中一第一表示中之一影像(例如，相對於動態範圍及/或色域，例如，一SDR影像)經映射至一第二表示 之一影像(例如，一HDR影像)。
在人工神經網路中，根據「通用近似定理(universal approximation theorem)」，給定適當參數，廣範圍之函數可由多種簡單神經網路(NN)表示。如本發明者瞭解，期望用於利用簡單神經網路進行HDR影像及/或導出HDR或SDR影像之間之影像映射之改良技術。
US 2010246940 A1描述一種產生一高動態範圍影像之方法及一種利用該方法之電子器件。該方法包含：載入由一神經網路演算法產生之一亮度調整模型；獲得一原始影像；擷取原始影像之一像素特性值、一第一方向上之一第一特性值及一第二方向上之一第二特性值；及根據原始影像之像素特性值、第一特性值及第二特性值透過亮度調整模型產生一HDR影像。電子器件包含一亮度調整模型、一特性值擷取單元及一亮度調整程序。電子器件透過特性值擷取單元擷取一原始影像之一像素特性值、一第一特性值及一第二特性值，且透過亮度調整模型自原始影像產生一HDR影像。
WO2018064591(A1)描述用於利用神經網路產生視訊圖框之方法。方法之一者包含：利用一編碼器神經網路處理一序列視訊圖框以產生一經編碼表示；及根據一像素順序及一通道順序逐像素產生一經預測下一圖框，包括：針對各像素之各色彩通道，提供以下項作為至一解碼器神經網路之輸入：(i)經編碼表示；(ii)在像素順序中在像素之前之任何像素之色彩值；及(iii)在通道順序中在色彩通道之前之任何色彩通道之像素之色彩值，其中解碼器神經網路經組態以產生一輸出，該輸出定義複數個可能色彩值內之一分數分佈，且藉由自分數分佈進行取樣而判定像素之色彩通道之色彩值。
在Fahd Bouzaraa之「CNN Based Non-Local Color Mapping」，2016 IEEE International Symposium on Multimedia ISM，2016年12月11日，第313至316頁中，論述用於將一影像之色彩轉移至一參考分佈之色彩映射。以此方式，可利用一單一影像(例如)藉由將一暗影像變換為展示相同場景之一較亮影像而模擬不同相機曝光。用於色彩映射之大多數方法在其等僅應用一像素層級(pixel-wise)(局部)映射以產生色彩映射影像之意義上係局部的。然而，在所呈現方法中，提出一非局部映射，其係基於利用一卷積神經網路直接自影像紋理學習之特徵。
在此段落中描述之方法係可追求之方法，但不一定係先前已構想或追求之方法。因此，除非另外指示，否則不應假定在此段落中描述之方法之任何者僅因其等包含於此段落中而有資格作為先前技術。類似地，除非另外指示，否則不應假定已在此段落之基礎上在任何先前技術中辨識關於一或多個方法識別之問題。
本申請案係關於一種用於將影像自一第一動態範圍映射至一第二動態範圍之方法。該方法包括：提供一或多個神經網路(NN)模型，各NN模型經調適以相對於具有一第二動態範圍之一影像近似表示具有一第一動態範圍之一影像；接收在該第一動態範圍中之一第一影像及在該第二動態範圍中之一第二影像，其中該兩個影像表示相同場景；自該多種NN模型選擇一神經網路模型以基於該第一影像及該第二影像判定近似表示該第二影像之一輸出影像；根據一最佳化準則、該第一影像及該第二影像判定該選定NN模型之參數之值，其中該等參數包括該選定NN模型之層之節點之節點權重及/或節點偏差；及輸出該選定NN模型之該等參數。
本申請案亦係關於一種用於將一影像自一第一動態範圍映射至一第二動態範圍之方法。該方法包括：接收包括在一第一動態範圍中之一經編碼影像及影像後設資料之一經壓縮位元流，其中該影像後設資料包括供一神經網路(NN)模型將該經編碼影像映射至一輸出影像之參數，其中針對該經編碼影像之一或多個色彩分量，該影像後設資料包括該NN中之神經網路層之一數目、至少一個層之神經節點之一數目及欲與該至少一個層之一節點之一啟動函數一起利用之一權重及一偏移；及基於該經編碼影像及該NN模型之該等參數產生一輸出影像。
100:高動態範圍(HDR)-標準動態範圍(SDR)系統
110:高動態範圍(HDR)相機
120:主控程序/主控電路
125:目標高動態範圍(HDR)影像/目標高動態範圍(HDR)輸出
130:編碼器
140:目標高動態範圍(HDR)轉標準動態範圍(SDR)轉 換器
145:標準動態範圍(SDR)影像
145-1:標準動態範圍(SDR)輸出
145-2:標準動態範圍(SDR)輸出
150:解碼器
155:目標高動態範圍(HDR)影像
157:標準動態範圍(SDR)影像
160:目標高動態範圍(HDR)顯示器
165:標準動態範圍(SDR)顯示器
200-E:編碼器
205:目標高動態範圍(HDR)輸入
207:標準動態範圍(SDR)'
210:轉換器
220:壓縮系統
225:基礎層
230:解壓縮
240:逆變換
245:標準動態範圍(SDR)信號/基礎層
250D:預測器
250E:預測器
255:後設資料
257:經預測目標高動態範圍(HDR)
260:加法器
265:輸出殘餘信號
270:經編碼位元流
290:高動態範圍(HDR)信號
305-Cb:Cb-神經網路映射(NNM)
305-Cr:Cr-神經網路映射(NNM)
305-Y:Y-神經網路映射(NNM)
307:輸入/埠
307-Cb:輸入
307-Cr:輸入
307-Y:輸入
310:按比例縮小器
315:按比例放大器
350:單一YCbCr神經網路映射(NNM)
360:信號
370-1:YCbCr神經網路(NN)/神經網路映射(NNM)
370-2:YCbCr神經網路(NN)/神經網路映射(NNM)
372:神經網路映射(NNM)參數/後設資料
380-Cb:Cb-神經網路映射(NNM)
380-Cr:Cr-神經網路映射(NNM)
380-Y:Y-神經網路映射(NNM)
382-Cb:後設資料
382-Cr:後設資料
382-Y:後設資料
400:架構/系統
405:亮度3D-映射表(MT)
407:
Figure 108112378-A0305-02-0042-69
409-Y:
Figure 108112378-A0305-02-0042-70
410:色度3D-映射表(MT)
412:
Figure 108112378-A0305-02-0042-71
414-Cb:
Figure 108112378-A0305-02-0042-72
414-Cr:
Figure 108112378-A0305-02-0042-73
415:神經網路映射(NNM)
415-Cb:Cb神經網路映射(NNM)
415-Cr:Cr神經網路映射(NNM)
415-Y:Y神經網路映射(NNM)
500:映射程序
505:步驟
510:步驟
515:步驟
520:步驟
605-1至605-N-1:輸入節點
610-1至610-N0:隱藏第一層
615-1至615-N1:隱藏第二層
620-1至620-N2:輸出節點
本發明之一實施例藉由實例且並非藉由限制在隨附圖式之圖中繪示，且其中相同元件符號係指類似元件且其中：圖1描繪用於編碼且傳輸HDR資料之一例示性資料流；圖2A描繪一例示性HDR編碼系統；圖2B描繪一例示性HDR解碼系統；圖3A描繪根據本發明之一實施例之用於利用神經網路產生一全域映射之一例示性系統；圖3B描繪根據本發明之一實施例之用於利用神經網路產生一區域映射之一例示性系統；圖3C描繪根據本發明之一實施例之用於利用神經網路產生具有多個等級之一全域映射之一例示性系統；圖3D描繪根據本發明之一實施例之用於利用一單一YCbCr網路產生一全域映射之一例示性系統；圖3E描繪根據本發明之一實施例之用於利用一單一YCbCr 神經網路映射之一預測器之一例示性系統；圖3F描繪根據本發明之一實施例之用於利用一全域-映射神經網路之一預測器之一例示性系統；圖4描繪根據本發明之一實施例之用於利用神經網路及3D映射表產生全域映射之一例示性系統；圖5描繪根據本發明之一實施例之用於利用神經網路導出影像映射函數之一例示性程序；及圖6描繪具有兩個隱藏層之一例示性神經網路。
相關申請案之交叉參考
本申請案主張2018年4月9日申請之美國臨時專利申請案第62/654,614號及2018年4月9日申請之歐洲專利申請案第18166320.4號之優先權之權利，該兩個案之全文以引用的方式併入本文中。
本文中描述基於神經網路導出影像映射函數。給定一組對應影像(即，表示相同場景但在動態範圍之不同位準下之影像)，此段落描述容許一編碼器利用一基於神經網路之映射相對於一個影像近似表示另一影像之方法。在以下描述中，出於解釋目的，闡述數種特定細節以便提供對本發明之一透徹理解。然而，將明白，可在無此等具體細節之情況下實踐本發明。在其他例項中，未詳盡描述熟知結構及器件，以便避免不必要地阻礙、模糊或混淆本發明。
概述
本文中描述之例示性實施例係關於利用神經網路導出影像映射函數。在一第一實施例中，一編碼器存取一或多個神經網路(NN)模 型，各NN模型經調適以相對於具有一第二動態範圍之一影像近似表示具有一第一動態範圍之一影像。編碼器接收在第一動態範圍中之一第一影像及在第二動態範圍中之一第二影像，其中兩個影像表示相同場景。編碼器自多種NN模型選擇一神經網路模型以基於第一影像及第二影像判定近似表示第二影像之一輸出影像。接著，其根據一最佳化準則、第一影像及第二影像判定選定NN模型之參數之至少一些值，其中參數包括欲與選定NN模型之至少一個層中之至少一些節點之一啟動函數一起利用之節點權重及/或節點偏差。在此，應提及，可預判定一些節點權重及/或節點偏差且因此，可不必根據最佳化準則判定選定NN模型之參數之全部值。可壓縮經產生輸出影像，且可將特性化映射之NN參數編碼為後設資料以傳遞至一解碼器。
在一第二實施例中，一解碼器接收包括一第一動態範圍中之一經編碼影像及影像後設資料之一經壓縮位元流，其中影像後設資料包括供一神經網路(NN)模型將經編碼影像映射至一第二動態範圍中之一輸出影像之參數。針對經編碼影像之一或多個色彩分量，影像後設資料可包括：NN中之神經網路層之數目；至少一個層之神經節點之數目；及至少一個層之一些節點中欲與一啟動函數一起利用之權重及偏移。在解碼經編碼影像之後，解碼器基於經編碼影像及NN模型之參數產生第二動態範圍中之一輸出影像。
例示性HDR-SDR系統
圖1描繪根據本發明之一實施例之一HDR-SDR系統(100)之一例示性資料流。利用一HDR相機(110)擷取一HDR影像或視訊序列。在擷取之後，經擷取影像或視訊由一主控程序(120)處理以產生一目標 HDR影像(125)。主控程序可併入多種處理步驟，諸如：編輯、主及次級色彩校正、色彩變換及雜訊過濾。此程序之HDR輸出(125)表示指導者關於經擷取影像將如何顯示於一目標HDR顯示器(例如，HDR顯示器160)上之意圖。
主控程序亦可輸出一對應SDR影像(145)，該對應SDR影像(145)表示指導者關於經擷取影像將如何顯示於一舊型SDR顯示器(165)上之意圖。SDR輸出(例如，145-1或145-2)可自主控電路120直接提供，其可利用一單獨HDR轉SDR轉換器140產生，或其可在一配色師之幫助下產生。
如本文中利用，術語「修整通過(trim-pass)」表示內容產生中之一階段，其中將在一第一目標顯示器(例如，在4,000尼特下之一專業監視器)上產生之一視訊串流經重新映射至針對具有一不同動態範圍及/或色域之第二目標顯示器(例如，針對在300尼特下之一SDR TV)之一第二串流。一修整通過可由一配色師進一步調整以產生原始視訊串流之一「色彩等級」。一工作室可產生多個「修整」及/或「色彩等級」，例如，用於在以下項中發行：SDR電影院(例如，48尼特)、HDR電影院(例如，100尼特)、SDR TV(例如，300尼特)、HDR TV(例如，1,000尼特)及類似者。兩個修整亦可具有相同動態範圍，但不同色域。如本文中利用，術語「導出圖像」表示自一主控HDR或SDR圖像導出之任何此經修整或色彩分級圖像。
在此例示性實施例中，將HDR 125及SDR 145信號輸入至一編碼器130中。編碼器130之目的係產生一經編碼位元流，該經編碼位元流減小傳輸HDR及SDR信號所需之頻寬，但亦容許一對應解碼器150解 碼且呈現SDR或HDR信號。在一例示性實施方案中，編碼器130可係一單層或一多層編碼器，諸如由MPEG-2及H.264編碼標準定義之該等編碼器之一者，該編碼器將其輸出表示為一基礎層、選用一或多個增強層及後設資料。如本文中利用，術語「後設資料」係關於作為經編碼位元流之部分傳輸且輔助一解碼器呈現一經解碼影像之任何輔助資訊。此後設資料可包含(但不限於)諸如以下項之資料：色彩空間或色域資訊、動態範圍資訊、色調映射資訊或NN節點參數(諸如本文中描述之NN節點參數)。
在接收器上，一解碼器(150)利用經接收之經編碼位元流及後設資料以根據目標顯示器之能力呈現一SDR影像(157)或一HDR影像(155)。例如，一SDR顯示器(165)可僅利用基礎層及後設資料來呈現一SDR影像。相比之下，一HDR顯示器(160)可利用來自全部輸入層之資訊及後設資料來呈現HDR信號。
在一些實施例中，系統(100)可應用輸入視訊內容(未展示)之「重塑形」以更佳匹配130中之視訊編碼器之能力。如本文中利用，術語「正向重塑形」表示一數位影像自其原始位元深度及原始碼字分佈或表示(例如，γ、PQ或HLG及類似者)至具有相同或不同位元深度及一不同碼字分佈或表示之一影像之樣品至樣品或碼字至碼字映射之一程序。重塑形容許按一固定位元率之改良之可壓縮性或改良之影像品質。例如但無限制，可將重塑形應用至10位元或12位元PQ編碼HDR視訊以改良一10位元視訊編碼架構中之編碼效率。在一接收器中，在解壓縮經重塑形信號之後，接收器可應用一「逆重塑形函數」以將信號復原至其原始碼字分佈。可在由G-M.Su在2016年3月30日申請之PCT申請案PCT/US2016/025082，In-Loop Block-Based Image Reshaping in High Dynamic Range Video Coding(該案亦發表為WO 2016/164235)中找到影像重塑形之一實例。
圖2A更詳細展示併入本發明之方法之編碼器130之一例示性實施方案。在圖2A中，SDR'(207)表示一增強SDR信號。如今，SDR視訊係8至10位元，4：2：0，ITU Rec.709資料。SDR'可與SDR具有相同色彩空間(原色及白點)，但可利用高精確度(例如，每一像素12個位元)，其中全部色彩分量依全空間解析度(例如，4：4：4 RGB)。自圖2A，可利用可包含自(例如)每像素12個位元至每像素10個位元之量化(或正向重塑形)之一組正向變換、色彩變換(例如，自RGB至YUV)及色彩次取樣(例如，自4：4：4至4：2：0)容易地自一SDR'信號導出SDR。將轉換器210之SDR輸出應用至壓縮系統220。取決於應用，壓縮系統220可有損耗的(諸如H.264、MPEG-2及類似者)或無損耗的。壓縮系統220之輸出可作為一基礎層225傳輸。為了減小經編碼信號與經解碼信號之間之漂移，編碼器130遵循壓縮程序220與一對應解壓縮程序230及逆變換240(對應於210之正向變換)並不罕見。因此，預測器(250E)可具有以下輸入：HDR輸入205及對應於SDR'信號(因其將由一對應解碼器接收)之SDR信號245或輸入SDR'207。利用輸入HDR及SDR資料，預測器250E將產生信號257，該信號257表示輸入HDR 205之一近似表示或估計。在分層系統中，加法器260自原始HDR 205減去經預測HDR 257以形成輸出殘餘信號265。隨後(未展示)，殘餘265亦可由另一有損耗或無損耗編碼器編碼，且可經傳輸至解碼器作為一增強層。
預測器250E亦可提供在預測程序中利用之預測參數作為後設資料(255)。由於預測參數可在編碼程序期間(例如)在一逐圖框基礎上或 在一逐場景基礎上改變，故可將此等後設資料傳輸至解碼器作為亦包含基礎層及增強層之資料之部分。
由於HDR 125及SDR 145兩者表示相同場景，但標定具有不同特性(諸如動態範圍及色域)之不同顯示器，故預期在此兩個信號之間存在一非常緊密相關性。在本發明之例示性實施例中，開發容許利用一神經網路映射將輸入參考信號映射至近似表示之新穎映射函數。雖然提供HDR至SDR映射之實例，但相同技術可用於兩個不同HDR等級之間、兩個不同SDR等級之間或SDR等級與HDR等級之間之影像映射。
本發明之實施例可在一影像編碼器或一影像解碼器上實施。圖2B展示根據本發明之一實施例之解碼器150之一例示性實施方案。解碼系統150接收一經編碼位元流(270)，例如，自編碼器200-E產生之一個經編碼位元流(270)，其可組合在解壓縮(230)及其他逆變換(240)之後提取之一基礎層(例如，245)、一選用增強層(或殘餘)(例如，265)及後設資料(255)。例如，在一HDR-SDR系統中，基礎層(245)可表示經編碼HDR信號之SDR表示且後設資料255可包含關於在編碼器預測器250E中利用之神經網路映射(NNM)及對應NNM參數之資訊。在一個例示性實施方案中，當編碼器利用根據本發明之方法之NN映射時，後設資料可包含所利用之模型(例如，全域映射、區域映射及類似者)之識別及與該特定模型相關聯之全部參數。給定基礎層245及自後設資料255提取之NNM相關參數，預測器250D可計算經預測HDR(257)。若不存在殘餘，或殘餘可忽略，則可直接輸出經預測信號257作為最終HDR影像。否則，在加法器260中，將預測器(250D)之輸出(257)加至殘餘265以輸出HDR信號290。
例示性神經網路映射
背景
在無限制之情況下，使
Figure 108112378-A0305-02-0014-1
表示來自一第一影像(諸如一HDR影像(125))之第i個像素之一3色彩值(例如，RGB或YCbCr及類似者)。將第二影像(例如，SDR影像145)中之對應第i個像素表示為
Figure 108112378-A0305-02-0014-2
。將各影像中之像素之總數目表示為P且假定全部像素值在[0 1]之間正規化。吾等想要找到映射函數M0，從而將來自第一影像之像素值映射至第二影像中之對應像素值(或反之亦然)，即：
Figure 108112378-A0305-02-0014-3
或
Figure 108112378-A0305-02-0014-4
在一實施例中，在一多層神經網路中，可將第j個層表達為應用至其輸入之各者之權重及偏差之一非線性函數：x j =Φ j (x j-1 )=f j (W j x j-1 +b j ),j=0,1,2,...,L, (2)
其中w j 係一加權矩陣，b j 係一偏差向量，f j 0係一啟動函數，x j-1係輸入(來自先前層之輸出)且x j 係當前層之輸出。例如，可將x j 表示為
Figure 108112378-A0305-02-0014-84
 其中N j 表示在神經網路之第j層級處之節點之數目。應注意，第j層級處之節點之數目可不同於另一層級中之節點之數目。給定具有L個層之一NN，其可表示為一[N 0 N 1...N L-1]NN。例如，一[8 4 4]NN表示具有三個層之一神經網路，在第一層中具有8個節點且在另兩個層之各者中具有4個節點。
存在若干普遍利用之啟動函數f j 0。在一實施例中，f j 0係一S型函數：
Figure 108112378-A0305-02-0015-5
針對第一層(例如，j=0)，輸入將係原始輸入像素值，即，假定方程式(1a)之映射，則X -1 =V i 。
備註：在此描述之剩餘部分中，可相對於方程式(1a)中之映射表達一NN之輸入及輸出參數；然而，可藉由簡單地切換SDR及HDR輸入而容易地擴展本文中描述之方法以表示方程式(1b)之映射。
一L隱藏層網路將具有
Figure 108112378-A0305-02-0015-7
圖6描繪具有一輸入層(605)、兩個隱藏層(610及615)及一個輸出層(620)之一例示性神經網路。輸入節點(605-1至605-N-1)表示吾人之輸入像素(例如，V i )，輸出節點(620-1至620-N2)表示吾人之映射值(例如，
Figure 108112378-A0305-02-0015-8
)，且在隱藏第一層(610-1至610-N0)及隱藏第二層(615-1至615-N1)中之節點分別表示x 0 =Φ 0 (v i )及X 1 =Φ 1 (X 0 )。
目標係找到全部(L+1)層中之參數{W j ,b j }，j=0,1,...,L，以最小化全部P像素之總最小均方差(MSE)：
Figure 108112378-A0305-02-0015-9
可將問題正式地用公式表示為：
Figure 108112378-A0305-02-0015-10
在一實施例中，可利用「反向傳播」找到方程式(6)之一解。應注意，代替具有一單一NN，吾等亦可採用三個或三個以上神經網 路，各用於輸入信號中之色彩分量之各者。
輸入正規化
在一實施例中，可藉由將輸入信號重新正規化至範圍[-1 1]而改良效能。在此一實施方案中，神經網路需要包含
˙一預按比例調整階段(正規化)，其中將輸入信號中之各通道按比例調整至[-1 1]
˙一後按比例調整階段(去正規化)，其中將在[-1 1]中之輸出信號中之各通道按比例調整回至原始範圍
將各輸入色彩通道(表示為y、c0及c1)之最小及最大值表示為
Figure 108112378-A0305-02-0016-11
可將執行對一新動態範圍
Figure 108112378-A0305-02-0016-12
(即，在吾等實例中，[-1 1])之正規化之增益導出為
Figure 108112378-A0305-02-0016-13
將正規化執行為
Figure 108112378-A0305-02-0016-14
將去正規化計算為：
Figure 108112378-A0305-02-0017-15
可利用可經傳達至一接收器作為後設資料之以下參數表示一基於L層神經網路之映射：
˙各輸入分量(例如，增益、最小值及最大值)之正規化參數{G,n min,n max}
˙L層神經參數；例如，在第j個層中，{W j ,b j }，j=0,2,...,L
接著，詳細描述三個不同例示性實施例。
利用一全域映射NN之影像映射
圖3A描繪用於根據全域映射之一實施例產生一HDR至SDR映射之一例示性系統，其中對整個影像執行相同像素映射而無關於像素之位置。作為一實例，在不損失一般性之情況下，假定輸入呈YCbCr 4：2：0格式；然而，類似架構適用而無關於所利用之色彩格式(例如，YCbCr 4：2：2或4：4：4、RGB、ICtCp及類似者)。給定參考HDR(125)及SDR(145)圖框，利用三個神經網路(305)以映射Y、Cb及Cr。由於輸入4：2：0格式，故在一實施例中，可利用按比例縮小器(down-scaler)310及按比例放大器(up-scaler)315，使得至NN單元(305)之全部輸入具有相同空間解析度。若輸入呈一4：4：4格式，則可消除此等按比例放大及按比例縮小函數。如圖3A中描繪：
˙Y-NNM(305-Y)具有輸入v Y 、v Cb,Cr(經上取樣)及s Y ，且輸出映射SDR
Figure 108112378-A0305-02-0017-74
及後設資料
˙Cb-NNM(305-Cb)具有輸入v Y (經下取樣)、v Cb,Cr及s Cb ，且輸出映 射SDR
Figure 108112378-A0305-02-0018-16
及後設資料
˙Cr-NNM(305-Cr)具有輸入v Y (經下取樣)、v Cb,Cr及s Cr ，且輸出映射SDR
Figure 108112378-A0305-02-0018-17
及後設資料
各NNM 305可包括一單一層(例如，具有16個節點之一個層，其表示為[16])或多個層(例如，一[8 4 4]NN)。可在M.T.Hagan等人之「Neural Network Design」(第2版)，2014年，或在S.O.Haykin之「Neural Networks and Learning Machines」(第3版)，Pearson,2008年中找到NNM之實施方案實例。亦可利用Matlab之Neural NetworkToolbox中之MATLAB functions fitnet and train。
利用區域映射NN之影像映射
圖3B描繪根據一實施例之用於產生一HDR至SDR映射之一例示性系統，其中依區域級執行像素映射(區域映射)。為了模型化此空間域變異數，神經網路映射(NNM)單元(305)包含表示位置像素資訊之一額外輸入307。使(x i ,y i )表示第i個像素之正規化座標，即，x i
Figure 108112378-A0305-02-0018-76
[0,1]及y i
Figure 108112378-A0305-02-0018-77
[0,1]。可藉由將原始座標除以影像之對應尺寸(例如，寬度及高度)而計算此等正規化值。接著，可將輸入HDR向量表示為
Figure 108112378-A0305-02-0018-18
如圖3B中描繪：
˙Y-NNM(305-Y)具有輸入v Y 、v Cb,Cr(經上取樣)、s Y 及(x Y ,y Y )，且輸出映射SDR
Figure 108112378-A0305-02-0018-19
及後設資料
˙Cb-NNM(305-Cb)具有輸入v Y (經下取樣)、v Cb,Cr、s Cb 及(x Cb ,y Cb )，且輸出映射SDR
Figure 108112378-A0305-02-0018-20
及後設資料
˙Cr-NNM(305-Cr)具有輸入v Y (經下取樣)、v Cb,Cr、s Cr 及(x Cr ,y Cr )， 且輸出映射SDR
Figure 108112378-A0305-02-0019-21
及後設資料
給定輸入呈YCbCr 4：2：0格式，亮度及色度分量需要不同處理。針對亮度，Y-NNM(305-Y)，在輸入307-Y中，其利用全解析度(x i ,y i )；然而，針對色度，Cb-NNM(305-Cb)及Cr-NNM(305 Cr)，在輸入307-Cb及307-Cr中，其等利用原始解析度(x i ,y i )之按比例調整版本(例如，x i /2,y i /2)。應注意，兩個座標需要在正規化[0,1]域中。唯一差異係位置由不同影像大小正規化。
利用多個等級之影像映射
在一實施例中，如先前論述，一編碼器可能可存取多個SDR或HDR「等級」或「修整」。接著，如圖3C中展示，神經網路映射網路可利用多個修整以進一步改良自一個表示至另一表示之映射。
針對第k等級之參考影像中之第i個像素之三色彩值表示為
Figure 108112378-A0305-02-0019-22
。在一實施例中，可將全部等級級聯在一起作為一向量
Figure 108112378-A0305-02-0019-23
接著，針對各NNM，輸入向量需要包含正規化目標亮度值(例如，以尼特為單元)，t k
Figure 108112378-A0305-02-0019-98
[0,1]且變為一4輸人向量。
Figure 108112378-A0305-02-0019-24
Figure 108112378-A0305-02-0019-25
例如，針對100尼特修整，t 0 =0.1，且針對600尼特，t 1 =0.6。可利用埠(307)饋入此等等級ID。再次，可將映射問題表達為對於映射函數M()之解，其中
Figure 108112378-A0305-02-0020-26
如圖3C中描繪：
˙Y-NNM(305-Y)具有輸入v Y 、v Cb,Cr(經上取樣)、s Y 及可用等級ID(例如，t 0 、t 1 及t 2 )，且輸出映射SDR
Figure 108112378-A0305-02-0020-27
及後設資料
˙Cb-NNM(305-Cb)具有輸入v Y (經下取樣)、v Cb,Cr、s Cb 及(x Cb ,y Cb )及可用等級ID(例如，t 0 、t 1 及t 2 )，且輸出映射SDR
Figure 108112378-A0305-02-0020-28
及後設資料
˙Cr-NNM(305-Cr)具有輸入v Y (經下取樣)、v Cb,Cr、s Cr 及可用等級ID(例如，t 0 、t 1 及t 2 )，且輸出映射SDR
Figure 108112378-A0305-02-0020-29
及後設資料
熟習此項技術者可瞭解，可利用多個其他變動以產生HDR至SDR或SDR至HDR映射函數。例如，圖3C中之NNM亦可利用如圖3B中之像素位置資訊。替代地，全部NNM可考量來自多個時間例項之HDR及SDR圖框。可在一神經網路中考量之其他影像屬性可包含影像對比度、影像飽和及邊緣強度。例如，邊緣偵測可用於改良區域色調映射。
利用3D映射表改良計算效率
如本文中利用，術語「3D映射表(3D-MT或3DMT)」係指表示輸入影像資料且用於更有效影像處理之一3D查找表。在B.Wen等人在2017年10月4日申請之美國專利申請案第15/725,101號，「Inverse Luma/Chroma Mappings with Histogram Transfer and Approximation」中首次介紹3D映射表，該案以引用的方式併入本文中。導出一3D映射表作為2D映射之一擴展，其中基於兩個影像之累積密度函數(CDF)應匹配之約束將一第一動態範圍中之一影像映射至另一動態範圍中。
一3D-MT表減少基於像素之計算且可產生映射，該等映射產生具有改良之色彩準確度之輸出影像。在一實施例中，可如下般建構欲 在基於神經網路之映射中利用之一3D-MT。
在利用一第一影像及一第二影像作為參考之一映射中，將來自第一影像(例如，一HDR影像)之第i個像素之三色彩值表示為
Figure 108112378-A0305-02-0021-30
，且將第二影像(例如，一SDR影像)中之對應第i個像素表示為
Figure 108112378-A0305-02-0021-31
。首先，吾等利用針對各分量之固定數目個分格
Figure 108112378-A0305-02-0021-87
量化具有三個通道值(例如，Y、C0及C1)之第一影像。應注意，一或多個色彩分量中之分格之數目可不同於其他色彩分量中之分格之數目。此等分格將用於計算其(
Figure 108112378-A0305-02-0021-89
)3D直方圖。將3D直方圖表示為Ω Q,v ，其中
Figure 108112378-A0305-02-0021-92
。因此，Ω Q,v 含有總共
Figure 108112378-A0305-02-0021-93
個分格，且由分格索引
Figure 108112378-A0305-02-0021-94
指定之各3D分格表示具有該等3通道量化值之像素之數目。針對各3D分格，吾等亦計算第二影像中之各色彩分量之總和。使
Figure 108112378-A0305-02-0021-32
、
Figure 108112378-A0305-02-0021-33
及
Figure 108112378-A0305-02-0021-34
為第二影像域中之經映射亮度及色度值，使得此等之各分格含有全部HDR亮度及兩個色度(分別為C 0 及C 1 )像素值之總和，其中對應像素值位於該分格中。可以偽碼概括此等操作，如表1至3中描述。
Figure 108112378-A0305-02-0021-35
Figure 108112378-A0305-02-0022-36
使(
Figure 108112378-A0305-02-0022-37
，
Figure 108112378-A0305-02-0022-38
，
Figure 108112378-A0305-02-0022-39
)表示第二影像中之第q個分格之中心。此等值針對全部圖框固定且可經預計算：
Figure 108112378-A0305-02-0022-40
Figure 108112378-A0305-02-0023-41
下一步驟係識別具有非零數目個像素且摒棄不具有任何像素之該等分格之3D直方圖分格。使q 0 ,q 1 ,...q k-1 為k個此等分格，針對其等，
Figure 108112378-A0305-02-0023-42
。計算
Figure 108112378-A0305-02-0023-43
、
Figure 108112378-A0305-02-0023-44
及
Figure 108112378-A0305-02-0023-45
之平均值。
Figure 108112378-A0305-02-0023-46
表示
Figure 108112378-A0305-02-0023-47
接著，利用如上文針對有效q值定義之
Figure 108112378-A0305-02-0023-48
及
Figure 108112378-A0305-02-0023-49
對替換v i 及s i 值之原始集。
圖4描繪根據一實施例之用於利用3D映射表及神經網路產生一HDR至SDR映射之一例示性架構(400)。如圖4中描繪，系統使用兩個3D-MT：一亮度3D-MT(405)及一色度3D-MT(410)。為了產生此等3D-MT，吾等可針對以下輸入應用表1至3中之步驟：
˙針對亮度3D-MT：輸入係：原始解析度中之HDR Y、經上取樣之HDR Cb/Cr、原始解析度中之SDR Y及經上取樣之SDR Cb/Cr；可將輸出表示為以下項之映射
Figure 108112378-A0305-02-0024-50
(407)至
Figure 108112378-A0305-02-0024-51
(409)
˙針對色度3DMT：輸入係經下取樣之HDR Y、原始解析度中之HDR Cb/Cr、經下取樣之SDR Y及原始解析度中之SDR Cb/Cr；可將輸出表示為以下項之映射
Figure 108112378-A0305-02-0024-52
(412)至
Figure 108112378-A0305-02-0024-53
(414)。
在系統400中，基於兩個3D-MT之輸出產生三個神經網路映射(415)(針對亮度及色度)。例如，在一實施例中，針對：
˙Y NNM(415-Y)，輸入係來自第一3DMT之
Figure 108112378-A0305-02-0024-54
(407)及
Figure 108112378-A0305-02-0024-56
(409-Y)，且輸出將係Y-NNM網路之參數
˙Cb NNM(415-Cb)，輸入係來自第二3DMT之
Figure 108112378-A0305-02-0024-55
(412)及
Figure 108112378-A0305-02-0024-57
(414-Cb)，且輸出將係Cb-NNM網路之參數
˙Cr NNM(415-Cr)，輸入係來自第二3DMT之
Figure 108112378-A0305-02-0024-59
(412)及
Figure 108112378-A0305-02-0024-60
(414-Cr)，且輸出將係Cr-NNM網路之參數
利用3DMT提供以下優點：a)吾等可利用遠更少點練習神經網路，此係因為分格之數目遠小於像素之數目。此容許更快收斂，此在即時應用中非常重要。b)產生3D-MT實際上將像素合併至具有「重要像素」之分格中，因此減小由相對於影像品質之較低值之多個像素使NN決策偏差之效應。
(400)系統等效於圖3A中描述之系統。可藉由將3D映射表之概念擴展至更高尺寸(例如，藉由利用一5D-MT用於區域映射(圖3B))而 容易地擴展該系統以支援圖3B及圖3C中之架構。
在另一實施例中，可將三個神經網路映射(415)Y-NNM、Cb-NNM及Cr-NNM組合成一單一YCbCr-NNM，從而直接產生亮度及色度值兩者。此一實施方案將需要較少NN參數以表示HDR至SDR映射。作為一實例，圖3D描繪利用一單一YCbCr NNM(350)產生兩個色彩等級之間之一全域映射之一系統。給定由圖3D中之系統產生之NNM參數(372)，圖3E描繪一例示性預測器(例如，250D)，其應用映射函數(如由NN之參數特性化，亦即，後設資料(372))以利用YCbCr NNM 370重建原始資料。 例如，若信號360(源等級)表示SDR資料，則經映射YCbCr資料表示經預測HDR資料，且若信號360表示輸入HDR資料，則經映射YCbCr資料表示經預測SDR資料。兩個YCbCr NN(370-1,370-2)相同，但每一者稍微不同地處置輸入資料。針對亮度(Y)，NNM 370-1需要將輸入色度資料經上取樣至全解析度(與Y之解析度相同)。摒棄370-1之Cb/Cr輸出。針對色度，NNM 370-2需要輸入亮度資料經下取樣以匹配色度分量之解析度。 可摒棄NNM 370-2之亮度輸出。在另一實施例中，NNM 370可係一單一、時間共用之NN網路。
可容易地針對圖3A至圖3C中先前描述之其他神經網路映射設計之任何者調適圖3E中描繪之架構。例如，圖3F描繪基於圖3A之全域映射之一預測器。現利用三個相異NN替換圖3E中之NNM(370)，一個用於Y(380-Y)，一個用於Cb(380-Cb)且一個用於Cr(380-Cr)，每一者接收其自身之相異後設資料(382-Y/Cb/Cr)。如在圖3E中，針對4：2：0資料，適當地上取樣或下取樣至此等NN之各者之亮度及色度輸入。如圖3F中描繪，假定一v(360)至
Figure 108112378-A0305-02-0025-62
映射：
˙Y-NNM(380-Y)具有輸入v Y 、v Cb,Cr(經上取樣)及後設資料382-Y，且輸出映射
Figure 108112378-A0305-02-0026-63
˙Cb-NNM(380-Cb)具有輸入v Y (經下取樣)、v Cb,Cr及後設資料382-Cb，且輸出映射
Figure 108112378-A0305-02-0026-65
˙Cr-NNM(380-Cr)具有輸入v Y (經下取樣)、v Cb,Cr及後設資料382-Cb，且輸出映射
Figure 108112378-A0305-02-0026-66
在其他實施例中，可藉由在空間上及時間上採用像素次取樣而降低全部系統中之計算複雜性。例如，在視訊序列中，可利用經次取樣圖框而解算神經網路及/或可針對多個連續圖框利用結果。此外，在NN級，針對各圖框，初始化值可係來自先前圖框之解之一簡單複本。
用於後設資料傳輸之位元流語法
如先前描述，NNM後設資料包含輸入正規化參數及神經網路參數。此等值通常係單精確度或雙精確度之浮點數。可藉由應用此項技術中已知之有損耗或無損耗的資料壓縮方案以在不影響映射之效率之情況下減少後設資料額外耗用資料之量而減少後設資料額外耗用。
表4描繪位元流語法之一實例以根據一實施例將NNM後設資料自一編碼器(130)傳遞至一解碼器(150)。
Figure 108112378-A0305-02-0026-67
Figure 108112378-A0305-02-0027-68
在表4中，描述符se(v)、u(v)及ue(v)可如用於視訊解碼之此項技術中已知之規範中般定義，諸如ITU-T H.265，「High Efficiency Coding」。「cmp」之值表示色彩分量，例如，0針對Y，1針對Cb，且2針對Cr。額外變數可如下般定義。
nnm_num_neuron[y][x][cmp]指定映射類型，例如： nnm_num_neuron[y][x][-1]=3針對全域映射，nnm_num_neuron[y][x][-1]=5針對區域映射，且nnm_num_neuron[y][x][-1]=4針對多等級映射。
當coefficient_data_type等於0時，nnm_norm_gain_int[y][x][cmp]指定fp_nnm_norm_gain_coef[y][x][cmp]之整數部分。若coefficient_data_type等於1，則nnm_norm_gain_int[y][x][cmp]不存在。
註解-當coefficient_data_type等於0時，fp_nnm_norm_gain_coef[y][x][cmp]用於導出與mapping_idc[y][x][cmp]相關聯之正規化中之增益係數之值。
當coefficient_data_type等於0時，nnm_norm_gain_coef[y][x][cmp]指定fp_nnm_norm_gain_coef[y][x][cmp]之分數部分。若coefficient_data_type等於1，則nnm_norm_gain_coef[y][x][cmp]用於導出與mapping_idc[y][x][cmp]相關聯之增益係數之值。若coefficient_data_type等於0，則nnm_norm_gain_coef[y][x][cmp]語法元素之長度係coefficient_log2_denom位元。若coefficient_data_type等於1，則nnm_norm_gain_coef[y][x][cmp]語法元素之長度係32位元。如下般導出與mapping_idc[y][x][cmp]相關聯之正規化中之增益係數之值：
- 若coefficient_data_type等於0，則增益係數之值等於fp_nnm_norm_gain_coef[y][x][cmp]=(nnm_norm_gain_int [y][x][cmp]<<coefficient_log2_denom)+nnm_norm_gain_coef[y][x][cmp]。
- 若coefficient_data_type等於1，則增益係數之值等於nnm_norm_gain_coef[y][x][cmp]。
當coefficient_data_type等於0時，nnm_norm_nmin_int[y][x][cmp]指定fp_nnm_norm_nmin_coef[y][x][cmp]之整數部分。若coefficient_data_type等於1，則nnm_norm_nmin_int[y][x][cmp]不存在。
註解-當coefficient_data_type等於0時，fp_nnm_norm_nmin_coef[y][x][cmp]用於導出與mapping_idc[y][x][cmp]相關聯之正規化域中之最小值之值。
當coefficient_data_type等於0時，nnm_norm_nmin_coef[y][x][cmp]指定fp_nnm_norm_nmin_coef[y][x][cmp]之分數部分。若coefficient_data_type等於1，則nnm_norm_nmin_coef[y][x][cmp]用於導出與mapping_idc[y][x][cmp]相關聯之增益係數之值。若coefficient_data_type等於0，則nnm_norm_nmin_coef[y][x][cmp]語法元素之長度係coefficient_log2_denom位元。若coefficient_data_type等於1，則nnm_norm_nmin_coef[y][x][cmp]語法元素之長度係32位元。如下般導出與mapping_idc[y][x][cmp]相關聯之正規化中之增益係數之值：
- 若coefficient_data_type等於0，則增益係數之值等於 fp_nnm_norm_nmin_coef[y][x][cmp]=(nnm_norm_nmin_int[y][x][cmp]<<coefficient_log2_denom)+nnm_norm_nmin_coef[y][x][cmp]。
- 若coefficient_data_type等於1，則增益係數之值等於nnm_norm_nmin_coef[y][x][cmp]。
當coefficient_data_type等於0時，nnm_norm_vmin_int[y][x][cmp]指定fp_nnm_norm_vmin_coef[y][x][cmp]之整數部分。若coefficient_data_type等於1，則nnm_norm_nmin_int[y][x][cmp]不存在。
註解-當coefficient_data_type等於0時，fp_nnm_norm_vmin_coef[y][x][cmp]用於導出與mapping_idc[y][x][cmp]相關聯之去正規化域中之最小值之值。
當coefficient_data_type等於0時，nnm_norm_vmin_coef[y][x][cmp]指定fp_nnm_norm_vmin_coef[y][x][cmp]之分數部分。若coefficient_data_type等於1，則nnm_norm_vmin_coef[y][x][cmp]用於導出與mapping_idc[y][x][cmp]相關聯之增益係數之值。若coefficient_data_type等於0，則nnm_norm_vmin_coef[y][x][cmp]語法元素之長度係coefficient_log2_denom位元。若coefficient_data_type等於1，則nnm_norm_vmin_coef[y][x][cmp]語法元素之長度係32位元。如下般導出與mapping_idc[y][x][cmp]相關聯之正規化中之增益係數之值：
- 若coefficient_data_type等於0，則增益係數之值等於fp_nnm_norm_vmin_coef[y][x][cmp]=(nnm_norm_vmin_int[y][x][cmp]<<coefficient_log2_denom)+nnm_norm_vmin_coef[y][x][cmp]。
- 若coefficient_data_type等於1，則增益係數之值等於nnm_norm_vmin_coef[y][x][cmp]。
nnm_num_layer傳訊與mapping_idc[y][x][cmp]相關聯之層之數目。
當coefficient_data_type等於0時，nnm_weight_int[y][x][cmp][i][j]指定fp_nnm_weight_coef[y][x][cmp][i][j]之整數部分。若coefficient_data_type等於1，則nnm_weight_int[y][x][cmp][i][j]不存在。
註解-當coefficient_data_type等於0時，fp_nnm_weight_coef[y][x][cmp][i][j]用於導出與mapping_idc[y][x][cmp][i]][j]相關聯之在層j處之節點i之權重係數。
當coefficient_data_type等於0時，nnm_weight_coef[y][x][cmp][i][j]指定fp_nnm_weight_coef[y][x][cmp][i][j]之分數部分。若coefficient_data_type等於1，則nnm_weight_coef[y][x][cmp][i][j]用於導出與mapping_idc[y][x][cmp]相關聯之增益係數之值。若coefficient_data_type等於0，則nnm_weight_coef[y][x][cmp][i][j]語法元素之長度係coefficient_log2_denom位元。若coefficient_data_type等於1，則nnm_weight_coef[y][x][cmp] [i][j]語法元素之長度係32位元。如下般導出與mapping_idc[y][x][cmp]相關聯之正規化中之增益係數之值：
- 若coefficient_data_type等於0，則增益係數之值等於fp_nnm_weight_coef[y][x][cmp][i][j]=(nnm_weight_int[y][x][cmp][i][j]<<coefficient_log2_denom)+nnm_weight_coef[y][x][cmp][i][j]
- 若coefficient_data_type等於1，則增益係數之值等於nnm_weight_coef[y][x][cmp][i][j]。
圖5展示用於導出表示相同場景但在不同動態範圍及/或色域下之兩個影像之間之一影像映射函數之一例示性程序(500)。程序在步驟505中開始，其中一映射處理器(諸如預測器250E)接收表示相同場景，但在不同動態範圍下之兩個或兩個以上影像(例如，一參考輸入HDR影像及同一影像之一SDR或替代HDR表示之一或多個導出等級)。給定此等輸出，在步驟510中，映射處理器決定選擇哪一神經網路(NN)模型。如先前描述，映射處理器可在包含(但不一定限於)以下項之多種NN模型當中進行選擇：一全域映射模型、一區域映射模型、利用多個等級之一映射或上述之一組合。此外，此等模型之各者可由不同數目個層級及各層級內之節點特性化。
NN模型之選擇可利用考量包含以下項之數個準則之多種方法完成：關於SDR及HDR輸入之先前知識、可用計算及記憶體資源及目標編碼效率。例如，在一實施例中，可基於目標輸出與其試圖近似表示之參考等級之間之殘餘MSE之值(見方程式(6))是否滿足一預定臨限值而選擇NN模型。給定一NN模型及兩個或兩個以上輸入影像，在步驟515中 根據一最佳化準則導出NN參數(例如，節點權重及偏差)。最終，在步驟520中，映射處理器輸出NN模型之參數。視情況，映射處理器亦可輸出經產生之經映射(輸出)影像。
可按被視為在利用可用計算資源之同時維持編碼效率所需要之多種時間間隔重複此映射程序500。例如，當編碼視訊信號時，可在一每一預定義視訊切片大小基礎上、針對每一圖框、一圖框群組或每當預測殘餘超過一特定臨限值時重複程序500。
映射程序500可利用全部可用輸入像素或該等像素之次樣品。在一個例示性實施方案中，吾等可利用僅來自輸入資料之每第k個像素列及每第k個像素行之像素，其中k係等於或高於2之一整數。在另一例示性實施方案中，吾等可決定略過低於一特定剪輯臨限值(例如，非常接近零)之輸入像素或高於一特定飽和臨限值(例如，針對n位後設資料，非常接近2n-1之像素值)之像素。在又一實施方案中，吾等可利用此次取樣及定限技術之一組合以減小像素樣品大小且適應一特定實施方案之計算約束。
例示性電腦系統實施方案
本發明之實施例可利用以下項實施：一電腦系統、在電子電路及組件中組態之系統、一積體電路(IC)器件，諸如一微控制器、一場可程式化閘陣列(FPGA)或另一可組態或可程式化邏輯器件(PLD)、一離散時間或數位信號處理器(DSP)、一特定應用IC(ASIC)及/或包含此等系統、器件或組件之一或多者之裝置。電腦及/或IC可執行(perform)、控制或執行(execte)與基於NNM之映射(諸如本文中描述之基於NNM之映射)相關之指令。電腦及/或IC可計算與如本文中描述之基於NNM之映射相關之 多種參數或值之任何者。影像及視訊動態範圍擴展實施例可在硬體、軟體、韌體及其等之各種組合中實施。
本發明之某些實施方案包括執行引起處理器執行本發明之一方法之軟體指令之電腦處理器。例如，一顯示器、一編碼器、一機上盒、一轉碼器或類似者中之一或多個處理器可藉由執行處理器可存取之一程式記憶體中之軟體指令而實施如上文描述之基於NNM之映射方法。本發明亦可以一程式產品之形式提供。程式產品可包括攜載包括指令之一組電腦可讀信號之任何媒體，該等指令在由一資料處理器執行時，引起資料處理器執行本發明之一方法。根據本發明之程式產品可呈廣泛多種形式之任何者。程式產品可包括(例如)：實體媒體，諸如磁性資料儲存媒體(包含軟碟、硬碟機)，光學資料儲存媒體(包含CD ROM、DVD)、電子資料儲存媒體(包含ROM、快閃RAM)或類似者。可視情況壓縮或加密程式產品上之電腦可讀信號。
在上文提及一組件(例如，一軟體模組、處理器、總成、器件、電路等)的情況下，除非另外指示，否則對該組件之提及(包含對一「構件」之一提及)應被解譯為包含作為該組件之等效物之執行所述組件之功能(例如，即功能等效)之任何組件，包含非結構上等效於執行本發明之所繪示例示性實施例中之功能之所揭示結構之組件。
等效物、擴展、替代例及其他
因此，描述關於在映射HDR及SDR影像中應用神經網路之例示性實施例。在前述說明書中，已參考可隨著實施方案變化之許多特定細節描述本發明之實施例。因此，什麼是本發明及什麼被申請人意圖作為本發明之唯一及排他指示係由此申請案發佈之一組發明申請專利範圍，其 呈此等發明申請專利範圍發佈之特定形式(包含任何後續校正)。本文中針對此等發明申請專利範圍中所含之術語明確敘述之任何定義應支配如發明申請專利範圍中利用之此等術語之含義。因此，未在一發明申請專利範圍中明確敘述之限制、元件、性質、特徵、優勢或屬性不應以任何方式限制此發明申請專利範圍之範疇。因此，本說明書及圖式應被視為一闡釋性意義而非一限制性意義。
所列舉例示性實施例
上文已關於用於恢復原始像素資料中之飽和像素值之方法及器件描述本發明之所列舉例示性實施例(「EEE」)。因此，本發明之一實施例可係關於下文列舉之一或多個實例：
EEE 1.在一編碼器中，一種用於將影像自一第一動態範圍映射至一第二動態範圍之方法，該方法包括：提供一或多個神經網路(NN)模型，各NN模型經調適以相對於具有一第二動態範圍之一影像近似表示具有一第一動態範圍之一影像；接收在該第一動態範圍中之一第一影像及在該第二動態範圍中之一第二影像，其中該兩個影像表示相同場景；自該多種NN模型選擇一神經網路模型以基於該第一影像及該第二影像判定近似表示該第二影像之一輸出影像；根據一最佳化準則、該第一影像及該第二影像判定該選定NN模型之參數之值，其中該等參數包括該選定NN模型之各層中之節點之各者之節點權重及節點偏差；及輸出該選定NN模型之該等參數。
EEE 2.如EEE 1之方法，其中該一或多個NN模型包括一全域映射NN 模型、一區域映射NN模型及利用多色彩等級NN模型之一全域映射。
EEE 3.如任何前述EEE之方法，其中該一或多個NN模型包括一全域映射NN模型，且該全域映射NN模型包括三個神經網路，各用於該第一影像及該第二影像之色彩分量之各者，且該三個神經網路之各者接收基於該第一影像及該第二影像之全部三個色彩分量之像素值之輸入。
EEE 4.如任何前述EEE之方法，其中該一或多個NN模型包括一區域映射模型，且該區域映射NN模型包括三個神經網路，各用於該第一影像及該第二影像之該等色彩分量之各者，且該三個神經網路之各者接收基於該第一影像及該第二影像之全部三個色彩分量之像素值之輸入及指示該等輸入像素值之像素座標之一輸入。
EEE 5.如任何前述EEE之方法，其進一步包括接收在一第三動態範圍中之一第三影像，其中該第三影像表示與該第一影像及該第二影像相同之場景，其中該一或多個NN模型包括利用多色彩等級模型之一全域映射，該多色彩等級模型包括三個神經網路，各用於該三個影像之該等色彩分量之各者，且該三個神經網路之各者接收基於該三個影像之全部三個色彩分量之像素值之輸入及指示該等輸入像素值之色彩等級之一輸入。
EEE 6.如EEE 5之方法，其中指示輸入像素之輸入等級之該等色彩等級之該輸入包括各色彩等級之正規化峰值亮度之一正規化向量。
EEE 7.如EEE 3至5之任一者之方法，其中至該三個神經網路之各者之輸入像素值在-1與1之間正規化。
EEE 8.如EEE 7之方法，其中該選定NN模型之該等參數進一步包括該等正規化輸入像素值之各色彩分量之一增益因數、一最小值及一最大 值。
EEE 9.如EEE 3至5之任一者之方法，其中全部輸入影像呈一4：2：0 YCbCr色彩格式且進一步包括：一影像下取樣器，其在該第一影像之Y分量經輸入第二(Cb)色彩分量及第三(Cr)色彩分量之該等神經網路中之前將其下取樣至該第一影像之該Cb分量或該Cr分量之解析度；一影像上取樣器，其在該第二影像之該Cb分量及該Cr分量經輸入第一(Y)色彩分量之該神經網路中之前將其等上取樣至該第一影像之該Y分量之解析度。
EEE 10.如EEE 4或當取決於EEE 4時如任何前述EEE之方法，其中該等像素座標包括一(x,y)位置對且該位置對中之值經正規化至0與1之間。
EEE 11.如任何前述EEE之方法，其中該最佳化準則包括最小化該輸出影像與該第二輸入影像之間之均方差。
EEE 12.如EEE 3或當取決於EEE 3時如任何前述EEE之方法，其中全部輸入影像呈一4：2：0 YCbCr色彩格式，其進一步包括：自該第一影像及該第二影像產生表示輸入亮度(Y)及色度(Cb或Cr)像素值之一第一3D映射表(3DMT)作為該第一影像中之第一正規化亮度及色度取樣點至至該第二影像之第一平均亮度及色度3D映射之一映射，其中該等輸入色度像素值經上取樣以匹配該等輸入亮度像素值之空間解析度；自該第一影像及該第二影像產生表示輸入亮度像素值及色度像素值之一第二3DMT作為該第一影像中之第二正規化亮度及色度取樣點至至該第二影像之第二平均亮度及色度3D映射之一映射，其中該等輸入亮度像 素值經下取樣以匹配該等輸入色度像素值之該空間解析度；藉由作為輸入饋入該第一影像中之該等第一正規化亮度及色度取樣點及至該第二影像之該第一平均亮度3D映射而產生該Y輸出分量之該神經網路之該等參數；藉由作為輸入饋入該第一影像中之該等第二正規化亮度及色度取樣點及至該第二影像之該第二平均Cb 3D映射而產生該Cb輸出分量之該神經網路之該等參數；及藉由作為輸入饋入該第一影像中之該等第二正規化亮度及色度取樣點及至該第二影像之該第二平均Cr 3D映射而產生該Cr輸出分量之該神經網路之該等參數。
EEE 13.如任何前述EEE之方法，其中該第一動態範圍等於該第二動態範圍或高於該第二動態範圍。
EEE 14.如任何前述EEE之方法，其中該第一動態範圍低於該第一動態範圍。
EEE 15.如任何前述EEE之方法，其進一步包括：產生該輸出影像；壓縮該輸出影像以產生一經編碼影像；及組合該經編碼影像及該選定NN模型之該等參數以產生一輸出位元流。
EEE 16.在一解碼器中，一種用於將一影像自一第一動態範圍映射至一第二動態範圍之方法，該方法包括：接收包括在一第一動態範圍中之一經編碼影像及影像後設資料之一經壓縮位元流，其中該影像後設資料包括供一神經網路(NN)模型將該經 編碼影像映射至一輸出影像之參數，其中針對該經編碼影像之一或多個色彩分量，該影像後設資料包括該NN中之神經網路層之一數目、各層之神經節點之一數目及欲與各節點之一啟動函數一起利用之一權重及一偏移；及基於該經編碼影像及該NN模型之該等參數產生一輸出影像。
EEE 17.如EEE 16之方法，其中該影像後設資料進一步包括按比例調整後設資料，其中針對該經編碼影像之各色彩分量，該按比例調整後設資料包括一增益、一最小值及一最大值，且該方法進一步包括基於該按比例調整後設資料及該輸出影像產生一去正規化輸出影像。
EEE 18.如EEE 16或17之方法，其中該啟動函數包括一S型函數。
EEE 19.一種非暫時性電腦可讀儲存媒體，在其上儲存用於利用一或多個處理器執行根據EEE 1至18之一方法之電腦可執行指令。
EEE 20.一種設備，其包括一處理器且經組態以執行在EEE 1至18中敘述之方法之任一者。
500:映射程序
505:步驟
510:步驟
515:步驟
520:步驟

Claims (15)

  1. 一種用於將影像自一第一動態範圍映射至一第二動態範圍之方法，該方法包括：提供一或多個神經網路(NN)模型，各NN模型經調適以根據具有一第二動態範圍之一影像近似表示具有一第一動態範圍之一影像；接收在該第一動態範圍中之一第一影像及在該第二動態範圍中之一第二影像，其中該兩個影像表示相同場景；接收在一第三動態範圍中之一第三影像，其中該第三影像表示與該第一影像及該第二影像相同之場景；自該一或多個NN模型選擇一NN模型以基於該第一影像及該第二影像判定近似表示該第二影像之一輸出影像；根據一最佳化準則、該第一影像及該第二影像判定該選定NN模型之參數之值，其中該等參數包括該選定NN模型之層之節點之節點權重及/或節點偏差；及輸出該選定NN模型之該等參數，其中該一或多個NN模型包括一第一全域映射NN模型，該第一全域映射NN模型使用多色彩等級，該第一全域映射NN模型包括三個神經網路，各用於該第一影像、該第二影像及該第三影像之該等色彩分量之各者，且該三個神經網路之各者接收基於該第一影像、該第二影像及該第三影像之全部三個色彩分量之像素值之輸入及指示該等輸入像素值之色彩等級之一輸入。
  2. 如請求項1之方法，其中該一或多個NN模型包括一第二全域映射NN模型，且該第二全域映射NN模型包括三個神經網路，各用於該第一影像及該第二影像之色彩分量之各者，且該三個神經網路之各者接收基於該第一影像及該第二影像之全部三個色彩分量之像素值之輸入。
  3. 如請求項1或2之方法，其中該一或多個NN模型包括一區域映射NN模型，且該區域映射NN模型包括三個神經網路，各用於該第一影像及該第二影像之該等色彩分量之各者，且該三個神經網路之各者接收基於該第一影像及該第二影像之全部三個色彩分量之像素值之輸入及指示該等輸入像素值之像素座標之一輸入。
  4. 如請求項1之方法，其中指示該等輸入像素值之該等色彩等級之該輸入包括各色彩等級之正規化峰值亮度之一正規化向量。
  5. 如請求項2之方法，其中至該三個神經網路之各者之輸入像素值在-1與1之間正規化。
  6. 如請求項5之方法，其中該選定NN模型之該等參數進一步包括該等正規化輸入像素值之各色彩分量之一增益因數、一最小值及一最大值。
  7. 如請求項2之方法，其中全部輸入影像呈一4：2：0 YCbCr色彩格式且進一步包括：在該第一影像之Y分量經輸入第二(Cb)色彩分量及第三(Cr)色彩分 量之該等神經網路中之前將其下取樣至該第一影像之該Cb分量或該Cr分量之解析度；在該第二影像之該Cb分量及該Cr分量經輸入第一(Y)色彩分量之該神經網路中之前將其等上取樣至該第一影像之該Y分量之解析度。
  8. 如請求項3之方法，其中該等像素座標包括一(x,y)位置對且該位置對中之值經正規化至0與1之間。
  9. 如請求項1或2之方法，其中該最佳化準則包括最小化該輸出影像與該第二影像之間之均方差。
  10. 如請求項1或2之方法，其中全部輸入影像呈一4：2：0 YCbCr色彩格式，其進一步包括：自該第一影像及該第二影像產生表示輸入亮度(Y)及色度(Cb或Cr)像素值之一第一3D映射表(3DMT)作為該第一影像中之第一正規化亮度及色度取樣點至至該第二影像之第一平均亮度及色度3D映射之一映射，其中該等輸入色度像素值經上取樣以匹配該等輸入亮度像素值之空間解析度；自該第一影像及該第二影像產生表示輸入亮度像素值及色度像素值之一第二3DMT作為該第一影像中之第二正規化亮度及色度取樣點至至該第二影像之第二平均亮度及色度3D映射之一映射，其中該等輸入亮度像素值經下取樣以匹配該等輸入色度像素值之該空間解析度； 藉由作為輸入饋入該第一影像中之該等第一正規化亮度及色度取樣點及至該第二影像之該第一平均亮度3D映射而產生一Y輸出分量之一神經網路之參數；藉由作為輸入饋入該第一影像中之該等第二正規化亮度及色度取樣點及至該第二影像之該第二平均Cb 3D映射而產生一Cb輸出分量之一神經網路之參數；及藉由作為輸入饋入該第一影像中之該等第二正規化亮度及色度取樣點及至該第二影像之該第二平均Cr 3D映射而產生一Cr輸出分量之一神經網路之參數。
  11. 如請求項1或2之方法，其中該第一動態範圍不同於該第二動態範圍。
  12. 如請求項1或2之方法，其中該第一動態範圍等於、低於或高於該第二動態範圍。
  13. 如請求項1或2之方法，其進一步包括：產生該輸出影像；壓縮該輸出影像以產生一經編碼影像；及組合該經編碼影像及該選定NN模型之該等參數以產生一輸出位元流。
  14. 一種用於將一影像自一第一動態範圍映射至一第二動態範圍之方 法，該方法包括：接收包括在一第一動態範圍中之一經編碼影像及影像後設資料之一經壓縮位元流，其中該影像後設資料包括供一神經網路(NN)模型將該經編碼影像映射至一輸出影像之參數，其中針對該經編碼影像之一或多個色彩分量，該影像後設資料包括該NN模型中之神經網路層之一數目、至少一個層之神經節點之一數目及欲與該至少一個層之一節點之一啟動函數一起利用之一權重及一偏移；及基於該經編碼影像及該NN模型之該等參數產生一輸出影像。
  15. 如請求項14之方法，其中該影像後設資料進一步包括按比例調整後設資料，其中針對該經編碼影像之各色彩分量，該按比例調整後設資料包括一增益、一最小值及一最大值，且該方法進一步包括基於該按比例調整後設資料及該輸出影像產生一去正規化輸出影像。
TW108112378A 2018-04-09 2019-04-09 用於將影像自第一動態範圍映射至第二動態範圍之方法 TWI729377B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862654614P 2018-04-09 2018-04-09
EP18166320 2018-04-09
US62/654,614 2018-04-09
EP18166320.4 2018-04-09

Publications (2)

Publication Number Publication Date
TW201944357A TW201944357A (zh) 2019-11-16
TWI729377B true TWI729377B (zh) 2021-06-01

Family

ID=66223879

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112378A TWI729377B (zh) 2018-04-09 2019-04-09 用於將影像自第一動態範圍映射至第二動態範圍之方法

Country Status (7)

Country Link
US (1) US11361506B2 (zh)
EP (1) EP3776474A1 (zh)
JP (1) JP7189230B2 (zh)
KR (1) KR102361987B1 (zh)
CN (1) CN112204617B (zh)
TW (1) TWI729377B (zh)
WO (1) WO2019199701A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501135B2 (en) * 2018-05-29 2022-11-15 British Cayman Islands Intelligo Technology Inc. Smart engine with dynamic profiles
JP2020005201A (ja) * 2018-06-29 2020-01-09 日本放送協会 送信装置及び受信装置
WO2021028650A1 (en) * 2019-08-13 2021-02-18 University Of Hertfordshire Higher Education Corporation Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region
CN111147857B (zh) * 2019-12-06 2023-01-20 Oppo广东移动通信有限公司 一种图像处理方法、图像处理装置、电子设备和存储介质
US12003746B2 (en) 2020-02-19 2024-06-04 Dolby Laboratories Licensing Corporation Joint forward and backward neural network optimization in image processing
CN111401247B (zh) * 2020-03-17 2023-07-28 杭州小影创新科技股份有限公司 一种基于级联卷积神经网络的人像分割方法
EP4133740A4 (en) * 2020-04-07 2024-04-17 Nokia Technologies Oy FEATURE DOMAIN RESIDUE FOR VIDEO CODING FOR MACHINES
US11223841B2 (en) * 2020-05-29 2022-01-11 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信（上海）有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
CN116547969A (zh) * 2020-11-19 2023-08-04 华为技术有限公司 基于机器学习的图像译码中色度子采样格式的处理方法
WO2022119333A1 (ko) * 2020-12-02 2022-06-09 현대자동차주식회사 블록 기반 딥러닝 모델을 이용하는 비디오 코덱
EP4205395A4 (en) * 2020-12-24 2023-07-12 Huawei Technologies Co., Ltd. CODING WITH FEATURE MAP DATA SIGNALING
US11528435B2 (en) * 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
KR102374069B1 (ko) * 2021-01-06 2022-03-11 아주대학교산학협력단 Hdr 이미지 생성 장치 및 방법
CN113496529A (zh) * 2021-03-23 2021-10-12 北京迈格威科技有限公司 显示控制方法、装置和电子系统
US11967042B2 (en) * 2021-05-11 2024-04-23 Synaptics Incorporated Data pre-processing for low-light images
TWI783594B (zh) * 2021-07-26 2022-11-11 國立清華大學 多目標神經網路演化方法及裝置
CN113781318A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种图像颜色映射方法、装置、终端设备及存储介质
US12041248B2 (en) * 2021-08-02 2024-07-16 Mediatek Singapore Pte. Ltd. Color component processing in down-sample video coding
US20230059233A1 (en) * 2021-08-18 2023-02-23 Samsung Electronics Co., Ltd. Efficient inverse tone mapping network for standard dynamic range (sdr) to high dynamic range (hdr) conversion on hdr display
JP2024534183A (ja) * 2021-08-30 2024-09-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 学習に基づいたイメージ／ビデオコーディングのためのリシェーパ
KR20230055264A (ko) * 2021-10-18 2023-04-25 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20230186435A1 (en) * 2021-12-14 2023-06-15 Netflix, Inc. Techniques for component-based image preprocessing
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
US12051364B2 (en) 2022-05-06 2024-07-30 Samsung Electronics Co., Ltd. Organic light emitting diode (OLED) burn-in prevention based on stationary pixel and luminance reduction
KR102465841B1 (ko) * 2022-08-10 2022-11-10 주식회사 고업 딥러닝을 이용한 sdr 콘텐츠의 hdr10+ 콘텐츠 변경 시스템
CN115422986B (zh) * 2022-11-07 2023-08-22 深圳传音控股股份有限公司 处理方法、处理设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201036453A (en) * 2009-03-25 2010-10-01 Micro Star Int Co Ltd Method and electronic device to produce high dynamic range image
TW201215160A (en) * 2010-07-06 2012-04-01 Koninkl Philips Electronics Nv Generation of high dynamic range images from low dynamic range images
EP2697971B1 (en) * 2011-04-14 2015-07-08 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
EP2945377A1 (en) * 2012-01-24 2015-11-18 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
TW201719577A (zh) * 2015-08-04 2017-06-01 杜比實驗室特許公司 針對高動態範圍信號的信號重塑形
TW201724855A (zh) * 2015-08-13 2017-07-01 湯普生證照公司 用於高動態範圍至高動態範圍逆色調映射之方法、系統及裝置
WO2018064591A1 (en) * 2016-09-30 2018-04-05 Deepmind Technologies Limited Generating video frames using neural networks

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20090317017A1 (en) 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
JP5247337B2 (ja) 2008-10-02 2013-07-24 キヤノン株式会社 画像認識装置および画像認識方法
KR102020334B1 (ko) 2010-01-19 2019-09-10 돌비 인터네셔널 에이비 고조파 전위에 기초하여 개선된 서브밴드 블록
US9516351B2 (en) 2012-07-13 2016-12-06 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
BR112014027815B1 (pt) 2012-10-08 2022-03-15 Koninklijke Philips N.V. Aparelho de processamento de cor de imagem, codificador de imagem, decodificador de imagem e método de processamento de cor de imagem
US9418331B2 (en) * 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning
EP3111416A1 (en) 2014-02-26 2017-01-04 Thomson Licensing Method and apparatus for encoding and decoding hdr images
ES2744795T3 (es) 2014-05-28 2020-02-26 Koninklijke Philips Nv Métodos y aparatos para codificar unas imágenes HDR, y métodos y aparatos para usar tales imágenes codificadas
US10136147B2 (en) * 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
JP6577703B2 (ja) 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US9607366B1 (en) 2014-12-19 2017-03-28 Amazon Technologies, Inc. Contextual HDR determination
CN107439012B (zh) 2015-04-06 2018-09-25 杜比实验室特许公司 用于环内转换的方法、装置和计算机可读存储介质
US9794540B2 (en) 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
EP3220349A1 (en) 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201036453A (en) * 2009-03-25 2010-10-01 Micro Star Int Co Ltd Method and electronic device to produce high dynamic range image
TW201215160A (en) * 2010-07-06 2012-04-01 Koninkl Philips Electronics Nv Generation of high dynamic range images from low dynamic range images
EP2697971B1 (en) * 2011-04-14 2015-07-08 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
EP2945377A1 (en) * 2012-01-24 2015-11-18 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
TW201719577A (zh) * 2015-08-04 2017-06-01 杜比實驗室特許公司 針對高動態範圍信號的信號重塑形
TW201724855A (zh) * 2015-08-13 2017-07-01 湯普生證照公司 用於高動態範圍至高動態範圍逆色調映射之方法、系統及裝置
WO2018064591A1 (en) * 2016-09-30 2018-04-05 Deepmind Technologies Limited Generating video frames using neural networks

Also Published As

Publication number Publication date
EP3776474A1 (en) 2021-02-17
WO2019199701A1 (en) 2019-10-17
JP7189230B2 (ja) 2022-12-13
KR20200142035A (ko) 2020-12-21
US11361506B2 (en) 2022-06-14
JP2021521517A (ja) 2021-08-26
US20210150812A1 (en) 2021-05-20
KR102361987B1 (ko) 2022-02-14
CN112204617A (zh) 2021-01-08
TW201944357A (zh) 2019-11-16
CN112204617B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
TWI729377B (zh) 用於將影像自第一動態範圍映射至第二動態範圍之方法
US10659749B2 (en) Efficient histogram-based luma look matching
CN108885783B (zh) 编码和解码可逆制作质量单层视频信号
CN107995497B (zh) 高动态范围视频的屏幕自适应解码
CN105324997B (zh) 用于增强动态范围信号的分层编码的自适应整形
CN105744277B (zh) 分层vdr编译码中的层分解
KR102380164B1 (ko) 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성
JP2022140582A (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
CN113228660B (zh) 增强的标准动态范围视频（sdr+）中的基于机器学习的动态合成
TWI690211B (zh) 高動態範圍影像的解碼方法、其處理器非暫態可讀取媒體及電腦程式產品
CN112106357A (zh) 端对端单层后向兼容编码流水线中的高保真度全参考和高效部分参考编码
WO2016164235A1 (en) In-loop block-based image reshaping in high dynamic range video coding
CN113170205B (zh) 整形函数生成方法及装置以及图像解码方法及装置
WO2015123067A1 (en) Piecewise inter-layer prediction for signals with enhanced dynamic range
JP2021524647A (ja) 適応的なｓｄｒからｈｄｒへの再構成関数による、ｈｄｒ画像化におけるバンディングアーチファクトの低減
CN112771567A (zh) Sdr到hdr图像转换中的图像去噪
JP7391214B2 (ja) Ｈｄｒ画像化におけるレート制御認識リシェーピング
Lauga et al. Segmentation-based optimized tone mapping for high dynamic range image and video coding
JP7540085B2 (ja) 色変換データ生成方法
WO2023096728A1 (en) Denoising for sdr-to-hdr local reshaping
CN116508324A (zh) 用于sdr到hdr上转换的自适应局部整形
Kumar Applications and requirement for color bit depth scalability paper's