TW201543867A - 用以編碼及解碼高動態範圍影像之方法及裝置 - Google Patents

用以編碼及解碼高動態範圍影像之方法及裝置 Download PDF

Info

Publication number
TW201543867A
TW201543867A TW104106411A TW104106411A TW201543867A TW 201543867 A TW201543867 A TW 201543867A TW 104106411 A TW104106411 A TW 104106411A TW 104106411 A TW104106411 A TW 104106411A TW 201543867 A TW201543867 A TW 201543867A
Authority
TW
Taiwan
Prior art keywords
hdr
images
image
tone mapping
ldr
Prior art date
Application number
TW104106411A
Other languages
English (en)
Other versions
TWI677235B (zh
Inventor
Pendu Mikael Le
Ronan Boitard
Dominique Thoreau
Christine Guillemot
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP14305480.7A external-priority patent/EP2927865A1/en
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of TW201543867A publication Critical patent/TW201543867A/zh
Application granted granted Critical
Publication of TWI677235B publication Critical patent/TWI677235B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G2/00Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon
    • C10G2/30Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen
    • C10G2/31Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen thermal, non catalytic conversion
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G2/00Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon
    • C10G2/30Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen
    • C10G2/32Production of liquid hydrocarbon mixtures of undefined composition from oxides of carbon from carbon monoxide with hydrogen with the use of catalysts
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G45/00Refining of hydrocarbon oils using hydrogen or hydrogen-generating compounds
    • C10G45/58Refining of hydrocarbon oils using hydrogen or hydrogen-generating compounds to change the structural skeleton of some of the hydrocarbon content without cracking the other hydrocarbons present, e.g. lowering pour point; Selective hydrocracking of normal paraffins
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G47/00Cracking of hydrocarbon oils, in the presence of hydrogen or hydrogen- generating compounds, to obtain lower boiling fractions
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G49/00Treatment of hydrocarbon oils, in the presence of hydrogen or hydrogen-generating compounds, not provided for in a single one of groups C10G45/02, C10G45/32, C10G45/44, C10G45/58 or C10G47/00
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G5/00Recovery of liquid hydrocarbon mixtures from gases, e.g. natural gas
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10GCRACKING HYDROCARBON OILS; PRODUCTION OF LIQUID HYDROCARBON MIXTURES, e.g. BY DESTRUCTIVE HYDROGENATION, OLIGOMERISATION, POLYMERISATION; RECOVERY OF HYDROCARBON OILS FROM OIL-SHALE, OIL-SAND, OR GASES; REFINING MIXTURES MAINLY CONSISTING OF HYDROCARBONS; REFORMING OF NAPHTHA; MINERAL WAXES
    • C10G67/00Treatment of hydrocarbon oils by at least one hydrotreatment process and at least one process for refining in the absence of hydrogen only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oil, Petroleum & Natural Gas (AREA)
  • Organic Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • General Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Thermal Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

為了編碼高動態範圍(HDR)影像,可透過色調映射運算將該等HDR影像轉換為低動態範圍(LDR)影像,且該等LDR影像可用一LDR編碼器編碼。本發明在設計色調映射曲線時公式化一率失真最小化問題。特定言之,依據待編碼之該等HDR影像之概率分佈函數及取決於編碼參數之一拉格朗日乘數公式化該色調映射曲線。在該解碼器處,基於指示該色調映射函數之參數,可導出一逆色調映射函數以從經解碼LDR影像重新建構HDR影像。

Description

用以編碼及解碼高動態範圍影像之方法及裝置 相關申請案之交叉參考
本專利申請案主張2014年2月26日申請的歐洲專利申請案第14305266.0號及2014年4月1日申請的歐洲專利申請案第14305480.7號的權利及/或優先權,其等之完整內容以引用的方式具體併入本文中。
本發明係關於一種用於高動態範圍(HDR)影像及視訊之編碼及解碼之方法及設備。
用於壓縮影像序列之工具通常經設計以編碼具有有限動態範圍的整數資料。例如,壓縮標準,諸如MPEG-4 AVC/H.264及HEVC(高效視訊編碼)可用於壓縮影像及視訊,其等之色彩分量由8位元整數表示。在此等標誌之擴展版本中,具有更高位元深度之資料可被視為輸入。例如,在HEVC之範圍擴展版本中,支援高達16位元之位元深度。高位元深度擴展可能需要增大的實施及計算成本。此外,對於一些應用(諸如3D電腦圖形),亦存在位元深度高於16位之影像類型。
用於編碼高位元深度影像之替代解決方案係對HDR影像應用色調映射運算子(TMO)以減小位元深度且產生HDR影像之低動態範圍(LDR)版本。一低位元深度編碼器隨後可用於壓縮LDR版本。在此方 式中,TMO通常可係可逆的且逆色調映射應為解碼器所知。此方式之一實例描述於Z.Mai等人之文章中,其標題為「On-the-Fly Tone Mapping for Backward-Compatible High Dynamic Range Image/Video Compression」,ISCAS 2010,其定義色調映射曲線,該色調映射曲線最小化由色調映射及編碼器錯誤兩者造成之資料損失。
本發明提供一種用於解碼HDR影像之方法,其包括:存取一位元串流,其具有包含其中之HDR影像;從該位元串流解碼低動態範圍(LDR)影像;從位元串流存取資訊,該所存取資訊包含用於編碼該等HDR影像之一參數;及如下文描述,回應於該所存取參數從該等LDR影像產生該等HDR影像。本發明亦提供用於執行此等步驟之設備。
本發明亦提供一種用於編碼HDR影像之方法,其包括:回應於該等HDR影像及至少一編碼參數而判定一色調映射函數;回應於該色調映射函數從該等HDR影像而判定LDR影像;及編碼該等所判定LDR影像及指示該所判定色調映射函數之資訊,其中如下文描述,該至少一編碼參數用於編碼該等LDR影像。本發明亦提供用於執行此等步驟之設備。
本發明亦提供一種電腦可讀儲存媒體,其具有儲存其上用於根據上述方法編碼或解碼HDR影像之指令。
本發明亦提供一種電腦可讀儲存媒體,其具有儲存其上根據上述方法產生之一位元串流。
800‧‧‧方法
810‧‧‧步驟
820‧‧‧步驟
830‧‧‧步驟
840‧‧‧步驟
850‧‧‧步驟
860‧‧‧步驟
900‧‧‧方法
910‧‧‧步驟
920‧‧‧步驟
930‧‧‧步驟
940‧‧‧步驟
1000‧‧‧編碼器
1010‧‧‧概率估計器
1020‧‧‧色調曲線估計器
1030‧‧‧LDR影像產生器
1040‧‧‧LDR編碼器
1050‧‧‧色調曲線參數編碼器
1100‧‧‧解碼器
1110‧‧‧LDR解碼器
1120‧‧‧色調曲線參數解碼器
1130‧‧‧逆色調曲線估計器
1140‧‧‧HDR影像產生器
1200‧‧‧資料傳輸系統或設備
1201‧‧‧處理器
1202‧‧‧編碼器
1204‧‧‧傳輸器
1208‧‧‧儲存單元
1300‧‧‧資料接收系統或設備
1302‧‧‧接收器
1304‧‧‧解調變器
1306‧‧‧解碼器
1307‧‧‧儲存單元
1308‧‧‧處理器
圖1係描繪根據本發明之一實施例之一壓縮方案之一例示性數學模型之一圖。
圖2係描繪根據本發明之一實施例之使用色調映射編碼HDR影像之一例示性方案之一圖。
圖3A係描繪根據本發明之一實施例之一直方圖之一圖示實例,圖3B係根據本發明之一實施例之描繪具有期望最大化(Expectation Maximization)之圖3A中之直方圖之擬合高斯混合模型(GMM),且圖3C係根據本發明之一實施例之描繪用100個區間計算之概率分佈函數之圖示實例。
圖4係描繪在不同的λ值及QP參數內編碼HDR影像之率失真結果之圖示實例。
圖5係描繪根據本發明之一實施例之使用逆色調映射解碼HDR影像之一例示性方案之一圖。
圖6A展示影像「Peniches」,圖6B展示影像「Peniches」之所估計概率分佈函數,圖6C及圖6D分別展示當QP=0時的色調映射LUT及逆色調映射LUT,圖6E及圖6F分別展示當QP=16時的色調映射LUT及逆色調映射LUT,且圖6G及圖6H分別展示當QP=32時的色調映射LUT及逆色調映射LUT。
圖7A展示影像「Mongolfière」,圖7B展示影像「Mongolfière」之所估計概率分佈函數,圖7C及圖7D分別展示當QP=0時的色調映射LUT及逆色調映射LUT,圖7E及圖7F分別展示當QP=16時的色調映射LUT及逆色調映射LUT,且圖7G及圖7H分別展示當QP=32時的色調映射LUT及逆色調映射LUT。
圖8係描繪根據本發明之一實施例之用於編碼HDR影像之一例示性方法之一流程圖。
圖9係描繪根據本發明之一實施例之用於解碼HDR影像之一例示性方法之一流程圖。
圖10係描繪根據本發明之一實施例之用於編碼HDR影像之一例示性系統之一方塊圖。
圖11係描繪根據本發明之一實施例之用於解碼HDR影像之一例 示性系統之一方塊圖。
圖12係描繪可結合一或多項實施方案使用之一影像處理系統之一實例之一方塊圖。
圖13係描繪可結合一或多項實施方案使用之一影像處理系統之另一實例之一方塊圖。
本發明涉及使用色調映射技術編碼及解碼HDR影像及視訊。一色調映射函數將一高位元深度整數視為輸入且傳回一低位元深度整數,且一逆色調映射函數將一低位元深度整數視為輸入且傳回一高位元深度整數。在本申請案中,吾等可互換地使用術語「色調映射函數」、「色調映射曲線」及「色調曲線」,且可互換地使用術語「逆色調映射函數」及「逆色調映射曲線」。
在一實施例中,吾等定義一壓縮方案之一數學模型,如圖1中所示。在此模型中,吾等考慮一影像被壓縮且像素具有實數值(未必為整數)。輸入影像I具有一概率分佈函數(pdf)p且其最小及最大像素值分別係xmin及xmax
首先,一壓縮函數F被應用至像素值,其中F定義在區間[xmin,xmax]及F(xmin)=0及F(xmax)=2n-1上,其中n係待由一LDR編碼器編碼之LDR影像之位元深度。在此數學模型中,壓縮函數指定具有實數值輸入及輸出之一連續及嚴格單調函數。此等性質確保F具有逆函數F-1(指定為擴展函數)。當數學模型應用於編碼HDR影像時,壓縮函數對應於輸出為整數之一色調映射函數。色調映射函數可被視為一壓縮函數及一均勻量化(捨入)之一串接。在應用函數F後,理論上無資料丟失,此係因為F係數學上可逆的。吾等指定來自壓縮函數之輸出影像為IF且指定IF之概率分佈函數為pF
隨後,將一隨機變數(ε)添加至各像素值以對在編碼IF時引入之編 碼器錯誤及來自格式轉換之捨入誤差(前提係存在任意誤差)建模。在此,吾等假設隨機變數之分佈並非取決於像素之位置或值。吾等亦假設隨機變數ε具有0平均值及方差σ2。在編碼IF後,應用擴展函數F-1以重新建構HDR影像Irec
在數學模型中,吾等假設實數值用作輸入及輸出。當實際應用數學模型時,輸入通常係整數且輸出亦係整數,此係因為吾等需產生低位元深度(例如,8位元)整數值以由一LDR編碼器編碼。
為了設計圖1中所示之模型之一色調映射曲線,吾等公式化一率失真函數J=Dtot0.R,其中Dtot係原始HDR影像I與重新建構HDR影像Irec之間之總失真,R係編碼LDR影像之位元速率,且λ0係一拉格朗日(Lagrangian)乘數,其經調整以改進率失真性能。給定一影像I及一編碼器,吾等假設經編碼影像之位元速率R與IF之熵成比例。因此,最小化Dtot0.R等效於最小化Dtot+λ.entropy(IF),其中λ係另一拉格朗日乘數。
在一實施例中,吾等假設藉由均方誤差(MSE)量測失真,即,Dtot=E{(Irec-I)2},其中E{.}計算一隨機變數之期望值。吾等目標係找到函數F*,其最小化率失真函數Dtot+λ.entropy(IF)。可分析地展示函數F*之導數可公式化為:
因此,
其中c係一常數,其可經調整,使得F*(xmax)=2n-1。
但是,吾等無分析解決方案在給定λ及σ的情況下,判定c值。此外,將需要所使用之實際編碼器及編碼參數(例如(但不限於)HEVC中 之量化參數QP及LDR影像之位元深度)之一模型來找到σ值。為了消除函數F*(x)對變數c及σ之相依性,吾等定義一函數
可展示為對於任意正值λ及σ,存在值λi R,使得:
因此,僅需參數λi導出色調映射函數。在一實施例中,吾等可藉由數值積分計算S(x,λi)且將結果除以S(xmaxi)。
圖2圖解說明根據本發明之使用色調映射編碼HDR影像之一例示性實施例。輸入HDR影像之像素值原始可由高位元深度整數或浮點值表示。若HDR影像由浮點值表示,則可使用至整數之一轉換。例如,若輸入影像定義為半浮點格式,則採用解釋為整數之位元型樣(即,1個正負號位元,5個指數位元及10個尾數位元)提供從浮點至16位元整數之無損轉換。若影像僅含正值,則此轉換近似原始浮點值之一對數編碼。
在另一實例中,吾等可應用對數函數至浮點值且將結果捨入為整數。在該情況中,應調整所使用之函數,使得零及最大浮點值分別映射至0及2nHDR-1,其中nHDR係HDR影像之整數版本之位元深度。若原始影像為半浮點格式,則nHDR值的合理選擇係16(即,16位元浮點值)或若原始影像為單精度浮點格式(即,32位元浮點值),則nHDR=32。相應逆轉換函數應應用於經解碼整數HDR影像以將其轉換回浮點資料。
隨後,執行期望最大化以獲得像素值之概率分佈函數p之一高斯混合模型。GMM模型藉由參數集合θ(高斯平均值、方差、權重)描述。θ、xmin及xmax(影像之最小及最大像素值)用於計算色調映射 LUT。從編碼參數QP計算得到之拉格朗日乘數λi亦被考慮用於LUT計算。隨後,將LUT應用至影像以獲得一LDR版本,使用編碼參數QP將該LDR版本發送至一LDR編碼器。最後,參數θ、xmin及xmax指示在代表LDR影像之位元串流中。在下文中,吾等進一步詳細描述概率分佈函數及拉格朗日乘數之判定。
概率分佈函數判定
為了導出如方程式(4)中所描述之色調映射函數,需判定像素值之概率分佈函數(p(x))。在一實例中,可藉由計算影像之直方圖而判定p(x)。為了使解碼器計算逆色調映射曲線,需在解碼器處已知定義概率分佈函數之參數。為了減小需經編碼以代表p(x)之參數之數目,吾等可參數化直方圖。
在一實施例中,吾等可使用一高斯混合模型以擬合直方圖,其中GMM係數個高斯之加權和。模型參數係混合模型中之各高斯j之方差vj、平均值μj及權重αj。概率分佈函數之模型可公式化為:
其中m係用於模型中之高斯之數目,且g係一高斯函數:
期望最大化(EM)演算法可用於擬合運算。此演算法定義在Dempster等人之文章中,其標題為「Maximum Likelihood from Incomplete Data via the EM Algorithm」,Journal of the Royal Statistical Society,1977年。給定高斯模型之數目m及一初始參數集合θ0=(αj 0j 0,vj 0)(j[1,m]),目標係找到θ,其最大化對數似然函數:
其中N係像素數目且xi係像素i的值。
演算法之各反覆k係由下列步驟組成:
1.對於[1,m]中之各j及[1,N]中之各i,計算:
2.計算新的平均值:
3.計算新的方差:
4.計算新的權重:
5.在達到收斂(即,|J(θk-1)-J(θk)|<臨限)(例如,臨限=10-9)的情況下停止。否則,進行下一反覆
藉由EM獲得之GMM參數隨後可用於使用方程式(5)在從xmin至xmax之任意整數值x下計算概率分佈函數。圖3A展示一例示性直方圖,且圖3B展具有EM的擬合GMM。
吾等考慮像素超出範圍[xmin,xmax]之概率係零。因此,除GMM參數外,最小值xmin及最大值xmax亦指示在位元串流中以使解碼器產生概率分佈函數。
在HDR影像中,一影像可能含有具有非常低的值的小數目之像素。由於該等像素可能干擾演算法之計算,故吾等可在執行EM演算法之前將值修減至低於給定百分位(例如,0.1%)。在該情況中,xlow值用作xmin。類似地,若影像含有具有非常高值的小數目之像素,吾等可在執行EM演算法之前,將高值修減至低於一給定百分位。在該情況中,xhigh值用作xmax
拉格朗日乘數判定
為了導出如方程式(4)中所描述之色調映射函數,吾等亦需判定拉格朗日乘數λi。λi值可取決於使用中的編碼器(例如,HEVC、MPEG-2、MPEG-4 AVC/H.264或JPEG)、被LDR編碼器接受的輸入資料格式之位元深度及編碼參數(例如,HEVC中的量化參數QP)。在下文中,吾等進一步詳細討論如何判定拉格朗日乘數λi
在一實施例中,吾等可用數個品質參數(例如,HEVC之QP值)及λi值編碼數個影像。對於各QP下之給定影像,藉由在大範圍內改變λi值而執行編碼數次。給定QP值,使用最佳λi獲得之率失真(RD)點在所有RD點之集合之凸包(convex hull)上,如圖4中所示。因此,吾等可依據QP導出拉格朗日乘數λi *。例如,當16位元影像經色調映射為8位元且用HEVC編碼時,找到下列指數函數來表示拉格朗日乘數:λ i *=100 * 20.37QP (8)
給定方程式(8)中描述之函數,可在編碼器及解碼器處導出相同λi值,此係因為解碼器已知QP值。
查找表產生
在一實施例中,吾等可能需執行數值積分以實施本發明。由於針對每個像素計算總和將係非常耗時的,故吾等可藉由在x-1處累積結果而針對x值計算總和,如下文方程式(10)中所示。其他方法可用於執行數值運算。
如上文所述,給定λi值及概率分佈p的情況下,函數F*'可計算自方程式(9):
當針對各整數值x[xmin,xmax]計算F*'值時,該F*'值可經數值積分以計算Fnum,其近似方程式(3)中定義之函數S。例如,累積和可執行為:
吾等可產生查找表(LUT)以表示色調映射曲線。特定言之,函數F可經按比例調整及捨入以獲得具有針對LDR影像之所需位元深度n之整數:
注意係來自方程式(4)之之數值近似。在LUT產生後,色調映射運算可將LUT應用至原始HDR影像之每個像素。所獲得之影像隨後用LDR編碼器壓縮。用於建構色調映射曲線之參數(例如,概率分佈函數參數,xmin、xmax)需例如使用無損編碼傳達至解碼器。
圖5圖解說明根據本發明之使用逆色調映射解碼HDR影像之一例示性實施例。圖5之輸入位元串流可根據圖2產生。LDR影像及模型參數(例如,θ、xmin、xmax及QP)可解碼自位元串流。在暸解參數的情況下,可執行方程式(5)、(9)、(10)及(11)中描述之運算以產生色調映射查找表。隨後LUT被逆轉以產生逆色調映射查找表。逆LUT應用至經解碼LDR影像以重新建構HDR影像。若原始影像定義為浮點格式,則經重新建構HDR影像可從整數轉換回浮點。
圖6A至圖6H及圖7A及圖7H繪示當HEVC編碼器用作LDR編碼器時的輸入16位元HDR影像、概率分佈函數及16位元影像與8位元影像之間的轉換之色調映射曲線及逆色調映射曲線。圖6A示出影像「Péniches」,其中xmin=0且xmax=27024。圖6B展示影像「Péniches」之估計概率分佈函數。圖6C及圖6D分別展示當QP=0(λi=100)時的色調映射LUT及逆色調映射LUT。圖6E及圖6F分別展示當QP=16(λi=6055)時的色調映射LUT及逆色調映射LUT。圖6G及圖6H分別展示當QP=32(λi=3.67e+05)時的色調映射LUT及逆色調映射LUT。
圖7A展示影像「Mongolfière」,其中xmin=1834且xmax=23634。圖7B展示影像「Mongolfière」之估計概率分佈函數。圖7C及圖7D分別展示當QP=0(λi=100)時的色調映射LUT及逆色調映射LUT。圖7E及圖7F分別展示當QP=16(λi=6055)時的色調映射LUT及逆色調映射LUT。圖7G及圖7H分別展示當QP=32(λi=3.67e+05)時的色調映射LUT及逆色 調映射LUT。
吾等從圖6A至圖6H及圖7A至圖7H觀察到色調映射曲線在較高QP(及較高λi)處較平滑。在較低QP處,色調映射曲線更相依於概率分佈函數且曲線之斜率在高概率值下更陡峭。因此,該等值將以更大精度色調映射。
在於編碼器處判定色調映射曲線時,吾等在上文討論MSE可用於量測失真且結合GMM之期望最大化可用於估計概率分佈。在一變型中,取代均方誤差,吾等可選擇絕對差和(SAD)作為失真度量。在此情況中,方程式(1)至(3)中之立方根將由平方根取代。
在另一變型中,吾等可計算直方圖之精簡版本且用幾個參數對概率分佈函數建模。具體地,取代在各整數值下計算含影像之像素數目之完整直方圖,吾等可將範圍[xmin,xmax]劃分為相同長度之小數目的區間。對於各區間K,可計算落入此區間之影像之像素之數目NK。隨後,對於區間K中之各值x,藉由估計概率。例如,吾等可取得100個區間,且100個NK值(K[1,100])及值xmin及xmax需傳達至解碼器。對於圖3A中之例示性直方圖,圖3C展示使用100個區間計算得到的概率分佈函數。
例如,符合MPEG-2、MPEG-4 AVC/H.264及HEVC之各種編碼器可用作LDR編碼器。LDR編碼器亦可為位元深度可按比例調整之視訊編碼器之底層編碼器。在上述實例中,吾等假設用作指示色調映射函數之編碼參數之位元率係可忽略的,且不包含在率失真最小化問題中。若此等參數之位元率變為更大,則吾等亦可將其包含在吾等之模型中。在上文中,吾等已使用一影像作為輸入。本發明亦可在將一視訊序列用作輸入時應用且吾等可在影像之間改變參數。
例如,上文已使用數個數值以提供λi計算、直方圖區間及具有小百分比之非常低及高像素值之實例。此等數值可在輸入影像及/或編 碼設定改變時改變。
本發明具有以下優點:在相對於率失真性能設計色調映射曲線時,考慮經重新建構HDR影像之失真及編碼HDR影像之速率兩者。根據吾等之原理之色調映射曲線及逆色調映射曲線不僅取決於輸入HDR影像特性,而且亦考慮編碼設定之影響。在一實施例中,吾等在位元串流中指示輸入影像所固有的一組參數(即,θ、xmin、xmax)。基於此組固有參數及編碼參數(例如,量化參數),吾等可產生適於量化參數及因此位元率之不同組的色調映射曲線及逆色調映射曲線。HDR重新建構所需之逆色調映射曲線無需明確傳輸。而是,其可由解碼器從編碼參數及輸入影像所固有之該組參數中計算得到。因此,根據本發明之方法適於編碼設定(例如,位元率)且可在編碼HDR影像時改進壓縮效率。
圖8圖解說明根據本發明之用於編碼HDR影像之一例示性方法800。方法800從初始化步驟810處開始,其可判定輸入HDR影像之格式及LDR影像之所接受格式。在步驟820處,其例如,使用結合GMM之期望最大化或使用直方圖之精簡版本對HDR影像之概率分佈函數建模。
在步驟830處,例如,依據量化參數估計拉格朗日乘數。由於拉格朗日乘數可取決於編碼器設定,例如,使用中之視訊壓縮標準及LDR編碼器之格式之位元深度,吾等可將用於計算拉格朗日乘數之函數傳達至解碼器或編碼器及解碼器兩者可儲存拉格朗日乘數作為預定數。
基於在步驟820處建模之概率分佈函數及在步驟830處估計之拉格朗日乘數,可例如根據方程式(4)產生色調映射函數。為了執行數值運算,可產生查找表。在步驟850處,使用色調映射函數將HDR影像轉換為LDR影像。LDR影像及指示色調映射函數之參數,諸如指示 概率分佈函數之參數於步驟860處編碼在位元串流中。
方法800可按與圖8中所示不同之順序進行,例如,步驟830可在步驟820之前執行。由於拉格朗日乘數可能非取決於輸入影像,故其可在編碼輸入HDR影像之前導出。因此,步驟830可為任選的。
圖9圖解說明根據本發明之用於解碼HDR影像之一例示性方法900。方法900之輸入可為根據方法800產生之位元串流。方法900從初始化步驟910處開始,其可判定經重新建構HDR影像之格式。在步驟920處,解碼LDR影像及指示色調映射函數之參數。基於指示色調映射函數之參數,可例如根據方程式(4)產生一色調映射函數。因此,可在步驟930處產生一逆色調映射函數。類似於方法800中執行,可產生一查找表及一逆查找表以執行數值運算。在步驟940處,使用逆色調映射函數將LDR影像轉換為HDR影像。
圖10描繪用於編碼HDR影像之一例示性編碼器1000之一方塊圖。編碼器1000之輸入包含將編碼之HDR影像,編碼參數及/或可用於估計拉格朗日乘數之其他影像。概率估計器1010估計輸入影像之概率分佈函數。色調曲線估計器1020例如,基於量化參數估計拉格朗日乘數,且例如,使用方程式(4)基於概率分佈函數參數及拉格朗日乘數產生色調映射曲線。基於色調映射曲線,LDR影像產生器1030將輸入HDR影像轉換為LDR影像。LDR編碼器1040編碼LDR影像且色調曲線參數編碼器1050編碼指示色調映射函數之參數(諸如概率分佈函數參數)及輸入影像之最小及最大像素值。若用於描述拉格朗日乘數之參數將指示在位元串流中,則此等參數亦將藉由色調曲線參數編碼器1050編碼。色調曲線參數編碼器1050可為獨立模組或其可被包含在LDR編碼器1040內。
圖11描繪用於解碼HDR影像之一例示性解碼器1100之一方塊圖。解碼器1100之輸入包含待解碼之一位元串流。輸入位元串流可由編碼 器1000產生。LDR解碼器1100解碼LDR影像且色調曲線參數解碼器1120解碼指示色調映射函數之參數(諸如概率分佈函數參數)及輸入影像之最小及最大像素值。色調曲線參數解碼器1120可為獨立模組或其可被包含在LDR解碼器1110內。
逆色調曲線估計器1130基於解碼自位元串流之量化參數估計諸如拉格朗日乘數之參數,且例如使用方程式(4)產生色調映射曲線。基於逆色調映射曲線,HDR影像產生器1140將經解碼LDR影像轉換為HDR影像。
現參考圖12,展示一資料傳輸系統或設備1200,上文描述之特徵及原理可應用於該資料傳輸系統或設備1200。資料傳輸系統或設備1200可為例如一頭端或傳輸系統,其用於使用任意多種媒體,諸如,例如衛星、纜線、電話線或地面廣播傳輸一信號。資料傳輸系統或設備1200亦或替代地可用於例如提供信號用於儲存。傳輸可經由網際網路或一些其他網路提供。資料傳輸系統或設備1200能夠產生且輸送例如視訊內容及其他內容。
資料傳輸系統或設備1200從一處理器1201接收經處理資料及其他資訊。在一實施方案中,處理器1201將HDR影像轉換為LDR影像。資料傳輸系統或設備1200包含一編碼器1202及能夠傳傳輸經編碼信號之一傳輸器1204。編碼器1202從處理器1201接收資料資訊。編碼器1202產生一(諸)經編碼信號。在一些實施方案中,編碼器1202包含處理器1021且因此執行處理器1201之操作。
傳輸器1204從編碼器1202接收該(等)經編碼信號且在一或多個輸出信號中傳輸該(等)經編碼信號。傳輸器1204可例如適於傳輸具有表示經編碼圖片及/或與其等相關之資訊之一或多個位元串流之一節目信號。典型傳輸器執行諸如,例如提供錯誤校正編碼,交錯信號中之資料,隨機化信號中之能量,且使用調變器1206將信號調變至一或多 個載波上之一者或多者之功能。傳輸器1204可包含一天線(未展示)或與一天線(未展示)介接。此外,傳輸器1204之實施方案可限於調變器1206。
資料傳輸系統或設備1200亦可通信地耦合至一儲存單元1208。在一實施方案中,儲存單元1208耦合至編碼器1202且儲存來自編碼器1202之經編碼位元串流。在另一實施方案中,儲存單元1208耦合至傳輸器1204且儲存來自傳輸器1204之一位元串流。來自傳輸器1204之位元串流可包含例如已由傳輸器1204進一步處理之一或多個經編碼位元串流。在不同實施方案中,儲存單元1208為標準DVD、藍光碟、硬碟機或一些其他儲存裝置之一者或多者。
現參考圖13,展示一資料接收系統或設備1300,上文描述之特徵及原理可應用於該資料接收系統或設備1300。資料接收系統或設備1300可經組態以經由多種媒體,諸如,例如儲存裝置、衛星、纜線、電話線或地面廣播接收信號。信號可經由網際網路或一些其他網路接收。
資料接收系統或設備1300可為例如,一手機、一電腦、一機上盒、一電視或接收經編碼視訊且提供例如經解碼視訊信號用於顯示(顯示給使用者,例如)、用於處理或用於儲存之其他裝置。因此,資料接收系統或設備1300可將其輸出提供至例如一電視之一螢幕、一電腦監視器、一電腦(用於儲存、處理或顯示)或一些其他儲存、處理或顯示裝置。
資料接收系統或設備1300包含一接收器1302,該接收器1302用於接收一經編碼信號,諸如,例如本申請案之實施方案中描述之信號。接收器1302可接收例如來自圖12之資料傳輸系統1200之信號輸出。
接收器1302可例如適於接收具有表示經編碼圖片之複數個位元 串流之一節目信號。典型接收器執行諸如(例如)接收經調變及經編碼資料信號、使用一解調變器1304解調變來自一或多個載波之資料信號、將信號中之能量解隨機化、將信號中之資料解交錯及錯誤校正解碼信號之一者或多者之功能。接收器1302可包含一天線(未展示)或與一天線(未展示)介接。接收器1302之實施方案可限於解調變器1304。
資料接收系統或設備1300包含一解碼器1306。接收器1302將所接收之信號提供至解碼器1306。由接收器1302提供至解碼器1306之信號可包含一或多個經編碼位元串流。解碼器1306輸出一經解碼信號,諸如,例如包含視訊資訊之經解碼視訊信號。解碼器1306可為例如圖11中所述之解碼器1100。
資料接收系統或設備1300亦可通信地耦合至一儲存單元1307。在一實施方案中,儲存單元1307耦合至接收器1302且接收器1302從儲存單元1307存取一位元串流。在另一實施方案中,儲存單元1307耦合至解碼器1306且解碼器1306從儲存單元1307存取一位元串流。在不同實施方案中,從儲存單元1307存取之位元串流包含一或多個經編碼位元串流。在不同實施方案中,儲存單元1307為標準DVD、藍光碟、硬碟機或一些其他儲存裝置之一者或多者。
在一實施方案中,將來自解碼器1306之輸出資料提供至一處理器1308。在一些實施方案中,解碼器1306包含處理器1308且因此執行處理器1308之操作。在其他實施方案中,處理器1308係一下游裝置,諸如,例如一機上盒或一電視之部分。
本文中描述之實施方案可實施在例如一方法或一過程、一設備、一軟體程式、一資料串流或一信號中。即使僅在單一形式之實施方案的背景中討論(例如,僅作為一方法討論),所討論之特徵之實施方案仍亦可以其他形式實施(例如,一設備或程式)。一設備或包含其中之組成部分,例如,一處理器、一編碼器及一解碼器可實施在例如 適當硬體、軟體及韌體中。方法可實施在例如一設備中,諸如,例如一處理器,其一般而言係指處理裝置,包含例如,一電腦、一微處理器、一積體電路或一可程式化邏輯裝置。處理器亦包含通信裝置,諸如,例如,電腦、手機、攜帶式/個人數位助理(「PDA」)及促進終端使用者之間的資訊通信之其他裝置。
提及本發明之「一項實施例」或「一實施例」或「一項實施方案」或「一實施方案」以及其之其他變型意指結合實施例描述之一特定特徵、結構、特性等包含在本發明之至少一實施例中。因此,出現於本說明書之各個位置中之片語「在一項實施例中」或「在一實施例中」或「在一項實施方案中」或「在一實施方案中」以及任意其他變型之出現未必全部指相同實施例。
此外,本申請案或其申請專利範圍可能涉及「判定」各條資訊。判定資訊可包含例如,估計資訊、計算資訊、預測資訊或從記憶體擷取資訊之一者或多者。
此外,本申請案或其申請專利範圍可能涉及「存取」各條資訊。存取資訊可包含例如,接收資訊、擷取資訊(例如,從記憶體),儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、擦除資訊、計算資訊、判定資訊、預測資訊或估計資訊之一者或多者。
此外,本申請案或其申請專利範圍可能涉及「接收」各條資訊。與存取一樣,「接收」旨在作為廣義術語。接收資訊可包含例如,存取資訊或擷取資訊(例如,從記憶體)之一者或多者。此外,「接收」通常以一種方式或另一方式在諸如,例如,儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、擦除資訊、計算資訊、判定資訊、預測資訊或估計資訊之操作期間涉及。
如本領域技術人員將暸解,實施方案可產生多種信號,其等經格式化以攜載可例如儲存或傳輸之資訊。資訊可包含例如用於執行一 方法之指令或將由所描述之實施方案之一者產生之資料。例如,一信號可經格式化以攜載所描述之實施例之位元串流。此一信號可經格式化為例如一電磁波(例如,使用頻譜之一射頻部分)或格式化為一基頻信號。格式化可包含例如編碼一資料串流且用經編碼資料串流調變一載波。信號攜載之資訊可為例如類比或數位資訊。如已知,信號可經由多種不同有線或無線鏈路傳輸。信號可儲存在一處理器可讀媒體上。

Claims (22)

  1. 一種用於解碼高動態範圍(HDR)影像之方法,其包括:存取一位元串流,其具有包含其中之該等HDR影像;從該位元串流解碼(920)低動態範圍(LDR)影像;從該位元串流存取(920)資訊,該所存取資訊包含用於編碼該等HDR影像之一參數;及回應於該所存取參數從該等LDR影像產生(940)該等HDR影像。
  2. 如請求項1之方法,該所存取資訊指示一逆色調映射函數,該方法進一步包括:回應於該所存取資訊產生(930)該逆色調映射函數,其中該產生該等HDR影像係回應於該逆色調映射函數。
  3. 如請求項1之方法,其中該所存取參數係一量化參數。
  4. 如請求項1之方法,其中該所存取資訊包含指示對應於待解碼之該等HDR影像之原始HDR影像之動態範圍之參數。
  5. 如請求項1之方法,其中該所存取資訊進一步包含指示對應於待解碼之該等HDR影像之原始HDR影像之一概率分佈函數之參數。
  6. 一種用於編碼高動態範圍(HDR)影像之方法,其包括:回應於該等HDR影像及至少一編碼參數而判定(840)一色調映射函數;回應於該色調映射函數從該等HDR影像而判定(850)LDR影像;及編碼(860)該等所判定LDR影像及指示該所判定色調映射函數之資訊,其中該至少一編碼參數用於編碼該等LDR影像。
  7. 如請求項6之方法,其中該至少一編碼參數包含一量化參數。
  8. 如請求項7之方法,其中該判定一色調映射函數包括:回應於該量化參數而判定一拉格朗日乘數。
  9. 如請求項6之方法,其中該判定一色調映射函數包括:判定該等HDR影像之該動態範圍及該等HDR影像之一概率分佈函數之至少一者。
  10. 如請求項6之方法,其中該判定一色調映射函數係回應於一率失真函數。
  11. 一種用於解碼高動態範圍(HDR)影像之設備(1100),其包括:一解碼器(1110),其經組態以自具有包含其中之該等HDR影像之一位元串流解碼低動態範圍(LDR)影像;一處理器(1110、1120),其經組態以從該位元串流存取資訊,該所存取資訊包含用於編碼該等HDR影像之一參數;及一HDR影像產生器(1140),其經組態以回應於該所存取參數從該等LDR影像產生該等HDR影像。
  12. 如請求項11之設備,該所存取資訊指示一逆色調映射函數,該設備進一步包括:一逆色調曲線估計器(1130),其經組態以回應於該所存取資訊產生該逆色調映射函數,其中該HDR影像產生器經組態以回應於該逆色調映射函數產生該等HDR影像。
  13. 如請求項12之設備,其中該所存取參數係一量化參數。
  14. 如請求項12之設備,其中該所存取資訊包含指示對應於待解碼之該等HDR影像之原始HDR影像之該動態範圍之參數。
  15. 如請求項12之設備,其中該所存取資訊進一步包含指示對應於待解碼之該等HDR影像之原始HDR影像之一概率分佈函數之參數。
  16. 一種用於編碼高動態範圍(HDR)影像之設備(1000),其包括:一色調曲線估計器(1020),其經組態以回應於該等HDR影像及至少一編碼參數而判定一色調映射函數;一LDR影像產生器(1030),其經組態以回應於該色調映射函數從該等HDR影像而判定LDR影像;及一處理器(1040、1050),其經組態以編碼該等所判定LDR影像及指示該所判定色調映射函數之資訊,其中該至少一編碼參數用於編碼該等LDR影像。
  17. 如請求項16之設備,其中該至少一編碼參數包含一量化參數。
  18. 如請求項17之設備,其中該色調曲線估計器回應於該量化參數而判定一拉格朗日乘數。
  19. 如請求項16之設備,其中該色調曲線估計器判定該等HDR影像之該動態範圍及該等HDR影像之一概率分佈函數之至少一者。
  20. 如請求項16之設備,其中該色調曲線估計器回應於一率失真函數而判定該色調映射函數。
  21. 一種電腦可讀儲存媒體,其具有儲存其上用於根據請求項1至10編碼或解碼高動態範圍(HDR)影像之指令。
  22. 一種電腦可讀儲存媒體,其具有儲存其上根據請求項6至10產生之一位元串流。
TW104106411A 2014-02-26 2015-02-26 用以編碼及解碼高動態範圍影像之方法及裝置 TWI677235B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP14305266.0 2014-02-26
EP14305266 2014-02-26
EP14305480.7A EP2927865A1 (en) 2014-04-01 2014-04-01 Method and apparatus for encoding and decoding HDR images
EP14305480.7 2014-04-01

Publications (2)

Publication Number Publication Date
TW201543867A true TW201543867A (zh) 2015-11-16
TWI677235B TWI677235B (zh) 2019-11-11

Family

ID=52595323

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104106411A TWI677235B (zh) 2014-02-26 2015-02-26 用以編碼及解碼高動態範圍影像之方法及裝置

Country Status (7)

Country Link
US (2) US10650501B2 (zh)
EP (1) EP3111416A1 (zh)
JP (1) JP6546599B2 (zh)
KR (3) KR102361927B1 (zh)
CN (2) CN106062816B (zh)
TW (1) TWI677235B (zh)
WO (1) WO2015128295A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015128295A1 (en) 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images
PT3324629T (pt) 2014-05-28 2019-10-08 Koninklijke Philips Nv Métodos e aparelhos para codificação de imagens hdr e métodos e aparelhos para utilização de tais imagens codificadas
WO2016002577A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 画像処理装置および方法
EP3026917A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Methods and apparatus for model-based visual descriptors compression
KR102254535B1 (ko) * 2015-07-22 2021-05-20 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 재현 시퀀스들을 코딩하기 위한 시스템
US10542269B2 (en) 2015-12-09 2020-01-21 Dolby Laboratories Licensing Corporation Low-complexity lookup table construction with reduced interpolation error
WO2017101137A1 (zh) * 2015-12-15 2017-06-22 华为技术有限公司 一种高动态范围图像的处理方法、装置及终端设备
JP6237797B2 (ja) * 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
EP3507981B1 (en) * 2016-08-30 2023-11-29 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
JP6822121B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR102416867B1 (ko) * 2017-03-07 2022-07-05 중앙대학교 산학협력단 비전 문제의 솔루션 제공 방법 및 그 장치
JP7037584B2 (ja) * 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
CN108171762B (zh) * 2017-12-27 2021-10-12 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
EP3762895A4 (en) 2018-04-02 2021-04-21 Huawei Technologies Co., Ltd. VIDEO ENCODING WITH CONSECUTIVE CODECS
JP7189230B2 (ja) 2018-04-09 2022-12-13 ドルビー ラボラトリーズ ライセンシング コーポレイション ニューラルネットワークマッピングを用いるhdr画像表現
CN108900838B (zh) * 2018-06-08 2021-10-15 宁波大学 一种基于hdr-vdp-2失真准则的率失真优化方法
US10841356B2 (en) * 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
CN110769210B (zh) * 2019-11-07 2022-06-03 湖南国科微电子股份有限公司 一种生成hdr图像的方法及装置
US11398017B2 (en) * 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
CN117440154B (zh) * 2023-12-21 2024-04-19 之江实验室 一种考虑浮点数位拆分的深度图序列压缩方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020822B2 (en) 2001-08-02 2006-03-28 Texas Instruments Incorporated Automatic repeat request for centralized channel access
US20030103459A1 (en) 2001-11-16 2003-06-05 Connors Dennis P. Method and implementation for a flow specific modified selective-repeat ARQ communication system
DE602004012702T2 (de) 2004-01-22 2009-04-16 Matsushita Electric Industrial Co., Ltd., Kadoma-shi Verfahren zur HARQ-Wiederholungszeitsteuerung
JP4594110B2 (ja) 2004-01-23 2010-12-08 株式会社エヌ・ティ・ティ・ドコモ 送信装置およびプログラム
US7761767B2 (en) 2005-10-21 2010-07-20 Interdigital Technology Corporation Method and apparatus for retransmission management for reliable hybrid ARQ process
JP5108244B2 (ja) 2006-03-30 2012-12-26 株式会社エヌ・ティ・ティ・ドコモ 通信端末及び再送制御方法
US20080144550A1 (en) 2006-12-15 2008-06-19 Motorola, Inc. Retransmission scheme for maintaining performance for wireless communications in the presence of periodic intermittent interference
US7983496B2 (en) * 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
JP5451626B2 (ja) * 2007-10-19 2014-03-26 トムソン ライセンシング 統合された空間・ビット深度スケーラビリティ
US8290295B2 (en) 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
JP2011010108A (ja) * 2009-06-26 2011-01-13 Seiko Epson Corp 撮像制御装置、撮像装置及び撮像制御方法
EP2449526A1 (en) 2009-06-29 2012-05-09 Thomson Licensing Zone-based tone mapping
GB2486348B (en) * 2009-10-08 2014-11-12 Ibm Method and system for transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
WO2012147018A2 (en) 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Apparatuses and methods for hdr image encoding and decoding
AR091515A1 (es) 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
CN102970536B (zh) 2012-11-15 2015-10-28 上海交通大学 一种改进的带有预测残差调整的视频编码方法
WO2015128295A1 (en) 2014-02-26 2015-09-03 Thomson Licensing Method and apparatus for encoding and decoding hdr images

Also Published As

Publication number Publication date
CN110708545B (zh) 2022-04-01
JP2017509057A (ja) 2017-03-30
TWI677235B (zh) 2019-11-11
US20200172813A1 (en) 2020-06-04
KR20160125399A (ko) 2016-10-31
EP3111416A1 (en) 2017-01-04
KR20220025153A (ko) 2022-03-03
KR102361927B1 (ko) 2022-02-11
CN106062816B (zh) 2019-11-22
US20210062095A9 (en) 2021-03-04
US11727548B2 (en) 2023-08-15
JP6546599B2 (ja) 2019-07-17
US10650501B2 (en) 2020-05-12
CN106062816A (zh) 2016-10-26
WO2015128295A1 (en) 2015-09-03
US20160371822A1 (en) 2016-12-22
KR20230062888A (ko) 2023-05-09
CN110708545A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US11727548B2 (en) Method and apparatus for encoding and decoding HDR images
KR102332476B1 (ko) 신경망을 이용한 타일 이미지 압축
US9781449B2 (en) Rate distortion optimization in image and video encoding
TWI659642B (zh) 影像之編碼方法和裝置,以及位元流之解碼方法和裝置
CN109922340B (zh) 图像编解码方法、装置、系统及存储介质
EP3107301A1 (en) Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
CN107666472B (zh) 混合的数字-模拟编解码的方法和设备
EP2927865A1 (en) Method and apparatus for encoding and decoding HDR images
CN101816178B (zh) 在解码器中校正量化系数的方法和设备
US10574987B2 (en) Method and device for encoding a high-dynamic range image
US20160156908A1 (en) Method and device for encoding and decoding a hdr picture and a ldr picture
KR101958844B1 (ko) 3d 모델을 표현하는 비트스트림을 생성 또는 디코딩하기 위한 방법 및 장치
US20240129473A1 (en) Probability estimation in multi-symbol entropy coding
Simic et al. DESIGN AND IMPLEMENTATION OF NON-UNIFORM QUANTIZERS FOR DISCRETE INPUT SAMPLES
TW201537965A (zh) 影像之編碼方法和裝置,以及電腦程式製品和處理器可讀式媒體
TW201537962A (zh) 影像之編碼方法和裝置,位元流之解碼裝置,電腦程式製品,以及處理器可讀式媒體
CN116778002A (zh) 编解码方法、装置、设备、存储介质及计算机程序产品
TW201537964A (zh) 影像之編碼方法和裝置,位元流之解碼裝置,電腦程式製品,以及處理器可讀式媒體
TW201532424A (zh) 影像之編碼方法和裝置,以及電腦程式製品和處理器可讀式媒體
TW201537961A (zh) 影像之編碼方法和裝置,位元流之解碼裝置,電腦程式製品,以及處理器可讀式媒體
TW201537963A (zh) 影像之編碼方法和裝置,以及電腦程式製品和處理器可讀式媒體