TWI546798B - 使用處理器來遞色影像的方法及其電腦可讀取儲存媒體 - Google Patents

使用處理器來遞色影像的方法及其電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI546798B
TWI546798B TW103109906A TW103109906A TWI546798B TW I546798 B TWI546798 B TW I546798B TW 103109906 A TW103109906 A TW 103109906A TW 103109906 A TW103109906 A TW 103109906A TW I546798 B TWI546798 B TW I546798B
Authority
TW
Taiwan
Prior art keywords
noise
component
dithering
bit depth
image
Prior art date
Application number
TW103109906A
Other languages
English (en)
Other versions
TW201445556A (zh
Inventor
史考特 達利
李逢善
Original Assignee
杜比實驗室特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司 filed Critical 杜比實驗室特許公司
Publication of TW201445556A publication Critical patent/TW201445556A/zh
Application granted granted Critical
Publication of TWI546798B publication Critical patent/TWI546798B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2044Display of intermediate tones using dithering
    • G09G3/2048Display of intermediate tones using dithering with addition of random noise to an image signal or to a gradation threshold
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

使用處理器來遞色影像的方法及其電腦可讀取儲存媒體 相關申請案交互參考
本申請案主張2013年4月29日提出申請之美國臨時申請案編號61/817,222及2013年6月4日提出申請之美國臨時申請案編號61/830,806之優先權,該兩申請案之全文併入本文參考。
一般言之,本發明與影像有關。更特定地說,本發明的實施例與以色度次取樣格式所表現之影像的遞色有關。
本文中所使用的名詞“遞色”意指故意將雜訊加入由於對靜態或移動影像或圖像施加位元深度變換所造成之隨機化量化誤差的處理。施加遞色以使得當減少信號之位元深度時,經量化之輸出信號的平均局部值具有與輸入相同的位元深度。
關於成像的應用軟體,當N位元影像被轉換成P位元影像(其中,P小於N)時,視覺系統做平均處理。例 如,當從多位元深度的信號(例如,N=8)轉為二進制信號(例如,P=2)時可使用遞色。此情況也稱為半色調處理(halftoning)。在顯示技術中,可施加遞色來降低輸入的位元深度(例如,10位元),以匹配目標顯示器之較少的位元深度(例如,8位元)。
本文中所使用的名詞“動態範圍”(dynamic range;DR)意指人類視覺系統(HVS)察覺影像中強度(例如,亮度)之範圍的能力,例如,從最黑的黑到最亮的亮。就此意義上來說,DR與“歸因於景物”的強度有關。DR也與顯示裝置適當地或近似地渲染特定寬度之強度範圍的能力有關。就此意義上來說,DR與“歸因於顯示器”的強度有關。在本文任何一處的描述中,除非明確地指出特定的意義具有特定的含義,否則應意指在此兩意義中都可使用此名詞,即,兩者可替換。
本文中所使用之與DR寬度有關的名詞“高動態範圍”(high dynamic range;HDR),其跨度大約為HVS的14-15個數量級。例如,本質上視力正常(例如,在統計學、生物特徵測量學、或眼科學的一或多個意義上)之適應性良好的人具有大約15個數量級之跨度的強度範圍。適應的人可以看見數個光子的昏暗光源,然而,這些相同的人也可看見沙漠、大海、雪地中正午太陽幾近強烈的明亮強度(或甚至瞥視太陽,不過,短暫的以避免受傷)。雖然此跨距可用於“適應的”人,但這些人的HVS例如有一段重置與調整的時間周期。
反之,人可同時察覺廣寬度之強度範圍的DR關於HDR多少有些縮小。本文所使用的名詞“視覺動態範圍”(visual dynamic range;VDR)或“增強型動態範圍”(enhanced dynamic range;EDR)與DR有關,其為可被HVS同時察覺的範圍。如本文中所使用,VDR關於DR為5-6個數量級的跨度,不過,本文並無意被限制於任何跨度的動態範圍,且VDR(或EDR)可窄於或等於HDR。
一直到最近,顯示器具有的DR遠窄於HDR或VDR。使用典型陰極射管(CRT)、以恆定螢光白色背光照明的液晶顯示器(LCD)或電漿螢幕技術的電視(TV)與電腦監視器設備,它們的DR渲染能力被限制在大約3個數量級。因此,這些習用的顯示器關於VDR及HDR典型上為低動態範圍(LDR)或標準動態範圍(SDR)。數位電影系統顯現與其它顯示裝置某些相同的限制。在本申請案中,“視覺動態範圍”(VDR)意欲指示任何擴展的動態範圍,其比LDR或SDR寬,且可能窄於或等於HDR。
實際上,影像包含一或多個顏色分量(例如,亮度Y與色度Cb及Cr或R、G、及B),其中,每一個顏色分量由每像素N位元(例如,N=8)的精確度來表示。雖然亮度的動態範圍與位元深度不是等同的實體,但它們通常相關。N8(例如,24位元顏色的JPEG影像)的影像考慮為標準動態範圍的影像,而N>8的影像考慮為具有高動態範圍能力的影像。VDR與HDR影像也使用高精確度(例如,16位元)的浮點格式來儲存與發送,諸如Industrial Light and Magic所開發的OpenEXR檔案格式
儘管近年來顯示處理的進步,但硬體的限制仍限制了VDR影像與視訊之處理管線的位元深度精確度。如本發明人等之理解,有需要為影像的遞色發展增進的技術。
在本節中所描述的方法係可實行,但非必然為先前已構想與實行的方法。因此,除非另作說明,否則不能僅由於這些因包括在本節中而假設本節中所描述的任何方法當成習知技術。同樣地,除非另作說明,否則,關於一或多個方法所指出的論題不能基於本節而假設為習知技術。
202‧‧‧信號
205‧‧‧OTF模型
220‧‧‧雜訊濾波器
222‧‧‧雜訊濾波器的輸出
224‧‧‧雜訊濾波器的輸出
225‧‧‧局部區域分析
230‧‧‧加權
235‧‧‧二維白雜訊產生器
237‧‧‧雜訊輸出
240‧‧‧加法器
245‧‧‧色彩轉換器
246‧‧‧顏色分量
249‧‧‧經遞色之影像
250‧‧‧量化器
252‧‧‧經遞色之影像
254‧‧‧經遞色之信號
本發明的實施例藉由所附圖式之圖中的實例來說明而非限制,且其中相同的參考編號指示類似的元件,且其中:圖1A描繪人類視覺系統之光學轉換函數(optical transfer function;OTF)的例子;圖1B描繪人類視覺系統之反光學轉換函數的例子;圖2A及圖2B描繪按照本發明之實施例之用於遞色色度次取樣影像的處理例。
【發明內容及實施方式】
本文描述用於影像的遞色技術。人類視覺系統(HVS)之光學轉換函數(OTF)的模型被用來構形要被附加到色度次取樣視訊信號之顏色分量的雜訊。在以下的描述中,基 於解釋之目的,為了提供對本發明之徹底的瞭解,陳述了許多特定的細節。不過,應理解,本發明的實行不需要這些特定節細節。在其它的例中,為了避免不必要地糢糊了發明,並未描述習知結構與裝置的詳盡細節。
概述
本文所描述的例示實施例與影像的遞色有關。第一位元深度的輸入影像被分解成亮度與一或多個色度分量。人類視覺系統(HVS)之光學轉換函數(OTF)的模型被用來產生要被附加到輸入影像之色度分量的遞色雜訊,以產生經雜訊修改的色度分量。遞色雜訊係使用根據反OTF之濾波器來濾波假隨機白雜訊而產生,其中,OTF的模型係回應根據次取樣色度分量之空間解析度所決定的視距加以調適。
在一實施例中,藉由將輸入的亮度分量與經雜訊修改的色度分量量化到淺於第一位元深度的第二位元深度,以產生經遞色的輸出影像。
在另一實施例中,在被量化成第二位元深度以產生經遞色之輸出影像之前,將輸入的亮度信號分量與經雜訊修改的色度分量被轉換成第二顏色格式的第二影像。
在某些實施例中,輸入的影像信號在被遞色之前,先被轉換成線性化的色彩空間。
在某些實施例中,OTF模型係根據用於固定瞳孔大小的Deeley OTF模型。
在某些實施例中,經濾波的白雜訊在被加到色度分量之前,先按照輸入影像的局部區域分析而被進一步調整。
以OTF為基礎之遞色雜訊產生的實例
在數位遞色期間,一序列的N位元輸入影像(例如,N=8位元)被量化降為P位元影像,其中,P<N位元,在較低位元被丟棄或被量化之前,雜訊被加到這些影像。基本的工程取捨係透過減少位元深度的處理,儘可能多加雜訊以使能夠保存同樣多的有效感知位元,然而雜訊本身是不可見的。不可見性主要視顯示器與視距參數而定。在實施例中,影像遞色中所使用之雜訊源的雜訊特性,係根據人類視覺系統(HVS)之光學轉換函數(OTF)的模型來決定。
HVS的OTF(從現在開始僅簡單地以OTF表示)係一嚴格的低通函數,且因此對於用來表示平均處理,要優於HVS的對比敏感函數(contrast sensitivity function;CSF)。此外,OTF在線性亮度域中係線性移位不變濾波器,然而,CSF為複數非線性處理,有時被模型化成結合濾波與振幅非線性的處理。最後,CSF之主要的高頻衰減是由OTF所造成。
在例示的實施例中,遞色雜訊可被頻譜地成形,使其成為OTF的反函數,以致於視覺系統之OTF的行為將導致感知一致的雜訊,在所有頻率都相等地可見。此將給予任何可見度位準最大的雜訊變異。通常,設計方法要保持遞色雜訊對於所有頻率都一律不可見。亦即,OTF對於雜訊的效果係預補償,使得到達視網膜的雜訊為白雜訊。
OTF以數個由不同資料組所產生的函數來模型化,且所使用的特定版本並不重要。例如,Williams等人在“Double-pass and interferometric measures of the optical quality of th eye,”JOSA A 11.12(1994):3123-3135中描述OTF使用以下方程式,併入本文參考:
其中,s係視覺頻率cy/deg,及方程式參數為a=0.1212、w 1=0.3481、及w 2=0.6519。
另一常用的OTF表示法描述於Deeley,Robin J.,Neville Drasdo、與W.Neil Charman的"A simple parametric model of the human ocular modulation transfer function." Ophthalmic and Physiological Optics 11.1(1991):91-93,其全部內容併入本文參考。
Deeley模型的優點在於其對於瞳孔大小d參數化。用於此OTF之方程式係為:
其中,f係以周期/度(cy/deg)為單位的空間頻率,及d係以毫米(mm)為單位的瞳孔大小。圖1A描繪按照方程式(2)用於3mm(d=3)瞳孔之OTF函數的例子。圖1B描繪圖1A 之反函數(1/OTF)。
在某些實施例中,可施加定義在HVS頻譜(例如,0至60cy/deg)內之任何低通濾波器來取代OTF函數。因此,1/OTF雜訊濾波器(220)可以以用定義於HVS之頻譜內的任何高通濾波器來表示。
為了將OTF施加於數位影像域,頻率需要從周期/度(cy/deg)轉換成周期/像素(cy/pixel)。(須注意,0.5cy/pixel係奈奎斯折疊頻率(Nyquist folding frequency),亦即,數位影像中可傳輸的最大可能頻率)。以下的方程式用來在視覺空間頻率(單位為cy/deg)與實體頻率(諸如cy/mm)或數位頻率(單位為cy/pixel)之間轉換:
其中,D為視距,以與方程式(3)中之實體頻率相同的單位(例如,毫米)或像素(見方程式(4))來測量。例如,當觀看全高清(HD)電視(例如,使用1920×1080像素的解析度),位在通常3個畫面高度的視距(3H),D=3×1080=3240像素。
色度次取樣的頻譜成形
在例示的實施例中,遞色係以視訊信號的亮度/色度表示法施加於信號,諸如YCbCr、YUV、Lab等。在這些 表示法中,大部分的亮度資訊係載於Y或L信號。色度分量信號(例如,CbCr)傳輸極少量的亮度資訊,且被稱為近似等明度或假等明度。
在實施例中,遞色雜訊僅加到假等明度信號,諸如Cr與Cb,且不加到亮度分量。這是因為雜訊與其它空間式樣在亮度通道中的可見度遠高於在色度通道中。
在實施例中,雜訊的頻譜係根據色度分量的空間解析度被成形,其與亮度分量的空間解析度不同。例如,使用4:2:2的色度取樣,色度分量在水平方向被2的因數次取樣。例如,1920×1080的視訊信號可包含空間解析度為1920×1080的亮度信號分量(例如,Y)及空間解析度為960×1080的色度信號分量(例如,Cr與Cb)。在另一例中使用4:2:0的色度取樣,色度分量在水平方向與垂直方向皆被2的因數次取樣。因此,1920×1080的視訊信號包含空間解析度為960×540的色度信號分量。
在實施例中,雜訊係在次取樣域中被附加。在最後被顯示之前,視顯示之需要將色度次取樣的影像升取樣(例如,升到4:4:4表示法),且通常被從亮度/色度表示法轉換到RGB表示法以驅動顯示器三原色。被加到信號的遞色雜訊也經歷相同的處理,且它的頻譜被色度升處理的幾何改變。因此,其被設計成被升處理補償,以使其在升取樣處理之後具有所需的頻譜形狀。所需的頻譜形狀係OTF的反函數,如前文所述。
圖2A描繪按照本發明之實施例,用於遞色色度次取 樣YCbCr影像的處理例。如圖2A之描繪,遞色處理可劃分成兩部分:a)離線設計的遞色雜訊產生器,及b)即時遞色處理,在此,雜訊被附加到要被量化的信號。
如圖2A之描繪,非用於限制,典型上,遞色雜訊產生處理係離線實施。在實施例中,所得到之用於色度分量的遞色雜訊式樣可被儲存在記憶體中;不過,提供足夠的計算資源,此部分的處理也可即時實施。
如圖2A之描繪,遞色雜訊產生處理開始於步驟(205)建立OTF模型。在例示的實施例中,非用於限制,OTF模型可以是方程式(2)之用於固定d值的Deeley模型。在實施例中,d=3mm代表強光;不過,OTF函數也很容易調整以用於其它光條件。在步驟(210)中,原始OTF模型的輸出可加以調整,以使它的輸出以cy/pixels來表示,在此,方程式(4)中之視距(例如,D)所表示的視距,用於位在有興趣之空間方向的次取樣色度分量。例如,對於HD 1920×1080信號,以4:2:2格式處理,對於用於垂直頻率的OTF模型,DH=3H=3×1080=3,240像素。同樣地,對於用於水平頻率的OTF模型,DW=3Hs=3×(1080/2)=3×540=1620像素。
對於垂直與水平頻率使用分離的OTF模型(例如,根據方程式(2)的OTF(f h,d)與OTF(f w,d)),可產生2-D的OTF模型(例如,OTF(f h,f w))。在某些實施例中,2-D模型可以是笛卡兒可分離的(例如,OTF(f h,f w)=OTF(f h,d)*OTF(f w,d))。在某些其它實施例中, 聯合模型可以是極性可分離的。
一般來說,OTF函數係旋轉地對稱,因此,其係極性可分離的;不過,由於橫跨整個人類的變異,笛卡兒模型也可運作,在例示的實施例中,令
則方程式(2)的OTF(f h,f w)=OTF(r,d)。
步驟(235)代表2維白(例如,高斯)雜訊產生器。在較佳的實施例中,雜訊產生器產生使用兩個獨立的假隨機產生器種子來產生用於每一個色度通道之分立的雜訊輸出(237-A與237-B)。在例示的實施例中,對於在範圍(0,255)內的雜訊輸出,雜訊產生器可產生σ=30的白雜訊。
使用根據OTF之反函數(亦即1/OTF)的濾波器對雜訊產生器(235)的每一個輸出(237-A、237-B)濾波。濾波可在空間域或在頻率域中實施。由於OTF(215)典型上是在頻率域中,在頻率域中的濾波包含:a)使用快速傅利葉轉換(Fast Fourier Transform;FFT)轉換頻率域中之雜訊產生器的輸出;b)將轉換步驟的輸出乘以反OTF;以及c)使用諸如反FFT之反轉換將該乘積轉換回空間域。因此,雜訊濾波器(220)的輸出(222與224)代表要被加到要被遞色之輸入信號(例如,信號202)之色度分量(例如,202-Cr與202-Cb)的兩組2D遞色雜訊式樣。
如圖2A之描繪,雜訊濾波器(220)的輸出可用權數 W CbW Cr選擇性地按比例調整。在一實施例中,這些權數可按照目標顯示器的特性(諸如顯示器的動態範圍與三原色)調整而與影像無關。在另一實施例中,該等權數也根據輸入影像(202)的局部區域分析而做進一步調整,以補償偵測高飽合輸入顏色的情況。在高飽合顏色區的情況中,意欲的等明度雜訊調變變為亮度調變。例如,對於純綠色(RGB=(0,1,0))之意欲的Cr調變傾向顯現為亮度調變,因為少量引入的紅色調變大約為0,其為黑色。意欲的負紅色調變被限幅,且由於這些紅色子像素與綠色子像素鄰接,這些子像素被完全點亮,紅色中的正調變不會被察覺。此外,由於綠色是在最大值,任何的綠色正調變將被限幅。因此,諸如在此顏色區中,將色度調變完全轉移到另一通道為較佳,在此例中例如為Cb通道。重新加權色度雜訊調變的各種不同組合都可施加。例如,在實施例中,假設正常處理W CbW Cr代表與影像無關之權數的期間,加之決定係用於位於“全紅色”區域(例如,R>200,G<10,及B<10)內之像素,局部區域分析步驟(225)可按如下調整該兩個權數:如果輸入像素為“全紅色”
W Cr=c1* W CrW Cb=c2* W Cb; 其中,c1與c2係預定之比例量(例如,c1=0及c2=2.0)。
在某些實施例中,局部區域分析(225)可在與輸入色域(例如,YCbCr)不同的色域(例如,RGB)中操作。在某些其它實施例中,局部區域分析(225)可在與輸入色域(例 如,YCbCr)相同的色域中操作。
在選用的加權(230-A與230-B)之後,遞色雜訊被加到輸入信號(202)的色度分量(202-Cb與202-Cr)以產生雜訊修改的顏色分量(246-Cb,246-Cr)。遞色雜訊(222與224)可用小於輸入信號之位元深度的位元深度來表示。在實施例中,雜訊與信號藉由對齊兩信號的最低有效位元而相加。
在附加遞色雜訊之後,可直接量化原始的亮度信號(202-Y)與經雜訊修改的色度信號(246-Cb與246-Cr),或可在步驟(245)先將其轉換成與顯示器相關的彩色空間(例如,RGB)。此步驟也可包含色度分量的升取樣,以匹配亮度分量的解析度。在選用的色彩轉換(245)之後,可使用任何習知技術的量化設計將其輸出(247)的每一個顏色分量量化成所需的位元深度(例如,P<N),以產生經遞色的輸出影像(249)。經濾波的雜訊加到次取樣的色度分量信號,隨後的轉換回RGB,以及RGB中位元深度的截斷,均顯示於圖2下半部的即時處理。
在某些實施例中,要被遞色的輸入信號(例如,202)可在伽馬校正域中,其大約是亮度的冪函數(例如,1/2.2)。在某些實施例中,為得利於OTF在線性亮度域中之濾波處理的動作類似線性濾波器之事實,在雜訊附加步驟(240-A與240-B)之前,可增加信號線性化步驟(未顯示)。在此等實施例(未顯示)中,信號(202)可經由a)將原始輸入信號YCbCr轉換成RGB信號,b)對RGB信號施加 反伽馬函數,及c)轉換回線性YCbCr(例如,Y’Cb’Cr’)而被產生。在某些其它實施例中,遞色雜訊附加步驟可在替代的線性化色彩空間(例如,LMS或CIE XYZ)中實施。在這些實施例中,色彩轉換步驟(245)可視需要(例如,LMS轉換到RGB或XYZ轉換到RGB)加以調適。
圖2B描繪按照本發明另一實施例之用於遞色色度次取樣YCbCr影像的處理例。與圖2A及圖2B所描繪之實施例間的主要差異在於,在圖2B所描繪的系統中,遞色雜訊係加到假等明度信號(諸如Cr與Cb)及亮度分量Y(202)兩者。
如圖2B之描繪,如“離線設計”的部分,與亮度相關的遞色信號(226)可使用與先前所討論用來產生與色度相關之遞色信號(222與224)類似的方法來產生。指定的OTF模型(205),且在輸入樣本域中計算視距(208-Y),使用方程式(3)及(4)將輸入的OTF模型從cy/deg映射到cy/pixel表示法。映射函數(210-C)與(210-Y)之間的關鍵差異在於,在(210-C)中,視距係在次取樣色度域中計算,而在(210-Y)中,視距係在全解析度的輸入域中計算。
濾波器(220)現在包含3個分別用於每一個顏色分量之獨立的1/OTF濾波器,每一個濾波器對由先前所討論之2D空間白雜訊產生器(235)所產生的白雜訊濾波。現在,雜訊產生器(235)使用3個分立的種子,每一個顏色分量使用一個種子。
如圖2B之描繪,在即時處理步驟期間,可選用定比 器(230-C)使用權數W Y按比例調整雜訊濾波器(220)之與亮度相關的輸出(226)。在選用的加權之後(230-A,230-B,230-C),遞色雜訊被附加到輸入信號(202)的色度分量(202-Cb與202-Cr)與亮度分量(202-Y),用以產生經雜訊修改的顏色分量(246-Cb、246-Cr、及246-Y)。
在附加了遞色雜訊之後,接著使用任何習知技術的量化設計,以量化器(250)將經雜訊修改的亮度信號(246-Y)與經雜訊修改的色度分量(246-Cb與246-Cr)量化成所要的位元深度(例如,P<N),以產生經遞色之影像(252)的輸出。
在某些實施例中,量化(250)之後可接著選用色彩轉換(245)(例如,YCbCr轉換到RGB),以轉換到適合於顯示器或其它用以產生經遞色之信號之後處理(254)的色彩域。此步驟也可包含色度分量的升取樣,以匹配亮度分量的解析度。
在某些實施例中,如圖2A之描繪,色彩轉換(245)可在量化步驟(250)之前。
例示電腦系統之實施
本發明之實施例的實施,可使用電腦系統、以電子電路及組件所組構的系統、積體電路(IC)裝置,諸如微控制器、現場可程式閘陣列(field programmable gate array;FPGA)、或其它可組構或可程式的邏輯裝置(programmable logic device;PLD)、離散時間或數位信號處理器(DSP)、 特殊應用IC(application specific IC;ASIC)、及/或包括一或多個此等系統、裝置、或組件的設備。電腦及/或IC可實施諸如與本文所描述那些影像遞色相關之指令的控制或執行。電腦及/或IC可計算與本文所描述之影像遞色相關的各種參數或值。影像遞色實施例可在硬體、軟體、韌體、及它們的各種組合中實施。
本發明的某些實施包含電腦處理器,其執行致使處理器實施本發明之方法的軟體指令。例如,在顯示器、編碼器、機上盒、轉碼器、或類似物中的一或多個處理器,其可藉由執行處理器可取用之程式記憶體中的軟體指令,實施上述用於影像遞色之方法。本發明也可用程式產品的形式提供。程式產品可包含任何傳送包含指令之一組電腦可讀取信號的任何媒體,當由資料處理器執行時,其致使資料處理器執行本發明之方法。按照本發明的程式產品可以是各種不同的任何形式。該程式產品可包含例如實體媒體,諸如磁性資料儲存媒體,包括軟式碟片、硬式磁碟機;光學資料儲存媒體,包括CD ROM、DVD;電子資料儲存媒體,包括ROM、快閃RAM、或類似物。程式產品上的電腦可讀取信號可選擇性地被壓縮或加密。
以上提及的組件(例如,軟體模組、處理器、總成、裝置、電路等),除非另有指,關於該組件(包括參考的“方法”)應解釋成包括該組件之相等物,可實施所描述之組件之功能(例如,其功能上相等)的任何組件,包括結構上與所揭示之結構不相等,但可實施本發明之說明性例示實施 例之功能的那些組件。
同等物、延伸物、替代物、及其它
至此描述了與影像遞色相關的例示實施例。在上述的說明書中,已參考了許多特定細節描述了本發明的實施例,這些細節隨著不同的實施而異。因此,本發明之唯一且專屬的指標,及發明申請人等的意圖,係為發端自本申請案之特定形式的該組申請專利範圍,包括任何後續的修改。本文對於包含在這些申請專利範圍中之名詞所明確陳述的任何定義,將支配申請專利範圍中所使用之這些名詞的意義。因此,凡申請專利範圍中未明確提及的限制、元件、特性、特徵、優點或屬性,不能以任何方式來限制此申請專利範圍之範圍。因此,說明書與圖式被視為說明而非限制之意。
202-Cb、202Cr‧‧‧色度分量
202-Y‧‧‧亮度分量
205‧‧‧OTF模型
215‧‧‧OTF
220‧‧‧雜訊濾波器
222‧‧‧雜訊濾波器的輸出
224‧‧‧雜訊濾波器的輸出
225‧‧‧局部區域分析
230-A、230B‧‧‧選用的加權
235‧‧‧二維白雜訊產生器
237-A、237-B‧‧‧雜訊輸出
240-A、240-B‧‧‧雜訊附加步驟
245‧‧‧色彩轉換器
246-Cb、246-Cr‧‧‧顏色分量
247‧‧‧輸出
249‧‧‧經遞色之影像
250‧‧‧量化器

Claims (23)

  1. 一種使用處理器來遞色影像的方法,該方法包含:接收第一位元深度的輸入影像,該輸入影像係以包含亮度分量與一或多個色度分量的第一顏色格式來表示;產生白雜訊;按照人類視覺系統(human visual system;HVS)之光學轉換函數(optical transfer function;OTF)的反函數來濾波該白雜訊,以產生遞色雜訊,其中,該光學轉換函數(OTF)係回應於至少水平視距或垂直視距加以調適;以及將該遞色雜訊加到該一或多個色度分量,以產生經雜訊修改的色度分量。
  2. 如申請專利範圍第1項之方法,進一步包含將該遞色雜訊加到該亮度分量,以產生經雜訊修改的亮度分量。
  3. 如申請專利範圍第1項之方法,進一步包含:將該亮度分量與該經雜訊修改的色度分量轉換成第二顏色格式的第二影像;以及量化該第二影像,以產生第二位元深度之輸出經遞色的影像,其中,該第二位元深度低於該第一位元深度。
  4. 如申請專利範圍第2項之方法,進一步包含:量化該經雜訊修改的亮度分量及一或多個經雜訊修改的色度分量,以產生第二位元深度之輸出經遞色的影像(252),其中,該第二位元深度低於該第一位元深度。
  5. 如申請專利範圍第1項之方法,進一步包含:量化該亮度分量與該經雜訊修改的色度分量以產生第二位元深度之輸出經遞色的影像(249),其中,該第二位元深度低於該第一位元深度。
  6. 如申請專利範圍第1項之方法,其中,該白雜訊包含兩或更多個獨立的白雜訊輸出,其中,每一個雜訊輸出係使用不同的種子數來產生。
  7. 如申請專利範圍第1項之方法,其中,該光學轉換函數(OTF)的模型包含函數,其中,d表示人眼瞳孔之大小,單位為mm,及f包含輸入空間頻率,單位為周期/度。
  8. 如申請專利範圍第7項之方法,其中,d=3mm。
  9. 如申請專利範圍第7項之方法,其中,該光學轉換函數模型藉由使用轉換函數,在周期/度與周期/像素之間轉換頻率而被調適成數位影像域,其中,D表示視距,以像素為單位。
  10. 如申請專利範圍第1項之方法,其中,該輸入影像之至少一個色度分量包含的空間解析度低於該輸入影像之該亮度分量的該空間解析度。
  11. 如申請專利範圍第10項之方法,其中,該輸入影像之至少一個色度分量的該水平解析度是該輸入影像之該亮度分量之該水平解析度的一半。
  12. 如申請專利範圍第1項之方法,其中,該第一顏色格式包含4:2:2或4:2:0的YCbCr顏色格式。
  13. 如申請專利範圍第1項之方法,其中,該水平或該垂直視距至少其中之一係根據該輸入影像之該色度分量其中之一的該空間解析度來決定。
  14. 如申請專利範圍第6項之方法,其中,該白雜訊輸出的每一個該分量係被分別地濾波,以產生一或多個遞色雜訊分量。
  15. 如申請專利範圍第14項之方法,進一步包含:以第一雜訊比例因數來縮放第一遞色雜訊分量,以產生第一經縮放的遞色雜訊分量;以及以第二雜訊比例因數來縮放第二遞色雜訊分量,以產生第二經縮放的遞色雜訊分量,其中,該第一與第二比例因數係回應該輸入影像之局部區域分析而決定。
  16. 如申請專利範圍第15項之方法,其中,該局部區域分析包含檢測該輸入影像之至少一個像素是否在像素分量值之一或多個預定的界限內。
  17. 如申請專利範圍第4項之方法,其中,在將該亮度分量及該經雜訊修改的色度分量轉換成該第二顏色格式的該第二影像之前,先等比放大經雜訊修改的色度分量以匹配該亮度分量的該空間解析度。
  18. 如申請專利範圍第1項之方法,其中,該第一顏色格式係線性化的顏色格式。
  19. 如申請專利範圍第18項之方法,其中,該線性化的顏色格式係線性化的YCbCr、LMS、或CIE XYZ。
  20. 如申請專利範圍第1項之方法,其中,直到產生 該遞色雜訊之該等步驟係由該處理器離線計算的,而其餘步驟係藉由該處理器或第二處理器即時計算的。
  21. 一種使用處理器來遞色影像的方法,該方法包含:接收第一位元深度的輸入影像,該輸入影像係以包含第一空間解析度的亮度分量與第二空間解析度之一或多個色度分量的第一顏色格式來表示,該第二空間解析度至少在垂直或水平方向小於該第一空間解析度;產生白雜訊;按照第一低通濾波器的該反響應來濾波該白雜訊以產生色度遞色雜訊,其中,該第一低通濾波器之該響應係回應於該第二空間解析度加以調適;按照第二低通濾波器的該反響應來濾波該白雜訊以產生亮度遞色雜訊,其中,該第二低通濾波器之該響應係回應於該第一空間解析度加以調適;將該亮度遞色雜訊加到該亮度分量,以產生經雜訊修改的亮度分量;將該色度遞色雜訊加到該一或多個色度分量,以產生經雜訊修改的色度分量;以及回應量化該經雜訊修改的亮度分量及該經雜訊修改的色度分量而產生第二位元深度之輸出經遞色的影像,其中,該第二位元深度低於該第一位元深度。
  22. 如申請專利範圍第21項之方法,其中,該第一低通濾波器與該第二低通濾波器的該響應匹配該人類視覺 系統之光學轉換函數之模型的該響應。
  23. 一種非暫時性電腦可讀取儲存媒體,其上儲存的電腦可執行指令,用以執行按照申請專利範圍第1至22項中任一項之方法。
TW103109906A 2013-04-29 2014-03-17 使用處理器來遞色影像的方法及其電腦可讀取儲存媒體 TWI546798B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361817222P 2013-04-29 2013-04-29
US201361830806P 2013-06-04 2013-06-04

Publications (2)

Publication Number Publication Date
TW201445556A TW201445556A (zh) 2014-12-01
TWI546798B true TWI546798B (zh) 2016-08-21

Family

ID=50680192

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103109906A TWI546798B (zh) 2013-04-29 2014-03-17 使用處理器來遞色影像的方法及其電腦可讀取儲存媒體

Country Status (7)

Country Link
US (1) US9762876B2 (zh)
EP (1) EP2992671B1 (zh)
JP (1) JP6220960B2 (zh)
KR (1) KR101746491B1 (zh)
CN (1) CN105164996B (zh)
TW (1) TWI546798B (zh)
WO (1) WO2014178989A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI683282B (zh) * 2016-09-15 2020-01-21 瑞典商安訊士有限公司 用於數位影像之偽著色的方法與裝置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105723711B (zh) 2013-11-12 2019-05-07 杜比实验室特许公司 高动态范围视频编码中的预抖动方法、装置及存储介质
AU2015275320A1 (en) * 2015-12-23 2017-07-13 Canon Kabushiki Kaisha Method, apparatus and system for determining a luma value
CN105635742B (zh) * 2015-12-30 2018-09-07 杭州电子科技大学 面向3d视频编码的基于深度增强的重采样方法
US10070098B2 (en) * 2016-10-06 2018-09-04 Intel Corporation Method and system of adjusting video quality based on viewer distance to a display
IT201700099120A1 (it) * 2017-09-05 2019-03-05 Salvatore Lamanna Sistema di illuminazione per schermo di qualsiasi tipo
KR102496345B1 (ko) * 2017-11-24 2023-02-06 인터디지털 브이씨 홀딩스 인코포레이티드 Hdr 대 sdr 변환 동안의 컬러 보정을 위한 방법 및 장치
US11790564B2 (en) * 2020-03-30 2023-10-17 Google Llc Encoders for improved image dithering
US11810494B2 (en) * 2021-09-22 2023-11-07 Apple Inc. Dither enhancement of display gamma DAC systems and methods

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1218015A (en) 1967-03-13 1971-01-06 Nat Res Dev Improvements in or relating to systems for transmitting television signals
US3961134A (en) 1975-05-09 1976-06-01 Bell Telephone Laboratories, Incorporated Bi-level display system
US4758893A (en) 1985-09-23 1988-07-19 Quanticon Inc. Cinematic dithering for television systems
US5309526A (en) 1989-05-04 1994-05-03 At&T Bell Laboratories Image processing system
US5138303A (en) 1989-10-31 1992-08-11 Microsoft Corporation Method and apparatus for displaying color on a computer output device using dithering techniques
JP2894117B2 (ja) * 1992-10-20 1999-05-24 富士ゼロックス株式会社 画像信号処理方法及びその装置
JP3396512B2 (ja) * 1993-08-31 2003-04-14 パイオニア株式会社 ディザ生成装置
US5696602A (en) 1995-08-31 1997-12-09 Lexmark International, Inc. Method for halftoning using stochastic dithering with minimum density variance
US6760122B1 (en) 1999-08-24 2004-07-06 Hewlett-Packard Development Company, L.P. Reducing quantization errors in imaging systems
US6671068B1 (en) 1999-09-30 2003-12-30 Sharp Laboratories Of America, Inc. Adaptive error diffusion with improved edge and sharpness perception
US6441867B1 (en) 1999-10-22 2002-08-27 Sharp Laboratories Of America, Incorporated Bit-depth extension of digital displays using noise
JP4496574B2 (ja) 1999-11-15 2010-07-07 セイコーエプソン株式会社 画像処理装置、記憶装置、画像処理システムおよび画像処理方法
US6697169B1 (en) 1999-12-08 2004-02-24 Sharp Laboratories Of America, Inc. Enhanced error diffusion using a correlated chromatic noise pattern
JP3763397B2 (ja) 2000-03-24 2006-04-05 シャープ株式会社 画像処理装置、画像表示装置、パーソナルコンピュータ、画像処理方法
US7221381B2 (en) 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
JP4365105B2 (ja) * 2001-05-23 2009-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディザリング方法及びディザリング装置
US7098927B2 (en) 2002-02-01 2006-08-29 Sharp Laboratories Of America, Inc Methods and systems for adaptive dither structures
JP4420607B2 (ja) * 2002-02-01 2010-02-24 シャープ株式会社 画像処理方法および画像処理装置
TWI235000B (en) 2002-09-24 2005-06-21 Mstar Semiconductor Inc Apparatus and method for masking interference noise contained in signal source
US8243093B2 (en) 2003-08-22 2012-08-14 Sharp Laboratories Of America, Inc. Systems and methods for dither structure creation and application for reducing the visibility of contouring artifacts in still and video images
EP1676446B1 (en) 2003-09-23 2011-04-20 Thomson Licensing Video comfort noise addition technique
US7352373B2 (en) 2003-09-30 2008-04-01 Sharp Laboratories Of America, Inc. Systems and methods for multi-dimensional dither structure creation and application
JP2006229264A (ja) * 2004-02-09 2006-08-31 Sharp Corp 適応型ディザー構造のための方法およびシステム
US7253819B1 (en) * 2004-04-16 2007-08-07 Majesco Holdings, Inc. Apparatus and method for representing visual information for embedded handheld devices
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
US7474316B2 (en) * 2004-08-17 2009-01-06 Sharp Laboratories Of America, Inc. Bit-depth extension of digital displays via the use of models of the impulse response of the visual system
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
JP2007208786A (ja) * 2006-02-03 2007-08-16 Seiko Epson Corp ディザマトリックスの生成
US7548177B2 (en) 2006-08-14 2009-06-16 Agilent Technologies, Inc. Multiple FM dither
KR20080066288A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 영상표시장치 및 그 영상표시방법
US7876247B1 (en) 2007-11-29 2011-01-25 Shawn David Hunt Signal dependent dither
US7551341B1 (en) * 2008-01-28 2009-06-23 Dolby Laboratories Licensing Corporation Serial modulation display having binary light modulation stage
JP5206276B2 (ja) 2008-02-01 2013-06-12 ソニー株式会社 階調変換装置、階調変換方法、及び、プログラム
US8451298B2 (en) 2008-02-13 2013-05-28 Qualcomm Mems Technologies, Inc. Multi-level stochastic dithering with noise mitigation via sequential template averaging
EP2099014B1 (en) 2008-03-07 2014-06-18 Barco NV A method and device to enhance image quality in digital video processing systems using dithering
US20110091130A1 (en) 2008-06-09 2011-04-21 Universite De Montreal Method and module for improving image fidelity
JP2010044446A (ja) * 2008-08-08 2010-02-25 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP5282787B2 (ja) 2008-12-03 2013-09-04 富士通株式会社 表示装置及び表示制御プログラム
US8416256B2 (en) 2009-03-18 2013-04-09 Stmicroelectronics, Inc. Programmable dithering for video displays
CN102473289A (zh) * 2009-07-30 2012-05-23 惠普开发有限公司 用于色调映射图像的方法
KR101350881B1 (ko) * 2009-09-28 2014-01-13 가부시키가이샤 미마키 엔지니어링 프로그램, 화상처리장치, 및 화상처리방법
GB2475878A (en) 2009-12-03 2011-06-08 St Microelectronics Obtaining dithered image data word by adding noise contribution
US8766830B2 (en) 2010-04-29 2014-07-01 Agilent Technologies, Inc. Digital waveform synthesizer for NMR phase control
US20120087411A1 (en) 2010-10-12 2012-04-12 Apple Inc. Internal bit depth increase in deblocking filters and ordered dither
JP5685064B2 (ja) * 2010-11-29 2015-03-18 株式会社ジャパンディスプレイ 画像表示装置、画像表示装置の駆動方法及び画像表示プログラム、並びに、階調変換装置
US20120268479A1 (en) * 2011-03-15 2012-10-25 Qualcomm Mems Technologies, Inc. Methods and apparatus for improved dithering on a line multiplied display
US20130046803A1 (en) * 2011-08-18 2013-02-21 Qualcomm Mems Technologies Dither-aware image coding
WO2013158592A2 (en) 2012-04-16 2013-10-24 Magna Electronics, Inc. Vehicle vision system with reduced image color data processing by use of dithering

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI683282B (zh) * 2016-09-15 2020-01-21 瑞典商安訊士有限公司 用於數位影像之偽著色的方法與裝置

Also Published As

Publication number Publication date
CN105164996B (zh) 2018-06-05
JP2016526312A (ja) 2016-09-01
EP2992671B1 (en) 2018-11-28
WO2014178989A1 (en) 2014-11-06
US9762876B2 (en) 2017-09-12
JP6220960B2 (ja) 2017-10-25
KR101746491B1 (ko) 2017-06-13
EP2992671A1 (en) 2016-03-09
US20160080712A1 (en) 2016-03-17
CN105164996A (zh) 2015-12-16
KR20150138300A (ko) 2015-12-09
TW201445556A (zh) 2014-12-01

Similar Documents

Publication Publication Date Title
TWI546798B (zh) 使用處理器來遞色影像的方法及其電腦可讀取儲存媒體
US10540920B2 (en) Display management for high dynamic range video
RU2755873C2 (ru) Способ управления отображением изображений, устройство для управления отображением изображений и постоянный машиночитаемый носитель данных
US20160005153A1 (en) Display Management for High Dynamic Range Video
US7474316B2 (en) Bit-depth extension of digital displays via the use of models of the impulse response of the visual system
KR101076071B1 (ko) 컬러화상 처리장치, 컬러화상 처리방법 및 기록매체
JP6451669B2 (ja) 評価装置、評価方法およびカメラシステム
US20170124983A1 (en) Adaptive Display Management Using 3D Look-Up Table Interpolation
JP5878586B2 (ja) 画像色調整方法及びその電子装置
JP2016163099A (ja) 画像処理装置および画像表示装置
KR101101328B1 (ko) 주위 밝기에 따른 영상 기기의 색 보정 장치 및 방법
US9930349B2 (en) Image processing to retain small color/gray differences
TW201603556A (zh) 透明顯示系統的影像處理方法
KR100698627B1 (ko) 영상 콘트라스트 개선 장치 및 그 방법
Johnson et al. Image appearance modeling
JP2019148777A (ja) 表示装置、表示装置の制御方法、プログラムおよび記憶媒体
Kim et al. Clipping error rate-adaptive color compensation based on gamut extension for a low-performance camera in a projector-camera system
JP2016092486A (ja) 撮像装置