TWI608731B - 具有高動態範圍感測器機制的視頻處理系統及其操作的方法 - Google Patents

具有高動態範圍感測器機制的視頻處理系統及其操作的方法 Download PDF

Info

Publication number
TWI608731B
TWI608731B TW104118759A TW104118759A TWI608731B TW I608731 B TWI608731 B TW I608731B TW 104118759 A TW104118759 A TW 104118759A TW 104118759 A TW104118759 A TW 104118759A TW I608731 B TWI608731 B TW I608731B
Authority
TW
Taiwan
Prior art keywords
hdr
prediction
exposure pattern
category
color
Prior art date
Application number
TW104118759A
Other languages
English (en)
Other versions
TW201613354A (en
Inventor
池田優
阿里 塔巴特拜
矢崎陽一
Original Assignee
新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力股份有限公司 filed Critical 新力股份有限公司
Publication of TW201613354A publication Critical patent/TW201613354A/zh
Application granted granted Critical
Publication of TWI608731B publication Critical patent/TWI608731B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

具有高動態範圍感測器機制的視頻處理系統及其操作的方法
本發明大致有關視頻處理系統，且更特別地，有關用以在視頻處理系統中操作高動態範圍影像感測器的系統。
高動態範圍顯示器在先前技藝顯示器技術上提供重大的改善。該等裝置產生大於習知技術之數量級的峰值亮度，及接近人類觀察者之能力的動態範圍。此外，該等裝置提供擴大的色域，且可在LCD系統中降低運動模糊。結果係引人注目的觀看體驗，而易於與先前技藝顯示器技術有所差別。
不幸地，目前的技術原本並不支援高動態範圍內容，且生成的人為產物可在場景的情況中分散。標準動態範圍感測器技術係設計用於目前的顯示器技術，且在高動態範圍內容無法被再生及因此，應被拋棄的假定下， 被建立。
雖然為支援高動態範圍內容之儲存及分布系統的直接擴充係可能的，但存在問題。在數位影像流的情況中，用於各像素之較大的位元長度係需要的。可是，對於類比系統的情況，降低的電性雜訊係絕對必要的。此在目前的產品提供中導致重大的成本及性能交換。由於高動態範圍資料流所造成的人為產物，傳統的標準動態範圍顯示器的影像品質可能由於遷就該高動態範圍內容而被降低。因為與輸入流的動態範圍中之增加相關聯的尖銳對比及運動人為產物，以及由於高動態範圍資料流之增加的帶寬需求所導致之正確處理額外資訊的無力，所以客戶不大可能發現此可以接受。
因此，仍需要可俘獲、壓縮、及顯示高動態範圍視頻內容的視頻處理系統，以供靜止的或運動的視頻處理之用。鑒於個人電子裝置中之視頻及靜像相機使用中的指數式成長，尋找該等問題的答案越來越重要。考慮到不斷增加的商業競爭壓力，伴隨著在市場中對於有意義產品區分之逐漸成長的客戶期望及遞減的機會，尋找該等問題的答案係關鍵的。此外，降低成本、增進效率及性能、以及滿足競爭壓力更對尋找該等問題之答案的關鍵必要性添加更大的急迫性。
對該等問題的解決方法已被長期地尋找，但先前的發展並未教示或建議任何解決方法，且因此，對該等問題的解決方法已使熟習本項技藝之該等人士長期地感 到困惑。
本發明提供一種視頻處理系統之操作的方法，包含：接入具有長曝光圖案及短曝光圖案的高動態範圍(HDR)光學感測器；自該等長曝光圖案及該等短曝光圖案產生預測；自該預測編碼增強的HDR位元流；以及顯示從該增強的HDR位元流所變換之遞送的數位資料流於HDR顯示裝置上。
本發明提供一種視頻處理系統，包含：高動態範圍(HDR)光學感測器，具有長曝光圖案及短曝光圖案；預測單元，耦接至該HDR光學感測器，該預測單元用以自該等長曝光圖案及該等短曝光圖案產生預測；固定長度編碼單元，耦接至該預測單元，該固定長度編碼單元用以自該預測編碼增強的HDR位元流；以及HDR顯示裝置，用以顯示從該增強的HDR位元流所變換之遞送的數位資料流。
本發明的某些實施例具有除了上述該等者之外或取代上述該等者的步驟及元件。對熟習本項技藝之該等人士而言，當參考附圖而閱讀以下詳細說明時，該等步驟及元件將變成明顯。
100‧‧‧視頻處理系統
102‧‧‧輸入光學資料流
103‧‧‧透鏡
104‧‧‧HDR光學感測器
105‧‧‧像素流
106‧‧‧視頻編碼器
107‧‧‧增強的HDR位元流
108‧‧‧發射器單元
110‧‧‧輸出裝置
112‧‧‧接收器模組
113‧‧‧接收器位元流
114‧‧‧視頻解碼器
116‧‧‧HDR視頻組合單元
118‧‧‧遞送的數位資料流
120‧‧‧HDR顯示裝置
202‧‧‧視頻編碼器預測單元
203、810‧‧‧重建像素值陣列
204、816‧‧‧先前像素緩衝器
206‧‧‧殘餘指示符
208‧‧‧模式決定單元
210‧‧‧模式資料
212‧‧‧固定長度編碼單元
214、806‧‧‧重建單元
216、314、316、318‧‧‧重建像素
302、902‧‧‧像素分析單元
304‧‧‧目前像素暫存器
306、812‧‧‧預測
308‧‧‧預測選擇匯流排
310‧‧‧預測選擇器
312‧‧‧像素歷史匯流排
320‧‧‧函數
322‧‧‧預測加法器
402‧‧‧像素感測器
404‧‧‧長曝光圖案
406‧‧‧短曝光圖案
408‧‧‧列
410‧‧‧10位元內容
501‧‧‧第一實施例
502‧‧‧第一種類
504‧‧‧第二種類
601‧‧‧第二實施例
602、702‧‧‧第一預測策略
604、704‧‧‧第二預測策略
606、706‧‧‧第三預測策略
701‧‧‧第三實施例
802‧‧‧像素解碼單元
804‧‧‧殘餘碼
808‧‧‧預測計算單元
814‧‧‧解碼像素流
1000‧‧‧方法
1002-1008‧‧‧方塊
第1圖係本發明實施例中之視頻處理系統的 架構圖。
第2圖係第1圖之視頻編碼器的功能方塊圖。
第3圖係第2圖之視頻編碼器預測單元的功能方塊圖。
第4圖係本發明代表性實施例中之高動態範圍(HDR)光學感測器的架構圖。
第5圖係本發明第一實施例中之視頻處理系統的實施例實例。
第6圖係本發明第二實施例中之視頻處理系統的實施例實例。
第7圖係本發明第三實施例中之視頻處理系統的實施例實例。
第8圖係本發明實施例中的第1圖之視頻解碼器的功能方塊圖。
第9圖係第8圖之視頻解碼器預測單元的功能方塊圖。
第10圖係本發明進一步實施例中之視頻處理系統之操作的方法之流程圖。
以下實施例被足夠詳細地敘述，以使熟習本項技藝之該等人士能做成及使用本發明。應瞭解的是，其他實施例將根據本發明而呈明顯，且系統、處理、或機械 性改變可不悖離本發明之範疇而被做成。
在以下說明中，許許多多特定的細節係給定以提供本發明之徹底的瞭解。惟，將顯而易見的是，本發明可無需該等特定的細節而被實施。為了要避免混淆本發明，一些熟知的電路、系統組態、及處理步驟並未被詳細地揭示。
顯示系統之實施例的圖式係半示意的，且並未按比例繪製；特別地，某些尺寸係為顯示之清晰性的緣故，且在圖式中被誇大顯示。同樣地，雖然在圖式中之視域係為便於描述而被大致地顯示相同的取向，但在圖中之此描繪大部分係任意的。通常，本發明可以以任何取向予以操作。
在多個實施例被揭示且被敘述具有一些共同特徵之處，為使其之描繪、說明、及解釋清楚及容易起見，彼此互相相同及相似之特徵將以相同的參考符號加以說明。為說明性之目的，如在此所使用之〝水平的〞之用語係界定為與具有非揮發性記憶體系統之積體電路的主動表面平行的平面，而不拘其取向。〝垂直的〞之用語意指與如方才所界定之〝水平的〞垂直之方向。諸如〝在...上面〞、〝在...下面〞、〝底部〞、〝頂部〞、〝側邊〞(如在〝側壁〞中)、〝較高〞、〝較低〞、〝較上方〞、〝在...之上〞、及〝在...之下〞的用語係相對於水平平面而界定，如圖中所示。〝直接在上〞的片語意指具有元件間之直接接觸，而無中介元件。
如在此所使用之〝處理〞的用語包含材料或光阻的沉積、圖案化、曝光、顯影、蝕刻、清潔、及/或如在形成所述結構中所需之該材料或光阻的去除。〝電阻記憶體〞的片語係界定為可在低電阻狀態與高電阻狀態之間編程的半導體結構。
現請參閱第1圖，顯示有本發明實施例中之視頻處理系統100的架構圖。視頻處理系統100的架構圖描繪輸入光學資料流102，諸如透過透鏡所接收而由透鏡103所聚焦在高動態範圍(HDR)光學感測器104上的光圖案。HDR光學感測器104可監控輸入光學資料流102，以便使來自輸入光學資料流102之目前片段的影像特徵化。HDR光學感測器104可藉由偵測在由輸入光學資料流102所激勵的HDR光學感測器104中之一系列像素位置的關係，而反應至輸入光學資料流102，用以產生像素流105。
HDR光學感測器104可傳遞位元流及區塊標識至諸如硬體數學陣列的視頻編碼器106，以供輸入光學資料流102的編碼及壓縮之用。視頻編碼器106可使增強的HDR位元流107之平均值的位元長度最小化。視頻編碼器106可支援比先前技藝解決方法更高的頻寬，因為視頻編碼器106可使用來自像素流105的長曝光圖案及短曝光圖案二者，以產生增強的HDR位元流107。
增強的HDR位元流107可耦接至發射器單元108，其可傳送該增強的HDR位元流107至輸出裝置 110。該輸出裝置110可係諸如有線或無線傳輸通道的硬體，或諸如精緻碟片、數位視頻碟片、或非揮發性記憶體裝置的硬式媒體。應瞭解的是，諸如傳輸通道的輸出裝置110可由例如相機的內部布線所形成，而該相機包含用以觀看由HDR光學感測器104所俘獲之主體的顯示螢幕。
增強的HDR位元流107可透過輸出裝置110而由接收器模組112所接收，該接收器模組112可轉換該輸出裝置110回到接收器位元流113，該接收器位元流113可相當於增強的HDR位元流107和相關聯的x-y座標資訊。該接收器模組112可耦接至諸如硬體數學陣列的視頻解碼器114，以遞送增強的HDR位元流107。視頻解碼器114可顛倒視頻編碼器106的操作，而不會降低輸入光學資料流102的任何品質。
視頻解碼器114可耦接至HDR視頻組合單元116，用以重建像素流105，以供組合遞送的數位資料流118之用。自輸入光學資料流102至遞送的數位資料流118之全部的傳送係在信號的品質中，以無損失執行。遞送的數位資料流118可耦接至HDR顯示裝置120，用以顯示視頻影像，複製具有較佳對比及更多細節的輸入光學資料流102係可自標準動態範圍系統獲得。
已發現到視頻處理系統100可使輸入光學資料流102之編碼結構的群組大小參數化，以便使增強的HDR位元流107之平均位元長度最小化。視頻處理系統100可藉由使用來自像素流105的長曝光圖案及短曝光圖 案二者，而高效率地壓縮視頻流。視頻處理系統100可在信雜比中，以超過標準行動成像架構(SMIA)編解碼器(未繪示)7至10dB的改善，處理傳遞的數位資料流118。
現請參閱第2圖，其中顯示第1圖之視頻編碼器106的功能方塊圖。視頻編碼器106的功能方塊圖描繪像素流105，其被耦接至諸如硬體數學陣列之用以編碼及壓縮該像素流105的視頻編碼器預測單元202。
視頻編碼器預測單元202可分析像素流105，用以決定該像素流105的壓縮應如何進行。雖然標準動態範圍編解碼器可壓縮10位元像素串成為8位元，但視頻編碼器106可壓縮像素流105自每像素10位元至6位元，而維持由第1圖的HDR光學感測器104所俘獲之影像的詳盡細節。
先前像素緩衝器204可耦接至視頻編碼器預測單元202，用以提供五個前取樣之重建像素值陣列203，以供將由視頻編碼器預測單元202所評估的目前像素之殘餘指示符206的產生之用。殘餘指示符206具有自像素流105之10位元內容剩餘的6位元內容。重建像素值陣列203可由先前像素緩衝器204與視頻編碼器預測單元202之間的並聯匯流排所提供。應瞭解的是，先前像素緩衝器204可係記憶體結構、移位暫存器、組合邏輯陣列、或其組合。
模式決定單元208可產生模式資料210，其反映將透過視頻編碼器預測單元202而予以處理之目前像素 的編碼值。該模式資料210可由固定長度編碼單元212所處理，包含組合具有六位元內容的殘餘指示符(206)，以形成增強的HDR位元流107。
重建單元214可監測該增強的HDR位元流107，以便重建將由視頻編碼器預測單元202所評估之目前像素的值。其中像素流105被處理之速度允許充足的時間以供編碼及重建發生之用。在像素流105中之下一個像素的選擇時，表示在前所處理之像素的重建像素216係載入至先前像素緩衝器204內，且編碼及重建處理再次啟動。
應瞭解的是，像素流105之分析的時序被協調以保存殘餘指示符206及重建像素216的完整，因為像素流105係透過視頻編碼器預測單元202而移位。雖然先前像素緩衝器204能保持像素流105之至少五個先前之值的值，但其可保持來自像素流105之超過五個值的值。
現請參閱第3圖，其中顯示第2圖之視頻編碼器預測單元202的功能方塊圖。視頻編碼器預測單元202的功能方塊圖描繪諸如比較器陣列、組合邏輯、數學單元、或其組合的像素分析單元302，其係耦接至像素流105。
像素分析單元302可具有目前像素暫存器304，用以俘獲來自像素流105的取樣。像素分析單元302可耦接至先前像素緩衝器204，用以接收重建像素值陣列203。像素分析單元302可根據重建像素值陣列203 的值而選擇適當項，用以產生預測306。像素分析單元302可產生預測選擇匯流排308，用以控制諸如多工器或閘控邏輯結構的預測選擇器310。
先前像素緩衝器204可產生像素歷史匯流排312，用以耦接至預測選擇器310。預測選擇器310可傳遞重建像素(N-1)314、重建像素(N-2)316、重建像素(N-4)318、或重建像素(N-2)316與重建像素(N-4)318的函數320。該函數320可係線性函數、指數函數、反函數、或其類似者。例如，函數320可係平均數，諸如：函數(Function)=(REC N-2 +REC N-4 +1)/2 (方程式1)
其中REC N-2係重建像素(N-2)316以及REC N-4係重建像素(N-4)318。
預測加法器322可自像素流105減去預測306，以便產生殘餘指示符206。預測加法器322可係縮放加法器，其接受例如，10位元符號的像素流105，及減去來自像素歷史匯流排312的重建像素之例如，10位元符號的預測306。
現請參閱第4圖，其中顯示本發明代表性實施例中之高動態範圍(HDR)光學感測器104的架構圖。該HDR光學感測器104可具有具備長曝光圖案404及短曝光圖案406之複數個像素感測器402。長曝光圖案404係由具有下標0的彩色所表示。短曝光圖案406係由具有下標1的彩色所表示。
HDR光學感測器104可由像素感測器402的列408所形成。當由第1圖之視頻編碼器106所讀取時，該等像素感測器402各可包含10位元內容410。在該等列中之長曝光圖案404及短曝光圖案406的順序僅係實例，且可係不同的順序。僅做為實例，原色可由紅色、綠色、及藍色所表示。諸如青色、紫紅色、黃色、及黑色之其他的組合，可被實施而不會改變第1圖之視頻處理系統100的獨創性結構。
現請參閱第5圖，其中顯示本發明第一實施例501中之視頻處理系統100的實施例實例。視頻處理系統100的第一實施例501描繪第一種類502及第二種類504。在第一種類中，預測306可根據第3圖之目前像素暫存器304的取樣而被區分為諸如綠色之第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案。若目前像素暫存器304係第一彩色時，則第3圖之預測選擇器310可傳遞具有與目前像素暫存器304相同彩色及相同曝光圖案之第3圖的重建像素(N-2)316，做為預測306。在第二種類504中，目前像素暫存器304係諸如紅色或藍色之第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案。若目前像素暫存器304係第二彩色時，預測選擇器310可傳遞具有與目前像素暫存器304相同彩色及相同曝光圖案之重建像素(N-4)318，做為預測306。
已發現到的是，視頻處理系統100的第一實施例501可提供更多細節至第1圖的HDR顯示裝置 120，且同時提供56.20dB之平均峯值信雜比(PSNR)。
現請參閱第6圖，其中顯示本發明第二實施例601中之視頻處理系統100的實施例實例。視頻處理系統100的第二實施例601描繪第一預測策略602、第二預測策略604、及第三預測策略606。
在第一預測策略602中，預測306可根據第3圖之目前像素暫存器304的取樣而被區分為諸如綠色之第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案。惟，目前像素暫存器304及重建像素(N-1)314必須匹配長曝光圖案或短曝光圖案。若目前像素暫存器304包含第一彩色的像素，第3圖之像素分析單元302可計算方程式2，以便藉由該式而決定預測306的值：x=(((Recn-4≦Recn-2)及(Recn-5≦Recn-1))或((Recn-4≧Recn-2)及(Recn-5≧Recn-1))) (方程式2)
其中x係用於預測306的決定值，Recn-1係重建像素(N-1)314，Recn-2係重建像素(N-2)316，Recn-4係重建像素(N-4)318，及Recn-5係重建像素(N-5)。若x係真時，則：預測(Prediction)=Recn-2 (方程式3)
若x係非真時，則：預測(Prediction)=函數(Function)(Recn-2,Recn-4) (方程式4)
在方程式4中，該函數(Function)可係諸如線性函數、指數函數、反函數、或其類似者之函數320。例 如，函數320可係如方程式1中所示之相同函數，或Recn-2與Recn-4之間的某些其他關係。
在第二預測策略604中，預測306可根據第3圖之目前像素暫存器304而被區分為諸如綠色之第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案。惟，目前像素暫存器304及重建像素(N-1)314不必匹配長曝光圖案或短曝光圖案。若目前像素暫存器304係第一彩色時，預測選擇器310可計算方程式2，以便決定預測306的值，例如，由方程式3及方程式4所決定地。
第三預測策略606可當目前像素暫存器304係諸如紅色或藍色之第二彩色時決定預測306，而不考慮該第二彩色將為長曝光圖案或短曝光圖案。若目前像素暫存器304係第二彩色時，預測選擇器310可傳遞具有與目前像素暫存器304相同彩色及相同曝光圖案的重建像素(N-4)318，做為預測306。
已發現到的是，視頻處理系統100的第二實施例601可提供更多細節至第1圖的HDR顯示裝置120，且同時提供56.24dB之平均峯值信雜比(PSNR)。
現請參閱第7圖，其中顯示本發明第三實施例701中之視頻處理系統100的實施例實例。視頻處理系統100的第三實施例701描繪第一預測策略702、第二預測策略704、及第三預測策略706。
在第一預測策略702中，第3圖的預測306可根據第3圖之目前像素暫存器304而被區分為諸如綠色 之第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案。惟，目前像素暫存器304及重建像素(N-1)314必須匹配長曝光圖案或短曝光圖案。若目前像素暫存器304係第一彩色時，第3圖之像素分析單元302可計算方程式5，以便藉由該式而決定預測306的值：x=(((Recn-4≦Recn-2)及(Recn-2≦Recn-1))或((Recn-4≧Recn-2)及(Recn-2≧Recn-1))) (方程式5)
其中x係用於預測306的決定值，Recn-1係重建像素(N-1)314，Recn-2係重建像素(N-2)316，及Recn-4係重建像素(N-4)318。若x係真時，則：預測(Prediction)=Recn-1 (方程式6)
若x係非真時，則：y=(((Recn-4≦Recn-2)及(Recn-5≦Recn-1))或((Recn-4≧Recn-2)及(Recn-5≧Recn-1))) (方程式7)
其中y係用於預測306的決定值，Recn-1係重建像素(N-1)314，Recn-2係重建像素(N-2)316，Recn-4係重建像素(N-4)318，及Recn-5係重建像素(N-5)。若x係真時，則：預測(Prediction)=Recn-2 (方程式3)
若y係非真時，則：預測(Prediction)=函數(Function)(Recn-2,Recn-4) (方程式4)
在方程式4中，該函數(Function)可係諸如線性函數、指數函數、反函數、或其類似者之函數320。例 如，函數320可係如方程式1中所示之相同函數，或Recn-2與Recn-4之間的某些其他關係。
在第二預測策略704中，預測306可根據目前像素暫存器304的內容而被區分為諸如綠色之第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案。惟，目前像素暫存器304的內容及重建像素(N-1)314不必匹配長曝光圖案或短曝光圖案。若目前像素暫存器304包含第一彩色的像素時，像素分析單元302可計算方程式2，以便藉由該式而決定預測306的值：x=(((Recn-4≦Recn-2)及(Recn-5≦Recn-1))或((Recn-4≧Recn-2)及(Recn-5≧Recn-1))) (方程式2)
其中x係用於預測306的決定值，Recn-1係重建像素(N-1)314，Recn-2係重建像素(N-2)316，Recn-4係重建像素(N-4)318，及Recn-5係重建像素(N-5)。若x係真時，則：預測(Prediction)=Recn-2 (方程式3)
若x係非真時，則：預測(Prediction)=函數(Function)(Recn-2,Recn-4) (方程式4)
在方程式4中，該函數(Function)可係諸如線性函數、指數函數、反函數、或其類似者之函數320。例如，函數320可係如方程式1中所示之相同函數，或Recn-2與Recn-4之間的某些其他關係。
第三預測策略706可當目前像素暫存器304 係諸如紅色或藍色之第二彩色時決定預測306，而不考慮該第二彩色將為長曝光圖案或短曝光圖案。若目前像素暫存器304的內容係第二彩色時，預測選擇器310可傳遞具有與目前像素暫存器304相同彩色及相同曝光圖案的重建像素(N-4)318，做為預測306。
已發現到的是，視頻處理系統100的第三實施例701可提供更多細節至第1圖的HDR顯示裝置120，且同時提供54.06dB之平均峯值信雜比(PSNR)。
現請參閱第8圖，其中顯示本發明實施例中的第1圖之視頻解碼器114的功能方塊圖。視頻解碼器114的功能方塊圖包含接收器位元流113，其係耦接至諸如組合邏輯陣列、查找表、記憶體陣列、或類似者之像素解碼單元802。
像素解碼單元802可顛倒第1圖之視頻編碼器106的操作。接收器位元流113亦可包含由第1圖之接收器模組112所提供的x-y座標資訊。像素解碼單元802產生殘餘碼804，其係提供至重建單元806。
預測計算單元808可接收接收器位元流113的x-y座標部分及重建像素值陣列810，該重建像素值陣列810可提供重建像素之至少最後的五個情況。預測計算單元808可計算預測812，用以在解碼像素流814的重建中引導重建單元806。
解碼像素流814可耦接至諸如記憶體結構、移位暫存器、組合邏輯陣列、或其組合之先前像素緩衝器 816。先前像素緩衝器816可提供重建像素值之至少最後的五個情況，而由預測計算單元808所使用，用以計算預測812。
已發現到的是，視頻解碼器114可提供解碼像素流814以同樣地匹配第1圖之增強的HDR位元流107。由視頻處理系統100所提供之壓縮的結果可在提供解碼像素流814所需的帶寬中，提供直至40%的縮減。
現請參閱第9圖，其中顯示第8圖之視頻解碼器預測單元808的功能方塊圖。視頻解碼器預測單元808的功能方塊圖描繪像素分析單元902，耦接至接收器位元流113；及重建像素值陣列810，其可提供重建像素之至少最後的五個情況。像素分析單元902可根據重建像素值陣列810的值而選擇適當項，用以產生預測812。像素分析單元902可產生預測選擇匯流排308，用以控制諸如多工器或閘控邏輯結構的預測選擇器310。
先前像素緩衝器816可產生像素歷史匯流排312，用以耦接至預測選擇器310。預測選擇器310可傳遞重建像素(N-1)314、重建像素(N-2)316、重建像素(N-4)318、或重建像素(N-2)316與重建像素(N-4)318的函數320。該函數320可係線性函數、指數函數、反函數、或其類似者。例如，函數320可係平均數，諸如：函數(Function)=(REC N-2 +REC N-4 +1)/2 (方程式1)
其中REC N-2係重建像素(N-2)316以及REC N-4 係重建像素(N-4)318。
已發現到的是，視頻解碼器預測單元808可同樣地恢復預測812，其係使用以產生第1圖之增強的HDR位元流107。藉由同樣地恢復預測812，第1圖之視頻處理系統100可縮減要傳送增強的HDR位元流107所需之帶寬，且同時遞送增強的清晰度及細節至第1圖之HDR顯示裝置120。
現請參閱第10圖，其中顯示本發明進一步實施例中之視頻處理系統之操作的方法1000之流程圖。該方法1000包含：在方塊1002中，接達具有長曝光圖案及短曝光圖案的高動態範圍(HDR)光學感測器；在方塊1004中，自該等長曝光圖案及該等短曝光圖案產生預測；在方塊1006中，自該預測編碼增強的HDR位元流；以及在方塊1008中，顯示從該增強的HDR位元流所變換之遞送的數位資料流於HDR顯示裝置上。
所得到的方法、處理、設備、裝置、產品、及系統係簡明的、節省成本的、不複雜的、高度多功能的、準確的、靈敏的、及有效的，且可藉由適合已知之組件而予以實施，以供即時的、有效率的、及經濟的製造、應用、及實用之用。
本發明之另一重要觀點在於，其可有價值地支援及服務降低成本、簡化系統、及增加性能的歷史潮流。
本發明之該等及其他有價值的觀點因而至少 促進本技術之狀態到下一個層次。
雖然本發明已結合特定的最佳模式敘述，但應瞭解的是，許多的替代例、修正例、及變化例將根據上文說明而呈明顯於熟習本項技藝之該等人士。因此，打算要包括落在申請專利範圍所包含之範疇內的所有該等替代例、修正例、及變化例。至此，在本文中所闡明或在附圖中所顯示之所有事物應以描繪的及非限制的觀念予以解讀。
100‧‧‧視頻處理系統
102‧‧‧輸入光學資料流
103‧‧‧透鏡
104‧‧‧HDR光學感測器
105‧‧‧像素流
106‧‧‧視頻編碼器
107‧‧‧增強的HDR位元流
108‧‧‧發射器單元
110‧‧‧輸出裝置
112‧‧‧接收器模組
113‧‧‧接收器位元流
114‧‧‧視頻解碼器
116‧‧‧HDR視頻組合單元
118‧‧‧遞送的數位資料流
120‧‧‧HDR顯示裝置

Claims (24)

  1. 一種視頻處理系統之操作的方法，包含：接入具有長曝光圖案及短曝光圖案的高動態範圍(HDR)光學感測器；自該等長曝光圖案及該等短曝光圖案產生預測，其中該預測係選自第一種類和第二種類，並且在該第一種類中，該預測可根據目前像素暫存器的取樣而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該目前像素暫存器的取樣而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案；自該預測編碼增強的HDR位元流；以及顯示從該增強的HDR位元流所變換之遞送的數位資料流於HDR顯示裝置上。
  2. 如申請專利範圍第1項的方法，進一步包含聚焦輸入的光學資料流於該HDR光學感測器上。
  3. 如申請專利範圍第1項的方法，進一步包含藉由接收該增強的HDR位元流而變換接收器位元流。
  4. 如申請專利範圍第1項的方法，進一步包含自該HDR光學感測器產生像素流。
  5. 如申請專利範圍第1項的方法，進一步包含透過輸出裝置而傳送該增強的HDR位元流。
  6. 一種視頻處理系統之操作的方法，包含：接入具備長曝光圖案及短曝光圖案的高動態範圍 (HDR)光學感測器，該高動態範圍(HDR)光學感測器具有複數個像素感測器；自該等長曝光圖案及該等短曝光圖案產生預測，包括取樣目前像素暫存器，其中該預測係選自第一種類和第二種類，並且在該第一種類中，該預測可根據該取樣的目前像素暫存器而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該取樣的目前像素暫存器而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案；自該預測編碼增強的HDR位元流，包括選擇第一重建像素、第二重建像素、及其組合；以及顯示從該增強的HDR位元流所變換之遞送的數位資料流於HDR顯示裝置上，包括複製輸入的光學資料流。
  7. 如申請專利範圍第6項的方法，進一步包含藉由聚焦該輸入的光學資料流於該HDR光學感測器上，而啟動成列的該像素感測器。
  8. 如申請專利範圍第6項的方法，進一步包含藉由接收該增強的HDR位元流而變換接收器位元流，包括組合具有六位元內容的殘餘指示符，用以產生該增強的HDR位元流。
  9. 如申請專利範圍第6項的方法，進一步包含自該HDR光學感測器產生像素流，包括俘獲該目前像素暫存器，用以選擇該預測。
  10. 如申請專利範圍第6項的方法，進一步包含透過 輸出裝置而傳送該增強的HDR位元流，包括透過有線傳輸頻道、數位視頻碟片、光碟、或非揮發性記憶體裝置而傳送。
  11. 一種視頻處理系統之操作的方法，包含：接入具有長曝光圖案及短曝光圖案的高動態範圍(HDR)光學感測器；自該等長曝光圖案及該等短曝光圖案產生預測，其中該預測係選自第一種類和第二種類，並且在該第一種類中，該預測可根據目前像素暫存器的取樣而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該目前像素暫存器的取樣而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案；自該預測編碼增強的HDR位元流；以及透過輸出裝置而傳送該增強的HDR位元流。
  12. 一種視頻處理系統之操作的方法，包含：接收增強的HDR位元流，其中該增強的HDR位元流係使用選自第一種類和第二種類的預測來編碼，並且在該第一種類中，該預測可根據目前像素暫存器的取樣而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該目前像素暫存器的取樣而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案；以及自該增強的HDR位元流變換接收器位元流，用以顯 示在HDR顯示裝置上。
  13. 一種視頻處理系統，包含：高動態範圍(HDR)光學感測器，具有長曝光圖案及短曝光圖案；預測單元，耦接至該HDR光學感測器，該預測單元用以自該等長曝光圖案及該等短曝光圖案產生預測，其中該預測係選自第一種類和第二種類，並且在該第一種類中，該預測可根據目前像素暫存器的取樣而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該目前像素暫存器的取樣而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案；固定長度編碼單元，耦接至該預測單元，該固定長度編碼單元用以自該預測編碼增強的HDR位元流；以及HDR顯示裝置，用以顯示從該增強的HDR位元流所變換之遞送的數位資料流。
  14. 如申請專利範圍第13項的系統，進一步包含透鏡，光耦接至該HDR光學感測器，該透鏡用以聚焦輸入的光學資料流於該HDR光學感測器上。
  15. 如申請專利範圍第13項的系統，進一步包含接收器單元，用以藉由接收該增強的HDR位元流而變換接收器位元流。
  16. 如申請專利範圍第13項的系統，進一步包含視頻編碼器，耦接至該HDR光學感測器，該視頻編碼器用 以自該HDR光學感測器產生像素流。
  17. 如申請專利範圍第13項的系統，進一步包含輸出裝置，用以傳送該增強的HDR位元流。
  18. 如申請專利範圍第13項的系統，進一步包含：複數個像素感測器，在該HDR光學感測器中；像素分析單元，包括該目前像素暫存器，該像素分析單元耦接至該HDR光學感測器；以及先前像素緩衝器，耦接至該像素分析單元。
  19. 如申請專利範圍第18項的系統，進一步包含成列的該像素感測器，藉由所聚焦在該HDR光學感測器上之輸入的光學資料流而予以啟動。
  20. 如申請專利範圍第18項的系統，進一步包含接收器單元，用以變換接收器位元流，其包括殘餘指示符，具有六位元內容，其被組合用以產生該增強的HDR位元流。
  21. 如申請專利範圍第18項的系統，進一步包含像素流，其由該HDR光學感測器所產生，該像素流包括該目前像素暫存器來用以選擇該預測。
  22. 如申請專利範圍第18項的系統，進一步包含輸出裝置來用以傳送該增強的HDR位元流，輸出裝置包括具有該增強的HDR位元流於其上之有線傳輸頻道、數位視頻碟片、光碟、或非揮發性記憶體裝置。
  23. 一種視頻處理系統，包含：高動態範圍(HDR)光學感測器，具有長曝光圖案及短 曝光圖案；預測單元，耦接至該HDR光學感測器，該預測單元用以自該等長曝光圖案及該等短曝光圖案產生預測，其中該預測係選自第一種類和第二種類，並且在該第一種類中，該預測可根據目前像素暫存器的取樣而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該目前像素暫存器的取樣而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案；固定長度編碼單元，耦接至該預測單元，該固定長度編碼單元用以自該預測編碼增強的HDR位元流；以及輸出裝置，用以傳送該增強的HDR位元流。
  24. 一種視頻處理系統，包含：接收器單元；以及增強的HDR位元流，耦接至該接收器單元，該增強的HDR位元流用以自該增強的HDR位元流變換接收器位元流，以在HDR顯示裝置上進行顯示，其中該增強的HDR位元流係使用選自第一種類和第二種類的預測來編碼，並且在該第一種類中，該預測可根據目前像素暫存器的取樣而被區分為第一彩色，不考慮該第一彩色將為長曝光圖案或短曝光圖案，以及在該第二種類中，該預測可根據該目前像素暫存器的取樣而被區分為第二彩色，不考慮該第二彩色將為長曝光圖案或短曝光圖案。
TW104118759A 2014-06-30 2015-06-10 具有高動態範圍感測器機制的視頻處理系統及其操作的方法 TWI608731B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/319,750 US10104388B2 (en) 2014-06-30 2014-06-30 Video processing system with high dynamic range sensor mechanism and method of operation thereof

Publications (2)

Publication Number Publication Date
TW201613354A TW201613354A (en) 2016-04-01
TWI608731B true TWI608731B (zh) 2017-12-11

Family

ID=54932003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104118759A TWI608731B (zh) 2014-06-30 2015-06-10 具有高動態範圍感測器機制的視頻處理系統及其操作的方法

Country Status (7)

Country Link
US (1) US10104388B2 (zh)
EP (1) EP3143765B1 (zh)
JP (1) JP6614417B2 (zh)
KR (1) KR101846115B1 (zh)
CN (1) CN106464852B (zh)
TW (1) TWI608731B (zh)
WO (1) WO2016003533A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
KR102412007B1 (ko) 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
KR102370881B1 (ko) 2017-07-21 2022-03-07 삼성전자주식회사 이미지 데이터의 속성에 기반하여 이미지를 압축할 수 있는 전자 장치 및 방법
CN108063902A (zh) * 2018-01-08 2018-05-22 信利光电股份有限公司 多摄像头的hdr拍摄方法、拍摄装置和移动终端及可读存储介质
CN108307122A (zh) * 2018-01-08 2018-07-20 信利光电股份有限公司 多摄像头的降噪拍摄方法、拍摄装置和移动终端及可读存储介质
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US11356623B2 (en) 2020-06-01 2022-06-07 City University Of Hong Kong System and method for processing an image
CN111614909B (zh) * 2020-06-24 2021-12-14 成都国科微电子有限公司 一种自动曝光控制方法、设备及存储介质
US20230239429A1 (en) * 2022-01-25 2023-07-27 Mediatek Inc. Communication system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133688A1 (en) * 2003-04-29 2006-06-22 Microsoft Corporation System and process for generating high dynamic range video
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
US20140050271A1 (en) * 2011-04-25 2014-02-20 Dolby Laboratories Licensing Corporation Non-Linear VDR Residual Quantizer

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3701522B2 (ja) * 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
EP2081155B1 (en) * 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
CN101919250B (zh) 2008-01-21 2012-11-21 艾利森电话股份有限公司 压缩多个像素块的方法和压缩器、以及对压缩像素块进行解压的方法和解压器
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
DE102010028746B4 (de) * 2010-05-07 2012-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und Verfahren zum Aufnehmen eines Bildes
EP2591602A1 (en) 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US8334911B2 (en) 2011-04-15 2012-12-18 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9451274B2 (en) * 2011-04-28 2016-09-20 Koninklijke Philips N.V. Apparatuses and methods for HDR image encoding and decoding
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9076233B2 (en) 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
EP2833635B1 (en) * 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
RU2018109081A (ru) * 2012-05-02 2019-02-26 Никон Корпорейшн Устройство формирования изображений
US10178329B2 (en) * 2014-05-27 2019-01-08 Rambus Inc. Oversampled high dynamic-range image sensor
US9479695B2 (en) * 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133688A1 (en) * 2003-04-29 2006-06-22 Microsoft Corporation System and process for generating high dynamic range video
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
US20140050271A1 (en) * 2011-04-25 2014-02-20 Dolby Laboratories Licensing Corporation Non-Linear VDR Residual Quantizer

Also Published As

Publication number Publication date
US10104388B2 (en) 2018-10-16
EP3143765A1 (en) 2017-03-22
JP2017521921A (ja) 2017-08-03
CN106464852A (zh) 2017-02-22
EP3143765B1 (en) 2020-09-02
EP3143765A4 (en) 2017-12-06
US20150382006A1 (en) 2015-12-31
JP6614417B2 (ja) 2019-12-04
KR20170002594A (ko) 2017-01-06
TW201613354A (en) 2016-04-01
CN106464852B (zh) 2018-12-14
KR101846115B1 (ko) 2018-04-05
WO2016003533A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
TWI608731B (zh) 具有高動態範圍感測器機制的視頻處理系統及其操作的方法
TWI513327B (zh) 高動態範圍影像的編碼、解碼及表示
CN104702926B (zh) 摄像机
US6075567A (en) Image code transform system for separating coded sequences of small screen moving image signals of large screen from coded sequence corresponding to data compression of large screen moving image signal
TWI733986B (zh) 用以編碼和解碼視頻資料之方法、設備及系統
US20070242890A1 (en) Systems and methods for decoding large images
Berger et al. Subjective quality assessment comparing UHD and HD resolution in HEVC transmission chains
US20170111645A1 (en) Methods, Receiving Device and Sending Device For Managing a Picture
WO2020038378A1 (zh) 色度块预测方法及装置
US20130235231A1 (en) Vector embedded graphics coding
Zhu et al. SJTU 4K video subjective quality dataset for content adaptive bit rate estimation without encoding
CN105210366B (zh) 图像处理装置和图像处理方法
JP2009194760A (ja) 画像符号化装置、画像復号化装置、画像符号化プログラム及び画像復号化プログラム
CN112261417B (zh) 视频推送方法及系统、设备及可读存储介质
KR20210072093A (ko) 인터 예측에 관한 인코더, 디코더 및 해당 방법
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения
Lee et al. A novel high dynamic range image compression scheme of color filter array data for the digital camera pipeline
KR20200008183A (ko) 움직임 벡터의 시각화 처리 기반의 다채널 압축영상 표시 방법
Zhang et al. Overview of full-reference video quality metrics and their performance evaluations for videoconferencing application
JP5924262B2 (ja) 画像処理装置および画像処理プログラム
Kwon et al. A Center-to-Edge Progression for Equirectangular Projected 360° JPEG Images
Wheeler et al. The effect of single-sensor CFA captures on images intended for motion picture and TV applications
Katsigiannis et al. A machine learning driven solution to the problem of perceptual video quality metrics
Lee High Dynamic Range Image Compression of Color Filter Array Data for the Digital Camera Pipeline
JP2003134514A (ja) 画像符号化装置及び画像復号化装置