TWI628622B - 改善的高動態範圍 - Google Patents

改善的高動態範圍 Download PDF

Info

Publication number
TWI628622B
TWI628622B TW106101350A TW106101350A TWI628622B TW I628622 B TWI628622 B TW I628622B TW 106101350 A TW106101350 A TW 106101350A TW 106101350 A TW106101350 A TW 106101350A TW I628622 B TWI628622 B TW I628622B
Authority
TW
Taiwan
Prior art keywords
image data
image
hdr
ldr
low
Prior art date
Application number
TW106101350A
Other languages
English (en)
Other versions
TW201801041A (zh
Inventor
堤莫菲 烏法羅夫
薩爾菲區 史瓦米
吳東暉
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201801041A publication Critical patent/TW201801041A/zh
Application granted granted Critical
Publication of TWI628622B publication Critical patent/TWI628622B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一種成像系統包含一影像感測器，該影像感測器經組態以擷取包含至少一低動態範圍(LDR)影像及至少一高動態範圍(HDR)影像之一影像序列。該成像系統亦包含讀出電路。該讀出電路經耦合以讀出由該影像感測器擷取之影像資料。一處理器耦合至該讀出電路以接收對應於該至少一LDR影像之影像資料及對應於該至少一HDR影像之影像資料。該處理器經組態以將自對應於該至少一LDR影像之影像資料提取之高頻影像資料與自對應於該至少一HDR影像之影像資料提取之低頻影像資料進行組合以形成一合成影像。

Description

改善的高動態範圍
本發明大體上係關於影像感測器操作，且特定而言(但非排他性地)係關於改善的高動態範圍。
影像感測器已變得無處不在。它們廣泛用於數位相機、蜂巢電話、監控攝影機，以及醫療、汽車及其他應用中。用於製造影像感測器之技術已持續以迅猛的速度進步。舉例而言，對更高解析度及更低功耗之需求已促進此等裝置之進一步微型化及集成化。 高動態範圍(HDR)係指用於擴展相機/影像感測器中之光度範圍之技術。目標係使相機擷取與人眼通常看到的相似亮度範圍。HDR相機可顯示比使用更傳統方法之相機更大的亮度位準範圍。此在含有與極端陰影或黑暗相對的非常明亮之光之影像場景的攝影中最明顯。 達成一HDR影像之最常見之方法之一者係藉由循序地擷取及堆疊同一影像場景之若干不同窄範圍曝光。然而，如果在影像擷取期間(諸如在野生動物攝影或類似者中)影像之主體移動，則此技術可導致影像失真。此外，HDR影像獲取之替代方法可能需要昂貴的設備來達成相同結果。
本文描述用於改善的高動態範圍成像之一設備及方法之實例。在以下描述中，闡述诸多特定細節以提供對該等實例之一透徹理解。然而，熟習相關技術者將認識到，能夠在不具有一或多個特定細節之情況下或在使用其他方法、組件、材料等等之情況下實踐本文所描述之技術。在其他情況下，未展示或詳細地描述眾所周知之結構、材料或操作以避免混淆某些方面。 貫穿本說明書之對「一個實例」或「一個實施例」之提及意指結合該實例所描述之一特定特徵、結構或特性包含於本發明之至少一個實例中。因此，貫穿本說明書之各種地方之片語「在一個實例中」或「在一個實施例中」之出現未必皆指同一實例。此外，特定特徵、結構或特性可以任何適合方式組合於一或多個實例中。 貫穿本說明書，使用此項技術之若干術語。除非在本文中具體定義或其使用之背景內容將清楚地另有說明，否則此等術語採取其來自之技術之普通含義。值得注意的是，電路/邏輯之特定元件可代替邏輯上等效或類似的電路，且可在軟體系統及硬體系統兩者中實施。圖 1 描繪一實例成像系統101。成像系統101包含：影像感測器103、處理器105、輸入107、輸出109、讀出電路111及控制電路121。影像感測器103經組態以擷取包含至少一低動態範圍(LDR)影像及至少一高動態範圍(HDR)影像之一影像序列。在所描繪之實例中，此可為影像主體(即，人)之至少一HDR影像及至少一LDR影像。控制電路121耦合至影像感測器103以控制LDR影像擷取及HDR影像擷取，且讀出電路111經耦合以讀出由影像感測器103擷取之影像資料(例如，對應於影像主體之LDR及HDR影像之影像資料)。處理器105耦合至讀出電路111以接收對應於至少一LDR影像之影像資料及對應於至少一HDR影像之影像資料。 處理器105經組態以將高頻影像資料(自對應於至少一LDR影像之影像資料提取)與低頻影像資料(自對應於至少一HDR影像之影像資料提取)進行組合。處理器105亦經組態以自經組合之低頻影像資料及高頻影像資料產生一合成影像。資料輸出109耦合至處理器105以接收合成影像。在若干實例中，資料輸出109可包含一顯示器、HDMI埠、USB埠、印表機或任何其他適合硬體/軟體。 在所描繪之實例中，處理器105經組態以產生一混合遮罩碼，且該混合遮罩碼管理合成影像中之高頻影像資料及低頻影像資料之放置。在一實例中，形成混合遮罩碼包含使用處理器105以：(1)判定低頻影像資料與高頻資料之間之差異；(2)判定高頻影像資料之欠飽和之部分；以及(3)判定高頻影像資料之過飽和之部分。在此實例中，混合遮罩碼展示低頻影像資料與高頻影像資料之間之差異，且混合遮罩碼展示高頻影像資料之過飽和之部分及高頻影像資料之欠飽和之部分(參見圖 8 之以下討論)。 應注意，在一實例中，混合遮罩碼之展示低頻影像資料與高頻影像資料之間之差異之部分被擴展。換言之，混合遮罩碼之展示高頻影像資料與低頻影像資料之間之差異之部分可標稱地延伸超出實際差異區域之邊界，以確保此等區域自最終合成影像被乾淨地去除。舉例而言，如果影像之主體在LDR影像之擷取與HDR影像之擷取之間移動，則混合遮罩碼將注意到此兩個影像之間之差異(例如，藉由將白色像素放置在不同的區域中)。然後，混合遮罩碼可新增略微多於填充差異區域所需之白色像素，以便確保差異區域自最終合成影像被乾淨地去除。 在一實例中，產生合成影像包含使用混合遮罩碼以：(1)使用低頻影像資料校正高頻影像資料之過飽和之部分；(2)使用低頻影像資料校正高頻影像資料之欠飽和之部分；以及(3)使用低頻影像資料校正低頻影像資料與高頻影像資料之間之差異。換言之，處理器105可檢查高頻影像資料之過飽和及欠飽和之區域(例如，亮度值大於/小於一臨限值)，且亦可判定影像序列中影像之哪些部分係不同的(例如，在影像之主體在影像圖框之間移動的情況下)。處理器105然後將使混合遮罩碼繪示過飽和、欠飽和及差異之此等區域。隨後，處理器105將使用低頻影像資料(即，來自至少一HDR影像)來校正高頻影像(即，來自至少一LDR影像)。 如前所述，處理器105用於組合高頻影像資料與低頻影像資料。在一實例中，此可包含形成高解析度亮度影像資料及低解析度亮度影像資料，且使用此兩種類型之影像資料來形成最終合成影像。高解析度亮度影像資料可包含對應於至少一LDR影像之影像資料及對應於至少一HDR影像之影像資料，且低解析度亮度影像資料可包含對應於至少一HDR影像之影像資料。在一實例中，藉由對對應於至少一LDR影像之影像資料應用一高通濾波器且對對應至少一HDR影像之影像資料應用一低通濾波器來達成一高解析度亮度影像資料。在另一或同一實例中，藉由銳化對應於至少一HDR影像之影像資料來達成低解析度亮度影像資料。 在一或多個實例中，進行若干混合步驟以形成最終經組合之高解析度影像。首先，將高解析度亮度影像資料與第一顏色資料(來自對應於至少一LDR影像之影像資料)組合以形成高解析度顏色影像資料。類似地，將低解析度亮度影像資料與第二顏色資料(來自對應於至少一HDR影像之影像資料)組合以形成低解析度顏色影像資料。然後，可接著根據混合遮罩碼之參數藉由組合高解析度顏色影像資料與低解析度顏色影像資料來產生合成影像。 為總結在圖 1 中所描繪之實例，成像系統101用於藉由形成一經組合之LDR及HDR影像來產生高品質合成影像。影像感測器103可擷取一LDR影像及一HDR影像。LDR影像將描繪關於影像主體之諸多細節，但由於LDR影像之有限之動態範圍，影像之某些區域將被清除(例如，在LDR影像中可能無法正確地解析具有非常暗的陰影之一區域或具有非常亮的光之一區域)。相反，HDR影像將展示比LDR影像更少之中間範圍細節，但將不會清除暗/亮點。此外，在LDR影像與HDR影像之間可能存在差異，此係因為影像之主體在影像獲取之間移動。 成像系統101消除上述兩個影像缺陷。首先，成像系統101用HDR影像之完全解析之部分替換LDR影像之清除掉之部分。第二，成像系統101去除LDR影像之與HDR影像之相同部分不同之部分。因此，成像系統101可產生(1)缺少運動誘發之影像失真及(2)組合一LDR影像之中間範圍細節與一HDR影像之寬亮度光譜之一合成影像。圖 2 繪示一實例性影像感測器203。影像感測器203包含像素陣列205、控制電路221、讀出電路211及功能邏輯215。在一實例中，像素陣列205係光電二極體或影像感測器像素(例如，像素P1、P2、…、Pn)之一二維(2D)陣列。如所繪示，光電二極體配置成列(例如，列R1至列Ry)及行(例如，行C1至行Cx)以獲取一人員、位置、物件等等之影像資料，其能夠隨後用於呈現該人員、位置、物件等等之一2D影像。 在一實例中，在像素陣列205中之各影像感測器光電二極體/像素已獲取其影像資料或影像電荷之後，影像資料由讀出電路211讀出，且接著傳送至功能邏輯215。讀出電路211可經耦合以自像素陣列205中之複數個光電二極體讀出影像資料。在各種實例中，讀出電路211可包含放大電路，類比轉數位(ADC)轉換電路或其他電路。功能邏輯215可簡單地儲存影像資料或甚至藉由應用後影像效果來操縱影像資料。在一實例中，功能邏輯可在執行實質性影像處理之前按比例放大HDR影像。在另一或同一實例中，功能邏輯可含在處理器(例如，處理器105)中。 在一實例中，控制電路221耦合至像素陣列205以控制像素陣列205中之複數個光電二極體之操作。舉例而言，控制電路221可產生用於控制影像獲取之一快門信號。在一實例中，快門信號係一全域快門信號，其用於同時使像素陣列205內之所有像素能夠在一單一獲取窗期間同時擷取其各自影像資料。在另一實例中，影像獲取與諸如一閃光之照明效果同步。 在一或多個實例中，擷取影像序列資料包含使用影像感測器203來擷取一第一圖框中之N個HDR影像及一第二圖框中之一個LDR影像。N個HDR影像係一個LDR影像之一大小之1/N，且N個HDR影像可被按比例放大至一個LDR影像之大小。此可藉由對像素陣列205中之像素(例如，像素P1、P2、…、Pn)進行分組以擷取不同的亮度範圍來達成。舉例而言，像素P1至Pn可被組織為四個像素之群組，其中四個像素之一第一群組具有一深色濾波器層，四個像素之一第二群組具有一中等深色濾波器層，四個像素之一第三群組具有一中等淺色濾波器層，且四個像素之一第四群組具有一淺色濾波器層。此圖案可跨像素陣列205重複。因此，四個像素之四個群組將各擷取可用於形成一HDR影像之亮度資料之一唯一範圍。然而，使用此種技術，HDR影像係一個LDR影像之大小之1/4 (其中所有像素用於擷取單個LDR影像)。因此，HDR影像必須按比例放大至LDR影像之大小以便與LDR影像組合。 在一實例中，成像感測器203可包含於一數位相機、蜂巢電話、膝上型電腦或類似物中。另外，成像感測器203可耦合至諸如處理器(例如，處理器105)、記憶體元件，照明/閃光及/或顯示器之其他硬體。其他硬體可向成像感測器203遞送指令、自成像感測器203提取影像資料、操縱由成像感測器203供應之影像資料或重設成像感測器203中之影像資料。圖 3 描繪影像感測器操作之一實例性方法300。一些或所有程序方塊出現在方法300中之順序不應被認為係限制性的。實情係，受益於本發明之熟習此項技術者將理解，方法300中之部分可以未繪示的各種順序或甚至並行地執行。值得注意的是，方法300描繪根據本發明之教示之一高度簡化(高級)實例。將結合圖 4 至圖 6 之討論更詳細地描述該方法之部分。 方法300包含程序方塊301、401、501及601。程序方塊301、401、501及601之各者對應於用於形成一或多個組件以呈現最終合成影像645之一子方法。 程序方塊301展示用一影像感測器(例如，影像感測器103)擷取輸入影像(對應於影像資料序列)。影像資料序列包含對應於至少一低動態範圍(LDR)影像305之影像資料及對應於至少一高動態範圍(HDR)影像307之影像資料。影像獲取可經由結合圖 2 或任何其他可行的成像方法描述之技術來達成。應注意，將不進一步討論程序方塊301，因為已在別處(即，結合圖 2 )討論LDR及HDR影像之擷取。 程序方塊401描繪經由一映射產生程序423形成一混合遮罩碼425。具體而言，經由讀出電路提取來自影像感測器之影像資料，且用產生混合遮罩碼425之一處理器接收影像資料。混合遮罩碼425用於控制LDR影像資料及HDR影像資料在最終合成影像中之放置。 程序方塊501描述使用LDR影像305及HDR影像307形成高解析度亮度影像資料535及低解析度亮度影像資料357。高解析度亮度影像資料535及低解析度亮度影像資料537係根據混合遮罩碼425而組合以形成合成影像。 程序方塊601描繪根據混合遮罩碼425來組合高解析度亮度影像資料535與一低解析度亮度影像資料537以形成一改善的合成影像645。合成影像645具有一LDR影像之高頻細節且具有HDR影像之寬亮度範圍。圖 4 描繪圖 3 之實例性方法之一部分。具體而言，圖 4 描述程序方塊401。在程序方塊401內，產生混合遮罩碼425，且混合遮罩碼425控制高解析度亮度影像資料535及低解析度亮度影像資料537在合成影像645中之放置。 首先，將一或多個LDR影像305及一或多個HDR影像307自影像感測器(例如，影像感測器103)發送至處理器(例如處理器105)。在程序方塊405中，將來自一或多個LDR影像305及一或多個HDR影像之影像資料轉換為亮度資料。在一些實例中，至亮度資料之轉換明顯減少呈現最終合成影像645所需之處理能力的量。在自HDR影像資料及LDR影像資料兩者提取亮度信號之後，在方塊407中將亮度影像資料線性化。在一實例中，此可經由一預定義查找表來達成。在所描繪之實例中，在程序方塊409中將HDR亮度影像資料按比例放大，此係因為所使用之HDR影像小於LDR影像(參見圖 2 之以上討論)。可經由線性內插或類似者來達成按比例放大。 一旦將LDR及HDR影像資料轉換為亮度資料且将其適當地縮放，就可產生混合遮罩碼425。在方塊411中，自LDR亮度影像資料中減去HDR亮度影像資料以便判定影像之間之差異。此允許混合遮罩碼校正歸因於影像之間之移動之影像失真。在所描繪之實例中，程序方塊415擴展且平滑化混合遮罩碼之展示HDR亮度影像資料與LDR亮度影像資料之間之差異的部分。此可有助於自最終合成影像645乾淨地去除運動模糊。 在程序方塊413中，將欠/過飽和程序應用於LDR影像。如果LDR影像之一像素值低於/超過一臨限值(例如，太暗或太亮)，則將在混合遮罩碼中注意到此種情況。據此，在程序方塊417中，將藉由欠/過飽和程序獲得之資訊與來自差異程序之資訊組合以形成混合遮罩碼425。因此，混合遮罩碼425可展示LDR影像資料與HDR影像資料之間之差異，以及LDR影像資料之過飽和之部分及LDR影像資料之欠飽和之部分。圖 5 描繪圖 3 之實例性方法之一部分。具體而言，圖 5 描述其中形成高解析度亮度影像資料535及低解析度亮度影像資料537之程序方塊501。高解析度亮度影像資料535及低解析度亮度影像資料537用於形成合成影像645。 在程序方塊505中，處理器接收LDR影像305及HDR影像307，且將其轉換為亮度資料。應注意，LDR影像305及HDR影像307可能已在程序方塊405 (參見圖 4 )中被轉換為亮度資料，在此種情況下可省略方塊505。程序方塊509描繪在將HDR影像307轉換為亮度資料之前對HDR影像307進行按比例放大。然而，由於HDR影像307可能已被按比例放大以產生混合遮罩碼(參見以上圖 4 之方塊409)，因此此程序方塊亦可能係冗餘的。 在程序方塊511中，一旦將LDR影像305轉換為亮度影像資料，就應用一高通濾波器。在一實例中，可藉由自LDR亮度影像資料減去低通信號(例如，程序方塊517中之低通信號)對LDR影像資料進行高通濾波。在程序方塊513中，可應用一雜訊濾波器以去除影像雜訊。隨後，在程序方塊515中應用增益/箝位。 類似地，在程序方塊517中，一旦HDR影像307被轉換為亮度影像資料且按比例放大，則可將一低通濾波器應用於HDR亮度影像資料以達成一低頻信號。另外，在程序方塊519中，可銳化HDR亮度影像資料以達成低解析度亮度影像資料537。 在程序方塊521中，將含有在LDR影像中擷取之影像主體之細節之高頻亮度信號新增至自HDR影像307提取之低頻信號中。此導致高解析度亮度影像資料535。隨後組合高解析度亮度影像資料535與低解析度亮度影像資料537以形成合成影像645。圖 6 描繪圖 3 之實例性方法之一部分。具體而言，圖 6 描繪根據混合遮罩碼425混合高解析度亮度影像資料535、低解析度亮度影像資料537與色度影像資料以形成合成影像645。 在程序方塊607及609中，分別自LDR影像305及HDR影像307提取色度(顏色)信號。在一實例中，來自HDR影像305之顏色信號可被按比例放大。然後，在程序方塊611及613中，將顏色信號新增回至高解析度亮度影像資料535及低解析度亮度影像資料537中。高解析度亮度影像資料535與第一顏色資料(來自對應於至少一LDR影像之影像資料)以形成高解析度顏色影像資料。低解析度亮度影像資料537與第二顏色資料(來自對應於至少一HDR影像之影像資料)組合以形成低解析度顏色影像資料。在程序方塊643中，根據混合遮罩碼425混合高解析度亮度影像資料535與低解析度亮度影像資料537 (具有新增之顏色信號)。此導致合成影像645之形成。圖 7 描繪圖 3 中之方法之一高度簡化的圖形表示。如所展示，獲取一低解析度HDR信號701 (例如，透過擷取HDR影像307)，且獲取一LDR高解析度信號701 (例如，透過擷取LDR影像305)。透過為簡化目的而省略之一系列處理步驟，產生一純低頻信號703及一純高頻信號704。此兩個信號在曲線705中組合以達成具有高動態範圍及中間範圍細節兩者之一信號。圖 8 描繪圖 3 中之方法之一簡化圖形表示。具體而言，圖 8 繪示混合遮罩碼可如何用於將高解析度LDR信號與低解析度HDR信號混合。HDR影像807及LDR影像805被擷取且用於形成混合遮罩碼825。應注意，混合遮罩碼展示(1) HDR影像807與LDR影像805之間之差異；(2) LDR影像805之過飽和；及(3) LDR影像805之欠飽和。舉例而言，HDR影像807與LDR影像805之間之差異包含走進LDR影像805之圖框中之人。據此，混合遮罩碼已用白色將人掩蓋，使得處理器將知道將此自合成影像845去除。此外，LDR影像805中之天空係過飽和的，因為在LDR影像中不存在雲細節。因此，混合遮罩碼825已用白色將天空掩蓋，使得處理器將知道用來自HDR影像807之天空替換來自LDR影像805之天空。隨後，混合遮罩碼用於形成合成影像845，其包含來自LDR影像805之所有中間範圍細節及HDR影像807之高動態範圍。 不希望本發明之所繪示實例之以上描述(包含摘要中所描述之內容)為窮舉性或將本發明限於所揭示之精確形式。儘管本文描述本發明之特定實例係出於繪示性目的，但熟習相關技術者將認識到，本發明範疇內之各種修改係可能的。 依據以上詳細描述可對本發明做出此等修改。隨附申請專利範圍中使用之術語不應解釋為將本發明限於本說明書中所揭示之特定實例。實情係，本發明之範疇全部由隨附申請專利範圍決定，將根據申請專利範圍解釋之既定原則解釋隨附申請專利範圍。
101‧‧‧成像系統
103‧‧‧影像感測器
105‧‧‧處理器
107‧‧‧輸入
109‧‧‧輸出
111‧‧‧讀出電路
121‧‧‧控制電路
203‧‧‧影像感測器/成像感測器
205‧‧‧像素陣列
211‧‧‧讀出電路
215‧‧‧功能邏輯
221‧‧‧控制電路
300‧‧‧方法
301‧‧‧程序方塊
305‧‧‧低動態範圍(LDR)影像
307‧‧‧高動態範圍(HDR)影像
401‧‧‧程序方塊
405‧‧‧程序方塊
407‧‧‧方塊
409‧‧‧程序方塊
411‧‧‧方塊
413‧‧‧程序方塊
415‧‧‧程序方塊
417‧‧‧程序方塊
423‧‧‧映射產生程序
425‧‧‧混合遮罩碼
501‧‧‧程序方塊
505‧‧‧程序方塊
509‧‧‧程序方塊
511‧‧‧程序方塊
513‧‧‧程序方塊
515‧‧‧程序方塊
517‧‧‧程序方塊
519‧‧‧程序方塊
521‧‧‧程序方塊
535‧‧‧高解析度亮度影像資料
537‧‧‧低解析度亮度影像資料
601‧‧‧程序方塊
607‧‧‧程序方塊
609‧‧‧程序方塊
611‧‧‧程序方塊
613‧‧‧程序方塊
643‧‧‧程序方塊
645‧‧‧合成影像
701‧‧‧低解析度HDR信號/LDR高解析度信號
703‧‧‧純低頻信號
704‧‧‧純高頻信號
705‧‧‧曲線
805‧‧‧LDR影像
807‧‧‧HDR影像
825‧‧‧混合遮罩碼
845‧‧‧合成影像
C1-Cx‧‧‧行
P1-Pn‧‧‧像素
R1-Ry‧‧‧列
參考以下圖式描述本發明之非限制性及非窮盡實例，其中相似元件符號貫穿各視圖指代相似部分，除非另有指定。圖 1 描繪根據本發明之教示之一實例性成像系統。圖 2 繪示根據本發明之教示之一實例性影像感測器。圖 3 描繪根據本發明之教示之影像感測器操作之一實例性方法。圖 4 描繪根據本發明之教示之圖 3 之實例性方法之一部分。圖 5 描繪根據本發明之教示之圖 3 之實例性方法之一部分。圖 6 描繪根據本發明之教示之圖 3 之實例性方法之一部分。圖 7 描繪根據本發明之教示之圖 3 中方法之一簡化圖形表示。圖 8 描繪根據本發明之教示之圖 3 中方法之一簡化圖形表示。 對應參考字元貫穿圖式之若干視圖指示對應組件。熟習技工應瞭解，圖式中之元件出於簡單及清楚之目的而繪示，且未必係按比例繪製。舉例而言，圖式中一些元件之尺寸相對於其他元件可能被誇示以幫助改良對本發明之各種實施例之理解。此外，為促進對本發明之此等各種實施例之更順暢理解，通常不描繪在商業上可行的實施例中有用的或必需的普通但眾所周知之元件。

Claims (18)

  1. 一種成像系統，其包括：一影像感測器，其擷取(capture)包含至少一低動態範圍(LDR)影像及至少一高動態範圍(HDR)影像之一影像序列(a sequence of images)；控制電路及讀出電路，其中該控制電路耦合至該影像感測器以控制LDR影像擷取及HDR影像擷取，且其中該讀出電路經耦合以讀出由該影像感測器擷取之影像資料；一處理器，其耦合至該讀出電路以接收對應於該至少一LDR影像之影像資料及對應於該至少一HDR影像之影像資料，且其中該處理器經組態以：產生一混合遮罩碼(mix mask)；將自對應於該至少一LDR影像之影像資料提取(extracted)之高頻影像資料與自對應於該至少一HDR影像之影像資料提取之低頻影像資料進行組合；及自該低頻影像資料及該高頻影像資料產生一合成(composite)影像，其中該混合遮罩碼管理(governs)該高頻影像資料及該低頻影像資料在該合成影像中之放置(placement)；及一資料輸出，其耦合至該處理器以接收該合成影像。
  2. 如請求項1之成像系統，其中產生該混合遮罩碼包含使用該處理器以：判定該低頻影像資料與該高頻資料之間之差異； 判定該高頻影像資料之欠飽和之部分；判定該高頻影像資料之過飽和之部分；及產生該混合遮罩碼，其中該混合遮罩碼展示該低頻影像資料與該高頻影像資料之間之差異，且其中該混合遮罩碼展示該高頻影像資料之過飽和之部分及該高頻影像資料之欠飽和之部分。
  3. 如請求項2之成像系統，其中該混合遮罩碼之展示該低頻影像資料與該高頻影像資料之間之差異之該等部分被擴展。
  4. 如請求項2之成像系統，其中產生該合成影像包含使用該混合遮罩碼以：使用該低頻影像資料校正該高頻影像資料之過飽和之部分；使用該低頻影像資料校正該高頻影像資料之欠飽和之部分；使用該低頻影像資料校正該低頻影像資料與該高頻影像資料之間之差異。
  5. 如請求項1之成像系統，其中使用該處理器來組合該高頻影像資料與該低頻影像資料包含形成高解析度亮度影像資料及低解析度亮度影像資料，其中該高解析度亮度影像資料包含對應於該至少一LDR影像之影像資料及對應於該至少一HDR影像之影像資料，且其中該低解析度亮度影像資料包含對應於該至少一HDR影像之影像資料。
  6. 如請求項5之成像系統，其中藉由對對應於該至少一LDR影像之該影 像資料應用一高通濾波器以及對對應於該至少一HDR影像之該影像資料應用一低通濾波器來達成該高解析度亮度影像資料。
  7. 如請求項5之成像系統，其中藉由銳化對應於該至少一HDR影像之該影像資料來達成該低解析度亮度影像資料。
  8. 如請求項5之成像系統，其中該高解析度亮度影像資料與來自對應於該至少一LDR影像之該影像資料之第一顏色資料組合以形成高解析度顏色影像資料，且其中該低解析度亮度影像資料與來自對應於該至少一HDR影像之該影像資料之第二顏色資料組合以形成低解析度顏色影像資料，且其中藉由組合該高解析度顏色影像資料與該低解析度顏色影像資料來產生該合成影像。
  9. 如請求項1之成像系統，其中該影像感測器經組態以擷取一第一圖框中之N個HDR影像及一第二圖框中之一個LDR影像，其中該N個HDR影像係該一個LDR影像之一大小之1/N，且其中該N個HDR影像被按比例放大至該LDR影像之該大小。
  10. 一種影像處理方法，其包括：用一影像感測器擷取一影像資料序列，其中該影像資料序列包含對應於至少一低動態範圍(LDR)影像之影像資料及對應於至少一高動態範圍(HDR)影像之影像資料；用一處理器接收該影像資料序列； 產生一混合遮罩碼；將自對應於該至少一LDR影像之影像資料提取之高頻影像資料與自對應於該至少一HDR影像之影像資料提取之低頻影像資料進行組合；及自該低頻影像資料及該高頻影像資料產生一合成影像，其中該混合遮罩碼管理該高頻影像資料及該低頻影像資料在該合成影像中之放置。
  11. 如請求項10之方法，其中該產生該混合遮罩碼包含：判定該低頻影像資料與該高頻影像資料之間之差異；判定該高頻影像資料之欠飽和之部分；判定該高頻影像資料之過飽和之部分；及產生該混合遮罩碼，其中該混合遮罩碼展示該低頻影像資料與該高頻影像資料之間之差異，且其中該混合遮罩碼展示該高頻影像資料之過飽和之部分及該高頻影像資料之欠飽和之部分。
  12. 如請求項11之方法，其中該混合遮罩碼之展示該低頻影像資料與該高頻影像資料之間之差異之該部分被擴展。
  13. 如請求項11之方法，其中使用該混合遮罩碼來產生該合成影像包含：使用該低頻影像資料校正該高頻影像資料之過飽和之部分；使用該低頻影像資料校正該高頻影像資料之欠飽和之部分；以及使用該低頻影像資料校正該低頻影像資料與該高頻影像資料之間之差異。
  14. 如請求項10之方法，其中組合該高頻影像資料與該低頻影像資料包含組合高解析度亮度影像資料與低解析度亮度影像資料，其中該高解析度亮度影像資料包含對應於該至少一LDR影像之影像資料及對應於該至少一HDR影像之影像資料，且其中該低解析度亮度影像資料包含對應於該至少一HDR影像之影像資料。
  15. 如請求項14之方法，其中藉由對對應於該至少一LDR影像之該影像資料應用高通濾波器以及對對應於該至少一HDR影像之該影像資料應用低通濾波器來達成該高解析度亮度影像資料。
  16. 如請求項14之方法，其中藉由銳化對應於該至少一HDR影像之該影像資料來達成該低解析度亮度影像資料。
  17. 如請求項14之方法，其中該高解析度亮度影像資料與來自對應於該至少一LDR影像之該影像資料之第一顏色資料組合以形成高解析度顏色影像資料，且其中該低解析度亮度影像資料與來自對應於該至少一HDR影像之該影像資料之第二顏色資料組合以形成低解析度顏色影像資料，且其中藉由組合該高解析度顏色影像資料與該低解析度顏色影像資料來產生該合成影像。
  18. 如請求項10之方法，其中擷取該影像資料序列包含：擷取一第一圖框中之N個HDR影像及一第二圖框中之一個LDR影 像，其中該N個HDR影像係該一個LDR影像之一大小之1/N；及將該N個HDR影像按比例放大至該一個LDR影像之該大小。
TW106101350A 2016-03-08 2017-01-16 改善的高動態範圍 TWI628622B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/064,546 US9900527B2 (en) 2016-03-08 2016-03-08 Enhanced high dynamic range
US15/064,546 2016-03-08

Publications (2)

Publication Number Publication Date
TW201801041A TW201801041A (zh) 2018-01-01
TWI628622B true TWI628622B (zh) 2018-07-01

Family

ID=59787532

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106101350A TWI628622B (zh) 2016-03-08 2017-01-16 改善的高動態範圍

Country Status (3)

Country Link
US (1) US9900527B2 (zh)
CN (1) CN107172370B (zh)
TW (1) TWI628622B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6121059B2 (ja) * 2014-06-20 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ Ｈｄｒｉの生成方法及び装置
US9883112B1 (en) * 2016-09-22 2018-01-30 Pinnacle Imaging Corporation High dynamic range imaging
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
WO2019118319A1 (en) 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
EP3522107A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings Method and apparatus for generating hdr images with reduced clipped areas
CN112805745A (zh) * 2019-01-31 2021-05-14 华为技术有限公司 一种混合图层处理方法及装置
CN116433540B (zh) * 2023-06-15 2023-09-29 武汉高芯科技有限公司 一种红外图像增强方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201102967A (en) * 2008-12-19 2011-01-16 Qualcomm Inc High dynamic range image combining
TW201215160A (en) * 2010-07-06 2012-04-01 Koninkl Philips Electronics Nv Generation of high dynamic range images from low dynamic range images
CN102484672B (zh) * 2009-08-24 2014-11-26 日本电气株式会社 图像动态范围压缩系统、方法及程序
CN104618700A (zh) * 2015-01-29 2015-05-13 电子科技大学 一种彩色高动态范围图像增强显示的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346002B2 (en) * 2007-07-20 2013-01-01 Microsoft Corporation High dynamic range image hallucination
FR2945390B1 (fr) * 2009-05-07 2011-07-15 Commissariat Energie Atomique Dispositif et procede de compression d'une image pour capteur d'images.
US9324137B2 (en) * 2012-10-24 2016-04-26 Marvell World Trade Ltd. Low-frequency compression of high dynamic range images
US9697592B1 (en) * 2015-12-30 2017-07-04 TCL Research America Inc. Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201102967A (en) * 2008-12-19 2011-01-16 Qualcomm Inc High dynamic range image combining
CN102484672B (zh) * 2009-08-24 2014-11-26 日本电气株式会社 图像动态范围压缩系统、方法及程序
TW201215160A (en) * 2010-07-06 2012-04-01 Koninkl Philips Electronics Nv Generation of high dynamic range images from low dynamic range images
CN104618700A (zh) * 2015-01-29 2015-05-13 电子科技大学 一种彩色高动态范围图像增强显示的方法

Also Published As

Publication number Publication date
TW201801041A (zh) 2018-01-01
US20170264839A1 (en) 2017-09-14
CN107172370A (zh) 2017-09-15
CN107172370B (zh) 2019-07-26
US9900527B2 (en) 2018-02-20

Similar Documents

Publication Publication Date Title
TWI628622B (zh) 改善的高動態範圍
US8508619B2 (en) High dynamic range image generating apparatus and method
US8947575B2 (en) Image pickup apparatus having warning region detection related to dynamic range expansion
US8872936B2 (en) Image processing device, white balance correction method, and imaging device
TWI658731B (zh) 鬼偽影去除系統和方法
US20160037043A1 (en) High dynamic range (hdr) images free of motion artifacts
US9019413B2 (en) Method of image preview in a digital image pickup apparatus
US9282256B1 (en) System and method for HDR imaging
US11184553B1 (en) Image signal processing in multi-camera system
JP2010088113A (ja) 撮像装置及び撮像方法
US8218021B2 (en) Image capture apparatus, method of controlling the same, and program
WO2019164767A1 (en) Multiple tone control
JP5984975B2 (ja) 撮像装置、撮像方法、およびプログラム
US9860456B1 (en) Bayer-clear image fusion for dual camera
US8958649B2 (en) Video generation with temporally-offset sampling
CN110476414B (zh) 控制系统和图像传感器
Kartalov et al. Fully automated exposure fusion algorithm for mobile platforms
JP6603557B2 (ja) 画像処理装置および画像処理方法
US9479710B2 (en) Cinematic image blur in digital cameras based on exposure timing manipulation
Zhang Film-like images with super-fine details using Foveon X3 technology
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
KR102071460B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR20120075693A (ko) 이미지의 선명도 증강이 가능한 카메라, 이미지의 선명도 증강방법 및 그 기록매체
JP2024071082A (ja) 撮像装置及びその制御方法とプログラム
JP2017098750A (ja) ベクトル算出装置およびベクトル算出方法