TWI668998B - 高動態範圍影像感測器 - Google Patents

高動態範圍影像感測器 Download PDF

Info

Publication number
TWI668998B
TWI668998B TW104119299A TW104119299A TWI668998B TW I668998 B TWI668998 B TW I668998B TW 104119299 A TW104119299 A TW 104119299A TW 104119299 A TW104119299 A TW 104119299A TW I668998 B TWI668998 B TW I668998B
Authority
TW
Taiwan
Prior art keywords
circuits
image
random
pseudo
irradiance
Prior art date
Application number
TW104119299A
Other languages
English (en)
Other versions
TW201608891A (zh
Inventor
鐘潘傑
王宏成
亞蘭 馬修 芬
Original Assignee
美商無限傳感有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商無限傳感有限公司 filed Critical 美商無限傳感有限公司
Publication of TW201608891A publication Critical patent/TW201608891A/zh
Application granted granted Critical
Publication of TWI668998B publication Critical patent/TWI668998B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一種影像處理系統，其具有感測器陣列，該感測器陣列具有複數個像素。一相異電路與該感測器陣列中之每一像素相關聯。該等電路經設計以使得跨於該複數個電路，存在對來自將要捕獲的場景之輻照度的複數個相異靈敏度，該複數個相異靈敏度相對於彼此為空間偽隨機有序的。該影像處理系統亦包含影像重建演算法。本案亦揭示一種方法。

Description

高動態範圍影像感測器
本申請案係關於一種影像獲取及處理技術，其中利用感測器來捕獲影像，該感測器具有指派至不同像素的不同靈敏度水準。
影像重建在任何數量之技術領域中為固有的。舉例而言，偵察機在多個波長下捕獲影像，該等影像必須經重建以提供資訊。必須相對快速地捕獲此等影像，且精確度、空間解析度及動態範圍必須盡可能高。
然而，自然場景通常具有極高動態範圍，亦即，極亮區與極暗區，從而需要例如20位元，而標準成像感測器可獲取更少，例如僅獲取8-12位元。傳統成像感測器由於受限的動態範圍而面臨缺失場景細節或模糊現象或嚴重失真的問題。
捕獲高動態範圍(「HDR」)影像之先前技術方法可使用多次順序曝光以在不同曝光下獲得多個影像。此外，該等方法可使用具有不同靈敏度之多個離散感測器陣列。此外，該等方法可製造具有多個不同大小像素之單一晶片，以便利用不同曝光來同時捕獲多個影像。在另一方法中，該等方法已試圖整合光通量直至像素達到飽和，其中整合時間表示實際輻照度。另一種技術係使用對數回應像素或電路以使場景之動態範圍非線性地擴展。最後，已使用以規則圖樣陣列設置的具有逐像素衰減位準之實體遮罩或濾波器。
利用此等技術，藉由壓縮自樣本資料建構的高動態範圍來獲得用於顯示的最終影像。
所有先前技術方法皆具有缺點。進行多次順序曝光之方法由於場景中之運動而具有假影，因為每一影像係來自稍有不同的時間或持續時間。此外，需要複雜的影像校準來產生最終影像。重建影像中亦常常存 在假影，此係歸因於阻塞或錯誤校準。
多個離散感測器陣列具有如下問題：光經分裂並反射至不同感測器陣列中。到達感測器之光的量因此較少，且此方法不適用於低光成像。所需成本、大小、重量及功率亦由於額外硬體而增加。
與單一大小像素相比，使用多大小像素降低解析度，且因此亦不理想。
在像素整合時間方案中，一個主要缺點為：部分地開啟的轉移電晶體可引入另外的暗電流源，從而導致較高暗電流散粒雜訊。此外，由於多重信號讀取，驅動電路更加複雜。需要另外的電子設備，成本相應增加。
對數回應像素或電路方案具有非線性回應，該非線性回應在大多數應用中並非較佳的，因為該非線性回應使得跨於感測器輸出之完整範圍的適當色彩校正變得困難。
遮罩方案一般具備規則方格遮罩，該規則方格遮罩由於成像內插而導致低解析度或低品質。
因此，改良的高動態範圍成像過程為合乎需要的。
一種影像處理系統，其具有感測器陣列，該感測器陣列具有複數個像素。一相異電路與該感測器陣列中之每一像素相關聯。複數個電路經設計以使得跨於該複數個電路，存在對來自將要捕獲的場景之輻照度的複數個相異靈敏度，該複數個相異靈敏度相對於彼此為空間偽隨機有序的。該影像處理系統亦包含影像重建演算法。本案亦揭示一種方法。
可自以下圖式及說明書最佳地理解此等特徵及其他特徵。
16‧‧‧溢流電容器
16’‧‧‧溢流電容器
17‧‧‧電晶體開關
18‧‧‧浮動擴散電容
21‧‧‧電路
22‧‧‧像素
23‧‧‧像素
32‧‧‧場景
40‧‧‧感測器
58‧‧‧攝像機
60‧‧‧處理器或電腦
100‧‧‧補片
110‧‧‧影像
112‧‧‧影像
114‧‧‧影像
116‧‧‧影像
12‧‧‧增益組件
139‧‧‧像素
140‧‧‧感測器
141‧‧‧像素
142‧‧‧像素
143‧‧‧電路
144‧‧‧電路
145‧‧‧電路
225‧‧‧電路
235‧‧‧電路
FD‧‧‧浮動擴散電容
T2‧‧‧電晶體開關
T3‧‧‧電晶體開關
CS‧‧‧溢流電容器
CS’‧‧‧溢流電容器
圖1展示偽隨機感測器。
圖2為系統之示意圖。
圖3A展示第一電路實施例。
圖3B展示第二電路實施例。
圖3C展示提供相異靈敏度水準及電路之替代方式。
圖4以圖形展示字典學習演算法中之步驟。
圖5展示樣本影像。
本揭示內容係關於捕獲偽隨機感測器影像。以下描述本質上僅僅為示範性的，且不意欲以任何方式限制揭示內容、其應用或用途。
在圖1中，示意性地展示感測器40。提供呈n乘m個像素之陣列的複數個像素。感測器中之每一像素與一電路通訊，且電路具有對輻照度之不同靈敏度。因此，一些像素22與電路225相關聯且回應於低輻照度(具有高靈敏度)，而其他像素23與電路235相關聯且回應於高輻照度(具有低靈敏度)。雖然僅例示且示意性地例示每一電路225及235中之一者，但每一像素皆與一電路相關聯。因此，將存在複數個電路225及235兩者。
如可自圖1所瞭解，不同靈敏度不規則地間隔或在幾何學上為無序的，此相應於跨於感測器40之空間不規則性。此空間無序性質稱為偽隨機型樣。此等靈敏度係由電路提供，該電路與每一像素通訊並將像素資訊傳達至下游的處理器或電腦(在以下圖2中更佳地描述)。
如圖2所示，包括感測器40之攝像機58可與處理器或電腦60通訊。將要捕獲的場景32係展示為在處理器或電腦60上之132處獲重建並顯示。偽隨機有序感測器之使用提供諸多益處，如將在以下所述。尤其當偽隨機有序感測器與現代重建演算法組合利用時，提供更加精確的影像。
雖然處理器或電腦60係展示為相異於自身包括感測器40之攝像機58，但是處理器或電腦60可封裝於或以其他方式整合或嵌入攝像機58內，或甚至封裝於或以其他方式整合或嵌入感測器40內。攝像機58與電腦60之間的通訊可為包括在積體電路上之導電跡線的有線通道通訊，或替代地可為任何其他光學通訊、無線通訊、無線電通道通訊或能夠在兩點之間發送影像及視訊的任何其他類型之通道通訊，該等其他類型之通道包括涉及全球資訊網(www)或網際網路之鏈路。
本發明教示使用單個感測器40自單次曝光捕獲且重建高品 質影像。標準感測器不會產生品質與本發明之偽隨機感測器40及重建技術一樣高的影像。使用本發明之技術的多維採樣可用以獲得高影像解析度、低成本、高速度及高動態範圍。
偽隨機影像重建取決於稱為稀疏性的數學性質。稀疏性為一些資料(例如，影像)可藉以僅經由幾個非零數(亦稱為係數)來表示的一種性質，該等非零數係與一組適當的基函數相乘。已知自然影像為稀疏的，因為此等影像可根據此等少數係數加以壓縮(例如，使用相對少數係數及傅立葉基函數或小波基函數)且獲精確重建。
本揭示內容建立一種具有若干離散的不同靈敏度水準之偽隨機有序感測器，其中成像晶片中之每一像素與電路225、235中之一者通訊。自然場景之影像係經由感測器捕獲。相應於一個靈敏度水準之像素係稱為偽隨機影像。對於每一次曝光而言，則存在若干偽隨機影像，每一偽隨機影像相應於每一靈敏度水準之像素。根據所獲取的偽隨機影像，將計算方法用於重建所要高動態範圍(HDR)影像。
建立具有N個離散的不同靈敏度水準之感測器。因此，存在針對任何場景的相應於N個水準的N個偽隨機影像。最暗偽隨機影像包含回應於最低輻照度之像素(具有最高靈敏度之像素)。類似地，下一最暗偽隨機影像包含具有下一最低靈敏度水準之像素，等等。對於每一次曝光而言，則存在N個偽隨機影像，每一偽隨機影像相應於一個靈敏度水準之像素。對於每一偽隨機影像(相應於每一靈敏度水準)而言，存在有限數量之所觀察像素(1/N)，整個影像係自該等像素來重建。
在示範性實施例中，包含n乘m個像素之感測器中之每一像素使每一像素與一個靈敏度水準之電路25、235通訊。
產生具有靈敏度之偽隨機空間分佈之感測器的方法可有所變化。在一個實例中，不同靈敏度水準獨立地指派於每一像素位置處，且均勻地遍佈於感測器。在更一般狀況下，水準可加以關聯且平均地均勻分佈。在相鄰位置之子集中的水準之空間變化量值為可控制感測器之統計學性質的關鍵分佈參數。此示範性分佈取決於子集中位置之數量且取決於相關函數。具體而言，在前一種獨立分佈水準的狀況下，空間變化之平方量 值可與子集中水準之數量成正比。在後一種相關分佈的狀況下，此依賴性可加以修改。最常見實例之一為冪次律依賴性，其中標準偏差與N γ 成比例，其中N為子集中水準之數量，且γ為吾等所選之參數。對於影像獲取及影像處理應用而言，相關性及因此參數γ可經最佳化以減小感測器之局部非均勻性，且據此提高影像重建之品質。
在圖3A中，電路21提供增益組件122，該增益組件122為固定的或可以可程式化方式變化。圖3A展示矽讀出積體電路(ROIC)，該矽讀出積體電路具有連續地改變像素內類比增益之能力。藉由修改內偏差，閘極調變(GMOD)像素架構ROIC可改變感測器(焦平面陣列)之每一像素的靈敏度，從而導致有效電容之改變。每一像素含有閘極調變輸入電路，用於利用連續可調整增益將電流轉換為電壓。光電二極體電流流過M0，而成比例量之電流鏡射於M1中，同時穿過M1及M0之電流的比率經由外部設定的增益(GAIN)電壓及偏置(BIAS)電壓來控制。此外，受益於本揭示內容之一般技藝人士將認識到如何達成此等變化形式。
圖3B為側向溢流電容器HDR電路之先前技術實施例，該圖出自Yang Liu,The Design of a High Dynamic Range CMOS Image Sensor in 110nm Technology(Master of Science Thesis，台夫特科技大學，2012)之圖2.16，該論文以引用方式併入本文。圖3B展示一對電晶體開關T2及T3(17)。
圖3C之第二實施例展示一種電路，其中消除圖3B之一個電晶體開關17，且將溢流電容器CS(16)修改為CS'(16)。受益於本揭示內容之一般技藝人士將認識到：藉由改變溢流電容器16’之電容，可改變每一像素之靈敏度。例如，藉由組配具有不同位準之電容的溢流電容器CS’(16’)，吾等可達成針對每一像素之不同靈敏度水準。對於高靈敏度像素而言，溢流電容器CS’可完全消除。可以偽隨機方式跨於感測器40之全部像素提供獨特電路。另外，利用本揭示內容之修改方案，影像感測器像素及讀出電路設計得以簡化。
另外，可藉由調整浮動擴散(FD)電容(18)來改變像素之有效電荷儲存，以使得高靈敏度像素具有較低電容，且低靈敏度像素具有較高電容。藉由改變相應於每一像素之電容，吾等可改變該像素之靈敏度水準。
舉例而言，可藉由增大面積、增加沉積層之厚度等來改變電容。美國專利5,621,230中揭示一個可能的實例，該專利之相關揭示內容以引用方式併入本文。
雖然圖1中展示兩個不同的靈敏度水準，但應理解，亦可包括三個或三個以上靈敏度水準。
總之，如圖3A-3C所示的各種電路產生讀出積體電路(ROIC)，其中針對像素中之每一者提供的電路具有對輻照度的複數個相異靈敏度水準。
然後使用重建演算法。一個實施例可使用熟知的低秩矩陣補全演算法。另一實施例應用字典學習演算法以用於影像修補。較佳實施例使用基於l 1/TV(總變化)極小化的演算法。l 1及TV極小化之基本概念在此項技術中為熟知的，且將在以下進一步解釋。場景之不同組成部分可獨立地加以重建(稱為獨立重建)，或較佳地，藉由聯合最佳化(稱為聯合重建)加以重建。獨立重建方法獨立地重建場景之每一組成部分，僅使用相應於一個靈敏度水準之像素的回應。聯合重建方法一次性重建場景之所有組成部分，此方法暗含地或明確地假定場景組成部分之結構為相關的，且係使用相應於複數個靈敏度水準之像素的回應。獨立重建演算法在此項技術中為熟知的。以下新穎聯合重建演算法展示比獨立重建更好的重建精確度。
本揭示內容包括以下三個步驟：
1)偽隨機影像獲取：具有偽隨機電路之傳統影像感測器進行單次曝光，從而獲取複數個偽隨機影像。
2)影像重建，例如，利用基於字典學習或l 1/TV的方法，如下說明：場景組成部分係獨立地或聯合地重建。根據所獲取偽隨機影像，存在可用來重建所需高動態範圍(HDR)影像之兩種方法。一種方法為基於局部補片之方法，亦即，基於字典學習的影像重建。另一種方法為基於全域影像的方法，亦即，基於l 1/TV的影像重建。以下詳細地論述此等方法。
3)高動態範圍壓縮：最後，將重建影像加以組合以產生一個單一高動態範圍影像。該高動態範圍可視需要經壓縮以用於顯示。
在過去十年間，在稀疏採樣及稀疏最佳化(亦稱為壓縮感測 及l 1-調整反算問題)方面的理論數學進展已展示自適當採樣資料來恢復缺失資訊之新方式。適當採樣需要樣本之某種偽隨機性以便適當地工作。
採樣中之規律性(靈敏度水準之空間分佈)限制此等新數學進展之成功使用。在特定靈敏度水準下進行的場景之空間偽隨機採樣允許精確地重建整體影像，就如同整個影像係於該水準下獲取一般。
自然場景含有許多空間規則結構，例如，辦公樓上之窗戶、樁欄之柵樁等。若以規則模式對場景進行採樣，則樣本之規律性可在重建影像中引起問題。熟知實例為可以在電視上演員之衣物上看見的雲紋圖樣(Moiré pattern)。在此狀況下，衣物之規則空間圖樣之規則空間採樣可引起重建假影，此係由於稱為混疊的熟知效應。另一相關的已知實例為以下情況：對旋轉輪之暫時規則採樣可使旋轉輪在加速或減慢時呈現為交替地向前移動及向後移動。作為一極端實例，對具有樁欄之場景進行規則採樣可僅具有來自柵樁的樣本(重建將根據該等樣本來建立實心壁之影像)，或僅具有來自柵樁之間的樣本(重建將根據該等樣本來建立完全沒有柵欄之影像)。偽隨機採樣工作之原因在於：其更可能得到關於任何規則結構之足夠資訊以允許精確重建。
字典學習之概念為自偽隨機採樣影像來學習簡明字典以重建高解析度影像。用於影像x之字典(表示為Φ，亦稱為採樣矩陣或感測矩陣)允許精確重建，前提為滿足以下兩個條件：
(1)稀疏性：在給定過完備字典及冗餘字典Φ(冗餘在此意為字典原子之數量遠大於x個影像補片之尺寸，從而暗示Φx包含許多零)的情況下，影像之數學表示Φx為稀疏的。如上所述，稀疏性為藉以可將影像僅由幾個非零數(亦稱為係數)來表示的一種性質，該等非零數係與一組適當的基函數(每一基函數為稱為原子之向量，原子之集合作為字典之行來形成字典)相乘。
(2)不相干性：感測矩陣/量測矩陣Φ T 具有完整spark。字典(矩陣)之spark為線性依賴的最小行數。完整spark意指矩陣Φ T 之子方陣皆不為奇異的(singular)。若行是線性依賴的，則該等行將不添加新資訊至採樣過程。spark係用於壓縮感測理論中，其中對量測矩陣Φ T 之spark的要求用於確 保數學技術之穩定性及一致性。字典原子之間的不相干性之相關量度為熟知的約束等距性質(RIP)。
靈敏度之空間分佈之偽隨機性對確保感測矩陣Φ T 之不相干性而言為重要的。靈敏度之規則方格空間分佈將在字典原子之間具有線性依賴性，以使得Φ T 具有非完整spark且具有差於靈敏度之偽隨機空間分佈的RIP。使用靈敏度之空間規則方格空間分佈的字典學習重建結果遠差於使用靈敏度之偽隨機空間分佈的情況。類似地，對於基於l 1/TV的方法，偽隨機採樣矩陣(以下表示為P)為感測矩陣，其具有良好的RIP。
基於字典學習的影像重建使用影像補片，參見圖4。首先，偽隨機影像係劃分成一組重疊補片x i ，每一補片之大小為a×a(例如，a=8)。(此後補片x i 視為行向量，如同熟知的Matlab命令vect(x i )一般。)圖4展示示範性補片100。利用稀疏性約束之原因在於：影像之每一補片皆表示為一組字典原子之稀疏組合。可根據自每一偽隨機影像學習的單個字典或可根據自所有偽隨機影像學習的單一字典來重建影像。字典之學習描述如下。
以使得∥α i ∥1 τ 0
其中x i 為影像補片，Φ為字典，α i 為稀疏係數，且τ 0 為小常數。應注意，吾等實際上已藉由如自壓縮感測文獻中熟知的等效l 1約束∥·∥1表示出l 0稀疏性約束∥·∥0。
此最佳化問題之直觀解釋為：吾等進行計算字典Φ及係數α，以使得影像補片x i 與該等影像補片自字典Φα之近似值之間的差值總和很小(每一個別補片差值為項，其量測補片與其稀疏字典表示有何不同)。記法為差值量度，亦即，在兩個向量之間的歐氏距離(平方值)。求和為將所有個別補片差值相加。
在吾等將補片差值取最小值的同時，吾等亦希望確保表示為稀疏的(此為項∥α i ∥1 τ 0)，從而實施：α之稀疏性小於吾等指定的一些小數τ 0 。記法∥·∥0為稀疏性量度(亦稱為l 0)，其為向量之非零元素之數量計數，吾 等已藉由該向量之等效(在此狀況下)∥·∥1(亦稱為l 1)替換。
因此，對此最佳化問題進行求解得出可表示所有影像補片之字典，其中每一補片表示只需要幾個字典元素。數學理論保證：若吾等計算該字典，則吾等可重建整個影像，即使吾等僅獲得實際像素值之1/N亦如此。字典學習如下進行。
吾等可最初設定字典Φ為任何值或為所有補片之熟知奇異值分解(SVD)。字典之學習具有兩個主要步驟：
稀疏編碼步驟：對於每一個補片x i 而言，使用任何追蹤演算法(例如，熟知的基本追蹤演算法)來計算稀疏表示αi，以使得每一x i 為字典原子之稀疏集之組合。
字典更新步驟：根據用於使用字典Φ之每一原子之補片組的稀疏性擬合將此原子更新為誤差矩陣之第一固有向量。
重複兩個步驟直至收斂。該程序在文獻中為熟知的。
接下來描述的獨立重建技術為基於l 1/TV的影像重建。此技術實施在整個影像(而非補片)範圍內之稀疏性，在此個意義上而言，任何自然影像可表示為基於某一基礎(例如傅立葉或小波)的係數之稀疏數，亦即，l 1約束，或該自然影像可表示為稀疏分段常數梯度場，亦即，TV約束。自所獲取偽隨機影像獨立地或聯合地重建影像。
獨立重建具有以下l 1及TV公式：
l 1公式：min∥Fx∥1以使得∥Px-b∥ δ，其中x為要重建之影像，F為逆基變換(例如，傅立葉、小波)，P為相應於偽隨機影像b中之偽隨機子採樣 之子採樣運算子，且δ為吾等選擇的小數。
TV公式：min∥x∥ TV 以使得∥Px-b∥ δ，其中∥x∥ TV 為總變分，且P為相應於偽隨機影像b中之偽隨機子採樣之子採樣運算子，且δ為吾等選擇 的小數。
此即為獨立重建方法，其不利用處於不同靈敏度水準之偽隨機影像中的已知關係。在獨立重建中，每一偽隨機影像獲單獨重建並稍後組合為單一HDR影像。然而，吾等已知的是，有效相應於在不同曝光時間成像的同一場景之連續偽隨機影像必須彼此高度相關。同時地使用來自所 有偽隨機影像之資訊的創新聯合重建方法可利用更多關係，並因此獲得比獨立重建更精確的重建精確度。
為利用偽隨機影像之間的關係，利用一些實體成像約束(例如，熟知的攝像機回應函數)對偽隨機影像進行建模。對於高動態範圍(HDR)成像之應用而言，例如，利用不同曝光時間有效地獲取不同像素之影像，以使得攝像機回應函數(CRF)以曝光時間來對輻照度值建模。成像模型可表示為x i =f(log(δt i ))，其中δ t i 為曝光時間，且f為自所獲取偽隨機影像或所計算先驗值來估計的攝像機回應函數。
使用如以上的相同記法，如下以公式表示聯合重建
l 1公式：以使得∥Pf(log(δt i )-b∥ δ，其中n為要重建的影像之數量。
TV公式：以使得∥Pf(log(δt i )-b∥ δ。
對於TV公式而言，熟知Split-Bregman迭代方法係用於藉由以下三個步驟來有效率地重建影像：
(1)藉由引入輔助變數來應用Bregman公式。
(2)使新成本函數之l 1及l 2解耦。
(3)藉由求解經典Sylvester方程式及收縮問題，交替地求解每一成本函數之最小值直至收斂。
本揭示內容有利地利用靈敏度之空間分佈的偽隨機分佈。詳言之，所揭示影像重建係基於求解最佳化問題(通常為混合範數l2/l1最佳化)。此類型最佳化問題之關鍵要求在於空間(時空)採樣為偽隨機特異的，其具有完整spark或良好的RIP。偽隨機性可來自多個基本偽隨機數分佈中之任何一者。靈敏度之偽隨機空間分佈亦可經最佳設計來獲得更好spark或RIP性質。
圖5展示可自場景捕獲的三個相異靈敏度水準影像110、112及114。如圖所示，相關聯感測器140具有三個相異像素群，其中139為靈敏度最低的。像素141處於中間水準。像素142為靈敏度最高的。
因此，像素139及電路143將捕獲較暗區，諸如建築物之內部，即影像114。像素141及電路144將捕獲更多中間水準，諸如112所示。像素142及電路145最能夠捕獲亮區，諸如建築物之外部，即影像110。如所揭示的，當此等若干影像獲重建時，獲得極高解析度影像116。
總之，偽隨機電路之使用在最終重組影像中提供較高解析度。
如本文所使用之術語「偽隨機」無需為所產生的真偽隨機。具體而言，偽隨機分佈可為真隨機分佈，或可為近似隨機的，由諸如空間相關性最佳化方法之任何數量的技術所產生的。關鍵的是：靈敏度之空間分佈不應為規則有序地。
用於HDR成像的本揭示內容首先自所獲取影像估計CRF。然後，CRF用於混合範數最佳化框架。使用CRF在不同曝光水準下自多個影像重建單一高動態範圍(HDR)影像在此項技術中為已知的。
儘管已揭示本發明之實施例，但一般技藝人士將認識到，某些修改將歸入本揭示內容之範疇內。出於彼原因，應研習以下申請專利範圍來判定本揭示內容之真實範疇及內容。

Claims (15)

  1. 一種高動態範圍成像系統，其包含：一感測器陣列，其具有複數個像素；以及複數個電路，其中一個電路與該感測器陣列中之每一像素相關聯，且該複數個電路經設計以使得跨於該複數個電路，存在對來自將要捕獲的一場景之輻照度的複數個相異靈敏度，其中該等靈敏度相對於彼此為空間偽隨機有序的；以及一影像重建演算法。
  2. 如申請專利範圍第1項之系統，其中該感測器陣列與一電腦通訊，該電腦具備該重建演算法，以便根據來自該場景之該等相異品質中之一或多者重建一或多個相異影像。
  3. 如申請專利範圍第2項之系統，其中該電腦為一嵌入式處理器。
  4. 如申請專利範圍第2項之系統，其中該等相異影像係組合成一單一組合影像。
  5. 如申請專利範圍第1項之系統，其中該重建演算法利用字典學習、基於l 1/總變分最佳化及矩陣補全中之一或多者。
  6. 如申請專利範圍第1項之系統，其中該複數個電路包括：具有一光電二極體之一些電路，該光電二極體具有一第一溢流電容；以及具有一光電二極體之其他電路，該光電二極體具有一第二、較低溢流電容，以便提供對輻照度之該等相異靈敏度。
  7. 如申請專利範圍第1項之系統，其中該複數個電路中之每一者的一增益經變化以提供對輻照度之該等相異靈敏度。
  8. 如申請專利範圍第1項之系統，其中該偽隨機排序為真隨機、電腦程式產生的近似隨機或空間相關性最佳化近似隨機中之一者。
  9. 一種高動態範圍成像之方法，該方法包含以下步驟：包括與一感測器陣列中之每一像素相關聯複數個電路，且該複數個電路使得跨於該複數個電路，存在對來自將要捕獲的一場景之輻照度的複數個相異靈敏度，其中該等靈敏度相對於彼此為空間偽隨機有序的，以便形成複數個相異影像；以及重建該複數個相異影像以形成一影像。
  10. 如申請專利範圍第9項之方法，其中該感測器陣列與一電腦通訊，該電腦根據該場景之該等相異品質中之一或多者重建一或多個相異影像。
  11. 如申請專利範圍第10項之方法，其中該電腦為一嵌入式處理器。
  12. 如申請專利範圍第9項之方法，其中該重建利用字典學習、基於l 1/總變分最佳化及矩陣補全中之一或多者。
  13. 如申請專利範圍第9項之方法，其中所使用的該偽隨機排序為真隨機、電腦程式產生的近似隨機或空間相關性最佳化近似隨機中之一者。
  14. 如申請專利範圍第9項之方法，其中該複數個電路中之一增益經變化以提供對輻照度之該等相異靈敏度。
  15. 如申請專利範圍第9項之方法，其中該複數個電路包括：具有一光電二極體之一些電路，該光電二極體具有一第一溢流電容；以及具有一光電二極體之其他電路，該光電二極體具有一第二、較低溢流電容，以便提供對輻照度之該等相異靈敏度。
TW104119299A 2014-08-26 2015-06-15 高動態範圍影像感測器 TWI668998B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/468,842 US9467628B2 (en) 2014-08-26 2014-08-26 High dynamic range image sensor
US14/468,842 2014-08-26

Publications (2)

Publication Number Publication Date
TW201608891A TW201608891A (zh) 2016-03-01
TWI668998B true TWI668998B (zh) 2019-08-11

Family

ID=54359645

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104119299A TWI668998B (zh) 2014-08-26 2015-06-15 高動態範圍影像感測器

Country Status (3)

Country Link
US (1) US9467628B2 (zh)
BE (1) BE1023383A9 (zh)
TW (1) TWI668998B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178349B2 (en) * 2015-01-29 2021-11-16 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
US10048413B2 (en) * 2016-06-07 2018-08-14 Goodrich Corporation Imaging systems and methods
US11184564B2 (en) * 2017-04-28 2021-11-23 The Governing Council Of The University Of Toronto Method and system for pixel-wise imaging
WO2018195669A1 (en) * 2017-04-28 2018-11-01 The Governing Council Of The University Of Toronto Method and system for pixel-wise imaging
US10657446B2 (en) 2017-06-02 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. Sparsity enforcing neural network
KR102314703B1 (ko) * 2017-12-26 2021-10-18 에스케이하이닉스 주식회사 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
US10546369B2 (en) * 2018-01-09 2020-01-28 Omnivision Technologies, Inc. Exposure level control for high-dynamic-range imaging, system and method
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10488371B1 (en) 2018-05-04 2019-11-26 United Technologies Corporation Nondestructive inspection using thermoacoustic imagery and method therefor
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US10473593B1 (en) 2018-05-04 2019-11-12 United Technologies Corporation System and method for damage detection by cast shadows
CA3138215C (en) 2019-06-21 2024-06-18 The Governing Council Of The University Of Toronto Method and system for extending image dynamic range using per-pixel coding of pixel parameters
CN111539321A (zh) * 2020-04-22 2020-08-14 中国飞机强度研究所 一种力传感器编号校对系统及方法
US11781914B2 (en) 2021-03-04 2023-10-10 Sivananthan Laboratories, Inc. Computational radiation tolerance for high quality infrared focal plane arrays
WO2023186529A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Sensor device and method for operating a sensor device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010009440A1 (en) * 1999-07-30 2001-07-26 Yang David Xiao Dong Memory updating for digital pixel sensors
US7248358B2 (en) * 1999-04-09 2007-07-24 Plain Sight Systems, Inc. Devices and method for spectral measurements
US20080198235A1 (en) * 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
US7542133B2 (en) * 2003-12-22 2009-06-02 Searete, Llc Photo-detector filter
US7764396B2 (en) * 2005-11-14 2010-07-27 Sarnoff Corporation CMOS image sensor having hybrid pixel arrays
US20120001060A1 (en) * 2010-07-01 2012-01-05 Xinping He High dynamic range image sensor with in pixel memory

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002526989A (ja) 1998-09-28 2002-08-20 スリーディーヴィー システムズ リミテッド カメラを用いた距離測定
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP4228699B2 (ja) 2001-01-09 2009-02-25 ソニー株式会社 撮像装置、および撮像素子
US6924841B2 (en) 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US20060103749A1 (en) * 2004-11-12 2006-05-18 Xinping He Image sensor and pixel that has switchable capacitance at the floating node
JP2006148350A (ja) * 2004-11-17 2006-06-08 Olympus Corp 撮像装置
US20060239336A1 (en) * 2005-04-21 2006-10-26 Baraniuk Richard G Method and Apparatus for Compressive Imaging Device
EP2793470A1 (en) 2011-12-16 2014-10-22 Sony Corporation Image pickup device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248358B2 (en) * 1999-04-09 2007-07-24 Plain Sight Systems, Inc. Devices and method for spectral measurements
US20010009440A1 (en) * 1999-07-30 2001-07-26 Yang David Xiao Dong Memory updating for digital pixel sensors
US7542133B2 (en) * 2003-12-22 2009-06-02 Searete, Llc Photo-detector filter
US7764396B2 (en) * 2005-11-14 2010-07-27 Sarnoff Corporation CMOS image sensor having hybrid pixel arrays
US20080198235A1 (en) * 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
US20120001060A1 (en) * 2010-07-01 2012-01-05 Xinping He High dynamic range image sensor with in pixel memory

Also Published As

Publication number Publication date
US20160065824A1 (en) 2016-03-03
BE1023383A1 (fr) 2017-03-01
BE1023383A9 (fr) 2017-03-24
US9467628B2 (en) 2016-10-11
BE1023383B1 (fr) 2017-03-01
TW201608891A (zh) 2016-03-01

Similar Documents

Publication Publication Date Title
TWI668998B (zh) 高動態範圍影像感測器
US9300865B2 (en) Random imaging
Konnik et al. High-level numerical simulations of noise in CCD and CMOS photosensors: review and tutorial
CN103875235B (zh) 用于红外成像装置的非均匀性校正技术
El Gamal et al. Modeling and estimation of FPN components in CMOS image sensors
RU2677576C2 (ru) Способ обработки инфракрасных изображений для коррекции неоднородности
CN104782116B (zh) 热图像中的行和列降噪
CN110501025B (zh) 一种卷帘快门面阵cmos相机的在轨定标方法
Lapray et al. Energy balance in Spectral Filter Array camera design
Ratliff et al. Algebraic scene-based nonuniformity correction in focal plane arrays
Yoshida et al. High-speed imaging using CMOS image sensor with quasi pixel-wise exposure
US20140270543A1 (en) Video generation with temporally-offset sampling
Lee et al. Dual-branch structured de-striping convolution network using parametric noise model
Pérez et al. Empirical frequency domain model for fixed-pattern noise in infrared focal plane arrays
CN105092043A (zh) 一种基于场景的变积分时间的非均匀性校正方法
Zin et al. Characterisation of regional variations in a stitched CMOS active pixel sensor
Sakoglu et al. An algebraic restoration method for estimating fixed-pattern noise in infrared imagery from a video sequence
Qiu et al. New algorithm of response curve for fitting HDR image
Hakim et al. Analysis of radiometric calibration on matrix imager of LAPAN-A3 satellite payload
CN109413302B (zh) 一种用于像素响应频域测量的动态干涉条纹畸变矫正方法
Ratliff et al. Algorithm for radiometrically accurate nonuniformity correction with arbitrary scene motion
Otim et al. Simplified fixed pattern noise correction for logarithmic sensors
Luo et al. Modeling the wavelength dependence of photo-response non-uniformity of a CCD sensor
Kern et al. Radiometric calibration of a uav-mounted hyperspectral snapshot camera with focus on uniform spectral sampling
Stanek et al. Considerations and algorithm development for scene-based nonuniformity correction (NUC) in dynamic infrared projectors