TWI835535B - 影像感測裝置 - Google Patents
影像感測裝置 Download PDFInfo
- Publication number
- TWI835535B TWI835535B TW112102864A TW112102864A TWI835535B TW I835535 B TWI835535 B TW I835535B TW 112102864 A TW112102864 A TW 112102864A TW 112102864 A TW112102864 A TW 112102864A TW I835535 B TWI835535 B TW I835535B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- circuit
- signal
- pixel data
- exposure time
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000005540 biological transmission Effects 0.000 claims description 95
- 230000004927 fusion Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 30
- 238000009792 diffusion process Methods 0.000 description 21
- 230000003321 amplification Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 238000003199 nucleic acid amplification method Methods 0.000 description 14
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 7
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 101100443251 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG2 gene Proteins 0.000 description 2
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000004508 polar body Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Abstract
本發明係關於一種影像感測裝置,其係包含:影像感測陣列以及影像處理電路。其中,影像感測陣列包含有感測單元,感測單元係分別產生像素資料,該等像素資料依據不同的複數圖框率以不同的曝光時間產生,該等像素資料包含有第一子圖框的第一像素資料以及第二子圖框的第二像素資料,第一像素資料係以第一圖框率曝光第一曝光時間產生,第二像素資料係以第二圖框率曝光第二曝光時間產生,第一圖框率小於第二圖框率,第一曝光時間大於第二曝光時間,並且在一次取像操作期間產生多筆第二像素資料。
Description
本發明係有關於一種影像感測裝置,特別係關於一種在短暫時間內可產生高動態範圍影像的影像感測裝置。
近年自駕車產業的需求日趨蓬勃,對自駕車而言,用於偵測即時道路狀況的影像感測器是必備元件。目前,應用於偵測即時道路狀況的影像感測器又以動態視覺感測器(Dynamic Vision Sensor, DVS)為主流,其原因在於,動態視覺感測器是以事件(event)為單位記錄影像資訊。這種基於動態事件的感測器使得機器的自主性更加接近現實,因而適用於自動駕駛車領域中基於視覺的高速應用。
然而,在道路駕駛過程中,偶爾會發生照明程度在短時間之內劇烈改變的情形,從而造成影像感測器局部(或全部)暫時性的產生過度曝光(或曝光不足)的問題。在此短暫的時間內,自駕車的影像辨識演算法在面對細節不足的畫面,無法做出正確的物件偵測,因而提高發生事故的風險。
高動態範圍(High-Dynamic Range, HDR)成像大體而言係關於允許攝取並表示介於影像之最明亮區域與最黑暗區域之間的較大動態範圍照度(與標準數位成像技術相比)之一組成像技術。較廣泛動態範圍允許高動態範圍影像更準確地表示在真實世界場景中所見到之廣泛範圍的強度等級。用於攝取高動態範圍影像之一種方法包括多個獨立攝取之相片的合併。舉例而言,此處理程序可包括以不同曝光連續攝取多個影像,且接著處理該等影像以產生複合高動態範圍影像。
然而,自多個獨立攝取之影像產生高動態範圍影像的處理程序存在缺點。舉例而言,多個獨立攝取之影像進行合併時,一般會疊加多張曝光時間較短的影像以獲得更好的影像。但是,當處於低亮度的環境中時,曝光時間較短的影像無法在短曝光時間內接收任何訊號,造成影像進行合併後仍無法產生高動態範圍影像。此外,過往以不同曝光連續攝取多個影像時,受限於必須等待最長曝光時間之影像產生才能進行合併,從而無法在短暫時間內產生高動態範圍影像。
是以,本案發明人在觀察上述缺失後,而遂有本發明之產生。
本發明的目的係提供一種影像感測裝置,其係藉由影像感測陣列包含的複數感測單元分別產生複數像素資料,該等像素資料依據不同的複數圖框率以不同的複數曝光時間產生,該等像素資料依據不同的曝光時間產生,該等像素資料包含有第一子圖框的第一像素資料以及第二子圖框的第二像素資料,第一像素資料係以第一圖框率曝光第一曝光時間產生,第二像素資料係以第二圖框率曝光第二曝光時間產生,第一曝光時間大於第二曝光時間,並且在一次取像操作期間產生多筆第二像素資料。藉此,根據本發明之影像感測裝置可以實現在低光源以及高亮度下清晰的影像資訊,並突破影像融合時間必須小於曝光時間之限制,在短暫時間內產生高動態範圍影像。
為達上述目的,本發明提供一種影像感測裝置,其係包含:一影像感測陣列,其係包含有複數感測單元,該等感測單元係分別產生複數像素資料,該等像素資料依據不同的複數圖框率以不同的複數曝光時間產生;一影像處理電路,其係耦接於該影像感測陣列;其中,該等像素資料包含有一第一子圖框的一第一像素資料以及一第二子圖框的一第二像素資料,該第一像素資料係以一第一圖框率曝光一第一曝光時間產生,該第二像素資料係以一第二圖框率曝光一第二曝光時間產生,該第一圖框率小於該第二圖框率,該第一曝光時間大於該第二曝光時間,並且在該影像處理電路執行之一次取像操作期間產生多筆該第二像素資料,該等感測單元可分為多個像素群,其中,該等像素群用以在複數次取像操作中透過該影像處理電路依據不同圖框率以不同曝光時間之該等像素資料進行影像融合產生一高動態範圍影像訊號,其中,該等感測單元包含有一控制電路,該控制電路包含有:一第一曝光控制電路,用於產生一第一傳輸訊號以及一第一重置訊號;以及一第二曝光控制電路,用於產生一第二傳輸訊號以及一第二重置訊號,以及其中,該第一曝光控制電路與該第二曝光控制電路兩者獨立,以用於分別控制不同的該等圖框率及不同的該等曝光時間。
較佳地,根據本發明之影像感測裝置,其中,該高動態範圍影像訊號的融合以及輸出係在每次的取像操作之中進行,以將該高動態範圍影像訊號輸出作為具有完整解析度的一彩色高動態範圍影像,以及其中,該高動態範圍影像訊號係以大於或等於該第二圖框率的方式輸出。
較佳地,根據本發明之影像感測裝置,其中,該第一曝光時間大於該第二子圖框的一個圖框時間長度。
較佳地,根據本發明之影像感測裝置,其中,該等感測單元各別包括:一光電二極體;一傳輸電路,其係耦接於該光電二極體;一重置電路,其係耦接於該光電二極體;其中,該重置電路用以接收一重置訊號,並且該傳輸電路用以接收一傳輸訊號,該重置電路根據該重置訊號重置該光電二極體中之電荷,該傳輸電路根據該傳輸訊號將累積於該光電二極體中之電荷轉換為該感測訊號。
較佳地,根據本發明之影像感測裝置,其中,至少一部分的該等感測單元為一第一感測單元,該第一感測單元的該重置電路接收該第一重置訊號,並且該第一感測單元的該傳輸電路接收該第一傳輸訊號,該第一重置訊號與該第一傳輸訊號之間的時間差為該第一曝光時間。
較佳地,根據本發明之影像感測裝置,其中,不同像素群的該等第一感測單元具有相同的該第一曝光時間。
較佳地,根據本發明之影像感測裝置,其中,至少一部分的該等感測單元為一第二感測單元,該第二感測單元的該重置電路接收該第二重置訊號,該第二感測單元的該傳輸電路接收該第二傳輸訊號,又,該第二重置訊號以及該第二傳輸訊號的時序介於該第一重置訊號以及該傳輸訊號之間。
較佳地,根據本發明之影像感測裝置,其中,該等感測單元各別的該第二重置訊號以及該第二傳輸訊號之間的時間差為該第二曝光時間。
較佳地,根據本發明之影像感測裝置,其中,不同像素群的該等第二感測單元具有相同的該第二曝光時間。
較佳地,根據本發明之影像感測裝置,其中,該等像素群包含一紅光像素群、一綠光像素群以及一藍光像素群,該紅光像素群、該綠光像素群以及該藍光像素群分別包含有兩個以上的具有不同圖框率與不同曝光時間的感測單元,以使該影像處理電路根據該等像素群分別產生的不同顏色的該等像素資料進行融合後輸出該高動態範圍影像訊號。
較佳地,根據本發明之影像感測裝置,其係進一步包含有複數濾波片,該等濾波片包含一紅光濾波片、一綠光濾波片以及一藍光濾波片,該紅光濾波片、該綠光濾波片以及該藍光濾波片對應地設置於該紅光像素群、該綠光像素群以及該藍光像素群的該等感測單元上。
較佳地,根據本發明之影像感測裝置,其中,該等像素群進一步包含一紅外光像素群,該影像處理電路根據該紅外光像素群產生的該影像資訊輸出一紅外光影像資訊。
較佳地,根據本發明之影像感測裝置,其係進一步包含有一紅外光濾波片,該紅外光濾波片對應地設置於該紅外光像素群的該等感測單元上。
較佳地,根據本發明之影像感測裝置,其中,該控制電路係耦接於該傳輸電路以及該重置電路,該控制電路係用於產生該等傳輸訊號以及該等重置訊號。
較佳地,根據本發明之影像感測裝置,進一步包含有一影像圖框暫存器,其係耦接於該影像處理電路,該影像圖框暫存器係用於儲存至少一個子圖框的該等像素資料,以用於影像融合。
綜上,本發明所提供之影像感測裝置,其係藉由影像感測陣列包含的複數感測單元分別產生複數像素資料,該等像素資料依據不同的複數圖框率以不同的複數曝光時間產生,該等像素資料包含有第一子圖框的第一像素資料以及第二子圖框的第二像素資料,第一像素資料係以第一圖框率曝光第一曝光時間產生,第二像素資料係以第二圖框率曝光第二曝光時間產生,第一圖框率小於第二圖框率,第一曝光時間大於第二曝光時間,並且在一次取像操作期間產生多筆第二像素資料。藉此,根據本發明之影像感測裝置可以實現在低光源以及高亮度下清晰的影像資訊,並突破影像融合時間必須小於曝光時間之限制,在短暫時間內產生高動態範圍影像。
爲使熟悉該項技藝人士瞭解本發明之目的、特徵及功效,茲藉由下述具體實施例,並配合所附之圖式,對本發明詳加說明如下。
現在將參照其中示出本發明概念的示例性實施例的附圖在下文中更充分地闡述本發明概念。以下藉由參照附圖更詳細地闡述的示例性實施例,本發明概念的優點及特徵以及其達成方法將顯而易見。然而,應注意,本發明概念並非僅限於以下示例性實施例,而是可實施為各種形式。因此,提供示例性實施例僅是為了揭露本發明概念並使熟習此項技術者瞭解本發明概念的類別。在圖式中,本發明概念的示例性實施例並非僅限於本文所提供的特定實例且為清晰起見而進行誇大。
本文所用術語僅用於闡述特定實施例,而並非旨在限制本發明。除非上下文中清楚地另外指明,否則本文所用的單數形式的用語「一」及「該」旨在亦包括複數形式。本文所用的用語「及/或」包括相關所列項其中一或多者的任意及所有組合。應理解,當稱元件「連接」或「耦合」至另一元件時,所述元件可直接連接或耦合至所述另一元件或可存在中間元件。
相似地,應理解,當稱一個元件(例如層、區或基板)位於另一元件「上」時,所述元件可直接位於所述另一元件上,或可存在中間元件。相比之下,用語「直接」意指不存在中間元件。更應理解,當在本文中使用用語「包括」、「包含」時,是表明所陳述的特徵、整數、步驟、操作、元件、及/或組件的存在,但不排除一或多個其他特徵、整數、步驟、操作、元件、組件、及/或其群組的存在或添加。
此外,將藉由作為本發明概念的理想化示例性圖的剖視圖來闡述詳細說明中的示例性實施例。相應地,可根據製造技術及/或可容許的誤差來修改示例性圖的形狀。因此,本發明概念的示例性實施例並非僅限於示例性圖中所示出的特定形狀,而是可包括可根據製造製程而產生的其他形狀。圖式中所例示的區域具有一般特性,且用於說明元件的特定形狀。因此,此不應被視為僅限於本發明概念的範圍。
亦應理解,儘管本文中可能使用用語「第一」、「第二」、「第三」等來闡述各種元件,然而該些元件不應受限於該些用語。該些用語僅用於區分各個元件。因此,某些實施例中的第一元件可在其他實施例中被稱為第二元件,而此並不背離本發明的教示內容。本文中所闡釋及說明的本發明概念的態樣的示例性實施例包括其互補對應物。本說明書通篇中,相同的參考編號或相同的指示物表示相同的元件。
此外,本文中參照剖視圖及/或平面圖來闡述示例性實施例,其中所述剖視圖及/或平面圖是理想化示例性說明圖。因此,預期存在由例如製造技術及/或容差所造成的相對於圖示形狀的偏離。因此,示例性實施例不應被視作僅限於本文中所示區的形狀,而是欲包括由例如製造所導致的形狀偏差。因此,圖中所示的區為示意性的,且其形狀並非旨在說明裝置的區的實際形狀、亦並非旨在限制示例性實施例的範圍。
請參閱圖1及圖2所示,圖1為根據本發明的高動態範圍之影像感測裝置的示意圖;圖2為示例性說明根據本發明之影像感測裝置一次取像操作曝光時間的示意圖。如圖1所示,根據本發明之影像感測裝置300包括:影像感測陣列31以及影像處理電路32。影像處理電路32包括影像圖框暫存器(image frame buffer)33。
具體地,如圖1所示,根據本發明之影像感測陣列31係用於產生複數像素資料。在一些實施例中,如圖2所示,該等像素資料係依據不同的曝光時間(T1、T2)所產生。其中,該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係為影像感測陣列31之部分感測單元以第一圖框率F1曝光第一曝光時間T1後於輸出訊號Rdo產生時進行輸出,該第二像素資料係為影像感測陣列31之另一部分感測單元以第二圖框率F2曝光第二曝光時間T2後於輸出訊號Rdo產生時進行輸出,其中,第一曝光時間T1大於第二曝光時間T2,並且在影像處理電路32執行之一次取像操作期間產生多筆該第二像素資料。其中,第二圖框率F2大於第一圖框率F1。第一圖框時間長度大於第二圖框時間長度。此處圖框時間長度(frame length)指的是圖框率(frame rate)的倒數。特別說明的是,第一曝光時間T1可以大於第二圖框時間長度。當被感測影像為低亮度影像時,且第二感測單元的曝光時間已經拉長到達到第二圖框時間長度的限制時,第一感測單元的曝光時間還可拉長以進行更長時間的曝光,而得到較高的訊噪比(SNR)影像,即較佳品質的影像。有利於影像融合。
可以理解的是,如圖2所示,由於第一曝光時間T1大於第二曝光時間T2,並且影像處理電路32在一次取像操作期間產生多筆第二像素資料,本發明之影像處理電路32可以利用影像圖框暫存器33將不同曝光時間的像素資料進行影像融合產生即時高動態範圍影像。藉此,根據本發明之影像感測裝置300可以突破影像融合必須在每次取像操作之後進行的限制,能在每次取像操作之中進行,因此能在短暫時間內產生即時高動態範圍影像,具有較佳的效率。具體地,如圖2所示,影像融合可以在時間點t1,t2,t3進行。換句話說,只要完成第一次取像操作之後,影像處理電路32可以在每次第二像素資料完成輸出時進行影像融合以產生完整解析度(full resolution)的即時高動態範圍影像。
(第1實施例)
以下,參照圖式,說明本發明影像感測裝置之影像感測電路的實施形態。
請參閱圖3及圖4所示,圖3為根據本發明第一實施例之影像感測電路的示意圖;圖4為根據本發明第一實施例之影像感測電路的電路圖。如圖3及圖4所示,根據本發明第一實施例之影像感測電路100,其係包括:光電二極體11、浮動擴散點12、傳輸電路13、控制電路14、放大選擇電路15、影像處理電路16、重置電路17、斜坡電路18、影像圖框暫存器19以及控制選擇電路20。
具體地,如圖3所示,根據本發明第一實施例之光電二極體11,其係包含有第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114。需要進一步說明的是,光電二極體11主要係用於執行將入射光光電轉換成根據入射光之光強度之一量子電荷(亦即電子)。在一些實施例中,第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114可以是結構完全相同的光電二極體,差別僅在於各個光電二極體之間的曝光時間不同,然而本發明不限於此。
具體地,如圖3所示,根據本發明第一實施例之浮動擴散(floating diffusion,FD)點12,其係耦接於第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114。在一些實施例中,浮動擴散點12係分別接收第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114累積之電荷以產生不同的電壓,然而本發明不限於此。
具體地,在一些實施例中,根據本發明第一實施例之影像感測電路100可以具有滾動式快門(Rolling Shutter)機制與全域式快門(Global Shutter)機制其中之一者。需要進一步說明的是,在一些實施例中,本發明具有至少四個獨立的曝光控制電路以分別控制該等光電二極體11具有不同的圖框率與不同的曝光時間,因此可以搭配滾動式快門機制進行分別曝光,最後在透過影像處理電路16利用影像圖框暫存器19進行影像融合,實現高動態範圍影像資訊,然而本發明不限於此。四個獨立的曝光控制電路可包含各自的位址解碼器(address decoder)以產生4個獨立的圖框率與曝光時序,然而本發明不限於此。特別說明的是,於圖3中,影像圖框暫存器19耦接影像處理電路16。然而,影像圖框暫存器19亦可存在於影像處理電路16中。
具體地,如圖3所示,根據本發明第一實施例之傳輸電路13,其係耦接於光電二極體11,傳輸電路13包含第一傳輸電路131、第二傳輸電路132、第三傳輸電路133以及第四傳輸電路134,第一傳輸電路131耦接於第一光電二極體111,第二傳輸電路132耦接於第二光電二極體112,第三傳輸電路133耦接於第三光電二極體113,第四傳輸電路134耦接於第四光電二極體114。更具體而言,傳輸電路13耦接在光電二極體11與浮動擴散點12之間,且受控於傳輸訊號TX以控制光電二極體11與浮動擴散點12之間的電荷傳輸,然而本發明不限於此。
具體地,如圖3及圖4所示,根據本發明之控制電路14,其係耦接於傳輸電路13,控制電路14係用於產生控制訊號TX以及重置訊號RST,控制電路14包含第一曝光控制電路141、第二曝光控制電路142、第三曝光控制電路143以及第四曝光控制電路144,第一曝光控制電路141耦接於傳輸電路131並控制第一光電二極體111以第一圖框率F1曝光第一曝光時間T1,第二曝光控制電路142耦接於第二傳輸電路132並控制第二光電二極體112以第二圖框率F2曝光第二曝光時間T2,第三曝光控制電路143係用於控制第三光電二極體113以第三圖框率F3曝光第三曝光時間T3,第四曝光控制電路144係用於控制第四光電二極體114以第四圖框率F4曝光第四曝光時間T4。在一些實施例中,如圖6所示,各個光電二極體11具有不同的曝光時間以及不同的圖框率,其中,第一曝光時間為第四曝光時間的4倍,第二曝光時間為第四曝光時間的3倍,第三曝光時間為第四曝光時間的2倍,然而本發明不限於此。可以理解的是,各自曝光時間可以各自獨立不須為特定倍數關係,使用者可視其需求選擇各自曝光時間的長度。各自圖框率可以各自獨立不須為特定倍數關係,使用者可視其需求選擇各自的圖框率。
具體地,如圖3及圖4所示,根據本發明第一實施例之放大選擇電路15,其係耦接於浮動擴散點12,用以將浮動擴散點12的電壓轉換為電壓訊號。在一些實施例中,放大選擇電路15輸出的電壓訊號可以包含有複數第一電壓訊號、複數第二電壓訊號、複數第三電壓訊號以及複數第四電壓訊號,該等第一電壓訊號係由第一光電二極體111以第一圖框率F1曝光第一曝光時間T1產生,該等第二電壓訊號係由第二光電二極體112以第二圖框率F2曝光第二曝光時間T2產生,該等第三電壓訊號係由第三光電二極體113以第三圖框率F3曝光第三曝光時間T3產生,該等第四電壓訊號係由第四光電二極體114以第四圖框率F4曝光第四曝光時間T4產生,然而本發明不限於此。
具體地,如圖3及圖4所示,根據本發明第一實施例之影像處理電路16,其係耦接於放大選擇電路15。其中,影像處理電路16接收放大選擇電路15輸出之電壓訊號,且對電壓訊號進行處理以取得對應的像素資料。更具體而言,在一些實施例中,影像處理電路16可以進一步耦接於一影像圖框暫存器19,該影像圖框暫存器19主要係用於儲存像素資料,以分別儲存第一電壓訊號、第二電壓訊號、第三電壓訊號以及第四電壓訊號相對應的複數像素資料,亦即第一子圖框(sub frame)資料、第二子圖框資料、第三子圖框資料以及第四子圖框資料,之後透過影像處理電路16將該等像素資料進行影像融合產生一高動態範圍的完整圖框影像訊號。其中,影像圖框暫存器19具有暫存至少一個子圖框的記憶體空間。
具體地,如圖3及圖4所示,根據本發明第一實施例之重置電路17,其係耦接於浮動擴散點12以及控制電路14,重置電路17係用於重置光電二極體11中儲存的電荷。在一些實施例中,重置電路17接收控制電路14提供的重置訊號RST,分別重置第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114中儲存的電荷,並搭配控制電路14所提供之傳輸訊號TX,藉此控制第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114分別以第一圖框率F1曝光第一曝光時間T1、以第二圖框率F2曝光第二曝光時間T2、以第三圖框率F3曝光第三曝光時間T3以及以第四圖框率F4曝光第四曝光時間T4,然而本發明不限於此。如此一來,本發明藉由4個分別獨立的曝光控制電路提供傳輸訊號TX以及重置訊號RST,以4個不同的圖框率進行4種不同曝光長度的曝光,並透過影像處理電路16利用影像圖框暫存器19將子圖框的像素資料進行影像融合產生一即時高動態範圍的完整圖框影像訊號。突破影像融合必須在每次取像操作之後進行的限制,能在每次取像操作之中進行,因此能在短暫時間內產生即時高動態範圍影像,具有較佳的效率。
需要進一步說明的是,在本實施例中,如圖6所示,第一曝光時間T1相較於其他的曝光時間具有最長的時間長度,當第一光電二極體111進行第一曝光時間T1之曝光時,第二光電二極體112、第三光電二極體113以及第四光電二極體114已進行多次曝光,並產生相對應的第二電壓訊號、第三電壓訊號以及第四電壓訊號,因此當影像處理電路16產生對應於不同電壓訊號之像素資料並進行影像融合時,影像處理電路16可以在下一圖框的第一像素資料產生之前就對第一像素資料、第二像素資料、第三像素資料以及第四像素資料進行影像融合,亦即進行影像融合的時間長度可以小於第一曝光時間T1。可以理解的是,由於本發明之影像感測電路進行影像融合的時間長度不再受限於最長的曝光時間,因此可以在較短的時間產生影像融合後的即時高動態範圍影像訊號,具有高效率以及廣泛適用性等功效。
具體地,如圖3及圖4所示,根據本發明第一實施例之傳輸電路13可以為一電晶體,該電晶體係耦接於光電二極體11之陰極(Cathode)以及浮動擴散點12之間,當藉由控制電路14所提供之傳輸訊號TX將傳輸電路13帶入接通狀態中時,該等傳輸電路13將累積於光電二極體11中之電荷傳送至浮動擴散點12產生複數電壓,然而本發明不限於此。
具體地,如圖3及圖4所示,根據本發明第一實施例之放大選擇電路15包括放大電晶體151、選擇電晶體152以及訊號線153,其中,放大電晶體151的閘極耦接於浮動擴散點12,且放大電晶體151經由選擇電晶體152耦接於訊號線153,當選擇電晶體152接收控制選擇電路20提供的外部選擇訊號SEL,使得選擇電晶體152處於接通狀態中時,則放大電晶體151放大浮動擴散點12之電壓並且產生電壓訊號傳輸至訊號線153,然而本發明不限於此。
具體地,如圖3及圖4所示,根據本發明第一實施例之斜坡電路18,其係耦接於浮動擴散點12,斜坡電路18係用於調節浮動擴散點12的電壓,將斜坡訊號耦合至浮動擴散點12,經過放大電路後可將其轉為數位像素值傳送到影像處理電路16。需要進一步說明的是,在本實施例中,斜坡電路18僅包含一個電容器,該電容器係耦接於浮動擴散點12,然而本發明不限於此。
具體地,如圖3及圖4所示,根據本發明第一實施例之影像圖框暫存器19,其係耦接於影像處理電路16,影像圖框暫存器19主要係用於儲存像素資料,在本實施例中,影像圖框暫存器19可以是數位(digital)圖框暫存器,以分別儲存第一電壓訊號、第二電壓訊號、第三電壓訊號以及第四電壓訊號相對應的複數像素資料,之後透過影像處理電路16將該等像素資料進行影像融合產生一高動態範圍影像訊號,然而本發明不限於此。
請參閱圖5及圖6所示,圖5為說明根據本發明之影像感測電路實際執行過程的示意圖;圖6為說明根據本發明第一實施例的影像感測電路之重置訊號與傳輸訊號的時脈圖。在本實施例中,影像感測電路100係透過控制電路14產生的傳輸訊號TX以及重置訊號RST控制該等光電二極體11之曝光時間。如圖5及圖6所示,根據本發明之影像感測電路100進行曝光的實際執行過程說明如下:首先,重置電路17接收第一重置訊號RST0以重置第一光電二極體111中之電荷,並且第一光電二極體111中開始進行曝光;隨後,重置電路17接收第二重置訊號RST1以重置第二光電二極體112中之電荷,並且第二光電二極體112中開始進行曝光;之後,重置電路接收第三重置訊號RST2以重置第三光電二極體113中之電荷,並且第三光電二極體113中開始進行曝光;接著,重置電路17接收第四重置訊號RST3以重置第四光電二極體114中之電荷,並且第四光電二極體114中開始進行曝光;在重置第四光電二極體114中之電荷並經第四曝光時間T4後,第四傳輸電路134接收第四傳輸訊號TX3,使得第四傳輸電路134處於接通狀態中時,第四傳輸電路134將累積於第四光電二極體114中之電荷傳送至浮動擴散點12產生第四電壓214;接著,放大選擇電路15接收控制選擇電路20提供的外部選擇訊號SEL,以根據該第四電壓214輸出第四電壓訊號224,第四電壓訊號224係由第四光電二極體114曝光第四曝光時間T4產生;之後,影像處理電路16根據第四電壓訊號224產生對應的一第四像素資料234,並儲存於影像圖框暫存器19;在重置第三光電二極體113中之電荷並經第三曝光時間T3後,第三傳輸電路133接收第三傳輸訊號TX2,使得第三傳輸電路133處於接通狀態中時,第三傳輸電路133將累積於第三光電二極體113中之電荷傳送至浮動擴散點12產生第三電壓213;接著,放大選擇電路15接收控制選擇電路20提供的外部選擇訊號SEL,以根據該第三電壓213輸出第三電壓訊號223,第三電壓訊號223係由第三光電二極體113曝光第三曝光時間T3產生;之後,影像處理電路16根據第三電壓訊號223產生對應的一第三像素資料233,並儲存於影像圖框暫存器19;在重置第二光電二極體112中之電荷並經第二曝光時間T2後,第二傳輸電路132接收第二傳輸訊號TX1,使得第二傳輸電路132處於接通狀態中時,第二傳輸電路132將累積於第二光電二極體112中之電荷傳送至浮動擴散點12產生第二電壓212;接著,放大選擇電路15接收控制選擇電路20提供的外部選擇訊號SEL,以根據該第二電壓212輸出第二電壓訊號222,第二電壓訊號222係由第二光電二極體112曝光第二曝光時間T2產生;之後,影像處理電路16根據第二電壓訊號222產生對應的一第二像素資料232,並儲存於影像圖框暫存器19;在重置第一光電二極體111中之電荷並經第一曝光時間T1後,第一傳輸電路131接收第一傳輸訊號TX0,使得第一傳輸電路131處於接通狀態中時,第一傳輸電路131將累積於第一光電二極體111中之電荷傳送至浮動擴散點12產生第一電壓211;接著,放大選擇電路15接收控制選擇電路20提供的外部選擇訊號SEL,以根據該第一電壓211輸出第一電壓訊號221,第一電壓訊號221係由第一光電二極體111曝光第一曝光時間T1產生;之後,影像處理電路16根據第一電壓訊號221產生對應的一第一像素資料231,並儲存於影像圖框暫存器19;最後,影像處理電路16利用影像圖框暫存器19將上述之像素資料進行影像融合產生高動態範圍影像訊號24。特別說明的是,最長曝光時間的子圖框完成第一次輸出之後,每次任一子圖框完成輸出時(例如,圖6中的時間點P1, P2, P3, P4, P5, P6, P7, P8, P9等),即可進行影像融合,產生即時的高動態範圍影像訊號。雖然影像處理電路16於每個時間點只有得到一個更新的子圖框的資料,但利用影像圖框暫存器19中的暫存資料,影像融合的輸出為一完整圖框,且更新率大於或等於最快的子圖框的圖框率,而非以最慢的圖框率輸出圖框。
以下提供影像感測電路100的其他示例,以使本發明所屬技術領域中具有通常知識者更清楚的理解可能的變化。以與上述實施例相同的元件符號指示的元件實質上相同於上述參照圖1-6所敘述者。與影像感測電路100相同的元件、特徵、和優點將不再贅述。
請參閱圖7所示,圖7為說明根據本發明第二實施例的高動態範圍之影像感測電路曝光時間的示意圖。第二實施例相較於第一實施例,主要差異在於第二實施例之第一曝光時間T1等於第二曝光時間T2,第三曝光時間T3等於第四曝光時間T4,可以理解的是,使用者可以透過控制電路14產生的傳輸訊號TX以及重置訊號RST任意控制光電二極體11分別曝光第一曝光時間T1、第二曝光時間T2、第三曝光時間T3以及第四曝光時間T4,然而本發明不限於此。
請參閱圖8所示,圖8為說明根據本發明第三實施例的影像感測電路之重置訊號與傳輸訊號的部分時脈圖。第三實施例相較於第一實施例,主要差異在於根據本發明第三實施例之影像感測電路100的傳輸訊號TX'具有固定的傳輸頻率,亦即固定圖框率讀出操作(fixed frame rate readout operation),此時,控制電路14必須包含有至少兩個曝光控制電路以控制單一光電二極體11的曝光時間,如圖8所示,控制電路14可以透過兩個分別獨立的曝光控制電路產生第一重置訊號RST0'以及第二重置訊號RST1',以調整光電二極體11產生第一曝光時間T1'以及第二曝光時間T2',可以理解的是,使用者可以透過控制電路14產生的傳輸訊號TX'以及第一重置訊號RST0'以及第二重置訊號RST1'控制光電二極體11的曝光時間,然而本發明不限於此。此處的RST0',RST1',TX'皆表示區間。RST0'表示第一曝光時間T1'的同一個圖框內所有列(row)的重置訊號,依序出現的集合的區間。RST1'表示第二曝光時間T2'的同一個圖框內所有列的重置訊號,依序出現的集合的區間。TX'表示同一個圖框內所有列的讀出,依序出現的集合的區間。
可以理解的是,本發明所屬技術領域中具有通常知識者能夠基於上述示例再作出各種變化和調整,在此不再一一列舉。以下將重點放在應用根據實施例的影像感測裝置。
請參照圖9-11所示,圖9為根據本發明之影像感測裝置的示意圖;圖10為根據本發明之影像感測裝置的電路圖;圖11為說明根據本發明之影像感測裝置實際執行過程的示意圖。如圖9所示,根據本發明之影像感測裝置300A,其係包含:影像感測陣列31A以及曝光控制電路32A。
具體地,根據本發明之影像感測陣列可以包含有紅光像素群311A、綠光像素群312A、藍光像素群313A、綠光像素群312A'。該等像素群用以在取像操作中透過曝光控制電路32A依據不同圖框率與不同曝光時間產生該等像素資料,該等像素資料進行影像融合產生影像訊號24。如圖10所示,紅光像素群311A、綠光像素群312A、藍光像素群313A、綠光像素群312A'皆具有上述之影像感測電路100。更具體而言,根據本發明之紅光像素群311A,其係包含有第一紅光感測單元3111A、第二紅光感測單元3112A、第三紅光感測單元3113A以及第四紅光感測單元3114A;根據本發明之綠光像素群312A,其係包含有第一綠光感測單元3121A、第二綠光感測單元3122A、第三綠光感測單元3123A以及第四綠光感測單元3124A;藍光像素群313A,其係包含有第一藍光感測單元3131A、第二藍光感測單元3132A、第三藍光感測單元3133A以及第四藍光感測單元3134A;根據本發明之綠光像素群312A',其係包含有第一綠光感測單元3121A'、第二綠光感測單元3122A'、第三綠光感測單元3123A'以及第四綠光感測單元3124A'。藉此,本發明之影像感測裝置300A在可見光波長範圍內皆可以產生高動態範圍影像訊號。特別說明的是,在本實施例中,每一個像素群包含4個相同感測波長範圍的感測單元,而此4個感測單元能以不同的圖框率與不同的曝光時間產生4個不同的像素資料。影像處理電路可以透過影像圖框暫存器將此波長的4筆影像進行即時影像融合產生該波長的即時高動態範圍影像。再透過將4個像素群的影像結合,即可產生彩色的即時高動態範圍影像。
具體地,如圖9所示,根據本發明之影像感測裝置300A其係包含有紅光濾波片41A、綠光濾波片42A、42A'以及藍光濾波片43A,該等紅光濾波片41A係設置於紅光像素群311A上,該等綠光濾波片42A、42A'係分別設置於綠光像素群312A、312A'上,該等藍光濾波片43A係設置於藍光像素群313A上。藉此,根據本發明之影像感測裝置300A可透過添加紅光濾波片41A、綠光濾波片42A、42A'以及藍光濾波片43A之設置使得相同的光電二極體偵測不同的波長範圍之光線,並達成產生彩色高動態範圍影像資訊的目的,大幅增進本發明之影像感測裝置300A的實用性及適用範圍。
具體地,如圖9-11所示,根據本發明之曝光控制電路32A具有第一曝光控制電路141A、第二曝光控制電路142A、第三曝光控制電路143A以及第四曝光控制電路144A,其中,曝光控制電路32A主要係用於控制紅光像素群311A、綠光像素群312A、312A'以及藍光像素群313A分別以不同的圖框率曝光不同的曝光時間。更具體而言,在本實施例中,第一曝光控制電路141A耦接於第一紅光感測單元3111A、第一綠光感測單元3121A、第一藍光感測單元3131A以及第一綠光感測單元3121A',第二曝光控制電路142A耦接於第二紅光感測單元3112A、第二綠光感測單元3122A、第二藍光感測單元3132A以及第二綠光感測單元3122A',第三曝光控制電路143A耦接於第三紅光感測單元3113A、第三綠光感測單元3123A以及第三藍光感測單元3133A以及第三綠光感測單元3123A',第四曝光控制電路144A耦接於第四紅光感測單元3114A、第四綠光感測單元3124A、第四藍光感測單元3134A以及第四綠光感測單元3124A'。如此一來,第一曝光控制電路141A控制第一紅光感測單元3111A、第一綠光感測單元3121A、第一藍光感測單元3131A以及第一綠光感測單元3121A'以第一圖框率F1曝光第一曝光時間T1,第二曝光控制電路142A控制第二紅光感測單元3112A、第二綠光感測單元3122A、第二藍光感測單元3132A以及第二綠光感測單元3122A'以第二圖框率F2曝光第二曝光時間T2,第三曝光控制電路143A控制第三紅光感測單元3113A、第三綠光感測單元3123A、第三藍光感測單元3133A以及第三綠光感測單元3123A'以第三圖框率F3曝光第三曝光時間T3,第四曝光控制電路144A控制第四紅光感測單元3114A、第四綠光感測單元3124A、第四藍光感測單元3134A以及第四綠光感測單元3124A'以第四圖框率F4曝光第四曝光時間T4,然而本發明不限於此。
可以理解的是,如圖11所示,藉由第一曝光控制電路141A、第二曝光控制電路142A、第三曝光控制電路143A以及第四曝光控制電路144A使得紅光像素群311A、綠光像素群312A、312A'以及藍光像素群313A分別以不同圖框率產生不同曝光時間的電壓訊號。其中,紅光像素群311A產生以第一圖框率F1曝光第一曝光時間T1的第一紅光電壓訊號511、以第二圖框率F2曝光第二曝光時間T2的第二紅光電壓訊號512、以第三圖框率F3曝光第三曝光時間T3的第三紅光電壓訊號513以及以第四圖框率F4曝光第四曝光時間T4的第四紅光電壓訊號514,綠光像素群312A、312A'產生以第一圖框率F1曝光第一曝光時間T1的第一綠光電壓訊號521、以第二圖框率F2曝光第二曝光時間T2的第二綠光電壓訊號522、以第三圖框率F3曝光第三曝光時間T3的第三綠光電壓訊號523以及以第四圖框率F4曝光第四曝光時間T4的第四綠光電壓訊號524,藍光像素群313A產生以第一圖框率F1曝光第一曝光時間T1的第一藍光電壓訊號531、以第二圖框率F2曝光第二曝光時間T2的第二藍光電壓訊號532、以第三圖框率F3曝光第三曝光時間T3的第三藍光電壓訊號533以及以第四圖框率F4曝光第四曝光時間T4的第四藍光電壓訊號534,影像處理電路16根據該等電壓訊號產生對應的第一彩色像素資料551、第二彩色像素資料552、第三彩色像素資料553以及第四彩色像素資料554,並根據該等彩色像素資料55產生第一彩色影像561、第二彩色影像562、第三彩色影像563以及第四彩色影像564,以將該等彩色影像56進行影像融合產生彩色高動態範圍影像訊號57。
藉此,由上述說明可知,根據本發明之影像感測裝置300A藉由曝光控制電路32A,曝光控制電路32A包含有第一曝光控制電路141A、第二曝光控制電路142A、第三曝光控制電路143A以及第四曝光控制電路144A,以分別控制紅光像素群311A、綠光像素群312A、藍光像素群313A、綠光像素群312A'產生不同波長範圍的電壓訊號,並通過影像處理電路16根據該等電壓訊號產生對應的彩色像素資料55以及彩色影像56,影像處理電路16可以獨立產生多筆彩色影像56,或者透過影像圖框暫存器將多筆彩色影像56進行影像融合產生彩色高動態範圍影像訊號57。如此一來,本發明以4個不同的圖框率進行4種不同曝光長度的曝光,並透過影像處理電路16利用影像圖框暫存器將4個子圖框的像素資料進行影像融合產生一即時高動態範圍的完整圖框影像訊號。突破影像融合必須在每次取像操作之後進行的限制,能在每次取像操作之中進行,因此能在短暫時間內產生高動態範圍影像,具有較佳的效率。並且透過不同波長之濾波片,使得紅光像素群311A、綠光像素群312A、藍光像素群313A、綠光像素群312A'產生不同波長範圍的電壓訊號,實現彩色即時高動態範圍完整圖框影像訊號57。
請參照圖12-13所示,圖12為根據本發明之影像感測裝置的又一示意圖;圖13為說明根據本發明又一影像感測裝置實際執行過程的示意圖。類似的元件以於前述實施例描述,在此不再重複。如圖12所示,在另一些實施例中,本發明之影像感測裝置300B可以進一步包含有紅外光像素群314B,紅外光像素群314B上設置有紅外光濾波片44B,紅外光像素群314B包含有第一紅外感測單元3141B、第二紅外感測單元3142B、第三紅外感測單元3143B以及第四紅外感測單元3144B,並且,第一曝光控制電路141B耦接於第一紅外感測單元3141B,第二曝光控制電路142B耦接於第二紅外感測單元3142B,第三曝光控制電路143B耦接於第三紅外感測單元3143B,第四曝光控制電路144A耦接於第四紅外感測單元3144B。
具體地,如圖12-13所示,根據本發明之曝光控制電路32B具有第一曝光控制電路141B、第二曝光控制電路142B、第三曝光控制電路143B以及第四曝光控制電路144B,其中,第一曝光控制電路141B控制第一紅外感測單元3141B以第一圖框率F1曝光第一曝光時間T1,第二曝光控制電路142B控制第二紅外感測單元3142B以第二圖框率F2曝光第二曝光時間T2,第三曝光控制電路143B控制第三紅外感測單元3143B以第三圖框率F3曝光第三曝光時間T3,第四曝光控制電路144B控制第四紅外感測單元3144B以第四圖框率F4曝光第四曝光時間T4,使得紅外光像素群314B產生第一紅外電壓訊號541、第二紅外電壓訊號542、第三紅外電壓訊號543以及第四紅外電壓訊號544,並且產生相對應的彩色像素資料55。
藉此,本發明透過紅外光像素群314B進行紅外光波長範圍的影像感測,使得本發明之影像感測裝置300可以應用在低亮度的環境中,大幅增進本發明之影像感測裝置300的適用性。
請參照圖14所示,圖14為根據本發明之影像感測裝置的另一示意圖。類似的元件以於前述實施例描述,在此不再重複。如圖14所示,在另一些實施例中,根據本發明之影像感測裝置300C可以具有如上所述之第三實施例的影像感測電路,當傳輸訊號TX'具有固定的傳輸頻率,亦即固定圖框率讀出操作時,控制電路14B必須包含有至少兩個曝光控制電路以控制單一個光電二極體11的曝光時間,因此,相較於第一實施例,曝光控制電路32C可以進一步包含有第五曝光控制電路145C、第六曝光控制電路146C、第七曝光控制電路147C以及第八曝光控制電路148C,使得紅光像素群311C、綠光像素群312C、312C'以及藍光像素群313C分別產生不同曝光時間的電壓訊號。藉此,根據本發明之影像感測裝置300C可以藉由增加獨立曝光控制電路的數量,以應用於固定圖框率(fixed frame rate)的環境中,使得本發明之影像感測裝置300C具有廣泛適用性等功效,然而本發明不限於此。
以上係藉由特定的具體實施例說明本發明之實施方式,所屬技術領域具有通常知識者可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
以上所述僅為本發明之較佳實施例,並非用以限定本發明之範圍;凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之專利範圍內。
100:影像感測電路
11:光電二極體
111:第一光電二極體
112:第二光電二極體
113:第三光電二極體
114:第四光電二極體
12:浮動擴散點
13:傳輸電路
131第一傳輸電路
132:第二傳輸電路
133:第三傳輸電路
134:第四傳輸電路
14:控制電路
141,141A,141B,141C:第一曝光控制電路
142,142A,142B,142C:第二曝光控制電路
143,143A,143B,143C:第三曝光控制電路
144,144A,144B,144C:第四曝光控制電路
15:放大選擇電路
151:放大電晶體
152:選擇電晶體
153:訊號線
16:影像處理電路
17:重置電路
18:斜坡電路
19,33:影像圖框暫存器
20:控制選擇電路
211:第一電壓
212:第二電壓
213:第三電壓
214:第四電壓
221:第一電壓訊號
222:第二電壓訊號
223:第三電壓訊號
224:第四電壓訊號
231:第一像素資料
232:第二像素資料
233:第三像素資料
234:第四像素資料
24:高動態範圍影像訊號
300,300A,300B,300C:影像感測裝置
31,31A:影像感測陣列
311A,311B,311C:紅光像素群
3111A:第一紅光感測單元
3112A:第二紅光感測單元
3113A:第三紅光感測單元
3114A:第四紅光感測單元
312A,312A',312B, 312C,312C':綠光像素群
3121A,3121A':第一綠光感測單元
3122A,3122A':第二綠光感測單元
3123A,3123A':第三綠光感測單元
3124A,3124A':第四綠光感測單元
313A,313B,313C:藍光像素群
3131A:第一藍光感測單元
3132A:第二藍光感測單元
3133A:第三藍光感測單元
3134A:第四藍光感測單元
32:影像處理電路
32A,32B,32C:曝光控制電路
314B:紅外光像素群
3141B:第一紅外感測單元
3142B:第二紅外感測單元
3143A:第三紅外感測單元
3144B:第四紅外感測單元
41A,41B:紅光濾波片
42A,42A',42B:綠光濾波片
43A,43B:藍光濾波片
44B:紅外光濾波片
511:第一紅光電壓訊號
512:第二紅光電壓訊號
513:第三紅光電壓訊號
514:第四紅光電壓訊號
521:第一綠光電壓訊號
522:第二綠光電壓訊號
523:第三綠光電壓訊號
524:第四綠光電壓訊號
531:第一藍光電壓訊號
532:第二藍光電壓訊號
533:第三藍光電壓訊號
534:第四藍光電壓訊號
541:第一紅外電壓訊號
542:第二紅外電壓訊號
543:第三紅外電壓訊號
544:第四紅外電壓訊號
55:彩色像素資料
551:第一彩色像素資料
552:第二彩色像素資料
553:第三彩色像素資料
554:第四彩色像素資料
56:彩色影像
561:第一彩色影像
562:第二彩色影像
563:第三彩色影像
564:第四彩色影像
57:彩色即時高動態範圍完整圖框影像訊號
F1:第一圖框率
F2:第二圖框率
F3:第三圖框率
F4:第四圖框率
P1,P2,P3,P4,P5,P6,P7,P8,P9,t1,t2,t3:時間點
SEL:外部選擇訊號
Rdo:輸出訊號
RST:重置訊號
RST0,RST0':第一重置訊號
RST1,RST1':第二重置訊號
RST2:第三重置訊號
RST3:第四重置訊號
TX,TX',TX4-TX7:傳輸訊號
TX0:第一傳輸訊號
TX1:第二傳輸訊號
TX2:第三傳輸訊號
TX3:第四傳輸訊號
T1,T1':第一曝光時間
T2,T2':第二曝光時間
T3:第三曝光時間
T4:第四曝光時間
圖1為根據本發明的高動態範圍之影像感測電路的示意圖;
圖2為示例性說明根據本發明的高動態範圍之影像感測電路曝光時間的示意圖;
圖3為根據本發明第一實施例之影像感測電路的示意圖;
圖4為根據本發明第一實施例之影像感測電路的電路圖;
圖5為說明根據本發明之影像感測電路實際執行過程的示意圖;
圖6為說明根據本發明第一實施例的影像感測電路之重置訊號與傳輸訊號的時脈圖;
圖7為說明根據本發明第二實施例的高動態範圍之影像感測電路曝光時間的示意圖;
圖8為說明根據本發明第三實施例的影像感測電路之重置訊號與傳輸訊號的部分時脈圖;
圖9為根據本發明之影像感測裝置的示意圖;
圖10為根據本發明之影像感測裝置的電路圖;
圖11為說明根據本發明之影像感測裝置實際執行過程的示意圖;
圖12為根據本發明之影像感測裝置的又一示意圖;
圖13為說明根據本發明又一影像感測裝置實際執行過程的示意圖;以及
圖14為根據本發明之影像感測裝置的另一示意圖。
300:影像感測裝置
31:影像感測陣列
32:影像處理電路
33:影像圖框暫存器
Claims (14)
- 一種影像感測裝置,其係包含有:一影像感測陣列,其係包含有複數感測單元,該等感測單元係分別產生複數像素資料,該等像素資料依據不同的複數圖框率以不同的複數曝光時間產生;一影像處理電路,其係耦接於該影像感測陣列;其中,該等像素資料包含有一第一子圖框的一第一像素資料以及一第二子圖框的一第二像素資料,該第一像素資料係以一第一圖框率曝光一第一曝光時間產生,該第二像素資料係以一第二圖框率曝光一第二曝光時間產生,該第一圖框率小於該第二圖框率,該第一曝光時間大於該第二曝光時間,並且在該影像處理電路執行之一次取像操作期間產生多筆該第二像素資料,其中,該等感測單元可分為多個像素群,其中,該等像素群用以在複數次取像操作中透過該影像處理電路依據不同圖框率以不同曝光時間之該等像素資料進行影像融合產生一高動態範圍影像訊號,其中,該等感測單元包含有一控制電路,該控制電路包含有:一第一曝光控制電路,用於產生一第一傳輸訊號以及一第一重置訊號;以及一第二曝光控制電路,用於產生一第二傳輸訊號以及一第二重置訊號,以及其中,該第一曝光控制電路與該第二曝光控制電路兩者獨立,以用於分別控制不同的該等圖框率及不同的該等曝光時間,以及其中,該高動態範圍影像訊號的融合以及輸出係在每次的取像操作之中進行,以將該高動態範圍影像訊號輸出作為具有完整解析度的一彩色高動態範圍影像,以及其中,該高動態範圍影像訊號係以大於或等於該第二圖框率的方式輸出。
- 如請求項1所述的影像感測裝置,其中,該第一曝光時間大於該第二子圖框的一個圖框時間長度。
- 如請求項1所述的影像感測裝置,其中,該等感測單元各別包括:一光電二極體; 一傳輸電路,其係耦接於該光電二極體;一重置電路,其係耦接於該光電二極體;其中,該重置電路用以接收一重置訊號,並且該傳輸電路用以接收一傳輸訊號,該重置電路根據該重置訊號重置該光電二極體中之電荷,該傳輸電路根據該傳輸訊號將累積於該光電二極體中之電荷轉換為該感測訊號。
- 如請求項3所述的影像感測裝置,其中,至少一部分的該等感測單元為一第一感測單元,該第一感測單元的該重置電路接收該第一重置訊號,並且該第一感測單元的該傳輸電路接收該第一傳輸訊號,該第一重置訊號與該第一傳輸訊號之間的時間差為該第一曝光時間。
- 如請求項4所述的影像感測裝置,其中,不同像素群的該等感測單元具有相同的該第一曝光時間。
- 如請求項3所述的影像感測裝置,其中,至少一部分的該等感測單元為一第二感測單元,該第二感測單元的該重置電路接收該第二重置訊號,該第二感測單元的該傳輸電路接收該第二傳輸訊號,又,該第二重置訊號以及該第二傳輸訊號的時序介於該第一重置訊號以及該傳輸訊號之間。
- 如請求項6所述的影像感測裝置,其中,該等感測單元各別的該第二重置訊號以及該第二傳輸訊號之間的時間差為該第二曝光時間。
- 如請求項4所述的影像感測裝置,其中,不同像素群的該等感測單元具有相同的該第二曝光時間。
- 如請求項1所述的影像感測裝置,其中,該等像素群包含一紅光像素群、一綠光像素群以及一藍光像素群,該紅光像素群、該綠光像素群以及該藍光像素群分別包含有兩個以上的具有不同圖框率與不同曝光時間的感測單元,以使該影像處理電路根據該等像素群分別產生的不同顏色的該等像素資料進行融合後輸出該高動態範圍影像訊號。
- 如請求項9所述的影像感測裝置,其係進一步包含有複數濾波片,該等濾波片包含一紅光濾波片、一綠光濾波片以及一藍光濾波片,該紅光 濾波片、該綠光濾波片以及該藍光濾波片對應地設置於該紅光像素群、該綠光像素群以及該藍光像素群的該等感測單元上。
- 如請求項9所述的影像感測裝置,其中,該等像素群進一步包含一紅外光像素群,該影像處理電路根據該紅外光像素群產生的該影像資訊輸出一紅外光影像資訊。
- 如請求項11所述的影像感測裝置,其係進一步包含有一紅外光濾波片,該紅外光濾波片對應地設置於該紅外光像素群的該等感測單元上。
- 如請求項3所述的影像感測裝置,其中,該控制電路係耦接於該傳輸電路以及該重置電路,該控制電路係用於產生該等傳輸訊號以及該等重置訊號。
- 如請求項1所述的影像感測裝置,其係進一步包含有一影像圖框暫存器,其係耦接於該影像處理電路,該影像圖框暫存器係用於儲存至少一個子圖框的該等像素資料,以用於影像融合。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263345920P | 2022-05-26 | 2022-05-26 | |
US63/345,920 | 2022-05-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202348012A TW202348012A (zh) | 2023-12-01 |
TWI835535B true TWI835535B (zh) | 2024-03-11 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113614783A (zh) | 2019-01-25 | 2021-11-05 | 奇跃公司 | 使用具有不同曝光时间的图像的眼睛跟踪 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113614783A (zh) | 2019-01-25 | 2021-11-05 | 奇跃公司 | 使用具有不同曝光时间的图像的眼睛跟踪 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100490506C (zh) | 采用多次取样通过时间-索引实现宽动态范围的图象传感器 | |
US8553124B2 (en) | Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus | |
JP5521721B2 (ja) | 撮像素子およびカメラシステム | |
JP5178994B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
JP4961982B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
US9781366B2 (en) | Image sensing system and method of driving the same | |
JP2003198948A (ja) | 固体撮像装置および固体撮像装置の駆動方法 | |
JP3906202B2 (ja) | 固体撮像装置およびそれを利用した撮像システム | |
CN110971799B (zh) | 控制方法、摄像头组件及移动终端 | |
WO2023173635A1 (zh) | 一种图像传感器及其图像输出方法和应用 | |
JP2016090785A (ja) | 撮像装置及びその制御方法 | |
CN109075180A (zh) | 改进的超高动态范围像素架构 | |
US10469731B2 (en) | Image sensor and imaging device including the same | |
TWI835535B (zh) | 影像感測裝置 | |
CN110336953B (zh) | 四元像素结构图像传感器及读取控制方法 | |
CN111800591A (zh) | 摄像元件及其控制方法和摄像装置 | |
JP2017060155A (ja) | 撮像素子及び撮像装置 | |
TW202348012A (zh) | 影像感測裝置 | |
TWI835536B (zh) | 影像感測裝置及其影像感測方法 | |
JP6366325B2 (ja) | 撮像システム | |
JP6967173B1 (ja) | 撮像素子及び撮像装置 | |
JP5578008B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
WO2023162483A1 (ja) | 撮像装置及びその制御方法 | |
WO2020203799A1 (ja) | 撮像素子、及び、撮像装置 | |
KR102003815B1 (ko) | 이미지 센서 및 그 동작 방법 |