TWI835536B - 影像感測裝置及其影像感測方法 - Google Patents
影像感測裝置及其影像感測方法 Download PDFInfo
- Publication number
- TWI835536B TWI835536B TW112102866A TW112102866A TWI835536B TW I835536 B TWI835536 B TW I835536B TW 112102866 A TW112102866 A TW 112102866A TW 112102866 A TW112102866 A TW 112102866A TW I835536 B TWI835536 B TW I835536B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel data
- exposure
- exposure time
- image
- circuit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000005540 biological transmission Effects 0.000 claims description 160
- 230000004927 fusion Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 30
- 238000009792 diffusion process Methods 0.000 description 22
- 230000003321 amplification Effects 0.000 description 18
- 238000003199 nucleic acid amplification method Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 8
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 7
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 101100443251 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG2 gene Proteins 0.000 description 4
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003631 expected effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004508 polar body Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Abstract
本發明係關於一種影像感測裝置及其影像感測方法。該影像感測裝置係包括:影像感測陣列與影像處理電路。其中,影像感測陣列係產生複數像素資料,該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,該第二像素資料係曝光一第二曝光時間產生,該第一曝光時間小於該第二曝光時間,並且該影像處理電路透過該第一像素資料執行一自動曝光收斂操作,以產生新的該自動曝光收斂操作之複數曝光參數,並且根據該等曝光參數調整該第二曝光時間,使得該第二像素資料為經過曝光時間改變的像素資料。
Description
本發明係有關於一種影像感測裝置,特別係關於一種影像感測裝置及其影像感測方法。
近年自駕車產業的需求日趨蓬勃,對自駕車而言,用於偵測即時道路狀況的影像感測器是必備元件。目前,應用於偵測即時道路狀況的影像感測器又以動態視覺感測器(Dynamic Vision Sensor, DVS)為主流,其原因在於,動態視覺感測器是以事件(event)為單位記錄影像資訊。這種基於動態事件的感測器使得機器的自主性更加接近現實,因而適用於自動駕駛車領域中基於視覺的高速應用。
然而,在道路駕駛過程中,偶爾會發生照明程度在短時間之內劇烈改變的情形,從而造成影像感測器局部(或全部)暫時性的產生過度曝光(或曝光不足)的問題。在此短暫的時間內,自駕車的影像辨識演算法在面對細節不足的畫面,無法做出正確的物件偵測,因而提高發生事故的風險。因此,如何改良影像感測器,使得其能夠在極高禎率下快速的調整曝光程度,係為研究人員亟待解決的問題。
高動態範圍(High-Dynamic Range, HDR)成像大體而言係關於允許攝取並表示介於影像之最明亮區域與最黑暗區域之間的較大動態範圍照度(與標準數位成像技術相比)之一組成像技術。較廣泛動態範圍允許高動態範圍影像更準確地表示在真實世界場景中所見到之廣泛範圍的強度等級。用於攝取高動態範圍影像之一種方法包括多個獨立攝取之相片的合併。舉例而言,此處理程序可包括以不同曝光連續攝取多個影像,且接著處理該等影像以產生複合高動態範圍影像。
然而,自多個獨立攝取之影像產生高動態範圍影像的處理程序存在缺點。舉例而言,多個獨立攝取之影像進行合併時,一般會疊加多張曝光時間較短的影像以獲得更好的影像。但是,當處於低亮度的環境中時,曝光時間較短的影像無法在短曝光時間內接收任何訊號,造成進行合併仍無法產生高動態範圍影像。
是以,本案發明人在觀察上述缺失後,而遂有本發明之產生。
本發明的目的係提供一種影像感測裝置,其係透過影像感測陣列產生複數像素資料,該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,第二像素資料係曝光第二曝光時間產生,該第一曝光時間小於該第二曝光時間,並且影像處理電路透過第一像素資料執行自動曝光收斂操作。藉此,透過具有較高曝光頻率之第一像素資料進行自動曝光收斂操作,達成快速完成自動曝光之功效。
為達上述目的,本發明提供一種影像感測裝置,其係包含:一影像感測陣列,其係包含有複數感測單元,該等感測單元係分別產生複數像素資料;一影像處理電路,其係耦接於該影像感測陣列;其中,該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,該第二像素資料係曝光一第二曝光時間產生,該第一曝光時間小於該第二曝光時間,並且該影像處理電路透過該第一像素資料執行一自動曝光收斂操,以產生新的該自動曝光收斂操作之複數曝光參數,並且根據該等曝光參數調整該第二曝光時間,使得該第二像素資料為經過曝光時間改變的像素資料。
較佳地,根據本發明之影像感測裝置,其中,該影像處理電路依據不同曝光時間之該等像素資料進行影像融合產生一影像資訊。
較佳地,根據本發明之影像感測裝置,其中,該等感測單元具有一影像感測結構,該影像感測結構各別包括:一光電二極體;一傳輸電路,其係耦接於該光電二極體;一重置電路,其係耦接於該傳輸電路;其中,該重置電路用以接收一重置訊號,並且該傳輸電路用以接收一傳輸訊號,該重置電路根據該重置訊號重置該光電二極體中之電荷,該傳輸電路根據該傳輸訊號將累積於該光電二極體中之電荷轉換為該像素資料。
較佳地,根據本發明之影像感測裝置,其中,至少一部分的該等感測單元為一第一感測單元,該第一感測單元的該重置電路接收一第一重置訊號,並且該第一感測單元的傳輸電路接收一第一傳輸訊號,該第一重置訊號與該第一傳輸訊號之間的時間差為該第一曝光時間。
較佳地,根據本發明之影像感測裝置,其中,至少一部分的該等感測單元為一第二感測單元,該第二感測單元的該重置電路接收一第二重置訊號,並且該第二感測單元的傳輸電路接收一第二傳輸訊號,又,該第二傳輸訊號的時序介於該第一重置訊號以及該第二重置訊號之間。
較佳地,根據本發明之影像感測裝置,其中,至少一部分的該等感測單元為一第三感測單元,該第三感測單元的該重置電路接收一第三重置訊號,並且該第三感測單元的傳輸電路接收一第三傳輸訊號,又,該第三傳輸訊號的時序介於該第二重置訊號以及該第三重置訊號之間。
較佳地,根據本發明之影像感測裝置,其中,該等感測單元各別的該第三重置訊號以及該第三傳輸訊號之間的時間差為該第二曝光時間。
較佳地,根據本發明之影像感測裝置,其中,至少一部分的該等感測單元為一第四感測單元,該第四感測單元的該重置電路接收一第四重置訊號,並且該第四感測單元的傳輸電路接收一第四傳輸訊號,又,該第四傳輸訊號的時序介於該第三重置訊號以及該第四重置訊號之間。
較佳地,根據本發明之影像感測裝置,其中,該等感測單元各別的該第四重置訊號以及該第四傳輸訊號之間的時間差為該第二曝光時間。
較佳地,根據本發明之影像感測裝置,其係進一步包含有複數濾波片,該等濾波片包含一白光濾波片、一紅光濾波片、一綠光濾波片以及一藍光濾波片,該白光濾波片設置於該第一感測單元上,該紅光濾波片設置於該第二感測單元上,該綠光濾波片設置於該第三感測單元上,該藍光濾波片設置於該第四感測單元上。
較佳地,根據本發明之影像感測裝置,其中,該等感測單元進一步包含有一控制電路,其係耦接於該傳輸電路以及該重置電路,該控制電路係用於產生該傳輸訊號以及該重置訊號。
較佳地,根據本發明之影像感測裝置,其中,該控制電路包含有一第一曝光控制電路以及一第二曝光控制電路,該第一曝光控制電路係用於產生該第一傳輸訊號以及該第一重置訊號,該第二曝光控制電路係用於產生該第二傳輸訊號以及該第二重置訊號。
較佳地,根據本發明之影像感測裝置,其中,該影像感測陣列為多重影格率(multi frame rate)陣列,該影像處理電路透過曝光時間較短且影格率較高的該第一像素資料進行該自動曝光收斂操作,當該第一像素資料經過了數個第一影格的時間完成自動曝光收斂時,該第二像素資料仍然在第二影格率一幀的時間內。
較佳地,根據本發明之影像感測裝置,其係進一步包含有一影像暫存器,其係耦接於該影像處理電路,該影像暫存器係用於儲存該等像素資料。
又,為達上述目的,本發明係根據上述影像感測裝置為基礎,進一步提供一種影像感測方法,其係包含有:藉由一影像感測陣列之複數感測單元分別產生複數像素資料,其中該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,該第二像素資料係曝光一第二曝光時間產生,該第一曝光時間小於該第二曝光時間;以及藉由一影像處理電路透過該第一像素資料執行一自動曝光收斂操作,以產生新的該自動曝光收斂操作之複數曝光參數,並且調整該第二曝光時間,使得第二像素資料具有較佳的曝光時間。
較佳地,根據本發明之影像感測方法,其中,由於該第一曝光時間小於該第二曝光時間,藉由該影像處理電路透過具有較高影格率之該第一像素資料執行該自動曝光收斂操作,以產生該新的該自動曝光收斂操作之該等曝光參數,並且調整該第二曝光時間,並且可在該第二曝光進行中,但尚未完成時,進行增益與曝光時間長度的更新。
較佳地,根據本發明之影像感測方法,其中,於該自動曝光收斂操作後,在一幀的時間內,產生該新的該自動曝光收斂操作之該等曝光參數,並且調整該第二曝光時間,並且使用在與該第二像素資料關連的第二像素上。
較佳地,根據本發明之影像感測方法進一步包含有:該影像處理電路依據不同曝光時間之該等像素資料進行影像融合產生一影像資訊。
綜上,本發明所提供之影像感測裝置可以透過自動曝光收斂操作完成收斂,以調整影像感測結構之曝光時間、光圈大小以及感光度其中之一或其組合,並透過執行影像融合產生該高動態範圍影像訊號,達成快速完成自動曝光之目的,並透過執行影像融合產生該高動態範圍影像訊號,在外界光線突然極端的變化下,仍能呈現清晰鮮明的畫面細節。
爲使熟悉該項技藝人士瞭解本發明之目的、特徵及功效,茲藉由下述具體實施例,並配合所附之圖式,對本發明詳加說明如下。
現在將參照其中示出本發明概念的示例性實施例的附圖在下文中更充分地闡述本發明概念。以下藉由參照附圖更詳細地闡述的示例性實施例,本發明概念的優點及特徵以及其達成方法將顯而易見。然而,應注意,本發明概念並非僅限於以下示例性實施例,而是可實施為各種形式。因此,提供示例性實施例僅是為了揭露本發明概念並使熟習此項技術者瞭解本發明概念的類別。在圖式中,本發明概念的示例性實施例並非僅限於本文所提供的特定實例且為清晰起見而進行誇大。
本文所用術語僅用於闡述特定實施例,而並非旨在限制本發明。除非上下文中清楚地另外指明,否則本文所用的單數形式的用語「一」及「該」旨在亦包括複數形式。本文所用的用語「及/或」包括相關所列項其中一或多者的任意及所有組合。應理解,當稱元件「連接」或「耦合」至另一元件時,所述元件可直接連接或耦合至所述另一元件或可存在中間元件。
相似地,應理解,當稱一個元件(例如層、區或基板)位於另一元件「上」時,所述元件可直接位於所述另一元件上,或可存在中間元件。相比之下,用語「直接」意指不存在中間元件。更應理解,當在本文中使用用語「包括」、「包含」時,是表明所陳述的特徵、整數、步驟、操作、元件、及/或組件的存在,但不排除一或多個其他特徵、整數、步驟、操作、元件、組件、及/或其群組的存在或添加。
此外,將藉由作為本發明概念的理想化示例性圖的剖視圖來闡述詳細說明中的示例性實施例。相應地,可根據製造技術及/或可容許的誤差來修改示例性圖的形狀。因此,本發明概念的示例性實施例並非僅限於示例性圖中所示出的特定形狀,而是可包括可根據製造製程而產生的其他形狀。圖式中所例示的區域具有一般特性,且用於說明元件的特定形狀。因此,此不應被視為僅限於本發明概念的範圍。
亦應理解,儘管本文中可能使用用語「第一」、「第二」、「第三」等來闡述各種元件,然而該些元件不應受限於該些用語。該些用語僅用於區分各個元件。因此,某些實施例中的第一元件可在其他實施例中被稱為第二元件,而此並不背離本發明的教示內容。本文中所闡釋及說明的本發明概念的態樣的示例性實施例包括其互補對應物。本說明書通篇中,相同的參考編號或相同的指示物表示相同的元件。
此外,本文中參照剖視圖及/或平面圖來闡述示例性實施例,其中所述剖視圖及/或平面圖是理想化示例性說明圖。因此,預期存在由例如製造技術及/或容差所造成的相對於圖示形狀的偏離。因此,示例性實施例不應被視作僅限於本文中所示區的形狀,而是欲包括由例如製造所導致的形狀偏差。因此,圖中所示的區為示意性的,且其形狀並非旨在說明裝置的區的實際形狀、亦並非旨在限制示例性實施例的範圍。
請參閱圖1-3所示,圖1為根據本發明之影像感測裝置的示意圖;圖2為根據本發明之影像感測方法的步驟圖;圖3為示例性說明根據本發明之影像感測裝置實際執行影像感測方法的流程圖。如圖1所示,根據本發明之影像感測裝置300包括:影像感測陣列31以及影像處理電路32。
具體地,如圖1-2所示,根據本發明之影像感測陣列31,其係包含有感測單元311,感測單元311係分別產生複數像素資料,像素資料包含第一像素資料51以及第二像素資料52,在此,例如,第一像素資料51以及第二像素資料52係分別關連於第一像素(未圖示之)以及第二像素(未圖示之),第一像素資料51係曝光第一曝光時間T1產生,第二像素資料52係曝光第二曝光時間T2產生,且第一曝光時間T1小於第二曝光時間T2。第一像素資料51的影格率(frame rate)為F1,第二像素資料52的frame rate 為F2。F1大於F2。通常 F1大於F2的2倍以上。但本發明不限於此。在一些實施例中,感測單元311係可以包含有一影像感測結構,然而本發明不限於此。
具體地,如圖1所示,根據本發明之影像處理電路32,其係耦接於影像感測陣列31,影像處理電路32係用於操作處理影像感測陣列31產生的該等像素資料。在一些實施例中,影像處理電路32可以進一步耦接於一影像圖框暫存器(frame buffer),該影像暫存器主要係用於儲存上述之像素資料,以將上述之像素資料進行自動曝光收斂操作或影像融合,然而本發明不限於此。
需要進一步說明的是,由於本發明涉及自動曝光(auto exposure)收斂操作,以下先就自動曝光進行說明。如圖3所示,自動曝光指的是影像感測裝置根據環境中光線的強弱自動調整曝光量和增益,以便使影像的亮度越来越接近一自動曝光目標範圍(圖未示),防止曝光過度或者不足的一種機制。本發明透過像素資料51進行實時運算,於自動曝光收斂操作後,會產生新的曝光參數,並配置新的曝光參數56進而影響第二曝光時間T2,使得像素資料52收斂至自動曝光目標範圍,在一些實施例中,曝光參數56可以包含有增益、曝光時間、光圈大小以及感光度等,其中,感光度指得是光電二極體對於光的敏感程度,增加感光度可以使產生的影像變亮,光圈控制則可以調整瞬時進光量。藉此,根據本發明之影像感測裝置300可以實現收斂快速以及收斂穩定等功效。由於自動曝光收斂操作為本技術領域具有通常知識者所熟悉,故在此不再贅述。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效,茲將本發明使用方式加以敘述,相信當可由此而對本發明有更深入且具體瞭解,請參閱圖1-3所示,根據本發明影像感測方法包含下述步驟:
步驟S1:藉由影像感測陣列31之感測單元311分別產生複數像素資料,其中該等像素資料包含有第一像素資料51以及第二像素資料52,第一像素資料51係曝光第一曝光時間T1產生,第二像素資料52係曝光第二曝光時間T2產生,第一曝光時間T1小於第二曝光時間T2;第一像素資料51的frame rate 為F1,第二像素資料52的frame rate 為F2。F1大於F2。通常 F1大於F2的2倍以上。但本發明不限於此。以及
步驟S2:藉由影像處理電路32透過該第一像素資料51執行自動曝光收斂操作55,產生新的曝光參數;在此,例如,將透過像素資料51進行實時運算,於自動曝光收斂操作後,會產生新的曝光參數,並配置新的曝光參數56進而影響第二曝光時間T2,使得像素資料52收斂至自動曝光目標範圍。特別說明的是,當第二像素進行第N個影格(frame N)的曝光但尚未結束時,若接收到新的曝光參數56即可立即於影格中進行曝光時間的更新,亦即影格內更新(intra-frame update),不需等到下一個影格(frame N+1)的開始才使用新的曝光參數56。
請參閱圖4所示,圖4為根據本發明之影像感測方法的又一步驟圖。在一些實施例中,根據本發明影像感測方法可以進一步包含下述步驟:
步驟S3:影像處理電路32依據不同曝光時間之該等像素資料(第一像素資料51、第二像素資料52)進行影像融合產生影像資訊57。
值得一提的是,在一些實施例中,步驟S2可以是一次執行或者多次執行,當多次執行上述步驟時可以進一步保證本發明之自動曝光收斂操作收斂至自動曝光目標範圍,並快速完成自動曝光,增進本發明之影像感測裝置的穩定性,然而本發明不限於此。
藉此,由上述說明可知,根據本發明之影像感測方法利用多重影格率(multi frame rate)陣列的影像感測陣列31,透過曝光時間較短且影格率較高的的第一像素資料51進行自動曝光收斂操作55,當第一像素資料51經過了數個第一影格的時間完成自動曝光收斂時,第二像素資料52仍然在第二影格率一幀的時間內。根據自動曝光收斂操作55產生的新的曝光參數56應用於控制電路14,使第二像素曝光時間T2改變而獲得第二像素資料52,再將第一像素資料51與第二像素資料52進行影像融合產生影像資訊57實現一種可以在較短的時間內收斂至自動曝光目標範圍的影像感測裝置300,達成低延遲自動曝光收斂以及提升影像清晰度等功效。
以下,參照圖式,說明本發明的影像感測裝置的第一實施之實施形態,以使本發明所屬技術領域中具有通常知識者更清楚的理解可能的變化。以與上述相同的元件符號指示的元件實質上相同於上述參照圖1-4所敘述者。與影像感測裝置300相同的元件、特徵、和優點將不再贅述。
請參閱圖5-8所示,圖5為根據本發明第一實施例之影像感測結構的示意圖;圖6為根據本發明第一實施例之影像感測方法的步驟圖;圖7為說明根據本發明第一實施例之影像感測方法的訊號示意圖;圖8為說明根據本發明第一實施例之影像感測結構實際執行影像感測方法的流程圖。如圖5所示,根據本發明第一實施例之影像感測結構100包括:光電二極體11、浮動擴散點12、傳輸電路13、控制電路14、放大選擇電路15以及重置電路16。
具體地,如圖5-8所示,根據本發明第一實施例之光電二極體11,其係包含有第一光電二極體111以及第二光電二極體112。需要進一步說明的是,光電二極體11主要係用於執行將入射光光電轉換成根據入射光之光強度之一量子電荷(亦即電子)。在本實施例中,第一光電二極體111以及第二光電二極體112可以是結構完全相同的光電二極體,差別僅在於各個光電二極體之間的曝光時間不同,然而本發明不限於此。
具體地,如圖5-8所示,根據本發明第一實施例之浮動擴散(floating diffusion,FD)點12,其係耦接於第一傳輸電路131以及第二傳輸電路132。在本實施例中,浮動擴散點12係分別接收第一光電二極體111以及第二光電二極體112累積之電荷以產生不同的電壓,然而本發明不限於此。
具體地,如圖5-8所示,根據本發明第一實施例之傳輸電路13,其係耦接於光電二極體11與浮動擴散點12之間,傳輸電路13包含第一傳輸電路131以及第二傳輸電路132,第一傳輸電路131耦接於第一光電二極體111,第二傳輸電路132耦接於第二光電二極體112。更具體而言,傳輸電路13耦接在光電二極體11與浮動擴散點12之間,且受控於控制電路14提供的傳輸訊號TX,以控制光電二極體11與浮動擴散點12之間的電荷傳輸,然而本發明不限於此。
具體地,在本實施例中,根據本發明之影像感測結構100可以具有滾動式快門(Rolling Shutter)機制與全域式快門(Global Shutter)機制其中之一者。需要進一步說明的是,在本實施例中,本發明具有至少兩個曝光控制電路以分別進行控制,使光電二極體11具有不同的曝光時間,在此,例如,控制電路14,使光電二極體11具有不同的曝光時間,因此可以搭配滾動式快門機制進行分別曝光,最後在透過影像處理電路32進行影像融合,實現低延遲快速自動曝光收斂與高動態範圍影像資訊,然而本發明不限於此。
具體地,如圖5-8所示,根據本發明第一實施例之控制電路14,其係耦接於傳輸電路13,控制電路14包含第一曝光控制電路141以及第二曝光控制電路142,第一曝光控制電路141耦接於傳輸電路131並控制第一光電二極體111以第一影格率F1曝光第一曝光時間T1,第二曝光控制電路142耦接於第二傳輸電路132並控制第二光電二極體112以第二影格率F2曝光第二曝光時間T2,使得第一光電二極體111以及第二光電二極體分別產生第一電壓訊號221以及第二電壓訊號222。在本實施例中,第二曝光時間為第一曝光時間的30倍,第一影格率(frame rate)為第二影格率的30倍,然而本發明不限於此。
具體地,如圖5-8所示,根據本發明第一實施例之放大選擇電路15,其係耦接於浮動擴散點12,用以將浮動擴散點12的電壓轉換為電壓訊號22。具體地,根據本發明第一實施例之影像感測結構100的放大選擇電路15,其輸出之電壓訊號22包含有第一電壓訊號221以及第二電壓訊號222,第一電壓訊號221係由第一光電二極體111曝光第一曝光時間T1產生,第二電壓訊號222係由第二光電二極體112曝光第二曝光時間T2產生,其中,第一曝光時間T1小於第二曝光時間T2,且第一影格率大於第二影格率。
具體地,如圖5-8所示,根據本發明第一實施例之重置電路16,其係耦接於浮動擴散點12以及控制電路14,重置電路16係用於重置浮動擴散點12所儲存的電荷。藉此,透過重置光電二極體11中儲存的電荷,以防止電壓訊號22進行類比及數位轉換時無法取得正確的像素資料,進一步提升根據本發明第一實施例之影像感測結構100的穩定性及準確性。在本實施例中,重置電路16接收控制電路14提供的重置訊號RST,分別重置第一光電二極體111以及第二光電二極體112中儲存的電荷,並搭配控制電路14所提供之傳輸訊號TX,以控制第一光電二極體111以及第二光電二極體112分別以第一影格率曝光第一曝光時間T1以及以第二影格率曝光第二曝光時間T2,然而本發明不限於此。
需要進一步說明的是,在本實施例中,第一曝光時間T1相較於第二曝光時間具有較短的時間長度,當第二光電二極體112完成一次曝光時,第一光電二極體111可以完成多次曝光,也就是第一光電二極體111具有較高的影格率,使得本發明第一實施例之影像處理電路32可以透過第一光電二極體111多次曝光第一曝光時間T1產生的多幀第一像素資料51進行自動曝光收斂操作55以收斂至自動曝光目標範圍,大幅提升本發明之影像感測結構100進行自動曝光收斂操作55的效率,然而本發明不限於此。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效,茲將本發明第一實施例使用方式加以敘述,相信當可由此而對本發明有更深入且具體瞭解,請參閱圖5-8所示,根據本發明低延遲快速自動曝光收斂之影像感測方法包含下述步驟:
第一重置步驟S11,重置電路16接收第一重置訊號RST0並重置第一光電二極體111中之電荷,接著執行第二重置步驟S12。
第二重置步驟S12,重置電路16接收第二重置訊號RST1並重置第二光電二極體112中之電荷,接著執行第一傳送步驟S13。
第一傳送步驟S13,第一傳輸電路131接收第一傳輸訊號TX0,使得第一傳輸電路131處於接通狀態中時,第一傳輸電路131將累積於第一光電二極體111中之電荷傳送至浮動擴散點12產生第一電壓211,接著執行第一讀出步驟S14。
第一讀出步驟S14,放大選擇電路15根據第一電壓211輸出第一電壓訊號221,第一電壓訊號221係由第一光電二極體111曝光第一曝光時間T1產生,接著執行收斂步驟S15。
收斂步驟S15,影像處理電路32根據第一電壓訊號221產生對應的第一像素資料51,並透過第一像素資料51進行自動曝光收斂操作55以收斂至自動曝光目標範圍、獲得一新的曝光參數,以產生新的自動曝光收斂操作55之曝光參數56,接著執行第二傳送步驟S16。
第二傳送步驟S16,第二傳輸電路132接收第二傳輸訊號TX1(在此,第二傳輸訊號TX1會根據新的曝光參數而改變,進而改變第二曝光時間T2),使得第二傳輸電路132處於接通狀態中時,第二傳輸電路132將累積於第二光電二極體112中之電荷傳送至浮動擴散點12產生第二電壓212,接著執行第二讀出步驟S17。又,第二傳輸訊號TX1的時序介於第一重置訊號RST0以及第二重置訊號RST1之間。
第二讀出步驟S17,放大選擇電路15根據第二電壓212輸出第二電壓訊號222,第二電壓訊號222係由第二光電二極體112曝光第二曝光時間T2產生,接著執行影像融合步驟S18。
影像融合步驟S18,影像處理電路32根據二電壓訊號222產生對應的第二像素資料52,並且影像處理電路32將該等第一像素資料51以及該等第二像素資料52進行影像融合產生該影像資訊57。
需要進一步說明的是,根據本發明之第二傳輸訊號TX1會根據新的曝光參數而改變,進而改變第二曝光時間T2,可以理解的是,由於第一曝光時間T1小於第二曝光時間T2,因此本發明之影像感測方法可以透過具有較高影格率之第一像素資料51進行自動曝光收斂操作55,以產生新的自動曝光收斂操作55之曝光參數56,並根據更新後的曝光參數56改變第二曝光時間T2,實現一種可以根據環境調整曝光時間的影像感測方法,達成提升影像快速穩定之功效。另需要特別說明的是,第一光電二極體的重置、曝光、讀出操作與第二光電二極體的重置、曝光、讀出操作,並無絕對之先後順序。兩者為獨立事件,平行運作。圖6的步驟流程是為了方便解說,本發明不限於此。
值得一提的是,在本實施例中,第一重置步驟S11、第一傳送步驟S13、第一讀出步驟S14以及收斂步驟S15可以是一次執行或者多次執行,當多次執行上述步驟時可以進一步保證本發明之自動曝光收斂操作收斂至自動曝光目標範圍,並快速完成自動曝光,大幅提升本發明之影像感測結構100進行自動曝光收斂操作55的效率,然而本發明不限於此。
請參閱圖8,並且搭配圖5-7所示。根據本發明第一實施例之影像感測結構100實際執行過程說明如下:首先,執行第一重置步驟S11,重置電路16接收第一重置訊號RST0並重置第一光電二極體111中之電荷;接著,執行第二重置步驟S12,重置電路16接收第二重置訊號RST1並重置第二光電二極體112中之電荷;在重置第一光電二極體111中之電荷並經第一曝光時間T1後,執行第一傳送步驟S13,第一傳輸電路131接收第一傳輸訊號TX0,使得第一傳輸電路131處於接通狀態中時,第一傳輸電路131將累積於第一光電二極體111中之電荷傳送至浮動擴散點12產生第一電壓211;之後,執行第一讀出步驟S14,放大選擇電路15根據第一電壓211輸出第一電壓訊號221;隨後,執行收斂步驟S15,影像處理電路32根據第一電壓訊號221進行自動曝光收斂操作55以收斂至自動曝光目標範圍,以產生新的曝光參數56,並重複執行第一重置步驟S11、第一傳送步驟S13以及第一讀出步驟S14,進行自動曝光收斂操作,直到產生新的曝光參數56;在此同時,執行第二重置步驟S12,重置第二光電二極體112中之電荷,並且第二光電二極體112曝光通過新的曝光參數56調整的第二曝光時間T2(在此,因為第二傳輸訊號TX1會根據新的曝光參數而改變,所以第二曝光時間T2也會隨之改變)後,執行第二傳送步驟S16,第二傳輸電路132接收第二傳輸訊號TX1,使得第二傳輸電路132處於接通狀態中時,第二傳輸電路132將累積於第二光電二極體112中之電荷傳送至浮動擴散點12產生第二電壓24;之後,執行第二曝光步驟S17,放大選擇電路15根據第二電壓212輸出第二電壓訊號222,第二電壓訊號222係由第二光電二極體112曝光第二曝光時間T2產生;最後,執行影像融合步驟S18,影像處理電路32根據第二電壓訊號222產生對應的第二像素資料52,並且影像處理電路32將該等第一像素資料51以及該等第二像素資料52進行影像融合產生該影像資訊57。特別說明的是,當第二光電二極體進行第N個影格(frame N)的曝光但尚未結束時,若接收到新的曝光參數56即可立即於影格中進行曝光時間的更新,亦即影格內更新(intra-frame update),不需等到下一個影格(frame N+1)的開始才使用新的曝光參數56。
藉此,由上述說明可知,根據本發明第一實施例之影像感測方法藉由第一曝光像素111曝光短曝光時間21與高影格率讀出,同時第二曝光像素112曝光長曝光時間22,長曝光時間22係可以根據新的曝光參數進行調整,並通過色調映射以及曝光融合產生快速自動曝光收斂與高動態範圍影像資訊27。如此一來,本發明通過較短的第一曝光時間T1與較高的影格率執行自動曝光收斂操作,並利用多重影格率陣列的設計,在第二影格率一幀的時間內就可以產生新的曝光參數,並將更新後的曝光參數調整之曝光時間後的影像資訊進行曝光融合(亦即,一幀的時間內會先得到新的曝光參數,再來就可以用第一像素資訊與第二像素資訊影像融合),達成低延遲快速自動曝光收斂以及提升影像清晰度等功效。
以下提供影像感測裝置的其他示例,以使本發明所屬技術領域中具有通常知識者更清楚的理解可能的變化。以與上述實施例相同的元件符號指示的元件實質上相同於上述參照圖1-8所敘述者。與影像感測裝置300相同的元件、特徵、和優點將不再贅述。
請參閱圖9-10所示,圖9為根據本發明第二實施例之影像感測結構的示意圖;圖10為根據本發明第二實施例之影像感測結構的電路圖。如圖9-10所示,根據本發明第二實施例之影像感測結構100包括:光電二極體11、浮動擴散點12、傳輸電路13、控制電路14、放大選擇電路15、重置電路16、電壓維持斜坡電路17、影像暫存器18以及控制選擇電路19。其中,根據本發明第二實施例之光電二極體11包含有第一光電二極體111、第二光電二極體112、第三光電二極體113以及第四光電二極體114,傳輸電路13包含有第一傳輸電路131、第二傳輸電路132、第三傳輸電路133以及第四傳輸電路134。
具體地,如圖9-10所示,在本實施例中,根據本發明第二實施例之第三光電二極體113耦接於第三傳輸電路133,第四光電二極體114耦接於第四傳輸電路134,並且第三傳輸電路133以及第四傳輸電路134皆耦接於第二曝光控制電路142,使得第二曝光控制電路142控制第三光電二極體113以及第四光電二極體114曝光第二曝光時間T2,然而本發明不限於此。
需要進一步說明的是,如圖9-10所示,在本實施例中,根據本發明第二實施例之光電二極體11上可以設置有白光濾波片41、紅光濾波片42、綠光濾波片43以及藍光濾波片44,而白光濾波片41係設置於第一光電二極體111上,紅光濾波片42係設置於第二光電二極體112上,綠光濾波片43係設置於第三光電二極體113上,藍光濾波片44係設置於第四光電二極體114上。如此一來,使得第一光電二極體111可以產生波長介於白光波長範圍的第一電壓訊號,第二光電二極體112可以產生波長介於紅光波長範圍的第二電壓訊號,第三光電二極體113可以產生波長介於綠光波長範圍的第三電壓訊號,第四光電二極體114可以產生波長介於藍光波長範圍的第四電壓訊號。
具體地,如圖9-10所示,根據本發明第二實施例之放大選擇電路15係耦接於包括放大電晶體151、選擇電晶體152以及訊號線153,其中,放大電晶體151的閘極耦接於浮動擴散點12,且放大電晶體151經由選擇電晶體152耦接於訊號線153,當選擇電晶體152接收控制選擇電路19提供的外部選擇訊號SEL,使得選擇電晶體152處於接通狀態中時,則放大電晶體151放大浮動擴散點12之電壓並且產生電壓訊號傳輸至訊號線153,然而本發明不限於此。
具體地,如圖9-10所示,根據本發明第二實施例之電壓維持斜坡電路17,電壓維持斜坡電路17一端係耦接於浮動擴散點12,電壓維持斜坡電路17係用於調節浮動擴散點12的電壓,以將其轉為數位像素值傳送到影像處理電路32。需要進一步說明的是,在本實施例中,電壓維持斜坡電路17僅包含一個電容器。該電容器係耦接於放大電晶體151,然而本發明不限於此。
具體地,如圖9-10所示,根據本發明第二實施例之影像暫存器18,其係耦接於影像處理電路32,影像暫存器18主要係用於儲存像素資料,在本實施例中,影像暫存器18可以是數位訊框暫存器(Digital Frame buffer),以分別儲存第一電壓訊號、第二電壓訊號、第三電壓訊號以及第四電壓訊號,之後透過影像處理電路32將該等電壓訊號進行影像融合產生高動態範圍影像資訊57,然而本發明不限於此。
為供進一步瞭解本發明構造特徵、運用技術手段及所預期達成之功效,茲將本發明使用方式加以敘述,相信當可由此而對本發明有更深入且具體瞭解,請參閱圖11-13所示,圖11為根據本發明第二實施例之影像感測方法的步驟流程圖;圖12為說明根據本發明之影像感測方法實際執行過程的示意圖;圖13為說明根據本發明第二實施例的影像感測方法之重置訊號與傳輸訊號的時脈圖。根據本發明第二實施例之低延遲快速自動曝光收斂之影像感測方法包含下述步驟:
第一重置步驟S11,重置電路16與第一傳輸電路131同時接收第一重置訊號RST0並重置第一光電二極體111中之電荷,接著執行第二重置步驟S12。
第二重置步驟S12,重置電路16與第二傳輸電路132同時接收第二重置訊號RST1並重置第二光電二極體112中之電荷,接著執行第三重置步驟S21。
第三重置步驟S21,重置電路16與第三傳輸電路133同時接收第三重置訊號RST2並重置第三光電二極體113中之電荷,接著執行第四重置步驟S22。
第四重置步驟S22,重置電路16與第四傳輸電路134同時接收第四重置訊號RST3並重置第四光電二極體114中之電荷,接著執行第一傳送步驟S13。
第一傳送步驟S13,第一傳輸電路131接收第一傳輸訊號TX0,使得第一傳輸電路131處於接通狀態中時,第一傳輸電路131將累積於第一光電二極體111中之電荷傳送至浮動擴散點12產生第一電壓211,接著執行第一選擇步驟S14。
第一讀出步驟S14,放大選擇電路15根據第一電壓211輸出第一電壓訊號221,第一電壓訊號221係由第一光電二極體111曝光第一曝光時間T1產生,接著執行收斂步驟S15。
收斂步驟S15,影像處理電路32根據第一電壓訊號221產生對應的第一像素。
資料51,並透過第一像素資料51進行自動曝光收斂操作55,以產生新的曝光參數56,亦即透過調整增益、曝光時間561、光圈大小562以及感光度563其中之一或其組合以收斂至自動曝光目標範圍,接著執行第二傳送步驟S16。
第二傳送步驟S16,第二傳輸電路132接收第二傳輸訊號TX1(在此,第二傳輸訊號TX1會根據新的曝光參數而改變,進而改變第二曝光時間T2),使得第二傳輸電路132處於接通狀態中時,第二傳輸電路132將累積於第二光電二極體112中之電荷傳送至浮動擴散點12產生第二電壓212,接著執行第二選擇步驟S17。
第二讀出步驟S17,放大選擇電路15根據第二電壓212輸出第二電壓訊號222,第二電壓訊號222係由第二光電二極體112曝光第二曝光時間T2產生,接著執行第三傳送步驟S23。
第三傳送步驟S23,第三傳輸電路133接收第三傳輸訊號TX2(在此,第三傳輸訊號TX2會根據新的曝光參數而改變,進而改變第二曝光時間T2),使得第三傳輸電路133處於接通狀態中時,第三傳輸電路133將累積於第三光電二極體113中之電荷傳送至浮動擴散點12產生第三電壓213,接著執行第三選擇步驟S24。又,第三傳輸訊號TX2的時序介於第二重置訊號RST1以及第三重置訊號RST2之間
第三讀出步驟S24,放大選擇電路15根據第三電壓213輸出第三電壓訊號223,第三電壓訊號223係由第三光電二極體113曝光第二曝光時間T2產生,接著執行第四傳送步驟S25。
第四傳送步驟S25,第四傳輸電路134接收第四傳輸訊號TX3(在此,第四傳輸訊號TX3會根據新的曝光參數而改變,進而改變第二曝光時間T2),使得第四傳輸電路134處於接通狀態中時,第四傳輸電路134將累積於第四光電二極體114中之電荷傳送至浮動擴散點12產生第四電壓214,接著執行第四曝光步驟S26。又,第四傳輸訊號TX3的時序介於第三重置訊號RST2以及第四重置訊號RST3之間。
第四讀出步驟S26,放大選擇電路15根據第四電壓214輸出第四電壓訊號224,第四電壓訊號224係由第四光電二極體114曝光第二曝光時間T2產生,接著執行影像融合步驟S18。
影像融合步驟S18,影像處理電路32根據第二電壓訊號222、第三電壓訊號223以及第四電壓訊號224產生對應的第二像素資料52、第三像素資料53以及第四像素資料54,並且影像處理電路32將該等第一像素資料51第二像素資料52、第三像素資料53以及第四像素資料54進行影像融合產生該影像資訊57。
需要進一步說明的是,根據本發明之第二傳輸訊號TX1、第三傳輸訊號TX2以及第四傳輸訊號TX3會根據新的曝光參數而改變,進而改變第二曝光時間T2,可以理解的是,由於第一曝光時間T1小於第二曝光時間T2,第一影格率高於第二影格率,因此本發明之影像感測方法可以透過具有較高影格率之第一像素資料51進行自動曝光收斂操作55,並根據更新後的曝光參數56改變第二曝光時間T2,並且可在第二曝光進行中,但尚未完成時,進行增益與曝光時間長度的更新。實現一種可以根據環境調整曝光時間的影像感測方法,達成低延遲快速自動曝光收斂以及提升影像清晰度之功效。
值得一提的是,在本實施例中,第一重置步驟S11、第二重置步驟S12、第三重置步驟S21以及第四重置步驟S22可以是一次執行或者多次執行,當多次執行上述步驟時可以進一步保證本發明之自動曝光收斂操作收斂至自動曝光目標範圍,並快速完成自動曝光,可以理解的是,本發明之影像處理電路32可以在一次取像操作中的時間內,也就是一幀的時間內,完成自動曝光演算法收斂,相比於過去傳統需要兩次以上取像操作才能完成,有效增進本發明之影像感測結構的穩定性及效率,然而本發明不限於此。
需要進一步說明的是,如圖13所示,在本實施例中,第二光電二極體112、第三光電二極體113以及第四光電二極體114皆曝光第二曝光時間T2以分別產生第二像素資料52、第三像素資料53以及第四像素資料54,如此一來,本發明第二實施例之影像感測結構100可以透過自動曝光演算法完成收斂,以調整影像感測結構100之增益、曝光時間561、光圈大小562以及感光度563其中之一或其組合,並透過執行影像融合產生該影像資訊57,達成快速完成自動曝光收斂之目的,在外界光線突然極端的變化下,仍能呈現清晰鮮明的畫面細節,然而本發明不限於此。
請參閱圖14A及圖14B所示,圖14A為示例性說明習知技術自動曝光收斂的示意圖;圖14B為說明本發明之影像感測結構進行自動曝光收斂的示意圖。如圖14A及圖14B所示,當光源產生變化時,習知技術進行自動曝光演算的問題在於所有像素都為一致的曝光時間與相同的影格率,因此必須在像素完成曝光後才能進行自動曝光之收斂,然而根據本發明第二實施例之影像感測結構100可以利用第一光電二極體111以第一影格率F1曝光第一曝光時間T1以完成自動曝光收斂,並配置新的曝光參數使得像素資料55的平均值(例如:image mean value)收斂至自動曝光目標範圍。在本實施例中,以整數 0 到 255 代表亮度,其中,0 是最暗且 255 是最亮,而本發明之像素資料55的平均值(image mean value)指的是將整張圖片像素亮度取平均值,舉例而言,若整張圖片是全黑的則數值就會是0,反之,若整張圖片是全白的則數值就會是255。如圖14B所示,當光源突然變強時,由於第一像素資料51具有較短的曝光時間與較高的影格率,因此可以實現快速自動曝光收斂的操作,使曲線原本因為光變強而使感測裝置感測到的強度增加後,開啟自動曝光收斂操作,慢慢地再讓感測的強度值下降。在本實施例中,第一像素資料51在第二影格率一幀的時間內會做30次的曝光作動,然而本發明不限於此。相較於先前技術,顯見本實施例可以在照明環境劇烈改變的狀態中,透過第一光電二極體111具有較高的曝光頻率,亦即較高的影格率,經由第一光電二極體111產生的第一電壓訊號221執行自動曝光收斂操作55,快速完成自動曝光之收斂,實現低延遲快速自動曝光收斂之功效,使得影像在面對各種照度的環境下皆具有清晰的細節。
於圖14B,中間之圖之X軸為W-sub frame ,為第一像素資料51的輸出,會在與下方之圖上X軸方向的數字2影像之前完成收斂操作,而下方之圖為水平線。另外Y軸方向為畫面均值(image mean value),例如,於電腦當中,以整數 0 到 255 ,代表小光點的亮度,而0 是最暗,255 是最亮,而畫面均值(image mean value)是將整張圖片像素亮度取平均值,若整張照片全黑,就會是0;若整張照片全白,就會是255。上方之圖代表光突然變強,例如,光源突然變強。而中間之圖是指第一像素資料51會一直跑出來(因為曝光時間短),就會有自動曝光收斂的現象,使圖上的曲線原本因為光變強後增加均值(mean值)後,開啟自動曝光收斂操作,慢慢在讓均值下降,而以本發明為例,關連於第一像素資料51的第一像素會在一幀的時間(第三張圖,x軸數值在1~2以內為一幀的時間)內是會做30曝光動作,而會有30筆第一像素資料51,這些資料就是中間之圖之X軸的數字。而下方之圖是表示整張完整圖片的均值(mean值)不會隨著光變強,使均值(mean值)上升,是對比圖14A做比較的。
請參閱圖15-16所示,圖15為根據本發明第三實施例之影像感測結構的示意圖;圖16為說明根據本發明第三實施例的影像感測結構之重置訊號與傳輸訊號的部分時脈圖。第三實施例相較於第一實施例,主要差異在於根據本發明第三實施例之影像感測結構100B的傳輸訊號TX0’在曝光時間變化的情形下,具有固定的傳輸頻率,亦即固定影格率讀出操作(fix frame rate readout operation),此時,控制電路14B必須包含有至少兩個曝光控制電路以控制單一光電二極體11B的曝光時間,如圖16所示,控制電路14B可以透過兩個分別獨立的曝光控制電路,可例如是兩個分別獨立的位址解碼器(address decoder),產生非同步的第一重置訊號RST0'_1以及第二重置訊號RST0'_2,以調整光電二極體11B產生第一曝光時間T1'_1以及第二曝光時間T1'_2,可以理解的是,使用者可以透過控制電路14B產生的傳輸訊號TX0'以及第一重置訊號RST0'_1以及第二重置訊號RST0'_2控制光電二極體11B的曝光時間,然而本發明不限於此。需特別說明的是,此處的第一重置訊號RST0'_1為一區間,涵蓋當曝光時間為T1'_1時的所有第一光電二極體的RST訊號。第二重置訊號RST0'_2為一區間,涵蓋當曝光時間為T1'_2時的所有第一光電二極體的RST訊號。傳輸訊號TX0'為一區間,涵蓋固定影格率讀出操作下的所有第一光電二極體的TX訊號。第二光電二極體的操作時序可以類推,不再贅述。
具體地,如圖15所示,在本實施例中,當傳輸訊號TX'在曝光時間變化的情形下,具有固定的傳輸頻率,亦即固定影格率讀出操作(fix frame rate readout operation),控制電路14B必須包含有至少兩個曝光控制電路以控制單一光電二極體11的曝光時間,因此,影像感測結構100可以進一步包含有第三曝光控制電路143B以及第四曝光控制電路144B,使得第一光電二極體111B曝光第一曝光時間T1',而T1'可以是不同曝光時間長度的T1'_1或是T1'_2,並且使得第二光電二極體112B、第三光電二極體113B以及第四光電二極體114B曝光第二曝光時間T2',而T2'可以是不同曝光時間長度的T2'_1或是T2'_2,使得控制電路14B可以選擇第一曝光控制電路141B或是第三曝光控制電路143B去控制第一光電二極體111B之重置訊號,以便能在固定影格率讀出操作時改變第一曝光時間T1',由T1'_1改變成T1'_2。另外控制電路14B可以選擇第二曝光控制電路142B或是第四曝光控制電路144B去控制第二光電二極體112B、第三光電二極體113B、第四光電二極體114B之重置訊號,以便能在固定影格率讀出操作時改變第二曝光時間T2',由T2'_1改變成T2'_2。藉此,根據本發明之影像感測結構100可以藉由增加獨立的曝光控制電路,以應用於固定影格率讀出操作的環境中,使得本發明之影像感測結構100具有廣泛適用性之功效,然而本發明不限於此。
以上係藉由特定的具體實施例說明本發明之實施方式,所屬技術領域具有通常知識者可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
以上所述僅為本發明之較佳實施例,並非用以限定本發明之範圍;凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾,均應包含在下述之專利範圍內。
100,100B:影像感測結構
11,11B:光電二極體
111,111B:第一光電二極體
112,112B:第二光電二極體
113,113B:第三光電二極體
114,114B:第四光電二極體
12:浮動擴散點
13:傳輸電路
131:第一傳輸電路
132:第二傳輸電路
14,14B:控制電路
141,141B:第一曝光控制電路
142,142B:第二曝光控制電路
143B:第三曝光控制電路
144B:第四曝光控制電路
15:放大選擇電路
151:放大電晶體
152:選擇電晶體
153:訊號線
16:重置電路
17:電壓維持斜坡電路
18:影像暫存器
19:控制選擇電路
211:第一電壓
212:第二電壓
213:第三電壓
214:第四電壓
221:第一電壓訊號
222:第二電壓訊號
223:第三電壓訊號
224:第四電壓訊號
300:影像感測裝置
31:影像感測陣列
311:感測單元
32:影像處理電路
51:第一像素資料
52:第二像素資料
53:第三像素資料
54:第四像素資料
55:自動曝光收斂操作
56:曝光參數
561:曝光時間
562:光圈大小
563:感光度
57:影像資訊
S1,S2,S3:步驟
S11:第一重置步驟
S12:第二重置步驟
S13:第一傳送步驟
S14:第一選擇步驟
S15:收斂步驟
S16:第二傳送步驟
S17:第二選擇步驟
S18:影像融合步驟
S21:第三重置步驟
S22:第四重置步驟
S23:第三傳送步驟
S24:第三選擇步驟
S25:第四傳送步驟
S26:第四選擇步驟
SEL:外部選擇訊號
RST:重置訊號
RST0:第一重置訊號
RST0':第一固定重置訊號
RST1:第二重置訊號
RST1':第二固定重置訊號
RST2:第三重置訊號
RST3:第四重置訊號
TX,TX':傳輸訊號
TX0:第一傳輸訊號
TX1:第二傳輸訊號
TX2:第三傳輸訊號
TX3:第四傳輸訊號
T1:第一曝光時間
T1':第一固定曝光時間
T2:第二曝光時間
T2':第二固定曝光時間
T3:第三曝光時間
T4:第四曝光時間
圖1為根據本發明之影像感測裝置的示意圖;
圖2為根據本發明之影像感測方法的步驟圖;
圖3為示例性說明根據本發明之影像感測裝置實際執行影像感測方法的流程圖;
圖4為根據本發明之影像感測方法的又一步驟圖;
圖5為根據本發明第一實施例之影像感測結構的示意圖;
圖6為根據本發明第一實施例之影像感測方法的步驟圖;
圖7為說明根據本發明第一實施例之影像感測方法的訊號示意圖;
圖8為說明根據本發明第一實施例之影像感測結構實際執行影像感測方法的流程圖;
圖9為根據本發明第二實施例之影像感測結構的示意圖;
圖10為根據本發明第二實施例之影像感測結構的電路圖;
圖11為根據本發明第二實施例之影像感測方法的步驟流程圖;
圖12為說明根據本發明之影像感測方法實際執行過程的示意圖;
圖13為說明根據本發明第一實施例的影像感測方法之重置訊號與傳輸訊號的時脈圖;
圖14A為示例性說明習知技術自動曝光收斂的示意圖;
圖14B為說明本發明之影像感測結構進行自動曝光收斂的示意圖;
圖15為根據本發明第三實施例之影像感測結構的示意圖;
圖16為說明根據本發明第三實施例的影像感測結構之重置訊號與傳輸訊號的部分時脈圖。
300:影像感測裝置
31:影像感測陣列
311:感測單元
32:影像處理電路
Claims (17)
- 一種影像感測裝置,其係包含:一影像感測陣列,其係包含有複數感測單元,該等感測單元係分別產生複數像素資料;一影像處理電路,其係耦接於該影像感測陣列;其中,該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,該第二像素資料係曝光一第二曝光時間產生,該第一曝光時間小於該第二曝光時間,並且該影像處理電路透過該第一像素資料執行一自動曝光收斂操作,以產生新的該自動曝光收斂操作之複數曝光參數,並且根據該等曝光參數調整該第二曝光時間,使得該第二像素資料為經過曝光時間改變的像素資料,以及其中,該影像感測陣列為多重影格率陣列,該影像處理電路透過曝光時間較短且影格率較高的該第一像素資料進行該自動曝光收斂操作,當該第一像素資料經過了數個第一影格的時間完成自動曝光收斂時,該第二像素資料仍然在第二影格率一幀的時間內。
- 如請求項1所述的影像感測裝置,其中,該影像處理電路依據不同曝光時間之該等像素資料進行影像融合產生一影像資訊。
- 如請求項2所述的影像感測裝置,其中,該等感測單元具有一影像感測結構,該影像感測結構各別包括:一光電二極體;一傳輸電路,其係耦接於該光電二極體;一重置電路,其係耦接於該傳輸電路;其中,該重置電路用以接收一重置訊號,並且該傳輸電路用以接收一傳輸訊號,該重置電路根據該重置訊號重置該光電二極體中之電荷,該傳輸電路根據該傳輸訊號將累積於該光電二極體中之電荷轉換為該像素資料。
- 如請求項3所述的影像感測裝置,其中,至少一部分的該等感測單元為一第一感測單元,該第一感測單元的該重置電路接收一第一重置訊號,並且該第一感測單元的傳輸電路接收一第一傳輸訊號,該第一重置訊號與該第一傳輸訊號之間的時間差為該第一曝光時間。
- 如請求項4所述的影像感測裝置,其中,至少一部分的該等感測單元為一第二感測單元,該第二感測單元的該重置電路接收一第二重置訊號,並且該第二感測單元的傳輸電路接收一第二傳輸訊號,又,該第二傳輸訊號的時序介於該第一重置訊號以及該第二重置訊號之間。
- 如請求項5所述的影像感測裝置,其中,該等感測單元各別的該第二重置訊號以及該第二傳輸訊號之間的時間差為該第二曝光時間。
- 如請求項5所述的影像感測裝置,其中,至少一部分的該等感測單元為一第三感測單元,該第三感測單元的該重置電路接收一第三重置訊號,並且該第三感測單元的傳輸電路接收一第三傳輸訊號,又,該第三傳輸訊號的時序介於該第二重置訊號以及該第三重置訊號之間。
- 如請求項7所述的影像感測裝置,其中,該等感測單元各別的該第三重置訊號以及該第三傳輸訊號之間的時間差為該第二曝光時間。
- 如請求項7所述的影像感測裝置,其中,至少一部分的該等感測單元為一第四感測單元,該第四感測單元的該重置電路接收一第四重置訊號,並且該第四感測單元的傳輸電路接收一第四傳輸訊號,又,該第四傳輸訊號的時序介於該第三重置訊號以及該第四重置訊號之間。
- 如請求項9所述的影像感測裝置,其中,該等感測單元各別的該第四重置訊號以及該第四傳輸訊號之間的時間差為該第二曝光時間。
- 如請求項9所述的影像感測裝置,其係進一步包含有複數濾波片,該等濾波片包含一白光濾波片、一紅光濾波片、一綠光濾波片以及一藍光濾波片,該白光濾波片設置於該第一感測單元上,該紅光濾波片設置於該第二感測單元上,該綠光濾波片設置於該第三感測單元上,該藍光濾波片設置於該第四感測單元上。
- 如請求項3所述的影像感測裝置,其中,該等感測單元進一步包含有一控制電路,其係耦接於該傳輸電路以及該重置電路,該控制電路係用於產生該傳輸訊號以及該重置訊號。
- 如請求項12所述的影像感測裝置,其中,該控制電路包含有一第一曝光控制電路以及一第二曝光控制電路,該第一曝光控制電路係用於產生該第一傳輸訊號以及該第一重置訊號,該第二曝光控制電路係用於產生該第二傳輸訊號以及該第二重置訊號。
- 如請求項1所述的影像感測裝置,其係進一步包含有一影像暫存器,其係耦接於該影像處理電路,該影像暫存器係用於儲存該等像素資料。
- 一種影像感測方法,其係包含有:藉由一影像感測陣列之複數感測單元分別產生複數像素資料,其中該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,該第二像素資料係曝光一第二曝光時間產生,該第一曝光時間小於該第二曝光時間;以及藉由一影像處理電路透過該第一像素資料執行一自動曝光收斂操作,以產生新的該自動曝光收斂操作之複數曝光參數,並且調整該第二曝光時間,使得第二像素資料具有較佳的曝光時間,其中,由於該第一曝光時間小於該第二曝光時間,藉由該影像處理電路透過具有較高影格率之該第一像素資料執行該自動曝光收斂操作,以產生該新的該自動曝光收斂操作之該等曝光參數,並且調整該第二曝光時間,並且可在該第二曝光進行中,但尚未完成時,進行增益與曝光時間長度的更新。
- 如請求項15所述的影像感測方法,其係進一步包含有:該影像處理電路依據不同曝光時間之該等像素資料進行影像融合產生一影像資訊。
- 一種影像感測方法,其係包含有:藉由一影像感測陣列之複數感測單元分別產生複數像素資料,其中該等像素資料包含有一第一像素資料以及一第二像素資料,該第一像素資料係曝光一第一曝光時間產生,該第二像素資料係曝光一第二曝光時間產生,該第一曝光時間小於該第二曝光時間;以及 藉由一影像處理電路透過該第一像素資料執行一自動曝光收斂操作,以產生新的該自動曝光收斂操作之複數曝光參數,並且調整該第二曝光時間,使得第二像素資料具有較佳的曝光時間,其中,於該自動曝光收斂操作後,在一幀的時間內,產生該新的該自動曝光收斂操作之該等曝光參數,並且調整該第二曝光時間,並且使用在與該第二像素資料關連的第二像素上。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263345920P | 2022-05-26 | 2022-05-26 | |
US63/345,920 | 2022-05-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202348014A TW202348014A (zh) | 2023-12-01 |
TWI835536B true TWI835536B (zh) | 2024-03-11 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113508416A (zh) | 2019-03-29 | 2021-10-15 | 苹果公司 | 图像融合处理模块 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113508416A (zh) | 2019-03-29 | 2021-10-15 | 苹果公司 | 图像融合处理模块 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102083292B1 (ko) | 이미지 센서, 이미징 장치, 이동 단말기 및 이미징 방법 | |
KR20200113484A (ko) | 이미지 센서 및 그 동작 방법 | |
US20160165161A1 (en) | Image sensing system and method of driving the same | |
WO2021227022A1 (zh) | 一种成像方法、成像装置、可移动平台和电子设备 | |
JP5034936B2 (ja) | 固体撮像素子及びこれを用いた撮像装置 | |
US11665444B2 (en) | Image sensor, pixel, and method of operating the pixel | |
JP2018174586A (ja) | 撮像素子および撮像装置 | |
JP2016224278A (ja) | 撮像装置及び撮像素子の制御方法 | |
KR102632474B1 (ko) | 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서 | |
TWI835536B (zh) | 影像感測裝置及其影像感測方法 | |
JP2018056703A (ja) | 撮像素子および撮像装置 | |
TW202348014A (zh) | 影像感測裝置及其影像感測方法 | |
JP2011015086A (ja) | 撮像装置 | |
JP2019213216A (ja) | 制御装置、移動体および通信方法 | |
TWI835535B (zh) | 影像感測裝置 | |
JP4170131B2 (ja) | 撮像制御方法および撮像制御装置 | |
US11496700B1 (en) | HDR image sensor employing multi-tap pixel architecture and method for operating same | |
US20180234605A1 (en) | Imaging element and imaging apparatus | |
JP6594048B2 (ja) | 撮像装置及びその制御方法 | |
JP2014217011A (ja) | 固体撮像素子および撮像装置 | |
WO2021217640A1 (zh) | 一种成像装置、成像方法以及相机 | |
JP2002158929A (ja) | 固体撮像素子、固体撮像装置及び撮像システム | |
US20230156360A1 (en) | Image sensor and operation method of the image sensor | |
US11750933B2 (en) | Image sensing device | |
JP2016225848A (ja) | 撮像装置及び撮像素子の制御方法 |