TW202416721A - 固態成像裝置及電子裝置 - Google Patents
固態成像裝置及電子裝置 Download PDFInfo
- Publication number
- TW202416721A TW202416721A TW112121568A TW112121568A TW202416721A TW 202416721 A TW202416721 A TW 202416721A TW 112121568 A TW112121568 A TW 112121568A TW 112121568 A TW112121568 A TW 112121568A TW 202416721 A TW202416721 A TW 202416721A
- Authority
- TW
- Taiwan
- Prior art keywords
- pixels
- pixel
- filter
- main
- sub
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title description 155
- 238000001514 detection method Methods 0.000 claims description 76
- 239000003086 colorant Substances 0.000 abstract description 26
- 238000003491 array Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 45
- 238000005516 engineering process Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 4
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Abstract
本發明提供包含具有主像素及子像素之像素陣列之光偵測裝置。一半以上之該等主像素可具有清透濾光片、黃色濾光片或無色濾光片。該等子像素可具有不同色彩之彩色濾光片,諸如紅色、藍色及綠色濾光片。一些該等主像素可具有紅色濾光片。一處理器可用以基於來自該等主像素及子像素之信號產生影像資料。可使用內插來計算該等主像素之間之位置之中間主像素信號及該等子像素之間之位置之中間子像素信號。該等光偵測裝置可包含於汽車相機系統中且包含於車輛中。一車輛控制系統可基於使用該光偵測裝置產生之影像資料來控制一車輛。
Description
本技術係關於一種固態成像裝置及一種電子裝置。
習知地,諸如影像感測器之固態成像裝置(固態成像元件)中存在三種色彩類型之彩色濾光片,例如,紅色、綠色及藍色,或紅色、黃色及青色。
[引文清單]
[專利文獻]
[PTL 1]
JP 2015-65270 A
[技術問題]
在一些習知固態成像裝置中,難以在不增加像素區段之大小之情況下增加低照度側上之靈敏度及動態範圍。
本技術已鑑於此等情境而產生,且使得當一像素區段係由在光接收區域上不同之兩種類型之像素組態時,可在不增加像素區段之大小之情況下增加低照度側上之靈敏度及動態範圍。
[問題之解決方案]
根據本發明之態樣,提供一種光偵測裝置,其包括一像素陣列,該像素陣列包括複數個主像素及具有彩色濾光片之複數個子像素,其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片。
在一些實施例中,該複數個子像素包括具有一第一色彩之彩色濾光片之一第一群組子像素、具有一第二色彩之彩色濾光片之一第二群組子像素,及具有一第三色彩之彩色濾光片之一第三群組子像素。在一些實施例中,該第一色彩之該彩色濾光片包括一紅色濾光片。在一些實施例中,該第二色彩之該彩色濾光片包括一藍色濾光片,且該第三色彩之該彩色濾光片包括一綠色濾光片。在一些實施例中,該第一色彩之該彩色濾光片包括一紅色濾光片,該第二色彩之該彩色濾光片包括一黃色濾光片,且該第三色彩之該彩色濾光片包括一青色濾光片。在一些實施例中,該複數個主像素之各主像素之一光接收區域包括一八邊形形狀。在一些實施例中,該複數個主像素之各主像素具有一清透濾光片或無色濾光片。在一些實施例中,該複數個主像素之至少一個主像素具有一紅色濾光片。在一些實施例中,光偵測裝置進一步包括在一行方向上延伸之一行信號線及在一水平方向上延伸之一像素控制信號線,其中該複數個主像素及該複數個子像素係配置成在該行方向上之複數個像素行及在該水平方向上之複數個像素列。在一些實施例中,該複數個主像素之至少一個主像素具有一紅色濾光片。在一些實施例中,該複數個主像素之至少一個主像素具有一紅色濾光片且該複數個主像素之至少一個主像素具有一藍色濾光片。在一些實施例中,該複數個像素列之各像素列包含具有一清透濾光片或無色濾光片之至少一個像素。在一些實施例中,該複數個像素行之各像素行包含具有一清透濾光片或無色濾光片之至少一個像素。在一些實施例中,一半以上之該複數個主像素具有黃色濾光片,該複數個主像素之至少一個主像素具有一紅色濾光片,且該複數個主像素之至少一個主像素具有一青色濾光片。在一些實施例中,該光偵測裝置進一步包括一處理器,該處理器經組態以基於來自該複數個主像素之信號及來自該複數個子像素之信號產生影像資料。在一些實施例中,該處理器經組態以使用內插來計算該複數個主像素之主像素之間的位置之中間主像素信號及該複數個子像素之子像素之間的位置之中間子像素信號,且該處理器經組態以基於來自該複數個主像素之信號、來自該複數個子像素之信號、該等中間主像素信號及該等中間子像素信號來產生該影像資料。
根據本發明之態樣,提供一種車輛,其包括:一光偵測裝置,其經組態以產生信號;一處理器,其經組態以基於來自該光偵測裝置之該等信號產生影像資料;一車輛控制系統,其經組態以基於該影像資料控制該車輛,其中該光偵測裝置包括一像素陣列,該像素陣列包括複數個主像素及具有彩色濾光片之複數個子像素,其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片。
根據本發明之態樣,提供一種汽車相機系統,其包括:一透鏡;一光偵測裝置,其包括一像素陣列,該像素陣列包括複數個主像素及具有彩色濾光片之複數個子像素,其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片;及一處理器,其經組態以基於來自該複數個主像素之信號及來自該複數個子像素之信號產生影像資料。
在一些實施例中,該複數個主像素之至少一個主像素具有一紅色濾光片。在一些實施例中,該處理器經組態以使用內插來計算該複數個主像素之主像素之間的位置之中間主像素信號及該複數個子像素之子像素之間的位置之中間子像素信號,且該處理器經組態以基於來自該複數個主像素之信號、來自該複數個子像素之信號、該等中間主像素信號及該等中間子像素信號來產生該影像資料。
根據本技術之第一態樣,一種固態成像裝置包含:一像素陣列,其中複數個像素區段係配置成一矩陣,該複數個像素區段各自由具有一第一光接收區域之一子像素及具有大於該第一光接收區域之一第二光接收區域之一主像素組態,其中由配置於該像素陣列中之該複數個子像素的各者之彩色濾光片組態之一第一彩色濾光片群組係由三種類型之彩色濾光片組態;由配置於該像素陣列中之該複數個主像素的各者之彩色濾光片組態之一第二彩色濾光片群組之至少一些濾光片係透射在包含一綠光頻帶之一頻帶中之光之寬頻彩色濾光片;且該第二彩色濾光片群組中之該等寬頻彩色濾光片之比率大於50%。
在本技術之第一態樣中,提供像素陣列,其中複數個像素區段係配置成一矩陣,該複數個像素區段各自由具有一第一光接收區域之一子像素及具有大於該第一光接收區域之一第二光接收區域之一主像素組態,由配置於該像素陣列中之該複數個子像素的各者之彩色濾光片組態之第一彩色濾光片群組係由三種類型之彩色濾光片組態;由配置於該像素陣列中之該複數個主像素的各者之彩色濾光片組態之第二彩色濾光片群組之至少一些濾光片係透射在包含一綠光頻帶之一頻帶中之光之寬頻彩色濾光片;且該第二彩色濾光片群組中之該等寬頻彩色濾光片之比率大於50%。
根據本技術之第二態樣,一種電子裝置包括:一固態成像元件,其經組態以包含:一像素陣列,其中複數個像素區段係配置成一矩陣,該複數個像素區段各自由具有一第一光接收區域之一子像素及具有大於該第一光接收區域之一第二光接收區域之一主像素組態,由配置於該像素陣列中之該複數個子像素的各者之彩色濾光片組態之一第一彩色濾光片群組係由三種類型之彩色濾光片組態;由配置於該像素陣列中之該複數個主像素的各者之彩色濾光片組態之一第二彩色濾光片群組之至少一些濾光片係透射在包含一綠光頻帶之一頻帶中之光之寬頻彩色濾光片;且該第二彩色濾光片群組中之寬頻彩色濾光片之比率大於50%;及一產生單元,其藉由使用子像素信號及主像素信號來產生一影像,該等子像素信號係對應於由該等子像素接收之光之像素信號,該等主像素信號係對應於由該等主像素接收之光之像素信號。
在本技術之第二態樣中,提供像素陣列,其中複數個像素區段係配置成一矩陣,該複數個像素區段各自由具有一第一光接收區域之一子像素及具有大於該第一光接收區域之一第二光接收區域之一主像素組態,由配置於該像素陣列中之該複數個子像素的各者之彩色濾光片組態之第一彩色濾光片群組係由三種類型之彩色濾光片組態;由配置於該像素陣列中之該複數個主像素的各者之彩色濾光片組態之第二彩色濾光片群組之至少一些濾光片係透射在包含一綠光頻帶之一頻帶中之光之寬頻彩色濾光片;且該第二彩色濾光片群組中之該等寬頻彩色濾光片之比率大於50%。此外,使用子像素信號及主像素信號來產生一影像,該等子像素信號係對應於由該等子像素接收之光之像素信號,該等主像素信號係對應於由該等主像素接收之光之像素信號。
[相關申請案之交叉參考]
本申請案主張2022年6月21日申請之日本優先權專利申請案JP 2022-099409之權利,該案之全部內容以引用的方式併入本文中。
在下文中,將描述用於實行本技術之模式(在下文中被稱為實施例)。依以下順序給出說明:1. 第一實施例(其中相鄰主像素之彩色濾光片之陣列方向係列方向之成像裝置);2. 第二實施例(其中相鄰主像素之彩色濾光片之陣列方向相對於列方向傾斜45度之成像裝置);及3. 應用於行動物件之實例。
在於以下描述中參考之圖式中,相同或類似部分係由相同或類似元件符號表示。然而,圖式係示意性的,且可包含在圖式之間具有不同尺寸關係及比率之部分。
此外,以下描述中之諸如向上及向下之方向之定義僅為便於描述而給出,且不限制本發明之技術理念。例如,在一物件旋轉90°且被觀察時,頂部及底部被理解為轉換為左側及右側,且在物件旋轉180°且被觀察時,頂部及底部被理解為顛倒。
本發明係關於一種固態成像裝置及一種電子裝置,且特定言之係關於一種使得當一像素區段係由在光接收區域上不同之兩種類型之像素組態時,能夠在不增加像素區段之大小之情況下增加低照度側上之靈敏度及動態範圍之固態成像裝置及電子裝置。
一種增加像素之大小之方法被用於在一固態成像裝置中捕捉高靈敏度影像。然而,運用此方法,在像素之數目不變之情況下,固態成像裝置之大小增加,此提高固態成像裝置之成本且增加包含固態成像裝置之一相機之大小,藉此對相機之安裝位置施加限制。同時,在固態成像裝置之大小不變之情況下,像素之數目減少且解析度降低。
一種增加像素之數目之方法被用於在一固態成像裝置中捕捉高解析度影像。然而,運用此方法,在像素之大小不變之情況下,固態成像裝置之大小增加,此提高固態成像裝置之成本且增加包含固態成像裝置之一相機之大小,藉此對相機之安裝位置施加限制。同時,在像素之大小減小之情況下,可實現高解析度同時抑制固態成像裝置之大小之增加,但靈敏度降低。
存在一種固態成像裝置,其具有具一大孔徑之像素及具一小孔徑之像素,且其中兩種類型之相鄰像素具有相同色彩(紅色、綠色或藍色)之一彩色濾光片以增加動態範圍(例如,參見PTL 1)。
<1. 第一實施例>
<成像裝置之組態實例>
本文中描述光偵測裝置。一光偵測裝置可包括一成像裝置。圖1係展示作為應用本技術之一電子裝置的一成像裝置之第一實施例之一例示性組態之一方塊圖。
圖1中之一成像裝置11係由一光學系統12、一快門裝置13、一固態成像元件14、一控制電路15、一信號處理電路16、一監視器17及一記憶體18組態。成像裝置11捕捉一物件之一影像,且顯示或記錄一HDR影像(其係一高動態範圍影像)作為一經捕捉影像。
明確言之,光學系統12具有一個或複數個透鏡,將來自物件之光導引至固態成像元件14,且在固態成像元件14之光接收表面上形成一影像。
快門裝置13係配置於光學系統12與固態成像元件14之間,且根據由控制電路15之控制來控制用光輻照固態成像元件14之一週期及光被阻擋之一週期。
固態成像元件14係例如一CMOS (互補金屬氧化物半導體)影像感測器。固態成像元件14係藉由將由一主像素及一子像素(其等在一光接收區域上不同)組成之複數個像素區段配置成使用矽(Si)之一半導體基板上之一矩陣來組態。主像素具有大於子像素之光接收區域之一光接收區域。在不必區分主像素與子像素之情況下,其等被統稱為「像素」。
各像素具有一彩色濾光片。透過光學系統12及快門裝置13入射之光係由各像素透過彩色濾光片接收。在由控制電路15之控制下,固態成像元件14將一像素信號(其係對應於由各像素接收之光之一數位信號)輸出至信號處理電路16。
控制電路15控制快門裝置13及固態成像元件14。
信號處理電路16將從固態成像元件14供應之像素信號供應至記憶體18以儲存於其中。若有必要,則信號處理電路16讀取儲存於記憶體18中之像素信號,且藉由使用像素信號以產生具有子像素之彩色濾光片之各色彩的分量之子像素信號來執行去馬賽克(demosaicing)處理。信號處理電路16以相同方式關於主像素產生具有主像素之彩色濾光片之各色彩的分量之一主像素信號。信號處理電路16 (產生單元)藉由使用各像素區段之子像素信號及主像素信號來產生由對應於各像素區段之像素組成之一HDR (高動態範圍)影像。信號處理電路16供應HDR影像以在監視器17上顯示為一經捕捉影像,或記錄於一記錄媒體(未展示)上。
監視器17顯示從信號處理電路16供應之經捕捉影像。記憶體18儲存從信號處理電路16供應之像素信號。
如上文描述,固態成像元件14之各像素區段係由在一光接收區域上不同之一主像素及一子像素組態。因此,藉由使用構成各像素區段之主像素及子像素之像素信號來產生經捕捉影像,信號處理電路16可擴展經捕捉影像之動態範圍。
<CMOS影像感測器之例示性組態>
圖2展示圖1中之固態成像元件14之一例示性電路組態。
固態成像元件14包含其中複數個像素區段31配置成一矩陣之一像素陣列區段32、一垂直驅動電路33、行信號處理電路34、一水平驅動電路35、一輸出電路36、一控制電路37、一輸入/輸出終端機38及類似者。
像素區段31係由一主像素31a及一子像素31b組態。主像素31a及子像素31b各自具有作為一光電轉換元件之一光電二極體,及複數個像素電晶體。主像素31a之光電二極體之光接收區域大於子像素31b之光電二極體之光接收區域。
垂直驅動電路33係由例如一位移暫存器組態,且透過一像素驅動佈線39連接至各列之像素區段31。垂直驅動電路33根據從控制電路37供應之一時脈信號或控制信號來選擇一預定像素驅動佈線39,且將用於驅動像素區段31之一脈衝供應至像素驅動佈線39,藉此以列為單位驅動像素區段31。明確言之,垂直驅動電路33以列為單位在垂直方向上相繼地選擇及掃描像素陣列區段32之像素區段31。因此,基於根據像素區段31之各主像素31a及各子像素31b之光電二極體中的所接收光量產生之信號電荷之像素信號係以列為單位透過各別垂直信號線40輸出至行信號處理電路34。
行信號處理電路34經配置用於各行像素區段31,且透過垂直信號線40連接至與其對應之行之像素區段31的主像素31a及子像素31b之各者。行信號處理電路34根據從控制電路37供應之一時脈信號或控制信號關於透過垂直信號線40從與其對應之行之像素區段31的主像素31a及子像素31b之各者輸入之像素信號執行諸如雜訊移除之信號處理。此信號處理之實例包含用於移除像素固有之固定圖案雜訊之CDS (相關雙重取樣)、AD (類比數位)轉換及類似者。
水平驅動電路35係由例如一位移暫存器組態。水平驅動電路35根據從控制電路37供應之一時脈信號或控制信號將水平掃描脈衝相繼地輸出至各行信號處理電路34。因此,水平驅動電路35有序地選擇行信號處理電路34之各者,且將主像素31a及子像素31b之像素信號從行信號處理電路34之各者輸出至各自水平信號線41。
輸出電路36關於透過水平信號線41從行信號處理電路34之各者相繼供應之主像素31a及子像素31b之各像素信號執行信號處理,且輸出經處理信號。輸出電路36可例如僅執行緩衝,或可執行黑階調整、行擴展校正、各種類型之數位信號處理及類似者。輸入/輸出終端機38與外部交換信號。
控制電路37輸入來自圖1中之控制電路15之一垂直同步信號、一水平同步信號、一主控時脈及類似者。控制電路37基於垂直同步信號、水平同步信號及主控時脈來產生時脈信號及控制信號作為對垂直驅動電路33、行信號處理電路34及水平驅動電路35之操作之參考。控制電路37將此等時脈信號及控制信號輸出至垂直驅動電路33、行信號處理電路34及水平驅動電路35。
[例示性第一彩色濾光片陣列]
圖3係展示在圖2中之像素陣列區段32中提供之例示性第一彩色濾光片陣列之一俯視圖。圖3展示一項實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
在圖3中,僅展示4×4像素區段31 (其等係在像素陣列區段32中提供之像素區段之部分)之彩色濾光片,但同樣適用於其他像素區段31之彩色濾光片。對於在下文描述之圖4、圖5及圖8同樣如此。
在圖3中之實例中,當從上方觀看時,各主像素31a之一彩色濾光片61a具有一規則八邊形形狀。由配置於像素陣列區段32中之主像素31a之彩色濾光片61a構成的一大彩色濾光片群組(第二彩色濾光片群組)之全部彩色濾光片61a係透射包含綠色(其係一亮度分量)之全部可見色彩的光之白色(清透) (W)彩色濾光片。在一些實施例中,像素可具有無色濾光片。
當從上方觀看時,各子像素31b之一彩色濾光片61b具有與彩色濾光片61a之規則八邊形之右下側接觸之一方形形狀。由配置於像素陣列區段32中之子像素31b之彩色濾光片61b構成的一小彩色濾光片群組(第一彩色濾光片群組)之陣列係一拜耳陣列。明確言之,在小彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為2 (列)×2 (行)彩色濾光片61b之陣列單元62之情況下,此陣列單元62內之左上側彩色濾光片61b之色彩係紅色(R)。右上側及左下側彩色濾光片61b之色彩係綠色(G),且右下側彩色濾光片61b之色彩係藍色(B)。即,小彩色濾光片群組係由紅色、綠色及藍色之三種類型之彩色濾光片組態。
<大彩色濾光片群組之陣列之效應>
將在下文參考圖4說明由圖3中之大彩色濾光片群組之陣列產生之效應。
在大彩色濾光片群組之陣列係類似於如圖4中展示之小彩色濾光片群組的陣列之一拜耳陣列之情況下,由主像素31a之光電二極體接收之光僅為紅色、綠色或藍色。因此,不增加低照度(低亮度)側上之動態範圍。
相比之下,運用圖3中展示之陣列,大彩色濾光片群組之全部彩色濾光片61a係透射全部可見色彩之光之白色濾光片(換言之,清透濾光片)。因此,由主像素31a之光電二極體接收之光係全部可見色彩之光。因此,成像裝置11可增加低照度側上之動態範圍且增加低照度側上之亮度之SN (信號/雜訊)比。因此,可改良HDR影像中在低照度下捕捉影像之物件之可見性。
然而,由於由主像素31a之光電二極體接收之光係全部可見色彩之光,故主像素信號僅具有一白色分量,即,不具有彩色分量。因此,無法區分HDR影像中具有低照度之物件之色彩。然而,由於小彩色濾光片群組之陣列係一拜耳陣列,故子像素信號具有紅色、綠色及藍色分量。因此,可執行HDR影像中之高亮度物件之色彩再現。
小彩色濾光片群組之陣列可不同於拜耳陣列,只要可使用子像素信號執行色彩再現即可。此外,彩色濾光片61b之色彩類型不限於紅色、綠色及藍色之三種色彩,且可為例如黃色、紅色及青色之三種色彩。
彩色濾光片61a不限於一白色濾光片(無色濾光片),只要其係一寬頻彩色濾光片即可,該寬頻彩色濾光片係透射在包含由一綠色濾光片透射之光(即,促成一亮度值之光)的頻帶之一頻帶中之光之一彩色濾光片。例如,彩色濾光片61a之色彩可為黃色、綠色、青色及類似者。在此情況下,由於由主像素31a之光電二極體接收之光促成亮度值,故亦可增加低照度側上之動態範圍。
<例示性第二彩色濾光片陣列>
圖5係展示在像素陣列區段32中提供之例示性第二彩色濾光片陣列之一俯視圖。圖5展示另一實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
在圖5中之例示性陣列中,對應於圖3中之例示性陣列之部分之部分被指派相同元件符號。因此,適當地省略對此等部分之說明,且將說明專注於不同於圖3中之例示性陣列中之部分之部分。圖5中之例示性陣列與圖3中展示之例示性陣列之不同之處在於,大彩色濾光片群組之一些彩色濾光片係紅色濾光片,且除此之外係以與圖3中之例示性陣列相同之方式組態。
明確言之,在大彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為2 (列)×2 (行)彩色濾光片101之陣列單元102之情況下,此陣列單元102內之左上側彩色濾光片101之色彩係紅色(R)。其他三個彩色濾光片101之色彩係白色(W)。
即,大彩色濾光片群組之僅一些彩色濾光片101係白色濾光片。此外,當圖4中展示之大彩色濾光片群組之陣列係一拜耳陣列時,大彩色濾光片群組中之白色濾光片101之比率大於大彩色濾光片群組中之綠色濾光片81之比率。明確言之,圖5中展示之大彩色濾光片群組中之白色濾光片101之比率係75% (3/4),此大於圖4中之大彩色濾光片群組中之綠色濾光片81之比率50% (2/4)。
由上文得出,運用圖5中之陣列,與圖4中之陣列相比,可以與圖3中之陣列相同之方式增加低照度側上之動態範圍。此外,運用圖5中之陣列,由於由具有紅色濾光片101之主像素31a之光電二極體接收之光係紅光,故主像素信號具有一紅色分量。可在一HDR影像中區分一低照度物件之紅色。
在圖5中展示之實例中,除白色濾光片101之外之彩色濾光片101之色彩係紅色,但其可為藍色或其他色彩。此外,彩色濾光片101之色彩之數目不限於一種。例如,兩個相鄰陣列單元102之左上側彩色濾光片101之一者可為一紅色濾光片且另一者可為一藍色或青色濾光片。
如在上文描述,在固態成像元件14中,在圖3中之大彩色濾光片群組之陣列係一拜耳陣列之情況下,大彩色濾光片群組中之彩色濾光片61a (101)之比率大於大彩色濾光片群組中之綠色濾光片81之比率。即,固態成像元件14之大彩色濾光片群組具備比圖3中之大彩色濾光片群組寬之一頻帶。因此,運用固態成像元件14,可在不增加主像素31a之大小之情況下增加低照度側上之動態範圍。因此,成像裝置11可在不增加大小之情況下以高解析度捕捉一高靈敏度HDR影像。
相比之下,在大彩色濾光片群組之陣列係如圖3中展示之一拜耳陣列之情況下,需要增加主像素31a之大小以增加低照度側之動態範圍。因此,固態成像元件14之大小增加,或主像素31a之數目減少,以抑制固態成像元件14之大小之增加,且HDR影像之解析度降低。
<2. 第二實施例>
<成像裝置之例示性組態>
圖6係展示作為採用本技術之一電子裝置的成像裝置之第二實施例之一例示性組態之一方塊圖。
在圖6中之一成像裝置111中,對應於圖1中之成像裝置11之部分被指派相同元件符號。因此,適當地省略對此等部分之說明,且將說明專注於不同於圖1中之成像裝置11中之部分之部分。成像裝置111與成像裝置11之不同之處在於,大彩色濾光片群組內之相鄰彩色濾光片之陣列方向係相對於列方向向右傾斜45度,且執行像素內插,且除此之外係以與成像裝置11相同之方式組態。
成像裝置111可包含經組態以產生影像資料之至少一個處理器。至少一個處理器可經組態以基於來自包含於固態影像裝置(imagine device) 114中之一像素陣列的像素之信號產生影像資料。明確言之,圖6中之成像裝置111包含一固態成像元件114及一信號處理電路116代替固態成像元件14及信號處理電路16。
固態成像元件114與固態成像元件14之不同之處在於,大彩色濾光片群組內之相鄰彩色濾光片之陣列方向係相對於列方向向右傾斜45度,且除此之外係以與固態成像元件14相同之方式組態。
信號處理電路116將從固態成像元件114供應之像素信號供應至記憶體18以儲存於其中。若有必要,則信號處理電路116以與信號處理電路16相同之方式在讀取儲存於記憶體18中之像素信號時產生子像素信號及主像素信號。
信號處理電路116 (產生單元)使用子像素信號來對在列方向及行方向上相鄰之兩個子像素之間的一中間位置處之子像素信號進行內插,且經內插信號可包括一中間子像素信號。信號處理電路116使用主像素信號來對在列方向及行方向上相鄰之兩個主像素之間的一中間位置處之主像素信號進行內插,且經內插信號可包括一中間主像素信號。信號處理電路116使用經內插子像素信號及經內插主像素信號來產生一HDR影像。信號處理電路116供應HDR影像以在監視器17上顯示為一經捕捉影像,或記錄於一記錄媒體(未展示)上。
此處,信號處理電路116在分別對子像素信號及主像素信號進行內插之後產生HDR影像,但內插可在產生HDR影像之後執行。在此情況下,信號處理電路116使用各像素區段之子像素信號及主像素信號來產生一HDR影像,類似於信號處理電路16。在此之後,信號處理電路116使用在HDR影像之列方向及行方向上相鄰之兩個像素之像素信號來對兩個像素之間之一中間位置處之像素信號進行內插。接著,信號處理電路116將經內插HDR影像設定為經捕捉影像。
固態成像元件114之組態與圖2中之固態成像元件14之組態相同,惟像素陣列區段之組態除外。因此,下文將僅描述固態成像元件114之像素陣列區段。
<像素陣列區段之例示性組態>
圖7係展示固態成像元件114之像素陣列區段之一例示性組態之一俯視圖。圖7展示另一實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
圖7之像素陣列區段130與像素陣列區段32之不同之處在於,大彩色濾光片群組中之相鄰彩色濾光片之陣列方向係相對於列方向向右傾斜45度,且除此之外係以與像素陣列區段32相同之方式組態。
明確言之,在圖7之像素陣列區段130中,複數個像素區段131係配置成一矩陣。在圖7中,僅展示4×8像素區段131 (其等係在像素陣列區段32中提供之像素區段之部分),但同樣適用於其他像素區段131。對於在下文描述之圖9至圖14同樣如此。
像素區段131係由一主像素131a及一子像素131b組成。當從上方觀看時,各主像素131a之一彩色濾光片161a具有一規則八邊形形狀。大彩色濾光片群組之全部彩色濾光片161a係白色濾光片。由圖7中之箭頭A指示之大彩色濾光片群組中的相鄰彩色濾光片161a之陣列方向與由箭頭L指示之列方向之間之角度係45度。
當從上方觀看時,各子像素131b之一彩色濾光片161b具有與彩色濾光片161a之規則八邊形之右側中央側接觸之一方形形狀。藉由使拜耳陣列向右傾斜45度而獲得小彩色濾光片群組之陣列。
明確言之,在小彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為向右傾斜45度之2 (列)×2 (行)彩色濾光片161b之陣列單元162之情況下,此陣列單元162內之第一列之一個彩色濾光片161b之色彩係紅色(R)。第二列中之兩個彩色濾光片161b兩者皆為綠色(G),且第三列中之一個彩色濾光片161b之色彩係藍色(B)。即,小彩色濾光片群組係由紅色、綠色及藍色之三種類型之彩色濾光片組態。
<彩色濾光片陣列之效應>
接著,將參考圖8至圖10描述圖7中之陣列之效應。
如圖8中展示,在像素區段31之間之間隔在列方向及行方向兩者上皆為P之情況下,在由圖9中之箭頭A展示的陣列方向上並排配置之相鄰主像素131a之間之間隔係P。
如上文描述,對在列方向及行方向上相鄰之兩個主像素131a之間的中間位置處之主像素信號及在列方向及行方向上相鄰之兩個子像素131b之間的中間位置處之子像素信號進行內插。
明確言之,例如,使用在列方向上相鄰之兩個主像素131a之主像素信號來對此兩個主像素131a之間的一中間位置C1處之主像素信號進行內插。使用在列方向上相鄰之兩個子像素131b之子像素信號來對此兩個子像素131b之間的一中間位置C2處之子像素信號進行內插。
因此,藉由使用相鄰主像素131a之間之間隔P,使用經內插主像素信號及子像素信號產生之HDR影像的像素之間在列方向及行方向上之一間隔Pi可由以下公式(1)來表示。
[數學表達式1]
根據公式(1),Pi係約P之1/1.4。
此處,在成像裝置11中,由於未執行內插,故由成像裝置11產生之HDR影像的像素之間在列方向及行方向上之間隔係P,此係像素區段31之間在列方向及行方向上之間隔。因此,由成像裝置111產生之HDR影像的像素之間在列方向及行方向上之解析度係由成像裝置11產生之HDR影像的像素之間在列方向及行方向上之解析度之約1.4倍。
如上文指示,在成像裝置111中,大彩色濾光片群組中之相鄰彩色濾光片161a之陣列方向係相對於列方向傾斜,且在列方向及行方向上對主像素信號及子像素信號進行內插。因此,與成像裝置11相比,可增加HDR影像之解析度。再者,由於主像素信號不具有一彩色分量,故主像素信號之內插不會產生假色或偽影。
同時,如圖10中展示,當藉由使拜耳陣列向右傾斜45度而獲得大彩色濾光片群組之陣列時,由圖10中之虛線展示之每隔一列及一行的主像素131a之一彩色濾光片171係一紅色或藍色濾光片。因此,當產生由圖10中之虛線指示之每隔一列及一行的交叉點處之主像素131a之主像素信號時,計算包含該位置之區域之白平衡,且計算綠色分量(亮度資訊)。因此,難以準確地產生彩色物件或彩色物件之邊界的主像素信號之亮度資訊。因此,可產生假色及偽影。
大彩色濾光片群組中之相鄰彩色濾光片161a之陣列方向相對於列方向之角度可不同於45度,只要該角度大於0度且小於90度即可。
<另一例示性第一彩色濾光片陣列>
圖11係展示在像素陣列區段130中提供之另一例示性第一彩色濾光片陣列之一俯視圖。圖11展示另一實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
在圖11中之例示性陣列中,對應於圖7中之例示性陣列之部分之部分被指派相同元件符號。因此,適當地省略對此等部分之說明,且將說明專注於不同於圖7中之例示性陣列中之部分之部分。圖11中之例示性陣列與圖7中之例示性陣列之不同之處在於,小彩色濾光片群組之陣列並非拜耳陣列,且除此之外係以與圖7中之例示性陣列相同之方式組態。
明確言之,在小彩色濾光片群組之陣列中,圖7中之拜耳陣列之綠色被替換為黃色(Ye),且藍色被替換為青色(Cy)。更明確言之,在小彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為向右傾斜45度之2 (列)×2 (行)彩色濾光片181之陣列單元182之情況下,陣列單元182內之第一列中的一個彩色濾光片181之色彩係紅色(R)。第二列中之兩個彩色濾光片181之色彩兩者皆為黃色(Ye),且第三列中之一個彩色濾光片181之色彩係青色(Cy)。即,小彩色濾光片群組係由紅色、黃色及青色之三種類型之彩色濾光片組態。
如上文描述,在圖11之例示性陣列中,小彩色濾光片群組包含黃色或青色濾光片181,其係一寬頻彩色濾光片。因此,改良具有此彩色濾光片181之子像素131b之靈敏度。另外,與圖7之情況相比,可抑制由子像素信號之內插引起之假色及偽影之出現。
相比之下,在圖7之例示性陣列中,由圖9中之虛線指示之每隔一列及一行的子像素131b之彩色濾光片161b係紅色或藍色濾光片。因此,當產生由圖9中之虛線指示之每隔一列及一行的交叉點處之子像素131b之子像素信號時,計算包含該位置之區域之白平衡,且計算綠色分量(亮度資訊)。因此,難以準確地產生彩色物件或彩色物件之邊界的子像素信號之亮度資訊。因此,可產生假色及偽影。
在由圖9中之虛線指示之每隔一列及一行中的子像素131b之一些彩色濾光片161b被製成寬頻彩色濾光片以抑制假色之出現之情況下,小彩色濾光片群組中之紅色及藍色濾光片之數目減少。因此,降低HDR影像之高亮度側上之色彩解析度。
<另一例示性第二彩色濾光片陣列>
圖12係展示在像素陣列區段130中提供之另一例示性第二彩色濾光片陣列之一俯視圖。圖12展示另一實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
在圖12中之例示性陣列中,對應於圖7中之例示性陣列之部分之部分被指派相同元件符號。因此,適當地省略對此等部分之說明,且將說明專注於不同於圖7中之例示性陣列中之部分之部分。圖12中之例示性陣列與圖7中之例示性陣列之不同之處在於,大彩色濾光片群組中之一些彩色濾光片係紅色濾光片,且除此之外係以與圖7中之例示性陣列相同之方式組態。
明確言之,在大彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為向右傾斜45度之2 (列)×2 (行)彩色濾光片201之陣列單元202之情況下,陣列單元202內之第一列中之一個彩色濾光片201之色彩係紅色(R)。其他三個彩色濾光片201之色彩係白色(W)。
即,大彩色濾光片群組之僅一些彩色濾光片201係白色濾光片。再者,當圖10中展示之大彩色濾光片群組之陣列係拜耳陣列時,大彩色濾光片群組中之白色濾光片201之比率高於大彩色濾光片群組中之綠色濾光片171之比率。明確言之,圖12中之大彩色濾光片群組中之白色濾光片201之比率係75% (= 3/4),且圖10中之大彩色濾光片群組中之綠色濾光片171之比率大於50% (= 2/4)。
如上文描述,運用圖12中之陣列,與圖10中之陣列相比,可增加低照度側上之動態範圍,正如圖7中之陣列。另外,運用圖12中之陣列,由具有紅色濾光片201之主像素131a之光電二極體接收之光係紅色,使得可在HDR影像中區分低照度物件之紅色,正如圖5中之陣列。
在圖12中之實例中,彩色濾光片201之色彩係紅色,但亦可使用諸如藍色之其他色彩。
<另一例示性第三彩色濾光片陣列>
圖13係展示在像素陣列區段130中提供之另一例示性第三彩色濾光片陣列之一俯視圖。圖13展示另一實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
在圖13中之例示性陣列中,對應於圖12中之例示性陣列之部分之部分被指派相同元件符號。因此,適當地省略對此等部分之說明,且將說明專注於不同於圖12中之例示性陣列中之部分之部分。圖13中之例示性陣列與圖12中之例示性陣列之不同之處在於,大彩色濾光片群組中之一些彩色濾光片係紅色或藍色濾光片,且除此之外係以與圖12中之例示性陣列相同之方式組態。
明確言之,在大彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為向右傾斜45度之2 (列)×2 (行)彩色濾光片221之陣列單元222之情況下,兩個相鄰陣列單元222之一者之左上側彩色濾光片221之色彩係紅色(R)。其他三個彩色濾光片221之色彩係白色(W)。其他相鄰陣列單元之左上側彩色濾光片221之色彩係藍色(B),且其他三個彩色濾光片221之色彩係白色(W)。即,大彩色濾光片群組係由白色、紅色及藍色之三種類型之彩色濾光片組成。
如上文描述,大彩色濾光片群組中之白色濾光片221之比率與圖12中之陣列中相同。因此,運用圖13中之陣列,可改良低照度側上之動態範圍,正如圖12中之陣列。另外,運用圖13中之陣列,由於大彩色濾光片群組係由白色、紅色及藍色之三種類型之彩色濾光片組成,故主像素信號具有此三種類型之彩色分量。因此,可在一HDR影像中再現一低照度物件之色彩。
相鄰陣列單元222之左上側彩色濾光片221之色彩不限於紅色及藍色,且可為例如紅色及青色。
<另一例示性第四彩色濾光片陣列>
圖14係展示在像素陣列區段130中提供之另一例示性第四彩色濾光片陣列之一俯視圖。圖14展示另一實施例,其中一像素陣列中之一半以上之主像素可具有清透濾光片、黃色濾光片或無色濾光片。
在圖14中之例示性陣列中,對應於圖13中之例示性陣列之部分之部分被指派相同元件符號。因此,適當地省略對此等部分之說明,且將說明專注於不同於圖13中之例示性陣列中之部分之部分。圖14中之例示性陣列與圖13中之例示性陣列之不同之處在於,大彩色濾光片群組之白色濾光片被替換為黃色濾光片,且藍色濾光片被替換為青色濾光片,且除此之外係以與圖13中之例示性陣列相同之方式組態。
明確言之,在大彩色濾光片群組係從左上側彩色濾光片開始相繼劃分為向右傾斜45度之2 (列)×2 (行)彩色濾光片241之陣列單元242之情況下,兩個相鄰陣列單元242之一個左上側彩色濾光片241之色彩係紅色(R)。其他三個彩色濾光片241之色彩係黃色(Ye)。另一左上側彩色濾光片241之色彩係青色(Cy),且其他三個彩色濾光片241之色彩係黃色(Ye)。即,大彩色濾光片群組係由黃色、紅色及青色之三種類型之彩色濾光片組成。
如上文描述,在圖10中展示之大彩色濾光片群組之陣列係拜耳陣列之情況下,大彩色濾光片群組中之黃色及青色濾光片241 (其等係寬頻彩色濾光片)之比率大於大彩色濾光片群組中之綠色濾光片171之比率。明確言之,圖12中之大彩色濾光片群組中之彩色濾光片201 (其等係寬頻彩色濾光片)之比率係87.5% (= 7/8),此大於圖10中之大彩色濾光片群組中之綠色濾光片171之比率50% (= 1/2)。
因此,運用圖14中之陣列,與圖10中之陣列相比,可改良低照度側上之動態範圍,正如圖12中之陣列。另外,運用圖14中之陣列,由於大彩色濾光片群組係由黃色、紅色及青色之三種類型之彩色濾光片組成,故主像素信號具有此三種類型之彩色分量。因此,可在一HDR影像中再現一低照度物件之色彩。由於此色彩再現需要劃分,故與圖10中之陣列相比,低照度側上之色彩之SN比率可劣化。
主像素131a之彩色濾光片161a (201、221、241)不限於白色或黃色濾光片,而可為綠色、青色或其他彩色濾光片,只要其等係寬頻彩色濾光片即可。
如上文描述,在固態成像元件114中,大彩色濾光片群組中之彩色濾光片161a (201、221、241) (其等係寬頻彩色濾光片)之比率大於圖10中之大彩色濾光片群組中之綠色濾光片171之比率。因此,如同成像裝置11,成像裝置111可在不增加大小之情況下以高解析度及高靈敏度捕捉HDR影像。
另外,在固態成像元件114中,大彩色濾光片群組中之相鄰彩色濾光片161a (201、221、241)之陣列方向與列方向之間的角度係45度,其大於0度且小於90度。因此,與固態成像元件14相比,固態成像元件114可藉由像素內插來改良經捕捉影像在列方向(水平方向)及行方向(垂直方向)上之解析度。
在固態成像元件114中,在列方向上相鄰之兩個主像素131a之至少一個彩色濾光片161a (201、221、241)及在行方向上相鄰之兩個主像素131a之至少一個彩色濾光片係寬頻彩色濾光片。因此,可防止由主像素信號之內插引起之假色及偽影之出現。
在於上文描述之第一及第二實施例中,使用主像素信號及子像素信號來產生及輸出一HDR影像,但主像素信號及子像素信號可按原樣輸出。
例如,本技術不僅可應用於諸如數位靜態相機及數位視訊相機之成像裝置,而且可應用於諸如具有成像功能之行動電話及具有成像功能之其他裝置之各種電子裝置。
<3. 應用於移動物件之實例>
根據本發明之技術(本技術)可應用於各種產品。例如,根據本發明之技術可實施為安裝於任何類型之移動物件上之一裝置,該移動物件諸如一汽車、一電動汽車、一混合電動汽車、一機車、一自行車、一個人行動器件、一飛機、一無人機、一船、一機器人及類似者。
圖15係展示一車輛控制系統之一示意性例示性組態之一方塊圖,其係可應用根據本發明之技術之一移動物件控制系統之一實例。本文中描述之車輛控制系統可經組態以基於使用本文中描述之光偵測裝置產生之影像資料來控制一車輛。
一車輛控制系統12000包含經由一通信網路12001連接之複數個電子控制單元。在圖15中展示之實例中,車輛控制系統12000包含一驅動系統控制單元12010、一主體系統控制單元12020、一車輛外部資訊偵測單元12030、一車輛內部資訊偵測單元12040及一整合式控制單元12050。另外,一微電腦12051、一音訊/影像輸出單元12052及一車內網路I/F (介面) 12053被展示為整合式控制單元12050之功能組件。
驅動系統控制單元12010根據各種種類之程式來控制與車輛之驅動系統相關之裝置操作。例如,驅動系統控制單元12010用作用於產生車輛之一驅動力之一驅動力產生裝置(諸如一內燃機或一驅動馬達)、用於將驅動力傳輸至車輪之一驅動力傳輸機構、調整車輛之一轉向角之一轉向機構及產生車輛之制動力之一制動裝置及類似者之一控制裝置。
主體系統控制單元12020根據各種種類之程式來控制安裝於車輛主體上之各種種類之裝置之操作。例如,主體系統控制單元12020用作一免鑰匙進入系統、一智慧鑰匙系統、一電動窗裝置或用於各種燈(諸如一頭燈、一尾燈、一制動燈、一轉向指示符或一霧燈)之一控制裝置。在此情況下,主體系統控制單元12020可接收從替代一鑰匙之一可攜式裝置傳輸之無線電波或來自各種種類之開關之信號。主體系統控制單元12020接收此等無線電波或信號之輸入且控制車輛之一門鎖裝置、一電動窗裝置、一燈及類似者。
車輛外部資訊偵測單元12030偵測車輛控制系統12000安裝於其上之車輛外部之資訊。例如,一成像單元12031係連接至車輛外部資訊偵測單元12030。車輛外部資訊偵測單元12030引起成像單元12031捕捉車輛外部之一影像且接收經捕捉影像。車輛外部資訊偵測單元12030可基於經接收影像來相對於一道路表面上之一人、一車輛、一障礙物、一標誌、一字元或類似者執行物件偵測處理或距離偵測處理。
成像單元12031係接收光且輸出對應於經接收光量之一電信號之一光學感測器。成像單元12031可輸出電信號作為一影像或輸出電信號作為測距資訊。另外,由成像單元12031接收之光可為可見光或非可見光(諸如紅外線)。
車輛內部資訊偵測單元12040偵測車輛內部之資訊。例如,偵測駕駛員之狀態之一駕駛員狀態偵測單元12041係連接至車輛內部資訊偵測單元12040。駕駛員狀態偵測單元12041包含例如捕捉駕駛員之一影像之一相機,且車輛內部資訊偵測單元12040可基於從駕駛員狀態偵測單元12041輸入之偵測資訊來計算駕駛員之一疲勞程度或一集中程度,或可判定駕駛員是否正在打瞌睡。
一微電腦12051基於由車輛外部資訊偵測單元12030或車輛內部資訊偵測單元12040獲取之與車輛內部及外部相關之資訊來計算驅動力產生裝置、轉向機構或制動裝置之控制目標值,且可將一控制命令輸出至驅動系統控制單元12010。例如,微電腦12051可出於實施一ADAS (先進駕駛員輔助系統)之功能之目的來執行協同控制,包含車輛碰撞避免或撞擊緩和、基於車輛間距離之跟車巡航、定速巡航、車輛碰撞警告、車道偏離警告或類似者。
微電腦12051亦可藉由基於由車輛外部資訊偵測單元12030或車輛內部資訊偵測單元12040獲取之與車輛的周圍環境相關之資訊控制驅動力產生裝置、轉向機構、制動裝置或類似者而出於自動駕駛或類似者之目的來執行協同控制,其中車輛在不依賴一駕駛員之操作之情況下自動行駛。
此外,微電腦12051亦可基於由車輛外部資訊偵測單元12030獲取之車輛外部資訊來將一控制命令輸出至主體系統控制單元12020。例如,微電腦12051根據由車輛外部資訊偵測單元12030偵測到之一前方車輛或一迎面車輛之一位置來控制一頭燈,且出於實現一防眩功能之目的而執行協同控制,諸如將一遠光燈切換為一近光燈。
音訊/影像輸出單元12052將一音訊及/或影像輸出信號傳輸至一輸出裝置,該輸出裝置能夠視覺地或可聽地向車輛之一乘員或車輛外部通知資訊。在圖15之實例中,一音訊揚聲器12061、一顯示單元12062及一儀表板12063被繪示為輸出裝置。例如,顯示單元12062可包含一機載顯示器及一抬頭顯示器之至少一者。
圖16係繪示成像單元12031之一例示性安裝位置之一圖。
在圖16中,一車輛12100具有成像單元12101、12102、12103、12104及12105作為成像單元12031。
例如,成像單元12101、12102、12103、12104及12105係提供於諸如車輛12100之一前鼻、一後視鏡、一後保險槓、一後門及一乘客艙中之一前擋風玻璃之一上部之位置處。提供於前鼻處之成像單元12101及提供於乘客艙中之前擋風玻璃之上部處之成像單元12105主要獲取車輛12100前方之影像。提供於後視鏡處之成像單元12102及12103主要獲取車輛12100之側方影像。提供於後保險槓或後門處之成像單元12104主要獲取車輛12100後方之影像。由成像單元12101及12105獲取之車輛前方之影像主要用於偵測一前方車輛、一行人、一障礙物、一交通信號、一交通標誌、一車道或類似者。
圖16繪示成像單元12101至12104之例示性影像捕捉範圍。一成像範圍12111指示提供於前鼻處之成像單元12101之一成像範圍,成像範圍12112及12113指示提供於各自後視鏡處之成像單元12102及12103之成像範圍,且一成像範圍12114指示提供於後保險杠或後門處之成像單元12104之一成像範圍。例如,可藉由疊加由成像單元12101至12104捕捉之影像資料來獲得從上方觀看之車輛12100之一俯視圖影像。
成像單元12101至12104之至少一者可具有獲取距離資訊之一功能。例如,成像單元12101至12104之至少一者可為由複數個成像元件組成之一立體相機,或可為具有用於相位差偵測之像素之一成像元件。
例如,基於從成像單元12101至12104獲得之距離資訊,微電腦12051可獲得距成像範圍12111至12114內之各三維物件之距離及距離之時間變化(相對於車輛12100之速度),藉此提取以一預定速度(例如,0 km/h或更高)在與車輛12100實質上相同之方向上行進之一個三維物件(特定言之,存在於車輛12100之一行駛路線上之最近三維物件)作為一前方車輛。此外,微電腦12051可初步設定在一前方空間中應確保之與一前方車輛之一車輛間距離,且可執行自動制動控制(包含跟車巡航停止控制)、自動加速控制(包含跟車巡航起始控制)或類似者。以此方式,可出於自動駕駛或類似者之目的而執行協同控制,其中車輛在不依賴一駕駛員之操作之情況下自動行駛。
例如,微電腦12051可基於從成像單元12101至12104獲得之距離資訊將與一個三維物件相關之三維物件資料分類為諸如一個兩輪車輛、一常規車輛、一大型車輛、一行人、一電話桿及類似者之三維物件,提取經分類物件,且使用其等來自動避開障礙物。例如,微電腦12051將車輛12100周圍之障礙物區分為車輛12100之駕駛員可看見之障礙物及其難以看見之障礙物。接著,微電腦12051判定指示與障礙物之各者碰撞之一風險等級之一碰撞風險,且當碰撞風險係一設定值或更高且可能發生碰撞時,微電腦可藉由經由音訊揚聲器12061及顯示單元12062向駕駛員輸出一警報或藉由經由驅動系統控制單元12010執行強制減速或避免轉向來提供操作輔助以避免碰撞。
成像單元12101至12104之至少一者可為偵測紅外線之一紅外線相機。例如,微電腦12051可藉由判定由成像單元12101至12104捕捉之影像中是否存在一行人來辨識行人。例如,藉由用於從由用作紅外線相機之成像單元12101至12104捕捉之影像提取特徵點之一程序,及用於對指示一物件之輪廓之一系列特徵點執行圖案匹配處理之一程序來執行對一行人之此辨識。在微電腦12051判定成像單元12101至12104之經捕捉影像中存在一行人且辨識該行人之情況下,音訊/影像輸出單元12052控制顯示單元12062以顯示疊加於經辨識行人上之一矩形輪廓線以進行強調。此外,音訊/影像輸出單元12052可控制顯示單元12062以在一所要位置處顯示指示行人之一圖示或類似者。
上文已描述可應用根據本發明之技術之例示性車輛控制系統。根據本發明之技術可應用於上文描述之組件當中之成像單元12031。明確言之,圖1中之成像裝置11及圖6中之成像裝置111可應用於成像單元12031。藉由將根據本發明之技術應用於成像單元12031,當一像素區段係由在光接收區域上不同之兩種類型之像素組態時,可在不增加像素區段之大小之情況下增加一低照度側上之靈敏度及動態範圍。因此,在車輛控制系統12000中,可實現以高解析度及高靈敏度捕捉HDR影像之一緊湊成像單元12031。
在此情況下,低照度物件之色彩無法在經捕捉影像中再現,或色彩再現性較低。然而,在用於自動駕駛中之車輛控制系統12000、一駕駛支援系統或類似者中,需要色彩辨識之物件係諸如交通燈及制動燈之光源之高亮度物件,且與高亮度主體之色彩再現性相比,低照度物件之色彩再現性並非一大問題。
本技術之實施例不限於上述實施例,且不脫離本技術之要旨之情況下,各種修改係可能的。
例如,全部或一些上述多項實施例之可組合在一起。
本描述中所描述之效應僅為例示性的而非限制性的,且可存在除本描述中所描述之效應外之效應。
本技術可採用以下組態。
(1)
一種固態成像裝置,其包含:
一像素陣列,其中複數個像素區段係配置成一矩陣,該複數個像素區段各自由具有一第一光接收區域之一子像素及具有大於該第一光接收區域之一第二光接收區域之一主像素組態,其中
由配置於該像素陣列中之該複數個子像素的各者之彩色濾光片組態之一第一彩色濾光片群組係由三種類型之彩色濾光片組態;
由配置於該像素陣列中之該複數個主像素的各者之彩色濾光片組態之一第二彩色濾光片群組之至少一些濾光片係透射在包含一綠光頻帶之一頻帶中之光之寬頻彩色濾光片;及
該第二彩色濾光片群組中之該等寬頻彩色濾光片之比率大於50%。
(2)
根據上文(1)之固態成像裝置,其中
該等寬頻彩色濾光片係透射全部可見色彩之光之彩色濾光片。
(3)
根據上文(1)之固態成像裝置,其中
該等寬頻彩色濾光片係黃色或綠色濾光片。
(4)
根據上文(1)至(3)中任一項之固態成像裝置,其中
該第二彩色濾光片群組之全部彩色濾光片係該等寬頻彩色濾光片。
(5)
根據上文(1)至(3)中任一項之固態成像裝置,其中
該第二彩色濾光片群組係由該等寬頻彩色濾光片及紅色或藍色濾光片組態。
(6)
根據上文(1)至(3)中任一項之固態成像裝置,其中
該第二彩色濾光片群組係由該等寬頻彩色濾光片、紅色濾光片及藍色濾光片組態。
(7)
根據上文(1)至(3)中任一項之固態成像裝置,其中
該第二彩色濾光片群組係由該等寬頻彩色濾光片、青色濾光片及紅色濾光片組態。
(8)
根據上文(1)至(7)中任一項之固態成像裝置,其中
該第二彩色濾光片群組中之相鄰彩色濾光片之一陣列方向與一列方向之間的一角度大於0度且小於90度。
(9)
根據上文(8)之固態成像裝置,其中
該三種類型之彩色濾光片係紅色、黃色及青色濾光片。
(10)
一種電子裝置,其包括:
一固態成像裝置,其經組態以包含:
一像素陣列,其中複數個像素區段係配置成一矩陣,該複數個像素區段各自由具有一第一光接收區域之一子像素及具有大於該第一光接收區域之一第二光接收區域之一主像素組態,
由配置於該像素陣列中之該複數個子像素的各者之彩色濾光片組態之一第一彩色濾光片群組係由三種類型之彩色濾光片組態;
由配置於該像素陣列中之該複數個主像素的各者之彩色濾光片組態之一第二彩色濾光片群組之至少一些濾光片係寬頻彩色濾光片,其等係透射包含在一綠光頻帶之一頻帶中之光之彩色濾光片,及
該第二彩色濾光片群組中之該等寬頻彩色濾光片之比率大於50%;及
一產生單元,其藉由使用子像素信號及主像素信號來產生一影像,該等子像素信號係對應於由該等子像素接收之光之像素信號,該等主像素信號係對應於由該等主像素接收之光之像素信號。
(11)
根據上文(10)之電子裝置,其中
該第二彩色濾光片群組中之相鄰彩色濾光片之一陣列方向與一列方向之間的一角度大於0度且小於90度,及
該產生單元使用該等子像素信號來執行在一列方向及一行方向上相鄰之該等子像素之間的位置處之子像素信號之內插,使用該等主像素信號來執行在一列方向及一行方向上相鄰之該等主像素之間的位置處之主像素信號之內插,且使用該等經內插子像素信號及主像素信號來產生該影像。
(A1)
一種光偵測裝置,其包括:
一像素陣列,其包括:
複數個主像素;及
複數個子像素,其等具有彩色濾光片,
其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片。
(A2)
如(A1)之光偵測裝置,其中該複數個子像素包括:
一第一群組子像素,其具有一第一色彩之彩色濾光片;
一第二群組子像素,其具有一第二色彩之彩色濾光片;及
一第三群組子像素,其具有一第三色彩之彩色濾光片。
(A3)
如(A2)之光偵測裝置,其中該第一色彩之該彩色濾光片包括一紅色濾光片。
(A4)
如(A3)之光偵測裝置,其中:
該第二色彩之該彩色濾光片包括一藍色濾光片;及
該第三色彩之該彩色濾光片包括一綠色濾光片。
(A5)
如(A2)至(A4)中任一項之光偵測裝置,其中:
該第一色彩之該彩色濾光片包括一紅色濾光片;
該第二色彩之該彩色濾光片包括一黃色濾光片;及
該第三色彩之該彩色濾光片包括一青色濾光片。
(A6)
如(A1)至(A5)中任一項之光偵測裝置,其中該複數個主像素之各主像素之一光接收區域包括一八邊形形狀。
(A7)
如(A1)至(A6)中任一項之光偵測裝置,其中該複數個主像素之各主像素具有一清透濾光片或無色濾光片。
(A8)
如(A1)至(A7)中任一項之光偵測裝置,其中該複數個主像素之至少一個主像素具有一紅色濾光片。
(A9)
如(A1)至(A8)中任一項之光偵測裝置,其進一步包括:
一行信號線,其在一行方向上延伸;
一像素控制信號線,其在一水平方向上延伸,
其中該複數個主像素及該複數個子像素係配置成在該行方向上之複數個像素行及在該水平方向上之複數個像素列。
(A10)
如(A9)之光偵測裝置,其中該複數個主像素之至少一個主像素具有一紅色濾光片。
(A11)
如(A9)之光偵測裝置,其中:
該複數個主像素之至少一個主像素具有一紅色濾光片;及
該複數個主像素之至少一個主像素具有一藍色濾光片。
(A12)
如(A9)之光偵測裝置,其中該複數個像素列之各像素列包含具有一清透濾光片或無色濾光片之至少一個像素。
(A13)
如(A12)之光偵測裝置,其中該複數個像素行之各像素行包含具有一清透濾光片或無色濾光片之至少一個像素。
(A14)
如(A1)至(A13)中任一項之光偵測裝置,其中:
一半以上之該複數個主像素具有黃色濾光片;
該複數個主像素之至少一個主像素具有一紅色濾光片;及
該複數個主像素之至少一個主像素具有一青色濾光片。
(A15)
如(A1)至(A14)中任一項之光偵測裝置,其進一步包括一處理器,該處理器經組態以基於來自該複數個主像素之信號及來自該複數個子像素之信號產生影像資料。
(A16)
如(A15)之光偵測裝置,其中:
該處理器經組態以使用內插來計算:
該複數個主像素之主像素之間的位置之中間主像素信號;及
該複數個子像素之子像素之間的位置之中間子像素信號;及
該處理器經組態以基於來自該複數個主像素之信號、來自該複數個子像素之信號、該等中間主像素信號及該等中間子像素信號來產生該影像資料。
(A17)
一種車輛,其包括:
一光偵測裝置,其經組態以產生信號;
一處理器,其經組態以基於來自該光偵測裝置之該等信號產生影像資料;
一車輛控制系統,其經組態以基於該影像資料來控制該車輛,
其中該光偵測裝置包括:
一像素陣列,其包括:
複數個主像素;及
複數個子像素,其等具有彩色濾光片,
其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片。
(A18)
一種汽車相機系統,其包括:
一透鏡,
一光偵測裝置,其包括:
一像素陣列,其包括:
複數個主像素;及
複數個子像素,其等具有彩色濾光片,
其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片;及
一處理器,其經組態以基於來自該複數個主像素之信號及來自該複數個子像素之信號產生影像資料。
(A19)
如(A18)之汽車相機系統,其中該複數個主像素之至少一個主像素具有一紅色濾光片。
(A20)
如(A18)或(A19)之汽車相機系統,其中:
該處理器經組態以使用內插來計算:
該複數個主像素之主像素之間的位置之中間主像素信號;及
該複數個子像素之子像素之間的位置之中間子像素信號;及
該處理器經組態以基於來自該複數個主像素之信號、來自該複數個子像素之信號、該等中間主像素信號及該等中間子像素信號來產生該影像資料。
11:成像裝置
12:光學系統
13:快門裝置
14:固態成像元件
15:控制電路
16:信號處理電路
17:監視器
18:記憶體
31:像素區段
31a:主像素
31b:子像素
32:像素陣列區段
33:垂直驅動電路
34:行信號處理電路
35:水平驅動電路
36:輸出電路
37:控制電路
38:輸入/輸出終端機
39:像素驅動佈線
40:垂直信號線
41:水平信號線
61a:彩色濾光片
61b:彩色濾光片
62:陣列單元
81:綠色濾光片
101:彩色濾光片
102:陣列單元
111:成像裝置
114:固態影像裝置/固態成像元件
116:信號處理電路
130:像素陣列區段
131:像素區段
131a:主像素
131b:子像素
161a:彩色濾光片
161b:彩色濾光片
162:陣列單元
171:彩色濾光片
181:彩色濾光片
182:陣列單元
201:彩色濾光片
202:陣列單元
221:彩色濾光片
222:陣列單元
241:彩色濾光片
242:陣列單元
12000:車輛控制系統
12001:通信網路
12010:驅動系統控制單元
12020:主體系統控制單元
12030:車輛外部資訊偵測單元
12031:成像單元
12040:車輛內部資訊偵測單元
12041:駕駛員狀態偵測單元
12050:整合式控制單元
12051:微電腦
12052:音訊/影像輸出單元
12053:車內網路I/F (介面)
12061:音訊揚聲器
12062:顯示單元
12063:儀表板
12100:車輛
12101:成像單元
12102:成像單元
12103:成像單元
12104:成像單元
12105:成像單元
12111:成像範圍
12112:成像範圍
12113:成像範圍
12114:成像範圍
A:陣列方向
C1:中間位置
C2:中間位置
L:列方向
P:間隔
Pi:間隔
圖1係展示作為應用本技術之一電子裝置的一成像裝置之一第一實施例之一例示性組態之一方塊圖。
圖2展示圖1中之固態成像元件之一例示性電路組態。
圖3係展示第一實施例中之一例示性第一彩色濾光片陣列之一俯視圖。
圖4係展示當圖3中之大彩色濾光片群組之陣列係一拜耳(Bayer)陣列時的一例示性彩色濾光片陣列之一俯視圖。
圖5係展示第一實施例中之一例示性第二彩色濾光片陣列之一俯視圖。
圖6係展示作為應用本技術之一電子裝置的一成像裝置之一第二實施例之一例示性組態之一方塊圖。
圖7係展示圖6中之固態成像元件的一像素陣列區段之一例示性組態之一俯視圖。
圖8展示圖2中之像素區段在列方向及行方向上之間隔。
圖9展示在圖7中之陣列方向上並排配置之相鄰主像素之間之間隔。
圖10係展示當大彩色濾光片群組之陣列係藉由將拜耳陣列向右傾斜45度而獲得時之一例示性彩色濾光片陣列之一俯視圖。
圖11係展示第二實施例中之另一例示性第一彩色濾光片陣列之一俯視圖。
圖12係展示第二實施例中之另一例示性第二彩色濾光片陣列之一俯視圖。
圖13係展示第二實施例中之另一例示性第三彩色濾光片陣列之一俯視圖。
圖14係展示第二實施例中之另一例示性第四彩色濾光片陣列之一俯視圖。
圖15係展示一車輛控制系統之一例示性示意性組態之一方塊圖。
圖16係展示一車輛外部資訊偵測單元及一成像單元之例示性安裝位置之一說明圖。
31a:主像素
31b:子像素
61a:彩色濾光片
61b:彩色濾光片
62:陣列單元
Claims (20)
- 一種光偵測裝置,其包括: 一像素陣列,其包括: 複數個主像素;及 複數個子像素,其等具有彩色濾光片, 其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片。
- 如請求項1之光偵測裝置,其中該複數個子像素包括: 一第一群組子像素,其具有一第一色彩之彩色濾光片; 一第二群組子像素,其具有一第二色彩之彩色濾光片;及 一第三群組子像素,其具有一第三色彩之彩色濾光片。
- 如請求項2之光偵測裝置,其中該第一色彩之該彩色濾光片包括一紅色濾光片。
- 如請求項3之光偵測裝置,其中: 該第二色彩之該彩色濾光片包括一藍色濾光片;及 該第三色彩之該彩色濾光片包括一綠色濾光片。
- 如請求項2之光偵測裝置,其中: 該第一色彩之該彩色濾光片包括一紅色濾光片; 該第二色彩之該彩色濾光片包括一黃色濾光片;及 該第三色彩之該彩色濾光片包括一青色濾光片。
- 如請求項1之光偵測裝置,其中該複數個主像素之各主像素之一光接收區域包括一八邊形形狀。
- 如請求項1之光偵測裝置,其中該複數個主像素之各主像素具有一清透濾光片或無色濾光片。
- 如請求項1之光偵測裝置,其中該複數個主像素之至少一個主像素具有一紅色濾光片。
- 如請求項1之光偵測裝置,其進一步包括: 一行信號線,其在一行方向上延伸; 一像素控制信號線,其在一水平方向上延伸, 其中該複數個主像素及該複數個子像素係配置成在該行方向上之複數個像素行及在該水平方向上之複數個像素列。
- 如請求項9之光偵測裝置,其中該複數個主像素之至少一個主像素具有一紅色濾光片。
- 如請求項9之光偵測裝置,其中: 該複數個主像素之至少一個主像素具有一紅色濾光片;及 該複數個主像素之至少一個主像素具有一藍色濾光片。
- 如請求項9之光偵測裝置,其中該複數個像素列之各像素列包含具有一清透濾光片或無色濾光片之至少一個像素。
- 如請求項12之光偵測裝置,其中該複數個像素行之各像素行包含具有一清透濾光片或無色濾光片之至少一個像素。
- 如請求項1之光偵測裝置,其中: 一半以上之該複數個主像素具有黃色濾光片; 該複數個主像素之至少一個主像素具有一紅色濾光片;及 該複數個主像素之至少一個主像素具有一青色濾光片。
- 如請求項1之光偵測裝置,其進一步包括一處理器,該處理器經組態以基於來自該複數個主像素之信號及來自該複數個子像素之信號產生影像資料。
- 如請求項15之光偵測裝置,其中: 該處理器經組態以使用內插來計算: 該複數個主像素之主像素之間的位置之中間主像素信號;及 該複數個子像素之子像素之間的位置之中間子像素信號;及 該處理器經組態以基於來自該複數個主像素之信號、來自該複數個子像素之信號、該等中間主像素信號及該等中間子像素信號來產生該影像資料。
- 一種車輛,其包括: 一光偵測裝置,其經組態以產生信號; 一處理器,其經組態以基於來自該光偵測裝置之該等信號產生影像資料; 一車輛控制系統,其經組態以基於該影像資料來控制該車輛, 其中該光偵測裝置包括: 一像素陣列,其包括: 複數個主像素;及 複數個子像素,其等具有彩色濾光片, 其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片。
- 一種汽車相機系統,其包括: 一透鏡, 一光偵測裝置,其包括: 一像素陣列,其包括: 複數個主像素;及 複數個子像素,其等具有彩色濾光片, 其中一半以上之該複數個主像素具有清透濾光片、黃色濾光片或無色濾光片;及 一處理器,其經組態以基於來自該複數個主像素之信號及來自該複數個子像素之信號產生影像資料。
- 如請求項18之汽車相機系統,其中該複數個主像素之至少一個主像素具有一紅色濾光片。
- 如請求項18之汽車相機系統,其中: 該處理器經組態以使用內插來計算: 該複數個主像素之主像素之間的位置之中間主像素信號;及 該複數個子像素之子像素之間的位置之中間子像素信號;及 該處理器經組態以基於來自該複數個主像素之信號、來自該複數個子像素之信號、該等中間主像素信號及該等中間子像素信號來產生該影像資料。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-099409 | 2022-06-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202416721A true TW202416721A (zh) | 2024-04-16 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102649782B1 (ko) | 신호 처리 장치 및 촬상 장치 | |
CN109076163B (zh) | 成像控制装置、成像控制方法以及成像装置 | |
JP6981410B2 (ja) | 固体撮像装置、電子機器、レンズ制御方法および車両 | |
US11196956B2 (en) | Solid-state image sensor, imaging device, and method of controlling solid-state image sensor | |
US11924566B2 (en) | Solid-state imaging device and electronic device | |
US11394913B2 (en) | Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element | |
KR102540722B1 (ko) | 촬상 장치, 촬상 모듈 및 촬상 장치의 제어 방법 | |
CN112970117A (zh) | 固态成像装置和电子设备 | |
US10821900B2 (en) | Image processing device | |
US20200402206A1 (en) | Image processing device, image processing method, and program | |
WO2023248827A1 (en) | Solid-state imaging device and electronic device | |
TW202416721A (zh) | 固態成像裝置及電子裝置 | |
US11523070B2 (en) | Solid-state imaging element, imaging device, and method for controlling solid-state imaging element | |
WO2020075357A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2023286297A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
TWI839421B (zh) | 成像元件及電子裝置 | |
WO2022269997A1 (ja) | 固体撮像装置および電子機器 | |
WO2023127512A1 (ja) | 撮像装置、電子機器 | |
JP7281895B2 (ja) | 撮像素子および電子機器 | |
WO2022172642A1 (ja) | 固体撮像素子および撮像方法、並びに電子機器 | |
WO2024095630A1 (ja) | 撮像装置 | |
WO2023100640A1 (ja) | 半導体装置および信号処理方法、並びにプログラム | |
WO2023021774A1 (ja) | 撮像装置及び撮像装置を備える電子機器 | |
WO2022113528A1 (ja) | 固体撮像素子、固体撮像素子の制御方法、および、撮像装置 |