TWI388877B - 具有第一及第二透鏡陣列的成像設備 - Google Patents

具有第一及第二透鏡陣列的成像設備 Download PDF

Info

Publication number
TWI388877B
TWI388877B TW096136928A TW96136928A TWI388877B TW I388877 B TWI388877 B TW I388877B TW 096136928 A TW096136928 A TW 096136928A TW 96136928 A TW96136928 A TW 96136928A TW I388877 B TWI388877 B TW I388877B
Authority
TW
Taiwan
Prior art keywords
pixel
cluster
array
sample point
lens
Prior art date
Application number
TW096136928A
Other languages
English (en)
Other versions
TW200825449A (en
Inventor
Dmitry Bakin
Scott T Smith
Kartik Venkataraman
Original Assignee
Aptina Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptina Imaging Corp filed Critical Aptina Imaging Corp
Publication of TW200825449A publication Critical patent/TW200825449A/zh
Application granted granted Critical
Publication of TWI388877B publication Critical patent/TWI388877B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001—Technical content checked by a classifier
    • H01L2924/0002—Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)

Description

具有第一及第二透鏡陣列的成像設備
本發明之所揭示之實施例大體而言係關於半導體設備之領域，且更特定言之，係關於使用多陣列成像器設備之方法、裝置及系統。
半導體工業當前產生不同類型之基於半導體的影像設備，其尤其基於電荷耦合設備(CCD)、CMOS主動像素感測器(APS)及電荷注入設備而使用像素陣列。此等影像設備使用微透鏡以將電磁輻射聚焦於光轉換設備(例如，光電二極體)上。又，此等影像感測器通常使用彩色濾光片來使特定波長之電磁輻射通過以由光轉換設備感測，使得光轉換設備通常與特定色彩相關聯。
微透鏡有助於增加光學效率且減少像素陣列之像素之間的串擾。圖16A及圖16B展示使用拜耳(Bayer)彩色濾光片圖案之習知彩色影像設備像素陣列10之一部分的俯視圖及簡化橫截面圖。該陣列10包括像素12，每一像素12形成於基板14上。每一像素12包括一光轉換設備16(例如，一具有相關聯之電荷收集區18的光電二極體)。所說明之陣列10具有收集光且將光聚焦於光轉換設備16上的微透鏡20，該等光轉換設備16產生被積累並儲存於各別電荷收集區18中的電子。
陣列10亦可包括一彩色濾光片陣列22。該彩色濾光片陣列22包括彩色濾光片24，每一彩色濾光片24安置於各別像素12上。該等濾光片24中之每一者僅允許特定波長之光通過至各別光轉換設備。通常，以一被稱為拜耳圖案之重複彩色濾光片圖案來配置彩色濾光片陣列22，該拜耳圖案針對每一紅色濾光片及藍色濾光片而包括兩個綠色濾光片，如圖16A中所示。
一層間介電質(ILD)區26位於彩色濾光片陣列22與像素12之間。ILD區26通常包括形成像素12之設備之間的連接及自像素12至電路28(位於像素陣列10之周邊)的連接的層間介電質及導體之多個層。一介電質層30亦通常提供於彩色濾光片陣列22與微透鏡20之間。
像素陣列(特定言之，具有較高密度之較小尺寸陣列)之一缺點在於：難以俘獲具有在距該像素陣列各種距離處之物件的影像以使得其皆處於聚焦。因此，可改良景深，該景深係呈現為可接受之銳聚焦的最遠物件與最近物件之間的距離。一種促使景深減小的現象係將影像聚焦於像素陣列上的透鏡系統。另一促使因素(特定言之，對於具有焦小尺寸之像素的像素陣列而言)係像素之間的串擾。可以兩種方式發生串擾。一光學串擾源係發生於光以寬廣角度進入微透鏡且並未被恰當地聚焦於正確像素上時。圖16B中展示了角光學串擾之實例。大多數經過濾之光32到達預期光轉換設備16，但經過濾之紅光32中的一些被錯誤地導引至鄰近像素12。
亦可經由(例如)電子溢流效應(blooming effect)而在像素陣列10中發生電串擾。當光源強烈而使得像素12之電荷收集區18不可儲存任何電子且過多電子流入基板14且流入鄰近電荷收集區18中時，發生電子溢流。在特定色彩(例如，紅色)尤其強烈之情況下，此電子溢流效應可不自然地增加鄰近綠色像素及藍色像素之回應。
需要一種用於改良固態成像器之景深的方法、裝置及系統。
在以下實施方式中，會參看隨附圖式，其形成本案之一部分且說明本發明之特定實施例。在圖式中，類似之參考數字貫穿若干視圖而描述大體上類似之組件。充分詳細地描述此等實施例以使熟習此項技術者能夠實踐本發明，且將理解，可利用其他實施例，且可進行結構、邏輯及電改變。
術語"像素"指代含有用於將電磁輻射轉換為電信號之光轉換設備的像元單晶。通常，將以類似方式同時進行在像素陣列中製造所有像素晶胞。
本發明在各種所揭示之方法、裝置及系統實施例中利用成像技術之進展，該成像技術提供具有亞微米像素尺寸及透鏡陣列之感測器。本發明之實施例提供新穎整合式彩色感測器陣列與新穎影像復原技術之組合。根據所揭示之實施例，針對不同焦距處之物件而識別會聚光線之差異，且選擇並使用不同焦距處之影像資訊以重新產生具有擴展景深之影像。
一典型之成像模組併有一成像透鏡、一感光性像素陣列及位於該陣列周邊的相關聯之電路。使成像透鏡對齊於一安裝機筒(成像透鏡朝向感測器且遠離感測器而移動時所處的空間)內。將成像透鏡緊固於距感測器之表面某一聚焦距離處以提供遠方物件在焦平面中之清晰影像。根據定義，光學系統之前焦點具有以下特性：通過前焦點之任何光線將平行於光軸而自該系統顯現。該系統之後焦點具有相反特性：平行於光軸而進入該系統的光線被聚焦以使得其通過該後焦點。
將前焦平面及後焦平面界定為通過前焦點及後焦點的垂直於光軸之平面。距光學系統無限距離之物件在後焦平面處形成影像。後焦平面通常係透鏡之物場(object field)中之點的影像被聚焦的平面。在典型數位靜態或視訊相機中，像素陣列通常位於後焦平面處。
當待成像之物件移動得較接近於成像透鏡時，影像被移位於成像透鏡之後焦平面的後方。參看圖1，距離L1係影像104與成像透鏡100之間的距離，且距離L2係成像透鏡100與所成像之物件102之間的距離。F係焦距，其為自成像透鏡100至前焦點106及後焦點107的距離。前焦點1006位於前焦平面108中，且後焦點107位於後焦平面109中。距離L1及L2與焦距F之間的關係由以下數學表達式給出：
因此，對於自成像透鏡100至物件102之每一不同距離L2而言，存在自成像透鏡100至影像104之對應距離L1。距離L1及L2亦可由距離x1及x2連同焦距F來表示。距離x2對應於自物件102至位於成像透鏡100前方之前焦點106的距離。距離x1對應於自影像104至位於成像透鏡100後方之後焦點107的距離。可以牛頓形式來書寫數學表達式(1)之替代型式：x 1×x 2＝F2 (2)
為使影像104處於聚焦，距離x1應為零(x1＝0)。當距離x1為零時，影像104位於後焦點107處。當物件102無限遠(x2＝∞)時，始終發生此情形。當物件102移動得較接近於成像透鏡100時，影像104移動而變得離焦，使得x 1＝F 2 /x 2 (2a)
圖2中展示了成像透鏡及像素陣列之典型配置。像素陣列110位於成像透鏡100之後焦點107處或沿著後焦平面109。後焦平面109垂直於光軸105。當將影像104移位於成像陣列110之後焦平面109的後方(至圖2中之右側)時，形成影像104之會聚光線在該陣列之若干像素中展開且在感測器上產生模糊區域。在此階段，光學系統之點散布函數(PSF)光點增加。PSF係量測被引入所記錄之影像中之模糊的量的解析度量度。其提供用於判定來自原始景物中之源的完美點在所記錄之影像中被模糊之程度的量度。增加之PSF對應於解析度及調變轉移函數(MTF)之減小，該MTF係特徵化攝影成像系統或該系統之一組件之清晰度的參數。
當PSF面積超過像素之尺寸時，影像開始變得模糊。參看圖2，將成像陣列110展示為位於成像透鏡100後方之焦距F處。成像陣列110具有多個像素111。在圖2中，光線116以相對於軸105之角度θ會聚於成像陣列110之單一像素111處。光線116產生一聚焦光點118。另一方面，光線114會聚於位於成像陣列110後方之點112處。會聚光線116散布於成像陣列110之相鄰像素111中，且產生一離焦光點120。吾人應在單色感測器(其中像素111之尺寸對應於實際像素尺寸)與使用拜耳CFA圖案之彩色感測器(其中像素111之尺寸對應於紅色像素及藍色像素之像素尺寸的兩倍及綠色像素之像素尺寸的1.41倍)之間進行區分。
影像平面自成像陣列110至光線114會聚之點112的軸向移位藉由像素模糊之出現而特徵化。景深係在一光學系統中呈現為可接受之銳聚焦的最遠物件與最近物件之間的距離之量。景深亦被稱為超焦距。在圖2中，由數字124來展示影像平面之軸向移位。返回參看圖1，可將軸向移位124表達為以下數學表達式中之距離x1：x 1＝F2 /af# (3)
在等式(3)中，a為像素尺寸且f#(光圈數)係成像透鏡之所量測之特徵。在一成像系統中，某一量之軸向移位x1在一範圍內係可接受的，在該範圍中，在不對成像透鏡進行調整的情況下，物件之影像保持聚焦。距離x1對應於定焦(focus－free)距離或在不對成像透鏡之位置進行調整的情況下物件保持聚焦所達到的距離。亦即，當將待成像之物件定位於距影像感測器無限遠至距離x1之間時，無需對成像透鏡作調整而使物件聚焦。
作為實例，若成像設備具有像素尺寸為a＝7.2 μm之一像素陣列及一具有焦距F＝2.5 mm及f#＝2.8之成像透鏡，則定焦物件平面距離為x1＝310 mm。此產生自無限遠(∞)至310 mm的系統之操作定焦範圍(FFR)。在不調整成像透鏡位置之情況下，距成像陣列無限遠至310 mm的物件將處於聚焦。因此，此成像設備將具有DOF＝±20 μm。DOF大致等於a乘以f#。對於此成像設備而言，散焦影像自其標稱位置(在∞處)移位小於20 μm的物件將看起來被聚焦。
圖3提供了以上實例之圖形說明。在以上實例中，成像設備具有焦距F＝2.5 mm、像素尺寸a＝7.2 μm及f#＝2.8。圖3中之圖表說明了成像模組可在不對成像透鏡進行焦點調整的情況下提供被定位於無限遠與x1＝310 mm之間的物件之清晰影像。在x1＝310 mm處，PSF等於像素尺寸a，且影像清晰。當物件移動得較接近於相機之成像透鏡時(移至小於310 mm內)，PSF變大，且影像以加速、雙曲線速率移位而離焦。
如以上之等式(3)中所示，距離x1與焦距F之平方成比例。因此，使用具有較短焦距F之成像透鏡總成係有利的。較短焦距F產生較小之距離x1，且隨後允許物件在不會變得離焦之情況下較接近於成像透鏡，因此擴展了DOF。
本文中所揭示之方法、裝置及系統實施例併有下文予以更詳細論述之新穎像素陣列、像素取樣及影像建構技術，以增加與固態成像器相關聯之景深。
參看圖4及圖5，分別以俯視圖及橫截面圖展示了一用於成像器設備200之新穎像素陣列的實施例。成像器設備200包含以線性3×1組態配置之多個彩色像素陣列(例如，綠色像素陣列202、紅色像素陣列204及藍色像素陣列206)。或者，該等彩色像素陣列可以2×2組態(其中存在兩個綠色像素陣列202)或其他組態來配置。
陣列202、204、206具有相關聯之成像透鏡212(綠色)、214(紅色)及216(藍色)。在一實施例中，將多個像素陣列整合於單一積體電路晶粒或晶片210上。該單一積體晶粒210亦具有用於操作多個彩色像素陣列202、204、206並自其提供像素輸出信號的周邊支援電路208。將彩色濾光片218(綠色)、220(紅色)及222(藍色)提供於迷你透鏡陣列234與光學元件224之間。或者，可將彩色濾光片218、220、222提供於像素陣列226、228、230之表面上或將其併入於分別與像素陣列相關聯之光學元件224中。彩色像素陣列226、228、230允許稍後自由像素陣列226、228、230俘獲之個別彩色影像形成全色影像。
每一成像透鏡212、214、216將物件之影像投影至成像設備200之對應像素陣列226、228、230上。在一實施例中，針對每一像素陣列226、228、230而提供一微透鏡陣列232。該微透鏡陣列232包含提供於每一個別像素240之上以便將入射光線聚焦並引導至該像素240之感光性區域上的個別微透鏡236。
如此項技術中已知，將單一成像設備200細分為三個彩色像素陣列226(綠色)、228(紅色)及230(藍色)允許將原始成像透鏡焦距有效減小一半。有效彩色像素尺寸亦被減小一半，且允許保持成像設備之解析度。根據以上之等式(3)，此狀況下之最小定焦距離被減小一半。
圖4及圖5中所說明之實施例具有一提供於微透鏡陣列232及每一像素陣列226、228、230上之迷你透鏡陣列234。每一個別迷你透鏡238覆蓋對應像素陣列226、228、230之至少一2×2叢集、且較佳一3×3叢集的像素240。迷你透鏡陣列234大致位於成像透鏡212、214、216之焦平面處。
陣列234之每一迷你透鏡238經定位(例如)以使得其邊緣對齊於下伏微透鏡236中之三者。在此配置中，每一迷你透鏡238覆蓋具有9個微透鏡236之3×3叢集。迷你透鏡陣列234相對於下伏微透鏡236的橫向對齊補償主光線自成像透鏡之中心位置的移位。將主光線定義為自特定場點行進穿過入射光瞳之中心並到達影像平面上的光線。
迷你透鏡238之數值孔徑(NA)較佳等於成像透鏡212、214、216之數值孔徑。在組裝期間，在製造成像感測器200期間將迷你透鏡陣列234定位於微透鏡陣列232之上。用於製造迷你透鏡陣列234之過程類似於用於製造微透鏡陣列232之過程，且通常在此項技術中已為吾人所知。較佳經由使用此項技術中已知之技術來利用精度光微影遮罩及工具而達成迷你透鏡陣列234之精確對齊。
如圖5中所示，將模製光學元件224安置於彩色像素陣列226、228、230之上。針對主光譜區中之一者而最佳化每一成像透鏡212、214、216。該等光譜區由紅色濾光片218、綠色濾光片220或藍色濾光片222來選擇。將迷你透鏡陣列234大致定位於成像透鏡212、214、216之焦平面處。將微透鏡陣列232置放成接近於迷你透鏡陣列234之迷你透鏡238的焦平面。
在使用中，成像透鏡212、214、216將來自遠端物件光點之光線242聚焦至迷你透鏡陣列234之表面上。迷你透鏡陣列234之迷你透鏡238中之每一者又將入射光線導引至微透鏡陣列232之微透鏡236。微透鏡236將光線242引導至位於微透鏡236下方之對應像素240。
下文描述了一影像復原過程之實施例。影像復原過程利用像素陣列之特定樣本點像素來重建影像。可針對圖4及圖5中所示之具有三個獨立彩色像素陣列202、204、206的成像設備200來實施該過程。對於成像設備200而言，該過程可藉由以下步驟來實施：首先將綠色像素陣列202、紅色像素陣列204及藍色像素陣列206之信號組合於一包含綠色、紅色及藍色信號資訊的組合陣列中；及接著將該過程應用於該組合陣列。或者，可首先將該過程個別地應用於每一彩色像素陣列202、204、206，此後，組合經復原之綠色、紅色及藍色影像信號以復原最終影像。此外，亦可將影像復原過程應用於圖15A中所示之含有綠色、紅色及藍色信號的習知像素陣列10。
再次參看圖5，當景物中之影像光點處於聚焦時，光線242會聚於特定迷你透鏡238之表面上且完全填充其數值孔徑(NA)。光學系統之數值孔徑(NA)係特徵化透鏡可接受或發射光之角度範圍的無因次數。結果為迷你透鏡238下方之每一像素240自聚焦之影像光點接收光線242之某一部分。接收該等光線之像素的像素輸出之總和表示成像光點之整合光強度。
將全像之解析度限制至迷你透鏡238之數目。對於較高解析度而言，每一迷你透鏡238應覆蓋小於具有9個像素240之3×3叢集。然而，在所描述之實施例中，每一迷你透鏡238至少覆蓋3×3像素叢集以促進影像復原過程，此情形將在下文予以論述。一種用以增加解析度之較佳方式將為：(例如)提供較大像素陣列，但同時提供覆蓋像素240之3×3叢集之個別迷你透鏡238。增加由每一迷你透鏡238覆蓋之像素240的數目(例如，提供覆蓋5×5像素叢集之迷你透鏡)將增加可用之景深資訊，但將降低解析度。
參看圖6A、6B、7A、7B、8A及8B，針對三種不同情形而展示了光線242之路徑，每種情形對應於來自距成像器設備200不同距離處的物件光點之光線242。圖6A、圖7A及圖8A展示了成像設備200之像素240、微透鏡236及迷你透鏡238的側面剖視圖。圖6B、圖7B及圖8B展示了成像設備200之對應俯視圖，其展示大體上正方形形狀之迷你透鏡238，每一迷你透鏡238覆蓋具有9個微透鏡236之3×3叢集312及相關聯之下伏像素240。圖6A及圖6B展示了當所成像之物件光點遠離成像感測器時光線242在成像設備200上之路徑。圖7A及圖7B展示了當所成像之物件光點距成像感測器中距位置處時光線242在成像設備200上之路徑。圖8A及圖8B展示了當物件光點接近於成像感測器時光線242在成像設備200上之路徑。為達成說明之目的，距成像設備200較遠、中距及較近的物件之例示性距離分別為10米、1米及10公分。
參看圖6A、圖6B，根據等式(2a)，當將物件置放成遠離成像設備200時，來自成像物件之單一光點的影像移位於成像透鏡212、214、216之焦平面的後方。在此階段，影像光點散布於若干迷你透鏡238上。結果，迷你透鏡238中之每一者僅接收包含影像光點310之光線242之一部分。換言之，光線242自成像透鏡212、214、216之完整會聚錐形現於若干迷你透鏡238中被分割。光線242之錐形310入射於迷你透鏡陣列234之中間迷你透鏡238及其他迷你透鏡238之若干部分上。當物件遠離成像設備200時，來自成像物件之單一光點的影像被定位於迷你透鏡238之前方。
根據下文將予以更詳細描述的所揭示之實施例之影像復原過程，選擇9×9成像器像素群中之若干像素作為樣本點像素以用於選擇用於產生遠處物件之單一光點之影像的像素。基於光線242自物件光點進入之角度而選擇樣本點像素之位置。藉由合計樣本點像素之輸出來獲得對應於特定影像光點之總強度。圖6B中以水平影線展示了樣本像素，且由數字244來指示該等樣本像素。
圖7A及圖7B說明了來自距成像設備200中距位置處的物件光點之光線242。光線242穿過迷你透鏡238而到達微透鏡236之3×3叢集312及下伏像素240上。對於距成像設備200中距距離處的物件而言，選擇來自成像器像素之9×9叢集之不同像素240作為樣本點像素以用於選擇用於產生影像之像素。參看圖7B，以對角影線標記之像素為樣本點像素246，其用於判定對應於距成像設備200中距距離處之特定影像光點的強度。
參看圖8A及圖8B，展示了來自接近於影像感測器200之物件光點的光線242。光線242散布於若干迷你透鏡238上。圖8B展示了入射於迷你透鏡238上之光線242的錐形310。光線242之錐形310入射於迷你透鏡陣列234之中間迷你透鏡238及其他迷你透鏡238之若干部分上。光線242由迷你透鏡238透射至下伏組件上，如圖8A中所示。對於接近於成像設備200之物件而言，選擇來自9×9成像器像素群之不同像素240作為樣本點像素以用於選擇用於產生影像之像素。參看圖8B，以垂直影線標記之像素為樣本點像素248，其用於判定對應於接近於成像設備200之特定影像光點的強度。
將參看圖9A及圖9B來解釋樣本點像素244、246、248在9×9像素群內的位置。圖9A係9×9像素群之表示。在9×9像素群內，存在九個編號為1至9之3×3像素叢集，如圖9A中所示。該等叢集被如下定位：將上部左側叢集標記為1；將上部中心叢集標記為2；將上部右側叢集標記為3；將中間左側叢集標記為4；將中間中心叢集標記為5；將中間右側叢集標記為6；將下部左側叢集標記為7；將下部中心叢集標記為8；及將下部右側叢集標記為9。
每一3×3像素叢集具有9個像素，且圖9B中展示了3×3像素叢集，其中9個像素中之每一者的編號為1至9。參看圖9B，每一像素在3×3像素叢集內之位置如下：將上部左側像素標記為1；將上部中心像素標記為2；將上部右側像素標記為3；將中間左側像素標記為4；將中間中心像素標記為5；將中間右側像素標記為6；將下部左側像素標記為7；將下部中心像素標記為8；及將下部右側像素標記為9。
使用上文參看圖9A及圖9B所論述之術語，可描述樣本點像素244、246、248之位置。圖6B中所示之樣本點像素244的位置如下：位於上部左側叢集中的上部左側像素；位於上部中心叢集中的上部中心像素；位於上部右側叢集中的上部右側像素；位於中間左側叢集中的中間左側像素；位於中間中心叢集中的中間中心像素；位於中間右側叢集中的中間右側像素；位於下部左側叢集中的下部左側像素；位於下部中心叢集中的下部中心像素；及位於下部右側叢集中的下部右側像素。利用此9個樣本點像素244來判定被聚焦於感測器200前方之較遠物件的影像之強度。
圖7B中所示之樣本點像素246的位置如下：位於中間中心叢集中的上部左側像素；位於中間中心叢集中的上部中心像素；位於中間中心叢集中的上部右側像素；位於中間中心叢集中的中間左側像素；位於中間中心叢集中的中間中心像素；位於中間中心叢集中的中間右側像素；位於中間中心叢集中的下部左側像素；位於中間中心叢集中的下部中心像素；及位於中間中心叢集中的下部右側像素。利用此9個樣本點像素246來判定被聚焦於感測器200處之中距物件之影像的光點強度。
圖8B中所示之樣本點像素248的位置如下：位於上部左側叢集中的下部右側像素；位於上部中心叢集中的下部中心像素；位於上部右側叢集中的下部左側像素；位於中間左側叢集中的中間右側像素；位於中間中心叢集中的中間中心像素；位於中間右側叢集中的中間左側像素；位於下部左側叢集中的上部右側像素；位於下部中心叢集中的上部中心像素；及位於下部右側叢集中的上部左側像素。利用此9個樣本點像素248來判定被聚焦於感測器後方之較近物件之影像的光點強度。
使用由景物中之物件之較遠、中距及較近部分(如圖6至圖8中所說明)產生之影像光點(表示位於較遠、中距或較近位置處之物件的可能之光散布圖案)來選擇用以產生最終影像之像素。已基於自離焦物件光點進入之光線244的角度而選擇樣本點像素244、246、248之位置。在一些狀況下，將加權應用於樣本像素244、246、248輸出以說明成像系統之特定PSF強度分布將係有利的。
像素叢集並不限於3×3叢集312。舉例而言，若每一叢集包含5×5像素，則基於像素處之光線角度而自與上述實例中之相對位置相同之相對位置來選擇樣本點像素244。又，可以x1＝2af之距離而將迷你透鏡陣列234置放於成像透鏡之焦平面的後方少許處，其中a為迷你透鏡陣列中之迷你透鏡的尺寸。被定位於距成像透鏡距離x2＝F2 /2af#處的物件將位於準確焦點處，且定焦範圍將自無限遠(∞)擴展至x2＝F2 /4af#。
現將描述影像產生過程之一實施例。圖10及圖11展示了用於建構較近、中間及較遠影像平面之影像資訊的像素圖案之方塊圖。圖10展示了一像素選擇處理圖案420，其被應用於每一9×9像素群，使得僅樣本點像素244、246、248被讀入至記憶體中以判定由該9×9像素群接收之影像部分的特徵。
影像產生過程讀取分別提供景物之較近、中距及較遠平面之資訊的取樣點像素244、246及248。參看圖11，將一9×9像素群讀入至線緩衝記憶體中。在一實施例中，使用十二(12)線緩衝記憶體350來處理來自成像設備200之資訊。將每一像素列讀入至線緩衝記憶體350之線中。將具有樣本點244、246、248之像素處理圖案420應用於記憶體350中之9×9像素群以擷取三個3×3像素組，每一3×3像素組對應於像素圖案244、246、248中之一者。使用該三個3×3像素組來判定9×9像素群內之影像部分的不同各別特徵。使用十二線緩衝記憶體350之三(3)條額外線來讀出像素資料，同時執行區塊影像計算。
在讀取9×9成像器像素叢集且擷取三個3×3像素組之後，像素處理圖案420被移位至被載入記憶體350中的像素陣列之下一9×9像素群，且擷取額外樣本點像素244、246、248作為三個3×3像素組。根據一實施例，舉例而言，像素處理圖案420沿像素陣列而被水平移位3個像素以處理連續9×9像素群。在到達像素陣列末端之後，過濾器圖案420向下移位3個像素以處理下一9×9像素群，且執行該過程直至整個像素陣列被取樣為止。
現描述使用對應於每一9×9像素群之三個3×3所擷取之像素組的例示性影像產生過程。可將該過程實施為像素處理單元500(圖14A至圖14D)，且現將參看圖12及圖13來描述該過程。影像產生技術包含以下步驟：(a)自線緩衝記憶體350讀出每一9×9像素群之3×3樣本點像素244、246、248的強度；(b)可藉由乘法運算單元265、267、269而將各別加權函數245、247、249應用於樣本點像素；該加權函數可為靜態的或動態的；(c)針對每一3×3像素組246、248、244中之(經加權之)樣本點像素中的每一者之各別強度而由求總和單元275、277、279來執行求S1、S2及S3之總和；(d)跨越陣列之整組若干列而將樣本點像素強度之總和值S1、S2及S3連續儲存於各別像素緩衝記憶體440、442、444中，緩衝記憶體440、442、444儲存表示9×9像素群中之每一者的總和值作為3×3像素樣本點之總和組；(e)各別邊緣測試單元416將邊緣測試應用於所儲存之總和值S1、S2、S3中之每一者，以尋找連續儲存之總和值S1、S2、S3之鄰近總和值之間的最清晰邊緣，且將表示清晰程度之邊緣清晰度值E1、E2及E3輸出至比較器412；(f)比較器412比較值E1、E2及E3，且將一對應於在該三個值中偵測到之最高邊緣清晰度值的信號輸出至多工器418；(g)對於所選擇之每一邊緣清晰度值(E1、E2或E3中之一者)，多工器418基於哪一邊緣清晰度值E1、E2及E3最高而在具有較高值之邊緣側選擇一總和像素值S1、S2或S3，且提供所選擇之總和樣本像素值作為輸出414；(h)針對像素陣列之所有9×9像素群而重複步驟(a)至(g)；及(i)在讀取整個像素陣列之後，使用表示總和S1、S2或S3選擇值(每一者對應於9×9像素群在像素陣列中之每一位置)的輸出414來重建物件之影像。
如上文所論述，影像產生過程適用於具有三個彩色像素陣列202、204、206之成像設備200(圖4及圖5)。影像產生過程亦適用於圖15A中所示之習知像素陣列10，該習知像素陣列10含有以一圖案配置之綠色、紅色及藍色信號，其中像素處理單元在執行上文參看圖12及圖13所描述之過程之前對該等彩色像素信號進行去馬賽克。
參看圖14A，一像素處理單元500將影像產生過程分別應用於每一彩色像素陣列202、204、206。處理單元500可為硬體處理單元或程式化處理單元或兩者之組合。或者，如圖14B中所示，可將該過程之求總和步驟分別應用於每一彩色像素陣列202、204、206，且可將邊緣偵測步驟僅應用於一個彩色陣列(例如，綠色像素陣列202)，其中由於綠色像素陣列202之邊緣偵測步驟而選擇之總和S1、S2、S3亦用於選擇紅色陣列204及藍色陣列206之求總和結果S1、S2或S3。
參看圖14C，影像產生過程亦可由像素處理單元500藉由首先將三個彩色像素陣列202、204、206之信號組合為一具有若干具RGB(紅色－藍色－綠色)信號分量之像素的陣列而應用於成像設備200。接著對該經組合之RGB信號陣列執行該過程。另外，可對具有拜耳圖案之習知像素陣列10(圖16A)執行影像產生過程，該像素陣列10具有如圖14D中所示之經去馬賽克之像素。
作為可建構於本發明之實施例中的成像設備之一實例，一成像器設備像素陣列具有1.2百萬像素之有效彩色影像解析度。該像素陣列具有1.4 μm之個別像素尺寸及45°之水平視場。將該影像陣列建構為3×1彩色感測器陣列(圖4)，其中迷你透鏡陣列238具有一等於4.2 μm之迷你透鏡尺寸。在此成像器設備中，成像透鏡焦距F＝3.24 mm，且f#＝3，本發明之實施例可將定焦範圍距離自無限遠(∞)擴展至0.2 m。
另一方面，習知1.2百萬像素彩色成像器設備系統(具有等於4.2 μm之像素尺寸及相同透鏡)具有僅涵蓋無限遠(∞)至1.6 m之定焦範圍。在上文所描述之本發明之實施例中，藉由以下步驟達成定焦範圍之急劇擴展(1.4 m之擴展範圍)：將感測器細分為3×1彩色陣列；及使用以3×3叢集分組之1.4 μm像素，其中在每一叢集中添加了一迷你透鏡。感測器中之實際像素數目為8.1百萬像素，但內插之影像解析度為1.2百萬像素。使用過多數目之像素來復原離焦影像資訊。
有興趣注意到，像素尺寸為1.4 μm之標準成像模組由於強大之像素彩色串擾及電荷擴散而具有非常拙劣之影像品質。另一方面，結合所描述之影像復原技術而利用3×1感測器陣列的本發明之實施例在9個較小尺寸之像素輸出中利用感測器陣列彩色分離及求總和以達成與像素尺寸為4.2 μm之感測器的影像品質均等的影像品質。同時，物件定焦距離自1.6 m有利地減小至0.2 m。
圖15以簡化形式展示了一處理器系統600，其包括所揭示之實施例之成像設備200。處理器系統400係對具有數位電路的可包括影像感測器設備之系統的例示。在不受限制的情況下，此系統可包括一電腦系統、靜態或視訊相機系統610、掃描儀、機器視覺、車輛導航、視訊電話、監視系統、自動聚焦系統、星體追蹤儀系統、運動偵測系統、影像穩定化系統及使用成像設備之其他系統。
處理器系統600(例如，數位靜態或視訊相機系統610)通常包含一用於將影像聚焦於成像設備(圖4)之像素陣列202、204、206上的透鏡100、一中央處理單元(CPU)610(諸如，控制相機及一或多個影像流功能之微處理器)，CPU 610經由匯流排660而與一或多個輸入/輸出(I/O)設備640通信。成像設備200亦經由匯流排660而與CPU 610通信。系統600亦包括隨機存取記憶體(RAM)620且可包括可卸除式記憶體650(諸如，快閃記憶體)，其亦經由匯流排660而與CPU 610通信。可將成像設備200與CPU組合，其中在單一積體電路上或在與CPU不同之晶片上具有或不具有記憶體儲存器。儘管將匯流排660說明為單一匯流排，但其可為用於互連系統組件之一或多個匯流排或橋接器。
儘管上文已描述了各種實施例，但應理解，其係以實例方式且並非以限制方式來呈現。舉例而言，可將實施例用於任何固態成像器像素結構及相關聯之陣列讀出電路。熟習相關技術者將顯而易見，可在其中進行各種形式及細節改變。
1．．．上部左側叢集
2．．．上部中心叢集
3．．．上部右側叢集
4．．．中間左側叢集
5．．．中間中心叢集
6．．．中間右側叢集
7．．．下部左側叢集
8．．．下部中心叢集
9．．．下部右側叢集
10．．．習知像素陣列
12．．．像素
14．．．基板
16．．．光轉換設備
20．．．微透鏡
22．．．彩色濾光片陣列
24．．．彩色濾光片
26．．．層間介電質(ILD)區
28．．．電路
30．．．介電質層
32．．．經過濾之光
100．．．成像透鏡
102．．．物件
104．．．影像
105．．．光軸
106．．．前焦點
107．．．後焦點
108．．．前焦平面
109．．．後焦平面
110．．．成像陣列
111．．．像素
112．．．點
114．．．光線
116．．．光線
118．．．聚焦光點
120．．．離焦光點
124．．．軸向移位
200．．．成像器設備
202．．．彩色像素陣列/綠色像素陣列
204．．．彩色像素陣列/紅色像素陣列
206．．．彩色像素陣列/藍色像素陣列
208．．．周邊支援電路
210．．．積體電路晶粒或晶片
212．．．成像透鏡
214．．．成像透鏡
216．．．成像透鏡
218．．．彩色濾光片
220．．．彩色濾光片
222．．．彩色濾光片
224．．．光學元件
226．．．彩色像素陣列
228．．．彩色像素陣列
230．．．彩色像素陣列
232．．．微透鏡陣列
234．．．迷你透鏡陣列
236．．．微透鏡
238．．．迷你透鏡
240．．．像素
242．．．光線
244．．．樣本點像素
245．．．加權函數
246．．．樣本點像素
247．．．加權函數
248．．．樣本點像素
249．．．加權函數
265．．．乘法運算單元
267．．．乘法運算單元
269．．．乘法運算單元
275．．．求總和單元
277．．．求總和單元
279．．．求總和單元
310．．．錐形
312．．．3×3叢集
350．．．十二(12)線緩衝記憶體
412．．．比較器
414．．．輸出
416．．．邊緣測試單元
418．．．多工器
420．．．像素選擇處理圖案
440．．．像素緩衝記憶體
442．．．像素緩衝記憶體
444．．．像素緩衝記憶體
500．．．像素處理單元
600．．．處理器系統
610．．．中央處理單元(CPU)/數位靜態或視訊相機系統
620．．．隨機存取記憶體(RAM)
640．．．輸入/輸出(I/O)設備
650．．．可卸除式記憶體
660．．．匯流排
E1．．．邊緣清晰度值
E2．．．邊緣清晰度值
E3．．．邊緣清晰度值
F．．．焦距
L1．．．距離
L2．．．距離
S1．．．總和/總和值
S2．．．總和/總和值
S3．．．總和/總和值
x1．．．距離
x2．．．距離
θ．．．角度
圖1係通過光學成像透鏡之光線的說明；圖2係像素陣列上之光線之表示；圖3係展示物件與影像位置之間的關係的圖表；圖4係根據本發明之實施例之多個3×1像素陣列的俯視平面圖；圖5係圖4之多個像素陣列的橫截面圖；圖6A係根據本發明之實施例之影像感測器的橫截面圖；圖6B係圖6A之影像感測器之俯視圖；圖7A係根據本發明之實施例之影像感測器的橫截面圖；圖7B係圖7A之影像感測器之俯視圖；圖8A係根據本發明之實施例之影像感測器的橫截面圖；圖8B係圖8A之影像感測器之俯視圖；圖9A係根據本發明之實施例之像素陣列的表示；圖9B係根據本發明之實施例之像素叢集的表示；圖10係根據本發明之實施例之像素陣列的表示；圖11係根據本發明之實施例之線緩衝記憶體的表示；圖12係表示根據本發明之實施例之影像復原過程的流程圖；圖13係使用本發明之實施例之影像復原過程的處理器之表示；圖14A至圖14C係圖12及圖13之過程應用於圖4及圖5之設備的表示；圖14D係圖12及圖13之過程應用於圖16A及圖16B之設備的表示；圖15係使用本發明之實施例之系統的表示；圖16A係習知拜耳圖案彩色影像感測器之一部分的俯視平面圖；及圖16B係圖14A之影像感測器之橫截面圖。
200．．．成像器設備
202．．．彩色像素陣列/綠色像素陣列
204．．．彩色像素陣列/紅色像素陣列
206．．．彩色像素陣列/藍色像素陣列
208．．．周邊支援電路
210．．．積體電路晶粒或晶片
212．．．成像透鏡
214．．．成像透鏡
216．．．成像透鏡

Claims (12)

  1. 一種成像設備，其包含：一像素陣列，其包含安置於一具有複數個第一透鏡之第一透鏡陣列之下的複數個像素，其中該像素陣列之每一像素係安置於該第一透鏡陣列之一對應第一透鏡之下；及一第二透鏡陣列，其具有複數個第二透鏡，該第二透鏡陣列安置於該第一透鏡陣列之上，且其中該等第二透鏡大於該等第一透鏡，且進一步包含一成像透鏡，該成像透鏡具有一自該成像透鏡至該成像透鏡之一焦點的焦距，且其中該第二透鏡陣列係大致安置於該成像透鏡之該焦點處。
  2. 如請求項1之成像設備，其中該第二透鏡陣列中之每一第二透鏡將光導引至一N×N像素叢集上，其中N係一大於或等於2之整數，且其中該第二透鏡陣列中之每一第二透鏡將光導引至該像素陣列之一3×3像素叢集上。
  3. 如請求項1之成像設備，其中該第二透鏡陣列中之每一第二透鏡將光導引至一N×M像素叢集上，其中N及M係大於或等於2之整數，且其中L個第二透鏡將光導引至該像素陣列之L個像素叢集上，其中L係一大於或等於2之整數。
  4. 如請求項2之成像設備，其中L個第二透鏡將光導引至該像素陣列之L個像素叢集上，其中L係一大於或等於2之整數。
  5. 如請求項2之成像設備，其中該等第二透鏡中之九個透鏡將光導引至該像素陣列之九個3×3像素叢集上。
  6. 如請求項5之成像設備，其中該九個3×3像素叢集包含一上部左側叢集、一上部中心叢集、一上部右側叢集、一中間左側叢集、一中間中心叢集、一中間右側叢集、一下部左側叢集、一下部中心叢集及一下部右側叢集。
  7. 如請求項6之成像設備，其進一步包含一像素處理單元，該像素處理單元針對每一9×9像素群而界定三個不同取樣點像素組。
  8. 如請求項7之成像設備，其中該像素處理單元經組態以將一第一取樣點像素組如下界定：一位於該中間中心叢集中之上部左側像素；一位於該中間中心叢集中之上部中心像素；一位於該中間中心叢集中之上部右側像素；一位於該中間中心叢集中之中間左側像素；一位於該中間中心叢集中之中間中心像素；一位於該中間中心叢集中之中間右側像素；一位於該中間中心叢集中之下部左側像素；一位於該中間中心叢集中之下部中心像素；及一位於該中間中心叢集中之下部右側像素。
  9. 如請求項8之成像設備，其中該像素處理單元經組態以將一第二取樣點像素組如下界定：一位於該上部左側叢集中之上部左側像素；一位於該上部中心叢集中之上部中心像素；一位於該上部右側叢集中之上部右側像素；一位於該中間左側叢集中之中間左側像素；一位於該中間中心叢集中之中間中心像素；一位於該中間右側叢集 中之中間右側像素；一位於該下部左側叢集中之下部左側像素；一位於該下部中心叢集中之下部中心像素；及一位於該下部右側叢集中之下部右側像素。
  10. 如請求項9之成像設備，其中該像素處理單元經組態以將一第三取樣點像素組如下界定：一位於該上部左側叢集中之下部右側像素；一位於該上部中心叢集中之下部中心像素；一位於該上部右側叢集中之下部左側像素；一位於該中間左側叢集中之中間右側像素；一位於該中間中心叢集中之中間中心像素；一位於該中間右側叢集中之中間左側像素；一位於該下部左側叢集中之上部右側像素；一位於該下部中心叢集中之上部中心像素；及一位於該下部右側叢集中之上部左側像素。
  11. 如請求項7之成像設備，其中該像素處理單元經組態以將該第一樣本點像素組、該第二樣本點像素組及該第三樣本點像素組用於：對該第一樣本點像素組、該第二樣本點像素組及該第三樣本點像素組中之每一者中的該等樣本點像素之各別強度進行求總和；將每一樣本點像素組之該等總和值儲存於各別記憶體中；將一邊緣測試應用於每一記憶體中之鄰近的所儲存之總和值，以尋找鄰近總和值之間的最清晰邊緣，及輸出每一記憶體之一各別清晰度值；基於該等清晰度值而選擇並輸出該等各別記憶體中之 三個所儲存之總和值中的一個所儲存之總和值；基於該等所輸出之所儲存之總和值而產生一影像。
  12. 如請求項10之成像設備，其中該像素處理單元經組態以將該第一樣本點像素組、該第二樣本點像素組及該第三樣本點像素組用於：對該第一樣本點像素組、該第二樣本點像素組及該第三樣本點像素組中之每一者中的該等樣本點像素之各別強度進行求總和；將每一樣本點像素組之該等總和值儲存於各別記憶體中；將一邊緣測試應用於每一記憶體中之鄰近的所儲存之總和值，以尋找鄰近總和值之間的最清晰邊緣，及輸出每一記憶體之一各別清晰度值；基於該等清晰度值而選擇並輸出該等各別記憶體中之三個所儲存之總和值中的一個所儲存之總和值；基於該等所輸出之所儲存之總和值而產生一影像。
TW096136928A 2006-10-02 2007-10-02 具有第一及第二透鏡陣列的成像設備 TWI388877B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/540,673 US20080080028A1 (en) 2006-10-02 2006-10-02 Imaging method, apparatus and system having extended depth of field

Publications (2)

Publication Number Publication Date
TW200825449A TW200825449A (en) 2008-06-16
TWI388877B true TWI388877B (zh) 2013-03-11

Family

ID=39012637

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096136928A TWI388877B (zh) 2006-10-02 2007-10-02 具有第一及第二透鏡陣列的成像設備

Country Status (3)

Country Link
US (1) US20080080028A1 (zh)
TW (1) TWI388877B (zh)
WO (1) WO2008042137A2 (zh)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP4813447B2 (ja) * 2007-11-16 2011-11-09 富士フイルム株式会社 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
US8633996B2 (en) * 2008-05-09 2014-01-21 Rambus Inc. Image sensor having nonlinear response
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8131097B2 (en) 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
US9621825B2 (en) * 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
TWI393980B (zh) * 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
JP5059065B2 (ja) * 2009-08-07 2012-10-24 シャープ株式会社 撮像モジュール、結像レンズ、およびコード読取方法
JP4886016B2 (ja) * 2009-10-08 2012-02-29 シャープ株式会社 撮像レンズ、撮像モジュール、撮像レンズの製造方法、および、撮像モジュールの製造方法
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8339481B2 (en) * 2009-12-14 2012-12-25 Samsung Electronics Co., Ltd. Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
US8319855B2 (en) * 2010-01-19 2012-11-27 Rambus Inc. Method, apparatus and system for image acquisition and conversion
KR101640456B1 (ko) * 2010-03-15 2016-07-19 삼성전자주식회사 디스플레이 패널의 각 픽셀들의 개구부를 통해 촬영하는 촬영 장치 및 방법
TWI418914B (zh) * 2010-03-31 2013-12-11 Pixart Imaging Inc 適用於光感測系統之失焦校正模組及其方法
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8947584B2 (en) 2010-12-01 2015-02-03 Blackberry Limited Apparatus, and associated method, for a camera module of electronic device
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
FR2969819A1 (fr) * 2010-12-22 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
FR2969822A1 (fr) * 2010-12-24 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US8479998B2 (en) * 2011-01-31 2013-07-09 Hand Held Products, Inc. Terminal having optical imaging assembly
JP2012220590A (ja) 2011-04-05 2012-11-12 Sharp Corp 撮像レンズおよび撮像モジュール
US20120274811A1 (en) * 2011-04-28 2012-11-01 Dmitry Bakin Imaging devices having arrays of image sensors and precision offset lenses
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
US20130120621A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Apparatus and associated method for forming color camera image
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
JP2015060067A (ja) 2013-09-18 2015-03-30 株式会社東芝 撮像レンズ及び固体撮像装置
JP2015060068A (ja) 2013-09-18 2015-03-30 株式会社東芝 撮像レンズ及び固体撮像装置
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
JP2016001682A (ja) * 2014-06-12 2016-01-07 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9769371B1 (en) * 2014-09-09 2017-09-19 Amazon Technologies, Inc. Phase detect auto-focus
CN107077743B (zh) 2014-09-29 2021-03-23 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN107533205A (zh) * 2015-05-12 2018-01-02 奥林巴斯株式会社 摄像装置、内窥镜系统以及摄像装置的制造方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
MX2022004162A (es) 2019-10-07 2022-07-12 Boston Polarimetrics Inc Sistemas y metodos para el aumento de sistemas de sensores y sistemas de formacion de imagenes con polarizacion.
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN115359105B (zh) * 2022-08-01 2023-08-11 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178629B2 (ja) * 1992-11-24 2001-06-25 株式会社ニコン 固体撮像装置およびその製造方法
EP1107316A3 (en) * 1999-12-02 2004-05-19 Nikon Corporation Solid-state image sensor, production method of the same and digital camera
US6821810B1 (en) * 2000-08-07 2004-11-23 Taiwan Semiconductor Manufacturing Company High transmittance overcoat for optimization of long focal length microlens arrays in semiconductor color imagers
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
US20060125945A1 (en) * 2001-08-07 2006-06-15 Satoshi Suzuki Solid-state imaging device and electronic camera and shading compensaton method
US7072096B2 (en) * 2001-12-14 2006-07-04 Digital Optics International, Corporation Uniform illumination system
US6868231B2 (en) * 2002-06-12 2005-03-15 Eastman Kodak Company Imaging using silver halide films with micro-lens capture and optical reconstruction
TW200412617A (en) * 2002-12-03 2004-07-16 Nikon Corp Optical illumination device, method for adjusting optical illumination device, exposure device and exposure method
JP2005031460A (ja) * 2003-07-07 2005-02-03 Canon Inc 複眼光学系
JP2005167442A (ja) * 2003-12-01 2005-06-23 Canon Inc 複眼光学系
JP4835136B2 (ja) * 2005-12-06 2011-12-14 株式会社ニコン 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ

Also Published As

Publication number Publication date
US20080080028A1 (en) 2008-04-03
WO2008042137A3 (en) 2008-06-19
WO2008042137A2 (en) 2008-04-10
TW200825449A (en) 2008-06-16

Similar Documents

Publication Publication Date Title
TWI388877B (zh) 具有第一及第二透鏡陣列的成像設備
US10397465B2 (en) Extended or full-density phase-detection autofocus control
US9871980B2 (en) Multi-zone imaging sensor and lens array
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US9036048B2 (en) Compound camera sensor and related method of processing digital images
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
US20170347042A1 (en) Imaging systems with high dynamic range and phase detection pixels
WO2016137241A1 (en) Multi-aperture depth map using blur kernels and down-sampling
RU2490715C1 (ru) Устройство захвата изображения
CN109981939B (zh) 成像系统
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
KR20220063575A (ko) 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
EP1173010A2 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
JP3478796B2 (ja) 固体撮像装置
US20140055646A1 (en) Image processing apparatus, method, and program, and image pickup apparatus having image processing apparatus
JP7156297B2 (ja) 撮像素子、画像処理装置、画像処理方法、および、プログラム
JPWO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
EP3700187B1 (en) Signal processing device and imaging device
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
US20220028914A1 (en) Image sensor and image capturing apparatus
US20240080577A1 (en) Image acquisition apparatus and method using color separation lens array
JP2019061035A (ja) 撮像装置及び撮像方法
JP2024085387A (ja) 互いに異なるサイズのマイクロレンズを含むイメージセンサ
KR100868279B1 (ko) 컬러 이미지를 생성하는 방법, 이미징 장치 및 이미징 모듈

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees