TW200825449A - Imaging method, apparatus and system having extended depth of field - Google Patents

Imaging method, apparatus and system having extended depth of field Download PDF

Info

Publication number
TW200825449A
TW200825449A TW096136928A TW96136928A TW200825449A TW 200825449 A TW200825449 A TW 200825449A TW 096136928 A TW096136928 A TW 096136928A TW 96136928 A TW96136928 A TW 96136928A TW 200825449 A TW200825449 A TW 200825449A
Authority
TW
Taiwan
Prior art keywords
pixel
array
cluster
pixels
sample point
Prior art date
Application number
TW096136928A
Other languages
English (en)
Other versions
TWI388877B (zh
Inventor
Dmitry Bakin
Scott T Smith
Kartik Venkataraman
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of TW200825449A publication Critical patent/TW200825449A/zh
Application granted granted Critical
Publication of TWI388877B publication Critical patent/TWI388877B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001Technical content checked by a classifier
    • H01L2924/0002Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00

Description

200825449 九、發明說明: 【發明所屬之技術領域】 本發明之所揭示之實施例大體而言係關於半導體設備之 領域,且更特定言之,係關於使用多陣列成像器設備之方 法、裝置及系統。 【先前技術】 半導體工業當前產生不同類型之基於半導體的影像設 備,其尤其基於電荷耦合設備(CCD)、CMOS主動像素感 測器(APS)及電荷注入設備而使用像素陣列。此等影像設 備使用微透鏡以將電磁輻射聚焦於光轉換設備(例如,光 電二極體)上。又,此等影像感測器通常使用彩色渡光片 來使特定波長之電磁輻射通過以由光轉換設備感測,使得 光轉換設備通常與特定色彩相關聯。 微透鏡有助於增加光學效率且減少像素陣列之像素之間 的串擾。圖16A及圖16B展示使用拜耳(Bayer)彩色渡光片 圖案之習知彩色影像設備像素陣列1〇之一部分的俯視圖及 簡化橫截面圖。該陣列10包括像素12,每一像素12形成於 基板14上。每一像素12包括一光轉換設備16(例如,一具 有相關聯之電荷收集區1 8的光電二極體)。所說明之陣列 1 〇具有收集光且將光聚焦於光轉換設備16上的微透鏡2〇, 該等光轉換設備16產生被積累並儲存於各別電荷收集區J 8 中的電子。 陣列10亦可包括一彩色濾光片陣列22。該彩色遽光片陣 列22包括彩色濾光片24,每一彩色濾光片24安置於各別像 125204.doc 200825449 素12上。该等濾光片24中之每一者僅允許特定波長之光通 過至各別光轉換設備。通常,以一被稱為拜耳圖案之重複 办色濾光片圖案來配置彩色濾光片陣列22,該拜耳圖案針 對每紅色濾光片及藍色濾光片而包括兩個綠色濾光片, 如圖16A中所示。 一層間介電質(ILD)區26位於彩色濾光片陣列22與像素 12之間。ILD區26通常包括形成像素12之設備之間的連接 及自像素12至電路28(位於像素陣列1〇之周邊)的連接的層 間η電質及導體之多個層。一介電質層3〇亦通常提供於彩 色;慮光片陣列2 2與微透鏡2 〇之間。 像素陣列(特定言之,具有較高密度之較小尺寸陣列)之 一缺點在於:難以俘獲具有在距該像素陣列各種距離處之 物二的影像以使得其皆處於聚焦。因此,可改良景深,該 景深係呈現為可接受之銳聚焦的最遠物件與最近物件之間 的距離。-種促使景深減小的現象係將影像聚焦於像素陣 列上的透鏡系統。另一促使因素(特定言之,對於具有焦 小尺寸之像素的像素陣列而言)係像素之間的串擾。可以 兩種方式發生串擾。一光學串擾源係發生於光以寬廣角度 進入微透鏡且並未被恰當地聚焦於正確像素上時。圖刚 中展示了角光予串擾之實例。大多數經過濾之光32到達預 期光轉換設備16,但經過濾之紅光32中的一些被錯誤地導 引至鄰近像素12。 亦可經由(例如)電子溢流效應(blo〇ming effect)而在像素 車列ίο中心生電串擾。當光源強烈而使得像素12之電荷收 125204.doc 200825449 集區18不可儲存任何電子且過多電子流人基板14且流入鄰 近電荷收集區18中日夺,發生電子溢流。在特定色彩(例 如,紅色)尤其強烈之情況下,此電子溢流效應可不自然 地增加鄰近綠色像素及藍色像素之回應。 而要一種用於改良固態成像器之景深的方法、裝置及系 統。 ’、 【發明内容】 在以下實施方式中’會參看隨附圖式,其形成本案之一 部分且說明本發明之特定實施例。在圖式中,類似之參考 數字貫穿若干視圖而描述大體上類似之組件。充分詳細地 描述此等實施例以使熟習此項技術者能夠實踐本發明,且 將理解,可利用其他實施例,且可進行結構、邏輯及電改 變。 術語"像素”指代含有用於將電磁輻射轉換為電信號之光 轉換&備的像元單晶。通常’將以類似方式同時進行在像 素陣列中製造所有像素晶胞。 本發明在各種所揭示之方法、裝置及系統實施例中利用 成像技術之進展,該成像技術提供具有亞微米像素尺寸及 透鏡陣列之感測器。本發明之實施例提供新穎整合式彩色 感測器陣列與新穎影像復原技術之組合。根據所揭示之實 施例,針對不同焦距處之物件而識別會聚光線之差異,且 選擇並使用不同焦距處之影像資訊以重新產生具有擴展景 深之影像。 -典型之錢模組併有_成像透鏡、—感光性像素陣列 125204.doc 200825449 及位於該陣列周邊的相關聯之電路。使成像透鏡對齊於— 安裝機筒(成像透鏡朝向感測器且遠離感測器而移動時戶斤 處的空間)内。將成像透鏡緊固於距感測器之表面某—聚 焦距離處以提供遠方物件在焦平面中之清晰影像。根據定 義,光學糸統之如焦點具有以下特性:通過前焦點之任何 光線將平行於光軸而自該系統顯現。該系統之後焦點具有 相反特性:平行於光軸而進入該系統的光線被聚焦以使得 其通過該後焦點。 將前焦平面及後焦平面界定為通過前焦點及後焦點的垂 直於光軸之平面。距光學系統無限距離之物件在後焦平面 處形成影像。後焦平面通常係透鏡之物場(object field)中 之點的影像被聚焦的平面。在典型數位靜態或視訊相機 中’像素陣列通常位於後焦平面處。 【實施方式】 當待成像之物件移動得較接近於成像透鏡時,影像被移 位於成像透鏡之後焦平面的後方。參看圖1,距離L1係影 像104與成像透鏡i 00之間的距離,且距離L2係成像透鏡 i〇〇與所成像之物件102之間的距離。F係焦距,其為自成 像透鏡100至前焦點106及後焦點1〇7的距離。前焦點1〇6位 於前焦平面108中,且後焦點1〇7位於後焦平面1〇9中。距 離L1及L2與焦距ρ之間的關係由以下數學表達式給出: 丄+丄
L\ L2 F (1) 因此’對於自成像透鏡1〇〇至物件1〇2之每一不同距離[2 125204.doc 200825449 而言,存在自成像透鏡100至影像104之對應距離L1。距離 L1.及L2亦可由距離xl&x2連同焦距ρ來表示。距離χ2對應 於自物件102至位於成像透鏡100前方之前焦點1〇6的距 離。距離xl對應於自影像1〇4至位於成像透鏡1〇〇後方之後 焦點107的距離。可以牛頓形式來書寫數學表達式(1)之替 代型式: xlxx2=F2 (2) 為使影像104處於聚焦,距離χΐ應為零(xl=〇)。當距離 xl為零時,影像1〇4位於後焦點1〇7處。當物件1〇2無限遠 (x2 = 〇o)時,始終發生此情形。當物件1〇2移動得較接近於 成像透鏡100時,影像104移動而變得離焦,使得 xl=¥”x2 (2a) 圖2中展示了成像透鏡及像素陣列之典型配置。像素陣 列110位於成像透鏡1〇〇之後焦點1〇7處或沿著後焦平面 1〇9。後焦平面109垂直於光軸105。當將影像104移位於成 像陣列,110之後焦平面109的後方(至圖2中之右側)時,形成 影像,104之會聚光線在該陣列之若干像素中展開且在感測 器上產生模糊區域。在此階段,光學系統之點散布函數 (PSF)光點增加。PSF係量測被引入所記錄之影像中之模糊 的量的解析度量度。其提供用於判定來自原始景物中之源 的完美點在所記錄之影像中被模糊之程度的量度。增加之 PSF對應於解析度及調變轉移函數彳“叮)之減小,該mtf 係特徵化攝影成像系統或該系統之一組件之清晰度的夹 數0 125204.doc -10- 200825449 當PSF面積超過像素之尺寸時,影像開始變得模糊。參 看圖2 ’將成像陣列11〇展示為位於成像透鏡1〇〇後方之焦 距F處。成像陣列i丨〇具有多個像素丨u。在圖2中,光線 116以相對於軸1〇5之角度0會聚於成像陣列11〇之單一像素 111處。光線116產生一聚焦光點118。另一方面,光線U4 會聚於位於成像陣列110後方之點112處。會聚光線116散 布於成像陣列110之相鄰像素U1中,且產生一離焦光點 12〇。吾人應在單色感測器(其中像素U1之尺寸對應於實 際像素尺寸)與使用拜耳CFA圖案之彩色感測器(其中像素 之尺寸對應於紅色像素及藍色像素之像素尺寸的兩倍 及綠色像素之像素尺寸的141倍)之間進行區分。 影料面自成像陣列110至光線114會聚之點112的轴向 私位藉由像素模糊之出現而特徵化。景深係在—光學系統 中呈^為可接受之銳聚焦的最遠物件與最近物件之間的距 離之量。景深亦被稱為超焦距。在圖2中,由數字124來展 不影像平面之軸向移位。返回參看圖卜可將軸向移位124 表達為以下數學表達式中之距離χΐ·· /af# =式(3)中’ a為像素尺寸且f#(光圈數)係 所I測之特徵。太—+ # / 一 f 糸統中,某一量之軸向移位xl在 一乾圍内係可接受的,在 喟敕…主 π在4靶目中,在不對成像透鏡進行 调整的情況下,物# <〜 下物件佯拉平隹 對成像透鏡之位置進行調整的情況 「奶彳干保持聚焦所達到 j的距離。亦即,當將待成像之物件 125204.doc 200825449 定位於距影像感測器無限遠至距離x丨之間時,無需對成像 透鏡作調整而使物件聚焦。 作為實例’若成像設備具有像素尺寸為a=7.2 μιη之一像 素陣列及一具有焦距F=2.5 mm及f#=2.8之成像透鏡,則定 焦物件平面距離為xl =3 10 mm。此產生自無限遠(〇〇)至3 1〇 , mm的系統之操作定焦範圍(FFR)。在不調整成像透鏡位置 • 之N況下’距成像陣列無限遠至3 10 mm的物件將處於聚 焦。因此’此成像設備將具有D〇f=士20 μιη。DOF大致等 於a乘以f#。對於此成像設備而言,散焦影像自其標稱位 置(在〇〇處)移位小於2〇 μπι的物件將看起來被聚焦。 圖3提供了以上實例之圖形說明。在以上實例中,成像 設備具有焦距F=2.5 mm、像素尺寸a=7.2 μιη及f#=2.8。圖3 中之圖表說明了成像模組可在不對成像透鏡進行焦點調整 的情況下提供被定位於無限遠與xl=31〇 mm之間的物件之 清晰影像。在xl=310 mm處,PSF等於像素尺寸a,且影像 清晰。當物件移動得較接近於相機之成像透鏡時(移至小 於3 10 mm内),pSF變大,且影像以加速、雙曲線速率移位 而離焦。 如以上之等式(3)中所示,距離χ1與焦距F之平方成比 例。因此,使用具有較短焦距F之成像透鏡總成係有利 的。較短焦距F產生較小之距離χ1,且隨後允許物件在不 會變彳于離焦之情況下較接近於成像透鏡,因此擴展了 DOF。 本文中所揭示之方法、裝置及系統實施例併有下文予以 125204.doc 200825449 更詳細論述之新穎像素陣列、像素 以增加與固態成像器相關聯之景深 參看圖4及圖5, 分別以俯視圖及橫截面圖展示了一用 了 一用於
素陣列202)或其他組態來配置。 像素取樣及影像建構技術, 陣列 202、204、 206具有相關聯之成像透鏡212(綠色)、 214(紅色)及216(藍色)。在一實施例中,將多個像素陣列 整合於單一積體電路晶粒或晶片21〇上。該單一積體晶粒 21〇亦具有用於操作多個彩色像素陣列2〇2、2〇4、2〇6並自 其提供像素輸出信號的周邊支援電路2〇8。將彩色濾光片 21 8(綠色)、220(紅色)及222(藍色)提供於迷你透鏡陣列234 與光學元件224之間。或者,可將彩色濾光片218、220、 222提供於像素陣列226、228、230之表面上或將其併入於 分別與像素陣列相關聯之光學元件224中。彩色像素陣列 226、228、230允許稍後自由像素陣列226、228、230俘獲 之個別彩色影像形成全色影像。 每一成像透鏡212、214、216將物件之影像投影至成像 設備200之對應像素陣列226、228、230上。在一實施例 中,針對每一像素陣列226、228、230而提供一微透鏡陣 列232。該微透鏡陣列232包含提供於每一個別像素240之 上以便將入射光線聚焦並引導至該像素240之感光性區域 125204.doc -13- 200825449 上的個別微透鏡236。 如此項技術中已知,將單一成像設備2〇〇細分為三個彩 色像素陣列226(綠色)、228(紅色)及230(藍色)允許將原始 成像透鏡焦距有效減小一半。有效彩色像素尺寸亦被減小 一半,且允許保持成像設備之解析度。根據以上之等式 (3)’此狀況下之最小定焦距離被減小一半。 圖4及圖5中所說明之實施例具有一提供於微透鏡陣列 232及每一像素陣列226、228、23〇上之迷你透鏡陣列 234。每一個別迷你透鏡238覆蓋對應像素陣列226、228、 230之至少一2x2叢集、且較佳一3x3叢集的像素24〇。迷你 透鏡陣列234大致位於成像透鏡212、214、216之焦平面 處。 陣列234之每一迷你透鏡238經定位(例如)以使得其邊緣 對齊於下伏微透鏡236中之三者。在此配置中,每一迷你 透鏡238覆蓋具有9個微透鏡236之3><3叢集。迷你透鏡陣列 234相對於下伏微透鏡236的橫向對齊補償主光線自成像透 鏡之中心位置的移位。將主光線定義為自特定場點行進穿 過入射光瞳之中心並到達影像平面上的光線。 迷你透鏡238之數值孔徑(NA)較佳等於成像透鏡212、 214、216之數值孔徑。在組裝期間,在製造成像感測器 200期間將迷你透鏡陣列234定位於微透鏡陣列232之上。 用於製造迷你透鏡陣列234之過程類似於用於製造微透鏡 陣列232之過程,且通常在此項技術中已為吾人所知。較 k經由使用此項技術中已知之技術來利用精度光微影遮罩 125204.doc -14- 200825449 及工具而達成迷你透鏡陣列234之精確對齊。 如圖5中所示,將模製光學元件224安置於彩色像素陣列 226、228、230之上。針對主光譜區中之一者而最佳化每 一成像透鏡212、214、216。該等光譜區由紅色濾光片 218、綠色濾光片220或藍色濾光片222來選擇。將迷你透 鏡陣列234大致定位於成像透鏡212、214、216之焦平面 處。將微透鏡陣列232置放成接近於迷:f尔透鏡陣列234之迷 你透鏡238的焦平面。 在使用中’成像透鏡212、214、216將來自遠端物件光 點之光線242聚焦至迷你透鏡陣列234之表面上。迷你透鏡 陣列234之迷你透鏡238中之每一者又將入射光線導引至微 透鏡陣列232之微透鏡236 ^微透鏡236將光線242引導至位 於微透鏡236下方之對應像素24〇。 下文描述了一影像復原過程之實施例。影像復原過程利 用像素陣列之特定樣本點像素來重建影像。可針對圖4及 圖5中所示之具有三個獨立彩色像素陣列2〇2、2〇4、2〇6的 成像設備200來實施該過程。對於成像設備2〇〇而言,該過 程可藉由以下步驟來實施:首先將綠色像素陣列2〇2、紅 色像素陣列204及藍色像素陣列2〇6之信號組合於一包含綠 色、紅色及藍色信號資訊的組合陣列中;及接著將該過程 應用於該組合陣列。或者,可首先將該過程個別地應用於 每一彩色像素陣列202、204、206,此後,組合經復原之 綠色、紅色及藍色影像信號以復原最終影像。此外,亦可 將影像復原過程應用於圖15A中所示之含有綠色、紅色及 125204.doc 15 200825449 藍色信號的習知像素陣列1 〇。 再次參看圖5,當景物中之影像光點處於聚焦時,光線 242會聚於特定逑你透鏡238之表面上且完全填充其數值孔 徑(να)。光學系統之數值孔徑(ΝΑ)係特徵化透鏡可接受或 發射光之角度範圍的無因次數。結果為迷你透鏡238下方 之每一像素240自聚焦之影像光點接收光線242之某一部 分。接收該等光線之像素的像素輸出之總和表示成像光點 之整合光強度。 將全像之解析度限制至迷你透鏡23 8之數目。對於較高 解析度而言,每一迷你透鏡238應覆蓋小於具有9個像素 240之3x3叢集。然而,在所描述之實施例中,每一迷你透 鏡238至少覆蓋3χ3像素叢集以促進影像復原過程,此情形 將在下文予以論述。一種用以增加解析度之較佳方式將 為··(例如)提供較大像素陣列,但同時提供覆蓋像素24〇之 3 χ 3叢集之個別迷你透鏡23 8。增加由每一逑你透鏡23 8覆 蓋之像素240的數目(例如,提供覆蓋5 χ 5像素叢集之迷你 透鏡)將增加可用之景深資訊,但將降低解析度。 參看圖6Α、6Β、7Α、7Β、8Α及8Β,針對三種不同情形 而展示了光線242之路徑,每種情形對應於來自距成像器 設備200不同距離處的物件光點之光線242。圖6Α、圖7Α 及圖8Α展示了成像設備2〇〇之像素240、微透鏡236及迷你 透鏡238的側面剖視圖。圖6Β、圖7Β及圖8Β展示了成像設 備200之對應俯視圖,其展示大體上正方形形狀之迷你透 鏡238 ’母一迷你透鏡238覆蓋具有9個微透鏡236之3x3叢 125204.doc -16· 200825449 集312及相關聯之下伏像素240。圖6A及圖6B展示了當所 成像之物件光點遠離成像感測器時光線242在成像設備200 上之路徑。圖7A及圖7B展示了當所成像之物件光點距成 像感測器中距位置處時光線242在成像設備200上之路徑。 圖8A及圖8B展示了當物件光點接近於成像感測器時光線 242在成像設備200上之路徑。為達成說明之目的,距成像 設備200較遠、中距及較近的物件之例示性距離分別為!〇 米、1米及10公分。
參看圖6A、圖6B,根據等式(2a),當將物件置放成遠離 成像設備200時,來自成像物件之單一光點的影像移位於 成像透鏡212、214、216之焦平面的後方。在此階段,影 像光點散布於若干迷你透鏡238上。結果,迷你透鏡23 8中 之每一者僅接收包含影像光點310之光線242之一部分。換 言之,光線242自成像透鏡212、214、2 16之完整會聚錐形 現於若干迷你透鏡238中被分割。光線242之錐形3 1〇入射 於迷你透鏡陣列234之中間迷你透鏡238及其他迷你透鏡 238之若干部分上。當物件遠離成像設備2〇〇時,來自成像 物件之單一光點的影像被定位於迷你透鏡238之前方。 根據下文將予以n細描述的所揭示之實施例之影像復 原過程’選擇9x9成像器像素群中之若干像素作為樣本點 像素以用於選擇用於產生遠處物件之單—光點之影像的像 t基於光線242自物件光點進人之角度而選擇樣本” 素之位置。藉由合計樣本點像素之輸出來獲得對應 影像光點之總強度。圖6B中以水平影線展示了樣本像素, 125204.doc -17 - 200825449 且由數字244來指示該等樣本像素。 圖7A及圖7B說明了來自距成像設備2〇〇中距位置處的物 件光點之光線242。光線242穿過迷你透鏡238而到達微透 鏡236之3x3叢集312及下伏像素240上。對於距成像設備 200中距距離處的物件而言,選擇來自成像器像素之9><9叢 集之不同像素240作為樣本點像素以用於選擇用於產生影 像之像素。參看圖7B,以對角影線標記之像素為樣本點像 素246 ’其用於判定對應於距成像設備200中距距離處之特 定影像光點的強度。 參看圖8A及圖8B,展示了來自接近於影像感測器2〇〇之 物件光點的光線242。光線242散布於若干迷你透鏡238 上。圖8B展示了入射於迷你透鏡238上之光線242的錐形 3 10。光線242之錐形3 1〇入射於迷你透鏡陣列234之中間迷 你透鏡238及其他迷你透鏡238之若干部分上。光線242由 迷你透鏡238透射至下伏組件上,如圖8A中所示。對於接 近於成像設備200之物件而言,選擇來自9χ9成像器像素群 之不同像素240作為樣本點像素以用於選擇用於產生影像 之像素。參看圖8B,以垂直影線標記之像素為樣本點像素 248,其用於判定對應於接近於成像設備2〇〇之特定影像光 點的強度。 將參看圖9A及圖9B來解釋樣本點像素244、246、248在 9x9像素群内的位置。圖9A係9x9像素群之表示。在9^像 素群内,#在九個編號為⑴之⑻像素叢集,如圖9A中 所示。該等叢集被如下定位··將上部左側叢集標記為丄·, 125204.doc -18· 200825449 :=中心!集標記為2;將上部右側叢集標記為3;將中 則叢集標s己為4 ;將中間中叢 側叢集標記认將下部左侧;二=為5;將中間右 側蕞集^己為7;將下部中心叢 集“為8;及將下部右側叢集標記為9。 每一 3x3像素叢集具有9個像 素叢集,其中9個像素中 S9B中展不了 3X3像 9B,每一像辛在3χ3傻::母一者的編號為1至9。參看圖 "素在3x3像素叢集内之位置如下:將上部左側 像素標記為1 ;將上部中心像 標記為3"”間左側像辛二 =.為將:將上部右側像素 為5 . “ 像素払5己為4,將中間中心像素標記 7,·將下側像素標記為6 ;將下部左側像素標記為 9。彳’。像素標記為8 ;及將下部右側像素標記為 使用上文參看圖从及圖9B所論述 點像素244、246、248之衍番同π * J指述樣本 244的位^ 248之位置中所示之樣本點像素 下.位於上部左側叢集中的上部左側像素; :於上部中心叢集中的上部中心像素;位於上部右側叢集 的上部右側像素;位於中間左側叢集中的中間左側像 於中間中心叢集中的中間中心像素;位於中間右側 -的中間右側像素;位於下部左側叢集中的下部左側 像素;位於下部中心叢集中的下部中心像素, ·及位於下部 右側叢集中的下部右側像素。利用此9個樣本點像素…來 判定被聚焦於感測器2⑽前方之較遠物件的影像之強度。 圖7Β令所示之樣本點像素⑽的位置如下··位於中間中 心叢集中的上部左側像素;位於中間中心叢集中的上部中 125204.doc -19- 200825449 :#鱼位於中間中心叢集中的上部右側像素,·位於" 集中的中間左側像素;位於中間中心叢集中的中間 素,位於中間中心叢集中的中間右側像素;位於中 ’中叢集中的下部左側像素,·位於中間中心叢集中的下 部中心像素, ·及位於中間中心叢集中的下部右側像素。利 個樣本點像素246來邦定被聚焦於感測器2〇〇處之中 距物件之影像的光點強度。 圖8B中所示之樣本點像素冰的位置如下:位於上部左 側叢集中的下部右側像素;位於上部中心叢集中的下部中 心像素;位於上部右側叢集中的下部左側像素;位於中間 左側叢集中的中間右側像素;位於中間中心叢集中的中間 :心像素;位於中間右側叢集中的中間左側像素;位於下 ,左側叢集中的上部右側像素;位於下部中心叢集中的上 #中心像素,·及位於下部右侧叢集中的上部左側像素。利 用此9個樣本點像素248來判定被聚焦於感測器後方之較近 物件之影像的光點強度。 使用由景物中之物件之較遠、中距及較近部分(如圖$至 圖8中所說明)產生之影像光點(表示位於較遠、中距或較近 =置處之物件的可能之光散布圖案)來選擇用以產生最終 〜像之像素。已基於自離焦物件光點進入之光線244的角 度而選擇樣本點像素244、246、248之位置。在一些狀况 將加權應用於樣本像素244、246、248輸出以說明成 像系統之特定PSF強度分布將係有利的。 像素叢集並不限於3x3叢集312。舉例而言,若每一叢集 125204.doc -20- 200825449 包含5x5像素’則基於像素處之光線角度而自與上述實例 中之相對位置相同之相對位置來選擇樣本點像素244。 又’可以xl=2af之距離而將逑你透鏡陣列234置放於成像 透鏡之焦平面的後方少許處,其中a為迷你透鏡陣列中之 迷你透鏡的尺寸。被定位於距成像透鏡距離以=1?2/2&保處 的物件將位於準確焦點處,且定焦範圍將自無限遠(①)擴 展至 x2=F2/4af#。 現將描述影像產生過程之一實施例。圖丨〇及圖丨丨展示了 用於建構較近、中間及較遠影像平面之影像資訊的像素圖 案之方塊圖。圖1〇展示了 一像素選擇處理圖案42〇,其被 應用於每一 9x9像素群,使得僅樣本點像素244、246、248 被讀入至記憶體中以判定由該9χ9像素群接收之影像部分 的特徵。 〜像產生過程續取分別提供景物之較近、中距及較遠平 面之資訊的取樣點像素244、246及248。參看圖11,將一 9χ9像素群讀入至線緩衝記憶體中。在一實施例中,使用 十二(12)線緩衝記憶體35〇來處理來自成像設備2〇〇之資 訊。將每一像素列讀入至線緩衝記憶體35〇之線中。將具 有樣本點244、246、248之像素處理圖案420應用於記憶體 350中之9x9像素群以擷取三個3x3像素組,每一 3x3像素組 對應於像素圖案244、246、248中之一者。使用該三個3χ3 像素組來判定9x9像素群内之影像部分的不同各別特徵。 使用十二線緩衝記憶體350之三(3)條額外線來讀出像素資 料,同時執行區塊影像計算。 125204.doc -21 - 200825449 在讀取9x9成像器像素叢集且擷取三個3χ3像素組之後, 像素處理圖案420被移位至被載入記憶體35〇中的像素陣列 之下一 9x9像素群,且擷取額外樣本點像素244、246、248 作為二個3x3像素組。根據一實施例,舉例而言,像素處 里圖案420 /口像素陣列而被水平移位3個像素以處理連續 9x9像素群。在到達像素陣列末端之後,過濾器圖案42〇向 下移位3個像素以處理下一 9x9像素群,且執行該過程直至 整個像素陣列被取樣為止。 現描述使用對應於每一 9x9像素群之三個3 x3所擷取之像 素組的例不性影像產生過程。可將該過程實施為像素處理 單元500(圖14A至圖14D),且現將參看圖12及圖13來描述 该過程。影像產生技術包含以下步驟: (a) 自線緩衝記憶體350讀出每一 9χ9像素群之3χ3樣本點 像素244、246、248的強度; (b) 可藉由乘法運算單元265、267、269而將各別加權函 數245、247、249應用於樣本點像素;該加權函數可為靜 態的或動態的; (c) 針對每一 3x3像素組246、248 ' 244中之(經加權之)樣 本點像素中的每一者之各別強度而由求總和單元275、 277、279來執行求SI、S2及S3之總和; (d) 跨越陣列之整組若干列而將樣本點像素強度之總和 值SI、S2及S3連續儲存於各別像素緩衝記憶體44〇、442、 444中,緩衝記憶體44〇、442、444儲存表示像素群中 之每一者的總和值作為3x3像素樣本點之總和組; 125204.doc -22- 200825449 (e) 各別邊緣測試單元416將邊緣測試應用於所儲存之總 和值SI、S2、S3中之每一者,以尋找連續儲存之總和值 SI、S2、S3之鄰近總和值之間的最清晰邊緣,且將表示清 晰程度之邊緣清晰度值El、E2及E3輸出至比較器412 ; (f) 比較器412比較值El、E2及E3,且將一對應於在該三 個值中债測到之最尚邊緣清晰度值的信號輸出至多工器 418 ; (g) 對於所選擇之每一邊緣清晰度值(E1、以或以中之一 者),多工器418基於哪一邊緣清晰度值£1、E2&E3最高而 在具有較向值之邊緣側選擇一總和像素值$ 1、S2或S3,且 供所選擇之總和樣本像素值作為輸出414 ; (h) 針對像素陣列之所有9x9像素群而重複步驟(a)至(g); 及 ⑴在凟取整個像素陣列之後,使用表示總和$ 1、Μ或S3 選擇值(每一者對應於9x9像素群在像素陣列中之每一位 置)的輸出414來重建物件之影像。 如上文所淪述,影像產生過程適用於具有三個彩色像素 陣列202、204、206之成像設備2〇〇(圖4及圖5)。影像產生 過程亦適用於圖15A中所示之習知像素陣列1〇,該習知像 素車j 0 g有以一圖案配置之綠色、紅色及藍色信號,其 中像素處理單元在執行上文參看圖12及圖13所描述之過程 之鈾對4等彩色像素信號進行去馬賽克。 "° A 像素處理單元5 0 0將影像產生過程分別應 用於每一彩色像素陣列202、204、206。處理單元500可為 125204.doc •23- 200825449 硬體處理單元或程式化處理單元或兩者之組合。或 圖14B中所示’可將該過程之求總和步驟分別應 — 彩色像素陣列202、204、㈣,且可將邊緣偵測步驟❹ 用於一個彩色陣列(例如,綠色像素陣列202),其中由於: 色像素陣列202之邊緣彳貞測步驟*選擇之總和SI、S2、S3 亦用於選擇紅色陣列204及藍色陣列206之求總和結果s i、 S2或S3 。 '
參看圖14C,影像產生過程亦可由像素處理單元5〇〇藉由 首先將三個彩色像素陣列2〇2、2〇4、2〇6之信號組合^一 具有若干具RGB(紅色-藍色-綠色)信號分量之像素的陣列 而應用於成像設備200。接著對該經組合之RGB信號陣列 執行該過程。另外,可對具有拜耳圖案之習知像素陣列 1〇(圖16A)執行影像產生過程,該像素陣列1〇具有如圖 中所示之經去馬賽克之像素。 作為可建構於本發明之實施例中的成像設備之一實例, 一成像器設備像素陣列具有h2百萬像素之有效彩色影像 解析度。該像素陣列具有1·4 μιη之個別像素尺寸及45。之 水平視場。將該影像陣列建構為3 X 1彩色感測器陣列(圖 4)’其中迷你透鏡陣列238具有一等於4.2 μιη之迷你透鏡尺 寸。在此成像器設備中,成像透鏡焦距f==3.24 mm,且 f# = 3,本發明之實施例可將定焦範圍距離自無限遠(①)擴 展至0.2 m。 另一方面,習知1.2百萬像素彩色成像器設備系統(具有 等於4.2 μιη之像素尺寸及相同透鏡)具有僅涵蓋無限遠(〇〇) 125204.doc -24- 200825449 至I.: m之定焦範圍。在上文所描述之本發明之實施例 中,藉由以下步驟達成定焦範圍之急劇擴展(1.4 m之擴展 範圍).將感測盗細分為3χ1彩色陣列;及使用以川叢集 分組之1.4叫像素,#中在每__叢集中添加了 —迷你透 鏡。感測器中之實際像素數目為81百萬像素,但内插之 影像解析度為h2百萬像素。使用過多數目之像素來復原 離焦影像資訊。 有興趣注意到,像素尺寸為14卿之標準成像模組由於 強大之像素彩色串擾及電荷擴散而具有非常拙劣之影像品 質。另一方面,結合所描述之影像復原技術而利用3><1感 測器陣列的本發明之實施例在9個較小尺寸之像素輸出中 利用感測器陣列彩色分離及求總和以達成與像素尺寸為 4·2 μηι之感測器的影像品質均等的影像品質。同時,物件 疋焦距離自1.6 m有利地減小至〇·2 m。 圖15以簡化形式展示了 一處理器系統_,其包括所揭 示之實施例之成像設備200。處理器系統4〇〇係對具有數位 電路的可包括影像感測器設備之系統的例示。在不受限制 的情況下’此系統可包括一電腦系統、靜態或視訊相機系 統61〇、掃描儀、機器視覺、車輛導航、視訊電話、監視 系統、自動聚焦系統、星體追蹤儀系統、運動偵測系統、 影像穩定化系統及使用成像設備之其他系統。
處理器系統600(例如,數位靜態或視訊相機系統61〇)通 常包含一用於將影像聚焦於成像設備(圖4)之像素陣列 2〇2、2〇4、206上的透鏡100、一中央處理單元(cpu)6iQ 125204.doc -25- 200825449 (諸如,控制相機及一或多個影像流功能之微處理器卜 CPU 6 i 0經由匯流排660而與一或多個輸入/輸出(1/〇)設備 640通信。成像設備200亦經由匯流排66〇而與cpu 通 信。系統600亦包括隨機存取記憶體(RAM)62〇且可包括可 卸除式記憶體650(諸如,快閃記憶體),其亦經由匯流排 - 660而與CPU 610通信。可將成像設備2〇〇與cpu組合,其 中在單一積體電路上或在與cpu不同之晶片上具有或不具 有纪憶體儲存器。儘管將匯流排66〇說明為單一匯流排, 仁其可為用於互連系統組件之一或多個匯流排或橋接器。 儘管上文已描述了各種實施例,但應理解,其係以實例 方式且並非以限制方式來呈現。舉例而言,可將實施例用 於任何固態成像器像素結構及相關聯之陣列讀出電路。熟 習相關技術者將顯而易見,可在其中進行各種形式及細節 改變。 【圖式簡單說明】 圖1係通過光學成像透鏡之光線的說明; 圖2係像素陣列上之光線之表示; 圖3係展示物件與影像位置之間的關係的圖表; 圖4係根據本發明之實施例之多個3 χ丨像素陣列的俯視平 面圖; 圖5係圖4之多個像素陣列的橫截面圖; 圖6 A係根據本發明之實施例之影像感測器的橫截面圖; 圖6B係圖6A之影像感測器之俯視圖; 圖7 A係根據本發明之實施例之影像感測器的橫截面圖; 125204.doc 26· 200825449 圖7B係圖7A之影像感測器之俯視圖; 圖8A係根據本發明之實施例之影像感剛器的橫截面圖; 圖8B係圖8 A之影像感測器之俯視圖; ° 圖9 Α係根據本發明之實施例之像素陣列的表示· 圖9B係根據本發明之實施例之像素叢集的表示· 圖10係根據本發明之實施例之像素陣列的表示; 圖11係根據本發明之實施例之線緩衝記憶體的表示; 圖12係表示根據本發明之實施例之影像復原過程的流程 圖; 圖13係使用本發明之實施例之影像復原過程的處理器之 表不, 圖14A至圖14C係圖12及圖13之過程應用於圖4及圖5之 設備的表示; 圖14D係圖12及圖13之過程應用於圖WA及圖16B之設備 的表示; 圖1 5係使用本發明之實施例之系統的表示; 圖16A係習知拜耳圖案彩色影像感測器之一部分的俯視 平面圖;及 圖16B係圖14A之影像感測器之橫截面圖。 【主要元件符號說明】 1 上部左側叢集 2 上部中心叢集 3 上部右侧叢集 4 中間左側叢集 125204.doc •27· 200825449 5 中間中心叢集 6 中間右側叢集 7 下部左側叢集 8 下部中心叢集 9 下部右側叢集 10 習知像素陣列 12 像素 14 基板 16 光轉換設備 20 微透鏡 22 彩色濾光片陣列 24 彩色濾光片 26 層間介電質(ILD)區 28 電路 30 介電質層 32 經過濾之光 100 成像透鏡 102 物件 104 影像 105 光轴 106 前焦點 107 後焦點 108 前焦平面 109 後焦平面 125204.doc -28 - 200825449 110 成像陣列 111 像素 112 點 114 光線 116 光線 118 聚焦光點 120 離焦光點 124 軸向移位 200 成像器設備 202 彩色像素陣列/綠色像素陣列 204 彩色像素陣列/紅色像素陣列 206 彩色像素陣列/藍色像素陣列 208 周邊支援電路 210 積體電路晶粒或晶片 212 成像透鏡 214 成像透鏡 216 成像透鏡 218 彩色濾、光片 220 彩色濾光片 222 彩色滤光片 224 光學元件 226 彩色像素陣列 228 彩色像素陣列 230 彩色像素陣列 125204.doc -29- 200825449 232 234 236 238 240 242 244 245 246 247 248 249 265 267 269 275 277 279 310 312 350 412 414 416 微透鏡陣列 迷你透鏡陣列 微透鏡 迷你透鏡 像素 光線 樣本點像素 加權函數 樣本點像素 加權函數 樣本點像素 加權函數 乘法運算單元 乘法運算單元 乘法運算單元 求總和單元 求總和單元 求總和單元 錐形 3x3叢集 十二(12)線緩衝記憶體 比較器 輸出 邊緣測試單元 125204.doc -30- 200825449 418 多工器 420 像素選擇處理圖案 440 像素缓衝記憶體 442 像素缓衝記憶體 444 像素緩衝記憶體 500 像素處理單元 600 處理器系統 610 中央處理單元(CPU)/數位靜態或視訊相機系統 620 隨機存取記憶體(RAM) 640 輸入/輸出(I/O)設備 650 可卸除式記憶體 660 匯流排 El 邊緣清晰度值 E2 邊緣清晰度值 E3 邊緣清晰度值 F 焦距 LI 距離 L2 距離 SI 總和/總和值 S2 總和/總和值 S3 總和/總和值 xl 距離 x2 距離 Θ 角度 125204.doc •31 -

Claims (1)

  1. 200825449 十、申請專利範圍: 1. 一種成像裝置,其包含: 一像素陣列,其包含複數個像素; 第一透鏡陣列,其包含位於該像素陣列上之複數個 第一透鏡;及 一第二透鏡陣列,其包含位於該第一透鏡陣列上之複 數個第二透鏡,其中該複數個第二透鏡中之每一者將光 導引至該複數個第一透鏡中之一個以上的第一透鏡上。 2·如請求項1之成像裝置,其進一步包含一位於該第二透 鏡陣列上之成像透鏡。 3·如凊求項1之成像裝置,其中該複數個第二透鏡中之每 一者將光導引至該等第一透鏡之一 ΝχΜ叢集上,其中n 及Μ係整數。 4.如請求項3之成像裝置,其中ν及μ等於3。 5·如凊求項3之成像裝置,其中該複數個第二透鏡中之每 一者之邊緣對齊於該NxM第一透鏡叢集之邊緣。 6·如請求項1之成像裝置,其進一步包含安置於該第二透 鏡陣列與該成像透鏡之間的光學濾光片。 7·如明求項1之成像裝置,其中該第二透鏡陣列係大致安 置於該成像透鏡之一焦平面處。 8·如請求項1之成像裝置,其中該複數個第二透鏡之一數 值孔控大致等於該成像透鏡之一數值孔徑。 9·如請求項1之成像裝置,其中該第一透鏡陣列係大致安 置於該第二透鏡陣列之該複數個第二透鏡的一焦平面 125204.doc 200825449 處。 1〇.::求項1之成像褒置,其中該像素陣列包含位於一單 曰曰^上之複數個像素陣列’且其中該複數個像素陣列 中之母-者係_各別彩色像素陣列。 月求員9之成像裝置’其中該複數個像素陣列包含一 綠色像素陣列、一紅色像素陣列及-藍色像素陣列。 =明求項1之成像裝置’其中該像素陣列包含複數個紅 色、綠色及藍色像素。 13·如請求項1之成像裝置,其中彩色遽光片係提供於該成 像透鏡與該第二透鏡陣列之間。 14· 一種成像設備,其包含·· 像素陣列’其包含安置於_具有複數個第—透鏡之 透鏡陣列之下的複數個像素,其中該像素陣列之每 一像素係安置於該第一透鏡陣列之一對應第一透鏡之 下;及 一第二透鏡陣列,其具有複數個第二透鏡,該第二透 鏡陣列安置於該第一透鏡陣列之上,且其中該等第二透 鏡大於該等第一透鏡。 明求項14之成像设備,其中該像素陣列包含位於一單 一晶片上之複數個像素陣列。 如明求項15之成像设備,其中該複數個像素陣列中之每 一者係一各別彩色像素陣列。 17·如請求項16之成像設備,其中該複數個像素陣列包含一 綠色像素陣列、一紅色像素陣列及一藍色像素陣列。 125204.doc -2 - 200825449
    色像素、綠色像素及藍色像素。
    之該焦點處。 〜々二吻砜诼慫親冬一焦點的 第二透鏡陣列係大致安置於該成像透鏡
    樣本點像素組, 像没備,其進一步包含一用於處理來自 號的像素處理單元,該像素處理單元經 複數個像素群中之每一者的複數個不同 該複數個樣本像素組中之每一者對應於 散布於一像素陣列上之光的一各別圖案。 21·如請求項20之成像設備,其中該等樣本點像素組中之每 一者包含複數個樣本點像素,且其中該等樣本點像素組 中之每一者包含一不同樣本點像素組。 22. 如請求項14之成像設備,其中該第二透鏡陣列中之每一 第二透鏡將光導引至一ΝχΜ像素叢集上,其中N&M係 大於或等於2之整數。 23. 如請求項14之成像設備,其中該第二透鏡陣列中之每— 第二透鏡將光導引至一ΝχΝ像素叢集上,其中N係一大 於或等於2之整數。 24·如請求項23之成像設備,其中該第二透鏡陣列中之每一 第二透鏡將光導引至該像素陣列之一 3x3像素叢集上。 25.如請求項22之成像設備,其中L個第二透鏡將光導引至 該像素陣列之L個像素叢集上,其中L係一大於或等於2 125204.doc 200825449 之整數。 26.如請求項23之成像設備,其中L個第二透鏡將光導引至 該像素陣列之L個像素叢集上,其中L係一大於或等於2 之整數。 27·如請求項24之成像設備,其中該等第二透鏡中之九個透 鏡將光導引至該像素陣列之九個3x3像素叢集上。 28. 如請求項27之成像設備,其中該九個3x3像素叢集包含 一上部左側叢集、一上部中心叢集、一上部右側叢集、 一中間左側叢集、一中間中心叢集、一中間右側叢集、 下。卩左側叢集、一下部中心叢集及一下部右側叢集。 29. 如請求項28之成像設備,其進一步包含一像素處理單 元,該像素處理單元針對每一9x9像素群而界定三個不 同取樣點像素組。
    30. 如請求項29之成像設備,其中該像素處理單元經組態c 將一第一取樣點像素組如下界定:_位於該中間中2澤 集中之上部左側像素;一位於該中間中心叢集中之上舍丨 中心像素;-位於該中間中心叢集中之上部右側像素; -位於該中間中心叢集中之中間左侧像素;一位於則 間中心叢集中之中間中心像素’·—位於該中間中心叢# 中之中間右側像素;一位於該中間中心叢集中之下部名 侧像素;—位於該中間中心叢集中之下部中心像素;及 一位於該t間中心叢集中之下部右側像素。 31. 如請求項3〇之成像設備,其中該像素處理單元經組態以 將-第一取樣點像素組如下界定:_位於該上部左側叢 125204.doc 200825449 集中之上部左側像素;一位於該上 中心像素一該上部右側叢集中之上LI::部 位於该中間左側叢集中之中間左侧像素;一位於 :中:叢集中之中間中心像素;一位於該中間右側;集 之中間右側像素卜位於該下部左侧叢集中之下部卢 側像素位於該下部中心叢集中之下部中心像素;^ 一位於該下部右側叢集中之下部右側像素。
    32·如請求項31之成像設備,其中該像素處理單元經組能以 將一第三取樣點像素組如下界定:—位於該上部左側叢 集中之下部右側像素;一位於該上部中心叢集中之下部 中心像素;-位於該上部右側叢集中之下部左側像素. 一位於該中間左側叢集中之中間右側像素;—位於該中 間中心叢集中之中間中心像素;—位於該中間右側叢集 中之中間左側像素;—位於該下部左側叢集中之上部右 側像素;-位於該下部中心叢集中之上部中心像素;及 一位於該下部右側叢集中之上部左側像素。 33.如請士項29之成像設備,其中該像素處理單元經組態以 將遠第一樣本點像素組、該第二樣本點像素組及該第三 樣本點像素組用於: 對該第-樣本點像素組、該第二樣本點像素組及該第 三樣本點像素組巾之每-者巾的該##本點像素之各別 強度進行求總和; 將每一樣本點像素組之該等總和值儲存於各別記憶體 中; 125204.doc 200825449 將一邊緣測試應用於每一記憶體中之鄰近的所儲存之 總和值’以尋找鄰近總和值之間的最清晰邊緣,及輪出 母一記憶體之一各別清晰度值; 基於该等清晰度值而選擇並輸出該等各別記憶體中之 二個所儲存之總和值中的一個所儲存之總和值; 基於該等所輸出之所儲存之總和值而產生一影像。 34.如請求項32之成像設備,其中該像素處理單元經組態以
    將該第一樣本點像素組、該第二樣本點像素組及該第三 樣本點像素組用於: 對該第-樣本點像素組、該第二樣本點像素組及該第 三樣本點像素、组中之每一I中的言亥等樣本點像素之各別 強度進行求總和; 將每一樣本點像素組之該等總和值儲存於各別記情體 中; " 將一邊緣測試應用於每一記憶體中之鄰近的所儲存之 總和值,以尋找鄰近總和值之間的最清晰邊緣,及輸出 每一記憶體之一各別清晰度值; 基於該等清晰度值而選擇並輸出該等各別記憶體中之 三個所儲存之總和值中的一個所儲存之總和值; 基於該等所輸出之所儲存之總和值而產生一影像。 3 5 · —種成像設備,其包含: ' 至少一像素陣列; -用於處理該至少一陣列之像素的像素處理單元,該 像素處理mux形成複數個取樣像素挺,每一該 125204.doc -6 · 200825449 取樣像素組包含至少一不同之取樣點像素,該複數個取 樣像素組中之每一者經調適以偵測一影像信號在該像素 陣列上之一各別散布。 36.如請求項35之成像設備,其中該複數個取樣像素组包含 三個組。 37·如請求項35之成像設備,其中每一取樣點像素組包含九 個取樣點像素。 38. 如請求項35之成像設備,其中在一像素陣列之一 ΝχΜ像 素群上偵測該影像信號,其中Ν&Μ係大於或等於2之敕 數。 39. 如請求項35之成像設備,其中在—像素陣列之—_像 素群上偵測該影像信號,其中Ν係一大於或等於2之敕 數。 40. 如請求項39之成像設備,其中該像素群係_9χ9像素 群。 41·如請求項35之成像設備,其中該像夸 一 必1冢f處理早元經組態以 將該複數個取樣像素組用於: 行求總和; :本點像素組、第二樣本點像素組及第三樣本 每—者中的該等樣本點像素之各別強度進 將每一樣本點像素組之該等總和 中; m储存於各別記憶體 將一邊緣測試應用於每一記愔 碑“… w中之鄰近的所儲存之 ' ^ 值,以哥找鄰近總和值之間@ 4 4 間的最清晰邊緣,及輸出 125204.doc 200825449 每一記憶體之一各別清晰度值; 基於該等清晰度值而選擇並輸 一 ^ 輛出δ亥荨各別記憶體中之 二個所儲存之總和值中的—個所儲存之總和值· 基於該等所輸出之所健存之總和值而產生_影像。 A如請求項41之成像設備,其中該至少—像素陣列包含一 綠色像素㈣…藍色像素陣収—紅色像素陣列,且 ί 應用該邊緣測試之該步驟係對該等像料列巾之每一者 執行。 43.如請求項41之成像設備,其中該至少一像素陣列包含一 綠色像素陣H色像轉収—紅色像素陣列,且 應用該邊緣測試之該步驟係僅對該等像素陣列中之—者 執行。 44.如請求項41之成像設備,其中該像素陣列包含一組洽 RGB像素陣列,且應用該邊緣測試之該步驟係對該 陣列執行。 μ 45. —種成像器設備,其包含: 至少-第-像素陣列、一第二像素陣列及一第三像素 陣列’每-像素_用於❹卜特定f彡像色彩且提供各 別彩色像素輸出信號; 一像素處理單元,其用於自該第一像素陣列、該第二 像素陣列及該第三像f中之至少一者選擇呈至少三種不 同像素圖案的像素,每一圖案對應於一影像在該第一像 素陣列、該第二像素陣列及該第三像素陣列中之該至少 一者上的一各別光散布圖案; 125204.doc 200825449 該像素處理單元經組態以對該至少三種不同像素圖案 之該等所選擇之像素進行求總和,㈣於根據鄰近總和 像素圖案之邊緣特徵來選擇用於影像建構輸出的該至少 二種不同像素圖案中之每一者的該等總和像素中之一 者0 46.如請,項45之成像器設備,其中該像素處理單元經進一 步組態以將一各別加權函數應用於該等所選擇之像素。 47·如請求項45之成像器設備,其中該像素處理單元經i 步組態以用妓㈣等所輸出之總和像素來重建一 之一影像。 48· 一種成像設備,其包含·· 至少一像素陣列,其提供像素信號;及 一像素處理單元,其經組態以·· 自該至少一像素陣列接收像素信號; 將該等所接收之陣列像素信號劃 像素陣列之連續像素群,每一連續像素群包=-像素陣列之複數個列及行中的像素;匕以至少— 針對跨越該至少一像素陣列之 定複數個連^ ^像素群而界 群含有該連續像=一對應之取樣像素 埂,像素群之一不同像素群; 對該複數個連續取樣像素群中之每 素進行求總和; 的取樣像 t擇該等連續總和取樣像素群中之—二 之取樣像素群對應於一與一相鄰 ::: 斤選擇 W ^和群顯現最 125204.doc 200825449 高邊緣清晰度的像素群;及 使用該等所選擇之總和取樣像素群來重建一影像。 4 9 ·如明求項4 8之成像設備,其中每一該連續像素群包人 NxM像素群,其中N及Μ皆為大於3之整數,H ^ 且母一該取 樣像素群包含一〇xP像素群,其中0及?皆為小 之整數。 '
    5〇·如請求項49之成像設備,其中該連續像素群包含—9” 像素群,且每一該取樣像素群包含該9χ9像素群之九個 A ^請求㈣之成像設備’其中該複數個連續對應取樣像 素群包含三個取樣像素群。 求㈣之成像設備’其巾每-該總和取樣像素群具 與求總和之每一像素相關聯的加權因子。 W之成像設備,其進__步包含複數個像素陣 二母-像素陣列具有一各別色彩,且其中該像素處 早兀經進一步組態以: 為 組合來自⑽料狀像素信號且將料組合 該等所接收之像素信號來處理 儿 包含複數個像素陣 且其中該像素處理 54.如請求項48之成像設備,其進一步 列,每一像素陣列具有一各別色彩, 單元經進一步組態以: 移禝要文個像素陣列中之每 該等所接收之像素信㈣獨立地處理;及 組合對應於該複數個像素陣列中之每一者的重建影像 125204.doc -10. 200825449 以形成一輸出影像。 55.如請求項48之成像設備,其中該至少—像轉 有複數種色彩之像素信號,且該像素處理單心進3 組悲以對料像素信號進行去馬賽克,且將該等經去馬 賽克之像素錢作為所純之像素信號來提供。 56· —種俘獲一影像之方法,其包含: 藉由一成像透鏡來俘獲含有-物件之料資訊的光 線; 將該等光線自該成像透鏡導引至一第一透鏡陣列之複 數個第一透鏡; 將孩等光線自該等第一透鏡中之每一者導引至一第二 透鏡陣列之一第二透鏡叢集;及 將光自该等第二透鏡中之每一者導引至一像素陣列之 各別像素。 57·:明求項56之方法,其中該自該等第一透鏡中之每一者 導引該等光線包含:將光線導引至一 ΝχΜ第二透鏡叢 集’其中Ν及Μ係大於或等於2之整數。 5 8.如明求項56之方法,其中該自該等第一透鏡中之每一者 導引該等光線包含:將光線導引至一 Νχν第二透鏡叢 集’其中Ν係一大於或等於2之整數。 59· $請求項58之方法,其中該第二透鏡叢集係一具有九個 第二透鏡之3x3叢集。 6〇_如明求項56之方法,其中該像素陣列包含複數個像素陣 列。 125204.doc -11 - 200825449 如叫求項5 8之方法,其中該複數個像素陣列中之每一者 係各別彩色像素陣列。 如明求項61之方法,其中該複數個像素陣列包含一綠色 像素陣列、一紅色像素陣列及一藍色像素陣列。 ’明’項56之方法,其中該像素陣列包含複數個紅色像 素、綠色像素及藍色像素。 64· 一種使一物件成像之方法,其包含: 3夂成像器设備,該成像器設備具有一包含複數個 像素之像素陣列; 按收來 λ 一侍成像於該像素陣列上之物件的光線,該 等光線起源於距該像素陣狀不同距離處;及 使用來自该像素陣列之信號而產生該物件之 來自特定樣本像素,且其中該等樣本像素L '〜像光點在该像素陣列上之一散布。
    本像素^64之μ ’其巾該特定樣本像素包含複數個樣 像光該複數個樣本像素組中之每—者對應於一影 像先點在該像素陣列上之一各別散布量。 2 f項65之方法,其中該等樣本點像素組中之每一者 匕各複數個樣本像素, 一α入 u㈣樣本點像素組中之每 者匕3 —不同樣本點像素組。 67.如請求項64之方法,1 卜㈣本像素係自該像素㈣ 數。像素群〜,其中係大於或等於2之整 68·如請求項64之方法 其中該等樣本像素係 自該像素陣列 I25204.doc -12 · 200825449 Μ像素群判定,其中㈣—大於或等於2之整 數。 69.如請求項68之方法,其中該等樣本像素係自 3x3像素叢集之像素群判定。 3九個 70·如請求項69之方法,甘士斗… 忐其中该九個3x3像素叢集包含一上 部左側叢集、—上部中心叢集、—上部右側叢集、一中 :左側叢集、一中間中心叢集、一中間右側叢集、一下 部f側叢集、一下部中心叢集及一下部右側叢集。 71·如清求項70之方法,其進一步包含提供一像素處理單 •〜像素處理單%針對每_ 9χ9像素群而界定三個不 同取樣點像素組。 .^ °月求項71之方法’其中該像素處理單元經組態以將-弟取樣...占像素組如下界定:位於該上部左 j部左側像素;位於該上料心叢集中之上部=像 …位於§亥上部右側叢集中之上部右側像素;位於該中 間左侧叢集中之中間左側像素;位於該令間中心叢集中 :中間中心像素;位於該中間右側叢集令之中間右:像 ^ 下部左側叢集中之下部左侧像素;位於該下 集中之下部中心像素;及位於該下部右側叢集 中之下部右側像素。 73.^求項72之方法’其中該像素處理單元經組態以將一 弟-取樣點像素組如下界定:位於該上部左 I部右側像素;位於該上部中心叢集中之下部;心像 …位於^上部右側叢集中之下部左側像素;位於該中 125204.doc -13 - 200825449 間左側叢集中之令間右 像素,位於該中間中 之該中間中心像素;位於辞由T ^叢集中 像辛·位料下邱士 側叢集中之中間左側 像常,位於该下部左側叢隼 下部中心#以“ 側像素;位於該 ^ , 象素,及位於該下部右側叢 集中之上部左側像素。 1最 74.如請求項73之方法,並 第-败緙 ,、^素处理單元經組態以將一 弟二取樣點像素組如下界定:—位於該中間中心叢集中 之上部左側像素;一位於該中間中心叢集中之上部中心 像素;—位於該巾財心叢集巾之上部右側料;一位 於該中間中心叢集中之中間左側像素;一位於該中間中 :叢集中之中間中心像素;一位於該中間中心叢集中之 間右侧像素;-位於該中間中心叢集中之下部左側像 素;-位於該中間中心叢集中之下部中心像素;及一位 於該中間中心叢集中之下部右側像素。 75·,請求項71之方法,其中該像素處理單元經組態以將該 第一樣本點像素組、該第二樣本點像素組及該第三樣本 點像素組用於: 對該第-樣本點像素組、該第二樣本點像素組及該第 三樣本點像素組中之每—者中的該等樣本點像素之各別 強度進行求總和; 將該等總和值儲存於緩衝記憶體中; 將一邊緣測試演算法應用於該等所儲存之總和值中的 每一者,以尋找鄰近總和值之間的最清晰邊緣,及將各 別清晰度值輸出至一比較器; 125204.doc -14- 200825449 基於輸出至㈣較器之該清晰度值而選擇並輸出所儲 存之總和值; 基於該等所輸出之所儲存之總和值而產生一影像。 76.如請求項74之方法,其中該像素處理單元經組態以將該 弟一樣本點像素組、該第:樣本點像素組及該第三樣本 點像素組用於: 對該第一樣本點像素組、 二樣本點像素組中之每一者 強度進行求總和; 该第二樣本點像素組及該第 中的該等樣本點像素之各別 將該等總和值儲存於緩衝記憶體中; 將—邊緣測試應用⑨該等所儲存之總和纟中的每一 者,以尋找鄰近總和值之間的最清晰邊緣,及將各別清 晰度值輸出至一比較器; 基於輸出至該比較H之該清晰度值而選擇並輸出所儲 存之總和值; 土於„亥等所輸出之所儲存之總和值而產生一影像。 77·如請求項64之方法’其中該像素陣列包含複數個像素陣 列。 、 如π求項77之方法’其中該複數個像素陣列中之每一者 係一各別彩色像素陣列。 79·如明求項77之方法,其中該複數個像素陣列包含 '綠色 象素陣列、—紅色像素陣列及_藍色像素陣列。 8〇·如請求項64之方法,其中該像素陣列包含複數個紅色像 素、綠色像素及藍色像素。 125204.doc -15- 200825449 81. —種影像產生過程,其包含: 景> 像之像素陣列 該像素陣列之一像 樣本點像素組具有 藉由一像素處理單元自一用於產生 選擇樣本點像素,其中該選擇包含自 素群選擇複數個樣本點像素組,每一 至少一不同之樣本點像素; 將來自該像素群之該等構太务丰 I像本點像素的信號資訊讀入至 一記憶體中;及
    記憶體中之來自該像素群之該等樣本點像素的該 4吕號資訊進行求總和。 82.如請求項81之影像產生過程,其中該選擇步驟包含自複 數個像素陣列選擇樣本點像素,每一像素陣列具有一各 別色彩。 83 ·如明求項82之影像產生過程,其中該複數個像素陣列中 之每一者係一各別彩色像素陣列。 84·如請求項83之影像產生過程,其中該複數個像素陣列包 含一綠色像素陣列、一紅色像素陣列及一藍色像素陣 列0 85.如請求項81之影像產生過程,其中該選擇步驟包含自一 包含複數個紅色像素、綠色像素及藍色像素之像素陣列 選擇樣本點像素。 86·如請求項8 1之影像產生過程,其中對該信號資訊進行求 總和包含對該等樣本點像素之強度進行求總和;且進一 步包含儲存該等總和強度。 87.如凊求項86之影像產生過程,其進一步包含將一邊緣測 125204.doc -16- 200825449 試應用於該等所儲存之總和強度。 8 8 ·如請求項8 1之影像產生過程,其進一步包含·· 比較鄰近的所儲存之總和強度之邊緣的清晰度; 基於最高邊緣清晰度而選擇並輸出該等總和強度中之 一者;及 基於總和強度之該輸出而復原一影像。 89· —種影像俘獲過程,其包含:
    在一成像感测器之一像素陣列上俘獲光線,該像素陣 列具有複數個像素; 其中基於一影像光點跨越該像素陣列之該複數個像素 的散布來選擇待評估的該複數個像素之取樣點像素。 9〇_如請求項89之影像俘獲過程,其進一步包含在一成像透 鏡處接收該等光線,及將該等光線自該成像透鏡導引至 一第一透鏡陣列之第一透鏡。 91 ·如明求項90之影像俘獲過程,其進一步包含將該等光線 自該等第一透鏡中之每一者導引至一第二透鏡陣列之複 數個第二透鏡上。 92_如明求項91之影像俘獲過程,其進-步包含將該等光線 自5亥硬數個第二透鏡中之每-者導引至該像素陣列之各 別像素上。 93·如μ求項89之影像俘獲過程,其巾該像素陣列包含複數 個像素陣列。 如:求項93之影像俘獲過程,其中該複數個像素陣列中 之每-者係一各別彩色像素陣列。 125204.doc •17· 200825449 95. 96. 如明求項93之影像俘獲過程,其中該複數個像素陣列包 ^ 綠色像素陣列、一紅色像素陣列及一藍色像素陣 列。 如請求項89之影像俘獲過程,其中該像素陣列包含複數 個紅色像素、綠色像素及藍色像素。 125204.doc 18 -
TW096136928A 2006-10-02 2007-10-02 具有第一及第二透鏡陣列的成像設備 TWI388877B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/540,673 US20080080028A1 (en) 2006-10-02 2006-10-02 Imaging method, apparatus and system having extended depth of field

Publications (2)

Publication Number Publication Date
TW200825449A true TW200825449A (en) 2008-06-16
TWI388877B TWI388877B (zh) 2013-03-11

Family

ID=39012637

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096136928A TWI388877B (zh) 2006-10-02 2007-10-02 具有第一及第二透鏡陣列的成像設備

Country Status (3)

Country Link
US (1) US20080080028A1 (zh)
TW (1) TWI388877B (zh)
WO (1) WO2008042137A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393980B (zh) * 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
US9207365B2 (en) 2013-09-18 2015-12-08 Kabushiki Kaisha Toshiba Imaging lens and solid state imaging device
US9257470B2 (en) 2013-09-18 2016-02-09 Kabushiki Kaisha Toshiba Imaging lens and solid state imaging device
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
CN115359105A (zh) * 2022-08-01 2022-11-18 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP4813447B2 (ja) * 2007-11-16 2011-11-09 富士フイルム株式会社 撮像システム、並びにこの撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器
US9118850B2 (en) * 2007-11-27 2015-08-25 Capso Vision, Inc. Camera system with multiple pixel arrays on a chip
WO2009136989A1 (en) * 2008-05-09 2009-11-12 Ecole Polytechnique Federale De Lausanne Image sensor having nonlinear response
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8131097B2 (en) 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
US9621825B2 (en) * 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
JP5059065B2 (ja) * 2009-08-07 2012-10-24 シャープ株式会社 撮像モジュール、結像レンズ、およびコード読取方法
JP4886016B2 (ja) * 2009-10-08 2012-02-29 シャープ株式会社 撮像レンズ、撮像モジュール、撮像レンズの製造方法、および、撮像モジュールの製造方法
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8339481B2 (en) * 2009-12-14 2012-12-25 Samsung Electronics Co., Ltd. Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
US8319855B2 (en) * 2010-01-19 2012-11-27 Rambus Inc. Method, apparatus and system for image acquisition and conversion
KR101640456B1 (ko) * 2010-03-15 2016-07-19 삼성전자주식회사 디스플레이 패널의 각 픽셀들의 개구부를 통해 촬영하는 촬영 장치 및 방법
TWI418914B (zh) * 2010-03-31 2013-12-11 Pixart Imaging Inc 適用於光感測系統之失焦校正模組及其方法
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
EP2461198A3 (en) 2010-12-01 2017-03-08 BlackBerry Limited Apparatus, and associated method, for a camera module of electronic device
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
FR2969819A1 (fr) * 2010-12-22 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
FR2969822A1 (fr) * 2010-12-24 2012-06-29 St Microelectronics Grenoble 2 Capteur d'image tridimensionnel
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US8479998B2 (en) * 2011-01-31 2013-07-09 Hand Held Products, Inc. Terminal having optical imaging assembly
JP2012220590A (ja) 2011-04-05 2012-11-12 Sharp Corp 撮像レンズおよび撮像モジュール
US20120274811A1 (en) * 2011-04-28 2012-11-01 Dmitry Bakin Imaging devices having arrays of image sensors and precision offset lenses
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US10015471B2 (en) * 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
US20130120621A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Apparatus and associated method for forming color camera image
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
JP2016001682A (ja) * 2014-06-12 2016-01-07 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9769371B1 (en) * 2014-09-09 2017-09-19 Amazon Technologies, Inc. Phase detect auto-focus
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
WO2016181512A1 (ja) * 2015-05-12 2016-11-17 オリンパス株式会社 撮像装置、内視鏡システムおよび撮像装置の製造方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
CA3157194C (en) 2019-10-07 2023-08-29 Boston Polarimetrics, Inc. Systems and methods for augmentation of sensor systems and imaging systems with polarization
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178629B2 (ja) * 1992-11-24 2001-06-25 株式会社ニコン 固体撮像装置およびその製造方法
EP1107316A3 (en) * 1999-12-02 2004-05-19 Nikon Corporation Solid-state image sensor, production method of the same and digital camera
US6821810B1 (en) * 2000-08-07 2004-11-23 Taiwan Semiconductor Manufacturing Company High transmittance overcoat for optimization of long focal length microlens arrays in semiconductor color imagers
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
US20060125945A1 (en) * 2001-08-07 2006-06-15 Satoshi Suzuki Solid-state imaging device and electronic camera and shading compensaton method
EP2420872A3 (en) * 2001-12-14 2012-05-02 QUALCOMM MEMS Technologies, Inc. Uniform illumination system
US6868231B2 (en) * 2002-06-12 2005-03-15 Eastman Kodak Company Imaging using silver halide films with micro-lens capture and optical reconstruction
TW200412617A (en) * 2002-12-03 2004-07-16 Nikon Corp Optical illumination device, method for adjusting optical illumination device, exposure device and exposure method
JP2005031460A (ja) * 2003-07-07 2005-02-03 Canon Inc 複眼光学系
JP2005167442A (ja) * 2003-12-01 2005-06-23 Canon Inc 複眼光学系
JP4835136B2 (ja) * 2005-12-06 2011-12-14 株式会社ニコン 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393980B (zh) * 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US10277885B1 (en) 2013-02-15 2019-04-30 Red.Com, Llc Dense field imaging
US10547828B2 (en) 2013-02-15 2020-01-28 Red.Com, Llc Dense field imaging
US10939088B2 (en) 2013-02-15 2021-03-02 Red.Com, Llc Computational imaging device
US9207365B2 (en) 2013-09-18 2015-12-08 Kabushiki Kaisha Toshiba Imaging lens and solid state imaging device
US9257470B2 (en) 2013-09-18 2016-02-09 Kabushiki Kaisha Toshiba Imaging lens and solid state imaging device
CN115359105A (zh) * 2022-08-01 2022-11-18 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质
CN115359105B (zh) * 2022-08-01 2023-08-11 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质

Also Published As

Publication number Publication date
US20080080028A1 (en) 2008-04-03
WO2008042137A2 (en) 2008-04-10
WO2008042137A3 (en) 2008-06-19
TWI388877B (zh) 2013-03-11

Similar Documents

Publication Publication Date Title
TW200825449A (en) Imaging method, apparatus and system having extended depth of field
US9871980B2 (en) Multi-zone imaging sensor and lens array
US9025060B2 (en) Solid-state image sensor having a shielding unit for shielding some of photo-electric converters and image capturing apparatus including the solid-state image sensor
CN109981939B (zh) 成像系统
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9204067B2 (en) Image sensor and image capturing apparatus
JP4915126B2 (ja) 固体撮像装置、および電子カメラ
JP5552214B2 (ja) 焦点検出装置
JP4752031B2 (ja) 撮像の装置と方法
US6933978B1 (en) Focus detecting device with photoelectric conversion portion having microlens and with light blocking portion having first and second openings
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US10397465B2 (en) Extended or full-density phase-detection autofocus control
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP5675157B2 (ja) 焦点検出装置
WO2016137241A1 (en) Multi-aperture depth map using blur kernels and down-sampling
JP5276374B2 (ja) 焦点検出装置
US20150381951A1 (en) Pixel arrangements for image sensors with phase detection pixels
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
JP2010152161A (ja) 撮像装置
US20160241772A1 (en) Dynamic auto focus zones for auto focus pixel systems
JP2010181485A (ja) 撮像装置および撮像素子
JP2012220790A (ja) 撮像装置
CA3054777C (en) Autofocus system for cmos imaging sensors
US20210266431A1 (en) Imaging sensor pixels having built-in grating
US20220028914A1 (en) Image sensor and image capturing apparatus

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees