TW202143706A - 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法 - Google Patents

利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法 Download PDF

Info

Publication number
TW202143706A
TW202143706A TW109146213A TW109146213A TW202143706A TW 202143706 A TW202143706 A TW 202143706A TW 109146213 A TW109146213 A TW 109146213A TW 109146213 A TW109146213 A TW 109146213A TW 202143706 A TW202143706 A TW 202143706A
Authority
TW
Taiwan
Prior art keywords
photodiodes
photodiode
image sensor
polarization
microlens
Prior art date
Application number
TW109146213A
Other languages
English (en)
Other versions
TWI792128B (zh
Inventor
陳文首
劉關松
任仡奕
進寶 彭
貝德里納斯 帕德瑪納伯安
阿里瑞薩 波納克達
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW202143706A publication Critical patent/TW202143706A/zh
Application granted granted Critical
Publication of TWI792128B publication Critical patent/TWI792128B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Holo Graphy (AREA)
  • Optical Head (AREA)

Abstract

在一些實施例中，提供一種影像感測器。該影像感測器包含經配置成一光電二極體陣列之複數個光電二極體。該複數個光電二極體包括經組態為相位檢測光電二極體之第一組光電二極體，及經組態為極化檢測光電二極體之第二組光電二極體。在一些實施例中，提供一種控制器。該控制器包含電路系統，該電路系統經組態以處理來自一光電二極體陣列之第一組光電二極體的信號以獲得深度資訊；處理來自該光電二極體陣列之第二組光電二極體的信號以獲得極化資訊；處理該極化資訊以獲得模糊的一組表面法線；且利用該深度資訊來處理模糊的一組表面法線，以獲得一三維形狀影像。

Description

利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法
本發明總體上係關於影像感測器，且特別地但不排他地，係關於CMOS影像感測器及其應用。
影像感測器已經變得無處不在，且現在廣泛用於數碼相機、蜂巢電話、安全相機及醫療、汽車及其他應用中。隨著影像感測器被整合至更寬之電子裝置範圍中，期望以儘可能多之方式(例如，解析度、功耗、動態範圍等)藉由裝置架構設計及影像採集處理來增強其功能、效能度量等。
典型之影像感測器回應於自外部場景反射之影像光入射至影像感測器上進行操作。影像感測器包括具有光敏元件(例如，光電二極體)之像素陣列，該光敏元件吸收入射影像光之一部分且在吸收影像光時產生影像電荷。像素中之每一個之影像電荷可以作為隨入射影像光之函數變化之每個光敏元件之輸出電壓被量測。換言之，所產生之影像電荷量與影像光之強度成比例，該影像光用於產生表示外部場景之數位影像(即，影像資料)。
本文描述了各自包括或否則與能夠產生三維形狀及深度影像之影像感測器相關之之設備、系統及方法之實施例。在以下描述中，闡述大量特定細節以提供實施例之全面理解。然而，熟習此項技術者將認識到本文描述之技術可以在沒有此等具體細節中之一或多者或者具有其他方法、部件、材料等情況下被實踐。在其他實例中，沒有詳細地說明或描述公知之結構、材料或操作以避免模糊某些態樣。
貫穿本說明書，對「一個實例」、「一個實施例」之引用意味著結合該實例描述之特定特徵、結構或特性被包括在本發明之至少一個實例中。因此，貫穿本說明書，在各個地方中出現之短語「在一個實例中」或「在一個實施例中」不一定均指相同之實例及實施例。另外，特定特徵、結構或特性可以以任何合適之方式結合在一或多個實例及實施例中。
貫穿本說明書，利用了幾個領域術語。此等術語採取了其所來自之領域中的通常之含義，除非本文明判定義，或者其利用之上下文將以其他之方式明確建議。
本文描述之實施例利用影像感測器，該影像感測器包括經組態以收集極化資訊之光電二極體及經組態以收集深度資訊之光電二極體，以便於產生三維形狀及深度影像。在一些實施例中，經組態以收集極化資訊之光電二極體與極化網格對準，以便於產生可以用於判定一組模糊之表面法線之資訊。在一些實施例中，經組態以收集深度資訊之光電二極體可以包括共用公共濾色器及微透鏡之相位檢測光電二極體。在一些實施例中，深度資訊可以用於解決模糊之表面法線中之模糊，從而建立三維形狀及深度影像。在單個影像感測器中組合相位檢測光電二極體及極化檢測光電二極體提供了多種技術益處，包括但不限於消除由單獨之影像感測器捕獲之在深度資訊及極化資訊之間的配凖錯誤，及簡化包括單個組合之影像感測器而非單獨之深度感測器及極化感測器之裝置。
圖 1 至圖 4 說明影像感測器100之非限制性例示性實施例之表示性視圖，該影像感測器包括半導體材料102、複數個光電二極體104、複數個濾色器106及複數個微透鏡108。應理解，圖 1 至圖 4 中呈現之視圖可以省略影像感測器100之某些元件，以避免模糊本發明之細節。亦應理解，在一些實施例中，影像感測器100不一定包括圖 1 至圖 4 中所示之所有元件。
圖 1 說明根據本發明之各個態樣的帶有共用微透鏡之影像感測器100之截面圖之非限制性例示性實施例。更具體地，截面圖為沿著影像感測器100之列或行截取之表示性視圖(例如，圖 2 中所示之行「C1」)。再次參考圖 1 ，影像感測器100包括複數個光電二極體104，該複數個光電二極體配置為含有M個單獨之光電二極體(例如，光電二極體104-1、光電二極體104-2……光電二極體104-M)之光電二極體陣列，複數個光電二極體104中之每一個被設置在半導體材料102(例如，矽)之相應部分內。換言之，在半導體材料102之各個部分之數量及單獨之光電二極體104之數量之間存在1比1之比率。在一些實施例中，包括在複數個光電二極體104中之單獨之光電二極體可以與在半導體材料102之相應部分內之摻雜區域相對應，此等摻雜區域共同回應入射光(例如，摻雜區域可以形成PN結，該PN結產生與入射光之幅度或強度成比例之電荷或影像電荷)。在所示之實施例中，半導體材料102 (例如，半導體材料102-1、半導體材料102-2……半導體材料102-M)之各個部分中之每一個包括複數個光電二極體104中之相對應之一個，使得半導體材料102之相應之部分各自具有第一橫向區域，該第一橫向區域大於包括在複數個光電二極體104中之單獨之光電二極體之相應之一個之橫向區域。例如，光電二極體104-1形成在半導體材料102-1之相應部分內，但明顯不橫向延伸跨過半導體材料102-1之相應部分之整體。因此，應理解，包括在複數個光電二極體104中之單獨之光電二極體不必要橫向滴延伸跨過半導體材料102之各個部分之整個橫截面積。相反，設置在鄰近光電二極體之間的半導體材料102之部分(例如，在光電二極體104-1及光電二極體104-2之間的半導體材料102之區域)可以用於在半導體材料內形成附加結構(例如，隔離溝槽、浮動擴散件等)。在其他實施例中，半導體材料102之相應部分及相關聯之第一橫向區域與包括在複數個光電二極體104中之各個光電二極體之最大橫向區域相對應。換言之，在一些實施例中，第一橫向區域與包括在複數個光電二極體104中之各個光電二極體之區域相對應。
在所示之實施例中，影像感測器100進一步包括複數個濾色器106，該複數個濾色器配置為與由複數個光電二極體104形成之光電二極體陣列光學對準之濾色器陣列。複數個濾色器106可以包括N個濾色器(例如，濾色器106-1……濾色器106-N)，此等濾色器各自具有特定之光譜光回應，以過濾藉由複數個濾色器中之單獨之濾色器傳播至複數個光電二極體104之組之入射光。例如，藍色濾色器106-1與至少兩個光電二極體(光電二極體104-1及光電二極體104-2)光學對準，使得回應於入射光由光電二極體104-1及光電二極體104-2產生之影像電荷基本上與入射至光電二極體104-1及光電二極體104-2上之光譜內之藍色分量之強度或幅度成比例。應理解，複數個濾色器106不限於單個光譜光回應，且其他類型之濾色器可以被包括在影像感測器100中，其中相應之光譜光回應基本上等同於紅色、綠色、藍色、全色(即，透明或白色)、黃色、青色、品紅色或其他顏色中之任一者或其組合。在一些實施例中，濾色器陣列因此可以用於產生表示至少在可見光譜內之入射光之影像信號，以產生表示外部場景之影像。在所示實施例中，包括在複數個濾色器106中之各個濾色器與包括在複數個光電二極體104中之至少兩個光電二極體之組光學對準，使得各個濾色器(例如，濾色器106-1……濾色器106-N)各自具有比相應之光學對準之光電二極體(例如，光電二極體104-1、光電二極體104-2……光電二極體104-M)之第一橫向區域大之第二橫向區域。
如圖 1 所示，影像感測器100包括複數個微透鏡108，該複數個微透鏡配置為與濾色器陣列(例如，由複數個濾色器106形成)及光電二極體陣列(例如，由複數個光電二極體104形成)光學對準。微透鏡中之每一個可以由聚合物(例如，聚甲基丙烯酸甲酯、聚二甲基矽氧烷等)或其他材料形成，且成形為具有光焦度，該光焦度用於藉由複數個濾色器106中之與包括在複數個光電二極體104中之光電二極體之相應組(例如，至少光電二極體104-1及光電二極體104-2)相對應之濾色器(例如，濾色器106-1)光學對準，將入射光會聚、發散或以其他方式引導在複數個微透鏡108(例如，微透鏡108-1)上。在一些實施例中，在包括在複數個濾色器106中之濾色器之數量及包括在複數個微透鏡108中之微透鏡之數量之間存在1比1之比率，該數量可以小於包括在複數個光電二極體104中之光電二極體之數量。在一些實施例中，光電二極體與微透鏡及/或濾色器之比率可為2比1、3比1、4比1或其他比率。相應地，包括在複數個微透鏡108中之各個微透鏡(例如，微透鏡108-1……微透鏡108-N)可以具有第三橫向區域，該第三橫向區域大於包括在複數個光電二極體104中之各個光電二極體之第一橫向區域，但該第三橫向區域小於包括在複數個濾色器106中之濾色器之第二橫向區域。
應理解，影像感測器100可以藉由熟習此項技術者已知之半導體裝置處理及微製造技術來製備。在一個實施例中，影像感測器100之製備可以包括：提供半導體材料(例如，具有正面及背面之矽晶片)；經由光微影在半導體材料102之正面上形成掩模或模板(例如，由固化之光阻)，以提供半導體材料102之正面之複數個曝露區域；摻雜(例如，經由離子注入、化學氣相沈積、實體氣相沈積等)半導體材料102之曝露部分，以形成自半導體材料102之正面延伸至半導體材料102中之複數個光電二極體104；移除掩模或模板(例如，藉由利用溶劑溶解固化之光阻)；及平面化(例如，經由化學機械平面化或拋光)半導體材料102之正面。在相同或另一實施例中，可以類似地利用光微影來形成複數個濾色器106(例如，具有期望之光譜光回應之固化之有色聚合物)及複數個微透鏡108(例如，基於聚合物之、具有目標形狀及大小之、由母模或模板形成之微透鏡)。應理解，所描述之技術僅僅為說明性的，而非窮盡性的，且可以利用其他技術來製備影像感測器100之一或多個部件。
圖 2 說明根據本發明之各個態樣的具有共用微透鏡之影像感測器100之非限制性例示性實施例之俯視圖。如圖所示，影像感測器100可以被定址或以其他方式描述為包括複數個列(例如，R1、R2、R3……RY)及行(例如，C1、C2、C3……CX)之陣列。具有Y列及X行之陣列之每個元件可以包括：相應光電二極體，該相應光電二極體包括在複數個光電二極體104中；濾色器，該濾色器包括在複數個濾色器106中；及微透鏡，該微透鏡包括在複數個微透鏡108中。例如，與圖 2 中所示之影像感測器100之列1行1相關聯之陣列元件可以表示自微透鏡108-1延伸並藉由濾色器106-1、光電二極體104-1及半導體材料102-1之相應部分之圖 1 中所示之自頂向下之視圖。再次參考圖 2 ，可以理解，可以省略或不標記一些元件(例如，在圖 1 中所示之複數個光電二極體104、複數個濾色器106、半導體材料102之相應部分等)，以避免模糊本發明之一些態樣。
在圖 2 所示之實施例中，複數個濾色器106形成濾色器陣列，該濾色器陣列包括以預定圖案配置之藍色濾色器106-B、綠色濾色器106-G及紅色濾色器106-R。濾色器陣列之預定圖案包括與被包括在複數個濾色器106中之四個鄰接濾色器之組相對應之複數個平鋪的最小重複單元(例如，重複單元110)。四個鄰接濾色器之組包括帶有第一光譜光回應之第一濾色器、帶有第二光譜光回應之第二濾色器、帶有第三光譜光回應之第三濾色器，及帶有第四光譜光回應之第四濾色器。在一些實施例中，第二光譜光回應為基本上與第三光譜光回應相同的。在相同或另一實施例中，第一光譜光回應與第四光譜光回應彼此不同，第二光譜光回應與第三光譜光回應彼此不同。在一些實施例中，第二濾色器及第三濾色器在光譜光回應態樣基本相同，且在複數個平鋪之最小重複單元中之單獨之一個內成對角地彼此相對設置。
如圖 2 中所示，複數個平鋪之最小重複單元中之每一個表示帶有不同濾色器之預定配置之影像感測器100的全色像素(即，影像像素)，使得由下伏光電二極體產生的影像信號(例如，具有與入射光強度成比例之幅度的電信號)共同表示電磁輻射的可見光譜。如圖所示，重複單元110包括四個象限(例如，帶有藍色濾色器之Q1、帶有第一綠色濾色器之Q2、帶有第二綠色濾色器之Q3、帶有紅色濾色器之Q4)。每個象限與子像素相對應，且重複單元110共同形成影像感測器100之影像像素。另外，最小重複單元(例如，重複單元110)之每個象限包括經配置成2乘2模式或陣列之共用(即，被光學對準)公共濾色器及公共微透鏡(例如，如圖 2 中左上角所示)的四個光電二極體之組。更具體地，在所示之實施例中，複數個濾色器106中之每一個在最小重複單元之相應一個中之相對應的象限內延伸穿過四個相鄰光電二極體104的各個組。在一些實施例中，複數個微透鏡108中之每一個為對稱的，且在包括在影像感測器100之相對應的像素或子像素中之光電二極體及濾色器之相對應的2乘2陣列上為光學居中的。例如，在圖 2 中所示之相對應之微透鏡的直徑112基本上延伸跨過影像感測器100的兩行。應理解，由於各個微透鏡(即，在各個微透鏡彼此不接觸之實施例中)之間的間隔，微透鏡的直徑不一定必須恰好橫跨影像感測器100的兩行或兩列。相反，各個微透鏡之直徑可以大於影像感測器100之一列或一行，但小於或等於兩行或兩列。亦應理解，在一些實施例中，複數個微透鏡106中的一些或全部不一定必須為對稱的(即，微透鏡可為非對稱的)。
圖 3 說明根據本發明之各個態樣的相對於影像感測器100之焦平面120之影像感測器100之非限制性例示性實施例之截面圖。更具體地，所示之實施例展示在半導體材料102之相應部分之第一橫向區域114、複數個濾色器106之第二橫向區域118及複數個微透鏡108之第三橫向區域116之間的相對於影像感測器100之焦平面120之例示性關係。在所示之實施例中，第一橫向區域、第二橫向區域及第三橫向區域為沿著基本上各自平行於影像感測器100之焦平面120(即，其中入射光122被聚焦在其上)之光電二極體陣列(例如，由半導體材料102之相應部分內之複數個光電二極體104形成)、濾色器陣列(例如，由複數個濾色器106形成)及微透鏡陣列(例如，由複數個微透鏡108形成)之相應橫截面截取的。應理解，在一些實施例中，第一橫向區域114、第二橫向區域118及第三橫向區域116各自沿著相應半導體部分102-1……102-M、複數個濾色器106及基本上平行於影像感測器100之焦平面120之複數個微透鏡108中之光學對準之一者的最大橫截面截取的。
圖 4 說明根據本發明之各個態樣的包括在影像感測器100之子像素中之半導體材料102-M、濾色器106-N及微透鏡108-N之相應部分之橫向區域之間的例示性相對大小比較。在所示之實施例中，半導體材料102之各個部分(例如，半導體材料102-M)中之每一個具有第一橫向區域114。複數個濾色器106 (例如，濾色器106-N)中之每一個具有大於第一橫向區域114之第二橫向區域118。複數個微透鏡108 (例如，108-N)中之每一個具有大於第一橫向區域114但小於第二橫向區域118之第三橫向區域116。在一些實施例中，複數個微透鏡108中之每一個之第三橫向區域116具有圓形形狀，該圓形形狀帶有延伸或以其他方式跨越半導體材料102之相應部分中之大約兩個之直徑。
圖 5 說明根據本發明之各個態樣的具有共用微透鏡之影像感測器500之非限制性例示性實施例之俯視圖。影像感測器500基本上類似於圖 1 至圖 4 中所示之影像感測器100，且包括複數個光電二極體202、複數個濾色器210及複數個微透鏡208。影像感測器500及影像感測器100之架構之間的一個差異為相對於複數個微透鏡108之複數個微透鏡208之配置及形狀。
再次參考圖 5 ，影像感測器500包括與包括在複數個濾色器210中之四個鄰接濾色器組之相對應之複數個平鋪之最小重複單元(例如，重複單元212)。重複單元212可以由四個象限來描述(例如，Q1、Q2、Q3及Q4)，其中每個象限包括有包括在複數個濾色器210中之相應濾色器(例如，藍色、綠色、綠色或紅色濾色器)。象限中之每一個包括四個相鄰光電二極體之組(例如，如在影像感測器500之左上角所示之呈2乘2陣列配置之)。複數個微透鏡208形成包括複數個平鋪之最小重複微透鏡單元之微透鏡陣列，該最小重複微透鏡單元各自包括分別設置在濾色器陣列之平鋪最小重複單元之第二濾色器(例如，在重複單元212之Q2內)上之第一對微透鏡208-A及第三濾色器(例如，在重複單元212之Q3內)上之第二對微透鏡208-B。如圖所示，第一對微透鏡208-A被定向成縱向地正交於第二對微透鏡208-B。單獨地，包括在複數個平鋪之最小重複微透鏡單元中之微透鏡在包括在四個相鄰光電二極體之各個組中之兩個相鄰光電二極體上光學對準，該兩個相鄰光電二極體帶有一定長度204及寬度206，該長度在至少兩個相鄰光電二極體上延伸，且該寬度在包括在複數個光電二極體202中之光電二極體之大約一個上延伸。
應理解，在所示之實施例中，Q2及Q3 (例如，含有綠色濾色器之象限)各自都包括在兩行及一列(或兩列及一行)上延伸之兩個微透鏡，但在其他實施例中，類似形狀之微透鏡亦可以被設置在其他象限內(例如，重複單元212之Q1及Q4)。更進一步，應理解，在一些實施例中，Q1及Q4可以各自不包括微透鏡、複數個微透鏡(例如，在重複單元212之單獨之象限內居中之四個微透鏡之2乘2陣列)、單個微透鏡(例如，類似於圖 1 至圖 3 中 所示之複數個微透鏡106在兩行及兩列上延伸之微透鏡)或其組合。
圖 6 說明根據本發明之各個態樣的在包括在影像感測器500之子像素(例如，圖 5 中所示之重複單元212之Q3)中之半導體材料214、濾色器210及微透鏡208之橫向區域之間的相對大小比較。如圖所示，半導體材料214之每個相應部分(例如，半導體材料214-1)具有第一橫向區域，且濾色器210具有大於第一橫向區域之第二橫向區域220。微透鏡208具有第三橫向區域216，該第三橫向區域具有帶有一定長度及寬度卵形形狀，該長度大致在半導體材料214之相應部分中之兩個部分上延伸，且該寬度大致在半導體材料214之相應部分中之一個部分上延伸。因此，第三橫向區域216大於第一橫向區域218，但小於第二橫向區域220。
圖 1 至圖 6 中所論述之影像感測器經組態以利用共用之微透鏡組態，以便於進行相位檢測，且從而獲得用於外部場景之深度資訊。由共用微透鏡之光電二極體獲得之粗糙深度資訊適用於自動聚焦技術。然而，若期望詳細之資訊來建立三維形狀影像，則期望額外資訊來增強資料品質。
在本發明之一些實施例中，利用經組態以檢測極化資訊之光電二極體來增強如上該之共用之微透鏡光電二極體陣列。在一些實施例中，極化資訊可以包括線性極化角(AoLP)資訊及線性極化度(DoLP) 資訊。來自物體之表面反射改變所反射之光之極化。藉由檢測AoLP資訊及DoLP資訊，可以提取一組表面法線，此等表面法線中之每一個法線包括方位角值及天頂角值。在一些實施例中，僅僅利用極化資訊計算之表面法線為模糊之——亦即，計算之方位角值可為實際值，或者可以比實際值小pi弧度。藉由利用自相位檢測光電二極體獲得之深度資訊，本發明之實施例可以對自極化資訊獲得之模糊之表面法線消除模糊，且可以產生詳細之三維形狀影像。
圖 7 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之兩個非限制性例示性實施例之示意圖。圖案702類似於圖 2 中所示之影像感測器100，因為圖案702由重複單元706構成，該重複單元包括四個2x2光電二極體之正方形組。像在圖 2 中，四個光電二極體之第一組與第一光譜光回應之濾色器相關聯(由帶有「B」之方塊表示)，四個光電二極體之第二組與第二光譜光回應之濾色器相關聯(由帶有「G」之方塊表示)，四個光電二極體之第三組與第三光譜光回應之濾色器相關聯(由帶有「R」之方塊表示)。此等光電二極體組中之每一個都包括配置在該組中之所有四個光電二極體之至少一部分上之微透鏡(由標有B、G或R之方框上之虛線圓圈表示)。因為此等光電二極體組與共用之微透鏡相關聯，所以此等光電二極體組可以用於深度資訊之相位檢測/收集。
與圖 2 不同，代替重複單元706包括與濾色器及單個微透鏡相關聯之四個光電二極體之第四組，重複單元706包括經組態以獲得極化資訊之四個光電二極體710之第四組。如圖所示，第四組中之光電二極體中之每一個與單獨之微透鏡相關聯。為了獲得極化資訊，在一些實施例中，四個光電二極體710之組之光電二極體中之每一個與一組極化網格之極化線相關聯。極化網格可以被置放在光電二極體之光路徑中，諸如在微透鏡及光電二極體之間。在一些實施例中，極化線定向在以下四個方向中之一者中：0度、45度、90度或135度。此等定向在圖 7 中用數字1、2、3及4指示。相應地，圖 7 說明圖案702之四個光電二極體710之組在四個定向中之每一個定向中包括一個光電二極體。在一些實施例中，可以利用不同於此等之方向。在一些實施例中，可以僅利用四個定向中之三個。與圖 2 一樣，重複單元706共同形成影像感測器之像素，且重複單元706之圖案被重複多次以形成影像感測器之面。
圖 7 亦說明圖案704。圖案704類似於圖案702，因為其包括由四個光電二極體組成之正方形組，其或者與單一類型之濾色器及共用之微透鏡相關聯(且可以用於相位檢測)，或者與極化線及各個微透鏡相關聯(且可以用於極化檢測)。然而，在圖案704中，濾色器以不同之圖案配置，使得重複單元708在圖案被重複之前利用十六組四個光電二極體(每側有八個光電二極體)。
圖 8 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之三個額外非限制性例示性實施例之示意圖。圖 8 中說明之圖案802、圖案804及圖案806包括與圖 7 中說明之圖案702及圖案704相似之部件，但對於組件之不同佈局而言，且對於極化檢測光電二極體與濾色器相關聯之事實而言，屬於例外情況。
圖 9 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之再有三個之非限制性例示性實施例之示意圖。圖 9 中說明之圖案902、圖案904及圖案906亦包括帶有與圖 7 中說明及描述之彼等部件類似之部件之由四個光電二極體組成之正方形組。然而，在圖 9 中，圖案902、圖案904及圖案906對於部件具有不同之佈局，且具有與濾色器相關聯之極化檢測光電二極體(與圖 8 相同)。又，在圖案902、圖案904及圖案906中，代替每個極化檢測光電二極體與各個微透鏡相關聯，由四個極化檢測光電二極體組成之正方形組各自利用單個共用之微透鏡。
圖 10 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之再有兩個之非限制性例示性實施例之示意圖。類似於圖 7 ，圖 10 中說明之圖案1002利用重複單元1006，該重複單元包括四個由四個光電二極體之正方形組，此等組中之三個與濾色器相關聯，且此等組中之一者與極化線相關聯。與圖 7 相同，極化檢測光電二極體中之每一個與單獨之微透鏡相關聯。然而，不同於圖 7 ，共用之微透鏡配置在少於由四個光電二極體組成之每一個組中之所有光電二極體之光電二極體上。圖案1002包括在由四個光電二極體組成之每一個組中僅兩個光電二極體上之共用之微透鏡。如圖所示，微透鏡位於水平相鄰之光電二極體上方，留下由四個光電二極體組成之每一個組中之剩餘光電二極體未被微透鏡覆蓋。圖案1004類似於圖案1002，但圖案1004之重複單元1008包括位於豎直相鄰之光電二極體上方而非水平相鄰之光電二極體上方之微透鏡。
圖 11 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之另一非限制性例示性實施例之示意圖。在圖案1100中，利用光電二極體之3x3正方形組而非在其重複單元1102中利用光電二極體之2x2正方形組。如圖所示，由九個光電二極體組成之第一3x3組與單個共用之微透鏡及第一光譜光回應之濾色器相關聯，由九個光電二極體組成之第二3x3組與單個共用之微透鏡及第二光譜光回應之濾色器相關聯，且由九個光電二極體組成之第三3x3組與單個共用之微透鏡及第三光譜光回應之濾色器相關聯。由九個光電二極體組成之第四3x3組中之光電二極體與極化線相關聯。在這個組中，光電二極體中之四個光電二極體與在第一定向上之極化線相關聯，光電二極體中之兩個光電二極體與第二定向之極化線相關聯，光電二極體中之兩個光電二極體與第三定向之極化線相關聯，且光電二極體中之一個光電二極體與第四定向之極化線相關聯。如圖所示，九個極化光電二極體與單個共用之微透鏡相關聯。
圖 12 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之又一非限制性例示性實施例之示意圖。圖案1200包括與相對於圖 11 所示及所描述之彼等類似之部件。然而，在圖案1200中，極化檢測光電二極體與濾色器相關聯。這種圖示之佈局僅為非限制性實例，且在一些實施例中，濾色器及/或極化檢測光電二極體之佈局可以不同。
圖 13 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之又一非限制性例示性實施例之示意圖。在圖案1300中，利用光電二極體之4x4正方形組，而非在其重複單元1302中利用光電二極體之2x2正方形組或光電二極體之3x3正方形組。如圖所示，由十六個光電二極體組成之第一4x4組與單個共用之微透鏡及第一光譜光回應之濾色器相關聯，由十六個光電二極體組成之第二4x4組與單個共用之微透鏡及第二光譜光回應之濾色器相關聯，且由十六個光電二極體組成之第三4x4組與單個共用之微透鏡及第三光譜光回應之濾色器相關聯。由十六個光電二極體組成之第四4x4組之光電二極體與極化線相關聯。在這個組中，四個光電二極體與在第一定向之極化線相關聯，四個光電二極體與在第二定向之極化線相關聯，四個光電二極體與在第三定向之極化線相關聯，且四個光電二極體與在第四定向之極化線相關聯。如圖所示，十六個極化光電二極體與單個共用之微透鏡相關聯。在一些實施例中，由十六個光電二極體組成之第四4x4組之光電二極體亦可以與第一、第二或第三光譜光回應之濾色器相關聯。
圖 14 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之又一非限制性例示性實施例之示意圖。圖案1400包括與相對於圖 13 所示及所描述之彼等類似之部件。然而，在圖案1400中，極化檢測光電二極體與濾色器相關聯。這種圖示之佈局僅為非限制性實例，且在一些實施例中，濾色器及/或極化檢測光電二極體之佈局可以不同。
圖 15 為根據本發明之各個態樣的包括帶有共用之微透鏡之影像感測器1504之成像系統1502之非限制性例示性實施例之功能方塊圖。成像系統1502能夠回應於入射光1516聚焦在外部場景1518內之興趣點(POI)上。成像系統1502包括：影像感測器1504，該影像感測器回應入射光1516來產生電信號或影像信號；(多個)物鏡1514，該物鏡具有可調光焦度，以聚焦在外部場景1518內之一或多個興趣點上；及控制器1520，以控制尤其是影像感測器1504及(多個)物鏡1514之操作。影像感測器1504為如圖 1 至圖 13 中任一所示之影像感測器之一種可能之實現，且包括：半導體材料1506，該半導體材料帶有設置在半導體材料1506之相應部分內之複數個光電二極體1508；複數個濾色器1510及複數個微透鏡1512。控制器1520包括一或多個處理器1522、記憶體1524、控制電路系統1526、讀出電路系統1528及功能邏輯1530。
控制器1520包括邏輯及/或電路系統，以控制成像系統1502之各種部件的操作(例如，在影像及/或視訊採集之前、後及原階段期間)。控制器1520可以被實現為硬體邏輯(例如，特殊應用積體電路、場可程式化閘陣列、系統單晶片等)、在通用微控制器或微處理器上執行之軟體/韌體邏輯或者硬體及軟體/韌體邏輯的組合。在一個實施例中，控制器1520包括經耦接至記憶體1524之處理器1522，該記憶體儲存由控制器1520或以其他方式由成像系統1502之一或多個部件執行的指令。當由控制器1520執行時，此等指令可以使得成像系統1502執行可以與成像系統1502之各種功能模組、邏輯塊或電路系統相關聯的操作，該成像系統之各種功能模組、邏輯塊或電路系統包括控制電路系統1526、讀出電路系統1528、功能邏輯1530、影像感測器1504、物鏡1514，及成像系統1502之任何其他元件(說明或以其他方式)中之任何一個或其組合。記憶體為可以包括但不限於由控制器1520可讀的揮發性(例如，RAM)或非揮發性(例如，ROM)儲存系統的非暫時性電腦可讀介質。應進一步理解，控制器1520可為單片式積體電路、一或多個分立之互連電氣部件，或其組合。另外，在一些實施例中，一或多個電氣部件可以彼此耦接，以共同作為用於協調成像系統1502之操作的控制器1520起作用。
控制電路系統1526可以控制影像像素陣列之操作特性(例如，曝光持續時間、何時捕捉數位影像或視訊等)。讀出電路系統1528自各個光電二極體讀取或者以其他方式採樣類比信號(例如，讀出由複數個光電二極體1508中之每一個回應於入射光產生之電信號，以產生相位檢測自動聚焦信號、深度資訊信號、極化資訊信號，讀出影像信號以捕獲影像幀等)，且可以包括放大電路系統、類比至數位(ADC)電路系統、影像緩衝器，或其他。在所示實施例中，讀出電路系統1528係包括在控制器1520中，但在其他實施例中，讀出電路系統1528可以與控制器1520分離。功能邏輯1530經耦接至讀出電路系統1528，回應於接收電信號來產生相位檢測自動聚焦(PDAF)信號，回應於接收影像信號或資料來產生影像，基於極化資訊來判定模糊之表面法線，及利用深度資訊來使表面法線消除模糊以產生三維形狀影像等。在一些實施例中，電信號或影像信號可以分別被儲存為PDAF信號、三維形狀資料或影像資料，且可以由功能邏輯1530操縱(例如，對影像資料進行去馬賽克，應用後期影像效果(諸如，修剪、旋轉、去紅眼、調節亮度、調節對比度或其他操作))。
圖 16 為說明根據本發明之各個態樣的建立三維形狀影像之方法之非限制性例示性實施例之流程圖。在一些實施例中，方法1600可以由圖 15 中所示之成像系統1502及/或圖 1 至圖 13 中所示之任何影像感測器來實現。應理解，方法1600之編號區塊可以以任何順序甚至並行之方式出現。另外，根據本發明之教示，可以向方法1600添加或自其移除區塊。
在開始區塊處，方法1600在接收到信號(例如，成像系統1502之按下之快門按鈕，或任何其他合適之信號)時初始化成像系統1502，以捕捉表示外部場景1518之影像幀。在初始化期間，可以提供(例如，由成像系統1502之利用者選擇)、自動地檢測(例如，在帶有相位檢測自動聚焦信號之後續步驟期間)或者以其他方式獲得要由影像感測器1504成像之外部場景1518之興趣點(POI)。POI可以表示期望被聚焦之外部場景1518之一或多個區域，及/或期望利用三維形狀資料之外部場景1518之一或多個區域。
自開始區塊起，方法1600前進至區塊1602至區塊1610，這包括用於利用帶有共用之微透鏡之影像感測器產生相位檢測自動聚焦(PDAF)信號之動作，且若需要，將調節物鏡之光焦度以組態成像系統聚焦在一或多個興趣點上，如本發明之各種實施例中所示。更具體地，所用之影像感測器包括配置有(即，光學對準)公共微透鏡之光電二極體之組，使得在影像感測器之影像像素陣列內之每個子像素可以組態為相位檢測器。
在區塊1602處，複數個光電二極體曝露於與外部場景相關聯之入射光。回應於入射光，複數個光電二極體產生與入射光之強度成比例之電信號。
在區塊1604處，回應於入射光讀出(例如，經由圖 15 中所示之讀出電路系統1528)電信號。可以回應於入射光自各個子像素中單獨讀出電信號(例如，藉由將光電二極體中之每一個中產生之影像電荷作為電信號一次一列地傳送至行儲存電容器，且接著利用耦接至多路複用器之行解碼器單獨讀出此等元件)，使得由包括在共用公共濾色器及微透鏡之光電二極體組中之相對應之光電二極體產生之電信號中之每一個可以被分組在一起。
在區塊1606處，比較電信號以給成像系統提供相位檢測自動聚焦。功能邏輯1530可以用於至少部分地基於與由包括在複數個光電二極體中之四個光電二極體組成之至少一組相關聯之電信號之間的比較來產生PDAF信號。在一些實施例中，由於共用公共濾色器及公共微透鏡而被分組在一起之電信號可以被相互比較以作為相位檢測器操作。在一些實施例中，功能邏輯1530藉由比較包括在由四個光電二極體組成之組中之相鄰光電二極體之間的電信號且進一步比較在包括在由四個光電二極體組成之組中之對角光電二極體之間的電信號來產生PDAF信號。
在判定區塊1608處，至少部分地基於電信號之間的比較來判定興趣點是否處於焦點中。在一些實施例中，基於電信號產生一或多個相位影像。例如，若共用之微透鏡與四個光電二極體光學對準，則來自每個相應象限之電信號可以用於產生相應之相位影像(即，四個相位影像)。對可以比較之相位影像中之每一個(即，與光電二極體之2乘2陣列中相應一個之公共微透鏡相關聯之電信號組)進行比較，以產生提供關於興趣點是否處於焦點中之多方向資訊之PDAF信號。
若興趣點不處於焦點中，則判定區塊1608之結果為否，且方法1600前進至區塊1610，其中基於電信號之比較來調節光焦度(例如，由物鏡1514提供)。換言之，該比較允許判定物鏡1514之光焦度是否導致外部場景1518係處於焦點中、前聚焦或後聚焦，且提供相應地調節光焦度之指令。一旦調節了物鏡之光焦度，方法1600返回至區塊1602。
返回至判定區塊1608，若興趣點處於焦點中，則判定區塊1608之結果為是，且方法1600前進至區塊1612。在區塊1612處，對與不同相位檢測光電二極體(例如，共用公共微透鏡之光電二極體)相關聯之電信號進行比較，以判定用於產生外部場景1518之深度圖之相對深度資訊。在一些實施例中，PDAF信號或與PDAF信號相關聯之深度圖可以被用作深度資訊，而無需執行單獨之比較。
在區塊1614處，分析來自極化檢測光電二極體(例如，與極化線相關聯之光電二極體)之電信號以判定模糊之表面法線，且在區塊1616處，藉由利用深度資訊澄清模糊之表面法線來判定三維形狀資訊。一旦獲得消除模糊之表面法線，作為方法1600之結果，其可以被提供為三維形狀影像(或者可以用於產生這樣之三維形狀影像)。
可以利用任何合適之技術自來自極化線之電信號中獲得模糊之表面法線。例如，對於給定之極化器角度
Figure 02_image001
，在給定影像點處之強度可以被給出為：
Figure 02_image003
其中，在這個等式中之三個未知變數為I 最大值 、I 最小值 及方位角(
Figure 02_image005
)。可以看出，方位角為模糊的，因為
Figure 02_image005
及
Figure 02_image008
之方位角對於上述等式返回相同之值。作為另一實例，方位角可以根據斯托克斯向量判定，該斯托克斯向量自來自不同極化之極化光電探測器之四個樣本中導出：
Figure 02_image010
線性極化度(DoLP)可以用於獲得表面法線之天頂角，如下所示：
Figure 02_image012
其中
Figure 02_image014
為天頂角，且n 為折射率。
線性極化角(AoLP)可以用於獲得模糊之方位角，如下所示：
Figure 02_image016
Figure 02_image018
不同之技術可以用於不同之材料。例如，以上技術可以用於對介電表面成像，而其他技術可以用於非介電表面，諸如鏡子或金屬。
一旦獲得模糊方位角及天頂角，可以利用任何合適之技術來使利用深度資訊之模糊方位角消除模糊。例如，在一些實施例中，利用此等技術來基於深度資訊產生單獨之表面法線集合。接著可以發現基於極化資訊之法線及基於深度資訊之法線相關之算子
Figure 02_image020
，使得兩組法線之間的變化可以最小化為總變化最小化問題。一旦獲得了算子
Figure 02_image020
，就可以應用其來使極化法線消除模糊。
方法1600接著前進至結束區塊並終止。
雖然已經說明及描述了本發明之較佳實施例，但應理解，在不脫離本發明之精神及範圍之情況下，在其中可以做出各種變化。因此，包括摘要中描述之內容之本發明之所示實例之上述描述並不旨在窮盡或限制所開之精確形式。雖然出於例示目的在本文中描述了本發明之具體實施例及實例，但在不偏離本發明更寬範圍精神及範圍之情況下，可以進行各種等同之修改。實際上，應理解，為了解釋之目的提供了具體例示性電壓、電流、頻率、功率範圍值、時間等，且根據本發明之教示在其他實施例及實例中亦可以採用其他值。
根據上面詳細之描述可以對本發明之實例做出修改。在以下申請專利範圍中所利用之術語不應理解為將本發明限制於說明書及申請專利範圍中所揭示之特定實施例。相反，本範圍應完全由所附申請專利範圍判定，應根據所確立之權利要求闡釋原則解釋所附申請專利範圍。因此，本說明書及附圖應被認為係說明性而非限制性的。
100:影像感測器 102:半導體材料 102-1:半導體材料 102-2:半導體材料 102-M:半導體材料 104:光電二極體 104-1:光電二極體 104-2:光電二極體 104-M:光電二極體 106:濾色器 106-1:濾色器 106-B:藍色濾色器 106-G:綠色濾色器 106-N:濾色器 106-R:紅色濾色器 108:微透鏡 108-1:微透鏡 108-N:微透鏡 110:重複單元 114:第一橫向區域 116:第三橫向區域 118:第二橫向區域 122:入射光 202:光電二極體 204:長度 206:寬度 208:微透鏡 208-A:第一對微透鏡 208-B:第二對微透鏡 210:濾色器 212:重複單元 214:半導體材料 214-1:半導體材料 216:第三橫向區域 218:第一橫向區域 220:第二橫向區域 500:影像感測器 702:圖案 704:圖案 706:重複單元 708:重複單元 710:光電二極體 802:圖案 804:圖案 806:圖案 902:圖案 904:圖案 906:圖案 1002:圖案 1004:圖案 1006:重複單元 1008:重複單元 1100:圖案 1102:重複單元 1200:圖案 1300:圖案 1302:重複單元 1400:圖案 1502:成像系統 1504:影像感測器 1506:半導體材料 1508:光電二極體 1510:濾色器 1512:微透鏡 1514:物鏡 1516:入射光 1518:外部場景 1520:控制器 1522:處理器 1524:記憶體 1526:控制電路系統 1528:讀出電路系統 1530:功能邏輯 1600:方法 1602:區塊 1604:區塊 1606:區塊 1608:區塊 1610:區塊 1612:區塊 1614:區塊 1616:區塊 C1:行 C2:行 C3:行 C4:行 C5:行 CX:行 Q1:象限 Q2:象限 Q3:象限 Q4:象限 R1:列 R2:列 R3:列 R4:列 R5:列 RY:列
參考以下附圖描述了本發明之非限制性及非窮盡性實施例，其中除非另有說明，否則貫穿各個視圖相同之附圖標記指代相同之部分。為了容易識別任何特定元件或動作之論述，參考數字中之最高有效之一或多個數字係指該元件首次引入之圖號。
圖 1 說明根據本發明之各個態樣的帶有共用微透鏡之影像感測器100之截面圖之非限制性例示性實施例。
圖 2 說明根據本發明之各個態樣的帶有共用微透鏡之影像感測器之非限制性例示性實施例之俯視圖。
圖 3 說明根據本發明之各個態樣的相對於影像感測器之焦平面之影像感測器之非限制性例示性實施例之截面圖。
圖 4 說明根據本發明之各個態樣的在包括在影像感測器之子像素中之半導體材料、濾色器及微透鏡之相應部分之橫向區域之間的例示性相對大小比較。
圖 5 說明根據本發明之各個態樣的帶有共用微透鏡之影像感測器之非限制性例示性實施例之俯視圖。
圖 6 說明根據本發明之各個態樣的在包括在影像感測器之子像素中之半導體材料、濾色器及微透鏡之橫向區域之間的相對大小比較。
圖 7 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之兩個非限制性例示性實施例之示意圖。
圖 8 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之三個額外非限制性例示性實施例之示意圖。
圖 9 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之再有三個之非限制性例示性實施例之示意圖。
圖 10 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之再有兩個之非限制性例示性實施例之示意圖。
圖 11 為說明根據本發明之各個態樣之用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之另一非限制性例示性實施例之示意圖。
圖 12 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之又一非限制性例示性實施例之示意圖。
圖 13 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之又一非限制性例示性實施例之示意圖。
圖 14 為說明根據本發明之各個態樣的用於包括相位檢測光電二極體及極化檢測光電二極體之影像感測器之圖案之又一非限制性例示性實施例之示意圖。
圖 15 為根據本發明之各個態樣的包括帶有共用之微透鏡之影像感測器之成像系統之非限制性例示性實施例之功能方塊圖。
圖 16 為說明根據本發明之各個態樣的建立三維形狀影像之方法之非限制性例示性實施例之流程圖。
貫穿附圖之若干視圖，相對應之附圖標記指示相應之部件。熟習此項技術者將理解，圖中之元件僅為簡單及清晰起見而進行說明，但不一定按比例繪製。例如，附圖中一些元件之尺寸可以被相對於其他之元件放大，以幫助提高對於本發明之各種實施例之理解。又，在商業可用實施例中有用或必要之普通而又容易理解之元件往往並未說明，以便於提供本發明之此等各種實施例之較少妨礙之視圖。
702:圖案
704:圖案
706:重複單元
708:重複單元
710:光電二極體

Claims (20)

  1. 一種影像感測器，其包含： 複數個光電二極體，該複數個光電二極體經配置成一光電二極體陣列，其中該複數個光電二極體包括： 第一組光電二極體，該第一組光電二極體經組態為相位檢測光電二極體；及 第二組光電二極體，該第二組光電二極體經組態為極化檢測光電二極體。
  2. 如請求項1之影像感測器，其中經組態為相位檢測光電二極體之該第一組光電二極體包括： 至少一個光電二極體正方形組；及 至少一個微透鏡，該至少一個微透鏡係配置在該至少一個光電二極體正方形組中之多於一個光電二極體上。
  3. 如請求項2之影像感測器，其中該至少一個微透鏡係配置在該至少一個光電二極體正方形組中之所有該等光電二極體的至少一部分上。
  4. 如請求項3之影像感測器，其中該至少一個光電二極體正方形組包括四個光電二極體、九個光電二極體，或十六個光電二極體。
  5. 如請求項2之影像感測器，其中該至少一個微透鏡係配置在少於該至少一個光電二極體正方形組之所有光電二極體的光電二極體上。
  6. 如請求項5之影像感測器，其中該至少一個微透鏡係配置在水平相鄰之一對光電二極體上。
  7. 如請求項5之影像感測器，其中該至少一個微透鏡係配置在豎直相鄰之一對光電二極體上。
  8. 如請求項1之影像感測器，其中經組態為極化檢測光電二極體之該第二組光電二極體包括至少一個由四個光電二極體組成的正方形組，且其中該影像感測器進一步包含： 至少四個微透鏡，每個微透鏡係配置在該四個光電二極體中之一個光電二極體上； 與該四個光電二極體中之一第一光電二極體相對應之在一第一定向上的極化線； 與該四個光電二極體中之一第二光電二極體相對應之在一第二定向上的極化線； 與該四個光電二極體中之一第三光電二極體相對應之在一第三定向上的極化線；及 與該四個光電二極體中之一第四光電二極體相對應之在一第四定向上的極化線。
  9. 如請求項1之影像感測器，其中經組態為極化檢測光電二極體之該第二組光電二極體包括至少一個由九個光電二極體組成之正方形組，且其中該影像感測器進一步包含： 與該九個光電二極體中之四個相對應之在一第一定向上的極化線； 與該九個光電二極體中之兩個相對應之在一第二定向上的極化線； 與該九個光電二極體中之兩個相對應之在一第三定向上的極化線；及 與該九個光電二極體中之一個相對應之在一第四定向上的極化線。
  10. 如請求項9之影像感測器，進一步包含經配置在該至少一個由九個光電二極體組成之正方形組上的至少一個微透鏡。
  11. 如請求項9之影像感測器，進一步包含經配置在該至少一個由九個光電二極體組成之正方形組上之一濾色器。
  12. 如請求項1之影像感測器，其中經組態為極化檢測光電二極體之該第二組光電二極體包括至少一個由十六個光電二極體組成之正方形組，且其中該影像感測器進一步包含： 與該十六個光電二極體中之四個相對應之在一第一定向上的極化線； 與該十六個光電二極體中之四個相對應之在一第二定向上的極化線； 與該十六個光電二極體中之四個相對應之在一第三定向上的極化線；及 與該十六個光電二極體中之四個相對應之在一第四定向上的極化線。
  13. 如請求項12之影像感測器，進一步包含經配置在該至少一個由十六個光電二極體組成之正方形組上的至少一個微透鏡。
  14. 如請求項12之影像感測器，進一步包含經配置在該至少一個由十六個光電二極體組成之正方形組上之一濾色器。
  15. 如請求項1之影像感測器，進一步包含電路系統，該電路系統經組態以： 處理來自該第一組光電二極體之信號以獲得深度資訊； 處理來自該第二組光電二極體之信號以獲得極化資訊； 處理該極化資訊以獲得模糊的一組表面法線；及 利用該深度資訊來處理該模糊的一組表面法線，以獲得一三維形狀影像。
  16. 如請求項15之影像感測器，其中處理來自該第一組光電二極體之信號以獲得深度資訊包括比較具有一公共對應微透鏡之光電二極體之間的電信號。
  17. 如請求項16之影像感測器，其中比較具有一公共對應微透鏡之光電二極體之間的電信號包括比較相鄰光電二極體之間的電信號及比較對角光電二極體之間的電信號。
  18. 一種控制器，該控制器包含電路系統，該電路系統經組態以： 處理來自一光電二極體陣列之第一組光電二極體的信號以獲得深度資訊； 處理來自該光電二極體陣列之第二組光電二極體的信號以獲得極化資訊； 處理該極化資訊以獲得模糊的一組表面法線；及 利用該深度資訊來處理該模糊的一組表面法線，以獲得一三維形狀影像。
  19. 如請求項18之控制器，其中處理來自該光電二極體陣列之該第一組光電二極體的信號以獲得該深度資訊包括比較具有一公共對應微透鏡之光電二極體之間的電信號。
  20. 如請求項19之控制器，其中比較具有一公共對應微透鏡之光電二極體之間的電信號包括比較相鄰光電二極體之間的電信號及比較對角光電二極體之間的電信號。
TW109146213A 2019-12-27 2020-12-25 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法 TWI792128B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/729,088 2019-12-27
US16/729,088 US11233963B2 (en) 2019-12-27 2019-12-27 Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes

Publications (2)

Publication Number Publication Date
TW202143706A true TW202143706A (zh) 2021-11-16
TWI792128B TWI792128B (zh) 2023-02-11

Family

ID=76508176

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146213A TWI792128B (zh) 2019-12-27 2020-12-25 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法

Country Status (3)

Country Link
US (1) US11233963B2 (zh)
CN (1) CN113053932A (zh)
TW (1) TWI792128B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144087A (ko) * 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890095A (en) 1997-01-21 1999-03-30 Nichols Research Corporation System for receiving and enhancing electromagnetic radiation input signals
JP5541653B2 (ja) * 2009-04-23 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法
US9177983B2 (en) * 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
US10260866B2 (en) 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US9915524B2 (en) * 2015-05-11 2018-03-13 Kla-Tencor Corporation Optical metrology with small illumination spot size
JP2017005111A (ja) * 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
US10694169B1 (en) * 2015-08-14 2020-06-23 Apple Inc. Depth mapping with polarization and focus pixels
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
JP6764880B2 (ja) * 2015-12-11 2020-10-07 株式会社ニコン 偏光特性画像計測装置、偏光特性画像計測方法
US10466036B2 (en) * 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
US10187600B2 (en) * 2017-06-15 2019-01-22 SmartSens Technology (U.S.), Inc. Four shared pixel with phase detection and full array readout modes
WO2019026287A1 (ja) * 2017-08-04 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理方法
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
CN208579746U (zh) * 2018-06-15 2019-03-05 杭州海康机器人技术有限公司 3d信息检测设备
KR102534247B1 (ko) * 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
US11367743B2 (en) * 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels
US10924689B1 (en) * 2019-11-22 2021-02-16 Karl Storz Imaging, Inc. Method and apparatus to improve high dynamic range image capture using image sensor with polarization
US11647175B2 (en) * 2019-12-06 2023-05-09 Omnivision Technologies, Inc. Determining depth information from a single camera
US20210255584A1 (en) * 2020-02-18 2021-08-19 Electronics And Telecommunications Research Institute Method and apparatus for generating full-color holographic image

Also Published As

Publication number Publication date
US20210203872A1 (en) 2021-07-01
TWI792128B (zh) 2023-02-11
CN113053932A (zh) 2021-06-29
US11233963B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
CN112736101B (zh) 在多个子像素之间具有共享微透镜的图像传感器
US10015416B2 (en) Imaging systems with high dynamic range and phase detection pixels
US10498990B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN206759600U (zh) 成像系统
US11367744B2 (en) Image sensor with shared microlens and polarization pixel
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
CN109981939B (zh) 成像系统
JP2014011526A (ja) 画像処理装置、撮像装置および画像処理方法
CN112951858B (zh) 具有共享微透镜的图像传感器
US20160269662A1 (en) Image sensors with increased stack height for phase detection pixels
US20160241772A1 (en) Dynamic auto focus zones for auto focus pixel systems
TWI792128B (zh) 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
US10580807B2 (en) Color pixel and range pixel combination unit
US11967602B2 (en) Image sensor with multi-pixel detector and partial isolation structure
US11758109B2 (en) Techniques for measuring depth and polarization from a single sensor
TW202404336A (zh) 用於相位偵測自動對焦之混合影像像素