TWI728782B - 適用於影像感測以及額外偵測的多模式影像感測器 - Google Patents

適用於影像感測以及額外偵測的多模式影像感測器 Download PDF

Info

Publication number
TWI728782B
TWI728782B TW109113268A TW109113268A TWI728782B TW I728782 B TWI728782 B TW I728782B TW 109113268 A TW109113268 A TW 109113268A TW 109113268 A TW109113268 A TW 109113268A TW I728782 B TWI728782 B TW I728782B
Authority
TW
Taiwan
Prior art keywords
mode
light
image sensor
sensor
ambient light
Prior art date
Application number
TW109113268A
Other languages
English (en)
Other versions
TW202131504A (zh
Inventor
楊志彥
宋尤昱
Original Assignee
恆景科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 恆景科技股份有限公司 filed Critical 恆景科技股份有限公司
Application granted granted Critical
Publication of TWI728782B publication Critical patent/TWI728782B/zh
Publication of TW202131504A publication Critical patent/TW202131504A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Abstract

本發明提供一種適用於影像感測以及額外偵測的多模式影像感測器。該多模式影像感測器包含：一光二極體陣列、位於該光二極體陣列上的一混合型彩色濾波器陣列以及一模式控制器。該光二極體陣列可包含多個光二極體。該混合型彩色濾波器陣列可用來為該光二極體陣列進行光學濾波。該模式控制器可在至少兩個模式中的任何一個模式中激活該光二極體陣列以輸出對應的光偵測結果。例如，除了一影像感測模式之外，該至少兩個模式可另包含一環境光感測器模式及/或一接近感測器模式。

Description

適用於影像感測以及額外偵測的多模式影像感測器
本發明係關於感測器，尤其關於一種多模式影像感測器，其中該多模式影像感測器適用於影像感測以及額外偵測諸如環境光(ambient light)偵測與接近(proximity)偵測。
影像感測器，諸如藉由互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，簡稱CMOS)感測器裝置等方式來實現者，已廣泛地用於電子裝置諸如多功能行動電話中。依據相關技術，一多功能行動電話在其某一部分機械結構(mechanical structure)上可能需要多個孔，以供進行多類型的光學感測。尤其，由於該部分機械結構的一或多種材料可以阻擋光，故該多類型的光學感測中的每一類型可能需要一或多個對應的孔，這可導致該部分機械結構的設計以及實施變得複雜。另外，該多類型的光學感測可能導致高功耗。因此，需要一種新穎的架構，以在不引入副作用、或者不太可能引入副作用的情況下增強電子裝置的整體效能。
因此，本發明的一目的在於提供一種適用於影像感測以及額外偵測(諸如環境光偵測與接近偵測)的多模式影像感測器，以解決上述問題。
本發明的至少一實施例提供一種適用於影像感測以及額外偵測的多模式影像感測器。該多模式影像感測器可包含一光二極體陣列(photodiode array)、位於該光二極體陣列上的一混合型彩色濾波器陣列(hybrid type color filter array)以及一模式控制器。該光二極體陣列可包含多個光二極體。該混合型彩色濾波器陣列可用來為該光二極體陣列進行光學濾波。另外，該混合型彩色濾波器陣列可包含分別對準至該多個光二極體的多個光學濾波器。尤其，該多個光學濾波器可包含分別對應於多個彩色通道(color channel)的多類型的彩色濾波器，以及對應於一預定紅外線頻帶(Infrared band,IR band)的多個紅外線帶通濾波器(IR band-pass filter)，其中，該多類型的彩色濾波器中的每一類型包含對應於該多個彩色通道的其中一者之至少一彩色濾波器。此外，該模式控制器可在至少兩個模式中的任何一個模式中激活(activate)該光二極體陣列以輸出光偵測結果，其中該至少兩個模式包含一影像感測模式以及一環境光感測器(Ambient Light Sensor，可簡稱ALS)模式。例如，在該影像感測模式中，該影像感測器利用該多個光二極體的全部來輸出一組主要(primary)光偵測結果，以供進行該影像感測。在該環境光感測器模式中，該影像感測器利用該多個光二極體中的對應於該環境光感測器模式的一部分光二極體來輸出一組次要(secondary)光偵測結果，以供進行環境光偵測，其中，該額外偵測包含該環境光偵測。
本發明的至少一實施例提供一種適用於影像感測以及額外偵測的多模式影像感測器。該多模式影像感測器可包含一光二極體陣列、位於該光二極體陣列上的一混合型彩色濾波器陣列以及一模式控制器。該光二極體陣列可包含多個光二極體。該混合型彩色濾波器陣列可用來為該光二極體陣列進行光學濾波。另外，該混合型彩色濾波器陣列可包含分別對準至該多個光二極體的多個光學濾波器。尤其，該多個光學濾波器可包含分別對應於多個彩色通道的多類型的彩色濾波器，以及對應於一預定紅外線頻帶的多個紅外線帶通濾波器，其中，該多類型的彩色濾波器中的每一類型包含對應於該多個彩色通道的其中 一者之至少一彩色濾波器。此外，該模式控制器可在至少兩個模式中的任何一個模式中激活該光二極體陣列以輸出光偵測結果，其中該至少兩個模式包含一影像感測模式以及一接近感測器(Proximity Sensor，可簡稱PS)模式。例如，在該影像感測模式中，該影像感測器利用該多個光二極體的全部來輸出一組主要光偵測結果，以供進行該影像感測。在該接近感測器模式中，該影像感測器利用在該多個光二極體中的對應於該接近感測器模式的一部分光二極體來輸出一組次要光偵測結果，以供進行接近偵測，其中，該額外偵測包含該接近偵測，而該多個紅外線帶通濾波器分別對準在對應於該接近感測器模式的該部分光二極體上。
本發明的設備(apparatus)諸如適用於影像感測以及額外偵測(例如：環境光偵測及/或接近偵測)的影像感測器能最小化在一電子裝置(諸如多功能行動電話)的機械結構上的用於多類型的光學感測的孔的數量，並且能在多個讀出模式中的一或多個模式中節省電力以及時間。相較於相關技術，本發明的設備能在不引入任何副作用或不太可能引入副作用的情況下增強整體效能。
100:影像感測器
110:光二極體陣列
120:混合型彩色濾波器陣列
200:像素陣列
300:三模式感測器
301:後處理器
302:IR光源
303:模式控制器
304:ISP電路304
3041:影像感測處理
3042:PS處理
3043:ALS處理
第1圖是依據本發明一實施例的一種適用於影像感測以及額外偵測的影像感測器的示意圖，其中為了更好地理解，還繪示了紅外線(Infrared,IR)發光二極體(Light Emitting Diode,LED)以及相關的鏡頭(lens)模組、支架(holder)等。
第2圖依據本發明一實施例繪示第1圖所示影像感測器的一像素陣列。
第3圖依據本發明一實施例繪示一三模式(triple-mode)感測器，其中第1圖所示 影像感測器可被實施成一多模式感測器諸如該三模式感測器。
第4圖繪示第1圖所示影像感測器的多個讀出模式中的一影像感測模式的例子。
第5圖繪示第1圖所示影像感測器的該多個讀出模式中的一接近感測器(Proximity Sensor,PS)模式的例子。
第6圖繪示第1圖所示影像感測器的該多個讀出模式中的一環境光感測器(Ambient Light Sensor,ALS)模式的例子。
第7圖繪示該環境光感測器模式的另一例子。
第8圖繪示該環境光感測器模式的又一例子。
第9圖依據本發明一實施例繪示第1圖所示影像感測器的一讀出電路，其中為了更好的理解，還繪示了一類比數位轉換器(Analog-to-Digital Converter,ADC)。
第1圖是依據本發明一實施例的一種適用於影像感測以及額外偵測的影像感測器100的示意圖，其中為了更好地理解，還繪示了一紅外線(Infrared，簡稱IR)發光二極體以及相關的鏡頭模組(標示為「鏡頭」以求簡明)、支架(例如：如第1圖所示在鏡頭模組旁邊的結構)等。由於該額外偵測可包含環境光偵測以及接近偵測，故影像感測器100可於不同的模式中分別扮演一普通影像感測器(例如：彩色影像感測器)、一接近感測器(Proximity Sensor，簡稱PS)以及一環境光感測器(Ambient Light Sensor，簡稱ALS)的角色(標示為「影像感測器以及PS與ALS」以求簡明)。如第1圖所示，影像感測器100可包含具備多個讀出模式的一光二極體陣列(photodiode array)110以及位於光二極體陣列110上的一混合型彩色濾波器陣列(hybrid type color filter array)120。光二極體陣列110可用來進行光偵測，並且混合型彩色濾波器陣列120可用來為光二極體陣列110 進行光學濾波。另外，當影像感測器100扮演該PS的角色時，該IR發光二極體可被用來作為一IR發射源以供照明(illumination)，但本發明不限於此。基於第1圖所示架構，本發明的設備諸如影像感測器100能最小化在包含影像感測器100的一電子裝置(例如：多功能行動電話、平板電腦等)的機械結構上的用於多類型的光學感測的孔的數量，並且能在該多個讀出模式中的一或多個模式中節省電力以及時間。
第2圖依據本發明一實施例繪示第1圖所示影像感測器100的一像素陣列200，其中像素陣列200可包含光二極體陣列110(標示為「PD陣列」以求簡明)以及混合型彩色濾波器陣列120。光二極體陣列110可包含多個光二極體(標示為「PD」以求簡明)，並且混合型彩色濾波器陣列120可包含分別對準至該多個光二極體的多個光學濾波器。尤其，該多個濾波器可包含分別對應於多個彩色通道的多類型的彩色濾波器，諸如分別對應於紅色(Red，簡稱R)、綠色(Green，簡稱G)以及藍色(Blue，簡稱B)彩色通道的R彩色濾波器、G彩色濾波器以及B彩色濾波器(分別標示為「「R」、「G」以及「B」以指出其類型)，以及對應於一預定IR頻帶(IR band)的多個IR帶通濾波器(標示為「IR」以求簡明)，其中，該多類型的彩色濾波器中的每一類型可包含對應於該多個彩色通道的其中一者之至少一彩色濾波器，諸如對應於上述R/G/B彩色通道的一或多個R/G/B彩色濾波器。例如，該預定IR頻帶可代表在850奈米(nanometer,nm)左右的一IR頻帶，但本發明不限於此。
該多個讀出模式可包含一影像感測模式、一ALS模式以及一PS模式。例如，當光二極體陣列110在該影像感測模式中操作時，影像感測器100可利用(例如：激活)該多個光二極體的全部來輸出一組主要光偵測結果，以供進行影像感測；當光二極體陣列110在該ALS模式中操作時，影像感測器100可利用(例如：激活)該多個光二極體中的對應於該ALS模式的一部分光二極體來輸 出一第一組次要光偵測結果，以供進行該環境光偵測；以及當光二極體陣列110在該PS模式中操作時，影像感測器100可利用(例如：激活)在該多個光二極體中的、且有該多個IR帶通濾波器分別對準在其上的對應於該PS模式的一部分光二極體，來輸出一第二組次要光偵測結果，以供進行該接近偵測，其中，該額外偵測包含該接近偵測。另外，光二極體陣列110不同時在該多個讀出模式中的任何兩個中操作，並且該多個讀出模式中的任何兩個不同時被激活。
相較於該影像感測模式，異於該影像感測模式的一或多個額外模式，諸如該ALS模式以及該PS模式，不需要該多個光二極體中的所有光二極體來輸出光偵測結果。當光二極體陣列110於該一或多個額外模式中的任何一個模式中操作時，影像感測器110可利用一部分光二極體來輸出對應的次要光偵測結果，以供進行該額外偵測。例如，當光二極體陣列110於該ALS模式中操作時，對應於該ALS模式的該部分光二極體，而非該多個光二極體中的所有光二極體，可用來輸出該第一組次要光偵測結果，從而節省電力以及時間。又例如，當光二極體陣列110於該PS模式中操作時，對應於該PS模式的該部分光二極體，而非該多個光二極體中的所有光二極體，可用來輸出該第二組次要光偵測結果，從而節省電力以及時間。因此，影像感測器100可在這些讀出模式中節省電力以及時間。
依據某些實施例，混合型彩色濾波器陣列120的排列方式可予以變化。例如，在該多類型的彩色濾波器當中的任何類型的光學濾波器中的光學濾波器的數量及/或其在混合型彩色濾波器陣列120中的相對位置可予以變化。又例如，在混合型彩色濾波器陣列120中IR帶通濾波器的數量及/或其相對位置可予以變化。
依據某些實施例，影像感測器100可選擇在該多個光二極體中的、且有該多類型的彩色濾波器的至少一部分(例如：一部分或全部)分別對準在其 上的一組光二極體，諸如異於對應於該PS模式的該部分光二極體之一組光二極體，作為對應於該ALS模式的該部分光二極體，但本發明不限於此。依據某些實施例，影像感測器100可選擇在該多個光二極體中的、且有該多個IR帶通濾波器的至少一部分(例如：一部分或全部)分別對準在其上的一組光二極體，諸如對應於該PS模式的該部分光二極體，作為對應於該ALS模式的該部分光二極體。
第3圖依據本發明一實施例繪示一三模式感測器300，而第4~6圖繪示該影像感測模式諸如一彩色影像模式(稱為「彩色模式」以求簡明)、該PS模式以及該ALS模式的各自的例子，其中第1圖所示影像感測器100可被實施成一多模式感測器諸如三模式感測器300，但本發明不限於此。該電子裝置可包含該多模式感測器諸如三模式感測器300，且可另包含運行著一或多個應用程式(標示為「應用」以求簡明)的一後處理器(post-processor)301，並且包含一IR光源302(例如：如第1圖所示的包含該IR發光二極體及其鏡頭模組的IR照明模組)。另外，三模式感測器300可包含一模式控制器303以及一系統內編程(In-System Programming，簡稱ISP)電路304，其中ISP電路304可運行ISP碼(ISP code)諸如影像感測處理3041、PS處理3042以及ALS處理3043以供分別用於該影像感測模式、該PS模式以及該ALS模式。此外，模式控制器303可請求像素陣列200以及ISP電路304以於該影像感測模式(諸如該彩色模式)、該PS模式以及該ALS模式中的任何模式中操作，尤其，可激活像素陣列200(例如：其內的光二極體陣列110)以於上述任何模式中輸出對應的光偵測結果。例如，模式控制器303可激活該影像感測模式諸如該彩色模式，並且在該影像感測模式中激活相關聯的ISP處理諸如影像感測處理3041。又例如，模式控制器303可激活該PS模式，並且在該PS模式中激活相關聯的ISP處理諸如PS處理3042以及IR光源302。再例如，模式控制器303可激活該ALS模式，並且在該ALS模式中激活相關聯的ISP處理諸如ALS處理3043。請注意，模式控制器303可由一主機(host)或後處理 器301來指揮/控制以進行相關操作。在一實施例中，在該主機或後處理器301的指揮/控制下，模式控制器303可每隔預定時間(例如：0.2秒)激活該PS模式或該ALS模式。
針對該影像感測模式，運行著影像感測處理3041的ISP電路304可進行暗階(dark level)補償及/或壞像素(bad pixel)補償，尤其，可進行彩色去馬賽克(color de-mosaicking)，但本發明不限於此。例如，運行著該一或多個應用程式的後處理器301可進行該彩色去馬賽克。在一實施例中，ISP電路304可藉由分別處理第二組及第一組次要光偵測結果，在該PS模式中輸出指出一物體是否在一預定距離內的一偵測數位碼(detection digital code)、以及在該ALS模式中輸出一照明平均值ILLUMINATIONAVG，但本發明不限於此。
針對該PS模式，若一IR平均值IRAVG_LED_ON大於一預定門檻值THIR，則運行著PS處理3042的ISP電路304可輸出一偵測訊號(例如：帶有數位碼1諸如邏輯值1的訊號)以指出附近有一物體。例如，該偵測訊號可指出該物體在對應於預定門檻值THIR的該預定距離(例如5公分)內。另外，該一或多個應用程式可包含一背光控制程式模組以供用於控制該電子裝置的一觸敏(touch-sensitive)顯示面板(例如：一觸控螢幕)的一背光。運行著該背光控制程式模組的後處理器301可依據該偵測訊號(例如：帶有數位碼1諸如邏輯值1的訊號)關閉該背光。針對該ALS模式，運行著該背光控制程式模組的後處理器301可依據透過ALS處理3043產生的照明平均值ILLUMINATIONAVG來調整該背光的強度(例如：亮度)。舉例來說，當環境光變暗(例如：照明平均值ILLUMINATIONAVG減少)時，運行著該背光控制程式模組的後處理器301可減少該背光的強度(例如：亮度)；以及當環境光變亮(例如：照明平均值ILLUMINATIONAVG增加)時，運行著該背光控制程式模組的後處理器301可增加該背光的強度(例如：亮度)。
如第4圖所示，在該影像感測模式諸如該彩色模式中，影像感測器100 可利用該多個光二極體的全部，諸如分別有R彩色濾波器、G彩色濾波器以及B彩色濾波器在其上的R光二極體、G光二極體以及B光二極體(分別標示為「R」、「G」以及「B」以求簡明)以及有IR帶通濾波器在其上的IR光二極體(標示為「IR」以求簡明)，以產生對應的像素輸出，以作為該組主要光偵測結果。例如，一像素的R像素輸出、G像素輸出以及B像素輸出可分別代表兩個R光二極體的各自的光偵測結果的總和減去四個IR光二極體的各自的光偵測結果的平均值的兩倍(可寫為「(2R-2IRAVG)」或「2(R-IRAVG)」以求簡明)、八個G光二極體的各自的光偵測結果的總和減去該四個IR光二極體的所述各自的光偵測結果的該平均值的八倍(可寫為「(8G-8IRAVG)」或「8(G-IRAVG)」以求簡明)以及兩個B光二極體的各自的光偵測結果的總和減去該四個IR光二極體的所述各自的光偵測結果的該平均值的兩倍(可寫為「(2B-2IRAVG)」或「2(B-IRAVG)」以求簡明)，但本發明不限於此。
如第5圖所示，在該PS模式中，影像感測器100可利用對應於該PS模式的該部分光二極體，諸如IR光二極體，來產生至少一IR平均值，作為該第二組次要光偵測結果，其中該IR發光二極體可在該PS模式中開啟。例如，該IR平均值可代表在打開該IR發光二極體的情況下的四個IR光二極體的各自的光偵測結果的平均值(可寫為「IRAVG_LED_ON=4IR/4」以求簡明)，但本發明不限於此。如第6圖所示，在該ALS模式中，影像感測器100可利用對應於該ALS模式的該部分光二極體，諸如R光二極體、G光二極體以及B光二極體，來產生至少一照明平均值，作為該第一組次要光偵測結果。例如，該照明平均值可代表兩個R光二極體、八個G光二極體以及兩個B光二極體的各自的光偵測結果的平均值(可寫為「ILLUMINATIONAVG=(2R+8G+2B)/12」以求簡明)，但本發明不限於此。又例如，如第7圖所示，該照明平均值可代表一個R光二極體、四個G光二極體以及一個B光二極體的各自的光偵測結果的平均值(可寫為「ILLUMINATIONAVG= (R+4G+B)/6」以求簡明)。再例如，如第8圖所示，影像感測器100可利用對應於該PS模式的該部分光二極體，諸如IR光二極體，來產生該照明平均值，以作為該第一組次要光偵測結果，其中該照明平均值可代表四個IR光二極體的各自的光偵測結果的平均值(可寫為「ILLUMINATIONAVG=4IR/4」以求簡明)。
第9圖依據本發明一實施例繪示第1圖所示影像感測器100的一讀出電路，其中為了更好的理解，還繪示了一類比數位轉換器(Analog-to-Digital Converter，簡稱ADC)。該讀出電路可在該多個讀出模式中的任何模式中被耦接到一或多個R光二極體、一或多個G光二極體、一或多個B光二極體以及一或多個IR光二極體(標示為「R」、「G」、「B」及「IR」以求簡明)的至少一部分(例如：一部分或全部)，尤其，可分別在該影像感測模式(諸如該彩色模式)、該PS模式以及該ALS模式中讀取該像素輸出、該IR平均值以及該照明平均值，如前面所述。以該ALS模式為例，該讀出電路可讀取該一或多個R光二極體、該一或多個G光二極體以及該一或多個B光二極體的各自的光偵測結果以產生其平均值作為該照明平均值(例如：「ILLUMINATIONAVG=(2R+8G+2B)/12」或「ILLUMINATIONAVG=(R+4G+B)/6」)，但本發明不限於此。又例如，該讀出電路可讀取該一或多個IR光二極體(例如：某些IR光二極體)的各自的光偵測結果以產生其平均值作為該照明平均值(例如：「ILLUMINATIONAVG=4IR/4」)。再例如，針對該PS模式，該讀出電路可讀取該一或多個IR光二極體(例如：某些IR光二極體)的各自的光偵測結果以產生其平均值作為該IR平均值(例如：「IRAVG_LED_ON=4IR/4」)。在某些例子中，針對該影像感測模式諸如該彩色模式，該讀出電路可讀取該一或多個R光二極體以及該一或多個IR光二極體的各自的光偵測結果以產生其線性組合(例如：「(2R-2IRAVG)」)作為R像素輸出，且讀取該一或多個G光二極體以及該一或多個IR光二極體的各自的光偵測結果以產生其線性組合(例如：「(8G-8IRAVG)」)作為G像素輸出，並且讀取該一或多 個B光二極體以及該一或多個IR光二極體的各自的光偵測結果以產生其線性組合(例如：「(2B-2IRAVG)」)作為B像素輸出。為了簡明起見，於本實施例中類似的內容在此不重複贅述。
請注意，從光二極體讀取的方法在CMOS影像感測器(CMOS Image Sensor,CIS)領域中是已知的，因此，在此可省略該讀取電路的某些實施細節以求簡明。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100:影像感測器
110:光二極體陣列
120:混合型彩色濾波器陣列

Claims (9)

  1. 一種適用於影像感測以及額外偵測的多模式影像感測器，該多模式影像感測器包含：一光二極體陣列(photodiode array)，其中該光二極體陣列包含多個光二極體；一混合型彩色濾波器陣列(hybrid type color filter array)，位於該光二極體陣列上，用來為該光二極體陣列進行光學濾波，其中，該混合型彩色濾波器陣列包含：分別對準至該多個光二極體的多個光學濾波器，該多個光學濾波器包含：分別對應於多個彩色通道的多類型的彩色濾波器，其中，該多類型的彩色濾波器中的每一類型包含對應於該多個彩色通道的其中一者之至少一彩色濾波器；以及對應於一預定紅外線頻帶(Infrared band,IR band)的多個紅外線帶通濾波器(IR band-pass filter)；以及一模式控制器，用來在至少兩個模式中的任何一個模式中激活該光二極體陣列以輸出光偵測結果，其中，該至少兩個模式包含一影像感測模式以及一環境光感測器(Ambient Light Sensor,ALS)模式；其中：在該影像感測模式中，該影像感測器利用該多個光二極體的全部來輸出一組主要光偵測結果，以供進行該影像感測；以及在該環境光感測器模式中，該影像感測器利用該多個光二極體中的對應於該環境光感測器模式的一部分光二極體來輸出一組次要光偵測結果，以供進行環境光偵測，其中，該額外偵測包含該環境光偵測。
  2. 如申請專利範圍第1項所述之多模式影像感測器，其中，在該環境光感測器模式中，對應於該環境光感測器模式的該部分光二極體，而非該多個光二極體中的所有光二極體，被用來輸出該組次要光偵測結果，從而節省電力以及時間。
  3. 如申請專利範圍第1項所述之多模式影像感測器，其中，該模式控制器選擇在該多個光二極體中的一組光二極體，作為對應於該環境光感測器模式的該部分光二極體，而該多類型的彩色濾波器的至少一部分彩色濾波器分別對準在該組光二極體上。
  4. 如申請專利範圍第1項所述之多模式影像感測器，其中，該模式控制器選擇在該多個光二極體中的一組光二極體，作為對應於該環境光感測器模式的該部分光二極體，而該多個紅外線帶通濾波器的至少一部分紅外線帶通濾波器分別對準在該組光二極體上。
  5. 如申請專利範圍第1項所述之多模式影像感測器，其中，該至少兩個模式另包含一接近感測器(Proximity Sensor,PS)模式；以及在該接近感測器模式中，該影像感測器利用在該多個光二極體中的對應於該接近感測器模式的一部分光二極體來輸出另一組次要光偵測結果，以供進行接近偵測，其中，該額外偵測另包含該接近偵測，而該多個紅外線帶通濾波器分別對準在對應於該接近感測器模式的該部分光二極體上。
  6. 如申請專利範圍第5項所述之多模式影像感測器，其中，該模式 控制器選擇異於對應於該接近感測器模式的該部分光二極體之一組光二極體，作為對應於該環境光感測器模式的該部分光二極體。
  7. 如申請專利範圍第5項所述之多模式影像感測器，其中，該模式控制器選擇對應於該接近感測器模式的該部分光二極體，作為對應於該環境光感測器模式的該部分光二極體。
  8. 如申請專利範圍第5項所述之多模式影像感測器，另包含：一系統內編程(In-System Programming,ISP)電路，用來藉由分別處理該些組次要光偵測結果，在該接近感測器模式中輸出指出一物體是否在一預定距離內的一偵測數位碼(detection digital code)、以及在該環境光感測器模式中輸出一照明(illumination)平均值。
  9. 如申請專利範圍第1項所述之多模式影像感測器，另包含：一系統內編程(In-System Programming,ISP)電路，用來藉由處理該組次要光偵測結果，在該環境光感測器模式中輸出一照明(illumination)平均值。
TW109113268A 2020-02-07 2020-04-21 適用於影像感測以及額外偵測的多模式影像感測器 TWI728782B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/784,257 2020-02-07
US16/784,257 US11223763B2 (en) 2020-02-07 2020-02-07 Multi-mode image sensor applicable to image sensing and additional detection

Publications (2)

Publication Number Publication Date
TWI728782B true TWI728782B (zh) 2021-05-21
TW202131504A TW202131504A (zh) 2021-08-16

Family

ID=77036716

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113268A TWI728782B (zh) 2020-02-07 2020-04-21 適用於影像感測以及額外偵測的多模式影像感測器

Country Status (3)

Country Link
US (1) US11223763B2 (zh)
CN (1) CN113259608A (zh)
TW (1) TWI728782B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
TW201239387A (en) * 2011-03-25 2012-10-01 Pixart Imaging Inc Optical sensor capable of detecting IR light and visible light simultaneously
US8717464B2 (en) * 2011-02-09 2014-05-06 Blackberry Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US9257461B2 (en) * 2013-09-10 2016-02-09 Samsung Electronics Co., Ltd. Image device including dynamic vision sensor, ambient light sensor and proximity sensor function

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071456B2 (en) * 2004-03-30 2006-07-04 Poplin Dwight D Camera module with ambient light detection
US8743176B2 (en) * 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
US8345132B2 (en) * 2010-07-23 2013-01-01 Omnivision Technologies, Inc. Image sensor with dual element color filter array and three channel color output
WO2012057558A2 (ko) * 2010-10-29 2012-05-03 삼성전자주식회사 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
US9143704B2 (en) * 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
US8735795B2 (en) * 2012-01-20 2014-05-27 Omnivision Technologies, Inc. Image sensor with integrated ambient light detection
KR102071325B1 (ko) 2013-09-27 2020-04-02 매그나칩 반도체 유한회사 조도와 물체의 거리를 측정하는 광 센서
CN108353137A (zh) * 2016-04-07 2018-07-31 托比股份公司 用于基于视觉的人机交互的图像传感器
US10417473B2 (en) * 2016-09-07 2019-09-17 Mei-Yen Lee Optical imaging system with variable light field for biometrics application
US10347678B2 (en) * 2017-11-16 2019-07-09 Visera Technologies Company Limited Image sensor with shifted microlens array
KR20190103778A (ko) * 2018-02-28 2019-09-05 빌리브마이크론(주) 다중 환경 인지가 가능한 초소형 나노 복합 센서

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8717464B2 (en) * 2011-02-09 2014-05-06 Blackberry Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
TW201239387A (en) * 2011-03-25 2012-10-01 Pixart Imaging Inc Optical sensor capable of detecting IR light and visible light simultaneously
US9257461B2 (en) * 2013-09-10 2016-02-09 Samsung Electronics Co., Ltd. Image device including dynamic vision sensor, ambient light sensor and proximity sensor function

Also Published As

Publication number Publication date
TW202131504A (zh) 2021-08-16
US11223763B2 (en) 2022-01-11
CN113259608A (zh) 2021-08-13
US20210250503A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
US9513724B2 (en) Device and method for adjusting object illumination
CN107580185B (zh) 图像传感器及操作方法以及成像装置
US9001220B2 (en) Image sensor chip, method of obtaining image data based on a color sensor pixel and a motion sensor pixel in an image sensor chip, and system including the same
CN102955326B (zh) 提供可调式补光的电子装置
EP2565602B1 (en) Device and method for adjusting object illumination
KR101805512B1 (ko) 디스플레이 밝기 및 콘텐츠를 조절하기 위한 주변 광 환경에 대한 파장 정보 사용
US20190182418A1 (en) Grouped Photography Studio Lighting System with Software Driven and Simultaneous Wireless Dimming Control and Related Photography System
KR101262745B1 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
US20150326770A1 (en) Information processing apparatus and method, and photoelectric conversion apparatus
US20040165233A1 (en) Method of operating a double-sided scanner
CN101625827A (zh) 显示装置、用于控制显示装置的方法和电子装置
JP2022022079A (ja) 画像収集モジュール、電子機器、画像収集方法および記憶媒体
TWI687812B (zh) 電子裝置及其運作方法
TWI728782B (zh) 適用於影像感測以及額外偵測的多模式影像感測器
JP5376751B2 (ja) プロジェクタ
US11150768B2 (en) Position detection device, display device, and position detection method
CN111083454B (zh) 位置检测装置、显示装置、显示系统以及位置检测方法
CN109710114A (zh) 感光触摸屏及手持智能终端
US8970777B2 (en) Structure of a ring flash module
TW202207015A (zh) 具有光感測功能的雙模顯示裝置
US20050088567A1 (en) Apparatus and method for sensing illumination by using image sensor
CN1713517A (zh) 采用电荷存储器件的色彩感应电路
CN112418047A (zh) 显示面板、指纹识别的驱动方法及显示装置
KR101185573B1 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
CN106325987B (zh) 一种控制方法及电子设备