WO2016186222A1 - 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법 - Google Patents

이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법 Download PDF

Info

Publication number
WO2016186222A1
WO2016186222A1 PCT/KR2015/004922 KR2015004922W WO2016186222A1 WO 2016186222 A1 WO2016186222 A1 WO 2016186222A1 KR 2015004922 W KR2015004922 W KR 2015004922W WO 2016186222 A1 WO2016186222 A1 WO 2016186222A1
Authority
WO
WIPO (PCT)
Prior art keywords
photodiode
mask
photodiodes
optical signal
camera system
Prior art date
Application number
PCT/KR2015/004922
Other languages
English (en)
French (fr)
Inventor
장승혁
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to PCT/KR2015/004922 priority Critical patent/WO2016186222A1/ko
Priority to US15/574,399 priority patent/US10516861B2/en
Priority to KR1020177030278A priority patent/KR102059735B1/ko
Priority to CN201580080009.0A priority patent/CN107667525B/zh
Publication of WO2016186222A1 publication Critical patent/WO2016186222A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Definitions

  • the present invention relates to an image sensor included in a camera system.
  • the present invention relates to an image sensor for improving a depth of field (DOF) of an image by changing a physical structure.
  • DOE depth of field
  • a conventional camera system including an image sensor includes two different apertures, so that each of the two different apertures can be used to create a blurry and sharp image in the image sensor. do.
  • conventional camera systems use basic apertures to produce images with heavy blur and additional small apertures to produce sharp images.
  • the conventional camera system can improve the depth of the image by acquiring a clear image using a small aperture.
  • Embodiments of the present invention provide a technique for improving the depth of an image by changing the physical structure of the image sensor instead of using a small aperture in the camera system.
  • embodiments of the present invention provide an image sensor that improves the depth of an image by including at least one mask disposed on at least one photodiode of a plurality of photodiodes.
  • embodiments of the present invention provide a camera system having an auto focus function by including at least one mask.
  • An image sensor included in a camera system includes a plurality of photodiodes respectively processing optical signals passing through a lens included in the camera system; And at least one photodiode of the plurality of photodiodes, the optical signal passing through an inner region of a lens included in the camera system into the at least one photodiode. It includes either mask.
  • the at least one mask may block an optical signal passing through an outer region of a lens included in the camera system from being introduced into the at least one photodiode.
  • the at least one mask may be formed so that the masked area surrounds the unmasked area.
  • the unmasked area of the at least one mask may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • the at least one photodiode in which the at least one mask is disposed may generate a sharper image than an image generated in the remaining photodiodes except for the at least one photodiode among the plurality of photodiodes.
  • the at least one mask may be formed such that the center position of the unmasked area in the at least one mask is shifted from the center position of the at least one photodiode.
  • the image sensor may generate an image generated from the at least one photodiode on which the at least one mask is disposed and an image generated from the remaining photodiodes except for the at least one photodiode among the plurality of photodiodes. In this case, at least one of auto focusing and depth estimation may be performed.
  • the image sensor may further include a plurality of color filters disposed on the plurality of photodiodes to filter an optical signal passing through a lens included in the camera system.
  • the plurality of color filters may include at least one of an RGB color filter, a white color filter, or an IR color filter.
  • At least one color filter disposed on the at least one mask among the plurality of color filters may be a white color filter.
  • the image sensor may further include a plurality of micro lenses disposed on the plurality of color filters to advance an optical signal passing through a lens included in the camera system to each of the plurality of color filters.
  • Method of operating an image sensor included in a camera system is included in the camera system by using at least one mask disposed on at least one photodiode of a plurality of photodiodes Introducing an optical signal passing through an inner region of a lens into the at least one photodiode; Introducing an optical signal passing through a lens included in the camera system into photodiodes other than the at least one photodiode of the plurality of photodiodes; Processing at the at least one photodiode an optical signal passing through an inner region of a lens included in the camera system; And processing the optical signal passing through the lens included in the camera system in the remaining photodiodes except for the at least one photodiode among the plurality of photodiodes.
  • the step of introducing the optical signal passing through the inner region of the lens included in the camera system into the at least one photodiode includes the light passing through the outer region of the lens included in the camera system in the at least one mask. And blocking a signal from flowing into the at least one photodiode.
  • the at least one mask may be formed so that the masked area surrounds the unmasked area.
  • the unmasked area of the at least one mask may be formed to have any one of a circle, a triangle, a square, and a polygon.
  • Camera system comprises a lens for introducing an optical signal; And an image sensor, wherein the image sensor comprises a plurality of photodiodes respectively processing the optical signal passing through the lens; And at least one mask disposed on at least one photodiode of the plurality of photodiodes to introduce an optical signal passing through an inner region of the lens into the at least one photodiode.
  • Embodiments of the present invention may provide a technique for improving the depth of an image by changing the physical structure of the image sensor instead of using a small aperture in the camera system.
  • embodiments of the present invention may provide an image sensor that improves the depth of an image by including at least one mask disposed on at least one photodiode of a plurality of photodiodes.
  • embodiments of the present invention can provide a camera system having an auto focus function by including at least one mask.
  • FIG. 1 is a view showing a principle for improving the depth of the image according to an embodiment of the present invention.
  • FIG. 2 is a side view illustrating an image sensor according to an exemplary embodiment of the present invention.
  • FIG. 3 is a top view illustrating an image sensor to describe at least one mask shown in FIG. 2.
  • FIG. 4 is a flowchart illustrating a method of operating an image sensor according to an exemplary embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating an image sensor according to an exemplary embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a camera system according to an exemplary embodiment of the present invention.
  • FIG. 1 is a view showing a principle for improving the depth of the image according to an embodiment of the present invention.
  • an optical signal passing through a lens 110 included in a camera system is introduced toward a plurality of photodiodes 120 in a camera system according to an exemplary embodiment of the present invention.
  • a plurality of micro lenses 130 may be disposed on the plurality of photodiodes 120 to advance an optical signal passing through the lens 110 to each of the plurality of photodiodes 120.
  • the plurality of micro lenses 130 may be implemented in an array form.
  • the optical signal passing through the inner region of the lens 110 may flow into the inner region of each of the plurality of photodiodes 120, and may pass through the outer region of the lens 110.
  • An optical signal may be introduced into an outer region of each of the plurality of photodiodes 120.
  • an image generated by processing an optical signal passing through an inner region of the lens 110 in each of the plurality of photodiodes 120 may include a plurality of photodiodes having an optical signal passing through an outer region of the lens 110. Since the image is clearer than the image generated and processed in each of the 120, the camera system according to the exemplary embodiment of the present invention has the lens 110 on the at least one photodiode 121 of the plurality of photodiodes 120. By arranging at least one mask 122 for introducing an optical signal passing through an inner region of the at least one photodiode 121, an image having an improved depth may be generated. Detailed description thereof will be described below.
  • FIG. 2 is a side view illustrating an image sensor according to an exemplary embodiment of the present invention.
  • an image sensor may include a plurality of photodiodes 210, at least one mask 220, a plurality of color filters 230, and a plurality of micro lenses. 240).
  • the plurality of micro lenses 240 may be disposed on the plurality of color filters 230 to propagate an optical signal passing through a lens included in the camera system with each of the plurality of color filters 230.
  • the plurality of micro lenses 240 may be implemented in an array form.
  • the plurality of color filters 230 may be disposed below the plurality of micro lenses 240 and the plurality of photodiodes 210 to filter the optical signal passing through the lens included in the camera system.
  • each of the plurality of color filters 230 may filter the remaining optical signals except for a specific optical signal distinguished from each other.
  • the first color filter 231 of the plurality of color filters 230 filters the remaining optical signals except for the R light signal, thereby providing the first photodiode 211 of the plurality of photodiodes 210.
  • the R optical signal may be selectively introduced
  • the second color filter 232 filters the remaining optical signals except for the G optical signal, thereby allowing the G light to be transmitted to the second photodiode 212 of the plurality of photodiodes 210.
  • the signal can be selectively introduced.
  • At least one of an RGB color filter, a white color filter, or an IR color filter may be used as the plurality of color filters 230.
  • a white color filter for selectively introducing a white light signal may be used as the at least one color filter 233 disposed on the at least one mask 220 of the plurality of color filters 230.
  • the plurality of photodiodes 210 respectively processes the optical signals passing through the lens included in the camera system.
  • the plurality of photodiodes 210 may process the optical signal filtered by each of the plurality of color filters 230 through the optical signal passing through the lens included in the camera system.
  • the at least one mask 220 is disposed on at least one photodiode 213 of the plurality of photodiodes 210 to at least one optical signal passing through an inner region of the lens included in the camera system.
  • the at least one mask 220 at least receives an optical signal passing through an internal region of a lens included in the camera system among the optical signals filtered by the at least one color filter 233 disposed thereon. It may be introduced into one photodiode 213.
  • the at least one mask 220 may block the optical signal passing through the outer region of the lens included in the camera system to the at least one photodiode 213. Therefore, since the image generated by at least one photodiode 213 having at least one mask 220 disposed thereon is generated by processing only an optical signal passing through an internal region of the lens included in the camera system, The image may be improved in depth (at least one of the photodiodes 210, the image generated by the at least one photodiode 213 on which the at least one mask 220 is disposed, may be an image). Except for the photodiode (which may be a sharper image than the image produced by at least one mask 220 is not disposed).
  • At least one mask 220 may be formed such that the masked region 221 surrounds the unmasked region 222.
  • the unmasked area 221 of the at least one mask 220 may be formed to have any one of a circle, a triangle, a square, and a polygon. Detailed description thereof will be described with reference to FIG. 3.
  • FIG. 3 is a top view illustrating an image sensor to describe at least one mask shown in FIG. 2.
  • a plurality of micro lenses included in the image sensor are omitted, and a plurality of color filters are disposed on the plurality of photodiodes 310 to respectively transmit a specific optical signal to the plurality of photodiodes. It will be described as a case to be introduced into each of the (310).
  • At least one mask 320 included in an image sensor according to an embodiment of the present invention is disposed on at least one photodiode of the plurality of photodiodes 310.
  • at least one mask 320 is illustrated as being regularly arranged on at least one photodiode of the plurality of photodiodes 310, but is not limited thereto.
  • the 320 may be irregularly disposed on at least one photodiode of the plurality of photodiodes 310.
  • the at least one mask 320 is formed so that the masked area 321 surrounds the unmasked area 322, and thus is included in the camera system among the optical signals flowing into the at least one mask 320.
  • the optical signal passing through the outer region of the lens may be blocked, and only the optical signal passing through the inner region of the lens included in the camera system may be introduced.
  • the unmasked area 322 of the at least one mask 320 may be formed to have any one of a circle, a triangle, a square, and a polygon by the masked area 321.
  • At least one mask 320 has a central position of the unmasked region 322 at least any one of the mask 320 of the plurality of photodiodes 310 is disposed. It may be formed to be shifted from the center position of one photodiode.
  • an image generated by processing an optical signal introduced by the at least one mask 320 in at least one photodiode having the at least one mask 320 disposed thereon may include a plurality of photodiodes ( Compared to an image generated in the remaining photodiodes except for at least one photodiode in which at least one mask 320 of 310 is disposed, the mask 320 may be used in a process such as auto focusing or depth estimation.
  • the image sensor including the mask 320 may have an auto focusing function and / or a depth estimation function. Detailed description thereof will be omitted since it departs from the technical idea of the present invention.
  • the image sensor processes an optical signal having a wavelength equal to any one of the remaining photodiodes in which at least one photodiode on which at least one mask 320 is disposed is disposed.
  • an optical signal having a wavelength equal to any one of the remaining photodiodes in which at least one photodiode on which at least one mask 320 is disposed is disposed.
  • At least one of the at least one photodiode on which at least one mask 320 is disposed and any of the remaining photodiodes on which at least one mask 320 is not disposed both process G signals.
  • An image generated from at least one photodiode in which at least one mask 320 is disposed, and an image generated in any one of the remaining photodiodes in which at least one mask 320 is not disposed It is also possible to create wide dynamic range images.
  • FIG. 4 is a flowchart illustrating a method of operating an image sensor according to an exemplary embodiment of the present invention.
  • an image sensor uses at least one mask disposed on at least one photodiode of a plurality of photodiodes, so that the lens of the lens included in the camera system.
  • the optical signal passing through the internal region is introduced into the at least one photodiode (410).
  • the image sensor introduces an optical signal passing through the lens included in the camera system into the remaining photodiodes except for the at least one photodiode among the plurality of photodiodes (420).
  • an optical signal passing through an inner region of a lens included in the camera system is processed (430).
  • At least one photodiode except for at least one photodiode having at least one mask among the plurality of photodiodes is processed, the optical signal passing through the lens included in the camera system is processed (440).
  • the image sensor according to an embodiment of the present invention uses the at least one mask to introduce an optical signal passing through the inner region of the lens included in the camera system into at least one photodiode in step 410.
  • an image having an improved depth may be generated by processing only an optical signal passing through an internal region of the lens included in the camera system.
  • the image sensor generates a sharper image in at least one photodiode in which at least one mask is disposed, than an image generated in the remaining photodiodes except at least one photodiode of the plurality of photodiodes. can do.
  • the at least one mask is formed so that the center position of the unmasked region in the at least one mask is shifted from the center position of the at least one photodiode, so that the image sensor is at least one At least one of auto focusing or depth estimation using an image generated from at least one photodiode and an image generated from other photodiodes except at least one of the plurality of photodiodes Either one can be done.
  • FIG. 5 is a block diagram illustrating an image sensor according to an exemplary embodiment of the present invention.
  • an image sensor includes a plurality of photodiodes 510 and at least one mask 520.
  • the plurality of photodiodes 510 processes the optical signal passing through the lens included in the camera system, respectively.
  • the at least one mask 520 is disposed on at least one photodiode of the plurality of photodiodes 510 to receive at least one optical signal passing through an inner region of the lens included in the camera system. To one photodiode.
  • the at least one mask 520 may block the optical signal passing through the outer region of the lens included in the camera system from entering the at least one photodiode.
  • At least one mask 520 may be formed so that the masked area surrounds the unmasked area.
  • the unmasked area of the at least one mask 520 may be formed to have any one of a circle, a triangle, a square, or a polygon.
  • one photodiode in which at least one mask 520 is disposed may generate a sharper image than an image generated in the remaining photodiodes except at least one photodiode of the plurality of photodiodes 510. have.
  • the at least one mask 520 may be formed such that the center position of the unmasked area of the at least one mask 520 is shifted from the center position of the at least one photodiode.
  • the image sensor is generated in the remaining photodiodes except for an image generated in at least one photodiode having at least one mask 520 and at least one photodiode of the plurality of photodiodes 510. At least one of auto focusing and depth estimation may be performed using the image.
  • the image sensor may further include a plurality of color filters.
  • the plurality of color filters may be disposed on the photodiodes 510 to filter the optical signal passing through the lens included in the camera system.
  • the plurality of color filters may include at least one of an RGB color filter, a white color filter, or an IR color filter.
  • at least one color filter disposed on at least one mask 520 of the plurality of color filters may be a white color filter.
  • the image sensor may further include a plurality of micro lenses disposed on the plurality of color filters to advance an optical signal passing through a lens included in the camera system to each of the plurality of color filters.
  • a plurality of micro lenses disposed on the plurality of color filters to advance an optical signal passing through a lens included in the camera system to each of the plurality of color filters.
  • FIG. 6 is a block diagram illustrating a camera system according to an exemplary embodiment of the present invention.
  • a camera system includes a lens 610 and an image sensor 620 for introducing an optical signal.
  • the image sensor 620 includes a plurality of photodiodes 621 and at least one mask 622.
  • the plurality of photodiodes 621 each process an optical signal passing through the lens 610.
  • At least one mask 622 is disposed on at least one photodiode of the plurality of photodiodes 621 to at least one optical signal passing through an inner region of the lens 610. Flows into the photodiode.
  • the at least one mask 622 may block the optical signal passing through the outer region of the lens 610 from entering the at least one photodiode.
  • At least one mask 622 may be formed so that the masked area surrounds the unmasked area.
  • the unmasked area of the at least one mask 622 may be formed to have any one of a circle, a triangle, a square, or a polygon.
  • one photodiode in which at least one mask 622 is disposed may generate a sharper image than an image generated in the remaining photodiodes except at least one photodiode of the plurality of photodiodes 6210. have.
  • the at least one mask 622 may be formed such that the center position of the unmasked region in the at least one mask 622 is shifted from the center position of the at least one photodiode.
  • the image sensor 620 is a photodiode other than an image generated from at least one photodiode having at least one mask 622 and at least one photodiode of the plurality of photodiodes 621. At least one of auto focusing and depth estimation may be performed using the image generated from the fields.
  • the image sensor 620 may further include a plurality of color filters.
  • the plurality of color filters may be disposed on the photodiodes 621 to filter the optical signal passing through the lens 610.
  • the plurality of color filters may include at least one of an RGB color filter, a white color filter, or an IR color filter.
  • at least one color filter disposed on at least one mask 622 of the plurality of color filters may be a white color filter.
  • the image sensor 620 may further include a plurality of micro lenses disposed on the plurality of color filters to propagate an optical signal passing through the lens 610 to each of the plurality of color filters. can do.

Abstract

카메라 시스템에 포함되는 이미지 센서는 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 각각 처리하는 복수의 포토다이오드들; 및 상기 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역(inner region)을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 적어도 어느 하나의 마스크를 포함한다.

Description

이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
본 발명은 카메라 시스템에 포함되는 이미지 센서에 관한 것으로, 물리적 구조가 변경됨으로써, 이미지의 심도(Depth Of Field; DOF)를 향상시키는 이미지 센서에 대한 기술이다.
기존의 이미지 센서를 포함하는 카메라 시스템은 서로 다른 두 개의 애퍼처(aperture)들을 포함함으로써, 서로 다른 두 개의 애퍼처들 각각을 이용하여 이미지 센서에서 블러(blur)가 심한 이미지 및 선명한 이미지를 생성하도록 한다. 예를 들어, 기존의 카메라 시스템은 기본 애퍼처를 이용하여 블러가 심한 이미지를 생성하고, 추가적인 작은 애퍼처를 이용하여 선명한 이미지를 생성한다.
따라서, 기존의 카메라 시스템은 작은 애퍼처를 이용하여 선명한 이미지를 획득함으로써, 이미지의 심도를 향상시킬 수 있다.
그러나, 기존의 카메라 시스템은 추가적인 작은 애퍼처를 이용하기 때문에, 추가적인 비용 및 제조 공정이 필요한 단점이 있으며, 작은 애퍼처가 제한된 노출 시간 동안 불충분한 광량을 수신함에 따라, 작은 애퍼처를 이용하여 생성된 이미지에 노이즈가 심한 문제점이 있다.
이에 본 명세서에서는 작은 애퍼처를 이용하는 대신에, 이미지 센서 자체에서 이미지의 심도를 향상시키는 기술을 제안한다.
본 발명의 실시예들은 카메라 시스템에서 작은 애퍼처를 이용하는 대신에, 이미지 센서의 물리적 구조를 변경함으로써, 이미지의 심도를 향상시키는 기술을 제공한다.
구체적으로, 본 발명의 실시예들은 복수의 포토다이오드(photodiode)들 중 적어도 어느 하나의 포토다이오드 상부에 배치되는 적어도 어느 하나의 마스크를 포함함으로써, 이미지의 심도를 향상시키는 이미지 센서를 제공한다.
또한, 본 발명의 실시예들은 적어도 어느 하나의 마스크를 포함함으로써, 자동 초점 조절 기능을 갖는 카메라 시스템을 제공한다.
본 발명의 일실시예에 따른 카메라 시스템에 포함되는 이미지 센서는 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 각각 처리하는 복수의 포토다이오드들; 및 상기 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역(inner region)을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 적어도 어느 하나의 마스크를 포함한다.
상기 적어도 어느 하나의 마스크는 상기 카메라 시스템에 포함되는 렌즈의 외곽 영역(outer region)을 통과한 광 신호가 상기 적어도 어느 하나의 포토다이오드로 유입되는 것을 차단할 수 있다.
상기 적어도 어느 하나의 마스크는 마스킹된 영역이 마스킹되지 않은 영역을 감싸도록 형성될 수 있다.
상기 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
상기 적어도 어느 하나의 마스크가 배치되는 상기 적어도 어느 하나의 포토다이오드는 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지보다 선명한 이미지를 생성할 수 있다.
상기 적어도 어느 하나의 마스크는 상기 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역의 중심 위치가 상기 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성될 수 있다.
상기 이미지 센서는 상기 적어도 어느 하나의 마스크가 배치된 상기 적어도 어느 하나의 포토다이오드에서 생성되는 이미지 및 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지를 이용하여, 자동 초점 조절 또는 깊이 추정 중 적어도 어느 하나를 수행할 수 있다.
상기 이미지 센서는 상기 복수의 포토다이오드들의 상부에 배치되어, 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 필터링하는 복수의 컬러 필터들을 더 포함할 수 있다.
상기 복수의 컬러 필터들은 RGB 컬러 필터, 화이트 컬러 필터 또는 IR 컬러 필터 중 적어도 어느 하나를 포함할 수 있다.
상기 복수의 컬러 필터들 중 상기 적어도 어느 하나의 마스크 상부에 배치되는 적어도 어느 하나의 컬러 필터는 화이트 컬러 필터일 수 있다.
상기 이미지 센서는 상기 복수의 컬러 필터들 상부에 배치되어, 상기 복수의 컬러 필터들 각각으로 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 진행시키는 복수의 마이크로 렌즈들을 더 포함할 수 있다.
본 발명의 일실시예에 따른 카메라 시스템에 포함되는 이미지 센서의 동작 방법은 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되는 적어도 어느 하나의 마스크를 이용하여, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 단계; 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들로 유입시키는 단계; 상기 적어도 어느 하나의 포토다이오드에서, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 처리하는 단계; 및 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서, 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 처리하는 단계를 포함한다.
상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 단계는 상기 적어도 어느 하나의 마스크에서, 상기 카메라 시스템에 포함되는 렌즈의 외곽 영역을 통과한 광 신호가 상기 적어도 어느 하나의 포토다이오드로 유입되는 것을 차단하는 단계를 포함할 수 있다.
상기 적어도 어느 하나의 마스크는 마스킹된 영역이 마스킹되지 않은 영역을 감싸도록 형성될 수 있다.
상기 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
본 발명의 일실시예에 따른 카메라 시스템은 광 신호를 유입시키는 렌즈; 및 이미지 센서를 포함하고, 상기 이미지 센서는 상기 렌즈를 통과한 광 신호를 각각 처리하는 복수의 포토다이오드들; 및 상기 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 상기 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 적어도 어느 하나의 마스크를 포함한다.
본 발명의 실시예들은 카메라 시스템에서 작은 애퍼처를 이용하는 대신에, 이미지 센서의 물리적 구조를 변경함으로써, 이미지의 심도를 향상시키는 기술을 제공할 수 있다.
구체적으로, 본 발명의 실시예들은 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되는 적어도 어느 하나의 마스크를 포함함으로써, 이미지의 심도를 향상시키는 이미지 센서를 제공할 수 있다.
또한, 본 발명의 실시예들은 적어도 어느 하나의 마스크를 포함함으로써, 자동 초점 조절 기능을 갖는 카메라 시스템을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 이미지의 심도를 향상시키는 원리를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 이미지 센서를 나타낸 측면도이다.
도 3은 도 2에 도시된 적어도 어느 하나의 마스크를 설명하기 위해 이미지 센서를 나타낸 상면도이다.
도 4는 본 발명의 일실시예에 따른 이미지 센서의 동작 방법을 나타낸 플로우 차트이다.
도 5는 본 발명의 일실시예에 따른 이미지 센서를 나타낸 블록도이다.
도 6은 본 발명의 일실시예에 따른 카메라 시스템을 나타낸 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 이미지의 심도를 향상시키는 원리를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 카메라 시스템에서 카메라 시스템에 포함되는 렌즈(110)를 통과한 광 신호는 복수의 포토다이오드들(120)을 향하여 유입된다.
이 때, 복수의 포토다이오드들(120) 상부에는 복수의 마이크로 렌즈들(130)이 배치되어 렌즈(110)를 통과한 광 신호를 복수의 포토다이오드들(120) 각각으로 진행시킬 수 있다. 여기서, 복수의 마이크로 렌즈들(130)은 어레이 형태로 구현될 수 있다.
따라서, 렌즈(110)의 내부 영역(inner region)을 통과한 광 신호는 복수의 포토다이오드들(120) 각각의 내부 영역으로 유입될 수 있고, 렌즈(110)의 외곽 영역(outer region)을 통과한 광 신호를 복수의 포토다이오드들(120) 각각의 외곽 영역으로 유입될 수 있다.
여기서, 렌즈(110)의 내부 영역을 통과한 광 신호가 복수의 포토다이오드들(120) 각각에서 처리되어 생성되는 이미지는 렌즈(110)의 외곽 영역을 통과한 광 신호가 복수의 포토다이오드들(120) 각각에서 처리되어 생성되는 이미지보다 선명한 이미지이기 때문에, 본 발명의 일실시예에 따른 카메라 시스템은 복수의 포토다이오드들(120) 중 적어도 어느 하나의 포토다이오드(121) 상부에 렌즈(110)의 내부 영역을 통과한 광 신호를 유입시키는 적어도 어느 하나의 마스크(122)를 배치함으로써, 적어도 어느 하나의 포토다이오드(121)에서 향상된 심도를 갖는 이미지를 생성할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
도 2는 본 발명의 일실시예에 따른 이미지 센서를 나타낸 측면도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 이미지 센서는 복수의 포토다이오드들(210), 적어도 어느 하나의 마스크(220), 복수의 컬러 필터들(230) 및 복수의 마이크로 렌즈들(240)을 포함할 수 있다.
복수의 마이크로 렌즈들(240)은 복수의 컬러 필터들(230)의 상부에 배치되어 복수의 컬러 필터들(230) 각각으로 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 진행시킬 수 있다. 이 때, 복수의 마이크로 렌즈들(240)은 어레이 형태로 구현될 수 있다.
복수의 컬러 필터들(230)은 복수의 마이크로 렌즈들(240) 하부 및 복수의 포토다이오드들(210) 상부에 배치되어, 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 필터링할 수 있다.
여기서, 복수의 컬러 필터들(230) 각각은 서로 구별되는 특정 광 신호를 제외한 나머지 광 신호들을 필터링할 수 있다. 예를 들어, 복수의 컬러 필터들(230) 중 제1 컬러 필터(231)는 R 광 신호를 제외한 나머지 광 신호들을 필터링함으로써, 복수의 포토다이오드들(210) 중 제1 포토다이오드(211)에 R 광 신호를 선택적으로 유입시킬 수 있고, 제2 컬러 필터(232)는 G 광 신호를 제외한 나머지 광 신호들을 필터링함으로써, 복수의 포토다이오드들(210) 중 제2 포토다이오드(212)에 G 광 신호를 선택적으로 유입시킬 수 있다.
이 때, 복수의 컬러 필터들(230)로는 RGB 컬러 필터, 화이트 컬러 필터 또는 IR 컬러 필터 중 적어도 어느 하나가 이용될 수 있다. 특히, 복수의 컬러 필터들(230) 중 적어도 어느 하나의 마스크(220)의 상부에 배치되는 적어도 어느 하나의 컬러 필터(233)로는 화이트 광 신호를 선택적으로 유입시키는 화이트 컬러 필터가 이용될 수 있다.
복수의 포토다이오드들(210)은 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 각각 처리한다. 예를 들어, 복수의 포토다이오드들(210)은 카메라 시스템에 포함되는 렌즈를 통과한 광 신호가 복수의 컬러 필터들(230) 각각에 의해 필터링된 광 신호를 각각 처리할 수 있다.
적어도 어느 하나의 마스크(220)는 복수의 포토다이오드들(210) 중 적어도 어느 하나의 포토다이오드(213) 상부에 배치되어, 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 적어도 어느 하나의 포토다이오드(213)로 유입시킨다. 예를 들어, 적어도 어느 하나의 마스크(220)는 상부에 배치되는 적어도 어느 하나의 컬러 필터(233)에 의해 필터링된 광 신호 중 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 적어도 어느 하나의 포토다이오드(213)로 유입시킬 수 있다.
여기서, 적어도 어느 하나의 마스크(220)는 카메라 시스템에 포함되는 렌즈의 외곽 영역을 통과한 광 신호가 적어도 어느 하나의 포토다이오드(213)로 유입되는 것을 차단할 수 있다. 따라서, 적어도 어느 하나의 마스크(220)가 상부에 배치된 적어도 어느 하나의 포토다이오드(213)에서 생성되는 이미지는 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호만을 처리하여 생성되기 때문에, 심도가 향상된 이미지일 수 있다(적어도 어느 하나의 마스크(220)가 배치되는 적어도 어느 하나의 포토다이오드(213)에서 생성되는 이미지는 복수의 포토다이오드들(210) 중 적어도 어느 하나의 마스크(220)를 제외한 나머지 포토다이오드들(적어도 어느 하나의 마스크(220)가 배치되지 않은)에서 생성되는 이미지보다 선명한 이미지일 수 있음).
적어도 어느 하나의 마스크(220)는 마스킹된 영역(221)이 마스킹되지 않은 영역(222)을 감싸도록 형성될 수 있다. 또한, 적어도 어느 하나의 마스크(220)에서 마스킹되지 않은 영역(221)은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 도 2에 도시된 적어도 어느 하나의 마스크를 설명하기 위해 이미지 센서를 나타낸 상면도이다. 이하, 적어도 어느 하나의 마스크를 설명하기 위하여 이미지 센서에 포함되는 복수의 마이크로 렌즈들을 생략하고, 복수의 컬러 필터들이 복수의 포토다이오드들(310) 상부에 배치되어 각각 특정 광 신호를 복수의 포토다이오드들(310) 각각으로 유입시키는 경우로 설명한다.
도 3을 참조하면, 본 발명의 일실시예에 따른 이미지 센서에 포함되는 적어도 어느 하나의 마스크(320)는 복수의 포토다이오드들(310) 중 적어도 어느 하나의 포토다이오드의 상부에 배치된다. 이 때, 도면에는 적어도 어느 하나의 마스크(320)가 복수의 포토다이오드들(310) 중 적어도 어느 하나의 포토다이오드 상부에 규칙적으로 배치되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 어느 하나의 마스크(320)는 복수의 포토다이오드들(310) 중 적어도 어느 하나의 포토다이오드 상부에 불규칙적으로 배치될 수 있다.
여기서, 적어도 어느 하나의 마스크(320)는 마스킹된 영역(321)이 마스킹되지 않은 영역(322)을 감싸도록 형성됨으로써, 적어도 어느 하나의 마스크(320)로 유입되는 광 신호 중 카메라 시스템에 포함되는 렌즈의 외곽 영역을 통과한 광 신호는 차단시키고, 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호만을 유입시킬 수 있다.
이 때, 적어도 어느 하나의 마스크(320)에서 마스킹되지 않은 영역(322)은 마스킹된 영역(321)에 의해 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
또한, 도면에는 도시되지 않았지만, 적어도 어느 하나의 마스크(320)는 마스킹되지 않은 영역(322)의 중심 위치가 복수의 포토다이오드들(310) 중 적어도 어느 하나의 마스크(320)가 배치되는 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성될 수 있다.
이러한 경우, 적어도 어느 하나의 마스크(320)가 상부에 배치되는 적어도 어느 하나의 포토다이오드에서 적어도 어느 하나의 마스크(320)에 의해 유입되는 광 신호를 처리하여 생성되는 이미지는 복수의 포토다이오드들(310) 중 적어도 어느 하나의 마스크(320)가 배치되는 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지와 비교됨으로써, 자동 초점 조절 또는 깊이 추정 등의 과정에서 이용될 수 있다.
따라서, 마스킹되지 않은 영역(322)의 중심 위치가 복수의 포토다이오드들(310) 중 적어도 어느 하나의 마스크(320)가 배치되는 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성되는 적어도 어느 하나의 마스크(320)를 포함하는 이미지 센서는 자동 초점 조절 기능 및/또는 깊이 추정 기능을 가질 수 있다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
또한, 이미지 센서는 적어도 어느 하나의 마스크(320)가 배치되는 적어도 어느 하나의 포토다이오드가 적어도 어느 하나의 마스크(320)가 배치되지 않는 나머지 포토다이오드들 중 어느 하나와 동일한 파장의 광 신호를 처리하도록 함으로써(예컨대, 적어도 어느 하나의 마스크(320)가 배치되는 적어도 어느 하나의 포토다이오드 및 적어도 어느 하나의 마스크(320)가 배치되지 않는 나머지 포토다이오드들 중 어느 하나가 모두 G 신호를 처리하도록 함), 적어도 어느 하나의 마스크(320)가 배치되는 적어도 어느 하나의 포토다이오드에서 생성되는 이미지 및 적어도 어느 하나의 마스크(320)가 배치되지 않는 나머지 포토다이오드들 중 어느 하나에서 생성되는 이미지를 병합하여 와이드 다이나믹 레인지(wide dynamic range) 이미지를 생성할 수도 있다.
도 4는 본 발명의 일실시예에 따른 이미지 센서의 동작 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 이미지 센서는 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되는 적어도 어느 하나의 마스크를 이용하여, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시킨다(410).
또한, 이미지 센서는 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들로 유입시킨다(420).
그 후, 적어도 어느 하나의 마스크가 상부에 배치되는 적어도 어느 하나의 포토다이오드에서, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 처리한다(430).
또한, 복수의 포토다이오드들 중 적어도 어느 하나의 마스크가 상부에 배치되는 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서, 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 처리한다(440).
이와 같이, 본 발명의 일실시예에 따른 이미지 센서는 410 단계에서 적어도 어느 하나의 마스크를 이용하여 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 적어도 어느 하나의 포토다이오드로 유입시킴으로써, 430 단계에서 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호만을 처리하여 심도가 향상된 이미지를 생성할 수 있다.
예를 들어, 이미지 센서는 적어도 어느 하나의 마스크가 배치되는 적어도 어느 하나의 포토다이오드에서, 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지보다 선명한 이미지를 생성할 수 있다.
또한, 도면에는 도시되지 않았지만, 적어도 어느 하나의 마스크는 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역의 중심 위치가 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성되기 때문에, 이미지 센서는 적어도 어느 하나의 마스크가 배치된 적어도 어느 하나의 포토다이오드에서 생성되는 이미지 및 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지를 이용하여, 자동 초점 조절 또는 깊이 추정 중 적어도 어느 하나를 수행할 수 있다.
도 5는 본 발명의 일실시예에 따른 이미지 센서를 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 이미지 센서는 복수의 포토다이오드들(510) 및 적어도 어느 하나의 마스크(520)를 포함한다.
복수의 포토다이오드들(510)은 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 각각 처리한다.
적어도 어느 하나의 마스크(520)는 복수의 포토다이오드들(510) 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 카메라 시스템에 포함되는 렌즈의 내부 영역(inner region)을 통과한 광 신호를 적어도 어느 하나의 포토다이오드로 유입시킨다.
이 때, 적어도 어느 하나의 마스크(520)는 카메라 시스템에 포함되는 렌즈의 외곽 영역(outer region)을 통과한 광 신호가 적어도 어느 하나의 포토다이오드로 유입되는 것을 차단할 수 있다.
또한, 적어도 어느 하나의 마스크(520)는 마스킹된 영역이 마스킹되지 않은 영역을 감싸도록 형성될 수 있다. 여기서, 적어도 어느 하나의 마스크(520)에서 마스킹되지 않은 영역은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
따라서, 적어도 어느 하나의 마스크(520)가 배치되는 하나의 포토다이오드는 복수의 포토다이오드들(510) 중 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지보다 선명한 이미지를 생성할 수 있다.
또한, 적어도 어느 하나의 마스크(520)는 적어도 어느 하나의 마스크(520)에서 마스킹되지 않은 영역의 중심 위치가 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성될 수 있다.
따라서, 이미지 센서는 적어도 어느 하나의 마스크(520)가 배치된 적어도 어느 하나의 포토다이오드에서 생성되는 이미지 및 복수의 포토다이오드들(510) 중 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지를 이용하여, 자동 초점 조절 또는 깊이 추정 중 적어도 어느 하나를 수행할 수 있다.
도면에는 도시되지 않았지만, 이미지 센서는 복수의 컬러 필터들을 더 포함할 수 있다. 복수의 컬러 필터들은 복수의 포토다이오드들(510)의 상부에 배치되어, 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 필터링할 수 있다.
이 때, 복수의 컬러 필터들은 RGB 컬러 필터, 화이트 컬러 필터 또는 IR 컬러 필터 중 적어도 어느 하나를 포함할 수 있다. 특히, 복수의 컬러 필터들 중 적어도 어느 하나의 마스크(520) 상부에 배치되는 적어도 어느 하나의 컬러 필터는 화이트 컬러 필터일 수 있다.
또한, 도면에는 도시되지 않았지만, 이미지 센서는 복수의 컬러 필터들 상부에 배치되어, 복수의 컬러 필터들 각각으로 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 진행시키는 복수의 마이크로 렌즈들을 더 포함할 수 있다.
도 6은 본 발명의 일실시예에 따른 카메라 시스템을 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 카메라 시스템은 광 신호를 유입시키는 렌즈(610) 및 이미지 센서(620)를 포함한다.
여기서, 이미지 센서(620)는 복수의 포토다이오드들(621) 및 적어도 어느 하나의 마스크(622)를 포함한다.
복수의 포토다이오드들(621))은 렌즈(610)를 통과한 광 신호를 각각 처리한다.
적어도 어느 하나의 마스크(622)는 복수의 포토다이오드들(621)) 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 렌즈(610)의 내부 영역(inner region)을 통과한 광 신호를 적어도 어느 하나의 포토다이오드로 유입시킨다.
이 때, 적어도 어느 하나의 마스크(622)는 렌즈(610)의 외곽 영역(outer region)을 통과한 광 신호가 적어도 어느 하나의 포토다이오드로 유입되는 것을 차단할 수 있다.
또한, 적어도 어느 하나의 마스크(622)는 마스킹된 영역이 마스킹되지 않은 영역을 감싸도록 형성될 수 있다. 여기서, 적어도 어느 하나의 마스크(622)에서 마스킹되지 않은 영역은 원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성될 수 있다.
따라서, 적어도 어느 하나의 마스크(622)가 배치되는 하나의 포토다이오드는 복수의 포토다이오드들(6210) 중 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지보다 선명한 이미지를 생성할 수 있다.
또한, 적어도 어느 하나의 마스크(622)는 적어도 어느 하나의 마스크(622)에서 마스킹되지 않은 영역의 중심 위치가 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성될 수 있다.
따라서, 이미지 센서(620)는 적어도 어느 하나의 마스크(622)가 배치된 적어도 어느 하나의 포토다이오드에서 생성되는 이미지 및 복수의 포토다이오드들(621) 중 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지를 이용하여, 자동 초점 조절 또는 깊이 추정 중 적어도 어느 하나를 수행할 수 있다.
도면에는 도시되지 않았지만, 이미지 센서(620)는 복수의 컬러 필터들을 더 포함할 수 있다. 복수의 컬러 필터들은 복수의 포토다이오드들(621))의 상부에 배치되어, 렌즈(610)를 통과한 광 신호를 필터링할 수 있다.
이 때, 복수의 컬러 필터들은 RGB 컬러 필터, 화이트 컬러 필터 또는 IR 컬러 필터 중 적어도 어느 하나를 포함할 수 있다. 특히, 복수의 컬러 필터들 중 적어도 어느 하나의 마스크(622) 상부에 배치되는 적어도 어느 하나의 컬러 필터는 화이트 컬러 필터일 수 있다.
또한, 도면에는 도시되지 않았지만, 이미지 센서(620)는 복수의 컬러 필터들 상부에 배치되어, 복수의 컬러 필터들 각각으로 렌즈(610)를 통과한 광 신호를 진행시키는 복수의 마이크로 렌즈들을 더 포함할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 카메라 시스템에 포함되는 이미지 센서에 있어서,
    상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 각각 처리하는 복수의 포토다이오드들; 및
    상기 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역(inner region)을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 적어도 어느 하나의 마스크
    를 포함하는 이미지 센서.
  2. 제1항에 있어서,
    상기 적어도 어느 하나의 마스크는
    상기 카메라 시스템에 포함되는 렌즈의 외곽 영역(outer region)을 통과한 광 신호가 상기 적어도 어느 하나의 포토다이오드로 유입되는 것을 차단하는, 이미지 센서.
  3. 제1항에 있어서,
    상기 적어도 어느 하나의 마스크는
    마스킹된 영역이 마스킹되지 않은 영역을 감싸도록 형성되는, 이미지 센서.
  4. 제3항에 있어서,
    상기 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역은
    원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되는, 이미지 센서.
  5. 제1항에 있어서,
    상기 적어도 어느 하나의 마스크가 배치되는 상기 적어도 어느 하나의 포토다이오드는
    상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지보다 선명한 이미지를 생성하는, 이미지 센서.
  6. 제1항에 있어서,
    상기 적어도 어느 하나의 마스크는
    상기 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역의 중심 위치가 상기 적어도 어느 하나의 포토다이오드의 중심 위치와 어긋나도록 형성되는, 이미지 센서.
  7. 제6항에 있어서,
    상기 이미지 센서는
    상기 적어도 어느 하나의 마스크가 배치된 상기 적어도 어느 하나의 포토다이오드에서 생성되는 이미지 및 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서 생성되는 이미지를 이용하여, 자동 초점 조절 또는 깊이 추정 중 적어도 어느 하나를 수행하는, 이미지 센서.
  8. 제1항에 있어서,
    상기 복수의 포토다이오드들의 상부에 배치되어, 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 필터링하는 복수의 컬러 필터들
    을 더 포함하는 이미지 센서.
  9. 제8항에 있어서,
    상기 복수의 컬러 필터들은
    RGB 컬러 필터, 화이트 컬러 필터 또는 IR 컬러 필터 중 적어도 어느 하나를 포함하는, 이미지 센서.
  10. 제8항에 있어서,
    상기 복수의 컬러 필터들 중 상기 적어도 어느 하나의 마스크 상부에 배치되는 적어도 어느 하나의 컬러 필터는
    화이트 컬러 필터인, 이미지 센서.
  11. 제8항에 있어서,
    상기 복수의 컬러 필터들 상부에 배치되어, 상기 복수의 컬러 필터들 각각으로 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 진행시키는 복수의 마이크로 렌즈들
    을 더 포함하는 이미지 센서.
  12. 카메라 시스템에 포함되는 이미지 센서의 동작 방법에 있어서,
    복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되는 적어도 어느 하나의 마스크를 이용하여, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 단계;
    상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들로 유입시키는 단계;
    상기 적어도 어느 하나의 포토다이오드에서, 상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 처리하는 단계; 및
    상기 복수의 포토다이오드들 중 상기 적어도 어느 하나의 포토다이오드를 제외한 나머지 포토다이오드들에서, 상기 카메라 시스템에 포함되는 렌즈를 통과한 광 신호를 처리하는 단계
    를 포함하는 이미지 센서의 동작 방법.
  13. 제12항에 있어서,
    상기 카메라 시스템에 포함되는 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 단계는
    상기 적어도 어느 하나의 마스크에서, 상기 카메라 시스템에 포함되는 렌즈의 외곽 영역을 통과한 광 신호가 상기 적어도 어느 하나의 포토다이오드로 유입되는 것을 차단하는 단계
    를 포함하는 이미지 센서의 동작 방법.
  14. 제12항에 있어서,
    상기 적어도 어느 하나의 마스크는
    마스킹된 영역이 마스킹되지 않은 영역을 감싸도록 형성되는, 이미지 센서의 동작 방법.
  15. 제14항에 있어서,
    상기 적어도 어느 하나의 마스크에서 마스킹되지 않은 영역은
    원, 삼각, 사각 또는 다각 중 어느 하나의 형태를 갖도록 형성되는, 이미지 센서의 동작 방법.
  16. 광 신호를 유입시키는 렌즈; 및
    이미지 센서
    를 포함하고,
    상기 이미지 센서는
    상기 렌즈를 통과한 광 신호를 각각 처리하는 복수의 포토다이오드들; 및
    상기 복수의 포토다이오드들 중 적어도 어느 하나의 포토다이오드 상부에 배치되어, 상기 렌즈의 내부 영역을 통과한 광 신호를 상기 적어도 어느 하나의 포토다이오드로 유입시키는 적어도 어느 하나의 마스크
    를 포함하는 카메라 시스템.
PCT/KR2015/004922 2015-05-15 2015-05-15 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법 WO2016186222A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/KR2015/004922 WO2016186222A1 (ko) 2015-05-15 2015-05-15 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
US15/574,399 US10516861B2 (en) 2015-05-15 2015-05-15 Image sensor for improving depth of field of image, and method for operating same
KR1020177030278A KR102059735B1 (ko) 2015-05-15 2015-05-15 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
CN201580080009.0A CN107667525B (zh) 2015-05-15 2015-05-15 提高景深的图像传感器及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/004922 WO2016186222A1 (ko) 2015-05-15 2015-05-15 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2016186222A1 true WO2016186222A1 (ko) 2016-11-24

Family

ID=57320428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004922 WO2016186222A1 (ko) 2015-05-15 2015-05-15 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법

Country Status (4)

Country Link
US (1) US10516861B2 (ko)
KR (1) KR102059735B1 (ko)
CN (1) CN107667525B (ko)
WO (1) WO2016186222A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102025012B1 (ko) * 2018-05-08 2019-09-24 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731135B1 (ko) * 2005-12-29 2007-06-22 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
KR20070071206A (ko) * 2005-12-29 2007-07-04 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
KR100825805B1 (ko) * 2007-02-13 2008-04-29 삼성전자주식회사 이미지 센서 소자 및 그 센서 소자의 제조방법
KR20090064991A (ko) * 2007-12-17 2009-06-22 주식회사 동부하이텍 이미지 센서의 제조 방법
KR20100080230A (ko) * 2008-12-31 2010-07-08 주식회사 동부하이텍 마스크 및 이를 이용한 이미지 센서의 제조 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
KR101776955B1 (ko) * 2009-02-10 2017-09-08 소니 주식회사 고체 촬상 장치와 그 제조 방법, 및 전자 기기
JP5183715B2 (ja) * 2010-11-04 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP2015015296A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置および電子機器
TW201514599A (zh) * 2013-10-07 2015-04-16 Novatek Microelectronics Corp 影像感測器及影像擷取系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100731135B1 (ko) * 2005-12-29 2007-06-22 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
KR20070071206A (ko) * 2005-12-29 2007-07-04 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
KR100825805B1 (ko) * 2007-02-13 2008-04-29 삼성전자주식회사 이미지 센서 소자 및 그 센서 소자의 제조방법
KR20090064991A (ko) * 2007-12-17 2009-06-22 주식회사 동부하이텍 이미지 센서의 제조 방법
KR20100080230A (ko) * 2008-12-31 2010-07-08 주식회사 동부하이텍 마스크 및 이를 이용한 이미지 센서의 제조 방법

Also Published As

Publication number Publication date
CN107667525A (zh) 2018-02-06
CN107667525B (zh) 2021-01-22
KR20170136540A (ko) 2017-12-11
US10516861B2 (en) 2019-12-24
US20180139417A1 (en) 2018-05-17
KR102059735B1 (ko) 2019-12-26

Similar Documents

Publication Publication Date Title
WO2014189232A1 (en) Electronic sensor and method for controlling the same
WO2015163671A1 (en) Image pickup apparatus including lens elements having different diameters
WO2017122971A1 (ko) 카메라 모듈
WO2012002661A2 (en) 3-dimensional camera module having x-prism and using method thereof
WO2014115984A1 (en) Photographing device and photographing method for taking picture by using a plurality of microlenses
US20060125936A1 (en) Multi-lens imaging systems and methods
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2015023076A1 (en) Method of capturing iris image, computer-readable recording medium storing the method, and iris image capturing apparatus
WO2016099128A1 (ko) 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
WO2016186222A1 (ko) 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
WO2013137637A1 (en) Imaging apparatus and image sensor thereof
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2015178509A1 (ko) 이종 화소 구조를 갖는 이미지 센서
WO2019151772A1 (ko) 카메라 모듈
WO2021187775A1 (ko) 이동 통신 단말기
WO2017034140A1 (ko) 조도 검출 장치 및 그 방법
WO2019088407A1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
WO2015115764A1 (ko) 카메라 모듈
WO2013089386A1 (en) 3-dimensional camera module and method for auto focusing the same
WO2016099165A1 (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
WO2016003106A2 (ko) 멀티 애퍼처 카메라의 센서 어레이
EP3135029A1 (en) Imaging device and photographing apparatus
WO2016098912A1 (ko) 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법
WO2016099164A1 (ko) 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
WO2019098729A1 (ko) 차량용 모니터링 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15892636

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177030278

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15574399

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15892636

Country of ref document: EP

Kind code of ref document: A1