KR102534247B1 - 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법 - Google Patents

편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법 Download PDF

Info

Publication number
KR102534247B1
KR102534247B1 KR1020180117219A KR20180117219A KR102534247B1 KR 102534247 B1 KR102534247 B1 KR 102534247B1 KR 1020180117219 A KR1020180117219 A KR 1020180117219A KR 20180117219 A KR20180117219 A KR 20180117219A KR 102534247 B1 KR102534247 B1 KR 102534247B1
Authority
KR
South Korea
Prior art keywords
pixel
depth
pixels
image sensor
polarization
Prior art date
Application number
KR1020180117219A
Other languages
English (en)
Other versions
KR20200037698A (ko
Inventor
진영구
김영찬
문창록
권용현
정태섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180117219A priority Critical patent/KR102534247B1/ko
Priority to US16/356,023 priority patent/US11204415B2/en
Priority to CN201910710726.7A priority patent/CN110970452B/zh
Publication of KR20200037698A publication Critical patent/KR20200037698A/ko
Priority to US17/536,556 priority patent/US11762073B2/en
Application granted granted Critical
Publication of KR102534247B1 publication Critical patent/KR102534247B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 기술적 사상은, 대상에 대한 깊이 정보뿐만 아니라 대상의 표면의 형상 정보를 정확하게 검출할 수 있는 3D 이미지 센서 및 그 3D 이미지 센서를 기반으로 한 깊이 보정방법 및 3D 영상 생성방법을 제공한다. 그 3D 이미지 센서는 기판 내에 배치된 전하 생성 영역을 구비하고, 대상(object)의 깊이(depth) 정보를 검출하는 깊이 픽셀; 및 상기 기판 내에 배치된 포토다이오드 및 광이 입사하는 방향의 상기 기판 상에 배치된 편광판(polarizer)을 구비하고, 상기 대상의 표면의 형상 정보를 검출하는 편광(polarization) 픽셀;을 포함하고, 적어도 2개의 상기 편광 픽셀과 적어도 하나의 상기 깊이 픽셀이 인접하여 배치되어 하나의 유닛 픽셀을 구성하고, 적어도 2개의 상기 편광 픽셀은 적어도 2개의 다른 편광 방향의 상기 편광판을 구비한, 편광판을 포함한다.

Description

편광판을 포함한 3D 이미지 센서, 및 그 3D 이미지 센서를 기반으로 한 깊이 보정방법과 3D 영상 생성방법{3D(dimension) image sensor comprising polarizer, and depth calibrating method and 3D image generating method based on the 3D image sensor}
본 발명의 기술적 사상은 3D 이미지 센서에 관한 것으로, 특히 편광판을 포함한 3D 이미지 센서에 관한 것이다.
3D 이미지 센서는 대상(object)의 깊이 정보(depth information)를 획득하는 센서로서, 예컨대, 얼굴이나 물건의 깊이를 계산한 후에 깊이 정보를 기초하여 해당 얼굴이나 물건의 3D 영상으로 생성할 수 있다. 3D 이미지 센서는 크게 능동(active) 방식과 수동(passive) 방식으로 분류될 수 있다. 능동 방식은 광원에서 특정 형태의 광을 생성하여 대상으로 조사하고, 대상으로부터 반사된 광을 검출하여 대상에 대한 깊이 정보를 획득하는 방식을 말한다. 그에 반해, 수동 방식은 별도의 광원 없이 대상으로부터의 반사된 자연 광을 검출하여 대상에 대한 깊이 정보를 획득하는 방식을 말한다. 능동 방식은 ToF(Time of Flight) 방식과 구조 광(Structured Light) 방식을 포함할 수 있다. 수동 방식은 스테레오(stereo) 방식, 다중 카메라(multi-camera) 방식, 다중-포토다이오드(multi-PD) 방식 등을 포함할 수 있다.
본 발명의 기술적 사상은, 대상에 대한 깊이 정보뿐만 아니라 대상의 표면의 형상 정보를 정확하게 검출할 수 있는 3D 이미지 센서 및 그 3D 이미지 센서를 기반으로 한 깊이 보정방법 및 3D 영상 생성방법을 제공하는 데에 있다.
상기 과제를 해결하기 위하여, 본 발명의 기술적 사상은, 기판 내에 배치된 전하 생성 영역을 구비하고, 대상(object)의 깊이(depth) 정보를 검출하는 깊이 픽셀; 및 상기 기판 내에 배치된 포토다이오드 및 광이 입사하는 방향의 상기 기판 상에 배치된 편광판(polarizer)을 구비하고, 상기 대상의 표면의 형상 정보를 검출하는 편광(polarization) 픽셀;을 포함하고, 적어도 2개의 상기 편광 픽셀과 적어도 하나의 상기 깊이 픽셀이 인접하여 배치되어 하나의 유닛 픽셀을 구성하고, 적어도 2개의 상기 편광 픽셀은 적어도 2개의 다른 편광 방향의 상기 편광판을 구비한, 편광판을 포함한 3D 이미지 센서를 제공한다.
또한, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 픽셀의 중심 부분의 상기 기판 내에 배치된 전하 생성 영역; 및 광이 입사하는 방향의 상기 기판 상에 배치된 편광판;을 포함하고, 적어도 2개의 상기 픽셀이 하나의 유닛 픽셀을 구성하고, 적어도 2개의 상기 픽셀은 적어도 2개의 다른 편광 방향의 상기 편광판을 구비하며, 대상의 깊이 정보와 상기 대상의 표면의 형상 정보를 함께 검출하는, 편광판을 포함한 3D 이미지 센서를 제공한다.
더 나아가, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 3D 이미지 센서의 깊이 픽셀을 이용하여, 대상의 깊이를 계산하는 단계; 편광판이 배치된 픽셀을 이용하여, 편광 정보에 기초한 법선 벡터(normal vector)를 계산하는 단계; 및 상기 법선 벡터를 이용하여 상기 깊이를 보정하는 단계;를 포함하고, 상기 3D 이미지 센서는, 상기 깊이 픽셀과 상기 깊이 픽셀의 주변의 상기 편광판이 배치된 편광 픽셀을 포함하거나, 또는 상기 편광판이 배치된 상기 깊이 픽셀을 포함하는, 3D 이미지 센서를 기반으로 한 깊이 보정방법을 제공한다.
한편, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 3D 이미지 센서의 ToF 기반의 깊이 픽셀을 이용하여 대상의 깊이를 계산하는 단계; 상기 깊이 픽셀 각각의 위상의 최소값에 대한 최대값의 비율이 설정된 문턱값을 초과하는지 판단하는 단계; 상기 문턱값을 초과하지 않는 경우, 편광판이 배치된 픽셀을 이용하여 편광 정보에 기초한 법선 벡터를 계산하는 단계; 및 상기 법선 벡터를 이용하여 상기 깊이를 보정하는 단계;를 포함하고, 상기 3D 이미지 센서는, 상기 깊이 픽셀과 상기 깊이 픽셀의 주변의 상기 편광판이 배치된 편광 픽셀을 포함하거나, 또는 상기 편광판이 배치된 상기 깊이 픽셀을 포함하는, 3D 이미지 센서를 기반으로 한 깊이 보정방법을 제공한다.
끝으로, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 3D 이미지 센서의 깊이 픽셀을 이용하여 대상의 위상 신호를 검출하는 단계; 편광판이 배치된 픽셀을 이용하여 편광 정보에 기초한 법선 벡터를 계산하고, 상기 대상의 3D 형상을 산출하는 단계; 상기 위상 신호를 이용하여 상기 대상의 깊이를 계산하는 단계; 및 상기 깊이 정보와 상기 3D 형상 정보를 결합하여 상기 대상의 3D 영상을 생성하는 단계;를 포함하고, 상기 3D 이미지 센서는, 상기 깊이 픽셀과 상기 깊이 픽셀의 주변의 상기 편광판이 배치된 편광 픽셀을 포함하거나, 또는 상기 편광판이 배치된 상기 깊이 픽셀을 포함하는, 3D 이미지 센서를 기반으로 한 3D 영상 생성방법
본 발명의 기술적 사상에 따른 편광판을 포함한 3D 이미지 센서는 편광판과 깊이 픽셀이 결합한 구조, 예컨대, 편광판을 구비한 편광 픽셀과 깊이 픽셀이 혼합된 제1 결합 구조 또는 편광판이 깊이 픽셀에 배치된 제2 결합 구조를 가짐으로써, 깊이 픽셀을 포함한 기존의 3D 이미지 센서의 대상의 표면의 형상 정보의 부정확성의 문제와 편광 픽셀을 포함한 편광 센서의 대상의 깊이 측정 불가의 문제를 해결할 수 있고, 그에 따라, 대상의 표면의 형상 정보를 반영하여 대상에 대한 깊이 정보를 정확하게 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 이미지 센서에 대한 개념도이다.
도 2a 내지 도 2d는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 깊이 픽셀이 혼합된 구조를 보여주는 개념도들이다.
도 3a 내지 도 3d는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 ToF 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도들로서, 각각 도 2a 내지 도 2d에 대응한다.
도 4a 내지 도 4c는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 깊이 픽셀의 상대적인 밀도를 보여주는 개념도들이다.
도 5는 본 발명의 일 실시예에 따른 3D 이미지 센서에서, 편광 픽셀과 ToF 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도이다.
도 6a 및 도 6b는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 ToF 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도들이다.
도 7a 내지 도 7d는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 다중-PD 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도들로서, 각각 도 2a 내지 도 2d에 대응한다.
도 8은 본 발명의 일 실시예에 따른 3D 이미지 센서에서, 편광 픽셀과 다중-PD 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도이다.
도 9a 내지 도 9c는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광판이 다중-PD 기반의 깊이 픽셀에 배치된 구조를 보여주는 개념도들이다.
도 10a 내지 도 10e는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광판이 ToF 기반의 깊이 픽셀에 배치된 구조를 보여주는 개념도들이다.
도 11은 본 발명의 일 실시예에 따른 3D 이미지 센서들에서, 편광판이 다중-PD 방식 또는 ToF 기반의 깊이 픽셀에 배치된 구조를 보여주는 개념도들이다.
도 12a 및 도 12b는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 제1 결합 구조와 제2 결합 구조의 3D 이미지 센서의 단면을 보여주는 단면도들이다.
도 13a 및 도 13b는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 제1 결합 구조와 제2 결합 구조의 3D 이미지 센서의 단면을 보여주는 단면도들이다.
도 14a 및 도 14b는 본 발명의 일 실시예들에 따른 능동 방식의 3D 이미지 센서를 구비한 전자 장치에 대한 개략적인 구성도들이다.
도 15a 및 도 15b는 본 발명의 일 실시예들에 따른 수동 방식의 3D 이미지 센서를 구비한 전자 장치에 대한 개략적인 구성도들이다.
도 16 및 도 17은 본 발명의 일 실시예들에 따른 깊이 보정방법들의 과정을 간단하게 보여주는 흐름도들이다.
도 18은 본 발명의 일 실시예에 따른 3D 영상 생성방법의 과정을 간단하게 보여주는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 이들에 대한 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 3D 이미지 센서에 대한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3D 이미지 센서(100)는 편광판(112)과 깊이 픽셀(120)이 결합한 구조를 가질 수 있다. 여기서, 편광판(112)과 깊이 픽셀(120)의 결합은, 편광판(112)을 구비한 편광 픽셀(도 2a 등의 110 참조)과 깊이 픽셀(120)이 혼합된 제1 결합 구조와, 편광판(112)이 깊이 픽셀(120)에 배치된 제2 결합 구조를 포함할 수 있다. 한편, 3D 이미지 센서(100)는, 대상(object)의 표면 형상 정보를 검출하기 위하여, 적어도 2개의 다른 편광 방향의 편광판(112)을 포함할 수 있다.
여기서, 깊이 픽셀(120)은 일반적인 기존의 3D 이미지 센서에서 이용되는 픽셀을 의미할 수 있다. 깊이 픽셀(120)은, 대상의 깊이 정보를 검출하는 방식에 따라 여러 가지로 구별될 수 있다. 예컨대, 깊이 픽셀(120)은 광원의 이용 유무에 따라 능동 방식과 수동 방식으로 분류될 수 있다. 능동 방식은, ToF 방식, 구조 광 방식 등을 포함하고, 수동 방식은, 스테레오 방식, 다중 카메라 방식, 및 다중-PD 방식 등을 포함할 수 있다.
한편, 편광 픽셀(110)은 대상의 표면의 형상 정보를 검출할 수 있는 편광 센서에서 이용하는 픽셀로서, 편광판(112)을 포함할 수 있다. 예컨대, 편광 픽셀(110)은 포토다이오드를 구비한 일반 픽셀 상에 편광판(112)이 배치된 구조를 가질 수 있다. 물론, 편광 픽셀(110)은 깊이 픽셀 상에 편광판(112)이 배치된 구조를 가질 수도 있다. 그러나 앞서, 제1 결합 구조와 제2 결합 구조의 구별을 위하여, 이하에서, 편광 픽셀(110)은 일반 픽셀 상에 편광판(112)이 배치된 구조만을 의미할 수 있다.
편광 픽셀들(110)을 구비한 편광 센서는, 서로 다른 편광판(112)을 거쳐 입사된 편광 광의 변화를 검출함으로써, 대상의 표면의 법선 벡터(normal vector)를 계산할 수 있다. 또한, 대상의 표면의 법선 벡터가 계산되면, 그에 따라, 대상의 표면의 형상 정보가 산출될 수 있다. 결국, 편광 센서는 편광 픽셀들(110)을 이용하여 대상의 표면의 형상 정보를 검출할 수 있다.
일반적으로 기존 3D 이미지 센서는, 깊이 픽셀(120)을 이용하여 대상의 깊이를 정확하게 측정할 수 있으나, 플라잉 픽셀(flying pixel) 현상, 다중-경로 간섭(multi-path interference) 현상 등의 오차로 인해 대상의 표면 형상은 정확하게 측정하지 못할 수 있다. 여기서, 플라잉 픽셀 현상은 급격히 변하는 대상의 경계면에 대응하는 픽셀에서 깊이 정보 에러가 발생하는 현상을 의미하고, 다중-경로 간섭 현상은 난반사에 의해 깊이 정보 에러가 발생하는 현상을 의미할 수 있다.
한편, 편광 센서는 편광 픽셀들(110)을 이용하여 대상의 표면의 형상은 정확하게 계산할 수 있으나, 대상 자체의 깊이는 측정하지 못하는 한계가 있다.
본 실시예의 3D 이미지 센서(100)는 편광판(112)과 깊이 픽셀(120)이 결합한 구조를 가짐으로써, 깊이 픽셀(120)을 포함한 기존의 3D 이미지 센서의 대상의 표면의 형상 정보의 부정확성의 문제와 편광 픽셀(110)을 포함한 편광 센서의 대상의 깊이 측정 불가의 문제를 해결할 수 있고, 그에 따라, 대상의 표면의 형상 정보를 반영하여 대상에 대한 깊이 정보를 정확하게 검출할 수 있다.
도 2a 내지 도 2d는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 깊이 픽셀이 혼합된 구조를 보여주는 개념도들이다.
도 2a 내지 도 2d를 참조하면, 본 실시예들의 3D 이미지 센서들(100a-M, 100b-M, 100c-M, 100d-M) 각각은 편광 픽셀(110)과 깊이 픽셀(120, 120a, 120b)이 혼합된 제1 결합 구조를 가질 수 있다.
구체적으로, 도 2a의 3D 이미지 센서(100a-M)에서, 편광 픽셀(110)과 깊이 픽셀(120)은 제1 방향(x 방향)과 제2 방향(y 방향)을 따라 교대로 배치된 체커보드(checker board) 형태로 결합한 구조를 가질 수 있다. 3D 이미지 센서(100a-M)의 유닛 픽셀(UP1)은 교차 배치된 4개의 편광 픽셀(110)과 4개의 깊이 픽셀(120)을 포함할 수 있다. 또한, 유닛 픽셀(UP1)은 마름모 형태로 배열된 편광 픽셀과 마름모 형태로 배열된 깊이 픽셀이 겹쳐져 어레이 구조를 가질 수도 있다. 이러한 배치에서는 도 2a의 3x3 어레이 기준으로 직사각형의 중심에 배치된 1개의 깊이 픽셀(120)과 직사각형의 4개의 꼭짓점 부분에 배치된 4개의 깊이 픽셀(120)을 포함할 수 있다. 반복되는 유닛 픽셀 어레이 기준으로는, 도 2a에서의 좌측 상단의 깊이 픽셀(120)과 우측 하단의 깊이 픽셀이 겹쳐지는 형태로 어레이가 전개될 수 있다. 4개의 편광 픽셀(110)은 직사각형의 4개의 변 부분에 배치될 수 있고, 0°, 45°, 90°, 및 135°의 편광판(112-1, 112-2, 112-3, 112-4)을 포함할 수 있다. 그러나 실시예에 따라, 4개의 편광 픽셀(110)은 2개씩의 0°와 90°의 편광판을 포함할 수도 있다.
참고로, 유닛 픽셀은 필요한 픽셀들을 모두 포함하는 최소 사이즈의 픽셀 구조를 의미하며, 이러한 유닛 픽셀들이 제1 방향(x 방향 또는 xy 방향) 및 제2 방향(y 방향 또는 -xy 방향)을 따라 반복되어 배치됨으로써, 수십 내지 수백 만개의 전체 픽셀들의 어레이 구조가 구현될 수 있다.
도 2b의 3D 이미지 센서(100b-M)는 4개의 편광 픽셀(110)에 1개의 깊이 픽셀(120a)이 결합한 구조를 가질 수 있다. 깊이 픽셀(120a)은 제1 방향(x 방향)으로 길쭉한 직사각형 형태로 2개의 편광 픽셀(110)에 해당하는 사이즈를 가질 수 있다. 실시예에 따라, 깊이 픽셀(120a)은 제2 방향(y 방향)으로 길쭉한 직사각형 형태를 가질 수도 있다.
3D 이미지 센서(100b-M)의 유닛 픽셀(UP2)은, 4개의 편광 픽셀(110)과 1개의 깊이 픽셀(120a)을 포함할 수 있다. 또한, 유닛 픽셀(UP2)은 편광 픽셀(110)의 사이즈를 기준으로 3×2 어레이 구조의 직사각형 형태를 가질 수 있다. 여기서, 3×2 어레이 구조는, 도시된 바와 같이, 제1 방향(x 방향)으로 길쭉한 직사각형의 깊이 픽셀(120a)이 2×2 어레이 구조의 4개의 편광 픽셀(110)의 하부 쪽에 배치된 구조를 의미할 수 있다. 실시예에 따라, 유닛 픽셀(UP2)은 제2 방향(y 방향)으로 길쭉한 직사각형의 깊이 픽셀(120a)을 포함한 2×3 어레이 구조를 가질 수도 있다.
도 2c의 3D 이미지 센서(100c-M)는 4개의 깊이 픽셀들(120)을 12개의 편광 픽셀들(110)이 둘러싸는 구조를 가질 수 있다. 3D 이미지 센서(100c-M)의 유닛 픽셀(UP3)은 12개의 편광 픽셀(110)과 4개의 깊이 픽셀(120)을 포함하여, 4×4 어레이 구조의 직사각형 형태를 가질 수 있다. 유닛 픽셀(UP3)에서, 4개의 깊이 픽셀(120)은 2×2 어레이 구조로 직사각형의 중심에 배치되고, 12개의 편광 픽셀(110)은 4개의 깊이 픽셀(120)을 둘러싸는 구조로 직사각형의 외곽에 배치될 수 있다.
12개의 편광 픽셀(110)은 3개씩의 0°, 45°, 90°, 및 135°의 편광판(112-1, 112-2, 112-3, 112-4)을 포함할 수 있다. 12개의 편광 픽셀(110)은 제1 방향(x 방향) 및 제2 방향(y 방향)을 따라 45°의 차이를 갖는 편광판들이 교대로 배치될 수 있다. 예컨대, 제1 방향(x 방향)을 따라, 직사각형의 상부에서 0°와 45°의 편광판(112-1, 112-2)이 교대로 배치되고, 직사각형의 하부에서 90°와 135°의 편광판(112-3, 112-4)이 교대로 배치될 수 있다. 또한, 제2 방향(y 방향)을 따라, 직사각형의 좌측에서 0°와 135°의 편광판(112-1, 112-4)이 교대로 배치되고, 직사각형의 우측에서 45°와 90°의 편광판(112-2, 112-3)이 교대로 배치될 수 있다.
도 2d의 3D 이미지 센서(100d-M)는 1개의 깊이 픽셀(120b)을 12개의 편광 픽셀들(110)이 둘러싸는 구조를 가질 수 있다. 깊이 픽셀(120b)은 4개의 편광 픽셀(110)에 해당하는 사이즈를 가질 수 있다. 3D 이미지 센서(100d-M)의 유닛 픽셀(UP3)은 12개의 편광 픽셀(110)과 1개의 깊이 픽셀(120b)을 포함할 수 있다. 또한, 유닛 픽셀(UP3)은 편광 픽셀(110)의 사이즈를 기준으로 4×4 어레이 구조의 직사각형 형태를 가질 수 있다. 도 2d의 3D 이미지 센서(100d-M)는, 도 3c의 3D 이미지 센서(100c-M)에서, 4개의 깊이 픽셀(120)을 1개의 깊이 픽셀(120b)로 대체한 것에 해당할 수 있다.
도 3a 내지 도 3d는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 ToF 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도들로서, 각각 도 2a 내지 도 2d에 대응한다.
도 3a 내지 도 3d를 참조하면, 본 실시예들의 3D 이미지 센서들(100aa-M, 100ba-M, 100ca-M, 100da-M) 각각은 편광 픽셀(110)과 깊이 픽셀(120T2, 120aT2, 120bT4)이 혼합된 제1 결합 구조를 가질 수 있다. 본 실시예들의 3D 이미지 센서들(100aa-M, 100ba-M, 100ca-M, 100da-M)은, 기본적으로, 도 2a 내지 2d의 3D 이미지 센서들(100a-M, 100b-M, 100c-M, 100d-M)에 대응하는 구조를 가지되, 깊이 픽셀(120T2, 120aT2, 120bT4)은 ToF 기반의 능동 방식의 깊이 픽셀일 수 있다. 또한, ToF 기반의 깊이 픽셀(120T2, 120aT2, 120bT4)에는 광의 비행시간 측정 방법으로 게이트 변조(modulation) 방법이 채용될 수 있다. 물론, 깊이 픽셀(120T2, 120aT2, 120bT4)에 의한 광의 비행시간 측정 방법이 게이트 변조 방법에 한정되는 것은 아니다. 참고로, ToF 기반의 깊이 픽셀은 크게 게이트 변조 방법과 직접 시간 측정 방법을 통해 광의 비행시간을 측정할 수 있다. 게이트 변조 방법은 광 변조기의 고속 게이팅을 이용하여 변조된 신호를 대상에 조사하고 반사되어 돌아오는 반사광의 위상 차를 감지하여 거리를 산출하는 방법으로 간접 시간 측정 방법이라고도 한다. 한편, 직접 시간 측정 방법은 펄스 광을 대상에 조사하고 반사되어 돌아오는 시간을 타이머로 직접 측정하는 방법을 의미할 수 있다.
구체적으로, 도 3a의 3D 이미지 센서(100aa-M)의 유닛 픽셀(UP1a)은 교차 배치된 4개의 편광 픽셀(110)과 4개의 ToF 기반 깊이 픽셀(120T2)을 포함할 수 있다. 깊이 픽셀(120T2)은 2-탭 픽셀 구조를 가질 수 있다. 그러나 깊이 픽셀(120T2)의 탭 구조가 2-탭 픽셀 구조에 한정되는 것은 아니다. 예컨대, 실시예에 따라, 깊이 픽셀(120T2)은 1-탭 픽셀 구조 또는 4-탭 픽셀 구조를 가질 수 있다.
도 3a에서, 깊이 픽셀(120T2) 내의 중앙에 2개의 길쭉한 직사각형은 전하 생성 영역(120PD)을 의미하고, 전하 생성 영역(120PD)에서 돌출된 부분은 전하 저장 영역(122)을 의미할 수 있다. 본 실시예의 3D 이미지 센서(100aa-M)의 깊이 픽셀(120T2)에서, 전하 생성 영역(120PD)은, 예컨대 포토게이트 및/또는 포토다이오드로 구현될 수 있다. 또한, 전하 저장 영역(122)은, 플로팅 디퓨전(FD) 영역 및/또는 스토리지 게이트나 스토리지 다이오드와 같은 별도의 전하 저장 구조로 구현될 수 있다.
참고로, ToF 기반 깊이 픽셀의 탭 구조는, 포토다이오드나 포토게이트와 같은 전하 생성 영역에서 생성된 전하를 전하 저장 영역에 위상별로 구별하여 전달할 수 있는 탭이 몇 개 배치되는가에 따라 결정될 수 있다. 대표적으로 탭 구조는 1-탭, 2-탭 및 4-탭 구조로 분류될 수 있다. 1-탭 구조는 하나의 탭을 이용하여 0°, 90°, 180°, 270° 위상별로 각각 전송하는 방식이고, 2-탭 구조는 2개의 탭을 이용하여 0°와 180° 위상에 대하여, 그리고 90°와 270° 위상에 대하여 전송하는 방식이며, 4-탭 구조는 4개의 탭을 이용하여 모든 위상에 대하여 전송하는 방식일 수 있다. 1-탭 구조는 각 위상에 대응하여 4번 샘플링(sampling)이 필요하고, 2-탭 구조는 2번 샘플링이 필요하며, 4-탭 구조는 한 번의 샘플링으로 족하다. 따라서, 2-탭 구조와 4-탭 구조는 1-탭 구조에 비해 고속으로 동작할 수 있다.
한편, 탭의 기능은 포토게이트 및/또는 탭 게이트에 의해 수행될 수 있다. 예컨대, 포토게이트는 전하를 생성하면서 직접 전하를 전하 저장 영역으로 전달하는 탭의 기능을 할 수 있다. 이러한 구조의 경우는, 포토게이트의 개수에 의해 탭 구조가 결정될 수 있다. 또한, 실시예에 따라, 포토게이트 대신에 포토다이오드가 배치되고, 포토다이오드에서 생성된 전하를 전하 저장 영역으로 전달하는 탭 게이트가 별도로 배치될 수 있다. 이러한 구조의 경우는, 탭 게이트의 개수에 의해 탭 구조가 결정될 수 있다.
도 3b의 3D 이미지 센서(100ba-M)의 유닛 픽셀(UP2a)은 3×2 어레이 구조의 직사각형 형태를 가지며, 4개의 편광 픽셀(110)과 1개의 ToF 기반의 깊이 픽셀(120aT2)을 포함할 수 있다. 깊이 픽셀(120aT2)은 편광 픽셀(110)의 2배의 사이즈를 가지고 제1 방향(x 방향)으로 길쭉한 직사각형의 구조를 가질 수 있다. 깊이 픽셀(120aT2)은 2-탭 픽셀 구조를 가질 수 있다. 그러나 깊이 픽셀(120aT2)의 탭 구조가 2-탭 픽셀 구조에 한정되는 것은 아니다.
도 3c의 3D 이미지 센서(100ca-M)의 유닛 픽셀(UP3a)은 4×4 어레이 구조의 직사각형 형태를 가지며, 12개의 편광 픽셀(110)과 4개의 ToF 기반의 깊이 픽셀(120T2)을 포함할 수 있다. 4개의 깊이 픽셀(120T2)은 직사각형의 중심에 2×2 어레이 구조로 배치되고, 12개의 편광 픽셀(110)은 4개의 깊이 픽셀(120T2)을 둘러싸는 구조로 직사각형의 외곽에 배치될 수 있다. 깊이 픽셀(120T2)은 2-탭 픽셀 구조를 가질 수 있으나, 2-탭 픽셀 구조에 한정되는 것은 아니다.
도 3d의 3D 이미지 센서(100da-M)의 유닛 픽셀(UP4a)은 4×4 어레이 구조의 직사각형 형태를 가지며, 12개의 편광 픽셀(110)과 1개의 ToF 기반의 깊이 픽셀(120bT4)을 포함할 수 있다. 4개의 편광 픽셀(110)의 사이즈를 갖는 1개의 깊이 픽셀(120bT4)은 직사각형의 중심에 배치되고, 12개의 편광 픽셀(110)은 1개의 깊이 픽셀(120bT4)을 둘러싸는 직사각형의 외곽에 구조로 배치될 수 있다. 깊이 픽셀(120bT4)은 4-탭 픽셀 구조를 가질 수 있으나 4-탭 픽셀 구조에 한정되는 것은 아니다. 예컨대, 실시예에 따라, 깊이 픽셀(120bT4)은 1-탭 픽셀 구조 또는 2-탭 픽셀 구조를 가질 수 있다.
도 3d에서, 깊이 픽셀(120bT4)의 4개의 전하 생성 영역(120PD)의 기재된 0°, 90°, 180°, 270°은 4개의 전하 생성 영역(120PD)이 0°, 90°, 180°, 270°의 위상에 대응함을 의미할 수 있다. 한편, 도 3a 내지 도 3c에서, 기재되지는 않았지만, 깊이 픽셀(120T, 120aT2)이 2-탭 픽셀 구조를 가지므로, 2개의 전하 생성 영역(120PD)은 0°와 180°, 또는 90°와 270°에 대응할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 깊이 픽셀의 상대적인 밀도를 보여주는 개념도들이다.
도 4a를 참조하면, 본 실시예의 3D 이미지 센서(100ea-M)에서, 유닛 픽셀(UP5a)은 8개의 편광 픽셀(110)과 2개의 ToF 기반의 깊이 픽셀(120bT4)을 포함할 수 있다. 깊이 픽셀(120bT4)은 4개의 편광 픽셀(110)에 해당하는 사이즈를 가질 수 있다. 깊이 픽셀(120bT4)은 4-탭 픽셀 구조를 가질 수 있으나 4-탭 픽셀 구조에 한정되는 것은 아니다.
본 실시예의 3D 이미지 센서(100ea-M)는, 2×2 어레이 구조의 4개의 편광 픽셀(110)과 1개의 깊이 픽셀(120bT4)이 제1 방향(x 방향)과 제2 방향(y 방향)을 따라 교대로 배치되는 체커보드 형태를 가질 수 있다. 본 실시예의 3D 이미지 센서(100ea-M)는, 사이즈 측면에서, 편광 픽셀(110)과 깊이 픽셀(120bT4)은 1 대1의 밀도 관계를 가질 수 있다.
도 4b를 참조하면, 본 실시예의 3D 이미지 센서(100da-M)에서, 유닛 픽셀(UP4a)은 8개의 편광 픽셀(110)과 1개의 ToF 기반의 깊이 픽셀(120bT4)을 포함하고, 도 3d에 도시된 유닛 픽셀(UP4a)에 해당할 수 있다. 또한, 본 실시예의 3D 이미지 센서(100ea-M)는, 사이즈 측면에서, 편광 픽셀(110)과 깊이 픽셀(120bT4)은 3 대1의 밀도 관계를 가질 수 있다.
도 4c를 참조하면, 본 실시예의 3D 이미지 센서(100fa-M)에서, 유닛 픽셀(UP6a)은 32개의 편광 픽셀(110)과 1개의 ToF 기반의 깊이 픽셀(120bT4)을 포함할 수 있다. 깊이 픽셀(120bT4)은 4-탭 픽셀 구조를 가질 수 있으나 4-탭 픽셀 구조에 한정되는 것은 아니다. 유닛 픽셀(UP6a)은, 1개의 깊이 픽셀(120bT4)을 2×2 어레이 구조의 4개 편광 픽셀(110)의 그룹 8개가 둘러싸는 구조를 가질 수 있다. 본 실시예의 3D 이미지 센서(100fa-M)는, 사이즈 측면에서, 편광 픽셀(110)과 깊이 픽셀(120bT4)은 8 대1의 밀도 관계를 가질 수 있다.
도 4a 내지 도 4c에서, 편광 픽셀(110)과 깊이 픽셀(120bT4) 간의 밀도 관계에 대한 몇 가지 실시예를 설명하였지만, 편광 픽셀(110)과 깊이 픽셀(120bT4) 간의 밀도 관계가 그에 한정되는 것은 아니다. 예컨대, 실시예에 따라, 편광 픽셀(110)과 깊이 픽셀(120bT4)은 더욱 다양한 밀도 관계를 가지고 배치될 수 있다.
한편, ToF 기반의 깊이 픽셀(120bT4)의 사이즈가 편광 픽셀(110)보다 큰 경우에, 깊이 픽셀(120bT4) 하나당 2개 또는 4개 이상의 편광 픽셀(110)을 배치함으로써, 대상의 3D 형상을 보다 정확하게 측정할 수 있다. 예컨대, 편광 픽셀(110)이 깊이 픽셀(120bT4)보다 상대적으로 많이 배치됨으로써, 깊이 픽셀에 의한 깊이 이미지는 비교적 저해상도를 가지나, 편광 픽셀에 의한 편광 이미지는 고해상도를 가질 수 있다. 그러나 두 이미지가 결합함으로써, 대상의 표면의 형상이 보다 정확하게 반영된 고해상도의 3D 영상이 구현될 수 있다.
도 5는 본 발명의 일 실시예에 따른 3D 이미지 센서에서, 편광 픽셀과 ToF 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도이다.
도 5를 참조하면, 본 실시예의 3D 이미지 센서(100ga-M)에서, 편광 픽셀(110a)과 ToF 기반 깊이 픽셀(120cT2)은 제1 방향(x 방향)과 제2 방향(y 방향)의 사이의 2개의 대각 방향(D1, D2)을 따라 교대로 배치될 수 있다. ToF 기반 깊이 픽셀(120cT2)은 2-탭 픽셀 구조를 가질 수 있으나 2-탭 픽셀 구조에 한정되는 것은 아니다.
본 실시예의 3D 이미지 센서(100ga-M)의 유닛 픽셀(UP7a)은 2개의 편광 픽셀(110a)과 4개의 깊이 픽셀(120cT2)을 포함하고, 직사각형 구조를 가질 수 있다. 4개의 깊이 픽셀(120cT2)은 2개의 대각 방향(D1, D2)으로 2개씩 직사각형의 내부에 배치될 수 있다. 4개의 편광 픽셀(110a)은 직사각형의 4개의 변에 배치될 수 있다. 4개의 편광 픽셀(110a) 각각은 인접하는 2개의 유닛 픽셀(UP7a)에 의해 공유되므로, 하나의 유닛 픽셀(UP7a)에 2개의 편광 픽셀(110a)이 할당될 수 있다.
본 실시예의 3D 이미지 센서(100ga-M)에서, 편광 픽셀(110a)과 깊이 픽셀(120cT2)이 실질적으로 동일한 사이즈를 가진다고 할 때, 사이즈 측면에서, 편광 픽셀(110a)과 깊이 픽셀(120cT2)은 1 대 2의 밀도 관계를 가질 수 있다. 한편, 본 실시예의 3D 이미지 센서(100ga-M)에서, 편광판(112)은 유닛 픽셀(UP7a) 내에 4개의 편광 방향의 편광판(112-1, 112-2, 112-3, 112-4)이 모두 포함되도록 배치되되, 제1 방향(x 방향)과 제2 방향(y 방향)을 따라 90°의 차이가 나는 편광판이 교대로 배치될 수 있다.
도 6a 및 도 6b는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 ToF 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도들이다.
도 6a를 참조하면, 본 실시예의 3D 이미지 센서(100ha-M)는 편광 픽셀(110b)이 ToF 기반 깊이 픽셀(120b'T4)의 일부를 이용하여 형성된다는 점에서, 지금까지의 ToF 기반 깊이 픽셀을 포함하면서 제1 결합 구조를 갖는 3D 이미지 센서들(100aa-M ~ 100ga-M)과 다를 수 있다. 좀더 구체적으로 설명하면, 본 실시예의 3D 이미지 센서(100ha-M)에서, 깊이 픽셀(120b'T4)은 4개의 전하 생성 영역(120PD)을 구비한 4-탭 픽셀 구조를 가질 수 있다. 또한, 4개의 전하 생성 영역(120PD) 중 2개의 전하 생성 영역(120PD), 예컨대, 90°와 270°에 대응하는 전하 생성 영역(120PD) 상에 편광판(112)이 배치되어 편광 픽셀(110b)로 이용될 수 있다.
본 실시예의 3D 이미지 센서(100ha-M)에서, 깊이 픽셀(120b'T4)은 1개의 픽셀 내에 4개의 전하 생성 영역(120PD)이 형성되어 물리적으로는 4-탭 픽셀 구조에 해당하지만, 그 중 2개가 편광 픽셀(110b)로 이용되므로 기능적으로는 2-탭 픽셀 구조에 해당할 수 있다. 따라서, 깊이 픽셀(120b'T4)은, 0°와 180° 위상과 90°와 270° 위상에 대하여 2번 샘플링하는 방식으로 동작하고, 또한, 위상별 샘플링 사이에 편광에 의한 센싱이 수행될 수 있다. 또한, 편광 픽셀(110b)에 이용되는 전하 생성 영역(120PD)은 깊이 픽셀(120b'T4)의 일부이지만, 깊이 측정에는 이용되지 않으므로 기능적으로는 일반 픽셀에 해당할 수 있다. 따라서, 편광 픽셀(110b)은 도 1의 설명 부분에서의 편광 픽셀의 개념에서 벗어나지 않을 수 있다.
도 6a에서, 0°와 180°의 위상에 대응하는 전하 생성 영역(120PD)과 해당 전하 저장 영역(122)이 대각선 방향으로 배치되고 있다. 그러나 그에 한하지 않고, 도 3d의 3D 이미지 센서(100da-M)의 구조와 같이 전하 생성 영역(120PD) 및 전하 저장 영역(122)이 배치되고, 윗부분, 또는 아랫부분의 2개의 전하 생성 영역(120PD)이 편광 픽셀(110b)로 이용될 수도 있다.
본 실시예의 3D 이미지 센서(100ha-M)에서, 1개의 깊이 픽셀(120b'T4) 내에 2개의 동일 편광 방향의 편광판(112)이 적용되어 2개의 편광 픽셀(110b)이 구현될 수 있다. 예컨대, 왼쪽 상부의 깊이 픽셀(120b'T4)의 2개의 전하 생성 영역(120PD)에 2개의 0°의 편광판(112)이 배치될 수 있다. 3D 이미지 센서(100ha-M)에서 깊이 픽셀들(120b'T4) 간에는 깊은 트렌치 분리(Deep Trench Isolation: DTI) 구조가 형성될 수 있고, 그에 따라, 주변의 깊이 픽셀(120b'T4)에 입사되는 광에 의한 영향을 최소화할 수 있다. 따라서, 하나의 깊이 픽셀(120b'T4) 내에 동일한 편광 방향의 편광판(112)이 배치되는 경우, 편광 정보의 검출이 안정적으로 수행될 수 있다.
도 6b를 참조하면, 본 실시예의 3D 이미지 센서(100ia-M)는 편광 픽셀(110c)이 ToF 기반 깊이 픽셀(120b'T4)의 일부를 이용하여 형성된다는 점에서, 도 6a의 3D 이미지 센서(100ha-M)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100ia-M)에서, 1개의 깊이 픽셀(120b'T4) 내에 2개의 다른 편광 방향의 편광판(112)이 적용되어 2개의 편광 픽셀(110c)이 구현된다는 점에서, 도 6a의 3D 이미지 센서(100ha-M)와 다를 수 있다. 예컨대, 좌측 최상부 깊이 픽셀(120b'T4)에는 0°의 편광판(112-1)과 45°의 편광판(112-2)이 적용될 수 있다.
한편, 도 6b에 도시된 바와 같이, 하나의 동일 편광 방향의 편광판(112)은 4개의 깊이 픽셀(120b'T4)에 걸쳐서 배치될 수 있다. 예컨대, 0°의 편광판(112-1)이 좌측 상부, 좌측 중간, 중앙 상부, 및 중앙 부분의 깊이 픽셀(120b'T4)에 함께 걸쳐 배치될 수 있다. 이와 같은 구조는 하나의 깊이 픽셀(120b'T4) 내에서 2개의 편광판(112)이 배치되어 서로 다른 편광 정보가 검출되므로, 편광 정보의 검출 측면에서 조금 불안정할 수 있다. 그러나 편광판(112)이 깊이 픽셀(120b'T4)과 실질적으로 동일한 사이즈를 가지고 배치되므로, 제조 공정상 비교적 낮은 난이도가 요구될 수 있다. 한편, 본 실시예의 3D 이미지 센서(100ia-M)의 유닛 픽셀(UP9a) 역시, 8개의 편광 픽셀(110c)과 4개의 깊이 픽셀(120b'T4)을 포함할 수 있다.
도 7a 내지 도 7d는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광 픽셀과 다중-PD 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도들로서, 각각 도 2a 내지 도 2d에 대응한다.
도 7a 내지 도 7d를 참조하면, 본 실시예들의 3D 이미지 센서들(100ap-M, 100bp-M, 100cp-M, 100dp-M) 각각은 편광 픽셀(110)과 깊이 픽셀(120P2, 120aP2, 120bP4)이 혼합된 제1 결합 구조를 가질 수 있다. 본 실시예들의 3D 이미지 센서들(100ap-M, 100bp-M, 100cp-M, 100dp-M)은, 기본적으로, 도 2a 내지 2d의 3D 이미지 센서들(100a-M, 100b-M, 100c-M, 100d-M)에 대응하는 구조를 가지되, 깊이 픽셀(120T2, 120aT2, 120bT4)은 다중-PD 기반의 수동 방식의 깊이 픽셀이고, 깊이 픽셀(120T2, 120aT2, 120bT4)에는 마이크로 렌즈(130)가 배치될 수 있다.
구체적으로, 도 7a의 3D 이미지 센서(100ap-M)의 유닛 픽셀(UP1p)은 교차 배치된 4개의 편광 픽셀(110)과 4개의 다중-PD 기반 깊이 픽셀(120P2)을 포함할 수 있다. 도 7a에 표시된 5개의 깊이 픽셀(120P2) 각각에는 마이크로 렌즈(130)가 배치될 수 있다. 한편, 깊이 픽셀(120P2)은 2PD 픽셀 구조를 가질 수 있다. 그러나 깊이 픽셀(120P2)의 픽셀 구조가 2PD 픽셀 구조에 한정되는 것은 아니다. 예컨대, 실시예에 따라, 깊이 픽셀(120P2)은 4PD 픽셀 구조 또는 슈퍼 PD 픽셀 구조를 가질 수 있다.
도 7a에서, 깊이 픽셀(120P2)의 중앙에 2개의 길쭉한 직사각형은 포토다이오드(110PD)를 의미하고, 포토다이오드(110PD)의 꼭짓점 부분의 삼각형은 트랜스퍼 게이트(113)를 의미하며, 하부로 돌출된 부분은 FD 영역(114)을 의미할 수 있다. 한편, 도 7a에 도시된 바와 같이, 깊이 픽셀(120P2)은 2개의 포토다이오드(110PD)가 하나의 FD 영역(114)을 공유하는 구조를 가질 수 있다. 그러나 실시예에 따라, 깊이 픽셀(120P2)은 2개의 포토다이오드(110PD) 각각에 FD 영역(114)이 배치된 비공유 구조를 가질 수도 있다.
참고로, 다중-PD 기반 깊이 픽셀의 픽셀 구조는, 픽셀 내에 포토다이오드가 몇 개 배치되느냐에 따라 결정될 수 있다. 예컨대, 다중-PD 기반의 깊이 픽셀의 픽셀 구조는 픽셀 내에 포토다이오드가 2개 배치된 2PD 픽셀 구조와 픽셀 내에 포토다이오드가 4개 배치된 4PD 픽셀 구조로 분류될 수 있다. 한편, 보통 픽셀 하나에 마이크로 렌즈가 하나 배치되나, 하나의 마이크로 렌즈가 2개 이상의 픽셀에 걸쳐 배치된 구조의 경우는 포토다이오드에 개수와 상관없이 슈퍼 PD 픽셀 구조로 분류될 수 있다. 다중-PD 기반 깊이 픽셀은, 대상의 깊이에 따라 마이크로 렌즈를 통해 입사되는 광의 포커싱(focusing) 위치가 달라지는 원리를 이용하여, 대상의 깊이 정보를 검출할 수 있다. 이러한 원리는 일반 이미지 센서에서 2개의 포토다이오드를 이용하여 자동(auto)-포커싱하는 원리와 유사할 수 있다.
도 7b의 3D 이미지 센서(100bp-M)의 유닛 픽셀(UP2p)은 3×2 어레이 구조의 직사각형 형태를 가지며, 4개의 편광 픽셀(110)과 1개의 다중-PD 기반의 깊이 픽셀(120aP2)을 포함할 수 있다. 깊이 픽셀(120aP2) 상에는 대응하는 마이크로 렌즈(130)가 배치될 수 있다. 깊이 픽셀(120aP2)은 편광 픽셀(110)의 2배의 사이즈를 가지고 제1 방향(x 방향)으로 길쭉한 직사각형의 구조를 가질 수 있다. 깊이 픽셀(120aP2)은 2PD 픽셀 구조를 가질 수 있으나 2PD 픽셀 구조에 한정되는 것은 아니다.
도 7c의 3D 이미지 센서(100cp-M)의 유닛 픽셀(UP3p)은 4×4 어레이 구조의 직사각형 형태를 가지며, 12개의 편광 픽셀(110)과 4개의 다중-PD 기반의 깊이 픽셀(120P2)을 포함할 수 있다. 깊이 픽셀(120P2) 상에는 대응하는 마이크로 렌즈(130)가 배치될 수 있다. 깊이 픽셀(120P2)은 2PD 픽셀 구조를 가질 수 있으나 2PD 픽셀 구조에 한정되는 것은 아니다. 한편, 깊이 픽셀(120P2)은 2PD 픽셀 구조의 2개의 깊이 픽셀(120P2)이 하나의 FD 영역을 공유하는 구조(도 9b의 120PS2 참조)를 가질 수도 있다.
도 7d의 3D 이미지 센서(100dp-M)의 유닛 픽셀(UP4p)은 4×4 어레이 구조의 직사각형 형태를 가지며, 12개의 편광 픽셀(110)과 1개의 다중-PD 기반의 깊이 픽셀(120bP4)을 포함할 수 있다. 1개의 깊이 픽셀(120bT4)은 4개의 편광 픽셀(110)의 사이즈를 가질 수 있다. 1개의 깊이 픽셀(120bT4)에 대응하여 하나의 마이크로 렌즈(130)가 깊이 픽셀(120bT4) 상에 배치될 수 있다. 깊이 픽셀(120bP4)은 4PD 픽셀 구조를 가질 수 있으나 4PD 픽셀 구조에 한정되는 것은 아니다. 한편, 깊이 픽셀(120bP4)은 4개의 포토다이오드(110PD)가 하나의 FD 영역(114S)을 공유하는 4-공유(4-shared) 구조를 가질 수 있다. 그러나 그에 한하지 않고, 깊이 픽셀(120bP4)은 비공유(no-shared) 구조를 가지거나, 또는 2개의 포토다이오드(110PD)가 하나의 FD 영역(114S)을 공유하는 2-공유(2-shared) 구조를 가질 수도 있다.
한편, 구체적으로 도시하지는 않았지만, 도 4a 내지 도 4c의 3D 이미지 센서(100ea-M, 100de-M, 100f-M)와 유사하게, 다중-PD 기반의 깊이 픽셀을 포함한 본 실시예들의 3D 이미지 센서들의 경우도, 사이즈 측면에서, 편광 픽셀(110)과 깊이 픽셀 간에 1 대 1, 3 대 1, 8 대 1 등 다양한 밀도 관계를 가질 수 있다.
도 8은 본 발명의 일 실시예에 따른 3D 이미지 센서에서, 편광 픽셀과 다중-PD 기반의 깊이 픽셀이 혼합된 구조를 보여주는 개념도이다.
도 8을 참조하면, 본 실시예의 3D 이미지 센서(100ep-M)는, 깊이 픽셀(120cP2)이 다중-PD를 기반으로 한다는 점에서, 도 5의 3D 이미지 센서(100ga-M)와 다를 수 있다. 예컨대, 본 실시예의 3D 이미지 센서(100ep-M)에서, 편광 픽셀(110a)과 깊이 픽셀(120cP2)은 제1 방향(x 방향)과 제2 방향(y 방향)의 사이의 2개의 대각 방향(D1, D2)을 따라 교대로 배치될 수 있다. 다중-PD 기반 깊이 픽셀(120cP2)은 2PD 픽셀 구조를 가질 수 있으나 2PD 픽셀 구조에 한정되는 것은 아니다. 한편, 도 8에서, 깊이 픽셀(120cP2)은 2개의 포토다이오드(110PD)에 각자의 FD 영역(114)이 배치된 구조를 가지지만, 그에 한하지 않고, 도 7a의 3D 이미지 센서(100ap-M)의 깊이 픽셀(120P2)과 유사하게 2개의 포토다이오드(110PD)가 하나의 FD 영역(114)을 공유하는 구조를 가질 수도 있다.
본 실시예의 3D 이미지 센서(100ep-M)의 유닛 픽셀(UP5p)은 도 5의 3D 이미지 센서(100ga-M)의 유닛 픽셀(UP7a)와 실질적으로 동일한 구조를 가질 수 있다. 그에 따라, 유닛 픽셀(UP5p)은 2개의 편광 픽셀(110a)과 4개의 깊이 픽셀(120cP2)을 포함하고, 직사각형 구조를 가질 수 있다.
도 9a 내지 도 9c는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광판이 다중-PD 기반의 깊이 픽셀에 배치된 구조를 보여주는 개념도들이다.
도 9a를 참조하면, 본 실시예의 3D 이미지 센서(100ap-I)는 편광판(112)이 다중-PD 기반의 깊이 픽셀(120P2) 상에 배치된 제2 결합 구조를 가질 수 있다. 본 실시예의 3D 이미지 센서(100ap-I)는 편광 픽셀은 포함하지 않을 수 있다. 도 9a에서, 편광판(112)을 깊이 픽셀(120P2)과 분리하여 도시하고 있는데, 실제로는 4개의 편광판(112)은 4개의 깊이 픽셀(120P2) 상에 배치될 수 있다.
깊이 픽셀(120P2)의 픽셀 구조는 2PD 픽셀 구조를 가질 수 있으나 2PD 픽셀 구조에 한정되는 것은 아니다. 또한, 깊이 픽셀(120P2)은, 도 9a에 도시된 바와 같이 2개의 PD가 FD 영역을 공유하는 2-공유 구조를 가질 수 있다. 그러나 실시예에 따라, 깊이 픽셀(120P2)은 비공유 구조를 가질 수도 있다.
본 실시예의 3D 이미지 센서(100ap-I)의 유닛 픽셀(UP6p)은 2×2 어레이 구조의 4개의 깊이 픽셀(120P2)을 포함할 수 있다. 또한, 유닛 픽셀(UP6p)의 4개의 깊이 픽셀(120P2) 상에는 0°, 45°, 90°, 및 135°의 편광판(112-1, 112-2, 112-3, 112-4)이 배치될 수 있다.
도 9b를 참조하면, 본 실시예의 3D 이미지 센서(100bp-I)는, 편광판(112)이 다중-PD 기반의 깊이 픽셀(120SP2) 상에 배치된 제2 결합 구조를 갖는다는 점에서, 도 9a의 3D 이미지 센서(100ap-I)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100bp-I)에서, 깊이 픽셀(120SP2)은 2개의 깊이 픽셀(120SP2)이 하나의 FD 영역(114S)을 공유하는 4-공유(4-shared) 구조를 갖는다는 점에서, 도 9a의 3D 이미지 센서(100ap-I)와 다를 수 있다. 다시 말해서, 본 실시예의 3D 이미지 센서(100bp-I)의 깊이 픽셀(120SP2)의 구조에서, 4개의 포토다이오드(110PD)가 하나의 FD 영역(114S)을 공유할 수 있다.
본 실시예의 3D 이미지 센서(100bp-I)의 유닛 픽셀(UP7p) 역시, 2×2 어레이 구조의 4개의 깊이 픽셀(120SP2)을 포함하고, 유닛 픽셀(UP7p) 내의 4개의 깊이 픽셀(120SP2) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다.
도 9c를 참조하면, 본 실시예의 3D 이미지 센서(100cp-I)는, 편광판(112)이 다중-PD 기반의 깊이 픽셀(120P4) 상에 배치된 제2 결합 구조를 갖는다는 점에서, 도 9a의 3D 이미지 센서(100ap-I)와 유사할 수 있다. 그러나 3D 이미지 센서(100cp-I)에서, 깊이 픽셀(120P4)은 4PD 픽셀 구조를 가진다는 점에서, 도 9a의 3D 이미지 센서(100ap-I)와 다를 수 있다. 또한, 3D 이미지 센서(100cp-I)에서, 깊이 픽셀(120P4)은 4개의 포토다이오드(110PD)가 하나의 FD 영역(114S)을 공유하는 4-공유(4-shared) 구조를 가질 수 있다.
본 실시예의 3D 이미지 센서(100cp-I)의 유닛 픽셀(UP8p) 역시, 2×2 어레이 구조의 4개의 깊이 픽셀(120P4)을 포함하고, 유닛 픽셀(UP8p) 내의 4개의 깊이 픽셀(120P4) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다.
도 9a 내지 도 9c의 3D 이미지 센서(100cp-I)에서, 깊이 픽셀에 대한 2-공유 구조와 4-공유 구조의 2PD 픽셀 구조, 그리고 4-공유 구조의 4PD 픽셀 구조를 설명하였지만, 깊이 픽셀의 구조가 그에 한정되는 것은 아니다. 예컨대, 2PD 픽셀 구조는 비공유 구조 또는 8-공유(8-shared) 구조를 가질 수도 있다. 또한, 4PD 픽셀 구조도, 비공유, 2-공유, 또는 8-공유 구조를 가질 수 있다.
도 10a 내지 도 10e는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 편광판이 ToF 기반의 깊이 픽셀에 배치된 구조를 보여주는 개념도들이다.
도 10a를 참조하면, 본 실시예의 3D 이미지 센서(100aa-I)는, 편광판(112)이 ToF 기반의 깊이 픽셀(120T2) 상에 배치된 제2 결합 구조를 갖는다는 점에서, 도 9a의 3D 이미지 센서(100ap-I)와는 다를 수 있다. 본 실시예의 3D 이미지 센서(100aa-I)는 별도의 편광 픽셀은 포함하지 않고, 깊이 픽셀(120T2)은 2탭-픽셀 구조를 가질 수 있다. 그에 따라, 본 실시예의 3D 이미지 센서(100aa-I)에서, 깊이 픽셀(120T2)은, 0°와 180° 위상과 90°와 270° 위상에 대하여 교대로 2번 샘플링하는 방식으로 동작할 수 있다.
본 실시예의 3D 이미지 센서(100aa-I)의 유닛 픽셀(UP10a)은 2×2 어레이 구조의 4개의 깊이 픽셀(120T2)을 포함하고, 유닛 픽셀(UP10a) 내의 4개의 깊이 픽셀(120T2) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다.
도 10b를 참조하면, 본 실시예의 3D 이미지 센서(100ba-I)는, 편광판(112)이 ToF 기반의 깊이 픽셀(120dT2) 상에 배치된 제2 결합 구조를 가지며, 깊이 픽셀(120dT2)이 2-탭 픽셀 구조를 갖는다는 점에서, 도 10a의 3D 이미지 센서(100aa-I)와는 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100ba-I)에서, 깊이 픽셀(120dT2)은 2-탭 픽셀 구조를 가지되 2개의 깊이 픽셀(120dT2)이 결합하여 4-탭의 픽셀 기능을 수행한다는 점에서, 도 10a의 3D 이미지 센서(100aa-I)와 다를 수 있다. 따라서, 본 실시예의 3D 이미지 센서(100ba-I)는, 2개의 깊이 픽셀(120dT2)을 통해, 4개의 위상에 대하여, 한 번 샘플링하는 방식으로 동작할 수 있다.
본 실시예의 3D 이미지 센서(100ba-I)에서, 깊이 픽셀(120dT2)은 편광판(112)의 1/2의 사이즈를 가지며, 4-탭 픽셀 기능을 수행하는 2개의 깊이 픽셀(120dT2)은 하나의 편광판(112)에 대응하는 사이즈를 가질 수 있다. 따라서, 4-탭 픽셀 기능을 수행하는 2개의 깊이 픽셀(120dT2) 상에는 동일 편광 방향의 하나의 편광판(112)이 배치될 수 있다.
본 실시예의 3D 이미지 센서(100ba-I)의 유닛 픽셀(UP11a)은 4×2 어레이 구조의 8개의 깊이 픽셀(120dT2)을 포함할 수 있다. 또한, 유닛 픽셀(UP11a) 내의 8개의 깊이 픽셀(120dT2) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다. 전술한 바와 같이, 4-탭 픽셀 기능을 수행하는 2개의 깊이 픽셀(120dT2) 상에 동일 편광 방향의 하나의 편광판(112)이 배치될 수 있다.
도 10c를 참조하면, 본 실시예의 3D 이미지 센서(100ca-I)는, 편광판(112)이 ToF 기반의 깊이 픽셀(120T1) 상에 배치된 제2 결합 구조를 갖는다는 점에서, 도 10a의 3D 이미지 센서(100aa-I)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100ca-I)에서, 깊이 픽셀(120T1)은 1-탭 픽셀 구조를 갖는다는 점에서, 도 10a의 3D 이미지 센서(100aa-I)와 다를 수 있다. 그에 따라, 본 실시예의 3D 이미지 센서(100ca-I)에서, 깊이 픽셀(120T2)은, 4개의 위상에 대하여 4번 샘플링하는 방식으로 동작할 수 있다. 도 10c에서, F로 표시된 부분은 FD 영역(114)을 의미하고 D로 표시된 부분은 드레인 영역(124)을 의미할 수 있다. 1-탭 픽셀 구조의 경우, 어느 한쪽의 전하 생성 영역(120PD)에서 생성된 전하는 이용하지 않으므로 드레인 영역(124)을 통해 배출하게 된다.
본 실시예의 3D 이미지 센서(100Ca-I)의 유닛 픽셀(UP12a)은 2×2 어레이 구조의 4개의 깊이 픽셀(120T1)을 포함하고, 유닛 픽셀(UP12a) 내의 4개의 깊이 픽셀(120T1) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다.
도 10d를 참조하면, 본 실시예의 3D 이미지 센서(100da-I)는, 편광판(112)이 ToF 기반의 깊이 픽셀(120eT1) 상에 배치된 제2 결합 구조를 가지며, 깊이 픽셀(120eT1)이 1-탭 픽셀 구조를 갖는다는 점에서, 도 10c의 3D 이미지 센서(100ca-I)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100da-I)에서, 깊이 픽셀(120eT1)은 1-탭 픽셀 구조를 가지되 4개의 깊이 픽셀(120eT1)이 결합하여 4-탭의 픽셀 기능을 수행한다는 점에서, 도 10c의 3D 이미지 센서(100ca-I)와 다를 수 있다. 따라서, 본 실시예의 3D 이미지 센서(100da-I)는, 4개의 깊이 픽셀(120eT1)을 통해, 4개의 위상에 대하여, 한 번 샘플링하는 방식으로 동작할 수 있다.
또한, 본 실시예의 3D 이미지 센서(100da-I)에서, 깊이 픽셀(120eT1)은 편광판(112)의 1/4의 사이즈를 가질 수 있다. 그에 따라, 4-탭 픽셀 기능을 수행하는 4개의 깊이 픽셀(120eT1)은 하나의 편광판(112)에 대응하는 사이즈를 가질 수 있다. 따라서, 4-탭 픽셀 기능을 수행하는 4개의 깊이 픽셀(120eT1) 상에는 동일 편광 방향의 하나의 편광판(112)이 배치될 수 있다.
본 실시예의 3D 이미지 센서(100da-I)의 유닛 픽셀(UP13a)은 4×4 어레이 구조의 16개의 깊이 픽셀(120eT1)을 포함할 수 있다. 또한, 유닛 픽셀(UP13a) 내의 16개의 깊이 픽셀(120eT1) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다. 전술한 바와 같이, 4-탭 픽셀 기능을 수행하는 4개의 깊이 픽셀(120eT1) 상에 동일 편광 방향의 하나의 편광판(112)이 배치될 수 있다.
도 10e를 참조하면, 본 실시예의 3D 이미지 센서(100ea-I)는, 편광판(112)이 ToF 기반의 깊이 픽셀(120T4) 상에 배치된 제2 결합 구조를 갖는다는 점에서, 도 10a의 3D 이미지 센서(100aa-I)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100ea-I)에서, 깊이 픽셀(120T4)은 4-탭 픽셀 구조를 갖는다는 점에서, 도 10a의 3D 이미지 센서(100aa-I)와 다를 수 있다. 그에 따라, 본 실시예의 3D 이미지 센서(100ea-I)에서, 깊이 픽셀(120T4)은, 4개의 위상에 대하여 1번 샘플링하는 방식으로 동작할 수 있다.
본 실시예의 3D 이미지 센서(100ea-I)에서, 깊이 픽셀(120T4)은 편광판(112)과 실질적으로 동일한 사이즈를 가질 수 있다. 따라서, 하나의 깊이 픽셀(120T4) 상에 하나의 편광판(112)이 배치될 수 있다. 본 실시예의 3D 이미지 센서(100ea-I)의 유닛 픽셀(UP14a)은 2×2 어레이 구조의 4개의 깊이 픽셀(120T4)을 포함하고, 유닛 픽셀(UP14a) 내의 4개의 깊이 픽셀(120T4) 상에는 서로 다른 편광 방향의 4개의 편광판(112)이 배치될 수 있다.
도 11은 본 발명의 일 실시예에 따른 3D 이미지 센서들에서, 편광판이 다중-PD 기반 또는 ToF 기반의 깊이 픽셀에 배치된 구조를 보여주는 개념도들로서, 유닛 픽셀의 편광판 부분만을 보여주고 있다.
도 11을 참조하면, 본 실시예의 3D 이미지 센서(100dp-I or 100fa-I)는 편광판(112pe)이 다중-PD 기판의 깊이 픽셀(120P2) 또는 ToF 기반의 깊이 픽셀(120T2) 상에 배치된 제2 결합 구조를 갖는다는 점에서, 도 9a의 3D 이미지 센서(100ap-I) 또는 도 10a의 3D 이미지 센서(100aa-I)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100dp-I or 100fa-I)에서, 인접하는 편광판(112pe)의 편광 방향이 서로 수직한다는 점에서, 도 9a의 3D 이미지 센서(100ap-I) 및 도 10a의 3D 이미지 센서(100aa-I)와 다를 수 있다. 예컨대, 도 11에 도시된 바와 같이, 4개의 편광판(112pe)은 2개씩의 0°와 90°의 편광판(112pe-1, 112pe-2)이 제1 방향(x 방향)과 제2 방향(y 방향)으로 서로 인접하여 배치될 수 있다.
본 실시예의 3D 이미지 센서(100dp-I or 100fa-I)에서, 다중-PD 기반의 깊이 픽셀(120P2) 대신 도 9b와 도 9c의 3D이미지 센서(100bp-1, 100cp-1)의 깊이 픽셀(120PS2, 120P4)이 배치될 수 있다. 또한, ToF 기반의 깊이 픽셀(120T2) 대신 도 10b 내지 도 10e의 3D이미지 센서(100ba-1, 100ca-1, 100da-1, 100ea-1)의 깊이 픽셀(120dT2, 120T1, 120eT1, 120T4)이 배치될 수 있다.
도 12a 및 도 12b는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 제1 결합 구조와 제2 결합 구조의 3D 이미지 센서의 단면을 보여주는 단면도들이다.
도 12a를 참조하면, 본 실시예의 3D 이미지 센서(100-M)는, 편광 픽셀(110)과 깊이 픽셀(120)이 혼합되는 제1 결합 구조를 가질 수 있다.
편광 픽셀(110)은 기판(101), 포토다이오드(110PD), 편광판(112), 및 마이크로 렌즈(130)를 포함할 수 있다. 기판(101)은 p형 에피택셜(P-epi) 기판일 수 있다. 포토다이오드(110PD)는 기판(101) 내에 형성된 n형 도핑 영역(110N)과 p형 도핑 영역(100P)을 포함할 수 있다. 마이크로 렌즈(130)는 광이 입사하는 방향의, 기판(101)의 상에 배치될 수 있다. 예컨대, 마이크로 렌즈(130)는 기판(101)의 후면 상에 배치될 수 있다.
편광판(112)은 기판(101)과 마이크로 렌즈(130) 사이에 배치될 수 있다. 편광판(112)은 절연층 내에 메탈이나 고유전율 물질로 격자(grating)가 형성된 구조를 가질 수 있다. 한편, 편광판(112)과 마이크로 렌즈(130) 사이에는 평탄화 절연층(140)이 개재될 수 있다. 또한, 기판(101) 하면 상에는 후면 절연층(155)이 배치될 수 있다.
포토다이오드(110PD)로부터 이격되어 기판(101)의 상부 영역에 FD 영역(114)이 형성되고, 포토다이오드(110PD)와 FD 영역(114) 사이의 기판(101) 상부에 트랜스퍼 게이트(113)가 배치될 수 있다. 또한, 기판(101) 상에 리셋 게이트, 소스 팔로워 게이트, 선택 게이트 등이 배치될 수 있으나, 단면 구조상 나타나지 않고 있다.
깊이 픽셀(120)은 편광 픽셀(110)에 인접하여 배치되고, 기판(101), 전하 생성 영역, 및 마이크로 렌즈(130)를 포함할 수 있다. 깊이 픽셀(120)은, 예컨대, ToF 기반의 깊이 픽셀일 수 있다. 편광 픽셀(110)과 깊이 픽셀(120)은 DTI(150), STI(160), P형 웰(110W, 120W) 등을 통해 전기적으로 서로 분리된 구조를 가질 수 있다.
기판(101)은 편광 픽셀(110)의 기판(101)과 실질적으로 동일할 수 있다. 전하 생성 영역(120PD)은, 예컨대 포토게이트(125) 및/또는 포토다이오드로 구현될 수 있다. 구체적으로 전하 생성 영역(120PD)은, 도 12a에 도시된 바와 같이, 상부로 배치된 포토게이트(125)와 포토다이오드(110PD)로 구현될 수 있다. 그러한 실시예에 따라, 전하 생성 영역(120PD)은 별도의 포토다이오드 없이 포토게이트(125)만으로 구현될 수도 있다.
기판(101)의 하면 상에 마이크로 렌즈(130)가 배치되고, 마이크로 렌즈(130)와 기판(101) 사이에 편광판에 대응하는 절연층(116)과 평탄화 절연층(140)이 배치될 수 있다. 한편, 기판(101)의 상부 영역과 기판(101) 상에 스토리지 게이트, FD 영역 등이 리셋 게이트, 소스 팔로워 게이트, 선택 게이트 등이 배치될 수 있으나, 단면 구조상 나타나지 않고 있다.
도 12b를 참조하면, 본 실시예의 3D 이미지 센서(100-I)는, 편광판(112)이 깊이 픽셀(120)에 배치된 제2 결합 구조를 가질 수 있다.
깊이 픽셀(120)의 구조는, 예컨대, ToF 기반의 깊이 픽셀로서, 도 12a의 3D 이미지 센서(100-M)에서, 깊이 픽셀(120)에 대해 설명한 바와 같다. 편광판(112)은 모든 깊이 픽셀(120)의 기판(101)과 마이크로 렌즈(130) 사이에 배치될 수 있다. 도 12b에서, 왼쪽 깊이 픽셀(120)의 편광판(112-2)의 격자와 오른쪽 깊이 픽셀(120)의 편광판(112-1)의 격자 폭이 다른 이유는 단면 구조상 기인할 수 있다. 예컨대, 도 9a의 3D 이미지 센서(100ap-I)에서, 0°와 45°의 편광판(112-1, 112-2)을 제1 방향(x 방향)을 따라 절단한 경우, 0°의 편광판(112-1)이 오른쪽 깊이 픽셀(120)의 편광판(112-1)에 해당하고 45°의 편광판(112-2)이 왼쪽 깊이 픽셀(120)의 편광판(112-2)에 대응할 수 있다.
도 13a 및 도 13b는 본 발명의 일 실시예들에 따른 3D 이미지 센서들에서, 제1 결합 구조와 제2 결합 구조의 3D 이미지 센서의 단면을 보여주는 단면도들이다.
도 13a를 참조하면, 본 실시예의 3D 이미지 센서(100-M1)는, 편광 픽셀(110)과 깊이 픽셀(120)이 혼합된 제1 결합 구조를 갖는다는 점에서, 도 12a의 3D 이미지 센서(100-M)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100-M1)에서, 편광판(112a)의 구조가 12a의 3D 이미지 센서(100-M)의 편광판(112)과 다를 수 있다. 예컨대, 본 실시예의 3D 이미지 센서(100-M1)에서, 편광판(112a)은 기판(101)에 요철을 형성하고 요철을 균일 두께의 갭필 절연층으로 채운 구조로 구현될 수 있다. 이와 같이, 편광판(112a)이 기판(101)의 요철과 갭필 절연층으로 형성됨으로써, 갭필 절연층과 접하는 평탄화 절연층(140a)의 상면에 요철 구조가 형성될 수 있다.
도 13b를 참조하면, 본 실시예의 3D 이미지 센서(100-I1)는, 편광판(112a)이 깊이 픽셀(120)에 배치된 제2 결합 구조를 갖는다는 점에서, 도 12b의 3D 이미지 센서(100-I)와 유사할 수 있다. 그러나 본 실시예의 3D 이미지 센서(100-I1)에서, 편광판(112a)의 구조가 12b의 3D 이미지 센서(100-I)의 편광판(112)과 다를 수 있다. 예컨대, 본 실시예의 3D 이미지 센서(100-I1)에서, 편광판(112a)은 기판(101)에 요철을 형성하고 요철을 균일 두께의 갭필 절연층으로 채운 구조로 구현될 수 있다.
도 14a 및 도 14b는 본 발명의 일 실시예들에 따른 능동 방식의 3D 이미지 센서를 구비한 전자 장치에 대한 개략적인 구성도들이다.
도 14a를 참조하면, 본 실시예의 전자 장치(1000)는 3D 이미지 센서(1100), 광 조사부(1200), 렌즈(1300), 제어부(1400), 및 신호 처리부(1500)를 포함할 수 있다. 3D 이미지 센서(1100)는 편광 픽셀(1110)과 깊이 픽셀(1120)이 혼합된 제1 결합 구조를 가질 수 있다. 또한, 깊이 픽셀(1120)은 능동 방식의 깊이 픽셀, 예컨대, ToF 기반의 깊이 픽셀일 수 있다. 그러나 깊이 픽셀(1120)이 ToF 방식에 한정되는 것은 아니다. 3D 이미지 센서(1100)는, 예컨대, 도 3a 내지 도 6b의 3D 이미지 센서(100aa-M ~ 100ia-M)일 수 있다. 그러나 3D 이미지 센서(1100)가 그에 한정되는 것은 아니다.
광 조사부(1200)는 광을 생성하여 대상(201)으로 조사할 수 있다. 광 조사부(1200)는, 예컨대, 적외선(IR), 근적외선(Near Infra-Red: NIR), 자외선(UV), 가시광선 등을 생성하여 대상(201)으로 조사할 수 있다. 광 조사부(1200)는 LED 어레이, 또는 레이저(LASER) 장치 등으로 구현될 수 있다. 광 조사부(1200)는 게이트 변조 방법을 통해 변조된 광(Li)을 대상(201)에 조사할 수 있다.
렌즈(1300)는 대상(201)에서 반사된 광(Lr)을 집광하여 3D 이미지 센서(1100)로 전달할 수 있다. 제어부(1400)는 3D 이미지 센서(1100), 광 조사부(1200), 신호 처리부(1500)를 전반적으로 제어할 수 있다. 신호 처리부(1500)는 3D 이미지 센서(1100)에서 생성한 전하를 ToF 방식에 따라 서로 다른 위상에서 측정한 전하량에 기초하여, 신호 처리 모듈을 통해 대상에 대한 깊이 영상, 즉 3D 영상을 생성할 수 있다.
도 14b를 참조하면, 본 실시예의 전자 장치(1000a)는, 3D 이미지 센서(1100a)가 편광판(1140)이 깊이 픽셀(1120)에 배치된 제2 결합 구조를 갖는다는 점에서, 도 14a의 전자 장치(1000)와 다를 수 있다. 예컨대, 3D 이미지 센서(1100a)는 깊이 픽셀(1120)과 편광판(1140)을 포함할 수 있다. 깊이 픽셀(1120)은 능동 방식의 깊이 픽셀, 예컨대, ToF 기반의 깊이 픽셀일 수 있다. 예컨대, 본 실시예의 전자 장치(1000a)는 도 10a 내지 도 11의 3D 이미지 센서(100aa-I ~ 100fa-I)일 수 있다. 그러나 본 실시예의 전자 장치(1000a)에서, 3D 이미지 센서(1100a)가 그에 한정되는 것은 아니다.
그 외 광 조사부(1200), 렌즈(1300), 제어부(1400), 및 신호 처리부(1500)는 도 14a의 전자 장치(1000)에서 설명한 바와 같다.
도 15a 및 도 15b는 본 발명의 일 실시예들에 따른 수동 방식의 3D 이미지 센서를 구비한 전자 장치에 대한 개략적인 구성도들이다.
도 15a를 참조하면, 본 실시예의 전자 장치(1000b)는 별도의 광 조사부가 존재하지 않는다는 점에서, 도 14a의 전자 장치(1000)와 다를 수 있다. 구체적으로, 본 실시예의 전자 장치(1000b)에서, 3D 이미지 센서(1100b)는 편광 픽셀(1110)과 깊이 픽셀(1120a)이 혼합된 제1 결합 구조를 가질 수 있다. 그러나 깊이 픽셀(1120a)은 수동 방식의 깊이 픽셀, 예컨대, 다중-PD 기반의 깊이 픽셀일 수 있다. 그러나 깊이 픽셀(1120)이 다중-PD 방식에 한정되는 것은 아니다. 3D 이미지 센서(1100b)는 도 7a 내지 도 8의 3D 이미지 센서(100ap-M ~ 100ep-M)일 수 있다. 그러나 3D 이미지 센서(1100b)가 그에 한정되는 것은 아니다.
그 외 광 조사부(1200), 렌즈(1300), 제어부(1400), 및 신호 처리부(1500)는 도 14a의 전자 장치(1000)에서 설명한 바와 같다.
도 15b를 참조하면, 본 실시예의 전자 장치(1000c)는 별도의 광 조사부가 존재하지 않는다는 점에서, 도 14b의 전자 장치(1000a)와 다를 수 있다. 구체적으로, 본 실시예의 전자 장치(1000c)에서, 3D 이미지 센서(1100c)는 편광판(1140)이 깊이 픽셀(1120a)에 배치된 제2 결합 구조를 가질 수 있다. 또한, 깊이 픽셀(1120a)은 수동 방식의 깊이 픽셀, 예컨대, 다중-PD 기반의 깊이 픽셀일 수 있다. 그러나 깊이 픽셀(1120a)이 다중-PD 방식에 한정되는 것은 아니다. 3D 이미지 센서(1100c)는 도 9a 내지 도 9c, 및 도 11의 3D 이미지 센서(100ap-I ~ 100dp-I)일 수 있다. 그러나 3D 이미지 센서(1100c)가 그에 한정되는 것은 아니다.
그 외 광 조사부(1200), 렌즈(1300), 제어부(1400), 및 신호 처리부(1500)는 도 14a의 전자 장치(1000)에서 설명한 바와 같다.
도 16 및 도 17은 본 발명의 일 실시예들에 따른 깊이 보정방법들의 과정을 간단하게 보여주는 흐름도들이다.
도 16을 참조하면, 본 실시예의 깊이 보정방법은, 먼저, 깊이 픽셀을 이용하여 대상에 대한 깊이를 계산한다(S110). 깊이 픽셀은 예컨대, ToF 기반의 깊이 픽셀 또는 다중-PD 기반의 깊이 픽셀일 수 있다. 그러나 깊이 픽셀이 그에 한정되는 것은 아니다.
다음, 편광판이 배치된 픽셀을 이용하여, 편광 정보에 기초한 대상 표면의 법선 벡터를 계산한다(S120). 대상의 표면의 법선 벡터가 계산되면, 그에 따라, 대상의 표면의 형상 정보가 산출될 수 있다. 여기서, 편광판이 배치된 픽셀은, 편광 픽셀과 깊이 픽셀이 혼합된 제1 결합 구조에 경우, 편광 픽셀을 의미하고, 편광판이 깊이 픽셀에 배치된 제2 결합 구조의 경우는, 깊이 픽셀을 의미할 수 있다.
이후, 법선 벡터를 이용하여 대상의 깊이를 보정 한다(S130). 이와 같이, 편광 정보를 통해 획득한 대상 표면의 법선 벡터를 이용하여 대상의 깊이를 보정함으로써, 대상의 표면의 형상이 정확하게 반영된 대상의 깊이 정보를 검출할 수 있다.
도 17을 참조하면, 본 실시예의 깊이 보정방법은, 먼저, ToF 기반의 깊이 픽셀을 이용하여 대상에 대한 깊이를 계산한다(S210).
다음, 깊이 픽셀 각각의 위상의 최대값/최소값의 비율이 문턱값(threshold)을 초과하는지 판단한다(S220). 예컨대, 위상의 최대값/최소값의 비율이 1.0인 경우, 변조 정보가 없다는 뜻이므로, ToF 방식으로 대상의 깊이를 계산할 수 없다. 여기서, 위상의 최대값과 최소값은 각 위상에서 검출한 전하량의 최대값과 최소값을 의미할 수 있다. 예컨대, 문턱값을 1.01 정도로 지정하고, 위상의 최대값/최소값의 비율이 문턱값을 초과하는지 판단함으로써, 신뢰할 수 있는 ToF 방식의 깊이 계산만을 선택할 수 있다.
위상의 최대값/최소값의 비율이 문턱값을 초과하지 않는 경우(No), 편광판이 배치된 픽셀을 이용하여 편광 정보에 기초한 대상 표면의 법선 벡터를 계산한다(S230). 편광판이 배치된 픽셀은, 제1 결합 구조 또는 제2 결합 구조에 따라 편광 픽셀 또는 깊이 픽셀일 수 있다.
이후, 법선 벡터를 이용하여 대상의 깊이를 보정 한다(S240). 이후, 보정된 대상의 깊이를 대상의 깊이 값으로 산출한다(S250).
한편, 위상의 최대값/최소값의 비율이 문턱값을 초과하는 경우(Yes), ToF 방식으로 계산된 대상의 깊이를 그대로 대상의 깊이 값으로 산출한다(S250). 다시 말해서, 편광 정보를 이용하여 대상의 깊이에 대한 보정을 수행하지 않을 수 있다.
도 18은 본 발명의 일 실시예에 따른 3D 영상 생성방법의 과정을 간단하게 보여주는 흐름도이다.
도 18을 참조하면, 본 실시예의 3D 영상 생성방법은, 먼저, 깊이 픽셀을 이용하여 대상의 위상 신호를 검출한다(S310). 깊이 픽셀은 예컨대, ToF 기반의 깊이 픽셀 또는 다중-PD 기반의 깊이 픽셀일 수 있다. 그러나 깊이 픽셀이 그에 한정되는 것은 아니다.
다음, 편광판이 배치된 픽셀을 이용하여, 편광 정보에 기초한 대상 표면의 법선 벡터를 계산하고, 대상의 3D 형상을 산출한다(S320). 편광판이 배치된 픽셀은 제1 결합 구조 또는 제2 결합 구조에 따라 편광 픽셀 또는 깊이 픽셀일 수 있다. 한편, 대상의 3D 형상은 대상의 표면에 대한 3D 형상을 의미할 수 있다.
이후, 앞서 검출한 대상의 위상 신호를 이용하여 대상의 깊이를 계산한다(S330). 실시예에 따라, 대상의 깊이 계산은 대상의 위상 신호를 검출하는 단계(S310)에서 함께 수행될 수도 있다.
이후, 대상의 깊이 정보와 3D 형상 정보를 결합하여 대상의 3D 영상을 생성한다(S340). 본 실시예의 3D 영상 생성방법은 대상의 깊이 정보와 대상 표면의 3D 형상 정보를 결합함으로써, 대상의 깊이와 표면의 형상이 정확하게 반영된 대상의 3D 영상을 생성할 수 있다.
지금까지, 본 발명을 도면에 도시된 실시예를 참고로 설명하였으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100, 1100, 1100a, 1100b, 1100c: 3D 이미지 센서, 101: 기판, 110, 1110: 편광 픽셀, 110PD: 포토다이오드, 112, 112a, 1140: 편광판, 113: 트랜스퍼 게이트, 114: FD 영역, 120, 1120, 1120a: 깊이 픽셀, 120PD: 전하 생성 영역, 122: 전하 저장 영역, 125: 포토게이트, 130: 마이크로 렌즈, 140: 평탄화 절연층, 150: DTI, STI: 160, 110W, 120W: p형 웰, 1000: 전자 장치, 1200: 광 조사부, 1300: 렌즈, 1400: 제어부, 1500: 신호 처리부

Claims (20)

  1. 기판 내에 배치된 전하 생성 영역을 구비하고, 대상(object)의 깊이(depth) 정보를 검출하는 깊이 픽셀; 및
    상기 기판 내에 배치된 포토다이오드 및 광이 입사하는 방향의 상기 기판 상에 배치된 편광판(polarizer)을 구비하고, 상기 대상의 표면의 형상 정보를 검출하는 편광(polarization) 픽셀;을 포함하고,
    적어도 2개의 상기 편광 픽셀과 적어도 하나의 상기 깊이 픽셀이 인접하여 배치되어 하나의 유닛 픽셀을 구성하고, 적어도 2개의 상기 편광 픽셀은 적어도 2개의 다른 편광 방향의 상기 편광판을 구비한, 편광판을 포함한 3D 이미지 센서.
  2. 제1 항에 있어서,
    상기 깊이 픽셀은 ToF(Time of Flight) 기반의 3D 센서의 픽셀이고, 1-탭 픽셀, 2-탭 픽셀, 및 4-탭 픽셀 중 어느 하나의 픽셀 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  3. 제2 항에 있어서,
    상기 3D 센서는 게이트 변조(modulation) 방식으로 동작하는 것을 특징으로 하는 3D 이미지 센서.
  4. 제2 항에 있어서,
    상기 유닛 픽셀은,
    4개의 상기 깊이 픽셀과 4개의 상기 편광 픽셀을 포함하고, 체커보드(checker board)의 구조를 갖는 제1 구조,
    2×2 어레이 구조의 4개의 상기 편광 픽셀에, 2개의 상기 편광 픽셀의 사이즈를 갖는 1개의 상기 깊이 픽셀이 2개의 상기 편광 픽셀에 접하여 배치된 구조를 갖는 제2 구조,
    중심에 배치된 4개 상기 깊이 픽셀과 외곽에 배치된 12개의 상기 편광 픽셀을 포함하고, 4×4 어레이 구조를 갖는 제3 구조, 및
    4개의 상기 편광 픽셀 사이즈를 가지고 중심에 배치된 1개 상기 깊이 픽셀과 외곽에 배치된 12개의 상기 편광 픽셀을 포함하는 제4 구조 중 어느 하나의 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  5. 제2 항에 있어서,
    상기 깊이 픽셀은, 4개의 상기 편광 픽셀에 대응하는 사이즈를 가지고, 상기 4-탭 픽셀 구조를 가지며,
    상기 유닛 픽셀은,
    2개 상기 깊이 픽셀과 8개의 상기 편광 픽셀을 포함하는 제1 밀도 구조,
    1개 상기 깊이 픽셀과 12개의 상기 편광 픽셀을 포함하는 제2 밀도 구조, 및
    1개 상기 깊이 픽셀과 32개의 상기 편광 픽셀을 포함하는 제3 밀도 구조 중 어느 하나의 밀도 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  6. 제2 항에 있어서,
    상기 유닛 픽셀은, 4개의 상기 깊이 픽셀과 2개의 상기 편광 픽셀을 포함하고,
    4개의 상기 깊이 픽셀은 직사각형의 2개의 대각 방향으로 2개씩 상기 직사각형 내에 배치되며,
    4개의 상기 편광 픽셀은 상기 직사각형의 4개의 변에 배치되되, 각각 인접하는 다른 상기 유닛 픽셀에 의해 공유되며,
    2개의 상기 대각 방향을 따라서, 상기 깊이 픽셀과 상기 편광 픽셀이 교대로 배치되는 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  7. 제2 항에 있어서,
    상기 깊이 픽셀은 상기 4-탭 픽셀 구조를 가지며,
    상기 4-탭 픽셀 구조에서, 2개의 탭의 부분에 상기 편광판이 배치되어 상기 편광 픽셀로서 이용되고, 나머지 2개의 탭의 부분이 상기 깊이 픽셀로서 이용되며,
    하나의 상기 4-탭 픽셀 구조 내에 2개의 동일 편광 방향의 상기 편광판이 포함되거나, 또는 2개의 다른 편광 방향의 상기 편광판이 포함된 것을 특징으로 하는 이미지 센서.
  8. 제1 항에 있어서,
    상기 깊이 픽셀은 다중-PD(multi-PD) 기반의 3D 센서의 픽셀이고, 2PD 픽셀, 4PD 픽셀, 및 슈퍼 PD 픽셀 중 어느 하나의 픽셀 구조를 가지며,
    상기 깊이 픽셀은 광이 입사하는 방향의 상기 기판 상에 마이크로 렌즈가 배치된 것을 특징으로 하는 3D 이미지 센서.
  9. 제8 항에 있어서,
    상기 유닛 픽셀은,
    4개의 상기 깊이 픽셀과 4개의 상기 편광 픽셀을 포함하고, 체커보드의 구조를 갖는 제1 구조,
    2×2 어레이 구조의 4개의 상기 편광 픽셀에, 2개의 상기 편광 픽셀의 사이즈를 갖는 1개의 상기 깊이 픽셀이 2개의 상기 편광 픽셀에 접하여 배치된 구조를 갖는 제2 구조,
    중심에 배치된 4개 상기 깊이 픽셀과 외곽에 배치된 12개의 상기 편광 픽셀을 포함하고, 4×4 어레이 구조를 갖는 제3 구조, 및
    4개의 상기 편광 픽셀 사이즈를 가지고 중심에 배치된 1개 상기 깊이 픽셀과 외곽에 배치된 12개의 상기 편광 픽셀을 포함하는 제4 구조 중 어느 하나의 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  10. 제1 항에 있어서,
    상기 편광판은, 메탈 격자 또는 고유전체 물질 격자로 형성되어 상기 기판 상에 배치되거나, 또는 상기 기판에 요철이 형성되어 구현된 것을 특징으로 하는 3D 이미지 센서.
  11. 픽셀의 중심 부분의 상기 기판 내에 배치된 전하 생성 영역; 및
    광이 입사하는 방향의 상기 기판 상에 배치된 편광판;을 포함하고,
    적어도 2개의 상기 픽셀이 하나의 유닛 픽셀을 구성하고, 적어도 2개의 상기 픽셀은 적어도 2개의 다른 편광 방향의 상기 편광판을 구비하며,
    대상의 깊이 정보와 상기 대상의 표면의 형상 정보를 함께 검출하는, 편광판을 포함한 3D 이미지 센서.
  12. 제11 항에 있어서,
    상기 3D 이미지 센서는 다중-PD 기반의 3D 센서이고, 상기 편광판 상에 배치된 마이크로 렌즈를 더 포함하며,
    상기 픽셀은 2PD 픽셀, 4PD 픽셀, 및 슈퍼 PD 픽셀 중 어느 하나의 픽셀 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  13. 제12 항에 있어서,
    상기 유닛 픽셀은 2×2 어레이 구조의 4개의 상기 픽셀을 포함하고,
    4개의 상기 픽셀은 대응하는 0°, 45°, 90°, 및 135°의 상기 편광판을 포함하며,
    상기 유닛 픽셀은, 2개 공유(2-shared) 2PD 픽셀, 4개 공유(4-shared) 2PD 픽셀, 및 4개 공유(4-shared) 4PD 픽셀 중 어느 하나의 픽셀 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  14. 제11 항에 있어서,
    상기 3D 이미지 센서는 ToF 기반의 3D 센서이고,
    상기 픽셀은 1-탭 픽셀, 2-탭 픽셀, 및 4-탭 픽셀 중 어느 하나의 픽셀 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  15. 제11 항에 있어서,
    상기 유닛 픽셀은,
    2×2 어레이 구조의 4개의 상기 픽셀을 포함하고, 상기 픽셀은 2-탭 픽셀 구조를 가지며, 4개의 상기 픽셀은 대응하는 0°, 45°, 90°, 및 135°의 상기 편광판을 포함하는 제1 구조,
    2×4 어레이 구조의 8개의 픽셀을 포함하고, 상기 픽셀은 2-탭 픽셀 구조를 가지고 2개씩 4 탭을 구성하며, 8개의 상기 픽셀은 2개씩의 4탭에 대응하는 0°, 45°, 90°, 및 135°의 상기 편광판을 포함하는 제2 구조,
    2×2 어레이 구조의 4개의 픽셀을 포함하고, 상기 픽셀은 1-탭 픽셀 구조를 가지며, 4개의 상기 픽셀은 대응하는 0°, 45°, 90°, 및 135°의 상기 편광판을 포함하는 제3 구조,
    4×4 어레이 구조의 16개의 픽셀을 포함하고, 상기 픽셀은 1-탭 픽셀 구조를 가지고 4개씩 4 탭을 구성하며, 16개의 상기 픽셀은 4개씩의 4탭에 대응하는 0°, 45°, 90°, 및 135°의 상기 편광판을 포함하는 제4 구조, 및
    2×2 어레이 구조의 4개의 픽셀을 포함하고, 상기 픽셀은 4-탭 픽셀 구조를 가지며, 4개의 상기 픽셀은 대응하는 0°, 45°, 90°, 및 135°의 상기 편광판을 포함하는 제5 구조 중 어느 하나의 구조를 갖는 것을 특징으로 하는 3D 이미지 센서.
  16. 제11 항에 있어서,
    상기 유닛 픽셀은, 2×2 어레이 구조의 4개의 상기 편광판을 포함하되, 서로 수직한 2개의 편광 방향의 상기 편광판이 체커보드 구조로 배치된 것을 특징으로 하는 3D 이미지 센서.
  17. 제11 항에 있어서,
    상기 픽셀의 경계에 깊은 트렌치 분리(Deep Trench Isolation: DTI) 구조가 형성된 것을 특징으로 하는 3D 이미지 센서.
  18. 3D 이미지 센서의 깊이 픽셀을 이용하여, 대상의 깊이를 계산하는 단계;
    편광판이 배치된 픽셀을 이용하여, 편광 정보에 기초한 법선 벡터(normal vector)를 계산하는 단계; 및
    상기 법선 벡터를 이용하여 상기 깊이를 보정하는 단계;를 포함하고,
    상기 3D 이미지 센서는, 상기 깊이 픽셀과 상기 깊이 픽셀의 주변의 상기 편광판이 배치된 편광 픽셀을 포함하거나, 또는 상기 편광판이 배치된 상기 깊이 픽셀을 포함하는, 3D 이미지 센서를 기반으로 한 깊이 보정방법.
  19. 3D 이미지 센서의 ToF 기반의 깊이 픽셀을 이용하여 대상의 깊이를 계산하는 단계;
    상기 깊이 픽셀 각각의 위상의 최소값에 대한 최대값의 비율이 설정된 문턱값을 초과하는지 판단하는 단계;
    상기 문턱값을 초과하지 않는 경우, 편광판이 배치된 픽셀을 이용하여 편광 정보에 기초한 법선 벡터를 계산하는 단계; 및
    상기 법선 벡터를 이용하여 상기 깊이를 보정하는 단계;를 포함하고,
    상기 3D 이미지 센서는, 상기 깊이 픽셀과 상기 깊이 픽셀의 주변의 상기 편광판이 배치된 편광 픽셀을 포함하거나, 또는 상기 편광판이 배치된 상기 깊이 픽셀을 포함하는, 3D 이미지 센서를 기반으로 한 깊이 보정방법.
  20. 3D 이미지 센서의 깊이 픽셀을 이용하여 대상의 위상 신호를 검출하는 단계;
    편광판이 배치된 픽셀을 이용하여 편광 정보에 기초한 법선 벡터를 계산하고, 상기 대상의 3D 형상을 산출하는 단계;
    상기 위상 신호를 이용하여 상기 대상의 깊이를 계산하는 단계; 및
    상기 깊이 정보와 상기 3D 형상 정보를 결합하여 상기 대상의 3D 영상을 생성하는 단계;를 포함하고,
    상기 3D 이미지 센서는, 상기 깊이 픽셀과 상기 깊이 픽셀의 주변의 상기 편광판이 배치된 편광 픽셀을 포함하거나, 또는 상기 편광판이 배치된 상기 깊이 픽셀을 포함하는, 3D 이미지 센서를 기반으로 한 3D 영상 생성방법.
KR1020180117219A 2018-10-01 2018-10-01 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법 KR102534247B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180117219A KR102534247B1 (ko) 2018-10-01 2018-10-01 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
US16/356,023 US11204415B2 (en) 2018-10-01 2019-03-18 Three-dimensional (3D) image sensors including polarizer, and depth correction methods and 3D image generation methods based on 3D image sensors
CN201910710726.7A CN110970452B (zh) 2018-10-01 2019-08-02 三维图像传感器、深度校正方法及三维图像生成方法
US17/536,556 US11762073B2 (en) 2018-10-01 2021-11-29 Three-dimensional (3D) image sensors including polarizer, and depth correction methods and 3D image generation methods based on 3D image sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180117219A KR102534247B1 (ko) 2018-10-01 2018-10-01 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법

Publications (2)

Publication Number Publication Date
KR20200037698A KR20200037698A (ko) 2020-04-09
KR102534247B1 true KR102534247B1 (ko) 2023-05-18

Family

ID=69947301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117219A KR102534247B1 (ko) 2018-10-01 2018-10-01 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법

Country Status (3)

Country Link
US (2) US11204415B2 (ko)
KR (1) KR102534247B1 (ko)
CN (1) CN110970452B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200105584A (ko) 2019-02-28 2020-09-08 삼성전자주식회사 이미지 센서
KR20200108133A (ko) * 2019-03-06 2020-09-17 삼성전자주식회사 이미지 센서 및 이미징 장치
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
US11233963B2 (en) * 2019-12-27 2022-01-25 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes
CN113097236B (zh) * 2020-01-08 2024-03-12 联华电子股份有限公司 感光装置
KR102148127B1 (ko) * 2020-02-14 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 상보적인 픽슬렛 구조가 적용된 카메라 시스템
DE102020135088A1 (de) 2020-03-27 2021-09-30 Samsung Electronics Co., Ltd. Halbleitervorrichtung
US11871132B2 (en) * 2020-05-08 2024-01-09 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and time-of-flight detection pixel cells
CN111510700A (zh) * 2020-06-18 2020-08-07 深圳市汇顶科技股份有限公司 图像采集装置
KR20220075016A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 이미징 장치
US11758109B2 (en) * 2021-02-01 2023-09-12 Omnivision Technologies, Inc. Techniques for measuring depth and polarization from a single sensor
US20230017723A1 (en) * 2021-07-16 2023-01-19 Taiwan Semiconductor Manufacturing Company Ltd. Semiconductor structure and manufacturing method of the same
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290895A (ja) 2007-06-15 2009-12-10 Panasonic Corp 画像処理装置
JP2017005111A (ja) 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5541653B2 (ja) 2009-04-23 2014-07-09 キヤノン株式会社 撮像装置及びその制御方法
CN101929850B (zh) * 2009-06-26 2014-05-07 财团法人工业技术研究院 利用光学偏振特性的三维显微共焦测量系统与方法
KR20110061677A (ko) 2009-12-02 2011-06-10 삼성전자주식회사 영상 센서 및 이의 제조 방법.
JP5740413B2 (ja) 2010-01-06 2015-06-24 メサ・イメージング・アー・ゲーＭｅｓａ Ｉｍａｇｉｎｇ Ａｇ ピクセルアレイと記憶アレイを別個に備える復調センサ
KR20120111092A (ko) * 2011-03-31 2012-10-10 삼성전자주식회사 촬상 장치
US9177983B2 (en) 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
EP3792662A1 (en) 2014-01-13 2021-03-17 Sony Depthsensing Solutions SA/NV Time-of-flight system for use with an illumination system
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
CN105676475B (zh) 2014-11-18 2018-04-10 华为技术有限公司 成像系统
US10260866B2 (en) * 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
EP3193190B1 (en) 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US11209664B2 (en) 2016-02-29 2021-12-28 Nlight, Inc. 3D imaging system and method
US10466036B2 (en) 2016-10-07 2019-11-05 Arizona Board Of Regents On Behalf Of The University Of Arizona Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
KR20200105584A (ko) * 2019-02-28 2020-09-08 삼성전자주식회사 이미지 센서
KR20210055821A (ko) * 2019-11-07 2021-05-18 삼성전자주식회사 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290895A (ja) 2007-06-15 2009-12-10 Panasonic Corp 画像処理装置
JP2017005111A (ja) 2015-06-10 2017-01-05 ソニー株式会社 固体撮像装置及び電子機器

Also Published As

Publication number Publication date
KR20200037698A (ko) 2020-04-09
CN110970452A (zh) 2020-04-07
CN110970452B (zh) 2023-11-24
US20200103511A1 (en) 2020-04-02
US11204415B2 (en) 2021-12-21
US11762073B2 (en) 2023-09-19
US20220082673A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
KR102534247B1 (ko) 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
KR101448152B1 (ko) 수직 포토게이트를 구비한 거리측정 센서 및 그를 구비한입체 컬러 이미지 센서
JP6815448B2 (ja) 固体撮像装置
US10797090B2 (en) Image sensor with near-infrared and visible light phase detection pixels
US9673241B2 (en) Light-condensing unit, solid-state image sensor, and image capture device
US10903259B2 (en) Image sensor
KR20150018449A (ko) 고체 촬상 장치 및 그 제조 방법, 및 전자 기기
JP6716902B2 (ja) 電子機器
US20180164154A1 (en) Image sensor having beam splitter
US10084101B2 (en) Graded-index structure for optical systems
US20220336512A1 (en) Imaging element and imaging device
CN112992940A (zh) 图像感测装置
US20200013812A1 (en) Image sensor
KR20220068497A (ko) 이미지 센싱 장치
US20210057464A1 (en) Image sensing device
KR101238806B1 (ko) 다중 개구면 거리 화상 센서용 광 검출기와 이를 위한 후면 조사형 씨모스 이미지 센서 및 그 제조 방법
KR100871793B1 (ko) 이미지센서 및 그 제조방법
KR102388174B1 (ko) 이면 입사형 고체 촬상 장치
JP2019004073A (ja) 光電変換装置およびスキャナ
CN113224086A (zh) 图像感测装置
KR20210125744A (ko) 이미지 센싱 장치
CN113795768A (zh) 飞行时间装置和方法
KR20200055924A (ko) 이미지 센싱 장치
KR20110048115A (ko) 이미지 센서 및 이미지 센서의 제조 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant