KR20190089017A - 이미지 센서, 이미징 방법 및 전자 디바이스(image sensor, imaging method and electronic device) - Google Patents
이미지 센서, 이미징 방법 및 전자 디바이스(image sensor, imaging method and electronic device) Download PDFInfo
- Publication number
- KR20190089017A KR20190089017A KR1020197018149A KR20197018149A KR20190089017A KR 20190089017 A KR20190089017 A KR 20190089017A KR 1020197018149 A KR1020197018149 A KR 1020197018149A KR 20197018149 A KR20197018149 A KR 20197018149A KR 20190089017 A KR20190089017 A KR 20190089017A
- Authority
- KR
- South Korea
- Prior art keywords
- photosensitive
- focusing
- array
- units
- image sensor
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H04N5/3696—
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14607—Geometry of the photosensitive area
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H04N5/23212—
-
- H04N5/23245—
-
- H04N5/2351—
-
- H04N5/3537—
-
- H04N9/045—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Engineering (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
본 개시는 이미지 센서, 이미징 방법, 이미징 디바이스 및 전자 디바이스를 개시한다. 이미지 센서는 감광 유닛들의 어레이, 필터 유닛들의 어레이 및 마이크로 렌즈들의 어레이를 포함하고, 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다. 이미지 센서를 이용하여, 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서는 제 1 출력 모드로 이미지를 생성하고, 그리고 현재의 주변 광도가 사전설정된 강도 보다 큰 경우, 이미지 센서는 제 2 출력 모드로 이미지를 생성한다. 또한, 이미지 센서가 포커싱하기 위해 사용되는 경우, 위상 포커싱은 감광 픽셀들의 2 부분의 출력값들에 따라 수행될 수 있다.
Description
본 개시는 전자 기술 분야에 관한 것으로, 보다 구체적으로 이미지 센서, 이미징 방법 및 전자 디바이스에 관한 것이다.
기술의 지속적인 업데이트에 따라, 점점 더 많은 제조업체들이 16M-4M 구조의 이미지 센서를 사용하기 시작했다. 이미지 센서가 어두운 조건 하에서 4M 모드를 통해 이미지를 출력하는 경우, 신호-노이즈 비 및 노이즈 성능을 향상시킬 수 있다. 그러나, 어두운 조건에서, 4M 모드는 빈약한 포커싱 속도를 가진다.
본 개시의 실시예들은 이미징 방법을 제공한다. 이미지 센서는 감광 유닛들의 어레이, 상기 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이 및 상기 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함한다. 상기 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다. 상기 이미지 센서는 제 1 출력 모드 및 제 2 출력 모드를 포함한다. 상기 방법은: 현재의 주변 광도를 검출하는 단계; 상기 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 상기 이미지 센서가 제 1 출력 모드로 진입하도록 제어하는 단계; 상기 제 1 출력 모드 하에서, 상기 감광 유닛들의 어레이가 포커싱 모드(focusing mode)로 진입하도록 제어하는 단계; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들을 제 1 출력값들로 획득하는 단계; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 제 2 출력값들로 획득하는 단계; 상기 제 1 출력값들 및 상기 제 2 출력값들에 따라 포커싱 제어(focusing control)를 수행하는 단계; 상기 제 1 출력 모드 하에서, 상기 감광 유닛들의 어레이가 이미징 모드로 진입하도록 제어하는 단계; 및 상기 제 1 출력 모드 하에서 이미지를 생성하기 위해 상기 감광 유닛들의 어레이가 노광(expose)되도록 제어하는 단계; 를 포함한다.
적어도 하나의 실시예에서, 상기 제 1 출력값들 및 제 2 출력값들에 따라 상기 포커싱 제어를 수행하는 단계는: 상기 제 1 출력값들에 따라 제 1 위상값을 생성하는 단계; 상기 제 2 출력값들에 따라 제 2 위상값을 생성하는 단계; 상기 제 1 위상값 및 상기 제 2 위상값에 따라 상기 포커싱 제어를 수행하는 단계; 를 포함한다.
적어도 하나의 실시예에서, 각각의 상기 포커싱 감광 유닛들 및 각각의 상기 비-포커싱 감광 유닛들 양쪽 모두는 M*M 감광 픽셀들을 포함한다. 상기 제 1 출력 모드 하에서 상기 이미지를 생성하기위해 상기 감광 유닛들의 어레이가 노광되도록 제어하는 단계는: 상기 포커싱 감광 유닛들 및 상기 비-포커싱 감광 유닛들이 노광되도록 제어하고, 그리고 상기 포커싱 감광 유닛들 및 상기 비-포커싱 감광 유닛들의 출력값들을 획득하는 단계; 및 동일한 포커싱 감광 유닛의 M*M 감광 픽셀들의 출력값들을 합산하고 그리고 동일한 비-포커싱 감광 유닛의 M*M 감광 픽셀들의 출력값들을 합산하여 상기 포커싱 감광 유닛들 및 상기 비-포커싱 감광 유닛들의 픽셀값들을 획득함으로써 상기 제 1 출력 모드 하에서 상기 이미지를 생성하는 단계 - M은 양의 정수임 -; 을 포함한다.
적어도 하나의 실시예에서, 상기 방법은: 상기 현재의 주변 광도가 상기 사전설정된 강도 보다 큰 경우, 상기 이미지 센서가 상기 제 2 출력 모드로 진입하도록 제어하는 단계; 상기 제 2 출력 모드 하에서, 상기 감광 유닛들의 어레이가 상기 포커싱 모드로 진입하도록 제어하는 단계; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들을 제 3 출력값들로 획득하는 단계; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 제 4 출력값들로 획득하는 단계; 상기 제 3 출력값들 및 제 4 출력값들에 따라 상기 포커싱 제어를 수행하는 단계; 상기 제 2 출력 하에서, 상기 감광 유닛들의 어레이가 상기 이미징 모드로 진입하도록 제어하는 단계; 및 상기 제 2 출력 모드 하에서 이미지를 생성하기 위해 상기 감광 유닛들의 어레이가 노광되도록 제어하는 단계; 를 더 포함한다.
적어도 하나의 실시예에서, 상기 제 2 출력 모드 하에서 상기 이미지를 생성하기 위해 상기 감광 유닛들의 어레이가 노광되도록 제어하는 단계는: 상기 감광 유닛들의 어레이가 노광되도록 제어하고, 그리고 상기 감광 유닛들의 어레이의 출력값들을 획득하여 상기 감광 유닛들의 어레이의 픽셀값들을 획득함으로써 상기 제 2 출력 모드 하에서 상기 이미지를 생성하는 단계 - 상기 감광 유닛들의 어레이의 픽셀값들은 보간 검출 알고리즘(interpolation retrieving algorithm)을 통해 획득됨 -; 를 포함한다.
적어도 하나의 실시예에서, 상기 보간 검출 알고리즘을 통해 상기 감광 유닛들의 어레이의 상기 픽셀값들을 획득하는 단계는: 현재 픽셀의 컬러가 상기 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한지 여부를 결정하는 단계; 상기 현재 픽셀의 컬러가 상기 현재 픽셀과 동일한 위치에 있는 상기 연관 픽셀의 컬러와 동일한 경우, 상기 연관 픽셀의 픽셀값을 상기 현재 픽셀의 픽셀값으로 결정하는 단계; 및 상기 현재 픽셀의 컬러가 상기 현재 픽셀과 동일한 위치에 있는 상기 연관 픽셀의 컬러와 상이한 경우, 보간 알고리즘에 기초하여 상기 연관 픽셀의 픽셀값에 따라 상기 현재 픽셀의 픽셀값을 결정하는 단계 - 상기 감광 유닛들의 어레이는 연관 픽셀 유닛들을 포함하고, 각각의 연관 픽셀 유닛은 상기 현재 픽셀과 동일한 컬러를 가지며 그리고 상기 현재 픽셀에 인접함 -; 를 포함한다.
본 개시의 실시예들은 이미지 센서를 제공한다. 이미지 센서는 감광 유닛들의 어레이, 상기 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이, 및 상기 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함한다. 상기 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다.
적어도 하나의 실시예에서, 상기 마이크로 렌즈들의 어레이는 제 1 마이크로 렌즈들 및 제 2 마이크로 렌즈들을 포함한다. 하나의 제 1 마이크로 렌즈(31)는 하나의 포커싱 감광 유닛을 커버한다. N*N 제 2 마이크로 렌즈들은 하나의 비-포커싱 감광 유닛을 커버하고, N은 양의 정수이다.
적어도 하나의 실시예에서, 상기 마이크로 렌즈들의 어레이는 제 3 마이크로 렌즈들을 더 포함한다. 하나의 제 1 마이크로 렌즈는 N*N 제 3 마이크로 렌즈들을 커버한다. 상기 N*N 제 3 마이크로 렌즈들은 하나의 포커싱 감광 유닛을 커버한다.
적어도 하나의 실시예에서, 각각의 상기 제 1 마이크로 렌즈의 형상은 각각의 상기 제 3 마이크로 렌즈의 형상과 상이하다.
적어도 하나의 실시예에서, 제 1 마이크로 렌즈들의 제 1 그룹은 상기 이미지 센서의 수평 중심선을 따라 배치되고; 그리고 제 1 마이크로 렌즈들(31)의 제 2 그룹은 상기 이미지 센서의 수직 중심선을 따라 배치된다.
적어도 하나의 실시예에서, 제 1 마이크로 렌즈들의 제 3 그룹은 4개의 경계선을 따라 배열된다.
적어도 하나의 실시예에서, 상기 제 1 마이크로 렌즈들의 제 1 그룹 및 상기 제 1 마이크로 렌즈들의 제 2 그룹의 밀도들은 상기 제 1 마이크로 렌즈들(31)의 제 3 그룹의 밀도들 보다 크다.
적어도 하나의 실시예에서, 각각의 상기 포커싱 감광 유닛들 및 각각의 상기 비-포커싱 감광 유닛들은 M*M 감광 픽셀들을 포함하고, M은 양의 정수이다.
본 개시의 실시예들은 전자 디바이스를 제공한다. 상기 전자 디바이스는 이미지 센서, 검출 모듈 및 제어 모듈을 포함한다. 상기 이미지 센서는: 감광 유닛들의 어레이; 상기 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이; 및 상기 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함하고, 상기 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다.
상기 검출 모듈은 현재의 주변 광도를 검출하도록 구성된다. 상기 제어 모듈은 상기 현재의 주변 광도를 검출하는 것 이외에 임의의 상기 방법을 수행하도록 구성된다.
본 개시의 실시예들의 추가적인 양상들 및 이점들이 이하의 설명들에서 부분적으로 제공될 것이며, 이하의 설명들로부터 부분적으로 명백해지거나, 또는 본 개시의 실시예들의 실시로부터 학습될 것이다.
본 개시의 실시예들의 이러한 그리고 다른 양상들 및 이점들이 도면들을 참조하여 이루어지는 설명들로부터 명백해지고 그리고 보다 쉽게 이해될 것이다.
도 1은 본 개시의 일 실시예에 따른 이미지 센서의 3차원 구조를 도시하는 개략도이다.
도 2는 본 개시의 실시예들에 따른 이미지 센서를 도시하는 단면도이다.
도 3은 본 개시의 다른 실시예에 따른 이미지 센서를 도시하는 단면도이다.
도 4는 본 개시의 실시예에 따른 N 및 M의 값들이 2인 경우의 상면도이다.
도 5는 본 개시의 실시예에 따른 이미징 방법에 대한 흐름도이다.
도 6은 본 개시의 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 좌측 부분 및 우측 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 7은 본 개시의 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 상부 및 하부로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 8은 본 개시의 실시예들에 따른 포커싱 감광 유닛의 2개의 대각선들에 의해 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 2 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 9는 본 개시의 다른 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 좌측 부분 및 우측 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 10은 본 개시의 다른 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 상부 및 하부로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 11은 본 개시의 다른 실시예에 따른 포커싱 감광 유닛의 2개의 대각선에 의해 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 2 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 12는 본 개시의 실시예에 따른 제 1 출력 모드 하에서의 이미징을 도시하는 개략도이다.
도 13은 본 개시의 다른 실시예에 따른 제 1 출력 모드 하에서의 이미징을 도시하는 개략도이다.
도 14는 본 개시의 실시예에 따른 제 2 출력 모드 하에서의 이미징 모드의 이미징 방법에 대한 흐름도이다.
도 15는 본 개시의 실시예에 따른 적색 광을 수용하는 감광 유닛들 상에서 보간 검출을 수행하는 것을 도시하는 개략도이다.
도 16은 본 개시의 실시예에 따른 녹색 광을 수용하는 감광 유닛들 상에서 보간 검출을 수행하는 것을 도시하는 개략도이다.
도 17은 본 개시의 실시예에 따른 이미지 센서에서의 포커싱 감광 유닛들의 분포를 도시하는 개략도이다.
도 18은 본 개시의 다른 실시예에 따른 이미지 센서에서의 포커싱 감광 유닛들의 분포를 도시하는 개략도이다.
도 19는 본 개시의 실시예에 따른 포커싱 감광 유닛 Gp와 중심점 사이의 거리를 도시하는 개략도이다.
도 20은 본 개시의 실시예에 따른 포커싱 감광 유닛 Gp를 처리하는 것을 도시하는 개략도이다.
도 21은 본 개시의 실시예에 따른 이미징 장치의 블록도이다.
도 22는 본 개시의 실시예에 따른 전자 디바이스의 구조도이다.
도 1은 본 개시의 일 실시예에 따른 이미지 센서의 3차원 구조를 도시하는 개략도이다.
도 2는 본 개시의 실시예들에 따른 이미지 센서를 도시하는 단면도이다.
도 3은 본 개시의 다른 실시예에 따른 이미지 센서를 도시하는 단면도이다.
도 4는 본 개시의 실시예에 따른 N 및 M의 값들이 2인 경우의 상면도이다.
도 5는 본 개시의 실시예에 따른 이미징 방법에 대한 흐름도이다.
도 6은 본 개시의 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 좌측 부분 및 우측 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 7은 본 개시의 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 상부 및 하부로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 8은 본 개시의 실시예들에 따른 포커싱 감광 유닛의 2개의 대각선들에 의해 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 2 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 9는 본 개시의 다른 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 좌측 부분 및 우측 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 10은 본 개시의 다른 실시예에 따른 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 상부 및 하부로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 11은 본 개시의 다른 실시예에 따른 포커싱 감광 유닛의 2개의 대각선에 의해 포커싱 감광 유닛에서의 2*2 감광 픽셀들을 2 부분으로 분할함으로써 포커싱을 수행하는 것을 도시하는 개략도이다.
도 12는 본 개시의 실시예에 따른 제 1 출력 모드 하에서의 이미징을 도시하는 개략도이다.
도 13은 본 개시의 다른 실시예에 따른 제 1 출력 모드 하에서의 이미징을 도시하는 개략도이다.
도 14는 본 개시의 실시예에 따른 제 2 출력 모드 하에서의 이미징 모드의 이미징 방법에 대한 흐름도이다.
도 15는 본 개시의 실시예에 따른 적색 광을 수용하는 감광 유닛들 상에서 보간 검출을 수행하는 것을 도시하는 개략도이다.
도 16은 본 개시의 실시예에 따른 녹색 광을 수용하는 감광 유닛들 상에서 보간 검출을 수행하는 것을 도시하는 개략도이다.
도 17은 본 개시의 실시예에 따른 이미지 센서에서의 포커싱 감광 유닛들의 분포를 도시하는 개략도이다.
도 18은 본 개시의 다른 실시예에 따른 이미지 센서에서의 포커싱 감광 유닛들의 분포를 도시하는 개략도이다.
도 19는 본 개시의 실시예에 따른 포커싱 감광 유닛 Gp와 중심점 사이의 거리를 도시하는 개략도이다.
도 20은 본 개시의 실시예에 따른 포커싱 감광 유닛 Gp를 처리하는 것을 도시하는 개략도이다.
도 21은 본 개시의 실시예에 따른 이미징 장치의 블록도이다.
도 22는 본 개시의 실시예에 따른 전자 디바이스의 구조도이다.
예시적인 실시예들이 상세히 설명될 것이며, 이의 예시들은 첨부되는 도면들에서 도시되고, 여기서 도면 전반에 걸쳐 동일 또는 유사한 참조 번호들은 동일 또는 유사한 엘리먼트들이나 동일 또는 유사한 기능들을 가지는 엘리먼트들을 나타낸다. 도면들을 참조하여 이하에서 설명되는 실시예들은 단지 예시이며 그리고 본 개시를 설명하기 위해 사용되고, 본 개시를 제한하는 것으로 이해되어서는 안된다.
본 개시는 이미징 방법에 관한 것이다. 이미징을 위한 이미지 센서는 감광 유닛들의 어레이, 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이, 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함한다. 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다. 이미지 센서는 제 1 출력 모드 및 제 2 출력 모드를 가진다. 상기 방법은: 현재의 주변 광도를 검출하는 단계; 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서가 제 1 출력 모드로 진입하도록 제어하는 단계; 제 1 출력 모드 하에서, 감광 유닛들의 어레이가 포커싱 모드로 진입하도록 제어하는 단계; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들을 제 1 출력값들로 획득하는 단계; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 제 2 출력값들로 획득하는 단계; 제 1 출력값들 및 제 2 출력값들에 따라 포커싱 제어를 수행하는 단계; 제 1 출력 모드 하에서, 감광 유닛들의 어레이가 이미징 모드로 진입하도록 제어하는 단계; 및 제 1 출력 모드 하에서 이미지를 생성하기 위해 상기 감광 유닛들의 어레이가 노광(expose)되도록 제어하는 단계; 를 포함한다.
본 개시는 이미지 센서에 관한 것이다. 상기 이미지 센서는 감광 유닛들의 어레이; 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이; 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함한다. 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다.
본 개시는 전자 디바이스에 관한 것이다. 상기 전자 디바이스는: 이미지 센서, 검출 모듈, 및 제어 모듈을 포함한다. 이미지 센서는: 감광 유닛들의 어레이; 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이; 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함하고, 여기서 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함한다. 검출 모듈은 현재의 주변 광도를 검출하도록 구성된다. 제어 모듈은: 현재의 주변 광도가 사전설정된 강도 보다 작은 경우 이미지 센서가 제 1 출력 모드로 진입하도록 제어하고; 제 1 출력 모드 하에서, 감광 유닛들의 어레이가 포커싱 모드로 진입하도록 제어하고; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들을 제 1 출력값들로 획득하고; 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 제 2 출력값들로 획득하고; 제 1 출력값들 및 제 2 출력값들에 따라 포커싱 제어를 수행하고; 제 1 출력 모드 하에서, 감광 유닛들의 어레이가 이미징 모드로 진입하도록 제어하고; 그리고 제 1 출력 모드 하에서 이미지를 생성하기 위해 감광 유닛들의 어레이가 노광되도록 제어하도록 구성된다.
본 개시는 추가적으로 전자 디바이스에 관한 것이다. 전자 디바이스는: 하우징, 프로세서, 메모리, 회로 기판 및 전력 공급 회로를 포함한다. 회로 기판은 하우징에 의해 둘러싸인 공간 내에 배치된다. 프로세서 및 메모리는 회로 기판 상에 배치된다. 전력 공급 회로는 모바일 단말의 각각의 회로들 또는 컴포넌트들에 대한 전력을 제공하도록 구성된다. 상기 메모리는 실행가능한 프로그램 코드들을 저장하도록 구성된다. 프로세서는 상술한 이미징 방법을 수행하기 위해, 메모리에 저장된 실행가능한 프로그램 코드들을 판독함으로써 실행가능한 프로그램 코드들에 대응하는 프로그램을 실행하도록 구성된다.
본 개시의 실시예들에 따른 이미지 센서, 이미징 방법 및 전자 디바이스는 도면을 참조하여 설명될 것이다.
도 1은 본 개시의 일 실시예에 따른 3차원 구조를 도시하는 개략도이다.
도 1에 도시되는 바와 같이, 이미지 센서(100)는 감광 유닛들의 어레이(10), 필터 유닛들의 어레이(20) 및 마이크로 렌즈들의 어레이(30)를 포함한다.
필터 유닛들의 어레이(20)는 감광 유닛들의 어레이(10) 상에 배치된다. 마이크로 렌즈들의 어레이(30)는 필터 유닛들의 어레이(20) 상에 배치된다.
적어도 하나의 실시예에서, 도 2에 도시되는 바와 같이, 감광 유닛들의 어레이(10)는 포커싱 감광 유닛들(11) 및 비-포커싱 감광 유닛들(12)을 포함한다. 마이크로 렌즈들의 어레이(30)는 제 1 마이크로 렌즈들(31) 및 제 2 마이크로 렌즈들(32)을 포함한다. 하나의 제 1 마이크로 렌즈들(31)은 하나의 포커싱 감광 유닛(11)을 커버한다. N*N 제 2 마이크로 렌즈들(32)은 하나의 비-포커싱 감광 유닛(12)을 커버하고, 여기서 N은 양의 정수이다. 포커싱 감광 유닛(11) 및 비-포커싱 감광 유닛(12) 양쪽 모두는 M*M 감광 픽셀들(110)을 포함하고, 여기서 M은 양의 정수이다.
적어도 하나의 실시예에서, 각각의 마이크로 렌즈들(31)의 크기는 각각의 제 2 마이크로 렌즈들(32)의 크기와 상이하다.
본 개시의 일 실시예에서, M 및 N의 값들은 동일할 수 있다. 예를 들어, M 및 N의 값들은 2이다. 도 4에 도시되는 바와 같이, 이미지 센서(100)에서, 2*2의 제 2 마이크로 렌즈들은 하나의 비-포커싱 감광 유닛을 커버할 수 있고, 그리고 포커싱 감광 유닛 및 비-포커싱 감광 유닛 양쪽 모두는 2*2의 감광 픽셀들을 포함한다. 물론, M 및 N의 값들은 상이할 수 있다.
본 개시의 실시예들에서, 마이크로 렌즈의 형상은 도 4에 도시되는 바와 같이 원형이거나, 또는 직사각형 또는 다른 형상들일 수 있다는 점을 알 수 있다.
포커스 감광 유닛들이 더 많은 광들을 모으도록 하기 위해, 본 개시의 적어도 하나의 실시예에서, 마이크로 렌즈들의 어레이에서의 하나의 제 1 마이크로 렌즈는 N*N 직사각형 마이크로 렌즈들을 커버하고, 여기서 N은 양의 정수이다. 본 개시의 일 실시예에서, 도 3에 도시되는 바와 같이, 이미지 센서의 하나의 제 1 마이크로 렌즈는 2*2의 직사각형 마이크로 렌즈들(33)을 커버한다.
즉, 이러한 실시예에서, 이미지 센서의 마이크로 렌즈들의 어레이(30)는 제 1 마이크로 렌즈들(31), 제 2 마이크로 렌즈들(32) 및 직사각형 마이크로 렌즈들(33)을 포함한다. 상이한 크기를 가지며 2개의 층의 형상을 가지는 두 종류의 마이크로 렌즈들로 포커싱 감광 유닛들을 커버함으로써, 포커싱 감광 유닛들 상에 보다 많은 광들이 모이도록 할 수 있어, 어두운 조명 환경에서 촬영 효과 및 포커싱 속도를 향상시킨다.
본 개시의 실시예들에서의 이미지 센서는 2개의 출력 모드들, 즉, 제 1 출력 모드 및 제 2 출력 모드를 가진다.
상술한 이미지 센서의 구조에 기초하여, 본 개시의 실시예들에 따른 이미징 방법이 이하에서 설명될 것이다.
도 5에 도시되는 바와 같이, 이미지 센서의 이미징 방법은 다음을 포함한다.
블록(21)에서, 현재의 주변 광도가 검출된다.
객체가 모바일 폰을 통해 캡쳐되는 경우, 현재의 주변 광도가 모바일 폰의 카메라가 캡쳐되는 객체를 향한 이후에 검출된다.
블록(22)에서, 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서는 제 1 출력 모드로 진입하도록 제어된다.
검출된 현재의 주변 광도는 사전설정된 강도와 비교된다. 현재의 주변 광도가 사전설정된 강도(예를 들어, 300 lux) 보다 작은 경우, 즉, 캡쳐되는 객체가 어두운 조명 환경에 있는 경우, 이미지 센서는 제 1 출력 모드로 진입하도록 제어된다. 제 1 출력 모드는 4M 출력 포맷(format)일 수 있다. 이러한 포맷 하에서 출력되는 이미지에서, 동일한 감광 유닛에서의 감광 픽셀들의 컬러들은 동일하다. 따라서, 해상도는 낮으나, 신호-노이즈 비는 높다.
블록(23)에서, 제 1 출력 모드 하에서, 감광 유닛들의 어레이는 포커싱 모드로 진입하도록 제어된다.
카메라가 캡쳐되는 객체를 향한 이후에, 스크린이 클릭되어 초점을 맞출 수 있다. 이때, 감광 유닛들의 어레이는 제 1 출력 모드 하에서 포커싱 모드로 진입한다.
블록(24)에서, 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들은 제 1 출력값으로 획득된다.
블록(25)에서, 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들은 제 2 출력값들로 획득된다.
블록(26)에서, 포커싱 제어는 제 1 출력값들 및 제 2 출력값들을 따라 수행된다.
종래 기술에서, 위상 검출 자동 포커스(줄여서 PDAF)를 실현하기 위해, 감광 픽셀들이 서로 인접하여 이미지 센서에서 쌍으로 배치되는 감광 픽셀 구조(소위 마스킹(masking) 픽셀들)는 쌍으로 배치되는 마스킹 픽셀들을 향하는 다양한 방향의 광선들을 2 부분으로(예를 들어, 좌측 부분 및 우측 부분)으로 분할하도록 구성된다. 마스킹된 픽셀들의 구조는 일반적인 감광 픽셀들의 구조 보다 복잡하기 때문에, 마스킹된 픽셀들은 일반적인 감광 픽셀들의 구조를 변경하거나 또는 일반적인 감광 픽셀들의 구조에 기초하여 광 차단 부분을 별도로 추가함으로써 획득될 수 있어, 마스킹된 픽셀들로 향하는 다양한 방향의 광선들 중에서 특정 방향의 광선은 마스킹된 픽셀들의 감광 부분에 도달하지 않으며, 그리고 특정방향의 광선을 제외한 다른 광선들은 특정 방향의 광선이 마스킹된 픽셀들의 감광 부분에 도달하게 된다. 환언하면, 마스킹된 픽셀들은 일반적으로 인접하고 대칭되도록 쌍으로 배치된다. 쌍으로 배치되는 마스킹된 픽셀들은 다양한 방향으로 광선들을 분리하도록 구성된다. 렌즈가 이동되어야 하는 거리는 좌측 부분의 광선들 및 우측 부분의 광선들에 의해 각각 이미징한 이후에 위상 차이(즉, 쌍으로 배치되는 마스킹된 픽셀들의 출력)를 비교함으로써 계산된다.
본 개시의 실시예들에서, 상이한 방향의 광 신호들의 비교에 의해, 이미지들 간의 위상 차이 정보가 획득될 수 있고, 또한, 캡쳐되는 객체의 거리 정보가 위상 차이 정보에 따라 획득될 수 있어, 필드 정보 테스트의 뎁스 및 위상 포커싱을 위한 데이터 기반을 제공한다. 명백하게, 본 개시의 실시예들에서, 단지 마이크로 렌즈 유닛들, 필터 유닛들 및 포커싱 감광 유닛들의 협동 설계를 이용함으로써 위상 포커싱 테스트를 구현할 수 있으며, 그리고 일반적인 감광 픽셀들의 구조를 변경하거나 또는 일반적인 감광 픽셀들의 구조에 기초하여 광 차단 부분을 별도로 추가하는 것이 필요하지 않아, 위상 포커싱 테스트의 구현이 보다 간단해진다.
이하에서, 예를 들어, 각각의 포커싱 감광 유닛이 2*2의 감광 픽셀들을 포함하고, 그리고 제 1 출력 모드 하에서의 포커싱 제어 방법이 설명될 것이다.
예를 들어, 도 6에서 도시되는 바와 같이, 포커싱 감광 유닛의 좌측에 있는 2 개의 감광 픽셀들의 출력값들 Gp30 및 Gp32는 제 1 출력값들로 판독되고, 그리고 감광 픽셀들의 다른 부분, 즉, 포커싱 감광 유닛의 우측에 있는 2개의 감광 픽셀들의 출력값들 Gp31 및 Gp33은 제 2 출력으로 판독된다.
제 1 출력 값들 및 제 2 출력값들이 획득된 이후에, 포커싱 감광 유닛의 좌측에 있는 2개의 감광 픽셀들의 출력값들 Gp30 및 Gp32의 합, 즉, Gp1=Gp30+Gp32가 계산되며, 그리고 제 1 위상값 Gp1이 생성된다. 유사하게, 포커싱 감광 유닛의 우측에 있는 2개의 감광 픽셀들의 출력값들 Gp31 및 Gp33의 합, 즉, Gp2=Gp31+Gp33이 계산되며, 그리고 제 2 위상값 Gp2가 생성된다. 이와 같이, Gp1 및 Gp2 간의 위상 차이 정보가 획득되어, 위상 차이 정보가 초점 거리 정보로 변환될 수 있으며, 그리고 렌즈의 위치가 초점 거리 정보에 따라 조정되어 위상 포커싱을 실행하므로, 위상 포커싱 테스트의 구현이 보다 간단해진다.
본 개시의 다른 실시예에 있어서, 도 7에 도시되는 바와 같이, 포커싱 감광 유닛에서의 2*2의 감광 픽셀들은 상부 및 하부로 분할된다. 포커싱 감광 유닛의 상부에서의 2개의 감광 픽셀들의 출력들은 제 1 출력값들로 판독되고, 그리고 포커싱 감광 유닛의 하부에서의 2개의 감광 픽셀들의 출력값들은 제 2 출력값들로 판독된다. 제 1 출력값들 및 제 2 출력값들이 획득된 이후에, 제 1 위상값이 제 1 출력값들에 따라 생성되고, 그리고 제 2 위상값이 제 2 출력값들에 따라 생성된다. 그리고, 포커싱 제어가 제 1 위상값과 제 2 위상값 사이의 위상 차이 정보에 따라 수행된다.
본 개시의 추가적인 실시예에서, 도 8에서 도시되는 바와 같이, 포커싱 감광 유닛에서의 2*2의 감광 픽셀들은 포커싱 감광 유닛의 2개의 대각선에 의해 2개의 부분으로 분할된다. 상부 좌측 코너에 있는 감광 픽셀 및 하부 우측 코너에 있는 감광 픽셀의 출력값들은 제 1 출력값들로 판독될 수 있고, 그리고 하부 좌측 코너에 있는 감광 픽셀 및 상부 우측 코너에 있는 감광 픽셀의 출력값들은 제 2 출력값들로 판독될 수 있다. 제1 출력값들 및 제 2 출력값들이 획득된 이후, 제 1 위상값이 제 1 출력값들에 따라 생성되고, 그리고 제 2 위상값이 제 2 출력값들에 따라 생성된다. 그리고, 포커싱 제어가 제 1 위상값과 제 2 위상값 사이의 위상 차이 정보에 따라 수행된다.
본 개시의 실시예들에서, 포커싱 감광 유닛에서의 2*2의 감광 픽셀들의 좌측 및 우측에 있는 감광 픽셀들의 출력들을 각각 제 1 출력값들 및 제 2 출력값들로 취함으로써, 좌측 및 우측 방향에서의 위상 차이 정보가 검출될 수 있다. 포커싱 감광 유닛에서의 2*2의 감광 픽셀들의 상부 및 하부에 있는 감광 픽셀들의 출력들을 각각 제 1 출력값들 및 제 2 출력값들로 취함으로써, 상향 및 하향에서의 위상 차이 정보가 검출될 수 있다. 포커싱 감광 유닛의 2개의 대각선들 상의 감광 픽셀들의 출력들을 각각 제 1 출력값 및 제 2 출력값으로 취함으로써, 대각선 방향에서의 위상 차이 정보가 검출될 수 있다.
다른 예시로서, 도 9에서 도시되는 바와 같이, 포커싱 감광 유닛에서 좌측에 있는 2개의 감광 픽셀들의 출력값들 Gp30 및 Gp32는 제 1 출력값들로 판독되고, 그리고 다른 부분의 감광 픽셀들, 즉, 포커싱 감광 유닛에서 우측에 있는 2개의 감광 픽셀들의 출력값들 Gp31 및 Gp33은 제 2 출력값들로 판독된다.
제 1 출력값들 및 제 2 출력값들이 획득된 이후, 포커싱 감광 유닛에서 좌측에 있는 2개의 감광 픽셀들의 출력값들 Gp30 및 Gp32의 합, 즉, Gp1=Gp30+Gp32 가 계산되며, 그리고 제 1 위상값 Gp1이 생성된다. 유사하게, 포커싱 감광 유닛의 우측에 있는 2개의 감광 픽셀들의 출력값들 Gp31 및 Gp33의 합, 즉, Gp2=Gp31+Gp33이 계산되며, 그리고 제 2 위상값 Gp2가 생성된다. 이와 같이, Gp1 및 Gp2 간의 위상 차이 정보가 획득되어, 위상 차이 정보가 초점 거리 정보로 변환될 수 있으며, 그리고 렌즈의 위치가 초점 거리 정보에 따라 조정되어 위상 포커싱을 실행하므로, 위상 포커싱 테스트의 구현이 보다 간단해진다.
본 개시의 다른 실시예에 있어서, 도 10에 도시되는 바와 같이, 포커싱 감광 유닛에서의 2*2의 감광 픽셀들은 상부 및 하부로 분할된다. 포커싱 감광 유닛의 상부에서의 2개의 감광 픽셀들의 출력들은 제 1 출력값들로 판독되고, 그리고 포커싱 감광 유닛의 하부에서의 2개의 감광 픽셀들의 출력값들은 제 2 출력값들로 판독된다. 제 1 출력값들 및 제 2 출력값들이 획득된 이후에, 제 1 위상값이 제 1 출력값들에 따라 생성되고, 그리고 제 2 위상값이 제 2 출력값들에 따라 생성된다. 그리고, 포커싱 제어가 제 1 위상값과 제 2 위상값 사이의 위상 차이 정보에 따라 수행된다.
본 개시의 추가적인 실시예에서, 도 11에서 도시되는 바와 같이, 포커싱 감광 유닛에서의 2*2의 감광 픽셀들은 포커싱 감광 유닛의 2개의 대각선에 의해 2개의 부분으로 분할된다. 상부 좌측 코너에 있는 감광 픽셀 및 하부 우측 코너에 있는 감광 픽셀의 출력값들은 제 1 출력값들로 판독될 수 있고, 그리고 하부 좌측 코너에 있는 감광 픽셀 및 상부 우측 코너에 있는 감광 픽셀의 출력값들은 제 2 출력값들로 판독될 수 있다. 제1 출력값들 및 제 2 출력값들이 획득된 이후, 제 1 위상값이 제 1 출력값들에 따라 생성되고, 그리고 제 2 위상값이 제 2 출력값들에 따라 생성된다. 그리고, 포커싱 제어가 제 1 위상값과 제 2 위상값 사이의 위상 차이 정보에 따라 수행된다.
본 개시의 실시예들에서, 포커싱 감광 유닛에서의 2*2의 감광 픽셀들의 좌측 및 우측에 있는 감광 픽셀들의 출력들을 각각 제 1 출력값들 및 제 2 출력값들로 취함으로써, 좌측 및 우측 방향에서의 위상 차이 정보가 검출될 수 있다. 포커싱 감광 유닛에서의 2*2의 감광 픽셀들의 상부 및 하부에 있는 감광 픽셀들의 출력들을 각각 제 1 출력값들 및 제 2 출력값들로 취함으로써, 상향 및 하향에서의 위상 차이 정보가 검출될 수 있다. 포커싱 감광 유닛의 2개의 대각선들 상의 감광 픽셀들의 출력들을 각각 제 1 출력값 및 제 2 출력값으로 취함으로써, 대각선 방향에서의 위상 차이 정보가 검출될 수 있다.
본 개시의 실시예들에 따른 제 1 출력 모드 하에서 이미지 센서의 포커싱 제어 방법을 이용하여, 포커싱 감광 유닛의 상이한 부분들에 있는 감광 픽셀들의 출력들을 판독함으로써, 상이한 각도들에서의 입사광의 위상 정보가 획득되고, 상이한 방향들에 대응하는 위상 정보의 검출이 수행되어, 어두운 조명에서 포커싱 속도를 향상시키며, 그리고 포커싱을 좀 더 정확하게 한다.
블록(27)에서, 제 1 출력 모드 하에서, 감광 유닛들의 어레이는 이미징 모드로 진입하도록 제어된다.
제 1 출력 모드 하에서, 감광 유닛들의 어레이는 포커싱 제어가 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 2개의 부분들의 출력값들에 따라 완료된 이후에 이미징 모드로 진입하도록 제어된다.
블록(28)에서, 감광 유닛들의 어레이는 제 1 출력 모드 하에서 이미지를 생성하기 위해 노광되도록 제어된다.
예를 들어, 도 12에 도시되는 바와 같이, 청색 유닛 B0, 녹색 유닛 G1, 녹색 유닛 G3, 및 적색 유닛 R4는 베이어 RGB 어레이를 구성한다. 노광(exposure)은 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들 상에서 수행된다. 포커싱 감광 유닛들의 출력값들 Gp30, Gp31, Gp32 및 Gp33과 비-포커싱 감광 유닛들의 출력값들 B00, B01, B02, B03, Gb10, Gb11, Gb12, Gb13 등이 판독된다.
포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 출력값들을 판독한 이후에, 동일한 포커싱 감광 유닛의 2*2의 감광 픽셀들의 출력값들 Gp30, Gp31, Gp32 및 Gp33이 합해져 포커싱 감광 유닛의 픽셀값 G3를 획득한다 (즉, Gp30+Gp31+Gp32+Gp33=G3). 동일한 비-포커싱 감광 유닛의 2*2의 감광 픽셀들의 출력값들 B00, B01, B02 및 B03이 합해져 비-포커싱 감광 유닛의 픽셀값 B0를 획득한다(B00+B01+B02+B03=B0). 유사하게, 녹색 픽셀값 G1=Gb10+Gb11+Gb12+Gb13, 적색 픽셀값 R4=R40+R41+R42+R43 등과 같이, 다른 비-포커싱 감광 유닛의 픽셀값들이 획득될 수 있다. 제1 출력 모드 하에서의 이미지는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 픽셀값들에 따라 생성된다.
다른 예를 들어, 도 13에 도시되는 바와 같이, 청색 유닛 B0, 녹색 유닛 G1, 녹색 유닛 G3, 및 적색 유닛 R4는 베이어 RGB 어레이를 구성한다. 노광(exposure)은 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들 상에서 수행된다. 포커싱 감광 유닛들의 출력값들 Gp30, Gp31, Gp32 및 Gp33과 비-포커싱 감광 유닛들의 출력값들 B00, B01, B02, B03, Gb10, Gb11, Gb12, Gb13 등이 판독된다.
포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 출력값들을 판독한 이후에, 동일한 포커싱 감광 유닛의 2*2의 감광 픽셀들의 출력값들 Gp30, Gp31, Gp32 및 Gp33이 합해져 포커싱 감광 유닛의 픽셀값 G3를 획득한다 (즉, Gp30+Gp31+ Gp32+Gp33=G3). 동일한 비-포커싱 감광 유닛의 2*2의 감광 픽셀들의 출력값들 B00, B01, B02 및 B03이 합해져 비-포커싱 감광 유닛의 픽셀값 B0를 획득한다(B00+B01+B02+B03=B0). 유사하게, 녹색 픽셀값 G1=Gb10+Gb11+Gb12+Gb13, 적색 픽셀값 R4=R40+R41+R42+R43 등과 같이, 다른 비-포커싱 감광 유닛의 픽셀값들이 획득될 수 있다. 제1 출력 모드 하에서의 이미지는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 픽셀값들에 따라 생성된다.
본 개시의 실시예들에 따른 이미징 방법을 이용하여, 감광 유닛의 M*M 감광 픽셀들의 출력값들의 합이 감광 유닛의 픽셀값으로 취해지고, 그리고 이미지가 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 픽셀값들에 따라 생성되어, 이미징 민감도 및 신호-노이즈 비를 효과적으로 향상시킨다.
본 개시의 실시예들에 따른 이미지 센서의 이미징 방법을 이용하여, 감광 유닛들의 어레이, 감광 유닛들의 어레이 상에 배치되는 필터들의 유닛들의 어레이 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함하는 구조(여기서, 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함함)에 기초하여, 이미지 센서는 2개의 출력 모드들(즉, 제 1 출력 모드 및 제 2 출력 모드)을 가진다. 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서는 제 1 출력 모드로 진입하고, 포커싱 제어가 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들 및 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 이용함으로써 수행되어, 포커싱 속도를 효과적으로 향상시킬 수 있다.
상술한 실시예들은 이미지 센서가 주변 광도가 낮은 상황에서 제 1 출력 모드로 진입하는 경우의 포커싱 방법들 및 이미징 방법들을 도시한다. 이하에서, 밝은 조명 환경 하에서의 이미징 방법을 상세히 설명한다.
객체가 모바일 폰을 통해 캡쳐되는 경우, 현재의 주변 광도가 모바일 폰의 카메라가 캡쳐되는 객체를 향한 이후에 검출된다. 검출된 현재의 주변 광도는 사전설정된 강도와 비교된다. 현재의 주변 광도가 사전설정된 강도(예를 들어, 300 lux) 보다 큰 경우, 즉, 캡쳐링 환경이 밝은 조명 환경인 경우, 이미지 센서는 제 2 출력 모드로 진입하도록 제어된다.
제 2 출력 모드는 16M 출력 포맷일 수 있다. 이러한 포맷 하에서 출력되는 이미지는 더 높은 해상도로, 제 1 출력 모드 하에서 출력되는 것 보다 더 상세(detail)하다.
카메라가 캡쳐되는 객체를 향한 이후에, 스크린이 클릭되어 초점을 맞출 수 있다. 이때, 감광 유닛들의 어레이는 포커싱 모드로 진입한다.
본 개시의 실시예들에서, 제 2 출력 모드 하에서의 포커싱 방법은 제 1 출력 모드 하에서의 포커싱 방법과 유사하며, 이는 여기서 자세히 설명되지 않는다.
도 14에서 도시되는 바와 같이, 제 2 출력 모드 하에서의 이미징 방법은 다음과 같다.
블록(71)에서, 제 2 출력 모드 하에서, 감광 유닛들의 어레이는 이미징 모드로 진입하도록 제어된다.
제 2 출력 모드 하에서, 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 2개의 부분들의 출력값들에 따라 위상 차이 정보를 획득함으로써, 감광 유닛들의 어레이는 포커싱 제어가 위상 차이 정보에 따라 완료된 이후에 이미징 모드로 진입하도록 제어된다.
블록(72)에서, 감광 유닛들의 어레이는 제 2 출력 모드 하에서 이미지를 생성하기 위해 노광되도록 제어된다.
본 개시의 실시예들에서, 감광 유닛들이 이미징 모드로 진입하도록 제어된 이후에, 감광 유닛들의 어레이 상에서 노광이 수행된다. 이때, 감광 유닛들의 어레이의 출력값들이 판독된다.
감광 유닛들의 어레이의 출력값들이 판독된 이후에, 감광 유닛들의 어레이의 픽셀값들이 보간 검출 알고리즘을 통해 획득될 수 있다. 그리고, 보간 및 검출 이후에 감광 유닛들의 어레이의 픽셀값들에 따라 이미지가 생성된다.
본 개시의 실시예들에서, 보간 검출 알고리즘은 다음을 포함할 수 있다.
현재 픽셀의 컬러가 주위 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한지 여부가 결정된다. 도 15에서 도시되는 바와 같이, 오른쪽 이미지의 R22는 현재 픽셀이며, 그리고 왼쪽 이미지의 R22는 연관 픽셀이다.
현재 픽셀의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한 경우, 연관 픽셀의 픽셀값은 현재 픽셀의 픽셀값으로 결정된다. 예를 들어, 도 15에 도시되는 바와 같이, 현재 픽셀 R22의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한 적색이기 때문에, 현재 픽셀의 픽셀값과 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 픽셀값은 동일하다(즉, R22=R22).
현재 픽셀의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 상이한 경우, 현재 픽셀의 픽셀값은 보간 방식을 통해 연관 픽셀의 픽셀값을 따라 결정된다. 이미지 픽셀 유닛들의 어레이는 연관 픽셀 유닛들을 포함한다. 연관 픽셀 유닛은 현재 픽셀과 동일한 컬러를 가지며 그리고 현재 픽셀에 인접하다.
예를 들어, 도 15에 도시되는 바와 같이, 현재 픽셀 Gr23의 컬러가 녹색이고, 연관 픽셀 R23의 컬러가 적색이며, 즉, 현재 픽셀의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 상이하고, 현재 픽셀 Gr23의 값은 연관 픽셀들의 픽셀값들에 따라 보간 방식을 통해 계산될 수 있다. 현재 픽셀 Gr23의 연관 픽셀들은 G1, G3, G5 G7이다.
본 개시의 실시예에 있어서, 보간 검출 알고리즘은 감광 유닛들에 의해 수용되는 광의 상이한 컬러들에 따라 2가지 상황으로 나누어 질 수 있다. 상세한 예시들은 다음과 같다.
제 1 예시에서, 감광 유닛이 적색 광을 수용한다. 도 15에서 도시되는 바와 같이, 현재 픽셀 R22의 컬러는 적색이고, 연관 픽셀 R22의 컬러도 적색이며, 따라서 R22=R22이다. 현재 픽셀 Gr23의 컬러는 녹색이며, 이는 연관 픽셀 R23의 컬러와 상이하며, 따라서, 현재 픽셀 Gr23의 값은 연관 픽셀들 G1, G3, G5 및 G7의 픽셀값들에 따라 보간 방식을 통해(즉, 수학식 1을 통해) 획득될 수 있다.
현재 픽셀 Gb32의 컬러는 녹색이며, 이는 연관 픽셀 R32의 컬러와 상이하다. 현재 픽셀 Gb32의 값은 연관 픽셀들 G1, G3, G5 및 G7의 픽셀값들을 따라 수학식 2와 같은 보간 방식을 통해 획득될 수 있다.
현재 픽셀 B33의 컬러는 청색이며, 이는 연관 픽셀 R33의 컬러와 상이하다. 현재 픽셀 B33의 값은 연관 픽셀들 B0, B2, B6 및 B8의 픽셀값들을 따라 보간 방식을 통해(즉, 수학식 3을 통해) 획득될 수 있다.
청색 광을 수용하는 감광 유닛의 보간 검색 알고리즘은 적색 광을 수용하는 감광 유닛의 알고리즘과 동일하다는 점을 알 수 있으며, 이는 여기서 자세히 설명되지 않는다.
제 2 예시에서, 감광 유닛은 녹색 광을 수용한다. 도 16에서 도시되는 바와 같이, 현재 픽셀 R22는 적색이고, 이는 연관 픽셀 Gr22의 컬러와 상이하다. 현재 픽셀 R22의 값은 연관 픽셀들 R3 및 R5의 픽셀값들을 따라 보간 검출을 통해(즉, 수학식 4를 통해) 획득될 수 있다.
녹색 광을 수용하는 감광 유닛의 보간 검색 알고리즘은 적색 광을 수용하는 감광 유닛의 알고리즘과 동일하다는 점을 알 수 있으며, 이는 여기서 자세히 설명되지 않는다.
현재 픽셀 Gr23의 컬러는 녹색이고, 이는 연관 픽셀Gr23의 컬러와 동일하여, 현재 픽셀의 값이 연관 픽셀의 값과 동일하다(즉, Gr32=Gr32). 현재 픽셀 Gb32의 컬러는 녹색이고, 이는 연관 픽셀의 컬러와 동일하며, 현재 픽셀의 값은 연관 픽셀의 값과 동일하다(즉, Gb32=Gb32). 현재 픽셀 B33의 컬러는 청색이고, 이는 연관 픽셀 Gr33의 컬러와 상이하고, 현재 픽셀 B33의 값은 연관 픽셀들 B1 및 B7의 픽셀값들에 따라 보간 검출을 통해(즉, 수학식 5를 통해) 획득될 수 있다.
감광 유닛들의 어레이의 픽셀값들이 상술한 보간 검출 알고리즘에 따라 획득된 이후, 제 2 출력 모드 하에서의 이미지가 감광 유닛들의 어레이의 픽셀값들에 따라 생성된다.
본 개시의 실시예들에서 제공되는 이미징 방법을 이용하여, 이미지 센서는 현재의 주변 광도에 따라 대응하는 데이터 출력 모드를 선택할 수 있고, 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 제 1 출력 모드에 따라 이미지가 생성되며 그리고 현재의 주변 광도가 사전설정된 강도 보다 큰 경우, 제 2 출력 모드에 따라 이미지가 생성된다.
본 개시의 실시예들에 따른 이미지 센서의 이미징 방법을 이용하여, 감광 유닛들의 어레이, 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함하는 구조(여기서, 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함함)에 기초하여, 이미지 센서는 2개의 출력 모드들(즉, 제 1 출력 모드 및 제 2 출력 모드)을 가진다. 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서는 제 1 출력 모드로 진입하고, 포커싱 제어가 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들 및 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 이용함으로써 수행되어, 포커싱 속도를 효과적으로 향상시킬 수 있다.
M 및 N의 값들이 동일한 경우, 이미지 센서의 이미징 방법 및 포커싱 방법은 상술한 실시예들에서의 이미징 방법 및 포커싱 방법과 유사하며, 이는 여기서 자세히 설명되지 않는다.
물론, M 및 N의 값들은 상이할 수 있다. M 및 N의 값들이 상이한 경우, 이미지 센서의 이미징 방법 및 포커싱 방법은 상술한 실시예들에서의 이미징 방법 및 포커싱 방법과 유사하며, 이는 여기서 자세히 설명되지 않는다.
본 개시의 실시예에서, 도 17에서 도시되는 바와 같이, 마이크로 렌즈들의 어레이는 수평 중심선 및 수직 중심선을 포함할 수 있다. 복수의 제 1 마이크로 렌즈들이 존재할 수 있다. 복수의 제 1 마이크로 렌즈들은 수평 중심선에 배치되는 제 1 마이크로 렌즈들의 제 1 그룹 및 수직 중심선에 배치되는 제 1 마이크로 렌즈들의 제 2 그룹을 포함한다.
포커싱 속도를 향상시키기 위해, 본 개시의 다른 실시예에서, 도 18에서 도시되는 바와 같이, 복수의 제 1 마이크로 렌즈들은 마이크로 렌즈들의 어레이의 4개의 경계선들에 배치되는 제 1 마이크로 렌즈들의 제 3 그룹을 더 포함할 수 있다.
제 1 마이크로 렌즈들에 의해 커버되는 포커싱 감광 유닛들(즉, 도18의 Gp)이 이미지 센서에서 사방으로 분포되어, 픽셀들의 전체 개수의 3% 내지 5%를 차지하고 있는 것을 도 18에서 볼 수 있다. Gp는 이미지 센서의 중앙 영역에 집중적으로 분포되어 있으며, 그리고 경계 영역들에 드문드문 분포되어 있다. 이미지의 중앙 영역에 대응하는 위상 정보가 먼저 획득되므로, 이미지의 품질에 영향을 주지 않고 포커싱 속도를 효과적으로 향상시킬 수 있다.
렌즈의 밀도가 더 높고 렌즈의 굴절률이 더 클수록, 렌즈의 집중 능력이 강해진다. 따라서, 포커싱 속도 및 촬영 효과를 향상시키기 위해 중앙 영역에서의 포커싱 감광 유닛들 상에 더 많은 광이 모이도록 하기 위해서, 본 개시의 실시예들에서, 제 1 마이크로 렌즈들의 제 1 그룹 및 제 1 마이크로 렌즈들의 제 2 그룹의 밀도들은 제 1 마이크로 렌즈들의 제 3 그룹의 밀도들 보다 클 수 있어, 중앙 영역에서의 포커싱 감광 유닛들의 입사광의 양이 경계에서의 포커싱 감광 유닛들의 입사광의 양 보다 더 많으며, 따라서 포커싱 속도 및 촬영 효과를 개선시킬 수 있다.
본 개시의 실시예에서, 도 18에서 도시되는 포커싱 감광 유닛들의 분포에 기초하여, 이미지 센서가 제 2 출력 모드 하에 있는 경우, 포커싱 감광 유닛들 Gp의 감광 픽셀들의 값들이 처리될 수 있다.
이미지 센서의 중앙 부분에서의 광은 강하며 그리고 주위에서 약하다. 따라서, 이미지 센서의 중앙 부분에서의 포커싱 감광 유닛들 Gp의 감광 픽셀들의 값들은 직접적으로 사용될 수 있으며, 그리고 포커싱 감광 유닛 Gp가 이미지 센서의 중심점으로부터 멀어질수록, 포커싱 감광 유닛 Gp에서의 감광 픽셀들의 값들의 신뢰도가 낮아지므로, 따라서 이미지 센서의 경계에서의 포커싱 감광 유닛들의 감광 픽셀들의 값들은 주위의 감광 픽셀들의 값들에 의해 대체될 수 있다.
본 개시의 실시예에서, 포커싱 감광 유닛들 Gp의 감광 픽셀들의 값들은 각각의 포커싱 감광 유닛 Gp와 이미지 센서의 중심점 사이의 거리에 따라 처리될 수 있다. 일 실시예에서, 도 19에서 도시되는 바와 같이, 포커싱 감광 유닛 Gp와 이미지 센서의 중심점의 거리가 r1 보다 짧은 경우, 즉, 포커싱 감광 유닛이 이미지 센서의 중앙 부분에 있는 경우, 포커싱 감광 유닛 Gp에서의 감광 픽셀들의 값들은 비-포커싱 감광 유닛 Gr에서의 감광 픽셀들의 값들과 동일한 것으로 간주될 수 있다. 도 20에서 도시되는 바와 같이, Gr30=Gp30, Gr31=Gp31, Gr32=Gp32, Gr33=Gp33이다.
포커싱 감광 유닛 Gp와 이미지 센서의 중심점 사이의 거리가 r2 보다 긴 경우, 포커싱 감광 유닛 Gp에서의 감광 픽셀들의 값들은 주위의 감광 픽셀들의 값들에 대한 보간 연산을 수행함으로써 획득될 수 있다.
포커싱 감광 유닛 Gp와 이미지 센서의 중심점 사이의 거리가 r1 보다 길고 r2 보다 짧은 경우, 거리가 가중치로 취해질 수 있으며, 포커싱 감광 유닛에서의 감광 픽셀들의 값들은 r2 보다 긴 거리를 가지는 보간 연산을 수행함으로써 획득되는 감광 픽셀들의 픽셀값들 및 r1 보다 짧은 거리를 가지는 포커싱 감광 유닛들의 감광 픽셀들의 픽셀값들에 대한 가중치 평균을 수행함으로써 획득될 수 있다.
포커싱 감광 유닛 Gp의 위상 정보가 상술한 방법으로 처리되는 경우, 감광 유닛들의 어레이의 출력값들이 획득될 수 있다. 감광 유닛들의 어레이의 픽셀값들이 감광 유닛들의 어레이의 출력값들에 따라 보간 검출 알고리즘을 이용하여 획득될 수 있다. 보간 검출 알고리즘은 상술한 실시예들에서의 보간 검출 알고리즘과 동일하며, 이는 여기서 자세히 설명되지 않는다.
감광 유닛들의 어레이의 픽셀값들이 보간 검출 알고리즘을 이용하여 획득된 이후, 제 2 출력 모드 하에서의 이미지가 감광 유닛들의 픽셀 값들에 따라 생성될 수 있다.
본 개시의 실시예들에서 제공되는 솔루션들을 이용하여, 보간 검출을 수행하기 전에, 포커싱 감광 유닛들에서의 감광 픽셀들의 값들이 처리된다. 포커싱 감광 유닛들에서의 위상 정보가 쉽게 버려지고(abandoned) 주위 픽셀들의 값들로 보상되는 솔루션과 비교하여, 본 개시의 실시예들에서 제공되는 솔루션을 통해, 이미지의 촬영효과 및 선명도가 향상된다.
상술한 목적들을 달성하기 위해, 본 개시의 다른 양상의 실시예들에 따른 전자 디바이스가 이하에서 설명될 것이다. 전자 디바이스는 이미징 장치 또는 이미징 기능을 가지는 다른 전기 장치일 수 있다.
도 21은 본 개시의 실시예에 따른 이미징 장치의 블록도이다. 도 21에서 도시되는 바와 같이, 이미징 장치(1700)는 상술한 양상의 실시예들의 이미지 센서(1710), 검출 모듈(1720) 및 제어 모듈(1730)을 포함한다.
제어 모듈(1730)은 현재의 주변 광도가 사전설정된 강도 보다 작은 경우 이미지 센서가 제 1 출력 모드로 진입하도록 제어하는 것으로 구성된다. 제어 모듈(1730)은 제 1 출력 모드 하에서, 감광 유닛들의 어레이가 포커싱 모드로 진입하도록 제어하는 것으로 구성된다. 제어 모듈(1730)은 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들을 제 1 출력값으로 획득하도록 구성된다. 제어 모듈(1730)은 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 제 2 출력값들로 획득하도록 구성된다. 제어 모듈(1730)은 제 1 출력값들 및 제 2 출력값들에 따라 포커싱 제어를 수행하도록 구성된다. 제어 모듈(1730)은 제 1 출력 모드 하에서, 감광 유닛들의 어레이가 이미징 모드로 진입하도록 제어하는 것으로 구성된다. 제어 모듈(1730)은 제 1 출력 모드 하에서 이미지를 생성하기 위해 감광 유닛들의 어레이가 노광되도록 제어하는 것으로 구성된다.
제어 모듈(1730)은 제 1 출력값들에 따라 제 1 위상값을 생성하고, 제 2 출력값들에 따라 제 2 위상값을 생성하며, 그리고 제 1 위상값 및 제 2 위상값에 따라 포커싱 제어를 수행하도록 구성된다.
제어 모듈(1730)은 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들이 노광되도록 제어하고, 그리고 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 출력값들을 획득하도록 구성된다. 제어 모듈(1730)은 동일한 포커싱 감광 유닛의 M*M 감광 픽셀들의 출력값들을 합산하거나 또는 동일한 비-포커싱 감광 유닛들의 M*M 감광 픽셀들의 출력값들을 합산하도록 구성되어, 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들의 픽셀값들을 획득하여, 제 1 출력 모드 하에서 이미지를 생성하며, 여기서 M은 양의 정수이다.
제어 모듈(1730)은 현재의 주변 광도가 사전설정된 강도 보다 큰 경우 이미지 센서가 제 2 출력 모드로 진입하도록 제어하는 것으로 추가적으로 구성될 수 있다. 제어 모듈(1730)은 제 2 출력 모드 하에서, 감광 유닛들의 어레이가 포커싱 모드로 진입하도록 제어하는 것으로 구성된다. 제어 모듈(1730)은 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들을 제 3 출력값들로 획득하도록 구성된다. 제어 모듈(1730)은 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 제 4 출력값들로 획득하도록 구성된다. 제어 모듈(1730)은 제 3 출력값들 및 제 4 출력값들에 따라 포커싱 제어를 수행하도록 구성된다. 제어 모듈(1730)은 제 2 출력 모드 하에서, 감광 유닛들의 어레이가 이미징 모드로 진입하도록 제어하는 것으로 구성된다. 제어 모듈(1730)은 제 2 출력 모드 하에서 이미지를 생성하기 위해 감광 유닛들의 어레이가 노광되도록 제어하는 것으로 구성된다. 제어 모듈(1730)은 감광 유닛들의 어레이가 노광되도록 제어하고, 그리고 감광 유닛들의 어레이의 출력값들을 획득하도록 구성되어, 감광 유닛들의 어레이의 픽셀값들을 획득하여, 제 2 출력 모드 하에서 이미지를 생성한다. 감광 유닛들의 어레이의 픽셀값들은 보간 검출 알고리즘을 통해 획득된다.
제어 모듈(1730)은 현재 픽셀의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한지 여부를 결정하도록 구성된다. 제어 모듈(1730)은 현재 픽셀의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한 경우, 연관 픽셀의 픽셀값을 현재 픽셀의 픽셀값으로 결정하도록 구성된다. 제어 모듈(1730)은 현재 픽셀의 컬러가 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 상이한 경우, 보간 알고리즘에 기초하여 연관 픽셀의 픽셀값에 따라 현재 픽셀의 픽셀값을 결정하도록 구성된다. 감광 유닛들의 어레이는 연관 픽셀들을 포함하고, 각각의 연관 픽셀 유닛은 현재 픽셀과 동일한 컬러를 가지며 그리고 현재 픽셀에 인접한다.
본 개시의 실시예들에 따른 이미징 장치를 이용하여, 감광 유닛들의 어레이, 감광 유닛들의 어레이 상에 배치되는 필터 유닛들의 어레이 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함하는 구조(여기서, 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함함)에 기초하여, 이미지 센서는 2개의 출력 모드들(즉, 제 1 출력 모드 및 제 2 출력 모드)을 가진다. 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서는 제 1 출력 모드로 진입하고, 포커싱 제어가 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들 및 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 이용함으로써 수행되어, 포커싱 속도를 효과적으로 향상시킬 수 있다.
본 개시의 다른 양상의 실시예들은 전자 디바이스를 더 제공한다.
도 22에서 도시되는 바와 같이, 전자 디바이스는 하우징(1810), 프로세서(1820), 메모리(1830), 회로 기판(1840) 및 전력 공급 회로(1850)를 포함한다. 회로 기판(1840)은 하우징(1810)에 의해 둘러싸인 공간 내에 배치된다. 프로세서(1820) 및 메모리(1830)는 회로 기판(1840) 상에 배치된다. 전력 공급 회로(1850)는 전자 디바이스의 각각의 회로들 또는 컴포넌트들에 대한 전력을 제공하도록 구성된다. 상기 메모리(1830)는 실행가능한 프로그램 코드들을 저장하도록 구성된다. 프로세서(1820)는 상술한 본 개시의 양상의 실시예들에 따른 이미지 센서의 이미징 방법을 수행하기 위해, 메모리(1830)에 저장된 실행가능한 프로그램 코드들을 판독함으로써 실행가능한 프로그램 코드들에 대응하는 프로그램을 실행하도록 구성된다.
본 개시의 실시예들에 따른 전자 디바이스를 이용하여, 감광 유닛들의 어레이, 감광 유닛들의 어레이 상에 배치되는 필터들의 유닛들의 어레이 및 필터 유닛들의 어레이 상에 배치되는 마이크로 렌즈들의 어레이를 포함하는 구조(여기서, 감광 유닛들의 어레이는 포커싱 감광 유닛들 및 비-포커싱 감광 유닛들을 포함함)에 기초하여, 이미지 센서는 2개의 출력 모드들(즉, 제 1 출력 모드 및 제 2 출력 모드)을 가진다. 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 이미지 센서는 제 1 출력 모드로 진입하고, 포커싱 제어가 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 일부분의 출력값들 및 각각의 포커싱 감광 유닛에서의 감광 픽셀들의 다른 부분의 출력값들을 이용함으로써 수행되어, 포커싱 속도를 효과적으로 향상시킬 수 있다.
"제 1" 및 "제 2"와 같은 관계 용어들은 일 엔티티 또는 동작을 다른 엔티티 또는 동작과 구별하기 위해서만 본 명세서에서 사용되며, 이러한 엔티티들 및 동작들 간에 이러한 종류의 임의의 실제적인 관계 또는 순서가 존재하는 것이 반드시 요구되거나 암시되는 것이 아님을 유의해야 한다. 또한, "포함하다", "포함하는" 및 임의의 다른 변형들과 같은 용어들은 비-배타적인 내용들을 포함하는 것으로 의도되어, 일련의 구성요소들을 포함하는 프로세스들, 방법들, 제품들 또는 디바이스들이 이러한 구성요소들을 포함할 뿐만 아니라 명시적으로 열거되지 않은 다른 구성요소들을 포함하거나, 또는 프로세스들, 방법들, 제품들 또는 디바이스들에 고유한 구성요소들을 포함할 수 있다. 추가적으로 한정하지 않는 경우, 문장 "?을 포함하는"에 의해 정의되는 구성요소들은 다른 동일한 구성요소들이 상기 구성요소들을 포함하는 프로세스들, 방법들, 제품들 또는 디바이스들에 존재할 수 있다는 것을 배제하는 것은 아니다.
흐름도에서 도시되거나 또는 본 명세서에서 다른 방식으로 설명되는 로직 및/또는 단계(예를 들어, 논리적 기능을 실현하기 위한 실행가능한 명령들의 특정한 시퀀스 테이블)는 명령 실행 시스템, 디바이스 또는 장비(컴퓨터들에 기초하는 시스템과 같은 것으로, 상기 시스템은 프로세서들 또는 명령 실행 시스템, 디바이스 및 장비로부터 명령을 획득하고 명령들을 실행할 수 있는 다른 시스템을 포함함)에 의해 사용되거나, 명령 실행 시스템, 디바이스 및 장비와 함께 사용되도록 임의의 컴퓨터 판독가능 매체에서 구체적으로 구현될 수 있다. 명세서에서, "컴퓨터 판독가능 매체"는 명령 실행 시스템, 디바이스 또는 장비에 의해 또는 함께 사용되도록 프로그램들을 포함, 저장, 통신, 전파, 또는 전송하기에 적합한 임의의 디바이스일 수 있다. 컴퓨터-판독가능 매체의 보다 구체적인 예시들은: 하나 이상의 와이어들을 가지는 전자 연결부(전자 디바이스), 포터블 컴퓨터 인클로저(자기 디바이스), 랜덤 액세스 메모리(RAM), 리드-온리 메모리(ROM), 소거가능 프로그램가능 리드-온리 메모리(EPROM 또는 플래쉬 메모리), 또는 광섬유 디바이스 및 포터블 컴팩트 디스크 리드-온리 메모리(CDROM)를 포함하며, 이에 한정되지 않는다. 또한, 컴퓨터-판독가능 매체는 종이 또는 프로그램들을 인쇄할 수 있는 다른 적합한 매체일 수도 있으며, 이는 예를 들어, 종이 또는 다른 적합한 매체가 광학적으로 스캐닝되어 필요한 경우 다른 적합한 방법들로 편집, 해독, 또는 처리되어 전기적 방식으로 프로그램을 획득하여, 프로그램이 컴퓨터 메모리들에 저장될 수 있기 때문이다.
본 개시의 각각의 부분은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 실현될 수 있다는 점이 이해되어야 한다. 상술한 실시예들에서, 복수의 단계들 또는 방법들은 메모리에 저장된 소프트웨어 또는 펌웨어에 의해 실현되며 그리고 적합한 명령 실행 시스템에 의해 실행될 수 있다. 예를 들어, 하드웨어에 의해 실현되는 경우, 다른 실시예에서와 마찬가지로, 상기 단계들 또는 방법들은 본 기술분야에 공지된 다음의 기술들 중 하나 또는 조합에 의해 실현될 수 있다: 데이터 신호의 논리 기능을 실현하기 위한 논리 게이트 회로를 가지는 이산 논리 회로, 적절한 조합 논리 게이트 회로를 가지는 주문형 집적회로, 프로그램가능 게이트 어레이(PGA), 필드 프로그램가능 게이트 어레이(FPGA) 등.
"일 실시예", "몇몇의 실시예들", "일례", "특정 예시" 또는 "몇몇의 예시들"에 대한 본 명세서 전반에 걸친 언급은, 실시예 또는 예시와 관련하여 설명되는 특정한 특징, 구조, 재료 또는 특성이 본 개시의 적어도 하나의 실시예 또는 예시에 포함된다는 것을 의미한다. 본 명세서에서, 상술한 용어들의 예시적인 설명들이 반드시 동일한 실시예 또는 예시를 언급하는 것이 아니다. 또한, 특정한 특징들, 구조들, 재료들 또는 특성들은 하나 이상의 실시예들 또는 예시들에서 임의의 적합한 방식으로 조합될 수도 있다. 또한, 본 기술 분야의 통상의 기술자들은 본 개시에서 설명되는 실시예들 또는 예시들에서 상이한 실시예들 또는 상이한 특성들을 조합할 수 있다.
비록 본 개시의 실시예들이 앞에서 도시되고 설명되었지만, 상술한 실시예들은 단지 설명을 위한 것이며, 그리고 본 개시를 제한하는 것으로 해석될 수 없고, 본 기술 분야의 통상의 기술자들은 본 개시의 원리 및 범위를 벗어나지 않고 실시예들에 대한 변경들, 대안들, 및 수정들을 행할 수 있다.
Claims (15)
- 이미징 방법으로서, 이미지 센서(100)는 감광 유닛들의 어레이(10), 상기 감광 유닛들의 어레이(10) 상에 배치되는 필터 유닛들의 어레이(20), 및 상기 필터 유닛들의 어레이(20) 상에 배치되는 마이크로 렌즈들의 어레이(30)를 포함하고, 상기 감광 유닛들의 어레이(10)는 포커싱 감광 유닛들(11) 및 비-포커싱 감광 유닛들(12)을 포함하고, 상기 이미지 센서(100)는 제 1 출력 모드 및 제 2 출력 모드를 포함하고, 상기 방법은:
현재의 주변 광도를 검출하는 단계(21);
상기 현재의 주변 광도가 사전설정된 강도 보다 작은 경우, 상기 이미지 센서(100)가 제 1 출력 모드로 진입하도록 제어하는 단계(22);
상기 제 1 출력 모드 하에서, 상기 감광 유닛들의 어레이(10)가 포커싱 모드(focusing mode)로 진입하도록 제어하는 단계(23);
각각의 포커싱 감광 유닛(11)에서의 감광 픽셀들(110)의 일부분의 출력값들을 제 1 출력값들로 획득하는 단계(24);
각각의 포커싱 감광 유닛(11)에서의 감광 픽셀들(110)의 다른 부분의 출력값들을 제 2 출력값들로 획득하는 단계(25);
상기 제 1 출력값들 및 상기 제 2 출력값들에 따라 포커싱 제어(focusing control)를 수행하는 단계(26);
상기 제 1 출력 모드 하에서, 상기 감광 유닛들의 어레이(10)가 이미징 모드로 진입하도록 제어하는 단계(27); 및
상기 제 1 출력 모드 하에서 이미지를 생성하기 위해 상기 감광 유닛들의 어레이(10)가 노광(expose)되도록 제어하는 단계(28);
를 포함하는,
방법. - 제 1 항에 있어서,
상기 제 1 출력값들 및 제 2 출력값들에 따라 상기 포커싱 제어를 수행하는 단계(26)는:
상기 제 1 출력값들에 따라 제 1 위상값을 생성하는 단계;
상기 제 2 출력값들에 따라 제 2 위상값을 생성하는 단계; 및
상기 제 1 위상값 및 상기 제 2 위상값에 따라 상기 포커싱 제어를 수행하는 단계;
를 포함하는,
방법. - 제 1 항 또는 제 2 항에 있어서,
각각의 상기 포커싱 감광 유닛들(11) 및 각각의 상기 비-포커싱 감광 유닛들(12) 양쪽 모두는 M*M 감광 픽셀들(110)을 포함하고, 상기 제 1 출력 모드 하에서 상기 이미지를 생성하기 위해 상기 감광 유닛들의 어레이가 노광되도록 제어하는 단계(28)는:
상기 포커싱 감광 유닛들(11) 및 상기 비-포커싱 감광 유닛들(12)이 노광되도록 제어하고, 그리고 상기 포커싱 감광 유닛들(11) 및 상기 비-포커싱 감광 유닛들(12)의 출력값들을 획득하는 단계; 및
동일한 포커싱 감광 유닛(11)의 M*M 감광 픽셀들(110)의 출력값들을 합산하고 그리고 동일한 비-포커싱 감광 유닛(12)의 M*M 감광 픽셀들(110)의 출력값들을 합산하여 상기 포커싱 감광 유닛들(11) 및 상기 비-포커싱 감광 유닛들(12)의 픽셀값들을 획득함으로써 상기 제 1 출력 모드 하에서 상기 이미지를 생성하는 단계 - M은 양의 정수임 -;
를 포함하는,
방법. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 현재의 주변 광도가 상기 사전설정된 강도 보다 큰 경우, 상기 이미지 센서(100)가 상기 제 2 출력 모드로 진입하도록 제어하는 단계;
상기 제 2 출력 모드 하에서, 상기 감광 유닛들의 어레이(10)가 상기 포커싱 모드로 진입하도록 제어하는 단계;
각각의 포커싱 감광 유닛(11)에서의 감광 픽셀들(110)의 일부분의 출력값들을 제 3 출력값들로 획득하는 단계;
각각의 포커싱 감광 유닛(11)에서의 감광 픽셀들(110)의 다른 부분의 출력값들을 제 4 출력값들로 획득하는 단계;
상기 제 3 출력값들 및 제 4 출력값들에 따라 상기 포커싱 제어를 수행하는 단계;
상기 제 2 출력 하에서, 상기 감광 유닛들의 어레이(10)가 상기 이미징 모드로 진입하도록 제어하는 단계; 및
상기 제 2 출력 모드 하에서 이미지를 생성하기 위해 상기 감광 유닛들의 어레이(10)가 노광되도록 제어하는 단계;
를 포함하는,
방법. - 제 4 항에 있어서,
상기 제 2 출력 모드 하에서 상기 이미지를 생성하기 위해 상기 감광 유닛들의 어레이(10)가 노광되도록 제어하는 단계는:
상기 감광 유닛들의 어레이(10)가 노광되도록 제어하고, 그리고 상기 감광 유닛들의 어레이(10)의 출력값들을 획득하여 상기 감광 유닛들의 어레이(10)의 픽셀값들을 획득함으로써 상기 제 2 출력 모드 하에서 상기 이미지를 생성하는 단계 - 상기 감광 유닛들의 어레이(10)의 픽셀값들은 보간 검출 알고리즘(interpolation retrieving algorithm)을 통해 획득됨 -;
를 포함하는,
방법. - 제 5 항에 있어서,
상기 보간 검출 알고리즘을 통해 상기 감광 유닛들의 어레이(10)의 상기 픽셀값들을 획득하는 단계는:
현재 픽셀의 컬러가 상기 현재 픽셀과 동일한 위치에 있는 연관 픽셀의 컬러와 동일한지 여부를 결정하는 단계;
상기 현재 픽셀의 컬러가 상기 현재 픽셀과 동일한 위치에 있는 상기 연관 픽셀의 컬러와 동일한 경우, 상기 연관 픽셀의 픽셀값을 상기 현재 픽셀의 픽셀값으로 결정하는 단계; 및
상기 현재 픽셀의 컬러가 상기 현재 픽셀과 동일한 위치에 있는 상기 연관 픽셀의 컬러와 상이한 경우, 보간 알고리즘에 기초하여 상기 연관 픽셀의 픽셀값에 따라 상기 현재 픽셀의 픽셀값을 결정하는 단계 - 상기 감광 유닛들의 어레이는 연관 픽셀 유닛들을 포함하고, 각각의 연관 픽셀 유닛은 상기 현재 픽셀과 동일한 컬러를 가지며 그리고 상기 현재 픽셀에 인접함 -;
을 포함하는,
방법. - 이미지 센서로서,
감광 유닛들의 어레이(10);
상기 감광 유닛들의 어레이(10) 상에 배치되는 필터 유닛들의 어레이(20); 및
상기 필터 유닛들의 어레이(20) 상에 배치되는 마이크로 렌즈들의 어레이(30);
를 포함하고,
상기 감광 유닛들의 어레이(10)는 포커싱 감광 유닛들(11) 및 비-포커싱 감광 유닛들(12)을 포함하는,
이미지 센서. - 제 7 항에 있어서,
상기 마이크로 렌즈들의 어레이(30)는 제 1 마이크로 렌즈들(31) 및 제 2 마이크로 렌즈들(32)을 포함하고, 하나의 제 1 마이크로 렌즈(31)는 하나의 포커싱 감광 유닛(11)을 커버하고, N*N 제 2 마이크로 렌즈들(32)은 하나의 비-포커싱 감광 유닛(12)을 커버하고, N은 양의 정수인,
이미지 센서. - 제 8 항에 있어서,
상기 마이크로 렌즈들의 어레이(30)는 제 3 마이크로 렌즈들(33)을 더 포함하고, 하나의 제 1 마이크로 렌즈(31)는 N*N 제 3 마이크로 렌즈들(33)을 커버하고, 그리고 상기 N*N 제 3 마이크로 렌즈들(33)은 하나의 포커싱 감광 유닛(11)을 커버하는,
이미지 센서. - 제 9 항에 있어서,
각각의 상기 제 1 마이크로 렌즈(31)의 형상은 각각의 상기 제 3 마이크로 렌즈(33)의 형상과 상이한,
이미지 센서. - 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
제 1 마이크로 렌즈들(31)의 제 1 그룹은 상기 이미지 센서(100)의 수평 중심선을 따라 배치되고; 그리고
제 1 마이크로 렌즈들(31)의 제 2 그룹은 상기 이미지 센서(100)의 수직 중심선을 따라 배치되는,
이미지 센서. - 제 11 항에 있어서,
제 1 마이크로 렌즈들(31)의 제 3 그룹은 4개의 경계선들을 따라 배열되는,
이미지 센서. - 제 12 항에 있어서,
상기 제 1 마이크로 렌즈들(31)들의 제 1 그룹 및 상기 제 1 마이크로 렌즈들(31)의 제 2 그룹의 밀도들은 상기 제 1 마이크로 렌즈들(31)의 제 3 그룹의 밀도들 보다 큰,
이미지 센서. - 제 7 항 내지 제 13 항 중 어느 한 항에 있어서,
각각의 상기 포커싱 감광 유닛들(11) 및 각각의 상기 비-포커싱 감광 유닛들(12)은 M*M 감광 픽셀들(110)을 포함하고, M은 양의 정수인,
이미지 센서. - 전자 디바이스로서,
이미지 센서(100);
현재의 주변 광도를 검출하도록 구성되는 검출 모듈(1720); 및
상기 현재의 주변 광도를 검출하는 것 이외에 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 제어 모듈(1730);
을 포함하고,
상기 이미지 센서(100)는:
감광 유닛들의 어레이(10);
상기 감광 유닛들의 어레이(10) 상에 배치되는 필터 유닛들의 어레이(20); 및
상기 필터 유닛들의 어레이(20) 상에 배치되는 마이크로 렌즈들의 어레이(30);
를 포함하고,
상기 감광 유닛들의 어레이(10)는 포커싱 감광 유닛들(11) 및 비-포커싱 감광 유닛들(12)을 포함하는,
전자 디바이스.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710297653.4 | 2017-04-28 | ||
| CN201710297653.4A CN107105141B (zh) | 2017-04-28 | 2017-04-28 | 图像传感器、图像处理方法、成像装置和移动终端 |
| PCT/CN2018/081781 WO2018196568A1 (en) | 2017-04-28 | 2018-04-03 | Image sensor, imaging method and electronic device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190089017A true KR20190089017A (ko) | 2019-07-29 |
| KR102161557B1 KR102161557B1 (ko) | 2020-10-06 |
Family
ID=59657465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197018149A KR102161557B1 (ko) | 2017-04-28 | 2018-04-03 | 이미지 센서, 이미징 방법 및 전자 디바이스(image sensor, imaging method and electronic device) |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10484627B2 (ko) |
| EP (1) | EP3396942B1 (ko) |
| JP (1) | JP6878604B2 (ko) |
| KR (1) | KR102161557B1 (ko) |
| CN (1) | CN107105141B (ko) |
| TW (1) | TWI651582B (ko) |
| WO (1) | WO2018196568A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021158043A1 (ko) * | 2020-02-04 | 2021-08-12 | 삼성전자 주식회사 | 전자 장치 및 오토 포커스 수행 방법 |
| US11363222B2 (en) | 2020-06-18 | 2022-06-14 | SK Hynix Inc. | Image sensing device |
| WO2023003368A1 (ko) * | 2021-07-21 | 2023-01-26 | 삼성전자 주식회사 | 오토 포커스 기능을 제공하는 방법 및 그 전자 장치 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107105141B (zh) * | 2017-04-28 | 2019-06-28 | Oppo广东移动通信有限公司 | 图像传感器、图像处理方法、成像装置和移动终端 |
| US10848693B2 (en) * | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
| US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
| CN108900772A (zh) * | 2018-07-19 | 2018-11-27 | 维沃移动通信有限公司 | 一种移动终端及图像拍摄方法 |
| CN109167941B (zh) * | 2018-11-09 | 2021-02-09 | 德淮半导体有限公司 | 图像传感器及其制造方法 |
| KR102624107B1 (ko) | 2018-12-06 | 2024-01-12 | 삼성전자주식회사 | 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치 |
| US11245878B2 (en) * | 2019-02-28 | 2022-02-08 | Qualcomm Incorporated | Quad color filter array image sensor with aperture simulation and phase detection |
| CN110062144A (zh) * | 2019-05-14 | 2019-07-26 | 德淮半导体有限公司 | 相位对焦图像传感器及其形成方法、工作方法 |
| KR102662032B1 (ko) * | 2019-06-19 | 2024-05-03 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 포함하는 전자 장치 |
| CN112444793A (zh) * | 2019-08-30 | 2021-03-05 | Oppo广东移动通信有限公司 | 飞行时间tof系统和tof发射器 |
| KR20210080875A (ko) | 2019-12-23 | 2021-07-01 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
| US11373431B2 (en) | 2020-01-20 | 2022-06-28 | Visual Sensing Technology Co., Ltd. | Electronic device |
| CN113140578A (zh) * | 2020-01-20 | 2021-07-20 | 胜薪科技股份有限公司 | 电子装置 |
| WO2022000485A1 (zh) * | 2020-07-03 | 2022-01-06 | 深圳市汇顶科技股份有限公司 | 光电转换单元、图像传感器及对焦方法 |
| CN114467176A (zh) * | 2020-08-03 | 2022-05-10 | 深圳市汇顶科技股份有限公司 | 图像传感器、图像处理方法及装置、成像系统 |
| US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
| KR20220051881A (ko) | 2020-10-19 | 2022-04-27 | 삼성전자주식회사 | 비닝 모드에서의 아티팩트를 개선하는 이미지 센서 |
| KR20220077735A (ko) | 2020-12-02 | 2022-06-09 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서의 픽셀 어레이 |
| US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140136727A (ko) * | 2013-05-21 | 2014-12-01 | 삼성전자주식회사 | 전자 센서와, 그의 제어 방법 |
| KR101492624B1 (ko) * | 2006-12-18 | 2015-02-12 | 가부시키가이샤 니콘 | 촬상 소자, 초점 검출 장치 및 촬상 장치 |
| KR20160111121A (ko) * | 2015-03-16 | 2016-09-26 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
| WO2016181626A1 (ja) * | 2015-05-14 | 2016-11-17 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| WO2017052893A1 (en) * | 2015-09-24 | 2017-03-30 | Qualcomm Incorporated | Mask-less phase detection autofocus |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6638786B2 (en) | 2002-10-25 | 2003-10-28 | Hua Wei Semiconductor (Shanghai ) Co., Ltd. | Image sensor having large micro-lenses at the peripheral regions |
| US7505206B2 (en) * | 2006-07-10 | 2009-03-17 | Taiwan Semiconductor Manufacturing Company | Microlens structure for improved CMOS image sensor sensitivity |
| JP5672989B2 (ja) | 2010-11-05 | 2015-02-18 | ソニー株式会社 | 撮像装置 |
| DE102013102667A1 (de) * | 2013-03-15 | 2014-10-02 | Osram Opto Semiconductors Gmbh | Anzeigevorrichtung |
| US9372286B2 (en) * | 2013-04-11 | 2016-06-21 | Omnivision Technologies, Inc. | Method of forming dual size microlenses for image sensors |
| CN103531603B (zh) * | 2013-10-30 | 2018-10-16 | 上海集成电路研发中心有限公司 | 一种cmos图像传感器 |
| CN106030200A (zh) * | 2014-02-24 | 2016-10-12 | 3M创新有限公司 | 包括远程降频转换器的光学装置 |
| CN104064577A (zh) * | 2014-07-16 | 2014-09-24 | 上海集成电路研发中心有限公司 | 自动对焦的图像传感器 |
| KR20170032227A (ko) * | 2014-07-16 | 2017-03-22 | 소니 주식회사 | 복안 촬상 장치 |
| KR20160010986A (ko) * | 2014-07-21 | 2016-01-29 | 에스케이하이닉스 주식회사 | 이미지 센서 |
| KR102294316B1 (ko) * | 2014-08-04 | 2021-08-26 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
| CN104241310B (zh) * | 2014-09-23 | 2017-11-07 | 上海集成电路研发中心有限公司 | 一种具有双微透镜层的cmos图像像素阵列 |
| US9853076B2 (en) * | 2015-04-16 | 2017-12-26 | Taiwan Semiconductor Manufacturing Co., Ltd. | Stacked grid for more uniform optical input |
| US10002899B2 (en) * | 2015-09-16 | 2018-06-19 | Taiwan Semiconductor Manufacturing Co., Ltd. | Microlens for a phase detection auto focus (PDAF) pixel of a composite grid structure |
| KR102390836B1 (ko) | 2015-10-05 | 2022-04-26 | 삼성전자주식회사 | 이미지 데이터를 생성하는 전자 장치 및 방법 |
| CN105611122B (zh) * | 2015-12-18 | 2019-03-01 | Oppo广东移动通信有限公司 | 图像传感器及输出方法、相位对焦方法、成像装置和终端 |
| CN106982329B (zh) | 2017-04-28 | 2020-08-07 | Oppo广东移动通信有限公司 | 图像传感器、对焦控制方法、成像装置和移动终端 |
| CN107135340A (zh) | 2017-04-28 | 2017-09-05 | 广东欧珀移动通信有限公司 | 图像传感器、对焦控制方法、成像装置和移动终端 |
| CN107040724B (zh) | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107040702B (zh) | 2017-04-28 | 2020-06-05 | Oppo广东移动通信有限公司 | 图像传感器、对焦控制方法、成像装置和移动终端 |
| CN107105141B (zh) | 2017-04-28 | 2019-06-28 | Oppo广东移动通信有限公司 | 图像传感器、图像处理方法、成像装置和移动终端 |
-
2017
- 2017-04-28 CN CN201710297653.4A patent/CN107105141B/zh active Active
-
2018
- 2018-01-10 TW TW107100949A patent/TWI651582B/zh active
- 2018-02-09 US US15/893,475 patent/US10484627B2/en active Active
- 2018-03-21 EP EP18163006.2A patent/EP3396942B1/en active Active
- 2018-04-03 WO PCT/CN2018/081781 patent/WO2018196568A1/en active Application Filing
- 2018-04-03 JP JP2019540603A patent/JP6878604B2/ja active Active
- 2018-04-03 KR KR1020197018149A patent/KR102161557B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101492624B1 (ko) * | 2006-12-18 | 2015-02-12 | 가부시키가이샤 니콘 | 촬상 소자, 초점 검출 장치 및 촬상 장치 |
| KR20140136727A (ko) * | 2013-05-21 | 2014-12-01 | 삼성전자주식회사 | 전자 센서와, 그의 제어 방법 |
| KR20160111121A (ko) * | 2015-03-16 | 2016-09-26 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
| WO2016181626A1 (ja) * | 2015-05-14 | 2016-11-17 | パナソニックＩｐマネジメント株式会社 | 撮像装置 |
| WO2017052893A1 (en) * | 2015-09-24 | 2017-03-30 | Qualcomm Incorporated | Mask-less phase detection autofocus |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021158043A1 (ko) * | 2020-02-04 | 2021-08-12 | 삼성전자 주식회사 | 전자 장치 및 오토 포커스 수행 방법 |
| US11363222B2 (en) | 2020-06-18 | 2022-06-14 | SK Hynix Inc. | Image sensing device |
| WO2023003368A1 (ko) * | 2021-07-21 | 2023-01-26 | 삼성전자 주식회사 | 오토 포커스 기능을 제공하는 방법 및 그 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3396942A1 (en) | 2018-10-31 |
| US10484627B2 (en) | 2019-11-19 |
| JP2020505863A (ja) | 2020-02-20 |
| KR102161557B1 (ko) | 2020-10-06 |
| CN107105141A (zh) | 2017-08-29 |
| TWI651582B (zh) | 2019-02-21 |
| WO2018196568A1 (en) | 2018-11-01 |
| EP3396942B1 (en) | 2020-05-13 |
| TW201839487A (zh) | 2018-11-01 |
| US20180316878A1 (en) | 2018-11-01 |
| JP6878604B2 (ja) | 2021-05-26 |
| CN107105141B (zh) | 2019-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102161557B1 (ko) | 이미지 센서, 이미징 방법 및 전자 디바이스(image sensor, imaging method and electronic device) | |
| US10764522B2 (en) | Image sensor, output method, phase focusing method, imaging device, and terminal | |
| KR102166941B1 (ko) | 듀얼-코어 포커싱 이미지 센서, 이의 포커싱 제어 방법, 및 전자 디바이스(dual-core focusing image sensor, focusing control method for the same, and electronic device) | |
| KR102173852B1 (ko) | 카메라 어셈블리 및 모바일 전자장치 | |
| CN106982329B (zh) | 图像传感器、对焦控制方法、成像装置和移动终端 | |
| US11108943B2 (en) | Image sensor, focusing control method, and electronic device | |
| US9497397B1 (en) | Image sensor with auto-focus and color ratio cross-talk comparison | |
| CN103238097B (zh) | 成像设备和对焦位置检测方法 | |
| KR20180059478A (ko) | 마스크리스 위상 검출 오토포커스 | |
| CN107040702B (zh) | 图像传感器、对焦控制方法、成像装置和移动终端 | |
| CN1366423A (zh) | 图象感测设备、遮蔽校正方法、程序以及存储介质 | |
| CN107105140B (zh) | 双核对焦图像传感器及其对焦控制方法和成像装置 | |
| KR20190085982A (ko) | 카메라 어셈블리 및 모바일 전자 디바이스(camera assembly and mobile electronic device) | |
| US20170337667A1 (en) | Method and device for obtaining a hdr image by graph signal processing | |
| TW201705751A (zh) | 用於穩健晶片內建相位檢測之影像感測器以及相關系統和方法 | |
| JP6230760B1 (ja) | 撮像装置、画像処理装置、画像処理方法および画像処理プログラム | |
| CN113660415A (zh) | 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质 | |
| CN107124536B (zh) | 双核对焦图像传感器及其对焦控制方法和成像装置 | |
| JP2015080125A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |