KR20180059842A - 위상 검출 오토포커스 연산 - Google Patents
위상 검출 오토포커스 연산 Download PDFInfo
- Publication number
- KR20180059842A KR20180059842A KR1020187011529A KR20187011529A KR20180059842A KR 20180059842 A KR20180059842 A KR 20180059842A KR 1020187011529 A KR1020187011529 A KR 1020187011529A KR 20187011529 A KR20187011529 A KR 20187011529A KR 20180059842 A KR20180059842 A KR 20180059842A
- Authority
- KR
- South Korea
- Prior art keywords
- phase detection
- diodes
- image
- diode
- phase
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 375
- 238000000034 method Methods 0.000 claims abstract description 130
- 238000003384 imaging method Methods 0.000 claims abstract description 85
- 230000008569 process Effects 0.000 claims description 74
- 230000000644 propagated effect Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000001902 propagating effect Effects 0.000 claims description 8
- 239000004065 semiconductor Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 238000005314 correlation function Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 101100365003 Mus musculus Scel gene Proteins 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H04N5/23212—
-
- H04N5/3696—
-
- H04N9/045—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
Abstract
특정 양태들은 오토포커스 정보를 계산하기 위해 위상 검출 픽셀들에 추가하여 이미징 픽셀들 (즉, 비-위상 검출 픽셀들) 을 이용하기 위한 시스템들 및 기법들에 관한 것이다. 이미징 픽셀 값들은 위상 검출 픽셀 로케이션에서 값을 보간하기 위해 사용될 수 있다. 보간된 값 및 위상차 검출 픽셀로부터 수신된 값은 가상 위상 검출 픽셀 값을 획득하기 위해 사용될 수 있다. 보간된 값, 위상차 검출 픽셀로부터 수신된 값, 및 가상 위상 검출 픽셀 값은 이미지 포커스의 시프트 방향 (디포커스 방향) 및 시프트 양 (디포커스 양) 을 나타내는 위상차 검출 신호를 획득하기 위해 사용될 수 있다.
Description
본 명세서에서 개시된 시스템들 및 방법들은 위상 검출 오토포커스에 관한 것이고, 보다 상세하게는, 오토포커스를 계산하기 위해 위상 검출 픽셀들에 추가하여 이미징 픽셀들을 이용하는 것에 관한 것이다.
일부 이미지 캡처 디바이스들은 오토포커스를 수행하기 위해 (또한 "픽셀들" 로도 지칭될 수도 있는) 위상차 (phase difference) 검출 센서들을 이용한다. 온-센서 위상차 검출은 "좌측" 픽셀들 및 "우측" 위상 검출 픽셀들의 반복하는 성긴 (sparse) 패턴들로 통상 배열된, 이미징 픽셀들 사이에 위상차 검출 픽셀들을 산재시킴으로써 작동한다. 시스템은 상이한 위상차 검출 픽셀들에 의해 생성된 신호들 간의, 예를 들어, 좌측 픽셀 데이터로부터 생성된 이미지와 우측 픽셀 데이터로부터 생성된 이미지 간의 위상차들을 검출한다. 검출된 위상차들은 오토포커스를 수행하는데 이용될 수 있다.
위상 검출 오토포커스는 콘트라스트-기반 오토포커스보다 더 빨리 동작한다. 하지만, 많은 현재의 구현들은 좌측 및 우측 위상 검출 픽셀들을 생성하기 위해 이미지 센서 위에 금속 마스크를 배치하여, 그 결과 더 적은 광이 마스킹된 픽셀들에 도달하게 된다. 위상 검출 픽셀들의 출력이 정상 이미지 캡처링 픽셀들의 출력보다 더 낮은 밝기 (brightness) 를 갖기 때문에, 위상차 검출 픽셀들은 보정 (correction) 을 요구하는 캡처링된 이미지들에서의 뚜렷한 아티팩트 (noticeable artifact) 들을 생성한다. 이미징 픽셀들 사이에 개별적으로 위상 검출 픽셀들을 배치함으로써, 시스템은 위상 검출 픽셀들에 대한 값들을 보간할 수 있다.
마스킹된 픽셀들은 쌍을 이루어 이용된다. 장면에 포커스가 맞지 않는 경우, 위상 검출 픽셀 마스크 위상은 인입 광을 약간 시프트한다. 그들의 상대적 시프트들과 결합된, 위상 검출 픽셀들 간의 거리는, 장면에 포커스를 맞추기 위해 광학 어셈블리가 렌즈를 대략 적으로 얼마나 이동시켜야 하는지의 결정을 내리도록 컨볼빙될 수 있다.
통상적으로, 위상 검출 픽셀들은 다수의 이미징 픽셀들에 의해 이격된 쌍들에서 제공된다. 위상 검출 픽셀 쌍들의 패턴은 일부 경우들에서 심지어 정정 후에도 결과적인 이미지 데이터에서 눈에 띌 수 있다. 또한, 위상 검출 픽셀들을 거리를 두고 이격시킴으로써, 쌍을 이룬 위상 검출 픽셀들이 타겟 이미지 장면에서 에지의 대향 측들 (opposing sides) 로부터 광을 수신할 때 위상 검출 오토포커스 프로세스는 에러에 취약하게 된다.
다른 것들 중에서도, 전술한 문제점들은 오토포커스 정보를 계산하기 위해 위상 검출 픽셀들에 추가하여 이미징 픽셀들 (즉, 비-위상 검출 픽셀들) 을 이용하는 본원에 기술된 위상 검출 오토포커스 시스템들 및 기법들에 의해 일부 실시형태들에서 해결된다. 유리하게는, 이것은 보다 적은 위상 검출 픽셀들을 이용하는 위상 검출 오토포커스를 제공할 수 있어서, 정정을 요하는 보다 적은 아티팩트들 (artifacts) 을 초래한다. 또한, 위상 검출 픽셀과 동일한 로케이션에서 중심 픽셀 값을 보간하는 것 및 중심 픽셀과 위상 검출 픽셀 사이의 디스패리티 (disparity) 를 계산하는 것에 의해, 에지 로케이션들로 인한 디스패리티 부정확성들은 개시된 시스템들 기법들에 의해 완화될 수 있다.
하나의 혁신은, 복수의 다이오드들; 및, 프로세서를 포함하는 이미징 장치를 포함하고, 이 복수의 다이오드들은, 타겟 장면을 나타내는 이미지 정보로서, 이 이미지 정보는 복수의 다이오드들의 제 1 서브셋트 (subset) 로부터 수신되는, 상기 이미지 정보, 또는, 위상 검출 정보로서, 이 위상 검출 정보는 복수의 다이오드들의 제 2 서브셋트로부터 수신되는, 상기 위상 검출 정보, 중 하나를 캡처하도록 각각 구성되고, 프로세서는, 복수의 다이오드들의 제 2 서브셋트의 각각의 다이오드에 대해, 다이오드로부터 수신된 위상 검출 정보를 액세스하고, 이미지 정보로부터, 다이오드의 로케이션에 대응하는 중심 값을 결정하며, 그리고, 중심 값 및 액세스된 위상 검출 정보로부터, 로케이션에 대응하는 가상 위상 검출 값을 결정하고, 복수의 다이오드들의 제 2 서브셋트의 적어도 일부로부터의 위상 검출 정보에 기초한 위상 검출 이미지, 복수의 다이오드들의 제 2 서브셋트의 각각에 대한 중심 값에 기초한 중심 이미지, 및, 복수의 다이오드들의 제 2 서브셋트의 적어도 일부에 대한 가상 위상 검출 값에 기초한 가상 위상 검출 이미지, 중 적어도 2 개를 생성하며, 생성된 이미지들 중 2 개의 이미지들 간의 위상차를 계산하고, 그리고, 위상차에 기초하여 오토포커스 조정을 결정하기 위한, 명령들로 구성된다.
다음은 이러한 이미징 장치들의 몇몇 특징들 및 실시형태들의 비제한적인 예들이다. 예를 들어, 프로세서는, 중심 값으로부터 로케이션에서의 다이오드로부터 수신된 위상 검출 값을 감산함으로써 가상 위상 검출 값을 결정하도록 구성될 수 있다. 프로세서는, 로케이션 주위의 미리결정된 복수의 다이오드들로부터 수신된 이미지 정보를 이용하여 중심 값을 보간함으로써 중심 값을 결정하도록 구성될 수 있다. 프로세서는, 중심 이미지 및 가상 위상 검출 이미지 사이의 위상차를 계산하도록 구성될 수 있다. 복수의 다이오드들의 제 2 서브셋트는 대향하는 위상 검출 다이오드들의 복수의 쌍들을 포함할 수 있다. 프로세서는, 복수의 다이오드들의 제 2 서브셋트의 각각의 다이오드에 대해, 대향하는 위상 검출 다이오드를 식별하고; 그리고, 대향하는 위상 검출 다이오드에 대응하는 대향하는 가상 위상 이미지 및 대향하는 위상 검출 이미지를 식별하도록 구성될 수 있다. 프로세서는, 중심 이미지, 위상 검출 이미지, 대향하는 위상 검출 이미지, 가상 위상 이미지, 및 대향하는 가상 위상 이미지의 모든 가능항 쌍들 간의 위상차들을 식별하도록 구성될 수 있다. 프로세서는, 위상차들에 기초하여 오토포커스 조정을 계산하도록 구성될 수 있다. 이미징 장치는, 타겟 장면으로부터 전파되는 광의 부분을 차단하기 위해 복수의 다이오드들의 제 2 서브셋트의 각각 위에 위치되어, 복수의 다이오드들의 제 2 서브셋트의 각각은 특정 방향에서 타겟 장면으로부터 전파되는 광만을 수집하도록 하는 마스킹 엘리먼트를 포함할 수 있다. 이미징 장치는, 복수의 다이오드들의 제 2 서브셋트의 적어도 2 개의 인접하는 다이오드들 위에 위치된 마이크로렌즈를 포함할 수 있고, 마이크로렌즈는, 타겟 장면으로부터 적어도 2 개의 인접하는 다이오드들의 제 1 다이오드로 전파되는 광의 제 1 부분 및 타겟 장면으로부터 적어도 2 개의 인접하는 다이오드들의 제 2 다이오드로 전파되는 광의 제 2 부분을 통과시키도록 형성되며, 제 1 부분은 제 1 방향으로 전파되고, 제 2 부분은 제 2 방향으로 전파된다. 복수의 다이오드들은, 복수의 다이오드들의 2-차원 매트릭스를 갖는 반도체 기판일 수 있다. 복수의 다이오드들의 제 2 서브셋트의 제 1 절반과 연관된 광학 엘리먼트들은, 복수의 다이오드들의 제 2 서브셋트의 제 1 절반의 각각의 다이오드가 제 1 방향에서 타겟 장면으로부터 전파되는 광만을 수집하여 위상 검출 정보의 제 1 절반을 생성하도록 구성될 수 있다. 복수의 다이오드들의 제 2 서브셋트의 제 2 절반과 연관된 광학 엘리먼트들은, 복수의 다이오드들의 제 2 서브셋트의 제 2 절반의 각각의 다이오드가 제 2 방향에서 타겟 장면으로부터 전파되는 광만을 수집하여 위상 검출 정보의 제 2 절반을 생성하도록 구성될 수 있다. 복수의 다이오드들의 제 2 서브셋트의 각각은 광-차단 마스크를 통해 타겟 장면으로부터 전파되는 광을 수신하고, 중심 값을 결정하는 것은 로케이션 주위의 복수의 다이오드들의 제 1 서브셋트의 3x3 이웃 (neighborhood) 으로부터 수신된 값들에 기초하여 중심 값을 보간하는 것을 포함할 수 있다. 복수의 다이오드들의 제 2 서브셋트의 각각은 멀티-다이오드 마이크로렌즈들을 통해 타겟 장면으로부터 입사되는 광을 수신할 수 있고, 중심 값을 결정하는 것은 로케이션 주위의 복수의 다이오드들의 제 1 서브셋트의 3x4 이웃으로부터 수신된 값들에 기초하여 중심 값을 보간하는 것을 포함할 수 있다. 멀티-다이오드 마이크로렌즈들 하에 위치된 각각의 다이오드에 대해 가상 위상 검출 값을 결정하는 것은 중심 값을 이용하여 행해질 수 있다.
다른 혁신은, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서를 포함하고, 이 프로세스는, 복수의 이미징 다이오드들로부터 타겟 장면을 나타내는 이미지 정보를 액세스하는 것; 복수의 이미징 다이오드들의 2-차원 배열 내의 대응하는 복수의 로케이션들에서 위치된 복수의 위상 검출 다이오드들의 각각의 위상 검출 다이오드에 대해, 위상 검출 다이오드로부터 수신된 위상 검출 정보를 액세스하는 것, 이미지 정보로부터, 위상 검출 다이오드의 로케이션에 대응하는 중심 값을 결정하는 것, 및, 중심 값 및 액세스된 위상 검출 정보로부터, 로케이션에 대응하는 가상 위상 검출 값을 결정하는 것; 복수의 위상 검출 다이오드들의 각각에 대한 위상 검출 정보에 기초한 위상 검출 이미지, 복수의 위상 검출 다이오드들의 각각에 대한 중심 값에 기초한 중심 이미지, 및, 복수의 위상 검출 다이오드들의 각각에 대한 가상 위상 검출 값에 기초한 가상 위상 검출 이미지, 중 적어도 2 개를 생성하는 것; 생성된 이미지들 중 2 개의 이미지들 간의 위상차를 계산하는 것; 및, 위상차에 기초하여 오토포커스 조정을 결정하는 것을 포함한다.
다음은 이러한 프로세서들의 몇몇 특징들 및 실시형태들의 비제한적인 예들이다. 예를 들어, 복수의 위상 검출 다이오드들은 복수의 이미징 다이오드들의 2-차원 배열 내의 대응하는 복수의 로케이션들에서 위치될 수 있고, 중심 값을 결정하는 것은 로케이션 주위의 미리결정된 이미징 다이오드들로부터 수신된 값들을 이용하는 것을 포함할 수 있다. 각각의 위상 검출 다이오드는 클리어 컬러 필터를 통해서 또는 컬러 필터를 통하지 않고 타겟 장면으로부터 전파되는 광을 수신할 수 있고, 중심 값을 계산하는 것은 로케이션 주위의 미리결정된 이미징 다이오드들로부터 수신된 적색, 청색, 및 녹색 컬러 값들을 이용하는 것을 포함할 수 있다. 각각의 위상 검출 다이오드는 녹색 컬러 필터를 통해 타겟 장면으로부터 전파되는 광을 수신할 수 있고, 중심 값을 계산하는 것은 로케이션 주위의 미리결정된 이미징 다이오드들로부터 수신된 녹색 컬러 값들을 이용하는 것을 포함할 수 있다. 각각의 위상 검출 다이오드는 광-차단 마스크를 통해 타겟 장면으로부터 입사되는 광을 수신할 수 있고, 로케이션 주위의 미리결정된 이미징 다이오드들은 이미징 다이오드들의 3x3 어레이를 포함할 수 있다. 각각의 위상 검출 다이오드는 멀티-다이오드 마이크로렌즈들을 통해 타겟 장면으로부터 입사되는 광을 수신할 수 있고, 로케이션 주위의 미리결정된 이미징 다이오드들은 이미징 다이오드들의 3x4 어레이를 포함할 수 있다. 멀티-다이오드 마이크로렌즈들 하에 위치된 각각의 다이오드에 대해 가상 위상 검출 값을 결정하는 것은 중심 값을 이용하는 것을 포함할 수 있다.
또 다른 혁신은, 위상 검출 오토포커스 프로세스를 포함하고, 이 프로세스는, 복수의 이미징 다이오드들로부터 타겟 장면을 나타내는 이미지 정보를 액세스하는 것; 복수의 이미징 다이오드들의 2-차원 배열 내의 로케이션들에 대응하는 복수의 로케이션들에서 위치된 복수의 위상 검출 다이오드들의 각각의 위상 검출 다이오드에 대해, 위상 검출 다이오드로부터 수신된 위상 검출 정보를 액세스하는 것, 이미지 정보로부터, 위상 검출 다이오드의 로케이션에 대응하는 중심 값을 결정하는 것, 및, 중심 값 및 액세스된 위상 검출 정보로부터, 로케이션에 대응하는 가상 위상 검출 값을 결정하는 것; 각각의 위상 검출 다이오드의 가상 위상 검출 값 및 위상 검출 정보에 기초하여 제 1 이미지 및 제 2 이미지를 생성하는 것; 제 1 이미지 및 제 2 이미지 간의 위상차를 계산하는 것; 및, 위상차에 기초하여 오토포커스 조정을 결정하는 것을 포함한다.
다음은 이러한 프로세스들의 몇몇 특징들 및 실시형태들의 비제한적인 예들이다. 예를 들어, 프로세스는 추가적으로, 복수의 위상 검출 다이오드들의 좌측 서브셋트를 식별하는 것 및 복수의 위상 검출 다이오드들의 우측 서브셋트를 식별하는 것을 포함할 수 있다. 제 1 이미지를 생성하는 것은, 복수의 위상 검출 다이오드들의 좌측 서브셋트로부터 수신된 위상 검출 정보를, 복수의 위상 검출 다이오드들의 우측 서브셋트의 로케이션들에 대응하는 복수의 가상 위상 검출 값들과 결합하는 것을 포함할 수 있고, 제 2 이미지를 생성하는 것은, 복수의 위상 검출 다이오드들의 우측 서브셋트로부터 수신된 위상 검출 정보를, 복수의 위상 검출 다이오드들의 좌측 서브셋트의 로케이션들에 대응하는 복수의 가상 위상 검출 값들과 결합하는 것을 포함할 수 있다. 제 1 이미지를 생성하는 것은 복수의 위상 검출 다이오드들의 좌측 서브셋트로부터 수신된 위상 검출 정보에 기초할 수 있고, 제 2 이미지를 생성하는 것은 복수의 위상 검출 다이오드들의 좌측 서브셋트의 로케이션들에 대응하는 복수의 가상 위상 검출 값들에 기초할 수 있다. 각각의 위상 검출 다이오드는 클리어 컬러 필터를 통해서 또는 컬러 필터를 통하지 않고 타겟 장면으로부터 전파되는 광을 수신할 수 있고, 중심 값을 계산하는 것은 로케이션 주위의 복수의 이미징 다이오드들의 미리결정된 이웃으로부터 수신된 적색, 청색, 및 녹색 컬러 값들을 이용하는 것을 포함할 수 있다. 각각의 위상 검출 다이오드는 녹색 컬러 필터를 통해 타겟 장면으로부터 전파되는 광을 수신할 수 있고, 중심 값을 계산하는 것은 로케이션 주위의 복수의 이미징 다이오드들의 미리결정된 이웃으로부터 수신된 녹색 컬러 값들을 이용하는 것을 포함할 수 있다.
또 다른 혁신은, 타겟 장면을 나타내는 이미지 정보를 캡처하는 수단; 위상 검출 정보를 캡처하기 위한 복수의 수단들; 위상 검출 정보를 캡처하기 위한 복수의 수단들의 각각의 위상 캡처 수단에 대해, 위상 캡처 수단으로부터 수신된 위상 검출 정보를 액세스하고, 이미지 정보로부터, 위상 캡처 수단의 로케이션에 대응하는 중심 값을 결정하며, 그리고, 중심 값 및 액세스된 위상 검출 정보로부터, 로케이션에 대응하는 가상 위상 검출 값을 결정하는 수단; 위상 검출 정보를 캡처하기 위한 복수의 수단들의 적어도 일부의 위상 검출 정보에 기초한 위상 검출 이미지, 복수의 다이오드들의 제 2 서브셋트의 각각에 대한 중심 값에 기초한 중심 이미지, 및, 위상 검출 정보를 캡처하기 위한 복수의 수단들의 적어도 일부에 대한 가상 위상 검출 값에 기초한 가상 위상 검출 이미지, 중 적어도 2 개를 생성하는 수단; 생성된 이미지들 중 2 개의 이미지들 간의 위상차를 계산하는 수단; 및, 위상차에 기초하여 오토포커스 조정을 결정하는 수단을 포함하는, 이미징 장치를 포함한다.
개시된 양태들은 개시된 양태들을 제한하는 것이 아니라 예시하기 위해 제공된, 첨부된 도면들 및 부록들과 함께 이하에 설명될 것이며, 여기서 동일한 지정들은 동일한 엘리먼트들을 나타낸다.
도 1a 는 위상 검출 오토포커스 정보를 획득하기 위한 일 예시적인 멀티-다이오드 마이크로렌즈들의 개략적인 모습을 묘사한다.
도 1b 및 도 1c 는 위상 검출 오토포커스 정보를 획득하기 위한 예시적인 마스킹된 다이오드의 개략적인 모습들을 묘사한다.
도 2a 는 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 2b 는 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 2c 는 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 2d 는 마스킹된 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 3a 및 도 3b 는 중심 픽셀 값을 계산하기 위한 예시적인 방법들의 그래픽적 표현들을 묘사한다.
도 3c 는 가상 픽셀 값을 계산하기 위한 일 예시적인 방법의 그래픽적 표현을 묘사한다.
도 3d 는 다양한 위상 검출 이미지들의 오프셋의 그래픽적 표현을 나타낸다.
도 4a 는 본원에 기술된 바와 같은 노이즈-감소된 위상 검출 오토포커스 프로세스를 수행하기 위한 프로세스의 하나의 실시형태의 플로우차트를 나타낸다.
도 4b 는 본원에 기술된 바와 같은 노이즈-감소된 위상 검출 오토포커스 프로세스를 수행하기 위한 프로세스의 다른 실시형태의 플로우차트를 나타낸다.
도 5 는 멀티-다이오드 마이크로렌즈들을 갖는 센서를 이용하는 일 예시적인 위상 검출 오토포커스 프로세스의 하이-레벨 개관을 묘사한다.
도 6 은 위상 검출 오토포커스 디바이스들 및 기법들을 갖춘 이미징 시스템의 일 예를 예시하는 개략적 블록도를 묘사한다.
도 1a 는 위상 검출 오토포커스 정보를 획득하기 위한 일 예시적인 멀티-다이오드 마이크로렌즈들의 개략적인 모습을 묘사한다.
도 1b 및 도 1c 는 위상 검출 오토포커스 정보를 획득하기 위한 예시적인 마스킹된 다이오드의 개략적인 모습들을 묘사한다.
도 2a 는 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 2b 는 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 2c 는 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 2d 는 마스킹된 위상 검출 다이오드들의 쌍에 진입하는 광의 일 예시적인 레이 트레이스를 묘사한다.
도 3a 및 도 3b 는 중심 픽셀 값을 계산하기 위한 예시적인 방법들의 그래픽적 표현들을 묘사한다.
도 3c 는 가상 픽셀 값을 계산하기 위한 일 예시적인 방법의 그래픽적 표현을 묘사한다.
도 3d 는 다양한 위상 검출 이미지들의 오프셋의 그래픽적 표현을 나타낸다.
도 4a 는 본원에 기술된 바와 같은 노이즈-감소된 위상 검출 오토포커스 프로세스를 수행하기 위한 프로세스의 하나의 실시형태의 플로우차트를 나타낸다.
도 4b 는 본원에 기술된 바와 같은 노이즈-감소된 위상 검출 오토포커스 프로세스를 수행하기 위한 프로세스의 다른 실시형태의 플로우차트를 나타낸다.
도 5 는 멀티-다이오드 마이크로렌즈들을 갖는 센서를 이용하는 일 예시적인 위상 검출 오토포커스 프로세스의 하이-레벨 개관을 묘사한다.
도 6 은 위상 검출 오토포커스 디바이스들 및 기법들을 갖춘 이미징 시스템의 일 예를 예시하는 개략적 블록도를 묘사한다.
본 개시의 실시형태들은 오토포커스 정보를 계산하기 위해 위상 검출 픽셀들에 추가하여 이미징 픽셀들 (즉, 비-위상 검출 픽셀들) 을 이용하기 위한 시스템들 및 기법들에 관한 것이다. 이미징 픽셀 값들은 위상 검출 픽셀 로케이션에서 값을 보간하기 위해 사용될 수 있다. 보간된 값 및 위상차 검출 픽셀로부터 수신된 값은 이미지 포커스의 시프트 방향 (디포커스 방향) 및 시프트 양 (디포커스 양) 을 나타내는 위상차 검출 신호를 획득하기 위해 사용될 수 있다. 유리하게는, 이것은 정정을 요하는 보다 적은 아티팩트들을 초래하는, 보다 적은 위상 검출 픽셀들을 이용하는 위상 검출 오토포커스, 및 보다 정확한 오토포커스를 제공할 수 있다.
이미징 픽셀들로부터 수신된 이미지 데이터는, 예를 들어, 본 명세서에서 "중심 픽셀 (center pixel)" 값으로서 지칭되는, 위상 검출 픽셀과 동일한 로케이션에서 값을 보간하기 위해 사용될 수 있다. 중심 픽셀 값은 하나의 예에서 4 개의 인접하는 녹색 픽셀들로부터 보간될 수 있다. 다른 예들에서, 중심 값은 예를 들어, 5x5, 7x7 등의 다양한 사이즈들의 구역에서 임의의 컬러의 이웃하는 픽셀들로부터 계산될 수 있다.
하나의 접근법은 중심 픽셀 데이터로부터 생성된 이미지와 우측 픽셀로부터 생성된 이미지 사이의 디스패리티를 계산할 수 있다. 이 디스패리티는 오토포커스를 계산하기 위해 사용될 수 있다. 예를 들어, 중심 픽셀 값이 보간된 후에, 2 개의 이미지들이 구성될 수 있다: 우측 픽셀 데이터로부터 생성된 제 1 이미지 및 중심 픽셀 데이터로부터 생성된 제 2 이미지. 이들 이미지들은 이미지 센서 상의 알려진 로케이션들에서의 다수의 우측 픽셀들 및 대응하는 중심 픽셀들로부터의 정보에 기초하여 생성될 수 있다. 우측 픽셀 이미지 및 보간된 중심 픽셀 이미지는, 예를 들어, 좌측 및 우측 이미지들의 상호-상관을 적용하는 것 및 그 다음에 상호-상관 결과들에 적어도 부분적으로 기초하여 렌즈 이동의 양을 결정하는 것에 의해 오토포커스 계산들을 위한 위상 검출을 위해 사용될 수 있다. 유사한 프로세스가 우측 픽셀 정보, 좌측 픽셀 정보, 및 중심 픽셀 정보로 생성된 2 개의 이미지들의 다른 결합들을 위해 사용될 수도 있다.
다른 접근법은, 대응하는 위상 검출 픽셀에 대한 값을 추정하기 위해 중심 픽셀 값 및 단일 위상 검출 픽셀을 이용하고, 그 다음에, 오토포커스를 위한 실제 위상 검출 픽셀 및 추정된 가상 위상 검출 픽셀 사이의 디스패리티를 이용할 수 있다.
예를 들어, 보간된 중심 픽셀 값 마이너스 우측 위상 검출 픽셀의 값은 우측 위상 검출 픽셀에 대응하는 가상 좌측 위상 검출 픽셀의 값을 계산한다. 가상 좌측 픽셀 값이 감산에 의해 생성된 후에, 2 개의 이미지들이 구성된다: 우측 픽셀 데이터로부터 생성된 제 1 이미지 및 가상 좌측 픽셀 데이터로부터 생성된 제 2 이미지. 이들 이미지들은 이미지 센서 상의 위상 검출 픽셀 로케이션들에서의 다수의 우측 픽셀들 및 대응하는 가상 좌측 픽셀들에 기초하여 생성될 수 있다. 우측 픽셀 이미지 및 가상 좌측 픽셀 이미지는, 예를 들어, 가상 좌측 및 우측 이미지들의 상호-상관을 적용하는 것에 의해 오토포커스 계산들을 위한 위상 검출을 위해 사용될 수 있다. 이해되는 바와 같이, 다른 구현들은 좌측 픽셀들에 대해 실제 값들을 사용하고, 우측 픽셀들에 대해 가상 값들을 계산할 수도 있고, 또는, 좌측 및 우측 픽셀들 대신에, 이러한 감산 기법에 대해 상부 및 하부 픽셀들을 사용할 수 있다.
다른 구현들은 위상 검출 픽셀들 및 그 위상 검출 픽셀들의 각각에 대응하는 이웃하는 픽셀 값들로부터 5 개의 상이한 이미지들의 일부 또는 전부를 추출할 수 있다:
(1) (위상 검출 픽셀 로케이션들에서의 보간된 중심 픽셀 값들로부터의) 중심 이미지,
(2) (위상 검출 오토포커스에서와 같이, 좌측 위상 검출 픽셀 값들로부터의) 좌측 이미지,
(3) (위상 검출 오토포커스에서와 같이, 우측 위상 검출 픽셀 값들로부터의) 우측 이미지,
(4) (보간된 중심 픽셀 값들로부터 우측 위상 검출 픽셀 값들을 감산하는 것으로부터의) 가상 좌측 이미지,
(5) (보간된 중심 픽셀 값들로부터 좌측 위상 검출 픽셀 값들을 감산하는 것으로부터의) 가상 우측 이미지.
이러한 구현들에서, 위상 검출 상관은 다음과 같은 이미지들의 조합들을 모두 또는 어느 것을 이용하여 수행될 수 있다:
(1) 우측 이미지 또는 가상 우측 이미지와 함께 가상 좌측 이미지,
(2) 좌측 이미지 또는 가상 좌측 이미지와 함께 가상 우측 이미지, 및
(3) 중심 이미지 및 다른 4 개의 이미지들의 어느 것.
일부 구현들은 우측 가상 위상 검출 픽셀 값들 및 우측 실제 위상 검출 픽셀 값들에 기초하여 결합된 우측 이미지를 형성할 수 있고, 또한, 좌측 가상 위상 검출 픽셀 값들 및 좌측 실제 위상 검출 픽셀 값들에 기초하여 결합된 좌측 이미지를 형성할 수 있으며; 이러한 구현들은 그 다음에 결합된 이미지들에 대해 좌측-우측 이미지 상관을 수행할 수 있고, 이에 의해, 가상 위상 검출 정보 없이 수행되는 통상적인 좌측-우측 상관에 비해 위상 검출 정보의 양을 배로 할 수 있다. 강건한 위상 검출 알고리즘의 하나의 예에서, 상관은 상술된 5 개의 이미지들의 모든 가능한 조합들에 걸쳐 검색될 수 있다.
비록 본 명세서에서는 마스킹된 위상 검출 픽셀들의 맥락에서 주로 논의되지만, 본원에서 기술되는 멀티-이미지 위상 검출 기법들은 또한, 예를 들어 마이크로렌즈 형성으로 인한 위상 정보를 수신하는 마스크-리스 위상 검출 픽셀들에도 적용가능하다.
다양한 실시형태들은 예시의 목적들을 위해 도면들과 함께 아래에 설명될 것이다. 개시된 개념들의 많은 다른 구현들이 가능하고, 다양한 이점들이 개시된 구현들로 달성될 수 있다는 것이 인식되어야 한다. 본 명세서에는 참조를 위해 그리고 다양한 섹션들을 로케이트하는 것을 돕기 위해 표제들이 포함된다. 이들 표제들은 그것에 대하여 설명된 개념들의 범위를 제한하도록 의도되지 않는다. 이러한 개념들은 전체 명세서 전반에 걸쳐 적용가능성을 가질 수도 있다.
예시적인 위상 검출 마이크로렌즈 및 컬러 필터 배열들의 개관
도 1a 는 위상 데이터를 생성하기 위한 멀티-다이오드 마이크로렌즈 (110) 를 포함하는 일 예시적인 센서 부분 (100) 의 개략도를 묘사한다. 센서 부분은 단일-다이오드 마이크로렌즈들 (105), 멀티-다이오드 마이크로렌즈들 (110), 복수의 컬러 필터들 (115) 을 포함하는 필터 어레이 (108), 및 센서 어레이 (107) 에 배열된 포토다이오드들 ("다이오드들") (120A-120D) 을 포함한다. 멀티-다이오드 마이크로렌즈들 (110) 은, 타겟 장면으로부터 들어오는 광이, 광이 통과하도록 멀티-다이오드 마이크로렌즈들 (110) 에 의해 커버되는 센서 어레이 (107) 의 다이오드들 (120b, 120C) 을 측에 입사하기 전에 멀티-다이오드 마이크로렌즈들 (110) 을 통해 전파하도록 사이징되고 포지셔닝된다.
다이오드들은, 반도체 기판, 예를 들어, 상보적 금속-산화물 반도체 (CMOS) 이미지 센서에 형성된 포토다이오드들일 수 있다. 본 명세서에서 사용한 바와 같이, 다이오드는 임의의 재료, 반도체, 센서 엘리먼트 또는 입사 광을 전류로 컨버팅하는 다른 디바이스의 단일 유닛을 지칭한다. 용어 "픽셀" 은 본 명세서에서 사용한 바와 같이 컬러 필터들 또는 마이크로렌즈들과 같은 인접한 광학 엘리먼트들로 인해 그 센싱 기능성의 맥락에서 단일 다이오드를 지칭할 수 있다. 이에 따라, "픽셀" 은 일반적으로 디스플레이 픽처 엘리먼트를 지칭할 수도 있지만, "픽셀" 은 본 명세서에서 사용한 바와 같이, 광을 수신하고 디스플레이 상에 렌더링되는 경우, 센서 (및 복수의 다른 센서들) 에 의해 캡처링된 이미지에서 일 포인트로서 디스플레이될 수도 있는 신호를 생성하는 센서 (예를 들어, 포토다이오드) 를 지칭할 수도 있다. 예를 들어 CMOS 또는 전하-결합 (CCD) 디바이스에서의, 센서들의 어레이의 개개의 유닛들 또는 센싱 엘리먼트들은 또한 센셀 (sensel) 들로 지칭될 수 있다.
컬러 필터들 (115) 은 파장-선택적 통과 필터 (pass filter) 들로서의 역할을 하고 가시 범위에서의 인입 광을 적색, 녹색, 및 청색 범위들로 스플리팅 (또는 필터링) 한다. 인입 광은 예를 들어 타겟 장면으로부터의 것이다. 광은 단지 소정의 선택된 파장들이 컬러 필터들 (115) 을 통과하는 것을 허용하는 것에 의해 "스플리팅" 되고, 광의 필터링은 컬러 필터들 (115) 의 구성에 기초한다. 다양한 타입들의 컬러 필터들 (115) 이 사용될 수도 있다. 도 1a 에서 예시된 바와 같이, 스플리팅된 광은 전용 적색, 녹색, 또는 청색 다이오드들 (120A-120D) 에 의해 수신된다. 적색, 청색, 및 녹색 컬러 필터들이 통상 이용되지만, 다른 실시형태들에서는 예를 들어 자외선, 적외선, 또는 근적외선 (near-infrared) 통과 필터들을 포함하여, 컬러 필터들이 캡처링된 이미지 데이터의 컬러 채널 요건들에 따라 가변할 수 있다.
각각의 단일-다이오드 마이크로렌즈들 (105) 은 단일 컬러 필터 (115) 및 단일 다이오드 (120A, 120D) 위에 포지셔닝된다. 다이오드들 (120A, 120D) 은 이에 따라 이미징 픽셀 정보를 제공한다. 마이크로렌즈 어레이 (106) 에서의 단일-다이오드 마이크로렌즈들 하에서의 컬러 필터들은 일부 실시형태들에서 베이어 패턴 (Bayer pattern) 에 따라 포지셔닝될 수 있다. 멀티-다이오드 마이크로렌즈 (110) 는 2 개의 인접한 컬러 필터들 (115B, 115C) 및 2 개의 대응하는 인접한 다이오드들 (120B, 120C) 위에 포지셔닝된다. 다이오드들 (120B, 120C) 은 이에 따라 다이오드 (120B) 가 제 1 방향으로 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광을 수신하고 다이오드 (120C) 가 제 2 방향으로 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광을 수신하는 것에 의해 위상 검출 픽셀 정보를 제공한다. 마이크로렌즈 어레이 (106) 에서의 단일-다이오드 마이크로렌즈들 하에서의 컬러 필터들은 일부 실시형태들에서 동일 파장의 광을 통과시키도록 선택될 수 있다.
본 명세서에서 사용한 바와 같이, "위에 (over)" 및 "상방에 (above)" 는, 타겟 장면으로부터 입사된 광이 그 광이 다른 구조물에 도달하기 (또는 입사되기) 전에 구조물을 통하여 전파하도록 하는 구조물 (예를 들어, 컬러 필터 또는 렌즈) 의 포지션을 지칭한다. 예시하기 위해, 마이크로렌즈 어레이 (106) 는 다이오드들 (120A 내지 120D) 상방에 포지셔닝되는 컬러 필터 어레이 상방에 포지셔닝된다. 이에 따라, 타겟 장면으로부터의 광은 먼저 마이크로렌즈 어레이를 통과한 후, 컬러 필터 어레이를 통과하고, 마지막으로 다이오드들 (115A 내지 115D) 에 입사된다.
도 1a 는 (대시 기호로 이루어진) 선 (130) 을 묘사하며, 이 선 (130) 은 물리적 구조가 아니라 오히려 멀티-다이오드 마이크로렌즈 (110) 에 의해 제공된 위상 검출 능력들을 예시하기 위해 묘사되는 것으로 이해되어야 한다. 선 (130) 은 멀티-다이오드 마이크로렌즈 (110) 의 광학적 중심을 통과하고 컬러 필터들 (115A 내지 115D) 의 컬러 필터 어레이에 의해 형성된 평면에 직교한다. 멀티-다이오드 마이크로렌즈가 2x1 마이크로렌즈인 경우, 멀티-다이오드 마이크로렌즈 (110) 는 제 1 방향으로 입사된, 즉 선 (130) 의 한쪽으로부터 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광 L(x) 이 제 1 다이오드 (120B) 에서 수집되도록 형성된다. 제 2 방향으로 입사된, 즉, 선 (130) 의 다른 쪽으로부터 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광은 제 2 다이오드 (120C) 에서 수집된다. 이에 따라, 다이오드들 (120B, 120C) 로부터 수신된 데이터는 위상 검출을 위해 이용될 수 있다. 멀티-다이오드 마이크로렌즈가 2x2 마이크로렌즈인 경우, 멀티-다이오드 마이크로렌즈 (110) 는, 4 개의 방향들 (여기서 일 방향은 멀티-다이오드 마이크로렌즈 (110) 의 1/4 을 통과하는 광으로 고려됨) 로 입사된 광 L(x) 이 4 개의 다이오드들에 입사되도록 형성된다.
도 1b 및 도 1c 는 위상 검출 오토포커스 정보를 획득하기 위한 예시적인 마스킹된 다이오드의 개략적인 모습들을 묘사한다. 도 1b 는 컬러 필터들 (115) 아래에 포지셔닝된 마스크들 (125A, 125B) 을 갖는 일 예시적인 배열 (100B) 을 나타내는 한편, 도 1c 는 컬러 필터들 (115) 위에 포지셔닝된 마스크들 (125A, 125B) 을 갖는 일 예시적인 배열 (100C) 을 나타낸다. 타겟 장면으로부터의 광은 마스크들 (125A, 125B), 마이크로렌즈들 (115), 및 컬러 필터들을 통과하기 전에 프라이머리 포커싱 렌즈 어셈블리 (미도시) 을 통과하고, 그 다음에, 위상 검출 다이오드들 (120E, 120F) 의 쌍에 입사한다. 위상 검출 다이오드들 (120E, 120F) 은, 이미지 센서의 설계 고려사항들에 의존하여, 서로에 대해 인접할 수도 있고, 또는, 하나 이상의 다이오드들에 의해 이격될 수도 있으며, 동일한 행 또는 열에 또는 상이한 행들 또는 열들에 있을 수도 있다.
마스크들 (125A, 125B) 은 오직 특정 방향에서 (도시된 바와 같이, 단일-다이오드 마이크로렌즈 (105) 의 광학적 중심을 통해 점선 (130) 의 일 측으로부터) 입사하는 광만을 다이오드들 (120E, 120F) 에서 선택적으로 수집되도록 허용한다. 예를 들어, 위상차를 생성하기 위해, 광-차단 마스크들 (125A, 125B) 이 쌍을 생성하기 위해 대향 방향에서 2 개의 다이오드들 (120E, 120F) 위에 배치되고, 수만 쌍들이 위상차 오토포커스를 위한 데이터를 획득하기 위해 이미지 센서의 2-차원 매트릭스에 배열될 수 있다. 다이오드들 (120E, 120F)에 입사하는 광의 양은 단일-다이오드 마이크로렌즈 (105) 의 광학 축들에 대해 마스크들 (125A, 125B) 에 의해 형성된 하프-개구들에 의해 이미징 다이오드들에 비해 50% 만큼 감소된다.
도 2a 내지 도 2c 는 한 쌍의 위상 검출 다이오드들 (120B, 120C) 에 입사되기 전에 메인 렌즈 (250) 를 통하여 이동한 후 멀티-다이오드 마이크로렌즈 (110) 를 통하여 이동하는 광의 예시적인 광선의 트레이스들을 묘사한다. 메인 렌즈 (250) 및 멀티-다이오드 마이크로렌즈 (110) 의 치수들은 일정 비율로 도시되지 않는다는 것이 인식될 것이다. 멀티-다이오드 마이크로렌즈 (110) 의 직경은 이미지 센서의 2 개의 인접한 다이오드들에 걸쳐 이어지는 거리와 대략 동일할 수 있는 한편, 메인 렌즈 (250) 의 직경은 이미지 센서의 폭 (다이오드들의 로우 또는 컬럼을 따르는 거리) 이상일 수 있다.
구체적으로, 도 2a 는 인-포커스 컨디션의 일 예시적인 광선 트레이스를 묘사하고, 도 2b 는 프론트-포커스 컨디션의 일 예시적인 광선 트레이스를 묘사하고, 도 2c 는 백-포커스 컨디션의 일 예시적인 광선 트레이스를 묘사한다. 광은 타겟 장면에서 포인트 (260) 로부터 이동하고, 타겟 장면을 위상 검출 다이오드들 (120B, 120C) 을 포함하는 이미지 센서에 포커싱하기 위해 렌즈 (250) 를 통하여 이동하고, 위상 검출 다이오드들 (120B, 120C) 에 입사되기 전에 멀티-다이오드 마이크로렌즈 (110) 를 통과한다. 예시한 바와 같이, 다이오드 (120B) 는 메인 렌즈 (250) 의 좌측 방향으로부터의 광 L(x) 을 수신하고 다이오드 (120C) 는 메인 렌즈 (250) 의 우측 방향으로부터의 광 R(x) 을 수신한다. 일부 실시형태들에서, 좌측 방향으로부터의 광 L(x) 은 메인 렌즈 (250) 의 좌측 절반 (도 2a-1c 의 예에서의 하부 절반으로서 묘사됨) 으로부터의 광일 수 있고 우측 방향으로부터의 광 R(x) 은 메인 렌즈 (250) 의 우측 절반 (도 2a-1c 의 예시에서의 상부 절반으로서 묘사됨) 으로부터의 광일 수 있다. 이에 따라, 이미지 센서에 걸쳐 이미징 다이오드들과 인터리빙된 다수의 위상 검출 다이오드들이 이미징 다이오드들에 의해 캡처링된 중심 이미지로부터 오프셋되는 좌측 및 우측 이미지들을 추출하는데 이용될 수 있다. 우측 및 좌측 대신에, 다른 실시형태들은 오토포커스 조정들을 계산하기 위해 상 (up) 및 하 (down) 이미지들, 대각선 이미지들, 또는 좌/우, 상/하, 및 대각선 이미지들의 조합을 이용할 수 있다.
이미지에 포커스가 맞는 (in focus) 경우, 좌측 광선들 L(x) 및 우측 광선들 R(x) 은 위상 검출 다이오드들 (115B, 115C) 의 평면에서 수렴한다. 도 1c 및 도 2c 에 예시한 바와 같이, 프론트 및 백 디포커스 포지션들에서, 광선들은 각각 다이오드들의 평면 앞 및 뒤에서 수렴한다. 상기 설명한 바와 같이, 위상 검출 다이오드들로부터의 신호들은 프론트 또는 백 디포커스 포지션들에서 중심 이미지로부터 오프셋되는 좌측 및 우측 이미지들을 생성하는데 이용될 수 있고, 오프셋 양은 메인 렌즈 (250) 에 대한 오토포커스 조정을 결정하는데 이용될 수 있다. 메인 렌즈 (250) 는 초점이 서브젝트 앞에 있는지 (이미지 센서에 더 가까움), 또는 서브젝트 뒤에 있는지 (이미지 센서로부터 더 멀리 떨어져 있음) 에 의존하여, 순방향으로 (이미지 센서를 향함) 또는 역방향으로 (이미지 센서에서 떠남) 이동될 수 있다. 오토포커스 프로세스가 메인 렌즈 (250) 의 움직임의 방향과 양 (amount) 양자 모두를 알아낼 수 있기 때문에, 위상차 오토포커스는 아주 빨리 포커싱할 수 있다.
도 2d 는 한 쌍의 위상 검출 다이오드들 (120F, 120E) 에 입사되기 전에 메인 렌즈 (미도시) 를 통하여 이동한 후 위상 검출 마스크들 (125A, 125B) 에 의해 형성된 개구들을 통해 이동하는 광의 예시적인 광선의 트레이스들을 묘사한다. 도 2d 는, 메인 렌즈의 좌 L(x) 및 우 R(x) 측들로부터의 광선들이 이미지 센서의 평면 뒤에서 수렴하므로, 백-포커스 컨디션을 묘사한다. 예시된 바와 같이, 메인 렌즈의 우 R(x) 측으로붙의 광은 위상 검출 마스크들 (125A, 125B) 에 의해 형성된 하프-개구들로 인해 다이오드 (120F) 상에 입사한다.
예시적인 멀티-이미지 위상 검출
오토포커스의
개관
도 3a 는 마스킹된 위상 검출 다이오드에 대해 중심 픽셀 값을 계산하기 위한 예시적인 방법들의 그래픽적 표현들을 묘사한다. 본 명세서에서 사용된 바와 같이, "중심 픽셀 값" 은 하나 이상의 부근의 이미징 다이오드들로부터 수신되는 신호들을 이용하여 위상 검출 다이오드의 로케이션에서 보간된 컬러 및/또는 밝기 값을 지칭한다. 비록 도 3a 의 예는 마스킹된 위상 검출 다이오드를 묘사하지만, 다른 구현들은 위상 데이터를 생성하기 위해 상기 설명된 멀티-다이오드 마이크로렌즈를 사용할 수도 있다.
도 3a 의 예시에서 도시된 바와 같이, 하나의 실시형태에서, 중심 픽셀 값은 4 개의 대각선으로-인접한 녹색 픽셀 값들에 기초하여 위상 검출 다이오드의 로케이션 (305) 에서 보간될 수 있다. 이러한 접근법은 위상 검출 다이오드 위의 로케이션 (305) 에서 녹색 컬러 필터를 갖는 일부 구현들에서 사용될 수 있다. 다른 예들에서, 중심 값은 다양한 사이즈들의 구역들, 예를 들어, 5x5, 7x7 등에서의 임의의 컬러의 이웃 픽셀들로부터 계산될 수 있다.
일부 실시형태들에서, 위상 검출 다이오드는 다이오드 위에 배치된 클리어 (clear) 컬러 필터를 가지거나 컬러 필터를 가지지 않을 수도 있다. 비록 다른 필터, 예를 들어, 적외선 컷-오프 필터가 또한 다이오드 위에 배치될 수도 있지만, 클리어 컬러 필터 하의 위상 검출 다이오드 또는 컬러 필터 없는 것은 컬러 필터링되지 않은 가시 광을 수신한다. 이에 따라, 다이오드에 입사하는 광의 밝기는 파장-선택적 통과 필터를 갖는 다이오드에 비해 증가될 수 있고, 이는 하프-개구에 의해 다이오드에 입사하는 광의 감소로 인해 낮은 광 설정들에서의 위상 데이터를 제공하는데 유익할 수도 있다. 이러한 실시형태들에서, 중심 픽셀 값은, 모든 컬러들의 이웃하는 픽셀 값들, 예를 들어, 위상 검출 다이오드의 로케이션을 둘러싸는 3x3 이웃에서의 모두 8 개의 다이오드들로부터 수신되는 값들에 기초하여 보간될 수 있다. 하나의 예에서, 선형 가중 함수가 3x3 이웃에서의 8 개의 다이오드들로부터의 중심 픽셀 값을 결정하기 위해 사용될 수 있다.
중심 이미지는 이미지 센서를 가로지르는 다수의 로케이션들로부터의 중심 픽셀 값들로부터 구성될 수 있다. 하프-이미지들은 이미지 센서를 가로지르는 다수의 로케이션들에서의 위상 검출 다이오드들로부터 수신된 값들로부터 구성될 수 있다.
도 3b 는 멀티-다이오드 마이크로렌즈 (110) 하의 위상 검출 다이오드들의 쌍에 대해 중심 픽셀 값을 계산하기 위한 예시적인 방법의 그래픽적 표현을 묘사한다. 도시된 예에서, 멀티-다이오드 마이크로렌즈 (110) 하의 양 다이오드들은 녹색 컬러 필터들 아래에 있다. 이에 따라, 멀티-다이오드 마이크로렌즈 (110) 을 둘러싸는 3x4 이웃에서의 5 개의 녹색 픽셀 값들이 중심 픽셀 값을 계산하기 위해서 사용된다. 다른 실시형태들에서, 이웃들과는 상이한 녹색 픽셀 값들, 예를 들어, 멀티-다이오드 마이크로렌즈의 행을 다른 5x1 이웃으로부터의 2 개의 녹색 값들, 5x6 이웃으로부터의 녹색 값들 등이 사용될 수 있다.
다른 실시형태에서, 멀티-다이오드 마이크로렌즈 (110) 하의 양 다이오드들은 클리어 컬러 필터 아래에 있을 수 있다. 이러한 실시형태들에서, 중심 픽셀 값은 모든 컬러들의 이웃하는 픽셀 값들, 예를 들어, 멀티-다이오드 마이크로렌즈 (110) 의 로케이션을 둘러싸는 3x4 이웃에서의 모든 10 개의 다이오드들로부터 수신되는 값들에 기초하여 결정될 수 있다. 하나의 예에서, 선형 가중 함수가 3x4 이웃에서의 10 개의 다이오드들로부터의 중심 픽셀 값을 결정하기 위해 사용될 수 있다.
멀티-다이오드 마이크로렌즈 (110) 하의 양 다이오드들에 대해 동일한 중심 픽셀 값이 사용될 수 있다, 즉, 멀티-다이오드 마이크로렌즈 (110) 하의 양 다이오드들로부터 수신된 값들에 부분적으로 기초하여 생성된 하프-이미지들은 중심 픽셀 값에 부분적으로 기초하여 생성된 중심 이미지에 대해 비교될 수 있다.
도 3c 는 가상 픽셀 값을 계산하기 위한 일 예시적인 방법의 그래픽적 표현을 묘사한다. 도시된 예에서, 우측 광 검출 센셀 (포커싱 렌즈 어셈블리의 우 R(x) 측으로부터 광을 수신하는 상기 설명된 다이오드들 (120C, 120E) 로부터 수신된 값은 가상 좌측 위상 검출 픽셀 값 Lv 으로서 묘사된 가상 위상 검출 픽셀 값을 생성하기 위해 보간된 중심 픽셀 값으로부터 감산된다. 우측 위상 검출 픽셀 값 R 및 가상 좌측 위상 검출 픽셀 값 Lv 은 대향하는 위상 검출 픽셀들의 쌍을 형성하고, 이는 일부 실시형태들에서 다수의 다른 우측 및 가상 좌측 위상 검출 픽셀 값들과 함께 하프-이미지들을 생성하기 위해 사용될 수 있다. 하프-이미지들은 오토포커스 조정을 결정하기 위해 사용가능한 위상차를 결정하기 위해 서로에 대해 비교될 수 있다.
쌍을 이루는 대향하는 위상 검출 픽셀의 로케이션에서 가상 우측, 상부, 하부, 및 대각선 위상 검출 픽셀 값들을 생성하기 위해 유사한 기법들이 이용도리 수 있음을 이해할 것이다.
도 3d 는 이미지들을 캡처하기 위해 사용되는 이미징 시스템이 디포커스 컨디션에 있을 때 중심 픽셀 값 C 에 대한, 오프셋 다양한 위상 검출 픽셀 값들 L, Lv, R, 및 Rv 을 묘사하는 오프셋 연속체 (300) 의 그래픽적 표현을 예시한다. 오프셋은 포커스 포인트에 비교되는 디포커스의 양 및 디포커스의 방향을 나타낸다. 이해될 바와 같이, 인-포커스 컨디션에서, 오프셋이 적거나 없고, 픽셀 값들 C, L, Lv, R, 및 Rv 은 오프셋 연속체 (300) 상의 동일 포인트에 위치될 것이다.
디포커스 컨디션 및 그것의 C, L, Lv, R, 및 Rv 픽셀 값들에 대한 영향은 오프셋 연속체 (300) 상의 착란원 도들 (301-305) 에 의해 예시된다. 블러 스폿 (blur spot) 으로서 또한 지칭되는 착란원은, 예를 들어 도 2b 및 도 2c 에서 예시된 포커스 컨디션들에서 발생하는, 포인트 소스를 이미징할 때 이미지 센서의 평면에서 포커스 포인트에 일치하지 않는 광선들의 콘에 의해 야기되는 광학적 스폿이다. 중심 픽셀 값에 대응하는 전체 블러 스폿 (301) 이 도시되고, 이는 마스킹되지 않은 개구를 통해 센셀 상에 입사하는 광을 나타낸다. 블러 스폿 (301) 의 형상에 비교되어 도시된, 초승달 모양의 블러 스폿 (302) 은 센셀 위의 개구의 우측 절반 (또는 대략적 절반) 을 차단하는 마스크 하에서 센셀 상에 입사하고, 이에 의해, 좌측 위상 검출 픽셀 값 L 을 생성한다. 유사하게, 블러 스폿 (301) 의 형상에 비교되어 도시된, 초승달 모양의 블러 스폿 (303) 은 센셀 위의 개구의 좌측 절반 (또는 대략적 절반) 을 차단하는 마스크 하에서 센셀 상에 입사하고, 이에 의해, 우측 위상 검출 픽셀 값 R 을 생성한다. 픽셀 값 C 의 전체 블러 스폿 (301) 으로부터의 우측 위상 검출 픽셀의 초승달 모양의 블러 스폿 (303) 의 감산으로서 계산된 가상 좌측 Lv 픽셀의 블러 스폿 (304) 은 대략적으로 마르키즈 형상 또는 렌즈 형상이다. 유사하게, 픽셀 값 C 의 전체 블러 스폿 (301) 으로부터의 좌측 위상 검출 픽셀의 초승달 모양의 블러 스폿 (302) 의 감산으로서 계산된 가상 우측 Rv 픽셀의 블러 스폿 (305) 은 대략적으로 마르키즈 형상 또는 렌즈 형상이다.
상술된 바와 같이, 중심 픽셀 값 C 는 중심 이미지를 생성하기 위해 다수의 다른 계산된 중심 픽셀 값들과 함께 사용될 수 있다. 위상 검출 픽셀 값들 L, Lv, R, 및 Rv 은 위상차를 검출하기 위해 이용가능한 하프-이미지들을 생성하기 위해 다수의 다른 좌측, 가상 좌측, 가상 우측 위상 검출 픽셀 값들과 각각 함께 사용될 수 있다.
중심 이미지 C 는 오프셋을 갖지 않는 것으로서 예시된다 (오프셋 연속체 (300) 를 다른 제로 포인트에서 위치됨). 좌측 L 및 우측 R 픽셀 값들은, 초승달-형상의 블록 스폿들 (302, 303) 의 대응하는 하나의 질량 중심에 기초하여, 중심 픽셀 값 C 으로부터 네거티브 및 포지티브 오프셋을 각각 갖는 것으로서 예시된다. 통상적인 위상 검출 오토포커스 프로세스들은 오토포커스 조정을 계산하기 위해 좌측 L 및 우측 R 픽셀 값들 사이의 디스패리티를 이용한다. 하지만, 본원에서 기술된 위상 검출 오토포커스 프로세스들에서, 오토포커스 조정은 다수의 좌측 픽셀 값들 L 및 중심 픽셀 값들 C, 우측 픽셀 값들 R 및 중심 픽셀 값들 C 로부터 생성된 이미지들 사이의 디스패리티에 기초하여, 또는 양 디스패리티들에 기초하여 계산될 수 있다.
동일한 센셀 로케이션들에 대응하는 값들에 기초하여 생성된 좌측 또는 우측 이미지 및 중심 이미지 사이의 위상 검출을 수행하는 것은, 앨리어싱의 효과들을 감소시키는 것으로 인한 (예를 들어, 사이에 다수의 이미징 센셀들이 포지셔닝된 좌측 및 우측 위상 검출 센셀들의 쌍으로부터의) 상이한 센셀 로케이션들 로부터 수신된 값들에 기초하여 생성된 좌측 이미지 및 우측 이미지를 이용하여 오토포커스를 수행하는 것에 대해 비교될 때 보다 적인 잡음의 위상 검출 오토포커스 프로세스를 초래할 수 있다. 또한, 일부 실시형태들에서, 위상 검출 프로세스의 분해능은 중심 이미지 및 좌측 이미지 및 중심 이미지 및 우측 이미지 사이의 디스패리티들을 이용함으로써 배로 될 수 있다. 다른 실시형태들에서, 센서 상의 위상 검출 센셀들의 수가 감소되고, 이에 의해, 캡처된 이미지 데이터에서의 보다 적은 아티팩트들을 생성한다.
또한, 가상 좌측 Lv 및 가상 우측 Rv 픽셀 값들은 중심 이미지 C 로부터 각각 네거티브 및 포지티브 오프셋들을 갖는 것으로서 예시된다. 중심 블러 스폿 (301) 의 질량 중심과 실제 좌측 및 우측 위상 검출 픽셀들에 대응하는 초승달-형상의 블러 스폿들 (302, 303) 의 질량 중심 사이의 거리는 중심 블러 스폿 (301) 의 질량 중심과 가상 좌측 Lv 및 가상 우측 Rv 픽셀들에 대응하는 초승달-형상의 블러 스폿들 (304, 305) 의 질량 중심 사이의 거리보다 더 크다. 따라서, 중심 픽셀 값 C 로부터 가상 좌측 Lv 및 가상 우측 Rv 픽셀 값들의 오프셋은 중심 픽셀 값 C 로부터 대응하는 좌측 L 및 우측 R 픽셀 값들의 오프셋보다 더 작을 수 있다. 예를 들어, 좌측 L 및 우측 R 픽셀 값들을 생성하기 위해 사용되는 마스킹된 센셀들은, 예를 들어, 유효한 감소된 개구가 마이크로렌즈 광학 축과 정확히 정렬되지 않도록 사이징 또는 포지셔닝됨으로써, 마스킹된 센셀 위의 마이크로렌즈의 광학 축 상에 완벽하게 중심을 두는 개구를 형성하지 않는 마스크들을 가질 수도 있다. 다른 예로서, 좌측 L 픽셀 값에 의해 생성된 블러의 질량 중심은 대응하는 가상 우측 Rv 픽셀 값에 의해 생성된 블러의 질량 중심보다 더 많이 또는 더 적게 중심 픽셀 값 C 의 질량 중심으로부터 오프셋될 수도 있다.
일부 구현들에서, 위상 검출 상관은 다음과 같은 이미지들의 조합들을 모두 또는 어느 것을 이용하여 수행될 수 있다:
(1) 우측 이미지 또는 가상 우측 이미지와 함께 가상 좌측 이미지,
(2) 좌측 이미지 또는 가상 좌측 이미지와 함께 가상 우측 이미지, 및
(3) 다른 4 개의 이미지들의 어느 것 및 중심 이미지.
일부 구현들은 우측 가상 위상 검출 픽셀 값들 및 우측 실제 위상 검출 픽셀 값들에 기초하여 결합된 우측 이미지를 형성할 수 있고, 또한, 좌측 가상 위상 검출 픽셀 값들 및 좌측 실제 위상 검출 픽셀 값들에 기초하여 결합된 좌측 이미지를 형성할 수 있고; 이러한 구현들은 그러면 결합된 이미지들에 대해 좌측-우측 이미지 상관을 수행할 수 있고, 이에 의해, 가상 위상 검출 정보 없이 수행되는 통상적인 좌측-우측 상관에 비해 위상 검출 정보의 양을 배로 할 수 있다. 강건한 위상 검출 알고리즘의 하나의 예에서, 상관은 도 3d 에서 예시된 5 개의 이미지들의 모든 가능한 조합들에 걸쳐 검색될 수 있다.
하나의 실시형태에서, 위상 검출을 위한 중심 이미지 및 하프-이미지들의 생성은 온-센서로 수행될 수 있다. 다른 구현들에서, 중심 이미지 및 하프-이미지들은 위상 검출 다이오드들 및 부근의 이미징 다이오드들로부터 수신된 값에 기초하여 이미지 신호 프로세서에 의해 생성될 수 있다.
예시적인 위상 검출
노이즈
감소 기법들의 개관
드문드문한 위상 검출 다이오드 패턴들은, 위상 검출 쌍에서의 다이오드들이 날카로운 에지의 대향 측들에 위치될 수 있음에 따라, 앨리어싱으로 인한 문제점들로부터 고통받을 수 있다. 위상 검출 오토포커스는 타겟 장면이 고 주파수 패턴들을 포함하는 상황들에서 앨리어싱으로 인한 에러들에 특히 취약할 수 있다. 또한, 앨리어싱은 오토포커스 프로세스의 모니터링 상태에서 더 문제가 될 수 있고; 모니터링 상태에서, 이미징 시스템은 이미 인-포커스 포지션으로 수렴되었고, 타겟 장면은 이미징 시스템을 새로운 인-포커스 (수렴된) 포지션으로 재-포지셔닝하는 것을 필요로 할 수도 있는 변화들에 대해 모니터링된다. 이것은, 고 주파수들은 오직, 타겟 장면이 인 포커스이거나 인-포커스 포인트에 가까운 경우에만 나타난다는 사실로 인한 것이다. 따라서, 첨예도의 임계 레벨을 갖는 고 주파수 패턴들 및/또는 에지들을 식별하기 위해 이미징 픽셀들로부터 수신된 데이터의 분석은, 그렇지 않으면 앨리어싱으로 인해 위상 검출 프로세스에서 도입될 수도 있을 에러들을 제거하거나 그 에러들에 대해 보상하기 위해 사용될 수 있다.
도 4a 는 본원에 기술된 바와 같은 노이즈-감소된 위상 검출 오토포커스 프로세스를 수행하기 위한 프로세스의 하나의 실시형태의 플로우차트를 나타낸다. 위상 검출 오토포커스 프로세스 (400A) 는 이미징 픽셀 데이터의 분석에 기초하여 가능한 디스패리티 값들을 제한함으로써 위상 검출 검색 범위를 최적화하기 위해 사용될 수 있다. 위상 검출 오토포커스 프로세스 (400A) 의 일부 실시형태들은 온-센서로 수행될 수 있고, 다른 실시형태들은 이미지 신호 프로세서의 사용과 함께 수행될 수 있다.
블록 (405) 에서, 정규 이미지 픽셀들을 분석할 수 있다. 이것은, 예를 들어, 위상 검출에 전용되지 않는 이미지 센서의 다이오드들에서 수집된 광의 값들을 나타내는 데이터를 수신하는 것을 포함할 수 있다. 블록 (410) 에서, 프로세스 (400A) 는 최대 블러를 평가할 수 있다. 본 명세서에서 사용된 바와 같이, "최대 블러" 는 오토포커스의 검출을 제한하기 위해 사용될 수 있는 이미지 데이터에서의 블러의 레벨을 지칭한다. 최대 블러는, 이미지의 가장 인 포커스인 부분, 예를 들어 관심대상의 포커스 구역 내의 가장 인-포커스인 구역의 블러리니스의 레벨일 수 있다.
일부 실시형태들에서, 최대 블러는 콘트래스트 포커스 통계 블록들을 이용하여 추정될 수 있다. 예를 들어, 콘트래스트-기반 오토포커스 기법들에서, 분석의 일부는 특정의 관심대상 영역 (region of interest; ROI) 에서 포커스 값을 출력하기 위해 HW 블록에서 구현될 수 있다. 이러한 기법들은 예를 들어 일부 또는 전체 이미지에 맵핑되는 그리드로서 상이한 로케이션들에 대해 다수의 포커스 값들을 얻을 수도 있고, 또는, 다수의 윈도우들에 대해 구성된 별개의 포커스 값을 얻을 수도 있다.
하나의 구현에서, 최대 블러는 이미징 픽셀들로부터의 데이터에서 식별되는 가장 날카로운 에지의 블러의 양을 나타내는 값일 수 있다. 따라서, 이미징 픽ㅅ헬로부터 이미지 데이터를 분석하는 것 및 최대 블러를 평가하는 것의 블록들 (405, 410) 은 이미지 데이터에 대해 에지 검출을 수행하는 것, 가장 날카로운 에지를 식별하는 것, 및 가장 날카로운 에지의 블러의 레벨을 결정하는 것을 수반할 수 있다.
하나의 구현에서, 블록들 (405, 410) 은 다음과 같은 단계들을 수반할 수 있다. 수평 푸리에 변환 또는 고속 푸리에 변환이 이미징 픽셀들로부터의 이미지 데이터에 대해 수행될 수 있다. 다음으로, 프로세스 (400A) 는 미리결정된 임계치 위의 에너지를 갖는 결과적인 데이터에서 최고 주파수에 대해 검색할 수 있다. 프로세스 (400A) 는, 2 개의 선형 필터들, 예를 들어, 유한 임펄스 응답 필터 또는 무한 임펄스 응답 필터를 적용할 수 있다. 이 2 개의 필터들의 각각은 상이한 대역 통과를 가지도록 구성될 수 있다. 이 2 개의 필터들 중의 제 1 필터는 고 주파수 대역 통과 (DP를 들어, 0.5-0.2 사이클들/픽셀) 로 구성될 수 있고, 이 2 개의 필터들 중의 제 2 필터는 저 주파수 대역 통과 (DP를 들어, 0.2-0.1 사이클들/픽셀) 로 구성될 수 있다.
하나의 구현에서, 고 주파수 대역 통과로부터 발생되는 데이터에서의 에너지가 미리결정된 임계치 위에 있는 경우에, 프로세스 (400A) 는 최대 블러가 5 픽셀들이라고 추정할 수 있고, 그렇지 않고, 저 주파수 대역 통과로부터 발생되는 데이터에서의 에너지가 미리결정된 임계치 위에 있는 경우에, 프로세스 (400A) 는 최대 블러가 10 픽셀들이라고 추정할 수 있고, 그 외의 경우에, 프로세스 (400A) 는 최대 블러에 의해 위상 검출을 제한할 수 없다.
블럭 (415) 에서, 프로세스 (400A) 는 평가된 최대 블러에 대응하는 위상차 값 PD_MAX 를 평가할 수 있다. 이 값은 경계 위상차 값을 나타내고, 유효한 위상차 값들이 경계 위상차 값의 포지티브 및 네거티브 값들 사이의 범위 내에 속하는 것으로 예상될 수 있다. 이에 따라, 위상차는 이미징 다이오드들로부터 수신되는 분석에 의해 결정되는 바와 같이 이미지의 관심대상의 인-포커스 구역의 디포커스의 추정된 레벨을 초과하지 않도록 제한될 수 있다.
블록 (420) 에서, 프로세스 (400A) 는, [-PD_MAX, +PD_MAX] 로서 나타낸, 관심대상의 인-포커스 구역의 블러에 대응하는 위상차 값에 의해 정의되는 범위에 걸쳐 위상차 검출을 수행할 수 있다. 도 5 와 관련하여 이하 논의되는 바와 같이, 위상차 검출은 다음과 같은 단계들을 포함할 수 있다. 좌측 및 우측 채널들 (또한 본 명세서에서 좌측 및 우측 하프-이미지들 또는 좌측 및 우측 이미지들로서 지칭됨) 이 좌측 및 우측 위상 검출 다이오드들로부터 수신된 데이터로부터 추출될 수 있고, 좌측 및 우측 채널들은 예를 들어 렌즈 셰이딩의 정정과 유사한 이득 맵을 이용하여 균일성에 대해 정정될 수 있다. 프로세스 (400A) 는 그 다음에, 좌측 및 우측 채널들 사이의 수평 상관을 발견할 수 있다. 이것은 포지티브 및 네거티브 픽셀 시프트들, 예를 들어, -3 픽셀들에서부터 +3 픽셀들까지의 범위 내에서의 검색을 수반할 수 있고, 이 검색 범위는 상기 논의된 바와 같이 최대 블러에 다라 스케일링될 수 있다. 각각의 픽셀 시프트에 대해, 프로세스 (400A) 는 SAD 벡터를 획득하기 위해 절대 차이의 합 (sum of absolute difference; SAD) 을 측정할 수 있고, 채널들 사이의 최적의 상관 포인트를 발견하기 위해 그 SAD 벡터를 보간할 수 있다. 상관에 의해 결정된 위상 검출 오프셋은 그 다음에, 예를 들어, 선형 맵핑, 다항식 함수, 멀티-세그먼트 선형, 룩-업 테이블, 또는 임의의 다른 적합한 함수를 이용하여 디포커스 렌즈 포지션 변경 n 으로 변환된다. 결정된 위상차는 예를 들어 인-포커스 포지션에서 포커싱 렌즈를 포지셔닝하기 위해 포커싱 렌즈의 이동의 방향 및 양을 결정하기 위해 사용됨으로써 오토포커스 조정을 계산하기 위해 사용될 수 있다.
도 4b 는 본원에 기술된 바와 같은 노이즈-감소된 위상 검출 오토포커스 프로세스를 수행하기 위한 프로세스 (400B) 의 다른 실시형태의 플로우차트를 나타낸다. 위상 검출 오토포커스 프로세스 (400B) 는 이미징 픽셀 데이터의 분석에 기초하여 결정된 최대치를 초과하는 디스패리티 값들을 무시함으로써 오토포커스의 포커스 모니터링 단계에서 발생할 수 있는 앨리어싱을 보상하기 위해 사용될 수 있다. 위상 검출 오토포커스 프로세스 (400B) 의 일부 실시형태들은 온-센서로 수행될 수 있고, 다른 실시형태들은 이미지 신호 프로세서의 사용과 함께 수행될 수 있다.
블록 (420) 에서, 프로세스 (400B) 는 위상 검출 다이오드들로부터 수신된 이용가능한 차이들의 전체 범위에 걸쳐 위상차 검출을 수생한다. 동시에 또는 순차적으로, 도 4a 와 관련하여 상기 설명된 블록들 (405, 410, 및 415) 은 이미징 픽셀들로부터 수신된 데이터의 관심대상의 인-포커스 구역에서의 블러의 레벨에 대응하는 위상차 범위를 식별하기 위해 수행된다.
블록들 (405, 410, 및 415) 로부터 도출된 위상차 범위는, 블록 (425) 에서, 블록 (420) 에서 수행된 위상차 검출에 대해 범위 체크를 수행하기 위해서 사용된다. 범위 체크는, (블록 (420) 에서 PD 로서 나타낸 바와 같은) 식별된 위상차가 [-PD_MAX, +PD_MAX] 의 범위 내에 속하는지 여부를 식별한다.
식별된 위상차가 결정된 위상차 범위 내에 속하는 경우에, 프로세스 (400B) 는 블록 (430) 으로 이동하여, 오토포커스 조정을 계산하기 위해 식별된 위상차를 이용한다. 이미징 시스템의 렌즈 및/또는 센서가 결정된 오토포커스 조정에 대응하는 인-포커스 포지션으로 이동된 후에, 프로세스 (400B) 는 오토포커스의 모니터링 상태로의 천이를 표시한다. 일부 실시형태들에서, 이것은 도 4a 의 프로세스 (400A) 의 주기적인 반복을 수반할 수 있다. 다른 실시형태들에서, 이것은 프로세스 (400B) 의 재-초기화 블록들 (420 및 405) 을 수반할 수 있다.
식별된 위상차가 결정된 위상차 범위 내에 있지 않은 경우에, 프로세스 (400B) 는 앨리어싱 에러가 의심되는 것을 나타내는 블록 (435) 으로 이동한다. 상술된 바와 같이, 앨리어싱은 식별된 위상차 값이 이미지의 인-포커스 포지션의 블러의 실제 레벨을 초과하게 할 수 있다.
블록 (440) 에서, 프로세스 (400B) 는 오토포커스 프로세스가 모니터링 상태에 있는지 여부를 식별한다. 예를 들어, 프로세스 (400B) 는, 이미징 시스템이 이미 인-포커스 포지션으로 이동되었는지 (또는 이미 인-포커스 포지션에 있는 것으로 결정되었는지) 여부를 결정할 수 있다. 오토포커스 프로세스가 모니터링 상태에 있지 않은 경우에, 프로세스 (400B) 는 블록 (445) 으로 이동하고, 식별된 위상차를 무시한다. 이 시점에서, 블록들 (420 및 405) 은 재-초기화될 수 있다.
오토포커스 프로세스가 모니터링 상태에 있는 경우에, 프로세스 (400B) 는 블록 (450) 으로 이동하고, 식별된 위상차를 PD_MAX 에 대해 클립핑하고, 위상차는 관심대상의 인-포커스 구역에서의 블러의 레벨에 대응하는 것으로 결정된다. 프로세스 (400B) 는 그 다음에, 블록들 (420 및 405) 을 재-초기화할 수 있거나, 일부 실시형태들에서, 도 4a 의 포커스 모니터링 프로세스 (400A) 로 스위칭할 수 있다.
일부 이미징 장치들은 이미지 정보의 다수의 구역들에 의해 별개로 경계 위상차 값을 결정하기 위해 프로세스 (400A 및/또는 400B) 를 구현할 수도 있다. 예를 들어, 이미지 정보는 뷰의 필드에 걸친 그리드 (예를 들어, 5x5 그리드) 로 파티셔닝될 수 있다. 다른 예에서, 이미징 장치는 이미지 데이터의 각 라인에 대해 별개로 경계 위상차 값을 결정하고, 그 다음에, 오토포커스 계산들을 위한 유효한 위상차 범위를 결정하기 위해 사용하기 위해 그 경계 위상차 값들을 결합하거나 그 경계 위상차 값들 중 하나를 선택할 수 있다. 이미징 장치는 또한, 각 구역에 대해 별개로 노이즈 (범위 밖의 대스패리티 값들을 갖는 위상 검출 센셀 쌍들) 를 제거하고, 및/또는, 특정 라인들/구역들에 대해 경계 밖에 있는 시프트 위상 검출 센셀 값들을 실격시킬 수 있다.
노이즈 감소 위상 검출 기법의 다른 실시형태에서, 이미징 장치는 노이즈 감소 계산들을 수행하기 위해 쌍을 이루는 각각의 위상 검출 픽셀의 로케이션에서 중심 픽셀 값을 보간할 수 있다. 중심 픽셀 값은 다양한 사이즈들의 구역들, 예를 들어, 5x5, 7x7 등에서의 이웃 픽셀들로부터 또는 4 개의 인접하는 녹색 픽셀들로부터 보간될 수 있다. 일부 실시형태들에서, 중심 보간 프로세스는 예를 들어 결함 있는 픽셀 정정에 유사한, 최종 이미지에서의 위상 검출 픽셀 로케이션에서의 값에 대해 보상하기 위한 프로세스의 일부일 수 있다. 다양한 실시형태들은 중심 보간 프로세스를 수행하기 위해 중심 보간을 위한 온-센서 로직을 포함하거나 외부 ISP 에 의존할 수 있다. 이미징 장치는 쌍을 이루는 위상 검출 픽셀들의 각각에 대해 보간된 중심 피겔 값과 위상 검출 픽셀 값 사이의 디스패리티 값을 계산할 수 있다. 이들 디스패리티 값들 사이의 차이가 임계치보다 더 큰 경우에, 이것은, 쌍을 이루는 위상 검출 픽셀들이 유사하게 에지의 대향 측들 상에 위치되고, 위상 검출 픽셀들의 쌍은 오토포커스 계산들로부터 배제될 수 있음을 나타낼 수 있다.
다른 실시형태에서, 이미징 장치는, 에지 검출을 수행하기 위해 이미징 픽셀들, 예를 들어, 위상 검출 픽셀들의 쌍 주위의 미리결정된 이웃에서의 이미징 픽셀들의 서브셋트 또는 모든 이미징 픽셀들로부터 수신된 데이터를 이용할 수 있다. 이미징 장치는 그러면, 쌍을 이루는 위상 검출 픽셀들이 에지의 대향 측들 상에 유사하게 위치되는지 여부를 결정하기 위해 에지들의 로케이션들을 위상 검출 픽셀들의 알려진 로케이션들에 대해 비교할 수 있고, 위상 검출 픽셀들의 쌍은 오토포커스 계산들로부터 배제될 수도 있다. 쌍을 이루는 위상 검출 픽셀들이 심도 불연속성의 대향 측들 상에 놓이는지 여부를 결정하기 위한 다른 적합한 기법들, 예를 들어, 이미지 픽셀 데이터에서의 강도 변화에서의 분석이 또한, 오토포커스 조정 계산들로부터 위상 검출 픽셀들의 이러한 쌍들로부터 수신된 데이터를 배제하기 위해 사용될 수 있다. 에지의 대향 측들 상에 위치된 위상 검출 픽셀들의 쌍으로부터의 데이터를 배제하는 것은, 위상차 검출을 위해 사용가능한 하프-이미지들의 쌍을 생성할 때 식별된 쌍을 포함하지 않는 위상 검출 픽셀들의 서브셋트로부터 수신된 데이터를 이용하는 것을 포함할 수 있다.
예시적인 위상 검출
오토포커스
프로세스의 개관
도 5 는 본 명세서에서 설명된 멀티-이미지 위상 검출 및 노이즈 감소 프로세스들을 구현할 수 있는 일 예시적인 위상 검출 오토포커스 프로세스 (500) 의 하이-레벨 개관을 묘사한다 하나의 실시형태에서, 프로세스 (500) 는 온-센서로 수행될 수 있다. 다른 구현들에서, 프로세스 (500) 는 하나 이상의 프로세서들, 예를 들어, 도 6 의 이미지 신호 프로세서 (620) 를 수반할 수 있다. 타겟 장면 (505) 을 표현하는 광은 렌즈 어셈블리 (510) 를 통과하게 되고 이미지 센서에 의해 수신되고, 하프-이미지 샘플들 (515) 은 상기 설명된 멀티-다이오드 마이크로렌즈들을 이용하여 생성된다. 하프-이미지 샘플들은 우측 이미지, 가상 우측 이미지, 좌측 이미지, 가상 좌측 이미지, 및 중심 이미지를 포함할 수 있다.
렌즈 어셈블리 (510) 는 대칭 임펄스 응답을 가진 선형 로우-패스 필터로서 모델링될 수 있고, 여기서 렌즈 어셈블리 (510) 의 임펄스 응답 (또한 포인트 확산 함수로도 지칭됨) 은 센서와 이미지 평면 사이의 거리에 비례하는 폭 파라미터를 가진 직사각형 형상이다. 센서가 이미지 평면에, 즉 장면에서의 단일 포인트로부터의 모든 광선들이 단일 포인트에 수렴하는 평면에 있을 때 장면에 "포커스가 맞는다". 도 2 에 도시한 바와 같이, 하프-이미지 샘플들은 위상 검출 픽셀들로부터의 정보를 단지 포함하는 2 개의 이미지들을 세이브할 수 있다. 하프-이미지들은 렌즈 어셈블리 (510) 의 좌측 및 우측 (또는 다른 예들에서, 상 및 하) 임펄스 응답들과의 타겟 장면의 컨볼루션들로서 고려될 수 있다. 도 3a 내지 도 3d 의 기법들을 이용하는 센서 실시형태들에서, 더 많은 부분 이미지들이 세이브될 수 있다.
포커스 기능 계산기 (focus function calculator) (520) 는 디스패리티를 결정하기 위해 부분 이미지들에 상호-상관 함수를 적용한다. 상기 설명된 바와 같이, 상호-상관은 우측 이미지, 가상 우측 이미지, 좌측 이미지, 가상 좌측 이미지, 및 중심 이미지로부터 선택된 하나 이상의 쌍들의 이미지들에 걸쳐 검색될 수 있다. 또한, 상호-상관은 데이터의 관심대상의 인-포커스 구역의 포커스의 레벨을 추정하기 위해 이미징 다이오드들로부터 수신된 데이터를 분석함으로써 결정된 범위로 제한될 수도 있다.
렌즈 어셈블리 (510) 의 좌측 및 우측 임펄스 응답들의 상호-상관 함수는 대략 대칭적이고 단봉형 (unimodal) 이지만, 타겟 장면 (505) 의 본성으로 인해, 좌측 및 우측 캡처링된 이미지들에 적용된 바와 같은 상호-상관 함수는 하나 이상의 잘못된 (false) 로컬 최대값들을 가질 수도 있다. 다양한 접근법들이 상호-상관 함수의 맞는 (true) 최대값을 식별하는데 이용될 수 있다. 상호-상관 함수의 결과는 프라이머리 포커싱 렌즈 어셈블리 (510) 를 원하는 포커스 포지션으로 이동시키기 위해 렌즈 액추에이터를 구동시키는데 이용될 수 있는 오토포커스 제어 (525) 에 피드백으로서 제공된다. 다른 실시형태들은 고정된 프라이머리 포커싱 렌즈 어셈블리를 이용하여 이미지 센서를 원하는 포커스 포지션으로 이동시킬 수도 있다. 이에 따라, 위상 검출 오토포커스 프로세스 (500) 에서, 포커싱은 상호-상관 함수 최대값에 대해 탐색하는 것과 같다. 이것은 각각의 프레임에 대해 통상의 프레임 레이트들로, 예를 들어, 초당 30 프레임들로 포커스 조정을 제공할 정도로 충분히 빨리 행해질 수 있고, 따라서 비디오 캡처를 위해 스무스한 오토포커싱을 제공하는데 이용될 수 있는 고속 프로세스이다. 일부 구현들은 예를 들어, 정확도를 증가시키기 위해, 콘트라스트-기반 오토포커스 기법들과 위상 검출 오토포커스를 결합한다.
프라이머리 포커싱 렌즈 어셈블리 및/또는 이미지 센서가 원하는 포커스 포지션에 있는 경우, 이미지 센서는 인-포커스 이미징 픽셀 정보 및 위상 검출 픽셀 정보를 캡처하고, 상기 설명한 바와 같이, 위상 검출 픽셀들에 대한 컬러 값들을 계산 및 보간할 수 있다. 이미징 픽셀 값들 및 결정된 위상 검출 픽셀 값들은 타겟 장면의 최종 이미지를 생성하기 위해 디모자이킹, 및 옵션적으로는, 다른 이미지 프로세싱 기법들을 위해 출력될 수 있다.
예시적인 위상 검출
오토포커스
프로세스의 개관
도 6 은 다스펙트럼 홍채 인식 능력들을 갖는 이미지 캡처 디바이스 (600) 의 실시형태의 하이-레벨 개략적 블록 다이어그램을 예시하고, 이미지 캡처 디바이스 (600) 는 위상 검출 오토포커스 카메라 (615) 에 링크된 이미지 신호 프로세서 (620) 를 포함하는 컴포넌트들의 셋트를 갖는다. 이미지 신호 프로세서 (620) 는 또한, 작업 메모리 (605), 메모리 (630), 및 디바이스 프로세서 (650) 와 통신하고 있고, 디바이스 프로세서 (650) 는 차례로 저장 모듈 (610) 및 옵션적 전자 디스플레이 (625) 와 통신하고 있다.
이미지 캡처 디바이스 (600) 는 모바일 폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대 정보 단말기 등과 같은 휴대용 개인 컴퓨팅 디바이스일 수도 있다. 본 명세서에서 설명한 바와 같은 위상 검출 오토포커스 기법들을 이용하는 것이 이점들을 제공할 많은 휴대용 컴퓨팅 디바이스들이 존재한다. 이미지 캡처 디바이스 (600) 는 또한 고정된 컴퓨팅 디바이스 또는 다스펙트럼 홍채 검증 기법들이 유리할 임의의 디바이스일 수도 있다. 복수의 애플리케이션들은 이미지 캡처 디바이스 (600) 상에서 사용자에게 이용가능할 수도 있다. 이들 애플리케이션들은 종래의 포토그래픽 및 비디오 애플리케이션들 뿐만 아니라 데이터 저장 애플리케이션들 및 네트워크 애플리케이션들을 포함할 수도 있다.
이미지 캡처 디바이스 (600) 는 외부 이미지들을 캡처하기 위한 위상 검출 오토포커스 카메라 (615) 를 포함한다. 위상 검출 오토포커스 카메라 (615) 는 상기 설명된 실시형태들에 따라 배열된 멀티-다이오드 마이크로렌즈들 및 컬러 필터들, 또는 마스킹된 위상 검출 픽셀들을 갖는 이미지 센서를 포함할 수 있다. 위상 검출 오토포커스 카메라 (615) 는 또한, 타겟 장면의 인-포커스 이미지를 생성하기 위해 이미지 신호 프로세서 (620) 로부터 수신된 데이터에 적어도 부분적으로 기초하여 포지셔닝가능한 프라이머리 포커싱 메커니즘을 가질 수 있다. 일부 실시형태들에서, 프라이머리 포커싱 메커니즘은 타겟 장면으로부터 센서로 광을 통과시키기 위해 포지셔닝된 이동식 렌즈 어셈블리일 수 있다. 일부 실시형태들에서, 프라이머리 포커싱 메커니즘은 센서를 이동시키기 위한 메커니즘일 수 있다.
위상 검출 오토포커스 카메라 (615) 의 센서는 상이한 기능들에서 상이한 프로세싱 기능성들을 가질 수 있다. 하나의 구현에서, 센서는 어떤 데이터도 프로세싱하지 않을 수도 있고, 이미지 신호 프로세서 (620) 는 모든 필요한 데이터 프로세싱을 수행할 수도 있다. 다른 구현에서, 센서는 위상 검출 픽셀들을, 예를 들어 별도의 MIPI (Mobile Industry Processor Interface) 채널로 추출하는 것이 가능할 수도 있다. 게다가, 센서는 추가적으로는, 예를 들어, RAW 채널에서 중심 픽셀 값들을 보간하는 것이 가능할 수도 있다. 일부 구현들에서, 센서는 추가적으로는, 예를 들어, 정상 채널에서 중심 픽셀 값들을 보간하는 것이 가능할 수도 있고, 전체 위상 검출 계산을 내부적으로 (온-센서로) 프로세싱하는 것이 가능할 수도 있다. 예를 들어, 센서는 다이오드들로부터 수신된 값들의 덧셈, 뺄셈, 및/또는 비교를 수행하기 위한 아날로그 회로부를 포함할 수도 있다. 본 명세서에서 설명한 바와 같은 이미징 장치는 모든 위상 검출 계산들을 수행하는 것이 가능한 이미지 센서 또는 이미지 신호 프로세서 (620) 및/또는 디바이스 프로세서 (650) 와 함께 일부 프로세싱을 수행하거나 또는 어떤 프로세싱도 수행하지 않는 것이 가능한 이미지 센서를 포함할 수도 있다.
이미지 신호 프로세서 (620) 는 위상 검출 오토포커스 및 이미지 프로세싱 기법들을 실행하기 위하여 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 신호 프로세서 (620) 는 이미징 애플리케이션들을 위해 특별히 설계된 범용 프로세싱 유닛 또는 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 디모자이킹, 화이트 밸런스, 크로스 토크 감소, 크롭핑, (예를 들어, 상이한 레졸루션으로의) 스케일링, 이미지 스티칭, 이미지 포맷 컨버전, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 이미지 신호 프로세서 (620) 는 또한, 오토포커스 및 자동-노출 (auto-exposure) 과 같은 이미지 캡처 파라미터들을 제어할 수 있다. 이미지 신호 프로세서 (620) 는, 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 이미지 신호 프로세서 (620) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISP들) 또는 프로세서의 소프트웨어 구현일 수 있다. 일부 실시형태들에서, 이미지 신호 프로세서 (620) 는, 위상 검출 동작들의 일부 또는 전부가 이미지 센서에 대해 수행될 수 있기 때문에, 위상 검출 동작들에 대해 옵션적일 수도 있다.
도시한 바와 같이, 이미지 신호 프로세서 (620) 는 메모리 (630) 및 작업 메모리 (605) 에 접속된다. 예시된 실시형태에서, 메모리 (630) 는 캡처 제어 모듈 (635), 위상 검출 오토포커스 모듈 (640), 및 오퍼레이팅 시스템 모듈 (645) 을 저장한다. 메모리 (630) 의 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (650) 의 이미지 신호 프로세서 (620) 를 구성하는 명령들을 포함한다. 작업 메모리 (605) 는 메모리의 모듈들에 포함된 프로세서 명령들의 작업 셋트를 저장하도록 이미지 신호 프로세서 (620) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (605) 는 또한, 이미지 캡처 디바이스 (600) 의 동작 동안 생성된 동적 데이터를 저장하도록 이미지 신호 프로세서 (620) 에 의해 이용될 수도 있다.
상기 언급한 바와 같이, 이미지 신호 프로세서 (620) 는 메모리들에 저장된 여러 모듈들에 의해 구성된다. 캡처 제어 모듈 (635) 은 예를 들어, 위상 검출 오토포커스 기법 동안 생성된 명령들에 응답하여, 위상 검출 오토포커스 카메라 (615) 의 포커스 포지션을 조정하도록 이미지 신호 프로세서 (620) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (635) 은 이미지 캡처 디바이스 (600) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (635) 은 위상 검출 오토포커스 카메라 (615) 를 이용하여 타겟 장면의 하나 이상의 프레임들을 포함하는 다스펙트럼 이미지 데이터를 캡처하도록 이미지 신호 프로세서 (620) 를 구성하기 위한 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 하나의 실시형태에서, 캡처 제어 모듈 (635) 은 원하는 오토포커스 포지션을 달성하는데 필요한 렌즈 또는 센서 움직임을 계산하고 필요한 움직임을 이미징 프로세서 (220) 에 출력하기 위해 위상 검출 오토포커스 모듈 (240) 을 호출할 수도 있다. 캡처 제어 모듈 (635) 은 멀티-픽셀 마이크로렌즈들 바로 아래에 포지셔닝된 픽셀들에 대한 컬러 값들을 보간하기 위해 위상 검출 오토포커스 모듈 (240) 을 호출할 수도 있다.
이에 따라, 위상 검출 오토포커스 모듈 (640) 은, 예를 들어, 도 4a, 도 4b, 및 도 5 와 관련하여 상기 설명된 프로세스들 (400A, 400B, 및 500) 에 따라서, 위상 검출 오토포커스를 실행하기 위한 명령들을 저장할 수 있다. 위상 검출 오토포커스 모듈 (640) 은 또한, 도 3a 내지 도 3c 와 관련하여 상기 설명된 바와 같이 중심 픽셀 값들 및 가상 위상 검출 픽셀들을 계산하기 위한 명령들을 저장할 수 있다.
오퍼레이팅 시스템 모듈 (645) 은 작업 메모리 (605) 및 이미지 캡처 디바이스 (600) 의 프로세싱 리소스들을 관리하도록 이미지 신호 프로세서 (620) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (645) 은 위상 검출 오토포커스 카메라 (615) 와 같은 하드웨어 리소스들을 관리하기 위해 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 상기 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접 상호작용하지 않고 그 대신에 오퍼레이팅 시스템 컴포넌트 (650) 에 로케이트된 표준 서브루틴들 또는 API들을 통하여 상호작용할 수도 있다. 오퍼레이팅 시스템 (645) 내의 명령들은 그 후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (645) 은 디바이스 프로세서 (650) 와 정보를 공유하도록 이미지 신호 프로세서 (620) 를 추가로 구성할 수도 있다.
디바이스 프로세서 (650) 는 캡처링된 이미지, 또는 캡처링된 이미지의 프리뷰를 사용자에게 디스플레이하기 위해 디스플레이 (625) 를 제어하도록 구성될 수도 있다. 디스플레이 (625) 는 이미징 디바이스 (200) 의 외부에 있을 수도 있거나 또는 이미징 디바이스 (200) 의 일부일 수도 있다. 디스플레이 (625) 는 또한, 예를 들어, 사용자가 사용자의 눈과 이미지 센서 시야를 정렬시키는 것을 돕기 위해, 이미지를 캡처하기 이전의 사용을 위해 프리뷰 이미지를 디스플레이하는 뷰 파인더를 제공하도록 구성될 수도 있거나, 또는 메모리에 저장되거나 또는 사용자에 의해 최근에 캡처링된, 캡처링된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (625) 는 LCD, LED, 또는 OLED 스크린을 포함할 수도 있고, 터치 감응 기술들을 구현할 수도 있다.
디바이스 프로세서 (650) 는 데이터, 예를 들어, 캡처링된 이미지들을 표현하는 데이터 및 위상 검출 및/또는 픽셀 값 계산 동안 생성된 데이터를 저장 모듈 (610) 에 기록할 수도 있다. 저장 모듈 (610) 은 종래의 디스크 디바이스로서 개략적으로 표현되지만, 저장 모듈 (610) 은 임의의 저장 미디어 디바이스로서 구성될 수도 있다. 예를 들어, 저장 모듈 (610) 은 디스크 드라이브, 이를 테면 광학 디스크 드라이브 또는 광자기 디스크 드라이브, 또는 솔리드 스테이트 메모리, 이를 테면 FLASH 메모리, RAM, ROM, 및/또는 EEPROM 을 포함할 수도 있다. 저장 모듈 (610) 은 또한, 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (600) 내에 있도록 구성될 수도 있거나, 또는 이미지 캡처 디바이스 (600) 의 외부에 있을 수도 있다. 예를 들어, 저장 모듈 (610) 은 이미지 캡처 디바이스 (600) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (610) 은 또한, 카메라로부터 제거가능할 수도 있는 캡처링된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다. 저장 모듈 (610) 은 또한, 이미지 캡처 디바이스 (600) 의 외부에 있을 수 있고, 하나의 예에서 이미지 캡처 디바이스 (600) 는 예를 들어, 네트워크 접속을 통해, 저장 모듈 (610) 에 데이터를 무선으로 송신할 수도 있다. 이러한 실시형태들에서, 저장 모듈 (610) 은 서버 또는 다른 원격 컴퓨팅 디바이스일 수도 있다.
도 6 은 프로세서, 이미징 센서, 및 메모리를 포함하도록 별도의 컴포넌트들을 갖는 이미지 캡처 디바이스 (600) 를 묘사하지만, 당업자는 이들 별도의 컴포넌트들이 특정한 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있다는 것을 인지할 것이다. 예를 들어, 대안의 실시형태에서, 메모리 컴포넌트들은 예를 들어, 비용을 줄이고 및/또는 성능을 개선시키기 위해, 프로세서 컴포넌트들과 결합될 수도 있다.
추가적으로, 도 6 은 작업 메모리 (605) 를 포함하는 별도의 메모리 컴포넌트 및 여러 모듈들을 포함하는 메모리 (630) 를 포함하는 2 개의 메모리 컴포넌트들을 예시하지만, 당업자는 상이한 메모리 아키텍처들을 활용하는 여러 실시형태들을 인지할 것이다. 예를 들어, 설계는 메모리 (630) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 이미지 신호 프로세서 (620) 에 의한 실행을 용이하게 하기 위해 RAM 으로 로딩될 수도 있다. 예를 들어, 작업 메모리 (605) 는 이미지 신호 프로세서 (620) 에 의한 실행 전에 작업 메모리 (605) 로 로딩된 명령들을 가진, RAM 메모리를 포함할 수도 있다.
시스템들의 구현 및 전문용어
본 명세서에서 개시된 구현들은 위상 검출 오토포커스 프로세스에서 사용하기 위한 값들을 계산하기 위해 이미징 다이오드들로부터 수신된 값들을 이용하기 위한 시스템들, 방법들 및 장치를 제공한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다는 것을 인정할 것이다.
일부 실시형태들에서, 상기 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하는데 이용되는 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인 휴대 정보 단말기들 (PDA들), e-리더들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 2 개 이상의 이미지 신호 프로세서들, 상기 논의된 프로세스를 수행하기 위한 모듈들 또는 명령들을 포함하는 메모리를 포함할 수도 있다. 그 디바이스는 또한, 데이터, 메모리로부터 데이터 및/또는 명령들을 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 이를 테면 디스플레이 디바이스 및 전력 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신기를 추가적으로 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버로 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너십 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 다양한 명명법들 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등) 로 설명된 무선 통신 디바이스들을 포함할 수도 있다.
본 명세서에서 설명된 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 일 예로, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blue-ray® 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 컴퓨터 판독가능 매체는 유형 (tangible) 및 비일시적일 수도 있다는 것에 주목해야 한다. 용어 "컴퓨터 프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 결합된 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본 명세서에서 사용한 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
본 명세서에서 개시된 방법들은 설명된 방법을 달성하기 위해 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 벗어남 없이 서로 상호교환될 수도 있다. 다시 말해서, 특정 순서의 단계들 또는 액션들이 설명되고 있는 방법의 적절한 동작을 위해 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남 없이 변경될 수도 있다.
용어들 "커플링한다 (couple)", "커플링 (coupling)", "커플링된 (coupled)" 또는 본 명세서에서 사용한 바와 같은 단어 커플 (couple) 의 다른 변형들이 간접 접속 또는 직접 접속 중 어느 하나를 표시할 수도 있다는 것에 주목해야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링된" 다면, 제 1 컴포넌트는 제 2 컴포넌트에 간접 접속되거나 또는 제 2 컴포넌트에 직접 접속되거나 둘 중 어느 하나일 수도 있다. 본 명세서에서 사용한 바와 같이, 용어 "복수" 는 2 이상을 나타낸다. 예를 들어, 복수의 컴포넌트들은 2 개 이상의 컴포넌트들을 표시한다.
용어 "결정하는 것" 은 다양한 액션들을 포괄하고, 따라서 "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 룩업하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리에서의 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.
어구 "에 기초하여" 는 명확히 다르게 특정하지 않는 한 "에만 기초하여" 를 의미하지 않는다. 다시 말해서, 어구 "에 기초하여" 는 "에만 기초하여" 와 "에 적어도 기초하여" 양자 모두를 설명한다.
전술한 설명에서, 특정 상세들은 예들의 철저한 이해를 제공하기 위해 주어진다. 그러나, 예들은 이들 특정 상세들 없이 실시될 수도 있다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 전기적 컴포넌트들/디바이스들은 예들을 불필요한 상세로 모호하게 하지 않기 위하여 블록 다이어그램들로 도시될 수도 있다. 다른 인스턴스들에서, 이러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 추가로 설명하기 위해 상세히 도시될 수도 있다.
개시된 구현들의 이전의 설명은 당업자로 하여금 본 발명을 실시 또는 이용하는 것을 가능하게 하기 위해서 제공되었다. 이들 구현들에 대한 다양한 수정들이 당업자에게 자명할 것이고, 본원에서 정의된 일반적인 원리들은 본 발명의 사상 및 범위로부터 벗어남이 없이 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 본 명세서에서 도시된 구현들에 제한되도록 의도되지 않고 본 명세서에서 개시된 원리들 및 신규한 피처들에 부합하는 최광의 범위를 부여받게 하려는 것이다.
Claims (30)
- 이미징 장치로서,
복수의 다이오드들; 및
프로세서를 포함하고,
상기 복수의 다이오드들은,
타겟 장면을 나타내는 이미지 정보로서, 상기 이미지 정보는 상기 복수의 다이오드들의 제 1 서브셋트로부터 수신되는, 상기 이미지 정보, 또는
위상 검출 정보로서, 상기 위상 검출 정보는 상기 복수의 다이오드들의 제 2 서브셋트로부터 수신되는, 상기 위상 검출 정보
중 하나를 캡처하도록 각각 구성되고,
상기 프로세서는,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각의 다이오드에 대해,
상기 다이오드로부터 수신된 상기 위상 검출 정보를 액세스하고,
상기 이미지 정보로부터, 상기 다이오드의 로케이션에 대응하는 중심 값을 결정하며, 그리고
상기 중심 값 및 액세스된 상기 위상 검출 정보로부터, 상기 로케이션에 대응하는 가상 위상 검출 값을 결정하고,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 적어도 일부로부터의 상기 위상 검출 정보에 기초한 위상 검출 이미지,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각에 대한 상기 중심 값에 기초한 중심 이미지, 및
상기 복수의 다이오드들의 상기 제 2 서브셋트의 상기 적어도 일부에 대한 상기 가상 위상 검출 값에 기초한 가상 위상 검출 이미지
중 적어도 2 개를 생성하며,
생성된 상기 이미지들 중 2 개의 이미지들 간의 위상차를 계산하고, 그리고
상기 위상차에 기초하여 오토포커스 조정을 결정하기 위한
명령들로 구성되는, 이미징 장치. - 제 1 항에 있어서,
상기 프로세서는, 상기 중심 값으로부터 상기 로케이션에서의 상기 다이오드로부터 수신된 위상 검출 값을 감산함으로써 상기 가상 위상 검출 값을 결정하도록 구성되는, 이미징 장치. - 제 1 항에 있어서,
상기 프로세서는, 상기 로케이션 주위의 미리결정된 복수의 다이오드들로부터 수신된 이미지 정보를 이용하여 상기 중심 값을 보간함으로써 상기 중심 값을 결정하도록 구성되는, 이미징 장치. - 제 1 항에 있어서,
상기 프로세서는, 상기 중심 이미지 및 상기 가상 위상 검출 이미지 사이의 위상차를 계산하도록 구성되는, 이미징 장치. - 제 1 항에 있어서,
상기 복수의 다이오드들의 상기 제 2 서브셋트는 대향하는 위상 검출 다이오드들의 복수의 쌍들을 포함하는, 이미징 장치. - 제 5 항에 있어서,
상기 프로세서는, 상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각의 다이오드에 대해,
대향하는 위상 검출 다이오드를 식별하고; 그리고
상기 대향하는 위상 검출 다이오드에 대응하는 대향하는 가상 위상 이미지 및 대향하는 위상 검출 이미지를 식별하도록 구성되는, 이미징 장치. - 제 6 항에 있어서,
상기 프로세서는, 상기 중심 이미지, 위상 검출 이미지, 대향하는 위상 검출 이미지, 가상 위상 이미지, 및 대향하는 가상 위상 이미지의 모든 가능항 쌍들 간의 위상차들을 식별하도록 구성되는, 이미징 장치. - 제 7 항에 있어서,
상기 프로세서는, 상기 위상차들에 기초하여 상기 오토포커스 조정을 계산하도록 구성되는, 이미징 장치. - 제 1 항에 있어서,
상기 타겟 장면으로부터 전파되는 광의 부분을 차단하기 위해 상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각 위에 위치되어, 상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각은 특정 방향에서 상기 타겟 장면으로부터 전파되는 상기 광만을 수집하도록 하는 마스킹 엘리먼트를 더 포함하는, 이미징 장치. - 제 1 항에 있어서,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 적어도 2 개의 인접하는 다이오드들 위에 위치된 마이크로렌즈를 더 포함하고,
상기 마이크로렌즈는, 상기 타겟 장면으로부터 상기 적어도 2 개의 인접하는 다이오드들의 제 1 다이오드로 전파되는 광의 제 1 부분 및 상기 타겟 장면으로부터 상기 적어도 2 개의 인접하는 다이오드들의 제 2 다이오드로 전파되는 광의 제 2 부분을 통과시키도록 형성되며, 상기 제 1 부분은 제 1 방향으로 전파되고, 상기 제 2 부분은 제 2 방향으로 전파되는, 이미징 장치. - 제 1 항에 있어서,
상기 복수의 다이오드들은, 상기 복수의 다이오드들의 2-차원 매트릭스를 갖는 반도체 기판을 포함하는, 이미징 장치. - 제 1 항에 있어서,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 제 1 절반과 연관된 광학 엘리먼트들은, 상기 복수의 다이오드들의 상기 제 2 서브셋트의 상기 제 1 절반의 각각의 다이오드가 제 1 방향에서 상기 타겟 장면으로부터 전파되는 광만을 수집하여 상기 위상 검출 정보의 제 1 절반을 생성하도록 구성되는, 이미징 장치. - 제 10 항에 있어서,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 제 2 절반과 연관된 광학 엘리먼트들은, 상기 복수의 다이오드들의 상기 제 2 서브셋트의 상기 제 2 절반의 각각의 다이오드가 제 2 방향에서 상기 타겟 장면으로부터 전파되는 광만을 수집하여 상기 위상 검출 정보의 제 2 절반을 생성하도록 구성되는, 이미징 장치. - 제 1 항에 있어서,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각은 광-차단 마스크를 통해 상기 타겟 장면으로부터 전파되는 광을 수신하고, 상기 중심 값을 결정하는 것은 상기 로케이션 주위의 상기 복수의 다이오드들의 상기 제 1 서브셋트의 3x3 이웃으로부터 수신된 값들에 기초하여 상기 중심 값을 보간하는 것을 포함하는, 이미징 장치. - 제 1 항에 있어서,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각은 멀티-다이오드 마이크로렌즈를 통해 상기 타겟 장면으로부터 입사되는 광을 수신하고, 상기 중심 값을 결정하는 것은 상기 로케이션 주위의 상기 복수의 다이오드들의 상기 제 1 서브셋트의 3x4 이웃으로부터 수신된 값들에 기초하여 상기 중심 값을 보간하는 것을 포함하는, 이미징 장치. - 제 15 항에 있어서,
상기 멀티-다이오드 마이크로렌즈 하에 위치된 각각의 다이오드에 대해 상기 가상 위상 검출 값을 결정하는 것은 상기 중심 값을 이용하는 것을 포함하는, 이미징 장치. - 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서로서,
상기 프로세스는,
복수의 이미징 다이오드들로부터 타겟 장면을 나타내는 이미지 정보를 액세스하는 것,
상기 복수의 이미징 다이오드들의 2-차원 배열 내의 대응하는 복수의 로케이션들에서 위치된 복수의 위상 검출 다이오드들의 각각의 위상 검출 다이오드에 대해,
상기 위상 검출 다이오드로부터 수신된 위상 검출 정보를 액세스하는 것;
상기 이미지 정보로부터, 상기 위상 검출 다이오드의 로케이션에 대응하는 중심 값을 결정하는 것, 및
상기 중심 값 및 액세스된 상기 위상 검출 정보로부터, 상기 로케이션에 대응하는 가상 위상 검출 값을 결정하는 것;
상기 복수의 위상 검출 다이오드들의 각각에 대한 상기 위상 검출 정보에 기초한 위상 검출 이미지,
상기 복수의 위상 검출 다이오드들의 각각에 대한 상기 중심 값에 기초한 중심 이미지, 및
상기 복수의 위상 검출 다이오드들의 각각에 대한 상기 가상 위상 검출 값에 기초한 가상 위상 검출 이미지
중 적어도 2 개를 생성하는 것;
생성된 상기 이미지들 중 2 개의 이미지들 간의 위상차를 계산하는 것; 및
상기 위상차에 기초하여 오토포커스 조정을 결정하는 것을 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 제 17 항에 있어서,
상기 복수의 위상 검출 다이오드들은 상기 복수의 이미징 다이오드들의 2-차원 배열 내의 대응하는 복수의 로케이션들에서 위치되고, 상기 중심 값을 결정하는 것은 상기 로케이션 주위의 미리결정된 이미징 다이오드들로부터 수신된 값들을 이용하는 것을 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 제 18 항에 있어서,
각각의 위상 검출 다이오드는 클리어 컬러 필터를 통해서 또는 컬러 필터를 통하지 않고 상기 타겟 장면으로부터 전파되는 광을 수신하고, 상기 중심 값을 계산하는 것은 상기 로케이션 주위의 상기 미리결정된 이미징 다이오드들로부터 수신된 적색, 청색, 및 녹색 컬러 값들을 이용하는 것을 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 제 18 항에 있어서,
각각의 위상 검출 다이오드는 녹색 컬러 필터를 통해 상기 타겟 장면으로부터 전파되는 광을 수신하고, 상기 중심 값을 계산하는 것은 상기 로케이션 주위의 상기 미리결정된 이미징 다이오드들로부터 수신된 녹색 컬러 값들을 이용하는 것을 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 제 18 항에 있어서,
각각의 위상 검출 다이오드는 광-차단 마스크를 통해 상기 타겟 장면으로부터 입사되는 광을 수신하고, 상기 로케이션 주위의 상기 미리결정된 이미징 다이오드들은 상기 이미징 다이오드들의 3x3 어레이를 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 제 17 항에 있어서,
각각의 위상 검출 다이오드는 멀티-다이오드 마이크로렌즈를 통해 상기 타겟 장면으로부터 입사되는 광을 수신하고, 상기 로케이션 주위의 상기 미리결정된 이미징 다이오드들은 상기 이미징 다이오드들의 3x4 어레이를 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 제 22 항에 있어서,
상기 멀티-다이오드 마이크로렌즈 하에 위치된 각각의 다이오드에 대해 상기 가상 위상 검출 값을 결정하는 것은 상기 중심 값을 이용하는 것을 포함하는, 위상 검출 오토포커스를 위한 프로세스를 수행하기 위한 명령들로 구성된 프로세서. - 위상 검출 오토포커스 프로세스로서,
복수의 이미징 다이오드들로부터 타겟 장면을 나타내는 이미지 정보를 액세스하는 것;
상기 복수의 이미징 다이오드들의 2-차원 배열 내의 로케이션들에 대응하는 복수의 로케이션들에서 위치된 복수의 위상 검출 다이오드들의 각각의 위상 검출 다이오드에 대해,
상기 위상 검출 다이오드로부터 수신된 위상 검출 정보를 액세스하는 것,
상기 이미지 정보로부터, 상기 위상 검출 다이오드의 로케이션에 대응하는 중심 값을 결정하는 것, 및
상기 중심 값 및 액세스된 상기 위상 검출 정보로부터, 상기 로케이션에 대응하는 가상 위상 검출 값을 결정하는 것;
각각의 위상 검출 다이오드의 상기 가상 위상 검출 값 및 상기 위상 검출 정보에 기초하여 제 1 이미지 및 제 2 이미지를 생성하는 것;
상기 제 1 이미지 및 상기 제 2 이미지 간의 위상차를 계산하는 것; 및
상기 위상차에 기초하여 오토포커스 조정을 결정하는 것을 포함하는, 위상 검출 오토포커스 프로세스. - 제 24 항에 있어서,
상기 복수의 위상 검출 다이오드들의 좌측 서브셋트를 식별하는 것 및 상기 복수의 위상 검출 다이오드들의 우측 서브셋트를 식별하는 것을 더 포함하는, 위상 검출 오토포커스 프로세스. - 제 24 항에 있어서,
상기 제 1 이미지를 생성하는 것은, 상기 복수의 위상 검출 다이오드들의 좌측 서브셋트로부터 수신된 위상 검출 정보를, 상기 복수의 위상 검출 다이오드들의 우측 서브셋트의 로케이션들에 대응하는 복수의 가상 위상 검출 값들과 결합하는 것을 포함하고, 상기 제 2 이미지를 생성하는 것은, 상기 복수의 위상 검출 다이오드들의 상기 우측 서브셋트로부터 수신된 위상 검출 정보를, 상기 복수의 위상 검출 다이오드들의 상기 좌측 서브셋트의 로케이션들에 대응하는 복수의 가상 위상 검출 값들과 결합하는 것을 포함하는, 위상 검출 오토포커스 프로세스. - 제 24 항에 있어서,
상기 제 1 이미지를 생성하는 것은 상기 복수의 위상 검출 다이오드들의 좌측 서브셋트로부터 수신된 위상 검출 정보에 기초하고, 상기 제 2 이미지를 생성하는 것은 상기 복수의 위상 검출 다이오드들의 상기 좌측 서브셋트의 로케이션들에 대응하는 복수의 가상 위상 검출 값들에 기초하는, 위상 검출 오토포커스 프로세스. - 제 24 항에 있어서,
각각의 위상 검출 다이오드는 클리어 컬러 필터를 통해서 또는 컬러 필터를 통하지 않고 상기 타겟 장면으로부터 전파되는 광을 수신하고, 상기 중심 값을 계산하는 것은 상기 로케이션 주위의 상기 복수의 이미징 다이오드들의 미리결정된 이웃으로부터 수신된 적색, 청색, 및 녹색 컬러 값들을 이용하는 것을 포함하는, 위상 검출 오토포커스 프로세스. - 제 24 항에 있어서,
각각의 위상 검출 다이오드는 녹색 컬러 필터를 통해 상기 타겟 장면으로부터 전파되는 광을 수신하고, 상기 중심 값을 계산하는 것은 상기 로케이션 주위의 상기 복수의 이미징 다이오드들의 미리결정된 이웃으로부터 수신된 녹색 컬러 값들을 이용하는 것을 포함하는, 위상 검출 오토포커스 프로세스. - 이미징 장치로서,
타겟 장면을 나타내는 이미지 정보를 캡처하는 수단;
위상 검출 정보를 캡처하기 위한 복수의 수단들;
상기 위상 검출 정보를 캡처하기 위한 복수의 수단들의 각각의 위상 캡처 수단에 대해,
상기 위상 캡처 수단으로부터 수신된 위상 검출 정보를 액세스하고,
상기 이미지 정보로부터, 상기 위상 캡처 수단의 로케이션에 대응하는 중심 값을 결정하며, 그리고
상기 중심 값 및 액세스된 상기 위상 검출 정보로부터, 상기 로케이션에 대응하는 가상 위상 검출 값을 결정하는 수단;
상기 위상 검출 정보를 캡처하기 위한 복수의 수단들의 적어도 일부의 상기 위상 검출 정보에 기초한 위상 검출 이미지,
상기 복수의 다이오드들의 상기 제 2 서브셋트의 각각에 대한 상기 중심 값에 기초한 중심 이미지, 및
상기 위상 검출 정보를 캡처하기 위한 복수의 수단들의 적어도 일부에 대한 상기 가상 위상 검출 값에 기초한 가상 위상 검출 이미지
중 적어도 2 개를 생성하는 수단;
생성된 상기 이미지들 중 2 개의 이미지들 간의 위상차를 계산하는 수단; 및
상기 위상차에 기초하여 오토포커스 조정을 결정하는 수단을 포함하는, 이미징 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/865,629 | 2015-09-25 | ||
| US14/865,629 US9804357B2 (en) | 2015-09-25 | 2015-09-25 | Phase detection autofocus using masked and unmasked photodiodes |
| PCT/US2016/048414 WO2017052923A1 (en) | 2015-09-25 | 2016-08-24 | Phase detection autofocus arithmetic |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180059842A true KR20180059842A (ko) | 2018-06-05 |
Family
ID=56940359
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187011521A KR20180056754A (ko) | 2015-09-25 | 2016-08-24 | 위상 검출 오토포커스 노이즈 감소 |
| KR1020187011529A KR20180059842A (ko) | 2015-09-25 | 2016-08-24 | 위상 검출 오토포커스 연산 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187011521A KR20180056754A (ko) | 2015-09-25 | 2016-08-24 | 위상 검출 오토포커스 노이즈 감소 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9804357B2 (ko) |
| EP (1) | EP3354009B1 (ko) |
| JP (1) | JP2018535443A (ko) |
| KR (2) | KR20180056754A (ko) |
| CN (1) | CN108141527B (ko) |
| BR (1) | BR112018006093A2 (ko) |
| WO (1) | WO2017052923A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200069024A (ko) * | 2018-12-06 | 2020-06-16 | 삼성전자주식회사 | 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치 |
| US11178326B2 (en) | 2019-06-19 | 2021-11-16 | Samsung Electronics Co., Ltd. | Image sensor and electronic device including image sensor |
| WO2023003368A1 (ko) * | 2021-07-21 | 2023-01-26 | 삼성전자 주식회사 | 오토 포커스 기능을 제공하는 방법 및 그 전자 장치 |
| WO2023038459A1 (ko) * | 2021-09-09 | 2023-03-16 | 삼성전자 주식회사 | 전자 장치 및 그 제어 방법 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10148864B2 (en) * | 2015-07-02 | 2018-12-04 | Pixart Imaging Inc. | Imaging device having phase detection pixels and regular pixels, and operating method thereof |
| US9978154B2 (en) | 2015-07-02 | 2018-05-22 | Pixart Imaging Inc. | Distance measurement device base on phase difference and distance measurement method thereof |
| JP2017049318A (ja) * | 2015-08-31 | 2017-03-09 | キヤノン株式会社 | 焦点調節装置及びそれを用いた撮像装置及び焦点調節方法 |
| US10044959B2 (en) * | 2015-09-24 | 2018-08-07 | Qualcomm Incorporated | Mask-less phase detection autofocus |
| US10154234B2 (en) * | 2016-03-16 | 2018-12-11 | Omnivision Technologies, Inc. | Image sensor with peripheral 3A-control sensors and associated imaging system |
| WO2017209252A1 (ja) * | 2016-06-01 | 2017-12-07 | 富士フイルム株式会社 | 撮像装置、合焦制御方法、及び、合焦制御プログラム |
| US10536623B2 (en) * | 2017-03-13 | 2020-01-14 | Lumileds Llc | Imaging device with an improved autofocusing performance |
| CN107146797B (zh) * | 2017-04-28 | 2020-03-27 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| US10387477B2 (en) * | 2017-05-30 | 2019-08-20 | Qualcomm Incorporated | Calibration for phase detection auto focus (PDAF) camera systems |
| US10848697B2 (en) * | 2018-08-14 | 2020-11-24 | Omnivision Technologies, Inc. | Image sensors with phase detection auto focus pixels |
| US11025842B2 (en) | 2019-04-05 | 2021-06-01 | Apple Inc. | Binner circuit for image signal processor |
| US11023994B2 (en) * | 2019-04-05 | 2021-06-01 | Apple Inc. | Auto-focus engine architecture for image signal processor |
| US11297219B2 (en) | 2019-06-11 | 2022-04-05 | Samsung Electronics Co., Ltd. | Image sensor |
| GB2586980B (en) | 2019-09-10 | 2023-02-15 | Advanced Risc Mach Ltd | Contrast-based autofocus |
| KR20210087809A (ko) | 2020-01-03 | 2021-07-13 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
| US11765470B2 (en) | 2020-10-26 | 2023-09-19 | Samsung Electronics Co., Ltd. | Pixel array including evenly arranged phase detection pixels and image sensor including the pixel array |
| GB2601372B (en) | 2020-11-30 | 2022-12-14 | British Telecomm | Wireless telecommunications network |
| US11496728B2 (en) | 2020-12-15 | 2022-11-08 | Waymo Llc | Aperture health monitoring mode |
| GB2609911B (en) | 2021-08-10 | 2023-09-20 | British Telecomm | Wireless telecommunications network |
| EP4320854A1 (en) | 2021-08-23 | 2024-02-14 | Samsung Electronics Co., Ltd. | Method and electronic device for auto focus of scene |
| US11539875B1 (en) * | 2021-08-27 | 2022-12-27 | Omnivision Technologies Inc. | Image-focusing method and associated image sensor |
| US20240015407A1 (en) * | 2021-12-08 | 2024-01-11 | Dream Chip Technologies Gmbh | Method for processing image data of an image sensor and image processor unit and computer program |
Family Cites Families (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3592147B2 (ja) | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
| JP2003247823A (ja) * | 2002-02-26 | 2003-09-05 | Seiko Precision Inc | 位相差検出方法、位相差検出装置、測距装置および撮像装置 |
| JP4324402B2 (ja) | 2003-04-08 | 2009-09-02 | Ｈｏｙａ株式会社 | カメラの自動焦点調節装置 |
| JP4042710B2 (ja) | 2004-02-25 | 2008-02-06 | カシオ計算機株式会社 | オートフォーカス装置及びそのプログラム |
| JP4967296B2 (ja) | 2005-10-03 | 2012-07-04 | 株式会社ニコン | 撮像素子、焦点検出装置、および、撮像システム |
| US7711261B2 (en) | 2006-04-11 | 2010-05-04 | Nikon Corporation | Imaging device, camera and image processing method |
| JP4857877B2 (ja) | 2006-04-11 | 2012-01-18 | 株式会社ニコン | 撮像装置およびカメラ |
| JP4349407B2 (ja) | 2006-11-17 | 2009-10-21 | ソニー株式会社 | 撮像装置 |
| JP5040700B2 (ja) | 2008-02-12 | 2012-10-03 | ソニー株式会社 | 撮像素子および撮像装置 |
| JP5219865B2 (ja) | 2008-02-13 | 2013-06-26 | キヤノン株式会社 | 撮像装置及び焦点制御方法 |
| JP5161702B2 (ja) | 2008-08-25 | 2013-03-13 | キヤノン株式会社 | 撮像装置、撮像システム、及び焦点検出方法 |
| JP5146295B2 (ja) | 2008-12-15 | 2013-02-20 | ソニー株式会社 | 撮像装置および合焦制御方法 |
| JP2010252277A (ja) | 2009-04-20 | 2010-11-04 | Panasonic Corp | 固体撮像装置及び電子カメラ |
| JP5322783B2 (ja) | 2009-06-05 | 2013-10-23 | キヤノン株式会社 | 撮像装置及び該撮像装置の制御方法 |
| US8253832B2 (en) * | 2009-06-09 | 2012-08-28 | Omnivision Technologies, Inc. | Interpolation for four-channel color filter array |
| JP5476810B2 (ja) | 2009-06-23 | 2014-04-23 | 株式会社ニコン | 撮像装置 |
| JP5204728B2 (ja) * | 2009-06-25 | 2013-06-05 | ペンタックスリコーイメージング株式会社 | 焦点検出装置 |
| JP5381472B2 (ja) | 2009-08-05 | 2014-01-08 | 株式会社ニコン | 撮像装置 |
| JP5454223B2 (ja) | 2010-02-25 | 2014-03-26 | 株式会社ニコン | カメラ |
| CN102823236B (zh) | 2010-06-09 | 2016-01-20 | 富士胶片株式会社 | 成像装置以及图像处理方法 |
| JP5744556B2 (ja) | 2011-02-10 | 2015-07-08 | オリンパス株式会社 | 撮像素子および撮像装置 |
| WO2012132122A1 (ja) | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及びその合焦制御方法 |
| JP5468178B2 (ja) | 2011-03-31 | 2014-04-09 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| WO2012132117A1 (ja) | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及びその駆動方法 |
| WO2012132797A1 (ja) | 2011-03-31 | 2012-10-04 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
| JP6029309B2 (ja) | 2011-06-22 | 2016-11-24 | キヤノン株式会社 | 焦点検出装置 |
| US20130002936A1 (en) | 2011-06-30 | 2013-01-03 | Nikon Corporation | Image pickup apparatus, image processing apparatus, and storage medium storing image processing program |
| KR101853817B1 (ko) * | 2011-07-20 | 2018-05-02 | 삼성전자주식회사 | 촬상 소자 |
| JP2013025144A (ja) | 2011-07-22 | 2013-02-04 | Nikon Corp | 焦点調節装置および撮像装置 |
| WO2013164937A1 (ja) | 2012-05-01 | 2013-11-07 | 富士フイルム株式会社 | 撮像装置及び合焦制御方法 |
| WO2013168493A1 (ja) | 2012-05-10 | 2013-11-14 | 富士フイルム株式会社 | 信号処理装置、撮像装置、信号補正方法 |
| JP6066593B2 (ja) | 2012-06-13 | 2017-01-25 | キヤノン株式会社 | 撮像システムおよび撮像システムの駆動方法 |
| EP2738812B8 (en) | 2012-11-29 | 2018-07-18 | ams Sensors Belgium BVBA | A pixel array |
| JP2014153509A (ja) | 2013-02-07 | 2014-08-25 | Canon Inc | 撮像装置及び撮像方法 |
| JP2014160930A (ja) | 2013-02-19 | 2014-09-04 | Sony Corp | 固体撮像素子およびその駆動方法、並びに電子機器 |
| JP6172978B2 (ja) | 2013-03-11 | 2017-08-02 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体 |
| JP2014179939A (ja) | 2013-03-15 | 2014-09-25 | Sony Corp | 信号処理装置および信号処理方法 |
| JP6426890B2 (ja) | 2013-06-11 | 2018-11-21 | キヤノン株式会社 | 焦点検出装置及び方法、及び撮像装置 |
| KR102125561B1 (ko) | 2013-12-03 | 2020-06-22 | 삼성전자주식회사 | 촬영 장치 및 이의 제어 방법 |
| JP6478457B2 (ja) | 2014-01-23 | 2019-03-06 | キヤノン株式会社 | 焦点調節装置及び焦点調節方法 |
| US9432568B2 (en) | 2014-06-30 | 2016-08-30 | Semiconductor Components Industries, Llc | Pixel arrangements for image sensors with phase detection pixels |
| JP2016038414A (ja) | 2014-08-05 | 2016-03-22 | キヤノン株式会社 | 焦点検出装置およびその制御方法、並びに撮像装置 |
| US10078198B2 (en) | 2014-08-08 | 2018-09-18 | Samsung Electronics Co., Ltd. | Photographing apparatus for automatically determining a focus area and a control method thereof |
| US9420164B1 (en) | 2015-09-24 | 2016-08-16 | Qualcomm Incorporated | Phase detection autofocus noise reduction |
-
2015
- 2015-09-25 US US14/865,629 patent/US9804357B2/en active Active
-
2016
- 2016-08-24 KR KR1020187011521A patent/KR20180056754A/ko not_active Application Discontinuation
- 2016-08-24 JP JP2018515051A patent/JP2018535443A/ja active Pending
- 2016-08-24 KR KR1020187011529A patent/KR20180059842A/ko unknown
- 2016-08-24 CN CN201680054975.XA patent/CN108141527B/zh not_active Expired - Fee Related
- 2016-08-24 EP EP16766705.4A patent/EP3354009B1/en active Active
- 2016-08-24 WO PCT/US2016/048414 patent/WO2017052923A1/en active Application Filing
- 2016-08-24 BR BR112018006093A patent/BR112018006093A2/pt not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200069024A (ko) * | 2018-12-06 | 2020-06-16 | 삼성전자주식회사 | 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치 |
| US11178326B2 (en) | 2019-06-19 | 2021-11-16 | Samsung Electronics Co., Ltd. | Image sensor and electronic device including image sensor |
| US11563883B2 (en) | 2019-06-19 | 2023-01-24 | Samsung Electronics Co., Ltd. | Image sensor and electronic device including image sensor |
| WO2023003368A1 (ko) * | 2021-07-21 | 2023-01-26 | 삼성전자 주식회사 | 오토 포커스 기능을 제공하는 방법 및 그 전자 장치 |
| WO2023038459A1 (ko) * | 2021-09-09 | 2023-03-16 | 삼성전자 주식회사 | 전자 장치 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3354009A1 (en) | 2018-08-01 |
| KR20180056754A (ko) | 2018-05-29 |
| US20170090149A1 (en) | 2017-03-30 |
| WO2017052923A1 (en) | 2017-03-30 |
| CN108141527B (zh) | 2020-08-07 |
| JP2018535443A (ja) | 2018-11-29 |
| EP3354009B1 (en) | 2019-09-18 |
| CN108141527A (zh) | 2018-06-08 |
| BR112018006093A2 (pt) | 2019-03-19 |
| US9804357B2 (en) | 2017-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3354009B1 (en) | Phase detection autofocus arithmetic | |
| US9729779B2 (en) | Phase detection autofocus noise reduction | |
| CN108141571B (zh) | 无掩模相位检测自动聚焦 | |
| US10044926B2 (en) | Optimized phase detection autofocus (PDAF) processing | |
| US10397465B2 (en) | Extended or full-density phase-detection autofocus control | |
| JP6878604B2 (ja) | 撮像方法および電子装置 | |
| TWI605297B (zh) | 具有對稱之多像素相位差檢測器之影像感測器、成像系統及相關檢測方法 | |
| JP2014011526A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
| US9521312B2 (en) | Focus detection apparatus, control method for the same, and image capture apparatus | |
| US20180288306A1 (en) | Mask-less phase detection autofocus | |
| US11245878B2 (en) | Quad color filter array image sensor with aperture simulation and phase detection | |
| JP2014032214A (ja) | 撮像装置及びその合焦位置検出方法 | |
| JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
| US20190033555A1 (en) | Phase detection autofocus with diagonal line detection | |
| US9503661B2 (en) | Imaging apparatus and image processing method | |
| JP2013258777A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |