KR20180059478A - 마스크리스 위상 검출 오토포커스 - Google Patents
마스크리스 위상 검출 오토포커스 Download PDFInfo
- Publication number
- KR20180059478A KR20180059478A KR1020187011197A KR20187011197A KR20180059478A KR 20180059478 A KR20180059478 A KR 20180059478A KR 1020187011197 A KR1020187011197 A KR 1020187011197A KR 20187011197 A KR20187011197 A KR 20187011197A KR 20180059478 A KR20180059478 A KR 20180059478A
- Authority
- KR
- South Korea
- Prior art keywords
- diode
- diodes
- image
- microlenses
- light
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 13
- 238000005314 correlation function Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H04N5/23212—
-
- H04N5/3696—
-
- H04N9/045—
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Automatic Focus Adjustment (AREA)
- Color Television Image Signal Generators (AREA)
- Focusing (AREA)
- Studio Devices (AREA)
Abstract
일 예의 이미지 캡처 디바이스는 이미지 센서를 포함하고, 이미지 센서는, 타겟 장면으로부터의 광을 센싱하기 위한 다이오드들, 다이오드들 상방에 포지셔닝되고 다이오드들 중 하나의 다이오드 위에 각각 포지셔닝된 컬러 필터들을 포함하는 컬러 필터 어레이, Bayer 패턴으로 배열된 일부 컬러 필터들 상방에 포지셔닝된 단일-다이오드 마이크로렌즈들, 및 컬러 필터들 하방의 대응하는 인접한 다이오드들에 동일한 파장의 광을 통과시키는 적어도 2 개의 인접한 컬러 필터들 상방에 각각 포지셔닝된 멀티-다이오드 마이크로렌즈들로서, 각각의 멀티-다이오드 마이크로렌즈는, 제 1 방향으로 입사된 광이 인접한 다이오드들 중 하나의 다이오드에서 수집되고 제 2 방향으로 입사된 광이 인접한 다이오드들 중 다른 다이오드에서 수집되도록 형성된, 상기 멀티-다이오드 마이크로렌즈들을 갖는다. 이미지 캡처 디바이스의 이미지 신호 프로세서는 인접한 다이오드들로부터 수신된 신호들을 이용하여 위상 검출 오토포커스를 수행할 수 있고 인접한 다이오드들에 대한 컬러 값들을 보간할 수 있다.
Description
본 명세서에서 개시된 시스템들 및 방법들은 위상 검출 오토포커스에 관련되며, 특히, 마스크리스 (mask-less) 위상 검출 오토포커스 센서들 및 프로세싱 기법들에 관련된다.
일부 이미지 캡처 디바이스들은 오토포커스를 수행하기 위해 (또한 "픽셀들" 로도 지칭될 수도 있는) 위상차 (phase difference) 검출 센서들을 이용한다. 온-센서 위상차 검출은 좌측 및 우측 픽셀들의 반복하는 성긴 (sparse) 패턴들로 통상 배열된, 이미징 픽셀들 사이에 위상차 검출 픽셀들을 산재시킴으로써 작동한다. 시스템은 상이한 위상차 검출 픽셀들에 의해 생성된 신호들 간의, 예를 들어, 좌측 픽셀과 인근의 우측 픽셀 간의 위상차들을 검출한다. 검출된 위상차들은 오토포커스를 수행하는데 이용될 수 있다.
위상 검출 오토포커스는 콘트라스트-기반 오토포커스보다 더 빨리 동작하지만, 현재의 구현은 좌측 및 우측 위상 검출 픽셀들을 생성하기 위해 이미지 센서 위에 금속 마스크를 배치하여, 그 결과 더 적은 광이 마스킹된 픽셀들에 도달하게 된다. 통상의 이미징 센서들은 각각의 픽셀에 광을 포커싱하기 위해 각 개개의 픽셀 위에 형성된 마이크로렌즈를 가지고, 마이크로렌즈들 위에 배치된 위상 검출 오토포커스 마스크는 약 50% 만큼 위상 검출 픽셀의 마이크로렌즈에 진입하는 광을 감소시킨다. 위상 검출 픽셀들의 출력이 정상 이미지 캡처링 픽셀들의 출력보다 더 낮은 밝기 (brightness) 를 갖기 때문에, 위상차 검출 픽셀들은 보정 (correction) 을 요구하는 캡처링된 이미지들에서의 뚜렷한 아티팩트 (noticeable artifact) 들을 생성한다. 이미징 픽셀들 사이에 개별적으로 위상 검출 픽셀들을 배치함으로써, 시스템은 위상 검출 픽셀들에 대한 값들을 보간할 수 있다.
마스킹된 픽셀들은 쌍을 이루어 이용된다. 장면에 포커스가 맞지 않는 경우, 위상 검출 픽셀 마스크 위상은 인입 광을 약간 시프트한다. 그들의 상대적 시프트들과 결합된, 위상 검출 픽셀들 간의 거리는, 장면에 포커스를 맞추기 위해 이미징 디바이스의 광학 어셈블리가 렌즈를 얼마나 멀리 이동시켜야 하는지의 결정을 내리도록 컨볼빙될 수 있다.
일반적으로, 본 개시는 위상차 정보를 제공하기 위해 이미지 센서에서의 센싱 엘리먼트들 (예를 들어, 포토다이오드들), 또는 인접한 픽셀들에 걸치도록 형성된 마이크로렌즈들을 이용하는 것에 의한 마스크리스 위상 검출 픽셀들에 관련된다. 본 명세서에서 설명된 설계들에 따르면, 멀티-픽셀 마이크로렌즈와 대응하는 다이오드들 사이에 배치된 컬러 필터들은 동일한 파장의 광을 통과시키도록 선택될 수 있다. 하나의 실시형태에서, 멀티-픽셀 마이크로렌즈와 대응하는 다이오드들 사이에 배치된 컬러 필터들은 녹색 광을 통과시키도록 선택될 수 있다. 그러나, 단일-픽셀 마이크로렌즈들과 대응하는 다이오드들 사이에 배치된 컬러 필터들은 표준 Bayer 패턴을 따를 수 있다.
하나의 혁신은 이미지 캡처 디바이스를 포함하고, 그 이미지 캡처 디바이스는, 이미지 센서로서, 타겟 장면으로부터의 광을 센싱하기 위한 복수의 다이오드들; 복수의 다이오드들 상방에 배치된 컬러 필터 어레이로서, 그 컬러 필터 어레이는 복수의 다이오드들 중의 하나의 다이오드 위에 각각 포지셔닝된 복수의 컬러 필터들을 포함하는, 상기 컬러 필터 어레이; 복수의 컬러 필터들 중 하나의 컬러 필터 상방에 각각 포지셔닝된 복수의 단일-다이오드 마이크로렌즈들로서, 복수의 컬러 필터들은 Bayer 패턴으로 배열된 복수의 단일-다이오드 마이크로렌즈들에 대응하는, 상기 복수의 단일-다이오드 마이크로렌즈들; 위상차 검출을 위한 복수의 멀티-다이오드 마이크로렌즈들로서, 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈는, 복수의 컬러 필터들 중의, 각각 동일한 파장의 광을 통과시키도록 구성된 적어도 2 개의 인접한 컬러 필터들 상방에 포지셔닝되고, 그리고 제 1 방향으로 입사된 광이 적어도 2 개의 인접한 다이오드들 중 제 1 다이오드에서 수집되고 제 2 방향으로 입사된 광이 적어도 2 개의 인접한 다이오드들 중 제 2 다이오드에서 수집되도록 형성된, 상기 복수의 멀티-다이오드 마이크로렌즈들을 포함하는, 상기 이미지 센서; 및 적어도 2 개의 인접한 다이오드들로부터 수신된 값들을 이용하여 위상 검출 오토포커스를 수행하도록 구성된 이미지 신호 프로세서를 포함한다.
다음은 이러한 이미지 캡처 디바이스들의 일부 피처들 및 실시형태들의 비제한적 예들이다. 예를 들어, 복수의 멀티-다이오드 마이크로렌즈들의 각각에 대해, 적어도 2 개의 인접한 컬러 필터들이 통과시키도록 구성되는 광의 파장은 녹색 광에 대응할 수 있다. 복수의 멀티-다이오드 마이크로렌즈들의 각각은 2 개의 인접한 컬러 필터들 및 연관된 다이오드들 위에, 또는 2x2 클러스터의 컬러 필터들 및 연관된 다이오드들 위에 포지셔닝될 수 있다. 일부 예들에서, 위상 검출 오토포커스를 수행하기 위해, 이미지 신호 프로세서는 제 1 다이오드로부터, 이미지 센서 상에 제 1 방향으로 입사된 광을 표현하는 제 1 이미지 데이터를 수신하고; 제 2 다이오드로부터, 이미지 센서 상에 제 2 방향으로 입사된 광을 표현하는 제 2 이미지 데이터를 수신하고; 제 1 이미지 데이터와 제 2 이미지 데이터 간의 디스패리티를 계산하고; 그리고 디스패리티를 이용하여 포커스 명령들을 생성하도록 추가로 구성될 수 있다. 이미지 캡처 디바이스는 이미지 센서 상방에 포지셔닝된 이동식 렌즈 어셈블리를 더 포함할 수 있고, 포커스 명령들은 이동식 렌즈 어셈블리를 원하는 포커스 포지션으로 이동시키기 위한 거리 및 방향을 포함할 수 있다. 이미지 신호 프로세서는, 이미지 센서로 하여금, 원하는 포커스 포지션에 포지셔닝된 이동식 렌즈 어셈블리로 이미지 데이터를 캡처하게 하고, 이미지 데이터에 적어도 부분적으로 기초하여, 타겟 장면의 최종 이미지를 구성하게 하는 명령들을 생성하도록 추가로 구성될 수 있다. 이미지 캡처 디바이스는 이미지 센서 상방에 포지셔닝된 렌즈 어셈블리를 더 포함할 수 있고, 이미지 센서는 렌즈 어셈블리에 상대적으로 이동가능하고, 포커스 명령들은 이미지 센서를 원하는 포커스 포지션으로 이동시키기 위한 거리 및 방향을 포함할 수 있다. 복수의 단일-다이오드 마이크로렌즈들 및 복수의 멀티-다이오드 마이크로렌즈들은, 복수의 멀티-다이오드 마이크로렌즈들이 반복하는 패턴으로 복수의 오토포커스 포인트들 중 하나에 각각 로케이트하게 하는 반복하는 패턴으로 배열될 수 있다.
다른 혁신은 이미지 센서를 포함하고, 그 이미지 센서는, 타겟 장면으로부터의 광을 센싱하기 위한 복수의 다이오드들; 복수의 다이오드들 상방에 배치된 컬러 필터 어레이로서, 그 컬러 필터 어레이는 복수의 다이오드들 중의 하나의 다이오드 위에 각각 포지셔닝된 복수의 컬러 필터들을 포함하는, 상기 컬러 필터 어레이; 및 컬러 필터 어레이 상방에 배치된 복수의 마이크로렌즈들로서, 그 복수의 마이크로렌즈들은 복수의 컬러 필터들 중 하나의 컬러 필터 상방에 각각 포지셔닝된 복수의 단일-다이오드 마이크로렌즈들을 포함하는 제 1 서브세트로서, 복수의 컬러 필터들 중의 컬러 필터들은 Bayer 패턴으로 배열된 복수의 단일-다이오드 마이크로렌즈들에 대응하는, 상기 복수의 단일-다이오드 마이크로렌즈들을 포함하는 제 1 서브세트, 및 복수의 멀티-다이오드 마이크로렌즈들로서, 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈는, 복수의 컬러 필터들 중의, 각각 동일한 파장의 광을 통과시키도록 구성된 적어도 2 개의 인접한 컬러 필터들 상방에 포지셔닝되고, 그리고 제 1 방향으로 입사된 광이 적어도 2 개의 인접한 다이오드들 중 제 1 다이오드에서 수집되고 제 2 방향으로 입사된 광이 적어도 2 개의 인접한 다이오드들 중 제 2 다이오드에서 수집되도록 형성된, 상기 복수의 멀티-다이오드 마이크로렌즈들을 포함하는, 상기 복수의 마이크로렌즈들을 포함한다.
다음은 이러한 이미지 센서의 일부 피처들 및 실시형태들의 비제한적 예들이다. 예를 들어, 적어도 2 개의 인접한 컬러 필터들이 파장을 통과시키도록 구성되는 광의 파장은 녹색 광에 대응할 수 있다. 복수의 멀티-다이오드 마이크로렌즈들 중 적어도 하나의 멀티-다이오드 마이크로렌즈는 복수의 다이오드들 중 2x2 클러스터의 다이오드들에 광을 통과시키도록 사이징된 원 둘레 (circular perimeter) 를 갖는 평면볼록 렌즈 (planoconvex lens) 일 수 있다. 복수의 멀티-다이오드 마이크로렌즈들 중 적어도 하나의 멀티-다이오드 마이크로렌즈는 복수의 다이오드들 중 2x1 클러스터의 다이오드들에 광을 통과시키도록 사이징된 타원 둘레 (oval perimeter) 를 갖는 평면볼록 렌즈일 수 있다. 복수의 다이오드들은 반도체 기판에 형성된 복수의 포토다이오드들의 어레이를 형성할 수 있고, 복수의 포토다이오드들의 각각은 복수의 마이크로렌즈들 중 하나로부터 광을 수신할 수 있다.
다른 혁신은 최종 이미지를 구성하기 위해 프로세스를 수행하기 위한 명령들로 구성된 이미지 신호 프로세서를 포함하고, 그 프로세스는, 이미지 센서의 복수의 다이오드들로부터 이미지 데이터를 수신하는 것으로서, 이미지 데이터는, Bayer 패턴으로 배열된 복수의 컬러 필터들과 연관된 복수의 다이오드들의 제 1 서브세트로부터의 복수의 이미징 픽셀 값들, 및 복수의 위상 검출 픽셀 값들의 각각이 녹색 픽셀 값을 포함하도록 Bayer 패턴에서 벗어나는 복수의 컬러 필터들과 연관된 복수의 다이오드들의 제 2 서브세트로부터의 복수의 위상 검출 픽셀 값들로서, 복수의 다이오드들의 제 2 서브세트는 인접한 다이오드들의 복수의 그룹들로 배열되고, 복수의 그룹들의 각각의 그룹은, 제 1 방향으로 입사된 광이 그 그룹의 제 1 다이오드에서 수집되고 제 2 방향으로 입사된 광이 그 그룹의 제 2 다이오드에서 수집되도록 형성된 대응하는 마이크로렌즈로부터 광을 수신하는, 상기 복수의 위상 검출 픽셀 값들을 포함하는, 상기 이미지 데이터를 수신하는 것; 인접한 다이오드들의 복수의 그룹들의 각각에 대해, 그 그룹의 제 1 다이오드의 로케이션에 대응하는 단일 녹색 픽셀 값을 계산하는 것; 인접한 다이오드들의 복수의 그룹들의 각각에 대해, 그 그룹의 제 2 다이오드의 로케이션에 대응하는 분실된 (missing) 청색 또는 적색 픽셀 값을 계산하는 것; 및 복수의 이미징 픽셀 값들, 계산된 분실된 청색 또는 적색 픽셀 값들, 및 계산된 단일 녹색 픽셀 값들에 적어도 부분적으로 기초하여 최종 이미지를 구성하는 것을 포함한다.
다음은 이러한 이미지 신호 프로세서의 일부 피처들 및 실시형태들의 비제한적 예들이다. 예를 들어, 복수의 다이오드들 중의 하나의 다이오드로부터 수신된 복수의 위상 검출 픽셀 값들 중의 위상 검출 픽셀 값은 하나의 다이오드에 인접한 복수의 다이오드들 중의 다른 다이오드들로부터 수신된 이미징 픽셀 값들의 밝기 값들과 유사한 밝기 값을 가질 수 있다. 최종 이미지를 구성하는 것은 디모자이킹을 통해 적어도 부분적으로 행해질 수 있다. 인접한 다이오드들의 복수의 그룹들의 각각에 대해 단일 녹색 픽셀 값을 계산하는 것은 그룹에서의 각각의 다이오드로부터 수신된 값들의 합산 값 (summing value) 들을 포함할 수 있다. 인접한 다이오드들의 복수의 그룹들의 각각에 대해 분실된 청색 또는 적색 픽셀 값을 계산하는 것은, Bayer 패턴에 기초하여, 제 2 다이오드가 청색 픽셀 로케이션에 대응하는지 또는 적색 픽셀 로케이션에 대응하는지를 식별하는 것을 포함할 수 있다. 제 2 다이오드가 청색 픽셀에 대응하는 경우, 분실된 청색 또는 적색 픽셀 값을 계산하는 것은, 복수의 이미징 픽셀 값들로부터, 제 2 다이오드의 청색 픽셀 로케이션의 미리결정된 이웃 내의 복수의 청색 픽셀 값들을 식별하는 것; 및 복수의 청색 픽셀 값들에 적어도 부분적으로 기초하여 제 2 다이오드에 대한 청색 픽셀 값을 보간하는 것을 포함한다. 미리결정된 이웃은 그 중심에 제 2 다이오드를 갖는 5x5 클러스터 내의 다이오드들로부터 수신된 값들을 포함할 수 있다. 제 2 다이오드가 적색 픽셀에 대응하는 경우, 분실된 청색 또는 적색 픽셀 값을 계산하는 것은, 복수의 이미징 픽셀 값들로부터, 제 2 다이오드의 적색 픽셀 로케이션의 미리결정된 이웃 내의 복수의 적색 픽셀 값들을 식별하는 것; 및 복수의 적색 픽셀 값들에 적어도 부분적으로 기초하여 제 2 다이오드에 대한 적색 픽셀 값을 보간하는 것을 포함할 수 있다.
다른 혁신은 이미지 캡처 장치를 포함하고, 그 이미지 캡처 장치는, 이미지 캡처 수단으로서, 그 이미지 캡처 수단은, 타겟 장면으로부터의 광을 센싱하기 위한 복수의 센싱 수단; 복수의 센싱 수단 상방에 배치된 복수의 컬러 필터 수단으로서, 복수의 컬러 필터 수단의 각각은 복수의 센싱 수단 중의 하나의 센싱 수단 위에 포지셔닝된, 상기 복수의 컬러 필터 수단; 복수의 컬러 필터 수단 중 하나의 컬러 필터 수단 상방에 각각 포지셔닝된 복수의 제 1 광 포커싱 수단으로서, 복수의 컬러 필터 수단의 제 1 서브세트는 Bayer 패턴으로 배열된 복수의 제 1 광 포커싱 수단에 대응하는, 상기 복수의 제 1 광 포커싱 수단; 위상차 검출 정보를 생성하기 위한 복수의 제 2 광 포커싱 수단으로서, 복수의 제 2 광 포커싱 수단의 각각은, 복수의 컬러 필터 수단 중의, 각각 동일한 파장의 광을 통과시키도록 구성된 적어도 2 개의 인접한 컬러 필터 수단 상방에 포지셔닝되고, 그리고 제 1 방향으로 입사된 광이 적어도 2 개의 인접한 센싱 수단 중 제 1 센싱 수단에서 수집되고 제 2 방향으로 입사된 광이 적어도 2 개의 인접한 센싱 수단 중 제 2 센싱 수단에서 수집되도록 형성된, 상기 복수의 제 2 광 포커싱 수단을 포함하는, 상기 이미지 캡처 수단; 및 복수의 제 2 광 포커싱 수단 중 하나의 제 2 광 포커싱 수단에 대응하는 적어도 2 개의 인접한 센싱 수단으로부터 수신된 값들을 이용하여 위상 검출 오토포커스를 수행하도록 구성된 위상 검출 수단을 포함한다.
다음은 이러한 이미지 캡처 장치의 일부 피처들 및 실시형태들의 비제한적 예들이다. 예를 들어, 이미지 캡처 장치는 타겟 장면의 인-포커스 (in-focus) 이미지를 생성하기 위해 이미지 신호 프로세싱 수단으로부터 수신된 데이터에 적어도 부분적으로 기초하여 포지셔닝가능한 프라이머리 포커싱 수단을 포함할 수 있다. 프라이머리 포커싱 수단은 복수의 컬러 필터 수단 상방에 포지셔닝된 이동식 렌즈 어셈블리를 포함할 수 있다. 프라이머리 포커싱 수단은 복수의 센싱 수단을 이동시키기 위한 메커니즘을 포함할 수 있다. 이미지 캡처 장치는 복수의 제 2 광 포커싱 수단으로부터 광을 수신하는 일부 센싱 수단에 대한 분실된 컬러 값들을 계산하기 위한 보간 수단을 포함할 수 있다.
개시된 양태들은 개시된 양태들을 제한하는 것이 아니라 예시하기 위해 제공된, 첨부된 도면들 및 부록들과 함께 이하에 설명될 것이며, 여기서 동일한 지정들은 동일한 엘리먼트들을 나타낸다.
도 1a 는 본 명세서에서 설명한 바와 같은 일 예의 멀티-다이오드 마이크로렌즈의 개략도를 묘사한다.
도 1b 는 한 쌍의 위상 검출 다이오드들에 진입하는 광의 일 예의 광선 트레이스 (ray trace) 를 묘사한다.
도 1c 는 한 쌍의 위상 검출 다이오드들에 진입한는 광의 일 예의 광선 트레이스를 묘사한다.
도 1d 는 한 쌍의 위상 검출 다이오드들에 진입하는 광의 일 예의 광선 트레이스를 묘사한다.
도 2 는 도 1a 의 예의 멀티-다이오드 마이크로렌즈를 이용하는 위상 검출의 일 예를 예시하는 개략도를 묘사한다.
도 3a 는 본 명세서에서 설명한 바와 같은 위상 검출 이미지 센서에 대한 컬러 필터들, 단일-다이오드 마이크로렌즈들, 및 멀티-다이오드 마이크로렌즈의 일 예의 배열을 묘사한다.
도 3b 는 도 3a 의 멀티-다이오드 마이크로렌즈 하의 센서에 대응하는 값들을 결정하기 위한 보간의 일 예의 표현을 묘사한다.
도 3c 는 도 3a 의 멀티-다이오드 마이크로렌즈 하의 값들에 대한 보간의 다른 예의 표현을 묘사한다.
도 4a 는 위상 검출 이미지 센서에 대한 컬러 필터들, 단일-다이오드 마이크로렌즈들, 및 멀티-다이오드 마이크로렌즈의 다른 예의 배열을 묘사한다.
도 4b 는 위상 검출 이미지 센서에 대한 컬러 필터들 및 멀티-다이오드 마이크로렌즈들의 일 예의 배열을 묘사한다.
도 5 는 멀티-다이오드 마이크로렌즈들을 갖는 센서를 이용하는 일 예의 위상 검출 오토포커스 프로세스의 하이-레벨 개관을 묘사한다.
도 6 은 위상 검출 오토포커스 디바이스들 및 기법들을 갖춘 이미징 시스템의 일 예를 예시하는 개략적 블록도를 묘사한다.
도 1a 는 본 명세서에서 설명한 바와 같은 일 예의 멀티-다이오드 마이크로렌즈의 개략도를 묘사한다.
도 1b 는 한 쌍의 위상 검출 다이오드들에 진입하는 광의 일 예의 광선 트레이스 (ray trace) 를 묘사한다.
도 1c 는 한 쌍의 위상 검출 다이오드들에 진입한는 광의 일 예의 광선 트레이스를 묘사한다.
도 1d 는 한 쌍의 위상 검출 다이오드들에 진입하는 광의 일 예의 광선 트레이스를 묘사한다.
도 2 는 도 1a 의 예의 멀티-다이오드 마이크로렌즈를 이용하는 위상 검출의 일 예를 예시하는 개략도를 묘사한다.
도 3a 는 본 명세서에서 설명한 바와 같은 위상 검출 이미지 센서에 대한 컬러 필터들, 단일-다이오드 마이크로렌즈들, 및 멀티-다이오드 마이크로렌즈의 일 예의 배열을 묘사한다.
도 3b 는 도 3a 의 멀티-다이오드 마이크로렌즈 하의 센서에 대응하는 값들을 결정하기 위한 보간의 일 예의 표현을 묘사한다.
도 3c 는 도 3a 의 멀티-다이오드 마이크로렌즈 하의 값들에 대한 보간의 다른 예의 표현을 묘사한다.
도 4a 는 위상 검출 이미지 센서에 대한 컬러 필터들, 단일-다이오드 마이크로렌즈들, 및 멀티-다이오드 마이크로렌즈의 다른 예의 배열을 묘사한다.
도 4b 는 위상 검출 이미지 센서에 대한 컬러 필터들 및 멀티-다이오드 마이크로렌즈들의 일 예의 배열을 묘사한다.
도 5 는 멀티-다이오드 마이크로렌즈들을 갖는 센서를 이용하는 일 예의 위상 검출 오토포커스 프로세스의 하이-레벨 개관을 묘사한다.
도 6 은 위상 검출 오토포커스 디바이스들 및 기법들을 갖춘 이미징 시스템의 일 예를 예시하는 개략적 블록도를 묘사한다.
도입
본 개시의 실시형태들은 (본 명세서에서 멀티-픽셀 마이크로렌즈들 또는 멀티-다이오드 마이크로렌즈들로 지칭된) 이미지 센서에서의 인접한 다이오드들에 걸치도록 형성된 마이크로렌즈들을 이용하는 것에 의한 마스크리스 위상 검출 픽셀들에 대한 시스템들 및 기법들에 관한 것이다. 멀티-픽셀 마이크로렌즈들 하방의 위상차 검출 픽셀들은 이미지 포커스의 시프트 방향 (디포커스 방향) 및 시프트 양 (디포커스 양) 을 표시하는 위상차 신호를 획득하기 위해 제공된다.
이러한 멀티-픽셀 마이크로렌즈들을 이용하는 것은, 감소된-밝기의 마스킹된 위상 검출 픽셀들과는 대조적으로, 위상 검출 픽셀들의 전체 밝기 (full brightness), 즉 인접한 이미징 픽셀들에 대해 유사한 밝기를 허용한다. 이것은 마스킹된 위상 검출 픽셀들을 가진 센서를 이용하여 생성된 이미지와 비교하여 아티팩트들이 더 적은 최종 이미지를 생성할 수 있고, 또한 저광 세팅 (low-light setting) 들에 있어서 위상 검출 오토포커스의 더 나은 성능을 초래할 수 있다. 이러한 멀티-픽셀 마이크로렌즈들은 또한, 서로 매우 가까운, 예를 들어, 바로 인접한 좌측 및 우측 위상 검출 픽셀들을 위해 제공되어, 최종 이미지에서의 아티팩트들을 감소시키기 위해 간격을 두는 종래의 마스킹된 위상 검출 픽셀들보다 더 정확한 위상 검출 정보를 제공한다.
본 명세서에서 설명된 설계들에 따르면, 멀티-픽셀 마이크로렌즈와 대응하는 다이오드들 사이에 배치된 컬러 필터들은 동일한 파장의 광을 통과시키도록 선택될 수 있다. 단일-픽셀 마이크로렌즈들과 대응하는 다이오드들 사이에 배치된 컬러 필터들은 표준 Bayer 패턴을 따를 수 있다. 각각의 멀티-픽셀 마이크로렌즈 "하에" 단일 컬러를 단지 가짐으로써, 픽셀 컬러 값은 멀티-픽셀 마이크로렌즈 하에 다수의 컬러 필터 컬러들을 갖는 센서와 비교하여 더 정확하게 계산될 수 있다. 하나의 실시형태에서, 멀티-픽셀 마이크로렌즈와 대응하는 다이오드들 사이에 배치된 컬러 필터들은 녹색 광을 통과시키도록 선택될 수 있다. 이에 따라, 녹색 보정 (green correction) 은 간단하고 결과의 이미지 데이터는 결함이 있거나 또는 분실된 녹색 픽셀 정보를 가짐으로써 어떤 녹색 픽셀 정보도 잃어버리지 않는데, 녹색 픽셀들이 인간 시각에 특히 중요하기 때문이다.
멀티-픽셀 마이크로렌즈 하의 컬러 필터들은 전부 동일한 컬러의 광, 예를 들어, 녹색을 통과시키기 때문에, 이들 녹색 컬러 필터들의 일부는 Bayer 패턴에서 벗어나고, 따라서 다른 경우에 Bayer 패턴에 따라 소정의 로케이션에 존재할 "분실된" 컬러 필터들을 생성한다. 일부 실시형태들에서, 멀티-픽셀 마이크로렌즈 하의 녹색 컬러 필터에 의해 대체되는 분실된 컬러 필터는, 이미지 데이터의 청색 채널이 인간 시각의 관점에서의 품질에 가장 덜 중요하기 때문에, 청색 컬러 필터일 수 있다. 게다가, 표준 Bayer 패턴에 (즉, 멀티-픽셀 마이크로렌즈들의 로케이션들에서의) 단지 최소 변경 (minimal modification) 들만을 제공함으로써, 결과의 이미지 데이터는 종래의 디모자이킹 알고리즘들과 함께 사용가능할 것이다. 분실된 컬러 값은 보간될 수 있고 보간된 값은 최종 이미지를 구성하는데 이용될 수 있다. 이것은 Bayer 패턴에 기초하여, 분실된 컬러가 청색 픽셀 로케이션에 대응하는지 또는 적색 픽셀 로케이션에 대응하는지를 식별하는 것을 수반할 수 있다.
멀티-픽셀 마이크로렌즈들은 로우 또는 컬럼에 있어서 2 개의 인접한 픽셀들 위에 형성될 수 있거나, 또는 다양한 구현들에서 4 개의 인접한 픽셀들의 2x2 그룹핑들 위에 형성될 수 있다. 2x2 픽셀 마이크로렌즈들을 이용하는 것은 다수의 방향들에 대해 오토포커스 알고리즘을 체크하는 것을 허용할 수 있다: 그것은 모든 방향들에서의 에지들에 대한 로버스트니스를 개선시키기 위해 좌/우, 상/하 및 대각선을 생성하기 위해 결합할 수 있다. 다양한 패턴들이 개개의 마이크로렌즈들, 2-픽셀 마이크로렌즈들, 및 2x2 픽셀 마이크로렌즈들을 배열하기 위해 이용될 수 있다. 일부 실시형태들에서, 2x1 마이크로렌즈는 이미지 센서에서의 다이오드들의 사이즈에 의존하여, 대략 2㎛ 곱하기 1㎛ 일 수 있다. 일부 실시형태들에서, 2x2 마이크로렌즈는 이미지 센서에서의 다이오드들의 사이즈에 의존하여, 대략 2㎛ 곱하기 2㎛ 일 수 있다.
픽셀들 또는 컬러 필터들을 기술하기 위해 본 명세서에서 사용한 바와 같은 적색, 녹색, 및 청색은 인간의 눈에 있는 색 수용체들을 대략 따르는 파장 범위들을 지칭한다. 당업자가 인식할 바와 같이, 광의 컬러들 (예를 들어, 적색, 녹색, 및 청색 광) 을 정의하는 정확한 시작 및 종료 파장들 (또는 전자기 스펙트럼의 부분들) 은 단일 파장인 것으로 통상 정의되지 않는다. 각각의 컬러 필터는 가시 스펙트럼 내에 스펙트럼 응답 기능을 가질 수 있고, 이미지 센서의 일 부분 위에의 컬러 필터의 배치로부터 발생하는 각각의 컬러 채널은 통상의 인간 응답 기능을 가질 수 있다. 이미지 센서 필터 응답들은 대략 동일하지만, 센서에서 센서까지 변화할 수도 있다. 본 명세서에서 설명한 바와 같은 위상 검출 오토포커스 정보를 캡처하는데 이용되는 이미지 센서들은 컬러 필터 어레이 (CFA) 또는 컬러 필터 모자이크 (CFM) 와 함께 이용될 수도 있다. 이러한 컬러 필터들은 가시 범위에서의 모든 인입 광을 적색, 녹색, 및 청색 카테고리들로 스플리팅하여 스플리팅된 광을 이미지 센서 상의 전용 적색, 녹색, 또는 청색 포토다이오드 수용체들로 향하게 한다. 이로써, 컬러 필터의 파장 범위들은 캡처링된 이미지에서의 각각의 컬러 채널에 의해 표현되는 파장 범위들을 결정할 수 있다. 이에 따라, 이미지의 적색 채널은 컬러 필터의 적색 파장 영역에 대응할 수도 있고 다양한 실시형태들에서 대략 570 nm 에서 대략 760 nm 의 범위에 이르는, 일부 황색 및 주황색 광을 포함할 수 있다. 이미지의 녹색 채널은 컬러 필터의 녹색 파장 영역에 대응할 수도 있고 다양한 실시형태들에서 대략 570 nm 에서 대략 480 nm 의 범위에 이르는, 일부 황색 광을 포함할 수 있다. 이미지의 청색 채널은 컬러 필터의 청색 파장 영역에 대응할 수도 있고 다양한 실시형태들에서 대략 490 nm 에서 대략 400 nm 의 범위에 이르는, 일부 자색 광을 포함할 수 있다.
본 명세서에서는 주로 위상 검출 오토포커스의 맥락에서 논의하고 있지만, 본 명세서에서 설명된 위상 검출 이미지 센서들 및 기법들은 다른 맥락들, 예를 들어, 입체적 이미지 쌍들 또는 세트들의 생성에서 이용될 수 있다.
다양한 실시형태들은 예시의 목적들을 위해 도면들과 함께 아래에 설명될 것이다. 개시된 개념들의 많은 다른 구현들이 가능하고, 다양한 이점들이 개시된 구현들로 달성될 수 있다는 것이 인식되어야 한다. 본 명세서에는 참조를 위해 그리고 다양한 섹션들을 로케이트하는 것을 돕기 위해 표제들이 포함된다. 이들 표제들은 그것에 대하여 설명된 개념들의 범위를 제한하도록 의도되지 않는다. 이러한 개념들은 전체 명세서 전반에 걸쳐 적용가능성을 가질 수도 있다.
예의 위상 검출 마이크로렌즈 및 컬러 필터 배열들의 개관
도 1a 는 본 명세서에서 설명한 바와 같은 멀티-다이오드 마이크로렌즈 (110) 를 포함하는 일 예의 센서 부분 (100) 의 개략도를 묘사한다. 센서 부분은 단일-다이오드 마이크로렌즈들 (105A, 105B), 멀티-다이오드 마이크로렌즈 (110), 컬러 필터들 (115A 내지 115D), 및 포토다이오드들 ("다이오드들") (120A 내지 120D) 을 포함한다. 멀티-다이오드 마이크로렌즈 (110) 는, 멀티-다이오드 마이크로렌즈 (110) 에 의해 커버된 다이오드들 (120B, 120C) 에 입사되기 전에 타겟 장면으로부터의 인입 광이 멀티-다이오드 마이크로렌즈 (110) 를 통하여 전파하도록 사이징 및 포지셔닝된다.
다이오드들은, 반도체 기판, 예를 들어, 상보적 금속-산화물 반도체 (CMOS) 이미지 센서에 형성된 포토다이오드들일 수 있다. 본 명세서에서 사용한 바와 같이, 다이오드는 임의의 재료, 반도체, 센서 엘리먼트 또는 입사 광을 전류로 컨버팅하는 다른 디바이스의 단일 유닛을 지칭한다. 용어 "픽셀" 은 본 명세서에서 사용한 바와 같이 컬러 필터들 또는 마이크로렌즈들과 같은 인접한 광학 엘리먼트들로 인해 그 센싱 기능성의 맥락에서 단일 다이오드를 지칭할 수 있다. 이에 따라, "픽셀" 은 일반적으로 디스플레이 픽처 엘리먼트를 지칭할 수도 있지만, "픽셀" 은 본 명세서에서 사용한 바와 같이, 광을 수신하고 디스플레이 상에 렌더링되는 경우, 센서 (및 복수의 다른 센서들) 에 의해 캡처링된 이미지에서 일 포인트로서 디스플레이될 수도 있는 신호를 생성하는 센서 (예를 들어, 포토다이오드) 를 지칭할 수도 있다. 예를 들어 CMOS 또는 전하-결합 (CCD) 디바이스에서의, 센서들의 어레이의 개개의 유닛들 또는 센싱 엘리먼트들은 또한 센셀 (sensel) 들로 지칭될 수 있다.
컬러 필터들 (115A 내지 115D) 은 파장-선택적 통과 필터 (pass filter) 들로서의 역할을 하고 가시 범위에서의 인입 광을 (도면들 전반에 걸쳐 사용되는 R, G, 및 B 표기법으로 표시한 바와 같은) 적색, 녹색, 및 청색 범위들로 스플리팅한다. 광은 단지 소정의 선택된 파장들이 컬러 필터들 (115A 내지 115D) 을 통과하는 것을 허용하는 것에 의해 "스플리팅" 된다. 스플리팅된 광은 이미지 센서 상의 전용 적색, 녹색, 또는 청색 다이오드들 (120A 내지 120D) 에 의해 수신된다. 적색, 청색, 및 녹색 컬러 필터들이 통상 이용되지만, 다른 실시형태들에서는 예를 들어 자외선, 적외선, 또는 근적외선 (near-infrared) 통과 필터들을 포함하여, 컬러 필터들이 캡처링된 이미지 데이터의 컬러 채널 요건들에 따라 가변할 수 있다.
각각의 단일-다이오드 마이크로렌즈 (105A, 105B) 는 단일 컬러 필터 (115A, 115D) 및 단일 다이오드 (120A, 120D) 위에 포지셔닝된다. 다이오드들 (120A, 120D) 은 이에 따라 이미징 픽셀 정보를 제공한다. 멀티-다이오드 마이크로렌즈 (110) 는 2 개의 인접한 컬러 필터들 (115B, 115C) 및 2 개의 대응하는 인접한 다이오드들 (120B, 120C) 위에 포지셔닝된다. 다이오드들 (120B, 120C) 은 이에 따라 다이오드 (120B) 가 제 1 방향으로 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광을 수신하고 다이오드 (120C) 가 제 2 방향으로 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광을 수신하는 것에 의해 위상 검출 픽셀 정보를 제공한다. 일부 실시형태들에서, 멀티-다이오드 마이크로렌즈 (110) 는 원 둘레를 갖는 평면볼록 렌즈일 수 있고, 적어도 하나의 멀티-다이오드 마이크로렌즈는 복수의 다이오드들 중 2x2 클러스터의 다이오드들에 광을 통과시키도록 사이징된다. 다른 실시형태들에서, 멀티-다이오드 마이크로렌즈 (110) 는 타원 둘레를 갖는 평면볼록 렌즈일 수 있고, 적어도 하나의 멀티-다이오드 마이크로렌즈는 복수의 다이오드들 중 2x1 클러스터의 다이오드들에 광을 통과시키도록 사이징된다.
본 명세서에서 사용한 바와 같이, "위에 (over)" 및 "상방에 (above)" 는, 타겟 장면으로부터 입사된 광이 그 광이 다른 구조물에 도달하기 (또는 입사되기) 전에 구조물을 통하여 전파하도록 하는 구조물 (예를 들어, 컬러 필터 또는 렌즈) 의 포지션을 지칭한다. 예시하기 위해, 마이크로렌즈 어레이 (105A, 110, 105B) 는 다이오드들 (120A 내지 120D) 상방에 포지셔닝되는 컬러 필터 어레이 (115A 내지 115D) 상방에 포지셔닝된다. 이에 따라, 타겟 장면으로부터의 광은 먼저 마이크로렌즈 어레이 (105A, 110, 105B) 를 통과한 후, 컬러 필터 어레이 (115A 내지 115D) 를 통과하고, 마지막으로 다이오드들 (115A 내지 115D) 에 입사된다.
각각의 포토다이오드 (120A 내지 120D) 상방에의 마이크로렌즈들의 배치는 광을 액티브 검출기 영역들에 리다이렉팅 및 포커싱한다. 각각의 마이크로렌즈는 액체 형태의 렌즈 재료를, 그 렌즈 재료가 응고하는 컬러 필터들 (115A 내지 115D) 위로 떨어뜨림으로써 형성될 수도 있다. 다른 실시형태들에서, 웨이퍼-레벨 옵틱스는 반도체-유사 기법들을 이용하여 1 또는 2 차원 어레이의 마이크로렌즈들을 생성하는데 이용될 수 있고, 여기서 어레이에서의 마이크로렌즈들의 제 1 서브세트는 단일-다이오드 마이크로렌즈들을 포함하고 어레이에서의 마이크로렌즈들의 제 2 서브세트는 멀티-다이오드 마이크로렌즈들을 포함한다. 단일-다이오드 마이크로렌즈 (105A, 105B) 및 멀티-다이오드 마이크로렌즈 (110) 에 의해 예시한 바와 같이, 각각의 마이크로렌즈는 광을 굴절시키기 위해 하나의 구면 볼록 표면 (spherical convex surface) 및 하나의 평면 표면 (planar surface) 을 가진 단일 엘리먼트일 수도 있다. 마이크로렌즈들의 다른 실시형태들은 비구면 표면 (aspherical surface) 을 이용할 수도 있고, 일부 실시형태들은 그들의 설계 성능을 달성하기 위해 광학 재료의 여러 층들을 이용할 수도 있다.
단일-다이오드 마이크로렌즈들 (105A, 105B) 하의 컬러 필터들 (115A, 115D) 은 일부 실시형태들에서 Bayer 패턴에 따라 포지셔닝될 수 있다. 이에 따라, 컬러 필터 (115A) 는 적색 컬러 필터 또는 청색 컬러 필터 중 어느 하나인 한편, 컬러 필터 (115D) 는 녹색 컬러 필터이다. 다이오드들 (120A, 120B, 120D) 및 단일-다이오드 마이크로렌즈들 하의 다른 다이오드들에 대해 Bayer 패턴을 보존하는 것은, 예를 들어, 캡처링된 이미지 데이터에 광범위한 디모자이킹 기법들의 이용을 가능하게 하는, 컴퓨테이션 이익들을 제공할 수 있다. Bayer 패턴은 포토센서들의 직사각형 그리드 상에 RGB 컬러 필터들을 배열하기 위한 특정 패턴이다. Bayer 패턴의 컬러 필터들의 특정한 배열은 컬러 이미지를 생성하기 위해, 디지털 카메라들, 캠코더들, 및 스캐너들에서 이용되는 대부분의 단일-칩 디지털 이미지 센서들에서 이용된다. Bayer 패턴은 반복하는 적색 및 녹색 컬러 필터들의 로우들이 반복하는 청색 및 녹색 컬러 필터들의 로우들과 번갈아가며 나타나는 50% 녹색, 25% 적색 및 25% 청색이다.
단일-다이오드 마이크로렌즈들 (105A, 105B) 이 포지셔닝되는 컬러 필터들은 본 명세서에서 Bayer 패턴 배열의 맥락에서 설명되지만, 이러한 컬러 필터들은 50% 녹색 컬러 필터들, 25% 청색 컬러 필터들 및 25% 적색 컬러 필터들인 다른 패턴들, 청색 또는 적색 컬러 필터들보다 더 많은 녹색 컬러 필터들을 포함하는 다른 패턴들, 또는 일반적으로 청색 또는 적색 컬러 필터들보다 두배나 많은 녹색 컬러 필터들을 갖는 다른 패턴들로 배열될 수 있다. 컬러 필터들은 또한, 일부 실시형태들에서의 다른 컬러 필터 패턴들, 예를 들어, (전 가시 파장에 민감한) 전정색성 (panchromatic) 다이오드들에의 이용을 위해 설계된 컬러 필터 패턴들 및/또는 가시 스펙트럼 이외의 광을 통과시키기 위한 컬러 필터들에 따라 포지셔닝될 수 있다.
녹색 컬러 필터 (115C) 로 묘사한 바와 같이, 멀티-다이오드 마이크로렌즈 (110) 하방에 포지셔닝된 컬러 필터들 (115B, 115C) 중 적어도 일부는 Bayer 패턴에 따라 그 로케이션에 다르게 포지셔닝될 컬러 필터와는 상이할 수도 있다. 예시된 실시형태에서처럼, 멀티-다이오드 마이크로렌즈 (110) 와 대응하는 다이오드들 (120B, 120C) 사이의 컬러 필터들 (115B, 115C) 은 녹색 광을 통과시키도록 선택될 수 있다. 이에 따라, 녹색 보정은 전체 녹색 픽셀이 다이오드들 (120B, 120C) 로부터의 값들을 결합함으로써 복원될 수 있기 때문에 간단하다. 이로써, 결과의 이미지 데이터는 녹색 채널이 인간 시각에 특히 중요하기 때문에, 결함이 있거나 또는 분실된 녹색 픽셀 정보를 가짐으로써 어떤 녹색 채널 정보도 잃어버리지 않는다. 하나의 가능한 관심사는, 이 중심의 녹색 로케이션이 Bayer 패턴에서의 원래의 녹색 픽셀 로케이션으로부터 1/2 픽셀만큼 수평으로 시프트될 수 있지만, 이 오프셋은 최종 이미지의 품질에 대하여 뚜렷한 영향을 미치지 않을 수도 있다는 것이다. 다이오드들 (120B, 120C) 로부터의 값들을 결합하는 예는 단순 보간 (합산) 을 통해 녹색 보정을 수행하기 위한 하나의 프로세스를 설명하기 위해 제공되며, 그러나, 다른 구현들에서 녹색 보정은 (미리정의된 이웃에서의 추가적인 녹색 픽셀들을 이용하는) 고차 녹색 보간을 통해 수행될 수 있다.
일부 실시형태들에서, 멀티-픽셀 마이크로렌즈 하의 녹색 컬러 필터 (115C) 에 의해 대체되는 "분실된" 컬러 필터는, 이미지 데이터의 청색 채널이 인간 시각의 관점에서의 품질에 가장 덜 중요하기 때문에, 청색 컬러 필터일 수 있다. 다른 실시형태들에서, 녹색 컬러 필터 (115C) 는 멀티-다이오드 마이크로렌즈 (110) 로 인한 컬러 필터 패턴의 중단이 없다면 적색 컬러 필터가 있을 로케이션에 있을 수 있다. 이러한 컬러 필터 선택들은 예를 들어, 공통 포토그래피 애플리케이션들에 대해 설계된 이미지 센서들에서 이용될 수 있다. 다른 애플리케이션에 대한 이미지 센서들에서, 이미지 데이터 컬러 채널들 및 컬러 채널 중요성은 가변할 수도 있고 컬러 필터 선택들은 그에 따라 가변할 수 있다.
도 1a 는 (대시 기호로 이루어진) 선 (130) 을 묘사하며, 이 선 (130) 은 물리적 구조가 아니라 오히려 멀티-다이오드 마이크로렌즈 (110) 에 의해 제공된 위상 검출 능력들을 예시하기 위해 묘사되는 것으로 이해되어야 한다. 선 (130) 은 멀티-다이오드 마이크로렌즈 (110) 의 광학적 중심을 통과하고 컬러 필터들 (115A 내지 115D) 의 컬러 필터 어레이에 의해 형성된 평면에 직교로 통과한다. 멀티-다이오드 마이크로렌즈가 2x1 마이크로렌즈인 경우, 멀티-다이오드 마이크로렌즈 (110) 는 제 1 방향으로 입사된, 즉 선 (130) 의 한쪽으로부터 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광 L(x) 이 제 1 다이오드 (120B) 에서 수집되도록 형성된다. 제 2 방향으로 입사된, 즉, 선 (130) 의 다른 쪽으로부터 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광은 제 2 다이오드 (120C) 에서 수집된다. 이에 따라, 다이오드들 (120B, 120C) 로부터 수신된 데이터는 위상 검출을 위해 이용될 수 있다. 멀티-다이오드 마이크로렌즈가 2x2 마이크로렌즈인 경우, 멀티-다이오드 마이크로렌즈 (110) 는, 4 개의 방향들 (여기서 일 방향은 멀티-다이오드 마이크로렌즈 (110) 의 1/4 을 통과하는 광으로 고려됨) 로 입사된 광 L(x) 이 4 개의 다이오드들에 입사되도록 형성된다.
도 1b 내지 도 1d 는 한 쌍의 위상 검출 다이오드들 (120B, 120C) 에 입사되기 전에 메인 렌즈 (150) 를 통하여 이동한 후 멀티-다이오드 마이크로렌즈 (110) 를 통하여 이동하는 광의 예의 광선 트레이스들을 묘사한다. 메인 렌즈 (150) 및 멀티-다이오드 마이크로렌즈 (110) 의 치수들은 일정 비율로 도시되지 않는다는 것이 인식될 것이다. 멀티-다이오드 마이크로렌즈 (110) 의 직경은 이미지 센서의 2 개의 인접한 다이오드들에 걸쳐 이어지는 거리와 대략 동일할 수 있는 한편, 메인 렌즈 (150) 의 직경은 이미지 센서의 폭 (다이오드들의 로우 또는 컬럼을 따르는 거리) 이상일 수 있다.
구체적으로, 도 1b 는 인-포커스 컨디션의 일 예의 광선 트레이스를 묘사하고, 도 1c 는 프론트-포커스 컨디션의 일 예의 광선 트레이스를 묘사하고, 도 1d 는 백-포커스 컨디션의 일 예의 광선 트레이스를 묘사한다. 광은 타겟 장면에서 포인트 (160) 로부터 이동하고, 타겟 장면을 위상 검출 다이오드들 (120B, 120C) 을 포함하는 이미지 센서에 포커싱하기 위해 렌즈 (150) 를 통하여 이동하고, 위상 검출 다이오드들 (120B, 120C) 에 입사되기 전에 멀티-다이오드 마이크로렌즈 (110) 를 통과한다. 예시한 바와 같이, 다이오드 (120B) 는 메인 렌즈 (150) 의 좌측 방향으로부터의 광 L(x) 을 수신하고 다이오드 (120C) 는 메인 렌즈 (150) 의 우측 방향으로부터의 광 R(x) 을 수신한다. 일부 실시형태들에서, 좌측 방향으로부터의 광 L(x) 은 메인 렌즈 (150) 의 좌측 절반 (도 1b 및 도 1c 의 예에서의 하부 절반으로서 묘사됨) 으로부터의 광일 수 있고 우측 방향으로부터의 광 R(x) 은 메인 렌즈 (150) 의 우측 절반 (도 1b 및 도 1c 의 예시에서의 상부 절반으로서 묘사됨) 으로부터의 광일 수 있다. 이에 따라, 이미지 센서에 걸쳐 이미징 다이오드들과 인터리빙된 다수의 위상 검출 다이오드들이 이미징 다이오드들에 의해 캡처링된 중심 이미지로부터 오프셋되는 좌측 및 우측 이미지들을 추출하는데 이용될 수 있다. 우측 및 좌측 대신에, 다른 실시형태들은 오토포커스 조정들을 계산하기 위해 상 (up) 및 하 (down) 이미지들, 대각선 이미지들, 또는 좌/우, 상/하, 및 대각선 이미지들의 조합을 이용할 수 있다.
이미지에 포커스가 맞는 (in focus) 경우, 좌측 광선들 L(x) 및 우측 광선들 R(x) 은 위상 검출 다이오드들 (115B, 115C) 의 평면에서 수렴한다. 도 1c 및 도 1d 에 예시한 바와 같이, 프론트 및 백 디포커스 포지션들에서, 광선들은 각각 다이오드들의 평면 앞 및 뒤에서 수렴한다. 상기 설명한 바와 같이, 위상 검출 다이오드들로부터의 신호들은 프론트 또는 백 디포커스 포지션들에서 중심 이미지로부터 오프셋되는 좌측 및 우측 이미지들을 생성하는데 이용될 수 있고, 오프셋 양은 메인 렌즈 (150) 에 대한 오토포커스 조정을 결정하는데 이용될 수 있다. 메인 렌즈 (150) 는 초점이 서브젝트 앞에 있는지 (이미지 센서에 더 가까움), 또는 서브젝트 뒤에 있는지 (이미지 센서로부터 더 멀리 떨어져 있음) 에 의존하여, 순방향으로 (이미지 센서를 향함) 또는 역방향으로 (이미지 센서에서 떠남) 이동될 수 있다. 오토포커스 프로세스가 메인 렌즈 (150) 의 움직임의 방향과 양 (amount) 양자 모두를 알아낼 수 있기 때문에, 위상차 오토포커스는 아주 빨리 포커싱할 수 있다.
도 2 는 도 1a 의 예의 멀티-다이오드 마이크로렌즈를 이용하는 위상 검출의 개략적인 예를 묘사한다. 도 2 는 이미지 센서가 추가적인 단일-다이오드 마이크로렌즈들 (105C, 105D), 추가적인 멀티-다이오드 마이크로렌즈 (125), 추가적인 컬러 필터들 (115E 내지 115H), 및 추가적인 다이오드들 (120E 내지 120H) 을 갖는 것으로 도시한 바와 같은, 다른 위상 검출 로케이션들을 포함할 수 있다는 것을 예시한다.
인입 광은 화살표들로 표현되고 타겟 장면으로부터 입사되는 것으로 이해된다. 본 명세서에서 사용한 바와 같이, "타겟 장면" 은 이미지 센서에 의해 센싱되는 광을 반사 또는 방출하는 오브젝트들을 갖는 임의의 장면 또는 영역, 또는 이미지 센서에 의해 볼 수 있는 임의의 다른 현상들을 지칭한다. 타겟 장면으로부터의 광은 다이오드들 (120A 내지 120H) 을 향하여 전파되고, 먼저 마이크로렌즈들을 통과하고 그 후 컬러 필터 어레이를 통과한 후 다이오드들에 입사된다.
위상 검출을 수행하기 위해, 이미징 시스템은 위상 검출 다이오드들 (120B, 120C, 120F, 120G) 로부터 수신된 값들을 단지 포함하는 2 개의 이미지들: 좌측 데이터에 대한 이미지 L(x) 및 우측 데이터에 대한 이미지 R(x) 를 세이브할 수 있다. 다이오드 (120B) 는 좌측 방향으로부터 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광을 수신하고 다이오드 (120C) 는 우측 방향으로부터 멀티-다이오드 마이크로렌즈 (110) 에 진입하는 광을 수신한다. 유사하게, 다이오드 (120F) 는 좌측 방향으로부터 멀티-다이오드 마이크로렌즈 (125) 에 진입하는 광을 수신하고 다이오드 (120G) 는 우측 방향으로부터 멀티-다이오드 마이크로렌즈 (125) 에 진입하는 광을 수신한다. 보다 많은 멀티-다이오드 마이크로렌즈들이 보다 신뢰가능한 위상 검출 오토포커스 데이터를 제공하지만 픽셀 값 계산들을 위해 더 많은 양의 컴퓨테이션을 요구하고 또한 최종 이미지에서의 아티팩트들의 가능성을 증가시키는 고려사항들을 밸런싱하는 것에 기초하여, 센서의 마이크로렌즈들 중 하나의 마이크로렌즈에서 모든 마이크로렌즈들까지의 범위에 이르는 임의의 수의 멀티-다이오드 마이크로렌즈들이 이미지 센서 위에 배치될 수 있다.
포커스는 좌측 및 우측 이미지들을 표현하는 데이터에 상호-상관 함수 (cross-correlation function) 를 적용함으로써 계산될 수 있다. 2 개의 이미지들 사이의 거리가 인-포커스 컨디션에서의 대응하는 거리보다 더 좁다면, 오토포커스 시스템은 초점이 서브젝트 앞에 있다고 결정한다. 그 거리가 기준 값보다 더 넓다면, 시스템은 초점이 서브젝트 뒤에 있다고 결정한다. 오토포커스 시스템은 렌즈 포지션 (또는 이동식 센서를 갖는 실시형태들에서, 센서 포지션) 이 얼마나 많이 그리고 어느 방향으로 이동되어야 하는지를 컴퓨팅하고 이 정보를 렌즈 액추에이터에 제공하여 렌즈를 이에 따라 이동시킬 수 있어, 고속 포커싱 (fast focusing) 을 제공한다. 상기 설명된 프로세스는 일부 예들에서 도 6 의 이미지 신호 프로세서 (620) 에 의해 수행될 수 있다.
도 3a 는 본 명세서에서 설명한 바와 같은 위상 검출 이미지 센서 (300) 에 대한 컬러 필터들 (305, 310, 315), 단일-다이오드 마이크로렌즈들 (320), 및 멀티-다이오드 마이크로렌즈 (325) 의 일 예의 배열을 묘사한다. 센서 (300) 의 단지 일 부분만이 예시되고, 이 부분은 위상 검출 픽셀들의 수와 이미지 품질 사이의 원하는 밸런스에 의존하여 Bayer 패턴에서의 선택된 위상 검출 로케이션들에서 산재되거나 또는 센서 어레이에 걸쳐서 반복될 수 있다.
예시한 바와 같이, 다수의 녹색 컬러 필터들 (305), 적색 컬러 필터들 (310), 및 청색 컬러 필터들 (315) 이 다수의 단일-다이오드 마이크로렌즈들 (320) 하에 Bayer 패턴으로 배열된다. 각각의 컬러 필터는 참조 번호들 (305, 310, 또는 315) 을 이용하여 한번 불리고 예시의 단순성을 위해 도 3a 내지 도 3c 의 나머지 전체에 걸쳐 G, R, 또는 B 를 이용하여 도시된다. 그러나, 멀티-다이오드 마이크로렌즈 (320) 의 로케이션에서, Bayer 패턴은 중단되고 추가적인 녹색 컬러 필터가 우측 (R) 위상 검출 픽셀의 로케이션에 삽입된다. 이로써, 우측 위상 검출 픽셀의 로케이션에는 "분실된" 적색 필터가 존재한다. 예시된 실시형태에서, 우측 위상 검출 픽셀 녹색 컬러 필터는, 다른 경우에, Bayer 패턴에 따라, 적색 컬러 필터인 것을 대신한다. 다른 실시형태들에서, 위상 검출 픽셀 녹색 컬러 필터는 청색 컬러 필터를 대신할 수 있다.
도 3b 는 도 3a 의 멀티-다이오드 마이크로렌즈 (325) 하의 값들에 대한 보간의 일 예의 표현을 묘사한다. 이러한 보간은 타겟 장면의 최종 이미지를 생성하는데 있어서의 이용을 위한 디모자이킹 프로세스에 출력을 위해 (위상 검출 픽셀들의 컬러 및 밝기를 표현하는) 픽셀 값들을 제공할 수 있고, 일부 실시형태들에서 도 6 의 이미지 신호 프로세서 (620) 에 의해 수행될 수 있다.
예시한 바와 같이, 좌측 위상 검출 픽셀 (L) 값은 마이크로렌즈 (325) 하의 좌측 및 우측 위상 검출 픽셀들의 녹색 값들을 합산함으로써 결정될 수 있다. 합산된 녹색 값은 단일-다이오드 마이크로렌즈들 하에 컬러 필터들을 배열하는데 이용되는 Bayer 패턴이 좌측 위상 검출 픽셀의 로케이션에서의 녹색 픽셀을 특정하기 때문에 좌측 위상 검출 픽셀에 할당된다. 합산된 녹색 값의 작은 위상 시프트는 개선된 녹색 에일리어싱을 제공할 수도 있다. 이에 따라, 녹색 보상은 간단한데, 이는 값비싼 컴퓨테이션을 요구하지 않고, 심지어 일부 실시형태에서는 온-센서로 수행될 수도 있다는 것을 의미한다. 일부 실시형태들에서, 합산된 값은 녹색 값을 획득하기 위해 마이크로렌즈 하의 다이오드들의 수 (여기서, 2) 로 나눠질 수도 있다.
예시한 바와 같이, 우측 위상 검출 픽셀 값은 2 개의 인근의 적색 픽셀 값들 (적색 컬러 필터들 하의 다이오드들로부터 수신된 값들) 을 이용하여 보간에 의해 결정될 수 있다. 2 개의 수평으로 로케이트된 적색 픽셀들은 보간을 위해 예시되지만, 대안적으로 또는 추가적으로 2 개의 수직으로 로케이트된 적색 픽셀들이 이용될 수 있다. 보간된 값은 단일-다이오드 마이크로렌즈들 하의 컬러 필터들을 배열하는데 이용되는 Bayer 패턴이 우측 위상 검출 픽셀의 로케이션에서의 적색 픽셀을 특정하기 때문에 우측 위상 검출 픽셀에 할당된다.
일부 실시형태들에서, 도 3b 의 녹색 값 및 분실된 픽셀 값에 대해 묘사된 바와 같은 수평 보간은 어떤 라인 버퍼들도 요구하지 않고, 표준 디모자이킹 프로세스 이전에 행해질 수 있고, 심지어 온-센서로 수행될 수 있다.
도 3c 는 도 3a 의 멀티-다이오드 마이크로렌즈 (325) 하의 값들에 대한 보간의 다른 예의 표현을 묘사하고, 일부 실시형태들에서 도 6 의 이미지 신호 프로세서 (620) 에 의해 수행될 수 있다. 여기서, 그 중심에 우측 위상 검출 픽셀을 가진 5x5 이웃에서의 적색 컬러 필터들 하의 8 개의 다이오드들로부터 수신된 적색 값들 ("적색 픽셀 값들" 로 지칭됨) 은 "분실된" 적색 픽셀 값을 보간하는데 이용된다. 다른 구현들에서, 서라운딩 다이오드들의 상이한 미리결정된 이웃으로부터의 데이터, 예를 들어, 4 개의 이웃하는 적색 픽셀 값들이 보간을 위해 이용될 수 있다. 도 3b 및 도 3c 는 분실된 픽셀 컬러 값을 보간하기 위한 2 개의 옵션들을 제시하지만, 예를 들어, 보간을 위해 더 많거나 또는 더 적은 수들의 픽셀 값들을 이용하는 다른 보간 기법들이 적합할 수 있다. 게다가, 일부 실시형태들에서, "분실된" 컬러 필터를 갖는 픽셀은 결함이 있는 픽셀로서 지정될 수 있고 결함이 있는 픽셀 보상 프로세스가 그 값을 결정하는데 이용될 수 있다.
"분실된" 픽셀 값을 계산하기 위해 이용할 이웃하는 픽셀들이 어느 것인지에 관한 판정은 미리결정될 수 있거나 또는 예를 들어, 계산된 에지 데이터에 기초하여, 일 범위의 미리-식별된 대안들로부터 적응적으로 선택될 수 있다.
도 4a 는 본 명세서에서 설명한 바와 같은 위상 검출 이미지 센서에 대한 녹색 컬러 필터들 (405), 적색 컬러 필터들 (410), 청색 컬러 필터들 (415), 단일-다이오드 마이크로렌즈들 (420), 및 멀티-다이오드 마이크로렌즈 (425) 의 다른 예의 배열 (400A) 을 묘사한다. 단일-다이오드 마이크로렌즈들 (420) 하의 컬러 필터들은 Bayer 패턴으로 배열된다. 여기서, 멀티-다이오드 마이크로렌즈 (425) 는 2x2 클러스터의 컬러 필터들 및 연관된 다이오드들 위에 포지셔닝된다. 본 개시의 컬러 필터 배열에 따르면, 멀티-다이오드 마이크로렌즈 (425) 하의 4 개의 컬러 필터들 전부는, 여기서 녹색 광으로서 묘사되는, 동일한 파장의 (또는 파장들의 범위) 의 광을 통과시키도록 선택된다.
멀티-다이오드 마이크로렌즈 (425) 는 2x2 클러스터를 커버하기 때문에, 근본적인 위상 검출 픽셀들은 다수의 쌍들, 예를 들어, 좌측 위상 이미지 데이터 및 우측 위상 이미지 데이터를 제공하는 2 개의 좌측-우측 쌍들, 또는 상부 위상 이미지 데이터 및 하부 위상 이미지 데이터를 제공하는 2 개의 상-하 쌍들을 형성하는데 이용될 수 있다. 대각선 쌍들이 또한 이용될 수 있다. 일부 실시형태들에서, 로버스트 위상 검출 포커스 프로세스는 오토포커스를 계산하기 위해 좌-우 및 상-하, 또는 좌-우, 상-하 및 대각선의, 위상 검출 쌍 데이터를 이용할 수 있다. 이것은 모든 방향들에서의 에지들에 대한 위상 검출 오토포커스 프로세스의 로버스트니스를 개선시킬 수 있다. 예를 들어, 모든 수직 에지들을 가진 이미지 (교각의 철탑들을 포함하는 타겟 장면의 예를 고려함) 는 도 3a 내지 도 3c 의 구성들로부터 수신된 중요한 좌-우측 위상 검출 정보가 부족할 수도 있지만, 멀티-다이오드 마이크로렌즈들 (425) 을 이용함으로써, 위상 검출은 모든 방향들에서의 에지들에 대해 로버스트될 수 있다.
컬러 값들이 최종 이미지를 생성하기 위한 디모자이킹을 위해 출력되는 경우, 단일-다이오드 마이크로렌즈들 하에 존재하는 Bayer 패턴에 의해 그 로케이션들에 대해 예측되는 "분실된" 컬러들에 따라, 상부 우측 위상 검출 픽셀은 보간된 적색 컬러 값을 가질 수 있고 하부 좌측 위상 검출 픽셀은 보간된 청색 컬러 값을 가질 수 있다. 상부 좌측 위상 검출 픽셀 및 하부 우측 위상 검출 픽셀에 대한 녹색 값들은 멀티-다이오드 마이크로렌즈 (425) 로부터 광을 수신하는 다이오드들의 일부 또는 전부로부터 수신된 녹색 값들을 이용하여 계산될 수 있다. 예를 들어, 누적되는 녹색 값은 멀티-다이오드 마이크로렌즈 (425) 하의 모든 4 개의 다이오드들로부터의 값들을 합산함으로서 계산될 수 있다. 멀티-다이오드 마이크로렌즈 (425) 하의 (Bayer 패턴으로부터 결정된 바와 같은) 각각의 녹색 로케이션에 대한 값들은 녹색 로케이션에 가까운 3 개의 녹색 대각선 이웃들 및 누적되는 녹색 값에 기초하여 보간될 수 있다. 멀티-다이오드 마이크로렌즈 (425) 하의 적색 및 청색 로케이션들은 예를 들어, 각각 4 개의 가장 가까운 적색 및 청색 이웃들에 기초하여 또는 더 큰 미리결정된 이웃에 기초하여 보간될 수 있다.
도 4b 는 본 명세서에서 설명한 바와 같은 위상 검출 이미지 센서에 대한 녹색 컬러 필터들 (405), 적색 컬러 필터들 (410), 청색 컬러 필터들 (415), 및 멀티-다이오드 마이크로렌즈들 (425) 의 일 예의 배열 (400B) 을 묘사한다. 도 4b 의 배열 (400B) 에는, 어떤 단일-다이오드 마이크로렌즈들도 존재하지 않는다. 각각의 2x2 멀티-다이오드 마이크로렌즈 (425) 는 멀티-다이오드 마이크로렌즈 (425) 바로 아래의 모든 다이오드들이 동일한 파장의 광을 수신하도록 그 바로 아래에 포지셔닝된 단지 단일 컬러의 컬러 필터들을 갖는다. 각각의 멀티-다이오드 마이크로렌즈들 (425) 은 도 4a 에 대하여 상기 논의된 동일한 다방향 (multi-directional) 위상 검출 이익들을 제공한다. 게다가, 이러한 둥근 멀티-다이오드 마이크로렌즈들 (425) 은, 2x1 타원 렌즈들보다, 액체 렌즈 재료의 작은 물방울들을 컬러 필터 어레이에 배치하여 마이크로렌즈들로 경화시키는 나노-제조 기법들을 통해, 원하는 광학 품질로 제조하는 것이 더 용이할 수도 있다. 각각의 멀티-다이오드 마이크로렌즈들 (425) 은 일부 실시형태들에서 0.9㎛ 와 1.1㎛ 사이의 직경을 가질 수 있다.
일반적으로, 센서 제조에 대하여, 픽셀 사이즈는 현재의 픽셀 사이즈들이 이미 굴절 한계에 도달함에 따라 상당히 축소될 것으로 예상되지 않는다. 이 현재의 센서 폼 팩터에 기초하여 유효 레졸루션은 증가할 것으로 예상되지 않는다. 그러나, CMOS 제조 프로세스는 여전히 개선중이다. 개선된 제조로부터의 추가적인 축소된 로직이 도 4b 의 배열 (400B) 을 갖는 센서를 이용하여 멀티 다이오드 위상 검출 스킴을 구현하기 위해 이용될 수 있다. 예를 들어, 이미지 센서 버스 속도는 여전히 증가할 수 있고 센서로부터의 더 많은 데이터를 전송하는데 이용될 수 있다. 멀티-다이오드 마이크로렌즈들 (425) 의 각각의 멀티-다이오드 마이크로렌즈 바로 아래의 4 개의 다이오드들은 독출 (readout) 아키텍처를 공유하는 4-픽셀 로직을 이용할 수 있다.
도 4b 에서의 컬러 필터들의 클러스터들은, 멀티-다이오드 마이크로렌즈들 (425) 에 의해 정의된 클러스터들이 Bayer 패턴을 따르도록, Bayer 패턴과 유사하게 배열된다. 이에 따라, 컬러 값들이 디모자이킹을 위해 출력되는 경우, 어떤 "분실된" 픽셀 값들도 보간을 요구하지 않고 어떤 아티팩트들도 보정을 요구하지 않는다. 규칙적인 Bayer 패턴은 멀티-다이오드 마이크로렌즈들 (425) 의 각각 하의 다이오드들로부터 수신된 값들을 합산함으로써 생성될 수 있다.
예의 위상 검출 오토포커스 프로세스의 개관
도 5 는 본 명세서에서 설명된 멀티-다이오드 마이크로렌즈들을 갖는 센서를 이용하는 일 예의 위상 검출 오토포커스 프로세스 (500) 의 하이-레벨 개관을 묘사한다. 하나의 실시형태에서, 프로세스 (500) 는 온-센서로 수행될 수 있다. 다른 구현들에서, 프로세스 (500) 는 하나 이상의 프로세서들, 예를 들어, 도 6 의 이미지 신호 프로세서 (620) 를 수반할 수 있다. 타겟 장면 (505) 을 표현하는 광은 렌즈 어셈블리 (510) 를 통과하게 되고 이미지 센서에 의해 수신되고, 하프-이미지 샘플들 (515) 은 상기 설명된 멀티-다이오드 마이크로렌즈들을 이용하여 생성된다. 렌즈 어셈블리 (510) 및 센서의 치수들이 파장의 길이보다 더 크기 때문에, 렌즈 어셈블리 (510) 는 대칭 임펄스 응답을 가진 선형 저역-통과 필터로서 모델링될 수 있고, 여기서 렌즈 어셈블리 (510) 의 임펄스 응답 (또한 포인트 확산 함수로도 지칭됨) 은 센서와 이미지 평면 사이의 거리에 비례하는 폭 파라미터를 가진 직사각형 형상이다. 센서가 이미지 평면에, 즉 장면에서의 단일 포인트로부터의 모든 광선들이 단일 포인트에 수렴하는 평면에 있을 때 장면에 "포커스가 맞는다". 도 2 에 도시한 바와 같이, 하프-이미지 샘플들은 위상 검출 픽셀들로부터의 정보를 단지 포함하는 2 개의 이미지들을 세이브할 수 있다. 하프-이미지들은 렌즈 어셈블리 (510) 의 좌측 및 우측 (또는 다른 예들에서, 상 및 하) 임펄스 응답들과의 타겟 장면의 컨볼루션들로서 고려될 수 있다. 도 4a 및 도 4b 의 배열들을 이용하는 센서 실시형태들에서, 더 많은 부분 이미지들이 세이브될 수 있다.
포커스 기능 계산기 (focus function calculator) (520) 는 디스패리티를 결정하기 위해 부분 이미지들에 상호-상관 함수를 적용한다. 렌즈 어셈블리 (510) 의 좌측 및 우측 임펄스 응답들의 상호-상관 함수는 대략 대칭적이고 단봉형 (unimodal) 이지만, 타겟 장면 (505) 의 본성으로 인해, 좌측 및 우측 캡처링된 이미지들에 적용된 바와 같은 상호-상관 함수는 하나 이상의 잘못된 (false) 로컬 최대값들을 가질 수도 있다. 다양한 접근법들이 상호-상관 함수의 맞는 (true) 최대값을 식별하는데 이용될 수 있다. 상호-상관 함수의 결과는 프라이머리 포커싱 렌즈 어셈블리 (510) 를 원하는 포커스 포지션으로 이동시키기 위해 렌즈 액추에이터를 구동시키는데 이용될 수 있는 오토포커스 제어 (525) 에 피드백으로서 제공된다. 다른 실시형태들은 고정된 프라이머리 포커싱 렌즈 어셈블리를 이용하여 이미지 센서를 원하는 포커스 포지션으로 이동시킬 수도 있다. 이에 따라, 위상 검출 오토포커스 프로세스 (500) 에서, 포커싱은 상호-상관 함수 최대값에 대해 탐색하는 것과 같다. 이것은 각각의 프레임에 대해 통상의 프레임 레이트들로, 예를 들어, 초당 30 프레임들로 포커스 조정을 제공할 정도로 충분히 빨리 행해질 수 있고, 따라서 비디오 캡처를 위해 스무스한 오토포커싱을 제공하는데 이용될 수 있는 고속 프로세스이다. 일부 구현들은 예를 들어, 정확도를 증가시키기 위해, 콘트라스트-기반 오토포커스 기법들과 위상 검출 오토포커스를 결합한다.
프라이머리 포커싱 렌즈 어셈블리 및/또는 이미지 센서가 원하는 포커스 포지션에 있는 경우, 이미지 센서는 인-포커스 이미징 픽셀 정보 및 위상 검출 픽셀 정보를 캡처하고, 상기 설명한 바와 같이, 위상 검출 픽셀들에 대한 컬러 값들을 계산 및 보간할 수 있다. 이미징 픽셀 값들 및 결정된 위상 검출 픽셀 값들은 타겟 장면의 최종 이미지를 생성하기 위해 디모자이킹, 및 옵션적으로는, 다른 이미지 프로세싱 기법들을 위해 출력될 수 있다.
예의 위상 검출 오토포커스 프로세스의 개관
도 6 은 다스펙트럼 홍채 인식 능력들을 갖는 이미지 캡처 디바이스 (600) 의 실시형태의 하이-레벨 개략적 블록 다이어그램을 예시하고, 이미지 캡처 디바이스 (600) 는 위상 검출 오토포커스 카메라 (615) 에 링크된 이미지 신호 프로세서 (620) 를 포함하는 컴포넌트들의 세트를 갖는다. 이미지 신호 프로세서 (620) 는 또한, 작업 메모리 (605), 메모리 (630), 및 디바이스 프로세서 (650) 와 통신하고 있고, 디바이스 프로세서 (650) 는 차례로 저장 모듈 (610) 및 옵션적 전자 디스플레이 (625) 와 통신하고 있다.
이미지 캡처 디바이스 (600) 는 모바일 폰, 디지털 카메라, 태블릿 컴퓨터, 개인 휴대 정보 단말기 등과 같은 휴대용 개인 컴퓨팅 디바이스일 수도 있다. 본 명세서에서 설명한 바와 같은 위상 검출 오토포커스 기법들을 이용하는 것이 이점들을 제공할 많은 휴대용 컴퓨팅 디바이스들이 존재한다. 이미지 캡처 디바이스 (600) 는 또한 고정된 컴퓨팅 디바이스 또는 다스펙트럼 홍채 검증 기법들이 유리할 임의의 디바이스일 수도 있다. 복수의 애플리케이션들은 이미지 캡처 디바이스 (600) 상에서 사용자에게 이용가능할 수도 있다. 이들 애플리케이션들은 종래의 포토그래픽 및 비디오 애플리케이션들 뿐만 아니라 데이터 저장 애플리케이션들 및 네트워크 애플리케이션들을 포함할 수도 있다.
이미지 캡처 디바이스 (600) 는 외부 이미지들을 캡처하기 위한 위상 검출 오토포커스 카메라 (615) 를 포함한다. 위상 검출 오토포커스 카메라 (615) 는 상기 설명된 실시형태들에 따라 배열된 멀티-다이오드 마이크로렌즈들 및 컬러 필터들을 갖는 이미지 센서를 포함할 수 있다. 위상 검출 오토포커스 카메라 (615) 는 또한, 타겟 장면의 인-포커스 이미지를 생성하기 위해 이미지 신호 프로세서 (620) 로부터 수신된 데이터에 적어도 부분적으로 기초하여 포지셔닝가능한 프라이머리 포커싱 메커니즘을 가질 수 있다. 일부 실시형태들에서, 프라이머리 포커싱 메커니즘은 타겟 장면으로부터 센서로 광을 통과시키기 위해 포지셔닝된 이동식 렌즈 어셈블리일 수 있다. 일부 실시형태들에서, 프라이머리 포커싱 메커니즘은 센서를 이동시키기 위한 메커니즘일 수 있다.
위상 검출 오토포커스 카메라 (615) 의 센서는 상이한 기능들에서 상이한 프로세싱 기능성들을 가질 수 있다. 하나의 구현에서, 센서는 어떤 데이터도 프로세싱하지 않을 수도 있고, 이미지 신호 프로세서 (620) 는 모든 필요한 데이터 프로세싱을 수행할 수도 있다. 다른 구현에서, 센서는 위상 검출 픽셀들을, 예를 들어 별도의 MIPI (Mobile Industry Processor Interface) 채널로 추출하는 것이 가능할 수도 있다. 게다가, 센서는 추가적으로는, 예를 들어, RAW 채널에서 분실된 픽셀 값들을 보간하는 것이 가능할 수도 있다. 일부 구현들에서, 센서는 추가적으로는, 예를 들어, 정상 채널에서 분실된 픽셀 값들을 보간하는 것이 가능할 수도 있고, 전체 위상 검출 계산을 내부적으로 (온-센서로) 프로세싱하는 것이 가능할 수도 있다. 예를 들어, 센서는 다이오드들로부터 수신된 값들의 덧셈, 뺄셈, 및/또는 비교를 수행하기 위한 아날로그 회로부를 포함할 수도 있다. 본 명세서에서 설명한 바와 같은 이미징 장치는 모든 위상 검출 계산들을 수행하는 것이 가능한 이미지 센서 또는 이미지 신호 프로세서 (620) 및/또는 디바이스 프로세서 (650) 와 함께 일부 프로세싱을 수행하거나 또는 어떤 프로세싱도 수행하지 않는 것이 가능한 이미지 센서를 포함할 수도 있다.
이미지 신호 프로세서 (620) 는 위상 검출 오토포커스 및 이미지 프로세싱 기법들을 실행하기 위하여 수신된 이미지 데이터에 대해 다양한 프로세싱 동작들을 수행하도록 구성될 수도 있다. 이미지 신호 프로세서 (620) 는 이미징 애플리케이션들을 위해 특별히 설계된 범용 프로세싱 유닛 또는 프로세서일 수도 있다. 이미지 프로세싱 동작들의 예들은 디모자이킹, 화이트 밸런스, 크로스 토크 감소, 크롭핑, (예를 들어, 상이한 레졸루션으로의) 스케일링, 이미지 스티칭, 이미지 포맷 컨버전, 컬러 보간, 컬러 프로세싱, 이미지 필터링 (예를 들어, 공간 이미지 필터링), 렌즈 아티팩트 또는 결함 보정 등을 포함한다. 이미지 신호 프로세서 (620) 는 또한, 오토포커스 및 자동-노출 (auto-exposure) 과 같은 이미지 캡처 파라미터들을 제어할 수 있다. 이미지 신호 프로세서 (620) 는, 일부 실시형태들에서, 복수의 프로세서들을 포함할 수도 있다. 이미지 신호 프로세서 (620) 는 하나 이상의 전용 이미지 신호 프로세서들 (ISP들) 또는 프로세서의 소프트웨어 구현일 수 있다. 일부 실시형태들에서, 이미지 신호 프로세서 (620) 는, 위상 검출 동작들의 일부 또는 전부가 이미지 센서에 대해 수행될 수 있기 때문에, 위상 검출 동작들에 대해 옵션적일 수도 있다.
도시한 바와 같이, 이미지 신호 프로세서 (620) 는 메모리 (630) 및 작업 메모리 (605) 에 접속된다. 예시된 실시형태에서, 메모리 (630) 는 캡처 제어 모듈 (635), 위상 검출 오토포커스 모듈 (640), 및 오퍼레이팅 시스템 모듈 (645) 을 저장한다. 메모리 (630) 의 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 디바이스 프로세서 (650) 의 이미지 신호 프로세서 (620) 를 구성하는 명령들을 포함한다. 작업 메모리 (605) 는 메모리의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하도록 이미지 신호 프로세서 (620) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (605) 는 또한, 이미지 캡처 디바이스 (600) 의 동작 동안 생성된 동적 데이터를 저장하도록 이미지 신호 프로세서 (620) 에 의해 이용될 수도 있다.
상기 언급한 바와 같이, 이미지 신호 프로세서 (620) 는 메모리들에 저장된 여러 모듈들에 의해 구성된다. 캡처 제어 모듈 (635) 은 예를 들어, 위상 검출 오토포커스 기법 동안 생성된 명령들에 응답하여, 위상 검출 오토포커스 카메라 (615) 의 포커스 포지션을 조정하도록 이미지 신호 프로세서 (620) 를 구성하는 명령들을 포함할 수도 있다. 캡처 제어 모듈 (635) 은 이미지 캡처 디바이스 (600) 의 전체 이미지 캡처 기능들을 제어하는 명령들을 더 포함할 수도 있다. 예를 들어, 캡처 제어 모듈 (635) 은 위상 검출 오토포커스 카메라 (615) 를 이용하여 타겟 장면의 하나 이상의 프레임들을 포함하는 다스펙트럼 이미지 데이터를 캡처하도록 이미지 신호 프로세서 (620) 를 구성하기 위한 서브루틴들을 호출하는 명령들을 포함할 수도 있다. 하나의 실시형태에서, 캡처 제어 모듈 (635) 은 원하는 오토포커스 포지션을 달성하는데 필요한 렌즈 또는 센서 움직임을 계산하고 필요한 움직임을 이미징 프로세서 (220) 에 출력하기 위해 위상 검출 오토포커스 모듈 (240) 을 호출할 수도 있다. 캡처 제어 모듈 (635) 은 멀티-픽셀 마이크로렌즈들 바로 아래에 포지셔닝된 픽셀들에 대한 컬러 값들을 보간하기 위해 위상 검출 오토포커스 모듈 (240) 을 호출할 수도 있다.
이에 따라, 위상 검출 오토포커스 모듈 (640) 은 위상 검출 오토포커스를 실행하기 위한 명령들을 저장할 수 있다. 위상 검출 오토포커스 모듈 (640) 은 또한, 위상 검출 픽셀들에 대한 컬러 값들을 계산하기 위한 및 위상 검출 픽셀 값들 및 이미징 픽셀 값들에 기초한 이미지 생성을 위한 명령들을 저장할 수 있다.
오퍼레이팅 시스템 모듈 (645) 은 작업 메모리 (605) 및 이미지 캡처 디바이스 (600) 의 프로세싱 리소스들을 관리하도록 이미지 신호 프로세서 (620) 를 구성한다. 예를 들어, 오퍼레이팅 시스템 모듈 (645) 은 위상 검출 오토포커스 카메라 (615) 와 같은 하드웨어 리소스들을 관리하기 위해 디바이스 드라이버들을 포함할 수도 있다. 따라서, 일부 실시형태들에서, 상기 논의된 이미지 프로세싱 모듈들에 포함된 명령들은 이들 하드웨어 리소스들과 직접 상호작용하지 않고 그 대신에 오퍼레이팅 시스템 컴포넌트 (650) 에 로케이트된 표준 서브루틴들 또는 API들을 통하여 상호작용할 수도 있다. 오퍼레이팅 시스템 (645) 내의 명령들은 그 후 이들 하드웨어 컴포넌트들과 직접 상호작용할 수도 있다. 오퍼레이팅 시스템 모듈 (645) 은 디바이스 프로세서 (650) 와 정보를 공유하도록 이미지 신호 프로세서 (620) 를 추가로 구성할 수도 있다.
디바이스 프로세서 (650) 는 캡처링된 이미지, 또는 캡처링된 이미지의 프리뷰를 사용자에게 디스플레이하기 위해 디스플레이 (625) 를 제어하도록 구성될 수도 있다. 디스플레이 (625) 는 이미징 디바이스 (200) 의 외부에 있을 수도 있거나 또는 이미징 디바이스 (200) 의 일부일 수도 있다. 디스플레이 (625) 는 또한, 예를 들어, 사용자가 사용자의 눈과 이미지 센서 시야를 정렬시키는 것을 돕기 위해, 이미지를 캡처하기 이전의 사용을 위해 프리뷰 이미지를 디스플레이하는 뷰 파인더를 제공하도록 구성될 수도 있거나, 또는 메모리에 저장되거나 또는 사용자에 의해 최근에 캡처링된, 캡처링된 이미지를 디스플레이하도록 구성될 수도 있다. 디스플레이 (625) 는 LCD, LED, 또는 OLED 스크린을 포함할 수도 있고, 터치 감응 기술들을 구현할 수도 있다.
디바이스 프로세서 (650) 는 데이터, 예를 들어, 캡처링된 이미지들을 표현하는 데이터 및 위상 검출 및/또는 픽셀 값 계산 동안 생성된 데이터를 저장 모듈 (610) 에 기록할 수도 있다. 저장 모듈 (610) 은 종래의 디스크 디바이스로서 개략적으로 표현되지만, 저장 모듈 (610) 은 임의의 저장 미디어 디바이스로서 구성될 수도 있다. 예를 들어, 저장 모듈 (610) 은 디스크 드라이브, 이를 테면 광학 디스크 드라이브 또는 광자기 디스크 드라이브, 또는 솔리드 스테이트 메모리, 이를 테면 FLASH 메모리, RAM, ROM, 및/또는 EEPROM 을 포함할 수도 있다. 저장 모듈 (610) 은 또한, 다수의 메모리 유닛들을 포함할 수 있고, 메모리 유닛들 중 임의의 하나는 이미지 캡처 디바이스 (600) 내에 있도록 구성될 수도 있거나, 또는 이미지 캡처 디바이스 (600) 의 외부에 있을 수도 있다. 예를 들어, 저장 모듈 (610) 은 이미지 캡처 디바이스 (600) 내에 저장된 시스템 프로그램 명령들을 포함하는 ROM 메모리를 포함할 수도 있다. 저장 모듈 (610) 은 또한, 카메라로부터 제거가능할 수도 있는 캡처링된 이미지들을 저장하도록 구성된 메모리 카드들 또는 고속 메모리들을 포함할 수도 있다. 저장 모듈 (610) 은 또한, 이미지 캡처 디바이스 (600) 의 외부에 있을 수 있고, 하나의 예에서 이미지 캡처 디바이스 (600) 는 예를 들어, 네트워크 접속을 통해, 저장 모듈 (610) 에 데이터를 무선으로 송신할 수도 있다. 이러한 실시형태들에서, 저장 모듈 (610) 은 서버 또는 다른 원격 컴퓨팅 디바이스일 수도 있다.
도 6 은 프로세서, 이미징 센서, 및 메모리를 포함하도록 별도의 컴포넌트들을 갖는 이미지 캡처 디바이스 (600) 를 묘사하지만, 당업자는 이들 별도의 컴포넌트들이 특정한 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있다는 것을 인지할 것이다. 예를 들어, 대안의 실시형태에서, 메모리 컴포넌트들은 예를 들어, 비용을 줄이고 및/또는 성능을 개선시키기 위해, 프로세서 컴포넌트들과 결합될 수도 있다.
추가적으로, 도 6 은 작업 메모리 (605) 를 포함하는 별도의 메모리 컴포넌트 및 여러 모듈들을 포함하는 메모리 (630) 를 포함하는 2 개의 메모리 컴포넌트들을 예시하지만, 당업자는 상이한 메모리 아키텍처들을 활용하는 여러 실시형태들을 인지할 것이다. 예를 들어, 설계는 메모리 (630) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 활용할 수도 있다. 프로세서 명령들은 이미지 신호 프로세서 (620) 에 의한 실행을 용이하게 하기 위해 RAM 으로 로딩될 수도 있다. 예를 들어, 작업 메모리 (605) 는 이미지 신호 프로세서 (620) 에 의한 실행 전에 작업 메모리 (605) 로 로딩된 명령들을 가진, RAM 메모리를 포함할 수도 있다.
시스템들의 구현 및 전문용어
본 명세서에서 개시된 구현들은 마스크리스 위상 검출 오토포커스를 위한 시스템들, 방법들 및 장치를 제공한다. 당업자는 이들 실시형태들이 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다는 것을 인정할 것이다.
일부 실시형태들에서, 상기 논의된 회로들, 프로세스들, 및 시스템들은 무선 통신 디바이스에서 활용될 수도 있다. 무선 통신 디바이스는 다른 전자 디바이스들과 무선으로 통신하는데 이용되는 일종의 전자 디바이스일 수도 있다. 무선 통신 디바이스들의 예들은 셀룰러 전화기들, 스마트 폰들, 개인 휴대 정보 단말기들 (PDA들), e-리더들, 게이밍 시스템들, 뮤직 플레이어들, 넷북들, 무선 모뎀들, 랩톱 컴퓨터들, 태블릿 디바이스들 등을 포함한다.
무선 통신 디바이스는 하나 이상의 이미지 센서들, 하나 이상의 이미지 신호 프로세서들, 및 상기 논의된 프로세스를 수행하기 위한 모듈들 또는 명령들을 포함하는 메모리를 포함할 수도 있다. 그 디바이스는 또한, 데이터, 메모리로부터 데이터 및/또는 명령들을 로딩하는 프로세서, 하나 이상의 통신 인터페이스들, 하나 이상의 입력 디바이스들, 하나 이상의 출력 디바이스들, 이를 테면 디스플레이 디바이스 및 전력 소스/인터페이스를 가질 수도 있다. 무선 통신 디바이스는 송신기 및 수신기를 추가적으로 포함할 수도 있다. 송신기 및 수신기는 공동으로 트랜시버로 지칭될 수도 있다. 트랜시버는 무선 신호들을 송신 및/또는 수신하기 위해 하나 이상의 안테나들에 커플링될 수도 있다.
무선 통신 디바이스는 다른 전자 디바이스 (예를 들어, 기지국) 에 무선으로 접속할 수도 있다. 무선 통신 디바이스는 대안적으로 모바일 디바이스, 이동국, 가입자국, 사용자 장비 (UE), 원격국, 액세스 단말기, 모바일 단말기, 단말기, 사용자 단말기, 가입자 유닛 등으로 지칭될 수도 있다. 무선 통신 디바이스들의 예들은 랩톱 또는 데스크톱 컴퓨터들, 셀룰러 폰들, 스마트 폰들, 무선 모뎀들, e-리더들, 태블릿 디바이스들, 게이밍 시스템들 등을 포함한다. 무선 통신 디바이스들은 제 3 세대 파트너십 프로젝트 (3GPP) 와 같은 하나 이상의 산업 표준들에 따라 동작할 수도 있다. 따라서, 일반적인 용어 "무선 통신 디바이스" 는 산업 표준들에 따라 다양한 명명법들 (예를 들어, 액세스 단말기, 사용자 장비 (UE), 원격 단말기 등) 로 설명된 무선 통신 디바이스들을 포함할 수도 있다.
본 명세서에서 설명된 기능들은 프로세서 판독가능 또는 컴퓨터 판독가능 매체 상에 하나 이상의 명령들로서 저장될 수도 있다. 용어 "컴퓨터 판독가능 매체" 는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 이용가능한 매체를 지칭한다. 제한이 아닌 일 예로, 이러한 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blue-ray? 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 컴퓨터 판독가능 매체는 유형 (tangible) 및 비일시적일 수도 있다는 것에 주목해야 한다. 용어 "컴퓨터 프로그램 제품" 은 컴퓨팅 디바이스 또는 프로세서에 의해 실행, 프로세싱 또는 컴퓨팅될 수도 있는 코드 또는 명령들 (예를 들어, "프로그램") 과 결합된 컴퓨팅 디바이스 또는 프로세서를 지칭한다. 본 명세서에서 사용한 바와 같이, 용어 "코드" 는 컴퓨팅 디바이스 또는 프로세서에 의해 실행가능한 소프트웨어, 명령들, 코드 또는 데이터를 지칭할 수도 있다.
본 명세서에서 개시된 방법들은 설명된 방법을 달성하기 위해 하나 이상의 단계들 또는 액션들을 포함한다. 방법 단계들 및/또는 액션들은 청구항들의 범위로부터 벗어남 없이 서로 상호교환될 수도 있다. 다시 말해서, 특정 순서의 단계들 또는 액션들이 설명되고 있는 방법의 적절한 동작을 위해 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남 없이 변경될 수도 있다.
용어들 "커플링한다 (couple)", "커플링 (coupling)", "커플링된 (coupled)" 또는 본 명세서에서 사용한 바와 같은 단어 커플 (couple) 의 다른 변형들이 간접 접속 또는 직접 접속 중 어느 하나를 표시할 수도 있다는 것에 주목해야 한다. 예를 들어, 제 1 컴포넌트가 제 2 컴포넌트에 "커플링된" 다면, 제 1 컴포넌트는 제 2 컴포넌트에 간접 접속되거나 또는 제 2 컴포넌트에 직접 접속되거나 둘 중 어느 하나일 수도 있다. 본 명세서에서 사용한 바와 같이, 용어 "복수" 는 2 이상을 나타낸다. 예를 들어, 복수의 컴포넌트들은 2 개 이상의 컴포넌트들을 표시한다.
용어 "결정하는 것" 은 다양한 액션들을 포괄하고, 따라서 "결정하는 것" 은 계산하는 것, 컴퓨팅하는 것, 프로세싱하는 것, 도출하는 것, 조사하는 것, 룩업하는 것 (예를 들어, 테이블, 데이터베이스 또는 다른 데이터 구조에서 룩업하는 것), 확인하는 것 등을 포함할 수 있다. 또한, "결정하는 것" 은 수신하는 것 (예를 들어, 정보를 수신하는 것), 액세스하는 것 (예를 들어, 메모리에서의 데이터에 액세스하는 것) 등을 포함할 수 있다. 또한, "결정하는 것" 은 해결하는 것, 선택하는 것, 선정하는 것, 확립하는 것 등을 포함할 수 있다.
어구 "에 기초하여" 는 명확히 다르게 특정하지 않는 한 "에만 기초하여" 를 의미하지 않는다. 다시 말해서, 어구 "에 기초하여" 는 "에만 기초하여" 와 "에 적어도 기초하여" 양자 모두를 설명한다.
전술한 설명에서, 특정 상세들은 예들의 철저한 이해를 제공하기 위해 주어진다. 그러나, 예들은 이들 특정 상세들 없이 실시될 수도 있다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 전기적 컴포넌트들/디바이스들은 예들을 불필요한 상세로 모호하게 하지 않기 위하여 블록 다이어그램들로 도시될 수도 있다. 다른 인스턴스들에서, 이러한 컴포넌트들, 다른 구조들 및 기법들은 예들을 추가로 설명하기 위해 상세히 도시될 수도 있다. 따라서, 본 발명은 본 명세서에서 도시된 구현들에 제한되도록 의도되지 않고 본 명세서에서 개시된 원리들 및 신규한 피처들에 부합하는 최광의 범위를 부여받게 하려는 것이다.
Claims (30)
- 이미지 캡처 디바이스로서,
이미지 센서로서,
타겟 장면으로부터의 광을 센싱하기 위한 복수의 다이오드들;
상기 복수의 다이오드들 상방에 배치된 컬러 필터 어레이로서, 상기 컬러 필터 어레이는 상기 복수의 다이오드들 중의 하나의 다이오드 위에 각각 포지셔닝된 복수의 컬러 필터들을 포함하는, 상기 컬러 필터 어레이;
상기 복수의 컬러 필터들 중 하나의 컬러 필터 상방에 각각 포지셔닝된 복수의 단일-다이오드 마이크로렌즈들로서, 상기 복수의 컬러 필터들은 Bayer 패턴으로 배열된 상기 복수의 단일-다이오드 마이크로렌즈들에 대응하는, 상기 복수의 단일-다이오드 마이크로렌즈들;
위상차 검출을 위한 복수의 멀티-다이오드 마이크로렌즈들로서, 상기 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈는, 상기 복수의 컬러 필터들 중의, 각각 동일한 파장의 광을 통과시키도록 구성된 적어도 2 개의 인접한 컬러 필터들 상방에 포지셔닝되고, 그리고 제 1 방향으로 입사된 광이 적어도 2 개의 인접한 다이오드들 중 제 1 다이오드에서 수집되고 제 2 방향으로 입사된 광이 상기 적어도 2 개의 인접한 다이오드들 중 제 2 다이오드에서 수집되도록 형성된, 상기 복수의 멀티-다이오드 마이크로렌즈들
을 포함하는, 상기 이미지 센서; 및
상기 적어도 2 개의 인접한 다이오드들로부터 수신된 값들을 이용하여 위상 검출 오토포커스를 수행하도록 구성된 이미지 신호 프로세서
를 포함하는, 이미지 캡처 디바이스. - 제 1 항에 있어서,
상기 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈에 대해, 상기 적어도 2 개의 인접한 컬러 필터들이 통과시키도록 구성되는 광의 파장은 녹색 광에 대응하는, 이미지 캡처 디바이스. - 제 1 항에 있어서,
상기 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈는 2 개의 인접한 컬러 필터들 및 연관된 다이오드들 위에 포지셔닝되는, 이미지 캡처 디바이스. - 제 1 항에 있어서,
상기 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈는 2x2 클러스터의 컬러 필터들 및 연관된 다이오드들 위에 포지셔닝되는, 이미지 캡처 디바이스. - 제 1 항에 있어서,
위상 검출 오토포커스를 수행하기 위해, 상기 이미지 신호 프로세서는,
상기 제 1 다이오드로부터, 상기 이미지 센서 상에 상기 제 1 방향으로 입사된 광을 표현하는 제 1 이미지 데이터를 수신하고;
상기 제 2 다이오드로부터, 상기 이미지 센서 상에 상기 제 2 방향으로 입사된 광을 표현하는 제 2 이미지 데이터를 수신하고;
상기 제 1 이미지 데이터와 상기 제 2 이미지 데이터 사이의 디스패리티를 계산하고; 그리고
상기 디스패리티를 이용하여 포커스 명령들을 생성하도록
추가로 구성되는, 이미지 캡처 디바이스. - 제 5 항에 있어서,
상기 이미지 센서 상방에 포지셔닝된 이동식 렌즈 어셈블리를 더 포함하는, 이미지 캡처 디바이스. - 제 6 항에 있어서,
상기 포커스 명령들은 상기 이동식 렌즈 어셈블리를 원하는 포커스 포지션으로 이동시키기 위한 거리 및 방향을 포함하는, 이미지 캡처 디바이스. - 제 7 항에 있어서,
상기 이미지 신호 프로세서는, 상기 이미지 센서로 하여금, 상기 원하는 포커스 포지션에 포지셔닝된 상기 이동식 렌즈 어셈블리로 이미지 데이터를 캡처하게 하고, 상기 이미지 데이터에 적어도 부분적으로 기초하여, 상기 타겟 장면의 최종 이미지를 구성하게 하는 명령들을 생성하도록 추가로 구성되는, 이미지 캡처 디바이스. - 제 5 항에 있어서,
상기 이미지 센서 상방에 포지셔닝된 렌즈 어셈블리를 더 포함하고, 상기 이미지 센서는 상기 렌즈 어셈블리에 상대적으로 이동가능한, 이미지 캡처 디바이스. - 제 9 항에 있어서,
상기 포커스 명령들은 상기 이미지 센서를 원하는 포커스 포지션으로 이동시키기 위한 거리 및 방향을 포함하는, 이미지 캡처 디바이스. - 제 1 항에 있어서,
상기 복수의 단일-다이오드 마이크로렌즈들 및 상기 복수의 멀티-다이오드 마이크로렌즈들은, 상기 복수의 멀티-다이오드 마이크로렌즈들이 반복하는 패턴으로 복수의 오토포커스 포인트들 중 하나에 각각 로케이트하게 하는 반복하는 패턴으로 배열된, 이미지 캡처 디바이스. - 이미지 센서로서,
타겟 장면으로부터의 광을 센싱하기 위한 복수의 다이오드들;
상기 복수의 다이오드들 상방에 배치된 컬러 필터 어레이로서, 상기 컬러 필터 어레이는 상기 복수의 다이오드들 중의 하나의 다이오드 위에 각각 포지셔닝된 복수의 컬러 필터들을 포함하는, 상기 컬러 필터 어레이; 및
상기 컬러 필터 어레이 상방에 배치된 복수의 마이크로렌즈들
을 포함하고,
상기 복수의 마이크로렌즈들은,
상기 복수의 컬러 필터들 중 하나의 컬러 필터 상방에 각각 포지셔닝된 복수의 단일-다이오드 마이크로렌즈들을 포함하는 제 1 서브세트로서, 상기 복수의 컬러 필터들 중의 상기 컬러 필터들은 Bayer 패턴으로 배열된 상기 복수의 단일-다이오드 마이크로렌즈들에 대응하는, 상기 복수의 단일-다이오드 마이크로렌즈들을 포함하는 제 1 서브세트, 및
복수의 멀티-다이오드 마이크로렌즈들
을 포함하고,
상기 복수의 멀티-다이오드 마이크로렌즈들의 각각의 멀티-다이오드 마이크로렌즈는,
상기 복수의 컬러 필터들 중의, 각각 동일한 파장의 광을 통과시키도록 구성된 적어도 2 개의 인접한 컬러 필터들 상방에 포지셔닝되고, 그리고
제 1 방향으로 입사된 광이 적어도 2 개의 인접한 다이오드들 중 제 1 다이오드에서 수집되고 제 2 방향으로 입사된 광이 상기 적어도 2 개의 인접한 다이오드들 중 제 2 다이오드에서 수집되도록 형성된, 이미지 센서. - 제 12 항에 있어서,
상기 적어도 2 개의 인접한 컬러 필터들이 파장을 통과시키도록 구성되는 광의 파장은 녹색 광에 대응하는, 이미지 센서. - 제 12 항에 있어서,
상기 복수의 멀티-다이오드 마이크로렌즈들 중 적어도 하나의 멀티-다이오드 마이크로렌즈는 원 둘레 (circular perimeter) 를 갖는 평면볼록 렌즈 (planoconvex lens) 를 포함하고, 상기 적어도 하나의 멀티-다이오드 마이크로렌즈는 상기 복수의 다이오드들 중 2x2 클러스터의 다이오드들에 광을 통과시키도록 사이징된, 이미지 센서. - 제 12 항에 있어서,
상기 복수의 멀티-다이오드 마이크로렌즈들 중 적어도 하나의 멀티-다이오드 마이크로렌즈는 타원 둘레 (oval perimeter) 를 갖는 평면볼록 렌즈를 포함하고, 상기 적어도 하나의 멀티-다이오드 마이크로렌즈는 상기 복수의 다이오드들 중 2x1 클러스터의 다이오드들에 광을 통과시키도록 사이징된, 이미지 센서. - 제 12 항에 있어서,
상기 복수의 다이오드들은 반도체 기판에 형성된 복수의 포토다이오드들의 어레이를 포함하는, 이미지 센서. - 제 16 항에 있어서,
상기 복수의 포토다이오드들의 각각의 포토다이오드는 상기 복수의 마이크로렌즈들 중 하나의 마이크로렌즈로부터 광을 수신하는, 이미지 센서. - 최종 이미지를 구성하기 위해 프로세스를 수행하기 위한 명령들로 구성된 이미지 신호 프로세서로서,
상기 프로세스는,
이미지 센서의 복수의 다이오드들로부터 이미지 데이터를 수신하는 것으로서, 상기 이미지 데이터는,
Bayer 패턴으로 배열된 복수의 컬러 필터들과 연관된 상기 복수의 다이오드들의 제 1 서브세트로부터의 복수의 이미징 픽셀 값들, 및
복수의 위상 검출 픽셀 값들의 각각의 위상 검출 픽셀 값이 녹색 픽셀 값을 포함하도록 상기 Bayer 패턴에서 벗어나는 복수의 컬러 필터들과 연관된 상기 복수의 다이오드들의 제 2 서브세트로부터의 상기 복수의 위상 검출 픽셀 값들로서, 상기 복수의 다이오드들의 상기 제 2 서브세트는 인접한 다이오드들의 복수의 그룹들로 배열되고, 상기 복수의 그룹들의 각각의 그룹은, 제 1 방향으로 입사된 광이 상기 그룹의 제 1 다이오드에서 수집되고 제 2 방향으로 입사된 광이 상기 그룹의 제 2 다이오드에서 수집되도록 형성된 대응하는 마이크로렌즈로부터 광을 수신하는, 상기 복수의 위상 검출 픽셀 값들
을 포함하는, 상기 이미지 데이터를 수신하는 것;
인접한 다이오드들의 상기 복수의 그룹들의 각각의 그룹에 대해, 상기 그룹의 상기 제 1 다이오드의 로케이션에 대응하는 단일 녹색 픽셀 값을 계산하는 것;
인접한 다이오드들의 상기 복수의 그룹들의 각각의 그룹에 대해, 상기 그룹의 상기 제 2 다이오드의 로케이션에 대응하는 분실된 (missing) 청색 또는 적색 픽셀 값을 계산하는 것; 및
상기 복수의 이미징 픽셀 값들, 계산된 상기 분실된 청색 또는 적색 픽셀 값들, 및 계산된 상기 단일 녹색 픽셀 값들에 적어도 부분적으로 기초하여 상기 최종 이미지를 구성하는 것
을 포함하는, 이미지 신호 프로세서. - 제 18 항에 있어서,
상기 복수의 다이오드들 중의 하나의 다이오드로부터 수신된 상기 복수의 위상 검출 픽셀 값들 중의 위상 검출 픽셀 값은 상기 하나의 다이오드에 인접한 상기 복수의 다이오드들 중의 다른 다이오드들로부터 수신된 이미징 픽셀 값들의 밝기 값들과 유사한 밝기 값을 갖는, 이미지 신호 프로세서. - 제 18 항에 있어서,
상기 최종 이미지를 구성하는 것은 디모자이킹을 통해 적어도 부분적으로 행해지는, 이미지 신호 프로세서. - 제 18 항에 있어서,
인접한 다이오드들의 상기 복수의 그룹들의 각각의 그룹에 대해 상기 단일 녹색 픽셀 값을 계산하는 것은 상기 그룹에서의 각각의 다이오드로부터 수신된 값들의 합산 값 (summing value) 들을 포함하는, 이미지 신호 프로세서. - 제 18 항에 있어서,
인접한 다이오드들의 상기 복수의 그룹들의 각각의 그룹에 대해 상기 분실된 청색 또는 적색 픽셀 값을 계산하는 것은 상기 Bayer 패턴에 기초하여, 상기 제 2 다이오드가 청색 픽셀 로케이션에 대응하는지 또는 적색 픽셀 로케이션에 대응하는지를 식별하는 것을 포함하는, 이미지 신호 프로세서. - 제 22 항에 있어서,
상기 제 2 다이오드가 청색 픽셀에 대응하는 경우, 상기 분실된 청색 또는 적색 픽셀 값을 계산하는 것은,
상기 복수의 이미징 픽셀 값들로부터, 상기 제 2 다이오드의 상기 청색 픽셀 로케이션의 미리결정된 이웃 내의 복수의 청색 픽셀 값들을 식별하는 것; 및
상기 복수의 청색 픽셀 값들에 적어도 부분적으로 기초하여 상기 제 2 다이오드에 대한 청색 픽셀 값을 보간하는 것
을 포함하는, 이미지 신호 프로세서. - 제 23 항에 있어서,
상기 미리결정된 이웃은 그 중심에 상기 제 2 다이오드를 갖는 5x5 클러스터 내의 다이오드들로부터 수신된 값들을 포함하는, 이미지 신호 프로세서. - 제 22 항에 있어서,
상기 제 2 다이오드가 적색 픽셀에 대응하는 경우, 상기 분실된 청색 또는 적색 픽셀 값을 계산하는 것은,
상기 복수의 이미징 픽셀 값들로부터, 상기 제 2 다이오드의 상기 적색 픽셀 로케이션의 미리결정된 이웃 내의 복수의 적색 픽셀 값들을 식별하는 것; 및
상기 복수의 적색 픽셀 값들에 적어도 부분적으로 기초하여 상기 제 2 다이오드에 대한 적색 픽셀 값을 보간하는 것
을 포함하는, 이미지 신호 프로세서. - 이미지 캡처 장치로서,
이미지 캡처 수단으로서,
타겟 장면으로부터의 광을 센싱하기 위한 복수의 센싱 수단;
상기 복수의 센싱 수단 상방에 배치된 복수의 컬러 필터 수단으로서, 상기 복수의 컬러 필터 수단의 각각은 상기 복수의 센싱 수단 중의 하나의 센싱 수단 위에 포지셔닝된, 상기 복수의 컬러 필터 수단;
상기 복수의 컬러 필터 수단 중 하나의 컬러 필터 수단 상방에 각각 포지셔닝된 복수의 제 1 광 포커싱 수단으로서, 상기 복수의 컬러 필터 수단의 제 1 서브세트는 Bayer 패턴으로 배열된 상기 복수의 제 1 광 포커싱 수단에 대응하는, 상기 복수의 제 1 광 포커싱 수단;
위상차 검출 정보를 생성하기 위한 복수의 제 2 광 포커싱 수단으로서, 상기 복수의 제 2 광 포커싱 수단의 각각은,
상기 복수의 컬러 필터 수단 중의, 각각 동일한 파장의 광을 통과시키도록 구성된 적어도 2 개의 인접한 컬러 필터 수단 상방에 포지셔닝되고, 그리고
제 1 방향으로 입사된 광이 적어도 2 개의 인접한 센싱 수단 중 제 1 센싱 수단에서 수집되고 제 2 방향으로 입사된 광이 상기 적어도 2 개의 인접한 센싱 수단 중 제 2 센싱 수단에서 수집되도록 형성된,
상기 복수의 제 2 광 포커싱 수단
을 포함하는, 상기 이미지 캡처 수단; 및
상기 복수의 제 2 광 포커싱 수단 중 하나의 제 2 광 포커싱 수단에 대응하는 상기 적어도 2 개의 인접한 센싱 수단으로부터 수신된 값들을 이용하여 위상 검출 오토포커스를 수행하도록 구성된 위상 검출 수단
을 포함하는, 이미지 캡처 장치. - 제 26 항에 있어서,
상기 이미지 캡처 수단은 상기 타겟 장면의 인-포커스 이미지를 생성하기 위해 이미지 신호 프로세싱 수단으로부터 수신된 데이터에 적어도 부분적으로 기초하여 포지셔닝가능한 프라이머리 포커싱 수단을 더 포함하는, 이미지 캡처 장치. - 제 27 항에 있어서,
상기 프라이머리 포커싱 수단은 상기 복수의 컬러 필터 수단 상방에 포지셔닝된 이동식 렌즈 어셈블리를 포함하는, 이미지 캡처 장치. - 제 27 항에 있어서,
상기 프라이머리 포커싱 수단은 상기 복수의 센싱 수단을 이동시키기 위한 메커니즘을 포함하는, 이미지 캡처 장치. - 제 26 항에 있어서,
상기 복수의 제 2 광 포커싱 수단으로부터 광을 수신하는 일부 센싱 수단에 대한 분실된 컬러 값들을 계산하기 위한 보간 수단을 더 포함하는, 이미지 캡처 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/864,153 US10044959B2 (en) | 2015-09-24 | 2015-09-24 | Mask-less phase detection autofocus |
| US14/864,153 | 2015-09-24 | ||
| PCT/US2016/048156 WO2017052893A1 (en) | 2015-09-24 | 2016-08-23 | Mask-less phase detection autofocus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180059478A true KR20180059478A (ko) | 2018-06-04 |
Family
ID=56894258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187011197A KR20180059478A (ko) | 2015-09-24 | 2016-08-23 | 마스크리스 위상 검출 오토포커스 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10044959B2 (ko) |
| EP (2) | EP3672229A1 (ko) |
| JP (1) | JP2018536315A (ko) |
| KR (1) | KR20180059478A (ko) |
| CN (1) | CN108141571B (ko) |
| BR (1) | BR112018005945A2 (ko) |
| WO (1) | WO2017052893A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108365A1 (ko) * | 2020-11-18 | 2022-05-27 | 삼성전자 주식회사 | 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치 |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6600246B2 (ja) * | 2015-12-17 | 2019-10-30 | キヤノン株式会社 | 撮像装置及びカメラ |
| US10033949B2 (en) * | 2016-06-16 | 2018-07-24 | Semiconductor Components Industries, Llc | Imaging systems with high dynamic range and phase detection pixels |
| JP2018046394A (ja) * | 2016-09-14 | 2018-03-22 | オリンパス株式会社 | 撮像素子、撮像装置 |
| US10237501B2 (en) | 2017-02-28 | 2019-03-19 | BAE Systems Imaging Solutions Inc. | Autofocus system for CMOS imaging sensors |
| CN107124536B (zh) * | 2017-04-28 | 2020-05-08 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107105141B (zh) * | 2017-04-28 | 2019-06-28 | Oppo广东移动通信有限公司 | 图像传感器、图像处理方法、成像装置和移动终端 |
| CN107040724B (zh) * | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107146797B (zh) * | 2017-04-28 | 2020-03-27 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107105140B (zh) * | 2017-04-28 | 2020-01-24 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN107040730B (zh) * | 2017-04-28 | 2020-05-08 | Oppo广东移动通信有限公司 | 图像传感器的成像控制方法、图像传感器，以及成像装置 |
| CN107135340A (zh) * | 2017-04-28 | 2017-09-05 | 广东欧珀移动通信有限公司 | 图像传感器、对焦控制方法、成像装置和移动终端 |
| CN106921823B (zh) * | 2017-04-28 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像传感器、摄像模组和终端设备 |
| CN106982328B (zh) * | 2017-04-28 | 2020-01-10 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| EP3447678A1 (en) * | 2017-08-21 | 2019-02-27 | Axis AB | Method and image processing device for detecting a portion of an image |
| US10375293B2 (en) * | 2017-08-31 | 2019-08-06 | Qualcomm Incorporated | Phase disparity engine with low-power mode |
| US10498947B2 (en) * | 2017-10-30 | 2019-12-03 | Taiwan Semiconductor Manufacturing Co., Ltd. | Image sensor including light shielding layer and patterned dielectric layer |
| EP3522106A1 (en) | 2018-01-31 | 2019-08-07 | InterDigital CE Patent Holdings | A filter array enabling easy demosaicing |
| US20210088697A1 (en) | 2018-03-16 | 2021-03-25 | Lg Electronics Inc. | Liquid iris, optical device comprising same, and mobile terminal |
| US10848681B2 (en) * | 2018-04-17 | 2020-11-24 | Facebook Technologies, Llc | Image reconstruction from image sensor output |
| US10880467B2 (en) * | 2018-06-25 | 2020-12-29 | Omnivision Technologies, Inc. | Image sensors with phase detection auto-focus pixels |
| CN108900772A (zh) * | 2018-07-19 | 2018-11-27 | 维沃移动通信有限公司 | 一种移动终端及图像拍摄方法 |
| US11323610B2 (en) | 2018-09-28 | 2022-05-03 | Samsung Electronics Co., Ltd. | Autofocus method and electronic device performing same |
| CN109068111A (zh) * | 2018-10-12 | 2018-12-21 | 北京地平线机器人技术研发有限公司 | 一种监控装置、监控方法和电子设备 |
| JP2020068289A (ja) * | 2018-10-24 | 2020-04-30 | キヤノン株式会社 | 光電変換装置、撮像システム、移動体、および積層用の半導体チップ |
| KR102624107B1 (ko) | 2018-12-06 | 2024-01-12 | 삼성전자주식회사 | 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치 |
| CN113348644A (zh) * | 2019-01-30 | 2021-09-03 | 索尼集团公司 | 传感器装置和加密方法 |
| US11405535B2 (en) | 2019-02-28 | 2022-08-02 | Qualcomm Incorporated | Quad color filter array camera sensor configurations |
| US11245878B2 (en) * | 2019-02-28 | 2022-02-08 | Qualcomm Incorporated | Quad color filter array image sensor with aperture simulation and phase detection |
| KR102662032B1 (ko) | 2019-06-19 | 2024-05-03 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 포함하는 전자 장치 |
| CN110335879A (zh) * | 2019-07-09 | 2019-10-15 | 德淮半导体有限公司 | 图像传感器及其形成方法 |
| CN110310970A (zh) * | 2019-07-09 | 2019-10-08 | 德淮半导体有限公司 | 图像传感器及其形成方法 |
| CN110429093A (zh) * | 2019-08-05 | 2019-11-08 | 德淮半导体有限公司 | 图像传感器及其制造方法 |
| KR20210047687A (ko) * | 2019-10-22 | 2021-04-30 | 삼성전자주식회사 | 위상 검출 픽셀을 포함하는 이미지 센서 |
| US11367743B2 (en) * | 2019-10-28 | 2022-06-21 | Omnivision Technologies, Inc. | Image sensor with shared microlens between multiple subpixels |
| US11276716B2 (en) * | 2019-12-17 | 2022-03-15 | Taiwan Semiconductor Manufacturing Company, Ltd. | Image sensor with improved near-infrared (NIR) radiation phase-detection autofocus (PDAF) performance |
| US11233963B2 (en) * | 2019-12-27 | 2022-01-25 | Omnivision Technologies, Inc. | Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes |
| KR20210087809A (ko) | 2020-01-03 | 2021-07-13 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
| KR20210095461A (ko) | 2020-01-23 | 2021-08-02 | 삼성전자주식회사 | 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법 |
| KR20210101049A (ko) * | 2020-02-07 | 2021-08-18 | 삼성전자주식회사 | 전자 장치 및 객체 인식 방법 |
| CN112243095B (zh) * | 2020-09-29 | 2023-07-25 | 格科微电子（上海）有限公司 | 像素合成模式下的pd像素的读取方法及装置、存储介质、图像采集设备 |
| CN113540138B (zh) * | 2021-06-03 | 2024-03-12 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器及其成像模块 |
| DE102022125838A1 (de) | 2022-10-06 | 2024-04-11 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7808023B2 (en) * | 2005-08-24 | 2010-10-05 | Aptina Imaging Corporation | Method and apparatus providing integrated color pixel with buried sub-wavelength gratings in solid state imagers |
| JP4967296B2 (ja) | 2005-10-03 | 2012-07-04 | 株式会社ニコン | 撮像素子、焦点検出装置、および、撮像システム |
| JP5359465B2 (ja) * | 2009-03-31 | 2013-12-04 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
| JP2010252277A (ja) * | 2009-04-20 | 2010-11-04 | Panasonic Corp | 固体撮像装置及び電子カメラ |
| JP5620992B2 (ja) | 2010-07-12 | 2014-11-05 | 富士フイルム株式会社 | 固体撮像装置 |
| WO2012039180A1 (ja) * | 2010-09-24 | 2012-03-29 | 富士フイルム株式会社 | 撮像デバイス及び撮像装置 |
| CN103140925B (zh) * | 2010-09-29 | 2016-02-10 | 富士胶片株式会社 | 固态图像拾取元件和图像拾取设备 |
| JP5655543B2 (ja) * | 2010-12-20 | 2015-01-21 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
| JP5744545B2 (ja) * | 2011-01-31 | 2015-07-08 | キヤノン株式会社 | 固体撮像装置およびカメラ |
| JP5744556B2 (ja) | 2011-02-10 | 2015-07-08 | オリンパス株式会社 | 撮像素子および撮像装置 |
| TW201245768A (en) * | 2011-03-29 | 2012-11-16 | Sony Corp | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program |
| JP5765081B2 (ja) * | 2011-06-22 | 2015-08-19 | ソニー株式会社 | 撮像素子、電子機器、製造方法、および検査装置 |
| JP2013072923A (ja) * | 2011-09-27 | 2013-04-22 | Sanyo Electric Co Ltd | 撮像装置 |
| EP2833623B1 (en) * | 2012-03-30 | 2019-09-18 | Nikon Corporation | Image sensor, imaging method, and imaging device |
| JP5697801B2 (ja) * | 2012-06-19 | 2015-04-08 | 富士フイルム株式会社 | 撮像装置及び自動焦点調節方法 |
| WO2014006785A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
| WO2014046037A1 (ja) * | 2012-09-19 | 2014-03-27 | 富士フイルム株式会社 | 撮像装置及びその制御方法 |
| JP2014106476A (ja) * | 2012-11-29 | 2014-06-09 | Canon Inc | 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体 |
| EP2738812B8 (en) * | 2012-11-29 | 2018-07-18 | ams Sensors Belgium BVBA | A pixel array |
| KR101373132B1 (ko) | 2013-09-03 | 2014-03-14 | (주)실리콘화일 | 마이크로 렌즈를 이용한 위상차 검출 픽셀 |
| US9711553B2 (en) * | 2014-04-28 | 2017-07-18 | Samsung Electronics Co., Ltd. | Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor |
| US9967451B2 (en) * | 2014-09-30 | 2018-05-08 | Canon Kabushiki Kaisha | Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters |
| US9945718B2 (en) * | 2015-01-07 | 2018-04-17 | Semiconductor Components Industries, Llc | Image sensors with multi-functional pixel clusters |
| US9807294B2 (en) * | 2015-08-05 | 2017-10-31 | Omnivision Technologies, Inc. | Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods |
| US9420164B1 (en) * | 2015-09-24 | 2016-08-16 | Qualcomm Incorporated | Phase detection autofocus noise reduction |
| US9804357B2 (en) * | 2015-09-25 | 2017-10-31 | Qualcomm Incorporated | Phase detection autofocus using masked and unmasked photodiodes |
| US10523860B2 (en) * | 2016-05-12 | 2019-12-31 | Canon Kabushiki Kaisha | Focus detection device, control method thereof, and image capture apparatus |
| US10044926B2 (en) * | 2016-11-04 | 2018-08-07 | Qualcomm Incorporated | Optimized phase detection autofocus (PDAF) processing |
| JP2018077190A (ja) * | 2016-11-11 | 2018-05-17 | 株式会社東芝 | 撮像装置及び自動制御システム |
-
2015
- 2015-09-24 US US14/864,153 patent/US10044959B2/en not_active Expired - Fee Related
-
2016
- 2016-08-23 KR KR1020187011197A patent/KR20180059478A/ko unknown
- 2016-08-23 EP EP20151187.0A patent/EP3672229A1/en not_active Withdrawn
- 2016-08-23 CN CN201680054782.4A patent/CN108141571B/zh active Active
- 2016-08-23 BR BR112018005945-5A patent/BR112018005945A2/pt not_active Application Discontinuation
- 2016-08-23 EP EP16763375.9A patent/EP3354017A1/en not_active Withdrawn
- 2016-08-23 JP JP2018515042A patent/JP2018536315A/ja active Pending
- 2016-08-23 WO PCT/US2016/048156 patent/WO2017052893A1/en active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022108365A1 (ko) * | 2020-11-18 | 2022-05-27 | 삼성전자 주식회사 | 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치 |
| US11895401B2 (en) | 2020-11-18 | 2024-02-06 | Samsung Electronics Co., Ltd | Camera module for high resolution auto focusing and electronic device including same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018536315A (ja) | 2018-12-06 |
| CN108141571B (zh) | 2020-07-17 |
| EP3354017A1 (en) | 2018-08-01 |
| WO2017052893A1 (en) | 2017-03-30 |
| BR112018005945A2 (pt) | 2018-10-09 |
| EP3672229A1 (en) | 2020-06-24 |
| CN108141571A (zh) | 2018-06-08 |
| US10044959B2 (en) | 2018-08-07 |
| US20170094210A1 (en) | 2017-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10044959B2 (en) | Mask-less phase detection autofocus | |
| US10044926B2 (en) | Optimized phase detection autofocus (PDAF) processing | |
| US9804357B2 (en) | Phase detection autofocus using masked and unmasked photodiodes | |
| US10015416B2 (en) | Imaging systems with high dynamic range and phase detection pixels | |
| US10397465B2 (en) | Extended or full-density phase-detection autofocus control | |
| TWI605297B (zh) | 具有對稱之多像素相位差檢測器之影像感測器、成像系統及相關檢測方法 | |
| US9729779B2 (en) | Phase detection autofocus noise reduction | |
| CN107105141B (zh) | 图像传感器、图像处理方法、成像装置和移动终端 | |
| US9973678B2 (en) | Phase-detect autofocus | |
| US9455285B2 (en) | Image sensors with phase detection pixels | |
| CN204697179U (zh) | 具有像素阵列的图像传感器 | |
| US9338380B2 (en) | Image processing methods for image sensors with phase detection pixels | |
| US20140204183A1 (en) | Photographing device and photographing method for taking picture by using a plurality of microlenses | |
| US10567636B2 (en) | Resolution enhancement using sensor with plural photodiodes per microlens | |
| US20180288306A1 (en) | Mask-less phase detection autofocus | |
| TW201514599A (zh) | 影像感測器及影像擷取系統 | |
| CN103842877A (zh) | 成像装置和合焦参数值计算方法 | |
| JP2014032214A (ja) | 撮像装置及びその合焦位置検出方法 | |
| TW201721852A (zh) | 彩色濾波器感測器 | |
| US20240127407A1 (en) | Image sensor apparatus for capturing depth information |