KR102269600B1 - 위상차 포커스 검출 가능한 촬상소자 - Google Patents

위상차 포커스 검출 가능한 촬상소자 Download PDF

Info

Publication number
KR102269600B1
KR102269600B1 KR1020140100698A KR20140100698A KR102269600B1 KR 102269600 B1 KR102269600 B1 KR 102269600B1 KR 1020140100698 A KR1020140100698 A KR 1020140100698A KR 20140100698 A KR20140100698 A KR 20140100698A KR 102269600 B1 KR102269600 B1 KR 102269600B1
Authority
KR
South Korea
Prior art keywords
phase difference
pixel
pixels
vertical
horizontal
Prior art date
Application number
KR1020140100698A
Other languages
English (en)
Other versions
KR20160016466A (ko
Inventor
마사타카 하마다
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140100698A priority Critical patent/KR102269600B1/ko
Priority to US14/600,426 priority patent/US9538067B2/en
Priority to PCT/KR2015/000544 priority patent/WO2016021790A1/en
Publication of KR20160016466A publication Critical patent/KR20160016466A/ko
Application granted granted Critical
Publication of KR102269600B1 publication Critical patent/KR102269600B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

결상(結像)된 화상을 수광하는 2차원 배열로 구성된 화소들을 포함하는 촬상 소자가 개시된다. 촬상 소자는 결상(結像)된 화상을 수광하는 2차원 배열로 구성된 화소들을 포함하는 촬상 소자이고, 결상(結像)된 화상을 수광하는 2차원 배열로 구성된 화소들을 포함하는 촬상 소자에 있어서, 수평 방향의 위상차를 검출 가능한 화소들로부터 획득한 수평 위상차 정보에 근거하여, 수평 방향의 위상차 검출을 하는, 제 1 영역; 수직 방향의 위상차를 검출 가능한 화소들로부터 획득한 수직 위상차 정보에 근거하여, 수직 방향의 위상차 검출을 하는, 제 2 영역; 및 수평 방향의 위상차 및 수직 방향의 위상차를 검출 가능한 화소들로부터 획득한 수평 위상차 정보 및 수직 위상차 정보에 근거하여 수평 방향의 위상차 검출 및 수직 방향의 위상차 검출을 하는, 제 3 영역을 포함할 수 있다.

Description

위상차 포커스 검출 가능한 촬상소자 {An imaging sensor capable of detecting phase difference of focus}
본 발명은 촬상소자에 관한 것으로, 구체적으로 위상차 포커스 검출 가능한 촬상소자에 관한 것이다.
디지털 촬영장치에 있어서 선명한 정지 영상 또는 동영상을 촬영하기 위해서는 피사체에 정확하게 초점을 맞추는 것이 필요하다. 초점 조절을 자동으로 수행하는 자동초점 조절 방식으로 위상차 자동초점 조절 방식(이하 ‘위상차 검출 AF’라 한다)이 있다.
근래에는 화상 입력용의 촬상 소자를 이용하여 위상차 검출 AF를 실시하는 것이 가능한 위상차 화소가 제안되고 있다.
본 발명은 크로스 AF 영역을 화면의 가능한 넓은 범위에서 설정하는 것을 가능하게 하고, 화면 전역에서 포커스 검출을 가능하게 하는 것을 목적으로 한다.
본 발명의 일 실시 형태에 따른 촬상 소자는 결상(結像)된 화상을 수광하는 2차원 배열로 구성된 화소들을 포함하는 촬상 소자이고, 결상(結像)된 화상을 수광하는 2차원 배열로 구성된 화소들을 포함하는 촬상 소자에 있어서, 수평 방향의 위상차를 검출 가능한 화소들로부터 획득한 수평 위상차 정보에 근거하여, 수평 방향의 위상차 검출을 하는, 제 1 영역; 수직 방향의 위상차를 검출 가능한 화소들로부터 획득한 수직 위상차 정보에 근거하여, 수직 방향의 위상차 검출을 하는, 제 2 영역; 및 수평 방향의 위상차 및 수직 방향의 위상차를 검출 가능한 화소들로부터 획득한 수평 위상차 정보 및 수직 위상차 정보에 근거하여 수평 방향의 위상차 검출 및 수직 방향의 위상차 검출을 하는, 제 3 영역을 포함할 수 있다. 제 1 영역은 제 3 영역의 수평 방향으로 형성된 경계선에 인접하고, 제 2 영역은 제 3 영역의 수직 방향으로 형성된 경계선에 인접하고, 제 3 영역은 촬상 소자의 중앙에 위치할 수 있다.
본 발명의 일 실시예에 따른 촬상 소자의 제 3 영역에는, 수평 방향의 위상차를 검출 가능한 수평 위상차 화소들 및 수직 방향의 위상차를 검출 가능한 수직 위상차 화소들이 배치될 수 있다.
본 발명의 일 실시예에 따른 촬상 소자의 전 영역에, 수평 방향의 위상차를 검출 가능한 수평 위상차 화소들 및 수직 방향의 위상차를 검출 가능한 수직 위상차 화소들이 배치되고, 수평 방향의 상관 연산 또는 수직 방향의 상관 연산의 가능여부에 근거하여 제 1 영역, 제 2 영역, 제 3 영역이 설정될 수 있다.
본 발명의 일 실시예에 따른 촬상 소자의 수평 방향의 위상차를 검출 가능한 수평 위상차 화소 및 수직 방향의 위상차를 검출 가능한 수직 위상차 화소는 동일 화소에서 구현 될 수 있다.
본 발명의 일 실시예에 따른 촬상 소자의 수평 위상차 화소 및 수직 위상차 화소 각각은 4 개의 포토 다이오드를 포함할 수 있다.
상기와 같은 구성에 따라 촬상소자에서 넓은 크로스 AF 영역을 설정할 수 있고, 거의 화면 전역에서 포커스 검출이 가능해진다.
도 1은 본 발명의 일 실시예에 따른 촬상 소자가 구비된 디지털 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 도 1의 촬상 소자를 이용한 위상차 화소의 원리를 설명하는 도면이다.
도 3은 도 2에 따른 수광 화소의 위상차를 설명하기 위한 그래프이다.
도 4는 도 3의 위상차 검출을 위해 실제 상관 연산을 하는 경우를 설명하는 모식도이다.
도 5는 본 발명의 일 실시 예에 따른 촬상 소자의 화소 구성을 도시한다.
도 6은 본 발명의 일 실시 예에 따라 하나의 마이크로 렌즈에 복수의 위상차 화소가 구비된 예를 도시한다.
도 7은 본 발명의 일 실시 예에 따른 촬상소자의 회로 구성을 나타낸 평면도이다.
도 8은 본 발명의 일 실시예에 따른 수평 및 수직 방향에 위상차 검출이 가능한 촬상 소자(60)의 위상차 화소의 배치의 예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 수평 및 수직 방향으로 위상차 검출이 가능한 촬상 소자(66)의 위상차 화소의 배치의 예를 도시한다.
도 10은 본 발명의 일 실시예에 따른 수평 및 수직 방향으로 위상차 검출이 가능한 촬상 소자(70)의 위상차 화소 배치를 도시한다.
도 11은 본 발명의 일 실시예에 따른 수평 및 수직 방향으로 위상차 검출이 가능한 촬상 소자(80)의 위상차 화소 배치를 도시한다.
도 12는 도 11에 도시된 4 분할 포토 다이오드에 의한 위상차 화소의 회로 구성을 나타낸 평면도이다.
도 13은 본 발명의 일 실시예에 따른 위상차 화소가 배치된 촬상 소자의 전체를 도시한다.
도 14는 본 발명의 일 실시예에 따른 위상차 화소를 배치한 촬상 소자의 전체의 다른 예를 도시한다.
도 15는 도 13의 수직 및 수평 위상차 검출 조건을 충족하는 멀티 포커스 영역(210)을 도시한다.
도 16은 본 발명의 일 실시예에 따른 멀티 포커스 영역을 세분화한 것을 도시한다.
도 17은 본 발명의 일 실시예에 따른 멀티 포커스 영역을 세분화한 다른 예를 도시한다.
도 18은 도 17의 스몰 멀티 포커스 영역에 관한 순서도를 나타낸다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 촬상소자가 구비된 디지털 영상 처리 장치의 구성을 보이는 블록도이다.
도 1을 참조하면, 디지털 영상 처리 장치(100)와 렌즈가 분리 가능한 타입으로 도시되어 있지만, 본 촬상 소자(108)는 렌즈가 일체형인 타입에서도 사용 가능하다. 또한 본 발명에 따른 촬상 소자(108)를 이용하면, 위상차 AF와 콘트라스트 AF 가 가능한 디지털 영상 처리 장치(100)가 된다.
디지털 영상 처리 장치(100)는 포커스 렌즈(102)를 포함하는 촬영 렌즈(101)를 구비한다. 디지털 영상 처리 장치(100)는 포커스 검출 기능을 구비하여, 포커스 렌즈(102)를 구동하는 것이 가능하다. 촬영 렌즈(101)는 포커스 렌즈(102)를 구동하는 렌즈 구동부(103), 포커스 렌즈(102)의 위치를 검출하는 렌즈 위치 검출부(104), 포커스 렌즈(102)를 제어하는 렌즈 제어부(105)를 포함한다. 렌즈 제어부(105)는 디지털 영상 처리 장치(100)의 CPU(106)와 포커스 검출에 관한 정보를 통신한다.
디지털 영상 처리 장치(100)는 촬상 소자(108)를 구비하여, 촬영 렌즈(101)를 통과한 피사광을 촬상해 화상 신호를 생성한다. 촬상 소자(108)는 매트릭스 형태로 배열된 복수의 광전 변환부(미도시) 및 광전 변환부로부터 전하를 이동시켜 화상 신호를 독출하는 전송로(미도시) 등을 포함할 수 있다.
촬상 소자 제어부(107)는 타이밍 신호를 생성하여, 촬상 소자(108)가 화상을 촬상하도록 제어한다. 더 나아가 촬상 소자 제어부(107)는 각 주사선에서의 전하 축적이 끝나면 화상 신호를 차례차례 독출하도록 한다.
독출된 신호는 아날로그 신호 처리부(109)를 거쳐 A/D 변환부(110)에서 디지털 신호로 변환된 후, 화상 입력 콘트롤러(111)로 입력되어 처리된다.
화상 입력 콘트롤러(111)로 입력된 디지털 화상 신호는 AWB(auto white balance) 검출부(116), AE(auto exposure) 검출부(117), AF 검출부(118)에서 각각 AWB, AE, AF 연산에 의해 처리된다. 여기서 AF 검출부(118)는 콘트라스트 AF 시에 콘트라스트 값에 대한 검파 값을 출력하고, 위상차 AF 시에 화소 정보를 CPU(106)로 출력하여, 위상차 연산을 하도록 한다. CPU(106)의 위상차 연산은 복수의 화소 열 신호의 상관 연산을 실시하여 구할 수 있다. 위상차 연산 결과로 초점의 위치 또는 초점의 방향을 구할 수 있다.
화상 신호는 일시 메모리인 SDRAM(119)에도 저장된다. 디지털 신호 처리부(112)는 감마 보정 등 일련의 화상 신호 처리를 수행하여 디스플레이 가능한 라이브뷰 화상이나, 캡쳐 화상을 만든다. 압축 신장부(113)는 JPEG 압축 형식 또는 H.264 압축 형식 등의 압축 형식에서 화상 신호를 압축하거나 재생 시에 신장시킨다. 압축 신장부(113)에서 압축된 화상 신호를 포함한 화상 파일은 미디어 콘트롤러(121)를 통해서 메모리 카드(122)로 전송되어 저장된다. 표시용 화상 정보는 VRAM(120)에 저장되고, 그 화상을 비디오 인코더(114)를 통해 LCD(115)에 표시한다. CPU(106)는 각 부분의 동작을 전체적으로 제어한다. EEPROM(123)은 촬상 소자(108)의 화소 결함 보정을 위한 정보나, 조정 정보를 저장 유지한다. 조작부(124)는 디지털 영상 처리 장치(100)의 조작을 위해, 사용자로부터 각종 명령을 입력 받는다. 조작부(124)는 셔터-릴리즈 버튼, 메인 버튼, 모드 다이얼, 메뉴 버튼 등 다양한 버튼을 포함할 수 있다.
도 2는 도 1의 촬상 소자(108)를 이용한 위상차 화소의 원리를 설명하는 도면이다.
촬영 렌즈(11)를 통과한 피사광은 마이크로 렌즈열(14)을 통과해 수광 화소 R(15), L(16)으로 유도된다. 수광 화소 R(15), L(16)의 일부에는 촬영 렌즈(11)로부터 동공(12, 13)을 제한하는 마스크(17, 18) 또는 제한된 개구부가 구비된다. 그리고 촬영 렌즈(11)의 동공 중, 촬영 렌즈(11)의 광 축(10)보다 위에 있는 동공(12)으로부터의 빛은 수광 화소 L(16)로 유도되고, 촬영 렌즈(11)의 광 축(10)보다 아래에 있는 동공(13)으로부터의 빛은 수광 화소 R(15)로 유도된다. 마스크(17, 18) 또는 개구부가, 마이크로 렌즈열(14)에 의해 동공(12, 13) 위치에서 역 투영되는 범위의 광을 수광 화소 R(15), L(16)에 수광하는 것을 동공 분할이라 한다. 도면에서는 촬영 렌즈(11) 내에 역 투영된 예를 도시하였지만, 촬영 렌즈(11) 외부로 역투영 될 수도 있다.
도 3은 도 2에 따른 수광 화소의 위상차를 설명하기 위한 그래프이다.
동공 분할된 화소 출력을 마이크로 렌즈 열에 따라 R, L 각각의 수광 화소의 연속한 출력을 그리면 도 3과 같이 나타날 수 있다. 도 3에서 가로축은 수광 화소의 위치이며, 세로축은 수광 화소의 출력 값이다. 도 3(a)에서 수광 화소 R열, L열의 화소 출력을 보면, 같은 형상인 것을 알 수 있다. 그러나 도 3(a)에서 화소 출력의 위치 즉 위상은 다르다. 이것은 촬영 렌즈(11)의 편심된 동공(12, 13)으로부터의 광의 결상 위치가 다르기 때문이다. 따라서 초점이 맞지 않은 경우는 도 3(a)와 같이 위상이 어긋나 있고, 초점이 맞은 경우(이하에서는 ‘합초’라 한다.)는 도 3(b)와 같이 같은 위치에 결상된다. 또한 이로부터 초점 차이의 방향도 판정할 수 있다. 피사체 앞에 초점이 맞은 경우는 전 핀이라고 하며, 전 핀인 경우 R열은 합초 위상보다 왼쪽으로 시프트되고, L열은 합초위상 보다 오른쪽으로 시프트된다. 반대로, 피사체 뒤에 초점이 맞은 경우는 후 핀이라고 하며, 후 핀인 경우 R열은 합초 위상보다 오른쪽으로 시프트되고, L열은 합초 위상보다 왼쪽으로 시프트된다. 도 3a는 전 핀을 나타낸 것이다. R열이 합초 위상보다 오른쪽으로 시프트, L열이 왼쪽으로 시프트되어, R열과 L열이 도 3(a)에서와 반대로 나타나는 경우 후 핀이 된다. 그리고 R열과 L열의 편차량은 초점 편차량으로 환산할 수 있다.
도 4는 도 3의 위상차 검출을 위해 실제 상관 연산을 하는 경우를 설명하는 모식도이다.
도 4는 위상차 화소열 L(53) 과 위상차 화소열 R(54) 중 위상차 화소열 R(54) 만 시프트하는 방식 (a)와 위상차 화소열 L(53) 및 위상차 화소열 R(54) 모두를 시프트해 가는 방식 (b)를 보여준다.
영역(51)은 카메라 사용자에게 보이는 포커스 검출 영역(51)이다. 상관 연산을 하는 위상차 화소열 L(53)과 위상차 화소열 R(54)이 각각 6화소로 상관 연산을 수행한다. 여기에서는 모식적으로 6화소만 나타냈지만, 실제로 16화소나 24화소를 단위로 할 수 있다. 위상차 화소열 L(53)과 위상차 화소열 R(54)의 차이값의 절대치의 총합(HFN=Σ|L-R|)을 평가 값 또는 상관 값으로 할 수 있다. 상관 연산을 하는 위치를 1 화소씩 시프트해 가면서 복수의 상관 값 HFN1, 2, 3, … 을 구할 수 있다. 그리고 상관 값 HFN(X) 중 상관 값 HFN(X)이 최소가 되는 YM의 위치 X가 초점위치 XM 로 된다. 상관 위치는 양자화된 상태이므로, 상관 연산만으로는, 양자화 오차가 크다. 실제의 연산에서는 양자화 정보를 사용해서 보간 계산을 더 미세한 분해능으로 수행하여 최소상관 값이 되는 위치 XM을 구한다.
 도 4에서는 편의상 i를 합초 상태로 한다. 도 4(a)에서는 ⅰ로부터 ⅶ까지 위상차 화소열 R(54)을 오른쪽으로 1 화소씩 시프트하면서 상관 값을 연산하는 상태를 나타낸다. ⅶ의 상태는 완전히 상관성이 없는 상태가 된다. 이 때 상관 연산 영역(52)은 포커스 검출 영역(51)과 정확히 같은 길이가 된다. 도면에 도시되지는 않았지만, 도 4(a)와 마찬가지로위상차 화소열 R(54)을 왼쪽으로 시프트하면서 상관 값 연산을 수행할 수도 있다. 이때는 ⅶ의 상태와는 역방향으로 6 화소 만큼 시프트된다. 이 때 왼쪽에 포커스 검출 영역(51)과 같은 길이의 상관 연산 영역(50)이 존재한다. 즉, 상관 연산을 하기 위해서 필요한 상관 연산 영역의 면적은, 포커스 검출 영역(51)과 그 좌우의 상관 연산 영역(50) 및 상관 연산 영역(52)을 합하여, 포커스 검출 영역(51)의 3배의 면적임을 알 수 있다.
도 4의 (b)는 i에서 합초 상태, ⅱ에서 위상차 화소열 L(53)을 왼쪽으로 시프트, 그 후 ⅲ에서 위상차 화소열 R(54)을 오른쪽으로 시프트, ⅳ에서 위상차 화소열 L(53)을 왼쪽으로 시프트, ⅴ에서 위상차 화소열 R(54)을 오른쪽으로 시프트를 하는 것을 나타낸다. 도 4의 (b)에서, 상관 연산 영역(52)의 길이는 포커스 검출 영역(51)의 반의 길이가 된다. 반대측에도 포커스 검출 영역(51)의 반의 길이의 상관 연산 영역(50)이 필요하다.
한편, 도 4에 도시되지는 않았지만, 역방향으로 시프트하는 것도 가능하다. 구체적으로, ⅱ”이 위상차 화소열 L(53)만 오른쪽으로 시프트, 그 후 ⅲ”에서 위상차 화소열 R(54)을 왼쪽으로 시프트, ⅳ”에서 위상차 화소열 L(53)을 오른쪽으로 시프트, ⅴ”에서 위상차 화소열 R(54)을 왼쪽으로 시프트하는 것이 가능하다. 이 경우도 동일하게 포커스 검출 영역(51)의 길이의 반의 길이를 갖는 상관 연산 영역(50)과 상관 연산 영역(52)이 필요하다.
다시 말해 쌍방 시프트 방식의 경우, 상관 연산을 하기 위해서 필요한 상관 연산 영역의 면적은, 포커스 검출 영역(51)의 면적의 2 배임을 알 수 있다.
여기에서, 수평 방향의 상관 연산을 예로서 설명하였지만, 수직 방향의 상관 연산의 경우도 동일하게 포커스 검출 영역 이외에도 상관 연산 영역이 필요하다.
도 4를 참조하여 상술한 바와 같이, 촬상 소자 전 영역에서 수평 방향의 포커스 검출을 해도, 상관 연산 영역이 존재하기 때문에 전 영역을 수평 방향 포커스 검출 영역으로 설정할 수는 없게 된다.
여기서 수평 방향 포커스 검출 영역으로 설정할 수 없는 영역은, 도 13 내지 17을 참조하여 후술할 바와 같이 수직 방향의 위상차 화소를 배치하는 것에 의해 수직 방향 포커스 검출 영역으로 사용하는 것이 가능하다.
도 5는 본 발명의 일 실시 예에 따른 촬상 소자(108)의 화소 구성을 도시한다.
촬상 소자(108)는 두 개의 화소를 나타내고, 왼쪽에 도시된 것은 R 화소, 오른쪽에 도시된 것은 L 화소를 나타낸다. 위에서부터 마이크로 렌즈(21), 표면층(22), 컬러 필터층(23), 배선층(24), 포토 다이오드(photo diode)층(25), 기판층(26)이 배치된다. 실제보다도 층은 간략하게 도시된 것이다. 피사체로부터의 광은, 마이크로렌즈(21)을 통해서 각 화소의 포토 다이오드층(25)에 유도되고, 포토 다이오드에서 전하가 발생하여 화소 정보가 된다. 발생한 전하는 배선층(24)으로부터 출력된다. 피사체로부터의 광은 촬영 렌즈의 사출 동공을 통과하여 입사되고, 피사체 위치에 따른 휘도 정보를 화소 위치에 따라 얻을 수 있다. 컬러 필터층 (23)은 각 화소에서 R(빨강), G(초록), B(파랑)의 3색을 사용한다. 그리고 개구부에 마스크를 설치하여 도 2의 수광 화소 R(15), L(16)과 같이 R과 L의 신호를 취득할 수 있는 위상차 화소로 구성할 수 있다. 마이크로렌즈(21)와 포토 다이오드(25)의 사이에 R 화소용 마스크(27) 및 L 화소용 마스크(28)를 설치할 수 있다.
도 5를 참조하면, 촬상 소자(108)는 마이크로 렌즈(21)와 포토 다이오드(25) 사이에 R 화소용 마스크(27) 및 L 화소용 마스크(28)를 구비한다. 마스크(27, 28)의 위치는 도 5에 도시된 위치로 한정되지 않으며, 마이크로 렌즈(21)와 포토 다이오드 사이이면 된다. 도 5에서는 마이크로 렌즈(21)의 광축을 일점차선으로 표시하며, 마이크로 렌즈(21)로부터 입사하는 광로를 파선으로 가리킨다. 도 5에 도시된 마스크(27, 28)에 의해 촬영 렌즈로부터 광로의 광축이 경계선에 약 50%로 제한된다.
도 5에서는 R 화소 및 L 화소가 분리되어 있는 형태로 도시된다. 그러나, 이에 제한되지 않으며, R 화소와 L 화소는 근접하여 존재할 수도 있으며, 일정 거리 떨어져서 존재할 수도 있다.
도 6은 본 발명의 일 실시 예에 따라 하나의 마이크로 렌즈에 복수의 위상차 화소가 구비된 예를 도시한다
도 6을 참조하면, 위에서부터 마이크로 렌즈(21), 표면층(22), 컬러 필터층(23), 배선층(24), 광전변환층 및 기판층(20)이 배치된다. 광전변환층은, 4개의 광전변환층 즉, 광전변환층(25, 26), 광전변환층(25, 27), 광전변환층 (28, 29) 및 광전변환층(28, 30)을 포함한다. 여기서, 광전변환층이 종래와 가장 큰 차이점이 존재하는 부분이다. 도 6에 나타나듯이, 각 화소에서 광전변환층이 2 분할될 수 있다. 광전변환층은, 포토 다이오드, 또는 포토 트랜지스터(photo transistor)로 구성될 수 있다.
위상차 화소로서 사용될 경우, R열화소를 기능시키기 위해서, 2분할된 광전변환층 일 측의 오른쪽의(25, 27)세트를 ON으로 하고, 왼쪽의 (25, 26)세트는 OFF상태가 되어야 한다. 반대로, L열화소를 기능시키기 위해서는, 2분할된 광전변환층 타 측의, 왼쪽의 (28, 29)세트는 ON으로 하고, 오른쪽의 (28, 30)세트가 OFF상태로 되어야 한다. L열화소, R열화소의 위치를 반대이게 하는 것도 가능하며, 각 R열화소, L열화소를 전부 ON상태로 하면 촬상화소로서도 사용 가능하다.
여기서, ON, OFF의 방법은 광전변환부에서 ON, OFF여부를 변경할 수도 있고, 후술할 바와 같이, 본 발명의 일 실시 예에 따라 광전변환부의 리드아웃 라인에서 ON, OFF를 변경하는 것도 가능하다.
도 7은 본 발명의 일 실시 예에 따른 촬상소자의 회로 구성을 나타낸 평면도이다.
도 7의 (a)가 수평 방향 위상차 화소(160), 도 7의 (b)가 수직 방향 위상차 화소(170)를 나타낸다.
도 7(a)를 참조하면, 화소(160)에는 마이크로 렌즈의 광축(미도시)을 중심으로 양측에 포토 다이오드(161, 162)가 배치된다. 화소(160)에는 공통의 리드아웃부(163)가 배치된다.
도 7(a)의 화소(160)는 일측의 포토 다이오드(161), 리드아웃부(163) 및 전송 신호 라인 TL1(164)로 구성되는 전송 트랜지스터(Tr61)를 포함한다. 그리고, 화소(160)는 타측의 포토 다이오드(162)와 리드아웃부(163) 및 전송 신호 라인 T1(165)로 구성되는 전송 트랜지스터(Tr62)를 포함한다.
리드아웃부(163)로부터 출력부의 증폭 트랜지스터(미도시)까지 배선(166)이 배치된다.
마찬가지로, 도 7(b)를 참조하면, 화소(170)에는 마이크로 렌즈의 광축(미도시)을 중심으로 양측에 포토 다이오드(171, 172)가 배치된다. 화소(170)에는 공통의 리드아웃부(173)가 배치된다.
도 7의 (b)의 화소(170)는 포토 다이오드(171), 리드아웃부(173) 및 전송 신호 라인 T1(165)로 구성되는 전송 트랜지스터(Tr71)를 포함한다. 그리고, 화소(170)는 포토 다이오드(172), 리드아웃부(173) 및 전송 신호 라인TL1(164)로 구성되는 전송 트랜지스터(Tr72)를 포함한다.
리드아웃부(173)로부터 출력부의 증폭 트랜지스터(미도시)까지 배선(176)이 배치된다.
전송 신호 라인 TL1(164)과, 전송 신호 라인 T1(165)은 도 7(a)에 도시된 수평 방향의 위상차 화소(160)에서 사용하는 것과 도 7(b)에 도시된 수직 방향의 위상차 화소(170)에서 사용하는 것이 동일할 수 있다.
본 발명의 일 실시 예에 따라, 도 7(a)의 화소(160) 또는 도 7(b)의 화소(170)를 R열의 위상차 화소로서 사용하는 경우는, 전송 신호 라인 TL1(164)를 OFF로 한다. 이 때 일측의 포토 다이오드(161)와 포토 다이오드(172)의 전하 출력을 금지할 수 있다. 도 7(a)의 화소(160) 또는 도 7(b)의 화소(170)를 L열의 위상차 화소로서 사용하는 경우는 T1(165)을 OFF로 한다. 이 때 타측의 포토 다이오드(162)와 포토 다이오드(171)의 전하 출력을 금지할 수 있다.
본 발명의 일 실시 예에 따르면, 도 7(a)에서 공통의 리드아웃부(163)는, 포토 다이오드(161, 162)의 하단에 배치된 것으로 도시되었으나, 포토 다이오드(161, 162)의 상단에 배치될 수도 있다. 또한, L열과 R열의 위상차 화소로 사용하기 위한 포토 다이오드(161, 162)를 반대로 할 수도 있다. 마찬가지로, 도 7(b)에서 공통의 리드아웃부(173)는 포토 다이오드(171, 172)의 우측에 배치된 것으로 도시되었으나, 포토 다이오드(171, 172)의 좌측에 배치하는 것도 가능하다. 또한, L열과 R열의 위상차 화소로 사용하기 위한 포토 다이오드(171, 172)를 반대로 할 수도 있다.
본 발명의 일 실시예에 따라 도 7(a)의 화소(160) 또는 도 7(b)의 화소(170)를 촬상 화소로서 사용하는 경우는, 전송 신호 라인 TL1(164) 및 T1(165)를 ON으로 해, 포토 다이오드(161, 162) 또는 포토 다이오드(171, 172) 모두의 전하 출력을 가능하게 할 수 있다. 실시 예는 상술한 예로 한정되는 것은 아니다.
도 7에 도시된 본 발명의 실시 형태에 의하면, 어느 쪽의 포토 다이오드 출력을 ON로 할지 임의로 선택 가능하므로, 위상차 화소 구성의 자유도가 향상된다.
도 8은 본 발명의 일 실시예에 따른 수평 및 수직 방향의 위상차 검출이 가능한 촬상 소자(60)의 위상차 화소의 배치의 예를 도시한다.
촬상 소자(60)는 도 5에서 설명한 위상차 화소를 배치한 촬상 소자의 일부일 수 있다.  
도 8에서 원(801)은 마이크로렌즈를 나타내고, 사각형(802)은 포토 다이오드의 개구부를 나타낸다. 촬상 소자(60)는 통상 화소(61)를 포함할 수 있다. 촬상 소자(60)는 수평 방향용 L열 화소(62), 수평 방향용 R열 화소(63), 수직 방향용 L열 화소(64), 수직 방향용 R열 화소(65)를 포함할 수 있다. 촬상 소자(60)는 수평 방향용 L열 화소(62), 수평 방향용 R열 화소(63)를 이용하여 수평 방향의 위상차 검출이 가능하고, 수직 방향용 L열 화소(64), 수직 방향용 R열 화소(65)를 이용하여 수직 방향의 위상차 검출이 가능하다. 촬상 소자(60)의 전화면에 마찬가지의 위상차 화소들을 배치할 수 있다.
여기에서, 수평 방향의 위상차 화소는 수평 방향으로 8화소주기로 배치하고, 수평 방향용 L열 화소(62) 및 R열 화소(63)의 간격은 수직 방향으로 12화소의 간격으로 배치할 수 있다. 이 12화소 간격의 L열과 R열을 세트로 하여 상관 연산을 한다. 예를 들어, 촬상 소자(60)에서 L열 화소(62)를 포함하는 L열과, R열 화소(62)를 포함하는 R열을 세트로 하여 수평 방향의 상관 연산을 할 수 있다. 단, 피사체의 주파수조건이나 디포커스량의 상태에 의해, 수평 방향의 L열 화소와 그 근방의 2개의 통상 화소로부터 가상의 수평 방향 R열 화소를 생성할 수 있다. 그리고 수평 방향의 R열 화소와 근방의 2개의 통상 화소로부터 가상의 수평 방향 L열 화소를 생성할 수 있다. 생성된 각각의 가상의 R열 및 L열 화소를 이용하여 수평 방향의 L열과 R열을 구성해서 상관 연산을 수행할 수도 있다. 이 경우, 12화소의 간격이 있어도 샘플링의 문제는 없다.
마찬가지로, 수직 방향의 위상차 화소는 수직 방향으로 12화소 주기로 배치하고, L열 화소(64) 및 R열 화소(65)는 수평 방향으로 8화소의 간격으로 배치할 수 있다. 8화소 간격의 L열과 R열을 세트로 하여 상관 연산을 수행할 수 있다. 예를 들어, 촬상 소자(60)에서 L열 화소(64)를 포함하는 L열과, R열 화소(65)를 포함하는 R열을 세트로 하여 수직 방향의 상관 연상을 할 수 있다. 수직 방향의 상관 연산도 수평 방향의 연산과 동일하게 가상 화소에 의한 상관 연산을 수행할 수 있다.
도 8에 도시된 바와 같은 촬상 소자(60)를 이용하는 경우, 촬상 소자의 화면의 전역에서 위상차를 가로 및 세로 방향으로 검출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 수평 및 수직 방향으로 위상차 검출이 가능한 촬상 소자(66)의 위상차 화소의 배치의 예를 도시한다
구체적으로, 도 9는 라이브 뷰(Live View) 출력시에 나타나는 촬상 소자(66)의 위상차 화소 배치를 도시한 것이다.
여기에서는 베이어 배열의 촬상 소자에 대하여, 1 Read, 2 Skip 방식으로 읽어내는 것을 전제로 한다. 여기서 1 Read, 2 Skip 방식은 연속하여 배치된 3개의 화소 중, 하나의 화소를 통하여 검출된 값은 이용하고 그 다음에 배치되는 2개의 화소는 이용하지 않는 방식을 말한다. 1 Read, 2 Skip방식으로 읽어 내더라도 베이어 배열이 유지될 수 있다. 위상차 화소의 비율은 도 8에서보다는 증가한다.
도 9의 촬상 소자(66)는 수평 방향용 L열 화소(62), 수평 방향용 R열 화소(63), 수직 방향용 L열 화소(64), 수직 방향용 R열 화소(65)를 포함할 수 있다.
수평 방향의 위상차 화소는 8화소 주기로 배치하고 L열 화소(62) 및 R열 화소(63)의 간격은 4화소의 간격으로 배치한다. 수직 방향의 위상차 화소는 8화소 주기로 배치하고, L열 화소(64) 및 R열 화소(65)의 간격은 4화소의 간격으로 배치한다. 도 8에 도시된 촬상 소자(60)와 마찬가지로 촬상 소자의 화면의 전역에서 위상차를 가로 및 세로 방향으로 검출할 수 있다. 위상차 화소는 전화면에 분포될 수 있다.
도 10은 본 발명의 일 실시예에 따른 수평 및 수직 방향으로 위상차 검출이 가능한 촬상 소자(70)의 위상차 화소 배치를 도시한다.
여기에서는 위상차 화소가 베이어 배열의 G 화소에 배치된 것을 나타낸다. 촬상 소자(70)에서 복수의 사각형으로 도시된 위상차 화소들은 도 6에서 설명한 위상차 화소가 될 수 있다. 촬상 소자(70)는 통상 화소(71), 수평 방향용 위상차 화소, 수직 방향용 위상차 화소를 포함한다.
도 10에 도시된 촬상 소자(70)의 상단에 위치한 수직 방향의 위상차 화소는 2 개의 포토 다이오드(74, 75)를 갖고, 촬상 소자(70)의 하단에 위치한 수평 방향의 위상차 화소는 2 개의 포토 다이오드(72, 73)를 갖는다. 각각의 위상차 화소에서 개구부는 원형으로 도시되었다.
도 10에 도시된 촬상 소자(70)의 하단에 위치한 수평 방향의 위상차 화소는 포토 다이오드(72) 및 포토 다이오드(73)을 포함할 수 있다. 촬상 소자(70)의 수평 방향 위상차 화소는 도 7의 (a)에 도시된 위상차 화소가 될 수 있다. 수평 방향 위상차 화소는 포토 다이오드(72)의 전하 출력을 이용하고, 포토 다이오드(73)의 전하 출력을 금지하면, 수평 방향 L열 화소로 사용될 수 있고, 포토 다이오드(73)의 출력을 이용하고 포토 다이오드(72)의 전하 출력을 금지하면, 수평 방향 R열 화소로 사용될 수 있다.
도 10에 도시된 촬상 소자(70)의 상단에 수직 방향 위상차 화소는 포토 다이오드(74) 및 포토 다이오드(75)을 포함할 수 있다. 촬상 소자(70)의 수직 방향 위상차 화소는 도 7의 (b)에 도시된 위상차 화소일 수 있다. 수직 방향 위상차 화소는 포토 다이오드(74)의 전하 출력을 이용하고, 포토 다이오드(75)의 전하 출력을 금지하면, 수직 방향용 L열 화소로 사용될 수 있고, 포토 다이오드(75)의 출력을 이용하고 포토 다이오드(74)의 전하 출력을 금지하면, 수직 방향 R열 화소로 사용될 수 있다.
도 11은 본 발명의 일 실시예에 따른 수평 및 수직 방향으로 위상차 검출이 가능한 촬상 소자(80)의 위상차 화소 배치를 도시한다.
여기에서는 위상차 화소 베이어 배열의 모든 화소에 4 분할 포토 다이오드(81,82,83,84) 를 배치한다. 수평 방향의 L열 화소는 포토 다이오드(81) 및 포토 다이오드(83)의 합으로 구성하고, 수평 방향의 R열 화소는 포토 다이오드(82) 및 포토 다이오드(84)의 합으로 구성할 수 있다. 예를 들어, 포토 다이오드(82) 및 포토 다이오드(84)의 전하 출력을 금지하고, 포토 다이오드(81) 및 포토 다이오드(83)의 전하 출력을 이용하는 경우에는, 수평 방향의 L열 화소로 사용될 수 있다. 포토 다이오드(82) 및 포토 다이오드(84)의 전하 출력을 이용하고, 포토 다이오드(81) 및 포토 다이오드(83)의 전하 출력을 이용하지 않는 경우, 수평 방향의 R열 화소로 사용될 수 있다.
마찬가지로, 수직 방향의 L열 화소는 포토 다이오드(83) 및 포토 다이오드(84)의 합으로 구성할 수 있고, 수직 방향의 R열 화소는 포토 다이오드(81) 및 포토 다이오드(82)의 합으로 구성될 수 있다.
위상차 화소가 배치된 위치에 따라 수평 또는 수직 방향의 위상차 화소로 선택하여 사용할 수 있다. 수평 및 수직 혼합 영역도 임의로 설정할 수 있다. 4 개의 포토 다이오드를 독립적으로 출력시켜 연산을 수행하면 수평 또는 수직 방향의 위상차 화소로 동시에 사용하는 것이 가능하다.
도 12는 도 11에 도시된 4 분할 포토 다이오드에 의한 위상차 화소의 회로 구성을 나타낸 평면도이다.
화소(180)에는 마이크로렌즈(미도시)의 광축을 중심으로 포토 다이오드 (181, 182, 183, 184)가 배치된다. 포토 다이오드(181, 182, 183, 184)의 중앙에 공통의 리드아웃부(185)가 배치된다. 화소(180)는 포토 다이오드(181)와 리드아웃부(185) 및 전송 신호 라인 PX(186)으로 구성되는 전송 트랜지스터(Tr81)를 포함한다. 그리고, 화소(180)는 포토 다이오드(182), 리드아웃부(185), 전송 신호 라인 TU1(188)로 구성되는 전송 트랜지스터(Tr82), 포토 다이오드(183), 리드아웃부(185), 전송 신호 라인 PY(187)으로 구성되는 전송 트랜지스터(Tr83), 포토 다이오드(184), 리드아웃부(185), 전송 신호 라인 TD1(189)으로 구성되는 전송 트랜지스터(Tr84)를 포함한다. 리드아웃부(185)로부터 증폭 트랜지스터(Tr85)까지 전하 출력 라인(190)이 배치된다.
전송 신호 라인 PX(186)을 통하여 포토 다이오드(181)를 선택하는 것, 전송 신호 라인 TU1(188)을 통하여 포토 다이오드(182)를 선택하는 것, 전송 신호 라인 PY(187)을 통하여 포토 다이오드(183)를 선택하는 것, 전송 신호 라인 TD1(189)을 통하여 포토 다이오드(184)를 선택하는 것에 의해, 위상차 화소 출력을 제어하는 것이 가능하다.
전하 출력 라인(190)은 접속되고, 증폭 트랜지스터(Tr85)에 접속되고, 그 전에는 화상 신호 리드아웃라인 LV(194)을 사이에 두고 화소 리드아웃 선택 트랜지스터(Tr86)가 배치된다. 증폭된 신호는 화소 리드아웃 선택 트랜지스터(Tr86)의 단자(192)로부터 출력 라인 LV(194)에 접속되어 출력된다. 그리고 출력 라인 LV(194)의 단자(191)와 리셋 라인 RS(195)을 사이에 두고 리셋 트랜지스터(Tr87)가 배치된다. 포토 다이오드 (181, 182, 183, 184)가 공통 출력 라인의 리드아웃부(185)로부터의 리셋 신호에 따라서 동시에 전하 리셋된다.
4 개의 전송 신호 라인을 제어함으로써 위상차 화소를, 수평 방향의 위상차 화소로 할지, 수직 방향의 위상차 화소로 할지, 통상 화소로 할지를 선택할 수 있다. 구체적으로, 전송 신호 라인 PX(186)의 제어 신호에 의해, 포토 다이오드(181)의 출력이 제어되고, 전송 신호 라인 PY(187)의 제어 신호에 의해, 포토 다이오드(183)의 출력이 제어될 수 있다. 전송 신호 라인 PX(186) 및 전송 신호 라인 PY(187)가 동시에 ON이되면 수평 방향 L열 위상차 화소로 기능한다. 전송 신호 라인 PX(186) 및 전송 신호 라인 PY(187)가 OFF이고, 전송 신호 라인 TU1(188) 및 전송 신호 라인 TD1(189)이 ON이 되면 수평 방향 R열 위상차 화소로 기능한다. 그리고 전송 신호 라인 PX(186), 전송 신호 라인 TU1(188)이 OFF이고, 전송 신호 라인 PY(187), 전송 신호 라인 TD1(189)이 ON이 되면 수직 방향 L열 위상차 화소로서 기능한다. 전송 신호 라인 PX(186), 전송 신호 라인 TU1(188)이 ON이고, 전송 신호 라인 PY(187), 전송 신호 라인 TD1(189)이 OFF가 되면 수직 방향 R열 위상차 화소로서 기능한다. 전송 신호 라인 PX(186), 전송 신호 라인 TU1(188), 전송 신호 라인 PY(187), 전송 신호 라인 TD1(189)이 모두 ON이 되면 통상 화소로서 기능한다. 한편, 전송 신호 라인을 제어하는 것은, 촬상 소자를 제어하는 리드아웃 회로의 구동 회로 또는 타이밍 제어 회로가 될 수 있다.
도 13은 본 발명의 일 실시예에 따른 위상차 화소가 배치된 촬상 소자의 전체를 도시한다.
촬상 소자(200)의 전체에 수평, 수직 방향의 검출이 가능한 위상차 화소가 배치된다. 촬상 소자(200)는 수평 및 수직 방향의 위상차 검출이 가능한 크로스 위상차 포커스 영역(201)과, 수평 방향만의 검출이 가능한 수평 위상차 포커스 영역(202)과, 수직 방향만의 검출이 가능한 수직 위상차 포커스 영역(203)과, 위상차 검출을 하지만 포커스 영역으로 설정할 수 없는 영역(204)을 포함한다.
도 4, 5와 관련하여 설명한 바와 같이 화면전역에 포커스 영역을 설정할 수는 없다. 도 13의 수평 위상차 포커스 영역 범위(205)에서 수평 방향의 위상차 검출이 가능하다. 그러나 카메라에서는 될 수 있는 한 넓은 영역에서 포커스 영역으로서 설정하는 것이 기대된다. 따라서, 수평 방향 위상차 검출을 위해 수평 위상차 포커스 영역으로서 설정할 수 없는 범위(206)를 수직 전용의 포커스 영역으로 설정한다. 이것이 수직 위상차 포커스 영역(203)이다. 도 13에서는 수직 위상차 포커스 영역(203)이 크로스 위상차 포커스 영역(201)의 좌우로 배치된 것으로 도시되었다.
마찬가지로 도 13에서 수직 위상차 포커스 영역 범위(207)에서 수직 방향의 위상차 검출이 가능하다. 따라서, 수직 방향 위상차 검출을 위해 수직 위상차 포커스 영역으로서 설정할 수 없는 범위(208)를 수직전용의 포커스 영역으로 설정한다. 이것이 수평 위상차 포커스 영역(202)이다. 도 13에서는 수평 위상차 포커스 영역(202)이 크로스 위상차 포커스 영역(201)의 상하로 배치된 것으로 도시되었다.
도 14는 본 발명의 일 실시예에 따른 위상차 화소를 배치한 촬상 소자의 전체의 다른 예를 도시한다.
수평 및 수직 방향의 위상차 검출의 포커스 영역이 도 13에서와 상이하게 설정된 부분만 설명한다. 도 13에서는 위상차 상관 연산만으로 포커스 영역이 결정될 수 있다. 그러나, 촬영 렌즈의 조건에 따라, 위상차 검출에 있어서, L열과 R열의 광량 밸런스가 크게 무너질 경우가 있다. 특히 촬영 렌즈의 동공 위치가 촬상 소자에 너무 가깝거나, 지나치게 멀거나 하면, 광량 밸런스를 보정하는 것이 어려워진다. 거기에서 광량 밸런스 보정, 셰이딩 보정 또는 비네팅 (vignetting) 보정 등을 해도 위상차 검출이 되지 않는 영역이 발생한다.
이 촬영 렌즈의 조건은 촬영 렌즈의 광축 중심에서의 거리로 결정된다. 위상차 검출의 방향은 광축 중심에서의 수직한 방향의 위상차 검출이 광량 밸런스를 깨뜨리는 것이 적다. 광축 중심에서 수평 방향으로 떨어진 위치에서는 수직 방향의 위상차 검출, 광축 중심에서 수직 방향으로 떨어진 위치에서는 수평 방향의 위상차 검출을 배치한다. 즉, 범위(205)에서 수평 방향의 위상차를 검출할 수 있다. 범위(205)를 넘는 수평 범위를 수직 방향 위상차 검출 범위(206)로 한다. 수직 방향도 마찬가지이다. 수평 및 수직 방향으로 위상차 검출이 가능한 영역이 크로스 영역이 되고, 수평 방향 및 수직 방향으로 길이가 동일하다. 그 영역이 크로스의 포커스 영역(201)이 된다. 마찬가지로, 도 14에서는 수직 위상차 포커스 영역(203)이 크로스 위상차 포커스 영역(201)의 좌우로 배치된 것으로 도시되었고, 수평 위상차 포커스 영역(202)이 크로스 위상차 포커스 영역(201)의 상하로 배치된 것으로 도시되었다.
도 15는 도 13의 수직 및 수평 위상차 검출 조건을 충족하는 전체 멀티 포커스 영역(210)을 도시한다.
크로스 위상차 포커스 영역(211)은 45개 블록으로 구성되고, 수평 위상차 포커스 영역(212)은 18개 블록으로 구성되고, 수직 위상차 포커스 영역(213)은 10개 블록으로 구성된다. 전체 멀티 포커스 영역(210)은 위상차 검출은 가능하지만 포커스 영역으로 설정할 수 없는 영역(214)을 포함한다.
도 16은 본 발명의 일 실시예에 따른 전체 멀티 포커스 영역을 세분화한 것을 도시한다.
도 16을 참조하면, 임의의 영역의 크기를 설정할 수 있고, 전체 멀티 포커스 영역을 세분화한 스몰 멀티 포커스 영역의 이동이 가능하다. 5X5의 스몰 멀티 포커스 영역(221)은 스몰 멀티 포커스 영역(222)으로 이동이 가능하다. 이동전 스몰 멀티 포커스 영역(221) 전체에서 크로스 위상차 검출이 가능했다. 그러나 도 16에 도시된 바와 같이, 스몰 멀티 포커스 영역(222)으로 이동된 경우, 스몰 멀티 포커스 영역(222)의 상부 가장자리 부분 영역(223)을 수평 방향 위상차 영역으로 설정한다. 그 이유는 도 13에서 전술한 바와 같은 이유이다.
도 17은 본 발명의 일 실시예에 따른 전체 멀티 포커스 영역을 세분화한 스몰 멀티 포커스 영역의 예를 도시한다.
소형 사이즈의 블록으로 구성된 19X11의 전체 멀티 포커스 영역(230) 내에 7X5의 스몰 멀티 포커스 영역(231)을 설정한다. 초점이 맞은 영역에는 합초 표시(232)를 한다.
최초에 카메라로 주피사체를 선택할 때는 도 15의 일반 사이즈의 블록으로 구성된 11X7의 전체 멀티 포커스 영역을 사용해서 77개 영역으로부터 주피사체를 선택하고, 일단 주피사체를 선택하면 도 17의 소형 사이즈의 블록으로 구성된 19X11의 전체 멀티 포커스 영역으로 전환한다.
여기서는, 도 15에 도시된 바와 같이 최초에 설정된 전체 멀티 포커스 영역을 11X7으로 나눈 블록의 사이즈를 일반 사이즈라고 하고, 주피사체가 선택된 후에, 최초에 설정된 11X7의 블록보다 더 작은 사이즈인 블록을 소형 사이즈라고 칭한다.
일반 사이즈 블록에서 선택한 주피사체의 위치를 중심으로 새롭게 7X5의 스몰 멀티 포커스 영역(231)을 설정한다.
일반 사이즈 블록으로 구성된 영역에서 스몰 멀티 포커스 영역(231)을 설정하는 것에 의해, 포커스 검출 연산을 처음에는 77회(일반 사이즈의 전체 멀티 포커스 영역의 블록 개수), 주피사체 검출 후에는 35회(소형 사이즈 블록의 스몰 멀티 포커스 영역의 블록 개수) 하게 된다. 209회(소형 사이즈 블록의 전체 멀티 포커스 영역의 블록 개수)의 연산을 할 필요가 없기 때문에, 신호 처리 회로의 연산 처리 회로 부담을 줄이고, AF 시간을 단축하는 것이 가능해진다.
스몰 멀티 포커스 영역(231)을 설정한 후는, 주피사체 판정은 불필요하고, 주피사체 추종 알고리즘을 동작시키는 것만으로 족하다.
 한편, 여기에서 주피사체 판정 알고리즘은 배율 정보 등을 이용하고, 화면 중앙에 우선하거나, 최근 피사체에 우선하여 주피사체 판정을 하는 알고리즘이다. 일 실시예에서, 주피사체는 가장 가운데 위치한 사람일 수도 있고, 중앙에 위치된 사물이 될 수도 있다. 주피사체 추종 알고리즘은 전회의 주피사체의 핀트 위치, 차이량에 가장 가까운 피사체를 선택하는 알고리즘이다.
촬상 소자의 네 모서리 부분은 도 13에서 전술한 바와 마찬가지로 포커스 검출 영역으로 설정하지 않는다.
도 18은 도 17의 스몰 멀티 포커스 영역을 이용한 AF 과정에 관한 순서도를 나타낸다.
메인 스위치가 ON이 되면, 카메라는 부팅을 시작하고, 라이브 뷰(live view)가 동작한다. S101에서, 카메라는 라이브 뷰 표시와 동시에 촬상 소자 이미지 정보를 입력 받는다.
그리고, S102에서 카메라는 11X7 일반 사이즈 블록의 전체 멀티 포커스 영역의 각 블록에서 포커스 검출 연산을 한다.
S103에서 카메라는 일반 사이즈 블록의 주피사체 판정 알고리즘을 동작시켜, 주피사체 위치를 판정한다.
S104에서 카메라는 주피사체 위치를 저장한다.
S105에서 카메라는 셔터 버튼을 반 누른 신호인 S1 신호가 ON 되는 것을 검출한다. S1 신호가 ON 되지 않으면, S101으로 진행된다. S1이 ON 되면 S106으로 진행되어, 전체 멀티 포커스 영역을 스몰 멀티 포커스 영역으로 전환한다.
다음으로 S107에서, 카메라는 S104에서 저장한 주피사체 위치를 중심으로 스몰 멀티 포커스 영역의 위치를 설정한다.
그리고 S108에서 카메라는 소형 사이즈 블록의 주피사체 추종 알고리즘을 동작시킨다. 소형 사이즈 블록의 스몰 멀티 포커스 영역에 주피사체 위치가 갱신되면, S109에서 카메라는 갱신된 주피사체 위치에 렌즈를 구동한다.
S110에서 카메라는 렌즈 구동이 종료될 때까지 기다린다.
구동이 종료되면 S111에서 카메라가 합초 확인의 포커스 검출 연산을 하고, 합초 영역을 확인한다.
S112에서 카메라는 합초 영역의 합초 표시를 한 후, AF 과정은 종료된다.

Claims (5)

  1. 결상(結像)된 화상을 수광하는 2차원 배열로 구성된 화소들을 포함하는 촬상 소자에 있어서,
    수평 방향의 위상차를 검출 가능한 화소들로부터 획득한 수평 위상차 정보에 근거하여, 수평 방향의 위상차 검출을 하는 제 1 영역;
    수직 방향의 위상차를 검출 가능한 화소들로부터 획득한 수직 위상차 정보에 근거하여, 수직 방향의 위상차 검출을 하는 제 2 영역; 및
    상기 수평 방향의 위상차 및 상기 수직 방향의 위상차를 검출 가능한 화소들로부터 획득한 수평 위상차 정보 및 수직 위상차 정보에 근거하여 수평 방향의 위상차 검출 및 수직 방향의 위상차 검출을 하는 제 3 영역을 포함하고,
    상기 제 1 영역은 상기 제 3 영역의 상기 수평 방향으로 형성된 경계선에 인접하고,
    상기 제 2 영역은 상기 제 3 영역의 상기 수직 방향으로 형성된 경계선에 인접하고,
    상기 제 3 영역은 촬상 소자의 중앙에 위치하고,
    상기 2차원 배열로 구성된 화소들 각각은 복수의 포토 다이오드를 포함하고,
    상기 복수의 화소들 각각은, 상기 복수의 포토 다이오드 중 일 측의 일부 포토 다이오드를 턴 온하고 나머지 포토 다이오드를 턴 오프함에 의해 위상차 검출을 위한 화소로 이용되어 위상차 검출 신호를 출력하고, 상기 복수의 포토 다이오드를 모두 턴 온함에 의해 촬상 화소로 이용되어 촬상 신호를 출력하는, 촬상 소자.
  2. 제 1 항에 있어서,
    상기 제 3 영역에는, 수평 방향의 위상차를 검출 가능한 수평 위상차 화소들 및 수직 방향의 위상차를 검출 가능한 수직 위상차 화소들이 배치되는, 촬상 소자.
  3. 제 1 항에 있어서,
    상기 촬상 소자의 전 영역에, 수평 방향의 위상차를 검출 가능한 수평 위상차 화소들 및 수직 방향의 위상차를 검출 가능한 수직 위상차 화소들이 배치되고, 수평 방향의 상관 연산 또는 수직 방향의 상관 연산의 가능여부에 근거하여 제 1 영역, 제 2 영역, 제 3 영역이 설정되는, 촬상 소자.
  4. 제 1 항에 있어서,
    수평 방향의 위상차를 검출 가능한 수평 위상차 화소 및 수직 방향의 위상차를 검출 가능한 수직 위상차 화소는 동일 화소에서 구현되는, 촬상 소자.
  5. 제 4 항에 있어서,
    상기 수평 위상차 화소 및 상기 수직 위상차 화소 각각은 4 개의 포토 다이오드를 포함하는, 촬상 소자.
KR1020140100698A 2014-08-05 2014-08-05 위상차 포커스 검출 가능한 촬상소자 KR102269600B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140100698A KR102269600B1 (ko) 2014-08-05 2014-08-05 위상차 포커스 검출 가능한 촬상소자
US14/600,426 US9538067B2 (en) 2014-08-05 2015-01-20 Imaging sensor capable of detecting phase difference of focus
PCT/KR2015/000544 WO2016021790A1 (en) 2014-08-05 2015-01-20 Imaging sensor capable of detecting phase difference of focus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140100698A KR102269600B1 (ko) 2014-08-05 2014-08-05 위상차 포커스 검출 가능한 촬상소자

Publications (2)

Publication Number Publication Date
KR20160016466A KR20160016466A (ko) 2016-02-15
KR102269600B1 true KR102269600B1 (ko) 2021-06-25

Family

ID=55264030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140100698A KR102269600B1 (ko) 2014-08-05 2014-08-05 위상차 포커스 검출 가능한 촬상소자

Country Status (3)

Country Link
US (1) US9538067B2 (ko)
KR (1) KR102269600B1 (ko)
WO (1) WO2016021790A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
KR102283423B1 (ko) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
KR102569388B1 (ko) 2016-06-21 2023-08-24 에스케이하이닉스 주식회사 위상 차 검출부들을 가진 이미지 센서
US10440301B2 (en) * 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
JP7427370B2 (ja) * 2019-05-17 2024-02-05 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
JP7336958B2 (ja) 2019-10-21 2023-09-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
KR20220105850A (ko) 2021-01-21 2022-07-28 에스케이하이닉스 주식회사 이미지 센싱 장치
EP4270934A1 (en) * 2021-02-10 2023-11-01 Samsung Electronics Co., Ltd. Electronic device comprising image sensor and method of operating same
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
KR20230006343A (ko) * 2021-07-02 2023-01-10 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120147238A1 (en) 2010-12-10 2012-06-14 Sony Corporation Imaging device and imaging apparatus
JP5095519B2 (ja) 2008-06-24 2012-12-12 三星電子株式会社 撮像装置及び撮像方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5045125B2 (ja) * 2006-03-15 2012-10-10 株式会社ニコン 被写体追尾装置および光学機器
WO2008001575A1 (fr) * 2006-06-28 2008-01-03 Nikon Corporation Dispositif de localisation, dispositif de mise au point automatique et appareil photographique
JP2012003080A (ja) 2010-06-17 2012-01-05 Olympus Corp 撮像装置
WO2012127699A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
JP5468178B2 (ja) * 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN103403599B (zh) * 2011-03-31 2015-09-02 富士胶片株式会社 摄像装置及其对焦控制方法
KR101853817B1 (ko) * 2011-07-20 2018-05-02 삼성전자주식회사 촬상 소자
KR101773168B1 (ko) * 2011-07-21 2017-09-12 삼성전자주식회사 위상차이 촬상 소자에 의한 초점 조절 장치 및 방법
KR20130038035A (ko) 2011-10-07 2013-04-17 삼성전자주식회사 촬상소자
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
KR101487516B1 (ko) * 2012-09-28 2015-01-30 주식회사 팬택 연속 자동 초점을 이용한 멀티 초점 이미지 캡처 장치 및 방법
JP6263035B2 (ja) * 2013-05-17 2018-01-17 キヤノン株式会社 撮像装置
JP6124717B2 (ja) * 2013-07-16 2017-05-10 オリンパス株式会社 撮像素子、焦点検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5095519B2 (ja) 2008-06-24 2012-12-12 三星電子株式会社 撮像装置及び撮像方法
US20120147238A1 (en) 2010-12-10 2012-06-14 Sony Corporation Imaging device and imaging apparatus

Also Published As

Publication number Publication date
US20160044229A1 (en) 2016-02-11
US9538067B2 (en) 2017-01-03
KR20160016466A (ko) 2016-02-15
WO2016021790A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
KR102269600B1 (ko) 위상차 포커스 검출 가능한 촬상소자
US8823858B2 (en) Imaging apparatus
KR102121531B1 (ko) 초점검출 가능한 이미지 센서 제어장치 및 방법.
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
US8786676B2 (en) Imaging device for generating stereoscopic image
US20130222553A1 (en) Image pickup device and image pickup apparatus
JP5361535B2 (ja) 撮像装置
JP5493011B2 (ja) 撮像装置及びその合焦位置検出方法
US9197827B2 (en) Imaging device and imaging method
US8994794B2 (en) Imaging apparatus
WO2013046973A1 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
US9554029B2 (en) Imaging apparatus and focus control method
US9270879B2 (en) Imaging sensor capable of phase difference focus detection
CN102318335A (zh) 摄像设备
US20140211076A1 (en) Image capturing apparatus and method for calculating sensitivity ratio of phase difference pixel
CN103843318A (zh) 摄像设备及其控制方法
US9071828B2 (en) Imaging apparatus
WO2013069445A1 (ja) 立体撮像装置及び画像処理方法
JP5329348B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP6482247B2 (ja) 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
CN106993110B (zh) 摄像设备及其控制方法
JP2014206709A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant