KR20170067634A - 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법 - Google Patents

Abstract

일 개시에 의하여, 위상차 검출 방식에 의해 자동으로 초점을 검출하는 촬영 장치를 제공하며, 일 개시에 따른 장치는 복수의 위상차 픽셀을 포함하고, 피사체의 영상을 획득하는 이미지 센서, 복수의 위상차 픽셀의 출력 신호를 기초로 상기 영상의 초점을 검출하는 초점 검출부, 복수의 위상차 픽셀의 출력 신호를 가산하는 가산 처리부 및 검출된 초점에 대한 정보 및 획득된 피사체의 영상에 대한 정보를 기초로 가산 처리부에서 가산되는 위상차 픽셀의 가산 범위를 설정하는 제어부를 포함할 수 있다.

Description

촬영 장치 및 촬영 장치를 이용한 초점 검출 방법{Image capturing apparatus and method for controlling a focus detection}

다양한 실시예들은 촬영 장치 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 위상차 검출 방식에 의해 자동으로 초점을 검출하는 촬영 장치에 관한 것이다.

피사체를 촬영하는 촬영 장치에는, 피사체에 자동적으로 핀트를 맞추는 오토 포커스(이하, AF라고 칭한다) 기능이 넓게 탑재되고 있다. AF기능의 일반적인 실현 방법은 촬영 렌즈를 통해 온 피사체 광을 CCD 등으로 수광하는 TTL(Through The Lens) 방식을 이용한 방법으로, 촬영 렌즈를 광축 방향으로 이동시키면서 피사체 광의 콘트라스트를 반복해 검출해, 그 콘트라스트가 가장 커질 때의 렌즈 위치를 합초위치와 결정하는 방법이다. 촬영 장치에 AF기능을 탑재함으로써, 초심자라도 간편하게, 피사체에 초점이 맞은 고화질의 촬영 화상을 취득할 수 있다.

그러나, 기존의 PAF 방식에서는, 저조도 또는 피사체의 움직임 등과 같은 상황에서 정확도 높은 AF를 검출하기 어려운 경우가 발생할 수 있다.

다양한 실시예들은, 복수의 위상차 픽셀을 통해 검출된 초점에 대한 정보 및 피사체의 영상을 분석한 정보로부터 위상차 픽셀의 가산 범위를 설정함으로써 최종적으로 신뢰도 높은 초점을 검출할 수 있는 촬영 장치 및 그 동작 방법을 제공할 수 있다.

일 개시에 의하여, 위상차 검출 방식에 의해 자동으로 초점을 검출하는 촬영 장치를 제공하며, 일 개시에 따른 장치는 복수의 위상차 픽셀을 포함하고, 피사체의 영상을 획득하는 이미지 센서, 복수의 위상차 픽셀의 출력 신호를 기초로 상기 영상의 초점을 검출하는 초점 검출부, 복수의 위상차 픽셀의 출력 신호를 가산하는 가산 처리부 및 검출된 초점에 대한 정보 및 획득된 피사체의 영상에 대한 정보를 기초로 가산 처리부에서 가산되는 위상차 픽셀의 가산 범위를 설정하는 제어부를 포함할 수 있다.

일 개시에 의하여, 위상차 검출 방식에 의해 자동으로 초점을 검출하는 방법을 제공하며, 일 개시에 의한 방법은 복수의 위상차 픽셀을 포함하는 이미지 센서로부터 피사체의 영상을 획득하는 단계, 복수의 위상차 픽셀의 출력 신호를 기초로 영상의 초점을 검출하는 단계, 검출된 초점에 대한 정보 및 획득된 피사체의 영상에 대한 정보를 기초로 위상차 픽셀의 가산 범위를 설정하는 단계 및 복수의 위상차 픽셀의 출력 신호를 가산하는 단계를 포함할 수 있다.

일 개시에 의하여 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.

일 실시예에 따라, 피사체의 영상에 따라 가산 픽셀 범위를 제어함으로써, 초점 검출의 신뢰도를 향상시킬 수 있다.

일 실시예에 따라, 기본 초점을 검출한 정보를 바탕으로 최종 초점을 검출함으로써 초점 검출의 정확도를 증가시킬 수 있다.

일 실시예에 따라, 픽셀 가산을 제어함으로써 노이즈를 개선시킨 화상 신호를 출력할 수 있다.

도 1은 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다 .
도 2는 일 실시예에 따른 촬영 장치의 구성을 구체적으로 나타내는 기능적 블록도이다.
도 3은 일 실시예에 의한 위상차 검출 방식에 의해 자동으로 초점을 검출하는 방법을 나타내는 흐름도이다.
도 4a 및 도 4b는 일 실시예에 의한 위상차 검출 픽셀의 평면도이다.
도 5a 및 도 5b는 일 실시예에 의한 위상차 검출 픽셀 및 이미지 검출 픽셀을 포함하는 이미지 센서의 픽셀 어레이를 나타낸 도면이다.
도 6은 일 실시예예 의한, 두 개의 픽셀을 이용하여 위상차 신호를 검출하는 위상차 픽셀을 나타내는 도면이다.
도 7은 일 실시예에 의하여, 이미지 센서의 일부 구성을 나타내는 평면도이다.
도 8은 일 실시예에 의하여, 촬영 장치가 PAF 신뢰도 값을 이용하여 위상차 픽셀의 가산범위를 제어하는 흐름도이다.
도 9는 일 실시예에 의하여, 촬영 장치가 PAF 신뢰도 값을 통해 초점 검출 여부를 판단하는 일례를 나타낸 도면이다.
도 10은 일 실시예에 의하여 촬영 장치가 영상 정보 분석값에 기초하여 위상차 픽셀의 가산 범위를 제어하는 흐름도이다.
도 11 및 도 12는 일 실시예에 의하여, 촬영 장치가 영상 정보 분석값에 기초하여 위상차 픽셀의 가산 범위를 제어하는 것을 나타낸 도면이다.
도 13은 일 실시예에 의하여 촬영 장치가 영상 정보 분석값에 기초하여 관심 영역(ROI)의 크기를 제어하는 흐름도이다.
도 14는 일 실시예에 의하여, 피사체의 영상에 기초하여 관심 영역(ROI)의 크기를 제어하는 것을 나타낸 도면이다.
도 15는 일 실시예에 의하여 촬영 장치가 피사체의 동작 정보 분석값에 기초하여 위상차 픽셀의 가산 범위를 제어하는 흐름도이다.
도 16의 (a) 및 (b)는 일 실시예에 의하여, 피사체의 움직임이 검출되는 경우 위상차 픽셀 가산 범위를 제어하기 위한 예를 나타내는 도면이다.
도 17은 일 실시예에 의하여, 촬영 장치가 이중으로 초점을 검출하는 방법을 나타내는 흐름도이다.
도 18a 및 도 18b는 일 실시예에 의하여, 위상차 픽셀의 출력 신호를 가산하는 것을 설명하기 위한 실시도면이다.
도 19a 및 도 19b는 일 실시예에 의하여, 가중치를 부가한 위상차 픽셀의 출력 신호를 가산하는 것을 설명하기 위한 실시도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서 PAF는 위상 검출 자동 초점(phase detection auto focus) 또는 위상 차이 자동 초점(phase difference auto focus)을 의미할 수도 있다.

도 1은 일 실시예에 따른 촬영 장치의 구성을 나타내는 블록도이다 .

도 1을 참조하면, 촬영 장치(100)는 렌즈(111), 렌즈 구동부(112), 조리개(113), 조리개 구동부(115), 이미지 센서(116), 가산 처리부(117), 초점 검출부(118), 영상 처리부(119) 및 제어부(120)를 포함할 수 있다.

또한, 촬영 장치(100)는 정지 영상을 촬영하는 디지털 스틸 카메라나 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다. 또한, 촬영 장치(100)는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라 또는 스마트 폰이 포함될 수 있다. 다만, 이에 한정되는 것은 아니며 일 실시예에 따른 촬영 장치(100)는 렌즈 및 촬상소자를 포함하여 피사체를 촬영하고 이미지를 생성할 수 있는 복수의 카메라 모듈을 탑재한, 장치를 포함할 수 있다.

렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(111)는 렌즈 구동부(112)에 의해 그 위치가 조절될 수 있다. 렌즈 구동부(112)는 제어부(120)에서 제공된 제어 신호에 따라 렌즈(111)의 위치를 조절할 수 있다. 렌즈 구동부(112)는 렌즈(111)의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행할 수 있다. 복수의 위상차 픽셀은 렌즈(111)를 공유할 수 있다.

조리개(113)는 조리개 구동부(115)에 의해 그 개폐 정도가 조절되며, 이미지 센서(116)로 입사되는 광량을 조절할 수 있다.

렌즈(111) 및 조리개(113)를 투과한 광학 신호는 이미지 센서(116)의 수광면에 이르러 피사체의 상을 결상한다. 이미지 센서(116)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지 센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 이미지 센서(116)는 제어부(120)에 의해 감도 등이 조절될 수 있다. 제어부(120)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 이미지 센서(116)를 제어할 수 있다.

가산 처리부(117)는 복수의 위상차 픽셀의 출력 신호를 가산할 수 있다. 가산 처리부(117)는 초점 검출의 신뢰도를 향상시키기 위하여, 초점 검출을 위해 필요한 픽셀의 범위만큼 출력 신호를 가산할 수 있다.

초점 검출부(118)는 복수의 위상차 픽셀의 출력 신호를 기초로 영상의 초점을 검출할 수 있다. 또한, 초점 검출부(118)는 초점 검출부(118)는 위상차 픽셀(제 1광전 변환소자 및 제 2 광전 변환 소자를 포함함)로부터 각각 개별적으로 출력된 화상 신호를 수신할 수 있다. 초점 검출부(118)는 위상차 픽셀의 출력 신호를 이용하여 상관 연산을 수행함으로써 상편차량을 산출할 수 있다. 또한, 초점 검출부(118)는 상관 연산 값(SAD)이 최소인 픽셀 시프트량으로서의 디스패리티를 구할 수 있다, 또한, 초점 검출부(118)는 검출한 상편차량에 기초하여 디포커스량을 산출할 수 있다.

초점 검출부(118)는 우선적으로 제 1초점을 검출한 뒤에, 가산된 위상차 픽셀의 출력 신호를 기초로 제 2초점을 검출할 수 있다.

영상 처리부(119)는 이미지 센서(116)로부터 출력된 신호를 이용하여 영상 신호 처리를 수행할 수 있다. 영상 처리부(119)는 아날로그 신호 처리부 및 이미지 신호 처리부를 포함할 수 있다.

아날로그 신호 처리부는 이미지 센서(116)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

이미지 신호 처리부는 아날로그 신호 처리부에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부일 수 있다. 예를 들면, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.

또한, 이미지 신호 처리부는 이미지 센서(116)에서 생성된 촬상 신호로부터 동영상 파일을 생성할 수 있다. 상기 촬상 신호는 이미지 센서(116)에서 생성되고, 아날로그 신호 처리부에 의해 처리된 신호일 수 있다. 이미지 신호 처리부는 촬상 신호로부터 동영상 파일에 포함될 프레임들을 생성하고, 상기 프레임들을 예를 들면, MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 코딩되어, 동영상 압축된 후, 압축된 동영상을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다. 이미지 신호 처리부는 생성된 제 1 영상을 제어부(120)로 출력할 수 있다.

또한, 이미지 신호 처리부는 입력된 영상 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 수행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 수행할 수 있다. 이미지 신호 처리부는 디스플레이부에 영상 데이터를 디스플레이하기 위한 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 생성 및 영상의 합성 처리 등을 수행할 수 있다.

초점 검출부(118)는PAF 신뢰도(Phase detection Auto Focus reliability) 값을 이용하여 제 1초점에 대한 정보를 획득할 수 있다. 이에 따라, 제어부(120)는 제 1초점에 대한 정보를 기초로 위상차 픽셀의 가산 범위를 설정하고, 초점 검출부(118)는 가산된 위상차 픽셀의 출력 신호를 기초로 제 2초점을 검출할 수 있다.

또한, 제어부(120)는 PAF 신뢰도 값이 미리 결정된 PAF 신뢰도 범위를 벗어나는 경우, 위상차 픽셀의 가산 범위를 변경시킬 수 있다.

또한, PAF 신뢰도 값은, 위상 검출 자동 초점(phase detection auto focus) 값, 위상 차이 자동 초점(phase difference auto focus) 값, 위상 검출 자동 초점 신호 레벨(phase detection auto focus signal level) 값, SAD(Sum of Absolute Difference)값, SSD(Sum of Squared Difference)값, 반복 패턴(repeat pattern)값, AF 신뢰도 (AF reliability) 값, 디포커스 평균(Decocus amount)값 중 적어도 어느 하나일 수 있다.

또한, 제어부(120)는 SAD값으로부터 디스패리티(disparity)를 계산하고, 디스패리티가 0보다 크거나 작은 경우 디스패리티에 기초하여 위상차 픽셀의 가산 범위를 설정할 수 있다.

또한, 제어부(120)는 SAD값을 기초로 상관 연산 그래프의 곡률(curvature)을 계산하고, 상관 연산 그래프의 곡률이 제 1 곡률보다 작은 경우 위상차 픽셀의 가산 범위를 증가시키고, 상관 연산 그래프의 곡률이 제 2곡률보다 큰 경우 위상차 픽셀의 가산 범위를 감소시킬 수 있다.

또한, 제어부(120)는 SAD값을 기초로 상관 연산 그래프의 최소값을 계산하고, 상관 연산 그래프의 최소값이 제 1최소값보다 작은 경우 위상차 픽셀의 가산 범위를 감소시키고, 상관 연산 그래프의 최소값이 제 2 최소값보다 큰 경우 위상차 픽셀의 가산 범위를 감소시킬 수 있다.

또한, 제어부(120)는 피사체의 영상에 대한 정보 분석값을 산출하고, 피사체의 영상에 대한 정보 분석값이 미리 결정된 분석값 범위를 벗어나는 경우, 위상차 픽셀의 가산 범위를 변경시킬 수 있다.

또한, 피사체의 영상에 대한 정보 분석값은, 피사체의 얼굴 검출값, 피사체의 동작 검출값, 피사체가 화면에서 차지하는 비율, 피사체의 OCR(Optical Character Recognition) 분석값, 및 피사체의 엣지 검출값 중 적어도 어느 하나를 포함할 수 있다.

또한, 제어부(120)는 피사체의 동작 검출값이 제 1검출값 보다 작은 경우 위상차 픽셀의 가산 범위를 증가시키고, 피사체의 동작 검출값이 제 2검출값보다 큰 경우 위상차 픽셀의 가산 범위를 감소시킬 수 있다.

또한, 피사체의 영상에 대한 정보 분석값은 영상의 조도, 영상의 노출시간, 영상의 콘트라스트(Contrast) 및 영상의 디포커스 량 중 적어도 어느 하나를 포함할 수 있다.

또한, 제어부(120)는 검출된 초점에 대한 정보 및 피사체의 영상에 대한 정보를 기초로 영상에 대한 관심영역(ROI: Region of Interest)을 변경할 수 있다. 또한, 제어부(120)는 관심영역에 포화(saturation)된 픽셀의 개수가 미리 결정된 픽셀의 개수를 초과하는 경우, 포화된 개수의 픽셀을 위상차 픽셀의 가산 에서 제외할 수 있다. 예를 들어, 제어부(120)는 빛을 과도하게 받아 최대치의 신호값으로 포화(saturation)된 픽셀을 화소 가산에 포함시키지 않을 수 있다.

또한, 제어부(120)는 픽셀의 색상 별로 가중치를 부가하여 위상차 픽셀의 가산 범위를 변경시킬 수 있다.

여기서, 위상차 픽셀의 가산 범위는, 영상 출력부에서 출력되는 영상 내의 위상차 픽셀의 가산 범위와 제어부(120)에서 제 2초점을 검출하기 위하여 이용하는 영상 내의 위상차 픽셀의 가산 범위가 상이할 수 있다.

도 2는 일 실시예에 따른 촬영 장치의 구성을 구체적으로 나타내는 기능적 블록도이다.

도 2을 참조하면, 촬영 장치(100)는 제어부(120), 메모리(240), 저장/판독 제어부(250), 메모리 카드(242), 프로그램 저장부(260), 디스플레이부(130), 디스플레이 구동부(132), 조작부(280) 및 통신부(290)를 포함할 수 있다.

도 2를 참조하면, 저장/판독 제어부(250)는 영상 처리부(119)로부터 출력된 영상 데이터를 메모리 카드(242)에 저장할 수 있다. 이때, 저장/판독 제어부(250)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 저장할 수 있다. 또한 저장/판독 제어부(250)는 메모리 카드(242)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(240)를 통해 또는 다른 경로를 통해 디스플레이 구동부(132)에 입력하여 디스플레이부(130)에 이미지가 표시되도록 할 수도 있다.

메모리 카드(242)는 탈착 가능한 것일 수도 있고 촬영 장치(100)에 영구 장착된 것일 수 있다. 예를 들면, 메모리 카드(242)는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.

한편, 영상 처리부(119)에서 처리된 이미지 신호는 메모리(240)를 거쳐 제어부(120)에 입력될 수도 있고, 메모리(240)를 거치지 않고 제어부(120)에 입력될 수도 있다. 메모리(240)는 촬영 장치(100)의 메인 메모리로서 동작하고, 촬영 장치(100)의 동작에 필요한 정보를 임시로 저장할 수 있다. 프로그램 저장부(260)는 촬영 장치(100)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장할 수 있다.

촬영 장치(100)는 촬영 장치(100)의 동작 상태 또는 촬영 장치(100)에서 촬영한 영상 정보를 표시하도록 디스플레이부(130)를 포함할 수 있다. 영상 처리부(119)는 촬영한 영상 정보를 디스플레이부(130)에 디스플레이하기 위해 디스플레이 영상 신호 처리를 수행할 수 있다. 예를 들어, 제 1 카메라 모듈(210) 및 제 2 카메라 모듈(220)은 촬영한 영상 정보에 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 수행할 수 있다.

디스플레이부(130)는 시각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(130)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다. 또한, 디스플레이부(130)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.

디스플레이 구동부(132)는 디스플레이부(130)에 구동 신호를 제공한다.

조작부(280)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(280)는 정해진 시간 동안 이미지 센서를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정 값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(280)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

통신부(290)는 네트워크 인터페이스 카드(NIC: Network Interface Card)나 모뎀 등을 포함하여 이루어 질 수 있으며, 촬영 장치(100)가 외부 디바이스와 네트워크를 통해 유무선 방식으로 통신할 수 있도록 하는 역할을 수행할 수 있다.

제어부(120)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어할 수 있다. 제어부(120)는 하나 또는 복수개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

제어부(120)는 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(115), 렌즈 구동부(112), 이미지 센서(116), 가산 처리부(117), 초점 검출부(118) 및 영상 처리부(119)에 제공하고, 셔터, 스트로보 등 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.

또한 제어부(120)는 외부 모니터와 연결되어, 영상 처리부(119)로부터 입력된 영상 신호에 대해 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.

한편, 도 1 및 도 2에 도시된 촬영 장치(100)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 촬영장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

도 3은 일 실시예에 의하여, 위상차 검출 방식에 의하여 자동으로 초점을 검출하는 방법을 나타내는 흐름도이다.

S310단계에서, 촬영 장치(100)는 피사체의 영상을 획득할 수 있다. 촬영 장치(100)는 이미지 센서를 포함할 수 있다. 이때, 이미지 센서의 해상도는 이미지 센서에 포함되는 픽셀들의 개수에 의해 결정될 수 있다. 이미지 센서에 포함되는 픽셀들의 개수가 많을수록 이미지 센서의 해상도는 높아질 수 있다.

S320단계에서, 촬영 장치(100)는 복수의 위상차 픽셀의 출력 신호를 기초로 영상의 초점을 검출할 수 있다.

일 실시예에 의하여 촬영 장치(100)는 초점 검출용 위상차 픽셀로부터 한 쌍의 화상 신호를 수신할 수 있다. 촬영 장치(100)는 한 쌍의 화상 신호 사이의 시프트량(위상차)를 산출하고, 미리 결정된 환산 계수를 통해 디포커스량을 계산할 수 있다. 일 실시예에 의하여, 촬영 장치(100)는 디포커스량으로부터 초점 검출의 신뢰도를 판별할 수 있다.

S330 단계에서, 촬영 장치(100)는 검출된 초점에 대한 정보 및 획득된 피사체의 영상에 대한 정보를 기초로 위상차 픽셀의 가산 범위를 설정할 수 있다.

촬영 장치(100)는 일차적으로 검출한 초점에 대한 정보 및 피사체의 영상에 대한 정보를 통해 위상차 픽셀을 가산할지 여부를 결정할 수 있다. 예를 들어, 촬영 장치(100)는 디스패리티가 0으로 검출된 경우, 위상차 픽셀을 가산하지 않을 수 있다.

촬영 장치(100)는 초점에 대한 정보를 PAF 신뢰도 값을 통해 산출할 수 있다. PAF 신뢰도 값은 위상 검출 자동 초점(phase detection auto focus) 값, 위상 차이 자동 초점(phase difference auto focus) 값, 위상 검출 자동 초점 신호 레벨(phase detection auto focus signal level) 값, SAD(Sum of Absolute Difference)값, SSD(Sum of Squared Difference)값, 반복 패턴(repeat pattern)값, AF 신뢰도 (AF reliability) 값, 디포커스 평균(Decocus amount)값 중 적어도 어느 하나일 수 있다.

촬영 장치(100)는 피사체의 영상에 대한 정보를 피사체의 안면 검출, OCR 정보, 엣지 검출, 동작 벡터 검출, 콘트라스트 정보, 관심 영역(ROI)의 포화 여부 정보, 피사체의 사이즈, 깊이 정보 중 적어도 어느 하나를 통해 검출할 수 있다.

S540단계에서, 촬영 장치(100)는 복수의 위상차 픽셀의 출력 신호를 가산할 수 있다.

촬영 장치(100)는 결정된 초점에 대한 위상차 픽셀 가산 여부 및 가산 범위에 기초하여 위상차 픽셀의 신호를 가산할 수 있다.

촬영 장치(100)는 가산된 위상차 픽셀에 기초하여 초점을 검출할 수 있다. 촬영 장치(100)는 검출된 초점 정보에 따라 촬영 장치(100)의 초점 위치를 제어할 수 있다. 촬영 장치(100)는 렌즈의 포커스를 피사체에 맞추도록 제어할 수 있다. 촬영 장치(100)는 가산된 위상차 픽셀에 기초하여 결정된 초점의 위치로 렌즈의 포커스가 이동되도록 제어할 수 있다.

도 4a 및 도 4b는 일 실시예에 의한 위상차 검출 픽셀의 평면도이다.

도 4a 에 도시된 바를 참고하면, 이미지 센서에 포함된 픽셀은 한 쌍의 포토다이오드(60a 및 60b), 마이크로 렌즈(61), 컬러 필터(62), 금속 층(63) 및 기판(64)을 포함할 수 있다.

포토다이오드(60a 및 60b)는 광전 효과를 이용하여 빛 신호를 전기 신호로 바꾸는 소자이다. 광전 효과는 물질이 빛을 쬐었을 때, 물질 내부의 전자가 빛 에너지를 흡수하여 광전자를 방출하는 현상을 의미한다. 포토다이오드(60a 및 60b)는 2개의 포토다이오드(60a), 포토다이오드(60b)로 구성될 수 있다.

포토다이오드(60a 및 60b)는 실리콘 기판(64) 내부에 포함될 수 있다.

2개의 포토다이오드(60a 및 60b)들과 컬러필터(62)사이에 형성된 회로 영역에는 메탈 레이어(63)가 형성될 수 있다. 메탈 레이어(63)는 메탈 와이어링(metal wiring), 멀티 레이어 와이어링(multi layer wiring), 또는 와이어링 레이어들(wiring layers) 중 어느 하나일 수 있다.

또한, 마이크로 렌즈(61)와 컬러 필터(62)에는 렌즈 버퍼(lens buffer) 또는 평탄화 레이어(planarization layer)가 형성될 수 있다.

마이크로 렌즈(61)는 광전 변환 소자(60a 및 60b)에 효율적으로 빛을 모아줄 수 있다. 따라서, 마이크로 렌즈(61)는 광전 변환 소자(60a 및 60b)의 경계에 마이크로 렌즈(61)의 광축이 맞게끔 배치되어 있다.

컬러 필터(62)는 영상 이미지를 획득하기 위하여 R(Red), G(Greeen) 및 B(Blue)의 컬러필터를 포함할 수 있다.

R은 레드 픽셀(red pixel)을 의미하고, G는 그린 픽셀(green pixel)을 의미하고, B는 블루 픽셀(blue pixel)을 의미한다. 각 픽셀(R, G, 및 B)의 상부에는 대응되는 마이크로렌즈(61)가 형성될 수 있다.

도 4b는 위상차 검출 픽셀을 포함하는 이미지 센서의 광학 원리를 설명하기 위한 도면이다.

도 4b를 참고하면, 사출 동공(exit pupil, 601)은 광학계의 유효 조리개의 상 공간에서의 상을 의미한다. 사출 동공(601)은 입사 동공에 대응하는 것으로서, 입사 동공과 사출 동공의 관계는 물체와 상과의 결상관계와 같다. 포토다이오드(60a 및 60b) 각각은 사출 동공(601)의 다른 영역을 통과한 한 쌍의 광속(light flux)을 수광하도록 구성되어있다. 예를 들어, 포토다이오드(60a)는 사출 동공(601)의 우측 위치를 투과하는 광속을 수광할 수 있다. 또한, 포토다이오드(60b)는 사출 동공(601)의 좌측 위치를 투과하는 광속을 수광할 수 있다.

도 5a 및 도 5b는 일 실시예에 의한 위상차 검출 픽셀 및 이미지 검출 픽셀을 포함하는 이미지 센서의 픽셀 어레이를 나타낸 도면이다.

일 실시예에 의하여, 이미지 센서의 픽셀 어레이는 2차원 C-MOS 에어리어 센서의 종방향(Y방향) 6행과 횡방향(X방향) 8열의 범위를, 렌즈 유닛(100)측으로부터 관찰한 상태를 나타낼 수 있다. 이에 제한되지 않는다.

이미지 센서(116)에는 베이어 패턴 컬러 필터가 설치되고, 홀수 행의 픽셀에는, 왼쪽에서 순차적으로 녹색(G)과 빨간색(R)의 컬러 필터가 교대로 배치될 수 있다. 또한, 짝수 행의 픽셀에는, 왼쪽에서 순차적으로 파란색(B)과 녹색(G)의 컬러 필터가 교대로 배치될 수 있다. 예를 들어, 픽셀(60)에 있어서, 동그라미(60i)는 마이크로렌즈를 나타내고, 마이크로렌즈의 내측에 배치된 복수의 직사각형 (60a, 60b)은 각각 포토다이오드들이다.

픽셀 어레이는 촬영 장치(100)에 포함될 수 있다. 상기 촬영 장치(100)는 랩탑 컴퓨터(laptop computer), 이동 전화기(cellular phone or mobile phone), 스마트 폰(smart phone), 태블릿 PC, 디지털 카메라(digital camera), 캠코더(camcorder), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터(wearable computer), 사물 인터넷 장치(internet of things(IoT) device), 또는 만물 인터넷(internet of everything(IoE)) 장치 등에 사용될 수 있다.

픽셀 어레이에 포함된 포토다이오드들 각각은 광전변환 소자의 일 예로서, 상기 포토다이오드들 각각은 포토트랜지스터(phototransistor), 포토게이트 (photogate), 또는 핀드 포토다이오드(pinned-photodiode)로 대체될 수 있다.

각 픽셀에 포함된 복수의 포토다이오들 각각은 독립적으로 빛 또는 이미지를 캡쳐(capture)할 수 있다. 일 실시예에 있어서의 이미지 센서(116)에서, 모든 픽셀의 광전 변환부가 X방향으로 2개의 부분으로 분할되고, 개개의 포토다이오드들(60a 및 60b)의 광전 변환 신호와, 광전 변환 신호의 합이 독립적으로 판독될 수 있다. 또한, 광전 변환 신호의 합으로부터 하나의 광전 변환부의 광전 변환 신호를 감산함으로써, 다른 광전 변환부의 광전변환 신호에 해당하는 신호를 얻을 수 있다. 개개의 포토다이오드들(60a 및 60b)의 광전 변환 신호는 위상차 AF용의 데이터로서 사용되거나, 3D(3-Dimensional) 화상을 구성하는 시차(parallax) 화상의 생성에 사용될 수도 있다. 또한, 광전 변환 신호의 합은, 일반적인 촬영 화상 데이터로서 사용될 수 있다.

일 실시예에 의하여, 위상차 AF를 행할 경우의 픽셀 출력 신호에 관하여 설명하도록 한다. 후술하는 바와 같이, 일 실시예에 있어서는, 도 5a의 마이크로렌즈(60i)와 분할된 포토다이오드들(60a 및 60b)는, 촬영 광학계의 사출 광속을 동공 분할할 수 있다. 그리고, 동일의 픽셀 행에 배치된 소정 범위 내의 복수의 픽셀에 대해서, 포토다이오드(60a)의 출력을 결합시켜서 편성한 것을 AF용 A상이라고 하고, 포토다이오드(60b)의 출력을 결합시켜서 편성한 것을 AF용 B상이라고 한다. 포토다이오드들(60a 및 60b)의 출력은, 컬러 필터의 단위 배열에 포함되는 녹색, 빨간색, 파란색, 녹색의 출력을 가산해서 산출한 의사 휘도(Y) 신호를 사용할 수 있다. 단, 빨간색, 파란색, 녹색의 색마다, AF용 A상, B상을 편성할 수도 있다. 이렇게 생성한 AF용 A상과 B상의 상대적인 상 시프트량을 상관 연산에 의해 검출함으로써, 소정영역의 초점 시프트량(디포커스량)을 검출할 수 있다.

도 5b는 일 실시예에 의한 이미지 센서(116)의 판독 회로의 구성 예를 나타낸 도면이다. 판독 회로는 수평 주사 회로(101), 수직 주사 회로(153)를 포함할 수 있다. 또한, 각 픽셀의 경계부에는, 수평 주사 라인(152a 및 152b)과 수직 주사 라인(154a 및 154b)이 배치될 수 있다. 각 포토다이오드들(60a 및 60b)의 신호는 이들 주사 라인을 통해서 외부에 판독될 수 있다.

또한, 일 실시예에 의하여, 픽셀의 출력 신호를 판독하는 것은 이하의 2종류의 판독 모드를 더 포함할 수 있다. 이는, 전체 픽셀 판독 모드 및 솎음(thinning) 판독 모드를 포함할 수 있다. 전체 픽셀 판독 모드는, 고선명 정지 화상을 촬상하기 위한 모드이다. 이 경우에는, 전체 픽셀의 신호가 판독될 수 있다.

솎음(thinning) 판독 모드는, 동영상 기록 혹은 프리뷰 화상의 표시만을 행하기 위한 모드이다. 이 경우에, 판독에 필요한 픽셀수는 전체 픽셀보다도 적기 때문에, X방향 및 Y방향으로 소정의 비율로 솎아낸 후에 남은 픽셀이군 내의 픽셀만 판독할 수 있다. 또한, 고속으로 판독할 필요가 있는 경우에도, 마찬가지로 솎음 판독 모드를 사용할 수 있다. X방향으로 픽셀을 솎아낼 때는, 신호의 가산을 행해 S/N비를 개선하고, Y방향으로 픽셀을 솎아낼 때는, 솎아낸 행의 신호 출력을 무시할 수 있다. 위상차 AF 및 콘트라스트 AF도 통상적으로 솎음 판독 모드에서 판독된 신호에 근거해서 초점 검출을 시행할 수 있다.

도 6은 일 실시예예 의한, 두 개의 픽셀을 이용하여 위상차 신호를 검출하는 위상차 픽셀을 나타내는 도면이다.

위상 차이 검출용 픽셀은 포토다이오드의 일부분을 금속 등으로 가리고(shield), 포토다이오드에서 가려지는 않은 부분으로 입사되는 빛만을 검출할 수 있다. 도 6에서는, 가려진 픽셀과 가려지지 않은 픽셀, 즉 두 개의 픽셀들을 이용하여 위상 차이를 검출할 수 있다.

마이크로 렌즈(81)은 포토다이오드(80a 및 80b)에 빛을 효율적으로 모아줄 수 있다.

메탈 레이어(83)는 픽셀에 따라 상이한 속성으로 위상차 픽셀 안에 포함될 수 있다. 예를 들어, 포토다이오드(80a)를 포함한 위상차 픽셀에서는 메탈 레이어(83)의 개구부를 우측으로 쉬프트함으로써, 좌측 방향으로 감도 피크(sensitivity peak)를 갖도록 설정할 수 있다. 또한, 포토다이오드(80b)를 포함한 위상차 픽셀에서는 메탈 레이어(83)의 개구부를 좌측으로 쉬프트함으로써, 우측 방향으로 감도 피크를 갖도록 설정할 수 있다.

도 7은 일 실시예에 의하여, 이미지 센서의 일부 구성을 나타내는 평면도이다.

일 실시예에 의하여, 위상차 픽셀 A는 우측 방향으로 감도 피크를 가질 수 있으며, 위상차 픽셀 B는 좌측 방향으로 감도 피크를 갖을 수 있다. 이미지 센서는 초점 검출용 픽셀 A 및 픽셀 B가 이산적으로 배치된 픽셀 어레이를 포함할 수 있다. 또한, 이미지 센서는 R,G 및 B의 컬러 필터가 교대로 배치된 베이어 배열을 포함할 수 있다.

도 7을 참조하면, 초검 검출용 픽셀 A 및 픽셀 B는 어느 하나의 픽셀 중 픽셀의 일부 영역을 차지하는 것으로 도시되었으며, R, G 및 B의 컬러 픽셀은 픽셀의 전체 영역을 차지하는 것으로 도시될 수 있다. 따라서, 도 7에서 초점 검출용 픽셀과 컬러 픽셀은 구분될 수 있다. 예를 들어, 도 7에 나타난 바와 같이, 첫번째 픽셀 블록(90)의 첫번째 행에 표시된 컬러 픽셀 B와 두번째 행에 표시된 초점 검출용 픽셀 B는 구분될 수 있다.

일 실시예에 의하여, 촬영 장치(100)는 초점 검출을 수행한 후, 위상차 픽셀 A에 대응되는 포토다이오드로부터 출력 신호를 가산함으로써 한 획소에서의 초점 검출 신호를 취득할 수 있다. 또한, 촬영 장치(100)는 이 출력 신호를 횡방향으로 연속하여 취득함으로써 A상 신호를 생성할 수 있다.

또한, 촬영 장치(100)는 위상차 픽셀 B에 대응되는 포토다이오드로부터의 출력 신호를 가산함으로써, 한 획소의 초점 검출 신호를 취득할 수 있다. 또한, 촬영 장치(100)는 이 신호를 횡방향으로 연속하여 취득함으로써 B상 신호를 생성할 수 있다.

촬영 장치(100)는 A상 신호 및 B상 신호에 의하여, 한 쌍의 위상차 검출용 신호를 생성할 수 있다.

일 실시예에 의하여, 도 7에 나타난 바와 같이, 촬영 장치(100)는 픽셀 블록(90, 91 및 92) 별로 포함된 위상차 픽셀 A 및 B를 각각 가산함으로써 초점을 검출할 수 있다.

촬영 장치(100)는 위상차 픽셀들로부터 얻어진 한 쌍의 초점 검출용 영상을 이용하여 PAF 신뢰도(Phase detection Auto Focus reliability) 값을 이용하여 초점을 검출할 수 있다.

PAF 신뢰도 값은 위상 검출 자동 초점(phase detection auto focus) 값, 위상 차이 자동 초점(phase difference auto focus) 값, 위상 검출 자동 초점 신호 레벨(phase detection auto focus signal level) 값, SAD(Sum of Absolute Difference)값, SSD(Sum of Squared Difference)값, 반복 패턴(repeat pattern)값, AF 신뢰도 (AF reliability) 값, 디포커스 평균(Decocus amount)값 중 적어도 어느 하나일 수 있다.

도 8은 일 실시예에 의하여, 촬영 장치가 PAF 신뢰도 값을 이용하여 위상차 픽셀의 가산범위를 제어하는 흐름도이다.

S810 단계에서, 촬영 장치(100)는 PAF 신뢰도 값과 제 1신뢰도 값을 비교할 수 있다. 여기서 제 1신뢰도 값은, 초점이 검출되었는지를 판단하는 기준값일 수 있다. 예를 들어, PAF 신뢰도 값이 제 1신뢰도 값보다 작은 경우, 촬영 장치(100)는 초점이 명확하게 검출되지 않았다고 판단할 수 있다. 촬영 장치(100)는 PAF 신뢰도 값이 제 1신뢰도 값보다 작다고 판단되는 경우 S1020단계로 이동할 수 있다. 또한, 촬영 장치(100)는 PAF 신뢰도 값이 제 1신뢰도 값보다 크다고 판단되는 경우 S1030단계로 이동할 수 있다.

S820단계에서, 촬영 장치(100)는 위상차 픽셀의 가산 범위가 증가되도록 제어할 수 있다. 여기서 위상차 픽셀의 가산 범위는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀을 가산하는 범위를 의미할 수 있다. 촬영 장치(100)는 PAF 신뢰도 값이 제 1신뢰도 값보다 작다고 판단되는 경우, PAF 신뢰도 값이 제 1신뢰도 값 보다 커질 수 있도록 픽셀 가산 범위를 제어할 수 있다. 예를 들어, 촬영 장치(100)는 PAF 신뢰도 값이 제 1신뢰도 값보다 작다고 판단되는 경우, 가산되는 픽셀의 개수를 증가시킬 수 있다.

S830단계에서, 촬영 장치(100)는 PAF 신뢰도 값과 제 2신뢰도 값을 비교할 수 있다. 여기서 제 2신뢰도 값은, 초점이 검출되었는지를 판단하는 기준값일 수 있다. 예를 들어, PAF 신뢰도 값이 제 2신뢰도 값보다 큰 경우, 촬영 장치(100)는 초점이 명확하게 검출되지 않았다고 판단할 수 있다. 촬영 장치(100)는 PAF 신뢰도 값이 제 2신뢰도 값보다 크다고 판단되는 경우 S840단계로 이동할 수 있다.

S840단계에서, 촬영 장치(100)는 위상차 픽셀의 가산 범위가 감소되도록 제어할 수 있다. 여기서 위상차 픽셀의 가산 범위는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀을 가산하는 범위를 의미할 수 있다. 촬영 장치(100)는 PAF 신뢰도 값이 제 2신뢰도 값보다 크다고 판단되는 경우, 픽셀 가산 범위를 제어할 수 있다. 예를 들어, 촬영 장치(100)는 PAF 신뢰도 값이 제 2신뢰도 값보다 크다고 판단되는 경우, 가산되는 픽셀의 개수를 감소시킬 수 있다. 즉, 가산되는 픽셀 출력 신호를 감소시킴으로써, 초점검출 영역의 신호를 제어할 수 있다.

도 9는 일 실시예에 의하여, 촬영 장치가 PAF 신뢰도 값을 통해 초점 검출 여부를 판단하는 일례를 나타낸 도면이다.

촬영 장치(100)는 SAD값으로부터 디스패리티(disparity)를 계산하고, 디스패리티가 0보다 크거나 작은 경우 디스패리티에 기초하여 위상차 픽셀의 가산 범위를 설정할 수 있다.

촬영 장치(100)는 수학식 1에 의하여, 위상차 픽셀로부터 얻은 출력 신호를 통해 상관 연산을 수행할 수 있다.

여기서,

는 상관 연산에 의하여 출력된 값을 의미하며, 촬영 장치(100)는

를 기초로 영상의 초점 검출의 정확도를 판단할 수 있다. 또한,

은 도4의 포토다이오드(60a) 및 도 6의 포토다이오드(80a)를 통해 출력된 신호 값을 의미할 수 있다.

은 도 4의 포토다이오드(60b) 및 도 6의 포토다이오드(80b)를 통해 출력된 신호 값을 의미할 수 있다.

은 초점을 검출하기 위하여 설정된 관심 영역(ROI, Region of interest)의 행(Row) 수를 의미할 수 있다.

은 초점을 검출하기 위하여 설정된 관심 영역(ROI, Region of interest)의 열(Column) 수를 의미할 수 있다.

는 픽셀 시프트 값을 의미할 수 있다.

촬영 장치(100)는 상관 연산을 수행하여 출력된 상관연산 값, 즉, SAD 값을 기초로 SAD 값이 최소인 픽셀 시프트량을 구할 수 있다. 여기서 SAD 값이 최소인 픽셀 시프트량은 디스패리티를 의미할 수 있다.

촬영 장치(100)는 최초의 초점 검출 과정을 수행하였을 때, 디스패리티가 0이라고 판단되는 경우 정확한 초점이 검출되었다고 판단할 수 있다. 반면, 촬영 장치(100)는 디스패리티가 0이 아니라고 판단되는 경우, 위상차 픽셀의 가산 범위를 제어할 수 있다.

촬영 장치(100)는 도 9의 (a) 및 (b)와 같이, SAD값을 기초로 상관 연산 그래프를 추출할 수 있다.

또한, 촬영 장치(100)는 SAD값을 기초로 상관 연산 그래프의 곡률(curvature)을 계산할 수 있다. 상관 연산 그래프의 곡률이 제 1 곡률보다 작은 경우 위상차 픽셀의 가산 범위를 증가시키고, 상관 연산 그래프의 곡률이 제 2곡률보다 큰 경우 위상차 픽셀의 가산 범위를 감소시킬 수 있다. 여기서, 제 1곡률 및 제 2곡률은 촬영 장치(100)가 영상의 초점이 정확하게 검출되었는지를 판단하기 위한 기준값일 수 있다.

예를 들어, 상관연산의 수행시 입력 영상의 콘트라스트 값이 높은 경우 도 9의 (a)와 같이 곡률의 커브가 뾰족해지며, 입력 영상의 콘트라스트 값이 낮은 경우 도 9의 (b)와 같이 상관 연산의 곡률의 커브가 완만해진다. 촬영 장치(100)는 곡률이 제 1곡률보다 작거나, 제 2곡률보다 큰 경우 위상차 픽셀의 가산 범위를 제어할 수 있다. 여기서 입력 영상은, 상관 연산을 수행하기 위하여 위상차 픽셀로부터 검출된 출력 신호를 의미할 수 있다.

또한, 도 9의 (a) 및 (b)를 참고하면, 촬영 장치(100)는 상관 연산 그래프의 최소값(

)을 구할 수 있다.

상관 연산 그래프의 최소값(

)는 입력 영상의 노이즈에 따라서 달라질 수 있다. 예를 들어, 입력 영상에 노이즈가 적은 경우 도 9의 (a)에서와 같이 상관 연산 그래프의 최소값(

)이 제 1최소값(Th1)보다 낮아지는 바, 촬영 장치(100)는 위상차 픽셀의 가산 범위를 감소시킬 수 있다. 또한, 입력 영상에 노이즈가 많은 경우 도 9의 (b)에서와 같이 상관 연산 그래프의 최소값(

)이 제 2최소값(Th2)보다 높아지는 바, 촬영 장치(100)는 위상차 픽셀의 가산 범위를 증가시킬 수 있다.

또한, 촬영 장치(100)는 상관 연산 그래프의 최소값(

)이 제 1최소값보다 작은 경우 위상차 픽셀의 가산 범위를 감소시키고, 상관 연산 그래프의 최소값(

)이 제 2 최소값보다 큰 경우 위상차 픽셀의 가산 범위를 증가시킬 수 있다.

도 10은 일 실시예에 의하여 촬영 장치가 영상 정보 분석값에 기초하여 위상차 픽셀의 가산 범위를 제어하는 흐름도이다.

S1010 단계에서, 촬영 장치(100)는 영상 정보 분석값과 제 1분석값을 비교할 수 있다. 여기서 제 1분석값은, 초점이 미리 결정된 신뢰도에 부합하게 검출되었는지를 판단하는 기준값일 수 있다. 보다 자세하게는, 제 1분석값은 현재 촬영 장치에서 획득한 영상 정보에 따라 초점을 용이하게 검출할 수 있는지의 기준값일 수 있다.

예를 들어, 영상 정보 분석값이 제 1분석값보다 작은 경우, 촬영 장치(100)는 초점이 명확하게 검출되지 않았다고 판단할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작다고 판단되는 경우 S1020단계로 이동할 수 있다. 또한, 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 크다고 판단되는 경우 S1030단계로 이동할 수 있다.

여기서 영상 정보 분석값은 피사체의 얼굴 검출값, 피사체의 동작 검출값, 피사체가 화면에서 차지하는 비율, 피사체의 OCR(Optical Character Recognition) 분석값, 및 피사체의 엣지 검출값 중 적어도 어느 하나를 포함할 수 있다.

또한, 영상 정보 분석값은 영상의 조도, 영상의 노출시간, 영상의 콘트라스트(Contrast) 및 영상의 디포커스 량 중 적어도 어느 하나를 포함할 수 있다. 이에 제한되는 것은 아니다.

S1030 단계에서, 촬영 장치(100)는 위상차 픽셀의 가산 범위가 증가되도록 제어할 수 있다. 여기서 위상차 픽셀의 가산 범위는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀을 가산하는 범위를 의미할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작다고 판단되는 경우, 영상 정보 분석값이 제 1분석값 보다 커질 수 있도록 픽셀 가산 범위를 제어할 수 있다. 예를 들어, 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작다고 판단되는 경우, 가산되는 픽셀의 개수를 증가시킬 수 있다.

S1030단계에서, 촬영 장치(100)는 영상 정보 분석값과 제 2분석값을 비교할 수 있다. 여기서 제 2분석값은, 초점이 검출되었는지를 판단하는 기준값일 수 있다. 예를 들어, 영상 정보 분석값이 제 2분석값보다 큰 경우, 촬영 장치(100)는 초점이 미리 결정된 초점 범위와 비교하여, 초점이 용이하게 검출되지 않았다고 판단할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 2분석값보다 크다고 판단되는 경우 S1040단계로 이동할 수 있다.

S1040단계에서, 촬영 장치(100)는 위상차 픽셀의 가산 범위가 감소되도록 제어할 수 있다. 여기서 위상차 픽셀의 가산 범위는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀을 가산하는 범위를 의미할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 2분석값보다 크다고 판단되는 경우, 영상 정보 분석값이 제 2분석값 보다 작아질 수 있도록 픽셀 가산 범위를 제어할 수 있다. 예를 들어, 촬영 장치(100)는 영상 정보 분석값이 제 2분석값보다 크다고 판단되는 경우, 가산되는 픽셀의 개수를 감소시킬 수 있다. 즉, 가산되는 픽셀 출력 신호를 감소시킴으로써, 초점검출 영역의 신호를 제어할 수 있다.

결과적으로, 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작거나, 제 2분석값보다 큰 경우 초점이 용이하게 검출되지 않았다고 판단할 수 있다. 이 경우, 촬영 장치(100)는 위상차 픽셀의 가산 범위를 제어할 수 있다. 이에 따라, 촬영 장치(100)는 획득한 현재 영상 정보에 따라 초점 검출의 신뢰도를 향상 시킬 수 있다.

도 11 및 도 12는 일 실시예에 의하여, 촬영 장치가 영상 정보 분석값에 기초하여 위상차 픽셀의 가산 범위를 제어하는 것을 나타낸 도면이다.

도 11에 도시된 바와 같이, 촬영 장치(100)는 OCR(Optical Character Reader)에서 판독되는 글자에 따라 위상차 픽셀의 가산 범위를 제어할 수 있다. 촬영 장치(100)는 OCR의 기능을 수행할 수 있다. 여기서, OCR은 광학 문자 판독 장치의 약칭으로서, 인쇄된 문자 또는 사람이 손으로 쓴 문자를 읽는 장치를 의미할 수 있다. 즉, 문자, 숫자, 또는 다른 기호의 형태가 갖는 정보를 전기 신호로 변환하는 장치를 의미할 수 있다.

예를 들어, 촬영 장치(100)는 OCR기능을 통해 문자가 판독되는 경우, ROI(1101) 범위 내에서 가산되는 위상차 픽셀의 개수를 줄일 수 있다. 즉, 위상차 픽셀의 가산 범위가 증가하여 문자가 흐리게 검출되는 것을 방지할 수 있다.

도 12에 도시된 바와 같이, 촬영 장치(100)는 피사체의 엣지를 검출할 수 있다. 촬영 장치(100)는 피사체의 엣지 검출에 따라, 위상차 픽셀의 가산 범위를 제어할 수 있다.

촬영 장치(100)는 도 12에서 도시된 바와 같이, 엣지의 개수가 미리 결정된 엣지의 개수보다 적게 결정되는 경우 위상차 픽셀의 가산 범위를 증가시킬 수 있다.

촬영 장치(100)는 영상에서 분석된 피사체의 주파수, 엣지의 개수 등에 따라서 위상차 픽셀의 가산 범위를 제어함으로써 초점 검출의 신뢰도를 증가시킬 수 있다.

도 13은 일 실시예에 의하여 촬영 장치가 영상 정보 분석값에 기초하여 관심 영역(ROI)의 크기를 제어하는 흐름도이다.

촬영 장치(100)는 피사체의 영상 정보에 기초하여, 관심 영역의 크기 및 위상차 픽셀의 가산 범위를 제어할 수 있다. 또한, 촬영 장치(100)는 피사체의 영상 정보에 기초하여 위상차 픽셀의 가산 범위를 제어하지 않고, 관심 영역의 크기만을 제어할 수 있다.

S1310 단계에서, 촬영 장치(100)는 영상 정보 분석값과 제 1분석값을 비교할 수 있다. 여기서 제 1분석값은, 초점이 검출되었는지를 판단하는 기준값일 수 있다. 예를 들어, 영상 정보 분석값이 제 1분석값보다 작은 경우, 촬영 장치(100)는 미리 결정된 초점 범위와 비교하여, 현재 영상에서의 초점 검출이 용이지 않다고 판단할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작다고 판단되는 경우 S1520단계로 이동할 수 있다. 또한, 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 크다고 판단되는 경우 S1530단계로 이동할 수 있다.

여기서 영상 정보 분석값은 피사체의 얼굴 검출값, 피사체의 동작 검출값, 피사체가 화면에서 차지하는 비율, 피사체의 OCR(Optical Character Recognition) 분석값, 및 피사체의 엣지 검출값 중 적어도 어느 하나를 포함할 수 있다.

또한, 영상 정보 분석값은 영상의 조도, 영상의 노출시간, 영상의 콘트라스트(Contrast) 및 영상의 디포커스 량 중 적어도 어느 하나를 포함할 수 있다. 이에 한정되는 것은 아니다. 일 실시예에 의하여, 영상 정보 분석값은 영상으로부터 획득할 수 있는 모든 정보값을 포함할 수 있다.

S1320단계에서, 촬영 장치(100)는 관심 영역(ROI)의 크기가 증가되도록 제어할 수 있다. 여기서 관심 영역(ROI)의 크기는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀이 포함된, 초점 검출 영역 범위를 의미할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작다고 판단되는 경우, 영상 정보 분석값이 제 1분석값 보다 커질 수 있도록 관심 영역(ROI)의 크기를 제어할 수 있다. 예를 들어, 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작다고 판단되는 경우, 관심 영역(ROI)의 크기를 증가시킬 수 있다.

S1330단계에서, 촬영 장치(100)는 영상 정보 분석값과 제 2분석값을 비교할 수 있다. 여기서 제 2분석값은, 초점이 검출되었는지를 판단하는 기준값일 수 있다. 예를 들어, 영상 정보 분석값이 제 2분석값보다 큰 경우, 촬영 장치(100)는 미리 결정된 초점 범위와 비교하여, 현재 영상에서 초점 검출이 용이하지 않다고 판단할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 2분석값보다 크다고 판단되는 경우 S1340단계로 이동할 수 있다.

S1340단계에서, 촬영 장치(100)는 관심 영역(ROI)의 크기가 감소되도록 제어할 수 있다. 촬영 장치(100)는 영상 정보 분석값이 제 2분석값보다 크다고 판단되는 경우, 영상 정보 분석값이 제 2분석값 보다 작아질 수 있도록 관심 영역(ROI)의 크기를 제어할 수 있다. 예를 들어, 촬영 장치(100)는 영상 정보 분석값이 제 2분석값보다 크다고 판단되는 경우, 관심 영역(ROI)의 크기를 감소시킬 수 있다. 즉, 가산되는 픽셀의 개수를 그대로 둔 채, 관심 영역(ROI)의 크기를 감소시킴으로써, 초점검출 영역의 신호를 제어할 수 있다.

결과적으로, 촬영 장치(100)는 영상 정보 분석값이 제 1분석값보다 작거나, 제 2분석값보다 큰 경우 초점이 검출되지 않았다고 판단할 수 있다. 이 경우, 촬영 장치(100)는 관심 영역(ROI)의 크기를 제어할 수 있다.

도 14는 일 실시예에 의하여, 피사체의 영상에 기초하여 관심 영역(ROI)의 크기를 제어하는 것을 나타낸 도면이다.

도 14의 (a) 및 (b)에서는 피사체가 사람인 경우, 안면 인식(Face detection)을 통해 초점을 검출하는 경우를 나타낸다.

도 14의 (a) 에서의 피사체와 (b)에서의 피사체를 비교하면, (a)에서 검출된 피사체의 얼굴의 크기는 관심 영역(1401)보다 작고, (b)에서 검출된 피사체의 얼굴의 크기는 관심 영역(1401)보다 크다.

촬영 장치(100)는 도 14의 (b)에서와 같이, 피사체의 얼굴의 크기가 관심 영역(1401)보다 큰 경우, 관심 영역(1401)의 크기를 증가시킬 수 있다. 또한, 촬영 장치(100)는 관심 영역(1401)의 크기를 증가시키는 동시에 위상차 픽셀의 가산 범위를 증가시킬 수 있다.

도 15는 일 실시예에 의하여 촬영 장치가 피사체의 동작 정보 분석값에 기초하여 위상차 픽셀의 가산 범위를 제어하는 흐름도이다.

S1510 단계에서, 촬영 장치(100)는 피사체의 동작 정보 분석값과 제 1동작 정보 분석값을 비교할 수 있다. 여기서 제 1동작 정보 분석값은, 피사체가 움직이는 상황에서 초점이 검출되었는지를 판단하는 기준값일 수 있다. 예를 들어, 피사체의 동작 정보 분석값이 제 1동작 정보 분석값보다 큰 경우, 촬영 장치(100)는 현재 영상에서의 초점 검출이 용이하지 않다고 판단할 수 있다. 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 1동작 정보 분석값보다 크다고 판단되는 경우 S1520단계로 이동할 수 있다. 또한, 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 1동작 정보 분석값보다 작다고 판단되는 경우 S1530단계로 이동할 수 있다. 즉. 촬영 장치(100)는 피사체의 동작 정보 분석값이 미리 결정된 동작 정보 분석값 기준 내에 해당하는 경우, 피사체가 움직인다고 판단할 수 있다. 그에 따라, 촬영 장치(100)는 영상으로부터의 초점 검출이 용이하지 않다고 판단할 수 있다.

여기서 피사체의 동작 정보 분석값은 촬영 장치(100)에 포함된 센서를 통해 검출되는 동작 벡터로부터 획득될 수 있다. 예를 들어, 촬영 장치(100)는 피사체의 동작 정보 분석값을 획득하기 위하여, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 근접 센서 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

근접센서는 촬영 장치(100)로 접근하는 물체나, 촬영 장치(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 촬영 장치(100)의 종류에 따라 2개 이상이 구비될 수 있다.

자이로스코프 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.

나머지 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

S1520단계에서, 촬영 장치(100)는 위상차 픽셀의 가산 범위가 증가되도록 제어할 수 있다. 여기서 위상차 픽셀의 가산 범위는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀을 가산하는 범위를 의미할 수 있다. 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 1동작 정보 분석값보다 크다고 판단되는 경우, 피사체의 동작 정보 분석값이 제 1동작 정보 분석값보다 작아질 수 있도록 픽셀 가산 범위를 제어할 수 있다. 촬영 장치(100)는 픽셀 가산 범위의 제어를 통해 불필요하게 가산되는 픽셀을 줄일 수 있다. 예를 들어, 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 1동작 정보 분석값보다 크다고 판단되는 경우, 가산되는 픽셀의 개수를 증가시킬 수 있다.

S1530단계에서, 촬영 장치(100)는 피사체의 동작 정보 분석값과 제 2동작 정보 분석값을 비교할 수 있다. 여기서 제 2동작 정보 분석값은, 피사체가 움직이는 상황에서 초점의 용이도를 판단하는 기준값일 수 있다. 예를 들어, 피사체의 동작 정보 분석값이 제 2동작 정보 분석값보다 작은 경우, 촬영 장치(100)는 초점의 검출이 용이하지 않다고 판단할 수 있다. 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 2동작 정보 분석값보다 작다고 판단되는 경우 S1540단계로 이동할 수 있다.

S1540단계에서, 촬영 장치(100)는 위상차 픽셀의 가산 범위가 감소되도록 제어할 수 있다. 여기서 위상차 픽셀의 가산 범위는, 초점 검출 영역을 제어하기 위하여 영상 신호를 출력하는 픽셀을 가산하는 범위를 의미할 수 있다. 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 2동작 정보 분석값보다 작다고 판단되는 경우, 피사체의 동작 정보 분석값이 제 2동작 정보 분석값 보다 커질 수 있도록 픽셀 가산 범위를 제어할 수 있다 예를 들어, 촬영 장치(100)는 피사체의 동작 정보 분석값이 제 2동작 정보 분석값보다 작다고 판단되는 경우, 가산되는 픽셀의 개수를 감소시킬 수 있다. 즉, 가산되는 픽셀 출력 신호를 감소시킴으로써, 초점검출 영역의 신호를 제어할 수 있다.

도 16의 (a) 및 (b)는 일 실시예에 의하여, 피사체의 움직임이 검출되는 경우 위상차 픽셀 가산 범위를 제어하기 위한 예를 나타내는 도면이다.

도 16의 (a)는 정지된 피사체의 영상을 나타내며, (b)에서는 피사체가 움직임에 따라 동작 벡터가 검출된 영상을 나타낸다.

촬영 장치(100)는 이미지 센서를 통해 출력된 영상에서 피사체의 동작 벡터가 검출되는 경우, (b)와 같은 경우 관심 영역(1601) 내에서 가산되는 위상차 픽셀의 범위를 증가시킬 수 있다.

따라서, 촬영 장치(100)는 피사체의 움직임이 감지되는 경우에도, 영상의 초점을 정확하게 검출할 수 있다. 따라서, 촬영 장치(100)는 영상의 초점 검출 신뢰도를 향상시킬 수 있다.

또한, 촬영 장치(100)는 관심 영역(1601)에 포화된 픽셀의 개수가 미리 결정된 임계치를 초과하는 경우, 가산되는 픽셀의 수를 제어할 수 있다. 촬영 장치(100)는 관심 영역(1601)내의 픽셀이 포화(saturation)된 경우, 포화된 픽셀을 가산에서 제외할 수 있다. 픽셀의 포화(Saturation)는 픽셀의 신호 임계값에 대한 포화 정도를 의미할 수 있다. 예를 들어, 픽셀의 포화는 픽셀이 빛의 신호를 과도하게 받아 신호 임계값을 초과하여 신호가 포화된 상태를 의미할 수 있다. 촬영장치(100)는 신호가 포화된 픽셀을 가산에서 제외시킬 수 있다. 촬영 장치(100)는 관심 영역(1601)에 포화된 픽셀의 개수가 미리 결정된 임계치에 미달하는 경우, 가산되는 픽셀의 수가 증가되도록 제어할 수 있다.

도 17은 일 실시예에 의하여, 촬영 장치가 이중으로 초점을 검출하는 방법을 나타내는 흐름도이다.

S1710단계에서, 촬영 장치(100)는 피사체의 영상을 디스플레이 부를 통해 표시할 수 있다. 여기서 디스플레이 부는 촬영 장치(100)에 포함되어있거나, 촬영 장치(100)에 연결된 디스플레이 장치를 의미할 수 있다. 촬영 장치(100)는 영상 처리부(119)로부터 출력된 영상을 디스플레이 부를 통해 표시할 수 있다. 예를 들어, 촬영 장치(100)는 프리뷰(preview) 화면 상에 프리뷰 영상을 표시할 수 있다.

S1720단계에서, 촬영 장치(100)는 복수의 위상차 픽셀의 출력 신호를 기초로 제 1초점을 검출할 수 있다. 촬영 장치(100)는 현재 촬영 장치(100)의 세팅 상태에 기초하여 제 1초점을 검출할 수 있다. 촬영 장치(100)는 제 1초점이 미리 결정된 초점 검출 범위에 해당하는지 판단할 수 있다. 예를 들어, 촬영 장치(100)는 위상차 픽셀로부터 출력된 영상 신호를 기초로 계산된 디스패리티를 통해 제 1초점의 정확도를 판별할 수 있다.

S1730단계에서, 촬영 장치(100)는 제 1초점에 대한 정보 및 피사체의 영상에 대한 정보를 기초로 위상차 픽셀의 가산 범위를 설정할 수 있다. 예를 들어, 촬영 장치(100)는 제 1초점에 대한 정보로서 디스패리티를 기초로 위상차 픽셀의 가산 범위를 증가시킬지, 감소시킬지 결정할 수 있다.

S1740단계에서, 촬영 장치(100)는 복수의 위상차 픽셀의 출력 신호를 가산할 수 있다. 촬영 장치(100)는 현재 영상 상태 및 제 1초점에 따라 결정된 위상차 픽셀의 가산 범위에 대하여 픽셀 가산을 수행할 수 있다.

S1750단계에서, 촬영 장치(100)는 가산된 위상차 픽셀의 출력 신호를 기초로 제 2초점을 검출할 수 있다. 촬영 장치(100)는 피사체의 주파수, 영상의 조도, 제 1초점의 신뢰도 및 정확도, 피사체의 현재 상태 등에 따라 가산된 출력 신호를 기초로 제 2초점을 검출할 수 있다.

도 18a 및 도 18b는 일 실시예에 의하여, 위상차 픽셀의 출력 신호를 가산하는 것을 설명하기 위한 실시도면이다.

도 18a 및 도 18b에서는 한 개의 마이크로렌즈를 공유하는 1쌍의 포토다이오드가 존재하는 위상차 픽셀을 예시로서 설명하도록 한다.

도 18a 및 도 18b에서 포토다이오드(11a)와 포토다이오드(11b)는 위상차 픽셀 안에 존재하는 한 쌍의 포토다이오드이다.

도 18a에서는 세로방향으로 4픽셀이 가산된 위상차 픽셀의 출력 신호값을 검출할 수 있다.

이하 도면에서 픽셀을 나타내는 기호는 (행. 열)순으로서, 도면에 번호가 생략되어있더라도, 일반적인 행과 열의 순서에 기초하여 설명하도록 한다.

오른쪽 도면의 위상차 픽셀(11A, 11B)를 예로 들면, 픽셀(11A, 11B) 에서 출력되는 신호는 왼쪽 도면의 위상차 픽셀들 (11a, 11b), (21a, 21b), (31a, 31b) 및 (41a, 41b)의 출력 신호들을 가산한 신호를 나타낸다. 가산식은 수학식 2에 의한다.

도 18b에서는 가로 방향으로 4픽셀 및 세로방향으로 4픽셀이 가산된 위상차 픽셀의 출력 신호값을 검출할 수 있다.

도 18b의 오른쪽 도면의 위상차 픽셀(11A, 11B)를 예로 들면, 픽셀(11A, 11B) 에서 출력되는 신호는 왼쪽 도면의 위상차 픽셀들 (11a, 11b), (21a, 21b), (31a, 31b), (41a, 41b), (12a, 12b), (22a, 22b), (32a, 32b), (42a, 42b), (13a, 13b), (23a, 23b), (33a, 33b), (43a, 43b), (14a, 14b), (24a, 24b), (34a, 34b), (44a, 44b)의 출력 신호들을 가산한 신호를 나타낸다. 가산은 수학식 3에 의한다.

도 19a 및 도 19b는 일 실시예에 의하여, 가중치를 부가한 위상차 픽셀의 출력 신호를 가산하는 것을 설명하기 위한 실시도면이다.

도 19a 및 도 19b에서는 한 개의 마이크로렌즈를 공유하는 1쌍의 포토다이오드가 존재하는 위상차 픽셀을 예시로서 설명하도록 한다.

도 19a 및 도 19b에서 포토다이오드(11a)와 포토다이오드(11b)는 위상차 픽셀 안에 존재하는 한 쌍의 포토다이오드이다.

촬영 장치(100)는 각각의 픽셀에 포함된 컬러 필터의 컬러 별로 가중치를 부가하여 픽셀을 가산할 수 있다.

촬영 장치(100)는 영상 처리부(119)에서 출력되는 화상 신호를 기초로 가중치 계수를 결정할 수 있다. 예를 들어, 촬영 장치(100)는 영상의 조도값, 휘도값, 휘도값, 노출값 등의 영상 처리에 필요한 정보에 기초하여 가중치 계수를 결정할 수 있다.

촬영 장치(100)는 도 18a와 도 18b와 같은 방법으로 도 19a 및 도 19b의 픽셀을 가산할 수 있다. 추가적으로, 촬영 장치(100)는 도 19a와 도 19b에 나타난 바와 같이, 가중치 계수를 부가하여 픽셀을 가산할 수 있다.

도 19a 및 도 19b에 도시된 (Gr11a, Gr11b), (R11a, R11b), (B11a, B11b)등은 각각의 픽셀이 포함하는 컬러를 나타내는 픽셀 식별부호이다.

도 19a에서는 세로방향으로 4픽셀이 가산된 위상차 픽셀의 출력 신호값을 검출할 수 있다. 여기서, 위상차 픽셀의 출력 신호는 가중치 계수가 곱해진 값일 수 있다.

일 실시예예 의하여, 촬영 장치(100)는 수학식 4에 의하여 가중치 계수가 부가된 가산 신호를 구할 수 있다. 촬영 장치(100)는 아래 수학식 4에 의하여, 도 19a에 나타난 가중치가 부가된 4픽셀을 세로 방향으로 가산할 수 있다.

여기서,

및

는 영상의 정보에 기초하여 산출된 가중치 값을 의미할 수 있다.

수학식 4에서는 컬러계수가 생략되었지만, 각각의 픽셀의 컬러 계수값을 대입하는 경우, 가중치 값이 더해진 픽셀 가산을 수행할 수 있다.

촬영 장치(100)는 마찬가지의 방법으로, 도 19b와 같이 가중치가 부가된 픽셀을 가로 4방향, 세로 4방향만큼 가산할 수 있다.

촬영 장치(100)는 가산된 픽셀을 기초로 피사체의 영상에 대하여 초점검출을 재 수행 할 수 있다. 결과적으로, 촬영 장치(100)는 초점 검출의 신뢰도를 높일 수 있다.

일 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

1. 위상차 검출 방식에 의해 자동으로 초점을 검출하는 촬영 장치에 있어서,
   복수의 위상차 픽셀을 포함하고, 피사체의 영상을 획득하는 이미지 센서;
   상기 복수의 위상차 픽셀의 출력 신호를 기초로 상기 영상의 초점을 검출하는 초점 검출부;
   상기 복수의 위상차 픽셀의 출력 신호를 가산하는 가산 처리부;및
   상기 검출된 초점에 대한 정보 및 상기 획득된 피사체의 영상에 대한 정보를 기초로 상기 가산 처리부에서 가산되는 위상차 픽셀의 가산 범위를 설정하는 제어부;를 포함하는, 장치.
2. 제 1항에 있어서,
   상기 초점 검출부는 PAF 신뢰도(Phase detection Auto Focus reliability) 값을 이용하여 제 1초점에 대한 정보를 획득하고,
   상기 제어부는,
   상기 제 1초점에 대한 정보를 기초로 상기 위상차 픽셀의 가산 범위를 설정하고, 상기 초점 검출부가 상기 가산된 위상차 픽셀의 출력 신호를 기초로 제 2초점을 검출하도록 제어하는, 장치.
3. 제 2항에 있어서,
   상기 제어부는,
   상기 PAF 신뢰도 값이 미리 결정된 PAF 신뢰도 범위를 벗어나는 경우, 상기 위상차 픽셀의 가산 범위를 변경시키는, 장치.
4. 제 2항에 있어서,
   상기 PAF 신뢰도 값은,
   위상 검출 자동 초점(phase detection auto focus) 값, 위상 차이 자동 초점(phase difference auto focus) 값, 위상 검출 자동 초점 신호 레벨(phase detection auto focus signal level) 값, SAD(Sum of Absolute Difference)값, SSD(Sum of Squared Difference)값, 반복 패턴(repeat pattern)값, AF 신뢰도 (AF reliability) 값, 디포커스 평균(Decocus amount)값 중 적어도 어느 하나인, 장치.
5. 제 4항에 있어서,
   상기 제어부는 상기 상관연산 결과 값으로부터 디스패리티(disparity)를 계산하고, 상기 디스패리티가 0보다 크거나 작은 경우 상기 디스패리티에 기초하여 상기 위상차 픽셀의 가산 범위를 설정하는, 장치.
6. 제 4항에 있어서,
   상기 제어부는 상기 SAD값을 기초로 상관 연산 그래프의 곡률(curvature)을 계산하고,
   상기 상관 연산 그래프의 곡률이 제 1곡률보다 작은 경우 상기 위상차 픽셀의 가산 범위를 증가시키고, 상기 상관 연산 그래프의 곡률이 제 2곡률보다 큰 경우 상기 위상차 픽셀의 가산 범위를 감소시키는, 장치.
7. 제 4항에 있어서,
   상기 제어부는 상기 SAD값을 기초로 상관 연산 그래프의 최소값을 계산하고,
   상기 제어부는,
   상기 상관 연산 그래프의 최소값이 제 1최소값보다 작은 경우 상기 위상차 픽셀의 가산 범위를 감소시키고, 상기 상관 연산 그래프의 최소값이 제 2 최소값보다 큰 경우 상기 위상차 픽셀의 가산 범위를 감소시키는, 장치.
8. 제 1항에 있어서,
   상기 제어부는,
   상기 피사체의 영상에 대한 정보 분석값을 산출하고,
   상기 피사체의 영상에 대한 정보 분석값이 미리 결정된 분석값 범위를 벗어나는 경우, 상기 위상차 픽셀의 가산 범위를 변경시키는, 장치.
9. 제 8항에 있어서,
   상기 피사체의 영상에 대한 정보 분석값은,
   상기 피사체의 얼굴 검출값, 상기 피사체의 동작 검출값, 상기 피사체가 화면에서 차지하는 비율, 상기 피사체의 OCR(Optical Character Recognition) 분석값, 및 상기 피사체의 엣지 검출값 중 적어도 어느 하나를 포함하는, 장치.
10. 제 9항에 있어서,
    상기 제어부는,
    상기 피사체의 동작 검출값이 제 1동작 검출값보다 작은 경우 상기 위상차 픽셀의 가산 범위를 증가시키고, 상기 피사체의 동작 검출값이 제 2동작 검출값보다 큰 경우 상기 위상차 픽셀의 가산 범위를 감소시키는, 장치.
11. 제 8항에 있어서,
    상기 피사체의 영상에 대한 정보 분석값은,
    상기 영상의 조도, 상기 영상의 노출시간, 상기 영상의 콘트라스트(Contrast) 및 상기 영상의 디포커스 량 중 적어도 어느 하나를 포함하는, 장치.
12. 제 1항에 있어서,
    상기 제어부는,
    상기 검출된 초점에 대한 정보 및 상기 피사체의 영상에 대한 정보를 기초로 상기 영상에 대한 관심영역(ROI: Region of Interest)의 속성을 변경시키는, 장치.
13. 제 12항에 있어서,
    상기 제어부는,
    상기 관심 영역 내에 포화된 픽셀의 개수가 미리 결정된 픽셀의 개수를 초과하는 경우, 상기 포화된 개수의 픽셀을 상기 위상차 픽셀의 가산 에서 제외하는, 장치.
14. 제 1항에 있어서,
    상기 제어부는,
    상기 픽셀의 색상 별로 가중치를 부가하여 상기 위상차 픽셀의 가산 범위를 변경시키는, 장치.
15. 제 2항에 있어서,
    상기 이미지 센서로부터 획득된 영상을 출력하는 영상 출력부;를 더 포함하는, 장치.
16. 제 15항에 있어서,
    상기 위상차 픽셀의 가산 범위는,
    상기 영상 출력부에서 출력되는 영상 내의 위상차 픽셀의 가산 범위와 상기 제어부에서 상기 제 2초점을 검출하기 위하여 이용하는 영상 내의 위상차 픽셀의 가산 범위가 상이한, 장치.
17. 위상차 검출 방식에 의해 자동으로 초점을 검출하는 방법에 있어서,
    복수의 위상차 픽셀을 포함하는 이미지 센서로부터 피사체의 영상을 획득하는 단계;
    상기 복수의 위상차 픽셀의 출력 신호를 기초로 상기 영상의 초점을 검출하는 단계;
    상기 검출된 초점에 대한 정보 및 상기 획득된 피사체의 영상에 대한 정보를 기초로 위상차 픽셀의 가산 범위를 설정하는 단계;및
    상기 복수의 위상차 픽셀의 출력 신호를 가산하는 단계;
    를 포함하는, 방법.
18. 제 17항에 있어서,
    상기 위상차 픽셀의 가산 범위를 설정하는 단계는,
    PAF 신뢰도(Phase detection Auto Focus reliability) 값을 이용하여 제 1초점에 대한 정보를 획득하고, 상기 제 1초점에 대한 정보를 기초로 상기 위상차 픽셀의 가산 범위를 설정하는, 방법.
19. 제 18항에 있어서,
    상기 위상차 픽셀의 가산 범위에 따라 가산된 위상차 픽셀의 출력 신호를 기초로 제 2초점을 검출하는 단계; 를 더 포함하는, 방법.
20. 제 17항 내지 제 19항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images