KR20170025235A - 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치 - Google Patents

Abstract

얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치가 제공된다. 본 발명의 얼굴 검출을 이용한 카메라의 자동 초점 조절 방법은 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라의 자동 초점 조절 방법에 있어서, 상기 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하고, 분석 결과에 기초하여 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 발생하는 단계, 상기 얼굴이 검출되면 얼굴 크기를 산출하는 단계, 상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 단계, 및 상기 결정된 시작 위치에 기초하여 상기 렌즈의 초점 위치를 찾는 단계를 포함한다.

Description

얼굴 검출을 이용한 카메라의 자동 초점 조절 방법 및 카메라 제어 장치 {Auto-focus Method of Camera Using Face Detection, And Apparatus For Controlling Camera}

본 발명의 개념에 따른 실시예는 카메라의 자동 초점(auto-focus) 장치 및 방법에 관한 것으로, 보다 상세하게는 얼굴 검출을 이용한 카메라 제어 장치, 카메라 자동 초점 조절 방법 및 상기 장치를 포함하는 시스템에 관한 것이다.

자동 초점(오토 포커스(auto-focus)) 조절 기능은 자동으로 피사체에 초점을 맞추는 기능으로, 수동초점(manual focus)보다 빠르고 정확하게 초점을 잡을 수 있다.

자동 초점 조절 방식은 별도의 거리 측정 센서의 사용 여부에 따라 크게 능동형(active) 방식과 수동형(passive) 방식으로 나눌 수 있다. 능동형 방식은 초음파 또는 적외선 송수신기를 지닌 거리 측정 센서(range sensor) 등을 이미지 센서와 별개로 장착하여 피사체까지의 거리를 산출하고, 그 거리에 맞는 초점을 위한 렌즈 위치를 계산하는 방식이다. 거리측정 센서의 정확도에 따라 자동초점의 성능이 달라지고, 좋은 성능의 자동 초점을 위해서는 비싼 거리 측정 센서를 사용해야 하므로 생산 단가가 올라간다. 수동형 방식은 입력 영상을 분석하여 초점을 맞추기 위한 렌즈 위치를 계산하는 방식이다. 수동형 방식은 별도의 위상차(phase difference) 센서를 장착하여 영상의 위상차를 계산하고 그 결과로부터 렌즈 위치를 계산하는 위상차 검출 (phase detection) 방식과 렌즈를 정해진 범위 내에서 이동하면서 영상 내 콘트라스트를 측정하여 가장 높은 콘트라스트를 갖는 렌즈 위치를 찾는 콘트라스트 검출(contrast detection) 방식으로 나뉜다. 별도의 위상차 센서가 필요 없는 콘트라스트 검출 방식은 입력 영상을 분석하여 최대 콘트라스트를 검출할 때까지 렌즈를 이동시키기 때문에 초점을 맞추기까지 비교적 긴 시간이 소요된다. 또한 콘트라스트 필터의 설계에 따라 정확도가 매우 달라진다.

본 발명이 이루고자 하는 기술적인 과제는 얼굴 검출 결과를 이용하여 카메라 렌즈의 자동 초점 조절 동작을 수행함으로써, 자동 초점 속도를 향상시키고 정확도를 높이는 카메라 자동 초점 조절 방법 및 카메라 제어 장치를 제공하는 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라의 자동 초점 조절 방법에 있어서, 상기 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하고, 분석 결과에 기초하여 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 발생하는 단계; 상기 얼굴이 검출되면 얼굴 크기를 산출하는 단계; 상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 단계; 및 상기 결정된 시작 위치에 기초하여 상기 렌즈의 초점 위치를 찾는 단계를 포함하는 카메라의 자동 초점 조절 방법이 제공된다.

상기 렌즈의 초점 위치를 찾는 단계는 상기 결정된 시작 위치에 따라 위치 제어 신호를 출력하는 단계; 상기 시작 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하고, 콘트라스트 필터를 이용하여 상기 수신된 이미지의 콘트라스트 값을 산출하는 단계; 및 상기 콘트라스트 값에 기초하여, 상기 렌즈의 포커싱 여부를 판단하는 단계를 포함할 수 있다.

상기 콘트라스트 필터의 계수는 상기 얼굴 검출 신호에 따라 변경될 수 있다.

상기 방법은 상기 분석 결과에 기초하여 역광 여부를 나타내는 역광 검출 신호를 발생하는 단계를 더 포함할 수 있다. 상기 콘트라스트 필터의 계수는 상기 역광 검출 신호에 따라 변경될 수 있다.

상기 수신된 이미지의 콘트라스트 값을 산출하는 단계는 서로 다른 복수의 필터 계수를 저장하는 필터 계수 룩업 테이블로부터, 상기 얼굴 검출 신호 및 상기 역광 검출 신호에 상응하는 필터 계수를 선택하는 단계; 및 상기 선택된 필터 계수를 상기 콘트라스트 필터에 적용하는 단계를 포함할 수 있다.

상기 렌즈의 초점 위치를 찾는 단계는 상기 렌즈의 포커싱 여부를 판단한 결과, 상기 렌즈의 포커싱이 맞지 않으면, 위치 변경 신호를 출력하는 단계; 및 상기 위치 변경 신호에 따라 변경된 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하여 상기 콘트라스트 값을 산출하는 단계를 더 포함할 수 있다.

상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 단계는 복수의 얼굴 크기 각각에 상응하는 시작 위치 정보를 저장하는 룩업 테이블로부터 상기 산출된 얼굴 크기에 가장 근접한 적어도 하나의 시작 위치 정보를 선택하는 단계; 및 상기 선택된 적어도 하나의 시작 위치 정보를 보간(interpolation)하여, 상기 결정된 시작 위치로 출력하는 단계를 포함할 수 있다.

상기 방법은 초기 위치 정보를 레지스터에 설정하는 단계; 및 상기 이미지에서 상기 얼굴이 검출되지 않으면, 상기 초기 위치 정보에 기초하여 상기 렌즈의 초점 위치를 찾는 단계를 더 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈을 제어하는 카메라 제어 장치에 있어서, 상기 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하고, 분석 결과에 기초하여 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 발생하며, 상기 얼굴이 검출되면 얼굴 크기를 산출하는 얼굴 검출기; 상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 렌즈 이동 범위 결정부; 및 상기 결정된 시작 위치에 따라 상기 렌즈의 위치를 제어하기 위한 위치 제어 신호를 상기 카메라 모듈로 출력하며, 상기 렌즈의 초점 위치를 찾는 자동 초점 산출부를 포함하는 카메라 제어 장치가 제공된다.

상기 렌즈 이동 범위 결정부는 복수의 얼굴 크기 각각에 상응하는 시작 위치 정보를 저장하며, 상기 산출된 얼굴 크기에 가장 근접한 적어도 하나의 시작 위치 정보를 출력하는 룩업 테이블; 초기 위치 정보를 저장하는 레지스터; 및 상기 얼굴 검출 신호에 응답하여, 상기 룩업 테이블의 시작 위치 정보(SPOS)와 상기 초기 위치 정보 중 하나를 선택하여 출력하는 선택기를 포함할 수 있다.

상기 자동 초점 산출부는 상기 결정된 시작 위치에 기초하여 위치 제어 신호를 상기 카메라 모듈로 출력하고, 상기 시작 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하고, 콘트라스트 필터를 이용하여 상기 수신된 이미지의 콘트라스트 값을 산출하며, 상기 콘트라스트 값에 기초하여 상기 렌즈의 포커싱 여부를 판단할 수 있다.

상기 자동 초점 산출부는 서로 다른 복수(2 이상)의 필터 계수(FC)를 저장하고, 얼굴 검출 신호(DFLAG)에 상응하는 필터 계수를 선택하여 출력하는 필터 계수 룩업 테이블(331); 및 상기 선택된 필터 계수가 적용된 콘트라스트 필터를 이용하여 상기 콘트라스트 값(CFR)을 산출하는 콘트라스트 산출부(332)를 포함할 수 있다.

상기 자동 초점 산출부는 상기 캡처된 이미지를 분석하여 역광 여부를 나타내는 역광 검출 신호를 발생하는 역광 검출기를 더 포함하고, 상기 콘트라스트 필터의 계수는 상기 역광 검출 신호에 따라 변경될 수 있다.

본 발명의 실시예에 따르면, 얼굴 검출 결과를 이용하여 카메라 렌즈의 자동 초점 조절 동작을 수행하기 위한 범위, 즉 렌즈의 이동 범위를 결정함으로써, 렌즈 이동 범위를 줄일 수 있다. 이에 따라 자동 초점 속도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따르면, 얼굴 검출 결과 및 역광 여부에 따라 입력 영상에 대하여 다른 필터를 사용하여 초점 여부를 판단하므로, 자동 초점의 정확도를 향상시킬 수 있다. 특히, 얼굴 검출 결과에 따라, 얼굴 특수 필터(face specific filter)를 사용하여 콘트라스트를 산출하고 이에 따라 초점 여부를 판단함으로써, 인물 사진이나 인물 영상 자동 초점 정확도를 개선할 수 있다

도 1은 본 발명의 실시예에 따른 카메라 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 카메라 모듈의 실시예를 나타내는 블록도이다.
도 3은 도 1에 도시된 자동 초점 조절기의 실시예를 나타내는 블록도이다.
도 4는 도 3에 도시된 렌즈 이동 범위 결정부의 일 실시예를 나타내는 블록도이다.
도 5는 도 4에 도시된 룩업 테이블의 일 실시예를 나타내는 테이블이다.
도 6은 도 3에 도시된 자동 초점 산출부의 일 실시예를 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 카메라 시스템의 구성 블록도이다.
도 8은 본 발명의 일 실시예에 따른 카메라의 자동 초점 조절 방법을 나타내는 순서도이다.
도 9는 도 8에 도시된 렌즈 초점위치를 찾는 단계의 일 실시예를 나타내는 순서도이다.
도 10은 본 발명의 실시예에 따른 전자 시스템을 나타내는 구성 블록도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 카메라 시스템(1)을 나타내는 블록도이다. 도 2는 도 1에 도시된 카메라 모듈(20)의 실시예를 나타내는 블록도이다. 도 3은 도 1에 도시된 자동 초점 조절기(300)의 실시예를 나타내는 블록도이다. 도 4는 도 3에 도시된 렌즈 이동 범위 결정부(320)의 일 실시예를 나타내는 블록도이다. 도 5는 도 4에 도시된 룩업 테이블(321)의 일 실시예를 나타내는 테이블이다. 도 6은 도 3에 도시된 자동 초점 산출부(330)의 일 실시예를 나타내는 블록도이다.

도 1내지 도 6을 참조하면, 카메라 시스템(1)은 카메라 제어 장치(10), 카메라 모듈(camera module, 20), 외부 메모리(30), 및 디스플레이 장치(40)를 포함할 수 있다. 실시예에 따라, 카메라 시스템(1)은 일부 구성요소(예컨대, 외부 메모리(30))를 포함하지 않을 수도 있고, 다른 구성요소(예컨대, 온도 센서, 중력 센서 등)를 더 포함할 수 있다.

카메라 모듈(20)은 렌즈(210), 액추에이터(actuator, 220), 이미지 센서(230) 및 제어 회로(240)를 포함할 수 있다.

렌즈(210)는 초점을 맞추기 위한 렌즈(이하, '초점용 렌즈'라 함)일 수 있다. 카메라 모듈(20)은 초점용 렌즈(210) 외에도 빛을 모으기 위한 렌즈(미도시), 빛을 분산하기 위한 렌즈(미도시) 등을 더 포함할 수 있다. 예컨대, 카메라 모듈(20)은 서로 다른 기능을 수행하는 둘 이상의 렌즈를 포함할 수 있다.

초점용 렌즈(210)는 유리(glass) 렌즈, 플라스틱 렌즈, 또는 액체 렌즈로 구현될 수 있으나, 이에 한정되는 것은 아니다. 초점용 렌즈(210)가 플라스틱 렌즈로 구현되는 경우 중저가의 카메라 시스템(1)을 구현할 수 있다.

액추에이터(220)는 초점용 렌즈(210)의 위치를 조절함으로써, 자동 초점(Auto-focus) 동작을 수행할 수 있다.

일 실시예에서, 액추에이터(220)는 초점용 렌즈(210)의 위치를 오픈 루프(open-loop) 방식으로 제어하는 보이스 코일 모터(VCM) 액추에이터일 수 있다. 오픈 루프 방식이란, 렌즈(210)의 위치 정보를 피드백 받지 않고 렌즈(210)의 위치의 조절하는 방식이라는 점에서, 렌즈(210)의 위치 정보를 피드백 받아서 렌즈(210)의 위치를 제어하는 폐루프(closed-loop) 방식과 차이가 있다. 따라서, 일 실시예에서, 카메라 모듈(20)은 렌즈(210)의 위치를 측정하거나 센싱하는 센서를 구비하지 않는다.

VCM 액추에이터(220)는 보이스 코일 모터(VCM)에 전류가 인가되면 코일에서 발생하는 전자기장에 의해 렌즈를 공중 부양시킨다. 따라서, VCM에 인가되는 전류량을 조절함으로써, 렌즈의 위치를 조절할 수 있다.

액추에이터(220)는 초점을 맞추기 위해 초점용 렌즈(210)를 앞뒤(예컨대, y축)로 이동시킬 수도 있고, 위아래(예컨대, z축)와 좌우(예컨대, x축)으로 움직일 수도 있다. 도 2에서 x축은 y-z 평면에 수직인 축일 수 있다. 설명의 편의를 위하여, z축을 지면(surface of the earth)에 수직인 축으로 가정하고, x축 및 z축은 각각 y축에 수직인 축으로 가정한다.

제어 회로(240)는 카메라 제어 장치(10)로부터 인가되는 위치 제어 신호(CON)에 따라, 액추에이터(220)를 제어한다. 예컨대, 제어 회로(240)는 카메라 제어 장치(10)의 위치 제어 신호(CON)에 상응하는 전류를 액추에이터(220)로 인가할 수 있다.

이미지 센서(230)는 카메라 제어 장치(10)의 제어에 따라 동작하여, 이미지 정보를 생성할 수 있다.

이미지 센서(230)는 카메라 제어 장치(10)의 제어에 의해 렌즈(210)를 통해 촬상된 대상물(object, 350)을 센싱하여 센싱된 이미지를 카메라 제어 장치(10)로 전송한다. 카메라 제어 장치(10)는 이미지 센서(100)에 의해 센싱된 이미지를 처리하여 외부 메모리(30)에 저장하거나, 디스플레이 장치(40)로 출력할 수 있다. 이때, 디스플레이 장치(40)는 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 장치(300)는 LCD, LED, OLED, AMOLED 장치 등으로 구현될 수 있다.

디스플레이 장치(40)는 카메라 제어 장치(10) 또는 메모리(40)로부터 이미지(예컨대, 정지 영상 또는 동영상)를 수신하여 디스플레이(예컨대, LCD, AMOLED)를 통하여 디스플레이할 수 있다.

카메라 제어 장치(10)는 카메라 모듈(20), 외부 메모리(30), 및 디스플레이 장치(40)의 동작을 제어하며, 이들 구성요소들과 제어 신호 및 데이터를 주고 받을 수 있으며, 이들 구성요소들로부터 수신한 데이터를 처리할 수 있다.

실시예에 따라, 카메라 제어 장치(10)는 프로세서(processor), 또는 하나 이상의 프로세서를 포함하는 시스템 온 칩(System-on-chip) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에서, 카메라 제어 장치(10)는 카메라 인터페이스(Camera I/F, 170) 및 자동 초점 조절기(300)를 포함할 수 있다. 카메라 제어 장치(10)는 또한 추가적인 구성요소, 예컨대, 하나 이상의 프로세싱 유닛(processing unit, 또는 "core"라고도 칭함) 및 인터페이스 회로들을 포함할 수 있다. 일 실시예에서, 자동 초점 조절기(300)는 하나 이상의 프로세싱 유닛에 의해 실행될 수 있다.

카메라 인터페이스(170)는 카메라 모듈(20)과 인터페이스한다. 예를 들어, 카메라 인터페이스(170)는 미리 정해진 인터페이스 규격이나 프로토콜에 따라 카메라 모듈(20)을 제어하기 위한 제어 신호(CON)를 출력하고, 카메라 모듈(20)로부터 이미지 데이터(IDATA)를 수신할 수 있다. 카메라 인터페이스(170)는 카메라 모듈(20)로부터 수신한 이미지 데이터(IDATA)를 외부 메모리(30)에 저장하거나, 또는 자동 초점 조절기(300)로 전송할 수 있다.

자동 초점 조절기(300)는 오토 포커싱 동작을 수행하는 오토 포커싱 모드에서, 렌즈(210)의 초점 위치를 찾기 위한 범위인 렌즈(210)의 이동 범위를 결정하며, 상기 결정된 이동 범위에 따라 렌즈의 초점 위치를 찾는다.

도 3을 참조하면, 자동 초점 조절기(300)는 얼굴 검출기(Face Detector, 310), 렌즈 이동 범위 결정부(Lens moving range decision, 320), 레지스터(Register, 325) 및 자동 초점 산출부(Auto focus, 330)를 포함할 수 있다.

얼굴 검출기(310)는 카메라 모듈(20)로부터 수신한 이미지 데이터(IDATA)를 분석하여 얼굴을 검출한다. 즉, 얼굴 검출기(310)는 이미지 데이터(IDATA)를 분석하여 이미지 데이터(IDATA) 내에 사람의 얼굴이 포함되어 있는지 검출하고, 얼굴 검출 여부를 나타내는 얼굴 검출 신호(DFLAG)를 출력할 수 있다.

예를 들어, 얼굴 검출기(310)는 이미지 데이터(IDATA)에서 얼굴이 검출되면 제1 로직 레벨(예컨대 "1")을 갖는 얼굴 검출 신호(DFLAG)를 출력하고, 이미지 데이터(IDATA)에서 얼굴이 검출되지 않으면 제2 로직 레벨(예컨대 "2")을 갖는 얼굴 검출 신호(DFLAG)를 출력할 수 있다.

이미지 데이터(IDATA)에서 얼굴이 검출되면, 얼굴 검출기(310)는 검출된 얼굴 크기(DFS)를 산출하여, 렌즈 이동 범위 결정부(320)로 제공한다.

얼굴 크기(DFS)는 이미지 데이터(IDATA)에서 얼굴이 차지하는 비율로 표시될 수 있다. 예컨대, 이미지 데이터(IDATA)의 한 프레임의 크기를 100으로 가정하면, 얼굴 크기(DFS)는 0 이상 100이하의 값을 가질 수 있다.

얼굴 크기(DFS)는 렌즈(210)와 인물 피사체와의 거리에 따라 달라진다.

렌즈(210)와 인물 피사체와의 거리가 가까울수록 얼굴 크기(DFS)는 커진다.

렌즈 이동 범위 결정부(320)는 산출된 얼굴 크기(DFS)에 따라 렌즈 이동 범위(MOV_R)를 결정한다.

렌즈 이동 범위 결정부(320)는 룩업 테이블(321), 인터폴레이터(323) 및 선택기(313)를 포함할 수 있다.

룩업 테이블(321)은 복수의 얼굴 크기(DFS)들 각각에 상응하는 시작 위치 정보(IPOS)를 저장한다. 예컨대, 룩업 테이블(321)은 복수의 얼굴 크기(DFS) 대 시작 위치 정보(IPOS) 엔트리들을 저장한다. 각 엔트리는 미리 정해진 얼굴 크기(DFS)와 이에 해당하는 시작 위치 정보(IPOS)를 포함할 수 있다.

각 얼굴 크기(DFS)에 해당하는 시작 위치 정보(IPOS)는 카메라 모듈(20) 또는 카메라 모듈(20)을 대표하는 대표 카메라 모듈을 테스트하거나 시뮬레이션을 함으로써 산출될 수 있다.

예컨대, 룩업 테이블(321)은 도 5에 도시된 바와 같이, 얼굴 크기(DFS)가 "10"때 시작 위치 정보(IPOS)를 "400"으로, 얼굴 크기(DFS)가 "20"때 시작 위치 정보(IPOS)를 "450"으로 저장할 수 있다.

룩업 테이블(321)은 미리 저장된 복수의 엔트리들 중 산출된 얼굴 크기(DFS)에 해당하는 시작 위치 정보(IPOS) 또는 산출된 얼굴 크기(DFS)에 가장 근접한 적어도 하나의 시작 위치 정보(IPOS)를 선택하여 출력할 수 있다.

예를 들어, 룩업 테이블(321)은 미리 저장된 복수의 엔트리들 중 산출된 얼굴 크기(DFS)에 근접한 두 개의 시작 위치 정보(IPOS)을 선택하여 출력할 수 있다.

이 경우, 인터폴레이터(323)는 선택된 두 개의 시작 위치 정보(IPOS)을 인터폴레이션하여 얼굴 크기(DFS)에 해당하는 시작 위치 정보(SPOS)을 산출할 수 있다.

실시예에 따라, 인터폴레이터(323)는 생략될 수 있다. 또한 실시예에 따라, 룩업 테이블(321) 대신에, 미리 정해진 알고리즘에 따라 얼굴 크기(DFS)에 따른 시작 위치 정보(IPOS)를 산출하여 출력하는 시작 위치 정보 산출기(미도시)가 사용될 수도 있다.

선택기(325)는 얼굴 검출 신호(DFLAG)에 응답하여, 인터폴레이터(323)로부터 출력되는 시작 위치 정보(SPOS)와 초기 렌즈 이동 범위(MOV_I) 중 하나를 선택하여 렌즈 이동 범위(MOV_R)로서 출력할 수 있다.

렌즈 이동 범위(MOV_R)는 시작값과 종료값에 의하여 정의될 수 있다. 그러나, 이에 한정되는 것은 아니며, 렌즈 이동 범위(MOV_R)는 시작값만을 포함할 수도 있다.

초기 렌즈 이동 범위(MOV_I)는 레지스터(325)에 저장될 수 있다. 그러나, 본 발명의 실시예가 이에 한정되는 것은 아니다. 초기 렌즈 이동 범위(MOV_I)는 메모리(예컨대, 외부 메모리(30)나 카메라 제어 장치(10)의 내부 메모리(미도시))에 저장될 수 있다.

초기 렌즈 이동 범위(MOV_I)는 초기 시작값 및 초기 종료값을 포함할 수 있으나, 초기 시작값만을 포함할 수도 있다.

이 경우, 선택기(325)는 얼굴 검출 신호(DFLAG)에 응답하여, 시작 위치 정보(IPOS)와 초기 렌즈 이동 범위(MOV_I)는 초기 시작값 중 하나를 렌즈 이동 범위(MOV_R)의 시작값으로 출력할 수 있다.

렌즈 이동 범위(MOV_R), 초기 렌즈 이동 범위(MOV_I), 및 시작 위치 정보(IPOS, 및 SPOS) 각각은 액추에이터(220)의 구동 전류를 제어하기 위한 디지털 코드("전류 제어 코드" 라 칭함)로 표현될 수 있다. 액추에이터(220)의 구동 전류량에 따라, 렌즈(210)의 위치가 제어된다.

렌즈 이동 범위(MOV_R)의 시작값은 오토 포커싱 동작을 시작하는 렌즈의 위치를 지정하기 위한 전류 제어 코드이고, 렌즈 이동 범위(MOV_R)의 종료값은 오토 포커싱 동작을 종료하는 렌즈의 위치를 지정하기 위한 전류 제어 코드일 수 있다.

자동 초점 산출부(330)는 렌즈 이동 범위 결정부(320)에 의해 결정된 렌즈 이동 범위(MOV_R)에 따라 상기 렌즈의 초점 위치를 찾는다.

자동 초점 산출부(330)는 이미지 센서(230)에 의해 캡쳐된 이미지(IDATA)를 카메라 인터페이스(170)를 통해 수신하고, 상기 수신된 이미지(IDATA)를 분석하고, 분석 결과에 기초하여, 상기 렌즈(210)의 포커싱 여부를 판단한다. 자동 초점 산출부(330)는 렌즈 이동 범위 내에서 렌즈의 위치를 변경하도록 카메라 모듈(20)을 제어하고, 변경된 위치의 렌즈를 이용하여 캡쳐된 이미지(IDATA)를 분석하여 초점이 맞는 렌즈의 위치를 찾을 수 있다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 자동 초점 산출부(330)는 필터 계수 룩업 테이블(331), 콘트라스트 산출부(contrast calculator, 332), 초점 판단부(333), 및 제어 신호 발생기(335)를 포함한다.

필터 계수 룩업 테이블(331)은 얼굴 검출 신호(DFLAG)에 따라 서로 다른 복수(2이상)의 필터 계수(FC)를 저장할 수 있다.

실시예에 따라, 필터 계수 룩업 테이블(331)은 얼굴 검출 신호(DFLAG) 및 역광 검출 신호(DBL)의 조합에 따라 서로 다른 필터 계수(filter coefficients, FC)를 저장할 수 있다.

역광 검출 신호(DBL)는 이미지 데이터(IDATA)가 역광(back light)를 받은 상태인지를 나타내는 신호이다. 이를 위하여, 자동 초점 산출부(330)는 이미지 데이터(IDATA)가 역광에 노출된 이미지인지를 검출하여 상기 역광 검출 신호(DBL)를 출력하는 역광 검출기(미도시)를 더 포함할 수 있다.

예를 들어, 역광 검출기(미도시)는 역광이 검출되면 제1 로직 레벨(예컨대 "1")을 갖는 역광 검출 신호(DBL)를 출력하고, 역광이 검출되지 않으면 제2 로직 레벨(예컨대 "2")을 갖는 역광 검출 신호(DBL)를 출력할 수 있다.

따라서, 필터 계수 룩업 테이블(331)은 얼굴 검출 신호(DFLAG) 및 역광 검출 신호(DBL)의 조합의 각각(예컨대, "11', "10", "01" 또는 "00")에 상응하는 필터 계수(FC)를 저장할 수 있다.

콘트라스트 산출부(332)는 이미지 센서(230)에 의해 캡쳐된 이미지(IDATA)를 수신하고, 상기 이미지(IDATA)를 처리하여 콘트라스트 값(contrast value)(CFR)을 산출한다. 캡쳐된 이미지(IDATA)는 한 프레임에 해당하는 이미지 데이터일 수 있다.

일 실시예에서 콘트라스트 산출부(332)는 필터 계수를 변경할 수 있는 콘트라스트 필터(미도시)를 이용하여 콘트라스트 값(CFR)을 산출할 수 있다. 콘트라스트 필터의 계수는 얼굴 검출 신호(DFLAG) 및 역광 검출 신호(DBL)에 따라 필터 계수 룩업 테이블(331)에서 선택된 필터 계수이다.

따라서, 콘트라스트 산출부(332)는 얼굴 검출 여부에 따라 콘트라스트 필터의 계수를 다르게 적용하여 콘트라스트 값(CFR)을 산출하고, 또한, 역광 검출 여부에 따라 콘트라스트 필터의 계수를 다르게 적용하여 콘트라스트 값(CFR)을 산출한다.

콘트라스트 값(CFR)을 검출하여 초점을 조절하는 경우, 초점의 정확도는 콘트라스트 필터에 의존한다. 통상의 콘트라스트 필터는 일반적인 영상에 대해 동일하게 적용할 수 있어야 하기 때문에 일반적인 HPF(high frequency filter)를 기준으로 설계된다. 하지만 얼굴은 텍스쳐(texture)가 많은 피사체에 비해 중간 대역의 공간 주파수(spatial frequency)에 좀 더 많은 정보를 가지고 있다.

본 발명의 실시예에 따르면, 얼굴이 검출된 경우 콘트라스트 필터의 계수를 얼굴 특징에 적합하게 설계된 필터 계수로 변경함으로써, 얼굴의 콘트라스트를 좀 더 정확하게 산출할 수 있다.

실시예에 따라. 얼굴 검출 신호(DFLAG) 및 역광 검출 신호(DBL)에 따라 콘트라스트 필터를 변경할 수도 있다. 예컨대, 콘트라스트 산출부(332)는 얼굴 검출 신호(DFLAG) 및 역광 검출 신호(DBL)의 조합의 각각(예컨대, "11', "10", "01" 또는 "00")에 상응하는 복수의 콘트라스트 필터를 구비하고, 얼굴 검출 신호(DFLAG) 및 역광 검출 신호(DBL)에 따라 복수의 콘트라스트 필터 중 하나를 선택하여 콘트라스트 값(CFR)을 산출할 수 있다.

이와 같이, 얼굴검출 여부에 따라 콘트라스트 필터를 노말 필터(예컨대, 얼굴이 검출되지 않는 경우에 적용하는 필터)와 얼굴 특수 필터(face specific filter)(예컨대, 얼굴이 검출된 경우 적용하는 필터) 간 스위칭한다면 인물에 대한 자동 초점 정확도를 상승시킬 수 있다.

초점 판단부(333)는 상기 콘트라스트 값(CFR)의 피크치(peak value)에 기초하여 상기 렌즈(210)의 포커싱 여부를 판단한다.

콘트라스트 값(CFR)는 하나의 이미지(IDATA) 내의 가장 밝은 부분과 가장 어두운 부분과의 상대적 차이를 수치화한 값이다.

렌즈 이동 범위 내에서 렌즈(210)의 위치를 변경하면서, 각 변경된 위치에서의 이미지(IDATA)의 콘트라스트 값을 산출하면, 산출된 콘트라스트 값은 점점 증가하다가 낮아질 수 있다.

이 경우, 콘트라스트 값의 피크치에 해당하는 위치가 렌즈(210)의 초점이 가장 잘 맞는 위치이다.

따라서, 초점 판단부(333)는 상기 콘트라스트 값(CFR)의 피크치(peak value)에 기초하여 상기 렌즈(210)의 포커싱 여부 및 포커싱 위치를 판단하고, 판단 결과(FDS)를 제어 신호 발생기(335)로 제공할 수 있다.

제어 신호 발생기(335)는 렌즈 이동 범위(MOV_R) 및 초점 판단부(333)의 판단 결과(FDS)에 기초하여 위치 제어 신호(CON)를 카메라 모듈(20)로 출력할 수 있다.

일 실시예에서, 제어 신호 발생기(335)는 렌즈 이동 범위(MOV_R)의 시작값(즉, 시작 전류 제어 코드)에 해당하는 위치 제어 신호(CON)를 상기 카메라 모듈(20)로 출력하고, 다음에는, 렌즈 이동 범위(MOV_R)의 시작값으로부터 한 스텝만큼 증가된 값에 해당하는 위치 제어 신호(CON)를 카메라 모듈(20)로 출력할 수 있다. 이와 같이, 제어 신호 발생기(335)는 초점 판단부(333)로부터 포커싱이 되었음을 나타내는 판단 결과(FDS)를 수신할 때까지, 렌즈(210)의 위치를 순차적으로 변경하기 위한 위치 제어 신호(CON)를 상기 카메라 모듈(20)로 출력할 수 있다.

위치 제어 신호(CON)는 카메라 인터페이스(170)에서 미리 정해진 인터페이스 규격의 신호로 변환되어 카메라 모듈(20)로 전송될 수 있다.

카메라 모듈(20)의 제어 회로(240)는 상기 위치 제어 신호(CON)에 응답하여 상기 액추에이터(220)의 구동 전류를 제어한다. 이에 따라, 액추에이터(220)는 상기 위치 제어 신호(CON)에 해당하는 위치로 렌즈(210)를 구동한다.

본 발명의 실시예에 따르면, 렌즈(210)의 위치를 측정하거나 센싱하는 센서를 구비하지 않고, 오픈 루프 방식으로 액추에이터(220)의 구동 전류량으로 렌즈(210)의 위치를 제어한다.

상술한 바와 같이, 본 발명의 실시예에 따르면, 시뮬레이션이나 테스트 등을 통해 미리 설정한 룩업 테이블 등을 이용하여 얼굴 크기에 따라 렌즈의 시작 위치를 조정함으로써, 초점을 찾기 위해 이동해야 하는 렌즈의 이동 범위를 대폭 줄일 수 있다. 이에 따라 자동 초점 속도를 향상시킬 수 있다.

도 7은 본 발명의 일 실시예에 따른 카메라 시스템의 구성 블록도이다.

도 7을 참조하면, 카메라 시스템(1a)은 휴대용 전자 장치로 구현될 수 있다. 상기 휴대용 전자 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID), 웨어러블 컴퓨터, 사물 인터넷 (internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.

카메라 시스템(1a)은 시스템 온 칩(SoC: system-on-chip, 10a), 카메라 모듈(20), 외부 메모리(30), 및 디스플레이 장치(40)를 포함할 수 있다.

카메라 모듈(20), 외부 메모리(30), 및 디스플레이 장치(40)는 도 1을 참조하여 상술하였으므로, 설명의 중복을 피하기 위하여 차이점 위주로 설명한다.

카메라 시스템(1a)은 카메라 모듈(20)에서 촬상한 정지 영상 신호(또는 정지 영상) 또는 동영상 신호(또는 동영상)를 디스플레이 장치(40)에서 디스플레이할 수 있다.

외부 메모리(30)는 SoC(10a)에서 실행되는 프로그램 명령들(program instructions)을 저장한다. 또한, 외부 메모리(30)는 디스플레이 장치(40)에 스틸 이미지들(still images) 또는 무빙 이미지(moving image)를 디스플레이하기 위한 이미지 데이터를 저장할 수 있다. 상기 무빙 이미지는 짧은 시간에 나타나는(presented) 일련의 서로 다른 스틸 이미지들이다.

외부 메모리(30)는 휘발성 메모리 또는 불휘발성 메모리일 수 있다. 상기 휘발성 메모리는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)일 수 있다. 상기 불휘발성 메모리는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), PRAM(Phase change RAM), 저항 메모리일 수 있다.

SoC(10a)는 도 1의 카메라 제어 장치(10)에 상응하는 동작을 수행할 수 있다. SoC(10a)는 카메라 모듈(20), 외부 메모리(30), 및 디스플레이 장치(40)를 제어한다. 실시 예에 따라 SoC(10a)는 집적 회로(integrated circuit(IC)), 프로세서(processor), 어플리케이션 프로세서(application processor), 멀티 미디어 프로세서(multimedia processor), 또는 집적된 멀티 미디어 프로세서(integrated multimedia processor)라고 호칭될 수 있다.

SoC(10a)는 중앙처리장치(central processing unit(CPU); 100), ROM(read only memory; 110), RAM(random access memory; 120), 이미지 처리 프로세서(ISP: image signal processor)(130), 디스플레이 컨트롤러(200), 그래픽 프로세싱 유닛(graphics processing unit(GPU); 150), 메모리 컨트롤러(160), 카메라 인터페이스(170), 및 시스템 버스(180)를 포함할 수 있다. SoC(10)는 도시된 구성 요소 이외에 다른 구성 요소들을 더 포함할 수 있다.

도 1을 참조하여 상술한 자동 초점 조절기(300)는 도 7의 SoC(10a) 내의 하나 이상의 구성요소(예컨대, CPU(100) 및 ISP(130) 등)에 분산 구현될 수 있다.

프로세서(processor)라고도 불릴 수 있는 CPU(100)는 외부 메모리(30)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 예컨대, CPU(100)는 클럭 신호 모듈(미도시)로부터 출력된 동작 클락 신호에 응답하여 상기 프로그램들 및/또는 상기 데이터를 처리 또는 실행할 수 있다.

CPU(100)는 멀티-코어 프로세서(multi-core processor)로 구현될 수 있다. 상기 멀티-코어 프로세서는 두 개 또는 그 이상의 독립적인 실질적인 프로세서들('코어들(cores)'이라고 불림)을 갖는 하나의 컴퓨팅 컴포넌트(computing component)이고, 상기 프로세서들 각각은 프로그램 명령들(program instructions)을 읽고 실행할 수 있다.

CPU(100)는 운영체제(OS; operating system)을 실행한다. 운영체제(OS)는 카메라 시스템(1a)의 자원(예를 들어, 메모리, 디스플레이 등)을 관리할 수 있다. 운영체제(OS)는 카메라 시스템(1a)에서 실행되는 어플리케이션들에 자원을 배분할 수 있다.

ROM(110), RAM(120), 및/또는 외부 메모리(30)에 저장된 프로그램들 및/또는 데이터는 필요에 따라 CPU(100)의 메모리(미도시)에 로드(load)될 수 있다.

ROM(110)은 영구적인 프로그램들 및/또는 데이터를 저장할 수 있다.

ROM(110)은 EPROM(erasable programmable read-only memory) 또는 EEPROM (electrically erasable programmable read-only memory)으로 구현될 수 있다.

RAM(120)은 프로그램들, 데이터, 또는 명령들(instructions)을 일시적으로 저장할 수 있다. 예컨대, 메모리(110 또는 30)에 저장된 프로그램들 및/또는 데이터는 CPU(100)의 제어에 따라 또는 ROM(110)에 저장된 부팅 코드(booting code)에 따라 RAM(120)에 일시적으로 저장될 수 있다. RAM(120)은 DRAM(dynamic RAM) 또는 SRAM(static RAM)으로 구현될 수 있다.

ISP(130)는 이미지 신호에 대한 각종 처리(processing)를 수행할 수 있다.

ISP(130)는 이미지 센서(도 1의 230)로부터 입력된 이미지 데이터를 처리할 수 있다. 예컨대, ISP(130)는 이미지 센서(도 1의 230)로부터 입력된 이미지 데이터를 분석하고, 초점 여부를 판단할 수 있다. ISP(130)는 또한 이미지 센서(도 1의 230)로부터 입력된 이미지 데이터의 떨림 보정을 하고, 화이트 밸런스를 맞출 수 있고, 명도·대비 등의 색 보정, 색조화, 양자화, 다른 색 공간으로의 색 변환 등을 수행할 수 있다. ISP(130)는 영상 처리한 이미지 데이터를 주기적으로 버스(180)를 통해 메모리(30)에 저장할 수 있다.

GPU(150)는 그래픽 처리와 관련된 프로그램 명령들을 읽고 수행할 수 있다. 예컨대, GPU(150)는 그래픽 관련 도형 처리 등을 고속으로 수행할 수 있다.

또한, GPU(150)는 메모리 컨트롤러(160)에 의해 외부 메모리(30)로부터 리드 (read)된 데이터를 디스플레이 디바이스(20)에 적합한 신호로 변환할 수 있다.

그래픽 처리를 위해, GPU(150) 외에도 그래픽 엔진(미도시) 또는 그래픽 액셀레이터(Accelerator) 등이 사용될 수 있다.

카메라 인터페이스(170)는 카메라 모듈(20)과 인터페이스한다. 예를 들어, 카메라 인터페이스(170)는 미리 정해진 인터페이스 규격이나 프로토콜에 따라 카메라 모듈(20)을 제어하기 위한 제어 신호를 출력하고, 카메라 모듈(20)로부터 이미지 데이터를 수신할 수 있다. 카메라 인터페이스(170)는 카메라 모듈(20)로부터 수신한 이미지 데이터를 외부 메모리(30)에 저장하거나, 또는 다른 구성요소(예컨대, ISP(130))로 전송할 수 있다.

메모리 컨트롤러(160)는 외부 메모리(30)와 인터페이스한다. 메모리 컨트롤러(160)는 외부 메모리(30)의 동작을 전반적으로 제어하며, 호스트와 외부 메모리(30) 사이의 데이터 교환을 제어한다. 예컨대, 메모리 컨트롤러(160)는 호스트의 요청에 따라 외부 메모리(30)에 데이터를 쓰거나 외부 메모리(30)로부터 데이터를 읽을 수 있다. 여기서, 호스트는 CPU(100), ISP(130), GPU(150), 디스플레이 컨트롤러(200), 또는 카메라 인터페이스(170)와 같은 마스터(master) 장치일 수 있다.

실시예에 따라, 메모리 컨트롤러(160)는 디스플레이 컨트롤러(200)로부터의 이미지 데이터 요청에 따라, 외부 메모리(30)로부터 이미지 데이터를 독출하여 메모리 컨트롤러(160)로 제공할 수 있다.

디스플레이 컨트롤러(200)는 디스플레이 장치(40)의 동작을 제어한다.

디스플레이 컨트롤러(200)는 디스플레이 장치(40)를 통해 디스플레이할 이미지 데이터를 시스템 버스(180)를 통하여 수신하고, 이를 디스플레이 장치(40)로 전송하기 위한 신호(예컨대, 인터페이스 규격에 따른 신호)로 변환하여, 상기 디스플레이 장치(40)로 전송한다.

각 구성 요소(100, 110, 120, 130, 150, 160, 170, 및 200)는 시스템 버스(180)를 통하여 서로 통신할 수 있다. 즉, 시스템 버스(180)는 SoC(10)의 각 구성요소를 연결하여 각 구성요소간 데이터 송수신의 통로 역할을 한다. 또한, 시스템 버스(180)는 각 구성요소간 제어 신호의 전송 통로 역할을 할 수 있다.

실시예에 따라, 시스템 버스(180)는 데이터를 전송하는 데이터 버스(미도시), 어드레스 신호를 전송하는 어드레스 버스(미도시) 및 제어 신호를 전송하는 제어 버스(미도시)를 포함할 수 있다.

실시예에 따라 시스템 버스(180)는 소정의 구성요소들 간의 데이터 통신을 위한 소규모의 버스, 즉, 인터커넥터(interconnector)를 포함할 수 있다.

도 8은 본 발명의 일 실시예에 따른 카메라의 자동 초점 조절 방법을 나타내는 순서도이다. 도 9는 도 8에 도시된 렌즈 초점위치를 찾는 단계의 일 실시예를 나타내는 순서도이다. 도 8 및 도 9에 도시된 본 발명의 일 실시예에 따른 카메라의 자동 초점 조절 방법은 도 1 또는 도 7의 카메라 시스템(1, 1a)에서 실행될 수 있다.

도 1 내지 도 9를 참조하면, 카메라 제어 장치(10) 또는 SoC(10a)는 카메라가 오토 포커싱 모드인지를 판단하여(S100), 오토 포커싱 모드인 경우, 카메라 모듈(20)로부터 입력 이미지를 수신하고, 수신된 이미지를 분석하여 얼굴을 검출한다 (S110).

이미지 분석 결과 얼굴이 검출되면(S120에서 YES), 얼굴 크기를 산출하고, 얼굴 크기에 따라 렌즈 시작 위치를 결정한다(S130).

S130 단계에서, 카메라 제어 장치(10) 또는 SoC(10a)는 미리 설정된 얼굴 크기별 렌즈 시작 위치 정보를 저장한 룩업 테이블(예컨대, 도 5의 321) 또는 미리 설정된 알고리즘을 이용하여 얼굴 크기에 따른 렌즈 시작 위치를 결정할 수 있으나, 이에 한정되는 것은 아니다.

다음으로, 카메라 제어 장치(10) 또는 SoC(10a)는 S130 단계에서 결정된 렌즈 시작 위치를 기반으로 렌즈의 초점 위치를 찾는다(S140).

한편, 이미지 분석 결과 얼굴이 검출되지 않으면(S120에서 NO), 카메라 제어 장치(10) 또는 SoC(10a)는 미리 설정된 렌즈 초기 위치를 선택하고(S150), 렌즈 초기 위치를 기반으로 렌즈의 초점 위치를 찾는다(S160). 렌즈 초기 위치는 도 3의 레지스터(325)에 미리 설정될 수 있다.

도 9를 참조하면, 렌즈의 초점 위치를 찾기 위해, 상기 결정된 렌즈 시작 위치, 즉 렌즈 이동 범위의 시작값에 따라 위치 제어 신호(CON)를 카메라 모듈(20)로 출력한다(S210)

카메라 모듈(20)은 위치 제어 신호(CON)에 응답하여 렌즈(210)를 시작 위치로 구동하고, 상기 시작 위치에 있는 렌즈를 이용하여 이미지를 캡쳐하고, 캡처된 이미지를 카메라 제어 장치(10) 또는 SoC(10a)로 전송한다(S220). 그러면, 카메라 제어 장치(10) 또는 SoC(10a)는 해당 이미지를 수신하여 분석하고(S230), 상기 분석 결과에 기초하여, 상기 렌즈의 포커싱 여부를 판단한다(240).

S240단계에서의 판단 결과, 상기 렌즈의 포커싱이 맞지 않으면, 렌즈의 위치를 변경하기 위한 위치 변경 신호를 카메라 모듈(20)로 출력한다(S250)

위치 변경 신호는 렌즈 이동 범위(MOV_R)의 시작값으로부터 한 스텝만큼 증가된 값에 해당하는 위치 제어 신호일 수 있다.

카메라 모듈(20)은 위치 변경 신호에 응답하여 렌즈(210)의 위치를 변경하고, 변경된 위치에 있는 렌즈를 이용하여 이미지를 캡쳐하고, 캡처된 이미지를 카메라 제어 장치(10) 또는 SoC(10a)로 전송한다(S220). 그러면, 카메라 제어 장치(10) 또는 SoC(10a)는 해당 이미지를 수신하여 분석하고(S230), 상기 분석 결과에 기초하여, 상기 렌즈의 포커싱 여부를 판단한다(240).

상기 과정들은 렌즈(210)의 초점이 맞을 때까지 반복 수행될 수 있다.

도 10은 본 발명의 실시예에 따른 전자 시스템(1000)을 나타내는 구성 블록도이다. 도 10을 참조하면, 전자 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, IPTV 또는 스마트 폰으로 구현될 수 있다.

전자 시스템(1000)은 어플리케이션 프로세서(1010), 이미지 센서(100), 및 디스플레이(1050)를 포함한다.

어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(100)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 예컨대, CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다.

어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.

전자 시스템(1000)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 전자 시스템(1000)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

전자 시스템(1000)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 전자 시스템(1000)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 본 발명에 따른 객체 정보 추정 방법을 수행하기 위한 프로그램 코드는 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 전송될 수도 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

카메라 시스템(1, 1a)
카메라 제어 장치(10)
SoC(10a)
카메라 모듈(camera module, 20)
외부 메모리(30)
디스플레이 장치(40)
카메라 인터페이스(170)
렌즈(210)
액추에이터(actuator, 220)
이미지 센서(230)
제어 회로(240)
자동 초점 조절기(300)
얼굴 검출기(Face Detector, 310)
렌즈 이동 범위 결정부(Lens moving range decision, 320)
레지스터(Register, 325)
자동 초점 산출부(Auto focus, 330)

Claims (10)

1. 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라의 자동 초점 조절 방법에 있어서,
   상기 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하고, 분석 결과에 기초하여 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 발생하는 단계;
   상기 얼굴이 검출되면 얼굴 크기를 산출하는 단계;
   상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 단계; 및
   상기 결정된 시작 위치에 기초하여 상기 렌즈의 초점 위치를 찾는 단계를 포함하는 카메라의 자동 초점 조절 방법.
2. 제1항에 있어서, 상기 렌즈의 초점 위치를 찾는 단계는
   상기 결정된 시작 위치에 따라 위치 제어 신호를 출력하는 단계;
   상기 시작 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하고, 콘트라스트 필터를 이용하여 상기 수신된 이미지의 콘트라스트 값을 산출하는 단계; 및
   상기 콘트라스트 값에 기초하여, 상기 렌즈의 포커싱 여부를 판단하는 단계를 포함하는 카메라의 자동 초점 조절 방법.
3. 제2항에 있어서, 상기 콘트라스트 필터의 계수는
   상기 얼굴 검출 신호에 따라 변경되는 카메라의 자동 초점 조절 방법.
4. 제3항에 있어서, 상기 방법은
   상기 분석 결과에 기초하여 역광 여부를 나타내는 역광 검출 신호를 발생하는 단계를 더 포함하고,
   상기 콘트라스트 필터의 계수는
   상기 역광 검출 신호에 따라 변경되는 카메라의 자동 초점 조절 방법.
5. 제4항에 있어서, 상기 수신된 이미지의 콘트라스트 값을 산출하는 단계는
   서로 다른 복수의 필터 계수를 저장하는 필터 계수 룩업 테이블로부터, 상기 얼굴 검출 신호 및 상기 역광 검출 신호에 상응하는 필터 계수를 선택하는 단계; 및
   상기 선택된 필터 계수를 상기 콘트라스트 필터에 적용하는 단계를 포함하는 카메라의 자동 초점 조절 방법.
6. 제2항에 있어서, 상기 렌즈의 초점 위치를 찾는 단계는
   상기 렌즈의 포커싱 여부를 판단한 결과, 상기 렌즈의 포커싱이 맞지 않으면, 위치 변경 신호를 출력하는 단계; 및
   상기 위치 변경 신호에 따라 변경된 위치로 구동된 렌즈를 이용하여 캡처된 이미지를 수신하여 상기 콘트라스트 값을 산출하는 단계를 더 포함하는 카메라의 자동 초점 조절 방법.
7. 제6항에 있어서, 상기 렌즈의 포커싱 여부를 판단하는 단계는
   상기 콘트라스트 값의 피크치에 기초하여 상기 렌즈의 포커싱 여부를 판단하는 단계를 포함하는 카메라의 자동 초점 조절 방법.
8. 제1항에 있어서, 상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 단계는
   복수의 얼굴 크기 각각에 상응하는 시작 위치 정보를 저장하는 룩업 테이블로부터 상기 산출된 얼굴 크기에 가장 근접한 적어도 하나의 시작 위치 정보를 선택하는 단계; 및
   상기 선택된 적어도 하나의 시작 위치 정보를 보간(interpolation)하여, 상기 결정된 시작 위치로 출력하는 단계를 포함하는 카메라의 자동 초점 조절 방법.
9. 렌즈의 위치를 오픈 루프 방식으로 제어하는 액추에이터를 포함하는 카메라 모듈을 제어하는 카메라 제어 장치에 있어서,
   상기 렌즈를 이용하여 캡처된 이미지를 수신하여 분석하고, 분석 결과에 기초하여 얼굴 검출 여부를 나타내는 얼굴 검출 신호를 발생하며, 상기 얼굴이 검출되면 얼굴 크기를 산출하는 얼굴 검출기;
   상기 산출된 얼굴 크기에 따라 상기 렌즈의 시작 위치를 결정하는 렌즈 이동 범위 결정부; 및
   상기 결정된 시작 위치에 따라 상기 렌즈의 위치를 제어하기 위한 위치 제어 신호를 상기 카메라 모듈로 출력하며, 상기 렌즈의 초점 위치를 찾는 자동 초점 산출부를 포함하는 카메라 제어 장치.
10. 제9항에 있어서, 상기 렌즈 이동 범위 결정부는
    복수의 얼굴 크기 각각에 상응하는 시작 위치 정보를 저장하며, 상기 산출된 얼굴 크기에 가장 근접한 적어도 하나의 시작 위치 정보를 출력하는 룩업 테이블;
    초기 위치 정보를 저장하는 레지스터; 및
    상기 얼굴 검출 신호에 응답하여, 상기 룩업 테이블의 시작 위치 정보와 상기 초기 위치 정보 중 하나를 선택하여 출력하는 선택기를 포함하는 카메라 제어 장치.
    

Images