KR20110103795A - 자동 초점 조절 장치 및 방법 - Google Patents

Abstract

본 발명은 검출한 피사체 얼굴에 대하여 신뢰성을 향상한 자동 초점 조절 장치 및 방법에 관한 것으로, 피사체로부터의 영상광을 입력하여 영상 신호를 생성하는 촬상부와, 상기 영상 신호로부터 얼굴 영역을 검출하는 얼굴 검출부와, 검출한 상기 얼굴 영역의 크기에 관한 조건을 판단하는 제1 판단부와, 상기 제1 판단부의 판단에 따라 상기 얼굴 영역과 상이한 초점 영역을 설정하는 초점 영역 설정부와, 설정한 상기 초점 영역에 따라 자동 초점 조절을 실행하는 AF 제어부를 구비하는 자동 초점 조절 장치 및 자동 초점 조절 방법을 제공한다.

Description

자동 초점 조절 장치 및 방법{auto focusing apparatus and auto focusing method}

본 발명은 자동 초점 조절 장치 및 방법에 관한 것이다.

얼굴 검출을 행하여 얻은 얼굴 영역을 초점 영역으로 사용할 때, 상기 초점 영역에 얼굴 피사체 뿐만 아니라 배경 피사체로 인해 오합초가 발생하는 문제가 있다.

상기 문제를 해결하고자 상기 초점 영역으로부터 배경 피사체를 제거하고자 하는 경우, 초점 영역의 크기가 너무 작아져 컨트라스트 AF 검출이 불가능하거나 그 신뢰도가 현저히 저하되는 문제가 발생한다.

본 발명은 검출한 피사체 얼굴에 대하여 신뢰성을 향상한 자동 초점 조절 장치 및 방법을 제공하고자 한다.

본 발명은 피사체로부터의 영상광을 입력하여 영상 신호를 생성하는 촬상부와, 상기 영상 신호로부터 얼굴 영역을 검출하는 얼굴 검출부와, 검출한 상기 얼굴 영역의 크기에 관한 조건을 판단하는 제1 판단부와, 상기 제1 판단부의 판단에 따라 상기 얼굴 영역과 상이한 초점 영역을 설정하는 초점 영역 설정부와, 설정한 상기 초점 영역에 따라 자동 초점 조절을 실행하는 AF 제어부를 구비하는 자동 초점 조절 장치를 제공한다.

또한, 본 발명은 피사체로부터의 영상광을 입력하여 영상 신호를 생성하는 단계와, 상기 영상 신호로부터 얼굴 영역을 검출하는 단계와, 검출한 상기 얼굴 영역의 크기에 관한 조건을 제1 판단하는 단계와, 상기 제1 판단 결과에 따라 상기 얼굴 영역과 상이한 초점 영역을 설정하는 단계와, 설정한 상기 초점 영역에 따라 자동 초점 조절을 실행하는 단계를 구비하는 자동 초점 조절 방법을 제공한다.

본 발명에 따르면 얼굴 영역을 초점 영역으로서 초점 검출을 실시하는 경우에, 정확하게 초점 검출을 실시할 수 있다.

도 1은 본 발명에 관한 자동 초점 조절 장치의 일 실시 예를 설명하기 위한 블록도이다.
도 2는 본 발명에 관한 자동 초점 조절 장치의 다른 실시 예를 설명하기 위한 블록도이다.
도 3은 도 1에 도시된 자동 초점 조절 장치에서 카메라 제어부(209)를 더욱 상세히 설명하기 위한 블록도이다.
도 4는 도 1에 도시하는 카메라 제어부의 일 실시 예를 기능에 따라 설명하기 위한 블록도이다.
도 5는 도 1에 도시하는 카메라 제어부의 다른 실시 예를 기능에 따라 설명하기 위한 블록도이다.
도 6a는 멀티 알고리즘을 위한 초점 영역을, 도 6b는 스팟 알고리즘을 위한 초점 영역을 나타낸 도면들이다.
도 7a와 7b는 얼굴 영역을 축소하여 제2 초점 영역을 형성하는 단계의 일 실시 예를 설명하기 위한 도면들이다.
도 8a와 8b는 얼굴 영역과 크기가 상이한 제1 초점 영역을 형성하는 과정을 설명하기 위한 도면들이다.
도 9는 휘도에 따라 초점 영역의 크기를 조절하는 방법을 설명하기 위한 도면이다.
도 10은 얼굴 영역을 축소하여 제2 초점 영역을 형성하는 단계의 다른 실시 예를 설명하기 위한 도면이다.
도 11a와 11b는 멀티 알고리즘에 따라 초점 영역을 설정하는 단계를 설명하기 위한 도면이다.
도 12는 본 발명에 관한 자동 초점 조절 장치의 동작의 일 실시 예를 설명하기 위한 순서도이다.
도 13은 본 발명에 관한 자동 초점 조절 장치의 동작에서 S1 동작의 일 실시 예를 설명하기 위한 순서도이다.
도 14는 본 발명에 관한 자동 초점 조절 장치의 동작에서 S2 동작의 일 실시 예를 설명하기 위한 순서도이다.
도 15는 본 발명에 관한 자동 초점 조절 장치의 동작에서 멀티 알고리즘을 설명하기 위한 순서도이다.
도 16은 본 발명에 관한 자동 초점 조절 장치의 동작에서 스팟 알고리즘을 설명하기 위한 순서도이다.
도 17은 본 발명에 관한 자동 초점 조절 장치의 동작에서 얼굴 인식 알고리즘의 일 실시 예를 설명하기 위한 순서도이다.
도 18은 본 발명에 관한 자동 초점 조절 장치의 동작의 다른 실시 예를 설명하기 위한 순서도이다.
도 19은 본 발명에 관한 자동 초점 조절 장치의 동작에서 얼굴 인식 알고리즘의 다른 실시 예를 설명하기 위한 순서도이다.
도 20은 본 발명에 관한 자동 초점 조절 장치의 동작에서 얼굴 인식 알고리즘의 또 다른 실시 예를 설명하기 위한 순서도이다.

이하, 본 발명에 관한 자동 초점 조절 장치 및 방법의 실시 예들에 대하여 첨부된 도면들을 참조해 상세히 설명하도록 한다.

도 1은 본 발명에 관한 자동 초점 조절 장치의 일 실시 예를 설명하기 위한 블록도이다. 본 실시 예에서는 자동 초점 조절 장치로서 교환식 렌즈를 탈착 가능한 일안 반사식 디지털 촬영 장치를 예시한다. 그러나, 이에 한정되는 것은 아니며 AF를 실행하는 디지털 기기 어디에도 본원은 적용 가능할 것이다.

도 1을 참조하면, 본 실시 예에 따른 디지털 촬영 장치(1)는 교환식 렌즈(100)와 본체부(200)를 포함한다. 상기 교환식 렌즈(100)는 자동 초점 조절 기능을 구비하고, 상기 본체부(200)는 상기 교환식 렌즈(100)가 포커스 렌즈(102)를 구동하는 기능을 구비한다.

교환식 렌즈(100)(이하, '렌즈'라고 말한다)는 결상 광학계(101), 줌렌즈 위치 감지부(103), 렌즈 구동부(105), 포커스 렌즈 위치 감지부(106), 조리개 구동부(108), 렌즈 제어부(110), 렌즈 마운트(109)를 포함한다.

결상 광학계(101)는 줌 조절을 위한 줌 렌즈(102), 초점 위치를 변화하는 포커스 렌즈(104) 및 조리개(107)를 포함한다. 줌 렌즈(102) 및 포커스 렌즈(104)는 복수의 렌즈를 조합한 렌즈군으로 구성할 수 있다.

줌 렌즈 위치 감지부(103) 및 포커스 렌즈 위치 감지부(106)는 각각 줌 렌즈(102)와 포커스 렌즈(104)의 위치를 감지한다. 포커스 렌즈(104)의 위치를 감지하는 타이밍은 렌즈 제어부(110) 또는 후술 하는 카메라 제어부(209)에 의해서 설정할 수 있다. 예를 들면 상기 포커스 렌즈(104)의 위치를 감지하는 타이밍은 영상 신호로부터 자동 초점 조절을 수행하는 타이밍일 수 있다.

렌즈 구동부(105) 및 조리개 구동부(108)는 렌즈 제어부(110)에 의해서 제어되어 각각 포커스 렌즈(104) 및 조리개(107)를 구동한다. 특히, 렌즈 구동부(105)는 포커스 렌즈(104)를 광축 방향으로 구동한다.

렌즈 제어부(110)는 시각 측정을 위한 제1 타이머(111)를 포함한다. 상기 렌즈 제어부(110)는 상기 감지한 포커스 렌즈(104)의 위치 정보를 본체부(200)에 보낸다. 이 때, 렌즈 제어부(110)는 포커스 렌즈(104)의 위치에 변화가 있는 경우, 또는 카메라 제어부(209)로부터 포커스 렌즈(104)의 위치 정보의 요청이 있는 경우에 상기 검출한 포커스 렌즈(104)의 위치 정보를 본체부(200)에 보낼 수 있다. 또 상기 제 1 타이머(111)는 본체부(200)로부터의 리셋트 신호에 의해서 리셋 될 수 있고, 상기 리셋 동작에 의해서 렌즈(100)와 본체부(200)의 시각이 동기화 될 수 있다.

렌즈 마운트(109)는 렌즈측 통신 핀을 구비하고, 후술 하는 카메라측 통신 핀과 서로 맞물려 데이터, 제어 신호등의 송신 경로로 사용된다.

다음에 본체부(200)의 구성을 살펴본다.

본체부(200)는 뷰파인더(EVF)(201), 셔터(203), 촬상 소자(204), 촬상 소자 제어부(205), 표시부(206), 조작부(207), 카메라 제어부(209), 및 카메라 마운트(208)를 포함할 수 있다.

뷰 파인더(201)는 액정 표시부(202)가 내장되어 있고, 촬상시에는 영상을 리얼타임으로 확인할 수 있다.

셔터(203)는 촬상 소자(204)에 빛이 인가 되는 시간, 즉 노출 시간을 결정한다.

촬상 소자(204)는 렌즈(100)의 결상 광학계(101)를 패스한 영상광을 촬상하여 영상 신호를 생성한다. 촬상 소자(204)는 매트릭스 형태에 배열된 복수의 광전전환부 및 상기 광전전환부로부터 전하를 이동시켜 영상 신호를 독출 하는 수평 전송로등을 포함할 수 있다. 촬상 소자(204)로 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서등을 사용할 수 있다.

촬상 소자 제어부(205)는 타이밍 신호를 생성하고, 상기 타이밍 신호에 동기하여 상기 촬상 소자(204)가 촬상하도록 제어한다. 또한 촬상 소자 제어부(205)는, 각 주사선으로의 전하 축적이 끝나면 수평 방향 영상 신호를 차례차례 독출한다. 독출한 상기 수평 방향 영상 신호는 카메라 제어부(209)에서 초점 검출에 사용된다.

표시부(206)는 각종 영상 및 정보가 디스플레이 된다. 상기 표시부(206)에서는 유기 발광 표시장치(OLED)등을 사용할 수 있다.

조작부(207)는 디지털 촬영 장치(1)의 조작을 위해서 사용자로부터의 각종 명령을 입력하는 부분이다. 조작부(207)로 셔터 릴리스 버튼, 메인 스위치, 모드 다이얼, 메뉴 버튼 등 다양한 버튼을 포함할 수 있다. 또한, 버튼뿐만 아니라 터치 패드 등을 구비할 수 있다.

카메라 제어부(209)는 촬상 소자(204)로 생성된 영상 신호에 대해서 초점 검출을 수행해 AF 평가값을 산출한다. 또한, 촬상 소자 제어부(205)에서 생성한 타이밍 신호에 의한 매초점 검출 시각으로의 AF 평가값을 보존하고, 렌즈(100)로부터 수신한 렌즈 위치 정보와 보존된 AF 평가값을 사용해 초점 위치를 계산한다. 상기 초점 위치의 계산 결과는 상기 렌즈(100)에 보낸다. 상기 카메라 제어부(209)는 시각 측정을 위한 제2 타이머(228)를 포함할 수 있고, 제1 타이머(111)와 동시에 리셋트가 되어 렌즈(100)와 본체부(200)가 동일한 시각을 측정할 수 있도록(듯이) 한다.

카메라 마운트(208)는 카메라측 통신 핀을 구비한다.

이하에서는, 렌즈(100) 및 본체부(200)의 동작을 설명한다.

피사체를 촬영하는 경우, 조작부(207)에 포함된 메인 스위치(SM)를 조작해 디지털 촬영 장치(1)의 동작을 개시한다. 디지털 촬영 장치(1)는 일단 다음과 같이 라이브뷰 표시를 수행한다.

결상 광학계(101)를 통과한 피사체의 영상광은 촬상 소자(204)에 입사된다. 이 때, 셔터(203)는 열린 상태이다. 입사 한 영상광은 촬상 소자(204)에서 전기신호에 변환되고, 이것에 의해서 영상 신호가 생성된다. 촬상 소자(204)는 촬상 소자 제어부(205)에서 생성된 타이밍 신호에 의해서 동작한다. 생성된 피사체의 영상 신호는 카메라 제어부(209)에서 표시 가능한 데이터로 변환되어 뷰파인더(201) 및 표시부(206)에 출력된다. 이러한 동작이 라이브뷰 표시이며, 라이브뷰 표시에 의해서 표시되는 라이브뷰 영상은 동영상으로서 연속적으로 표시된다.

라이브뷰 표시가 수행된 후, 조작부(207) 중 하나의 셔터 릴리스 버튼이 반누름이 되면 디지털 촬영 장치(1)는 AF 동작을 개시한다. 촬상 소자(204)로 생성한 영상 신호를 이용하여 AF 동작을 수행할 수 있다. 콘트라스트 AF 방식으로는 콘트라스트 값과 관계되는 AF 평가값으로부터 초점 위치를 계산한다. 그리고 상기 계산 결과에 기초하여 렌즈(100)를 구동한다. AF 평가값은 카메라 제어부(209)에서 산출된다. 카메라 제어부(209)는 상기 AF 평가값으로부터 포커스 렌즈(104)의 제어를 위한 정보를 계산하고, 상기 정보를 렌즈 마운트(109)와 카메라 마운트(208)에 구비된 통신 핀을 통해 렌즈 제어부(110)로 보낸다.

렌즈 제어부(110)는 수신한 정보를 기초로 렌즈 구동부(105)를 제어한다. 구체적으로 포커스 렌즈(104)를 광축 방향으로 구동시켜 AF를 수행한다. 포커스 렌즈(104)의 위치는 포커스 렌즈 위치 감지부(106)에 의해서 모니터링이 되어 피드백 제어를 행할 수 있다.

줌 렌즈(102)가 사용자에 의해 조작되어 주밍 되었을 경우, 줌 렌즈 위치 감지부(103)로 줌 렌즈(102)의 위치가 검출되고, 렌즈 제어부(110)는 포커스 렌즈(104)의 AF 제어 파라미터들을 변경해 또 AF를 수행한다.

상기와 함께 동작해 피사체 영상의 초점이 맞는 상태(in focus)가 되면, 셔터 릴리스 버튼을 완전누름(S2)하고 디지털 촬영 장치(1)는 노광을 수행한다. 이 때, 카메라 제어부(209)는 일단 셔터를 완전하게 닫고, 렌즈 제어부(110)에 지금까지 취득한 측광 정보를 조리개 제어 정보로서 보낸다. 렌즈 제어부(110)는 조리개 제어 정보를 기초로 조리개 구동부(108)를 제어하고, 조리개(107)를 적절한 조리개값으로 조절한다. 카메라 제어부(209)는 측광 정보를 기초로 셔터(203)를 제어하고, 적절한 노출 시간정도 셔터(204)를 열어 촬영이 수행된 피사체 영상을 캡쳐한다.

캡쳐한 영상은 영상 신호 처리 및 압축 처리가 수행되어 메모리 카드(212)에 기록된다. 동시에 피사체를 표시하는 뷰파인더(201) 및 표시부(206)에 캡쳐 영상이 디스플레이될 수 있다. 이러한 영상을 퀵뷰 영상이라고 한다.

상기와 같은 과정에 의해서 일련의 촬영 동작이 끝난다.

도 2는 본 발명에 관한 자동 초점 조절 장치의 다른 실시 예를 설명하기 위한 블록도이다. 본 실시 예에서는 렌즈가 본체부에 일체형으로 결합된 스틸 디지털 촬영 장치를 예시한다. 본 실시 예에 따른 디지털 촬영 장치는 도 1에 도시한 디지털 촬영 장치와 유사한 구성 및 기능을 가지므로 차이점을 위주로 설명한다. 본 실시예에 따른 디지털 촬영 장치(2)는 렌즈(100)와 본체부(200)가 일체형으로 결합되어 렌즈(100)의 교환이 불가능하다. 상기 렌즈(100)와 본체부(200)가 일체형이므로 렌즈 마운트(109) 및 카메라 마운트(208)가 존재하지 않는다. 따라서, 카메라 제어부(209)가 직접 렌즈 구동부(105), 조리개 구동부(108)등을 제어하며, 따라서 렌즈(102), 포커스 렌즈(104), 조리개(107) 등을 구동한다. 또한, 카메라 제어부(209)가 직접 줌 렌즈 위치 감지부(103), 포커스 렌즈 위치 감지부(106)로부터 위치 정보를 직접 수신한다. 즉, 상기 실시예에 의한 카메라 제어부(209)는 도 1의 렌즈 제어부(110)의 역할도 함께 수행한다. 예를 들어, 본 실시예의 경우 제 2 타이머(228)를 사용해 AF 평가값과 렌즈 위치를 동기화할 수 있다.

도 3은 도 1에 도시된 자동 초점 조절 장치에서 카메라 제어부(209)를 더욱 상세히 설명하기 위한 블록도이다.

도 3을 참조하면, 본 실시예에 의한 카메라 제어부(209)는 사전 처리부(220), 신호 처리부(221), 어플리케이션부(222), 디스플레이 콘트롤러(223), CPU(224), 메모리 콘트롤러(225), 오디오 콘트롤러(226), 카드 콘트롤러(227), 제2 타이머(228), 메인 버스(230)등을 포함할 수 있다.

카메라 제어부(209)는 메인 버스(230)를 통해서 각종 지시 및 데이터를 각 구성 부분에 전달한다.

사전 처리부(220)는 촬상 소자(204)로 생성된 영상 신호를 입력 받아 AWB(Auto White Balance), AE(Auto Exposure), AF(Auto Focus)의 연산을 수행한다. 즉, 초점 조절을 위한 AF 평가값, 노출 조절을 위한 AE 평가값, 화이트 밸런스 조절을 위한 AWB 평가값 등을 산출한다. AF 평가값은 수평 방향의 콘트라스트를 나타내는 수평 AF 평가값을 포함할 수 있다. 수평 AF 평가값은 촬상 소자(204)로 독출드에는 수평 방향 영상 신호를 직접 인가 받아 산출된다.

신호 처리부(221)는 감마 보정 등, 일련의 영상 신호 처리를 수행해 표시부에 디스플레이 가능한 라이브뷰 영상이나 캡쳐-영상을 만든다.

어플리케이션부(222)는 영상 신호 처리가 수행된 영상 신호로부터 얼굴 인식을 실시한다. 인식한 얼굴에 대하여 얼굴 영역을 결정한다. 또한 영상 신호에 대하여 압축과 신장을 수행한다. 압축의 경우, 예를 들면 JPEG 압축 형식 또는 H.264 압축 형식등의 압축 형식으로 영상 신호를 압축할 수 있다. 상기 압축 처리에 의해서 생성한 영상 데이터를 포함한 영상 파일은 메모리 카드(212)로 송신되어 기록된다.

디스플레이 콘트롤러(223)는 뷰파인더(201)의 LCD(202)나 표시부(206)등의 표시 화면에의 영상 출력을 제어한다.

CPU(224)는 각 부분의 동작을 전체적으로 제어한다. 도 1을 함께 참조하면 디지털 촬영 장치(1)에서 CPU(224)는 렌즈(110)와의 통신을 수행한다.

메모리 콘트롤러(225)는 촬영된 캡쳐 영상이나 연상 정보 등의 데이터를 일시적으로 보존하는 메모리(210)를 제어하고, 오디오 콘트롤러(226)는 마이크나 스피커(211)를 제어한다. 또 카드 콘트롤러(227)는 영상을 보존하는 메모리 카드(212)를 제어한다.

제2 타이머(228)는 제1 타이머(111)와 동시에 리셋트 되어 시각을 측정한다.

이하, 카메라 제어부(209)에 대하여 더욱 상세히 설명한다. .

CPU(224)에서 상기 조작부(207)가 조작된 것을 감지하면, 상기 CPU(224)는 사전 처리부(220)를 통해서 촬상 소자 제어부(205)를 동작시킨다. 촬상 소자 제어부(205)는 타이밍 신호를 출력해 촬상 소자(204)를 동작시킨다. 촬상 소자(204)로부터 영상 신호가 사전 처리부(220)에 입력되면, AWB 및 AE 연산이 수행된다. 상기 AWB 및 AE 연산의 결과는 촬상 소자 제어부(205)에 피드백되어 상기 촬상 소자로부터 적절한 색출력 및 적절한 노출의 영상 신호를 얻을 수 있다.

한편, 디지털 촬영 장치(1)의 동작이 개시되면 라이브뷰 표시가 수행된다. 카메라 제어부(209)는 적절한 노출에 촬영된 영상 신호를 사전 처리부(221)에 입력해 AE 평가값 등을 산출한다. 라이브뷰 표시용 영상 신호는 메인 버스(230)를 경유하지 않고 직접 신호 처리부(221)에 인가 되고, 화소의 보간 처리 등의 영상 신호 처리를 수행한다. 영상 신호 처리가 수행된 영상 신호는 메인 버스(230) 및 디스플레이 콘트롤러(223)를 경유해 LCD(202), 표시부(206) 등에 표시된다. 라이브뷰 표시는 기본적으로 60fps(frame per second)의 주기 일로 갱신할 수 있지만 이것으로 한정되는 것이 아니라 120fps, 180fps, 240fps 등의 주기 일로 갱신될 수도 있다. 상기 갱신속도는 측광 결과나 AF 조건 등을 기초로 CPU(224)로부터 설정하고, 촬상 소자 제어부(205)에서 타이밍 신호를 변경하는 것에 의해서 수행될 수 있다.

셔터 릴리스 버튼이 반누름이 되면, CPU(224)는 반누름 신호(S1)의 입력을 감지와 카메라 마운트(208) 및 렌즈 마운트(109)에 구비된 통신 핀을 경유해 렌즈 제어부(110)에 AF 동작을 위한 포커스 렌즈(104)의 구동 개시를 지시한다. 또는 CPU(224)에서 반누름 신호(S1)의 입력을 감지하면, AF 동작을 위해서 포커스 렌즈(104)의 구동을 제어한다. 여기서, CPU(224)는 주제어부의 일례일 수 있다.

CPU(224)는 촬상 소자(204)로부터 영상 신호를 획득하고, 사전 처리부(220)는 AF 평가값을 산출한다. AF 평가값은 포커스 렌즈(104)의 이동에 따라서 산출된다. AF 평가값의 변화로부터 피사체 영상의 콘트라스트가 최대가 되는 포커스 렌즈(104)의 위치(AF 평가값이 최대가 되는 위치)를 계산하고, 계산된 위치에 포커스 렌즈(104)를 이동시킨다. 상기 일련의 동작이 AF 동작으로, AF 동작안에도 라이브뷰 영상의 표시는 계속 되어 수행된다. 라이브뷰 영상에 사용되는 영상 신호와 AF 평가값의 산출에 사용되는 영상 신호는 동일한 영상 신호다.

도 4는 도 1에 도시하는 카메라 제어부의 일 실시 예를 기능에 따라 설명하기 위한 블록도이다.

본 실시 예에 따른 카메라 제어부(209a)는 촬상부에서 생성한 영상 신호로부터 검출한 얼굴 영역에 대하여 그 크기에 관한 조건을 판단하는 제1 판단부(209a-1), 상기 제1 판단부의 판단에 따라 상기 얼굴 영역과 상이한 초점 영역을 설정하는 초점 영역 설정부(209a-3), 설정한 상기 초점 영역에 따라 자동 초점 조절을 실행하는 AF 제어부(209a-5)를 구비한다.

도 3을 함께 참조하면, 촬상부는 촬상 소자(204)와 촬상 소자 제어부(205)를 구비하는 것으로서, 피사체로부터의 영상광을 전기 신호로 변환하여 영상 신호를 생성한다. 그리고 상기 영상 신호로부터 얼굴 검출부(222-1)에서 얼굴 영역을 형성한다. 상기 얼굴 검출부(222-1)는 상기 영상 신호로부터 복수의 얼굴들을 인식하는 경우 복수의 얼굴들 중에서 가장 큰 크기를 갖는 어느 하나의 얼굴을 선택하여 얼굴 영역으로 결정한다.

일 실시 예로서, 상기 제1 판단부(209a-1)는 상기 얼굴 영역의 크기와 기준 크기를 비교할 수 있다. 상기 비교 결과에 따라 초점 영역 설정부(209a-3)는 상기 얼굴 영역의 크기가 상기 기준 크기 보다 작은 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정할 수 있다. 더욱 구체적으로, 상기 초점 영역 설정부(209a-3)는 상기 얼굴 영역의 크기가 상기 기준 크기 보다 작은 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정할 수 있다. 또한, 상기 초점 영역 설정부(209a-3)는 상기 얼굴 영역의 크기가 상기 기준 크기 보다 큰 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정할 수 있다. 상기 초점 영역 설정부(220-3)는 상기 얼굴 영역을 복수의 축소 비율로 축소한 복수의 초점 영역들 중에서 어느 하나 선택하여 제2 초점 영역을 설정할 수 있다. 일 예로서, 상기 얼굴 영역의 80%를 축소한 제2 초점 영역을 설정할 수 있으며, 또는 상기 얼굴 영역의 60%를 축소한 제2 초점 영역을 설정할 수 있다. 상기 축소 비율은 상기 얼굴 영역의 크기가 클수록 크게 설정할 수 있다.

다른 실시 예로서, 상기 제1 판단부(209a-1)는 상기 피사체의 거리와 기준 거리를 비교하며, 상기 초점 영역 설정부(209a-3)는 상기 피사체의 거리가 상기 기준 거리 보다 긴 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정할 수 있다. 상기 초점 영역 설정부(209a-3)는 상기 피사체의 거리가 상기 기준 거리 보다 긴 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정할 수 있다. 상기 초점 영역 설정부(209a-3)는 상기 피사체의 거리가 상기 기준 거리 보다 짧은 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정할 수 있다. 상기 기준 거리를 복수 개 설정하여 상기 축소 비율을 복수로 설정할 수 있으며, 상기 축소 비율은 상기 피사체의 거리가 가까울 정도 축소하는 비율을 크게 설정할 수 있다.

또 다른 실시 예로서, 상기 제1 판단부(209a-1)는 생성한 상기 영상 신호에 대응하는 배율과 기준 배율을 비교하며, 상기 초점 영역 설정부(209a-3)는 상기 배율이 상기 기준 배율 보다 작은 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정할 수 있다. 상기 초점 영역 설정부(209a-3)는 상기 배율이 상기 기준 배율 보다 작은 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정할 수 있다. 더욱 구체적으로, 상기 초점 영역 설정부(209a-3)는 상기 배율이 상기 기준 배율 보다 큰 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정할 수 있다. 상기 기준 배율을 복수 개 설정하여 상기 축소 비율을 복수로 설정할 수 있으며, 상기 축소 비율은 상기 피사체의 거리가 가까울 정도 축소하는 비율을 크게 설정할 수 있다.

도 4는 도 1에 도시하는 카메라 제어부의 일 실시 예를 기능에 따라 설명하기 위한 블록도이다. 도 5에 따른 카메라 제어부의(209b)는 도 4의 카메라 제어부(209a)의와 유사하므로 상이한 점을 위주로 설명한다.

도 5를 참조하면, 상기 카메라 제어부(209b)는 영상 신호의 휘도와 기준 휘도를 비교하는 제2 판단부(209b-2)를 더 구비한다. 그리고 초점 영역 설정부(209b-3)는 상기 영상 신호의 휘도와 상기 기준 휘도의 비교 결과에 따라 크기가 다른 초점 영역을 설정한다. 구체적으로 상기 영상 신호의 휘도가 상기 기준 휘도 보다 작을수록 크기가 큰 초점 영역을 설정할 수 있다.

제1 판단부(209b-1)의 판단 결과에 따라 초점 영역을 결정하고, 이에 더하여 제2 판단부(209b-2)의 판단 결과에 따라 결정한 상기 초점 영역을 확대 또는 축소할 수 있다. 즉, 상기 영상 신호의 휘도가 기준 휘도 보다 낮다면 상기 제1 판단부(209b-1)의 판단 결과에 따른 초점 영역을 확대하여 최종 초점 영역을 결정할 수 있다. 또는 반대로 상기 영상 신호의 휘도가 기준 휘도 보다 높다면 상기 제1 판단부(209b-1)의 판단 결과에 따른 초점 영역을 축소하여 최종 초점 영역을 결정할 수 있다.

도 6 내지 도 11을 참조하고, 본 발명의 일 실시예에 대해서 설명한다.

초점 영역(AFarea)은 카메라의 모드에 따라 다른 초점 영역을 설정할 수 있다. 예를 들어, 멀티 알고리즘을 위한 초점 영역, 스팟 알고리즘을 위한 초점 영역, 얼굴 인식 알고리즘에 따른 초점 영역이 있을 수 있다.

도 6a는 멀티 알고리즘을 위한 초점 영역을, 도 6b는 스팟 알고리즘을 위한 초점 영역을 나타낸 도면들이다.

도 6a는 초점 영역의 예로, 15분할 멀티(multi) 영역(AF1)을 예시한 것이다. 도 6b는 사용자 선택이 가능한 스팟(spot) 영역의 일 예이다.

멀티 알고리즘에 따라 AF를 실행하는 경우는, 도 6a와 같이 15개의 복수의 초점 영역(AF1)으로부터 주피사체를 판단하고, 상기 주피사체를 포함하는 초점 영역을 선택한다. 최근접 피사체나 중앙 위치 피사체를 포함하는 초점 영역을 선택할 수 있다.

스팟 알고리즘에 따라 AF를 실행하는 경우 사용자에 의해 다양한 초점 영역들(AF2-1, AF2-2, AF2-3) 중에서 임의의 어느 하나를 선택할 수 있다. 본 실시 예에서는 크기를 small, medium, large로 서로 다르게 한 초점 영역들(AF2-1, AF2-2, AF2-3)을 예시하며, 사용자는 촬영 상황에 따라 상기 초점 영역들 중 어느 하나를 선택할 수 있으며, 그 위치를 임의로 설정할 수 있다.

도 7a와 7b는 얼굴 영역을 축소하여 제2 초점 영역을 형성하는 단계의 일 실시 예를 설명하기 위한 도면들이다.

도 7a를 참조하면, Face mode를 실행하는 경우 얼굴을 검출하고, 검출한 얼굴을 포함하는 얼굴 영역(FA1)을 표시한다.

도 7b를 참조하면 상기 얼굴 영역(FA1)의 크기가 기준 크기 보다 크다면, 또는 피사체의 거리가 기준 거리 보다 가깝다면, 배율이 크다면 상기 얼굴 영역(FA1) 내에 초점 영역(AF3)을 설정한다.

얼굴 영역(FA1)에서 얼굴 피사체의 배경으로 컨트라스트(Contras)가 높는 피사체가 있는 경우, 얼굴 영역(FA1) 안쪽에 배경 피사체가 들어가, 배경 피사체의 컨트라스트의 영향으로 초점 검출 결과에 오차가 발생해, 초점이 맞지 않을 수 있다. 또한 상기 배경에 점광원이 들어가면 한층 더 오합초가 발생하기 쉽다. 따라서 도 7b와 같이 얼굴 영역(FA1) 내부에 초점 검출을 실시하는 초점 영역(AF3)을 설정할 수 있다. 얼굴 영역(FA1)을 축소한 초점 영역(AF3)을 설정할 수 있다. 따라서 배경의 영향이 적어 AF의 오류를 줄일 수 있다.

설정한 초점 영역에 대하여 AF를 실시한다. 초점 영역의 피사체에 초점이 맞는 합초 상태인 경우 얼굴 영역(FA1)의 테두리를 녹색으로 표시한다. 얼굴 검출은 도 3의 어플리케이션부(222)에 내장되어 있으며, 얼굴 검출부의 회로에서 영상 신호로부터 검출한다. 복수의 얼굴들에 대해서도, 디지털 촬영 장치의 가로 배치 또는 세로 배치 등에 관계없이 검출 가능하다.

도 8a와 8b는 얼굴 영역과 크기가 상이한 제1 초점 영역을 형성하는 과정을 설명하기 위한 도면들이다.

　도 8a와 도8b를 참조하면, 검출한 얼굴 영역(FA2)의 크기가 작은 경우, 상기 얼굴 영역(FA2)을 축소하여 제2 초점 영역(AF4)을 설정할 경우, 제2 초점 영역(AF4)초점을 실행하기에 너무 작아지는 문제가 있다. 그러나, 초점 영역이 너무 작아 지면 컨트라스트의 검파 정보가 출력되지 않는다. 특히 어두운 경우는 노이즈의 영향이 커진다.

따라서 상기 얼굴 영역(FA2)의 크기가 기준 크기 보다 작다면, 또는 피사체의 거리가 기준 거리 보다 멀다면, 배율이 작다면 상기 얼굴 영역(FA1) 과 상이한 제1 초점 영역(AF4)을 설정한다. 상기 얼굴 영역(FA2)을 축소한 것이 아닌, 상기 얼굴 영역을 확대한 것에 대응하는 제1초점 영역(AF4)을 설정할 수 있다.

따라서 컨트라스트의 검파 정보의 S/N가 향상해, 정확한 초점 검출을 실시할 수다. 발생하는 노이즈의 정도는 밝기에 따라서 다른 것부터, 밝기에 의해서 소정 사이즈도 복수 가진다.

피사체가 멀게 있는 만큼 피사계 심도는 깊어지므로 얼굴 주위의 배경으로 초점을 맞추어도 상기 얼굴에도 초점이 맞는 확률이 높기 때문에, 얼굴이 소정치보다 작은 경우 또는 거리가 먼 경우 또는 배율이 작은 경우는, 얼굴 영역에서 확대된 초점 검출 영역을 설정해도 문제는 없다.

도 9는 휘도에 따라 초점 영역의 크기를 조절하는 방법을 설명하기 위한 도면이다.

도 9를 참조하면, 도 8b에서 제1 판단에 따라 제1 초점 영역(AF4)을 설정하고, 이에 대하여 해당 영상 신호의 휘도를 기준 휘도와 비교하여, 기준 휘도 보다 작은 경우에는 상기 제1 초점 영역(AF4)를 확대하여 다른 제1 초점 영역(AF5)를 설정할 수 있다.

도 10은 얼굴 영역을 축소하여 제2 초점 영역을 형성하는 단계의 다른 실시 예를 설명하기 위한 도면이다.

도 10을 참조하면, 얼굴 영역(FA3)의 크기가 큰 경우의 예로, 큰 경우는 피사체 심도가 얕아진다. 얼굴 중에서도 눈에 핀트를 맞추고 싶지만 귀나 머리카락에 핀트를 맞추고 싶지 않다. 얼굴의 크기가 큰 경우, 또는 얼굴의 배율이 큰 경우, 또는 얼굴까지의 거리가 가까운 경우는 얼굴 영역(FA3)을 축소하여 초점 영역(AF6)을 설정할 수 있다.

도 11a와 11b는 멀티 알고리즘에 따라 초점 영역을 설정하는 단계를 설명하기 위한 도면이다.

도 11a는 얼굴 검출 하기 전에, 15개의 복수의 초점 영역들(AF1)로부터 주피사체(P)의 위치를 판단하고, 주피사체(P)에 대응하는 초점 영역에 대하여 핀트를 맞춘다. 그리고 얼굴을 검출할 수 있으면 도 11b와 같이 검출한 얼굴 내부의 얼굴 영역을 초점 영역(AF7)으로 설정하고, 설정한 초점 영역(AF7)에 대하여 다시 초점 검출을 실시한다. 또한 본 실시 예에서는 얼굴의 크기가 작을 때는 상기 얼굴 영역을 축소한 초점 영역이 아닌, 소정의 사이즈에 고정한 초점 영역으로 설정하는 예에도 대응할 수 있다.

[실시 형태 1의 시퀀스]

도 12는 본 발명에 관한 자동 초점 조절 장치의 동작의 제1 실시 형태를 설명하기 위한 순서도이다.

도 12를 참조하면, 카메라의 메인 스위치(main　switch:　SM)를 켜(on), 카메라 동작 A1을 시작한다. 그리고 조작부의 조작을 검출한다(S101). 카메라 모드를 설정한다(S102). 카메라 모드로서 자동 초점 조절에 관한 멀티 모드(multi　AFmode), 스팟 모드(spot AFmode), 페이스 모드(Face AFmode) 중 어느 하나를 선택한다. 교환 렌즈로부터 카메라 동작에 필요한 렌즈 정보를 입력한다(S103). 예를 들어, 렌즈 제어부의 렌즈 메모리에 보존되고 있는 렌즈 고유의 각 파라미터(parameter)로 AF, AE, AWB, 화질 제어에 필요한 정보이다. 촬상 소자는 주기적 촬상을 개시한다(S104). 측광을 실시해 자동 노출 조절(AE) 연산을 실행하며 또한 자동 화이트발란스 조절(AWB)의 연산을 실시한다(S105). 그리고 라이브 뷰 (Live　view) 표시를 실시한다(S106). 메인 스위치(SM)가 오프(off) 되었는지를 판단하여(S107), 오프(off) 되어 있지 않으면 S101로 돌아와 라이브뷰(Live　view) 표시 동작을 반복한다. 오프(off) 되면 카메라를 정지시켜(S108), 카메라 동작 A1을 종료한다.

　다음에, 라이브뷰(Live　view) 표시를 행할 때, 셔터 릴리즈 버튼을 반누름하여 S1 상태가 켜지면(on) S1 동작 A2를 실행한다. 이는 도 13을 참조하여 더욱 상세히 설명한다.

도 13을 참조하면, S1동작 A2를 개시한다. 동작　A2는 포커스 렌즈의 구동 명령을 출력한다(S121). 컨트라스트의 피크 위치를 검출하기 위한 스캔 동작을 개시한다. 촬상 타이밍 신호를 입력한다(S122). 촬상 타이밍 신호는 AF검파를 개시하는 타이밍으로서, 초점 영역의 위치 설정에 맞추어 생성할 수 있다. 촬상 타이밍 신호에 따라 AF 검파를 실행한다(S123). 촬상 소자로부터 카메라 제어부 내의 사전 처리부의 AF에서 초점 영역의 영상에 대하여 AF 검파를 실행한다.

초점 영역 설정 모드를 판단한다. 페이스 모드(Face mode)인지 판단한다(S124). 페이스 모드(Face mode)이면 얼굴 인식 알고리즘 A를 실행한다(S125). 스팟 모드인지 판단한다(S126). 스팟 모드라면 스팟 알고리즘을 실행하고(S128), 아니라면 멀티 알고리즘을 실행한다(S127). 이들 각 서브루틴은 이후 첨부된 도면들을 참조하여 상세히 설명한다.

그리고 상기 알고리즘에 의해 선택한 초점 영역에 대하여 컨트라스트의 피크 위치에 포커스 렌즈를 구동하여 초점이 맞도록 제어한다(S129). 그리고 초점 영역의 테두리를 녹색으로 변경하여 합초를 표시한다(S130). 그리고 도 12의 A1으로 돌아와 라이브뷰 표시를 반복 진행한다.

　AF 완료 후 라이브 뷰 표시를 행할 때, 셔터 릴리즈 버튼을 완전 눌러 S2 동작이 개시되는 경우에는 도 14를 참조하여 설명한다.

도 14를 참조하면, S2 동작　A3를 실행한다. 포커스 렌즈의 합초가 완료되기 전에 S2가 켜졌다면, 포커스 렌즈가 합초 될 때까지 기다리며, 포커스 렌즈가 합초 완료한 후에 S2 동작이 실행되었다면 정지화면 노출(capture)을 실시한다(S132). 그리고 일정시간 캡쳐 영상을 표시한 후(S133), 그리고 도 12의 A1로 돌아와, 라이브뷰 표시를 반복한다.

도 15는 본 발명에 관한 자동 초점 조절 장치의 동작에서 멀티 알고리즘을 설명하기 위한 순서도이다.

도 15를 참조하면, 화면 중앙 영역의 배율이 얻어지고 있는지를 판단한다(S301). 얻어지고 있으면 그 배율이 1/60이상인지 판단한다(S302). 1/60이상이면 화면 중앙 영역을 초점 영역으로 선택한다(S303). 1/60 미만이면 최근접피사체에 대응하는 초점 영역을 선택한다(S304). 그리고 도 13으로 돌아간다.

도 16은 본 발명에 관한 자동 초점 조절 장치의 동작에서 스팟 알고리즘을 설명하기 위한 순서도이다.

본 실시 예에서는 초점 영역(AFarea)의 사이즈를 결정한다. 도 16을 참조하면, 작은 크기의 초점 영역을 선택하는지 판단하고(S401), 선택하면 작은 초점 영역을 선택하고(S402), 선택하지 않으면 중간 크기의 초점 영역을 선택하는지 판단하며(S403), 선택하면 중간 초점 영역을 결정한다(S404). 선택하지 않으면 큰 크기의 초점 영역으로 결정한다(S405). 본 실시 예에서 작은 크기의 초점 영역, 중간 크기의 초점 영역, 큰 크기의 초점 영역은 도 6b의 AF2-1, AF2-2, AF2-3 각각에 대응하는 것일 수 있다. 본 실시 예에서는 초점 영역의 크기를 사용자가 설정함을 예시하였지만 이에 한정되는 것은 아니며, 초점 영역의 위치 등도 사용자가 선택 결정할 수 있다.

도 17은 본 발명에 관한 자동 초점 조절 장치의 동작에서 얼굴 인식 알고리즘의 일 실시 예를 설명하기 위한 순서도이다.

그림 17을 참조하면, 우선 얼굴 검출을 실시한다(S501). 여기서 얼굴 검출은 도 3의 어플리케이션부(222)의 얼굴 검출부(222-1)에서 입력되는 영상에 따라 얼굴 정보를 상시 검출하고 있어, 그 최신 정보를 얻는 것이다. 얼굴은 복수 개 존재하는 경우도 있다. 얼굴이 존재하는 지 판단한다(S502). 얼굴이 존재하는 경우 얼굴 영역을 표시한다(S504). 얼굴이 검출되지 않으면 멀티 알고리즘을 실행한다(S503). 멀티 알고리즘으로 주피사체의 영역을 결정한다. 얼굴이 검출되면 얼굴 영역을 표시한다(S504). 얼굴 내부에 얼굴 영역을 표시할 수 있다.

그리고 검출한 얼굴 영역의 크기가 제1 기준 크기(TH1) 보다 큰지 판단하다(S505). 상기 얼굴 영역의 크기가 상기 제1 기준 크기(TH1) 보다 크면, 얼굴 영역의 중앙부 60%를 선택하여 제2 초점 영역으로 설정한다(S506). 여기서 60% 는 얼굴 영역의 상하 좌우로부터 20% 축소한 것에 대응하는 것이다. 따라서 제2 초점 영역은 얼굴 영역을 축소한 것에 대응할 수 있다. 상기 얼굴 영역의 크기가 상기 제1 기준 크기 보다 크지 않으면, 얼굴 영역의 크기가 제2 기준 크기(TH2) 보다 큰지 판단한다(S507). 상기 얼굴 영역의 크기가 상기 제2 기준 크기(TH2) 보다 크면, 얼굴 영역의 중앙부 80%를 선택하여 제2 초점 영역으로 설정한다(S508). 80%는 얼굴 영역의 상하 좌우로부터 10%줄인 의미이다. 상기 얼굴 영역의 크기가 상기 제2 기준 크기(TH2) 보다 크지 않으면 영상의 휘도를 판단한다(S509). 피사체 영상의 휘도가 기준 휘도(TH3) 보다 크면, 즉 밝으면 소정 사이즈의 small-1　초점 영역을 선택하고(S511), 그렇지 않으면 small-2 초점 영역을 선택한다(S510). 휘도 판단은 생략할 수 있으며, 이때, 상기 얼굴 영역의 크기가 상기 제2 기준 크기(TH2) 보다 크지 않으면 상기 얼굴 영역과 그 크기가 상이한 제1 초점 영역을 설정할 수 있다. 상기 제1 초점 영역을 소정의 크기를 갖는 것으로서, 상기 얼굴 영역보다 큰 크기를 갖는 것이 바람직하다.

소정 사이즈의 small-2　area를 선택한다.small-1　초점 영역과 small-2 초점 영역의 크기의 관계는 small-2 초점 영역　＞small-1 초점 영역이다. 휘도가 낮을수록, 즉 피사체 영상이 어두울수록 초점 영역을 크게 설정할 수 있다. 그리고 도 13으로 돌아가 상기 설정한 초점 영역에 따라 AF를 실행할 수 있다.

또한, 복수의 얼굴이 검출되는 경우, 얼굴 영역의 크기가 최대인 것을 선택해 초점 영역으로 설정한다(S512). 이는 카메라에 가장 가까운 얼굴에 핀트를 맞추는 것을 의미한다. 그리고 도 13으로 돌아가 상기 설정한 초점 영역에 따라 AF를 실행할 수 있다.

[실시형태 2의 시퀀스]

도 18은 본 발명에 관한 자동 초점 조절 장치의 동작의 제2 실시 형태를 설명하기 위한 순서도이다. 본 실시 예에서는 피사체 거리에 따른 초점 영역을 결정함에 관한 것으로서, 다른 처리는 도 13의 실시 예와 유사하다. 따라서 도 13의 동작과 동일한 부분에 대하여 구체적인 설명을 생략한다.

도 18을 참조하면, 라이브 뷰 표시를 행할 때, 셔터 릴리즈 버튼을 반누름하여 S1이 동작되는 경우 처리이다. 우선, 포커스 렌즈의 구동 명령을 출력한다(S621). 그리고 촬상 타이밍 신호를 입력한다(S622). 초점 영역에 대응하는 영상에 대하여 AF 검파를 실행한다(S623).

그리고 초점 영역 설정 모드를 판단한다. 페이스 모드(Face mode)이면 합초까지의 AF구동이 1회째인지 판단한다(S625). 1회 째이면 과다 노출 가능성이 높기 때문에 얼굴을 검출할 수 없다, 따라서 멀티 알고리즘으로 주피사체를 판정해(S627), 선택한 초점 영역에 대응하는 피사체의 핀트 위치에 포커스 렌즈를 구동시킨다(S628). 2 회째의 AF를 실시하기 위해 S621로 돌아온다.

S625에서 AF가 2회 째이면 얼굴이 검출될 가능성이 높기 때문에, 얼굴 인식 알고리즘 B를 실행한다. 얼굴 인식 알고리즘 B는 이후 도 19를 참조하여 더욱 구체적으로 설명한다. 그리고 S632 단계를 진행된다. S624, S629의 판단으로 멀티 모드의 경우 멀티 알고리즘을 실행하고(S630), 스팟 모드인 경우 스팟 알고리즘을 실행한다(S631). 멀티 알고리즘과 스팟 알고리즘은 이전 도면들에서 설명한 바와 같으므로 구체적인 설명은 생략한다.

이와 같이 선택한 초점 영역에 대하여 AF를 실행하고, 초점이 맞는 핀트 위치에 포커스 렌즈를 구동한다(S632). 그리고 초점이 맞음을 나타내도록 초점 영역의 테두리를 초록색으로 표시할 수 있다(S633).

도 19은 본 발명에 관한 자동 초점 조절 장치의 동작에서 얼굴 인식 알고리즘의 다른 실시 예를 설명하기 위한 순서도이다.

　도 19를 참조하면, 우선 얼굴 검출을 실시한다(S701). 그리고 얼굴이 검출되는지 판단한다(S702). 얼굴이 검출되는 경우 얼굴 영역을 표시한다(S704). 얼굴 영역은 검출한 얼굴의 내부에 표시할 수 있다. 얼굴이 검출되지 않으면 멀티 알고리즘을 실행한다(S703).

얼굴 영역을 표시한 후, 얼굴 피사체의 거리를 산출한다(S705). 포커스 렌즈의 정지 위치로부터 피사체 거리 정보를 얻을 수 있다. 정지 위치는 도 18의 S625로부터 S628로 합초한 피사체까지의 거리이다. 그리고 현재의 피사체 거리가 제1 기준 피사체 거리(TH4)보다 작으면 얼굴 영역의 중앙부 60%를 선택해 제2 초점 영역을 설정한다(S707). 현재의 피사체 거리가 제1 기준 피사체 거리(TH4)보다 작지 않으면 현지 피사체 거리를 제2 기준 피사체 거리(TH5)와 더 비교한다(S708). 현재의 피사체 거리가 제2 기준 피사체 거리(TH5)보다 작으면 얼굴 영역의 중앙부 80%를 선택해 제2 초점 영역으로 설정할 수 있다(S709). 현재의 피사체 거리가 제2 기준 피사체 거리(TH5)보다 작지 않으면 피사체 영상의 밝기를 판단한다(S710). 상기 피사체 영상의 밝기가 기준 밝기(TH3)보다 밝으면 소정 사이즈의 small-1　초점 영역을 선택한다(S712). 기준 밝기(TH3)보다 밝지 않으면 소정 사이즈의 small-2　초점 영역을 선택한다(S711). small-1　초점 영역과 small-2　초점 영역의 크기의 관계는 small-2 초점 영역　＞small-1　초점 영역이다. 그리고 복수의 얼굴이 검출되는 경우, 최근접의 얼굴을 선택해, 초점 영역으로 설정한다.

[실시형태 3의 시퀀스]

도 20은 본 발명에 관한 자동 초점 조절 장치의 동작에서 얼굴 인식 알고리즘의 제3 실시 형태를 설명하기 위한 순서도이다. 본 실시 예에서는 얼굴 검출 결과로부터 초점 영역(AFarea)을 결정함에 있어서 배율 판단을 이용한 예를 설명한다. 그 밖의 다른 처리는 도 18과 유사하므로, 동일한 부분은 구체적인 설명을 생략 한다. 상이한 점은 다른 점은 도 18에서 얼굴 인식 알고리즘을 B 대신 C를 사용한 점이다.

도 20을 참조하면, 우선 얼굴 검출을 실시한다(S801). 얼굴이 존재하는지 판단한다(S802). 얼굴이 검출되어 있지 않으면 멀티 알고리즘을 실행한다(S802). 얼굴이 검출되면, 현재 배율을 산출한다(S804). 포커스 렌즈의의 정지 위치로부터 배율을 얻을 수 있다. 상기 정지 위치는 도 18의 S625로부터 S628로 합초하게 한 피사체의 배율이다. 그리고 현재의 배율이 제1 기준 배율(TH6)보다 큰지 판단한다(S805). 현재의 배율이 제1 기준 배율(TH6)보다 크면 얼굴 영역의 중앙부 70%를 선택해 제2 초점 영역으로 설정한다(S806). 현재의 배율이 제1 기준 배율(TH6)보다 크지 않으면 현재의 배율이 제2 기준 배율(TH7)보다 큰지 판단한다(S807). 현재의 배율이 제2 기준 배율(TH7)보다 크면 얼굴 영역의 중앙부 80%를 선택해 제2 초점 영역으로 설정한다(S808). 현재의 배율이 제2 기준 배율(TH7)보다 작으면 피사체의 밝기를 판정한다(S809). 피사체의 휘도가 기준 휘도(TH3)보다 밝으면 소정 사이즈의 small-1　초점 영역을 제1 초점 영역으로 선택한다(S811). 기준 휘도(TH3)보다 밝지 않으면 소정 사이즈의 small-2　초점 영역을 제1 초점 영역으로 선택한다(S810). small-1　초점 영역과 small-2　초점 영역의 크기의 관계는 small-2 초점 영역　＞small-1 초점 영역이다. 그리고 지금까지 설정해 온 얼굴의 초점 영역을 얼굴 영역으로서 표시한다(S812). 얼굴 검출이 복수 있는 경우, 최대 배율의 얼굴을 선택해, 초점 영역(AFarea)을 설정해 도 18의 실시 예로 돌아간다.

상술한 얼굴 인식 알고리즘 A, B, C에서 얼굴 영역의 크기, 피사체 거리, 및 배율을 2개의 기준치들과 비교함을 예시하였으나, 이에 한정하는 것은 아니며, 한번 또는 3번 이상도 가능하다.

또한, 얼굴 인식 알고리즘 A, B, C에서 일 조건을 만족하는 경우 검출한 얼굴 영역을 축소하여 제2 초점 영역을 설정하였으며, 상기 조건을 만족하지 않는 경우에도 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하였다. 바람직하게 상기 제1 초점 영역은 상기 얼굴 영역 보다 큰 크기를 갖는 것으로서, 얼굴 영역의 크기가 작은 경우, 피사체 거리가 작은 경우, 현재 배율이 작은 경우 피사체 심도가 깊이 때문에 얼굴 피사체를 포함하는 상기 얼굴 영역 보다 큰 사이즈의 제1 초점 영역을 설정하더라도 얼굴 피사체에 초점을 맞출 수 있다. 이와 더불어 얼굴 영역 보다 넓은 제1 초점 영역에 대하여 AF 영역을 실행하기 때문에 AF 실행의 신뢰성을 향상시킬 수 있다. 특히 컨트라스트 방식의 자동 초점 조절 장치 및 방법에 있어서, 특정 조건에 따라 검출한 얼굴 영역으로부터 크기를 조절한 초점 영역을 설정함으로써 보다 정확한 자동 초점 조절을 실행할 수 있다.

이상, 첨부한 도면을 참조하여 본 발명의 바람직한 실시형태에 대해서 상세히 설명하였으나 본 발명은 상기 예로 한정되지 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있다는 것은 명백하며 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

Claims (38)

1. 피사체로부터의 영상광을 입력하여 영상 신호를 생성하는 촬상부;
   상기 영상 신호로부터 얼굴 영역을 검출하는 얼굴 검출부;
   검출한 상기 얼굴 영역의 크기에 관한 조건을 판단하는 제1 판단부;
   상기 제1 판단부의 판단에 따라 상기 얼굴 영역과 상이한 초점 영역을 설정하는 초점 영역 설정부;
   설정한 상기 초점 영역에 따라 자동 초점 조절을 실행하는 AF 제어부;를 구비하는 자동 초점 조절 장치.
2. 제1항에 있어서, 상기 제1 판단부는 상기 얼굴 영역의 크기와 기준 크기를 비교하며,
   상기 초점 영역 설정부는 상기 얼굴 영역의 크기가 상기 기준 크기 보다 작은 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
3. 제2항에 있어서, 상기 초점 영역 설정부는 상기 얼굴 영역의 크기가 상기 기준 크기 보다 작은 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
4. 제2항 또는 제3항에 있어서, 상기 초점 영역 설정부는 상기 얼굴 영역의 크기가 상기 기준 크기 보다 큰 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
5. 제4항에 있어서, 제2 초점 영역은 상기 얼굴 영역을 복수의 축소 비율들로 축소한 제2 초점 영역들을 포함하는 것을 특징으로 하는 자동 초점 조절 장치.
6. 제5항에 있어서, 상기 축소 비율은 상기 얼굴 영역의 크기가 클수록 큰 것을 특징으로 하는 자동 초점 조절 장치.
7. 제1항에 있어서, 상기 제1 판단부는 상기 피사체의 거리와 기준 거리를 비교하며,
   상기 초점 영역 설정부는 상기 피사체의 거리가 상기 기준 거리 보다 긴 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
8. 제7항에 있어서, 상기 초점 영역 설정부는 상기 피사체의 거리가 상기 기준 거리 보다 긴 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
9. 제7항 또는 제8항에 있어서, 상기 초점 영역 설정부는 상기 피사체의 거리가 상기 기준 거리 보다 짧은 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
10. 제9항에 있어서, 상기 제2 초점 영역은 상기 얼굴 영역을 복수의 축소 비율들로 축소한 제2 초점 영역들을 포함하는 것을 특징으로 하는 자동 초점 조절 장치.
11. 제10항에 대하고, 상기 축소 비율은 얼굴 피사체까지의 거리가 가까울수록 큰 것을 특징으로 하는 자동 초점 조절 장치.
12. 제1항에 있어서, 상기 제1 판단부는 생성한 상기 영상 신호에 대응하는 배율과 기준 배율을 비교하며,
    상기 초점 영역 설정부는 상기 배율이 상기 기준 배율 보다 작은 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
13. 제12항에 있어서, 상기 초점 영역 설정부는 상기 배율이 상기 기준 배율 보다 작은 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
14. 제12항 또는 제13항에 있어서, 상기 초점 영역 설정부는 상기 배율이 상기 기준 배율 보다 큰 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
15. 제14항에 있어서, 상기 제2 초점 영역은 상기 얼굴 영역을 복수의 축소 비율로 축소한 제2 초점 영역들을 포함하는 것을 특징으로 하는 자동 초점 조절 장치.
16. 제15항에 있어서, 상기 축소 비율은 상기 배율이 클수록 큰 것을 특징으로 하는 자동 초점 조절 장치.
17. 제1항에 있어서, 상기 영상 신호의 휘도와 기준 휘도를 비교하는 제2 판단부를 더 구비하고,
    상기 초점 영역 설정부는 상기 영상 신호의 휘도와 상기 기준 휘도의 비교 결과에 따라 크기가 다른 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
18. 제17항에 있어서, 상기 초점 영역 설정부는 상기 영상 신호의 휘도가 상기 기준 휘도 보다 작을수록 크기가 큰 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 장치.
19. 제1항에 있어서, 상기 얼굴 검출부는 상기 영상 신호로부터 복수의 얼굴들을 인식하는 경우 복수의 얼굴 영역들 중에서 가장 큰 크기를 갖는 어느 하나의 얼굴 영역을 선택하는 것을 특징으로 하는 자동 초점 조절 장치.
20. 피사체로부터의 영상광을 입력하여 영상 신호를 생성하는 단계
    상기 영상 신호로부터 얼굴 영역을 검출하는 단계;
    검출한 상기 얼굴 영역의 크기에 관한 조건을 제1 판단하는 단계;
    상기 제1 판단 결과에 따라 상기 얼굴 영역과 상이한 초점 영역을 설정하는 단계;
    설정한 상기 초점 영역에 따라 자동 초점 조절을 실행하는 단계;를 구비하는 자동 초점 조절 방법.
21. 제20항에 있어서, 상기 제1 판단은 상기 얼굴 영역의 크기와 기준 크기를 비교하며,
    상기 제1 판다 결과에 따라 상기 얼굴 영역의 크기가 상기 기준 크기 보다 작은 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
22. 제21항에 있어서, 상기 얼굴 영역의 크기가 상기 기준 크기 보다 작은 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
23. 제21항 또는 제22항에 있어서, 상기 얼굴 영역의 크기가 상기 기준 크기 보다 큰 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
24. 제23항에 대하고, 상기 제2 초점 영역은 상기 얼굴 영역을 복수의 축소 비율로 축소한 제2 초점 영역들을 포함하는 것을 특징으로 하는 자동 초점 조절 방법
25. 제24항에 있어서, 상기 축소 비율은 상기 얼굴 영역의 크기가 클수록 큰 것을 특징으로 하는 자동 초점 조절 방법.
26. 제20항에 있어서, 상기 제1 판단은 상기 피사체의 거리와 기준 거리를 비교하며,
    상기 제1 판단 결과에 따라 상기 피사체의 거리가 상기 기준 거리 보다 긴 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
27. 제26항에 있어서, 상기 피사체의 거리가 상기 기준 거리 보다 긴 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
28. 제26항 또는 제27항에 있어서, 상기 피사체의 거리가 상기 기준 거리 보다 짧은 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
29. 제28항에 있어서, 상기 제2 초점 영역은 상기 얼굴 영역을 복수의 축소 비율로 축소한 제2 초점 영역들을 포함하는 것을 특징으로 하는 자동 초점 조절 방법
30. 제29항에 있어서, 상기 축소 비율은 상기 피사체의 거리가 가까울 정도 축소하는 비율이 큰 것을 특징으로 하는 자동 초점 조절 방법
31. 제20항에 있어서, 상기 제1 판단은 생성한 상기 영상 신호에 대응하는 배율과 기준 배율을 비교하며,
    상기 제1 판단 결과에 따라 상기 배율이 상기 기준 배율 보다 작은 경우 상기 얼굴 영역과 상이한 크기를 갖는 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
32. 제31항에 있어서, 상기 배율이 상기 기준 배율 보다 작은 경우 상기 얼굴 영역의 크기보다 큰 제1 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
33. 제31항 또는 제32항에 있어서, 상기 배율이 상기 기준 배율 보다 큰 경우 상기 얼굴 영역을 축소한 제2 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
34. 제33항에 대하고, 상기 제2 초점 영역 설정에서는 상기 얼굴 영역을 복수의 축소 비율들로 축소한 제2 초점 영역들을 포함하는 것을 특징으로 하는 자동 초점 조절 방법
35. 제34항에 대하고, 상기 축소 비율은 상기 배율이 클수록 큰 것을 특징으로 하는 자동 초점 조절 방법
36. 제20항에 있어서, 상기 영상 신호의 휘도와 기준 휘도를 비교하는 제2 판단하는 단계를 더 구비하고,
    상기 제1 판단 결과에 더하여 상기 영상 신호의 휘도와 상기 기준 휘도의 비교 결과에 따라 크기가 다른 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
37. 제30항에 있어서, 상기 초점 영역 설정부는 상기 영상 신호의 휘도가 상기 기준 휘도 보다 작을수록 크기가 큰 초점 영역을 설정하는 것을 특징으로 하는 자동 초점 조절 방법.
38. 제20항에 있어서, 상기 영상 신호로부터 복수의 얼굴들을 인식하는 단계;
    인식한 상기 복수의 얼굴들 경우 가장 크기가 큰 어느 하나의 얼굴을 선택하여, 선택한 얼굴을 포함하는 얼굴 영역을 형성하는 단계;를 구비하는 자동 초점 조절 방법.

Images