KR20100069579A

KR20100069579A - 메인 얼굴 선택장치, 그 제어방법, 및 촬상장치

Info

Publication number: KR20100069579A
Application number: KR1020090120316A
Authority: KR
Inventors: 히토시 야스다
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-12-15
Filing date: 2009-12-07
Publication date: 2010-06-24
Also published as: CN101753840A; US8237800B2; US20100149369A1; JP5144487B2; EP2200274A3; EP2200274B1; ATE552700T1; JP2010141849A; EP2200274A2; KR101228978B1; CN101753840B

Abstract

촬상장치는, 각 검출된 얼굴에 대하여 산출된 우선도에 의거하여 순차 촬상된 화상에서 검출된 얼굴들 중에서 메인 얼굴을 선택한다. 또한, 촬상장치는, 마지막 선택된 메인 얼굴에 대응하는 얼굴에 부여된 우선도와, 상기 메인 얼굴 이외의 얼굴들에 대응하는 얼굴들에 부여된 우선도를 비교하고, 상기 메인 얼굴 이외의 얼굴들에 대응하는 얼굴들에 부여된 우선도가 상기 메인 얼굴에 대응하는 얼굴에 부여된 우선도를 상회하는 회수를 카운트한다. 촬상장치는, 상기 메인 얼굴 이외의 얼굴들에 대하여 카운된 회수 중 하나가 미리 설정된 임계값을 초과할 경우에, 상기 얼굴들 중 하나로 메인 얼굴을 바꾼다.

촬상장치, 얼굴 검출, 고정 렌즈, 줌 렌즈, 포커스 렌즈

Description

메인 얼굴 선택장치, 그 제어방법, 및 촬상장치{MAIN FACE CHOOSING DEVICE, METHOD FOR CONTROLLING SAME, AND IMAGE CAPTURING APPARATUS}

본 발명은 메인 얼굴 선택장치, 그 선택장치의 제어방법, 및 촬상장치에 관한 것이다.

지금까지, 피사체에 자동적으로 초점을 맞추는 AF(auto-focus) 기능과 노출을 자동적으로 행하는 AE(auto-exposure) 기능을 갖는 촬상장치(예를 들면, 디지털 스틸 카메라 및 디지털 비디오 카메라)가 제작되어 왔다. 일부 장치는, 인물의 얼굴에 적합한 AF, AE 등(이하, 총체적으로 "AF 등"이라고 부른다)을 더 정확하게 행하기 위해서, 촬상한 화상에서 인물의 얼굴을 검출하는 기능을 갖고 있다. 또한, 촬영한 화상에 있어서 복수의 인물의 얼굴이 검출되었을 경우, 일부 장치는 인물의 얼굴들 중에서 주(主)피사체가 되는 인물의 얼굴(이하, "메인 얼굴"이라고 부른다)을 선택하는 기능을 갖고 있다.

상기 촬상장치에서는, 이 메인 얼굴의 선택을, 촬상한 화상에 존재하는 인물의 얼굴의 상태에 근거해서 행했다. 여기에서 사용한 "인물의 얼굴의 상태"란, 예를 들면, 촬상한 화상에 있어서의 얼굴의 위치 및 얼굴의 크기를 나타내는 파라미 터들을 의미한다.

그렇지만, 어떤 특정한 시간에 있어서의 인물의 얼굴의 상태만 고려하면, 약간의 상태의 변화에 의해 메인 얼굴이 자주 바뀌는 일이 발생한다. 이 때문에, 촬상한 화상에서 메인 얼굴을 선택할 때에, 촬상한 화상에 존재하는 인물의 얼굴의 상태를 고려하면서도, 극단적으로 빈번히 메인 얼굴이 바뀌는 것을 억제하는 기술이 제안되어 있다(일본국 공개특허공보 특개2008-005438호 및 특개2008-205650호 참조).

상기 기술의 구체적인 구성을 이하에 설명한다. 도 4는, 촬상한 화상에 존재하는 인물의 얼굴에 관한 정보의 일례를 도시한 도면이다. 복수의 얼굴이 검출되었을 경우에는, 각각의 얼굴에 대하여 얼굴 정보가 요구된다.

그러한 얼굴 정보는, 촬상한 화상의 중심좌표(center_x, center_y)로부터 검출된 얼굴(Face 1)의 중심좌표(x1, y1)까지의 거리를 포함하고 있다. 또한, 이 정보는 얼굴을 정방형이라고 했을 경우의 한 변의 길이를 나타내는 얼굴 크기(size 1)와, 검출된 얼굴이 인물의 얼굴일 가능성을 나타내는 신뢰도값도 포함하고 있다. 이들의 얼굴 정보의 항목은, 공지의 얼굴 검출 기술을 사용해서 촬상한 화상으로부터 취득된다.

예를 들면, 얼굴 크기는, 얼굴의 대부분이 살색인 상태로부터, 소정의 크기의 정방형에 포함되는 살색 영역의 비율이 소정의 값이 되도록 설정될 수 있다. 또한, 신뢰도는, 눈동자가 흑색인 상태로부터, 눈이 2개 있는지 아닌지, 2개의 눈 사이의 거리, 2개의 눈 사이에 코가 존재하는지 아닌지 등에 의거하여 결정된다. 이 경우에, 신뢰도가, 1 내지 10의 단계로 표현되고, 1이 인물의 얼굴일 확률이 가장 높은 것을 나타내는 것으로 한다.

우선, 검출된 얼굴의 신뢰도와 도 5에 나타낸 것과 같은 신뢰도-무게(reliability-weight) 특성 그래프를 사용하여, 제1의 무게를 산출한다. 도 5에서는, x축은 입력, 즉, 검출된 얼굴의 신뢰도를 나타내고, y축은 출력, 즉 제1의 무게를 나타낸다. 신뢰도가 1부터 3까지 포함하고 있는 경우에는, 제1의 무게를 1.0으로 설정하고; 신뢰도 3과 1.0의 제1의 무게를 나타내는 점과 신뢰도 5와 0의 제1의 무게를 나타내는 점을 직선으로 서로 연결하고; 신뢰도가 5이상인 경우에는 제1의 무게를 0으로 설정한다.

다음에, 검출된 얼굴의 크기와 도 6a에 나타낸 얼굴 크기-무게 특성 그래프를 사용하여, 제2의 무게를 산출한다. 도 6a에 있어서, x축은 입력, 즉 검출된 얼굴의 크기를 나타내고, y축은 출력, 즉 제2의 무게를 나타낸다. 예를 들면, 0픽셀의 얼굴 크기와 0의 제2의 무게를 나타내는 점과 20픽셀의 얼굴 크기와 0.2의 제2의 무게를 나타내는 점을 직선으로 서로 연결한다. 또한, 20픽셀의 얼굴 크기와 0.2의 제2의 무게를 나타내는 점과 30픽셀의 얼굴 크기와 1의 제2의 무게를 나타내는 점을 직선으로 서로 연결하고, 얼굴 크기가 30픽셀이상인 경우에는 제2의 무게를 1.0으로 설정한다.

도 6a에 있어서, 얼굴 F1의 크기 W1이 20픽셀이하인 경우에는, 제2의 무게가 최대 0.2이다. 그러나, 얼굴 F2의 크기 W2가 20 내지 30픽셀의 범위에 있는 경우에는, 제2의 무게가 0.2에서 1.0까지 변화한다. 즉, 얼굴 크기가 메인 얼굴로서 결정 될 만한 얼굴 크기를 나타내는 20픽셀을 넘는 경우에는, 제2의 무게의 값이 급격하게 변화하기 때문에, 메인 얼굴이 될 만한 얼굴 F2에는 보다 큰 무게 값이 주어진다.

또한, 도 6b에 나타나 있는 바와 같이, 검출된 얼굴 F1 및 F2의 중심과 촬상한 화상의 중심 0 사이의 거리에 관한 좌표값 형태의 거리정보 dist를 산출한다. 그리고, 산출된 정보 dist와 도 6b에 나타낸 거리-무게 특성 그래프를 사용하여, 제3의 무게를 산출한다. 예를 들면, 얼굴 검출용의 촬상한 화상의 크기가 320×240픽셀이고, 중심 0으로부터의 거리가 10픽셀이하인 경우에는, 무게를 1.0으로 설정하는 것으로 한다. 또한, 10픽셀의 거리와 1.0의 제3의 무께를 나타내는 점과 80픽셀의 거리와 0의 제3의 무게를 나타내는 점을 직선으로 서로 연결하고, 거리가 80 픽셀이상인 경우에는 무게를 0으로 설정한다.

이 경우, 얼굴 F1의 중심으로부터의 거리가 10픽셀정도인 경우에는, 무게가 1.0이 된다. 그러나, 얼굴 F2의 중심으로부터의 거리가 10픽셀이상인 경우에는, 무게가 1.0미만이 되고; 얼굴 F2의 중심으로부터의 거리가 80픽셀이상인 경우에는, 무게가 0이 된다. 즉, 화상의 중심에 가깝고, 메인 얼굴로서 결정될 만한 얼굴 F1에는 큰 무게 값이 주어진다.

제1 내지 제3의 무게를 곱한 결과, 가장 큰 무게값을 갖는 얼굴이, 그 프레임에 있어서 가장 메인 얼굴일 것 같다고 판정하는 것이 가능하다.

그렇지만, 프레임들 사이에 있어서의 인물의 구도에 큰 차이가 없을 경우에는, 인물의 위치와 인물의 얼굴의 신뢰도가 약간 변화했을 경우에는, 프레임마다 가장 메인 얼굴일 것 같다고 판정된 얼굴이 바뀌는 것이 예상된다. 이러한 경우에는, 그러한 메인 얼굴이 자주 바뀌는 일이 발생하기 때문에, 오히려 화상이 보기 흉하게 된다. 그 때문에, 일단 메인 얼굴이 선택되었다면, 쉽게 메인 얼굴이 바뀌지 않도록 할 필요가 있다고 생각된다.

구체적으로는, 마지막 얼굴 검출시에 메인 얼굴로서 선택된 얼굴의 좌표를 판독하고 나서, 이 판독한 좌표와 새롭게 검출된 각각의 얼굴의 좌표 간의 거리를, 예를 들면 피타고라스(Pythagorean) 정리를 이용해서 결정한다. 그 후에, 마지막 선택된 메인 얼굴에 가장 가까운 얼굴에 1.4의 제4의 무게를 부여하고, 그 이외의 얼굴에는 1.0의 제4의 무게를 부여한다.

그리고 나서, 제1 내지 제3의 무게의 승산결과와 제4의 무게를 곱해서, 각각의 얼굴의 최종 무게를 산출하고, 그 최종 무게가 가장 큰 얼굴을, 그 타이밍에 있어서의 메인 얼굴이라고 판정한다. 이에 따라, 메인 얼굴 이외의 얼굴이, 메인 얼굴보다도 얼굴의 신뢰도, 크기, 및 위치에 의거한 웨이팅 승산값(weighting product)이 높은 경우에도, 마지막 얼굴 검출시에 메인 얼굴로서 선택된 얼굴로부터 거리가 떨어져 있으면, 그 얼굴이 새롭게 판정된 메인 얼굴로서 선택될 가능성이 작다. 따라서, 메인 얼굴이 바뀌는 것에는 제한이 있어, 자주 메인 얼굴이 바뀌는 것을 억제할 수 있다.

그렇지만, 상기 방법을 이용하는 경우에도, 이하의 문제가 발생할 수 있다. 도 7a 및 7b는, 메인 얼굴 B의 검출 후에 얼굴 A를 검출했을 때에 행해진 메인 얼굴 판정 동작을 나타낸다. 이들 동작에서는, 각 얼굴의 위치 및 크기와, 마지막 메 인 얼굴과 각 얼굴 간의 거리로부터 구한 3개의 무게값을 승산(또는 가산)함으로써 최종 무게값을 결정하고, 그 승산결과(또는 합계)에 의거해서 다음 메인 얼굴을 결정한다.

도 7a에 나타나 있는 바와 같이, 예를 들면 주피사체인 메인 얼굴 B와 촬상장치와의 사이의 위치에 있어서 통행인의 얼굴 A가 촬상한 화상에 포함되어 있었던 경우에는, 얼굴 A의 화상이 얼굴 B의 화상보다도 훨씬 커진다. 따라서, 상기에 설명한 제4의 무게를 고려했다고 해도, 얼굴 B보다도 큰 최종 무게값이 얼굴 A에 부여될 것이고, 그리고 나서 그 시간에 즉시 메인 얼굴이 얼굴 B에서 얼굴 A로 바뀌어 버릴 것이다. 그 경우에, 얼굴 A에 부여된 무게값은, 다음과 같다:

60%×100%×1.0(제4의 무게)/100=60%

마찬가지로, 얼굴 B에 부여된 무게값은, 다음과 같다:

100%×40%×1.4(제4의 무게)/100=56%

또한, 도 7b에 나타나 있는 바와 같이, 유저가 원하는 주피사체인 얼굴 A의 검출 전에 메인 얼굴 B가 인식되었을 경우에는, 얼굴 크기와 프레임 간의 위치의 적은 차에 의해, 얼굴 A에 부여된 최종 무게값이 얼굴 B에 부여된 무게값을 상회하지 않는다. 이 경우에는, 메인 얼굴 B가 주피사체로서 선택된 채로 있는 경우가 있어, 유저가 원하는 얼굴 A가 메인 얼굴로서 선택되지 않는 경우가 있었다. 부수적으로, 얼굴 A에 부여된 무게값은, 다음과 같다.

100%×40%×1.0(제4의 무게)/100=40%

마찬가지로, 얼굴 B에 부여된 무게값은, 다음과 같다.

90%×40%×1.4(제4의 무게)/100=50.4≒50%

이와 같이, 순차 촬상된 화상의 중앙에 있는 인물의 얼굴이 각각 메인 얼굴이라고 선택되는 것은, 유저에게 있어 납득할 수 있다. 그렇지만, 잠시 시야(field of view)를 가로질러 지나는 얼굴 등 갑자기 무게값이 커진 얼굴로 메인 얼굴이 자주 바뀌는 것은 유저가 원하는 것이 아닌 경우가 있다. 또한, 촬상한 화상의 중앙에 없는 메인 얼굴의 위치가, 상이한 프레임들에 있어서 변화하지 않기 때문에, 메인 얼굴이 바뀌는 일이 발생하지 않는 것도, 유저가 원하는 것이 아닌 경우가 있다. 이렇게, 종래기술에는, 아직 개량의 여지가 있다고 생각된다.

본 발명은, 이러한 종래기술의 과제를 감안하여 이루어졌다. 본 발명은 순차 촬상된 화상에서 얼굴 검출이 행해질 때에, 메인 얼굴이 자주 바뀌는 것을 억제하면서, 각 메인 얼굴을 메인 얼굴에 적합한 얼굴로 바꾸는 기술을 제공한다.

제1의 국면에 있어서의 본 발명에 따른 메인 얼굴 선택장치는, 촬상수단에 의해 순차 촬상된 촬상화상들에서 인물들의 얼굴들을 시계열적으로 검출하고, 상기 검출된 얼굴들 중 어느 얼굴이 가장 최근에 검출된 얼굴들인지를 판정하는 얼굴검출수단; 각 검출된 얼굴의 촬상화상에 있어서의 크기 및 위치 중 적어도 하나에 의거하여 상기 검출된 얼굴들 중의 하나의 얼굴을, 메인 얼굴로서 선택할 수 있도록, 상기 얼굴검출수단에 의해 시계열적으로 검출된 각 얼굴에 대하여 우선도를 산출하는 산출수단; 각 검출된 얼굴에 대하여 산출된 우선도에 의거하여 상기 검출된 얼굴들 중에서 메인 얼굴을 선택하는 메인 얼굴 선택수단; 및 마지막 선택된 메인 얼 굴에 부여된 우선도와, 상기 메인 얼굴 이외의 얼굴들에 부여된 우선도를 비교하고, 상기 메인 얼굴 이외의 얼굴들에 부여된 우선도가 상기 메인 얼굴에 부여된 우선도를 상회하는 회수를, 상기 메인 얼굴 이외의 얼굴들의 각각에 대하여 카운트하는 계수수단을 구비하고, 상기 메인 얼굴 선택수단은, 상기 메인 얼굴 이외의 얼굴들의 각각에 대하여 상기 계수수단에 의해 카운트된 회수 중에서, 상기 메인 얼굴 이외의 얼굴들 중의 하나의 얼굴에 대하여 카운트된 회수가 미리 설정된 임계값을 넘는 경우에, 가장 최근 메인 얼굴로부터 상기 임계값을 넘는 얼굴들 중의 하나의 얼굴로 메인 얼굴을 바꾼다.

제2의 국면에 있어서의 본 발명에 따른 촬상장치는, 촬상수단; 본 발명에 따른 메인 얼굴 선택장치; 및 상기 메인 얼굴 선택장치에 의해 선택된 메인 얼굴에 포커스하거나, 또는 상기 선택된 메인 얼굴에의 노출을 보정하도록 상기 촬상장치를 제어하는 제어수단을 구비한다.

제3의 국면에 있어서의 본 발명에 따른 메인 얼굴 선택장치의 제어방법은, 촬상수단에 의해 순차 촬상된 촬상화상들에서 인물들의 얼굴들을 시계열적으로 검출하고, 상기 검출된 얼굴들 중의 어느 얼굴이 가장 최근에 검출된 얼굴들인지를 판정하는 단계; 상기 검출된 얼굴들의 상기 촬상화상에 있어서의 크기 또는 위치 중의 적어도 하나에 의거하여 상기 검출된 얼굴들 중의 하나의 얼굴을 메인 얼굴로서 선택할 수 있도록, 상기 얼굴 검출 단계에서 시계열적으로 검출된 얼굴들의 각각에 대하여 우선도를 산출하는 단계; 각 검출된 얼굴에 대하여 산출된 우선도에 의거하여 상기 검출된 얼굴들 중에서 메인 얼굴을 선택하는 단계; 및 마지막 선택 된 메인 얼굴에 부여된 우선도와 상기 메인 얼굴 이외의 얼굴들에 부여된 우선도를 비교하고, 상기 메인 얼굴 이외의 얼굴들에 대응하는 얼굴들에 부여된 우선도가 상기 메인 얼굴에 대응하는 얼굴에 부여된 우선도를 상회하는 회수를, 상기 메인 얼굴 이외의 얼굴들의 각각에 대하여 카운트하는 단계를 포함하고, 상기 메인 얼굴 이외의 얼굴들 중의 하나의 얼굴에 대하여 상기 계수수단에 의해 카운트된 회수가 미리 설정된 임계값을 넘는 경우에, 가장 최근에 선택된 메인 얼굴로부터 상기 임계값을 넘은 얼굴들 중의 하나의 얼굴로 메인 얼굴을 바꾼다.

본 발명의 그외의 특징들은 (첨부된 도면을 참조하면서) 이하의 실시예의 설명으로부터 밝혀질 것이다.

이하, 본 발명의 실시예에 대해서 도면을 참조해서 설명한다.

도 1은, 본 발명의 실시예에 따른 촬상장치(비디오 카메라)(1)의 구성을 나타낸다. 또한, 본 실시예에서는 메인 얼굴 선택장치를 갖는 촬상장치(1)의 일례로서 비디오 카메라를 예시해서 설명하지만, 본 발명은, 디지털 스틸 카메라 등의 다른 촬상장치에도 적용 가능하다.

도 1에 나타나 있는 바와 같이, 제1 고정 렌즈(101) 및 제2 고정 렌즈(104)는, 광축방향으로 이동하는 일없이 고정되는 렌즈다. 줌 렌즈(102)는, 줌 구동부(110)에 의해 광축방향으로 이동함으로써, 피사체상의 변배(變倍)를 행하는 렌즈다. 포커스 렌즈(105)는, 포커싱 구동부(111)에 의해 광축방향으로 이동함으로써 변배에 따르는 초점면의 이동을 보정하는 기능과, 포커싱 기능을 실현하는 렌즈다. 촬상장치(1)는, 제1 고정 렌즈(101), 줌 렌즈(102), 조리개(103), 제2 고정 렌즈(104) 및 포커스 렌즈(105)에 의해, 촬상소자(106)에 피사체상을 결상하는 촬상 광학계를 포함한다.

촬상소자(106)는, CCD 센서나 CMOS 이미지 센서로 구성되어, 촬상 광학계에 의해 결상된 피사체상을 화상신호로 광전 변환해서 출력한다. CDS/AGC부(107)는, 촬상소자(106)의 출력을 샘플링하여, 그것의 게인을 조정한다. 또한, CDS는 "correlated double sampling"의 약어이며, AGC은 "automatic gain control"의 약어다.

카메라 신호 처리부(108)는, 각종의 화상처리를 실행하여, CDS/AGC부(107)로부터의 출력 신호를 영상신호로 변환한다. 모니터(109)는 LCD(liquid crystal display) 등이며, 카메라 신호 처리부(108)로부터 출력된 영상신호를 표시한다. 기록부(115)는, 제어부(114)의 제어 하에서, 카메라 신호 처리부(108)로부터의 영상신호를 자기 테이프, 광디스크, 또는 반도체 메모리 등의 기록 매체(도면에 나타나 있지 않음)에 기록한다.

줌 구동부(110)는 제어부(114)의 제어 하에서 줌 렌즈(102)를 이동시키고, 포커싱 구동부(111)는 제어부(114)의 제어 하에서 포커스 렌즈(105)를 이동시킨다. 줌 구동부(110) 및 포커싱 구동부(111)는, 스텝핑(stepping) 모터, DC 모터, 진동형 모터 및 보이스 코일 모터(voice coil motor) 등의 액추에이터로 각각 구성된다.

AF 게이트(112)는, 제어부(114)의 제어 하에서, CDS/AGC부(107)로부터 출력 된 촬상소자(106)에서 생성된 전체 화소의 출력 신호의 초점 검출에 사용하는 주파수를 지닌 신호 성분만을 패스한다. AF 신호 처리부(113)는, AF 게이트(112)를 통과한 신호로부터 고주파 성분, 휘도성분(즉, AF 게이트(112)를 통과한 신호의 휘도 레벨의 최대값과 최소값 간의 차를 나타내는 신호 성분) 등을 추출해서, AF 평가값 신호를 생성한다.

AF 신호 처리부(113)에 의해 생성된 AF 평가값 신호는, 제어부(114)에 출력된다. AF 평가값 신호는, 촬상소자(106)로부터의 출력 신호에 의거하여 생성되는 영상의 선예도(콘트라스트 상태)를 나타내는 신호이지만, AF 평가값 신호는, 선예도가 촬상 광학계의 초점 상태에 따라 변화하기 때문에, 결과적으로 촬상 광학계의 초점 상태를 나타내는 신호가 된다.

제어부(114)는, 소위 마이크로콘트롤러(또는 마이크로컴퓨터)이며, 촬상장치(1) 전체의 동작을 제어한다. 예를 들면, 제어부(114)는, 포커싱 구동부(111)를 제어해서 포커스 렌즈(105)를 이동시키는 포커스 제어를 행한다. 이 포커스 제어로서, 제어부(114)는, TV-AF 방식의 포커스 제어(이하, 간단히 TV-AF라고 한다)를 행한다. 또한, 제어부(114)는, 기록부(115)를 제어하여, 카메라 신호 처리부(108)로부터의 영상신호를 각종 포맷에 맞춰서 기록 매체에 기록할 수 있다.

얼굴 검출부(116)는, 카메라 신호 처리부(108)로부터의 영상신호에 대하여 공지의 얼굴 검출 처리를 실행해서, 촬상소자(106)에 의해 촬상된 화상 내에 포함되는 인물의 얼굴 영역을 검출한다. 또한, 그러한 공지의 얼굴 검출 처리의 예로서는, 화상 데이터로서 나타낸 각 화소의 계조색으로부터 추출한 살색 영역과 미리 준비한 얼굴의 윤곽 템플레이트(template)와의 매칭도에 근거해서 얼굴을 검출하는 방법이 있다. 또한, 주지의 패턴 인식 기술을 사용하여, 눈, 코, 입 등의 얼굴의 특징점을 추출함으로써 얼굴 검출을 행하는 방법도 개시되어 있다. 본 발명에서는, 얼굴 검출 처리의 기술은, 전술한 기술에 한정되는 것은 아니고, 다른 어떤 적절한 기술이든 사용 가능하다.

얼굴 검출부(116)는, 얼굴 검출 처리의 결과를 제어부(114)에 전달된다. 제어부(114)는, 얼굴 검출부(116)에 의해 전달된 검출 결과에 근거하여, 촬상화상 내의 얼굴영역을 포함하는 위치에 초점 검출에 사용하는 영역을 추가하도록 AF 게이트(112)를 제어한다. 좀더 구체적으로, 제어부(114)는, 초점 검출에 사용하는 영역을 나타내는 좌표를 AF 게이트(112)에 통지한다. AF 게이트(112)는, 제어부(114)로부터 전달된 좌표 정보를 나타내는 신호만을 AF 신호 처리부(113)에 전송한다.

다음에, 제어부(114)에 의한 메인 얼굴 판정 제어에 대해서, 도 2를 참조해서 설명한다. 이 메인 얼굴 판정 제어는, 제어부(114)의 메모리(도면에 나타나 있지 않음)에 기억된 컴퓨터 프로그램에 따라 실행된다. 또한, 이 메인 얼굴 판정 제어의 동작은, 촬상소자(106)에 의해 소정의 프레임 레이트(frame rate)로 연속적으로 촬상된 화상에 대해서 시계열적으로 순차 행해진다. 또한, 메인 얼굴 판정 제어의 동작은, 얼굴 검출부(116)의 처리능력에 따라, 대략 수 프레임의 간격으로 행해져도 된다.

이 제어부(114)에서는, 메인 얼굴 판정 제어에 의해 판정된 메인 얼굴의 위치에 의거하여 초점 검출에 사용하는 영역을 규정하고, 그 영역에 대하여 TV-AF 처 리를 행한다. 소정의 영역에 대해서 행해진 TV-AF 처리는 공지의 기술이므로, 그러한 처리의 설명은 생략한다.

도 2에 나타나 있는 바와 같이, 제어부(114)는, S201에서 처리가 개시되면, S202에서 현재의 촬상화상에서 얼굴 검출한 결과를 얼굴 검출부(116)로부터 추출한다. 제어부(114)는, 얼굴 검출부(116)로부터 추출된 얼굴검출의 결과에 대한 데이터를 일시적으로 기억하는 버퍼를 구비하고 있다. 이 버퍼에는, 적어도 얼굴 검출부(116)로부터 추출된 얼굴검출의 결과의 현재의 결과와 전회의 결과를 기억하는 기억영역이 확보되어 있다.

다음에, 제어부(114)는, S203에 있어서, 현재의 촬상화상에서 검출한 얼굴과, 이들 얼굴의 위치와 크기에 근거해서 버퍼에 기억된 전회의 촬상화상에서 검출한 얼굴을 매칭한다. 이 매칭 결과에 의거해서, 제어부(114)는, 전회와 현재의 촬상화상으로부터 동일한 인물의 얼굴을 검출하고 있다고 생각되는 얼굴끼리를 서로 관련지어서, 전회 검출된 얼굴에 대응하는 얼굴을 검출한다. 그 결과, 현재 검출된 얼굴들 중에서, 전회의 촬상화상에서 메인 얼굴과 동일한 얼굴을 검출할 수 있다.

얼굴 검출부(116)에서 검출된 얼굴 화상에는, 후술하는 카운터 정보(이하, 간단히 "카운터"라고 한다)가 부여된다. 좀더 구체적으로, 이 카운터는, 전술한 버퍼에 확보된 소정의 기억영역에, S203에 있어서 검출한 얼굴들에 대응하여 기억된다. 그리고, 현재 화상에 있어서의 인물과 전회 화상에 있어서의 인물이 S203에 있어서 동일 인물이라고 판정되는 경우에는, 전회의 화상으로부터 검출한 얼굴에 대응하여 기억된 카운터가 그대로 사용된다.

이 카운터는, 하나의 프레임에 표시 가능한 검출된 얼굴의 위치와 같은 수만큼 할당되도록 준비(버퍼에 확보)되어 있다. 예를 들면, 한번에 30인분의 얼굴 검출 결과를 나타낼 수 있는 유저 인터페이스(UI)가 사용되면, 카운터도 30개 준비된다. 또한, 지금까지 동일한 인물의 얼굴로서 검출되었던 얼굴이 S203에 있어서 검출될 수 없는 경우에는, 그 인물에 대응한 카운터가 해제된다. 반대로, 지금까지 검출되지 않았던 다른 인물의 얼굴이 S203에 있어서 검출된 경우에는, 다른 카운터(값이 0)가 인물의 얼굴에 대응하게 되어서, 0에서 그 카운트가 시작된다.

그리고 나서, 제어부(114)는, S204에 있어서, 현재의 촬상화상에 있어서 메인 얼굴 판정의 우선도를 검출된 얼굴에 부여되도록 산출한다. 각각의 얼굴에 부여된 우선도의 산출에서는, 도 6b를 참조해서 설명한 바와 같이, 프레임의 중앙에 가까울수록 우선도의 웨이팅이 커지고, 프레임의 주변에 가까울수록 우선도의 웨이팅이 작아지도록 우선도가 설정된다. 또한 도 6a를 참조해서 설명한 바와 같이, 각각의 얼굴에 부여된 우선도의 산출에서는, 얼굴 크기가 클수록 웨이팅이 커지고, 얼굴 크기가 작을수록 웨이팅이 작아지도록 우선도가 설정된다. S204에서는, 제어부(114)는, 이 프레임 내에 있어서의 각 얼굴의 위치에 따라 가중된 값과, 각 얼굴 크기에 따라 가중된 값을 승산(혹은 가산)하고, 그 승산(또는 가산) 결과가 클수록, 얼굴에 부여된 우선도가 커진다고 판정한다.

상술한 우선도는, 각 검출된 얼굴의 크기 및 촬상화상에 있어서의 각 얼굴의 위치 중의 적어도 하나에 의거하여 제어부(114)에 의해 산출될 수 있다. 예를 들면, 검출된 얼굴의 크기에만 의거하여 우선도를 산출하는 경우에는, 제어부(114)는 프레임 내에 있어서의 각 얼굴의 위치에 따라 가중된 값을 1로 설정할 수 있고, 이 1의 값과 각 얼굴 크기에 따라 가중된 값을 승산(혹은 가산)할 수도 있다.

S205에 있어서는, 제어부(114)는, S203에서 생성된 매칭 결과에 의거하여, 전회의 얼굴 검출시에 (마지막) 메인 얼굴이라고 판정된 인물의 얼굴로서 간주되는 얼굴이, 현재의 촬상화상에서 검출된 얼굴에 존재하는지 아닌지를 판정한다. 이 판정시에, 현재의 촬상화상에서 검출된 얼굴 중에서 같은 얼굴이 존재했을 때에는, 제어부(114)는 S206로 진행된다. 한편, 전회의 얼굴 검출시에 메인 얼굴이라고 판정된 인물의 얼굴이 현재의 촬상화상 내에 존재하지 않을 때에는, 제어부(114)는 S210로 진행된다.

S206에 있어서, 제어부(114)는, 전회의 얼굴 검출시에 메인 얼굴이라고 판정된 얼굴에 부여된 우선도와, 그 이외의 얼굴 각각에 부여된 우선도를 비교한다. 이 비교에 의거해서, 제어부(114)는, 그 이외의 얼굴 중의 일부가 메인 얼굴보다 높은 우선도를 갖는 경우에는, 이들 얼굴과 관련된 카운터값(얼굴들 중의 하나의 얼굴에 부여된 우선도가 메인 얼굴에 부여된 우선도를 상회하는 회수를 카운트하는 것을 의미)을 가산하고; 그 이외의 얼굴들 중의 일부가 메인 얼굴보다 낮은 우선도를 갖는 경우에는, 이들 얼굴과 관련된 카운터값을 감산한다. 즉, 제어부(114)는, 메인 얼굴 이외의 얼굴의 각각에 부여된 우선도가 메인 얼굴에 부여된 우선도를 상회하는 회수를, 메인 얼굴 이외의 얼굴마다 카운트한다.

S207에 있어서는, 제어부(114)는, 카운터 값이 소정값 이상인(또는 임계값을 넘는) 얼굴이 존재하는지 아닌지를 판정한다. 카운터값이 소정값 이상인 얼굴이 존 재하는 경우에는, 제어부(114)는 S208로 진행한다. S208에 있어서는, 제어부(114)는, 카운터값이 소정값 이상인 얼굴을 메인 얼굴이라고 새롭게 판정하고, 그 후에 모든 얼굴과 관련된 카운터값을 클리어해서, 메인 얼굴 판정 처리를 S209에서 종료한다. 한편, 카운터값이 소정값 이상인 얼굴이 없는 경우에는, 제어부(114)는, S209에서 메인 얼굴 판정 처리를 종료한다. 상술한 소정값(또는 임계값)을, 메인 얼굴 판정 제어 처리들 간의 간격 등을 참조해서 메모리 등에서 미리 설정하는 것으로 한다.

여기에서, 카운터값은, 각 얼굴에 부여된 우선도가 그 시점에서 메인 얼굴이라고 판정되어 있는 얼굴에 부여된 우선도보다 높은 상황의 빈도를 나타내는 값이지만, 각 얼굴에 부여된 우선도가 어느 정도 높은지 낮은지를 나타내는 값이 아니다. 여기에서, 도 7a에 나타나 있는 바와 같이, 전회의 메인 얼굴 B보다 충분히 우선도가 높은 얼굴 A가 검출된 경우를 다음과 같이 나타낸다.

얼굴 A : 60%(위치) + 100%(크기) = 160%

얼굴 B : 100%(위치) + 40%(크기) = 140%

이 경우, 검출된 얼굴마다 1의 카운트만이 가산된다. 이 얼굴 A가 지나가는 인물의 얼굴이고, 얼굴 A의 화상이 얼굴 B 화상보다 갑자기 작아지거나, 새롭게 촬상된 화상에서 검출되지 않는 경우에는, 이 얼굴 A와 관련된 카운트값이 소정값에 도달하지 않으므로, 얼굴 A가 메인 얼굴이라고 판정되지 않는다.

반대로, 도 7b에 나타나 있는 바와 같이, 전회의 메인 얼굴 B보다 약간 우선도가 높은 얼굴 A가 검출된 경우를 다음과 같이 나타낸다.

얼굴 A : 100%(위치) + 40%(크기) = 140%

얼굴 B : 90%(위치) + 40%(크기) = 130%

이 경우에도, 검출된 얼굴마다 1의 카운트만이 가산된다. 그렇지만, 얼굴 A가 프레임의 중앙 부근에서 높은 빈도로 검출되기 때문에, 얼굴 A와 관련된 카운트값이 소정값에 도달하므로, 얼굴 A가 메인 얼굴이라고 판정된다.

즉, 각 얼굴과 관련된 카운터값은, 이미 검출된 메인 얼굴과 비교해서, 각 얼굴이 메인 얼굴인 것처럼 보이는 것의 빈도를 나타낸다. 따라서, 이것은, 이들 얼굴 중의 하나의 얼굴과 관련된 카운터값이 큰 경우에, 그 얼굴이 보다 메인 얼굴이라고 여겨질 만한 가치가 있다는 것을 의미한다.

S208에 있어서, 제어부(114)에 의해 메인 얼굴이 바뀔 때에 모든 얼굴과 관련된 카운터값을 클리어하는 목적은, 메인 얼굴이 바뀐 직후에 메인 얼굴 이외의 얼굴과 관련된 카운터값이 가산됨으로써, 즉시 또 다른 메인 얼굴로 바뀌는 경우의 발생을 방지하는 것이다. 이것에 의해, 메인 얼굴의 바뀜은 반드시 일정 간격(S201 내지 S209를 포함하는 메인 얼굴 판정 처리가 행해지는 회수가 적어도 소정의 회수를 상회한다)으로 행해진다. 또한, 드물게 발생하는 변화라도, 복수의 얼굴과 관련된 카운터값이 동시에 소정값을 상회한 경우에는, 제어부(114)는 현재의 촬상화상 내에서 우선도가 가장 높은 얼굴을 새롭게 선택된 메인 얼굴이라고 판정한다.

S210에서는, 제어부(114)는, 현재의 촬상화상에서 검출한 얼굴 중에서 우선도가 가장 높은 얼굴을 새롭게 메인 얼굴이라고 판정하고 나서, 모든 얼굴과 관련된 카운터값을 클리어(리셋))함으로써, 메인 얼굴 판정 처리를 S209에서 종료한다.

여기에서는, 본 발명을 적용한 예를 도 3을 참조하여 설명한다. 도 3에 나타내는 예는, 도 7a 및 7b와 마찬가지로, 얼굴 B 화상 후에 얼굴 A 화상이 나타나는 경우를 나타낸 것이며; 얼굴 양쪽의 위치와 크기는 도 7a 및 7b에 나타낸 화상과 같다. 도 3에 나타낸 바와 같이, 이들 촬상화상에 본 발명을 적용함으로써, 얼굴 A에 부여된 우선도가 메인 얼굴 B에 부여된 것보다 높은 상태가 되기 때문에, 메인 얼굴 판정 처리를 반복함으로써 얼굴 A와 관련된 카운터값이 가산되게 된다. 그 후에, 얼굴 A와 관련된 카운터값 소정값을 상회했으면, 얼굴 A가 새롭게 선택된 메인 얼굴이라고 판정된다. 따라서, 도 7a 및 7b에 나타낸 문제가 있는 종래의 촬상장치와 달리, 메인 얼굴이 즉시 바뀌고, 우선도 간의 차가 작아서 메인 얼굴 B로부터의 바뀜이 생기지 않는다는 점에서, 본 발명에 따른 촬상장치는, 도 3에 나타나 있는 바와 같이 안정적으로 얼굴 A를 메인 얼굴이라고 판정할 수 있다.

이상과 같이, 본 발명의 촬상장치에서는, 동일한 얼굴이, 소정회수 현재의 메인 얼굴보다 높은 우선도를 갖는 경우에 동일한 얼굴을 메인 얼굴이라고 판정함으로써, 촬상화상에 존재하는 피사체의 상태를 고려하면서, 자주 메인 얼굴이 바뀌는 것을 억제할 수 있다. 또한, 우선도는, 순차 촬상된 화상에서 검출된 얼굴의 크기와 위치에 의거하여 산출되기 때문에, 이전 얼굴의 크기와 위치가 그 산출에 영향을 주는 일이 없다. 따라서, 순차 촬상된 복수의 화상에서, 주어진 얼굴이 현재의 메인 얼굴보다 높은 우선도를 갖고, 유저가 메인 얼굴이 바뀌어야 한다고 생각하는 경우에는, 본 발명에 따른 촬상장치는 정확하게 메인 얼굴을 바꿀 수 있다.

촬상장치(1)에서는, 제어부(114)의 제어 하에서 상기의 메인 얼굴 판정 처리 후에, 메인 얼굴이라고 판정된 얼굴에 TV-AF로 포커스하도록 포커스 렌즈(105)를 제어함으로써, 메인 얼굴에의 포커스를 행할 수 있다. 마찬가지로, 촬상장치(1)에서는, 제어부(114)의 제어 하에서 동작하는 조리개 구동부(도면에 나타나 있지 않음)를 이용해서 조리개(103)의 개구율을 조정함으로써 메인 얼굴 판정 처리 후에 메인 얼굴이라고 판정된 얼굴에의 노출 조정을 행해도 된다.

또한, 상기의 실시예에 있어서의 기술은, 일례를 나타낸 것이며, 발명의 범위를 한정하는 것이 아니다. 상기 실시예에 따른 촬상장치의 구성 및 동작에 관해서는, 적당하게 변경이 가능하다.

그 외의 실시예

본 발명의 국면들은, 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.

예시적인 실시 예를 참조하면서 본 발명을 설명했지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구 범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 촬상장치의 구성을 나타내는 블럭도이다.

도 2는 도 1의 실시예에 따른 주피사체의 선택의 순서를 나타내는 플로차트다.

도 3은 본 발명을 적용한 예를 나타내는 도면이다.

도 4는 종래기술에 있어서, 촬상화상에 존재하는 인물에 관한 얼굴 정보의 일례를 도시한 도면이다.

도 5는 종래기술에 있어서, 얼굴정보의 신뢰도-무게 특성을 나타내는 그래프다.

도 6a는, 종래기술에 있어서, 얼굴정보의 얼굴 크기-무게 특성을 나타내는 그래프와 얼굴 크기를 도시한 개략도이다.

도 6b는, 종래기술에 있어서, 얼굴정보의 거리정보-무게 특성을 나타내는 그래프와 거리정보를 도시한 개략도이다.

도 7a 및 7b는, 종래기술에 있어서, 메인 얼굴 검출 후에 얼굴을 검출했을 때에 행해진 메인 얼굴 판정 동작을 예시한 도면이다.

Claims

촬상수단에 의해 순차 촬상된 촬상화상들에서 인물들의 얼굴들을 시계열적으로 검출하고, 상기 검출된 얼굴들 중 어느 얼굴이 가장 최근에 검출된 얼굴들인지를 판정하는 얼굴검출수단과,

각 검출된 얼굴의 촬상화상에 있어서의 크기 및 위치 중 적어도 하나에 의거하여 상기 검출된 얼굴들 중의 하나의 얼굴을, 메인 얼굴로서 선택할 수 있도록, 상기 얼굴검출수단에 의해 시계열적으로 검출된 각 얼굴에 대하여 우선도를 산출하는 산출수단과,

각 검출된 얼굴에 대하여 산출된 우선도에 의거하여 상기 검출된 얼굴들 중에서 메인 얼굴을 선택하는 메인 얼굴 선택수단과,

마지막 선택된 메인 얼굴에 부여된 우선도와, 상기 메인 얼굴 이외의 얼굴들에 부여된 우선도를 비교하고, 상기 메인 얼굴 이외의 얼굴들에 부여된 우선도가 상기 메인 얼굴에 부여된 우선도를 상회하는 회수를, 상기 메인 얼굴 이외의 얼굴들의 각각에 대하여 카운트하는 계수수단을 구비하고,

상기 메인 얼굴 선택수단은, 상기 메인 얼굴 이외의 얼굴들의 각각에 대하여 상기 계수수단에 의해 카운트된 회수 중에서, 상기 메인 얼굴 이외의 얼굴들 중의 하나의 얼굴에 대하여 카운트된 회수가 미리 설정된 임계값을 넘는 경우에, 가장 최근의 메인 얼굴로부터 상기 임계값을 넘는 얼굴들 중의 하나의 얼굴로 메인 얼굴을 바꾸는 메인 얼굴 선택장치.
제 1 항에 있어서,

상기 메인 얼굴 선택수단은, 상기 얼굴검출수단이 가장 최근의 메인 얼굴을 검출할 수 없는 경우에, 상기 검출된 얼굴들 중에서 우선도가 가장 높은 얼굴로 메인 얼굴을 바꾸는 메인 얼굴 선택장치.
제 1 항에 있어서,

상기 메인 얼굴 선택수단은, 상기 메인 얼굴 이외의 얼굴들 중의 한 개 이상의 얼굴에 대하여 상기 계수수단에 의해 카운트된 회수가 상기 임계값을 넘는 경우에, 상기 한 개 이상의 얼굴 중에서 우선도가 가장 높은 얼굴로 메인 얼굴을 바꾸는 메인 얼굴 선택장치.
제 1 항에 있어서,

상기 계수수단은, 상기 메인 얼굴 선택수단이 상기 검출된 얼굴들 중의 한 개의 얼굴로 메인 얼굴을 바꾸었을 때에, 가장 최근에 선택된 메인 얼굴 이외의 얼굴들의 각각에 대하여 상기 계수수단에 의해 카운트된 회수를 리셋하는 메인 얼굴 선택장치.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 계수수단은, 비교시 가장 최근에 선택된 메인 얼굴 이외의 얼굴들에 부여된 우선도가 상기 메인 얼굴에 대응하는 얼굴에 부여된 우선도를 하회하는 경우에, 상기 메인 얼굴 이외의 얼굴들에 대응하는 얼굴들에 대해서 카운트된 회수를 감소시키는 메인 얼굴 선택장치.
촬상장치로서,

촬상수단과,

청구항 1에 기재된 메인 얼굴 선택장치와,

상기 메인 얼굴 선택장치에 의해 선택된 메인 얼굴에 포커스하거나, 또는 상기 선택된 메인 얼굴에의 노출을 보정하도록 상기 촬상장치를 제어하는 제어수단을 구비하는 촬상장치.
메인 얼굴 선택장치의 제어방법으로서,

촬상수단에 의해 순차 촬상된 촬상화상들에서 인물들의 얼굴들을 시계열적으로 검출하고, 상기 검출된 얼굴들 중의 어느 얼굴이 가장 최근에 검출된 얼굴들인 지를 판정하는 단계와,

상기 검출된 얼굴들의 촬상화상에 있어서의 크기 또는 위치 중의 적어도 하나에 의거하여 상기 검출된 얼굴들 중의 하나의 얼굴을 메인 얼굴로서 선택할 수 있도록, 상기 얼굴 검출 단계에서 시계열적으로 검출된 얼굴들의 각각에 대하여 우선도를 산출하는 단계와,

각 검출된 얼굴에 대하여 산출된 우선도에 의거하여 상기 검출된 얼굴들 중에서 메인 얼굴을 선택하는 단계와,

마지막 선택된 메인 얼굴에 부여된 우선도와 상기 메인 얼굴 이외의 얼굴들에 부여된 우선도를 비교하고, 상기 메인 얼굴 이외의 얼굴들에 대응하는 얼굴들에 부여된 우선도가 상기 메인 얼굴에 대응하는 얼굴에 부여된 우선도를 상회하는 회수를, 상기 메인 얼굴 이외의 얼굴들의 각각에 대하여 카운트하는 단계를 포함하고,

상기 메인 얼굴 이외의 얼굴들 중의 하나의 얼굴에 대하여 상기 계수수단에 의해 카운트된 회수가 미리 설정된 임계값을 넘는 경우에, 가장 최근에 선택된 메인 얼굴로부터 상기 임계값을 넘는 얼굴들 중의 하나의 얼굴로 메인 얼굴을 바꾸는 메인 얼굴 선택장치의 제어방법.
컴퓨터에게 청구항 7에 기재된 메인 얼굴 선택장치의 제어방법을 구성하는 단계들을 실행시키기 위해 사용하는 프로그램을 기억하는 컴퓨터 판독가능한 기억 매체.