KR100738492B1

KR100738492B1 - 촬상장치 및 그 제어방법

Info

Publication number: KR100738492B1
Application number: KR1020050074713A
Authority: KR
Inventors: 타카아키 후쿠이
Original assignee: 캐논 가부시끼가이샤
Priority date: 2004-08-16
Filing date: 2005-08-16
Publication date: 2007-07-11
Also published as: KR20060050472A; EP1628465A1; US20060034602A1; CN1738364A; US7430369B2

Abstract

디지털 카메라 또는 디지털 스틸 카메라 등의 촬상장치는, 촬상 중의 화상처리를 통해 피사체의 상태를 판정하고, 그 판정 결과에 따라 재촬상을 실행하거나, 재촬상을 촉구하는 경고를 행함으로써, 최적의 화상을 용이하게 촬상할 수 있다.

촬상장치, 피사체 영역, 눈 감김, 적목 현상, 템플릿 매칭

Description

촬상장치 및 그 제어방법{IMAGE CAPTURE APPARATUS AND CONTROL METHOD THEREFOR}

도 1은 본 발명의 제1실시예에 따른 촬상장치를도시하는 블록도이고,

도 2는 제1실시예에 따른 처리를 도시하는 순서도이고,

도 3a 내지 도 3c는 제1실시예에 따른 얼굴 검출방법을 예시하는 도면이고,

도 4는 제1실시예의 얼굴 검출방법의 예시적인 처리를 도시하는 순서도이고,

도 5는 CIELab 색공간에서의 대표적인 색도를 도시하는 도면이고,

도 6은 제1실시예에 따른 템플릿 매칭을 도시하는 도면이고,

도 7은 제1실시예에 따른 경고의 형태를 도시하는 도면이고,

도 8은 제1실시예의 변형예에 따른 처리를 도시하는 순서도이고,

도 9는 본 발명의 제2실시예에 따른 예시적인 처리를 도시하는 순서도이고,

도 10은 제2실시예에 따른 경고의 형태를 도시하는 도면이고,

도 11은 본 발명의 제3실시예에 따른 예시적인 처리를 도시하는 순서도이다.

<도면의 주요 부분에 대한 부호의 설명>

1 : 제어부 2 : 촬상부

3 : 화상처리부 4 : 화상축적 버퍼

5 : 신호변환부 6 : 화상생성부

7 : 표시부 8 : 판정부

9 : 얼굴 검출부 10 : 기록부

20 : 촬상장치

본 발명은 디지털 카메라 또는 디지털 비디오 카메라 등의 촬상장치에서 최적의 화상을 촬상하도록 하는 제어방법에 관한 것이다.

촬상 모드에서 촬상 화상을 확인하는 기능으로서, 디지털 카메라 또는 디지털 비디오 카메라 등의 촬상장치는 촬상 직후에 촬영된 화상을 액정 디스플레이(LCD)에 표시하는 REC 리뷰 기능을 가진다.

재생 모드(플레이백 모드)에서는, 촬상장치가 사용자의 조작에 따라 촬영된 화상을 순차적으로 표시하는 기능을 가진다. 촬상장치(디지털 카메라 또는 디지털 비디오 카메라)에서는, 이러한 기능이 사용될 때, 촬상 화상을 확인하기 위해 사용되는 전자 뷰파인더(EVF : electronic viewfinder)의 화면 크기가 작으므로, 촬상 화상을 축소하여 표시하는 경우가 많다.

따라서, 예를 들어, 인물 피사체의 눈이 감겨 있거나, 피사체가 적목(red-eye) 상태이거나, 피사체 얼굴의 휘도가 지나치게 높거나, 피사체가 초점이 맞지 않는 등과 같이, 사용자가 의도하는 촬상을 수행할 수 없다고 하더라도, 표시된 피사체 화상이 작으면, 사용자가 이러한 상황을 확인하는 것이 곤란하다.

따라서, 이러한 촬상장치는 사용자의 버튼 조작에 따라 화상을 확대하여 사용자가 촬상 화상을 확인할 수 있도록 하는 기능을 가진다.

그러나, 촬상할 때마다 촬상 화상을 확대하는 것은 시간이 걸리며 성가시다. 이에 따라, 불완전한 촬상 화상으로 인해 사용자가 다시 촬상을 수행하려고 하더라도, 사용자의 조작 도중에 피사체(촬영 피사체)의 구도가 변화될 가능성이 있다.

촬상할 때마다 화상을 확인하기 보다는, 일부 사용자는 복수의 화상을 촬상한 후에 한꺼번에 촬상 화상을 확인할 수도 있다.

이 경우, 최초의 화상을 촬상하고 나서 잠시 경과한 후에, 사용자는 촬상 화상이 의도하는 화상이 아니라는 것을 알 수 있다. 이 경우에도, 불완전한 촬상 화상으로 인해 사용자가 다시 촬상을 수행하려고 하더라도, 사용자의 조작 도중에 피사체의 구도가 변화될 가능성이 있다.

일본 특허출원공개 제2000-292853호는, 피사체의 얼굴 및 눈의 위치를 검출하여, 예를 들어, 감긴 눈 화상과 같은 출력 사진으로서 부적합한 화상을 자동적으로 배제함으로써, 항상 최선의 화상을 출력하는 기술을 개시한 것이다.

상기 기술은, 피사체의 눈의 위치를 검출하고, 눈의 상태를 판정하여, 눈동자가 열려 있을 경우에만 촬상을 수행한다는 전제를 기초로 하고 있다.

따라서, 증명 사진과 같이 한 사람의 피사체가 촬상 대상이고, 피사체가 눈을 뜨고 있다는 전제하에서 촬상을 수행할 경우에 유효하다.

그러나, 사용자가 임의의 타이밍으로 촬상을 수행하는 디지털 카메라 또는 디지털 비디오 카메라의 일반적인 사용방법에서는, 눈이 감긴 상태를 촬상할 수도 있고, 피사체의 상태에 따라 일의적으로(uniquely) 처리를 결정하는 방법은 바람직하지 않다.

본 발명은 전술한 상황을 고려하여 이루어진 것으로, 피사체의 상태를 화상처리에 의해 판정하고, 그 판정결과에 따라 재촬상을 촉구하는 경고를 발행하여 간편하게 최적의 화상을 촬상할 수 있는 촬상장치를 제공하기 위한 것이다.

본 발명의 일 국면에 의하면, 촬상장치는, 사용자로부터의 지시에 따라 화상 데이터를 촬상하는 촬상부와, 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출부와, 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리부와, 상기 신호처리부에 의해 생성된 표시용 화상 데이터를 표시하는 표시부와, 상기 피사체 검출부에 의한 검출 결과에 의거하여, 경고를 발행할 것인지 아닌지를 판정하는 판정부와, 상기 판정부가 경고를 발행해야 하는 것으로 판정한 경우에는 경고를 발행하는 통지부와, 상기 경고의 내용에 따라 상기 촬상부의 제어 파라미터를 변경하고, 상기 통지부에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어부를 구비한다.

본 발명의 다른 국면에 의하면, 촬상장치의 제어방법은, 사용자로부터의 지시에 따라 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출단계와, 상기 사용자로부터의 지시에 따라 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리단계와, 상기 신호처리단계에 의해 생성된 표시용 화상 데이터를 표시하는 표시단계와, 상기 피사체 검출단계에 의한 검출 결과에 의거하여 경고를 발행할 것인지 아닌지를 판정하는 판정단계와, 상기 판정단계에 의한 판정이 경고를 발행해야 하는 것으로 판정되면, 경고를 발행하는 통지단계와, 상기 경고의 내용에 따라 촬상부의 제어 파라미터를 변경하고, 상기 통지단계에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어단계를 포함한다.

본 발명의 또 다른 국면에 의하면, 촬상장치는, 사용자로부터의 지시에 따라 화상 데이터를 촬상하는 촬상부와, 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출부와, 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리부와, 상기 신호처리부에 의해 생성된 표시용 화상 데이터를 표시하는 표시부와, 상기 피사체 검출부에 의한 검출 결과에 의거하여, 피사체의 적어도 두 개의 상이한 상태를 판정하는 판정부와, 상기 판정부에 의한 판정 결과에 따라 경고를 발행하는 통지부와, 상기 판정부에 의한 판정 결과에 의거하여 상기 촬상부의 제어 파라미터를 변경하고, 상기 통지부에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어부를 구비한다.

본 발명의 또 다른 국면에 의하면, 촬상장치의 제어방법은, 사용자로부터의 지시에 따라 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출단계와, 상기 사용자로부터의 지시에 따라 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리단계와, 상기 신호처리단계에 의해 생성된 표시용 화상 데이터를 표시하는 표시단계와, 상기 피사체 검출단계에 의한 검출 결과에 의거하여 상기 피사체의 적어도 두 개의 상이한 상태를 판정하는 판정단계와, 상기 판정단계의 판정 결과에 따라 경고를 발행하는 통지단계와, 상기 판정단계에 의한 판정 결과에 의거하여 촬상부의 제어 파라미터를 변경하고, 상기 통지단계에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어단계를 포함한다.

본 발명의 또 다른 국면에 의하면, 프로그램은 컴퓨터가 상기 제어방법을 수행하도록 한다.

본 발명의 다른 특징 및 이점들은 첨부 도면을 참조한 아래의 예시적인 실시예에 대한 상세한 설명으로부터 명백해질 것이다.

첨부 도면에 따라 본 발명의 실시예를 상세하게 설명한다.

(제1실시예)

도 1은 본 발명의 제1실시예에 따른 촬상장치(20)의 구성을 도시한 것이다. 촬상장치(20)로서 디지털 카메라를 예로 들어 설명할 것이다.

도 1을 참조하면, 제어부(1)는 촬상장치(20)의 각 기능을 제어하는 신호를 제어한다.

촬상부(2)는 광전 변환기능을 가지는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 등의 고체촬상센서와, 고체촬상센서에 피사체 광을 인도하기 위한 촬상 광학계와, 고체촬상센서에 도달하는 광량을 조절하는 조리개 또는 셔터로 이루어진 광량 조절부재와, 고체촬상센서의 출력신호의 이득을 조절하는 자동 이득 제어기(AGC : auto-gain controller) 등을 포함한다.

화상처리부(3)는 촬상부(2)로부터 출력되는 신호를 받아들이고, 예를 들어, 공지된 색 보정처리, 휘도 보정처리 등의 신호처리를 실행하여 화상 데이터를 생성한다.

화상축적 버퍼(4)는 화상처리부(3)에 의해 생성된 화상 데이터를 축적한다.

신호변환부(5)는 화상축적 버퍼(4)에 축적된 화상 데이터를 판독하고, 솎아낸 데이터량을 갖는 화상 데이터로 변환한다.

얼굴 검출부(9)는 화상축적 버퍼(4)에 축적된 화상 데이터를 이용하여 화상 데이터에서 인물의 얼굴을 검출한다.

판정부(8)는 얼굴 검출부(9)에 의해 검출된 인물의 얼굴이 소정의 조건을 만족시키는지 아닌지를 판정한다.

화상생성부(6)는 신호변환부(5)에서 생성된 화상 데이터와 표시된 경고를 합성한다.

표시부(7)는 화상생성부(6)의 출력을 D/A 변환기(도시하지 않음)에 의해 아날로그 신호로 변환하고, 아날로그 신호에 의해 표현된 화상을 표시한다.

플래시 메모리 등의 기록부(10)는 화상축적 버퍼(4)에 일시적으로 보존된 화상 데이터를 보존한다.

도 2는 제1실시예에 따른 처리 흐름을 예시하는 순서도이다. 이때, 이 순서도는 카메라의 릴리즈 스위치(도시하지 않음)가 사용자에 의해 조작되어 제어부(1)가 촬상 화상 데이터를 기록하기 위한 지시를 생성하도록 한 후에 수행되는 처리를 도시한 것이다.

단계 S101에서, 촬상부(2)는 설정된 노출값에 따라 고체촬상센서에 대한 노광 동작을 수행하고, 고체촬상센서의 출력신호의 이득을 조절한다.

단계 S102에서, 화상처리부(3)는 촬상부(2)로부터 출력되는 신호를 처리하여 화상 데이터를 생성한다.

단계 S103에서, 제어부(1)는 단계 S102에서 생성된 화상 데이터를 화상축적 버퍼(4)에 축적한다. 화상축적 버퍼(4)에 축적된 화상 데이터에 대하여, 다음 단계 S104의 처리와, 단계 S105 및 S106의 처리가 병행하여 실행된다.

단계 S104에서, 신호변환부(5)는 화상축적 버퍼(4)에 축적된 화상 데이터보다 해상도가 작은 표시용 화상 데이터를 생성한다.

해상도가 더 작은 표시용 화상 데이터로 변환하는 이유는, EVF의 성능으로 인해 표시할 수 있는 해상도에 있어서 시스템이 한계를 가지며, 고해상도의 화상 데이터의 처리는 처리시간의 증대를 초래하므로, 솎아낸 데이터를 갖는 작은 해상도의 화상으로 변환함으로써, 처리할 데이터량이 감소되어 처리의 고속화를 달성하기 위한 것이다.

단계 S105에서, 얼굴 검출부(9)는 단계 S103에서 화상축적 버퍼(4)에 축적된 화상 데이터에서 얼굴(후술함)을 검출한다.

단계 S106에서, 판정부(8)는 얼굴 검출부(9)에 의해 검출된 얼굴의 눈이 감겨 있는지 아닌지를 판정한다. 제1실시예에 의하면, 피사체의 눈이 감겨 있는 것으로 판정되면, 경고가 발행된다. 여기서, 단계 S104의 처리와, 단계 S105 및 S106의 처리를 별도로 실행하는 이유에 대해 설명한다. 단계 S104에서 생성된 표시용 화상 데이터의 해상도는 작다. 따라서, 판정부(8)가 표시용 화상 데이터를 이용하여 판정을 행하면, 특히, 피사체가 작은 경우에는, 그 판정이 실패할 수도 있다. 이에 따라, 단계 S105 및 S106에서는, 표시용 화상 데이터보다도 해상도가 큰 화상 데이터를 이용하여 눈이 감겨 있는지 아닌지에 대한 판정을 행하므로, 표시용 화상 데이터를 이용하는 경우에 비해, 판정의 정밀도를 높일 수 있다. 이때, 판정속도를 높이기 위하여, 단계 S104에서 생성된 표시용 화상 데이터보다는 해상도가 크지만, 화상축적 버퍼(4)에 축적된 화상 데이터보다는 해상도가 작은 판정용 화상 데이터가 생성될 수 있고, 상기 판정용 화상 데이터에 의거하여, 얼굴 검출 및 감긴 눈 판정이 수행될 수도 있다.

단계 S107에서는, 단계 S106에서 경고가 필요한 것으로 판정되면, 화상생성부(6)가 단계 S104에서 생성된 화상 데이터를 표시되는 경고와 합성하여 새로운 화상 데이터를 생성 및 출력한다. 단계 S106에서 경고가 필요하지 않은 것으로 판정되면, 화상생성부(6)는 단계 S104에서 생성된 화상 데이터를 그대로 출력한다.

단계 S108에서, 표시부(7)는 화상생성부(6)로부터 출력되는 화상 데이터를 받아들여 그 화상 데이터에 의해 표현되는 화상을 표시한다.

단계 S109에서는, 단계 S106에서 피사체가 눈을 감은 것으로 판정된 것인지 아닌지에 대해 판정이 이루어진다. 피사체가 눈을 감지 않은 것으로 판정되면, 처리 흐름은 단계 S110으로 진행하여, 화상축적 버퍼(4)에 축적된 화상 데이터가 플래시 메모리 등의 기록부(10)에 기록되고, 처리가 종료된다.

단계 S109에서, 피사체가 눈을 감고 있는 것으로 판정되면, 처리 흐름은 단계 S111로 진행한다. 단계 S111에서는, 제어부(1)가 플래시 광량, 촬상 감도, 셔터 속도 등의 촬상부(2)의 제어 파라미터를 유지하고, 촬상부(2)를 다시 구동하여 고체촬상센서에 대한 노광 동작을 수행하기 위하여 단계 S101로 돌아간다. 이와 달리, 단계 S111에서는, 제어부(1)가 초점 조절동작 및 측광동작을 다시 수행하여 촬상부(2)의 새로운 제어 파라미터(플래시 광량, 촬상 감도, 셔터 속도 등)를 설정한 후, 촬상부(2)를 다시 구동하여 고체촬상센서에 대한 노광 동작을 수행하기 위하여 단계 S101로 돌아간다.

단계 S111에서는, 시간 변화로 인해 최초의 촬상으로부터 장면의 촬상이 변경될 가능성 때문에, 제어 파라미터는 변경될 수도 있다.

그리고, 단계 S111에서 촬상부(2)의 제어 파라미터가 변경되면, 제어부(1)는 변경된 제어 파라미터를 설정하고, 단계 S101로 돌아와서, 촬상부(2)를 다시 구동하여 고체촬상센서에 대한 노광 동작을 수행한다.

다음으로, 얼굴 검출부(9)에 의해 수행되는 얼굴 검출처리에 대해 설명한다.

대표적인 얼굴 검출방법으로서, 뉴럴 네트워크(neural network)로 대표되는 학습을 이용한 방법과, 눈, 코 또는 입 등의 특징적인 형상을 갖는 부위를 화상영역으로부터 템플릿 매칭(template matching)을 이용하여 찾아내어, 형상의 유사도가 높으면 그 부위를 얼굴로 판정하는 방법과, 피부색 또는 눈의 형상 등의 화상의 특징량을 통계적 해석을 이용하여 검출하는 방법 등이 다수 제안되어 있다. 일반적으로, 이러한 방법을 복수 조합하여 얼굴 검출을 수행한다.

구체적으로, 일본 특허출원공개 제2002-251380호는 웨이블릿 변환(wavelet transformation)과 화상의 특징량을 이용하여 얼굴 검출을 수행하는 방법을 개시한 것이다.

이하, 색 정보와 특징적인 눈의 형상에 의거하여 템플릿 매칭을 실행함으로써, 얼굴 검출을 수행하는 방법에 대하여 설명한다.

도 3a 내지 도 3c는 제1실시예에 따른 얼굴 검출방법 및 눈 상태 판정방법의 예를 도시한 것이다. 도 4는 제1실시예의 얼굴 검출방법을 예시하는 순서도이다.

단계 S401에서, 얼굴 검출부(9)는 대상이 되는 화상 데이터로부터 피부색 영역을 추출한다.

도 5는 CIELab의 색공간에서의 대표색을 나타내는 색도도(chromaticity diagram)이다. 도 5에 도시된 타원 영역은 피부색일 가능성이 높은 영역이다.

도 3a는 얼굴 검출의 대상이 되는 화상 데이터를 도시한 것이다.

도 3b는 도 3a에 도시된 화상으로부터 추출된 피부색 영역에 대응하는 색도(chromaticity) 영역을 도시한 것이다.

단계 S402에서, 얼굴 검출부(9)는 얼굴 검출의 대상이 되는 화상에 대하여 예를 들어, 하이패스필터를 적용한다.

도 3c는 도 3b에 도시된 화상에 하이패스필터를 적용하여 얻어진 화상의 일례를 도시한 것이다.

제1실시예에 의하면, 얼굴 검출부(9)는 추출된 피부색 영역에서 눈, 코, 입 및 눈썹 등의 특징적인 부위를 검출하고, 피부색 영역으로부터 얼굴 이외의 부위를 제거한다.

단계 S403에서는, 도 6에 도시한 것과 같이, 단계 S402에서 검출된 영역에 대하여, 촬상장치 내의 메모리에 미리 기록되어 있는 눈의 템플릿 데이터를 이용하여 템플릿 매칭(템플릿 데이터와 촬상된 화상 데이터를 비교하여 일치 또는 유사도를 검증함)이 실행되고, 촬상된 화상 데이터에서 눈이 검출된다.

단계 S404에서, 얼굴 검출부(9)는 단계 S403에서 검출된 눈의 화상 데이터와, 템플릿 매칭에 의해 검출된 눈의 화상 데이터를 비교한다. 상기 비교 결과, 눈의 열림 정도가 충분하지 않거나, 한쪽 눈만 검출되거나, 양 눈이 모두 검출되지 않을 경우에는, 피사체의 눈이 감겨 있는 것으로 판정하고, 처리 흐름이 종료된다.

도 7은 피사체의 감긴 눈을 화면 상에 표시하여 경고를 행하는 상황을 도시한 것이다.

피사체가 눈을 감은 경우, 화상생성부(6)는 촬상 화상을 문자 또는 아이콘과 합성하여 화면 상에 표시하여, 사용자에게 이해하기 쉽게 경고를 행할 수 있다.

경고방법은 상기 방법에 한정되지 않는다. 상기 방법은 음성에 의한 방법, LED를 점멸 또는 점등하는 방법 등으로 대체할 수 있다.

사용자는 경고가 발행되면, 그 자리에서 촬상의 재실행이 이루어짐을 알 수 있다.

도 2의 순서도에서는, 피사체의 눈이 감겨 있으면, 자동적으로 촬상이 다시 실행된다. 그러나, 본 발명은 이 구성에 한정되지 않는다.

피사체의 윙크 장면 등, 판정부(8)가 부적절한 것으로 판정할 수 있는 장면을 고의로 촬상하는 것도 상정될 수 있다. 이에 따라, 경고를 발행한 후에 촬상을 다시 실행할 것인지 아닌지에 대한 판정은 사용자에게 맡길 수도 있다.

선택 버튼(도시하지 않음)을 눌러서, 촬상의 자동 재실행과 사용자의 선택 사이에서 전환이 가능하도록 한 구성이 사용될 수도 있다.

경고가 발행된 경우, 사용자가 재촬상이 필요한 것으로 판정하면, 사용자는 EVF에 표시된 화상의 구도를 고려하여, 즉각 촬상을 다시 실행할 것인지 아닌지에 대해 결정할 수 있다.

EVF에 표시된 화상의 낮은 해상도로 인해, 피사체의 눈이 감겨 있는지 아닌지를 판정하는 것이 곤란할 수도 있다. 그러나, 경고의 유무에 따라, 사용자는 재빨리 피사체의 눈이 감겨 있는지를 인지할 수 있고, 피사체의 구도가 크게 변경되기 전에, 촬상이 다시 수행될 수 있다.

이에 따라, 피사체 화상의 구도와 피사체의 눈의 상태를 비교하여, 사용자는 촬상의 재실행을 자유롭게 선택할 수 있다.

제1실시예에 의하면, 경고의 결과로 재촬상이 실행될 경우에는, 파라미터가 변경된다. 그러나, 경고 판정을 위한 기초가 되는 화상 데이터를 얻은 직전의 촬 상으로부터의 시간이 계측될 수 있고, 소정의 시간이 경과한 것으로 판정되면, 측광 동작 및 초점 조절동작이 다시 수행되어, 촬상부(2)의 새로운 제어 파라미터를 다시 설정할 수도 있다.

다음으로, 제1실시예의 변형예에 대하여 설명한다.

이 변형예에 의하면, 카메라의 릴리즈 스위치(도시하지 않음)가 사용자에 의해 조작되기 전에 얼굴 검출이 실행된다. 릴리즈 스위치가 사용자에 의해 조작되기 이전의 시점으로부터, 사용자가 표시부(7)에서 피사체를 모니터할 수 있는 촬상 모드의 일례에 대해 도 8의 예시적인 순서도를 참조하여 설명한다.

정지 화상을 촬상하기 위한 모드가 카메라에 설정될 경우, 단계 S1101에서는, 사용자가 피사체를 모니터하기 위한 화상 데이터를 얻도록 하기 위하여, 촬상부(2)는 고체촬상센서에 대한 노광 동작을 실행하고, 고체촬상센서의 출력신호의 이득을 조절한다.

단계 S11O2에서, 화상처리부(3)는 촬상부(2)로부터 출력되는 신호를 처리하여 화상 데이터를 생성한다.

단계 S1103에서, 제어부(1)는 단계 S11O2에서 생성된 화상 데이터를 화상축적 버퍼(4)에 축적한다.

단계 S11O4에서, 신호변환부(5)는 화상축적 버퍼(4)에 축적된 화상 데이터보다도 해상도가 작은 표시용 화상 데이터를 생성한다.

단계 S11O5에서, 얼굴 검출부(9)는 단계 S11O3에서 화상축적 버퍼(4)에 축적된 화상 데이터로부터 얼굴 검출을 실행한다. 이 처리는 도 2에 도시한 단계 S105 에서의 처리와 유사하다.

단계 S11O6에서는, 검출된 얼굴이 존재하는 영역의 좌표가 기억된다.

단계 S11O7에서는, 단계 S11O6에서 기억된 좌표에 따라 프레임이 생성되고, 이 프레임이 단계 S11O4에서 생성된 화상 데이터와 합성되어 새로운 화상 데이터가 생성된다.

단계 S11O8에서는, 표시부(7)가 이 새로운 화상 데이터를 이용하여 표시를 실행한다. 따라서, 사용자는, 카메라가 얼굴로서 검출하는 영역과, 초점조절 및 노출제어가 우선적으로 실행되는 영역을 인식할 수 있다. 카메라는 얼굴이 존재하는 영역의 화상 데이터에 가중치를 두어 초점조절 및 노출제어를 수행하고, 노광 시간을 설정한다.

단계 S11O9에서는, 카메라의 릴리즈 스위치(도시하지 않음)가 사용자에 의해 조작된 것인지 아닌지에 대한 판정이 이루어진다. 사용자에 의해 조작되지 않은 경우에는, 단계 S11O1로 돌아간다. 사용자에 의해 조작된 경우에는, 처리 흐름이 단계 S101로 진행한다.

단계 S101에서는, 촬상부(2)가 고체촬상센서에 대한 노광 동작을 실행하고, 고체촬상센서의 출력신호의 이득을 조절한다.

단계 S103에서, 제어부(1)는 단계 S102에서 생성된 화상 데이터를 화상축적 버퍼(4)에 축적시킨다. 화상축적 버퍼(4)에 축적된 화상 데이터에 대하여, 다음 단계 S104의 처리와 단계 S106의 처리가 병행하여 실행된다.

단계 S104에서, 신호변환부(5)는 화상축적 버퍼(4)에 축적된 화상 데이터보다도 해상도가 작은 표시용 화상 데이터를 생성한다.

단계 S106에서, 판정부(8)는 화상축적 버퍼(4)에 축적된 화상 데이터로부터, 단계 S11O6에서 기억된 좌표에 대응하는 영역에 한 쌍의 눈이 존재하는지 아닌지를 판정한다. 판정부(8)는, 한 쌍의 눈이 존재하지 않는 경우에는, 피사체의 눈이 감겨 있는 상태로 판정하고, 경고를 발행한다.

단계 S107에서는, 단계 S106에서 경고가 필요한 것으로 판정되면, 화상생성부(6)가 단계 S104에서 생성된 화상 데이터를 표시된 경고와 합성하여 새로운 화상 데이터를 생성 및 출력한다. 단계 S106에서 경고가 필요하지 않은 것으로 판정되면, 화상생성부(6)는 단계 S104에서 생성된 화상 데이터를 그대로 출력한다.

단계 S108에서는, 표시부(7)가 화상생성부(6)로부터 출력되는 화상 데이터를 받아들이고, 그 화상 데이터에 의해 표현되는 화상을 표시한다.

단계 S109에서는, 단계 S106에서 피사체의 눈이 감겨 있는 것으로 판정된 것인지 아닌지에 대해 판정이 이루어진다. 피사체의 눈이 감겨 있지 않은 것으로 판정되면, 처리 흐름은 단계 S110으로 진행하여, 화상축적 버퍼(4)에 축적된 화상 데이터가 플래시 메모리 등의 기록매체에 기록되고, 처리 흐름이 종료된다.

단계 S109에서 피사체의 눈이 감겨 있는 것으로 판정되면, 제어부(1)는 플래시 광량, 촬상 감도, 셔터 속도 등의 촬상부(2)의 제어 파라미터를 유지하고, 촬상부(2)를 다시 구동하여 고체촬상센서에 대한 노광 동작을 수행하기 위하여 단계 S101로 돌아간다. 혹은, 제어부(1)는 초점 조절동작 또는 측광동작을 수행하여 촬상부(2)의 새로운 제어 파라미터(플래시 광량, 촬상 감도, 셔터 속도 등)를 설정한 다음, 촬상부(2)를 다시 구동하여 고체촬상센서에 대한 노광 동작을 수행하기 위하여 단계 S101로 돌아간다.

전술한 것과 같이, 촬상 화상 데이터를 기록하는 지시가 사용자로부터 발행되기 전에 얻어진 화상 데이터에서 얼굴의 위치가 검출되고, 얼굴 위치의 좌표에 의거하여, 촬상 화상 데이터로부터 눈이 감겨 있는지 아닌지에 대해 판정이 이루어질 수도 있다.

(제2실시예)

다음으로, 본 발명의 제2실시예에 따른 촬상장치에 대해 설명한다. 제1실시예와의 차이점을 중심으로 설명한다.

제2실시예에 의하면, 피사체에서의 적목(red-eye) 현상의 발생이 경고 실행을 위한 기준이다.

공지된 것과 같이, 적목 현상은, 조도가 낮은 상황 하에서 인물을 촬상할 경우, 플래시장치로부터 발광되어 촬상이 실행되고 플래시장치로부터 발광된 섬광이 각 안구의 후방에서 반사하게 되어, 인물의 눈이 적색으로 촬영되는 현상이다.

제2실시예에서의 판정부(8)는 얼굴 검출부(9)에 의해 검출된 얼굴에서 적목 현상이 발생하는지를 판정한다.

도 9는 제2실시예에 따른 처리 흐름을 예시하는 순서도이다.

화상축적 버퍼(4)에 축적된 화상 데이터에서 검출된 얼굴영역으로부터 적목 현상이 검출되어 경고의 유무를 판정한다는 점(단계 S105 및 S201)과, 경고를 실행하는 것으로 판정된 경우, 플래시 광량 등의 촬상부(2)의 제어 파라미터가 강제적으로 변경된다는 점(단계 S202)에서, 도 2의 처리와 상이하다.

적목 현상 검출시에는, 우선, 얼굴 검출부(9)가 도 4의 단계 S401 내지 S404와 유사한 처리에 의해 화상 데이터로부터 눈을 검출한다. 판정부(8)는 눈으로서 검출된 영역의 색상을 확인하고, 눈의 화상 위치의 평균 색상을 검출하며, 검출된 적색 성분이 임계값 이상의 값을 가지는 경우, 적목 현상이 발생한 것으로 판정한다.

판정부(8)는 이 적목 현상의 검출 결과와, 촬상 도중의 플래시 발광량, 주변의 밝기, 촬상 감도, 셔터 속도 등의 촬상조건에 의거하여, 사용자에 대하여 경고를 행할 것인지 아닌지를 판정한다.

구체적인 판정방법에 의하면, 촬상하고자 하는 피사체의 주변 밝기가 낮고, 큰 광량의 플래시 발광이 행해지면, 적목 현상의 발생 가능성이 높아지므로, 적목 현상의 판정 확률도 높아진다(즉, 적목 현상의 임계값이 감소함).

반대로, 플래시 발광이 행해지지 않을 경우에는, 얼굴 검출부(9)에 의한 얼굴 검출의 결과를 추가하지 않고도, 적목 현상의 경고를 행하지 않는 것으로 판단하도록 제어가 수행되므로, 고속이며 정밀도가 높은 판정이 이루어질 수 있다.

도 10은 적목 현상을 화면에 표시하여 경고를 행하고 있는 상황을 도시한 것이다.

이러한 적목 현상의 경우, 화상생성부(6)는 문자 또는 아이콘을 촬상 화상과 합성하여 화면에 표시하여, 사용자에게 이해하기 쉽게 경고를 행할 수 있다.

음성에 의해서, 또는 LED를 점멸 또는 점등시켜서 경고를 행할 수도 있다는 것은 말할 필요도 없다.

경고가 발행되면, 처리 흐름은 단계 S202로 진행하여, 플래시 광량 등의 촬상부(2)의 제어 파라미터가 변경된다.

구체적으로, 제어부(1)는, 적목 완화용 램프의 점등 시간을 연장시키거나, 적목 완화용 램프의 광량을 증가시키거나, 플래시 발광량을 변경하거나 함으로써, 적목 현상의 발생이 방지되도록 촬상부(2)의 제어 파라미터를 변경한다.

촬상된 화상의 최적의 결과를 얻기 위하여, 플래시 광량의 변경 등과 같이, 단일 파라미터가 변경되거나, 합성 파라미터가 변경될 수도 있다(예를 들어, 플래시 광량이 촬상 감도 및/또는 셔터 속도와 합성하여 변경될 수 있음).

그리고, 단계 S202에서 촬상부(2)의 제어 파라미터를 변경한 후, 제어부(1)는 변경된 제어 파라미터를 설정하고, 단계 S101로 돌아가서, 촬상부(2)를 다시 구동하여 고체촬상센서에 대한 노광 동작을 수행한다.

(제3실시예)

본 발명의 제3실시예에 따른 촬상장치에 대해 설명한다. 제2실시예에 의하면, 적목 현상의 발생이 경고를 위한 기준이다. 그러나, 제3실시예에 의하면, 피사체 얼굴 영역의 초점맞춤 상태 또는 블러링(blurring) 상태가 경고를 위한 기준 이다.

제3실시예의 판정부(8)는 얼굴 검출부(9)에 의해 검출된 얼굴의 블러링 상태 또는 초점맞춤 상태를 판정한다.

일반적으로, 촬상에 적합하지 않은 화상으로서, 블러링 화상과 초점이 맞지 않는 화상이 있다. 블러링은, 셔터 버턴을 누를 경우에 카메라의 움직임에 의해 발생하는 카메라 흔들림과, 피사체의 움직임에 의해 발생하는 피사체 흔들림으로 분류된다.

어느 경우에나, 화상 영역은 주로 고정된 방향으로 움직인다. 예를 들어, 주파수 해석방법으로서, 푸리에 변환(Fourier transformation) 등을 사용하여, 일반적인 화상에 존재하지 않는 특정 주파수 성분이 많이 존재하는 것으로 판단되면, 블러링이라고 검출하는 방법이 있다.

초점이 맞지 않는 상태를 검출하는 방법에 관해서는, 상기 블러링 검출방법과 유사하게, 주파수 해석을 실행하고, 고주파 성분이 작을 경우에는 초점이 맞지 않는 것으로 판정하는 방법이 있다.

도 11은 제3실시예에 따른 처리 흐름을 예시하는 순서도이다.

화상축적 버퍼(4)에 축적된 화상 데이터로부터 얼굴 검출부(9)에 의해 얼굴 영역이 검출되고, 검출된 얼굴 영역의 초점맞춤 상태가 판정된다는 점(단계 S105 및 S301)에서 도 9의 처리와 상이하다.

경고가 발행되면, 단계 S202에서, 촬상 감도, 셔터 속도 등의 촬상부(2)의 제어 파라미터가 강제적으로 변경된다.

예를 들어, 블러링을 방지하기 위하여, 노출 시간이 단축(셔터 속도가 증가함)되고, 노출 시간의 단축은 조리개값 및/또는 감도를 변경하여 보상된다. 조리개값 및/또는 감도의 변경에 의거하여, 상기 변경된 조리개값 및/또는 감도에 의한 최적의 촬상 결과를 얻기 위하여, 다른 파라미터(예를 들어, 플래시 광량)가 변경될 수도 있다.

제3실시예에 의하면, 화상 블러링 또는 초점이 맞지 않는 상황이 검출되고, 이 상황에 대해 사용자에게 경고가 행해짐으로써, 적합한 촬상이 수행될 수 있다.

전술한 제1 내지 제3실시예에서는, 피사체가 인물이고, 눈이 감겨 있는 것이 검출되며, 적목인 것이 검출되며, 블러링이 검출되는 것을 위에서 예로 들어 설명하였다. 이들 예는 본 발명을 한정하지 않는다.

화상처리가 실행되어 화상 데이터로부터 피사체의 특징을 검출하고, 그 검출 결과에 따라 경고의 유무가 표시되거나, 자동적으로 재촬상이 실행되는 구성이 사용되는 한, 불완전한 화상 데이터에 대한 상기한 것 이외의 기준이 사용될 수도 있다.

본 발명은, 주 피사체가 되는 대상이 판정되고, 표시되는 촬상 화상이 작기 때문에, 상기 주 피사체가 되는 대상에서 발생하는 문제가 사용자에 의해 시각적으로 인식될 수 없는 여러 경우에도 적용될 수 있다.

전술한 구성에 의하여, 화상 데이터가 확대하여 표시되지 않을 경우에는 사용자가 확인할 수 없는 문제가 촬상 화상 데이터에 있더라도, 재빨리 촬상을 실행하도록 경고가 행해지거나, 자동적으로 재촬상이 실행됨으로써, 촬영 기회를 놓치 지 않고 원하는 촬상이 수행될 수 있다.

본 발명은 예시적인 실시예를 참조하여 설명되었지만, 본 발명은 개시된 예시적인 실시예에 한정되지 않음을 이해하여야 한다. 아래 청구범위는 모든 변형, 등가 구조 및 기능을 포함하도록 가장 넓게 해석되어야 한다.

이상으로 설명된 본 발명에 의하면, 피사체의 상태를 화상처리에 의해 판정하고, 그 판정결과에 따라 재촬상을 촉구하는 경고를 발행하여 간편하게 최적의 화상을 촬상할 수 있는 촬상장치를 제공할 수 있다.

Claims

사용자로부터의 지시에 따라 화상 데이터를 촬상하는 촬상부와, 상기 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출부와, 상기 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리부와, 상기 신호처리부에 의해 생성된 상기 표시용 화상 데이터를 표시하는 표시부를 구비하는 촬상장치에 있어서,

상기 피사체 검출부에 의한 검출 결과에 의거하여, 경고를 발행할 것인지 아닌지를 판정하는 판정부와,

상기 판정부가 경고를 발행해야 하는 것으로 판정한 경우에는 경고를 발행하는 통지부와,

상기 경고의 내용에 따라 상기 촬상부의 제어 파라미터를 변경하고, 상기 통지부에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어부를 더 구비하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,

상기 통지부는 상기 표시용 화상 데이터에 상기 경고의 내용을 부가한 경고내용 표시 화상을 생성하고, 상기 판정부가 경고를 발행해야 하는 것으로 판정한 경우에는, 상기 표시부가 상기 경고내용 표시 화상을 표시하도록 하는 것을 특징으 로 하는 촬상장치.
제1항에 있어서,

기록부를 더 구비하고, 상기 제어부는, 상기 판정부에 의해 경고를 행하지 않는다는 판정에 응답하여, 상기 기록부가 상기 화상 데이터를 기록하도록 하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,

상기 제어부는, 상기 통지부에 의해 상기 경고가 발행되면, 상기 촬상부가 상기 사용자로부터의 지시에 응답하여 화상 데이터를 촬상하도록 하는 것을 특징으로 하는 촬상장치.
제1항에 있어서,

상기 통지부에 의해 발행된 경고내용은 상기 피사체 영역의 초점맞춤 상태에 의거하여 결정되는 것을 특징으로 하는 촬상장치.
제1항에 있어서,

상기 통지부에 의해 발행된 경고내용은 상기 피사체 눈의 색상에 의거하여 결정되는 것을 특징으로 하는 촬상장치.
제1항에 있어서,

상기 통지부에 의해 발행된 경고내용은 상기 피사체의 눈의 열림 상태에 의거하여 결정되는 것을 특징으로 하는 촬상장치.
제1항에 있어서,

상기 판정부에 의한 판정의 결과, 상기 촬상부가 화상 데이터를 촬상하도록 하기 전에, 상기 제어부는, 직전의 촬상으로부터 소정 시간 이상 경과하였으면, 상기 촬상부의 새로운 제어 파라미터를 설정하는 것을 특징으로 하는 촬상장치.
사용자로부터의 지시에 따라 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출단계와, 상기 사용자로부터의 지시에 따라 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리단계와, 상기 신호처리단계에 의 해 생성된 표시용 화상 데이터를 표시하는 표시단계를 포함하는 촬상장치의 제어방법에 있어서,

상기 피사체 검출단계에 의한 검출 결과에 의거하여 경고를 발행할 것인지 아닌지를 판정하는 판정단계와,

상기 판정단계가 경고를 발행하는 것으로 판정하면, 경고를 발행하는 통지단계와,

상기 경고의 내용에 따라 촬상부의 제어 파라미터를 변경하고, 상기 통지단계에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어단계를 더 포함하는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

상기 통지단계는, 상기 화상 데이터에 상기 경고의 내용을 부가한 경고내용 표시 화상을 생성하고, 상기 판정단계에서 행해진 경고를 발행한다는 판정에 응답하여, 상기 경고내용 표시 화상을 표시하는 단계를 포함하는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

상기 제어단계는, 상기 판정단계에서 행해진 경고를 발행하지 않는다는 판정 에 응답하여, 기록부가 상기 화상 데이터를 기록하도록 하는 단계를 포함하는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

상기 제어단계는, 상기 통지단계에 의해 상기 경고가 발행된 후에 사용자로부터의 지시에 응답하여, 상기 촬상부가 화상 데이터를 촬상하도록 하는 단계를 포함하는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

통지단계에 의해 발행되는 경고의 내용은 상기 피사체 영역의 초점맞춤 상태에 의거하여 결정되는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

통지단계에 의해 발행되는 경고의 내용은 상기 피사체 눈의 색상에 의거하여 결정되는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

통지단계에 의해 발행되는 경고의 내용은 상기 피사체의 눈의 열림 상태에 의거하여 결정되는 것을 특징으로 하는 촬상장치의 제어방법.
제9항에 있어서,

상기 제어단계는, 상기 판정단계에 의한 판정의 결과, 상기 촬상부가 화상 데이터를 촬상하도록 하기 전에, 직전의 촬상으로부터 소정 시간 이상 경과하였으면, 상기 촬상부의 새로운 제어 파라미터를 설정하는 단계를 포함하는 것을 특징으로 하는 촬상장치의 제어방법.
사용자로부터의 지시에 따라 화상 데이터를 촬상하는 촬상부와, 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출부와, 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리부와, 상기 신호처리부에 의해 생성된 표시용 화상 데이터를 표시하는 표시부를 구비하는 촬상장치에 있어서,

상기 피사체 검출부에 의한 검출 결과에 의거하여, 피사체의 적어도 두 개의 상이한 상태를 판정하는 판정부와,

상기 판정부에 의한 판정 결과에 따라 경고를 발행하는 통지부와,

상기 판정부에 의한 판정 결과에 의거하여 상기 촬상부의 제어 파라미터를 변경하고, 상기 통지부에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어부를 더 구비하는 것을 특징으로 하는 촬상장치.
사용자로부터의 지시에 따라 촬상된 화상 데이터로부터 피사체 영역을 검출하는 피사체 검출단계와, 상기 사용자로부터의 지시에 따라 촬상된 화상 데이터에 의거하여 표시용 화상 데이터를 생성하는 신호처리단계와, 상기 신호처리단계에 의해 생성된 표시용 화상 데이터를 표시하는 표시단계를 포함하는 촬상장치의 제어방법에 있어서,

상기 피사체 검출단계에 의한 검출 결과에 의거하여 상기 피사체의 적어도 두 개의 상이한 상태를 판정하는 판정단계와,

상기 판정단계의 판정 결과에 따라 경고를 발행하는 통지단계와,

상기 판정단계에 의한 판정 결과에 의거하여 촬상부의 제어 파라미터를 변경하고, 상기 통지단계에 의해 상기 경고가 발행되면, 상기 촬상부가 화상 데이터를 촬상하도록 하는 제어단계를 포함하는 것을 특징으로 하는 촬상장치의 제어방법.