KR20070051689A

KR20070051689A - 화상 처리장치, 화상 처리방법, 화상 처리방법의 프로그램및 화상 처리방법의 프로그램을 기록한 기록 매체

Info

Publication number: KR20070051689A
Application number: KR1020060111190A
Authority: KR
Inventors: 미유키 오카다; 요시히로 스즈키
Original assignee: 소니 가부시키가이샤
Priority date: 2005-11-14
Filing date: 2006-11-10
Publication date: 2007-05-18
Also published as: JP4626493B2; CN100462999C; US7873221B2; JP2007135115A; CN1967566A; TWI375181B; DE602006014782D1; EP1785914B1; US20070110321A1; TW200721040A; EP1785914A1

Abstract

본 발명은 화상 처리장치에 관한 것으로, 보다 상세하게는 원화상을 취득하는 화상 취득부와; 상기 화상 취득부가 취득한 원화상의 해상도를 변환하여, 서로 다른 해상도를 갖는 복수의 축소 화상을 생성하는 해상도 변환부와; 상기 해상도 변환부에 의해 생성되는 복수의 축소 화상을 템플레이트 메칭으로 처리하여, 상기 축소 화상으로부터 상기 템플레이트에 해당하는 특정 피사체의 촬상 화상의 영역을 검출하는 검출부와; 상기 검출부에 의해 얻어진 검출결과를 처리하여, 상기 원화상 위에서 특성 피사체의 촬상 화상의 영역을 검출하는 검출결과 처리부를 포함하며, 상기 검출부는 해상도가 단계 순차적으로 변화함에 따라 복수의 축소 화상을 처리하여 특정 피사체의 촬상 화상 영역을 검출하는 화상 처리장치에 관한 것이다.

촬상 장치, 중앙처리유닛, 이미지 센서, 카메라 처리부, 화상 RAM, 얼굴 검출부, 해상도 변환부, 컨트롤러, 화상 메모리, 얼굴 검출 코어, 화상 표시부, 기록 매체, 기록 재생 장치.

Description

화상 처리장치, 화상 처리방법, 화상 처리방법의 프로그램 및 화상 처리방법의 프로그램을 기록한 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD, AND RECORDING MEDIUM WHICH RECORDS PROGRAM FOR IMAGE PROCESSING METHOD}

도 1은 본 발명의 실시예에 따른 촬상 장치에서의 중앙처리유닛의 처리 수순을 도시하는 플로차트.

도 2는 본 발명의 실시예에 따른 촬상 장치를 도시하는 블록도.

도 3은 도 2의 촬상 장치에서의 얼굴 검출부의 상세 구성을 도시하는 블록도.

도 4는 본 발명의 실시예에 따른 촬상 장치에서의 중앙처리유닛의 처리의 설명에 이용되는 개략도.

도 5는 도 1의 계속을 도시하는 플로차트.

도 6은 축소 화상의 생성 처리의 설명에 이용되는 개략도.

도 7은 검출 결과의 처리의 설명에 이용되는 개략도.

도 8은 본 발명의 실시예에 따른 촬상 장치에서의 축소 화상의 생성 처리의 설명에 이용되는 개략도.

도 9는 본 발명의 실시예 2에 따른 기록 재생 장치를 도시하는 블록도.

<도면 주요 부분에 대한 부호의 설명>

1: 촬상 장치 3, 23: 중앙처리유닛

4: 이미지 센서 6: 카메라 처리부

7: 화상 RAM 8: 얼굴 검출부

8A: 해상도 변환부 8B: 컨트롤러

8C: 화상 메모리 8D: 얼굴 검출 코어

9: 화상 표시부 12: 기록 매체

21: 기록 재생 장치

　본 발명은 화상 처리장치, 화상 처리방법, 화상 처리방법의 프로그램 및 화상 처리방법의 프로그램을 기록한 기록 매체에 관한 것으로서, 예를 들면 디지털 스틸카메라에 적용할 수 있다. 본 발명은 해상도가 순차 단계적으로 변화하는 순서에 따라서 축소 화상을 순차 템플레이트 매칭해서 특정의 피사체가 촬영된 영역을 검출하는 것에 의해, 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수 있도록 한다.

종래, 디지털 스틸 카메라, 비디오 카메라 등의 촬상 장치에서는, 특정의 피사체가 촬영된 영역을 촬상 결과로부터 검출하고, 이 영역의 촬상 결과에 의거해서 촬상계 등을 제어하는 방법 등이 제안되어 있다. 이와 같은 방법에서는 이 특정의 피사체에 주로 인물의 얼굴이 적용되고, 예를 들면 살색 영역의 검출, 템플레이트를 이용한 템플레이트 매칭 등에 의해, 이 특정의 피사체가 촬영된 영역을 검출하고 있다.

이와 같은 방법에 관해서, 일본 특허공개 제2004-30629호 공보에는 템플레이트를 이용한 템플레이트 매칭에 있어서, 얼굴이 촬영된 영역의 검출에 관련된 디바이스가 제안되어 있다.

이와 같이 촬상 결과로부터 특정의 피사체가 촬영된 영역을 검출하는 처리는 촬상 장치, 피사체의 움직임에 추종할 수 있도록 충분히 고속도로 실행하는 것이 필요하게 된다. 또, 특정의 피사체가 촬영된 영역이 복수 개소(個所)에서 검출되는 경우도 있으며, 이와 같은 경우에는 이들 복수 개소에서 검출된 영역에 대해서 어느 영역을 우선해서 처리할지, 적절히, 우선 순위를 설정하는 것이 필요하게 된다.

본 발명은 이상의 점을 고려해서 이루어진 것으로서, 특정의 피사체가 촬영된 영역을 검출해서 적절히 우선 순위를 설정할 수 있는 화상 처리 장치, 화상 처 방법, 화상 처리방법의 프로그램 및 화상 처리방법의 프로그램을 기록한 기록 매체를 제안하고자 한다.

본 발명의 바람직한 실시예 1에서, 화상 처리장치에 적용해서, 원화상을 취득하는 화상 취득부와, 상기 화상 취득부에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환부와, 상기 해상도 변환부에 생성되는 상기 복수의 축소 화상을 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출부와, 상기 검출부에 의한 검출 결과의 처리에 의해 상기 원화상 위에서 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과 처리부를 가지고, 상기 검출부는 해상도가 순차 단계적으로 변화하는 순서에 따라서 상기 복수의 축소 화상을 처리해서, 상기 특정의 영역이 촬영된 영역을 검출한다.

본 발명의 바림직한 실시예 2에 따라, 화상 처리방법에 적용해서, 원화상을 취득하는 화상 취득단계와, 상기 화상 취득단계에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환의 단계와, 상기 해상도 변환 단계에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출 단계와, 상기 검출의 단계에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서, 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과의 처리의 단계를 가지고, 상기 검출의 단계는 해상도가 순차 단계적으로 변화하는 순서에 따라서 상기 복수의 축소 화상을 처리하여, 상기 특정의 영역이 촬영된 영역을 검출한다.

본 발명의 바람직한 실시예 3에 따라, 연산 처리 수단에 의한 실행에 의해 화상을 처리하는 화상 처리방법의 프로그램에 적용해서, 원화상을 취득하는 화상 취득단계와, 상기 화상 취득 단계에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환 단계와, 상기 해상도 변환의 단계에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출 단계와, 상기 검출 단계에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과의 처리 단계를 가지고, 상기 검출 단계는 해상도가 순차 단계적으로 변화하는 순서에 따라서 상기 복수의 축소 화상을 처리해서, 상기 특정의 영역이 촬영된 영역을 검출한다.

본 발명의 바림직한 실시예 4에 따라, 연산 처리 수단에 의한 실행에 의해 화상을 처리하는 화상 처리방법의 프로그램을 기록한 기록 매체에 적용해서, 원화상을 취득하는 화상 취득 단계와, 상기 화상 취득단계에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환의 단계와, 상기 해상도 변환 단계에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출 단계와, 상기 검출 단계에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서, 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과의 처리 단계를 가지고, 상기 검출 단계는, 해상도가 순차 단계적으로 변화하는 순서에 따라서 상기 복수의 축소 화상을 처리해서, 상기 특정 피사체의 촬영된 화상에 의한 영역이 촬영된 영역을 검출한다.

본 발명의 바람직한 실시예 1에 따른, 화상 처리장치는 원화상을 취득하는 화상 취득부와, 상기 화상 취득부에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환부와, 상기 해상도 변환부에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출부와, 상기 검출부에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과 처리부를 가지고, 상기 검출부는 해상도가 순차 단계적으로 변화하는 순서에 따라서 상기 복수의 축소 화상을 처리해서 상기 특정의 영역이 촬영된 영역을 검출한다. 이 순차 단계적인 축소 화상의 처리에 의해, 큰 순으로, 또는 작은 순으로, 특정의 피사체가 촬영된 각각의 영역을 검출해서, 검출 순서에 따라서 크기(size)에 관련된 우선 순위를 설정할 수 있다. 또 필요에 따라서 처리를 중단해서, 단시간 내에 목적의 영역을 검출할 수 있으며, 이들에 의해 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수가 있다.

또, 바람직한 실시예 2, 3 및 4에 따라, 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수 있는 화상 처리방법, 화상 처리방법의 프로그램 및 화상 처리방법의 프로그램을 기록한 기록 매체를 제공할 수 있다.

본 발명의 실시예에 따라, 특정의 피사체가 촬영된 영역을 검출하고 적절히 우선 순위를 설정할 수 있다.

본 발명의 첨부된 도면을 참고하여 본 발명에 관한 다름의 바람직한 실시예 의 상세한 설명을 보다 쉽게 평가되고 이해될 것이다.

[발명을 실시하기 위한 최량의 형태]

본 발명의 실시예 1은 이하에 설명된다.

(1) 실시예 1의 구성

도 2는, 본 발명의 실시예 1에 따른 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(1)는 디지털 스틸 카메라이며, 정지 화상 또는 동화상에 의해 원하는 피사체의 촬상 결과를 취득해서 기록한다.

이 촬상 장치(1)에서 렌즈(2)는 중앙처리유닛(CPU)(3)의 제어하에서 조리개, 포커스, 줌 배율을 가변해서 입사광을 집광하고, 계속되는 이미지 센서(4)의 촬상면에 피사체의 광학상을 형성한다.

이미지 센서(4)는 촬상면에 배치된 각 수광 소자(photosensitive element)의 광전 변환 처리에 의해, 렌즈(2)에 의해 촬상면에 형성된 광학상의 촬상 결과를 동화상 또는 정지 화상에 의해 출력한다.

카메라 신호 처리부(6)는 중앙처리유닛(3)의 제어에 의해 이미지 센서(4)로부터 출력되는 촬상 결과를 입력해서, 매트릭스 연산, 감마 보정, 화이트 밸런스 조정 등의 신호 처리를 실행하고, 그 처리 결과에 의한 화상 데이터를 화상 버스(BUS)에 출력한다.

또, 카메라 신호 처리부(6)는 이와 같은 처리에서, 화상 표시부(9)에서의 모니터용 화상 데이터 및 얼굴 검출부(8)에서의 얼굴 검출용 원화상 데이터를 생성해서 출력한다. 또한, 실시예 1에서는 원화상 데이터는 모니터용 화상 데이터가 적용 되고, 예를 들면 640 화소×380 화소에 의한 VGA(Video Graphics Array)에 의한 화상 데이터, 320 화소×240 화소에 의한 화상 데이터 등이 적용된다. 이들에 의해, 실시예 1에서, 렌즈(2), 이미지 센서(4) 및 카메라 신호 처리부(6)는 동화상 또는 정지화상의 촬상 결과에 의한 원화상에 관련된 화상 데이터를 취득하는 화상 취득부를 구성한다.

화상 RAM(Random Access Memory)(7)은 중앙처리유닛(3)의 제어에 의해, 화상 버스(BUS)에 출력되는 화상 데이터를 일시 저장해서 상기 저장된 화상 데이터를 화상 버스(BUS)에 출력한다.

얼굴 검출부(8)는 중앙처리유닛(3)의 제어에 의해 이 화상 RAM(7)에 기록된 원화상 데이터를 취득하고, 이 원화상 데이터에 의한 화상으로부터 특정의 피사체가 촬영된 영역을 검출한다. 실시예 1에서는 이 특정의 피사체가 인물의 얼굴에 설정되고, 얼굴 검출부(8)는 검출 결과(D1)를 중앙처리유닛(3)에 통지한다.

상세하게는 도 3에 도시하는 바와 같이, 얼굴 검출부(8)에서, 해상도 변환부(8A)는, 컨트롤러(8B)에 의해 지시된 배율(倍率)(α)에 따라서 화상 RAM(7)에 저장된 화상 데이터를 필터링 처리하여 해상도를 변환하고, 이것에 의해 화상 RAM(7)에 저장된 화상 데이터에 의한 화상을 이 배율(α)에 따라서 축소해서 출력한다.

화상 메모리(8C)는 컨트롤러(8B)의 제어에 의해 이 해상도 변환부(8A)로부터 출력되는 화상 데이터를 기록해서 보존유지하고, 보관 유지한 화상 데이터를 화상 RAM(7) 및 얼굴 검출 코어(8D)에 저장한다. 이것에 의해, 얼굴 검출부(8)는 화상 RAM(7)에 저장된 원화상을 여러 가지 배율에 의해 축소하여 화상 RAM(7)에 저장하 고, 나아가서는 이 화상 RAM(7)에 저장한 화상을 여러 가지 배율에 의해 축소하여 화상 RAM(7)에 저장하며, 이들에 의해 화상 RAM(7)에 저장한 원화상의 해상도를 여러 가지로 저감한 축소 화상을 생성해서 화상 RAM(7)에 저장한다.

얼굴 검출 코어(8D)는 컨트롤러(8B)의 제어에 의해 템플레이트를 이용한 템플레이트 매칭에 의해 화상 메모리(8C)로부터 출력되는 화상 데이터에 의한 화상으로부터 얼굴이 촬영된 영역을 검출한다. 즉, 얼굴 검출 코어(8D)는 화상 메모리(8C)로부터 출력되는 화상 데이터를 일시 기록해서 보존유지하고, 이 보존유지한 화상 데이터를 순차 선택해서 템플레이트를 구성하는 화상 데이터와의 사이에서 상관값 검출 처리를 실행하며, 이것에 의해 선택된 화상 데이터에 의한 화상 위에서 템플레이트를 주사시키고, 각 주사 위치에서, 이 처리 대상화상과 템플레이트와의 유사 정도를 나타내는 상관값을 검출한다. 또한, 실시예 1에서 이 상관값의 검출은 서로 겹친 화소 사이에서 휘도 레벨의 차분 절대값 합을 계산해서 실행되지만, 이와 같은 처리 대신에, 처리 대상 화상과 템플레이트를 각각 2진 형식(binary format)에 의해 표현해서 논리 연산하는 경우 등, 여러 가지 기법을 적용할 수 있다.

얼굴 검출 코어(8D)는 이와 같이 해서 검출한 상관값을 소정의 임계값(threshold)에 의해 판정하고, 이것에 의해 얼굴이 촬영된 영역을 검출한다. 얼굴 검출 코어(8D)는 예를 들면 정면에서 촬영한 얼굴, 기울기 정면에서 촬영한 얼굴, 둥근 얼굴 등의 수평 방향 및 수직 방향이 동일한 샘플링 수로 설정된 복수 종류의 템플레이트를 메모리에 보존유지한다. 또, 이것들 단일 크기에 의한 복수 종 류의 템플레이트를 이용해서, 상관값 검출에 관련된 일련의 처리를 동시 병렬적으로 실행하며, 이것에 의해 여러 가지로 피사체가 다른 경우에서도, 얼굴이 촬영된 영역을 확실하게 검출한다.

또, 얼굴 검출 코어(8D)는 컨트롤러(8B)의 지시에 의해, 후술하는 중력 방향 센서(13)에 의해 검출되는 이 촬상 장치(1)의 방향에 따라서, 이 촬상 장치(1)의 위치 및 기울기를 보정하도록, 이들 복수의 템플레이트에 대한 처리 대상 화상의 방향을 보정해서 상관값 검출 처리를 실행하며, 이것에 의해 유저가 이 촬상 장치(1)의 방향을 변화시켜서 수직 가시각에 의해 촬영한 경우 등에 있어서도, 얼굴이 촬영된 영역을 확실하게 검출한다.

또, 얼굴 검출 코어(8D)는 마찬가지 컨트롤러(8B)의 지시에 의해, 주사 개시 위치, 주사 순서 및 주사의 종료 위치를 전환하며, 이것에 의해 단시간 내에 또한 충분한 정밀도로 얼굴이 촬영된 영역을 검출한다. 구체적으로, 예를 들면 이 촬상 장치(1)에서의 촬영 모드가 인물을 촬영하는 촬영 모드인 포트레이트(portrait)모드로 설정되어 있는 경우, 인물 얼굴의 촬영된 화상은 화면의 중앙 부분에서 촬영되고 있는 경우가 많다. 이것에 의해, 이 경우, 얼굴 검출 코어(8D)는 컨트롤러(8B)의 제어에 의해 화면의 중앙부터 주사를 개시하고, 화면의 외주 방향을 향해서 나선모양으로 템플레이트를 주사시키는 것에 의해 인물의 얼굴이 촬영된 영역을 짧은 시간에 검출한다. 또, 최외주에서는 주사를 중지하는 것에 의해, 얼굴의 검출에 요구되는 시간을 짧게 해서, 실용상 충분한 정밀도에 의해 얼굴이 촬영된 영역을 검출한다. 이것에 대해서 집합 사진인 경우, 인물의 얼굴은, 화면의 각처에서 얼굴이 검출되는 것이 예측된다. 이것에 의해, 이 경우, 얼굴 검출 코어(8D)는 예를 들면 래스터(raster) 주사의 순서에 따라서 주사하여 얼굴이 촬영된 영역을 빠짐없이 검출한다.

얼굴 검출 코어(8D)는, 이와 같이 해서 상관값의 판정에 의해 검출되는 얼굴이 촬영된 영역의 위치를, 얼굴 검출에 이용된 템플레이트의 크기와 함께, 얼굴 검출의 검출 결과(D1)로서 중앙처리유닛(3)에 통지한다.

컨트롤러(8B)는 중앙처리유닛(3)의 제어에 의해 이들 해상도 변환부(8A), 화상 메모리(8C), 얼굴 검출 코어(8D)의 동작을 제어한다.

화상 표시부(9)는 예를 들면 액정 표시 장치와 이 액정 표시 장치의 주변부에 의해 구성되고, 중앙처리유닛(3)의 제어에 의해, 화상 RAM(7)에 기록된 모니터용 화상 데이터에 화상을 표시한다. 또, 이 때, 중앙처리유닛(3)의 지시에 의해, 얼굴 검출부(8)에 의한 검출 결과에 의거해서, 얼굴을 둘러싸는 직사각형 형상에 의한 테두리를 표시한다.

이들에 의해, 이 촬상 장치(1)에서는, 렌즈(2), 이미지 센서(4) 및 카메라 신호 처리부(6)로부터 입력된 동화상 및 정지 화상에 의한 화상 데이터를 화상 표시부(9)에 의해 모니터할 수 있도록 구성되며 이 때 유저에 의한 지시에 의해, 얼굴이 촬영된 영역을 확인할 수 있도록 구성된다.

화상 압축신장부(compression/decompression section)(10)는 중앙처리유닛(3)의 제어에 의해 이 화상 RAM(7)에 기록된 화상 데이터를 취득하고, 이 화상 데이터를 예를 들면 JPEG(Joint Photographic Coding Experts Group), MPEG(Moving Picture Experts Group) 등의 기법에 의해 데이터 압축하며, 그 처리 결과에 의한 화상 데이터를 화상 파일에 의해 화상 기록 매체(12)에 기록한다. 또, 이것과는 역으로 화상 압축신장부(10)는 화상 기록 매체(12)에 기록된 화상 파일을 신장하며, 그 처리 결과에 의한 화상 데이터를 화상 RAM(7)에 기록한다.

이것에 의해 이 촬상 장치(1)는 동화상 및 정지 화상에 의한 촬상 결과를 화상 기록매체(12)에 기록하고, 또 이 화상 기록매체(12)에 기록된 화상 데이터 파일을 여러 가지로 처리할 수 있도록 구성된다.

화상 기록매체(12)는 예를 들면 메모리 카드, 광 디스크, 자기 디스크 및 자기 테이프 등의 각종 기록 매체이며, 화상 압축신장부(10) 및 중앙처리유닛(3)으로부터 출력되는 각종 데이터를 기록하고, 또 기록한 각종 데이터를 화상 압축신장부(10) 및 중앙처리유닛(3)에 출력한다. 또한, 화상 기록매체(12)는 착탈 가능한 형식에 의한 것 또는 착탈 곤란한 내장 형식의 것 중 어느 하나, 또는 두 개 타입 모두에 적용할 수 있다.

또, 화상 압축신장부(10)는 이와 같은 기록 매체 대신에 유선, 무선에 의한 데이터 통신부를 거쳐서 외부 기기와의 사이에서 화상 데이터를 입출력한다.

이들에 의해, 이 촬상 장치(1)에서 화상 압축신장부(10)는 기록 매체에 기록된 원화상에 관련된 화상 데이터를 취득하는 기록 매체에 관련된 화상 취득부를 구성함과 동시에, 외부 기기와의 사이에서 데이터 통신하는 데이터 통신부를 구성한다.

이들에 의해, 이 촬상 장치(1)에서 유저가 정지 화상에 의한 촬영 모드를 선 택한 경우, 이미지 센서(4)에 의해 동화상에 의한 촬상 결과를 순차 취득해서 카메라 신호 처리부(6)에서 신호 처리한 후, 화상 RAM(7)에 처리된 화상 촬상결과를 저장함과 동시에, 이 화상 RAM(7)에 저장한 동화상에 의한 촬상 결과를 화상 표시부(9)로 표시하며, 이것에 의해 촬영 대상을 모니터할 수 있도록 한다. 또, 이와 같이 모니터한 상태에서, 유저가 트리거 스위치(미도시)를 조작하면, 그때까지의 동화상에 의한 촬상 결과 대신에, 정지 화상에 의한 촬상결과를 취득해서 화상 RAM(7)에 저장함과 동시에, 이 화상 RAM(7)에 저장한 정지 화상에 의한 촬상 결과를 화상 표시부(9)로 표시하며, 이것에 의해 촬상 결과를 모니터할 수 있도록 한다. 또, 유저에 의해 촬상 결과의 기록이 지시되면, 화상 RAM(7)에 저장한 정지 화상에 의한 화상 데이터를 화상 압축신장부(10)로 데이터 압축해서 화상 기록 매체(12)에 압축된 화상 데이터를 기록한다.

이것에 대해서, 유저가 동화상에 의한 촬영 모드를 선택한 경우, 촬상장치(1)는 이미지 센서(4)에 의해 동화상에 의한 촬상 결과를 순차 취득해서 카메라 신호 처리부(6)에서 화상 촬상결과를 신호 처리한 후, 화상 RAM(7)에 처리된 화상 촬상결과를 저장함과 동시에, 이 화상 RAM(7)에 저장한 동화상에 의한 촬상 결과를 화상 표시부(9)로 표시하며, 이것에 의해 이 경우도 촬영 대상을 모니터할 수 있도록 한다. 또, 이러한 모니터링 상태 동안, 유저가 트리거 스위치를 조작하면, 순차, 화상 RAM(7)에 저장되는 화상 데이터를 화상 압축신장부(10)에서 데이터 압축해서 화상 기록매체(12)에 기록한다.

또, 유저가 화상 기록매체(12)에 기록된 정지 화상, 동화상에 의한 화상 파 일의 재생을 지시하면, 이 화상 파일에 의한 화상 데이터를 화상 기록 매체(12)로부터 취득해서 화상 압축신장부(10)에 의해 데이터 신장하며, 그 처리 결과에 의한 화상 데이터를 화상 RAM(7)에 저장한다. 또, 이 화상 RAM(7)에 저장한 화상 데이터로부터 모니터용의 화상 데이터를 생성하고, 이 모니터용 화상 데이터에 의한 화상을 화상 표시부(9)로 표시한다.

중력 방향 센서(13)는 각 방향으로의 가속도를 검출하는 가속도 센서와, 이 가속도 센서에 의한 검출 결과를 처리해서 중력 가속도의 방향을 검출하는 신호 처리부에 의해 구성되며, 이것에 의해 이 촬상 장치(1)의 방향을 검출해서 검출된 위치를 중앙처리유닛(3)에 통지한다.

메모리(14)는 불휘발성 메모리와 휘발성 메모리에 의해 형성되고, 중앙처리유닛(3)의 프로그램, 중앙처리유닛(3)의 처리에 필요한 데이터 등을 기록하며, 또 중앙처리유닛(3)의 워크에리어 등을 형성한다.

중앙처리유닛(3)은 이 촬상 장치(1)의 동작을 제어하는 제어부이며, 메모리(14)에 기록된 프로그램의 실행에 의해, 유저에 의한 조작에 응동해서 각 부의 동작을 제어한다. 실시예 1에서, 이 프로그램은, 이 촬상 장치(1)에 사전(事前)에 인스톨되어 제공되지만, 이와 같은 사전 인스톨에 의한 제공 대신에, 광 디스크, 자기 디스크, 메모리 카드 등의 각종 기록 매체에 기록해서 제공할 수 있고, 또 인터넷 등의 네트워크를 거친 다운로드에 의해 제공할 수 있다.

중앙처리유닛(3)은 이 처리 수순의 실행에 의해, 유저에 의한 지시에 따라서 동화상 또는 정지 화상에 의한 촬상 결과를 취득해서 화상 표시부(9)로 표시하고, 또 이 촬상 결과를 화상 기록매체(12)에 기록한다. 이 때, 중앙처리유닛(3)은 얼굴 검출부(8)에 동작을 수행하도록 지시해서 검출 결과(D1)를 취득하고, 이 검출 결과(D1)에 의거해서 얼굴이 촬영된 영역의 화상 데이터를 취득한다. 중앙처리유닛(3)은 이 취득한 화상 데이터에 의해 렌즈(2)의 조리개, 포커스를 제어해서 자동 조리개 제어, 자동 포커스 제어의 처리를 실행하며 또 카메라 신호 처리부(6)에서의 화이트 밸런스 조정을 제어한다.

구체적으로 중앙처리유닛(3)은 이 얼굴이 촬영된 영역이 일정한 휘도 레벨로 되도록, 렌즈(2)의 조리개를 제어하며, 이것에 의해 자동 조리개 제어의 처리를 실행한다. 또한, 중앙처리유닛(3)은 화면 전체의 평균 휘도 레벨 등을 기준으로 한 종래 기법을 이용하는 조리개 제어의 기법과의 조합(combination)에 의해 조리개 제어의 처리를 실행하며, 이것에 의해 예를 들면 풍경(landscape)의 촬영에 의해 얼굴을 촬영한 영역이 검출되지 않는 경우에서도, 확실하게 조리개 제어할 수 있도록 한다.

또, 중앙처리유닛(3)은 이 얼굴이 촬영된 영역의 크기에 따라서, 이 얼굴이 촬영된 인물까지의 거리를 추정하고, 이 거리에 따라서 포커스 제어한다. 또한, 중앙처리유닛(3)은 이 경우도 고주파 성분의 신호 레벨이 증대하는 방향으로 항상 포커스를 가변 제어하는 이른바 산오름법(hill-climbing method) 등에 의한 종래 기법에 따르는 포커스 제어와 조합해서, 포커스 제어의 처리를 실행하며, 이것에 의해 얼굴을 촬영한 영역이 검출되지 않는 경우에서도, 확실하게 포커스 제어할 수 있도록 한다.

또, 중앙처리유닛(3)은 이 얼굴이 촬영된 영역의 색상이 일정값인 살색의 색상으로 되도록, 각 색신호의 이득을 보정해서 화이트 밸런스 조정한다. 또, 이 경우도, 종래 기법과의 조합에 의해 화이트 밸런스 조정하며, 이것에 의해 얼굴을 촬영한 영역이 검출되지 않는 경우에서도, 확실하게 화이트 밸런스 조정할 수 있도록 한다. 또한, 이들 종래 기법과의 조합에 있어서는, 예를 들면, 얼굴이 촬영된 영역이 일정한 면적 이상의 크기에 의해 검출되지 않는 경우에 한해서 종래 기법을 적용하는 경우, 이 얼굴이 촬영된 영역의 면적 등에 따른 가중 계수(weighting coefficient)에 의해, 종래 기법에 의한 제어량(controlled variables)과의 사이에서 제어량을 가중 가산해서 제어하는 경우 등, 여러 가지 조합 기법을 널리 적용할 수 있다.

또 게다가, 이와 같은 자동 조리개 제어, 자동 포커스 제어, 화이트 밸런스 조정의 기준으로 하는 영역의 표시가 유저에 의해 지시되면, 얼굴을 둘러싸는 테두리의 표시를 화상 표시부(9)에 지시한다. 또, 중앙처리유닛(3)은 유저에 의한 사전의 동작 모드 설정에 의해, 이 얼굴 검출부(8)의 검출 결과(D1)를 화상 부수정보(image-annexed information)(D2)로서 대응하는 화상 파일에 첨부해서, 또는 대응하는 화상 파일과 관련시킨 별도 파일로서 화상 기록매체(12)에 기록한다.

이것에 대해서, 유저에 의해 화상 기록매체(12)에 기록된 화상 파일의 모니터가 지시되면, 화상 기록매체(12)에 기록된 화상 파일의 화상 표시부(9)에 의한 표시를 각 부에 지시한다. 이 때, 얼굴을 둘러싸는 테두리의 표시를 유저가 지시하면, 중앙처리유닛(3)은 이 화상 파일의 화상 부수정보(D2)가 화상 기록매체(12)에 기록되어 있는 경우에는, 이 화상 기록매체(12)에 기록된 화상 부수정보(D2)에 의해, 얼굴을 둘러싸는 테두리의 표시를 화상 표시부(9)에 지시한다.

이것에 대해서, 얼굴을 둘러싸는 테두리의 표시를 유저가 지시해서, 화상 부수정보(D2)가 화상 기록매체(12)에 기록되어 있지 않은 경우에는, 중앙처리유닛(3)은 얼굴 검출부(8)에 동작의 개시를 지시하고, 화상 기록 매체(12)로부터 재생되어 화상 RAM(7)에 기록되는 화상 데이터를 얼굴 검출부(8)에 의해 처리해서, 얼굴이 촬영된 영역의 검출 결과(D1)를 취득한다. 또, 이 취득한 검출 결과(D1)에 의해, 얼굴을 둘러싸는 테두리의 표시를 화상 표시부(9)에 지시한다.

또, 이와 같이 해서 화상 기록매체(12)에 기록된 화상 파일을 재생해서, 유저에 의한 지시에 의해 인물을 기준으로 한 화상의 보정이 지시되면, 촬영시에서의 자동 조리개 제어, 화이트 밸런스 조정과 마찬가지로, 얼굴이 촬영된 영역을 기준으로 해서, 화상 RAM(7)에 저장된 화상 데이터의 휘도 레벨, 색상을 보정해서 화상 표시부(9)에 표시한다. 또, 유저에 의한 지시에 의해, 중앙처리유닛(3)은 이와 같이 휘도 레벨 및 색상을 보정해서 이루어지는 화상 파일을 화상 기록매체(12)에 기록한다. 또한, 여기서 이 휘도 레벨, 색상의 보정은 카메라 신호 처리부(6)에 화상 데이터를 전송해서 카메라 신호 처리부(6)의 처리에 의해 실행할 수 있고, 또 이 대신에 중앙처리유닛(3)에 의해 화상 데이터를 처리해서 실행할 수 있다.

이들에 의해, 이 촬상 장치(1)에서는 얼굴 검출부(8)에 의해 검출되는 특정의 피사체를 촬영한 영역을 기준으로 해서, 촬상계, 신호 처리계의 동작을 여러 가지로 제어한다.

도 4는 이 얼굴 검출부(8)에 의한 특정의 피사체를 촬영한 영역을 검출하는 처리에 관련된 중앙처리유닛(3)의 처리 수순의 설명에 이용되는 개략도이다. 실시예 1에서, 중앙처리유닛(3)은 단일 크기에 의한 템플레이트(TP)에 대해서, 처리 대상의 화상측 크기를 순차 단계적으로 변화시켜서 얼굴이 촬영된 영역을 검출하는 것에 의해, 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정한다.

즉, 예를 들면 포트레이트 모드(portrait mode), 자기 자신(user himself/herself)을 촬영하는 촬영 모드인 자신 촬영(self-portrait) 모드등의 촬영 모드에 의한 촬영의 경우, 적은 사람수의 근경에 의한 촬영이며, 이 경우 주요한 피사체의 얼굴일 수록 촬상 결과에서 큰 면적을 차지하는 경향에 있다. 이것에 의해, 이 도 4에 도시하는 예에서는, 화상 RAM(7)에 저장한 원화상 데이터에 의한 원화상(G0)에서, 얼굴(K1)이 가장 크게 찍혀 있는 인물이 주요한 인물이며, 얼굴(K1)보다 작은 얼굴로 얼굴(K2, K3)이 찍혀 있는 인물이 우선 순위가 낮은 관계자라고 판단된다.

이것에 의해. 이 경우, 이 가장 큰 얼굴(K1)을 처음에 검출하고, 계속해서 얼굴(K1) 보다 작게 찍힌 얼굴(K2, K3)을 순차 검출하도록, 처리 대상의 화상의 크기를 순차 단계적으로 변화시켜서 템플레이트와 비교하면, 주요한 인물부터 순차, 얼굴이 촬영된 영역을 검출할 수가 있다. 또, 이 경우, 주요한 인물의 얼굴이 검출된 후의, 일정 단계에서 처리를 종료해도, 이 촬상 장치(1)에서의 처리에 관해서 실용상 충분한 범위에서 얼굴이 촬영된 영역을 검출할 수가 있다.

즉, 이 도 4의 예에서는, 원화상 데이터에 의한 원화상(G0)의 해상도를 순차 단계적으로 축소해서 축소 화상(G7, G6, G5,…, G1)을 생성하고, 템플레이트(TP)를 이용한 템플레이트 매칭에 의해, 이들 축소 화상(G7, G6, G5,…, G1), 원화상(G0)에서 얼굴이 촬영된 영역을 검출하면, 각각 축소 화상(G6, G4)에서 얼굴(K1, K2)이 검출되고, 또 원화상(G0)에서 얼굴(K3)이 검출된다. 이것에 의해 이 경우 크게 촬영된 얼굴부터 순차 검출할 수 있도록, 화살표 A로 나타내는 바와 같이, 처음에 원화상을 크게 축소한 축소 화상(G7)에서 얼굴이 촬영된 영역을 검출하고, 계속해서 원화상(G0)에 크기가 가까워지도록, 순차 단계적으로 처리 대상 화상의 크기를 확대시켜서 얼굴이 촬영된 영역을 검출하는 것에 의해, 검출 순서의 우선 순위에 따라서 이들 얼굴이 촬영된 영역을 검출할 수가 있다.

이것에 대해서, 집합 사진에 의해 다수의 인물을 촬영하고 있는 경우에는 촬영된 인물의 수가 많으면 많을 수록, 크게 축소된 축소 화상에서 불필요한 템플레이트 매칭의 처리를 실행하게 된다. 이것에 의해, 이와 같은 경우에는, 화살표 B에 의해 나타내는 바와 같이, 순차, 처리 대상 화상을 축소해서 얼굴이 촬영된 영역을 검출하도록 하여, 처리를 개시해서 단시간 내에 얼굴이 촬영된 영역을 검출할 수 있다.

또, 풍경 모드 등에 의해 촬영하는 경우에는, 얼굴을 포함하지 않는 경우도 있고, 또 얼굴을 포함하는 경우라도, 풍경을 배경으로 한 인물의 원경, 통행인 등의, 얼굴이 촬영된 영역의 면적이 지극히 작은 경우가 많다. 이와 같은 경우에서도, 화면 전체를 차지하는 바와 같은 큰 얼굴이 존재하는 것은, 매우 드물다고 예 측된다. 이것에 의해, 이 경우, 작은 면적에 의한 것부터 순차 단계적으로 면적이 큰 얼굴을 검출하도록 해서, 일련의 처리 도중에서, 얼굴이 촬영된 영역의 검출 처리를 중지해도, 실용상 충분한 정밀도에 의해 얼굴이 촬영된 영역을 검출할 수가 있다.

이것에 의해, 중앙처리유닛(3)은 도 1 및 도 5에 도시하는 처리 수순을 실행하는 것에 의해, 처리 대상 화상의 크기를 순차 단계적으로 변화시켜서 얼굴이 촬영된 영역을 검출한다. 즉, 중앙처리유닛(3)은, 이 처리 수순을 개시하면, 단계 SP1에서 단계 SP2로 이행하고, 카메라 신호 처리부(6)의 제어에 의해, 원화상(G0)의 화상 데이터를 생성해서 화상 RAM(7)에 저장한다. 또, 계속되는 단계 SP3에서, 중앙처리유닛(3)은 얼굴 검출부(8)에 마련된(설치된) 컨트롤러(8B)를 거쳐서 해상도 변환부(8A) 및 화상 메모리(8C)의 동작을 제어하는 것에 의해, 도 6에 도시하는 바와 같이, 순차 배율(α)을 전환해서, 화상 RAM(7)에 저장된 원화상(G0)에 의한 화상 데이터의 해상도를 변환하여 화상 RAM(7)에 변환된 화상 데이터를 저장하며, 이것에 의해 축소 화상(G1∼G7)의 화상 데이터를 화상 RAM(7)에 저장한다. 또한, 이 경우, 도 4에서 화살표 B에 의해 나타내는 바와 같이, 일정 배율에 의해 순차 축소 화상을 축소해서, 이들 해상도가 다른 복수의 축소 화상(G1∼G7)을 생성하도록 해도 좋다.

계속해서, 중앙처리유닛(3)은 단계 SP4에서 큰 순서에 따라서 얼굴이 촬영된 영역을 검출할지, 작은 순서에 따라서 얼굴이 촬영된 영역을 검출할지를 판정한다. 여기서, 중앙처리유닛(3)은 촬영 모드, 과거의 화상 코어(8D)에 의한 검출 결과인 그때까지의 연속하는 프레임의 처리 결과에 의해, 이 단계 SP4에서의 판정의 처리를 실행한다. 구체적으로, 중앙처리유닛(3)은, 포트레이트 모드 또는 자신 촬영 모드 등의 적은 사람수의 근경에 의한 촬영이 예측되는 촬상 모드에, 이 촬상 장치(1)의 촬영 모드가 설정되어 있는 경우, 큰 순서에 따라서 얼굴이 촬영된 영역을 검출하도록 판정한다. 또, 중앙처리유닛(3)이 이와 같은 촬영 모드에 의해 판정할 수 없는 경우에서도, 한명∼수명의의 얼굴이, 비교적 큰 면적으로 찍혀 있는 화상이 수(數) 프레임 계속된 경우에는, 큰 순서에 따라서 얼굴이 촬영된 영역을 검출하도록 판정한다.

이것에 대해서, 풍경 모드 등의 다수의 얼굴이 비교적 작은 면적으로 찍혀 있는 것이 예측되는 촬영 모드로 설정되어 있는 경우, 중앙처리유닛(3)은 작은 순서에 따라서 얼굴이 촬영된 영역을 검출하도록 판정한다. 또, 중앙처리유닛(3)이 이와 같은 촬영 모드에 의해 판정할 수 없는 경우에서도, 집합 사진 등과 같이, 다수의 얼굴이 비교적 작은 면적으로 찍혀 있는 화상이 수(數) 프레임 계속되고 있었던 경우, 작은 순서에 따라서 얼굴이 촬영된 영역을 검출하도록 판정한다.

또한, 중앙처리유닛(3)은 이 단계 SP4에서 어느 순서에 따라서 얼굴이 촬영된 영역을 검출할지 판정할 수 없는 경우, 초기 설정에 따라서 어느 하나의 순서에 따라서 얼굴 검출을 실행하고, 실시예 1에서는 이 초기설정이 큰 순서에 따른 검출로 설정된다. 또한, 이 초기설정에 있어서는, 이 촬상 장치(1)의 사용 이력, 유저의 설정 등에 의해 설정해도 좋다.

이것에 의해, 중앙처리유닛(3)은 단계 SP4에서 큰 순서에 따라서얼굴이 촬영 된 영역을 검출한다고 판정한 경우, 단계 SP4에서 단계 SP5로 옮겨가고, 가장 작은 축소 화상(G7)을 처리 대상 화상으로 설정하도록, 화상 RAM(7)에 저장한 축소 화상(G7)의 화상 데이터를 화상 메모리(8C)에 로드(load)해서 로드한 화상 데이터를 얼굴 검출 코어(8D)에 전송하고, 여기서 템플레이트 매칭에 의해 얼굴이 촬영된 영역을 검출한다. 그러나, 도 4의 예에서는, 이 축소 화상(G7)에서는 얼굴이 촬영된 영역은 검출되지 않게 된다.

계속해서, 중앙처리유닛(3)은 단계 SP6에서, 마찬가지로 해서, 이 축소 화상(G7)보다 1단계 만큼 큰 축소 화상(G6)을 처리 대상 화상으로 설정해서 마찬가지 처리를 실행하고, 도 4의 예에서는 여기서 얼굴(K1)이 검출되게 된다. 또, 중앙처리유닛(3)은 이들 처리를 순차 되풀이해서, 각 축소 화상(G1∼G7) 및 원화상(G0)을 이용한 템플레이트 매칭에 의해 얼굴이 촬영된 영역을 검출한다. 또한, 이들 처리에서, 중앙처리유닛(3)은 촬영 모드 등에 따라서 얼굴 검출 코어(8D)에 주사 순서 및 주사 개시 위치 등을 지시한다.

이들 각 축소 화상(G1∼G7) 및 원화상(G0)을 이용해서 얼굴 검출의 처리를 순차 단계적으로 실행하여, 중앙처리유닛(3)은, 소정의 처리 단계에서, 처리를 중지할지 여부를 판단한다. 이것에 의해, 도 1의 처리에서, 중앙처리유닛(3)은 단계 SP7에서 축소 화상(G6)을 처리하면, 계속되는 단계 SP8에서, 처리를 중지할지 여부를 판단한다. 또한, 이 처리를 중지할지 여부의 판단 처리에 있어서는, 각 단계마다 실행하도록 해도 좋고, 나아가서는 유저에 의한 설정 등에 따른 단계에서 실행하도록 해도 좋다.

이 단계 SP8에서, 중앙처리유닛(3)은 과거의 검출 결과 및 촬영 모드에 따라서 처리를 중지할지 여부를 판단한다. 구체적으로, 중앙처리유닛(3)은 지금까지의 처리에서 화상 표시부(9)에서 표시하는 얼굴을 둘러싸는 테두리 분만큼, 이미 얼굴이 촬영된 영역을 검출하고 있는 경우, 처리를 중지한다고 판정한다. 또, 촬영모드가 예를 들면 포트레이트 모드, 자신 촬영 모드로 설정되어 있는 경우, 각 촬영 모드에 따른 단계에서, 처리를 중지한다고 판정한다. 또한, 중앙처리유닛(3)은 유저에 의한 설정에 따라서, 처리를 중지할지 여부를 판단할 수 있다.

이것에 의해, 이 경우, 중앙처리유닛(3)은 단계 SP8에서 단계 SP9로 옮겨가고, 나머지 축소 화상(G3∼G1) 및 원화상(G0)을 이용한 템플레이트 매칭의 처리를 중지한다. 이것에 의해, 중앙처리유닛(3)은 과거의 검출 결과에 의거해서, 나아가서는 촬상부에서의 촬영 모드에 따라서, 템플레이트 매칭의 처리에 이용되는 축소 화상을 전환한다. 또한, 이와 같은 과거의 검출 결과, 촬영 모드에 따른 처리 대상 화상의 전환에 있어서는, 이와 같은 처리를 종료하는 축소 화상의 변경 대신에, 또는 이에 더하여, 처리를 개시하는 축소 화상의 전환에 의해 실행하도록 해도 좋다.

중앙처리유닛(3)은 계속되는 단계 SP9에서 계속되는 프레임의 화상이 얻어졌는지 여부를 판단하고, 여기서 계속되는 프레임의 화상이 얻어지고 있는 경우에는, 단계 SP2로 되돌아가서 처리를 되풀이한다. 계속되는 프레임의 화상이 얻어지고 있지 않는 단계 SP9에서 결정한다면, 단계 SP9에서 단계 SP10으로 옮겨가서 이 처리 수순을 종료한다.

이것에 대해서, 단계 SP8에서 부정(negative) 결과가 얻어지면, 이 경우, 중 앙처리유닛(3)은, 나머지 축소 화상(G3∼G1) 및 원화상(G0)을 이용해서 순차 템플레이트 매칭의 처리를 실행한 후, 단계 SP9로 옮겨간다.

이것에 대해서, 작은 순서에 따라서 검출하는 경우, 중앙처리유닛(3)은 단계 SP4에서 단계 SP13으로 옮겨가고, 가장 큰 원화상(G0)을 처리 대상 화상으로 설정하도록, 화상 RAM(7)에 저장한 원화상(G0)의 화상 데이터를 화상 메모리(8C)에 로드해서 로드한 화상 데이터를 얼굴 검출 코어(8D)에 전송하며, 얼굴검출 코어(8D)는 템플레이트 매칭에 의해 얼굴이 촬영된 영역을 검출한다. 그러나, 도 4의 예에서는 이 원화상(G0)에서 가장 작은 얼굴(K3)이 검출되게 된다.

계속해서, 중앙처리유닛(3)은 단계 SP14에서 마찬가지로 해서, 이 원화상(G0)보다 1 단계만큼 작은 축소 화상(G1)을 처리 대상 화상으로 설정해서 마찬가지 처리를 실행하고, 이들 처리를 순차 되풀이해서, 화상이 작은 순서에 따라서, 각 축소 화상(G1∼G7) 및 원화상(G0)을 이용한 템플레이트 매칭에 의해 얼굴이 촬영된 영역을 검출한다. 또한, 이들 경우에 있어서도, 중앙처리유닛(3)은 촬영 모드 등에 따라서 얼굴 검출 코어(8D)에 주사 순서 및 주사 개시 위치 등을 지시한다.

이와 같이 화상이 작은 순서에 따라서, 각 축소 화상(G1∼G7) 및 원화상(G0)에 의한 얼굴 검출의 처리를 순차 단계적으로 실행해서, 중앙처리유닛(3)은 이 경우에도, 소정의 처리 단계에서, 처리를 중지할지 여부를 판단한다. 이것에 의해, 도 5의 처리에서, 중앙처리유닛(3)은 단계 SP15에서 축소 화상(G4)을 처리하면, 계속되는 단계 SP16에서, 처리를 중지할지 여부를 판단한다. 또한, 이 처리를 중지할지 여부의 판단 처리에 있어서도 각 단계마다 실행하도록 해도 좋고, 또 유저에 의 한 설정 등에 따른 단계에서 실행하도록 해도 좋다.

이 단계 SP15에서, 중앙처리유닛(3)은 과거의 검출 결과에 따라서 처리를 중지할지 여부를 판단한다. 구체적으로, 중앙처리유닛(3)은 예를 들면 지금까지의 단계에서 얼굴이 촬영된 영역이 검출된 후, 몇 단계인가 연속해서 얼굴이 촬영된 영역을 검출할 수 없는 경우, 또 지금까지의 연속하는 프레임에서, 이후의 단계에서 얼굴이 촬영된 영역이 검출되고 있지 않은 경우, 처리를 중지한다고 판단한다. 또한, 중앙처리유닛(3)은 예를 들면 풍경 모드에 의한 경우에는, 일정 단계 이후에 대해서는 처리를 중지하도록 한다. 이것에 의해 중앙처리유닛(3)은 촬영 모드에 따라서 처리를 중지할지 여부를 판단하도록 해도 좋고, 또 유저에 의한 설정에 따라서, 처리를 중지할지 여부를 판단하도록 해도 좋다.

이것에 의해 이 경우 중앙처리유닛(3)은 단계 SP16에서 단계 SP9로 옮겨가고, 나머지 축소 화상(G5∼G7)을 이용한 템플레이트 매칭 처리를 중지한다. 또, 이 단계 SP9에서, 중앙처리유닛(3)은 계속되는 프레임의 화상이 얻어졌는지 여부를 판단하고, 여기서 계속되는 프레임의 화상이 얻어지고 있는 경우에는, 단계 SP2로 되돌아가서 처리를 되풀이한다. 반대로 계속되는 프레임의 화상이 얻어지고 있지 않은 경우, 단계 SP9에서 단계 SP10으로 옮겨가서 이 처리 수순을 종료한다. 이것에 의해, 이 경우도, 중앙처리유닛(3)은 과거의 검출 결과에 의거해서, 또 촬상부에서의 촬영 모드에 따라서, 템플레이트 매칭의 처리에 이용되는 축소 화상을 전환한다. 또한, 이 경우도, 이와 같은 처리를 종료하는 축소 화상의 전환 대신에, 또는 이에 더하여, 처리를 개시하는 축소 화상의 전환에 의해 처리대상 화상을 전환하도 록 해도 좋다.

이것에 대해서, 단계 SP16에서 부정 결과가 얻어지면, 이 경우, 중앙처리유닛(3)은 나머지 축소 화상(G5∼G7)을 이용해서 순차 템플레이트 매칭의 처리를 실행한 후, 단계 SP9로 옮겨간다.

또한, 이와 같이 사전에, 크기가 다른 복수 종류의 축소 화상을 작성해서 화상 RAM(7)에 저장하여 각 단계의 템플레이트 매칭 처리를 실행하는 대신에, 각 단계의 템플레이트 매칭 처리를 실행할 때에, 대응하는 크기의 축소 화상을 그때마다, 작성하도록 해도 좋다. 이와 같이 하면 쓸데없는 축소 화상의 작성 처리를 생략할 수 있고, 나아가서는 화상 RAM(7)에의 축소 화상에 관련된 화상 데이터의 기입 처리를 생략할 수 있는 것에 의해, 그 만큼, 처리에 요하는 시간을 짧게 할 수가 있다. 또, 이 경우에, 원화상으로부터의 축소 대신에, 직전 단계의 축소 화상을 축소해서 처리 대상의 축소 화상을 생성하도록 해도 좋다.

중앙처리유닛(3)은 이와 같이 순차 단계적으로 얼굴이 촬영된 영역을 검출하도록 해서, 얼굴이 촬영된 영역의 위치 정보에 의해 얼굴 검출 코어(8D)로부터 얼굴 검출 결과(D1)를 취득한다.

또, 도 7에 도시하는 바와 같이, 얼굴검출에 이용된 축소 화상(G6)의 배율(α)에 의해, 템플레이트(TP)의 크기를 나눗셈하는 것에 의해, 이 배율(α) 분만큼 템플레이트(TP)의 크기를 확대하고, 이 확대한 크기와 얼굴 검출 결과(D1)에 의한 대응하는 위치 정보에 의해, 원화상 위에서 얼굴이 촬영된 영역을 계산한다. 이것에 의해, 중앙처리유닛(3)은 단일 크기에 의한 템플레이트(TP)를 이용한 얼굴 검출 결과(D1)를 보정한다. 또, 이 보정한 얼굴 검출 결과(D1)에 의해, 중앙처리유닛(3)은 화상 표시부(9)에 얼굴을 둘러싸는 테두리의 표시를 지시한다. 또, 중앙처리유닛(3)은 이 보정한 얼굴 검출 결과(D1)에 의해 화상 부수정보(D2)를 생성한다.

또, 이와 같이 해서 보정한 얼굴 검출 결과(D1)에 의해, 중앙처리유닛(3)은 얼굴이 검출된 영역의 화상 데이터를 취득해서 조리개 제어, 포커스 제어 및 화이트 밸런스 조정의 처리를 실행한다. 이 때, 중앙처리유닛(3)은, 검출 순서에 따라서 우선 순위를 설정하고, 이 우선 순위에 따라서, 예를 들면 큰 순서에 따라서 얼굴이 촬영된 영역을 검출한 경우에는, 가장 크게 촬영되어 있는 얼굴을 기준으로 해서 조리개 제어, 포커스 제어 및 화이트 밸런스 조정의 처리를 실행한다. 또, 이 때 그밖에 얼굴이 촬영된 영역이 검출되고 있는 경우에는, 중앙처리유닛(3)은 이 영역의 휘도 레벨, 크기 등을 참고로 해서 이들 조리개 제어, 포커스 제어 및 화이트 밸런스 조정의 처리를 실행한다. 또한, 이와 같은 처리에 있어서는, 예를 들면 각 영역에 의해 구해지는 제어량을 가중 가산해서 최종적인 제어량을 구하며, 이 최종적인 제어량에 의해 조리개 제어 등의 처리를 실행하는 처리 등이다.

(2) 실시예 1의 동작

상기 기재된 구성을 갖는 이 촬상 장치(1)에서는(도 2), 동화상 또는 정지 화상에 의한 촬상 결과가 이미지 센서(4)에 의해 취득되어 카메라 신호 처리부(6)에 의해 여러 가지로 보정되며, 이 촬상 결과가 화상 RAM(7)에 저장된다. 또, 이 화상 RAM(7)에 저장된 촬상 결과가 화상 표시부(9)에 의한 모니터에 이용되며, 유저에 의한 지시에 의해 화상 압축신장부(10)에서 데이터 압축되어 기록 매체(12)에 기록된다. 또, 이 대신에 촬상 결과가 입출력 단자에서 외부 기기로 출력된다.

이와 같은 처리에서, 이 촬상 장치(1)에서는 카메라 신호 처리부(6)에서의 해상도 변환 처리에 의해 모니터용 화상 데이터가 생성되고, 이 모니터용 화상 데이터에 의해 화상 표시부(9)에서 촬상 결과가 모니터(monitor)에 이용된다. 또, 이 모니터용 화상 데이터가 얼굴 검출에 이용되는 원화상의 화상 데이터에 설정되어, 얼굴 검출부(8)의 해상도 변환부(8A)에 입력되며(도 3), 여기서 소정값만큼 입력된 화상 데이터가 해상도가 저감되어 축소 화상의 화상 데이터가 생성된다. 또, 이 축소 화상의 화상 데이터가 화상 메모리(8C)를 거쳐서 화상 RAM(7)에 저장된다. 이 촬상 장치(1)에서는, 이 해상도 변환부(8A) 및 화상 메모리(8C)에 의한 처리가 되풀이되어, 원화상에 대해서 해상도를 순차 단계적으로 저감한 복수의 축소 화상에 의한 화상 데이터가 화상 RAM(7)에 저장된다.

이 촬상 장치(1)에서는 이와 같이 해서 복수의 축소 화상에 의한 화상 데이터를 사전에 생성해서 화상 RAM(7)에 저장하도록 하여, 이 화상 데이터가 순차 화상 코어(8D)에 전송된다. 화상 데이터는 템플레이트를 이용한 템플레이트 매칭에 의해 처리되며, 이것에 의해 템플레이트에 대응하는 특정의 피사체가 촬영된 영역이 축소 화상으로부터 검출된다. 이 촬상 장치(1)에서는 이 특정의 피사체가 인물의 얼굴에 설정되어, 이 화상 코어(8D)에서 해상도가 순차 단계적으로 변화하는 순서에 따라서 이들 복수의 축소 화상이 처리된다. 이것에 의해 큰 순서에 따라서, 또는 작은 순서에 따라서, 특정의 피사체가 촬영된 영역을 검출해서, 검출 순서에 의거하여 우선 순위를 설정할 수 있다. 또 필요에 따라서 처리를 중지해서 단시간 내에 목적의 영역을 검출할 수 있으며, 이들에 의해 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수 있다.

또, 이와 같이 해상도를 순차 단계적으로 변화시켜서 템플레이트 매칭에 의해 축소 화상을 처리하는 것에 의해, 단일 크기에 의한 템플레이트를 이용해서, 얼굴이 촬영된 여러가지 크기에 따른 영역을 검출할 수 있고, 그 만큼, 촬상 장치(1)에서는, 구성을 간략화할 수 있다.

이 촬상 장치(1)에서는 이 처리 대상에 관련된 화상 데이터가 촬상부인 이미지 센서(4), 카메라 신호 처리부(6)에 의해 취득된 화상 데이터이며, 또 이와 같이 해서 검출한 얼굴이 촬영된 영역을 기준으로 해서, 조리개 제어, 포커스 제어 및 화이트 밸런스 조정의 처리가 실행되며, 이것에 의해 이와 같이 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수 있다. 따라서 유저가 원하는 피사체에 대해서 정확하게 조리개 제어, 포커스 제어 및 화이트 밸런스 조정의 처리를 실행하면서, 연속한 프레임에 관련된 각 화상을 단시간 내에 처리해서 확실하게 이와 같은 처리를 실행할 수가 있다.

또, 기록 매체(12)에 의해 얻어지는 화상 데이터, 데이터 통신부에서 얻어지는 화상 데이터를 처리 대상으로 해서 마찬가지로 화상 표시부(9)에서 표시하고, 또 여러 가지로 보정하는 것에 의해, 이들 화상 데이터를 확실하게 처리할 수가 있다.

또, 촬영 모드 및 과거의 검출 결과에 의해, 축소 화상을 처리하는 순서가 전환되고, 이것에 의해서도 불필요한 처리를 저감해서 단시간 내에 소정의 피사체 를 촬영한 영역을 검출할 수가 있다.

구체적으로, 근경에 인물이 존재한다고 생각되는 경우, 크게 촬영된 얼굴부터 검출하도록, 순차 단계적으로, 이들 해상도가 다른 축소 화상을 처리하는 것에 의해, 단시간 내에, 원하는 피사체인 얼굴이 촬영된 영역을 검출할 수가 있다. 또, 이것과는 거꾸로, 인물의 집합 사진 등을 촬영하고 있는 경우라고 생각되는 경우 등에는, 작게 촬영된 얼굴부터 검출하도록, 순차 단계적으로, 이들 해상도가 다른 축소 화상을 처리하는 것에 의해, 단시간 내에, 원하는 피사체인 얼굴이 촬영된 영역을 검출할 수가 있다.

또, 이와 같이 해서 순차 축소 화상을 처리하도록 하여, 촬영 모드 및 과거의 검출 결과에 의해 도중에서 처리를 중지하여, 나아가서는 처리의 개시를 변경해서, 처리에 이용될 축소 화상을 전환하는 것에 의해서도, 불필요한 축소 화상의 처리를 생략 할 수 있다. 따라서 단시간 내에 원하는 피사체인 얼굴이 촬영된 영역을 검출할 수가 있다.

따라서 이 촬상 장치(1)에서는 이와 같이 각 축소 화상에서 원하는 피사체인 얼굴이 촬영된 영역을 검출하도록 해서, 원화상에 대한 축소 화상의 크기에 따라서, 템플레이트의 크기를 원화상 위에서의 크기로 변환하고, 이 원화상 위에서 특정의 피사체가 촬영된 영역이 검출된다. 또, 이 원화상 위에서 검출되는 크기에 따라서 조리개 제어 등의 처리가 실행된다.

이와 같은 처리에서 이 촬상 장치(1)에서는, 검출 순서에 따라서 우선 순위가 설정되어 얼굴 검출의 검출 결과가 처리되며, 이것에 의해 간이한 처리에 의해 포커스 제어 등의 처리를 확실하게 실행할 수가 있다.

(3) 실시예 1의 효과

이상의 구성에 따르면, 해상도가 순차 단계적으로 변화하는 순서에 따라서, 축소 화상을 순차 템플레이트 매칭해서 특정의 피사체가 촬영된 영역을 검출하는 것에 의해, 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수 있다.

또, 이 처리 대상의 화상을 취득하는 화상 취득부가 촬상부인 것에 의해, 촬상 장치에 적용해서 포커스 제어, 조리개 제어, 화이트 밸런스 조정 등에 검출 결과를 유효하게 이용해서 사용상 편리성(usefulness)을 향상할 수 있다.

또, 이 화상 취득부가 기록 매체에 관련된 화상 취득부인 것에 의해, 또는 외부 기기와의 사이의 데이터 통신에 관련된 구성인 것에 의해, 기록 매체에 기록한 촬상 결과의 모니터 등에서, 검출 결과를 유효하게 이용해서 사용상 편리성을 향상할 수 있다.

이 때, 이 해상도가 순차 증대하는 순서에 따라서, 또는 해상도가 순차 저감하는 순서에 따라서, 축소 화상을 처리하는 것에 의해, 각각 근경, 원경에 의해 원하는 피사체를 촬영하고 있는 경우에, 이 원하는 피사체가 촬영된 영역을 짧은 시간에 의해 검출할 수 있다.

또, 이와 같이 각 축소 화상에서 원하는 피사체인 얼굴이 촬영된 영역을 검출하도록 해서, 원래의 원화상에 대한 축소 화상의 크기에 의해, 템플레이트의 크기를 원화상 위에서의 크기로 변환하고, 이 원화상 위에서 특정의 피사체가 촬영된 영역을 검출한다. 따라서, 이 원화상 위에서 검출되는 특정의 피사체가 촬영된 영역에 의해 여러 가지 제어 및 처리를 실행할 수 있다.

또, 이와 같이 해서 순차 단계적으로 해상도를 설정한 축소 화상에 의해 특정의 피사체가 촬영된 영역을 검출하도록 해서, 검출 순서에 따라서, 특정의 피사체가 촬영된 영역의 우선 순위를 설정된다. 따라서 간이하고 높은 정밀도로 우선 순위를 설정해서, 이 우선 순위에 따라서 여러 가지로 제어 및 처리를 실행할 수 있다.

또, 과거의 검출 결과에 의거해서, 또 촬영 모드에 따라서, 이 복수의 축소 화상의 처리 순서를 전환하는 것에 의해, 처리를 개시해서 단시간 내에 특정의 피사체가 촬영된 영역을 검출할 수 있다.

또, 과거의 검출 결과에 의거해서, 또 촬영 모드에 따라서, 처리에 이용되는 축소 화상을 전환하는 것에 의해, 불필요한 축소 화상의 처리를 생략해서, 처리에 요하는 시간을 한층더 짧게 할 수 있다.

본 발명의 실시예 2를 이하에 기재한다.

도 8은, 도 4 및 도 6의 대비에 의해, 본 발명의 실시예 2의 촬상 장치에 관련된 처리의 설명에 이용되는 개략도이다. 실시예 2에서는, 배율을 순차 단계적으로 전환한 원화상의 해상도 변환 처리 대신에, 또는 배율을 일정하게 보존유지한 축소 화상의 순차 단계적인 해상도 변환 처리 대신에, 중간 처리에 관련된 기준의 축소 화상(G4)을 생성하고, 이 축소 화상(G4)보다 해상도가 낮은 축소 화상(G5∼G7)에 대해서는, 이 기준의 축소 화상(G4)의 해상도를 변환해서 생성한다. 또, 이 축소 화상(G4)보다 해상도가 큰 축소 화상(G1∼G3)에 대해서는, 원화상(G0)의 해상도를 변환해서 생성한다.

실시예 2에 따르면, 중간 처리에 관련된 기준의 축소 화상을 생성하고, 이 기준의 축소 화상과 원래의 원화상에 의해 축소 화상을 생성하는 것에 의해, 이들 축소 화상을 기록해서 보존유지하는 메모리의 액세스 효율을 향상하며, 나아가서는 메모리의 어드레스 제어를 간략화할 수 있다.

본 발명의 실시예 3을 이하에 기재한다.

도 9는, 본 발명의 실시예 3에 따른 기록 재생 장치를 도시하는 블록도이다. 이 기록 재생 장치(21)는, 예를 들면 DVD 레코더(Digital Versatile Disk)이며, 도시하지 않는 튜너 등에 의해 얻어지는 영상 컨텐츠를 화상 처리부(22)에 의해 처리한 후, 광 디스크에 의한 기록 매체(12)에 기록한다. 이 기록 재생 장치(21)에서, 실시예 1에 대해서 상술한 촬상 장치(1)에 사용되는 동일한 구성은 대응하는 부호를 붙여서 나타내고, 중복되는 설명은 생략한다.

중앙처리유닛(23)은 메모리(14)에 기록된 처리 프로그램의 실행에 의해, 각 부의 동작을 제어해서 이 기록 재생 장치(21)의 동작을 제어한다. 이 일련의 제어에서, 유저에 의해 특정의 피사체의 검출이 지시되면, 얼굴 검출부(8)에 의해 이 특정의 피사체의 촬영된 영역을 검출하고, 이 검출 결과를 화상 표시부(9)에서 표시한다. 또한, 이와 같은 특정의 피사체에 있어서는, 예를 들면 유저가 선호하는 배우 등이다.

이 실시예의 같이, 기록 재생 장치에 적용해서 여러 가지 영상 컨텐츠를 처 리하는 경우에 적용하도록 해도, 실시예 1과 마찬가지 효과를 얻을 수가 있다.

본 발명의 실시예 4는 이하에 기재한다.

또한, 상술한 실시예 1에서는, 가장 우선 순위가 높은 얼굴이 촬영된 영역에서 휘도 레벨이 소정값으로 되도록, 조리개 제어하는 경우, 나아가서는 다른 얼굴이 촬영된 영역과의 사이의 가중 가산에 의한 최종적인 제어량에 의해 조리개 제어의 처리를 실행하는 경우에 대해서 기술했다. 그러나, 본 발명은 이것에 한정되지 않으며, 조리개와 촬상장치의 전하 축적 시간과의 제어에 의해, 휘도 레벨이 소정값으로 되도록 제어하며, 이것에 의해 아울러(동시에) 피사계 심도(depth of field)를 제어하도록 해도 좋다. 이와 같이 하면, 피사체의 거리가 여러 가지로 다른 경우에서도, 이들 다른 거리의 범위에서는 촛점이탈(defocusing)하지 않도록, 피사계 심도를 설정해서 한층더 사용상 편리성을 향상할 수 있다.

또, 상술한 실시예 1 내지 4에서는, 얼굴이 촬영된 영역을 검출하는 경우에 대해서 기술했지만, 본 발명은 이것에 한정되지 않고, 여러 가지 템플레이트를 적용해서, 예를 들면 자신의 아이(child)가 촬영된 영역을 검출하는 경우 등, 여러 가지 피사체가 촬영된 영역을 검출하는 경우에 널리 적용할 수 있다.

또, 상술한 실시예 1 내지 4에서는 본 발명을 촬상 장치 및 광 디스크에 의한 기록 재생 장치에 적용하는 경우에 대해서 기술했지만, 본 발명은 이것에 한정되지 않고, 여러 가지 기록 매체에 의한 기록 재생 장치와 프린터 등의 화상 처리 장치에 널리 적용할 수 있다. 나아가서는 본 발명은 컴퓨터에서의 화상 처리 소프트 등에 널리 적용할 수 있다.

[산업상의 이용 가능성]

본 발명은 화상 처리장치, 화상 처리방법, 화상 처리방법의 프로그램 및 화상 처리방법의 프로그램을 기록한 기록매체에 관한 것으로서, 예를 들면 디지털 스틸 카메라에 적용할 수가 있다.

본 발명에 따르면, 특정의 피사체가 촬영된 영역을 고속도로 검출해서 적절히 우선 순위를 설정할 수가 있다.

Claims

화상 처리장치에 있어서,

원화상(original image)을 취득하는 화상 취득부와,

상기 화상 취득부에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환부와,

상기 해상도 변환부에서 생성되는 상기 복수의 축소 화상을 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출부와,

상기 검출부에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과 처리부를 포함하고,

상기 검출부는 해상도가 순차 단계적으로 변화하는 순서에 의해 상기 복수의 축소 화상을 처리해서 상기 특정의 영역이 촬영된 영역을 검출하는

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 화상 취득부가 촬상 결과에 의한 상기 원화상에 관련된 화상 데이터를 취득하는 촬상부이며,

상기 화상 처리장치는 상기 촬상부에서 취득한 화상 데이터를 기록하는 기록 매체를 가지는

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 화상 취득부가 기록 매체에 기록된 상기 원화상에 관련된 화상 데이터를 취득하는 기록 매체에 관련된 화상 취득부인

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 화상 취득부가 외부 기기와의 사이에서 데이터 통신하는 데이터 통신부인

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 해상도 변환부에서 생성되는 상기 복수의 축소 화상을 기록해서 보존유지하는 기억부를 가지고,

상기 검출부는 상기 기억부에 기록된 상기 복수의 축소 화상을 순차 처리하는 것에 의해, 상기 해상도 변환부에서 생성되는 상기 복수의 축소 화상을 처리하는

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 검출부의 처리에 관련된 상기 해상도가 순차 단계적으로 변화하는 순서가 해상도가 순차 증대하는 순서인

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 검출부의 처리에 관련된, 상기 해상도가 순차 단계적으로 변화하는 순서가 해상도가 순차 저감하는 순서인

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 검출결과 처리부는 상기 원화상에 대한 축소 화상의 크기에 따라서, 상기 템플레이트의 크기를 상기 원화상 위에서의 크기로 변환하는

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 검출결과 처리부는 상기 검출부에서 검출되는 검출 순서에 따라서, 상기 원화상 위에서, 상기 특정의 피사체가 촬영된 영역의 우선 순위를 설정하는

것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

각 부의 동작을 제어하는 제어부를 포함하며,

상기 제어부는 과거의 상기 검출부에서의 검출 결과에 의거해서, 상기 검출부의 처리에 관련된 상기 복수의 축소 화상의 처리 순서를 전환하는

것을 특징으로 하는 화상 처리장치.
제2항에 있어서,

상기 각 부의 동작을 제어하는 제어부를 포함하고,

상기 제어부는 상기 촬상부에서의 촬영 모드에 따라서, 상기 검출부의 처리에 관련된 상기 복수의 축소 화상의 처리의 순서를 전환하는 것을 특징으로 하는 화상 처리장치.
제1항에 있어서,

상기 각 부의 동작을 제어하는 제어부를 포함하고,

상기 제어부는 과거의 상기 검출부에서의 검출 결과에 의거해서, 상기 검출부에서 처리에 제공하는 상기 축소 화상을 전환하는

것을 특징으로 하는 화상 처리장치.
제2항에 있어서,

상기 각 부의 동작을 제어하는 제어부를 가지고,

상기 제어부는 상기 촬상부에서 설정된 촬영 모드에 따라서, 상기 검출부에서 처리에 제공하는 상기 축소 화상을 전환하는

것을 특징으로 하는 화상 처리장치.
화상 처리방법에 있어서,

원화상을 취득하는 화상 취득 단계와,

상기 화상 취득단계에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환 단계와,

상기 해상도 변환의 단계에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출의 단계와,

상기 검출 단계에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서, 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과의 처리 단계를 포함하며,

상기 검출의 단계는 해상도가 순차 단계적으로 변화하는 순서에 따라서 상기 복수의 축소 화상을 처리해서, 상기 특정 피사체의 촬영된 영역을 검출하는

것을 특징으로 하는 화상 처리방법.
연산 처리 수단에 의한 실행에 의해 화상을 처리하는 화상 처리방법의 프로그램에 있어서,

원화상을 취득하는 화상 취득 단계와,

상기 화상 취득단계에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환 단계와,

상기 해상도 변환 단계에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해서, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출의 단계와,

상기 검출 단계에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서, 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과의 처리 단계를 포함하며,

상기 검출의 단계는 해상도가 순차 단계적으로 변화하는 순서에 따라서, 상기 복수의 축소 화상을 처리하여, 상기 특정의 영역이 촬영된 영역을 검출하는

것을 특징으로 하는 화상 처리방법의 프로그램.
연산 처리 수단에 의한 실행에 의해 화상을 처리하는 화상 처리방법의 프로그램을 기록한 기록 매체에 있어서,

원화상을 취득하는 화상 취득 단계와,

상기 화상 취득 단계에서 취득한 상기 원화상의 해상도를 변환해서, 해상도가 다른 복수의 축소 화상을 생성하는 해상도 변환의 단계와,

상기 해상도 변환 단계에서 생성되는 상기 복수의 축소 화상을, 템플레이트를 이용한 템플레이트 매칭에 의해 처리해, 상기 축소 화상으로부터, 상기 템플레이트에 대응하는 특정의 피사체가 촬영된 영역을 검출하는 검출단계와

상기 검출 단계에 의한 검출 결과의 처리에 의해, 상기 원화상 위에서, 상기 특정의 피사체가 촬영된 영역을 검출하는 검출 결과의 처리 단계를 포함하며,

상기 검출의 단계는 해상도가 순차 단계적으로 변화하는 순서에 따라서, 상기 복수의 축소 화상을 처리해서, 상기 특정의 영역이 촬영된 영역을 검출하는

것을 특징으로 하는 화상 처리방법의 프로그램을 기록한 기록 매체.