KR20130008441A - 화상 처리 장치 및 방법, 및 프로그램 - Google Patents

Abstract

본 발명은, 피사체를 원하는 촬영 범위에서 보다 간단히 촬상할 수 있는 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다. 사이즈비 산출부(553)는, 촬상된 촬상 화상에 있어서, 주목하는 피사체의 영역인 주목 영역과, 주목 영역에 포함되는 피사체의 부분의 영역인 부분 영역의 사이즈비를 산출하고, 렌즈 구동 제어부(556)는, 유저에 의한 줌 조작에 따라, 사이즈비 산출부(553)에 의해 산출된 사이즈비가 소정값과 동일하게 또는 대략 동일하게 되도록, 촬상 화상의 줌 배율을 제어한다. 본 발명은, 촬상 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 프로그램{IMAGE-PROCESSING APPARATUS AND METHOD, AND PROGRAM}

본 발명은, 화상 처리 장치 및 방법, 및 프로그램에 관한 것으로, 특히, 피사체를 원하는 촬상 범위에서 촬상하도록 하는 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다.

최근, 디지털 카메라 등의 촬상 장치에 있어서, 인물이나 얼굴과 같은 피사체를 검출기에 의해 검출한 후에, 오토 포커스(AF)나 자동 노출(AE) 등의 기능을 이용하여, 보다 적절히 피사체를 촬상하는 것이 이루어져 있다.

그런데, 줌 조작에 의한 촬상 범위(화각)의 조정을 행하는 촬상 장치로서, 피사체를 추적하여, 그 피사체가, 촬상 범위의 가장자리의 영역에 들어가면 줌 아우트하고, 촬상 범위의 중앙의 영역에 들어가면 줌인하도록 한 것이 있다(특허 문헌 1 참조).

특허 문헌1: 일본 특허 공개 2009-33450호 공보

그러나, 상술한 촬상 장치에서는, 원하는 촬상 범위로 되도록, 줌 조작에 의한 촬상 범위의 조정을, 보다 간단한 조작으로 행할 수는 없었다.

예를 들면, 촬상 시에, 피사체와의 거리가 변화하는 경우, 촬상 범위에 있어서의 피사체의 크기를 일정하게 유지하기 위해서는, 그 거리에 따라 미묘한 줌 조작을 행할 필요가 있다. 또한, 피사체와의 거리가 일정해도, 촬상 범위에 있어서의 피사체의 크기를, 원하는 크기로 하기 위해서는, 역시 미묘한 줌 조작을 행할 필요가 있다.

특히, 최근, 촬상 장치의 소형화에 수반하여, 줌 조작을 행하기 위한 버튼이나 레버도 소형화되고, 이에 의해, 줌 조작에 의한 촬상 범위의 조정이 보다 어렵게 되었다.

본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 특히, 피사체를 원하는 촬상 범위에서 보다 간단히 촬상하도록 하는 것이다.

본 발명의 제1 측면의 화상 처리 장치는, 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 수단과, 유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비한다.

상기 화상 처리 장치에는, 상기 소정값을 미리 기억하는 기억 수단과, 상기 산출 수단에 의해 산출된 상기 비가, 상기 기억 수단에 의해 기억되어 있는 상기 소정값과 동일한지 또는 대략 동일한지의 여부를 프레임마다 판정하는 판정 수단을 더 설치하고, 상기 배율 제어 수단에는, 상기 판정 수단에 의해, 상기 비가 상기 소정값과 동일하다고 또는 대략 동일하다고 판정될 때까지, 상기 줌 배율을 제어시킬 수 있다.

상기 산출 수단에는, 사각형 영역으로서의 상기 주목 영역 및 상기 부분 영역의 높이의 비를 산출시킬 수 있다.

상기 산출 수단에는, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체로서의 인물의 영역인 인물 영역과, 상기 인물 영역에 포함되는 상기 인물의 얼굴의 영역인 얼굴 영역의 비를 산출시킬 수 있다.

상기 배율 제어 수단에는, 상기 유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 상기 소정값과 동일하게 또는 대략 동일하게 되도록, 줌렌즈의 구동을 제어시킬 수 있다.

상기 배율 제어 수단에는, 상기 유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 상기 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 전자적인 확대를 제어시킬 수 있다.

상기 화상 처리 장치에는, 상기 촬상 화상에 있어서, 상기 주목 영역의 사이즈와, 미리 설정된 목표 사이즈를 비교하는 비교 수단을 더 설치하고, 상기 배율 제어 수단에는, 상기 유저에 의해 줌 조작이 되어 있지 않은 경우, 상기 비교 수단에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어시킬 수 있다.

상기 배율 제어 수단에는, 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 상기 소정의 임계값보다 작아지도록 상기 촬상 화상의 줌 배율을 제어하고 있는 동안에, 상기 유저에 의해 줌 조작이 되었을 때, 상기 줌 조작에 따라 상기 촬상 화상의 줌 배율을 제어시키고, 상기 화상 처리 장치에는, 상기 유저에 의해 줌 조작이 된 후의 상기 주목 영역의 사이즈를, 상기 목표 사이즈로 설정하는 설정 수단을 더 설치할 수 있다.

상기 화상 처리 장치에는, 상기 촬상 화상에 있어서의 상기 주목 영역의 위치를 검출하는 검출 수단을 더 설치하고, 상기 배율 제어 수단에는, 상기 검출 수단에 의해, 상기 주목 영역의 위치가, 상기 촬상 화상의 바깥 가장자리 영역에 있는 것이 검출된 경우, 광각 측으로 상기 촬상 화상의 줌 배율을 제어시킬 수 있다.

상기 화상 처리 장치에는, 상기 배율 제어 수단의 제어에 의해, 상기 촬상 화상의 줌 배율이 광각단이 된 경우, 상기 피사체가, 상기 촬상 화상으로부터 벗어난다는 취지를 제시하는 제시 수단을 더 설치할 수 있다.

본 발명의 제1 측면의 화상 처리 방법은, 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 수단과, 유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비하는 화상 처리 장치의 화상 처리 방법으로서, 상기 산출 수단이, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 스텝과, 상기 배율 제어 수단이, 유저에 의한 줌 조작에 따라, 상기 산출 스텝의 처리에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 스텝을 포함한다.

본 발명의 제1 측면의 프로그램은, 피사체를 촬상하는 촬상 수단을 구비하는 화상 처리 장치의 화상 처리를 컴퓨터에 실행시키는 프로그램으로서, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 스텝과, 유저에 의한 줌 조작에 따라, 상기 산출 스텝의 처리에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 스텝을 포함하는 처리를 컴퓨터에 실행시킨다.

본 발명의 제1 측면에서는, 피사체가 촬상되고, 촬상된 촬상 화상에 있어서, 주목하는 피사체의 영역인 주목 영역과, 주목 영역에 포함되는 피사체의 부분의 영역인 부분 영역의 비가 산출되고, 유저에 의한 줌 조작에 따라, 산출된 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 촬상 화상의 줌 배율이 제어된다.

본 발명의 제2 측면의 화상 처리 장치는, 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역을 소정의 화상 처리에 의해 검출하는 검출 수단과, 상기 검출 수단에 의해 검출된 상기 주목 영역의 사이즈와, 미리 설정된 목표 사이즈를 비교하는 비교 수단과, 상기 비교 수단에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비한다.

본 발명의 제2 측면의 화상 처리 방법은, 피사체를 촬상하는 촬상 수단과, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역을 소정의 화상 처리에 의해 검출하는 검출 수단과, 상기 검출 수단에 의해 검출된 상기 주목 영역의 사이즈와, 미리 설정된 목표 사이즈를 비교하는 비교 수단과, 상기 비교 수단에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비하는 화상 처리 장치의 화상 처리 방법으로서, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역을 소정의 화상 처리에 의해 검출하는 검출 스텝과, 상기 검출 스텝의 처리에 의해 검출된 상기 주목 영역의 사이즈와, 미리 설정된 목표 사이즈를 비교하는 비교 스텝과, 상기 비교 스텝의 처리에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 스텝을 포함한다.

본 발명의 제2 측면에서는, 피사체가 촬상되고, 촬상된 촬상 화상에 있어서, 주목하는 피사체의 영역인 주목 영역이, 소정의 화상 처리에 의해 검출되고, 검출된 주목 영역의 사이즈와, 미리 설정된 목표 사이즈가 비교되고, 비교된 주목 영역의 사이즈와 목표 사이즈 차가, 소정의 임계값보다 작아지도록, 촬상 화상의 줌 배율이 제어된다.

본 발명의 제1 및 제2 측면에 따르면, 피사체를 원하는 촬상 범위에서 보다 간단히 촬상하는 것이 가능하게 된다.

도 1은 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성예를 도시하는 블록도.
도 2는 피사체 추적부의 구성예를 도시하는 블록도.
도 3은 피사체 맵 생성부의 구성예를 도시하는 블록도.
도 4는 피사체 후보 영역 사각형화부의 구성예를 도시하는 블록도.
도 5는 피사체 영역 선택부의 구성예를 도시하는 블록도.
도 6은 피사체 추적 처리에 대해서 설명하는 플로우차트.
도 7은 피사체 맵 생성 처리에 대해서 설명하는 플로우차트.
도 8은 피사체 맵 생성 처리의 구체예를 도시하는 도면.
도 9는 피사체 후보 영역 사각형화 처리에 대해서 설명하는 플로우차트.
도 10은 피사체 후보 영역 사각형화 처리의 구체예를 도시하는 도면.
도 11은 피사체 영역 선택 처리에 대해서 설명하는 플로우차트.
도 12는 대역 특징량 맵의 피사체 영역 특징량의 합에 대해서 설명하는 도면.
도 13은 가중 계수에 대해서 설명하는 도면.
도 14는 촬상 범위 조정 처리에 대해서 설명하는 플로우차트.
도 15는 제어부의 기능 구성예를 도시하는 블록도.
도 16은 자동 줌 조정 처리에 대해서 설명하는 플로우차트.
도 17은 자동 줌 조정 처리에 대해서 설명하는 플로우차트.
도 18은 피사체가 촬상되는 촬상 범위에 대해서 설명하는 도면.
도 19는 피사체가 촬상되는 촬상 범위에 대해서 설명하는 도면.
도 20은 피사체가 촬상되는 촬상 범위에 대해서 설명하는 도면.
도 21은 피사체가 촬상되는 촬상 범위에 대해서 설명하는 도면.
도 22는 화상 처리 장치의 다른 구성예를 도시하는 블록도.
도 23은 도 22의 제어부의 기능 구성예를 도시하는 블록도.
도 24는 얼굴 검출 처리에 대해서 설명하는 플로우차트.
도 25는 지정 줌 처리에 대해서 설명하는 플로우차트.
도 26은 지정 줌 처리에 대해서 설명하는 플로우차트.
도 27은 이상 사이즈비에 대해서 설명하는 도면.
도 28은 화상 처리 장치의 또 다른 구성예를 도시하는 블록도.
도 29는 도 28의 제어부의 기능 구성예를 도시하는 블록도.
도 30은 자동 줌 조정 처리에 대해서 설명하는 플로우차트.
도 31은 자동 줌 조정 처리에 대해서 설명하는 플로우차트.
도 32는 지정 줌 처리에 대해서 설명하는 플로우차트.
도 33은 지정 줌 처리에 대해서 설명하는 플로우차트.
도 34는 화상 처리 장치의 또 다른 구성예를 도시하는 블록도.
도 35는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도.

이하, 본 발명의 실시 형태에 대해서 도면을 참조하여 설명한다.

[화상 처리 장치의 구성예]

도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성 예를 도시하는 도면이다.

화상 처리 장치(11)는, 예를 들면, 움직임이 있는 피사체를 촬상하는 디지털 비디오 카메라나, 디지털 스틸 카메라 등의 촬상 장치에 구비된다.

화상 처리 장치(11)는, 광학계(31), 이미저(32), 디지털 신호 처리부(33), 표시부(34), 제어부(35), 렌즈 구동부(36), 인터페이스 제어부(37), 및 유저 인터페이스(38)로 구성된다.

광학계(31)는, 도시하지 않는 줌렌즈 및 포커스 렌즈를 포함하는 광학계로서 구성된다. 광학계(31)에 입사한 광은, CCD(Charge Coupled Device) 등의 촬상 소자로 구성되는 이미저(32)에 의해 광전 변환된다. 이미저(32)에 의해 광전 변환된 전기 신호(아날로그 신호)는, 도시하지 않는 A/D(Analog to Digital) 변환부에 의해 디지털 신호의 화상 데이터로 변환되어, 디지털 신호 처리부(33)에 공급된다.

디지털 신호 처리부(33)는, 이미저(32)로부터의 디지털 신호(화상 데이터)에 대하여, 소정의 신호 처리를 실시한다. 디지털 신호 처리부(33)는, 전처리부(51), 디모자이크 처리부(52), YC 생성부(53), 해상도 변환부(54), 피사체 추적부(55), 및 CODEC(56)를 구비하고 있다.

전처리부(51)는, 전처리로서, 이미저(32)로부터의 화상 데이터에 대하여, R, G, B의 흑 레벨을 소정의 레벨로 클램프하는 클램프 처리나, R, G, B의 색 채널간의 보정 처리 등을 실시한다. 디모자이크 처리부(52)는, 전처리부(51)에 의해 전처리된 화상 데이터에 대하여, 화상 데이터의 각 화소가 R, G, B 모든 색 성분을 갖도록, 화소의 색 성분을 보완하는 디모자이크 처리를 실시한다.

YC 생성부(53)는, 디모자이크 처리부(52)에 의해 디모자이크 처리된, R, G, B의 화상 데이터로부터, 휘도(Y) 신호 및 색(C) 신호를 생성(분리)한다. 해상도 변환부(54)는, YC 생성부(53)에서 처리된 화상 데이터에 대하여, 해상도 변환 처리를 실행한다.

피사체 추적부(55)는, YC 생성부(53)에 의해 생성된 휘도 신호 및 색 신호로 이루어지는 화상 데이터에 기초하여, 화상 데이터에 대응하는 입력 화상(촬상 화상)에 있어서의 피사체를 검출하고, 추적하는 피사체 추적 처리를 실행한다.

여기서, 피사체의 검출은, 유저가 입력 화상을 일별(一瞥)한 경우에, 유저가 주목한다고 추정되는 입력 화상 상의 물체, 즉 유저가 눈을 돌린다고 추정되는 물체가 피사체인 것으로 해서 행하여진다. 따라서, 피사체는 반드시 인물에 한정되는 것은 아니다.

피사체 추적부(55)는, 피사체 추적 처리의 결과 얻어진, 입력 화상에 있어서의 피사체가 포함되는 영역을 나타내는 피사체틀에 관한 데이터를 제어부(35)에 공급한다. 또한, 피사체 추적부(55)의 상세에 대해서는, 도 2를 참조해서 후술한다.

CODEC(56)는, YC 생성부(53) 또는 해상도 변환부(54)에서 생성된 화상 데이터를 필요에 따라 부호화하고, 도시하지 않는 메모리에 기록시키거나, 부호화된 화상 데이터를 복호하거나 한다. CODEC(56)에서 복호된 화상 데이터, 또는 해상도 변환부(54)에서 얻어진 화상 데이터는, 표시부(34)에 공급되어 표시된다. 표시부(34)는, 예를 들면 액정 디스플레이 등으로 이루어지고, 제어부(35)의 제어에 따라 디지털 신호 처리부(33)로부터 공급된 화상 데이터에 대응하는 입력 화상(이하, 적절히 촬상 화상이라고도 함)을 표시한다.

제어부(35)는, 인터페이스 제어부(37)로부터 공급되는 제어 신호에 따라, 화상 처리 장치(11)의 각 부를 제어한다.

예를 들면, 제어부(35)는, 디지털 신호 처리부(33)에, 각종 신호 처리에 이용되는 파라미터 등을 공급함과 함께, 디지털 신호 처리부(33)로부터의, 각종 신호 처리의 결과 얻어진 데이터를 취득하여, 인터페이스 제어부(37)에 공급한다.

또한, 제어부(35)는, 광학계(31)를 구성하는 줌렌즈 및 포커스 렌즈를 구동시키거나, 조리개 등을 조절시키거나 하기 위한 제어 신호를 렌즈 구동부(36)에 공급한다. 또한 제어부(35)는, 이미저(32)에 의한 입력 화상의 촬상도 제어한다.

유저 인터페이스(38)는, 유저가 화상 처리 장치(11)에 대한 지시를 입력할 때에 조작되는 버튼이나 레버, 스위치, 마이크로폰 등의 입력 장치, 유저에 대하여 정보를 제시하는 램프나 스피커 등의 출력 장치 등으로 구성된다.

예를 들면, 유저 인터페이스(38)는, 유저 인터페이스(38)로서의 버튼이 조작되면, 그 조작에 따른 제어 신호를, 인터페이스 제어부(37)를 개재해서 제어부(35)에 공급한다.

[피사체 추적부의 구성예]

다음으로, 도 2를 참조하여, 도 1의 피사체 추적부(55)의 구성예에 대해서 설명한다.

도 2의 피사체 추적부(55)는, 피사체 맵 생성부(71), 피사체 후보 영역 사각형화부(72), 피사체 영역 선택부(73), 및 가중 계수 산출부(74)로 구성된다.

피사체 맵 생성부(71)는, 입력 화상이 갖는 휘도나 색 등의 특징마다, 입력 화상의 소정 프레임의 소정 영역에 있어서의 특징량을 나타내는 특징량 맵을 생성하고, 가중 계수 산출부(74)에 공급한다. 또한, 피사체 맵 생성부(71)는, 생성한 특징량 맵과, 가중 계수 산출부(74)로부터 공급되는 특징량마다의 가중 계수에 기초하여, 입력 화상에 있어서의 피사체의 영역다움을 나타내는 피사체 맵을 생성한다.

보다 구체적으로는, 피사체 맵 생성부(71)는, 특징마다의 특징량 맵의 각 영역의 정보(특징량)를, 동일한 위치에 있는 영역마다 가중치 부여 가산해서 피사체 맵을 생성한다. 피사체 맵 생성부(71)는, 생성한 피사체 맵을 피사체 후보 영역 사각형화부(72)에 공급한다.

또한, 각 특징량 맵에 있어서, 보다 정보량이 많은 영역, 즉 특징량이 많은 영역에 대응하는 입력 화상 상의 영역은, 피사체가 포함될 가능성이 보다 높은 영역이 되고, 따라서, 각 특징량 맵에 의해 입력 화상에 있어서의 피사체가 포함되는 영역을 특정할 수 있다.

피사체 후보 영역 사각형화부(72)는, 피사체 맵 생성부(71)로부터의 피사체 맵에 있어서, 피사체의 후보가 되는 영역, 즉, 피사체 맵에 있어서의 정보량이 많은 영역을 포함하는 사각형 영역을 구하고, 그 사각형 영역의 좌표를 나타내는 좌표 정보를, 피사체 영역 선택부(73)에 공급한다. 또한, 피사체 후보 영역 사각형화부(72)는, 피사체 맵 상에서 좌표 정보에 의해 나타내지는 사각형 영역에 관한 정보(이하, 영역 정보라고 함)를 산출하고, 좌표 정보에 대응지어 피사체 영역 선택부(73)에 공급한다.

피사체 영역 선택부(73)는, 추적 대상이 되는 주목해야 할 피사체가 포함되는 사각형 영역인 피사체 영역을, 피사체 후보 영역 사각형화부(72)로부터의 영역 정보에 기초해서 사각형 영역 중으로부터 선택하고, 그 피사체 영역의 좌표 정보를 제어부(35)(도 1) 및 가중 계수 산출부(74)에 공급한다.

가중 계수 산출부(74)는, 피사체 맵 생성부(71)로부터의 소정 프레임의 각 특징량 맵 상의, 피사체 영역에 대응하는 영역에 있어서의 특징량 중, 상대적으로 큰 특징량에 대응하는 다음 프레임의 특징량 맵을 가중치 부여하는 가중 계수를 산출하여, 피사체 맵 생성부(71)에 공급한다.

이러한 구성에 의해, 피사체 추적부(55)는, 입력 화상의 프레임마다, 피사체 영역을 나타내는 피사체틀을 구할 수 있다.

[피사체 맵 생성부의 구성예]

다음으로, 도 3을 참조하여, 도 2의 피사체 맵 생성부(71)의 구성예에 대해서 설명한다.

도 3의 피사체 맵 생성부(71)는, 특징량 맵 생성부(111), 대역 특징량 맵 생성부(112), 대역 특징량 맵 합성부(113), 및 합성 특징량 맵 합성부(114)로 구성된다.

특징량 맵 생성부(111)는, 입력 화상의 소정 프레임으로부터, 휘도나 색과 같은 특징에 관한 정보(특징량)를 나타내는 특징량 맵을 특징량마다 생성하여, 대역 특징량 맵 생성부(112)에 공급한다.

대역 특징량 맵 생성부(112)는, 특징량 맵 생성부(111)로부터의 각 특징량 맵에 있어서의 특징량으로부터, 소정의 대역 성분의 특징량을 소정의 횟수만큼 추출하고, 추출한 각각의 특징량을 나타내는 대역 특징량 맵을 생성하여, 가중 계수 산출부(74) 및 대역 특징량 맵 합성부(113)에 공급한다.

대역 특징량 맵 합성부(113)는, 대역 특징량 맵 생성부(112)로부터의 대역 특징량 맵을, 가중 계수 산출부(74)로부터의 가중 계수에 기초해서 특징량마다 합성함으로써, 합성 특징량 맵을 생성하여, 가중 계수 산출부(74) 및 합성 특징량 맵 합성부(114)에 공급한다.

합성 특징량 맵 합성부(114)는, 대역 특징량 맵 합성부(113)로부터의 합성 특징량 맵을, 가중 계수 산출부(74)로부터의 가중 계수에 기초해서 합성함으로써, 피사체 맵을 생성하여, 피사체 후보 영역 사각형화부(72)(도 2)에 공급한다.

여기서, 이하에서는, 상술한 대역 특징량 맵 및 합성 특징량 맵을, 간단히 특징량 맵이라고도 한다.

[피사체 후보 영역 사각형화부의 구성예]

다음으로, 도 4를 참조하여, 도 2의 피사체 후보 영역 사각형화부(72)의 구성예에 대해서 설명한다.

도 4의 피사체 후보 영역 사각형화부(72)는, 2값화 처리부(131), 라벨링 처리부(132), 사각형 영역 좌표 산출부(133), 및 영역 정보 산출부(134)로 구성된다.

2값화 처리부(131)는, 피사체 맵 생성부(71)로부터 공급된 피사체 맵에 있어서의, 입력 화상의 각 화소에 대응하는 정보를, 소정의 임계값에 기초해서 0 또는 1 중 어느 하나의 값으로 2값화하여, 라벨링 처리부(132)에 공급한다. 여기서, 이하에서는, 피사체 맵에 있어서, 입력 화상의 각 화소에 대응하는 정보를, 간단히 화소라고도 한다.

라벨링 처리부(132)는, 2값화 처리부(131)로부터의, 2값화된 피사체 맵에 있어서, 1의 값인 화소가 인접하는 영역(이하, 연결 영역이라고 함)에 대하여 라벨링하여, 사각형 영역 좌표 산출부(133)에 공급한다.

사각형 영역 좌표 산출부(133)는, 라벨링 처리부(132)로부터의, 연결 영역이 라벨링된 피사체 맵에 있어서, 연결 영역을 포함하는(둘러싸는) 사각형 영역의 좌표를 산출하고, 그 좌표를 나타내는 좌표 정보를, 피사체 맵과 함께 영역 정보 산출부(134)에 공급한다.

영역 정보 산출부(134)는, 사각형 영역 좌표 산출부(133)로부터의 피사체 맵 상에서 좌표 정보에 의해 나타내는 사각형 영역에 관한 정보인 영역 정보를 산출하고, 좌표 정보에 대응지어 피사체 영역 선택부(73)(도 1)에 공급한다.

[피사체 영역 선택부의 구성예]

다음으로, 도 5를 참조하여, 피사체 영역 선택부(73)의 구성예에 대해서 설명한다.

도 5의 피사체 영역 선택부(73)는, 영역 정보 비교부(151) 및 피사체 영역 결정부(152)로 구성된다.

영역 정보 비교부(151)는, 피사체 후보 영역 사각형화부(72)로부터의 각 사각형 영역의 영역 정보와, 영역 정보 기억부(153)에 기억되어 있는 1프레임 전의 피사체 영역의 영역 정보를 비교하고, 비교 결과를 피사체 영역 결정부(252)에 공급한다.

피사체 영역 결정부(152)는, 영역 정보 비교부(151)로부터의 비교 결과에 기초하여, 1프레임 전의 피사체 영역의 영역 정보에 가장 가까운 영역 정보에 대응지어져 있는 좌표 정보로 표시되는 사각형 영역을 피사체 영역이라고 한다. 피사체 영역 결정부(152)는, 결정한 피사체 영역의 좌표 정보를 제어부(35)(도 1) 및 가중 계수 산출부(74)(도 2)에 공급함과 함께, 피사체 영역의 영역 정보를, 영역 정보 기억부(153)에 공급한다.

영역 정보 기억부(153)는, 피사체 영역 결정부(152)로부터의, 피사체 영역의 영역 정보를 기억한다. 영역 정보 기억부(153)에 기억된 피사체 영역의 영역 정보는, 1프레임 후에, 영역 정보 비교부(151)에 읽어 내어진다.

[피사체 추적 처리]

이하에서는, 화상 처리 장치(11)의 피사체 추적 처리에 대해서 설명한다.

도 6은, 화상 처리 장치(11)의 피사체 추적 처리에 대해서 설명하는 플로우차트이다. 피사체 추적 처리는, 예를 들면, 버튼으로서의 유저 인터페이스(38)가 유저에 의해 조작됨으로써, 화상 처리 장치(11)의 동작 모드가 피사체 추적 처리를 실행하는 피사체 추적 처리 모드로 천이하고, 표시부(34)에 표시되어 있는 입력 화상에 있어서, 추적 대상으로서의 피사체의 소정 영역이 유저에 의해 선택되었을 때에 개시된다.

스텝 S11에 있어서, 피사체 추적부(55)의 피사체 맵 생성부(71)는, 피사체 맵 생성 처리를 행하고, 피사체 맵을 생성하여, 피사체 후보 영역 사각형화부(72)에 공급한다.

[피사체 맵 생성 처리]

여기서, 도 7 및 도 8을 참조하여, 피사체 맵 생성 처리의 상세에 대해서 설명한다. 도 7은, 피사체 맵 생성 처리에 대해서 설명하는 플로우차트이며, 도 8은, 피사체 맵 생성 처리의 구체예를 도시하는 도면이다.

도 7의 플로우차트의 스텝 S31에 있어서, 피사체 맵 생성부(71)의 특징량 맵 생성부(111)는, 입력 화상의 소정 프레임으로부터, 휘도나 색 등의 특징(특징량마다)에 특징량 맵을 생성하여, 대역 특징량 맵 생성부(112)에 공급한다.

구체적으로는, 도 8에 도시되는 바와 같이, 입력 화상(200)으로부터, 휘도에 관한 정보를 나타내는 휘도 정보 맵 F₁, 색에 관한 정보를 나타내는 색 정보 맵 F₂ 내지 F_K, 엣지에 관한 정보를 나타내는 엣지 정보 맵 F_(K+1) 내지 F_M의, M종류의 특징량 맵이 생성된다.

휘도 정보 맵 F₁에서는, 입력 화상의 각 화소로부터 얻어지는 휘도 성분(휘도 신호) Y가, 입력 화상의 각 화소에 대응하는 정보로 되고, 색 정보 맵 F₂ 내지 F_K에 있어서는, 입력 화상의 각 화소로부터 얻어지는 색 성분(색 신호) R, G, B가, 입력 화상의 각 화소에 대응하는 정보가 된다. 또한, 엣지 정보 맵 F_(K+1) 내지 F_M에 있어서는, 예를 들면, 입력 화상의 각 화소에 있어서의 0도, 45도, 90도, 및 135도의 방향의 엣지 강도가, 입력 화상의 각 화소에 대응하는 정보가 된다.

또한, 상술한 특징량 맵에 대해서, 화소의 R, G, B의 각 성분의 값의 평균값을 휘도 정보 맵 F₁의 정보(특징량)로 해도 되고, 색차 성분 Cr, Cb나, Lab 색 공간에 있어서의 ａ* 좌표 성분 및 b* 좌표 성분을 색 정보 맵 F₂ 내지 F_K의 정보로 해도 된다. 또한, 0도, 45도, 90도, 및 135도 이외의 방향의 엣지 강도를 엣지 정보 맵 F_(K+1) 내지 F_M의 정보로 해도 된다.

스텝 S32에 있어서, 대역 특징량 맵 생성부(112)는, 각 특징량 맵에 있어서의 특징량으로부터, 소정의 대역 성분의 특징량을 N회 추출하고, 추출한 각각의 특징량을 나타내는 대역 특징량 맵을 생성하여, 가중 계수 산출부(74) 및 대역 특징량 맵 합성부(113)에 공급한다.

구체적으로는, 도 8에 도시되는 바와 같이, 휘도 정보 맵 F₁에 있어서의 휘도 정보로부터, 소정의 대역 1 내지 대역 N의 휘도 정보가 추출되고, 그 대역 각각의 휘도 정보를 나타내는 대역 휘도 정보 맵 R₁₁ 내지 R_1N이 생성된다. 또한, 색 정보 맵 F₂ 내지 F_K에 있어서의 색 정보로부터, 소정의 대역 1 내지 대역 N의 색 정보가 추출되고, 그 대역 각각의 색 정보를 나타내는 대역 색 정보 맵 R₂₁ 내지 R_2N, …, R_K1 내지 R_KN이 생성된다. 또한, 엣지 정보 맵 F_(K+1) 내지 F_M에 있어서의 엣지 정보로부터, 소정의 대역 1 내지 대역 N의 엣지 정보가 추출되고, 그 대역 각각의 엣지 정보를 나타내는 대역 엣지 정보 맵 R_(K+1)1 내지 R_(K+1)N, …, R_M1 내지 R_MN이 생성된다. 이와 같이, 대역 특징량 맵 생성부(112)는, (M×N)종류의 대역 특징량 맵을 생성한다.

여기서, 대역 특징량 맵 생성부(112)의 처리의 일례에 대해서 설명한다.

예를 들면, 대역 특징량 맵 생성부(112)는, 각 특징량 맵을 이용하여, 서로 해상도가 상이한 복수의 특징량 맵을 생성하고, 그들의 특징량 맵을 그 특징량의 피라미드 화상으로 한다. 예를 들면, 레벨 L1 내지 레벨 L8까지의 8개의 해상도의 계층의 피라미드 화상이 생성되고, 레벨 L1의 피라미드 화상이 가장 해상도가 높고, 레벨 L1로부터 레벨 L8까지 순서대로 피라미드 화상의 해상도가 낮아지는 것으로 한다.

이 경우, 특징량 맵 생성부(111)에 의해 생성된 특징량 맵이, 레벨 L1의 피라미드 화상으로 된다. 또한, 레벨 Li(단,1≤i≤7)의 피라미드 화상에 있어서의, 서로 인접하는 4개의 화소의 화소값의 평균값이, 그들의 화소와 대응하는 레벨 L(i+1)의 피라미드 화상의 1개의 화소의 화소값으로 된다. 따라서, 레벨 L(i+1)의 피라미드 화상은, 레벨 Li의 피라미드 화상에 대하여 종횡 절반(나누어 떨어지지 않는 경우에는 절사)의 화상이 된다.

또한, 대역 특징량 맵 생성부(112)는, 복수의 피라미드 화상 중, 서로 계층이 상이한 2개의 피라미드 화상을 선택하고, 선택한 피라미드 화상의 차분을 구해서 각 특징량의 차분 화상을 N매 생성한다. 또한, 각 계층의 피라미드 화상은, 각각 크기(화소수)가 서로 상이하므로, 차분 화상의 생성 시에는, 보다 작은 쪽의 피라미드 화상이, 보다 큰 피라미드 화상에 맞추어 업컨버트된다.

예를 들면, 대역 특징량 맵 생성부(112)는, 각 계층의 특징량의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 각 계층의 조합의 피라미드 화상의 차분을 구한다. 이에 의해, 합계 5개의 특징량의 차분 화상이 얻어진다.

구체적으로는, 예를 들면, 레벨 L6 및 레벨 L3의 조합의 차분 화상이 생성되는 경우, 레벨 L6의 피라미드 화상이, 레벨 L3의 피라미드 화상의 크기에 맞추어 업컨버트된다. 즉, 업컨버트전의 레벨 L6의 피라미드 화상의 1개의 화소의 화소값이, 그 화소에 대응하는, 업컨버트 후의 레벨 L6의 피라미드 화상의 서로 인접하는 몇 개의 화소의 화소값으로 된다. 그리고, 레벨 L6의 피라미드 화상의 화소의 화소값과, 그 화소와 동일한 위치에 있는 레벨 L3의 피라미드 화상의 화소의 화소값의 차분이 구해지고, 그 차분이 차분 화상의 화소의 화소값으로 된다.

이와 같이, 차분 화상을 생성함으로써, 특징량 맵에 밴드 패스 필터를 이용한 필터 처리를 실시하도록, 특징량 맵으로부터 소정의 대역 성분의 특징량을 추출할 수 있다.

또한, 이상의 설명에 있어서, 특징량 맵으로부터 추출되는 대역의 폭은, 차분 화상을 구할 때의, 피라미드 화상의 각 계층의 조합에 의해 결정되지만, 이 조합은 임의로 결정된다.

또한, 소정의 대역 성분의 특징량의 추출은, 상술한 차분 화상에 의한 방법에 한하지 않고, 다른 방법을 이용하도록 해도 된다.

도 7의 플로우차트로 되돌아가서, 스텝 S33에 있어서, 대역 특징량 맵 합성부(113)는, 대역 특징량 맵 생성부(112)로부터의 대역 특징량 맵을, 가중 계수 산출부(74)로부터의 가중 계수군 W_R에 기초해서 특징량마다 합성한다. 대역 특징량 맵 합성부(113)는, 합성한 대역 특징량 맵(합성 특징량 맵)을, 가중 계수 산출부(74) 및 합성 특징량 맵 합성부(114)에 공급한다.

구체적으로는, 도 8에 도시되는 바와 같이, 대역 휘도 정보 맵 R₁₁ 내지 R_1N은, 가중 계수 산출부(74)로부터의 대역 휘도 정보 맵마다의 가중치인 가중 계수 w₁₁ 내지 w_1N에 의해 가중치 부여 가산되고, 합성 특징량 맵 C₁이 구해진다. 또한, 대역 색 정보 맵 R₂₁ 내지 R_2N, …, R_K1 내지 R_KN은, 가중 계수 산출부(74)로부터의 대역 색 정보 맵마다의 가중치인 가중 계수 w₂₁ 내지 w_2N, …, w_K1 내지 w_KN에 의해 가중치 부여 가산되고, 합성 특징량 맵 C₂ 내지 C_K가 구해진다. 또한, 대역 엣지 정보 맵 R_(K+1)1 내지 R(_K+1)N, …, R_M1 내지 R_MN은, 가중 계수 산출부(74)로부터의 대역 엣지 정보 맵마다의 가중치인 가중 계수 w_(K+1)1 내지 w_(K+1)N, …, w_M1 내지 w_MN에 의해 가중치 부여 가산되고, 합성 특징량 맵 C_{K +1} 내지 C_M이 구해진다. 이와 같이, 대역 특징량 맵 합성부(113)는, M종류의 합성 특징량 맵을 생성한다. 또한, 가중 계수군 W_R의 상세에 대해서는 후술하지만, 가중 계수군 W_R의 각 가중 계수는, 0 내지 1의 값을 갖는다. 단, 1회째의 피사체 맵 생성 처리에서는, 가중 계수군 W_R의 각 가중 계수는 모두 1로 되고, 대역 특징량 맵은, 가중치 없음으로 가산된다.

스텝 S34에 있어서, 합성 특징량 맵 합성부(114)는, 대역 특징량 맵 합성부(113)로부터의 합성 특징량 맵을, 가중 계수 산출부(74)로부터의 가중 계수군 W_C에 기초해서 합성함으로써, 피사체 맵을 생성하여, 피사체 후보 영역 사각형화부(72)에 공급한다.

구체적으로는, 도 8에 도시되는 바와 같이, 합성 특징량 맵 C₁ 내지 C_M은, 가중 계수 산출부(74)로부터의 대역 휘도 정보 맵마다의 가중치인 가중 계수 w₁ 내지 w_M을 이용해서 선형 결합된다. 또한, 선형 결합의 결과 얻어진 맵의 화소값에, 미리 구해진 가중치인 피사체 가중치가 승산되고 정규화되어, 피사체 맵(201)을 구한다. 또한, 가중 계수군 W_C의 상세에 대해서는 후술하지만, 가중 계수군 W_C의 각 가중 계수는, 0 내지 1의 값을 갖는다. 단, 1회째의 피사체 맵 생성 처리에서는, 가중 계수군 W_C의 각 가중 계수는 모두 1로 되고, 합성 특징량 맵은, 가중치 없음으로 선형 결합된다.

즉, 이제부터 구하려고 하는 피사체 맵 상의 주목하는 위치(화소)를 주목 위치로 하면, 각 합성 특징량 맵의 주목 위치와 동일한 위치(화소)의 화소값에, 합성 특징량 맵마다의 가중 계수가 승산되고, 가중 계수의 승산된 화소값의 총합이, 주목 위치의 화소값으로 된다. 또한, 이와 같이 하여 구해진 피사체 맵의 각 위치의 화소값에, 피사체 맵에 대하여 미리 구해진 피사체 가중치가 승산되어 정규화되고, 최종적인 피사체 맵으로 된다. 예를 들면, 정규화는, 피사체 맵의 각 화소의 화소값이, 0으로부터 255까지의 사이의 값이 되도록 이루어진다.

이상과 같이 해서, 피사체 맵 생성부(71)는, 특징량 맵으로부터, 대역 특징량 맵 및 합성 특징량 맵을 생성함으로써, 피사체 맵을 생성한다.

도 6의 플로우차트로 되돌아가서, 스텝 S12에 있어서, 피사체 후보 영역 사각형화부(72)는, 피사체 후보 영역 사각형화 처리를 행하고, 피사체 맵 생성부(71)로부터의 피사체 맵에 있어서, 피사체의 후보가 되는 영역을 포함하는 사각형 영역을 구한다.

[피사체 후보 영역 사각형화 처리]

여기서, 도 9 및 도 10을 참조하여, 피사체 후보 영역 사각형화 처리의 상세에 대해서 설명한다. 도 9는, 피사체 후보 영역 사각형화 처리에 대해서 설명하는 플로우차트이며, 도 10은, 피사체 후보 영역 사각형화 처리의 구체예를 도시하는 도면이다.

도 9의 플로우차트의 스텝 S51에 있어서, 피사체 후보 영역 사각형화부(72)의 2값화 처리부(131)는, 피사체 맵 생성부(71)로부터 공급된 피사체 맵에 있어서의 정보를, 소정의 임계값에 기초해서 0 또는 1 중 어느 하나의 값으로 2값화하고, 라벨링 처리부(132)에 공급한다.

보다 구체적으로는, 2값화 처리부(131)는, 도 10의 위로부터 1번째에 도시되는, 0으로부터 255까지의 사이의 값인 피사체 맵(201)의 각 화소의 화소값에 대하여, 예를 들면, 임계값 127보다 작은 값의 화소값을 0으로 하고, 127보다 큰 값의 화소값을 1로 한다. 이것에 의해, 도 10의 위로부터 2번째에 도시되는 2값화 맵(202)이 얻어진다. 도 10에서 도시되는 2값화 맵(202)에서는, 백색으로 도시되는 부분(화소)이 1의 화소값을 갖고, 흑색으로 도시되는 부분(화소)이 0의 화소값을 갖고 있다. 또한, 여기서는, 임계값을 127인 것으로 하였지만, 다른 값이어도 된다.

스텝 S52에 있어서, 라벨링 처리부(132)는, 2값화 처리부(131)로부터 2값화 맵(202)(2값화된 피사체 맵)에 있어서, 예를 들면, 모포로지―연산 등에 의해 얻어지는, 1인 화소값의 화소가 인접하는 연결 영역에 대하여 라벨링하고, 사각형 영역 좌표 산출부(133)에 공급한다.

보다 구체적으로는, 예를 들면, 도 10의 위로부터 3번째에 도시되는 바와 같이, 2값화 맵(202)에서는 연결 영역(211)이 라벨 「1」로 라벨링되고, 연결 영역(212)이 라벨 「2」로 라벨링된다.

스텝 S53에 있어서, 사각형 영역 좌표 산출부(133)는, 라벨링 처리부(132)로부터의 2값화 맵(202)에 있어서, 연결 영역을 포함하는(둘러싸는) 사각형 영역의 좌표를 산출하고, 그 좌표를 나타내는 좌표 정보를, 2값화 맵(202)과 함께 영역 정보 산출부(134)에 공급한다.

보다 구체적으로는, 도 10의 위로부터 4번째에 도시되는 바와 같이, 2값화 맵(202)에 있어서, 라벨 「1」로 라벨링된 연결 영역(211)을 외측으로부터 둘러싸는 사각형틀(외접틀)(221)이 검출되고, 그 사각형틀의, 예를 들면 도면 중 좌측 상부 및 우측 하부의 정점의 좌표가 구해진다. 또한, 라벨 「2」로 라벨링된 연결 영역(212)을 외측으로부터 둘러싸는 사각형틀(222)이 검출되고, 그 사각형틀의, 예를 들면 도면 중 좌측 상부 및 우측 하부의 정점의 좌표가 구해진다.

스텝 S54에 있어서, 영역 정보 산출부(134)는, 사각형 영역 좌표 산출부(133)로부터의 좌표 정보와, 피사체 맵 생성부(71)로부터의 피사체 맵에 기초하여, 피사체 맵 상에서 사각형틀로 둘러싸이는 사각형 영역에 관한 영역 정보를 산출한다.

보다 구체적으로는, 영역 정보 산출부(134)는, 2값화 맵(202)에 있어서의 사각형틀(221, 222)을 나타내는, 사각형 영역 좌표 산출부(133)로부터의 좌표 정보에 기초하여, 사각형틀의 사이즈 및 중심 위치의 좌표를, 사각형 영역에 관한 영역 정보로서 산출한다. 영역 정보 산출부(134)는, 산출한 영역 정보를, 사각형 영역 좌표 산출부(133)로부터의 좌표 정보에 대응지어 피사체 영역 선택부(73)에 공급한다.

이상과 같이 해서, 피사체 후보 영역 사각형화부(72)는, 피사체 맵에 있어서, 주목해야 할 피사체의 후보가 되는 각 영역을 둘러싸는 사각형틀, 및, 피사체 맵 상에서 그 사각형틀로 둘러싸이는 영역의 특징을 나타내는 영역 정보를 구한다.

도 6의 플로우차트로 되돌아가서, 스텝 S13에 있어서, 피사체 영역 선택부(73)는, 피사체 영역 선택 처리를 행하고, 주목해야 할 피사체가 포함되는 사각형 영역인 피사체 영역을, 피사체 영역 선택부(73)로부터의 영역 정보에 기초해서 사각형 영역 중으로부터 선택한다.

[피사체 영역 선택 처리]

여기서, 도 11의 플로우차트를 참조하여, 피사체 영역 선택 처리의 상세에 대해서 설명한다.

스텝 S71에 있어서, 영역 정보 비교부(151)는, 피사체 후보 영역 사각형화부(72)로부터의 각 사각형 영역의 영역 정보와, 영역 정보 기억부(153)에 기억되어 있는 1프레임 전의 피사체 영역의 영역 정보를 비교하고, 비교 결과를 피사체 영역 결정부(152)에 공급한다.

보다 구체적으로는, 예를 들면, 영역 정보 비교부(151)는, 피사체 후보 영역 사각형화부(72)로부터의, 피사체 맵 상에서의 각 사각형 영역을 둘러싸는 사각형틀의 사이즈와, 영역 정보 기억부(153)에 기억되어 있는 1프레임 전의 피사체 영역을 둘러싸는 사각형틀(피사체틀)의 사이즈를 비교한다. 또한, 예를 들면, 영역 정보 비교부(151)는, 피사체 후보 영역 사각형화부(72)로부터의, 피사체 맵 상에서의 각 사각형 영역을 둘러싸는 사각형틀의 중심 위치의 좌표와, 영역 정보 기억부(153)에 기억되어 있는 1프레임 전의 피사체 영역을 둘러싸는 사각형틀(피사체틀)의 중심 위치의 좌표를 비교한다.

스텝 S72에 있어서, 피사체 영역 결정부(152)는, 영역 정보 비교부(151)로부터의 비교 결과에 기초하여, 1프레임 전의 피사체 영역을 둘러싸는 사각형틀(피사체틀)의 사이즈 또는 중심 위치의 좌표에 가장 가까운 사각형틀의 사이즈 또는 중심 위치를 갖는 사각형 영역을 피사체 영역으로 한다. 피사체 영역 결정부(152)는, 결정한 피사체 영역의 좌표 정보를 제어부(35) 및 가중 계수 산출부(74)에 공급함과 함께, 피사체 영역의 영역 정보(피사체틀의 사이즈 또는 중심 위치)를, 영역 정보 기억부(153)에 공급한다.

단, 1회째의 피사체 영역 선택 처리에 있어서, 영역 정보 기억부(153)에는, 1프레임 전의 피사체 영역의 영역 정보는 기억되어 있지 않으므로, 피사체 추적 처리의 개시 시에 유저에 의해 선택된 피사체의 소정 영역(이하, 초기 선택 영역이라고 함)을 포함하는 사각형 영역이 피사체 영역으로 된다.

이상과 같이 해서, 피사체 영역 선택부(73)는, 피사체의 후보가 되는 사각형 영역 중으로부터, 주목해야 할 피사체의 피사체 영역을 선택한다.

[가중 계수의 산출]

도 6의 플로우차트로 되돌아가서, 스텝 S14에 있어서, 가중 계수 산출부(74)는, 피사체 맵 생성부(71)로부터의 대역 특징량 맵 및 합성 특징량 맵과, 피사체 영역 선택부(73)로부터의 피사체 영역을 나타내는 좌표 정보에 기초하여, 도 8에서 도시되는 가중 계수군 W_R, W_C를 산출한다.

보다 구체적으로는, 도 12에 도시되는 바와 같이, 소정의 대역 특징량 맵 R_mn(1≤m≤M, 1≤n≤N) 상의, 피사체 영역을 나타내는 피사체틀(231)에 대응하는 사각형 영역 내의 특징량(정보량)의 합을 피사체 영역 특징량의 합 r_mn으로 한 경우, 도 13의 상측에 도시되는 가중 계수군 W_R이 산출된다.

도 13의 가중 계수군 W_R에 있어서의 계수의 각각은, 도 8에서 도시되는 가중 계수 w₁₁ 내지 w_MN의 각각에 대응하고 있다. 또한, 도 13에 있어서, Max[a, …, z]는, 값 a 내지 z 중의 최대값을 나타내는 것으로 한다.

예를 들면, 도 13의 가중 계수군 W_R에 있어서의 위로부터 1번째의 행의 각 계수는, 도 8에서 도시된, 「대역1」인 특징량마다의 대역 특징량 맵 R₁₁ 내지 R_M1에 관한 가중 계수 w₁₁ 내지 w_M1을 나타내고 있다. 도 13에 도시되는 바와 같이, 가중 계수 w₁₁ 내지 w_M1은, 분모가 대역 특징량 맵 R₁₁ 내지 R_M1 각각에 관한 피사체 영역 특징량의 합 r₁₁ 내지r_M1 중의 최대값으로 되고, 분자가 대역 특징량 맵 R₁₁ 내지 R_M1 각각에 관한 피사체 영역 특징량의 합 r₁₁ 내지 r_M1로 되는 계수이며, 0 내지 1의 값을 취한다.

마찬가지로, 도 13의 가중 계수군 W_R에 있어서의 위에서부터 N번째의 행의 각 계수는, 도 8에서 도시된, 「대역N」인 특징량마다의 대역 특징량 맵 R_1N 내지 R_MN에 관한 가중 계수 w_1N 내지 w_MN을 나타내고 있다. 도 13에 도시되는 바와 같이, 가중 계수 w_1N 내지 w_MN은, 분모가 대역 특징량 맵 R_1N 내지 R_MN 각각에 관한 피사체 영역 특징량의 합 r_1N 내지 r_MN 중의 최대값으로 되고, 분자가 대역 특징량 맵 R_1N 내지 R_MN 각각에 관한 피사체 영역 특징량의 합 r_1N 내지 r_MN으로 되는 계수이며, 0 내지 1의 값을 취한다.

즉, 가중 계수 w_1n 내지 w_Mn에 따르면, 「대역n」인 특징량마다의 대역 특징량 맵 R_1n 내지 R_Mn에 있어서, 피사체 영역 특징량의 합이 최대로 되는 특징량의 대역 특징량 맵에 최대값 1이 되는 가중치 부여가 되고, 그 밖의 대역 특징량 맵에는, 피사체 영역 특징량의 합에 따른 가중치 부여가 된다.

또한, 소정의 합성 특징량 맵 Cm(1≤m≤M) 상의, 피사체 영역을 나타내는 사각형틀(221)에 대응하는 사각형 영역 내의 특징량(정보량)의 합을 피사체 영역 특징량의 합 c_m으로 한 경우, 도 13의 하측에 도시되는 가중 계수군 W_C가 산출된다.

도 13의 가중 계수군 W_C에 있어서의 계수의 각각은, 도 8에서 도시되는 가중 계수 w₁ 내지 w_M의 각각에 대응하고 있다.

즉, 도 13의 가중 계수군 W_C에 있어서의 각 계수는, 도 8에서 도시된, 특징량마다의 합성 특징량 맵 C₁ 내지 C_M에 관한 가중 계수 w₁ 내지 w_M을 나타내고 있다. 도 13에 도시되는 바와 같이, 가중 계수 w₁ 내지 w_M은, 분모가 합성 특징량 맵 C₁ 내지 C_M 각각에 관한 피사체 영역 특징량의 합 c₁ 내지 c_M 중의 최대값으로 되고, 분자가 합성 특징량 맵 C₁ 내지 C_M 각각에 관한 피사체 영역 특징량의 합 c₁ 내지 c_M으로 되는 계수이며, 0 내지 1의 값을 취한다.

즉, 가중 계수 w₁ 내지 w_m에 따르면, 특징량마다의 합성 특징량 맵 C₁ 내지 C_M에 있어서, 피사체 영역 특징량의 합이 최대로 되는 특징량의 합성 특징량 맵에 최대값 1이 되는 가중치 부여가 되고, 그 밖의 대역 특징량 맵에는, 피사체 영역 특징량의 합에 따른 가중치 부여가 된다.

가중 계수 산출부(74)는, 산출한 가중 계수군 W_R을, 피사체 맵 생성부(71)의 대역 특징량 맵 합성부(113)에 공급함과 함께, 가중 계수군 W_C를, 피사체 맵 생성부(71)의 합성 특징량 맵 합성부(114)에 공급한다. 도 6의 플로우차트에서는, 스텝 S14 후, 다음 프레임에 관한 피사체 추적 처리가 실행되고, 이 처리가 1프레임마다 반복된다.

이상의 처리에 따르면, 입력 화상의 소정의 프레임에 관한 특징량마다의 특징량 맵에 있어서의, 그 프레임에서 선택된 피사체 영역에 대응하는 영역의 특징량의 상대적인 크기에 따라, 다음 프레임에 관한 특징량마다의 특징량 맵에 대한 가중 계수가 결정된다. 따라서, 프레임간에서 특징량이 변동하는 경우에도, 복수의 특징량 중의 피사체를 가장 잘 나타내는 특징량의 특징량 맵이 가장 크게 가중치 부여된 피사체 맵이 생성되므로, 피사체의 상태가 변동하는 환경 하에서도, 피사체를 보다 안정적으로 추적하는 것이 가능하게 된다.

또한, 피사체 영역은, 피사체 전체를 포함하도록 결정되므로, 피사체의 일부의 영역의 상태가 변동하는 환경 하에서도, 피사체를 보다 안정적으로 추적할 수 있다.

특히, 종래의 피사체 추적의 방법에 있어서, 피사체 영역 내의 어느 하나의 좌표(또는 그 좌표를 포함하는 일부 영역)가 동정되는 경우에서는, 피사체 전체를 추적할 수 없어, AF(Auto Focus)이나 AE(Auto Exposure), ACC(Auto Color Control)의 검파 틀을 올바르게 설정할 수 없었다. 또한, 피사체 영역 내에서 특징량이 동일한 동일 특징량 영역이 동 동정되는 경우에서는, 상술한 경우보다는 검파 틀을 설정하는 정밀도를 높일 수 있지만, 동일 특징량 영역은, 피사체 영역의 극히 일부에 불과한 경우가 많고, 충분한 검파 정밀도는 얻어지지 않았다.

한편, 상술한 피사체 추적 처리에 따르면, 피사체 전체를 포함하는 피사체 영역을 동정할 수 있으므로, 검파 정밀도를 높일 수 있고, 나아가서는, 추적 결과를 다양한 어플리케이션에 적용하는 것이 가능하게 된다.

또한, 종래의 피사체 추적의 방법에는, 예를 들면, 인간의 전체상을 학습에 의해 사전에 등록하거나 하여, 인간을 검출·추적하는 것도 있지만, 사전에 등록되어 있지 않은 인간 이외의 피사체를 추적할 수는 없다. 또한, 사전에 등록되는 정보(화상)의 양은 방대한 양이 되기 때문에, 장치 규모가 커지게 된다.

한편, 상술한 피사체 추적 처리에 따르면, 임의의 피사체를 검출·추적할 수 있고, 또한, 사전 등에 방대한 양의 정보를 등록할 필요가 없으므로, 장치 규모를 컴팩트하게 할 수 있다.

이상에 있어서는, 특징량으로서, 휘도 성분, 색 성분, 및 엣지 방향을 이용하는 것으로 하였지만, 이것에 한하지 않고, 예를 들면, 움직임 정보 등을 부가하도록 해도 된다. 또한, 이용되는 특징량은, 예를 들면, 휘도 성분과 색 성분과 같은, 상보적인 관계에 있는 것이 적합하며, 적절히 선택되도록 해도 된다.

또한, 이상에서는, M×(N+1)종류의 특징량 맵에 대응하여, M×(N+1)종류의 가중 계수를 산출하도록 하였지만, 일부의 특징량 맵에 대응하는 가중 계수만을, 적절히 산출하도록 함으로써, 화상 처리 장치(11)에 있어서의 연산량을 억제할 수 있다. 예를 들면, 합성 특징량 맵 C₁ 내지 C_M의 M종류의 특징량 맵에 대응하는 가중 계수 w₁ 내지 w_M만을 산출하도록 해도 된다.

또한, 이상에 있어서는, 영역 정보 산출부(134)는, 사각형 영역의 영역 정보로서, 사각형틀의 사이즈 및 중심 위치의 좌표를 산출하도록 하였지만, 사각형 영역 내의 화소값의 적분값이나 피크값(최대값)을 산출하도록 해도 된다. 이 경우, 피사체 영역 선택 처리(도 11)에 있어서는, 1프레임 전의 피사체 영역 내의 화소값의 적분값 또는 피크값에 가장 가까운 영역 내의 화소값의 적분값 또는 피크값을 갖는 사각형 영역이 피사체 영역으로 된다.

그런데, 화상 처리 장치(11)에는, 상술한 피사체 추적 처리의 추적 결과를 적용한 어플리케이션의 일례로서, 추적한 피사체를, 촬상 범위에 있어서의 피사체의 크기를 일정하게 유지하면서 촬상하는, 촬상 범위 조정 처리를 실행시킬 수 있다.

[촬상 범위 조정 처리에 대해서]

여기서, 도 14의 플로우차트를 참조하여, 화상 처리 장치(11)의 촬상 범위 조정 처리에 대해서 설명한다. 촬상 범위 조정 처리는, 예를 들면, 버튼으로서의 유저 인터페이스(38)가 유저에 의해 조작됨으로써, 화상 처리 장치(11)의 동작 모드가 피사체를 촬상하는 촬상 모드로 천이하고, 표시부(34)에 표시되어 있는 입력 화상(촬상 화상)에 있어서, 촬상 대상으로서의 피사체의 소정 영역이 유저에 의해 선택되었을 때에 개시된다.

스텝 S71에 있어서, 피사체 추적부(55)는, 도 6의 플로우차트에서 설명한 피사체 추적 처리를 실행하고, 피사체 영역의 좌표 정보를 제어부(35)에 공급한다.

스텝 S72에 있어서, 제어부(35)는, 피사체 추적부(55)로부터의 피사체 영역의 좌표 정보에 기초하여, 렌즈 구동부(36)를 제어함으로써, 렌즈 구동부(36)에, 광학계(31)에 포함되는 줌렌즈를 구동시키고, 자동 줌 조정 처리를 실행한다.

제어부(35)에 의한 자동 줌 조정 처리의 상세에 대해서는 후술하지만, 이상의 처리에 따르면, 피사체와의 거리가 변화해도, 촬상 범위에 있어서의 피사체의 크기를 일정하게 유지할 수 있다.

[제어부의 기능 구성예]

여기서, 도 15를 참조하여, 도 14의 플로우차트의 스텝 S72에 있어서의 자동 줌 조정 처리를 실행하는 제어부(35)의 기능 구성예에 대해서 설명한다.

도 15의 제어부(35)는, 좌표 정보 취득부(311), 목표 사이즈 설정부(312), 조작 판정부(313), 위치 검출부(314), 비교부(315), 및 렌즈 구동 제어부(316)를 구비하고 있다.

좌표 정보 취득부(311)는, 피사체 추적부(55)로부터, 입력 화상의 1프레임마다 공급되어 오는 피사체 영역의 좌표 정보를 취득하고, 목표 사이즈 설정부(312), 위치 검출부(314), 및 비교부(315)에 공급한다. 또한, 좌표 정보 취득부(311)는, 피사체 추적부(55)로부터 좌표 정보를 취득하면, 좌표 정보를 취득하였다는 취지의 정보를 조작 판정부(313)에 공급한다.

목표 사이즈 설정부(312)는, 좌표 정보 취득부(311)로부터의 피사체 영역의 좌표 정보에 기초하여, 소정의 프레임에 관한 좌표 정보로 표시되는 피사체 영역의 사이즈를, 촬상 범위에 있어서의 피사체의 크기를 일정하게 유지하기 위한 목표가 되는 목표 사이즈로서 설정한다. 즉, 제어부(35)는, 피사체 영역의 사이즈를 항상 목표 사이즈에 근접하도록, 렌즈 구동부(36)에 줌렌즈를 구동시킨다. 목표 사이즈 설정부(312)는, 설정한 목표 사이즈를 비교부(315)에 공급한다.

조작 판정부(313)는, 좌표 정보 취득부(311)로부터, 피사체 추적부(55)로부터 좌표 정보를 취득하였다는 취지의 정보가 공급되면, 유저 인터페이스 제어부(37)로부터의 제어 신호에 기초하여, 유저 인터페이스(38)로서의 줌 버튼(또는 줌 레버)이 조작되어 있는지의 여부를 판정한다. 조작 판정부(313)는, 판정의 결과를 나타내는 정보를, 목표 사이즈 설정부(312), 위치 검출부(314), 및 렌즈 구동 제어부(316)에 공급한다.

위치 검출부(314)는, 좌표 정보 취득부(311)로부터의 피사체 영역의 좌표 정보에 기초하여, 촬상 범위에 있어서의 피사체의 위치를 검출하고, 그 위치에 따른 정보를, 비교부(315), 렌즈 구동 제어부(316), 및 표시부(34)(도 1)에 공급한다.

비교부(315)는, 위치 검출부(314)로부터, 피사체의 위치에 따른 정보가 공급되면, 좌표 정보 취득부(311)로부터의 좌표 정보로 표시되는 피사체 영역의 사이즈와, 목표 사이즈 설정부(312)로부터의 목표 사이즈를 비교한다. 비교부(315)는, 비교의 결과를 나타내는 정보를 렌즈 구동 제어부(316)에 공급한다.

렌즈 구동 제어부(316)는, 조작 판정부(313)로부터의 판정의 결과를 나타내는 정보나, 비교부(315)로부터의 비교의 결과를 나타내는 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)(도 1)의 줌렌즈를 구동시킨다.

[자동 줌 조정 처리]

다음으로, 도 16 및 도 17의 플로우차트를 참조하여, 도 14의 플로우차트의 스텝 S72에 대응하는, 도 15의 제어부(35)에 의한 자동 줌 조정 처리에 대해서 설명한다.

스텝 S111에 있어서, 좌표 정보 취득부(311)는, 피사체 추적부(55)로부터의 피사체 영역의 좌표 정보를 취득하고, 목표 사이즈 설정부(312)에 공급한다.

스텝 S112에 있어서, 좌표 정보 취득부(311)는, 초기 동작인지의 여부, 즉, 스텝 S111에 있어서 취득한 좌표 정보가, 촬상 범위 조정 처리(도 14)가 개시되고나서 최초의 프레임에 관한 피사체 영역의 좌표 정보인지의 여부를 판정한다.

스텝 S112에 있어서, 초기 동작이라고 판정된 경우, 좌표 정보 취득부(311)는, 촬상 범위 조정 처리가 개시되고나서 최초의 프레임에 관한 좌표 정보를 취득하였다는 취지의 정보를, 목표 사이즈 설정부(312) 및 조작 판정부(313)에 공급하고, 처리는 스텝 S113으로 진행한다.

스텝 S113에 있어서, 목표 사이즈 설정부(312)는, 좌표 정보 취득부(311)로부터, 최초의 프레임에 관한 피사체 영역의 좌표 정보가 공급되면, 그 좌표 정보로 나타내지는, 사각형 영역인 피사체 영역의 사이즈를 목표 사이즈로서 설정한다. 구체적으로는, 목표 사이즈 설정부(312)는, 최초의 프레임에 관한 피사체 영역의 폭 Hw(또는 높이 Hh)를, 목표 폭 Hw_target(또는 목표 높이 Hh_target)로서 설정한다. 목표 사이즈 설정부(312)는, 설정한 목표 사이즈를 비교부(315)에 공급하고, 처리는 스텝 S114로 진행한다.

한편, 스텝 S112에 있어서, 초기 동작이 아니라고 판정된 경우, 즉, 스텝 S111에 있어서 취득한 좌표 정보가, 좌표 정보 취득부(311)가, 촬상 범위 조정 처리(도 14)가 개시되고나서 2번째 이후의 프레임에 관한 피사체 영역의 좌표 정보이었던 경우, 좌표 정보 취득부(311)는, 좌표 정보를 취득하였다는 취지의 정보를 조작 판정부(313)에 공급하고, 처리는 스텝 S114로 진행한다.

스텝 S114에 있어서, 조작 판정부(313)는, 좌표 정보 취득부(311)로부터, 피사체 추적부(55)로부터 좌표 정보를 취득하였다는 취지의 정보가 공급되면, 유저 인터페이스 제어부(37)로부터의 제어 신호에 기초하여, 유저에 의한 줌 조작이 되어 있는지의 여부를 판정한다.

스텝 S114에 있어서, 유저에 의한 줌 조작이 되어 있다고 판정된 경우, 조작 판정부(313)는, 유저 인터페이스 제어부(37)로부터의, 줌 조작의 내용을 나타내는 제어 신호를, 렌즈 구동 제어부(316)에 공급하고, 처리는 스텝 S115로 진행한다.

스텝 S115에 있어서, 조작 판정부(313)는, 내부에 유지하고 있는 메뉴얼 플래그를 ON한다. 메뉴얼 플래그는, 1프레임마다 촬상 범위 조정 처리가 실행되는 중에서, 1개 전의 프레임에 관한 촬상 범위 조정 처리의 자동 줌 조정 처리에 있어서, 유저에 의해 줌 조작이 되어 있었는지의 여부를 나타내는 플래그이다. 즉, 1개 전의 프레임에 관한 자동 줌 조정 처리에 있어서, 유저에 의해 줌 조작이 되어 있으면 메뉴얼 플래그는 ON이며, 줌 조작이 되어 있지 않으면 메뉴얼 플래그는 OFF이다. 또한, 촬상 범위 조정 처리(자동 줌 조정 처리)가 개시된 직후에서는, 메뉴얼 플래그는 OFF되어 있다.

스텝 S116에 있어서, 렌즈 구동 제어부(316)는, 조작 판정부(313)로부터의 제어 신호로 나타내지는, 유저에 의한 줌 조작(광각 지시 또는 망원 지시)에 따라, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈를, 거리 d1만큼 구동시킨다. 거리 d1은, 렌즈 구동부(36)가, 1프레임 분의 피사체 추적 처리가 실행되는 동안에, 줌렌즈를 이동시킬 수 있는 거리로 된다.

이 경우, 유저는, 촬상 범위에 있어서 피사체가 추적되어 있는지의 여부에 상관없이, 자신의 기호에 맞게, 촬상 범위(화각)를 조정할 수 있다.

그런데, 스텝 S114에 있어서, 유저에 의한 줌 조작이 되어 있지 않다고 판정된 경우, 스텝 S117에 있어서, 조작 판정부(313)는, 내부에 유지하고 있는 메뉴얼 플래그가 ON인지의 여부를 판정한다.

스텝 S117에 있어서, 메뉴얼 플래그가 ON이라고 판정된 경우, 즉, 1개 전의 프레임에 관한 자동 줌 조정 처리에 있어서, 유저에 의한 줌 조작이 되어 있었던 경우, 처리는 스텝 S118로 진행한다.

스텝 S118에 있어서, 조작 판정부(313)는, 내부에 유지하고 있는 메뉴얼 플래그를 OFF하고, 메뉴얼 플래그가 OFF되었다는 취지의 정보를, 목표 사이즈 설정부(312) 및 위치 검출부(314)에 공급한다.

스텝 S119에 있어서, 목표 사이즈 설정부(312)는, 조작 판정부(313)로부터의 정보에 기초하여, 좌표 정보 취득부(311)로부터의, 그 때의 프레임에 관한 피사체 영역의 좌표 정보로 표시되는 피사체 영역의 사이즈에 기초하여, 목표 사이즈를 갱신하고, 비교부(315)에 공급한다.

즉, 직전의 프레임에 있어서, 유저에 의해 조정되어 있었던 촬상 범위(화각)에 있어서의 피사체의 크기, 즉, 피사체 영역의 사이즈가, 새롭게 목표 사이즈로서 설정되게 된다.

한편, 스텝 S117에 있어서, 메뉴얼 플래그가 ON이 아니라고 판정된 경우, 즉, 1개 전의 프레임에 관한 자동 줌 조정 처리에 있어서, 유저에 의한 줌 조작이 되어 있지 않았던 경우, 조작 판정부(313)는, 메뉴얼 플래그가 OFF라는 취지의 정보를, 위치 검출부(314)에 공급한다.

스텝 S120에 있어서, 위치 검출부(314)는, 조작 판정부(313)로부터, 메뉴얼 플래그가 OFF라는(또는, OFF되었다는) 취지의 정보가 공급되어 오면, 좌표 정보 취득부(311)로부터의 피사체 영역의 좌표 정보에 기초하여, 촬상 범위에 있어서의 피사체의 위치를 검출한다. 그리고, 위치 검출부(314)는, 검출된 위치에 기초하여, 피사체가, 도 18에 도시되는 촬상 범위에 있어서의 영역 A 내에 있는지의 여부를 판정한다.

도 18은, 표시부(34)에 표시되는 촬상 화상의, 피사체가 촬상되는 촬상 범위를 도시하는 도면이다. 도 18에서는, 피사체는, 피사체 영역을 나타내는 피사체틀 H로 둘러싸여 있다. 또한, 도 18에 있어서는, 파선에 의해 영역 A 및 영역 B가 도시되어 있다. 영역 A는, 촬상 범위의 중앙부를 포함하도록 설정되고, 촬상 시에, 피사체가 그 내측에 있는 것이 바람직하다고 여겨지는 영역이다. 또한, 영역 B는, 촬상 범위의 바깥 가장자리 영역에 설정되고, 촬상 시에, 피사체가 그 외측에 있으면 촬상 범위로부터 벗어나게 될(프레임아웃하게 될) 가능성이 있다고 여겨지는 영역이다.

즉, 스텝 S120에 있어서, 위치 검출부(314)는, 피사체가, 촬상 범위 중의, 촬상에 바람직한 영역에 있는지의 여부를 판정한다. 구체적으로는, 위치 검출부(314)는, 피사체 영역을 나타내는 피사체틀 H의 중심 좌표(또는, 4정점 중 어느 하나의 좌표)가, 영역 A 내에 존재하는지의 여부를 판정한다.

스텝 S120에 있어서, 피사체가 영역 A 내에 있다고 판정된 경우, 위치 검출부(314)는, 피사체가 영역 A 내에 있다는 취지의 정보를 비교부(315)에 공급하고, 처리는 스텝 S121로 진행한다.

스텝 S121에 있어서, 비교부(315)는, 위치 검출부(314)로부터, 피사체가 영역 A 내에 있다는 취지의 정보가 공급되면, 좌표 정보 취득부(311)로부터의 좌표 정보로 표시되는 피사체 영역의 사이즈와, 목표 사이즈 설정부(312)로부터의 목표 사이즈를 비교한다.

여기서, 도 18에서 도시된 피사체틀 H의 사이즈를 목표 사이즈로 하면, 비교부(315)는, 목표 사이즈로서의, 도 18의 피사체틀 H의 목표 폭 Hw_target(또는 목표 높이 Hh_target)와, 그 때의 프레임에 관한 피사체 영역의 사이즈로서의 피사체 영역의 폭 Hw(또는 높이 Hh)를 비교한다.

그리고, 비교부(315)는, 피사체 영역의 사이즈가 목표 사이즈보다 큰지의 여부, 구체적으로는, 피사체 영역의 폭 Hw(또는 높이 Hh)가, 목표 폭 Hw_target(또는 목표 높이 Hh_target)에 소정값을 가산한 값보다 큰지의 여부를 판정한다.

스텝 S121에 있어서, 도 19에 도시되는 바와 같이, 피사체 영역의 사이즈가 목표 사이즈보다 크다고 판정된 경우, 비교부(315)는, 피사체 영역의 사이즈가 목표 사이즈보다 크다는 취지의 정보를 렌즈 구동 제어부(316)에 공급하고, 처리는 스텝 S122로 진행한다.

스텝 S122에 있어서, 렌즈 구동 제어부(316)는, 비교부(315)로부터의 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈를, 광각 측으로 거리 d1만큼 구동시킨다.

이와 같이, 촬상 범위에 있어서의 피사체의 크기가 목표가 되는 크기보다 큰 경우에는, 피사체의 크기가 목표가 되는 크기에 근접하도록 줌 아우트한다.

한편, 스텝 S121에 있어서, 피사체 영역의 사이즈가 목표 사이즈보다 크지 않다고 판정된 경우, 처리는 스텝 S123으로 진행한다.

스텝 S123에 있어서, 비교부(315)는, 피사체 영역의 사이즈가 목표 사이즈보다 작은지의 여부, 구체적으로는, 피사체 영역의 폭 Hw(또는 높이 Hh)가, 목표 폭 Hw_target(또는 목표 높이 Hh_target)으로부터 소정값을 감산한 값보다 작은지의 여부를 판정한다.

스텝 S123에 있어서, 도 20에 도시되는 바와 같이, 피사체 영역의 사이즈가 목표 사이즈보다 작다고 판정된 경우, 비교부(315)는, 피사체 영역의 사이즈가 목표 사이즈보다 작다는 취지의 정보를 렌즈 구동 제어부(316)에 공급하고, 처리는 스텝 S124로 진행한다.

스텝 S124에 있어서, 렌즈 구동 제어부(316)는, 비교부(315)로부터의 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈를, 망원 측으로 거리 d1만큼 구동시킨다.

이와 같이, 촬상 범위에 있어서의 피사체의 크기가 목표가 되는 크기보다 작은 경우에는, 피사체의 크기가 목표가 되는 크기에 근접하도록 줌인한다.

한편, 스텝 S123에 있어서, 피사체 영역의 사이즈가 목표 사이즈보다 작지 않다고 판정된 경우, 즉, 피사체 영역의 사이즈가 목표 사이즈와 동일하거나 또는 대략 동일한 경우, 비교부(315)는 아무것도 하지 않고, 따라서, 렌즈 구동 제어부(316)에는 어떠한 정보도 공급되지 않는다.

이와 같이, 촬상 범위에 있어서의 피사체의 크기가 목표가 되는 크기와 동일하거나 또는 대략 동일한 경우에는, 줌 아웃도 줌인도 하지 않는다.

그런데, 스텝 S120에 있어서, 피사체가 영역 A 내에 없다고 판정된 경우, 처리는 스텝 S125로 진행하고, 위치 검출부(314)는, 피사체가 영역 B 내에 있는지의 여부를 판정한다. 구체적으로는, 위치 검출부(314)는, 피사체 영역을 나타내는 피사체틀 H의 중심 좌표(또는, 4정점의 모든 좌표)가, 영역 B의 내측에 존재하는지의 여부를 판정한다.

스텝 S125에 있어서, 피사체가 영역 B 내에 있다고 판정된 경우, 위치 검출부(314)는 아무것도 하지 않고, 따라서, 렌즈 구동 제어부(316)에는 어떠한 정보도 공급되지 않는다.

이와 같이, 촬상 범위에 있어서, 피사체가 영역 A의 외측 또한 영역 B의 내측에 있는 경우에도, 줌 아웃도 줌인도 하지 않는다.

한편, 스텝 S125에 있어서, 피사체가 영역 B 내에 없다고 판정된 경우, 위치 검출부(314)는, 피사체가 영역 B 내에 없다는 취지의 정보를 렌즈 구동 제어부(316)에 공급하고, 처리는 스텝 S126으로 진행한다.

스텝 S126에 있어서, 렌즈 구동 제어부(316)는, 위치 검출부(314)로부터의 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈를, 광각 측으로 거리 d2만큼 구동시킨다. 거리 d2는, 거리 d1보다도 큰 거리이며, 렌즈 구동부(36)가, 1프레임 분의 피사체 추적 처리가 실행되는 동안에, 줌렌즈를 이동시킬 수 있는 거리로 된다.

이에 의해, 피사체가 촬상 범위(화각)의 가장자리에 근접해도, 피사체를 프레임 아웃시키지 않도록, 보다 신속하게 줌 아우트할 수 있다.

스텝 S127에 있어서, 렌즈 구동 제어부(316)는, 렌즈 구동부(36)가 줌렌즈를 광각 측으로 거리 d2만큼 구동시킨 결과, 줌렌즈의 렌즈 위치가 광각단인지의 여부를 판정한다.

스텝 S127에 있어서, 줌렌즈의 렌즈 위치가 광각단이 아니라고 판정된 경우, 렌즈 구동 제어부(316)는 아무것도 하지 않는다.

한편, 스텝 S127에 있어서, 줌렌즈의 렌즈 위치가 광각단이라고 판정된 경우, 렌즈 구동 제어부(316)는, 줌렌즈의 렌즈 위치가 광각단이라는 취지의 정보를 위치 검출부(314)에 공급하고, 처리는 스텝 S128로 진행한다.

스텝 S128에 있어서, 위치 검출부(314)는, 렌즈 구동 제어부(316)로부터 정보가 공급되어 오면, 피사체가 촬상 범위 내에 있는지의 여부를 판정한다. 구체적으로는, 위치 검출부(314)는, 피사체 영역을 나타내는 피사체틀 H의 중심 좌표(또는, 4정점 중 어느 하나의 좌표)가, 촬상 범위 내이며, 영역 B의 외측에 존재하는지의 여부를 판정한다.

스텝 S128에 있어서, 피사체가 촬상 범위 내에 있다고 판정된 경우, 위치 검출부(314)는, 피사체가 프레임아웃할 것 같다는 취지의 경고를 제시하기 위한 정보를, 표시부(34)에 공급하고, 처리는 스텝 S129로 진행한다.

스텝 S129에 있어서, 표시부(34)는, 위치 검출부(314)로부터의 정보에 기초하여, 피사체가 프레임아웃할 것 같다는 취지의 경고를 제시(표시)한다.

예를 들면, 도 21에 도시되는 바와 같이, 피사체 영역을 나타내는 피사체틀 H의 중심 좌표가, 표시부(34)에 표시되어 있는 촬상 화상(촬상 범위)에 있어서, 영역 B의 우측으로 프레임아웃할 것 같은 경우, 표시부(34)는, 도 21의 우측 상부에 도시되는 바와 같이, 유저에 대하여 촬상 범위를 우측으로 이동할 것을 재촉하는 화살표 P를 표시한다.

이에 의해, 유저는, 피사체가 프레임아웃할 것 같다는 취지의 경고를 확인하고, 피사체를 프레임아웃시키지 않도록, 화상 처리 장치(11) 자체를 팬 시킬 수 있다.

한편, 스텝 S128에 있어서, 피사체가 촬상 범위 내에 없다고 판정된 경우, 즉, 피사체가 프레임아웃한 경우, 위치 검출부(314)는, 피사체가 프레임아웃하였다는 취지의 경고를 제시하기 위한 정보를, 표시부(34)에 공급하고, 처리는 스텝 S130으로 진행한다.

스텝 S130에 있어서, 표시부(34)는, 위치 검출부(314)로부터의 정보에 기초하여, 피사체가 프레임아웃하였다는 취지의 경고를 제시(표시)한다.

예를 들면, 피사체 영역을 나타내는 피사체틀 H의 중심 좌표가, 표시부(34)에 표시되어 있는 촬상 화상(촬상 범위)에 있어서, 영역 B의 우측으로 완전하게 프레임아웃한 경우, 표시부(34)는, 도 21의 우측 상부에 도시되는 화살표 P를 보다 강조해서 표시한다.

이에 의해, 유저는, 피사체가 프레임아웃하였다는 취지의 경고를 확인하고, 피사체를 프레임인 시키도록, 화상 처리 장치(11) 자체를 팬시킬 수 있다.

이상의 처리에 따르면, 피사체 영역의 사이즈가 목표 사이즈보다 큰 경우에는, 줌 아웃하도록, 광각 측으로 줌렌즈를 구동시키고, 피사체 영역의 사이즈가 목표 사이즈보다 작은 경우에는, 줌인하도록, 망원 측으로 줌렌즈를 구동시킬 수 있다. 따라서, 촬상 시에, 피사체와의 거리가 변화하는 경우라도, 미묘한 줌 조작을 행하지 않고, 촬상 범위에 있어서의 피사체의 크기를 대략 일정하게 유지하는 것이 가능하게 된다.

또한, 유저에 의해 줌 조작된 경우에는, 유저의 조작이 우선되므로, 유저가 원하는 촬상 범위로 조정할 수도 있다. 그리고, 유저에 의한 줌 조작이 종료한 후에는, 그 때의 피사체 영역의 사이즈가 목표 사이즈로서 갱신되므로, 목표 사이즈를 유저가 원하는 사이즈로 설정할 수 있다.

또한, 상술한 처리에 있어서는, 초기 동작 시의 피사체 영역의 사이즈를 목표 사이즈로서 설정하도록 하였지만, 예를 들면, 유저의 조작 등에 의해, 목표 사이즈를 미리 결정할 수 있도록 해도 된다.

또한, 상술한 처리에 있어서는, 피사체가 프레임아웃할 것 같다는(또는 프레임아웃하였다는) 취지의 경고를, 표시부(34)에 표시시키도록 하였지만, 유저 인터페이스(38)로서의 스피커에 음성을 출력시키거나, 편심된 추가 부가된 모터에 의해 구성되는 진동부를 구비하도록 하여, 그 진동부를 진동시키도록 해도 된다.

또한, 상술한 처리에 있어서는, 피사체로서의 인물이 추적되고, 그 인물의 크기를 촬상 범위에 있어서 대략 일정하게 유지하도록 하였지만, 피사체는 인물에 한정되지 않는다. 또한, 피사체가 인물인 경우, 인물의 얼굴을 검출하는 얼굴 검출기를 구비하는 것에 의해, 촬상 범위에 있어서의 얼굴의 크기를 대략 일정하게 유지하도록 할 수도 있다.

이상에 있어서는, 촬상 시에, 피사체와의 거리가 변화하는 경우라도, 촬상 범위에 있어서의 피사체의 크기를 대략 일정하게 유지하는 자동 줌 조정 처리에 대해서 설명하였다. 그러나, 화상 처리 장치(11)의 구성에서는, 피사체와의 거리가 일정한 경우에, 촬상 범위에 있어서의 피사체의 크기를, 원하는 크기로 할 수는 없다. 즉, 피사체가 인물인 경우, 촬상 범위에 있어서의 인물의 크기(소위 샷)에는, 전신상을 촬상하는 풀 샷, 상반신을 촬상하는 바스트 샷, 얼굴을 촬상하는 업 샷 등이 있지만, 이러한 샷이 되도록 촬상 범위를 조정할 수는 없다.

따라서, 이하에 있어서는, 촬상 범위에 있어서의 피사체의 크기가 원하는 크기가 되도록, 촬상 범위를 조정하는 구성에 대해서 설명한다.

[화상 처리 장치의 다른 구성예]

도 22는, 촬상 범위에 있어서의 피사체의 크기가 원하는 크기가 되도록, 촬상 범위를 조정하는 화상 처리 장치의 구성예를 도시하고 있다.

또한, 도 22의 화상 처리 장치(511)에 있어서, 도 1의 화상 처리 장치(11)에 설치된 것과 마찬가지의 기능을 구비하는 구성에 대해서는, 동일 명칭 및 동일 부호를 붙이는 것으로 하고, 그 설명은, 적절히 생략하는 것으로 한다.

즉, 도 22의 화상 처리 장치(511)에 있어서, 도 1의 화상 처리 장치(11)와 상이한 것은, 디지털 신호 처리부(33)에 있어서 얼굴 검출부(531)를 새롭게 설치하고, 제어부(35) 대신에, 제어부(532)를 설치한 점이다.

얼굴 검출부(531)는, YC 생성부(53)에 의해 생성된 휘도 신호 및 색 신호로 이루어지는 화상 데이터에 기초하여, 화상 데이터에 의해 표시되는 입력 화상에 있어서, 피사체 추적부(55)에 의해 검출된 피사체로서의 인물의 피사체 영역으로부터 얼굴을 검출하고, 얼굴의 영역(이하, 얼굴 영역이라고 함)을 나타내는 좌표 정보를 제어부(532)에 공급한다.

제어부(532)는, 피사체 추적부(55)로부터의 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 렌즈 구동부(36)를 제어함으로써, 렌즈 구동부(36)에, 광학계(31)에 포함되는 줌렌즈를 구동시킨다.

[제어부의 기능 구성예]

여기서, 도 23을 참조하여, 도 22의 제어부(532)의 기능 구성예에 대해서 설명한다.

도 23의 제어부(35)는, 조작 판정부(551), 좌표 정보 취득부(552), 사이즈비 산출부(553), 사이즈비 판정부(554), 이상 사이즈비 기억부(555), 및 렌즈 구동 제어부(556)를 구비하고 있다.

조작 판정부(551)는, 유저 인터페이스 제어부(37)로부터의 제어 신호에 기초하여, 유저 인터페이스(38)로서의 줌 버튼(또는 줌 레버)이 조작되었는지의 여부를 판정한다. 조작 판정부(551)는, 판정의 결과를 나타내는 정보를, 좌표 정보 취득부(552) 및 사이즈비 판정부(554)에 공급한다.

좌표 정보 취득부(552)는, 조작 판정부(551) 또는 렌즈 구동 제어부(556)로부터의 정보에 따라, 피사체 추적부(55) 및 얼굴 검출부(531)로부터 1프레임마다 공급되어 오는 피사체 영역 및 얼굴 영역의 좌표 정보를 취득하여, 사이즈비 산출부(553)에 공급한다.

사이즈비 산출부(553)는, 좌표 정보 취득부(552)로부터의 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 피사체 영역의 사이즈와 얼굴 영역의 사이즈의 비(이하, 사이즈비라고 함)를 산출하여, 사이즈비 판정부(554)에 공급한다.

사이즈비 판정부(554)는, 사이즈비 산출부(553)로부터의 사이즈비와, 이상 사이즈비 기억부(555)에 기억되어 있는 이상 사이즈비를 비교하고, 비교의 결과를 나타내는 정보를 렌즈 구동 제어부(556)에 공급한다.

이상 사이즈비 기억부(555)는, 이상적인 피사체 영역의 사이즈와 얼굴 영역의 사이즈의 비인 이상 사이즈비를 기억하고 있다. 이상 사이즈비는, 촬상되는 피사체로서의 인물이, 풀 샷, 바스트 샷, 및 업 샷과 같은 적절한 샷이 되는 피사체 영역의 사이즈와 얼굴 영역의 사이즈의 비로 되고, 유저에 의해 임의로 설정된다. 이상 사이즈비 기억부(555)에 기억되어 있는 이상 사이즈비는, 적절히 사이즈비 판정부(554)에 읽어 내어진다.

렌즈 구동 제어부(556)는, 사이즈비 판정부(554)로부터의 비교의 결과를 나타내는 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)(도 22)의 줌렌즈를 구동시킨다. 또한, 렌즈 구동 제어부(556)는, 줌렌즈를 구동시켰다는 취지의 정보를, 좌표 정보 취득부(552)에 공급한다.

[얼굴 검출 처리]

여기서, 도 24의 플로우차트를 참조하여, 도 22의 화상 처리 장치(511)에 의한 얼굴 검출 처리에 대해서 설명한다. 얼굴 검출 처리는, 1프레임마다 실행되는 피사체 추적부(55)에 의한 피사체 추적 처리 후에 실행된다.

얼굴 검출부(531)는, YC 생성부(53)에 의해 생성된 휘도 신호 및 색 신호로 이루어지는 화상 데이터에 기초하여, 화상 데이터에 의해 표시되는 입력 화상에 있어서, 피사체 추적부(55)에 의한 피사체 추적 처리에 의해 검출된 피사체로서의 인물의 피사체 영역으로부터 얼굴을 검출하고, 얼굴 영역을 나타내는 좌표 정보를 제어부(532)에 공급한다.

이와 같이 하여, 촬상 범위에 있어서, 주목하는 피사체로서 추적되고 있는 인물의 얼굴을 검출할 수 있다.

[지정 줌 처리]

다음으로, 도 25 및 도 26의 플로우차트를 참조하여, 도 23의 제어부(532)에 의한 지정 줌 처리에 대해서 설명한다.

스텝 S311에 있어서, 조작 판정부(551)는, 유저 인터페이스 제어부(37)로부터의 제어 신호에 기초하여, 유저에 의한 줌 조작이 되었는지의 여부를 판정한다.

스텝 S311에 있어서는, 유저에 의해 줌 조작이 될 때까지 처리가 반복되고, 줌 조작이 되었다고 판정된 경우, 조작 판정부(551)는, 줌 조작이 되었다는 취지의 정보를 좌표 정보 취득부(552)에 공급함과 함께, 유저 인터페이스 제어부(37)로부터의 줌 조작의 내용을 나타내는 제어 신호를, 사이즈비 판정부(554)에 공급하고, 처리는 스텝 S312로 진행한다.

스텝 S312에 있어서, 좌표 정보 취득부(552)는, 조작 판정부(551)로부터, 유저에 의해 줌 조작이 되었다는 취지의 정보가 공급되면, 소정의 프레임에 관한 피사체 추적부(55)로부터의 피사체 영역의 좌표 정보, 및, 얼굴 검출부(531)로부터의 얼굴 영역의 좌표 정보를 취득하여, 사이즈비 산출부(553)에 공급한다.

스텝 S313에 있어서, 사이즈비 산출부(553)는, 좌표 정보 취득부(552)로부터의 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 피사체 영역의 사이즈와 얼굴 영역의 사이즈의 사이즈비를 산출한다. 구체적으로는, 사이즈비 산출부(553)는, 피사체 영역의 높이 Hh(또는 폭 Hw)와, 얼굴 영역의 높이 Fh(또는 폭Fw)의 비 Fh/Hh(또는 Fw/Hw)를 사이즈비로서 산출한다. 사이즈비 산출부(553)는, 산출한 사이즈비를 사이즈비 판정부(554)에 공급하고, 처리는 스텝 S314로 진행한다.

스텝 S314에 있어서, 사이즈비 판정부(554)는, 사이즈비 산출부(553)로부터 사이즈비가 공급되면, 조작 판정부(551)로부터 공급되어 온, 유저 인터페이스 제어부(37)로부터의 제어 신호에 기초하여, 유저에 의한 줌 조작이, 망원측의 줌 조작인지의 여부를 판정한다.

스텝 S314에 있어서, 유저에 의한 줌 조작이, 망원측의 줌 조작이라고 판정된 경우, 처리는 스텝 S315로 진행한다.

스텝 S315에 있어서, 사이즈비 판정부(554)는, 사이즈비 산출부(553)로부터 사이즈비가, 풀 샷이 되는 이상 사이즈비보다 작은지의 여부를 판정한다.

여기서, 도 27을 참조하여, 이상 사이즈비에 대해서 설명한다.

도 27은, 줌렌즈의 구동 범위와, 입력 화상에 있어서의 피사체의 크기의 관계를 개념적으로 도시하고 있다.

도 27의 상측에는, 줌렌즈의 구동 범위가 도시되어 있고, 도면 중, 좌측단에 광각단이, 우측단에 망원단이 도시되어 있다. 또한, 광각단과 망원단 사이에는, 렌즈 위치 LP1 내지 LP6이 도시되어 있다.

또한, 도 27의 하측에는, 피사체로서의 인물이 촬상되어 있는 화상 a 내지 c가 도시되어 있다. 화상 a 내지 c에 있어서는, 각각 피사체가, 풀 샷, 바스트 샷, 및 업 샷이 되도록 촬상되어 있다.

여기서, 화상 a에 있어서 전신상이 촬상되어 있는 피사체의 피사체 영역 Ha의 높이를 Hah로 하고, 얼굴 영역 Fa의 높이를 Fah로 하면, 풀 샷이 되는 이상 사이즈비는, Fah/Hah로 나타내진다. 도 27에 있어서는, 이 이상 사이즈비 Fah/Hah는, 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가, 위치 LP1 내지 LP2 사이에 있을 때에 얻어지는 것이 도시되어 있다.

또한, 화상 b에 있어서 상반신이 촬상되어 있는 피사체의 피사체 영역 Hb의 높이를 Hbh로 하고, 얼굴 영역 Fb의 높이를 Fbh로 하면, 바스트 샷이 되는 이상 사이즈비는, Fbh/Hbh로 나타내진다. 도 27에 있어서는, 이 이상 사이즈비 Fbh/Hbh는, 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가, 위치 LP3 내지 LP4 사이에 있을 때에 얻어지는 것이 도시되어 있다.

또한, 화상 c에 있어서 주로 얼굴이 촬상되어 있는 피사체의 피사체 영역 Hc의 높이를 Hch로 하고, 얼굴 영역 Fc의 높이를 Fch로 하면, 업 샷이 되는 이상 사이즈비는, Fch/Hch로 나타내진다. 도 27에 있어서는, 이 이상 사이즈비 Fch/Hch는, 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가, 위치 LP5 내지 LP6 사이에 있을 때에 얻어지는 것이 도시되어 있다.

즉, 도 25의 플로우차트의 스텝 S315에 있어서는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 풀 샷이 되는 이상 사이즈비 Fah/Hah보다 작은지의 여부가 판정된다.

또한, 전신상이 촬상되어 있는 경우, 예를 들면, 피사체가, 멀리에서 촬상되어 있든, 가까운데서 촬영되어 있든, 사이즈비는 거의 변하지 않는다. 즉, 도 27의 화상 a에 있어서, 피사체가 보다 멀리에서 촬상되어 있을 때라도, 사이즈비는 Fah/Hah와 대략 동일한 값이 된다.

따라서, 스텝 S315에 있어서는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 풀 샷이 되는 이상 사이즈비 Fah/Hah보다 작고, 또한, 피사체 영역의 높이 Hh가 소정의 임계값보다 큰지의 여부가 판정된다. 여기서, 소정의 임계값은, 촬상 화상(촬상 범위)의 높이보다 작은 값인 것은 물론, 촬상 범위에 있어서, 피사체 영역의 상하에, 얼굴 영역이 약 1개 분 들어가는 값 등으로 된다.

스텝 S315에 있어서, 사이즈비가 풀 샷이 되는 이상 사이즈비보다 작다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 광각단과 렌즈 위치 LP1 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 망원 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S316으로 진행한다.

스텝 S316에 있어서, 렌즈 구동 제어부(556)는, 사이즈비 판정부(554)로부터의 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈를, 망원 측으로 거리 d1만큼 구동시킨다. 거리 d1은, 상술한 바와 같이, 렌즈 구동부(36)가, 1프레임 분의 피사체 추적 처리가 실행되는 동안에, 줌렌즈를 이동시킬 수 있는 거리로 된다. 렌즈 구동 제어부(556)는, 줌렌즈를 구동시켰다는 취지의 정보를 좌표 정보 취득부(552)에 공급한다.

스텝 S317에 있어서, 좌표 정보 취득부(552)는, 렌즈 구동 제어부(556)로부터, 줌렌즈를 구동시켰다는 취지의 정보가 공급되면, 다음의 프레임에 관한 피사체 추적부(55)로부터의 피사체 영역의 좌표 정보, 및, 얼굴 검출부(531)로부터의 얼굴 영역의 좌표 정보를 취득하여, 사이즈비 산출부(553)에 공급한다.

스텝 S318에 있어서, 사이즈비 산출부(553)는, 좌표 정보 취득부(552)로부터의 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 피사체 영역의 사이즈와 얼굴 영역의 사이즈의 사이즈비 Fh/Hh를 산출한다. 사이즈비 산출부(553)는, 산출한 사이즈비를 사이즈비 판정부(554)에 공급하고, 처리는 스텝 S319로 진행한다.

스텝 S319에 있어서, 사이즈비 판정부(554)는, 피사체가 풀 샷이 되었는지, 즉, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 풀 샷이 되는 이상 사이즈비 Fah/Hah와 동일하거나 또는 대략 동일하고, 또한, 피사체 영역의 높이 Hh가 소정의 임계값보다 큰지의 여부를 판정한다.

스텝 S319에 있어서, 피사체가 풀 샷이 되어 있지 않다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 아직 광각단과 렌즈 위치 LP1 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 망원 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S316으로 되돌아간다. 이후, 1프레임마다 스텝 S316 내지 S319의 처리가 반복된다.

그리고, 스텝 S319에 있어서, 피사체가 풀 샷이 되었다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP1 내지 LP2로 되었으므로, 사이즈비 판정부(554)는, 줌렌즈의 구동의 정지를 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S320으로 진행한다.

스텝 S320에 있어서, 렌즈 구동 제어부(556)는, 사이즈비 판정부(554)로부터의 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈의 구동을 정지시킨다.

이에 의해, 유저는, 유저로부터 먼 위치에 있는 피사체를 촬상하는 경우에도, 망원측의 줌 조작을 하기만 하면, 적절한 풀 샷으로 촬상할 수 있다.

한편, 스텝 S315에 있어서, 사이즈비가 풀 샷이 되는 이상 사이즈비보다 작지 않다고 판정된 경우, 처리는 스텝 S321로 진행하고, 사이즈비 판정부(554)는, 사이즈비가 바스트 샷이 되는 이상 사이즈비보다 작은지의 여부를 판정한다. 구체적으로는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 바스트 샷이 되는 이상 사이즈비 Fbh/Hbh보다 작은지의 여부가 판정된다.

스텝 S321에 있어서, 사이즈비가 바스트 샷이 되는 이상 사이즈비보다 작다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP1 내지 LP3 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 망원 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S322로 진행한다.

스텝 S322 내지 S324의 처리는, 상술한 스텝 S316 내지 S318의 처리와 마찬가지로 해서 행해지므로, 그 설명은 생략한다.

그리고, 스텝 S325에 있어서, 사이즈비 판정부(554)는, 피사체가 바스트 샷이 되었는지, 즉, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 바스트 샷이 되는 이상 사이즈비 Fbh/Hbh와 동일한지 또는 대략 동일한지의 여부를 판정한다.

스텝 S325에 있어서, 피사체가 바스트 샷이 되어 있지 않다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 아직 렌즈 위치 LP1 내지 LP3 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 망원 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S322로 되돌아간다. 이후, 1프레임마다 스텝 S322 내지 S325의 처리가 반복된다.

그리고, 스텝 S325에 있어서, 피사체가 바스트 샷이 되었다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP3 내지 LP4로 되었으므로, 사이즈비 판정부(554)는, 줌렌즈의 구동의 정지를 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S320으로 진행한다. 스텝 S320에 있어서는, 상술한 바와 같이, 줌렌즈의 구동이 정지한다.

이에 의해, 유저는, 풀 샷으로 피사체를 촬상하고 있는 경우에도, 망원측의 줌 조작을 하기만 하면, 적절한 바스트 샷으로 촬상할 수 있다.

한편, 스텝 S321에 있어서, 사이즈비가 바스트 샷이 되는 이상 사이즈비보다 작지 않다고 판정된 경우, 처리는 스텝 S326으로 진행하고, 사이즈비 판정부(554)는, 사이즈비가 업 샷이 되는 이상 사이즈비보다 작은지의 여부를 판정한다. 구체적으로는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 업 샷이 되는 이상 사이즈비 Fch/Hch보다 작은지의 여부가 판정된다.

스텝 S326에 있어서, 사이즈비가 업 샷이 되는 이상 사이즈비보다 작다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP3 내지 LP5 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 망원 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S327로 진행한다.

스텝 S327 내지 S329의 처리는, 상술한 스텝 S316 내지 S318 및 스텝 S322 내지 S324의 처리와 마찬가지로 해서 행해지므로, 그 설명은 생략한다.

그리고, 스텝 S330에 있어서, 사이즈비 판정부(554)는, 피사체가 업 샷이 되었는지, 즉, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 업 샷이 되는 이상 사이즈비 Fch/Hch와 동일한지 또는 대략 동일한지의 여부를 판정한다.

스텝 S330에 있어서, 피사체가 업 샷이 되어 있지 않다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 아직 렌즈 위치 LP3 내지 LP5 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 망원 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S327로 되돌아간다. 이후, 1프레임마다 스텝 S327 내지 S329의 처리가 반복된다.

그리고, 스텝 S330에 있어서, 피사체가 업 샷이 되었다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP5 내지 LP6으로 되었으므로, 사이즈비 판정부(554)는, 줌렌즈의 구동의 정지를 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S320으로 진행한다. 스텝 S320에 있어서는, 상술한 바와 같이, 줌렌즈의 구동이 정지한다.

이에 의해, 유저는, 바스트 샷으로 피사체를 촬상하고 있는 경우에도, 망원측의 줌 조작을 하기만 하면, 적절한 업 샷으로 촬상할 수 있다.

한편, 스텝 S326에 있어서, 사이즈비가 업 샷이 되는 이상 사이즈비보다 작지 않다고 판정된 경우, 즉, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP6보다 망원측에 있는 경우에는, 아무것도 처리되지 않는다. 이 경우, 피사체는, 업 샷이거나 또는 그것보다 가까운(접근된) 샷으로 촬상되어 있으므로, 망원측의 줌 조작이 되어도, 이 이상 줌인할 필요는 없다.

그런데, 스텝 S314에 있어서, 유저에 의한 줌 조작이, 망원측의 줌 조작이 아니라고 판정된 경우, 즉, 유저에 의한 줌 조작이, 광각측의 줌 조작이라고 판정된 경우, 처리는 스텝 S331로 진행한다.

스텝 S331에 있어서, 사이즈비 판정부(554)는, 사이즈비 산출부(553)로부터 사이즈비가, 업 샷이 되는 이상 사이즈비보다 큰지의 여부를 판정한다. 구체적으로는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 업 샷이 되는 이상 사이즈비 Fch/Hch보다 큰지의 여부가 판정된다.

스텝 S331에 있어서, 사이즈비가 업 샷이 되는 이상 사이즈비보다 크다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 망원단과 렌즈 위치 LP6 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 광각 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S332로 진행한다.

스텝 S332에 있어서, 렌즈 구동 제어부(556)는, 사이즈비 판정부(554)로부터의 정보에 기초하여, 렌즈 구동부(36)를 제어하고, 광학계(31)의 줌렌즈를, 광각 측으로 거리 d1만큼 구동시킨다. 렌즈 구동 제어부(556)는, 줌렌즈를 구동시켰다는 취지의 정보를 좌표 정보 취득부(552)에 공급한다.

스텝 S333에 있어서, 좌표 정보 취득부(552)는, 렌즈 구동 제어부(556)로부터, 줌렌즈를 구동시켰다는 취지의 정보가 공급되면, 다음의 프레임에 관한 피사체 추적부(55)로부터의 피사체 영역의 좌표 정보, 및, 얼굴 검출부(531)로부터의 얼굴 영역의 좌표 정보를 취득하여, 사이즈비 산출부(553)에 공급한다.

스텝 S334에 있어서, 사이즈비 산출부(553)는, 좌표 정보 취득부(552)로부터의 피사체 영역 및 얼굴 영역의 좌표 정보에 기초하여, 피사체 영역의 사이즈와 얼굴 영역의 사이즈의 사이즈비 Fh/Hh를 산출한다. 사이즈비 산출부(553)는, 산출한 사이즈비를 사이즈비 판정부(554)에 공급하고, 처리는 스텝 S335로 진행한다.

스텝 S335에 있어서, 사이즈비 판정부(554)는, 피사체가 업 샷이 되었는지, 즉, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 업 샷이 되는 이상 사이즈비 Fch/Hch와 동일한지 또는 대략 동일한지의 여부를 판정한다.

스텝 S335에 있어서, 피사체가 업 샷이 되어 있지 않다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 아직 망원단과 렌즈 위치 LP6 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 광각 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S332로 되돌아간다. 이후, 1프레임마다 스텝 S332 내지 S334의 처리가 반복된다.

그리고, 스텝 S335에 있어서, 피사체가 업 샷이 되었다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP6 내지 LP5로 되었으므로, 사이즈비 판정부(554)는, 줌렌즈의 구동의 정지를 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S320으로 진행한다. 스텝 S320에 있어서는, 상술한 바와 같이 줌 렌즈의 구동이 정지한다.

이에 의해, 유저는, 유저로부터 극히 가까운 위치에 있는 피사체를 촬상하는 경우에도, 광각측의 줌 조작을 하기만 하면, 적절한 업 샷으로 촬상할 수 있다.

한편, 스텝 S331에 있어서, 사이즈비가 업 샷이 되는 이상 사이즈비보다 크지 않다고 판정된 경우, 처리는 스텝 S336으로 진행하고, 사이즈비 판정부(554)는, 사이즈비가 바스트 샷이 되는 이상 사이즈비보다 큰지의 여부를 판정한다. 구체적으로는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 바스트 샷이 되는 이상 사이즈비 Fbh/Hbh보다 큰지의 여부가 판정된다.

스텝 S336에 있어서, 사이즈비가 바스트 샷이 되는 이상 사이즈비보다 크다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP6 내지 LP4 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 광각 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S337로 진행한다.

스텝 S337 내지 S340의 처리는, 상술한 스텝 S332 내지 S334의 처리와 마찬가지로 해서 행해지므로, 그 설명은 생략한다.

그리고, 스텝 S340에 있어서, 사이즈비 판정부(554)는, 피사체가 바스트 샷이 되었는지, 즉, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 바스트 샷이 되는 이상 사이즈비 Fbh/Hbh와 동일한지 또는 대략 동일한지의 여부를 판정한다.

스텝 S340에 있어서, 피사체가 바스트 샷이 되어 있지 않다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 아직 렌즈 위치 LP6 내지 LP4 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 광각 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S337로 되돌아간다. 이후, 1프레임마다 스텝 S337 내지 S340의 처리가 반복된다.

그리고, 스텝 S340에 있어서, 피사체가 바스트 샷이 되었다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP4 내지 LP3으로 되었으므로, 사이즈비 판정부(554)는, 줌렌즈의 구동의 정지를 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S320으로 진행한다. 스텝 S320에 있어서는, 상술한 바와 같이, 줌렌즈의 구동이 정지한다.

이에 의해, 유저는, 업 샷으로 피사체를 촬상하고 있는 경우에도, 망원측의 줌 조작을 하기만 하면, 적절한 바스트 샷으로 촬상할 수 있다.

한편, 스텝 S336에 있어서, 사이즈비가 바스트 샷이 되는 이상 사이즈비보다 크지 않다고 판정된 경우, 처리는 스텝 S341로 진행하고, 사이즈비 판정부(554)는, 사이즈비가 풀 샷이 되는 이상 사이즈비보다 큰지의 여부를 판정한다. 구체적으로는, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 풀 샷이 되는 이상 사이즈비 Fah/Hah보다 큰지의 여부가 판정된다.

스텝 S341에 있어서, 사이즈비가 풀 샷이 되는 이상 사이즈비보다 크다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP4 내지 LP2 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 광각 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S342로 진행한다.

스텝 S342 내지 S344의 처리는, 상술한 스텝 S332 내지 S334 및 스텝 S337 내지 S339의 처리와 마찬가지로 해서 행해지므로, 그 설명은 생략한다.

그리고, 스텝 S345에 있어서, 사이즈비 판정부(554)는, 피사체가 풀 샷이 되었는지, 즉, 사이즈비 산출부(553)로부터의 사이즈비 Fh/Hh가, 풀 샷이 되는 이상 사이즈비 Fah/Hah와 동일한지 또는 대략 동일한지의 여부를 판정한다.

스텝 S345에 있어서, 피사체가 풀 샷이 되어 있지 않다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 아직 렌즈 위치 LP4 내지 LP2 사이에 있으므로, 사이즈비 판정부(554)는, 줌렌즈의 광각 측으로의 구동을 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S342로 되돌아간다. 이후, 1프레임마다 스텝 S342 내지 S344의 처리가 반복된다.

그리고, 스텝 S345에 있어서, 피사체가 풀 샷이 되었다고 판정된 경우, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP2 내지 LP1로 되었으므로, 사이즈비 판정부(554)는, 줌렌즈의 구동의 정지를 지시한다는 취지의 정보를, 렌즈 구동 제어부(556)에 공급하고, 처리는 스텝 S320으로 진행한다. 스텝 S320에 있어서는, 상술한 바와 같이 줌렌즈의 구동이 정지한다.

이에 의해, 유저는, 바스트 샷으로 피사체를 촬상하고 있는 경우에도, 광각측의 줌 조작을 하기만 하면, 적절한 풀 샷으로 촬상할 수 있다.

한편, 스텝 S341에 있어서, 사이즈비가 풀 샷이 되는 이상 사이즈비보다 크지 않다고 판정된 경우, 즉, 도 27의 줌렌즈의 구동 범위에 있어서, 줌렌즈의 렌즈 위치가 렌즈 위치 LP1보다 광각측에 있는 경우에는, 아무것도 처리되지 않는다. 이 경우, 피사체는, 풀 샷이거나 또는 그것보다 먼(후퇴시킨) 샷으로 촬상되어 있으므로, 광각측의 줌 조작이 되어도, 이 이상 줌 아웃할 필요는 없다.

이상의 처리에 따르면, 줌 조작이 되었을 때에, 줌 조작의 내용에 따라, 피사체 영역과 얼굴 영역의 사이즈비가, 미리 결정된 이상 사이즈비에 근접하도록, 줌렌즈의 구동이 제어된다. 결과적으로, 피사체(인물)의 샷에 관계없이, 줌 조작의 내용에 따라, 피사체가, 풀 샷, 바스트 샷, 업 샷 등의 적절한 샷이 되도록 촬상 범위를 조정할 수 있다. 즉, 미묘한 줌 조작을 행하지 않고, 촬상 범위에 있어서의 피사체의 크기를, 원하는 크기로 하는 것이 가능하게 된다.

또한, 상술한 지정 줌 처리에 있어서, 사이즈비를, 피사체 영역 및 얼굴 영역의 높이 또는 폭에 의해 산출하도록 하였지만, 도 27의 화상 a 내지 c에 도시되는 바와 같이, 각각의 영역의 높이를 이용한 쪽이, 사이즈비로서 값의 변화가 크게 나타나므로, 피사체가 인물인 경우에는, 이상 사이즈비와의 비교·판정에 있어서 유효하다.

또한, 상술한 지정 줌 처리에 있어서는, 피사체로서의 인물과 그 피사체의 일부인 얼굴의 크기의 비에 의해 촬상 범위를 조정하도록 하였지만, 피사체 전체와 그 일부를 각각 검출할 수 있는 피사체이면, 본 발명을 적용할 수 있다. 예를 들면, 얼굴을 검출하는 얼굴 검출기와, 눈이나 코 등의 얼굴의 부위를 검출하는 얼굴 부위 검출기를 구비하는 것에 의해, 촬상 범위에 있어서의 얼굴의 크기를 원하는 크기로 하도록, 촬상 범위를 조정하는 것이 가능하게 된다.

또한, 상술한 지정 줌 처리를, 도 16 및 도 17에서 설명한 자동 줌 조정 처리에 있어서, 유저에 의한 줌 조작이 되었을 때에 실행하도록 해도 된다.

[화상 처리 장치의 또 다른 구성예]

여기서, 도 28을 참조하여, 자동 줌 조정 처리에 있어서, 유저에 의한 줌 조작이 되었을 때에 지정 줌 처리를 실행하는 화상 처리 장치의 구성예에 대해서 설명한다.

또한, 도 28의 화상 처리 장치(611)에 있어서, 도 22의 화상 처리 장치(511)에 설치된 것과 마찬가지의 기능을 구비하는 구성에 대해서는, 동일 명칭 및 동일 부호를 붙이는 것으로 하고, 그 설명은, 적절히 생략하는 것으로 한다.

즉, 도 28의 화상 처리 장치(611)에 있어서, 도 22의 화상 처리 장치(511)와 상이한 것은, 제어부(532) 대신에, 제어부(631)를 설치한 점이다.

[제어부의 기능 구성예]

여기서, 도 29를 참조하여, 도 28의 제어부(631)의 기능 구성예에 대해서 설명한다.

또한, 도 29의 제어부(631)에 있어서, 도 15의 제어부(35)에 설치된 것과 마찬가지의 기능을 구비하는 구성에 대해서는, 동일 명칭 및 동일 부호를 붙이는 것으로 하고, 그 설명은, 적절히 생략하는 것으로 한다.

즉, 도 29의 제어부(631)에 있어서, 도 15의 제어부(35)와 상이한 것은, 사이즈비 산출부(553), 사이즈비 판정부(554), 및 이상 사이즈비 기억부(555)를 새롭게 설치하고, 좌표 정보 취득부(311), 조작 판정부(313), 및 렌즈 구동 제어부(316) 대신에, 좌표 정보 취득부(651), 조작 판정부(652), 및 렌즈 구동 제어부(653)를 설치한 점이다.

또한, 도 29의 제어부(631)에 있어서, 사이즈비 산출부(553), 사이즈비 판정부(554), 및 이상 사이즈비 기억부(555)는, 도 23의 제어부(532)에 설치된 것과 마찬가지이므로, 그 설명은 생략하는 것으로 한다.

그리고, 도 29의 제어부(631)에 있어서, 좌표 정보 취득부(651)는, 도 15의 좌표 정보 취득부(311)와 마찬가지의 기능을 구비하는 것 외에, 도 23의 좌표 정보 취득부(552)와 마찬가지의 기능을 더 구비한다.

조작 판정부(652)는, 도 15의 조작 판정부(313)와 마찬가지의 기능을 구비하는 것 외에, 도 23의 조작 판정부(551)와 마찬가지의 기능을 더 구비한다.

렌즈 구동 제어부(653)는, 도 15의 렌즈 구동 제어부(316)와 마찬가지의 기능을 구비하는 것 외에, 도 23의 렌즈 구동 제어부(556)와 마찬가지의 기능을 더 구비한다.

[자동 줌 조정 처리]

다음으로, 도 30 및 도 31의 플로우차트를 참조하여, 도 29의 제어부(631)에 의한 자동 줌 조정 처리에 대해서 설명한다.

또한, 도 30, 도 31의 플로우차트의 스텝 S411 내지 S415, S417 내지 S430의 처리는, 도 16, 도 17의 플로우차트의 스텝 S111 내지 S115, S117 내지 S130의 처리와 기본적으로 마찬가지이므로, 그 설명은 생략한다.

즉, 스텝 S416에 있어서, 제어부(631)는, 지정 줌 처리를 실행한다.

[지정 줌 처리]

다음으로, 도 32 및 도 33의 플로우차트를 참조하여, 도 29의 제어부(631)에 의한 지정 줌 처리에 대해서 설명한다.

스텝 S511에 있어서, 좌표 정보 취득부(651)는, 조작 판정부(652)로부터, 유저에 의해 줌 조작이 되었다는 취지의 정보가 공급되면, 소정의 프레임에 관한 얼굴 검출부(531)로부터의 얼굴 영역의 좌표 정보를 취득하고, 사이즈비 산출부(553)에 공급한다. 즉, 피사체 추적부(55)로부터의 피사체 영역의 좌표 정보는, 도 30의 플로우차트의 스텝 S411에 있어서 취득되어 있으므로, 좌표 정보 취득부(651)는, 얼굴 영역의 좌표 정보만을 취득한다.

또한, 플로우차트의 스텝 S512 이후의 처리는, 도 25, 도 26의 플로우차트의 스텝 S313 이후의 처리와 기본적으로 마찬가지이므로, 그 설명은 생략한다.

또한, 지정 줌 처리는, 사이즈비가 이상 사이즈비와 대략 동일하게 될 때까지, 복수 프레임에 걸쳐서 실행된다. 도 30, 도 31에서 도시되는 자동 줌 조정 처리는, 기본적으로는 1프레임마다 실행되지만, 스텝 S416에서는, 복수 프레임에 걸쳐서 지정 줌 처리가 실행되고, 자동 줌 조정 처리로 되돌아가게 된다.

이상의 처리에 따르면, 피사체 영역의 사이즈가 목표 사이즈보다 큰 경우에는, 줌 아웃하도록, 광각 측으로 줌렌즈를 구동시키고, 피사체 영역의 사이즈가 목표 사이즈보다 작은 경우에는, 줌인하도록, 망원 측으로 줌렌즈를 구동시킬 수 있다. 따라서, 촬상 시에, 피사체와의 거리가 변화하는 경우라도, 미묘한 줌 조작을 행하지 않고, 촬상 범위에 있어서의 피사체의 크기를 대략 일정하게 유지하는 것이 가능하게 된다.

또한, 유저에 의해 줌 조작된 경우에는, 줌 조작의 내용에 따라, 피사체 영역과 얼굴 영역의 사이즈비가, 미리 결정된 이상 사이즈비에 근접하도록, 줌렌즈의 구동이 제어된다. 결과적으로, 피사체로서의 인물의 샷에 관계없이, 줌 조작의 내용에 따라, 피사체가, 풀 샷, 바스트 샷, 업 샷 등의 적절한 샷이 되도록 촬상 범위를 조정할 수 있다. 즉, 미묘한 줌 조작을 행하지 않고, 촬상 범위에 있어서의 피사체의 크기를, 원하는 크기로 하는 것이 가능하게 된다.

그리고, 유저에 의한 줌 조작이 종료한 후에는, 원하는 크기로 된 피사체 영역의 사이즈가 목표 사이즈로서 갱신되므로, 피사체와의 거리가 변화하는 경우라도, 촬상 범위에 있어서의 피사체의 크기를, 원하는 크기(샷)로 대략 일정하게 유지할 수 있다.

이상과 같이 해서, 피사체를 원하는 촬상 범위에서 보다 간단히 촬상하는 것이 가능하게 된다.

또한, 이상에 있어서는, 화상 처리 장치에, 피사체 영역을 검출·추적하는 피사체 추적부(55)를 구비하도록 하였지만, 프레임마다 피사체를 검출할 수 있으면, 다른 피사체 검출부를 구비하도록 해도 된다.

또한, 상술한 자동 줌 조정 처리에 있어서는, 줌렌즈의 구동을 제어함으로써, 소위 광학 줌을 조정하도록 하였지만, 화상 처리에 의해 화상이 확대됨으로써, 소위 전자 줌을 조정하도록 해도 된다.

[제어부의 또 다른 기능 구성예]

여기서, 도 34를 참조하여, 전자 줌을 조정하도록 한 화상 처리 장치의 제어부의 기능 구성예에 대해서 설명한다.

또한, 도 34의 제어부(631)에 있어서, 도 29의 제어부(631)에 설치된 것과 마찬가지의 기능을 구비하는 구성에 대해서는, 동일 명칭 및 동일 부호를 붙이는 것으로 하고, 그 설명은, 적절히 생략하는 것으로 한다.

즉, 도 34의 제어부(631)에 있어서, 도 29의 제어부(631)와 상이한 것은, 렌즈 구동 제어부(653) 대신에, 배율 제어부(731)를 설치한 점이다.

배율 제어부(731)는, 렌즈 구동 제어부(653) 및 전자 줌 제어부(751)를 구비하고 있다.

렌즈 구동 제어부(653)는, 도 29의 제어부(631)에 설치된 것과 마찬가지의 기능을 가지므로, 그 설명은 생략한다.

전자 줌 제어부(751)는, 조작 판정부(313)로부터의 판정의 결과를 나타내는 정보나, 비교부(315)로부터의 비교의 결과를 나타내는 정보에 기초하여, 해상도 변환부(54)를 제어하고, 화상 데이터에 의해 표시부(34)에 표시되는 입력 화상(촬상 화상)의 배율을 변화시킨다. 또한, 전자 줌 제어부(751)는, 사이즈비 판정부(554)로부터의 비교의 결과를 나타내는 정보에 기초하여, 해상도 변환부(54)를 제어하고, 화상 데이터에 의해 표시부(34)에 표시되는 입력 화상의 배율을 변화시킨다.

도 34의 제어부(631)에 있어서도, 도 29의 제어부(631)와 마찬가지의 작용 효과를 발휘할 수 있다. 또한, 도 34의 제어부(631)에 의한 자동 줌 조정 처리에 대해서는, 도 30 내지 도 33의 플로우차트를 참조하여 설명한, 도 29의 제어부(631)의 처리와 기본적으로 마찬가지이므로, 그 설명은 생략한다. 특히, 렌즈 구동 제어부(653)의 제어에 의해, 줌렌즈의 렌즈 위치가 망원단이 된 경우라도, 전자 줌 제어부(751)의 제어에 의해, 더욱 망원 측으로 화상을 확대할 수 있으므로, 촬상 범위의 조정의 폭을 넓히는 것이 가능하게 된다.

또한, 이상에 있어서는, 본 발명을 적용한 화상 처리 장치는, 움직임이 있는 피사체를 촬상하는 디지털 비디오 카메라나 디지털 스틸 카메라 등의 촬상 장치에 구비되는 것으로서 설명하였지만, 촬상 장치에 한하지 않고, 소정의 정보 처리 장치로부터 입력되어 온 동화상을, 표시 장치 등의 출력 장치에 출력하는 화상 처리 장치에 적용할 수 있다.

상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.

도 35는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)에 의해 서로 접속되어 있다.

버스(904)에는, 또한, 입출력 인터페이스(905)가 접속되어 있다. 입출력 인터페이스(905)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(906), 디스플레이, 스피커 등으로 이루어지는 출력부(907), 하드디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(908), 네트워크 인터페이스 등으로 이루어지는 통신부(909), 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(911)를 구동하는 드라이브(910)가 접속되어 있다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들면, 기억부(908)에 기억되어 있는 프로그램을, 입출력 인터페이스(905) 및 버스(904)를 거쳐서, RAM(903)에 로드해서 실행함으로써, 상술한 일련의 처리가 행하여진다.

컴퓨터(CPU(901))가 실행하는 프로그램은, 예를 들면, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광 자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(911)에 기록하거나, 혹은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 거쳐서 제공된다.

그리고, 프로그램은, 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 거쳐서 기억부(908)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 거쳐서 통신부(909)에서 수신하고, 기억부(908)에 인스톨할 수 있다. 기타, 프로그램은, ROM(902)이나 기억부(908)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이어도 된다.

또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러 가지의 변경이 가능하다.

11 : 화상 처리 장치
34 : 표시부
35 : 제어부
55 : 피사체 추적부
71 : 피사체 맵 생성부
72 : 피사체 후보 영역 사각형화부
73 : 피사체 영역 선택부
74 : 가중 계수 산출부
111 : 특징량 맵 생성부
112 : 대역 특징량 맵 생성부
113 : 대역 특징량 맵 합성부
114 : 합성 특징량 맵 합성부
131 : 2값화 처리부
132 : 라벨링 처리부
133 : 사각형 영역 좌표 산출부
134 : 영역 정보 산출부
151 : 영역 정보 비교부
152 : 피사체 영역 결정부
200 : 입력 화상
201 : 피사체 맵
221, 222 : 사각형 영역
231 : 피사체틀
311 : 좌표 정보 취득부
312 : 목표 사이즈 설정부
313 : 조작 판정부
314 : 위치 검출부
315 : 비교부
316 : 렌즈 구동 제어부
511 : 화상 처리 장치
531 : 얼굴 검출부
532 : 제어부
551 : 조작 판정부
552 : 좌표 정보 취득부
553 : 사이즈비 산출부
554 : 사이즈비 판정부
555 : 이상 사이즈비 기억부
556 : 렌즈 구동 제어부
631 : 제어부
651 : 좌표 정보 취득부
652 : 조작 판정부
653 : 렌즈 구동 제어부
731 : 배율 제어부
751 : 전자 줌 제어부

Claims (14)

1. 화상 처리 장치로서,
   피사체를 촬상하는 촬상 수단과,
   상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 수단과,
   유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단
   을 구비하는, 화상 처리 장치.
2. 제1항에 있어서,
   상기 소정값을 미리 기억하는 기억 수단과,
   상기 산출 수단에 의해 산출된 상기 비가, 상기 기억 수단에 의해 기억되어 있는 상기 소정값과 동일한지 또는 대략 동일한지의 여부를 프레임마다 판정하는 판정 수단을 더 구비하고,
   상기 배율 제어 수단은, 상기 판정 수단에 의해, 상기 비가 상기 소정값과 동일하다고 또는 대략 동일하다고 판정될 때까지 상기 줌 배율을 제어하는, 화상 처리 장치.
3. 제1항에 있어서,
   상기 산출 수단은, 사각형 영역으로서의 상기 주목 영역 및 상기 부분 영역의 높이의 비를 산출하는, 화상 처리 장치.
4. 제1항에 있어서,
   상기 산출 수단은, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체로서의 인물의 영역인 인물 영역과, 상기 인물 영역에 포함되는 상기 인물의 얼굴의 영역인 얼굴 영역의 비를 산출하는, 화상 처리 장치.
5. 제1항에 있어서,
   상기 배율 제어 수단은, 상기 유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 상기 소정값과 동일하게 또는 대략 동일하게 되도록, 줌렌즈의 구동을 제어하는, 화상 처리 장치.
6. 제1항에 있어서,
   상기 배율 제어 수단은, 상기 유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 상기 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 전자적인 확대를 제어하는, 화상 처리 장치.
7. 제1항에 있어서,
   상기 촬상 화상에 있어서, 상기 주목 영역의 사이즈와, 미리 설정된 목표 사이즈를 비교하는 비교 수단을 더 구비하고,
   상기 배율 제어 수단은, 상기 유저에 의해 줌 조작이 되어 있지 않은 경우, 상기 비교 수단에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는, 화상 처리 장치.
8. 제7항에 있어서,
   상기 배율 제어 수단은, 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가, 상기 소정의 임계값보다 작아지도록 상기 촬상 화상의 줌 배율을 제어하고 있는 동안에, 상기 유저에 의해 줌 조작이 되었을 때, 상기 줌 조작에 따라 상기 촬상 화상의 줌 배율을 제어하고,
   상기 유저에 의해 줌 조작이 된 후의 상기 주목 영역의 사이즈를 상기 목표 사이즈로 설정하는 설정 수단을 더 구비하는, 화상 처리 장치.
9. 제7항에 있어서,
   상기 촬상 화상에 있어서의 상기 주목 영역의 위치를 검출하는 검출 수단을 더 구비하고,
   상기 배율 제어 수단은, 상기 검출 수단에 의해 상기 주목 영역의 위치가 상기 촬상 화상의 바깥 가장자리 영역에 있는 것이 검출된 경우, 광각 측으로 상기 촬상 화상의 줌 배율을 제어하는, 화상 처리 장치.
10. 제9항에 있어서,
    상기 배율 제어 수단의 제어에 의해 상기 촬상 화상의 줌 배율이 광각단(廣角端)이 된 경우, 상기 피사체가 상기 촬상 화상으로부터 벗어난다는 취지를 제시하는 제시 수단을 더 구비하는, 화상 처리 장치.
11. 피사체를 촬상하는 촬상 수단과,
    상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 수단과,
    유저에 의한 줌 조작에 따라, 상기 산출 수단에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비하는 화상 처리 장치의 화상 처리 방법으로서,
    상기 산출 수단이, 상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 스텝과,
    상기 배율 제어 수단이, 유저에 의한 줌 조작에 따라, 상기 산출 스텝의 처리에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 스텝을 포함하는, 화상 처리 방법.
12. 피사체를 촬상하는 촬상 수단을 구비하는 화상 처리 장치의 화상 처리를 컴퓨터에 실행시키는 프로그램으로서,
    상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역과, 상기 주목 영역에 포함되는 상기 피사체의 부분의 영역인 부분 영역의 비를 산출하는 산출 스텝과,
    유저에 의한 줌 조작에 따라, 상기 산출 스텝의 처리에 의해 산출된 상기 비가 소정값과 동일하게 또는 대략 동일하게 되도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
13. 화상 처리 장치로서,
    피사체를 촬상하는 촬상 수단과,
    상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역을 소정의 화상 처리에 의해 검출하는 검출 수단과,
    상기 검출 수단에 의해 검출된 상기 주목 영역의 사이즈와 미리 설정된 목표 사이즈를 비교하는 비교 수단과,
    상기 비교 수단에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비하는, 화상 처리 장치.
14. 피사체를 촬상하는 촬상 수단과,
    상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역을 소정의 화상 처리에 의해 검출하는 검출 수단과,
    상기 검출 수단에 의해 검출된 상기 주목 영역의 사이즈와 미리 설정된 목표 사이즈를 비교하는 비교 수단과,
    상기 비교 수단에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 수단을 구비하는 화상 처리 장치의 화상 처리 방법으로서,
    상기 촬상 수단에 의해 촬상된 촬상 화상에 있어서, 주목하는 상기 피사체의 영역인 주목 영역을 소정의 화상 처리에 의해 검출하는 검출 스텝과,
    상기 검출 스텝의 처리에 의해 검출된 상기 주목 영역의 사이즈와, 미리 설정된 목표 사이즈를 비교하는 비교 스텝과,
    상기 비교 스텝의 처리에 의해 비교된 상기 주목 영역의 사이즈와 상기 목표 사이즈 차가 소정의 임계값보다 작아지도록, 상기 촬상 화상의 줌 배율을 제어하는 배율 제어 스텝을 포함하는, 화상 처리 방법.

Images