KR20140097221A

KR20140097221A - 화상 처리 장치, 화상 처리 방법, 프로그램

Info

Publication number: KR20140097221A
Application number: KR1020147014168A
Authority: KR
Inventors: 마사야 기노시타
Original assignee: 소니 주식회사
Priority date: 2011-12-06
Filing date: 2012-10-16
Publication date: 2014-08-06
Also published as: US20170280047A1; TW201330611A; IN2014MN00982A; US10630891B2; US20140334681A1; JP2013120949A; CN103975575B; JP5987306B2; US9734580B2; BR112014013237A2; EP2790397A4; EP2790397A1; EP2790397B1; CN103975575A; RU2014122173A; WO2013084593A1

Abstract

화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출한다. 그리고 검출된 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구한다. 이 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정한다.

Description

화상 처리 장치, 화상 처리 방법, 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}

본 발명은, 화상 내에서 주요한 피사체를 판정하는 화상 처리 장치, 화상 처리 방법 및 화상 내에서 주요한 피사체를 판정하는 처리를 실행시키는 프로그램에 관한 것이다.

최근의 디지털 스틸 카메라, 디지털 비디오 카메라에는 얼굴 검출 기능이 표준적으로 구비되어 있어, 얼굴 위치·영역에 맞춰서 카메라의 각종 파라미터(포커스·밝기 등)를 최적으로 맞추는 기능이 탑재되어 있다.

한편, 촬상 화상 내에서, 피사체 추종의 타깃으로 하는 「주요 피사체」를 유저가 지정함으로써 선택하는 방법이, 특허문헌 1에 기재되어 있다.

또한 예를 들어 상기 특허문헌 2, 3, 4에 개시된 기술을 사용하면, 임의의 피사체의 전신 프레임을 둘러싼 피사체 추종을 실현할 수 있다.

또한, 오토 포커스·자동 노광 등은, 촬상 화상 내의 원하는 영역을 검출·추적하여, 그 영역이 가장 적합해지도록 광학계 등을 제어하는 기능도 존재한다.

이와 같이, 촬상 화상 내에서, 유저가 주요 피사체로서 지정한 화상, 예를 들어 얼굴 등의 화상 영역을 추종하거나, 얼굴 영역에 포커스를 맞추는 등의 기술이 알려져 있다.

일본 특허 공개 제2011-166305호 공보 일본 특허 공개 제2011-146826호 공보 일본 특허 공개 제2011-146827호 공보 일본 특허 공개 제2011-160379호 공보

그런데, 촬상 화상 내에서의, 추종이나 포커스 맞춤의 목적이 되는 원하는 영역, 즉 「주요 피사체」는, 현재는 각종 검출기로부터 얻어지는 「복수의 후보 영역」 중에서 촬상자 자신이 어떠한 방법으로 하나의 후보를 선택함으로써 결정된다.

예를 들어 카메라를 소지한 상태에서, 화면 표시된 스루 화상(셔터 조작 시점 이외에 표시되는 피사체의 모니터링 화상)에 비쳐져 있는 복수의 얼굴 중에서 터치 패널에 의해 임의의 얼굴을 선택하는 행위로 주요 피사체가 선정된다. 또는 유저 지정의 타이밍(셔터 절반 누름 등)에서 소정의 영역 내에 존재하는 피사체를 주요 피사체로 하는 등이다.

그러나 실제의 사용예에서는 이 사용자 인터페이스를 생각해 보면, 「촬상자에 의한 주요 피사체의 선택」이라는 행위 자체가 어려운 경우가 많이 있다.

예를 들어 여기저기 움직이는 피사체에 계속해서 초점을 맞추고 싶기 때문에 이 기능을 사용하고자 하는 것인데, 유저가 카메라를 들고 피사체를 겨냥하면서 손가락으로 선택하는 것 자체가 어렵다.

예를 들면, 피사체의 변화(이동)에 대한 유저의 반응 속도에 따라 지정이 곤란한 경우도 있다. 예를 들어 여기저기 움직이는 피사체를, 스루 화상의 화면 상에서 잘 지정할 수 없는 경우이다.

또한, 애당초 카메라를 손에 들고, 피사체를 향해 피사체를 선정하고 있는 상황에서, 유저가 화면 상에서 주요 피사체를 손가락으로 선택하는 행위 자체가 어렵다.

또한 터치 패널을 배치한 표시 화면의 해상도에 따라, 유저에게 있어서 피사체를 선택하기 어려운 경우가 있다.

또한, 터치 패널을 배치한 표시 화면 상의 피사체 크기와 유저의 손가락의 크기(굵기)에 따라서는, 원하는 피사체를 적절하게 지정할 수 없는 경우도 있다.

또한, 카메라 시스템상의 타임 래그, 예를 들어 실제의 광경과 촬상 화상의 스루 화상의 타임 래그에 의해, 유저가 적절하게 피사체를 지정하기 어려운 경우도 있다.

나아가 동화상 촬상·기록 중에 이 조작을 행하는 경우에는, 주요 피사체의 선택 행위에 의한 화상 흔들림이 그대로 기록되게 되거나, 프레임 아웃 또는 일시 차폐 등에 의한 추적 소실(실패) 시에 재선택이라는 행위를 강요하도록 되어 있다.

이와 같이, 핸드헬드 타입의 카메라에 있어서, 주요 피사체를 선택하는 행위 자체가, 그것을 필요로 하는 많은 사용예에서 어려워, 촬상자에게 스트레스를 주게 된다는 문제가 있다.

그래서 본 발명에서는, 촬상자 등의 유저가 의도적으로 피사체를 선택하는 행위를 행하지 않아도, 유저가 원하는 대상 피사체를 판정하여, 주요 피사체로 하는 기술을 실현하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는, 화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출하는 후보 검출부와, 상기 후보 검출부에서 검출한 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고, 상기 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정부를 구비한다.

본 발명의 화상 처리 방법은, 화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출하고, 검출된 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고, 상기 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 화상 처리 방법이다.

본 발명의 프로그램은, 화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보로서 검출된 후보 화상에 대해서, 화각 공간 내에서의 위치 상태를 판정하는 위치 상태 판정 처리와, 상기 위치 상태 판정 처리에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하는 안정 존재도 산출 처리와, 상기 안정 존재도 산출 처리에서 구해진 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정 처리를 연산 처리 장치에 실행시키는 프로그램이다.

이러한 본 발명의 기술에 의하면, 추출된 후보 화상 중에서, 복수의 프레임에서의 안정 존재도를 구한다. 안정 존재도란, 어떤 화상이, 화각 공간 내에서 위치적으로 소정의 상태인 것의 빈도(시간적인 존재 확실도)를 나타내는 값으로 한다. 카메라를 잡고 있는 촬상자가, 타깃으로서 겨냥하고 있다고 생각되는 확실도가 높은 피사체는, 안정 존재도가 높아진다. 즉 촬상자가 주로 겨냥하고 있는 피사체는, 촬상 화상 내의 위치로서, 촬상자가 중심이라고 생각하는 점이나 영역에 가능한 한 들어가도록 하고, 또한 촬상자가 그 피사체를 겨냥함으로써 자연히 장시간 촬상 화상에 들어온다. 따라서, 위치적으로 소정의 상태가 시간적으로 높은 빈도로 촬상 화상 내에 존재하는 피사체(안정 존재도가 높은 피사체)는, 촬상자가 겨냥하고 있는 주요 피사체라고 추정할 수 있다.

본 발명에 의하면, 촬상 화상 내에서 자동으로 주요 피사체가 판정되기 때문에, 촬상자 등의 유저가, 주요 피사체를 선택하는 행위를 행할 필요가 없다. 따라서, 유저의 조작성, 편리성을 향상시킬 수 있다. 예를 들어 본 발명의 화상 처리 장치를 탑재한 촬상 장치를 손에 들고 촬상을 행하는 경우의 조작성의 향상, 유저 스트레스의 저감, 나아가 자동적인 주요 피사체 판정에 따른 각종 기능의 실현이라는 제품 부가 가치 향상을 실현할 수 있다.

도 1은 본 발명의 실시 형태의 화상 처리 장치의 구성예의 블록도이다.
도 2는 실시 형태의 화상 처리 장치의 주요 피사체 판정 처리의 흐름도이다.
도 3은 실시 형태의 촬상 장치의 블록도이다.
도 4는 실시 형태의 주요 피사체 판정 처리 타입 I의 흐름도이다.
도 5는 실시 형태의 주요 피사체 판정 처리 타입 II의 흐름도이다.
도 6은 실시 형태의 후보 화상 프레임과 판정 기준점의 설명도이다.
도 7은 실시 형태의 후보 화상 프레임과 판정 기준점의 거리의 설명도이다.
도 8은 실시 형태의 위치 상태에 의한 안정 존재도 판정의 설명도이다.
도 9는 실시 형태의 처리예 1의 흐름도이다.
도 10은 실시 형태의 처리예 2의 흐름도이다.
도 11은 실시 형태의 처리예 3의 흐름도이다.
도 12는 실시 형태의 처리예 4의 흐름도이다.
도 13은 실시 형태의 처리예 5의 흐름도이다.
도 14는 실시 형태의 처리예 6의 흐름도이다.
도 15는 실시 형태의 후보 화상 프레임과 판정 기준 영역의 설명도이다.
도 16은 실시 형태의 위치 상태에 의한 안정 존재도 판정의 설명도이다.
도 17은 실시 형태의 처리예 7의 흐름도이다.
도 18은 실시 형태의 처리예 8의 흐름도이다.
도 19는 실시 형태의 처리예 9의 흐름도이다.
도 20은 실시 형태의 처리예 10의 흐름도이다.
도 21은 실시 형태의 처리예 11의 흐름도이다.
도 22는 실시 형태의 처리예 12의 흐름도이다.
도 23은 실시 형태의 컴퓨터 장치에서의 적용의 경우의 블록도이다.

이하, 실시 형태를 다음의 순서로 설명한다.

<1. 화상 처리 장치의 구성>

<2. 촬상 장치의 구성>

<3. 주요 피사체 결정 처리 개요>

[3-1: 처리 타입 I]

[3-2: 처리 타입 II]

[3-3: 주요 피사체 판정 기회/목적 등]

<4. 구체적 처리예>

[4-1: 처리예 1(타입 I; 판정 기준점; 선착 판정; 누적 존재)]

[4-2: 처리예 2(타입 I; 판정 기준점; 선착 판정; 계속 존재)]

[4-3: 처리예 3(타입 I; 판정 기준점; 선착 판정; 누적 존재; 확장 예)]

[4-4: 처리예 4(타입 I; 판정 기준점; 선착 판정; 누적 존재; 조건 판정 첨부)]

[4-5: 처리예 5(타입 I; 판정 기준점; 일정 시간 판정; 누적 존재)]

[4-6: 처리예 6(타입 I; 판정 기준점; 일정 시간 판정; 계속 존재)]

[4-7: 처리예 7(타입 I; 판정 기준 영역; 선착 판정; 누적/계속 존재)]

[4-8: 처리예 8(타입 I; 판정 기준 영역; 일정 시간 판정; 누적/계속 존재)]

[4-9: 처리예 9(타입 II; 판정 기준점; 평균적 존재)]

[4-10: 처리예 10(타입 II; 판정 기준점; 누적 존재)]

[4-11: 처리예 11(타입 II; 판정 기준점; 계속 존재)]

[4-12: 처리예 12(타입 II; 판정 기준 영역; 평균적 존재)]

<5. 프로그램 및 컴퓨터 장치에 대한 적용>

<6. 변형예>

또한, 사용하는 각 용어의 의미는 다음과 같다.

「화각 공간」(Field of view)이란, 촬상 화상에 나타나는 공간을 의미한다. 주로 촬상 화상에서의 화면 평면으로서의 2차원 공간으로서의 의미를 갖지만, 이것뿐만 아니라, 또한 촬상 시의 카메라 위치에 대한 피사체의 상대적인 거리도 포함하는 3차원 공간으로서의 의미로도 사용한다. 또한, 촬상 화상에 대해서, 촬상 시의 카메라 위치에 대한 피사체의 상대적인 거리를 설명할 경우, 「피사체 거리」라는 말을 사용한다.

실시 형태에서는 「화각 공간」이란, 주로 화면 평면의 2차원 공간(촬상 화상에서의 x-y 좌표 공간)을 나타내는 의미로 사용하며, 본 발명의 기술은 「화각 공간」은 화면 평면의 2차원 공간이라고 해서 적용할 수 있지만, 특히 화면 평면 외에도 「피사체 거리」를 고려한 경우에는, 「화각 공간」은 3차원 공간(x-y-z 좌표 공간)을 의미하는 것이 된다.

더욱 상세히 설명하면, 후에 변형예로서 설명하지만, 「화각 공간」은, 화면 평면의 가로 방향 위치(X 좌표)만, 또는 화면 평면의 가로 방향 위치(y 좌표)만, 또는 피사체 거리(z 좌표)만을 생각한 1차원 공간이라고 생각하는 것도 가능하다.

「위치 상태」란, 촬상 화상 데이터에서의 후보 화상의, 화각 공간 내의 절대적 또는 상대적인 위치의 상황을 총칭한 말로 한다.

「위치 상태」의 구체예로서는,

·실시 형태에서 설명하는 판정 기준점과의 상대 거리

·실시 형태에서 설명하는 판정 기준 영역에 대한 상대적 위치 관계나 상대 거리

·촬상 화상의 이차원 평면 내에서의 후보 화상의 위치

·피사체 거리

·피사체 거리와 판정 기준점 또는 판정 기준 영역과의 상대 위치 관계

등이 있다.

「안정 존재도」란, 화각 공간 내에서 어떤 피사체가 위치적으로 소정의 상태에 있는 빈도를 나타내는 값으로 한다. 예를 들어 시간적으로 높은 확실도로 화상 내에서 소정의 상태에 있는지 여부를 판정할 수 있는 지표값이다. 후술하는 실시 형태에 입각하여 말하면, 후보 화상이, 화각 공간 내의 위치 상태로서, 어떤 소정의 위치 상태에 존재하는 누적 시간이나 계속 시간, 또는 평균적 존재 등을 나타내는 값이며, 이 「안정 존재도」로서 계산되는 예를 들어 누적 시간이나 계속 시간이 높은 화상은, 촬상자가 주로 겨냥하고 있는 피사체라고 추정할 수 있는 것으로 하고 있다.

<1. 화상 처리 장치의 구성>

도 1에, 실시 형태의 화상 처리 장치의 구성예를 나타낸다.

화상 처리 장치(1)는, 주요 피사체 판정부(2)와 후보 검출부(3)를 갖는다.

후보 검출부(3)는, 입력된 화상 데이터(Dg)의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출하고, 주요 피사체 판정부(2)에 후보 화상 정보를 출력한다.

즉, 시간축 상에서 연속적으로 입력되는 화상 데이터(Dg)의 프레임마다(또는 간헐적인 프레임마다), 얼굴 화상 검출, 인체 화상 검출 등을 행하여, 주요 피사체의 후보가 되는 화상을 추출한다.

또한, 얼굴 검출, 인체 검출 등은, 촬상 화상 데이터에 대한 화상 해석에서의 패턴 매칭의 방법 등으로 가능한데, 패턴 매칭에 사용하는 사전만 바꿔 넣으면 다른 검출기도 원리적으로는 실현 가능하다. 예를 들어 (특정 종의) 개 얼굴 검출·고양이 얼굴 검출 등으로서 주요 피사체의 후보 화상을 추출해도 된다.

또한 예를 들어 프레임 차분에 의한 동체 검출의 방법으로 동체를 검출하고, 당해 동체를 후보 화상으로 하는 것도 생각할 수 있고, 세일런시(Saliency)라 불리는 주시 영역 추출의 방법을 사용해도 된다.

그리고 후보 검출부(3)는, 추출한 후보 화상을 나타내는 정보, 예를 들어 후보 화상의 화면 내의 이차원 방향의 위치 정보(x, y 좌표값)나, 피사체 거리, 화상 크기(픽셀수) 등을 후보 화상 정보로서 출력한다.

주요 피사체 판정부(2)는, 후보 검출부(3)로부터 공급된 후보 화상 정보로 나타나는 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고, 구한 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정한다. 그리고 주요 피사체 정보(Dm)를 출력한다.

이 때문에 주요 피사체 판정부(2)는, 예를 들어 소프트웨어 프로그램에 의해 실현되는 연산 처리 기능으로서, 위치 상태 판정부(2a), 안정 존재도 산출부(2b), 설정 처리부(2c)가 설치된다.

위치 상태 판정부(2a)는, 후보 화상 정보로 나타나는 후보 화상에 대해서, 화각 공간 내에서의 위치 상태를 판정한다.

안정 존재도 산출부(2b)는, 위치 상태 판정부(2a)에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 각 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구한다.

설정 처리부(2c)는, 안정 존재도 산출부(2b)에서 구해진 안정 존재도를 사용하여, 각 후보 화상 중에서 주요 피사체를 판정하고, 어떤 후보 화상을 주요 피사체로 설정하는 처리를 행한다. 주요 피사체로서 설정된 화상을 나타내는 정보가, 주요 피사체 정보(Dm)로서 출력되어, 다른 어플리케이션 소프트웨어나 처리 회로부 등에 건네준다.

또한, 후보 검출부(3)는, 화상 해석 장치로서, 비디오 처리 DSP(Digital Signal Processor)나 CPU(Central Processing Unit)에서 실현할 수 있다.

또한 주요 피사체 판정부(2)는, 연산 처리 장치로서 CPU나 DSP에서 실현할 수 있다.

또한, 주요 피사체 판정부(2)를 구성하는 CPU 등이, 후보 검출부(3)로서의 동작을 실행하는 구성도 상정된다. 즉, 화상 해석을 행하는 후보 검출부(3)가, 주요 피사체 판정부(2)가 되는 연산 처리 장치 내의 1 기능 블록으로서 구성되는 경우도 있다.

이 화상 처리 장치(1)에 의한 처리의 흐름은 도 2의 A와 같이 된다.

스텝 F1000으로서, 화상 데이터(Dg)의 입력이 개시된다. 화상 데이터(Dg)는, 도시하지 않은 촬상 장치부, 또는 별체의 촬상 장치로부터 송신된 화상 데이터를 수신하는 수신부 등에 의해 입력되어 온다. 또는 촬상 장치에서 촬상되어, 기록 매체에 보존된 동화상 데이터가, 재생되어 입력되는 경우도 있다.

화상 처리 장치(1)가 주요 피사체 판정을 실행하는 경우, 처리는 스텝 F1001에서 F1002로 진행한다.

스텝 F1002에서는, 후보 검출부(3)가, 순차 입력되어 오는 화상 데이터(Dg)의 각 프레임을 대상으로 해서 화상 해석이나 프레임 차분 검출, 주시 영역 검출 등을 행하여, 소정의 후보 화상의 검출을 행하는 처리를 개시한다.

후보 검출부(3)는, 입력되는 모든 프레임을 대상으로 하여 후보 화상 추출을 행해도 되고, 1 프레임걸러, 2 프레임걸러 등, 간헐적인 프레임을 대상으로 하여 후보 화상 추출을 행해도 된다. 즉 후보 검출부(3)는, 주요 피사체 판정을 행하는 기간은, 적어도 시계열 상에서의 복수의 프레임에 대하여 후보 화상의 추출 처리를 행해 나가면 된다. 어떤 화상을 후보 화상으로 할지는 설정에 따라 다양한데, 예를 들어 얼굴 화상, 인체 화상, 개 화상, 고양이 화상 등을 생각할 수 있다.

그리고 후보 검출부(3)는, 각 프레임에 대하여 각각, 검출한 후보 화상을 나타내는 후보 화상 정보를 주요 피사체 판정부(2)에 출력한다.

스텝 F1003에서는 주요 피사체 판정부(2)가 주요 피사체 판정 처리를 행한다.

이 주요 피사체 판정 처리는 도 2의 B와 같이 된다.

스텝 F1에서, 위치 상태 판정부(2a)가 순차 입력되는 후보 화상 정보를 도입하여, 각 후보 화상의 위치 상태를 판정한다. 후보 화상은 1 프레임당 1개 또는 복수 존재하는 경우가 있고, 프레임 내에 후보 화상이 존재하지 않는 경우도 있다. 어떤 프레임에 복수의 후보 화상이 존재하는 경우, 각 후보 화상에 대하여 위치 상태를 각각 판정하게 된다.

스텝 F2에서는, 위치 상태 판정 처리에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 안정 존재도 산출부(2b)가, 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 산출한다. 예를 들어 위치 상태가 화상 중심에 가까운 상태인 빈도를 나타내는 값 등으로서의 안정 존재도를 산출한다.

스텝 F3에서는, 설정 처리부(2c)가, 각 후보 화상에 대한 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정한다. 예를 들어 위치 상태가 화상 중심에 가까운 상태인 빈도를 나타내는 값 등으로서의 안정 존재도가 가장 높은 값이 된(또는 시간적으로 가장 빨리 소정값에 달한) 후보 화상을 주요 피사체라 판정한다.

도 2의 A의 스텝 F1003에서는, 주요 피사체 판정부(2)가 이상과 같이 도 2의 B의 스텝 F1 내지 F3을 행하여, 예를 들어 1개의 후보 화상을 주요 피사체로서 설정한다.

그리고, 도 2의 A의 스텝 F1004에서, 주요 피사체 판정부(2)는, 주요 피사체 정보(Dm)를 어플리케이션 프로그램 등에 건네준다.

어플리케이션 프로그램 등에서는, 주요 피사체로 설정된 화상이 특정된 것에 따른 처리를 행한다. 예를 들어, 포커스 제어, 추종 처리, 화상 효과 처리 등이다.

이상과 같이 화상 처리 장치(1)에 의한 주요 피사체 판정 처리는, 추출된 후보 화상 중에서, 복수의 프레임에서의 안정 존재도를 구한다. 즉, 시간적으로 높은 빈도로 위치적으로 안정되게, 화상 내에 존재하는지 여부를 판단하는 지표값을 구한다.

예를 들어, 카메라를 들고 있는 촬상자가, 타깃으로서 겨냥하고 있다고 생각되는 확실도가 높은 피사체는, 안정 존재도가 높아진다. 즉, 촬상자가 주로 겨냥하고 있는 피사체는, 촬상 화상 내의 위치로서, 촬상자가 중심이라고 생각하는 점이나 영역에 가능한 한 들어가도록 하고, 또한 촬상자가 그 피사체를 겨냥함으로써 자연히 장시간 촬상 화상에 들어온다. 따라서, 위치적으로 안정되고, 또한 시간적으로 높은 빈도로 촬상 화상 내에 존재하는 피사체(안정 존재도가 높은 피사체)는, 촬상자가 겨냥하고 있는 주요 피사체라 추정할 수 있다.

이러한 안정 존재도에 의해 주요 피사체 판정을 행한다. 이에 의해, 촬상자 등의 유저가 특별히 지정 조작하지 않고, 주요 피사체가 자동 판정됨으로써, 주요 피사체 설정에 따른 동작을 행하는 각종 전자 기기에 있어서 유저의 조작성은 현저히 향상된다.

<2. 촬상 장치의 구성>

이하에서는, 상기와 같은 화상 처리 장치를 내장한 촬상 장치(10)를 예로 들어, 주요 피사체 판정 동작에 대하여 상세하게 설명한다.

실시 형태의 촬상 장치(10)의 구성예를 도 3에 도시한다. 이 촬상 장치(3)는 소위 디지털 스틸 카메라 또는 디지털 비디오 카메라가 되고, 정지 화상이나 동화상의 촬상/기록을 행하는 기기이며, 청구항에서 말하는 화상 처리 장치를 내장하는 것이다.

또한, 화상 처리 장치에서의 상술한 주요 피사체 판정부(2)에 상당하는 구성은, 촬상 장치(10)에서의 제어부(30)에 있어서 소프트웨어에 의해 실장된다. 제어부(30)는, 청구항에서 말하는 프로그램에 기초하는 처리를 실행함으로써, 청구항에서 말하는 화상 처리 방법으로서의 동작을 행한다.

도 1에 도시한 바와 같이 촬상 장치(10)는, 광학계(11), 이미저(12), 광학계 구동부(13), 센서부(14), 기록부(15), 통신부(16), 디지털 신호 처리부(20), 제어부(30), 사용자 인터페이스 컨트롤러(이하, 「UI 컨트롤러」)(32), 사용자 인터페이스(33)를 갖는다.

광학계(11)는, 커버 렌즈, 줌렌즈, 포커스 렌즈 등의 렌즈나 조리개 기구를 구비한다. 이 광학계(11)에 의해, 피사체로부터의 광이 이미저(12)에 집광된다.

이미저(12)는, 예를 들어 CCD(Charge Coupled Device)형, CMOS(Complementary Metal Oxide Semiconductor)형 등의 촬상 소자를 갖는다.

이 이미저(12)에서는, 촬상 소자에서의 광전 변환으로 얻은 전기 신호에 대해서, 예를 들어 CDS(Correlated Double Sampling) 처리, AGC(Automatic Gain Control) 처리 등을 실행하고, 또한 A/D(Analog/Digital) 변환 처리를 행한다. 그리고 디지털 데이터로서의 촬상 신호를, 후단의 디지털 신호 처리부(20)에 출력한다.

광학계 구동부(13)는, 제어부(30)의 제어에 기초해서, 광학계(11)에서의 포커스 렌즈를 구동하여 포커스 동작을 실행한다. 또한 광학계 구동부(13)는, 제어부(30)의 제어에 기초해서, 광학계(11)에서의 조리개 기구를 구동하여 노광 조정을 실행한다. 또한 광학계 구동부(13)는, 제어부(30)의 제어에 기초해서, 광학계(11)에서의 줌렌즈를 구동하여 줌 동작을 실행한다.

디지털 신호 처리부(20)는, 예를 들어 DSP 등에 의해 화상 처리 프로세서로서 구성된다. 이 디지털 신호 처리부(20)는, 이미저(12)로부터의 디지털 신호(촬상 화상 신호)에 대하여 각종 신호 처리를 실시한다.

예를 들어, 디지털 신호 처리부(20)는, 전처리부(21), 동시화부(22), YC 생성부(23), 해상도 변환부(24), 코덱부(25), 후보 검출부(26)를 구비하고 있다.

전처리부(51)는, 이미저(12)로부터의 촬상 화상 신호에 대하여 R, G, B의 흑색 레벨을 소정의 레벨로 클램프하는 클램프 처리나, R, G, B의 색 채널간의 보정 처리 등을 실시한다.

동시화부(22)는, 각 화소에 대한 화상 데이터가, R, G, B 모든 색 성분을 갖도록 하는 디모자이크 처리를 실시한다.

YC 생성부(23)는, R, G, B의 화상 데이터로부터, 휘도(Y) 신호 및 색(C) 신호를 생성(분리)한다.

해상도 변환부(24)는, 각종 신호 처리가 실시된 화상 데이터에 대하여 해상도 변환 처리를 실행한다.

코덱부(25)는, 해상도 변환된 화상 데이터에 대해서, 예를 들어 기록용이나 통신용의 부호화 처리를 행한다.

후보 검출부(26)는, 도 1에서 설명한 후보 검출부(3)에 상당하는 것으로, 예를 들어 YC 생성부(23)에서 얻어지는 촬상 화상 신호(휘도 신호/색 신호)를 대상으로 해서, 각 프레임 단위에서의 화상 해석 처리를 행하여 후보 화상을 추출한다. 예를 들어 일례로서는, 얼굴 화상의 검출을 행하여, 그 얼굴 화상이 존재하는 영역을 후보 화상 프레임으로서 추출한다. 추출한 후보 화상에 대해서는, 그 후보 화상 프레임의 위치 정보(화면 상에서의 x, y 좌표값, 피사체 거리의 정보 등)나, 크기 정보(예를 들어 후보 화상 프레임의 폭, 높이, 픽셀수 등)를, 후보 화상 정보로 하여 제어부(30)의 주요 피사체 판정부(31)에 건네준다. 또한, 여기에서는, 후보 화상이 되는 화상 영역의 프레임을 나타내는 정보인 점에서, 후보 화상 정보를 「후보 화상 프레임 정보」라고도 하기로 한다.

또한, 후보 화상 프레임 정보로서는, 또한, 후보 화상의 속성 정보(얼굴, 인체, 개, 고양이 등의 종별이나, 개인(개체) 식별 정보, 나아가 화상 데이터 자체를 포함하도록 해도 된다.

후보 검출부(26)는, 상술한 바와 같이 패턴 매칭의 방법으로 후보의 대상으로 하는 특정한 화상을 추출해도 되고, 예를 들어 프레임 차분에 의한 동체 검출의 방법으로, 동체를 검출하고, 당해 동체를 후보 화상으로 하는 것 등도 생각할 수 있다. 후보 화상의 추출, 선정의 방법은 이상에 한정되지 않고, 다양하게 생각할 수 있다.

또한, 후보 검출부(26)는, 화상에 평활화 처리, 아웃라이어(outlier) 제거 등의 처리를 행하여, 후보 화상 프레임 정보를 생성해도 된다.

제어부(30)는, CPU, ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등을 구비한 마이크로컴퓨터(연산 처리 장치)에 의해 구성된다.

CPU가 ROM이나 플래시 메모리 등에 기억된 프로그램을 실행함으로써, 이 촬상 장치(10) 전체를 통괄적으로 제어한다.

RAM은, CPU의 각종 데이터 처리 시의 작업 영역으로서, 데이터나 프로그램 등의 일시적인 저장에 사용된다.

ROM이나 플래시 메모리(불휘발성 메모리)는, CPU가 각 부를 제어하기 위한 OS(Operating System)나, 화상 파일 등의 콘텐츠 파일 외에, 각종 동작을 위한 어플리케이션 프로그램이나, 펌웨어 등의 기억에 사용된다. 예를 들어 본 예에서 후술하는 주요 피사체 판정 처리를 실행하기 위한 프로그램이나, 또한 주요 피사체 판정 결과를 이용하는 어플리케이션 프로그램 등이 기억된다.

이러한 제어부(30)는, 디지털 신호 처리부(20)에서의 각종 신호 처리의 지시, 유저의 조작에 따른 촬상 동작이나 기록 동작, 기록한 화상 파일의 재생 동작, 줌, 포커스, 노광 조정 등의 카메라 동작, 사용자 인터페이스 동작 등에 대해서, 필요 각 부의 동작을 제어한다.

또한 본 실시 형태의 경우, 제어부(2)는, 주요 피사체 판정(31)으로서의 기능을 구비하고, 후술하는 주요 피사체 판정 처리를 실행한다.

주요 피사체 판정부(31)는, 도 1의 주요 피사체 판정부(2)에 상당하는 기능이며, 상술한 위치 상태 판정부(2a), 안정 존재도 산출부(2b), 설정 처리부(2c)로서의 처리를 실행한다.

사용자 인터페이스(33)는, 유저에 대한 표시 출력이나 음성 출력을 실행하고, 또한 유저의 조작 입력을 접수한다. 이로 인해, 표시 디바이스, 조작 디바이스, 스피커 디바이스, 마이크로폰 디바이스 등을 갖는다. 여기에서는, 표시부(34), 조작부(35)를 나타내고 있다.

표시부(34)는, 유저(촬상자 등)에 대하여 각종 표시를 행하는 표시부이며, 예를 들어 촬상 장치(10)의 하우징 상에 형성되는 LCD(Liquid Crystal Display)나 유기 EL(Electro-Luminescence) 디스플레이 등의 디스플레이 디바이스를 갖고서 형성된다. 또한, 소위 뷰 파인더의 형태로, LCD나 유기 EL 디스플레이 등을 사용하여 형성되어도 된다.

이 표시부(6)는, 상기의 디스플레이 디바이스와, 상기 디스플레이 디바이스에 표시를 실행시키는 표시 드라이버를 포함한다. 표시 드라이버는, 제어부(30)의 지시에 기초하여, 디스플레이 디바이스 상에 각종 표시를 실행시킨다. 예를 들어 표시 드라이버는, 촬상하여 기록 매체에 기록한 정지 화상이나 동화상을 재생 표시시키거나, 릴리즈(셔터 조작) 대기중에 촬상되는 각 프레임의 촬상 화상 데이터에 의한 동화상으로서의 스루 화상(피사체 모니터링 화상)을 디스플레이 디바이스의 화면 상에 표시시킨다. 또한 각종 조작 메뉴, 아이콘, 메시지 등, 즉 GUI(Graphical User Interface)로서의 표시를 화면 상에 실행시킨다. 본 실시 형태의 경우, 예를 들어 스루 화상이나 재생 화상 상에서, 주요 피사체 판정에 의한 판정 결과를 유저가 알 수 있는 표시도 실행된다.

조작부(35)는, 유저의 조작을 입력하는 입력 기능을 갖고, 입력된 조작에 따른 신호를 제어부(30)에 보낸다.

이 조작부(35)로서는, 예를 들어 촬상 장치(10)의 하우징 상에 설치된 각종 조작자나, 표시부(34)에 형성된 터치 패널 등으로서 실현된다.

하우징 상의 조작자로서는, 재생 메뉴 기동 버튼, 결정 버튼, 십자 키, 캔슬 버튼, 줌 키, 슬라이드 키, 셔터 버튼(릴리즈 버튼) 등이 설치된다.

또한 터치 패널과 표시부(34)에 표시시키는 아이콘이나 메뉴 등을 사용한 터치 패널 조작에 의해, 각종 조작이 가능하게 되어도 된다.

사용자 인터페이스(33)의 표시부(34) 등의 동작은, 제어부(30)의 지시에 따라서 UI 컨트롤러(32)에 의해 제어된다. 또한 조작부(35)에 의한 조작 정보는, UI 컨트롤러(32)에 의해 제어부(30)에 전달된다.

기록부(15)는, 예를 들어 불휘발성 메모리를 포함하고, 정지 화상 데이터나 동화상 데이터 등의 화상 파일(콘텐츠 파일)이나, 화상 파일의 속성 정보, 썸네일 화상 등을 기억하는 기억 영역으로서 기능한다.

화상 파일은, 예를 들어 JPEG(Joint Photographic Experts Group), TIFF(Tagged Image File Format), GIF(Graphics Interchange Format) 등의 형식으로 기억된다.

기록부(15)의 실제의 형태는 다양하게 생각할 수 있다. 예를 들어 기록부(15)는, 촬상 장치(10)에 내장되는 플래시 메모리이어도 되고, 촬상 장치(10)에 착탈할 수 있는 메모리 카드(예를 들어 가반형의 플래시 메모리)와 상기 메모리 카드에 대하여 기록 재생 액세스를 행하는 카드 기록 재생부에 의한 형태이어도 된다. 또한 촬상 장치(10)에 내장되어 있는 형태로서 HDD(Hard Disk Drive) 등으로서 실현되는 경우도 있다.

또한, 본 예에서 후술하는 주요 피사체 판정 처리를 실행하기 위한 프로그램은, 기록부(15)에 기억되어도 된다.

통신부(16)는, 외부 기기와의 사이의 데이터 통신이나 네트워크 통신을 유선 또는 무선으로 행한다.

예를 들어 외부의 표시 장치, 기록 장치, 재생 장치 등의 사이에서 촬상 화상 데이터(정지 화상 파일이나 동화상 파일)의 통신을 행한다.

또한, 네트워크 통신부로서, 예를 들어 인터넷, 홈 네트워크, LAN(Local Area Network) 등의 각종 네트워크에 의한 통신을 행하여, 네트워크 상의 서버, 단말기 등과의 사이에서 각종 데이터 송수신을 행하도록 해도 된다.

센서부(14)는, 각종 센서를 포괄적으로 나타내고 있다. 예를 들어 손 떨림을 검출하기 위한 자이로 센서, 촬상 장치(10)의 자세를 검출하기 위한 가속도 센서 등이 설치된다. 또한 촬상 장치(10)의 자세나 이동을 검출하는 각속도 센서나, 노광 조정 등을 위한 외부 조도를 검출하는 조도 센서, 나아가 피사체 거리를 측정하는 측거 센서가 설치되어도 된다.

센서부(14)의 각종 센서는, 각각 검출한 정보를 제어부(30)에 전달한다. 제어부(30)는, 센서부(14)에서 검출된 정보를 사용하여 각종 제어를 행할 수 있다.

<3. 주요 피사체 결정 처리 개요>

이상의 구성의 촬상 장치(10)에 있어서, 제어부(30)(주요 피사체 판정부(31))가 실행하는 주요 피사체 판정 처리에 대해 이하 설명해 간다.

나중에, 구체적인 처리예 1 내지 12로서, 각종 주요 피사체 판정 처리예를 설명하지만, 주요 피사체 판정 처리란, 후보 화상 정보로 나타내지는 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고, 상기 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 처리이다. 이러한 주요 피사체 판정 처리로서, 이하에 처리 타입 I, 처리 타입 II를 예시한다. 단, 본 발명의 주요 피사체 판정 처리가 2개의 타입에만 한정되는 것은 아니며, 후술하는 처리예 1 내지 12가, 크게 분류하면 타입 I, 타입 II로 나뉘어진다는 의미이다.

처리 타입 I은, 주요 피사체 판정을 행하는 기간에, 후보 화상 정보를 도입하면서 판정을 실행하는 처리 형태이다.

한편, 처리 타입 II는, 어떤 기간에, 후보 화상 정보의 도입(버퍼링)을 행한다. 그리고 당해 기간이 경과하면, 도입한 후보 화상 정보를 사용하여 주요 피사체 판정을 행하는 처리 형태이다.

[3-1: 처리 타입 I]

처리 타입 I의 처리의 흐름을 도 4에 도시한다. 또한 도 4에서는, 각 스텝 F10 내지 F15에 대해서, 상기 도 2B의 스텝 F1(도입/위치 상태 판정), F2(안정 존재도 산출), F3(주요 피사체 설정)에 상당하는 처리의 대응 관계도 나타내 둔다.

이하는, 제어부(30)의 주요 피사체 판정부(31)에 의한 처리이다.

스텝 F10에서 제어부(30)는, 후보 검출부(26)로부터의, 어떤 1개의 프레임에 대한 후보 화상 프레임 정보를 도입한다.

스텝 F11에서 제어부(30)는, 도입한 후보 화상 프레임 정보로 나타내지는 1개 또는 복수의 각 후보 화상 프레임에 대해서, 각각 화각 공간 내의 위치 계산을 행하여 위치 상태를 판정한다.

이 경우, 위치 상태로서, 화각 공간 내에 설정한 판정 기준점에 대한 후보 화상의 거리를 판정한다. 또는, 위치 상태로서, 화각 공간 내에 설정한 판정 기준 영역에 대한 후보 화상의 위치 관계를 판정한다.

스텝 F12에서 제어부(30)는, 각 후보 화상 프레임에 대하여 안정 존재도를 계산한다. 이 경우 제어부(30)는, 안정 존재도로서, 위치 상태가 소정 조건을 만족하고 있는 누적 시간 정보를 산출한다. 또는, 제어부(30)는, 안정 존재도로서, 위치 상태가 계속해서 소정 조건을 만족하고 있는 계속 시간 정보를 산출한다.

또한, 안정 존재도의 산출에는, 산출의 조건으로서, 화각 공간 내에서의 후보 화상의 위치 정보, 또는 후보 화상의 크기 정보를 사용하는 경우도 있다.

스텝 F13에서, 제어부(30)는, 안정 존재도를 사용하여 주요 피사체를 판정한다.

여기서 스텝 F13에서의 판정은, 주요 피사체 판정 개시부터, 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을, 주요 피사체로 판정하는 처리이다. 또는, 주요 피사체 판정 기간에, 안정 존재도의 값이 가장 높은 후보 화상을, 주요 피사체로 판정하는 처리이다.

또한 주요 피사체의 판정에는, 안정 존재도의 값 외에도, 화각 공간 내에서의 후보 화상의 위치 정보, 또는 후보 화상의 크기 정보를 사용하는 경우도 있다.

안정 존재도의 값이 소정값에 달한 후보 화상이 아직 존재하지 않는 시점, 또는 소정의 주요 피사체 판정 기간을 경과하지 않고, 당해 기간 중에서의 안정 존재도의 값이 가장 높은 후보 화상을 아직 선정할 수 없는 시점에서는, 스텝 F13의 처리에서는, 아직 주요 피사체라 판정할 수 없다. 그 경우, 제어부(30)는, 스텝 F14에서 F10으로 돌아가서 각 처리를 반복한다. 즉, 후보 검출부(26)에서 다음으로 처리를 행한 프레임의 후보 화상 프레임 정보를 도입하여, 마찬가지의 처리를 행한다.

어떤 시점에서 안정 존재도의 값이 소정값에 달한 후보 화상이 발견된 경우, 또는 소정의 주요 피사체 판정 기간을 경과하고, 당해 기간 중에서의 안정 존재도의 값이 가장 높은 후보 화상이 선정된 시점에서는, 제어부(30)는, 스텝 F14에서 F15로 진행한다. 그리고, 스텝 F13에서 판정된 후보 화상을, 주요 피사체라 설정한다.

[3-2: 처리 타입 II]

계속해서 처리 타입 II의 처리의 흐름을 도 5에 도시한다. 도 5에서도, 각 스텝 F20 내지 F24에 대해서, 상기 도 2의 B의 스텝 F1(도입/위치 상태 판정), F2(안정 존재도 산출), F3(주요 피사체 설정)에 상당하는 처리의 대응 관계도 나타내 둔다.

스텝 F20에서 제어부(30)는, 후보 검출부(26)로부터의, 어떤 1개의 프레임에 대한 후보 화상 프레임 정보를 도입한다.

스텝 F21에서 제어부(30)는, 도입한 후보 화상 프레임 정보로 나타내지는 1개 또는 복수의 각 후보 화상 프레임에 대해서, 각각 화각 공간 내의 위치 계산을 행하여 위치 상태를 판정한다.

예를 들어 위치 상태로서, 화각 공간 내에 설정한 판정 기준점에 대한 후보 화상의 거리를 판정한다. 또는, 위치 상태로서, 화각 공간 내에 설정한 판정 기준 영역에 대한 후보 화상의 위치 관계를 판정한다.

그리고 제어부(30)는, 산출한 위치 상태(거리나 위치 관계)의 정보를 내부 RAM 등에 축적(버퍼링)한다.

스텝 F22에서는, 제어부(30)는, 소정 기간(소정의 주요 피사체 판정 기간으로서의 시간의 길이, 또는 프레임수)에서의, 위치 상태의 정보의 축적을 완료했는지 여부를 판별하고, 아직 축적 완료되지 않았으면 스텝 F20으로 복귀된다.

즉, 소정 기간이 경과했는가, 또는 소정 프레임수분, 스텝 F20, F21의 처리를 행했는지 여부를 판정한다.

축적 완료된 시점에서 제어부(30)는 스텝 F23으로 진행한다.

스텝 F23에서 제어부(30)는, 각 후보 화상 프레임에 대하여 버퍼링하고 있었던 예를 들어 소정 기간의 위치 상태의 정보를 사용하여, 안정 존재도를 계산한다.

이 경우 제어부(30)는, 안정 존재도로서, 위치 상태가 소정 조건을 만족하고 있는 누적 시간 정보, 또는, 위치 상태가 계속해서 소정 조건을 만족하고 있는 계속 시간 정보를 산출한다.

스텝 F24에서 제어부(30)는, 안정 존재도를 사용하여 주요 피사체를 판정한다.

예를 들어, 버퍼링을 행한 주요 피사체 판정 기간 중에, 안정 존재도의 값이 가장 높은 후보 화상을 주요 피사체라 판정하고, 주요 피사체를 설정한다.

또한, 이 도 5의 처리 타입 II로서는, 예를 들어 스텝 F21을 스텝 F22에서 축적 완료라고 판단된 후에 행하는 예도 생각할 수 있다. 즉 후보 화상 프레임 정보를 소정 기간 축적해 나가, 기간 경과 후, 각 후보 화상 프레임 정보에 대하여 위치 상태의 정보를 구하는 방법이다.

[3-3: 주요 피사체 판정 기회/목적 등]

본 실시 형태에서는, 이상의 처리 타입 I, II에 의해 주요 피사체 판정이 행해지는데, 촬상 장치(10)에 있어서 주요 피사체 판정을 행하는 기회나 목적 등에 대하여 설명해 둔다.

우선 주요 피사체 판정 결과의 이용예를 설명한다.

주요 피사체 판정은, 예를 들어 유저(촬상자)가 셔터 타이밍(릴리즈 타이밍)을 겨냥하고 있을 때에 실행되지만, 제어부(30)는 주요 피사체를 자동으로 판정한 후, 다음과 같은 처리를 행할 수 있다.

·추종 처리

촬상되는 각 프레임에서 설정된 주요 피사체를 추종한다. 예를 들어 스루 화상 표시 상에서 유저에게 주요 피사체를 명시하고, 유저의 화각 조정(예를 들어 카메라를 손에 들고 있는 상태에서의 피사체 결정) 용에 제공한다.

또한, 주요 피사체의 제시로서는, 표시부(34)에서의 스루 화상 표시 상에서 주요 피사체의 프레임을 강조 표시하는 것을 생각할 수 있다. 또한, 강조 표시 등은, 판정 직후의 일정 기간이어도 되고, 스루 화상 내에 주요 피사체가 존재하는 한 실행시켜도 된다.

·포커스 맞춤

주요 피사체에 오토 포커스 제어한다. 또한, 추종 처리에 맞춰서, 주요 피사체가 여기저기 움직이고 있어도, 포커스가, 그 주요 피사체에 추종하여 조정되도록 한다.

·노광 조정

주요 피사체의 밝기(휘도)에 기초하여 자동 노광 조정을 행한다.

·지향성 조정

촬상(예를 들어 동화상 촬상)과 함께 마이크로폰에 의해 음성 수음을 행하는 경우, 화각 공간 내에서의 주요 피사체의 방향에 따라 지향성 조정을 행한다.

또한, 촬상 화상 신호에 대한 각종 신호 처리에도 사용할 수 있다.

·화상 효과 처리

촬상되는 각 프레임에서 주요 피사체의 영역에만, 화질 조정, 노이즈 리덕션, 피부색 조정 등의 화상 처리를 가한다.

또는, 주요 피사체의 영역 이외에, 화상 효과, 예를 들어 모자이크 처리, 바림 처리, 칠 처리 등을 가하는 것도 생각할 수 있다.

·화상 편집 처리

촬상 화상, 또는 기록된 화상에 대해서, 프레이밍, 크로핑 등의 편집 처리를 가한다.

예를 들어 주요 피사체를 포함하는 프레임 내의 일부 영역의 잘라냄이나, 확대 등의 처리를 행할 수 있다.

또한, 촬상 화상 데이터 중에서, 주요 피사체가 화상의 중심에 배치되도록 화상 주변부의 커트 등을 행하여, 구도 조정을 행할 수 있다.

이것들은 일례에 지나지 않지만, 이것들 이외에도, 어플리케이션 프로그램이나 촬상 장치 내의 자동 조정 기능이, 설정한 주요 피사체를 이용하는 처리는 다양하게 생각할 수 있다.

다음으로 주요 피사체 판정 처리를 어떤 시점에서 실행할지도 다양하게 생각할 수 있다.

예를 들어 촬상 장치(10)가 전원 온으로 되고, 촬상을 행하고 있을 때(표시부(34)에 스루 화상을 표시하고 있는 기간)는, 항상 주요 피사체 판정 처리를 행하고 있어도 된다.

또한, 주요 피사체를 판정하면, 추종 처리를 행하는 경우, 추종이 벗어난 시점에서, 다시 주요 피사체 판정 처리를 행하도록 해도 된다.

또한, 유저 조작에 의해 주요 피사체 판정 처리가 개시되도록 해도 된다.

또한 유저가, 판정 실행 모드를 선택하고 있을 때에, 항상 실행되거나, 추종이 빗나갔을 때에 실행되거나 해도 된다.

또한 유저 조작에 관계없이, 자동으로 주요 피사체 판정 처리가 기동되는 것도 생각할 수 있다.

주요 피사체 판정 처리를 행함으로 인한 효과로서는 다음과 같다.

상술한 바와 같이, 촬상자가 촬상 장치(10)를 갖고 피사체를 겨냥하고 있을 때에는, 애당초 주요 피사체를 지정하는 조작은 어렵다. 또한 몇 번이나 지정하는 행위는 번거롭다. 주요 피사체 판정을 자동으로 실행하는 것에 의하면, 이러한 것이 해소되어, 유저 스트레스의 저감 효과가 얻어진다.

또한 유저가 통상 사용하는 디지털 스틸 카메라, 휴대 전화기 내장 카메라 등, 유저가 휴대해서 사용하는 촬상 장치(10)로서는, 표시부(34)도 소형이며, 유저가 주요 피사체를 화면 상에서 지정하는 조작을 행했다고 해도, 정확하게 행하기 어렵다. 본 실시 형태와 같이 자동 판정함으로써, 오지정이라는 것도 없어진다.

또한 촬상 장치(10)가 자동으로 주요 피사체 판정을 행하는 것에 의하면, 유저에게 있어서는, 피사체를 겨냥하여 촬상 장치(10)를 들고 있는 것만으로, 주요 피사체 판정이 실행되게 되어, 유저가 장치에 느끼는 인텔리전트감의 향상이나, 부가 가치의 향상이라는 효과가 얻어진다.

또한 촬상 장치(10)를 자연스럽게 들고 있으면 주역을 찍을 수 있다는 감각으로 사용할 수 있기 때문에, 촬상 기회의 증가, 대응 사용예의 증가라고 할 수 있고, 사용하기 쉬운 카메라를 유저에게 제공할 수 있는 것이기도 하다.

이상으로부터, 핸드헬드 카메라로서, 주요 피사체 판정을 자동으로 행하는 본 실시 형태의 촬상 장치(10)는 특히 적합해진다.

<4. 구체적 처리예>

[4-1: 처리예 1(타입 I; 판정 기준점; 선착 판정; 누적 존재)]

이하, 제어부(30)가 실행하는 주요 피사체 판정 처리의 구체예로서 처리예 1 내지 처리예 12를 순차 설명해 간다.

처리예 1은, 상술한 처리 타입 I의 구체예이다.

그리고 후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준점과의 거리를 구한다.

또한, 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준점과의 거리)가 소정의 임계값 이내라는 조건을 만족하고 있는 누적 시간 정보를 산출한다.

또한, 주요 피사체 판정 개시부터, 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을, 주요 피사체라 판정한다.

구체적 처리의 설명에 앞서, 도 6, 도 7, 도 8에서 후보 화상 프레임, 판정 기준점과의 거리, 안정 존재도 각각에 대하여 설명한다.

도 6은 후보 검출부(26)에서 행해지는 후보 화상 프레임의 추출 동작을 모식적으로 도시한 것이다.

도에는, 촬상 장치(10)의 광학계(11), 이미저(12)의 동작에 의해 디지털 신호 처리부(20)에 입력되는 촬상 화상 신호의 각 프레임(FR1, FR2, FR3…)을 나타내고 있다. 후보 검출부(26)는 이러한 순차 입력되는 연속한 각 프레임의 각각(또는 간헐적인 각 프레임에 대해서)에 후보 화상의 검출을 행한다.

예를 들어 도시한 바와 같이, 프레임(FR1)에 대해서, 3명의 사람이 존재하고 있었을 경우, 각각의 얼굴 화상 부분을 후보 화상으로서 추출하고, 그 후보 화상 프레임(E1, E2, E3)에 대한 후보 화상 프레임 정보를 출력한다. 예를 들어 후보 화상 프레임(E1)의 후보 화상 프레임 정보는, 예를 들어 이 후보 화상 프레임(E1)의 화상 내에서의 위치 정보(x, y 위치 정보, 피사체 거리 정보), 크기 정보(프레임의 폭, 높이, 픽셀수), 속성 정보 등이다.

후보 검출부(26)는, 이러한 후보 화상 프레임 정보를, 후보 화상 프레임(E2, E3)에 대해서도 생성하여, 제어부(30)(주요 피사체 판정부(31))에 건네준다.

후속의 프레임(FR2, FR3…)에 대해서도 마찬가지로, 후보 검출부(26)는 후보 화상의 추출을 행하고, 각각의 후보 화상 프레임에 대해서, 후보 화상 프레임 정보를 생성하여 제어부(30)에 건네준다.

제어부(30)는, 각 프레임의 후보 화상 프레임 정보를 도입할 때마다, 각 후보 화상 프레임에 대하여 위치 상태로서, 판정 기준점과의 거리를 산출한다.

도 7의 A에 판정 기준점(SP)의 예를 나타내고 있다. 이것은 화상 중앙을 판정 기준점(SP)으로 한 예이다. 판정 기준점(SP)의 xy 좌표값을 (Cx, Cy)로 한다.

예를 들어 프레임(FR1)의 시점에서, 후보 화상 프레임(E1, E2, E3) 각각의 후보 화상 프레임 정보가 도입되었을 경우, 제어부(30)는 도시하는 각 후보 화상 프레임(E1, E2, E3)의 무게 중심(G)으로부터 판정 기준점(SP)의 거리(Diff1, Diff2, Diff3)를 산출한다.

또한, 판정 기준점(SP)이 화면 중앙이 되는 것은 일례이다.

예를 들어 도 7의 B와 같이, 중앙보다 약간 좌측 상방의 위치에 판정 기준점(SP)을 설정해도 된다. 예를 들어 정지 화상의 구도를 고려한 경우, 이러한 중앙이 아닌 위치에 주된 피사체를 배치하면 좋은 경우를 많이 생각할 수 있기 때문이다.

어떻든 간에, 도 7의 B와 같이, 각 후보 화상 프레임(예를 들어 E4, E5)과 판정 기준점(SP)의 거리(예를 들어 Diff4, Diff5)를 산출하도록 한다.

판정 기준점(SP)은, 예를 들어 도 7의 A, 도 7의 B의 위치에 고정적으로 설정하고 있어도 되고, 유저가 표시 화면 상에서의 터치 조작 등에 의해 임의로 지정할 수 있도록 해도 된다. 또한 표시부(34)의 화면 상에서 유저에게 몇 개의 판정 기준점의 후보점을 제시하고, 유저가 선택할 수 있도록 해도 된다. 나아가, 화상 내용, 화상 해석 결과 등에 따라 제어부(30)가 구도 등을 고려하여 최적의 위치를 판정하고, 자동 설정하는 것도 생각할 수 있다.

즉 판정 기준점(SP)에 대해서는,

·화상 중앙 위치, 또는 중앙보다 어긋난 위치 등으로서, 미리 결정된 고정적인 위치에 설정된다.

·유저가 임의로 지정한다.

·몇 개의 후보점을 유저에게 제시하고, 유저가 선택함으로써 설정된다.

·제어부(30)가 화상 내용에 따라 최적 위치를 판정하고, 자동으로 가변 설정한다.

등을 생각할 수 있다.

후보 화상 프레임(E(n))에 대한 위치 상태로서의 거리(Diff(n))는, 각 프레임의 시점에서 구해 나간다.

도 8은, 가령 후보 화상 프레임(E1, E2, E3)이, 어떤 기간 계속해서 프레임(FR1, FR2…) 내에 계속 존재한 것으로 해서, 산출되는 거리(Diff1, Diff2, Diff3)의 변동 모습을 나타낸 것이다.

예를 들어 촬상자가 촬상 장치(10)에서, 어떤 기간, 3명의 피사체를 잡고 있었을 경우를 상정하고 있다. 3명이 각각 움직이고 있거나, 또는 촬상자가 촬상 장치(10)의 피사체 방향을 움직이고 있거나, 손 떨림이 있는 등에 의해, 시간축 상에서는, 산출되는 각 거리(Diff1, Diff2, Diff3)는 변동하고 있다.

처리예 1에서는, 안정 존재도란, 판정 기준점(SP)에 가까운 상태의 누적 시간으로 한다. 이로 인해, 「가깝다/가깝지 않다」의 판정에, 거리 임계값(Trs-diff)을 사용한다.

도 8 하부에는, 거리(Diff1, Diff2, Diff3)의 각 시점에서의, 거리 임계값(Trs-diff) 이내인지 여부의 판정 결과를 나타내고 있다. 거리(Diff(n))가 거리 임계값(Trs-diff) 이하이면 가깝다=「1」이 되는 것으로 한다.

이 판정 결과 「1」을 각 시점에서 누적 가산해 나간 것이 처리예 1에서의 안정 존재도가 된다.

판정 개시부터 판정 종료까지의 기간은 처리예에 따라 상이하다. 처리예 1에서는, 거리 임계값(Trs-diff) 이하의 판정 결과 「1」의 누적 가산값은, 그 시점까지의 안정 존재의 정도를 나타내는 누적 시간이 되는데, 그 누적 시간이 소정값에 달한 후보 화상이 발견된 시점이 판정 종료의 타이밍이 된다.

예를 들어 도 8의 예에서는, 후보 화상 프레임(E3)은, 계속해서 「1(=판정 기준점(SP)에 가깝다)」이라고 판정되는데, 이 누적 가산값이 어떤 소정값에 달한 시점에서 판정이 종료되어, 후보 화상 프레임(E3)이 주요 피사체라 판정되게 된다.

또한 처리예 1에서는, 계속성은 문제되지 않는다. 예를 들어 도 8에서의 후보 화상 프레임(E2)의 거리(Diff2)는, 시점에 따라 「1」「0」의 판정이 있는데, 어디까지나 누적 시간이기 때문에, 「1」의 상황이 많아, 다른 후보 화상 프레임보다 빨리 누적 시간이 소정값에 도달한 경우에는, 후보 화상 프레임(E2)이 주요 피사체라 판정될 수도 있다.

도 9에서 처리예 1로서의 제어부(30)의 주요 피사체 판정 처리를 설명한다.

제어부(30)는, 주요 피사체 판정 처리를 개시하면, 우선 스텝 F100에서 변수(TSF)=0으로 하고, 또한 카운트값(Cnt(n))=0으로 한다.

변수(TSF)란, 주요 피사체 설정 완료인지 여부를 나타내는 플래그이다. TSF=「0」은, 주요 피사체가 미판정인 상태를 나타내는 것이 된다.

또한 카운트값(Cnt(n))은, 상술한 거리(Diff)의 거리 임계값(Trs-diff)과의 비교 판정 결과의 값을 가산하는 카운터의 값이다.

또한 「n」은, 자연수 1, 2, 3…을 나타내고, 카운트값(Cnt(n))은, 후보 화상 프레임(E1, E2, E3)과 같이, 검출된 후보 화상 프레임(E(n))에 각각 대응하는 카운트값으로 하고 있다. 예를 들어 3개의 후보 화상 프레임(E1, E2, E3)이 검출되는 경우, 카운트값으로서 Cnt1, Cnt2, Cnt3이 사용된다. 흐름도의 설명상, 카운트값(Cnt(n))에 대한 처리란, 예를 들어 Cnt1, Cnt2, Cnt3 각각을 대상으로 하는 처리를 나타내고 있는 것이라 이해하면 된다.

또한, 마찬가지로 거리(Diff(n))는, 3개의 후보 화상 프레임(E1, E2, E3)의 판정 기준점(SP)으로부터의 거리(Diff1, Diff2, Diff3)를 총칭하여 나타내는 것으로 하고 있으며, 거리(Diff(n))에 대한 처리란, 예를 들어 거리(Diff1, Diff2, Diff3) 각각에 대한 처리라는 의미로 사용하고 있다.

또한, 후보 화상 프레임(E(n))은, 후보 화상 프레임(E1, E2, E3…)을 나타내는데, 이것은 복수 프레임에 걸쳐서, 피사체별로 구별되는 것이 바람직하다. 예를 들어 후보 검출부(26)가 얼굴을 추출하는 예에서 보면, 인물 A, 인물 B, 인물 C가 피사체로 되고 있을 경우, 각 프레임에서 공통으로, 인물 A의 얼굴 화상 부분이 후보 화상 프레임(E1), 인물 B의 얼굴 화상 부분이 후보 화상 프레임(E2), 인물 C의 얼굴 화상 부분이 후보 화상 프레임(E3)과 같이 된다. 만약 도중의 어떤 프레임에서, 인물 D만이 피사체에 들어가 있는 상태가 되었다고 해도, 인물 D의 얼굴 화상 부분은 후보 화상 프레임(E4)가 된다. 따라서 후보 검출부(26)는, 간단히 「얼굴」을 검출할 뿐만 아니라, 개체(개인) 판별도 행하는 것으로 하면 된다.

스텝 F101에서 제어부(30)는, 후보 검출부(26)로부터 어떤 프레임에 대한 후보 화상 프레임 정보를 도입한다. 예를 들어 각 후보 화상 프레임(E(n))에 대해서, 위치 정보로서, 화상 데이터의 이차원 (x-y) 좌표값으로서의 x값, y값이나, 크기 정보로서 후보 화상 프레임의 폭(w), 높이(h)의 정보를 취득한다.

또한, 후보 화상 프레임 정보에는 피사체 거리(상기 이차원 (x-y) 좌표 평면에 직교하는 z축 방향의 값으로 표현되는, 카메라 위치에 대한 피사체의 상대적인 거리: z값)나 픽셀 수 등도 포함되어 있어도 된다.

스텝 F102에서 제어부(30)는, 각 후보 화상 프레임(E(n))에 대해서 무게 중심(G)의 좌표를 산출한다.

예를 들어 후보 화상 프레임 정보에 따라서는, 후보 화상 프레임의 x, y 좌표값으로서, 사각형의 후보 화상 프레임의 좌측 상단 정점의 좌표값이 부여되는 것으로 한다. 이 x, y 좌표값을 (E(n)_x, E(n)_y)로 한다. 또한 도 7에 도시한 바와 같이, x, y 좌표는 화면 평면의 좌측 상단을 원점(O)(x, y 좌표값이 (0, 0))으로 한다.

또한 후보 화상 프레임(E(n))의 폭(w)을 E(n)_w, 높이(h)를 E(n)_h로 한다.

그리고 후보 화상 프레임(E(n))의 무게 중심(G)의 좌표값을 (E(n)_cx, E(n)_cy)로 하면, 무게 중심(G)의 좌표값은,

E(n)_cx=E(n)_cx+E(n)_w/2

E(n)_cy =E(n)_cy+E(n)_h/2

로서 구해진다.

스텝 F103에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 무게 중심(G)으로부터, 판정 기준점(SP)까지의 거리(Diff(n))를 산출한다. 판정 기준점(SP)의 좌표값(Cx, Cy)으로서,

Diff(n)=√{(E(n)_cx-Cx)²+(E(n)_cy-Cy)²}로 구해진다.

스텝 F104에서 제어부(30)는 변수(TSF)를 확인한다. 변수(TSF)=0이면 스텝 F105로 진행한다.

또한, 주요 피사체 판정 처리를 개시한 후, 항상, 처리를 계속할 경우, 판정 불필요 시(변수(TSF)=1일 때)에는, 이 스텝 F104에서의 처리를 빼게 된다. 유저 조작이나 자동적인 기동 판단에서, 필요 시에 도 9의 주요 피사체 판정 처리를 실행하도록 하는 경우 등에서는 스텝 F104는 불필요로 해도 된다. 후술하는 처리예 2 이후도 마찬가지이다.

스텝 F105, F106, F107에서는, 제어부(30)는 각 후보 화상 프레임(E(n))이 거리(Diff(n))에 대하여 소정의 조건을 만족하고 있는지 여부를 확인한다.

즉, 판정 기준점(SP)까지의 거리(Diff(n))가 판정 기준점(SP)에 가까운지 가깝지 않은지를, 거리 임계값(Trs-diff)을 사용하여 판정한다.

이 때문에 제어부(30)는, 스텝 F105에서, 각 후보 화상 프레임(E(n))의 판정 기준점(SP)까지의 거리(Diff(n))와 거리 임계값(Trs-diff)을 비교하여, Diff(n)<Trs-diff이면 스텝 F106에서 플래그(Flg(n))=1(가깝다)로 한다. 또한 Diff(n)<Trs-diff가 아니면 스텝 F107에서 플래그(Flg(n))=0(가깝지 않다)으로 한다.

다음으로 스텝 F108, F109에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 안정 존재도를 산출한다. 이 경우, 스텝 F108에서, 각 후보 화상 프레임(E(n))에 대해서, 플래그(Flg(n))=1인지 여부를 확인하고, 플래그(Flg(n))=1이면, 스텝 F109에서 카운트값(Cnt(n))을 인크리먼트(+1 가산)한다. 플래그(Flg(n))=0인 경우에는, 카운트값(Cnt(n))은 변경되지 않는다.

이 카운트값(Cnt(n))은, 상술한 누적 가산값으로서의 안정 존재도의 값이 된다. 즉, 후보 화상 프레임(E(n))이 판정 기준점(SP)에 「가까운」 상태의 빈도를 나타내는 값이 된다.

다음으로 스텝 F111, F112, F113에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 안정 존재도를 사용하여, 주요 피사체의 판정을 행한다.

제어부(30)는, 스텝 F111에서, 각 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 달하였는지 여부를 확인한다.

Cnt(n)≥CTthr이 아니면, 즉 각 후보 화상 프레임(E(n))의 카운트값(Cnt(n)) 모두가, 카운트 임계값(CTthr)에 달하지 않았으면, 스텝 F113에서 변수(TSF)=0인 상태 그대로 하고, 스텝 F114에서 판정 종료로 하지 않고, 스텝 F101로 복귀된다. 이 경우, 다음 프레임에 대하여 입력되는 후보 화상 프레임 정보에 기초하여, 스텝 F101 이후의 처리를 상기한 바와 마찬가지로 실행해 간다.

또한, 스텝 F114는, 변수(TSF)=0이면, 아직 주요 피사체의 판정은 완료되지 않은 것으로 하여 판정 처리 계속으로 하고, 변수(TSF)=1이면, 주요 피사체 판정은 완료된 것으로 한다.

앞서 설명한 스텝 F104에서 변수(TSF)=1이 검출된 경우, 그대로 판정 종료가 된다.

상세한 설명은 생략하지만, 본 예의 자동적인 주요 피사체 판정과는 병행하여, 예를 들어 유저가 주요 피사체를 표시부(34)의 화면 상의 터치 조작, 또는 피사체를 화면 상에 소정 위치에 맞춰서 셔터 버튼을 절반 누름하는 등의 조작으로서, 주요 피사체 선택을 할 수 있도록 해도 된다. 도 9의 처리의 실행 중에, 유저가 이러한 지정 조작을 행한 경우, 유저의 조작을 우선하는 것이 바람직하다. 따라서, 그러한 매뉴얼 조작으로서 주요 피사체 설정이 행해진 경우, 변수(TSF)=1로 한다. 이 경우, 도 9의 처리는 스텝 F104, f114의 판단에 의해, 처리를 종료(중단 종료)하는 것으로 하면 된다.

안정 존재도에 의한 주요 피사체 판정은, 어떤 시간의 길이를 갖고 판정되기 때문에, 어느 정도의 시간(프레임수)에서의 후보 화상 프레임 정보에 대한 처리를 거치지 않으면, 상기와 같이 스텝 F114에서 판정 종료로 되지 않고 스텝 F101로 복귀되어 처리가 반복된다.

여기서, 예를 들어 도 8에서 나타낸 바와 같이 어떤 후보 화상 프레임(E3)이, 비연속적이어도 되지만, 복수의 프레임 중에서 높은 빈도로, 촬상 화상 상에서 판정 기준점(SP)에 가까운 위치에 존재하는 상황이 있었다고 한다. 그러면 시간이 흐름에 따라, 후보 화상 프레임(E3)의 카운트값(Cnt1)의 스텝 F109에서의 인크리먼트의 기회가 많이 발생하여, 카운트값(Cnt3)이, 카운트값(Cnt1, Cnt2)보다 빨리 진행한다.

그러면 어떤 시점에서, 카운트값(Cnt3)이 카운트 임계값(CTthr)에 최초로 도달하게 된다.

이러한 경우, 제어부(30)는 처리를 스텝 F111에서 F112로 진행시킨다.

스텝 F112에서 제어부(30)는, 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 달한 후보 화상 프레임(E(n))을 주요 피사체라 판정하고, 주요 피사체 설정을 행한다. 그리고 변수(TSF)=1로 한다.

이 경우 스텝 F114에서 판정 종료가 된다. 즉 예를 들어 후보 화상 프레임(E3)이 주요 피사체로 설정되거나 하여, 도 9의 주요 피사체 판정 처리가 완료되게 된다.

또한, 이 처리예 1은 변수(TSF)=1이 될 때까지 계속되어지게 되는데, 실제로는, 소정의 제한 시간을 설치해 두는 것이 적절하다. 즉 도 9의 처리 개시 시점부터 소정 시간을 경과해도 주요 피사체를 판정할 수 없는 경우에는, 주요 피사체 없음으로 해서, 처리를 종료하도록 한다.

이상의 처리예 1에 의하면, 유저가 주로 촬상하고자 하는 피사체를, 가능한 한 화상 중앙 등의 판정 기준점(SP)에 가까운 상태가 되도록, 촬상 장치(10)를 들고 있음(피사체를 쫓음)으로써, 당해 피사체가 주요 피사체로서 자동으로 판정되게 된다.

특히 처리예 1은, 판정 기준점(SP)에 「가까운」 상태의 누적 시간으로 안정 존재도를 판정하고 있다. 움직이고 있는 상황의 피사체, 또는 동물 등의 움직임이 빠른 피사체의 경우, 촬상자는 어느 정도의 시간(예를 들어 몇 초 정도라도), 주로 하고 싶은 피사체를 계속해서 화상 중앙에 잡는 것은 어려운 경우가 있다. 또한 촬상자의 촬상 기량에 따라서는, 손 떨림이 심하거나 해서, 좀처럼 찍고 싶은 피사체를 화상 중앙에 유지할 수 없는 경우도 있다. 이러한 경우에도, 누적 시간을 사용함으로써 비교적 신속하게 주요 피사체 판정이 가능하게 된다.

따라서 움직임이 빠른 피사체를 대상으로 하는 경우나, 비교적 익숙하지 않은 유저에게는 적합해진다.

또한, 주요 피사체 판정 처리는, 일정 시간을 반드시 행하는 것이 아니고, 주요 피사체가 판정된 시점에서 처리는 종료되기 때문에, 피사체나 촬상자의 기량에 따라서는, 신속하게 주요 피사체 판정이 행해진다는 이점도 있다.

[4-2: 처리예 2(타입 I; 판정 기준점; 선착 판정; 계속 존재)]

계속해서, 처리예 2도, 처리 타입 I의 구체예이다.

또한, 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준점과의 거리)가 소정의 임계값 이내라는 조건을 계속해서 만족하고 있는 계속 시간 정보를 산출한다.

또한, 주요 피사체 판정 개시부터, 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을 주요 피사체라 판정한다.

처리예 1과의 차이점은, 안정 존재도가, 판정 기준점(SP)에 가까운 상태의 계속 시간으로 하는 것이다. 어디까지나 계속해서 소정 시간(소정 프레임) 이상, 판정 기준점(SP)에 가까운 상태가 있었던 후보 화상 프레임을, 주요 피사체라 판정한다.

도 10에 처리예 2를 나타낸다. 도 10과 동일한 처리에 대해서는, 동일한 스텝 번호를 붙여서 중복 설명을 피한다.

또한, 후술하는 처리예 3 내지 처리예 12에서도, 각 흐름도에 있어서, 설명 완료된 처리에 대해서는 동일한 스텝 번호를 붙여서 설명을 생략하기로 한다.

이 도 10은, 도 9의 처리에 스텝 F110이 추가된 예이다.

스텝 F108, F109, F110에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 안정 존재도를 산출한다. 이 경우, 스텝 F108에서, 각 후보 화상 프레임(E(n))에 대해, 플래그(Flg(n))=1인지 여부를 확인하고, 플래그(Flg(n))=1이면, 스텝 F109에서 카운트값(Cnt(n))을 인크리먼트(+1 가산)한다. 플래그(Flg(n))=0인 경우에는, 스텝 F110으로 진행하여, 카운트값(Cnt(n))을 클리어한다.

처리예 1과 마찬가지로, 카운트값(Cnt(n))은 안정 존재도의 값이 된다. 즉, 후보 화상 프레임(E(n))이 판정 기준점(SP)에 「가까운」 상태가 검출되는 것에 따라서 카운트값이 가산되어 간다. 그러나 이 처리예 2에서는, 스텝 F110에서 카운트값(Cnt(n))이 클리어된다.

이것은 즉, 일단, 판정 기준점(SP)으로부터 멀어지면, 안정 존재도의 값이 제로로 복귀된다는 의미이다.

예를 들어 어떤 후보 화상 프레임이, 판정 기준점(SP)에 가까워지고 있었다고 해도, 어떤 프레임에서 먼 상태로 되어 있으면, 대응하는 카운트값(Cnt(n))은 리셋된다.

따라서 각 후보 화상 프레임(E(n))은, 그 피사체가, 각각 계속적으로 판정 기준점(SP)에 가까운 상태(거리 임계값(Trs-diff) 내)에 잡혀 있는 한, 안정 존재도의 값(카운트값(Cnt(n)))이 상승해 간다. 즉 이 처리예 2에서는, 카운트값(Cnt(n))은, 판정 기준점(SP)에 가까운 상태의 「계속 시간」을 나타내는 것이 된다.

그리고, 스텝 F111에서 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 도달하는 경우란, 어떤 후보 화상 프레임이, 계속해서 카운트 임계값(CTthr)에 상당하는 프레임 수(시간)만큼, 판정 기준점(SP)에 가깝다는 조건을 계속해서 만족했을 경우가 된다.

이러한 경우, 제어부(30)는, 처리를 스텝 F111에서 F112로 진행시키고, 제어부(30)는, 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 달한 후보 화상 프레임(E(n))을 주요 피사체라 판정하고, 주요 피사체 설정을 행한다. 그리고 변수(TSF)=1로 한다.

다른 각 스텝의 처리는 도 9와 마찬가지이다.

또한, 이 처리예 2도, 처리 개시 시점부터 소정의 제한 시간을 경과해도 주요 피사체를 판정할 수 없는 경우에는, 주요 피사체 없음으로 해서 처리를 종료하도록 하면 된다.

이상의 처리예 2에 의하면, 유저가 주로 촬상하고자 하는 피사체를, 가능한 한 화상 중앙 등의 판정 기준점(SP)에 가까운 상태가 되도록 촬상 장치(10)를 들고 있음(피사체를 쫓음)으로써, 당해 피사체가 주요 피사체로서 자동으로 판정되게 된다.

특히 처리예 2에서는, 계속 시간에 의해 안정적인 존재인지 여부를 평가하고 있다. 이 경우, 움직임이 적은 피사체를 대상으로 하는 경우, 용이하게 화상 중앙 등에 계속해서 대상 피사체를 잡을 수 있기 때문에, 유저가 원하는 주요 피사체를 정확하게 설정할 수 있을 가능성이 높다. 또한 촬상자의 기량에 따라서는, 주로 찍고 싶은 피사체를 계속해서 화면 중앙 등(판정 기준점(SP)에 가까운 위치)에 유지할 수 있기 때문에, 정확하게 촬상자가 희망하는 피사체를 주요 피사체라 판정할 수 있을 확률이 높다. 즉, 촬상 기능의 상급자나, 피사체에 따라서는, 보다 유저가 원하는 피사체를 주요 피사체라 판정할 수 있는 가능성을 높게 할 수 있다.

또한, 주요 피사체 판정 처리는, 일정 시간을 반드시 행하는 것이 아니라, 주요 피사체가 판정된 시점에서 처리는 종료되기 때문에, 피사체나 촬상자의 기량에 따라서는, 신속하게 주요 피사체 판정이 이루어진다.

처리예 3도 상술한 처리 타입 I의 구체예인데, 이 처리예 3은 상기 처리예 1을 발전시킨 예이다.

후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준점과의 거리를 구한다.

각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준점과의 거리)가 소정의 임계값 이내라는 조건을 만족하고 있는 누적 시간 정보를 산출한다.

주요 피사체 판정 개시부터, 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을 주요 피사체라 판정한다.

이상은 처리예 1과 마찬가지이지만, 처리예 3은 안정 존재도의 산출에, 가중치를 부여하는 것을 가능하게 하고 있다. 또한, 동시에 복수의 후보 화상 프레임에 대하여 안정 존재도가 소정값에 도달한 경우, 즉 복수의 후보 화상 프레임이 주요 피사체라고 판정되어버리는 경우의 대응 처리를 부가하는 것이다.

도 11에 처리예 3을 나타낸다. 스텝 F100 내지 F107은 도 9와 마찬가지이다.

스텝 F108, F121, F122, F123에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 안정 존재도를 산출한다.

이 경우, 스텝 F108에서, 각 후보 화상 프레임(E(n))에 대해 플래그(Flg(n))=1인지 여부를 확인한다.

플래그(Flg(n))=1이면, 제어부(30)는 스텝 F121로 진행하고, 카운트 변수(OFST)에 가변 설정값(A)을 대입한다. 가변 설정값(A)은, A>0으로서 설정된 값이다.

플래그(Flg(n))=0이면, 제어부(30)는 스텝 F122로 진행하고, 카운트 변수(OFST)에 가변 설정값(B)을 대입한다. 가변 설정값(B)은, A≤0으로서 설정된 값이다.

그리고 어떤 경우든 제어부(30)는 스텝 F123에서, 안정 존재도의 값이 되는 카운트값(Cnt(n))에 대해,

Cnt(n)=Cnt(n)+OFST의 연산을 행한다.

또한 각 후보 화상 프레임(E(n))에 대한 평균 거리(Ave-Diff(n))를 산출한다.

가변 설정값(A)>0이므로, 스텝 F108에서 플래그(Flg(n))=1이면 안정 존재도의 값(카운트값(Cnt(n)))이 상승해 간다.

그리고 스텝 F111에서 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 도달하는 경우란, 어떤 후보 화상 프레임이, 비연속적이어도 되지만, 복수의 프레임 중에서 높은 빈도로 판정 기준점(SP)에 가깝다는 조건을 만족한 경우가 된다.

스텝 F113, F114의 처리는 도 9와 마찬가지이다.

또한, 이 처리예 3도, 처리 개시 시점부터 소정의 제한 시간을 경과해도 주요 피사체를 판정할 수 없는 경우에는, 주요 피사체 없음으로 해서, 처리를 종료하도록 하면 된다.

상기의 스텝 F108, F121, F122, F123의 처리의 의미는 다음과 같이 된다.

가변 설정값(A, B)은, 제어부(30)가 고정적으로 설정해도 되고, 유저 지시나 어플리케이션 프로그램 등에 기초하여 설정해도 된다. 또는, 주요 피사체 판정을 행하고 있는 기간 중에 프레임수의 진행, 또는 경과 시간에 따라서 변화시켜도 된다. 즉 가변 설정값(A, B)의 값은, 당해 주요 피사체 판정 처리를 보고서 외부 설정 가능하게 한다.

이하, 각종 가변 설정값(A, B)의 설정예를 (ex1) 내지 (ex7)로서 설명한다.

(ex1): 가변 설정값 A=1, B=0으로 고정적으로 설정하는 경우

이렇게 하면, 도 11의 처리는 도 9의 처리와 동일해진다. 즉 스텝 F108에서 플래그(Flg(n))=1이면 카운트값(Cnt(n))이 인크리먼트되고, 플래그(Flg(n))=0이면 카운트값(Cnt(n))이 인크리먼트되지 않고 유지된다.

(ex2): 가변 설정값 A=2(또는 3 이상), B=0으로 고정적으로 설정하는 경우

예를 들어, 통상은 상기 (ex1)인데, 유저 지시나 어플리케이션 프로그램의 지시에 따라, 가변 설정값(A)의 값을 높게 한다. 이 경우, 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 도달하는 시간을 앞당길 수 있다. 따라서 통상보다 신속히 주요 피사체 판정을 종료시키고자 하는 경우나, 움직임이 많은 피사체를 대상으로 하기 때문에 주요 피사체 판정의 반응 속도를 높이고자 하는 경우 등에 적합한 설정이 된다.

(ex3): 가변 설정값 A=1, B=-1로 고정적으로 설정하는 경우

인크리먼트는 통상적으로 행해지지만, 플래그(Flg(n))=0이면 카운트값(Cnt(n))을 디크리먼트시키는 예이다.

즉, 어떤 후보 화상 프레임이, 판정 기준점(SP)으로부터 이격된 경우(플래그(Flg(n))=0인 경우), 안정 존재도를 감소시킨다는 처리가 된다.

이것은 가능한 한 판정 기준점(SP)에 가까운 상태로 유지되는 피사체를 중요시한다는 사고 방식에 기초하는 것으로, 상술한 처리예 2에 가까운 사고 방식인데, 계속 시간에 한정하지 않고, 어디까지나 누적 시간으로 판단하게 된다. 즉 처리예 1의 안정 존재도의 사고 방식을, 처리예 2의 사고 방식에 근접시키는 것이 된다.

(ex4): 가변 설정값 A=1, B=-2(또는 -3 이하)로 고정적으로 설정하는 경우

상기 (ex3)과 마찬가지이지만, 어떤 후보 화상 프레임이, 판정 기준점(SP)으로부터 이격된 플래그(Flg(n))=0인 경우에, 안정 존재도가 저해되는 정도를 크게 하는 예가 된다. 반대로 말하면, 판정 기준점(SP)에 가까운 것의 주요 피사체 판정에 대한 중요도를 높이는 것이다.

(ex5): 가변 설정값 A=2(또는 3 이상), B=-2(또는 -3 이하)로 고정적으로 설정하는 경우

상기 (ex2)와 (ex4)의 사고 방식을 복합적으로 적용하는 처리예가 된다. 판정 기준점(SP)에 가까운 것의 주요 피사체 판정에 대한 중요도를 높임과 함께, 판정 응답성이 향상된다.

(ex6): 판정 기간 중에 가변 설정값(A)을 변화시킨다.

예를 들어 도 11의 처리가 실행되는 판정 기간을, 개시 시점부터 소정 시간 단위로 제1 기간, 제2 기간… 이라 분할 기간을 설정한다.

그리고, 제1 기간은 A=1, 제2 기간은 A=2, 제3 기간은 A=3 등과 같이 가변 설정값(A)을 변화시킨다.

이것은, 후반으로 갈수록, 판정 기준점(SP)에 가까운 것의 가치를 무겁게 하는 것이다.

일반적으로 촬상자가 피사체를 겨냥하여 카메라를 들고 있는 경우, 처음에는 주역으로 하고 싶은 피사체를 화상 중앙 등의 원하는 위치에 잡을 수 없어, 촬상자가 서서히 카메라의 방향을 조정해 간다. 이것을 고려하면, 처음에는, 촬상자가 「주요 피사체」라고 염두에 두고 있는 피사체는, 시간이 흐름에 따라 서서히 화상 중앙에 잡히게 된다.

따라서, 주요 피사체 판정 처리의 실행 중에, 시간이 흐를수록, 판정 기준점(SP)에 가깝다는 것의 가치를 무겁게 하는 것은, 촬상자의 생각에 합치된 주요 피사체 판정을 할 수 있을 가능성을 높이게 된다.

또한, 이 (ex6)에서 분할 기간의 설정이나, 각 분할 기간에서의 A값은 다양하게 생각할 수 있다. 반대로 촬상 사정, 환경에 따라서는, 제1 기간은 A=3, 제2 기간은 A=2, 제3 기간은 A=1 등과 같이 가변 설정값(A)을 서서히 작아지도록 변화시키고, 판정 초기에 판정 기준점(SP)에 가까운 것의 가치를 높이는 예도 생각할 수 있다.

예를 들어 처음에는 정지하고 있는 피사체가 움직이기 시작하는 타이밍에 주요 피사체 판정을 행하는 경우이다.

또한, 분할 기간의 설정이나, 어떻게 가변 설정값(A)을 변화시킬지는, 유저가 선택할 수 있도록 해도 된다.

또한, 이 (ex6)의 경우의 가변 설정값(B)에 대해서는, 상기 (ex1) 내지 (ex5), 또는 다음으로 설명하는 (ex7) 중 어느 하나를 조합할 수 있다.

(ex7): 판정 기간 중에 가변 설정값(B)을 변화시킨다.

그리고, 제1 기간은 B=1, 제2 기간은 B=2, 제3 기간은 B=3 등과 같이 가변 설정값(A)을 변화시킨다.

이것은, 후반으로 갈수록, 판정 기준점(SP)으로부터 이격되어 있는 것의 중요성(비안정 존재도)을 무겁게 보게 되어, 사고 방식으로서는 상기 (ex6)과 마찬가지이다. 즉 촬상자가 주요 피사체라고는 생각하고 있지 않은 피사체는, 판정 후기일수록, 판정 기준점(SP)으로부터 이격되는 경우가 많을 것이라는 사고 방식이다. 이것도 촬상자의 생각에 합치된 주요 피사체 판정을 할 수 있을 가능성을 높이게 된다.

또한, 이 (ex7)에서 분할 기간의 설정이나, 각 분할 기간에서의 B값은 다양하게 생각할 수 있다. 촬상 사정, 환경에 따라서는, 제1 기간은 B=3, 제2 기간은 B=2, 제3 기간은 B=1 등과 같이 가변 설정값(B)을 서서히 작아지도록 변화시키고, 판정 초기에 판정 기준점(SP)에 가까운 것의 가치를 높이는 예도 생각할 수 있다.

또한, 분할 기간의 설정이나, 어떻게 가변 설정값(B)을 변화시킬지는, 유저가 선택할 수 있도록 해도 된다.

또한, 이 (ex7)의 경우의 가변 설정값(A)에 대해서는, 상기 (ex1) 내지 (ex6) 중 어느 하나를 조합할 수 있다.

이상은 예시인데, 이것들과 같이 가변 설정값(A, B)의 설정에 의해, 목적이나 상황에 따른 주요 피사체 판정이 가능하게 된다.

또한, 처리예 3에서는, 처리예 1과 마찬가지로, 판정 기준점(SP)에 가까운 누적 시간 정보로서의 카운트값(Cnt(n))을 사용하여 주요 피사체 판정을 행하지만, 이 카운트값(Cnt(n))에 가감산하는 값은, 가변 설정값(A, B)에 의해 정해진다. 이로 인해, 카운트값(Cnt(n))은 누적된 「시간」 그 자체가 아니라, 조건에 맞지 않는 시간이 감산되거나, 분할 기간에 따라 조건 합치의 가중치가 변화한다.

이렇게 카운트값(Cnt(n))은, 판정 기준점(SP)에 가깝다는 조건에 합치하고 있는 「시간(프레임수)」 그 자체의 누적 시간을 나타내는 것이 되지는 않는 경우가 있는데, 각 실시 형태에서, 「누적 시간」란, 이와 같이 감산이나 가중치 부여를 가한 상태에서의 누적된 시간(또는 프레임수)도 포함하는 개념으로서 사용하고 있다.

그런데, 가변 설정값(A)을 사용하는 사고 방식은, 상술한 처리예 2에도 적용할 수 있다.

즉 상술한 도 10에서 플래그(Flg(n))=1인 경우, 스텝 F109에서는 카운트값(Cnt(n))을 인크리먼트하는데, 이때에 Cnt(n)=Cnt(n)+가변 설정값(A)이라는 연산을 행하도록 해도 된다. 가변 설정값(A)의 설정에 따라서는, 상기 (ex2) (ex6)에서 설명한 바와 같은 사고 방식의 처리를 실현할 수 있다.

또한, 그 경우, 카운트값(Cnt(n))은, 판정 기준점(SP)에 가깝다는 조건에 합치하고 있는 「시간(프레임수)」 그 자체의 「계속 시간」을 직접 나타내는 것이 되지는 않는 경우가 있는데, 「계속 시간」도, 이렇게 감산이나 가중치 부여를 가한 상태에서의 시간(또는 프레임수)도 포함하는 개념으로서 사용하고 있다.

다음으로 도 11의 처리예 3에서, 복수의 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 동시에 스텝 F111에서 카운트 임계값(CTthr)에 도달한 경우의 스텝 F112의 처리에 대하여 설명한다.

어떤 시점에서의 스텝 F111에서, 복수의 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 동시에 카운트 임계값(CTthr)에 도달하는 경우도 당연히 생각할 수 있다.

이 경우에, 복수의 후보 화상 프레임(E(n))을, 모두 주요 피사체로 판정하는 것도 생각할 수 있지만, 여기서는, 하나의 후보 화상 프레임만을 주요 피사체로 판정하는 경우의 예를 설명한다.

복수의 후보 화상 프레임(E(n))의 안정 존재도(카운트값(Cnt(n)))가 동시에 카운트 임계값(CTthr)에 도달하는 경우에는, 다음의 (조건 1) 내지 (조건 3)에서, 하나의 후보 화상 프레임을 주요 피사체로 하는 것을 생각할 수 있다.

(조건 1): 평균 거리(Ave-Diff(n))가 가장 작은 후보 화상 프레임을 선택한다.

카운트값(Cnt(n))은 거리(Diff(n))가 거리 임계값(Trs-diff) 이하인지의 스텝 F105에서의 판정 결과 「플래그(Flg(n))=1」「플래그(Flg(n))=0」에 따라서 카운트 업/다운된다. 따라서 카운트값(Cnt(n))는 절대적인 거리(Diff(n))를 나타내는 것이 아니다.

여기서, 스텝 F123에서 평균 거리(Ave-Diff(n))를 구하도록 하면, 복수의 후보 화상 프레임(E(n)) 중에서, 어느 쪽이, 「보다 판정 기준점(SP)에 가까운 상태」이었는지를 판정할 수 있다.

스텝 F123에서는, 평균 거리(Ave-Diff(n))는,

Ave-Diff(n)=(거리(Diff(n))의 누적 가산값)/(거리(Diff(n))의 가산 횟수)로 구할 수 있다.

복수의 후보 화상 프레임(E(n))의 안정 존재도(카운트값(Cnt(n)))가 동시에 카운트 임계값(CTthr)에 도달한 경우에는, 스텝 F112에서, 평균 거리(Ave-Diff(n))가 가장 작은 것을 주요 피사체라 판정하면 된다.

또한, 평균 거리(Ave-Diff(n))로 판정했지만, 거리(Diff(n))의 누적 가산값으로 판정해도 되는 것은 당연하다.

또한, 평균 거리가 아니라, 평균적으로 소정의 거리 범위에 있었는가, 또는 평균적으로 소정의 면적 범위에 있었는가와 같은 지표를 사용하여, 1개의 후보 화상 프레임을 선택하는 것도 생각할 수 있다.

또한, 피사체 거리를 사용해도 된다. 예를 들어 각 프레임에서의 후보 화상 프레임(E(n))의 피사체 거리로서의 위치(z값)에 대해서, 판정 기준점(SP)으로서의 z축 방향의 위치와의 차분을 구한다. 그리고 그 평균값을 산출한다. 이 피사체 거리 차분 평균값이 최소인 후보 화상 프레임을 선택하는 예이다.

(조건 2): 크기가 소정 범위 내인 후보 화상 프레임을 선택한다.

각 후보 화상 프레임(E(n))은, 촬상 장치(10)와 피사체의 거리나, 그 피사체 자체의 크기에 따라 크기가 상이하다. 촬상자는, 주로 찍고 싶은 피사체에 대하여 어느 정도 줌 조정을 하거나, 자신이 서 있는 위치를 바꾸거나 해서, 피사체의 화상 상의 크기를 적절하게 조정하는 것이 통상적이다. 따라서 촬상자가 주요 피사체라고 생각하고 있는 피사체는, 화상상 어느 정도의 범위 내로 되어 있는 경우가 많다. 또한 먼 피사체, 촬상자가 줌/포커스를 맞추지 않은 피사체는 상당히 작아지거나, 너무 큰 상태로 되는 경우가 많다.

따라서, 예를 들어 후보 화상 프레임의 픽셀수(PX)에 대하여 판정 상한(PXmax), 판정 하한(PXmim)을 설정하여,

PXmax≥PX(n)≥PXmim

이라는 크기 조건을 설정한다.

복수의 후보 화상 프레임(E(n))의 안정 존재도(카운트값(Cnt(n)))가 동시에 카운트 임계값(CTthr)에 도달한 경우에는, 스텝 F112에서는, 이 크기 조건을 만족하는 것을 주요 피사체라 판정하면 된다.

또한, 크기 조건은, 상한만의 PXmax≥PX(n)이어도 되고, 하한만의 PX(n)≥PXmim일 수도 있다.

또한 픽셀수(PX)가 아니라, 후보 화상 프레임(E(n))의 폭(w), 높이(h)를 사용하여 크기 판정해도 된다.

(조건 3): 어떤 시점에서의 소정의 거리 범위 내, 또는 최소 거리의 후보 화상 프레임을 선택한다.

어떤 시점에 있어서, 판정 기준점(SP)에 가깝다고 판정된 후보 화상 프레임, 또는 판정 기준점(SP)에 가장 가까운 후보 화상 프레임을 주요 피사체로 한다.

어떤 시점이란, 예를 들어 스텝 F112로 진행한 시점의 마지막 프레임이나, 주요 피사체 판정 처리를 개시했을 때의 최초의 프레임, 또는 중간의 어떤 프레임 등이다.

예를 들어, 촬상자가 주요하다고 생각하는 피사체를 겨냥하고 있으므로, 최후의 시점일수록, 촬상자는 주요하다고 생각하는 피사체가, 판정 기준점(SP)에 가까운 경우가 많다고 생각할 수 있다. 상술한 (ex6) 등의 후반 가중치 부여와 마찬가지의 사고 방식이다.

따라서, 복수의 후보 화상 프레임(E(n))의 안정 존재도(카운트값(Cnt(n)))가 동시에 카운트 임계값(CTthr)에 도달한 경우에는, 스텝 F112에서는, 최후의 프레임에서, 거리(Diff(n))가 최소인 후보 화상 프레임(E(n))을 주요 피사체라 판정하면 된다.

또한 최후의 프레임에서, 거리(Diff(n))가 소정 범위 내(즉 거리 임계값(Trs-diff) 이하)로 된 후보 화상 프레임(E(n))을 주요 피사체라 판정해도 된다. 단 처리예 3의 경우, 카운트값(Cnt(n))이 동시에 카운트 임계값(CTthr)에 도달한 경우의 판정이 되기 때문에, 복수의 후보 화상 프레임(E(n))은 모두 이 조건을 만족하므로, 복수 중의 선택에는 이 조건은 사용할 수 없지만, 후술하는 처리예 5 내지 처리예 12와 같이, 주요 피사체 판정 처리를 반드시 일정 시간 실행하는 처리의 경우, 이 조건으로 선택하는 것은 유효하다.

또한 최후의 프레임이 아니라, 최초의 프레임, 또는 도중의 프레임 등에서, 소정의 거리 범위 내, 또는 최소 거리의 후보 화상 프레임을 선택하는 것도, 촬상 사정이나 피사체 등에 따라 적절해지는 경우가 있다.

또한, 피사체 거리를 사용해도 된다. 예를 들어 최후의 프레임 등, 특정한 시점에서의 후보 화상 프레임(E(n))의 피사체 거리로서의 위치(z값)에 대해, 판정 기준점(SP)으로서의 z축 방향의 위치와의 차분을 구하고, 그 피사체 거리 차분값이 최소의 후보 화상 프레임을 선택하는 예이다.

이상 (조건 1) 내지 (조건 3)을 예시했는데, 물론 하나의 조건이 아니라, (조건 1) 내지 (조건 3)을 조합하여, 하나의 후보 화상 프레임을 주요 피사체로서 선택해도 된다. 또한, 이들 이외의 조건을 사용하여 선택을 행하는 것도 가능하다.

이상과 같이 제어부(30)는, 스텝 F112에서, 안정 존재도(카운트값(Cnt(n)))로부터는 복수의 후보 화상 프레임(E(n))이 주요 피사체라 판정되어야 할 상황이 되었을 경우, 화각 공간 내에서의 후보 화상 프레임의 위치 정보 또는 크기 정보를 사용하여, 하나의 후보 화상을 선택하고, 선택한 당해 후보 화상을 주요 피사체로 한다.

이에 의해, 가장 적절한 주요 피사체를 하나 설정한다는 것이 가능하게 된다.

또한, 이러한 복수 중에서 하나를 주요 피사체로서 선택하는 방법은, 처리예 1, 2에서도 적용 가능하다.

이상, 도 11에서 설명한 처리예 3에서는, 처리예 1과 마찬가지의 효과가 얻어짐과 함께, 가변 설정값(A, B)의 설정에 의해, 각종 상황에 따른 적절한 주요 피사체 판정이 가능하게 된다.

계속해서 처리예 4도 상술한 처리 타입 I의 구체예인데, 이 처리예 4는 상기 처리예 3을 더 발전시킨 예이다.

그리고 주요 피사체 판정 개시부터, 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을 주요 피사체라 판정한다.

이상은 처리예 1, 처리예 3과 마찬가지이지만, 처리예 4는 안정 존재도의 산출에 대해서, 거리(Diff(n))가 거리 임계값(Trs-diff) 이하인지의 조건 이외에도 조건을 부가하는 예이다.

도 12에 처리예 4를 나타낸다. 스텝 F100 내지 F104, F105 내지 F108, F121 내지 F123, F111 내지 F114는 도 11과 마찬가지이다. 이 도 12는, 도 11에 스텝 F130을 첨가한 것이다.

스텝 F130, F105, F106, F107에서는, 플래그(Flg(n))의 처리를 행한다.

여기서 스텝 F130에서는, 어떤 조건을 만족하고 있는지 여부에 따라 처리를 분기한다. 그리고 조건을 만족하고 있으면 스텝 F105로 진행하고, 거리(Diff(n))가 거리 임계값(Trs-diff) 이하인지 여부의 판정을 행한다. 그리고 그 판정 결과로 스텝 F106, F107의 어느 하나로 플래그(Flg(n))를 설정한다.

또한 스텝 F130에서 조건을 만족하고 있지 않다고 판정한 경우에는, 스텝 F107로 진행하여, 플래그(Flg(n))=0으로 한다.

즉 스텝 F130에서 조건을 만족하고 있지 않다고 된 후보 화상 프레임(E(n))에 대해서는 거리(Diff(n))에 관계없이 플래그(Flg(n))=0으로 하는 것이다.

스텝 F106, F107의 플래그(Flg(n))의 처리 이후는, 도 11과 마찬가지이다.

스텝 F130의 조건으로서는, 다음의 예 (조건 11) 내지 (조건 14)를 생각할 수 있다.

(조건 11): 피사체 거리가 소정 범위 내이다.

후보 화상 프레임(E(n))의 피사체 거리로서의 위치(z값)에 대해서, 판정 기준점(SP)으로서의 z축 방향의 위치와의 차분을 구한다. 이 피사체 거리 차분값이, 소정의 범위 내인 것을 조건으로 한다.

(조건 12): 크기가 소정 범위 내이다.

각 후보 화상 프레임(E(n))은, 촬상 장치(10)와 피사체의 거리나, 그 피사체 자체의 크기에 따라 크기가 상이하다. 상술한 처리예 3에서 설명한 (조건 2)와 마찬가지인 생각으로, 촬상자는, 주로 찍고 싶은 피사체에 대하여 어느 정도 줌 조정을 하거나, 자신이 서 있는 위치를 바꾸거나 해서, 피사체의 화상 상의 크기를 적절하게 조정하는 것이 통상적이기 때문에, 크기가 너무 작거나 너무 큰 화상은, 촬상자가 주요 피사체라고 생각하고 있지 않은 것으로 추정된다.

따라서, 예를 들어 후보 화상 프레임의 픽셀수(PX)에 대해 판정 상한(PXmax), 판정 하한(PXmim)을 설정하여,

PXmax≥PX(n)≥PXmim

이라는 크기 조건을 설정한다. 또한, 크기 조건은, 상한만의 PXmax≥PX(n)이어도 되고, 하한만의 PX(n)≥PXmim일 수도 있다.

(조건 13): 특정한 화상 종별이다.

예를 들어 후보 검출부(26)의 후보 화상 추출 처리에서의 조건 설정으로서도 가능하지만, 후보 검출부(26)가 특히 조건을 넓게 후보 화상을 추출하는 경우, 스텝 F130에서 후보 화상의 조건을 압축하도록 해도 된다.

예를 들어 유저의 지정에 의해, 얼굴, 인체, 개, 고양이 등의 화상인 것을 조건으로 한다. 개 화상인 것을 조건으로 했을 경우, 스텝 F130에서 후보 화상 프레임(E(n))의 종별이 얼굴 화상, 인체 화상, 고양이 화상 등이면, 조건을 만족하지 않는다고 판정하고, 카운트값(Cnt(n))의 인크리먼트를 행하지 않도록 한다.

(조건 14): 특정한 화상 상태이다.

예를 들어 추출된 화상 자체의 휘도 정보, 색 정보가, 소정의 범위, 소정의 색인 것 등을 조건에 첨가한다. 휘도 정보이면, 화상 자체가 너무 어둡거나 또는 너무 밝은 것은, 조건을 만족하지 않는 것으로 한다. 또한 유저가 어떤 색을 지정하여, 그 색의 피사체이면 조건을 만족한다고 하는 판정도 가능하다.

또한, 화상 상태의 판정을 위하여 제어부(30)는 후보 화상 데이터 자체, 또는 휘도 정보, 색 정보를 후보 검출부(26)로부터 수취하도록 하면 된다.

이상 (조건 11) 내지 (조건 14)를 예시했지만, 물론 하나의 조건이 아니라, (조건 1) 내지 (조건 3)을 조합하여, 하나의 후보 화상 프레임을 주요 피사체로서 선택해도 된다. 이들 이외의 조건 설정도 가능하다.

이상과 같이 제어부(30)는, 화각 공간 내에서의 후보 화상의 위치 정보, 또는 후보 화상의 크기 정보 등을, 안정 존재도의 산출 처리에 사용하도록 하고 있다.

이에 의해, 도 12에서 설명한 처리예 4에서는, 처리예 1, 3과 마찬가지의 효과가 얻어짐과 함께, 조건 설정에 의해, 보다 안정 존재도의 산출을 적절한 것으로 하여, 촬상자가 주요하다고 생각하는 주요 피사체를, 보다 적확하게 자동 판정할 수 있는 것이 된다.

또한, 스텝 F112에서의 최종적인 주요 피사체 판정 시에, 상기 (조건 11) 내지 (조건 14)를 판정해도 된다. 즉 스텝 F111에서, 어떤 하나의 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 카운트 임계값(CTthr)에 도달하는 경우에도, 당연히 그것을 주요 피사체로 하는 것이 아니라, 조건을 만족하지 않으면 주요 피사체라고는 판정하지 않는다는 처리도 생각할 수 있다. 이렇게 제어부(30)는, 화각 공간 내에서의 후보 화상의 위치 정보, 또는 후보 화상의 크기 정보 등을, 스텝 F112에서의 주요 피사체 판정 처리에 사용하도록 해도 된다.

또한 이상과 같이, 스텝 F130과 같이 안정 존재도의 산출에 조건 설정을 가하는 것이나, 스텝 F112에서의 주요 피사체 판정에 조건 설정을 가하는 것은, 계속 시간으로서의 안정 존재도를 사용하는 처리예 2에서도 적용 가능하다.

처리예 5도 처리 타입 I의 구체예이지만, 이 처리예 5는, 지금까지의 처리예 1 내지 처리예 4와는 달리, 어떤 일정 시간에서 주요 피사체 판정을 행하는 예이다.

즉 제어부(30)는, 어떤 일정한 주요 피사체 판정 기간에, 안정 존재도의 값이 가장 높은 후보 화상을 주요 피사체로 판정하는 처리예이다.

주요 피사체 판정으로서는, 상기와 같이 일정한 주요 피사체 판정 기간에 있어서, 안정 존재도의 값이 가장 높아진 후보 화상을 선정한다.

도 13에 처리예 5를 나타낸다.

제어부(30)는, 주요 피사체 판정 처리를 개시하면, 우선 스텝 F100A에서 초기 설정을 행한다. 처리예 1 내지 처리예 4의 스텝 F100과 마찬가지로, 변수(TSF)=0으로 하고, 또한 카운트값(Cnt(n))=0으로 한다. 또한 이 경우, 일정한 주요 피사체 판정 기간을 계수하기 위하여 타이머(TM)를 리셋/스타트시킨다.

스텝 F101 내지 F108, F121 내지 F122는 도 11과 마찬가지이다.

또한 스텝 F123A는, 카운트값(Cnt(n))의 가감산을 행하는 것은 도 11의 스텝 F123과 마찬가지이다. 또한, 스텝 F123A는 평균값 산출을 행한다. 도 11에서는 「평균 거리(Ave-Diff(n))」의 산출로 했는데, 여기에서의 「평균값 산출」이란, 평균 거리(Ave-Diff(n))뿐만 아니라, 평균적으로 소정의 거리 범위에 있었는지 여부를 나타내는 값의 산출이나, 평균적으로 소정의 면적 범위에 있었는지 여부를 나타내는 값의 산출이어도 된다는 의미를 포함한 것이다. 상술한 바와 같이, 이들 평균값은, 최종적으로 복수의 후보 화상 프레임(E(n))에 대해서, 안정 존재도의 값(카운트값(Cnt(n)))이 가장 높다는 결과가 되었을 경우에, 1개의 후보 화상 프레임(E(n))을 선택하기 위하여 사용할 수 있다.

스텝 F140에서는, 제어부(30)는, 타이머(TM)의 계수치가 소정 시간(TMov)에 도달했는지 여부를 확인한다. 즉, 주요 피사체 판정 처리를 개시하고나서의 경과 시간이, 소정의 시간(일정한 주요 피사체 판정 기간)이 되었는지 여부의 판정이다.

소정 시간에 달하지 않았으면, 스텝 F101로 복귀되어 처리를 계속한다.

타이머(TM)의 계수치가 소정 시간(TMov)에 달하면, 제어부(30)는 스텝 F141로 진행하여, 주요 피사체 판정을 행한다.

즉, 그 시점에서의 각 후보 화상 프레임(E(n))에 대한 카운트값(Cnt(n))을 확인하고, 최대값으로 되어 있는 후보 화상 프레임(E(n))을 주요 피사체라 설정하게 된다. 또한 이것에 따라서 변수(TSF)=1로 한다. 그리고 처리를 종료한다.

즉, 이 처리예 5는, 일정 시간은 안정 존재도 산출(카운트값(Cnt(n))의 처리)을 계속한다. 그리고 일정 시간 경과 후의 시점에서, 카운트값(Cnt(n))이 최대인 후보 화상 프레임(E(n))을 주요 피사체로 하는 것이다.

또한, 스텝 F141의 시점에서, 복수의 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 동일수로 최대값이 되는 경우도 있다. 그 경우, 상기 처리예 3에서 설명한 (조건 1) (조건 2) (조건 3) 등에 의해 하나를 선택하면 된다. (조건 1)의 판정을 행하는 경우에는 스텝 F123A에서 구한 평균값을 사용할 수 있다.

이상의 처리예 5에 의하면, 유저가 주로 촬상하고자 하는 피사체를, 가능한 한 화상 중앙 등의 판정 기준점(SP)에 가까운 상태가 되도록 촬상 장치(10)를 들고 있음(피사체를 쫓음)으로써, 당해 피사체가 주요 피사체로서 자동으로 판정되게 된다.

특히 처리예 5는, 판정 기준점(SP)에 「가까운」 상태의 누적 시간으로 안정 존재도를 판정하고 있다. 움직이고 있는 상황의 피사체, 또는 동물 등의 움직임이 빠른 피사체의 경우, 촬상자는 어느 정도의 시간(예를 들어 몇 초 정도라도), 주로 하고 싶은 피사체를 계속해서 화상 중앙에 잡는 것은 어려운 경우가 있다. 또한 촬상자의 촬상 기량에 따라서는, 손 떨림이 심하거나 하여 좀처럼 찍고 싶은 피사체를 화상 중앙에 유지할 수 없는 경우도 있다. 이러한 경우에도, 누적 시간을 사용함으로써 비교적 신속하게 주요 피사체 판정이 가능하게 된다.

즉, 움직임이 빠른 피사체를 대상으로 하는 경우나, 비교적 익숙하지 않은 유저에게는 적합해진다.

또한, 주요 피사체 판정 처리는, 일정 시간에 안정 존재도(카운트값(Cnt(n)))가 가장 높은 것을 선택하는 처리가 된다. 이로 인해, 그다지 카운트값(Cnt(n))의 카운트 업이 진행되지 않은 상황이라도, 일정 시간에 주요 피사체 판정이 이루어진다는 이점도 있다. 예를 들어 여기저기 움직이는 피사체로, 좀처럼 판정 기준점(SP) 가깝게 잡는 것이 어려운 경우에도, 일정 시간에 주요 피사체 판정이 완료된다.

단, 어느 후보 화상 프레임(E(n))에 대해서도, 너무 카운트 업이 진행되지 않은 상황에서는, 무리하게 주요 피사체를 선정하기보다는, 해당 없음이라는 판정을 행하는 것이 더 좋은 경우도 있다. 따라서, 카운트값(Cnt(n))에 대해서, 주요 피사체에 해당하기 위해 하한값 조건을 붙여도 된다. 즉 스텝 F141에서, 최대로서 선택된 카운트값(Cnt(n))을 하한값(Lth)과 비교하여, Cnt(n)<Lth이면, 주요 피사체 해당 없음으로 하는 것도 생각할 수 있다. 이에 의해, 본래 주요 피사체가 존재하지 않는 상황에서 주요 피사체가 결정되어버리는 것을 피할 수 있다.

또한, 하한값(Lth)은, 처리예 1 등에서의 카운트 임계값(CTthr)과 동일 정도의 값으로 해도 되지만, 보다 낮은 값일 수도 있다. 즉 주요 피사체라 설정하기 위해서는 최저한의 카운트값(안정 존재도)이라 생각되는 값으로 함으로써, 상기의, 예를 들어 여기저기 움직이는 피사체로, 좀처럼 판정 기준점(SP) 가깝게 잡는 것이 어려운 경우에도, 일정 시간에 주요 피사체 판정을 완료할 수 있다는 효과가 얻어지도록 할 수 있다.

처리예 6도 처리 타입 I의 구체예이다.

이 처리예 6에서는, 후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준점과의 거리를 구한다.

또한, 주요 피사체 판정에 대해서는, 처리예 5와 마찬가지로, 일정한 주요 피사체 판정 기간에서, 안정 존재도의 값이 가장 높아진 후보 화상을 주요 피사체라 판정한다.

처리예 5와의 차이점은, 안정 존재도가, 판정 기준점(SP)에 가까운 상태의 계속 시간으로 하는 것이다. 즉, 일정한 주요 피사체 판정 기간 내에서, 가장 길게 계속해서 판정 기준점(SP)에 가까운 상태가 있었던 후보 화상 프레임을 주요 피사체라 판정한다.

도 14에 처리예 6을 나타낸다.

제어부(30)는, 주요 피사체 판정 처리를 개시하면, 우선 스텝 F100B에서 초기 설정을 행한다. 처리예 5의 스텝 F100A와 마찬가지로, 변수(TSF)=0으로 하고, 또한 카운트값(Cnt(n))=0으로 한다. 또한, 일정한 주요 피사체 판정 기간을 계수하기 위하여 타이머(TM)를 리셋/스타트시킨다. 또한 이 경우, 계속 시간 유지 변수(CC(n))를 초기화(=0)한다.

스텝 F101 내지 F107은 도 13과 마찬가지이다.

스텝 F108, F121, F123A, F124 내지 F126에서는, 안정 존재도의 산출 처리로서 카운트값(Cnt(n))의 처리를 행한다.

제어부(30)는 스텝 F108에서, 각 후보 화상 프레임(E(n))에 대해, 플래그(Flg(n))=1인지 여부를 확인하고, 플래그(Flg(n))=1이면, 스텝 F121에서 카운트 변수(OFST)에 가변 설정값(A)(단 A>0)을 대입한다. 그리고 제어부(30)는, 스텝 F123에서, 안정 존재도의 값이 되는 카운트값(Cnt(n))에 대해서,

Cnt(n)=Cnt(n)+OFST의 연산을 행한다. 즉 카운트값(Cnt(n))을 A값만큼 카운트 업한다.

한편, 스텝 F108에서 플래그(Flg(n))=0이면, 제어부(30)는 스텝 F124로 진행하고, 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))와 비교한다.

CC(n)>Cnt(n)이면, 스텝 F126에서 카운트값(Cnt(n))을 클리어한다.

CC(n)>Cnt(n)이 아니면, 스텝 F125에서, 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))에 대입한 다음, 스텝 F126에서 카운트값(Cnt(n))을 클리어한다.

지금까지의 처리예 1 내지 처리예 5와 마찬가지로, 카운트값(Cnt(n))은 안정 존재도의 값이 된다. 즉, 후보 화상 프레임(E(n))이 판정 기준점(SP)에 「가까운」 상태가 검출되는 것에 따라서 카운트값이 가산되어 간다.

한편, 후보 화상 프레임(E(n))이 판정 기준점(SP)에 「가까운」 상태가 아니라고(플래그(Flg(n))=0) 판정되면, 스텝 F126에서 카운트값(Cnt(n))이 클리어된다.

이것은 처리예 2에서 설명한 경우와 마찬가지로, 일단, 판정 기준점(SP)으로부터 멀어지면, 안정 존재도의 값이 제로로 복귀된다는 의미이다.

따라서 각 후보 화상 프레임(E(n))은, 그 피사체가, 각각 계속적으로 판정 기준점(SP)에 가까운 상태에 잡혀 있는 한, 안정 존재도의 값(카운트값(Cnt(n)))이 상승되어 가지만, 계속 상태가 없어지면, 카운트값(Cnt(n))=0이 된다. 따라서 카운트값(Cnt(n))은 판정 기준점(SP)에 가까운 상태의 「계속 시간」을 나타내는 것이 된다.

이 경우에, 계속 시간 유지 변수(CC(n))는, 일정한 주요 피사체 판정 기간 내에서의 최대의 「계속 시간」을 유지하는 것이 된다.

이 때문에 계속 시간이 도중에 끊어졌을 때에, 스텝 F124, F125에서 계속 시간 유지 변수(CC)가 최대값으로 갱신된다. 즉, 계속이 도중에 끊어진 현 시점의 「계속 시간」인 카운트값(Cnt(n))이 계속 시간 유지 변수(CC)로 유지하고 있는 「계속 시간」보다 크면, 카운트값(Cnt(n))이 계속 시간 유지 변수(CC(n))에 대입되어 최대값으로 갱신된다.

스텝 F140에서는, 제어부(30)는, 타이머(TM)의 계수치가 소정 시간(TMov)에 도달했는지 여부를 확인한다. 소정 시간에 달하지 않았으면, 스텝 F101로 복귀되어서 처리를 계속한다.

타이머(TM)의 계수치가 소정 시간(TMov)에 달하면, 제어부(30)는 스텝 F127에서 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))와 비교한다.

CC(n)>Cnt(n)가 아니면, 스텝 F128에서, 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))에 대입한다. 이 스텝 F127, F128은, 일정한 주요 피사체 판정 기간이 끝나는 시점에서, 판정 기준점(SP)에 가까운 상태를 계속하고 있었던 경우로서, 그것이 「계속 시간」의 최대값으로 되어 있었던 경우, 계속 시간 유지 변수(CC(n))를 갱신하는 처리이다.

그리고 제어부(30)는 스텝 F141로 진행하여, 주요 피사체 판정을 행한다.

즉, 그 시점에서의 각 후보 화상 프레임(E(n))에 대한 계속 시간 유지 변수(CC(n))의 값을 확인하고, 이것이 최대값으로 되어 있는 후보 화상 프레임(E(n))을 주요 피사체라 설정한다. 또한 이것에 따라서 변수(TSF)=1로 한다. 그리고 처리를 종료한다.

이상과 같이 처리예 6은, 일정 시간은 안정 존재도 산출(카운트값(Cnt(n))의 처리)을 계속한다. 그리고 일정 시간 경과 후의 시점에서, 계속 시간 유지 변수(CC(n))로 나타내지는 계속 시간이 최대인 후보 화상 프레임(E(n))을 주요 피사체로 하는 것이다.

또한, 스텝 F141의 시점에서, 복수의 후보 화상 프레임(E(n))의 계속 시간 유지 변수(CC(n))가 동일 수로 최대값이 되는 경우도 있다. 그 경우, 상기 처리예 3에서 설명한 (조건 1) (조건 2) (조건 3) 등에 의해 1개를 선택하면 된다.

또한 스텝 F141에서는, 계속 시간 유지 변수(CC(n))의 최대값에 대하여 하한값(Lth)과의 비교를 행하고, CC(n)<Lth이면, 주요 피사체 해당 없음으로 하는 것도 생각할 수 있다. 이에 의해, 본래 주요 피사체가 존재하지 않는 상황에서 주요 피사체가 결정되어버리는 것을 피할 수 있다.

이상의 처리예 6에 의하면, 유저가 주로 촬상하고 싶은 피사체를, 가능한 한 화상 중앙 등의 판정 기준점(SP)에 가까운 상태가 되도록 촬상 장치(10)를 들고 있음(피사체를 쫓음)으로써, 당해 피사체가 주요 피사체로서 자동으로 판정되게 된다.

또한, 주요 피사체 판정 처리는, 일정 시간에 안정 존재도(계속 시간 유지 변수(CC(n)))가 가장 높은 것을 선택하는 처리가 된다. 이로 인해, 처리예 5와 마찬가지로, 그다지 카운트값(Cnt(n))의 카운트 업이 진행되지 않는 상황이라도, 일정 시간에 주요 피사체 판정이 이루어진다는 이점도 있다.

또한 처리예 6은, 계속 시간에 의해 안정 존재도를 평가하고 있다. 처리예 2와 마찬가지로, 촬상 기능의 상급자나, 피사체에 따라서는, 보다 유저가 원하는 피사체를 주요 피사체라 판정할 수 있을 가능성을 높게 할 수 있다.

처리예 7도 처리 타입 I의 구체예이다.

이 처리예 7에서는, 후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준 영역과의 위치 관계를 구한다.

또한, 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준 영역과의 관계)가 소정의 상태라는 조건을 만족하고 있는 누적 시간 정보(또는 계속 시간 정보)를 산출한다.

또한, 주요 피사체 판정에 대해서는, 처리예 1 내지 처리예 4와 마찬가지로, 주요 피사체 판정 개시부터, 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을 선택한다.

우선 판정 기준 영역의 위치 관계에 대하여 도 15에서 설명한다.

도 15는 판정 기준 영역(SA)의 예를 나타내고 있다.

도 15의 A는 화상 중앙의 정사각형 영역을 판정 기준 영역(SA)으로 한 예이다. 여기에서는, 어떤 프레임의 시점에서, 후보 화상 프레임(E1, E2, E3) 각각의 후보 화상 프레임 정보가 도입된 경우의 모습을 나타내고 있다.

각 후보 화상 프레임(E(n))의 판정 기준 영역(SA)과의 위치 관계란, 예를 들어

·무게 중심이 판정 기준 영역(SA)에 들어있는지 여부

·전체가 판정 기준 영역(SA)에 들어있는지 여부

·적어도 일부가 판정 기준 영역(SA)에 들어있는지 여부

·판정 기준 영역의 외측 테두리와의 거리가 소정 이내인지 여부

등으로 한다.

또한, 판정 기준 영역(SA)이 화면 중앙이 되는 것은 일례이다.

예를 들어 도 15의 B와 같이, 중앙보다 약간 좌측 상방의 위치에 판정 기준 영역(SA)을 설정해도 된다. 예를 들어 정지 화상의 구도를 고려한 경우, 이러한 중앙이 아닌 위치에 주된 피사체를 배치하면 좋은 경우를 많이 생각할 수 있기 때문이다.

또는 도 15의 C와 같이, 화상 전체(프레임 전체)를 판정 기준 영역(SA)으로 해도 된다. 이 경우의 각 후보 화상 프레임(E(n))의 판정 기준 영역(SA)과의 위치 관계란, 「화상 내에 후보 화상이 존재하는지 여부」라는 것이 된다.

또한 판정 기준 영역(SA)의 형상은 도 15의 A의 정사각형에 한하지 않고, 도 15의 B, 도 15의 C의 직사각형이어도 된다. 또한 삼각형, 오각형 이상의 다각형, 원형, 타원형, 타원형, 부정형 등이어도 된다.

또한 크기도 다양하게 생각할 수 있다.

또한 판정 기준 영역(SA)은, 예를 들어 도 15의 A, 도 15의 B와 같은 영역에 고정적으로 설정하고 있어도 되고, 유저가 표시 화면 상에서의 터치 조작 등에 의해 임의로 지정할 수 있도록 해도 된다.

또한 표시부(34)의 화면 상에서 유저에게 몇 개의 판정 기준 영역(SA)의 후보 영역을 제시하여, 유저가 선택할 수 있도록 해도 된다.

나아가, 화상 내용, 화상 해석 결과 등에 따라 제어부(30)가 구도 등을 고려하여 최적의 영역을 판정하고, 자동 설정하는 것도 생각할 수 있다.

즉 판정 기준점(SP)에 대해서는,

·화상 중앙 위치, 또는 중앙보다 어긋난 위치 등을 중심으로 하여, 미리 결정된 고정적인 형상의 영역에 설정된다.

·유저가 중심 위치, 형상, 크기의 전부 또는 일부를 임의로 지정한다.

·몇 개의 후보 영역을 유저에게 제시하여, 유저가 선택함으로써 설정된다.

·제어부(30)가 화상 내용에 따라 최적 영역을 판정하고, 자동으로 가변 설정한다.

등을 생각할 수 있다.

후보 화상 프레임(E(n))과 판정 기준 영역(SA)의 위치 관계는, 각 프레임의 시점에서 구하여 안정 존재도(카운트값(Cnt(n)))의 카운트에 사용한다.

예를 들어, 각 후보 화상 프레임(E(n))의 판정 기준 영역(SA)과의 위치 관계로서, 「무게 중심이 판정 기준 영역(SA)에 들어있는지 여부」라는 판정을 행한다.

도 16은, 후보 화상 프레임(E1, E2, E3)에 대한, 각 프레임에서의 위치 관계, 즉 무게 중심이 판정 기준 영역(SA)의 범위 내인지 범위 밖인지의 판정 결과의 변동 모습을 나타낸 것이다.

처리예 7에서는, 안정 존재도란, 무게 중심이 판정 기준 영역(SA)에 들어있는 상태의 누적 시간으로 한다. 이 때문에 판정 기준 영역(SA)의 범위 내라고 판정되는 횟수를 카운트값(Cnt(n))으로 카운트해 가게 된다.

도 17에서 처리예 7로서의 제어부(30)의 주요 피사체 판정 처리를 설명한다. 또한, 도 17은, 상술한 도 11의 처리예 3을, 판정 기준 영역(SA)을 사용한 처리로 변경한 예이다.

스텝 F100 내지 F102, F104는 도 11과 마찬가지이다.

이 도 17의 경우, 도 11에서의 스텝 F103에 상당하는 거리(Diff(n))의 산출 처리는 불필요하게 된다.

스텝 F150에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 무게 중심(G)이 판정 기준 영역(SA) 내인지 여부를 확인한다.

여기서 화면 평면의 xy 좌표의 원점(O)은 도 15의 A와 같이 화상 좌측 상단 정점으로 한다.

그리고 각 후보 화상 프레임(E(n))의 무게 중심(G)의 xy 좌표값을 (E(n)_cx, E(n)_cy)로 한다.

또한, 판정 기준 영역(SA)에 대해서는 예를 들어 사각형인 것으로 하고, 판정 기준 영역(SA)의 좌측 상단 정점의 xy 좌표값을 (SAx, SAy), 폭을 SAw, 높이를 SAh로 한다.

그러면, 제어부(30)는 스텝 F150에서, 각 후보 화상 프레임(E(n))의 무게 중심(G)에 대해서,

SAx≤E(n)_cx≤(SAx+SAw)

이고, 또한,

SAy≤E(n)_cy≤(SAy+SAh)인지를 판정하게 된다.

이 조건이 만족되면, 후보 화상 프레임(E(n))의 무게 중심(G)이 판정 기준 영역(SA) 내인 것이 된다.

제어부(30)는, 각 후보 화상 프레임(E(n))에 대하여 상기 판정을 행하고, 무게 중심(G)이, 판정 기준 영역(SA) 내이면 스텝 F106에서 플래그(Flg(n))=1(영역 내)로 한다. 또한 무게 중심(G)이, 판정 기준 영역(SA)에 포함되지 않으면 스텝 F107에서 플래그(Flg(n))=0(영역 외)으로 한다.

스텝 F108, F121, F122, F123B, F111, F112, F113, F114는, 기본적으로 도 11과 마찬가지이다. 또한, 스텝 F123B에서는, 평균 거리 산출을 행하지 않는 것이 도 11의 스텝 F123과 상이하다. (파선으로 나타내는 스텝 F110에 대해서는 후술함)

이러한 처리예 7에 의하면, 판정 기준 영역(SA)과의 위치 관계에 기초하여 각 후보 화상 프레임(E(n))의 안정 존재도를 산출하게 된다. 안정 존재도로서는, 위치 상태(판정 기준 영역과의 관계)가 소정의 상태라는 조건을 만족하고 있는 누적 시간이 된다.

그리고 주요 피사체 판정 개시부터, 안정 존재도(누적 시간)가 가장 빨리 소정값에 달한 후보 화상이 주요 피사체라 판정된다.

따라서, 처리예 1, 처리예 3과 마찬가지의 효과가 얻어진다. 그리고 나서, 판정 기준점(SP)이 아니라 판정 기준 영역(SA)을 사용함으로써 주요 피사체의 판정을 위한 위치가 넓어져, 촬상 환경이나 피사체, 유저의 촬상 기량 등에 따라서는, 주요 피사체 판정에 적합해지는 경우가 있다.

또한, 스텝 F108에서 플래그(Flg(n))=0이었던 경우에는, 스텝 F122, F123B를 실행하지 않고, 파선으로 나타내도록 스텝 F110에서 카운트값(Cnt(n))을 클리어하도록 해도 된다.

이 스텝 F110에서 클리어하는 처리를 채용하는 경우, 처리예 2에서 설명한 바와 같이, 카운트값(Cnt(n))이 조건(도 17의 경우에는 판정 기준 영역(SA) 내에 존재라는 조건)을 만족하는 누적 시간이 아니라, 계속 시간을 나타내는 것이 된다.

즉 스텝 F110을 채용하는 경우, 도 17의 처리는, 「계속 시간」을 안정 존재도의 지표로 하고, 이것에 기초하여 주요 피사체를 판정하게 된다.

이 경우, 처리예 2와 마찬가지의 효과가 얻어진다.

또한 도 17에서는, 스텝 F150에서 후보 화상 프레임(E(n))의 무게 중심이 판정 기준 영역(SA) 내인지 여부라는 조건 판정을 행했지만, 상술한 바와 같이, 후보 화상 프레임(E(n))의 전체(또는 일부)가 판정 기준 영역(SA)에 들어있는지 여부라는 조건이나, 후보 화상 프레임(E(n))의 무게 중심이 판정 기준 영역의 외측 테두리와의 거리가 소정 이내인지 여부라는 조건을 스텝 F150에서 판정하도록 해도 된다.

처리예 8도 처리 타입 I의 구체예이다. 이것은 처리예 5를, 판정 기준 영역(SA)을 사용하는 예로 변형한 것이라고 할 수 있다.

이 처리예 8에서는, 후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준 영역(SA)과의 위치 관계를 구한다.

또한, 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준 영역(SA)과의 관계)가 소정의 상태라는 조건을 만족하고 있는 누적 시간 정보(또는 계속 시간 정보)를 산출한다.

또한, 일정한 주요 피사체 판정 기간에 있어서, 안정 존재도의 값이 가장 높아진 후보 화상을 주요 피사체라 판정한다.

도 18에서 처리예 8로서의 제어부(30)의 주요 피사체 판정 처리를 설명한다. 또한, 도 18은, 상술한 도 13의 처리예 5를, 판정 기준 영역(SA)을 사용한 처리로 변경한 예이다.

스텝 F100A, F101, F102, F104는 도 11과 마찬가지이다.

이 도 18의 경우, 도 13에서의 스텝 F103에 상당하는 거리(Diff(n))의 산출 처리는 불필요하게 된다.

스텝 F150에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 무게 중심(G)이, 판정 기준 영역(SA) 내인지 여부를 확인한다. 앞서 도 17에서 설명한 처리와 마찬가지이다.

그리고 제어부(30)는, 각 후보 화상 프레임(E(n))에 대해서, 무게 중심(G)이 판정 기준 영역(SA) 내이면 스텝 F106에서 플래그(Flg(n))=1(영역 내)로 한다. 또한 무게 중심(G)이 판정 기준 영역(SA)에 포함되지 않으면 스텝 F107에서 플래그(Flg(n))=0(영역 외)으로 한다.

스텝 F108, F121, F122, F123B, F140, F141은 도 13과 마찬가지이다. 또한, 스텝 F123B에서는, 평균값 산출을 행하지 않는 것이 도 13의 스텝 F123A와 상이하다.

이 처리예 8에 의하면, 판정 기준 영역(SA)과의 위치 관계에 기초하여 각 후보 화상 프레임(E(n))의 안정 존재도를 산출하게 된다. 안정 존재도로서는, 위치 상태(판정 기준 영역과의 관계)가 소정의 상태라는 조건을 만족하고 있는 누적 시간이 된다.

그리고 주요 피사체 판정 개시부터 일정 시간에 있어서, 안정 존재도(누적 시간)가 최대가 된 후보 화상이 주요 피사체라 판정된다.

따라서, 처리예 5와 마찬가지의 효과가 얻어진다. 그리고 나서, 판정 기준점(SP)이 아니라 판정 기준 영역(SA)을 사용함으로써 주요 피사체의 판정을 위한 위치가 넓어져, 촬상 환경이나 피사체, 유저의 촬상 기량 등에 따라서는, 주요 피사체 판정에 적합해지는 경우가 있다.

또한, 처리예 8의 변형예로서, 누적 시간이 아니라 계속 시간에 의한 안정 존재도를 구하는 예도 생각할 수 있다.

그 경우의 흐름도는 생략하지만, 도 14의 스텝 F103을 삭제하고, 스텝 F105 대신에 상술한 스텝 F150의 처리를 실행하는 처리로 하면 된다.

그 처리에 의해서는, 처리예 6과 마찬가지의 효과가 얻어진다.

또한 누적 시간을 사용하는 경우, 계속 시간을 사용하는 경우 중 어느 경우에든, 스텝 F141에서는, 카운트값(Cnt(n))의 최대값에 대하여 하한값(Lth)과의 비교를 행하여, Cnt(n)<Lth이면, 주요 피사체 해당 없음으로 하는 것도 생각할 수 있다. 이에 의해, 본래 주요 피사체가 존재하지 않는 상황에서 주요 피사체가 결정되어버리는 것을 피할 수 있다.

또한 도 18에서는, 스텝 F150에서 후보 화상 프레임(E(n))의 무게 중심이 판정 기준 영역(SA) 내인지 여부라는 조건 판정을 행했지만, 후보 화상 프레임(E(n))의 전체(또는 일부)가 판정 기준 영역(SA)에 들어있는지 여부라는 조건이나, 후보 화상 프레임(E(n))의 무게 중심이 판정 기준 영역의 외측 테두리와의 거리가 소정 이내인지 여부라는 조건을 스텝 F150에서 판정하도록 해도 된다.

[4-9: 처리예 9(타입 II; 판정 기준점; 평균적 존재)]

처리예 9를 설명한다. 처리예 9는, 처리 타입 II의 구체예이다.

그리고 이 처리예 9에서는, 후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준점(SP)과의 거리를 구한다.

또한, 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준점과의 거리)의 평균값(평균 거리)을 산출한다. 평균 거리는, 시간적으로 보아 높은 빈도로 판정 기준점에 가까운 위치 상태에 있는 것을 나타내는 지표가 된다. 예를 들어 「평균 거리의 값이 작다」라는 것은, 상술한 각 처리예에서 말하는 「누적 시간이 길다」는 것과 마찬가지의 의미가 된다.

그리고, 평균 거리가 가장 작고, 또한 이것이 소정의 임계값 이내라는 조건을 만족하고 있는 후보 화상 프레임을 주요 피사체라 판정한다.

또한, 처리 타입 II이기 때문에, 주요 피사체 판정 처리는, 유저 조작 등으로 중단되지 않는 한, 후보 화상 프레임 정보의 버퍼링이 완료되는 일정 시간 이상은 실행된다.

도 19에서 처리예 9로서의 제어부(30)의 주요 피사체 판정 처리를 설명한다.

제어부(30)는, 주요 피사체 판정 처리를 개시하면, 우선 스텝 F200에서 주요 피사체 설정 완료인지 여부를 나타내는 플래그인 변수(TSF)=0으로 하고, 또한 카운트값(BfC)=0으로 한다.

또한 카운트값(BfC)은, 제어부(30)가 후보 검출부(26)로부터의 후보 화상 프레임 정보를 취득하고, 산출한 각 후보 화상 프레임(E(n))에 대한 거리(Diff(n))의 버퍼링 횟수(프레임수)값을 카운트하는 값이다.

스텝 F201에서 제어부(30)는, 후보 검출부(26)로부터 어떤 프레임에 대한 후보 화상 프레임 정보를 도입한다. 예를 들어 각 후보 화상 프레임(E(n))에 대해서, 위치 정보로서, 화상 데이터의 이차원 (x-y) 좌표값으로서의 x값, y값이나, 크기 정보로서 후보 화상 프레임의 폭(w), 높이(h)의 정보를 취득한다. 또한, 후보 화상 프레임 정보에는 피사체 거리(z값)나 픽셀 수 등도 포함되어 있어도 된다.

스텝 F202에서 제어부(30)는, 각 후보 화상 프레임(E(n))에 대해서, 무게 중심(G)의 좌표를 산출한다. 도 9의 스텝 F102에서 설명한 처리와 마찬가지이다.

스텝 F203에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 무게 중심(G)으로부터, 판정 기준점(SP)까지의 거리(Diff(n))를 산출한다. 도 9의 스텝 F103에서 설명한 처리와 마찬가지이다.

스텝 F204에서 제어부(30)는, 스텝 F203에서 산출한 거리(Diff(n))를 예를 들어 내부 메모리 영역에서 영역(Diff(n)[BfC])에 저장(버퍼링)한다.

스텝 F205에서 제어부(30)는, 카운트값(BfC)을 인크리먼트한다.

스텝 F206에서 제어부(30)는, 카운트값(BfC)이, 일정 시간에 상당하는 카운트 임계값(THrTM)에 도달했는지 여부를 판정하고, 도달하지 않았으면 스텝 F201로 복귀된다.

상기의 스텝 F204에서의 영역(Diff(n)[BfC])이란, 주요 피사체 판정 처리 개시부터 (BfC)번째로 도입한 프레임(FR(BfC))에서의 후보 화상 프레임(E(n))의 정보를 저장하는 영역이라는 의미로 하고 있다.

예를 들어 최초로 스텝 F201에서 프레임(FR(0))의 후보 화상 프레임 정보를 도입한 시점이며, 그 프레임(FR(0))에서, 후보 화상 프레임(E1, E2, E3)이 존재한 경우, 각각의 후보 화상 프레임에 대하여 스텝 F203에서 산출된 거리(Diff1, Diff2, Diff3)가, 영역(Diff(1)[0], Diff(2)[0], Diff(3)[0])에 저장된다.

또한 다음으로 스텝 F201에서 도입한 프레임(FR(1))에 있어서, 후보 화상 프레임(E1, E2, E3)이 존재한 경우, 각각의 후보 화상 프레임에 대하여 스텝 F203에서 산출된 거리(Diff1, Diff2, Diff3)가, 영역(Diff(1)[1], Diff(2)[1], Diff(3)[1])에 저장된다.

즉, 스텝 F201 내지 F205의 처리가 일정 시간(THrTM) 동안 반복됨으로써, 프레임(FR(0)) 내지 프레임(m) 각각에 대한 각 후보 화상 프레임(E(n))의 거리(Diff(n))가 버퍼링되게 된다.

일정 시간을 경과하면 버퍼링은 종료되고, 제어부(30)는 처리를 스텝 F206에서 F207로 진행한다.

스텝 F207에서 제어부(30)는, 각 후보 화상 프레임(E(n))에 대해서, 평균 거리(Ave-Diff(n))를 산출한다.

Ave-Diff(n)=(버퍼링된 거리(Diff(n))의 누적 가산값)/(거리(Diff(n))의 가산 횟수)

그리고 스텝 F208에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 평균 거리(Ave-Diff(n)) 중에서, 최소 거리(MIN[Ave-Diff(n)])를 판정한다. 가장 평균 거리(Ave-Diff(n))가 작은 후보 화상 프레임(E(n))이 구해지게 된다.

최소 거리(MIN[Ave-Diff(n)])를 판정하면, 제어부(30)는 스텝 F209에서, 당해 최소 거리(MIN[Ave-Diff(n)])가 거리 임계값(Trs-diff) 이하인지 여부를 판정한다.

최소 거리(MIN[Ave-Diff(n)])가 거리 임계값(Trs-diff) 이하이면, 제어부(30)는 처리를 스텝 F210으로 진행시키고, 당해 최소 거리(MIN[Ave-Diff(n)])가 된 후보 화상 프레임(E(n))을 주요 피사체라 판정하고, 주요 피사체 설정을 행한다. 그리고 변수(TSF)=1로 한다.

최소 거리(MIN[Ave-Diff(n)])가 거리 임계값(Trs-diff) 이하가 아니면, 제어부(30)는 처리를 스텝 F211에서 변수(TSF)=0으로 한다. 이 경우, 주요 피사체는 해당 없음이라는 결과가 된다.

또한, 적어도 후보 화상 프레임(E(n))이 존재하면 반드시 주요 피사체를 정한다는 처리를 실현하는 경우에는, 스텝 F209를 없애고, 최소 거리(MIN[Ave-Diff(n)])가 된 후보 화상 프레임(E(n))을 그대로 주요 피사체라 판정하도록 해도 된다.

이상의 처리예 9에 의하면, 유저가 주로 촬상하고자 하는 피사체를, 가능한 한 화상 중앙 등의 판정 기준점(SP)에 가까운 상태가 되도록, 촬상 장치(10)를 들고 있음(피사체를 쫓음)으로써, 당해 피사체가 주요 피사체로서 자동으로 판정되게 된다.

그리고 일정 시간은 후보 화상 프레임 정보를 취득하는 것이기 때문에, 처리예 5와 마찬가지의 효과가 얻어진다.

또한, 물론 이 처리예 9에서도, 복수의 후보 화상 프레임이 최소 거리(MIN[Ave-Diff(n)])에 해당하는 경우도 있다. 1개의 후보 화상 프레임(E(n))을 주요 피사체라 설정하는 경우에는, 처리예 3의 설명에서 설명한 (조건 1) 내지 (조건 3) 등을 사용한 방법으로, 주요 피사체가 되는 후보 화상 프레임(E(n))을 선택하면 된다.

또한, 처리 타입 II에 관한 도 5의 설명에서는, 스텝 F21을 스텝 F22에서 축적 완료라고 판단된 후에 행해도 좋다고 설명하였다.

이것에 상당하는 처리를 행하는 경우에는, 도 19의 스텝 F202, F203의 처리를, 스텝 F206에서 F207로 진행시킬 때에 실행하는 것으로 하면 된다.

즉 스텝 F204에서는 후보 화상 프레임 정보 자체를 버퍼링해 가고, 각 프레임에서의 각 후보 화상 프레임(E(n))의 거리(Diff(n))는, 버퍼링 완료 후에, 버퍼링된 후보 화상 프레임 정보를 사용하여 산출하는 예이다.

[4-10: 처리예 10)(타입 II; 판정 기준점; 누적 존재)]

처리예 10도 처리 타입 II의 예이며, 또한 판정 기준점을 사용한다. 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준점과의 거리)가 소정의 임계값 이내라는 조건을 만족하고 있는 누적 시간 정보를 산출한다.

그리고 버퍼링을 행하는 기간에 있어서, 안정 존재도의 값이 가장 높아진 후보 화상을 주요 피사체라 판정한다.

도 20에 처리예 10으로서의 제어부(30)의 주요 피사체 판정 처리를 나타낸다.

제어부(30)는, 주요 피사체 판정 처리를 개시하면, 우선 스텝 F200A에서 변수(TSF)=0으로 하고, 또한 카운트값(BfC)=0으로 한다. 또한 루프 제어를 위한 변수(L)=0으로 초기화하고, 또한 안정 존재도에 상당하는 카운트값(Cnt(n))=0으로 초기화한다.

스텝 F201 내지 F206은 도 19와 마찬가지이며, 일정 기간, 후보 화상 프레임 정보의 도입 및 각 후보 화상 프레임(E(n))의 거리(Diff(n))의 버퍼링을 행한다.

스텝 F206에서 타이머로서의 카운트값(BfC)이 카운트 임계값(THrTM)에 달하면, 버퍼링은 종료되고, 제어부(30)는 처리를 스텝 F206에서 F210으로 진행한다.

스텝 F210에서 제어부(30)는 영역(Diff(n)[L])에 버퍼링된 거리(Diff(n))를 판독한다.

처음에는 변수(L)=0이므로, 최초에 스텝 F201에서 프레임(FR(0))의 후보 화상 프레임 정보를 도입한 시점의, 영역(Diff(n)[0])에 버퍼링된 각 후보 화상 프레임(E(n))의 거리(Diff(n))가 판독된다.

스텝 F211, F212, F213에서는, 제어부(30)는, 각 후보 화상 프레임(E(n))의 거리(Diff(n))에 대하여 소정의 조건, 즉 판정 기준점(SP)에 가까운지 가깝지 않은지를, 거리 임계값(Trs-diff)을 사용하여 판정한다.

그리고 Diff(n)<Trs-diff이면 스텝 F212에서 플래그(Flg(n))=1(가깝다)로 한다. 또한 Diff(n)<Trs-diff가 아니면 스텝 F213에서 플래그(Flg(n))=0(가깝지 않다)으로 한다. 이것은 처리예 1의 스텝 F105, F106, F107과 마찬가지의 처리이다.

스텝 F214, F215, F216, F217에서는, 안정 존재도의 산출 처리로서 카운트값(Cnt(n))의 처리를 행한다.

제어부(30)는 스텝 F214에서, 각 후보 화상 프레임(E(n))에 대해서, 플래그(Flg(n))=1인지 여부를 확인하고, 플래그(Flg(n))=1이면, 스텝 F215에서 카운트 변수(OFST)에 가변 설정값(A)(단 A>0)을 대입한다. 그리고 제어부(30)는, 스텝 F217에서, 안정 존재도의 값이 되는 카운트값(Cnt(n))에 대해서,

또한 제어부(30)는, 플래그(Flg(n))=0이면, 스텝 F216에서 카운트 변수(OFST)에 가변 설정값(B)(단 B≤0)을 대입한다. 그리고 제어부(30)는, 스텝 F217에서, 안정 존재도의 값이 되는 카운트값(Cnt(n))에 대해서,

Cnt(n)=Cnt(n)+OFST의 연산을 행한다. 즉 카운트값(Cnt(n))을 B값만큼 카운트 다운(또는 유지)한다.

또한 스텝 F217에서는 평균값 산출도 행한다.

이상은 도 11의 스텝 F108, F121, F123(또는 도 13의 F123A)과 마찬가지이다.

스텝 F218에서 제어부(30)는 변수(L)가 버퍼링의 카운트값(BfC)에 달하였는지 여부를 확인한다. 달하지 않았으면 스텝 F220에서 변수(L)를 인크리먼트하고, 스텝 F210으로 복귀한다.

따라서 다음은, 스텝 F210에서, 스텝 F201에서 프레임(FR(1))의 후보 화상 프레임 정보를 도입한 시점의, 영역(Diff(n)[1])에 버퍼링된 각 후보 화상 프레임(E(n))의 거리(Diff(n))가 판독된다.

그리고 스텝 F211 내지 F217의 처리를 행한다.

이상의 스텝 F210 내지 F217이, 스텝 F218에서 변수(L)=BfC가 될 때까지 반복된다. 이에 의해 버퍼링된 거리(Diff(n))에 대한 처리가 실행된다.

그 처리를 종료하면, 제어부(30)는 스텝 F219로 진행하여, 주요 피사체 판정을 행한다.

즉, 그 시점에서의 각 후보 화상 프레임(E(n))에 대한 카운트값(Cnt(n))을 확인하고, 최대값으로 되어 있는 후보 화상 프레임(E(n))을 주요 피사체라 설정한다. 또한 이것에 따라서 변수(TSF)=1로 한다. 그리고 처리를 종료한다.

또한, 스텝 F219의 시점에서, 복수의 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 동일수로 최대값이 되면, 상기 처리예 3에서 설명한 (조건 1) (조건 2) (조건 3) 등에 의해 1개를 선택하면 된다. (조건 1)의 판정을 행하는 경우에는 스텝 F127에서 구하고 있는 평균값을 사용할 수 있다.

또한 스텝 F219에서는, 카운트값(Cnt(n))의 최대값에 대해 하한값(Lth)과의 비교를 행하여, Cnt(n)<Lth이면, 주요 피사체 해당 없음으로 하는 것도 생각할 수 있다. 이에 의해, 본래 주요 피사체가 존재하지 않은 상황에서 주요 피사체가 결정되어버리는 것을 피할 수 있다.

이상의 처리예 10에 의해서도, 처리예 9와 마찬가지의 효과가 얻어진다.

[4-11: 처리예 11(타입 II; 판정 기준점; 계속 존재)]

처리예 11도 처리 타입 II의 예이며, 또한 판정 기준점을 사용한다. 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준점과의 거리)가 소정의 임계값 이내라는 조건을 만족하고 있는 계속 시간 정보를 산출한다.

도 21에 처리예 11로서의 제어부(30)의 주요 피사체 판정 처리를 나타낸다.

제어부(30)는, 주요 피사체 판정 처리를 개시하면, 우선 스텝 F200B에서 변수(TSF)=0으로 하고, 또한 카운트값(BfC)=0으로 한다. 또한 루프 제어를 위한 변수(L)=0으로 초기화하고, 또한 안정 존재도에 상당하는 카운트값(Cnt(n))=0으로 초기화한다. 또한 계속 시간 유지 변수(CC(n))를 초기화(=0)한다.

스텝 F210 내지 F215, F217, F218, F220은, 도 20과 마찬가지이다.

한편, 스텝 F214에서 플래그(Flg(n))=0이면, 제어부(30)는 스텝 F224로 진행하고, 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))와 비교한다.

CC(n)>Cnt(n)이면, 스텝 F226에서 카운트값(Cnt(n))을 클리어한다.

CC(n)>Cnt(n)가 아니면, 스텝 F225에서, 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))에 대입한 다음, 스텝 F226에서 카운트값(Cnt(n))을 클리어한다.

이 스텝 F224, F225, F226은, 도 14의 스텝 F124, F125, F126과 마찬가지의 의미의 처리이며, 카운트값(Cnt(n))을, 계속 시간을 의미하는 값으로 하기 위한 것이다.

스텝 F218에서 제어부(30)는, 변수(L)가 버퍼링의 카운트값(BfC)에 달하였는지 여부를 확인하고, 달했으면 스텝 F227로 진행한다. 스텝 F227, F228은, 도 14의 스텝 F127, F128과 마찬가지의 처리이다.

즉 제어부(30)는 스텝 F227에서 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))와 비교한다. CC(n)>Cnt(n)가 아니면, 스텝 F228에서, 그 시점의 카운트값(Cnt(n))을 계속 시간 유지 변수(CC(n))에 대입한다.

이 처리는, 버퍼링을 행한 기간이 끝나는 시점에서, 어떤 후보 화상 프레임(E(n))이 판정 기준점(SP)에 가까운 상태를 계속하고 있었을 경우이며, 그것이 「계속 시간」의 최대값으로 되어 있는 경우, 계속 시간 유지 변수(CC(n))를 갱신하는 처리가 된다.

그리고 제어부(30)는 스텝 F219로 진행하여, 주요 피사체 판정을 행한다.

또한, 스텝 F219의 시점에서, 복수의 후보 화상 프레임(E(n))의 카운트값(Cnt(n))이 동일수로 최대값이 되면, 상기 처리예 3에서 설명한 (조건 1) (조건 2) (조건 3) 등에 의해 1개를 선택하면 된다. (조건 1)의 판정을 행하는 경우에는 스텝 F127에서 구한 평균값을 사용할 수 있다.

또한 스텝 F219에서는, 카운트값(Cnt(n))의 최대값에 대해 하한값(Lth)과의 비교를 행하여, Cnt(n)<Lth이면, 주요 피사체 해당 없음으로 하는 것도 생각할 수 있다. 이에 의해, 본래 주요 피사체가 존재하지 않는 상황에서 주요 피사체가 결정되어버리는 것을 피할 수 있다.

이상의 처리예 10에 의하면, 처리예 6과 마찬가지의 효과가 얻어진다.

[4-12: 처리예 12)(타입 II; 판정 기준 영역; 평균적 존재)]

처리예 12는 처리 타입 II의 예이며, 처리예 9를, 판정 기준 영역(SA)을 사용하는 처리로 변경한 예이다.

이 처리예 12에서는, 후보 화상 프레임의 위치 상태로서는, 설정한 판정 기준 영역(SA)과의 위치 관계를 구한다.

또한, 각 후보 화상 프레임에 대하여 안정 존재도로서는, 위치 상태(판정 기준 영역(SA)과의 관계)가 소정의 상태라는 조건을 만족하고 있는 평균 시간(누적 시간)을 산출한다.

도 22에 처리예 12를 나타낸다.

스텝 F200 내지 F202는 도 19와 마찬가지이다.

버퍼링 기간에 있어서, 스텝 F230에서는, 각 후보 화상 프레임(E(n))의 무게 중심(G)이, 판정 기준 영역(SA) 내인지 여부를 확인한다. 도 17의 스텝 F150과 마찬가지의 처리이다.

각 후보 화상 프레임(E(n))에 대해서, 무게 중심(G)이 판정 기준 영역(SA) 내이면, 제어부(30)는 스텝 F231에서 조건 충족 플래그(AR(n))=1로 한다.

각 후보 화상 프레임(E(n))에 대해서, 무게 중심(G)이 판정 기준 영역(SA) 내가 아니면, 제어부(30)는 스텝 F232에서 조건 충족 플래그(AR(n))=0으로 한다.

스텝 F233에서 제어부(30)는, 조건 충족 플래그(AR(n))를, 예를 들어 내부 메모리 영역에서 영역(AR(n)[BfC])에 저장(버퍼링)한다.

스텝 F205에서 제어부(30)는 카운트값(BfC)을 인크리먼트한다.

스텝 F206에서 제어부(30)는 카운트값(BfC)이, 일정 시간에 상당하는 카운트 임계값(THrTM)에 도달했는지 여부를 판정하고, 달하지 않았으면 스텝 F201로 복귀된다.

상기의 스텝 F233에서의 영역(AR(n)[BfC])이란, 주요 피사체 판정 처리 개시부터 (BfC)번째로 도입한 프레임(FR(BfC))에서의 후보 화상 프레임(E(n))의 정보를 저장하는 영역이라는 의미로 하고 있다.

예를 들어 최초로 스텝 F201에서 프레임(FR(0))의 후보 화상 프레임 정보를 도입한 시점이며, 그 프레임(FR(0))에 있어서, 후보 화상 프레임(E1, E2, E3)이 존재했을 경우, 각각의 후보 화상 프레임에 대하여 스텝 F230 내지 F232에서 설정된 조건 충족 플래그(AR1, AR2, AR3)가, 영역(AR(1)[0], AR(2)[0], AR(3)[0])에 저장된다.

또한 다음으로 스텝 F201에서 도입한 프레임(FR(1))에 있어서, 후보 화상 프레임(E1, E2, E3)이 존재했을 경우, 각각의 후보 화상 프레임에 대하여 스텝 F230 내지 F232에서 설정된 조건 충족 플래그(AR1, AR2, AR3)가, 영역(AR(1)[1], AR(2)[1], AR(3)[1])에 저장된다.

즉, 스텝 F201 내지 F206의 처리가 일정 시간(THrTM) 동안 반복됨으로써, 프레임(FR(0)) 내지 프레임(m) 각각에 대한 각 후보 화상 프레임(E(n))의 조건 충족 플래그(AR(n))(판정 기준 영역(SA) 내에 있는지 여부의 정보)가 축적되게 된다.

일정 시간을 경과하면 버퍼링은 종료되고, 제어부(30)는 처리를 스텝 F206에서 F240으로 진행한다.

스텝 F240에서 제어부(30)는, 각 후보 화상 프레임(E(n))에 대한 판정 기준 영역(SA) 내의 존재 확실도를 산출한다.

이 존재 확실도는, 조건 충족 플래그(AR(n))의 평균값(Ave[AR(n)])으로 한다.

평균값(존재 확실도)(Ave[AR(n)])은,

Ave[AR(n)]=(후보 화상 프레임(E(n))에 대하여 버퍼링된 조건 충족 플래그(AR(n))의 누적 가산값)/(AR(n)의 가산 횟수)

로 하면 된다.

그리고 스텝 F241에서 제어부(30)는, 각 후보 화상 프레임(E(n))의 존재 확실도(Ave[AR(n)]) 중에서의 최대값을 최대 확실도(MAX[Ave [AR(n)]])로 한다. 즉, 가장 판정 기준 영역(SA) 내에 존재하고 있었던 시간이 긴 후보 화상 프레임(E(n))의 존재 확실도가 선택되게 된다.

최대 확실도(MAX[Ave[AR(n)]])를 판정하면, 제어부(30)는 스텝 F242에서, 당해 최대 확실도(MAX[Ave[AR(n)]])가 확실도 임계값(Trs-AR) 이상인지 여부를 판정한다.

최대 확실도(MAX[Ave[AR(n)]])가 확실도 임계값(Trs-AR) 이상이면, 제어부(30)는 처리를 스텝 F243으로 진행시키고, 당해 최대 확실도(MAX[Ave[AR(n)]])로 된 후보 화상 프레임(E(n))을 주요 피사체라 판정하고, 주요 피사체 설정을 행한다. 그리고 변수(TSF)=1로 한다.

최대 확실도(MAX[Ave[AR(n)]])가 확실도 임계값(Trs-AR) 이상이 아니면, 제어부(30)는 처리를 스텝 F244에서 변수(TSF)=0으로 한다. 이 경우, 주요 피사체는 해당 없음이라는 결과가 된다.

또한, 적어도 후보 화상 프레임(E(n))이 존재하면 반드시 주요 피사체를 결정한다는 처리를 실현하는 경우에는, 스텝 F242를 없애고, 최대 확실도(MAX[Ave[AR(n)]])로 된 후보 화상 프레임(E(n))을 그대로 주요 피사체라 판정하도록 해도 된다.

이상의 처리예 12에 의하면, 유저가 주로 촬상하고자 하는 피사체를, 가능한 한 화상 중앙 등의 판정 기준점(SP)에 가까운 상태가 되도록, 촬상 장치(10)를 들고 있음(피사체를 쫓음)으로써, 당해 피사체가 주요 피사체로서 자동으로 판정되게 된다.

그리고 일정 시간은 후보 화상 프레임 정보를 취득하는 것이기 때문에, 처리예 8과 마찬가지의 효과가 얻어진다.

또한, 안정 존재도를 나타내는 존재 확실도는 판정 기준 영역(SA) 내에 존재하는 누적 시간의 평균값으로 했지만, 누적 시간 그 자체를 사용해도 된다.

또한 누적시간이 아니라, 판정 기준 영역(SA) 내에 존재하는 계속 시간이 최대가 되는 후보 화상 프레임을 주요 피사체로 해도 된다.

그 경우에는, 버퍼링된 조건 충족 플래그(AR(n))가, 「1」로 되어 있는 연속 프레임수를 카운트하고, 그것을 존재 확실도로서 사용하면 된다.

또한, 물론 이 처리예 12에서도, 복수의 후보 화상 프레임이 최대 확실도(MAX[Ave[AR(n)]])에 해당하는 경우도 있다. 1개의 후보 화상 프레임(E(n))을 주요 피사체로 설정하는 경우에는, 처리예 3의 설명에서 설명한 (조건 1) 내지 (조건 3) 등을 사용한 방법으로, 주요 피사체가 되는 후보 화상 프레임(E(n))을 선택하면 된다.

이것에 상당하는 처리를 행하는 경우에는, 도 22의 스텝 F202 내지 F232의 처리를, 스텝 F206에서 F240으로 진행할 때에 실행하는 것으로 하면 된다.

즉 스텝 F204에서는 후보 화상 프레임 정보 자체를 버퍼링해 가서, 각 프레임에서의 각 후보 화상 프레임(E(n))의 조건 충족 플래그(AR(n))의 설정은, 버퍼링 완료 후에, 버퍼링된 후보 화상 프레임 정보를 사용하여 산출하는 예이다.

<5. 프로그램 및 컴퓨터 장치에 대한 적용>

이상, 화상 처리 장치(1), 촬상 장치(10)의 실시 형태를 설명해 왔는데, 상술한 주요 피사체 판정 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

실시 형태의 프로그램은, 상술한 주요 피사체 판정 처리를, 예를 들어 CPU(Central Processing Unit), DSP(Digital Signal Processor) 등의 연산 처리 장치에 실행시키는 프로그램이다.

즉 이 프로그램은, 화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보로서 검출된 후보 화상을 나타내는 후보 화상 정보를 취득하고, 상기 후보 화상 정보로 나타내지는 후보 화상에 대해서, 화각 공간 내에서의 위치 상태를 판정하는 위치 상태 판정 처리를 연산 처리 장치에 실행시킨다.

또한, 위치 상태 판정 처리에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하는 안정 존재도 산출 처리를 연산 처리 장치에 실행시킨다.

또한, 안정 존재도 산출 처리에서 구해진 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정 처리를 연산 처리 장치에 실행시킨다.

구체적으로는, 실시 형태의 프로그램은, 도 2, 도 4, 도 5에서 설명한 처리, 나아가 처리예 1 내지 처리예 12를 연산 처리 장치에 실행시키는 프로그램으로 하면 된다.

이러한 프로그램에 의해, 상술한 주요 피사체 판정 처리를 실행하는 장치를, 연산 처리 장치를 사용하여 실현할 수 있다.

이러한 프로그램은 컴퓨터 장치 등의 기기에 내장되어 있는 기록 매체로서의HDD나, CPU를 갖는 마이크로컴퓨터 내의 ROM 등에 미리 기록해 둘 수 있다.

또는 또한, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magnet optical) 디스크, DVD(Digital Versatile Disc), 블루레이 디스크, 자기 디스크, 반도체 메모리, 메모리 카드 등의 리무버블 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.

또한, 이러한 프로그램은, 리무버블 기록 매체로부터 퍼스널 컴퓨터 등에 인스톨하는 것 외에, 다운로드 사이트로부터, LAN(Local Area Network), 인터넷 등의 네트워크를 통해 다운로드할 수도 있다.

또한 이러한 프로그램에 의하면, 실시 형태의 화상 처리 장치의 광범위한 제공에 적합하다. 예를 들어 퍼스널 컴퓨터, 휴대형 정보 처리 장치, 휴대 전화기, 게임 기기, 비디오 기기, PDA(Personal Digital Assistant) 등에 프로그램을 다운로드함으로써, 당해 휴대형 정보 처리 장치 등을, 주요 피사체 판정 처리를 행하는 본 발명의 화상 처리 장치로 할 수 있다.

예를 들어, 도 23에 나타낸 바와 같은 컴퓨터 장치에 있어서, 도 1의 화상 처리 장치(1)나 촬상 장치(10)에서의 주요 피사체 판정 처리와 마찬가지의 처리가 실행되도록 할 수도 있다.

도 23에서, 컴퓨터 장치(70)의 CPU(71)는, ROM(72)에 기억되어 있는 프로그램 또는 기억부(78)로부터 RAM(73)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(73)에는 또한, CPU(71)가 각종 처리를 실행함에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(71), ROM(72) 및 RAM(73)은, 버스(74)를 통해 서로 접속되어 있다. 이 버스(74)에는 또한, 입출력 인터페이스(75)도 접속되어 있다.

입출력 인터페이스(75)에는, 키보드, 마우스 등을 포함하는 입력부(76), CRT(Cathode Ray Tube)나 LCD, 또는 유기 EL 패널 등을 포함하는 디스플레이, 및 스피커 등을 포함하는 출력부(77), 하드 디스크 등으로 구성되는 기억부(78), 모뎀 등으로 구성되는 통신부(79)가 접속되어 있다. 통신부(79)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.

입출력 인터페이스(75)에는 또한, 필요에 따라 드라이브(80)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(81)가 적절히 장착되어, 그것들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(78)에 인스톨된다.

상술한 주요 피사체 판정 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.

이 기록 매체는, 예를 들어 도 23에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(블루레이 디스크(Blu-ray Disc(등록 상표), CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기 디스크(MD(Mini Disc)를 포함함), 또는 반도체 메모리 등을 포함하는 리무버블 미디어(81)에 의해 구성된다. 또는, 장치 본체에 미리 내장된 상태에서 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(72)이나, 기억부(78)에 포함되는 하드 디스크 등으로도 구성된다.

이러한 컴퓨터 장치(70)는, 통신부(79)에 의한 수신 동작이나, 또는 드라이브(80)(리무버블 미디어(81)) 또는 기록부(78)에서의 재생 동작 등에 의해, 동화상 데이터를 입력했을 때에, CPU(71)가 프로그램에 기초하여, 상술한 후보 화상 검출부(3, 26) 및 주요 피사체 판정부(2, 31)의 기능을 실행한다. 즉 도 2, 도 4, 도 5, 또는 처리예 1 내지 처리예 12로서의 처리를 실행함으로써, 입력된 화상 데이터 중에서 주요 피사체 판정을 행할 수 있다.

<6. 변형예>

상술한 실시 형태는, 각종 변형예를 생각할 수 있다.

특히 구체적인 주요 피사체 판정 처리는 또한 다양한 예가 상정된다.

예를 들어 후보 화상 프레임(E(n))의 판정 기준점(SP)과의 거리(Diff(n))나, 판정 기준 영역(SA)과의 위치 관계에 무게 중심(G)을 사용했지만, 무게 중심(G)이 아니어도 된다. 예를 들어 후보 화상 프레임(E(n))의 정점 위치 등이어도 된다.

또한 후보 화상 프레임의 형상은, 정사각형이나 직사각형에 한하지 않고 원형, 타원형, 다각형, 부정 형상 등을 생각할 수 있다. 후보 화상 프레임의 형상에 따라, 중심 위치나 단부점 위치를, 거리(Diff)의 산출에 사용하면 된다.

또한 후보 화상에 대한 화각 공간 내에서의 위치 상태는, 실시 형태에서는, 주로 2차원 공간으로서의 화각 공간에서의 판정 기준점(SP)이나 판정 기준 영역(SA)과의 위치 관계로서 설명했지만, 화면 평면의 2차원에 피사체 거리를 가미한 3차원 공간 좌표 공간(x-y-z 좌표 공간)에서의 판정 기준점(SP)이나 판정 기준 영역(SA)과의 위치 관계로 해도 된다.

또한, 화각 공간을 1차원 공간이라고 생각하고, 후보 화상의 x 좌표값에 대해서, 판정 기준점(SP)이나 판정 기준 영역(SA)과의 위치 관계(예를 들어 거리)를 후보 화상에 대한 화각 공간 내에서의 위치 상태로 해도 된다. 물론 마찬가지로, y 좌표값만, 또는 z 좌표값만에 대한 판정 기준점(SP)이나 판정 기준 영역(SA)과의 위치 관계로 해도 된다.

또한 안정 존재도를 나타내는 지표로서는, 조건 합치의 누적 시간이나 계속 시간, 평균적 존재의 값, 평균 존재 확실도 외에, 다양하게 생각할 수 있다.

예를 들어 조건 합치의 계속 시간의 평균값이어도 된다.

나아가, 각 프레임에서의 후보 화상 프레임의 크기(픽셀수)의 변동 정도 등을 안정 존재도의 지표로 해도 된다.

또한, 주요 피사체 판정 처리의 결과에 대해서는, 그 후 촬상되어 기록된 정지 화상 데이터나 동화상 데이터에, 메타데이터로서 부가해도 된다. 즉 주요 피사체를 나타내는 정보를 정지 화상 파일 등에 부가한다.

또한, 스루 화상을 표시시키고, 동시에 주요 피사체 판정 처리를 행하고 있는 동안에, 촬상자의 조작에 의한 주요 피사체 지정 조작을 가능하게 해도 된다.

주요 피사체 지정의 조작이 행해진 경우, 그것에 의해 변수(TSF)=1로 하고, 제어부(30)에 의한 주요 피사체 판정 처리를 중단 종료시키는 것이 적합하다.

또한, 실시 형태에서는, 주로 정지 화상 촬상을 상정하여 주요 피사체를 판정하는 처리를 설명했지만, 동화상 촬상을 위한 스탠바이 중이나, 동화상의 촬상 및 기록의 실행 중에서도, 촬상되는 복수의 프레임으로부터 주요 피사체 판정을 행하는 처리로서, 상기 실시 형태의 처리를 적용할 수 있다.

또한 본 기술은 이하와 같은 구성도 채용할 수 있다.

(1) 화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출하는 후보 검출부와,

상기 후보 검출부에서 검출한 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고, 상기 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정부,

를 구비한 화상 처리 장치.

(2) 상기 주요 피사체 판정부는,

후보 화상에 대해서, 화각 공간 내에서의 위치 상태를 판정하는 위치 상태 판정 처리와,

상기 위치 상태 판정 처리에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하는 안정 존재도 산출 처리와,

상기 안정 존재도 산출 처리에서 구해진 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정 처리,

를 행하는 상기 (1)에 기재된 화상 처리 장치.

(3) 상기 주요 피사체 판정부는, 상기 위치 상태로서, 화각 공간 내에 설정한 판정 기준점에 대한 후보 화상의 거리를 판정하는 상기 (2)에 기재된 화상 처리 장치.

(4) 상기 주요 피사체 판정부는, 상기 판정 기준점을 조작 입력에 응답하여 설정하는 상기 (3)에 기재된 화상 처리 장치.

(5) 상기 주요 피사체 판정부는, 상기 위치 상태로서, 화각 공간 내에 설정한 판정 기준 영역에 대한 후보 화상의 위치 관계를 판정하는 상기 (2)에 기재된 화상 처리 장치.

(6) 상기 주요 피사체 판정부는, 상기 판정 기준 영역을 조작 입력에 응답하여 설정하는 상기 (5)에 기재된 화상 처리 장치.

(7) 상기 주요 피사체 판정부는, 상기 안정 존재도로서, 상기 위치 상태가 소정 조건을 만족하고 있는 누적 시간 정보를 산출하는 상기 (2) 내지 (6) 중 어느 한 항에 기재된 화상 처리 장치.

(8) 상기 주요 피사체 판정부는, 상기 안정 존재도로서, 상기 위치 상태가 계속해서 소정 조건을 만족하고 있는 계속 시간 정보를 산출하는 상기 (2) 내지 (6) 중 어느 한 항에 기재된 화상 처리 장치.

(9) 상기 주요 피사체 판정부는, 주요 피사체 판정 개시부터, 상기 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을, 주요 피사체로 판정하는 상기 (1) 내지 (8) 중 어느 한 항에 기재된 화상 처리 장치.

(10) 상기 주요 피사체 판정부는, 주요 피사체 판정 기간에, 상기 안정 존재도의 값이 가장 높은 후보 화상을 주요 피사체로 판정하는 상기 (1) 내지 (8) 중 어느 한 항에 기재된 화상 처리 장치.

(11) 상기 주요 피사체 판정부는, 화각 공간 내에서의 후보 화상의 위치 정보, 또는 후보 화상의 크기 정보를, 상기 안정 존재도의 산출 처리, 또는 주요 피사체의 판정 처리에 사용하는 상기 (1) 내지 (10) 중 어느 한 항에 기재된 화상 처리 장치.

(12) 상기 주요 피사체 판정부는, 상기 안정 존재도로부터, 복수의 후보 화상이 주요 피사체라 판정되는 경우, 화각 공간 내에서의 후보 화상의 위치 정보 또는 크기 정보를 사용하여, 하나의 후보 화상을 선택하고, 선택한 당해 후보 화상을 주요 피사체로 하는 상기 (1) 내지 (11) 중 어느 한 항에 기재된 화상 처리 장치.

(13) 상기 후보 검출부는 사람 또는 동물의, 얼굴 또는 신체의 화상을, 주요 피사체의 후보가 되는 후보 화상으로서 검출하는 상기 (1) 내지 (12) 중 어느 한 항에 기재된 화상 처리 장치.

10 : 기지국 12 : 코어 네트워크
20 : UE
150, 151, 152, 160, 161, 162 : 맵핑 기억부
154, 264 : 맵핑 관리부 158 : 서명 판정부
160, 161, 162 : 송신 데이터 판정부
180 : 통신 리소스 판정부 250 : 송신 데이터 생성부
268 : 서명 선택부 270 : 프리앰블 생성부
280 : 통신 리소스 선택부

Claims

화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출하는 후보 검출부와,
상기 후보 검출부에서 검출한 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고, 상기 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정부
를 구비한, 화상 처리 장치.
제1항에 있어서,
상기 주요 피사체 판정부는,
후보 화상에 대해서, 화각 공간 내에서의 위치 상태를 판정하는 위치 상태 판정 처리와,
상기 위치 상태 판정 처리에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하는 안정 존재도 산출 처리와,
상기 안정 존재도 산출 처리에서 구해진 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정 처리
를 행하는, 화상 처리 장치.
제2항에 있어서,
상기 주요 피사체 판정부는, 상기 위치 상태로서, 화각 공간 내에 설정한 판정 기준점에 대한 후보 화상의 거리를 판정하는, 화상 처리 장치.
제3항에 있어서,
상기 주요 피사체 판정부는, 상기 판정 기준점을 조작 입력에 응답하여 설정하는, 화상 처리 장치.
제2항에 있어서,
상기 주요 피사체 판정부는, 상기 위치 상태로서, 화각 공간 내에 설정한 판정 기준 영역에 대한 후보 화상의 위치 관계를 판정하는, 화상 처리 장치.
제5항에 있어서,
상기 주요 피사체 판정부는, 상기 판정 기준 영역을 조작 입력에 응답하여 설정하는, 화상 처리 장치.
제2항에 있어서,
상기 주요 피사체 판정부는, 상기 안정 존재도로서, 상기 위치 상태가 소정 조건을 만족하고 있는 누적 시간 정보를 산출하는, 화상 처리 장치.
제2항에 있어서,
상기 주요 피사체 판정부는, 상기 안정 존재도로서, 상기 위치 상태가 계속해서 소정 조건을 만족하고 있는 계속 시간 정보를 산출하는, 화상 처리 장치.
제1항에 있어서,
상기 주요 피사체 판정부는, 주요 피사체 판정 개시부터, 상기 안정 존재도가 가장 빨리 소정값에 달한 후보 화상을 주요 피사체로 판정하는, 화상 처리 장치.
제1항에 있어서,
상기 주요 피사체 판정부는, 주요 피사체 판정 기간에, 상기 안정 존재도의 값이 가장 높은 후보 화상을 주요 피사체로 판정하는, 화상 처리 장치.
제1항에 있어서,
상기 주요 피사체 판정부는, 화각 공간 내에서의 후보 화상의 위치 정보, 또는 후보 화상의 크기 정보를, 상기 안정 존재도의 산출 처리, 또는 주요 피사체의 판정 처리에 사용하는, 화상 처리 장치.
제1항에 있어서,
상기 주요 피사체 판정부는, 상기 안정 존재도로부터, 복수의 후보 화상이 주요 피사체라 판정되는 경우, 화각 공간 내에서의 후보 화상의 위치 정보 또는 크기 정보를 사용하여, 하나의 후보 화상을 선택하고, 선택한 당해 후보 화상을 주요 피사체로 하는, 화상 처리 장치.
제1항에 있어서,
상기 후보 검출부는 사람 또는 동물의, 얼굴 또는 신체의 화상을, 주요 피사체의 후보가 되는 후보 화상으로서 검출하는, 화상 처리 장치.
화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보가 되는 후보 화상을 검출하고,
검출된 후보 화상에 대해서, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하고,
상기 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는, 화상 처리 방법.
화상 데이터의 복수의 프레임에 대해서, 각각 주요 피사체의 후보로서 검출된 후보 화상에 대해서, 화각 공간 내에서의 위치 상태를 판정하는 위치 상태 판정 처리와,
상기 위치 상태 판정 처리에서 판정된, 각 프레임에서의 후보 화상의 위치 상태로부터, 후보 화상에 대한, 복수 프레임에 걸친 화상 데이터 내에서의 안정 존재도를 구하는 안정 존재도 산출 처리와,
상기 안정 존재도 산출 처리에서 구해진 안정 존재도를 사용하여, 후보 화상 중에서 주요 피사체를 판정하는 주요 피사체 판정 처리
를 연산 처리 장치에 실행시키는, 프로그램.