KR101645806B1 - 이미지 처리 장치, 이미지 처리 방법 및 기록 매체 - Google Patents

Abstract

촬상 장치 100은, 이미지 취득부 5a와, 영역 설정부 5b와, 이미지 특정부 5f를 포함한다. 이미지 취득부 5a는, 대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군을 취득한다. 영역 설정부 5b는 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 영역을 설정한다. 이미지 특정부 5f는, 설정된 복수의 영역의 각각에 있어서의 상기 복수의 이미지 간의 화소값의 변동에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작에 있어서의 소정의 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정한다.

Description

이미지 처리 장치, 이미지 처리 방법 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND COMPUTER READABLE RECORDING MEDIUM HAVING PROGRAM THEREOF}

본 발명은 복수의 이미지로부터 소정의 시점에 관련된 이미지를 특정하는 이미지 처리 장치, 이미지 처리 방법 및 기록 매체에 관한 것이다.

종래, 일본특허출원공개 특개2011-30669호 공보에 개시되어 있는 것과 같이, 일련의 스윙 동작을 하고 있는 인물을 촬상한 동영상 데이터로부터, 임팩트 때의 이미지를 특정하는 기술이 알려져 있다. 구체적으로는, 해당 장치는, 도플러(Doppler) 센서에 의해 위치가 검출된 볼의 속도의 측정에 걸린 처리 시간에 기초하여, 링 버퍼(ring buffer)에 기억된 동영상의 데이터로부터 임팩트 시의 이미지를 특정한다.

일본특허출원공개 특개2011-30669호. 2011.2.17.

그렇지만, 상기 특허문헌 1의 경우, 동영상의 데이터 내에서 일련의 스윙 동작 중의 소정의 순간의 이미지를 특정하기 위해서는, 도플러 센서와 같은 특수한 디바이스가 필요했다.

본 발명은, 이러한 문제에 착안하여 안출된 것으로, 본 발명의 과제는, 특수한 디바이스를 이용하지 않고도 원하는 이미지를 특정할 수 있는 이미지 처리 장치, 이미지 처리 방법 및 프로그램 기록 매체를 제공하는 것이다.

본 발명의 일 국면에 의하면, 대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군을 취득하는 취득 수단과, 상기 취득 수단에 의해 취득된 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 복수의 영역을 설정하는 영역 설정 수단과, 상기 영역 설정 수단에 의해 설정된 복수의 영역의 각각에 있어서의 화소값의 변동에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작에 있어서의 소정의 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정하는 특정 수단을 포함하는 이미지 처리 장치가 제공된다.

본 발명의 다른 국면에 의하면, 이미지 처리 장치를 이용한 이미지 특정 방법이 제공된다. 상기 방법은 대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군을 취득하는 단계와, 취득된 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 영역을 설정하는 단계와, 설정된 상기 복수의 영역의 각각에 있어서의 상기 복수의 이미지 간의 화소값의 변동에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작에 있어서의 소정의 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정하는 단계를 포함한다.

본 발명의 또 다른 국면에 의하면, 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록 매체가 제공된다. 상기 기록 매체는, 대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군을 취득하는 취득 수단, 상기 취득 수단에 의해 취득된 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 복수의 영역을 설정하는 영역 설정 수단, 상기 영역 설정 수단에 의해 설정된 복수의 영역의 각각에 있어서의 상기 복수의 이미지 간의 화소값의 변동에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작에 있어서의 소정의 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정하는 특정 수단으로서의 기능을 컴퓨터에 실행시키기 위한 프로그램을 기록한다.

도 1은 본 발명을 적용한 일 실시 형태인 촬상 장치의 개략적인 구성을 도시하는 블록도이다.
도 2는 도 1의 촬상 장치에 의한 촬상 처리에 관련된 동작의 일 예를 도시하는 흐름도이다.
도 3은 도 2의 촬상 처리에 있어서의 이미지 특정 처리에 관련된 동작의 일 예를 도시하는 흐름도이다.
도 4는 도 2의 촬상 처리에 관련된 라이브 뷰 이미지의 일 예를 모식적으로 나타낸 도면이다.
도 5는 도 2의 촬상 처리에 관련된 동영상의 일 예를 모식적으로 나타낸 도면이다.
도 6a는 도 3의 이미지 특정 처리에 관련된 프레임 이미지의 일 예를 모식적으로 나타낸 도면이다.
도 6b는 도 3의 이미지 특정 처리에 관련된 프레임 이미지의 일 예를 모식적으로 나타낸 도면이다.
도 6c는 도 3의 이미지 특정 처리에 관련된 프레임 이미지의 일 예를 모식적으로 나타낸 도면이다.

이하, 본 발명에 대해서, 도면을 이용해서 구체적인 태양을 설명한다. 단, 발명의 범위는, 도시한 예로 한정되지 않는다.

도 1은, 본 발명을 적용한 일 실시 형태인 촬상 장치 100의 개략적인 구성을 도시하는 블록도이다.

도 1에 도시된 것처럼, 본 실시 형태의 촬상 장치 100은, 중앙 제어부 1과, 메모리 2와, 촬상부 3과, 이미지 데이터 생성부 4와, 이미지 처리부 5와, 이미지 기록부 6과, 표시부 7과, 조작 입력부 8을 포함하고 있다.

또, 중앙 제어부 1, 메모리 2, 촬상부 3, 이미지 데이터 생성부 4, 이미지 처리부 5, 이미지 기록부 6, 및 표시부 7은, 버스 라인 9를 통해서 접속되어 있다.

중앙 제어부 1은, 촬상 장치 100의 각 부를 제어하는 것이다. 구체적으로는, 중앙 제어부 1은, 도시는 생략하지만, CPU(Central Processing Unit), RAM(Random Access Memory), 및/또는 ROM(Read Only Memory)을 포함하고, 촬상 장치 100 용의 각종 처리 프로그램(도시는 생략)에 따라서 각종 제어 동작을 행한다.

메모리 2는, 예를 들면, DRAM(Dynamic Random Access Memory) 등에 의해 구성되고, 중앙 제어부 1이나 이미지 처리부 5 등의 각 부에 의해 처리되는 데이터 등을 일시적으로 기억하는 것이다.

촬상부 3은, 배경 내에 존재하는 대상물(예를 들면, 골프 클럽의 클럽 헤드 C; 도 4 참조)을 촬상한다. 구체적으로는, 촬상부 3은, 렌즈부 3a와, 전자 촬상부 3b와, 촬상 제어부 3c를 포함하고 있다.

렌즈부 3a는, 예를 들면, 줌 렌즈나 포커스 렌즈 등의 복수의 렌즈로 구성되어 있다.

전자 촬상부 3b는, 예를 들면, CMOS(Complementary Metal-oxide Semiconductor)나 CCD(Charge Coupled Device) 등의 이미지 센서로 구성되고, 렌즈부 3a의 각종 렌즈를 통과한 광학상(光學像)을 2차원의 이미지 신호로 변환한다.

한편, 도시는 생략하지만, 촬상부 3은, 렌즈부 3a를 통과하는 빛의 양을 조정하는 조리개를 포함해도 좋다.

촬상 제어부 3c는, 촬상부 3에 의한 대상물의 촬상을 제어한다. 즉, 촬상 제어부 3c는, 도시는 생략하지만, 타이밍 발생기, 드라이버(driver) 등을 포함하고 있다. 그리고, 촬상 제어부 3c는, 타이밍 발생기, 드라이버에 의해 전자 촬상부 3b를 구동하고, 소정 주기마다 광학상을 전자 촬상부 3b에 의해 2차원의 이미지 신호로 변환시킨다. 그리고, 촬상 제어부 3c는, 해당 전자 촬상부 3b의 촬상 영역으로부터 1 화면만큼씩 프레임 이미지 데이터를 읽어내서 이미지 데이터 생성부 4에 출력시킨다.

이미지 데이터 생성부 4는, 전자 촬상부 3b로부터 전송된 프레임 이미지 데이터의 아날로그 값의 신호에 대하여 RGB의 각 색성분마다 적절히 이득을 조정한 후에, 샘플 홀드(sample-hold) 회로(도시는 생략)에서 샘플 홀드해서 A/D 변환기(도시는 생략)에서 디지털 데이터로 변환한다. 그 다음, 이미지 데이터 생성부 4는, 디지털 데이터에 대하여, 컬러 프로세스 회로(도시는 생략)에서 화소 보간 처리 및 γ 보정 처리를 포함하는 컬러 프로세스 처리를 행한 후, 디지털 값의 휘도 신호 Y 및 색차(色差) 신호 Cb, Cr(YUV 데이터)을 생성한다. 또, 이미지 데이터 생성부 4는, 동영상 데이터를 구성하는 복수의 프레임 이미지 데이터의 각각을 소정 형식(예를 들면, MPEG 형식이나 모션 JPEG 형식 등)으로 부호화하고, 동영상의 이미지 데이터를 생성한다.

또, 이미지 데이터 생성부 4는, 생성한 동영상 데이터를 버퍼 메모리로서 사용되는 메모리 2로 전송한다.

이미지 처리부 5는, 이미지 취득부 5a와, 영역 설정부 5b와, 복호부 5c와, 문턱값 설정부 5d와, 프레임 번호 특정부 5e와, 이미지 특정부 5f를 포함하고 있다.

또한, 이미지 처리부 5의 각 부는, 예를 들면, 소정의 로직 회로로 구성되어 있지만, 해당 구성은 일 예이며 이에 한정되는 것은 아니다.

이미지 취득부 5a는, 후술하는 이미지 특정 처리의 처리 대상이 되는 이미지를 취득한다.

즉, 이미지 취득부(취득 수단) 5a는, 대상물의 동작이 연속적으로 촬상된 복수의 프레임 번호 F1~F5를 갖는 복수의 프레임 이미지 데이터(도 5 참조)를 취득한다. 구체적으로는, 이미지 취득부 5a는, 인물에 의한 소정의 스포츠의 일련 동작(예를 들면, 골프의 스윙에 있어서의 클럽 헤드 C의 동작 등)이 촬상부 3에 의해 촬상되어 이미지 데이터 생성부 4에 의해 생성된 복수의 프레임 이미지 데이터로 이루어지는 동영상 데이터를, 이미지 특정 처리의 처리 대상으로서 취득한다.

예를 들면, 촬상부 3은, 인물에 의한 소정의 스포츠를 하고 있을 때의 대상물의 일련의 동작을 소정의 촬상 프레임 레이트(frame rate)(예를 들면, 1000fps 등)로 촬상하고, 이미지 데이터 생성부 4는, 시간에 따라서 번호순으로 프레임 번호를 대응시킨 복수의 프레임 이미지 데이터로 이루어지는 동영상의 이미지 데이터를 생성해서 메모리 2에 전송한다. 여기서, 촬상부 3에 의한 대상물의 촬상 시에, 표시부 7은, 예를 들면, 골프 클럽의 클럽 헤드 C나 볼 B의 초기 위치를 맞추기 위한 지표 M을 라이브 뷰 이미지 L에 중첩시켜서 OSD(on-screen display) 표시하게 해도 좋다(도 4 참조).

그리고, 이미지 취득부 5a는, 메모리 2에 격납되어 있는 동영상의 이미지 데이터를 읽어내고, 이미지 특정 처리의 처리 대상으로서 취득한다.

또한, 이미지 취득부 5a는, 촬상부 3에 의한 대상물의 촬상 후에 이미지 기록부 6에 기록되어 있는 동영상의 이미지 데이터를 읽어내고, 이미지 특정 처리의 처리 대상으로서 취득해도 좋다.

영역 설정부 5b는, 대상물이 외부로부터 촬영 영역으로 들어간 시점(이하, "진입 시점"이라고 부른다)의 프레임 번호와 대상물이 촬영 영역으로부터 외부로 나가는 시점(이하, "진출 시점"이라고 부른다)의 프레임 번호를 특정하기 위한 복수의 특정 영역을 설정한다.

즉, 영역 설정부(영역 설정 수단) 5b는, 이미지 취득부 5a에 의해 취득된 동영상 데이터를 구성하는 복수의 프레임 이미지 데이터의 각각에 대해서 소정 위치에, 대상물(예를 들면, 클럽 헤드 C 등)이 존재하는 시점의 프레임 번호를 특정하기 위한 복수의 특정 영역을 설정한다. 구체적으로는, 영역 설정부 5b는, 예를 들면, 복수의 프레임 이미지 데이터의 각각에 대해서 좌우의 양단(兩端)의 위치에, 대략 사각형 모양인 특정 영역을 두 개 설정한다(도 6a~도 6c 참조). 여기서, 대상물의 복수의 특정 영역의 위치는, 예를 들면, 일련의 골프 스윙 동작에 있어서의 해당 클럽 헤드 C의 이동 방향을 기준으로 해서 설정된다. 즉, 영역 설정부 5b는, 예를 들면, 좌우 방향으로 이동하는 대상물에 대해서는 각 프레임 이미지 데이터의 좌우 방향 양단에 치우친 위치에 적어도 두 개의 특정 영역 A1, A2를 설정하고, 상하 방향으로 이동하는 대상물에 대해서는 각 프레임 이미지 데이터의 상하 방향 양단에 치우친 위치에 적어도 두 개의 특정 영역(도시는 생략)을 설정한다.

또, 영역 설정부 5b는, 복수의 프레임 이미지 데이터 가운데, 최초의 프레임 이미지 데이터 F1(도 6a 참조)의 복수의 소정 위치에 복수의 특정 영역을 설정함으로써, 나머지의 프레임 이미지 데이터에 대해서도 마찬가지로, 최초의 프레임 이미지 데이터 F1의 특정 영역에 대응하는 위치에 특정 영역을 적용해서 설정한다.

또한, 상기한 특정 영역의 배치, 개수, 형상 등은, 하나의 예이며 이에 한정되는 것은 아니고, 적절히 임의로 변경가능하다.

복호부 5c는, 복수의 프레임 이미지로 이루어지는 동영상의 이미지 데이터를 디코딩한다.

구체적으로는, 복호부 5c는, 예를 들면, 이미지 취득부 5a에 의해 취득된 소정 형식(예를 들면, MPEG 형식이나 모션 JPEG 형식 등)으로 부호화되어 있는 동영상의 이미지 데이터에 대하여, 해당 동영상 데이터의 코드 방식에 따른 디코딩 처리를 실시하고, 복수의 프레임 이미지 데이터의 YUV 데이터를 생성한다.

이때, 복호부 5c는, 예를 들면, 표시 패널 7a의 표시 해상도 등에 기초해서 각 프레임 이미지 데이터를 소정 사이즈(예를 들면, VGA나 QVGA 사이즈)로 축소하는 처리를 행하여도 좋다.

문턱값 설정부 5d는, 대상물의 진입 시점 및 진출 시점의 프레임 번호를 특정하기 위한 문턱값을 설정한다.

즉, 문턱값 설정부 5d는, 복수의 프레임 이미지 데이터 가운데, 소정 기간 내의 소정 수의 프레임 이미지 데이터에 있어서의 특정 영역의 화소값으로부터 산출되는 대표값을 진입 시점 및 진출 시점의 프레임 번호를 특정하기 위한 문턱값으로서 설정한다. 구체적으로는, 문턱값 설정부 5d는, 예를 들면, 복호부 5c에 의해 디코딩된 최초의 프레임 이미지 데이터 F1으로부터 소정 수(예를 들면, n개; n은 자연수)만큼의 프레임 이미지 데이터 중에서 이웃하는 각 프레임 이미지 데이터에 설정된, 같은 위치의 특정 영역 간의 화소값(예를 들면, 휘도값)의 편차자승합 SSD(Sum of Squared Differences)을 해당 소정 수만큼의 프레임 이미지 데이터에 있어서의 각 이미지 내의 다른 위치의 각 특정 영역(예를 들면, 특정 영역 A1과 A2)에 대하여 산출한다. 그리고, 문턱값 설정부 5d는, 다른 위치의 특정 영역마다, 산출된 복수(예를 들면, n-1개)의 편차자승합 SSD의 대표값(예를 들면, 평균값, 중간값 등)을 다른 위치의 각 특정 영역에 대하여 산출하고, 대상물이 특정 영역에 존재하는 시점의 프레임 번호를 특정하기 위한 문턱값으로서 설정한다.

또한, 상기한 문턱값의 산출 방법은, 하나의 예이며 이에 한정되는 것은 아니고, 적절히 임의로 변경가능하다. 또, 예를 들면, 프레임 이미지 데이터에 있어서의 배경의 색이 한 가지 색인 경우나 모양이 똑같은 경우 등에는, 문턱값 설정부 5d는, 어느 하나의 특정 영역(예를 들면, 왼쪽의 특정 영역 A1 등)에 대해서 산출된 대표값을 다른 특정 영역(예를 들면, 오른쪽의 특정 영역 A2 등)에 대해서 적용해도 좋다.

프레임 번호 특정부 5e는, 복수의 특정 영역의 각각에 대상물이 존재하는 시점(예를 들면, 진입 시점 및 진출 시점)의 복수의 프레임 번호를 특정한다.

즉, 프레임 번호 특정부 5e는, 영역 설정부 5b에 의해 설정된 복수의 특정 영역의 평가값의 변동에 기초해서, 해당 각 특정 영역 내에 대상물이 존재하는 시점의 프레임 번호(진입 시점의 프레임 번호 또는 진출 시점의 프레임 번호)를 특정한다. 구체적으로는, 프레임 번호 특정부 5e는, 해당 특정 영역마다의 평가값이 문턱값 설정부 5d에 의해 설정된 각 문턱값에 대해서 큰지 아닌지를 판정한다. 그리고, 다른 위치의 특정 영역마다의 평가값이 문턱값 설정부 5d에 의해 설정된 각 문턱값에 대해서 크다고 판정되면, 해당 특정 영역의 평가값이 문턱값 설정부 5d에 의해 설정된 문턱값을 넘은 시점의 프레임 번호를 특정한다(도 6b 및 도 6c 참조).

예를 들면, 프레임 번호 특정부 5e는, 복호부 5c에 의해 디코딩된 각 프레임 이미지 데이터에 대해서 이웃하는 프레임 이미지 데이터에 설정된, 같은 위치의 특정 영역간의 화소값(예를 들면, 휘도값)의 편차자승합 SSD를 평가값으로서 산출한다. 계속해서, 프레임 번호 특정부 5e는, 산출된 평가값과 문턱값 설정부 5d에 의해 설정된 문턱값을 비교하고, 평가값이 문턱값보다 큰지 아닌지를 판정한다. 해당 판정의 결과, 프레임 번호 특정부 5e는, 평가값이 문턱값을 넘은 시점의 프레임 번호를 특정한다. 예를 들면, 골프 스윙의 경우, 좌우 방향으로 이동하는 클럽 헤드 C가 특정 영역을 통과함으로써, 평가값이 문턱값보다도 커진다.

또, 프레임 번호 특정부 5e는, 위치가 다른 각 특정 영역에 대하여, 복수의 평가값이 문턱값보다 크다고 판정된 경우, 해당 문턱값에 대한 차이가 가장 큰 시점의 프레임 번호를 특정한다.

즉, 예를 들면, 좌우 방향으로 이동하는 클럽 헤드 C가 특정 영역을 통과함으로써, 대응하는 평가값이 문턱값보다 커지고, 해당 클럽 헤드 C와 특정 영역과의 중첩 영역이 가장 커지면 차이가 가장 커진다. 여기서, 처 낸 볼 B가 한쪽의 특정 영역(예를 들면, 골프볼 뒤에 클럽 헤드도 통과하는 특정 영역 A2)을 통과할 때에도 평가값이 문턱값보다 커지지만, 클럽 헤드 C와 볼 B의 크기 차이에 의해, 클럽 헤드 C가 통과할 때의 평가값 쪽이 볼 B의 평가값에 비해서 크기 때문에, 문턱값에 대한 차이가 가장 커진 평가값에 대응하는 프레임 이미지 데이터의 특정 영역 내에는, 클럽 헤드 C가 존재하는 것으로 생각된다.

여기서, 좌우 두 개의 특정 영역 A1, A2 내에 있어서의 프레임 번호의 특정 처리는, 특정 영역 A2(도 6b 참조)로부터 먼저 행해져도 좋다. 즉, 예를 들면, 골프 스윙의 경우, 오른손잡이인 사람의 스윙에서는, 클럽 헤드 C가 밖으로부터 촬상 영역의 왼쪽에 진입하고, 촬상 영역의 오른쪽으로부터 밖으로 진출 궤도를 그리기 때문에, 오른쪽의 특정 영역 A2로부터 먼저 프레임 번호의 특정 처리가 행해져야 한다(이유는, 후술). 한편, 왼손잡이인 사람의 스윙에서는, 반대로 왼쪽의 특정 영역 A1으로부터 먼저 특정 처리가 행해져야 한다.

이때, 프레임 번호 특정부 5e는, 특정 영역 A2를 이용한 진출 시점의 프레임 번호의 특정 처리에 대해서는(도 6b 참조), 복호부 5c에 의해 디코딩된 모든 프레임 이미지 데이터를 처리 대상으로 한다. 한편, 프레임 번호 특정부 5e는, 특정 영역 A1을 이용한 진입 시점의 프레임 번호의 특정 처리에 대해서는 (도 6c 참조), 특정된 진출 시점의 프레임 번호를 기준으로 해서, 디코딩된 모든 프레임 이미지 데이터 중 소정수의 프레임 이미지 데이터를 처리 대상으로 한다. 예를 들면, 프레임 번호 특정부 5e는, 골프의 표준적인 스윙 스피드(예를 들면, 30~40m/s 등), 촬상부 3의 촬상 프레임 레이트나 화각 등을 고려해서, 특정 영역 A2를 이용하여 특정된 진출 시점의 프레임 번호에 대응하는 프레임 이미지 데이터로부터 소정 수만큼의 프레임을 거슬러 올라간 프레임 이미지 데이터를 특정한다. 프레임 번호 특정부 5e는, 해당 특정된 프레임 이미지 데이터 이후의 프레임 이미지 데이터로서, 특정 영역 A2를 이용해서 특정된 진출 시점의 프레임 번호에 대응하는 프레임 이미지 데이터의 하나 전의 프레임 이미지 데이터까지를 처리 대상으로 한다.

이에 의해, 골프 스윙의 경우, 테이크 백(take back)과 내리치기의 각각의 동작에서 특정 영역 A1을 통과하게 되지만, 테이크 백 시에 클럽 헤드 C가 해당 특정 영역 A1 내에 존재하는 프레임 이미지 데이터의 프레임 번호가 진입 시점의 프레임 번호로서 잘못 특정되는 것을 방지할 수 있다.

이미지 특정부 5f는, 대상물의 동작에 있어서의 소정의 시점을 기준으로 하는 복수의 프레임 이미지 데이터를 특정한다.

즉, 이미지 특정부(특정 수단) 5f는, 프레임 번호 특정부 5e에 의한 진입 시점 및 진출 시점의 프레임 번호의 특정 결과에 기초해서, 복수의 이미지 내에서 대상물의 동작에 있어서의 소정의 시점(예를 들면, 클럽 헤드 C에 의해 볼 B를 친 순간의 임팩트 등)에 관련되는 복수의 프레임 이미지 데이터를 특정한다. 구체적으로는, 예를 들면, 이미지 특정부 5f는, 특정 영역 A1, A2을 이용한 대상물(예를 들면, 클럽 헤드C)의 진입 시점 및 진출 시점의 프레임 번호의 특정 결과에 기초해서, 해당 진입 시점 및 진출 시점의 프레임 번호 F2, F4에 대응하는 프레임 이미지 데이터를 각각 특정한다. 그리고, 이미지 특정부 5f는, 소정의 시점에 관련된 프레임 이미지 데이터 F2, F4에 기초해서, 복수의 프레임 이미지 데이터 가운데 해당 소정의 시점을 기준으로 하는 복수의 프레임 이미지 데이터를 특정한다. 예를 들면, 이미지 특정부 5f는, 특정된 두 개의 프레임 번호에 기초해서, 복수의 프레임 이미지 데이터로부터 이 두 개의 프레임 번호 사이의 복수의 프레임 이미지 데이터를 특정하고, 동영상으로서 추출한다.

또한, 이미지 특정부 5f는, 예를 들면, 볼 B나 초기 상태의 클럽 헤드 위치와 두 개의 특정 영역 A1, A2와의 상대적인 위치 관계를 고려하여, 두 개의 프레임 이미지 데이터 F2, F4 사이에서 볼B를 친 순간의 임팩트에 대응하는 프레임 이미지 데이터 F3 자체를 특정해도 좋다. 예를 들면, 볼 B가 두 개의 특정 영역 A1, A2의 대략 중간에 배치되어 있는 경우에는, 두 개의 프레임 이미지 데이터 F2, F4 사이의 대략 중간에 볼 B를 친 순간의 임팩트에 대응하는 프레임 이미지 데이터 F3이 존재하는 것으로 생각된다.

이미지 기록부 6은, 예를 들면, 불휘발성 메모리(플래시 메모리) 등으로 구성되어 있다. 또, 이미지 기록부 6은, 이미지 데이터 생성부 4의 부호화부(도시는 생략)에 의해 소정의 부호화 방식으로 부호화된 각종 이미지의 이미지 데이터를 기록한다.

구체적으로는, 이미지 기록부 6은, 예를 들면, 촬상부 3에 의해 대상물의 일련의 동작이 연속된 동영상의 이미지 데이터나, 해당 동영상으로부터 추출되고, 소정의 시점을 기준으로 하는 소정수의 프레임 이미지 데이터로 이루어지는 동영상의 이미지 데이터 등을 기록한다.

또한, 이미지 기록부 6은, 예를 들면, 기록 매체(도시는 생략)가 탈착가능하게 구성되고, 장착된 기록 매체로부터의 이미지 데이터의 독출이나 기록 매체에 대한 이미지 데이터의 기입을 제어하는 구성이어도 좋다.

표시부 7은, 정지 영상이나 동영상을 표시한다. 구체적으로는, 표시부 7은, 표시 패널 7a와, 표시 제어부 7b를 포함하고 있다.

표시 패널 7a는, 표시 영역 내에 이미지를 표시한다. 구체적으로는, 표시부 7은, 정지 영상 촬상 모드나 동영상 촬상 모드에서, 촬상부 3에 의한 대상물의 촬상에 의해 생성된 복수의 이미지 프레임을 소정의 재생 프레임 레이트로 순차 갱신하면서 라이브 뷰 이미지 데이터 L을 표시한다.

또한, 표시 패널 7a로서는, 예를 들면, 액정 표시 패널이나 유기 EL 표시 패널 등을 들 수 있지만, 하나의 예이며 이들로 한정되는 것은 아니다.

표시 제어부 7b는, 이미지 기록부 6으로부터 읽어 내어지고 이미지 처리부 5에 의해 디코딩된 소정 크기의 이미지 데이터에 기초하여, 소정의 이미지를 표시 패널 7a의 표시 화면에 표시시키는 제어를 행한다. 구체적으로는, 표시 제어부 7b는, VRAM(Video Random Access Memory), VRAM 컨트롤러, 디지털 비디오 인코더 등을 포함하고 있다. 그리고, 디지털 비디오 인코더는, 이미지 처리부 5에 의해 디코딩되어 VRAM(도시는 생략)에 기억되어 있는 휘도 신호 Y 및 색차 신호 Cb, Cr을, VRAM 컨트롤러를 통해서 VRAM으로부터 읽어내고, 이 데이터를 기초로 비디오 신호를 발생시켜 표시 패널 7a에 출력한다.

조작 입력부 8은, 장치 본체에 대하여 각종 지시를 입력하기 위한 것이다.

구체적으로는, 조작 입력부 8은, 예를 들면, 모드나 기능 등의 선택 지시에 관련된 버튼 등을 구비한 조작부(도시는 생략)를 포함하고 있다.

그리고, 사용자에 의해 조작부의 각종 버튼이 조작되면, 조작 입력부 8은, 조작된 버튼에 따른 조작 지시를 중앙 제어부 1에 출력한다. 중앙 제어부 1은, 조작 입력부 8로부터 출력되어 입력된 조작 지시에 따라서 소정의 동작(예를 들면, 대상물의 촬상 등)을 각 부에 실행시킨다.

한편, 조작 입력부 8은, 표시부 7의 표시 패널 7a와 일체로 설치된 터치 패널(touch panel)(도시는 생략)을 갖도록 구성되어 있어도 좋다.

다음으로, 촬상 처리에 대해서, 도 2~도 6을 참조해서 설명한다.

도 2는, 촬상 처리에 관련된 동작의 일 예를 도시하는 흐름도이다.

이하에 설명하는 촬상 처리는, 사용자에 의한 조작 입력부 8의 소정 조작에 기초하여, 메뉴 화면(도시는 생략)에 표시된 복수의 동작 모드 중에서 임팩트 이미지 추출 모드가 선택 지시된 경우에 실행되는 처리다.

<촬상 처리>

도 2의 흐름도에 도시된 것과 같이, 먼저, 표시 제어부 7b는, 예를 들면, 클럽 헤드 C나 볼 B의 초기 위치를 맞추기 위한 지표 M(예를 들면, 클럽 헤드 형상이나 볼 형상의 테두리 표시 등)을 라이브 뷰 이미지 L에 중첩시켜서 표시 패널 7a에 OSD 형식으로 표시시킨다(단계 S1; 도 4 참조). 이 상태에서, 촬상자는, 클럽 헤드 C나 볼 B의 초기 위치가 지표 M과 적절한 위치에서 겹치도록, 해당 장치 본체와 대상물과의 거리나 촬상부 3의 화각 등을 조정한다.

그리고, 사용자에 의한 조작 입력부 8의 소정 조작에 기초하여, 해당 장치 본체와 대상물과의 거리나 촬상부 3의 화각 등의 조정의 완료 지시가 입력되면, 표시 제어부 7b는, 지표 M의 OSD 표시를 정지한다. 한편, 지표 M의 OSD 표시는, 동작하는 사람의 주로 쓰는 손에 따라서 준비되어 있고, 도 4는 오른손잡이인 사람용이다. 또, 대상물의 촬상은, 해당 장치 본체를 삼각대에 고정해서 행하여도 좋고, 촬상자가 소지한 상태에서 행하여도 좋다.

다음으로, 사용자에 의한 조작 입력부 8의 소정 조작에 기초해서 촬상이 지시되면, 촬상부 3은, 클럽 헤드 C의 동작을 소정의 촬상 프레임 레이트(예를 들면, 1000fps 등)로 촬상하고, 이미지 데이터 생성부 4는, 복수의 프레임 이미지 데이터를 소정의 부호화 방식으로 부호화한 동영상의 이미지 데이터를 생성한다(단계 S2).

그리고, 이미지 데이터 생성부 4는, 생성된 동영상의 이미지 데이터를 메모리 2로 전송한다.

계속해서, 이미지 처리부 5는, 동영상의 이미지 데이터로부터 소정 수의 프레임 이미지 데이터를 특정해서 추출하는 이미지 특정 처리(도 3 참조)를 행한다(단계 S3). 이미지 특정 처리에 대해서는, 후술한다.

그리고, 표시 제어부 7b는, 이미지 특정부 5f에 의해 특정되고 추출된 소정 수의 프레임 이미지 데이터에 기초해서, 동영상을 표시 패널 7a에 표시시킨다(단계 S4). 이에 의해, 촬상 처리를 종료한다.

<이미지 특정 처리>

이하, 이미지 특정 처리에 대해서, 도 3을 참조해서 상세히 설명한다.

도 3은, 이미지 특정 처리에 관련된 동작의 일 예를 도시하는 흐름도이다.

도 3에 도시된 것과 같이, 이미지 취득부 5a는, 골프의 스윙 동작에 따른 클럽 헤드 C의 움직임이 연속적으로 촬상된 복수의 프레임 이미지 데이터로 이루어지는 동영상 데이터를 메모리 2로부터 읽어내고, 이미지 특정 처리의 처리 대상으로서 취득한다(단계 S11).

다음으로, 영역 설정부 5b는, 동영상 데이터를 구성하는 복수의 프레임 이미지 데이터의 각각에 대해서, 상하 방향으로 거의 중앙부의 좌우 방향 양단에 치우친 위치에 대략 사각형 형상의 특정 영역을 두 개 설정한다(단계 S12). 여기서, 오른손잡이인 사람의 경우, 촬영 영역의 왼쪽의 특정 영역 A1은, 클럽 헤드 C가 외부로부터 촬영 영역으로 진입한 직후의 영역이며, 촬영 영역의 오른쪽 특정 영역 A2는, 클럽 헤드 C가 촬영 영역으로부터 외부로 진출하기 직전의 영역이다.

계속해서, 복호부 5c는, 동영상의 이미지 데이터를 구성하는 최초의 프레임 이미지 데이터 F1으로부터 소정 수(예를 들면, n개; n은 자연수)만큼의 프레임 이미지 데이터를 디코딩하고(단계 S13), 문턱값 설정부 5d는, 좌우의 특정 영역 A1, A2의 각각에 대해서, 이웃하는 프레임 이미지 데이터와의 화소값(예를 들면, 휘도값)의 편차자승합 SSD를 산출한다(단계 S14). 그리고, 문턱값 설정부 5d는, 좌우의 특정 영역 A1, A2의 각각에 대해서, 산출된 복수(예를 들면, n-1개)의 편차자승합 SSD의 대표값(예를 들면, 평균값 또는 중간값 등)을 진입 시점 및 진출 시점의 프레임 번호의 특정을 위한 문턱값으로서 설정한다(단계 S15).

다음으로, 복호부 5c는, 동영상 데이터를 구성하는 모든 프레임 이미지 데이터를 최초의 프레임 이미지 데이터 F1으로부터 순차적으로 디코딩해가고(단계 S16), 프레임 번호 특정부 5e는, 디코딩된 프레임 이미지 데이터 중 인접하는 프레임 이미지 데이터의 각각에 설정된 특정 영역 A2 사이의 화소값(예를 들면, 휘도값)의 편차자승합 SSD를 평가값으로서 순차 산출한다(단계 S17). 계속해서, 프레임 번호 특정부 5e는, 산출된 평가값이 문턱값 설정부 5d에 의해 설정된 특정 영역 A2의 문턱값보다 큰지 아닌지를 판정한다(단계 S18).

여기서, 평가값이 문턱값보다 크지 않다고 판정되면(단계 S18; 아니오), 이미지 처리부 5는, 처리를 단계 S16으로 되돌리고, 그 이후의 각 처리를 실행한다. 즉, 특정 영역 A2 내에서 평가값의 변동이 없기 때문에, 클럽 헤드 C가 특정 영역 A2를 통과하지 않고 있다고 생각된다. 이에 대해서, 특정 영역 A2 내에서 평가값의 변동이 있으면, 특정 영역 A2에 클럽 헤드 C가 존재한다고 생각된다.

단계 S18에서, 평가값이 문턱값보다 크다고 판정되면(단계 S18; 예), 프레임 번호 특정부 5e는, 해당 평가값과 문턱값과의 차이를 산출하고, 차이가 최대인 평가값에 대응하는 시점의 프레임 번호를 특정하고, 해당 프레임 번호를, 해당 프레임 이미지 데이터의 프레임 번호로 갱신해서 소정의 저장 수단(예를 들면, 메모리 2 등)에 일시적으로 저장한다(단계 S19). 계속해서, 이미지 처리부 5는, 모든 프레임 이미지 데이터에 대해서 상기의 각 처리를 행했는지 아닌지를 판정한다(단계 S20).

단계 S20에서, 모든 프레임 이미지 데이터에 대해서 행해지지 않고 있다고 판정되면(단계 S20; 아니오), 이미지 처리부 5는, 처리를 단계 S16으로 되돌리고, 그 이후의 각 처리를 실행한다.

상기의 각 처리는, 단계 S20에서, 모든 프레임 이미지 데이터에 대해서 행하여 졌다고 판정될 때까지(단계 S20; 예), 반복하여 실행된다.

이에 의해, 좌우 방향으로 이동하는 클럽 헤드 C와 특정 영역 A2와의 중첩 영역이 가장 커지는 것에 의해, 평가값과 문턱값과의 차이도가 최대가 된 시점의 프레임 번호 F4(도 6b 참조)가 특정된다.

다음으로, 복호부 5c는, 특정 영역 A2를 이용해서 특정된 진출 시점의 프레임 번호에 대응하는 프레임 이미지 데이터 F4로부터 소정 수의 프레임 번호 전의 프레임 이미지 데이터를 디코딩을 시작하는 프레임 이미지 데이터로서 지정한다(단계 S21). 또한, 복호부 5c는, 지정된 프레임 이미지 데이터 이후의 프레임 이미지 데이터로서, 특정된 진출 시점의 프레임 번호 F4에 대응하는 프레임 이미지 데이터 하나 전의 프레임 이미지 데이터까지를 디코딩 처리의 대상 이미지로서 지정한다.

그리고, 복호부 5c는, 지정된 프레임 이미지 데이터 이후의 프레임 이미지 데이터를 순차적으로 디코딩해 가고(단계 S22), 프레임 번호 특정부 5e는, 디코딩된 프레임 이미지 데이터에 대해서, 하나 전의 프레임 이미지 데이터와의 특정 영역 A1 간의 화소값(예를 들면, 휘도값)의 편차자승합 SSD를 평가값으로서 순차적으로 산출한다(단계 S23). 계속해서, 프레임 번호 특정부 5e는, 산출된 평가값이 문턱값 설정부 5d에 의해 설정된 특정 영역 A1의 문턱값보다도 큰지 아닌지를 판정한다(단계 S24).

여기서, 평가값이 문턱값보다 크지 않다고 판정되면(단계 S24; 아니오), 이미지 처리부 5는, 처리를 단계 S22로 되돌리고, 그 이후의 각 처리를 실행한다. 즉, 특정 영역 A1 내에서 화소값의 변동이 없기 때문에, 클럽 헤드 C가 특정 영역 A2를 통과하고 있지 않다고 생각된다. 이에 대하여, 특정 영역 A1 내에서 화소값의 변동이 있으면, 클럽 헤드 C가 존재한다고 생각된다.

단계 S24에서, 평가값이 문턱값보다 크다고 판정되면(단계 S24; 예), 프레임 번호 특정부 5e는, 해당 평가값과 문턱값과의 차이를 산출하고, 차이가 최대인 평가값에 대응하는 프레임 번호를 특정하고, 진입 시점의 프레임 이미지 데이터를 식별하기 위한 프레임 번호를, 해당 프레임 이미지 데이터의 프레임 번호로 갱신해서 소정의 저장 수단(예를 들면, 메모리 2 등)에 일시적으로 저장한다(단계 S25). 계속해서, 이미지 처리부 5는, 처리 대상인 모든 프레임 이미지 데이터에 대해서 상기의 각 처리를 행했는지 아닌지를 판정한다(단계 S26).

단계 S26에서, 처리 대상인 모든 프레임 이미지 데이터에 대해서 행해지지 않고 있다고 판정되면(단계 S26; 아니오), 이미지 처리부 5는, 처리를 단계 S22로 되돌리고, 그 이후의 각 처리를 실행한다.

상기의 각 처리는, 단계 S26에서, 처리 대상인 모든 프레임 이미지 데이터에 대해서 행해졌다고 판정될 때까지(단계 S26; 아니오), 반복하여 실행된다. 이에 의해, 좌우 방향으로 이동하는 클럽 헤드 C와 특정 영역 A1과의 중첩 영역이 가장 커짐으로써 평가값과 문턱값의 차이가 최대가 된 프레임 이미지 데이터 F2(도 6c 참조)의 프레임 번호가 특정된다.

다음으로, 이미지 특정부 5f는, 특정된 진입 시점 및 진출 시점의 프레임 번호에 기초해서, 제1 이미지 데이터 군에 관한 복수의 프레임 이미지 데이터로부터 상기 두 개의 프레임 번호 사이의 소정 수의 제2 이미지 데이터 군에 관한 프레임 이미지 데이터를 특정하고, 동영상 데이터로서 추출한다(단계 S27). 또, 이미지 특정부 5f는, 제2 이미지 데이터 군으로서, 특정된 진입 시점의 프레임 번호보다도 소정 수 전의 프레임 번호의 프레임 이미지 데이터로부터, 특정된 진출 시점의 프레임 번호보다도 소정 수 뒤의 프레임 번호의 프레임 이미지 데이터까지를 동영상으로서 추출해도 좋다.

여기서, 진입 시점의 프레임 번호와 진출 시점의 프레임 번호의 간격, 즉, 두 개의 프레임 번호 F2, F4 사이의 이미지 수가 소정 값보다 많거나, 대응하는 시간 간격이 소정 값보다 긴 경우에는, 클럽 헤드 C 이외의 것이 특정 영역을 통과하고 있을 우려도 있기 때문에, 이미지 특정부 5f는, 프레임 이미지 데이터 수나 시간 간격이 소정 값 이내인 경우에, 동영상을 추출하는 구성이어도 좋다.

그 다음, 이미지 기록부 6은, 이미지 특정부 5f에 의해 추출된, 소정의 시점을 기준으로 하는 소정 수의 프레임 이미지 데이터로 이루어지는 동영상 데이터를 기록해서(단계 S28), 해당 이미지 특정 처리를 종료한다.

이상과 같이, 본 실시 형태의 촬상 장치 100에 의하면, 대상물의 동작이 연속적으로 촬상된 복수의 프레임 이미지 데이터의 각 프레임 이미지 데이터에 있어서의 복수의 소정 위치에 특정 영역을 설정하고, 설정된 복수의 특정 영역의 각각에 있어서의 복수의 프레임 이미지 데이터 간의 화소값의 변동에 기초해서, 복수의 프레임 이미지 데이터 가운데 대상물의 동작에 있어서의 소정의 시점에 관련되는 프레임 이미지 데이터를 복수 특정하기 때문에, 복수의 프레임 이미지 데이터의 각각의 소정 위치에 설정된 특정 영역의 화소값의 변동을 이용함으로써, 특수한 디바이스를 이용하지 않더라도 사용자가 원하는 프레임 이미지 데이터(예를 들면, 프레임 이미지 데이터 F2~F4)를 특정할 수 있다.

예를 들면, 골프 스윙의 경우, 실제로 볼 B를 치지 않고 휘두르는 경우에도, 만일 볼 B를 친다면 임팩트의 순간이 될 것인 프레임 이미지 데이터를 포함하는, 사용자가 원하는 프레임 이미지 데이터를 특정할 수 있다.

또한, 본 발명은, 상기한 실시 형태로 한정되지 않고, 본 발명의 취지를 벗어나지 않는 범위에서, 다양한 개량 및 설계의 변경을 해도 좋다.

예를 들면, 상기 실시 형태에서는, 특정 영역에 설정된 문턱값을 기준으로 해서, 진입 시점 및 진출 시점의 프레임 번호를 특정하도록 했지만, 하나의 예일 뿐 이에 한정되는 것은 아니고, 진입 시점 및 진출 시점의 프레임 번호의 특정 시에 문턱값을 설정할 것인지 아닌지는 적절히 임의로 변경가능하다. 즉, 촬상 장치 100은, 특정 영역의 화소값의 변동에 기초하여, 진입 시점 및 진출 시점의 프레임 번호를 특정가능한 구성이라면, 반드시 문턱값 설정부 5d를 구비할 필요는 없다.

또, 상기 실시 형태에서는, 좌우 두 개의 특정 영역 A1, A2에 의한 진입 시점 및 진출 시점의 프레임 번호의 특정 처리는, 특정 영역 A2부터 먼저 하도록 했지만, 하나의 예일 뿐 이에 한정되는 것은 아니고, 예를 들면, 특정 영역 A1부터 프레임 번호의 특정 처리를 하도록 해도 좋다. 　이 경우, 프레임 번호 특정부 5e는, 특정 영역 A1에 의한 진입 시점의 프레임 번호의 특정 처리에 대해서는, 복호부 5c에 의해 디코딩된 모든 프레임 이미지를 처리 대상으로 하는 한편, 특정 영역 A2에 의한 진출 시점의 프레임 번호의 특정 처리에 대해서는, 진입 시점의 프레임 번호를 기준으로 해도 좋다.

또, 프레임 번호 특정부 5e는, 평가값이 문턱값보다 크다고 판정된 프레임 번호 가운데, 해당 문턱값에 대한 차이가 가장 큰 프레임 번호를 특정하도록 했지만, 문턱값도 넘은 평가값 가운데 가장 큰 평가값에 근접하는 평가값이 복수인 때에는, 소정의 처리를 행함으로써 진입 시점 및 진출 시점의 프레임 번호를 특정하도록 해도 좋다.

즉, 진입 시점의 프레임 번호의 특정에 있어서는, 가장 큰 평가값에 근접하는 복수의 평가값의 프레임 번호 가운데, 가장 나중의 프레임 번호를 진입 시점의 프레임 번호로서 특정하는 것과 같은 처리를 더함으로써, 예를 들면, 스윙 동작에 있어서의 어드레스-탑(top) 간, 및 탑-임팩트 간에서의 동작 가운데, 어드레스-탑 간의 동작을 원하는 진입 시점의 프레임 번호로서 잘못하여 검출하는 것을 방지할 수 있다. 또, 진출 시점의 프레임 번호의 특정에 있어서는, 마찬가지로, 가장 큰 평가값에 근접하는 복수의 평가값의 프레임 번호 가운데, 가장 나중의 프레임 번호를 진출 시점의 프레임 번호로서 특정하는 것 같은 처리를 더해도 좋다.

이에 더하여, 상기 실시 형태에서는, 이미지 특정부 5f는, 소정의 시점(예를 들면, 클럽 헤드 C에 의해 볼 B를 친 순간의 임팩트 등)에 관련되는 프레임 이미지 데이터 F2, F4의 식별 정보(예를 들면, 진입 시점 및 진출 시점의 프레임 번호)을 특정한 후, 해당 식별 정보에 대응하는 프레임 이미지 데이터 F2, F4를 특정하도록 했지만, 하나의 예일 뿐이며 이에 한정되는 것은 아니고, 반드시 프레임 이미지 데이터 F2, F4를 특정할 필요는 없다. 또, 이미지 특정부 5f는, 예를 들면, 프레임 번호 특정부 5e에 의한 특정 결과에 기초하여, 직접, 동영상 이미지 데이터를 구성하는 복수의 프레임 이미지 데이터로부터 피사체의 동작에 있어서의 소정의 시점에 관련된 프레임 이미지 데이터를 특정해도 좋다.

또한, 촬상 장치 100의 구성은, 상기 실시 형태에 예시한 것은 하나의 예일 뿐, 이에 한정되는 것은 아니다. 또한, 이미지 처리 장치로서, 촬상 장치 100을 예시했지만, 이에 한정되는 것은 아니다.

이에 더해서, 상기 실시 형태에 있어서는, 취득 수단, 영역 설정 수단, 특정 수단으로서의 기능을, 중앙 제어부 1의 제어 하에, 이미지 취득부 5a, 영역 설정부 5b, 이미지 특정부 5f가 구동하는 것에 의해 실현되는 구성으로 하였지만, 이에 한정되는 것은 아니고, 중앙 제어부 1의 CPU에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 하여도 좋다.

즉, 프로그램을 기억하는 프로그램 메모리(도시는 생략)에, 취득 처리 루틴, 영역 설정 처리 루틴, 특정 처리 루틴을 포함하는 프로그램을 기억해 둔다. 그리고, 취득 처리 루틴에 의해 중앙 제어부 1의 CPU를, 피사체의 동작이 연속적으로 촬상된 복수의 이미지를 취득하는 수단으로서 기능시키도록 해도 좋다. 또, 영역 설정 처리 루틴에 의해 중앙 제어부 1의 CPU를, 취득된 복수의 이미지의 각각에 있어서의 복수의 소정 위치에 영역을 설정하는 수단으로서 기능시키도록 해도 좋다. 또, 특정 처리 루틴에 의해 중앙 제어부 1의 CPU를, 설정된 복수의 영역의 각각에 있어서의 복수의 이미지 간의 화소값의 변동에 기초하여, 복수의 이미지 가운데 상기 피사체의 동작에 있어서의 소정의 시점에 관련된 이미지를 복수 특정하는 수단으로서 기능시키도록 해도 좋다.

마찬가지로, 다른 기능에 대해서도, 중앙 제어부 1의 CPU에 의해 소정의 프로그램 등이 실행되는 것에 의해 실현되는 구성으로 하여도 좋다.

또한, 상기의 각 처리를 실행하기 위한 프로그램을 저장한 컴퓨터로 읽을 수 있는 매체로서, ROM이나 하드 디스크 등의 이외에, 플래시 메모리 등의 불휘발성 메모리, CD-ROM 등의 포터블 기록 매체를 적용하는 것도 가능하다. 또, 프로그램 데이터를 소정의 통신 회선을 통해서 제공하는 매체로서는, 캐리어 웨이브(carrier wave)(반송파)도 적용할 수 있다.

본 발명의 몇 가지 실시 형태를 설명했지만, 본 발명의 범위는, 상술의 실시 형태로 한정되는 것이 아니고, 특허청구의 범위에 기재된 발명의 범위와 그 균등 범위를 포함한다.

Claims (8)

1. 대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 복수의 영역을 설정하는 영역 설정 수단과,
   상기 영역 설정 수단에 의해 설정된 복수의 영역의 각각에 있어서의 복수의 이미지 간의 화소값의 변동이 최대가 된 프레임 이미지를 특정하고, 상기 특정된 프레임 이미지에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작의 개시 시점 및 동작의 종료 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정하는 특정 수단
   을 포함하는 이미지 처리 장치.
   
2. 제1항에 있어서,
   상기 특정 수단은,
   상기 복수의 영역 중 제1 영역에서 특정된 프레임 이미지에 기초해서 상기 제2 이미지군 중에서 동작의 개시 시점에 대응하는 최초로 촬상된 제1 이미지를 특정하고, 상기 복수의 영역 중 제2 영역에서 특정된 프레임 이미지에 기초해서 상기 제2 이미지군 중에서 동작의 종료 시점에 대응하는 최후로 촬상된 제2 이미지를 특정하는,
   이미지 처리 장치.
   
3. 제1항에 있어서,
   상기 복수의 이미지 중에서 소정 기간 내의 소정 수의 이미지에 있어서의 상기 복수의 영역의 각각의 화소값의 대표값을, 소정의 시점에 관련된 복수의 이미지를 특정하기 위한 문턱값으로서 설정하는 문턱값 설정 수단을 더 포함하고,
   상기 특정 수단은, 상기 문턱값 설정 수단에 의해 설정된 문턱값에 기초해서, 상기 제1 이미지군으로부터 상기 각 영역에 대상물이 존재하는 이미지를 각각 특정하는,
   이미지 처리 장치.
   
4. 제3항에 있어서,
   상기 복수의 영역의 각각에 있어서의 복수의 이미지 간의 화소값의 변동에 기초해서, 상기 복수의 영역의 각각에 대한 평가값을 산출하는 제1 산출 수단과,
   상기 각 영역의 평가값이 상기 문턱값 설정 수단에 의해 설정된 각 문턱값보다 큰지 아닌지를 판정하는 판정 수단
   을 더 포함하고,
   상기 특정 수단은, 상기 판정 수단에 의해 상기 각 영역의 평가값이 상기 문턱값보다 크다고 판정되면, 상기 제1 이미지군으로부터 해당 영역에 대상물이 존재하는 이미지를 상기 소정의 시점에 관련된 이미지로서 특정하는,
   이미지 처리 장치.
   
5. 제3항에 있어서,
   소정 수의 이미지에 있어서의 상기 복수의 영역의 각각의 화소값의 평균값 또는 중간값을 산출하는 제2 산출 수단을 더 포함하고,
   상기 문턱값 설정 수단은, 상기 제2 산출 수단에 의해 산출된 평균값 또는 중간값을 복수의 대표값의 하나로서 설정하는,
   이미지 처리 장치.
   
6. 제1항에 있어서,
   상기 특정 수단에 의해 특정된 소정의 시점에 관련된 복수의 이미지를 동영상으로서 추출하는 추출 수단을 더 포함하는 이미지 처리 장치.
   
7. 이미지 처리 장치를 이용한 이미지 특정 방법에 있어서,
   대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 복수의 영역을 설정하는 단계와,
   설정된 상기 복수의 영역의 각각에 있어서의 복수의 이미지 간의 화소값의 변동이 최대가 된 프레임 이미지를 특정하고, 상기 특정된 프레임 이미지에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작의 개시 시점 및 동작의 종료 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정하는 단계
   를 포함하는 이미지 처리 방법.
   
8. 컴퓨터로 읽을 수 있는 기록 매체에 저장된 프로그램에 있어서,
   대상물의 동작이 연속적으로 촬상된 복수의 이미지에 관한 제1 이미지군의 각각의 이미지에 있어서의 복수의 소정 위치에 복수의 영역을 설정하는 영역 설정 수단, 및
   상기 영역 설정 수단에 의해 설정된 복수의 영역의 각각에 있어서의 복수의 이미지 간의 화소값의 변동이 최대가 된 프레임 이미지를 특정하고, 상기 특정된 프레임 이미지에 기초해서, 상기 복수의 이미지 중에서 상기 대상물의 동작의 개시 시점 및 동작의 종료 시점에 관련된 복수의 이미지에 관한 제2 이미지군을 특정하는 특정 수단
   으로서의 기능을 이미지 처리 장치에 실행시키는 프로그램.

Images