KR101642854B1

KR101642854B1 - 화상 처리 장치, 화상 처리 방법 및 기록 매체

Info

Publication number: KR101642854B1
Application number: KR1020140150098A
Authority: KR
Inventors: 요시키 이시게
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2012-03-21
Filing date: 2014-10-31
Publication date: 2016-07-26
Also published as: CN103327235A; JP2013196518A; US9466110B2; CN103327235B; JP5648647B2; KR20130107254A; KR20140145569A; US20130251200A1

Abstract

본 발명은, 피사체의 동작을 해석하는 화상 처리 장치, 화상 처리 방법 및 기록 매체에 관한 것으로서, 본 발명의 화상 처리 장치(1)에서는, 동작 검출부(43)가, 플레이어의 동영상 데이터에서, 각 프레임의 화상으로부터 신체를 나타내는 윤곽선을 추출하고, 신체의 각 부에 동작 기준축을 설정한다. 그리고, 동작 비교부(44)가, 주동작 기준축의 움직임을 기준으로 플레이어의 동영상과, 비교 대상으로 되는 프로 골퍼의 동영상을 비교하여, 비교 결과 데이터를 부여한 비교용 동영상 데이터를 생성한다. 이 비교용 동영상 데이터를 바탕으로, 비교 결과 표시 제어부(45)가, 플레이어의 동영상과 프로 골퍼의 동영상의 상이점을 식별하여 표시한다.

Description

화상 처리 장치, 화상 처리 방법 및 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM}

본 발명은, 피사체의 동작을 해석하는 화상 처리 장치, 화상 처리 방법 및 기록 매체에 관한 것이다.

종래, 골프 스윙 등의 동작을 촬상하고, 모범 동작의 동영상과 비교하는 것이 행해지고 있다.

예를 들면, 일본 특허출원 공개번호 평 10-304299호 공보(특허 문헌 1)에 기재된 화상 기록 재생 장치에서는, 비교하는 2개의 동영상에 있어서, 각 동영상의 특정 재생 포인트를 지정하고, 지정된 재생 포인트를 일치시켜서, 2개의 동영상을 재생하고 있다.

그러나, 상기 특허 문헌 1에 기재된 기술을 포함한 종래 기술에 있어서는, 한쪽 동영상의 동작과, 모범이 되는 다른 동영상의 동작의 차이를 사용자가 육안관찰에 의해 검출하는 것이므로, 동작의 차이를 명확하게 파악하는 것이 곤란했다.

(특허문헌 1) 일본 특허출원 공개번호 평 10-304299호 공보

본 발명은, 이와 같은 상황을 감안하여 이루어진 것이며, 화상 중에 있어서 피사체의 동작의 차이를 보다 용이하게 파악 가능하게 하는 것을 목적으로 한다.

본 발명의 일태양의 화상 처리 장치는, 피사체의 동작이 촬상된 제1 화상군 및 상기 피사체의 동작과 비교하는 비교 대상 피사체의 동작이 촬상된 제2 화상군을 취득하는 화상 취득 수단과; 상기 화상 취득 수단에 의해 취득된 제1 화상군 및 제2 화상군에서의 피사체의 동작의 기준이 되는 축을 각각 설정하는 축 설정 수단과; 상기 축 설정 수단에 의해 각각 설정된 축에 기초하여, 상기 제1 화상군에서의 피사체의 동작과 상기 제2 화상군에서의 피사체의 동작을 비교하는 동작 비교 수단과; 상기 동작 비교 수단의 비교 결과에 기초하여, 상기 제1 화상군에서의 피사체의 동작과 상기 제2 화상군에서의 피사체의 동작의 차이를 표시하기 위한 제어를 행하는 표시 제어 수단을 구비한 것을 특징으로 한다.

또한, 본 발명의 일태양의 화상 처리 방법은, 화상 처리 장치에서의 화상 처리 방법으로서, 피사체의 동작이 촬상된 제1 화상을 취득하는 화상 취득 단계와; 상기 화상 취득 단계에 의해 취득된 제1 화상에서의 피사체의 동작의 기준이 되는 제1 축을 설정하는 축 설정 단계와; 상기 축 설정 단계에 의해 설정된 제1 축과 상기 제1 축과 비교하는 비교 대상인 제2 축을 비교하는 비교 단계와; 상기 비교 단계의 비교 결과에 대응한 정보를 표시 수단에 표시하게 하는 표시 제어 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명의 일태양의 기록 매체는, 컴퓨터가 판독 가능한 프로그램을 기록한 기록 매체로서, 피사체의 동작이 촬상된 제1 화상을 취득하는 화상 취득 수단, 상기 화상 취득 수단에 의해 취득된 제1 화상에서의 피사체의 동작의 기준으로 되는 축을 설정하는 축 설정 수단, 상기 축 설정 수단에 의해 설정된 제1 축과 상기 제1 축과 비교하는 비교 대상인 제2 축을 비교하는 비교 수단, 및 상기 비교 수단의 비교 결과에 대응한 정보를 표시 수단에 표시하게 하는 표시 제어 수단으로서의 기능을 컴퓨터에 실행시키는 프로그램을 기록한 것을 특징으로 한다.

도 1은 본 발명의 일실시예에 따른 화상 처리 장치의 하드웨어의 구성을 나타낸 블록도이다.
도 2는 도 1의 화상 처리 장치의 기능적 구성 중, 동작 비교 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.
도 3의 (A)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 3의 (B)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 3의 (C)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 3의 (D)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 3의 (E)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 3의 (F)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 3의 (G)는 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 4의 (A)는 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 4의 (B)는 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 4의 (C)는 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 4의 (D)는 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 4의 (E)는 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 4의 (F)는 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다.
도 5의 (A)는 골프 클럽의 동작 기준축을 설정하는 구체예를 나타낸 도면이다.
도 5의 (B)는 골프 클럽의 동작 기준축을 설정하는 구체예를 나타낸 도면이다.
도 6은 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치가 실행하는 동작 비교 처리의 흐름의 일례를 나타낸 흐름도이다.
도 7의 (A)는 동작의 비교 결과의 표시예를 나타낸 도면이다.
도 7의 (B)는 동작의 비교 결과의 표시예를 나타낸 도면이다.
도 8은 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치가 실행하는 축 생성 처리의 흐름의 일례를 나타낸 흐름도이다.
도 9의 (A)는 변형예에서의 동작의 비교 결과예를 나타낸 도면이다.
도 9의 (B)는 변형예에서의 동작의 비교 결과예를 나타낸 도면이다.
도 10은 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치가 실행하는 동작 속도 보정 표시 처리의 흐름을 나타내는 흐름도이다.
도 11은 동작 속도 보정 표시 처리에 의해, 동작 정보를 대응시켜 동영상 데이터를 표시하는 상태를 나타낸 모식도이다.
도 12는 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치가 실행하는 비교 결과 표시 처리의 흐름을 나타내는 흐름도이다.

이하에서, 본 발명의 실시예에 대하여, 도면을 참조하여 설명한다.

(제1 실시예)

(구성)

도 1은, 본 발명의 일실시예에 따른 화상 처리 장치의 하드웨어의 구성을 나타낸 블록도이다.

화상 처리 장치(1)는, 예를 들면, 디지털 카메라로서 구성된다.

화상 처리 장치(1)는, CPU(Central Processing Unit)(11), ROM(Read Only Memory)(12), RAM(Random Access Memory)(13), 버스(14), 입출력 인터페이스(15), 촬상부(16), 입력부(17), 출력부(18), 기억부(19), 통신부(20), 및 드라이브(21)를 구비하고 있다.

CPU(11)는, ROM(12)에 기록되어 있는 프로그램, 또는 동작 비교 처리를 위한 프로그램 등, 기억부(19)로부터 RAM(13)에 로드된 프로그램에 따라 각종 처리를 실행한다.

RAM(13)에는, CPU(11)가 각종 처리를 실행하는데 있어서 필요한 데이터 등도 적절하게 기억된다.

CPU(11), ROM(12) 및 RAM(13)은, 버스(14)를 통하여 서로 접속되어 있다. 이 버스(14)에는 또한 입출력 인터페이스(15)도 접속되어 있다. 입출력 인터페이스(15)에는, 촬상부(16), 입력부(17), 출력부(18), 기억부(19), 통신부(20) 및 드라이브(21)가 접속되어 있다.

촬상부(16)는, 도시하지 않지만, 광학 렌즈부와 이미지 센서를 구비하고 있다.

광학 렌즈부는, 피사체를 촬영하기 위하여, 광을 집광하는 렌즈, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는, 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈이다.

줌 렌즈는, 초점 거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다.

광학 렌즈부에는 또한, 필요에 따라 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 설치된다.

이미지 센서는, 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체상이 입사된다. 여기서, 광전 변환 소자는, 피사체상을 광전 변환(촬상)하여 화상 신호를 일정 시간 축적하고, 축적된 화상 신호를 아날로그 신호로서 AFE에 순차적으로 공급한다.

AFE는, 이 아날로그의 화상 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되고, 촬상부(16)의 출력 신호로서 출력된다.

이와 같은 촬상부(16)의 출력 신호를, 이하, 「촬상 화상의 데이터」라고 한다. 촬상 화상의 데이터는, CPU(11)나 RAM(13) 등에 적절하게 공급된다.

입력부(17)는, 각종 버튼 등으로 구성되며, 사용자의 지시 조작에 따라 각종 정보를 입력한다.

출력부(18)는, 디스플레이나 스피커 등으로 구성되며, 화상이나 음성을 출력한다.

기억부(19)는, 하드디스크 또는 DRAM(Dynamic Random Access Memory) 등으로 구성되며, 각종 화상의 데이터를 기억한다.

통신부(20)는, 인터넷을 포함하는 네트워크를 통하여 서로 다른 장치(도시하지 않음) 사이에서 행하는 통신을 제어한다.

드라이브(21)에는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 이동식 매체(31)가 적절하게 장착된다. 드라이브(21)에 의해 이동식 매체(31)로부터 판독된 프로그램은, 필요에 따라 기억부(19)에 인스톨된다. 또한, 이동식 매체(31)는, 기억부(19)에 기억되어 있는 화상 데이터 등의 각종 데이터도, 기억부(19)와 마찬가지로 기억할 수 있다.

도 2는, 이와 같은 화상 처리 장치(1)의 기능적 구성 중, 동작 비교 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.

동작 비교 처리는, 촬상된 피사체의 동작과, 비교 대상이 되는 동작을 비교하여, 그 차이를 표시하기 위한 일련의 처리를 말한다.

본 실시예에 있어서는, 화상 처리 장치(1)에 의해 촬상된 플레이어의 골프 스윙과 사전에 취득되어 있는 프로 골퍼의 골프 스윙을 비교하는 예에 대하여 설명한다. 다만, 화상 처리 장치(1)에 의해 촬상한 플레이어의 현재의 골프 스윙과 과거의 골프 스윙을 비교하는 등, 각종 동작을 비교할 수도 있다.

동작 비교 처리가 실행되는 경우에는, 도 2에 나타낸 바와 같이, CPU(11)에 있어서, 촬상 제어부(41), 화상 취득부(42), 동작 검출부(43), 동작 비교부(44), 및 비교 결과 표시 제어부(45)가 기능한다.

다만, 도 2는 예시이며, CPU(11)의 기능 중 적어도 일부를, GA(Graphics Accelerator) 등의 화상 처리를 행하는 하드웨어를 구비하여, 여기에 위양(委讓)해도 된다.

동작 비교 처리가 실행되는 경우, 기억부(19)의 일영역으로서 설치된 취득 화상 기억부(51)와, 비교 정보 기억부(52)가 사용된다.

취득 화상 기억부(51)에 있어서는, 촬상부(16)로부터 출력되고, 화상 취득부(42)에 의해 취득된 촬상 화상의 데이터가 기억되어 있다.

비교 정보 기억부(52)에 있어서는, 동작 비교부(44)로부터 출력된 비교용 동영상 데이터(후술함)가 기억되어 있다. 그리고, 본 실시예에 있어서는, 비교 대상이 되는 프로 골퍼의 동영상 데이터에 대해서도, 동작 검출부(43)에 의해, 후술하는 동작 기준축(선)이 설정되고, 동작 기준축의 데이터가 부여된 상태로 비교 정보 기억부(52)에 기억되어 있는 것으로 한다.

촬상 제어부(41)는, 각종 촬상 조건을 설정하고, 촬상부(16)에서의 촬상의 동작을 제어한다.

본 실시예에 있어서는, 피사체의 일련의 동작을 촬상하기 위하여, 촬상 제어부(41)는, 촬상부(16)에 연속적으로 피사체를 단일 화상으로서 촬상시켜, 동영상 데이터로서 출력시킨다.

화상 취득부(42)는, 촬상부(16)으로부터 출력된 동영상 데이터를 취득한다. 그 후, 화상 취득부(42)는, 동영상 데이터를 취득 화상 기억부(51)에 기억시킨다.

동작 검출부(43)는, 입력부(17)를 통하여 입력되는 동작 비교 처리의 개시 지시에 따라, 취득 화상 기억부(51)에 기억된 동영상 데이터를 참조하여, 동영상 데이터를 구성하는 각 프레임의 화상에 있어서, 피사체의 동작을 검출한다. 구체적으로는, 동작 검출부(43)는, 동영상 데이터를 구성하는 각 프레임의 화상에 있어서, 에지 검출 필터를 적용함으로써 윤곽 추출을 행하고, 추출한 윤곽선에서의 노이즈(불필요한 윤곽선)의 제거 처리를 행한다. 즉, 동작 검출부(43)는, 피사체의 윤곽선을 추출하는 윤곽선 추출 기능을 가지고 있다. 또한, 동작 검출부(43)는, 노이즈의 제거 처리가 행해진 화상에 있어서, 신체를 나타내는 폐 영역(closed area)을 특정한다. 본 실시예에 있어서는, 신체의 윤곽 및 관절 위치를 정의한 모델(이하, 「신체 모델」이라고 함)을 사전에 기억하여 두고, 이 신체 모델의 윤곽을 참조함으로써, 신체를 나타내는 폐 영역을 검출한다. 또한, 동작 검출부(43)는, 신체를 나타내는 폐 영역의 장척 방향의 끝점(edge point) 및 굴곡점(bending point)의 추출을 행한다. 그리고, 동작 검출부(43)는, 추출한 끝점 및 굴곡점을 바탕으로, 신체 모델의 관절 위치를 참조하여, 동작 시의 신체의 축이 되는 각 동작 기준축의 설정을 행한다. 즉, 동작 검출부(43)는, 동작 기준축을 설정하는 축 설정 기능을 가지고 있다. 동작 검출부(43)는, 이 동작 기준축을 복수의 프레임 사이에서 추적함으로써, 플레이어의 동작을 검출한다.

윤곽선에서의 끝점 및 굴곡점은, 비교적 용이하게 검출할 수 있으므로, 이들을 사용함으로써, 동작 기준축의 설정을 용이하게 행할 수 있다.

그리고, 어드레스 시의 정면으로부터의 동영상을 대상으로 하여, 플레이어의 동작을 검출하는 경우, 스윙을 리드하는 팔(오른손잡이 플레이어이면 좌측 팔)은, 스윙의 주요한 행정(行程)에 있어서 가려지고 않고 동작이 나타나므로, 본 실시예에서는, 스윙을 리드하는 팔의 상완부(上腕部)를 가장 주시하는 동작 기준축으로서 특정한다. 이하에서, 이 좌측 상완부에 설정되는 동작 기준축을, 적절하게 「주동작 기준축」이라고 하며, 다른 동작 기준축을 적절하게 「보조 동작 기준축」이라고 한다.

동작 검출부(43)는, 동영상 데이터를 구성하는 각 프레임의 화상에 대하여, 설정한 각 동작 기준축을 나타내는 데이터를, 각 프레임의 화상과 대응시켜, 동작 비교부(44)에 출력한다.

동작 비교부(44)는, 동작 검출부(43)에 의해 설정된 동작 기준축을 참조하여, 2개의 상이한 동영상 데이터에서의 피사체의 동작을 비교한다. 구체적으로는, 동작 비교부(44)는, 플레이어의 동영상과 비교 대상이 되는 프로 골퍼의 동영상에서의 일련의 동작 중, 각 프레임에서의 주동작 기준축의 각도를 비교하여, 각각의 동영상에서 대응하는 동작을 특정한다. 예를 들면, 동작 비교부(44)는, 프레임의 상 방향을 0°로 하고, 반시계 방향으로 회전 각도를 설정하고, 주동작 기준축의 회전 각도에 의해, 스윙에서의 소정의 동작을 특정한다. 그리고, 동작 비교부(44)는, 플레이어의 동영상 데이터와 비교 대상이 되는 프로 골퍼의 동영상 데이터에 있어서, 주동작 기준축의 움직임을 대조하면서, 일련의 움직임 중 주동작 기준축의 회전 각도가 대략 동일해지는 프레임의 화상을, 대응하는 동작의 화상으로서 특정한다.

또한, 동작 비교부(44)는, 플레이어의 동영상과 비교 대상이 되는 프로 골퍼의 동영상에 있어서, 대응하는 동작의 화상을 비교하여, 그 화상에 설정되어 있는 동작 기준축의 위치 및 회전 각도로부터, 피사체의 동작의 차이를 검출한다. 구체적으로는, 동작 비교부(44)는, 프로 골퍼의 동영상에서의 각 프레임의 동작 기준축의 위치 및 회전 각도와, 플레이어의 동영상에서의 동작 기준축의 위치 및 회전 각도의 차이를 산출한다. 그 후, 동작 비교부(44)는, 플레이어의 동영상 데이터에, 그 차이를 나타내는 데이터(이하, 적절하게 「비교 결과 데이터」라고 함)를 부가한다. 비교 결과 데이터로서, 예를 들면, 주목하는 동작 기준축의 이동 방향 및 회전 각도가, 비교 대상의 동영상에 있어서 대응하는 동작 기준축의 이동 방향 및 회전 각도와 어느 정도 상이한지를 나타내는 벡터 및 각도가 부가된다.

그리고, 동작 비교부(44)는, 비교 결과 데이터를 부여한 플레이어의 동영상 데이터(이하, 적절하게 「비교용 동영상 데이터」라고 함)를 생성하고, 비교용 동영상 데이터를 비교 정보 기억부(52)에 기억시킨다. 이로써, 비교용 동영상 데이터는, 프로 골퍼의 동영상과의 차이를 나타내는 비교 결과 데이터를 포함하는 동영상 데이터가 된다.

비교 결과 표시 제어부(45)는, 동작 비교부(44)에 의한 동작의 비교가 종료하면, 비교 정보 기억부(52)로부터 비교용 동영상 데이터를 판독하여 디코딩하고, 플레이어의 동영상에 동작 기준축을 중첩 표시하여 비교용 동영상 데이터를 표시한다.

(동작 검출 방법)

다음으로, 동작 검출부(43)에서의 동작 검출 방법에 대하여, 구체적으로 설명한다.

도 3의 (A) 내지 도 3의 (G)는, 프레임의 화상의 일례에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다. 그리고, 도 3의 (A) 내지 도 3의 (G)에 나타내는 프레임의 화상의 예는, 어드레스 시나 임펙트 시 등, 골프 클럽이 티 펙(tee peg) 부근에 위치하는 경우의 피사체 상태를 나타내고 있다.

동작 검출부(43)는, 도 3의 (A)에 나타내는 프레임의 화상에 대하여, 처음에, 에지 검출 필터를 사용하여 에지 검출 처리를 행한다. 이로써, 도 3의 (B)에 나타낸 바와 같이, 피사체의 윤곽선을 포함하여, 프레임 전체에서의 화상의 윤곽선이 검출된다.

다음으로, 동작 검출부(43)는, 도 3의 (B)에 나타내는 에지 검출 후의 프레임의 화상에 대하여, 부유(浮遊)하고 있는 윤곽선 및 프레임 중앙부로부터 벗어나는 윤곽선을 노이즈로서 제거하고, 폐 영역으로 되어 있는 부분을 피사체(플레이어)의 윤곽선으로서 특정한다. 이로써, 도 3의 (C)에 나타낸 바와 같이, 프레임 중앙부에 찍혀져 있는 피사체(플레이어)의 윤곽선이 추출된다. 그리고, 피사체가 되는 플레이어의 윤곽선은, 전형적인 형상을 모델화할 수 있으므로, 사전에 신체의 윤곽선 모델을 준비해 둘 수도 있다. 사전에 준비한 신체의 윤곽선 모델과 대조함으로써, 피사체의 윤곽선을 보다 고정밀도로 특정할 수 있게 된다.

다음으로, 동작 검출부(43)는, 도 3의 (C)에 나타내는 프레임의 화상에 대하여, 피사체의 윤곽선을 나타내는 폐 영역의 장척 방향의 끝점 및 굴곡점을 추출하고, 신체 모델의 관절 위치를 참조하여, 신체 각 부의 동작 기준축을 설정한다. 즉, 동작 검출부(43)는, 피사체의 윤곽선을 나타내는 폐 영역에 있어서, 장척 방향의 끝점으로부터 내부 측으로 윤곽선을 트레이스하고, 윤곽선이 굴곡되어 있는 부분을 굴곡점으로서 추출한다. 플레이어의 신체의 윤곽선의 경우, 굴곡점은, 프레임의 좌우 방향으로 쌍으로 되어 나타난다(예를 들면, 한쪽 발목의 내측과 외측, 무릎의 외측과 내측, 허리의 좌우 부분 등). 그러므로, 동작 검출부(43)는, 장척 방향의 끝점을 기점으로 하여, 이들 쌍으로 되어 있는 굴곡점의 중앙부를 신체 모델의 관절 위치로 하여 연결함으로써, 각 동작 기준축을 설정한다. 그리고, 동작 기준축은, 끝점이나 관절을 연결하는 축 외에, 동작의 기준이 되는 신체의 부분에 설정된다. 예를 들면, 허리의 회전을 나타내기 위하여, 허리의 좌우의 굴곡점을 연결하는 동작 기준축이 설정되고, 상반신의 경사를 나타내기 위하여, 허리의 좌우의 굴곡점을 연결하는 동작 기준축의 중앙과 목을 연결하는 동작 기준축이 설정된다.

구체적으로는, 동작 검출부(43)는, 도 3의 (C)에 나타내는 프레임의 화상에 대하여, 피사체의 발끝에 위치하는 단 점으로부터 족 목에 위치하는 굴곡점의 중간점까지, 족 목에 위치하는 굴곡점의 중간점으로부터 무릎에 위치하는 굴곡점의 중간점까지, 허리의 좌측 부분으로부터 우측 부분까지, 무릎에 위치하는 굴곡점의 중간점으로부터 허리의 좌우 부분을 연결하는 축과의 교점까지, 두정부(頭頂部)에 위치하는 끝점으로부터 목에 위치하는 굴곡점의 중간점까지 각각 동작 기준축을 설정한다. 이로써, 도 3의 (D)에 나타낸 바와 같이, 두부(頭部) 및 하반신의 동작 기준축이 설정된다.

다음으로, 동작 검출부(43)는, 피사체의 손끝(골프 클럽을 유지하는 굴곡점)으로부터 손목에 위치하는 굴곡점의 중간점까지, 손목에 위치하는 굴곡점의 중간점으로부터 팔꿈치에 위치하는 굴곡점의 중간점까지, 팔꿈치에 위치하는 굴곡점의 중간점으로부터 어깨에 위치하는 굴곡점의 중간점까지 각각 동작 기준축을 설정한다. 이로써, 도 3의 (E)에 나타낸 바와 같이, 어깨로부터 팔까지의 동작 기준축이 설정된다.

다음으로, 동작 검출부(43)는, 피사체의 좌측 어깨로부터 우측 어깨(좌우의 어깨 부분의 굴곡점을 바탕으로 정의되는 좌우 어깨 관절의 위치)까지, 허리의 좌측 부분으로부터 우측 부분(좌우의 허리 부분의 굴곡점을 바탕으로 정의되는 허리의 기준 위치)까지 각각 동작 기준축을 설정한다. 이로써, 도 3의 (F)에 나타낸 바와 같이, 상반신의 수평 방향의 동작 기준축이 설정된다.

또한, 동작 검출부(43)는, 피사체의 목에 위치하는 굴곡점의 중간점으로부터 허리의 좌우 부분을 연결하는 축의 중간점까지 동작 기준축을 설정한다. 이로써, 도 3의 (G)에 나타낸 바와 같이, 상반신의 회전축을 나타내는 동작 기준축이 설정된다.

또한, 도 4의 (A) 내지 도 4의 (F)는, 프레임의 화상의 다른 예에 있어서 동작 기준축을 설정하여 동작을 검출하는 구체예를 나타낸 도면이다. 그리고, 도 4의 (A) 내지 도 4의 (F)에 나타내는 프레임의 화상의 예는, 백스윙 후의 탑 바로 전에서, 골프 클럽이 플레이어의 두부보다 높은 위치에 있는 경우의 피사체 상태를 나타내고 있다.

도 4의 (A) 내지 도 4의 (F)에 나타내는 경우에도, 동작 검출부(43)는, 도 3의 (A) 내지 도 3의 (G)에 나타내는 경우와 마찬가지로, 피사체의 윤곽선을 나타내는 폐 영역의 장척 방향의 끝점 및 굴곡점을 추출하고, 신체 모델의 관절 위치를 참조하여, 신체 각 부의 동작 기준축을 설정한다. 그리고, 도 4의 (A) 내지 도 4의 (F)에 나타낸 상태에서는, 우측 팔이 가려진 상태로 되어, 윤곽선을 특정할 수 없으므로, 동작 검출부(43)는, 우측 팔와 관련된 동작 기준축을 설정하지 않는다. 한편, 우측 팔이 다시 표출하고, 윤곽선의 특정이 가능하게 된 단계에서, 동작 검출부(43)는, 동작 기준축을 다시 설정한다.

여기서, 플레이어가 유지하고 있는 골프 클럽에 대해서는, 직선적인 봉형 부재이므로, 플레이어의 신체와 용이하게 구별할 수 있으며, 골프 클럽에는 고유의 동작 기준축이 설정된다.

다만, 골프 클럽이 사용자의 배후에 가려지는 경우가 있으므로, 이 경우에, 동작 검출부(43)는, 직선적인 봉형 부재를 골프 클럽으로 인식한다.

도 5의 (A) 및 도 5의 (B)는, 골프 클럽의 동작 기준축을 설정하는 구체예를 나타낸 도면이다. 그리고, 도 5의 (A) 및 도 5의 (B)에 나타내는 프레임의 화상의 예는, 백스윙 후, 탑의 상태가 되었을 때 등, 골프 클럽이 플레이어의 두부의 배후에 가려진 상태를 나타내고 있다.

도 5의 (A) 및 도 5의 (B)의 경우에는, 플레이어의 두부의 좌우로 분단된 골프 클럽의 윤곽선이 나타나게 되지만, 동작 검출부(43)는, 분단된 좌우의 골프 클럽을 연결하고, 이 부분을 골프 클럽의 윤곽선으로 하여 동작 기준축을 설정한다.

(동작)

다음으로, 동작을 설명한다.

(동작 비교 처리)

처음에, 화상 처리 장치(1)가 실행하는 동작 비교 처리(메인 플로우)에 대하여 설명한다.

도 6은, 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치(1)가 실행하는 동작 비교 처리의 흐름의 일례를 나타낸 흐름도이다.

동작 비교 처리는, 입력부(17)를 통하여, 사용자에 의해 동작 비교 처리의 실행이 지시 입력되는 것에 대응하여 개시된다.

도 6에 있어서, 동작 비교 처리가 개시되면, 동작 검출부(43)는, 단계 S1에 있어서, 취득 화상 기억부(51)로부터 동영상 데이터를 취득하여 디코딩하고, 디코딩 후의 프레임의 데이터를 RAM(13)의 버퍼 영역에 기억시킨다.

단계 S2에 있어서, 동작 검출부(43)는, 후술하는 축 생성 처리를 실행함으로써, 디코딩된 프레임의 화상에 있어서, 피사체의 동작을 검출한다.

단계 S3에 있어서, 동작 비교부(44)는, 동작 검출부(43)에 의해 설정된 동작 기준축을 참조하고, 플레이어의 동영상과, 비교 대상으로 되는 동영상 데이터에서의 피사체의 동작을 비교하고, 비교 결과 데이터를 부여한 비교용 동영상 데이터를 생성한다. 그리고, 이 비교용 동영상 데이터는, 비교 정보 기억부(52)에 기억된다.

단계 S4에 있어서, 비교 결과 표시 제어부(45)는, 비교 정보 기억부(52)에 기억된 비교용 동영상 데이터를 판독하고, 플레이어의 동영상을, 비교 대상으로 되는 동영상 데이터에서의 동작 기준축과의 차이를 식별하면서 표시한다. 이 때, 비교 결과 표시 제어부(45)는, 플레이어의 동영상의 각 동작 기준축에 있어서, 비교 대상으로 되는 동영상에서의 동작 기준축과 상이한 부분을 상이한 색으로 식별 표시한다.

도 7의 (A) 및 도 7의 (B)는, 동작의 비교 결과의 표시예를 나타낸 도면이다. 그리고, 도 7의 (A)는 비교 대상으로 되는 프로 골퍼의 동영상에서의 1프레임을 나타내고, 도 7의 (B)는 플레이어의 동영상에서의 1프레임을 나타내고 있다.

도 7의 (A) 및 도 7의 (B)에 나타낸 예에서는, 플레이어의 우측 허벅지의 움직임이, 비교 대상으로 되는 프로 골퍼의 우측 허벅지의 움직임에 대하여 벌어진 상태(외측으로의 변이가 큰 상태)로 되어 있다. 그러므로, 도 7의 (A) 및 도 7의 (B)에 있어서는, 플레이어의 동영상에서의 우측 허벅지에 설정된 동작 기준축이 주의를 환기하는 특별한 색(예를 들면, 적색)으로 표시되어, 다른 동작 기준축의 색(예를 들면, 녹색)과 식별하여 표시되어 있다. 이로써, 플레이어의 동작과 프로 골퍼의 동작이 상이한 부분을 명확하게 식별하여 표시할 수 있다.

단계 S5에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터가 최종 프레임이 되어 있는지의 여부의 판정을 행한다.

비교용 동영상 데이터가 최종 프레임이 되어 있지 않은 경우, 단계 S5에 있어서 NO로 판정되어, 처리는 단계 S1로 이행한다. 이에 비해, 비교용 동영상 데이터가 최종 프레임으로 되어 있는 경우, 단계 S5에 있어서 YES로 판정되어, 동작 비교 처리는 종료된다.

(축 생성 처리)

다음으로, 동작 비교 처리의 단계 S2에서 실행되는 축 생성 처리에 대하여 설명한다.

도 8은, 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치(1)가 실행하는 축 생성 처리의 흐름의 일례를 나타낸 흐름도이다.

축 생성 처리가 개시되면, 동작 검출부(43)는, 단계 S11에 있어서, RAM(13)의 버퍼 영역에 기억되어 있는 디코딩 후의 프레임의 데이터를 1프레임분 판독한다.

단계 S12에 있어서, 동작 검출부(43)는, 프레임의 화상에 대하여, 에지 검출 필터를 적용한다. 이 때, 에지 검출 필터에 의해 추출된 윤곽선 중, 배경의 윤곽선 등의 노이즈는 제거된다.

단계 S13에 있어서, 동작 검출부(43)는, 에지 검출 필터에 의해 추출된 윤곽선에 있어서, 신체 모델을 참조하여, 신체를 나타내는 폐 영역을 검출하고, 장척 방향의 끝점 및 굴곡점을 바탕으로, 동작 기준축을 설정한다.

단계 S14에 있어서, 동작 검출부(43)는, 동작 기준축 중 허리의 좌측 부분과 우측 부분을 연결하는 축, 및 좌측 어깨와 우측 어깨를 연결하는 축(수평 방향의 축)을 설정한다.

이와 같은 단계 S14의 처리 후에, 처리는 동작 비교 처리의 단계 S3로 리턴한다.

이상과 같이, 본 실시예에 따른 화상 처리 장치(1)에서는, 화상 취득부(42)가, 피사체의 동작이 촬상된 플레이어의 화상군 및 플레이어의 동작과 비교한 비교 대상의 프로 골퍼의 동작이 촬상된 프로 골퍼의 화상군을 취득한다. 축 설정 기능을 가지는 동작 검출부(43)는, 플레이어의 동영상 및 프로 골퍼의 동영상에서의 동작 기준축을 설정한다. 그리고, 동작 비교부(44)가, 동작 기준축에 기초하여, 플레이어의 동영상과, 비교 대상으로 되는 프로 골퍼의 동영상을 비교한다. 또한, 비교 결과 표시 제어부(45)가, 동작 비교부(44)의 비교 결과에 기초하여, 플레이어의 동영상과 프로 골퍼의 동영상의 차이를 표시하기 위한 제어를 행한다.

그러므로, 동작 기준축의 움직임의 차이에 의해, 플레이어의 동영상과 프로 골퍼의 동영상을 확실하게 비교할 수 있어, 움직임의 차이를 명확하게 검출할 수 있다.

따라서, 비교 대상이 되는 동영상과 플레이어의 동영상의 차이를 보다 인식하기 쉬운 형태로 표시할 수 있으므로, 비교하는 동작의 차이를 보다 용이하게 파악할 수 있게 된다.

또한, 축 설정 기능을 가지는 동작 검출부(43)는, 플레이어 및 프로 골퍼의 적어도 하나의 부분에 동작 기준축을 각각 설정하고, 동작 비교부(44)는, 동작 검출부(43)에 의해 설정된 동작 기준축에 기초하여, 플레이어와 프로 골퍼의 동작의 차이를 비교한다.

따라서, 상이한 피사체의 동작을 동작 기준축의 움직임의 차이에 의해, 명확하게 검출할 수 있게 된다.

또한, 동작 검출부(43)는, 윤곽선 추출 기능에 의해 피사체의 윤곽선을 추출하고, 축 설정 기능에 의해 추출된 윤곽선의 끝점 및 굴곡점에 기초하여, 동작 기준축을 설정한다.

따라서, 피사체의 화상으로부터, 확실한 동작 기준축을 설정하여, 피사체의 움직임을 비교할 수 있게 된다.

또한, 비교 결과 표시 제어부(45)는, 플레이어와 프로 골퍼의 움직임이 상이한 경우에, 각각 설정된 동작 기준축의 적어도 한쪽을 식별하여 표시한다.

따라서, 플레이어와 프로 골퍼의 동작의 차이를 보다 용이하게 파악할 수 있게 된다.

또한, 비교 결과 표시 제어부(45)는, 플레이어의 동영상에 동작 기준축을 중첩하여 표시한다.

따라서, 플레이어의 움직임을 보다 용이하게 파악할 수 있게 된다.

그리고, 본 실시예에 있어서, 동작 검출부(43)는, 신체 모델을 참조하여, 피사체의 신체를 나타내는 윤곽선을 추출하고, 각 관절 위치를 설정하도록 했지만, 신체 모델을 참조하지 않고, 검출된 윤곽선을 분석하여, 피사체의 신체를 나타내는 윤곽선 및 각 관절 위치를 설정할 수도 있다. 이 경우에, 신체를 나타내는 윤곽선의 폐 영역의 끝점을 기점으로 하여 동작 기준축을 설정하고, 윤곽선을 바탕으로, 보다 확실하게 설정 가능한 동작 기준축만을 설정하도록 할 수도 있다. 또한, 관절 위치는, 윤곽선에서의 굴곡점의 중간점이나 윤곽선과 동작 기준축의 교점 등, 정의하기 쉬운 위치에 설정할 수도 있다.

(변형예)

제1 실시예에 있어서, 플레이어의 동영상과 비교 대상으로 되는 동영상의 동작 기준축의 차이를 상이한 색으로 식별 표시하는 경우를 예로 들어 설명하였다.

여기에 대하여, 색뿐만 아니라, 또는 색에 대신하여, 플레이어의 동영상과 비교 대상으로 되는 동영상의 동작 기준축의 움직임이 상이한 방향 및 크기를 화살표 등의 지표를 중첩하여 표시할 수도 있다.

도 9의 (A) 및 도 9의 (B)는, 본 변형예에서의 동작의 비교 결과예를 나타낸 도면이다.

도 9의 (A) 및 도 9의 (B)에 있어서, 프로 골퍼의 움직임에 대하여, 플레이어의 움직임에서는, 우측 다리가 내측으로 움직이고, 팔이 백스윙 방향으로 움직이고 있는 것이 화살표로 나타나 있다. 이 화살표는, 비교 대상으로 되는 프로 골퍼의 움직임과 플레이어의 움직임의 차이의 크기에 따른 크기로 표시된다.

도 9의 (A) 및 도 9의 (B)에 나타낸 바와 같이, 비교 결과 표시 제어부(45)가, 동작 기준축에 대응한 비교 결과 데이터를 화살표(움직임이 상이한 방향 및 크기를 나타내는 지표)로서 나타냄으로써, 프로 골퍼의 움직임에 대하여, 플레이어의 움직임이 어느 방향으로 상이한지를 용이하게 파악 가능한 표시 형태로 할 수 있다.

(제2 실시예)

다음으로, 본 발명의 제2 실시예에 대하여 설명한다.

제1 실시예에서는, 비교용 동영상 데이터를 재생함으로써, 플레이어의 동영상에서의 신체의 동작 기준축의 움직임을 비교 대상으로 되는 프로 골퍼의 움직임과 비교하여 식별 표시하는 경우에 대하여 설명하였다.

이에 비해, 본 실시예에서는, 비교용 동영상 데이터와, 비교 대상으로 되는 프로 골퍼의 동영상 데이터를 함께 재생하고, 플레이어의 동작과 프로 골퍼의 동작에 스윙 속도의 차이가 있어도, 이들 동작의 정보를 대응시킨 상태로 동영상 데이터를 표시한다.

이 경우에도, 동영상 데이터에서의 각 프레임의 데이터에 에지 검출 필터를 적용하고, 동작 기준축을 설정하여 비교용 동영상 데이터를 생성하는 점은, 제1 실시예와 동일하다.

즉, 본 실시예에 따른 화상 처리 장치(1)의 하드웨어 구성 및 기능적 구성에 대해서는, 제1 실시예에서의 도 1 및 도 2와 동일하므로, 이들을 참조하는 것으로 하고, 이하에서, 상이한 부분인 동작의 속도차를 보정하여 표시하는 처리의 흐름에 대하여 설명한다.

도 10은, 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치(1)가 실행하는 동작 속도 보정 표시 처리의 흐름을 나타내는 흐름도이다. 또한, 도 11은, 동작 속도 보정 표시 처리에 의해, 동작 정보를 대응시켜 동영상 데이터를 표시하는 상태를 나타낸 모식도이다. 그리고, 도 11에서의 프레임 내에 나타낸 각도는, 주동작 기준축의 회전 각도를 나타내고 있다.

동작 속도 보정 표시 처리는, 입력부(17)를 통하여, 사용자에 의해 동작 속도 보정 표시 처리의 실행이 지시 입력되는 것에 대응하여 개시된다.

도 10에 있어서, 동작 속도 보정 표시 처리가 개시되면, 단계 S101에 있어서, 비교 결과 표시 제어부(45)는, 비교 정보 기억부(52)로부터 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터를 판독하고, 선두 프레임을 디코딩한다.

단계 S102에 있어서, 비교 결과 표시 제어부(45)는, 디코딩된 각 프레임에서의 주동작 기준축의 회전 각도를 검출한다.

단계 S103에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이한지의 여부를 판정한다.

비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이하게 되어 있지 않은 경우, 단계 S103에 있어서 NO로 판정되어, 처리는 단계 S105로 이행한다. 도 11의 선두 프레임에서는, 각 프레임의 회전 각도가 일치하고 있으므로, 단계 S103에 있어서 NO로 판정된다.

이에 비해, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이하게 되어 있는 경우, 단계 S103에 있어서 YES로 판정되어, 처리는 단계 S104로 이행한다.

단계 S104에 있어서, 비교 결과 표시 제어부(45)는, 백스윙이 느린 쪽의 동영상 데이터(즉, 주동작 기준축의 회전 각도가 큰 쪽의 동영상 데이터)의 프레임을 순차적으로 취득하고, 다른 쪽 동영상 데이터에서의 주동작 기준축의 회전 각도와 동일하게 되는 프레임까지 디코딩한다.

단계 S105에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 현재 프레임을 표시한다.

단계 S106에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터 각각에서의 다음 프레임을 디코딩한다.

단계 S107에 있어서, 비교 결과 표시 제어부(45)는, 디코딩된 각 프레임에서의 주동작 기준축의 회전 각도를 검출한다.

단계 S108에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이한지의 여부를 판정한다.

비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터가 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이하게 되어 있지 않은 경우, 단계 S108에 있어서 NO로 판정되어, 처리는 단계 S112로 이행한다. 도 11에 나타낸 예에서는, 프레임 번호 6의 프레임에 있어서 각 프레임에서의 주동작 기준축의 회전 각도가 상이하므로 단계 S108에 있어서 NO로 판정된다.

이에 비해, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터가 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이하게 되어 있는 경우, 단계 S108에 있어서 YES로 판정되어, 처리는 단계 S109로 이행한다.

단계 S109에 있어서, 비교 결과 표시 제어부(45)는, 플레이어의 동영상 데이터 쪽이, 비교 대상으로 되는 프로 골퍼의 동영상 데이터보다, 주동작 기준축의 회전각 속도가 큰지(즉, 전방 프레임의 주동작 기준축의 회전 각도와 현재 프레임의 주동작 기준축의 회전 각도와의 차이가 큰지)의 여부를 판정한다.

플레이어의 동영상 데이터 쪽이, 비교 대상으로 되는 프로 골퍼의 동영상 데이터보다, 주동작 기준축의 회전각 속도가 큰 경우, 단계 S109에 있어서 YES로 판정되어, 처리는 단계 S110으로 이행한다.

이에 비해, 플레이어의 동영상 데이터 쪽이, 비교 대상으로 되는 프로 골퍼의 동영상 데이터보다, 주동작 기준축의 회전각 속도가 크지 않은 경우, 단계 S109에 있어서 NO로 판정되어, 처리는 단계 S111로 이행한다. 도 11에 나타낸 예에서는, 프로 골퍼의 동영상 데이터 쪽이 주동작 기준축의 회전각 속도가 크기 때문에, 단계 S109에 있어서 NO로 판정된다.

단계 S110에 있어서, 비교 결과 표시 제어부(45)는, 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 다음 프레임을 디코딩한다.

단계 S111에 있어서, 비교 결과 표시 제어부(45)는, 플레이어의 동영상 데이터의 다음 프레임을 디코딩한다.

이들 단계 S110 및 S111의 처리에 의해, 도 11에 나타낸 바와 같이, 스윙 속도가 느린 쪽의 동영상 데이터에서의 프레임이 솎아내어지게 된다.

단계 S112에 있어서, 비교 결과 표시 제어부(45)는, 디코딩된 각 프레임에서의 주동작 기준축의 회전 각도를 검출한다.

이와 같은 단계 S112의 후에, 처리는 단계 S108로 이행한다.

단계 S113에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터의 현재 프레임을 표시한다.

단계 S114에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터 중 어느 하나에 있어서, 최종 프레임으로 되어 있는지의 여부를 판정한다.

비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터 중 어느 하나에 있어서, 최종 프레임으로 되어 있지 않은 경우, 단계 S114에 있어서 NO로 판정되어, 처리는 단계 S106으로 이행한다.

비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터 중 어느 하나에 있어서, 최종 프레임으로 되어 있는 경우, 단계 S114에 있어서 YES로 판정되어, 동작 속도 보정 표시 처리는 종료된다.

이상과 같이, 본 실시예에 따른 화상 처리 장치(1)에서는, 비교 결과 표시 제어부(45)가, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터를 함께 재생하고, 피사체의 스윙 속도에 차이가 있는 경우, 스윙 속도가 느린 쪽의 동영상 데이터에서의 프레임을 솎아내어 속도차를 보정하고 있다.

그러므로, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터에 있어서, 재생되는 피사체의 동작의 정보가 대응한 상태로 된다.

따라서, 비교 대상으로 하는 동영상과 플레이어의 동영상의 차이를 보다 인식하기 쉬운 형태로 표시할 수 있으므로, 비교하는 동작의 차이를 보다 용이하게 파악할 수 있게 된다.

그리고, 본 실시예에 있어서 비교용 동영상 데이터 및 프로 골퍼의 동영상 데이터를 표시하는 경우, 제1 실시예에서 나타낸 바와 같이, 각 프레임에 설정되어 있는 동작 기준축을 피사체에 중첩하여 표시할 수도 있다.

(제3 실시예)

다음으로, 본 발명의 제3 실시예에 대하여 설명한다.

제2 실시예에서는, 비교용 동영상 데이터와, 비교 대상으로 되는 프로 골퍼의 동영상 데이터를 함께 재생하고, 플레이어의 동작과 프로 골퍼의 동작에 스윙 속도의 차이가 있어도, 동작이 느린 쪽의 동영상 데이터에 대해서는, 프레임을 솎아내었다.

이에 비해, 본 실시예에서는, 플레이어의 동작과 프로 골퍼의 동작에 스윙 속도의 차이가 있는 경우에, 동작이 느린 쪽의 동영상 데이터를 통상대로 재생하고, 동작이 빠른 쪽의 동영상 데이터에 있어서, 동일 프레임을 반복적으로 표시하여 프레임을 보간함으로써, 플레이어의 동작과 프로 골퍼의 동작을 대응시킨 상태로 동영상 데이터를 표시한다.

즉, 본 실시예에 따른 화상 처리 장치(1)의 하드웨어 구성 및 기능적 구성에 대해서는, 제1 실시예에서의 도 1 및 도 2와 동일하므로, 이들을 참조하기로 하고, 이하에서, 상이한 부분인 동작의 비교 결과를 식별 표시하는 처리의 흐름에 대하여 설명한다.

도 12는, 도 2의 기능 구성을 가지는 도 1의 화상 처리 장치(1)가 실행하는 비교 결과 표시 처리의 흐름을 나타내는 흐름도이다.

비교 결과 표시 처리는, 입력부(17)를 통하여, 사용자에 의해 비교 결과 표시 처리의 실행이 지시 입력되는 것에 대응하여 개시된다.

도 12에 있어서, 비교 결과 표시 처리가 개시되면, 단계 S201에 있어서, 비교 결과 표시 제어부(45)는, 비교 정보 기억부(52)로부터 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터를 취득하여 디코딩하고, 디코딩 후의 프레임의 데이터를 RAM(13)의 버퍼 영역에 기억시킨다.

단계 S202에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터가 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이한지의 여부를 판정한다.

비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터가 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이하지 않은 경우, 단계 S202에 있어서 NO로 판정되어, 처리는 단계 S204로 이행한다.

이에 비해, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터가 디코딩된 프레임에 있어서, 주동작 기준축의 회전 각도가 상이한 경우, 단계 S202에 있어서 YES로 판정되어, 처리는 단계 S203으로 이행한다.

단계 S203에 있어서, 비교 결과 표시 제어부(45)는, 동작이 느린 쪽의 동영상 데이터의 다음 프레임을 디코딩하고, 디코딩 후의 프레임의 데이터를 RAM(13)의 버퍼 영역에 기억시킨다.

이와 같은 단계 S203 후에, 처리는 단계 S201로 이행한다.

*단계 S204에 있어서, 비교 결과 표시 제어부(45)는, 동작 속도의 차이를 검출하는 포인트의 프레임 번호로 되어 있는지의 여부를 판정한다. 동작 속도의 차이를 검출하는 포인트의 프레임 번호는, 비교 대상으로 되는 프로 골퍼의 동영상 데이터에 있어서, 일정한 프레임 수마다 사전에 설정되어 있다.

동작 속도의 차이를 검출하는 포인트의 프레임 번호로 되어 있지 않은 경우, 단계 S204에 있어서 NO로 판정되어, 처리는 단계 S201로 이행한다.

이에 비해, 동작 속도의 차이를 검출하는 포인트의 프레임 번호로 되어 있는 경우, 단계 S204에 있어서 YES로 판정되어, 처리는 단계 S205로 이행한다.

단계 S205에 있어서, 비교 결과 표시 제어부(45)는, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터에 있어서, 이미 디코딩된 프레임 수에 차이가 있는지의 여부를 판정한다.

비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터에 있어서, 이미 디코딩된 프레임 수에 차이가 없는 경우, 단계 S205에 있어서 NO로 판정되어, 처리는 단계 S206으로 이행한다.

이에 비해, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터에 있어서, 이미 디코딩된 프레임 수에 차이가 있는 경우, 단계 S205에 있어서 YES로 판정되어, 처리는 단계 S207로 이행한다.

단계 S206에 있어서, 비교 결과 표시 제어부(45)는, RAM(13)의 버퍼 영역에 기억되어 있는 프레임의 데이터를 취득하고, 식별 표시를 행하지 않고 동영상을 표시한다.

단계 S207에 있어서, 비교 결과 표시 제어부(45)는, RAM(13)의 버퍼 영역에 기억되어 있는 프레임의 데이터를 취득하고, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터에 스윙 속도의 차이가 있는 것을 식별 표시하여, 동영상을 표시한다. 이 때, 비교 결과 표시 제어부(45)는, 스윙 속도가 빠른 쪽의 동영상 데이터에 대해서는, 동일한 프레임의 화상을 복수회 표시하면서, 스윙 속도가 느린 쪽의 동영상 데이터의 프레임과 동작이 대응하는 프레임의 화상을 표시한다.

이로써, 스윙 속도가 빠른 쪽의 동영상 데이터는, 동일 프레임이 반복 표시됨으로써 프레임이 보간되며, 그 동안에 스윙 속도가 느린 쪽의 동영상 데이터가 따라잡도록 표시된다. 그리고, 이 상태로 된 경우, 프레임을 둘러싸는 프레임을 표시시키는 등, 스윙 속도에 차이가 있는 것이 식별시켜 표시한다. 그러므로, 스윙 속도에 차이가 있는 프레임 화상 중의 동작을 더욱 인식하기 쉬운 형태로 표시할 수 있다.

이와 같은 단계 S207 후에, 처리는 단계 S201로 이행한다.

이상과 같이, 본 실시예에 따른 화상 처리 장치(1)에서는, 비교 결과 표시 제어부(45)가, 비교용 동영상 데이터 및 비교 대상으로 되는 프로 골퍼의 동영상 데이터를 함께 재생하고, 피사체의 스윙 속도에 차이가 있는 경우에, 동작이 느린 쪽의 동영상 데이터를 통상대로 재생하고, 동작이 빠른 쪽의 동영상 데이터에 있어서, 동일 프레임을 반복적으로 표시(보간하여 표시)한다. 그리고, 동일 프레임이 반복적으로 표시되는 상태로 된 경우, 프레임을 둘러싸는 프레임을 표시시키는 등, 스윙 속도에 차이가 있는 것을 식별시켜 표시한다.

그러므로, 플레이어의 동작과 프로 골퍼의 동작의 정보를 대응시킨 상태로 동영상 데이터가 표시되며, 또한 스윙 속도에 차이가 있는 프레임 화상 중의 동작이, 더욱 인식하기 쉬운 형태로 표시된다.

따라서, 비교 대상으로 하는 동영상과 플레이어의 동영상의 차이를 보다 인식하기 쉬운 형태로 표시할 수 있으므로, 복수의 화상 중에 있어서 피사체의 동작의 차이를 보다 용이하게 파악할 수 있게 된다.

그리고, 본 발명은, 전술한 실시예로 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

또한, 전술한 실시예에서는, 비교 대상이 되는 프로 골퍼의 동영상 데이터에 대하여, 동작 기준축의 데이터가 부여된 상태로 비교 정보 기억부(52)에 기억되어 있는 것으로 하였으나, 이것으로 한정되지 않는다. 즉, 비교 정보 기억부(52)에는, 비교 대상으로 되는 동작 기준축의 데이터만을 기억시켜 둘 수도 있다.

이와 같이, 촬상된 피사체의 동작에서의 동작 기준축과, 비교 정보 기억부(52)에 기억된 동작 기준축의 데이터를 비교하는 것만으로도 효과는 충분하다.

또한, 전술한 실시예에서는, 골프 스윙이 찍힌 동영상 데이터를 대상으로 하여, 본 발명을 적용하는 경우를 예로 들어 설명하였으나, 본 발명은, 각종 동작의 비교에 적용할 수 있다. 예를 들면, 야구의 배트의 스윙, 테니스의 라켓의 스윙 또는 댄스의 안무 등의 동작을 비교하는 경우에 적용할 수 있다.

또한, 전술한 실시예에서는, 본 발명이 적용되는 화상 처리 장치(1)는, 디지털 카메라를 예로 들어 설명하였으나, 특별히 이것으로 한정되지 않는다.

예를 들면, 본 발명은, 화상 처리 기능을 가지는 전자 기기 일반에 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 노트북형 퍼스널 컴퓨터, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대 전화기, 휴대용 게임기 등에 적용할 수 있다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

환언하면, 도 2의 기능적 구성은 예시에 지나지 않으며, 특별히 한정되지 않는다. 즉, 전술한 일련의 처리를 전체적으로 실행할 수 있는 기능이 화상 처리 장치(1)에 구비되어 있으면 족하고, 이 기능을 실현하기 위해 어떠한 기능 블록을 사용하는 것에 대해서는 도 2의 예로 특별히 한정되지 않는다. 또한, 하나의 기능 블록은, 하드웨어 단체(單體)로 구성해도 되고, 소프트웨어 단체로 구성해도 되며, 이들의 조합에 의해 구성해도 된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는, 전용의 하드웨어에 내장되어 있는 컴퓨터라도 된다. 또한, 컴퓨터는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 컴퓨터, 예를 들면, 범용 퍼스널 컴퓨터라도 된다.

이와 같은 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 1의 이동식 매체(31)에 의해 구성될 뿐만 아니라, 장치 본체에 사전에 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 이동식 매체(31)는, 예를 들면, 자기 디스크(플로피디스크를 포함함), 광디스크, 또는 광자기 디스크 등에 의해 구성된다. 광디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또한, 장치 본체에 사전에 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 1의 ROM(12)이나, 도 1의 기억부(19)에 포함되는 하드디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적으로 또는 개별적으로 실행되는 처리도 포함하는 것이다.

이상, 본 발명의 몇 가지 실시예에 대하여 설명하였으나, 이들 실시예는, 예시에 지나지 않으며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 외의 다양한 실시예를 가질 수 있으며, 또한 본 발명의 요지를 벗어나지 않는 범위에서, 생략이나 치환 등 각종 변경을 행할 수 있다. 이들 실시예나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함되며, 또한 특허 청구의 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims

피사체의 동작이 각각 촬상된 제1 화상군 및 제2 화상군을 취득하는 화상 취득 수단;
상기 화상 취득 수단으로부터 취득된 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이한지 여부를 자동적으로 판정하는 제1 판정 수단; 및
상기 제1 판정 수단에 의해 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이하다고 판정된 경우, 자동적으로 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 표시 수단에 표시하게 하는 제1 표시 제어 수단
을 포함하고,
상기 제1 표시 제어 수단은,
상기 제1 화상군과 상기 제2 화상군 중 피사체의 동작 속도가 느린 쪽의 화상군 중 일부를 솎아냄으로써, 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 상기 표시 수단에 표시하게 하거나; 또는
상기 제1 화상군과 상기 제2 화상군 중 피사체의 동작 속도가 빠른 쪽의 화상군의 표시 프레임의 일부를 보간함으로써, 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 상기 표시 수단에 표시하게 하는, 화상 처리 장치.
제1항에 있어서,
상기 제1 표시 제어 수단은, 상기 제1 판정 수단에 의해 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이하다고 판정된 경우, 자동적으로 복수의 시점(時點)에서 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 표시 수단에 표시하게 하는, 화상 처리 장치.
제1항에 있어서,
상기 제1 판정 수단은, 상기 제1 화상군에서의 피사체와 상기 제2 화상군에서의 피사체 사이의 동작이 상이하면, 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이한지를 판정하는, 화상 처리 장치.
제1항에 있어서,
상기 제1 표시 제어 수단은, 상기 제1 판정 수단에 의해 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이하다고 판정된 경우, 상기 제1 화상군 및 상기 제2 화상군 중, 상기 속도의 보정의 대상이 되는 화상군을 식별시킨 상태로 상기 표시 수단에 표시하게 하는, 화상 처리 장치.
제1항에 있어서,
상기 화상 취득 수단에 의해 취득된 상기 제1 화상군에서의 피사체의 동작의 기준이 되는 제1 선 및 상기 제2 화상군에서의 피사체의 동작의 기준이 되는 제2 선을 설정하는 설정 수단
을 더 포함하고,
상기 제1 판정 수단은, 상기 설정 수단에 의해 설정된 상기 제1 선 및 상기 제2 선을 비교함으로써, 상기 제1 화상군에서의 피사체의 동작 속도 및 상기 제2 화상군에서의 피사체의 동작의 속도가 상이한지 아닌지를 판정하는, 화상 처리 장치.
제5항에 있어서,
상기 제1 판정 수단은, 상기 설정 수단에 의해 설정된 상기 제1 선 및 상기 제2 선에 기초하여, 상기 제1 화상군에서의 피사체와, 제2 화상군에서의 피사체 사이의 동작의 차이로부터, 상기 제1 화상군에서의 피사체의 동작의 속도와 상기 제2 화상군에서의 피사체의 동작의 속도가 상이한지를 판정하는 화상 처리 장치.
제1항에 있어서,
상기 제1 판정 수단에 의한 판정 결과에 대응하는 정보를 상기 표시 수단에 표시하게 하는 제2 표시 제어 수단을 더 포함하는 화상 처리 장치.
제1항에 있어서,
상기 제1 화상군에서의 피사체의 동작과 상기 제2 화상군에서의 피사체의 동작이 상이한지 여부를 판정하는 제2 판정 수단을 더 포함하고,
상기 제2 판정 수단에 의해 상기 제1 화상군에서의 피사체의 동작과 상기 제2 화상군에서의 피사체의 동작이 상이하다고 판정된 경우, 상기 제1 화상군과 상기 제2 화상군의 적어도 한쪽에 동작의 차이의 방향 및 크기를 나타내는 지표를 상기 표시 수단에 표시하게 하는 제3 표시 제어 수단
을 포함하는 화상 처리 장치.
제5항에 있어서,
상기 설정 수단은, 상기 제1 화상에서의 피사체 중 적어도 1개의 부분에 상기 선을 설정하는, 화상 처리 장치.
제5항에 있어서,
상기 피사체의 윤곽선을 추출하는 윤곽선 추출 수단을 더 포함하고,
상기 설정 수단은, 상기 윤곽선 추출 수단에 의해 추출된 윤곽선의 끝점(edge point) 및 굴곡점(bending point)에 기초하여, 상기 1 선 및 상기 제2 선을 설정하는, 화상 처리 장치.
제5항에 있어서,
상기 제1 표시 제어 수단은, 상기 제1 화상군에서의 피사체의 화상 및 상기 제2 화상군에서의 피사체의 화상에 상기 제1 선 및 상기 제2 선을 대응시키도록 중첩시켜 상기 표시 수단에 표시하게 하는, 기재된 화상 처리 장치.
화상 처리 장치에서의 화상 처리 방법으로서,
피사체의 동작이 각각 촬상된 제1 화상군 및 제2 화상군을 취득하는 화상 취득 단계;
상기 제1 화상군에서의 피사체와, 제2 화상군에서의 피사체 사이의 동작의 차이를 검출하는 검출 단계;
상기 검출 단계에 의해 검출된 상기 동작의 차이에 기초하여, 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이한지를 자동적으로 판정하는 제1 판정 단계; 및
상기 제1 판정 단계에 의해 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이하다고 판정된 경우, 상기 검출된 동작의 차이에 기초하여, 자동적으로 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 표시 수단에 표시하게 하는 제1 표시 제어 단계
를 포함하고,
상기 제1 표시 제어 단계에서는,
상기 제1 화상군과 상기 제2 화상군 중 피사체의 동작 속도가 느린 쪽의 화상군 중 일부를 솎아냄으로써, 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 상기 표시 수단에 표시하게 하거나; 또는
상기 제1 화상군과 상기 제2 화상군 중 피사체의 동작 속도가 빠른 쪽의 화상군의 표시 프레임의 일부를 보간함으로써, 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 상기 표시 수단에 표시하게 하는, 화상 처리 방법.
컴퓨터가 판독 가능한 프로그램을 기록한 기록 매체로서,
피사체의 동작이 각각 촬상된 제1 화상군 및 제2 화상군을 취득하는 화상 취득 수단;
상기 제1 화상군에서의 피사체와, 제2 화상군에서의 피사체 사이의 동작의 차이를 검출하는 검출 수단;
상기 검출 수단에 의해 검출된 상기 동작의 차이에 기초하여, 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이한지를 자동적으로 판정하는 제1 판정 수단; 및
상기 제1 판정 수단에 의해 상기 제1 화상군에서의 피사체의 동작 속도와 상기 제2 화상군에서의 피사체의 동작 속도가 상이하다고 판정된 경우, 상기 검출된 동작의 차이에 기초하여, 자동적으로 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 표시 수단에 표시하게 하는 제1 표시 제어 수단 - 상기 제1 표시 제어 수단은, 상기 제1 화상군과 상기 제2 화상군 중 피사체의 동작 속도가 느린 쪽의 화상군 중 일부를 솎아냄으로써, 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 상기 표시 수단에 표시하게 하거나; 또는 상기 제1 화상군과 상기 제2 화상군 중 피사체의 동작 속도가 빠른 쪽의 화상군의 표시 프레임의 일부를 보간함으로써, 상기 속도의 차이를 보정하여 상기 제1 화상군 및 상기 제2 화상군을 상기 표시 수단에 표시하게 함 -
의 기능을 컴퓨터로 하여금 실행하게 하는 프로그램을 기록한 기록 매체.
삭제
삭제