KR102553278B1

KR102553278B1 - 화상 처리 장치, 해석 시스템, 화상 처리 방법 및 프로그램

Info

Publication number: KR102553278B1
Application number: KR1020170154546A
Authority: KR
Inventors: 겐지 이와모토; 오사무 노지마
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2016-11-21
Filing date: 2017-11-20
Publication date: 2023-07-06
Also published as: US20180140923A1; US10881937B2; JP2018085575A; CN108079547A; CN108079547B; KR20180057543A

Abstract

본 발명은, 화상 처리 장치에 관한 것으로서, 대상자가 촬영된 화상을 취득하는 화상 취득 수단; 상기 대상자의 동작을 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 수단; 상기 계측 결과 취득 수단에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 지표를 생성하는 지표 생성 수단; 및 상기 화상 취득 수단에 의해 취득된 상기 화상과, 상기 지표 생성 수단에 의해 생성된 상기 지표를 함께 표시 수단에 표시시키는 표시 제어 수단;을 포함하고, 또한 본 발명의 화상 처리 방법은, 대상자가 촬영된 화상을 취득하는 화상 취득 단계; 상기 대상자의 동작을 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 단계; 상기 계측 결과 취득 스텝에서 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 지표를 생성하는 지표 생성 단계; 및 상기 화상 취득 스텝에서 취득된 상기 화상과, 상기 지표 생성 단계에서 생성된 상기 지표를 함께 표시 수단에 표시시키는 표시 제어 단계;를 포함하며, 본 발명에 의하면 대상자의 동작에 대하여 보다 알기 쉽게 계측 결과를 제시할 수 있다.

Description

화상 처리 장치, 해석 시스템, 화상 처리 방법 및 프로그램{IMAGE PROCESSING APPARATUS, ANALYSIS SYSTEM, METHOD FOR PROCESSING IMAGES, AND PROGRAM}

본원에 대해서는, 2016년 12월 27일자에 출원된 일본 특허출원 제2016-252651호 및 2017년 5월 26일자에 출원된 일본 특허출원 제2017-104952호를 기초로 하는 우선권을 주장하고, 상기 기초 출원의 내용을 모두 본원에 있어서 원용하는 것으로 본 발명은, 화상 처리 장치, 해석 시스템, 화상 처리 방법 및 프로그램에 관한 것이다.

최근, 스포츠 기술 향상 등을 목적으로 하여, 대상자(subject)의 운동을 해석하기 위한 다양한 기술이 검토되고 있다.

예를 들면, 일본 공개특허 제2015―002913호 공보에는, 스윙 운동 해석 기술의 분야에 있어서 대상자의 동작(motion)에 관한 정보를 센서에 의해 취득하고, 상기 센서 정보에 따라 지표(指標; index) 화상을 생성하고, 사용자에게 표시시키는 기술이 개시되어 있다.

일본 공개특허 제2015―002913호 공보

그러나, 일본 공개특허 제2015―002913호 공보에 기재된 기술에 있어서는, 대상자에게 장착된 센서로부터 얻어진 정보에 기초하여 지표 화상을 생성할 수는 있지만, 생성된 지표 화상을 표시하는 것만으로는 장착자의 동작을 충분히 나타내는 것이 곤란하다.

이와 같이, 종래의 기술에 있어서는, 대상자의 동작에 대하여 알기 쉽게 계측 결과를 제시하는 것이 곤란했다.

본 발명은, 이와 같은 문제점을 해결하기 위해 이루어진 것이며, 대상자의 동작에 대하여 보다 알기 쉽게 계측 결과를 제시하는 것을 목적으로 한다.

본 발명의 화상 처리 장치는,

대상자(subject)가 촬영된 화상을 취득하는 화상 취득 수단;

상기 대상자의 동작(motion)을 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 수단;

상기 계측 결과 취득 수단에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 지표(index)를 생성하는 지표 생성 수단; 및

상기 화상 취득 수단에 의해 취득된 상기 화상과, 상기 지표 생성 수단에 의해 생성된 상기 지표를 함께 표시 수단에 표시시키는 표시 제어 수단;

을 포함하는 것을 특징으로 한다.

또한, 본 발명의 해석 시스템은,

대상자의 화상을 촬영하는 촬영 수단을 구비하는 촬영 장치;

상기 대상자에게 장착되고, 상기 대상자의 동작을 센서에 의해 계측하는 계측 수단을 구비하는 검출 장치;

상기 촬영 장치로부터, 상기 대상자가 촬영된 화상을 취득하는 화상 취득 수단;

상기 검출 장치로부터, 상기 대상자의 동작을 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 수단;

상기 계측 결과 취득 수단에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 지표를 생성하는 지표 생성 수단; 및

상기 화상 취득 수단에 의해 취득된 상기 화상과, 상기 지표 생성 수단에 의해 생성된 상기 지표를 함께 표시 수단에 표시시키는 표시 제어 수단;을 구비하는 화상 처리 장치를 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 처리 방법은,

화상 처리 장치가 실행하는 화상 처리 방법으로서,

대상자가 촬영된 화상을 취득하는 화상 취득 단계;

상기 대상자의 동작을 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 단계;

상기 계측 결과 취득 스텝에서 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 지표를 생성하는 지표 생성 단계; 및

상기 화상 취득 스텝에서 취득된 상기 화상과, 상기 지표 생성 단계에서 생성된 상기 지표를 함께 표시 수단에 표시시키는 표시 제어 단계;

를 포함하는 것을 특징으로 한다.

또한, 본 발명의 기록 매체에 기록된 프로그램은,

화상 처리 장치를 제어하는 컴퓨터로 하여금,

대상자가 촬영된 화상을 취득하는 화상 취득 기능;

상기 대상자의 동작을 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 기능;

상기 계측 결과 취득 기능에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 지표를 생성하는 지표 생성 기능; 및

상기 화상 취득 기능에 의해 취득된 상기 화상과, 상기 지표 생성 기능에 의해 생성된 상기 지표를 함께 표시 수단에 표시시키는 표시 제어 기능;

을 실현하게 하는 것을 특징으로 한다.

본 발명에 의하면, 대상자의 동작에 대하여 보다 알기 쉽게 계측 결과를 제시할 수 있다.

도 1은 본 발명의 일실시형태에 관한 해석 시스템의 구성을 나타낸 시스템 구성도이다.
(본항목에 관하여, 이하 동일한 형식으로 수정을 한 다음 번역을 부탁드립니다.)
도 2는 해석 시스템의 사용 형태예를 나타낸 모식도이다.
도 3은 센서 유닛의 하드웨어의 구성을 나타낸 블록도이다.
도 4는 촬영 장치의 하드웨어 구성을 나타낸 블록도이다.
도 5는 처리 장치의 하드웨어 구성을 나타낸 블록도이다.
도 6은 센서 유닛의 기능적 구성 중, 정보 검출 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.
도 7a는 센서 유닛의 장착 상태를 나타낸 모식도이다.
도 7b는 센서 유닛에 의해 검출되는 정보의 예를 나타낸 모식도이다.
도 8은 촬영 장치의 기능적 구성 중, 촬영 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.
도 9는 처리 장치의 기능적 구성 중, 해석 결과 표시 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.
도 10은 리얼 타임(real time) 모드에서의 표시예를 나타낸 모식도이다.
도 11은 원샷(one-shot) 모드에서의 표시예를 나타낸 모식도이다.
도 12는 골프의 스윙에서의 특징적인 포인트의 간이 표시 화상의 표시예를 나타낸 모식도이다.
도 13은 센서 유닛이 실행하는 정보 검출 처리의 흐름을 설명하는 플로우차트이다.
도 14는 촬영 장치가 실행하는 촬영 처리의 흐름을 설명하는 플로우차트이다.
도 15는 처리 장치가 실행하는 해석 결과 표시 처리의 흐름을 설명하는 플로우차트이다.
도 16은 원샷 모드에서의 각각의 장치 간의 처리의 타이밍을 개략적으로 나타낸 모식도이다.
도 17은 BOX 애니메이션의 표시 형태예를 나타낸 모식도이다.

이하, 본 발명의 실시형태에 대하여, 도면을 참조하여 상세히 설명한다.

[시스템 구성]

도 1은, 본 발명의 일실시형태에 관한 해석 시스템(S)의 구성을 나타낸 시스템 구성도이다.

또한, 도 2는, 해석 시스템(S)의 사용 형태예를 나타낸 모식도이다.

도 1 및 도 2에 나타낸 바와 같이, 해석 시스템(S)은, 센서 유닛(1)과, 촬영 장치(2)와, 처리 장치(3)를 포함하여 구성된다. 또한, 처리 장치(3)와 센서 유닛(1) 및 촬영 장치(2)는 Bluetooth low energy/Bluetooth LE(상표)(이하, 「BLE」라고 함)에 의해 통신 가능하게 구성되며, 촬영 장치(2)와 센서 유닛(1) 및 처리 장치(3)는, Wi―Fi(Wireless Fidelity)에 의해 통신 가능하게 구성된다.

센서 유닛(1)은, 계측 대상에 장착되고, 계측 대상의 동작을 센싱하여 센서 정보를 처리 장치(3)에 송신한다. 본 실시형태에 있어서는, 골프의 스윙의 동작을 하는 사람(이하, 「계측 대상자(P)」라고 함)의 허리 등에 센서 유닛(1)을 장착하고, 상기 동작을 센싱한다.

촬영 장치(2)는, 계측 대상을 장착하고, 계측 대상의 동작을 나타내는 동영상의 데이터를 처리 장치(3)에 송신한다. 본 실시형태에 있어서는, 촬영 장치(2)는, 골프의 스윙의 동작을 하는 계측 대상자(P)의 동영상을 촬영한다.

처리 장치(3)는, 계측 대상에 장착한 센서 유닛(1)으로부터 취득한 센서 정보를 해석하고, 해석 결과 (본 실시형태에 있어서는, 계측 대상의 자세 변화나 이동 상태)를, 센서 정보가 취득된 계측 대상의 동작을 나타내는 동영상과 병행하여 표시한다. 본 실시형태에 있어서는, 처리 장치(3)는, 계측 대상의 해석 결과를, 계측 대상의 3차원적인 동작을 모식적으로 나타낸 박스형의 오브젝트(계측 대상의 3차원적인 동작을 나타내는 지표)에 의해 애니메이션 표시한다.

또한, 처리 장치(3)는, 계측 대상의 해석 결과가 표시될 때까지의 동안에, 센서 정보에 기초하여, 계측 대상의 동작을 개략적으로 나타내는 화상을 표시한다.

[하드웨어 구성]

도 3은, 센서 유닛(1)의 하드웨어의 구성을 나타낸 블록도이다.

센서 유닛(1)은, 계측 대상의 동작을 검출하는 각종 센서를 구비한 장치로서 구성된다.

도 3에 나타낸 바와 같이, 센서 유닛(1)은, CPU(Central Processing Unit)(111)와, ROM(Read Only Memory)(112)과, RAM(Random Access Memory)(113)과, 버스(114)와, 입출력 인터페이스(115)와, 센서부(116)와, 입력부(117)와, 출력부(118)와, 기억부(119)와, 통신부(120)를 구비하고 있다. 그리고, 센서 유닛(1)은, 반도체 메모리 등으로 이루어지는 착탈 가능 매체(removable medium)를 장착 가능한 구성으로 해도 된다.

CPU(111)는, ROM(112)에 기록되어 있는 프로그램, 또는 기억부(119)로부터 RAM(113)에 로드된 프로그램에 따라 각종 처리를 실행한다.

RAM(113)에는, CPU(111)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(111), ROM(112) 및 RAM(113)은, 버스(114)를 통하여 서로 접속되어 있다. 이 버스(114)에는 또한, 입출력 인터페이스(115)도 접속되어 있다. 입출력 인터페이스(115)에는, 센서부(116), 입력부(117), 출력부(118), 기억부(119) 및 통신부(120)가 접속되어 있다.

센서부(116)는, 3축 방향의 가속도를 측정하는 3축 가속도 센서와, 3축 방향의 각속도(角速度)를 측정하는 3축 각속도 센서와, 3축 방향의 지자기(地磁氣)를 측정하는 3축 지자기 센서를 구비하고 있다. 센서부(116)는, 미리 설정된 샘플링 주기(周期)(예를 들면, 0.001초)마다, 3축 가속도 센서, 3축 각속도 센서 및 3축 지자기 센서에 의해 3축 방향의 가속도, 각속도 및 지자기를 측정한다. 센서부(116)에 의해 측정된 가속도 및 각속도의 데이터는, 측정 시각의 데이터와 대응되어, 기억부(119)에 기억 또는 처리 장치(3)에 송신된다.

입력부(117)는, 각종 버튼 등으로 구성되며, 사용자의 지시 조작에 따라 각종 정보를 입력한다.

출력부(118)는, 램프나 스피커 또는 진동용 모터 등으로 구성되며, 광이나 음성 또는 바이브레이션 신호를 출력한다.

기억부(119)는, DRAM(DynamicRandom Access Memory) 등의 반도체 메모리로 구성되며, 각종 데이터를 기억한다.

통신부(120)는, 단말기 간의 직접적인 무선 통신에 의해 다른 장치와의 사이에서 행하는 통신을 제어한다. 본 실시형태에 있어서, 통신부(120)는, BLE(등록상표)에 의해 처리 장치(3)와 통신하거나, Wi―Fi에 의해 촬영 장치(2)와 통신하거나 한다.

도 4는, 촬영 장치(2)의 하드웨어 구성을 나타낸 블록도이다.

촬영 장치(2)는, 화상의 촬영 기능을 포함하고, 예를 들면, 디지털 카메라에 의해 구성된다. 본 실시형태에 있어서, 촬영 장치(2)는, 디스플레이와 분리되어 촬영 기능이 유닛화된 장치로서 구성된다.

도 4에 나타낸 바와 같이, 촬영 장치(2)는, CPU(211)와, ROM(212)과, RAM(213)과, 버스(214)와, 입출력 인터페이스(215)와, 촬상부(撮像部)(216)와, 입력부(217)와, 출력부(218)와, 기억부(219)와, 통신부(220)와, 드라이브(221)를 구비하고 있다.

이들 중, 촬상부(216), 통신부(220) 및 드라이브(221) 이외의 구성은, 도 3에 있어서 대응하는 각 부분과 마찬가지이다.

촬상부(216)는, 도시하지 않지만, 광학 렌즈부와, 이미지 센서를 구비하고 있다.

광학 렌즈부는, 피사체를 촬영하기 위해, 광을 집광하는 렌즈, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는, 이미지 센서의 수광면에 피사체상을 결상(結像)시키는 렌즈이다. 줌 렌즈는, 초점 거리를 일정한 범위에서 자유롭게 변화시키는 렌즈이다.

광학 렌즈부에는 또한, 필요에 따라서, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 설치된다.

이미지 센서는, 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다. 광전 변환 소자는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체상이 입사된다. 그래서, 광전 변환 소자는, 피사체상을 광전 변환[촬상(撮像)]하여 화상 신호를 일정 시간 축적하고, 축적된 화상 신호를 아날로그 신호로서 AFE에 순차적으로 공급한다.

AFE는, 이 아날로그의 화상 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되고, 촬상부(216)의 출력 신호로서 출력된다.

이와 같은 촬상부(216)의 출력 신호를, 이하, 「촬상 화상의 데이터」라고 한다. 촬상 화상의 데이터는, CPU(211) 등에 적절히 공급된다.

통신부(220)는, 단말기 간의 직접적인 무선 통신에 의해 다른 장치와의 사이에서 행하는 통신을 제어한다. 본 실시형태에 있어서, 통신부(220)는, BLE(등록상표)에 의해 처리 장치(3)와 통신하거나, Wi―Fi에 의해 촬영 장치(2) 및 처리 장치(3)와 통신하거나 한다.

드라이브(221)에는, 자기(磁氣) 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는, 착탈 가능 매체(231)가 적절히 장착된다. 드라이브(221)에 의해 착탈 가능 매체(231)로부터 판독된 프로그램은, 필요에 따라 기억부(219)에 인스톨된다. 또한, 착탈 가능 매체(231)는, 기억부(219)에 기억되어 있는 화상의 데이터 등의 각종 데이터도, 기억부(219)와 마찬가지로 기억할 수 있다.

도 5는, 처리 장치(3)의 하드웨어 구성을 나타낸 블록도이다.

처리 장치(3)는, 정보 표시 기능을 구비한 정보 처리 장치이며, 예를 들면, 스마트 폰으로서 구성된다.

도 5에 나타낸 바와 같이, 처리 장치(3)는, CPU(311)와, ROM(312)과, RAM(313)과, 버스(314)와, 입출력 인터페이스(315)와, 촬상부(316)와, 센서부(317)와, 입력부(318)와, 출력부(319)와, 기억부(320)와, 통신부(321)와, 드라이브(322)를 구비하고 있다. 그리고, 드라이브(322)에는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는, 착탈 가능 매체(331)가 적절히 장착된다.

이들 중, 입력부(318), 출력부(319) 및 통신부(321) 이외의 구성은, 도 3 및 도 4에 있어서 대응하는 각 부분과 마찬가지이다.

입력부(318)는, 각종 버튼이나 터치 패널 등으로 구성되며, 사용자의 지시 조작에 따라 각종 정보를 입력한다.

출력부(319)는, 디스플레이나 스피커 등으로 구성되며, 화상이나 음성을 출력한다.

통신부(321)는, 인터넷를 포함하는 네트워크를 통하여 다른 장치(도시하지 않음)와의 사이에서 행하는 통신을 제어한다. 또한, 통신부(321)는, 단말기 간의 직접적인 무선 통신에 의해 다른 장치와의 사이에서 행하는 통신을 제어한다. 본 실시형태에 있어서, 통신부(321)는, BLE(등록상표)에 의해 센서 유닛(1) 및 촬영 장치(2)와 통신하거나, Wi―Fi에 의해 촬영 장치(2)와 통신하거나 한다.

[기능적 구성]

도 6은, 센서 유닛(1)의 기능적 구성 중, 정보 검출 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.

정보 검출 처리란, 해석 시스템(S)이 계측 대상의 동작을 해석할 때, 계측 대상에 장착된 센서 유닛(1)이 계측 대상의 동작을 센싱하는 일련의 처리이다.

정보 검출 처리가 실행되는 경우, 도 6에 나타낸 바와 같이, CPU(111)에 있어서, 제1 통신 제어부(151)와, 제2 통신 제어부(152)와, 캘리브레이션(calibration) 실행부(153)와, 모드 설정부(154)와, 동기(同期) 제어부(155)와, 검출 처리부(156)와, 센서 정보 송신 제어부(157)가 기능한다.

또한, 기억부(119)의 한 영역에는, 센서 정보 기억부(171)가 설정된다.

제1 통신 제어부(151)는, 센서 유닛(1)의 BLE에 의한 통신을 제어하고, 다른 장치와의 페어링(paring) 처리나 데이터의 송수신 처리를 실행한다.

제2 통신 제어부(152)는, 센서 유닛(1)의 Wi―Fi에 의한 통신을 제어하고, 다른 장치와의 데이터의 송수신 처리를 실행한다.

캘리브레이션 실행부(153)는, 처리 장치(3)로부터의 지시에 따라 기준으로 되는 상태에서의 센서 정보를 취득하고, 취득 결과를 기준값으로 하는 캘리브레이션을 실행한다. 본 실시형태에 있어서는, 캘리브레이션 실행부(153)는, 센서 유닛(1)이 계측 대상자(P)의 허리에 장착되고, 골프의 스윙을 행하기 위한 위치에 어드레스한 자세를 취한 상태를 기준으로 하고, 이 상태에서 취득된 센서 정보가 기준값으로 된다.

도 7a는, 센서 유닛(1)의 장착 상태를 나타낸 모식도, 도 7b는 센서 유닛(1)에 의해 검출되는 정보의 예를 나타낸 모식도이다.

캘리브레이션이 행해지는 경우, 도 7a에 나타낸 바와 같이, 예를 들면, 센서 유닛(1)이 벨트 등에 의해 계측 대상자(P)의 허리에 장착되고, 계측 대상자(P)가 골프의 스윙을 행하기 위한 위치에서, 볼을 향해 어드레스한 자세에서 소정 시간(예를 들면, 2초) 정지한다. 이 때, 도 7b에 나타낸 바와 같이, 센서 유닛(1)은, 3축 가속도 센서에 의해 검출되는 중력 방향 및 3축 지자기 센서에 의해 검출되는 방위를 기준으로 하여, 센서 정보(신체의 전후 방향의 경사 각도, 좌우 방향의 경사 각도 및 연직축 주위의 회전 각도)를 취득하고, 취득된 각 센서 정보를 어드레스 시의 기준값으로 한다. 그리고, 이후, 계측 대상자(P)가 스윙을 행할 때, 센서 유닛(1)에 있어서 검출되는 각 센서 정보가, 소정 시간(예를 들면, 2초) 이상, 어드레스 시의 기준값에 대하여, 각 센서 정보에 대하여 설정된 임계값의 범위 내로 되어 있는 경우에, 어드레스의 상태인 것으로 검출된다.

그리고, 도 7b에 나타내는 정보 외에, 센서 유닛(1)은, 3축 가속도 센서를 구비하고 있으므로, 센서 유닛(1)의 이동(평행 이동 등)에 대하여도 검출 가능하며, 3축 지자기 센서를 구비하고 있으므로, 센서 유닛(1)이 향하고 있는 방위에 대하여도 검출 가능하다.

모드 설정부(154)는, 처리 장치(3)로부터의 지시에 따라 동작의 모드가 복수 준비된 모드 중 어느 하나로 설정된다.

본 실시형태에 있어서, 해석 시스템(S)에서는, 계측 대상자(P)의 라이브 뷰 화상과 병행하여, 센서 유닛(1)에 의해 취득한 센서 정보로부터 생성된 애니메이션을 표시하는 리얼 타임 모드와, 계측 대상자(P)의 골프의 스윙의 동영상에, 그 스윙에 있어서 센서 유닛(1)에 의해 취득한 센서 정보로부터 생성된 애니메이션을 합성하여 표시하는 원샷 모드가 준비되어 있다.

동기 제어부(155)는, 원샷 모드로 설정된 후에, Wi―Fi에 의한 통신을 통하여, 센서 유닛(1) 및 촬영 장치(2)에서의 기준 시각의 동기를 행한다. 센서 유닛(1) 및 촬영 장치(2)는, 예를 들면, SNTP(Simple Network Time Protocol)에 의해 기준 시각의 동기를 행할 수 있다.

검출 처리부(156)는, 센서 유닛(1)이 리얼 타임 모드로 설정되어 있는 경우 및 원샷 모드로 설정되어 있는 경우에, 각종 센서 정보를 순차 취득하고, 취득한 센서 정보를, 취득된 시각과 대응시켜 센서 정보 기억부(171)에 기억한다. 그리고, 센서 정보 기억부(171)에 기억된 센서 정보는, 취득된 시각으로부터 소정 시간이 경과한 경우에 순차적으로 파기하는 것으로 해도 된다. 단, 원샷 모드에 있어서, 골프의 스윙의 어드레스로부터 스윙 종료까지 취득된 센서 정보는, 적어도 처리 장치(3)에 대한 송신이 완료된 후에 파기된다.

또한, 검출 처리부(156)는, 원샷 모드에 있어서 취득한 센서 정보에 기초하여, 골프의 스윙에서의 소정의 특징적인 포인트의 타이밍을 검출한다. 예를 들면, 검출 처리부(156)는, 원샷 모드에 있어서 취득한 센서 정보의 파형(波形)을 해석하고, 골프의 스윙에서의 어드레스, 탑(top), 다운스윙(downswing), 임팩트(impact), 팔로우(follow)의 각 포인트의 타이밍을 검출한다.

또한, 검출 처리부(156)는, 원샷 모드에 있어서 어드레스의 타이밍을 검출한 경우 및 팔로우의 타이밍을 검출한 경우, 어드레스의 타이밍이 검출된 것을 나타내는 신호(이하, 「어드레스 검출 신호」라고 함) 및 팔로우의 타이밍이 검출된 것을 나타내는 신호(이하, 「팔로우 검출 신호」라고 함)를, BLE에 의해 처리 장치(3)에 순차 송신한다.

또한, 검출 처리부(156)는, 골프의 스윙의 개시로부터 종료까지(이하, 적절히 「원샷」이라고 함)의 범위를 검출한다. 본 실시형태에 있어서, 검출 처리부(156)는, 계측 대상자(P)의 골프의 스윙에서의 어드레스로부터 팔로우까지의 타이밍을 원샷의 범위로 하여 검출한다. 그리고, 검출 처리부(156)는, 검출한 원샷의 범위를 나타내는 신호(이하, 「원샷 범위 검출 신호」라고 함)를, BLE에 의해 처리 장치(3)에 송신한다.

센서 정보 송신 제어부(157)는, 검출 처리부(156)에 의해 취득된 센서 정보를 처리 장치(3)에 송신하는 제어를 행한다. 본 실시형태에 있어서, 검출 처리부(156)에서는, 예를 들면, 1000 샘플/초 정도로 센서 정보를 취득할 수 있다. 그리고, 센서 정보 송신 제어부(157)는, 검출 처리부(156)에 의해 취득된 센서 정보를, 리얼 타임 모드에 있어서는 낮은 샘플링 레이트(예를 들면, 30 샘플/초 정도)로 변환하여 처리 장치(3)에 송신하고, 원샷 모드에 있어서는 높은 샘플링 레이트(예를 들면, 240 샘플/초 정도)로 변환하여 처리 장치(3)에 송신한다. 그리고, 원샷 모드에서는, 원샷의 범위의 센서 정보가 처리 장치(3)에 송신된다. 본 실시형태에 있어서, 센서 정보 송신 제어부(157)는, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트(어드레스, 탑, 다운스윙, 임팩트, 팔로우)의 센서 정보를, 원샷의 범위의 센서 정보에 선행하여 처리 장치(3)에 송신한다. 이와 같이, 소정의 특징적인 포인트의 센서 정보를 선행하여 처리 장치(3)에 송신함으로써, 처리 장치(3)에 있어서, 보다 빠른 타이밍으로 간이 표시 화상의 표시를 행하는 것이 가능해진다.

또한, 센서 정보 송신 제어부(157)는, 원샷 모드에 있어서 센서 정보를 처리 장치(3)에 송신하는 경우, 검출 처리부(156)에 의해 검출된 어드레스, 탑, 다운스윙, 임팩트, 팔로우의 각 포인트의 타이밍을, 병행하여 처리 장치(3)에 송신한다.

그리고, 본 실시형태에 있어서, 검출 처리부(156)에 의해 취득된 센서 정보는, 각종 센서의 출력 신호를 각각 필터링함으로써, 노이즈의 영향을 억제한 파형으로 변환되고, 센서 정보 송신 제어부(157)는, 처리 결과의 센서 정보가 나타내는 파형으로부터 취득되는 센서 정보를 처리 장치(3)에 송신한다.

이로써, 노이즈의 영향에 의해 불균일이 큰 센서 정보로부터도 신뢰도가 높은 정보를 참조하여, 계측 대상자(P)의 동작을 해석할 수 있다.

다음에, 촬영 장치(2)의 기능적 구성에 대하여 설명한다.

도 8은, 촬영 장치(2)의 기능적 구성 중, 촬영 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.

촬영 처리란, 해석 시스템(S)이 계측 대상의 동작을 해석할 때, 센서 유닛(1)에 의한 센서 정보의 취득과 동기하여, 계측 대상의 동작 나타내는 동영상을 촬영하는 일련의 처리이다.

촬영 처리가 실행되는 경우, 도 8에 나타낸 바와 같이, CPU(211)에 있어서, 제1 통신 제어부(251)와, 제2 통신 제어부(252)와, 촬영 제어부(253)와, 동기 제어부(254)와, 동영상 송신 제어부(255)가 기능한다.

또한, 기억부(219)의 한 영역에는, 동영상 데이터 기억부(271)가 설정된다.

제1 통신 제어부(251)는, 촬영 장치(2)의 BLE에 의한 통신을 제어하고, 다른 장치와의 페어링 처리나 데이터의 송수신 처리를 실행한다.

제2 통신 제어부(252)는, 촬영 장치(2)의 Wi―Fi에 의한 통신을 제어하고, 다른 장치와의 데이터의 송수신 처리를 실행한다. 본 실시형태에 있어서, Wi―Fi에 의한 통신이 행해지는 경우, 촬영 장치(2)가 액세스 포인트(AP)로 되고, 다른 장치가 스테이션(ST)으로 된다.

촬영 제어부(253)는, 처리 장치(3)로부터 리얼 타임 모드로의 이행이 지시된 경우에, 촬상부(216)를 제어하여, 라이브 뷰 화상의 촬영 속도로서 미리 설정된 촬영 속도(예를 들면, 30fps)로 라이브 뷰 화상을 촬영한다. 또한, 촬영 제어부(253)는, 처리 장치(3)로부터 기록용의 동영상의 촬영이 지시된 경우에, 촬상부(216)를 제어하여, 기록용의 동영상 촬영 속도로서 미리 설정된 촬영 속도(예를 들면, 240fps)로 기록용의 동영상을 촬영한다. 그리고, 촬영된 기록용의 동영상은, 동영상 데이터 기억부(271)에 기억된다.

동기 제어부(254)는, 원샷 모드로 설정된 후에, Wi―Fi에 의한 통신을 통하여, 센서 유닛(1) 및 촬영 장치(2)에서의 기준 시각의 동기를 행한다.

동영상 송신 제어부(255)는, 촬영 제어부(253)의 제어에 의해 촬영된 라이브 뷰 화상 또는 기록용의 동영상을 처리 장치(3)에 송신한다. 구체적으로는, 동영상 송신 제어부(255)는, 리얼 타임 모드에 있어서, 처리 장치(3)로부터 라이브 뷰 화상의 촬영 지시이 행해진 경우, 촬영된 라이브 뷰 화상을 순차 처리 장치(3)에 송신한다. 또한, 동영상 송신 제어부(255)는, 원샷 모드에 있어서, 처리 장치(3)로부터 기록용의 동영상의 촬영 지시가 행해진 경우, 처리 장치(3)로부터 통지된 기록용의 동영상의 개시로부터 종료까지의 범위(즉, 원샷의 범위)를 잘라내어(cut out), 처리 장치(3)에 송신한다.

다음에, 처리 장치(3)의 기능적 구성에 대하여 설명한다.

도 9는, 처리 장치(3)의 기능적 구성 중, 해석 결과 표시 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.

해석 결과 표시 처리란, 촬영 장치(2)에 의해 촬영된 동영상에 대응하는 시각에 센서 유닛(1)에 의해 검출된 센서 정보를 해석하여, 계측 대상자(P)의 신체의 3차원적인 동작을 모방한 애니메이션을 생성하고, 촬영 장치(2)에 의해 촬영된 동영상에 합성하여 표시하는 일련의 처리이다.

해석 결과 표시 처리가 실행되는 경우, 도 9에 나타낸 바와 같이, CPU(311)에 있어서, 제1 통신 제어부(351)와, 제2 통신 제어부(352)와, 캘리브레이션 관리부(353)와, 모드 제어부(354)와, 원샷 촬영 관리부(355)와, 센서 정보 취득부(356)과, 화상 취득부(357)와, 해석 처리부(358)와, 화상 생성부(359)와, 간이 표시 생성부(360)와, 라이팅 처리부(writing unit)(361)가 기능한다.

또한, 기억부(320)의 한 영역에는, 동영상 데이터 기억부(371)와, 센서 정보 기억부(372)와, 합성 화상 기억부(373)가 설정된다.

제1 통신 제어부(351)는, 처리 장치(3)의 BLE에 의한 통신을 제어하고, 다른 장치와의 페어링 처리나 데이터의 송수신 처리를 실행한다. 본 실시형태에 있어서, BLE에 의한 통신이 행해지는 경우, 처리 장치(3)가 마스터로 되고, 다른 장치가 슬레이브로 된다. 제2 통신 제어부(352)는, Wi―Fi에 의한 통신을 제어하고, 다른 장치와의 데이터의 송수신 처리를 실행한다.

캘리브레이션 관리부(353)는, 센서 유닛(1)에 대하여, 캘리브레이션의 실행을 지시한다. 본 실시형태에 있어서, 센서 유닛(1)에서의 캘리브레이션은, 센서 유닛(1)의 기동 후, 리얼 타임 모드 또는 원샷 모드로 이행하기 전에, 한 번 실행된다.

모드 제어부(354)는, 리얼 타임 모드로 이행하기 위한 조작이 행해진 경우에, BLE에 의해, 센서 유닛(1) 및 촬영 장치(2)에 대하여, 리얼 타임 모드로의 이행을 지시한다. 또한, 모드 제어부(354)는, 원샷 모드로 이행하기 위한 조작이 행해진 경우에, 센서 유닛(1)에 대하여, 원샷 모드로의 이행을 지시한다.

원샷 촬영 관리부(355)는, 리얼 타임 모드에 있어서, 원샷의 범위의 동영상의 촬영을 관리한다. 구체적으로는, 원샷 촬영 관리부(355)는, 센서 유닛(1)으로부터 어드레스 검출 신호를 수신한 경우, 촬영 장치(2)에 대하여, 기록용의 동영상의 촬영을 지시한다. 또한, 원샷 촬영 관리부(355)는, 센서 유닛(1)으로부터 팔로우 검출 신호를 수신한 경우, 촬영 장치(2)에 대하여, 기록용의 동영상의 촬영의 종료를 지시한다. 또한, 원샷 촬영 관리부(355)는, 센서 유닛(1)으로부터 원샷 범위 검출 신호를 수신한 경우, 촬영 장치(2)에 대하여, 촬영된 동영상으로부터 잘라내는 원샷의 범위를 통지한다. 또한, 원샷 촬영 관리부(355)는, 원샷 모드에 있어서, 센서 유닛(1)으로부터 센서 정보의 취득이 완료된 후, 촬영 장치(2)에 동영상의 송신을 지시한다.

센서 정보 취득부(356)는, 리얼 타임 모드에 있어서, 라이브 뷰 화상의 촬영 속도(예를 들면, 30fps)에 대응하는 주기(낮은 샘플링 레이트)의 센서 정보를, BLE에 의해 센서 유닛(1)으로부터 순차 취득한다. 또한, 센서 정보 취득부(356)는, 원샷 모드에 있어서, 기록용의 동영상의 촬영 속도(예를 들면, 240fps)에 대응하는 주기(높은 샘플링 레이트)의 원샷의 범위의 센서 정보를, BLE에 의해 센서 유닛(1)으로부터 취득한다. 또한, 본 실시형태에 있어서, 센서 정보 취득부(356)는, 원샷 모드에 있어서, 원샷의 범위의 센서 정보를 취득하는 데 선행하여, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트(어드레스, 탑, 다운스윙, 임팩트, 팔로우)의 센서 정보를, BLE에 의해 센서 유닛(1)으로부터 취득한다.

화상 취득부(357)는, 리얼 타임 모드에 있어서, 촬영 장치(2)로부터 송신되는 라이브 뷰 화상을, Wi―Fi에 의해 순차 취득한다. 또한, 화상 취득부(357)는, 원샷 모드에 있어서, 촬영 장치(2)에 있어서 기록용의 동영상이 촬영되고, 원샷의 범위가 잘라내어진 후에, 그 잘라내어진 동영상을, Wi―Fi에 의해 모아서 취득한다.

해석 처리부(358)는, 센서 유닛(1)으로부터 취득한 각종 센서 정보를 해석하고, 계측 대상자(P)의 신체의 3차원적인 동작을 모방한 박스형의 오브젝트에 의해 표현되는 애니메이션(이하, 적절히 「BOX 애니메이션」이라고 함)의 시간적인 변화를 나타내는 데이터를 생성한다. 본 실시형태에 있어서, 해석 처리부(358)는, 리얼 타임 모드에 있어서는, 라이브 뷰 화상의 촬영 속도에 대응하는 주기의 센서 정보로부터, BOX 애니메이션의 시간적인 변화를 나타내는 데이터를 생성한다.

또한, 해석 처리부(358)는, 원샷 모드에 있어서는, 기록용의 동영상의 촬영 속도에 대응하는 주기의 센서 정보로부터, BOX 애니메이션의 시간적인 변화를 나타내는 데이터를 생성한다.

화상 생성부(359)는, 리얼 타임 모드에 있어서 취득되는 라이브 뷰 화상에, 해석 처리부(358)에 의해 생성된 BOX 애니메이션을 병행하여 표시한다.

도 10은, 리얼 타임 모드에서의 표시예를 나타낸 모식도이다.

도 10에 나타낸 바와 같이, 리얼 타임 모드에 있어서, 화상 생성부(359)는, 예를 들면, 계측 대상자(P)를 중앙에 표시하는 동시에, 계측 대상자(P)의 화상의 주위에서의 미리 설정된 소정 위치에 BOX 애니메이션 An을 표시한다. 그리고, 계측 대상자(P)의 화상의 주위로서, 계측 대상자(P)에 있어서 센서 유닛(1)이 장착된 신체의 위치에 가까운 위치에, BOX 애니메이션 An을 표시하는 것이라도 된다. 또한, 화상 생성부(359)는, BOX 애니메이션 An에 대응하는 센서 정보의 수치를 화상 내의 소정 위치(여기서는 좌측 아래)에 표시한다. 구체적으로는, 도 10에 나타낸 예에서는, 신체의 전후 방향의 경사 각도로서 「전방 경사: 21°」, 연직축 주위의 회전 각도로서 「회전: 15°」, 좌우 방향의 경사 각도로서 「수평: 7°」가 표시되어 있다.

또한, 화상 생성부(359)는, 원샷 모드에 있어서 취득되는 기록용의 동영상에, 해석 처리부(358)에 의해 생성된 BOX 애니메이션을 합성하여 표시한다. 이하, 이와 같이 화상 생성부(359)에 의해 표시되는 화상을, 적절히 「해석 결과 동영상」이라고 한다.

도 11은, 원샷 모드에서의 표시예를 나타낸 모식도이다.

도 11에 나타낸 바와 같이, 원샷 모드에 있어서, 화상 생성부(359)는, 예를 들면, 계측 대상자(P)의 동영상에, BOX 애니메이션 An을 투과시켜 중첩되는 것에 의해, 해석 결과 동영상을 표시한다. 또한, 본 실시형태에 있어서, BOX 애니메이션 An에는, 센서 유닛(1)의 축(여기서는 상하 방향 및 좌우 방향)을 나타내는 직선이 병행하여 표시된다. 센서 유닛(1)의 축은, 센서 유닛(1)의 동작과 함께 이동한다. 또한, 본 실시형태에 있어서, 원샷 모드에서의 표시예에서는, 표시 화면에 고정된 축(즉, 절대 좌표를 나타낸 축)이 병행하여 표시되어 있다.

그리고, BOX 애니메이션의 시간적인 변화는, 촬영된 계측 대상자(P)의 동영상의 타이밍과 대응하여 표시된다.

원샷 모드에서의 센서 정보 및 계측 대상자(P)의 동영상을 이와 같이 표시함으로써, BOX 애니메이션에 의해, 계측 대상자(P)의 신체의 동작의 경향을 알기 쉽게 나타낼 수 있는 동시에, BOX 애니메이션에는 표현하기 어려운 신체 상태를 센서 정보에 의해 명확하게 나타내는 것이 가능해진다. 또한, 센서 유닛(1)의 축과 표시 화면에 고정된 축이 병행하여 표시됨으로써, 계측 대상자(P)의 평행 이동 등도 표시할 수 있어, 계측 대상자(P)의 신체의 동작이 보다 파악하기 쉬운 것으로 된다.

간이 표시 생성부(360)는, 원샷 모드에 있어서, 원샷의 범위의 센서 정보에 선행하여 취득한 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트(어드레스, 탑, 다운스윙, 임팩트, 팔로우)의 데이터를 참조하고, 미리 준비되어 있는 각각의 특징적인 포인트에 대응하는 스윙의 화상에, 각각의 센서 정보의 수치를 병행하여 순차로 표시한다. 그리고, 이하, 간이 표시 생성부(360)에 의해 표시되는 일련의 화상을, 적절히 「간이 표시 화상」이라고 한다.

여기서, 원샷 모드에 있어서, 센서 유닛(1)이 센서 정보를 취득하는 동시에, 촬영 장치(2)가 동영상의 촬영을 행한 경우, 처리 장치(3)에서는, 처음에, 센서 정보 취득부(356)에 의해 센서 유닛(1)으로부터 센서 정보를 취득한다. 이어서, 화상 취득부(357)에 의해, 촬영 장치(2)로부터 기록용의 동영상의 데이터를 취득한다. 이 때, 화상 취득부(357)는 촬영 장치(2)로부터 기록용의 동영상의 데이터를 취득하기 위해서는, 데이터량이 비교적 크므로, 일정 시간을 필요로 하게 된다. 그래서, 본 실시형태에 있어서는, 화상 취득부(357)가 촬영 장치(2)로부터 기록용의 동영상의 데이터의 취득을 개시한 후, 간이 표시 생성부(360)가 간이 표시 화상의 표시를 행한다. 그리고, 간이 표시 생성부(360)는, 화상 취득부(357)가 촬영 장치(2)로부터 기록용의 동영상의 데이터의 취득을 완료한 후, 화상 생성부(359)가 기록용의 동영상에 BOX 애니메이션을 합성하여 표시할 때까지의 동안, 간이 표시 화상의 표시를 계속한다.

도 12는, 골프의 스윙에서의 특징적인 포인트의 간이 표시 화상의 표시예를 나타낸 모식도이다.

도 12에 나타낸 바와 같이, 간이 표시 생성부(360)는, 골프의 스윙에서의 어드레스, 탑, 다운스윙, 임팩트, 팔로우 각각의 특징적인 포인트를 나타낸 미리 준비된 화상에 대하여, 계측 대상자(P)의 스윙에 있어서, 대응하는 특징적인 포인트의 센서 정보의 수치를 병행하여 표시한다.

그리고, 간이 표시 생성부(360)가 간이 표시 화상을 표시하는 경우, 각각의 특징적인 포인트의 간이 표시 화상을 소정 시간씩 순차적으로 표시하고, 팔로우의 간이 표시 화상까지 표시된 후에는, 탑의 간이 표시 화상으로 돌아와, 순환적으로 각 간이 표시 화상을 표시할 수 있다.

간이 표시 화상을 표시함으로써, 일정한 의의를 가지는 계측 대상자(P)의 동작에 관한 정보를 선행하여 제시할 수 있다.

또한, 도 12에 있어서는 어드레스 시점에서의 계측 대상자(P)의 신체의 전후 방향 및 좌우 방향의 경사 각도를 0으로 하여 표시를 행해도 되고, 어드레스 시점(時点)으로부터의 계측 대상자의 신체의 회전 각도 및 각종 경사 각도의 변화량을 표시하도록 구성해도 된다.

라이팅 처리부(361)는, 화상 생성부(359)에 의해 표시된 해석 결과 동영상을, 소정의 보존 형식(MPEG 등)의 데이터로서, 기억부(320) 또는 착탈 가능 매체(331)에 써낸다 즉 기록한다(write).

그리고, 라이팅 처리부(361)는, 해석 결과 동영상의 보존을 지시하는 조작이 행해진 경우에, 해석 결과 동영상의 써냄 즉 기록을 실행한다.

[동작]

다음에, 해석 시스템(S)의 동작을 설명한다.

도 13은, 센서 유닛(1)이 실행하는 정보 검출 처리의 흐름을 설명하는 플로우차트이다.

정보 검출 처리는, 센서 유닛(1)의 기동과 함께 개시된다.

스텝 S1에서, 제1 통신 제어부(151)는, BLE에 의해 슬레이브로서 처리 장치(3)와 접속한다.

스텝 S2에서, 캘리브레이션 실행부(153)는, 처리 장치(3)로부터의 지시에 따라 기준으로 되는 상태에서의 센서 정보를 취득하고, 취득 결과를 기준값으로 하는 캘리브레이션을 실행한다.

스텝 S3에서, 캘리브레이션 실행부(153)는, 캘리브레이션이 완료된 것을 BLE에 의해 처리 장치(3)에 통지한다.

스텝 S4에서, 모드 설정부(154)는, 처리 장치(3)로부터의 지시에 따라 리얼 타임 모드로 설정한다.

스텝 S5에서, 검출 처리부(156)는, 각종 센서 정보를 순차 취득하고, 취득한 센서 정보를, 취득된 시각과 대응시켜 센서 정보 기억부(171)에 기억하는 처리를 개시한다.

스텝 S6에서, 센서 정보 송신 제어부(157)는, 검출 처리부(156)에 의해 취득된 센서 정보를, 낮은 샘플링 레이트(예를 들면, 30 샘플/초 정도)로 변환하여 처리 장치(3)에 순차 송신한다.

스텝 S7에서, 모드 설정부(154)는, 처리 장치(3)로부터의 지시에 따라 원샷 모드로 설정한다.

스텝 S8에서, 제2 통신 제어부(152)는, Wi―Fi에 의해 스테이션으로서 촬영 장치(2)와 접속한다.

스텝 S9에서, 동기 제어부(155)는, Wi―Fi에 의한 통신을 통하여, 센서 유닛(1) 및 촬영 장치(2)에서의 기준 시각의 동기를 행한다.

스텝 S10에서, 검출 처리부(156)는, 취득한 센서 정보의 파형을 해석하고, 골프의 스윙에서의 어드레스의 포인트의 타이밍을 검출하여, 어드레스 검출 신호를 BLE에 의해 처리 장치(3)에 송신한다.

스텝 S11에서, 검출 처리부(156)는, 취득한 센서 정보의 파형을 해석하고, 골프의 스윙에서의 팔로우의 포인트의 타이밍을 검출하여, 팔로우 검출 신호를 BLE에 의해 처리 장치(3)에 송신한다.

스텝 S12에서, 검출 처리부(156)는, 계측 대상자(P)의 골프의 스윙에서의 어드레스로부터 팔로우까지의 타이밍을 원샷의 범위로서 검출하고, 원샷 범위 검출 신호를 처리 장치(3)에 송신한다.

스텝 S13에서, 검출 처리부(156)는, 취득한 센서 정보의 파형을 해석하고, 골프의 스윙에서의 탑, 다운스윙, 임팩트의 각 포인트의 타이밍을 순차 검출한다.

스텝 S14에서, 센서 정보 송신 제어부(157)는, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트(어드레스, 탑, 다운스윙, 임팩트, 팔로우)의 센서 정보를, BLE에 의해 처리 장치(3)에 송신한다. 이와 같이, 소정의 특징적인 포인트의 센서 정보를 선행하여 처리 장치(3)에 송신함으로써, 처리 장치(3)에 있어서, 보다 빠른 타이밍에서 간이 표시 화상의 표시를 행하는 것이 가능해진다. 그리고, 스텝 S13 및 스텝 S14의 처리를 스텝 S12보다도 먼저 실행하는 것이라도 된다.

스텝 S15에서, 센서 정보 송신 제어부(157)는, 원샷의 범위의 센서 정보를, 높은 샘플링 레이트(예를 들면, 240 샘플/초 정도)로 변환하여 BLE에 의해 처리 장치(3)에 송신한다. 그리고, 원샷의 범위의 센서 정보를 처리 장치(3)에 송신하는 경우, 스텝 S14에서 이미 송신한 특징적인 포인트의 센서 정보를 제외하고 송신하는 것이라도 된다. 이 경우, 동일한 센서 정보가 중복하여 송신되는 것을 억제할 수 있으므로, 보다 효율적으로 센서 정보를 송신할 수 있다.

스텝 S15의 후에, 정보 검출 처리는 종료한다.

다음에, 촬영 장치(2)가 실행하는 촬영 처리에 대하여 설명한다.

도 14는, 촬영 장치(2)가 실행하는 촬영 처리의 흐름을 설명하는 플로우차트이다.

촬영 처리는, 입력부(217)를 통하여 촬영 처리의 개시를 지시하는 조작이 행해지는 것에 의해 개시된다.

스텝 S21에서, 제1 통신 제어부(251)는, BLE에 의해 슬레이브로서 처리 장치(3)와 접속한다.

스텝 S22에서, 제2 통신 제어부(252)는, Wi―Fi에 의해 액세스 포인트로서 처리 장치(3)와 접속한다.

스텝 S23에서, 촬영 제어부(253)는, 처리 장치(3)로부터 리얼 타임 모드로의 이행이 지시되는 것에 따라 촬상부(216)를 제어하여, 라이브 뷰 화상의 촬영 속도로서 미리 설정된 촬영 속도(예를 들면, 30fps)로 라이브 뷰 화상을 촬영하는 처리를 개시한다.

스텝 S24에서, 동영상 송신 제어부(255)는, 촬영된 라이브 뷰 화상을 처리 장치(3)에 순차 송신한다.

스텝 S25에서, 제2 통신 제어부(252)는, Wi―Fi에 의해 액세스 포인트로서 센서 유닛(1)과 접속한다.

스텝 S26에서, 동기 제어부(254)는, Wi―Fi에 의한 통신을 통하여, 센서 유닛(1) 및 촬영 장치(2)에서의 기준 시각의 동기를 행한다.

스텝 S27에서, 촬영 제어부(253)는, 처리 장치(3)로부터 기록용의 동영상의 촬영이 지시되는 것에 따라 촬상부(216)를 제어하여, 기록용의 동영상의 촬영 속도로서 미리 설정된 촬영 속도(예를 들면, 240fps)로 기록용의 동영상을 촬영하는 처리를 개시한다.

스텝 S28에서, 촬영 제어부(253)는, 처리 장치(3)로부터 기록용의 동영상의 촬영의 종료가 지시되는 것에 따라 촬상부(216)를 제어하여, 기록용의 동영상의 촬영을 종료한다.

스텝 S29에서, 동영상 송신 제어부(256)는, 처리 장치(3)로부터 원샷의 범위가 통지되는 것에 따라 기록용의 동영상의 원샷의 범위를 잘라낸다.

스텝 S30에서, 동영상 송신 제어부(256)는, 처리 장치(3)로부터 동영상의 송신이 지시되는 것에 따라 원샷의 범위가 잘라내어진 동영상을 처리 장치(3)에 송신하는 처리를 개시한다.

스텝 S31에서, 동영상 송신 제어부(256)는, 스텝 S30에서 개시한 동영상의 송신을 완료한다.

스텝 S31의 후에, 촬영 처리는 종료한다.

다음에, 처리 장치(3)가 실행하는 해석 결과 표시 처리에 대하여 설명한다.

도 15는, 처리 장치(3)가 실행하는 해석 결과 표시 처리의 흐름을 설명하는 플로우차트이다.

해석 결과 표시 처리는, 입력부(318)를 통하여 해석 결과 표시 처리의 개시를 지시하는 조작이 행해지는 것에 의해 개시된다.

스텝 S41에 있어서, 제1 통신 제어부(351)는, BLE에 의해 마스터로서 센서 유닛(1) 및 촬영 장치(2)와 접속한다.

스텝 S42에 있어서, 제2 통신 제어부(352)는, Wi―Fi에 의해 스테이션으로서 촬영 장치(2)와 접속한다.

스텝 S43에 있어서, 캘리브레이션 관리부(353)는, 센서 유닛(1)에 대하여, 캘리브레이션의 실행을 지시한다.

스텝 S44에 있어서, 캘리브레이션 관리부(353)는, 센서 유닛(1)으로부터 캘리브레이션의 실행이 완료된 것의 통지를 BLE에 의해 수신한다.

스텝 S45에 있어서, 모드 제어부(354)는, 리얼 타임 모드로 이행하기 위한 조작(리모트 촬영의 지시)의 입력을 접수한다.

스텝 S46에 있어서, 모드 제어부(354)는, BLE에 의해, 센서 유닛(1) 및 촬영 장치(2)에 대하여, 리얼 타임 모드로의 이행을 지시한다.

스텝 S47에 있어서, 센서 정보 취득부(356)는, 라이브 뷰 화상의 촬영 속도(예를 들면, 30fps)에 대응하는 주기(낮은 샘플링 레이트)의 센서 정보를, BLE에 의해 센서 유닛(1)으로부터 취득한다. 또한, 화상 취득부(357)는, 촬영 장치(2)로부터 송신되는 라이브 뷰 화상을, Wi―Fi에 의해 순차 취득한다.

스텝 S48에 있어서, 해석 처리부(358)는, 센서 유닛(1)으로부터 취득한 라이브 뷰 화상의 촬영 속도에 대응하는 주기의 센서 정보로부터, BOX 애니메이션의 시간적인 변화를 나타내는 데이터를 순차 생성하는 동시에, 화상 생성부(359)는, 취득된 라이브 뷰 화상에, 해석 처리부(358)에 의해 생성된 BOX 애니메이션을 병행하여 순차 표시한다.

스텝 S49에 있어서, 모드 제어부(354)는, 원샷 모드로 이행하기 위한 조작의 입력을 접수한다.

스텝 S50에 있어서, 모드 제어부(354)는, BLE에 의해, 센서 유닛(1)에 대하여, 원샷 모드로의 이행을 지시한다.

이 때, 모드 제어부(354)는, 센서 유닛(1)에 촬영 장치(2)의 SSID(Service Set IDentifier)를 병행하여 송신한다.

스텝 S51에 있어서, 원샷 촬영 관리부(355)는, 센서 유닛(1)으로부터 어드레스 검출 신호를 수신하는 것에 따라 촬영 장치(2)에 대하여, 기록용의 동영상의 촬영을 지시한다.

스텝 S52에 있어서, 원샷 촬영 관리부(355)는, 센서 유닛(1)으로부터 팔로우 검출 신호를 수신하는 것에 따라 촬영 장치(2)에 대하여, 기록용의 동영상의 촬영의 종료를 지시한다

스텝 S53에 있어서, 원샷 촬영 관리부(355)는, 센서 유닛(1)으로부터 원샷 범위 검출 신호를 수신하는 것에 따라 촬영 장치(2)에 대하여, 촬영된 동영상으로부터 잘라내는 원샷의 범위를 통지한다.

스텝 S54에 있어서, 센서 정보 취득부(356)는, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트(어드레스, 탑, 다운스윙, 임팩트, 팔로우)의 센서 정보를, BLE에 의해 센서 유닛(1)으로부터 수신한다.

스텝 S55에 있어서, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트(어드레스, 탑, 다운스윙, 임팩트, 팔로우)의 데이터를 참조하고, 미리 준비되어 있는 각각의 특징적인 포인트에 대응하는 스윙의 화상에, 각각의 센서 정보의 수치를 병행하여 순차로 표시한다. 이로써, 간이 표시 화상이 표시된다.

스텝 S56에 있어서, 센서 정보 취득부(356)는, 기록용의 동영상의 촬영 속도(예를 들면, 240fps)에 대응하는 주기(높은 샘플링 레이트)의 센서 정보를, BLE에 의해 센서 유닛(1)으로부터 취득한다.

스텝 S57에 있어서, 원샷 촬영 관리부(355)는, 촬영 장치(2)로부터 동영상을 수신한다.

스텝 S58에 있어서, 원샷 촬영 관리부(355)는, 촬영 장치(2)로부터 동영상의 수신이 완료되었는지의 여부의 판정을 행한다.

촬영 장치(2)로부터 동영상의 수신이 완료되어 있지 않은 경우, 스텝 S58에 있어서 NO라고 판정되고, 처리는 스텝 S57로 이행한다.

한편, 촬영 장치(2)로부터 동영상의 수신이 완료된 경우, 스텝 S58에 있어서 YES라고 판정되고, 처리는 스텝 S59로 이행한다.

스텝 S59에 있어서, 해석 처리부(358)는, 센서 유닛(1)으로부터 취득한 기록용의 동영상의 촬영 속도에 대응하는 주기의 센서 정보로부터, BOX 애니메이션의 시간적인 변화를 나타내는 데이터를 생성한다.

스텝 S60에 있어서, 화상 생성부(359)는, 취득된 기록용의 동영상에, 해석 처리부(358)에 의해 생성된 BOX 애니메이션을 합성하여 표시한다. 이로써, 해석 결과 동영상이 표시된다.

스텝 S61에 있어서, 라이팅 처리부(361)는, 해석 결과 동영상의 보존을 지시하는 조작이 행해졌는지의 여부의 판정을 행한다.

해석 결과 동영상의 보존을 지시하는 조작이 행해지고 있지 않은 경우, 스텝 S61에 있어서 NO라고 판정되고, 해석 결과 표시 처리는 종료로 된다.

한편, 해석 결과 동영상의 보존을 지시하는 조작이 행해진 경우, 스텝 S61에 있어서 YES라고 판정되고, 처리는 스텝 S62로 이행한다.

스텝 S62에 있어서, 라이팅 처리부(361)는, 화상 생성부(359)에 의해 표시된 해석 결과 동영상을, 소정의 보존 형식(MPEG 등)의 데이터로서, 기억부(320 또는 착탈 가능 매체(331)에 써낸다 즉 기록한다.

스텝 S62의 후에, 해석 결과 표시 처리는 종료로 된다.

이와 같은 처리에 의해, 해석 시스템(S)에 있어서는, 계측 대상자(P)의 신체의 동작을 계측하여 얻어진 센서 정보와, 계측 대상자(P)의 동작을 촬영한 동영상을 시각을 동기시켜 취득할 수 있다.

그리고, 센서 정보에 기초하여, 계측 대상자(P)의 신체의 3차원적인 동작을 모방한 BOX 애니메이션을 생성하고, 촬영 장치(2)에 의해 촬영된 동영상에 합성함으로써, 해석 결과 동영상을 표시할 수 있다.

해석 결과 동영상에서는, 계측 대상자(P) 자체의 동영상과, 계측 대상자(P)의 3차원적인 동작을 알기 쉽게 나타내는 BOX 애니메이션과, 계측 대상자(P)의 신체의 동작을 계측하여 얻어진 센서 정보가 시각을 동기시켜 표시된다.

그러므로, 계측 대상자(P)의 동작을 촬영한 동영상만으로부터에서는 파악하기 어려운 정보를, BOX 애니메이션에 의해 직감적이고 또한 용이하게 파악 가능해지는 동시에, 시각을 동기시켜 표시되는 센서 정보에 의해, 보다 상세한 동작의 특징을 명확하게 파악하는 것이 가능해진다. 또한, BOX 애니메이션의 시간적인 변화는 센서 정보와 대응되어 있으므로, BOX 애니메이션을 참조함으로써도, 정확한 해석 결과를 파악하는 것이 가능해진다.

또한, 해석 시스템(S)에서는, 원샷 모드에 있어서, 해석 결과 동영상이 표시되는 것에 선행하여, 계측 대상자(P)의 동작에 관한 소정의 정보를 표시함으로써, 소용없는 대기 시간이 생기는 것을 억제하고 있다.

도 16은, 원샷 모드에서의 각각의 장치 간의 처리의 타이밍을 개략적으로 나타낸 모식도이다.

도 16에 나타낸 바와 같이, 원샷 모드에 있어서, 처리 장치(3)는, 해석 결과 동영상을 표시하기 위해 센서 정보 및 동영상을 취득하는 경우, 먼저, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트의 센서 정보를 취득한다(도 15의 스텝 S54) 그리고, 계측 대상자(P)의 동작에 관한 정보를 간이 표시 화상으로서 표시하면서(도 15의 스텝 S55), 원샷의 범위의 센서 정보를 취득하고(스텝 S56), 이어서, 동영상의 데이터를 수신한다(도 15의 스텝 S57). 그리고, 동영상 데이터의 수신이 완료되고(도 5의 스텝 S58: YES), BOX 애니메이션이 생성되고(도 5의 스텝 S59), 해석 결과 동영상의 표시가 가능해질 때까지(도 5의 스텝 S60), 간이 표시 화상을 계속하여 표시한다.

그러므로, 처리 장치(3)가 동영상의 데이터를 취득하는 시간을 단지 기다리는 것보다도, 일정한 의의를 가지는 계측 대상자(P)의 동작에 관한 정보를 선행하여 표시할 수 있으므로, 사용자는 대상자의 동작을 더욱 효율적으로 파악 가능해진다.

또한, 계측 대상자(P)의 동작에 관한 정보를 선행하여 제시함으로써, 해석 결과 동영상의 생성에 필요한 최저한의 시간에 대하여, 제시한 정보가 사용자에게 열람되는 시간대를 부가적으로 창출할 수 있다. 그러므로, 해석 결과 동영상의 생성에 소비하는 시간을 더욱 길게 확보하는 것이 가능해지고, 보다 효과적인 해석 결과 동영상을 제시하는 것도 가능해진다.

또한, 해석 시스템(S)에 있어서는, 원샷 모드에 있어서, 계측 대상자(P)의 어드레스가 자동적으로 검출되고, 기록용의 동영상을 촬영할 수 있다.

따라서, 계측 대상자(P)는, 어드레스 하여 스윙한다고 하는 동작을 반복함으로써, 기록용의 동영상을 간단한 동작에 의해 순차 촬영할 수 있다.

[변형예 1]

전술한 실시형태에 있어서, BOX 애니메이션의 표시 형태는, 계측 대상자(P)의 신체의 3차원적인 동작을 모방한 것이면, 각종 변형을 행할 수 있다.

도 17은, BOX 애니메이션 An의 표시 형태예를 나타낸 모식도이다.

도 17에 나타낸 예에서는, BOX 애니메이션 An의 시점(視点)으로서, 정면에서 볼 때, 상면에서 볼 때, 좌측면에서 볼 때 등, 복수의 시점을 선택 가능하게 되어 있고, 도 17에 나타낸 예에서는, 선택 가능한 시점의 BOX 애니메이션 An이 화면 상부에 소사이즈로 표시되어 있다.

또한, BOX 애니메이션 An의 표시색은, 계측 대상자(P)의 신체의 3차원적인 동작을 보다 알기 쉬운 색으로 선택할 수 있다.

도 17에 나타낸 예에서는, 각 시점의 BOX 애니메이션 An의 표시색이 각각 상이한 색으로 설정되어 있다.

그리고, BOX 애니메이션을 계측 대상자(P)의 동영상에 중첩 표시할 때, 배경의 색을 검출하고, 배경의 색과 동화(同化)시키기 어려운 소정 색[예를 들면, 보색계(補色系)의 색 등]을 선택하는 것으로 해도 된다.

[변형예 2]

전술한 실시형태에 있어서, 리얼 타임 모드에서의 표시예로서, 계측 대상자(P)를 중앙에 표시하는 동시에, 계측 대상자(P)의 화상의 주위에서의 미리 설정된 소정 위치에 BOX 애니메이션 An을 표시하는 경우에 대하여 설명하였다. 이에 대하여, 리얼 타임 모드에 있어서도, 도 11에 나타낸 원샷 모드의 표시예와 같이, 계측 대상자(P)의 동영상에, BOX 애니메이션 An을 투과시켜 중첩되는 것이라도 된다.

또한, 반대로, 원샷 모드에 있어서도, 도 10에 나타낸 리얼 타임 모드의 표시예와 같이, 계측 대상자(P)를 중앙에 표시하는 동시에, 계측 대상자(P)의 화상의 주위에서의 미리 설정된 소정 위치에 BOX 애니메이션 An을 표시해도 된다.

[변형예 3]

전술한 실시형태에 있어서, 1개의 센서 유닛(1)을 계측 대상자(P)의 허리 등에 장착하여 센서 정보를 취득하는 것으로서 설명하였으나, 이에 한정되지 않는다. 즉, 복수의 센서 유닛(1)을 계측 대상자(P)의 어깨와 허리 등, 복수의 신체 부위에 장착하고, 이들 신체 부위 각각의 동작을 나타내는 BOX 애니메이션을 표시하는 것이라도 된다.

이 경우, 계측 대상자(P)의 신체 부위마다의 동작의 상위(相違)[예를 들면, 어깨와 허리의 비틀림(twist) 등]도 표시할 수 있어, 보다 효과적으로 계측 결과를 제시하는 것이 가능해진다.

또한, 센서 유닛(1)을 장착하는 신체 부위는, 허리 외에, 어깨, 목, 팔, 대퇴부(thigh), 두부(頭部) 등으로 할 수 있다.

[변형예 4]

전술한 실시형태에 있어서, 원샷 모드에서의 표시예에서는, 계측 대상자(P)의 동작의 연속적인 동영상이 표시된다. 이에 대하여, 계측 대상자(P)의 동작의 간헐적인 동영상을 표시하는 것이 가능해진다.

이 경우, 해석 결과 동영상을 생성하기 위한 처리 부하가 저하되고, 보다 조기에 해석 결과 동영상을 제시하는 것이 가능해진다.

[변형예 5]

전술한 실시형태에 있어서, BOX 애니메이션을 계측 대상자(P)의 동영상에 투과시켜 중첩시키는 경우, 그 투과도는, 목적에 따라 여러 가지 상이한 값을 설정할 수 있다.

예를 들면, 계측 대상자(P)가 행하려는 동작의 가이드로서, 인형의 오브젝트를 표시하는 경우, 계측 대상자(P)의 신체와 인형의 오브젝트와의 중첩이 클 때는, BOX 애니메이션의 투과도를 올리고(즉, 얇게 표시하고), 계측 대상자(P)의 신체와 인형의 오브젝트와의 중첩이 작을 때는, BOX 애니메이션의 투과도를 내리는(즉, 진하게 표시하는) 것이 가능하다.

이로써, 계측 대상자(P)의 동작의 가이드를 표시할 때, BOX 애니메이션을 더욱 효과적인 형태로 표시할 수 있다.

[변형예 6]

전술한 실시형태에 있어서, 촬영 장치(2)에 의해 센서 유닛(1)을 장착한 계측 대상자(P)를 촬영함으로써, 센서 유닛(1)의 장착 위치를 자동적으로 판별할 수 있다.

이 경우, 리얼 타임 모드에서의 표시예 등에서, 계측 대상자(P)에 있어서 센서 유닛(1)이 장착된 신체의 위치에 가까운 위치에, BOX 애니메이션을 표시할 때, BOX 애니메이션의 표시 위치를 자동적으로 결정하는 것이 가능해진다.

이상과 같이 구성되는 해석 시스템(S)은, 센서 유닛(1)과, 촬영 장치(2)와, 처리 장치(3)를 구비한다. 센서 유닛(1)은, 대상자에게 장착되고, 대상자의 동작을 센서에 의해 계측하는 검출 처리부(156)를 구비한다. 촬영 장치(2)는, 대상자의 화상을 촬영하는 촬영 제어부(253)를 구비한다. 처리 장치(3)는, 화상 취득부(357)와, 센서 정보 취득부(356)와, 해석 처리부(358)와, 화상 생성부(359)를 구비한다.

화상 취득부(357)는, 대상자가 촬영된 화상을 취득한다. 센서 정보 취득부(356)는, 대상자의 동작을 센서에 의해 계측한 계측 결과를 취득한다.

해석 처리부(358)는, 센서 정보 취득부(356)에 의해 취득된 계측 결과에 기초하여, 대상자의 동작을 나타내는 지표를 생성한다.

화상 생성부(359)는, 화상 취득부(357)에 의해 취득된 화상과, 해석 처리부(358)에 의해 생성된 지표를 함께 출력부(319)에 표시시킨다.

이로써, 대상자 자체의 동영상과 대상자의 동작을 알기 쉽게 나타내는 지표와, 대상자의 신체의 동작을 계측하여 얻어진 계측 결과가 병행하여 표시된다.

그러므로, 대상자의 동작을 촬영한 동영상만으로부터에서는 파악하기 어려운 정보를, 지표에 의해 직감적으로 또한 용이하게 파악 가능해지는 동시에, 계측 결과와 함께 지표가 표시되는 것에 의해, 동작의 특징을 명확하고 정확하게 파악하는 것이 가능해진다.

따라서, 본 발명에 의하면, 대상자의 동작에 대하여 보다 알기 쉽게 계측 결과를 제시할 수 있다.

해석 처리부(358)는, 계측 결과에 기초하여 대상자의 3차원적인 동작을 나타내는 지표를 생성한다.

이로써, 대상자의 동작을 더욱 직감적이고 또한 용이하게 파악하는 것이 가능해진다.

해석 처리부(358)는, 계측 결과에 기초하여 대상자의 동작을 나타내는 지표로서 입체적인 박스 화상을 생성한다.

센서 정보 취득부(356)는, 대상자에게 장착된 센서에 의해 계측된 계측 결과를 취득한다.

이로써, 보다 정확한 계측 결과를 취득할 수 있다.

화상 취득부(357)는, 대상자를 촬영하는 촬영 장치에 의해 촬영된 화상을 취득한다.

이로써, 보다 적절한 대상자의 화상을 촬영할 수 있다.

화상 생성부(359)는, 대상자의 화상에 지표를 중첩하여 표시한다.

이로써, 대상자의 동작과 지표의 변화를 용이하게 파악하는 것이 가능해진다.

화상 생성부(359)는, 대상자의 화상에 있어서, 대상자의 신체에서의 센서가 동작을 계측한 위치와 대응하는 위치에, 지표를 중첩하여 표시한다.

이로써, 대상자의 신체의 부위에서의 동작을 보다 용이하게 파악하는 것이 가능해진다.

화상 생성부(359)는, 대상자의 화상의 주위에 지표를 표시한다.

이로써, 대상자의 화상을 인식하기 쉬운 상태로, 대상자의 3차원적인 동작을 나타내는 지표를 표시할 수 있다.

화상 생성부(359)는, 대상자의 화상의 주위에 있어서, 대상자의 신체에서의 센서가 동작을 계측한 위치와 대응되어, 지표를 표시한다.

이로써, 대상자의 화상을 인식하기 쉬운 상태로, 대상자의 신체의 부위에서의 동작을 보다 용이하게 파악하는 것이 가능해진다.

센서 정보 취득부(356)는, 대상자의 신체에서의 복수 부위의 동작을 센서에 의해 계측한 계측 결과를 취득한다.

해석 처리부(358)는, 복수의 부위에 대하여 지표를 생성한다.

화상 생성부(359)는, 화상 취득부(357)에 의해 취득된 화상과, 해석 처리부(358)에 의해 생성된 복수 부위의 지표를 대응시켜 출력부(319)에 표시시킨다.

이로써, 대상자의 신체 부위마다의 동작의 상위(예를 들면, 어깨와 허리의 비틀림 등)도 표시할 수 있어, 보다 효과적으로 계측 결과를 제시하는 것이 가능해진다.

화상 생성부(359)는, 화상 취득부(357)에 의해 취득된 화상 중, 시계열(時系列)에 있어서의 간헐적인 화상과, 해석 처리부(358)에 의해 생성된 지표를 대응시켜 출력부(319)에 표시시킨다.

이로써, 해석 결과를 생성하기 위한 처리 부하가 저하되고, 보다 조기에 계측 결과를 제시하는 것이 가능해진다.

화상 생성부(359)는, 지표를 투과적으로 표시한다.

이로써, 대상자의 동영상의 육안관찰성을 확보하면서, 대상자의 3차원적인 동작을 나타내는 지표를 표시할 수 있다.

화상 생성부(359)는, 대상자의 동작의 가이드로 되는 화상을 표시하고, 대상자의 동작과 가이드로 되는 화상과의 중첩도(overlapping degree)에 따라 지표의 투과율을 변화시킨다.

이로써, 대상자의 동작의 가이드를 표시할 때, 지표를 더욱 효과적인 형태로 표시할 수 있다.

화상 생성부(359)는, 지표의 동작에 대하여 고정적으로 표시되는 축을 표시한다.

이로써, 대상자의 평행 이동 등도 표시할 수 있어, 대상자의 신체의 동작이 보다 파악하기 쉬운 것으로 된다.

그리고, 본 발명은, 전술한 실시형태에 한정되지 않고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

전술한 실시형태에 있어서, 처리 장치(3)가 간이 표시 화상을 표시하는 경우, 촬영 장치(2)로부터의 동영상의 취득 및 해석 결과 동영상의 생성 전체에 필요로 하는 시간을 추측하고, 추측한 시간을 간이 표시 화상의 수로 분할한 시간씩, 간이 표시 화상을 순차로 표시해도 된다. 이로써, 간이 표시 화상의 표시 내용과 해석 결과 동영상의 표시 개시 타이밍과의 정합(整合)을 취하면서, 보다 알기 쉬운 형태로 해석 결과를 표시할 수 있다.

또한, 전술한 실시형태에 있어서, 해석 시스템(S)을 센서 유닛(1), 촬영 장치(2) 및 처리 장치(3)의 3개의 장치에 의해 구성하는 것으로 하였으나, 이에 한정되지 않는다. 예를 들면, 센서 유닛(1)과 처리 장치(3)와의 기능을 겸비한 스마트 폰 등에 의해, 센서 유닛(1)과 처리 장치(3)를 일체화한 장치로서 해석 시스템(S)을 구성해도 된다.

또한, 전술한 실시형태에 있어서, BOX 애니메이션의 시간적 변화를 표시하는 경우, 센서 유닛(1)에 의해 취득된 센서 정보를 기초로, 가속도의 변화 등, 동작의 특징을 상이한 색 또는 지표를 표시하는 등의 표시 형태에 의해, 식별하여 표시하는 것이라도 된다. 예를 들면, 기준보다도 큰 가속도로 신체가 움직이고 있는 경우, 계측 대상자(P)의 신체를 적색으로 착색하거나 할 수 있다.

전술한 실시형태에 있어서, 리얼 타임 모드에서의 표시예 등과 같이, 계측 대상자(P)의 화상의 주위에서의 미리 설정된 소정 위치에 BOX 애니메이션을 표시하는 경우, 계측 대상자(P)에 있어서 센서 유닛(1)이 장착된 신체의 위치를 인출선(引出線)이나 마커로 식별하여 나타내는 것으로 해도 된다. 또한, 계측 대상자(P)에 있어서 센서 유닛(1)이 장착된 신체의 위치에, BOX 애니메이션을 중첩하여 표시하는 것이라도 된다.

전술한 실시형태에 있어서, 계측 대상자(P)가 스윙을 행했는지의 여부에 대하여, 센서 정보에 의해 상세한 조건을 설정하여 판정할 수 있다. 예를 들면, 연직축 주위의 회전 각도가 제1 각도 이상, 테이킹 백 방향(taking-back direction)으로 회전한 경우에 탑이라고 판정하고, 탑으로부터 연직축 주위에 제1 각속도 이상에서 회전한 경우에 다운스윙이라고 판정하고, 연직축 주위의 회전 각도가 제2 각도 이상, 팔로우 방향으로 회전한 경우에 팔로우라고 판정하고, 이들 모든 조건을 충족 한 경우에, 스윙이 행해진 것으로 판정할 수 있다. 그리고, 이들 판정 조건이 충족되는 시간에도 더 조건을 설정해도 된다.

예를 들면, 각 조건이 2초 이내에 순차적으로 충족되는 것 등을 조건으로 설정할 수 있다.

전술한 실시형태에 있어서, 센서 정보에 기초하여, 골프의 스윙에서의 소정의 특징적인 포인트의 타이밍을 검출하는 경우, 시계열의 데이터(time-series data)를 시간순으로 해석하여 특징적인 포인트를 판별하는 것이나, 특징적인 포인트로서 명백하게 판별 가능한 타이밍으로부터 시계열의 역방향으로 해석하여, 다른 특징적인 포인트를 판별할 수 있다.

이로써, 골프의 스윙에서의 소정의 특징적인 포인트의 타이밍을 더욱 확실하게 검출할 수 있다.

전술한 실시형태에 있어서, 간이 표시 생성부(360)가 간이 표시 화상을 표시하는 경우, 해석 처리부(358)에 의한 BOX 애니메이션의 데이터의 생성 및 화상 생성부(359)에 의한 해석 결과 동영상의 표시에 관한 처리를 캔슬시키는 캔슬 버튼을 표시하는 것이라도 된다.

이로써, 간이 표시 화상을 확인함으로써, 해석 결과 동영상의 생성이 불필요한 것으로 판단되었을 경우에, 소용없는 처리가 행해지는 것을 억제할 수 있다.

전술한 실시형태에 있어서, 원샷 모드에 의해 취득한 원샷의 범위의 센서 정보를 센서 유닛(1)으로부터 처리 장치(3)로 송신하는 경우, 도 13의 스텝 S14에서, 계측 대상자(P)의 골프의 스윙에서의 소정의 특징적인 포인트의 센서 정보를 선행하여 송신하지 않고, 도 13의 스텝 S15에서, 원샷의 범위의 센서 정보 전체를 처리 장치(3)로 송신하는 것이라도 된다.

이 경우, 센서 정보의 송신에 필요로 하는 시간을 전체적으로 단축할 수 있다.

전술한 실시형태에 있어서는, 검출 처리부(156)는, 원샷 모드에 있어서 취득된 센서 정보에 기초하여, 골프의 스윙에서의 소정의 특징적인 포인트의 타이밍을 검출한다. 예를 들면, 검출 처리부(156)는, 원샷 모드에 있어서 취득한 센서 정보의 파형을 해석하고, 파형의 변화량이 적은 상태로부터 파형이 변화되기 시작한 타이밍을 어드레스의 타이밍으로서 검출해도 되고, 한 번 스윙의 범위를 검출하고, 다운스윙의 타이밍을 검출한 후에, 상기 다운스윙의 타이밍으로부터 소정 시간 소급(traced back)한 시점을 어드레스의 시점으로서 재설정하여, 원샷의 범위를 결정하도록 구성해도 된다.

전술한 실시형태에 있어서, 골프의 스윙을 행하는 계측 대상자(P)에 센서 유닛(1)을 장착하고, 골프의 스윙의 해석에 해석 시스템(S)을 사용하는 경우에 대하여 설명하였으나, 이에 한정되지 않는다. 즉, 본 발명에 관한 해석 시스템(S)은, 야구, 테니스, 육상 경기 등, 피사체로 되는 플레이어를 화각(畵角)의 고정적인 위치에 촬영 가능한 각종 스포츠 등에 사용할 수 있다. 예를 들면, 야구의 타석에서 스윙하는 타자, 마운드로 투구하는 피처, 테니스의 서버, 병렬로 주행하는 카메라로 촬영되는 단거리 주자 등을 대상으로 하여, 본 발명에 관한 해석 시스템(S)을 사용할 수 있다.

또한, 전술한 실시형태에서는, 본 발명이 적용되는 처리 장치(3)는, 스마트 폰을 예로 들어 설명하였으나, 특별히 이에 한정되지 않는다.

예를 들면, 본 발명은, 화상 처리 기능을 가지는 전자 기기(機器)에 일반적으로 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 노트북형의 퍼스널 컴퓨터, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 휴대 전화기, 휴대용 게임기 등에 적용할 수 있다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

바꾸어 말하면, 도 6, 도 8, 도 9의 기능적 구성은 예시에 지나지 않고, 특별히 한정되지 않는다.

즉, 전술한 일련의 처리를 전체적으로 실행할 수 있고 기능이 해석 시스템(S)에 구비되어 있으면 되고, 이 기능을 실현하기 위해 어떠한 기능 블록을 사용할 것인지는 특히 도 6, 도 8, 도 9의 예에 한정되지 않는다.

또한, 1개의 기능 블록은, 하드웨어 단체(單體)로 구성해도 되고, 소프트웨어 단체로 구성해도 되고, 이들의 조합에 의해 구성해도 된다.

본 실시형태에 있어서의 기능적 구성은, 연산 처리를 실행하는 프로세서에 의해 실현되고, 본 실시형태에 사용할 수 있는 프로세서에는, 싱글 프로세서, 멀티 프로세서 및 멀티 코어 프로세서 등의 각종 처리 장치 단체에 의해 구성되는 것 외에, 이들 각종 처리 장치와, ASIC(Application Specific Integrated Circuit)나 FPGA(FieldProgra㎜able Gate Array) 등의 처리 회로가 조합된 것을 포함한다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.

컴퓨터는, 전용(專用)의 하드웨어에 내장되어 있는 컴퓨터라도 된다. 또한, 컴퓨터는, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행할 수 있는 컴퓨터, 예를 들면, 범용의 퍼스널 컴퓨터라도 된다.

이와 같은 프로그램를 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 4, 도 5의 착탈 가능 매체(231, 331)에 의해 구성될뿐아니라, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 착탈 가능 매체(231, 331)는, 예를 들면, 자기 디스크(플로피 디스크를 포함함), 광디스크, 또는 광자기 디스크 등에 의해 구성된다. 광디스크는, 예를 들면, CD―ROM(Compact Disk―Read Only Memory), DVD(Digital Versatile Disk), Blu―ray(등록상표) disc(블루 레이 디스크) 등에 의해 구성된다. 광자기 디스크는, MD(Mini―Disk) 등에 의해 구성된다. 또한, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 3∼도 5의 ROM(112), (212), (312)이나, 도 3∼도 5의 기억부(119, 219, 320)에 포함되는 하드디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술(記述)하는 스텝은, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다. 또한, 본 명세서에 있어서, 시스템의 용어는, 복수의 장치나 복수의 수단 등에 의해 구성되는 전체적인 장치를 의미하는 것으로 한다.

이상, 본 발명의 몇 가지의 실시형태에 대하여 설명하였으나, 이들 실시형태는, 예시에 지나지 않고, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 외의 다양한 실시형태를 취하는 것이 가능하면서 또한 본 발명의 요지를 벗어나지 않는 범위에서, 생략이나 치환 등 각종 변경을 행할 수 있다. 이들 실시형태나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 특허 청구의 범위에 기재된 발명과 그 균등한 범위에 포함된다.

Claims

미리 설정된 복수의 모드로서, 촬영 장치에 대하여 대상자의 신체에서의 동작을 순차 촬영시키는 제1 모드와, 상기 제1 모드에 의해 순차 촬영하고 있을 때에 외부 조작의 검출에 기초하여 개시하는 모드로서 상기 대상자에게 장착된 센서에 의해 취득되는 상기 동작에서의 계측 결과에 기초하여 개시 타이밍을 검출하면 순차 촬영되고 있는 상기 동작의 동화상 기록을 개시시키는 제2 모드 중, 어느 하나의 모드를 설정하는 모드 설정 수단;
상기 촬영 장치에 대하여, 상기 모드 설정 수단에 의해 설정된 모드에 따라 미리 설정된 촬영 속도로 촬영하도록 제어하여, 미리 설정된 촬영 속도로 대상자(subject)가 촬영된 상기 동작의 화상을 취득하는 화상 취득 수단;
상기 대상자의 신체에서의 부위의 동작(motion)을, 상기 모드 설정 수단에 의해 설정된 모드에 기초하여 미리 설정된 샘플링 레이트로 상기 대상자에 장착된 상기 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 수단;
상기 계측 결과 취득 수단에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 상기 부위에 관한 지표(index)로서, 입체적인 박스 화상을 생성하는 지표 생성 수단; 및
상기 화상 취득 수단에 의해 취득된 상기 동작의 화상과, 상기 지표 생성 수단에 의해 생성된 상기 지표를, 중첩하여 표시 수단에 표시시키는 표시 제어 수단;
을 포함하는 화상 처리 장치.
제1항에 있어서,
상기 지표 생성 수단은, 상기 계측 결과에 기초하여 상기 대상자의 3차원적인 동작을 나타내는 지표를 생성하는, 화상 처리 장치.
제1항에 있어서,
상기 화상 취득 수단은, 상기 대상자를 촬영하는 촬영 장치에 의해 촬영된 상기 화상을 취득하는, 화상 처리 장치.
제1항에 있어서,
상기 표시 제어 수단은, 상기 대상자의 화상에 상기 지표를 중첩하여 표시하는, 화상 처리 장치.
제4항에 있어서,
상기 표시 제어 수단은, 상기 대상자의 화상에 있어서, 상기 대상자의 신체에서의 상기 센서가 동작을 계측한 위치와 대응하는 위치에, 상기 지표를 중첩하여 표시하는, 화상 처리 장치.
제1항에 있어서,
상기 표시 제어 수단은, 상기 대상자의 화상의 주위에 상기 지표를 표시하는, 화상 처리 장치.
제6항에 있어서,
상기 표시 제어 수단은, 상기 대상자의 화상의 주위에 있어서, 상기 대상자의 신체에서의 상기 센서가 동작을 계측한 위치와 대응시켜, 상기 지표를 표시하는, 화상 처리 장치.
제1항에 있어서,
상기 표시 제어 수단은, 상기 화상 취득 수단에 의해 취득된 상기 화상 중, 시계열(time-series)에 있어서의 간헐적인 화상과, 상기 지표 생성 수단에 의해 생성된 상기 지표를 대응시켜 표시 수단에 표시시키는, 화상 처리 장치.
제1항에 있어서,
상기 표시 제어 수단은, 상기 지표를 투과적으로 표시하는, 화상 처리 장치.
제1항에 있어서,
상기 표시 제어 수단은, 상기 대상자의 동작의 가이드로 되는 화상을 표시하고, 상기 대상자의 동작과 상기 가이드로 되는 화상과의 중첩도(overlapping degree)에 따라 상기 지표의 투과율을 변화시키는, 화상 처리 장치.
제1항에 있어서,
상기 표시 제어 수단은, 상기 지표의 동작에 대하여 고정적으로 표시되는 축을 표시하는, 화상 처리 장치.
대상자의 화상을 촬영하는 촬영 수단을 구비하는 촬영 장치;
상기 대상자에게 장착되고, 상기 대상자의 동작을 센서에 의해 계측하는 계측 수단을 구비하는 검출 장치;
미리 설정된 복수의 모드로서, 상기 촬영 장치에 대하여 대상자의 신체에서의 동작을 순차 촬영시키는 제1 모드와, 상기 제1 모드에 의해 순차 촬영하고 있을 때에 외부 조작의 검출에 기초하여 개시하는 모드로서 상기 대상자에게 장착된 센서에 의해 취득되는 상기 동작에서의 계측 결과에 기초하여 개시 타이밍을 검출하면 순차 촬영되고 있는 상기 동작의 동화상 기록을 개시시키는 제2 모드 중, 어느 하나의 모드를 설정하는 모드 설정 수단;
상기 촬영 장치에 대하여, 상기 모드 설정 수단에 의해 설정된 모드에 따라 미리 설정된 촬영 속도로 촬영하도록 제어하여, 미리 설정된 촬영 속도로 대상자(subject)가 촬영된 상기 동작의 화상을 취득하는 화상 취득 수단;
상기 검출 장치로부터, 상기 대상자의 신체에서의 부위의 동작을, 상기 모드 설정 수단에 의해 설정된 모드에 기초하여 미리 설정된 샘플링 레이트로 상기 대상자에 장착된 상기 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 수단;
상기 계측 결과 취득 수단에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 상기 부위에 대한 지표로서, 입체적인 박스 화상을 생성하는 지표 생성 수단; 및
상기 화상 취득 수단에 의해 취득된 상기 동작의 화상과, 상기 지표 생성 수단에 의해 생성된 상기 지표를, 중첩하여 표시 수단에 표시시키는 표시 제어 수단;
을 구비하는 화상 처리 장치를 포함하는,
해석 시스템.
화상 처리 장치가 실행하는 화상 처리 방법으로서,
미리 설정된 복수의 모드로서, 촬영 장치에 대하여 대상자의 신체에서의 동작을 순차 촬영시키는 제1 모드와, 상기 제1 모드에 의해 순차 촬영하고 있을 때에 외부 조작의 검출에 기초하여 개시하는 모드로서 상기 대상자에게 장착된 센서에 의해 취득되는 상기 동작에서의 계측 결과에 기초하여 개시 타이밍을 검출하면 순차 촬영되고 있는 상기 동작의 동화상 기록을 개시시키는 제2 모드 중, 어느 하나의 모드를 설정하는 모드 설정 단계;
상기 촬영 장치에 대하여, 상기 모드를 설정하는 수단에 의해 설정된 모드에 따라 미리 설정된 촬영 속도로 촬영하도록 제어하여, 미리 설정된 촬영 속도로 대상자(subject)가 촬영된 상기 동작의 화상을 취득하는 화상 취득 단계;
상기 대상자의 신체에서의 부위의 동작을, 상기 모드 설정 단계에 의해 설정된 모드에 기초하여 미리 설정된 샘플링 레이트로 상기 대상자에 장착된 상기 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 단계;
상기 계측 결과 취득 단계에서 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 상기 부위에 대한 지표로서, 입체적인 박스 화상을 생성하는 지표 생성 단계; 및
상기 화상 취득 단계에서 취득된 상기 동작의 화상과, 상기 지표 생성 단계에서 생성된 상기 지표를, 중첩하여 표시 수단에 표시시키는 표시 제어 단계;
를 포함하는 화상 처리 방법.
화상 처리 장치를 제어하는 컴퓨터로 하여금,
미리 설정된 복수의 모드로서, 촬영 장치에 대하여 대상자의 신체에서의 동작을 순차 촬영시키는 제1 모드와, 상기 제1 모드에 의해 순차 촬영하고 있을 때에 외부 조작의 검출에 기초하여 개시하는 모드로서 상기 대상자에게 장착된 센서에 의해 취득되는 상기 동작에서의 계측 결과에 기초하여 개시 타이밍을 검출하면 순차 촬영되고 있는 상기 동작의 동화상 기록을 개시시키는 제2 모드 중, 어느 하나의 모드를 설정하는 모드 설정 기능;
상기 촬영 장치에 대하여, 상기 모드 설정 기능에 의해 설정된 모드에 따라 미리 설정된 촬영 속도로 촬영하도록 제어하여, 미리 설정된 촬영 속도로 대상자(subject)가 촬영된 상기 동작의 화상을 취득하는 화상 취득 기능;
상기 대상자의 신체에서의 부위의 동작을, 상기 모드 설정 기능에 의해 설정된 모드에 기초하여 미리 설정된 샘플링 레이트로 상기 대상자에 장착된 상기 센서에 의해 계측한 계측 결과를 취득하는 계측 결과 취득 기능;
상기 계측 결과 취득 기능에 의해 취득된 상기 계측 결과에 기초하여, 상기 대상자의 동작을 나타내는 상기 부위에 대한 지표로서, 입체적인 박스 화상을 생성하는 지표 생성 기능; 및
상기 화상 취득 기능에 의해 취득된 상기 동작의 화상과, 상기 지표 생성 기능에 의해 생성된 상기 지표를, 중첩하여 표시 수단에 표시시키는 표시 제어 기능;
을 실현하게 하는, 기록 매체에 기록된 프로그램.
삭제
삭제
삭제