KR20150113800A - 단말 장치, 프로그램 및 표시 방법 - Google Patents

Abstract

[과제] 플레이어의 동작을 효과적으로 확인하는 것이 가능한 단말 장치를 제공한다.
[해결 수단] 본 발명의 일 태양(態樣)에 관련되는 단말 장치는, 센서가 취부(取付)된 측정 대상물의 동화상을 취득하는 동화상 취득 수단과, 상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 센서 데이터 취득 수단과, 상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 표시 제어 수단을 구비한다.

Description

단말 장치, 프로그램 및 표시 방법{TERMINAL DEVICE, PROGRAM AND DISPLAY METHOD}

본 발명은, 스포츠 등을 하고 있는 플레이어의 동작을 해석하는 단말 장치에 관한 것이다.

플레이어의 스윙(동작)을 해석하는 단말 장치로서, 골프 클럽에 취부(取付)된 모션 센서로부터 수신한 센서 데이터를 이용하여 플레이어의 스윙(동작)의 궤적을 시각화하는 단말 장치가 알려져 있다(비특허문헌 1).

"Fullmiere(후루미에루)", [online], 2013년, 카부시키가이샤ACCESS,[2014년 3월 1일 검색], 인터넷<URL: http://www.fullmiere.com/>

상기 종래의 단말 장치에 있어서는, 플레이어는, 화면에 표시된 플레이어 자신의 스윙(동작)의 궤적을 확인할 수 있다. 그렇지만 플레이어가 플레이어 자신의 동작을 보다 효과적으로 확인하는 것을 가능하게 하는 단말 장치가 요망되고 있다.

그래서 본 발명의 다양한 실시예에 의하여, 플레이어의 동작을 효과적으로 확인하는 것이 가능한 단말 장치를 제공한다.

본 발명의 일 태양(態樣)에 관련되는 단말 장치는, 센서가 취부된 측정 대상물의 동화상을 취득하는 동화상 취득 수단과, 상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 센서 데이터 취득 수단과, 상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 표시 제어 수단을 구비한다.

본 발명의 일 태양에 관련되는 프로그램은, 컴퓨터를, 센서가 취부된 측정 대상물의 동화상을 취득하는 동화상 취득 수단, 상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 센서 데이터 취득 수단, 및, 상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 표시 제어 수단으로서 기능시키는 것이다.

본 발명의 일 태양에 관련되는 표시 방법은, 센서가 취부된 측정 대상물의 동화상을 취득하는 단계와, 상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 단계와, 상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 단계를 포함한다.

본 발명의 다양한 실시예에 의하면, 플레이어의 동작을 효과적으로 확인하는 것이 가능한 단말 장치를 제공할 수 있다.

도 1은, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 센서(100)의 구성을 도시하는 블록도이다.
도 2는, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 카메라(200)의 구성을 도시하는 블록도이다.
도 3은, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 단말 장치(300)의 구성을 도시하는 블록도이다.
도 4는, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 센서(100)가 골프 클럽에 취부된 모습을 도시하는 모식도이다.
도 5는, 본 발명의 일 실시예에 관련되는 해석 시스템에 의하여 행하여지는 동작을 도시하는 플로도이다.
도 6은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 카메라(200)의 프리뷰 표시부(250)에 표시되는 프리뷰 화면의 일례를 도시하는 모식도이다.
도 7은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 카메라(200)의 기울기가 수평인 경우에 플레이어와 카메라(200)의 사이의 적절한 거리를 설명하는 모식도이다.
도 8은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 피사체의 높이가 가장 높아지는 상태를 설명하는 모식도이다.
도 9는, 본 발명의 일 실시예와 관련되는 해석 시스템에 있어서의 카메라(200)의 기울기가 수평이 아닌 경우에 플레이어와 카메라(200)의 사이의 적절한 거리를 설명하는 모식도이다.
도 10은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 단말 장치(300)의 표시부(350)에 표시되는 화면의 일례를 도시하는 도면이다.
도 11은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 단말 장치(300)의 표시부(350)에 표시되는 화면의 다른 예를 도시하는 도면이다.
도 12는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서 스윙 시에 있어서의 플레이어의 이상적인 자세를 설명하는 모식도이다.
도 13a는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서 스윙의 측정 개시로부터 녹화 데이터와 스윙의 궤적을 나타내는 동화상과의 좌표 포개어 맞춤 처리가 완료할 때까지의 프로그램 플로를 도시하는 도면이다.
도 13b는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서 스윙의 측정 개시로부터 녹화 데이터와 스윙의 궤적을 나타내는 동화상과의 좌표 포개어 맞춤 처리가 완료할 때까지의 프로그램 플로를 도시하는 도면이다.
도 14는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 단말 장치(300)의 표시부(350)에 표시되는 화면의 또 다른 예를 도시하는 도면이다.
도 15는, 도 14에 도시된 선분을 화면 상의 동화상과 포개어 맞출 때에 프로그램이 화면 묘화(描畵) 영역에 선분을 배치하는 프로세스를 설명하는 플로도이다.
도 16은, 센서를 골프 클럽에 취부하여 스윙한 경우의, 모션 센서(100)의 각속도(角速度) 센서의 센서 좌표계에서의 X축 및 Z축의 센서 데이터, 및, 가속도 센서의 Y축의 센서 데이터에 의한 파형이다.

첨부 도면을 참조하여 본 발명의 다양한 실시예를 설명한다. 덧붙여, 첨부 도면에 있어서의 공통하는 구성 요소에는 동일한 참조 부호가 붙어 있다.

이하, 플레이어의 동작을 해석하는 단말 장치로서, 골프 클럽을 악지(握持)한 플레이어의 스윙을 해석하는 단말 장치(휴대 전화, 스마트폰, 휴대 정보 단말 및 랩톱 컴퓨터 등)를 예로 들어 구체적으로 설명한다.

본 발명의 일 실시예에 관련되는 해석 시스템은, 측정 대상물인 골프 클럽에 취부되는 센서(100)와, 이 골프 클럽을 악지하여 스윙을 하는 플레이어의 동화상을 생성하는 카메라(촬상부)(200)와, 센서(100) 및 카메라(200)에 접속된 단말 장치(300)를 포함한다.

도 1은, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 센서(100)의 구성을 도시하는 블록도이다. 도 2는, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 카메라(200)의 구성을 도시하는 블록도이다. 도 3은, 본 발명의 일 실시예에 관련되는 해석 시스템에 포함되는 단말 장치(300)의 구성을 도시하는 블록도이다.

도 1을 참조하면, 센서(100)는, 마이크로컴퓨터(CPU)(110)와, 모션 센서(120)와, 통신부(130)와, 조작 버튼(140)과, LED(150)를 포함한다.

모션 센서(120)는, 3축(X축, Y축 및 Z축) 방향의 가속도를 검출하는 가속도 센서, 및, 3축 방향의 각속도를 검출하는 각속도 센서를 포함한다. 모션 센서(120)는, 더 지자기(地磁氣) 센서를 포함하는 것이어도 무방하다.

마이크로컴퓨터(CPU)(110)는, 센서(100)에 있어서의 각부를 제어한다. 또한, 마이크로컴퓨터(110)는, 모션 센서(120)에 의하여 검출된 각 데이터의 동기(同期)를 잡아, 바이어스 보정이나 온도 보정 등의 처리를 행한 데이터를 센서 데이터로서 통신부(130)에 출력한다. 나아가, 마이크로컴퓨터(110)는, 그 외의 다양한 처리를 행한다.

통신부(130)는, 단말 장치(300)와의 사이에 있어서, 예를 들어 협대역(狹帶域)의 무선 통신(광대역의 통신이어도 무방하다)을 행하는 것에 의하여, 데이터의 송수신을 행한다. 협대역의 무선 통신은, Bluetooth(등록 상표) 및 무선 LAN 등을 이용한 무선 통신이다.

조작 버튼(140)은, 플레이어에 압압(押壓)되는 것에 의하여, 센서(100)와 단말 장치(300)의 사이에 있어서의 데이터의 송수신을 개시하도록 기능한다. LED(150)는, 단말 장치(300) 측의 해석 준비가 갖추어져 있는지 여부, 또는, 센서(100)와 단말 장치(300)의 사이에 있어서 통신 에러가 발생하고 있지 않는지 여부 등에 따라 점등한다. 이것에 의하여, 플레이어는, 단말 장치(300)의 표시부에 표시된 에러 화면이나 조작 지시를 보지 않아도, LED(150)의 점등 상태를 확인하는 것에 의하여, 스윙 동작의 개시 전에, 스윙 측정을 계속해야 할지 중단해야 할지를 판단할 수 있다.

이와 같은 구성을 가지는 센서(100)는, 도 4에 도시하는 바와 같이, 예를 들어, 골프 클럽 C의 그립 부분 G와 샤프트 부분 S와의 경계 부근에 착탈(着脫) 가능하게 취부된다. 이 센서(100)는, 스윙 시의 충격이나 타구 시의 충격에 의하여 골프 클럽 C로부터 빠지는 것을 방지하기 위하여, 고무 밴드 등의 홀더 H에 의하여 골프 클럽 C에 고정된다.

다음으로, 도 2에 도시하는 바와 같이, 카메라(200)는, 처리부(CPU)(210)와, 비디오 카메라 제어부(220)와, 카메라부(230)와, 통신부(240)와, 프리뷰 표시부(250)를 포함한다.

비디오 카메라 제어부(220)는 카메라부(230)를 제어한다. 카메라부(230)는, 다수의 촬상 소자에 의하여 형성된 것이고, 비디오 카메라 제어부(220)에 제어되는 것에 의하여, 촬상 처리를 실행하고, 정지 화상 및/또는 동화상을 생성하여 통신부(240)에 출력한다.

처리부(CPU)(210)는, 카메라(200)에 있어서의 각부를 제어한다. 또한, 처리부(210)는, 그 외의 다양한 처리를 행한다.

통신부(240)는, 단말 장치(300)와의 사이에 있어서, 예를 들어 협대역의 무선 통신(광대역의 통신이어도 무방하다)을 행하는 것에 의하여, 데이터의 송수신을 행한다. 협대역의 무선 통신은, Bluetooth(등록 상표) 및 무선 LAN 등을 이용한 무선 통신이다. 프리뷰 표시부(250)는, 후술하는 프리뷰 화상 등을 표시한다.

다음으로, 도 3에 도시하는 바와 같이, 단말 장치(300)는, 처리부(CPU)(310)와, ROM(320)과, RAM(330)과, 조작부(340)와, 표시부(350)와, 통신부(360)와, 불휘발성 메모리(370)를 포함한다.

ROM(320)은, 스윙의 해석 등을 실행하는 어플리케이션(이하 편의상 「특정 어플리케이션」이라고 한다.) 및 이 특정 어플리케이션을 실행 가능한 시스템을 기억하는 메모리이다. 이와 같은 어플리케이션 및 시스템(을 구성하는 다수의 명령)은, CPU(310)에 의하여 로드되어 실행된다.

RAM(330)은, ROM(320)에 기억된 특정 어플리케이션 및 이 특정 어플리케이션을 실행하는 시스템(을 구성하는 다수의 명령)이 CPU(310)에 의하여 실행되는 동안, 데이터의 쓰기 및 읽기를 하기 위하여 이용되는 메모리이다.

조작부(340)는, 플레이어(유저)로부터의 조작을 받아들이는 입력 유닛이다. 조작부(340)로부터 입력된 정보는, 특정 어플리케이션을 실행하는 시스템을 경유하여 특정 어플리케이션에 통지된다.

표시부(350)는, 특정 어플리케이션 및 이 특정 어플리케이션을 실행하는 시스템에 의하여 지시된 문자, 아이콘 및 버튼 등의 컴포넌트, 및, 비디오 데이터의 재생 뷰 등을 포함하는 다양한 정보를 표시한다. 덧붙여, 단말 장치(300)는, 표시부(350)에 표시 가능한 정보를, 표시부(350)에 있어서가 아니라, 단말 장치(300)와는 별체(別體)로서 설치된 표시 장치에 표시하도록 구성되어 있어도 무방하다.

통신부(360)는, 센서(100) 및 카메라(200)와의 사이에 있어서, 협대역의 무선 통신(광대역의 통신이어도 무방하다)을 행하는 것에 의하여, 데이터의 송수신을 행한다.

불휘발성 메모리(370)는, 특정 어플리케이션 및 이 특정 어플리케이션을 실행하는 시스템에 의하여, 데이터의 쓰기 및 읽기가 실행되는 메모리이다. 이 불휘발성 메모리(370)에 쓰기된 데이터는, 특정 어플리케이션 및 이 특정 어플리케이션을 실행하는 시스템이 종료한 후에도 보존된다.

처리부(CPU)(310)는, 스윙의 해석 등에 관한 다양한 처리를 행하는 것이고, 예를 들어, 카메라 거리 산출부(311), 센서 데이터 해석부(312), 센서 조작 판정부(313), 비디오 데이터 재생부(314), 비디오 데이터 해석부(315), 비디오 데이터 읽어냄부(316), 비디오 데이터 기록부(317) 및 적정 자세 판정부(318) 등의 기능 블록을 포함한다.

카메라 거리 산출부(311)는, 특정 어플리케이션에 실장(實漿)된 프로그램 유닛이고, 스윙의 녹화 및 스윙의 궤적의 측정에 필요한 플레이어와 카메라(200)와의 사이의 적절한 거리를 계산하는 프로그램 유닛이다.

센서 데이터 해석부(312)는, 특정 어플리케이션에 실장된 프로그램 유닛이고, 센서(100)로부터 수신한 센서 데이터를, 해석하여 스윙에 관한 데이터로 변환하는 프로그램 유닛이다.

센서 조작 판정부(313)는, 스윙의 측정을 행할 때에, 통신부(360)를 통하여 센서(100)로부터 수신한 조작 버튼(140)에 대한 조작의 내용을 판정하는 프로그램 유닛이다.

비디오 데이터 재생부(314)는, 카메라(200)에 의하여 생성된 비디오 데이터(동화상)를 생성하고, 표시부(350)에 묘화하는 프로그램 유닛이다.

비디오 데이터 해석부(315)는, 카메라(200)에 의하여 생성된 비디오 데이터(동화상)를 해석하고, 센서 데이터 해석부(312)로부터 수신한 스윙에 관한 데이터를 이용하여, 동화상에 대한 트리밍을 행하는 프로그램 유닛이다.

비디오 데이터 기록부(317)는, 비디오 데이터 해석부(315)에 의하여 트리밍된 비디오 데이터를, 센서 데이터 해석부(312)에 의하여 생성된 스윙에 관한 데이터와 관련지어 불휘발성 메모리(370)에 기록하는 프로그램 유닛이다.

비디오 데이터 읽어냄부(316)는, 비디오 데이터 기록부(317)에 의하여 불휘발성 메모리(370)에 보존된 비디오 데이터(동화상)를 읽어들여 RAM(330)에 보존하는 프로그램 유닛이다.

적정 자세 판정부(318)는, 플레이어의 신장, 및, 스윙 개시 시의 클럽의 라이각 및 클럽 길이를 이용하여 적정한 자세를 계산하는 프로그램 유닛이다.

덧붙여, 도 2 및 도 3에는, 도 2에 도시한 카메라(200)가 도 3에 도시한 단말 장치(300)의 외부에 설치되는 구성, 즉, 카메라(200)가 단말 장치(300)와는 별체로서 설치되는 구성이 도시되어 있지만, 카메라(200)가 단말 장치(300)에 내장되는 구성, 즉, 카메라(200)가 단말 장치(300)의 내부에 설치되는 구성을 채용하는 것도 가능하다. 이 경우, 통신부 360과 통신부 240의 사이에서 이루어지는 데이터의 송수신은, 처리부(310)와 비디오 데이터 기록부(317)의 사이에 있어서 대행되고, 프리뷰 표시부(250)는 표시부(350)에 포함되고, 처리부(CPU)(300)는 처리부(CPU)(310)에 포함된다.

다음으로, 상기 구성을 가지는 해석 시스템에 의하여 행하여지는 동작에 관하여 도 5를 참조하여 설명한다. 도 5는, 본 발명의 일 실시예에 관련되는 해석 시스템에 의하여 행하여지는 동작을 도시하는 플로도이다.

우선, 단말 장치(300)의 표시부(350)(즉 디스플레이)에 있어서(표시된 동화상에 있어서의) 클럽 헤드가 그리는 원이 차지하는 크기와, 표시부(350)에 있어서(센서 데이터에 기초하여 표시된) 스윙의 궤적이 차지하는 크기를, 대략 일치시키기 위하여, 스텝(이하 「ST」라고 한다.) 501 ~ ST507에 있어서, 이하에 서술하는 대로, 프로그램에 의한 자동 조정이 행하여진다.

우선, 녹화 개시 전에, 플레이어에 대향하는 위치에 배치된 카메라(200)의 프리뷰 표시부(250)가, 플레이어의 머리의 위치 및 서있는 위치(즉, 인형(人型)의 모식도(600)), 및, 볼의 위치 및 수평선을 도 6(a) 내지 도 6(d)에 도시하는 바와 같은 프리뷰 화면으로서 표시하는 것에 의하여, 플레이어의 적절한 서있는 위치를 유도한다. 덧붙여, 도 6(a) 내지 도 6(d)는, 플레이어를, 각각, 정면, 배면, 후방(오른손잡이 플레이어인 경우) 및 후방(왼손잡이 플레이어인 경우)으로부터 촬영하는 경우에 프리뷰 표시부(250)에 표시되는 프리뷰 화면의 일례를 도시한다. 또한, 프리뷰 표시부(250)에 표시되는 프리뷰 화면에는, 예를 들어 우상(右上)의 위치에, 카메라와 플레이어의 사이의 적절한 거리(610)도 표시된다.

프리뷰 화면에는, 이와 같이 표시된 인형의 모식도(600) 및 적절한 거리(610)에 포개어 맞추어, 카메라(200)의 카메라부(230)에 의하여 촬상된 플레이어의 모습도 표시된다. 이것에 의하여, 플레이어는, 프리뷰 화면을 보면서, 적절한 서있는 위치에 설 수 있는 것과 함께, 카메라(200)와의 사이에 적절한 거리를 확보할 수도 있다.

덧붙여, 카메라(200)는, 프리뷰 표시부(250)에 표시되는 프리뷰 화상을 통신부(240)를 통하여 단말 장치(300)의 통신부(360)에 축차(逐次) 전송 하는 것에 의하여, 단말 장치(300)의 표시부(350)에 있어서도 마찬가지의 프리뷰 화면이 표시되도록 하여도 무방하다. 이것에 의하여, 카메라(200)를 조작하는 자(촬영자)가 부재인 경우여도, 플레이어는, 단말 장치(300)의 표시부(350)에 표시된 프리뷰 화면을 보는 것에 의하여, 적절한 서있는 위치에 서는 것과 함께, 카메라(200)와의 사이에 적절한 거리를 둘 수도 있다.

프리뷰 표시부(250)에 표시되는 인형의 모식도(600) 및 적절한 거리(610)는, 도 3에 도시한 단말 장치(300)에 있어서, 카메라 거리 산출부(311)에 의하여 산출되고, 통신부(360)에 의하여, 도 2에 도시한 카메라(200)의 통신부(240)에 송신되는 것에 의하여, 카메라(200)의 프리뷰 표시부(250)에 표시된다.

카메라(200)와 플레이어의 사이의 적절한 거리가 카메라 거리 산출부(311)에 의하여 어떻게 산출되는지에 관하여 설명한다.

우선, 카메라(200)의 기울기가 수평인 경우(즉, 카메라(200)가 지면에 대하여 대략 평행인 경우)에 관하여, 도 7을 참조하여 설명한다. 카메라(200)의 높이 및 앵글을 고정하면, 클럽 길이, 피사체로 되는 플레이어의 신장, 카메라(200)의 초점 거리, 카메라(200)의 촬상 소자 사이즈로부터, 플레이어 및 스윙의 궤적을 화면 내에 넣기 위하여, 플레이어와 카메라(200)의 사이에 확보해야 할 적절한 거리는, 다음의 식 (1)에 의하여 산출된다.

피사체까지의 거리[m] = (초점 거리[mm] × 피사체의 높이가 최대가 되는 높이[mm]) ÷ 촬상 소자의 세로의 사이즈[mm] ÷ 1000　(1)

또한, 상기 식 (1)에 있어서의 「피사체의 높이가 최대가 되는 높이」(MH)는, 다음의 식 (2)에 의하여 산출된다.

MH = PH × 0.42(쥠축 도달 거리) ＋ CH × sinθ ＋ √(CH2 ＋ (PH × 0.42)2) × sinθ　(2)

여기에서, PH는, 플레이어의 신장[mm]이고, CH는, 클럽 길이[mm]이며, θ는 어드레스(address) 시의 클럽 각도이다.

피사체의 높이가 최대가 되는 높이(MH)에 관하여는, 도 8을 참조하면, 골프 스윙 중, 피사체의 높이가 가장 높아지는 것은, 도 8(a)에 도시하였을 때라고 생각할 수 있다. 즉, 플레이어가 오른손잡이인 경우, 왼팔(802)이 어깻죽지까지 상승하여 지면과 대략 평행으로 연장되고, 또한, 클럽(801)이 지면과 수직으로 연장된 상태에 있어서, 피사체의 높이가 최대가 된다고 생각할 수 있다. 덧붙여, 도 8(b)에 도시하는 톱 오브 스윙의 상태에서는, 클럽(801)의 헤드는, 플레이어의 두상 후방을 가리키고, 클럽(801)은, 지면과 대략 평행으로 연장되기 때문에, 피사체의 높이는 최대로는 되지 않는다. 따라서 플레이어의 어깨로부터 쥠축까지의 길이와 클럽을 2변으로 한 3각형의 장변(長邊)이 어드레스 시의 라이각과 평행으로 몸의 중심선 상에 있을 때에, 피사체의 높이가 최대가 된다. 다만, 실제의 스윙 동작에 있어서, 상기의 높이에 클럽 헤드가 올라가는 것은 없어도, 스윙 아크(arc)가 화면 내에 들어가기 위한 충분한 높이가 확보되어 있게 된다.

덧붙여, 쥠축 도달 거리는, 일본인의 1991년 ~ 1992년의 데이터에 의하면, 남녀 모두에 플레이어의 신장에 대하여 약 42% 정도의 길이인 것을 알고 있다(http://riodb.ibase.aist.go.jp/dhbodydb/91-92/).

플레이어는, 일반적으로, 자기 자신의 쥠축 도달 거리를 파악하고 있지 않기 때문에, 신장과 일반적인 비율(42%)에 의하여 피사체의 높이를 추정하기 위하여 필요한 거리를 산출하는 것을 생각할 수 있다.

다음으로, 카메라(200)에 기울기가 있는 경우(즉, 카메라(200)가 지면에 대하여 기울어 있는 경우)에 관하여, 도 9를 참조하여 설명한다. 카메라의 기울기를 A로 하면, 피사체의 높이가 최대가 되는 높이 B와, 수직 화각(畵角)에 의한 촬영 높이와, 지면이 이루는 삼각형은, 카메라의 기울기 A와 상사(相似) 관계로 된다. 따라서 카메라(200)에 기울기가 있는 경우의 피사체까지의 거리는, 다음에 나타내는 식 (3)에 의하여 산출된다.

피사체까지의 거리[m] = 상기 식 (1)에 의하여 산출된 피사체까지의 거리[m] ＋ 피사체의 높이가 최대가 되는 높이 × tanΨ　(3)

다만, Ψ는 카메라와 지면이 이루는 각도이다.

이상과 같이 단말 장치(300)의 카메라 거리 산출부(311)가, 카메라(200)와 플레이어의 사이에 확보해야 할 적절한 거리를 산출하기 위하여는, 도 5로 되돌아와 설명하면, ST501에 있어서, 플레이어는, 단말 장치(300)의 조작부(340)를 사용하여, 플레이어의 신장 및 사용하는 클럽에 관한 정보(예를 들어 클럽 길이 및 어드레스 시의 클럽 각도 등)를 설정한다. 이것에 의하여, 이러한 정보는, 상기 적절한 거리를 산출할 때에 카메라 거리 산출부(311)에 의하여 이용 가능하게 된다.

ST502에 있어서, 카메라 거리 산출부(311)는, 카메라(200)의 초점 거리 및 카메라(200)의 촬상 소자의 세로의 사이즈를 카메라(200) 또는 플레이어에 의한 조작부(340)에 대한 조작으로부터 취득한다.

나아가, ST503에 있어서, 카메라 거리 산출부(311)는, 카메라(200)의 높이, 및, 카메라(200)와 플레이어의 사이에 확보해야 할 적절한 거리를 계산한다.

다음으로, ST504에 있어서, 카메라 거리 산출부(311)는, 카메라(200)로부터 수신한 촬영하는 방향(정면, 배면 등)에 관한 정보 및 카메라(200)의 기울기에 관한 정보, 및, 미리 설정되어 불휘발성 메모리(370)에 기억되어 있는 플레이어의 잘 쓰는 쪽의 손에 관한 정보에 기초하여, 상술한 인형의 모식도(600)를 계산한다.

이후, ST505에 있어서, 카메라 거리 산출부(311)에 의하여 산출된 인형의 모식도 및 적절한 거리, 및, 플레이어의 신장 및 카메라의 높이가, 상술한 바와 같이, 카메라(200)의 통신부(240)에 송신되는 것에 의하여, ST506에 있어서, 카메라(200)의 프리뷰 표시부(250)(경우에 따라서는, 단말 장치(300)의 표시부(350))에 프리뷰 화면으로서 표시된다. 이것에 의하여, ST507에 있어서, 플레이어는, 카메라(200)의 프리뷰 표시부(250)에 표시된 내용에 따라, 플레이어와 카메라(200)의 사이에 지시된 적절한 거리를 확보하도록, 카메라(200)를 설정할 수 있다.

다음으로, ST508 ~ ST515에서는, 센서(100)를 이용한 스윙의 측정, 및, 카메라(200)를 이용한 녹화가 행하여진다. 우선, ST508에서는, 플레이어는, 스윙의 개시 전에, 센서(100)의 조작 버튼(140)을 압하(押下)한다. 센서(100)는, 플레이어에 의한 조작 버튼(140)에 대한 압하를 검지하면, 그 취지를 나타내는 신호(제1 특정 신호)를 통신부(130)를 통하여 단말 장치(300)에 송신한다. 단말 장치(300)는, 센서(100)로부터의 제1 특정 신호를, 통신부(360)를 통하여 수신하여 센서 조작 판정부(313)에 출력한다. 센서 조작 판정부(313)가 제1 특정 신호를 수신하는 것을 계기로 하여, ST509에 있어서, CPU(310)에 의하여 실행되는 특정 어플리케이션은, 녹화 모드에서 카메라(200)를 기동한다. 이것에 의하여, 카메라(200)는, 카메라부(230)를 이용한 녹화를 개시한다(따라서 특정 어플리케이션은, 어느 시각에 센서(100)의 조작 버튼(140)이 압하되었는지를 식별할 수 있다). 이것에 의하여, 플레이어에 의한 스윙의 개시와 카메라(200)에 의한 녹화의 개시가 동기하여 행하여진다.

또한, ST510에서는, 상기 ST508에 있어서 센서(100)의 조작 버튼(140)이 압하되는 것을 계기로 하여, 센서(100)에 의한 스윙 측정도 개시된다.

ST511에서는, 플레이어가 예비 동작(왜글(waggle))을 행한다. 나아가, 플레이어는, ST512에 있어서 스윙을 행하고, ST513에 있어서 타구한다. 이때, 센서(100)는, 골프 클럽에 의한 볼에 대한 임팩트(타구)를 검출하면, 그 취지를 나타내는 신호(제2 특정 신호)를 통신부(130)를 통하여 단말 장치(300)에 송신하여, ST514에 있어서, 스윙의 측정을 종료한다. 단말 장치(300)가 센서(100)로부터 제2 특정 신호를 수신하는 것을 계기로 하여, CPU(310)에 의하여 실행되는 특정 어플리케이션은, ST515에 있어서, 카메라(200)에 의한 녹화를 정지시킨다(따라서 특정 어플리케이션은, 어느 시각에 임팩트가 생겼는지를 식별할 수 있다). 덧붙여, 카메라(200)가 녹화를 정지하는 타이밍은, 임팩트가 생긴 타이밍과 대략 동시가 아니라, 플레이어의 스윙이 완료한 후로 되도록 적의(適宜) 조정된다. 이것에 의하여, 플레이어에 의한 스윙의 종료와 카메라(200)에 의한 녹화의 종료가 동기하여 행하여진다.

ST516에서는, 카메라(200)에 의하여 생성된 녹화 데이터(비디오 데이터)가 단말 장치(300)에 전송 및 기억되는 한편, 센서(100)에 의하여 생성된 센서 데이터도 또한 단말 장치(300)에 전송 및 기억된다.

ST517에서는, 단말 장치(300)의 센서 데이터 해석부(312)가, 기억된 센서 데이터에 대한 해석 처리를 실행한다. 여기에서, 상술한 ST508 ~ ST515까지의 사이에 있어서, 센서(100), 카메라(200) 및 단말 장치(300)의 사이에 있어서 교환되는 일련의 명령 및 응답, 및, 데이터 송수신의 모두에 대하여 타임 스탬프가 부여되어 있다. 따라서 이들의 타임 스탬프에 기초하여, ST512 ~ ST514까지를 유효한 스윙 기간으로서 식별할 수 있다. 얻어진 녹화 데이터 중으로부터 이 기간에 대응하는 녹화 데이터(비디오 데이터)를 남기도록 트리밍하는 것이 바람직하다.

이와 같은 트리밍을 실행하기 위하여, 센서 데이터 해석부(312)는, 센서 데이터에 대하여, 본건 출원인이 일본국 특허출원 특원2012-254672호에 있어서 개시한 왜글의 제거 방법을 이용하는 것에 의하여, 스윙의 개시 시각을 산출한다. 이것에 의하여, 센서 데이터 해석부(312)는, 산출한 시각과, ST509에 대응하는 시각 ~ ST512에 대응하는 시각(이들의 시각은 상기 타임 스탬프로부터 식별할 수 있다)과의 차분(差分)으로부터, 스윙 개시 전의 녹화 데이터의 삭제 기간을 계산할 수 있다.

여기에서, 상기 왜글의 제거 방법에 관하여 간결하게 설명한다. 본 제거 방법은, 센서 데이터로부터 왜글에 의한 스윙 궤적을 제거한 스윙 개시점을 검출하고, 왜글 동작에 의한 센서 데이터를 스윙 해석에 사용하지 않는 것이다.

도 16은, 센서를 골프 클럽에 취부하여 스윙한 경우의, 모션 센서(100)의 각속도 센서의 센서 좌표계에서의 X축 및 Z축의 센서 데이터, 및, 가속도 센서의 Y축의 센서 데이터에 의한 파형이다. 여기에서, 스윙 상태 판정부에서는, 데이터 측정 개시점으로부터, 각속도 센서의 Z축의 센서 데이터의 마이너스 피크값 Z1, 각속도 센서의 X축의 센서 데이터의 플러스 피크값 X1을 검출하고, RAM(330)에 기억한다. 임팩트점 T1을 검출한 후, X축의 센서 데이터 및 Z축의 센서 데이터가, 함께 RAM(330)에 기록한 피크값 Z1 및 X1에 대하여 부호가 반전(反轉)하는 점까지 거슬러 올라간다. 구체적으로는, 도 16에 도시하는 바와 같이, Z축의 센서 데이터가 마이너스 피크값 Z1으로부터 플러스로 변하는 점 Z2, 및 X축의 센서 데이터가 플러스 피크값 X1으로부터 마이너스로 변하는 점 X2이 검출된다. 그리고 검출된 점 Z2 및 X2에 있어서, 데이터 검출 개시점과의 사이에서 측정점이 적은 쪽을 스윙 개시점 S로 판정한다. 그리고 스윙 데이터 해석 처리에 있어서, 판정된 스윙 개시점보다 전(前)의 가속도 센서의 센서 데이터는, 중력 가속도만으로서 필터링하고, 스윙 해석에는 사용하지 않는 것에 의하여, 보다 정확한 해석 결과를 얻을 수 있다.

또한, 임팩트점 T1의 검출은, 도 16의 파형에 있어서의 가속도 센서의 Y축의 센서 데이터의 급격한 감속 또는 마이너스 방향의 피크를 검지하는 것으로 판정된다. 또한, 통상, 임팩트 시에는, 타구를 하는 것으로 운동이 일순 정지하고, 센서 데이터에 큰 차분이 발생한다고 생각할 수 있다. 그 때문에, 상기 이외에도, 도 16에 도시되는 가속도 센서의 Y축의 센서 데이터의 파형에 있어서, 전후(前後)의 센서 데이터의 값에 소정의 차분이 있는 경우에 임팩트점 T1을 검출하였다고 판정하여도 무방하다. 나아가, 임팩트를 판정하는 전후의 차분 정수를 골프 클럽이나 볼의 종류에 따라 변경하는 것으로, 타구하였을 때의 충격 정도에 따라, 타구하였는지 판정할 수 있어, 어느 클럽, 어느 볼에 있어서도 정확하게 임팩트를 검출할 수 있다. 이상, 왜글의 제거 방법에 관하여 설명하였다. 덧붙여, 일본국 특허출원 특원2012-254672호에 기재된 내용은, 인용에 의하여 그 내용의 전체가 본 명세서에 짜 넣어진다.

재차, 도 5로 되돌아와, ST518에서는, ST517에서 계산된 녹화 데이터의 삭제 기간을 이용하여, 얻어진 전(全) 녹화 데이터로부터 불요한 녹화 데이터(즉, 녹화 개시 ~ 왜글 종료 후까지의 녹화 데이터)가 삭제된다. 나아가, 녹화 데이터에 있어서의 스윙의 개시의 타이밍과, 스윙 궤적의 재생 개시 타이밍이 맞추어진다. 여기에서, 녹화 데이터 및 센서 데이터에는, 일정 시간마다 동일한 타임 스탬프가 부여되어 있기 때문에, 센서 데이터에 있어서의 스윙의 개시에 대응하는 시각을 식별하면, 이것과 동일한 시각을 녹화 데이터의 재생 개시에 대응하는 시각으로서 이용할 수 있고, 이것에 의하여, 녹화 데이터에 있어서의 스윙의 개시의 타이밍과, 스윙 궤적의 재생 개시 타이밍을 맞출 수 있다.

다음으로, ST519에서는, 트리밍이 행하여진 녹화 데이터와, 대응하는 센서 데이터로부터 생성된 동화상이, 단말 장치(300)의 표시부(350)에 포개어 맞추어 표시된다. 도 10은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 단말 장치(300)의 표시부(350)에 표시되는 화면의 일례를 도시하는 도면이다. 도 11은, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 단말 장치(300)의 표시부(350)에 표시되는 화면의 다른 예를 도시하는 도면이다. 도 10 및 도 11에 예시되는 바와 같이, 플레이어가 스윙하는 모습을 포착한 녹화 데이터(비디오 데이터)와, 대응하는 센서 데이터로부터 생성된 스윙의 궤적을 나타내는 동화상(애니메이션)이, 포개어 맞추어 표시되어 있다.

덧붙여, 센서 데이터는, 골프 클럽에 취부된 센서(100)의 3축(X축, Y축 및 Z축) 상의 좌표를 대응하는 시각에 대응지은 정보를 포함하는 것이기 때문에, 이들의 정보를 이용하면, 도 10 및 도 11에 예시되는 바와 같은 스윙의 궤적을 나타내는 동화상을 생성할 수 있다.

덧붙여, 이와 같은 스윙의 모습을 포착한 동화상과 스윙의 궤적을 나타내는 동화상을 포개어 맞추어 표시하기 위한 구체적인 수법에 관하여는 후술한다.

또한, 다른 실시예에서는, 센서 데이터로부터 생성된 스윙의 궤적을 나타내는 동화상을 표시할 때에는, 임팩트 시의 궤적을 다른 궤적과 구별 가능한 태양으로(예를 들어 특정의 색 등에 의하여) 표시하는 것도 가능하다. 덧붙여, 임팩트가 생긴 시각은, 상기대로 인식 가능하기 때문에, 그 시각에 대응하는 화상을 특별한 태양으로 표시하는 것도 가능하다.

이와 같이, 플레이어는, 단말 장치(300)에 지시된 대로 카메라(200)를 설치하고, 센서(100)를 사용하여 스윙 궤적을 측정하면서, 녹화를 행하는 것에 의하여, 스윙의 모습을 포착한 동화상과, 스윙의 궤적을 나타내는 동화상을 포개어 맞추어 볼 수 있지만, 환경에 따라서는, 카메라(200)의 방향 및 플레이어와 카메라(200)와의 거리를 지시된 대로 설치할 수 없는 경우도 생각할 수 있다. 이 경우에는, 선택적으로, ST520에 있어서, 실제의 카메라(200)의 위치나 플레이어와 카메라(200)의 거리에 따라, 스윙의 궤적을 나타내는 동화상을, 녹화 데이터를 보면서 수동으로 설정하는 것에 의하여, 스윙의 모습을 포착한 동화상(화면 상(上)의 위치)과 스윙의 궤적을 나타내는 동화상(화면 상의 위치)을 일치시킬 수도 있다.

재차 도 5로 되돌아와, ST521에서는, 스윙의 모습을 포착한 동화상과, 이상적인 위치를 나타내는 화상이 포개어 맞추어 표시된다.

도 12는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서 스윙 시에 있어서의 플레이어의 이상적인 자세를 설명하는 모식도이다. 도 12에 도시하는 바와 같이, 타구의 진행 방향과는 반대의 방향으로부터 플레이어의 스윙 폼을 관찰하였을 때, 어드레스 시의 클럽과 지면과의 각도, 클럽의 길이, 플레이어의 신장, 플레이어의 신장에 대한 평균적인 팔의 길이로부터, 어드레스 시의 이상적인 자세를 추정할 수 있다. 골프의 스윙은, 어드레스 시의 자세를 스윙 중에 유지하는 것이 좋은 폼으로 되어 있고, 이 이상적인 자세를 도 12에 도시하는 바와 같은 선분을 동화상에 포개어 맞추어 표시시키는 것에 의하여, 플레이어는, 영상의 해석을 하지 않아도, 자신의 스윙 폼의 좋고 나쁨을 이해하기 위한 도움을 얻을 수 있다. 이것에 의하여, 플레이어는, 골프 스윙의 예비 지식을 가지지 않아도, 스윙의 체크를 효율적으로 행할 수 있다. 또한, 플레이어는, 스윙 플레인이 온 플레인의 범위 내에 있는지 여부도 판정할 수 있기 때문에, 스윙 플레인의 좋고 나쁨도 판정할 수 있다.

덧붙여, 이와 같은 스윙 폼을 포착한 동화상과 이상적인 자세를 나타내는 선분을 포개어 맞추어 표시하기 위한 구체적인 수법에 관하여는 후술한다.

또한, 재차 도 5를 참조하면, 선택적으로, ST522에 있어서, 플레이어의 스윙을 점수화하는 처리가 행하여지도록 하여도 무방하다.

마지막으로, 도 5에는, 도시되어 있지 않지만, 상술한 해석 시스템의 실행의 결과로서 얻어진 계산 결과(플레이어와 카메라(200)의 거리, 플레이어의 팔의 길이), 설정 정보(신장, 클럽 설정), 녹화 데이터, 센서 데이터 등은, 단말 장치(300)의 불휘발성 메모리(370)에 기록되도록 하여도 무방하다. 기록된 각 측정 결과 및 녹화 데이터는, RDBMS 형식에 의하여 관계지어지고, 플레이어(유저)는, 측정 일시나 측정 결과를 검색 키로서 데이터를 검색하는 것에 의하여, 과거의 데이터를 열람할 수도 있다. 축적된 과거의 데이터를 현재의 데이터와 비교 내지 검증하는 것이 용이하게 되기 때문에, 보다 효과적으로 골프 스윙의 연습을 진행시킬 수 있다.

다음으로, 스윙의 모습을 포착한 동화상과 스윙의 궤적을 나타내는 동화상을 포개어 맞추어 표시하기 위한 구체적인 수법으로 관하여, 도 13a 및 도 13b를 참조하여 설명한다. 도 13a 및 도 13b는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서 스윙의 측정 개시로부터 녹화 데이터와 스윙의 궤적을 나타내는 동화상과의 좌표 포개어 맞춤 처리가 완료할 때까지의 프로그램 플로를 도시하는 도면이다. 도 13a 및 도 13b는, 도 5에 있어서의 ST508 ~ ST520까지의 처리를 프로그램 레벨로 플로화한 도면에 상당한다. 이하에 서술하는 처리는, 단말 장치(300)의 ROM(320)에 보존된 프로그램에 의하여 실행된다. 도 13a 및 도 13b와 프로세스 전체의 플로를 도시한 도 5와의 대응 관계는, 도 13a 및 도 13b의 하단에 도시되어 있다.

ST1301에서는, 단말 장치(300)가 센서(100)로부터 센서 데이터의 수신을 개시한다. ST1302 ~ ST1305에서는, 단말 장치(300)는, 센서(100)로부터 계속적으로 센서 데이터를 수신하고, 상기 식(2)에 사용하는 θ(어드레스 시의 클럽 라이각)의 계산에 필요한 정지 상태의 중력 가속도를 측정한다. ST1306 ~ ST1308에서는, 단말 장치(300)는, 플레이어가 스윙하고, 센서(100)가 임팩트의 충격을 검출할 때까지, 센서 데이터를 계속 수신한다. ST1309에서는, 단말 장치(300)가 센서(100)로부터 센서 데이터의 수신을 종료한다.

ST1310에서는, 카메라(200)가 단말 장치(300)에 대하여 ST509 ~ ST515의 사이에 녹화한 비디오 데이터를 전송한다. ST1311에서는, 단말 장치(300)는, 수신한 비디오 데이터를 불휘발성 메모리(370)에 보존한다.

ST1312 ~ ST1315에 있어서, 단말 장치(300)가 센서 데이터로부터 스윙 궤도 및 스윙 속도 등을 계산한다. 그 계산 방법 및 계산 알고리즘은, 예를 들어, 상기에 있어서 인용한 일본국 특허출원 특원2012-254672호에 기재된 것을 이용할 수 있다. 스윙 궤도의 각 점의 좌표는 원점으로부터 m 단위로 산출된다. ST1316에 있어서, 단말 장치(300)는, ST1312 ~ ST1315에 있어서 계산된 스윙 데이터의 계측 시간에 기초하여 스윙 전후의 비디오 데이터를 트리밍한다.

ST1317에 있어서, 단말 장치(300)는, 스윙 궤도를 픽셀로 변환하기 위하여, 1픽셀당 몇 미터로 되는지, 미터와 픽셀의 비율을 카메라의 수평 화각 및 피사체까지의 거리로부터 산출한다. 카메라(200)와 피사체가 도 7(상단)과 같이 상대하고 있고, 플레이어와 카메라(200)가 병행하고 있는 경우에는, 플레이어 및 카메라(200)를 바로 위로부터 본 도 7(하단)에 도시하는 바와 같이, 수평 방향의 화각을 θ로 하였을 때에는, 다음의 식이 성립된다.

평행한 때의 수평 방향의 폭(m) = 2 × 피사체까지의 거리 × tan(θ／2)

한편, 카메라(200)와 피사체가 도 9(상단)와 같이 상대하고 있지만, 도 9(하단)에 도시하는 바와 같이 카메라(200)와 플레이어가 병행이 아닌 경우, 수평 방향의 카메라(200)의 기울기를 Ω로 한 경우에는, 다음의 식이 성립된다.

수평 방향의 폭(m) = 평행한 때의 수평 방향의 폭/cos(Ω)

화면 해상도는, 디바이스에 의하여 취득할 수 있기 때문에,

1m당 픽셀 사이즈(px/m) = 수평 방향의 화면 해상도 ÷ 수평 방향의 폭

으로 되고, 단말 장치(300)는, 픽셀과 미터의 비율을 산출한다.

ST1318에서는, 단말 장치(300)는, ST1317에 있어서 구해진 미터당 픽셀 비율을 바탕으로 스윙 아크를 화면 상에 플롯(plot)한다. 스윙 아크의 개시 위치는, 도 5의 ST506에서 설정된 인형의 모식도의 수평선과 수직선이 교차하는 점인 원점 O이다. 원점 O가 화면 상의 어디에 배치되어 있는지, 화면 상의 좌표 평면이 정면 방향의 좌표 평면인지 측면 방향의 좌표 평면인지는, ST501의 시점에서 설정되고 RAM(330)에 보존되어 있다. 단말 장치(300)는, 설정된 좌표 평면 및 원점 위치로부터, 스윙 아크의 좌표를 픽셀로 변환하여 플롯한다. 단말 장치(300)는, 스윙 아크를 플롯하는 메모리 영역으로서, 비디오 데이터와는 다른 메모리 영역을 이용하고, 스윙 아크와 비디오 데이터의 묘화면의 합성은, OpenGL 등의 기존의 화상 합성 기술을 사용하여 실행 가능하다.

ST1319 ~ ST1322에서는, 도 9에 예시되는 대로, 실제의 카메라의 설치나 거리를 취하였을 때에, 플레이어와 카메라(200)가 확실히 병행, 수직이 될 보장은 없다. 따라서 ST1318에서 합성된 화상은, 그들의 기울기나 계산상의 거리와 실제의 거리와의 차분에 의하여, 스윙 아크와 플레이어의 스윙 모션에 차이가 있는 것이 상정(想定)된다. 이러한 차이는 프로그램으로 자동으로 보정할 수 없기 때문에, 수직, 수평, 깊이 방향으로 유저 조작에 의하여 스윙 아크를 조정하는 유저 인터페이스를 설치하고, 유저가, 합성된 스윙 아크의 크기나 위치, 기울기를 미조정한다.

ST1323에서는, 단말 장치(300)는, ST1319 ~ ST1322까지의 조정 결과를 불휘발성 메모리(370)에 보존한다. ST1324에서는, 단말 장치(300)는, 비디오 재생을 개시하고, 시각에 따른 스윙 궤도를 재묘화한다. 비디오 데이터의 재생과, 스윙 동작의 개시 시각으로부터 재생 속도에 맞추어 스윙 아크를 픽셀로 순차 플롯하는 것에 의하여, 마치 스윙 동작에 연동하여 스윙 아크가 표시된 것처럼 보인다.

다음으로, 스윙 폼을 포착한 동화상과 이상적인 자세를 나타내는 선분을 포개어 맞추어 표시하기 위한 구체적인 수법으로 관하여, 도 14 및 도 15를 참조하여 설명한다. 도 14는, 본 발명의 일 실시예에 관련되는 해석 시스템에 있어서의 단말 장치(300)의 표시부(350)에 표시되는 화면의 또 다른 예를 도시하는 도면이다. 도 15는, 도 14에 도시된 선분을 화면 상의 동화상과 포개어 맞출 때에 프로그램이 화면 묘화 영역에 선분을 배치하는 프로세스를 설명하는 플로도이다.

ST1501에 있어서, 단말 장치(300)는, 도 5의 ST506에서 설정된 원점 O으로부터, ST501에서 설정된 클럽의 라이각의 기울기로 화면 상에 묘화되는 선분 A를 계산한다. 선분 A의 길이는, ST501에서 설정된 클럽 길이이다.

ST1502에 있어서, 단말 장치(300)는, 선분 A 상에서, 센서(100)의 장착점 A1으로부터 수직 방향으로 연장되는 선분 B를 산출한다. 센서(100)의 장착점 A1은, 그립 하부로 되어 있기 때문에, 선분 A의 단부(端部)인 A3로부터, 선분 A 상에서 그립이 길이만큼 멀어진 점으로 된다. 선분 B의 길이는, 플레이어의 팔의 길이에 상당하기 때문에 쥠축 도달 거리로 한다. 클럽을 지지하는 유저의 양팔은 지면을 향하여 바로 아래로 내리고 있는 것이 좋은 폼이라고 생각되고 있기 때문에, 선분 B는 수직 방향과 병행으로 된다.

ST1503에 있어서, 단말 장치(300)는, 선분 B의 단부 B1으로부터, 원 D의 크기 및 위치를 산출한다. 원 D는 플레이어의 머리의 위치의 기준으로 되기 때문에, 원의 직경을 플레이어의 신장의 1/6로 한 크기의 원으로 한다. 다만, 원 D, 선분 B, 선분 A를 조합한, 원점 O로부터 수직 방향의 길이가 플레이어의 신장을 넘는 경우, 단말 장치(300)는, 선분 A를 산출하였을 때에 이용한 라이각을, 클럽 정보의 라이각으로부터 실제로 어드레스하였을 때의 라이각으로 변경하고, 선분 A, 선분 B, 원 D를 재계산하여 플레이어의 신장을 넘지 않도록 한다.

ST1504에 있어서, 단말 장치(300)는, 선분 A와 직각으로 되고, 점 B1으로부터 시작되는 선분 C를 산출한다. 선분 C와 선분 A를 연장한 선이 교차하는 점을 A2로 한다. A3 상을 통과하는 수평선과 선분 C가 교차하는 점을 B2로 한다. 선분 C는, A2를 통과하고 B1으로부터 B2까지의 직선의 선분으로 한다.

ST1505에 있어서, A3로부터 수직선을 내리고, 이것을 보조선 G로 한다. 단말 장치(300)는, 보조선 G와 수평 좌표축과 교차하는 점을 중점으로 하여 수평 방향으로 연장되는 선분 H를 산출한다. 선분 H는 다리의 위치의 기준으로 된다. 선분 H의 길이는 쥠축 도달 거리의 반분으로 한다.

ST1506에 있어서, 단말 장치(300)는, 선분 H의 선단부 H1과 보조선 선분 G의 중점 G1을 연결하는 선분 I를 산출한다. ST1507에 있어서, 단말 장치(300)는, G1과 선분 B의 선단부 B2를 연결하는 선분 J를 산출한다.

ST1508에 있어서, 단말 장치(300)는, A4로부터 B1을 통과하는 직선으로 되는 선분(E)을 산출한다. ST1509에 있어서, 단말 장치(300)는, 선분 A, 선분 E, 선분 B로 둘러싸이는 영역 F를 산출한다.

ST1510에 있어서, 카메라(200)가 수평 방향, 수직 방향으로 병행이 아닌 경우, 선분과 실제의 화상은 어긋나 표시되기 때문에, 단말 장치(300)는, ST1323에 있어서 보존된 경사 정보를 바탕으로 선분 전체를 투영하여 위치를 조정한다.

ST1511에 있어서, 단말 장치(300)는, ST1501 ~ ST1509까지 산출한 선분, 원, 영역을 묘화한다. 각 선분의 길이의 단위는 m으로 되어 있기 때문에, 단말 장치(300)는, ST1317에서 산출한 픽셀 비율을 이용하여, 길이를 변환하여 묘화한다.

ST1512에 있어서, 단말 장치(300)는, 선분의 결합점을 화면 상에서 유저 조작에 의하여 이동할 수 있는 GUI를 표시하고 조정시키는 것도 가능하게 한다.

ST1513에 있어서, 단말 장치(300)는, ST1512까지 산출 및 조정된 선분의 좌표 정보를 불휘발성 메모리(370)에 보존한다. 이와 같은 보존은, 유저가 단말 장치(300)의 GUI 표시부를 조작하는 것을 계기로 하여 행하여진다.

ST1514에 있어서, 단말 장치(300)는, 영역(F) 내에 있는 스윙 아크의 좌표점의 비율로부터 스윙을 점수화할 수 있다. 영역(F)은, 벤 호건 플레인이라고 칭해지고, 헤드가 다운스윙 및 백스윙으로 영역(F)을 통과하는 것이 좋다고 말하여지고 있다. 따라서 단말 장치(300)는, 헤드가 영역(F)을 통과하는 비율이 많을수록 스윙의 점수를 고득점으로 되도록 한다.

이와 같이, 하나의 실시예에 의하면, 카메라에 의하여 생성된 비디오 데이터와 센서 데이터로부터 생성된 스윙의 궤적을 나타내는 동화상을 디스플레이 상에 포개어 맞추어 표시하는 것과 함께, 비디오 데이터의 재생의 개시와 스윙의 궤적의 묘화 개시를 동기시키는 것에 의하여, 비디오 데이터에 있어서의 예를 들어 클럽 헤드의 부분이 카메라의 성능 부족에 기인하여 불선명한 상태에 있어도, 스윙의 궤적이 비디오 데이터에 있어서의 예를 들어 클럽 헤드의 위치에 대응하여 묘화되기 때문에, 카메라로 녹화한 스윙 모션의 불선명함을, 센서로 계측한 스윙의 궤적을 묘화하는 것에 의하여 보완할 수 있다. 따라서 카메라의 성능(예를 들어 Flame Per Second)이 불충분하기 때문에, 비디오 데이터에 있어서의 클럽의 동작이 흔들려 버려, 비디오 데이터에 있어서 스윙을 확인할 수 없다고 하는 문제의 발생을 억제할 수 있다.

또한, 하나의 실시예에 의하면, 플레이어가 스윙의 측정을 개시하기 위하여 센서의 조작 버튼을 압하하고, 센서가 그 취지를 나타내는 제1 특정 신호를 단말 장치에 송신하며, 단말 장치에 의하여 실행되고 있는 특정 어플리케이션이, 제1 특정 신호를 수신하는 것을 계기로 하여, 녹화 모드에서 카메라를 기동하여 카메라에 녹화의 개시를 명령한다. 이것에 의하여, 카메라는, 플레이어에 의한 스윙 개시와 동기하여 녹화를 개시한다. 또한, 센서가, 임팩트를 검출하여, 그 취지를 나타내는 제2 특정 신호를 단말 장치에 송신하고, 단말 장치에 의하여 실행되고 있는 특정 어플리케이션이, 제2 특정 신호를 수신하는 것을 계기로 하여, 카메라에 대하여 녹화의 정지를 명령한다. 이것에 의하여, 플레이어에 의한 스윙의 종료와 동기하여, 카메라는 녹화를 종료한다. 따라서 플레이어는, 카메라를 별도 조작하는 오퍼레이터를 필요로 하는 것 없이, 혼자서 녹화 및 스윙의 측정을 실행할 수 있다. 또한, 플레이어는, 셀프타이머를 이용하는 것 없이, 스윙의 타이밍에 맞추어 녹화를 개시할 수 있다.

나아가, 하나의 실시예에 의하면, 단말 장치에 의하여 실행되는 특정 어플리케이션은, 플레이어가 센서의 조작 버튼을 압하한 것을, 제1 특정 신호를 수신하는 것에 의하여 검출할 수 있고, 또한, 센서가 임팩트를 검출한 것을, 제2 특정 신호를 수신하는 것에 의하여 검출할 수 있다. 따라서 카메라에 의한 녹화의 개시와 센서에 의한 스윙의 측정을 동기시킨 경우, 센서에 의하여 생성된 센서 데이터를 해석하는 것에 의하여, 녹화된 스윙 모션 중의 어느 시각으로부터 어느 시각까지를 유효한 스윙 모션으로서 남겨 두어야 할 지를 판단할 수 있다. 이것에 의하여, 카메라에 의하여 생성된 비디오 데이터로부터 불요한 데이터를 용이하게 트리밍할 수 있다. 따라서 녹화한 영상을 수동으로 트리밍하거나, 녹화한 영상에 수동으로 타이밍을 설정한다고 하는 수고를 생략할 수 있다.

나아가 또한, 하나의 실시예에 의하면, 비디오 데이터와 이상적인 자세를 나타내는 선분을 포개어 맞추어 표시하는 것에 의하여, 플레이어는 영상을 해석하는 것 없이(수동으로 선을 그을 필요도 없이) 스윙 폼의 좋고 나쁨을 판단하는 도움을 얻을 수 있다. 또한, 플레이어는, 골프 스윙의 예비 지식이 없더라도, 스윙의 체크를 행할 수 있다.

덧붙여, 상술한 다양한 실시예에서는, 플레이어의 동작을 해석하는 단말 장치의 일례로서, 골프 클럽을 악지한 플레이어의 스윙을 해석하는 단말 장치를 들어 설명하였지만, 본 명세서에서 개시한 기술적 사상은, 소프트볼(야구)에 이용되는 배트, 탁구·테니스에 이용되는 라켓, 신체조에 이용되는 다양한 도구, 당구에 이용되는 큐, 낚시에 이용되는 낚싯대 등의 다양한 도구(이들의 도구에는 센서가 취부된다)를 악지한 플레이어의 동작을 해석하는 단말 장치에도 적용 가능한 것이다. 또한, 이 경우, 플레이어가 취해야 할 적절한 또는 이상적인 자세가 존재할 때에는, 그와 같은 자세를 나타내는 또는 시사(示唆)하는 선분이나 곡선 등을, 플레이어의 동작을 촬영한 비디오 데이터에 포개어 맞추어 표시하는 것에 의하여, 플레이어는, 자신의 동작의 좋고 나쁨을 간단하게 판단할 수 있다(예를 들어, 야구의 경우에는 테이크 백으로부터 폴로스루까지의 사이, 시선의 높이가 변하지 않는 것이 바람직하기 때문에, 시선의 높이에 수평으로 연장되는 가이드선을 표시하는 것에 의하여, 플레이어는, 비디오 데이터에 있어서의 플레이어의 시선이 스윙의 사이에 있어서 변화하고 있지 않는지를 체크할 수 있다). 나아가서는, 본 명세서에서 개시한 기술적 사상은, 센서가 취부된 도구를 이용한 플레이어의 동작을 해석하는 경우뿐만 아니라, 도구를 이용하지 않는 플레이어의 동작을 해석하는 경우에도 이르는 것이다. 즉, 본 명세서에서 개시한 수법은, 신체에 직접 센서가 취부된 플레이어의 동작(예를 들어, 댄스, 가라테, 수영, 발레, 육상 경기 등을 하는 플레이어의 동작)을 해석하는 경우에도 적용 가능한 것이다.

본 명세서에서 설명되는 처리 및 수순은, 실시예에 있어서 명시적으로 설명된 것에 의하여만이 아니라, 소프트웨어, 하드웨어 또는 이들의 조합에 의하여도 실현 가능한 것이다. 구체적으로는, 본 명세서에서 설명된 처리 및 수순은, 집적 회로, 휘발성 메모리, 불휘발성 메모리, 자기 디스크, 광스토리지 등의 매체에, 해당 처리에 상당하는 로직을 실장하는 것에 의하여 실현된다. 또한, 본 명세서에서 설명되는 처리 및 수순은, 그러한 처리·수순을 컴퓨터 프로그램으로서 실장하고, 각종의 컴퓨터에 실행시키는 것이 가능하다.

본 명세서 중에서 설명되는 처리 및 수순이 단일의 장치, 소프트웨어, 컴포넌트, 모듈에 의하여 실행되는 취지가 설명되었다고 하여도, 그와 같은 처리 또는 수순은, 복수의 장치, 복수의 소프트웨어, 복수의 컴포넌트, 및/또는, 복수의 모듈에 의하여 실행되는 것으로 할 수 있다. 또한, 본 명세서 중에서 설명되는 데이터, 테이블 또는 데이터베이스가 단일의 메모리에 격납되는 취지 설명되었다고 하여도, 그와 같은 데이터, 테이블 또는 데이터베이스는, 단일의 장치에 구비된 복수의 메모리 또는 복수의 장치에 분산하여 배치된 복수의 메모리에 분산하여 격납되는 것으로 할 수 있다. 나아가, 본 명세서에 있어서 설명되는 소프트웨어 및 하드웨어의 요소는, 그들을 보다 적은 구성 요소로 통합하여, 또는, 보다 많은 구성 요소로 분해하는 것에 의하여 실현되는 것으로 할 수 있다.

100: 센서
200: 카메라
300: 단말 장치

Claims (7)

1. 센서가 취부(取付)된 측정 대상물의 동화상을 취득하는 동화상 취득 수단과,
   상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 센서 데이터 취득 수단과,
   상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 표시 제어 수단
   을 구비하는 것을 특징으로 하는 단말 장치.
2. 제1항에 있어서,
   상기 표시 제어 수단은, 상기 동화상과 상기 측정 대상물의 궤적을 나타내는 부가적인 동화상을 동기(同期)시켜 표시하는, 단말 장치.
3. 제2항에 있어서,
   상기 표시 제어 수단은, 선택된 기간에 관하여 상기 동화상과 상기 부가적인 동화상을 동기시켜 표시하는, 단말 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 측정 대상물의 동화상을 생성하기 위하여 당해 단말 장치의 내부 또는 외부에 배치된 촬상부를 제어하는 제어 수단을 더 구비하고,
   상기 제어 수단은, 상기 센서로부터 제1 특정 신호를 수신하였던 것에 기초하여 상기 촬상부에 촬상 동작을 개시시키고, 상기 센서로부터 제2 특정 신호를 수신하였던 것에 기초하여 상기 촬상부에 촬상 동작을 정지시키는, 단말 장치.
5. 제1항에 있어서,
   상기 표시 제어 수단은, 상기 동화상과 상기 측정 대상물의 이상적인 위치를 나타내는 부가적인 화상을 포개어 맞추어 표시하는, 단말 장치.
6. 컴퓨터를,
   센서가 취부된 측정 대상물의 동화상을 취득하는 동화상 취득 수단,
   상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 센서 데이터 취득 수단, 및,
   상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 표시 제어 수단,
   으로서 기능시키는 프로그램.
7. 센서가 취부된 측정 대상물의 동화상을 취득하는 단계와,
   상기 센서로부터 상기 측정 대상물에 관련된 센서 데이터를 취득하는 단계와,
   상기 동화상과 상기 센서 데이터로부터 생성된 부가적인 화상을 포개어 맞추어 표시하는 단계
   를 포함하는 것을 특징으로 하는 표시 방법.

Images