KR102066806B1 - 운동 지원 시스템 및 운동 지원 방법 - Google Patents

Abstract

운동 지원 시스템은 촬상부와, 화상 투사부와, 화상 생성부와, 제어부를 구비한다. 그리고, 제어부는, 촬상부가 촬상한 영상 중의 용구의 위치, 유저의 위치를 검출하고, 그 위치의 검출 결과에 따라서, 생성하는 화상 내에서의 운동 지원 표시의 위치를 변경한다. 그리고, 화상 투사부가 용구 또는 유저에 중첩된 상태, 또는 그들의 근방에 화상을 투사한다. 보다 상세하게는, 골프 경기에 관한 운동이며, 제어부는, 촬상부가 촬상한 영상 중 유저의 위치, 신장, 골프의 용구의 볼, 골프 클럽의 타입, 위치에 따라서, 화상 생성부가 생성하는 화상 내에서의 운동 지원 표시의 위치를 변경한다. 이에 의해, 효율적이면서 유저의 플레이에 방해되지 않는 방법으로, 유저에게 운동 지원의 정보를 제시하여, 유저의 스킬 업을 도모할 수 있다.

Description

운동 지원 시스템 및 운동 지원 방법

본 발명은 운동 지원 시스템, 및 운동 지원 방법에 관한 것이고, 골프 등의 용구를 사용하는 플레이의 숙달을 효율적으로 지원하는 운동 지원 시스템, 및 운동 지원 방법에 관한 것이다.

근년, 정보 처리 기술을 사용하여 유저의 움직임과 연동하고, 또한 유저가 플레이하고 있는 화상을 촬상하여, 유저의 플레이를 지원하는 시스템이 개발되어 있다.

예를 들어, 골프의 스윙에 대해서, 유저의 스윙에 대한 정보를 제공하는 장치로서는, 특허문헌 1의 「골프 연습 장치」가 있다. 이 특허문헌 1에서는, 「연습자(92)가 액정 표시 패널에 표시되어 있는 연습자(92)의 화상을 보면서 스윙할 때, 연습자(92)의 얼굴은 경사 방향을 향해져 있음으로써, 연습자(92)의 스윙은 실제로 골프볼(88)을 치는 스윙에 거의 동일해지기 때문에, 스윙을 하는 연습자(92)의 화상으로부터 스윙의 양부를 판정할 수 있다」(19 페이지, 20 페이지)고 기재되어 있다.

일본 특허 공개 평4-208173호 공보

상기 특허문헌 1에 기재된 골프 연습 장치는, 도 7에 도시된 바와 같이 유저의 경사 전방이거나, 도 11에 도시된 바와 같이 티의 전방측에 액정 표시 패널(56)을 두고, 거기에 유저 자신의 스윙 자세를 표시하는 것이다. 그러나, 액정 표시 패널(56)은, 정해진 좁은 에어리어에 표시되기 때문에, 유저가 플레이 중에 보고 있으면, 시선이 나빠져, 플레이에 집중할 수 없다는 우려가 있다. 또한, 표시 장치의 장소가 가까우면, 플레이에 방해되는 문제점이 있다.

본 발명은 상기 문제점을 해결하기 위해 이루어진 것이며, 그 목적은, 효율적이면서 또한 유저의 플레이에 방해되지 않는 방법으로, 유저에게 운동 지원의 정보를 제시하여, 유저의 스킬 업을 도모하는 운동 지원 시스템을 제공하는 데 있다.

상기 문제점을 해결하기 위해서, 본 발명의 운동 지원 시스템의 구성은, 유저가 용구를 사용하여 행하는 운동을 지원하는 운동 지원 시스템이며, 유저의 운동에 관한 상황의 영상을 촬상하는 촬상부와, 용구 또는 유저에 중첩된 상태, 또는 용구 또는 유저의 근방에 화상을 투사하는 화상 투사부와, 유저의 운동을 지원하는 운동 지원 표시를 포함하는 화상을 생성하는 화상 생성부와, 제어부를 구비하도록 한 것이다. 그리고, 제어부는, 촬상부가 촬상한 영상 중의 용구의 위치를 검출하고, 용구의 위치의 검출 결과에 따라서, 화상 생성부가, 생성하는 화상 내에서의 운동 지원 표시의 위치를 변경한다.

또한, 바람직하게는 제어부는, 촬상부가 촬상한 영상 중의 유저의 위치를 검출하여, 유저의 위치의 검출 결과에 따라서, 화상 생성부가, 생성하는 화상 내에서의 운동 지원 표시의 위치를 변경한다.

또한, 바람직하게는 화상 투사부는, 촬상부에서 촬상한 유저의 영상을, 용구 또는 유저와 중첩되지 않는 위치에 표시하도록 한 것이다.

또한, 상세한 구성은, 상기 운동 지원 시스템에 있어서, 유저가 용구를 사용하여 행하는 운동은, 골프 경기에 관한 운동이며, 제어부는, 촬상부가 촬상한 영상 중 유저의 위치, 신장, 골프의 용구의 볼, 골프 클럽의 타입, 위치에 따라서, 화상 생성부가 생성하는 화상 내에서의 운동 지원 표시의 위치를 변경하도록 한 것이다.

또한, 상세하게는, 제어부가 생성하는 운동 지원 표시는, 볼에 투사하는 안표이도록 한 것이다.

또한, 상세하게는, 제어부가 생성하는 운동 지원 표시는, 유저가 서야 할 장소 또는 방향에 관한 표시이도록 한 것이다.

또한, 다른 구성은, 상기 운동 지원 시스템에 있어서, 볼, 골프 클럽의 타입마다, 임팩트할 때의 높이의 차의 하한, 상한의 데이터를 유지하고, 제어부는, 촬상부가 촬상한 영상에 의해, 볼, 골프 클럽의 높이의 차를 산출하고, 볼, 골프 클럽의 높이의 차가, 임팩트할 때의 높이의 차의 하한으로부터 상한 사이에 있는지 여부를 판정하고, 화상 투사부는, 볼, 골프 클럽의 높이의 차가, 임팩트할 때의 높이의 차의 하한으로부터 상한 사이에 있을 때, 스윙의 신호 정보를 포함하는 화상을 투사하도록 한 것이다.

본 발명에 따르면, 효율적이면서 유저의 플레이에 방해되지 않는 방법으로, 유저에게 운동 지원의 정보를 제시하여, 유저의 스킬 업을 도모하는 운동 지원 시스템을 제공할 수 있다.

도 1은 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템의 이용 신을 나타내는 도면이다.
도 2는 본 발명의 제1 실시 형태에 따른 시스템 구성을 나타내는 블록도이다.
도 3은 인체 검지 결과 데이터의 일례를 나타내는 도면이다.
도 4는 용구 검지 결과 데이터의 일례를 나타내는 도면이다.
도 5a는 본 발명의 제1 실시 형태에 따른 지원 표시 설정 데이터의 일례를 나타내는 도면이다.
도 5b는 본 발명의 제1 실시 형태에 따른 지원 표시 설정 데이터의 다른 예를 나타내는 도면이다.
도 6은 사람(유저)에 대한 계측을 설명하는 도면이다.
도 7은 용구(볼, 골프 클럽)에 대한 계측을 설명하는 도면이다.
도 8은 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템의 동작 시퀀스도이다.
도 9는 본 발명의 제1 실시 형태에 따른 지원 정보 결정 처리의 상세를 나타내는 흐름도이다.
도 10a는, 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.
도 10b는, 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도의 다른 예이다.
도 11은 본 발명의 제2 실시 형태에 따른 지원 표시 설정 데이터의 일례를 나타내는 도면이다.
도 12는, 본 발명의 제2 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.
도 13은 유저 방향의 각도에 대하여 설명하는 도면이다.
도 14는 본 발명의 제3 실시 형태에 따른 지원 표시 설정 데이터의 일례를 나타내는 도면이다.
도 15는 본 발명의 제3 실시 형태에 따른 지원 정보 결정 처리의 상세를 나타내는 흐름도이다.
도 16은 볼과 골프 클럽의 위치 관계를 설명하는 도면이다.
도 17은, 본 발명의 제3 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.
도 18은, 본 발명의 제4 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.
도 19는 본 발명의 제5 실시 형태에 따른 시스템 구성을 나타내는 블록도이다.

이하, 본 발명에 따른 각 실시 형태를, 도 1 내지 도 19를 사용하여 설명한다. 또한, 이하에 설명하는 운동 지원 시스템은, 실내의 골프 시뮬레이터 시스템에 적용해도 되지만, 골프 연습장에 적용해도 되고, 또한 실제의 골프 코스 티그라운드에 적용해도 된다.

[실시 형태 1]

이하, 본 발명에 따른 제1 실시 형태를, 도 1 내지 도 10을 사용하여 설명한다.

본 실시 형태의 운동 지원 시스템은, 정보 처리 기술에 의해 유저의 운동을 지원하는 시스템이며, 골프 플레이어에 적합한 운동 기술을 숙달시키기 위해서, 볼에 안표를 제시하는 기능을 갖는 것이다.

골프 초보자에게는, 스윙할 때에 시선이 볼로부터 벗어나, 성적이 나빠지는 문제가 자주 발생한다. 그 때문에, 본 실시 형태의 운동 지원 시스템은, 볼의 안표를 붙여, 안표를 적절한 장소에 표시할 수 있도록 볼을 설치하고, 스윙 시에, 안표를 의식적으로 주시함으로써, 플레이어의 시선 빗나감을 방지할 수 있도록 한 것이다.

우선, 도 1 및 도 2를 사용하여 본 발명의 제1 실시 형태에 따른 운동 지원 시스템의 개요와 구성에 대하여 설명한다.

도 1은, 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템의 이용 신을 나타내는 도면이다.

도 2는, 본 발명의 제1 실시 형태에 따른 시스템 구성을 나타내는 블록도이다.

도 1의 도면에서, 도 1의 (a)는 평면도이며, 도 1의 (b)는 상면도이다. 도 1에 도시되는 상태는, 골프 플레이어(2)는 골프 클럽(10)을 가지고, 볼(9) 앞에 서 있는 것이다. 운동 지원 시스템(1)은 촬상 장치(5), 투사 장치(7)로 구성되고, 골프 그라운드(8)에 설치된다. 촬상 장치(5)는 골프 플레이어(2), 볼(9), 골프 클럽(10)의 화상을 도입할 수 있는 장소에 설치된다. 투사 장치(프로젝터)(7)는, 그라운드(8)의 화상 투사 영역(12)에 운동 지원을 위한 지원 정보가 포함되는 영상을 투사하는 것이 가능하다. 또한, 운동 지원을 위한 지원 정보의 상세에 대해서는 이후에 설명한다.

운동 지원 시스템(1)은, 촬상 장치(5)가 취득한 화상으로부터 특정한 대상의 좌표를 취득한다. 또한, 본 실시 형태에서는, 도 1에 도시된 바와 같이, 좌표계의 원점(3)을, 투사 장치(7)의 하변 중앙, 골프 그라운드(8) 위의 점에 취하고, 삼차원 좌표계로서, (x, y, z)로서 정하는 것으로 한다.

운동 지원 시스템(1)은, 도 2에 도시된 바와 같이, 촬상부(20), 제어부(24), 화상 생성부(21), 화상 투사부(22), 메모리(25), 스토리지(27)로 구성된다. 이 운동 지원 시스템(1)의 각 블록은, 버스(23)를 통해 접속되어 있다.

촬상부(20)는 골프 플레이어(2), 볼(9), 골프 클럽(10)을 촬상하여, 디지털 영상 정보로서 실시간으로 취득한다.

화상 생성부(21)는, 화상 투사 영역(12)에 지시된 내용을 표시하기 위한 투사용 화상을 생성한다. 또한, 어떤 화상을 생성할지는, 후에 상세하게 설명한다.

화상 투사부(22)는 초단 초점 프로젝터 등의 장치에 상당하는 장치이며, 매우 짧은 거리에서 소정의 범위 내에 화상을 투사할 수 있다. 본 실시 형태의 화상 투사부(22)는, 후술하는 바와 같이, 골프 플레이어(2)나 용구(골프 클럽(10)이나 볼(9))의 일부분 또는 이들 주변의 골프 그라운드(8) 상에 화상 투사하여, 유저에 지원 정보를 제시하는 것이 가능하다.

제어부(24)는 운동 지원 시스템의 각 부를 제어하고, 스토리지(27)로부터 메모리(25)에 로드된 프로그램, 데이터를 참조하여, 실행함으로써 각종 기능을 실행한다. 제어부(24)는 버스(23)를 통해, 촬상부(20)의 화상을 메모리(25)에 읽어들이고, 골프 플레이어(2), 볼(9), 골프 클럽(10)의 각 속성을 검지하여, 제시해야 할 정보를 결정하고, 화상 생성부(21)를 사용하여 화상을 생성하고, 화상 투사부(22)에 의해 소정의 화상을 투사함으로써, 골프 플레이어(2)에 지원 정보를 제시하는 기능을 실현한다.

메모리(25)는 반도체 기억 장치로 구성되는 메인 메모리이며, 스토리지(27)에 저장하고 있는 애플리케이션 프로그램이 로드되어, 제어부(24)는 그것을 명령어로서 실행한다. 또한, 동작 중의 중간 데이터 등의 워크 데이터가 메모리(25)에 일시 보존되고, 제어부(24)는 그것을 참조한다.

스토리지(27)는 HDD(Hard Disk Drive)나 SSD(Solid State Drive) 등의 비교적 대용량의 기억 장치이며, 애플리케이션 프로그램(29)과 설정 데이터(28)를 저장한다. 제어부(24)는, 스토리지(27)로부터 애플리케이션 프로그램(29)을 메모리(25)에 로드하고, 제어부(24)가, 로드된 애플리케이션 프로그램을 실행함으로써 각종 기능을 실현할 수 있다. 이 애플리케이션 프로그램이 실행될 때의 설정 정보는, 설정 데이터(28)로서 저장되어 있고, 제어부(24)가 읽어들여 참조하는 것이 가능하다.

설정 데이터(28)에는, 화상 특징량 데이터(42), 지원 표시 설정 데이터(43)가 있다.

화상 특징량 데이터(42)는, 인식할 예정의 각 대상(골프 플레이어, 볼, 골프 클럽 등)의 특징량을 나타내는 데이터이다. 지원 표시 설정 데이터(43)는, 골프 플레이어(2), 볼(9), 골프 클럽(10)의 속성에 따라서 제시해야 할 지원의 지원 내용의 대응 관계를 저장하는 데이터이다. 지원 표시 설정 데이터(43)의 일부 항목은 미리 설정해두는 항목이다. 다른 일부는, 화상 특징량 데이터(42)로부터 산출한 각 검지 결과에 기초하여 산출하는 항목이다. 제어부(24)는 지원 표시 설정 데이터(43)를 참조하면서, 골프 플레이어(2)에게 운동 지원 정보의 제시를 행한다. 또한, 지원 표시 설정 데이터(43)는, 운동 지원 시스템이 가동 중에 변경 가능하게 해도 된다.

애플리케이션 프로그램(29)에는, 화상 인식 프로그램(44), 운동 상태 인식 프로그램(45)이 있다.

화상 인식 프로그램(44)은, 패턴 추출 등의 기술을 사용하여, 화상의 특징량을 산출하고, 충분히 학습된 화상 특징량 데이터(42)를 사용하여, 화상 중에서, 골프 플레이어(2), 볼(9), 골프 클럽(10)의 유무, 종류, 타입, 좌표 등의 속성을 인식하는 프로그램이며, 제어부(24)가 이것을 실행함으로써, 화상 인식을 행한다.

운동 상태 인식 프로그램(45)은, 화상 인식 프로그램(44)에 의해 인식된 골프 플레이어(2), 볼(9), 골프 클럽(10)의 속성을 사용하여, 골프 플레이어(2)가 진행 중인 동작의 상태를 인식하는 프로그램이며, 제어부(24)가 이것을 실행함으로써, 골프 플레이어(2)가 진행 중인 동작의 상태를 인식한다.

이후의 설명에서는 설명을 간단하게 하기 위해서, 제어부(24)가 화상 인식 프로그램(44)을 실행하여, 화상 인식을 할 때에는, 운동 지원 시스템의 「화상 인식부」가 실행하도록 기술하고, 제어부(24)가 운동 상태 인식 프로그램(45)을 실행하여, 골프 플레이어(2)가 진행 중인 동작의 상태를 인식할 때에는, 「운동 상태 인식부」가 실행하도록 기술하는 것으로 한다. 단, 화상 인식의 기능, 운동 상태 인식의 기능을 행하는 부분은, 전용의 하드웨어로 실현되도록 해도 된다.

이어서, 도 3 내지 도 6을 사용하여 운동 지원 시스템에 사용되어 데이터 구조에 대하여 설명한다.

도 3은, 인체 검지 결과 데이터의 일례를 나타내는 도면이다.

도 4는, 용구 검지 결과 데이터의 일례를 나타내는 도면이다.

도 5a는, 본 발명의 제1 실시 형태에 따른 지원 표시 설정 데이터의 일례를 나타내는 도면이다.

도 5b는, 본 발명의 제1 실시 형태에 따른 지원 표시 설정 데이터의 다른 예를 나타내는 도면이다.

도 6은, 사람(유저)에 대한 계측을 설명하는 도면이다.

도 7은, 용구(볼, 골프 클럽)에 대한 계측을 설명하는 도면이다.

인체 검지 결과 데이터(50)는, 사람(유저)에 대하여 취득한 촬상 데이터에 대하여 화상 인식부가, 제어부(24)에 보내는 화상 인식한 결과의 데이터이며, 도 3에 도시된 바와 같이, 사람 유무 플래그(50a), 좌표(50b), 신장(50c)의 각 데이터로 구성된다. 사람 유무 플래그(50a)는 화상 인식의 결과, 촬상된 범위 내에 사람이 있는지 없는지를 나타내는 플래그이다. 좌표(50b)는 좌표계 상의 사람의 좌표이다. 사람의 좌표는, 그 사람 발의 중점의 골프 그라운드(8) 상의 점을, 사람 좌표점(500)(도 6의 (a))을 기준으로 하기로 한다. 신장(50c)은 촬상된 유저의 신장(l)(도 6의 (b))이다. 여기서, 촬상된 유저의 신장(l)은, 유저가 신장계로 계측할 때의 최대의 신장(l_max)(도 6의 (b))이라 하면, l≤l_max가 성립한다. 즉, 유저의 신장(l)은, 실제로 촬상된 화상에 의해 계측된 신장이다.

용구 검지 결과 데이터(60)는, 골프 플레이어(2)가 사용하는 용구인 볼(9), 골프 클럽(10)에 대하여 취득한 촬상 데이터에 대하여, 화상 인식부가, 제어부(24)에 보내는 화상 인식한 결과의 데이터이며, 도 4에 도시된 바와 같이, 용구 내용(60a), 용구 좌표(60b)의 각 데이터로 구성된다.

용구 내용(60a)에는, 그 용구의 종류(볼, 골프 클럽별로)와 그 타입이 저장된다. 용구의 타입이란, 볼(9)의 경우에는, 형상이나 크기, 딤플의 정보(표면의 작은 오목부), 또한 상품명 등에 의해 식별하여 구별할 때의 볼의 분류 형태이며, 골프 클럽(10)의 경우에는, 드라이버, 아이언, 웨지 등 별로, 번수(로프트각, 라이각에 의해 구별됨), 또한 상품명 등에 의해 식별하여 구별할 때의 골프 클럽의 분류의 형태이다. 용구의 타입의 화상 인식은, 형상을 분석하여 그 타입을 판정하는 것으로 해도 되고, 볼(9), 골프 클럽(10)에 특수한 마크를 붙여 두고, 그것을 화상 인식하여 상품명 등을 판정하도록 해도 된다.

용구 좌표(60b)에는, 그 용구의 좌표가 저장된다. 볼(9)의 좌표는, 예를 들어 볼 표면의 중심에서, 도 1의 x 좌표가 가장 커지는 곳을, 볼 좌표점(600)(도 7의 (a))으로 정한다. 골프 클럽(10)의 좌표는, 예를 들어 골프 클럽(10)의 헤드 페이스(610)의 중심점을, 골프 클럽 좌표점(601)(도 7의 (b))으로 정한다.

지원 표시 설정 데이터(70)는, 제어부(24)가 인체 검지 결과 데이터(50)와 용구 검지 결과 데이터(60)에 기초하여, 플레이 장소에 투사하는 지원 정보를 결정하기 위한 데이터이며, 신장(70a), 볼 타입(70b), 골프 클럽 타입(70c), 지원 정보 타입(70d), 지원 정보 속성(70e)이 저장된다.

신장(70a)은 인식된 유저(골프 플레이어(2))의 신장이다. 볼 타입(70b)은 용구 내용(60a)에 저장된 볼(2)의 타입이다. 골프 클럽 타입(70c)은 용구 내용(60a)에 저장된 골프 클럽(10)의 타입이다. 지원 정보 타입(70d)은 투사하는 지원 정보의 타입이다. 지원 정보 속성(70e)은 지원 정보의 타입에 따른 속성이다.

도 5a에 나타나는 예에서는, 골프 플레이어(2)의 신장이 165cm, 볼(2)의 타입 종류가 A, 골프 클럽(10)의 타입이 I의 경우에, 제시하는 지원 정보의 종류는 안표 제시(볼 표면에 안표를 표시)이며, 그 안표가 제시하는 장소의 좌표는, (80, 2, 4)인 것을 나타내고 있다. 도 5a에 도시된 바와 같이, 볼 상에 안표 표시를 표시하는 경우에는, 그 안표 표시의 제시 좌표는, 도 4의 용구 검지 결과 데이터(60)에 있어서의 볼의 용구 좌표(60b)에 기초하여 산출한다. 이 때 볼의 용구 좌표(60b) 그 자체를 안표 표시로 해도 되고, 지원 표시 설정 데이터(70)의 다른 항목에 기초하여 수정한 좌표를 사용해도 된다. 이와 같이, 안표 표시의 제시 좌표를, 검출한 볼의 용구 좌표(60b)에 기초하여 산출함으로써, 볼의 위치가 바뀐 경우에도, 정확하게 안표 표시를 볼 상에 표시할 수 있다.

또한, 도 5b에 나타나는 예와 같이, 지원 정보의 종류로서, 볼 주변의 골프 그라운드에 표시하는 화살표 표시를 사용해도 된다. 그 경우에는, 좌표 외에도, 지원 정보 속성(70e)으로서, 그 화살표의 방향(각도 등)도 필요하게 된다. 도 5b의 예에서는, 화살표의 방향을 각도 0도의 예만 들고 있지만, 필요에 따라서 화살표의 표시 각도를 변경하기 위해서, 지원 정보 속성(70e)에 저장하는 각도 정보를 변경하면 된다. 도 5b에 도시된 바와 같이, 볼 주변에 화살표 표시를 표시하는 경우에는, 그 화살표 표시의 제시 좌표는, 도 4의 용구 검지 결과 데이터(60)에 있어서의 볼의 용구 좌표(60b)에 기초하여 산출한다. 이 때 볼의 용구 좌표(60b)의 xy 좌표에 소정값의 오프셋(예를 들어, x+0, y-5 등)을 더하여 산출해도 된다. 또한, 이것을 지원 표시 설정 데이터(70)의 다른 항목에 기초하여 추가로 수정한 좌표를 사용해도 된다. 이와 같이, 화살표 표시의 제시 좌표를, 검출한 볼의 용구 좌표(60b)에 기초하여 산출함으로써, 볼의 위치가 바뀐 경우에도, 화살표 표시를 볼에 대하여 소정의 상대 위치에 표시할 수 있다.

이어서, 도 8 내지 도 10을 사용하여 본 발명의 제1 실시 형태에 따른 운동 지원 시스템의 처리에 대하여 설명한다.

도 8은, 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템의 동작 시퀀스도이다.

도 9는, 본 발명의 제1 실시 형태에 따른 지원 정보 결정 처리의 상세를 나타내는 흐름도이다.

도 10a는, 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.

도 10b는, 본 발명의 제1 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도의 다른 예이다.

우선, 도 8의 처리에 있어서, 운동 지원 시스템(1)이 시작되면, 촬상부(20)는, 골프 플레이어(2), 볼(9), 골프 클럽(10)을 포함하는 범위의 화상을 도입하고(S001), 화상 데이터를 화상 인식부(40)에 송신한다(S002).

화상 인식부(40)는 인체 검지를 행하여(S003), 골프 플레이어(2)의 유무를 체크하고, 골프 플레이어(2)가 출장하는 경우, 신장, 현재 좌표 등의 속성을, 도 3에 도시한 인체 검지 결과 데이터로서 제어부(24)에 송신한다(S004).

이어서, 제어부(24)는, 골프 플레이어(2)가 검지되는 경우(사람 유무 플래그(50a)=“있음”), 지원 정보 제시의 처리를 행한다(S100). 지원 정보 제시의 처리에서는, 우선, 제어부(24)는 화상 인식부(40)에 용구의 검지를 요구한다(S005). 화상 인식부(40)는, 스토리지(27)에 저장되어 있는 화상 특징량 데이터(42)를 참조하여, 화상 인식을 하고, 용구의 정보 검지하여, 도 4에 도시한 제어부(24)에 송신한다(S007).

제어부(24)는, 인체 검지 결과 데이터(50)와 용구 검지 결과 데이터(60)를 사용하여, 도 5에 도시한 지원 표시 설정 데이터(70)의 좌표 등 지원 정보 속성의 일부 항목을 산출하여 지원 표시 설정 데이터(70)를 투사하기 위한 지원 정보로서 결정한다(S008). 지원 정보 결정의 처리는, 이후에, 도 9의 흐름도를 사용하여 상세하게 설명한다.

그리고, S008에서 투사하기 위한 지원 정보가 결정되면, 제어부(24)는, 화상 생성부(21)에 대하여 투사하는 지원 정보의 화상 생성을 요구한다(S009). 화상 생성부(21)는, 요구에 따라서 지원 정보의 화상을 생성하고, 제어부(24)에 회신한다(S010). 이어서, 제어부(24)는, 화상 투사부(22)에 대하여 지원 정보의 화상을 표시할 것을 요구한다(S011). 화상 투사부(22)는 지원 정보의 화상을 화상 투사 영역(12)에 투사하고, 골프 플레이어(2)가 지원 정보를 보아, 플레이를 할 수 있도록 한다.

이어서, 도 9를 사용하여 지원 정보 결정의 처리 상세를 설명한다.

우선, 인체 검지 결과 데이터(50) 및 용구 검지 결과 데이터(60)를 입력 데이터로서 읽어들인다(S200). 그리고, 볼(9)이 있는지 여부의 체크를 하고(S201), 골프 클럽(10)이 있는지 여부의 체크를 행한다(S202).

볼(9)이나 골프 클럽(10) 중 어느 것이 없는 경우에는, 플레이에 옮겨질 상태가 아닌 것으로 하여, 처리를 종료한다.

볼(9)과 골프 클럽(10)이 모두 있는 경우에는, 인체 검지 결과 데이터(50) 및 용구 검지 결과 데이터(60)를 사용하여 좌표 등의 지원 정보 속성(70e)의 일부를 산출하여, 지원 표시 설정 데이터(70)를 확정한다(S203). 그리고, S203에서 확정된 지원 정보 데이터의 지원 정보 타입(70d), 지원 정보 속성(70e)을 출력한다(S204).

이어서, 도 10a 및 도 10b를 사용하여 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지에 대하여 설명한다. 여기서, 도 10a의 (a) 및 도 10b의 (a)는 평면도, 도 10a의 (b) 및 도 10b의 (b)는 상면도를 나타내고 있다.

도 10a의 예에서는, 골프 플레이어(2)가 골프 클럽(10)을 가지고, 촬상 장치(5)의 촬상 영역에 들어간 경우에는, 투사 장치(7)는, 볼(9)의 특정한 위치에 안표(81)를 투사하게 된다.

도 10b의 예에서는, 골프 플레이어(2)가 골프 클럽(10)을 가지고, 촬상 장치(5)의 촬상 영역에 들어간 경우에는, 투사 장치(7)는, 볼(9) 주변의 특정한 위치에 화살표(82)를 투사하게 된다.

이와 같이, 골프 플레이어(2)는, 특정한 조작없이, 신장, 볼(9)의 위치 또는 골프 클럽(10)에 따른 자신에 있어서 적합한 위치에 표시되는 지원 정보 표시를 이용할 수 있게 된다.

[실시 형태 2]

이하, 본 발명에 따른 제2 실시 형태를, 도 11 내지 도 13을 사용하여 설명한다. 또한, 제1 실시 형태와 비교하여, 다른 부분을 강조하여 설명한다.

도 11은, 본 발명의 제2 실시 형태에 따른 지원 표시 설정 데이터의 일례를 나타내는 도면이다.

도 12는, 본 발명의 제2 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.

도 13은, 유저 방향의 각도에 대하여 설명하는 도면이다.

본 실시 형태는, 시스템 구성, 동작 시퀀스에 대해서는, 제1 실시 형태와 거의 동일하지만, 지원 정보의 타입이 상이한 것이다.

골프 초보자에서는, 볼(9) 앞에 설 경우, 어디가 자신에게 최적일지가 불명확하고, 또한 성적을 향상시키기 위해서, 적절한 방향에 대해서도 불분명하다. 인스트럭터의 지시에 따라서 서는 위치를 연습하는 것이 일반적이지만, 인스트럭터는 매회 지적하는 것이 번거롭고, 인간의 신장이나 용구의 종류에 따라서 서는 위치가 약간 상이한 것을 상정하면, 인스트럭터의 지시라도 최적이라고는 할 수 없는 케이스가 있다. 이 문제에 대하여, 본 실시 형태에서는, 골프 플레이어(2)에게 자동으로 최적의 서는 위치를 제안할 수 있는 시스템이 가능해진다.

도 8의 S008의 투사하기 위한 지원 정보를 결정하기 위해 이용되는 지원 정보 결정 데이터(70)는, 본 실시 형태에서는, 지원 정보 타입(70d)으로서 「서는 위치」가 저장되어 있고, 지원 정보 속성(70e)으로서 「좌표: (119, 2, 0), 방향: 10도」가 저장되어 있다.

지원 정보 타입(70d)이 「서는 위치」인 것은, 유저(골프 플레이어(2))의 플레이 중에 있어서의 서는 위치가 지원 정보의 화상으로서, 투사되는 것을 나타내고 있다. 이 때의 지원 정보 속성(70e)은, 그 플레이 중에 있어서의 유저의 최적인 좌표와, 최적인 방향을 나타내고 있으며, 그것이 지원 정보의 화상으로서 투사된다. 도 11의 예에 있어서, 신장이 165cm, 볼의 타입이 A이며, 골프 클럽의 타입이 I인 경우에는, 골프 플레이어(2)가 서야 할 장소의 좌표는 (119, 2, 0)이 되고, 방향은 10도인 서는 위치 지원 정보의 속성 화상이 투사되게 된다.

이어서, 도 12를 사용하여 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지에 대하여 설명한다. 여기서, 도 12의 (a)는 평면도, 도 12의 (b)는 상면도를 나타내고 있다.

도 11에 도시된 바와 같이, 골프 플레이어(2)가 골프 클럽(10)을 가지고, 촬상 장치(5)의 촬상 영역에 들어간 경우에는, 투사 장치(7)는, 화상 투사 영역(12)에 골프 플레이어(2)가 서는 서야 할 장소에 발 모양(102)을 표시하고, 최적 방향의 경우의 몸의 평행 방향에서 발 모양(102)의 발끝을 연결한 목표선(101)을 제시한다. 또한, 발 모양은, 소정의 크기의 것을 출력하도록 해도 되고, 유저의 신장으로부터 그 크기를 계산하도록 해도 된다.

골프 플레이어의 방향은, 도 13에 도시된 바와 같이, 예를 들어 목표선(101)의 수선(102)과 x축이 이루는 방향을 θ로 하면 된다.

이와 같이, 본 실시 형태의 운동 지원 시스템에 의하면, 골프 플레이어(2)는 볼(9) 앞에 서면, 자신에 있어서 최적의 서는 위치 및 방향을 파악하는 것이 가능해져, 외부의 지시가 없어도 항상 최적인 장소를 서는 것이 가능해진다.

[실시 형태 3]

이하, 본 발명에 따른 제3 실시 형태를, 도 14 내지 도 17을 사용하여 설명한다. 본 실시 형태는, 시스템 구성, 동작 시퀀스에 대해서는, 제1 실시 형태와 거의 동일하지만, 지원 정보의 타입과 지원 정보 결정의 처리가 상이한 것이다.

도 14는, 본 발명의 제3 실시 형태에 따른 지원 표시 설정 데이터의 일례를 나타내는 도면이다.

도 15는, 본 발명의 제3 실시 형태에 따른 지원 정보 결정 처리의 상세를 나타내는 흐름도이다.

도 16은, 볼과 골프 클럽의 위치 관계를 설명하는 도면이다.

도 17은, 본 발명의 제3 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.

본 실시 형태는, 볼(6)과 골프 클럽(10)의 위치 관계에 착안하여, 적절한 관계에 있는 것을, 유저(골프 플레이어(2))에게 알림으로써, 골프 클럽(10)의 스윙을 촉구하는 것이다.

본 실시 형태의 지원 표시 설정 데이터(110)는, 볼의 타입, 골프 클럽의 타입과, 임팩트 시의 높이의 관계를 나타내는 데이터이며, 도 14에 도시된 바와 같이, 볼의 타입(110a), 클럽의 타입(110b), 높이의 차의 상한 diff_max(110c), 높이의 차의 하한 diff_min(110d)이 저장되어 있다. 도 14에 도시되는 예에서는, B 타입 볼, I 타입의 골프 클럽의 경우에서 유저가 플레이할 경우에는, 높이의 차의 상한 diff_max=-1cm, 높이의 차의 하한 diff_min=-5cm인 것을 나타내고 있다.

높이차 Δh는, 도 16에 도시된 바와 같이, 볼(6)의 높이를 z_ball, 골프 클럽(10)의 높이를 z_head로 하였을 때, 이하의 (식 1)로 표시된다.

Δh=z_head-z_ball ··· (식 1)

이어서, 도 15를 사용하여 본 실시 형태의 지원 정보 결정의 처리에 대하여 설명한다. 이것은, 제1 실시 형태의 도 8의 S008의 지원 정보 결정 처리로 치환하는 것이다. 도 15가 나타내는 바와 같이, 입력 정보로서, 도 4에 도시되는 용구 검지 결과 데이터(60)를 읽어들이고(S300), 도 14에 도시한 지원 표시 설정 데이터(110)를 참조하여, 볼의 타입, 골프 클럽의 타입으로부터, 임팩트할 때에 적절하게 되는 z 방향의 높이의 차의 상한 diff_max와 높이의 차의 하한 diff_min을 확정한다(S301).

이어서, 도 4에 도시한 용구 검지 결과 데이터(60)의 용구 좌표(60b)로부터 현재 골프 클럽(10)의 헤드(121)와 볼(6)의 z 방향의 거리 Δh를, 상기 (식 1)에 의해 계산한다.

그리고, Δh의 값과 높이의 차의 하한 diff_min을 비교하여(S303), Δh의 값이 높이의 차의 하한 diff_min보다 크지 않을 경우(S303: "아니오"), 헤드가 너무 낮다고 판단하여, 임팩트 불가가 되므로, 신호 표시=False로 하여, 운동 지원 시스템쪽으로부터 스윙의 신호(후술)를 내지 않게 한다(S306). Δh의 값이 높이의 차의 하한 diff_min보다 큰 경우에는(S303: "예"), Δh의 값과 높이의 차의 하한 diff_min을 비교하여(S304), Δh의 값이 높이의 차의 상한 diff_max보다 작지 않을 경우에는(S304: "아니오"), 헤드가 너무 높다고 판단하여, 임팩트 불가가 되므로, 신호 표시=False로 하여, 스윙의 신호를 내지 않기로 한다(S306). Δh의 값이 높이의 차의 상한 diff_max보다 작은 경우에는(S304: "예"), 현재 헤드의 높이는 최적이라고 판단하여, 운동 지원 시스템은, 유저에 대하여 스윙 가능의 신호를 내기로 한다(S305).

이어서, 도 17을 사용하여 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지에 대하여 설명한다. 여기서, 도 17의 (a)는 평면도, 도 17의 (b)는 상면도를 나타내고 있다.

골프 플레이어(2)는, 도 17에 도시된 바와 같이, 볼(9) 근처에서, 골프 클럽(10)을 갖고 골프 클럽(10)을 상하 방향에서 이동시키면, 운동 지원 시스템(6)은 촬상 장치(5)에 의해 그것을 촬상하여, 촬상 데이터를 화상 인식하고, 볼(9)과 골프 클럽(10)의 헤드 사이의 높이의 차(122)를 자동으로 계산하여, 높이의 차가 적절한 범위인 경우에는, 투사 장치(7)는, 헤드의 주변에, 스윙 가능의 신호 투사(120)(예를 들어, 녹색의 광선)를 한다.

이와 같이, 골프 플레이어(2)는 스윙하기 전에, 운동 지원 시스템쪽으로부터, 현재의 볼(6)과 골프 클럽(10)의 관계가 스윙 가능한지 여부를 교시해주므로, 유저는, 자연스럽게 임팩트할 때의 헤드의 높이의 감각을 습득하는 것이 가능해진다.

[실시 형태 4]

이하, 본 발명에 따른 제4 실시 형태를, 도 18을 사용하여 설명한다. 본 실시 형태는, 시스템 구성, 동작 시퀀스에 대해서는 제1 실시 형태와 거의 동일하지만, 제1 실시 형태와 같이, 볼에 안표의 화상을 투사함과 동시에, 골프 플레이어(2) 자신의 플레이 영상을, 적절한 투사 영역에 투사하는 것이다.

본 실시 형태에서는, 볼(9)에 안표를 제시함과 동시에, 화상 생성부(21)는, 촬상 장치(3)로부터 취득한 화상으로부터 골프 플레이어(2)가 촬상되고 있는 영역을 잘라내어, 투사 화상을 생성하고, 지원 정보 제시 생성 스텝(도 8의 S010)에서 생성된 지원 정보 화상과 중첩되어 투사 화상으로 한다. 그리고, 화상 투사부(22)는, 그 투사 화상을 화상 투사 영역(12)에 투사한다. 제어부(24)는, 화상 생성부(21)에 골프 플레이어(2)의 영상을 생성할 때, 볼(9)의 위치 및 골프 플레이어(2)의 위치, 골프 클럽(10)의 위치에 기초하여, 화상 투사 영역(12)의 빈 영역, 즉, 골프 플레이어(2)나 용구 등에 방해를 받지 않고, 유저가 그 화상을 시인할 수 있는 영역을 계산한다. 제어부(24)는, 화상 투사 영역(12)의 빈 영역 중에서, 골프 플레이어(2)의 방향과 동일한 방향, 또한 골프 플레이어(2)의 추정 시선과의 어긋남이 적은 영역을 골프 플레이어(2) 자신의 영상 투사 영역이 되도록 계산한다.

이어서, 도 18을 사용하여 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지에 대하여 설명한다.

도 18은, 본 발명의 제4 실시 형태에 따른 골프 연습 지원에 적합한 운동 지원 시스템에서 유저가 플레이할 때의 이미지도이다.

본 실시 형태에서는, 골프 플레이어(2)가 스윙하기 전에, 제1 실시 형태와 동일하도록, 볼(9)에 안표(81)를 제시함과 동시에, 도 18에 도시된 바와 같이, 골프 플레이어(2)의 전방 또한 볼(9)이나 골프 클럽(10)과 중첩되지 않는 영역의 골프 그라운드(8) 상에 골프 플레이어(2) 자신의 영상(130)이 투사된다.

이와 같이, 골프 플레이어(2)는 각종 지원 정보를 확인할 수 있음과 동시에, 자신의 자세를 무리없이 확인할 수 있게 된다. 또한, 공지된 운동 지원에 있어서의 디스플레이 표시 방법과 비교하면, 골프 플레이어(2)는 자신의 자세를 확인하기 위해 자세가 무너지는 것을 피할 수 있는 효과가 있다. 또한, 종래의 고정 디스플레이에서는 할 수 없는 자신의 영상이 자신의 방향에 따라서, 제시 장소를 자동 조정할 수 있는 효과를 생각할 수 있다.

[실시 형태 5]

이하, 본 발명에 따른 제5 실시 형태를, 도 19를 사용하여 설명한다.

도 19는, 본 발명의 제5 실시 형태에 따른 시스템 구성을 나타내는 블록도이다.

본 실시 형태에서는, 도 19가 나타내는 바와 같이, 제1 실시 형태와 같이 운동 지원 시스템(6)이 이용하는 촬상 장치는, 시스템 안에 내장하는 것이 아니라, 독립적인 촬상 시스템(140)으로서 존재하고 있다. 촬상 시스템(140)은 촬상부(20), 제어부(141), 통신/F(143), 메모리(144), 스토리지(145)를 가지고, 그것들이 버스(142)에 의해 결합된 형태이다.

운동 지원 시스템(1')과 촬상 시스템(140)은 통신 I/F(146) 및 통신 I/F(143)를 갖는다. 통신 I/F(146) 및 통신 I/F(143)는, 네트워크나 회선에 의해 구성되는 통신 경로(147)를 경유하여, 데이터의 송수신이 가능해진다. 운동 지원 시스템(1')은 통신 I/F(146)를 사용하여, 촬상 시스템(140)의 영상을 수신하고, 골프 플레이어(2)에 정보 제시를 행한다. 또한, 필요에 따라서, 운동 지원 시스템(1)은, 통신 I/F(146)를 사용하여 촬상 시스템의 해상도, 방향 등을 제어하는 것이 가능하게 해도 된다. 이러한 시스템 구성 하에 있어서, 촬상 시스템(140)으로서, 시장에 유통되고 있는 제품을 직접 이용함으로써, 운동 지원 시스템(1')의 제조 비용을 낮추는 것이 가능해진다.

[운동 지원 시스템의 적용 범위]

이상, 본 발명의 운동 지원 시스템에 대해서, 골프 플레이어에 적합한 운동 스킬을 숙달시키는 것을 목적으로 하여, 실시 형태를 중심으로 설명하였다. 단, 운동 지원 시스템 골프에 한정하지 않더라도, 다른 인간이 용구를 사용하여 행하는 운동 경기에 관한 운동 스킬, 예를 들어 야구, 축구, 탁구 등에도 적용할 수 있다.

1, 1': 운동 지원 시스템
2: 골프 플레이어
3: 촬상 장치
6: 정보 제시 장치
7: 투사 장치
8: 골프 그라운드
9: 볼
12: 화상 투사 영역
20: 촬상부
21: 화상 생성부
22: 화상 투사부
23: 버스
24: 제어부
25: 메모리
26: 스토리지
40: 화상 인식부
41: 운동 상태 인식부
42: 화상 인식 프로그램
43: 운동 상태 인식 프로그램
44: 화상 특징량 데이터
45: 지원 표시 설정 데이터

Claims (9)

1. 유저가 용구를 사용하여 행하는 운동을 지원하는 운동 지원 시스템에 있어서,
   상기 유저의 운동에 관한 상황의 영상을 촬상하는 촬상부와,
   상기 용구 또는 상기 유저에 중첩된 상태, 또는 상기 용구 또는 상기 유저의 근방에 화상을 투사하는 화상 투사부와,
   상기 유저의 운동을 지원하는 운동 지원 표시를 포함하는 화상을 생성하는 화상 생성부와,
   제어부를 구비하고,
   상기 제어부는, 상기 촬상부가 촬상한 영상 중의 상기 용구의 위치를 검출하고, 상기 용구의 위치의 검출 결과에 따라서, 상기 화상 생성부가, 생성하는 화상 내에서의 상기 운동 지원 표시의 위치를 변경하고,
   상기 제어부는, 상기 촬상부가 촬상한 영상 중의 상기 유저의 위치를 검출하고, 상기 유저의 위치의 검출 결과에 따라서, 상기 화상 생성부가 생성하는 화상 내에서의 상기 운동 지원 표시의 위치를 변경하고,
   유저가 용구를 사용하여 행하는 운동은, 골프 경기에 관한 운동이며,
   상기 제어부는, 상기 촬상부가 촬상한 영상 중 유저의 위치, 신장, 골프의 용구의 볼, 골프 클럽의 타입, 위치에 따라서, 상기 화상 생성부가 생성하는 화상 내에서의 상기 운동 지원 표시의 위치를 변경하고,
   볼, 골프 클럽의 타입마다, 임팩트할 때의 높이의 차의 하한, 상한의 데이터를 유지하고,
   상기 제어부는, 상기 촬상부가 촬상한 영상에 의해, 상기 볼, 골프 클럽의 높이의 차를 산출하고, 상기 볼, 골프 클럽의 높이의 차가, 상기 임팩트할 때의 높이의 차의 하한으로부터 상한 사이에 있는지 여부를 판정하고,
   상기 화상 투사부는, 상기 볼, 골프 클럽의 높이의 차가, 상기 임팩트할 때의 높이의 차의 하한으로부터 상한 사이에 있을 때, 스윙의 신호 정보를 포함하는 화상을 투사하는 것을 특징으로 하는, 운동 지원 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images