KR20230158468A

KR20230158468A - 표시 제어 장치 및 방법 및 프로그램

Info

Publication number: KR20230158468A
Application number: KR1020237027857A
Authority: KR
Inventors: 노부히사 쿠라치
Original assignee: 유겐가이샤 암플러스
Priority date: 2022-05-09
Filing date: 2022-12-21
Publication date: 2023-11-20
Also published as: US20240115904A1; AU2022417274A1; AU2022417274B2; CA3204843A1; KR102618193B1; AU2024203001A1; CN117377517A

Abstract

골프 클럽(41)의 클럽 헤드(41a)를 촬영한 촬영 화상을 취득하는 촬영 화상 취득부(21)와, 골프 클럽(41)의 클럽 헤드(41a)를 촬영한 복수의 촬영 화상과 각 촬영 화상에 포함되는 클럽 헤드(41a)의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 촬영 화상 취득부(21)에 의해 취득된 촬영 화상을 입력함으로써 촬영 화상에 포함되는 클럽 헤드(41a)의 토 및 힐의 위치 정보를 검출하는 특정 위치 검출부(22)와, 특정 위치 검출부(22)에 의해 검출된 클럽 헤드(41a)의 토 및 힐의 위치 정보에 의거하는 정보를 표시시키는 제어부(23)를 구비한다.

Description

표시 제어 장치 및 방법 및 프로그램

본 발명은 골프 클럽의 스윙 중의 클럽 헤드를 촬영한 촬영 화상에 의거하여, 스윙에 관한 정보를 표시시키는 표시 제어 장치 및 방법 및 프로그램에 관한 것이다.

종래, 골퍼의 스윙을 촬영하고, 그 촬영 정보를 제공하는 장치가 여러 가지 제안되어 있다. 스윙의 촬영 정보를 골퍼에게 제공함으로써, 골프의 숙달을 촉진하거나, 그 골퍼에 적합한 골프 클럽의 선택을 촉구할 수 있다.

상술한 장치로서, 예를 들면 특허문헌 1에는, 골프 클럽을 스윙했을 때의 골프 클럽과 골프공을 위에서 촬영하고, 그 촬영된 클럽 헤드와 골프공의 화상을 실물 크기로 바닥면에 투영 표시시키는 것이 제안되어 있다.

일본 특허공개 2018-61729호 공보 일본 특허 제6904624호 공보

여기서, 골퍼의 스윙에서 중요한 요소로서, 클럽 헤드의 페이스면의 움직임이나 스윙 중에 있어서의 클럽 헤드의 이동 궤적 등이 있다. 스윙 중의 클럽 헤드의 페이스면의 움직임이나 이동 궤적을 인식함으로써, 골퍼의 스윙의 특징을 파악할 수 있고, 또한 그 특징에 맞춘 골프 클럽을 선택할 수 있다.

그러나, 예를 들면 특허문헌 1과 같이 이동 중의 클럽 헤드를 상방으로부터 촬영한 것만으로는, 그 촬영 화상으로부터 클럽 헤드의 위치나 페이스면을 고정밀도로 검출하는 것은 어렵다.

또, 특허문헌 2에서는, 클럽 헤드에 대하여 클럽 헤드 계측용의 마크를 부착하고, 그 마크를 검출함으로써, 클럽 헤드의 페이스면 등을 고정밀도로 검출하는 방법이 제안되어 있다.

그러나, 특허문헌 2에 기재된 방법에서도, 클럽 헤드에 대하여 클럽 헤드 계측용의 마크를 부착할 필요가 있다. 따라서, 예를 들면 다양한 골프 클럽에 대해서 클럽 헤드의 페이스면의 움직임 등을 검출하는 경우에는, 각각의 골프 클럽에 대하여 클럽 헤드 계측용의 마크를 부착할 필요가 있어 번거롭다.

본 발명은 상기 문제를 감안하여, 보다 간이하게 골프 클럽의 스윙에 관한 정보를 확인할 수 있는 표시 제어 장치 및 방법 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 표시 제어 장치는, 골프 클럽의 클럽 헤드를 촬영한 촬영 화상을 취득하는 촬영 화상 취득부와, 골프 클럽의 클럽 헤드를 촬영한 복수의 촬영 화상과 각 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 촬영 화상 취득부에 의해 취득된 촬영 화상을 입력함으로써 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보를 검출하는 특정 위치 검출부와, 특정 위치 검출부에 의해 검출된 클럽 헤드의 토 및 힐의 위치 정보에 의거하는 정보를 표시시키는 제어부를 구비한다.

본 발명의 표시 제어 방법은, 골프 클럽의 클럽 헤드를 촬영한 촬영 화상을 취득하고, 골프 클럽의 클럽 헤드를 촬영한 복수의 촬영 화상과 각 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 상기 취득된 촬영 화상을 입력함으로써 그 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보를 검출하고, 그 검출한 클럽 헤드의 토 및 힐의 위치 정보에 의거하는 정보를 표시시킨다.

본 발명의 표시 제어 프로그램은, 골프 클럽의 클럽 헤드를 촬영한 촬영 화상을 취득하는 스텝과, 골프 클럽의 클럽 헤드를 촬영한 복수의 촬영 화상과 각 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 상기 취득된 촬영 화상을 입력함으로써 그 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보를 검출하는 스텝과, 그 검출한 클럽 헤드의 토 및 힐의 위치 정보에 의거하는 정보를 표시시키는 스텝을 컴퓨터에 실행시킨다.

본 발명의 표시 제어 장치 및 방법 및 프로그램에 의하면, 학습 완료 모델에 대하여 촬영 화상을 입력함으로써, 그 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보를 검출하고, 그 검출한 클럽 헤드의 토 및 힐의 위치 정보에 의거하는 정보를 표시시키도록 했으므로, 보다 간이하게 골프 클럽의 스윙에 관한 정보를 확인할 수 있다.

도 1은 본 발명의 표시 제어 장치의 일 실시형태를 이용한 골프 임팩트 해석 시스템의 개략 구성을 나타내는 도면이다.
도 2는 클럽 헤드의 토 및 힐, 골프 클럽의 넥 및 샤프트의 화상단의 위치 정보가 검출된 촬영 화상의 일 예를 나타내는 도면이다.
도 3은 1회의 골프 클럽의 스윙에 의해 생성된 페이스면의 선분의 군과 궤도 화상의 투영 표시 예를 나타내는 도면이다.
도 4는 2회의 골프 클럽의 스윙에 의해 생성된 페이스면의 선분의 군 및 궤도 화상의 투영 표시 예를 나타내는 도면이다.
도 5는 도 1에 나타내는 골프 임팩트 해석 시스템의 처리의 흐름을 설명하기 위한 플로우차트이다.

이하, 본 발명의 표시 제어 장치의 일 실시형태를 이용한 골프 임팩트 해석 시스템에 대해서, 도면을 참조하면서 상세하게 설명한다. 본 실시형태의 골프 임팩트 해석 시스템은, 촬영 화상에 의거해서 클럽 헤드의 특정 위치를 검출하고, 그 특정 위치에 의거하는 정보를 표시하는 방법에 특징을 갖는 것이지만, 우선은 골프 임팩트 해석 시스템 전체에 대해서 설명한다. 도 1은 본 실시형태의 골프 임팩트 해석 시스템(1)의 개략 구성도이다.

본 실시형태의 골프 임팩트 해석 시스템(1)은, 도 1에 나타내는 바와 같이, 촬영 장치(10)와, 제어 장치(20)와, 투영 장치(30)를 구비하고 있다. 촬영 장치(10)와 제어 장치(20) 간 및 제어 장치(20)와 투영 장치(30) 간은 유선 또는 무선에 의해 통신 가능하게 접속되어 있어, 다양한 신호의 교환이 가능하게 구성되어 있다.

촬영 장치(10)는 골퍼(40)가 골프 클럽(41)을 스윙했을 때의 그 골프 클럽(41)의 클럽 헤드(41a)를 상방으로부터 촬영한다. 촬영 장치(10)는 골프 클럽(41)을 스윙하는 골퍼(40)보다 상방에 설치되어, 클럽 헤드(41a)가 바닥면의 근방을 통과하는 범위를 촬영 가능하도록, 상기 범위의 바로 위에 설치된다. 구체적으로는, 촬영 장치(10)는, 예를 들면 바닥면 상에 미리 설정된 골프공(42)의 설치 위치(P)를 중심 근방에 포함하는 소정의 촬영 범위(R)의 바로 위에 설치된다. 촬영 장치(10)는, 예를 들면 스탠드 등의 지지 부재에 설치해도 좋고, 천장에 설치하도록 해도 좋다.

촬영 장치(10)는 조명부(11)와, 카메라부(12)를 구비하고 있다. 본 실시형태의 조명부(11)는 적외광원을 갖고, 그 적외광원으로부터 발산된 적외광을 상기 촬영 범위(R)에 조사한다. 또한, 카메라부(12)는 CMOS(Complementary metal-oxide-semiconductor) 이미지 센서나 CCD(Charge-coupled devices) 이미지 센서 등의 촬상 소자와, 그 촬상 소자의 전면(前面)에 배치된 IR 필터를 갖는다. IR 필터는 가시광을 흡수하고, 적외광을 투과하는 광학 필터이다.

촬영 장치(10)는 제어 장치(20)의 후술하는 제어부(23)로부터 출력된 제어 신호에 의거하여, 조명부(11)로부터 적외광을 출사하고, 카메라부(12)에 의해 상기 촬영 범위(R)의 촬영을 행한다. 구체적으로는, 촬영 장치(10)는 소정의 프레임 레이트로 조명부(11)로부터 적외광을 출사함과 아울러, 상기 촬영 범위(R)를 통과하는 클럽 헤드(41a)를 촬영한다. 촬영 장치(10)에 의해 소정의 프레임 레이트로 촬영된 촬영 화상은 제어 장치(20)에 출력된다.

제어 장치(20)는 컴퓨터 등으로 구성되고, CPU(Central Processing Unit), ROM(Read Only Memory) 및 RAM(Random access memory) 등의 반도체 메모리, 하드디스크 등의 스토리지, 및 통신 I/F 등의 하드웨어를 구비한다. 본 실시형태에 있어서는, 제어 장치(20)가 본 발명의 표시 제어 장치에 상당한다.

제어 장치(20)는 촬영 화상 취득부(21)와, 특정 위치 검출부(22)와, 제어부(23)와, 표시부(24)와, 입력부(25)를 구비하고 있다.

제어 장치(20)의 반도체 메모리 또는 하드디스크에는 골프 임팩트 해석 프로그램이 인스톨되어 있다. 그리고, 이 프로그램이 CPU에 의해 실행됨으로써, 상술한 촬영 화상 취득부(21), 특정 위치 검출부(22) 및 제어부(23)가 기능한다. 또한, 본 실시형태에 있어서는, 상술한 각 부의 기능을 모두 골프 임팩트 해석 프로그램에 의해 실행하도록 했지만, 이것에 한정되지 않고, 일부 또는 전부의 기능을 ASIC(Application Specific Integrated Circuit)이나 FPGA(Field-Programmable Gate Array), 그 밖의 전기 회로 등의 하드웨어로 구성하도록 해도 좋다.

이하, 제어 장치(20)의 각 부에 대해서 상세하게 설명한다.

촬영 화상 취득부(21)는 골프 클럽(41)의 스윙 중에 있어서, 촬영 장치(10)에 의해 클럽 헤드(41a)를 시계열로 촬영한 복수의 촬영 화상을 취득한다.

특정 위치 검출부(22)는 촬영 화상 취득부(21)에 의해 취득된 각 촬영 화상에 포함되는 클럽 헤드(41a)의 토 및 힐, 골프 클럽(41)의 넥 및 샤프트(41b)의 화상단의 위치 정보를 검출한다.

도 2는 특정 위치 검출부(22)에 의해, 클럽 헤드(41a)의 토 및 힐, 골프 클럽(41)의 넥 및 샤프트(41b)의 화상단의 위치 정보가 검출된 촬영 화상(Im)의 일 예를 나타내는 도면이다. 점(P1)이 토의 위치이며, 점(P2)이 힐의 위치이며, 점(P3)이 넥의 위치이며, 점(P4)이 샤프트(41b)의 화상단의 위치이다.

샤프트(41b)의 화상단이란, 도 2에 나타내는 바와 같이, 촬영 화상(Im)에 포함되는 샤프트를 나타내는 화상에 있어서의 클럽 헤드(41a)측과는 반대의 단(端)이며, 즉 샤프트를 나타내는 화상과 촬영 화상(Im)의 단(변)이 교차하는 점이다. 이후, 샤프트(41b)의 화상단을 「엣지」라고 부른다.

특정 위치 검출부(22)는, 구체적으로는 클럽 헤드(41a)를 촬영한 복수의 임의의 촬영 화상과 그 각 촬영 화상에 포함되는 클럽 헤드(41a)의 토 및 힐, 골프 클럽(41)의 넥 및 샤프트(41b)의 엣지의 위치 정보의 관계를 미리 기계 학습해서 얻어진 학습 완료 모델을 갖는다.

그리고, 특정 위치 검출부(22)는 그 학습 완료 모델에 대하여, 촬영 화상 취득부(21)에 의해 취득된 촬영 화상을 입력함으로써 그 입력한 촬영 화상에 포함되는 토, 힐, 넥 및 엣지의 위치 정보를 검출한다. 학습 완료 모델로서는, 예를 들면 합성곱 뉴럴 네트워크(Convolutional Neural Network)를 이용해서 생성되지만, 이것에 한정되지 않고, 그 밖의 공지의 기계 학습 모델을 이용해서 기계 학습하도록 해도 좋다.

학습 완료 모델은, 예를 들면 토, 힐, 넥 및 엣지의 위치에 어노테이션을 첨부한 촬영 화상을 기계 학습시킴으로써 생성된다. 기계 학습은 시맨틱 분할의 기계 학습이나, 히트 맵을 고려한 키 포인트 기계 학습의 기술에 의거해서 행하여진다.

또, 학습 완료 모델은, 명도가 상이한 복수의 촬영 화상과 각 촬영 화상에 포함되는 토, 힐, 넥 및 엣지의 위치 정보의 관계를 기계 학습해서 얻어진 것으로 하는 것이 바람직하다. 다시 말해, 학습 완료 모델을 기계 학습시킬 때에 사용하는 복수의 촬영 화상으로서는, 명도가 상이한 촬영 화상으로 하는 것이 바람직하다. 이것에 의해, 예를 들면 학습 완료 모델에 입력되는 촬영 화상의 조명 환경이 상이하고, 명도가 상이한 경우여도, 토, 힐, 넥 및 엣지의 위치 정보를 동등한 정밀도로 검출할 수 있다. 또한, 학습 완료 모델에 대하여, 검출 대상인 촬영 화상을 입력할 때는, 특정 위치 검출부(22)는 촬영 화상에 대하여 그레이 스케일의 평균화(평탄화) 처리를 실시하는 것이 보다 바람직하다.

또, 본 실시형태에서는, 특정 위치 검출부(22)가 학습 완료 모델을 갖도록 했지만, 이것에 한정되지 않고, 예를 들면 제어 장치(20)와는 상이한 외부 서버 장치에 미리 기억된 학습 완료 모델을 사용하도록 해도 좋다.

다음에, 제어부(23)는 골프 임팩트 해석 시스템(1) 전체를 제어하는 것이다. 구체적으로는, 제어부(23)는 통신 I/F를 통해서 촬영 장치(10)와 통신하고, 촬영 장치(10)에 대하여 촬영 개시 타이밍이나 촬영의 프레임 레이트 등을 지시하는 제어 신호를 출력한다. 또한, 제어부(23)는 통신 I/F를 통해서 투영 장치(30)와 통신하고, 다양한 정보를 투영 장치(30)에 의해 바닥면에 표시시킨다.

특히, 본 실시형태의 제어부(23)는 특정 위치 검출부(22)에 의해 검출된 클럽 헤드(41a)의 토 및 힐, 골프 클럽(41)의 넥 및 샤프트(41b)의 엣지의 위치 정보에 의거하여, 다양한 정보를 투영 장치(30)에 의해 바닥면에 표시시킨다.

구체적으로는, 제어부(23)는, 도 2에 나타내는 바와 같이, 촬영 화상(Im) 상에 토, 힐, 넥 및 엣지의 위치를 점으로 나타내서 표시시킨다. 또한, 제어부(23)는 골프 클럽(41)의 스윙 중에 시계열로 촬영된 촬영 화상(Im)을 표시부(24)에 순차 표시시키고, 그 순차 표시되는 각 촬영 화상(Im) 상에 토, 힐, 넥 및 엣지의 위치를 점으로 표시시킨다. 이것에 의해, 골프 클럽(41)의 스윙 중에 있어서의 토, 힐, 넥 및 엣지의 위치의 움직임을 인식할 수 있어, 스윙의 양부를 확인하거나, 골프 클럽(41)의 적부를 확인하거나 할 수 있다.

또, 제어부(23)는 토, 힐, 넥 및 엣지의 위치를 점으로 표시시킬 뿐만 아니라, 이들의 위치 정보에 의거하여, 골프 클럽(41)의 스윙에 관한 다양한 정보를 투영 장치(30)에 의해 바닥면에 표시시킬 수 있다.

구체적으로는, 제어부(23)는 촬영 화상에 있어서의 토의 위치와 힐의 위치를 직선으로 연결하는 것에 의해, 클럽 헤드(41a)의 페이스면을 나타내는 선분을 생성해서 표시시킬 수 있다. 또한, 본 명세서 전체적으로 페이스면이라는 언어를 사용하고 있지만, 이 페이스면은 클럽 헤드(41a)에 있어서 골프공이 임팩트하는 면을 의미하지만, 패이스면이라는 언어로 나타내어지는 경우도 있다. 즉 본 명세서에서 사용되고 있는 페이스면과 패이스면은 동일한 의미이다. 또한, 본 실시형태에서는, 드라이버의 경우는, 크라운부와 페이스면의 경계선을 페이스면을 나타내는 선분으로 하고, 아이언의 경우는, 페이스면의 최하부에 해당하는 리딩 엣지부를 페이스면을 나타내는 선분으로 하고 있다.

또, 제어부(23)는 골프 클럽(41)의 스윙 중에 시계열로 촬영된 각 촬영 화상으로부터, 상술한 클럽 헤드(41a)의 페이스면을 나타내는 선분을 각각 생성하여, 페이스면을 나타내는 선분의 군을 표시시킬 수 있다.

또, 제어부(23)는 상술한 각 촬영 화상의 페이스면을 나타내는 선분의 중심 위치를 산출하고, 그 산출한 복수의 중심 위치를 연결해서 곡선 근사함으로써, 클럽 헤드(41a)의 궤도 화상을 생성해서 표시시킬 수 있다.

도 3은 1회의 골프 클럽(41)의 스윙에 의해 생성된 페이스면의 선분(FG)의 군과, 클럽 헤드(41a)의 궤도 화상(TG)의 투영 표시 예를 나타내는 도면이다. 투영 장치(30)는 바닥면에 대하여, 예를 들면 도 3에 나타내는 바와 같이 페이스면의 선분(FG)의 군과 궤도 화상(TG)을 투영 표시한다. 또한, 도 3에 나타내는 CG는 클럽 헤드를 나타내는 3차원 오브젝트 화상이다.

3차원 오브젝트 화상(CG)이란, 촬영 장치(10)에 의해 촬영된 촬영 화상과는 상이하고, 클럽 헤드를 모식적으로 3차원 화상으로서 나타낸 화상이다. 이 클럽 헤드를 나타내는 3차원 오브젝트 화상(CG)도 제어부(23)에 의해 생성된다. 그리고, 제어부(23)가 그 3차원 오브젝트 화상(CG)을 투영 장치(30)에 출력하고, 투영 장치(30)에 의해 바닥면에 투영 표시된다.

도 3에 있어서는, 궤도 화상(TG) 상의 소정의 위치의 클럽 헤드의 3차원 오브젝트 화상(CG)을 나타내고 있지만, 투영 장치(30)가, 제어부(23)에 의한 제어에 의해, 궤도 화상(TG)의 선을 따라 3차원 오브젝트 화상(CG)을 이동시켜서 애니메이션 표시하도록 해도 좋다.

또, 도 3에 있어서는, 1회의 스윙에 의한 페이스면의 선분(FG)의 군과 궤도 화상(TG)을 투영 표시한 예이지만, 2회 이상의 스윙에 의한 페이스면의 선분의 군과 궤도 화상을 겹쳐서 투영 표시하도록 해도 좋다. 도 4는, 1회째의 스윙에 의한 페이스면의 선분(FG1)의 군 및 궤도 화상(TG1)의 조와, 2회째의 스윙에 의한 페이스면의 선분(FG2)의 군과 궤도 화상(TG2)의 조를 투영 표시한 예이다. 1회째의 스윙에 의한 페이스면의 선분(FG1)의 군 및 궤도 화상(TG1)의 조와, 2회째의 스윙에 의한 페이스면의 선분(FG2)의 군과 궤도 화상(TG2)의 조는, 상이한 색으로 투영 표시하는 것이 바람직하다.

또, 제어부(23)는 넥과 엣지의 위치 정보에 의거하여, 골프 클럽(41)의 샤프트(41b)에 관한 정보를 투영 장치(30)에 의해 바닥면에 표시시킬 수 있다. 구체적으로는, 제어부(23)는, 예를 들면 넥 및 엣지의 위치 정보를 연결하는 직선에 의거하여, 샤프트(41b)를 나타내는 선분을 생성해서 표시시킨다. 제어부(23)는 골프 클럽(41)의 스윙 중에 시계열로 촬영된 촬영 화상을, 투영 장치(30)에 의해 바닥면에 순차 표시시킬 수 있고, 그 순차 표시되는 각 촬영 화상 상에 샤프트(41b)를 나타내는 선분을 표시시킬 수 있다. 이것에 의해, 골프 클럽(41)의 스윙 중에 있어서의 샤프트(41b)의 움직임을 인식할 수 있어, 스윙의 해석이나 골프 클럽의 선택에 도움이 될 수 있다.

또, 제어부(23)는 상술한 각 촬영 화상의 페이스면을 나타내는 선분의 중심 위치를 산출하고, 프레임 간의 중심 위치의 거리와 프레임 레이트에 의거하여, 클럽 헤드(41a)의 속도를 산출하도록 해도 좋다. 그리고, 제어부(23)는 그 산출한 클럽 헤드(41a)의 속도를 투영 장치(30)에 의해 바닥면에 표시시키도록 해도 좋다.

또, 제어부(23)는 토, 힐, 넥 및 엣지의 위치 정보나, 클럽 헤드(41a)의 페이스면의 선분의 군 및 궤도 화상 및 샤프트(41b)를 나타내는 선분 등을 표시부(24)에도 표시시킨다.

표시부(24)는, 예를 들면 액정 디스플레이 등의 표시 디바이스를 구비한다. 또한, 입력부(25)는, 예를 들면 마우스나 키보드 등의 입력 디바이스를 구비한다. 또한, 제어 장치(20)를 타블렛 단말로 구성하고, 표시부(24) 및 입력부(25)를 터치패널로 구성하도록 해도 좋다.

다음에, 도 1로 돌아가고, 투영 장치(30)는 프로젝터로 구성되고, 상술한 바와 같이 제어 장치(20)의 제어부(23)에 의한 제어에 의해, 바닥면에 대하여 토, 힐, 넥 및 엣지의 점이 첨부된 촬영 화상이나, 페이스면의 선분의 군 및 궤도 화상을 투영 표시한다. 투영 장치(30)는 골프 클럽(41)을 스윙하는 골퍼보다 상방 또는, 단초점·근접 렌즈 등을 사용해서 하방에 설치되고, 촬영 장치(10)에 인접시켜서 설치된다. 또한, 투영 장치(30)는 촬영 화상, 페이스면의 선분의 군 및 궤도 화상을 바닥면 상에 대하여, 충분한 밝기 또한 명료하게 표시 가능한 투사 거리와 휘도를 갖는다.

투영 장치(30)는 바닥면 상의 골프공(42)의 설치 위치(P)를 중심 근방에 포함하는 소정의 투영 범위에, 토, 힐, 넥 및 엣지의 점이 첨부된 촬영 화상, 페이스면의 선분의 군 및 궤도 화상을 투영 표시 가능하도록 설치된다. 투영 장치(30)는, 예를 들면 촬영 장치(10)와 함께 스탠드 등의 지지 부재에 설치해도 좋고, 천장에 설치하도록 해도 좋다.

또한, 상기 실시형태에 있어서는, 클럽 헤드(41a)를 촬영 장치(10)에 의해 바로 위에서 촬영하도록 했지만, 이것에 한정되지 않고, 예를 들면 촬영 장치(10)로서, 스테레오 카메라를 설치하고, 클럽 헤드(41a)를 스테레오 촬영하도록 해도 좋다.

그리고, 특정 위치 검출부(22)가, 스테레오 촬영에 의해 취득된 각 촬영 화상으로부터 토, 힐, 넥 및 엣지의 위치 정보를 검출함으로써, 토, 힐, 넥 및 엣지의 3차원 공간상의 위치를 검출하도록 해도 좋다. 이것에 의해, 골프 클럽(41)의 움직임을 보다 상세하게 해석할 수 있다. 제어부(23)는, 예를 들면 토, 힐, 넥 및 엣지의 3차원 공간상의 위치를 직선에 의해 연결해서 3차원의 선분 화상을 생성하고, 이것을 표시부(24)에 3차원 표시시킨다.

다음에, 골프 임팩트 해석 시스템(1)의 처리의 흐름에 대해서, 도 5에 나타내는 플로우차트를 참조하면서 설명한다.

우선, 골프 임팩트 해석 시스템(1)의 각 장치가 기동된다(S10). 이어서, 도 1에 나타내는 바와 같이 촬영 범위(R)의 근방에 골퍼가 서고, 촬영 범위(R) 내에 있어서의 골프공의 설치 위치(P)에 골프공(42)을 설치한다.

그리고, 유저에 의해 제어 장치(20)에 있어서 촬영 개시 지시가 설정 입력되고, 촬영 장치(10)에 의한 촬영이 개시된다(S12).

촬영 장치(10)에 의한 촬영이 개시된 후, 골퍼가 골프 클럽(41)을 스윙하여, 골프공(42)을 친다(S14).

골퍼가 골프 클럽(41)을 스윙하는 동안, 촬영 장치(10)에 의해 촬영 범위(R) 내의 촬영 화상이 소정의 프레임 레이트로 촬영되고(S16), 시계열로 촬영된 촬영 화상이 제어 장치(20)에 순차 출력된다. 촬영 장치(10)는 촬영 개시로부터 미리 설정된 시간만큼 경과한 시점에 촬영을 종료한다(S18).

촬영 장치(10)로부터 출력된 촬영 화상은 제어 장치(20)에 입력되고, 촬영 화상 취득부(21)에 의해 취득된다(S20). 특정 위치 검출부(22)가, 촬영 화상 취득부(21)에 의해 취득된 각 촬영 화상을 상술한 학습 완료 모델에 입력하고, 각 촬영 화상 상에 있어서의 토, 힐, 넥 및 엣지의 위치 정보를 검출한다(S22).

그리고, 제어부(23)는 시계열로 촬영된 복수의 촬영 화상을 투영 장치(30)에 의해 바닥면에 표시시킴과 아울러, 그 각 촬영 화상 상에 토, 힐, 넥 및 엣지의 위치에 점을 겹쳐서 표시시킨다(S24). 이것에 의해, 스윙 중에 있어서의 토, 힐, 넥 및 엣지의 위치의 이동 상태를 인식할 수 있어, 보다 간이하게 골프 클럽의 스윙에 관한 정보를 확인할 수 있다.

또, 상기 실시형태에 있어서는 토, 힐, 넥 및 엣지의 4개의 점을 표시시키도록 했지만, 이것에 한정되지 않고, 예를 들면 토 및 힐의 2개의 점, 또는 토, 힐 및 넥의 3개의 점을 표시시키도록 해도 좋다.

또, 상기 실시형태에 있어서는, 클럽 헤드(41a)를 바로 위에서 촬영한 예를 설명하고 있지만, 적어도 토 및 힐, 바람직하게는 토, 힐, 넥, 보다 바람직하게는토, 힐, 넥 및 엣지를 촬영할 수 있으면, 촬영 각도는 이것에 한정되지 않는다. 예를 들면, 클럽 헤드(41a)를 경사지게 가로 방향 등으로부터 촬영한 촬영 화상을 학습시키고, 그 방향으로부터 촬영한 촬영 화상을 인식시키기 위한 기계 학습을 실행하여, 학습 완료 모델을 생성하도록 해도 좋다.

본 발명에 관하여, 추가로 이하의 부기를 개시한다.

(부기)

본 발명의 표시 제어 장치에 있어서, 학습 완료 모델은 복수의 촬영 화상과 각 촬영 화상에 포함되는 골프 클럽의 넥의 위치 정보의 관계를 추가로 기계 학습해서 얻어진 것으로 할 수 있고, 특정 위치 검출부는 골프 클럽의 넥의 위치 정보를 추가로 검출할 수 있고, 제어부는 골프 클럽의 넥의 위치 정보에 의거하는 정보를 표시시킬 수 있다.

또, 본 발명의 표시 제어 장치에 있어서, 학습 완료 모델은 복수의 촬영 화상과 각 촬영 화상에 포함되는 골프 클럽의 넥 및 골프 클럽의 샤프트의 화상단의 위치 정보의 관계를 추가로 기계 학습해서 얻어진 것으로 할 수 있고, 특정 위치 검출부는 골프 클럽의 넥 및 샤프트의 화상단의 위치 정보를 추가로 검출할 수 있고, 제어부는 골프 클럽의 넥 및 샤프트의 화상단의 위치 정보에 의거하는 정보를 표시시킬 수 있다.

또, 본 발명의 표시 제어 장치에 있어서, 제어부는 클럽 헤드의 토 및 힐의 위치 정보에 의거하여, 클럽 헤드의 페이스면을 나타내는 선분을 생성해서 표시시킬 수 있다.

또, 본 발명의 표시 제어 장치에 있어서, 제어부는 골프 클럽의 넥 및 샤프트의 화상단의 위치 정보를 연결하는 직선에 의거하여, 샤프트를 나타내는 선분을 생성해서 표시시킬 수 있다.

또, 본 발명의 표시 제어 장치에 있어서, 제어부는 클럽 헤드의 토 및 힐의 위치 정보에 의거하여, 클럽 헤드의 이동 궤적의 정보를 생성해서 표시시킬 수 있다.

또, 본 발명의 표시 제어 장치에 있어서, 학습 완료 모델은 명도가 상이한 복수의 촬영 화상과 각 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 것으로 할 수 있다.

1: 골프 임팩트 해석 시스템 10: 촬영 장치
11: 조명부 12: 카메라부
20: 제어 장치 21: 촬영 화상 취득부
22: 특정 위치 검출부 23: 제어부
24: 표시부 25: 입력부
30: 투영 장치 40: 골퍼
41: 골프 클럽 41a: 클럽 헤드
41b: 샤프트 42: 골프공
CG: 클럽 헤드의 3차원 오브젝트 화상 P: 설치 위치
P1: 토를 나타내는 점 P2: 힐을 나타내는 점
P3: 넥을 나타내는 점 P4: 엣지를 나타내는 점
R: 촬영 범위

Claims

골프 클럽의 스윙 중에 있어서의 클럽 헤드를 상방으로부터 시계열로 촬영한 복수의 촬영 화상을 취득하는 촬영 화상 취득부와,
골프 클럽의 클럽 헤드를 상방으로부터 촬영한 복수의 임의의 촬영 화상과 상기 각 촬영 화상에 포함되는 상기 클럽 헤드의 토 및 힐의 위치의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 상기 촬영 화상 취득부에 의해 취득된 복수의 촬영 화상을 입력함으로써 상기 복수의 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치를 각각 검출하는 특정 위치 검출부와,
상기 특정 위치 검출부에 의해 검출된 상기 클럽 헤드의 토 및 힐의 위치를 상기 복수의 촬영 화상 상에 점으로 표시시킴과 아울러, 상기 점이 겹쳐진 상기 복수의 촬영 화상을 순차 표시시키는 제어부를 구비한 표시 제어 장치.
제 1 항에 있어서,
상기 학습 완료 모델이 상기 복수의 임의의 촬영 화상과 상기 각 촬영 화상에 포함되는 상기 골프 클럽의 넥의 위치 정보의 관계를 추가로 기계 학습해서 얻어진 것이며,
상기 특정 위치 검출부가 상기 골프 클럽의 넥의 위치를 추가로 검출하고,
상기 제어부가 상기 골프 클럽의 넥의 위치를 상기 복수의 촬영 화상 상에 점으로 표시시키는 표시 제어 장치.
제 1 항에 있어서,
상기 학습 완료 모델이 상기 복수의 임의의 촬영 화상과 상기 각 촬영 화상에 포함되는 상기 골프 클럽의 넥 및 상기 골프 클럽의 샤프트의 화상단의 위치의 관계를 추가로 기계 학습해서 얻어진 것이며,
상기 특정 위치 검출부가 상기 골프 클럽의 넥 및 샤프트의 화상단의 위치를 추가로 검출하고,
상기 제어부가 상기 골프 클럽의 넥 및 샤프트의 화상단의 위치를 상기 복수의 촬영 화상 상에 점으로 표시시키는 표시 제어 장치.
제 1 항에 있어서,
상기 제어부가 상기 클럽 헤드의 토 및 힐의 위치에 의거하여, 상기 클럽 헤드의 페이스면을 나타내는 선분을 생성해서 표시시키는 표시 제어 장치.
제 3 항에 있어서,
상기 제어부가 상기 골프 클럽의 넥 및 샤프트의 화상단의 위치를 연결하는 직선에 의거하여, 상기 샤프트를 나타내는 선분을 생성해서 표시시키는 표시 제어 장치.
제 1 항에 있어서,
상기 제어부가 상기 클럽 헤드의 토 및 힐의 위치에 의거하여, 상기 클럽 헤드의 이동 궤적의 정보를 생성해서 표시시키는 표시 제어 장치.
제 1 항에 있어서,
상기 학습 완료 모델이 명도가 상이한 복수의 촬영 화상과 상기 각 촬영 화상에 포함되는 상기 클럽 헤드의 토 및 힐의 위치의 관계를 기계 학습해서 얻어진 것인 표시 제어 장치.
골프 클럽의 스윙 중에 있어서의 클럽 헤드를 상방으로부터 시계열로 촬영한 복수의 촬영 화상을 취득하고,
골프 클럽의 클럽 헤드를 상방으로부터 촬영한 복수의 임의의 촬영 화상과 상기 각 촬영 화상에 포함되는 상기 클럽 헤드의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 상기 취득된 복수의 촬영 화상을 입력함으로써 상기 복수의 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치를 각각 검출하고,
상기 검출한 상기 클럽 헤드의 토 및 힐의 위치를 상기 복수의 촬영 화상 상에 점으로 표시시킴과 아울러, 상기 점이 겹쳐진 상기 복수의 촬영 화상을 순차 표시시키는 표시 제어 방법.
골프 클럽의 스윙 중에 있어서의 클럽 헤드를 상방으로부터 시계열로 촬영한 복수의 촬영 화상을 취득하는 스텝과,
골프 클럽의 클럽 헤드를 상방으로부터 촬영한 복수의 임의의 촬영 화상과 상기 각 촬영 화상에 포함되는 상기 클럽 헤드의 토 및 힐의 위치 정보의 관계를 기계 학습해서 얻어진 학습 완료 모델에 대하여, 상기 취득된 복수의 촬영 화상을 입력함으로써 상기 복수의 촬영 화상에 포함되는 클럽 헤드의 토 및 힐의 위치를 검출하는 스텝과,
상기 검출한 상기 클럽 헤드의 토 및 힐의 위치를 상기 복수의 촬영 화상 상에 점으로 표시시킴과 아울러, 상기 점이 겹쳐진 상기 복수의 촬영 화상을 순차 표시시키는 스텝을 컴퓨터에 실행시키는 표시 제어 프로그램.