KR20230136883A - 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 복수 개의 카메라모듈을 이용하여 획득한 이미지를 인공지능 알고리즘을 통해 골프 플레이어와 골프공의 상태를 분석하고 골프공의 위치를 추적하여 좌표값을 계산하여 표시해 주는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법에 관한 것이다.

Description

인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법 {Golf ball position tracking system and method using artificial intelligence algorithm}

본 발명은 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 복수 개의 카메라모듈을 이용하여 획득한 이미지를 인공지능 알고리즘을 통해 골프 플레이어와 골프공의 상태를 분석하고 골프공의 위치를 추적하여 좌표값을 계산하여 표시해 주는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법에 관한 것이다.

사회가 발전함에 따라서 여가생활 등 스포츠에 대한 관심이 급증하고 있으며, 다양한 동호회 활동 등을 통하여 여럿이 모여서 공을 사용하여 스포츠를 즐기는 사람들이 증가하고 있다.

특히, 축구, 야구, 테니스, 배드민턴 등 동호회 활동은 꾸준히 있어 왔으며, 최근에는 골프에 대한 관심이 높아져 골프인구가 많이 늘어나고 있다.

그러나, 골프를 하기 위해서는 많은 비용이 소모되며, 특히 골프공을 분실하여 발생하는 비용과 캐디피에 대한 비용 등 골프를 즐기기 위해서 정상적으로 지불되는 비용 이외에 추가적인 비용이 소요된다.

따라서, 골프공을 쉽게 찾을 수 있거나 티샷이 떨어진 위치, 세컨드 샷이 떨어진 위치, 그린에서 경사 또는 방향 등을 명확하게 알 수 있다면, 부수적으로 발생되는 골프공 분실 비용이나 캐디를 사용하지 않는 노캐디 라운딩이 가능하여 골프를 일반 대중이 조금 더 쉽게 접근할 수 있게 된다.

이와 관련된 종래의 기술은 카메라로 골프공을 추적하여 거리 등을 계산하여 골프 플레이어에게 알려주는 방안 등이 나와 있으나, 구체적으로 어떻게 하는지에 대한 내용이 없어 일부분을 제외하고 아직 상용화가 되지 않는 문제점이 있다.

대한민국 등록특허공보 제10-2333742호 (발명의 명칭: 골프장 내 플레이어의 볼위치추적 및 홀컵까지의 남은 거리를 측정하여 인공지능을 통해 플레이어에게 음성으로 제공하는 스마트한 골프카트 운영시스템, 공고일: 2021. 12. 02)

이에 본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위한 것으로, 복수 개의 카메라모듈을 이용하여 획득한 이미지만를 인공지능 알고리즘을 통해 골프 플레이어와 골프공의 상태를 분석하고 골프공의 위치를 추적하여 좌표값을 계산하여 표시해 주는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위하여, 본 발명에 따른 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템은 일정 구역의 골프공의 위치를 확인하는 카메라모듈과, 상기 카메라모듈로부터 확인된 상기 골프공의 위치를 전송하는 통신모듈과, 상기 통신모듈로부터 상기 골프공의 위치를 수신받아 특정 구역에서 상기 골프공의 위치를 계산하는 서버 및 상기 서버로부터 계산된 상기 골프공의 위치를 표시하는 스마트기기를 포함하되, 상기 일정 구역은 상기 특정 구역의 적어도 일부를 포함하는 것을 특징으로 한다.

여기서, 상기 카메라모듈은, 상기 골프공의 영상을 획득하는 영상 획득부 및 상기 영상 획득부로부터 획득한 영상으로부터 상기 골프공의 상기 일정 구역 내에서의 일정구역 좌표값을 계산하는 일정구역 좌표계산부를 포함하는 것을 특징으로 한다.

여기서, 상기 통신모듈은 상기 일정구역 좌표값을 상기 서버에 전송하고, 상기 서버는 상기 일정구역 좌표값을 받아 상기 특정구역에서 상기 골프공의 위치를 계산하여 특정구역 좌표값을 도출하는 특정구역 좌표도출부를 포함하는 것을 특징으로 한다.

여기서, 상기 특정구역은 골프장의 어느 한 홀의 전체 구역이며, 상기 일정구역은 한 홀의 일부분 구역인 것을 특징으로 한다.

여기서, 상기 골프장의 티샷 구역에 상기 골프공의 티샷을 확인하는 티샷 영상모듈 및 상기 티샷 영상을 상기 서버로 전송하는 티샷 영상 전송 모듈을 더 포함하는 것을 특징으로 한다.

또한, 상기 서버는 상기 티샷 영상 전송 모듈로부터 전송받은 상기 티샷 영상으로부터 상기 골프공의 티샷 정보를 계산하는 티샷 정보 계산부를 더 포함하는 것을 특징으로 한다.

또한, 상기 일정구역은 상기 특정구역에 복수개가 존재하며, 상기 카메라모듈은 상기 일정구역에 따라서 카메라모듈 식별자가 할당되고, 상기 티샷 정보 계산부에서 계산된 티샷 정보에 따라서 해당 카메라모듈이 작동하여 상기 골프공의 영상을 획득하는 것을 특징으로 한다.

또한, 상기 서버는, 상기 카메라모듈로부터 상기 일정구역을 촬영한 일정구역 이미지를 전송받는 이미지 수신부와, 상기 이미지 수신부로부터 수신된 일정구역 이미지를 분석하여 상기골프공의 궤적을 계산하는 골프공궤적 계산부 및 상기 계산된 골프공의 궤적으로부터 상기 골프공의 낙하 예측 지점을 예측하는 골프공낙하지점 예측부를 포함하는 것을 특징으로 한다.

또한, 상기 골프공궤적 계산부는, 골프 플레이어를 확인하는 골프 플레이어 확인부와, 상기 확인된 골프 플레이어의 동작을 분석하는 동작 분석부 및 상기 동작 분석부에서 분석된 동작을 바탕으로 상기 골프공을 쳤는지 결정하는 골프공히트 결정부를 포함하는 것을 특징으로 한다.

또한, 상기 골프 플레이어 확인부는, 골프 플레이어별로 확인하여 태깅하고 각 골프 플레이어의 특징을 기록하여 골프 플레이어별로 특징을 인공지능으로 학습시키는 플레이어 학습부를 포함하는 것을 특징으로 한다.

여기서, 또한, 상기 동작 분석부는, 상기 골프 플레이어의 스윙을 본스윙과 연습스윙으로 나눠서 분석하는 것을 특징으로 한다.

여기서, 또한, 상기 골프공히트 결정부는, 상기 동작분석부에서 본 스윙으로 판별되었을 때 골프공이 맞은 것으로 판별하는 것을 특징으로 한다.

여기서, 또한, 상기 골프공히트 결정부는, 상기 골프공이 맞는 소리를 판별하여 골프공이 맞은 것으로 판별하는 것을 특징으로 한다.

여기서, 또한, 상기 골프공이 낙하한 후에 인식이 되지 않을 경우, 상기 플레이어가 연습스윙 후 어드레스한 곳에 골프공이 있다고 판단하는 골프공 가상위치 판단부를 더 포함하는 것을 특징으로 한다.

여기서, 또한, 상기 골프공궤적 계산부는, 상기 이미지들의 차이에 의하여 나타나는 차이이미지를 인공지능 알고리즘을 통해 골프공을 인식하는 골프공 인식부를 포함하는 것을 특징으로 한다.

본 발명에 따른 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법에 따르면 다음과 같은 효과가 있다.

첫째, 골프공의 위치를 추적하여 골프 플레이어들에게 단말기를 통하여 가르쳐줌으로써 신속하고 원활한 플레이를 진행할 수 있다.

둘째, 분실된 골프공의 위치를 정확하게 알 수 있어 플레이어의 손실을 감소시킬 수 있으며, 경기 진행 속도를 빠르게 할 수 있는 이점이 있다.

셋째, 각 플레이어마다 특징을 기록하여 제공할 수 있어 플레이어의 장단점을 분석하여 경기 향상에 기여할 수 있는 이점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 인공지능 알고리즘을 이용한 골프공 위치 추적 시스템의 전체 개요를 나타낸 도면이다.
도 2는 본 발명에 따른 인공지능 알고리즘을 이용한 골프공 위치 추적 시스템의 일정 구역의 카메라 좌표계 설명에 대한 도면이다.
도 3은 카메라모듈에서 측정된 이미지를 나타낸 도면이며, 골프공이 타격되는 시점과 골프 플레이어의 스윙을 나타낸 도면이다.
도 4는 전체 골프장(특정 구역)에서 복수의 카메라 모듈이 커버하는 위치(일정 구역)를 나타낸 도면이다.
도 5는 이미지를 프로세싱함에 있어 이미지 차이와 인공지능을 이용하여 공의 위치를 추적하는 실시예를 나타낸 도면이다.
도 6은 카메라 모듈의 세부 구성을 나타낸 도면이다.
도 7은 서버의 세부 구성을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에 첨부된 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의성을 위하여 과장되게 도시될 수 있다. 각 도면에서 동일한 구성은 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기술의 기능 및 구성에 관한 상세한 설명은 생략될 수 있다.

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어떠한 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성요소에 “직접 연결되어” 있다거나 또는 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하기 위한 다른 표현들도 마찬가지로 해석되어야 한다.

본 명세서에서 사용되는 상단, 하단, 상면, 하면 또는 상부, 하부 등의 용어는 구성 요소들에 있어서 상대적인 위치를 구별하기 위해 사용되는 것이다. 예를 들어, 편의 상 도면상의 위쪽을 상부, 도면상의 아래쪽을 하부로 명명하는 경우 실제에 있어서는 본 발명의 권리 범위를 벗어나지 않으면서 상부는 하부로 명명될 수 있고, 하부는 상부로 명명될 수 있다.

본 명세서에서 기재한 ~제1~, ~제2~ 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 상기 용어들은 각 구성요소가 서로 다른 구성 요소들임을 구분하기 위해서 지칭한 것일 뿐, 제조된 순서에 구애받지 않는 것이며, 발명의 상세한 설명과 청구범위에서 그 명칭이 일치하지 않을 수 있다.

본 명세서에서 사용되는 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명의 일 실시예에 의한 인공지능 알고리즘을 이용한 골프공 위치 추적 시스템 및 그 방법을 설명하기 위하여 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 1은 본 발명에 따른 인공지능 알고리즘을 이용한 골프공 위치 추적 시스템의 전체 개요를 나타낸 도면이며, 도 2는 본 발명에 따른 인공지능 알고리즘을 이용한 골프공 위치 추적 시스템의 일정 구역의 카메라 좌표계 설명에 대한 도면이고, 도 3은 카메라모듈에서 측정된 이미지를 나타낸 도면이며, 골프공이 타격되는 시점과 골프 플레이어의 스윙을 나타낸 도면이며, 도 4는 전체 골프장(특정 구역)에서 복수의 카메라 모듈이 커버하는 위치(일정 구역)를 나타낸 도면이고, 도 5는 이미지를 프로세싱함에 있어 이미지 차이와 인공지능을 이용하여 공의 위치를 추적하는 실시예를 나타낸 도면이며, 도 6은 카메라 모듈의 세부 구성을 나타낸 도면이고, 도 7은 서버의 세부 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템은 일정 구역의 골프공의 위치를 확인하는 카메라모듈(1000)과, 상기 카메라모듈(1000)로부터 확인된 상기 골프공의 위치를 전송하는 통신모듈(2000)과, 상기 통신모듈(2000)로부터 상기 골프공의 위치를 수신받아 특정 구역에서 상기 골프공의 위치를 계산하는 서버(3000) 및 상기 서버(3000)로부터 계산된 상기 골프공의 위치를 표시하는 스마트기기(4000)를 포함하되, 상기 일정 구역은 상기 특정 구역의 적어도 일부를 포함한다.

상기 카메라모듈(1000)은, 상기 골프공의 영상을 획득하는 영상 획득부(1100) 및 상기 영상 획득부(1100)로부터 획득한 영상으로부터 상기 골프공의 상기 일정 구역 내에서의 일정구역 좌표값을 계산하는 일정구역 좌표계산부(1200)를 포함한다.

상기 영상 획득부(1100)는 카메라일 수 있으며, 카메라로부터 획득한 영상에서 일정 구역 내에서의 좌표값을 계산할 수 있다. 여기서, 일정 구역은 특정 구역의 일부로서 한 개의 카메라모듈(1000)이 커버할 수 있는 구역을 의미한다. 일 실시예로, 특정구역은 골프장 코스 하나의 전체가 될 수 있고, 일정구역은 상기 코스에 설치되어 있는 각 카메라모듈 각각이 커버할 수 있는 커버리지를 의미한다.

상기 영상 획득부(1100)에서 획득된 영상은 상기 일정구역이 나타나게 되고, 획득된 영상 내에서 좌표값이 나오면 실제 일정구역에서의 좌표값(GPS 좌표값 또는 지도상의 좌표값 등)과 매칭이 되게 된다. 상기 카메라 모듈(1000)은 세팅이 되면 카메라모듈(1000)의 위치가 정해지게 되므로 실제 좌표값과의 매칭을 용이하게 할 수 있다.

골프공의 일정구역 내의 좌표값은 상기 획득한 영상 내에서의 골프공의 좌표값을 실제 일정구역 내의 좌표값과 매칭시키는데 사용되는 것으로 일단 카메라모듈(1000)이 고정되고, 영상 획득부(1100)의 커버리지가 정해지면, 영상 획득부(1100)의 각도 및 심도 등에 따라서 해당 일정구역과 좌표값을 매칭할 수 있다. 따라서, 획득된 영상 내에서 골프공의 위치(좌표값)가 정해지면 상기 일정구역의 좌표값을 계산할 수 있게 된다.

상기 통신모듈(2000)은 상기 일정구역 좌표값을 상기 서버(3000)에 전송하고, 상기 서버(3000)는 상기 일정구역 좌표값을 받아 상기 특정구역에서 상기 골프공의 위치를 계산하여 특정구역 좌표값을 도출하는 특정구역 좌표도출부(3100)를 포함한다.

여기서, 상기 특정구역은 골프장의 어느 한 홀의 전체 구역이 될 수 있으며, 상기 일정구역은 한 홀의 일부분 구역이 될 수 있다. 또한, 상기 일정구역은 복수 개일 수 있고, 상기 복수 개의 일정구역을 다 합하면 상기 특정구역이 될 수 있다.

따라서, 상기 어느 한 카메라모듈(1000)에서 계산된 골프공의 일정구역 좌표값은 상기 전체 구역의 좌표값과 매칭이 되어야 한다. 그래야 스마트기기(4000)에 하나의 코스에서의 좌표값을 정확하게 알려 줄 수 있다.(즉, 코스 상에서 정확한 위치를 알려줄 수 있다.)

도 1을 참조하여 설명하면, 도 1의 도시된 코스가 특정구역이 되고, 각 카메라모듈(A, B, C, D)가 커버하는 각 구역이 일정구역이 된다. 골프플레이어가 샷을 하게 되면, 떨어진 위치에서 골프공의 위치가 각 카메라모듈 중 어느 하나에서 잡히게 되고, 잡힌 카메라모듈이 커버하고 있는 일정구역 내에서 골프공의 좌표값이 나오게 된다. 이러한 일정구역 좌표값은 코스에서의 특정구역 좌표값과 매칭이 되어야 골프플레이어가 샷을 얼마나 쳤는지, 떨어진 위치는 어디인지, 얼마만큼 남았는지를 알 수 있게 된다.

예를 들어, 도 1에서 골프플레이어가 샷을 한 티샷이 카메라모듈(1000) A 와 B 사이에 떨어지게 되고, 이 부분을 커버하고 있는 카메라모듈이 A일 경우에는 A에서 좌표값을 일정구역 좌표값으로 계산하게 된다. 즉, 도 2에 도시한 바와 같이 카메라모듈(1000`)이 떨어진 골프공을 포함하는 일정구역을 담당하고 있으므로 카메라모듈(1000`)이 골프공의 일정구역 좌표값을 계산하게 되고, 계산된 일정구역 좌표값을 서버(3000)에 전송하게 되면, 서버(3000)에서는 한 홀의 전체 좌표계, 즉 특정구역의 좌표계에서 좌표값을 매칭한다.

한편, 상기 골프장의 티샷 구역에 상기 골프공의 티샷을 확인하는 티샷 영상모듈(5000) 및 상기 티샷 영상을 상기 서버로 전송하는 티샷 영상 전송 모듈(5100)을 더 포함할 수 있다. 또한, 상기 서버(3000)는 상기 티샷 영상 전송 모듈(5100)로부터 전송받은 상기 티샷 영상으로부터 상기 골프공의 티샷 정보를 계산하는 티샷 정보 계산부(3200)를 더 포함할 수 있다.

티샷 영상모듈(5000)은 상기 골프공의 티샷을 확인할 수도 있고, 골프플레이어의 티샷영상을 확인할 수도 있다. 즉, 골프플레이어의 동작을 포함할 수 있다. 티샷 영상이라 함은 골프공과 골프플레이어 모두의 영상을 포함한다.

우선 골프공의 티샷의 경우에는 골프공의 궤적을 추적하기 위하여 골프공의 영상만을 프로세싱의 대상으로 삼을 수 있다. 골프공의 티샷 영상의 경우에는 골프공의 궤적을 영상 상에서 추적하여 골프공의 발사각도, 스핀량, 발사스피드 등을 통하여 코스(한 홀)의 어느 부분까지 골프공이 날아갔는지를 예측하는데 사용된다. 한편, 영상 이외에 레이저 기기 등이 포함되어 설치될 수 있다.

또한, 골프플레이어의 티샷의 경우에는 골프플레이어의 스윙 영상을 확인하기 위하여 골프플레이어의 동작만을 대상으로 삼을 수 있다. 골프플레이어의 티샷 영상의 경우에는 골프플레이어의 팔, 다리, 머리, 클럽 등의 궤적, 스피드 등을 통하여 골프플레이어의 문제점을 예측하는데 사용된다. 또한, 골프플레이어에게 제공할 수도 있다.

티샷 영상 전송 모듈(5100)은 상기 골프공 또는 골프플레이어의 영상을 전송할 수 있는데, 일차적으로 프로세싱을 하여 전송할 수 있다. 즉, 골프공의 경우 골프공이 식별되는 영상만을, 또는 특정 골프플레이어의 영상만을 전송할 수 있고, 필요시에는 좌표값만 전송할 수도 있다. 즉, 티샷된 골프공의 예상되는 탄착지점의 좌표값(특정구역 내의)만 전송할 수도 있고, 대표적인 영상에 티샷정보를 포함하여 전송할 수도 있다. 또한, 골프플레이어의 경우 스틸샷 영상만 전송할 수도 있으며, 베스트 스윙동작에 대한 것과 워스트 스윙동작에 대한 것을 전송할 수 있다. 교정을 위한 것은 잘못된 스윙동작이 나타난 영상을 전송하며, 기록을 위한 것은 잘된 스윙동작이 나타난 영상을 전송할 수 있고, 인공지능 알고리즘을 통하여 채택할 수 있다. 즉 여러가지 스윙동작을 학습시켜 상술한 잘된, 잘못된에 대한 결정을 인공지능을 통해서 결정할 수 있다.

티샷 정보 계산부(3200)는 티샷 영상이 영상으로 전송되어 입력되었을 경우 서버(3000)에서 영상으로부터 티샷에 대한 정보를 계산하게 된다. 즉, 상술한 바와 같이 영상분석을 통하여 티샷의 발사각도, 스핀량, 발사스피드 등 티샷을 분석하는데 필요한 정보를 영상으로부터 추출하고, 추출된 정보를 통하여 티샷의 특정구역 내에서의 탄착지점을 예측하게 된다.

후술하겠지만 상기 탄착지점 예측을 통하여 해당 일정구역을 예측하게 되고, 예측된 일정구역의 카메라모듈로부터 획득된 영상으로부터 정확한 골프공의 탄착지점을 도출하게 된다. 즉, 티샷 정보는 정확한 탄착지점을 예측하는 것이 아닌 해당 카메라모듈을 식별하는데 사용된다.

상술한 바와 같이, 상기 일정구역은 상기 특정구역에 복수개가 존재하며, 상기 카메라모듈(1000)은 상기 일정구역에 따라서 카메라모듈 식별자가 할당되고, 상기 티샷 정보 계산부(3200)에서 계산된 티샷 정보에 따라서 해당 카메라모듈이 작동하여 상기 골프공의 영상을 획득할 수 있다.

도 1, 2를 참조하면, 골프플레이어가 티샷을 할 경우에 티샷 영상 모듈(5000)에서 측정된 영상으로부터 티샷 정보가 계산되고, 티샷 정보가 계산되고 나면, 해당 일정구역이 확인되게 된다. 여기서는 카메라모듈A가 담당하고 있는 일정구역에 티샷이 떨어질 가능성이 높다고 티샷 정보 계산부에서 계산이 나오게 되고, 이러한 경우에 카메모듈A의 영상을 취득하게 된다. 즉, 모든 카메라모듈의 영상을 저장하거나 프로세싱할 필요 없이 필요한 카메라모듈의 영상을 필요한 시간대에 사용하면 효율 및 단가, 시간 등을 절감할 수 있다.

다시 말해, 티샷을 한 순간 시간이 기록되고, 티샷 정보 계산부에서 티샷 정보가 계산되어 탄착지점의 일정 구역이 계산되고, 이 일정 구역을 담당하고 있는 카메라모듈이 결정되면, 결정된 카메라모듈의 기록된 시간대의 영상만을 추출하여 골프공의 탄착지점에 대한 분석을 수행할 수 있다.

상기 설명은 티샷에 한정해서 설명하였으나, 세컨샷이나 서드샷 등 골프장에서 골프플레이어가 하는 모든 샷에 대해서 동일한 로직이 적용된다.

즉, 상기 서버(3000)는, 상기 카메라모듈(1000)로부터 상기 일정구역을 촬영한 일정구역 이미지를 전송받는 이미지 수신부(3300)와, 상기 이미지 수신부(3300)로부터 수신된 일정구역 이미지를 분석하여 상기 골프공의 궤적을 계산하는 골프공궤적 계산부(3400) 및 상기 계산된 골프공의 궤적으로부터 상기 골프공의 낙하 예측 지점을 예측하는 골프공낙하지점 예측부(3500)를 포함한다.

도 3, 4를 참조하면, 카메라모듈(1000)은 식별자가 있는 일정구역을 담당하게 되고, 각 담당구역에서 일정구역 이미지를 서버(3000)에 전송할 수 있다. 이미지 수신부(3300)에서는 일정구역별로 트리거링이 된 이미지만을 입력받에서 프로세싱에 사용하게 된다. 즉 트리거링은 각 카메라모듈에서 필요한 것만 선별하여 보낼 때 사용하게 된다.

티샷의 경우에는 티샷음이나 캐디의 목소리(굿샷), 또는 스마트 기기(캐디 또는 골프플레이어)의 입력, 티샷 영상 분석 결과(티샷을 실제 했는지 확인) 등으로 인하여 트리거링되고, 세컨샷이나 서드샷의 경우에는 샷음 또는 목소리, 스마트기기의 입력, 후술하는 동작 분석부나 골프공히트 결정부의 결과에 따라서 트리거링이 이루어진다.

도 4를 참조하면, 골프공궤적 계산부(3400)는 도 4의 (4) 일정구역 이미지에서 골프공을 추적하여 골프공궤적이 계산된다. 즉 도 4의 (4) 일정구역을 보면 2명의 골프플레이어가 샷을 하게 되고, 두 개의 골프공에 대하여 추적을 하여 골프공궤적을 계산하게 된다. 후술하겠지만, 각각의 골프공은 각각의 플레이어와 마찬가지로 인공지능 알고리즘으로 태깅이 되어 있어 어느 골프플레이어의 공인지 확인이 가능하다.

골프공낙하지점 예측부(3500)는 도 4의 (5) 일정구역과 (3) 일정구역에서 나타내듯이 골프공궤적이 추적되고 계산되면, 낙하지점이 어느 정도 예측이 가능하게 된다. 즉 (4) 일정구역에서 친 골프공이 (3) 일정구역으로 가는지 (5) 일정구역으로 가는지 예측을 하여 해당 카메라모듈이 담당하고 있는 일정구역의 이미지를 추출하여 정확한 골프공낙하지점을 확인할 수 있다. 여기서 골프공낙하지점 예측부(3500)는 골프공궤적으로부터 다음 카메라모듈 식별자를 확인하고 해당 일정구역의 이미지를 추출하기 위하여 골프공낙하지점을 예측하는 것이다.

상기 골프공궤적 계산부(3400)는, 골프 플레이어를 확인하는 골프 플레이어 확인부(3410)와, 상기 확인된 골프 플레이어의 동작을 분석하는 동작 분석부(3420) 및 상기 동작 분석부(3420)에서 분석된 동작을 바탕으로 상기 골프공을 쳤는지 결정하는 골프공히트 결정부(3430)를 포함할 수 있다.

상기 골프 플레이어 확인부(3410)는, 골프 플레이어별로 확인하여 태깅하고 각 골프 플레이어의 특징을 기록하여 골프 플레이어별로 특징을 인공지능으로 학습시키는 플레이어 학습부(3411)를 포함할 수 있다.

상술한 바와 같이 골프공궤적을 계산하기 위해서는 어떤 골프플레이어가 스윙을 해서 골프공을 타격했는지 확인해야 되므로, 골프플레이어별로 특징을 파악하여 태깅하고 인공지능으로 학습하여 골프플레이어를 식별할 수 있어야 한다.

상기 플레이어 학습부(3411)에서는 골프플레이어의 특징, 예를 들면, 모자(색, 모양), 상의(색, 모양), 하의(색, 모양), 신체특징(얼굴크기, 체격, 팔길이, 다리길이), 걸음거리, 특징적인 동작 등으로 해당 골프플레이어의 특징을 추출하여 태깅한다. 이렇게 태깅되어 플레이어가 식별되면, 해당 플레이어의 정보를 보관하여 향후 내장하였을 경우에도 사용할 수 있다.

물론 내장시에 해당 플레이어의 특징(사진 등)을 미리 입력 받을 수 있으며, 해당 정보에 대한 동의 여부 등도 확인할 수 있다. 키오스크에서 입장 확인도 자동으로 가능하게 된다. 또한, 차량과 연결하여 차량 입차시 시간에 맞춰서 경기 참여가 가능한지 등로 확인이 가능하게 된다.

플레이어 학습부(3411)에서 학습되어 태깅된 골프플레이어는 골프플레이어 확인부(3410)에서 골프플레이어가 특정된다. 일반적으로 4인이 경기를 하기 때문에 4인에 대하여 각각 태깅되고, 향후 각각의 골프공도 매칭되어 태깅된다.

골프플레이어가 확인이 되면, 해당 골프플레이어의 동작을 분석하는 동작분석부(3420)에서는 동작을 분석한다. 도 3을 참조하면, 태깅된 골프플레이어가 샷을 하고 있는지, 빈스윙을 하고 있는지, 걸어가고 있는지, 정지 상태에 있는지 등을 확인할 수 있다. 상기 동작분석부(3420)에서는 인공지능 알고리즘을 통하여 상기와 같이 골프플레이어의 동작을 구분하여 일정 카테고리에 넣어서 해당 골프플레이어의 동작상태를 결정할 수 있다.

골프공히트 결정부(3430)는 상기 동작 분석부(3420)에서 분석된 골프플레이어의 동작을 기반으로 골프공을 타격했는지 확인할 수 있다. 즉, 빈스윙을 했는지 본스윙을 했는지 등이 동작분석부에서 분석이 되어 본스윙으로 판별이 나면 골프공히트 결정부(3420)는 골프공이 타격되었다고 결정하게 된다.

즉, 상기 동작 분석부(3420)는, 상기 골프 플레이어의 스윙을 본스윙과 연습스윙(빈스윙)으로 나눠서 분석하고, 상기 골프공히트 결정부(3430)는, 상기 동작분석부에서 본 스윙으로 판별되었을 때 골프공이 맞은 것으로 판별한다.

또는, 상기 골프공히트 결정부(3430)는, 상기 골프공이 맞는 소리를 판별하여 골프공이 맞은 것으로 판별할 수도 있다. 즉, 골프공이 실제 타격되었는지를 인공지능 알고리즘으로 인한 본스윙 판별만으로 부족할 수도 있다. 물론 인공지능 알고리즘으로 구현함에 있어 모든 경우의 수가 다 포함될 수도 있다.

본스윙의 판별 요소로 소리(골프공이 타격될 때와 땅을 칠 때 등 구별함. 이러한 경우 카메라모듈 근처에 마이크로폰이 설치되어 있어야 함), 골프플레이어의 동작 흐름 순서, 빠르기(속도), 골프공의 식별(실제 지면으로부터 공이 타격되어 나가는 공이 추적될 경우) 등이 될 수 있다. 일예로, 골프플레이어의 스윙 동작이 빈스윙은 느리고 본스윙은 빠를 수 있고, 빈스윙은 일정 스피드로 여러번 할 수 있으며, 중간에 간격이 없으나, 어드레스 자세 후에 일정시간 후 스윙이 들어갈 경우 본스윙으로 판별할 수 있다.

한편, 도 3의 (c) 일정구역에 나타낸 바와 같이 상기 골프공(AB)이 낙하한 후에 인식이 되지 않을 경우, 골프공의 위치가 확인이 되지 않으므로 정확한 골프공의 위치를 좌표상에 나타낼 수 없고 일정경계(바운더리)만 나타내게 된다. 일정경계는 대략 골프공 낙하지점이라고 판별된 곳으로 일정반경 이내로 표시할 수도 있고, 이미지 또는 영상 상에서 마지막으로 나타난 골프공의 위치와 속도를 근거로 일정반경 이내로 표시할 수도 있다. 또한, 인공지능 알고리즘을 이용하여 여러가지 골프공의 영상을 학습시켜 일정반경을 출력으로 도출할 수도 있다.

이러한 경우, 즉 일정경계만 표시된 경우에는 골프플레이어에게 일정경계만 나타내주고, 정확한 골프공의 위치는 상기 플레이어가 연습스윙 후 어드레스한 곳에 골프공이 있다고 판단할 수 있다. 즉, 상기 플레이어가 연습스윙 후 어드레스한 곳에 골프공이 있다고 판단하는 골프공 가상위치 판단부(3600)를 더 포함할 수 있다.

골프공 가상위치 판단부(3600)는 상술한 바와 같이 인공지능 알고리즘을 통하여 일정경계로부터 가상위치를 도출할 수도 있다.

상기 골프공궤적 계산부(3400)는, 상기 이미지들의 차이에 의하여 나타나는 차이이미지를 인공지능 알고리즘을 통해 골프공을 인식하는 골프공 인식부(3440)를 포함할 수 있다.

골프공 인식부(3440)는 골프공을 이미지 또는 영상 상에서 확인하고 태깅하여 추적하기 위해서는 선별된 이미지들로부터의 차이에서 차이가 나는 정보 중에서 골프공을 특정할 수 있다. 즉 도 5를 참조하면, (7)번 이미지와 (8)번 이미지의 차이를 계산하면, 다른 부분은 동일하고 플레이어와 공만 차이가 발생하고 차이이미지인 (10)이미지에서 골프공을 태깅하여 추적할 수 있다. 여기서 플레이어는 동작에 따라서 차이가 많이 날 수도 있어 이미지에서 삭제하면 되며, 골프공은 인공지능으로 인식할 수 있다.

물론 그 사이에 햇빛이 갑작스럽게 변할 수도 있고, 새, 낙엽 등이 등장할 수 있으나, 여러 장을 합쳐서 계산할 경우 골프공만을 태깅할 수 있다. 즉 여러장의 뺄셈을 수행하면 동일한 패턴으로 이동하는 물체가 검출되고 공의 모양일 경우 골프공이라 판단하여 태깅한 후 추적할 수 있다.

이하에서는 본 발명의 인공지능 알고리즘을 이용한 골프공 추적 시스템의 작동을 실시예를 통해서 설명한다.

골프장에서 4명의 일행이 경기를 진행할 때 본 발명에 의한 골프공 추적 시스템은 아래와 같이 작동한다.

티샷 지점에서는 티샷을 알릴 수 있는 티샷트리거링이 필요하며, 4명의 플레이어에 대한 식별이 이루어져야 한다. 플레이어의 식별은 카메라를 통하여 로비 입장시에 확인할 수도 있고, 카트에서 카메라를 통하여 식별할 수 있으며, 본 발명의 카메라모듈(1000)에서 촬영을 통하여 식별할 수도 있다.

식별이 자동으로 이루어진 경우에는 해당 플레이어가 티박스에 올라가서 준비하면 인공지능 알고리즘에 의하여 티샷 트리거링 신호가 티샷 영상 모듈에 전달된다. 한편, 수동으로 이루어질 경우에는 해당 플레이어의 식별자(번호, 닉네임 등)가 스마트기기 등을 통하여 전달되고, 티박스에 올라감과 동시에 시작버튼, 음성 등으로 확인이 될 수 있다. (또는 캐디릍 통하여 전달될 수 있다.)

자동으로 식별이 이루어질 경우에는 남성, 여성 플레이어의 수와 함께 인식이 되어야 하며, 수동일 경우에는 수동으로 입력이 되어야 한다. 여성과 남성이 티샷 위치가 다르므로 각각 다른 위치(화이트 티, 레드 티 등)에 있는 티샷 영상 모듈이 티샷 회수에 맞춰서 트리거링 하고 촬영된 영상을 전송할 수 있다.

한편, 티샷이 오비나 해저드가 될 경우, 또는 불만족스러워서 다시 칠 경우에는 동일한 플레이어가 다시 스윙을 하기 때문에 카메라모듈로 인식하는 경우에는 자동으로 2번, 3번 동일 플레이어가 스윙하는 것으로 인식하여 해당 골프공에 1-1, 1-2, 1-3 등으로 태깅하게 된다.

수동인 경우에는 스마트기기 등에 오비, 해저드 등을 입력(음성 등)하게 되고, 재티샷함을 입력할 수 있다.

티샷이 잘 이루어진 경우 티샷 정보 계산부에서 티샷에 대한 계산이 이루어지고 해당 예상 탄착지점을 포함하는 일정구역을 담당하는 카메라를 식별하게 된다. 식별된 카메라모듈에서는 해당 티샷이 어디에 떨어졌는지 정확한 좌표를 인공지능 알고리즘으로 인식하고, 해당 일정구역 내의 좌표값을 계산한다.

계산된 일정구역 내의 좌표값은 서버를 통해서 특정구역(홀 또는 코스)의 좌표로 변환이 되어 스마트기기에 표시된다. 즉, 스마트기기에는 티샷이 어느 위치까지 날라갔고, 어디에 떨어졌는지 위치가 정확하게 표시된다.

만약 오비나 해저드가 발생할 경우에는 티샷 정보 계산부에서 대략적인 탄착지점을 계산했을 때 코스(홀) 밖으로 계산이 되고, 나간 지점을 스마트기기에 표시해 준다. 이럴 경우에는 정확한 지점을 확인할 필요가 없으므로 마지막으로 인식될 수 있는 카메라모듈을 식별하고 식별된 카메라모듈에서 촬영된 영상을 통하여 어느 부분에서 나갔는지를 확인할 수 있도록 한다.

이렇게 티샷 정보, 탄착지점의 정확한 위치가 스마트기기에 표시가 되면, 플레이어들이 이동하게 되고, 이동하는 동안 해당 스마트기기에서는 남은 거리, 바람, 언덕, 오르막/내리막 경사, 추천 클럽, 그린 상태 등을 그린에 설치된 카메라모듈 및 각 카메라모듈과 별도로 폴대에 설치된 환경센서 및 식생지수 카메라모듈로부터 정보를 얻어 표시해 준다. 티샷의 거리 등도 표시해주고, 티샷의 날아가는 영상 등도 포함될 수 있으며, 해당 플레이어의 스윙동작 등도 포함될 수 있다.

세컨샷 지점에 도달하면 해당 플레이어들은 각자의 골프공 위치(스마트 기기에서 색깔이나 번호, 아바타, 특정기호 등으로 해당 플레이어의 공임을 표시)로 이동하게 되고, 세컨샷 준비를 하게 된다.

한편, 골프공이 러프 등에 가려서 잘 보이지 않을 경우 골프공 가상위치 판단부에서 가상위치를 판단해서 표시해줄 수 있다.

티샷이 떨어진 위치의 카메라 모듈에서 해당 플레이어를 촬영하게 되고, 해당 플레이어를 골프플레이어 확인부에서 확인하게 되며, 확인이 되면 스윙 동작 등을 동작분석부에서 분석하게 된다. 분석이 되면 본스윙인지를 판별하여 골프공히트 결정부에서 골프공을 타격했는지 판별하게 되고, 골프공이 타격되었으면 해당 골프공을 트래킹하게 된다.

해당 일정구역 내에서 또는 이웃하는 일정구역 내에서 촬영된 골프공의 궤적을 통해서 대략적인 다음 샷 지역까지의 탄착지점을 예측하게 되고, 마찬가지로 해당 탄착지점을 포함하는 일정구역을 담당하는 카메라모듈을 식별하게 된다.

식별된 카메라모듈에서 촬영된 영상을 추출하여 분석을 하게 되며, 세컷샷과 마찬가지로 해당 골프공이 식별되면 태킹을 하여 어느 플레이어의 골프공인지 확인하게 된다.

여기서도 트리거링 신호는 마찬가지로 탄착지점을 예측하여 결정되며, 시간을 확인하여 해당 영상을 추출하게 된다. 즉, 타격이 시작된 영상 시간에서 해당 골프공의 스피드 등이 추적되면 대략적인 시간을 계산하여 식별된 카메라모듈에서 해당 시간의 영상을 추출하게 된다.

세컨샷 이후는 세컨샷과 동일한 프로세스로 진행이 되며, 마지막으로 온그린하였을 경우에는 그린 상에서의 골프공의 위치를 스마트기기에 나타내준다. 일정구역이 그린이 되는 경우이며, 다른 프로세스는 동일하다.

그린에 골프공이 올라갈 경우 각 플레이어별로 태깅하며, 스마트기기에는 남은거리, 경사도, 그린 스피드, 추천 경로 등을 나타내 줄 수 있고, 플레이어별로 퍼팅을 몇 번 했는지도 표시해 줄 수 있다.

한편, 환경센서와 식생지수 카메라모듈 등이 포함된 경우 그린의 스피드 등을 그린의 각 부분에 따라서 계산할 수 있으며, 이를 그린상에 표시해줄 수 있다. 즉, 그린 전체가 그린스피드 3.0 이런식으로 표시되는 것이 아니라 각 세부부분별로 그린스피드가 다르게 표시될 수 있다. 세부부분은 격자 등으로 표시될 수도 있고, 홀컵을 기준으로 원형으로 표시될 수도 있다. 환경센서로 부터 측정된 온도, 습도, 바람 등과 카메라모듈에서 측정된 잔디의 순결, 역결, 길이 등 그리고 식생지수 카메라모듈에서 측정된 식생지수에 따라서 그린스피드가 계산될 수 있으며, 인공지능 모델에 의하여 그린스피드를 도출할 수 있다.

상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

본 발명은 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템 및 그 방법에 관한 것으로 골프 산업, 스포츠 산업 등에 이용할 수 있다.

1000 : 카메라모듈
1100 : 영상 획득부
1200 : 일정구역 좌표계산부
2000 : 통신모듈
3000 : 서버
3100 : 특정구역 좌표도출부
3200 : 티샷 정보 계산부
3300 : 이미지 수신부
3400 : 골프공궤적 계산부
3410 : 골프 플레이어 확인부
3411 : 플레이어 학습부
3420 : 동작 분석부
3430 : 골프공히트 결정부
3440 : 골프공 인식부
3500 : 골프공낙하지점 예측부
3600 : 골프공 가상위치 판단부
4000 : 스마트기기
5000 : 티샷 영상 모듈
5100 : 티샷 영상 전송 모듈

Claims (4)

1. 일정 구역의 골프공의 위치를 확인하는 카메라모듈;
   상기 카메라모듈로부터 확인된 상기 골프공의 위치를 전송하는 통신모듈;
   상기 통신모듈로부터 상기 골프공의 위치를 수신받아 특정 구역에서 상기 골프공의 위치를 계산하는 서버; 및
   상기 서버로부터 계산된 상기 골프공의 위치를 표시하는 스마트기기를 포함하되,
   상기 일정 구역은 상기 특정 구역의 적어도 일부를 포함하는 것을 특징으로 하는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템.
2. 제1항에 있어서,
   상기 카메라모듈은,
   상기 골프공의 영상을 획득하는 영상 획득부; 및
   상기 영상 획득부로부터 획득한 영상으로부터 상기 골프공의 상기 일정 구역 내에서의 일정구역 좌표값을 계산하는 일정구역 좌표계산부를 포함하는 것을 특징으로 하는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템.
3. 제2항에 있어서,
   상기 통신모듈은 상기 일정구역 좌표값을 상기 서버에 전송하고,
   상기 서버는 상기 일정구역 좌표값을 받아 상기 특정구역에서 상기 골프공의 위치를 계산하여 특정구역 좌표값을 도출하는 특정구역 좌표도출부를 포함하는 것을 특징으로 하는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템.
4. 제1항에 있어서,
   상기 서버는,
   상기 카메라모듈로부터 상기 일정구역을 촬영한 일정구역 이미지를 전송받는 이미지 수신부;
   상기 이미지 수신부로부터 수신된 일정구역 이미지를 분석하여 상기골프공의 궤적을 계산하는 골프공궤적 계산부; 및
   상기 계산된 골프공의 궤적으로부터 상기 골프공의 낙하 예측 지점을 예측하는 골프공낙하지점 예측부를 포함하는 것을 특징으로 하는 인공지능 알고리즘을 이용한 골프공의 위치 추적 시스템.