KR20240035093A - 골프관리시스템 - Google Patents

Abstract

골프 경기를 관리하는 컴퓨팅 기술이 개시된다. 골프 코스에 전개된 다수의 카메라가 촬영한 영상들로부터 볼이 검출되고 그 위치가 추적된다. 하나의 카메라의 촬영 공간에서 검출된 마지막 위치를 이용하여 그 카메라와 인접한 촬영 공간을 가진 카메라가 촬영한 영상들로부터 볼이 연속적으로 추적될 수 있다. 볼 추적을 통해 볼이 안착한 볼낙하위치가 결정되고, 그 위치는 골퍼에게 시각적으로 지시된다.영상에서 골퍼의 샷동작을 검출하여 볼 추적과 타수 카운트에 활용한다.

Description

골프관리시스템{Golf Supervising System}

정보처리장치에서 실행되는 컴퓨터 프로그램, 특히 골프 경기를 관리하는 컴퓨팅 기술이 개시된다.

골프는 친목과 건강을 도모하는 좋은 운동이지만 간혹 발생하는 타구 사고는 경우에 따라서는 치명적일 수 있다. 또 동반자들의 타수에 관심을 가지는 것은 예의이기도 하지만 좋지 않은 핸디를 가진 골퍼들에게는 쉬운 일이 아니다. 경기 중에 자신의 스윙이나 게임 운영을 돌아본다든지, 경기가 끝난 후 경기를 되새김하여 발전을 도모하는 것도 쉽지 않은 일이다. 경기 도우미들의 경험에 의존하여 안전을 관리하는 것도 여전히 적지 않은 위험요인을 내포하고 있으며, 타수를 기록하는 것도 간혹 언짢은 실수가 있을 수 있다.

이런 문제를 극복하기 위해 티잉 그라운드에서 티샷 모션을 촬영하여 제공하는 기술이 알려져 있다. 또 한국 특허 제2,294,275호에는 골퍼가 착용한 복합센서장비를 이용하여 골퍼의 위치정보와 모션 센서의 정보를 종합하여 타수를 분석하는 기술을 개시하고 있다. 그러나 이러한 모션 센서와 골퍼의 위치 정보만으로 코스에서의 타수를 분석하는 것은 한계가 있다. 한국 특허 제1,741,544호에는 드론을 이용하여 타구 영상을 촬영하여 볼을 검출하고, 드론을 검출된 볼 위치로 이동시켜 볼의 무선 태그로부터 볼을 식별하여 볼의 위치를 추적하는 기술을 개시하고 있다. 그러나 고속으로 긴 거리를 비행하는 볼을 드론의 카메라로 추적하는 것은 한계가 있다. 또 현재의 드론의 체공 시간으로는 4-5시간이 걸리는 경기 내내 적용하는 것은 불가능하거나 비효율적이며, 더구나 동반자 4명의 타구를 모두 분석하는 것은 더욱 비효율적이다.

제안된 발명은 볼의 위치를 추적하여 분실을 방지하는 것을 목적으로 한다.

나아가 제안된 발명은 볼의 위치와 골퍼들의 위치를 추적하여 타구 사고를 예방하는 것을 목적으로 한다.

나아가 제안된 발명은 골퍼들의 위치와 게임 현황을 실시간으로 관제하여 경기 운영을 도와주는 것을 목적으로 한다.

나아가 제안된 발명은 페어웨이에서의 골프 타수를 정확히 카운트하는 것을 목적으로 한다.

제안된 발명의 일 양상에 따라, 골프 코스에 전개된 다수의 카메라가 촬영한 영상들로부터 볼이 검출되고 그 위치가 추적된다. 하나의 카메라의 촬영 공간에서 검출된 마지막 위치를 이용하여 그 카메라와 인접한 촬영 공간을 가진 카메라가 촬영한 영상들로부터 볼이 연속적으로 추적될 수 있다. 볼 추적을 통해 볼이 안착한 볼낙하위치가 결정되고, 그 위치는 골퍼에게 시각적으로 지시된다.

추가적인 양상에 따르면, 영상에서 골퍼의 샷동작을 검출하여 볼 추적에 활용할 수 있다.

추가적인 양상에 따르면, 영상에서 골퍼의 샷동작을 검출하여 타수 카운트에 활용할 수 있다.

추가적인 양상에 따르면, 골퍼들의 샷동작이 검출되면 샷한 공을 탐색하여 공이 이동하는 것이 검출되었을 때 유효한 샷으로 결정하여 타수를 증가시킨다.

추가적인 양상에 따르면, 샷동작이 검출되고 샷한 볼이 비행하는 것이 검출되면 그 샷동작 영상을 샷한 골퍼와 연관시켜 골퍼별홀별 스윙영상으로 저장하고 골퍼의 지시에 응답하여 제공한다.

추가적인 양상에 따르면, 카메라 영상에서 골퍼들을 검출하고 식별하며, 위치를 추적한다.

추가적인 양상에 따르면, 샷한 볼의 궤적과 골퍼들의 실시간 위치를 이용하여 타구 위험을 경고할 수 있다.

제안된 발명에 따라 볼낙하위치가 시각적으로 지시될 수 있어 볼을 잃어버려 경기 중 기분을 상하는 일을 피할 수 있다.

제안된 발명에 따라, 카메라 영상에서 골퍼들을 검출하고 식별하며, 위치를 추적함으로써 경기운영과에서는 각 티타임별 골퍼들의 위치를 실시간으로 모니터링하여 경기 운영을 효율적으로 관리할 수 있다.

나아가 볼의 위치와 골퍼들의 위치가 함께 추적되므로 이를 이용하여 볼 궤적을 예측하여 골퍼에게 접근하는 볼이 있는 경우 경고함으로써 타구 사고의 위험을 줄일 수 있다.

도 1은 일 실시예에 따른 골프관리시스템의 설치 장치들이 설치된 예시적인 골프 코스를 도시한다.
도 2는 일 실시예에 따라 설치된 6개의 카메라의 예시적인 촬영공간들의 평면상의 레이아웃을 도시한다.
도 3은 일 실시예에 따른 골프관리시스템의 전체적인 구성을 설명하는 도면이다.
도 4는 일 실시예에 따른 골프관리시스템의 구성을 도시한 블록도이다.
도 5는 볼의 공간좌표의 계산 방법을 설명하기 위한 예시적인 도면이다.
도 6은 도 4의 실시예에서 볼추적부, 골퍼 추적부, 그리고 타수계산부의 다른 실시예들을 도시한다.
도 7은 일 실시예에 따른 골프관리시스템에서 구현되는 골프관리방법의 구성을 도시한 흐름도이다.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 일 실시예에 따른 골프관리시스템의 설치 장치들이 설치된 예시적인 골프 코스를 도시한다. 도시된 바와 같이, 예시적인 골프 코스에 설치 장치들(10-1,…,10-7,10'-1,10'-2)이 전개되어 있다. 각각의 설치 장치들은 지면에 고정된 기둥(11)에 설치된 카메라(13)와, 레이저유닛(15)을 포함한다. 설치 장치들은 페어웨이와 그 주변의 러프 영역을 벗어난 위치에서 페어웨이를 향하여 설치된다. 볼의 움직임이 섬세한 그린 주변에는 설치 장치들(10'-1,10'-2',10-6,10-7)이 좀 더 촘촘한 간격을 가질 수 있다. 레이저 유닛(15)은 볼의 위치를 지시하기 위한 볼위치지시 수단의 하나이다. 이들은 카메라와 동일한 개수로 전개될 필요는 없으며, 필요한 위치에 적절한 수로 설치될 수 있다. 예를 들어 볼을 잃어버릴 염려가 없는 그린 주변에는 볼의 위치를 지시하기 위한 레이저 유닛(15)은 설치되지 않고 단지 카메라(13)만이 기둥(11)에 설치될 수도 있다. 티잉 그라운드에는 티샷 모션을 촬영하기 위해 설치 장치들(10-1,10-2,10-3)이 티샷 영역 가까이 적절한 개수로 설치될 수 있다.

제안된 발명의 일 양상에 따라, 골프 코스에 전개된 다수의 카메라가 촬영한 영상들로부터 볼이 검출되고 그 위치가 추적된다. 하나의 카메라의 촬영 공간에서 검출된 마지막 위치를 이용하여 그 카메라와 인접한 촬영 공간을 가진 카메라가 촬영한 영상들로부터 볼이 연속적으로 추적될 수 있다. 볼 추적을 통해 볼낙하위치가 결정되고, 그 위치는 골퍼에게 시각적으로 지시된다.

페어웨이를 가로 질러 비행하는 볼은 페어웨이 양쪽에 설치된 카메라들의 영상에서 모두 발견될 수 있다. 페어웨이를 벗어나 기둥보다 더 들어간 볼들은 페어웨이 반대편에 설치된 카메라들의 영상에서만 발견될 수 있다. 카메라가 고정된 영역을 촬영하므로 카메라 영상의 각 화소들마다 실제 공간 좌표들이 매핑될 수 있다. 동일한 볼이 검출된 하나 혹은 복수의 카메라의 영상들로부터 볼의 궤적을 공간좌표로 산출할 수 있다. 이에 대해서는 이후에 좀 더 자세히 설명한다.

볼의 궤적을 추적함으로써 볼의 낙하 지점의 좌표를 산출할 수 있다. 볼의 낙하 지점을 골퍼가 휴대한 단말을 통해 알려주고 또 볼 위치지시수단, 예를 들면 레이저 유닛(50)으로 시각적으로 지시할 수 있다. 소형 배터리로 동작하는 휴대용 레이저 유닛들은 낮에도 수십 미터 거리의 지점을 뚜렷이 지시할 수 있는 밝기를 가진다.

본 명세서에서 어떤 카메라의 '촬영공간'이란 고정 설치된 카메라의 영상에서 관찰될 수 있는 3차원 공간을 의미한다. 제안된 발명에서 카메라들은 기본적으로 고정 설치되므로 어떤 카메라의 촬영공간은 시간적으로 불변(time invariant)이며, 특정한 골프장에 대한 제안된 발명에 따른 시스템 설계의 일부이다. 카메라의 해상도와 화각이 결정되면, 볼을 놓칠 가능성을 줄이는 가장 최적의 촬영공간들의 배치가 결정될 수 있다.

도 2는 일 실시예에 따라 설치된 6개의 카메라의 예시적인 촬영공간들의 평면상의 레이아웃을 도시한다. '볼이 관찰되어야 하는 공간'은, 오비지역이든 헤저드 지역이든 사람이 큰 어려움이 없이 진입할 수 있는 지역은 모두 커버해야 한다. 특히 볼이 비행하는 궤적보다 볼낙하위치가 중요하므로, 촬영공간들은 '볼이 관찰되어야 하는 공간'을 모두 커버하도록 설계되어야 한다. 도면에서 실선은 이러한 '볼이 관찰되어야 하는 공간'을 예시하며, 각 카메라에서 출발하여 돌아오는 점선에 의해 둘러싸인 부분은 그 카메라의 촬영공간을 예시한다.

도 3은 일 실시예에 따른 골프관리시스템의 전체적인 구성을 설명하는 도면이다. 도시된 바와 같이, 일 실시예에 따른 골프관리시스템은 도 1에 예시한 바와 같이 골프 코스에 전개된 다수의 설치 장치들(10)과, 골프 코스를 따라 주행하는 카트들마다 탑재된 카트 단말들(30)과, 골퍼들이 휴대하는 골퍼 단말들(50)과, 관리 서버(90)를 포함한다. 일 실시예에서 카트 단말(30)과 골퍼 단말(50)은 무선이동통신망, 예를 들면 셀룰라 망과, 게이트웨이, 그리고 유선 인터넷 망을 통해 관리 서버(90)와 통신한다. 일 실시예에서 설치 장치(10)는 유선 네트워크를 통해 관리 서버(90)와 통신한다. 관리 서버(90)는 골프 코스에 전개된 다수의 설치 장치들(10)에 고정된 카메라들로부터 촬영된 영상들을 수신하고 처리하여 골퍼들의 볼을 추적하고 그 위치를 기록하며, 골퍼별로 스코어를 관리할 수 있다. 카트 단말(30)에는 그 카트를 이용하는 팀의 골퍼들의 스코어가 표시된다. 또 카트 단말(30)에는 그 카트를 이용하는 팀의 위치를 중심으로 주변의 타팀에서 위험한 궤적으로 날아오는 공을 화면에 표시하면서 경고음을 발할 수 있다. 추가로 그 궤적의 표적이 될 수 있는 골퍼가 휴대한 골퍼 단말(50)에 경고음을 발하거나 경고 표시를 출력할 수 있다. 관리 서버(90)의 처리 부하를 줄이기 위해, 하나 혹은 복수의 카메라들이 연결된 에지 장치(edge device)들이 관리 서버(90)가 처리하는 각 카메라의 영상 처리 중 일부를 분산하여 처리하고, 그 결과를 관리 서버(90)로 전송하도록 구성될 수도 있다.

<도 4 실시예의 설명>

도 4는 일 실시예에 따른 골프관리시스템의 구성을 도시한 블록도이다. 도시된 실시예에서 골프 코스에 전개된 다수의 카메라에서 촬영된 영상들은 실시간으로 수신되어 기억요소(210)에 카메라별로 구분되어 저장된다. 도시된 골프관리시스템은 도 3에서 관리 서버(90)와, 그 기억요소(storage element)에 저장된 프로그램 명령어들로 구현될 수 있다. 도 4에서 각각의 블록들은 이러한 프로그램 명령어들의 기능적인 그룹을 지시한다. 통신부(250)는 이더넷 카드 등 네트워크 어댑터와 이를 제어하는 구동 프로그램을 나타낸다.

도시된 바와 같이, 일 실시예에 따른 골프관리시스템은 볼추적부(300)와, 볼낙하위치결정부(510)와, 볼위치지시부(910)를 포함한다. 볼추적부(300)는 골프 코스에 전개된 다수의 카메라에서 촬영된 영상들로부터 볼을 검출하여 추적한다. 하나의 영상에서 볼을 추적하고, 그 영상을 촬영한 카메라의 촬영공간과 인접한 촬영공간을 가진 카메라의 영상에서 동일한 볼을 탐색함으로써 여러 카메라들의 촬영공간들을 가로질러 비행하는 볼의 궤적을 연속적으로 추적할 수 있다. 영상에서 특정한 형태를 검출하여 추적하는 기술은 알려진 기술이므로 상세한 설명은 생략한다.

볼은 공중을 비행하므로 일반적으로 그 궤적은 공간좌표로 표현될 수 있다. 그러나 특정한 기능을 구현하는데 있어서 화면상의 화소좌표로 충분한 경우도 있을 수 있다. 예를 들어서 볼낙하위치는 지면이기 때문에 어느 각도의 카메라에서 촬영하더라도 배경(background)에서 비슷한 위치로 보인다. 볼낙하위치를 정확히 지시하기 위해서는 공간 좌표는 불필요하며, 영상에서의 화소 좌표로 충분하다. 여기서 화소좌표는 특정한 카메라가 촬영한 영상에서 가로, 세로 방향으로 화소를 카운트하여 부여하는 좌표값이다. 영상에는 왜곡이 개입되지만, 화소좌표와 각 화소가 표시하는 위치의 공간좌표는 일대일로 매핑될 수 있다. 카메라가 설치된 위치가 고정되어 있으므로 각 카메라별로 그 영상의 화소 좌표에 매핑되는 지표면의 공간좌표를 미리 측정하여 기억요소에 저장해둘 수 있다. 카메라의 설치 위치와, 볼의 실제 위치와, 화면 상의 공의 화소좌표, 즉 카메라 위치에서 공의 실제 위치를 지나 지표면에 투사(projection)한 점의 공간좌표는 하나의 직선 상에 있으므로 서로 다른 방향에서 촬영된 복수의 카메라의 영상에서 동일한 볼이 검출될 경우, 이미 알고 있는 복수의 카메라의 설치 위치와 각 영상에서 공이 투사된 점의 공간좌표값들로부터 볼의 공간좌표를 계산할 수 있다.

도 5는 볼의 공간좌표의 계산 방법을 설명하기 위한 예시적인 도면이다. 볼(1)을 카메라(2)와 카메라(3)가 동시에 촬영하였고, 카메라(2)가 촬영한 영상에서 볼(1)은 지점(B)에 위치하고, 카메라(3)가 촬영한 영상에서 볼(1)은 지점(A)에 위치한다. 이때 지점(A)와 지점(B)의 화소좌표에 매핑되는 공간좌표를 각각 X(A), X(B)라고 하고, 각 카메라들(2,3)의 설치 위치를 Y(2), Y(3)이라고 하면 볼(1)의 공간좌표는 점 X(A)와 점Y(3)을 지나는 직선과, 점 X(B)와 점Y(2)을 지나는 직선의 교점으로 구해질 수 있다.

볼낙하위치결정부(510)는 볼추적부(300)의 추적 결과로부터 볼낙하위치를 결정한다. 볼의 궤적의 끝 점이 어떤 카메라의 촬영 공간에 속한 경우에는 안착한 위치를 쉽게 결정할 수 있다. 볼의 궤적이 오비 지역에 깊숙이 들어가서 어떤 카메라의 영상에서도 끝 점이 발견되지 않는 경우에는 마지막으로 발견된 영상에서 볼의 궤적 정보를 이용하여 추정하는 수 밖에 없다. 그러나 사람이 도무지 들어갈 수 없는 먼 숲속으로 날아간 볼의 경우 샷을 한 골퍼나 다른 사람들이 그 정확한 위치를 알 필요가 없으므로 개략적으로 추정한 위치를 알려주는 것으로 충분하다. 그러나 대부분의 골퍼들은 해저드 지역이나 오비 지역에 볼이 들어간 경우에도 쉽게 사람이 진입할 수 있는 지역인 경우에는 볼에 미련을 가지는 경우가 많으므로 카메라들의 촬영공간이 이런 지역을 모두 커버함으로써 제안된 발명이 시스템이 정확한 위치를 지시함으로써 골퍼들이 쉽게 볼을 찾을 수 있도록 도와 준다.

볼위치지시부(910)는 볼낙하위치결정부(510)에서 결정된 볼낙하위치를 시각적으로 표시하도록 지시 신호를 통신부(250)를 통해 출력한다. 일 실시예에서, 볼낙하위치를 시각적으로 표시하는 장치는 레이저유닛(15)이다. 일 실시예에서, 레이저유닛은 팬틸트유닛에 탑재되어 카메라가 설치된 설치 장치의 기둥에 고정 설치된다.

도시된 실시예에서, 볼위치지시부(910)는 볼낙하위치결정부(510)에서 출력되는 볼낙하위치를 레이저유닛이 지시하도록 팬틸트유닛의 구동 신호를 생성하여 통신부(250)를 통해 그 레이저유닛으로 전송한다. 도시된 실시예에서, 볼낙하위치를 지시하는 팬틸트유닛은 볼이 안착한 위치를 포함하는 영상을 촬영한 카메라(13)와 인접하여 설치된 레이저유닛이다. 그러나 제안된 발명은 이에 한정되지 않으며, 카메라와 멀리 떨어져 있지만 볼낙하위치에 가까운 레이저 유닛이 그 위치를 가리키도록 구성될 수도 있다. 카메라(13)의 화소좌표별로 팬틸트유닛의 구동 신호 값이 미리 계산되어 저장될 수 있다.

추가적인 양상에 따르면, 영상에서 골퍼의 샷동작을 검출하여 볼 추적에 활용할 수 있다. 이러한 양상이 적용된 일 실시예에 따른 골프관리시스템은 샷동작검출부(100)를 더 포함할 수 있다. 일 실시예에서, 샷동작검출부(100)는 골퍼의 현위치 영상에서 샷 동작을 검출하여 볼추적부(300)로 제공한다. 볼추적부(300)는 샷동작이 검출된 영상 클립에서부터 볼 궤적의 추적을 시도할 수 있다.

추가적인 양상에 따르면, 영상에서 골퍼의 샷동작을 검출하여 타수 카운트에 활용할 수 있다. 이러한 양상이 적용된 일 실시예에 따른 골프관리시스템은 타수계산부(530)를 더 포함할 수 있다. 일 실시예에서, 타수계산부(530)는 샷동작 검출부(100)에서 샷 동작이 검출되고, 볼 추적부(300)에서 비행하는 볼이 검출될 경우 타수를 증가시킨다. 골퍼들의 샷동작이 검출되면 샷한 공을 탐색하여 공이 이동하는 것이 검출되면 유효한 샷으로 결정한다. 만약 공이 이동하지 않고 제자리에 있다면 연습 스윙으로 판단할 수 있다. 많은 선행들이 골퍼의 동작이나 가속도를 센싱하여 유효한 샷과 연습스윙을 구별하고자 하지만 한계가 있다.

추가로 타수계산부(530)는 볼낙하위치결정부(510)에서 결정된 볼낙하위치에 따라 타수를 조정할 수 있다. 예를 들어 타수계산부(530)는 볼낙하위치가 해저드 지역이거나 오비지역일 경우 타수를 하나 더할 수 있다.

도시된 실시예에서 스코어보드제공부(930)는 스코어보드 정보를 생성하여 통신부(250)를 통해 카트 단말, 예를 들면 태블릿으로 제공한다. 일 실시예에서, 스코어보드제공부(930)는 타수계산부(530)에서 계산된 타수를 반영하여 골퍼나 경기 도우미의 조작 없이도 티샷이나 페어웨이에서의 샷 회수를 카운트하여 스코어보드에 반영할 수 있다.

추가적인 양상에 따르면, 카메라 영상에서 골퍼들을 검출하고 식별하며, 위치를 추적한다. 이러한 양상이 적용된 일 실시예에 따른 골프관리시스템은 골퍼추적부(700)를 더 포함할 수 있다. 골퍼 추적부(700)는 1번홀 티샷시에 티타임별 4명의 골퍼들의 정보를 경기관리서버로부터 수신하고, 경기 도우미가 현재 티샷을 하는 골퍼들을 4명 중에서 특정하여 입력하도록 하고, 각 골퍼들을 여러 각도에서 촬영한 영상으로 인공지능 엔진을 학습시킨다. 이후에 인공지능 엔진은 영상에서 골퍼들을 식별하여 위치를 추적한다. 골퍼들이 식별되면 골퍼들은 지면에 착지하고 이동하므로 그 위치는 골퍼의 신발의 영상의 화소좌표에 매핑된 공간좌표로부터 쉽게 구할 수 있다. 골퍼들의 위치는 티타임별 골퍼위치로 기억요소(630)에 데이터베이스로 저장되고 관리된다. 경기진행현황제공부(950)는 티타임별 골퍼들의 위치를 골프장 맵 상에서 표시함으로써 경기운영과에서 원활한 경기진행을 관리하도록 도와준다. 추가로, 경기진행현황제공부(950)는 카트 단말로부터 각 티타임별 배정된 카트들의 위치를 수신하여 카트의 위치도 함께 골프장 맵 상에 표시할 수 있다. 티타임별 카트의 위치와 골퍼들의 위치를 실시간 모니터링함으로써 경기운영과에서는 경기 진행을 효율적으로 관리할 수 있다.

추가적인 양상에 따르면, 샷한 볼의 궤적과 골퍼들의 실시간 위치를 이용하여 타구 위험을 경고할 수 있다. 도시된 실시예에서, 타구위험경고부(970)는 샷한 볼의 궤적을 실시간으로 추적하면서 그 볼낙하위치를 예측한다. 이때 예측된 볼낙하위치가 실시간으로 모니터링하고 있는 골퍼들의 위치 중 하나에 일정 거리 이상 근접하면 타구사고위험의 발생 가능성이 있다고 판단하여 통신부(250)를 통해 그 골퍼가 소지하는 단말, 예를 들면 이동통신단말의 앱 및/또는 그 팀의 경기도우미, 및/또는 그 팀의 카트로 위험 경고 메시지를 송신한다. 골퍼가 샷한 볼이 근거리에 있는 골퍼에게 직접 가격하는 사고는 순식간에 일어나므로 타구사고 위험을 적시에 알리는 것이 어렵다.

추가적인 양상에 따르면, 샷동작이 검출되고 샷한 볼이 비행하는 것이 검출되면 그 샷동작 영상을 샷한 골퍼와 연관시켜 골퍼별홀별 스윙영상으로 저장하고 골퍼의 지시에 응답하여 제공한다. 이러한 양상이 적용된 일 실시예에 따른 골프관리시스템은 스윙영상기록부(800)를 더 포함할 수 있다. 스윙영상기록부(800)는 샷동작검출부(100)에서 샷동작이 검출된 후 볼추적부(300)에서 샷한 볼이 비행하는 것이 검출되었다는 신호가 출력되면 샷동작검출부(100)의 그 샷동작 영상을 샷한 골퍼와 연관시켜 기억요소에 골퍼별홀별 스윙영상 데이터베이스(670)으로 저장한다. 스윙영상제공부(990)는 골퍼 단말의 지시에 응답하여 골퍼가 지시한 홀의 샷들 중 지시된 샷의 스윙 영상을 통신부(250)를 통해 골퍼의 단말로 제공한다. 티잉그라운드나 페어웨이에 복수의 카메라가 존재하므로 특정한 홀에서 특정한 스윙은 상이한 각도에서 촬영된 복수개가 있을 수 있다. 골퍼는 여러 각도에서 자신의 스윙을 분석할 수 있다.

홀별라운드재생부(1100)는 티샷과 이후의 샷들의 위치를 홀맵에 표시하고 각 샷들의 볼 궤적을 그려 표시한다. 각 샷의 비거리가 표시되고, 샷 위치의 아이콘을 선택하면 그 샷의 스윙 영상이 제공된다. 자신 뿐 아니라 동반자들의 샷들의 위치, 궤적과 비거리도 골퍼의 이름이나 입력된 닉네임과 함께 표시될 수 있다.

<도 6의 설명>

도 6은 도 4의 실시예에서 볼추적부, 골퍼 추적부, 그리고 타수계산부의 다른 실시예들을 도시한다. 도시된 볼추적부, 골퍼 추적부, 그리고 타수계산부의 실시예들은 설명의 편의상 하나의 도면으로 제시되었으나 각각 독립적이다. 즉 예를 들어 도시된 골퍼 추적부는 볼추적부 및/또는 타수계산부의 다른 실시예와 조합될 수도 있다.

<청구항 4 발명의 설명>

카메라에서 촬영된 영상들은 일정한 길이, 혹은 문맥의 연속을 인식하고 그에 따라 구분된 길이를 가지는 영상클립들로 나누어진다. 특정한 동작이나 행위가 포함된 영상클립을 탐색하는 문맥기반 영상탐색(context based video search)기술이 인공지능분야에서 알려져 있다.

도시된 실시예에서 샷동작검출부(100)는 골퍼추적부(700)에서 실시간으로 추적하여 기록한 티타임별 골퍼위치궤적(630)에서 현재 골퍼의 위치를 촬영하고 있는 카메라의 영상클립들 중에서 샷동작이 포함된 영상클립들을 탐색한다.

도시된 바와 같이, 일 실시예에 따른 볼추적부(300)는 샷위치볼추적부(330)와 인접공간볼추적부(350)를 포함한다. 샷위치볼추적부(330)는 샷동작검출부(100)에서 샷동작이 검출된 영상들로부터 샷한 볼을 검출하여 그 궤적을 추적한다. 샷동작이 없으면 볼이 날아갈 수 없기 때문에 샷동작이 검출된 경우에만 볼 궤적의 추적을 시도하여 불필요한 계산자원의 낭비를 피한다.

인접공간볼추적부(350)는 샷동작이 검출된 영상을 촬영한 카메라의 촬영 공간과 인접한 촬영공간을 가진 적어도 하나의 카메라가 촬영된 영상에서 샷위치볼추적부가 추적한 볼의 궤적을 연속하여 추적한다.

일 실시예에서 인접공간볼추적부(350)는 샷위치볼추적부(330)에서 추적한 볼궤적을 이어서 연속하여 그 볼의 궤적을 추적한다. 인접공간볼추적부(350)는 카메라별 촬영공간배치정보(430)를 참조하여 샷동작이 검출된 영상을 촬영한 카메라의 촬영공간과 인접한 촬영공간을 가진 카메라의 식별정보를 추출한다. 이후에 그 카메라에서 촬영한 영상에서 샷위치볼추적부(330)에서 볼궤적의 마지막 프레임이 촬영된 시각 이후의 영상 클립들을 기억요소(210)에서 추출하여 볼을 검출하고 그 궤적을 추적한다. 볼의 검출은 그 카메라의 촬영공간에서 샷동작이 검출된 영상을 촬영한 카메라의 촬영공간과 인접한 영역에서 시도된다. 두 카메라의 촬영공간의 일부가 중첩된 경우 중첩된 영역에서 샷위치볼추적부(330)의 볼궤적이 끝났다면 인접공간볼추적부(350)는 그 중첩된 촬영공간에서의 볼궤적에 이어서 볼의 궤적을 추적할 수 있다.

일 실시예에서 인접공간볼추적부(350)는 이전에 추적한 볼궤적을 이어서 연속하여 궤적을 추적할 수 있다. 인접공간볼추적부(350)는 카메라별 촬영공간배치정보(430)를 참조하여 이전에 볼궤적을 추적한 카메라의 촬영공간과 인접한 촬영공간을 가진 카메라의 식별정보를 추출한다. 이후에 그 카메라에서 촬영한 영상에서 이전에 추적한 볼궤적의 마지막 프레임이 촬영된 시각 이후의 영상 클립들을 기억요소(210)에서 추출하여 볼을 검출하고 그 궤적을 추적한다. 볼의 검출은 그 카메라의 촬영공간에서 이전에 볼궤적을 추적한 영상을 촬영한 카메라의 촬영공간과 인접한 영역에서 시도된다. 두 카메라의 촬영공간의 일부가 중첩된 경우 중첩된 영역에서 이전에 추적한 볼궤적이 끝났다면 인접공간볼추적부(350)는 그 중첩된 촬영공간에서의 볼궤적에 이어서 볼의 궤적을 추적할 수 있다.

<청구항 5,6 발명의 설명>

도시된 실시예에서, 볼위치산출부(310)는 샷위치볼추적부(330) 혹은 인접공간볼추적부(350)의 요구에 따라 검출된 볼의 화소좌표로부터 공간좌표를 계산하여 제공한다. 일 실시예에서, 볼위치산출부(310)는 동시동일볼영상탐색부(311)와, 공간좌표산출부(313)를 포함할 수 있다. 동시동일볼영상탐색부(311)는 입력 볼영상에 대해 카메라별 촬영공간 배치정보를 참조하여 같은 시각에 동일한 볼을 촬영한 적어도 하나의 동시동일볼 영상을 탐색하여 출력한다. 카메라별 촬영공간은 도 2를 참조하여 설명한 바 있다. 카메라별 촬영공간 배치정보(430)는 각 카메라들의 촬영공간간의 관계를 데이터베이스구조, 예를 들면 연결리스트(linked list)로 표현하고 각 촬영공간의 경계면 정보를 저장한다. 도 2를 참조항 설명한 바와 같이 특정한 시점에서 하나의 볼을 복수의 카메라가 촬영할 수 있으며 상이한 카메라에서 동일한 시점에 촬영한 동일한 볼의 영상을 동시동일볼 영상으로 정의한다. 카메라별 촬영공간 배치정보(430)를 이용하면 특정한 공간을 포함하는 촬영공간을 가진 카메라의 식별정보를 추출할 수 있다.

공간좌표산출부(313)는 정지한 볼은 그 화소좌표에 매핑되는 지표면의 공간좌표를 출력하고, 비행하는 볼은 입력된 영상의 볼들에 매핑된 공간좌표들과 상기 적어도 하나의 동시동일볼 영상의 볼의 화소좌표에 매핑된 공간좌표 및 각 카메라들의 설치 위치정보를 이용하여 공간좌표를 산출하여 출력한다. 정지한 볼은 지면에 안착되어 있으므로 카메라별 화소좌표맵(410)을 참조하여 화소좌표에 매핑되는 공간좌표가 그 볼의 공간좌표이다. 비행하는 볼의 경우 카메라의 설치 위치와, 볼의 실제 위치와, 화면 상의 공의 화소좌표, 즉 카메라 위치에서 공의 실제 위치를 지나 지표면에 투사(projection)한 점의 공간좌표는 하나의 직선 상에 있다. 서로 다른 방향에서 촬영된 복수의 카메라의 영상에서 동일한 볼이 검출되어 동시동일볼 영상이 복수개 존재하는 경우 이미 알고 있는 복수의 카메라의 설치 위치와 각 영상에서 공이 투사된 점의 공간좌표값들로부터 볼의 공간좌표를 계산할 수 있다. 이들에 대해서는 도 5를 참조하여 설명한 바 있으므로 여기서는 더 이상 설명하지 않는다.

볼이 비행하다 정지하면 낙하한 것으로 판단하고 그 위치를 볼낙하위치로 할 수 있다. 그런데 타구사고 예방을 위해 볼낙하위치를 미리 추정하고자 할 때 볼의 공간 좌표에서 고도에 해당하는 좌표값과 직하방의 지면의 대응하는 좌표값의 차이로부터 볼이 지면으로 낙하하고 있다는 것을 미리 판단할 수 있다. 제안된 발명에서는 다른 방법으로 계산된 볼의 공간좌표와, 볼의 화소좌표에 매핑된 공간좌표 간의 차이가 기준치 이하인 경우 볼의 착지가 임박하였다고 판단할 수 있다. 또 다른 방법으로, 동시동일볼 영상들에서 볼의 화소좌표들에 각각 매핑된 공간좌표들간의 차이혹은 거리가 점차 줄어들어 기준치 이하가 될 때 볼의 착지가 임박하였다고 판단할 수 있다. 이를 타구 사고의 위험을 미리 판단하는데 활용할 수 있다.

타수계산부(530)는 유효타검출부(531)를 포함한다. 전술한 바와 유사하게, 유효타검출부(531)는 샷동작검출부(100)에서 샷동작이 검출되고, 볼추적부(300)에서 비행하는 볼이 검출될 경우 타수를 증가시킨다. 타수조정부(533)는 볼낙하위치결정부(510)에서 결정한 볼낙하위치에 따라 타수를 조정한다. 3차원 홀맵을 참조하여 볼낙하위치가 해저드지역일 경우 벌타가 하나 더해지고, 볼낙하위치가 오비지역일 경우 벌타가 두 개 더해진다. 일 실시예에서, 퍼팅회수입력부(535)는 퍼팅그라운드에 설치된 복수의 카메라 영상을 처리하여 골퍼를 식별하고 골퍼의 퍼팅 동작을 검출하며, 피팅 동작이 검출될 때 실제 볼의 이동이 있는지 없는지 판단하여 퍼팅 회수를 카운트할 수 있다. 볼이 홀컵에 들어가지 않고 퍼팅이 중단되면 그 골퍼에게 컨시드가 주어진 것으로 판단하여 퍼팅 회수를 하나 증가시킨다. 또 다른 실시예에서, 퍼팅회수입력부(535)는 경기도우미나 골퍼가 입력하는 퍼팅 회수를 그대로 기록할 수 있다.

추가적인 양상에 따르면, 카메라 영상에서 골퍼들을 검출하고 식별하며, 위치를 추적한다. 도시된 실시예에서, 골퍼추적부(700)는 다수의 카메라에서 촬영된 영상들로부터 골퍼를 식별하여 추적한다. 골퍼들은 숲으로 들어가면 보이지 않다가 갑자기 다른 곳에서 나타나기도 하므로 연속적으로만 이동궤적을 추적할 경우 추적에 실패하는 경우가 생길 수 있다. 볼의 경우 샷동작을 기준으로 새로운 추적을 시작할 수 있지만 골퍼의 위치 추적은 그렇지 않다. 일 실시예에서, 골퍼추적부(700)는 골퍼인코더(710)를 포함한다. 골퍼인코더(710)는 다수의 카메라의 영상에서 골퍼들을 검출하고 그 형상에 기초하여 인코딩하여 그 위치정보와 함께 출력한다. 골퍼들은 지면에 있으므로 그 발의 중심의 화소좌표에 매핑되는 공간좌표로부터 그 위치정보를 쉽게 구할 수 있다. 영상에서 골퍼들의 식별정보와 위치정보는 기억요소에 식별자별 이동정보(720)로 저장된다. 골퍼인코더(701)는 다수의 카메라의 영상에서 항상 작동하기 때문에 골퍼들의 추적에 실패한 경우에도 동일 인물을 다시 찾아낼 수 있다. 예를 들어 골퍼인코더(710)는 개인 re-ID (Person re-identification)로 알려진 기술을 적용하여 골퍼들을 식별할 수 있다. 티샷시에 복수의 시점에서 골퍼들을 촬영한 영상에서 동일한 인물의 시점별 re-ID가 생성된다.

골퍼이동궤적산출부(730)는 골퍼별 식별정보, 예를 들면 시점별로 저장된 re-ID를 기초로 가장 근접한 re-ID를 가진 식별자별 이동정보를 탐색하여 골퍼별로 그 위치를 추적하여 골퍼별 이동궤적을 산출한다. 골퍼들의 이동궤적이 불연속적인 경우에도 이 방법으로 신속하게 골퍼들을 추적할 수 있다. 골퍼들의 이동궤적은 기억요소에 티타임별골퍼위치궤적정보(630)로 저장될 수 있다.

도 7은 일 실시예에 따른 골프관리시스템에서 구현되는 골프관리방법의 일 실시예의 구성을 도시한 흐름도이다. 예를 들어 도 7의 방법은 서버 컴퓨터에서 실행되는 프로그램의 일부로 구현된다. 도시된 방법은 페어웨이에서 골퍼와 샷모션을 검출하는 것을 예로 들어 설명한 것이다.

도시된 바와 같이, 일 실시예에 따른 골프관리방법은 먼저 영상에서 골퍼들을 검출하고 식별하며 그 위치를 계산한다(S110). 이후에 그 골퍼의 동작을 예를 들면 문맥 기반의 분류 엔진을 통해 분석하여 샷모션을 검출한다(S130). 골프장에서 골퍼들의 동작은 스윙, 걷기, 차량탑승 등 비교적 단순한 몇 가지 행위 중 하나이므로 문맥기반 인공지능 분류 엔진을 통해 분석하기 쉽다. 샷동작이 검출되지 않으면 골퍼들이 이동함에 따라 다시 단계 S110으로 돌아가 처리를 반복한다. 샷동작이 검출되면 볼의 비행이 검출되는지 판단한다(S150). 기준시간, 예를 들면 1초 이내에 볼의 비행이 검출되지 않으면 연습스윙으로 판단하여 단계 S110으로 돌아가 처리를 반복한다. 볼의 비행이 검출되면 그 골퍼의 그 홀에서의 타수를 증가시킨다(S170).

이후에 비행하는 볼을 인접 영역을 촬영하는 카메라 영상들에서 탐색한다(S190). 이 동시동일볼이 인접영역을 촬영하는 카메라의 영상 중 하나에서 발견되면 동시동일볼의 화소좌표들로부터 도 5를 참조하여 설명한 바와 같은 방법으로 볼의 공간좌표를 산출한다(S210). 연속적으로 산출되는 볼의 공간좌표들로부터 볼의 비행 궤적이 밝혀지고 이로부터 비행 방향이 예측된다. 예측된 볼의 비행 방향에 골퍼가 근접하여 위치하고 있는지 판단한다(S230). 예측된 볼의 비행 궤적이 특정한 골퍼에게 접근하는 방향인 경우 그 골퍼에게 타구사고위험을 경고한다(S250). 이후에 볼이 지면에 안착하였는지 여부를 판단한다(S270). 아직 볼이 지면에 안착하지 않았고 비행을 계속하는 경우 단계 S190으로 돌아가 처리를 반복한다. 볼이 지면에 안착한 것이 검출되면 안착점의 좌표를 계산하여 기록한다(S290).

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.

1 : 볼 2,3 : 카메라
10-1~10-7, 10'-1, 10'-2 : 골프 코스 설치 장치
11 : 기둥 13 : 카메라
15 : 레이저 유닛
30 : 카트 단말 50 : 골퍼 단말
90 : 관리 서버
100 : 샷동작검출부
210 : 카메라 영상 230 : 티타임별예약정보
300 : 볼추적부
310 : 볼위치산출부 311 : 동시동일볼영상탐색부
313 : 공간좌표산출부 330 : 샷위치볼추적부
350 : 인접공간볼추적부
410 : 카메라별화소좌표맵DB 430 : 카메라별촬영공간배치정보
510 : 볼낙하위치결정부
530 : 타수계산부 531 : 유효타검출부
533 : 타수조정부 535 : 퍼팅회수입력부
610 : 골퍼별볼궤적DB 630 : 티타임별골퍼위치궤적DB
650 : 골퍼타수DB 670 : 골퍼별홀별스윙영상
700 : 골퍼추적부 710 : 골퍼인코더
730 : 골퍼이동궤적산출부 750 : 골퍼위치계산부
800 : 스윙영상기록부
910 : 볼위치지시부 930 : 스코어보드제공부
950 : 경기진행현황제공부 970 : 타구위험경고부
990 : 스윙영상제공부 1100 : 홀별라운드제공부

Claims (17)

1. 적어도 하나의 기억요소(storage element)에 저장된 프로그램 명령어들을 적어도 하나의 컴퓨팅요소에 의해 실행하는 정보처리장치를 포함하여 구현되는 골프관리시스템에 있어서, 상기 프로그램명령어들이 :
   골프 코스에 전개된(deployed) 다수의 카메라에서 촬영된 영상들로부터 볼을 검출하여 추적하는 볼추적부와;
   볼추적부의 추적 결과로부터 볼이 안착한 볼낙하위치를 결정하는 볼낙하위치결정부;
   볼낙하위치를 시각적으로 표시하도록 지시 신호를 출력하는 볼위치지시부;
   를 포함하는 골프관리시스템.
2. 청구항 1에 있어서, 볼위치지시부는 볼낙하위치를 포함하는 영상을 촬영한 카메라와 인접하여 설치된 레이저유닛으로, 그 영상에서 볼낙하위치를 지시하도록 구동하는 구동 신호를 전송하는 골프관리시스템.
3. 청구항 1에 있어서, 상기 시스템이 :
   골퍼의 현위치 영상에서 샷 동작을 검출하여 볼추적부로 제공하는 샷동작 검출부;를 더 포함하는 골프관리시스템.
4. 청구항 3에 있어서, 볼추적부는 :
   샷동작 검출부에서 샷동작이 검출된 영상들로부터 샷한 볼을 검출하여 그 궤적을 추적하는 샷위치볼추적부;
   샷동작이 검출된 영상을 촬영한 카메라의 촬영 공간과 인접한 촬영공간을 가진 적어도 하나의 카메라가 촬영된 영상에서 샷위치볼추적부가 추적한 볼의 궤적을 연속하여 추적하는 인접공간볼추적부;
   를 포함하는 골프관리시스템.
5. 청구항 4에 있어서, 볼추적부는 :
   샷위치볼추적부 혹은 인접공간볼추적부의 요구에 따라 검출된 볼의 화소좌표로부터 공간좌표를 계산하여 제공하는 볼위치산출부;
   를 더 포함하는 골프관리시스템.
6. 청구항 5에 있어서, 볼위치산출부는 :
   입력 볼영상에 대해 카메라별 촬영공간 배치정보를 참조하여 같은 시각에 동일한 볼을 촬영한 적어도 하나의 동시동일볼 영상을 탐색하여 출력하는 동시동일볼영상 탐색부와;
   정지한 볼은 그 화소좌표에 매핑되는 지표면의 공간좌표를 출력하고, 비행하는 볼은 입력된 영상의 볼들에 매핑된 공간좌표들과 상기 적어도 하나의 동시동일볼 영상의 볼의 화소좌표에 매핑된 공간좌표 및 각 카메라들의 설치 위치정보를 이용하여 공간좌표를 산출하여 출력하는 공간좌표산출부;
   를 더 포함하는 골프관리시스템.
7. 청구항 1에 있어서, 상기 시스템이 :
   볼낙하위치결정부는 계산된 볼의 공간좌표와 볼의 화소좌표에 매핑된 공간좌표 간의 차이가 기준치 이하인 경우 볼의 착지가 임박하였다고 판단하는 골프관리시스템.
8. 청구항 3에 있어서, 상기 시스템이 :
   샷동작검출부에서 샷 동작이 검출되고, 볼추적부에서 비행하는 볼이 검출될 경우 타수를 증가시키는 타수계산부;
   를 더 포함하는 골프관리시스템.
9. 청구항 8에 있어서, 타수계산부는 :
   볼낙하위치결정부에서 결정한 볼낙하위치에 따라 타수를 조정하는 타수 조정부;를 더 포함하는 골프관리시스템.
10. 청구항 8에 있어서, 타수계산부는 :
    퍼팅그라운드에 설치된 복수의 카메라 영상을 처리하여 골퍼를 식별하고 골퍼의 퍼팅 동작을 검출하며, 피팅 동작이 검출될 때 실제 볼의 이동이 있는지 없는지 판단하여 퍼팅 회수를 카운트하는 피팅회수입력부;를 더 포함하는 골프관리시스템.
11. 청구항 1에 있어서, 볼위치지시부는 :
    볼낙하위치에 따른 위치구동신호에 따라 구동되는 팬틸트유닛과;
    팬틸트유닛에 탑재되어 레이저 구동신호에 응답하여 레이저빔을 송출하는 레이저유닛;
    을 포함하는 골프관리시스템.
12. 청구항 1에 있어서, 상기 시스템이 :
    다수의 카메라에서 촬영된 영상들로부터 골퍼를 식별하여 추적하는 골퍼 추적부;를 더 포함하는 골프관리시스템.
    
13. 청구항 12에 있어서, 상기 시스템이 :
    볼추적부에서 산출한 볼의 궤적에 따라 예측되는 볼낙하위치가 골퍼추적부에서 산출된 골퍼의 위치에 근접할 경우 해당 골퍼에 관련된 단말로 경고 메시지를 전송하는 타구위험경고부;
    를 더 포함하는 골프관리시스템.
14. 청구항 12에 있어서, 상기 시스템이 :
    티타임별 카트와 골퍼들의 위치를 골프장 맵 상에 표시하는 경기진행현황제공부;
    를 더 포함하는 골프관리시스템.
15. 청구항 3에 있어서, 상기 시스템이 :
    샷동작검출부에서 샷동작이 검출된 후 볼추적부에서 샷한 볼이 비행하는 것이 검출되었다는 신호가 출력되면 샷동작검출부의 그 샷동작 영상을 샷한 골퍼와 연관시켜 저장하는 스윙영상기록부와;
    골퍼 단말의 지시에 응답하여 골퍼가 지시한 홀의 샷들 중 지시된 샷의 스윙 영상을 제공하는 스윙영상제공부;
    를 더 포함하는 골프관리시스템.
16. 청구항 15에 있어서, 스윙영상은 상이한 각도에서 촬영된 복수의 영상을 포함하는 골프관리시스템.
17. 청구항 12에 있어서, 상기 시스템이 :
    골퍼별로 티샷과 이후의 샷들의 위치를 홀맵에 표시하고 각 샷들의 볼 궤적을 표시하는 홀별라운드재생부를 더 포함하는 골프관리시스템.