KR102578232B1 - 골프공 추적 방법 및 이를 위한 시스템 - Google Patents

골프공 추적 방법 및 이를 위한 시스템 Download PDF

Info

Publication number
KR102578232B1
KR102578232B1 KR1020210070694A KR20210070694A KR102578232B1 KR 102578232 B1 KR102578232 B1 KR 102578232B1 KR 1020210070694 A KR1020210070694 A KR 1020210070694A KR 20210070694 A KR20210070694 A KR 20210070694A KR 102578232 B1 KR102578232 B1 KR 102578232B1
Authority
KR
South Korea
Prior art keywords
golf ball
image
camera
wide
angle
Prior art date
Application number
KR1020210070694A
Other languages
English (en)
Other versions
KR20220162909A (ko
Inventor
박일우
Original Assignee
유성민
최세화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유성민, 최세화 filed Critical 유성민
Priority to KR1020210070694A priority Critical patent/KR102578232B1/ko
Publication of KR20220162909A publication Critical patent/KR20220162909A/ko
Priority to KR1020230117907A priority patent/KR102621864B1/ko
Application granted granted Critical
Publication of KR102578232B1 publication Critical patent/KR102578232B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0053—Tracking a path or terminating locations for locating an object, e.g. a lost ball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와, 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와, 선택된 적어도 2개의 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와, 식별 이미지에서 흰색으로 표시되는 영역을 골프공으로 검출하는 골프공 검출 단계와, 식별 이미지에서 검출된 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와, 골프공 색상값을 이용하여 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 골프공 추적 방법 및 이를 위한 시스템을 개시한다.

Description

골프공 추적 방법 및 이를 위한 시스템{Method for Tracing Golf Ball and System for the Same}
본 발명은 골프 라운딩에서 티샷된 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템에 관한 것이다.
골프 라운딩은 각 홀마다 거리에 따라 다소의 차이가 있으나 티샷 과정부터 시작되어 세컨 샷 과정을 거쳐 퍼팅 과정으로 종료된다. 상기 티샷 과정은 골퍼가 정해진 위치의 티 박스에서 골프공을 치고 골프공이 지면의 페어웨이 또는 러프에 착지하는 과정이다.
골프 라운딩은 원활한 진행을 위해서 티샷 과정에서 골프공의 궤적과 지면의 착지 위치를 적정하게 파악하는 것을 필요로 한다. 골프공은 티샷 과정에서 골퍼의 실력에 따라 다양한 방향으로 날아가게 되므로, 골프공의 착지 위치를 파악하는 것이 용이하지 않을 수 있다. 골퍼는 티샷 과정에서 골프공을 치는데 집중하므로, 골프공의 착지 위치는 주로 캐디에게 의존하여 파악하게 된다. 따라서, 캐디는 골프공의 착지 위치를 신속하게 파악하여 골프 라운딩을 원활하게 진행하는데 도움을 준다. 최근에는 캐디의 공급이 원활하지 않으므로, 골프장은 적정하게 캐디를 확보하는데 어려움이 있다. 또한, 캐디의 공급이 원활하지 않으므로, 캐디피가 높아지면서 골퍼의 금전적인 부담이 증가되고 있다.
한편, 골프장은 골퍼에 대한 서비스 차원에서 티샷 순간의 사진 또는 홀인원된 골프공의 사진 정도를 제공하고 있다. 골퍼는 홀인원이나 티샷이 잘 된 경우에 골프공의 비행 영상을 간직하고 싶으나, 비행 영상의 확보가 용이하지 않은 실정이다.
본 발명은 골프 라운딩에서 티샷되는 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 골프 라운딩에서 골프공의 티샷부터 지면에 착지될 때까지 골프공의 비행 영상을 생성하여 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 골프공 추적 방법은 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와, 상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와, 선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와, 상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와, 상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와, 상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및 상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 것을 특징으로 한다.
또한, 상기 식별 이미지 생성 단계는 적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과, 2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및 각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함할 수 있다.
또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함할 수 있다.
또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함할 수 있다.
또한, 상기 골프공 추적 단계는 상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과, 상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및 인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함할 수 있다.
또한, 상기 골프공 추적 방법은 상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및 생성된 상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함할 수 있다.
또한, 상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적할 수 있다.
또한, 본 발명의 일 실시예에 따른 골프공 추적 시스템은 광각 카메라와 망원 카메라를 포함하며, 골프공의 비행 영상을 촬영하는 카메라 모듈과, 상기 카메라 모듈을 제어하는 카메라 제어 모듈과, 상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및 상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 상기와 같은 골프공 추적 방법을 수행하는 것을 특징으로 한다.
본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 함께 이용하여 티샷되는 골프공을 추적하면서 골프공이 지면에 착지하는 위치를 제공할 수 있다.
또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다.
또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 연동시켜 골프공을 추적함으로써 골프공을 놓치지 않고 추적할 수 있다.
또한, 본 발명의 골프공 추적 방법 및 시스템은 골프공이 티샷부터 지면에 착지될 때까지의 비행 영상을 촬영하여 골퍼에서 제공할 수 있다.
또한, 본 발명의 골프공 추적 방법 및 시스템은 파 3 홀에서 골프공이 티샷부터 홀컵에 들어가는 전체 비행 영상을 촬영하여 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다.
도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 촬영하는 티 박스의 관심 영역에 대한 개략도이다.
도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다.
도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다.
도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다.
도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다.
도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.
이하에서 실시예와 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 골프공 추적 방법 및 시스템에 대하여 보다 구체적으로 설명한다.
먼저, 본 발명의 일 실시예에 따른 골프공 추적 방법을 위한 골프공 추적 시스템에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다. 도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 설치되는 티 박스의 관심 영역에 대한 개략도이다. 도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.
본 발명의 일 실시예에 따른 골프공 추적 시스템은, 도 1 내지 도 3b를 참조하면, 카메라 모듈(100)과 카메라 제어 모듈(200)과 중앙 서버(300) 및 수신 단말기(400)를 포함할 수 있다. 또한, 상기 골프공 추적 시스템은 로컬 서버(500)를 더 포함할 수 있다.
상기 골프공 추적 시스템은 골프장의 어느 하나의 홀 코스에 카메라 모듈(100)이 설치되어 골프공이 티샷부터 지면 착지될 때까지 골프공을 추적하면서 골프공이 지면에 착지되는 착지 위치에 대한 정보를 수신 단말기(400)에게 제공할 수 있다. 이를 위하여, 상기 카메라 모듈(100)은 골프공이 비행하는 동안 골프공을 따라가면서 촬영하여 영상 이미지를 생성할 수 있다. 상기 카메라 제어 모듈(200)은 영상 이미지에서 골프공을 검출하고, 카메라 모듈(100)이 골프공을 계속적으로 추적하여 촬영하도록 카메라 모듈(100)을 제어할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 연결되며, 카메라 모듈(100)에서 수신되는 골프공의 착지 위치에 대한 영상 이미지 또는 골프공의 비행에 대한 촬영 영상을 수신 단말기(400)로 전송할 수 있다.
한편, 이하에서 설명하는 골프공 추적 시스템은 본 발명의 골프공 추적 방법을 제공하기 위한 일 실시예이며, 골프공 추적 방법을 제공하기 위한 다양한 구성으로 형성될 수 있다.
상기 카메라 모듈(100)은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)를 포함할 수 있다.
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며 골프공을 추적할 수 있다. 이때, 상기 카메라 모듈은 광각 카메라(110)와 망원 카메라(140)가 각각 골프공을 추적할 수 있다. 또한, 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 연동되면서 골프공을 추적할 수 있다. 이러한 경우에 상기 카메라 모듈(100)은 골프공을 놓치지 않고 보다 효율적으로 추적할 수 있다.
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며, 티샷부터 지면에 착지될 때까지 골프공을 추적하여 촬영할 수 있다. 이때, 상기 광각 카메라(110)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)에 의하여 틸팅 및 패닝되면서 골프공을 추적하여 골프공의 비행 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 틸팅 및 패닝되면서 골프공의 비행 영상을 촬영할 수 있다.
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 구동되거나 서로 독립적으로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 서로 연동되어 구동될 수 있다. 예를 들면, 상기 광각 카메라(110)와 망원 카메라(140)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)의 구동에 의하여 함께 구동될 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 광각 카메라(110)와 별도로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하므로 골프공을 놓치지 않고 보다 효율적이고 정확하게 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 화각이 상대적으로 크므로 티샷되는 골프공이 비정상적인 빠른 속도로 날아가거나 예측되지 않는 방향으로 날아가는 경우에도 골프공을 놓치지 않고 추적할 수 있다. 상기 망원 카메라(140)는 확대 촬영이 가능하므로 골프공과 배경의 색상이 유사한 경우에도 정확하게 골프공을 검출 또는 인식할 수 있다.
상기 카메라 모듈(100)은 골프장의 어느 하나의 홀 코스에서 티 박스의 관심 영역(Region of Interest)(a)을 촬영할 수 있는 소정 위치에 설치될 수 있다. 상기 카메라 모듈(100)은 티 박스의 관심 영역을 촬영할 수 있도록 촬영 방향과 촬영 배율등이 조정될 수 있다. 상기 카메라 모듈(100)은 홀 코스의 형태에 따라 관심 영역의 정면 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 관심 영역의 정면 방향과 소정의 예각을 이루는 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하여 관심 영역을 촬영할 수 있다.
여기서, 상기 관심 영역(a)은, 도 2에서 보는 바와 같이, 티 박스에서 티샷되는 골프공(b)이 날아가는 방향에 수직인 영역이며, 소정의 폭과 높이를 가지는 가상의 영역이다. 예를 들면, 상기 관심 영역은 티 박스의 전체 폭 또는 티박스에 설치되는 2 개의 티 마커(또는 티 블록)(c) 사이에서 지면으로부터 이격되는 하단선과 하단선으로부터 소정 높이에 위치하는 상단선에 의하여 정의되는 사각형상으로 정의될 수 있다. 상기 하단선은 골프 티 또는 골퍼의 키보다 높은 위치일 수 있다. 또한, 상기 상단선은 골프공이 날아가는 최대 높이보다 높은 위치일 수 있다. 상기 관심 영역은 티 박스에서 소정 거리로 전진된 위치에 설정될 수 있다. 상기 관심 영역은 티 박스의 고도와 페어웨이와의 배치 관계등을 고려하여 정해질 수 있다.
또한, 상기 카메라 모듈(100)은 홀 코스에서 티샷된 골프공이 착지되는 지면의 착지 영역(즉, 티샷시 골퍼들의 평균 비거리 또는 최대 비거리에 대응되는 영역)보다 티 박스로부터 더 먼 거리 또는 티박스와 착지 영역 사이의 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 티샷되는 골프공을 추적하면서 골프공의 비행 영상을 촬영할 수 있다.
상기 카메라 모듈(100)은, 도 3a 및 도 3b에서 보는 바와 같이, 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 카메라 모듈(100)은 2개로 설치되는 경우에, 2개의 카메라 모듈(100)이 설치 영역에서 페어웨이의 양측에 위치할 수 있다. 또한, 상기 카메라 모듈(100)은 설치 영역에 위치하는 메인 카메라 모듈(10)과 설치 영역과 티 박스 사이의 대략 중간에 위치하는 보조 카메라 모듈(10a)로 구분될 수 있다. 상기 메인 카메라 모듈(10)은 설치 영역에 설치되며, 보조 카메라 모듈(10a)은 티 박스와 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 홀 코스의 형태에 관계없이 골프공이 지면에 착지될 때까지 골프공을 추적할 수 있다.
상기 광각 카메라(110)는 일반적인 광각 카메라로 형성될 수 있다. 예를 들면, 상기 광각 카메라(110)는 초점 거리가 상대적으로 짧고 화각(Field of view)이 넓은 카메라를 의미할 수 있다. 상기 광각 카메라(110)는 보다 넓은 영역에 대하여 영상을 촬영하면서 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 설치 위치에 따라 초점 거리 및 화각이 변경될 수 있다. 상기 광각 카메라(110)는 1280 x 720 해상도, 1000m Field of view이 50m, 60FPS의 사양을 갖는 카메라로 형성될 수 있다.
상기 광각 카메라(110)는 소정의 광각 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 패닝 각도로 수평 방향으로 패닝될 수 있다. 상기 광각 카메라(110)의 광각 틸팅 각도는 -45 ∼ 60도일 수 있다. 또한, 상기 광각 카메라(110)의 광각 패닝 각도는 -165 ∼ 165도일 수 있다. 상기 광학 카메라는 광각 틸팅 모터(120) 및 광각 패닝 모터(130)에 의하여 틸팅되거나 패닝될 수 있다.
한편, 상기 광각 카메라(110)는 설치되는 홀 코스의 지형과 티 박스까지의 거리에 따라 상기의 범위에서 적정한 광각 틸팅 각도와 광각 패닝 각도로 운영되도록 형성될 수 있다.
상기 광각 카메라(110)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.
상기 광각 틸팅 모터(120)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 틸팅 모터(120)는 광각 카메라(110)와 결합되며, 광각 카메라(110)를 상하 방향으로 소정 각도로 회전시킬 수 있다. 상기 광각 틸팅 모터(120)는 별도의 프레임(미도시)에 의하여 광각 카메라(110)와 결합될 수 있다. 상기 광각 틸팅 모터(120)는 수평 축을 기준으로 소정의 광각 틸팅 각도로 광각 카메라(110)를 회전시킬 수 있다. 상기 광각 틸팅 각도는 수직 방향으로 -45 ∼ 60도일 수 있다.
상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.
상기 광각 패닝 모터(130)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)와 결합될 수 있다. 상기 광각 패닝 모터(130)는 별도의 프레임에 의하여 광각 카메라(110) 또는 광각 틸팅 모터(120)에 결합될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 광각 패닝 모터(130)가 광각 카메라(110)와 결합되는 경우에 광각 카메라(110)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 광각 패닝 모터(130)는 다시 광각 틸팅 모터(120)와 결합되며, 광각 틸팅 모터(120)에 의하여 광각 카메라(110)와 함께 소정의 광각 틸팅 각도로 회전될 수 있다. 또한, 상기 광각 패닝 모터(130)는 광각 틸팅 모터(120)와 결합되는 경우에 광각 틸팅 모터(120)와 광각 카메라(110)를 소정의 광각 틸팅 각도로 회전시킬 수 있다. 상기 광각 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.
상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어에 의하여 회전수 및 회전 시간이 제어될 수 있다.
상기 망원 카메라(140)는 일반적인 망원 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 초점 거리가 상대적으로 길고 화각이 좁은 카메라를 의미할 수 있다.
상기 망원 카메라(140)는 설치 영역과 티 박스 사이의 거리에 따라 적정한 초점 거리, 화소, 해상도 및 화각을 갖는 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 1280 x 720 해상도, 1000m 화각이 14m, 60FPS 의 사양을 갖는 카메라로 형성될 수 있다.
상기 망원 카메라(140)는 소정의 망원 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 망원 패닝 각도로 수평 방향으로 패닝될 수 있다. 또한, 상기 망원 카메라(140)는 광각 카메라(110)가 틸팅되거나 패닝될 때 함께 광각 틸팅 각도로 틸팅되거나 광각 패닝 각도로 패닝될 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)와 함께 광각 틸팅 각도 또는 광각 패닝 각도로 틸팅되거나 패닝된 후에 추가로 망원 틸팅 각도로 틸팅되거나 망원 패닝 각도로 패닝될 수 있다. 상기 망원 카메라(140)는 광각 카메라(110)와 독립적으로 틸팅되거나 패닝될 수 있다.
상기 망원 카메라(140)는 광각 카메라(110)와 대비하여 화각이 상대적으로 작으므로 골프공의 효율적인 추적을 위하여 추가로 망원 틸팅 각도로 틸팅될 수 있다. 상기 망원 카메라(140)의 망원 틸팅 각도는 -30 ∼ 50도일 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)의 광각 틸팅 각도에 추가하여 하부 방향으로 -30도, 상부 방향으로 +50도 만큼 더 틸팅될 수 있다. 또한, 상기 망원 카메라(140)의 망원 패닝 각도는 -165 ∼ 165도일 수 있다. 따라서, 상기 망원 카메라(140)는 망원 패닝 각도만큼 광각 카메라(110)보다 더 패닝될 수 있다.
상기 망원 카메라(140)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.
상기 망원 틸팅 모터(150)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 틸팅 모터(150)는 별도의 프레임(미도시)에 의하여 망원 카메라(140)와 결합될 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 각도는 수직 방향으로 -30 ∼ 50도일 수 있다.
상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.
상기 망원 패닝 모터(160)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 패닝 모터(160)는 별도의 프레임에 의하여 망원 카메라(140) 또는 망원 틸팅 모터(150)에 결합될 수 있다. 상기 망원 패닝 모터(160)는 망원 카메라(140) 또는 망원 틸팅 모터(150)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 망원 패닝 모터(160)가 망원 카메라(140)와 결합되는 경우에 망원 카메라(140)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 망원 패닝 모터(160)는 다시 망원 틸팅 모터(150)와 결합되며, 망원 틸팅 모터(150)에 의하여 망원 카메라(140)와 함께 소정의 망원 틸팅 각도로 회전될 수 있다. 또한, 상기 망원 패닝 모터(160)는 망원 틸팅 모터(150)와 결합되는 경우에 망원 틸팅 모터(150)와 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.
상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.
상기 카메라 제어 모듈(200)은 광각 카메라(110) 및 망원 카메라(140)와 유선 또는 무선으로 통신 가능하도록 연결되어 제어 신호를 송수신하고, 광각 카메라(110) 및 망원 카메라(140)에서 촬영되는 영상 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)와 전기적으로 연결되어 제어할 수 있다. 상기 카메라 제어 모듈(200)은 각 모터들의 회전 시간과 회전수를 제어할 수 있다. 따라서, 상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)가 틸팅되는 각도와 패닝되는 각도를 제어할 수 있다.
상가 카메라 제어 모듈(200)은 카메라 모듈(100)로부터 전송되는 촬영 영상에서 소정의 프레임 간격 또는 촬영 시각 간격(예를 들어 60FPS)으로 촬영된 적어도 2장의 영상 이미지를 선택할 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 골프공이 2장의 영상 이미지에서 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 카메라에 입사되는 광량 조건과 영상 처리에 소요되는 시간에 따라 다르게 결정될 수 있다. 또한, 상기 광량 조건과 카메라 화각은 카메라 설치 장소의 환경, 영상 이미지에 나타나는 골프공의 크기, 설치 티샷시의 골프공의 예상 비행 속도, 카메라에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 한편, 상기 카메라 제어 모듈(200)은 티샷 시작 신호를 전송한 후에 촬영된 초기 이미지를 추가로 선택할 수 있다.
상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)에서 촬영되는 영상 이미지로부터 티 박스에서 티샷되는 골프공을 검출할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 카메라 모듈(100)을 제어하여 검출된 골프공을 추적할 수 있다. 즉, 상가 카메라 제어 모듈(200)은 골프공이 티샷부터 지면에 착지될 때까지 카메라 모듈(100)에서 촬영되는 영상 이미지에서 골프공을 인식하고 추적하여 카메라 모듈(100)이 골프공의 영상을 촬영하도록 할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 지면에 착지되는 골프공의 착지 영상을 생성할 수 있다.
또한, 상기 카메라 제어 모듈(200)은 중앙 서버(300)와 인터넷 또는 통신망을 통하여 연결되어 골프공 추적 방법의 제반 절차를 수행하는데 필요한 정보를 송수신할 수 있다. 예를 들면, 상기 카메라 제어 모듈(200)은 골프공의 추적을 위하여 필요한 제반 정보를 송수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골프 라운딩을 진행하는 수신 단말기(400)의 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골퍼가 티샷하는 골프공의 착지 영상 또는 골프공의 비행 영상을 중앙 서버(300)로 전송할 수 있다.
상기 중앙 서버(300)는 골프공 추적 정보와 골프공 착지 정보를 제공하기 위하여 필요한 정보를 저장하고, 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 인터넷 또는 별도의 통신망을 통하여 연동될 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)에 필요한 정보를 제공할 수 있다. 예를 들면, 상기 중앙 서버(300)는 골퍼의 수신 단말기 정보를 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)로부터 골프공 착지 영상 또는 골프공 비행 영상을 수신할 수 있다.
상기 중앙 서버(300)는 수신 단말기(400)와 인터넷 또는 별도의 통신망을 이용하여 연결될 수 있다. 또한, 상기 중앙 서버(300)는 골퍼가 골프 라운딩을 진행하는 홀 코스에서 생성되는 골프공 착지 영상 또는 골프공 비행 영상을 수신 단말기(400)로 전송할 수 있다.
상기 수신 단말기(400)는 중앙 서버(300) 또는 카메라 제어 모듈(200)과 연동되며, 골프공 착지 이미지 또는 골프공 비행 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공 추적 방법의 실시에 필요한 골퍼 또는 캐디의 정보를 중앙 서버(300)로 전송할 수 있다.
상기 수신 단말기(400)는 골퍼가 소지하고 있는 개인 단말기 또는 캐디가 운영하는 카트에 장착되는 캐디 단말기일 수 있다. 또한, 상기 수신 단말기(400)는 중앙 서버(300)와 접속이 가능한 다양한 단말기일 수 있다. 상기 수신 단말기(400)는 근거리 통신인 와이파이 또는 무선 통신인 4G, 5G에 의하여 통신이 가능한 다양한 단말기일 수 있다.
상기 수신 단말기(400)는 티샷에 대한 트리거 신호를 중앙 서버(300) 또는 카메라 제어 모듈(200)로 전송할 수 있다. 상기 중앙 서버(300) 또는 카메라 제어 모듈(200)은 트리거 신호를 수신하고 카메라 모듈(100)에 촬영 시작 신호를 전송할 수 있다. 상기 카메라 모듈(100)은 카메라 제어 모듈(200)로부터 촬영 시작에 대한 신호를 수신하여 촬영을 진행할 수 있다.
상기 수신 단말기(400)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 통하여 연결될 수 있다. 상기 수신 단말기(400)는 골퍼의 골프 라운딩중에 중앙 서버(300)로부터 골프공의 착지 이미지 또는 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공의 비행 영상을 수신할 수 있다. 따라서, 상기 골퍼는 골프공이 착지된 위치를 확인할 수 있다.
또한, 상기 골프공 추적 시스템이 로컬 서버(500)를 구비하는 경우에 수신 단말기(400)는 로컬 서버(500)에 접속하여 골프공의 착지 영상 또는 이미지를 제공받을 수 있다. 이때, 상기 수신 단말기(400)는 골프장의 관리자가 사용하는 관리자용 단말기일 수 있다. 또한, 상기 카메라 제어 모듈(200)이 골프공의 비행 영상을 근거리 통신망들을 이용하여 제공하는 경우에, 수신 단말기(400)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 착지 이미지를 제공받을 수 있다.
상기 로컬 서버(500)는 특정 골프장에 설치되는 서버일 수 있다. 상기 로컬 서버(500)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 이용하여 접속할 수 있다. 상기 로컬 서버(500)는 해당 골프장에 설치되어 있는 카메라 제어 모듈(200)과 접속할 수 있다. 따라서, 상기 로컬 서버(500)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 골프공의 비행 영상을 수신할 수 있다.
또한, 상기 로컬 서버(500)는 해당 골프장을 방문하여 골프 라운딩을 진행하는 골퍼의 수신 단말기(400)와 접속할 수 있다. 상기 로컬 서버(500)는 수신 단말기(400)로 골퍼가 티샷한 골프공의 착지 영상 또는 골프공의 비행 영상을 송신할 수 있다.
다음은 본 발명의 일 실시예에 따른 골프공 추적 방법에 대하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.
본 발명의 골프공 추적 방법은, 도 4 내지 도 8b를 참조하면, 카메라 영상 촬영 단계(S10)와, 영상 이미지 선택 단계(S20)와, 식별 이미지 생성 단계(S30)와, 골프공 검출 단계(S40)와, 골프공 색상값 결정 단계(S50)와, 골프공 추적 단계(S60) 및 골프공 착지 확인 단계(S70)를 포함할 수 있다. 또한, 상기 골프공 추적 방법은 골프공 락온 단계(S42)와 클러터 리젝션 단계(S44)를 더 포함할 수 있다. 상기 골프공 추적 방법은 골프공 비행 영상 생성 단계(S80) 및 골프공 비행 영상 제공 단계(S90)를 더 포함할 수 있다.
상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공이 티샷부터 지면에 착지될 때까지 골프공을 추적하여 골프공이 지면에 착지되는 착지 위치를 제공할 수 있다. 또한, 상기 골프공 추적 방법 및 시스템은 광각 카메라(110)와 망원 카메라(140)에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다. 이하의 설명에서 상기 광각 카메라(110)와 망원 카메라(140)에 대하여 동시에 적용되거나 함께 사용하는 경우에 광각 카메라(110)와 망원 카메라(140)를 카메라로 언급할 수 있다.
상기 골프공 추적 방법은 도 1에 따른 골프공 추적 시스템을 이용하여 진행될 수 있다. 즉, 상기 골프공 추적 방법은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)을 포함하는 시스템에 의하여 진행될 수 있다. 한편, 상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 포함하는 다양한 시스템에 의하여 진행될 수 있다.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 단계이다. 여기서, 상기 티샷 영상은 골퍼가 골프공을 티샷하는 시각을 기준으로 전후 소정의 촬영 시간동안 촬영된 영상을 의미할 수 있다. 즉, 상기 티샷 영상은 골퍼가 티샷하는 시각을 포함하는 촬영 시간동안 관심 영역을 촬영한 영상일 수 있다.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 전송되는 별도의 트리거 신호에 의하여 시작될 수 있다. 상기 트리거 신호는 캐디가 소지하고 있는 캐디 단말기 또는 골퍼가 소지하고 있는 골퍼 단말기와 같은 수신 단말기(400)에 의하여 광각 카메라(110)와 망원 카메라(140)로 전송될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 별도의 트리거 신호 없이도 진행될 수 있다. 예를 들면, 적어도 2명의 골퍼가 한 팀을 이루어 라운딩을 진행하며, 먼저 한 명의 골퍼가 티샷을 하고 다음에 다른 한 명의 골퍼가 연속적으로 티샷을 진행하는 것이 확실한 경우에 다른 한 명의 골퍼에 대하여는 별도의 트리거 신호를 수신하지 않고도 카메라 영상 촬영 단계(S10)를 시작할 수 있다. 즉, 상기 카메라 영상 촬영 단계(S10)는 한 팀에서 처음 골퍼가 티샷할 때만 트리거 신호를 수신하며, 다음 골퍼부터는 트리거 신호를 수신하지 않고도 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 소정의 시간 전부터 진행될 수 있다. 예를 들면, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 수초 전부터 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티박스에서 티샷을 준비하는 때부터 진행될 수 있다.
상기 관심 영역은 정상적으로 티삿된 골프공이 날아가는 영역을 포함하는 영역이다. 상기 관심 영역은, 도 2에 도시된 바와 같이, 티 박스에서 티샷되는 골프공이 날아가는 방향과 지면에 대하여 수직으로 설정되는 영역이다.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)의 성능과 특성에 대응되는 적정한 프레임과 해상도로 촬영할 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 관심 영역의 정면에서 관심 영역을 촬영할 수 있도록 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)가 각각 복수 개로 설치되는 경우에, 티박스에서 가장 가깝게 설치되는 광각 카메라(110)와 망원 카메라(140)가 관심 영역을 촬영하도록 설치될 수 있다.
상기 영상 이미지 선택 단계(S20)는 설정되는 이미지 시간 간격으로 티샷 영상에서 적어도 2장의 영상 이미지를 선택하는 단계이다. 즉, 상기 영상 이미지는, 도 5a와 도 5b에서 보는 바와 같이, 티샷 영상에서 정해진 프레임 간격 또는 시간 간격으로 선택되는 이미지일 수 있다. 상기 영상 이미지는 티샷 전후의 시각에서 프레임 간격으로 촬영된 적어도 2장의 영상 이미지일 수 있다. 또한, 상기 영상 이미지는 바람직하게는 티샷 후에 프레임 간격으로 촬영된 적어도 2장의 이미지일 수 있다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 예를 들면, 상기 도 5a와 도 5b는 1.06초와 1.13초에 각각 촬영된 영상 이미지일 수 있다. 상기 이미지 시간 간격은 소정의 프레임 간격 또는 촬영 시간 간격으로 설정될 수 있다. 상기 이미지 시간 간격은 10~60 프레임 또는 0.1~1초로 설정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 2장의 영상 이미지에서 골프공이 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 티 박스와 페어웨이의 배치가 다른 홀 마다 다르게 결정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 티샷시의 골프공의 예상 비행 속도, 카메라 모듈(100)에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 상기 영상 이미지는 컬러 이미지일 수 있다.
상기 식별 이미지 생성 단계(S30)는 선택된 적어도 2개의 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 단계이다. 상기 식별 이미지 생성 단계(S30)는 적어도 2장의 영상 이미지를 그레이 이미지로 변환시킬 수 있다. 다음으로, 상기 식별 이미지 생성 단계(S30)는 2장의 그레이 이미지의 색상값 차이를 산출하고 산출된 색상값을 반영하여 식별 이미지를 생성할 수 있다. 여기서, 상기 영상 이미지는 상기에서 언급한 바와 같이 컬러 이미지일 수 있다. 따라서, 상기 영상 이미지는 각각의 화소가 RGB 값을 화소에 대한 색상값으로 가질 수 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지는 이미지일 수 있다. 상기 그레이 이미지는 영상 이미지의 RGB값에 따른 그레이 스케일의 색상값을 가질 수 있다. 또한, 상기 식별 이미지는 2가지 색으로만 이루어진 이미지일 수 있다. 상기 식별 이미지는 2장의 그레이 이미지의 색상값 차이에 의하여 생성되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 검은색과 흰색만으로 이루어진 이미지를 의미할 수 있다. 상기 식별 이미지는 각각의 화소가 0 또는 255를 색상값으로 가질 수 있다. 상기 식별 이미지는 골프공과 배경이 다른 색으로 표시되어 골프공이 용이하게 식별되도록 하는 이미지일 수 있다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환한 예시적인 그레이 이미지이다.
상기 식별 이미지 생성 단계(S30)는 그레이 이미지 생성 과정과 색상값 차이 산출 과정 및 식별 이미지 생성 과정을 포함할 수 있다.
상기 그레이 이미지 생성 과정은 적어도 2개의 영상 이미지를 그레이 이미지로 변환시키는 과정이다. 상기 적어도 2개의 영상 이미지는 상기에서 언급한 바와 같이 시간적으로 소정의 이미지 시간 간격으로 촬영된 이미지일 수 있다. 따라서, 상기 그레이 이미지는 상대적으로 가장 먼저 촬영된 영상 이미지로부터 변환되는 제 1 그레이 이미지와 다음 이미지 시간 간격으로 촬영된 영상 이미지로부터 변환되는 제 2 그레이 이미지를 포함할 수 있다. 상기 그레이 이미지는 N 개로 생성되는 경우에 가장 나중에 촬영된 영상 이미지로부터 변환되는 제 N 그레이 이미지를 포함할 수 있다.
상기 영상 이미지는 상기에서 언급한 바와 같이 각각의 화소가 RGB값을 화소에 대한 색상값으로 가지고 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지게 된다. 상기 그레이 이미지는 컬러 이미지를 그레이 이미지로 변환시키는 일반적으로 과정에 의하여 변환될 수 있다.
상기 색상값 차이 산출 과정은 2개의 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 과정이다. 상기 색상값 차이 산출 과정은 바람직하게는 상대적으로 늦게 촬영된 영상 이미지가 변환되는 제 2 그레이 이미지에서 제 1 그레이 이미지의 색상값을 빼서 색상값 차이를 산출할 수 있다. 상기 제 2 그레이 이미지는 시간상으로 보면 가장 최근의 골프공의 위치를 포함하므로 제 2 그레이 이미지를 기준으로 제 1 그레이 이미지와의 차이를 산출하는 것이 골프공의 위치를 추적하는데 유리할 수 있다. 한편, 상기 그레이 이미지가 N개로 이루어지는 경우에 제 N 그레이 이미지를 기준으로 색상값 차이를 산출할 수 있다. 상기 색상값 차이 산출 과정에 의하여 제 2 그레이 이미지의 각 화소에 대응되는 색상값 차이가 산출될 수 있다.
상기 영상 이미지는 고정된 광각 카메라(110) 또는 망원 카메라(140)로 티샷을 진행하는 짧은 시간에 촬영한 영상으로부터 추출된 이미지이다. 상기 영상 이미지들은 티박스를 찍은 이미지이므로 이동하는 물체인 골프공과 이동하지 않는 배경을 포함한다. 한편, 상기 영상 이미지들은 드물게 새 또는 나뭇잎과 같은 이동하는 물체가 포함될 수 있다.
따라서, 상기 영상 이미지들을 대비하면, 골프공이 위치하는 영역들을 제외하고는 색상값에 변화가 없게 된다. 또한, 상기 그레이 이미지도 골프공이 위치하는 영역들을 제외하고는 그레이 스케일의 색상값이 거의 동일하게 된다. 따라서, 상기 2개의 그레이 이미지의 색상값의 차이를 산출하게 되면, 골프공이 위치하는 영역을 제외한 영역은 색상값의 차이가 거의 없게 되며, 골프공이 위치하는 영역만 색상값 차이가 발생될 수 있다. 상기 골프공이 위치하는 영역의 색상값의 차이는 골프공의 색상과 골프공이 지나가는 영역의 배경의 색상의 차이에 따라 결정될 수 있다.
상기 식별 이미지 생성 과정은 각 화소별로 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색으로 표시하여 식별 이미지를 생성하는 과정이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 상기 흰색의 색상값은 255이며, 검은색의 색상값은 0일 수 있다. 상기 식별 이미지는 각 화소가 가지는 색상값이 0 또는 255이며, 흑백 이미지로 형성될 수 있다. 예를 들면, 상기 식별 기준값이 100인 경우에 색상값 차이가 100보다 큰 화소는 색상값으로 255를 할당하고, 색상값 차이가 100보다 작은 화소는 색상값으로 0을 할당할 수 있다. 따라서, 상기 식별 이미지는 흰색 영역과 검은색 영역만을 포함하는 이미지로 형성될 수 있다. 상기 식별 이미지에서 골프공이 위치하는 영역은 흰색에 대응되는 색상값이 할당되고, 배경이 위치하는 영역은 검은색에 대응되는 색상값이 할당될 수 있다.
상기 식별 이미지는 골프공이 위치하는 영역이 흰색으로 표시되고, 나머지가 검은색으로 표시되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 골프공과 배경을 보다 정확하고 효율적으로 구별할 수 있도록 해준다. 상기 식별 이미지에서 골프공이 위치하는 영역은 원형일 수 있으며, 영상 이미지에서 골프공의 크기에 대응되는 면적일 수 있다.
상기 골프공 검출 단계(S40)는 식별 이미지에서 흰색으로 표시되는 영역을 골프공으로 검출하는 단계이다. 상기 식별 이미지는 상기에서 언급한 바와 같이 골프공이 위치하는 영역이 흰색으로 형성되고, 배경이 위치하는 영역이 검은색으로 표시될 수 있다. 따라서, 상기 골프공 검출 단계(S40)는 흰색 영역을 골프공 이미지로 검출할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 흰색 영역의 중심에서 흰색 영역의 전체 면적보다 작은 면적을 갖는 영역으로 검출할 수 있다.
상기 흰색 영역은 식별 이미지에서 완전한 원형으로 형성되지 않을 수 있으며, 타원 형상, 사각 형상 또는 부정형 형상으로 형성될 수 있다. 따라서, 상기 골프공은 흰색 영역에서 완전한 원형 또는 정사각형 형상에 대응되는 영역으로 검출할 수 있다. 이러한 경우에, 상기 골프공은 흰색 영역보다 작은 면적으로 검출될 수 있으며, 영상 이미지의 골프공보다 작은 면적으로 검출될 수 있다. 상기 골프공 검출 단계(S40)는 골프공을 식별 이미지에서 좌표와 면적으로 설정할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 골프공 이미지의 무게 중심(Center of Mass)을 계산하여 영상 이미지에서의 좌표(x 및 y 좌표)로 산출할 수 있다.
상기 골프공 락온 단계(S42)는 식별 이미지에서 골프공이 아닌 물체를 제거하는 단계이다. 즉, 상기 골프공 락온 단계(S42)는 식별 이미지에서 흰색 영역이 복수 개로 존재하는 경우에 골프공이 위치하는 흰색 영역이 아닌 흰색 영역을 제거할 수 있다. 예를 들면, 상기 골프공이 위치하지 않는 흰색 영역은 검은색의 색상값을 할당할 수 있다. 상기 영상 이미지는 상기에서 언급한 바와 같이 골프공과 함께 낙엽 또는 새와 같은 물체가 포함될 수 있다. 이러한 경우에 상기 골프공 검출 단계(S40)에서는 복수 개의 골프공이 있는 것으로 인식할 수 있다. 상기 골프공 락온 단계(S42)는 골프공 검출 단계(S40) 이전에 진행될 수 있다. 또한, 상기 골프공 락온 단계(S42)는 검출된 골프공이 실제 골프공인지 확인할 수 있다.
상기 골프공 락온 단계(S42)는 흰색 영역의 면적과 형상, 흰색 영역의 이동 속도 또는 이동 거리를 고려하여 골프공이 아닌 물체에 의한 흰색 영역을 분리하는 할 수 있다. 여기서 상기 흰색 영역의 이동 속도는 제 1 그레이 이미지와 제 2 그레이 이미지에서 흰색 영역에 대응되는 각각의 위치 사이의 거리와 제 1 그레이 이미지와 제 2 그레이 이미지 사이의 이미지 시간 간격을 사용하여 산출할 수 있다. 상기 골프공의 이동 속도 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 또한, 상기 흰색 영역의 이동 거리는 골프공의 이동 속도와 이미지 시간 간격을 이용하여 산출할 수 있다. 상기 골프공의 이동 거리 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 상기 골프공 락온 단계(S42)는 골프공에 의한 흰색 영역을 특정하여 골프공을 검출할 수 있다.
상기 클러터 리젝션 단계(S44)는 식별 이미지에서 배경에 의한 클러터를 제거하는 단계이다. 여기서, 상기 클러터는 식별 이미지에서 배경등에 의하여 골프공과 동일하게 흰색 영역으로 표시되는 것을 의미할 수 있다. 상기 영상 이미지는 광각 카메라(110)와 망원 카메라(140)가 골프공을 따라 이동하면서 촬영한 영상이므로, 영상 이미지에서 골프공과 함께 배경도 이동하는 물체처럼 나타날 수 있다. 따라서, 상기 영상 이미지들은 골프공과 함께 배경에 의하여 화소별 색상에서 서로 차이가 날 수 있다. 또한, 상기 식별 이미지에서 골프공과 함께 배경의 일부가 흰색 영역으로 표시되어 골프공에 대한 클러터(잡음)를 발생시킬 수 있다.
상기 골프공 검출 단계(S40)는 광각 카메라(110)와 망원 카메라(140)에서 촬영한 적어도 2개의 영상 이미지에 의하여 생성되는 식별 이미지를 이용하여 골프공을 검출하게 되므로, 배경에 의한 흰색 영역에 의하여 골프공을 검출하는데 영향을 받을 수 있다. 상기 배경은 그레이 이미지들에서 그레이 스케일의 색상값 차이가 골프공보다 크지 않으므로 식별 이미지 생성 단계(S30)에서 상당 부분 제거될 수 있다. 따라서, 상기 클러터 리젝션 단계(S44)는 주로 배경에 의하여 흰색 영역으로 표시되는 클러터(잡음)을 제거할 수 있다. 또한, 상기 클러터 리젝션 단계(S44)는 골프공과 근접한 거리에 있는 클러터보다 골프공과 원거리에 있는 클러터를 제거할 수 있다. 또한, 상기 골프공과 근접한 클러터는 골프공의 위치 계산에 주는 영향이 작지만, 골프공과 원거리에 위치한 클러터는 골프공의 위치 계산에 오차를 줄 수 있으므로 제거할 필요가 있다.
상기 클러터 리젝션 단계(S44)는 식별 이미지에서 생성되는 흰색 영역에 대하여 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘을 적용하여 진행될 수 있다. 상기 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘은 영상 이미지에서 물체나 특정 영역을 인식할 때 일반적으로 사용되는 알고리즘이므로 여기서 구체적인 설명을 생략한다.
상기 골프공 색상값 결정 단계(S50)는 식별 이미지에서 검출된 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 단계이다. 상기 골프공 색상값은 영상 이미지에서 해당 위치를 형성하는 화소의 RGB값으로 결정될 수 있다. 상기 골프공은 야외에서 사용되므로 날씨, 햇빛 정도등의 광 조건에 따라 색상이 변화할 수 있다. 상기 골프공의 색상은 광 조건에 따라 변하지만 사람이 볼 때 그 변화가 적은 것으로 인지될 수 있다. 그러나, 상기 골프공의 색상은 영상 이미지에서 코드화된 값을 가지며, 조명 조건에 따라 함께 변하게 된다. 상기 골프공 색상값은 이후에 진행되는 골프공 추적 단계(S60)에서 사용될 수 있다. 상기 골프공 색상값은 화소의 색상값을 기준으로 상한치와 하한치를 포함하는 범위로 정해질 수 있다. 예를 들면, 상기 골프공 색상값 범위는 화소의 색상값을 기준으로 +10%를 상한치로 하고 -10%를 하한치로 결정될 수 있다.
상기 골프공 추적 단계(S60)는 골프공 색상값을 이용하여 광각 카메라(110)와 망원 카메라(140)가 촬영한 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 광각 카메라(110)와 망원 카메라(140)를 제어하면서 골프공을 추적하는 단계이다. 상기 골프공 추적 단계(S60)는 골프공의 색상값을 이용하여 영상 이미지를 이진화 이미지로 변환시켜 골프공을 보다 용이하게 인식하도록 할 수 있다.
상기 골프공은 티샷 후에 지속적으로 비행하므로 순차적으로 촬영되는 영상 이미지에서 중앙으로부터 외곽 방향으로 이동할 수 있다. 따라서, 상기 광각 카메라(110)와 망원 카메라(140)는 골프공이 영상 이미지의 중앙에 위치하도록 제어되는 경우에 골프공을 놓치지 않고 추적할 수 있다. 상기 골프공이 영상 이미지의 중앙에 위치되도록 하면 광각 카메라(110)와 망원 카메라(140)가 골프공을 추적할 때 골프공이 광각 카메라(110)로부터 벗어날 확률을 감소시킬 수 있다. 상기 골프공 추적 단계(S60)는 골프공을 연속적으로 영상 이미지의 중앙에 위치시킴으로써 보다 효율적으로 골프공을 추적할 수 있도록 할 수 있다.
상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 동시에 활용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 상호 보완적으로 사용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 망원 카메라(140) 또는 망원 카메라(140)가 골프공을 놓쳤을 때, 망원 카메라(140)와 망원 카메라(140)를 연동시키면서 광각 카메라(110)와 망원 카메라(140)가 골프공을 놓치지 않고 추적하도록 할 수 있다. 예를 들면, 상기 망원 카메라(140)가 골프공을 놓치는 경우(골프공이 바위 또는 나무등에 맞아 튀는 때와 같이 비정상적으로 빠른 게 움직인 경우)에 광각 카메라(110)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 망원 카메라(140)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다. 또한, 상기 광각 카메라(110)가 골프공을 놓치는 경우(골프공이 하늘로 올라가고 하늘에 구름이 있어 골프공과 색상 구별이 어려운 경우)에 망원 카메라(140)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 광각 카메라(110)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다.
상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 포함할 수 있다. 또한, 상기 골프공 추적 단계(S60)는 검색 관심 영역 설정 과정을 더 포함할 수 있다. 상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 추적할 수 있다.
상기 이미지 이진화 과정은 영상 이미지를 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 과정이다. 상기 골프공 색상값은 상기에서 설명한 바와 같이 소정 범위를 갖는 색상값일 수 있다. 상기 이진화 이미지는 골프공 영역을 흰색으로 나타내고, 배경 영역을 검은색으로 나타낼 수 있다. 따라서, 상기 이미지 이진화 과정은 영상 이미지에서 골프공의 색상을 제외한 색상을 모두 제거할 수 있다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다. 도 8a와 도 8b를 참조하면, 골프공은 2장의 이진화 이미지에서 위치가 비행 방향으로 변동되는 것을 확인할 수 있다.
상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공 영역을 포함하는 영역을 검색 관심 영역으로 설정하는 과정이다. 상기 검색 관심 영역은 이진화 이미지에서 골프공을 검색하기 위한 영역을 의미할 수 있다. 상기 골프공은 계속 비행하고 있는 상태이므로 골프공을 인식하기 위하여 검색해야 하는 영역이 계속 변하게 된다. 상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공을 인식하기 위하여 검색하는 검색 관심 영역을 설정하는 과정이다. 상기 검색 관심 영역 설정 과정은 이진화 이미지의 전체 면적보다 상대적으로 작은 면적으로 검색 관심 영역을 설정할 수 있다. 상기 검색 관심 영역은 이진화 이미지에서 골프공 영역을 포함하는 면적으로 형성될 수 있다. 예를 들면, 상기 검색 관심 영역은 골프공 영역의 최대폭에 +500%가 증가된 폭과 골프공 영역의 최대 높이에 +500%가 증가된 높이로 설정될 수 있다. 상기 골프공 영역이 대략 원형인 경우에 골프공 영역의 최대폭은 직경일 수 있다. 또한, 상기 골프공 영역이 부정형 형상인 경우에, 골프공 영역의 최대폭은 수평 방향으로 연장되는 선들중에서 가장 길이가 긴 선의 길이일 수 있다. 상기 검색 관심 영역 설정 과정은 골프공 인식 과정에서 검색해야 하는 영역을 감소시켜서 골프공 인식을 위한 연산 속도를 증대시키고 클러터에 의한 영향을 감소시킬 수 있다.
상기 골프공 인식 과정은 이진화 이미지에서 골프공을 인식하여 골프공의 위치를 결정하는 과정이다. 상기 골프공 인식 과정은 이진화 이미지를 스캔하면서 골프공 영역인 흰색 영역을 인식할 수 있다. 이때, 상기 골프공 인식 과정은 이진화 이미지의 전체 또는 이진화 이미지에 설정된 검색 관심 영역을 스캔할 수 있다. 또한, 상기 골프공 인식 과정은 인식된 골프공의 위치를 이진화 이미지에서 결정할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 인식된 골프공 이미지의 무게 중심을 계산하여 산출할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 x축과 y축에 대한 좌표값(x, y)으로 설정할 수 있다.
상기 골프공 위치 변경 과정은 인식된 골프공의 위치가 이진화 이미지에서 중앙에 오도록 광각 카메라(110)와 망원 카메라(140)의 방향을 이동시키는 과정이다. 상기 골프공 위치 변경 과정은 광각 카메라(110)와 망원 카메라(140)를 제어하여 골프공의 산출된 위치가 이진화 이미지에서 중앙에 오도록 진행될 수 있다. 즉, 상기 골프공 위치 변경 과정은 골프공이 이진화 이미지에서 중앙에 위치하도록 광각 카메라(110)와 망원 카메라(140)를 제어하여 회전시키게 된다. 이때, 상기 광각 카메라(110)와 망원 카메라(140)는 수평 방향과 상하 방향으로 회전할 수 있다.
상기 골프공 추적 단계(S60)는 상기에서 언급한 바와 같이 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 연속적으로 추적할 수 있다. 상기 골프공 추적 단계(S60)는 하나의 영상 이미지에 대하여 골프공 위치 변경 과정이 완료되면 다시 새로운 영상 이미지에 대하여 이미지 이진화 과정과 골프공 인식 과정 및 골프공 위치 변경 과정을 진행할 수 있다. 또한, 상기 검색 관심 영역은 현재 이미지 이진화 과정이 진행되는 영상 이미지보다 전의 영상 이미지에서의 검색 관심 영역과 골프공의 이동 방향 및 이동 속도를 반영한 영역으로 설정될 수 있다. 예를 들면, 상기 골프공의 이동 방향과 이동 속도는 이전의 골프공 추적 단계(S60)들에서 골프공의 이동 방향과 이동 거리를 반영하여 산출될 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)의 회전 각도를 통하여 지면에서 바라보았을 때의 골프공의 궤적을 도출할 수 있다.
상기 골프공 착지 확인 단계(S70)는 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 골프공을 포함하는 착지 이미지를 생성하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)가 진행되면서 이진화 이미지에서 골프공이 인식되는지 여부를 확인하는 단계이다. 보다 구체적으로는 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)의 골프공 인식 과정에서 골프공이 인식되는지 여부를 확인하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 인식 과정이 일정 회수 반복되지 않으면 골프공의 이동이 없는 것으로 판단하여 골프공이 착지된 것으로 간주할 수 있다. 상기 골프공 착지 확인 단계(S70)는 지면에 착지된 골프공의 착지 이미지를 생성할 수 있다. 상기 착지 이미지는 착지된 골프공과 주위 배경을 포함하는 이미지일 수 있다. 또한, 상기 골프공 착지 확인 단계(S70)는 착지 영상을 생성할 수 있다.
또한, 상기 골프공 착지 확인 단계(S70)는 골프공의 착지가 확인되면 착지된 골프공이 포함된 착지 영상 이미지를 수신 단말기(400)로 전송하여 골프공이 착지된 위치를 확인할 수 있도록 한다. 상기 수신 단말기(400)는 수신된 착지 영상 이미지를 표시하여 캐디 또는 골퍼가 골프공이 착지된 위치를 확인할 수 있도록 한다.
상기 골프공 비행 영상 생성 단계(S80)는 카메라 영상 촬영 단계(S10)부터 골프공 착지 확인 단계(S70)까지 광각 카메라(110) 또는/및 망원 카메라(140)로 촬영되는 영상들로 비행 동영상을 생성하는 단계이다. 본 발명의 골프공 추적 방법은 각 단계의 수행을 위하여 카메라 영상 촬영 단계(S10)부터 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공 비행 영상을 촬영하며 저장할 수 있다. 따라서, 상기 골프공 비행 영상 생성 단계(S80)는 하나의 티샷된 골프공에 대하여 저장된 영상을 분리하여 비행 동영상으로 생성할 수 있다. 상기 골프공 비행 영상 생성 단계(S80)는 골프공 착지 확인 단계(S70)가 완료된 후에 진행될 수 있다. 상기 비행 동영상은 골프공이 비행하는 영상과 착지하는 영상을 포함할 수 있다.
상기 골프공 비행 영상 전송 단계(S90)는 골프공 비행 영상 생성 단계(80)에서 생성된 골프공 비행 영상을 수신 단말기(400)로 전송하는 단계이다. 상기 골프공 비행 영상은 광각 카메라(110)에 의한 비행 동영상 또는 망원 카메라(140)에 의한 비행 동영상일 수 있다. 상기 골프공 비행 영상은 중앙 서버(300)에 의하여 수신 단말기(400)로 전송될 수 있다.
이상에서 설명한 것은 본 발명에 따른 골프공 추적 방법 및 이를 위한 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
100: 카메라 모듈 110: 광각 카메라
120: 광각 틸팅 모터 130: 광각 패닝 모터
140: 망원 카메라 150: 망원 틸팅 모터
160: 망원 패닝 모터 200: 카메라 제어 모듈
300: 중앙 서버 400: 골퍼 단말기
500: 로컬 서버

Claims (8)

  1. 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와,
    상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와,
    선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와,
    상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와,
    상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와,
    상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및
    상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하며,
    상기 식별 이미지 생성 단계는
    적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과,
    2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및
    각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.
  4. 제 1 항에 있어서,
    상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.
  5. 제 1 항에 있어서,
    상기 골프공 추적 단계는
    상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과,
    상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및
    인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.
  6. 제 1 항에 있어서,
    상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및
    상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.
  7. 제 1 항에 있어서,
    상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적하는 것을 특징으로 하는 골프공 추적 방법.
  8. 광각 카메라와 망원 카메라를 포함하며, 골프공의 비행 영상을 촬영하는 카메라 모듈과,
    상기 카메라 모듈을 제어하는 카메라 제어 모듈과,
    상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및
    상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 제 1 항에 따른 골프공 추적 방법을 수행하는 골프공 추적 시스템.
KR1020210070694A 2021-06-01 2021-06-01 골프공 추적 방법 및 이를 위한 시스템 KR102578232B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210070694A KR102578232B1 (ko) 2021-06-01 2021-06-01 골프공 추적 방법 및 이를 위한 시스템
KR1020230117907A KR102621864B1 (ko) 2021-06-01 2023-09-05 골프공 추적 방법 및 이를 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210070694A KR102578232B1 (ko) 2021-06-01 2021-06-01 골프공 추적 방법 및 이를 위한 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230117907A Division KR102621864B1 (ko) 2021-06-01 2023-09-05 골프공 추적 방법 및 이를 위한 시스템

Publications (2)

Publication Number Publication Date
KR20220162909A KR20220162909A (ko) 2022-12-09
KR102578232B1 true KR102578232B1 (ko) 2023-09-15

Family

ID=84440287

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210070694A KR102578232B1 (ko) 2021-06-01 2021-06-01 골프공 추적 방법 및 이를 위한 시스템
KR1020230117907A KR102621864B1 (ko) 2021-06-01 2023-09-05 골프공 추적 방법 및 이를 위한 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230117907A KR102621864B1 (ko) 2021-06-01 2023-09-05 골프공 추적 방법 및 이를 위한 시스템

Country Status (1)

Country Link
KR (2) KR102578232B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116666A (ja) * 2005-09-20 2007-05-10 Fujinon Corp 監視カメラ装置及び監視カメラシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180106075A (ko) * 2017-03-17 2018-10-01 공현식 골프 카트에 설치된 ptz 카메라와 골프공 인식 기능을 이용한 거리 및 경사도를 포함한 실시간 골프경기정보 제공시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116666A (ja) * 2005-09-20 2007-05-10 Fujinon Corp 監視カメラ装置及び監視カメラシステム

Also Published As

Publication number Publication date
KR102621864B1 (ko) 2024-01-09
KR20220162909A (ko) 2022-12-09
KR20230134104A (ko) 2023-09-20

Similar Documents

Publication Publication Date Title
EP3393608B1 (en) Planar solutions to object-tracking problems
KR102290932B1 (ko) 레이더 데이터 및 이미지화기 데이터를 사용하여 물체를 추적하기 위한 디바이스, 시스템, 및 방법
JP6911762B2 (ja) 飛行装置、移動装置およびプログラム
US7292711B2 (en) Flight parameter measurement system
US7324663B2 (en) Flight parameter measurement system
AU2018404876B2 (en) Golf ball tracking system
CN113168704B (zh) 用于练习场击球运行路径特征的系统和方法
JP2001521403A (ja) ゴルフ練習場距離判定装置および方法
CN103106404A (zh) 设备、方法和系统
CN108473201B (zh) 无人飞行器退避系统、无人飞行器退避方法和记录介质
JP2005529339A (ja) 飛行パラメータ測定システム
US20230237747A1 (en) Registration for augmented reality system for viewing an event
CN103100204B (zh) 方法、设备以及程序
CN103106654A (zh) 设备、方法和系统
US11880953B2 (en) Augmented reality system for viewing an event with distributed computing
US20230237748A1 (en) Augmented reality system for viewing an event with mode based on crowd sourced images
US11077351B2 (en) Measurement and reconstruction of the golf launching scene in 3D
KR102621864B1 (ko) 골프공 추적 방법 및 이를 위한 시스템
US20230118280A1 (en) Use of multiple registrations for augmented reality system for viewing an event
JP3025335B2 (ja) ゴルフ打撃訓練及びシミュレーション方式
CN111541846A (zh) 一种冰壶影像自动跟拍系统
CN110717931B (zh) 一种羽毛球发球时击球点的高度检测系统及其方法
CN213823403U (zh) 基于雷达循迹捕捉落球点的羽毛球运动水平测试评分设备
KR102613027B1 (ko) 골프공 위치 추적 시스템
US20240104927A1 (en) Control device and control method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent