KR20220162909A - Method for Tracing Golf Ball and System for the Same - Google Patents

Method for Tracing Golf Ball and System for the Same Download PDF

Info

Publication number
KR20220162909A
KR20220162909A KR1020210070694A KR20210070694A KR20220162909A KR 20220162909 A KR20220162909 A KR 20220162909A KR 1020210070694 A KR1020210070694 A KR 1020210070694A KR 20210070694 A KR20210070694 A KR 20210070694A KR 20220162909 A KR20220162909 A KR 20220162909A
Authority
KR
South Korea
Prior art keywords
golf ball
image
camera
wide
angle
Prior art date
Application number
KR1020210070694A
Other languages
Korean (ko)
Other versions
KR102578232B1 (en
Inventor
박일우
Original Assignee
유성민
최세화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유성민, 최세화 filed Critical 유성민
Priority to KR1020210070694A priority Critical patent/KR102578232B1/en
Publication of KR20220162909A publication Critical patent/KR20220162909A/en
Priority to KR1020230117907A priority patent/KR102621864B1/en
Application granted granted Critical
Publication of KR102578232B1 publication Critical patent/KR102578232B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T5/007
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0053Tracking a path or terminating locations for locating an object, e.g. a lost ball
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50Wireless data transmission, e.g. by radio transmitters or telemetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

Provided are a method for tracing a golf ball and a system for the same. The method for tracing a golf ball comprises: a camera photographing video step of photographing a tee shot video for an interested area set at an upper part of a tee box by including golf balls shot by a wide-angle camera and a telephoto camera; a video image selecting step of selecting at least two video images at image time intervals in the tee shot video; an identification image generating step of generating an identification image reflecting a color value difference between the at least two selected video images; a golf ball detecting step of detecting an area displayed in white in the identification image with a golf ball; a golf ball color value determining step of determining an image value of a video image corresponding to a position of the golf ball detected in the identification image as a color value of the golf ball; a golf ball tracing step of recognizing the golf ball by converting the video image photographed by the wide-angle camera and the telephoto camera into a binary image by using the color value of the golf ball, and tracing the golf ball by controlling the wide-angle camera and the telephoto camera; and a golf ball landing confirming step of generating a landing image including the landed golf ball by confirming whether the golf ball is landed on the ground. The present invention accurately and efficiently traces the golf ball.

Description

골프공 추적 방법 및 이를 위한 시스템{Method for Tracing Golf Ball and System for the Same}Golf ball tracking method and system therefor {Method for Tracing Golf Ball and System for the Same}

본 발명은 골프 라운딩에서 티샷된 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템에 관한 것이다.The present invention relates to a golf ball tracking method and a system for providing a landing position of a golf ball on the ground by tracking a tee shot in a round of golf.

골프 라운딩은 각 홀마다 거리에 따라 다소의 차이가 있으나 티샷 과정부터 시작되어 세컨 샷 과정을 거쳐 퍼팅 과정으로 종료된다. 상기 티샷 과정은 골퍼가 정해진 위치의 티 박스에서 골프공을 치고 골프공이 지면의 페어웨이 또는 러프에 착지하는 과정이다.Golf rounding has some differences depending on the distance of each hole, but it starts with a tee shot process, goes through a second shot process, and ends with a putting process. The tee shot process is a process in which a golfer hits a golf ball from a tee box at a predetermined location and the golf ball lands on a fairway or rough on the ground.

골프 라운딩은 원활한 진행을 위해서 티샷 과정에서 골프공의 궤적과 지면의 착지 위치를 적정하게 파악하는 것을 필요로 한다. 골프공은 티샷 과정에서 골퍼의 실력에 따라 다양한 방향으로 날아가게 되므로, 골프공의 착지 위치를 파악하는 것이 용이하지 않을 수 있다. 골퍼는 티샷 과정에서 골프공을 치는데 집중하므로, 골프공의 착지 위치는 주로 캐디에게 의존하여 파악하게 된다. 따라서, 캐디는 골프공의 착지 위치를 신속하게 파악하여 골프 라운딩을 원활하게 진행하는데 도움을 준다. 최근에는 캐디의 공급이 원활하지 않으므로, 골프장은 적정하게 캐디를 확보하는데 어려움이 있다. 또한, 캐디의 공급이 원활하지 않으므로, 캐디피가 높아지면서 골퍼의 금전적인 부담이 증가되고 있다.Golf rounding requires appropriate identification of the trajectory of the golf ball and the landing position on the ground during the tee shot process for smooth progress. Since the golf ball flies in various directions according to the skill of the golfer during the tee shot process, it may not be easy to determine the landing position of the golf ball. Since the golfer concentrates on hitting the golf ball during the tee shot process, the landing position of the golf ball is mainly determined by the caddy. Therefore, the caddy quickly recognizes the landing position of the golf ball and helps smoothly progress the round of golf. Recently, since the supply of caddies is not smooth, it is difficult to properly secure caddies at golf courses. In addition, since the supply of caddies is not smooth, the golfer's financial burden increases as the caddy fee increases.

한편, 골프장은 골퍼에 대한 서비스 차원에서 티샷 순간의 사진 또는 홀인원된 골프공의 사진 정도를 제공하고 있다. 골퍼는 홀인원이나 티샷이 잘 된 경우에 골프공의 비행 영상을 간직하고 싶으나, 비행 영상의 확보가 용이하지 않은 실정이다.Meanwhile, the golf course provides a picture of a tee shot moment or a picture of a hole-in-one golf ball as a service to golfers. A golfer wants to keep a flight video of a golf ball when a hole-in-one or a tee shot is successful, but it is not easy to secure the flight video.

본 발명은 골프 라운딩에서 티샷되는 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a golf ball tracking method and system for providing a landing position of a golf ball on the ground by tracking a golf ball tee-shot in a round of golf.

또한, 본 발명은 골프 라운딩에서 골프공의 티샷부터 지면에 착지될 때까지 골프공의 비행 영상을 생성하여 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a golf ball tracking method and system for generating and providing a flight image of a golf ball from a tee shot to landing on the ground in a round of golf.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 골프공 추적 방법은 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와, 상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와, 선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와, 상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와, 상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와, 상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및 상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 것을 특징으로 한다.A golf ball tracking method according to an embodiment of the present invention to solve the above problems is a camera that captures a tee shot image with respect to a region of interest set above the tee box, including a golf ball tee-shot by a wide-angle camera and a telephoto camera. A photographing video step, a video image selection step of selecting at least two video images at an image time interval from the tee shot video, and an identification image generating an identification image reflecting a color value difference between the selected at least two video images. A generating step, a golf ball detecting step of detecting an area marked as white in the identification image as the golf ball, and a color value of a video image corresponding to the position of the golf ball detected in the identification image as a golf ball color value. determining a golf ball color value; converting video images photographed by the wide-angle camera and the telephoto camera into binarized images using the golf ball color values to recognize the golf ball and control the wide-angle camera and the telephoto camera to golf It is characterized in that it includes a golf ball tracking step of tracking a ball and a golf ball landing confirmation step of generating a landing image including the landed golf ball by checking whether or not the golf ball has landed on the ground.

또한, 상기 식별 이미지 생성 단계는 적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과, 2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및 각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함할 수 있다.In addition, the identification image generation step may include a gray image generation process of converting at least two video images into gray images, and a color value difference between each pixel by comparing color values for each pixel at a corresponding position of the two gray images. A color value difference calculation process for calculating and displaying a white area by assigning a white color value to a pixel for which the color value difference is greater than the set identification reference value for each pixel, and displaying a black color value for pixels smaller than the identification reference value It may include an identification image generation process of generating the identification image by allocating and displaying it as a black area.

또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함할 수 있다.The golf ball tracking method may further include a golf ball lock-on step of displaying a white area other than the white area where the golf ball is located as a black area when there are a plurality of the white areas in the identification image. have.

또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함할 수 있다.The golf ball tracking method may further include a clutter rejection step of removing clutter caused by a background from the identification image.

또한, 상기 골프공 추적 단계는 상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과, 상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및 인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함할 수 있다.The golf ball tracking step may include an image binarization process of converting the video image into a binarized image having a golf ball area having the golf ball color value and a background area not having the golf ball color value; A golf ball recognition process for recognizing a golf ball and determining the position of the golf ball and a golf ball position change process for moving the directions of the wide-angle camera and the telephoto camera so that the recognized golf ball position is at the center of the binarized image. can include

또한, 상기 골프공 추적 방법은 상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및 생성된 상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함할 수 있다.In addition, the golf ball tracking method includes a golf ball flight image generating step of capturing a golf ball flight image from the camera image capture step to the golf ball landing confirmation step with the wide-angle camera and the telephoto camera to generate a golf ball flight image; and A golf ball flight image transmission step of transmitting the generated golf ball flight image to a receiving terminal may be further included.

또한, 상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적할 수 있다.In addition, the wide-angle camera and the telephoto camera may be linked together to track the golf ball.

또한, 본 발명의 일 실시예에 따른 골프공 추적 시스템은 광각 카메라와 망원 카메라를 포함하며, 골프공의 비행 영상을 촬영하는 카메라 모듈과, 상기 카메라 모듈을 제어하는 카메라 제어 모듈과, 상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및 상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 상기와 같은 골프공 추적 방법을 수행하는 것을 특징으로 한다.In addition, a golf ball tracking system according to an embodiment of the present invention includes a wide-angle camera and a telephoto camera, a camera module for capturing a flight image of a golf ball, a camera control module for controlling the camera module, and controlling the camera. A central server interworking with the module through the Internet or a separate communication network and a receiving terminal interworking with the central server or camera control module and receiving a golf ball landing image or golf ball flight video of the golf ball, as described above. It is characterized by performing a golf ball tracking method.

본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 함께 이용하여 티샷되는 골프공을 추적하면서 골프공이 지면에 착지하는 위치를 제공할 수 있다.The golf ball tracking method and system of the present invention can provide a landing position of a golf ball on the ground while tracking a golf ball being tee shot by using a wide-angle camera and a telephoto camera together.

또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다.In addition, since the golf ball tracking method and system of the present invention recognizes a golf ball by processing video images captured by a wide-angle camera and a telephoto camera, the golf ball can be recognized and tracked more accurately and efficiently.

또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 연동시켜 골프공을 추적함으로써 골프공을 놓치지 않고 추적할 수 있다.In addition, the golf ball tracking method and system of the present invention can track the golf ball without missing it by tracking the golf ball by interlocking the wide-angle camera and the telephoto camera.

또한, 본 발명의 골프공 추적 방법 및 시스템은 골프공이 티샷부터 지면에 착지될 때까지의 비행 영상을 촬영하여 골퍼에서 제공할 수 있다.In addition, the golf ball tracking method and system of the present invention can capture a flight image from a tee shot until it lands on the ground and provide it to the golfer.

또한, 본 발명의 골프공 추적 방법 및 시스템은 파 3 홀에서 골프공이 티샷부터 홀컵에 들어가는 전체 비행 영상을 촬영하여 제공할 수 있다.In addition, the golf ball tracking method and system of the present invention may capture and provide an entire flight image of a golf ball entering a hole cup from a tee shot in a par 3 hole.

도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다.
도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 촬영하는 티 박스의 관심 영역에 대한 개략도이다.
도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다.
도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다.
도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다.
도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다.
도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.
1 is a schematic configuration diagram of a golf ball tracking system according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of a region of interest of a tee box captured by a camera module of the golf ball tracking system of FIG. 1 .
3A and 3B are plan views illustrating locations where the camera module of FIG. 1 is installed in a hole course.
4 is a flowchart of a golf ball tracking method according to an embodiment of the present invention.
5A and 5B are exemplary video images captured at predetermined time intervals after a tee shot.
6A and 6B are exemplary gray images generated by converting the video images of FIGS. 5A and 5B into a gray scale.
7 is an exemplary identification image generated from the gray images of FIGS. 6A and 6B.
8A and 8B are binarized images generated from video images captured at predetermined intervals.

이하에서 실시예와 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 골프공 추적 방법 및 시스템에 대하여 보다 구체적으로 설명한다.Hereinafter, a golf ball tracking method and system according to an embodiment of the present invention will be described in more detail with reference to embodiments and accompanying drawings.

먼저, 본 발명의 일 실시예에 따른 골프공 추적 방법을 위한 골프공 추적 시스템에 대하여 설명한다.First, a golf ball tracking system for a golf ball tracking method according to an embodiment of the present invention will be described.

도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다. 도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 설치되는 티 박스의 관심 영역에 대한 개략도이다. 도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.1 is a schematic configuration diagram of a golf ball tracking system according to an embodiment of the present invention. FIG. 2 is a schematic diagram of a region of interest of a tee box in which a camera module of the golf ball tracking system of FIG. 1 is installed. 3A and 3B are plan views illustrating locations where the camera module of FIG. 1 is installed in a hole course.

본 발명의 일 실시예에 따른 골프공 추적 시스템은, 도 1 내지 도 3b를 참조하면, 카메라 모듈(100)과 카메라 제어 모듈(200)과 중앙 서버(300) 및 수신 단말기(400)를 포함할 수 있다. 또한, 상기 골프공 추적 시스템은 로컬 서버(500)를 더 포함할 수 있다.Referring to FIGS. 1 to 3B , the golf ball tracking system according to an embodiment of the present invention may include a camera module 100, a camera control module 200, a central server 300, and a receiving terminal 400. can In addition, the golf ball tracking system may further include a local server 500 .

상기 골프공 추적 시스템은 골프장의 어느 하나의 홀 코스에 카메라 모듈(100)이 설치되어 골프공이 티샷부터 지면 착지될 때까지 골프공을 추적하면서 골프공이 지면에 착지되는 착지 위치에 대한 정보를 수신 단말기(400)에게 제공할 수 있다. 이를 위하여, 상기 카메라 모듈(100)은 골프공이 비행하는 동안 골프공을 따라가면서 촬영하여 영상 이미지를 생성할 수 있다. 상기 카메라 제어 모듈(200)은 영상 이미지에서 골프공을 검출하고, 카메라 모듈(100)이 골프공을 계속적으로 추적하여 촬영하도록 카메라 모듈(100)을 제어할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 연결되며, 카메라 모듈(100)에서 수신되는 골프공의 착지 위치에 대한 영상 이미지 또는 골프공의 비행에 대한 촬영 영상을 수신 단말기(400)로 전송할 수 있다.The golf ball tracking system has a camera module 100 installed in one hole course of a golf course to track a golf ball from a tee shot until it lands on the ground, and receives information about the landing position where the golf ball lands on the ground. (400). To this end, the camera module 100 may create a video image by taking pictures while following the golf ball while it is in flight. The camera control module 200 may detect the golf ball in the video image and control the camera module 100 so that the camera module 100 continuously tracks and captures the golf ball. The central server 300 is connected to the camera control module 200, and transmits a video image of the landing position of the golf ball or a captured image of the flight of the golf ball received from the camera module 100 to the receiving terminal 400. can transmit

한편, 이하에서 설명하는 골프공 추적 시스템은 본 발명의 골프공 추적 방법을 제공하기 위한 일 실시예이며, 골프공 추적 방법을 제공하기 위한 다양한 구성으로 형성될 수 있다.Meanwhile, the golf ball tracking system described below is an embodiment for providing the golf ball tracking method of the present invention, and may be formed in various configurations to provide the golf ball tracking method.

상기 카메라 모듈(100)은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)를 포함할 수 있다.The camera module 100 may include a wide-angle camera 110, a wide-angle tilting motor 120, a wide-angle panning motor 130, a telephoto camera 140, a telephoto tilting motor 150, and a telephoto panning motor 160. have.

상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며 골프공을 추적할 수 있다. 이때, 상기 카메라 모듈은 광각 카메라(110)와 망원 카메라(140)가 각각 골프공을 추적할 수 있다. 또한, 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 연동되면서 골프공을 추적할 수 있다. 이러한 경우에 상기 카메라 모듈(100)은 골프공을 놓치지 않고 보다 효율적으로 추적할 수 있다.The camera module 100 includes a wide-angle camera 110 and a telephoto camera 140 and can track a golf ball. At this time, in the camera module, the wide-angle camera 110 and the telephoto camera 140 may respectively track the golf ball. In addition, the camera module 100 may track a golf ball while the wide-angle camera 110 and the telephoto camera 140 are linked together. In this case, the camera module 100 can track the golf ball more efficiently without missing it.

상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며, 티샷부터 지면에 착지될 때까지 골프공을 추적하여 촬영할 수 있다. 이때, 상기 광각 카메라(110)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)에 의하여 틸팅 및 패닝되면서 골프공을 추적하여 골프공의 비행 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 틸팅 및 패닝되면서 골프공의 비행 영상을 촬영할 수 있다. The camera module 100 includes a wide-angle camera 110 and a telephoto camera 140, and can track and capture a golf ball from a tee shot until it lands on the ground. In this case, the wide-angle camera 110 may track the golf ball while being tilted and panned by the wide-angle tilting motor 120 and the wide-angle panning motor 130 to capture a flight image of the golf ball. In addition, the telephoto camera 140 may capture flight images of the golf ball while being tilted and panned by the telephoto tilting motor 150 and the telephoto panning motor 160 .

상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 구동되거나 서로 독립적으로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 서로 연동되어 구동될 수 있다. 예를 들면, 상기 광각 카메라(110)와 망원 카메라(140)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)의 구동에 의하여 함께 구동될 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 광각 카메라(110)와 별도로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하므로 골프공을 놓치지 않고 보다 효율적이고 정확하게 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 화각이 상대적으로 크므로 티샷되는 골프공이 비정상적인 빠른 속도로 날아가거나 예측되지 않는 방향으로 날아가는 경우에도 골프공을 놓치지 않고 추적할 수 있다. 상기 망원 카메라(140)는 확대 촬영이 가능하므로 골프공과 배경의 색상이 유사한 경우에도 정확하게 골프공을 검출 또는 인식할 수 있다.In the camera module 100, the wide-angle camera 110 and the telephoto camera 140 may be driven together or independently of each other. The camera module 100 may be driven by interlocking the wide-angle camera 110 and the telephoto camera 140 with each other. For example, the wide-angle camera 110 and the telephoto camera 140 may be driven together by driving the wide-angle tilting motor 120 and the wide-angle panning motor 130 . Also, the telephoto camera 140 may be driven separately from the wide-angle camera 110 by the telephoto tilting motor 150 and the telephoto panning motor 160 . Since the camera module 100 uses the wide-angle camera 110 and the telephoto camera 140, it is possible to more efficiently and accurately track the golf ball without missing it. Since the wide-angle camera 110 has a relatively large angle of view, it can track the golf ball without missing it even when the golf ball is flying at an abnormally fast speed or in an unexpected direction. Since the telephoto camera 140 can take an enlarged picture, it can accurately detect or recognize the golf ball even when the color of the golf ball and the background are similar.

상기 카메라 모듈(100)은 골프장의 어느 하나의 홀 코스에서 티 박스의 관심 영역(Region of Interest)(a)을 촬영할 수 있는 소정 위치에 설치될 수 있다. 상기 카메라 모듈(100)은 티 박스의 관심 영역을 촬영할 수 있도록 촬영 방향과 촬영 배율등이 조정될 수 있다. 상기 카메라 모듈(100)은 홀 코스의 형태에 따라 관심 영역의 정면 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 관심 영역의 정면 방향과 소정의 예각을 이루는 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하여 관심 영역을 촬영할 수 있다.The camera module 100 may be installed at a predetermined location capable of capturing a region of interest (a) of a tee box in any one hole course of a golf course. The camera module 100 may be adjusted in a shooting direction and a shooting magnification to capture a region of interest of the tee box. The camera module 100 may capture the region of interest in a frontal direction of the region of interest according to the shape of the hole course. The camera module 100 may capture the region of interest in a direction forming a predetermined acute angle with the front direction of the region of interest. The camera module 100 may capture a region of interest using the wide-angle camera 110 and the telephoto camera 140 .

여기서, 상기 관심 영역(a)은, 도 2에서 보는 바와 같이, 티 박스에서 티샷되는 골프공(b)이 날아가는 방향에 수직인 영역이며, 소정의 폭과 높이를 가지는 가상의 영역이다. 예를 들면, 상기 관심 영역은 티 박스의 전체 폭 또는 티박스에 설치되는 2 개의 티 마커(또는 티 블록)(c) 사이에서 지면으로부터 이격되는 하단선과 하단선으로부터 소정 높이에 위치하는 상단선에 의하여 정의되는 사각형상으로 정의될 수 있다. 상기 하단선은 골프 티 또는 골퍼의 키보다 높은 위치일 수 있다. 또한, 상기 상단선은 골프공이 날아가는 최대 높이보다 높은 위치일 수 있다. 상기 관심 영역은 티 박스에서 소정 거리로 전진된 위치에 설정될 수 있다. 상기 관심 영역은 티 박스의 고도와 페어웨이와의 배치 관계등을 고려하여 정해질 수 있다.Here, the region of interest (a), as shown in FIG. 2, is a region perpendicular to the direction in which the golf ball (b) tee-shot from the tee box flies, and is a virtual region having a predetermined width and height. For example, the region of interest is the entire width of the tee box or the bottom line spaced apart from the ground between two tee markers (or tee blocks) (c) installed in the tee box and the top line located at a predetermined height from the bottom line It can be defined as a rectangle defined by The lower line may be higher than a golf tee or golfer's height. Also, the top line may be a position higher than the maximum height at which the golf ball flies. The region of interest may be set at a position advanced a predetermined distance from the tee box. The region of interest may be determined in consideration of the height of the tee box and the arrangement relationship with the fairway.

또한, 상기 카메라 모듈(100)은 홀 코스에서 티샷된 골프공이 착지되는 지면의 착지 영역(즉, 티샷시 골퍼들의 평균 비거리 또는 최대 비거리에 대응되는 영역)보다 티 박스로부터 더 먼 거리 또는 티박스와 착지 영역 사이의 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 티샷되는 골프공을 추적하면서 골프공의 비행 영상을 촬영할 수 있다.In addition, the camera module 100 has a larger distance from the tee box than a landing area on the ground where a tee shot golf ball lands in a hole course (ie, an area corresponding to the average or maximum distance of golfers during a tee shot). It can be installed in the installation area between the landing areas. Accordingly, the camera module 100 may capture a flight image of the golf ball while tracking the golf ball being tee-shot.

상기 카메라 모듈(100)은, 도 3a 및 도 3b에서 보는 바와 같이, 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 카메라 모듈(100)은 2개로 설치되는 경우에, 2개의 카메라 모듈(100)이 설치 영역에서 페어웨이의 양측에 위치할 수 있다. 또한, 상기 카메라 모듈(100)은 설치 영역에 위치하는 메인 카메라 모듈(10)과 설치 영역과 티 박스 사이의 대략 중간에 위치하는 보조 카메라 모듈(10a)로 구분될 수 있다. 상기 메인 카메라 모듈(10)은 설치 영역에 설치되며, 보조 카메라 모듈(10a)은 티 박스와 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 홀 코스의 형태에 관계없이 골프공이 지면에 착지될 때까지 골프공을 추적할 수 있다.As shown in FIGS. 3A and 3B , one or two camera modules 100 may be installed depending on the shape of the hole course. When two camera modules 100 are installed, the two camera modules 100 may be located on both sides of the fairway in the installation area. In addition, the camera module 100 may be divided into a main camera module 10 located in the installation area and an auxiliary camera module 10a located approximately in the middle between the installation area and the tee box. The main camera module 10 is installed in the installation area, and the auxiliary camera module 10a may be installed in the tee box and installation area. Accordingly, the camera module 100 may track the golf ball until it lands on the ground regardless of the shape of the hole course.

상기 광각 카메라(110)는 일반적인 광각 카메라로 형성될 수 있다. 예를 들면, 상기 광각 카메라(110)는 초점 거리가 상대적으로 짧고 화각(Field of view)이 넓은 카메라를 의미할 수 있다. 상기 광각 카메라(110)는 보다 넓은 영역에 대하여 영상을 촬영하면서 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 설치 위치에 따라 초점 거리 및 화각이 변경될 수 있다. 상기 광각 카메라(110)는 1280 x 720 해상도, 1000m Field of view이 50m, 60FPS의 사양을 갖는 카메라로 형성될 수 있다.The wide-angle camera 110 may be formed as a general wide-angle camera. For example, the wide-angle camera 110 may refer to a camera having a relatively short focal length and a wide field of view. The wide-angle camera 110 may track the golf ball while taking images in a wider area. The focal length and angle of view of the wide-angle camera 110 may be changed according to the installation location. The wide-angle camera 110 may be formed as a camera having a resolution of 1280 x 720, a field of view of 1000 m, a field of view of 50 m, and specifications of 60 FPS.

상기 광각 카메라(110)는 소정의 광각 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 패닝 각도로 수평 방향으로 패닝될 수 있다. 상기 광각 카메라(110)의 광각 틸팅 각도는 -45 ∼ 60도일 수 있다. 또한, 상기 광각 카메라(110)의 광각 패닝 각도는 -165 ∼ 165도일 수 있다. 상기 광학 카메라는 광각 틸팅 모터(120) 및 광각 패닝 모터(130)에 의하여 틸팅되거나 패닝될 수 있다.The wide-angle camera 110 may be tilted up and down at a predetermined wide-angle tilting angle or panned horizontally at a predetermined panning angle. The wide-angle tilting angle of the wide-angle camera 110 may be -45 to 60 degrees. Also, the wide-angle panning angle of the wide-angle camera 110 may be -165 to 165 degrees. The optical camera may be tilted or panned by the wide-angle tilting motor 120 and the wide-angle panning motor 130 .

한편, 상기 광각 카메라(110)는 설치되는 홀 코스의 지형과 티 박스까지의 거리에 따라 상기의 범위에서 적정한 광각 틸팅 각도와 광각 패닝 각도로 운영되도록 형성될 수 있다.Meanwhile, the wide-angle camera 110 may be configured to operate at an appropriate wide-angle tilting angle and wide-angle panning angle within the above range according to the topography of the hole course and the distance to the tee box.

상기 광각 카메라(110)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.The wide-angle camera 110 may be electrically connected to the camera control module 200 to be communicated with and controlled. Accordingly, the wide-angle camera 110 may be configured to be turned on/off and operated according to a control signal of the camera control module 200 . In addition, the wide-angle camera 110 may capture a tee shot image proceeding from the tee box under the control of the camera control module 200 . Also, the wide-angle camera 110 may capture a flight image of a golf ball under the control of the camera control module 200 .

상기 광각 틸팅 모터(120)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 틸팅 모터(120)는 광각 카메라(110)와 결합되며, 광각 카메라(110)를 상하 방향으로 소정 각도로 회전시킬 수 있다. 상기 광각 틸팅 모터(120)는 별도의 프레임(미도시)에 의하여 광각 카메라(110)와 결합될 수 있다. 상기 광각 틸팅 모터(120)는 수평 축을 기준으로 소정의 광각 틸팅 각도로 광각 카메라(110)를 회전시킬 수 있다. 상기 광각 틸팅 각도는 수직 방향으로 -45 ∼ 60도일 수 있다. The wide-angle tilting motor 120 may be formed of a motor that can be precisely controlled, such as a servo motor. The wide-angle tilting motor 120 is coupled to the wide-angle camera 110 and can rotate the wide-angle camera 110 vertically at a predetermined angle. The wide-angle tilting motor 120 may be coupled to the wide-angle camera 110 by a separate frame (not shown). The wide-angle tilting motor 120 may rotate the wide-angle camera 110 at a predetermined wide-angle tilting angle based on a horizontal axis. The wide-angle tilting angle may be -45 to 60 degrees in a vertical direction.

상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.The wide-angle tilting motor 120 may be electrically connected to and controlled by the camera control module 200 . The wide-angle tilting motor 120 may be configured to be turned on/off and driven according to a control signal of the camera control module 200 . Also, the rotation number and rotation time of the wide-angle tilting motor 120 may be controlled by the control of the camera control module 200 .

상기 광각 패닝 모터(130)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)와 결합될 수 있다. 상기 광각 패닝 모터(130)는 별도의 프레임에 의하여 광각 카메라(110) 또는 광각 틸팅 모터(120)에 결합될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 광각 패닝 모터(130)가 광각 카메라(110)와 결합되는 경우에 광각 카메라(110)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 광각 패닝 모터(130)는 다시 광각 틸팅 모터(120)와 결합되며, 광각 틸팅 모터(120)에 의하여 광각 카메라(110)와 함께 소정의 광각 틸팅 각도로 회전될 수 있다. 또한, 상기 광각 패닝 모터(130)는 광각 틸팅 모터(120)와 결합되는 경우에 광각 틸팅 모터(120)와 광각 카메라(110)를 소정의 광각 틸팅 각도로 회전시킬 수 있다. 상기 광각 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.The wide-angle panning motor 130 may be formed of a motor that can be precisely controlled, such as a servo motor. The wide-angle panning motor 130 may be coupled with the wide-angle camera 110 or the wide-angle tilting motor 120 . The wide-angle panning motor 130 may be coupled to the wide-angle camera 110 or the wide-angle tilting motor 120 by a separate frame. The wide-angle panning motor 130 may rotate the wide-angle camera 110 or the wide-angle tilting motor 120 at a predetermined wide-angle panning angle. When the wide-angle panning motor 130 is coupled to the wide-angle camera 110 , the wide-angle camera 110 may be rotated at a predetermined wide-angle panning angle. At this time, the wide-angle panning motor 130 is again coupled to the wide-angle tilting motor 120, and can be rotated together with the wide-angle camera 110 at a predetermined wide-angle tilting angle by the wide-angle tilting motor 120. Also, when the wide-angle panning motor 130 is combined with the wide-angle tilting motor 120, the wide-angle tilting motor 120 and the wide-angle camera 110 can be rotated at a predetermined wide-angle tilting angle. The wide-angle panning angle may be -165 to 165 degrees in a horizontal direction.

상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어에 의하여 회전수 및 회전 시간이 제어될 수 있다.The wide-angle panning motor 130 may be electrically connected to and controlled by the camera control module 200 . The wide-angle panning motor 130 may be turned on/off and driven according to a control signal of the camera control module 200 . Also, the number of rotations and rotation time of the wide-angle panning motor 130 may be controlled by the control of the camera control module 200 .

상기 망원 카메라(140)는 일반적인 망원 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 초점 거리가 상대적으로 길고 화각이 좁은 카메라를 의미할 수 있다. The telephoto camera 140 may be formed as a general telephoto camera. The telephoto camera 140 may refer to a camera having a relatively long focal length and a narrow angle of view.

상기 망원 카메라(140)는 설치 영역과 티 박스 사이의 거리에 따라 적정한 초점 거리, 화소, 해상도 및 화각을 갖는 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 1280 x 720 해상도, 1000m 화각이 14m, 60FPS 의 사양을 갖는 카메라로 형성될 수 있다. The telephoto camera 140 may be formed as a camera having an appropriate focal length, pixels, resolution, and angle of view according to the distance between the installation area and the tee box. The telephoto camera 140 may be formed as a camera having specifications of 1280 x 720 resolution, 1000m angle of view of 14m, and 60FPS.

상기 망원 카메라(140)는 소정의 망원 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 망원 패닝 각도로 수평 방향으로 패닝될 수 있다. 또한, 상기 망원 카메라(140)는 광각 카메라(110)가 틸팅되거나 패닝될 때 함께 광각 틸팅 각도로 틸팅되거나 광각 패닝 각도로 패닝될 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)와 함께 광각 틸팅 각도 또는 광각 패닝 각도로 틸팅되거나 패닝된 후에 추가로 망원 틸팅 각도로 틸팅되거나 망원 패닝 각도로 패닝될 수 있다. 상기 망원 카메라(140)는 광각 카메라(110)와 독립적으로 틸팅되거나 패닝될 수 있다.The telephoto camera 140 may be tilted up and down at a predetermined telescopic tilting angle or panned horizontally at a predetermined telescopic panning angle. Also, the telephoto camera 140 may be tilted at a wide-angle tilting angle or panned at a wide-angle panning angle when the wide-angle camera 110 is tilted or panned. Accordingly, the telephoto camera 140 may be tilted or panned at a wide-angle tilting angle or a wide-angle panning angle together with the wide-angle camera 110, and then further tilted at a telescopic tilting angle or panned at a telephoto panning angle. The telephoto camera 140 may be tilted or panned independently of the wide-angle camera 110 .

상기 망원 카메라(140)는 광각 카메라(110)와 대비하여 화각이 상대적으로 작으므로 골프공의 효율적인 추적을 위하여 추가로 망원 틸팅 각도로 틸팅될 수 있다. 상기 망원 카메라(140)의 망원 틸팅 각도는 -30 ∼ 50도일 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)의 광각 틸팅 각도에 추가하여 하부 방향으로 -30도, 상부 방향으로 +50도 만큼 더 틸팅될 수 있다. 또한, 상기 망원 카메라(140)의 망원 패닝 각도는 -165 ∼ 165도일 수 있다. 따라서, 상기 망원 카메라(140)는 망원 패닝 각도만큼 광각 카메라(110)보다 더 패닝될 수 있다.Since the telescopic camera 140 has a relatively small angle of view compared to the wide-angle camera 110, it may be additionally tilted at a telescopic tilting angle for efficient tracking of a golf ball. The telescopic tilting angle of the telephoto camera 140 may be -30 to 50 degrees. Accordingly, the telephoto camera 140 may be further tilted downward by -30 degrees and upward by +50 degrees in addition to the wide-angle tilt angle of the wide-angle camera 110 . Also, the telephoto panning angle of the telephoto camera 140 may be -165 to 165 degrees. Accordingly, the telephoto camera 140 may be panned further than the wide-angle camera 110 by a telephoto panning angle.

상기 망원 카메라(140)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.The telescopic camera 140 may be electrically connected to the camera control module 200 and communicated and controlled. Accordingly, the telephoto camera 140 may be configured to be turned on/off and operated according to a control signal of the camera control module 200 . In addition, the telephoto camera 140 may capture a tee shot image proceeding from the tee box under the control of the camera control module 200 . Also, the telephoto camera 140 may capture a flight image of a golf ball under the control of the camera control module 200 .

상기 망원 틸팅 모터(150)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 틸팅 모터(150)는 별도의 프레임(미도시)에 의하여 망원 카메라(140)와 결합될 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 각도는 수직 방향으로 -30 ∼ 50도일 수 있다.The telescopic tilting motor 150 may be formed of a motor that can be precisely controlled, such as a servo motor. The telephoto tilting motor 150 may be coupled to the telephoto camera 140 by a separate frame (not shown). The telescopic tilting motor 150 may rotate the telescopic camera 140 at a predetermined telescopic tilting angle. The telescopic tilting motor 150 may rotate the telephoto camera 140 at a telescopic tilting angle. The telescopic tilting angle may be -30 to 50 degrees in the vertical direction.

상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.The telescopic tilting motor 150 may be electrically connected to and controlled by the camera control module 200 . The telescopic tilting motor 150 may be configured to be turned on/off and driven according to a control signal of the camera control module 200 . Also, the number of rotations and rotation time of the telescopic tilting motor 150 may be controlled by the control of the camera control module 200 .

상기 망원 패닝 모터(160)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 패닝 모터(160)는 별도의 프레임에 의하여 망원 카메라(140) 또는 망원 틸팅 모터(150)에 결합될 수 있다. 상기 망원 패닝 모터(160)는 망원 카메라(140) 또는 망원 틸팅 모터(150)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 망원 패닝 모터(160)가 망원 카메라(140)와 결합되는 경우에 망원 카메라(140)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 망원 패닝 모터(160)는 다시 망원 틸팅 모터(150)와 결합되며, 망원 틸팅 모터(150)에 의하여 망원 카메라(140)와 함께 소정의 망원 틸팅 각도로 회전될 수 있다. 또한, 상기 망원 패닝 모터(160)는 망원 틸팅 모터(150)와 결합되는 경우에 망원 틸팅 모터(150)와 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.The telescopic panning motor 160 may be formed of a motor that can be precisely controlled, such as a servo motor. The telephoto panning motor 160 may be coupled to the telephoto camera 140 or the telephoto tilting motor 150 by a separate frame. The telephoto panning motor 160 may rotate the telephoto camera 140 or the telephoto tilting motor 150 at a predetermined wide-angle panning angle. When the telephoto panning motor 160 is combined with the telephoto camera 140, the telephoto camera 140 can be rotated at a predetermined wide-angle panning angle. At this time, the telescopic panning motor 160 is again coupled to the telescopic tilting motor 150, and can be rotated together with the telephoto camera 140 at a predetermined telescopic tilting angle by the telescopic tilting motor 150. In addition, when the telescopic panning motor 160 is coupled with the telescopic tilting motor 150, the telescopic tilting motor 150 and the telephoto camera 140 can be rotated at a predetermined telescopic tilting angle. The telescopic panning angle may be -165 to 165 degrees in the horizontal direction.

상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다. The telescopic panning motor 160 may be electrically connected to and controlled by the camera control module 200 . The telescopic panning motor 160 may be turned on/off and driven according to a control signal of the camera control module 200 . Also, the number of rotations and rotation time of the telescopic panning motor 160 may be controlled by the control of the camera control module 200 .

상기 카메라 제어 모듈(200)은 광각 카메라(110) 및 망원 카메라(140)와 유선 또는 무선으로 통신 가능하도록 연결되어 제어 신호를 송수신하고, 광각 카메라(110) 및 망원 카메라(140)에서 촬영되는 영상 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)와 전기적으로 연결되어 제어할 수 있다. 상기 카메라 제어 모듈(200)은 각 모터들의 회전 시간과 회전수를 제어할 수 있다. 따라서, 상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)가 틸팅되는 각도와 패닝되는 각도를 제어할 수 있다.The camera control module 200 is communicatively connected to the wide-angle camera 110 and the telephoto camera 140 by wire or wirelessly, transmits and receives control signals, and images captured by the wide-angle camera 110 and the telephoto camera 140. information can be received. In addition, the camera control module 200 is electrically connected to and controls the wide-angle tilting motor 120, the wide-angle panning motor 130, the telescopic tilting motor 150, and the telephoto panning motor 160. The camera control module 200 may control the rotation time and number of rotations of each motor. Accordingly, the camera control module 200 may control tilting and panning angles of the wide-angle camera 110 and the telephoto camera 140 .

상가 카메라 제어 모듈(200)은 카메라 모듈(100)로부터 전송되는 촬영 영상에서 소정의 프레임 간격 또는 촬영 시각 간격(예를 들어 60FPS)으로 촬영된 적어도 2장의 영상 이미지를 선택할 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 골프공이 2장의 영상 이미지에서 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 카메라에 입사되는 광량 조건과 영상 처리에 소요되는 시간에 따라 다르게 결정될 수 있다. 또한, 상기 광량 조건과 카메라 화각은 카메라 설치 장소의 환경, 영상 이미지에 나타나는 골프공의 크기, 설치 티샷시의 골프공의 예상 비행 속도, 카메라에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 한편, 상기 카메라 제어 모듈(200)은 티샷 시작 신호를 전송한 후에 촬영된 초기 이미지를 추가로 선택할 수 있다.The camera control module 200 may select at least two video images captured at a predetermined frame interval or a capturing time interval (eg, 60 FPS) from the captured images transmitted from the camera module 100 . The frame interval or photographing time interval needs to be determined so that the golf balls do not overlap with each other in the two video images. In addition, the frame interval or the photographing time interval needs to be determined so that both golf balls exist in the two video images. Accordingly, the frame interval or photographing time interval may be determined differently depending on the amount of light incident on the camera and the time required for image processing. In addition, the light amount condition and the angle of view of the camera may be determined in consideration of the environment of the camera installation location, the size of the golf ball appearing in the video image, the expected flight speed of the golf ball at the time of the installation tee shot, the expected flight angle of the golf ball observed by the camera, and the like. can Meanwhile, the camera control module 200 may additionally select an initial image captured after transmitting the tee shot start signal.

상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)에서 촬영되는 영상 이미지로부터 티 박스에서 티샷되는 골프공을 검출할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 카메라 모듈(100)을 제어하여 검출된 골프공을 추적할 수 있다. 즉, 상가 카메라 제어 모듈(200)은 골프공이 티샷부터 지면에 착지될 때까지 카메라 모듈(100)에서 촬영되는 영상 이미지에서 골프공을 인식하고 추적하여 카메라 모듈(100)이 골프공의 영상을 촬영하도록 할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 지면에 착지되는 골프공의 착지 영상을 생성할 수 있다.The camera control module 200 may detect a golf ball hit from a tee box from video images taken by the wide-angle camera 110 and the telephoto camera 140 . Also, the camera control module 200 may control the camera module 100 to track the detected golf ball. That is, the shopping mall camera control module 200 recognizes and tracks the golf ball in the video images captured by the camera module 100 from the tee shot to the ground, so that the camera module 100 captures the image of the golf ball can make it Also, the camera control module 200 may generate a landing image of a golf ball landing on the ground.

또한, 상기 카메라 제어 모듈(200)은 중앙 서버(300)와 인터넷 또는 통신망을 통하여 연결되어 골프공 추적 방법의 제반 절차를 수행하는데 필요한 정보를 송수신할 수 있다. 예를 들면, 상기 카메라 제어 모듈(200)은 골프공의 추적을 위하여 필요한 제반 정보를 송수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골프 라운딩을 진행하는 수신 단말기(400)의 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골퍼가 티샷하는 골프공의 착지 영상 또는 골프공의 비행 영상을 중앙 서버(300)로 전송할 수 있다.In addition, the camera control module 200 may be connected to the central server 300 through the Internet or a communication network to transmit/receive information necessary for performing various procedures of the golf ball tracking method. For example, the camera control module 200 may transmit/receive various information necessary for tracking a golf ball. Also, the camera control module 200 may receive information on the receiving terminal 400 performing a round of golf. In addition, the camera control module 200 may transmit an image of a golf ball landing or a flight image of a golfer's tee shot to the central server 300 .

상기 중앙 서버(300)는 골프공 추적 정보와 골프공 착지 정보를 제공하기 위하여 필요한 정보를 저장하고, 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 인터넷 또는 별도의 통신망을 통하여 연동될 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)에 필요한 정보를 제공할 수 있다. 예를 들면, 상기 중앙 서버(300)는 골퍼의 수신 단말기 정보를 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)로부터 골프공 착지 영상 또는 골프공 비행 영상을 수신할 수 있다.The central server 300 may store and provide information necessary to provide golf ball tracking information and golf ball landing information. The central server 300 may interwork with the camera control module 200 through the Internet or a separate communication network. The central server 300 may provide necessary information to the camera control module 200 . For example, the central server 300 may provide golfer's receiver terminal information. The central server 300 may receive a golf ball landing image or a golf ball flight image from the camera control module 200 .

상기 중앙 서버(300)는 수신 단말기(400)와 인터넷 또는 별도의 통신망을 이용하여 연결될 수 있다. 또한, 상기 중앙 서버(300)는 골퍼가 골프 라운딩을 진행하는 홀 코스에서 생성되는 골프공 착지 영상 또는 골프공 비행 영상을 수신 단말기(400)로 전송할 수 있다.The central server 300 may be connected to the receiving terminal 400 using the Internet or a separate communication network. In addition, the central server 300 may transmit, to the receiving terminal 400 , a golf ball landing image or a golf ball flight image generated in a hole course in which a golfer rounds golf.

상기 수신 단말기(400)는 중앙 서버(300) 또는 카메라 제어 모듈(200)과 연동되며, 골프공 착지 이미지 또는 골프공 비행 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공 추적 방법의 실시에 필요한 골퍼 또는 캐디의 정보를 중앙 서버(300)로 전송할 수 있다.The receiving terminal 400 is interlocked with the central server 300 or the camera control module 200 and can receive a golf ball landing image or a golf ball flight image. In addition, the receiving terminal 400 may transmit golfer or caddy information necessary for implementing the golf ball tracking method to the central server 300 .

상기 수신 단말기(400)는 골퍼가 소지하고 있는 개인 단말기 또는 캐디가 운영하는 카트에 장착되는 캐디 단말기일 수 있다. 또한, 상기 수신 단말기(400)는 중앙 서버(300)와 접속이 가능한 다양한 단말기일 수 있다. 상기 수신 단말기(400)는 근거리 통신인 와이파이 또는 무선 통신인 4G, 5G에 의하여 통신이 가능한 다양한 단말기일 수 있다.The receiving terminal 400 may be a personal terminal owned by a golfer or a caddy terminal mounted on a cart operated by a caddy. Also, the receiving terminal 400 may be various terminals capable of accessing the central server 300 . The receiving terminal 400 may be a variety of terminals capable of communicating by Wi-Fi, which is short-range communication, or 4G and 5G, which are wireless communications.

상기 수신 단말기(400)는 티샷에 대한 트리거 신호를 중앙 서버(300) 또는 카메라 제어 모듈(200)로 전송할 수 있다. 상기 중앙 서버(300) 또는 카메라 제어 모듈(200)은 트리거 신호를 수신하고 카메라 모듈(100)에 촬영 시작 신호를 전송할 수 있다. 상기 카메라 모듈(100)은 카메라 제어 모듈(200)로부터 촬영 시작에 대한 신호를 수신하여 촬영을 진행할 수 있다. The receiving terminal 400 may transmit a trigger signal for a tee shot to the central server 300 or the camera control module 200 . The central server 300 or the camera control module 200 may receive a trigger signal and transmit a shooting start signal to the camera module 100 . The camera module 100 may receive a signal for starting shooting from the camera control module 200 and proceed with shooting.

상기 수신 단말기(400)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 통하여 연결될 수 있다. 상기 수신 단말기(400)는 골퍼의 골프 라운딩중에 중앙 서버(300)로부터 골프공의 착지 이미지 또는 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공의 비행 영상을 수신할 수 있다. 따라서, 상기 골퍼는 골프공이 착지된 위치를 확인할 수 있다.The receiving terminal 400 may be connected to the central server 300 through the Internet or a separate communication network. The reception terminal 400 may receive a landing image or video of a golf ball from the central server 300 during the golfer's round of golf. Also, the receiving terminal 400 may receive a flight image of a golf ball. Therefore, the golfer can check the landing position of the golf ball.

또한, 상기 골프공 추적 시스템이 로컬 서버(500)를 구비하는 경우에 수신 단말기(400)는 로컬 서버(500)에 접속하여 골프공의 착지 영상 또는 이미지를 제공받을 수 있다. 이때, 상기 수신 단말기(400)는 골프장의 관리자가 사용하는 관리자용 단말기일 수 있다. 또한, 상기 카메라 제어 모듈(200)이 골프공의 비행 영상을 근거리 통신망들을 이용하여 제공하는 경우에, 수신 단말기(400)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 착지 이미지를 제공받을 수 있다.In addition, when the golf ball tracking system includes the local server 500, the receiving terminal 400 may connect to the local server 500 and receive a landing video or image of the golf ball. At this time, the receiving terminal 400 may be a manager terminal used by a manager of a golf course. In addition, when the camera control module 200 provides a flight image of the golf ball using local area networks, the receiving terminal 400 receives the landing image or the landing image of the golf ball from the camera control module 200. can

상기 로컬 서버(500)는 특정 골프장에 설치되는 서버일 수 있다. 상기 로컬 서버(500)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 이용하여 접속할 수 있다. 상기 로컬 서버(500)는 해당 골프장에 설치되어 있는 카메라 제어 모듈(200)과 접속할 수 있다. 따라서, 상기 로컬 서버(500)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 골프공의 비행 영상을 수신할 수 있다.The local server 500 may be a server installed in a specific golf course. The local server 500 can be connected to the central server 300 using the Internet or a separate communication network. The local server 500 can access the camera control module 200 installed in the corresponding golf course. Accordingly, the local server 500 may receive a landing image of a golf ball or a flight image of a golf ball from the camera control module 200 .

또한, 상기 로컬 서버(500)는 해당 골프장을 방문하여 골프 라운딩을 진행하는 골퍼의 수신 단말기(400)와 접속할 수 있다. 상기 로컬 서버(500)는 수신 단말기(400)로 골퍼가 티샷한 골프공의 착지 영상 또는 골프공의 비행 영상을 송신할 수 있다.In addition, the local server 500 can access the receiving terminal 400 of a golfer who visits the corresponding golf course and conducts a round of golf. The local server 500 may transmit an image of a golf ball landing or a flight image of a golfer's tee shot to the receiving terminal 400 .

다음은 본 발명의 일 실시예에 따른 골프공 추적 방법에 대하여 설명한다.Next, a golf ball tracking method according to an embodiment of the present invention will be described.

도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.4 is a flowchart of a golf ball tracking method according to an embodiment of the present invention. 5A and 5B are exemplary video images captured at predetermined time intervals after a tee shot. 6A and 6B are exemplary gray images generated by converting the video images of FIGS. 5A and 5B into a gray scale. 7 is an exemplary identification image generated from the gray images of FIGS. 6A and 6B. 8A and 8B are binarized images generated from video images captured at predetermined intervals.

본 발명의 골프공 추적 방법은, 도 4 내지 도 8b를 참조하면, 카메라 영상 촬영 단계(S10)와, 영상 이미지 선택 단계(S20)와, 식별 이미지 생성 단계(S30)와, 골프공 검출 단계(S40)와, 골프공 색상값 결정 단계(S50)와, 골프공 추적 단계(S60) 및 골프공 착지 확인 단계(S70)를 포함할 수 있다. 또한, 상기 골프공 추적 방법은 골프공 락온 단계(S42)와 클러터 리젝션 단계(S44)를 더 포함할 수 있다. 상기 골프공 추적 방법은 골프공 비행 영상 생성 단계(S80) 및 골프공 비행 영상 제공 단계(S90)를 더 포함할 수 있다.Referring to FIGS. 4 to 8B , the golf ball tracking method of the present invention includes a camera image capture step (S10), a video image selection step (S20), an identification image generation step (S30), and a golf ball detection step (S20). S40), golf ball color value determination step (S50), golf ball tracking step (S60), and golf ball landing confirmation step (S70) may be included. In addition, the golf ball tracking method may further include a golf ball lock-on step (S42) and a clutter rejection step (S44). The golf ball tracking method may further include generating a golf ball flight image (S80) and providing a golf ball flight image (S90).

상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공이 티샷부터 지면에 착지될 때까지 골프공을 추적하여 골프공이 지면에 착지되는 착지 위치를 제공할 수 있다. 또한, 상기 골프공 추적 방법 및 시스템은 광각 카메라(110)와 망원 카메라(140)에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다. 이하의 설명에서 상기 광각 카메라(110)와 망원 카메라(140)에 대하여 동시에 적용되거나 함께 사용하는 경우에 광각 카메라(110)와 망원 카메라(140)를 카메라로 언급할 수 있다.The golf ball tracking method may provide a landing position where the golf ball lands on the ground by tracking the golf ball from a tee shot until it lands on the ground using the wide-angle camera 110 and the telephoto camera 140 . In addition, since the golf ball tracking method and system recognizes a golf ball by processing video images captured by the wide-angle camera 110 and the telephoto camera 140, the golf ball can be recognized and tracked more accurately and efficiently. In the following description, when the wide-angle camera 110 and the telephoto camera 140 are simultaneously applied or used together, the wide-angle camera 110 and the telephoto camera 140 may be referred to as cameras.

상기 골프공 추적 방법은 도 1에 따른 골프공 추적 시스템을 이용하여 진행될 수 있다. 즉, 상기 골프공 추적 방법은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)을 포함하는 시스템에 의하여 진행될 수 있다. 한편, 상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 포함하는 다양한 시스템에 의하여 진행될 수 있다.The golf ball tracking method may be performed using the golf ball tracking system according to FIG. 1 . That is, the golf ball tracking method includes a wide-angle camera 110, a wide-angle tilting motor 120, a wide-angle panning motor 130, a telephoto camera 140, a telescopic tilting motor 150, and a telescopic panning motor 160. The system can proceed. Meanwhile, the golf ball tracking method may be performed by various systems including a wide-angle camera 110 and a telephoto camera 140 .

상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 단계이다. 여기서, 상기 티샷 영상은 골퍼가 골프공을 티샷하는 시각을 기준으로 전후 소정의 촬영 시간동안 촬영된 영상을 의미할 수 있다. 즉, 상기 티샷 영상은 골퍼가 티샷하는 시각을 포함하는 촬영 시간동안 관심 영역을 촬영한 영상일 수 있다.The camera image capturing step (S10) is a step of capturing a tee shot image with the wide-angle camera 110 and the telephoto camera 140 for a region of interest set above the tee box, including the golf ball to be tee-shot. Here, the tee shot image may refer to images captured during a predetermined shooting time before and after the golfer tees off the golf ball. That is, the tee shot image may be an image obtained by capturing an area of interest during a capturing time including a golfer's tee shot time.

상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 전송되는 별도의 트리거 신호에 의하여 시작될 수 있다. 상기 트리거 신호는 캐디가 소지하고 있는 캐디 단말기 또는 골퍼가 소지하고 있는 골퍼 단말기와 같은 수신 단말기(400)에 의하여 광각 카메라(110)와 망원 카메라(140)로 전송될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 별도의 트리거 신호 없이도 진행될 수 있다. 예를 들면, 적어도 2명의 골퍼가 한 팀을 이루어 라운딩을 진행하며, 먼저 한 명의 골퍼가 티샷을 하고 다음에 다른 한 명의 골퍼가 연속적으로 티샷을 진행하는 것이 확실한 경우에 다른 한 명의 골퍼에 대하여는 별도의 트리거 신호를 수신하지 않고도 카메라 영상 촬영 단계(S10)를 시작할 수 있다. 즉, 상기 카메라 영상 촬영 단계(S10)는 한 팀에서 처음 골퍼가 티샷할 때만 트리거 신호를 수신하며, 다음 골퍼부터는 트리거 신호를 수신하지 않고도 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 소정의 시간 전부터 진행될 수 있다. 예를 들면, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 수초 전부터 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티박스에서 티샷을 준비하는 때부터 진행될 수 있다.The camera image capturing step (S10) may be started by a separate trigger signal transmitted to the wide-angle camera 110 and the telephoto camera 140. The trigger signal may be transmitted to the wide-angle camera 110 and the telephoto camera 140 by a receiving terminal 400 such as a caddy terminal owned by a caddy or a golfer terminal owned by a golfer. In addition, the camera image capturing step (S10) may proceed without a separate trigger signal. For example, if at least two golfers play a round as a team, and it is certain that one golfer will tee-shot first and then the other golfer will tee-shot consecutively, separate The camera image capturing step (S10) may be started without receiving a trigger signal of . That is, the camera image capturing step (S10) receives a trigger signal only when the first golfer in one team makes a tee shot, and may proceed from the next golfer without receiving a trigger signal. In addition, the camera image capturing step (S10) may be performed before a predetermined time before the golfer tees off. For example, the camera image capturing step (S10) may be performed several seconds before the golfer tees off. In addition, the camera image capturing step (S10) may proceed from when the golfer prepares for a tee shot at the tee box.

상기 관심 영역은 정상적으로 티삿된 골프공이 날아가는 영역을 포함하는 영역이다. 상기 관심 영역은, 도 2에 도시된 바와 같이, 티 박스에서 티샷되는 골프공이 날아가는 방향과 지면에 대하여 수직으로 설정되는 영역이다.The region of interest is a region including a region where a golf ball normally tees off. As shown in FIG. 2 , the region of interest is an area set perpendicular to the direction in which a golf ball tee-shot from the tee box flies and the ground.

상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)의 성능과 특성에 대응되는 적정한 프레임과 해상도로 촬영할 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 관심 영역의 정면에서 관심 영역을 촬영할 수 있도록 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)가 각각 복수 개로 설치되는 경우에, 티박스에서 가장 가깝게 설치되는 광각 카메라(110)와 망원 카메라(140)가 관심 영역을 촬영하도록 설치될 수 있다.In the camera image capturing step (S10), the image may be captured at an appropriate frame and resolution corresponding to the performance and characteristics of the wide-angle camera 110 and the telephoto camera 140. One or two of the wide-angle camera 110 and the telephoto camera 140 may be installed depending on the shape of the hole course. The wide-angle camera 110 and the telephoto camera 140 may be installed to photograph the region of interest from the front of the region of interest. When a plurality of the wide-angle camera 110 and the telephoto camera 140 are installed, the wide-angle camera 110 and the telephoto camera 140 installed closest to the tee box may be installed to capture a region of interest.

상기 영상 이미지 선택 단계(S20)는 설정되는 이미지 시간 간격으로 티샷 영상에서 적어도 2장의 영상 이미지를 선택하는 단계이다. 즉, 상기 영상 이미지는, 도 5a와 도 5b에서 보는 바와 같이, 티샷 영상에서 정해진 프레임 간격 또는 시간 간격으로 선택되는 이미지일 수 있다. 상기 영상 이미지는 티샷 전후의 시각에서 프레임 간격으로 촬영된 적어도 2장의 영상 이미지일 수 있다. 또한, 상기 영상 이미지는 바람직하게는 티샷 후에 프레임 간격으로 촬영된 적어도 2장의 이미지일 수 있다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 예를 들면, 상기 도 5a와 도 5b는 1.06초와 1.13초에 각각 촬영된 영상 이미지일 수 있다. 상기 이미지 시간 간격은 소정의 프레임 간격 또는 촬영 시간 간격으로 설정될 수 있다. 상기 이미지 시간 간격은 10~60 프레임 또는 0.1~1초로 설정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 2장의 영상 이미지에서 골프공이 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 티 박스와 페어웨이의 배치가 다른 홀 마다 다르게 결정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 티샷시의 골프공의 예상 비행 속도, 카메라 모듈(100)에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 상기 영상 이미지는 컬러 이미지일 수 있다.The video image selection step (S20) is a step of selecting at least two video images from the tee shot video at a set image time interval. That is, as shown in FIGS. 5A and 5B , the video image may be an image selected from a tee shot image at a predetermined frame interval or time interval. The video images may be at least two video images captured at frame intervals before and after the tee shot. Also, the video images may be at least two images taken at frame intervals after the tee shot. 5A and 5B are exemplary video images captured at predetermined time intervals after a tee shot. For example, FIGS. 5A and 5B may be video images captured at 1.06 seconds and 1.13 seconds, respectively. The image time interval may be set to a predetermined frame interval or photographing time interval. The image time interval may be set to 10 to 60 frames or 0.1 to 1 second. The frame interval or shooting time interval needs to be determined so that the golf balls do not overlap each other in the two video images. In addition, the frame interval or the photographing time interval needs to be determined so that both golf balls exist in the two video images. Accordingly, the frame interval or shooting time interval may be determined differently for each hole in which the arrangement of the tee box and the fairway is different. The frame interval or the shooting time interval may be determined in consideration of the expected flight speed of the golf ball at the time of tee shot, the expected flight angle of the golf ball observed by the camera module 100, and the like. The video image may be a color image.

상기 식별 이미지 생성 단계(S30)는 선택된 적어도 2개의 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 단계이다. 상기 식별 이미지 생성 단계(S30)는 적어도 2장의 영상 이미지를 그레이 이미지로 변환시킬 수 있다. 다음으로, 상기 식별 이미지 생성 단계(S30)는 2장의 그레이 이미지의 색상값 차이를 산출하고 산출된 색상값을 반영하여 식별 이미지를 생성할 수 있다. 여기서, 상기 영상 이미지는 상기에서 언급한 바와 같이 컬러 이미지일 수 있다. 따라서, 상기 영상 이미지는 각각의 화소가 RGB 값을 화소에 대한 색상값으로 가질 수 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지는 이미지일 수 있다. 상기 그레이 이미지는 영상 이미지의 RGB값에 따른 그레이 스케일의 색상값을 가질 수 있다. 또한, 상기 식별 이미지는 2가지 색으로만 이루어진 이미지일 수 있다. 상기 식별 이미지는 2장의 그레이 이미지의 색상값 차이에 의하여 생성되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 검은색과 흰색만으로 이루어진 이미지를 의미할 수 있다. 상기 식별 이미지는 각각의 화소가 0 또는 255를 색상값으로 가질 수 있다. 상기 식별 이미지는 골프공과 배경이 다른 색으로 표시되어 골프공이 용이하게 식별되도록 하는 이미지일 수 있다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환한 예시적인 그레이 이미지이다.The identification image generating step (S30) is a step of generating an identification image reflecting a color value difference between at least two selected video images. In the identification image generating step (S30), at least two video images may be converted into gray images. Next, in the identification image generating step (S30), an identification image may be generated by calculating a color value difference between the two gray images and reflecting the calculated color value. Here, the video image may be a color image as mentioned above. Accordingly, in the video image, each pixel may have an RGB value as a color value for the pixel. The gray image may be an image in which each pixel has a gray scale of 0 (black) to 255 (white) as a color value. The gray image may have a gray scale color value according to RGB values of the video image. Also, the identification image may be an image composed of only two colors. The identification image may be an image generated by a difference in color values of two gray images. Accordingly, the identification image may refer to an image consisting only of black and white. In the identification image, each pixel may have 0 or 255 as a color value. The identification image may be an image in which the golf ball and the background are displayed in different colors so that the golf ball can be easily identified. 6A and 6B are exemplary gray images obtained by converting the video images of FIGS. 5A and 5B into a gray scale.

상기 식별 이미지 생성 단계(S30)는 그레이 이미지 생성 과정과 색상값 차이 산출 과정 및 식별 이미지 생성 과정을 포함할 수 있다.The identification image generation step (S30) may include a gray image generation process, a color value difference calculation process, and an identification image generation process.

상기 그레이 이미지 생성 과정은 적어도 2개의 영상 이미지를 그레이 이미지로 변환시키는 과정이다. 상기 적어도 2개의 영상 이미지는 상기에서 언급한 바와 같이 시간적으로 소정의 이미지 시간 간격으로 촬영된 이미지일 수 있다. 따라서, 상기 그레이 이미지는 상대적으로 가장 먼저 촬영된 영상 이미지로부터 변환되는 제 1 그레이 이미지와 다음 이미지 시간 간격으로 촬영된 영상 이미지로부터 변환되는 제 2 그레이 이미지를 포함할 수 있다. 상기 그레이 이미지는 N 개로 생성되는 경우에 가장 나중에 촬영된 영상 이미지로부터 변환되는 제 N 그레이 이미지를 포함할 수 있다.The gray image generation process is a process of converting at least two video images into gray images. As mentioned above, the at least two video images may be images captured temporally at predetermined image time intervals. Accordingly, the gray image may include a first gray image converted from a video image captured relatively first and a second gray image converted from a video image captured at a next image time interval. When N gray images are generated, an Nth gray image converted from a video image captured last may be included.

상기 영상 이미지는 상기에서 언급한 바와 같이 각각의 화소가 RGB값을 화소에 대한 색상값으로 가지고 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지게 된다. 상기 그레이 이미지는 컬러 이미지를 그레이 이미지로 변환시키는 일반적으로 과정에 의하여 변환될 수 있다.As mentioned above, in the video image, each pixel has an RGB value as a color value for the pixel. In the gray image, each pixel has a gray scale of 0 (black) to 255 (white) as a color value. The gray image may be converted by a general process of converting a color image into a gray image.

상기 색상값 차이 산출 과정은 2개의 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 과정이다. 상기 색상값 차이 산출 과정은 바람직하게는 상대적으로 늦게 촬영된 영상 이미지가 변환되는 제 2 그레이 이미지에서 제 1 그레이 이미지의 색상값을 빼서 색상값 차이를 산출할 수 있다. 상기 제 2 그레이 이미지는 시간상으로 보면 가장 최근의 골프공의 위치를 포함하므로 제 2 그레이 이미지를 기준으로 제 1 그레이 이미지와의 차이를 산출하는 것이 골프공의 위치를 추적하는데 유리할 수 있다. 한편, 상기 그레이 이미지가 N개로 이루어지는 경우에 제 N 그레이 이미지를 기준으로 색상값 차이를 산출할 수 있다. 상기 색상값 차이 산출 과정에 의하여 제 2 그레이 이미지의 각 화소에 대응되는 색상값 차이가 산출될 수 있다.The color value difference calculation process is a process of calculating the color value difference of each pixel by comparing the color values of each pixel at the corresponding position of the two gray images. In the color value difference calculation process, the color value difference may be calculated by subtracting the color value of the first gray image from the second gray image in which the video image taken relatively late is converted. Since the second gray image includes the position of the most recent golf ball in terms of time, calculating a difference from the first gray image based on the second gray image may be advantageous in tracking the position of the golf ball. Meanwhile, when the number of gray images is N, a color value difference may be calculated based on the Nth gray image. A color value difference corresponding to each pixel of the second gray image may be calculated through the color value difference calculation process.

상기 영상 이미지는 고정된 광각 카메라(110) 또는 망원 카메라(140)로 티샷을 진행하는 짧은 시간에 촬영한 영상으로부터 추출된 이미지이다. 상기 영상 이미지들은 티박스를 찍은 이미지이므로 이동하는 물체인 골프공과 이동하지 않는 배경을 포함한다. 한편, 상기 영상 이미지들은 드물게 새 또는 나뭇잎과 같은 이동하는 물체가 포함될 수 있다.The video image is an image extracted from a video captured in a short time during a tee shot with a fixed wide-angle camera 110 or a telephoto camera 140. Since the video images are images of a tee box, they include a golf ball as a moving object and a non-moving background. Meanwhile, the video images may rarely include moving objects such as birds or leaves.

따라서, 상기 영상 이미지들을 대비하면, 골프공이 위치하는 영역들을 제외하고는 색상값에 변화가 없게 된다. 또한, 상기 그레이 이미지도 골프공이 위치하는 영역들을 제외하고는 그레이 스케일의 색상값이 거의 동일하게 된다. 따라서, 상기 2개의 그레이 이미지의 색상값의 차이를 산출하게 되면, 골프공이 위치하는 영역을 제외한 영역은 색상값의 차이가 거의 없게 되며, 골프공이 위치하는 영역만 색상값 차이가 발생될 수 있다. 상기 골프공이 위치하는 영역의 색상값의 차이는 골프공의 색상과 골프공이 지나가는 영역의 배경의 색상의 차이에 따라 결정될 수 있다. Therefore, when the video images are contrasted, there is no change in color values except for areas where the golf ball is located. Also, the gray image has substantially the same gray scale color values except for areas where the golf ball is located. Therefore, when the difference in color values between the two gray images is calculated, there is almost no difference in color values except for the area where the golf ball is located, and a difference in color values may occur only in the area where the golf ball is located. The difference in color value of the area where the golf ball is located may be determined according to the difference between the color of the golf ball and the color of the background of the area through which the golf ball passes.

상기 식별 이미지 생성 과정은 각 화소별로 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색으로 표시하여 식별 이미지를 생성하는 과정이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 상기 흰색의 색상값은 255이며, 검은색의 색상값은 0일 수 있다. 상기 식별 이미지는 각 화소가 가지는 색상값이 0 또는 255이며, 흑백 이미지로 형성될 수 있다. 예를 들면, 상기 식별 기준값이 100인 경우에 색상값 차이가 100보다 큰 화소는 색상값으로 255를 할당하고, 색상값 차이가 100보다 작은 화소는 색상값으로 0을 할당할 수 있다. 따라서, 상기 식별 이미지는 흰색 영역과 검은색 영역만을 포함하는 이미지로 형성될 수 있다. 상기 식별 이미지에서 골프공이 위치하는 영역은 흰색에 대응되는 색상값이 할당되고, 배경이 위치하는 영역은 검은색에 대응되는 색상값이 할당될 수 있다.In the process of generating the identification image, a white color value is assigned to a pixel having a difference in color value greater than the set identification reference value for each pixel and displayed as a white area, and a black color value is assigned to a pixel smaller than the identification reference value to display a black area. This is the process of creating an identification image by displaying it in color. 7 is an exemplary identification image generated from the gray images of FIGS. 6A and 6B. The color value of white may be 255, and the color value of black may be 0. The identification image has a color value of 0 or 255 for each pixel, and may be formed as a black and white image. For example, when the identification reference value is 100, a color value of 255 may be assigned to a pixel having a color value difference greater than 100, and a color value of 0 may be assigned to a pixel having a color value difference of less than 100. Accordingly, the identification image may be formed of an image including only a white area and a black area. In the identification image, a color value corresponding to white may be allocated to an area where the golf ball is located, and a color value corresponding to black may be allocated to an area where the background is located.

상기 식별 이미지는 골프공이 위치하는 영역이 흰색으로 표시되고, 나머지가 검은색으로 표시되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 골프공과 배경을 보다 정확하고 효율적으로 구별할 수 있도록 해준다. 상기 식별 이미지에서 골프공이 위치하는 영역은 원형일 수 있으며, 영상 이미지에서 골프공의 크기에 대응되는 면적일 수 있다.The identification image may be an image in which an area where the golf ball is located is displayed in white and the rest is displayed in black. Accordingly, the identification image enables more accurate and efficient discrimination between the golf ball and the background. An area where the golf ball is located in the identification image may be circular or may be an area corresponding to the size of the golf ball in the video image.

상기 골프공 검출 단계(S40)는 식별 이미지에서 흰색으로 표시되는 영역을 골프공으로 검출하는 단계이다. 상기 식별 이미지는 상기에서 언급한 바와 같이 골프공이 위치하는 영역이 흰색으로 형성되고, 배경이 위치하는 영역이 검은색으로 표시될 수 있다. 따라서, 상기 골프공 검출 단계(S40)는 흰색 영역을 골프공 이미지로 검출할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 흰색 영역의 중심에서 흰색 영역의 전체 면적보다 작은 면적을 갖는 영역으로 검출할 수 있다. The golf ball detection step (S40) is a step of detecting an area displayed in white in the identification image as a golf ball. As mentioned above, in the identification image, the area where the golf ball is located may be formed in white, and the area where the background is located may be displayed in black. Therefore, in the golf ball detection step (S40), the white area may be detected as the golf ball image. Also, in the golf ball detection step (S40), an area having a smaller area than the total area of the white area in the center of the white area may be detected.

상기 흰색 영역은 식별 이미지에서 완전한 원형으로 형성되지 않을 수 있으며, 타원 형상, 사각 형상 또는 부정형 형상으로 형성될 수 있다. 따라서, 상기 골프공은 흰색 영역에서 완전한 원형 또는 정사각형 형상에 대응되는 영역으로 검출할 수 있다. 이러한 경우에, 상기 골프공은 흰색 영역보다 작은 면적으로 검출될 수 있으며, 영상 이미지의 골프공보다 작은 면적으로 검출될 수 있다. 상기 골프공 검출 단계(S40)는 골프공을 식별 이미지에서 좌표와 면적으로 설정할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 골프공 이미지의 무게 중심(Center of Mass)을 계산하여 영상 이미지에서의 좌표(x 및 y 좌표)로 산출할 수 있다.The white area may not be formed in a perfectly circular shape in the identification image, but may be formed in an elliptical shape, a rectangular shape, or an irregular shape. Accordingly, the golf ball may be detected as an area corresponding to a perfect circular or square shape in the white area. In this case, the golf ball may be detected with an area smaller than the white area and may be detected with an area smaller than that of the golf ball in the video image. In the golf ball detection step (S40), the golf ball may be set as coordinates and an area in the identification image. In the golf ball detection step (S40), the center of mass of the golf ball image may be calculated and calculated as coordinates (x and y coordinates) in the video image.

상기 골프공 락온 단계(S42)는 식별 이미지에서 골프공이 아닌 물체를 제거하는 단계이다. 즉, 상기 골프공 락온 단계(S42)는 식별 이미지에서 흰색 영역이 복수 개로 존재하는 경우에 골프공이 위치하는 흰색 영역이 아닌 흰색 영역을 제거할 수 있다. 예를 들면, 상기 골프공이 위치하지 않는 흰색 영역은 검은색의 색상값을 할당할 수 있다. 상기 영상 이미지는 상기에서 언급한 바와 같이 골프공과 함께 낙엽 또는 새와 같은 물체가 포함될 수 있다. 이러한 경우에 상기 골프공 검출 단계(S40)에서는 복수 개의 골프공이 있는 것으로 인식할 수 있다. 상기 골프공 락온 단계(S42)는 골프공 검출 단계(S40) 이전에 진행될 수 있다. 또한, 상기 골프공 락온 단계(S42)는 검출된 골프공이 실제 골프공인지 확인할 수 있다. The golf ball lock-on step (S42) is a step of removing an object other than the golf ball from the identification image. That is, in the golf ball lock-on step (S42), when a plurality of white areas exist in the identification image, a white area other than the white area where the golf ball is located may be removed. For example, a black color value may be assigned to a white area where the golf ball is not located. As mentioned above, the video image may include objects such as leaves or birds along with a golf ball. In this case, in the golf ball detection step (S40), it may be recognized that there are a plurality of golf balls. The golf ball lock-on step (S42) may proceed before the golf ball detection step (S40). Also, in the golf ball lock-on step (S42), it may be confirmed whether the detected golf ball is an actual golf ball.

상기 골프공 락온 단계(S42)는 흰색 영역의 면적과 형상, 흰색 영역의 이동 속도 또는 이동 거리를 고려하여 골프공이 아닌 물체에 의한 흰색 영역을 분리하는 할 수 있다. 여기서 상기 흰색 영역의 이동 속도는 제 1 그레이 이미지와 제 2 그레이 이미지에서 흰색 영역에 대응되는 각각의 위치 사이의 거리와 제 1 그레이 이미지와 제 2 그레이 이미지 사이의 이미지 시간 간격을 사용하여 산출할 수 있다. 상기 골프공의 이동 속도 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 또한, 상기 흰색 영역의 이동 거리는 골프공의 이동 속도와 이미지 시간 간격을 이용하여 산출할 수 있다. 상기 골프공의 이동 거리 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 상기 골프공 락온 단계(S42)는 골프공에 의한 흰색 영역을 특정하여 골프공을 검출할 수 있다.In the golf ball lock-on step (S42), the white area may be separated by an object other than the golf ball in consideration of the area and shape of the white area, and the moving speed or distance of the white area. Here, the moving speed of the white area can be calculated using the distance between each position corresponding to the white area in the first gray image and the second gray image and the image time interval between the first gray image and the second gray image. have. The moving speed range of the golf ball may be set based on an average moving speed when the golf ball is tee-shot. In addition, the moving distance of the white area can be calculated using the moving speed of the golf ball and the image time interval. The movement distance range of the golf ball may be set based on an average movement speed when the golf ball is tee-shot. In the golf ball lock-on step (S42), the golf ball may be detected by specifying a white area of the golf ball.

상기 클러터 리젝션 단계(S44)는 식별 이미지에서 배경에 의한 클러터를 제거하는 단계이다. 여기서, 상기 클러터는 식별 이미지에서 배경등에 의하여 골프공과 동일하게 흰색 영역으로 표시되는 것을 의미할 수 있다. 상기 영상 이미지는 광각 카메라(110)와 망원 카메라(140)가 골프공을 따라 이동하면서 촬영한 영상이므로, 영상 이미지에서 골프공과 함께 배경도 이동하는 물체처럼 나타날 수 있다. 따라서, 상기 영상 이미지들은 골프공과 함께 배경에 의하여 화소별 색상에서 서로 차이가 날 수 있다. 또한, 상기 식별 이미지에서 골프공과 함께 배경의 일부가 흰색 영역으로 표시되어 골프공에 대한 클러터(잡음)를 발생시킬 수 있다.The clutter rejection step (S44) is a step of removing background clutter from the identification image. Here, the clutter may mean that it is displayed as a white area identical to a golf ball due to a background in the identification image. Since the video image is captured while the wide-angle camera 110 and the telephoto camera 140 move along the golf ball, the background along with the golf ball may appear as a moving object in the video image. Therefore, the video images may differ from each other in color of each pixel depending on the background along with the golf ball. In addition, in the identification image, a part of the background together with the golf ball may be displayed as a white area to generate clutter (noise) for the golf ball.

상기 골프공 검출 단계(S40)는 광각 카메라(110)와 망원 카메라(140)에서 촬영한 적어도 2개의 영상 이미지에 의하여 생성되는 식별 이미지를 이용하여 골프공을 검출하게 되므로, 배경에 의한 흰색 영역에 의하여 골프공을 검출하는데 영향을 받을 수 있다. 상기 배경은 그레이 이미지들에서 그레이 스케일의 색상값 차이가 골프공보다 크지 않으므로 식별 이미지 생성 단계(S30)에서 상당 부분 제거될 수 있다. 따라서, 상기 클러터 리젝션 단계(S44)는 주로 배경에 의하여 흰색 영역으로 표시되는 클러터(잡음)을 제거할 수 있다. 또한, 상기 클러터 리젝션 단계(S44)는 골프공과 근접한 거리에 있는 클러터보다 골프공과 원거리에 있는 클러터를 제거할 수 있다. 또한, 상기 골프공과 근접한 클러터는 골프공의 위치 계산에 주는 영향이 작지만, 골프공과 원거리에 위치한 클러터는 골프공의 위치 계산에 오차를 줄 수 있으므로 제거할 필요가 있다.In the golf ball detection step (S40), the golf ball is detected using an identification image generated by at least two video images taken by the wide-angle camera 110 and the telephoto camera 140, so that the white area due to the background is detected. It can be influenced to detect the golf ball by the. The background may be largely removed in the identification image generation step (S30) because the difference in gray scale color values among the gray images is not greater than that of the golf ball. Therefore, in the clutter rejection step S44, clutter (noise) displayed as a white area mainly due to the background may be removed. Also, in the clutter rejection step (S44), clutter that is far from the golf ball may be removed rather than clutter that is closer to the golf ball. In addition, the clutter close to the golf ball has little effect on the calculation of the position of the golf ball, but the clutter located far from the golf ball may cause an error in the calculation of the position of the golf ball, so it is necessary to remove it.

상기 클러터 리젝션 단계(S44)는 식별 이미지에서 생성되는 흰색 영역에 대하여 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘을 적용하여 진행될 수 있다. 상기 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘은 영상 이미지에서 물체나 특정 영역을 인식할 때 일반적으로 사용되는 알고리즘이므로 여기서 구체적인 설명을 생략한다. The clutter rejection step (S44) may be performed by applying a labeling algorithm, a contouring algorithm, or/and a template matching algorithm to the white area generated in the identification image. Since the labeling algorithm, the contouring algorithm, and/or the template matching algorithm are commonly used algorithms for recognizing an object or a specific region in a video image, detailed descriptions thereof are omitted here.

상기 골프공 색상값 결정 단계(S50)는 식별 이미지에서 검출된 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 단계이다. 상기 골프공 색상값은 영상 이미지에서 해당 위치를 형성하는 화소의 RGB값으로 결정될 수 있다. 상기 골프공은 야외에서 사용되므로 날씨, 햇빛 정도등의 광 조건에 따라 색상이 변화할 수 있다. 상기 골프공의 색상은 광 조건에 따라 변하지만 사람이 볼 때 그 변화가 적은 것으로 인지될 수 있다. 그러나, 상기 골프공의 색상은 영상 이미지에서 코드화된 값을 가지며, 조명 조건에 따라 함께 변하게 된다. 상기 골프공 색상값은 이후에 진행되는 골프공 추적 단계(S60)에서 사용될 수 있다. 상기 골프공 색상값은 화소의 색상값을 기준으로 상한치와 하한치를 포함하는 범위로 정해질 수 있다. 예를 들면, 상기 골프공 색상값 범위는 화소의 색상값을 기준으로 +10%를 상한치로 하고 -10%를 하한치로 결정될 수 있다.The golf ball color value determination step (S50) is a step of determining the color value of the video image corresponding to the position of the golf ball detected in the identification image as the golf ball color value. The golf ball color value may be determined as an RGB value of a pixel forming a corresponding position in a video image. Since the golf ball is used outdoors, its color may change depending on light conditions such as weather and sunlight. Although the color of the golf ball changes depending on light conditions, the change can be perceived as small when viewed by a human. However, the color of the golf ball has a coded value in the video image and changes according to lighting conditions. The golf ball color value may be used in the subsequent golf ball tracking step (S60). The golf ball color value may be determined as a range including an upper limit value and a lower limit value based on the color value of a pixel. For example, the golf ball color value range may be determined as an upper limit value of +10% and a lower limit value of -10% based on the color value of a pixel.

상기 골프공 추적 단계(S60)는 골프공 색상값을 이용하여 광각 카메라(110)와 망원 카메라(140)가 촬영한 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 광각 카메라(110)와 망원 카메라(140)를 제어하면서 골프공을 추적하는 단계이다. 상기 골프공 추적 단계(S60)는 골프공의 색상값을 이용하여 영상 이미지를 이진화 이미지로 변환시켜 골프공을 보다 용이하게 인식하도록 할 수 있다.In the golf ball tracking step (S60), video images captured by the wide-angle camera 110 and the telephoto camera 140 are converted into binary images using the golf ball color values to recognize the golf ball, and the wide-angle camera 110 and the telephoto camera 140 recognize the golf ball. This step is to track the golf ball while controlling the camera 140 . In the golf ball tracking step (S60), the video image is converted into a binary image using the color value of the golf ball, so that the golf ball can be more easily recognized.

상기 골프공은 티샷 후에 지속적으로 비행하므로 순차적으로 촬영되는 영상 이미지에서 중앙으로부터 외곽 방향으로 이동할 수 있다. 따라서, 상기 광각 카메라(110)와 망원 카메라(140)는 골프공이 영상 이미지의 중앙에 위치하도록 제어되는 경우에 골프공을 놓치지 않고 추적할 수 있다. 상기 골프공이 영상 이미지의 중앙에 위치되도록 하면 광각 카메라(110)와 망원 카메라(140)가 골프공을 추적할 때 골프공이 광각 카메라(110)로부터 벗어날 확률을 감소시킬 수 있다. 상기 골프공 추적 단계(S60)는 골프공을 연속적으로 영상 이미지의 중앙에 위치시킴으로써 보다 효율적으로 골프공을 추적할 수 있도록 할 수 있다.Since the golf ball continues to fly after the tee shot, it can move from the center to the outer direction in sequentially captured video images. Accordingly, the wide-angle camera 110 and the telephoto camera 140 can track the golf ball without missing it when the golf ball is controlled to be located in the center of the video image. If the golf ball is positioned at the center of the video image, the probability that the golf ball escapes from the wide-angle camera 110 when the wide-angle camera 110 and the telephoto camera 140 track the golf ball may be reduced. In the golf ball tracking step (S60), the golf ball can be tracked more efficiently by continuously locating the golf ball in the center of the video image.

상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 동시에 활용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 상호 보완적으로 사용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 망원 카메라(140) 또는 망원 카메라(140)가 골프공을 놓쳤을 때, 망원 카메라(140)와 망원 카메라(140)를 연동시키면서 광각 카메라(110)와 망원 카메라(140)가 골프공을 놓치지 않고 추적하도록 할 수 있다. 예를 들면, 상기 망원 카메라(140)가 골프공을 놓치는 경우(골프공이 바위 또는 나무등에 맞아 튀는 때와 같이 비정상적으로 빠른 게 움직인 경우)에 광각 카메라(110)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 망원 카메라(140)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다. 또한, 상기 광각 카메라(110)가 골프공을 놓치는 경우(골프공이 하늘로 올라가고 하늘에 구름이 있어 골프공과 색상 구별이 어려운 경우)에 망원 카메라(140)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 광각 카메라(110)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다.In the golf ball tracking step (S60), the golf ball may be tracked by simultaneously utilizing the wide-angle camera 110 and the telephoto camera 140. In the golf ball tracking step (S60), the golf ball may be tracked using the wide-angle camera 110 and the telephoto camera 140 complementary to each other. In the golf ball tracking step (S60), when the telephoto camera 140 or the telephoto camera 140 misses the golf ball, the wide-angle camera 110 and the telephoto camera ( 140) can track the golf ball without missing it. For example, when the telephoto camera 140 misses a golf ball (if the golf ball moves abnormally fast, such as when it bounces against a rock or tree), the rotation angle or rotation direction of the wide-angle camera 110 Using the data, the telephoto camera 140 can be rotated to find and track the golf ball again. In addition, when the wide-angle camera 110 misses the golf ball (when the golf ball goes up to the sky and there are clouds in the sky, it is difficult to distinguish the color from the golf ball), data on the rotation angle or rotation direction of the telephoto camera 140 is used. By doing so, the wide-angle camera 110 can be rotated to find and track the golf ball again.

상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 포함할 수 있다. 또한, 상기 골프공 추적 단계(S60)는 검색 관심 영역 설정 과정을 더 포함할 수 있다. 상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 추적할 수 있다.The golf ball tracking step (S60) may include an image binarization process, a golf ball recognition process, and a golf ball location change process. Also, the golf ball tracking step (S60) may further include a process of setting a search region of interest. In the golf ball tracking step (S60), the golf ball may be tracked while repeating the image binarization process, the golf ball recognition process, and the golf ball position change process.

상기 이미지 이진화 과정은 영상 이미지를 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 과정이다. 상기 골프공 색상값은 상기에서 설명한 바와 같이 소정 범위를 갖는 색상값일 수 있다. 상기 이진화 이미지는 골프공 영역을 흰색으로 나타내고, 배경 영역을 검은색으로 나타낼 수 있다. 따라서, 상기 이미지 이진화 과정은 영상 이미지에서 골프공의 색상을 제외한 색상을 모두 제거할 수 있다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다. 도 8a와 도 8b를 참조하면, 골프공은 2장의 이진화 이미지에서 위치가 비행 방향으로 변동되는 것을 확인할 수 있다.The image binarization process is a process of converting a video image into a binarized image having a golf ball area having a golf ball color value and a background area having no golf ball color value. As described above, the golf ball color value may be a color value having a predetermined range. In the binarized image, the golf ball area may be displayed in white and the background area may be displayed in black. Accordingly, the image binarization process may remove all colors except for the color of the golf ball from the video image. 8A and 8B are binarized images generated from video images captured at predetermined intervals. Referring to FIGS. 8A and 8B , it can be seen that the position of the golf ball changes in the flight direction in two binarized images.

상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공 영역을 포함하는 영역을 검색 관심 영역으로 설정하는 과정이다. 상기 검색 관심 영역은 이진화 이미지에서 골프공을 검색하기 위한 영역을 의미할 수 있다. 상기 골프공은 계속 비행하고 있는 상태이므로 골프공을 인식하기 위하여 검색해야 하는 영역이 계속 변하게 된다. 상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공을 인식하기 위하여 검색하는 검색 관심 영역을 설정하는 과정이다. 상기 검색 관심 영역 설정 과정은 이진화 이미지의 전체 면적보다 상대적으로 작은 면적으로 검색 관심 영역을 설정할 수 있다. 상기 검색 관심 영역은 이진화 이미지에서 골프공 영역을 포함하는 면적으로 형성될 수 있다. 예를 들면, 상기 검색 관심 영역은 골프공 영역의 최대폭에 +500%가 증가된 폭과 골프공 영역의 최대 높이에 +500%가 증가된 높이로 설정될 수 있다. 상기 골프공 영역이 대략 원형인 경우에 골프공 영역의 최대폭은 직경일 수 있다. 또한, 상기 골프공 영역이 부정형 형상인 경우에, 골프공 영역의 최대폭은 수평 방향으로 연장되는 선들중에서 가장 길이가 긴 선의 길이일 수 있다. 상기 검색 관심 영역 설정 과정은 골프공 인식 과정에서 검색해야 하는 영역을 감소시켜서 골프공 인식을 위한 연산 속도를 증대시키고 클러터에 의한 영향을 감소시킬 수 있다.The process of setting a region of interest for search is a process of setting a region including a golf ball region in the binarized image as a region of interest for search. The search region of interest may refer to a region for searching for a golf ball in the binarized image. Since the golf ball continues to fly, the area to be searched for recognizing the golf ball continues to change. The process of setting the search region of interest is a process of setting a search region of interest to be searched for recognizing a golf ball in the binarized image. In the process of setting the region of interest for search, the region of interest for search may be set to a relatively smaller area than the entire area of the binarized image. The search region of interest may be formed as an area including a golf ball region in the binarized image. For example, the region of interest for search may be set to a width increased by +500% from the maximum width of the golf ball area and a height increased by +500% from the maximum height of the golf ball area. When the golf ball area is substantially circular, the maximum width of the golf ball area may be a diameter. Also, when the golf ball area has an irregular shape, the maximum width of the golf ball area may be the length of the longest line among lines extending in the horizontal direction. The process of setting the region of interest for search can reduce the region to be searched in the golf ball recognition process, thereby increasing the computational speed for golf ball recognition and reducing the influence of clutter.

상기 골프공 인식 과정은 이진화 이미지에서 골프공을 인식하여 골프공의 위치를 결정하는 과정이다. 상기 골프공 인식 과정은 이진화 이미지를 스캔하면서 골프공 영역인 흰색 영역을 인식할 수 있다. 이때, 상기 골프공 인식 과정은 이진화 이미지의 전체 또는 이진화 이미지에 설정된 검색 관심 영역을 스캔할 수 있다. 또한, 상기 골프공 인식 과정은 인식된 골프공의 위치를 이진화 이미지에서 결정할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 인식된 골프공 이미지의 무게 중심을 계산하여 산출할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 x축과 y축에 대한 좌표값(x, y)으로 설정할 수 있다.The golf ball recognizing process is a process of determining the position of the golf ball by recognizing the golf ball in the binarized image. The golf ball recognition process may recognize a white area, which is a golf ball area, while scanning a binarized image. In this case, the golf ball recognition process may scan the entire binarized image or a search region of interest set in the binarized image. Also, the golf ball recognition process may determine the position of the recognized golf ball in the binarized image. The position of the golf ball may be calculated by calculating the center of gravity of the golf ball image recognized in the binarized image. The position of the golf ball may be set as coordinate values (x, y) of the x-axis and y-axis in the binarized image.

상기 골프공 위치 변경 과정은 인식된 골프공의 위치가 이진화 이미지에서 중앙에 오도록 광각 카메라(110)와 망원 카메라(140)의 방향을 이동시키는 과정이다. 상기 골프공 위치 변경 과정은 광각 카메라(110)와 망원 카메라(140)를 제어하여 골프공의 산출된 위치가 이진화 이미지에서 중앙에 오도록 진행될 수 있다. 즉, 상기 골프공 위치 변경 과정은 골프공이 이진화 이미지에서 중앙에 위치하도록 광각 카메라(110)와 망원 카메라(140)를 제어하여 회전시키게 된다. 이때, 상기 광각 카메라(110)와 망원 카메라(140)는 수평 방향과 상하 방향으로 회전할 수 있다.The process of changing the position of the golf ball is a process of moving the directions of the wide-angle camera 110 and the telephoto camera 140 so that the position of the recognized golf ball comes to the center of the binarized image. The process of changing the location of the golf ball may be performed by controlling the wide-angle camera 110 and the telephoto camera 140 so that the calculated location of the golf ball comes to the center of the binarized image. That is, in the process of changing the position of the golf ball, the wide-angle camera 110 and the telephoto camera 140 are controlled and rotated so that the golf ball is positioned at the center of the binarized image. At this time, the wide-angle camera 110 and the telephoto camera 140 may rotate horizontally and vertically.

상기 골프공 추적 단계(S60)는 상기에서 언급한 바와 같이 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 연속적으로 추적할 수 있다. 상기 골프공 추적 단계(S60)는 하나의 영상 이미지에 대하여 골프공 위치 변경 과정이 완료되면 다시 새로운 영상 이미지에 대하여 이미지 이진화 과정과 골프공 인식 과정 및 골프공 위치 변경 과정을 진행할 수 있다. 또한, 상기 검색 관심 영역은 현재 이미지 이진화 과정이 진행되는 영상 이미지보다 전의 영상 이미지에서의 검색 관심 영역과 골프공의 이동 방향 및 이동 속도를 반영한 영역으로 설정될 수 있다. 예를 들면, 상기 골프공의 이동 방향과 이동 속도는 이전의 골프공 추적 단계(S60)들에서 골프공의 이동 방향과 이동 거리를 반영하여 산출될 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)의 회전 각도를 통하여 지면에서 바라보았을 때의 골프공의 궤적을 도출할 수 있다. As mentioned above, in the golf ball tracking step (S60), the golf ball may be continuously tracked while repeating the image binarization process, the golf ball recognition process, and the golf ball position change process. In the golf ball tracking step (S60), when the golf ball position change process for one video image is completed, the image binarization process, golf ball recognition process, and golf ball position change process may be performed again for a new video image. Also, the region of interest to be searched may be set to a region in which the region of interest to be searched in a video image prior to the video image in which the current image binarization process is performed and the moving direction and moving speed of the golf ball are reflected. For example, the moving direction and moving speed of the golf ball may be calculated by reflecting the moving direction and moving distance of the golf ball in the previous golf ball tracking steps (S60). In the golf ball tracking step (S60), the trajectory of the golf ball when viewed from the ground may be derived through rotational angles of the wide-angle camera 110 and the telephoto camera 140.

상기 골프공 착지 확인 단계(S70)는 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 골프공을 포함하는 착지 이미지를 생성하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)가 진행되면서 이진화 이미지에서 골프공이 인식되는지 여부를 확인하는 단계이다. 보다 구체적으로는 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)의 골프공 인식 과정에서 골프공이 인식되는지 여부를 확인하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 인식 과정이 일정 회수 반복되지 않으면 골프공의 이동이 없는 것으로 판단하여 골프공이 착지된 것으로 간주할 수 있다. 상기 골프공 착지 확인 단계(S70)는 지면에 착지된 골프공의 착지 이미지를 생성할 수 있다. 상기 착지 이미지는 착지된 골프공과 주위 배경을 포함하는 이미지일 수 있다. 또한, 상기 골프공 착지 확인 단계(S70)는 착지 영상을 생성할 수 있다. The golf ball landing confirmation step (S70) is a step of generating a landing image including the landing golf ball by checking whether or not the golf ball has landed on the ground. The golf ball landing confirmation step (S70) is a step of checking whether or not the golf ball is recognized in the binarized image while the golf ball tracking step (S60) proceeds. More specifically, the golf ball landing confirmation step (S70) is a step of checking whether or not the golf ball is recognized in the golf ball recognition process of the golf ball tracking step (S60). In the golf ball landing confirmation step (S70), if the golf ball recognition process is not repeated a predetermined number of times, it may be determined that the golf ball has not moved and the golf ball has landed. In the golf ball landing confirmation step (S70), a landing image of the golf ball landing on the ground may be generated. The landing image may be an image including a landed golf ball and a surrounding background. Also, in the golf ball landing confirmation step (S70), a landing image may be generated.

또한, 상기 골프공 착지 확인 단계(S70)는 골프공의 착지가 확인되면 착지된 골프공이 포함된 착지 영상 이미지를 수신 단말기(400)로 전송하여 골프공이 착지된 위치를 확인할 수 있도록 한다. 상기 수신 단말기(400)는 수신된 착지 영상 이미지를 표시하여 캐디 또는 골퍼가 골프공이 착지된 위치를 확인할 수 있도록 한다.In addition, in the golf ball landing confirmation step (S70), when the landing of the golf ball is confirmed, a landing video image including the landed golf ball is transmitted to the receiving terminal 400 so that the landing position of the golf ball can be confirmed. The receiving terminal 400 displays the received landing video image so that the caddy or golfer can check the landing position of the golf ball.

상기 골프공 비행 영상 생성 단계(S80)는 카메라 영상 촬영 단계(S10)부터 골프공 착지 확인 단계(S70)까지 광각 카메라(110) 또는/및 망원 카메라(140)로 촬영되는 영상들로 비행 동영상을 생성하는 단계이다. 본 발명의 골프공 추적 방법은 각 단계의 수행을 위하여 카메라 영상 촬영 단계(S10)부터 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공 비행 영상을 촬영하며 저장할 수 있다. 따라서, 상기 골프공 비행 영상 생성 단계(S80)는 하나의 티샷된 골프공에 대하여 저장된 영상을 분리하여 비행 동영상으로 생성할 수 있다. 상기 골프공 비행 영상 생성 단계(S80)는 골프공 착지 확인 단계(S70)가 완료된 후에 진행될 수 있다. 상기 비행 동영상은 골프공이 비행하는 영상과 착지하는 영상을 포함할 수 있다.In the golf ball flight image generation step (S80), the flight video is generated with images captured by the wide-angle camera 110 or/and the telephoto camera 140 from the camera image capturing step (S10) to the golf ball landing confirmation step (S70). This is the stage of creation. In the golf ball tracking method of the present invention, golf ball flight images may be captured and stored using the wide-angle camera 110 and the telephoto camera 140 from the camera image capturing step (S10) to perform each step. Accordingly, in the golf ball flight image generating step (S80), a flight video may be generated by separating a stored image of one tee shot golf ball. The golf ball flight image generating step (S80) may be performed after the golf ball landing confirmation step (S70) is completed. The flight video may include an image of a golf ball flying and a landing image.

상기 골프공 비행 영상 전송 단계(S90)는 골프공 비행 영상 생성 단계(80)에서 생성된 골프공 비행 영상을 수신 단말기(400)로 전송하는 단계이다. 상기 골프공 비행 영상은 광각 카메라(110)에 의한 비행 동영상 또는 망원 카메라(140)에 의한 비행 동영상일 수 있다. 상기 골프공 비행 영상은 중앙 서버(300)에 의하여 수신 단말기(400)로 전송될 수 있다.The golf ball flight image transmission step (S90) is a step of transmitting the golf ball flight image generated in the golf ball flight image generation step (80) to the receiving terminal (400). The golf ball flight image may be a flight video by the wide-angle camera 110 or a flight video by the telephoto camera 140 . The golf ball flight image may be transmitted to the receiving terminal 400 by the central server 300 .

이상에서 설명한 것은 본 발명에 따른 골프공 추적 방법 및 이를 위한 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the golf ball tracking method and system therefor according to the present invention, and the present invention is not limited to the above-described embodiment, and as claimed in the following claims, the present invention Anyone with ordinary knowledge in the field to which the invention pertains without departing from the gist of the invention will say that the technical spirit of the present invention exists to the extent that various changes can be made.

100: 카메라 모듈 110: 광각 카메라
120: 광각 틸팅 모터 130: 광각 패닝 모터
140: 망원 카메라 150: 망원 틸팅 모터
160: 망원 패닝 모터 200: 카메라 제어 모듈
300: 중앙 서버 400: 골퍼 단말기
500: 로컬 서버
100: camera module 110: wide-angle camera
120: wide-angle tilting motor 130: wide-angle panning motor
140: telephoto camera 150: telephoto tilting motor
160: telescopic panning motor 200: camera control module
300: central server 400: golfer terminal
500: local server

Claims (8)

광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와,
상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와,
선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와,
상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와,
상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와,
상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및
상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 것을 특징으로 하는 골프공 추적 방법.
A camera shooting image step of taking a tee shot image with respect to a region of interest set above the tee box, including a golf ball to be shot with a wide-angle camera and a telephoto camera;
A video image selection step of selecting at least two video images at an image time interval from the tee shot video;
An identification image generating step of generating an identification image reflecting a color value difference between the selected at least two video images;
A golf ball detection step of detecting an area displayed in white in the identification image as the golf ball;
A golf ball color value determination step of determining a color value of a video image corresponding to the position of the golf ball detected in the identification image as a golf ball color value;
A golf ball tracking step of converting video images captured by the wide-angle camera and the telephoto camera into a binary image using the golf ball color value to recognize a golf ball and track the golf ball while controlling the wide-angle camera and the telephoto camera; and
and a golf ball landing confirmation step of determining whether the golf ball has landed on the ground and generating a landing image including the landed golf ball.
제 1 항에 있어서,
상기 식별 이미지 생성 단계는
적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과,
2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및
각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.
According to claim 1,
The identification image generation step is
A gray image generation process of converting at least two video images into gray images;
A color value difference calculation process of calculating a color value difference of each pixel by comparing color values for each pixel at a corresponding position of the two gray images, and
For each pixel, a white color value is assigned to a pixel whose color value difference is greater than the set identification reference value and displayed as a white area, and a black color value is assigned to a pixel smaller than the identification reference value and displayed as a black area The golf ball tracking method comprising an identification image generation process of generating the identification image.
제 2 항에 있어서,
상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.
According to claim 2,
and a golf ball lock-on step of displaying a white area other than the white area where the golf ball is located as a black area when there are a plurality of white areas in the identification image.
제 2 항에 있어서,
상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.
According to claim 2,
The golf ball tracking method of claim 1 , further comprising a clutter rejection step of removing clutter caused by a background from the identification image.
제 1 항에 있어서,
상기 골프공 추적 단계는
상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과,
상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및
인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.
According to claim 1,
The golf ball tracking step is
An image binarization process of converting the video image into a binarized image having a golf ball area having the golf ball color value and a background area not having the golf ball color value;
A golf ball recognition process for determining the position of the golf ball by recognizing the golf ball in the binarized image; and
and a golf ball position change process of moving directions of the wide-angle camera and the telephoto camera so that the recognized golf ball position is centered in the binarized image.
제 1 항에 있어서,
상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및
상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.
According to claim 1,
A golf ball flight image generation step of capturing a golf ball flight image from the camera image capturing step to the golf ball landing confirmation step with the wide-angle camera and the telephoto camera to generate a golf ball flight image; and
The golf ball tracking method further comprising a transmission step of transmitting the golf ball flight image to a receiving terminal.
제 1 항에 있어서,
상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적하는 것을 특징으로 하는 골프공 추적 방법.
According to claim 1,
The golf ball tracking method according to claim 1 , wherein the wide-angle camera and the telephoto camera are interlocked to track the golf ball.
광각 카메라와 망원 카메라를 포함하며, 골프공의 비행 영상을 촬영하는 카메라 모듈과,
상기 카메라 모듈을 제어하는 카메라 제어 모듈과,
상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및
상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 제 1 항에 따른 골프공 추적 방법을 수행하는 골프공 추적 시스템.
A camera module including a wide-angle camera and a telephoto camera and capturing a flight image of a golf ball;
A camera control module for controlling the camera module;
A central server interworking with the camera control module through the Internet or a separate communication network; and
A golf ball tracking system that is interlocked with the central server or the camera control module, and includes a receiving terminal that receives a golf ball landing image or a golf ball flight image of the golf ball, and performs the golf ball tracking method according to claim 1.
KR1020210070694A 2021-06-01 2021-06-01 Method for Tracing Golf Ball and System for the Same KR102578232B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210070694A KR102578232B1 (en) 2021-06-01 2021-06-01 Method for Tracing Golf Ball and System for the Same
KR1020230117907A KR102621864B1 (en) 2021-06-01 2023-09-05 Method for Tracing Golf Ball and System for the Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210070694A KR102578232B1 (en) 2021-06-01 2021-06-01 Method for Tracing Golf Ball and System for the Same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230117907A Division KR102621864B1 (en) 2021-06-01 2023-09-05 Method for Tracing Golf Ball and System for the Same

Publications (2)

Publication Number Publication Date
KR20220162909A true KR20220162909A (en) 2022-12-09
KR102578232B1 KR102578232B1 (en) 2023-09-15

Family

ID=84440287

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210070694A KR102578232B1 (en) 2021-06-01 2021-06-01 Method for Tracing Golf Ball and System for the Same
KR1020230117907A KR102621864B1 (en) 2021-06-01 2023-09-05 Method for Tracing Golf Ball and System for the Same

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230117907A KR102621864B1 (en) 2021-06-01 2023-09-05 Method for Tracing Golf Ball and System for the Same

Country Status (1)

Country Link
KR (2) KR102578232B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116666A (en) * 2005-09-20 2007-05-10 Fujinon Corp Surveillance camera apparatus and surveillance camera system
KR20180106075A (en) * 2017-03-17 2018-10-01 공현식 The system and method for providing real-time golf game information including point-to-point distance and slope using two PTZ camera installed in a golf cart and automatic tracking of golf ball

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116666A (en) * 2005-09-20 2007-05-10 Fujinon Corp Surveillance camera apparatus and surveillance camera system
KR20180106075A (en) * 2017-03-17 2018-10-01 공현식 The system and method for providing real-time golf game information including point-to-point distance and slope using two PTZ camera installed in a golf cart and automatic tracking of golf ball

Also Published As

Publication number Publication date
KR20230134104A (en) 2023-09-20
KR102578232B1 (en) 2023-09-15
KR102621864B1 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
US10143907B2 (en) Planar solutions to object-tracking problems
US7428318B1 (en) Method for capturing, measuring and analyzing motion
US7292711B2 (en) Flight parameter measurement system
KR102681768B1 (en) System and method for golf driving range shot movement path characteristics
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
US20040032970A1 (en) Flight parameter measurement system
CN104125372B (en) Target photoelectric search and detection method
CN112183355B (en) Effluent height detection system and method based on binocular vision and deep learning
CN103106404A (en) Apparatus, method and system
US20230237747A1 (en) Registration for augmented reality system for viewing an event
CN108473201B (en) Unmanned aerial vehicle retraction system, unmanned aerial vehicle retraction method, and recording medium
US11880953B2 (en) Augmented reality system for viewing an event with distributed computing
US11645819B2 (en) Augmented reality system for viewing an event with mode based on crowd sourced images
CN103106654A (en) Apparatus, method and system
US20230118280A1 (en) Use of multiple registrations for augmented reality system for viewing an event
CN103100204B (en) Method, equipment and program
US20240276056A1 (en) Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
CN111541846A (en) Automatic ice kettle image following and shooting system
KR102621864B1 (en) Method for Tracing Golf Ball and System for the Same
CN110717931B (en) System and method for detecting height of hitting point of badminton serving
CN112337074B (en) Badminton level test scoring system based on radar tracking catching ball falling point
CN111330248B (en) Golf entertainment system and golf game method
WO2024137620A1 (en) Use of multiple registrations for augmented reality system for viewing an event
CN118644924A (en) Attendance checking method, device, equipment and readable storage medium
JP2001014469A (en) Ground target detector

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent