KR102621864B1 - Method for Tracing Golf Ball and System for the Same - Google Patents
Method for Tracing Golf Ball and System for the Same Download PDFInfo
- Publication number
- KR102621864B1 KR102621864B1 KR1020230117907A KR20230117907A KR102621864B1 KR 102621864 B1 KR102621864 B1 KR 102621864B1 KR 1020230117907 A KR1020230117907 A KR 1020230117907A KR 20230117907 A KR20230117907 A KR 20230117907A KR 102621864 B1 KR102621864 B1 KR 102621864B1
- Authority
- KR
- South Korea
- Prior art keywords
- golf ball
- image
- camera
- wide
- angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000012790 confirmation Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 62
- 238000004891 communication Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004091 panning Methods 0.000 description 50
- 238000009434 installation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 101100135641 Caenorhabditis elegans par-3 gene Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
- A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
- A63B2024/0053—Tracking a path or terminating locations for locating an object, e.g. a lost ball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
- A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와, 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와, 선택된 적어도 2개의 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와, 식별 이미지에서 흰색으로 표시되는 영역을 골프공으로 검출하는 골프공 검출 단계와, 식별 이미지에서 검출된 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와, 골프공 색상값을 이용하여 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 골프공 추적 방법 및 이를 위한 시스템을 개시한다.The present invention includes a camera capture image step of capturing a tee shot image for an area of interest set at the top of a tee box, including a golf ball being tee shot with a wide-angle camera and a telephoto camera, and at least two video images at image time intervals from the tee shot image. A video image selection step, an identification image generation step of generating an identification image reflecting the color value difference between at least two selected video images, and a golf ball detection step of detecting an area displayed in white in the identification image as a golf ball. A golf ball color value determination step of determining the color value of the video image corresponding to the position of the golf ball detected in the identification image as the golf ball color value, and a wide-angle camera and a telephoto camera using the golf ball color value. A golf ball tracking step that converts the video image into a binary image to recognize the golf ball and tracks the golf ball while controlling the wide-angle camera and telephoto camera, and a landing step that includes the landed golf ball by checking whether the golf ball has landed on the ground. Disclosed is a golf ball tracking method and system for the same, including a golf ball landing confirmation step that generates an image.
Description
본 발명은 골프 라운딩에서 티샷된 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템에 관한 것이다.The present invention relates to a golf ball tracking method and system for tracking a golf ball tee-shot during a round of golf and providing a location where the golf ball lands on the ground.
골프 라운딩은 각 홀마다 거리에 따라 다소의 차이가 있으나 티샷 과정부터 시작되어 세컨 샷 과정을 거쳐 퍼팅 과정으로 종료된다. 상기 티샷 과정은 골퍼가 정해진 위치의 티 박스에서 골프공을 치고 골프공이 지면의 페어웨이 또는 러프에 착지하는 과정이다.A golf round has some differences depending on the distance for each hole, but it starts with the tee shot, goes through the second shot, and ends with the putting process. The tee shot process is a process in which a golfer hits a golf ball from a tee box at a designated location and the golf ball lands on the fairway or rough of the ground.
골프 라운딩은 원활한 진행을 위해서 티샷 과정에서 골프공의 궤적과 지면의 착지 위치를 적정하게 파악하는 것을 필요로 한다. 골프공은 티샷 과정에서 골퍼의 실력에 따라 다양한 방향으로 날아가게 되므로, 골프공의 착지 위치를 파악하는 것이 용이하지 않을 수 있다. 골퍼는 티샷 과정에서 골프공을 치는데 집중하므로, 골프공의 착지 위치는 주로 캐디에게 의존하여 파악하게 된다. 따라서, 캐디는 골프공의 착지 위치를 신속하게 파악하여 골프 라운딩을 원활하게 진행하는데 도움을 준다. 최근에는 캐디의 공급이 원활하지 않으므로, 골프장은 적정하게 캐디를 확보하는데 어려움이 있다. 또한, 캐디의 공급이 원활하지 않으므로, 캐디피가 높아지면서 골퍼의 금전적인 부담이 증가되고 있다.In order for a golf round to proceed smoothly, it is necessary to properly understand the trajectory of the golf ball and the landing position on the ground during the tee shot. Since the golf ball flies in various directions depending on the golfer's skill during the tee shot, it may not be easy to determine the landing location of the golf ball. Since golfers focus on hitting the golf ball during the tee shot, they mainly rely on their caddy to determine the landing location of the golf ball. Therefore, the caddy quickly determines the landing location of the golf ball and helps the golf round proceed smoothly. Recently, the supply of caddies is not smooth, so golf courses have difficulty securing an adequate number of caddies. Additionally, since the supply of caddies is not smooth, the financial burden on golfers is increasing as caddy fees rise.
한편, 골프장은 골퍼에 대한 서비스 차원에서 티샷 순간의 사진 또는 홀인원된 골프공의 사진 정도를 제공하고 있다. 골퍼는 홀인원이나 티샷이 잘 된 경우에 골프공의 비행 영상을 간직하고 싶으나, 비행 영상의 확보가 용이하지 않은 실정이다.Meanwhile, as a service to golfers, golf courses provide photos of the moment of a tee shot or a photo of a hole-in-one golf ball. Golfers want to keep a video of the golf ball's flight when they hit a hole-in-one or a successful tee shot, but it is not easy to secure flight video.
본 발명은 골프 라운딩에서 티샷되는 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.The purpose of the present invention is to provide a golf ball tracking method and system for tracking a golf ball tee-shot during a round of golf and providing a location where the golf ball lands on the ground.
또한, 본 발명은 골프 라운딩에서 골프공의 티샷부터 지면에 착지될 때까지 골프공의 비행 영상을 생성하여 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.Additionally, the purpose of the present invention is to provide a golf ball tracking method and system for generating and providing a flight image of a golf ball from its tee shot until it lands on the ground during a round of golf.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 골프공 추적 방법은 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와, 상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와, 선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와, 상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와, 상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와, 상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및 상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 것을 특징으로 한다.The golf ball tracking method according to an embodiment of the present invention to solve the above problems is a camera that captures a tee shot image for an area of interest set at the top of a tee box, including a golf ball tee shot using a wide-angle camera and a telephoto camera. A captured image step, a video image selection step of selecting at least two video images at image time intervals from the tee shot image, and an identification image generating an identification image reflecting a color value difference between the at least two selected video images. A generation step, a golf ball detection step of detecting an area displayed in white in the identification image as the golf ball, and a color value of the video image corresponding to the position of the golf ball detected in the identification image as a golf ball color value. A step of determining the golf ball color value, converting the video image captured by the wide-angle camera and the telephoto camera into a binary image using the golf ball color value, recognizing the golf ball, and controlling the wide-angle camera and the telephoto camera to determine the golf ball color value. It is characterized by comprising a golf ball tracking step of tracking the ball and a golf ball landing confirmation step of checking whether the golf ball has landed on the ground and generating a landing image including the landed golf ball.
또한, 상기 식별 이미지 생성 단계는 적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과, 2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및 각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함할 수 있다.In addition, the identification image generation step includes a gray image generation process of converting at least two video images into gray images, and comparing color values for each pixel at a corresponding position of the two gray images to determine the color value difference of each pixel. The color value difference calculation process for calculating and for each pixel, a white color value is assigned to the pixel whose color value difference is greater than the set identification standard value and displayed as a white area, and a black color value is assigned to the pixel that is smaller than the identification standard value. It may include an identification image creation process of generating the identification image by allocating and displaying it as a black area.
또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함할 수 있다.In addition, the golf ball tracking method may further include a golf ball lock-on step of displaying a white area other than the white area where the golf ball is located as a black area when there are a plurality of white areas in the identification image. there is.
또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함할 수 있다.Additionally, the golf ball tracking method may further include a clutter rejection step of removing clutter caused by a background from the identification image.
또한, 상기 골프공 추적 단계는 상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과, 상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및 인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함할 수 있다.In addition, the golf ball tracking step includes an image binarization process of converting the video image into a binarized image including a golf ball area having the golf ball color value and a background area not having the golf ball color value, and A golf ball recognition process of recognizing a golf ball and determining the position of the golf ball, and a golf ball position change process of moving the directions of the wide-angle camera and the telephoto camera so that the recognized position of the golf ball is centered in the binarized image. It can be included.
또한, 상기 골프공 추적 방법은 상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및 생성된 상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함할 수 있다.In addition, the golf ball tracking method includes a golf ball flight image generation step of capturing a flight image of the golf ball with the wide-angle camera and a telephoto camera from the camera image capturing step to the golf ball landing confirmation step to generate a golf ball flight image; It may further include a golf ball flight image transmission step of transmitting the generated golf ball flight image to a receiving terminal.
또한, 상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적할 수 있다.Additionally, the wide-angle camera and the telephoto camera can be linked together to track the golf ball.
또한, 본 발명의 일 실시예에 따른 골프공 추적 시스템은 광각 카메라와 망원 카메라를 포함하며, 골프공의 비행 영상을 촬영하는 카메라 모듈과, 상기 카메라 모듈을 제어하는 카메라 제어 모듈과, 상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및 상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 상기와 같은 골프공 추적 방법을 수행하는 것을 특징으로 한다.In addition, the golf ball tracking system according to an embodiment of the present invention includes a wide-angle camera and a telephoto camera, a camera module that captures a flight image of the golf ball, a camera control module that controls the camera module, and a camera control module that controls the camera module. It includes a central server that is linked to the module through the Internet or a separate communication network, and a receiving terminal that is linked to the central server or the camera control module and receives a golf ball landing image or a golf ball flight image of the golf ball, as described above. It is characterized by performing a golf ball tracking method.
본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 함께 이용하여 티샷되는 골프공을 추적하면서 골프공이 지면에 착지하는 위치를 제공할 수 있다.The golf ball tracking method and system of the present invention can use a wide-angle camera and a telephoto camera together to track a tee-shot golf ball and provide a location where the golf ball lands on the ground.
또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다.In addition, the golf ball tracking method and system of the present invention recognizes golf balls by processing video images captured by a wide-angle camera and a telephoto camera, so it can recognize and track golf balls more accurately and efficiently.
또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 연동시켜 골프공을 추적함으로써 골프공을 놓치지 않고 추적할 수 있다.Additionally, the golf ball tracking method and system of the present invention can track the golf ball without missing it by linking a wide-angle camera and a telephoto camera to track the golf ball.
또한, 본 발명의 골프공 추적 방법 및 시스템은 골프공이 티샷부터 지면에 착지될 때까지의 비행 영상을 촬영하여 골퍼에서 제공할 수 있다.Additionally, the golf ball tracking method and system of the present invention can provide the golfer with a flight image of the golf ball from the tee shot until it lands on the ground.
또한, 본 발명의 골프공 추적 방법 및 시스템은 파 3 홀에서 골프공이 티샷부터 홀컵에 들어가는 전체 비행 영상을 촬영하여 제공할 수 있다.Additionally, the golf ball tracking method and system of the present invention can capture and provide an entire flight image of the golf ball from the tee shot into the hole cup in a par 3 hole.
도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다.
도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 촬영하는 티 박스의 관심 영역에 대한 개략도이다.
도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다.
도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다.
도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다.
도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다.
도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.1 is a schematic configuration diagram of a golf ball tracking system according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of an area of interest of a tee box captured by a camera module of the golf ball tracking system of FIG. 1.
Figures 3a and 3b are plan views showing where the camera module of Figure 1 is installed in the hole course.
Figure 4 is a flowchart of a golf ball tracking method according to an embodiment of the present invention.
5A and 5B are exemplary video images taken at predetermined time intervals after a tee shot.
FIGS. 6A and 6B are exemplary gray images generated by converting the video images of FIGS. 5A and 5B into gray scale.
7 is an example identification image generated from the gray images of FIGS. 6A and 6B.
Figures 8a and 8b are binarized images generated from video images taken at predetermined intervals.
이하에서 실시예와 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 골프공 추적 방법 및 시스템에 대하여 보다 구체적으로 설명한다.Hereinafter, a golf ball tracking method and system according to an embodiment of the present invention will be described in more detail with reference to the embodiments and the attached drawings.
먼저, 본 발명의 일 실시예에 따른 골프공 추적 방법을 위한 골프공 추적 시스템에 대하여 설명한다.First, a golf ball tracking system for a golf ball tracking method according to an embodiment of the present invention will be described.
도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다. 도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 설치되는 티 박스의 관심 영역에 대한 개략도이다. 도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.1 is a schematic configuration diagram of a golf ball tracking system according to an embodiment of the present invention. FIG. 2 is a schematic diagram of an area of interest of a tee box where a camera module of the golf ball tracking system of FIG. 1 is installed. Figures 3a and 3b are plan views showing where the camera module of Figure 1 is installed in the hole course.
본 발명의 일 실시예에 따른 골프공 추적 시스템은, 도 1 내지 도 3b를 참조하면, 카메라 모듈(100)과 카메라 제어 모듈(200)과 중앙 서버(300) 및 수신 단말기(400)를 포함할 수 있다. 또한, 상기 골프공 추적 시스템은 로컬 서버(500)를 더 포함할 수 있다.Referring to FIGS. 1 to 3B, the golf ball tracking system according to an embodiment of the present invention may include a camera module 100, a camera control module 200, a central server 300, and a receiving terminal 400. You can. Additionally, the golf ball tracking system may further include a local server 500.
상기 골프공 추적 시스템은 골프장의 어느 하나의 홀 코스에 카메라 모듈(100)이 설치되어 골프공이 티샷부터 지면 착지될 때까지 골프공을 추적하면서 골프공이 지면에 착지되는 착지 위치에 대한 정보를 수신 단말기(400)에게 제공할 수 있다. 이를 위하여, 상기 카메라 모듈(100)은 골프공이 비행하는 동안 골프공을 따라가면서 촬영하여 영상 이미지를 생성할 수 있다. 상기 카메라 제어 모듈(200)은 영상 이미지에서 골프공을 검출하고, 카메라 모듈(100)이 골프공을 계속적으로 추적하여 촬영하도록 카메라 모듈(100)을 제어할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 연결되며, 카메라 모듈(100)에서 수신되는 골프공의 착지 위치에 대한 영상 이미지 또는 골프공의 비행에 대한 촬영 영상을 수신 단말기(400)로 전송할 수 있다.The golf ball tracking system is a camera module 100 installed in a hole course of a golf course, tracking the golf ball from the tee shot until it lands on the ground, and receiving information about the landing position where the golf ball lands on the ground. It can be provided to (400). To this end, the camera module 100 can generate video images by following the golf ball while it is flying. The camera control module 200 may detect a golf ball in a video image and control the camera module 100 to continuously track and photograph the golf ball. The central server 300 is connected to the camera control module 200 and sends the video image of the landing position of the golf ball or the captured image of the flight of the golf ball received from the camera module 100 to the receiving terminal 400. Can be transmitted.
한편, 이하에서 설명하는 골프공 추적 시스템은 본 발명의 골프공 추적 방법을 제공하기 위한 일 실시예이며, 골프공 추적 방법을 제공하기 위한 다양한 구성으로 형성될 수 있다.Meanwhile, the golf ball tracking system described below is an embodiment for providing the golf ball tracking method of the present invention, and can be formed in various configurations to provide the golf ball tracking method.
상기 카메라 모듈(100)은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)를 포함할 수 있다.The camera module 100 may include a wide-angle camera 110, a wide-angle tilting motor 120, a wide-angle panning motor 130, a telephoto camera 140, a telephoto tilting motor 150, and a telephoto panning motor 160. there is.
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며 골프공을 추적할 수 있다. 이때, 상기 카메라 모듈은 광각 카메라(110)와 망원 카메라(140)가 각각 골프공을 추적할 수 있다. 또한, 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 연동되면서 골프공을 추적할 수 있다. 이러한 경우에 상기 카메라 모듈(100)은 골프공을 놓치지 않고 보다 효율적으로 추적할 수 있다.The camera module 100 includes a wide-angle camera 110 and a telephoto camera 140 and can track a golf ball. At this time, the camera module allows the wide-angle camera 110 and the telephoto camera 140 to track the golf ball, respectively. Additionally, the camera module 100 can track the golf ball by linking the wide-angle camera 110 and the telephoto camera 140 together. In this case, the camera module 100 can track the golf ball more efficiently without missing it.
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며, 티샷부터 지면에 착지될 때까지 골프공을 추적하여 촬영할 수 있다. 이때, 상기 광각 카메라(110)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)에 의하여 틸팅 및 패닝되면서 골프공을 추적하여 골프공의 비행 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 틸팅 및 패닝되면서 골프공의 비행 영상을 촬영할 수 있다. The camera module 100 is equipped with a wide-angle camera 110 and a telephoto camera 140, and can track and photograph a golf ball from a tee shot until it lands on the ground. At this time, the wide-angle camera 110 can capture a flight image of the golf ball by tracking the golf ball while tilting and panning by the wide-angle tilting motor 120 and the wide-angle panning motor 130. Additionally, the telephoto camera 140 can capture a flight image of a golf ball by tilting and panning by the telephoto tilting motor 150 and the telephoto panning motor 160.
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 구동되거나 서로 독립적으로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 서로 연동되어 구동될 수 있다. 예를 들면, 상기 광각 카메라(110)와 망원 카메라(140)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)의 구동에 의하여 함께 구동될 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 광각 카메라(110)와 별도로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하므로 골프공을 놓치지 않고 보다 효율적이고 정확하게 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 화각이 상대적으로 크므로 티샷되는 골프공이 비정상적인 빠른 속도로 날아가거나 예측되지 않는 방향으로 날아가는 경우에도 골프공을 놓치지 않고 추적할 수 있다. 상기 망원 카메라(140)는 확대 촬영이 가능하므로 골프공과 배경의 색상이 유사한 경우에도 정확하게 골프공을 검출 또는 인식할 수 있다.In the camera module 100, the wide-angle camera 110 and the telephoto camera 140 may be driven together or independently of each other. The camera module 100 may be operated in conjunction with a wide-angle camera 110 and a telephoto camera 140. For example, the wide-angle camera 110 and the telephoto camera 140 may be driven together by driving the wide-angle tilting motor 120 and the wide-angle panning motor 130. Additionally, the telephoto camera 140 may be driven separately from the wide-angle camera 110 by the telephoto tilting motor 150 and the telephoto panning motor 160. Since the camera module 100 uses a wide-angle camera 110 and a telephoto camera 140, it can track the golf ball more efficiently and accurately without missing the golf ball. Since the wide-angle camera 110 has a relatively large angle of view, it can track the golf ball without missing it even when the tee shot golf ball flies at an abnormally high speed or flies in an unexpected direction. Since the telephoto camera 140 is capable of enlarged photography, it can accurately detect or recognize the golf ball even when the color of the golf ball and the background are similar.
상기 카메라 모듈(100)은 골프장의 어느 하나의 홀 코스에서 티 박스의 관심 영역(Region of Interest)(a)을 촬영할 수 있는 소정 위치에 설치될 수 있다. 상기 카메라 모듈(100)은 티 박스의 관심 영역을 촬영할 수 있도록 촬영 방향과 촬영 배율등이 조정될 수 있다. 상기 카메라 모듈(100)은 홀 코스의 형태에 따라 관심 영역의 정면 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 관심 영역의 정면 방향과 소정의 예각을 이루는 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하여 관심 영역을 촬영할 수 있다.The camera module 100 may be installed at a predetermined location to capture a region of interest (a) of a tee box in any hole course of a golf course. The camera module 100 can adjust the shooting direction and shooting magnification so that it can shoot the area of interest of the tee box. The camera module 100 may photograph the area of interest from the front direction of the area of interest depending on the shape of the hole course. The camera module 100 may photograph the area of interest in a direction forming a predetermined acute angle with the front direction of the area of interest. The camera module 100 can photograph an area of interest using a wide-angle camera 110 and a telephoto camera 140.
여기서, 상기 관심 영역(a)은, 도 2에서 보는 바와 같이, 티 박스에서 티샷되는 골프공(b)이 날아가는 방향에 수직인 영역이며, 소정의 폭과 높이를 가지는 가상의 영역이다. 예를 들면, 상기 관심 영역은 티 박스의 전체 폭 또는 티박스에 설치되는 2 개의 티 마커(또는 티 블록)(c) 사이에서 지면으로부터 이격되는 하단선과 하단선으로부터 소정 높이에 위치하는 상단선에 의하여 정의되는 사각형상으로 정의될 수 있다. 상기 하단선은 골프 티 또는 골퍼의 키보다 높은 위치일 수 있다. 또한, 상기 상단선은 골프공이 날아가는 최대 높이보다 높은 위치일 수 있다. 상기 관심 영역은 티 박스에서 소정 거리로 전진된 위치에 설정될 수 있다. 상기 관심 영역은 티 박스의 고도와 페어웨이와의 배치 관계등을 고려하여 정해질 수 있다.Here, the area of interest (a), as shown in FIG. 2, is an area perpendicular to the direction in which the golf ball (b), which is tee shot from a tee box, flies, and is a virtual area with a predetermined width and height. For example, the area of interest is the entire width of the tee box, or the bottom line spaced from the ground between two tee markers (or tee blocks) (c) installed on the tee box, and the top line located at a predetermined height from the bottom line. It can be defined as a square shape defined by . The bottom line may be higher than the height of the golf tee or golfer. Additionally, the top line may be higher than the maximum height at which the golf ball flies. The area of interest may be set at a position advanced a predetermined distance from the tee box. The area of interest can be determined by considering the altitude of the tee box and the arrangement relationship with the fairway.
또한, 상기 카메라 모듈(100)은 홀 코스에서 티샷된 골프공이 착지되는 지면의 착지 영역(즉, 티샷시 골퍼들의 평균 비거리 또는 최대 비거리에 대응되는 영역)보다 티 박스로부터 더 먼 거리 또는 티박스와 착지 영역 사이의 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 티샷되는 골프공을 추적하면서 골프공의 비행 영상을 촬영할 수 있다.In addition, the camera module 100 is positioned at a distance farther from the tee box or between the tee box and the landing area on the ground where a golf ball tee-shot on the hole course lands (i.e., an area corresponding to the average or maximum distance of golfers when teeing off). It can be installed in the installation area between landing areas. Accordingly, the camera module 100 can capture a flight image of the golf ball while tracking the golf ball being tee shot.
상기 카메라 모듈(100)은, 도 3a 및 도 3b에서 보는 바와 같이, 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 카메라 모듈(100)은 2개로 설치되는 경우에, 2개의 카메라 모듈(100)이 설치 영역에서 페어웨이의 양측에 위치할 수 있다. 또한, 상기 카메라 모듈(100)은 설치 영역에 위치하는 메인 카메라 모듈(10)과 설치 영역과 티 박스 사이의 대략 중간에 위치하는 보조 카메라 모듈(10a)로 구분될 수 있다. 상기 메인 카메라 모듈(10)은 설치 영역에 설치되며, 보조 카메라 모듈(10a)은 티 박스와 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 홀 코스의 형태에 관계없이 골프공이 지면에 착지될 때까지 골프공을 추적할 수 있다.As shown in FIGS. 3A and 3B, one or two camera modules 100 may be installed depending on the shape of the hole course. When two camera modules 100 are installed, two camera modules 100 may be located on both sides of the fairway in the installation area. In addition, the camera module 100 may be divided into a main camera module 10 located in the installation area and an auxiliary camera module 10a located approximately in the middle between the installation area and the tee box. The main camera module 10 is installed in the installation area, and the auxiliary camera module 10a can be installed in the tee box and the installation area. Accordingly, the camera module 100 can track the golf ball until it lands on the ground regardless of the shape of the hole course.
상기 광각 카메라(110)는 일반적인 광각 카메라로 형성될 수 있다. 예를 들면, 상기 광각 카메라(110)는 초점 거리가 상대적으로 짧고 화각(Field of view)이 넓은 카메라를 의미할 수 있다. 상기 광각 카메라(110)는 보다 넓은 영역에 대하여 영상을 촬영하면서 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 설치 위치에 따라 초점 거리 및 화각이 변경될 수 있다. 상기 광각 카메라(110)는 1280 x 720 해상도, 1000m Field of view이 50m, 60FPS의 사양을 갖는 카메라로 형성될 수 있다.The wide-angle camera 110 may be formed as a general wide-angle camera. For example, the wide-angle camera 110 may refer to a camera with a relatively short focal length and a wide field of view. The wide-angle camera 110 can track the golf ball while capturing images over a wider area. The focal length and angle of view of the wide-angle camera 110 may change depending on the installation location. The wide-angle camera 110 may be configured as a camera with specifications of 1280 x 720 resolution, 1000m field of view of 50m, and 60FPS.
상기 광각 카메라(110)는 소정의 광각 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 패닝 각도로 수평 방향으로 패닝될 수 있다. 상기 광각 카메라(110)의 광각 틸팅 각도는 -45 ∼ 60도일 수 있다. 또한, 상기 광각 카메라(110)의 광각 패닝 각도는 -165 ∼ 165도일 수 있다. 상기 광학 카메라는 광각 틸팅 모터(120) 및 광각 패닝 모터(130)에 의하여 틸팅되거나 패닝될 수 있다.The wide-angle camera 110 may be tilted vertically at a predetermined wide-angle tilting angle or panned horizontally at a predetermined panning angle. The wide-angle tilting angle of the wide-angle camera 110 may be -45 to 60 degrees. Additionally, the wide-angle panning angle of the wide-angle camera 110 may be -165 to 165 degrees. The optical camera may be tilted or panned by the wide-angle tilting motor 120 and the wide-angle panning motor 130.
한편, 상기 광각 카메라(110)는 설치되는 홀 코스의 지형과 티 박스까지의 거리에 따라 상기의 범위에서 적정한 광각 틸팅 각도와 광각 패닝 각도로 운영되도록 형성될 수 있다.Meanwhile, the wide-angle camera 110 may be configured to operate at an appropriate wide-angle tilting angle and wide-angle panning angle within the above range depending on the topography of the hole course and the distance to the tee box where it is installed.
상기 광각 카메라(110)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.The wide-angle camera 110 is electrically connected to the camera control module 200 and can be configured to communicate and be controlled. Accordingly, the wide-angle camera 110 can be configured to turn on/off and operate according to a control signal from the camera control module 200. In addition, the wide-angle camera 110 can capture an image of a tee shot taking place in a tee box under the control of the camera control module 200. Additionally, the wide-angle camera 110 can capture a flight image of a golf ball under the control of the camera control module 200.
상기 광각 틸팅 모터(120)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 틸팅 모터(120)는 광각 카메라(110)와 결합되며, 광각 카메라(110)를 상하 방향으로 소정 각도로 회전시킬 수 있다. 상기 광각 틸팅 모터(120)는 별도의 프레임(미도시)에 의하여 광각 카메라(110)와 결합될 수 있다. 상기 광각 틸팅 모터(120)는 수평 축을 기준으로 소정의 광각 틸팅 각도로 광각 카메라(110)를 회전시킬 수 있다. 상기 광각 틸팅 각도는 수직 방향으로 -45 ∼ 60도일 수 있다. The wide-angle tilting motor 120 may be formed as a motor capable of precise control, such as a servo motor. The wide-angle tilting motor 120 is combined with the wide-angle camera 110 and can rotate the wide-angle camera 110 in the vertical direction at a predetermined angle. The wide-angle tilting motor 120 may be combined with the wide-angle camera 110 through a separate frame (not shown). The wide-angle tilting motor 120 can rotate the wide-angle camera 110 at a predetermined wide-angle tilting angle based on the horizontal axis. The wide angle tilting angle may be -45 to 60 degrees in the vertical direction.
상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.The wide-angle tilting motor 120 is electrically connected to the camera control module 200 and can be controlled. The wide-angle tilting motor 120 may be configured to be turned on/off and driven according to a control signal from the camera control module 200. Additionally, the rotation speed and rotation time of the wide-angle tilting motor 120 may be controlled by the camera control module 200.
상기 광각 패닝 모터(130)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)와 결합될 수 있다. 상기 광각 패닝 모터(130)는 별도의 프레임에 의하여 광각 카메라(110) 또는 광각 틸팅 모터(120)에 결합될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 광각 패닝 모터(130)가 광각 카메라(110)와 결합되는 경우에 광각 카메라(110)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 광각 패닝 모터(130)는 다시 광각 틸팅 모터(120)와 결합되며, 광각 틸팅 모터(120)에 의하여 광각 카메라(110)와 함께 소정의 광각 틸팅 각도로 회전될 수 있다. 또한, 상기 광각 패닝 모터(130)는 광각 틸팅 모터(120)와 결합되는 경우에 광각 틸팅 모터(120)와 광각 카메라(110)를 소정의 광각 틸팅 각도로 회전시킬 수 있다. 상기 광각 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.The wide-angle panning motor 130 may be formed as a motor capable of precise control, such as a servo motor. The wide-angle panning motor 130 may be combined with the wide-angle camera 110 or the wide-angle tilting motor 120. The wide-angle panning motor 130 may be coupled to the wide-angle camera 110 or the wide-angle tilting motor 120 by a separate frame. The wide-angle panning motor 130 can rotate the wide-angle camera 110 or the wide-angle tilting motor 120 at a predetermined wide-angle panning angle. When the wide-angle panning motor 130 is combined with the wide-angle camera 110, the wide-angle camera 110 can be rotated to a predetermined wide-angle panning angle. At this time, the wide-angle panning motor 130 is again combined with the wide-angle tilting motor 120, and can be rotated at a predetermined wide-angle tilting angle together with the wide-angle camera 110 by the wide-angle tilting motor 120. Additionally, when the wide-angle panning motor 130 is combined with the wide-angle tilting motor 120, it can rotate the wide-angle tilting motor 120 and the wide-angle camera 110 at a predetermined wide-angle tilting angle. The wide-angle panning angle may be -165 to 165 degrees in the horizontal direction.
상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어에 의하여 회전수 및 회전 시간이 제어될 수 있다.The wide-angle panning motor 130 is electrically connected to the camera control module 200 and can be controlled. The wide-angle panning motor 130 may be configured to be turned on/off and driven according to a control signal from the camera control module 200. Additionally, the rotation speed and rotation time of the wide-angle panning motor 130 may be controlled by the camera control module 200.
상기 망원 카메라(140)는 일반적인 망원 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 초점 거리가 상대적으로 길고 화각이 좁은 카메라를 의미할 수 있다. The telephoto camera 140 may be formed as a general telephoto camera. The telephoto camera 140 may refer to a camera with a relatively long focal length and a narrow angle of view.
상기 망원 카메라(140)는 설치 영역과 티 박스 사이의 거리에 따라 적정한 초점 거리, 화소, 해상도 및 화각을 갖는 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 1280 x 720 해상도, 1000m 화각이 14m, 60FPS 의 사양을 갖는 카메라로 형성될 수 있다. The telephoto camera 140 may be formed as a camera having an appropriate focal length, pixel, resolution, and angle of view depending on the distance between the installation area and the tee box. The telephoto camera 140 may be configured as a camera with specifications of 1280 x 720 resolution, 1000m field of view of 14m, and 60FPS.
상기 망원 카메라(140)는 소정의 망원 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 망원 패닝 각도로 수평 방향으로 패닝될 수 있다. 또한, 상기 망원 카메라(140)는 광각 카메라(110)가 틸팅되거나 패닝될 때 함께 광각 틸팅 각도로 틸팅되거나 광각 패닝 각도로 패닝될 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)와 함께 광각 틸팅 각도 또는 광각 패닝 각도로 틸팅되거나 패닝된 후에 추가로 망원 틸팅 각도로 틸팅되거나 망원 패닝 각도로 패닝될 수 있다. 상기 망원 카메라(140)는 광각 카메라(110)와 독립적으로 틸팅되거나 패닝될 수 있다.The telephoto camera 140 may be tilted vertically at a predetermined telephoto tilting angle or panned horizontally at a predetermined telephoto panning angle. Additionally, the telephoto camera 140 may be tilted at a wide-angle tilting angle or panned at a wide-angle panning angle when the wide-angle camera 110 is tilted or panned. Accordingly, the telephoto camera 140 may be tilted or panned at a wide-angle tilting angle or a wide-angle panning angle together with the wide-angle camera 110, and then may be further tilted at a telephoto tilting angle or panned at a telephoto panning angle. The telephoto camera 140 can be tilted or panned independently from the wide-angle camera 110.
상기 망원 카메라(140)는 광각 카메라(110)와 대비하여 화각이 상대적으로 작으므로 골프공의 효율적인 추적을 위하여 추가로 망원 틸팅 각도로 틸팅될 수 있다. 상기 망원 카메라(140)의 망원 틸팅 각도는 -30 ∼ 50도일 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)의 광각 틸팅 각도에 추가하여 하부 방향으로 -30도, 상부 방향으로 +50도 만큼 더 틸팅될 수 있다. 또한, 상기 망원 카메라(140)의 망원 패닝 각도는 -165 ∼ 165도일 수 있다. 따라서, 상기 망원 카메라(140)는 망원 패닝 각도만큼 광각 카메라(110)보다 더 패닝될 수 있다.Since the telephoto camera 140 has a relatively small field of view compared to the wide-angle camera 110, it can be additionally tilted at a telephoto tilting angle for efficient tracking of the golf ball. The telephoto tilting angle of the telephoto camera 140 may be -30 to 50 degrees. Accordingly, in addition to the wide-angle tilting angle of the wide-angle camera 110, the telephoto camera 140 can be further tilted by -30 degrees in the downward direction and by +50 degrees in the upward direction. Additionally, the telephoto panning angle of the telephoto camera 140 may be -165 to 165 degrees. Accordingly, the telephoto camera 140 can be panned further than the wide-angle camera 110 by the telephoto panning angle.
상기 망원 카메라(140)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.The telephoto camera 140 is electrically connected to the camera control module 200 and can be configured to communicate and be controlled. Accordingly, the telephoto camera 140 can be configured to turn on/off and operate according to a control signal from the camera control module 200. In addition, the telephoto camera 140 can capture an image of a tee shot taking place in a tee box under the control of the camera control module 200. Additionally, the telephoto camera 140 can capture a flight image of a golf ball under the control of the camera control module 200.
상기 망원 틸팅 모터(150)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 틸팅 모터(150)는 별도의 프레임(미도시)에 의하여 망원 카메라(140)와 결합될 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 각도는 수직 방향으로 -30 ∼ 50도일 수 있다.The telescopic tilting motor 150 may be formed as a motor capable of precise control, such as a servo motor. The telephoto tilting motor 150 may be combined with the telephoto camera 140 through a separate frame (not shown). The telephoto tilting motor 150 can rotate the telephoto camera 140 at a predetermined telephoto tilting angle. The telephoto tilting motor 150 can rotate the telephoto camera 140 at a telephoto tilting angle. The telescopic tilting angle may be -30 to 50 degrees in the vertical direction.
상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.The telescopic tilting motor 150 is electrically connected to the camera control module 200 and can be controlled. The telescopic tilting motor 150 may be configured to be turned on/off and driven according to a control signal from the camera control module 200. Additionally, the rotation speed and rotation time of the telescopic tilting motor 150 may be controlled by control of the camera control module 200.
상기 망원 패닝 모터(160)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 패닝 모터(160)는 별도의 프레임에 의하여 망원 카메라(140) 또는 망원 틸팅 모터(150)에 결합될 수 있다. 상기 망원 패닝 모터(160)는 망원 카메라(140) 또는 망원 틸팅 모터(150)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 망원 패닝 모터(160)가 망원 카메라(140)와 결합되는 경우에 망원 카메라(140)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 망원 패닝 모터(160)는 다시 망원 틸팅 모터(150)와 결합되며, 망원 틸팅 모터(150)에 의하여 망원 카메라(140)와 함께 소정의 망원 틸팅 각도로 회전될 수 있다. 또한, 상기 망원 패닝 모터(160)는 망원 틸팅 모터(150)와 결합되는 경우에 망원 틸팅 모터(150)와 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.The telescopic panning motor 160 may be formed as a motor capable of precise control, such as a servo motor. The telephoto panning motor 160 may be coupled to the telephoto camera 140 or the telephoto tilting motor 150 through a separate frame. The telephoto panning motor 160 can rotate the telephoto camera 140 or the telephoto tilting motor 150 at a predetermined wide-angle panning angle. When the telephoto panning motor 160 is combined with the telephoto camera 140, the telephoto camera 140 can be rotated to a predetermined wide-angle panning angle. At this time, the telephoto panning motor 160 is again combined with the telephoto tilting motor 150, and can be rotated at a predetermined telephoto tilting angle together with the telephoto camera 140 by the telephoto tilting motor 150. Additionally, when the telephoto panning motor 160 is combined with the telephoto tilting motor 150, it can rotate the telephoto tilting motor 150 and the telephoto camera 140 at a predetermined telephoto tilting angle. The telephoto panning angle may be -165 to 165 degrees in the horizontal direction.
상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다. The telephoto panning motor 160 is electrically connected to the camera control module 200 and can be controlled. The telephoto panning motor 160 may be configured to be turned on/off and driven according to a control signal from the camera control module 200. Additionally, the rotation speed and rotation time of the telephoto panning motor 160 may be controlled by the camera control module 200.
상기 카메라 제어 모듈(200)은 광각 카메라(110) 및 망원 카메라(140)와 유선 또는 무선으로 통신 가능하도록 연결되어 제어 신호를 송수신하고, 광각 카메라(110) 및 망원 카메라(140)에서 촬영되는 영상 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)와 전기적으로 연결되어 제어할 수 있다. 상기 카메라 제어 모듈(200)은 각 모터들의 회전 시간과 회전수를 제어할 수 있다. 따라서, 상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)가 틸팅되는 각도와 패닝되는 각도를 제어할 수 있다.The camera control module 200 is connected to enable wired or wireless communication with the wide-angle camera 110 and the telephoto camera 140, transmits and receives control signals, and records images captured by the wide-angle camera 110 and the telephoto camera 140. Information can be received. Additionally, the camera control module 200 can be electrically connected to and control the wide-angle tilting motor 120, the wide-angle panning motor 130, the telephoto tilting motor 150, and the telephoto panning motor 160. The camera control module 200 can control the rotation time and number of rotations of each motor. Accordingly, the camera control module 200 can control the tilting and panning angles of the wide-angle camera 110 and the telephoto camera 140.
상가 카메라 제어 모듈(200)은 카메라 모듈(100)로부터 전송되는 촬영 영상에서 소정의 프레임 간격 또는 촬영 시각 간격(예를 들어 60FPS)으로 촬영된 적어도 2장의 영상 이미지를 선택할 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 골프공이 2장의 영상 이미지에서 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 카메라에 입사되는 광량 조건과 영상 처리에 소요되는 시간에 따라 다르게 결정될 수 있다. 또한, 상기 광량 조건과 카메라 화각은 카메라 설치 장소의 환경, 영상 이미지에 나타나는 골프공의 크기, 설치 티샷시의 골프공의 예상 비행 속도, 카메라에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 한편, 상기 카메라 제어 모듈(200)은 티샷 시작 신호를 전송한 후에 촬영된 초기 이미지를 추가로 선택할 수 있다.The commercial camera control module 200 may select at least two video images captured at a predetermined frame interval or shooting time interval (for example, 60FPS) from the captured image transmitted from the camera module 100. The frame interval or shooting time interval needs to be determined so that the golf ball is located at a position that does not overlap each other in the two video images. In addition, the frame interval or shooting time interval needs to be determined so that the golf ball is present in both video images. Accordingly, the frame interval or shooting time interval may be determined differently depending on the amount of light incident on the camera and the time required for image processing. In addition, the light quantity conditions and camera angle of view will be determined by considering the environment of the camera installation location, the size of the golf ball appearing in the video image, the expected flight speed of the golf ball at the time of installation tee shot, and the expected flight angle of the golf ball observed from the camera. You can. Meanwhile, the camera control module 200 may additionally select the initial image captured after transmitting the tee shot start signal.
상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)에서 촬영되는 영상 이미지로부터 티 박스에서 티샷되는 골프공을 검출할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 카메라 모듈(100)을 제어하여 검출된 골프공을 추적할 수 있다. 즉, 상가 카메라 제어 모듈(200)은 골프공이 티샷부터 지면에 착지될 때까지 카메라 모듈(100)에서 촬영되는 영상 이미지에서 골프공을 인식하고 추적하여 카메라 모듈(100)이 골프공의 영상을 촬영하도록 할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 지면에 착지되는 골프공의 착지 영상을 생성할 수 있다.The camera control module 200 can detect a golf ball being tee-shot from a tee box from video images captured by the wide-angle camera 110 and the telephoto camera 140. Additionally, the camera control module 200 can control the camera module 100 to track the detected golf ball. That is, the commercial camera control module 200 recognizes and tracks the golf ball in the video image captured by the camera module 100 from the tee shot until it lands on the ground, and the camera module 100 captures the image of the golf ball. You can do it. Additionally, the camera control module 200 can generate a landing image of a golf ball landing on the ground.
또한, 상기 카메라 제어 모듈(200)은 중앙 서버(300)와 인터넷 또는 통신망을 통하여 연결되어 골프공 추적 방법의 제반 절차를 수행하는데 필요한 정보를 송수신할 수 있다. 예를 들면, 상기 카메라 제어 모듈(200)은 골프공의 추적을 위하여 필요한 제반 정보를 송수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골프 라운딩을 진행하는 수신 단말기(400)의 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골퍼가 티샷하는 골프공의 착지 영상 또는 골프공의 비행 영상을 중앙 서버(300)로 전송할 수 있다.In addition, the camera control module 200 is connected to the central server 300 through the Internet or a communication network and can transmit and receive information necessary to perform the overall procedures of the golf ball tracking method. For example, the camera control module 200 can transmit and receive all information necessary for tracking a golf ball. Additionally, the camera control module 200 can receive information from the receiving terminal 400 that is conducting a round of golf. Additionally, the camera control module 200 may transmit a landing image of a golf ball or a flight image of a golf ball when a golfer tees off to the central server 300.
상기 중앙 서버(300)는 골프공 추적 정보와 골프공 착지 정보를 제공하기 위하여 필요한 정보를 저장하고, 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 인터넷 또는 별도의 통신망을 통하여 연동될 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)에 필요한 정보를 제공할 수 있다. 예를 들면, 상기 중앙 서버(300)는 골퍼의 수신 단말기 정보를 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)로부터 골프공 착지 영상 또는 골프공 비행 영상을 수신할 수 있다.The central server 300 can store and provide information necessary to provide golf ball tracking information and golf ball landing information. The central server 300 may be linked with the camera control module 200 through the Internet or a separate communication network. The central server 300 may provide necessary information to the camera control module 200. For example, the central server 300 may provide golfer's receiving terminal information. The central server 300 may receive a golf ball landing image or a golf ball flight image from the camera control module 200.
상기 중앙 서버(300)는 수신 단말기(400)와 인터넷 또는 별도의 통신망을 이용하여 연결될 수 있다. 또한, 상기 중앙 서버(300)는 골퍼가 골프 라운딩을 진행하는 홀 코스에서 생성되는 골프공 착지 영상 또는 골프공 비행 영상을 수신 단말기(400)로 전송할 수 있다.The central server 300 may be connected to the receiving terminal 400 using the Internet or a separate communication network. Additionally, the central server 300 may transmit a golf ball landing image or a golf ball flight image generated in a hole course where a golfer is playing a round of golf to the receiving terminal 400.
상기 수신 단말기(400)는 중앙 서버(300) 또는 카메라 제어 모듈(200)과 연동되며, 골프공 착지 이미지 또는 골프공 비행 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공 추적 방법의 실시에 필요한 골퍼 또는 캐디의 정보를 중앙 서버(300)로 전송할 수 있다.The receiving terminal 400 is linked to the central server 300 or the camera control module 200 and can receive a golf ball landing image or a golf ball flight image. Additionally, the receiving terminal 400 may transmit information on the golfer or caddy necessary to implement the golf ball tracking method to the central server 300.
상기 수신 단말기(400)는 골퍼가 소지하고 있는 개인 단말기 또는 캐디가 운영하는 카트에 장착되는 캐디 단말기일 수 있다. 또한, 상기 수신 단말기(400)는 중앙 서버(300)와 접속이 가능한 다양한 단말기일 수 있다. 상기 수신 단말기(400)는 근거리 통신인 와이파이 또는 무선 통신인 4G, 5G에 의하여 통신이 가능한 다양한 단말기일 수 있다.The receiving terminal 400 may be a personal terminal carried by the golfer or a caddy terminal mounted on a cart operated by a caddy. Additionally, the receiving terminal 400 may be a variety of terminals capable of connecting to the central server 300. The receiving terminal 400 may be a variety of terminals capable of communication through Wi-Fi, which is short-distance communication, or 4G or 5G, which is wireless communication.
상기 수신 단말기(400)는 티샷에 대한 트리거 신호를 중앙 서버(300) 또는 카메라 제어 모듈(200)로 전송할 수 있다. 상기 중앙 서버(300) 또는 카메라 제어 모듈(200)은 트리거 신호를 수신하고 카메라 모듈(100)에 촬영 시작 신호를 전송할 수 있다. 상기 카메라 모듈(100)은 카메라 제어 모듈(200)로부터 촬영 시작에 대한 신호를 수신하여 촬영을 진행할 수 있다. The receiving terminal 400 may transmit a trigger signal for a tee shot to the central server 300 or the camera control module 200. The central server 300 or the camera control module 200 may receive a trigger signal and transmit a shooting start signal to the camera module 100. The camera module 100 may receive a signal to start shooting from the camera control module 200 and proceed with shooting.
상기 수신 단말기(400)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 통하여 연결될 수 있다. 상기 수신 단말기(400)는 골퍼의 골프 라운딩중에 중앙 서버(300)로부터 골프공의 착지 이미지 또는 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공의 비행 영상을 수신할 수 있다. 따라서, 상기 골퍼는 골프공이 착지된 위치를 확인할 수 있다.The receiving terminal 400 may be connected to the central server 300 through the Internet or a separate communication network. The receiving terminal 400 may receive an image or video of a golf ball landing from the central server 300 during a golfer's golf round. Additionally, the receiving terminal 400 can receive a flight image of a golf ball. Accordingly, the golfer can confirm the location where the golf ball lands.
또한, 상기 골프공 추적 시스템이 로컬 서버(500)를 구비하는 경우에 수신 단말기(400)는 로컬 서버(500)에 접속하여 골프공의 착지 영상 또는 이미지를 제공받을 수 있다. 이때, 상기 수신 단말기(400)는 골프장의 관리자가 사용하는 관리자용 단말기일 수 있다. 또한, 상기 카메라 제어 모듈(200)이 골프공의 비행 영상을 근거리 통신망들을 이용하여 제공하는 경우에, 수신 단말기(400)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 착지 이미지를 제공받을 수 있다.Additionally, when the golf ball tracking system includes a local server 500, the receiving terminal 400 can access the local server 500 and receive a video or image of the golf ball landing. At this time, the receiving terminal 400 may be a manager terminal used by a golf course manager. In addition, when the camera control module 200 provides a flight image of the golf ball using local area networks, the receiving terminal 400 receives the landing image or landing image of the golf ball from the camera control module 200. You can.
상기 로컬 서버(500)는 특정 골프장에 설치되는 서버일 수 있다. 상기 로컬 서버(500)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 이용하여 접속할 수 있다. 상기 로컬 서버(500)는 해당 골프장에 설치되어 있는 카메라 제어 모듈(200)과 접속할 수 있다. 따라서, 상기 로컬 서버(500)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 골프공의 비행 영상을 수신할 수 있다.The local server 500 may be a server installed at a specific golf course. The local server 500 can be connected to the central server 300 using the Internet or a separate communication network. The local server 500 can connect to the camera control module 200 installed at the corresponding golf course. Accordingly, the local server 500 may receive a golf ball landing image or a golf ball flight image from the camera control module 200.
또한, 상기 로컬 서버(500)는 해당 골프장을 방문하여 골프 라운딩을 진행하는 골퍼의 수신 단말기(400)와 접속할 수 있다. 상기 로컬 서버(500)는 수신 단말기(400)로 골퍼가 티샷한 골프공의 착지 영상 또는 골프공의 비행 영상을 송신할 수 있다.Additionally, the local server 500 can connect to the receiving terminal 400 of a golfer who visits the golf course and plays a round of golf. The local server 500 may transmit to the receiving terminal 400 an image of the landing of a golf ball hit by a tee shot by a golfer or an image of the flight of the golf ball.
다음은 본 발명의 일 실시예에 따른 골프공 추적 방법에 대하여 설명한다.Next, a golf ball tracking method according to an embodiment of the present invention will be described.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.Figure 4 is a flowchart of a golf ball tracking method according to an embodiment of the present invention. 5A and 5B are exemplary video images taken at predetermined time intervals after a tee shot. FIGS. 6A and 6B are exemplary gray images generated by converting the video images of FIGS. 5A and 5B into gray scale. 7 is an example identification image generated from the gray images of FIGS. 6A and 6B. FIGS. 8A and 8B are binarized images generated from video images taken at predetermined intervals.
본 발명의 골프공 추적 방법은, 도 4 내지 도 8b를 참조하면, 카메라 영상 촬영 단계(S10)와, 영상 이미지 선택 단계(S20)와, 식별 이미지 생성 단계(S30)와, 골프공 검출 단계(S40)와, 골프공 색상값 결정 단계(S50)와, 골프공 추적 단계(S60) 및 골프공 착지 확인 단계(S70)를 포함할 수 있다. 또한, 상기 골프공 추적 방법은 골프공 락온 단계(S42)와 클러터 리젝션 단계(S44)를 더 포함할 수 있다. 상기 골프공 추적 방법은 골프공 비행 영상 생성 단계(S80) 및 골프공 비행 영상 제공 단계(S90)를 더 포함할 수 있다.Referring to FIGS. 4 to 8B, the golf ball tracking method of the present invention includes a camera image capture step (S10), a video image selection step (S20), an identification image generation step (S30), and a golf ball detection step ( It may include a golf ball color value determination step (S50), a golf ball tracking step (S60), and a golf ball landing confirmation step (S70). Additionally, the golf ball tracking method may further include a golf ball lock-on step (S42) and a clutter rejection step (S44). The golf ball tracking method may further include a golf ball flight image generating step (S80) and a golf ball flight image providing step (S90).
상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공이 티샷부터 지면에 착지될 때까지 골프공을 추적하여 골프공이 지면에 착지되는 착지 위치를 제공할 수 있다. 또한, 상기 골프공 추적 방법 및 시스템은 광각 카메라(110)와 망원 카메라(140)에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다. 이하의 설명에서 상기 광각 카메라(110)와 망원 카메라(140)에 대하여 동시에 적용되거나 함께 사용하는 경우에 광각 카메라(110)와 망원 카메라(140)를 카메라로 언급할 수 있다.The golf ball tracking method uses the wide-angle camera 110 and the telephoto camera 140 to track the golf ball from the tee shot until it lands on the ground, thereby providing a landing position where the golf ball lands on the ground. In addition, the golf ball tracking method and system processes video images captured by the wide-angle camera 110 and the telephoto camera 140 to recognize the golf ball, so it can recognize and track the golf ball more accurately and efficiently. In the following description, when the wide-angle camera 110 and the telephoto camera 140 are applied simultaneously or used together, the wide-angle camera 110 and the telephoto camera 140 may be referred to as cameras.
상기 골프공 추적 방법은 도 1에 따른 골프공 추적 시스템을 이용하여 진행될 수 있다. 즉, 상기 골프공 추적 방법은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)을 포함하는 시스템에 의하여 진행될 수 있다. 한편, 상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 포함하는 다양한 시스템에 의하여 진행될 수 있다.The golf ball tracking method may be performed using the golf ball tracking system according to FIG. 1. That is, the golf ball tracking method includes a wide-angle camera 110, a wide-angle tilting motor 120, a wide-angle panning motor 130, a telephoto camera 140, a telephoto tilting motor 150, and a telephoto panning motor 160. This can be done through the system. Meanwhile, the golf ball tracking method may be performed using various systems including a wide-angle camera 110 and a telephoto camera 140.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 단계이다. 여기서, 상기 티샷 영상은 골퍼가 골프공을 티샷하는 시각을 기준으로 전후 소정의 촬영 시간동안 촬영된 영상을 의미할 수 있다. 즉, 상기 티샷 영상은 골퍼가 티샷하는 시각을 포함하는 촬영 시간동안 관심 영역을 촬영한 영상일 수 있다.The camera image capturing step (S10) is a step of capturing a tee shot image with the wide-angle camera 110 and the telephoto camera 140 for an area of interest set on the upper part of the tee box, including the golf ball being tee shot. Here, the tee shot image may refer to an image captured during a predetermined shooting time before and after the time when the golfer tees the golf ball. That is, the tee shot image may be an image captured of the area of interest during the shooting time including the time when the golfer tees off.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 전송되는 별도의 트리거 신호에 의하여 시작될 수 있다. 상기 트리거 신호는 캐디가 소지하고 있는 캐디 단말기 또는 골퍼가 소지하고 있는 골퍼 단말기와 같은 수신 단말기(400)에 의하여 광각 카메라(110)와 망원 카메라(140)로 전송될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 별도의 트리거 신호 없이도 진행될 수 있다. 예를 들면, 적어도 2명의 골퍼가 한 팀을 이루어 라운딩을 진행하며, 먼저 한 명의 골퍼가 티샷을 하고 다음에 다른 한 명의 골퍼가 연속적으로 티샷을 진행하는 것이 확실한 경우에 다른 한 명의 골퍼에 대하여는 별도의 트리거 신호를 수신하지 않고도 카메라 영상 촬영 단계(S10)를 시작할 수 있다. 즉, 상기 카메라 영상 촬영 단계(S10)는 한 팀에서 처음 골퍼가 티샷할 때만 트리거 신호를 수신하며, 다음 골퍼부터는 트리거 신호를 수신하지 않고도 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 소정의 시간 전부터 진행될 수 있다. 예를 들면, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 수초 전부터 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티박스에서 티샷을 준비하는 때부터 진행될 수 있다.The camera image capturing step (S10) may be started by a separate trigger signal transmitted to the wide-angle camera 110 and the telephoto camera 140. The trigger signal may be transmitted to the wide-angle camera 110 and the telephoto camera 140 by a receiving terminal 400, such as a caddy terminal carried by a caddy or a golfer terminal carried by a golfer. Additionally, the camera image capturing step (S10) can be performed without a separate trigger signal. For example, if at least two golfers are playing a round as a team, and it is clear that one golfer will take a tee shot first and then the other golfer will take a tee shot in succession, a separate golfer will be charged for the other golfer. The camera image capturing step (S10) can be started without receiving the trigger signal. That is, the camera image capturing step (S10) receives a trigger signal only when the first golfer on a team tees off, and can proceed without receiving a trigger signal from the next golfer. Additionally, the camera image capturing step (S10) may be performed a predetermined time before the golfer tees off. For example, the camera image capturing step (S10) may be performed several seconds before the golfer tees off. Additionally, the camera image capturing step (S10) may be performed from the time the golfer prepares for a tee shot at the tee box.
상기 관심 영역은 정상적으로 티삿된 골프공이 날아가는 영역을 포함하는 영역이다. 상기 관심 영역은, 도 2에 도시된 바와 같이, 티 박스에서 티샷되는 골프공이 날아가는 방향과 지면에 대하여 수직으로 설정되는 영역이다.The area of interest is an area including the area where a golf ball that is normally teed off flies. As shown in FIG. 2, the area of interest is an area set perpendicular to the ground and the direction in which a golf ball tee-shot from a tee box flies.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)의 성능과 특성에 대응되는 적정한 프레임과 해상도로 촬영할 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 관심 영역의 정면에서 관심 영역을 촬영할 수 있도록 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)가 각각 복수 개로 설치되는 경우에, 티박스에서 가장 가깝게 설치되는 광각 카메라(110)와 망원 카메라(140)가 관심 영역을 촬영하도록 설치될 수 있다.The camera image capturing step (S10) can be performed at an appropriate frame and resolution corresponding to the performance and characteristics of the wide-angle camera 110 and the telephoto camera 140. One or two wide-angle cameras 110 and telephoto cameras 140 may be installed depending on the shape of the hole course. The wide-angle camera 110 and the telephoto camera 140 may be installed to photograph the area of interest from the front of the area of interest. When a plurality of the wide-angle camera 110 and the telephoto camera 140 are installed, the wide-angle camera 110 and the telephoto camera 140 installed closest to the tee box may be installed to photograph the area of interest.
상기 영상 이미지 선택 단계(S20)는 설정되는 이미지 시간 간격으로 티샷 영상에서 적어도 2장의 영상 이미지를 선택하는 단계이다. 즉, 상기 영상 이미지는, 도 5a와 도 5b에서 보는 바와 같이, 티샷 영상에서 정해진 프레임 간격 또는 시간 간격으로 선택되는 이미지일 수 있다. 상기 영상 이미지는 티샷 전후의 시각에서 프레임 간격으로 촬영된 적어도 2장의 영상 이미지일 수 있다. 또한, 상기 영상 이미지는 바람직하게는 티샷 후에 프레임 간격으로 촬영된 적어도 2장의 이미지일 수 있다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 예를 들면, 상기 도 5a와 도 5b는 1.06초와 1.13초에 각각 촬영된 영상 이미지일 수 있다. 상기 이미지 시간 간격은 소정의 프레임 간격 또는 촬영 시간 간격으로 설정될 수 있다. 상기 이미지 시간 간격은 10~60 프레임 또는 0.1~1초로 설정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 2장의 영상 이미지에서 골프공이 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 티 박스와 페어웨이의 배치가 다른 홀 마다 다르게 결정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 티샷시의 골프공의 예상 비행 속도, 카메라 모듈(100)에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 상기 영상 이미지는 컬러 이미지일 수 있다.The video image selection step (S20) is a step of selecting at least two video images from the tee shot video at a set image time interval. That is, the video image may be an image selected at a set frame interval or time interval from the tee shot video, as shown in FIGS. 5A and 5B. The video images may be at least two video images taken at frame intervals before and after the tee shot. Additionally, the video image may preferably be at least two images taken at frame intervals after the tee shot. 5A and 5B are exemplary video images taken at predetermined time intervals after a tee shot. For example, FIGS. 5A and 5B may be video images taken at 1.06 seconds and 1.13 seconds, respectively. The image time interval may be set to a predetermined frame interval or shooting time interval. The image time interval can be set to 10 to 60 frames or 0.1 to 1 second. The frame interval or shooting time interval needs to be determined so that the golf balls do not overlap each other in the two video images. In addition, the frame interval or shooting time interval needs to be determined so that the golf ball is present in both video images. Accordingly, the frame interval or shooting time interval may be determined differently for each hole with different arrangement of the tee box and fairway. The frame interval or shooting time interval may be determined by considering the expected flight speed of the golf ball at the time of a tee shot, the expected flight angle of the golf ball observed from the camera module 100, etc. The video image may be a color image.
상기 식별 이미지 생성 단계(S30)는 선택된 적어도 2개의 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 단계이다. 상기 식별 이미지 생성 단계(S30)는 적어도 2장의 영상 이미지를 그레이 이미지로 변환시킬 수 있다. 다음으로, 상기 식별 이미지 생성 단계(S30)는 2장의 그레이 이미지의 색상값 차이를 산출하고 산출된 색상값을 반영하여 식별 이미지를 생성할 수 있다. 여기서, 상기 영상 이미지는 상기에서 언급한 바와 같이 컬러 이미지일 수 있다. 따라서, 상기 영상 이미지는 각각의 화소가 RGB 값을 화소에 대한 색상값으로 가질 수 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지는 이미지일 수 있다. 상기 그레이 이미지는 영상 이미지의 RGB값에 따른 그레이 스케일의 색상값을 가질 수 있다. 또한, 상기 식별 이미지는 2가지 색으로만 이루어진 이미지일 수 있다. 상기 식별 이미지는 2장의 그레이 이미지의 색상값 차이에 의하여 생성되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 검은색과 흰색만으로 이루어진 이미지를 의미할 수 있다. 상기 식별 이미지는 각각의 화소가 0 또는 255를 색상값으로 가질 수 있다. 상기 식별 이미지는 골프공과 배경이 다른 색으로 표시되어 골프공이 용이하게 식별되도록 하는 이미지일 수 있다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환한 예시적인 그레이 이미지이다.The identification image generating step (S30) is a step of generating an identification image that reflects the color value difference between at least two selected video images. The identification image generation step (S30) may convert at least two video images into gray images. Next, in the identification image generation step (S30), the difference in color values between the two gray images may be calculated and the calculated color values may be reflected to generate an identification image. Here, the video image may be a color image as mentioned above. Accordingly, each pixel of the video image may have an RGB value as a color value for the pixel. The gray image may be an image in which each pixel has a gray scale of 0 (black) to 255 (white) as a color value. The gray image may have a gray scale color value according to the RGB values of the video image. Additionally, the identification image may be an image composed of only two colors. The identification image may be an image generated by the difference in color values between two gray images. Therefore, the identification image may mean an image consisting of only black and white. In the identification image, each pixel may have a color value of 0 or 255. The identification image may be an image in which the golf ball and the background are displayed in different colors so that the golf ball can be easily identified. FIGS. 6A and 6B are exemplary gray images obtained by converting the video images of FIGS. 5A and 5B into gray scale.
상기 식별 이미지 생성 단계(S30)는 그레이 이미지 생성 과정과 색상값 차이 산출 과정 및 식별 이미지 생성 과정을 포함할 수 있다.The identification image generation step (S30) may include a gray image generation process, a color value difference calculation process, and an identification image generation process.
상기 그레이 이미지 생성 과정은 적어도 2개의 영상 이미지를 그레이 이미지로 변환시키는 과정이다. 상기 적어도 2개의 영상 이미지는 상기에서 언급한 바와 같이 시간적으로 소정의 이미지 시간 간격으로 촬영된 이미지일 수 있다. 따라서, 상기 그레이 이미지는 상대적으로 가장 먼저 촬영된 영상 이미지로부터 변환되는 제 1 그레이 이미지와 다음 이미지 시간 간격으로 촬영된 영상 이미지로부터 변환되는 제 2 그레이 이미지를 포함할 수 있다. 상기 그레이 이미지는 N 개로 생성되는 경우에 가장 나중에 촬영된 영상 이미지로부터 변환되는 제 N 그레이 이미지를 포함할 수 있다.The gray image generation process is a process of converting at least two video images into gray images. As mentioned above, the at least two video images may be images captured temporally at predetermined image time intervals. Accordingly, the gray image may include a first gray image converted from a video image captured relatively first and a second gray image converted from a video image captured at the next image time interval. When the gray image is generated in N pieces, it may include the Nth gray image converted from the latest captured video image.
상기 영상 이미지는 상기에서 언급한 바와 같이 각각의 화소가 RGB값을 화소에 대한 색상값으로 가지고 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지게 된다. 상기 그레이 이미지는 컬러 이미지를 그레이 이미지로 변환시키는 일반적으로 과정에 의하여 변환될 수 있다.As mentioned above, in the video image, each pixel has an RGB value as the color value for the pixel. In the gray image, each pixel has a gray scale of 0 (black) to 255 (white) as a color value. The gray image can be converted by a general process of converting a color image to a gray image.
상기 색상값 차이 산출 과정은 2개의 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 과정이다. 상기 색상값 차이 산출 과정은 바람직하게는 상대적으로 늦게 촬영된 영상 이미지가 변환되는 제 2 그레이 이미지에서 제 1 그레이 이미지의 색상값을 빼서 색상값 차이를 산출할 수 있다. 상기 제 2 그레이 이미지는 시간상으로 보면 가장 최근의 골프공의 위치를 포함하므로 제 2 그레이 이미지를 기준으로 제 1 그레이 이미지와의 차이를 산출하는 것이 골프공의 위치를 추적하는데 유리할 수 있다. 한편, 상기 그레이 이미지가 N개로 이루어지는 경우에 제 N 그레이 이미지를 기준으로 색상값 차이를 산출할 수 있다. 상기 색상값 차이 산출 과정에 의하여 제 2 그레이 이미지의 각 화소에 대응되는 색상값 차이가 산출될 수 있다.The color value difference calculation process is a process of calculating the color value difference of each pixel by comparing the color values of each pixel at the corresponding position of the two gray images. In the color value difference calculation process, the color value difference may be calculated by subtracting the color value of the first gray image from the second gray image into which the video image captured relatively late is converted. Since the second gray image includes the most recent position of the golf ball in time, calculating the difference from the first gray image based on the second gray image may be advantageous in tracking the position of the golf ball. Meanwhile, when the gray image consists of N, the color value difference can be calculated based on the Nth gray image. Through the color value difference calculation process, the color value difference corresponding to each pixel of the second gray image can be calculated.
상기 영상 이미지는 고정된 광각 카메라(110) 또는 망원 카메라(140)로 티샷을 진행하는 짧은 시간에 촬영한 영상으로부터 추출된 이미지이다. 상기 영상 이미지들은 티박스를 찍은 이미지이므로 이동하는 물체인 골프공과 이동하지 않는 배경을 포함한다. 한편, 상기 영상 이미지들은 드물게 새 또는 나뭇잎과 같은 이동하는 물체가 포함될 수 있다.The video image is an image extracted from an image captured in a short period of time while taking a tee shot using a fixed wide-angle camera 110 or a telephoto camera 140. Since the video images are images of a tee box, they include a moving object, a golf ball, and a non-moving background. Meanwhile, the video images may rarely include moving objects such as birds or leaves.
따라서, 상기 영상 이미지들을 대비하면, 골프공이 위치하는 영역들을 제외하고는 색상값에 변화가 없게 된다. 또한, 상기 그레이 이미지도 골프공이 위치하는 영역들을 제외하고는 그레이 스케일의 색상값이 거의 동일하게 된다. 따라서, 상기 2개의 그레이 이미지의 색상값의 차이를 산출하게 되면, 골프공이 위치하는 영역을 제외한 영역은 색상값의 차이가 거의 없게 되며, 골프공이 위치하는 영역만 색상값 차이가 발생될 수 있다. 상기 골프공이 위치하는 영역의 색상값의 차이는 골프공의 색상과 골프공이 지나가는 영역의 배경의 색상의 차이에 따라 결정될 수 있다. Therefore, when comparing the video images, there is no change in color values except for the areas where the golf ball is located. In addition, the gray image also has almost the same gray scale color values, except for the areas where the golf ball is located. Therefore, when the difference in color values of the two gray images is calculated, there is almost no difference in color values in areas other than the area where the golf ball is located, and a color value difference may occur only in the area where the golf ball is located. The difference in color value of the area where the golf ball is located may be determined according to the difference between the color of the golf ball and the color of the background of the area through which the golf ball passes.
상기 식별 이미지 생성 과정은 각 화소별로 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색으로 표시하여 식별 이미지를 생성하는 과정이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 상기 흰색의 색상값은 255이며, 검은색의 색상값은 0일 수 있다. 상기 식별 이미지는 각 화소가 가지는 색상값이 0 또는 255이며, 흑백 이미지로 형성될 수 있다. 예를 들면, 상기 식별 기준값이 100인 경우에 색상값 차이가 100보다 큰 화소는 색상값으로 255를 할당하고, 색상값 차이가 100보다 작은 화소는 색상값으로 0을 할당할 수 있다. 따라서, 상기 식별 이미지는 흰색 영역과 검은색 영역만을 포함하는 이미지로 형성될 수 있다. 상기 식별 이미지에서 골프공이 위치하는 영역은 흰색에 대응되는 색상값이 할당되고, 배경이 위치하는 영역은 검은색에 대응되는 색상값이 할당될 수 있다.The identification image generation process assigns a white color value to pixels whose color value difference is greater than the set identification standard value for each pixel and displays them as white areas, and assigns a black color value to pixels smaller than the identification standard value to display them as a white area. This is the process of creating an identification image by marking it with color. 7 is an example identification image generated from the gray images of FIGS. 6A and 6B. The color value of white may be 255, and the color value of black may be 0. The identification image has a color value of 0 or 255 for each pixel, and may be formed as a black and white image. For example, when the identification reference value is 100, pixels with a color value difference greater than 100 may be assigned a color value of 255, and pixels with a color value difference less than 100 may be assigned a color value of 0. Accordingly, the identification image may be formed as an image including only white and black areas. In the identification image, the area where the golf ball is located may be assigned a color value corresponding to white, and the area where the background is located may be assigned a color value corresponding to black.
상기 식별 이미지는 골프공이 위치하는 영역이 흰색으로 표시되고, 나머지가 검은색으로 표시되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 골프공과 배경을 보다 정확하고 효율적으로 구별할 수 있도록 해준다. 상기 식별 이미지에서 골프공이 위치하는 영역은 원형일 수 있으며, 영상 이미지에서 골프공의 크기에 대응되는 면적일 수 있다.The identification image may be an image in which the area where the golf ball is located is displayed in white and the rest is displayed in black. Accordingly, the identification image allows more accurate and efficient distinction between the golf ball and the background. The area where the golf ball is located in the identification image may be circular, and may be an area corresponding to the size of the golf ball in the video image.
상기 골프공 검출 단계(S40)는 식별 이미지에서 흰색으로 표시되는 영역을 골프공으로 검출하는 단계이다. 상기 식별 이미지는 상기에서 언급한 바와 같이 골프공이 위치하는 영역이 흰색으로 형성되고, 배경이 위치하는 영역이 검은색으로 표시될 수 있다. 따라서, 상기 골프공 검출 단계(S40)는 흰색 영역을 골프공 이미지로 검출할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 흰색 영역의 중심에서 흰색 영역의 전체 면적보다 작은 면적을 갖는 영역으로 검출할 수 있다. The golf ball detection step (S40) is a step of detecting an area displayed in white in the identification image as a golf ball. As mentioned above, in the identification image, the area where the golf ball is located may be displayed in white, and the area where the background is located may be displayed in black. Therefore, in the golf ball detection step (S40), the white area can be detected as a golf ball image. Additionally, in the golf ball detection step (S40), an area having an area smaller than the total area of the white area can be detected from the center of the white area.
상기 흰색 영역은 식별 이미지에서 완전한 원형으로 형성되지 않을 수 있으며, 타원 형상, 사각 형상 또는 부정형 형상으로 형성될 수 있다. 따라서, 상기 골프공은 흰색 영역에서 완전한 원형 또는 정사각형 형상에 대응되는 영역으로 검출할 수 있다. 이러한 경우에, 상기 골프공은 흰색 영역보다 작은 면적으로 검출될 수 있으며, 영상 이미지의 골프공보다 작은 면적으로 검출될 수 있다. 상기 골프공 검출 단계(S40)는 골프공을 식별 이미지에서 좌표와 면적으로 설정할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 골프공 이미지의 무게 중심(Center of Mass)을 계산하여 영상 이미지에서의 좌표(x 및 y 좌표)로 산출할 수 있다.The white area may not be formed as a complete circle in the identification image, but may be formed as an oval shape, a square shape, or an irregular shape. Therefore, the golf ball can be detected as an area corresponding to a completely circular or square shape in the white area. In this case, the golf ball may be detected with an area smaller than the white area, and may be detected with an area smaller than the golf ball in the video image. In the golf ball detection step (S40), the golf ball can be set as coordinates and area in the identification image. Additionally, in the golf ball detection step (S40), the center of mass of the golf ball image can be calculated and calculated as coordinates (x and y coordinates) in the video image.
상기 골프공 락온 단계(S42)는 식별 이미지에서 골프공이 아닌 물체를 제거하는 단계이다. 즉, 상기 골프공 락온 단계(S42)는 식별 이미지에서 흰색 영역이 복수 개로 존재하는 경우에 골프공이 위치하는 흰색 영역이 아닌 흰색 영역을 제거할 수 있다. 예를 들면, 상기 골프공이 위치하지 않는 흰색 영역은 검은색의 색상값을 할당할 수 있다. 상기 영상 이미지는 상기에서 언급한 바와 같이 골프공과 함께 낙엽 또는 새와 같은 물체가 포함될 수 있다. 이러한 경우에 상기 골프공 검출 단계(S40)에서는 복수 개의 골프공이 있는 것으로 인식할 수 있다. 상기 골프공 락온 단계(S42)는 골프공 검출 단계(S40) 이전에 진행될 수 있다. 또한, 상기 골프공 락온 단계(S42)는 검출된 골프공이 실제 골프공인지 확인할 수 있다.The golf ball lock-on step (S42) is a step of removing objects other than golf balls from the identification image. That is, the golf ball lock-on step (S42) may remove a white area other than the white area where the golf ball is located when there are a plurality of white areas in the identification image. For example, a white area where the golf ball is not located may be assigned a black color value. As mentioned above, the video image may include objects such as fallen leaves or birds along with a golf ball. In this case, in the golf ball detection step (S40), it may be recognized that there are a plurality of golf balls. The golf ball lock-on step (S42) may be performed before the golf ball detection step (S40). Additionally, the golf ball lock-on step (S42) can confirm whether the detected golf ball is an actual golf ball.
상기 골프공 락온 단계(S42)는 흰색 영역의 면적과 형상, 흰색 영역의 이동 속도 또는 이동 거리를 고려하여 골프공이 아닌 물체에 의한 흰색 영역을 분리하는 할 수 있다. 여기서 상기 흰색 영역의 이동 속도는 제 1 그레이 이미지와 제 2 그레이 이미지에서 흰색 영역에 대응되는 각각의 위치 사이의 거리와 제 1 그레이 이미지와 제 2 그레이 이미지 사이의 이미지 시간 간격을 사용하여 산출할 수 있다. 상기 골프공의 이동 속도 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 또한, 상기 흰색 영역의 이동 거리는 골프공의 이동 속도와 이미지 시간 간격을 이용하여 산출할 수 있다. 상기 골프공의 이동 거리 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 상기 골프공 락온 단계(S42)는 골프공에 의한 흰색 영역을 특정하여 골프공을 검출할 수 있다.The golf ball lock-on step (S42) may separate the white area by an object other than a golf ball by considering the area and shape of the white area and the moving speed or moving distance of the white area. Here, the moving speed of the white area can be calculated using the distance between each position corresponding to the white area in the first gray image and the second gray image and the image time interval between the first gray image and the second gray image. there is. The moving speed range of the golf ball can be set based on the average moving speed when the golf ball is tee shot. Additionally, the moving distance of the white area can be calculated using the moving speed of the golf ball and the image time interval. The range of movement distance of the golf ball can be set based on the average movement speed when the golf ball is tee shot. In the golf ball lock-on step (S42), the golf ball can be detected by specifying a white area due to the golf ball.
상기 클러터 리젝션 단계(S44)는 식별 이미지에서 배경에 의한 클러터를 제거하는 단계이다. 여기서, 상기 클러터는 식별 이미지에서 배경등에 의하여 골프공과 동일하게 흰색 영역으로 표시되는 것을 의미할 수 있다. 상기 영상 이미지는 광각 카메라(110)와 망원 카메라(140)가 골프공을 따라 이동하면서 촬영한 영상이므로, 영상 이미지에서 골프공과 함께 배경도 이동하는 물체처럼 나타날 수 있다. 따라서, 상기 영상 이미지들은 골프공과 함께 배경에 의하여 화소별 색상에서 서로 차이가 날 수 있다. 또한, 상기 식별 이미지에서 골프공과 함께 배경의 일부가 흰색 영역으로 표시되어 골프공에 대한 클러터(잡음)를 발생시킬 수 있다.The clutter rejection step (S44) is a step of removing clutter caused by the background from the identification image. Here, the clutter may mean that the identification image is displayed as a white area, similar to a golf ball, by a background, etc. Since the video image is an image captured by the wide-angle camera 110 and the telephoto camera 140 while moving along the golf ball, the background along with the golf ball may appear as a moving object in the video image. Accordingly, the video images may differ in color for each pixel due to the golf ball and the background. Additionally, in the identification image, a portion of the background along with the golf ball is displayed as a white area, which may generate clutter (noise) regarding the golf ball.
상기 골프공 검출 단계(S40)는 광각 카메라(110)와 망원 카메라(140)에서 촬영한 적어도 2개의 영상 이미지에 의하여 생성되는 식별 이미지를 이용하여 골프공을 검출하게 되므로, 배경에 의한 흰색 영역에 의하여 골프공을 검출하는데 영향을 받을 수 있다. 상기 배경은 그레이 이미지들에서 그레이 스케일의 색상값 차이가 골프공보다 크지 않으므로 식별 이미지 생성 단계(S30)에서 상당 부분 제거될 수 있다. 따라서, 상기 클러터 리젝션 단계(S44)는 주로 배경에 의하여 흰색 영역으로 표시되는 클러터(잡음)을 제거할 수 있다. 또한, 상기 클러터 리젝션 단계(S44)는 골프공과 근접한 거리에 있는 클러터보다 골프공과 원거리에 있는 클러터를 제거할 수 있다. 또한, 상기 골프공과 근접한 클러터는 골프공의 위치 계산에 주는 영향이 작지만, 골프공과 원거리에 위치한 클러터는 골프공의 위치 계산에 오차를 줄 수 있으므로 제거할 필요가 있다.In the golf ball detection step (S40), the golf ball is detected using an identification image generated by at least two video images captured by the wide-angle camera 110 and the telephoto camera 140, so that the golf ball is detected in the white area by the background. Detecting a golf ball may be affected by this. The background can be largely removed in the identification image generation step (S30) because the difference in gray scale color values between gray images is larger than that of a golf ball. Therefore, the clutter rejection step (S44) can mainly remove clutter (noise) displayed as a white area due to the background. Additionally, the clutter rejection step (S44) can remove clutter that is further away from the golf ball than clutter that is closer to the golf ball. In addition, clutter close to the golf ball has a small effect on calculating the position of the golf ball, but clutter located far from the golf ball may cause an error in calculating the position of the golf ball and needs to be removed.
상기 클러터 리젝션 단계(S44)는 식별 이미지에서 생성되는 흰색 영역에 대하여 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘을 적용하여 진행될 수 있다. 상기 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘은 영상 이미지에서 물체나 특정 영역을 인식할 때 일반적으로 사용되는 알고리즘이므로 여기서 구체적인 설명을 생략한다. The clutter rejection step (S44) may be performed by applying a labeling algorithm, a contouring algorithm, or/and a template matching algorithm to the white area generated in the identification image. Since the labeling algorithm, contouring algorithm, or/and template matching algorithm are algorithms commonly used when recognizing objects or specific areas in video images, detailed descriptions thereof will be omitted here.
상기 골프공 색상값 결정 단계(S50)는 식별 이미지에서 검출된 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 단계이다. 상기 골프공 색상값은 영상 이미지에서 해당 위치를 형성하는 화소의 RGB값으로 결정될 수 있다. 상기 골프공은 야외에서 사용되므로 날씨, 햇빛 정도등의 광 조건에 따라 색상이 변화할 수 있다. 상기 골프공의 색상은 광 조건에 따라 변하지만 사람이 볼 때 그 변화가 적은 것으로 인지될 수 있다. 그러나, 상기 골프공의 색상은 영상 이미지에서 코드화된 값을 가지며, 조명 조건에 따라 함께 변하게 된다. 상기 골프공 색상값은 이후에 진행되는 골프공 추적 단계(S60)에서 사용될 수 있다. 상기 골프공 색상값은 화소의 색상값을 기준으로 상한치와 하한치를 포함하는 범위로 정해질 수 있다. 예를 들면, 상기 골프공 색상값 범위는 화소의 색상값을 기준으로 +10%를 상한치로 하고 -10%를 하한치로 결정될 수 있다.The golf ball color value determination step (S50) is a step of determining the color value of the video image corresponding to the position of the golf ball detected in the identification image as the golf ball color value. The golf ball color value may be determined by the RGB value of the pixel forming the corresponding position in the video image. Since the golf ball is used outdoors, its color may change depending on light conditions such as weather and sunlight level. The color of the golf ball changes depending on light conditions, but when viewed by a person, the change may be perceived as small. However, the color of the golf ball has a coded value in the video image and changes together depending on lighting conditions. The golf ball color value can be used in the golf ball tracking step (S60) that follows. The golf ball color value may be set in a range including an upper limit and a lower limit based on the color value of the pixel. For example, the golf ball color value range may be determined as +10% as the upper limit and -10% as the lower limit based on the color value of the pixel.
상기 골프공 추적 단계(S60)는 골프공 색상값을 이용하여 광각 카메라(110)와 망원 카메라(140)가 촬영한 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 광각 카메라(110)와 망원 카메라(140)를 제어하면서 골프공을 추적하는 단계이다. 상기 골프공 추적 단계(S60)는 골프공의 색상값을 이용하여 영상 이미지를 이진화 이미지로 변환시켜 골프공을 보다 용이하게 인식하도록 할 수 있다.In the golf ball tracking step (S60), the golf ball is recognized by converting the video image captured by the wide-angle camera 110 and the telephoto camera 140 into a binary image using the golf ball color value, and the wide-angle camera 110 and the telephoto camera 140 This is the step of tracking the golf ball while controlling the camera 140. In the golf ball tracking step (S60), the golf ball can be more easily recognized by converting the video image into a binary image using the color value of the golf ball.
상기 골프공은 티샷 후에 지속적으로 비행하므로 순차적으로 촬영되는 영상 이미지에서 중앙으로부터 외곽 방향으로 이동할 수 있다. 따라서, 상기 광각 카메라(110)와 망원 카메라(140)는 골프공이 영상 이미지의 중앙에 위치하도록 제어되는 경우에 골프공을 놓치지 않고 추적할 수 있다. 상기 골프공이 영상 이미지의 중앙에 위치되도록 하면 광각 카메라(110)와 망원 카메라(140)가 골프공을 추적할 때 골프공이 광각 카메라(110)로부터 벗어날 확률을 감소시킬 수 있다. 상기 골프공 추적 단계(S60)는 골프공을 연속적으로 영상 이미지의 중앙에 위치시킴으로써 보다 효율적으로 골프공을 추적할 수 있도록 할 수 있다.Since the golf ball continues to fly after a tee shot, it can move from the center to the outside in sequentially captured video images. Accordingly, the wide-angle camera 110 and the telephoto camera 140 can track the golf ball without missing it when the golf ball is controlled to be located in the center of the video image. If the golf ball is positioned in the center of the video image, the probability that the golf ball deviates from the wide-angle camera 110 when the wide-angle camera 110 and the telephoto camera 140 track the golf ball can be reduced. The golf ball tracking step (S60) can enable more efficient tracking of the golf ball by continuously positioning the golf ball at the center of the video image.
상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 동시에 활용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 상호 보완적으로 사용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 망원 카메라(140) 또는 망원 카메라(140)가 골프공을 놓쳤을 때, 망원 카메라(140)와 망원 카메라(140)를 연동시키면서 광각 카메라(110)와 망원 카메라(140)가 골프공을 놓치지 않고 추적하도록 할 수 있다. 예를 들면, 상기 망원 카메라(140)가 골프공을 놓치는 경우(골프공이 바위 또는 나무등에 맞아 튀는 때와 같이 비정상적으로 빠른 게 움직인 경우)에 광각 카메라(110)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 망원 카메라(140)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다. 또한, 상기 광각 카메라(110)가 골프공을 놓치는 경우(골프공이 하늘로 올라가고 하늘에 구름이 있어 골프공과 색상 구별이 어려운 경우)에 망원 카메라(140)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 광각 카메라(110)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다.In the golf ball tracking step (S60), the golf ball can be tracked by simultaneously using the wide-angle camera 110 and the telephoto camera 140. In the golf ball tracking step (S60), the golf ball can be tracked by complementary use of the wide-angle camera 110 and the telephoto camera 140. In the golf ball tracking step (S60), when the telephoto camera 140 or the telephoto camera 140 misses the golf ball, the wide-angle camera 110 and the telephoto camera ( 140) can track the golf ball without missing it. For example, when the telephoto camera 140 misses the golf ball (if the golf ball moves abnormally fast, such as when it bounces off a rock or tree), the rotation angle or direction of the wide-angle camera 110 is determined. Using the data, the telephoto camera 140 can be rotated to find and track the golf ball again. Additionally, when the wide-angle camera 110 misses the golf ball (when the golf ball rises to the sky and there are clouds in the sky, making it difficult to distinguish its color from the golf ball), data on the rotation angle or direction of the telephoto camera 140 is used. Thus, the wide-angle camera 110 can be rotated to find and track the golf ball again.
상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 포함할 수 있다. 또한, 상기 골프공 추적 단계(S60)는 검색 관심 영역 설정 과정을 더 포함할 수 있다. 상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 추적할 수 있다.The golf ball tracking step (S60) may include an image binarization process, a golf ball recognition process, and a golf ball position change process. Additionally, the golf ball tracking step (S60) may further include a search area-of-interest setting process. The golf ball tracking step (S60) may track the golf ball by repeating the image binarization process, golf ball recognition process, and golf ball position change process.
상기 이미지 이진화 과정은 영상 이미지를 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 과정이다. 상기 골프공 색상값은 상기에서 설명한 바와 같이 소정 범위를 갖는 색상값일 수 있다. 상기 이진화 이미지는 골프공 영역을 흰색으로 나타내고, 배경 영역을 검은색으로 나타낼 수 있다. 따라서, 상기 이미지 이진화 과정은 영상 이미지에서 골프공의 색상을 제외한 색상을 모두 제거할 수 있다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다. 도 8a와 도 8b를 참조하면, 골프공은 2장의 이진화 이미지에서 위치가 비행 방향으로 변동되는 것을 확인할 수 있다.The image binarization process is a process of converting a video image into a binarized image including a golf ball area with a golf ball color value and a background area without a golf ball color value. The golf ball color value may be a color value within a predetermined range as described above. The binarized image may display the golf ball area in white and the background area in black. Therefore, the image binarization process can remove all colors except the color of the golf ball from the video image. FIGS. 8A and 8B are binarized images generated from video images taken at predetermined intervals. Referring to FIGS. 8A and 8B, it can be seen that the position of the golf ball changes in the direction of flight in the two binarized images.
상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공 영역을 포함하는 영역을 검색 관심 영역으로 설정하는 과정이다. 상기 검색 관심 영역은 이진화 이미지에서 골프공을 검색하기 위한 영역을 의미할 수 있다. 상기 골프공은 계속 비행하고 있는 상태이므로 골프공을 인식하기 위하여 검색해야 하는 영역이 계속 변하게 된다. 상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공을 인식하기 위하여 검색하는 검색 관심 영역을 설정하는 과정이다. 상기 검색 관심 영역 설정 과정은 이진화 이미지의 전체 면적보다 상대적으로 작은 면적으로 검색 관심 영역을 설정할 수 있다. 상기 검색 관심 영역은 이진화 이미지에서 골프공 영역을 포함하는 면적으로 형성될 수 있다. 예를 들면, 상기 검색 관심 영역은 골프공 영역의 최대폭에 +500%가 증가된 폭과 골프공 영역의 최대 높이에 +500%가 증가된 높이로 설정될 수 있다. 상기 골프공 영역이 대략 원형인 경우에 골프공 영역의 최대폭은 직경일 수 있다. 또한, 상기 골프공 영역이 부정형 형상인 경우에, 골프공 영역의 최대폭은 수평 방향으로 연장되는 선들중에서 가장 길이가 긴 선의 길이일 수 있다. 상기 검색 관심 영역 설정 과정은 골프공 인식 과정에서 검색해야 하는 영역을 감소시켜서 골프공 인식을 위한 연산 속도를 증대시키고 클러터에 의한 영향을 감소시킬 수 있다.The process of setting the search area of interest is a process of setting the area including the golf ball area in the binarized image as the search area of interest. The search area of interest may refer to an area for searching for a golf ball in a binarized image. Since the golf ball continues to fly, the area that must be searched to recognize the golf ball continues to change. The search area of interest setting process is a process of setting a search area of interest to be searched to recognize a golf ball in a binarized image. In the process of setting the search area of interest, the search area of interest may be set to an area that is relatively smaller than the total area of the binarized image. The search area of interest may be formed as an area including the golf ball area in the binarized image. For example, the search area of interest may be set to have a width increased by +500% from the maximum width of the golf ball area and a height increased by +500% from the maximum height of the golf ball area. If the golf ball area is approximately circular, the maximum width of the golf ball area may be the diameter. Additionally, when the golf ball area has an irregular shape, the maximum width of the golf ball area may be the length of the longest line among lines extending in the horizontal direction. The process of setting the search area of interest can reduce the area to be searched in the golf ball recognition process, thereby increasing the calculation speed for golf ball recognition and reducing the influence of clutter.
상기 골프공 인식 과정은 이진화 이미지에서 골프공을 인식하여 골프공의 위치를 결정하는 과정이다. 상기 골프공 인식 과정은 이진화 이미지를 스캔하면서 골프공 영역인 흰색 영역을 인식할 수 있다. 이때, 상기 골프공 인식 과정은 이진화 이미지의 전체 또는 이진화 이미지에 설정된 검색 관심 영역을 스캔할 수 있다. 또한, 상기 골프공 인식 과정은 인식된 골프공의 위치를 이진화 이미지에서 결정할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 인식된 골프공 이미지의 무게 중심을 계산하여 산출할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 x축과 y축에 대한 좌표값(x, y)으로 설정할 수 있다.The golf ball recognition process is a process of recognizing a golf ball in a binarized image and determining the position of the golf ball. The golf ball recognition process can recognize a white area, which is the golf ball area, while scanning a binarized image. At this time, the golf ball recognition process may scan the entire binarized image or a search area of interest set in the binarized image. Additionally, the golf ball recognition process may determine the location of the recognized golf ball from the binarized image. The position of the golf ball can be calculated by calculating the center of gravity of the golf ball image recognized in the binarized image. The position of the golf ball can be set as coordinate values (x, y) for the x and y axes in the binarized image.
상기 골프공 위치 변경 과정은 인식된 골프공의 위치가 이진화 이미지에서 중앙에 오도록 광각 카메라(110)와 망원 카메라(140)의 방향을 이동시키는 과정이다. 상기 골프공 위치 변경 과정은 광각 카메라(110)와 망원 카메라(140)를 제어하여 골프공의 산출된 위치가 이진화 이미지에서 중앙에 오도록 진행될 수 있다. 즉, 상기 골프공 위치 변경 과정은 골프공이 이진화 이미지에서 중앙에 위치하도록 광각 카메라(110)와 망원 카메라(140)를 제어하여 회전시키게 된다. 이때, 상기 광각 카메라(110)와 망원 카메라(140)는 수평 방향과 상하 방향으로 회전할 수 있다.The golf ball position change process is a process of moving the directions of the wide-angle camera 110 and the telephoto camera 140 so that the recognized position of the golf ball is at the center of the binarized image. The golf ball position change process may be performed by controlling the wide-angle camera 110 and the telephoto camera 140 so that the calculated position of the golf ball is centered in the binarized image. That is, the process of changing the golf ball position involves controlling and rotating the wide-angle camera 110 and the telephoto camera 140 so that the golf ball is located at the center of the binarized image. At this time, the wide-angle camera 110 and the telephoto camera 140 can rotate horizontally and vertically.
상기 골프공 추적 단계(S60)는 상기에서 언급한 바와 같이 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 연속적으로 추적할 수 있다. 상기 골프공 추적 단계(S60)는 하나의 영상 이미지에 대하여 골프공 위치 변경 과정이 완료되면 다시 새로운 영상 이미지에 대하여 이미지 이진화 과정과 골프공 인식 과정 및 골프공 위치 변경 과정을 진행할 수 있다. 또한, 상기 검색 관심 영역은 현재 이미지 이진화 과정이 진행되는 영상 이미지보다 전의 영상 이미지에서의 검색 관심 영역과 골프공의 이동 방향 및 이동 속도를 반영한 영역으로 설정될 수 있다. 예를 들면, 상기 골프공의 이동 방향과 이동 속도는 이전의 골프공 추적 단계(S60)들에서 골프공의 이동 방향과 이동 거리를 반영하여 산출될 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)의 회전 각도를 통하여 지면에서 바라보았을 때의 골프공의 궤적을 도출할 수 있다. As mentioned above, the golf ball tracking step (S60) may continuously track the golf ball by repeating the image binarization process, golf ball recognition process, and golf ball position change process. In the golf ball tracking step (S60), when the golf ball position change process is completed for one video image, the image binarization process, golf ball recognition process, and golf ball position change process can be performed again for a new video image. Additionally, the search area of interest may be set as an area reflecting the search area of interest in the video image before the video image in which the current image binarization process is being performed and the moving direction and moving speed of the golf ball. For example, the moving direction and moving speed of the golf ball may be calculated by reflecting the moving direction and moving distance of the golf ball in the previous golf ball tracking steps (S60). In the golf ball tracking step (S60), the trajectory of the golf ball as seen from the ground can be derived through the rotation angles of the wide-angle camera 110 and the telephoto camera 140.
상기 골프공 착지 확인 단계(S70)는 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 골프공을 포함하는 착지 이미지를 생성하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)가 진행되면서 이진화 이미지에서 골프공이 인식되는지 여부를 확인하는 단계이다. 보다 구체적으로는 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)의 골프공 인식 과정에서 골프공이 인식되는지 여부를 확인하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 인식 과정이 일정 회수 반복되지 않으면 골프공의 이동이 없는 것으로 판단하여 골프공이 착지된 것으로 간주할 수 있다. 상기 골프공 착지 확인 단계(S70)는 지면에 착지된 골프공의 착지 이미지를 생성할 수 있다. 상기 착지 이미지는 착지된 골프공과 주위 배경을 포함하는 이미지일 수 있다. 또한, 상기 골프공 착지 확인 단계(S70)는 착지 영상을 생성할 수 있다. The golf ball landing confirmation step (S70) is a step of confirming whether the golf ball has landed on the ground and generating a landing image including the landed golf ball. The golf ball landing confirmation step (S70) is a step of checking whether the golf ball is recognized in the binarized image as the golf ball tracking step (S60) progresses. More specifically, the golf ball landing confirmation step (S70) is a step of checking whether the golf ball is recognized in the golf ball recognition process of the golf ball tracking step (S60). In the golf ball landing confirmation step (S70), if the golf ball recognition process is not repeated a certain number of times, it is determined that there is no movement of the golf ball and it can be considered that the golf ball has landed. The golf ball landing confirmation step (S70) may generate a landing image of the golf ball landing on the ground. The landing image may be an image including the landed golf ball and the surrounding background. Additionally, the golf ball landing confirmation step (S70) may generate a landing image.
또한, 상기 골프공 착지 확인 단계(S70)는 골프공의 착지가 확인되면 착지된 골프공이 포함된 착지 영상 이미지를 수신 단말기(400)로 전송하여 골프공이 착지된 위치를 확인할 수 있도록 한다. 상기 수신 단말기(400)는 수신된 착지 영상 이미지를 표시하여 캐디 또는 골퍼가 골프공이 착지된 위치를 확인할 수 있도록 한다.Additionally, in the golf ball landing confirmation step (S70), when the landing of the golf ball is confirmed, a landing video image including the landed golf ball is transmitted to the receiving terminal 400 to confirm the landing location of the golf ball. The receiving terminal 400 displays the received landing video image so that the caddy or golfer can check the location where the golf ball landed.
상기 골프공 비행 영상 생성 단계(S80)는 카메라 영상 촬영 단계(S10)부터 골프공 착지 확인 단계(S70)까지 광각 카메라(110) 또는/및 망원 카메라(140)로 촬영되는 영상들로 비행 동영상을 생성하는 단계이다. 본 발명의 골프공 추적 방법은 각 단계의 수행을 위하여 카메라 영상 촬영 단계(S10)부터 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공 비행 영상을 촬영하며 저장할 수 있다. 따라서, 상기 골프공 비행 영상 생성 단계(S80)는 하나의 티샷된 골프공에 대하여 저장된 영상을 분리하여 비행 동영상으로 생성할 수 있다. 상기 골프공 비행 영상 생성 단계(S80)는 골프공 착지 확인 단계(S70)가 완료된 후에 진행될 수 있다. 상기 비행 동영상은 골프공이 비행하는 영상과 착지하는 영상을 포함할 수 있다.The golf ball flight image generation step (S80) generates a flight video with images captured by the wide-angle camera 110 or/and the telephoto camera 140 from the camera image capture step (S10) to the golf ball landing confirmation step (S70). This is the creation stage. The golf ball tracking method of the present invention can capture and store golf ball flight images using the wide-angle camera 110 and the telephoto camera 140 starting from the camera image capturing step (S10) in order to perform each step. Therefore, in the golf ball flight image generation step (S80), the stored image of one tee shot golf ball can be separated and a flight video can be generated. The golf ball flight image generation step (S80) may be performed after the golf ball landing confirmation step (S70) is completed. The flight video may include an image of a golf ball flying and an image of a golf ball landing.
상기 골프공 비행 영상 전송 단계(S90)는 골프공 비행 영상 생성 단계(80)에서 생성된 골프공 비행 영상을 수신 단말기(400)로 전송하는 단계이다. 상기 골프공 비행 영상은 광각 카메라(110)에 의한 비행 동영상 또는 망원 카메라(140)에 의한 비행 동영상일 수 있다. 상기 골프공 비행 영상은 중앙 서버(300)에 의하여 수신 단말기(400)로 전송될 수 있다.The golf ball flight image transmission step (S90) is a step of transmitting the golf ball flight image generated in the golf ball flight image generation step (80) to the receiving terminal 400. The golf ball flight video may be a flight video using a wide-angle camera 110 or a flight video using a telephoto camera 140. The golf ball flight image may be transmitted to the receiving terminal 400 by the central server 300.
이상에서 설명한 것은 본 발명에 따른 골프공 추적 방법 및 이를 위한 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the golf ball tracking method and system for the same according to the present invention, and the present invention is not limited to the above-described embodiment, and is as claimed in the claims below. Anyone with ordinary knowledge in the field to which the invention pertains will say that the technical spirit of the present invention exists to the extent that various modifications can be made without departing from the gist of the invention.
100: 카메라 모듈 110: 광각 카메라
120: 광각 틸팅 모터 130: 광각 패닝 모터
140: 망원 카메라 150: 망원 틸팅 모터
160: 망원 패닝 모터 200: 카메라 제어 모듈
300: 중앙 서버 400: 골퍼 단말기
500: 로컬 서버100: Camera module 110: Wide-angle camera
120: Wide-angle tilting motor 130: Wide-angle panning motor
140: Telephoto camera 150: Telephoto tilting motor
160: Telephoto panning motor 200: Camera control module
300: Central server 400: Golfer terminal
500: Local server
Claims (7)
상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와,
선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와,
상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와,
상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와,
상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및
상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하며,
상기 골프공 추적 단계는
상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과,
상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및
인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.A camera capture image step of capturing a tee shot image with a wide-angle camera and a telephoto camera for an area of interest set at the top of the tee box, including the golf ball being tee shot;
A video image selection step of selecting at least two video images at image time intervals from the tee shot video;
An identification image generation step of generating an identification image reflecting color value differences between the at least two selected video images;
A golf ball detection step of detecting an area displayed in white in the identification image as the golf ball;
A golf ball color value determination step of determining the color value of the video image corresponding to the position of the golf ball detected in the identification image as the golf ball color value;
A golf ball tracking step of converting the video image captured by the wide-angle camera and the telephoto camera into a binary image using the golf ball color value to recognize the golf ball and tracking the golf ball while controlling the wide-angle camera and the telephoto camera;
A golf ball landing confirmation step of confirming whether the golf ball has landed on the ground and generating a landing image including the landed golf ball,
The golf ball tracking step is
An image binarization process of converting the video image into a binarized image including a golf ball area having the golf ball color value and a background area not having the golf ball color value;
A golf ball recognition process of recognizing the golf ball in the binarized image and determining the position of the golf ball, and
A golf ball tracking method comprising a golf ball position change process of moving the directions of the wide-angle camera and the telephoto camera so that the recognized position of the golf ball is centered in the binarized image.
상기 식별 이미지 생성 단계는
적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과,
2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및
각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
The identification image generation step is
A gray image generation process that converts at least two video images into gray images,
A color value difference calculation process of calculating the color value difference of each pixel by comparing the color value of each pixel at a corresponding position in the two gray images, and
For each pixel, a white color value is assigned to the pixel whose color value difference is greater than the set identification standard value and displayed as a white area, and a black color value is assigned to the pixel less than the identification standard value and displayed as a black area. A golf ball tracking method comprising an identification image generation process for generating the identification image.
상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 2,
A golf ball tracking method further comprising a golf ball lock-on step of displaying a white area other than the white area where the golf ball is located as a black area when there are a plurality of white areas in the identification image.
상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 2,
A golf ball tracking method further comprising a clutter rejection step of removing clutter caused by a background from the identification image.
상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및
상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
A golf ball flight image generation step of capturing the flight image of the golf ball with the wide-angle camera and the telephoto camera from the camera image capturing step to the golf ball landing confirmation step to generate a golf ball flight image;
A golf ball tracking method further comprising the step of transmitting the golf ball flight image to a receiving terminal.
상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
A golf ball tracking method, wherein the wide-angle camera and the telephoto camera are linked together to track the golf ball.
상기 카메라 모듈을 제어하는 카메라 제어 모듈과,
상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및
상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 제 1 항에 따른 골프공 추적 방법을 수행하는 골프공 추적 시스템.A camera module that includes a wide-angle camera and a telephoto camera and takes images of the flight of the golf ball,
A camera control module that controls the camera module,
A central server linked to the camera control module through the Internet or a separate communication network, and
A golf ball tracking system that is linked to the central server or camera control module and includes a receiving terminal that receives a golf ball landing image or a golf ball flight image of the golf ball, and performs the golf ball tracking method according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020230117907A KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210070694A KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
KR1020230117907A KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210070694A Division KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230134104A KR20230134104A (en) | 2023-09-20 |
KR102621864B1 true KR102621864B1 (en) | 2024-01-09 |
Family
ID=84440287
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210070694A KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
KR1020230117907A KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210070694A KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102578232B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116666A (en) * | 2005-09-20 | 2007-05-10 | Fujinon Corp | Surveillance camera apparatus and surveillance camera system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180106075A (en) * | 2017-03-17 | 2018-10-01 | 공현식 | The system and method for providing real-time golf game information including point-to-point distance and slope using two PTZ camera installed in a golf cart and automatic tracking of golf ball |
-
2021
- 2021-06-01 KR KR1020210070694A patent/KR102578232B1/en active Application Filing
-
2023
- 2023-09-05 KR KR1020230117907A patent/KR102621864B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116666A (en) * | 2005-09-20 | 2007-05-10 | Fujinon Corp | Surveillance camera apparatus and surveillance camera system |
Also Published As
Publication number | Publication date |
---|---|
KR102578232B1 (en) | 2023-09-15 |
KR20220162909A (en) | 2022-12-09 |
KR20230134104A (en) | 2023-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3393608B1 (en) | Planar solutions to object-tracking problems | |
AU2018404876B2 (en) | Golf ball tracking system | |
US7292711B2 (en) | Flight parameter measurement system | |
US7324663B2 (en) | Flight parameter measurement system | |
KR20210104912A (en) | Device, system, and method for tracking an object using radar data and imager data | |
CN109034156B (en) | Bullet point positioning method based on image recognition | |
CN112183355B (en) | Effluent height detection system and method based on binocular vision and deep learning | |
KR102681768B1 (en) | System and method for golf driving range shot movement path characteristics | |
JP2001521403A (en) | Golf driving range distance determination apparatus and method | |
CN108473201B (en) | Unmanned aerial vehicle retraction system, unmanned aerial vehicle retraction method, and recording medium | |
US20230237747A1 (en) | Registration for augmented reality system for viewing an event | |
WO2003104838A1 (en) | Flight parameter measurement system | |
US11880953B2 (en) | Augmented reality system for viewing an event with distributed computing | |
US20230237748A1 (en) | Augmented reality system for viewing an event with mode based on crowd sourced images | |
US20230118280A1 (en) | Use of multiple registrations for augmented reality system for viewing an event | |
CN103106654A (en) | Apparatus, method and system | |
CN103100204B (en) | Method, equipment and program | |
US20240276056A1 (en) | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model | |
US11077351B2 (en) | Measurement and reconstruction of the golf launching scene in 3D | |
CN111541846A (en) | Automatic ice kettle image following and shooting system | |
KR102621864B1 (en) | Method for Tracing Golf Ball and System for the Same | |
JP3025335B2 (en) | Golf hitting training and simulation method | |
CN110717931B (en) | System and method for detecting height of hitting point of badminton serving | |
CN213823403U (en) | Badminton motion level test scoring equipment based on radar tracking capture ball drop point | |
KR102613027B1 (en) | Tracking system for position of golf ball |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |