KR20220162909A - Method for Tracing Golf Ball and System for the Same - Google Patents
Method for Tracing Golf Ball and System for the Same Download PDFInfo
- Publication number
- KR20220162909A KR20220162909A KR1020210070694A KR20210070694A KR20220162909A KR 20220162909 A KR20220162909 A KR 20220162909A KR 1020210070694 A KR1020210070694 A KR 1020210070694A KR 20210070694 A KR20210070694 A KR 20210070694A KR 20220162909 A KR20220162909 A KR 20220162909A
- Authority
- KR
- South Korea
- Prior art keywords
- golf ball
- image
- camera
- wide
- angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000008569 process Effects 0.000 claims description 67
- 238000012790 confirmation Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004091 panning Methods 0.000 description 48
- 238000009434 installation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000001788 irregular Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 101100135641 Caenorhabditis elegans par-3 gene Proteins 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
- A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
- A63B2024/0053—Tracking a path or terminating locations for locating an object, e.g. a lost ball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
- A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 골프 라운딩에서 티샷된 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템에 관한 것이다.The present invention relates to a golf ball tracking method and a system for providing a landing position of a golf ball on the ground by tracking a tee shot in a round of golf.
골프 라운딩은 각 홀마다 거리에 따라 다소의 차이가 있으나 티샷 과정부터 시작되어 세컨 샷 과정을 거쳐 퍼팅 과정으로 종료된다. 상기 티샷 과정은 골퍼가 정해진 위치의 티 박스에서 골프공을 치고 골프공이 지면의 페어웨이 또는 러프에 착지하는 과정이다.Golf rounding has some differences depending on the distance of each hole, but it starts with a tee shot process, goes through a second shot process, and ends with a putting process. The tee shot process is a process in which a golfer hits a golf ball from a tee box at a predetermined location and the golf ball lands on a fairway or rough on the ground.
골프 라운딩은 원활한 진행을 위해서 티샷 과정에서 골프공의 궤적과 지면의 착지 위치를 적정하게 파악하는 것을 필요로 한다. 골프공은 티샷 과정에서 골퍼의 실력에 따라 다양한 방향으로 날아가게 되므로, 골프공의 착지 위치를 파악하는 것이 용이하지 않을 수 있다. 골퍼는 티샷 과정에서 골프공을 치는데 집중하므로, 골프공의 착지 위치는 주로 캐디에게 의존하여 파악하게 된다. 따라서, 캐디는 골프공의 착지 위치를 신속하게 파악하여 골프 라운딩을 원활하게 진행하는데 도움을 준다. 최근에는 캐디의 공급이 원활하지 않으므로, 골프장은 적정하게 캐디를 확보하는데 어려움이 있다. 또한, 캐디의 공급이 원활하지 않으므로, 캐디피가 높아지면서 골퍼의 금전적인 부담이 증가되고 있다.Golf rounding requires appropriate identification of the trajectory of the golf ball and the landing position on the ground during the tee shot process for smooth progress. Since the golf ball flies in various directions according to the skill of the golfer during the tee shot process, it may not be easy to determine the landing position of the golf ball. Since the golfer concentrates on hitting the golf ball during the tee shot process, the landing position of the golf ball is mainly determined by the caddy. Therefore, the caddy quickly recognizes the landing position of the golf ball and helps smoothly progress the round of golf. Recently, since the supply of caddies is not smooth, it is difficult to properly secure caddies at golf courses. In addition, since the supply of caddies is not smooth, the golfer's financial burden increases as the caddy fee increases.
한편, 골프장은 골퍼에 대한 서비스 차원에서 티샷 순간의 사진 또는 홀인원된 골프공의 사진 정도를 제공하고 있다. 골퍼는 홀인원이나 티샷이 잘 된 경우에 골프공의 비행 영상을 간직하고 싶으나, 비행 영상의 확보가 용이하지 않은 실정이다.Meanwhile, the golf course provides a picture of a tee shot moment or a picture of a hole-in-one golf ball as a service to golfers. A golfer wants to keep a flight video of a golf ball when a hole-in-one or a tee shot is successful, but it is not easy to secure the flight video.
본 발명은 골프 라운딩에서 티샷되는 골프공을 추적하여 골프공이 지면에 착지하는 위치를 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a golf ball tracking method and system for providing a landing position of a golf ball on the ground by tracking a golf ball tee-shot in a round of golf.
또한, 본 발명은 골프 라운딩에서 골프공의 티샷부터 지면에 착지될 때까지 골프공의 비행 영상을 생성하여 제공하는 골프공 추적 방법 및 이를 위한 시스템을 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a golf ball tracking method and system for generating and providing a flight image of a golf ball from a tee shot to landing on the ground in a round of golf.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 골프공 추적 방법은 광각 카메라와 망원 카메라로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 카메라 촬영 영상 단계와, 상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와, 선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와, 상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와, 상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와, 상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및 상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 것을 특징으로 한다.A golf ball tracking method according to an embodiment of the present invention to solve the above problems is a camera that captures a tee shot image with respect to a region of interest set above the tee box, including a golf ball tee-shot by a wide-angle camera and a telephoto camera. A photographing video step, a video image selection step of selecting at least two video images at an image time interval from the tee shot video, and an identification image generating an identification image reflecting a color value difference between the selected at least two video images. A generating step, a golf ball detecting step of detecting an area marked as white in the identification image as the golf ball, and a color value of a video image corresponding to the position of the golf ball detected in the identification image as a golf ball color value. determining a golf ball color value; converting video images photographed by the wide-angle camera and the telephoto camera into binarized images using the golf ball color values to recognize the golf ball and control the wide-angle camera and the telephoto camera to golf It is characterized in that it includes a golf ball tracking step of tracking a ball and a golf ball landing confirmation step of generating a landing image including the landed golf ball by checking whether or not the golf ball has landed on the ground.
또한, 상기 식별 이미지 생성 단계는 적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과, 2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및 각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함할 수 있다.In addition, the identification image generation step may include a gray image generation process of converting at least two video images into gray images, and a color value difference between each pixel by comparing color values for each pixel at a corresponding position of the two gray images. A color value difference calculation process for calculating and displaying a white area by assigning a white color value to a pixel for which the color value difference is greater than the set identification reference value for each pixel, and displaying a black color value for pixels smaller than the identification reference value It may include an identification image generation process of generating the identification image by allocating and displaying it as a black area.
또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함할 수 있다.The golf ball tracking method may further include a golf ball lock-on step of displaying a white area other than the white area where the golf ball is located as a black area when there are a plurality of the white areas in the identification image. have.
또한, 상기 골프공 추적 방법은 상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함할 수 있다.The golf ball tracking method may further include a clutter rejection step of removing clutter caused by a background from the identification image.
또한, 상기 골프공 추적 단계는 상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과, 상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및 인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함할 수 있다.The golf ball tracking step may include an image binarization process of converting the video image into a binarized image having a golf ball area having the golf ball color value and a background area not having the golf ball color value; A golf ball recognition process for recognizing a golf ball and determining the position of the golf ball and a golf ball position change process for moving the directions of the wide-angle camera and the telephoto camera so that the recognized golf ball position is at the center of the binarized image. can include
또한, 상기 골프공 추적 방법은 상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및 생성된 상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함할 수 있다.In addition, the golf ball tracking method includes a golf ball flight image generating step of capturing a golf ball flight image from the camera image capture step to the golf ball landing confirmation step with the wide-angle camera and the telephoto camera to generate a golf ball flight image; and A golf ball flight image transmission step of transmitting the generated golf ball flight image to a receiving terminal may be further included.
또한, 상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적할 수 있다.In addition, the wide-angle camera and the telephoto camera may be linked together to track the golf ball.
또한, 본 발명의 일 실시예에 따른 골프공 추적 시스템은 광각 카메라와 망원 카메라를 포함하며, 골프공의 비행 영상을 촬영하는 카메라 모듈과, 상기 카메라 모듈을 제어하는 카메라 제어 모듈과, 상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및 상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 상기와 같은 골프공 추적 방법을 수행하는 것을 특징으로 한다.In addition, a golf ball tracking system according to an embodiment of the present invention includes a wide-angle camera and a telephoto camera, a camera module for capturing a flight image of a golf ball, a camera control module for controlling the camera module, and controlling the camera. A central server interworking with the module through the Internet or a separate communication network and a receiving terminal interworking with the central server or camera control module and receiving a golf ball landing image or golf ball flight video of the golf ball, as described above. It is characterized by performing a golf ball tracking method.
본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 함께 이용하여 티샷되는 골프공을 추적하면서 골프공이 지면에 착지하는 위치를 제공할 수 있다.The golf ball tracking method and system of the present invention can provide a landing position of a golf ball on the ground while tracking a golf ball being tee shot by using a wide-angle camera and a telephoto camera together.
또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다.In addition, since the golf ball tracking method and system of the present invention recognizes a golf ball by processing video images captured by a wide-angle camera and a telephoto camera, the golf ball can be recognized and tracked more accurately and efficiently.
또한, 본 발명의 골프공 추적 방법 및 시스템은 광각 카메라와 망원 카메라를 연동시켜 골프공을 추적함으로써 골프공을 놓치지 않고 추적할 수 있다.In addition, the golf ball tracking method and system of the present invention can track the golf ball without missing it by tracking the golf ball by interlocking the wide-angle camera and the telephoto camera.
또한, 본 발명의 골프공 추적 방법 및 시스템은 골프공이 티샷부터 지면에 착지될 때까지의 비행 영상을 촬영하여 골퍼에서 제공할 수 있다.In addition, the golf ball tracking method and system of the present invention can capture a flight image from a tee shot until it lands on the ground and provide it to the golfer.
또한, 본 발명의 골프공 추적 방법 및 시스템은 파 3 홀에서 골프공이 티샷부터 홀컵에 들어가는 전체 비행 영상을 촬영하여 제공할 수 있다.In addition, the golf ball tracking method and system of the present invention may capture and provide an entire flight image of a golf ball entering a hole cup from a tee shot in a par 3 hole.
도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다.
도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 촬영하는 티 박스의 관심 영역에 대한 개략도이다.
도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다.
도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다.
도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다.
도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다.
도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.1 is a schematic configuration diagram of a golf ball tracking system according to an embodiment of the present invention.
FIG. 2 is a schematic diagram of a region of interest of a tee box captured by a camera module of the golf ball tracking system of FIG. 1 .
3A and 3B are plan views illustrating locations where the camera module of FIG. 1 is installed in a hole course.
4 is a flowchart of a golf ball tracking method according to an embodiment of the present invention.
5A and 5B are exemplary video images captured at predetermined time intervals after a tee shot.
6A and 6B are exemplary gray images generated by converting the video images of FIGS. 5A and 5B into a gray scale.
7 is an exemplary identification image generated from the gray images of FIGS. 6A and 6B.
8A and 8B are binarized images generated from video images captured at predetermined intervals.
이하에서 실시예와 첨부한 도면을 참조하여 본 발명의 일 실시예에 따른 골프공 추적 방법 및 시스템에 대하여 보다 구체적으로 설명한다.Hereinafter, a golf ball tracking method and system according to an embodiment of the present invention will be described in more detail with reference to embodiments and accompanying drawings.
먼저, 본 발명의 일 실시예에 따른 골프공 추적 방법을 위한 골프공 추적 시스템에 대하여 설명한다.First, a golf ball tracking system for a golf ball tracking method according to an embodiment of the present invention will be described.
도 1은 본 발명의 일 실시예에 따른 골프공 추적 시스템의 개략적인 구성도이다. 도 2는 도 1의 골프공 추적 시스템의 카메라 모듈이 설치되는 티 박스의 관심 영역에 대한 개략도이다. 도 3a와 도 3b는 도 1의 카메라 모듈이 홀 코스에서 설치되는 위치를 나타내는 평면도이다.1 is a schematic configuration diagram of a golf ball tracking system according to an embodiment of the present invention. FIG. 2 is a schematic diagram of a region of interest of a tee box in which a camera module of the golf ball tracking system of FIG. 1 is installed. 3A and 3B are plan views illustrating locations where the camera module of FIG. 1 is installed in a hole course.
본 발명의 일 실시예에 따른 골프공 추적 시스템은, 도 1 내지 도 3b를 참조하면, 카메라 모듈(100)과 카메라 제어 모듈(200)과 중앙 서버(300) 및 수신 단말기(400)를 포함할 수 있다. 또한, 상기 골프공 추적 시스템은 로컬 서버(500)를 더 포함할 수 있다.Referring to FIGS. 1 to 3B , the golf ball tracking system according to an embodiment of the present invention may include a
상기 골프공 추적 시스템은 골프장의 어느 하나의 홀 코스에 카메라 모듈(100)이 설치되어 골프공이 티샷부터 지면 착지될 때까지 골프공을 추적하면서 골프공이 지면에 착지되는 착지 위치에 대한 정보를 수신 단말기(400)에게 제공할 수 있다. 이를 위하여, 상기 카메라 모듈(100)은 골프공이 비행하는 동안 골프공을 따라가면서 촬영하여 영상 이미지를 생성할 수 있다. 상기 카메라 제어 모듈(200)은 영상 이미지에서 골프공을 검출하고, 카메라 모듈(100)이 골프공을 계속적으로 추적하여 촬영하도록 카메라 모듈(100)을 제어할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 연결되며, 카메라 모듈(100)에서 수신되는 골프공의 착지 위치에 대한 영상 이미지 또는 골프공의 비행에 대한 촬영 영상을 수신 단말기(400)로 전송할 수 있다.The golf ball tracking system has a
한편, 이하에서 설명하는 골프공 추적 시스템은 본 발명의 골프공 추적 방법을 제공하기 위한 일 실시예이며, 골프공 추적 방법을 제공하기 위한 다양한 구성으로 형성될 수 있다.Meanwhile, the golf ball tracking system described below is an embodiment for providing the golf ball tracking method of the present invention, and may be formed in various configurations to provide the golf ball tracking method.
상기 카메라 모듈(100)은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)를 포함할 수 있다.The
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며 골프공을 추적할 수 있다. 이때, 상기 카메라 모듈은 광각 카메라(110)와 망원 카메라(140)가 각각 골프공을 추적할 수 있다. 또한, 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 연동되면서 골프공을 추적할 수 있다. 이러한 경우에 상기 카메라 모듈(100)은 골프공을 놓치지 않고 보다 효율적으로 추적할 수 있다.The
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 구비하며, 티샷부터 지면에 착지될 때까지 골프공을 추적하여 촬영할 수 있다. 이때, 상기 광각 카메라(110)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)에 의하여 틸팅 및 패닝되면서 골프공을 추적하여 골프공의 비행 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 틸팅 및 패닝되면서 골프공의 비행 영상을 촬영할 수 있다. The
상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 함께 구동되거나 서로 독립적으로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)가 서로 연동되어 구동될 수 있다. 예를 들면, 상기 광각 카메라(110)와 망원 카메라(140)는 광각 틸팅 모터(120)와 광각 패닝 모터(130)의 구동에 의하여 함께 구동될 수 있다. 또한, 상기 망원 카메라(140)는 망원 틸팅 모터(150)와 망원 패닝 모터(160)에 의하여 광각 카메라(110)와 별도로 구동될 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하므로 골프공을 놓치지 않고 보다 효율적이고 정확하게 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 화각이 상대적으로 크므로 티샷되는 골프공이 비정상적인 빠른 속도로 날아가거나 예측되지 않는 방향으로 날아가는 경우에도 골프공을 놓치지 않고 추적할 수 있다. 상기 망원 카메라(140)는 확대 촬영이 가능하므로 골프공과 배경의 색상이 유사한 경우에도 정확하게 골프공을 검출 또는 인식할 수 있다.In the
상기 카메라 모듈(100)은 골프장의 어느 하나의 홀 코스에서 티 박스의 관심 영역(Region of Interest)(a)을 촬영할 수 있는 소정 위치에 설치될 수 있다. 상기 카메라 모듈(100)은 티 박스의 관심 영역을 촬영할 수 있도록 촬영 방향과 촬영 배율등이 조정될 수 있다. 상기 카메라 모듈(100)은 홀 코스의 형태에 따라 관심 영역의 정면 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 관심 영역의 정면 방향과 소정의 예각을 이루는 방향에서 관심 영역을 촬영할 수 있다. 상기 카메라 모듈(100)은 광각 카메라(110)와 망원 카메라(140)를 이용하여 관심 영역을 촬영할 수 있다.The
여기서, 상기 관심 영역(a)은, 도 2에서 보는 바와 같이, 티 박스에서 티샷되는 골프공(b)이 날아가는 방향에 수직인 영역이며, 소정의 폭과 높이를 가지는 가상의 영역이다. 예를 들면, 상기 관심 영역은 티 박스의 전체 폭 또는 티박스에 설치되는 2 개의 티 마커(또는 티 블록)(c) 사이에서 지면으로부터 이격되는 하단선과 하단선으로부터 소정 높이에 위치하는 상단선에 의하여 정의되는 사각형상으로 정의될 수 있다. 상기 하단선은 골프 티 또는 골퍼의 키보다 높은 위치일 수 있다. 또한, 상기 상단선은 골프공이 날아가는 최대 높이보다 높은 위치일 수 있다. 상기 관심 영역은 티 박스에서 소정 거리로 전진된 위치에 설정될 수 있다. 상기 관심 영역은 티 박스의 고도와 페어웨이와의 배치 관계등을 고려하여 정해질 수 있다.Here, the region of interest (a), as shown in FIG. 2, is a region perpendicular to the direction in which the golf ball (b) tee-shot from the tee box flies, and is a virtual region having a predetermined width and height. For example, the region of interest is the entire width of the tee box or the bottom line spaced apart from the ground between two tee markers (or tee blocks) (c) installed in the tee box and the top line located at a predetermined height from the bottom line It can be defined as a rectangle defined by The lower line may be higher than a golf tee or golfer's height. Also, the top line may be a position higher than the maximum height at which the golf ball flies. The region of interest may be set at a position advanced a predetermined distance from the tee box. The region of interest may be determined in consideration of the height of the tee box and the arrangement relationship with the fairway.
또한, 상기 카메라 모듈(100)은 홀 코스에서 티샷된 골프공이 착지되는 지면의 착지 영역(즉, 티샷시 골퍼들의 평균 비거리 또는 최대 비거리에 대응되는 영역)보다 티 박스로부터 더 먼 거리 또는 티박스와 착지 영역 사이의 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 티샷되는 골프공을 추적하면서 골프공의 비행 영상을 촬영할 수 있다.In addition, the
상기 카메라 모듈(100)은, 도 3a 및 도 3b에서 보는 바와 같이, 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 카메라 모듈(100)은 2개로 설치되는 경우에, 2개의 카메라 모듈(100)이 설치 영역에서 페어웨이의 양측에 위치할 수 있다. 또한, 상기 카메라 모듈(100)은 설치 영역에 위치하는 메인 카메라 모듈(10)과 설치 영역과 티 박스 사이의 대략 중간에 위치하는 보조 카메라 모듈(10a)로 구분될 수 있다. 상기 메인 카메라 모듈(10)은 설치 영역에 설치되며, 보조 카메라 모듈(10a)은 티 박스와 설치 영역에 설치될 수 있다. 따라서, 상기 카메라 모듈(100)은 홀 코스의 형태에 관계없이 골프공이 지면에 착지될 때까지 골프공을 추적할 수 있다.As shown in FIGS. 3A and 3B , one or two
상기 광각 카메라(110)는 일반적인 광각 카메라로 형성될 수 있다. 예를 들면, 상기 광각 카메라(110)는 초점 거리가 상대적으로 짧고 화각(Field of view)이 넓은 카메라를 의미할 수 있다. 상기 광각 카메라(110)는 보다 넓은 영역에 대하여 영상을 촬영하면서 골프공을 추적할 수 있다. 상기 광각 카메라(110)는 설치 위치에 따라 초점 거리 및 화각이 변경될 수 있다. 상기 광각 카메라(110)는 1280 x 720 해상도, 1000m Field of view이 50m, 60FPS의 사양을 갖는 카메라로 형성될 수 있다.The wide-
상기 광각 카메라(110)는 소정의 광각 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 패닝 각도로 수평 방향으로 패닝될 수 있다. 상기 광각 카메라(110)의 광각 틸팅 각도는 -45 ∼ 60도일 수 있다. 또한, 상기 광각 카메라(110)의 광각 패닝 각도는 -165 ∼ 165도일 수 있다. 상기 광학 카메라는 광각 틸팅 모터(120) 및 광각 패닝 모터(130)에 의하여 틸팅되거나 패닝될 수 있다.The wide-
한편, 상기 광각 카메라(110)는 설치되는 홀 코스의 지형과 티 박스까지의 거리에 따라 상기의 범위에서 적정한 광각 틸팅 각도와 광각 패닝 각도로 운영되도록 형성될 수 있다.Meanwhile, the wide-
상기 광각 카메라(110)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 광각 카메라(110)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.The wide-
상기 광각 틸팅 모터(120)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 틸팅 모터(120)는 광각 카메라(110)와 결합되며, 광각 카메라(110)를 상하 방향으로 소정 각도로 회전시킬 수 있다. 상기 광각 틸팅 모터(120)는 별도의 프레임(미도시)에 의하여 광각 카메라(110)와 결합될 수 있다. 상기 광각 틸팅 모터(120)는 수평 축을 기준으로 소정의 광각 틸팅 각도로 광각 카메라(110)를 회전시킬 수 있다. 상기 광각 틸팅 각도는 수직 방향으로 -45 ∼ 60도일 수 있다. The wide-
상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 틸팅 모터(120)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.The wide-
상기 광각 패닝 모터(130)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)와 결합될 수 있다. 상기 광각 패닝 모터(130)는 별도의 프레임에 의하여 광각 카메라(110) 또는 광각 틸팅 모터(120)에 결합될 수 있다. 상기 광각 패닝 모터(130)는 광각 카메라(110) 또는 광각 틸팅 모터(120)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 광각 패닝 모터(130)가 광각 카메라(110)와 결합되는 경우에 광각 카메라(110)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 광각 패닝 모터(130)는 다시 광각 틸팅 모터(120)와 결합되며, 광각 틸팅 모터(120)에 의하여 광각 카메라(110)와 함께 소정의 광각 틸팅 각도로 회전될 수 있다. 또한, 상기 광각 패닝 모터(130)는 광각 틸팅 모터(120)와 결합되는 경우에 광각 틸팅 모터(120)와 광각 카메라(110)를 소정의 광각 틸팅 각도로 회전시킬 수 있다. 상기 광각 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.The wide-
상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 광각 패닝 모터(130)는 카메라 제어 모듈(200)의 제어에 의하여 회전수 및 회전 시간이 제어될 수 있다.The wide-
상기 망원 카메라(140)는 일반적인 망원 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 초점 거리가 상대적으로 길고 화각이 좁은 카메라를 의미할 수 있다. The
상기 망원 카메라(140)는 설치 영역과 티 박스 사이의 거리에 따라 적정한 초점 거리, 화소, 해상도 및 화각을 갖는 카메라로 형성될 수 있다. 상기 망원 카메라(140)는 1280 x 720 해상도, 1000m 화각이 14m, 60FPS 의 사양을 갖는 카메라로 형성될 수 있다. The
상기 망원 카메라(140)는 소정의 망원 틸팅 각도로 상하 방향으로 틸팅되거나, 소정의 망원 패닝 각도로 수평 방향으로 패닝될 수 있다. 또한, 상기 망원 카메라(140)는 광각 카메라(110)가 틸팅되거나 패닝될 때 함께 광각 틸팅 각도로 틸팅되거나 광각 패닝 각도로 패닝될 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)와 함께 광각 틸팅 각도 또는 광각 패닝 각도로 틸팅되거나 패닝된 후에 추가로 망원 틸팅 각도로 틸팅되거나 망원 패닝 각도로 패닝될 수 있다. 상기 망원 카메라(140)는 광각 카메라(110)와 독립적으로 틸팅되거나 패닝될 수 있다.The
상기 망원 카메라(140)는 광각 카메라(110)와 대비하여 화각이 상대적으로 작으므로 골프공의 효율적인 추적을 위하여 추가로 망원 틸팅 각도로 틸팅될 수 있다. 상기 망원 카메라(140)의 망원 틸팅 각도는 -30 ∼ 50도일 수 있다. 따라서, 상기 망원 카메라(140)는 광각 카메라(110)의 광각 틸팅 각도에 추가하여 하부 방향으로 -30도, 상부 방향으로 +50도 만큼 더 틸팅될 수 있다. 또한, 상기 망원 카메라(140)의 망원 패닝 각도는 -165 ∼ 165도일 수 있다. 따라서, 상기 망원 카메라(140)는 망원 패닝 각도만큼 광각 카메라(110)보다 더 패닝될 수 있다.Since the
상기 망원 카메라(140)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 통신 및 제어되도록 형성될 수 있다. 따라서, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 작동되도록 형성될 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 티 박스에서 진행되는 티샷 영상을 촬영할 수 있다. 또한, 상기 망원 카메라(140)는 카메라 제어 모듈(200)의 제어에 의하여 골프공의 비행 영상을 촬영할 수 있다.The
상기 망원 틸팅 모터(150)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 틸팅 모터(150)는 별도의 프레임(미도시)에 의하여 망원 카메라(140)와 결합될 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 모터(150)는 망원 카메라(140)를 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 틸팅 각도는 수직 방향으로 -30 ∼ 50도일 수 있다.The
상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 틸팅 모터(150)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다.The
상기 망원 패닝 모터(160)는 서보 모터와 같은 정밀 제어가 가능한 모터로 형성될 수 있다. 상기 망원 패닝 모터(160)는 별도의 프레임에 의하여 망원 카메라(140) 또는 망원 틸팅 모터(150)에 결합될 수 있다. 상기 망원 패닝 모터(160)는 망원 카메라(140) 또는 망원 틸팅 모터(150)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 상기 망원 패닝 모터(160)가 망원 카메라(140)와 결합되는 경우에 망원 카메라(140)를 소정의 광각 패닝 각도로 회전시킬 수 있다. 이때, 상기 망원 패닝 모터(160)는 다시 망원 틸팅 모터(150)와 결합되며, 망원 틸팅 모터(150)에 의하여 망원 카메라(140)와 함께 소정의 망원 틸팅 각도로 회전될 수 있다. 또한, 상기 망원 패닝 모터(160)는 망원 틸팅 모터(150)와 결합되는 경우에 망원 틸팅 모터(150)와 망원 카메라(140)를 소정의 망원 틸팅 각도로 회전시킬 수 있다. 상기 망원 패닝 각도는 수평 방향으로 -165 ∼ 165도일 수 있다.The
상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)과 전기적으로 연결되며, 제어되도록 형성될 수 있다. 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어 신호에 따라 온/오프되고 구동되도록 형성될 수 있다. 또한, 상기 망원 패닝 모터(160)는 카메라 제어 모듈(200)의 제어에 의하여 회전수와 회전 시간이 제어될 수 있다. The
상기 카메라 제어 모듈(200)은 광각 카메라(110) 및 망원 카메라(140)와 유선 또는 무선으로 통신 가능하도록 연결되어 제어 신호를 송수신하고, 광각 카메라(110) 및 망원 카메라(140)에서 촬영되는 영상 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)와 전기적으로 연결되어 제어할 수 있다. 상기 카메라 제어 모듈(200)은 각 모터들의 회전 시간과 회전수를 제어할 수 있다. 따라서, 상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)가 틸팅되는 각도와 패닝되는 각도를 제어할 수 있다.The
상가 카메라 제어 모듈(200)은 카메라 모듈(100)로부터 전송되는 촬영 영상에서 소정의 프레임 간격 또는 촬영 시각 간격(예를 들어 60FPS)으로 촬영된 적어도 2장의 영상 이미지를 선택할 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 골프공이 2장의 영상 이미지에서 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 카메라에 입사되는 광량 조건과 영상 처리에 소요되는 시간에 따라 다르게 결정될 수 있다. 또한, 상기 광량 조건과 카메라 화각은 카메라 설치 장소의 환경, 영상 이미지에 나타나는 골프공의 크기, 설치 티샷시의 골프공의 예상 비행 속도, 카메라에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 한편, 상기 카메라 제어 모듈(200)은 티샷 시작 신호를 전송한 후에 촬영된 초기 이미지를 추가로 선택할 수 있다.The
상기 카메라 제어 모듈(200)은 광각 카메라(110)와 망원 카메라(140)에서 촬영되는 영상 이미지로부터 티 박스에서 티샷되는 골프공을 검출할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 카메라 모듈(100)을 제어하여 검출된 골프공을 추적할 수 있다. 즉, 상가 카메라 제어 모듈(200)은 골프공이 티샷부터 지면에 착지될 때까지 카메라 모듈(100)에서 촬영되는 영상 이미지에서 골프공을 인식하고 추적하여 카메라 모듈(100)이 골프공의 영상을 촬영하도록 할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 지면에 착지되는 골프공의 착지 영상을 생성할 수 있다.The
또한, 상기 카메라 제어 모듈(200)은 중앙 서버(300)와 인터넷 또는 통신망을 통하여 연결되어 골프공 추적 방법의 제반 절차를 수행하는데 필요한 정보를 송수신할 수 있다. 예를 들면, 상기 카메라 제어 모듈(200)은 골프공의 추적을 위하여 필요한 제반 정보를 송수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골프 라운딩을 진행하는 수신 단말기(400)의 정보를 수신할 수 있다. 또한, 상기 카메라 제어 모듈(200)은 골퍼가 티샷하는 골프공의 착지 영상 또는 골프공의 비행 영상을 중앙 서버(300)로 전송할 수 있다.In addition, the
상기 중앙 서버(300)는 골프공 추적 정보와 골프공 착지 정보를 제공하기 위하여 필요한 정보를 저장하고, 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)과 인터넷 또는 별도의 통신망을 통하여 연동될 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)에 필요한 정보를 제공할 수 있다. 예를 들면, 상기 중앙 서버(300)는 골퍼의 수신 단말기 정보를 제공할 수 있다. 상기 중앙 서버(300)는 카메라 제어 모듈(200)로부터 골프공 착지 영상 또는 골프공 비행 영상을 수신할 수 있다.The
상기 중앙 서버(300)는 수신 단말기(400)와 인터넷 또는 별도의 통신망을 이용하여 연결될 수 있다. 또한, 상기 중앙 서버(300)는 골퍼가 골프 라운딩을 진행하는 홀 코스에서 생성되는 골프공 착지 영상 또는 골프공 비행 영상을 수신 단말기(400)로 전송할 수 있다.The
상기 수신 단말기(400)는 중앙 서버(300) 또는 카메라 제어 모듈(200)과 연동되며, 골프공 착지 이미지 또는 골프공 비행 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공 추적 방법의 실시에 필요한 골퍼 또는 캐디의 정보를 중앙 서버(300)로 전송할 수 있다.The receiving
상기 수신 단말기(400)는 골퍼가 소지하고 있는 개인 단말기 또는 캐디가 운영하는 카트에 장착되는 캐디 단말기일 수 있다. 또한, 상기 수신 단말기(400)는 중앙 서버(300)와 접속이 가능한 다양한 단말기일 수 있다. 상기 수신 단말기(400)는 근거리 통신인 와이파이 또는 무선 통신인 4G, 5G에 의하여 통신이 가능한 다양한 단말기일 수 있다.The receiving
상기 수신 단말기(400)는 티샷에 대한 트리거 신호를 중앙 서버(300) 또는 카메라 제어 모듈(200)로 전송할 수 있다. 상기 중앙 서버(300) 또는 카메라 제어 모듈(200)은 트리거 신호를 수신하고 카메라 모듈(100)에 촬영 시작 신호를 전송할 수 있다. 상기 카메라 모듈(100)은 카메라 제어 모듈(200)로부터 촬영 시작에 대한 신호를 수신하여 촬영을 진행할 수 있다. The receiving
상기 수신 단말기(400)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 통하여 연결될 수 있다. 상기 수신 단말기(400)는 골퍼의 골프 라운딩중에 중앙 서버(300)로부터 골프공의 착지 이미지 또는 영상을 수신할 수 있다. 또한, 상기 수신 단말기(400)는 골프공의 비행 영상을 수신할 수 있다. 따라서, 상기 골퍼는 골프공이 착지된 위치를 확인할 수 있다.The receiving
또한, 상기 골프공 추적 시스템이 로컬 서버(500)를 구비하는 경우에 수신 단말기(400)는 로컬 서버(500)에 접속하여 골프공의 착지 영상 또는 이미지를 제공받을 수 있다. 이때, 상기 수신 단말기(400)는 골프장의 관리자가 사용하는 관리자용 단말기일 수 있다. 또한, 상기 카메라 제어 모듈(200)이 골프공의 비행 영상을 근거리 통신망들을 이용하여 제공하는 경우에, 수신 단말기(400)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 착지 이미지를 제공받을 수 있다.In addition, when the golf ball tracking system includes the
상기 로컬 서버(500)는 특정 골프장에 설치되는 서버일 수 있다. 상기 로컬 서버(500)는 중앙 서버(300)와 인터넷 또는 별도의 통신망을 이용하여 접속할 수 있다. 상기 로컬 서버(500)는 해당 골프장에 설치되어 있는 카메라 제어 모듈(200)과 접속할 수 있다. 따라서, 상기 로컬 서버(500)는 카메라 제어 모듈(200)로부터 골프공의 착지 영상 또는 골프공의 비행 영상을 수신할 수 있다.The
또한, 상기 로컬 서버(500)는 해당 골프장을 방문하여 골프 라운딩을 진행하는 골퍼의 수신 단말기(400)와 접속할 수 있다. 상기 로컬 서버(500)는 수신 단말기(400)로 골퍼가 티샷한 골프공의 착지 영상 또는 골프공의 비행 영상을 송신할 수 있다.In addition, the
다음은 본 발명의 일 실시예에 따른 골프공 추적 방법에 대하여 설명한다.Next, a golf ball tracking method according to an embodiment of the present invention will be described.
도 4는 본 발명의 일 실시예에 따른 골프공 추적 방법의 순서도이다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환하여 생성한 예시적인 그레이 이미지이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다.4 is a flowchart of a golf ball tracking method according to an embodiment of the present invention. 5A and 5B are exemplary video images captured at predetermined time intervals after a tee shot. 6A and 6B are exemplary gray images generated by converting the video images of FIGS. 5A and 5B into a gray scale. 7 is an exemplary identification image generated from the gray images of FIGS. 6A and 6B. 8A and 8B are binarized images generated from video images captured at predetermined intervals.
본 발명의 골프공 추적 방법은, 도 4 내지 도 8b를 참조하면, 카메라 영상 촬영 단계(S10)와, 영상 이미지 선택 단계(S20)와, 식별 이미지 생성 단계(S30)와, 골프공 검출 단계(S40)와, 골프공 색상값 결정 단계(S50)와, 골프공 추적 단계(S60) 및 골프공 착지 확인 단계(S70)를 포함할 수 있다. 또한, 상기 골프공 추적 방법은 골프공 락온 단계(S42)와 클러터 리젝션 단계(S44)를 더 포함할 수 있다. 상기 골프공 추적 방법은 골프공 비행 영상 생성 단계(S80) 및 골프공 비행 영상 제공 단계(S90)를 더 포함할 수 있다.Referring to FIGS. 4 to 8B , the golf ball tracking method of the present invention includes a camera image capture step (S10), a video image selection step (S20), an identification image generation step (S30), and a golf ball detection step (S20). S40), golf ball color value determination step (S50), golf ball tracking step (S60), and golf ball landing confirmation step (S70) may be included. In addition, the golf ball tracking method may further include a golf ball lock-on step (S42) and a clutter rejection step (S44). The golf ball tracking method may further include generating a golf ball flight image (S80) and providing a golf ball flight image (S90).
상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공이 티샷부터 지면에 착지될 때까지 골프공을 추적하여 골프공이 지면에 착지되는 착지 위치를 제공할 수 있다. 또한, 상기 골프공 추적 방법 및 시스템은 광각 카메라(110)와 망원 카메라(140)에서 촬영된 영상 이미지를 처리하여 골프공을 인식하므로 보다 정확하고 효율적으로 골프공을 인식하여 추적할 수 있다. 이하의 설명에서 상기 광각 카메라(110)와 망원 카메라(140)에 대하여 동시에 적용되거나 함께 사용하는 경우에 광각 카메라(110)와 망원 카메라(140)를 카메라로 언급할 수 있다.The golf ball tracking method may provide a landing position where the golf ball lands on the ground by tracking the golf ball from a tee shot until it lands on the ground using the wide-
상기 골프공 추적 방법은 도 1에 따른 골프공 추적 시스템을 이용하여 진행될 수 있다. 즉, 상기 골프공 추적 방법은 광각 카메라(110)와 광각 틸팅 모터(120)와 광각 패닝 모터(130)와 망원 카메라(140)와 망원 틸팅 모터(150) 및 망원 패닝 모터(160)을 포함하는 시스템에 의하여 진행될 수 있다. 한편, 상기 골프공 추적 방법은 광각 카메라(110)와 망원 카메라(140)를 포함하는 다양한 시스템에 의하여 진행될 수 있다.The golf ball tracking method may be performed using the golf ball tracking system according to FIG. 1 . That is, the golf ball tracking method includes a wide-
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 티샷되는 골프공을 포함하여 티박스 상부에 설정되는 관심 영역에 대하여 티샷 영상을 촬영하는 단계이다. 여기서, 상기 티샷 영상은 골퍼가 골프공을 티샷하는 시각을 기준으로 전후 소정의 촬영 시간동안 촬영된 영상을 의미할 수 있다. 즉, 상기 티샷 영상은 골퍼가 티샷하는 시각을 포함하는 촬영 시간동안 관심 영역을 촬영한 영상일 수 있다.The camera image capturing step (S10) is a step of capturing a tee shot image with the wide-
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)로 전송되는 별도의 트리거 신호에 의하여 시작될 수 있다. 상기 트리거 신호는 캐디가 소지하고 있는 캐디 단말기 또는 골퍼가 소지하고 있는 골퍼 단말기와 같은 수신 단말기(400)에 의하여 광각 카메라(110)와 망원 카메라(140)로 전송될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 별도의 트리거 신호 없이도 진행될 수 있다. 예를 들면, 적어도 2명의 골퍼가 한 팀을 이루어 라운딩을 진행하며, 먼저 한 명의 골퍼가 티샷을 하고 다음에 다른 한 명의 골퍼가 연속적으로 티샷을 진행하는 것이 확실한 경우에 다른 한 명의 골퍼에 대하여는 별도의 트리거 신호를 수신하지 않고도 카메라 영상 촬영 단계(S10)를 시작할 수 있다. 즉, 상기 카메라 영상 촬영 단계(S10)는 한 팀에서 처음 골퍼가 티샷할 때만 트리거 신호를 수신하며, 다음 골퍼부터는 트리거 신호를 수신하지 않고도 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 소정의 시간 전부터 진행될 수 있다. 예를 들면, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티샷하기 수초 전부터 진행될 수 있다. 또한, 상기 카메라 영상 촬영 단계(S10)는 골퍼가 티박스에서 티샷을 준비하는 때부터 진행될 수 있다.The camera image capturing step (S10) may be started by a separate trigger signal transmitted to the wide-
상기 관심 영역은 정상적으로 티삿된 골프공이 날아가는 영역을 포함하는 영역이다. 상기 관심 영역은, 도 2에 도시된 바와 같이, 티 박스에서 티샷되는 골프공이 날아가는 방향과 지면에 대하여 수직으로 설정되는 영역이다.The region of interest is a region including a region where a golf ball normally tees off. As shown in FIG. 2 , the region of interest is an area set perpendicular to the direction in which a golf ball tee-shot from the tee box flies and the ground.
상기 카메라 영상 촬영 단계(S10)는 광각 카메라(110)와 망원 카메라(140)의 성능과 특성에 대응되는 적정한 프레임과 해상도로 촬영할 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 홀 코스의 형태에 따라 1개 또는 2개가 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)는 관심 영역의 정면에서 관심 영역을 촬영할 수 있도록 설치될 수 있다. 상기 광각 카메라(110)와 망원 카메라(140)가 각각 복수 개로 설치되는 경우에, 티박스에서 가장 가깝게 설치되는 광각 카메라(110)와 망원 카메라(140)가 관심 영역을 촬영하도록 설치될 수 있다.In the camera image capturing step (S10), the image may be captured at an appropriate frame and resolution corresponding to the performance and characteristics of the wide-
상기 영상 이미지 선택 단계(S20)는 설정되는 이미지 시간 간격으로 티샷 영상에서 적어도 2장의 영상 이미지를 선택하는 단계이다. 즉, 상기 영상 이미지는, 도 5a와 도 5b에서 보는 바와 같이, 티샷 영상에서 정해진 프레임 간격 또는 시간 간격으로 선택되는 이미지일 수 있다. 상기 영상 이미지는 티샷 전후의 시각에서 프레임 간격으로 촬영된 적어도 2장의 영상 이미지일 수 있다. 또한, 상기 영상 이미지는 바람직하게는 티샷 후에 프레임 간격으로 촬영된 적어도 2장의 이미지일 수 있다. 도 5a와 도 5b는 티샷 후에 소정의 시간 간격으로 촬영된 예시적인 영상 이미지이다. 예를 들면, 상기 도 5a와 도 5b는 1.06초와 1.13초에 각각 촬영된 영상 이미지일 수 있다. 상기 이미지 시간 간격은 소정의 프레임 간격 또는 촬영 시간 간격으로 설정될 수 있다. 상기 이미지 시간 간격은 10~60 프레임 또는 0.1~1초로 설정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 2장의 영상 이미지에서 골프공이 서로 겹치지 않는 위치에 오도록 결정되는 것이 필요하다. 또한, 상기 프레임 간격 도는 촬영 시각 간격은 2장의 영상 이미지에 골프공이 모두 존재하도록 결정되는 것이 필요하다. 따라서, 상기 프레임 간격 또는 촬영 시각 간격은 티 박스와 페어웨이의 배치가 다른 홀 마다 다르게 결정될 수 있다. 상기 프레임 간격 또는 촬영 시각 간격은 티샷시의 골프공의 예상 비행 속도, 카메라 모듈(100)에서 관찰되는 골프공의 예상 비행 각도등을 고려하여 결정될 수 있다. 상기 영상 이미지는 컬러 이미지일 수 있다.The video image selection step (S20) is a step of selecting at least two video images from the tee shot video at a set image time interval. That is, as shown in FIGS. 5A and 5B , the video image may be an image selected from a tee shot image at a predetermined frame interval or time interval. The video images may be at least two video images captured at frame intervals before and after the tee shot. Also, the video images may be at least two images taken at frame intervals after the tee shot. 5A and 5B are exemplary video images captured at predetermined time intervals after a tee shot. For example, FIGS. 5A and 5B may be video images captured at 1.06 seconds and 1.13 seconds, respectively. The image time interval may be set to a predetermined frame interval or photographing time interval. The image time interval may be set to 10 to 60 frames or 0.1 to 1 second. The frame interval or shooting time interval needs to be determined so that the golf balls do not overlap each other in the two video images. In addition, the frame interval or the photographing time interval needs to be determined so that both golf balls exist in the two video images. Accordingly, the frame interval or shooting time interval may be determined differently for each hole in which the arrangement of the tee box and the fairway is different. The frame interval or the shooting time interval may be determined in consideration of the expected flight speed of the golf ball at the time of tee shot, the expected flight angle of the golf ball observed by the
상기 식별 이미지 생성 단계(S30)는 선택된 적어도 2개의 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 단계이다. 상기 식별 이미지 생성 단계(S30)는 적어도 2장의 영상 이미지를 그레이 이미지로 변환시킬 수 있다. 다음으로, 상기 식별 이미지 생성 단계(S30)는 2장의 그레이 이미지의 색상값 차이를 산출하고 산출된 색상값을 반영하여 식별 이미지를 생성할 수 있다. 여기서, 상기 영상 이미지는 상기에서 언급한 바와 같이 컬러 이미지일 수 있다. 따라서, 상기 영상 이미지는 각각의 화소가 RGB 값을 화소에 대한 색상값으로 가질 수 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지는 이미지일 수 있다. 상기 그레이 이미지는 영상 이미지의 RGB값에 따른 그레이 스케일의 색상값을 가질 수 있다. 또한, 상기 식별 이미지는 2가지 색으로만 이루어진 이미지일 수 있다. 상기 식별 이미지는 2장의 그레이 이미지의 색상값 차이에 의하여 생성되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 검은색과 흰색만으로 이루어진 이미지를 의미할 수 있다. 상기 식별 이미지는 각각의 화소가 0 또는 255를 색상값으로 가질 수 있다. 상기 식별 이미지는 골프공과 배경이 다른 색으로 표시되어 골프공이 용이하게 식별되도록 하는 이미지일 수 있다. 도 6a와 도 6b는 도 5a와 도 5b의 영상 이미지를 그레이 스케일로 변환한 예시적인 그레이 이미지이다.The identification image generating step (S30) is a step of generating an identification image reflecting a color value difference between at least two selected video images. In the identification image generating step (S30), at least two video images may be converted into gray images. Next, in the identification image generating step (S30), an identification image may be generated by calculating a color value difference between the two gray images and reflecting the calculated color value. Here, the video image may be a color image as mentioned above. Accordingly, in the video image, each pixel may have an RGB value as a color value for the pixel. The gray image may be an image in which each pixel has a gray scale of 0 (black) to 255 (white) as a color value. The gray image may have a gray scale color value according to RGB values of the video image. Also, the identification image may be an image composed of only two colors. The identification image may be an image generated by a difference in color values of two gray images. Accordingly, the identification image may refer to an image consisting only of black and white. In the identification image, each pixel may have 0 or 255 as a color value. The identification image may be an image in which the golf ball and the background are displayed in different colors so that the golf ball can be easily identified. 6A and 6B are exemplary gray images obtained by converting the video images of FIGS. 5A and 5B into a gray scale.
상기 식별 이미지 생성 단계(S30)는 그레이 이미지 생성 과정과 색상값 차이 산출 과정 및 식별 이미지 생성 과정을 포함할 수 있다.The identification image generation step (S30) may include a gray image generation process, a color value difference calculation process, and an identification image generation process.
상기 그레이 이미지 생성 과정은 적어도 2개의 영상 이미지를 그레이 이미지로 변환시키는 과정이다. 상기 적어도 2개의 영상 이미지는 상기에서 언급한 바와 같이 시간적으로 소정의 이미지 시간 간격으로 촬영된 이미지일 수 있다. 따라서, 상기 그레이 이미지는 상대적으로 가장 먼저 촬영된 영상 이미지로부터 변환되는 제 1 그레이 이미지와 다음 이미지 시간 간격으로 촬영된 영상 이미지로부터 변환되는 제 2 그레이 이미지를 포함할 수 있다. 상기 그레이 이미지는 N 개로 생성되는 경우에 가장 나중에 촬영된 영상 이미지로부터 변환되는 제 N 그레이 이미지를 포함할 수 있다.The gray image generation process is a process of converting at least two video images into gray images. As mentioned above, the at least two video images may be images captured temporally at predetermined image time intervals. Accordingly, the gray image may include a first gray image converted from a video image captured relatively first and a second gray image converted from a video image captured at a next image time interval. When N gray images are generated, an Nth gray image converted from a video image captured last may be included.
상기 영상 이미지는 상기에서 언급한 바와 같이 각각의 화소가 RGB값을 화소에 대한 색상값으로 가지고 있다. 상기 그레이 이미지는 각각의 화소가 0(검정색) ~ 255(흰색)의 그레이 스케일을 색상값으로 가지게 된다. 상기 그레이 이미지는 컬러 이미지를 그레이 이미지로 변환시키는 일반적으로 과정에 의하여 변환될 수 있다.As mentioned above, in the video image, each pixel has an RGB value as a color value for the pixel. In the gray image, each pixel has a gray scale of 0 (black) to 255 (white) as a color value. The gray image may be converted by a general process of converting a color image into a gray image.
상기 색상값 차이 산출 과정은 2개의 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 과정이다. 상기 색상값 차이 산출 과정은 바람직하게는 상대적으로 늦게 촬영된 영상 이미지가 변환되는 제 2 그레이 이미지에서 제 1 그레이 이미지의 색상값을 빼서 색상값 차이를 산출할 수 있다. 상기 제 2 그레이 이미지는 시간상으로 보면 가장 최근의 골프공의 위치를 포함하므로 제 2 그레이 이미지를 기준으로 제 1 그레이 이미지와의 차이를 산출하는 것이 골프공의 위치를 추적하는데 유리할 수 있다. 한편, 상기 그레이 이미지가 N개로 이루어지는 경우에 제 N 그레이 이미지를 기준으로 색상값 차이를 산출할 수 있다. 상기 색상값 차이 산출 과정에 의하여 제 2 그레이 이미지의 각 화소에 대응되는 색상값 차이가 산출될 수 있다.The color value difference calculation process is a process of calculating the color value difference of each pixel by comparing the color values of each pixel at the corresponding position of the two gray images. In the color value difference calculation process, the color value difference may be calculated by subtracting the color value of the first gray image from the second gray image in which the video image taken relatively late is converted. Since the second gray image includes the position of the most recent golf ball in terms of time, calculating a difference from the first gray image based on the second gray image may be advantageous in tracking the position of the golf ball. Meanwhile, when the number of gray images is N, a color value difference may be calculated based on the Nth gray image. A color value difference corresponding to each pixel of the second gray image may be calculated through the color value difference calculation process.
상기 영상 이미지는 고정된 광각 카메라(110) 또는 망원 카메라(140)로 티샷을 진행하는 짧은 시간에 촬영한 영상으로부터 추출된 이미지이다. 상기 영상 이미지들은 티박스를 찍은 이미지이므로 이동하는 물체인 골프공과 이동하지 않는 배경을 포함한다. 한편, 상기 영상 이미지들은 드물게 새 또는 나뭇잎과 같은 이동하는 물체가 포함될 수 있다.The video image is an image extracted from a video captured in a short time during a tee shot with a fixed wide-
따라서, 상기 영상 이미지들을 대비하면, 골프공이 위치하는 영역들을 제외하고는 색상값에 변화가 없게 된다. 또한, 상기 그레이 이미지도 골프공이 위치하는 영역들을 제외하고는 그레이 스케일의 색상값이 거의 동일하게 된다. 따라서, 상기 2개의 그레이 이미지의 색상값의 차이를 산출하게 되면, 골프공이 위치하는 영역을 제외한 영역은 색상값의 차이가 거의 없게 되며, 골프공이 위치하는 영역만 색상값 차이가 발생될 수 있다. 상기 골프공이 위치하는 영역의 색상값의 차이는 골프공의 색상과 골프공이 지나가는 영역의 배경의 색상의 차이에 따라 결정될 수 있다. Therefore, when the video images are contrasted, there is no change in color values except for areas where the golf ball is located. Also, the gray image has substantially the same gray scale color values except for areas where the golf ball is located. Therefore, when the difference in color values between the two gray images is calculated, there is almost no difference in color values except for the area where the golf ball is located, and a difference in color values may occur only in the area where the golf ball is located. The difference in color value of the area where the golf ball is located may be determined according to the difference between the color of the golf ball and the color of the background of the area through which the golf ball passes.
상기 식별 이미지 생성 과정은 각 화소별로 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색으로 표시하여 식별 이미지를 생성하는 과정이다. 도 7은 6a와 도 6b의 그레이 이미지로부터 생성된 예시적인 식별 이미지이다. 상기 흰색의 색상값은 255이며, 검은색의 색상값은 0일 수 있다. 상기 식별 이미지는 각 화소가 가지는 색상값이 0 또는 255이며, 흑백 이미지로 형성될 수 있다. 예를 들면, 상기 식별 기준값이 100인 경우에 색상값 차이가 100보다 큰 화소는 색상값으로 255를 할당하고, 색상값 차이가 100보다 작은 화소는 색상값으로 0을 할당할 수 있다. 따라서, 상기 식별 이미지는 흰색 영역과 검은색 영역만을 포함하는 이미지로 형성될 수 있다. 상기 식별 이미지에서 골프공이 위치하는 영역은 흰색에 대응되는 색상값이 할당되고, 배경이 위치하는 영역은 검은색에 대응되는 색상값이 할당될 수 있다.In the process of generating the identification image, a white color value is assigned to a pixel having a difference in color value greater than the set identification reference value for each pixel and displayed as a white area, and a black color value is assigned to a pixel smaller than the identification reference value to display a black area. This is the process of creating an identification image by displaying it in color. 7 is an exemplary identification image generated from the gray images of FIGS. 6A and 6B. The color value of white may be 255, and the color value of black may be 0. The identification image has a color value of 0 or 255 for each pixel, and may be formed as a black and white image. For example, when the identification reference value is 100, a color value of 255 may be assigned to a pixel having a color value difference greater than 100, and a color value of 0 may be assigned to a pixel having a color value difference of less than 100. Accordingly, the identification image may be formed of an image including only a white area and a black area. In the identification image, a color value corresponding to white may be allocated to an area where the golf ball is located, and a color value corresponding to black may be allocated to an area where the background is located.
상기 식별 이미지는 골프공이 위치하는 영역이 흰색으로 표시되고, 나머지가 검은색으로 표시되는 이미지일 수 있다. 따라서, 상기 식별 이미지는 골프공과 배경을 보다 정확하고 효율적으로 구별할 수 있도록 해준다. 상기 식별 이미지에서 골프공이 위치하는 영역은 원형일 수 있으며, 영상 이미지에서 골프공의 크기에 대응되는 면적일 수 있다.The identification image may be an image in which an area where the golf ball is located is displayed in white and the rest is displayed in black. Accordingly, the identification image enables more accurate and efficient discrimination between the golf ball and the background. An area where the golf ball is located in the identification image may be circular or may be an area corresponding to the size of the golf ball in the video image.
상기 골프공 검출 단계(S40)는 식별 이미지에서 흰색으로 표시되는 영역을 골프공으로 검출하는 단계이다. 상기 식별 이미지는 상기에서 언급한 바와 같이 골프공이 위치하는 영역이 흰색으로 형성되고, 배경이 위치하는 영역이 검은색으로 표시될 수 있다. 따라서, 상기 골프공 검출 단계(S40)는 흰색 영역을 골프공 이미지로 검출할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 흰색 영역의 중심에서 흰색 영역의 전체 면적보다 작은 면적을 갖는 영역으로 검출할 수 있다. The golf ball detection step (S40) is a step of detecting an area displayed in white in the identification image as a golf ball. As mentioned above, in the identification image, the area where the golf ball is located may be formed in white, and the area where the background is located may be displayed in black. Therefore, in the golf ball detection step (S40), the white area may be detected as the golf ball image. Also, in the golf ball detection step (S40), an area having a smaller area than the total area of the white area in the center of the white area may be detected.
상기 흰색 영역은 식별 이미지에서 완전한 원형으로 형성되지 않을 수 있으며, 타원 형상, 사각 형상 또는 부정형 형상으로 형성될 수 있다. 따라서, 상기 골프공은 흰색 영역에서 완전한 원형 또는 정사각형 형상에 대응되는 영역으로 검출할 수 있다. 이러한 경우에, 상기 골프공은 흰색 영역보다 작은 면적으로 검출될 수 있으며, 영상 이미지의 골프공보다 작은 면적으로 검출될 수 있다. 상기 골프공 검출 단계(S40)는 골프공을 식별 이미지에서 좌표와 면적으로 설정할 수 있다. 또한, 상기 골프공 검출 단계(S40)는 골프공 이미지의 무게 중심(Center of Mass)을 계산하여 영상 이미지에서의 좌표(x 및 y 좌표)로 산출할 수 있다.The white area may not be formed in a perfectly circular shape in the identification image, but may be formed in an elliptical shape, a rectangular shape, or an irregular shape. Accordingly, the golf ball may be detected as an area corresponding to a perfect circular or square shape in the white area. In this case, the golf ball may be detected with an area smaller than the white area and may be detected with an area smaller than that of the golf ball in the video image. In the golf ball detection step (S40), the golf ball may be set as coordinates and an area in the identification image. In the golf ball detection step (S40), the center of mass of the golf ball image may be calculated and calculated as coordinates (x and y coordinates) in the video image.
상기 골프공 락온 단계(S42)는 식별 이미지에서 골프공이 아닌 물체를 제거하는 단계이다. 즉, 상기 골프공 락온 단계(S42)는 식별 이미지에서 흰색 영역이 복수 개로 존재하는 경우에 골프공이 위치하는 흰색 영역이 아닌 흰색 영역을 제거할 수 있다. 예를 들면, 상기 골프공이 위치하지 않는 흰색 영역은 검은색의 색상값을 할당할 수 있다. 상기 영상 이미지는 상기에서 언급한 바와 같이 골프공과 함께 낙엽 또는 새와 같은 물체가 포함될 수 있다. 이러한 경우에 상기 골프공 검출 단계(S40)에서는 복수 개의 골프공이 있는 것으로 인식할 수 있다. 상기 골프공 락온 단계(S42)는 골프공 검출 단계(S40) 이전에 진행될 수 있다. 또한, 상기 골프공 락온 단계(S42)는 검출된 골프공이 실제 골프공인지 확인할 수 있다. The golf ball lock-on step (S42) is a step of removing an object other than the golf ball from the identification image. That is, in the golf ball lock-on step (S42), when a plurality of white areas exist in the identification image, a white area other than the white area where the golf ball is located may be removed. For example, a black color value may be assigned to a white area where the golf ball is not located. As mentioned above, the video image may include objects such as leaves or birds along with a golf ball. In this case, in the golf ball detection step (S40), it may be recognized that there are a plurality of golf balls. The golf ball lock-on step (S42) may proceed before the golf ball detection step (S40). Also, in the golf ball lock-on step (S42), it may be confirmed whether the detected golf ball is an actual golf ball.
상기 골프공 락온 단계(S42)는 흰색 영역의 면적과 형상, 흰색 영역의 이동 속도 또는 이동 거리를 고려하여 골프공이 아닌 물체에 의한 흰색 영역을 분리하는 할 수 있다. 여기서 상기 흰색 영역의 이동 속도는 제 1 그레이 이미지와 제 2 그레이 이미지에서 흰색 영역에 대응되는 각각의 위치 사이의 거리와 제 1 그레이 이미지와 제 2 그레이 이미지 사이의 이미지 시간 간격을 사용하여 산출할 수 있다. 상기 골프공의 이동 속도 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 또한, 상기 흰색 영역의 이동 거리는 골프공의 이동 속도와 이미지 시간 간격을 이용하여 산출할 수 있다. 상기 골프공의 이동 거리 범위는 골프공이 티샷될 때 평균적인 이동 속도를 기준으로 하여 설정할 수 있다. 상기 골프공 락온 단계(S42)는 골프공에 의한 흰색 영역을 특정하여 골프공을 검출할 수 있다.In the golf ball lock-on step (S42), the white area may be separated by an object other than the golf ball in consideration of the area and shape of the white area, and the moving speed or distance of the white area. Here, the moving speed of the white area can be calculated using the distance between each position corresponding to the white area in the first gray image and the second gray image and the image time interval between the first gray image and the second gray image. have. The moving speed range of the golf ball may be set based on an average moving speed when the golf ball is tee-shot. In addition, the moving distance of the white area can be calculated using the moving speed of the golf ball and the image time interval. The movement distance range of the golf ball may be set based on an average movement speed when the golf ball is tee-shot. In the golf ball lock-on step (S42), the golf ball may be detected by specifying a white area of the golf ball.
상기 클러터 리젝션 단계(S44)는 식별 이미지에서 배경에 의한 클러터를 제거하는 단계이다. 여기서, 상기 클러터는 식별 이미지에서 배경등에 의하여 골프공과 동일하게 흰색 영역으로 표시되는 것을 의미할 수 있다. 상기 영상 이미지는 광각 카메라(110)와 망원 카메라(140)가 골프공을 따라 이동하면서 촬영한 영상이므로, 영상 이미지에서 골프공과 함께 배경도 이동하는 물체처럼 나타날 수 있다. 따라서, 상기 영상 이미지들은 골프공과 함께 배경에 의하여 화소별 색상에서 서로 차이가 날 수 있다. 또한, 상기 식별 이미지에서 골프공과 함께 배경의 일부가 흰색 영역으로 표시되어 골프공에 대한 클러터(잡음)를 발생시킬 수 있다.The clutter rejection step (S44) is a step of removing background clutter from the identification image. Here, the clutter may mean that it is displayed as a white area identical to a golf ball due to a background in the identification image. Since the video image is captured while the wide-
상기 골프공 검출 단계(S40)는 광각 카메라(110)와 망원 카메라(140)에서 촬영한 적어도 2개의 영상 이미지에 의하여 생성되는 식별 이미지를 이용하여 골프공을 검출하게 되므로, 배경에 의한 흰색 영역에 의하여 골프공을 검출하는데 영향을 받을 수 있다. 상기 배경은 그레이 이미지들에서 그레이 스케일의 색상값 차이가 골프공보다 크지 않으므로 식별 이미지 생성 단계(S30)에서 상당 부분 제거될 수 있다. 따라서, 상기 클러터 리젝션 단계(S44)는 주로 배경에 의하여 흰색 영역으로 표시되는 클러터(잡음)을 제거할 수 있다. 또한, 상기 클러터 리젝션 단계(S44)는 골프공과 근접한 거리에 있는 클러터보다 골프공과 원거리에 있는 클러터를 제거할 수 있다. 또한, 상기 골프공과 근접한 클러터는 골프공의 위치 계산에 주는 영향이 작지만, 골프공과 원거리에 위치한 클러터는 골프공의 위치 계산에 오차를 줄 수 있으므로 제거할 필요가 있다.In the golf ball detection step (S40), the golf ball is detected using an identification image generated by at least two video images taken by the wide-
상기 클러터 리젝션 단계(S44)는 식별 이미지에서 생성되는 흰색 영역에 대하여 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘을 적용하여 진행될 수 있다. 상기 레이블링(Labeling) 알고리즘, 외곽선 검출(Contouring) 알고리즘 또는/및 탬플릿 매칭(Templet matching) 알고리즘은 영상 이미지에서 물체나 특정 영역을 인식할 때 일반적으로 사용되는 알고리즘이므로 여기서 구체적인 설명을 생략한다. The clutter rejection step (S44) may be performed by applying a labeling algorithm, a contouring algorithm, or/and a template matching algorithm to the white area generated in the identification image. Since the labeling algorithm, the contouring algorithm, and/or the template matching algorithm are commonly used algorithms for recognizing an object or a specific region in a video image, detailed descriptions thereof are omitted here.
상기 골프공 색상값 결정 단계(S50)는 식별 이미지에서 검출된 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 단계이다. 상기 골프공 색상값은 영상 이미지에서 해당 위치를 형성하는 화소의 RGB값으로 결정될 수 있다. 상기 골프공은 야외에서 사용되므로 날씨, 햇빛 정도등의 광 조건에 따라 색상이 변화할 수 있다. 상기 골프공의 색상은 광 조건에 따라 변하지만 사람이 볼 때 그 변화가 적은 것으로 인지될 수 있다. 그러나, 상기 골프공의 색상은 영상 이미지에서 코드화된 값을 가지며, 조명 조건에 따라 함께 변하게 된다. 상기 골프공 색상값은 이후에 진행되는 골프공 추적 단계(S60)에서 사용될 수 있다. 상기 골프공 색상값은 화소의 색상값을 기준으로 상한치와 하한치를 포함하는 범위로 정해질 수 있다. 예를 들면, 상기 골프공 색상값 범위는 화소의 색상값을 기준으로 +10%를 상한치로 하고 -10%를 하한치로 결정될 수 있다.The golf ball color value determination step (S50) is a step of determining the color value of the video image corresponding to the position of the golf ball detected in the identification image as the golf ball color value. The golf ball color value may be determined as an RGB value of a pixel forming a corresponding position in a video image. Since the golf ball is used outdoors, its color may change depending on light conditions such as weather and sunlight. Although the color of the golf ball changes depending on light conditions, the change can be perceived as small when viewed by a human. However, the color of the golf ball has a coded value in the video image and changes according to lighting conditions. The golf ball color value may be used in the subsequent golf ball tracking step (S60). The golf ball color value may be determined as a range including an upper limit value and a lower limit value based on the color value of a pixel. For example, the golf ball color value range may be determined as an upper limit value of +10% and a lower limit value of -10% based on the color value of a pixel.
상기 골프공 추적 단계(S60)는 골프공 색상값을 이용하여 광각 카메라(110)와 망원 카메라(140)가 촬영한 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 광각 카메라(110)와 망원 카메라(140)를 제어하면서 골프공을 추적하는 단계이다. 상기 골프공 추적 단계(S60)는 골프공의 색상값을 이용하여 영상 이미지를 이진화 이미지로 변환시켜 골프공을 보다 용이하게 인식하도록 할 수 있다.In the golf ball tracking step (S60), video images captured by the wide-
상기 골프공은 티샷 후에 지속적으로 비행하므로 순차적으로 촬영되는 영상 이미지에서 중앙으로부터 외곽 방향으로 이동할 수 있다. 따라서, 상기 광각 카메라(110)와 망원 카메라(140)는 골프공이 영상 이미지의 중앙에 위치하도록 제어되는 경우에 골프공을 놓치지 않고 추적할 수 있다. 상기 골프공이 영상 이미지의 중앙에 위치되도록 하면 광각 카메라(110)와 망원 카메라(140)가 골프공을 추적할 때 골프공이 광각 카메라(110)로부터 벗어날 확률을 감소시킬 수 있다. 상기 골프공 추적 단계(S60)는 골프공을 연속적으로 영상 이미지의 중앙에 위치시킴으로써 보다 효율적으로 골프공을 추적할 수 있도록 할 수 있다.Since the golf ball continues to fly after the tee shot, it can move from the center to the outer direction in sequentially captured video images. Accordingly, the wide-
상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 동시에 활용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)를 상호 보완적으로 사용하여 골프공을 추적할 수 있다. 상기 골프공 추적 단계(S60)는 망원 카메라(140) 또는 망원 카메라(140)가 골프공을 놓쳤을 때, 망원 카메라(140)와 망원 카메라(140)를 연동시키면서 광각 카메라(110)와 망원 카메라(140)가 골프공을 놓치지 않고 추적하도록 할 수 있다. 예를 들면, 상기 망원 카메라(140)가 골프공을 놓치는 경우(골프공이 바위 또는 나무등에 맞아 튀는 때와 같이 비정상적으로 빠른 게 움직인 경우)에 광각 카메라(110)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 망원 카메라(140)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다. 또한, 상기 광각 카메라(110)가 골프공을 놓치는 경우(골프공이 하늘로 올라가고 하늘에 구름이 있어 골프공과 색상 구별이 어려운 경우)에 망원 카메라(140)의 회전 각도 또는 회전 방향에 대한 데이터를 활용하여 광각 카메라(110)를 회전시켜 골프공을 다시 찾아 추적하도록 할 수 있다.In the golf ball tracking step (S60), the golf ball may be tracked by simultaneously utilizing the wide-
상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 포함할 수 있다. 또한, 상기 골프공 추적 단계(S60)는 검색 관심 영역 설정 과정을 더 포함할 수 있다. 상기 골프공 추적 단계(S60)는 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 추적할 수 있다.The golf ball tracking step (S60) may include an image binarization process, a golf ball recognition process, and a golf ball location change process. Also, the golf ball tracking step (S60) may further include a process of setting a search region of interest. In the golf ball tracking step (S60), the golf ball may be tracked while repeating the image binarization process, the golf ball recognition process, and the golf ball position change process.
상기 이미지 이진화 과정은 영상 이미지를 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 과정이다. 상기 골프공 색상값은 상기에서 설명한 바와 같이 소정 범위를 갖는 색상값일 수 있다. 상기 이진화 이미지는 골프공 영역을 흰색으로 나타내고, 배경 영역을 검은색으로 나타낼 수 있다. 따라서, 상기 이미지 이진화 과정은 영상 이미지에서 골프공의 색상을 제외한 색상을 모두 제거할 수 있다. 도 8a와 도 8b는 소정 간격으로 촬영된 영상 이미지로부터 생성되는 이진화 이미지이다. 도 8a와 도 8b를 참조하면, 골프공은 2장의 이진화 이미지에서 위치가 비행 방향으로 변동되는 것을 확인할 수 있다.The image binarization process is a process of converting a video image into a binarized image having a golf ball area having a golf ball color value and a background area having no golf ball color value. As described above, the golf ball color value may be a color value having a predetermined range. In the binarized image, the golf ball area may be displayed in white and the background area may be displayed in black. Accordingly, the image binarization process may remove all colors except for the color of the golf ball from the video image. 8A and 8B are binarized images generated from video images captured at predetermined intervals. Referring to FIGS. 8A and 8B , it can be seen that the position of the golf ball changes in the flight direction in two binarized images.
상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공 영역을 포함하는 영역을 검색 관심 영역으로 설정하는 과정이다. 상기 검색 관심 영역은 이진화 이미지에서 골프공을 검색하기 위한 영역을 의미할 수 있다. 상기 골프공은 계속 비행하고 있는 상태이므로 골프공을 인식하기 위하여 검색해야 하는 영역이 계속 변하게 된다. 상기 검색 관심 영역 설정 과정은 이진화 이미지에서 골프공을 인식하기 위하여 검색하는 검색 관심 영역을 설정하는 과정이다. 상기 검색 관심 영역 설정 과정은 이진화 이미지의 전체 면적보다 상대적으로 작은 면적으로 검색 관심 영역을 설정할 수 있다. 상기 검색 관심 영역은 이진화 이미지에서 골프공 영역을 포함하는 면적으로 형성될 수 있다. 예를 들면, 상기 검색 관심 영역은 골프공 영역의 최대폭에 +500%가 증가된 폭과 골프공 영역의 최대 높이에 +500%가 증가된 높이로 설정될 수 있다. 상기 골프공 영역이 대략 원형인 경우에 골프공 영역의 최대폭은 직경일 수 있다. 또한, 상기 골프공 영역이 부정형 형상인 경우에, 골프공 영역의 최대폭은 수평 방향으로 연장되는 선들중에서 가장 길이가 긴 선의 길이일 수 있다. 상기 검색 관심 영역 설정 과정은 골프공 인식 과정에서 검색해야 하는 영역을 감소시켜서 골프공 인식을 위한 연산 속도를 증대시키고 클러터에 의한 영향을 감소시킬 수 있다.The process of setting a region of interest for search is a process of setting a region including a golf ball region in the binarized image as a region of interest for search. The search region of interest may refer to a region for searching for a golf ball in the binarized image. Since the golf ball continues to fly, the area to be searched for recognizing the golf ball continues to change. The process of setting the search region of interest is a process of setting a search region of interest to be searched for recognizing a golf ball in the binarized image. In the process of setting the region of interest for search, the region of interest for search may be set to a relatively smaller area than the entire area of the binarized image. The search region of interest may be formed as an area including a golf ball region in the binarized image. For example, the region of interest for search may be set to a width increased by +500% from the maximum width of the golf ball area and a height increased by +500% from the maximum height of the golf ball area. When the golf ball area is substantially circular, the maximum width of the golf ball area may be a diameter. Also, when the golf ball area has an irregular shape, the maximum width of the golf ball area may be the length of the longest line among lines extending in the horizontal direction. The process of setting the region of interest for search can reduce the region to be searched in the golf ball recognition process, thereby increasing the computational speed for golf ball recognition and reducing the influence of clutter.
상기 골프공 인식 과정은 이진화 이미지에서 골프공을 인식하여 골프공의 위치를 결정하는 과정이다. 상기 골프공 인식 과정은 이진화 이미지를 스캔하면서 골프공 영역인 흰색 영역을 인식할 수 있다. 이때, 상기 골프공 인식 과정은 이진화 이미지의 전체 또는 이진화 이미지에 설정된 검색 관심 영역을 스캔할 수 있다. 또한, 상기 골프공 인식 과정은 인식된 골프공의 위치를 이진화 이미지에서 결정할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 인식된 골프공 이미지의 무게 중심을 계산하여 산출할 수 있다. 상기 골프공의 위치는 이진화 이미지에서 x축과 y축에 대한 좌표값(x, y)으로 설정할 수 있다.The golf ball recognizing process is a process of determining the position of the golf ball by recognizing the golf ball in the binarized image. The golf ball recognition process may recognize a white area, which is a golf ball area, while scanning a binarized image. In this case, the golf ball recognition process may scan the entire binarized image or a search region of interest set in the binarized image. Also, the golf ball recognition process may determine the position of the recognized golf ball in the binarized image. The position of the golf ball may be calculated by calculating the center of gravity of the golf ball image recognized in the binarized image. The position of the golf ball may be set as coordinate values (x, y) of the x-axis and y-axis in the binarized image.
상기 골프공 위치 변경 과정은 인식된 골프공의 위치가 이진화 이미지에서 중앙에 오도록 광각 카메라(110)와 망원 카메라(140)의 방향을 이동시키는 과정이다. 상기 골프공 위치 변경 과정은 광각 카메라(110)와 망원 카메라(140)를 제어하여 골프공의 산출된 위치가 이진화 이미지에서 중앙에 오도록 진행될 수 있다. 즉, 상기 골프공 위치 변경 과정은 골프공이 이진화 이미지에서 중앙에 위치하도록 광각 카메라(110)와 망원 카메라(140)를 제어하여 회전시키게 된다. 이때, 상기 광각 카메라(110)와 망원 카메라(140)는 수평 방향과 상하 방향으로 회전할 수 있다.The process of changing the position of the golf ball is a process of moving the directions of the wide-
상기 골프공 추적 단계(S60)는 상기에서 언급한 바와 같이 이미지 이진화 과정과 골프공 인식 과정과 골프공 위치 변경 과정을 반복하면서 골프공을 연속적으로 추적할 수 있다. 상기 골프공 추적 단계(S60)는 하나의 영상 이미지에 대하여 골프공 위치 변경 과정이 완료되면 다시 새로운 영상 이미지에 대하여 이미지 이진화 과정과 골프공 인식 과정 및 골프공 위치 변경 과정을 진행할 수 있다. 또한, 상기 검색 관심 영역은 현재 이미지 이진화 과정이 진행되는 영상 이미지보다 전의 영상 이미지에서의 검색 관심 영역과 골프공의 이동 방향 및 이동 속도를 반영한 영역으로 설정될 수 있다. 예를 들면, 상기 골프공의 이동 방향과 이동 속도는 이전의 골프공 추적 단계(S60)들에서 골프공의 이동 방향과 이동 거리를 반영하여 산출될 수 있다. 상기 골프공 추적 단계(S60)는 광각 카메라(110)와 망원 카메라(140)의 회전 각도를 통하여 지면에서 바라보았을 때의 골프공의 궤적을 도출할 수 있다. As mentioned above, in the golf ball tracking step (S60), the golf ball may be continuously tracked while repeating the image binarization process, the golf ball recognition process, and the golf ball position change process. In the golf ball tracking step (S60), when the golf ball position change process for one video image is completed, the image binarization process, golf ball recognition process, and golf ball position change process may be performed again for a new video image. Also, the region of interest to be searched may be set to a region in which the region of interest to be searched in a video image prior to the video image in which the current image binarization process is performed and the moving direction and moving speed of the golf ball are reflected. For example, the moving direction and moving speed of the golf ball may be calculated by reflecting the moving direction and moving distance of the golf ball in the previous golf ball tracking steps (S60). In the golf ball tracking step (S60), the trajectory of the golf ball when viewed from the ground may be derived through rotational angles of the wide-
상기 골프공 착지 확인 단계(S70)는 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 골프공을 포함하는 착지 이미지를 생성하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)가 진행되면서 이진화 이미지에서 골프공이 인식되는지 여부를 확인하는 단계이다. 보다 구체적으로는 상기 골프공 착지 확인 단계(S70)는 골프공 추적 단계(S60)의 골프공 인식 과정에서 골프공이 인식되는지 여부를 확인하는 단계이다. 상기 골프공 착지 확인 단계(S70)는 골프공 인식 과정이 일정 회수 반복되지 않으면 골프공의 이동이 없는 것으로 판단하여 골프공이 착지된 것으로 간주할 수 있다. 상기 골프공 착지 확인 단계(S70)는 지면에 착지된 골프공의 착지 이미지를 생성할 수 있다. 상기 착지 이미지는 착지된 골프공과 주위 배경을 포함하는 이미지일 수 있다. 또한, 상기 골프공 착지 확인 단계(S70)는 착지 영상을 생성할 수 있다. The golf ball landing confirmation step (S70) is a step of generating a landing image including the landing golf ball by checking whether or not the golf ball has landed on the ground. The golf ball landing confirmation step (S70) is a step of checking whether or not the golf ball is recognized in the binarized image while the golf ball tracking step (S60) proceeds. More specifically, the golf ball landing confirmation step (S70) is a step of checking whether or not the golf ball is recognized in the golf ball recognition process of the golf ball tracking step (S60). In the golf ball landing confirmation step (S70), if the golf ball recognition process is not repeated a predetermined number of times, it may be determined that the golf ball has not moved and the golf ball has landed. In the golf ball landing confirmation step (S70), a landing image of the golf ball landing on the ground may be generated. The landing image may be an image including a landed golf ball and a surrounding background. Also, in the golf ball landing confirmation step (S70), a landing image may be generated.
또한, 상기 골프공 착지 확인 단계(S70)는 골프공의 착지가 확인되면 착지된 골프공이 포함된 착지 영상 이미지를 수신 단말기(400)로 전송하여 골프공이 착지된 위치를 확인할 수 있도록 한다. 상기 수신 단말기(400)는 수신된 착지 영상 이미지를 표시하여 캐디 또는 골퍼가 골프공이 착지된 위치를 확인할 수 있도록 한다.In addition, in the golf ball landing confirmation step (S70), when the landing of the golf ball is confirmed, a landing video image including the landed golf ball is transmitted to the receiving
상기 골프공 비행 영상 생성 단계(S80)는 카메라 영상 촬영 단계(S10)부터 골프공 착지 확인 단계(S70)까지 광각 카메라(110) 또는/및 망원 카메라(140)로 촬영되는 영상들로 비행 동영상을 생성하는 단계이다. 본 발명의 골프공 추적 방법은 각 단계의 수행을 위하여 카메라 영상 촬영 단계(S10)부터 광각 카메라(110)와 망원 카메라(140)를 이용하여 골프공 비행 영상을 촬영하며 저장할 수 있다. 따라서, 상기 골프공 비행 영상 생성 단계(S80)는 하나의 티샷된 골프공에 대하여 저장된 영상을 분리하여 비행 동영상으로 생성할 수 있다. 상기 골프공 비행 영상 생성 단계(S80)는 골프공 착지 확인 단계(S70)가 완료된 후에 진행될 수 있다. 상기 비행 동영상은 골프공이 비행하는 영상과 착지하는 영상을 포함할 수 있다.In the golf ball flight image generation step (S80), the flight video is generated with images captured by the wide-
상기 골프공 비행 영상 전송 단계(S90)는 골프공 비행 영상 생성 단계(80)에서 생성된 골프공 비행 영상을 수신 단말기(400)로 전송하는 단계이다. 상기 골프공 비행 영상은 광각 카메라(110)에 의한 비행 동영상 또는 망원 카메라(140)에 의한 비행 동영상일 수 있다. 상기 골프공 비행 영상은 중앙 서버(300)에 의하여 수신 단말기(400)로 전송될 수 있다.The golf ball flight image transmission step (S90) is a step of transmitting the golf ball flight image generated in the golf ball flight image generation step (80) to the receiving terminal (400). The golf ball flight image may be a flight video by the wide-
이상에서 설명한 것은 본 발명에 따른 골프공 추적 방법 및 이를 위한 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is only one embodiment for implementing the golf ball tracking method and system therefor according to the present invention, and the present invention is not limited to the above-described embodiment, and as claimed in the following claims, the present invention Anyone with ordinary knowledge in the field to which the invention pertains without departing from the gist of the invention will say that the technical spirit of the present invention exists to the extent that various changes can be made.
100: 카메라 모듈
110: 광각 카메라
120: 광각 틸팅 모터
130: 광각 패닝 모터
140: 망원 카메라
150: 망원 틸팅 모터
160: 망원 패닝 모터
200: 카메라 제어 모듈
300: 중앙 서버
400: 골퍼 단말기
500: 로컬 서버100: camera module 110: wide-angle camera
120: wide-angle tilting motor 130: wide-angle panning motor
140: telephoto camera 150: telephoto tilting motor
160: telescopic panning motor 200: camera control module
300: central server 400: golfer terminal
500: local server
Claims (8)
상기 티샷 영상에서 이미지 시간 간격으로 적어도 2장의 영상 이미지를 선택하는 영상 이미지 선택 단계와,
선택된 적어도 2개의 상기 영상 이미지들 사이의 색상값 차이를 반영하는 식별 이미지를 생성하는 식별 이미지 생성 단계와,
상기 식별 이미지에서 흰색으로 표시되는 영역을 상기 골프공으로 검출하는 골프공 검출 단계와,
상기 식별 이미지에서 검출된 상기 골프공의 위치와 대응되는 영상 이미지의 색상값을 골프공 색상값으로 결정하는 골프공 색상값 결정 단계와,
상기 골프공 색상값을 이용하여 상기 광각 카메라와 망원 카메라가 촬영하는 영상 이미지를 이진화 이미지로 변환시켜 골프공을 인식하고 상기 광각 카메라와 망원 카메라를 제어하면서 골프공을 추적하는 골프공 추적 단계 및
상기 골프공이 지면에 착지되었는지 여부를 확인하여 착지된 상기 골프공을 포함하는 착지 이미지를 생성하는 골프공 착지 확인 단계를 포함하는 것을 특징으로 하는 골프공 추적 방법.A camera shooting image step of taking a tee shot image with respect to a region of interest set above the tee box, including a golf ball to be shot with a wide-angle camera and a telephoto camera;
A video image selection step of selecting at least two video images at an image time interval from the tee shot video;
An identification image generating step of generating an identification image reflecting a color value difference between the selected at least two video images;
A golf ball detection step of detecting an area displayed in white in the identification image as the golf ball;
A golf ball color value determination step of determining a color value of a video image corresponding to the position of the golf ball detected in the identification image as a golf ball color value;
A golf ball tracking step of converting video images captured by the wide-angle camera and the telephoto camera into a binary image using the golf ball color value to recognize a golf ball and track the golf ball while controlling the wide-angle camera and the telephoto camera; and
and a golf ball landing confirmation step of determining whether the golf ball has landed on the ground and generating a landing image including the landed golf ball.
상기 식별 이미지 생성 단계는
적어도 2개의 상기 영상 이미지를 그레이 이미지로 변환시키는 그레이 이미지 생성 과정과,
2개의 상기 그레이 이미지의 대응되는 위치의 화소별로 색상값을 대비하여 각각의 화소의 색상값 차이를 산출하는 색상값 차이 산출 과정 및
각 화소별로 상기 색상값 차이가 설정된 식별 기준값보다 큰 화소에 대하여 흰색의 색상값을 할당하여 흰색 영역으로 표시하고, 식별 기준값보다 작은 화소에 대하여 검은색의 색상값을 할당하여 검은색 영역으로 표시하여 상기 식별 이미지를 생성하는 식별 이미지 생성 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
The identification image generation step is
A gray image generation process of converting at least two video images into gray images;
A color value difference calculation process of calculating a color value difference of each pixel by comparing color values for each pixel at a corresponding position of the two gray images, and
For each pixel, a white color value is assigned to a pixel whose color value difference is greater than the set identification reference value and displayed as a white area, and a black color value is assigned to a pixel smaller than the identification reference value and displayed as a black area The golf ball tracking method comprising an identification image generation process of generating the identification image.
상기 식별 이미지에서 상기 흰색 영역이 복수 개로 존재하는 경우에 상기 골프공이 위치하는 상기 흰색 영역이 아닌 흰색 영역을 검은색 영역으로 표시하는 골프공 락온 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 2,
and a golf ball lock-on step of displaying a white area other than the white area where the golf ball is located as a black area when there are a plurality of white areas in the identification image.
상기 식별 이미지에서 배경에 의한 클러터를 제거하는 클러터 리젝션 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 2,
The golf ball tracking method of claim 1 , further comprising a clutter rejection step of removing clutter caused by a background from the identification image.
상기 골프공 추적 단계는
상기 영상 이미지를 상기 골프공 색상값을 갖는 골프공 영역과 골프공 색상값을 갖지 않은 배경 영역을 구비하는 이진화 이미지로 변환시키는 이미지 이진화 과정과,
상기 이진화 이미지에서 상기 골프공을 인식하여 상기 골프공의 위치를 결정하는 골프공 인식 과정 및
인식된 상기 골프공의 위치가 상기 이진화 이미지에서 중앙에 오도록 상기 광각 카메라와 망원 카메라의 방향을 이동시키는 골프공 위치 변경 과정을 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
The golf ball tracking step is
An image binarization process of converting the video image into a binarized image having a golf ball area having the golf ball color value and a background area not having the golf ball color value;
A golf ball recognition process for determining the position of the golf ball by recognizing the golf ball in the binarized image; and
and a golf ball position change process of moving directions of the wide-angle camera and the telephoto camera so that the recognized golf ball position is centered in the binarized image.
상기 카메라 영상 촬영 단계부터 골프공 착지 확인 단계까지 상기 골프공의 비행 영상을 상기 광각 카메라와 망원 카메라로 촬영하여 골프공 비행 영상으로 생성하는 골프공 비행 영상 생성 단계 및
상기 골프공 비행 영상을 수신 단말기로 전송하는 골프공 비행 영상 전송 단계를 더 포함하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
A golf ball flight image generation step of capturing a golf ball flight image from the camera image capturing step to the golf ball landing confirmation step with the wide-angle camera and the telephoto camera to generate a golf ball flight image; and
The golf ball tracking method further comprising a transmission step of transmitting the golf ball flight image to a receiving terminal.
상기 광각 카메라와 망원 카메라는 함께 연동되어 상기 골프공을 추적하는 것을 특징으로 하는 골프공 추적 방법.According to claim 1,
The golf ball tracking method according to claim 1 , wherein the wide-angle camera and the telephoto camera are interlocked to track the golf ball.
상기 카메라 모듈을 제어하는 카메라 제어 모듈과,
상기 카메라 제어 모듈과 인터넷 또는 별도의 통신망을 통하여 연동되는 중앙 서버 및
상기 중앙 서버 또는 카메라 제어 모듈과 연동되며, 상기 골프공의 골프공 착지 이미지 또는 골프공 비행 영상을 수신하는 수신 단말기를 포함하며, 제 1 항에 따른 골프공 추적 방법을 수행하는 골프공 추적 시스템.A camera module including a wide-angle camera and a telephoto camera and capturing a flight image of a golf ball;
A camera control module for controlling the camera module;
A central server interworking with the camera control module through the Internet or a separate communication network; and
A golf ball tracking system that is interlocked with the central server or the camera control module, and includes a receiving terminal that receives a golf ball landing image or a golf ball flight image of the golf ball, and performs the golf ball tracking method according to claim 1.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210070694A KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
KR1020230117907A KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210070694A KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230117907A Division KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220162909A true KR20220162909A (en) | 2022-12-09 |
KR102578232B1 KR102578232B1 (en) | 2023-09-15 |
Family
ID=84440287
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210070694A KR102578232B1 (en) | 2021-06-01 | 2021-06-01 | Method for Tracing Golf Ball and System for the Same |
KR1020230117907A KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230117907A KR102621864B1 (en) | 2021-06-01 | 2023-09-05 | Method for Tracing Golf Ball and System for the Same |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102578232B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116666A (en) * | 2005-09-20 | 2007-05-10 | Fujinon Corp | Surveillance camera apparatus and surveillance camera system |
KR20180106075A (en) * | 2017-03-17 | 2018-10-01 | 공현식 | The system and method for providing real-time golf game information including point-to-point distance and slope using two PTZ camera installed in a golf cart and automatic tracking of golf ball |
-
2021
- 2021-06-01 KR KR1020210070694A patent/KR102578232B1/en active Application Filing
-
2023
- 2023-09-05 KR KR1020230117907A patent/KR102621864B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007116666A (en) * | 2005-09-20 | 2007-05-10 | Fujinon Corp | Surveillance camera apparatus and surveillance camera system |
KR20180106075A (en) * | 2017-03-17 | 2018-10-01 | 공현식 | The system and method for providing real-time golf game information including point-to-point distance and slope using two PTZ camera installed in a golf cart and automatic tracking of golf ball |
Also Published As
Publication number | Publication date |
---|---|
KR20230134104A (en) | 2023-09-20 |
KR102578232B1 (en) | 2023-09-15 |
KR102621864B1 (en) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10143907B2 (en) | Planar solutions to object-tracking problems | |
US7428318B1 (en) | Method for capturing, measuring and analyzing motion | |
US7292711B2 (en) | Flight parameter measurement system | |
KR102681768B1 (en) | System and method for golf driving range shot movement path characteristics | |
US8842162B2 (en) | Method and system for improving surveillance of PTZ cameras | |
US20040032970A1 (en) | Flight parameter measurement system | |
CN104125372B (en) | Target photoelectric search and detection method | |
CN112183355B (en) | Effluent height detection system and method based on binocular vision and deep learning | |
CN103106404A (en) | Apparatus, method and system | |
US20230237747A1 (en) | Registration for augmented reality system for viewing an event | |
CN108473201B (en) | Unmanned aerial vehicle retraction system, unmanned aerial vehicle retraction method, and recording medium | |
US11880953B2 (en) | Augmented reality system for viewing an event with distributed computing | |
US11645819B2 (en) | Augmented reality system for viewing an event with mode based on crowd sourced images | |
CN103106654A (en) | Apparatus, method and system | |
US20230118280A1 (en) | Use of multiple registrations for augmented reality system for viewing an event | |
CN103100204B (en) | Method, equipment and program | |
US20240276056A1 (en) | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model | |
CN111541846A (en) | Automatic ice kettle image following and shooting system | |
KR102621864B1 (en) | Method for Tracing Golf Ball and System for the Same | |
CN110717931B (en) | System and method for detecting height of hitting point of badminton serving | |
CN112337074B (en) | Badminton level test scoring system based on radar tracking catching ball falling point | |
CN111330248B (en) | Golf entertainment system and golf game method | |
WO2024137620A1 (en) | Use of multiple registrations for augmented reality system for viewing an event | |
CN118644924A (en) | Attendance checking method, device, equipment and readable storage medium | |
JP2001014469A (en) | Ground target detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent |