KR102451261B1 - Golf simulation appratus and golf simulation method - Google Patents
Golf simulation appratus and golf simulation method Download PDFInfo
- Publication number
- KR102451261B1 KR102451261B1 KR1020200044052A KR20200044052A KR102451261B1 KR 102451261 B1 KR102451261 B1 KR 102451261B1 KR 1020200044052 A KR1020200044052 A KR 1020200044052A KR 20200044052 A KR20200044052 A KR 20200044052A KR 102451261 B1 KR102451261 B1 KR 102451261B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- spin information
- ball
- image frame
- coordinate value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B60/00—Details or accessories of golf clubs, bats, rackets or the like
- A63B60/46—Measurement devices associated with golf clubs, bats, rackets or the like for measuring physical parameters relating to sporting activity, e.g. baseball bats with impact indicators or bracelets for measuring the golf swing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
- A63B69/3623—Training appliances or apparatus for special sports for golf for driving
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
- A63B69/3658—Means associated with the ball for indicating or measuring, e.g. speed, direction
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
실시예에 의한 골프 시뮬레이션 장치 및 그 방법이 개시된다. 상기 골프 시뮬레이션 장치는 타석의 상부에 배치되어, 타격되어 운동하는 볼을 촬영하여 제1 영상을 획득하는 제1 영상 획득부, 상기 타석의 정면에 배치되어, 상기 볼을 촬영하여 제2 영상을 획득하는 제2 영상 획득부, 상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 제2 영상 프레임별로 상기 볼의 스핀 정보를 산출하고, 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하고, 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하는 시뮬레이터 및 상기 생성된 시뮬레이션 영상을 스크린에 출력하는 영상 출력부를 포함한다.A golf simulation apparatus and method according to an embodiment are disclosed. The golf simulation device is disposed on the top of the turn at bat and includes a first image acquisition unit that captures a hitting and moving ball to obtain a first image, and is disposed in front of the turn at bat and captures the ball to acquire a second image a second image acquisition unit that extracts a first feature point of the ball for each first image frame constituting the first image and a second feature point of the ball for each second image frame constituting the second image, and the extraction The ball spin information is calculated for each second image frame by converting the two-dimensional coordinate value of the mark among the second feature points into a three-dimensional coordinate value, and a virtual image frame is generated using the calculated spin information. a simulator that compares and verifies the generated virtual image frame and the second image frame, determines integrated spin information according to a result of the comparison and verification, and performs a simulation using the determined integrated spin information to generate a simulated image; and and an image output unit for outputting the generated simulation image to the screen.
Description
실시예는 운동하는 볼의 스핀 실측이 가능한 골프 시뮬레이션 장치 및 그 방법에 관한 것이다.The embodiment relates to a golf simulation apparatus and method capable of measuring the spin of a moving ball.
골프를 실내에서 즐길 수 있도록 제작된 가상 골프 시스템은 골퍼가 볼을 타격하면 운동하는 볼을 촬영한 이미지를 획득하여 볼에 관한 물리량을 측정하고, 측정한 물리량을 기초로 시뮬레이션을 수행하여 그 시뮬레이션 결과를 스크린 상에 표시해 준다.The virtual golf system, designed to allow golfers to enjoy golf indoors, acquires an image of a moving ball when a golfer hits the ball, measures a physical quantity related to the ball, performs a simulation based on the measured physical quantity, and performs the simulation result is displayed on the screen.
최근 두 개의 카메라를 이용하는 가상 골프 시스템이 널리 사용되고 있다. 이 시스템에서는 탑과 사이드에 위치하는 두 개의 카메라를 이용하여 운동하는 볼의 속도, 방향 및 높이각 등의 물리적 특성 정보를 추출하고, 골프 클럽의 운동 궤적을 산출하여 그로부터 볼의 스핀을 추정하여 시뮬레이션에 반영하고 있다.Recently, a virtual golf system using two cameras has been widely used. In this system, physical property information such as the speed, direction, and height angle of a moving ball is extracted using two cameras located on the top and side, and the motion trajectory of the golf club is calculated and the spin of the ball is estimated from it and simulated. is reflected in
이렇게 두 개의 카메라를 이용하는 시스템은 두 개의 카메라를 이용하여 좌/우 각과 높낮이 각을 확인할 수 있다는 장점이 있지만, 볼의 스핀량, 스핀축을 실측할 수가 없다.The system using two cameras has the advantage of being able to check the left/right angle and the height angle using the two cameras, but it cannot measure the amount of spin and the spin axis of the ball.
이 때문에 클럽의 운동 궤적과 운동하는 볼의 물리적 특성 정보로부터 추정한 볼의 스핀 정보를 시뮬레이션에 반영할 수 밖에 없다.For this reason, the ball spin information estimated from the club's motion trajectory and the physical property information of the moving ball has no choice but to be reflected in the simulation.
특히 볼의 스핀은 비거리, 방향, 높이각 등에 밀접한 관계가 있어 정확하지 않은 스핀은 볼의 운동 결과에 매우 민감한 영향을 끼친다. 따라서 상기 추정한 볼의 스핀을 반용한 시뮬레이션은 정확도가 매우 낮아 시뮬레이션 결과를 신뢰할 수가 없게 된다.In particular, the spin of the ball is closely related to the distance, direction, and height angle, so incorrect spin has a very sensitive effect on the result of the ball's motion. Therefore, the simulation using the estimated ball spin has very low accuracy, so that the simulation result is unreliable.
실시예는, 운동하는 볼의 스핀 실측이 가능한 골프 시뮬레이션 장치 및 그 방법을 제공할 수 있다.The embodiment may provide a golf simulation apparatus and method capable of measuring the spin of a moving ball.
실시예에 따른 골프 시뮬레이션 장치는 타석의 상부에 배치되어, 타격되어 운동하는 볼을 촬영하여 제1 영상을 획득하는 제1 영상 획득부, 상기 타석의 정면에 배치되어, 상기 볼을 촬영하여 제2 영상을 획득하는 제2 영상 획득부, 상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 제2 영상 프레임별로 상기 볼의 스핀 정보를 산출하고, 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하고, 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하는 시뮬레이터 및 상기 생성된 시뮬레이션 영상을 스크린에 출력하는 영상 출력부를 포함할 수 있다.The golf simulation apparatus according to the embodiment includes a first image acquisition unit disposed on the top of the turn at bat to acquire a first image by photographing a ball that is hit and in motion, and a second image acquisition unit disposed in front of the turn at bat to capture the ball and capture the second image. A second image acquisition unit for acquiring an image, extracting a first feature point of the ball for each first image frame constituting the first image and a second feature point of the ball for each second image frame constituting the second image, , converts the two-dimensional coordinate value of the mark among the extracted second feature points into a three-dimensional coordinate value to calculate the spin information of the ball for each second image frame, and uses the calculated spin information to generate a virtual image frame generating a simulated image by comparing and verifying the generated virtual image frame and the second image frame, determining integrated spin information according to the comparison and verification result, and performing a simulation using the determined integrated spin information It may include a simulator and an image output unit for outputting the generated simulation image to a screen.
상기 시뮬레이터는 상기 추출된 제1 특징점 중 상기 제1 영상을 구성하는 다수의 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 방향각을 산출하고, 상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 발사각을 산출할 수 있다.The simulator calculates the direction angle of the ball by using the center point of the ball extracted for each of a plurality of image frames constituting the first image among the extracted first feature points, and calculates the direction angle of the ball from among the extracted second feature points. The launch angle of the ball can be calculated by using the center point of the ball extracted for each of a plurality of image frames constituting the .
상기 시뮬레이터는 상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 마크의 2차원 좌표값을 3차원 좌표값으로 변환하고, 상기 변환된 마크의 3차원 좌표값을 이용하여 상기 다수의 제2 영상 프레임 간 좌표 변화값을 산출하고, 상기 좌표 변화값을 이용하여 상기 제2 영상 프레임별 스핀 정보를 산출할 수 있다.The simulator converts the two-dimensional coordinate value of the mark extracted for each plurality of second image frames constituting the second image among the extracted second feature points into a three-dimensional coordinate value, and the three-dimensional coordinate value of the converted mark can be used to calculate a coordinate change value between the plurality of second image frames, and spin information for each second image frame can be calculated using the coordinate change value.
상기 시뮬레이터는 다수의 제2 영상 프레임 중 어느 하나의 기준 영상 프레임을 기준으로 상기 제2 영상 프레임별로 산출된 다수의 스핀 정보를 각각 적용하여 적어도 하나의 가상의 영상 프레임을 생성하고, 상기 생성된 가상의 영상 프레임별 마크의 3차원 가상 좌표값을 2차원으로 변환하여 상기 마크의 2차원 가상 좌표값을 생성하고, 상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값을 비교 검증하고, 상기 비교 검증한 결과에 따라 상기 마크의 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정할 수 있다.The simulator generates at least one virtual image frame by applying a plurality of pieces of spin information calculated for each second image frame based on one reference image frame among a plurality of second image frames, and the generated virtual image frame is generated. Transforms the three-dimensional virtual coordinate value of the mark for each image frame of And, according to the result of the comparison and verification, the integrated spin information may be finally determined using at least one piece of spin information in which the coordinate values of the marks coincide.
상기 시뮬레이터는 상기 다수의 제2 영상 프레임 중 기준이 되는 하나의 기준 영상 프레임과 나머지 영상 프레임 각각을 이용하여 다수의 스핀 정보를 산출하고, 상기 산출된 다수의 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 해당 영상 프레임까지에 대응하는 가상의 영상 프레임을 생성할 수 있다.The simulator calculates a plurality of spin information by using one reference image frame serving as a reference among the plurality of second image frames and each of the remaining image frames, and uses each of the calculated plurality of spin information to become the reference. Based on one image frame, a virtual image frame corresponding to the corresponding image frame may be generated.
상기 시뮬레이터는 상기 다수의 제2 영상 프레임 중 기준이 되는 하나의 영상 프레임과 나머지 영상 프레임 각각을 이용하여 다수의 스핀 정보를 산출하고, 상기 산출된 다수의 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 마지막 영상 프레임까지에 대응하는 가상의 영상 프레임을 생성할 수 있다.The simulator calculates a plurality of spin information by using one image frame serving as a reference among the plurality of second image frames and each of the remaining image frames, and uses each of the calculated plurality of spin information to obtain the reference one. Based on the image frame of , a virtual image frame corresponding to the last image frame may be generated.
상기 시뮬레이터는 상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값이 일치하거나 임계 범위 이내일 경우 상기 마크의 좌표값이 일치한다고 판단할 수 있다.When the two-dimensional virtual coordinate value of the mark and the extracted two-dimensional coordinate value of the mark match or are within a threshold range, the simulator may determine that the coordinate value of the mark coincides.
실시예에 따른 골프 시뮬레이션 방법은 타석의 상부에 배치된 제1 영상 획득부가 타격되어 운동하는 볼을 촬영하여 제1 영상을 획득하고, 상기 타석의 정면에 배치된 제2 영상 획득부가 상기 볼을 촬영하여 제2 영상을 획득하는 단계, 시뮬레이터가 상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 제2 영상 프레임별로 상기 볼의 스핀 정보를 산출하는 단계, 상기 시뮬레이터가 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하는 단계 및 상기 시뮬레이터가 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하여 스크린에 출력하는 단계를 포함할 수 있다.The golf simulation method according to the embodiment acquires a first image by photographing a ball in motion when a first image acquisition unit disposed on the top of the turn at bat is hit, and a second image acquisition unit disposed on the front of the turn at bat captures the ball to obtain a second image, the simulator extracting the first feature point of the ball for each first image frame constituting the first image and the second feature point of the ball for each second image frame constituting the second image and converting the two-dimensional coordinate value of the mark among the extracted second feature points into a three-dimensional coordinate value to calculate the spin information of the ball for each second image frame, the simulator using the calculated spin information generating a virtual image frame, comparing and verifying the generated virtual image frame with the second image frame, and determining integrated spin information according to a result of the comparison and verification, and the simulator using the determined integrated spin information The method may include performing a simulation to generate a simulation image and outputting it to a screen.
상기 산출하는 단계에서는 상기 추출된 제1 특징점 중 상기 제1 영상을 구성하는 다수의 제1 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 방향각을 산출하고, 상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 발사각을 산출할 수 있다.In the calculating step, the direction angle of the ball is calculated by using the center point of the ball extracted for each of a plurality of first image frames constituting the first image among the extracted first feature points, and among the extracted second feature points The launch angle of the ball may be calculated using the center point of the ball extracted for each of the plurality of second image frames constituting the second image.
상기 산출하는 단계에서는 상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 마크의 2차원 좌표값을 3차원 좌표값으로 변환하고, 상기 변환된 마크의 3차원 좌표값을 이용하여 상기 다수의 제2 영상 프레임 간 좌표 변화값을 산출하고, 상기 좌표 변화값을 이용하여 상기 제2 영상 프레임별 스핀 정보를 산출할 수 있다.In the calculating step, the two-dimensional coordinate value of the mark extracted for each of a plurality of second image frames constituting the second image among the extracted second feature points is converted into a three-dimensional coordinate value, and a three-dimensional (3D) value of the converted mark is converted. A coordinate change value between the plurality of second image frames may be calculated using a coordinate value, and spin information for each second image frame may be calculated using the coordinate change value.
상기 결정하는 단계에서는 다수의 제2 영상 프레임 중 어느 하나의 영상 프레임을 기준으로 상기 영상 프레임별로 산출된 다수의 스핀 정보를 각각 적용하여 적어도 하나의 가상의 영상 프레임을 생성하고, 상기 생성된 가상의 영상 프레임별 마크의 3차원 가상 좌표값을 2차원으로 변환하여 상기 마크의 2차원 가상 좌표값을 생성하고, 상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값을 비교 검증하고, 상기 비교 검증한 결과에 따라 상기 마크의 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정할 수 있다.In the determining step, at least one virtual image frame is generated by applying a plurality of spin information calculated for each image frame based on any one image frame among a plurality of second image frames, and the generated virtual image frame is generated. The two-dimensional virtual coordinate value of the mark is generated by converting the three-dimensional virtual coordinate value of the mark for each image frame into two dimensions, and the two-dimensional virtual coordinate value of the mark and the two-dimensional coordinate value of the extracted mark are compared and verified, , it is possible to finally determine the integrated spin information using at least one piece of spin information in which the coordinate values of the marks match according to the result of the comparison and verification.
상기 결정하는 단계에서는 상기 다수의 제2 영상 프레임 중 기준이 되는 하나의 영상 프레임과 나머지 영상 프레임 각각을 이용하여 다수의 스핀 정보를 산출하고, 상기 산출된 다수의 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 해당 영상 프레임까지에 대응하는 가상의 영상 프레임을 생성할 수 있다.In the determining step, a plurality of spin information is calculated using one image frame serving as a reference among the plurality of second image frames and each of the remaining image frames, and the reference is determined by using the calculated plurality of spin information, respectively. A virtual image frame corresponding to up to the corresponding image frame may be generated based on one image frame to be used.
상기 결정하는 단계에서는 상기 다수의 제2 영상 프레임 중 기준이 되는 하나의 영상 프레임과 나머지 영상 프레임 각각을 이용하여 다수의 스핀 정보를 산출하고, 상기 산출된 다수의 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 마지막 영상 프레임까지에 대응하는 가상의 영상 프레임을 생성할 수 있다.In the determining step, a plurality of spin information is calculated using one image frame serving as a reference among the plurality of second image frames and each of the remaining image frames, and the reference is determined by using the calculated plurality of spin information, respectively. A virtual image frame corresponding to the last image frame may be generated on the basis of one image frame to be used.
상기 결정하는 단계에서는 상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값이 일치하거나 임계 범위 이내일 경우 상기 마크의 좌표값이 일치한다고 판단할 수 있다.In the determining step, when the two-dimensional virtual coordinate value of the mark and the extracted two-dimensional coordinate value of the mark match or are within a threshold range, it may be determined that the coordinate value of the mark coincides.
실시예에 따른 골프 시뮬레이션 장치는 타석의 상부에 배치되어, 타격되어 운동하는 볼을 촬영하여 제1 영상을 획득하는 제1 영상 획득부, 상기 타석의 정면에 배치되어, 상기 볼을 촬영하여 제2 영상을 획득하는 제2 영상 획득부, 상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 영상 프레임별로 상기 볼의 스핀 정보를 산출하고, 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하여 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하는 시뮬레이터를 포함하고, 상기 시뮬레이터는 이미 알고 있는 볼의 중심점과 반지름을 기초로 Ray-Sphere Intersection 방식을 이용하여 상기 추출된 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 마크의 2차원 좌표값을 3차원 좌표값으로 변환하고, 상기 변환된 마크의 3차원 좌표값을 이용하여 상기 다수의 제2 영상 프레임 간 좌표 변화값을 산출하고, 상기 좌표 변화값을 이용하여 상기 제2 영상 프레임별 스핀 정보를 산출하고, 다수의 제2 영상 프레임 중 어느 하나의 영상 프레임을 기준으로 상기 영상 프레임별로 산출된 다수의 스핀 정보를 각각 적용하여 적어도 하나의 가상의 영상 프레임을 생성하고, 상기 생성된 가상의 영상 프레임별 마크의 3차원 가상 좌표값을 2차원으로 변환하여 상기 마크의 2차원 가상 좌표값을 생성하고, 상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값을 비교 검증하고, 상기 비교 검증한 결과에 따라 상기 마크의 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정할 수 있다.The golf simulation apparatus according to the embodiment includes a first image acquisition unit disposed on the top of the turn at bat to acquire a first image by photographing a ball that is hit and in motion, and a second image acquisition unit disposed in front of the turn at bat to capture the ball and capture the second image. A second image acquisition unit for acquiring an image, extracting a first feature point of the ball for each first image frame constituting the first image and a second feature point of the ball for each second image frame constituting the second image, , converts the two-dimensional coordinate value of the mark among the extracted second feature points into a three-dimensional coordinate value to calculate the spin information of the ball for each image frame, and generates a virtual image frame using the calculated spin information and a simulator that compares and verifies the generated virtual image frame and the second image frame, determines integrated spin information according to a result of the comparison and verification, and performs a simulation using the determined integrated spin information to generate a simulation image. And, the simulator uses the Ray-Sphere Intersection method based on the already known center point and radius of the ball, among the extracted feature points, two-dimensional coordinates of the extracted mark for each of a plurality of second image frames constituting the second image. The value is converted into a three-dimensional coordinate value, and a coordinate change value between the plurality of second image frames is calculated using the three-dimensional coordinate value of the converted mark, and the second image frame using the coordinate change value is used. Spin information is calculated, and at least one virtual image frame is generated by applying a plurality of spin information calculated for each image frame based on any one image frame among a plurality of second image frames, and the generated virtual image frame is generated. Transforms the three-dimensional virtual coordinate value of the mark for each image frame of And, according to the result of the comparison and verification, the integrated spin information may be finally determined using at least one piece of spin information in which the coordinate values of the marks coincide.
실시예에 따르면, 운동하는 볼에 형성된 다수의 마크를 추출하여 추출된 다수의 마크의 좌표값을 3차원 좌표로 변환하고, 변환된 마크의 3차원 좌표의 변화값을 기초로 스핀 정보를 산출하기 때문에, 볼의 스핀을 실측할 수 있다.According to an embodiment, extracting a plurality of marks formed on a moving ball, converting the coordinate values of the extracted plurality of marks into three-dimensional coordinates, and calculating spin information based on the change value of the three-dimensional coordinates of the converted marks Therefore, the spin of the ball can be measured.
실시예에 따르면, 다수의 영상 프레임 각각에서 산출된 스핀 정보를 이용하여 마크의 좌표값을 검수하는 과정을 거치기 때문에 정확한 스핀 정보를 산출할 수 있다.According to the embodiment, since the process of checking the coordinate values of the mark using the spin information calculated from each of a plurality of image frames is performed, accurate spin information can be calculated.
실시예에 따르면, 다수의 영상 프레임 각각의 스핀 정보를 이용하여 보다 정교하게 산출된 스핀 정보를 시뮬레이션에 반영하기 때문에, 시뮬레이션에 대한 신뢰성을 향상시킬 수 있다.According to the embodiment, since spin information calculated more precisely using spin information of each of a plurality of image frames is reflected in the simulation, reliability of the simulation may be improved.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.Various and advantageous advantages and effects of the present invention are not limited to the above, and will be more easily understood in the course of describing specific embodiments of the present invention.
도 1은 본 발명의 일 실시예에 따른 골프 시뮬레이션 장치를 나타내는 도면이다.
도 2는 도 1에 도시된 시뮬레이터의 상세한 구성을 나타내는 도면이다.
도 3은 실시예에 따른 볼 이미지 내 특징점 추출 원리를 설명하기 위한 도면이다.
도 4a 내지 도 4b는 실시예에 따른 방향각과 발사각의 산출 원리를 설명하기 위한 도면이다.
도 5a 내지 도 5b는 실시예에 따른 프레임별 특징점의 변화를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 골프 시뮬레이션 방법을 나타내는 도면이다.
도 7a 내지 도 7b는 실시예에 따라 구현된 시뮬레이션 화면을 보여주는 도면이다.1 is a view showing a golf simulation apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a detailed configuration of the simulator shown in FIG. 1 .
3 is a diagram for explaining a principle of extracting feature points in a ball image according to an embodiment.
4A to 4B are diagrams for explaining a principle of calculating a direction angle and a launch angle according to an embodiment.
5A to 5B are diagrams for explaining a change in feature points for each frame according to an embodiment.
6 is a diagram illustrating a golf simulation method according to an embodiment of the present invention.
7A to 7B are diagrams illustrating simulation screens implemented according to an embodiment.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
다만, 본 발명의 기술 사상은 설명되는 일부 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.However, the technical spirit of the present invention is not limited to some of the described embodiments, but may be implemented in various different forms, and within the scope of the technical spirit of the present invention, one or more of the components may be selected between embodiments. It can be combined and substituted for use.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in the embodiments of the present invention may be generally understood by those of ordinary skill in the art to which the present invention pertains, unless specifically defined and described explicitly. It may be interpreted as a meaning, and generally used terms such as terms defined in advance may be interpreted in consideration of the contextual meaning of the related art.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.In addition, the terms used in the embodiments of the present invention are for describing the embodiments and are not intended to limit the present invention.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In this specification, the singular form may also include the plural form unless otherwise specified in the phrase, and when it is described as "at least one (or one or more) of A and (and) B, C", it is combined with A, B, C It may include one or more of all possible combinations.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.These terms are only for distinguishing the component from other components, and are not limited to the essence, order, or order of the component by the term.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.And, when it is described that a component is 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected, coupled or connected to the other component, but also with the component It may also include the case of 'connected', 'coupled' or 'connected' due to another element between the other elements.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In addition, when it is described as being formed or disposed on "above (above) or under (below)" of each component, the top (above) or bottom (below) is one as well as when two components are in direct contact with each other. Also includes a case in which another component as described above is formed or disposed between two components. In addition, when expressed as "upper (upper) or lower (lower)", the meaning of not only an upper direction but also a lower direction based on one component may be included.
실시예에서는, 볼의 타격 시 획득한 영상 프레임별로 볼 이미지를 획득하고, 획득된 볼 이미지마다 마크의 좌표값을 추출하여 추출된 마크의 좌표값을 3차원 좌표로 변환하여 볼의 스핀 정보를 추정하되, 영상 프레임별 스핀 정보를 산출하도록 한 새로운 방안을 제안한다.In an embodiment, a ball image is obtained for each image frame obtained when the ball is hit, and the coordinate value of the mark is extracted for each obtained ball image, and the coordinate value of the extracted mark is converted into three-dimensional coordinates to estimate the spin information of the ball. However, a new method for calculating spin information for each image frame is proposed.
실시예에서는, 추정된 볼의 스핀 정보를 이용하여 하나의 영상 프레임을 기준으로 회전시켜 영상 프레임별 마크의 좌표값을 예측하고 예측된 마크의 좌표값과 추출된 마크의 좌표값을 비교하여 그 비교한 결과로 스핀 정보를 결정하도록 한다.In the embodiment, the coordinate value of the mark for each image frame is predicted by rotating it based on one image frame using the estimated ball spin information, and the predicted coordinate value of the mark is compared with the coordinate value of the extracted mark. As a result, spin information is determined.
도 1은 본 발명의 일 실시예에 따른 골프 시뮬레이션 장치를 나타내는 도면이다.1 is a view showing a golf simulation apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 골프 시뮬레이션 장치는 제1 영상 획득부(100), 제2 영상 획득부(200), 시뮬레이터(300), 영상 출력부(400)를 포함할 수 있다.Referring to FIG. 1 , a golf simulation apparatus according to an embodiment of the present invention may include a first
제1 영상 획득부(100)는 사용자의 위 즉, 사용자가 위치하는 타석의 상부에 배치되어, 사용자가 타격한 볼을 촬영하여 제1 영상을 획득할 수 있다. 여기서 제1 영상은 타격한 볼의 속도, 방향각 등의 운동 정보를 산출하는데 사용될 수 있다.The first
제1 영상 획득부(100)는 다수의 프레임을 획득할 수 있는 카메라가 사용될 수 있다.A camera capable of acquiring a plurality of frames may be used as the first
제2 영상 획득부(200)는 사용자의 앞 즉, 사용자가 위치하는 타석의 정면에 배치되어, 사용자가 타격한 볼을 촬영하여 제2 영상을 획득할 수 있다. 여기서 제2 영상은 타격한 볼의 발사각(launch angle), 스핀량, 스핀축, 백 스핀(back spin), 사이드 스핀(side spin)을 산출하는데 사용될 수 있다.The second
제2 영상 획득부(200)는 다수의 프레임을 획득할 수 있는 카메라가 사용될 수 있다.A camera capable of acquiring a plurality of frames may be used as the second
제1 영상 획득부(100)와 제2 영상 획득부(200)는 동일한 물체 즉, 사용자가 타격한 볼을 촬영하되, 서로 다른 각도에서 타격에 의해 이동하는 볼을 촬영할 수 있다.The first
시뮬레이터(300)는 제1 영상과 제2 영상을 수집하고, 수집된 제1 영상과 제2 영상을 기초로 볼의 물리적 특성 정보를 산출하고, 산출된 물리적 특성 정보를 기초로 볼이 이동하는 시뮬레이션 영상을 생성할 수 있다.The
구체적으로, 시뮬레이터(300)는 수집된 제1 영상을 구성하는 제1 영상 프레임별로 볼 이미지를 추출하여 추출된 볼 이미지에서 제1 특징점을 추출하고, 제2 영상을 구성하는 제2 영상 프레임별로 볼 이미지를 추출하여 추출된 볼 이미지에서 제2 특징점을 추출할 수 있다. 여기서 제1 특징점은 볼의 중심점을 포함하고, 제2 특징점은 볼에 형성된 적어도 하나의 마크를 포함할 수 있다.Specifically, the
시뮬레이터(300)는 추출된 제1 특징점의 변화값과 제2 특징점의 변화값을 산출할 수 있다.The
시뮬레이터(300)는 산출된 제1 특징점의 변화값과 제2 특징점의 변화값을 기초로 볼의 물리적 특성 정보 예컨대, 볼의 속도, 방향각, 발사각, 스핀량, 스핀측, 백 스핀, 사이드 스핀을 산출할 수 있다.The
시뮬레이터(300)는 산출된 볼의 물리적 특성 정보를 기초로 볼이 이동하는 시뮬레이션 영상을 생성하고, 생성된 시뮬레이션 영상을 영상 출력부(400)에 제공할 수 있다.The
영상 출력부(400)는 시뮬레이터(300)와 연동하고, 시뮬레이터(300)로부터 시뮬레이션 영상을 제공받아 제공받은 시뮬레이션 영상을 스크린 상에 투사할 수 있다.The
도 2는 도 1에 도시된 시뮬레이터의 상세한 구성을 나타내는 도면이고, 도 3은 실시예에 따른 볼 이미지 내 특징점 추출 원리를 설명하기 위한 도면이고, 도 4a 내지 도 4b는 실시예에 따른 방향각과 발사각의 산출 원리를 설명하기 위한 도면이고, 도 5a 내지 도 5b는 실시예에 따른 프레임별 특징점의 변화를 설명하기 위한 도면이다.FIG. 2 is a view showing a detailed configuration of the simulator shown in FIG. 1 , FIG. 3 is a view for explaining a principle of extracting feature points in a ball image according to an embodiment, and FIGS. 4A to 4B are a direction angle and a launch angle according to the embodiment 5A to 5B are diagrams for explaining a change in feature points for each frame according to an embodiment.
도 2를 참조하면, 본 발명의 실시예에 따른 시뮬레이터(300)는 수집 유닛(310), 시뮬레이션 유닛(320), 출력 유닛(330), 저장 유닛(340)을 포함할 수 있다.Referring to FIG. 2 , the
수집 유닛(310)은 제1 영상 획득부(100), 제2 영상 획득부(200)와 유선 통신 또는 무선 통신으로 연동하고, 제1 영상 획득부(100)와 제2 영상 획득부(200)로부터 제1 영상과 제2 영상을 각각 수집할 수 있다.The collection unit 310 interworks with the first
시뮬레이션 유닛(320)은 수집된 제1 영상을 구성하는 제1 영상 프레임별로 볼 이미지를 추출하여 추출된 볼 이미지에서 제1 특징점 즉, 볼의 중심점을 추출하고, 제2 영상을 구성하는 제2 영상 프레임별로 볼 이미지를 추출하여 추출된 볼 이미지 내 제2 특징점 즉, 마크 좌표값을 추출할 수 있다.The simulation unit 320 extracts a ball image for each first image frame constituting the collected first image, extracts a first feature point, that is, a center point of the ball from the extracted ball image, and a second image constituting the second image By extracting the ball image for each frame, the second feature point in the extracted ball image, that is, the mark coordinate value may be extracted.
도 3을 참조하면, 본 발명의 실시예에 따른 시뮬레이터(300)는 제2 영상 프레임 내 볼 이미지(10)를 추출하고, 추출된 볼 이미지(10) 내에서 적어도 하나의 특징점 즉, 볼의 중심점(P)과 마크(11)의 좌표값을 추출할 수 있다.Referring to FIG. 3 , the
이를 위해, 볼에는 다수의 마크가 형성될 수 있는데, 촬영되는 각도에서 다수의 마크가 보이되, 적어도 3개 이상의 마크가 보이도록 형성되는 것이 바람직하다. 2개의 마크들이 변화하는 값을 이용하여 스핀을 실측할 수도 있지만, 산출된 값이 적기 때문에 높은 정확도의 스핀을 얻을 수 없어 3개 이상의 마크들이 바람직하다.For this purpose, a plurality of marks may be formed on the ball, and a plurality of marks are visible at the angle of being photographed, but it is preferable that at least three or more marks are visible. Although the spin may be measured using a value in which the two marks change, a high accuracy spin cannot be obtained because the calculated value is small, so three or more marks are preferable.
시뮬레이션 유닛(320)은 볼에 형성된 4개의 마크(11)를 추출하여 '+'로 표시하고 있다. 여기서 '+'는 볼의 중심이라고 판단되어 좌표값을 획득한 위치에 표시될 수 있다.The simulation unit 320 extracts the four
시뮬레이션 유닛(320)은 볼의 중심점(P)을 이용하여 볼의 속도, 방향각, 발사각을 산출할 수 있다. 예컨대, 볼의 속도는 제1 영상 또는 제2 영상에서 추출된 볼의 중심점을 이용하여 산출되고, 방향각은 제1 영상에서 볼의 중심점을 이용하여 산출되고, 발사각은 제2 영상에서 볼의 중심점을 이용하여 산출될 수 있다.The simulation unit 320 may calculate the speed, direction angle, and launch angle of the ball by using the center point P of the ball. For example, the speed of the ball is calculated using the center point of the ball extracted from the first image or the second image, the direction angle is calculated using the center point of the ball in the first image, and the launch angle is the center point of the ball in the second image. can be calculated using
예컨대, 마크 좌표값은 이러한 볼의 중심점을 원점으로 하는 좌표값을 나타낼 수 있다.For example, the mark coordinate value may represent a coordinate value having the center point of the ball as the origin.
도 4a를 참조하면, 본 발명의 실시예에 따른 시뮬레이터(300)는 제1 영상의 각 프레임별로 볼 이미지를 추출하고, 추출된 볼 이미지 내 중심점을 기초로 방향각을 실측할 수 있다.Referring to FIG. 4A , the
도 4b를 참조하면, 본 발명의 실시예에 따른 시뮬레이터(300)는 제2 영상의 각 프레임별로 볼 이미지를 추출하고, 추출된 볼 이미지 내 중심점을 기초로 발사각을 실측할 수 있다.Referring to FIG. 4B , the
도 5a를 참조하면, 시뮬레이션 유닛(320)은 제2 영상 프레임별 즉, 영상 프레임 F1의 {a1, a2, a3, a4}의 마크들, F2의 {b1, b2, b3, b4}의 마크들, F3의 {c1, c2, c3, c4}의 마크들, F4의 {d1, d2, d3}의 마크들, F5의 {e1, e2, e3}의 마크들을 추출할 수 있다.Referring to FIG. 5A , the simulation unit 320 performs a second image frame-by-second image frame, ie, marks {a1, a2, a3, a4} of image frame F1, marks {b1, b2, b3, b4} of F2 , marks of {c1, c2, c3, c4} of F3, marks of {d1, d2, d3} of F4, and marks of {e1, e2, e3} of F5 may be extracted.
도 5b를 참조하면, 시뮬레이션 유닛(320)은 볼의 스핀 정보를 획득하기 위하여 각 볼 이미지에서 추출된 2차원의 마크 좌표값을 3차원의 마크 좌표값으로 변환할 수 있다.Referring to FIG. 5B , the simulation unit 320 may convert a two-dimensional mark coordinate value extracted from each ball image into a three-dimensional mark coordinate value in order to obtain spin information of the ball.
시뮬레이션 유닛(320)은 이미 알고 있는 볼의 중심점과 반지름을 기초로 미리 정해진 방식을 이용하여 2차원의 마크 좌표값을 3차원의 마크 좌표값으로 변환할 수 있는데, 여기서 미리 정해진 방식은 예컨대, Ray-Sphere Intersection 방식 등 다양한 공지 기술이 사용될 수 있고, 이에 대한 상세한 설명은 생략하기로 한다.The simulation unit 320 may convert a two-dimensional mark coordinate value into a three-dimensional mark coordinate value using a predetermined method based on the known center point and radius of the ball, where the predetermined method is, for example, Ray Various known techniques such as the -sphere intersection method may be used, and a detailed description thereof will be omitted.
시뮬레이션 유닛(320)은 프레임별로 변환된 3차원 마크 좌표값을 이용하여 인접한 두 개의 프레임 간 모든 마크의 좌표 변화값을 산출하고 산출된 마크의 좌표 변화값을 기초로 스핀 정보를 추정할 수 있다. 여기서, 스핀 정보는 스핀량, 스핀축, 백 스핀, 사이드 스핀을 포함할 수 있다.The simulation unit 320 may calculate coordinate change values of all marks between two adjacent frames using the three-dimensional mark coordinate values converted for each frame, and estimate spin information based on the calculated coordinate change values of the marks. Here, the spin information may include a spin amount, a spin axis, a back spin, and a side spin.
마크의 좌표값이 많아질수록 스핀 정보는 더 정확해질 수 있다. 따라서 실시예에서는 다수의 스핀 정보를 추정하고 이를 기초로 스핀 정보를 검증하고자 한다.As the number of coordinate values of the mark increases, the spin information may be more accurate. Therefore, in the embodiment, a plurality of spin information is estimated and spin information is verified based on this.
먼저, 5개의 영상 프레임 F1, F2, F3, F4, F5을 추출한 경우, 3차원으로 변환된 영상 프레임 F1'의 마크 {a1', a2', a3', a4'}의 좌표값과 F2'의 마크 {b1', b2', b3', b4'}의 좌표값을 이용하여 제1 스핀 정보를 산출할 수 있다. 산출된 스핀 정보를 이용하여 3차원 공간 상에서 영상 프레임 F1'의 볼을 회전시켜 가상의 영상 프레임 F2-1'의 마크 {b1-1', b2-1', b3-1', b4-1'}을 생성할 수 있다.First, when five image frames F1, F2, F3, F4, and F5 are extracted, the coordinate values of the marks {a1', a2', a3', a4'} of the three-dimensionally transformed image frame F1' and F2' The first spin information may be calculated using the coordinate values of the marks {b1', b2', b3', b4'}. Marks {b1-1', b2-1', b3-1', b4-1' of the virtual image frame F2-1' by rotating the ball of the image frame F1' in the three-dimensional space using the calculated spin information } can be created.
가상의 영상 프레임 F2-1'의 마크 {b1-1', b2-1', b3-1', b4-1'}의 좌표값을 2차원으로 변환하여 2차원으로 변환된 가상의 F2-2'의 마크 {b1-2', b2-2', b3-2', b4-2'}의 좌표값을 생성할 수 있다.The virtual F2-2 converted to two dimensions by converting the coordinate values of marks {b1-1', b2-1', b3-1', b4-1'} of the virtual image frame F2-1' into two dimensions The coordinate values of the marks {b1-2', b2-2', b3-2', b4-2'} of ' may be generated.
F2의 마크 {b1, b2, b3, b4}의 좌표값과 F2-2'의 마크 {b1-2', b2-2', b3-2', b4-2'}의 좌표값의 일치하는지를 검증할 수 있다. 여기서, 좌표값이 일치한다는 것은 두 값이 동일하거나 소정의 임계 범위 이내인 경우를 포괄할 수 있다.Verifies whether the coordinate values of the marks {b1, b2, b3, b4} of F2 match the coordinate values of marks {b1-2', b2-2', b3-2', b4-2'} of F2-2' can do. Here, the fact that the coordinate values coincide may include a case in which the two values are the same or within a predetermined threshold range.
비교 결과로 일치하는 경우 제1 스핀 정보가 정확히 산출되었다고 판단할 수 있다.When the comparison results match, it may be determined that the first spin information has been accurately calculated.
그리고 3차원으로 변환된 영상 프레임 F2'의 마크 {b1', b2', b3', b4'}의 좌표값, F3'의 마크 {c1', c2', c3', c4'}의 좌표값을 이용하여 제2 스핀 정보를 산출할 수 있다. 산출된 스핀 정보를 이용하여 3차원 공간 상에서 영상 프레임 F1'의 볼을 회전시켜 가상의 영상 프레임 F2-1"의 마크 {b1-1", b2-1", b3-1", b4-1"}과 F3-1'의 마크 {c1-1', c2-1', c3-1', c4-1'}을 생성하고, 2차원으로 변환하여 F2-2"의 마크 {b1-2", b2-2", b3-2", b4-2"}과 F3-2'의 마크 {c1-2', c2-2', c3-2', c4-2'}의 좌표값을 생성할 수 있다.Then, the coordinate values of the marks {b1', b2', b3', b4'} of the image frame F2' transformed into three dimensions, and the coordinate values of the marks {c1', c2', c3', c4'} of the F3' The second spin information may be calculated using the Marks {b1-1", b2-1", b3-1", b4-1" of the virtual image frame F2-1" by rotating the ball of the image frame F1' in 3D space using the calculated spin information } and the marks {c1-1', c2-1', c3-1', c4-1'} of F3-1', converted to two dimensions, and marks {b1-2" of F2-2"; Coordinate values of b2-2", b3-2", b4-2"} and marks {c1-2', c2-2', c3-2', c4-2'} of F3-2' can be generated. have.
F2의 마크 {b1, b2, b3, b4}의 좌표값과 F2-2"의 마크 {b1-2", b2-2", b3-2", b4-2"}의 좌표값이 일치하는지를 검증하고, F3의 마크 {c1, c2, c3, c4}의 좌표값과 F3-2'의 마크 {c1-2', c2-2', c3-2', c4-2'}의 좌표값이 일치하는지를 비교할 수 있다.Verifies whether the coordinate values of the marks {b1, b2, b3, b4} of F2 match the coordinate values of marks {b1-2", b2-2", b3-2", b4-2"} of F2-2" and the coordinate values of the marks {c1, c2, c3, c4} of F3 coincide with the coordinate values of marks {c1-2', c2-2', c3-2', c4-2'} of F3-2' can be compared to what
비교 결과로 일치하는 경우 제2 스핀 정보가 정확히 산출되었다고 판단할 수 있다.When the comparison results match, it may be determined that the second spin information has been accurately calculated.
이와 같은 과정으로, F1의 마크 {a1, a2, a3, a4}의 좌표값과 F4의 마크 {d1, d2, d3}의 좌표값을 이용한 제3 스핀 정보, F1의 마크 {a1, a2, a3, a4}의 좌표값과 F5의 마크 {e1, e2, e3}의 좌표값을 이용한 제4 스핀 정보를 검증할 수 있다.In this process, the third spin information using the coordinate values of the mark {a1, a2, a3, a4} of F1 and the coordinate values of the mark {d1, d2, d3} of F4, F1 mark {a1, a2, a3 , a4} and the coordinate values of the marks {e1, e2, e3} of F5 may be used to verify the fourth spin information.
여기서는 다수의 스핀 정보를 각각 이용하여 첫번째 영상 프레임을 기준으로 해당 영상 프레임까지에 대응하는 가상의 영상 프레임을 생성하는 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고, 다수의 스핀 정보를 각각 이용하여 첫번째 영상 프레임을 기준으로 마지막 영상 프레임까지에 대응하는 가상의 영상 프레임을 생성할 수 있다.Here, a case in which a virtual image frame corresponding to the first image frame is generated based on the first image frame by using a plurality of pieces of spin information is described as an example, but the present invention is not limited thereto. Based on the first image frame, a virtual image frame corresponding to the last image frame may be generated.
또한, 첫번째 영상 프레임을 기준으로 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 다수의 영상 프레임 중 어느 하나의 프레임이 기준이 될 수 있다.In addition, although the case is described with reference to the first image frame as an example, the present invention is not limited thereto, and any one frame among a plurality of image frames may be used as a reference.
시뮬레이션 유닛(320)은 이렇게 검증한 결과에 따라 정확히 산출되었다고 판단되는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보로 최종 결정할 수 있다.The simulation unit 320 may finally determine the integrated spin information by using at least one piece of spin information determined to be accurately calculated according to the verification result.
그 일예로, 시뮬레이션 유닛(320)은 제1 스핀 정보, 제2 스핀 정보, 제3 스핀 정보, 제4 스핀 정보 중 제1 스핀 정보만이 정확히 산출되었다고 판단되는 경우 제1 스핀 정보를 통합 스핀 정보로 결정할 수 있다.For example, when it is determined that only the first spin information among the first spin information, the second spin information, the third spin information, and the fourth spin information is accurately calculated, the simulation unit 320 may combine the first spin information with the integrated spin information. can be decided with
다른 예로, 시뮬레이션 유닛(320)은 제1 스핀 정보, 제2 스핀 정보, 제3 스핀 정보, 제4 스핀 정보 모두가 정확히 산출되었다고 판단되는 경우 제1 스핀 정보, 제2 스핀 정보, 제3 스핀 정보, 제4 스핀 정보의 평균을 통합 스핀 정보로 결정할 수 있다.As another example, when it is determined that all of the first spin information, the second spin information, the third spin information, and the fourth spin information are accurately calculated, the simulation unit 320 may determine the first spin information, the second spin information, and the third spin information. , an average of the fourth spin information may be determined as the integrated spin information.
여기서는 다수의 스핀 정보의 평균을 통합 스핀 정보로 결정한 경우를 일 예로 설명하고 있지만, 반드시 이에 한정되지 않고 다양한 결정 방식이 적용될 수 있다.Here, a case in which the average of a plurality of spin information is determined as the integrated spin information is described as an example, but the present invention is not limited thereto, and various determination methods may be applied.
시뮬레이션 유닛(320)은 결정된 스핀 정보를 기초로 볼이 이동하는 시뮬레이션 영상을 생성하고, 생성된 시뮬레이션 영상을 출력 유닛(330)에 제공할 수 있다.The simulation unit 320 may generate a simulation image in which the ball moves based on the determined spin information, and may provide the generated simulation image to the
출력 유닛(330)은 제공받은 시뮬레이션 영상을 영상 출력부(400)에 출력할 수 있다.The
저장 유닛(340)은 볼의 물리적 특성 정보, 시뮬레이션 영상을 저장할 수 있다.The storage unit 340 may store physical property information of the ball and a simulation image.
도 6은 본 발명의 일 실시예에 따른 골프 시뮬레이션 방법을 나타내는 도면이다.6 is a diagram illustrating a golf simulation method according to an embodiment of the present invention.
도 6을 참조하면, 본 발명의 일 실시예에 따른 골프 시뮬레이션 장치는 사용자가 볼을 타격할 경우, 타격한 볼을 촬영하여 영상 즉, 제1 영상과 제2 영상을 획득할 수 있다(S601).Referring to FIG. 6 , when a user hits a ball, the golf simulation apparatus according to an embodiment of the present invention may acquire images, that is, a first image and a second image by photographing the hit ball (S601). .
다음으로, 골프 시뮬레이션 장치는 제1 영상을 구성하는 제1 영상 프레임별로 볼 이미지를 추출하여 추출된 볼 이미지에서 제1 특징점을 추출하고, 제2 영상을 구성하는 제2 영상 프레임별로 볼 이미지를 추출하여 추출된 볼 이미지 내 제2 특징점을 추출할 수 있다(S602).Next, the golf simulation apparatus extracts a ball image for each first image frame constituting the first image, extracts a first feature point from the extracted ball image, and extracts a ball image for each second image frame constituting the second image to extract the second feature point in the extracted ball image (S602).
다음으로, 골프 시뮬레이션 장치는 추출된 제1 특징점과 제2 특징점에 포함된 볼의 중심점을 기초로 볼의 방향각, 발사각을 산출할 수 있다(S603). 즉, 골프 시뮬레이션 장치는 제1 영상으로부터 추출된 볼의 중심점을 기초로 볼의 방향각을 산출하고, 제2 영상으로부터 추출된 볼의 중심점을 기초로 볼의 발사각을 산출할 수 있다.Next, the golf simulation apparatus may calculate the direction angle and the launch angle of the ball based on the center point of the ball included in the extracted first feature point and the second feature point ( S603 ). That is, the golf simulation apparatus may calculate the direction angle of the ball based on the center point of the ball extracted from the first image, and calculate the launch angle of the ball based on the center point of the ball extracted from the second image.
다음으로, 골프 시뮬레이션 장치는 추출된 제2 특징점에 포함된 마크의 2차원 좌표값을 3차원으로 변환할 수 있다(S604).Next, the golf simulation apparatus may convert the two-dimensional coordinate value of the mark included in the extracted second feature point to three-dimensional (S604).
다음으로, 골프 시뮬레이션 장치는 변환된 마크의 3차원 좌표값을 기초로 다수의 제2 영상 프레임 간 좌표 변화값 즉, 인접한 두 개의 제2 영상 프레임 간 좌표 변화값을 산출하고, 산출된 좌표 변화값을 기초로 제2 영상 프레임별 스핀 정보를 산출할 수 있다(S605).Next, the golf simulation apparatus calculates a coordinate change value between a plurality of second image frames, that is, a coordinate change value between two adjacent second image frames, based on the three-dimensional coordinate value of the converted mark, and the calculated coordinate change value Spin information for each second image frame may be calculated on the basis of ( S605 ).
다음으로, 골프 시뮬레이션 장치는 산출된 스핀 정보를 이용하여 다수의 제2 영상 프레임 중 하나의 영상 프레임을 기준으로 가상의 영상 프레임을 생성할 수 있다(S606). 즉, 가상의 영상 프레임은 마크가 형성된 3차원의 볼을 스핀 정보에 따라 회전시켜 미리 획득된 다수의 제2 영상 프레임 중 해당 영상 프레임에 대응하도록 생성된다.Next, the golf simulation apparatus may generate a virtual image frame based on one image frame among the plurality of second image frames by using the calculated spin information (S606). That is, the virtual image frame is generated to correspond to the corresponding image frame among the plurality of second image frames obtained in advance by rotating the three-dimensional ball on which the mark is formed according to the spin information.
다음으로, 골프 시뮬레이션 장치는 생성된 가상의 영상 프레임별 마크의 3차원 좌표값을 2차원으로 변환하여 2차원 좌표값을 생성하고, 생성된 2차원 좌표값과 이미 산출된 마크의 좌표값이 일치하는지를 비교 검증할 수 있다(S607).Next, the golf simulation device converts the generated 3D coordinate value of the mark for each virtual image frame into 2D to generate a 2D coordinate value, and the generated 2D coordinate value matches the coordinate value of the already calculated mark It can be verified by comparison (S607).
다음으로, 골프 시뮬레이션 장치는 비교 검증한 결과에 따라 마크의 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정할 수 있다(S608).Next, the golf simulation apparatus may finally determine the integrated spin information by using at least one piece of spin information in which the coordinate values of the marks match according to the comparison and verification result ( S608 ).
다음으로, 골프 시뮬레이션 장치는 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하고(S609), 생성된 시뮬레이션 영상을 출력할 수 있다(S610).Next, the golf simulation apparatus may generate a simulation image by performing a simulation using the determined integrated spin information (S609), and may output the generated simulation image (S610).
도 7a 내지 도 7b는 실시예에 따라 구현된 시뮬레이션 화면을 보여주는 도면이다.7A to 7B are diagrams illustrating simulation screens implemented according to an embodiment.
도 7a를 참조하면, 실시예에 따른 골프 시뮬레이션 장치는 볼의 타격 시 영상을 획득하고, 영상을 구성하는 다수의 영상 프레임별로 마크의 좌표값을 추출할 수 있다.Referring to FIG. 7A , the golf simulation apparatus according to the embodiment may obtain an image when a ball is hit, and extract coordinate values of the mark for each of a plurality of image frames constituting the image.
도 7b를 참조하면, 다수의 영상 프레임별로 추출된 마크의 좌표값을 이용하여 다수의 영상 프레임에서 인접한 두 개의 영상 프레임별 스핀 정보를 산출할 수 있다.Referring to FIG. 7B , spin information for each of two adjacent image frames in a plurality of image frames may be calculated by using the coordinate values of the marks extracted for each of the plurality of image frames.
여기서는 5개의 영상 프레임을 이용하여 수백 ~ 수천 개의 스핀 정보를 산출하는 것이 가능한데, 수백 ~ 수천 개의 스핀 정보 중 59개의 스핀 정보를 산출하고, 산출된 59개의 스핀 정보를 이용하여 하나의 통합 스핀 정보를 결정하여 보여주고 있다.Here, it is possible to calculate hundreds to thousands of spin information using five image frames. 59 pieces of spin information out of hundreds to thousands of spin information are calculated, and one integrated spin information is generated using the calculated 59 pieces of spin information. determined and shown.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term '~ unit' used in this embodiment means software or hardware components such as field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Thus, as an example, '~' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be done.
100: 제1 영상 획득부
200: 제2 영상 획득부
300: 시뮬레이터
310: 수집 유닛
320: 시뮬레이션 유닛
330: 출력 유닛
340: 저장 유닛
400: 영상 출력부100: first image acquisition unit
200: second image acquisition unit
300: Simulator
310: collection unit
320: simulation unit
330: output unit
340: storage unit
400: video output unit
Claims (15)
상기 타석의 정면에 배치되어, 상기 볼을 촬영하여 제2 영상을 획득하는 제2 영상 획득부;
상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 제2 영상 프레임별로 상기 볼의 스핀 정보를 산출하고, 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하고, 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하는 시뮬레이터; 및
상기 생성된 시뮬레이션 영상을 스크린에 출력하는 영상 출력부를 포함하고,
상기 시뮬레이터는,
상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 마크의 2차원 좌표값을 3차원 좌표값으로 변환하고,
상기 변환된 마크의 3차원 좌표값을 기초로 다수의 제2 영상 프레임 중 기준이 되는 하나의 기준 영상 프레임과 나머지 영상 프레임 각각을 이용하여 다수의 스핀 정보를 산출하고,
상기 나머지 영상 프레임별로 산출된 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 해당 영상 프레임까지에 대응하는 적어도 하나의 가상의 영상 프레임을 생성하고,
상기 나머지 영상 프레임별로 상기 생성된 적어도 하나의 가상의 영상 프레임 각각의 마크의 3차원 가상 좌표값을 2차원으로 변환하여 상기 마크의 2차원 가상 좌표값을 생성하고,
상기 나머지 영상 프레임별로 상기 생성된 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값의 일치 여부를 비교 검증하고,
상기 비교 검증한 결과에 따라 상기 나머지 영상 프레임별로 산출된 스핀 정보 중 상기 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정하되,
상기 비교 검증한 결과로 하나의 스핀 정보에서 상기 좌표값이 일치하는 경우, 상기 일치하는 하나의 스핀 정보를 상기 통합 스핀 정보로 최종 결정하고,
상기 비교 검증한 결과로 다수의 스핀 정보에서 상기 좌표값이 일치하는 경우, 상기 일치하는 다수의 스핀 정보의 평균을 상기 통합 스핀 정보로 최종 결정하는, 골프 시뮬레이션 장치.a first image acquisition unit disposed on the top of the bat and acquiring a first image by photographing a ball that is hit and moves;
a second image acquisition unit disposed in front of the turn at bat to acquire a second image by photographing the ball;
The first feature point of the ball for each first image frame constituting the first image and the second feature point of the ball for each second image frame constituting the second image are extracted, and the mark of the extracted second feature point is The ball spin information is calculated for each second image frame by converting a two-dimensional coordinate value into a three-dimensional coordinate value, and a virtual image frame is generated using the calculated spin information, and the generated virtual image frame and the a simulator that compares and verifies the second image frame, determines integrated spin information according to a result of the comparative verification, and performs a simulation using the determined integrated spin information to generate a simulated image; and
and an image output unit for outputting the generated simulation image to a screen,
The simulator is
converting the two-dimensional coordinate value of the mark extracted for each plurality of second image frames constituting the second image among the extracted second feature points into a three-dimensional coordinate value,
Calculating a plurality of spin information using one reference image frame serving as a reference among a plurality of second image frames and each of the remaining image frames based on the three-dimensional coordinate value of the converted mark,
generating at least one virtual image frame corresponding to the corresponding image frame based on the one image frame serving as the reference by using the spin information calculated for each remaining image frame,
generating a two-dimensional virtual coordinate value of the mark by converting a three-dimensional virtual coordinate value of each mark of each of the at least one virtual image frame generated for each of the remaining image frames into two dimensions;
Comparing and verifying whether the two-dimensional virtual coordinate value of the generated mark matches the two-dimensional coordinate value of the extracted mark for each of the remaining image frames;
Final determination of integrated spin information using at least one piece of spin information having the same coordinate values among the spin information calculated for each remaining image frame according to the comparison and verification result,
As a result of the comparison and verification, when the coordinate values in one spin information match, the matching single spin information is finally determined as the integrated spin information,
When the coordinate values in the plurality of pieces of spin information match as a result of the comparison and verification, an average of the plurality of matching pieces of spin information is finally determined as the integrated spin information.
상기 시뮬레이터는,
상기 추출된 제1 특징점 중 상기 제1 영상을 구성하는 다수의 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 방향각을 산출하고,
상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 발사각을 산출하는, 골프 시뮬레이션 장치.According to claim 1,
The simulator is
calculating the direction angle of the ball by using the center point of the ball extracted for each of a plurality of image frames constituting the first image among the extracted first feature points,
A golf simulation apparatus for calculating the launch angle of the ball by using the center point of the ball extracted for each of a plurality of image frames constituting the second image among the extracted second feature points.
상기 시뮬레이터는,
상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값이 일치하거나 임계 범위 이내일 경우 상기 좌표값이 일치한다고 판단하는, 골프 시뮬레이션 장치.According to claim 1,
The simulator is
When the two-dimensional virtual coordinate value of the mark and the two-dimensional coordinate value of the extracted mark match or are within a critical range, it is determined that the coordinate value coincides, a golf simulation apparatus.
시뮬레이터가 상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 제2 영상 프레임별로 상기 볼의 스핀 정보를 산출하는 단계; 및
상기 시뮬레이터가 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하는 단계;
상기 시뮬레이터가 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하여 스크린에 출력하는 단계를 포함하고,
상기 산출하는 단계에서는,
상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 마크의 2차원 좌표값을 3차원 좌표값으로 변환하고,
상기 변환된 마크의 3차원 좌표값을 기초로 다수의 제2 영상 프레임 중 기준이 되는 하나의 기준 영상 프레임과 나머지 영상 프레임 각각을 이용하여 다수의 스핀 정보를 산출하고,
상기 나머지 영상 프레임별로 산출된 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 해당 영상 프레임까지에 대응하는 적어도 하나의 가상의 영상 프레임을 생성하고,
상기 나머지 영상 프레임별로 상기 생성된 적어도 하나의 가상의 영상 프레임 각각의 마크의 3차원 가상 좌표값을 2차원으로 변환하여 상기 마크의 2차원 가상 좌표값을 생성하고,
상기 나머지 영상 프레임별로 상기 생성된 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값의 일치 여부를 비교 검증하고,
상기 비교 검증한 결과에 따라 상기 나머지 영상 프레임별로 산출된 스핀 정보 중 상기 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정하되,
상기 비교 검증한 결과로 하나의 스핀 정보에서 상기 좌표값이 일치하는 경우, 상기 일치하는 하나의 스핀 정보를 상기 통합 스핀 정보로 최종 결정하고,
상기 비교 검증한 결과로 다수의 스핀 정보에서 상기 좌표값이 일치하는 경우, 상기 일치하는 다수의 스핀 정보의 평균을 상기 통합 스핀 정보로 최종 결정하는, 골프 시뮬레이션 방법.acquiring a first image by photographing the ball in motion by the first image acquisition unit disposed on the upper portion of the plate at bat, and acquiring a second image by the second image acquisition unit disposed in front of the plate at bat photographing the ball ;
The simulator extracts a first feature point of the ball for each first image frame constituting the first image and a second feature point of the ball for each second image frame constituting the second image, and among the extracted second feature points converting a two-dimensional coordinate value of a mark into a three-dimensional coordinate value and calculating spin information of the ball for each second image frame; and
generating, by the simulator, a virtual image frame using the calculated spin information, comparing and verifying the generated virtual image frame and the second image frame, and determining integrated spin information according to a result of the comparison and verification;
The simulator performs a simulation using the determined integrated spin information to generate a simulation image and output it to a screen,
In the calculating step,
Converting the two-dimensional coordinate value of the mark extracted for each second image frame constituting the second image among the extracted second feature points into a three-dimensional coordinate value,
Calculating a plurality of spin information using one reference image frame serving as a reference among a plurality of second image frames and each of the remaining image frames based on the three-dimensional coordinate value of the converted mark,
generating at least one virtual image frame corresponding to the corresponding image frame based on the one image frame serving as the reference by using the spin information calculated for each of the remaining image frames,
generating a two-dimensional virtual coordinate value of the mark by converting a three-dimensional virtual coordinate value of each mark of each of the generated at least one virtual image frame for each of the remaining image frames into two dimensions;
Comparing and verifying whether the two-dimensional virtual coordinate value of the generated mark matches the two-dimensional coordinate value of the extracted mark for each of the remaining image frames;
Final determination of integrated spin information using at least one piece of spin information having the same coordinate value among the spin information calculated for each remaining image frame according to the comparison and verification result,
When the coordinate values in one spin information match as a result of the comparison and verification, the matching single spin information is finally determined as the integrated spin information,
When the coordinate values in the plurality of pieces of spin information match as a result of the comparison and verification, an average of the plurality of matching pieces of spin information is finally determined as the integrated spin information.
상기 산출하는 단계에서는,
상기 추출된 제1 특징점 중 상기 제1 영상을 구성하는 다수의 제1 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 방향각을 산출하고,
상기 추출된 제2 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 볼의 중심점을 이용하여 상기 볼의 발사각을 산출하는, 골프 시뮬레이션 방법.9. The method of claim 8,
In the calculating step,
calculating the direction angle of the ball by using the center point of the ball extracted for each of a plurality of first image frames constituting the first image among the extracted first feature points;
A golf simulation method of calculating the launch angle of the ball by using the center point of the ball extracted for each of a plurality of second image frames constituting the second image among the extracted second feature points.
상기 결정하는 단계에서는,
상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값이 일치하거나 임계 범위 이내일 경우 상기 좌표값이 일치한다고 판단하는, 골프 시뮬레이션 방법.9. The method of claim 8,
In the determining step,
When the two-dimensional virtual coordinate value of the mark and the two-dimensional coordinate value of the extracted mark match or are within a critical range, it is determined that the coordinate value coincides, a golf simulation method.
상기 타석의 정면에 배치되어, 상기 볼을 촬영하여 제2 영상을 획득하는 제2 영상 획득부;
상기 제1 영상을 구성하는 제1 영상 프레임별로 상기 볼의 제1 특징점과 상기 제2 영상을 구성하는 제2 영상 프레임별로 상기 볼의 제2 특징점을 추출하고, 상기 추출된 제2 특징점 중 마크의 2차원 좌표값을 3차원 좌표값으로 변환하여 상기 영상 프레임별로 상기 볼의 스핀 정보를 산출하고, 상기 산출된 스핀 정보를 이용하여 가상의 영상 프레임을 생성하여 상기 생성된 가상의 영상 프레임과 상기 제2 영상 프레임을 비교 검증하고 그 비교 검증한 결과에 따라 통합 스핀 정보를 결정하여 상기 결정된 통합 스핀 정보를 이용하여 시뮬레이션을 수행하여 시뮬레이션 영상을 생성하는 시뮬레이터를 포함하고,
상기 시뮬레이터는,
이미 알고 있는 볼의 중심점과 반지름을 기초로 Ray-Sphere Intersection 방식을 이용하여 추출된 특징점 중 상기 제2 영상을 구성하는 다수의 제2 영상 프레임별로 추출된 마크의 2차원 좌표값을 3차원 좌표값으로 변환하고,
상기 변환된 마크의 3차원 좌표값을 기초로 다수의 제2 영상 프레임 중 기준이 되는 하나의 기준 영상 프레임과 나머지 영상 프레임 각각을 이용하여 상기 다수의 제2 영상 프레임 간 좌표 변화값을 산출하고, 상기 좌표 변화값을 이용하여 상기 제2 영상 프레임별 스핀 정보를 산출하고,
상기 나머지 영상 프레임별로 산출된 다수의 스핀 정보를 각각 이용하여 상기 기준이 되는 하나의 영상 프레임을 기준으로 해당 영상 프레임까지에 대응하는 적어도 하나의 가상의 영상 프레임을 생성하고,
상기 나머지 영상 프레임별로 상기 생성된 가상의 영상 프레임별 마크의 3차원 가상 좌표값을 2차원으로 변환하여 상기 마크의 2차원 가상 좌표값을 생성하고,
상기 마크의 2차원 가상 좌표값과 상기 추출된 마크의 2차원 좌표값의 일치 여부를 비교 검증하고,
상기 비교 검증한 결과에 따라 상기 나머지 영상 프레임별로 산출된 스핀 정보 중 상기 좌표값이 일치하는 적어도 하나의 스핀 정보를 이용하여 통합 스핀 정보를 최종 결정하되,
상기 비교 검증한 결과로 하나의 스핀 정보에서 상기 좌표값이 일치하는 경우, 상기 일치하는 하나의 스핀 정보를 상기 통합 스핀 정보로 최종 결정하고,
상기 비교 검증한 결과로 다수의 스핀 정보에서 상기 좌표값이 일치하는 경우, 상기 일치하는 다수의 스핀 정보의 평균을 상기 통합 스핀 정보로 최종 결정하는, 골프 시뮬레이션 장치.a first image acquisition unit disposed on the top of the bat and acquiring a first image by photographing a ball that is hit and moves;
a second image acquisition unit disposed in front of the turn at bat to acquire a second image by photographing the ball;
The first feature point of the ball for each first image frame constituting the first image and the second feature point of the ball for each second image frame constituting the second image are extracted, and the mark of the extracted second feature point is By converting a two-dimensional coordinate value into a three-dimensional coordinate value, spin information of the ball is calculated for each image frame, and a virtual image frame is generated using the calculated spin information, and the generated virtual image frame and the second Comprising a simulator that compares and verifies 2 image frames, determines integrated spin information according to the result of the comparative verification, and performs a simulation using the determined integrated spin information to generate a simulation image,
The simulator is
Based on the known center point and radius of the ball, the two-dimensional coordinate value of the mark extracted for each plurality of second image frames constituting the second image among the feature points extracted using the Ray-Sphere Intersection method is the three-dimensional coordinate value. convert to ,
Calculating a coordinate change value between the plurality of second image frames using one reference image frame serving as a reference among a plurality of second image frames and each of the remaining image frames based on the three-dimensional coordinate value of the converted mark, calculating spin information for each second image frame by using the coordinate change value;
generating at least one virtual image frame corresponding to the corresponding image frame based on the one image frame serving as the reference by using the plurality of spin information calculated for each of the remaining image frames,
Transforming the three-dimensional virtual coordinate value of the mark for each generated virtual image frame for each of the remaining image frames into two dimensions to generate a two-dimensional virtual coordinate value of the mark,
Compare and verify whether the two-dimensional virtual coordinate value of the mark matches the two-dimensional coordinate value of the extracted mark,
Final determination of integrated spin information using at least one piece of spin information having the same coordinate value among the spin information calculated for each remaining image frame according to the comparison and verification result,
When the coordinate values in one spin information match as a result of the comparison and verification, the matching single spin information is finally determined as the integrated spin information,
When the coordinate values in the plurality of pieces of spin information match as a result of the comparison and verification, an average of the plurality of matching pieces of spin information is finally determined as the integrated spin information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200044052A KR102451261B1 (en) | 2020-04-10 | 2020-04-10 | Golf simulation appratus and golf simulation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200044052A KR102451261B1 (en) | 2020-04-10 | 2020-04-10 | Golf simulation appratus and golf simulation method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210126353A KR20210126353A (en) | 2021-10-20 |
KR102451261B1 true KR102451261B1 (en) | 2022-10-07 |
Family
ID=78268234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200044052A KR102451261B1 (en) | 2020-04-10 | 2020-04-10 | Golf simulation appratus and golf simulation method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102451261B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102574229B1 (en) * | 2023-01-11 | 2023-09-01 | 배현직 | Device and method for analysing golf swing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004184236A (en) | 2002-12-03 | 2004-07-02 | Sumitomo Rubber Ind Ltd | Measuring method for rotational characteristics and flight characteristics of spherical body |
KR101394271B1 (en) | 2013-01-08 | 2014-05-13 | (주) 골프존 | Device for sensing moving ball and method for the same |
US20180329485A1 (en) | 2017-05-09 | 2018-11-15 | Lytro, Inc. | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2810320B2 (en) * | 1994-04-18 | 1998-10-15 | 住友ゴム工業株式会社 | Sphere rotation measuring device and measuring method |
KR101462079B1 (en) * | 2013-04-10 | 2014-11-17 | 클라트 주식회사 | Device for simulating a golf-ball |
KR101723432B1 (en) * | 2015-06-12 | 2017-04-18 | 주식회사 골프존 | Device for sensing moving ball and method for the same |
-
2020
- 2020-04-10 KR KR1020200044052A patent/KR102451261B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004184236A (en) | 2002-12-03 | 2004-07-02 | Sumitomo Rubber Ind Ltd | Measuring method for rotational characteristics and flight characteristics of spherical body |
KR101394271B1 (en) | 2013-01-08 | 2014-05-13 | (주) 골프존 | Device for sensing moving ball and method for the same |
US20180329485A1 (en) | 2017-05-09 | 2018-11-15 | Lytro, Inc. | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
Also Published As
Publication number | Publication date |
---|---|
KR20210126353A (en) | 2021-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2830499C (en) | Virtual golf simulation apparatus and sensing device and method used for the same | |
KR101412505B1 (en) | Golf simulator, and golf simulation method | |
US9605960B2 (en) | System and method for photographing moving subject by means of camera, and acquiring actual movement trajectory of subject based on photographed image | |
US8690698B2 (en) | Golf swing classification method, system, device, and program | |
US11439886B2 (en) | System and method for determining impact characteristics of sports ball striking element | |
CN105288982B (en) | The motion state measure device of golf | |
US12002222B2 (en) | Device for calculating flight information of ball, method of calculating flight information of ball, and computing-device-readable recording medium having the method recorded therein | |
CA2830497C (en) | Virtual golf simulation apparatus and sensing device and method used for the same | |
KR101562319B1 (en) | System and Method for analyzing putting motion using Depth Information | |
KR102451261B1 (en) | Golf simulation appratus and golf simulation method | |
JP2019217078A (en) | Evaluation method | |
KR101462079B1 (en) | Device for simulating a golf-ball | |
GB2570847A (en) | Sensing device for calculating information on user's golf shot and sensing method using same | |
KR101078954B1 (en) | Apparatus for virtual golf simulation, and sensing device and method used to the same | |
KR101705840B1 (en) | System and Method for simulating Golf using Depth Information | |
TWI850714B (en) | Method for analyzing image for sensing moving ball and sensing device using the same | |
US20230347209A1 (en) | Device for sensing golf swing and method for sensing impact position on club head using the same | |
KR20220136560A (en) | Golf Simulation Method and System Using the Rotational Information of Balls Measured by Two Cameras | |
JP2024525894A (en) | Image analysis method for sensing a moving ball and sensing device using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |