WO2012128575A9 - 가상 골프 시뮬레이션 장치에 이용되는 센싱 장치 및 센싱방법 - Google Patents

가상 골프 시뮬레이션 장치에 이용되는 센싱 장치 및 센싱방법 Download PDF

Info

Publication number
WO2012128575A9
WO2012128575A9 PCT/KR2012/002086 KR2012002086W WO2012128575A9 WO 2012128575 A9 WO2012128575 A9 WO 2012128575A9 KR 2012002086 W KR2012002086 W KR 2012002086W WO 2012128575 A9 WO2012128575 A9 WO 2012128575A9
Authority
WO
WIPO (PCT)
Prior art keywords
image
ball
extracting
trajectory
interest
Prior art date
Application number
PCT/KR2012/002086
Other languages
English (en)
French (fr)
Other versions
WO2012128575A2 (ko
WO2012128575A3 (ko
Inventor
박현진
윤형식
정현담
장형욱
Original Assignee
(주)골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)골프존 filed Critical (주)골프존
Priority to CN201280014020.3A priority Critical patent/CN103458977B/zh
Priority to JP2014501009A priority patent/JP5960240B2/ja
Priority to AU2012231932A priority patent/AU2012231932B2/en
Priority to US14/004,938 priority patent/US9514379B2/en
Priority to CA2830488A priority patent/CA2830488C/en
Publication of WO2012128575A2 publication Critical patent/WO2012128575A2/ko
Publication of WO2012128575A3 publication Critical patent/WO2012128575A3/ko
Publication of WO2012128575A9 publication Critical patent/WO2012128575A9/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031—Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034—Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/17—Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Definitions

  • Sensing device and sensing method used in virtual golf simulation device Name of invention: Sensing device and sensing method used in virtual golf simulation device
  • the present invention relates to a sensing apparatus and a sensing method used in a virtual golf simulation apparatus. More specifically, a virtual golf course is visualized and simulated, and a trajectory of a golf ball hit by a user is sensed by the sensing apparatus.
  • the present invention relates to a sensing apparatus and a sensing method used in a virtual golf simulation apparatus simulated in the virtual golf course.
  • sensing device of the camera sensor type that acquires and analyzes the image of the moving ball have been actively conducted.
  • Days that require high-speed cameras have limitations because they significantly increase the cost of the sensing device, and if you use a camera with a moderately low resolution and a moderately low speed, the quality of the acquired image will be low. There is a problem that it is very difficult to derive the physical characteristics of the ball, and in particular, it is very difficult to measure the spin of the ball.
  • the present invention analyzes the acquired image in spite of using a low cost camera with comparatively low resolution and speed, and can accurately and physically extract information on physical characteristics such as the speed, direction and height of the moving ball.
  • the golf club's motion trajectory can be calculated relatively accurately, and the spin of the ball can be estimated relatively accurately and reflected on the golf simulation. Therefore, it is possible to construct a virtual golf simulation device with high accuracy and reliability at low cost. It is intended to provide a sensing device and a sensing method for a virtual golf simulation device that can further enhance the reality of the device.
  • the sensing device includes: a camera unit that acquires an image of a plurality of frames for hitting a ball by a user's swing; and a ball image processing unit that extracts a ball from an image for each frame and acquires three-dimensional coordinates thereof;
  • Club image extracts the moving object of interest from the frame-by-frame image to calculate the movement trajectory of the golf club head from the object of interest, and includes a sensing unit that calculates the physical characteristic information of the ball that is exercising.
  • the sensing device used in the virtual golf simulation apparatus the camera unit for acquiring the image of a plurality of frames for hitting the ball by the user's swing; and each frame
  • the ball image processing unit extracts the three-dimensional coordinates of each ball on the ball trajectory through two-dimensional analysis on the image, and the fitting ' line for the moving object through the two-dimensional analysis on the acquired image for each frame.
  • a sensing processing unit for extracting physical characteristic information of a ball to be exercised including a club image processing unit for extracting and extracting the motion trajectory of the golf club head from three-dimensional matching with respect to the fitting line.
  • the sensing device used includes: a camera unit that acquires an image of a plurality of frames for hitting a blow by a user's swing; and extracting and collecting a difference of interest between the images of each frame and extracting a moving object of interest.
  • the sensing device used is multiple for each hitting the ball by the user's swing.
  • a camera unit including a plurality of cameras for acquiring an image of a frame; and extracting a fitting line for a target of interest moving through a two-dimensional analysis on the images acquired by the respective cameras, and extracting a fitting line for each of the two-dimensional analyzed fitting lines.
  • the trajectory of the ball of the moving part is estimated by calculating the trajectory of the specific part on the center of gravity line as the trajectory of the golf club's head.
  • the sensing method for the virtual golf simulation according to an embodiment of the present invention, the segment 1 to continuously acquire the image for the constant shooting range to be hit; Detecting whether the user hits the ball by analyzing the acquired image; extracting and analyzing the ball from an image of a plurality of frames after the impact point at which the ball is hit to calculate physical characteristic information of the ball moving; Processing step; Club processing step of estimating the spin of the ball to be exercised by calculating the motion trajectory of the golf club head from the image of a plurality of frames before and after the impact point hit the ball.
  • the sensing method includes: acquiring an image of a plurality of frames for hitting a ball by a swing of a user; extracting a moving object of interest from the acquired image; fitting a straight line to the extracted object of interest; Calculating a trajectory of a specific portion on the fitted line; and recognizing the calculated trajectory as a motion trajectory of a golf club head and estimating a spin of a ball moving therefrom.
  • the sensing method is able to use the low cost camera with the comparatively low resolution and speed, and analyze the acquired image to accurately and accurately extract the physical characteristic information such as the speed, direction and height of the moving ball, especially the acquired image.
  • the spin of the ball can be estimated relatively accurately and reflected on the golf simulation, so that the virtual golf simulator can be constructed with high accuracy and reliability at a low cost. There is an effect that can be improved further.
  • FIG. 1 is a diagram illustrating an example of a screen golf system to which a virtual golf simulation device using a sensing device according to an embodiment of the present invention is applied.
  • FIG. 2 is a block diagram showing a configuration of a virtual golf simulation apparatus using a sensing apparatus according to an embodiment of the present invention.
  • FIG. 3 shows a more specific configuration and the components of the sensing device shown in FIG. This is a schematic representation of the function.
  • FIG. 4A is an image obtained from a camera unit
  • FIG. 4B is a separation of a detection area from the image shown in (A)
  • FIG. 4C is a separate detection method. An image showing the detection of a ball strike through an area.
  • FIG. 5 is an image showing that a ball candidate is extracted for each frame by a ball image processing unit of a sensing apparatus according to an embodiment of the present invention.
  • FIG. 6 is a view showing a ball trajectory candidate on a two-dimensional plane by combining ball candidates on each frame.
  • FIG. 7 illustrates a plurality of frames collected by the club image processing unit of the sensing apparatus according to an embodiment of the present invention, and a background image for image and difference calculation.
  • FIG. 8 illustrates a difference-calculated image of each frame image and a background image shown in FIG. 7.
  • FIG. 9 is a diagram for explaining a method for pixel correction, in which (a) shows an image, and (b) and (c) show separate portions corresponding to 3 ⁇ 3 circles in the image, respectively.
  • FIG. 10 illustrates a pixel corrected image for the image of each frame shown in FIG. 8 according to the principle shown in FIG. 9.
  • FIG. 11 shows the object of interest for the image of each frame shown in FIG.
  • FIG. 12 illustrates a result of fitting a straight line for each object of interest illustrated in FIG. 11 in one image.
  • FIG. 13 is a view for explaining a three-dimensional matching principle for each fitting line shown in FIG.
  • FIG. 14 is a diagram showing the estimation of the spin of the ball through the motion trajectory of the golf club head calculated according to the principle shown in FIG.
  • FIG. 15 is a flowchart illustrating a sensing method for virtual golf simulation according to an embodiment of the present invention
  • FIG. 16 is a flowchart illustrating the club processing step of FIG. 15 in more detail.
  • FIG. 1 illustrates a virtual golf simulation apparatus according to an embodiment of the present invention.
  • Fig. 2 shows an example of a screen golf system
  • Fig. 2 shows a configuration of a virtual golf simulation apparatus applied to the screen golf system shown in Fig. 1.
  • a virtual golf simulation apparatus is for sensing a user hitting a ball (B).
  • the screen golf system to which the virtual golf simulation apparatus according to one embodiment of the present invention is applied allows a user to swing a golf swing on the bottom of a golf booth 2 that provides a predetermined size.
  • a batter 110 is prepared, and a hitting mat 120 is prepared at one side of the batter 110 so that the user can hit the ball B placed on the batting mat 120 at the batter 110 by a golf swing.
  • a device for outputting an image which receives image information from the simulator 1 (for example, an image output unit 30 shown in FIG. It can be configured to project images about virtual golf simulations.
  • the batting 110 and the hitting mat 120 may be provided on the bottom surface of the golf booth 2, but may be provided on the swing plate 100 as shown in FIG. .
  • the swing plate 100 is provided so as to be able to tilt a certain angle protractor in the front, rear, left and right directions, and connected to the simulator 1 so that the swing plate 100 can be formed in the terrain of the virtual golf course currently implemented.
  • the strike mat 120 may be made of artificial turf, as shown in FIG.
  • the fairway zone ( 121, the rough zone 122 and the bottle jar zone 123 can be made close to the actual ones by varying the length of the artificial turf, or by configuring the dependent zones 121, 122, and 123 to be made of different materials.
  • Strike Mat (120) replaces Fairway Zone (121), Rough Zone (122), and Bunker Zone (123), respectively.
  • the reference numeral 124 denotes a tee.
  • a sensing device S is provided in the golf booth 2 to sense that the user strikes the ball B. As shown in FIG. 1, a sensing device S is provided in the golf booth 2 to sense that the user strikes the ball B. As shown in FIG. 1, a sensing device S is provided in the golf booth 2 to sense that the user strikes the ball B. As shown in FIG.
  • the sensing device S includes a camera unit 50 composed of a plurality of cameras 51 and 52, and a ball moving by processing an image acquired by the camera unit 50. And a sensing processing unit 60 for extracting the physical properties of the device.
  • the camera unit 50 may be configured by a camera for one image sensing or by two or more cameras.
  • the camera unit 50 obtains an image of a moving ball B and extracts coordinates of the ball in three-dimensional space.
  • the physical characteristics of the ball moving here may include the speed of the ball, the direction of movement of the ball (horizontal angle of movement), the height of the ball (angle of vertical movement), and the spin on the ball. have.
  • the sensing processing unit 60 captures an image acquired through the camera unit 50.
  • a grabber 65 obtained and collected sequentially in frame units
  • the hit detection unit 70 By receiving and processing the image transmitted from the grabber 65, the hit detection unit 70 for detecting whether the hit is ready and whether or not the hit was made by the user, and hit detection by the hit detection unit 70
  • the ball image processing unit 80 receives the image related to the hit from the hit detection unit 70 and extracts the physical characteristic information of the moving ball by performing a predetermined image processing, and the
  • Club image extracting information about the spin of the ball by analyzing the golf club's motion trajectory from the image received from the hit detection unit 70
  • the sensing processing unit 60 may be provided from a plurality of cameras 51 and 52, respectively.
  • Converting means (73) provided for converting information (information extracted from one camera is two-dimensional information) into three-dimensional information, or inversely converting extracted three-dimensional information into two-dimensional information by matching a plurality of camera images together; It is desirable to include.
  • the simulator 1 includes a control unit M, a database 10, an image processing unit 20, and
  • the video output unit 30 is configured to include the column.
  • the database 10 stores all the data necessary for virtual golf simulation.
  • Data about the implementation, data about the implementation of the simulated image of the ball trajectory, etc. are stored.
  • the image processing unit 20 may perform an image or virtual image related to a virtual golf course.
  • Predetermined image processing is performed to implement a simulated image of the trajectory of the ball unfolding on the golf course.
  • the image output unit 30 receives the image information received from the image processing unit 20.
  • the control unit M receives the information according to the sensing result from the sensing device S and controls all components of the database 10, the image processing unit 20, and the image output unit 30.
  • the control unit M, the database 10, the image processing unit 20, etc. implement image simulation means for implementing a simulation image of the ball trajectory according to the sensing result of the sensing device S.
  • the information transmission flow in the sensing device according to the present invention is controlled by the camera unit 50-> grabber 65-> hit detection unit 70-> ball image processing unit 80 and Club image processing section 90-> simulator 1 is performed.
  • the camera unit 50 acquires hundreds of frames per second while photographing a certain range including a portion at which the batting plate and the hit mat are prepared.
  • the acquired image is transmitted to the grabber 65, and the grabber 65 is a camera.
  • the image is transmitted from the unit 50 to the hit detection unit 70 while being stored, so that image processing is performed.
  • the hit detection unit 70 detects whether the hit preparation is completed by finding a ball in the image received from the grabber 65 and determining whether the preset condition is satisfied. It detects whether a hit was made by the user by judging whether or not it moved from the completed position.
  • FIG. 4A to 4C show a process of detecting whether the user has hit the ball by the hit detection unit 70.
  • FIG. 4A to 4C show a process of detecting whether the user has hit the ball by the hit detection unit 70.
  • FIG. 4 (a) shows one of the source images of various frames transmitted from the grabber 65 to the hit detection unit 70.
  • the hit detection unit 80 finds the ball therefrom after setting and separating the hit area 220 from the source image 200. At this time, as shown in (a) of FIG. Some or all of the area can be set as the strike area 220.
  • the area corresponding to the fairway zone 121 is set as the hit area 220. If the ball is placed in the rough zone 122, the area corresponding to the rough zone 122 can be set as the hit area. If the ball is placed in the bunker zone 123, the area corresponding to the bunker zone 123 can be set as the strike area.
  • Finding balls is much faster and more accurate than finding balls throughout an image.
  • the process of locating a ball in a separate strike area 220 may be performed by various methods. For example, a ball template preset and stored as a reference image of a ball and a specific object existing in the strike area 220 may be used. By analyzing similarities If it is more than a certain level, you can judge the specific object as a ball.
  • a sensing area R of a predetermined size is set around the ball in the image of the hitting area 220, and the sensing area R has only one ball. It is preferable to set the size as small as possible, and it can be easily detected by checking whether the ball is present or not in the detection area R as described above.
  • the hit can be detected by detecting that the bubble does not exist in the sensing area R in the state as shown in (c) of 4 even in the state as shown in (b) of FIG. 4.
  • the image of the plurality of frames before the impact point is stored on the basis of the trigger frame and transmitted to the club image processing unit 90 so that necessary image processing can be performed.
  • the image transmitted to the club image processing unit 90 is performed. May also contain an image of the frame at impact, that is, the trigger frame.
  • the hit detection unit 70 stores images of a plurality of frames after the impact point (which may also include a trigger frame) based on the trigger frame and transmits the images to the ball image processing unit 80 in real time to process necessary images.
  • the image processed by the ball image processing unit 80 is transferred to the club image processing unit 90 for processing.
  • the club image processing unit 90 is configured to perform the image and impact point of the multiple frames before the impact point. All images of multiple frames are received and processed.
  • the ball image processing unit 80 is received from the hit detection unit 70
  • three-dimensional coordinate information of the ball is extracted and the physical characteristic information including the speed, direction, and height angle of the ball moving is calculated.
  • the club image processing unit 90 extracts information on the motion trajectory of the head of the golf club and calculates and calculates the spin of the ball using the same.
  • the physical characteristic information is passed to the simulator 1 and the simulator 1 outputs a simulation image of the ball moving in the virtual golf course based on which the virtual golf simulation is performed.
  • the ball image processing unit 80 basically extracts the ball candidates from the image for each frame obtained from the camera unit 50, converts the three-dimensional coordinates of each ball candidate into two-dimensional coordinates, and analyzes the two-dimensional trajectories. Extract the final trajectory of the ball to calculate the physical characteristics of the ball To perform.
  • the ball image processing unit 80 can view ball candidates for each frame of the image acquired through the camera unit 50 (1_1, 1_2, Frame 2 image on Frame 1 image of FIG. 5). 2, 2, 1, 2_2, etc.) and generate a ball trajectory list that connects the respective ball candidates to successive frames, and a second regression analysis for all the generated trajectory lists as shown in FIG. Perform a 2nd Regression Analysis to display a list of all ball trajectories as a 2D trajectory (Curve 1-Curve 3) on a 2D plane, extract the final trajectory of the balls from the 2D trajectories according to a preset condition, and then extract them.
  • the physical characteristic information of a moving ball is calculated by extracting the coordinates of each ball on the ball trajectory (coordinates of ball candidates on the last selected two-dimensional trajectory).
  • the trace connected to the bottom of the 2D trajectory is not the trajectory of the ball (because the ball hits the golf club, the ball does not fly through the ground).
  • the trajectory leading to the bottom of the ground is a phenomenon that occurs because part of the golf club has been selected as a ball candidate), except for the selection of the final ball trajectory.
  • the final trajectory of the balls can be selected by applying general physics that appear when the balls move.
  • the club image processing unit includes a preprocessing means 91 and a first processing unit.
  • It may comprise a processing means 92 and a second processing means 93.
  • the preprocessing means 91 performs various image processing so as to extract and process an image related to the golf club from the image received from the hit detection unit 70 or the ball image processing unit 80.
  • the image processing by the preprocessing means 91 will be described later with reference to FIGS. 7 to 10.
  • the first processing means 92 determines a portion of the difference between the images of each frame. Extracting and extracting a moving object of interest and extracting a fitting line from the extracted object of interest, and the second processing means 93 calculates a trajectory of a specific portion on the fitting line as a motion trajectory of the golf club head. Estimate the spin of the ball you are exercising.
  • the first processing means 92 extracts a difference between the image of the frame and the image of the other frame for each of the images of all the frames to be processed and collects the portions to correspond to the golf club. And an object extracting means 92a for allowing a portion to be extracted to the object of interest, and a line fitting means 92b for fitting a straight line to the extracted object of interest.
  • the second processing means 93 includes a trajectory calculating means 93a for calculating a movement trajectory by examining the movement of the coordinates of a specific portion on the line fitted by the line fitting means 92b. And a spin estimating means 93b for recognizing the motion trajectory as the motion trajectory of the golf club head and extracting the progress direction of the golf club head from the motion trajectory to estimate the spin of the ball therefrom.
  • FIG. 1 As for image processing by the first processing means 92 and the second processing means 93, FIG.
  • the club image processing unit displays images of multiple frames before and after impact.
  • the number of frames of the image to be processed may vary depending on the setting. In FIG. 7 and below, five frames before and after the impact, that is, five images. An example is the image processing using. However, the present invention is not limited to this, but more or fewer images can be processed.
  • the image of Frame 1 to Frame 5 shown in FIG. 7 is an image obtained by a camera of the camera unit witness when the user hits the ball and represents five images before and after the impact point.
  • the image of Frame I to Frame 5 shown in FIG. 7 is a source image (301 to 305) obtained from a camera.
  • the image includes a user's body, a golf club, a mat, and the like. All of these are included.
  • the primary purpose of the club image processing unit is to extract only the golf club portion from the source image (301 to 305) of each frame.
  • the source of each frame is obtained by constructing the background image BI shown in FIG.
  • the background image BI is preferably an image acquired and prepared at a different time point than the image of each frame to be analyzed.
  • the image of Frame 1 to Frame 5 shown in FIG. 8 is a result of performing a difference operation on the background image BI of each of the source images 301 to 305 of Frame 1 to Frame 5 of FIG. 7. .
  • the difference between the source image (301) of the frame 1 and the background image (BI) can be obtained from the frame 1 image (311) of 8, and in this manner, the image of the frame 1 to frame 5 (311 to 315). ), And the image of Frame 1 to Frame 5 shown in Fig. 8 will be referred to as a difference image.
  • all of the still parts are removed from the image from the frame primary image 311 to the frame fifth image 315.
  • the remaining parts e.g. part of the user's body and golf club, etc., the part of the user's body does not move much, but has been moved so much that it cannot be removed much by the difference operation).
  • the extraction of the difference image as described above is performed in the same way with respect to the image acquired by the other camera of the camera unit.
  • the moving parts can use the method shown in FIG. 9 as an example to increase the brightness.
  • the pixel value (or pixel value of the pixel, if it is already known) of the pixel around the pixel (the pixel value is represented as the brightness value) is assigned to the pixel.
  • peripheral pixel values of 3 ⁇ 3 circles can be collected to correct the brightness of the center pixel.
  • the pixel value of the dark background portion is almost As it is, the brightness of the moving parts can be made larger.
  • the correction images 321 to 325 of Frames 1 to Fraem 5 shown in FIG. 10 are peripheral pixels as much as 3 ⁇ 3 circles as shown in FIG. 9 for each of the difference images 311 to 315 shown in FIG. Each pixel represents an image according to the result of correcting the pixel value of the pixel to the center pixel.
  • noise such as a part of the user's body
  • the portion of interest in the image that is, the object of interest
  • the golf club portion Everything else is noise.
  • the object extraction image 1, 331 to object extraction image 5, 335 shown in FIG. 11 are each an object of interest (OB1) from the correction images 321 to 325 of Frame 1 to Frame 5 shown in FIG. 10, respectively. To OB5).
  • OB1 object of interest
  • the object extraction image 1 331 is generated by extracting the difference between the frame 1 correction image 321 and the correction images 322 to 325 of the remaining frames.
  • Denoted at 332 is the frame 2 correction image 322 and the difference between the frame correction images 321 and 323 to 325, respectively.
  • each of the object extraction images 331 to 335 is an image showing each of the moving parts of the frame image of interest (OB1 to OB2).
  • the extraction of the object of interest is obtained from another camera of the camera unit.
  • the object of interest (OB1 to OB5) extracted by combining portions of the image of the frame different from the images of the other frame is unclear to the golf club. There is not enough to know the movement of the golf club. [109] Therefore, it is necessary to make the golf club's movements more clear by fitting a straight line to each object of interest (OBI to OB5).
  • Each object of interest (OB1 to OB5) should actually appear in the form of a straight line as a golf club, and is fitted in a straight line because it does not appear as a clear straight line in the image processing process.
  • the RANSAC (Random S Ample Concensus) algorithm can be used as an example of a straight line fitting for each object of interest (OB1 to OB5).
  • Figure 12 shows the objects of interest (OB1 to 335) on each object extraction image (331 to 335)
  • the line L1 is the object of interest OB1
  • the line L2 is the object of interest OB2
  • the line L3 is the object of interest OB3
  • the line L4 is the object of interest OB4
  • the line L5 is the object of interest OB5. It is a result.
  • FIG. 13 illustrates the principle of calculating the motion trajectory of the head of the golf club by matching images acquired by the first camera 51 and the second camera 52, respectively.
  • an image acquired by the first camera 51 is referred to as 151, and a fitting line on the image 151 is referred to as L51, and a fitting line (L51) on the image 151 of the first camera 51.
  • the plane on the three-dimensional space corresponding to the above is called DP.
  • the image acquired by the second camera 52 is called 152 and the fitting line on the image 152 is called L52.
  • the straight line in the three-dimensional space corresponding to the ringing line L52 on the image 152 is called DL.
  • a fitting line L51 on the first camera image 151 is provided.
  • each fitting line shown in Fig. 12 finds the portion corresponding to the head of the golf club, that is, the end of the fitting line.
  • the end portion i.e., the golf club head portion
  • coordinate information in the three-dimensional space of the head portion can be extracted, and the motion trajectory of the golf club head can be calculated therefrom.
  • Figure 14 shows schematics to illustrate the principle of estimating the spin of a ball from the golf club head's motion trajectory.
  • the ball (B) center to set a region of interest 400 of a predetermined size and a golf club head eseoui within the set of interest "area 400 (CH), as when in Figure 14 You only need to observe the movement.
  • the size of the region of interest 400 is set to a suitable size in consideration of the above. Do.
  • [127] can export the traveling direction (HD) of the golf club head (CH) in the region of interest 400 from the motion path (TR) of the golf club head (CH). Golf club at impact moment ⁇ head (CH) It is desirable to allow the direction of travel to be extracted.
  • FIG. 14 shows the golf club head's heading direction on the plane for convenience of explanation, and in reality, the golf club head head's heading direction can be extracted in a three-dimensional space, so that both side spins and back spins can be easily used. It can be estimated.
  • the sensing method of the sensing device used for the simulation device will be described.
  • the sensing device continuously operates to collect images for a predetermined shooting range in which the hit is made (S10). This may be achieved by the grabber 65 shown in FIG.
  • the collected images are sent to the hit detection unit (70, see FIG. 3) for analysis. Whether or not to hit the ball is detected (S11).
  • the image analysis result of the hit detection unit is to detect that the user hit the ball.
  • the hit detection unit examines the images of the plurality of frames before the detected point in time and examines the exact point of time when the ball was impacted by the golf club (S20).
  • the hit detection unit is an image of multiple frames before the impact point (impact
  • the image of the viewpoint is also included) (S21).
  • the images of the plurality of frames after the impact point are sequentially collected from the grabber and transmitted to the image processing unit to be viewed in real time (S22).
  • the ball image processing unit receives the image and performs ball processing (S30). If the ball speed, direction, and height angle information are calculated as a result of the ball processing, the ball image processing unit does not wait until the processing result of the club image processing unit is first. Transfer to the simulator (S50).
  • the club image processing unit receives the image processed by the image stored in the step S21 and the ball image processing unit and performs club processing (S40). When the spin information of the club processing result ball is calculated, the club image processing unit transmits the processed image to the simulator. (S50).
  • the simulator first uses the information from the ball processing results to simulate the simulation.
  • the hit detection unit and the ball image processing unit collect images of multiple frames before and after the impact point (S41).
  • the difference image is extracted through the difference operation on the images collected at different time points (S42).
  • a pixel image of a pixel value of one pixel is generated for every pixel in the image (S43). As already explained in, the detailed description is omitted.
  • the difference between the one-frame image and the other frame image is extracted separately, and this is performed for each frame image to be processed. (S44).
  • an object of interest may be extracted from the image of each frame, and thus, a straight line is fitted to the extracted object of interest (S45).
  • Sensing methods can be used in golf games or the so-called screen golf industry, where virtual reality-based golf simulations can be performed to allow users to enjoy virtual golf competitions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 비교적 낮은해상도와 속도를 갖는 저렴한 카메라를 이용함에도 불구하고 그 취득한 이미지를 분석함으로써 운동하는 볼의 속도, 방향 및 높이각 등의 물리적 특성 정보를 비교적 정확하게 추출할 수 있고，특히 그 취득한 이미지를 통해 골프 클럽의 운동 궤적을 비교적 정확하게 산출하여 그로부터 볼의 스핀을 비교적 정확하게 추정하여 골프 시뮬레이션에 반영하도록 함으로써 저렴한 비용으로 높은 정확도와 신뢰성올 갖는 가상 골프시물레이션 장치를 구성할 수 있을 뿐만 아니라 가상 골프의 리얼리티를 더욱 향상시키도록 할 수 있는 가상 골프 시뮬레이션 장치에 이용되는 센싱 장치 및 센싱방법을 제공하기 위한 것이다.

Description

명세서
발명의명칭:가상골프시뮬레이션장치에이용되는센싱장치및 센싱방법
기술분야 .
[1] 본발명은가상골프시뮬레이션장치에 이용되는센싱장치 및센싱방법에 관한것으로더욱상세하게는,가상의 골프코스가영상화되어시물레이션되고 사용자가타격한골프공의 궤적이센싱장치에 의해센싱되어상기가상의 골프코스에서 시뮬레이션되는가상골프시뮬레이션장치에 이용되는 센싱장치및센싱방법에관한것이다.
배경기술
[2] 최근야구，축구，농구,그리고골프등과같은인기스포츠경기를실내나특정 장소에서 시물레이션을통해인터액티브스포츠게임 (Interactive Sports Game)의 형태로즐길수있도록하는여러가지다양한장치들에 대한개발이 활발하게 이루어지고있다.
[3] 특히최근에는이른바스크린골프시스템이 등장하여사용자가골프클럽을 들고골프스청을함에따라타격 매트에놓인볼을타격하면센싱장치가이를 센싱하여 이동하는골프공의물리적특성을추출하고이를바탕으로가상의 골프코스에서볼의 궤적이시뮬레이션되도록함으로써사용자가가상 현실상에서골프를즐길수있도록하는기술이 개발되 '고있다.
[4] 이와같은인터액티브스포츠게임에서 골프공등의볼을이용하는스포츠에 대한시물레이션이 이루어지도록하기위해운동하는볼의움직임에 대한 물리적 정보를정확하게 센싱하기위한각종센싱시스템에 대한연구개발이 매우활발하게진행되고있는실정이다.
[5] 예컨대적외선센서를이용한센싱장치,레이저 센서를이용한센싱장치，음향 센서를이용한센싱장치，그리고카메라센서를이용한센싱장치등다양한센싱 ： 방식이등장하고있으며,운동하는볼의상태를정확하게센싱하기위하여 운동하는볼에 대한이미지를취득하여분석하는카메라센서방식의 센싱장치에 대한연구가활발하게이루어지고있다.
[6] 그러나카메라센서방식의 경우정확한센성을위해서는높은해상도의
초고속카메라가필요한데이는센싱장치의 비용을상당히상승시키기 때문에 한계가있고,적당히낮은해상도와적당히낮은속도의 카메라를사용할경우 취득되는이미지의품질이낮기 때문에그로부터볼이나골프클럽을정확하게 추출,분석하여운동하는볼의물리적특성을도출하는것이 매우어렵다는 문제점이 있으며,특히볼의스핀을측정하는것이 매우어렵다는문제점이 있다.
발명의상세한설명 기술적과제
[7] 본발명은비교적낮은해상도와속도를갖는저렴한카메라를이용함에도 불구하고그취득한이미지를분석함으로써운동하는볼의속도,방향및높이각 등의물리적특성 정보를비교적 정확하게추출할수있고,특히그취득한 이미지를통해골프클럽의운동궤적을비교적정확하게산출하여그로부터 볼의스핀을비교적정확하게추정하여골프시뮬레이션에반영하도록 함으로써 저렴한비용으로높은정확도와신뢰성을갖는가상골프시물레이션 장치를구성할수있을뿐만아니라가상골프의리얼리티를더욱향상시키도록 할수있는가상골프시뮬레이션장치에이용되는센싱장치 및센싱방법을 제공하기위한것이다.
과제해결수단
[8] 본발명와일실시예에따른가상골프시물레이션장치에 이용되는
센싱장치는,사용자의스윙에의해볼올타격하는것에 대해복수프레임의 이미지를취득하는카메라유닛;및각프레임별이미지에서볼을추출하여그 3차원좌표를획득하는볼이미지 처리부와，상기:취득한각프레임별 이미지에서움직이는관심대상을추출하여상기관심 대상으로부터골프 클럽의헤드에 대한운동궤적을산출하는클럽이미지:처리부를포함하여 운동하는볼에 대한물리적특성정보를산출하는센싱처라유닛을포함한다.
[9] 한편，본발명의다른일실시예에따른가상골프시물레이션장치에 이용되는 센싱장치는，사용자의스윙에의해볼을타격하는것에 대해복수프레임의 이미'지를취득하는카메라유닛;및각프레임별이미지에서 2차원분석을통해 볼의 궤적을추출하여상기볼궤적상의각볼의 3차원좌표를추출하는볼 이미지처리부와，상기취득한각프레임별이미지에서 2차원분석을통해 움직이는대상에대한피팅'라인을추출하고상기피팅 라인에대한 3차원 매칭으로부터.골프클럽헤드의운동궤적을추출하는클럽 이미지처리부를 포함하여운동하는볼의물리적특성 정보를산출하는센싱처리유닛을 포함한다.
[10] 한편，본발명의또다른일실시예에따른가상골프시물레이션장치에
이용되는센싱장치는,사용자의스윙에의해블을타격하는것에 대해복수 프레임의 이미지를취득하는카메라유닛;및각프레임의 이미지사이에차이 나는부분을추출하여취합함으로써움직이는관심대상을추출하며상기 추출된관심대상으로부터피팅라인을추출하는제 1처리수단과,상기 피팅 라인상의특정부분의 궤적을골프클럽의헤드에 대한운동궤적으로서 산출하는제 2처리수단을포함하여운동하는볼의스핀을추정하는
센싱처리유닛을포함한다.
[11] 한편,본발명의또다른일실시예에따른가상골프시뮬레이션장치에
이용되는센싱장치는，사용자의스윙에의해볼을타격하는것에 대해각각복수 프레임의 이미지를취득하는복수개의카메라를포함하는카메라유닛;및상기 각카메라에서취득한이미지에 대해각각 2차원분석을통해움직이는관심 대상에 대한피팅라인을추출하고상기 2차원분석된각각의피팅라인에 대한 3차원매칭을통해상기관심라인상의특정부분의 궤적을골프클럽의헤드에 대한운동궤적으로서산출함으로써운동하는볼의스핀을추정하는
센싱처리유닛을포함한다.
[12] 한편,본발명의일실시예에따른가상골프시뮬레이션을위한센싱방법은, 타격이 이루어지는일정촬영범위에대한이미지를연속적으로취득하는단겨 1; 상기취득된이미지를분석함으로써사용자가볼을타격하는지여부를 감지하는단계;볼이타격되는임팩트시점 이후의복수프레임의 이미지로부터 볼을추출하여분석함으로써운동하는볼에대한물라적특성 정보를산출하는 볼처리단계;볼이타격되는임팩트시점이전및이후의복수프레임의 이미지로부터골프클럽헤드의운동궤적을산출하여분석함으로써운동하는 볼의스핀을추정하는클럽처리단계를포함한다.
[13] 한편，본발명와다른일실시예에따른가상골프시뮬레이션을위한
센싱방법은，사용자의스윙에의해볼을타격하는것에 대해복수프레임의 이미지를취득하는단계;상기취득한이미지에서움직이는관심 대상을 추출하는단계;상기추출된관심 대상에 대해직선라인을피팅하는단계;상기 피팅된라인상의특정부분의궤적을산출하는단계;및상기 산출된궤적을 골프클럽헤드의운동궤적으로인식하고그로부터운동하는볼의스핀을 추정하는단계를포함한다.
발명의효과
[14] 본발명에따른가상골프시뮬레이션장치에이용되는센싱장치 및
센싱방법은비교적낮은해상도와속도를갖는저렴한카메라를이용함에도 블구하고그취득한이미지를분석함으로써운동하는볼의속도，방향및높이각 등의물리적특성 정보를비교적정확하게추출할수있고，특히그취득한 이미지를통해골프클럽의운동궤적을비교적 정확하게산출하여그로부터 볼의스핀을비교적 정확하게추정하여골프시뮬레이션에반영하도록 함으로써저렴한비용으로높은정확도와신뢰성을갖는가상골프시뮬레이션 장치를구성할수있을뿐만아니라가상골프의 리얼리티를더욱향상시키도록 할수있는효과가있다.
도면의간단한설명
[15] 도 1은본발명의 일실시예에따른센싱장치를이용하는가상골프시물레이션 장치가적용된스크린골프시스템의 일예를나타낸도면이다.
[16] 도 2는본발명의 일실시예에따른센싱장치를이용하는가상골프시뮬레이션 장치의구성에관하여나타낸블록도이다.
[17] 도 3은도 2에도시된센싱장치에 대한좀더구체적인구성 및각구성요소들의 기능에관하여개략적으로나타낸도면이다.
[18] 도 4의 (a)는카메라유닛에서취득된이미지이고,도 4의 (b)는 (a)에도시된 이미지에서감지 영역을분리한것이며，도 4의 (c)는분리된감지 영역을통해 볼의타격을감지하는것을나타낸이미지이다.
[19] 도 5는본발명의 일실시예에따른센싱장치의볼이미지처리부에의해각 프레임별로볼후보가추출된것을나타낸이미지이다.
[20] 도 6은각프레임상의볼후보를서로조합하여 2차원평면상에볼궤적후보를 나타낸도면이다.
[21] 도 7은본발명의 일실시예에따른센싱장치의클럽이미지처리부에의해 수집된복수프레임와이미지와차연산을위한배경이미자를나타낸것이다.
[22] 도 8은도 7에도시된각프레임이미지와배경이미지의차연산된이미지를 나타낸것이다.
[23] 도 9는픽샐보정을위한방법을설명하기위한도면으로서， (a)는이미지를, (b) 및 (c)는각각이미지에서 3X3원도우에해당하는부분을분리하여나타낸 것이다.
[24] 도 10은도 9에도시된원리에따라도 8에도시된각프레임의이미지에대해 픽셀보정한이미지를나타낸것이다.
[25] 도 11은도 10애:도시된각프레임별이미지에 대해관심 대상을추출한
이미.지에관하여나타낸것이다.
[26] 도 12는도 11에도시된각각의관심대상에 대해직선라인을피팅한결과를 하나의 이미지에나타낸것이다.
[27] 도 13은도 12에도시된각각의피팅라인에 대한 3차원매칭원리를설명하기 위한도면이다ᅳ
[28] 도 14는도 13에도시된원리에따라산출된골프클럽헤드의운동궤적올통해 볼의스핀을추정하는것에관하여나타낸도면이다.
[29] 도 15는본발명의 일실시예에따른가상골프시물레이션을위한센싱방법을 나타낸플로우차트이고，도 16은도 15의클럽 처리단계에관하여좀더 구체적으로나타낸플로우차트이다.
발명의실시를위한최선의형태
[30] 본발명에따른가상골프시뮬레이션장치와,이에 이용되는센싱장치및
센싱방법에 대한실시예를도면을참조하여좀더구체적으로설명한다.
[31] 먼저도 1및도 2를참조하여본발명의 일실시예에따른가상골프
시뮬레이션장치 및이에 이용되는센싱장치에관하여 설명한다.
[32] 도 1은본발명의 일실시예에따른가상골프시물레이션장치가적용된
스크린골프시스템의 일예를나타낸도면이고,도 2는도 1에도시된스크린 골프시스템에적용된가상골프시뮬레이션장치의구성을나타내는
블록도이다. [33] 도 1및도 2에도시된바와같이본발명의 일실시예에따른가상골프 시뮬레이션장치는사용자가볼 (B)을타격하는것을센싱하기위한
센싱장치 (S)와，가상의골프코스에관한영상을구현하며상기 센싱장치 (S)의 센싱 결과에따라가상의골프코스에서볼의 궤적에 대한시물레이션영상을 제공하도록하여 가상골프시뮬레이션을진행하는시물레이터 (1)를포함하도록 구성된다.
[34] 도 1에도시된바와같이본발명의 일실시예에따른가상골프시물레이션 장치가적용된스크린골프시스템은，소정크기의공간을제공하는골프 부스 (2)의바닥에사용자가골프스윙을할수있는타석 (110)이마련되고,상기 타석 (110)의 일측에는타격매트 (120)가마련되어사용자는타석 (110)에서 타격매트 (120)에놓인볼 (B)을골프스윙에의해타격할수있도록하며, 전방에는스크린 (3)이마련되어시뮬레이터 (1)로부터영상정보를전달받은 영상출력을위한장치 (도 2에도시된영상출력부 (30)로서,예컨대범프로젝트 등)가상기스크린 (3)상에가상골프시뮬레이션에관한영상을투영시키도록 구성될수있다.
[35] 여기서상기타석 (110)및타격매트 (120)는골프부스 (2)의바닥면에마련될 수도있으나，도 1에도시된바와같이스윙플레이트 (100)상에마련되도록하는 것도가능하다.
[36] 상기스윙플레이트 (100)는전후좌우방향으로소정각도기을어질수있도록 구비되며시물레이터 (1)와연결되어 현재구현되고있는가상의골프코스의 지형에 대웅하여기을기를형성할수있다.
[37] 상기타격매트 (120)는인조잔디로이루어질수있으며，도 1에도시된바와
같이실제골프장의페어웨 '이,러프및벙커에 각각대웅되도록페어웨이존 (121)， 러프존 (122)및벙커존 (123)이각각서로구분되도록구비될수있다.이때 바람직하게는상기페어웨이존 (121),러프존 (122)및병커존 (123)각각을 인조잔디의길이를다르게하거나각각의존 (121， 122, 123)이서로다른재질로 이루어질수있도록구성함으로써실제와가깝도록할수있다.도 1에서는 타격매트 (120)가페어웨이존 (121),러프존 (122)및벙커존 (123)을각각
구비하도록구성되는경우를나타내고있으나이에 한정되지않고
페어웨이존 (121)만구비되거나，페어웨이존 (121)과함께러프존 (122)및 벙커존 (123)중어느하나가구비되도록구성할수도있다.도면번호 124는 티 (Tee)를나타낸다.
[38] 한편，도 1에도시된바와같이골프부스 (2)내에는센싱장치 (S)가구비되어 사용자가볼 (B)을타격하는것을센싱한다.
[39] 즉도 2에도시된바와같이 센싱장치 (S)는복수개의카메라 (51, 52)로구성되는 카메라유닛 (50)과,상기카메라유닛 (50)에서취득한이미지를처리함으로써 이동하는볼의물리적특성을추출하는센싱처리유닛 (60)을포함하여구성될수 있다. [40] 상기카메라유닛 (50)은하나의 이미지센싱을위한카메라에의해구성될수도 있고 2이상의카메라에의해구성될수도있는데,이동하는볼 (B)의 이미지를 취득하여 3차원공간에서의볼의좌표를추출하기위해서는,도 1에도시된바와 같이 2이상의카메라 (51, 52)가서로연동되어구동됨으로써스테레오 (Stereo) 방식의카메라유닛을구성하도록함이바람직하다.
[41] 여기서 이동하는볼의물리적특성은볼의속도，볼의 이동방향 (수평 방향의 이동각도)，볼의높이각 (수직방향의 이동각도)，볼에 걸리는스핀 (Spin)등을 포함할수있다.
[42] 상기 센싱처리유닛 (60)은상기카메라유닛 (50)을통해취득된이미지를
프레임단위로순차적으로입수하여수집하는그래버 (65)와,상기
그래버 (65)로부터 전송되는이미지를전달받아처리함으로써타격준비 완료 여부및사용자에의한타격이이루어졌는자여부를감지하는타격감지부 (70)와， 상기타격감지부 (70)에의해타격이감지되는경우상기타격감지부 (70)로부터 타격에관련된이미지를전달받아소정의 이미지처리를함으로써 이동하는 볼의물리적특성 정보를추출하는볼이미지처리부 (80)，그리고상기
타격감지부 (70)로부터전달받은이미지로부터골프클럽의운동궤적을 분석함으로써볼의스핀 (Spin)에관한정보를추출하는클럽이미지
처리부 (90)를포함하여 구성될수있다.
[43] 또한상기 센싱처리유닛 (60)은복수개의카메라 (51， 52)각각으로부터
취득되는이미지를서로매칭하여 각각의카메라이미지에 대한 2차원
정보 (카메라한대에서추출되는정보는 2차원정보이다)를 3차원정보로 변환하거나,반대로복수개의카메라이머지를서로매칭하여추출한 3차원 정보를 2차원정보로역변환하도록구비되는변환수단 (73)을포함하는것이 바람직하다.
[44] 한편，본발명의일실시예에따른가상골프시물레이션장치를구성하는
시물레이터 (1)는，제어부 (M),데이터베이스 (10)，영상처리부 (20)및
영상출력부 (30)둥을포함하여구성됨이바람직하다.
[45] 상기 데이터베이스 (10)는가상골프시뮬레이션에 필요한모든데이터가
' 저장된다.예컨대시스템구동에필요한데이터와,가상의골프코스의영상
구현에관한데이터，볼의 궤적에 대한시뮬레이션영상구현에관한데이터 등이저장된다.
[46] 상기 영상처리부 (20)는가상의 골프코스에관한영상이나가상의
골프코스에서펼쳐지는볼의 궤적에 대한시뮬레이션영상등을구현하기위한 소정의 영상처리가이루어지는부분이다.
[47] 상기영상출력부 (30)는상기 영상처리부 (20)로부터 전달받은영상정보를
스크린상에출력하여사용자가볼수있도록하기위한것이다.
[48] 상기제어부 (M)는센싱장치 (S)로부터 센싱 결과에따른정보를전달받아상기 데이터베이스 (10)，영상처리부 (20)및영상출력부 (30)등의모든구성요소들의 동작을제어할수있도록구비된다.즉상기 제어부 (M),데이터베이스 (10)， 영상처리부 (20)등은센싱장치 (S)의 센싱결과에따라볼의 궤적에 대한 시뮬레이션영상을구현하는영상구현수단으로서기능한다.
[49] 한편,도 3을참조하여도 2에도시된센싱장치 (S)에관한좀더구체적인
구성과각구성요소의 기능에관하여설명한다.
[50] 도 3에도시된바와같이본발명에따른센싱장치에서의 정보전달흐름은 카메라유닛 (50) ->그래버 (65) ->타격감지부 (70) ->볼이미지처리부 (80)및 클럽 이미지처리부 (90) ->시뮬레이터 (1)의순서로이루어진다.
[51] 카메라유닛 (50)은타석과타격매트가마련되어 있는부분을포함하는일정 범위를촬영하면서 1초당수백프레임의이미지를취득한다.
[52]； 이렇게취득되는이미지는그래버 (65)로전송되고，그래버 (65)는카메라
유닛 (50)으로부터 이미지를전송받아저장하면서타격감지부 (70)로전달하여 이미지 처리가이루어지도록한다.
[53] 상기타격감지부 (70)는，상기그래버 (65)로부터 전달받은이미지에서볼을 찾아서미리설정된조건을만족시키는지여부를판단함으로써타격준비가 완료되었는지여부를감지하며，볼이상기타격준비가완료된위치로부터 이동하는지여부를판단함으로써사용자에의해타격이 이루어졌는지여부를 감지한다.
[54] 도 4의 (a)내지 (c)는상기타격감지부 (70)에의해사용자가볼올타격하였는지 여부를감지하는과정에관하여나타내고있다.
[55] 도 4의 (a)는그래버 (65)로부터타격감지부 (70)로전달되는여러프레임의소스 이미지중하나를나타내고있다.
[56] 타격감지부 (80)는소스이미지 (200)에서타격영역 (220)을설정하여 분리한후 그로부터볼을찾는데,이때도 4의 (a)에도시된바와같이타격매트 (120)의 일부 또는전부에해당하는영역을타격영역 (220)으로설정할수있다.즉
타격매트 (120)상에볼이놓인위치를기준으로소정 범위의 영역을
타격영역 (220)으로설정할수있다.
[57] 도 4의 (a)에도시된소스이미지 (200)에서는타격영역 (220)을타격매트 (120)의 페어웨이존 (121)에볼이놓여 있고상가타격감지부 (80)는상기
페어웨이존 (121)에해당하는영역을타격영역 (220)으로설정하고있는것을 나타내고있다.만약볼이 러프존 (122)에놓여 있다면상기 러프존 (122)에 해당하는영역을타격영역으로서설정할수있고，볼이 벙커존 (123)에놓여 있다면상기 벙커존 (123)에해당하는영역을타격영역으로서 설정할수있다.
[58] 이와같이타격영역 (220)을분리하여그안에서만볼올찾음으로써소스
이미지전체에서볼을찾는것보다훨씬빠르고정확하게볼을찾을수있다.
[59] 분리된타격영역 (220)에서볼을찾는과정은다양한방법에의해수행될수 있는데,예컨대볼에대한기준이미지로서미리설정되어 저장된볼템플릿과 상기타격영역 (220)내에존재하는특정 객체가서로유사한정도를분석하여 일정수준이상으로유사한경우에는상기특정객체를볼이라고판단할수있는 것이다.
[60] 그리고도 4의 (b)에도시된바와같이타격영역 (220)에 대한이미지에서볼을 중심으로소정크기의감지영역 (R)이설정되는데，상기 감지영역 (R)은볼하나 정도가여유있게포함될수있는정도의작은크기로설정됨이바람직하며， 사용자가타격을했는지여부는상기한감지영역 (R)내에볼이존재하는지 존재하지않는지여부만을조사하면쉽게감지할수있다.
[61] 따라서도 4의 (b)에도시된바와같은상태에서도 4의 (c)에도시된바와같은 상태로감지영역 (R)내에블이존재하지않게된것을감지함으로써타격을 감지할수있다.
[62] 상기한바와같이타격이감지되면，타격감지부 (70)는감지된시점 이전에
입수된복수프레임의 이미지를조사하여볼이움직이기시작한정확한시점,즉 임팩트시점을파악하고,임팩트시점의 이미지프레임을트리거프레임 (Trigger Frame)으로지정한다.
[63] 그리고상기트리거프레임을기준으로임팩트시점 이전의복수프레임의 이미지를저장하였다가클럽 이미지 처리부 (90)로전송하여필요한이미지 처리가진행될수있도록한다.여기서클럽 이미지처리부 (90)로전송되는 이미지는임팩트시점의프레임，즉트리거프레임의 이미지도포함될수있다.
[64] 또한타격감지부 (70)는상기트리거프레임을기준으로임팩트시점 이후의 복수프레임의 이미지 (트리거프레임도포함될수있다)를저장하면서 실시간으로볼이미지처리부 (80)로전송하여필요한이미지 처리가진행될수 있도록한다.볼이미지처리부 (80)에서처리된이미지는다시클럽 이미지 처리부 (90)로전송되어처리된다.따라서클럽 이미지 처리부 (90)는임팩트시점 이전의복수프레임의 이미지와임팩트시점이후의복수프레임의 이미지를 모두전송받아처리한다.
[65] 여기서 ,상기볼이미지처리부 (80)는타격감지부 (70)로부터 전송받은
이미지를처리함으로써볼의 3차원좌표정보를추출하고이를이용하여 운동하는볼의속도,방향및높이각을포함하는물리적특성 정보를산출한다.
[66] 그리고상기클럽 이미지 처리부 (90)는골프클럽의헤드에 대한운동궤적에 관한정보를추출하고이를이용하여운동하는볼의스핀을추정하여산출한다.
[67] 상기볼이미지처리부 (80)및클럽이미지 처리부 (90)를통해추출된볼의
물리적특성 정보는시물레이터 ( 1 )로전달되고ᅳ시물레이터 ( 1 )는이를기초로 가상의골프코스에서볼이 이동하는시뮬레이션영상을출력함으로써가상 골프시뮬레이션이진행되도록한다.
[68] 여기서볼이미지 처리부 (80)는기본적으로카메라유닛 (50)으로부터취득한 각프레임별이미지에서볼후보를추출하여상기각볼후보의 3차원좌표를 2차원좌표로변환하여 2차원궤적을분석함으로써최종적인볼의 궤적을 추출하여운동하는볼에 대한물리적특성 정보를산출하도록하는기능을 수행한다.
[69] 즉도 5에도시된바와같이상기볼이미지 처리부 (80)는카메라유닛 (50)을 통해취득한이미지에 대해각프레임별로볼후보 (도 5의 Frame 1이미지상의 1_1, 1_2， Frame 2이미지상의 2一 1， 2_2등)를추출하고연속된프레임에 대해 상기각볼후보를연결하는볼궤적 리스트를생성하며，도 6에도시된바와같이 상기생성된모든블궤적 리스트에 대해 2차회귀분석 (2nd Regression Analysis)을 수행하여모든볼궤적 리스트를 2차원평면상에서 2차원궤적 (Curve 1 - Curve 3)으로나타내어，미리설정된조건에따라상기 2차원궤적들중에서 최종적인 볼의 궤적을추출한후그추출된볼의 궤적상의각볼의좌표 (최종적으로 선택된 2차원궤적상의볼후보들의좌표)를추출함으로써운동하는볼의 물리적특성정보를산출한다.
[70] 도 6에서는 2차회귀분석을수행함으로써 2차원평면상에각볼궤적 리스트에 따른 2차원궤적들을나타낸것이다.
[71] 상기한바와같이추출된 2차원궤적들증여러가지노이즈가섞여서 잘못 나타내어진 2차원궤적들이 있을것이므로이를제거:하여최종적으로볼의 궤적을선별한다.
[72] 예컨대도 6에도시된 2차회귀분석 결과에서 2차원궤적중지면아래쪽으로 연결되는궤적은볼의궤적이라고볼수없으므로 (왜냐하면골프클럽으로볼을 타격할경우볼이지면을뚫고날아가는것이아니기 때문이며,지면아래쪽으로 연결되는궤적은골프클럽의일부분이볼후보로선정되었기 때문에나타나는 현상이다),이를제외하고최종적인볼의궤적을선별하는것이다.
[73] 만약볼의 궤적이라고볼수없는 2차원궤적들을모두제거한후에도복수개의 2차원궤적이남아있을경우에는볼이운동할때나타나는일반적인물리 법칙들올적용하여최종적인볼의 궤적을선별할수있다.
[74] 예컨대스크린을향해볼을타격할경우， 5m ~ 10m정도의짧은구간을
운동하는볼은수평방향으로거의등속도운동을할것이며수직방향으로는 거의등가속도운동을할것이므로，이러한운동법칙에부합하는 2차원궤적을 선정하여최종적인볼의 궤적으로서선별하도록할수있다.
[75] 한편，도 7내지도 14를참조하여도 3에도시된클럽 이미지 처리부의 구성 및 프로세스에관하여설명한다.
[76] 도 3에도시된바와같이클럽이미지처리부는,전처리수단 (91),제 1
처리수단 (92)및제 2처리수단 (93)을포함하여구성될수있다.
[77] 상기 전처리수단 (91)은타격감지부 (70)또는볼이미지처리부 (80)로부터 전송받은이미지로부터골프클럽에관한이미지를추출하여처리하기 용이하도록여러가지 이미지처리를수행하는역할을한다.상기 전처리 수단 (91)에의한이미지처리에관하여는도 7내지도 10을참조하여후술하기로 한다.
[78] 상기제 1처리수단 (92)은각프레임의 이미지사이에차이나는부분을 추출하여취합함으로써움직이는관심 대상을추출하며상기추출된관심 대상으로부터피팅 라인을추출하며，상기제 2처리수단 (93)은상기피팅 라인 상의특정부분의 궤적을골프클럽의해드에 대한운동궤적으로서산출하여 운동하는볼의스핀을추정한다.
[79] 좀더구체적으로，상기제 1처리수단 (92)은처리 대상인모든프레임의 이미지 각각에 대해해당프레임의 이미지와다른프레임의 이미지사이에차이나는 부분을추출하여서로취합함으로써골프클럽에해당하는부분이관심 대상으로추출되도록하는대상추출수단 (92a)과,상기추출된관심 대상에 대해 직선라인을피팅하는라인피팅수단 (92b)을포함하여구성될수있다.
[80] 그리고상기제 2처리수단 (93)은상기라인피팅수단 (92b)에의해피팅된라인 상의특정부분에 대한좌표이동윷검사함으로써운동궤적을산출하는 궤적산출수단 (93a)과,상기산출된운동궤적을골프클럽헤드의운동 궤적으로서 인식하고상기운동궤적으로부터상기골프클럽해드의진행 방향을추출하여그로부터볼의스핀을추정하는스핀추정수단 (93b)을포함하여 구성될수있다.
[81] 상기제 1처리수단 (92)및제 2처리수단 (93)에의한이미지처리에관하여는도
11내지도 14를참조하여후술하기로한다.
[82] 먼저도 7내지도 10을참조하여클럽 이미지 처리부의전처리수단에의한 이미지ᅵ처.리에'관하여설명한다.
[83] 클럽이미지처리부는임팩트시점전후의복수프레임의이미지를
처리함으로써골프클럽헤드의 궤적을산출하여그로부터볼의스핀을 추정하기위한것으로서처리하는이미지의프레임수는설정에따라달라질수 있는데,도 7이하에서는임팩트전후의 5개프레임의 이미지，즉 5장의 이미지를 이용하여 이미지처리를하는것을일예로서설명하고있다.그러나이에 한정되지않고그보다더 많은개수또는더 적은개수의 이미지에대한처리도 가능하다.
[84] 도 7에도시된 Frame 1내지 Frame 5의 이미지는사용자가볼을타격하는것에 대해카메라유닛증어느한카메라를통해취득되는이미지로서 임팩트시점 전후의 5장의 이미지를나타낸것이다.
[85] 도 7에도시된 Frame I내지 Frame 5의 이미지는카메라로부터취득되는소스 이미지 (301내지 305)로서 이미지상에는사용자의신체일부 (body)와골프 클럽 (club)과타격매트 (mat)등이모두포함되어 있다.
[86] 클럽이미지처리부는각프레임의소스이미지 (301내지 305)에서골프클럽 부분만을추출해내는것이 1차적인목적이디-.
[87] 따라서도 7에도시된배경 이미지 (BI)를마련하여각프레임의소스
이미지 (301내지 305)를상기배경이미지 (BI)에 대해각각차연산 (Difference
Operation)한다.여기서상기 배경 이미지 (BI)는분석 대상인각프레임의 이미지와다른시점에취득되어마련된이미지임이바람직하다. [88] 도 8에도시된 Frame 1내지 Frame 5이미지는상기도 7의 Frame 1내지 Frame 5의소스이미지 (301내지 305)각각을배경 이미지 (BI)에 대해차연산수행 결과어 1따른이미지이다.
[89] 즉 Frame 1의소스이미지 (301)와배경 이미지 (BI)의차연산결과도 8의 Frame 1 이미지 (311)를획득할수있고，이와같은방식으로 Frame 1내지 Frame 5의 이미지 (311내지 315)를각각획득한것이다.도 8에도시된 Frame 1내지 Frame 5의 이미지를차영상이라하기로한다.
[90] 도 8에도시된바와같이 Frame 1차영상 (311)부터 Frame 5차영상 (315)까지의 모든이미지에서 정지되어 있는부분들 (예컨대배경부분과매트부분등)이 모두제거되고움직임이 있는부분들 (예컨대사용자의신체일부와골프클럽 등.사용자의신체일부는크게움직이지는않지만차연산을통해서도많이 제거할수없을정도로움직임이상당한부분이다)이남아있게된것을알수 있다.
[91] 상기한바와같은차영상의추출은카메라유닛의다른카메라에서취득한 이미지에 대해서도동일하게수행된다.
[92] 여기서,도 8에도시된각프레임의차영상 (311내지 315)을통해알수있듯이 차연산을수행하는과정에서이미지의밝기가많이 약하게되었다면，그밝기를 높게해줄필요가있다ᅳ즉정지된부분들의명도는거의그대로있도록하면서 움직임이 있는부분들은명도를더욱크게하는것이필요하다.
[93] 이와같이 정지된부분들의 명도는거의그대로있도록하면서움직임이 있는 부분들은명도를더욱크게하는방법으로서，도 9에도시된방법을일예로서 이용할수있다.
[94] 즉이미지상의모든픽셀각각에대해해당픽셀을중심으로그주변의소정 개수의픽셀들의픽셀값 (혹백이미:지인경우에는픽샐값은밝기값 (명도값)으로 나타난다)을상기해당픽셀에취합하도록하는것이다.예컨대도 9의 (b)및 (c)에도시된바와같이 3X3원도우만큼의주변픽셀값을취합하여중심픽셀의 밝기를보정하도록할수있다.
[95] 도 9의 (a)에도시된이미지 (image)가 1번픽셀로부터 35번픽셀까지 35개의 픽셀 (pixel)로이루어졌다고가정할때，이미지 (image)상의모든픽셀에 대해 3X3원도우만큼의주변이미지의픽샐값을취합하여중심에 있는픽셀의 픽셀값을보정한다.
[96] 즉도 9의 (b)또는 (c)에도시된바와같이 ,만약 16번픽셀또는 17번픽셀의 픽셀값을보정한다고가정할경우그주변의가로세로 3개씩의픽셀에 대해각 픽셀의픽셀값을모두취합하여 16번픽셀 (도 9의 (b))또는 17번픽셀 (도 9의 (c))의픽샐값을보정함으로써각각명도가더커진것을알수있다.이와같은 방식으로 1번픽셀부터 35번픽셀까지모든픽셀에 대해 3X3원도우만큼의 픽셀값을취합하여보정한다.
[97] 상기한바와같이각픽셀을보정함으로써어두운배경부분의픽셀값은거의 그대로있으면서움직임이 있는부분들의밝기는더욱커지도록할수있다.
[98] 도 10에도시된 Frame 1내지 Fraem 5의보정 이미지 (321내지 325)는도 9에 도시된각각의차영상 (311내지 315)에 대해도 9에도시된바와같은 3X3원도우 만큼의주변픽셀의픽셀값을중심픽셀에보정한결과에따른이미지를각각 나타내고있는것이다.
[99] 도 10에도시된바와같이 Frame 1내지 Fraem 5의보정 이미지 (321내지
325)에서움직임 있는부분인신체 일부부분과골프클럽부분의 밝기가많이 향상된것을볼수있다.
[100] 상기한바와같은이미지의 각픽샐의보정은카메라유닛의다른카메라에서 취득한이미지에 대해서도동일하게수행된다.
[101] 그런데,도 10에도시된보정 이미지 (321내지 325)에서도사용자의신체일부 등의노이즈가여전히남아있게된다.클럽 이미지처리부의 입장에서 이미지상의관심 있는부분,즉관심 대상은골프클럽부분이다.그이외의 부분은모두노이즈에해당하는것이다.
[102] 따라서신체일부부분등과같은불필요한노이즈를제거하고골프클럽
부분과같이관심 대상만을추출할필요가있다.
[103] 도 11에도시된대상추출이미지, 1(331)내지 대상추출이미지 5(335)는각각 도 10에도시된 Frame 1내지 Frame 5의보정 이미지 (321내지 325)로부터각각 관심 대상 (OB1내지 OB5)을추출하여나타낸이미지이다.
[104] 즉대상추출이미지 1(331)은 Frame 1보정 이미지 (321)와나머지 Frame의보정 이미지들 (322내지 325)각각의차이 나는부분들을추출하여.취합함으로써 생성된것이고,대상추출이미지 2(332)는 Frame 2보정이미지 (322)와나머지 Frame의보정 이미지들 (321및 323내지 325)각각의차이나는부분들을 추출하여취합함으로써 생성된것이며，이와같은방식으로대상추출이미지 3(333)내지 대상추출이미지 5(335)를각각생성한것이다.
[105] 도 11에도시된바와같이각각의대상추출이미지 (331내지 335)는각프레임 이미지상의움직임이 있는부분들증관심대상 (OB1내지 OB2)을각각 추출하여나타낸이미지이다 .
[106] 즉이와같이처리 대상인프레임상호간에차이 나는부분들을취합함에따라 움직임이크지않은사용자의신체일부에 대한영상은바람직하게제거될수 있고，골프클럽과같이그움직임이 명백하게크게나타나는부분들이관심 대상으로서추출되는것이다.
[107] 이와같은관심 대상의추출은카메라유닛의다른카메라에서 취득한
이미지에 대해서도동일하게수행된다.
[108] 한편,도 11에도시된바와같이해당프레임의 이미지에 대해다른프레임의 이미지들과각각차이나는부분을취합함으로써추출된관심 대상 (OB1내지 OB5)은골프클럽이라고하기에다소불분명한이미지이므로이로부터골프 클럽의움직임을파악하기에는다소부족함이 있다. [109] 따라서각각의관심 대상 (OBI내지 OB5)에 대해직선라인을피팅 (Fitting) 함으로써골프클럽의움직임을좀더명확하게파악할수있도록하는것이 필요하다.
[110] 각각의관심 대상 (OB1내지 OB5)은실제로는골프클럽으로서직선의형태로 나타나야하는데，이미지처리과정에서 명확한직선의 형태로나타나지않기 때문에 이를직선라인으로피팅하는것이다.
[111] 이때각각의관심 대상 (OB1내지 OB5)에 대한직선라인의피팅을위한방법의 일예로서 RANSAC(RANdom S Ample Concensus)알고리즘을이용할수있다.
[112] 즉각각의관심 대상 (OB1내지 OB5)을이루는각각의픽셀들중골프클럽에 관한정보를나타내는것 (inlier)과골프클럽과관계없는잘못된정보를 나타내는것 (outlier)이공존하는데,이와같이 잘못된정보를가진픽셀들이 포함된전체픽셀집단에서골프클럽에관한정보를갖는인자들을소정의 수학적모델의반복적작업에의해예측하여보정함으로써직선라인을 피팅하는것이다.
[113] 도 12는각각의대상추출이미지 (331내지 335)상의관심 대상 (OB1내지
OB5)에 대한라인피팅 (RANSAC알고리즘을적용)결과를하나의 이미지로 합쳐서나타낸이미지이다ᅳ
[114] 즉도 12에서 L1라인은 OB1관심 대상을, L2라인은 OB2관심 대상을, L3 라인은 OB3관심 대상을， L4라인은 OB4관심 대상을，그리고 L5라인은 OB5 관심 대상을각각라인피팅한결과이다.
[115] 이와같은직선라인의피팅은카메라유닛을구성하는다른카메라에서. 취득한이미지에 대해서도동일하게수행한다.
[116] 한편，상기한바와같이카메라유닛을구성하는복수개의카메라
각각으로부터 취득된이미지에 대해피팅라인아각각추출되면，이들추출된 결과를통해 3차원공간상에서골프클럽의해드가어떤운동궤적으로 이동하는지를체크할필요가있다.
[117] 도 13에서는제 1카메라 (51)와제 2카메라 (52)에서각각취득한이미지를서로 .매칭하여골프클럽의헤드의운동궤적을산출하는원리에관하여나타내고 있다.
[118] 도 13에서제 1카메라 (51)에서취득된이미지를 151이라하고상기 이미지 (151) 상의피팅라인을 L51이라하며상기제 1카메라 (51)의상기 이미지 (151)상의 피팅라인 (L51)에해당하는 3차원공간상의평면을 DP라한다.그리고제 2 카메라 (52)에서취득된이미지를 152라하고상기 이미지 (152)상의피팅 라인을 L52라하며상기제 2카메라 (52)의상기이미지 (152)상의피링라인 (L52)에 해당하는 3차원공간상의직선을 DL이라한다.
[119] 도 13에도시된바와같이제 1카메라이미지 (151)상의 피팅 라인 (L51)에
해당하는 3차원평면 (DP)과제 2카메라이미지 (152)상의피팅 라인 (L52)에 해당하는 3차원직선 (DL)이교차하는지점에해당하는피팅 라인 (L51)상의 대응점 (P51)을찾는다.
[120] 따라서 L52피팅라인상의 점 (P52)과 L51피팅라인상의 대웅점 (P51)은서로 대웅되는한쌍의대웅점이된다.
[121] 이와같이 대웅점들을조사함으로써도 12에도시된각피팅 라인에서골프 클럽의 헤드에해당하는부분，즉피팅 라인상의끝부분을찾는다.
[122] 각피팅 라인상에서끝부분,즉골프클럽헤드부분을찾았으면,상기헤드 부분의 3차원공간상에서의좌표정보를추출할수있으며，그로부터골프클럽 헤드의운동궤적을산출할수있게된다.
[123] 상기한바와같이골프클럽헤드의운동궤적을산출한후에는그로부터
운동하는볼의스핀을추정할필요가있다.
[124] 즉도 14에서는골프클럽해드의운동궤적으로부터볼의스핀을추정하는일 예에관한원리를설명하기위한개략적인사항들을나타내고있다.여기서도
14는골프클럽 헤드 (CH)의각프레임별움직인위치와그에따른운동 궤적 (TR)을나타내고있으며 , B는볼을가리킨다.
[125] 볼의스핀을추정하기위해서는골프클럽해드의운동궤적을처음부터
끝까지모두체크할필요는없다.즉도 14에도시된바와같이볼 (B)을중심으로 소정크기의관심영역 (400)을설정하고그설정된관심 '영역 (400)내에서의골프 클럽헤드 (CH)의움직임만관찰하면된다.
[126] 관심 영역 (400)의크기를너무작게설정하면빠르게체크할수있으나
정확성이떨어질수있고，관심 영역 (400)의크기를너무크게설정하면정확성은 향상되지만체크속도가느려지게될수있으므로，관심영역 (400)의크기는 상기한바들을고려하여적정한크기로설정됨이바람직하다.
[127] 관심영역 (400)내에서골프클럽헤드 (CH)의운동궤적 (TR)으로부터골프 클럽헤드 (CH)의진행방향 (HD)을추출할수있다.임팩트순간의골프클럽■ 헤드 (CH)의진행방향이추출되도록함이바람직하다.
[128] 따라서골프클럽헤드 (CH)의진행방향 (HD)으로부터볼이타격된후사이드 스핀 (Side Spin)이나백스핀 (Back Spin)이 얼마나걸리게되는지용이하게 추정할수있다.
[129] 도 14에서는설명의 편의를위해평면상에서골프클럽 해드의진행방향을 나타내고있는데，실제로는 3차원공간상에서골프클럽 헤드의진행방향을 추출할수있기 때문에사이드스핀이나백스핀등을모두용이하게추정할수 있다.
[130] 한편,도 15및도 16을참조하여본발명의 일실시예에따른가상골프
시뮬레이션장치에 이용되는센싱장치의 센싱방법에관하여설명한다.
[131] 먼저도 15를참조하여설명하면,센싱장치가동작하면서 타격이이루어지는 일정촬영범위에대한이미지를연속적으로수집한다 (S10).이는도 3에도시된 그래버 (65)에 의해이루어질수있다.
[132] 수집된이미지들은타격감지부 (70,도 3참조)로전송되어분석되어사용자가 볼을타격하는지여부를감지하게된다 (S11).
[133] 타격감지부의 이미지분석 결과사용자가볼을타격한것을감지하게
되면 (S12),타격감지부는감지된시점이전의복수프레임의 이미지들을 조사하여볼이골프클럽에의해임팩트된정확한시점을검사한다 (S20).
[134] 그리고타격감지부는임팩트시점이전의복수프레임의 이미지 (임팩트
시점의 이미지도포함됨)를저장한다 (S21).
[135] 그리고임팩트시점 이후의복수프레임의 이미지를그래버로부터순차적으로 수집하여실시간으로볼이미지처리부로전송한다 (S22).
[136] 볼이미지 처리부는이미지를전송받아볼처리를수행한다 (S30).볼처리 결과 운동하는볼의속도，방향，높이각둥의 정보가산출되면클럽이미지 처리부의 처리결과가나을때까지 기다리지 않고먼저시뮬레이터로전송한다 (S50).
[137] 그리고클럽 이미지처리부는상기 S21단계에서 저장된이미지및볼이미지 처리부에의해처리된이미지를전달받아클럽처리를수행한다 (S40).클럽처리 결과볼의스핀정보가산출되면이를시뮬레이터로전송한다 (S50).
[138] 시물레이터는볼처리 결과에따른정보를이용하여먼저시뮬레이션을
시작하고시물레이션과정에서클럽처리 결과에따른볼의스핀정보를 반영하여시물레이션을완성한다ᅳ
[139] 한편,도 15에도시된클럽 처리에관한좀더구체적인사항에관하여도 16을 참조하여설명한다.
[140] 상기한클럽 처리가시작되면,타격감지부와볼이미지처리부로부터.임팩트 시점 전후의복수프레임의이미지를수집한다 (S41).
[141] 수집된이미지에 대해정지된부분，즉배경 영상등을제거하기위해다른 시점에수집된이미지에대한차연산을통해차영상을추출한다 (S42).
[142] 차연산되어추출된이미지에서움직임이 있는부분의밝기를더크게하기 위하여 이미지상의모든픽셀에 대해일픽셀의주변픽셀의픽셀값을취합한 이미지를생성한다 (S43).이에 대해서는도 9에서 이미설명한바있으므로 구체적인설명은생략한다.
[143] 밝기를보정한이미지를생성한후에는，각프레임의이미지에서관심
대상 (골프클럽에관한부분이포함된부분)을추출하기위해일프레임 이미지와다른프레임 이미지들사이의차이나는부분들을각각추출하여서로 취합한다.이와같은작업은처리 대상인모든프레임 이미지에 대해각각 수행한다 (S44).
[144] 상기한 S44과정을거침으로써각프레임의이미지상에서관심 대상이추출될 수있는데，이와같이추출된관심대상에 대해직선라인을피팅한다 (S45).
[145] 그리고복수개의카메라에 대해동일프레임의이미지에대한 3차원공간상의 대응점을검사하여 (S46),피팅된라인상의특정부분 (바람직하게는골프클럽의 헤드에해당하는부분으로서피팅라인상의끝부분이헤드에해당하는부분일 가능성이높음)을찾아골프클럽의헤드로인식하고각부분의좌표이동을 검사함으로써골프클럽헤드의운동궤적을산출한다 (S47).
[146] 그리고상기산출된골프클럽해드의운동궤적으로부터골프클럽 헤드의 진행방향을추출하여 (S48),그로부터운동하는볼의스핀을추정한다 (S49). 발명의실시를위한형태
[147] 발명의실시를위한최선의형태항목에서구체적으로기재하고있다. 산업상이용가능성
[148ᅵ 본발명에따른가상골프시물레이션장치에 이용되는센싱장치 및
센싱방법은가상현실기반의골프시물레이션이 이루어지도록함으로써 사용자가가상의골프경기를즐길수있도록할수있는골프게임이나소위 스크린골프산업분야등에 이용가능하다.

Claims

청구범위
[청구항 1] 가상골프시뮬레이션장치에 이용되는센싱장치에 있어서， 사용자의스윙에 의해볼을타격하는것에 대해복수프레임의 이미지를취득하는카메라유닛；및
각프레임별이미지에서볼을추출하여그 3차원좌표를획득하는 볼이미지처리부와,상기취득한각프레임별이미지에서 움직이는관심 대상을추출하여상기관심 대상으로부터골프 클럽의헤드에 대한운동궤적을산출하는클럽이미지처리부를 포함하여운동하는볼에 대한물리적특성 정보를산출하는 센싱처리유닛;
을포함하는센싱장치.
[청구항 2] 제 1항에 있어서,
상기클럽 이미지 처리부는상기볼이미지 처리부에의해처리된 이미지에서추출된볼올제거한이미지를전달받아이미지 처리를 수행하도록구성되는것을특징으로하는센싱장치 .
[청구항 3] 제 1항에있어서,
상기카메라유닛으로부터전달받은이미지를처리함으로써 사용자에의한타격이이루어졌는지,여부를감지함으로써 임팩트 시점을파악하는타격감지부를더포함하는것을특징으로하는 센싱장치.
[청구항 4]; 제 3항에 있어서，
상기볼이미지처리부는상기타격감지부로부터 임팩트시점 이후의복수프레임의 이'미지를전달받아이미지처리를 수행하도록구성되며，
상기클럽이미지 처리부는상기타격감지부로부터 임팩트시점 이전의복수프레임의 이미지 및상기볼이미지처리부에서 처리된이미지를각각전달받아이미지처리를수행하도록 구성되는것을특징으로하는센싱장치ᅳ
[청구항 5] 제 1항에 있어서,상기 센싱처리유닛은,
상기볼이미지 처리부에의해추출된볼의 3차원좌표를이용하여 운동하는볼의속도,방향및높이각을포함하는물리적특성 정보를산출하며，
상기클럽이미지 처리부에의해산출된골프클럽의해드에 대한 운동궤적으로부터볼의스핀을포함하는물리적특성 정보를 산출하도록구성되는것을특징으로하는센싱장치 .
[청구항 6] 제 1항에 있어서,상기클럽 이미지처리부는，
각프레임의 이미지사이에차이 나는부분을추출하여 취합함으로써상기움직이는관심 대상을추출하며 ,상기추출된 관심 대상에 대해직선라인을피팅하는제 1처리수단과， 상기피팅된라인상의특정부분의 궤적을골프클럽의헤드에 대한운동궤적으로서산출하는제 2처리수단을포함하는것을 특징으로하는센싱장치.
[청구항 7] 제 1항에 있어서，상기클럽 이미지처리부는,
정지상태의볼의위치를증심으로소정크기의관심 영역을 설정하고상기관심 영역내에서상기골프클럽헤드의운동 궤적을체크하여상기골프클럽헤드의진행방향을추출하고 그로부터볼의스핀을추정하는스핀추정수단을더포함하는것을 특징으로하는센싱장치 .
[청구항 8] 가상골프시물레이션장치에이용되는센싱장치에있어서，
사용자의스윙에의해볼을타격하는것에 대해복수프레임의 이미지를취득하는카메라유닛;및
각프레임별이미지에서 2차원분석을통해볼의궤적을추출하여 상기볼궤적상의각볼의 3차원좌표를추출하는볼이미지 처리부와，상기취득한각프레임별이미지에서 2차원분석을통해 움직이는대상애 대한피팅라인을추출하고상기피팅라인에 대한 3차원매칭으로부터골프클럽헤드의운동궤적을추출하는 클럽 이미지처리부를포함하여운동하는볼의물리적특성 정보를산출하는센싱처리유닛;
을포함하는센싱장치 .
[청구항 9] 제 8항에 있어서，
상기카메라유닛은각각복수프레임의이미지를취득하며 스테레오방식으로구동되는복수개의카메라를포함하며, 상기불이미지 처리부는,
상기복수개의카메라각각이취득한이미지에서볼후보를찾아 3차원좌표를추출하고，상기볼후보를 2차원평면으로회귀시켜 2차원궤적을추출하여분석함으로써볼의 궤적을추출하며,상기 추출된볼궤적상의각볼의좌표를 3차원좌표로변환시키도록 구성되는것을특징으로하는센싱장치 .
[청구항 10] 제 8항에 있어서，
상기카메라유닛은각각복수프레임의 이미지를취득하며 스테레오방식으로구동되는복수개의카메라를포함하며, 상기클럽이미지 처리부는，
상기복수개의카메라각각이취득한이미지에서각프레임간 차이나는부분을추출하여취합함으로써움직이는관심 대상을 추출하며상기추출된관심 대상에 대해직선라인을피팅하는제 1 처리수단과，상기복수개의카메라에 대해동일프레임의
이미지에 대한 3차원공간상의 대웅점을검사함으로써상기 피팅된라인상의 특정부분의 3차원궤적을산출하는저) 2 처리수단을포함하는것을특징으로하는센싱장치 .
[청구항 11] 가상골프시물레이션장치에 이용되는센싱장치에 있어서, 사용자의스윙에의해볼을타격하는것에 대해복수프레임의 이미지를취득하는카메라유닛;및
각프레임의 이미지사이에차이나는부분을추출하여 취합함으로써움직이는관심 대상을추출하며상기추출된관심 대상으로부터피팅 라인을추출하는제 1처리수단과,상기피팅 라인상의특정부분의 궤적을골프클럽의 헤드에대한운동 궤적으로서산출하는저 !2처리수단을포함하여운동하는볼의 스핀을추정하는센싱처리유닛;
을포함하는센싱장치 .
[청구항 12] 제 11항에 있어서,상기센싱처리유닛은,
상기취득한이미지에대해차연산을통해이미지상의 정지된 , 부분을제거하며,상기차연산된이미지상의모든픽셀각각에 대해소정개수의주변픽셀의픽셀값을취합한이미지가 생성되도록하는전처리수단을더포함하여,
상기전처리수단에의해처리된이미지를이용하여상기제 1 처리수단및제 2처리수단이 이미지 처리를수행하도록구성되：는 것을특징으로하는센싱장치 .
[청구항 13] 제 11항에 있어서,상기제 1처리수단은，
처리대상인모든프레임의이미지각각에대해해당프레임의 이미지와다른프레임의 이미지사이에차이나는부분을 추출하여서로취합함으로써골프클럽에해당하는부분이관심 대상으로추출되도록하는대상추출수단과， 상기추출된관심 대상에 대해직선라인을피팅하는
라인피팅수단을포함하는것을특징으로하는센싱장치.
[청구항 14] 제 13항에 있어서，상기제 2처리수단은,
상기피팅된라인상의특정부분에대한좌표이동을
검사함으로써운동궤적올산출하는궤적산출수단과, 상기산출된운동궤적을골프클럽헤드의운동궤적으로서 인식하고상기운동궤적으로부터상기골프클럽헤드의진행 방향을추출하여그로부터블의스핀올추정하는스핀추정수단을 포함하는것을특징으로하는센싱장치 ·
[청구항 15] 가상골프시뮬레이션장치에 이용되는센싱장치에 있어서， 사용자의스윙에의해볼을타격하는것에 대해각각복수 프레임의 이미지를취득하는복수개의카메라를포함하는카메라 유닛;및
상기 각카메라에서취득한이미지에 대해각각 2차원분석을통해 움직이는관심 대상에 대한피팅라인을추출하고상기 2차원 분석된각각의피팅라인에 대한 3차원매칭을통해상기관심 라인상의특정부분의궤적을골프클럽의헤드에 대한운동 궤적으로서산출함으로써운동하는볼의스핀을추정하는 센싱처리유닛;
을포함하는센싱장치 .
Figure imgf000022_0001
가상골프시물레이션장치에 이용되는센싱장치의 센싱방법에 있어서,
타격이이루어지는일정촬영범위에 대한이미지를연속적으로 취.득하는단계;
상기취득된이미지를분석함으로써사용자가볼을타격하는자 여부를감지하는단계;
불이타격되는임팩트시점이후의복수프레임의 이미지로부터' 볼을추출하여분석함으로써운동하는볼에 대한물리적특성 정보를산출하는볼처리단계 ;
볼이타격되는임팩트시점 이전및이후의복수프레임의 이미지로부터골프클럽헤드의운동궤적을산출하여
분석함으로써운'동하는볼의스핀을추정하는클럽 처리단계; 를포함하는센싱방법 .
Figure imgf000022_0002
제 16항에 있어서,상기볼처리단계는，
상기복수프레임의이미지에 대해각프레임별로볼후보를 추출하는단계와，
상기볼후보에 대한 3차원좌표를 2차원좌표로변환하여 각 프레임상의볼후보를서로연결하는적어도하나의 2차원궤적을 추출하는단계와,
상기 2차원궤적을분석함으로써볼의 궤적올추출하여상기볼의 궤적상의각불에 대한 3차원좌표를획득하는단계를포함하는 것을특징으로하는센싱방법 .
Figure imgf000022_0003
제 16항에 있어서,상기클럽처리 단계는，
상기복수프레임의 이미지에 대해각프레임의이미지사이에 차이나는부분을추출하여취합함으로써움직이는관심 대상을 추출하는단계와，
상기추출된관심 대상에대해직선라인을피팅하는단계와, 상기피팅된라인상의특정부분의 궤적을골프클럽의해드에 대한운동궤적으로서산출하는단계를포함하는것을특징으로 하는센싱방법.
[청구항 19] 가상골프시물레이션장치에 이용되는센싱장치의 센싱방법에 있어서,
사용자의스윙에 의해볼을타격하는것에 대해복수프레임의 이미지를취득하는단계;
상기취득한이미지에서움직이는관심 대상을추출하는단계; 상기추출된관심 대상에대해직선라인을피팅하는단계;
상기피팅된라인상의특정부분의 궤적을산출하는단계;및 상기산출된궤적을골프클럽헤드의운동궤적으로인식하고 그로부터운동하는불의스핀을추정하는단계;
를포함하는센싱방법 .
[청구항 20] 제 19항에있어서,상기관심 대상을추출하는단계는,
상기취득한이미지에 대해차연산을통해이미지상의 정지된 부분을제거하는단계와，
상기차연산된이미지상의모든픽셀각각에 대해소정 개수의 주변픽셀의픽샐값을취합한이미지가생성되도록하는단계와, 처리대상인모든프레임의 이미지 각각에 대해해당프레임의 이미지와다른프레임의 이미자사이에차이 나는부분을 추출하여서로취합함으로써골프클럽에해당하는부분이상기 관심대상으로추출되도록하는단계를포함하는것을특징으로 하는센싱방법.
[청구항 21] 제 19항에있어서,
상기 이미자를취득하는단계에서스테레오방식으로구동되는 복수개의카메라각각이복수프레임의 이미지를취득하며:， 상기특정부분의궤적을산출하는단계는, 상기복수개의카메라에대해동일프레임의 이미지에 대한 3차원 공간상의 대응점을검사하는단계와,
상기피팅된라인상의끝부분을찾아골프클럽의해드로 인식하여상기헤드의좌표이동을검사함으로써 3차원운동 궤적을산출하는단계를포함하는것을특징으로하는센싱방법.
[청구항 22] 제 19항에 있어서，상기볼의스핀을추정하는단계는，
정지상태의볼의위치를증심으로소정크기의관심 영역을 설정하는단계와，
상기관심영역내에서상기골프클럽헤드의운동궤적을 체크함으로써상기골프클럽해드의진행방향을추출하는 단계와，
상기골프클럽헤드의진행방향으로부터운동하는볼의스핀을 추정하는단계를포함하는것을특징으로하는센싱방법 .
PCT/KR2012/002086 2011-03-22 2012-03-22 가상 골프 시뮬레이션 장치에 이용되는 센싱 장치 및 센싱방법 WO2012128575A2 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280014020.3A CN103458977B (zh) 2011-03-22 2012-03-22 用于虚拟高尔夫模拟装置的感测装置及感测方法
JP2014501009A JP5960240B2 (ja) 2011-03-22 2012-03-22 仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法
AU2012231932A AU2012231932B2 (en) 2011-03-22 2012-03-22 Sensing device and method used for virtual golf simulation apparatus
US14/004,938 US9514379B2 (en) 2011-03-22 2012-03-22 Sensing device and method used for virtual golf simulation apparatus
CA2830488A CA2830488C (en) 2011-03-22 2012-03-22 Sensing device and method used for virtual golf simulation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110025149A KR101078975B1 (ko) 2011-03-22 2011-03-22 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
KR10-2011-0025149 2011-03-22

Publications (3)

Publication Number Publication Date
WO2012128575A2 WO2012128575A2 (ko) 2012-09-27
WO2012128575A3 WO2012128575A3 (ko) 2012-11-22
WO2012128575A9 true WO2012128575A9 (ko) 2013-01-03

Family

ID=45397003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/002086 WO2012128575A2 (ko) 2011-03-22 2012-03-22 가상 골프 시뮬레이션 장치에 이용되는 센싱 장치 및 센싱방법

Country Status (7)

Country Link
US (1) US9514379B2 (ko)
JP (1) JP5960240B2 (ko)
KR (1) KR101078975B1 (ko)
CN (1) CN103458977B (ko)
CA (1) CA2830488C (ko)
TW (1) TWI448319B (ko)
WO (1) WO2012128575A2 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2513841A1 (en) * 2009-12-16 2012-10-24 Thomson Licensing Human interaction trajectory-based system
KR101078975B1 (ko) * 2011-03-22 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
CN103842036B (zh) 2011-09-23 2016-05-11 可利爱驰有限公司 获取被拍摄体的实际移动轨迹的方法及系统
JP2014007680A (ja) * 2012-06-27 2014-01-16 Xacti Corp 画像生成装置
KR101412505B1 (ko) 2013-11-28 2014-06-26 (주) 알디텍 골프 시뮬레이터, 및 골프 시뮬레이션 방법
DE102014202176B4 (de) * 2014-02-06 2015-10-22 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren zum Identifizieren einer Randkontur einer an einem Bearbeitungskopf gebildeten Öffnung und Bearbeitungsmaschine
US9911351B2 (en) * 2014-02-27 2018-03-06 Microsoft Technology Licensing, Llc Tracking objects during processes
US10332283B2 (en) * 2014-09-16 2019-06-25 Nokia Of America Corporation Visualized re-physicalization of captured physical signals and/or physical states
JP6676873B2 (ja) * 2014-09-22 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2016086952A (ja) * 2014-10-31 2016-05-23 横浜ゴム株式会社 移動体の挙動計測方法および挙動計測装置
CN104469326A (zh) * 2014-12-25 2015-03-25 安徽寰智信息科技股份有限公司 一种用于板球教学与训练的视频采集与处理方法
CN104506830A (zh) * 2014-12-25 2015-04-08 安徽寰智信息科技股份有限公司 一种用于板球教学与训练的视频采集与处理装置
CN104486592A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 一种用于标枪教学与训练的视频采集与处理方法
CN104539900A (zh) * 2014-12-26 2015-04-22 安徽寰智信息科技股份有限公司 一种用于铅球教学与训练的视频采集与处理方法
CN104486594A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 一种用于壁球教学与训练的视频采集与处理方法
CN104469325A (zh) * 2014-12-26 2015-03-25 安徽寰智信息科技股份有限公司 一种用于链球教学与训练的视频采集与处理方法
CN104581065A (zh) * 2014-12-29 2015-04-29 安徽寰智信息科技股份有限公司 一种用于曲棍球击球教学与训练的视频采集与处理方法
KR101744042B1 (ko) * 2016-01-14 2017-06-07 주식회사 골프존뉴딘 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101826837B1 (ko) * 2016-08-12 2018-02-08 주식회사 골프존 볼의 비행정보 연산장치, 볼의 비행정보 연산방법 및 이를 기록한 컴퓨팅장치에 의해 판독 가능한 기록매체
KR101862145B1 (ko) * 2016-11-23 2018-05-29 주식회사 골프존 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
KR101905848B1 (ko) 2017-01-17 2018-10-08 주식회사 스트로크플레이 골프클럽 및 골프공 측정장치 및 측정방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
CA3086676C (en) 2018-01-23 2022-10-04 Wawgd, Inc. Golf ball tracking system
KR101951336B1 (ko) * 2018-02-07 2019-02-22 주식회사 실리콘그라피 퍼팅 분석 시스템
CN110298864B (zh) * 2018-03-23 2021-05-11 深圳市衡泰信科技有限公司 一种高尔夫推杆设备的视觉感测方法及装置
CN109011489A (zh) * 2018-08-18 2018-12-18 中山市迈进高尔夫用品有限公司 一种虚拟高尔夫系统
CN108888928A (zh) * 2018-08-31 2018-11-27 快趣打（上海）互联网科技有限公司 一种室内高尔夫运动模拟装置
KR102146358B1 (ko) * 2018-09-12 2020-08-20 주식회사 뉴딘콘텐츠 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치
KR102024831B1 (ko) * 2018-10-29 2019-09-25 주식회사 크리에이츠 공의 회전을 측정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102109971B1 (ko) * 2018-10-29 2020-05-12 주식회사 크리에이츠 골프 스윙의 촬영을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102220489B1 (ko) * 2019-03-05 2021-02-24 오형종 가상 골프 시뮬레이션 시스템
JP7281767B2 (ja) * 2019-10-31 2023-05-26 株式会社アブストラクトエンジン 認識処理装置、認識処理プログラム、認識処理方法、及びビジュアライズシステム
US11291864B2 (en) 2019-12-10 2022-04-05 Shanghai United Imaging Healthcare Co., Ltd. System and method for imaging of moving subjects
KR102400786B1 (ko) * 2020-06-02 2022-05-23 주식회사 골프존 매트영상 제공 방법, 매트영상 제공 장치 및 가상 골프 시뮬레이션 장치
CA3189146A1 (en) * 2020-08-13 2022-02-17 Conrad SPITERI System and method for object tracking and metric generation
US11710316B2 (en) 2020-08-13 2023-07-25 Toca Football, Inc. System and method for object tracking and metric generation
US11514590B2 (en) 2020-08-13 2022-11-29 Toca Football, Inc. System and method for object tracking
JP7005737B1 (ja) * 2020-12-28 2022-01-24 楽天グループ株式会社 ゴルフスイング解析システム、ゴルフスイング解析方法及びプログラム
KR102242994B1 (ko) * 2021-01-04 2021-04-26 (주)휴리스골프 인공 신경망을 이용하여 사용자 맞춤형 골프 클럽을 추천하는 방법 및 장치
CN113538550A (zh) * 2021-06-21 2021-10-22 深圳市如歌科技有限公司 高尔夫球感测方法、系统及存储介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777590B2 (ja) * 1991-01-16 1995-08-23 美津濃株式会社 ゴルフゲーム模擬装置
US5471383A (en) * 1992-01-22 1995-11-28 Acushnet Company Monitoring systems to measure and display flight characteristics of moving sports object
JP2990477B2 (ja) * 1993-05-10 1999-12-13 ブリヂストンスポーツ株式会社 ボール軌跡の計測方法
JP2001264016A (ja) * 2000-03-15 2001-09-26 Sumitomo Rubber Ind Ltd ボールの運動測定装置
JP2002301172A (ja) * 2001-04-09 2002-10-15 Motoo Sato ゴルフクラブスイング時のブロー角計測システム
JP3535476B2 (ja) * 2001-05-09 2004-06-07 住友ゴム工業株式会社 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
US6592465B2 (en) * 2001-08-02 2003-07-15 Acushnet Company Method and apparatus for monitoring objects in flight
JP4439772B2 (ja) * 2001-09-20 2010-03-24 Ｓｒｉスポーツ株式会社 ゴルフスイング記録保存システム
KR100470703B1 (ko) * 2001-09-22 2005-03-09 권오석 골프연습을 위한 시뮬레이션 시스템
JP2003111880A (ja) * 2001-10-04 2003-04-15 Ditect:Kk ゴルフスイング解析システム及び画像処理方法
JP2003117045A (ja) * 2001-10-18 2003-04-22 Takasago Electric Ind Co Ltd スイングフォーム診断装置
GB0127810D0 (en) * 2001-11-21 2002-01-09 Tilting Tees Ltd Golf simulator
KR20030044653A (ko) 2001-11-30 2003-06-09 김기수 체감형 골프 시뮬레이션 제공방법 및 이를 실행하기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
JP4628782B2 (ja) * 2002-06-06 2011-02-09 ウィントリス エンジニアリング コーポレイション 飛行パラメータ測定システム
JP2004248725A (ja) * 2003-02-18 2004-09-09 National Institute Of Advanced Industrial & Technology 打球の解析装置及び方法
JP4226415B2 (ja) * 2003-08-19 2009-02-18 Ｓｒｉスポーツ株式会社 ボール弾道計測装置
AU2005201321B2 (en) * 2004-03-26 2007-08-09 Sri Sports Limited Golf swing-diagnosing system
JP4256289B2 (ja) * 2004-03-26 2009-04-22 Ｓｒｉスポーツ株式会社 ゴルフスウィング診断システム
US7837572B2 (en) * 2004-06-07 2010-11-23 Acushnet Company Launch monitor
US7395696B2 (en) * 2004-06-07 2008-07-08 Acushnet Company Launch monitor
US7959517B2 (en) * 2004-08-31 2011-06-14 Acushnet Company Infrared sensing launch monitor
JP2007167549A (ja) * 2005-12-26 2007-07-05 Mizuno Corp ゴルフクラブヘッド挙動解析装置およびゴルフクラブヘッド挙動解析方法、シート材
US7641565B2 (en) 2006-06-12 2010-01-05 Wintriss Engineering Corporation Method and apparatus for detecting the placement of a golf ball for a launch monitor
JP4733651B2 (ja) * 2007-01-12 2011-07-27 日本放送協会 位置検出装置、位置検出方法、及び位置検出プログラム
JP5719170B2 (ja) * 2007-09-21 2015-05-13 プレイデータ エルエルシー 物体の位置及び運動検出システム、及び方法
KR100871595B1 (ko) 2007-10-09 2008-12-02 박선의 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
JP5434540B2 (ja) * 2008-12-04 2014-03-05 横浜ゴム株式会社 ゴルフクラブの選択方法
US8758103B2 (en) * 2009-01-19 2014-06-24 Full Swing Golf Methods and systems for sports simulation
KR100937922B1 (ko) 2009-02-12 2010-01-21 엔지비스 주식회사 구형 물체의 비행정보 측정 시스템 및 방법
JP5334185B2 (ja) * 2009-07-07 2013-11-06 ゴルフゾン カンパニー リミテッド 仮想ゴルフシミュレータ及びそれに備えられるセンシング装置
KR100953132B1 (ko) 2009-09-30 2010-04-16 (주) 골프존 가상 골프 시뮬레이션 장치, 가상 골프 시뮬레이션 방법 및 가상 골프 시뮬레이션 장치를 통해 인식되는 골프 클럽
US8913785B2 (en) * 2010-09-30 2014-12-16 Electronics And Telecommunications Research Institute Apparatus and method for calculating motion of object
KR101733116B1 (ko) * 2010-12-10 2017-05-08 한국전자통신연구원 고속 스테레오 카메라를 이용한 구형 물체의 비행 정보 측정 시스템 및 방법
KR101078975B1 (ko) * 2011-03-22 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
US8540583B2 (en) * 2011-12-30 2013-09-24 Nike, Inc. System for tracking a golf ball and displaying an enhanced image of the golf ball

Also Published As

Publication number Publication date
CN103458977A (zh) 2013-12-18
US20140003666A1 (en) 2014-01-02
JP2014512903A (ja) 2014-05-29
CA2830488A1 (en) 2012-09-27
CA2830488C (en) 2017-01-24
JP5960240B2 (ja) 2016-08-02
WO2012128575A2 (ko) 2012-09-27
TW201242645A (en) 2012-11-01
WO2012128575A3 (ko) 2012-11-22
TWI448319B (zh) 2014-08-11
CN103458977B (zh) 2015-07-08
US9514379B2 (en) 2016-12-06
KR101078975B1 (ko) 2011-11-01
AU2012231932A1 (en) 2013-10-03

Similar Documents

Publication Publication Date Title
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
CN108697922B (zh) 用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法
US9162132B2 (en) Virtual golf simulation apparatus and sensing device and method used for the same
KR101048090B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
KR20190031111A (ko) 가상 테니스 시뮬레이션 시스템, 이에 이용되는 센싱장치 및 센싱방법
JP5811263B2 (ja) 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法
KR101912126B1 (ko) 야구 연습 장치에 이용되는 센싱장치 및 센싱방법과, 이를 이용한 야구 연습 장치 및 이의 제어방법
US11229824B2 (en) Determining golf club head location in an image using line detection and contour separation
KR101078954B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
KR102439549B1 (ko) 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
JP7248353B1 (ja) ヒッティング解析システム及びヒッティング解析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12761340

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14004938

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2830488

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2014501009

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2012231932

Country of ref document: AU

Date of ref document: 20120322

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12761340

Country of ref document: EP

Kind code of ref document: A2