WO2012128566A2 - 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법 - Google Patents

가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법 Download PDF

Info

Publication number
WO2012128566A2
WO2012128566A2 PCT/KR2012/002070 KR2012002070W WO2012128566A2 WO 2012128566 A2 WO2012128566 A2 WO 2012128566A2 KR 2012002070 W KR2012002070 W KR 2012002070W WO 2012128566 A2 WO2012128566 A2 WO 2012128566A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
unit
frame
image processing
Prior art date
Application number
PCT/KR2012/002070
Other languages
English (en)
French (fr)
Other versions
WO2012128566A3 (ko
Inventor
장형욱
정현담
박현진
윤형식
Original Assignee
(주) 골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 골프존 filed Critical (주) 골프존
Priority to JP2014501003A priority Critical patent/JP5811263B2/ja
Priority to CN201280013719.8A priority patent/CN103476467B/zh
Priority to US14/004,925 priority patent/US9333412B2/en
Priority to AU2012231923A priority patent/AU2012231923B2/en
Priority to CA2830487A priority patent/CA2830487C/en
Publication of WO2012128566A2 publication Critical patent/WO2012128566A2/ko
Publication of WO2012128566A3 publication Critical patent/WO2012128566A3/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04—Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031—Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034—Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/17—Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Definitions

  • the present invention relates to a virtual golf simulation apparatus and method, and a sensing apparatus and a sensing method used therein. More specifically, the trajectory of the golf ball hit by the user is simulated by the virtual golf course is simulated by the sensing device
  • the present invention relates to a virtual golf simulation apparatus and method, and a sensing apparatus and a sensing method used therein, which are sensed and simulated in the virtual golf course.
  • the sensing device senses the physical characteristics of the moving golf ball by sensing the moving ball.
  • a technology has been developed to allow a user to enjoy golf in virtual reality.
  • sensing devices such as a sensing device using an infrared sensor, a sensing device using a laser sensor, a sensing device using an acoustic sensor, and a sensing device using a camera sensor are emerging.
  • the infrared sensor has the advantage that the simulation process can be faster because the sensing processing time is faster, but there is a problem that the sensing accuracy is inferior.
  • the camera sensor can improve the sensing accuracy but it takes a long time for the sensing process. After a predetermined time has elapsed after hitting the ball, a simulation image of the trajectory of the ball is implemented, and the reality of virtual golf is greatly reduced, which causes a problem of greatly deteriorating the user's interest.
  • the sensing device senses that a user hits a ball with a golf club and simulates the trajectory of the ball on the virtual golf course according to the sensing result so that the user can enjoy the virtual golf in the virtual golf course.
  • a reality such as playing golf on a real golf course
  • it acquires a multi-frame image of hitting the ball by the user's swing, but it can process the image in real time as the image is acquired, thereby reducing the sensing time.
  • the sensing device used in the virtual golf simulation apparatus at least one sensor unit for obtaining a plurality of images of the frame hitting the ball by the user's swing; An image collection unit which sequentially acquires and collects images of a plurality of frames from the sensor unit; And an image processing unit for extracting and processing the image of the frame obtained by the image collecting unit in real time to extract physical property information of the moving ball.
  • the virtual golf simulation apparatus the camera unit for acquiring a plurality of images of the frame hitting the ball by the swing of the user; And an image collecting unit which sequentially acquires and collects images of a plurality of frames from the camera unit, and an image processing unit which extracts physical property information of a moving ball by receiving and processing images of the frames obtained by the image collecting unit in real time.
  • a sensing apparatus including a sensing processing unit including a sensing unit, and an image implementing unit implementing a simulation image of a ball trajectory according to the information extracted from the sensing processing unit.
  • the sensing method for a virtual golf simulation the step of acquiring a plurality of images of the frame hitting the ball by the user's swing; Sequentially acquiring and storing the acquired plurality of frames of images from an image collecting unit; Transmitting an image of a frame obtained by the image collector to an image processor in real time; And extracting physical property information of a moving ball by processing an image of a frame received in real time by the image processor.
  • the virtual golf simulation method the step of detecting whether the user is ready to hit; Detecting whether the hit is made by the user when the hit preparation is completed; When the hit is made, acquiring and storing the hitting time point and the image before and after the hit in units of frames; Extracting physical property information of a moving ball by processing the obtained image in real time; And implementing a simulation image of a ball trajectory according to the extracted physical property information.
  • the virtual golf simulation apparatus and method thereof, and the sensing device and the sensing method used therein, may acquire images of a plurality of frames for hitting a ball by a user's swing, and process the image in real time as the image is obtained.
  • the sensing processing time can be drastically shortened so that the simulation image can be realized at the same time as the user swings, thereby improving the reality.
  • FIG. 1 is a diagram illustrating an example of a screen golf system to which a virtual golf simulation apparatus according to an embodiment of the present invention is applied.
  • FIG. 2 is a block diagram showing the configuration of a virtual golf simulation apparatus according to an embodiment of the present invention.
  • FIG. 3 is a view showing an information processing process of the virtual golf simulation apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a real-time image processing process of a sensing device according to an embodiment of the present invention.
  • FIGS. 1 and 2 First, a virtual golf simulation apparatus and a sensing apparatus used therein will be described with reference to FIGS. 1 and 2.
  • FIG. 1 is a view showing an example of a screen golf system to which the virtual golf simulation apparatus according to an embodiment of the present invention
  • Figure 2 is a block showing the configuration of the virtual golf simulation apparatus applied to the screen golf system shown in FIG. It is also.
  • the virtual golf simulation apparatus is a sensing device (S) for sensing the user hitting the ball (B), and the image of the virtual golf course It is configured to include a simulator (1) for performing a virtual golf simulation by providing a simulation image of the trajectory of the ball in the virtual golf course according to the sensing result of the sensing device (S).
  • a screen golf system to which a virtual golf simulation apparatus is applied has a batter that allows a user to swing a golf on the bottom of a golf booth 2 that provides a predetermined size of space.
  • 110 is provided, the batting mat 120 is provided on one side of the plate at bat 110 so that the user can hit the ball (B) placed on the batting mat 120 in the plate at bat 110 by the golf swing
  • the batter 110 and the hitting mat 120 may be provided on the bottom surface of the golf booth 2, but may be provided on the swing plate 100 as shown in FIG.
  • the swing plate 100 may be inclined at a predetermined angle in front, rear, left, and right directions, and may be connected to the simulator 1 to form a slope corresponding to the terrain of the virtual golf course that is currently implemented.
  • a sensing device S is provided to sense that the user strikes the ball B.
  • a sensing device using an image sensing method as the sensing device S is provided. Is shown.
  • the virtual golf simulation apparatus is a sensing device (S) of the image sensing method including a camera unit 50 and the sensing processing unit 60 as the sensing device (S) ) May be provided.
  • the camera unit 50 may be configured by a sensor unit for sensing an image or may be configured by two or more sensor units.
  • the camera unit 50 acquires an image of a moving ball B to obtain an image of a ball in a three-dimensional space.
  • the sensing device of the virtual golf simulation apparatus is related to a sensing device of an image sensing method.
  • the sensing device of the virtual golf simulation apparatus is not limited thereto and senses that a user strikes a ball and moves through a predetermined information process. All sensing devices to extract the physical properties of the ball can be included.
  • a description will be given of an image sensing method of an image sensing method of acquiring an image of a user hitting a ball and extracting a physical characteristic of a moving ball through predetermined information processing.
  • the sensing device S includes a camera unit 50 including a plurality of sensor units 51 and 52, and physical characteristics of a ball moving by processing an image acquired by the camera unit 50. It may be configured to include a sensing processing unit 60 for extracting.
  • the physical characteristics of the ball moving may include the speed of the ball, the direction of movement of the ball (horizontal direction of movement), the angle of height of the ball (direction of movement in the vertical direction), the spin applied to the ball, and the like.
  • the sensing processing unit 60 obtains and collects a source image acquired through the camera unit 50 in a frame unit sequentially and collects the image from the image collecting unit 61. It may be configured to include an image processor 64 for extracting the physical characteristics of the ball to be processed by receiving and processing the image of the obtained frame in real time.
  • the image collecting unit 61 transfers the grabber 62 to store the image acquired by the sensor units 51 and 52 to the shot detector 63 and the image transmitted from the grabber 62. It is preferably configured to include a shot detector (63) to detect whether the blow is ready by receiving and processing, and also to detect whether or not the blow is made by collecting and storing the image to be transmitted to the image processing unit 64 when the blow is detected. Do.
  • the image collecting unit 61 displays an image of one frame so that the image processing for extracting the physical characteristics of the moving ball can be performed immediately in real time. As soon as it is obtained, it is transmitted to the image processor 64 in real time, so that the image processing can be performed quickly so that the simulation can proceed quickly without delay.
  • the sequential acquisition of the image by the image collecting unit 61 and the image processing by the image processing unit 64 are independently performed.
  • transmitting the image in real time means that the image collecting unit 61 transmits an image of one frame to the image processing unit 64, and then collects the image at the time when the processing of the image received by the image processing unit 64 is completed.
  • the image processing unit 64 receives an image obtained by the unit 61 (an image of a next frame or an image of a frame after being skipped one or more times) and receives an image to perform image processing in real time.
  • the time required to extract the physical properties of the is significantly shortened. Details thereof will be described later.
  • the simulator 1 constituting the virtual golf simulation apparatus includes a controller M, a database 10, an image processor 20, an image output unit 30, and the like. This is preferable.
  • the database 10 stores all data necessary for the virtual golf simulation. For example, data necessary for driving the system, data about the image implementation of the virtual golf course, data about the simulation image implementation for the ball trajectory, and the like are stored.
  • the image processor 20 is a part where predetermined image processing is performed to implement an image of a virtual golf course or a simulation image of a trajectory of a ball unfolding in a virtual golf course.
  • the image output unit 30 is for outputting the image information received from the image processing unit 20 on the screen for the user to see.
  • the controller M receives information according to the sensing result from the sensing device S so as to control operations of all components such as the database 10, the image processor 20, and the image output unit 30. It is provided. That is, the control unit M, the database 10, the image processing unit 20 and the like function as image implementing means for implementing a simulation image of the trajectory of the ball according to the sensing result of the sensing device S.
  • the flow of information transmission in the sensing apparatus according to the present invention is performed in the order of the camera unit 50-> image collecting unit 61-> image processing unit 64-> simulator 1.
  • the camera unit 50 acquires an image of several hundred frames per second while photographing a predetermined range including a portion at which a turn at bat and a hit mat are provided.
  • the obtained image is transmitted to the grabber 62 of the image collecting unit 61, and the grabber 62 receives the image from the camera unit 50 and stores the image, and delivers the image to the shot detector 63 so that image processing is performed. do.
  • the shot detector 63 processes the image received from the grabber 62 to detect whether or not the blow preparation is completed, and when the blow preparation is completed (that is, a preset time elapses with the ball placed on the hitting mat). If a certain condition is satisfied, the user detects whether the golf club hits the ball placed on the hitting mat.
  • the shot detector 63 stores both the image at the time of hitting and the image of a plurality of frames thereafter, which is transmitted to the image processor 64 to perform image processing in real time.
  • the image processor 64 extracts the physical characteristics of the moving ball by transferring the image transmitted when the shot detector 63 detects a hit and transmits the image to the simulator 1.
  • the shot detector 63 and the image processor 64 are configured to enable real-time processing of an image so that the extraction of physical characteristics can be performed very quickly. A detailed description thereof will be described with reference to FIG. 4.
  • the shot detector when the shot detector detects a hit preparation (S10), and then detects a hit as the user hits the ball (S20), the shot detector starts to collect an image for image processing (S30).
  • the camera unit When the camera unit acquires an image at a speed of, for example, 300 fps, the camera acquires about 300 frames per second.
  • the shot detector captures 7 frames before the hit, 1 frame at the time of hitting, and 30 frames at the time of 100 ms after hitting. It collects and stores the image and transmits the image to the image processor in real time.
  • the shot detector acquires and stores 30 frames of images from the image of 0 frames, and the images of each frame are transmitted to the image processor in real time as they are obtained.
  • the image processor does not process all images of all frames obtained by the shot detector, but processes only images received in real time.
  • the sensing apparatus allows the image processor to process only an image that can be transmitted in real time among the images obtained by the shot detector.
  • the shot detector when the shot detector first acquires an image of 0 frame, the shot detector first transmits the image to the image processor in real time.
  • the image processor is in the standby state (S40) and immediately receives the image. Start processing the frame's image.
  • the image processing unit receives and processes an image of 0 frame, and when the processing is completed, receives and processes an image of a frame obtained by the shot detector, that is, an image of 2 frames in real time.
  • the image processor is processing an image of 0 frame
  • the image of one frame that the shot detector obtains is stored without transmitting.
  • the image processing unit processes the image of 2 frames immediately after processing the image of 0 frame, and the processing is performed quickly so that the image of 2 frame is obtained when the image of the next frame, 3 frame, is obtained. If the processing is completed, the image processor receives 3 frames of images in real time and starts processing.
  • the shot detector is not configured to sequentially transmit images to the image processing unit in order of obtaining images from the grabber, but is configured to transmit an image of a frame obtained in real time when processing of an image already transmitted to the image processing unit is completed.
  • the image processing unit may not receive images sequentially from the shot detector, but may receive images of other frames in real time when processing of the already received images is completed.
  • the image processor takes a long time to process an image that has already been sent, it will skip several frames of the image. If the image processor takes a very short time to process an image that has already been sent, the next frame image of the already processed image will be skipped. You will be able to receive it immediately.
  • the image processing unit does not continuously perform image processing until receiving the image of the last frame, and after processing a predetermined number of image frames and determines whether the image processing is complete (S50), image processing If it is judged that all are completed, the image processing is terminated and information about the physical characteristics of the ball extracted by the image processing is transmitted to the simulator (at this time, even if the image processing unit has finished the image processing, the shot detector continues to collect the image. Collect and store as many frames as you can). If the image processing is not completed (when the physical characteristic information of the ball is insufficient to extract, etc.), the image processing is continued from the image of the next real-time transmitted frame.
  • an image of a frame not transmitted by the shot detector is additionally transmitted. Receive and process.
  • an image of one frame and an image of four frames are not transmitted to the image processing unit (at this time, the shot detector stores these image frames). The process proceeds repeatedly until the physical property information is extracted.
  • the sensing device used in the virtual golf simulation apparatus obtains a plurality of frames of images hitting a ball by a user's swing, but can process the images in real time as the images are acquired. By dramatically shortening the time, the user can swing and the simulation image can be realized almost simultaneously, further improving the reality.
  • the virtual golf simulation apparatus and method thereof, and the sensing device and the sensing method used therein are a golf game or a so-called golf game that allows a user to enjoy a virtual golf game by performing a golf simulation based on virtual reality. It can be used for screen golf industry.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자가 골프클럽으로 볼을 타격하는 것을 센싱장치가 센싱하여 그 센싱 결과에 따라 가상의 골프코스 상에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상의 골프코스에서 가상의 골프를 즐길 수 있도록 하여 실제 골프장에서 골프를 즐기는 것과 같은 리얼리티를 제공하기 위한 것으로, 특히 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있어 리얼리티를 더욱 향상시키도록 할 수 있는 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

Description

가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법
본 발명은 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 관한 것으로 더욱 상세하게는, 가상의 골프코스가 영상화되어 시뮬레이션 되고 사용자가 타격한 골프공의 궤적이 센싱장치에 의해 센싱되어 상기 가상의 골프코스에서 시뮬레이션 되는 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 관한 것이다.
최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.
특히 최근에는 이른바 스크린 골프 시스템이 등장하여 사용자가 골프 클럽을 들고 골프 스윙을 함에 따라 타격 매트에 놓인 볼을 타격하면 센싱장치가 이를 센싱하여 이동하는 골프공의 물리적 특성을 추출하고 이를 바탕으로 가상의 골프코스에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상 현실상에서 골프를 즐길 수 있도록 하는 기술이 개발되고 있다.
이와 같은 인터액티브 스포츠 게임에서 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.
예컨대 적외선 센서를 이용한 센싱장치, 레이저 센서를 이용한 센싱장치, 음향 센서를 이용한 센싱장치, 그리고 카메라 센서를 이용한 센싱장치 등 다양한 센싱 방식이 등장하고 있다.
그러나 적외선 센서 등은 센싱 처리 시간이 빠르기 때문에 시뮬레이션이 빠르게 진행될 수 있는 장점은 있으나 센싱 정확성이 떨어지는 문제점이 있고, 반면 카메라 센서는 센싱 정확성을 향상시킬 수는 있으나 센싱 처리에 시간이 많이 소요되어 사용자가 볼을 타격한 후 소정의 시간이 경과된 후에 볼의 궤적에 대한 시뮬레이션 영상이 구현되어 가상 골프의 리얼리티가 크게 감소함으로써 사용자의 흥미를 크게 저하시키게 되는 문제점이 생긴다.
본 발명은 사용자가 골프클럽으로 볼을 타격하는 것을 센싱장치가 센싱하여 그 센싱 결과에 따라 가상의 골프코스 상에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상의 골프코스에서 가상의 골프를 즐길 수 있도록 하여 실제 골프장에서 골프를 즐기는 것과 같은 리얼리티를 제공하기 위한 것으로, 특히 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있어 리얼리티를 더욱 향상시키도록 할 수 있는 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 적어도 하나의 센서부; 상기 센서부로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부; 및 상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부를 포함한다.
한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 상기 카메라 유닛으로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부와, 상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부를 포함하는 센싱처리유닛을 포함하는 센싱장치와, 상기 센싱처리유닛에서 추출된 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현유닛을 포함한다.
한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법은, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 단계; 이미지 수집부에서 상기 취득되는 복수 프레임의 이미지를 순차적으로 입수하여 저장하는 단계; 상기 이미지 수집부가 입수하는 프레임의 이미지를 실시간으로 이미지 처리부로 전송하는 단계; 및 상기 이미지 처리부가 실시간으로 전송받은 프레임의 이미지를 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 단계를 포함한다.
한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 방법은, 사용자의 타격 준비가 완료되었는지 여부를 감지하는 단계; 타격 준비가 완료된 경우, 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 단계; 타격이 이루어진 경우, 타격 시점 및 그 전후의 이미지를 프레임 단위로 입수하여 저장하는 단계; 상기 입수되는 이미지를 실시간으로 처리함으로써 이동하는 볼의 물리적 특성 정보를 추출하는 단계; 및 상기 추출된 볼의 물리적 특성 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 단계를 포함한다.
본 발명에 따른 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법은 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있어 리얼리티를 더욱 향상시키도록 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치의 구성에 관하여 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치의 정보 처리 프로세스에 관하여 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 센싱장치의 실시간 이미지 처리 프로세스에 관하여 나타낸 도면이다.
본 발명에 따른 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 대한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.
먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치 및 이에 이용되는 센싱장치에 관하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이고, 도 2는 도 1에 도시된 스크린 골프 시스템에 적용된 가상 골프 시뮬레이션 장치의 구성을 나타내는 블록도이다.
도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는 사용자가 볼(B)을 타격하는 것을 센싱하기 위한 센싱장치(S)와, 가상의 골프코스에 관한 영상을 구현하며 상기 센싱장치(S)의 센싱 결과에 따라 가상의 골프코스에서 볼의 궤적에 대한 시뮬레이션 영상을 제공하도록 하여 가상 골프 시뮬레이션을 진행하는 시뮬레이터(1)를 포함하도록 구성된다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템은, 소정 크기의 공간을 제공하는 골프 부스(2)의 바닥에 사용자가 골프 스윙을 할 수 있는 타석(110)이 마련되고, 상기 타석(110)의 일측에는 타격매트(120)가 마련되어 사용자는 타석(110)에서 타격매트(120)에 놓인 볼(B)을 골프 스윙에 의해 타격할 수 있도록 하며, 전방에는 스크린(3)이 마련되어 시뮬레이터(1)로부터 영상 정보를 전달받은 영상출력을 위한 장치(도 2에 도시된 영상출력부(30)로서, 예컨대 빔 프로젝트 등)가 상기 스크린(3) 상에 가상 골프 시뮬레이션에 관한 영상을 투영시키도록 구성될 수 있다.
여기서 상기 타석(110) 및 타격매트(120)는 골프 부스(2)의 바닥면에 마련될 수도 있으나, 도 1에 도시된 바와 같이 스윙플레이트(100) 상에 마련되도록 하는 것도 가능하다.
상기 스윙플레이트(100)는 전후좌우 방향으로 소정 각도 기울어질 수 있도록 구비되며 시뮬레이터(1)와 연결되어 현재 구현되고 있는 가상의 골프코스의 지형에 대응하여 기울기를 형성할 수 있다.
한편, 골프 부스(2) 내에는 센싱장치(S)가 구비되어 사용자가 볼(B)을 타격하는 것을 센싱하는데, 도 1에서는 센싱장치(S)로서 이미지 센싱 방식을 이용하는 센싱장치가 구비되는 경우에 관하여 나타내고 있다.
즉 도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는 센싱장치(S)로서 카메라 유닛(50) 및 센싱처리유닛(60)을 포함하는 이미지 센싱 방식의 센싱장치(S)가 구비될 수 있다.
상기 카메라 유닛(50)은 하나의 이미지 센싱을 위한 센서부에 의해 구성될 수도 있고 2 이상의 센서부에 의해 구성될 수도 있는데, 이동하는 볼(B)의 이미지를 취득하여 3차원 공간에서의 볼의 좌표를 추출하기 위해서는, 도 1에 도시된 바와 같이 2 이상의 센서부(51, 52)로 스테레오(Stereo) 방식의 카메라 유닛을 구성하도록 함이 바람직하다.
도 1 및 도 2에서는 본 발명에 따른 가상 골프 시뮬레이션 장치의 센싱장치가 이미지 센싱 방식의 센싱장치에 관하여 나타내고 있으나, 이에 한정되지 않고 사용자가 볼을 타격하는 것을 감지하여 소정의 정보 처리를 통해 이동하는 볼의 물리적 특성을 추출하도록 하는 센싱장치는 모두 포함될 수 있다. 여기서는 사용자가 볼을 타격하는 것에 대한 이미지를 취득하여 이에 대해 소정의 정보 처리를 통해 이동하는 볼의 물리적 특성을 추출하는 이미지 센싱 방식의 센싱장치에 대해서 설명하기로 한다.
도 2에 도시된 바와 같이 센싱장치(S)는 복수개의 센서부(51, 52)로 구성되는 카메라 유닛(50)과, 상기 카메라 유닛(50)에서 취득한 이미지를 처리함으로써 이동하는 볼의 물리적 특성을 추출하는 센싱처리유닛(60)을 포함하여 구성될 수 있다.
여기서 이동하는 볼의 물리적 특성은 볼의 속도, 볼의 이동 방향(수평 방향의 이동 각도), 볼의 높이각(수직 방향의 이동 각도), 볼에 걸리는 스핀(Spin) 등을 포함할 수 있다.
상기 센싱처리유닛(60)은 상기 카메라 유닛(50)을 통해 취득된 소스 이미지(Source Image)을 프레임 단위로 순차적으로 입수하여 수집하는 이미지 수집부(61)와, 상기 이미지 수집부(61)에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부(64)를 포함하여 구성될 수 있다.
상기 이미지 수집부(61)는, 상기 센서부(51, 52)에 의해 취득되는 이미지를 저장하면서 샷 디텍터(63)로 전송하는 그래버(62)와, 상기 그래버(62)로부터 전송되는 이미지를 전달받아 처리함으로써 타격 준비가 완료되었는지 여부를 감지하고 또한 타격이 이루어졌는지 여부를 감지하여 타격이 감지되면 상기 이미지 처리부(64)로 전송할 이미지를 수집하여 저장하는 샷 디텍터(63)를 포함하여 구성됨이 바람직하다.
본 발명에 따른 가상 골프 시뮬레이션 장치의 센싱장치는 기본적으로 이동하는 볼의 물리적 특성을 추출하기 위한 이미지의 처리가 실시간으로 바로바로 이루어질 수 있도록 하기 위해 상기 이미지 수집부(61)가 일 프레임의 이미지를 입수하자마자 이를 실시간으로 이미지 처리부(64)로 전송하여 이미지 처리가 빠르게 이루어져 시뮬레이션 진행이 지연됨이 없이 빠르게 진행될 수 있도록 하는 특징을 갖는다.
따라서 상기 이미지 수집부(61에 의한 이미지의 순차적 입수와, 상기 이미지 처리부(64)에 의한 이미지 처리가 각각 독립적을 진행되도록 구성됨이 바람직하다.
여기서 이미지를 실시간으로 전송한다는 것은 이미지 수집부(61)가 일 프레임의 이미지를 이미지 처리부(64)로 전송한 후, 상기 이미지 처리부(64)가 전송받은 이미지의 처리가 완료되는 시점에 상기 이미지 수집부(61)가 입수하는 이미지(다음 프레임의 이미지일 수도 있고 한 번 이상 건너뛴 이후의 프레임의 이미지일 수도 있다)를 이미지 처리부(64)가 전송받아 이미지 처리를 함으로써 이미지 처리가 실시간으로 이루어져 볼의 물리적 특성 추출에 소요되는 시간을 획기적으로 단축시키도록 한 것이다. 이에 대한 구체적인 사항은 후술하기로 한다.
한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치를 구성하는 시뮬레이터(1)는, 제어부(M), 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등을 포함하여 구성됨이 바람직하다.
상기 데이터베이스(10)는 가상 골프 시뮬레이션에 필요한 모든 데이터가 저장된다. 예컨대 시스템 구동에 필요한 데이터와, 가상의 골프코스의 영상 구현에 관한 데이터, 볼의 궤적에 대한 시뮬레이션 영상 구현에 관한 데이터 등이 저장된다.
상기 영상처리부(20)는 가상의 골프코스에 관한 영상이나 가상의 골프코스에서 펼쳐지는 볼의 궤적에 대한 시뮬레이션 영상 등을 구현하기 위한 소정의 영상 처리가 이루어지는 부분이다.
상기 영상출력부(30)는 상기 영상처리부(20)로부터 전달받은 영상 정보를 스크린 상에 출력하여 사용자가 볼 수 있도록 하기 위한 것이다.
상기 제어부(M)는 센싱장치(S)로부터 센싱 결과에 따른 정보를 전달받아 상기 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등의 모든 구성요소들의 동작을 제어할 수 있도록 구비된다. 즉 상기 제어부(M), 데이터베이스(10), 영상처리부(20) 등은 센싱장치(S)의 센싱 결과에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현수단으로서 기능한다.
한편, 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법에 관하여 좀 더 구체적으로 설명한다.
도 3에 도시된 바와 같이 본 발명에 따른 센싱장치에서의 정보 전달 흐름은 카메라 유닛(50) -> 이미지 수집부(61) -> 이미지 처리부(64) -> 시뮬레이터(1)의 순서로 이루어진다.
카메라 유닛(50)은 타석과 타격매트가 마련되어 있는 부분을 포함하는 일정 범위를 촬영하면서 1초당 수백 프레임의 이미지를 취득한다.
이렇게 취득되는 이미지는 이미지 수집부(61)의 그래버(62)로 전송되고, 그래버(62)는 카메라 유닛(50)으로부터 이미지를 전송받아 저장하면서 샷 디텍터(63)로 전달하여 이미지 처리가 이루어지도록 한다.
즉 샷 디텍터(63)는 상기 그래버(62)로부터 전달받은 이미지를 처리하여 타격 준비가 완료되었는지 여부를 감지하고, 타격 준비가 완료된 경우(즉 타격매트 상에 볼이 놓여진 상태로 미리 설정된 시간이 경과하는 등의 특정 조건이 만족되는 경우) 사용자가 골프클럽으로 타격매트에 놓인 볼을 타격하는지 여부를 감지한다.
만약 타격이 이루어지는 경우, 샷 디텍터(63)는 타격 시점의 이미지 및 그 이후의 복수 프레임의 이미지를 모두 저장하는데, 이는 이미지 처리부(64)로 실시간 전송되어 이미지 처리가 이루어지도록 하기 위한 것이다.
이미지 처리부(64)는 샷 디텍터(63)가 타격을 감지한 경우에 전송되는 이미지를 처리함으로써 이동하는 볼의 물리적 특성을 추출하여 시뮬레이터(1)로 전달한다.
이때 상기 샷 디텍터(63)와 이미지 처리부(64)는 이미지의 실시간 처리가 가능하도록 구성됨으로써 물리적 특성 추출이 매우 빠르게 이루어질 수 있도록 하는데, 이에 대한 구체적인 설명은 도 4를 참조하여 설명한다.
도 4에 도시된 바와 같이 샷 디텍터는 타격 준비를 감지하고(S10), 이어서 사용자가 볼을 타격함에 따라 타격을 감지하면(S20), 이미지 처리를 위한 이미지를 수집하기 시작한다(S30).
카메라 유닛이, 예컨대 300fps의 속도로 이미지를 취득하는 경우 1초에 300 frame 정도의 이미지를 취득하는데, 샷 디텍터는 타격 전 7 frame, 타격시점의 1 frame, 그리고 타격 후 100ms 동안 30 frame의 이미지를 수집하여 저장하면서 실시간으로 이미지 처리부로 이미지를 전송한다.
즉 샷 디텍터는 0 frame의 이미지부터 30 frame의 이미지를 입수하여 저장하는데, 각 프레임의 이미지는 입수되는 대로 실시간으로 이미지 처리부로 전송된다.
여기서 상기 이미지 처리부는 샷 디텍터가 입수하는 모든 프레임의 이미지를 모두 처리하는 것은 아니고 실시간으로 전송받는 이미지만을 원칙적으로 처리한다.
이동하는 볼의 물리적 특성을 추출하기 위해 반드시 30 프레임의 이미지를 모두 처리할 필요는 없고 그 중에서 몇 개의 프레임만 분석하면 30 프레임의 이미지를 분석한 것과 실질적으로 동일한 결과를 얻을 수 있기 때문이다.
따라서 본 발명에 따른 센싱장치는 센싱 처리 시간을 단축시키기 위하여 샷 디텍터가 입수하는 이미지 중 실시간으로 전송받을 수 있는 이미지만을 이미지 처리부가 처리하도록 한 것이다.
좀 더 구체적으로 설명하면, 도 4에 도시된 바와 같이 샷 디텍터가 먼저 0 frame의 이미지를 입수하면 이를 이미지 처리부로 실시간 전송하는데, 이미지 처리부는 대기(S40) 상태에 있다가 이미지 전송을 받는 즉시 해당 프레임의 이미지를 처리하기 시작한다.
즉 이미지 처리부는 0 frame의 이미지를 전송받아 처리하기 시작하고, 처리가 완료된 경우에 샷 디텍터가 입수하는 프레임의 이미지, 즉 2 frame의 이미지를 실시간 전송받아 처리한다.
이때 이미지 처리부가 0 frame의 이미지를 처리하고 있는 동안 샷 디텍터가 입수하는 1 frame의 이미지는 전송하지 않고 저장만 한다.
만약 도 4에 도시된 바와 같이 이미지 처리부가 0 frame의 이미지를 처리하고 난 후 곧바로 2 frame의 이미지를 처리하였는데, 그 처리가 빠르게 이루어져서 그 다음 프레임인 3 frame의 이미지를 입수할 때 2 frame의 이미지 처리가 완료되었다면, 이미지 처리부는 3 frame의 이미지를 실시간으로 전송받아 처리하기 시작한다.
샷 디텍터는 그래버로부터 이미지를 입수하는 순서대로 빠짐없이 이미지 처리부로 순차적 전송을 하는 것이 아니라, 이미지 처리부로 이미 전송한 이미지의 처리가 완료될 때 입수하는 프레임의 이미지를 실시간으로 전송하도록 구성되는 것이다.
또한 이미지 처리부도 샷 디텍터로부터 이미지를 순차적으로 전송받는 것이 아니라 이미 전송받은 이미지의 처리가 완료되는 시점에서 실시간으로 다른 프레임의 이미지를 전송받는 것이다.
따라서 이미지 처리부가 이미 전송받은 이미지를 처리하는데 시간이 많이 소요된다면 여러 프레임의 이미지를 건너뛰게 될 것이고, 이미지 처리부가 이미 전송받은 이미지를 처리하는데 매우 짧은 시간이 걸렸다면 이미 처리된 이미지의 다음 프레임 이미지를 곧바로 전송받을 수 있게 될 것이다.
한편, 이미지 처리부는 마지막 프레임의 이미지를 전송받을 때까지 이미지 처리를 계속적으로 수행하는 것이 아니라, 미리 설정된 개수의 이미지 프레임을 처리한 후 이미지 처리가 모두 완료되었는지 여부를 판단하여(S50), 이미지 처리가 모두 완료되었다고 판단되는 경우에는 이미지 처리를 종료하고 이미지 처리에 의해 추출된 볼의 물리적 특성에 관한 정보를 시뮬레이터로 전달한다(이때 이미지 처리부가 이미지 처리를 종료하였다고 해도 샷 디텍터는 이미지의 수집을 계속하여 정해진 개수만큼의 프레임은 모두 수집하여 저장한다). 만약 이미지 처리가 완료되지 않은 경우(볼의 물리적 특성 정보가 추출되기에 부족한 경우 등)에는 다음 실시간 전송되는 프레임의 이미지부터 이미지 처리를 속행한다.
만약, 이미지 처리부가 실시간으로 이미지 처리를 수행하였음에도 불구하고 이미지 처리가 완료되지 않는 경우(볼의 물리적 특성 정보가 추출되기에 부족한 경우 등)에는 샷 디텍터에 의해 전송되지 않은 프레임의 이미지를 추가로 전송받아 처리를 한다.
예컨대 도 4에서는 1 frame의 이미지와 4 frame의 이미지 등이 이미지 처리부로 전송되지 않았는데(이때에도 샷 디텍터는 이들 이미지 프레임을 저장하고 있다), 상기 1 frame의 이미지부터 하나씩 전송받아 이미지 처리하여 볼의 물리적 특성 정보가 추출될 때까지 반복적으로 진행한다.
상기한 바와 같이 본 발명에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있도록 할 수 있어 리얼리티를 더욱 향상시킬 수 있다.
발명의 실시를 위한 최선의 형태 항목에서 구체적으로 기재하고 있다.
본 발명에 따른 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법은은 가상 현실 기반의 골프 시뮬레이션이 이루어지도록 함으로써 사용자가 가상의 골프 경기를 즐길 수 있도록 할 수 있는 골프 게임이나 소위 스크린 골프 산업 분야 등에 이용 가능하다.

Claims (15)

  1. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
    사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 적어도 하나의 센서부;
    상기 센서부로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부; 및
    상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부;
    를 포함하는 센싱장치.
  2. 제1항에 있어서,
    상기 이미지 수집부의 이미지의 순차적 입수와, 상기 이미지 처리부의 이미지 처리가 각각 독립적으로 수행되도록 구성되는 것을 특징으로 하는 센싱장치.
  3. 제1항에 있어서,
    상기 이미지 수집부는, 입수된 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 상기 이미지 처리부와는 독립적으로 이미지를 프레임 단위로 순차적 입수하며, 상기 이미지 처리부에서 이미 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 이미지 수집부가 입수하는 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 실시간 처리가 이루어지도록 한 것을 특징으로 하는 센싱장치.
  4. 제1항에 있어서,
    상기 이미지 처리부는, 상기 이미지 수집부와는 독립적으로 이미지 처리를 수행하며, 전송받은 프레임의 이미지의 처리가 완료된 시점에 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받아 이미지 처리를 수행함으로써 실시간 처리가 이루어지도록 한 것을 특징으로 하는 센싱장치.
  5. 제1항에 있어서, 상기 이미지 수집부는,
    상기 센서부에 의해 취득되는 이미지를 저장하고 전송하는 그래버와,
    상기 그래버로부터 전송되는 이미지를 전달받아 처리함으로써 타격이 이루어졌는지 여부를 감지하여 상기 이미지 처리부로 전송할 이미지를 수집하여 저장하는 샷 디텍터를 포함하는 것을 특징으로 하는 센싱장치.
  6. 제5항에 있어서, 상기 샷 디텍터는,
    상기 그래버로부터 전달받은 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 다음 프레임의 이미지를 순차적으로 전달받으며, 상기 이미지 처리부가 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 그래버로부터 전달받은 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 이미지의 실시간 전송이 이루어지도록 한 것을 특징으로 하는 센싱장치.
  7. 제6항에 있어서,
    상기 이미지 처리부는 상기 샷 디텍터로부터 실시간 전송받은 이미지를 처리하여도 이동하는 볼의 물리적 특성을 산출할 수 없는 경우, 상기 샷 디텍터에 저장되어 있는 이미지 프레임 중 상기 이미지 처리부로 전송되지 않은 이미지 프레임들 중 일부 또는 전부를 추가로 전송받아 이미지 처리를 함으로써 이동하는 볼의 물리적 특성을 산출하도록 한 것을 특징으로 하는 센싱장치.
  8. 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 상기 카메라 유닛으로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부와, 상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부를 포함하는 센싱처리유닛을 포함하는 센싱장치와,
    상기 센싱처리유닛에서 추출된 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현유닛;
    을 포함하는 가상 골프 시뮬레이션 장치.
  9. 가상 골프 시뮬레이션을 위한 센싱방법에 있어서,
    사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 단계;
    이미지 수집부에서 상기 취득되는 복수 프레임의 이미지를 순차적으로 입수하여 저장하는 단계;
    상기 이미지 수집부가 입수하는 프레임의 이미지를 실시간으로 이미지 처리부로 전송하는 단계; 및
    상기 이미지 처리부가 실시간으로 전송받은 프레임의 이미지를 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 단계;
    를 포함하는 센싱방법.
  10. 제9항에 있어서,
    상기 이미지 수집부의 이미지의 순차적 입수와, 상기 이미지 처리부의 이미지 처리가 각각 독립적으로 수행됨으로써 상기 이미지 처리부가 이미지를 처리하는 동안에도 상기 이미지 수집부는 다른 프레임의 이미지를 입수하여 저장하는 것을 특징으로 하는 센싱방법.
  11. 제9항에 있어서, 상기 실시간으로 이미지 처리부로 전송하는 단계는,
    일 프레임의 이미지를 입수하여 저장하면서 상기 이미지 처리부가 이미 전송받은 이미지의 이미지 처리를 완료하였는지 여부를 판단하여,
    상기 이미지 처리부의 이미지 처리를 완료한 경우에는 상기 입수한 프레임의 이미지를 상기 이미지 처리부로 전송하고, 이미지 처리가 완료되지 않은 경우에는 전송하지 않도록 한 것을 특징으로 하는 센싱방법.
  12. 제9항에 있어서, 상기 실시간으로 전송받은 프레임의 이미지를 처리하는 단계는,
    상기 이미지 처리부가 상기 이미지 수집부로부터 이미 전송받은 이미지를 처리하면서 이미지의 처리가 완료되었는지 여부를 판단하여,
    상기 이미지의 처리가 완료된 경우 그 시점에서 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받아 이미지 처리를 수행하고, 상기 이미지의 처리가 완료되지 않은 경우 그 시점에서 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받지 않도록 한 것을 특징으로 하는 센싱방법.
  13. 사용자의 타격 준비가 완료되었는지 여부를 감지하는 단계;
    타격 준비가 완료된 경우, 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 단계;
    타격이 이루어진 경우, 타격 시점 및 그 전후의 이미지를 프레임 단위로 입수하여 저장하는 단계;
    상기 입수되는 이미지를 실시간으로 처리함으로써 이동하는 볼의 물리적 특성 정보를 추출하는 단계; 및
    상기 추출된 볼의 물리적 특성 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 단계;
    를 포함하는 가상 골프 시뮬레이션 방법.
  14. 제13항에 있어서, 상기 입수되는 이미지를 실시간으로 처리하는 단계는,
    이미지의 입수와 이미지의 처리가 각각 독립적으로 진행되며, 진행중인 이미지 처리가 완료되는 시점에 입수되는 프레임의 이미지를 처리함으로써 입수되는 이미지를 실시간으로 처리하도록 한 것을 특징으로 하는 가상 골프 시뮬레이션 방법.
  15. 제14항에 있어서, 상기 볼의 물리적 특성 정보를 추출하는 단계는,
    상기 실시간 이미지 처리 결과 볼의 물리적 특성 정보를 추출할 수 없는 경우, 상기 이미지를 프레임 단위로 입수하여 저장하는 단계에서 저장된 이미지 중 이미지 처리가 이루어지지 않은 이미지 프레임에 대해 추가로 이미지 처리가 이루어지도록 한 것을 특징으로 하는 가상 골프 시뮬레이션 방법.
PCT/KR2012/002070 2011-03-22 2012-03-22 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법 WO2012128566A2 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014501003A JP5811263B2 (ja) 2011-03-22 2012-03-22 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法
CN201280013719.8A CN103476467B (zh) 2011-03-22 2012-03-22 虚拟高尔夫模拟装置及方法,及其使用的感测装置与感测方法
US14/004,925 US9333412B2 (en) 2011-03-22 2012-03-22 Virtual golf simulation apparatus and method and sensing device and method used for the same
AU2012231923A AU2012231923B2 (en) 2011-03-22 2012-03-22 Virtual golf simulation apparatus and method and sensing device and method used for the same
CA2830487A CA2830487C (en) 2011-03-22 2012-03-22 Virtual golf simulation apparatus and method and sensing device and method used for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0025153 2011-03-22
KR1020110025153A KR101048091B1 (ko) 2011-03-22 2011-03-22 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법

Publications (2)

Publication Number Publication Date
WO2012128566A2 true WO2012128566A2 (ko) 2012-09-27
WO2012128566A3 WO2012128566A3 (ko) 2012-11-22

Family

ID=44923406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/002070 WO2012128566A2 (ko) 2011-03-22 2012-03-22 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법

Country Status (8)

Country Link
US (1) US9333412B2 (ko)
JP (1) JP5811263B2 (ko)
KR (1) KR101048091B1 (ko)
CN (1) CN103476467B (ko)
AU (1) AU2012231923B2 (ko)
CA (1) CA2830487C (ko)
TW (1) TWI445566B (ko)
WO (1) WO2012128566A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009020886A1 (en) * 2007-08-03 2009-02-12 Pro Tee Systems, Inc. Golf gaming systems and methods
US20160287967A1 (en) * 2015-03-30 2016-10-06 Sureshot Golf Ventures, Inc. Systems And Methods For Game Play In Three Dimensions At A Golf Driving Range
CN105999677B (zh) * 2016-05-19 2020-06-05 北京高派科技有限公司 一种可联网的便携式高尔夫模拟系统及模拟方法
CN107067424B (zh) * 2017-04-18 2019-07-12 北京动视科技有限公司 一种击球影像生成方法及系统
US10279269B2 (en) 2017-06-22 2019-05-07 Centurion VR, LLC Accessory for virtual reality simulation
CN109107145A (zh) * 2018-08-18 2019-01-01 中山市迈进高尔夫用品有限公司 一种虚拟高尔夫模拟装置和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6579190B2 (en) * 2000-03-15 2003-06-17 Sumitomo Rubber Industries, Ltd. Ball motion measuring apparatus
KR100949847B1 (ko) * 2009-06-30 2010-03-29 (주) 골프존 스크린 골프 시뮬레이션 장치
US20100104136A1 (en) * 2006-06-12 2010-04-29 Wintriss Engineering Corporation Method and apparatus for detecting the placement of a golf ball for a launch monitor
KR100970675B1 (ko) * 2009-11-30 2010-07-15 (주) 골프존 가상 골프 시뮬레이션 장치 및 이를 포함하는 시스템과, 가상 골프 시뮬레이션 방법
US20100184496A1 (en) * 2009-01-19 2010-07-22 Full Swing Golf Methods and systems for sports simulation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5437457A (en) * 1993-10-04 1995-08-01 Virtual Golf, Inc. Golf ball trajectory and spin sensing system
US5554033A (en) * 1994-07-01 1996-09-10 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5863255A (en) * 1996-10-09 1999-01-26 Mack; Thomas E Device and method to measure kinematics of a moving golf ball
US5938545A (en) * 1997-06-05 1999-08-17 The United States Of America As Represented By The Secretary Of The Navy Video system for determining a location of a body in flight
JPH11213167A (ja) * 1998-01-30 1999-08-06 Yamaha Corp 目標物の位置検出装置および方法並びにフォーム解析装置
KR100470703B1 (ko) * 2001-09-22 2005-03-09 권오석 골프연습을 위한 시뮬레이션 시스템
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
WO2010040219A1 (en) * 2008-10-08 2010-04-15 Interactive Sports Technologies Inc. Sports simulation system
JP2005233800A (ja) * 2004-02-20 2005-09-02 Sumitomo Rubber Ind Ltd ボール落下地点の計測装置
JP4569275B2 (ja) * 2004-11-25 2010-10-27 ソニー株式会社 撮像装置と撮像方法
US20070196800A1 (en) * 2006-01-27 2007-08-23 Douthit Ronnie D Systems and methods for golfing simulation and swing analysis
US8430770B2 (en) * 2006-10-07 2013-04-30 Brian M. Dugan Systems and methods for measuring and/or analyzing swing information
JP5297677B2 (ja) * 2008-04-08 2013-09-25 株式会社フローベル 検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム
KR100937922B1 (ko) * 2009-02-12 2010-01-21 엔지비스 주식회사 구형 물체의 비행정보 측정 시스템 및 방법
KR100946970B1 (ko) * 2009-09-04 2010-03-15 (주) 골프존 자동캐디기와 이를 구비하는 가상 골프 시뮬레이션 시스템 및 그 제어방법
KR101019823B1 (ko) 2010-06-29 2011-03-04 (주) 골프존 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치
KR101019798B1 (ko) 2010-06-29 2011-03-04 (주) 골프존 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6579190B2 (en) * 2000-03-15 2003-06-17 Sumitomo Rubber Industries, Ltd. Ball motion measuring apparatus
US20100104136A1 (en) * 2006-06-12 2010-04-29 Wintriss Engineering Corporation Method and apparatus for detecting the placement of a golf ball for a launch monitor
US20100184496A1 (en) * 2009-01-19 2010-07-22 Full Swing Golf Methods and systems for sports simulation
KR100949847B1 (ko) * 2009-06-30 2010-03-29 (주) 골프존 스크린 골프 시뮬레이션 장치
KR100970675B1 (ko) * 2009-11-30 2010-07-15 (주) 골프존 가상 골프 시뮬레이션 장치 및 이를 포함하는 시스템과, 가상 골프 시뮬레이션 방법

Also Published As

Publication number Publication date
AU2012231923A1 (en) 2013-10-03
US20140004968A1 (en) 2014-01-02
AU2012231923B2 (en) 2016-04-28
CN103476467A (zh) 2013-12-25
JP2014511724A (ja) 2014-05-19
JP5811263B2 (ja) 2015-11-11
WO2012128566A3 (ko) 2012-11-22
TW201244787A (en) 2012-11-16
US9333412B2 (en) 2016-05-10
CN103476467B (zh) 2015-10-14
CA2830487C (en) 2016-11-01
TWI445566B (zh) 2014-07-21
CA2830487A1 (en) 2012-09-27
KR101048091B1 (ko) 2011-07-08

Similar Documents

Publication Publication Date Title
WO2012128568A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
WO2012128566A2 (ko) 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법
WO2011065802A2 (en) Virtual golf simulation device, system including the same and terminal device, and method for virtual golf simulation
CN108697922B (zh) 用于棒球练习装置的传感装置及传感方法、利用其的棒球练习装置及其控制方法
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
CN103442773B (zh) 虚拟高尔夫模拟装置及其使用的感测装置与感测方法
KR101059325B1 (ko) 가상 골프 시뮬레이션 장치 및 방법
WO2011081472A2 (en) Apparatus and method for virtual golf simulation
WO2012091514A2 (ko) 퍼팅 모드를 제공하는 가상 골프 시뮬레이션 장치 및 방법
WO2011081470A2 (en) Apparatus and method for virtual golf simulation imaging sub display and replay display
WO2010134660A1 (ko) 입체 영상을 이용한 스크린 골프 시스템
WO2017160060A2 (ko) 가상 골프 시뮬레이션 장치, 가상 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2016208976A1 (ko) 심판 기능이 포함된 스크린 야구 시뮬레이션 시스템 및 그 제공 방법
WO2018097612A1 (ko) 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
WO2012128572A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
KR102146358B1 (ko) 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치
WO2023003237A1 (ko) 이동하는 볼의 센싱을 위한 영상분석방법 및 이를 이용한 센싱장치
WO2022055318A1 (ko) 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
KR102506074B1 (ko) 하이브리드 골프 시스템, 이에 이용되는 휴대단말기의 제어방법 및 하이브리드 골프 시스템에서 사용자의 휴대단말기를 이용하여 필드 상 볼 위치에 골프공을 위치시키는 방법
WO2023249397A1 (ko) 하이브리드 골프 시스템에서 사용자의 휴대단말기를 이용한 자동 스코어 산출방법 및 이를 이용한 하이브리드 골프 시스템
KR20240002406A (ko) 하이브리드 골프 시스템 및 이를 제어하는 제어부의 자동 스코어 산출방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12761384

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2014501003

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14004925

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2830487

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2012231923

Country of ref document: AU

Date of ref document: 20120322

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12761384

Country of ref document: EP

Kind code of ref document: A2