WO2014109544A1 - 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법 - Google Patents

운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법 Download PDF

Info

Publication number
WO2014109544A1
WO2014109544A1 PCT/KR2014/000197 KR2014000197W WO2014109544A1 WO 2014109544 A1 WO2014109544 A1 WO 2014109544A1 KR 2014000197 W KR2014000197 W KR 2014000197W WO 2014109544 A1 WO2014109544 A1 WO 2014109544A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ball
extracting
feature
spin
Prior art date
Application number
PCT/KR2014/000197
Other languages
English (en)
French (fr)
Inventor
주상현
Original Assignee
(주)골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)골프존 filed Critical (주)골프존
Priority to EP14738295.6A priority Critical patent/EP2945121B1/en
Priority to JP2015551616A priority patent/JP6102002B2/ja
Priority to US14/759,653 priority patent/US20150356744A1/en
Priority to CN201480008284.7A priority patent/CN104981845B/zh
Priority to AU2014205857A priority patent/AU2014205857B2/en
Publication of WO2014109544A1 publication Critical patent/WO2014109544A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00—High-speed photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Definitions

  • the present invention provides a sensing device and a sensing method for a moving ball to obtain a spin of the ball by acquiring an image of the ball moving and predetermined processing and analyzing the image, and an image of the ball image for calculating the spin of the moving ball. It relates to a treatment method.
  • the spin of the ball blown by the blow is rotated at a very high speed around the axis in three-dimensional space, so it is very difficult to measure it, and also requires expensive equipment for accurate measurement.
  • Representative methods for measuring the spin of the ball such as using a radar sensor (Radar Sensor) and a method of analyzing the image acquired using a high-speed or high-speed camera, of which the movement using a high-speed or high-speed camera
  • the method of calculating the spin of a ball is performed by displaying a specific pattern on the ball and calculating the spin axis and the amount of spin of the moving ball by analyzing a change of the specific pattern displayed on the ball in an image acquired by a high speed or ultra high speed camera. .
  • the specific pattern displayed on the ball is a very simple shape, so that the spin calculation is performed by using a specific size and color or by displaying a pattern using a photosensitive material to clearly distinguish the image on the image. do.
  • the spin calculation method of displaying a specific pattern on the ball and analyzing the image causes a problem of inconvenience and inconvenience of displaying a specific pattern on the ball, and is also displayed on the ball due to repeated measurements. There is a problem that the pattern may become impossible to measure as the pattern is gradually blurred or deleted.
  • the present invention relates to measuring the spin by acquiring an image of a ball moving by hitting and analyzing the ball, and not displaying a specific pattern for only the spin measurement, but a logo of a ball manufacturer already displayed on the ball itself. Unspecified marks such as marks, scratches, and stains on the ball, i.e., extract the features quickly and accurately by a simple method, and use them to accurately calculate the spin axis and the amount of spin for the ball's rotation.
  • the present invention provides a sensing device and a sensing method for a moving ball, and an image processing method of a ball image for calculating a spin of the moving ball.
  • a sensing device for a moving ball that calculates a spin for a moving ball by acquiring and analyzing an image of a moving ball includes: Image acquisition means for acquiring a continuous image thereof; Image processing means for extracting a feature on the ball image by extracting a ball image which is an image of a ball portion from each image acquired by the image acquiring means, and removing dimples and various noise portions on the ball image; And spin calculation means for calculating the spin axis and the spin amount of the ball by analyzing the change in the position of the extracted feature on each of two successive ball images.
  • the sensing method for the movement ball to calculate the spin for the movement ball by acquiring and analyzing the image of the movement ball, the ball with a predetermined feature on the surface movement Acquiring successive images thereof; Extracting a ball image which is an image of a ball portion from each of the acquired images; Extracting features on the ball image by removing dimples and various noise portions on the extracted ball image; And calculating the spin axis and the amount of spin of the ball by analyzing the change in position of the extracted feature on each of two successive ball images.
  • the image processing method of the ball image for the calculation of the spin of the moving ball to obtain the image of the movement of the ball marked with a predetermined feature on the surface to calculate the spin of the ball therefrom
  • An image processing method of a ball image extracted from the acquired image comprising: rotating the ball on the original image at an angle using the ball image as an original image; Extracting an n-th order difference image obtained by subtracting the original image from the rotated image of the ball; Extracting an n-th cumulative image by accumulating the n-th order difference image on an n-th order difference image or an n-1th order cumulative image; And extracting a feature on the ball from the image by performing a binarization process on the nth cumulative image according to a predetermined reference value.
  • n is a natural number equal to or greater than 2.
  • the sensing device and the sensing method for the ball moving in accordance with the present invention and the image processing method of the ball image for calculating the spin of the moving ball to measure the spin by acquiring an image of the ball moving by hitting, etc. and analyzing it Rather than displaying a specific pattern for spin measurements only, the ball manufacturer's logo already displayed on the ball itself or any unspecified markings such as trademarks, scratches, or stains on the ball, i.
  • the sensing device and the sensing method for the ball moving in accordance with the present invention and the image processing method of the ball image for calculating the spin of the moving ball to measure the spin by acquiring an image of the ball moving by hitting, etc. and analyzing it Rather than displaying a specific pattern for spin measurements only, the ball manufacturer's logo already displayed on the ball itself or any unspecified markings such as trademarks, scratches, or stains on the ball, i.
  • FIG. 1 is a block diagram briefly showing a configuration of a sensing device for a ball moving in accordance with an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the function of each component from the image acquisition to the spin calculation of the ball using the configuration shown in FIG.
  • FIG. 4 is an enlarged view of a ball part in FIG. 3A.
  • 5A to 5C are views for explaining a process of extracting a ball part from each source image shown in FIGS. 3A to 3C.
  • 6 (a) to 6 (c) show normalized images of the extracted ball images, respectively, as shown in FIGS. 5 (a) to 5 (c).
  • 7 (a) to 7 (f) are time-series diagrams illustrating a process of extracting ball features from an image shown in FIG. 6 (a).
  • FIG. 8 is a diagram for explaining the spin calculation of a moving ball.
  • FIGS. 9 (a) and 9 (b) show normalized images of a ball image extracted from two consecutive source images, respectively.
  • FIGS. 9 (c) and 9 (d) show FIGS. 9 (a) and 9 (b).
  • Figures show feature images from which features are extracted from the image shown in the figure.
  • the present invention basically calculates the spin of the hit ball by shooting with a predetermined camera a user hitting a golf ball (hereinafter referred to as a "ball") with a golf club and analyzing the captured image.
  • a predetermined camera a user hitting a golf ball (hereinafter referred to as a "ball") with a golf club and analyzing the captured image.
  • the configuration is such that a stereo camera or a 3D camera composed of a plurality of cameras can convert coordinates on a two-dimensional image of a ball into three-dimensional coordinates or vice versa.
  • the sensing device and the sensing method for the movement of the ball according to the present invention and the image processing method of the ball image for calculating the spin of the movement of the ball using the analysis of the ball hitting or virtual reality based on the golf swing of the user It can be applied to various fields such as virtual golf.
  • FIGS. 1 and 2 First, a sensing device for a moving ball according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2.
  • the sensing device for a moving ball includes an image acquisition means 100, image processing means 200 and spin calculation means 300 It is composed.
  • the image acquiring means 100 may be implemented as a camera apparatus of a stereo system or a 3D camera apparatus as described above.
  • FIG. 1 illustrates a case where the image acquisition means 100 is implemented as a stereo camera apparatus by the first camera 110 and the second camera 120.
  • the image processing means 200 extracts a ball image, which is an image of a ball portion, from each image acquired by the image acquiring means 100, and removes dimples and various noise portions on the ball image. It is a component that extracts unspecified features such as trademarks, logos, scratches, etc., displayed on the features.
  • the image processing means 200 preferably comprises a ball image extraction means 210, a ball image normalization means 220, and a ball feature extraction means 230.
  • the ball image extracting means 210 is configured to extract a ball image, which is an image of a ball portion, from a source image, which is an image acquired by the image acquiring means 100, and extract a center coordinate of the ball portion. Details thereof will be described later.
  • the ball image normalization means 220 normalizes the size and brightness information of each of the ball images extracted by the ball image extracting means 210, so that the ball image is changed on the source image according to the position of the ball in space. It is configured to normalize size and brightness. Details thereof will be described later.
  • the ball feature extraction means 230 is a feature of the ball appearing on the image from the image that is normalized by the ball image normalization means 220 with respect to the ball image extracted by the ball image extraction means 210 It is a component that extracts parts (unspecified marks such as trademarks, logos, scratches, etc.). To this end, only the feature portion is extracted while repeating the predetermined angle rotation, difference image, and accumulation method a predetermined number of times with respect to the original image in which the image is normalized by the ball image normalization means 220. Details of this will be described later. .
  • the spin calculation means 300 is configured to calculate the spin axis and the amount of spin of the ball by analyzing the change in the position of the extracted feature on each of two consecutive ball images, which will be described later.
  • 3 (a) to 3 (c) illustrate the image of the ball moving in the field of view by a fixed camera at a predetermined time interval, and then removes the background portion and the like through the difference image. 22, 23) shows only the remaining state.
  • the ball is flying in the left diagonal direction through (a), (b) and (c) of FIG. 3.
  • the ball 21 is large as shown in (a) of FIG. 3.
  • the balls 22 and 23 appear smaller as shown in FIGS. 3B and 3C.
  • the image shown in (a), (b) and (c) of FIG. 3, i.e., the background part and various noise parts are removed from the first acquired image through the difference image, and only the ball part, which is the moving part, remains. This is called the source image.
  • the dimple portion DP covering the surface of the ball and the feature F displayed on one side of the ball are shown.
  • noises such as so-called salt and pepper noises that appear to be partially sprayed with salt or pepper, or fixed pattern noises that always appear in a fixed position.
  • the bright part B1 and the darkest part D1 appear as gradations.
  • 5 (a) to 5 (c) show extracting only a ball portion from each source image.
  • the ball portions 21, 22, and 23 are found in the source image, and the center point of the ball portion is extracted. It is preferable that the center point becomes the center point so that the outline of the ball portion is substantially in contact with the outline of the image to be extracted so as to accurately extract it.
  • the image obtained by extracting only the ball portions 21, 22, and 23 from each source image that is, the ball images 211, 212, and 213 has different sizes because they correspond to the size of the ball on each source image. Since the ball portions 21, 22, and 23 appearing on each source image have different influences of lighting depending on the distance from the camera, the brightness is also different for each ball image.
  • FIGS. 5 (a) to 5 (c) show an image in which size and brightness of the ball image corresponding to FIGS. 5 (a) to 5 (c) are normalized by the ball image normalization means.
  • the size of the ball image is the same by normalizing the respective ball images.
  • normalization is performed by using an average value of all pixels constituting the ball portion for each ball image so that the overall brightness of each ball image is the same.
  • the extraction process of the ball feature F by the ball feature extraction means is performed for each normalized ball image as shown in FIG. 7. .
  • FIG. 7 (a) is a normalized ball image, which will be referred to as an original image.
  • (B), (c), (d), and (e) of FIG. 7 respectively illustrate images of sequentially accumulating a difference image image obtained by subtracting the original image from an image of rotating the ball on the original image at an arbitrary angle.
  • FIG. 7F is an image subjected to binarization processing for the cumulative image shown in FIG. 7E.
  • the ball is rotated with respect to the original image as shown in FIG. 7 (a) by a predetermined angle or a randomly selected random angle about the center point of the ball. Extracting the difference image minus the image comes out as shown in (b) of FIG.
  • the image of FIG. 7B is called a primary difference image, and the degree is increased by one so that the number of times of the difference image may be repeated.
  • the portions of the two images that are changed with each other appear bright and the portions with no change appear black, so that the feature portion F is mainly bright and the remaining portions are almost black.
  • the dimple Since the ball is rotated but the dimple is almost the same after the rotation, the dimple is almost unchanged (blacked out) and the gradation and various noises on the original image are also removed.
  • the feature part may not be clearly displayed in one difference image, when the difference image for different angles is extracted and accumulated with the previously extracted difference image, the brighter part of the image appears brighter. It will appear bright and clear.
  • FIG. 7C illustrates a difference image obtained by subtracting the original image, that is, the secondary difference image, from the image in which the ball on the original image is rotated at another preset angle or a randomly selected random angle.
  • (d) is a second cumulative image of a difference image, that is, a tertiary difference image obtained by subtracting the original image from an image of rotating the ball on the original image at another preset angle or a randomly selected random angle.
  • a third cumulative image accumulated on the image shown in (c) of FIG. 7 is shown.
  • FIG. 7E shows a difference image obtained by subtracting the original image, that is, the fourth order image from the image of rotating the ball on the original image at another preset angle or a randomly selected random angle.
  • the fourth-order cumulative image accumulated on the image shown in (d) of FIG. 7 is shown.
  • the image shown in FIG. 7F is extracted by binarizing the fourth-order cumulative image using a threshold value to extract only the feature part through a threshold process or the like.
  • the image shown in FIG. 7F is an image in which only the fully extracted feature FC is shown, which will be referred to as a feature image.
  • each feature is extracted to provide a feature image, respectively, and spin calculation of the ball by the spin calculation means is performed using these feature images.
  • the spin of the ball is coordinate information for the spin axis in the three-dimensional space according to the i-axis, j-axis and k-axis coordinate system as shown in Figure 8 and the angle rotated about the spin axis, that is, information about the amount of spin It can be calculated by calculating.
  • the rotational motion in the three-dimensional space may include pitch, yaw, and roll components, respectively, and the rotational component in the i-axis direction may be rotated in the i- and j-axis directions.
  • ⁇ and the rotational component in the k-axis direction ⁇ , the vector ( ⁇ ) of the spin to be obtained can be expressed as shown in [Equation 1] below.
  • Equation 2 spin axis information as shown in Equation 2 below and spin amount information as shown in Equation 3 can be calculated.
  • ⁇ represents spin amount information.
  • the spin axis and spin amount information can be obtained by finding the yaw rotational component ⁇ , the roll rotational component ⁇ , and the pitch rotational component ⁇ with respect to the spin of the moving ball.
  • Finding such spin axis and spin amount information can be made from features extracted from the ball image as shown in FIG. 7.
  • each of the final extracted features FC1 and FC2 for each of the features F1 and F2 on two consecutive ball images may be included.
  • the spin axis and the amount of spin may be extracted using the first feature image (FIG. 9C) and the second feature image (FIG. 9D).
  • Three-dimensional position information for each pixel constituting the first feature FC1 on the first feature image (FIG. 9C) may be obtained, and an arbitrary spin axis and spin amount may be obtained in the three-dimensional position information.
  • an arbitrary spin axis and spin amount information may be obtained in the three-dimensional position information.
  • the spin axis and the spin amount information which is closest to the second feature part FC2 by repeatedly applying arbitrary spin axis and the spin amount information to the first feature FC1 in the final spin axis and the spin.
  • the amount information it is possible to calculate the spin information for the ball moving.
  • the present invention provides a method capable of quickly and accurately extracting a feature of a ball part from a source image obtained continuously by a simple method, and has the advantage of allowing a quick and accurate calculation of the spin of the ball therefrom. .
  • the golf simulation can be used in the so-called screen golf industry, where the user can enjoy a virtual golf game.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 타격 등에 의해 운동하는 볼에 대한 이미지를 취득하여 이를 분석함으로써 스핀을 측정하도록 하는 것에 관한 것으로 스핀 측정만을 위한 특정 패턴을 표시하는 것이 아니라, 볼 자체에 이미 표시되어 있는 볼 제조회사의 로고나 볼에 대한 상표, 흠집, 얼룩 등과 같은 불특정의 표시, 즉 특징부를 간단한 방법에 의해 빠르고 정확하게 추출하여 이를 이용하여 볼의 회전에 대한 스핀축과 스핀양을 정확하게 산출함으로써 운동하는 볼에 대한 스핀을 측정하도록 하는 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법을 제공하기 위한 것이다.

Description

운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법
본 발명은 운동하는 볼에 대한 이미지를 취득하여 이를 소정 처리하여 분석함으로써 볼의 스핀을 산출하도록 하기 위한 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법에 관한 것이다.
볼을 이용하는 스포츠 경기, 특히 골프의 경우 골퍼에 의해 타격되어 운동하는 볼의 물리적 특성을 정확하게 센싱하여 그 센싱된 값을 이용하여 타구 분석을 한다던지 이를 영상으로 구현하여 소위 스크린 골프와 같은 시뮬레이션 골프 분야에 적용하는 시도는 항상 이루어져 왔었다.
특히 타격에 의해 날아가는 볼의 스핀(Spin)은 3차원 공간상의 축을 중심으로 매우 고속으로 회전하기 때문에 이를 측정하는 것은 상당히 어렵고 또한 정확한 측정을 위해서는 상당히 고가의 장비가 필요하다.
이와 같은 볼의 스핀 측정을 위한 대표적인 방식으로는, 레이더 센서(Radar Sensor)를 이용하는 방식과 고속 또는 초고속 카메라를 이용하여 취득된 이미지를 분석하는 방식이 있는데, 그 중 고속 또는 초고속 카메라를 이용하여 운동하는 볼의 스핀을 산출하는 방식은 볼에 특정 패턴을 표시하고 고속 또는 초고속 카메라로 취득된 이미지에서 볼에 표시된 특정 패턴의 변화를 분석함으로써 운동하는 볼의 스핀축과 스핀양을 계산함으로써 이루어지게 된다.
여기서 볼에 표시하는 특정 패턴은 매우 단순한 형상으로 이미지 상에서 확연하게 구분할 수 있도록 특정 크기 및 색상을 이용하거나 감광성 물질을 이용한 패턴 표시를 함으로써 이미지 상에서 해당 패턴이 확연히 구분되도록 한 상태로 스핀 산출이 이루어지게 된다.
그러나 이와 같이 특정 패턴을 볼에 표시하고 이를 이미지 분석하는 방식의 스핀 산출 방식은, 볼에 일일이 특정 패턴을 표시하여야 하는 번거로움과 불편함이라는 문제를 야기하고, 또한 반복되는 측정으로 인해 볼에 표시된 패턴이 점점 희미하게 되거나 일부분이 삭제되게 됨으로써 측정이 불가능하게 될 수 있는 문제점이 있다.
본 발명은 타격 등에 의해 운동하는 볼에 대한 이미지를 취득하여 이를 분석함으로써 스핀을 측정하도록 하는 것에 관한 것으로 스핀 측정만을 위한 특정 패턴을 표시하는 것이 아니라, 볼 자체에 이미 표시되어 있는 볼 제조회사의 로고나 볼에 대한 상표, 흠집, 얼룩 등과 같은 불특정의 표시, 즉 특징부를 간단한 방법에 의해 빠르고 정확하게 추출하여 이를 이용하여 볼의 회전에 대한 스핀축과 스핀양을 정확하게 산출함으로써 운동하는 볼에 대한 스핀을 측정하도록 하는 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치는, 표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 이미지 취득수단; 상기 이미지 취득수단에 의해 취득된 각 이미지에서 볼 부분에 대한 이미지인 볼 이미지를 추출하여 상기 볼 이미지 상의 딤플 부분 및 각종 노이즈 부분을 제거함으로써 상기 볼 이미지 상의 특징부를 추출하도록 하는 이미지 처리수단; 및 임의의 연속하는 두 볼 이미지상에서 각각 추출된 특징부의 위치 변화를 분석함으로써 볼의 스핀축 및 스핀양을 산출하는 스핀 산출수단을 포함한다.
한편, 본 발명의 일 실시예에 따른, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법은, 표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 단계; 상기 취득된 각 이미지에서 볼 부분에 대한 이미지인 볼 이미지를 추출하는 단계; 상기 추출된 볼 이미지 상의 딤플 부분 및 각종 노이즈 부분을 제거함으로써 상기 볼 이미지 상의 특징부를 추출하는 단계; 및 임의의 연속하는 두 볼 이미지상에서 각각 추출된 특징부의 위치 변화를 분석함으로써 볼의 스핀축 및 스핀양을 산출하는 단계를 포함한다.
한편, 본 발명의 일 실시예에 따른 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법은, 표면에 소정의 특징부가 표시된 볼이 운동하는 것에 대한 이미지를 취득하여 그로부터 볼의 스핀을 산출하기 위한 상기 취득된 이미지로부터 추출된 볼 이미지의 이미지 처리방법에 있어서, 상기 볼 이미지를 원본 이미지로 하여, 상기 원본 이미지 상의 볼을 임의의 각도로 회전시키는 단계; 상기 볼을 회전시킨 이미지에서 상기 원본 이미지를 뺀 n차 차영상을 추출하는 단계; 상기 n차 차영상을 n-1차 차영상 또는 n-1차 누적 이미지에 누적시킴으로써 n차 누적 이미지를 추출하는 단계; 및 상기 n차 누적 이미지에 대해 소정의 기준값에 따른 이진화 처리를 함으로써 이미지로부터 볼에 대한 특징부를 추출하는 단계를 포함한다. 여기서 n은 2 이상의 자연수임.
본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법은 타격 등에 의해 운동하는 볼에 대한 이미지를 취득하여 이를 분석함으로써 스핀을 측정하도록 하는 것에 관한 것으로 스핀 측정만을 위한 특정 패턴을 표시하는 것이 아니라, 볼 자체에 이미 표시되어 있는 볼 제조회사의 로고나 볼에 대한 상표, 흠집, 얼룩 등과 같은 불특정의 표시, 즉 특징부를 간단한 방법에 의해 빠르고 정확하게 추출하여 이를 이용하여 볼의 회전에 대한 스핀축과 스핀양을 정확하게 산출함으로써 운동하는 볼에 대한 스핀을 측정할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치의 구성을 간략히 나타낸 블록도이다.
도 2는 도 1에 도시된 구성을 이용하여 이미지 취득으로부터 볼의 스핀 산출에 이르기까지 각 구성요소별 기능을 설명하기 위한 도면이다.
도 3의 (a) 내지 (c)는 연속하여 취득된 이미지에 대한 소스 이미지를 각각 나타낸 것이다.
도 4는 도 3의 (a)에서 볼 부분을 확대하여 나타낸 도면이다.
도 5의 (a) 내지 (c)는 도 3의 (a) 내지 (c)에 나타낸 각 소스 이미지로부터 볼 부분을 추출하는 과정을 설명하기 위한 도면이다.
도 6의 (a) 내지 (c)는 도 5의 (a) 내지 (c)에 도시된 바와 같이 각각 추출된 볼 이미지에 대해 정규화 된 이미지를 각각 나타낸 것이다.
도 7의 (a) 내지 (f)는 도 6의 (a)에 나타낸 이미지로부터 볼 특징부를 추출하는 과정을 시계열적으로 나타낸 도면이다.
도 8은 운동하는 볼의 스핀 산출을 설명하기 위해 나타낸 도면이다.
도 9의 (a) 및 (b)는 각각 연속하는 두 소스 이미지로부터 추출된 볼 이미지가 정규화된 이미지를 나타낸 것이고, 도 9의 (c) 및 (d)는 도 9의 (a) 및 (b)에 나타낸 이미지에서 각각 특징부를 추출해 낸 특징부 이미지를 나타낸 것이다.
본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법에 관한 구체적인 내용을 도면을 참조하여 설명하도록 한다.
본 발명은 기본적으로 사용자가 골프 클럽으로 골프공(이하 "볼"이라 함)을 타격하는 것을 소정의 카메라로 촬영하고 그 촬영된 이미지를 분석함으로써 타격된 볼의 스핀을 산출하도록 한 것으로서, 상기 카메라는 복수개의 카메라로 스테레오 방식으로 구성되는 스테레오 카메라 또는 3D 카메라로 볼에 대한 2차원 이미지 상의 좌표들을 3차원 좌표로 변환하거나 그 반대의 변환이 가능하도록 하는 구성임이 바람직하다.
그리고 본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법은 사용자의 골프 스윙에 따른 볼의 타구 분석이나 가상 현실 기반의 시뮬레이션을 이용한 가상 골프 등 다양한 분야에 적용될 수 있다.
먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치에 관하여 설명한다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치는 이미지 취득수단(100), 이미지 처리수단(200) 및 스핀 산출 수단(300)을 포함하여 구성된다.
상기 이미지 취득수단(100)은 카메라 장치로서 상기한 바와 같이 스테레오 방식의 카메라 장치이거나 3D 카메라 장치로 구현될 수 있다. 도 1에서는 제1 카메라(110) 및 제2 카메라(120)에 의해 스테레오 방식의 카메라 장치로서 이미지 취득수단(100)이 구현된 경우를 나타내고 있다.
상기 이미지 처리수단(200)은 상기 이미지 취득수단(100)에 의해 취득된 각 이미지에서 볼 부분에 대한 이미지인 볼 이미지를 추출하여 상기 볼 이미지 상의 딤플 부분 및 각종 노이즈 부분을 제거함으로써 상기 볼 이미지 상의 특징부, 즉 볼에 표시된 상표나 로고, 흠집 등의 불특정 표시를 추출하도록 하는 구성요소이다.
상기 이미지 처리수단(200)은 볼 이미지 추출수단(210)과, 볼 이미지 정규화수단(220)과, 볼 특징부 추출수단(230)을 포함하여 구성됨이 바람직하다.
상기 볼 이미지 추출수단(210)은 상기 이미지 취득수단(100)에 의해 취득된 이미지인 소스 이미지로부터 볼 부분에 대한 이미지인 볼 이미지를 추출하고 그 볼 부분에 대한 중심좌표를 추출하도록 구성된다. 이에 대한 구체적인 사항은 후술하도록 한다.
상기 볼 이미지 정규화수단(220)은 상기 볼 이미지 추출수단(210)에 의해 추출된 볼 이미지들 각각의 크기 및 밝기 정보에 대한 노멀라이즈 처리를 함으로써 공간상의 볼의 위치에 따라 소스 이미지 상에서 달라지는 볼의 크기 및 밝기를 정규화하도록 구성된다. 이에 대한 구체적인 사항은 후술하도록 한다.
상기 볼 특징부 추출수단(230)은 상기 볼 이미지 추출수단(210)에 의해 추출된 볼 이미지에 대해 상기 볼 이미지 정규화수단(220)에 의해 이미지 정규화가 이루어진 이미지로부터 이미지 상에 나타난 볼의 특징부(볼에 표시된 상표나 로고, 흠집 등의 불특정 표시) 부분을 추출해내는 구성요소이다. 이를 위해 상기 볼 이미지 정규화수단(220)에 의해 이미지 정규화가 이루어진 원본 이미지에 대해 임의 각도 회전, 차영상 및 누적의 방법을 소정 횟수 반복하면서 특징부 부분만을 추출해 내는데, 이에 대한 구체적인 사항은 후술하도록 한다.
한편, 상기 스핀 산출 수단(300)은 임의의 연속하는 두 볼 이미지상에서 각각 추출된 특징부의 위치 변화를 분석함으로써 볼의 스핀축 및 스핀양을 산출하도록 구성되는데, 이에 대한 구체적인 사항 역시 후술하도록 한다.
먼저 도 3 내지 도 5를 참조하여 이미지 취득수단(100)에 의해 취득된 소스 이미지로부터 볼 이미지 추출수단(210)에 의해 볼 이미지가 추출되는 과정의 일 예에 관하여 구체적으로 설명한다.
도 3의 (a) 내지 (c)는 고정된 카메라에 의해 그 화각 내의 운동하는 볼에 대한 이미지를 소정의 시간 간격으로 취득한 이미지에 대해 차영상을 통해 배경 부분 등을 제거하고 볼 부분(21, 22, 23)만 남아있는 상태의 이미지를 나타낸 것이다.
도 3의 (a), (b) 및 (c)를 통해 볼이 왼쪽 대각선 방향으로 날아가는 상태임을 알 수 있는데, 볼이 카메라에 근접할 때에는 도 3의 (a)와 같이 볼(21)이 크게 보이다가 카메라에서 조금씩 멀어질수록 도 3의 (b) 및 (c)와 같이 볼(22, 23)이 점점 작게 보이는 것을 알 수 있다.
여기서 도 3의 (a), (b) 및 (c)에 나타낸 이미지, 즉 최초 취득된 이미지에서 배경 부분 및 각종 노이즈 부분을 차영상 등을 통해 제거하고 움직이는 부분인 볼 부분만 남은 상태의 이미지를 소스 이미지라 하기로 한다.
소스 이미지 상에서 볼 부분(21)을 좀 더 확대하여 보면, 도 4에 도시된 바와 같이 볼의 표면을 덮고 있는 딤플(Dimple) 부분(DP)과 볼의 일측에 표시된 특징부(F)가 나타나 있으며 이외에도 각종 노이즈, 예컨대 마치 소금이나 후추를 부분적으로 뿌려놓은 듯한 소위 salt and pepper 노이즈나 항상 고정된 위치에 나타나는 고정 패턴 노이즈(Fixed Pattern Noise) 등이 있을 수 있으며, 볼에 대한 조명의 영향으로 인해 가장 밝은 부분(B1)과 가장 어두운 부분(D1)이 그라데이션(Gradation)으로 나타난다.
여기서 특징부(F) 부분만을 추출해 내기 위해서는 상기 특징부(F) 부분은 그대로 두고 상기한 바와 같은 딤플 부분(DP), 그라데이션에 의한 영향 및 각종 노이즈만을 유효 적절하게 제거하도록 하는 것이 필요한데, 이는 볼 특징부 추출수단에 의해 이루어지며 이에 대해서는 도 7을 참조하여 후술하도록 한다.
일단 볼 특징부(F)의 추출을 위해서는 도 3에 도시된 바와 같은 소스 이미지에서 볼 부분(21, 22, 23)에 대한 이미지, 즉 볼 이미지만을 효과적으로 추출하는 것이 필요하다.
도 5의 (a) 내지 (c)에서는 각각의 소스 이미지에서 볼 부분만을 추출하는 것을 나타내고 있는데, 먼저 소스 이미지에서 볼 부분(21, 22, 23)을 찾고 그 볼 부분의 중심점이 추출하는 이미지의 중심점이 되고 볼 부분의 외곽선이 추출하는 이미지의 외곽선과 실질적으로 접하도록 하여 정확하게 추출하도록 함이 바람직하다.
이와 같이 각 소스 이미지로부터 볼 부분(21, 22, 23)만을 추출해 낸 이미지, 즉 볼 이미지(211, 212, 213)는 각각의 소스 이미지 상에서의 볼의 크기에 대응되는 크기이므로 서로 다른 크기를 가지며 각 소스 이미지 상에서 나타난 볼 부분(21, 22, 23)은 카메라와의 거리에 따라 조명의 영향이 다르기 때문에 밝기 또한 각 볼 이미지마다 다르다.
정확한 볼 특징부의 추출을 위해서는 각각의 볼 이미지(211, 212, 213)의 크기를 동일하게 하고 밝기를 정규화하는 것이 필요하다.
도 6의 (a) 내지 (c)는 볼 이미지 정규화수단에 의해 도 5의 (a) 내지 (c)에 각각 대응되는 볼 이미지에 대한 크기 및 밝기의 정규화(Nomalization)가 이루어진 이미지를 나타낸 것이다.
즉 각각의 볼 이미지(211, 212, 213)에 대해 미리 설정된 크기에 맞추어서 확대 또는 축소 하거나 볼 이미지(211, 212, 213)들 중 어느 하나를 기준으로 이에 맞게 다른 볼 이미지들을 확대 또는 축소함으로써, 즉 각 볼 이미지에 대해 노멀라이즈 처리를 함으로써 볼 이미지의 크기가 서로 동일하게 되도록 한다.
그리고 각각의 볼 이미지에 대해 볼 부분을 이루는 모들 픽셀들의 평균값을 이용하여 노멀라이즈 처리를 함으로써 각 볼 이미지의 전체적인 밝기가 서로 동일하게 되도록 한다.
한편, 상기한 바와 같이 볼 이미지에 대한 정규화가 완료된 후에는 각각의 정규화된 볼 이미지에 대해, 도 7에 도시된 바와 같이 볼 특징부 추출수단에 의한 볼 특징부(F)의 추출 과정이 진행된다.
도 7의 (a)는 정규화된 볼 이미지로서 이를 원본 이미지라 하기로 한다. 도 7의 (b), (c), (d), (e)는 각각 상기 원본 이미지 상의 볼을 임의의 각도로 회전시킨 이미지에서 상기 원본 이미지를 뺀 차영상 이미지를 순차적으로 누적시킨 이미지를 나타낸 것이며, 도 7의 (f)는 도 7의 (e)에 나타낸 누적 이미지에 대해 이진화 처리를 한 이미지이다.
먼저 도 7의 (a)에 도시된 바와 같은 원본 이미지에 대해 볼의 중심점을 중심으로 미리 설정된 각도만큼 또는 랜덤하게 선택된 임의의 각도만큼 볼을 회전시키고, 이와 같이 볼을 회전시킨 이미지에서 상기 원본 이미지를 뺀 차영상을 추출하면 도 7의 (b)와 같 이미지가 나온다. 여기서 도 7의 (b)의 이미지를 1차 차영상이라 하고 차영상의 횟수가 거듭될 수도록 차수는 하나씩 높아진다.
상기 회전 이미지와 원본 이미지의 차영상은 두 이미지 상에서 서로 변화가 있는 부분은 밝게 나타나고 변화가 없는 부분은 까맣게 나타나게 되므로, 특징부 부분(F)이 주로 밝게 나타나고 나머지 부분들은 거의 까맣게 나타나게 된다.
볼이 회전하였지만 딤플 부분은 회전하기 전화 후가 거의 동일하기 때문에 변화가 거의 없는 부분이므로 거의 모두 제거되고(까맣게 되고) 원본 이미지 상의 그라데이션 부분이나 각종 노이즈 부분도 모두 제거된다.
그런데 한 번의 차영상으로 특징부 부분이 선명하게 드러나지 않을 수 있으므로, 다른 각도에 대한 차영상을 추출하여 그 전에 추출된 차영상과 누적시키게 되면 이미지 상 밝은 부분은 더욱 밝게 나타나므로 특징부 부분은 더욱 밝고 선명하게 나타나게 된다.
도 7의 (c)는 상기 원본 이미지 상의 볼을 미리 설정된 다른 각도 또는 랜덤하게 선택된 임의의 각도로 회전시킨 이미지에서 상기 원본 이미지를 뺀 차영상, 즉 2차 차영상을 1차 차영상인 도 7의 (b)에 도시된 이미지에 누적시킨 2차 누적 이미지를 나타낸다.
도 7의 (d)는 상기 원본 이미지 상의 볼을 미리 설정된 또 다른 각도 또는 랜덤하게 선택된 임의의 각도로 회전시킨 이미지에서 상기 원본 이미지를 뺀 차영상, 즉 3차 차영상을 2차 누적 이미지인 도 7의 (c)에 도시된 이미지에 누적시킨 3차 누적 이미지를 나타낸다.
도 7의 (e)는 상기 원본 이미지 상의 볼을 미리 설정된 또 다른 각도 또는 랜덤하게 선택된 임의의 각도로 회전시킨 이미지에서 상기 원본 이미지를 뺀 차영상, 즉 4차 차영상을 3차 누적 이미지인 도 7의 (d)에 도시된 이미지에 누적시킨 4차 누적 이미지를 나타낸다.
4개의 차영상을 순차적으로 누적시킨 4차 누적 이미지, 즉 도 7의 (e)에 도시된 이미지를 보면 특징부 부분이 매우 밝게 나타나고 나머지 부분은 거의 까맣게 제거된 것을 볼 수 있다. 그러나 딤플에 의해 나타나는 부분도 완전히 제거되지는 않고 부분적으로 나타나기는 한다.
따라서 특징부 부분만을 추출하기 위해 상기 4차 누적 이미지에 대해 소정의 기준값을 이용하여 쓰레숄드(Threshold) 처리 등을 통해 이진화 함으로써 도 7의 (f)에 도시된 이미지가 추출된다.
도 7의 (f)에 도시된 이미지는 완전히 추출된 특징부(FC)만이 나타난 이미지로서 이를 특징부 이미지라 하기로 한다.
연속하는 볼 이미지들에 대해 상기한 바와 같이 각각 특징부를 추출하여 각각 특징부 이미지를 마련하고 이들 특징부 이미지들을 이용하여 스핀 산출 수단에 의한 볼의 스핀 산출이 이루어진다.
여기서 볼의 스핀은 도 8에 도시된 바와 같이 i축, j축 및 k축 좌표계에 따른 3차원 공간상의 스핀축에 대한 좌표 정보 및 상기 스핀축을 중심으로 회전한 각도, 즉 스핀양에 대한 정보를 산출함으로써 구해질 수 있다.
도 8에 도시된 바와 같이 3차원 공간상에서의 회전 운동은 피치, 요, 롤(pitch, yaw, roll) 성분을 각각 포함할 수 있고, i축 방향의 회전 성분을 θ, j축 방향의 회전 성분을 λ, 그리고 k축 방향의 회전 성분을 ρ라 하면, 구하고자 하는 스핀의 벡터(ω)는 아래 [식 1]과 같이 나타낼 수 있다.
[식 1]
Figure PCTKR2014000197-appb-I000001
상기 스핀 벡터(ω)로부터 아래 [식 2]와 같이 스핀축 정보와 [식 3]과 같이 스핀양 정보를 각각 산출할 수 있다. 여기서 α는 스핀양 정보를 나타낸다.
[식 2]
Figure PCTKR2014000197-appb-I000002
[식 3]
Figure PCTKR2014000197-appb-I000003
따라서 운동하는 볼의 스핀에 대한 yaw 회전 성분인 θ와, roll 회전 성분인 λ, 그리고 pitch 회전 성분인 ρ 값을 찾음으로써 스핀축 및 스핀양 정보를 구할 수 있다.
이와 같은 스핀축 및 스핀양 정보를 찾는 일은 도 7에 도시된 바와 같이 볼 이미지로부터 추출된 특징부로부터 이루어질 수 있다.
즉 도 9에 도시된 바와 같이 연속하는 두 볼 이미지(도 9의 (a) 및 (b)) 상의 각 특징부(F1, F2)에 대한 최종 추출된 특징부(FC1, FC2)를 각각 포함하는 제1 특징부 이미지(도 9의 (c)) 및 제2 특징부 이미지(도 9의 (d))를 이용하여 스핀축 및 스핀양을 추출할 수 있다.
제1 특징부 이미지(도 9의 (c)) 상의 제1 특징부(FC1)를 이루는 각각의 픽셀에 대한 3차원 위치 정보를 구할 수 있는데, 그 3차원 위치 정보에 임의의 스핀축 및 스핀양 정보를 적용한 후 이를 제2 특징부 이미지(도 9의 (d)) 상의 제2 특징부(FC2)와 비교하여 동일하거나 거의 동일하다면 그 임의의 스핀축 및 스핀양 정보가 최종적인 스핀축 및 스핀양 정보가 되는 것이다.
이와 같은 방식으로 제1 특징부(FC1)에 임의의 스핀축 및 스핀양 정보를 반복적으로 적용하여 가장 제2 특징부(FC2)에 근접하게 하는 스핀축 및 스핀양 정보를 최종적인 스핀축 및 스핀양 정보로 선택함으로써 운동하는 볼에 대한 스핀 정보를 산출할 수 있게 된다.
이상 설명한 바와 같이 본 발명은 연속하여 취득되는 소스 이미지로부터 볼 부분의 특징부를 간단한 방법에 의해 빠르고 정확하게 추출할 수 있는 방법을 제공하며 그로부터 볼의 스핀을 빠르고 정확하게 산출할 수 있도록 할 수 있는 특장점이 있다.
발명의 실시를 위한 최선의 형태 항목에서 구체적으로 기재하고 있다.
본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법은 골프 스윙에 따른 타구 분석 등이 이루어지는 골프 연습과 관련된 산업 분야 및 가상 현실 기반의 골프 시뮬레이션이 이루어지도록 함으로써 사용자가 가상의 골프 경기를 즐길 수 있도록 할 수 있는 소위 스크린 골프 산업 분야 등에 이용 가능하다.

Claims (13)

  1. 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치에 있어서,
    표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 이미지 취득수단;
    상기 이미지 취득수단에 의해 취득된 각 이미지에서 볼 부분에 대한 이미지인 볼 이미지를 추출하여 상기 볼 이미지 상의 딤플 부분 및 각종 노이즈 부분을 제거함으로써 상기 볼 이미지 상의 특징부를 추출하도록 하는 이미지 처리수단; 및
    임의의 연속하는 두 볼 이미지상에서 각각 추출된 특징부의 위치 변화를 분석함으로써 볼의 스핀축 및 스핀양을 산출하는 스핀 산출수단;
    을 포함하는 운동하는 볼에 대한 센싱장치.
  2. 제1항에 있어서, 상기 이미지 처리수단은,
    상기 이미지 취득수단에 의해 취득된 이미지인 소스 이미지로부터 상기 볼 이미지를 추출하고 그 중심좌표를 추출하는 볼 이미지 추출수단과,
    상기 볼 이미지 추출수단에 의해 추출된 볼 이미지들의 크기 및 밝기 정보에 대한 노멀라이즈 처리를 함으로써 공간상의 볼의 위치에 따라 소스 이미지 상에서 달라지는 볼의 크기 및 밝기를 정규화 하는 볼 이미지 정규화수단을 포함하여,
    상기 볼 이미지 정규화수단에 의해 처리된 이미지인 정규화 이미지에 대해 상기 특징부 추출이 이루어지도록 구성되는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
  3. 제1항에 있어서, 상기 이미지 처리수단은,
    상기 볼 이미지 상의 볼을 미리 설정된 각도로 회전시키고 상기 회전시킨 이미지의 회전시키기 전의 원본 이미지 대한 차영상을 추출하며, 상기 회전 및 차영상 추출을 미리 설정된 횟수만큼 반복하여 각각 누적시킴으로써 상기 볼 이미지상의 특징부를 추출하는 볼 특징부 추출수단을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
  4. 제1항에 있어서, 상기 이미지 처리수단은,
    상기 이미지 취득수단에 의해 취득된 이미지인 소스 이미지로부터 볼 이미지를 추출하고 상기 추출된 볼 이미지의 중심 좌표를 추출하는 볼 이미지 추출수단과,
    연속하는 소스 이미지에서 각각 추출된 볼 이미지들의 크기 및 밝기 정보에 대한 노멀라이즈 처리를 함으로써 공간상의 볼의 위치에 따라 소스 이미지 상에서 달라지는 볼의 크기 및 밝기를 정규화 하는 볼 이미지 정규화수단과,
    상기 볼 이미지 정규화수단에 의해 처리된 이미지를 원본 이미지로 하여, 상기 원본 이미지 상의 볼을 미리 설정된 각도로 회전시키고 상기 회전시킨 이미지의 원본 이미지에 대한 차영상을 추출하며, 상기 회전 및 차영상 추출을 미리 설정된 횟수만큼 반복하여 각각 누적시킴으로써 상기 볼 이미지상의 특징부를 추출하는 볼 특징부 추출수단을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
  5. 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법에 있어서,
    표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 단계;
    상기 취득된 각 이미지에서 볼 부분에 대한 이미지인 볼 이미지를 추출하는 단계;
    상기 추출된 볼 이미지 상의 딤플 부분 및 각종 노이즈 부분을 제거함으로써 상기 볼 이미지 상의 특징부를 추출하는 단계; 및
    임의의 연속하는 두 볼 이미지상에서 각각 추출된 특징부의 위치 변화를 분석함으로써 볼의 스핀축 및 스핀양을 산출하는 단계;
    를 포함하는 운동하는 볼에 대한 센싱방법.
  6. 제5항에 있어서, 상기 볼 이미지를 추출하는 단계는,
    상기 이미지를 취득하는 단계에서 취득된 이미지인 소스 이미지로부터 볼 부분을 찾는 단계와,
    상기 볼 부분의 중심이 이미지의 중심이 되도록 상기 볼 부분을 추출함으로써 상기 볼 이미지를 마련하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
  7. 제5항에 있어서, 상기 볼 이미지 상의 특징부를 추출하는 단계는,
    연속하는 소스 이미지에서 각각 추출된 볼 이미지들의 크기에 대한 노멀라이즈 처리를 함으로써 공간상의 볼의 위치에 따라 소스 이미지 상에서 달라지는 연속하는 볼의 크기를 정규화하는 단계와,
    상기 볼 크기의 정규화 단계를 거친 볼 이미지 상에서 각각 특징부를 추출하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
  8. 제5항에 있어서, 상기 볼 이미지 상의 특징부를 추출하는 단계는,
    상기 추출된 볼 이미지상의 각 픽셀들의 픽셀값의 평균값을 산출하고 상기 평균값을 기준으로 노멀라이즈 처리를 함으로써 볼의 밝기를 정규화하는 단계와,
    상기 볼의 밝기에 대한 정규화 단계를 거친 볼 이미지 상에서 각각 특징부를 추출하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
  9. 제5항에 있어서, 상기 볼 이미지 상의 특징부를 추출하는 단계는,
    상기 추출된 볼 이미지를 원본 이미지로 하여, 상기 원본 이미지 상의 볼을 미리 설정된 각도로 회전시키는 단계와,
    상기 볼을 회전시킨 이미지의 상기 원본 이미지에 대한 차영상을 추출하여 상기 원본 이미지 상의 특징부를 추출하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
  10. 제5항에 있어서, 상기 볼 이미지 상의 특징부를 추출하는 단계는,
    상기 추출된 볼 이미지를 원본 이미지로 하여, 상기 원본 이미지 상의 볼을 미리 설정된 각도 또는 랜덤하게 선택된 임의의 각도로 회전시키고 그 회전시킨 이미지에서 상기 원본 이미지를 뺀 1차 차영상을 추출하는 단계와,
    상기 원본 이미지 상의 볼을 미리 설정된 다른 각도 또는 랜덤하게 선택된 임의의 각도로 회전시키고 그 회전시킨 이미지에서 상기 원본 이미지를 뺀 2차 차영상을 추출하여 상기 1차 차영상에 누적시킴으로써 누적 이미지를 추출하는 단계와,
    상기 누적 이미지로부터 특징부를 추출하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
  11. 제5항에 있어서, 상기 볼 이미지 상의 특징부를 추출하는 단계는,
    상기 추출된 볼 이미지를 원본 이미지로 하여, 상기 원본 이미지 상의 볼을 임의의 각도로 회전시키는 단계와,
    상기 볼을 회전시킨 이미지에서 상기 원본 이미지를 뺀 n차 차영상을 추출하는 단계와,
    상기 n차 차영상을 n-1차 누적 이미지에 누적시킴으로써 n차 누적 이미지를 추출하는 단계와,
    상기 n차 누적 이미지로부터 특징부를 추출하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.여기서 n은 2 이상의 자연수임.
  12. 제11항에 있어서, 상기 볼 이미지 상의 특징부를 추출하는 단계는,
    상기 n차 누적 이미지에 대해 소정의 기준값에 따른 이진화 처리하는 단계를 더 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
  13. 표면에 소정의 특징부가 표시된 볼이 운동하는 것에 대한 이미지를 취득하여 그로부터 볼의 스핀을 산출하기 위한 상기 취득된 이미지로부터 추출된 볼 이미지의 이미지 처리방법에 있어서,
    상기 볼 이미지를 원본 이미지로 하여, 상기 원본 이미지 상의 볼을 임의의 각도로 회전시키는 단계;
    상기 볼을 회전시킨 이미지에서 상기 원본 이미지를 뺀 n차 차영상을 추출하는 단계;
    상기 n차 차영상을 n-1차 차영상 또는 n-1차 누적 이미지에 누적시킴으로써 n차 누적 이미지를 추출하는 단계; 및
    상기 n차 누적 이미지에 대해 소정의 기준값에 따른 이진화 처리를 함으로써 이미지로부터 볼에 대한 특징부를 추출하는 단계;
    를 포함하는 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법.여기서 n은 2 이상의 자연수임.
PCT/KR2014/000197 2013-01-08 2014-01-08 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법 WO2014109544A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP14738295.6A EP2945121B1 (en) 2013-01-08 2014-01-08 Device and method for sensing moving ball and method for processing ball image for spin calculation of moving ball
JP2015551616A JP6102002B2 (ja) 2013-01-08 2014-01-08 運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法
US14/759,653 US20150356744A1 (en) 2013-01-08 2014-01-08 Method and apparatus for sensing moving ball, and image processing method of ball image for calculation of spin of moving ball
CN201480008284.7A CN104981845B (zh) 2013-01-08 2014-01-08 供感测移动球体的装置及方法、及球体影像的影像处理方法
AU2014205857A AU2014205857B2 (en) 2013-01-08 2014-01-08 Method and apparatus for sensing moving ball, and image processing method of ball image for calculation of spin of moving ball

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0002202 2013-01-08
KR1020130002202A KR101472275B1 (ko) 2013-01-08 2013-01-08 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법

Publications (1)

Publication Number Publication Date
WO2014109544A1 true WO2014109544A1 (ko) 2014-07-17

Family

ID=51167134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000197 WO2014109544A1 (ko) 2013-01-08 2014-01-08 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법

Country Status (8)

Country Link
US (1) US20150356744A1 (ko)
EP (1) EP2945121B1 (ko)
JP (1) JP6102002B2 (ko)
KR (1) KR101472275B1 (ko)
CN (1) CN104981845B (ko)
AU (1) AU2014205857B2 (ko)
TW (1) TWI534759B (ko)
WO (1) WO2014109544A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3309741A4 (en) * 2015-06-12 2018-12-12 Golfzon Co., Ltd. Device and method for sensing moving ball

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102443281B1 (ko) * 2016-06-29 2022-09-15 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101850139B1 (ko) * 2016-06-29 2018-04-19 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN106139542B (zh) * 2016-08-01 2018-11-30 深圳市衡泰信科技有限公司 高尔夫击打触发器及其感测方法
KR101931592B1 (ko) * 2017-12-12 2019-03-13 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 이를 이용한 볼에 대한 운동 파라미터 산출방법
KR102541061B1 (ko) * 2018-04-02 2023-06-13 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022040796A1 (en) * 2020-08-25 2022-03-03 Tarkett Sports Canada Inc. Electronic assessment of playing surface properties

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019186A (ja) * 1998-06-30 2000-01-21 Bridgestone Sports Co Ltd ゴルフボールの回転運動測定方法
JP2005087615A (ja) * 2003-09-19 2005-04-07 Sumitomo Rubber Ind Ltd ゴルフのインパクト現象解析システム
JP2005270500A (ja) * 2004-03-26 2005-10-06 Sri Sports Ltd ゴルフスウィング診断システム
KR20060045366A (ko) * 2004-03-31 2006-05-17 요코하마 고무 가부시키가이샤 비상체의 비상 거동 측정장치 및 비상체의 비상 거동측정방법
KR20120033946A (ko) * 2010-09-30 2012-04-09 한국전자통신연구원 오브젝트 움직임 계산 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351265B1 (en) * 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
EP1509781B1 (en) * 2002-06-06 2015-04-29 WAWGD, Inc, dba Foresight Sports Flight parameter measurement system
US7292711B2 (en) * 2002-06-06 2007-11-06 Wintriss Engineering Corporation Flight parameter measurement system
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
US20060029257A1 (en) * 2004-08-03 2006-02-09 Honda Motor Co., Ltd. Apparatus for determining a surface condition of an object
KR100972826B1 (ko) * 2009-12-31 2010-07-28 (주) 골프존 서브 디스플레이를 제공하는 가상 골프 시뮬레이션 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019186A (ja) * 1998-06-30 2000-01-21 Bridgestone Sports Co Ltd ゴルフボールの回転運動測定方法
JP2005087615A (ja) * 2003-09-19 2005-04-07 Sumitomo Rubber Ind Ltd ゴルフのインパクト現象解析システム
JP2005270500A (ja) * 2004-03-26 2005-10-06 Sri Sports Ltd ゴルフスウィング診断システム
KR20060045366A (ko) * 2004-03-31 2006-05-17 요코하마 고무 가부시키가이샤 비상체의 비상 거동 측정장치 및 비상체의 비상 거동측정방법
KR20120033946A (ko) * 2010-09-30 2012-04-09 한국전자통신연구원 오브젝트 움직임 계산 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2945121A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3309741A4 (en) * 2015-06-12 2018-12-12 Golfzon Co., Ltd. Device and method for sensing moving ball

Also Published As

Publication number Publication date
EP2945121A1 (en) 2015-11-18
TW201432624A (zh) 2014-08-16
EP2945121A4 (en) 2016-10-12
JP6102002B2 (ja) 2017-03-29
CN104981845B (zh) 2017-09-08
KR101472275B1 (ko) 2014-12-12
EP2945121B1 (en) 2018-03-14
AU2014205857A1 (en) 2015-07-30
US20150356744A1 (en) 2015-12-10
JP2016503928A (ja) 2016-02-08
CN104981845A (zh) 2015-10-14
TWI534759B (zh) 2016-05-21
KR20140090008A (ko) 2014-07-16
AU2014205857B2 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
WO2014109544A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법
WO2014109545A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2016200208A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2014109546A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2018030673A1 (ko) 볼의 비행정보 연산장치, 볼의 비행정보 연산방법 및 이를 기록한 컴퓨팅장치에 의해 판독 가능한 기록매체
KR20130058526A (ko) 회전체의 회전 특성 측정 방법 및 장치
CN109001484A (zh) 旋转速度的检测方法和装置
WO2018139810A1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
JP2016218014A (ja) 飛翔体測定装置、飛翔体測定方法、及びプログラム
WO2018097612A1 (ko) 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
CN111738093A (zh) 一种基于梯度特征的冰壶球自动测速方法
KR101551685B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
Szép Ball rotation detection based on arbitrary features

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14738295

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015551616

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014738295

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14759653

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014205857

Country of ref document: AU

Date of ref document: 20140108

Kind code of ref document: A