KR102084858B1 - A method of recognizing only golf ball objects in photograph using cameras in a golf simulator - Google Patents
A method of recognizing only golf ball objects in photograph using cameras in a golf simulator Download PDFInfo
- Publication number
- KR102084858B1 KR102084858B1 KR1020180110573A KR20180110573A KR102084858B1 KR 102084858 B1 KR102084858 B1 KR 102084858B1 KR 1020180110573 A KR1020180110573 A KR 1020180110573A KR 20180110573 A KR20180110573 A KR 20180110573A KR 102084858 B1 KR102084858 B1 KR 102084858B1
- Authority
- KR
- South Korea
- Prior art keywords
- golf ball
- golf
- image
- value
- distance ratio
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001914 filtration Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/62—
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 종래의 문제점을 해결하기 위하여 안출된 것으로, 골프 시뮬레이터에 설치된 카메라 장치의 촬영 영상에서 골프공의 유무를 인식할 수 있는 골프공 인식 방법을 제공하는 것이다. 이와 함께, 본 발명이 해결하고자 하는 다른 과제는 영상에서 골프공만을 인식하는데 소요되는 연산부하 및 시간을 줄일 수 있는 강인하고 효율적인 골프공 인식 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the conventional problems, to provide a golf ball recognition method that can recognize the presence or absence of a golf ball in the captured image of the camera device installed in the golf simulator. In addition, another object of the present invention is to provide a robust and efficient golf ball recognition method that can reduce the computational load and time required to recognize only the golf ball in the image.
Description
본 발명은 카메라를 이용한 골프 시뮬레이터의 촬영 영상에서 골프공 오브젝트만 인식하는 방법에 관한 것으로, 더욱 상세하게는 골프시뮬레이터의 카메라 장치에서 촬영된 영상에서 골프공과 골프공이 아닌 오브젝트를 효율적으로 구분하여 인식하는 방법에 관한 것이다.The present invention relates to a method of recognizing only a golf ball object in a captured image of a golf simulator using a camera, and more particularly, to efficiently distinguish between a golf ball and a non-golf object in an image captured by a camera device of a golf simulator. It is about a method.
최근에는 골프 시뮬레이터에서 타구된 골프공의 이동 물리량뿐만 아니라 궤적 편향성을 결정짓는 회전 물리량까지 직접 추출하기 위해 센싱 장치로 카메라를 적용하는 연구가 활발히 진행되고 있다.Recently, studies have been actively conducted to apply a camera as a sensing device to directly extract not only the moving physical quantity of the golf ball hit by the golf simulator but also the rotating physical quantity that determines the trajectory deflection.
도 1은 골프 시뮬레이터 장치, 예를 들면 골프 시뮬레이터에 카메라가 장착된 일례를 도시한다. 도 1을 참조하면 골프 시뮬레이터(100)에는 골프클럽(104)에 의해 타구되어진 골프공(103)의 물리량을 측정하기 위한 센싱 장치로 카메라 장치(101)와 조명장치(102)가 장착되어 있으며 카메라의 촬영 영역(105)에는 골프공(103)이 아닌 골프클럽(104)과 같은 오브젝트도 포함되어 있다. 1 shows an example in which a camera is mounted on a golf simulator device, for example a golf simulator. Referring to FIG. 1, the
도 2는 종래 기술에 있어 카메라 촬영 영상에서 골프공 오브젝트를 인식하는 방법을 설명하기 위한 흐름도이다. 도 2에 따르면 종래 기술의 방법은 원본 영상에서 추출한 오브젝트의 체크 윈도의 종횡비가 너무 넓거나 좁은 오브젝트는 골프공이 아닌 것으로 제외하는 방법과 골프공의 운동 진행방향 축 픽셀값의 단면에서 임계값 이상 유지되는 영역이 너무 긴 오브젝트는 골프공이 아닌 것으로 제외하거나 소정 크기 이상의 오브젝트는 골프공이 운동 진행방향으로 중첩된 것으로 가정하며 해당 오브젝트를 Circle Fitting한 후 다수의 골프공 오브젝트로 분리하는 방법을 제안하고 있다.2 is a flowchart illustrating a method of recognizing a golf ball object in a camera photographed image according to the related art. According to FIG. 2, the method of the related art excludes an object having a wide or narrow aspect ratio of a check window of an object extracted from an original image as not a golf ball, and maintains a threshold value in a cross section of an axis pixel value in a golf ball's movement direction. Objects that are too long to be excluded are not golf balls, or objects larger than or equal to a predetermined size assume that golf balls are superimposed in the direction of movement, and a method of separating the objects into a plurality of golf ball objects after circle fitting the object is proposed.
도 3은 종래 기술에 있어 카메라 촬영 영상에서 추출된 오브젝트의 체크 윈도(300)와 운동 방향 축 픽셀값 단면(310)을 예시하는 도면이다. 도 3에 따르면 중첩되지 않는 골프공의 체크 윈도(301)와 구형 형상의 골프 클럽헤드 오브젝트의 체크 윈도(302, 303, 304)의 종횡비는 매우 유사하므로 체크 윈도(300)의 종횡비가 너무 넓거나 좁은 오브젝트는 골프공이 아닌 것으로 제외하는 종래 기술의 방법으로는 골프공 오브젝트를 정확하게 인식할 수 없다는 단점이 있다. 또한, 중첩되지 않는 골프공의 운동 방향 축 픽셀값 단면(311)과 구형의 골프 클럽헤드 오브젝트의 운동방향 축 픽셀 값 단면(312)은 임계값 이상으로 유지되는 영역(a1, a2)이 모두 짧으므로 종래 기술의 방법으로는 중첩된 오브젝트가 아닌 것으로 판단되므로 운동 방향 축 픽셀값의 단면(310)으로 구분하는 방법으로는 골프공 오브젝트를 정확하게 구분할 수 없다는 단점이 있다. 도 1을 참조하면 카메라의 촬영 영역(105)에서 골프공 오브젝트(103)만 정확하게 구분하여 인식하지 못한다면 골프공 오브젝트(103)의 물리량을 계산하는 데 어려움이 있을 것이다.3 is a diagram illustrating a check window 300 and an axis direction pixel value cross section 310 of an object extracted from a camera photographed image according to the related art. According to FIG. 3, the aspect ratios of the
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 골프 시뮬레이터에 설치된 카메라 장치의 촬영 영상에서 골프공 오브젝트만 인식할 수 있는 골프공 인식 방법을 제공하는 것이다. 이와 함께, 본 발명이 해결하고자 하는 다른 과제는 영상에서 골프공 오브젝트를 인식하는데 소요되는 연산부하 및 시간을 줄일 수 있는 효율적인 골프공 인식 방법을 제공하는데 그 목적이 있다. 본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.The present invention has been made to solve the above-mentioned conventional problems, to provide a golf ball recognition method that can recognize only the golf ball object in the captured image of the camera device installed in the golf simulator. In addition, another object of the present invention is to provide an efficient golf ball recognition method that can reduce the computational load and time required to recognize a golf ball object in the image. The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 골프공 인식 방법은, 상기 골프 시뮬레이터를 초기화하는 초기설정 단계(S400)에 있어, 카메라 장치의 촬영 영역 내에서 골프공과 카메라 장치를 최대 거리에 위치하여 계산된 골프공의 최소 크기값(S401)과 골프공의 최저 밝기값(S402)을 데이터베이스(S440)에 읽고 저장하는 방법을 제공할 수 있다.Golf ball recognition method according to an embodiment of the present invention for achieving the above object, in the initial setting step (S400) of initializing the golf simulator, the golf ball and the camera device at a maximum distance in the shooting area of the camera device A method of reading and storing the minimum size value S401 of the golf ball and the minimum brightness value S402 of the golf ball calculated and positioned in the database S440 may be provided.
그리고 상기 골프 시뮬레이터의 카메라 장치 촬영 영상에서 골프공 후보 오브젝트를 검출하는 영상처리 단계(S410)에 있어, 원본영상(S411)에서 데이터베이스(S440)에 저장된 골프공의 최저 밝기값(S402) 이상의 픽셀만 검출하여 이진영상(S412)으로 변환하는 단계 및 변환된 이진영상(S412)에서 주변 잡음을 제거하기 위해 데이터베이스(S440)에 저장된 골프공 최소 크기값(S401) 이상의 오브젝트만 검출하여 외곽영상(S413)으로 변환하는 단계를 포함하는 방법을 제공할 수 있다. In the image processing step (S410) of detecting a golf ball candidate object from the camera apparatus photographed image of the golf simulator, only pixels having a minimum brightness value (S402) or more of the golf ball stored in the database (S440) in the original image (S411). Detecting and converting to a binary image (S412) and to detect the object of the golf ball minimum size value (S401) stored in the database (S440) in order to remove the ambient noise from the converted binary image (S412) and the outer image (S413) It can provide a method comprising the step of converting.
그리고 상기 영상처리 단계(S410)에서 검출된 오브젝트 가운데 골프공 오브젝트만을 인식하는 것을 특징으로 하는 객체처리 단계(S420)에 있어, 수학식 1에 따른 외곽선 거리 비율값(F1)을 산출하는 단계(S421)와 산출된 외곽선 거리 비율값(F1)이 데이터베이스(S440)에서 제공된 기준 값과 비교하여 골프공이 아닌 오브젝트를 걸러내는 1차 필터링 단계(S422); 수학식 2에 따른 마할라노비스 거리 비율값(F2)을 산출하는 단계(S423)와 산출된 마할라노비스 거리 비율값(F2)이 데이터베이스(S440)에서 제공된 기준 값과 비교하여 골프공이 아닌 오브젝트를 또 다시 걸러내는 2차 필터링 단계(S424) 및 수학식 3에 따른 최대 밝기점 거리 비율값(F3)을 산출하는 단계(S425)와 산출된 최대 밝기점 거리 비율값(F3)이 데이터베이스(S440)에서 제공된 기준 값과 비교하여 골프공이 아닌 오브젝트를 최종적으로 걸러내는 3차 필터링 단계(S426)를 포함하는 방법을 제공할 수 있다. In the object processing step (S420), wherein only the golf ball object is recognized among the objects detected in the image processing step (S410), calculating an outline distance ratio value (F1) according to Equation 1 (S421). ) And a first filtering step (S422) for filtering the object other than the golf ball by comparing the calculated distance value (F1) with the reference value provided by the database (S440); Computing the Mahalanobis distance ratio value F2 according to Equation 2 (S423) and the calculated Mahalanobis distance ratio value F2 is compared to the reference value provided from the database (S440) to determine an object that is not a golf ball. The second filtering step (S424) and the step of calculating the maximum brightness point distance ratio value (F3) according to Equation (3) and the calculated maximum brightness point distance ratio value (F3) are again the database (S440). Compared to the reference value provided in the present invention may provide a method including a third filtering step (S426) to finally filter out the non-golf object.
그리고 상기 객체처리 단계(S420)의 3단계 수학적 필터링(S422, S424, S426) 통해 걸러진 골프공 오브젝트(S431)만 구분하여 인식할 수 있는 객체인식 단계[S430]를 포함하는 방법을 제공할 수 있다.And it may provide a method comprising an object recognition step [S430] to recognize only the golf ball object (S431) filtered through the three-step mathematical filtering (S422, S424, S426) of the object processing step (S420). .
[수학식 1][Equation 1]
[수학식 2][Equation 2]
[수학식 3][Equation 3]
본 발명의 일 실시 예에 따르면 골프 시뮬레이터에 설치된 카메라 장치의 촬영 영상에서 골프공 오브젝트만을 걸러내어 인식하는데 소요되는 연산부하 및 시간을 줄일 수 있는 강인하고 효율적인 골프공 오브젝트 인식 방법을 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide a robust and efficient golf ball object recognition method that can reduce the computational load and time required to filter out only the golf ball object from the captured image of the camera device installed in the golf simulator.
도 1은 골프 시뮬레이터 장치, 예를 들면 골프 시뮬레이터에 카메라가 장착된 일례를 도시한다.
도 2는 종래 기술에 있어 카메라 촬영 영상에서 골프공 오브젝트를 인식하는 방법을 설명하기 위한 흐름도이다.
도 3는 종래 기술에 있어 카메라 촬영 영상에서 추출된 오브젝트의 체크 윈도와 운동방향 축 픽셀값 단면을 예시하는 도면이다.
도 4은 본 발명의 일 실시 예에 따른 골프 시뮬레이터의 카메라 촬영 영상에서 골프공 오브젝트만을 인식하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 골프 시뮬레이터의 카메라 촬영 영상에서 골프공 오브젝트만을 인식하는 방법을 예시하는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 객체처리 단계의 외곽선 거리 비율값(F1)을 산출하는 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 객체처리 단계의 마할라노비스 거리 비율값(F2)을 산출하는 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 객체처리 단계(S420)의 최대 밝기점 거리 비율값(F3)을 산출하는 단계를 설명하기 위한 도면이다.1 shows an example in which a camera is mounted on a golf simulator device, for example a golf simulator.
2 is a flowchart illustrating a method of recognizing a golf ball object in a camera photographed image according to the related art.
3 is a diagram illustrating a check window and a direction axis pixel value cross section of an object extracted from a camera photographed image according to the related art.
4 is a flowchart illustrating a method of recognizing only a golf ball object in a camera photographed image of a golf simulator according to an embodiment of the present invention.
5 is a diagram illustrating a method of recognizing only a golf ball object in a camera photographed image of a golf simulator according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining a step of calculating an outline distance ratio value F1 of an object processing step according to an exemplary embodiment.
7 is a view for explaining a step of calculating the Mahalanobis distance ratio value F2 of the object processing step according to an embodiment of the present invention.
8 is a view for explaining a step of calculating the maximum brightness point distance ratio value F3 of the object processing step S420 according to an exemplary embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술한 실시 예들을 참조하면 명확해질 것이며 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described below in detail with reference to the accompanying drawings. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do.
도 4은 본 발명의 일 실시 예에 따른 골프 시뮬레이터의 카메라 촬영 영상에서 골프공 오브젝트만을 인식하는 방법을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating a method of recognizing only a golf ball object in a camera photographed image of a golf simulator according to an embodiment of the present invention.
도 4에 따르면 상기 골프 시뮬레이터를 초기화하는 초기설정 단계(S400)를 포함할 수 있다. 초기설정 단계(S400)는 카메라 장치의 촬영 영역 내에서 골프공과 카메라 장치를 최대 거리에 위치하여 계산된 골프공의 최소 크기값(S401)과 골프공의 최저 밝기값(S402)을 데이터베이스(S440)에 읽고 저장할 수 있다. According to Figure 4 may include an initial setting step (S400) for initializing the golf simulator. In the initial setting step (S400), the minimum size value (S401) of the golf ball and the minimum brightness value (S402) of the golf ball calculated by positioning the golf ball and the camera device at a maximum distance in the photographing area of the camera device (S440). Can read and save on.
그리고 도 4에 따르면 상기 골프 시뮬레이터의 카메라 장치 촬영 영상에서 골프공 후보 오브젝트를 검출하는 영상처리 단계(S410)를 포함할 수 있다. 영상처리 단계(S410)는 원본영상(S411)에서 데이터베이스(S440)에 저장된 골프공의 최저 밝기값(S402) 이상의 픽셀만 검출하여 이진영상(S412)으로 변환하는 단계 및 변환된 이진영상(S412)에서 주변 잡음을 제거하기 위해 데이터베이스(S440)에 저장된 골프공 최소 크기값(S401) 이상의 오브젝트만 검출하여 외곽영상(S413)으로 변환할 수 있다.And according to Figure 4 may include an image processing step (S410) for detecting a golf ball candidate object in the camera device photographed image of the golf simulator. The image processing step (S410) detects only pixels of the minimum brightness value (S402) or more of the golf ball stored in the database (S440) from the original image (S411) and converts to a binary image (S412) and the converted binary image (S412) In order to remove the ambient noise, only an object larger than the golf ball minimum size value S401 stored in the database S440 may be detected and converted into an outer image S413.
그리고 도 4에 따르면 카메라 장치에서 촬영된 영상의 서로 중첩되지 않는 오브젝트를 골프공으로 구분하여 인식하는 객체처리 단계(S420)를 포함할 수 있다.And according to Figure 4 may include an object processing step (S420) for recognizing the objects that do not overlap each other in the image photographed by the camera device by golf balls.
객체처리 단계(S420)은 외곽영상(S413)의 외곽선 거리 비율값(F1)으로 1차 필터링(S422)하여 골프공이 아닌 오브젝트를 걸러낼 수 있다. 외곽선 거리 비율값(F1)의 구체적인 산출 단계(S421)는 후술하기로 한다. The object processing step (S420) may filter the object other than the golf ball by first filtering (S422) the outline distance ratio value F1 of the outline image S413. A detailed calculation step S421 of the outline distance ratio value F1 will be described later.
객체처리 단계(S420)은 외곽영상(S413)의 외곽선을 원본영상(S411)에 맵핑하여 오브젝트 영역에 대한 픽셀값 누적빈도 도수분포도를 산출하며 마할라노비스 거리 비율값(F2)으로 2차 필터링(S424)하여 골프공이 아닌 오브젝트를 또 다시 걸러낼 수 있다. 마할라노비스 거리 비율값(F2)의 구체적인 산출 단계(S423)는 후술하기로 한다.The object processing step (S420) calculates the pixel frequency cumulative frequency distribution for the object region by mapping the outline of the outline image (S413) to the original image (S411), and performs secondary filtering with the Mahalanobis distance ratio value (F2). S424) to filter out the non-golf object again. The specific calculation step S423 of the Mahalanobis distance ratio value F2 will be described later.
객체처리 단계(S420)은 외곽영상(S413)의 외곽선을 원본영상(S411)에 맵핑하여 오브젝트 영역에서 최대 밝기점의 픽셀좌표를 산출하며 최대 밝기점 거리 비율값(F3)으로 3차 필터링(S426)하여 골프공이 아닌 오브젝트를 최종적으로 걸러낼 수 있다. 최대 밝기점 거리 비율값(F3)의 구체적인 산출 단계(S425)는 후술하기로 한다.The object processing step (S420) calculates pixel coordinates of the maximum brightness point in the object area by mapping the outline of the outline image (S413) to the original image (S411), and performs third-order filtering with the maximum brightness point distance ratio value (F3) (S426). To filter out objects that aren't golf balls. A detailed calculation step S425 of the maximum brightness point distance ratio value F3 will be described later.
그리고 도 4에 따르면 객체처리 단계[S420]의 1차 필터링(S422), 2차 필터링(S424), 3차 필터링(S426)을 통해 걸러진 골프공 오브젝트(S431)만 구분하여 인식할 수 있는 객체인식 단계[S430]를 포함할 수 있다.And according to FIG. 4 object recognition that can be recognized by distinguishing only the golf ball object (S431) filtered through the first filtering (S422), the second filtering (S424), the third filtering (S426) of the object processing step [S420] It may include the step [S430].
도 5는 본 발명의 일 실시 예에 따른 골프 시뮬레이터의 카메라 촬영 영상에서 골프공 오브젝트만을 인식하는 방법을 예시하는 도면이다. 5 is a diagram illustrating a method of recognizing only a golf ball object in a camera photographed image of a golf simulator according to an embodiment of the present invention.
도 5에 따르면 데이터베이스(S440)는 초기설정 단계(S400)에서 계산된 골프공 최소 크기값(S401), 골프공 최저 밝기값(S402)을 미리 저장하여 골프공 후보 오브젝트를 검출하는 영상처리 단계(S410)에 제공할 수 있다. 그리고 도 5에 따르면 데이터베이스(S440)는 객체처리 단계(S420)의 1차 필터링(S422), 2차 필터링(S424), 3차 필터링(S426)에 적용되는 임계값을 미리 저장하여 제공할 수 있다. 1차 필터링 단계(S422)는 외곽선 거리 비율값(F1)이 데이터베이스[S440]에서 제공하는 기준 값 범위 내의 오브젝트를 걸러내어 골프공과 골프공이 아닌 오브젝트로 구분할 수 있다. 2차 필터링 단계(S424)는 마할라노비스 거리 비율값(F2)이 데이터베이스[S440]에서 제공하는 기준 값 범위 내의 오브젝트를 걸러내어 골프공과 골프공이 아닌 오브젝트로 구분할 수 있다. 3차 필터링 단계(S426)는 최대 밝기점 거리 비율값(F3)이 데이터베이스[S440]에서 제공하는 기준 값 범위 내의 오브젝트만 걸러내어 골프공과 골프공이 아닌 오브젝트로 구분할 수 있다. According to FIG. 5, the database S440 may store a golf ball minimum size value S401 and a golf ball minimum brightness value S402 calculated in the initial setting step S400 in advance to detect a golf ball candidate object ( S410) can be provided. According to FIG. 5, the database S440 may store and provide a threshold value applied to the first filtering S422, the second filtering S424, and the third filtering S426 of the object processing step S420 in advance. . In the first filtering step S422, an object within the reference value range provided by the outline distance ratio value F1 may be classified into a golf ball and an object other than the golf ball. In the second filtering step S424, the Mahalanobis distance ratio value F2 filters the objects within the reference value range provided by the database [S440] to distinguish the golf ball and the non-golf object. In the third filtering step S426, the maximum brightness point distance ratio value F3 filters only objects within a reference value range provided by the database [S440] to divide the object into golf balls and non-golf balls.
도 6은 본 발명의 일 실시 예에 따른 객체처리 단계(S420)의 외곽선 거리 비율값(F1)을 산출하는 단계(S421)을 설명하기 위한 도면이다. 6 is a view for explaining a step (S421) of calculating the outline distance ratio value F1 of the object processing step (S420) according to an embodiment of the present invention.
도 6을 참조하면 객체처리 단계(S420)는 오브젝트 영역의 무게 중심점(C)에서 오브젝트 영역의 외곽선(L)까지 최소거리(Dmin)인 좌표(P1)와 최대거리(Dmax)인 좌표점(P2)간 거리와 오브젝트의 Circle Fitting 중심점(O)에서 오브젝트 Circle Fitting 외곽선(L)까지 반지름 거리(r)로 정규화한 외곽선 거리 비율값(F1)을 산출하는 단계(S421)를 포함한다. 여기서, 외곽선 거리 비율값(F1) 계산식은 아래 수학식 1과 같다.Referring to FIG. 6, the object processing step S420 may include a coordinate P1 having a minimum distance Dmin and a coordinate point P2 having a maximum distance Dmax from a center of gravity point C of the object area to an outline L of the object area. Calculating an outline distance ratio value F1 normalized by the radius distance r from the distance between the center and the circle fitting center point O of the object to the object circle fitting outline L. (S421). Here, the calculation of the outline distance ratio value F1 is given by Equation 1 below.
도 7은 본 발명의 일 실시 예에 따른 객체처리 단계(S420)의 마할라노비스 거리 비율값(F2)을 산출하는 단계(S423)을 설명하기 위한 도면이다. 7 is a view for explaining a step (S423) of calculating the Mahalanobis distance ratio value F2 of the object processing step (S420) according to an embodiment of the present invention.
도 7를 참조하면 골프공 오브젝트 영역의 픽셀값 누적빈도 도수분포도(H1)와 골프클럽 오브젝트 영역의 픽셀값 누적빈도 도수분포도(H2)의 파형은 다른 형상인 것을 알 수 있다. 도 7를 참조하면 객체처리 단계(S420)는 영상처리 단계(S410)의 외곽영상(S413)을 원본영상(S411)에 맵핑하여 오브젝트 영역 반지름(r)내 픽셀값의 누적빈도 도수분포도를 산출하고 누적빈도 도수분포도의 최대 빈도점(H_max)과 누적빈도 도수분포도의 평균 빈도점(H_mean)의 거리를 표준편차(s)로 정규화한 마할라노비스 거리 비율값(F2)을 산출하는 단계(S423)를 포함한다. 여기서, 마할라노비스 거리 비율값(F2) 계산식은 아래 수학식 2와 같다.Referring to FIG. 7, it can be seen that the waveforms of the pixel value cumulative frequency distribution H1 of the golf ball object area and the pixel value cumulative frequency distribution H2 of the golf club object area have different shapes. Referring to FIG. 7, the object processing step S420 maps the outer image S413 of the image processing step S410 to the original image S411 to calculate the cumulative frequency frequency distribution of pixel values in the object area radius r. Computing a Mahalanobis distance ratio value (F2) by normalizing the distance between the maximum frequency point (H_max) of the cumulative frequency distribution and the average frequency point (H_mean) of the cumulative frequency distribution by the standard deviation (S) (S423) It includes. Here, Mahalanobis distance ratio value (F2) calculation formula is as shown in Equation 2 below.
도 8은 본 발명의 일 실시 예에 따른 객체처리 단계(S420)의 최대 밝기점 거리 비율값(F3)를 산출하는 단계[S425]을 설명하기 위한 도면이다. 8 is a view for explaining a step [S425] of calculating the maximum brightness point distance ratio value F3 of the object processing step S420 according to an exemplary embodiment.
도 8을 참조하면 객체처리 단계(S420)는 영상처리 단계(S410)의 외곽영상(S413)을 원본영상(S411)에 맵핑하여 최대 밝기 좌표점(Q)을 계산하고 무게 중심점(C)까지 거리(D)를 오브젝트 영역 반지름 거리(r)로 정규화한 최대 밝기점 거리 비율값(F3)을 산출하는 단계(S425)를 포함한다. 여기서, 최대 밝기점 거리 비율값(F3) 계산식은 아래 수학식 3과 같다.Referring to FIG. 8, in the object processing step S420, the outer image S413 of the image processing step S410 is mapped to the original image S411 to calculate the maximum brightness coordinate point Q and the distance to the center of gravity point C. FIG. Calculating a maximum brightness point distance ratio value F3 obtained by normalizing (D) to the object region radius distance r (S425). Here, the maximum brightness point distance ratio value (F3) calculation formula is as shown in Equation 3 below.
100: 골프 시뮬레이터 장치
101: 카메라 장치
102: 조명장치
103: 골프공
104: 골프클럽
105: 카메라 장치 촬영 영역
300: 체크윈도
301: 골프공 오브젝트 체크윈도
302: 골프클럽 오브젝트 체크윈도 (드라이버)
303: 골프클럽 오브젝트 체크윈도 (우드)
304: 골프클럽 오브젝트 체크윈도 (아이언)
310: 운동 방향축 픽셀값 단면
311: 골프공 오브젝트 운동 방향축 픽셀값 단면
312: 골프클럽 오브젝트 운동 방향축 픽셀값 단면
S400: 초기설정 단계
S401: 골프공 최소 크기값
S402: 골프공 최저 밝기값
S410: 영상처리 단계
S420: 객체처리 단계
S430: 객체인식 단계
S411: 원본영상 획득
S412: 이진영상 변환
S413: 외곽영상 변환
S421: 외곽선 거리비율값 산출
S422: 1차 필터링
S423: 마할라노비스 거리값 산출
S424: 2차 필터링
S425: 최대 밝기점 거리 비율값 산출
S426: 3차 필터링
S431: 골프공 오브젝트로 인식
S432: 기타 오브젝트로 인식
S440: 데이터베이스 100: golf simulator device
101: camera device
102: lighting device
103: golf ball
104: golf club
105: camera device shooting area
300: check window
301: golf ball object check window
302: Golf Club Object Check Window (Driver)
303: Golf Club Object Check Window (Wood)
304: golf club object check window (iron)
310: pixel value cross section in the direction of movement axis
311: pixel value cross section of the golf ball object direction of motion
312: pixel value cross section of the direction axis of the golf club object
S400: Initial setting step
S401: golf ball minimum size value
S402: lowest brightness of golf ball
S410: image processing step
S420: object processing step
S430: object recognition step
S411: Acquire original image
S412: binary image conversion
S413: Outer Image Conversion
S421: Calculate the outline distance ratio value
S422: first order filtering
S423: Mahalanobis distance value calculation
S424: second-order filtering
S425: Calculate the maximum brightness point distance ratio value
S426: Third Order Filtering
S431: Recognized as a golf ball object
S432: Recognize as Other Object
S440: Database
Claims (1)
상기 골프 시뮬레이터를 초기화하는 것을 특징으로 하는 초기설정 단계(S400)에 있어, 카메라 장치의 촬영 영역 내에서 골프공과 카메라 장치를 최대 거리에 위치하여 계산된 골프공의 최소 크기값(S401)과 골프공의 최저 밝기값(S402)을 데이터베이스에 읽고 저장하는 단계와;
그리고 골프 시뮬레이터의 카메라 촬영 영상에서 골프공 후보 오브젝트를 검출하는 것을 특징으로 하는 영상처리 단계(S410)에 있어, 카메라 촬영 원본영상에서 데이터베이스에 저장된 골프공의 최저 밝기값(S402) 이상의 픽셀만 검출하여 이진영상으로 변환하는 단계 및 변환된 이진영상에서 주변 잡음을 제거하기 위해 데이터베이스에 저장된 골프공 최소 크기값(S401) 이상의 오브젝트만 검출하여 외곽영상으로 변환하는 단계와;
그리고 상기 영상처리 단계(S410)에서 검출된 골프공 후보 오브젝트에서 골프공 오브젝트만을 인식하는 것을 특징으로 하는 객체처리 단계(S420)에 있어, [수학식 1]에 따른 외곽선 거리 비율값(F1)을 산출하는 단계와 산출된 외곽선 거리 비율값(F1)이 데이터베이스에서 제공된 기준 값과 비교하여 골프공이 아닌 오브젝트를 걸러내는 1차 필터링 단계; [수학식 2]에 따른 마할라노비스 거리 비율값(F2)을 산출하는 단계와 산출된 마할라노비스 거리 비율값(F2)이 데이터베이스에서 제공된 기준 값과 비교하여 골프공이 아닌 오브젝트를 또 다시 걸러내는 2차 필터링 단계 및 [수학식 3]에 따른 최대 밝기점 거리 비율값(F3)을 산출하는 단계와 산출된 최대 밝기점 거리 비율값(F3)이 데이터베이스에서 제공된 기준 값과 비교하여 골프공이 아닌 오브젝트를 최종적으로 걸러내는 3차 필터링 단계와;
그리고 상기 객체처리 단계(S420)의 3단계 수학적 필터링 통해 걸러진 골프공 오브젝트만 구분하여 인식할 수 있는 객체인식 단계[S430];
를 포함하여 이루어지는 것을 특징으로 하는 골프 시뮬레이터의 카메라 촬영 영상에서 골프공 오브젝트만을 인식하는 방법.
[수학식 1]
[수학식 2]
[수학식 3]
In the initial setting step (S400), characterized in that for initializing the golf simulator, the minimum size value (S401) of the golf ball and the golf ball calculated by positioning the golf ball and the camera device at the maximum distance within the shooting area of the camera device Reading and storing the lowest brightness value S402 in a database;
And in the image processing step (S410) characterized in that to detect the golf ball candidate object in the camera shooting image of the golf simulator, by detecting only the pixel of the minimum brightness value (S402) of the golf ball stored in the database from the camera shooting original image Converting to a binary image and detecting only an object of a golf ball minimum size value (S401) stored in a database in order to remove ambient noise from the converted binary image and converting the image to an outer image;
And in the object processing step (S420) characterized in that only the golf ball object is recognized from the golf ball candidate object detected in the image processing step (S410), the outline distance ratio value F1 according to [Equation 1] A first filtering step of filtering the object other than the golf ball by comparing the calculation step and the calculated outline distance ratio value F1 with a reference value provided from a database; Computing the Mahalanobis distance ratio value (F2) according to [Equation 2] and the calculated Mahalanobis distance ratio value (F2) is compared to the reference value provided from the database to filter out the non-golf object again Calculating the maximum brightness point distance ratio value (F3) according to the second filtering step and [Equation 3] and the calculated maximum brightness point distance ratio value (F3) compared to the reference value provided from the database, and not an object. A third order filtering step for finally filtering;
And object recognition step [S430] to recognize only the golf ball object filtered through the three-step mathematical filtering of the object processing step (S420);
Method of recognizing only the golf ball object in the camera photographed image of the golf simulator comprising a.
[Equation 1]
[Equation 2]
[Equation 3]
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170159763 | 2017-11-27 | ||
| KR20170159763 | 2017-11-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190062156A KR20190062156A (en) | 2019-06-05 |
| KR102084858B1 true KR102084858B1 (en) | 2020-03-04 |
Family
ID=66844934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180110573A KR102084858B1 (en) | 2017-11-27 | 2018-09-14 | A method of recognizing only golf ball objects in photograph using cameras in a golf simulator |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102084858B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102531041B1 (en) * | 2021-01-08 | 2023-05-10 | 최은정 | Method of recognizing motion of golf ball and club in fast camera image and apparatus of analyzing golf motion using the same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008284166A (en) | 2007-05-17 | 2008-11-27 | Nippon Hoso Kyokai <Nhk> | Pitch type identification apparatus, identifier generator, pitch type identification program, and identifier generation program |
| KR101019823B1 (en) | 2010-06-29 | 2011-03-04 | (주) 골프존 | Apparatus and method for sensing moving object and virtual golf simulation device using the same |
| JP2013039344A (en) | 2011-08-15 | 2013-02-28 | Toshiba Corp | Apparatus and method for medical image processing and program for detecting abnormality |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11306325A (en) * | 1998-04-24 | 1999-11-05 | Toshiba Tec Corp | Method and device for object detection |
| KR101019847B1 (en) | 2010-06-29 | 2011-03-04 | (주) 골프존 | Sensing processing device and method for moving object, and virtual golf simulation device using the same |
| KR101723432B1 (en) * | 2015-06-12 | 2017-04-18 | 주식회사 골프존 | Device for sensing moving ball and method for the same |
-
2018
- 2018-09-14 KR KR1020180110573A patent/KR102084858B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008284166A (en) | 2007-05-17 | 2008-11-27 | Nippon Hoso Kyokai <Nhk> | Pitch type identification apparatus, identifier generator, pitch type identification program, and identifier generation program |
| KR101019823B1 (en) | 2010-06-29 | 2011-03-04 | (주) 골프존 | Apparatus and method for sensing moving object and virtual golf simulation device using the same |
| JP2013039344A (en) | 2011-08-15 | 2013-02-28 | Toshiba Corp | Apparatus and method for medical image processing and program for detecting abnormality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190062156A (en) | 2019-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909911B (en) | Image processing method, image processing apparatus, and electronic apparatus | |
| US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| US9589177B2 (en) | Enhanced face detection using depth information | |
| JP5873442B2 (en) | Object detection apparatus and object detection method | |
| US7840036B2 (en) | Human being detection apparatus, method of detecting human being, and human being detecting program | |
| CN106997457B (en) | Figure limb identification method, figure limb identification device and electronic device | |
| JP2006171929A (en) | Facial area estimation system, facial area estimation method and facial area estimation program | |
| JP6351243B2 (en) | Image processing apparatus and image processing method | |
| JP2006343859A (en) | Image processing system and image processing method | |
| US9947106B2 (en) | Method and electronic device for object tracking in a light-field capture | |
| KR102084858B1 (en) | A method of recognizing only golf ball objects in photograph using cameras in a golf simulator | |
| JP2010262576A (en) | Subject detecting apparatus and program | |
| JP2008035301A (en) | Mobile body tracing apparatus | |
| JP4390487B2 (en) | Head region extraction device | |
| KR101696086B1 (en) | Method and apparatus for extracting object region from sonar image | |
| KR101815697B1 (en) | Apparatus and method for discriminating fake face | |
| JP2009295112A (en) | Object recognition device | |
| CN107341380A (en) | Control method, electronic installation and computer-readable recording medium | |
| US11373451B2 (en) | Device and method for recognizing gesture | |
| US9082002B2 (en) | Detection device and detection method | |
| JP5047115B2 (en) | Moving object tracking device | |
| JP4432623B2 (en) | Image processing device | |
| KR101617182B1 (en) | Method and apparatus for detecting realtime object region robust to vehicle headlight | |
| JP3154501B2 (en) | Object recognition method and object recognition device | |
| Weigel et al. | Adaptive vision for playing table soccer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |