KR101019801B1

KR101019801B1 - Apparatus and method for sensing moving object and virtual golf simulation device using the same

Info

Publication number: KR101019801B1
Application number: KR1020100062208A
Authority: KR
Inventors: 김원일; 김영찬; 우창헌; 한민수; 이태화; 최명선; 정재욱; 강신; 이승우; 박한빛; 김명우; 김용우; 허성국
Original assignee: (주) 골프존
Priority date: 2010-06-29
Filing date: 2010-06-29
Publication date: 2011-03-04

Abstract

PURPOSE: An apparatus and a method for sensing a moving object and a virtual golf simulation device using the same are provided to accurately extract an obtained image of an object. CONSTITUTION: An apparatus for sensing a moving object comprises a sensor unit and a sensing process unit(220). The sensor unit obtains multiple exposure images of plural frames of an object according to a specific condition using camera devices(310,320) and stroboscopic illumination. The sensing process unit is composed of a first treating unit(230) and a second treating unit(240). The first treating unit extracts the center point.

Description

Object motion sensing device and sensing method, and virtual golf simulation device using the same {APPARATUS AND METHOD FOR SENSING MOVING OBJECT AND VIRTUAL GOLF SIMULATION DEVICE USING THE SAME}

본 발명은 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것으로 더욱 상세하게는 골프공 등과 같은 운동하는 오브젝트의 이미지를 취득하여 이를 분석함으로써 그 물리적 정보를 산출할 수 있도록 하는 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것이다.The present invention relates to an object motion sensing device and a sensing method, and a virtual golf simulation device using the same. More specifically, an object for calculating physical information by obtaining an image of a moving object such as a golf ball and analyzing the same. It relates to a motion sensing device and a sensing method, and a virtual golf simulation device using the same.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.Recently, various developments have been actively developed to enable popular sports games such as baseball, soccer, basketball, and golf to be enjoyed in the form of interactive sports games through simulation indoors or in specific places. It is done.

이와 같은 인터액티브 스포츠 게임에서 야구공, 축구공, 농구공 및 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 오브젝트, 즉 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.In such an interactive sports game, various kinds of objects for accurately sensing physical information about the movement of an object, that is, a ball, are used to simulate a sport using a ball such as a baseball ball, a soccer ball, a basketball ball, and a golf ball. The research and development of the sensing system is very active.

예컨대 적외선 센서를 이용한 센싱시스템, 레이저 센서를 이용한 센싱시스템, 음향 센서를 이용한 센싱시스템, 그리고 카메라 센서를 이용한 센싱시스템 등 다양한 센싱시스템이 등장하고 있다.For example, various sensing systems such as a sensing system using an infrared sensor, a sensing system using a laser sensor, a sensing system using an acoustic sensor, and a sensing system using a camera sensor are emerging.

본 발명은 운동하는 오브젝트에 대한 다중 노출 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함에도 불구하고 그 취득된 이미지상의 오브젝트의 이미지를 정확하게 추출하고 추출된 오브젝트에 대한 중심점 좌표를 서브 픽셀 수준으로 정확하게 구할 수 있도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치를 제공하기 위한 것이다.The present invention accurately extracts an image of an object on the acquired image even though a multi-exposure image of a moving object is obtained by a low-resolution low-speed camera device and a stroboscopic device, and the center point coordinates of the extracted object are subpixel level. The present invention provides an object motion sensing device and a sensing method for realizing high sensing processing capacity and sensing accuracy at low cost, and a virtual golf simulation device using the same.

본 발명의 일 실시예에 따른 오브젝트 운동 센싱장치는, 카메라 장치와 스트로보 조명에 의해 운동하는 오브젝트에 대해 특정 조건에 따른 복수 프레임의 다중 노출 이미지를 취득하는 센서부; 및 상기 다중 노출 이미지에서 오브젝트로 추정되는 이미지에 대해 상기 오브젝트의 형상으로 피팅하여 중심점을 추출하는 제1 처리수단과, 상기 추출된 중심점 중 상기 특정 조건에 대응하는 중심점이 선택되도록 하는 제2 처리수단을 포함하는 센싱처리부를 포함한다.Object motion sensing device according to an embodiment of the present invention, the sensor unit for acquiring a multiple exposure image of a plurality of frames according to a specific condition for the object moving by the camera device and strobe illumination; And first processing means for extracting a center point by fitting the image estimated as an object in the multiple exposure image to the shape of the object, and second processing means for selecting a center point corresponding to the specific condition among the extracted center points. It includes a sensing processing unit including a.

또한 바람직하게는, 상기 제1 처리수단은, 상기 오브젝트로 추정되는 이미지에 대해 조명에 의해 쉐이드 된 영역을 추정하여 그 반대쪽을 기준으로 상기 오브젝트의 형상으로 피팅함으로써 상기 피팅된 이미지의 중심점을 추출하는 피팅수단을 포함하는 것을 특징으로 한다.Also preferably, the first processing means extracts a center point of the fitted image by estimating an area shaded by illumination with respect to the image estimated as the object and fitting the shape to the shape of the object based on the opposite side thereof. It characterized in that it comprises a fitting means.

또한 바람직하게는, 상기 제1 처리수단은, 상기 오브젝트로 추정되는 이미지로부터 상기 오브젝트에 대한 상기 스트로보 조명의 방향을 추정하는 조명방향 추정수단과, 상기 추정된 조명방향을 기준으로 상기 오브젝트의 형상으로 상기 오브젝트로 추정된 이미지를 피팅하여 각 피팅된 이미지의 중심점을 추출하는 피팅수단을 포함하는 것을 특징으로 한다.Also preferably, the first processing means may include lighting direction estimating means for estimating the direction of the strobe illumination for the object from an image estimated as the object, and the shape of the object based on the estimated lighting direction. And fitting means for extracting a center point of each fitted image by fitting the image estimated by the object.

또한 바람직하게는, 상기 제1 처리수단은, 상기 다중 노출 이미지에서 배경 및 노이즈를 제거하는 전처리 수단과, 상기 전처리 된 이미지에서 소정의 조건에 따라 오브젝트의 이미지로서 추정되는 오브젝트 후보 이미지를 추출하는 오브젝트 추출수단과, 상기 추출된 오브젝트의 이미지에 대한 상기 스트로보 조명의 방향을 추정하는 조명방향 추정수단과, 상기 추정된 조명방향을 기준으로 상기 오브젝트의 형상으로 상기 추출된 오브젝트 이미지를 피팅하여 중심점을 측정하는 피팅수단을 포함하는 것을 특징으로 한다.Also preferably, the first processing means may include preprocessing means for removing background and noise from the multiple exposure image, and an object for extracting an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image. A center point is measured by fitting an extraction means, an illumination direction estimating means for estimating the direction of the strobe illumination with respect to the image of the extracted object, and the extracted object image in the shape of the object based on the estimated illumination direction. It characterized in that it comprises a fitting means.

또한 바람직하게는, 상기 제1 처리수단은 상기 오브젝트 이미지의 사이즈를 측정하는 사이즈 측정수단을 더 포함하며, 상기 피팅수단은 상기 측정된 사이즈에 따라 오브젝트 이미지를 피팅하도록 구성되는 것을 특징으로 한다.Also preferably, the first processing means further comprises size measuring means for measuring the size of the object image, wherein the fitting means is configured to fit the object image according to the measured size.

또한 바람직하게는, 상기 제1 처리수단은, 상기 다중 노출 이미지에서 노이즈 제거를 위한 이미지 처리 정도에 따라 단계별 처리 이미지를 각각 생성하는 전처리 수단을 더 포함하며, 상기 조명방향 추정수단 및 피팅수단은 각각 서로 다른 단계의 처리 이미지를 이용하여 작업을 수행하도록 한 것을 특징으로 한다.Also preferably, the first processing means may further include preprocessing means for generating stepwise processed images according to the degree of image processing for noise removal in the multiple exposure image, wherein the illumination direction estimation means and fitting means are respectively Characterized in that the operation is performed by using the processed image of the different steps.

또한 바람직하게는, 상기 전처리 수단은 노이즈 제거를 위한 이미지 처리 정도에 따라 제1 처리 이미지와 상기 제1 처리 이미지 보다 더 높은 수준의 이미지 처리가 이루어진 제2 처리 이미지를 각각 생성하며, 상기 오브젝트 추출수단은 상기 제2 처리 이미지를 이용하여 오브젝트 이미지를 추출하고, 상기 조명방향 추정수단은 상기 제2 처리 이미지의 추출된 오브젝트 이미지의 픽셀 값에 기초하여 조명방향을 추정하며, 상기 피팅수단은 상기 제1 처리 이미지의 상기 추출된 오브젝트 이미지에 대응되는 이미지에 대해 피팅을 하도록 구성되는 것을 특징으로 한다.Also preferably, the preprocessing means generates a first processed image and a second processed image having a higher level of image processing than the first processed image, respectively, according to the degree of image processing for removing noise, and the object extracting means. Extracts an object image using the second processed image, the illumination direction estimating means estimates an illumination direction based on pixel values of the extracted object image of the second processed image, and the fitting means And to fit an image corresponding to the extracted object image of the processed image.

또한 바람직하게는, 상기 제2 처리수단은, 상기 피팅된 이미지에 대해 각 프레임 별로 분류하여 상기 카메라 장치 및 스트로보 조명에 관한 특정 조건에 대응하는 분류를 오브젝트 이미지로서 선택하도록 구성되는 것을 특징으로 한다.Also preferably, the second processing means is configured to classify the fitted image for each frame and select a classification corresponding to a specific condition regarding the camera apparatus and strobe lighting as an object image.

또한 바람직하게는, 상기 제2 처리수단은, 상기 카메라 장치 및 스트로보 조명에 관한 특정 조건에 대응하지 않는 분류에 대해 상기 특정 조건에 대응하도록 보정하여 오브젝트 이미지로서 선택하도록 구성되는 것을 특징으로 한다.Also preferably, the second processing means is configured to correct the classification which does not correspond to the specific condition regarding the camera apparatus and the strobe illumination so as to correspond to the specific condition and select the object image.

한편, 본 발명의 다른 일 실시예에 따른 오브젝트 운동 센싱장치는, 운동하는 오브젝트의 서로 분리된 이미지를 포함하도록 다중 노출 이미지를 취득하는 센서부; 및 상기 다중 노출 이미지 상의 각 이미지에 대해 조명방향을 추정하는 조명방향 추정수단과, 추정된 조명방향을 기준으로 상기 오브젝트의 형상으로 이미지를 피팅하여 각 피팅된 이미지의 중심점을 측정하는 피팅수단과, 상기 다중 노출의 조건에 대응하도록 상기 피팅수단의 처리 결과를 보정하는 보정수단을 포함한다.On the other hand, the object motion sensing apparatus according to another embodiment of the present invention, the sensor unit for obtaining a multiple exposure image to include a separate image of the moving object; And illumination direction estimation means for estimating an illumination direction for each image on the multiple exposure image, fitting means for fitting an image to the shape of the object based on the estimated illumination direction to measure a center point of each fitted image; Correction means for correcting the processing result of the fitting means to correspond to the condition of the multiple exposure.

또한 바람직하게는, 상기 다중 노출 이미지에서 배경 및 노이즈를 제거하는 전처리 수단과, 상기 전처리 된 이미지에서 소정의 조건에 따라 오브젝트의 이미지로서 추정되는 오브젝트 후보 이미지를 추출하는 오브젝트 추출수단을 더 포함하여, 상기 추출된 오브젝트 후보 이미지에 대해 상기 조명방향 추정 및 피팅이 이루어지도록 한 것을 특징으로 한다.Also preferably, the apparatus may further include preprocessing means for removing background and noise from the multiple exposure image, and object extracting means for extracting an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image. The illumination direction estimation and fitting may be performed on the extracted object candidate image.

한편, 본 발명의 일 실시예에 따른 오브젝트 운동 센싱방법은, 운동하는 오브젝트에 대해 특정 조건에 따른 복수 프레임의 다중 노출 이미지를 취득하는 이미지 취득 단계; 상기 다중 노출 이미지에서 오브젝트로 추정되는 이미지에 대해 상기 오브젝트의 형상으로 피팅하여 중심점을 추출하는 제1 처리 단계; 및 상기 추출된 중심점 중 상기 특정 조건에 대응하는 중심점이 선택되도록 하는 제2 처리 단계를 포함한다.On the other hand, the object motion sensing method according to an embodiment of the present invention, the image acquisition step of acquiring multiple exposure images of a plurality of frames according to a specific condition for the object to be moved; A first processing step of extracting a center point by fitting a shape of the object to an image estimated as an object in the multiple exposure image; And a second processing step of selecting a center point corresponding to the specific condition among the extracted center points.

또한 바람직하게는, 상기 제1 처리 단계는, 상기 다중 노출 이미지에서 배경 및 노이즈를 제거하는 단계와, 상기 전처리 된 이미지에서 소정의 조건에 따라 오브젝트의 이미지로서 추정되는 오브젝트 후보 이미지를 추출하는 단계와, 상기 추출된 오브젝트의 이미지에 대한 상기 스트로보 조명의 방향을 추정하는 단계와, 상기 추정된 조명의 방향을 기준으로 상기 오브젝트의 형상으로 상기 추출된 오브젝트 이미지를 피팅하는 단계와, 상기 피팅된 이미지의 중심점을 측정하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the first processing may include removing background and noise from the multiple exposure image, extracting an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image; Estimating a direction of the strobe illumination relative to the image of the extracted object, fitting the extracted object image to the shape of the object based on the estimated direction of the illumination; And measuring the center point.

또한 바람직하게는, 상기 오브젝트 후보 이미지를 추출하는 단계는, 이미지에 대해 윤곽 형상을 체크함으로써 오브젝트 후보 이미지를 추출하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the extracting of the object candidate image may include extracting the object candidate image by checking a contour shape of the image.

또한 바람직하게는, 상기 오브젝트 후보 이미지를 추출하는 단계는, 이미지에 내접하는 특정 도형을 생성하여 해당 도형의 각 변의 비율을 체크함으로써 오브젝트 후보 이미지를 추출하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the extracting the object candidate image may include extracting the object candidate image by generating a specific figure inscribed in the image and checking a ratio of each side of the figure.

또한 바람직하게는, 상기 제1 처리 단계에 포함되는 모든 단계 중 적어도 하나의 단계는 선형 보간을 통한 확대된 이미지를 이용하여 수행되는 것을 특징으로 한다.Also preferably, at least one of all steps included in the first processing step may be performed using an enlarged image through linear interpolation.

또한 바람직하게는, 상기 제1 처리 단계는, 상기 다중 노출 이미지의 노이즈 제거를 위한 이미지 처리 정도에 따라 제1 처리 이미지와 상기 제1 처리 이미지 보다 더 높은 수준의 이미지 처리가 이루어진 제2 처리 이미지를 각각 생성하는 단계와, 상기 제2 처리 이미지에서 오브젝트 이미지를 추출하는 단계와, 상기 제2 처리 이미지의 추출된 오브젝트 이미지의 픽셀 값에 기초하여 조명방향을 추정하는 단계와, 상기 제1 처리 이미지의 상기 추출된 오브젝트 이미지에 대응되는 이미지에 대해 피팅하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the first processing may include processing a first processed image and a second processed image having a higher level of image processing than the first processed image according to the degree of image processing for removing noise of the multiple-exposure image. Respectively generating, extracting an object image from the second processed image, estimating an illumination direction based on pixel values of the extracted object image of the second processed image, and And fitting to an image corresponding to the extracted object image.

또한 바람직하게는, 상기 제2 처리 단계는, 상기 피팅된 이미지에 대해 각 프레임 별로 분류하는 단계와, 상기 분류된 결과에 대해 상기 다중 노출 이미지 취득에 관한 특정 조건에 대응하는지 여부를 판단하는 단계와, 상기 특정 조건에 대응하는 경우, 해당 분류를 오브젝트 이미지로서 선택하는 단계를 포함하는 것을 특징으로 한다.Also preferably, the second processing may include: classifying the fitted image for each frame, determining whether the classified result corresponds to a specific condition for acquiring the multiple-exposure image, and And in response to the specific condition, selecting the classification as an object image.

또한 바람직하게는, 상기 제2 처리 단계는, 상기 특정 조건에 대응하지 않는 경우, 해당분류에 대해 상기 특정 조건에 대응하도록 보정하는 단계를 더 포함하는 것을 특징으로 한다.Also preferably, when the second processing step does not correspond to the specific condition, the second processing step may further include correcting the classification to correspond to the specific condition.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 골퍼에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하도록 특정 조건으로 설정되는 카메라 장치 및 스트로보 장치를 포함하는 센서부; 상기 다중 노출 이미지에서 골프공으로 추정되는 이미지에 대해 상기 골프공의 형상으로 피팅하여 중심점을 추출하는 제1 처리수단과, 상기 추출된 중심점 중 상기 특정 조건에 대응하는 중심점이 선택되도록 하는 제2 처리수단을 포함하는 센싱처리부; 상기 센싱처리부에서 선택된 중심점의 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및 상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터를 포함한다.On the other hand, the virtual golf simulation apparatus according to an embodiment of the present invention, the sensor unit including a camera device and a stroboscope device is set to a specific condition to obtain a multiple exposure image for the golf ball hit by the golfer and moving; First processing means for extracting a center point by fitting to the shape of the golf ball to an image estimated as a golf ball in the multiple exposure image, and second processing means for selecting a center point corresponding to the specific condition among the extracted center points Sensing processing unit comprising a; A converting unit converting the coordinates of the center point selected by the sensing processing unit into three-dimensional coordinates; And a simulator for simulating the trajectory of the golf ball by calculating physical information about the golf ball moving based on the three-dimensional coordinates.

본 발명에 따른 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치는 운동하는 오브젝트에 대한 다중 노출 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함에도 불구하고 그 취득된 이미지상의 오브젝트의 이미지를 정확하게 추출하고 추출된 오브젝트에 대한 중심점 좌표를 서브 픽셀 수준으로 정확하게 구할 수 있도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 효과가 있다.The object motion sensing device and the sensing method according to the present invention, and the virtual golf simulation device using the same, even though the multiple exposure image of the moving object is acquired by the low-resolution low-speed camera device and the stroboscopic device, the object on the acquired image By accurately extracting the image of and obtaining the center coordinates of the extracted object at the subpixel level, it is possible to realize high sensing processing power and sensing accuracy at low cost.

도 1은 본 발명의 일 실시예에 따른 센싱장치 또는 가상 골프 시뮬레이션 장치에 관하여 나타낸 블록도이다.
도 2는 도 1에 도시된 센싱장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 센싱장치의 카메라 장치 및 스트로보 장치의 작동 신호 체계에 관하여 나타낸 도면이다.
도 4의 (a) 및 (b)는 도 2에 도시된 시스템에 따라 취득한 오브젝트의 이미지 패턴을 각각 나타낸 도면이다.
도 5의 (a)는 도 4의 (a)에 도시된 패턴의 이미지의 실제 취득된 이미지의 일 예를 나타낸 도면이며, 도 5의 (b)는 (a)에 도시된 이미지에 대한 전처리 된 이미지를 나타낸 도면이다.
도 6은 도 5의 (b)에 도시된 이미지를 확대하여 복수 프레임을 겹쳐서 나타낸 것으로서 오브젝트 이미지를 추출하는 과정을 나타낸 도면이다.
도 7은 오브젝트의 피팅 원리를 설명하는 도면으로서 도 7의 (a)는 오브젝트의 이미지를 나타내고, 도 7의 (b)는 오브젝트에 대한 잘못된 피팅의 예를 나타내며, 도 7의 (c)는 본 발명의 피팅 수단에 따른 오브젝트 피팅의 예를 나타낸 도면이다.
도 8의 (a)는 배경이 제거된 상태의 이미지이고 도 8의 (b)는 (a)의 A 영역을 확대하여 나타낸 이미지이다.
도 9의 (a)는 도 8의 (a)에 나타낸 이미지에 대해 낮은 수준의 이미지 처리를 하여 취득된 이미지이며, 도 9의 (b)는 (a)의 B 영역을 확대하여 나타낸 이미지이다.
도 10의 (a)는 도 8의 (a)에 나타낸 이미지에 대해 높은 수준의 이미지 처리를 하여 취득된 이미지이며, 도 9의 (b)는 (a)의 C 영역을 확대하여 나타낸 이미지이다.
도 11의 (a)는 도 10의 (b)에 도시된 이미지를 이용한 최대 밝기점을 추출한 상태의 이미지이며, 도 11의 (b)는 도 9의 (a)에 도시된 이미지에서 조명방향 축을 추출한 상태의 이미지이다.
도 12의 (a) 및 (b)는 오브젝트 이미지에 대한 피팅 과정을 나타낸 도면이다.
도 13은 도 12의 (a) 및 (b)에 나타낸 피팅 과정에 따라 피팅된 오브젝트 이미지에 대한 중심점이 추출된 상태의 이미지이다.
도 14는 도 13에 도시된 바와 같이 중심점이 추출된 오브젝트에 대한 스트로보 조명 간격과의 관계를 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명에 따른 센싱방법에 관한 각각의 실시예를 나타내는 플로우 차트이다.1 is a block diagram showing a sensing device or a virtual golf simulation device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a screen golf system to which the sensing device or the virtual golf simulation device shown in FIG. 1 is applied.
3 is a diagram illustrating an operation signal system of a camera device and a strobe device of a sensing device according to an embodiment of the present invention.
4A and 4B are diagrams each showing an image pattern of an object acquired according to the system shown in FIG. 2.
FIG. 5A is a diagram showing an example of an actual acquired image of the image of the pattern shown in FIG. 4A, and FIG. 5B is preprocessed for the image shown in FIG. A diagram showing an image.
FIG. 6 is a diagram illustrating a process of extracting an object image by enlarging a plurality of frames by enlarging the image illustrated in FIG. 5B.
FIG. 7 is a diagram illustrating an object fitting principle. FIG. 7A illustrates an image of an object, FIG. 7B illustrates an example of incorrect fitting of an object, and FIG. It is a figure which shows the example of the object fitting by the fitting means of this invention.
FIG. 8A is an image in which the background is removed, and FIG. 8B is an enlarged image of region A of FIG.
FIG. 9A is an image obtained by performing low-level image processing on the image shown in FIG. 8A, and FIG. 9B is an enlarged image of region B of FIG.
FIG. 10A is an image obtained by performing a high level of image processing on the image shown in FIG. 8A, and FIG. 9B is an image showing an enlarged C region of FIG.
(A) of FIG. 11 is an image in which the maximum brightness point is extracted using the image shown in (b) of FIG. 10, and (b) of FIG. 11 shows an axis of illumination direction in the image of (a) of FIG. Image of the extracted state.
12A and 12B are diagrams illustrating a fitting process for an object image.
FIG. 13 is an image of a center point extracted for a fitted object image according to the fitting process illustrated in FIGS. 12A and 12B.
FIG. 14 is a diagram for describing a relationship between a stroboscopic illumination interval for an object from which a center point is extracted as illustrated in FIG. 13.
15 and 16 are flowcharts illustrating respective embodiments of a sensing method according to the present invention.

본 발명에 따른 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치에 관한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.An embodiment of an object motion sensing apparatus and a sensing method and a virtual golf simulation apparatus using the same according to the present invention will be described in more detail with reference to the accompanying drawings.

본 발명에 따른 오브젝트 운동 센싱장치는 골프와 같은 볼을 이용하는 스포츠 등에서 운동하는 볼, 즉 오브젝트의 운동상태에 관한 이미지를 취득하여 이를 분석함으로써 센싱이 이루어지는 모든 시스템에 적용 가능하며, 그 일 예로서 가상 골프 시뮬레이션 장치가 적용되는 소위 스크린 골프 시스템 등에 적용이 가능하다.The object motion sensing apparatus according to the present invention is applicable to all systems in which sensing is performed by acquiring and analyzing an image of a ball, ie, an object's motion state, that is exercised in a sport using a ball such as golf, and the like as an example. It can be applied to a so-called screen golf system to which a golf simulation device is applied.

도 1 및 도 2에서는 이와 같은 본 발명에 따른 오브젝트 운동 센싱장치 및 이를 이용한 가상 골프 시뮬레이션 장치의 개략적인 구성에 관하여 나타내고 있다.1 and 2 illustrate a schematic configuration of the object motion sensing apparatus and the virtual golf simulation apparatus using the same according to the present invention.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 오브젝트 운동 센싱장치 및 이를 이용하는 가상 골프 시뮬레이션 장치에 관하여 설명한다.First, an object motion sensing apparatus and a virtual golf simulation apparatus using the same will be described with reference to FIGS. 1 and 2.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 오브젝트 운동 센싱장치는, 카메라 장치(310, 320), 스트로보 장치(330), 신호발생부(210) 등을 포함하는 센서부와, 상기 센서부에서 취득된 이미지를 처리함으로써 운동하는 오브젝트에 대한 이미지를 처리하여 중심점 좌표를 추출하는 센싱처리부(220)를 포함하여 구성된다.As shown in FIG. 1, an object motion sensing apparatus according to an exemplary embodiment includes a sensor unit including a camera device 310 and 320, a strobe device 330, a signal generator 210, and the like. And a sensing processing unit 220 for processing the image of the moving object by extracting the center point coordinates by processing the image acquired by the sensor unit.

상기 카메라 장치(310, 320)는 오브젝트의 초기 위치에서부터 오브젝트가 운동 방향을 따라 운동하는 상태에 관하여 복수개의 프레임의 이미지를 취득하도록 구비된다.The camera apparatuses 310 and 320 are provided to acquire images of a plurality of frames with respect to a state in which the object moves along the movement direction from an initial position of the object.

도 1에서는 상기 카메라 장치(310, 320)가 두 대 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 한대 또는 그 이상의 카메라 장치가 구비되는 모든 경우를 포함할 수 있다.Although FIG. 1 illustrates a case in which two camera apparatuses 310 and 320 are provided, the present invention is not limited thereto and may include all cases in which one or more camera apparatuses are provided.

상기 스트로보 장치(330)는 LED 등을 이용한 조명장치로서 상기 카메라 장치의 촬영용 광원으로 이용되며, 소정의 시간 간격으로 스트로보 조명(소정의 시간 간격으로 복수회의 조명 플래시가 작동되는 방식임)이 발생하여 상기 카메라 장치(310, 320)에 의해 다중 노출 이미지가 취득되도록 한다.The strobe device 330 is used as a light source for photographing the camera device as an illumination device using an LED light, and the strobe light is generated at predetermined time intervals (that is, a plurality of illumination flashes are operated at predetermined time intervals). The multiple exposure image is acquired by the camera apparatuses 310 and 320.

즉 카메라 장치에 의해 촬영되는 하나의 프레임의 이미지에 상기 스트로보 장치(330)에 의한 플래시 횟수만큼 오브젝트가 촬영되어 나타나는 다중 노출 이미지를 취득하게 된다.That is, a multiple exposure image, in which an object is photographed by the number of flashes by the strobe apparatus 330, is acquired in an image of one frame photographed by a camera apparatus.

카메라 장치(310, 320)와 스트로보 장치(330)의 작동에 관한 구체적인 사항에 대해서는 후술하기로 한다.Details of operations of the camera apparatuses 310 and 320 and the strobe apparatus 330 will be described later.

한편, 상기 카메라 장치(310, 320) 및 스트로보 장치(330)의 작동을 위한 트리거(trigger) 신호는 신호발생부(210)에 의해 발생하며, 상기 카메라 장치(310, 320)와 스트로보 장치(330)에 의한 다중 노출 이미지는 센싱처리부(220)에서 처리가 되어 시뮬레이터(100)로 전달된다.Meanwhile, a trigger signal for operating the camera devices 310 and 320 and the strobe device 330 is generated by the signal generator 210 and the camera devices 310 and 320 and the strobe device 330. The multiple exposure image is processed by the sensing processor 220 and transmitted to the simulator 100.

상기 센싱처리부(220)는 상기 다중 노출 이미지에서 오브젝트로 추정되는 이미지에 대해 상기 오브젝트의 형상으로 피팅하여 중심점을 추출하는 제1 처리수단(230)과, 상기 추출된 중심점 중 상기 특정 조건에 대응하는 중심점이 선택되도록 하는 제2 처리수단(240)을 포함한다.The sensing processor 220 extracts a center point by fitting the image estimated as the object in the multiple exposure image to the shape of the object, and corresponds to the specific condition among the extracted center points. And second processing means 240 to allow the center point to be selected.

상기 제1 처리수단(230)은, 상기 다중 노출 이미지에서 배경 및 노이즈를 제거하는 전처리 수단(231)과, 상기 전처리 된 이미지에서 소정의 조건에 따라 오브젝트의 이미지로서 추정되는 오브젝트 후보 이미지를 추출하는 오브젝트 추출수단(232)과, 상기 추출된 오브젝트의 이미지에 대한 상기 스트로보 조명의 방향을 추정하는 조명방향 추정수단(233)과, 상기 추정된 조명방향을 기준으로 상기 오브젝트의 형상으로 상기 추출된 오브젝트 이미지를 피팅하여 중심점을 측정하는 피팅수단(234)을 포함하도록 함이 바람직하다.The first processing means 230 may include a preprocessing means 231 for removing background and noise from the multiple exposure image, and an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image. Object extraction means 232, illumination direction estimation means 233 for estimating the direction of the strobe illumination with respect to the image of the extracted object, and the extracted object in the shape of the object based on the estimated illumination direction It is preferred to include fitting means 234 for fitting the image to measure the center point.

그리고 상기 제2 처리수단(240)은 상기 제1 처리수단(230)에 의해 이미지 처리되어 중심점이 추출된 각각의 이미지에 대해 카메라 장치의 각 프레임 별로 분류하여 상기 카메라 장치 및 스트로보 조명에 관한 특정 조건에 대응하는 분류의 오브젝트 중심점 좌표를 최종 중심점 좌표로서 추출한다.In addition, the second processing unit 240 is processed by the first processing unit 230 to classify each image of the center point extracted by each frame of the camera device for each specific condition for the camera device and strobe lighting The object center point coordinates of the classification corresponding to are extracted as the final center point coordinates.

상기 제1 처리수단(230) 및 제2 처리수단(240)에 관한 좀 더 구체적인 사항에 관하여는 후술하기로 한다.More specific matters regarding the first processing means 230 and the second processing means 240 will be described later.

한편, 상기 시뮬레이터(100)는 제어부(M), 데이터베이스(110), 영상처리부(120) 및 영상출력부(130) 등을 포함하여 구성됨이 바람직하다.On the other hand, the simulator 100 is preferably configured to include a controller (M), the database 110, the image processing unit 120 and the image output unit 130, and the like.

상기 제어부(M)는 상기 센싱처리부(220)에서 이미지 처리되어 획득된 오브젝트의 좌표 정보를 전달받아 이를 3차원 좌표 정보로 변환하여 오브젝트의 운동 궤적 시뮬레이션을 위한 소정의 물리적 정보를 산출하여 영상처리부(120)로 전달한다.The controller M receives the coordinate information of the object obtained by the image processing by the sensing processor 220, converts the coordinate information of the object into 3D coordinate information, and calculates predetermined physical information for simulating the motion trajectory of the object. 120).

이때 오브젝트의 운동 궤적의 시뮬레이션을 위한 소정의 데이터는 데이터베이스(110)로부터 추출하여 이용하고 상기 영상처리부(120)에서 오브젝트의 운동 궤적에 관한 시뮬레이션 영상 처리는 상기 데이터베이스(110)에 저장된 영상데이터가 추출됨으로써 이루어질 수 있다.At this time, the predetermined data for the simulation of the motion trajectory of the object is extracted from the database 110 and the image processing unit 120 extracts the image data stored in the database 110 in the simulation image processing of the motion trajectory of the object. This can be done by.

여기서 상기 센싱처리부(220)로부터 전달받은 오브젝트의 좌표 정보를 3차원 좌표 정보로 변환하는 컨버팅수단이 상기 제어부(M)와는 별도로 구비되도록 하는 것도 가능하다.Here, the converting means for converting the coordinate information of the object received from the sensing processing unit 220 into the three-dimensional coordinate information may be provided separately from the control unit (M).

상기한 바와 같은 장치 구성을 갖는 센싱장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 도 2에서 도시하고 있다.An example of a screen golf system to which a sensing device or a virtual golf simulation device having the device configuration as described above is applied is shown in FIG. 2.

도 2에 도시된 바와 같이 골프 부스(B)의 일측에 골프공(10)이 놓이는 골프티와 그라운드(페어웨이 매트, 러프 매트 및 벙커 매트 중 적어도 하나를 포함하도록 함이 바람직하다)가 구비되는 타격 매트(30)와 골퍼가 골프 스윙을 하도록 구비되는 스윙플레이트(20)가 구비된다.As shown in FIG. 2, a golf tee and a ground (preferably including at least one of a fairway mat, a rough mat and a bunker mat) on which the golf ball 10 is placed on one side of the golf booth B are provided. The mat 30 and the golfer is provided with a swing plate 20 provided to make a golf swing.

골프 부스(B)의 전방에는 영상출력부(130)에 의해 구현되는 가상 골프 시뮬레이션 영상이 표시되는 스크린(40)이 구비되며, 천장에는 카메라 장치(310, 320)와 스트로보 장치(330)가 각각 구비된다.In front of the golf booth (B) is provided with a screen 40 for displaying a virtual golf simulation image implemented by the image output unit 130, the camera device (310, 320) and the strobe device 330 on the ceiling, respectively It is provided.

도 2에서는 상기 카메라 장치(310, 320)가 각각 천장과 벽 쪽에 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 골프공(10)의 운동 상태에 관한 이미지를 효과적으로 취득할 수 있으면서 골퍼에 의한 스윙에 방해되지 않고 골퍼에 의해 타격된 골프공에 의해 충돌할 염려가 없는 미리 설정된 위치이면 어느 위치이든 설치가 가능하다.In FIG. 2, the camera devices 310 and 320 are provided on the ceiling and the wall, respectively, but the present invention is not limited thereto. Any position can be installed as long as it is a predetermined position that is not obstructed and that there is no fear of collision by the golf ball hit by the golfer.

그리고 도 2에서 스트로보 장치(330)가 천장에 설치되어 타격 지점에 실질적으로 수직 방향으로 스트로보 조명을 제공하도록 설치되어 있는 경우에 관하여 나타내고 있는데, 이에 한정되지 않고 효과적인 스트로보 조명을 제공할 수 있는 위치이면 어느 위치이든 가능하다.2 shows a case in which the strobe device 330 is installed on the ceiling and installed to provide strobe light in a direction substantially perpendicular to the point of impact, but is not limited thereto. Any location is possible.

상기한 바와 같은 시스템에서 골퍼가 스윙플레이트(20)에서 타격매트(30) 상의 골프공(10)을 스크린(40)을 향하여 타격하면, 도 2에 도시된 바와 같이 타격이 이루어지는 소정 영역을 촬영하고 있는 카메라 장치(310, 320)가 각각 복수 프레임의 이미지를 취득하고 이때 스트로보 장치(330)는 하나의 프레임당 복수회의 플래시를 터뜨려 운동하는 골프공에 대한 다중 노출 이미지를 취득하게 된다.In the system as described above, when the golfer hits the golf ball 10 on the hitting mat 30 toward the screen 40 in the swing plate 20, the predetermined area where the hit is made as shown in FIG. The camera apparatuses 310 and 320 acquire images of a plurality of frames, respectively, and the strobe apparatus 330 acquires a multiple exposure image of a golf ball that fires a plurality of flashes per frame.

도 3에서는 신호발생부(210, 도 1 참조)에 의한 카메라 장치와 스트로보 장치의 트리거 신호 발생 체계에 관하여 나타내고 있다.In FIG. 3, a trigger signal generation system of the camera apparatus and the strobe apparatus by the signal generator 210 (see FIG. 1) is illustrated.

도 3에 도시된 바와 같이 카메라 장치에 대한 트리거 신호는 tc 시간 간격으로 이루어진다. 즉 한 프레임당 tc 시간 간격으로 트리거 신호가 발생한다. 이때 한 프레임당 노출되는 시간은 te 시간이며(이때 tc > te 가 되도록 함이 바람직하다) tc - te 시간 동안 취득된 이미지에 대한 데이터가 센싱처리부(220, 도 1 참조)로 전송이 이루어지도록 함이 바람직하다.As shown in FIG. 3, the trigger signal for the camera device is made at tc time intervals. That is, the trigger signal is generated at tc time intervals per frame. At this time, the exposure time per frame is te time (where tc> te is preferable), and the data about the image acquired during the tc-te time is transmitted to the sensing processor 220 (see FIG. 1). This is preferred.

즉 도 3에 도시된 바와 같이 카메라 장치의 한 프레임당 트리거 신호 발생 시간 간격 동안 카메라 장치의 노출이 이루어지고 취득된 다중 노출 이미지에 대한 데이터가 센싱처리부로 전송이 된다.That is, as shown in FIG. 3, the camera apparatus is exposed during the trigger signal generation time interval of the camera apparatus, and data about the obtained multiple exposure image is transmitted to the sensing processor.

그리고 카메라 장치의 노출 시간(te 시간) 동안 스트로보 장치에 의한 스트로보 조명은 복수회 발생되는데, 도 3에서는 스트로보 조명의 트리거 신호가 ts1의 시간 간격으로 3회 발생하는 경우에 관하여 나타내고 있다.The strobe illumination by the strobe apparatus is generated a plurality of times during the exposure time (te time) of the camera apparatus. In FIG. 3, the trigger signal of the strobe illumination is generated three times at a time interval of ts1.

즉 카메라 장치의 노출 시간(te 시간) 동안 스트로보 조명은 동일한 시간 간격인 ts1 시간 간격으로 3회 발생하는 것이다. 이때 신호발생부(210, 도 1 참조)에 의해 카메라 장치와 스트로보 장치는 맨 첫 번째 트리거 신호가 동시에 발생되도록 동기화되도록 함이 바람직하다.That is, during the exposure time (te time) of the camera device, strobe illumination occurs three times at the same time interval ts1 time interval. At this time, the camera device and the strobe device are preferably synchronized by the signal generator 210 (see FIG. 1) so that the first trigger signal is simultaneously generated.

그리고 도 3에 도시된 바와 같이 3회의 스트로보 조명 중 마지막 스트로보 조명의 트리거 신호로부터 다음 프레임의 첫 번째 스트로보 조명의 트리거 신호까지의 시간은 ts2 시간 간격이 되도록 함이 바람직하며, 상기 ts1과 ts2 시간 간격이 서로 동일하게 되도록 설정될 수도 있으나 도 3에 도시된 바와 같이 ts1 시간과 ts2 시간이 서로 다르게 되도록 설정됨이 바람직하며, ts2 시간이 ts1 시간 보다 더 길게 되도록 설정되는 것이 가능하다. As shown in FIG. 3, the time from the trigger signal of the last strobe light to the trigger signal of the first strobe light of the next frame among the three strobe lights is preferably ts2 time interval, and the time interval between ts1 and ts2 times. 3 may be set to be the same, but as shown in FIG. 3, the ts1 time and the ts2 time are preferably set to be different from each other, and the ts2 time may be set to be longer than the ts1 time.

상기한 바와 같이 카메라 장치와 스트로보 장치 각각의 트리거 신호 간격이 일정하게 되도록 고정되어 있음으로 말미암아 취득되는 다중 노출 이미지상의 오브젝트 이미지의 간격도 일정하게 나타날 수밖에 없다. As described above, the distance between the trigger signal of each of the camera device and the strobe device is fixed so that the distance between the object images on the multiple exposure image acquired is constant.

따라서 센싱처리부에서 다중 노출 이미지를 처리함에 있어서 상기 다중 노출 이미지상에 존재하는 오브젝트 이미지와 여러 가지 노이즈로부터 정확한 오브젝트 이미지를 상기한 트리거 신호의 일정하게 고정된 간격에 관한 특징으로부터 효과적으로 분리할 수 있다.Therefore, in processing the multiple exposure image, the sensing processor can effectively separate the correct object image from the object image existing on the multiple exposure image and various noises from the feature regarding the fixed fixed interval of the trigger signal.

또한, 카메라 장치의 각 프레임당 스트로보 조명의 간격이 일정하게 고정되어 있기 때문에 다중 노출 이미지에서 오브젝트의 운동 속도에 따라 여러 가지 패턴의 이미지가 발생할 수 있다.In addition, since the interval of strobe illumination per frame of the camera device is fixed at a constant, various patterns of images may be generated according to the movement speed of the object in the multiple exposure image.

이하에서는 운동하는 오브젝트를 골프클럽에 의해 타격되어 운동하는 볼(골프공)을 예로서 설명하기로 한다.Hereinafter, a ball (golf ball) that is hit by a golf club and moves by the golf object will be described as an example.

도 4에서는 도 3에 도시된 신호 발생 체계에 따른 카메라 장치와 스트로보 장치에 의해 취득되는 다중 노출 이미지의 두 가지 패턴을 (a) 및 (b)에서 각각 도시하고 있다.In FIG. 4, two patterns of the multiple exposure image acquired by the camera apparatus and the strobe apparatus according to the signal generation system illustrated in FIG. 3 are illustrated in (a) and (b), respectively.

즉 도 4에서는 볼이 골프클럽에 의해 타격됨에 따라 운동하는 상태에 관하여 도 3에 도시된 트리거 신호 체계에 따라 취득된 두 가지 패턴의 이미지에 관하여 나타내고 있다(I1 및 I2).That is, FIG. 4 shows two patterns of images acquired according to the trigger signal system shown in FIG. 3 regarding the state in which the ball is hit by the golf club (I1 and I2).

도 4의 (a)에 도시된 이미지(I1)에서는 골프클럽 이미지(C1, C2, C3)와 볼 이미지(11a, 11b, 11c)가 다중 노출에 의해 취득된 경우로서, 볼 이미지(11a, 11b, 11c)가 서로 소정 간격 분리되어 나타난 경우이다.In the image I1 shown in FIG. 4A, the golf club images C1, C2, C3 and the ball images 11a, 11b, and 11c are obtained by multiple exposure, and the ball images 11a and 11b are obtained. , 11c) appear to be separated from each other by a predetermined interval.

그리고 도 4의 (b)에 도시된 이미지(I2)는 볼이 서로 중첩되어 소정 크기의 이미지 영역(12)으로서 나타나는 경우에 관하여 나타내고 있다.The image I2 shown in FIG. 4B shows a case where the balls overlap each other and appear as an image area 12 of a predetermined size.

즉 도 4의 (a)에 도시된 이미지는 볼이 고속으로 운동하기 때문에 각각의 스트로보 조명이 트리거 될 때 소정 거리 떨어진 상태로 이미지가 형성된 경우이고, 도 4의 (b)에 도시된 이미지는 볼이 저속으로 운동하기 때문에 볼이 멀리 진행하기 전에 스트로보 조명이 각각 트리거 되어 서로 중첩되어 나타나는 경우이다.That is, the image shown in (a) of FIG. 4 is a case where the image is formed at a predetermined distance when each strobe light is triggered because the ball moves at high speed, and the image shown in (b) of FIG. Because of this slow motion, the strobe lights are triggered before the ball travels farther and appear superimposed on each other.

본 발명에 따른 오브젝트 운동 센싱장치 및 센싱방법은 도 4의 (a)에 도시된 바와 같이 볼이 스트로보 조명의 고정된 주기에 따른 소정 속도 이상의 고속으로 운동함으로써 다중 노출 이미지상에 오브젝트가 서로 분리된 상태로 나타나는 경우 이에 대한 각 볼의 중심점 좌표를 정확하게 취득하기 위한 것에 관한 것으로, 본 발명에 따른 센싱방법에 의하면 도 4의 (b)에 도시된 바와 같이 볼이 중첩되어 나타나는 경우에는 이를 제외시킨다. In the object motion sensing apparatus and sensing method according to the present invention, as shown in FIG. The present invention relates to precisely acquiring the coordinates of the center point of each ball when it appears as a state. According to the sensing method according to the present invention, when the balls overlap as shown in FIG.

그리고 상기한 바와 같이 제외된 중첩된 볼에 관한 이미지는 별도의 이미지 처리수단에 의해 처리되고 이는 본 발명의 범위를 벗어나므로 이에 대한 구체적인 설명은 생략한다.And as described above, the image of the overlapped ball is excluded is processed by a separate image processing means and this is beyond the scope of the present invention, a detailed description thereof will be omitted.

이하 도 5 내지 도 14를 참조하여 본 발명에 따른 오브젝트 운동 센싱장치에 의한 상기 도 4의 (a)에 도시된 바와 같은 서로 분리된 볼 이미지의 처리에 관하여 설명한다.Hereinafter, the processing of the ball images separated from each other as shown in FIG. 4A by the object motion sensing apparatus according to the present invention will be described with reference to FIGS. 5 to 14.

도 5의 (a)는 서로 분리된 볼에 관한 이미지를 포함하는 다중 노출 이미지 원본을 나타내고 있는데, 320 X 240의 낮은 해상도의 75 fps의 저속으로 동작하는 카메라 장치와 330Hz의 스트로보 장치를 이용하여 취득한 이미지이다.FIG. 5 (a) shows an original multiple exposure image including images of balls separated from each other, which is obtained by using a low speed camera device having a low resolution of 320 × 240 and a fusing device of 330 Hz and a 330 Hz strobe device. Image.

도 5의 (a)에 나타낸 바와 같은 원본 이미지에 대해 차연산(Subtraction) 등을 통해 정지되어 있는 이미지, 즉 배경 이미지 등을 제거하고 가우시안 블러(Gausian Blur) 등의 소정의 전처리 과정을 거친 이미지에 대해 도 5의 (b)에서 나타내고 있다.On the image which has been fixed with subtraction or the like for the original image as shown in (a) of FIG. 5, the background image is removed and subjected to a predetermined preprocessing process such as Gaussian Blur. It is shown in FIG.5 (b).

이와 같이 다중 노출 이미지상의 배경과 노이즈가 적절하게 제거된 상태에서 볼로서 추정되는 이미지를 추출하는 것이 더욱 용이하게 된다. 이에 대해서는 도 6에서 도시하고 있다.In this way, it is easier to extract an image estimated as a ball with the background and noise on the multiple exposure image properly removed. This is illustrated in FIG. 6.

도 6에 도시된 이미지는 카메라 장치에 의해 촬영된 복수 프레임의 이미지를 한장의 이미지로 겹쳐서 나타낸 것으로, 3회의 스트로보 조명에 의해 나타나는 3개의 볼 이미지가 하나의 이미지 세트를 구성한다고 할 때, S0 이미지 세트는 0번 프레임에 대한 이미지이고, S1 이미지 세트는 1번 프레임에 대한 이미지이며, S2 이미지 세트는 2번 프레임에 대한 이미지를 나타낸 것이다.The image shown in FIG. 6 is a superimposed image of a plurality of frames taken by the camera device into a single image. S0 image when three ball images represented by three strobe lights constitute one image set. The set is an image for frame 0, the S1 image set is an image for frame 1, and the S2 image set represents an image for frame 2.

여기서 볼의 이미지로서 추정되는 이미지를 윤곽 체크나 체크 윈도우 등을 통해 추출할 수 있는데, 볼이 아닌 것으로 추정되는 이미지들을 제외시키면서 최종적으로 볼로서 추정되는 이미지만 남도록 하는 방식으로 처리가 가능하다.Here, the image estimated as the image of the ball may be extracted through a contour check or a check window, and the like may be processed in such a manner that only the image estimated as the ball remains while excluding the images estimated as the non-ball.

즉 볼은 일정한 지름을 가지고 있으므로 이를 고려하여 다중 노출 이미지상의 각각의 이미지에 대한 윤곽을 체크하여 그 체크된 윤곽이 볼이라고 하기에 너무 크거나 너무 작은 경우 이를 제외시킬 수 있다.That is, since the ball has a constant diameter, the contour of each image on the multi-exposure image may be checked in consideration of this, and it may be excluded if the checked contour is too large or too small to be called a ball.

그리고 도 6에 도시된 바와 같이 다중 노출 이미지상의 각각의 이미지(11)의 크기에 맞게 해당 이미지(11)가 포함되도록 체크 윈도우(W)를 형성시키고 체크 윈도우(W)의 가로방향 길이와 세로방향 길이의 비율(aspect ratio)을 체크한다. As shown in FIG. 6, the check window W is formed to include the image 11 according to the size of each image 11 on the multiple exposure image, and the horizontal length and the vertical direction of the check window W are included. Check the aspect ratio.

볼은 원형이므로 이에 대한 aspect ratio는 거의 일정해야 하므로, 다중 노출 이미지상의 각 이미지(11)에 대한 체크 윈도우(W)의 aspect ratio가 너무 커서 넓은 폭을 갖거나 너무 작아서 폭이 너무 좁은 경우 이를 볼이 아닌 것으로 보아 제외시킬 수 있다.Since the ball is circular, the aspect ratio for this should be nearly constant, so if the aspect ratio of the check window (W) for each image 11 on the multiple exposure image is too large to have a wide width or too small to see it, It can be excluded because it is not.

상기한 바와 같이 예시된 방법에 의해 다중 노출 이미지상에서 볼로서 추정되는 이미지(11)를 추출할 수 있다.As described above, the image 11 estimated as a ball on the multiple exposure image can be extracted by the illustrated method.

한편, 상기한 바와 같이 볼 이미지로서 추출된 이미지(11)는 도 7에 도시된 바와 같이 각각 볼의 형상으로 피팅(Fitting) 됨으로써 그 중심점 좌표가 추출될 수 있다.Meanwhile, as illustrated in FIG. 7, the image 11 extracted as the ball image is fitted into the shape of the ball, and thus the center point coordinates may be extracted.

도 7의 (a)는 스트로보 조명 하에서 취득되는 볼 이미지의 일 예를 나타낸 이미지이고, 도 7의 (b)는 볼에 관한 잘못된 피팅 결과를 나타낸 도면이며, 도 7의 (c)는 본 발명에 따른 피팅 수단에 의해 볼이 바람직하게 피팅된 결과를 나타낸 것이다.Figure 7 (a) is an image showing an example of the ball image acquired under stroboscopic illumination, Figure 7 (b) is a view showing the wrong fitting result for the ball, Figure 7 (c) is in the present invention The result shows that the ball is preferably fitted by the fitting means accordingly.

도 7의 (a)에 도시된 바와 같이 볼의 이미지(11)는 스트로보 조명을 받는 상태로 촬영이 되기 때문에 볼 이미지(11)의 일측에는 조명을 받는 영역(R1)이 명확하게 나타나며 상기 조명을 받는 영역(R1)의 반대측에는 쉐이드(Shade)가 생겨서 볼 이미지(11)의 일부분을 가리게 되는 쉐이드 영역(R2)이 존재하게 된다.As shown in (a) of FIG. 7, the image 11 of the ball is photographed in a state of receiving strobe illumination, and thus an illuminated area R1 is clearly shown on one side of the ball image 11, and the illumination is displayed. On the opposite side of the receiving area R1, a shade is formed, and the shade area R2 is formed to cover a part of the ball image 11.

이와 같은 쉐이드 현상은 조명의 각도에 따라 약간만 나타날 수도 있고 볼 이미지의 반 이상이 쉐이드 현상으로 말미암아 가려지게 되는 경우도 있을 수 있다.This shade phenomenon may appear only slightly depending on the angle of illumination, and in some cases, more than half of the ball image may be obscured by the shade phenomenon.

스트로보 조명 하에서 취득되는 볼 이미지가 쉐이드 되는 경우, 도 7의 (b)에 도시된 바와 같이 볼의 형상으로 볼 이미지를 피팅(Fitting) 하게 되면 그 중심점이 왜곡되어 나타나게 되어 중심점 좌표 정보에 큰 오류가 발생하고 결국 오브젝트에 대한 운동 시뮬레이션의 정확성이 매우 떨어지게 되는 문제점이 발생하게 된다.When the ball image acquired under the strobe illumination is shaded, when fitting the ball image to the shape of the ball as shown in (b) of FIG. 7, the center point is distorted and a large error occurs in the center point coordinate information. And ultimately, the accuracy of the motion simulation on the object is very poor.

따라서 스트로보 조명 하에서 취득되는 볼 이미지에 대한 피팅은 볼 이미지에 나타나는 쉐이드 영역을 고려하여 이루어짐이 바람직하다.Therefore, fitting to the ball image acquired under strobe illumination is preferably made in consideration of the shade area appearing in the ball image.

볼 이미지에 대한 쉐이드 영역을 고려한 피팅의 일 예로서 볼에 대한 스트로보 조명의 방향을 추정하여 그 조명 방향을 기준으로 해서 피팅이 이루어지도록 함으로써 쉐이드 영역이 피팅된 커브에 포함되도록 하는 것이 가능하다.As an example of the fitting considering the shade area for the ball image, it is possible to estimate the direction of strobe illumination for the ball so that the fitting is made based on the illumination direction so that the shade area is included in the fitted curve.

도 7의 (c)에서는 이와 같이 조명 방향을 고려하여 볼 이미지를 피팅하는 것에 관하여 나타내고 있는데, 도 7의 (c)에 도시된 바와 같이 오브젝트 이미지(11)의 조명을 받는 영역(R1)에 피팅커브(FC)를 형성시킴으로써 쉐이드 영역(R2)이 피팅커브(FC)에 포함되도록 피팅이 이루어진 것을 볼 수 있다.In FIG. 7C, the fitting of the ball image in consideration of the lighting direction is illustrated. In FIG. 7C, fitting to the illuminated area R1 of the object image 11 is illustrated. It can be seen that the fitting is made such that the shade region R2 is included in the fitting curve FC by forming the curve FC.

이와 같은 방식으로 볼 이미지가 피팅됨으로써 그 중심점(CP)은 정확하게 추출될 수 있다.By fitting the ball image in this manner, the center point CP can be accurately extracted.

상기한 바와 같은 볼 이미지에 대한 정확한 중심점 추출을 위해서는 최초에 취득된 다중 노출 이미지에서 배경과 노이즈가 적절하게 제거되어 가능한 한 볼의 이미지만 남을 수 있도록 이미지 처리가 될 필요가 있으며, 조명방향 추정과 볼 이미지의 피팅(fitting)을 위해서는 이미지에 대한 적절한 가우시안 블러(Gausian Blur), 특정 픽셀값에 대한 쓰레숄드(Threshold) 처리 및 이미지의 픽셀값에 대한 노멀라이제이션(Normalization) 등의 이미지 처리 과정이 필요하다.In order to accurately extract the center point of the ball image as described above, it is necessary to perform image processing so that the background and noise are properly removed from the initially obtained multiple exposure image so that only the image of the ball remains as much as possible. For the fitting of the ball image, image processing such as proper Gaussian Blur for the image, threshold processing for a specific pixel value, and normalization of the pixel value of the image may be performed. need.

또한 이미지로부터 특정 정보를 추출하기 위해 이미지 처리를 함에 따라 볼 이미지의 훼손이 불가피하게 되는 상황이 생길 수도 있으므로 이미지를 여러 단계별로 생성하여 각각의 단계에 따른 이미지로부터 특정 정보를 추출하도록 하는 것이 바람직하다.In addition, as image processing is performed to extract specific information from an image, there may be a situation in which damage to an image to be viewed may be inevitable. Therefore, it is preferable to generate an image in several steps to extract specific information from an image according to each step. .

도 8 내지 도 10에 각각 도시된 이미지들은 상기한 바와 같이 이미지 처리 과정에 따라 이미지를 여러 단계별로 생성하는 경우에 관하여 나타내고 있다.As illustrated above, the images illustrated in FIGS. 8 to 10 illustrate a case where the image is generated in various stages according to the image processing process as described above.

도 8의 (a)는 최초에 취득되는 다중 노출 이미지에 대해 차연산 등을 통해 배경을 제거한 상태의 이미지를 나타내고 있다. 그리고 도 8의 (b)는 도 8의 (a)에 나타낸 A 영역을 확대하여 나타낸 것으로서 오리지날 볼 이미지(11-0)에 관하여 나타낸 이미지이다.FIG. 8A illustrates an image of a state in which a background is removed through a difference operation or the like with respect to a multiple exposure image obtained at first. FIG. 8B is an enlarged view of the region A shown in FIG. 8A, and is an image of the original ball image 11-0.

도 8의 (b)에 도시된 바와 같이, 볼에 많은 딤플(Dimple)이 형성되어 있어 조명에 의한 영향이 불규칙적인 이유로 말미암아 오리지날 볼 이미지(11-0)의 픽셀값의 분포가 매우 불규칙적이며, 주변에 하나 또는 그 이상의 작은 픽셀 단위로 불규칙적인 픽셀값을 갖는 이른바 'Salt and Pepper noise'가 매우 많이 존재하고 있음을 알 수 있다.As shown in (b) of FIG. 8, since a large number of dimples are formed in the ball, the distribution of pixel values of the original ball image 11-0 is very irregular due to the irregular influence of illumination. It can be seen that there are a lot of so-called 'salt and pepper noise's with irregular pixel values around one or more small pixels.

이와 같은 상태의 이미지에서는 정확한 중심점 추출을 위한 각종 정보 추출이 매우 어렵고 추출된 정보에 오류가 발생할 가능성이 크다.In such an image, it is very difficult to extract various information for accurate center point extraction, and errors in the extracted information are likely to occur.

따라서 주변의 노이즈를 모두 제거하고 오리지날 볼 이미지(11-0)의 불규칙적인 픽셀값의 분포를 적절하게 조절할 필요가 있다.Therefore, it is necessary to appropriately adjust the distribution of irregular pixel values of the original ball image 11-0 by removing all surrounding noise.

도 9의 (a)에서는 도 8의 (a)에 도시된 이미지에 대해 오리지날 볼 이미지의 형상을 크게 훼손하지 않을 정도의 적절한 수준의 가우시안 블러 처리 및 쓰레숄드(Threshold) 처리를 함으로써 주변의 여러 가지 노이즈를 거의 제거한 상태의 이미지에 관하여 나타내고 있고, 도 9의 (b)는 도 9의 (a)에 나타낸 B 영역을 확대하여 나타낸 것으로서 제1 처리 이미지(11-1)에 관하여 나타낸 것이다.In (a) of FIG. 9, the image shown in (a) of FIG. 8 is subjected to Gaussian blur and threshold processing at an appropriate level such that the shape of the original ball image is not largely damaged. Fig. 9B shows an enlarged view of the region B shown in Fig. 9A and shows the first processed image 11-1.

도 10의 (a)에서는 도 8의 (a)에 도시된 이미지에 대해 상기 제1 처리 이미지(11-1) 보다 더 높은 수준의 가우시안 블러 처리 및 쓰레숄드(Threshold) 처리를 하고 볼 이미지상의 픽셀값에 대한 노멀라이제이션(Normalization) 처리를 한 상태의 이미지에 관하여 나타내고 있고, 도 10의 (b)는 도 10의 (a)에 나타낸 C 영역을 확대하여 나타낸 것으로서 제2 처리 이미지(11-2)에 관하여 나타낸 이미지이다.In (a) of FIG. 10, a pixel on an image to be subjected to a higher level of Gaussian blur and threshold processing than the first processed image 11-1 with respect to the image illustrated in FIG. An image in a state in which a normalization process is performed on a value is shown, and FIG. 10B is an enlarged view of the region C shown in FIG. 10A to show a second processed image 11-2. ).

상기 제2 처리 이미지(11-2)는 오리지날 볼 이미지(11-0)의 형상이 많이 훼손되어 있지만 볼의 딤플에 의한 불규칙적 픽셀값 분포에 의한 영향이 제거되고 조명을 받는 부분이 명확하게 구분되어 있는 것을 알 수 있다.Although the shape of the original ball image 11-0 is largely damaged, the second processed image 11-2 is removed from the influence of irregular pixel value distribution due to the dimple of the ball, and the illuminated part is clearly distinguished. I can see that there is.

상기한 도 10에 도시된 이미지, 즉 제2 처리 이미지(11-2)를 이용하여 도 11에 도시된 바와 같이 조명방향을 추정하도록 함이 바람직하다.It is preferable to estimate the illumination direction as shown in FIG. 11 by using the image shown in FIG. 10, that is, the second processed image 11-2.

상기 제2 처리 이미지(11-2)는 픽셀값이 적절하게 분포되어 픽셀값의 높고 낮음이 명확하게 구분되어 있어 픽셀값이 높은 영역을 찾음으로써 조명방향을 용이하게 추정할 수 있도록 하고 있다. 여기서 이미지가 그레이 스케일이므로 픽셀값은 휘도값의 정보를 가지고 있다.In the second processed image 11-2, pixel values are appropriately distributed so that high and low pixel values are clearly distinguished, so that the illumination direction can be easily estimated by finding an area having a high pixel value. In this case, since the image is gray scale, the pixel value has information of the luminance value.

즉 도 11의 (a)에 도시된 제2 처리 이미지(11-2)의 상대적으로 휘도가 높은 R3 영역에 조명이 집중되고 있음을 알 수 있으며, 상기 R3 영역의 중심을 조명방향의 중심점으로 볼 수 있다, 즉 가장 휘도값이 높은 점(Brightest Point)이 조명방향 축이 지나는 지점이 된다. 도 11의 (a)에서 R3 영역의 중심점인 가장 휘도값이 높은 점(BP)에 관하여 표시하고 있다.That is, it can be seen that illumination is concentrated in a relatively high luminance R3 region of the second processed image 11-2 shown in FIG. 11A, and the center of the R3 region is regarded as the center point of the illumination direction. That is, the brightest point is the point where the axis of illumination direction passes. In FIG. 11A, the point BP having the highest luminance value, which is the center point of the R3 region, is indicated.

이와 같이 볼 이미지에서 가장 휘도값이 높은 점(BP)을 찾고 상기 BP점을 중심으로 볼 이미지의 외곽까지의 거리 중 가장 짧은 거리를 이루는 지점을 선택하여 상기 BP점과 연결하면 도 11의 (b)에 도시된 바와 같이 조명방향 축(AX)이 형성된다.As such, when the point BP having the highest luminance value is found in the ball image, and the point B2 is shortest among the distances to the outside of the ball image, the BP point is connected to the point BP of FIG. As shown in Fig. 2, the illumination direction axis AX is formed.

그리고 상기 조명방향 축을 중심으로 볼 이미지에 대한 피팅이 이루어지는데, 피팅의 정확도를 향상시키기 위해 제2 처리 이미지(11-2)를 이용하여 피팅하는 것 보다 제1 처리 이미지(11-1)를 이용하여 피팅하는 것이 바람직하다.In addition, fitting is performed on the ball image around the illumination direction axis. In order to improve the accuracy of the fitting, the first processing image 11-1 is used rather than the fitting using the second processing image 11-2. Fitting is preferred.

왜냐하면 제1 처리 이미지(11-1)는 볼 이미지의 형상이 크게 훼손되지 않아 피팅 시 좀 더 정확한 중심점 추출이 가능하기 때문이다.This is because the shape of the ball image is not significantly damaged in the first processed image 11-1, and thus more accurate center point extraction is possible during fitting.

따라서 도 11의 (b)에 도시된 바와 같이 제2 처리 이미지(11-2)를 이용하여 추출한 BP점과 조명방향 축(AX)을 제1 처리 이미지(11-1)에 적용하도록 함이 바람직하다.Therefore, as shown in FIG. 11B, it is preferable to apply the BP point and the illumination direction axis AX extracted using the second processed image 11-2 to the first processed image 11-1. Do.

상기한 바와 같이 볼 이미지에 대한 BP점과 조명방향 축(AX)이 구해지면 도 12에 도시된 바와 같이 볼 이미지에 대한 피팅(Fitting)이 이루어진다.As described above, when the BP point and the illumination direction axis AX are obtained for the ball image, fitting is performed on the ball image as shown in FIG. 12.

피팅이 용이하게 이루어지도록 하기 위해 도 12의 (a) 및 (b)에 도시된 바와 같이 조명방향 축(AX)이 수직이 되도록 하여 볼 이미지상의 조명을 받는 영역(R1)이 위로 오도록 하고 쉐이드 영역(R2)이 아래로 오도록 함이 바람직하다.In order to facilitate the fitting, as shown in (a) and (b) of FIG. 12, the illumination direction axis AX is vertical so that the illuminated area R1 on the ball image is faced up and the shade area is up. It is preferable to bring (R2) down.

상기한 바와 같은 상태에서 도 12의 (a)에 도시된 바와 같이 볼에 관한 지름으로서 미리 설정된 값 또는 볼 이미지를 통해 측정된 지름값에 따른 제1 피팅커브(FC-1)를 볼 이미지(11)의 조명을 받는 영역(R1) 상에 덮어 씌운다.In the state described above, as shown in FIG. 12A, the first fitting curve FC-1 according to the diameter value measured through the ball value or the preset value as the diameter of the ball image 11 is viewed. ) Is overlaid on the illuminated area R1.

그리고 도 12의 (b)에 도시된 바와 같이 제2 피팅커브(FC-2)를 상기 설정된 지름 또는 측정된 지름에 따라 형성시킴으로써 볼 이미지(11)의 쉐이드 영역을 포함하는 정확한 피팅(Fitting)이 이루어질 수 있다.As shown in (b) of FIG. 12, the second fitting curve FC-2 is formed according to the set diameter or the measured diameter so that an accurate fitting including the shade area of the ball image 11 is obtained. Can be done.

상기한 바와 같은 과정에 따라 볼 이미지의 피팅이 이루어지면, 도 13에 도시된 바와 같이 각각의 볼 이미지(11)에 대한 피팅커브(FC)를 통해 볼 이미지(11)의 중심점 좌표를 정확하게 추출할 수 있게 된다.When the fitting of the ball image is made according to the above-described process, as shown in FIG. 13, the coordinates of the center point of the ball image 11 may be accurately extracted through the fitting curve FC for each ball image 11. It becomes possible.

그런데, 중심점이 추출된 모든 이미지 중에서 볼이 아닌 이미지가 포함되어 있을 수 있다.However, among all the images from which the center point is extracted, an image other than the ball may be included.

예컨대 골퍼의 몸이나 신발 등에 조명을 받아 볼 크기의 이미지를 형성시키도록 하는 무언가가 존재할 수도 있고 골프클럽에 조명이 반사되어 생긴 이미지가 볼 이미지로서 잘못 추정될 수도 있다.For example, there may be something that causes the golfer's body or shoes to be illuminated to form a ball-sized image, or an image of light reflected off the golf club may be incorrectly estimated as a ball image.

이와 같은 경우, 도 14에 도시된 바와 같이 특정 룰(Rule)에 의해 정확하게 볼 이미지만을 추출할 수 있다.In this case, as shown in FIG. 14, only an image to be viewed accurately may be extracted by a specific rule.

즉 도 3에 도시된 카메라 장치와 스트로보 장치의 트리거 신호 체계에 의할 때, 볼은 하나의 프레임에서 3개의 이미지를 나타내어야 하고 각각의 볼 이미지 사이의 간격은 스트로보 조명의 주기, 즉 트리거 시간 간격(ts1 및 ts2, 도 3 참조)과 동일한 비율에 의한 간격을 유지하고 있어야 한다.That is, according to the trigger signal system of the camera apparatus and the stroboscopic apparatus shown in FIG. 3, the ball should represent three images in one frame, and the interval between each ball image is a period of strobe illumination, that is, a trigger time interval. (ts1 and ts2, see FIG. 3) should maintain the interval by the same ratio.

도 14에 도시된 바와 같이 각 이미지 세트(S0, S1)에서 각각의 볼 이미지(11a, 11b, 11c)의 간격 a 및 b 또는 d 및 e는 실질적으로 거의 동일하여야 하고, a와 c 또는 b와 c의 간격 비율은 스트로보 조명의 트리거 시간 간격의 ts1 및 ts2(도 3 참조)의 비율에 대응하여야 한다.As shown in Fig. 14, the intervals a and b or d and e of each ball image 11a, 11b and 11c in each image set S0 and S1 should be substantially equal, and a and c or b and The interval ratio of c should correspond to the ratio of ts1 and ts2 (see FIG. 3) of the trigger time interval of the strobe illumination.

상기한 바와 같은 룰에 의해 각각의 이미지 세트 상의 볼 이미지가 정확하게 추출되었는지 확인하여 정확하게 추출된 이미지는 최종 볼 이미지로서 확정을 하고, 이미지 세트에서 볼의 개수가 부족하거나 과다한 경우 상기한 룰에 맞도록 보정하여 최종적인 볼 이미지로서 확정을 한다.The above-described rule confirms that the ball image on each image set has been extracted correctly, and the extracted image is confirmed as the final ball image, and if the number of balls in the image set is insufficient or excessive, it meets the above rule. The correction is made as a final ball image.

상기한 바와 같이 최종적으로 확정된 볼 이미지의 중심점 좌표를 최종 좌표로서 확정을 한다.As described above, the center point coordinates of the ball image finally determined are determined as final coordinates.

따라서 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득된 낮은 품질의 이미지를 이용함에도 불구하고 볼에 대한 중심점 좌표를 정확하게 추출할 수 있다.Therefore, despite using a low quality image acquired by a low resolution low speed camera device and a stroboscopic device, the center point coordinates of the ball can be accurately extracted.

이와 같이 최종적으로 확정된 각각의 볼의 중심점 좌표는 소정의 툴(Tool)에 의해 3차원 좌표로 변환되고 이를 기초로 시뮬레이션 될 볼의 운동 궤적의 물리적 정보가 산출된다.The center point coordinates of each ball finally determined as described above are converted into three-dimensional coordinates by a predetermined tool, and physical information of the motion trajectory of the ball to be simulated is calculated based on the tool.

한편, 도 15 및 도 16을 참조하여 본 발명에 따른 오브젝트 운동 센싱방법의 각각의 실시예에 관한 플로우 차트에 관하여 설명한다.On the other hand, with reference to Figures 15 and 16 will be described in the flow chart of each embodiment of the object motion sensing method according to the present invention.

도 15에 도시된 바와 같이 먼저 신호발생부에 의해 트리거 신호가 인가되어 카메라 장치와 스트로보 장치가 각각 소정의 주기로 오브젝트의 운동상태에 관하여 다중 노출 이미지를 취득한다(S10).As shown in FIG. 15, a trigger signal is first applied by the signal generator so that the camera apparatus and the stroboscopic apparatus acquire multiple exposure images with respect to the motion state of the object at predetermined cycles, respectively (S10).

그리고 취득된 다중 노출 이미지에 대해 배경이미지 및 각종 노이즈를 제거하기 위한 여러 가지 이미지 전처리 단계가 진행된다(S20).In operation S20, various image preprocessing steps are performed to remove a background image and various noises of the acquired multiple exposure image.

그리고 전처리 된 이미지에서 오브젝트로서 추정되는 오브젝트 후보 이미지를 추출한다(S30).The object candidate image estimated as an object is extracted from the preprocessed image (S30).

추출된 오브젝트 후보 이미지의 픽셀값 정보 등을 통해 스트로보 조명이 오브젝트에 작용하는 조명의 방향을 추정한다(S40).The direction of the illumination acting on the object is estimated by using the extracted pixel value information of the object candidate image (S40).

그리고 추정된 조명방향에 기초하여 오브젝트 후보 이미지상에서 조명을 받는 부분을 기준으로 피팅이 이루어진다(S50).In operation S50, the fitting is performed based on a portion of the object candidate image that is illuminated based on the estimated illumination direction.

오브젝트 후보 이미지에 대한 피팅이 완료된 후 상기 피팅된 이미지의 중심점 좌표가 추출된다(S60).After fitting of the object candidate image is completed, the center point coordinates of the fitted image are extracted (S60).

한편, 상기 피팅된 이미지들은 카메라 장치의 각 프레임별로 분류되는데(S70), 스트로보 조명이 프레임당 3회 제공된다면 상기 피팅된 이미지들은 각각의 프레임에 3개의 피팅된 이미지가 존재해야 하고 각각의 피팅된 이미지의 중심점 사이의 간격은 스트로보 조명의 주기에 따른 특정 조건에 부합해야 한다.On the other hand, the fitted images are classified for each frame of the camera device (S70), if the stroboscopic illumination is provided three times per frame, the fitted images should have three fitted images in each frame and each fitted The spacing between the center points of the image must meet certain conditions over the period of the strobe light.

스트로보 조명의 주기에 따른 특정 조건에 상기 분류된 각각의 이미지들이 대응되는지 여부를 판단하여(S80), 만약 상기 특정 조건에 대응되는 경우에는 해당 프레임의 오브젝트에 대한 중심점은 최종 중심점 좌표로서 확정이 된다(S81).It is determined whether each of the classified images corresponds to a specific condition according to the period of the strobe illumination (S80). If the corresponding condition is met, the center point of the object of the frame is determined as the final center point coordinate. (S81).

만약 상기 특정 조건에 대응되지 않는 경우(S82), 예컨대 특정 프레임의 피팅된 이미지가 2개만 존재한다거나 4개가 존재하는 등 스트로보 조명의 횟수와 맞지 않는 경우가 있을 수 있다.If it does not correspond to the specific condition (S82), for example, there may be a case that does not match the number of strobe lighting, such as there are only two fitted images or four present.

이 경우에는 도 14에서 설명한 방식에 따라 누락된 위치에 오브젝트를 복구시키거나 잘못 포함된 이미지를 제외시킴으로써 최종적인 오브젝트에 대한 중심점의 좌표를 확정한다(S83).In this case, the coordinates of the center point of the final object are determined by restoring the object at the missing position or excluding the wrongly included image according to the method described with reference to FIG. 14 (S83).

상기 S81 및 S83의 단계에 의해 확정된 오브젝트의 중심점 좌표는 3차원 좌표로 변환되어 물리적 정보가 산출된다(S90).The center point coordinates of the object determined by the steps S81 and S83 are converted into three-dimensional coordinates to calculate physical information (S90).

한편, 도 16에 도시된 실시예에 따른 오브젝트 운동 센싱방법에 따른 플로우 차트는 도 8 내지 도 11에서 설명한 전처리의 단계별로 각각 생성된 이미지를 각각 별도로 이용하여 오브젝트의 중심점을 추출하는 과정에 관하여 나타내고 있다.On the other hand, the flow chart according to the object motion sensing method according to the embodiment shown in Fig. 16 shows a process of extracting the center point of the object by using each image generated separately in each step of the pre-processing described in Figs. have.

본 실시예에 따른 센싱방법은 기본적으로 도 15에 도시된 실시예에 따른 플로우 차트와 동일하고 이미지의 전처리 단계별로 별도의 이미지를 생성하여 이로부터 조명방향 추정 등의 단계가 진행되는 점에서 차이가 있으므로, 중복되는 부분에 관한 설명은 생략하고 차이가 나는 부분에 관한 설명을 집중적으로 하기로 한다.The sensing method according to the present embodiment is basically the same as the flow chart according to the embodiment shown in FIG. 15, and a difference in that a step of estimating an illumination direction from the same is generated by generating a separate image for each preprocessing step of the image. Therefore, descriptions of overlapping parts will be omitted, and descriptions of differences will be focused.

취득된 다중 노출 이미지에 대한 전처리 과정이 진행되고(S20), 이미지의 전처리 수준에 따라 제1 처리 이미지와 제2 처리 이미지를 각각 생성한다(S21, S22).A preprocessing process is performed on the acquired multiple exposure image (S20), and a first processed image and a second processed image are generated according to the preprocessing level of the image (S21, S22).

여기서 제1 처리 이미지에 관한 사항은 도 9에서, 제2 처리 이미지에 관한 사항은 도 10에서 각각 나타내고 있다.Herein, the matters relating to the first processed image are shown in FIG. 9, and the matters relating to the second processed image are shown in FIG. 10.

제2 처리 이미지에 대해 오브젝트로서 추정되는 오브젝트 후보 이미지를 추출하고(S30), 추출된 오브젝트 후보 이미지 각각에 대해 픽셀의 휘도값이 최대인 점(Brightest Point)를 추출한다(S41).An object candidate image estimated as an object is extracted with respect to the second processed image (S30), and a brightest point having a maximum luminance value of the pixel is extracted with respect to each of the extracted object candidate images (S41).

상기 추출한 휘도값 최대인 점을 기준으로 오브젝트에 대한 조명방향을 추정하고(S42), 추정된 조명방향을 고려하여 오브젝트 후보 이미지에 대한 피팅이 이루어지도록 한다(S50).The illumination direction of the object is estimated based on the extracted maximum luminance value (S42), and the fitting of the object candidate image is made in consideration of the estimated illumination direction (S50).

그리고 피팅된 이미지에 대한 중심점을 추출하고, 각각의 피팅된 이미지의 중심점 사이의 간격 비율이 스트로보 조명의 주기에 따른 특정 조건에 대응되는지 여부를 판단함으로써 최종적으로 오브젝트의 중심점 좌표가 확정될 수 있다.The center point coordinates of the object may be finally determined by extracting the center point of the fitted image and determining whether the interval ratio between the center points of each fitted image corresponds to a specific condition according to the period of the strobe lighting.

10:골프공, 20:스윙플레이트
30:타격매트, 40:스크린
100:시뮬레이터, 110:데이터베이스
120:영상처리부, 130:영상출력부
210:신호발생부, 220:센싱처리부
310, 320:카메라 장치, 330:스트로보 장치10: golf ball, 20: swing plate
30: hit mat, 40: screen
100: simulator, 110: database
120: image processing unit, 130: image output unit
210: signal generator, 220: sensing processor
310, 320: camera unit, 330: strobe unit

Claims

A sensor unit configured to acquire multiple exposure images of a plurality of frames according to specific conditions with respect to an object moving by the camera apparatus and stroboscopic illumination; And
First processing means for extracting a center point by fitting a shape of the object to an image estimated as an object in the multiple exposure image, and second processing means for selecting a center point corresponding to the specific condition among the extracted center points; Sensing processing unit comprising;
Object motion sensing device comprising a.

The method of claim 1, wherein the first processing means,
And a fitting means for extracting a center point of the fitted image by estimating an area shaded by illumination with respect to the image estimated as the object and fitting the shape of the object based on the opposite side thereof. Device.

The method of claim 1, wherein the first processing means,
Illumination direction estimation means for estimating the direction of the strobe illumination for the object from the image estimated as the object;
And fitting means for extracting a center point of each fitted image by fitting an image estimated as the object to the shape of the object based on the estimated illumination direction.

The method of claim 1, wherein the first processing means,
Preprocessing means for removing background and noise from the multiple exposure image;
Object extraction means for extracting an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image;
Illumination direction estimation means for estimating the direction of the strobe illumination with respect to the image of the extracted object;
And fitting means for measuring a center point by fitting the extracted object image to the shape of the object based on the estimated illumination direction.

The method according to any one of claims 2 to 4,
The first processing means further includes size measuring means for measuring the size of the object image,
And said fitting means is adapted to fit an object image according to said measured size.

The method of claim 3, wherein the first processing means,
Further comprising pre-processing means for generating each of the step-by-step processing image according to the degree of image processing for noise removal in the multiple exposure image,
And the illumination direction estimating means and the fitting means are configured to perform the operation using the processed images of different stages, respectively.

The method of claim 4, wherein
The preprocessing means generates a first processed image in which image processing is performed according to a specific setting value, and a second processed image in which image processing is performed according to a higher level setting value than the first processing image, respectively.
The object extracting means extracts an object image using the second processed image, and the illumination direction estimating means estimates an illumination direction based on pixel values of the extracted object image of the second processed image, and the fitting means. Is adapted to fit an image corresponding to the extracted object image of the first processed image.

The method of claim 1, wherein the second processing means,
And classify the fitted image for each frame and select a classification corresponding to a specific condition regarding the camera apparatus and strobe lighting as an object image.

The method of claim 8, wherein the second processing means,
And a classification that does not correspond to a specific condition relating to the camera apparatus and strobe lighting to correct the corresponding condition to select the object image, and select the object image as an object image.

A sensor unit for acquiring multiple exposure images to include images separated from each other of the moving object; And
Illumination direction estimation means for estimating an illumination direction for each image on the multiple exposure image, fitting means for fitting an image to the shape of the object based on the estimated illumination direction, and measuring a center point of each fitted image; A sensing processor including correction means for correcting a processing result of the fitting means so as to correspond to a condition of multiple exposures;
Object motion sensing device comprising a.

The method of claim 10,
Preprocessing means for removing background and noise from the multiple exposure image, and object extracting means for extracting an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image,
And the illumination direction estimation and fitting are performed on the extracted object candidate image.

An image acquiring step of acquiring multiple exposure images of a plurality of frames according to specific conditions with respect to the moving object;
A first processing step of extracting a center point by fitting a shape of the object to an image estimated as an object in the multiple exposure image; And
A second processing step of selecting a center point corresponding to the specific condition among the extracted center points;
Object movement sensing method comprising a.

The method of claim 12, wherein the first processing step comprises:
Removing background and noise from the multiple exposure image;
Extracting an object candidate image estimated as an image of an object according to a predetermined condition from the preprocessed image;
Estimating a direction of illumination for the moving object from the image of the extracted object;
Fitting the extracted object image to the shape of the object based on the estimated direction of illumination;
Measuring a center point of the fitted image.

The method of claim 13, wherein extracting the object candidate image comprises:
Extracting an object candidate image by checking a contour shape with respect to the image.

The method of claim 13, wherein extracting the object candidate image comprises:
And extracting an object candidate image by generating a specific figure inscribed in the image and checking a ratio of each side of the figure.

The method of claim 13,
At least one of all the steps included in the first processing step is performed using an enlarged image through linear interpolation.

The method of claim 12, wherein the first processing step comprises:
Generating a first processed image subjected to image processing according to a specific setting value and a second processed image subjected to image processing according to a higher setting value than the first processed image, respectively;
Extracting an object image from the second processed image;
Estimating an illumination direction based on pixel values of the extracted object image of the second processed image;
Fitting to an image corresponding to the extracted object image of the first processed image.

The method of claim 12, wherein the second processing step comprises:
Classifying the fitted image for each frame;
Determining whether the corresponding result corresponds to a specific condition regarding the multiple exposure image acquisition;
And if the classification corresponds to the specific condition, selecting the classification as an object image.

The method of claim 18, wherein the second processing step comprises:
If the specific condition does not correspond, correcting the classification so as to correspond to the specific condition.

A sensor unit including a camera device and a strobe device set to a specific condition so as to acquire a multiple exposure image of the golf ball hit by the golfer and moving;
First processing means for extracting a center point by fitting to the shape of the golf ball to an image estimated as a golf ball in the multiple exposure image, and second processing means for selecting a center point corresponding to the specific condition among the extracted center points Sensing processing unit comprising a;
A converting unit converting the coordinates of the center point selected by the sensing processing unit into three-dimensional coordinates; And
A simulator for simulating a trajectory of a golf ball by calculating physical information about a golf ball moving based on the three-dimensional coordinates;
Virtual golf simulation device comprising a.