KR101019829B1 - 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치 - Google Patents

Abstract

본 발명은 운동하는 볼에 대한 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함에도 불구하고 그 취득된 이미지상의 볼 이미지에 대한 중심점 좌표를 서브 픽셀 수준으로 정확하게 구할 수 있도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치를 제공하기 위한 것이다. 이를 위한 본 발명의 일 실시예에 따른 센싱처리장치는, 스트로보 조명 하에서 운동하는 볼에 대해 취득된 이미지를 통한 센싱처리장치에 있어서, 볼의 이미지의 최대 밝기점을 추출하여 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 조명방향 추정수단; 및 상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 볼 형상으로 피팅함으로써 피팅된 이미지의 중심점 좌표를 추출하는 피팅수단을 포함한다.

Description

운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치{SENSING PROCESSING DEVICE AND METHOD FOR MOVING OBJECT, AND VIRTUAL GOLF SIMULATION DEVICE USING THE SAME}

본 발명은 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것으로 더욱 상세하게는 골프공 등과 같은 운동하는 볼의 이미지를 취득하여 이를 분석함으로써 그 물리적 정보를 산출할 수 있도록 하는 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 것이다.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.

이와 같은 인터액티브 스포츠 게임에서 야구공, 축구공, 농구공 및 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 볼, 즉 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.

예컨대 적외선 센서를 이용한 센싱시스템, 레이저 센서를 이용한 센싱시스템, 음향 센서를 이용한 센싱시스템, 그리고 카메라 센서를 이용한 센싱시스템 등 다양한 센싱시스템이 등장하고 있다.

본 발명은 운동하는 볼에 대한 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함에도 불구하고 그 취득된 이미지상의 볼 이미지에 대한 중심점 좌표를 서브 픽셀 수준으로 정확하게 구할 수 있도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치를 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 센싱처리장치는, 스트로보 조명 하에서 운동하는 볼에 대해 취득된 이미지를 통한 센싱처리장치에 있어서, 볼의 이미지의 최대 밝기점을 추출하여 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 조명방향 추정수단; 및 상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 볼 형상으로 피팅함으로써 피팅된 이미지의 중심점 좌표를 추출하는 피팅수단을 포함한다.

또한 바람직하게는, 상기 조명방향 추정수단은, 상기 볼 이미지상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 휘도분석수단과, 상기 제1 포인트를 중심으로 상기 볼 이미지의 외곽까지 가장 짧은 거리를 이루는 지점인 제2 포인트를 추출하는 스캔수단을 포함하여, 상기 제1 포인트와 상기 제2 포인트를 연결한 라인이 상기 조명방향의 축으로서 설정되도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 휘도분석수단은, 상기 볼 이미지상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하여, 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 스캔수단은, 상기 볼 이미지의 상기 제1 포인트를 중심으로 360°라인 스캔을 함으로써 상기 제2 포인트를 추출하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 최초 취득된 이미지에서 배경 및 노이즈를 제거하는 전처리 수단과, 상기 전처리 된 이미지에서 이미지의 윤곽을 체크하여 볼의 이미지를 추출하는 볼 추출수단을 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 전처리 수단은, 이미지 처리 정도에 따라 제1 처리 이미지와 상기 제1 처리 이미지보다 더 높은 수준의 이미지 처리가 이루어진 제2 처리 이미지를 각각 생성하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 조명방향 추정수단은, 상기 제2 처리 이미지상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 휘도분석수단과, 상기 제1 처리 이미지상에서 상기 제1 포인트에 해당하는 위치를 중심으로 상기 제1 처리 이미지의 외곽까지 가장 짧은 거리를 스캔하여 해당 거리상의 외곽 지점인 제2 포인트를 추출하는 스캔수단을 포함하여, 상기 제1 포인트와 상기 제2 포인트를 연결한 라인이 상기 조명방향의 축으로서 설정되도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 휘도분석수단은, 상기 제2 처리 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하여, 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하도록 구성되는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 센싱처리방법은, 스트로보 조명 하에서 운동하는 볼에 대해 취득된 이미지를 통한 센싱처리방법에 있어서, 볼의 이미지의 최대 밝기점을 추출하여 상기 볼 이미지에서 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 단계; 상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 상기 볼 이미지에 대해 볼 형상으로 피팅하는 단계; 및 상기 피팅된 이미지의 중심점 좌표를 추출하는 단계를 포함한다.

또한 바람직하게는, 상기 조명방향을 추정하는 단계는, 상기 볼 이미지상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 단계와, 상기 제1 포인트를 중심으로 상기 볼 이미지의 외곽까지 가장 짧은 거리를 이루는 지점인 제2 포인트를 추출하는 단계와, 상기 제1 포인트와 상기 제2 포인트를 연결한 라인이 상기 볼 이미지에 대한 조명방향 축으로서 설정되는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 포인트를 추출하는 단계는, 상기 볼 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하는 단계와, 상기 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제2 포인트를 추출하는 단계는, 상기 추출된 이미지의 상기 제1 포인트를 중심으로 360°라인 스캔을 하는 단계와, 상기 제1 포인트와 외곽을 연결하는 가장 짧은 거리에 해당하는 지점을 상기 제2 포인트로서 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 최초 취득된 이미지에 대한 노이즈 제거를 위한 소정 수준의 이미지 처리를 함으로써 제1 처리 이미지를 생성하는 단계와, 상기 최초 취득된 이미지에 대해 상기 제1 처리 이미지보다 더 높은 수준의 이미지 처리를 함으로써 제2 처리 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 조명의 방향을 추정하는 단계는, 상기 제2 처리 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 단계와, 상기 제1 처리 이미지 상에서 상기 제1 포인트에 해당하는 위치를 중심으로 상기 제1 처리 이미지의 외곽까지 가장 짧은 거리를 스캔하여 해당 거리상의 외곽 지점인 제2 포인트를 추출하는 단계와, 상기 제1 포인트와 상기 제2 포인트를 연결한 라인을 상기 추출된 이미지에 대한 조명방향 축으로서 추정하는 단계를 포함하는 것을 특징으로 하낟.

또한 바람직하게는, 상기 제1 포인트를 추출하는 단계는, 상기 제2 처리 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하는 단계와, 상기 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 조명의 방향을 추정하는 단계는, 상기 추정된 조명방향의 축이 이루는 각도가 설정된 각도 범위를 벗어나는지 여부를 판단하는 단계와, 상기 설정된 각도 범위를 벗어나는 경우, 상기 추정된 조명방향을 보정하는 조명방향 보정 단계를 더 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 골퍼에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하는 카메라 장치 및 스트로보 장치를 포함하는 센서부; 볼의 이미지의 최대 밝기점을 추출하여 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 조명방향 추정수단과, 상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 볼 형상으로 피팅함으로써 피팅된 이미지의 중심점 좌표를 추출하는 피팅수단 포함하는 센싱처리부; 상기 센싱처리부에서 선택된 중심점의 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및 상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터를 포함한다.

본 발명에 따른 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치는 운동하는 볼에 대한 이미지를 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득함에도 불구하고 그 취득된 이미지상의 볼 이미지에 대한 중심점 좌표를 서브 픽셀 수준으로 정확하게 구할 수 있도록 함으로써 저렴한 비용으로 높은 센싱 처리 능력 및 센싱의 정확성을 구현할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 센싱처리장치 또는 가상 골프 시뮬레이션 장치에 관하여 나타낸 블록도이다.
도 2는 도 1에 도시된 센싱처리장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 센싱처리장치에서 처리하는 이미지를 취득하는 카메라 장치 및 스트로보 장치의 작동 신호 체계에 관하여 나타낸 도면이다.
도 4의 (a) 및 (b)는 도 2에 도시된 시스템에 따라 취득한 볼의 이미지 패턴을 각각 나타낸 도면이다.
도 5의 (a)는 도 4의 (a)에 도시된 패턴의 이미지의 실제 취득된 이미지의 일 예를 나타낸 도면이며, 도 5의 (b)는 (a)에 도시된 이미지에 대한 전처리 된 이미지를 나타낸 도면이다.
도 6은 도 5의 (b)에 도시된 이미지를 확대하여 복수 프레임을 겹쳐서 나타낸 것으로서 볼 이미지를 추출하는 과정을 나타낸 도면이다.
도 7은 볼 이미지의 피팅 원리를 설명하는 도면으로서 도 7의 (a)는 볼 이미지를 나타내고, 도 7의 (b)는 볼 이미지에 대한 잘못된 피팅의 예를 나타내며, 도 7의 (c)는 본 발명의 피팅 수단에 따른 볼 이미지의 피팅 예를 나타낸 도면이다.
도 8의 (a)는 배경이 제거된 상태의 이미지이고 도 8의 (b)는 (a)의 A 영역을 확대하여 나타낸 이미지이다.
도 9의 (a)는 도 8의 (a)에 나타낸 이미지에 대해 낮은 수준의 이미지 처리를 하여 취득된 이미지이며, 도 9의 (b)는 (a)의 B 영역을 확대하여 나타낸 이미지이다.
도 10의 (a)는 도 8의 (a)에 나타낸 이미지에 대해 높은 수준의 이미지 처리를 하여 취득된 이미지이며, 도 9의 (b)는 (a)의 C 영역을 확대하여 나타낸 이미지이다.
도 11의 (a)는 도 10의 (b)에 도시된 이미지를 이용한 최대 밝기점을 추출한 상태의 이미지이며, 도 11의 (b)는 도 9의 (a)에 도시된 이미지에 상기 최대 밝기점을 적용한 상태의 이미지이다.
도 12의 (a)는 볼 이미지에 대한 최대 밝기점을 중심으로 라인 스캔하는 과정을 나타낸 도면이며, 도 12의 (b)는 라인 스캔 결과를 나타낸 이미지이며, 도 12의 (c)는 도 12의 (b)에 나타낸 라인 스캔 결과에 대해 average filter를 적용한 이미지이다.
도 13은 볼 이미지에 대한 조명방향 추정에 관하여 설명하기 위한 도면이다.
도 14는 본 발명에 따른 센싱처리장치의 조명방향 추정수단에 의해 추정된 조명방향의 축을 볼 이미지상에 나타낸 도면이다.
도 15의 (a) 및 (b)는 추정된 조명방향을 고려하여 볼 이미지에 대한 피팅 과정을 나타낸 도면이다.
도 16은 도 15의 (a) 및 (b)에 나타낸 피팅 과정에 따라 피팅된 볼 이미지에 대한 중심점이 추출된 상태의 이미지이다.
도 17 및 도 18은 본 발명에 따른 센싱처리방법에 관한 각각의 실시예를 나타내는 플로우 차트이다.

본 발명에 따른 운동하는 볼에 대한 센싱처리장치, 센싱처리방법 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.

본 발명에 따른 운동하는 볼에 대한 센싱처리장치는 골프와 같은 볼을 이용하는 스포츠 등에서 운동하는 볼의 운동상태에 관한 이미지를 취득하여 이를 분석함으로써 센싱이 이루어지는 모든 시스템에 적용 가능하며, 그 일 예로서 가상 골프 시뮬레이션 장치가 적용되는 소위 스크린 골프 시스템 등에 적용이 가능하다.

도 1 및 도 2에서는 이와 같은 본 발명에 따른 운동하는 볼에 대한 센싱처리장치 및 이를 이용한 가상 골프 시뮬레이션 장치의 개략적인 구성에 관하여 나타내고 있다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱처리장치 및 이를 이용하는 가상 골프 시뮬레이션 장치에 관하여 설명한다.

도 1에 도시된 바와 같이 본 발명은 카메라 장치(310, 320), 스트로보 장치(330), 신호발생부(210) 등을 포함하는 센서부에서 취득된 이미지를 처리함으로써 운동하는 볼에 대한 이미지를 처리하여 중심점 좌표를 추출하는 센싱처리장치(220)에 관한 것으로서, 본 발명의 일 실시예에 따른 센싱처리장치(220)는 전처리 수단(230), 볼 추출수단(240), 조명방향 추정수단(250) 및 피팅수단(260) 등을 포함하여 구성됨이 바람직하다.

먼저 상기 센서부에 관하여 설명하면, 상기 카메라 장치(310, 320)는 볼의 초기 위치에서부터 볼이 운동 방향을 따라 운동하는 상태에 관하여 복수개의 프레임의 이미지를 취득하도록 구비된다.

도 1에서는 카메라 장치(310, 320)가 두 대 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 한대 또는 그 이상의 카메라 장치가 구비되는 모든 경우를 포함할 수 있다.

상기 스트로보 장치(330)는 LED 등을 이용한 조명장치로서 상기 카메라 장치의 촬영용 광원으로 이용되며, 소정의 시간 간격으로 스트로보 조명(소정의 시간 간격으로 복수회의 조명 플래시가 작동되는 방식임)이 발생하여 상기 카메라 장치(310, 320)에 의해 다중 노출 이미지가 취득되도록 한다.

즉 카메라 장치에 의해 촬영되는 하나의 프레임의 이미지에 상기 스트로보 장치(330)에 의한 플래시 횟수만큼 볼이 촬영되어 나타나는 다중 노출 이미지를 취득하게 된다.

카메라 장치(310, 320)와 스트로보 장치(330)의 작동에 관한 구체적인 사항에 대해서는 후술하기로 한다.

한편, 상기 카메라 장치(310, 320) 및 스트로보 장치(330)의 작동을 위한 트리거(trigger) 신호는 신호발생부(210)에 의해 발생하며, 상기 카메라 장치(310, 320)와 스트로보 장치(330)에 의한 다중 노출 이미지는 본 발명에 따른 센싱처리부(220)에서 처리가 되어 시뮬레이터(100)로 전달된다.

본 발명의 일 실시예에 따른 센싱처리장치(220)의 조명방향 추정수단(250)은 볼의 이미지의 최대 밝기점을 추출하여 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하도록 구현된다. 상기 조명방향 추정수단(250)은 휘도분석수단(251) 및 스캔수단(252) 등을 포함하여 구성되는데 이에 관한 구체적인 설명은 후술하기로 한다.

한편, 피팅수단(260)은 상기 조명방향 추정수단(250)에 의해 추정된 조명방향에 따라 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 볼 이미지를 볼의 형상으로 피팅함으로써 피팅된 이미지의 중심점 좌표를 추출하도록 구현된다.

그리고 전처리 수단(230)은 상기 센서부에 의해 취득되는 다중 노출 이미지에서 볼 이미지 이외의 배경 이미지나 노이즈 등을 소정의 프로세스를 통해 이미지 처리하도록 구현된다.

상기 볼 추출수단(240)은 상기 전처리 수단(230)에 의해 이미지 처리된 이미지로부터 볼 이미지를 추출하도록 구현되며, 상기 볼 추출수단(240)에 의해 추출된 볼 이미지에 대해 상기한 조명방향 추정수단(250)에 의한 볼 이미지상의 조명방향 추정과 상기한 피팅수단(260)에 의한 볼 이미지에 대한 피팅 등이 수행된다.

한편, 상기 시뮬레이터(100)는 제어부(M), 데이터베이스(110), 영상처리부(120) 및 영상출력부(130) 등을 포함하여 구성됨이 바람직하다.

상기 제어부(M)는 상기 센싱처리장치(220)에서 이미지 처리되어 획득된 운동하는 볼의 좌표 정보를 전달받아 이를 3차원 좌표 정보로 변환하여 볼의 운동 궤적 시뮬레이션을 위한 소정의 물리적 정보를 산출하여 영상처리부(120)로 전달한다.

이때 볼의 운동 궤적의 시뮬레이션을 위한 소정의 데이터는 데이터베이스(110)로부터 추출하여 이용하고 상기 영상처리부(120)에서 볼의 운동 궤적에 관한 시뮬레이션 영상 처리는 상기 데이터베이스(110)에 저장된 영상데이터가 추출됨으로써 이루어질 수 있다.

여기서 상기 센싱처리장치(220)로부터 전달받은 운동하는 볼의 좌표 정보를 3차원 좌표 정보로 변환하는 컨버팅수단이 상기 제어부(M)와는 별도로 구비되도록 하는 것도 가능하다.

상기한 바와 같은 장치 구성을 갖는 센싱처리장치 또는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예에 관하여 도 2에서 도시하고 있다.

도 2에 도시된 바와 같이 골프 부스(B)의 일측에 골프공(10)이 놓이는 골프티와 그라운드(페어웨이 매트, 러프 매트 및 벙커 매트 중 적어도 하나를 포함하도록 함이 바람직하다)가 구비되는 타격 매트(30)와 골퍼가 골프 스윙을 하도록 구비되는 스윙플레이트(20)가 구비된다.

골프 부스(B)의 전방에는 영상출력부(130)에 의해 구현되는 가상 골프 시뮬레이션 영상이 표시되는 스크린(40)이 구비되며, 천장에는 카메라 장치(310, 320)와 스트로보 장치(330)가 각각 구비된다.

도 2에서는 상기 카메라 장치(310, 320)가 각각 천장과 벽 쪽에 구비되는 경우에 관하여 나타내고 있으나 이에 한정되지 않고 골프공(10)의 운동 상태에 관한 이미지를 효과적으로 취득할 수 있으면서 골퍼에 의한 스윙에 방해되지 않고 골퍼에 의해 타격된 골프공에 의해 충돌할 염려가 없는 미리 설정된 위치이면 어느 위치이든 설치가 가능하다.

그리고 도 2에서 스트로보 장치(330)가 천장에 설치되어 타격 지점에 실질적으로 수직 방향으로 스트로보 조명을 제공하도록 설치되어 있는 경우에 관하여 나타내고 있는데, 이에 한정되지 않고 효과적인 스트로보 조명을 제공할 수 있는 위치이면 어느 위치이든 가능하다.

상기한 바와 같은 시스템에서 골퍼가 스윙플레이트(20)에서 타격매트(30) 상의 골프공(10)을 스크린(40)을 향하여 타격하면, 도 2에 도시된 바와 같이 타격이 이루어지는 소정 영역을 촬영하고 있는 카메라 장치(310, 320)가 각각 복수 프레임의 이미지를 취득하고 이때 스트로보 장치(330)는 하나의 프레임당 복수회의 플래시를 터뜨려 운동하는 골프공에 대한 다중 노출 이미지를 취득하게 된다.

도 3에서는 신호발생부(210, 도 1 참조)에 의한 카메라 장치와 스트로보 장치의 트리거 신호 발생 체계에 관하여 나타내고 있다.

도 3에 도시된 바와 같이 카메라 장치에 대한 트리거 신호는 tc 시간 간격으로 이루어진다. 즉 한 프레임당 tc 시간 간격으로 트리거 신호가 발생한다. 이때 한 프레임당 노출되는 시간은 te 시간이며(이때 tc > te 가 되도록 함이 바람직하다) tc - te 시간 동안 취득된 이미지에 대한 데이터가 센싱처리장치(220, 도 1 참조)로 전송되도록 함이 바람직하다.

즉 도 3에 도시된 바와 같이 카메라 장치의 한 프레임당 트리거 신호 발생 시간 간격 동안 카메라 장치의 노출이 이루어지고 취득된 다중 노출 이미지에 대한 데이터가 센싱처리장치로 전송이 된다.

그리고 카메라 장치의 노출 시간(te 시간) 동안 스트로보 장치에 의한 스트로보 조명은 복수회 발생되는데, 도 3에서는 스트로보 조명의 트리거 신호가 ts1의 시간 간격으로 3회 발생하는 경우에 관하여 나타내고 있다.

즉 카메라 장치의 노출 시간(te 시간) 동안 스트로보 조명은 동일한 시간 간격인 ts1 시간 간격으로 3회 발생하는 것이다. 이때 신호발생부(210, 도 1 참조)에 의해 카메라 장치와 스트로보 장치는 맨 첫 번째 트리거 신호가 동시에 발생되도록 동기화되도록 함이 바람직하다.

그리고 도 3에 도시된 바와 같이 3회의 스트로보 조명 중 마지막 스트로보 조명의 트리거 신호로부터 다음 프레임의 첫 번째 스트로보 조명의 트리거 신호까지의 시간은 ts2 시간 간격이 되도록 함이 바람직하며, 상기 ts1과 ts2 시간 간격이 서로 동일하게 되도록 설정될 수도 있으나 도 3에 도시된 바와 같이 ts1 시간과 ts2 시간이 서로 다르게 되도록 설정됨이 바람직하며, ts2 시간이 ts1 시간 보다 더 길게 되도록 설정되는 것이 가능하다.

상기한 바와 같이 카메라 장치와 스트로보 장치 각각의 트리거 신호 간격이 일정하게 되도록 고정되어 있음으로 말미암아 취득되는 다중 노출 이미지상의 볼 이미지의 간격도 일정하게 나타날 수밖에 없다.

따라서 센싱처리장치에서 다중 노출 이미지를 처리함에 있어서 상기 다중 노출 이미지상에 존재하는 볼 이미지와 여러 가지 노이즈로부터 정확한 볼 이미지를 상기한 트리거 신호의 일정하게 고정된 간격에 관한 특징으로부터 효과적으로 분리할 수 있다.

또한, 카메라 장치의 각 프레임당 스트로보 조명의 간격이 일정하게 고정되어 있기 때문에 다중 노출 이미지에서 볼의 운동 속도에 따라 여러 가지 패턴의 이미지가 발생할 수 있다.

도 4는 골프클럽에 의해 볼(골프공)을 타격함에 따라 운동하는 볼의 이미지를 취득하는 경우로서, 도 3에 도시된 신호 발생 체계에 따른 카메라 장치와 스트로보 장치에 의해 취득되는 다중 노출 이미지의 두 가지 패턴을 (a) 및 (b)에서 각각 나타내고 있다.

도 4의 (a)에 도시된 이미지(I1)에서는 골프클럽 이미지(C1, C2, C3)와 볼 이미지(11a, 11b, 11c)가 다중 노출에 의해 취득된 경우로서, 볼 이미지(11a, 11b, 11c)가 서로 소정 간격 분리되어 나타난 경우이다.

그리고 도 4의 (b)에 도시된 이미지(I2)는 볼이 서로 중첩되어 소정 크기의 이미지 영역(12)으로서 나타나는 경우에 관하여 나타내고 있다.

즉 도 4의 (a)에 도시된 이미지는 볼이 고속으로 운동하기 때문에 각각의 스트로보 조명이 트리거 될 때 소정 거리 떨어진 상태로 이미지가 형성된 경우이고, 도 4의 (b)에 도시된 이미지는 볼이 저속으로 운동하기 때문에 볼이 멀리 진행하기 전에 스트로보 조명이 각각 트리거 되어 서로 중첩되어 나타나는 경우이다.

본 발명에 따른 센싱처리장치 및 센싱처리방법은 도 4의 (a)에 도시된 바와 같이 볼이 스트로보 조명의 고정된 주기에 따른 소정 속도 이상의 고속으로 운동함으로써 다중 노출 이미지상에 볼이 서로 분리된 상태로 나타나는 경우 이에 대한 각 볼의 중심점 좌표를 정확하게 취득하기 위한 것에 관한 것으로, 본 발명에 따른 센싱처리방법에 의하면 도 4의 (b)에 도시된 바와 같이 볼이 중첩되어 나타나는 경우에는 이를 제외시킨다.

그리고 상기한 바와 같이 제외된 중첩된 볼에 관한 이미지는 별도의 이미지 처리수단에 의해 처리되고 이는 본 발명의 범위를 벗어나므로 이에 대한 구체적인 설명은 생략한다.

이하 도 5 내지 도 16을 참조하여 본 발명에 따른 운동하는 볼에 대한 센싱처리장치에 의한 상기 도 4의 (a)에 도시된 바와 같은 서로 분리된 볼 이미지의 처리에 관하여 설명한다.

도 5의 (a)는 서로 분리된 볼에 관한 이미지를 포함하는 다중 노출 이미지 원본을 나타내고 있는데, 320 X 240의 낮은 해상도의 75 fps의 저속으로 동작하는 카메라 장치와 330Hz의 스트로보 장치를 이용하여 취득한 이미지이다.

도 5의 (a)에 나타낸 바와 같은 원본 이미지에 대해 차연산(Subtraction) 등을 통해 정지되어 있는 이미지, 즉 배경 이미지 등을 제거하고 가우시안 블러(Gausian Blur) 등의 소정의 전처리 과정을 거친 이미지에 대해 도 5의 (b)에서 나타내고 있다.

이와 같이 다중 노출 이미지상의 배경과 노이즈가 적절하게 제거된 상태에서 볼 이미지를 추출하는 것이 더욱 용이하게 된다. 이에 대해서는 도 6에서 도시하고 있다.

도 6에 도시된 이미지는 카메라 장치에 의해 촬영된 복수 프레임의 이미지를 한장의 이미지로 겹쳐서 나타낸 것으로, 3회의 스트로보 조명에 의해 나타나는 3개의 볼 이미지가 하나의 이미지 세트를 구성한다고 할 때, S0 이미지 세트는 0번 프레임에 대한 이미지이고, S1 이미지 세트는 1번 프레임에 대한 이미지이며, S2 이미지 세트는 2번 프레임에 대한 이미지를 나타낸 것이다.

여기서 볼의 이미지로서 추정되는 이미지를 윤곽 체크나 체크 윈도우 등을 통해 추출할 수 있는데, 볼이 아닌 것으로 추정되는 이미지들을 제외시키면서 최종적으로 볼로서 추정되는 이미지만 남도록 하는 방식으로 처리가 가능하다.

즉 볼은 일정한 지름을 가지고 있으므로 이를 고려하여 다중 노출 이미지상의 각각의 이미지에 대한 윤곽을 체크하여 그 체크된 윤곽이 볼이라고 하기에 너무 크거나 너무 작은 경우 이를 제외시킬 수 있다.

그리고 도 6에 도시된 바와 같이 다중 노출 이미지상의 각각의 이미지(11)의 크기에 맞게 해당 이미지(11)가 포함되도록 체크 윈도우(W)를 형성시키고 체크 윈도우(W)의 가로방향 길이와 세로방향 길이의 비율(aspect ratio)을 체크한다.

볼은 원형이므로 이에 대한 aspect ratio는 거의 일정해야 하므로, 다중 노출 이미지상의 각 이미지(11)에 대한 체크 윈도우(W)의 aspect ratio가 너무 커서 넓은 폭을 갖거나 너무 작아서 폭이 너무 좁은 경우 이를 볼이 아닌 것으로 보아 제외시킬 수 있다.

상기한 바와 같이 예시된 방법에 의해 다중 노출 이미지상에서 볼로서 추정되는 이미지(11)를 추출할 수 있다.

한편, 상기한 바와 같이 볼 이미지로서 추출된 이미지(11)는 도 7에 도시된 바와 같이 각각 볼의 형상으로 피팅(Fitting) 됨으로써 그 중심점 좌표가 추출될 수 있다.

도 7의 (a)는 스트로보 조명 하에서 취득되는 볼 이미지의 일 예를 나타낸 이미지이고, 도 7의 (b)는 볼에 관한 잘못된 피팅 결과를 나타낸 도면이며, 도 7의 (c)는 본 발명에 따른 피팅 수단에 의해 볼이 바람직하게 피팅된 결과를 나타낸 것이다.

도 7의 (a)에 도시된 바와 같이 볼의 이미지(11)는 스트로보 조명을 받는 상태로 촬영이 되기 때문에 볼 이미지(11)의 일측에는 조명을 받는 영역(R1)이 명확하게 나타나며 상기 조명을 받는 영역(R1)의 반대측에는 쉐이드(Shade)가 생겨서 볼 이미지(11)의 일부분을 가리게 되는 쉐이드 영역(R2)이 존재하게 된다.

이와 같은 쉐이드 현상은 조명의 각도에 따라 약간만 나타날 수도 있고 볼 이미지의 반 이상이 쉐이드 현상으로 말미암아 가려지게 되는 경우도 있을 수 있다.

스트로보 조명 하에서 취득되는 볼 이미지가 쉐이드 되는 경우, 도 7의 (b)에 도시된 바와 같이 볼의 형상으로 볼 이미지를 피팅(Fitting) 하게 되면 그 중심점이 왜곡되어 나타나게 되어 중심점 좌표 정보에 큰 오류가 발생하고 결국 볼에 대한 운동 시뮬레이션의 정확성이 매우 떨어지게 되는 문제점이 발생하게 된다.

따라서 스트로보 조명 하에서 취득되는 볼 이미지에 대한 피팅은 볼 이미지에 나타나는 쉐이드 영역을 고려하여 이루어짐이 바람직하다.

볼 이미지에 대한 쉐이드 영역을 고려한 피팅의 일 예로서 볼에 대한 스트로보 조명의 방향을 추정하여 그 조명 방향을 기준으로 해서 피팅이 이루어지도록 함으로써 쉐이드 영역이 피팅된 커브에 포함되도록 하는 것이 가능하다.

도 7의 (c)에서는 이와 같이 조명 방향을 고려하여 볼 이미지를 피팅하는 것에 관하여 나타내고 있는데, 도 7의 (c)에 도시된 바와 같이 볼 이미지(11)의 조명을 받는 영역(R1)에 피팅커브(FC)를 형성시킴으로써 쉐이드 영역(R2)이 피팅커브(FC)에 포함되도록 피팅이 이루어진 것을 볼 수 있다.

이와 같은 방식으로 볼 이미지가 피팅됨으로써 그 중심점(CP)은 정확하게 추출될 수 있다.

상기한 바와 같은 볼 이미지에 대한 정확한 중심점 추출을 위해서는 최초에 취득된 다중 노출 이미지에서 배경과 노이즈가 적절하게 제거되어 가능한 한 볼의 이미지만 남을 수 있도록 이미지 처리가 될 필요가 있으며, 조명방향 추정과 볼 이미지의 피팅(fitting)을 위해서는 이미지에 대한 적절한 가우시안 블러(Gausian Blur), 특정 픽셀값에 대한 쓰레숄드(Threshold) 처리 및 이미지의 픽셀값에 대한 노멀라이제이션(Normalization) 등의 이미지 처리 과정이 필요하다.

또한 이미지로부터 특정 정보를 추출하기 위해 이미지 처리를 함에 따라 볼 이미지의 훼손이 불가피하게 되는 상황이 생길 수도 있으므로 이미지를 여러 단계별로 생성하여 각각의 단계에 따른 이미지로부터 특정 정보를 추출하도록 하는 것이 바람직하다.

도 8 내지 도 10에 각각 도시된 이미지들은 상기한 바와 같이 이미지 처리 과정에 따라 이미지를 여러 단계별로 생성하는 경우에 관하여 나타내고 있다.

도 8의 (a)는 최초에 취득되는 다중 노출 이미지에 대해 차연산 등을 통해 배경을 제거한 상태의 이미지를 나타내고 있다. 그리고 도 8의 (b)는 도 8의 (a)에 나타낸 A 영역을 확대하여 나타낸 것으로서 오리지날 볼 이미지(11-0)에 관하여 나타낸 이미지이다.

도 8의 (b)에 도시된 바와 같이, 볼에 많은 딤플(Dimple)이 형성되어 있어 조명에 의한 영향이 불규칙적인 이유로 말미암아 오리지날 볼 이미지(11-0)의 픽셀값의 분포가 매우 불규칙적이며, 주변에 하나 또는 그 이상의 작은 픽셀 단위로 불규칙적인 픽셀값을 갖는 이른바 'Salt and Pepper noise'가 매우 많이 존재하고 있음을 알 수 있다.

이와 같은 상태의 이미지에서는 정확한 중심점 추출을 위한 각종 정보 추출이 매우 어렵고 추출된 정보에 오류가 발생할 가능성이 크다.

따라서 주변의 노이즈를 모두 제거하고 오리지날 볼 이미지(11-0)의 불규칙적인 픽셀값의 분포를 적절하게 조절할 필요가 있다.

도 9의 (a)에서는 도 8의 (a)에 도시된 이미지에 대해 오리지날 볼 이미지의 형상을 크게 훼손하지 않을 정도의 적절한 수준의 가우시안 블러 처리 및 쓰레숄드(Threshold) 처리를 함으로써 주변의 여러 가지 노이즈를 거의 제거한 상태의 이미지에 관하여 나타내고 있고, 도 9의 (b)는 도 9의 (a)에 나타낸 B 영역을 확대하여 나타낸 것으로서 제1 처리 이미지(11-1)에 관하여 나타낸 것이다.

도 10의 (a)에서는 도 8의 (a)에 도시된 이미지에 대해 상기 제1 처리 이미지(11-1) 보다 더 높은 수준의 가우시안 블러 처리 및 쓰레숄드(Threshold) 처리를 하고 볼 이미지상의 픽셀값에 대한 노멀라이제이션(Normalization) 처리를 한 상태의 이미지에 관하여 나타내고 있고, 도 10의 (b)는 도 10의 (a)에 나타낸 C 영역을 확대하여 나타낸 것으로서 제2 처리 이미지(11-2)에 관하여 나타낸 이미지이다.

상기 제2 처리 이미지(11-2)는 오리지날 볼 이미지(11-0)의 형상이 많이 훼손되어 있지만 볼의 딤플에 의한 불규칙적 픽셀값 분포에 의한 영향이 제거되고 조명을 받는 부분이 명확하게 구분되어 있는 것을 알 수 있다.

상기한 도 10에 도시된 이미지, 즉 제2 처리 이미지(11-2)를 이용하여 도 11에 도시된 바와 같이 조명방향을 추정하도록 함이 바람직하다.

상기 제2 처리 이미지(11-2)는 픽셀값이 적절하게 분포되어 픽셀값의 높고 낮음이 명확하게 구분되어 있어 픽셀값이 높은 영역을 찾음으로써 조명방향을 용이하게 추정할 수 있도록 하고 있다. 여기서 이미지가 그레이 스케일이므로 픽셀값은 휘도값의 정보를 가지고 있다.

즉 도 11의 (a)에 도시된 제2 처리 이미지(11-2)의 상대적으로 휘도가 높은 R3 영역에 조명이 집중되고 있음을 알 수 있으며, 상기 R3 영역의 중심을 조명방향의 중심점으로 볼 수 있다, 즉 가장 휘도값이 높은 점(Brightest Point)이 조명방향 축이 지나는 지점이 된다. 도 11의 (a)에서 R3 영역의 중심점인 가장 휘도값이 높은 점, 즉 최대 밝기점(P1)에 관하여 표시하고 있다.

만약 제2 처리 이미지의 볼 이미지(11-2)상의 모든 픽셀 중 휘도값이 가장 높은 곳이 하나의 픽셀이라면 그 픽셀을 최대 밝기점(P1)으로 지정할 수 있다. 그런데 휘도값이 가장 높은 곳이 여러 개의 픽셀로 이루어진 불규칙적인 형상의 영역이라면 해당 영역의 무게중심(Center of mass)을 소정의 프로세스로부터 추출하여 해당 지점을 최대 밝기점(P1)으로 지정할 수 있다.

한편, 조명방향의 추정을 위해 본 발명의 일 실시예에서 사용하는 방법은 최대 밝기점(P1)을 제1 포인트로 하고 또 다른 한 점을 제2 포인트로 선택하여 상기 제1 포인트와 제2 포인트를 연결하는 라인을 형성하여 그 라인을 조명방향의 축으로서 설정하는 것이다.

따라서 상기한 제2 포인트를 찾기 위하여 우선 도 11의 (b)에 도시된 바와 같이 제1 처리 이미지의 볼 이미지(11-1)에 도 11의 (a)에서 나타낸 최대 밝기점(P1)을 적용한다.

이는 제2 처리 이미지의 볼 이미지(11-2)상의 최대 밝기점(P1)의 좌표값을 제1 처리 이미지의 볼 이미지(11-1)에 적용하거나 제2 처리 이미지의 볼 이미지(11-2)를 제1 처리 이미지의 볼 이미지(11-1)에 겹침으로써 제1 처리 이미지의 볼 이미지(11-1)상에 최대 밝기점(P1)이 표시되도록 할 수 있다.

한편, 상기한 바와 같이 제1 처리 이미지의 볼 이미지(11-1)상의 최대 밝기점(P1)을 중심으로, 도 12의 (a)에 도시된 바와 같이 360°라인 스캔을 한다.

도 12의 (b)에서 도 12의 (a)에 도시된 바와 같이 볼 이미지에 대한 라인 스캔 결과가 나타나 있다.

도 12의 (b)에 도시된 바와 같이 제1 처리 이미지의 볼 이미지(11-1)에 대한 라인 스캔에 의한 외곽선(L1)은 매우 불규칙적인 형상을 갖는다.

따라서 도 12의 (c)에 도시된 바와 같이 에버리지 필터(average filter)를 이용하여 외곽선을 피팅(fitting)된 외곽선(L2)이 되도록 조정함이 바람직하다.

도 12의 (c)에 도시된 바와 같이 볼 이미지에 대한 라인 스캔 결과에서 가장 짧은 거리(Dmin)를 이루는 점과 가장 긴 거리(Dmax)를 이루는 점이 명확하게 나타남을 알 수 있다.

여기서 상기 라인 스캔 결과에서 가장 짧은 거리(Dmin)를 이루는 점(P2)을 제2 포인트로 선택함이 바람직하다. 그 이유에 대해서는 도 13을 참조하여 설명한다.

도 13에 도시된 바와 같이, 운동하는 볼이 스트로보 조명을 받으며 촬영되어 나타나는 볼(11)에는 조명의 빛을 받아 찍히는 부분(11-1)과 쉐이드 되어 나타나지 않는 부분(R2)이 존재하며, 이미지상에 찍히는 부분(11-1)에서도 조명의 영향으로 좀 더 밝게 나타나는 부분(R1)이 있고 조명에 의해 밝게 나타나는 부분(R1) 중에서도 픽셀의 휘도값이 가장 높은 부분(R3)이 존재한다.

스트로보 조명의 방향은 볼 이미지상의 가장 밝게 빛나는 부분, 즉 휘도값이 가장 높은 최대 밝기점(P1)이 조명방향 축(AX)의 중심이 된다는 사실을 알 수 있다.

그리고 도 13에 도시된 바와 같이, 조명방향 축(AX)은 상기 최대 밝기점(P1)으로부터 볼 이미지(11-1)의 외곽까지 가장 짧은 거리를 이루는 외곽선상의 점, 즉 제2 포인트(P2)를 반드시 지난다고 추정할 수 있다.

따라서 볼 이미지(11-1)의 외곽선상의 점 중에서 최대 밝기점(P1)과의 거리가 가장 가까운 점을 제2 포인트(P2)로 지정할 수 있다.

상기 제2 포인트(P2)는 도 12의 (a) 내지 (c)에 도시된 라인 스캔 과정에 의해 가장 짧은 거리(Dmin)를 이룰 때의 외곽선상의 점(P2)으로서 결정할 수 있다.

따라서 최대 밝기점인 제1 포인트(P1)와 상기한 바와 같은 방법에 의해 구해진 제2 포인트(P2)를 연결하는 라인을 조명방향의 축(AX)으로서 설정할 수 있다.

도 14에서는 도 12의 (b)에 도시된 바와 같은 상태에서 볼 이미지(11-1)상에 제1 포인트(P1)와 제2 포인트(P2)를 구하여 두 포인트를 연결하는 조명방향 축(AX)을 추출한 상태를 나타낸 이미지이다.

한편, 도 14에 도시된 바와 같이 볼 이미지상의 조명방향 축(AX)을 추출한 후, 도 15에 도시된 바와 같이 볼 이미지에 대한 피팅(Fitting) 작업이 수행된다.

여기서 볼 이미지에 대한 피팅의 정확도를 향상시키기 위해 제2 처리 이미지(11-2)를 이용하여 피팅하는 것 보다 제1 처리 이미지(11-1)를 이용하여 피팅하는 것이 바람직하다.

왜냐하면 제1 처리 이미지(11-1)는 볼 이미지의 형상이 크게 훼손되지 않아 피팅 시 좀 더 정확한 중심점 추출이 가능하기 때문이다.

피팅이 용이하게 이루어지도록 하기 위해 도 15의 (a) 및 (b)에 도시된 바와 같이 조명방향 축(AX)이 수직이 되도록 하여 볼 이미지상의 조명을 받는 영역(R1)이 위로 오도록 하고 쉐이드 영역(R2)이 아래로 오도록 함이 바람직하다.

상기한 바와 같은 상태에서 도 15의 (a)에 도시된 바와 같이 볼에 관한 지름으로서 미리 설정된 값 또는 볼 이미지를 통해 측정된 지름값에 따른 제1 피팅커브(FC-1)를 볼 이미지(11)의 조명을 받는 영역(R1) 상에 덮어 씌운다.

그리고 도 15의 (b)에 도시된 바와 같이 제2 피팅커브(FC-2)를 상기 설정된 지름 또는 측정된 지름에 따라 형성시킴으로써 볼 이미지(11)의 쉐이드 영역을 포함하는 정확한 피팅(Fitting)이 이루어질 수 있다.

상기한 바와 같은 과정에 따라 볼 이미지의 피팅이 이루어지면, 도 16에 도시된 바와 같이 각각의 볼 이미지(11)에 대한 피팅커브(FC)를 통해 볼 이미지(11)의 중심점(CP) 좌표를 정확하게 추출할 수 있게 된다.

따라서 낮은 해상도의 저속 카메라 장치와 스트로보 장치에 의해 취득된 낮은 품질의 이미지를 이용함에도 불구하고 볼에 대한 중심점 좌표를 정확하게 추출할 수 있다.

이와 같이 추출된 각각의 볼의 중심점 좌표는 소정의 툴(Tool)에 의해 3차원 좌표로 변환되고 이를 기초로 시뮬레이션 될 볼의 운동 궤적의 물리적 정보가 산출된다.

한편, 도 17 및 도 18을 참조하여 본 발명에 따른 운동하는 볼에 대한 센싱처리방법의 각각의 실시예에 관한 플로우 차트에 관하여 설명한다.

도 17에 도시된 바와 같이 먼저 신호발생부에 의해 트리거 신호가 인가되어 카메라 장치와 스트로보 장치가 각각 소정의 주기로 볼의 운동상태에 관하여 다중 노출 이미지를 취득한다(S10).

그리고 취득된 다중 노출 이미지에 대해 배경이미지 및 각종 노이즈를 제거하기 위한 여러 가지 이미지 전처리 단계가 진행된다(S20).

그리고 전처리 된 이미지에서 볼 이미지를 추출하며(S30), 추출된 볼 이미지의 픽셀값, 즉 휘도값을 체크하여(S40) 휘도값이 가장 높은 제1 포인트를 추출한다(S50).

그리고 추출된 제1 포인트를 중심으로 볼 이미지에 대해 360°라인 스캔을 하고(S60), 추출된 라인 스캔 결과에서 볼 이미지의 외곽선에 대한 average filter를 적용하여 외곽선이 매끄럽게 되도록 한다(S70).

그리고 상기 제1 포인트와 볼 이미지의 외곽선을 연결하는 라인 중 최단 거리를 이루는 라인의 외곽선과 만나는 점을 제2 포인트로서 추출한다(S80).

그리고 제1 포인트와 제2 포인트를 지나는 라인을 형성시킴으로써 해당 라인을 조명방향 축으로서 설정할 수 있게 된다.

그런데, 상기한 바와 같은 방식에 의해 설정된 조명방향 축이 수직선과 이루는 각도 또는 수평선과 이루는 각도가 설정범위를 벗어나는 경우가 있을 수 있다.

즉 앞서 제2 포인트를 추출하기 위한 가정으로서 조명방향 축은 최대 밝기점과 외곽선 사이의 최단거리를 이루는 지점을 통과한다고 하였는데, 조명방향의 각도가 수직선과 이루는 각도가 일정 범위 이상으로 커지게 되면 상기한 바와 같은 가정이 잘 맞지 않게 될 수 있다.

이와 같은 경우에는 소정의 프로세스를 통해 조명방향 축의 각도를 조정하도록 보정하는 단계가 필요할 수 있다.

따라서 조명방향 축이 이루는 각도가 설정범위에 포함되는지 여부를 판단하여(S100), 설정범위에 포함된다면 해당 조명방향 축이 바람직한 축이 되는 것이고, 그렇지 않다면 S60 내지 S80 과정에 따라 추정된 조명방향에 대해 보정이 이루어지며 보정된 축을 조명방향 축으로서 설정한다(S110).

이와 같이 조명방향 축이 최종적으로 확정이 되면, 상기한 바에 따라 추정된 조명방향을 고려하여 볼 이미지를 피팅하고(S120), 피팅된 이미지의 중심점을 추출한다(130).

한편, 도 18에 도시된 실시예에 따른 센싱처리방법에 따른 플로우 차트는 도 8 내지 도 11에서 설명한 전처리의 단계별로 각각 생성된 이미지를 각각 별도로 이용하여 볼의 중심점을 추출하는 과정에 관하여 나타내고 있다.

본 실시예에 따른 센싱처리방법은 기본적으로 도 17에 도시된 실시예에 따른 플로우 차트와 동일하고 이미지의 전처리 단계별로 별도의 이미지를 생성하여 이로부터 조명방향 추정 등의 단계가 진행되는 점에서 차이가 있으므로, 중복되는 부분에 관한 설명은 생략하고 차이가 나는 부분에 관한 설명을 집중적으로 하기로 한다.

취득된 다중 노출 이미지에 대한 전처리 과정이 진행되고(S20), 이미지의 전처리 수준에 따라 제1 처리 이미지와 제2 처리 이미지를 각각 생성한다(S21, S22).

여기서 제1 처리 이미지에 관한 사항은 도 9에서, 제2 처리 이미지에 관한 사항은 도 10에서 각각 나타내고 있다.

제2 처리 이미지에 대해 볼 이미지를 추출하고(S30), 추출된 볼 이미지의 픽셀값, 즉 휘도값을 체크하여(S40) 휘도값이 가장 높은 제1 포인트를 추출한다(S50).

한편, 상기 추출된 제1 포인트를 제1 처리 이미지에 적용하여 상기 제1 포인트를 중심으로 제1 처리 이미지의 볼 이미지에 대해 360°라인 스캔을 하고(S60), 추출된 라인 스캔 결과에서 볼 이미지의 외곽선에 대한 average filter를 적용하며(S70), 상기 제1 포인트와 볼 이미지의 외곽선을 연결하는 라인 중 최단 거리를 이루는 라인의 외곽선과 만나는 점을 제2 포인트로서 추출하여(S80) 두 포인트를 잇는 조명방향 축으로서 설정할 수 있게 된다(S90).

그 이후의 플로우에 관하여는 도 17에 도시된 바와 동일하므로 구체적인 설명을 생략한다.

10:골프공, 20:스윙플레이트
30:타격매트, 40:스크린
100:시뮬레이터, 110:데이터베이스
120:영상처리부, 130:영상출력부
210:신호발생부, 220:센싱처리부
310, 320:카메라 장치, 330:스트로보 장치

Claims (17)

1. 스트로보 조명 하에서 운동하는 볼에 대해 취득된 이미지를 통한 센싱처리장치에 있어서,
   볼의 이미지의 최대 밝기점을 추출하여 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 조명방향 추정수단; 및
   상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 볼 형상으로 피팅함으로써 피팅된 이미지의 중심점 좌표를 추출하는 피팅수단;
   을 포함하는 센싱처리장치.
2. 제1항에 있어서, 상기 조명방향 추정수단은,
   상기 볼 이미지상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 휘도분석수단과,
   상기 제1 포인트를 중심으로 상기 볼 이미지의 외곽까지 가장 짧은 거리를 이루는 지점인 제2 포인트를 추출하는 스캔수단을 포함하여,
   상기 제1 포인트와 상기 제2 포인트를 연결한 라인이 상기 조명방향의 축으로서 설정되도록 구성되는 것을 특징으로 하는 센싱처리장치.
3. 제2항에 있어서, 상기 휘도분석수단은,
   상기 볼 이미지상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하여, 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하도록 구성되는 것을 특징으로 하는 센싱처리장치.
4. 제2항에 있어서, 상기 스캔수단은,
   상기 볼 이미지의 상기 제1 포인트를 중심으로 360°라인 스캔을 함으로써 상기 제2 포인트를 추출하도록 구성되는 것을 특징으로 하는 센싱처리장치.
5. 제1항에 있어서,
   최초 취득된 이미지에서 배경 및 노이즈를 제거하는 전처리 수단과,
   상기 전처리 된 이미지에서 이미지의 윤곽을 체크하여 볼의 이미지를 추출하는 볼 추출수단을 더 포함하는 것을 특징으로 하는 센싱처리장치.
6. 제5항에 있어서, 상기 전처리 수단은,
   특정 설정값에 따라 이미지 처리가 이루어진 제1 처리 이미지와, 상기 제1 처리 이미지보다 더 높은 레벨의 설정값에 따라 이미지 처리가 이루어진 제2 처리 이미지를 각각 생성하도록 구성되는 것을 특징으로 하는 센싱처리장치.
7. 제6항에 있어서, 상기 조명방향 추정수단은,
   상기 제2 처리 이미지상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 휘도분석수단과,
   상기 제1 처리 이미지상에서 상기 제1 포인트에 해당하는 위치를 중심으로 상기 제1 처리 이미지의 외곽까지 가장 짧은 거리를 스캔하여 해당 거리상의 외곽 지점인 제2 포인트를 추출하는 스캔수단을 포함하여,
   상기 제1 포인트와 상기 제2 포인트를 연결한 라인이 상기 조명방향의 축으로서 설정되도록 구성되는 것을 특징으로 하는 센싱처리장치.
8. 제7항에 있어서, 상기 휘도분석수단은,
   상기 제2 처리 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하여, 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하도록 구성되는 것을 특징으로 하는 센싱처리장치.
9. 스트로보 조명 하에서 운동하는 볼에 대해 취득된 이미지를 통한 센싱처리방법에 있어서,
   볼의 이미지의 최대 밝기점을 추출하여 상기 볼 이미지에서 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 단계;
   상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 상기 볼 이미지에 대해 볼 형상으로 피팅하는 단계; 및
   상기 피팅된 이미지의 중심점 좌표를 추출하는 단계;
   를 포함하는 센싱처리방법.
10. 제9항에 있어서, 상기 조명방향을 추정하는 단계는,
    상기 볼 이미지상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 단계와,
    상기 제1 포인트를 중심으로 상기 볼 이미지의 외곽까지 가장 짧은 거리를 이루는 지점인 제2 포인트를 추출하는 단계와,
    상기 제1 포인트와 상기 제2 포인트를 연결한 라인이 상기 볼 이미지에 대한 조명방향 축으로서 설정되는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.
11. 제10항에 있어서, 상기 제1 포인트를 추출하는 단계는,
    상기 볼 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하는 단계와,
    상기 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.
12. 제10항에 있어서, 상기 제2 포인트를 추출하는 단계는,
    상기 볼 이미지에 대해 상기 제1 포인트를 중심으로 360°라인 스캔을 하는 단계와,
    상기 제1 포인트와 상기 볼 이미지의 외곽을 연결하는 가장 짧은 거리에 해당하는 지점을 상기 제2 포인트로서 추출하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.
13. 제9항에 있어서, 상기 조명의 방향을 추정하는 단계는,
    최초 취득된 이미지에 대한 노이즈 제거를 위해 특정 설정값에 따라 이미지 처리를 함으로써 제1 처리 이미지를 생성하는 단계와,
    상기 최초 취득된 이미지에 대해 상기 제1 처리 이미지보다 더 높은 레벨의 설정값에 따라 이미지 처리를 함으로써 제2 처리 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.
14. 제13항에 있어서, 상기 조명의 방향을 추정하는 단계는,
    상기 제2 처리 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 지점인 제1 포인트를 추출하는 단계와,
    상기 제1 처리 이미지 상에서 상기 제1 포인트에 해당하는 위치를 중심으로 상기 제1 처리 이미지의 외곽까지 가장 짧은 거리를 스캔하여 해당 거리상의 외곽 지점인 제2 포인트를 추출하는 단계와,
    상기 제1 포인트와 상기 제2 포인트를 연결한 라인을 상기 추출된 이미지에 대한 조명방향 축으로서 추정하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.
15. 제14항에 있어서, 상기 제1 포인트를 추출하는 단계는,
    상기 제2 처리 이미지 상의 모든 픽셀 중 휘도값이 가장 높은 픽셀을 체크하는 단계와,
    상기 체크된 적어도 하나의 픽셀에 대한 무게중심을 계산함으로써 상기 제1 포인트를 산출하는 단계를 포함하는 것을 특징으로 하는 센싱처리방법.
16. 제10항에 있어서, 상기 조명의 방향을 추정하는 단계는,
    상기 추정된 조명방향의 축이 이루는 각도가 설정된 각도 범위를 벗어나는지 여부를 판단하는 단계와,
    상기 설정된 각도 범위를 벗어나는 경우, 상기 추정된 조명방향을 보정하는 조명방향 보정 단계를 더 포함하는 것을 특징으로 하는 센싱처리방법.
17. 골퍼에 의해 타격되어 운동하는 골프공에 대한 다중 노출 이미지를 취득하는 카메라 장치 및 스트로보 장치를 포함하는 센서부;
    볼의 이미지의 최대 밝기점을 추출하여 상기 최대 밝기점을 지나는 상기 스트로보 조명의 조명방향을 추정하는 조명방향 추정수단과, 상기 추정된 조명방향에 따라 상기 볼 이미지의 조명 받는 쪽의 외곽을 기준으로 하여 볼 형상으로 피팅함으로써 피팅된 이미지의 중심점 좌표를 추출하는 피팅수단 포함하는 센싱처리부;
    상기 센싱처리부에서 선택된 중심점의 좌표를 3차원 좌표로 변환시키는 컨버팅부; 및
    상기 3차원 좌표를 기초로 운동하는 골프공에 관한 물리 정보를 계산함으로써 골프공의 궤적을 시뮬레이션하는 시뮬레이터;
    를 포함하는 가상 골프 시뮬레이션 장치.

Images