KR101078975B1 - 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법 - Google Patents

Abstract

본 발명은 비교적 낮은 해상도와 속도를 갖는 저렴한 카메라를 이용함에도 불구하고 그 취득한 이미지를 분석함으로써 운동하는 볼의 속도, 방향 및 높이각 등의 물리적 특성 정보를 비교적 정확하게 추출할 수 있고, 특히 그 취득한 이미지를 통해 골프 클럽의 운동 궤적을 비교적 정확하게 산출하여 그로부터 볼의 스핀을 비교적 정확하게 추정하여 골프 시뮬레이션에 반영하도록 함으로써 저렴한 비용으로 높은 정확도와 신뢰성을 갖는 가상 골프 시뮬레이션 장치를 구성할 수 있을 뿐만 아니라 가상 골프의 리얼리티를 더욱 향상시키도록 할 수 있는 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

Description

가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법{SENSING DEVICE AND METHOD USED TO APPARATUS FOR VIRTUAL GOLF SIMULATION}

본 발명은 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법에 관한 것으로 더욱 상세하게는, 가상의 골프코스가 영상화되어 시뮬레이션 되고 사용자가 타격한 골프공의 궤적이 센싱장치에 의해 센싱되어 상기 가상의 골프코스에서 시뮬레이션 되는 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법에 관한 것이다.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.

특히 최근에는 이른바 스크린 골프 시스템이 등장하여 사용자가 골프 클럽을 들고 골프 스윙을 함에 따라 타격 매트에 놓인 볼을 타격하면 센싱장치가 이를 센싱하여 이동하는 골프공의 물리적 특성을 추출하고 이를 바탕으로 가상의 골프코스에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상 현실상에서 골프를 즐길 수 있도록 하는 기술이 개발되고 있다.

이와 같은 인터액티브 스포츠 게임에서 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.

예컨대 적외선 센서를 이용한 센싱장치, 레이저 센서를 이용한 센싱장치, 음향 센서를 이용한 센싱장치, 그리고 카메라 센서를 이용한 센싱장치 등 다양한 센싱 방식이 등장하고 있으며, 운동하는 볼의 상태를 정확하게 센싱하기 위하여 운동하는 볼에 대한 이미지를 취득하여 분석하는 카메라 센서 방식의 센싱장치에 대한 연구가 활발하게 이루어지고 있다.

그러나 카메라 센서 방식의 경우 정확한 센싱을 위해서는 높은 해상도의 초고속 카메라가 필요한데 이는 센싱장치의 비용을 상당히 상승시키기 때문에 한계가 있고, 적당히 낮은 해상도와 적당히 낮은 속도의 카메라를 사용할 경우 취득되는 이미지의 품질이 낮기 때문에 그로부터 볼이나 골프 클럽을 정확하게 추출, 분석하여 운동하는 볼의 물리적 특성을 도출하는 것이 매우 어렵다는 문제점이 있으며, 특히 볼의 스핀을 측정하는 것이 매우 어렵다는 문제점이 있다.

본 발명은 비교적 낮은 해상도와 속도를 갖는 저렴한 카메라를 이용함에도 불구하고 그 취득한 이미지를 분석함으로써 운동하는 볼의 속도, 방향 및 높이각 등의 물리적 특성 정보를 비교적 정확하게 추출할 수 있고, 특히 그 취득한 이미지를 통해 골프 클럽의 운동 궤적을 비교적 정확하게 산출하여 그로부터 볼의 스핀을 비교적 정확하게 추정하여 골프 시뮬레이션에 반영하도록 함으로써 저렴한 비용으로 높은 정확도와 신뢰성을 갖는 가상 골프 시뮬레이션 장치를 구성할 수 있을 뿐만 아니라 가상 골프의 리얼리티를 더욱 향상시키도록 할 수 있는 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 각 프레임별 이미지에서 볼을 추출하여 그 3차원 좌표를 획득하는 볼 이미지 처리부와, 상기 취득한 각 프레임별 이미지에서 움직이는 관심 대상을 추출하여 상기 관심 대상으로부터 골프 클럽의 헤드에 대한 운동 궤적을 산출하는 클럽 이미지 처리부를 포함하여 운동하는 볼에 대한 물리적 특성 정보를 산출하는 센싱처리유닛을 포함한다.

또한 바람직하게는, 상기 클럽 이미지 처리부는 상기 볼 이미지 처리부에 의해 처리된 이미지에서 추출된 볼을 제거한 이미지를 전달받아 이미지 처리를 수행하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 카메라 유닛으로부터 전달받은 이미지를 처리함으로써 사용자에 의한 타격이 이루어졌는지 여부를 감지함으로써 임팩트 시점을 파악하는 타격감지부를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 볼 이미지 처리부는 상기 타격감지부로부터 임팩트 시점 이후의 복수 프레임의 이미지를 전달받아 이미지 처리를 수행하도록 구성되며, 상기 클럽 이미지 처리부는 상기 타격감지부로부터 임팩트 시점 이전의 복수 프레임의 이미지 및 상기 볼 이미지 처리부에서 처리된 이미지를 각각 전달받아 이미지 처리를 수행하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 센싱처리유닛은, 상기 볼 이미지 처리부에 의해 추출된 볼의 3차원 좌표를 이용하여 운동하는 볼의 속도, 방향 및 높이각을 포함하는 물리적 특성 정보를 산출하며, 상기 클럽 이미지 처리부에 의해 산출된 골프 클럽의 헤드에 대한 운동 궤적으로부터 볼의 스핀을 포함하는 물리적 특성 정보를 산출하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 클럽 이미지 처리부는, 각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 상기 움직이는 관심 대상을 추출하며, 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 제1 처리수단과, 상기 피팅된 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하는 제2 처리수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 클럽 이미지 처리부는, 정지 상태의 볼의 위치를 중심으로 소정 크기의 관심 영역을 설정하고 상기 관심 영역 내에서 상기 골프 클럽 헤드의 운동 궤적을 체크하여 상기 골프 클럽 헤드의 진행 방향을 추출하고 그로부터 볼의 스핀을 추정하는 스핀추정수단을 더 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 각 프레임별 이미지에서 2차원 분석을 통해 볼의 궤적을 추출하여 상기 볼 궤적 상의 각 볼의 3차원 좌표를 추출하는 볼 이미지 처리부와, 상기 취득한 각 프레임별 이미지에서 2차원 분석을 통해 움직이는 대상에 대한 피팅 라인을 추출하고 상기 피팅 라인에 대한 3차원 매칭으로부터 골프 클럽 헤드의 운동 궤적을 추출하는 클럽 이미지 처리부를 포함하여 운동하는 볼의 물리적 특성 정보를 산출하는 센싱처리유닛을 포함한다.

또한 바람직하게는, 상기 카메라 유닛은 각각 복수 프레임의 이미지를 취득하며 스테레오 방식으로 구동되는 복수개의 카메라를 포함하며, 상기 볼 이미지 처리부는, 상기 복수개의 카메라 각각이 취득한 이미지에서 볼 후보를 찾아 3차원 좌표를 추출하고, 상기 볼 후보를 2차원 평면으로 회귀시켜 2차원 궤적을 추출하여 분석함으로써 볼의 궤적을 추출하며, 상기 추출된 볼 궤적 상의 각 볼의 좌표를 3차원 좌표로 변환시키도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 카메라 유닛은 각각 복수 프레임의 이미지를 취득하며 스테레오 방식으로 구동되는 복수개의 카메라를 포함하며, 상기 클럽 이미지 처리부는, 상기 복수개의 카메라 각각이 취득한 이미지에서 각 프레임간 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하며 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 제1 처리수단과, 상기 복수개의 카메라에 대해 동일 프레임의 이미지에 대한 3차원 공간상의 대응점을 검사함으로써 상기 피팅된 라인 상의 특정 부분의 3차원 궤적을 산출하는 제2 처리수단을 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하며 상기 추출된 관심 대상으로부터 피팅 라인을 추출하는 제1 처리수단과, 상기 피팅 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하는 제2 처리수단을 포함하여 운동하는 볼의 스핀을 추정하는 센싱처리유닛을 포함한다.

또한 바람직하게는, 상기 센싱처리유닛은, 상기 취득한 이미지에 대해 차연산을 통해 이미지 상의 정지된 부분을 제거하며, 상기 차연산 된 이미지 상의 모든 픽셀 각각에 대해 소정 개수의 주변 픽셀의 픽셀값을 취합한 이미지가 생성되도록 하는 전처리 수단을 더 포함하여, 상기 전처리 수단에 의해 처리된 이미지를 이용하여 상기 변동추출수단 및 궤적산출수단이 이미지 처리를 수행하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 처리수단은, 처리 대상인 모든 프레임의 이미지 각각에 대해 해당 프레임의 이미지와 다른 프레임의 이미지 사이에 차이 나는 부분을 추출하여 서로 취합함으로써 골프 클럽에 해당하는 부분이 관심 대상으로 추출되도록 하는 대상추출수단과, 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 라인피팅수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제2 처리수단은, 상기 피팅된 라인 상의 특정 부분에 대한 좌표 이동을 검사함으로써 운동 궤적을 산출하는 궤적산출수단과, 상기 산출된 운동 궤적을 골프 클럽 헤드의 운동 궤적으로서 인식하고 상기 운동 궤적으로부터 상기 골프 클럽 헤드의 진행 방향을 추출하여 그로부터 볼의 스핀을 추정하는 스핀추정수단을 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대해 각각 복수 프레임의 이미지를 취득하는 복수개의 카메라를 포함하는 카메라 유닛; 및 상기 각 카메라에서 취득한 이미지에 대해 각각 2차원 분석을 통해 움직이는 관심 대상에 대한 피팅 라인을 추출하고 상기 2차원 분석된 각각의 피팅 라인에 대한 3차원 매칭을 통해 상기 관심 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출함으로써 운동하는 볼의 스핀을 추정하는 센싱처리유닛을 포함한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법은, 타격이 이루어지는 일정 촬영 범위에 대한 이미지를 연속적으로 취득하는 단계; 상기 취득된 이미지를 분석함으로써 사용자가 볼을 타격하는지 여부를 감지하는 단계; 볼이 타격되는 임팩트 시점 이후의 복수 프레임의 이미지로부터 볼을 추출하여 분석함으로써 운동하는 볼에 대한 물리적 특성 정보를 산출하는 볼 처리 단계; 볼이 타격되는 임팩트 시점 이전 및 이후의 복수 프레임의 이미지로부터 골프 클럽 헤드의 운동 궤적을 산출하여 분석함으로써 운동하는 볼의 스핀을 추정하는 클럽 처리 단계를 포함한다.

또한 바람직하게는, 상기 볼 처리 단계는, 상기 복수 프레임의 이미지에 대해 각 프레임별로 볼 후보를 추출하는 단계와, 상기 볼 후보에 대한 3차원 좌표를 2차원 좌표로 변환하여 각 프레임상의 볼 후보를 서로 연결하는 적어도 하나의 2차원 궤적을 추출하는 단계와, 상기 2차원 궤적을 분석함으로써 볼의 궤적을 추출하여 상기 볼의 궤적 상의 각 볼에 대한 3차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 클럽 처리 단계는, 상기 복수 프레임의 이미지에 대해 각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하는 단계와, 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 단계와, 상기 피팅된 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법은, 사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 단계; 상기 취득한 이미지에서 움직이는 관심 대상을 추출하는 단계; 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 단계; 상기 피팅된 라인 상의 특정 부분의 궤적을 산출하는 단계; 및 상기 산출된 궤적을 골프 클럽 헤드의 운동 궤적으로 인식하고 그로부터 운동하는 볼의 스핀을 추정하는 단계를 포함한다.

또한 바람직하게는, 상기 관심 대상을 추출하는 단계는, 상기 취득한 이미지에 대해 차연산을 통해 이미지 상의 정지된 부분을 제거하는 단계와, 상기 차연산 된 이미지 상의 모든 픽셀 각각에 대해 소정 개수의 주변 픽셀의 픽셀값을 취합한 이미지가 생성되도록 하는 단계와, 처리 대상인 모든 프레임의 이미지 각각에 대해 해당 프레임의 이미지와 다른 프레임의 이미지 사이에 차이 나는 부분을 추출하여 서로 취합함으로써 골프 클럽에 해당하는 부분이 상기 관심 대상으로 추출되도록 하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지를 취득하는 단계에서 스테레오 방식으로 구동되는 복수개의 카메라 각각이 복수 프레임의 이미지를 취득하며, 상기 특정 부분의 궤적을 산출하는 단계는, 상기 복수개의 카메라에 대해 동일 프레임의 이미지에 대한 3차원 공간상의 대응점을 검사하는 단계와, 상기 피팅된 라인상의 끝부분을 찾아 골프 클럽의 헤드로 인식하여 상기 헤드의 좌표 이동을 검사함으로써 3차원 운동 궤적을 산출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 볼의 스핀을 추정하는 단계는, 정지 상태의 볼의 위치를 중심으로 소정 크기의 관심 영역을 설정하는 단계와, 상기 관심 영역 내에서 상기 골프 클럽 헤드의 운동 궤적을 체크함으로써 상기 골프 클럽 헤드의 진행 방향을 추출하는 단계와, 상기 골프 클럽 헤드의 진행 방향으로부터 운동하는 볼의 스핀을 추정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법은 비교적 낮은 해상도와 속도를 갖는 저렴한 카메라를 이용함에도 불구하고 그 취득한 이미지를 분석함으로써 운동하는 볼의 속도, 방향 및 높이각 등의 물리적 특성 정보를 비교적 정확하게 추출할 수 있고, 특히 그 취득한 이미지를 통해 골프 클럽의 운동 궤적을 비교적 정확하게 산출하여 그로부터 볼의 스핀을 비교적 정확하게 추정하여 골프 시뮬레이션에 반영하도록 함으로써 저렴한 비용으로 높은 정확도와 신뢰성을 갖는 가상 골프 시뮬레이션 장치를 구성할 수 있을 뿐만 아니라 가상 골프의 리얼리티를 더욱 향상시키도록 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 센싱장치를 이용하는 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 센싱장치를 이용하는 가상 골프 시뮬레이션 장치의 구성에 관하여 나타낸 블록도이다.
도 3은 도 2에 도시된 센싱장치에 대한 좀 더 구체적인 구성 및 각 구성요소들의 기능에 관하여 개략적으로 나타낸 도면이다.
도 4의 (a)는 카메라유닛에서 취득된 이미지이고, 도 4의 (b)는 (a)에 도시된 이미지에서 감지 영역을 분리한 것이며, 도 4의 (c)는 분리된 감지 영역을 통해 볼의 타격을 감지하는 것을 나타낸 이미지이다.
도 5는 본 발명의 일 실시예에 따른 센싱장치의 볼 이미지 처리부에 의해 각 프레임별로 볼 후보가 추출된 것을 나타낸 이미지이다.
도 6은 각 프레임상의 볼 후보를 서로 조합하여 2차원 평면상에 볼궤적 후보를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 센싱장치의 클럽 이미지 처리부에 의해 수집된 복수 프레임의 이미지와 차연산을 위한 배경이미지를 나타낸 것이다.
도 8은 도 7에 도시된 각 프레임 이미지와 배경이미지의 차연산된 이미지를 나타낸 것이다.
도 9는 픽셀 보정을 위한 방법을 설명하기 위한 도면으로서, (a)는 이미지를, (b) 및 (c)는 각각 이미지에서 3X3 윈도우에 해당하는 부분을 분리하여 나타낸 것이다.
도 10은 도 9에 도시된 원리에 따라 도 8에 도시된 각 프레임의 이미지에 대해 픽셀 보정한 이미지를 나타낸 것이다.
도 11은 도 10에 도시된 각 프레임별 이미지에 대해 관심 대상을 추출한 이미지에 관하여 나타낸 것이다.
도 12는 도 11에 도시된 각각의 관심 대상에 대해 직선 라인을 피팅한 결과를 하나의 이미지에 나타낸 것이다.
도 13은 도 12에 도시된 각각의 피팅 라인에 대한 3차원 매칭 원리를 설명하기 위한 도면이다.
도 14는 도 13에 도시된 원리에 따라 산출된 골프 클럽 헤드의 운동 궤적을 통해 볼의 스핀을 추정하는 것에 관하여 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법을 나타낸 플로우차트이고, 도 16은 도 15의 클럽 처리 단계에 관하여 좀 더 구체적으로 나타낸 플로우차트이다.

본 발명에 따른 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법에 대한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치 및 이에 이용되는 센싱장치에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이고, 도 2는 도 1에 도시된 스크린 골프 시스템에 적용된 가상 골프 시뮬레이션 장치의 구성을 나타내는 블록도이다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는 사용자가 볼(B)을 타격하는 것을 센싱하기 위한 센싱장치(S)와, 가상의 골프코스에 관한 영상을 구현하며 상기 센싱장치(S)의 센싱 결과에 따라 가상의 골프코스에서 볼의 궤적에 대한 시뮬레이션 영상을 제공하도록 하여 가상 골프 시뮬레이션을 진행하는 시뮬레이터(1)를 포함하도록 구성된다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템은, 소정 크기의 공간을 제공하는 골프 부스(2)의 바닥에 사용자가 골프 스윙을 할 수 있는 타석(110)이 마련되고, 상기 타석(110)의 일측에는 타격매트(120)가 마련되어 사용자는 타석(110)에서 타격매트(120)에 놓인 볼(B)을 골프 스윙에 의해 타격할 수 있도록 하며, 전방에는 스크린(3)이 마련되어 시뮬레이터(1)로부터 영상 정보를 전달받은 영상출력을 위한 장치(도 2에 도시된 영상출력부(30)로서, 예컨대 빔 프로젝트 등)가 상기 스크린(3) 상에 가상 골프 시뮬레이션에 관한 영상을 투영시키도록 구성될 수 있다.

여기서 상기 타석(110) 및 타격매트(120)는 골프 부스(2)의 바닥면에 마련될 수도 있으나, 도 1에 도시된 바와 같이 스윙플레이트(100) 상에 마련되도록 하는 것도 가능하다.

상기 스윙플레이트(100)는 전후좌우 방향으로 소정 각도 기울어질 수 있도록 구비되며 시뮬레이터(1)와 연결되어 현재 구현되고 있는 가상의 골프코스의 지형에 대응하여 기울기를 형성할 수 있다.

한편, 도 1에 도시된 바와 같이 골프 부스(2) 내에는 센싱장치(S)가 구비되어 사용자가 볼(B)을 타격하는 것을 센싱한다.

즉 도 2에 도시된 바와 같이 센싱장치(S)는 복수개의 카메라(51, 52)로 구성되는 카메라 유닛(50)과, 상기 카메라 유닛(50)에서 취득한 이미지를 처리함으로써 이동하는 볼의 물리적 특성을 추출하는 센싱처리유닛(60)을 포함하여 구성될 수 있다.

상기 카메라 유닛(50)은 하나의 이미지 센싱을 위한 카메라에 의해 구성될 수도 있고 2 이상의 카메라에 의해 구성될 수도 있는데, 이동하는 볼(B)의 이미지를 취득하여 3차원 공간에서의 볼의 좌표를 추출하기 위해서는, 도 1에 도시된 바와 같이 2 이상의 카메라(51, 52)가 서로 연동되어 구동됨으로써 스테레오(Stereo) 방식의 카메라 유닛을 구성하도록 함이 바람직하다.

여기서 이동하는 볼의 물리적 특성은 볼의 속도, 볼의 이동 방향(수평 방향의 이동 각도), 볼의 높이각(수직 방향의 이동 각도), 볼에 걸리는 스핀(Spin) 등을 포함할 수 있다.

상기 센싱처리유닛(60)은 상기 카메라 유닛(50)을 통해 취득된 이미지를 프레임 단위로 순차적으로 입수하여 수집하는 그래버(65)와, 상기 그래버(65)로부터 전송되는 이미지를 전달받아 처리함으로써 타격 준비 완료 여부 및 사용자에 의한 타격이 이루어졌는지 여부를 감지하는 타격감지부(70)와, 상기 타격감지부(70)에 의해 타격이 감지되는 경우 상기 타격감지부(70)로부터 타격에 관련된 이미지를 전달받아 소정의 이미지 처리를 함으로써 이동하는 볼의 물리적 특성 정보를 추출하는 볼 이미지 처리부(80), 그리고 상기 타격감지부(70)로부터 전달받은 이미지로부터 골프클럽의 운동궤적을 분석함으로써 볼의 스핀(Spin)에 관한 정보를 추출하는 클럽 이미지 처리부(90)를 포함하여 구성될 수 있다.

또한 상기 센싱처리유닛(60)은 복수개의 카메라(51, 52) 각각으로부터 취득되는 이미지를 서로 매칭하여 각각의 카메라 이미지에 대한 2차원 정보(카메라 한대에서 추출되는 정보는 2차원 정보이다)를 3차원 정보로 변환하거나, 반대로 복수개의 카메라 이미지를 서로 매칭하여 추출한 3차원 정보를 2차원 정보로 역변환하도록 구비되는 변환수단(73)을 포함하는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치를 구성하는 시뮬레이터(1)는, 제어부(M), 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등을 포함하여 구성됨이 바람직하다.

상기 데이터베이스(10)는 가상 골프 시뮬레이션에 필요한 모든 데이터가 저장된다. 예컨대 시스템 구동에 필요한 데이터와, 가상의 골프코스의 영상 구현에 관한 데이터, 볼의 궤적에 대한 시뮬레이션 영상 구현에 관한 데이터 등이 저장된다.

상기 영상처리부(20)는 가상의 골프코스에 관한 영상이나 가상의 골프코스에서 펼쳐지는 볼의 궤적에 대한 시뮬레이션 영상 등을 구현하기 위한 소정의 영상 처리가 이루어지는 부분이다.

상기 영상출력부(30)는 상기 영상처리부(20)로부터 전달받은 영상 정보를 스크린 상에 출력하여 사용자가 볼 수 있도록 하기 위한 것이다.

상기 제어부(M)는 센싱장치(S)로부터 센싱 결과에 따른 정보를 전달받아 상기 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등의 모든 구성요소들의 동작을 제어할 수 있도록 구비된다. 즉 상기 제어부(M), 데이터베이스(10), 영상처리부(20) 등은 센싱장치(S)의 센싱 결과에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현수단으로서 기능한다.

한편, 도 3을 참조하여 도 2에 도시된 센싱장치(S)에 관한 좀 더 구체적인 구성과 각 구성요소의 기능에 관하여 설명한다.

도 3에 도시된 바와 같이 본 발명에 따른 센싱장치에서의 정보 전달 흐름은 카메라 유닛(50) -> 그래버(65) -> 타격감지부(70) -> 볼 이미지 처리부(80) 및 클럽 이미지 처리부(90) -> 시뮬레이터(1)의 순서로 이루어진다.

카메라 유닛(50)은 타석과 타격매트가 마련되어 있는 부분을 포함하는 일정 범위를 촬영하면서 1초당 수백 프레임의 이미지를 취득한다.

이렇게 취득되는 이미지는 그래버(65)로 전송되고, 그래버(65)는 카메라 유닛(50)으로부터 이미지를 전송받아 저장하면서 타격감지부(70)로 전달하여 이미지 처리가 이루어지도록 한다.

상기 타격감지부(70)는, 상기 그래버(65)로부터 전달받은 이미지에서 볼을 찾아서 미리 설정된 조건을 만족시키는지 여부를 판단함으로써 타격 준비가 완료되었는지 여부를 감지하며, 볼이 상기 타격 준비가 완료된 위치로부터 이동하는지 여부를 판단함으로써 사용자에 의해 타격이 이루어졌는지 여부를 감지한다.

도 4의 (a) 내지 (c)는 상기 타격감지부(70)에 의해 사용자가 볼을 타격하였는지 여부를 감지하는 과정에 관하여 나타내고 있다.

도 4의 (a)는 그래버(65)로부터 타격감지부(70)로 전달되는 여러 프레임의 소스 이미지 중 하나를 나타내고 있다.

타격감지부(80)는 소스 이미지(200)에서 타격영역(220)을 설정하여 분리한 후 그로부터 볼을 찾는데, 이때 도 4의 (a)에 도시된 바와 같이 타격매트에 해당하는 영역을 타격영역(220)으로 설정함이 바람직하다. 이와 같이 타격영역(220)을 분리하여 그 안에서만 볼을 찾음으로써 소스 이미지 전체에서 볼을 찾는 것보다 훨씬 빠르고 정확하게 볼을 찾을 수 있다.

분리된 타격영역(220)에서 볼을 찾는 과정은 다양한 방법에 의해 수행될 수 있는데, 예컨대 볼에 대한 기준 이미지로서 미리 설정되어 저장된 볼 템플릿과 상기 타격영역(220) 내에 존재하는 특정 객체가 서로 유사한 정도를 분석하여 일정 수준 이상으로 유사한 경우에는 상기 특정 객체를 볼이라고 판단할 수 있는 것이다.

그리고 도 4의 (b)에 도시된 바와 같이 타격영역(220)에 대한 이미지에서 볼을 중심으로 소정 크기의 감지영역(R)이 설정되는데, 상기 감지영역(R)은 볼 하나 정도가 여유있게 포함될 수 있는 정도의 작은 크기로 설정됨이 바람직하며, 사용자가 타격을 했는지 여부는 상기한 감지영역(R) 내에 볼이 존재하는지 존재하지 않는지 여부만을 조사하면 쉽게 감지할 수 있다.

따라서 도 4의 (b)에 도시된 바와 같은 상태에서 도 4의 (c)에 도시된 바와 같은 상태로 감지영역(R) 내에 볼이 존재하지 않게 된 것을 감지함으로써 타격을 감지할 수 있다.

상기한 바와 같이 타격이 감지되면, 타격감지부(70)는 감지된 시점 이전에 입수된 복수 프레임의 이미지를 조사하여 볼이 움직이기 시작한 정확한 시점, 즉 임팩트 시점을 파악하고, 임팩트 시점의 이미지 프레임을 트리거 프레임(Trigger Frame)으로 지정한다.

그리고 상기 트리거 프레임을 기준으로 임팩트 시점 이전의 복수 프레임의 이미지를 저장하였다가 클럽 이미지 처리부(90)로 전송하여 필요한 이미지 처리가 진행될 수 있도록 한다. 여기서 클럽 이미지 처리부(90)로 전송되는 이미지는 임팩트 시점의 프레임, 즉 트리거 프레임의 이미지도 포함될 수 있다.

또한 타격감지부(70)는 상기 트리거 프레임을 기준으로 임팩트 시점 이후의 복수 프레임의 이미지(트리거 프레임도 포함될 수 있다)를 저장하면서 실시간으로 볼 이미지 처리부(80)로 전송하여 필요한 이미지 처리가 진행될 수 있도록 한다. 볼 이미지 처리부(80)에서 처리된 이미지는 다시 클럽 이미지 처리부(90)로 전송되어 처리된다. 따라서 클럽 이미지 처리부(90)는 임팩트 시점 이전의 복수 프레임의 이미지와 임팩트 시점 이후의 복수 프레임의 이미지를 모두 전송받아 처리한다.

여기서, 상기 볼 이미지 처리부(80)는 타격감지부(70)로부터 전송받은 이미지를 처리함으로써 볼의 3차원 좌표 정보를 추출하고 이를 이용하여 운동하는 볼의 속도, 방향 및 높이각을 포함하는 물리적 특성 정보를 산출한다.

그리고 상기 클럽 이미지 처리부(90)는 골프 클럽의 헤드에 대한 운동 궤적에 관한 정보를 추출하고 이를 이용하여 운동하는 볼의 스핀을 추정하여 산출한다.

상기 볼 이미지 처리부(80) 및 클럽 이미지 처리부(90)를 통해 추출된 볼의 물리적 특성 정보는 시뮬레이터(1)로 전달되고, 시뮬레이터(1)는 이를 기초로 가상의 골프코스에서 볼이 이동하는 시뮬레이션 영상을 출력함으로써 가상 골프 시뮬레이션이 진행되도록 한다.

여기서 볼 이미지 처리부(80)는 기본적으로 카메라 유닛(50)으로부터 취득한 각 프레임별 이미지에서 볼 후보를 추출하여 상기 각 볼 후보의 3차원 좌표를 2차원 좌표로 변환하여 2차원 궤적을 분석함으로써 최종적인 볼의 궤적을 추출하여 운동하는 볼에 대한 물리적 특성 정보를 산출하도록 하는 기능을 수행한다.

즉 도 5에 도시된 바와 같이 상기 볼 이미지 처리부(80)는 카메라 유닛(50)을 통해 취득한 이미지에 대해 각 프레임별로 볼 후보(도 5의 Frame 1 이미지 상의 1_1, 1_2, Frame 2 이미지 상의 2_1, 2_2 등)를 추출하고 연속된 프레임에 대해 상기 각 볼 후보를 연결하는 볼궤적 리스트를 생성하며, 도 6에 도시된 바와 같이 상기 생성된 모든 볼궤적 리스트에 대해 2차회귀분석(2nd Regression Analysis)을 수행하여 모든 볼궤적 리스트를 2차원 평면 상에서 2차원 궤적(Curve 1 ~ Curve 3)으로 나타내어, 미리 설정된 조건에 따라 상기 2차원 궤적들 중에서 최종적인 볼의 궤적을 추출한 후 그 추출된 볼의 궤적상의 각 볼의 좌표(최종적으로 선택된 2차원 궤적 상의 볼 후보들의 좌표)를 추출함으로써 운동하는 볼의 물리적 특성 정보를 산출한다.

도 6에서는 2차회귀분석을 수행함으로써 2차원 평면상에 각 볼궤적 리스트에 따른 2차원 궤적들을 나타낸 것이다.

상기한 바와 같이 추출된 2차원 궤적들 중 여러 가지 노이즈가 섞여서 잘못 나타내어진 2차원 궤적들이 있을 것이므로 이를 제거하여 최종적으로 볼의 궤적을 선별한다.

예컨대 도 6에 도시된 2차회귀분석 결과에서 2차원 궤적 중 지면 아래쪽으로 연결되는 궤적은 볼의 궤적이라고 볼 수 없으므로(왜냐하면 골프 클럽으로 볼을 타격할 경우 볼이 지면을 뚫고 날아가는 것이 아니기 때문이며, 지면 아래쪽으로 연결되는 궤적은 골프 클럽의 일부분이 볼 후보로 선정되었기 때문에 나타나는 현상이다), 이를 제외하고 최종적인 볼의 궤적을 선별하는 것이다.

만약 볼의 궤적이라고 볼 수 없는 2차원 궤적들을 모두 제거한 후에도 복수개의 2차원 궤적이 남아 있을 경우에는 볼이 운동할 때 나타나는 일반적인 물리 법칙들을 적용하여 최종적인 볼의 궤적을 선별할 수 있다.

예컨대 스크린을 향해 볼을 타격할 경우, 5m ~ 10m 정도의 짧은 구간을 운동하는 볼은 수평방향으로 거의 등속도운동을 할 것이며 수직 방향으로는 거의 등가속도운동을 할 것이므로, 이러한 운동 법칙에 부합하는 2차원 궤적을 선정하여 최종적인 볼의 궤적으로서 선별하도록 할 수 있다.

한편, 도 7 내지 도 14를 참조하여 도 3에 도시된 클럽 이미지 처리부의 구성 및 프로세스에 관하여 설명한다.

도 3에 도시된 바와 같이 클럽 이미지 처리부는, 전처리 수단(91), 제1 처리수단(92) 및 제2 처리수단(93)을 포함하여 구성될 수 있다.

상기 전처리 수단(91)은 타격감지부(70) 또는 볼 이미지 처리부(80)로부터 전송받은 이미지로부터 골프 클럽에 관한 이미지를 추출하여 처리하기 용이하도록 여러 가지 이미지 처리를 수행하는 역할을 한다. 상기 전처리 수단(91)에 의한 이미지 처리에 관하여는 도 7 내지 도 10을 참조하여 후술하기로 한다.

상기 제1 처리수단(92)은 각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하며 상기 추출된 관심 대상으로부터 피팅 라인을 추출하며, 상기 제2 처리수단(93)은 상기 피팅 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하여 운동하는 볼의 스핀을 추정한다.

좀 더 구체적으로, 상기 제1 처리수단(92)은 처리 대상인 모든 프레임의 이미지 각각에 대해 해당 프레임의 이미지와 다른 프레임의 이미지 사이에 차이 나는 부분을 추출하여 서로 취합함으로써 골프 클럽에 해당하는 부분이 관심 대상으로 추출되도록 하는 대상추출수단(92a)과, 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 라인피팅수단(92b)을 포함하여 구성될 수 있다.

그리고 상기 제2 처리수단(93)은 상기 라인피팅수단(92b)에 의해 피팅된 라인 상의 특정 부분에 대한 좌표 이동을 검사함으로써 운동 궤적을 산출하는 궤적산출수단(93a)과, 상기 산출된 운동 궤적을 골프 클럽 헤드의 운동 궤적으로서 인식하고 상기 운동 궤적으로부터 상기 골프 클럽 헤드의 진행 방향을 추출하여 그로부터 볼의 스핀을 추정하는 스핀추정수단(93b)을 포함하여 구성될 수 있다.

상기 제1 처리수단(92) 및 제2 처리수단(93)에 의한 이미지 처리에 관하여는 도 11 내지 도 14를 참조하여 후술하기로 한다.

먼저 도 7 내지 도 10을 참조하여 클럽 이미지 처리부의 전처리 수단에 의한 이미지 처리에 관하여 설명한다.

클럽 이미지 처리부는 임팩트 시점 전후의 복수 프레임의 이미지를 처리함으로써 골프 클럽 헤드의 궤적을 산출하여 그로부터 볼의 스핀을 추정하기 위한 것으로서 처리하는 이미지의 프레임 수는 설정에 따라 달라질 수 있는데, 도 7 이하에서는 임팩트 전후의 5개 프레임의 이미지, 즉 5장의 이미지를 이용하여 이미지 처리를 하는 것을 일 예로서 설명하고 있다. 그러나 이에 한정되지 않고 그 보다 더 많은 개수 또는 더 적은 개수의 이미지에 대한 처리도 가능하다.

도 7에 도시된 Frame 1 내지 Frame 5의 이미지는 사용자가 볼을 타격하는 것에 대해 카메라 유닛 중 어느 한 카메라를 통해 취득되는 이미지로서 임팩트 시점 전후의 5장의 이미지를 나타낸 것이다.

도 7에 도시된 Frame 1 내지 Frame 5의 이미지는 카메라로부터 취득되는 소스 이미지(301 내지 305)로서 이미지 상에는 사용자의 신체 일부(body)와 골프 클럽(club)과 타격매트(mat) 등이 모두 포함되어 있다.

클럽 이미지 처리부는 각 프레임의 소스 이미지(301 내지 305)에서 골프 클럽 부분만을 추출해 내는 것이 1차적인 목적이다.

따라서 도 7에 도시된 배경 이미지(BI)를 마련하여 각 프레임의 소스 이미지(301 내지 305)를 상기 배경 이미지(BI)에 대해 각각 차연산(Difference Operation) 한다. 여기서 상기 배경 이미지(BI)는 분석 대상인 각 프레임의 이미지와 다른 시점에 취득되어 마련된 이미지임이 바람직하다.

도 8에 도시된 Frame 1 내지 Frame 5 이미지는 상기 도 7의 Frame 1 내지 Frame 5의 소스 이미지(301 내지 305) 각각을 배경 이미지(BI)에 대해 차연산 수행 결과에 따른 이미지이다.

즉 Frame 1의 소스 이미지(301)와 배경 이미지(BI)의 차연산 결과 도 8의 Frame 1 이미지(311)를 획득할 수 있고, 이와 같은 방식으로 Frame 1 내지 Frame 5의 이미지(311 내지 315)를 각각 획득한 것이다. 도 8에 도시된 Frame 1 내지 Frame 5의 이미지를 차영상이라 하기로 한다.

도 8에 도시된 바와 같이 Frame 1 차영상(311)부터 Frame 5 차영상(315)까지의 모든 이미지에서 정지되어 있는 부분들(예컨대 배경 부분과 매트 부분 등)이 모두 제거되고 움직임이 있는 부분들(예컨대 사용자의 신체 일부와 골프 클럽 등. 사용자의 신체 일부는 크게 움직이지는 않지만 차연산을 통해서도 많이 제거할 수 없을 정도로 움직임이 상당한 부분이다)이 남아 있게 된 것을 알 수 있다.

상기한 바와 같은 차영상의 추출은 카메라 유닛의 다른 카메라에서 취득한 이미지에 대해서도 동일하게 수행된다.

여기서, 도 8에 도시된 각 프레임의 차영상(311 내지 315)을 통해 알 수 있듯이 차연산을 수행하는 과정에서 이미지의 밝기가 많이 약하게 되었다면, 그 밝기를 높게 해줄 필요가 있다. 즉 정지된 부분들의 명도는 거의 그대로 있도록 하면서 움직임이 있는 부분들은 명도를 더욱 크게 하는 것이 필요하다.

이와 같이 정지된 부분들의 명도는 거의 그대로 있도록 하면서 움직임이 있는 부분들은 명도를 더욱 크게 하는 방법으로서, 도 9에 도시된 방법을 일 예로서 이용할 수 있다.

즉 이미지상의 모든 픽셀 각각에 대해 해당 픽셀을 중심으로 그 주변의 소정 개수의 픽셀들의 픽셀값(흑백 이미지인 경우에는 픽셀값은 밝기값(명도값)으로 나타난다)을 상기 해당 픽셀에 취합하도록 하는 것이다. 예컨대 도 9의 (b) 및 (c)에 도시된 바와 같이 3X3 윈도우 만큼의 주변 픽셀값을 취합하여 중심 픽셀의 밝기를 보정하도록 할 수 있다.

도 9의 (a)에 도시된 이미지(image)가 1번 픽셀로부터 35번 픽셀까지 35개의 픽셀(pixel)로 이루어졌다고 가정할 때, 이미지(image) 상의 모든 픽셀에 대해 3X3 윈도우 만큼의 주변 이미지의 픽셀값을 취합하여 중심에 있는 픽셀의 픽셀값을 보정한다.

즉 도 9의 (b) 또는 (c)에 도시된 바와 같이, 만약 16번 픽셀 또는 17번 픽셀의 픽셀값을 보정한다고 가정할 경우 그 주변의 가로 세로 3개씩의 픽셀에 대해 각 픽셀의 픽셀값을 모두 취합하여 16번 픽셀(도 9의 (b)) 또는 17번 픽셀(도 9의 (c))의 픽셀값을 보정함으로써 각각 명도가 더 커진 것을 알 수 있다. 이와 같은 방식으로 1번 픽셀부터 35번 픽셀까지 모든 픽셀에 대해 3X3 윈도우 만큼의 픽셀값을 취합하여 보정한다.

상기한 바와 같이 각 픽셀을 보정함으로써 어두운 배경 부분의 픽셀값은 거의 그대로 있으면서 움직임이 있는 부분들의 밝기는 더욱 커지도록 할 수 있다.

도 10에 도시된 Frame 1 내지 Fraem 5의 보정 이미지(321 내지 325)는 도 9에 도시된 각각의 차영상(311 내지 315)에 대해 도 9에 도시된 바와 같은 3X3 윈도우 만큼의 주변 픽셀의 픽셀값을 중심 픽셀에 보정한 결과에 따른 이미지를 각각 나타내고 있는 것이다.

도 10에 도시된 바와 같이 Frame 1 내지 Fraem 5의 보정 이미지(321 내지 325)에서 움직임 있는 부분인 신체 일부 부분과 골프 클럽 부분의 밝기가 많이 향상된 것을 볼 수 있다.

상기한 바와 같은 이미지의 각 픽셀의 보정은 카메라 유닛의 다른 카메라에서 취득한 이미지에 대해서도 동일하게 수행된다.

그런데, 도 10에 도시된 보정 이미지(321 내지 325)에서도 사용자의 신체 일부 등의 노이즈가 여전히 남아 있게 된다. 클럽 이미지 처리부의 입장에서 이미지상의 관심 있는 부분, 즉 관심 대상은 골프 클럽 부분이다. 그 이외의 부분은 모두 노이즈에 해당하는 것이다.

따라서 신체 일부 부분 등과 같은 불필요한 노이즈를 제거하고 골프 클럽 부분과 같이 관심 대상만을 추출할 필요가 있다.

도 11에 도시된 대상 추출 이미지 1(331) 내지 대상 추출 이미지 5(335)는 각각 도 10에 도시된 Frame 1 내지 Frame 5의 보정 이미지(321 내지 325)로부터 각각 관심 대상(OB1 내지 OB5)을 추출하여 나타낸 이미지이다.

즉 대상 추출 이미지 1(331)은 Frame 1 보정 이미지(321)와 나머지 Frame의 보정 이미지들(322 내지 325) 각각의 차이 나는 부분들을 추출하여 취합함으로써 생성된 것이고, 대상 추출 이미지 2(332)는 Frame 2 보정 이미지(322)와 나머지 Frame의 보정 이미지들(321 및 323 내지 325) 각각의 차이 나는 부분들을 추출하여 취합함으로써 생성된 것이며, 이와 같은 방식으로 대상 추출 이미지 3(333) 내지 대상 추출 이미지 5(335)를 각각 생성한 것이다.

도 11에 도시된 바와 같이 각각의 대상 추출 이미지(331 내지 335)는 각 프레임 이미지 상의 움직임이 있는 부분들 중 관심 대상(OB1 내지 OB2)을 각각 추출하여 나타낸 이미지이다.

즉 이와 같이 처리 대상인 프레임 상호간에 차이 나는 부분들을 취합함에 따라 움직임이 크지 않은 사용자의 신체 일부에 대한 영상은 바람직하게 제거될 수 있고, 골프 클럽과 같이 그 움직임이 명백하게 크게 나타나는 부분들이 관심 대상으로서 추출되는 것이다.

이와 같은 관심 대상의 추출은 카메라 유닛의 다른 카메라에서 취득한 이미지에 대해서도 동일하게 수행된다.

한편, 도 11에 도시된 바와 같이 해당 프레임의 이미지에 대해 다른 프레임의 이미지들과 각각 차이 나는 부분을 취합함으로써 추출된 관심 대상(OB1 내지 OB5)은 골프 클럽이라고 하기에 다소 불분명한 이미지이므로 이로부터 골프 클럽의 움직임을 파악하기에는 다소 부족함이 있다.

따라서 각각의 관심 대상(OB1 내지 OB5)에 대해 직선 라인을 피팅(Fitting) 함으로써 골프 클럽의 움직임을 좀 더 명확하게 파악할 수 있도록 하는 것이 필요하다.

각각의 관심 대상(OB1 내지 OB5)은 실제로는 골프 클럽으로서 직선의 형태로 나타나야 하는데, 이미지 처리 과정에서 명확한 직선의 형태로 나타나지 않기 때문에 이를 직선 라인으로 피팅하는 것이다.

이때 각각의 관심 대상(OB1 내지 OB5)에 대한 직선 라인의 피팅을 위한 방법의 일 예로서 RANSAC(RANdom SAmple Concensus) 알고리즘을 이용할 수 있다.

즉 각각의 관심 대상(OB1 내지 OB5)을 이루는 각각의 픽셀들 중 골프 클럽에 관한 정보를 나타내는 것(inlier)과 골프 클럽과 관계 없는 잘못된 정보를 나타내는 것(outlier)이 공존하는데, 이와 같이 잘못된 정보를 가진 픽셀들이 포함된 전체 픽셀 집단에서 골프 클럽에 관한 정보를 갖는 인자들을 소정의 수학적 모델의 반복적 작업에 의해 예측하여 보정함으로써 직선 라인을 피팅하는 것이다.

도 12는 각각의 대상 추출 이미지(331 내지 335)상의 관심 대상(OB1 내지 OB5)에 대한 라인 피팅(RANSAC 알고리즘을 적용) 결과를 하나의 이미지로 합쳐서 나타낸 이미지이다.

즉 도 12에서 L1 라인은 OB1 관심 대상을, L2 라인은 OB2 관심 대상을, L3 라인은 OB3 관심 대상을, L4 라인은 OB4 관심 대상을, 그리고 L5 라인은 OB5 관심 대상을 각각 라인 피팅한 결과이다.

이와 같은 직선 라인의 피팅은 카메라 유닛을 구성하는 다른 카메라에서 취득한 이미지에 대해서도 동일하게 수행한다.

한편, 상기한 바와 같이 카메라 유닛을 구성하는 복수개의 카메라 각각으로부터 취득된 이미지에 대해 피팅 라인이 각각 추출되면, 이들 추출된 결과를 통해 3차원 공간 상에서 골프 클럽의 헤드가 어떤 운동 궤적으로 이동하는지를 체크할 필요가 있다.

도 13에서는 제1 카메라(51)와 제2 카메라(52)에서 각각 취득한 이미지를 서로 매칭하여 골프 클럽의 헤드의 운동 궤적을 산출하는 원리에 관하여 나타내고 있다.

도 13에서 제1 카메라(51)에서 취득된 이미지를 I51이라 하고 상기 이미지(I51) 상의 피팅 라인을 L51이라 하며 상기 제1 카메라(51)의 상기 이미지(I51) 상의 피팅 라인(L51)에 해당하는 3차원 공간상의 평면을 DP라 한다. 그리고 제2 카메라(52)에서 취득된 이미지를 I52라 하고 상기 이미지(I52) 상의 피팅 라인을 L52라 하며 상기 제2 카메라(52)의 상기 이미지(I52) 상의 피팅 라인(L52)에 해당하는 3차원 공간상의 직선을 DL이라 한다.

도 13에 도시된 바와 같이 제1 카메라 이미지(I51)상의 피팅 라인(L51)에 해당하는 3차원 평면(DP)과 제2 카메라 이미지(I52)상의 피팅 라인(L52)에 해당하는 3차원 직선(DL)이 교차하는 지점에 해당하는 피팅 라인(L51) 상의 대응점(P51)을 찾는다.

따라서 L52 피팅 라인 상의 점(P52)과 L51 피팅 라인 상의 대응점(P51)은 서로 대응되는 한쌍의 대응점이 된다.

이와 같이 대응점들을 조사함으로써 도 12에 도시된 각 피팅 라인에서 골프 클럽의 헤드에 해당하는 부분, 즉 피팅 라인 상의 끝부분을 찾는다.

각 피팅 라인 상에서 끝부분, 즉 골프 클럽 헤드 부분을 찾았으면, 상기 헤드 부분의 3차원 공간상에서의 좌표 정보를 추출할 수 있으며, 그로부터 골프 클럽 헤드의 운동 궤적을 산출할 수 있게 된다.

상기한 바와 같이 골프 클럽 헤드의 운동 궤적을 산출한 후에는 그로부터 운동하는 볼의 스핀을 추정할 필요가 있다.

즉 도 14에서는 골프 클럽 헤드의 운동 궤적으로부터 볼의 스핀을 추정하는 일 예에 관한 원리를 설명하기 위한 개략적인 사항들을 나타내고 있다. 여기서 도 14는 골프 클럽 헤드(CH)의 각 프레임별 움직인 위치와 그에 따른 운동 궤적(TR)을 나타내고 있으며, B는 볼을 가리킨다.

볼의 스핀을 추정하기 위해서는 골프 클럽 헤드의 운동 궤적을 처음부터 끝까지 모두 체크할 필요는 없다. 즉 도 14에 도시된 바와 같이 볼(B)을 중심으로 소정 크기의 관심 영역(400)을 설정하고 그 설정된 관심 영역(400) 내에서의 골프 클럽 헤드(CH)의 움직임만 관찰하면 된다.

관심 영역(400)의 크기를 너무 작게 설정하면 빠르게 체크할 수 있으나 정확성이 떨어질 수 있고, 관심 영역(400)의 크기를 너무 크게 설정하면 정확성은 향상되지만 체크 속도가 느려지게 될 수 있으므로, 관심 영역(400)의 크기는 상기한 바들을 고려하여 적정한 크기로 설정됨이 바람직하다.

관심 영역(400) 내에서 골프 클럽 헤드(CH)의 운동 궤적(TR)으로부터 골프 클럽 헤드(CH)의 진행 방향(HD)을 추출할 수 있다. 임팩트 순간의 골프 클럽 헤드(CH)의 진행 방향이 추출되도록 함이 바람직하다.

따라서 골프 클럽 헤드(CH)의 진행 방향(HD)으로부터 볼이 타격된 후 사이드 스핀(Side Spin)이나 백 스핀(Back Spin)이 얼마나 걸리게 되는지 용이하게 추정할 수 있다.

도 14에서는 설명의 편의를 위해 평면상에서 골프 클럽 헤드의 진행 방향을 나타내고 있는데, 실제로는 3차원 공간상에서 골프 클럽 헤드의 진행 방향을 추출할 수 있기 때문에 사이드 스핀이나 백 스핀 등을 모두 용이하게 추정할 수 있다.

한편, 도 15 및 도 16을 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치의 센싱방법에 관하여 설명한다.

먼저 도 15를 참조하여 설명하면, 센싱장치가 동작하면서 타격이 이루어지는 일정 촬영 범위에 대한 이미지를 연속적으로 수집한다(S10). 이는 도 3에 도시된 그래버(65)에 의해 이루어질 수 있다.

수집된 이미지들은 타격감지부(70, 도 3 참조)로 전송되어 분석되어 사용자가 볼을 타격하는지 여부를 감지하게 된다(S11).

타격감지부의 이미지 분석 결과 사용자가 볼을 타격한 것을 감지하게 되면(S12), 타격감지부는 감지된 시점 이전의 복수 프레임의 이미지들을 조사하여 볼이 골프 클럽에 의해 임팩트 된 정확한 시점을 검사한다(S20).

그리고 타격감지부는 임팩트 시점 이전의 복수 프레임의 이미지(임팩트 시점의 이미지도 포함됨)를 저장한다(S21).

그리고 임팩트 시점 이후의 복수 프레임의 이미지를 그래버로부터 순차적으로 수집하여 실시간으로 볼 이미지 처리부로 전송한다(S22).

볼 이미지 처리부는 이미지를 전송받아 볼 처리를 수행한다(S30). 볼 처리 결과 운동하는 볼의 속도, 방향, 높이각 등의 정보가 산출되면 클럽 이미지 처리부의 처리 결과가 나올 때까지 기다리지 않고 먼저 시뮬레이터로 전송한다(S50).

그리고 클럽 이미지 처리부는 상기 S21 단계에서 저장된 이미지 및 볼 이미지 처리부에 의해 처리된 이미지를 전달받아 클럽 처리를 수행한다(S40). 클럽 처리 결과 볼의 스핀 정보가 산출되면 이를 시뮬레이터로 전송한다(S50).

시뮬레이터는 볼 처리 결과에 따른 정보를 이용하여 먼저 시뮬레이션을 시작하고 시뮬레이션 과정에서 클럽 처리 결과에 따른 볼의 스핀 정보를 반영하여 시뮬레이션을 완성한다.

한편, 도 15에 도시된 클럽 처리에 관한 좀 더 구체적인 사항에 관하여 도 16을 참조하여 설명한다.

상기한 클럽 처리가 시작되면, 타격감지부와 볼 이미지 처리부로부터 임팩트 시점 전후의 복수 프레임의 이미지를 수집한다(S41).

수집된 이미지에 대해 정지된 부분, 즉 배경 영상 등을 제거하기 위해 다른 시점에 수집된 이미지에 대한 차연산을 통해 차영상을 추출한다(S42).

차연산되어 추출된 이미지에서 움직임이 있는 부분의 밝기를 더 크게 하기 위하여 이미지상의 모든 픽셀에 대해 일 픽셀의 주변 픽셀의 픽셀값을 취합한 이미지를 생성한다(S43). 이에 대해서는 도 9에서 이미 설명한 바 있으므로 구체적인 설명은 생략한다.

밝기를 보정한 이미지를 생성한 후에는, 각 프레임의 이미지에서 관심 대상(골프 클럽에 관한 부분이 포함된 부분)을 추출하기 위해 일 프레임 이미지와 다른 프레임 이미지들 사이의 차이 나는 부분들을 각각 추출하여 서로 취합한다. 이와 같은 작업은 처리 대상인 모든 프레임 이미지에 대해 각각 수행한다(S44).

상기한 S44 과정을 거침으로써 각 프레임의 이미지 상에서 관심 대상이 추출될 수 있는데, 이와 같이 추출된 관심 대상에 대해 직선 라인을 피팅한다(S45).

그리고 복수개의 카메라에 대해 동일 프레임의 이미지에 대한 3차원 공간상의 대응점을 검사하여(S46), 피팅된 라인상의 특정 부분(바람직하게는 골프 클럽의 헤드에 해당하는 부분으로서 피팅 라인 상의 끝 부분이 헤드에 해당하는 부분일 가능성이 높음)을 찾아 골프 클럽의 헤드로 인식하고 각 부분의 좌표 이동을 검사함으로써 골프 클럽 헤드의 운동 궤적을 산출한다(S47).

그리고 상기 산출된 골프 클럽 헤드의 운동 궤적으로부터 골프 클럽 헤드의 진행 방향을 추출하여(S48), 그로부터 운동하는 볼의 스핀을 추정한다(S49).

1:시뮬레이터, S:센싱장치
10:데이터베이스, 20:영상처리부
30:영상출력부, 50:카메라 유닛
60:센싱처리유닛, 65:그래버
70:타격감지부, 80:볼 이미지 처리부
90:클럽 이미지 처리부

Claims (22)

1. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
   사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 카메라 유닛; 및
   각 프레임별 이미지에서 볼을 추출하여 그 3차원 좌표를 획득하는 볼 이미지 처리부와, 상기 취득한 각 프레임별 이미지에서 움직이는 관심 대상을 추출하여 상기 관심 대상으로부터 골프 클럽의 헤드에 대한 운동 궤적을 산출하는 클럽 이미지 처리부를 포함하여 운동하는 볼에 대한 물리적 특성 정보를 산출하는 센싱처리유닛;
   을 포함하는 센싱장치.
2. 제1항에 있어서,
   상기 클럽 이미지 처리부는 상기 볼 이미지 처리부에 의해 처리된 이미지에서 추출된 볼을 제거한 이미지를 전달받아 이미지 처리를 수행하도록 구성되는 것을 특징으로 하는 센싱장치.
3. 제1항에 있어서,
   상기 카메라 유닛으로부터 전달받은 이미지를 처리함으로써 사용자에 의한 타격이 이루어졌는지 여부를 감지함으로써 임팩트 시점을 파악하는 타격감지부를 더 포함하는 것을 특징으로 하는 센싱장치.
4. 제3항에 있어서,
   상기 볼 이미지 처리부는 상기 타격감지부로부터 임팩트 시점 이후의 복수 프레임의 이미지를 전달받아 이미지 처리를 수행하도록 구성되며,
   상기 클럽 이미지 처리부는 상기 타격감지부로부터 임팩트 시점 이전의 복수 프레임의 이미지 및 상기 볼 이미지 처리부에서 처리된 이미지를 각각 전달받아 이미지 처리를 수행하도록 구성되는 것을 특징으로 하는 센싱장치.
5. 제1항에 있어서, 상기 센싱처리유닛은,
   상기 볼 이미지 처리부에 의해 추출된 볼의 3차원 좌표를 이용하여 운동하는 볼의 속도, 방향 및 높이각을 포함하는 물리적 특성 정보를 산출하며,
   상기 클럽 이미지 처리부에 의해 산출된 골프 클럽의 헤드에 대한 운동 궤적으로부터 볼의 스핀을 포함하는 물리적 특성 정보를 산출하도록 구성되는 것을 특징으로 하는 센싱장치.
6. 제1항에 있어서, 상기 클럽 이미지 처리부는,
   각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 상기 움직이는 관심 대상을 추출하며, 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 제1 처리수단과,
   상기 피팅된 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하는 제2 처리수단을 포함하는 것을 특징으로 하는 센싱장치.
7. 제1항에 있어서, 상기 클럽 이미지 처리부는,
   정지 상태의 볼의 위치를 중심으로 소정 크기의 관심 영역을 설정하고 상기 관심 영역 내에서 상기 골프 클럽 헤드의 운동 궤적을 체크하여 상기 골프 클럽 헤드의 진행 방향을 추출하고 그로부터 볼의 스핀을 추정하는 스핀추정수단을 더 포함하는 것을 특징으로 하는 센싱장치.
8. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
   사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 카메라 유닛; 및
   각 프레임별 이미지에서 2차원 분석을 통해 볼의 궤적을 추출하여 상기 볼 궤적 상의 각 볼의 3차원 좌표를 추출하는 볼 이미지 처리부와, 상기 취득한 각 프레임별 이미지에서 2차원 분석을 통해 움직이는 대상에 대한 피팅 라인을 추출하고 상기 피팅 라인에 대한 3차원 매칭으로부터 골프 클럽 헤드의 운동 궤적을 추출하는 클럽 이미지 처리부를 포함하여 운동하는 볼의 물리적 특성 정보를 산출하는 센싱처리유닛;
   을 포함하는 센싱장치.
9. 제8항에 있어서,
   상기 카메라 유닛은 각각 복수 프레임의 이미지를 취득하며 스테레오 방식으로 구동되는 복수개의 카메라를 포함하며,
   상기 볼 이미지 처리부는,
   상기 복수개의 카메라 각각이 취득한 이미지에서 볼 후보를 찾아 3차원 좌표를 추출하고, 상기 볼 후보를 2차원 평면으로 회귀시켜 2차원 궤적을 추출하여 분석함으로써 볼의 궤적을 추출하며, 상기 추출된 볼 궤적 상의 각 볼의 좌표를 3차원 좌표로 변환시키도록 구성되는 것을 특징으로 하는 센싱장치.
10. 제8항에 있어서,
    상기 카메라 유닛은 각각 복수 프레임의 이미지를 취득하며 스테레오 방식으로 구동되는 복수개의 카메라를 포함하며,
    상기 클럽 이미지 처리부는,
    상기 복수개의 카메라 각각이 취득한 이미지에서 각 프레임간 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하며 상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 제1 처리수단과, 상기 복수개의 카메라에 대해 동일 프레임의 이미지에 대한 3차원 공간상의 대응점을 검사함으로써 상기 피팅된 라인 상의 특정 부분의 3차원 궤적을 산출하는 제2 처리수단을 포함하는 것을 특징으로 하는 센싱장치.
11. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
    사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 카메라 유닛; 및
    각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하며 상기 추출된 관심 대상으로부터 피팅 라인을 추출하는 제1 처리수단과, 상기 피팅 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하는 제2 처리수단을 포함하여 운동하는 볼의 스핀을 추정하는 센싱처리유닛;
    을 포함하는 센싱장치.
12. 제11항에 있어서, 상기 센싱처리유닛은,
    상기 취득한 이미지에 대해 차연산을 통해 이미지 상의 정지된 부분을 제거하며, 상기 차연산 된 이미지 상의 모든 픽셀 각각에 대해 소정 개수의 주변 픽셀의 픽셀값을 취합한 이미지가 생성되도록 하는 전처리 수단을 더 포함하여,
    상기 전처리 수단에 의해 처리된 이미지를 이용하여 상기 제1 처리수단 및 제2 처리수단이 이미지 처리를 수행하도록 구성되는 것을 특징으로 하는 센싱장치.
13. 제11항에 있어서, 상기 제1 처리수단은,
    처리 대상인 모든 프레임의 이미지 각각에 대해 해당 프레임의 이미지와 다른 프레임의 이미지 사이에 차이 나는 부분을 추출하여 서로 취합함으로써 골프 클럽에 해당하는 부분이 관심 대상으로 추출되도록 하는 대상추출수단과,
    상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 라인피팅수단을 포함하는 것을 특징으로 하는 센싱장치.
14. 제13항에 있어서, 상기 제2 처리수단은,
    상기 피팅된 라인 상의 특정 부분에 대한 좌표 이동을 검사함으로써 운동 궤적을 산출하는 궤적산출수단과,
    상기 산출된 운동 궤적을 골프 클럽 헤드의 운동 궤적으로서 인식하고 상기 운동 궤적으로부터 상기 골프 클럽 헤드의 진행 방향을 추출하여 그로부터 볼의 스핀을 추정하는 스핀추정수단을 포함하는 것을 특징으로 하는 센싱장치.
15. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
    사용자의 스윙에 의해 볼을 타격하는 것에 대해 각각 복수 프레임의 이미지를 취득하는 복수개의 카메라를 포함하는 카메라 유닛; 및
    상기 각 카메라에서 취득한 이미지에 대해 각각 2차원 분석을 통해 움직이는 관심 대상에 대한 피팅 라인을 추출하고 상기 2차원 분석된 각각의 피팅 라인에 대한 3차원 매칭을 통해 상기 관심 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출함으로써 운동하는 볼의 스핀을 추정하는 센싱처리유닛;
    을 포함하는 센싱장치.
16. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치의 센싱방법에 있어서,
    타격이 이루어지는 일정 촬영 범위에 대한 이미지를 연속적으로 취득하는 단계;
    상기 취득된 이미지를 분석함으로써 사용자가 볼을 타격하는지 여부를 감지하는 단계;
    볼이 타격되는 임팩트 시점 이후의 복수 프레임의 이미지로부터 볼을 추출하여 분석함으로써 운동하는 볼에 대한 물리적 특성 정보를 산출하는 볼 처리 단계;
    볼이 타격되는 임팩트 시점 이전 및 이후의 복수 프레임의 이미지로부터 골프 클럽 헤드의 운동 궤적을 산출하여 분석함으로써 운동하는 볼의 스핀을 추정하는 클럽 처리 단계;
    를 포함하는 센싱방법.
17. 제16항에 있어서, 상기 볼 처리 단계는,
    상기 복수 프레임의 이미지에 대해 각 프레임별로 볼 후보를 추출하는 단계와,
    상기 볼 후보에 대한 3차원 좌표를 2차원 좌표로 변환하여 각 프레임상의 볼 후보를 서로 연결하는 적어도 하나의 2차원 궤적을 추출하는 단계와,
    상기 2차원 궤적을 분석함으로써 볼의 궤적을 추출하여 상기 볼의 궤적 상의 각 볼에 대한 3차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 센싱방법.
18. 제16항에 있어서, 상기 클럽 처리 단계는,
    상기 복수 프레임의 이미지에 대해 각 프레임의 이미지 사이에 차이 나는 부분을 추출하여 취합함으로써 움직이는 관심 대상을 추출하는 단계와,
    상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 단계와,
    상기 피팅된 라인 상의 특정 부분의 궤적을 골프 클럽의 헤드에 대한 운동 궤적으로서 산출하는 단계를 포함하는 것을 특징으로 하는 센싱방법.
19. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치의 센싱방법에 있어서,
    사용자의 스윙에 의해 볼을 타격하는 것에 대해 복수 프레임의 이미지를 취득하는 단계;
    상기 취득한 이미지에서 움직이는 관심 대상을 추출하는 단계;
    상기 추출된 관심 대상에 대해 직선 라인을 피팅하는 단계;
    상기 피팅된 라인 상의 특정 부분의 궤적을 산출하는 단계; 및
    상기 산출된 궤적을 골프 클럽 헤드의 운동 궤적으로 인식하고 그로부터 운동하는 볼의 스핀을 추정하는 단계;
    를 포함하는 센싱방법.
20. 제19항에 있어서, 상기 관심 대상을 추출하는 단계는,
    상기 취득한 이미지에 대해 차연산을 통해 이미지 상의 정지된 부분을 제거하는 단계와,
    상기 차연산 된 이미지 상의 모든 픽셀 각각에 대해 소정 개수의 주변 픽셀의 픽셀값을 취합한 이미지가 생성되도록 하는 단계와,
    처리 대상인 모든 프레임의 이미지 각각에 대해 해당 프레임의 이미지와 다른 프레임의 이미지 사이에 차이 나는 부분을 추출하여 서로 취합함으로써 골프 클럽에 해당하는 부분이 상기 관심 대상으로 추출되도록 하는 단계를 포함하는 것을 특징으로 하는 센싱방법.
21. 제19항에 있어서,
    상기 이미지를 취득하는 단계에서 스테레오 방식으로 구동되는 복수개의 카메라 각각이 복수 프레임의 이미지를 취득하며,
    상기 특정 부분의 궤적을 산출하는 단계는,
    상기 복수개의 카메라에 대해 동일 프레임의 이미지에 대한 3차원 공간상의 대응점을 검사하는 단계와,
    상기 피팅된 라인상의 끝부분을 찾아 골프 클럽의 헤드로 인식하여 상기 헤드의 좌표 이동을 검사함으로써 3차원 운동 궤적을 산출하는 단계를 포함하는 것을 특징으로 하는 센싱방법.
22. 제19항에 있어서, 상기 볼의 스핀을 추정하는 단계는,
    정지 상태의 볼의 위치를 중심으로 소정 크기의 관심 영역을 설정하는 단계와,
    상기 관심 영역 내에서 상기 골프 클럽 헤드의 운동 궤적을 체크함으로써 상기 골프 클럽 헤드의 진행 방향을 추출하는 단계와,
    상기 골프 클럽 헤드의 진행 방향으로부터 운동하는 볼의 스핀을 추정하는 단계를 포함하는 것을 특징으로 하는 센싱방법.

Images