KR101078954B1 - 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법 - Google Patents

Abstract

본 발명은 가상 골프 시뮬레이션을 이용하는 사용자가 골프클럽으로 볼을 타격하는 것을 센싱하기 위하여 사용자가 볼을 타격하는 것에 대한 이미지를 취득하여 이로부터 볼을 찾아 그 운동 궤적을 산출함으로써 볼의 궤적에 대한 시뮬레이션 영상이 구현되도록 한 것으로, 특히 카메라에서 취득되는 이미지 상에서 볼의 크기가 변화하여 볼을 추출하기 어렵다는 문제점을 해결하여 이미지로부터 용이하고 정확하게 볼을 추출해 내도록 함으로써 볼의 궤적을 정확하게 산출할 수 있도록 하는 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

Description

가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법{APPARATUS FOR VIRTUAL GOLF SIMULATION, AND SENSING DEVICE AND METHOD USED TO THE SAME}

본 발명은 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 관한 것으로 더욱 상세하게는, 가상의 골프코스가 영상화되어 시뮬레이션 되고 사용자가 타격한 골프공의 궤적이 센싱장치에 의해 센싱되어 상기 가상의 골프코스에서 시뮬레이션 되는 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 관한 것이다.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.

특히 최근에는 이른바 스크린 골프 시스템이 등장하여 사용자가 골프 클럽을 들고 골프 스윙을 함에 따라 타격 매트에 놓인 볼을 타격하면 센싱장치가 이를 센싱하여 이동하는 골프공의 물리적 특성을 추출하고 이를 바탕으로 가상의 골프코스에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상 현실상에서 골프를 즐길 수 있도록 하는 기술이 개발되고 있다.

이와 같은 인터액티브 스포츠 게임에서 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.

예컨대 적외선 센서를 이용한 센싱장치, 레이저 센서를 이용한 센싱장치, 음향 센서를 이용한 센싱장치, 그리고 카메라 센서를 이용한 센싱장치 등 다양한 센싱 방식이 등장하고 있으며, 운동하는 볼의 상태를 정확하게 센싱하기 위하여 운동하는 볼에 대한 이미지를 취득하여 분석하는 카메라 센서 방식의 센싱장치에 대한 연구가 활발하게 이루어지고 있다.

그러나 카메라의 촬영 영역은 고정되어 있고 그 안에서 볼이 운동하는 것에 대한 이미지를 취득하기 때문에 이미지 상에서 볼의 크기는 볼이 운동을 함에 따라 점점 변화할 수밖에 없어 다른 노이즈와 볼을 구분하는 것이 매우 어려우며 특히 성능이 그리 높지 않은 카메라를 사용할 경우 이미지 상에서 볼을 찾는 것이 상당히 어려워 볼의 궤적을 정확하게 산출하는 것이 쉽지 않다는 문제점이 있었다.

본 발명은 가상 골프 시뮬레이션을 이용하는 사용자가 골프클럽으로 볼을 타격하는 것을 센싱하기 위하여 사용자가 볼을 타격하는 것에 대한 이미지를 취득하여 이로부터 볼을 찾아 그 운동 궤적을 산출함으로써 볼의 궤적에 대한 시뮬레이션 영상이 구현되도록 한 것으로, 특히 카메라에서 취득되는 이미지 상에서 볼의 크기가 변화하여 볼을 추출하기 어렵다는 문제점을 해결하여 이미지로부터 용이하고 정확하게 볼을 추출해 내도록 함으로써 볼의 궤적을 정확하게 산출할 수 있도록 하는 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 상기 카메라 유닛에서 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 전처리 수단과, 볼에 대한 기준 이미지로서 볼 템플릿을 미리 설정하여 저장하며, 상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 상기 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 템플릿 매칭 수단을 포함하는 센싱처리유닛을 포함한다.

또한 바람직하게는, 상기 전처리 수단은, 상기 각 카메라에서 취득한 이미지에서 타격이 이루어진 지점을 기준으로 미리 설정된 구간에 대한 이미지를 분리하여 마련된 소스 이미지에서 상기 볼 후보를 추출하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 템플릿 매칭 수단은, 상기 볼 후보의 크기를 추정하여 상기 볼 템플릿의 크기에 대응하도록 이미지 처리하여 서로 매칭시키도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 템플릿 매칭 수단은, 상기 볼 후보의 크기를 추정하여 상기 볼 템플릿을 상기 볼 후보의 크기에 대응하도록 이미지 처리하여 서로 매칭시키도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 카메라 유닛은 서로 연동하여 구동되며 각각 복수 프레임의 이미지를 취득하는 복수개의 카메라로 구성되며, 상기 센싱처리유닛은, 상기 복수개의 카메라 각각으로부터 취득되는 이미지를 서로 매칭하여 2차원 정보를 3차원 정보로 변환하거나 3차원 정보를 2차원 정보로 역변환하도록 구비되는 변환수단을 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 템플릿 매칭 수단은, 상기 변환수단을 통해 상기 추출된 볼 후보에 대한 3차원 정보를 추출하여 상기 볼 후보의 크기를 추정하는 추정수단과, 상기 볼 후보에 대해 상기 볼 템플릿에 대응되는 크기로 상기 볼 후보에 대한 이미지를 노멀라이즈 처리하는 노멀라이즈 수단과, 상기 노멀라이즈 처리된 볼 후보와 상기 볼 템플릿을 서로 매칭하여 유사도를 추출함으로써 상기 볼 후보 중 볼을 찾아 좌표 정보를 추출하는 매칭 수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 템플릿 매칭 수단은, 상기 변환수단을 통해 상기 추출된 볼 후보에 대한 3차원 정보를 추출하여 상기 볼 후보의 크기를 추정하는 추정수단과, 상기 볼 템플릿에 대해 상기 볼 후보의 추정된 크기에 대응하도록 노멀라이즈 처리하는 노멀라이즈 수단과, 상기 노멀라이즈 처리된 볼 템플릿과 상기 볼 후보를 서로 매칭하여 유사도를 추출함으로써 상기 볼 후보 중 볼을 찾아 좌표 정보를 추출하는 매칭 수단을 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대해 각각 복수 프레임의 이미지를 취득하는 복수개의 카메라를 포함하는 카메라 유닛; 및 상기 각 카메라에서 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 전처리 수단과, 볼에 대한 기준 이미지로서 볼 템플릿을 미리 설정하여 저장하며 상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 상기 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 템플릿 매칭 수단을 포함하는 센싱처리유닛;을 포함하는 센싱장치와, 상기 센싱처리유닛에서 추출된 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현유닛을 포함한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법은, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 단계; 상기 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 단계; 및 상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 볼에 대한 기준 이미지로서 미리 설정하여 저장된 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 단계를 포함한다.

또한 바람직하게는, 상기 볼 후보를 추출하는 단계는, 상기 각 카메라에서 취득한 이미지에서 타격이 이루어진 지점을 기준으로 미리 설정된 구간에 대한 이미지를 분리하여 소스 이미지를 마련하는 단계와, 상기 소스 이미지에 대해 차연산을 통해 배경 영상을 제거하는 단계와, 상기 차연산 된 이미지에서 기하적 특성에 기해 볼이 아닌 것으로 판단되는 이미지를 제거하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 볼 템플릿을 가변적으로 매칭시키는 단계는, 상기 추출된 볼 후보에 대해 상기 복수개의 카메라의 영상을 서로 매칭하여 상기 볼 후보의 크기를 추정하는 단계와, 상기 크기가 추정된 볼 후보에 대해 상기 볼 템플릿에 대응되는 크기로 노멀라이즈 처리하는 단계와, 상기 노멀라이즈 처리된 볼 후보와 상기 볼 템플릿을 서로 매칭하여 유사도를 추출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 볼 템플릿을 가변적으로 매칭시키는 단계는, 상기 추출된 볼 후보에 대해 상기 복수개의 카메라의 영상을 서로 매칭하여 상기 볼 후보의 크기를 추정하는 단계와, 상기 볼 템플릿을 상기 추정된 볼 후보의 크기에 대응되는 크기로 노멀라이즈 처리하는 단계와, 상기 노멀라이즈 처리된 볼 템플릿과 상기 볼 후보를 서로 매칭하여 유사도를 추출하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 가상 골프 시뮬레이션을 이용하는 사용자가 골프클럽으로 볼을 타격하는 것을 센싱하기 위하여 사용자가 볼을 타격하는 것에 대한 이미지를 취득하여 이로부터 볼을 찾아 그 운동 궤적을 산출함으로써 볼의 궤적에 대한 시뮬레이션 영상이 구현되도록 한 것으로, 특히 카메라에서 취득되는 이미지 상에서 볼의 크기가 변화하여 볼을 추출하기 어렵다는 문제점을 해결하여 이미지로부터 용이하고 정확하게 볼을 추출해 내도록 함으로써 볼의 궤적을 정확하게 산출할 수 있도록 하는 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치의 구성에 관하여 나타낸 블록도이다.
도 3은 도 2에 도시된 센싱장치에 대한 좀 더 구체적인 구성 및 각 구성요소들의 기능에 관하여 개략적으로 나타낸 도면이다.
도 4의 (a)는 카메라유닛에서 취득된 이미지이고, 도 4의 (b)는 (a)에 도시된 이미지에서 미리 설정된 구간에 대한 영역을 분리한 소스 이미지를 나타낸 것이다.
도 5의 (a)는 소스 이미지를 나타낸 이미지이고, 도 5의 (b)는 정지된 배경 영상을 나타낸 이미지이며, 도 5의 (c)는 소스 이미지에서 배경 영상을 제거한 상태의 이미지를 나타낸 것이다.
도 6의 (a)는 도 4 및 도 5에 도시된 바와 같이 처리되어 볼 후보가 추출된 여러 프레임을 하나로 합쳐서 하나의 이미지에서 여러 프레임의 볼 후보(C1-1 등)를 나타낸 것이고, 도 6의 (b)는 볼에 대한 기준 이미지로서 미리 설정되어 저장된 볼 템플릿(T)을 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법에 관한 플로우차트를 나타낸 것이다.

본 발명에 따른 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법에 대한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치 및 이에 이용되는 센싱장치에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이고, 도 2는 도 1에 도시된 스크린 골프 시스템에 적용된 가상 골프 시뮬레이션 장치의 구성을 나타내는 블록도이다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는 사용자가 볼(B)을 타격하는 것을 센싱하기 위한 센싱장치(S)와, 가상의 골프코스에 관한 영상을 구현하며 상기 센싱장치(S)의 센싱 결과에 따라 가상의 골프코스에서 볼의 궤적에 대한 시뮬레이션 영상을 제공하도록 하여 가상 골프 시뮬레이션을 진행하는 시뮬레이터(1)를 포함하도록 구성된다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템은, 소정 크기의 공간을 제공하는 골프 부스(2)의 바닥에 사용자가 골프 스윙을 할 수 있는 타석(110)이 마련되고, 상기 타석(110)의 일측에는 타격매트(120)가 마련되어 사용자는 타석(110)에서 타격매트(120)에 놓인 볼(B)을 골프 스윙에 의해 타격할 수 있도록 하며, 전방에는 스크린(3)이 마련되어 시뮬레이터(1)로부터 영상 정보를 전달받은 영상출력을 위한 장치(도 2에 도시된 영상출력부(30)로서, 예컨대 빔 프로젝트 등)가 상기 스크린(3) 상에 가상 골프 시뮬레이션에 관한 영상을 투영시키도록 구성될 수 있다.

여기서 상기 타석(110) 및 타격매트(120)는 골프 부스(2)의 바닥면에 마련될 수도 있으나, 도 1에 도시된 바와 같이 스윙플레이트(100) 상에 마련되도록 하는 것도 가능하다.

상기 스윙플레이트(100)는 전후좌우 방향으로 소정 각도 기울어질 수 있도록 구비되며 시뮬레이터(1)와 연결되어 현재 구현되고 있는 가상의 골프코스의 지형에 대응하여 기울기를 형성할 수 있다.

한편, 도 1에 도시된 바와 같이 골프 부스(2) 내에는 센싱장치(S)가 구비되어 사용자가 볼(B)을 타격하는 것을 센싱한다.

즉 도 2에 도시된 바와 같이 센싱장치(S)는 복수개의 카메라(51, 52)로 구성되는 카메라 유닛(50)과, 상기 카메라 유닛(50)에서 취득한 이미지를 처리함으로써 이동하는 볼의 물리적 특성을 추출하는 센싱처리유닛(60)을 포함하여 구성될 수 있다.

상기 카메라 유닛(50)은 하나의 이미지 센싱을 위한 카메라에 의해 구성될 수도 있고 2 이상의 카메라에 의해 구성될 수도 있는데, 이동하는 볼(B)의 이미지를 취득하여 3차원 공간에서의 볼의 좌표를 추출하기 위해서는, 도 1에 도시된 바와 같이 2 이상의 카메라(51, 52)가 서로 연동되어 구동됨으로써 스테레오(Stereo) 방식의 카메라 유닛을 구성하도록 함이 바람직하다.

여기서 이동하는 볼의 물리적 특성은 볼의 속도, 볼의 이동 방향(수평 방향의 이동 각도), 볼의 높이각(수직 방향의 이동 각도), 볼에 걸리는 스핀(Spin) 등을 포함할 수 있다.

상기 센싱처리유닛(60)은 상기 카메라 유닛(50)을 통해 취득된 이미지를 프레임 단위로 순차적으로 입수하여 수집하는 그래버(71)와, 상기 그래버(71)로부터 전송되는 이미지를 전달받아 처리함으로써 타격 준비 완료 여부 및 사용자에 의한 타격이 이루어졌는지 여부를 감지하는 샷 디텍터(72)와, 상기 샷 디텍터(72)에 의해 타격이 감지되는 경우 상기 샷 디텍터(72)로부터 타격에 관련된 이미지를 전달받아 소정의 이미지 처리를 함으로써 이동하는 볼의 물리적 특성 정보를 추출하는 볼 이미지 처리부(80), 그리고 상기 샷 디텍터(72)로부터 전달받은 이미지로부터 골프클럽의 운동궤적을 분석함으로써 볼의 스핀(Spin)에 관한 정보를 추출하는 클럽 이미지 처리부(90)를 포함하여 구성될 수 있다.

또한 상기 센싱처리유닛(60)은 복수개의 카메라(51, 52) 각각으로부터 취득되는 이미지를 서로 매칭하여 각각의 카메라 이미지에 대한 2차원 정보(카메라 한대에서 추출되는 정보는 2차원 정보이다)를 3차원 정보로 변환하거나, 반대로 복수개의 카메라 이미지를 서로 매칭하여 추출한 3차원 정보를 2차원 정보로 역변환하도록 구비되는 변환수단(73)을 포함하는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치를 구성하는 시뮬레이터(1)는, 제어부(M), 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등을 포함하여 구성됨이 바람직하다.

상기 데이터베이스(10)는 가상 골프 시뮬레이션에 필요한 모든 데이터가 저장된다. 예컨대 시스템 구동에 필요한 데이터와, 가상의 골프코스의 영상 구현에 관한 데이터, 볼의 궤적에 대한 시뮬레이션 영상 구현에 관한 데이터 등이 저장된다.

상기 영상처리부(20)는 가상의 골프코스에 관한 영상이나 가상의 골프코스에서 펼쳐지는 볼의 궤적에 대한 시뮬레이션 영상 등을 구현하기 위한 소정의 영상 처리가 이루어지는 부분이다.

상기 영상출력부(30)는 상기 영상처리부(20)로부터 전달받은 영상 정보를 스크린 상에 출력하여 사용자가 볼 수 있도록 하기 위한 것이다.

상기 제어부(M)는 센싱장치(S)로부터 센싱 결과에 따른 정보를 전달받아 상기 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등의 모든 구성요소들의 동작을 제어할 수 있도록 구비된다. 즉 상기 제어부(M), 데이터베이스(10), 영상처리부(20) 등은 센싱장치(S)의 센싱 결과에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현수단으로서 기능한다.

한편, 도 3을 참조하여 도 2에 도시된 센싱장치(S)에 관한 좀 더 구체적인 구성과 각 구성요소의 기능에 관하여 설명한다.

도 3에 도시된 바와 같이 본 발명에 따른 센싱장치에서의 정보 전달 흐름은 카메라 유닛(50) -> 그래버(71) -> 샷 디텍터(72) -> 볼 이미지 처리부(80) 및 클럽 이미지 처리부(90) -> 시뮬레이터(1)의 순서로 이루어진다.

카메라 유닛(50)은 타석과 타격매트가 마련되어 있는 부분을 포함하는 일정 범위를 촬영하면서 1초당 수백 프레임의 이미지를 취득한다.

이렇게 취득되는 이미지는 그래버(71)로 전송되고, 그래버(71)는 카메라 유닛(50)으로부터 이미지를 전송받아 저장하면서 샷 디텍터(72)로 전달하여 이미지 처리가 이루어지도록 한다.

상기 샷 디텍터(80)는, 상기 그래버로부터 전달받은 이미지에서 볼을 찾아서 미리 설정된 조건을 만족시키는지 여부를 판단함으로써 타격 준비가 완료되었는지 여부를 감지하며, 볼이 상기 타격 준비가 완료된 위치로부터 이동하는지 여부를 판단함으로써 사용자에 의해 타격이 이루어졌는지 여부를 감지한다.

샷 디텍터(72)의 타격준비 감지 및 타격 감지에 관한 구체적인 방법은 본 발명의 핵심적인 사항이 아니므로 이에 대한 구체적인 설명은 생략하기로 한다.

만약 타격이 이루어지는 경우, 샷 디텍터(72)는 타격 시점의 이미지 및 그 이후의 복수 프레임의 이미지를 모두 저장하는데, 이는 볼 이미지 처리부(80)로 실시간 전송되어 이미지 처리가 이루어지도록 하기 위한 것이다.

또한 상기 샷 디텍터(72)는 타격이 이루어지는 경우 타격 시점 이전의 복수 프레임의 이미지도 함께 저장하여 클럽 이미지 처리부(90)로 전송하며, 클럽 이미지 처리부(90)는 샷 디텍터(72)로부터 전송받은 이미지 및 상기 볼 이미지 처리부(80)에서 처리된 이미지에서 골프클럽을 추출하여 처리함으로써 골프클럽 헤드의 운동궤적을 도출함으로써 볼의 스핀을 추정한다.

상기 볼 이미지 처리부(80) 및 클럽 이미지 처리부(90)를 통해 추출된 볼의 물리적 특성 정보는 시뮬레이터(1)로 전달되고, 시뮬레이터(1)는 이를 기초로 가상의 골프코스에서 볼이 이동하는 시뮬레이션 영상을 출력함으로써 가상 골프 시뮬레이션이 진행된다.

여기서 볼 이미지 처리부(80)는 상기 각 카메라에서 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 전처리 수단(81)과, 볼에 대한 기준 이미지로서 볼 템플릿을 미리 설정하여 저장하며 상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 상기 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 템플릿 매칭 수단(82)을 포함하여 구성됨이 바람직하다.

즉 카메라에서 취득한 이미지에는 볼에 대한 이미지도 포함되어 있지만 볼과 비슷한 형상의 여러 가지 노이즈(예컨대 주변에 놓인 지형물의 특정 부분이나 사용자의 신체 일부분, 골프클럽의 헤드 부분 등)가 함께 존재하기 때문에 이로부터 정확하게 볼을 추출해 내기 위해 상기 전처리 수단(81)에 의해 이미지에 대해 소정의 처리를 하고 일차적으로 볼이라고 볼 수 있는 것을 볼 후보로서 선정하여 추출하며, 상기 템플릿 매칭 수단은 그 추출된 볼 후보 중에서 볼 템플릿과 가장 유사한 것을 볼로서 인식하고 그 인식된 볼의 좌표 등을 추출하여 볼의 궤적 정보를 산출하도록 하는 것이다.

그런데, 상기 템플릿 매칭 수단에 의해 볼 후보와 볼 템플릿을 서로 비교하는 것이 쉽지는 않은데, 그 이유는 볼 후보의 크기가 프레임마다 다를 수 있기 때문이며 같은 볼에 대해서도 프레임마다 그 크기가 다르게 나타날 수 있다. 왜냐하면 카메라의 촬영영역은 고정되어 있고 그 촬영영역에서 볼이 움직임에 따라 카메라와의 거리가 변화하기 때문에 움직이는 볼에 대한 이미지는 프레임마다 다른 크기로 나타날 수밖에 없기 때문이다.

이에 대해 볼 템플릿은 크기와 모양 등이 일정하게 고정되어 있기 때문에 볼 후보와 볼 템플릿을 그대로 비교하게 되면 볼 후보가 얼마나 볼 템플릿과 유사한지 여부를 판단할 수 없게 되고 결국 볼을 정확하게 추출할 수 없게 된다.

따라서 상기 템플릿 매칭 수단은 볼 후보의 크기를 추정하여 그 추정된 크기에 따라 볼 후보와 볼 템플릿을 가변적으로 매칭시켜 유사도를 추출함으로써 정확한 볼 인식이 가능하게 되는 것이다.

먼저 도 3 내지 도 5를 참조하여 상기 전처리 수단에 의한 이미지 처리에 관하여 설명한다.

먼저 전처리 수단(81, 도 3 참조)는 도 4의 (a)에 도시된 바와 같이 카메라로부터 취득된 이미지(200)에서 도 4의 (b)에 도시된 바와 같은 소스 이미지(220)를 분리한다.

즉 카메라로부터 취득된 이미지(200)는 넓은 촬영영역에 대한 이미지를 모두 포함하고 있으므로 이를 모두 처리하는데에는 시간이 많이 소요되기 때문에 필요한 부분만을 추출하여 그 추출된 이미지만을 처리하도록 함으로써 이미지 처리 시간을 단축시키도록 한 것이다.

도 4의 (b)에 도시된 소스 이미지(220)는 도 4의 (a)에 도시된 이미지에서 타격이 이루어진 지점(P1)을 기준으로 전방으로 소정 거리 떨어진 지점(P2)까지의 구간에 대한 이미지로서 정의될 수 있다.

즉 볼이 타격되면 전방의 스크린(3, 도 1 참조)을 향해 날아가기 때문에 타격이 이루어진 지점으로부터 전방으로 소정 거리 떨어진 지점까지의 볼의 움직임을 분석함으로써 볼의 속도, 방향 및 높이각 등의 정보는 충분히 산출될 수 있다.

여기서 도 4의 (a)에 도시된 P2 지점은 스크린(3, 도 1 참조)에 해당하는 위치일 수도 있고 스크린 보다 소정 거리 더 안쪽의 미리 설정된 지점일 수도 있다.

카메라로부터 취득된 이미지에서 P1 지점과 P2 지점을 지정하여 그 구간에 해당하는 이미지를 분리함으로써 도 4의 (b)에 도시된 바와 같은 소스 이미지를 얻을 수 있다.

한편, 상기한 바와 같이 얻어진 소스 이미지는 도 5에 도시된 바와 같이 차연산을 통해 배경 영상이 제거됨으로써 볼 후보에 관한 이미지만을 얻을 수 있는데, 도 5의 (a)에 도시된 소스 이미지(220)에서 도 5의 (b)에 도시된 배경 영상(230)을 차연산을 통해 제거함으로써 도 5의 (c)에 도시된 바와 같이 움직이는 영상만 추출할 수 있다.

차연산을 통해 추출된 이미지상에서 움직이는 부분이 모두 볼이라고 볼 수는 없고 그 중에는 골프클럽의 헤드에 대한 부분이나 사용자의 신체 일부 등의 노이즈에 해당하는 부분들이 존재한다.

따라서 전처리 수단은 차연산되어 나온 이미지(240)에서 볼의 기하학적 특성에 기초하여 볼이라고 볼 수 있는 부분들을 볼 후보로서 지정한다. 예컨대 가로 세로 비율이 너무 크게 차이 나는 경우에는 '볼'이라고 볼 수 없으므로 이는 제외하는 것이 바람직하고, 너무 작아서 1 ~ 2 개 정도의 픽셀로 표시되는 것도 '볼'이라고 볼 수 없기 때문에 제외한다.

이와 같이 볼의 기하학적 특성에 기초하여 제거된 나머지 부분들이 볼 후보로서 지정되는데, 도 5의 (c)에서는 C1-1과 C1-2의 두 개의 볼 후보가 추출된 것을 볼 수 있다.

도 4 및 도 5에 도시된 일련의 절차는 하나의 프레임의 이미지에 대해 처리한 것을 나타낸 것이고, 본 발명에 따른 볼 이미지 처리부는 각 카메라가 취득하는 이미지들 중 타격 시점 및 그 이후에 입수되는 각 카메라의 모든 프레임의 이미지에 대해 상기한 바와 같은 과정으로 이미지 처리를 하여 볼 후보를 추출한다.

한편, 도 3 및 도 6을 참조하여 상기한 템플릿 매칭 수단에 의한 이미지 처리에 관하여 설명한다. 여기서 도 6의 (a)는 도 4 및 도 5에 도시된 바와 같이 처리되어 볼 후보가 추출된 여러 프레임을 하나로 합쳐서 하나의 이미지에서 여러 프레임의 볼 후보(C1-1 등)를 나타낸 것이고, 도 6의 (b)는 볼에 대한 기준 이미지로서 미리 설정되어 저장된 볼 템플릿(T)을 나타낸 것이다.

도 6의 (a)에서 C1-1 및 C1-2는 제1 프레임의 소스 이미지에서 추출된 볼 후보이고, C2-1은 제2 프레임에서, C3-1은 제3 프레임에서, 그리고 C4-1은 제4 프레임에서 각각 추출된 볼 후보를 나타낸 것이다.

상기 템플릿 매칭 수단(82)은 상기 전처리 수단(81)에 의해 추출된 볼 후보(도 5의 (c) 참조)의 크기를 추정하는 추정수단(82a)과, 상기 볼 후보에 대해 볼 템플릿에 대응되는 크기로 상기 볼 후보에 대한 이미지를 노멀라이즈(Normalize) 처리하는 노멀라이즈 수단(82b)과, 상기 노멀라이즈 처리된 볼 후보와 상기 볼 템플릿을 서로 매칭하여 유사도를 추출함으로써 볼 후보 중 볼을 찾아 좌표 정보를 추출하는 매칭 수단(82c)을 포함하여 구성된다.

여기서 상기 추정수단(82a)은 추출된 각각의 볼 후보의 3차원 공간상에서의 크기를 추정하는데, 복수개의 카메라 각각이 취득한 이미지는 2차원 정보를 담고 있기 때문에 3차원 공간에서 해당 볼 후보의 크기를 알기 위하여 변환수단(73, 도 2 및 도 3 참조)을 통해 각각의 볼 후보에 대한 3차원 좌표 정보를 추출하고, 그 추출된 3차원 좌표 정보를 이용하여 해당 볼 후보의 3차원 공간상에서 카메라와의 거리 정보 등을 파악하여 그로부터 각각의 볼 후보의 크기를 추정한다.

즉 도 6의 (a)에 도시된 여러 프레임의 볼 후보(C1-1 등) 각각에 대해 상기 추정수단(82a)은 변환수단(73)을 이용하여 3차원 공간에서의 크기를 추정한다.

여기서 도 6의 (a)에서 각각의 프레임의 볼 후보의 크기가 서로 다른 것을 알 수 있는데, 볼이 촬영영역 내에서 움직임에 따라 카메라와 볼 사이의 거리가 변화하기 때문에 생기는 현상이다. 따라서 각각의 프레임의 볼 후보의 크기를 3차원 공간상의 좌표값을 이용하여 추정하여 각각의 볼 후보의 크기를 볼 템플릿에 맞게 변형시키거나 반대로 볼 템플릿의 크기를 각각의 볼 후보에 맞게 변형시켜 서로 비교함으로써 정확하게 각각의 볼 후보가 볼 템플릿과 비교하여 얼마나 유사한지 여부를 판단할 수 있어 볼 후보들 중 어느 볼 후보가 진짜 볼인지를 용이하게 찾아낼 수 있는 것이다.

상기 노멀라이즈 수단(82b)은 상기 추정수단(82a)에 의해 추정된 각각의 볼 후보의 크기를 고려하여 볼 템플릿(T)에 대응되는 크기로 노멀라이즈 처리하거나, 볼 템플릿(T) 자체를 각각의 볼 후보의 크기에 대응되도록 노멀라이즈 처리하는 수단이다.

여기서 노멀라이즈 처리는 볼 후보 이미지의 형상, 픽셀 비율 등을 그대로 유지하면서 볼 템플릿(T)과 비교하기 용이하도록 볼 템플릿(T)의 크기에 대응되도록 이미지를 변형하는 것을 말하며, 볼 템플릿(T)을 노멀라이즈 처리하는 것은 반대로 볼 템플릿(T) 이미지의 형상, 픽셀 비율 등을 그대로 유지하면서 해당 볼 후보와 비교하기 용이하도록 해당 볼 후보의 크기에 대응되도록 이미지를 변형하는 것을 말한다.

상기 노멀라이즈 수단(82b)에 의해 볼 후보 또는 볼 템플릿에 대한 노멀라이즈 처리가 완료되면, 상기 매칭 수단(82c)은 각각의 볼 후보와 볼 템플릿을 서로 비교하여 각각의 유사도를 추출한다.

유사도는 전체적인 형상이나 픽셀 비율, 픽셀값 분포 등 다양한 판단 기준에 의해 판단된 결과가 수치로 환산되어 도출되는데, 유사도 값이 미리 설정된 값 이상으로 나온 경우에 해당 볼 후보를 '볼'이라고 인식할 수 있다.

매칭 결과에 따라 볼 후보 중 볼로서 인식된 것의 좌표값을 추출할 수 있고, 상기 추출된 좌표값의 변화를 통해 볼의 속도, 방향, 높이각 등의 물리적 특성 정보를 산출할 수 있다.

한편, 도 7을 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법에 관하여 설명한다.

먼저 가상 골프 시뮬레이션이 시작되면, 사용자는 타격매트 상에 볼을 놓고 타격을 할 준비를 한다. 이때 센싱장치는 타격매트 상에 놓인 볼에 대한 이미지를 취득하고 그 취득된 이미지에서 볼을 찾는다(S10). 이와 같은 볼 찾기 과정은 샷 디텍터에서 이루어진다.

취득된 이미지에서 볼을 찾아 볼이 놓인 좌표 정보 등을 확인한 후에, 미리 설정된 요건이 만족되면 타격 준비가 완료된다(S11).

타격 준비가 완료된 후에는, 샷 디텍터는 사용자가 볼을 타격하는지 여부를 감지하기 시작하며(S12), 만약 타격이 이루어졌다면(S20) 타격 시점을 정확하게 파악하여 타격 시점 및 그 이후의 복수 프레임의 이미지를 입수하여 볼 이미지 처리부로 전달한다. 만약 타격이 이루어진 것이 아니라면 다시 타격 감지 단계(S12)로 돌아간다.

타격 감지 후, 샷 디텍터가 복수 프레임의 이미지를 입수하여 실시간으로 볼 이미지 처리부로 전송하면, 볼 이미지 처리부는 전송받은 이미지에서 미리 설정된 영역을 분리하여 소스 이미지를 추출한다(S32).

그리고 추출된 소스 이미지에서 배경 영상을 제거하고(S33), 볼 후보를 추출한다(S34).

추출된 볼 후보에 대해 복수개의 카메라 영상을 서로 매칭함으로써 3차원 좌표 정보를 얻고 그로부터 해당 볼 후보의 카메라와의 거리 등에 관한 정보를 추출하여 해당 볼 후보의 크기를 추정한다(S40).

그리고 볼 후보의 추정된 크기를 고려하여 볼 후보에 대한 노멀라이즈 처리 또는 볼 템플릿에 대한 노멀라이즈 처리 과정을 수행한다(S50).

그리고 노멀라이즈 처리가 이루어진 후에 볼 후보와 볼 템플릿을 서로 매칭시킨다(S61).

그리고 볼 후보가 볼 템플릿과 얼마나 일치하는지 그 유사도를 수치로 환산하여 산출한다(S62).

상기 산출된 유사도가 미리 설정된 설정값 미만인 경우 해당 볼 후보는 볼이 아니라고 판단하여 제외시킨다(S63). 상기 산출된 유사도가 미리 설정된 설정값 이상인 경우에는 해당 볼 후보를 볼로서 인식하여 좌표값을 추출한다(S64).

이와 같은 방식으로 각 프레임상의 볼 후보들 중 설정값 이상인 볼 후보를 볼로서 인식하여 해당 볼의 좌표값을 추출하며, 추출된 볼의 좌표값을 서로 연결하여 볼 궤적을 산출한다(S65).

산출된 볼 궤적은 시뮬레이터를 통해 시뮬레이션 영상으로 구현된다(S70).

1:시뮬레이터, S:센싱장치
10:데이터베이스, 20:영상처리부
30:영상출력부, 50:카메라 유닛
60:센싱처리유닛, 71:그래버
72:샷 디텍터, 80:볼 이미지 처리부
81:전처리 수단, 82:템플릿 매칭 수단

Claims (12)

1. 가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
   사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 카메라 유닛; 및
   상기 카메라 유닛에서 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 전처리 수단과, 볼에 대한 기준 이미지로서 볼 템플릿을 미리 설정하여 저장하며, 상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 상기 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 템플릿 매칭 수단을 포함하는 센싱처리유닛;
   을 포함하는 센싱장치.
2. 제1항에 있어서, 상기 전처리 수단은,
   상기 각 카메라에서 취득한 이미지에서 타격이 이루어진 지점을 기준으로 미리 설정된 구간에 대한 이미지를 분리하여 마련된 소스 이미지에서 상기 볼 후보를 추출하도록 구성되는 것을 특징으로 하는 센싱장치.
3. 제1항에 있어서, 상기 템플릿 매칭 수단은,
   상기 볼 후보의 크기를 추정하여 상기 볼 템플릿의 크기에 대응하도록 이미지 처리하여 서로 매칭시키도록 구성되는 것을 특징으로 하는 센싱장치.
4. 제1항에 있어서, 상기 템플릿 매칭 수단은,
   상기 볼 후보의 크기를 추정하여 상기 볼 템플릿을 상기 볼 후보의 크기에 대응하도록 이미지 처리하여 서로 매칭시키도록 구성되는 것을 특징으로 하는 센싱장치.
5. 제1항에 있어서,
   상기 카메라 유닛은 서로 연동하여 구동되며 각각 복수 프레임의 이미지를 취득하는 복수개의 카메라로 구성되며,
   상기 센싱처리유닛은,
   상기 복수개의 카메라 각각으로부터 취득되는 이미지를 서로 매칭하여 2차원 정보를 3차원 정보로 변환하거나 3차원 정보를 2차원 정보로 역변환하도록 구비되는 변환수단을 더 포함하는 것을 특징으로 하는 센싱장치.
6. 제5항에 있어서, 상기 템플릿 매칭 수단은,
   상기 변환수단을 통해 상기 추출된 볼 후보에 대한 3차원 정보를 추출하여 상기 볼 후보의 크기를 추정하는 추정수단과,
   상기 볼 후보에 대해 상기 볼 템플릿에 대응되는 크기로 상기 볼 후보에 대한 이미지를 노멀라이즈 처리하는 노멀라이즈 수단과,
   상기 노멀라이즈 처리된 볼 후보와 상기 볼 템플릿을 서로 매칭하여 유사도를 추출함으로써 상기 볼 후보 중 볼을 찾아 좌표 정보를 추출하는 매칭 수단을 포함하는 것을 특징으로 하는 센싱장치.
7. 제5항에 있어서, 상기 템플릿 매칭 수단은,
   상기 변환수단을 통해 상기 추출된 볼 후보에 대한 3차원 정보를 추출하여 상기 볼 후보의 크기를 추정하는 추정수단과,
   상기 볼 템플릿에 대해 상기 볼 후보의 추정된 크기에 대응하도록 노멀라이즈 처리하는 노멀라이즈 수단과,
   상기 노멀라이즈 처리된 볼 템플릿과 상기 볼 후보를 서로 매칭하여 유사도를 추출함으로써 상기 볼 후보 중 볼을 찾아 좌표 정보를 추출하는 매칭 수단을 포함하는 것을 특징으로 하는 센싱장치.
8. 사용자의 스윙에 의해 볼을 타격하는 것에 대해 각각 복수 프레임의 이미지를 취득하는 복수개의 카메라를 포함하는 카메라 유닛; 및 상기 각 카메라에서 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 전처리 수단과, 볼에 대한 기준 이미지로서 볼 템플릿을 미리 설정하여 저장하며 상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 상기 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 템플릿 매칭 수단을 포함하는 센싱처리유닛;을 포함하는 센싱장치와,
   상기 센싱처리유닛에서 추출된 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현유닛을 포함하는 가상 골프 시뮬레이션 장치.
9. 가상 골프 시뮬레이션을 위한 센싱방법에 있어서,
   사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 단계;
   상기 취득한 이미지에 대해 소정의 처리를 하여 볼 후보를 추출하는 단계; 및
   상기 추출된 볼 후보에 대해 상기 볼 후보의 크기에 따라 볼에 대한 기준 이미지로서 미리 설정하여 저장된 볼 템플릿을 가변적으로 매칭시킴으로써 볼 정보를 추출하는 단계;
   를 포함하는 센싱방법.
10. 제9항에 있어서, 상기 볼 후보를 추출하는 단계는,
    상기 각 카메라에서 취득한 이미지에서 타격이 이루어진 지점을 기준으로 미리 설정된 구간에 대한 이미지를 분리하여 소스 이미지를 마련하는 단계와,
    상기 소스 이미지에 대해 차연산을 통해 배경 영상을 제거하는 단계와,
    상기 차연산 된 이미지에서 기하적 특성에 기해 볼이 아닌 것으로 판단되는 이미지를 제거하는 단계를 포함하는 것을 특징으로 하는 센싱방법.
11. 제9항에 있어서,
    상기 이미지를 취득하는 단계에서는 복수개의 카메라가 각각 복수 프레임의 이미지를 취득하도록 하며,
    상기 볼 템플릿을 가변적으로 매칭시키는 단계는,
    상기 추출된 볼 후보에 대해 상기 복수개의 카메라가 각각 취득한 이미지를 서로 매칭하여 상기 볼 후보의 크기를 추정하는 단계와,
    상기 크기가 추정된 볼 후보에 대해 상기 볼 템플릿에 대응되는 크기로 노멀라이즈 처리하는 단계와,
    상기 노멀라이즈 처리된 볼 후보와 상기 볼 템플릿을 서로 매칭하여 유사도를 추출하는 단계를 포함하는 것을 특징으로 하는 센싱방법.
12. 제9항에 있어서,
    상기 이미지를 취득하는 단계에서는 복수개의 카메라가 각각 복수 프레임의 이미지를 취득하도록 하며,
    상기 볼 템플릿을 가변적으로 매칭시키는 단계는,
    상기 추출된 볼 후보에 대해 상기 복수개의 카메라가 각각 취득한 이미지를 서로 매칭하여 상기 볼 후보의 크기를 추정하는 단계와,
    상기 볼 템플릿을 상기 추정된 볼 후보의 크기에 대응되는 크기로 노멀라이즈 처리하는 단계와,
    상기 노멀라이즈 처리된 볼 템플릿과 상기 볼 후보를 서로 매칭하여 유사도를 추출하는 단계를 포함하는 것을 특징으로 하는 센싱방법.

Images