KR101048091B1

KR101048091B1 - 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법

Info

Publication number: KR101048091B1
Application number: KR1020110025153A
Authority: KR
Inventors: 정현담; 박현진; 윤형식; 장형욱
Original assignee: (주) 골프존
Priority date: 2011-03-22
Filing date: 2011-03-22
Publication date: 2011-07-08
Also published as: AU2012231923A1; US20140004968A1; AU2012231923B2; CN103476467A; JP2014511724A; JP5811263B2; WO2012128566A3; TW201244787A; US9333412B2; WO2012128566A2; CN103476467B; CA2830487C; TWI445566B; CA2830487A1

Abstract

본 발명은 사용자가 골프클럽으로 볼을 타격하는 것을 센싱장치가 센싱하여 그 센싱 결과에 따라 가상의 골프코스 상에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상의 골프코스에서 가상의 골프를 즐길 수 있도록 하여 실제 골프장에서 골프를 즐기는 것과 같은 리얼리티를 제공하기 위한 것으로, 특히 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있어 리얼리티를 더욱 향상시키도록 할 수 있는 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법을 제공하기 위한 것이다.

Description

가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법{APPARATUS AND METHOD FOR VIRTUAL GOLF SIMULATION, AND SENSING DEVICE AND METHOD USED TO THE SAME}

본 발명은 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 관한 것으로 더욱 상세하게는, 가상의 골프코스가 영상화되어 시뮬레이션 되고 사용자가 타격한 골프공의 궤적이 센싱장치에 의해 센싱되어 상기 가상의 골프코스에서 시뮬레이션 되는 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 관한 것이다.

최근 야구, 축구, 농구, 그리고 골프 등과 같은 인기 스포츠 경기를 실내나 특정 장소에서 시뮬레이션을 통해 인터액티브 스포츠 게임(Interactive Sports Game)의 형태로 즐길 수 있도록 하는 여러 가지 다양한 장치들에 대한 개발이 활발하게 이루어지고 있다.

특히 최근에는 이른바 스크린 골프 시스템이 등장하여 사용자가 골프 클럽을 들고 골프 스윙을 함에 따라 타격 매트에 놓인 볼을 타격하면 센싱장치가 이를 센싱하여 이동하는 골프공의 물리적 특성을 추출하고 이를 바탕으로 가상의 골프코스에서 볼의 궤적이 시뮬레이션 되도록 함으로써 사용자가 가상 현실상에서 골프를 즐길 수 있도록 하는 기술이 개발되고 있다.

이와 같은 인터액티브 스포츠 게임에서 골프공 등의 볼을 이용하는 스포츠에 대한 시뮬레이션이 이루어지도록 하기 위해 운동하는 볼의 움직임에 대한 물리적 정보를 정확하게 센싱하기 위한 각종 센싱시스템에 대한 연구 개발이 매우 활발하게 진행되고 있는 실정이다.

예컨대 적외선 센서를 이용한 센싱장치, 레이저 센서를 이용한 센싱장치, 음향 센서를 이용한 센싱장치, 그리고 카메라 센서를 이용한 센싱장치 등 다양한 센싱 방식이 등장하고 있다.

그러나 적외선 센서 등은 센싱 처리 시간이 빠르기 때문에 시뮬레이션이 빠르게 진행될 수 있는 장점은 있으나 센싱 정확성이 떨어지는 문제점이 있고, 반면 카메라 센서는 센싱 정확성을 향상시킬 수는 있으나 센싱 처리에 시간이 많이 소요되어 사용자가 볼을 타격한 후 소정의 시간이 경과된 후에 볼의 궤적에 대한 시뮬레이션 영상이 구현되어 가상 골프의 리얼리티가 크게 감소함으로써 사용자의 흥미를 크게 저하시키게 되는 문제점이 생긴다.

본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 적어도 하나의 센서부; 상기 센서부로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부; 및 상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부를 포함한다.

또한 바람직하게는, 상기 이미지 수집부의 이미지의 순차적 입수와, 상기 이미지 처리부의 이미지 처리가 각각 독립적으로 수행되도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 수집부는, 입수된 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 상기 이미지 처리부와는 독립적으로 이미지를 프레임 단위로 순차적 입수하며, 상기 이미지 처리부에서 이미 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 이미지 수집부가 입수하는 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 실시간 처리가 이루어지도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 처리부는, 상기 이미지 수집부와는 독립적으로 이미지 처리를 수행하며, 전송받은 프레임의 이미지의 처리가 완료된 시점에 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받아 이미지 처리를 수행함으로써 실시간 처리가 이루어지도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 수집부는, 상기 센서부에 의해 취득되는 이미지를 저장하고 전송하는 그래버와, 상기 그래버로부터 전송되는 이미지를 전달받아 처리함으로써 타격이 이루어졌는지 여부를 감지하여 상기 이미지 처리부로 전송할 이미지를 수집하여 저장하는 샷 디텍터를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 샷 디텍터는, 상기 그래버로부터 전달받은 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 다음 프레임의 이미지를 순차적으로 전달받으며, 상기 이미지 처리부가 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 그래버로부터 전달받은 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 이미지의 실시간 전송이 이루어지도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 처리부는 상기 샷 디텍터로부터 실시간 전송받은 이미지를 처리하여도 이동하는 볼의 물리적 특성을 산출할 수 없는 경우, 상기 샷 디텍터에 저장되어 있는 이미지 프레임 중 상기 이미지 처리부로 전송되지 않은 이미지 프레임들 중 일부 또는 전부를 추가로 전송받아 이미지 처리를 함으로써 이동하는 볼의 물리적 특성을 산출하도록 한 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 상기 카메라 유닛으로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부와, 상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부를 포함하는 센싱처리유닛을 포함하는 센싱장치와, 상기 센싱처리유닛에서 추출된 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현유닛을 포함한다.

또한 바람직하게는, 상기 이미지 수집부는, 상기 카메라 유닛에 의해 취득되는 이미지를 저장하고 전송하는 그래버와, 상기 그래버로부터 전송되는 이미지를 전달받아 처리함으로써 타격이 이루어졌는지 여부를 감지하여 상기 이미지 처리부로 전송할 이미지를 수집하여 저장하는 샷 디텍터를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션을 위한 센싱방법은, 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 단계; 이미지 수집부에서 상기 취득되는 복수 프레임의 이미지를 순차적으로 입수하여 저장하는 단계; 상기 이미지 수집부가 입수하는 프레임의 이미지를 실시간으로 이미지 처리부로 전송하는 단계; 및 상기 이미지 처리부가 실시간으로 전송받은 프레임의 이미지를 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 단계를 포함한다.

또한 바람직하게는, 상기 이미지 수집부의 이미지의 순차적 입수와, 상기 이미지 처리부의 이미지 처리가 각각 독립적으로 수행됨으로써 상기 이미지 처리부가 이미지를 처리하는 동안에도 상기 이미지 수집부는 다른 프레임의 이미지를 입수하여 저장하는 것을 특징으로 한다.

또한 바람직하게는, 상기 실시간으로 이미지 처리부로 전송하는 단계는, 일 프레임의 이미지를 입수하여 저장하면서 상기 이미지 처리부가 이미 전송받은 이미지의 이미지 처리를 완료하였는지 여부를 판단하여, 상기 이미지 처리부의 이미지 처리를 완료한 경우에는 상기 입수한 프레임의 이미지를 상기 이미지 처리부로 전송하고, 이미지 처리가 완료되지 않은 경우에는 전송하지 않도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 실시간으로 전송받은 프레임의 이미지를 처리하는 단계는, 상기 이미지 처리부가 상기 이미지 수집부로부터 이미 전송받은 이미지를 처리하면서 이미지의 처리가 완료되었는지 여부를 판단하여, 상기 이미지의 처리가 완료된 경우 그 시점에서 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받아 이미지 처리를 수행하고, 상기 이미지의 처리가 완료되지 않은 경우 그 시점에서 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받지 않도록 한 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 방법은, 사용자의 타격 준비가 완료되었는지 여부를 감지하는 단계; 타격 준비가 완료된 경우, 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 단계; 타격이 이루어진 경우, 타격 시점 및 그 전후의 이미지를 프레임 단위로 입수하여 저장하는 단계; 상기 입수되는 이미지를 실시간으로 처리함으로써 이동하는 볼의 물리적 특성 정보를 추출하는 단계; 및 상기 추출된 볼의 물리적 특성 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 단계를 포함한다.

또한 바람직하게는, 상기 입수되는 이미지를 실시간으로 처리하는 단계는, 이미지의 입수와 이미지의 처리가 각각 독립적으로 진행되며, 진행중인 이미지 처리가 완료되는 시점에 입수되는 프레임의 이미지를 처리함으로써 입수되는 이미지를 실시간으로 처리하도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 볼의 물리적 특성 정보를 추출하는 단계는, 상기 실시간 이미지 처리 결과 볼의 물리적 특성 정보를 추출할 수 없는 경우, 상기 이미지를 프레임 단위로 입수하여 저장하는 단계에서 저장된 이미지 중 이미지 처리가 이루어지지 않은 이미지 프레임에 대해 추가로 이미지 처리가 이루어지도록 한 것을 특징으로 한다.

본 발명에 따른 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법은 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있어 리얼리티를 더욱 향상시키도록 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치의 구성에 관하여 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치의 정보 처리 프로세스에 관하여 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 센싱장치의 실시간 이미지 처리 프로세스에 관하여 나타낸 도면이다.

본 발명에 따른 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법에 대한 실시예를 도면을 참조하여 좀 더 구체적으로 설명한다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치 및 이에 이용되는 센싱장치에 관하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템의 일 예를 나타낸 도면이고, 도 2는 도 1에 도시된 스크린 골프 시스템에 적용된 가상 골프 시뮬레이션 장치의 구성을 나타내는 블록도이다.

도 1 및 도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는 사용자가 볼(B)을 타격하는 것을 센싱하기 위한 센싱장치(S)와, 가상의 골프코스에 관한 영상을 구현하며 상기 센싱장치(S)의 센싱 결과에 따라 가상의 골프코스에서 볼의 궤적에 대한 시뮬레이션 영상을 제공하도록 하여 가상 골프 시뮬레이션을 진행하는 시뮬레이터(1)를 포함하도록 구성된다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치가 적용된 스크린 골프 시스템은, 소정 크기의 공간을 제공하는 골프 부스(2)의 바닥에 사용자가 골프 스윙을 할 수 있는 타석(110)이 마련되고, 상기 타석(110)의 일측에는 타격매트(120)가 마련되어 사용자는 타석(110)에서 타격매트(120)에 놓인 볼(B)을 골프 스윙에 의해 타격할 수 있도록 하며, 전방에는 스크린(3)이 마련되어 시뮬레이터(1)로부터 영상 정보를 전달받은 영상출력을 위한 장치(도 2에 도시된 영상출력부(30)로서, 예컨대 빔 프로젝트 등)가 상기 스크린(3) 상에 가상 골프 시뮬레이션에 관한 영상을 투영시키도록 구성될 수 있다.

여기서 상기 타석(110) 및 타격매트(120)는 골프 부스(2)의 바닥면에 마련될 수도 있으나, 도 1에 도시된 바와 같이 스윙플레이트(100) 상에 마련되도록 하는 것도 가능하다.

상기 스윙플레이트(100)는 전후좌우 방향으로 소정 각도 기울어질 수 있도록 구비되며 시뮬레이터(1)와 연결되어 현재 구현되고 있는 가상의 골프코스의 지형에 대응하여 기울기를 형성할 수 있다.

한편, 골프 부스(2) 내에는 센싱장치(S)가 구비되어 사용자가 볼(B)을 타격하는 것을 센싱하는데, 도 1에서는 센싱장치(S)로서 이미지 센싱 방식을 이용하는 센싱장치가 구비되는 경우에 관하여 나타내고 있다.

즉 도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는 센싱장치(S)로서 카메라 유닛(50) 및 센싱처리유닛(60)을 포함하는 이미지 센싱 방식의 센싱장치(S)가 구비될 수 있다.

상기 카메라 유닛(50)은 하나의 이미지 센싱을 위한 센서부에 의해 구성될 수도 있고 2 이상의 센서부에 의해 구성될 수도 있는데, 이동하는 볼(B)의 이미지를 취득하여 3차원 공간에서의 볼의 좌표를 추출하기 위해서는, 도 1에 도시된 바와 같이 2 이상의 센서부(51, 52)로 스테레오(Stereo) 방식의 카메라 유닛을 구성하도록 함이 바람직하다.

도 1 및 도 2에서는 본 발명에 따른 가상 골프 시뮬레이션 장치의 센싱장치가 이미지 센싱 방식의 센싱장치에 관하여 나타내고 있으나, 이에 한정되지 않고 사용자가 볼을 타격하는 것을 감지하여 소정의 정보 처리를 통해 이동하는 볼의 물리적 특성을 추출하도록 하는 센싱장치는 모두 포함될 수 있다. 여기서는 사용자가 볼을 타격하는 것에 대한 이미지를 취득하여 이에 대해 소정의 정보 처리를 통해 이동하는 볼의 물리적 특성을 추출하는 이미지 센싱 방식의 센싱장치에 대해서 설명하기로 한다.

도 2에 도시된 바와 같이 센싱장치(S)는 복수개의 센서부(51, 52)로 구성되는 카메라 유닛(50)과, 상기 카메라 유닛(50)에서 취득한 이미지를 처리함으로써 이동하는 볼의 물리적 특성을 추출하는 센싱처리유닛(60)을 포함하여 구성될 수 있다.

여기서 이동하는 볼의 물리적 특성은 볼의 속도, 볼의 이동 방향(수평 방향의 이동 각도), 볼의 높이각(수직 방향의 이동 각도), 볼에 걸리는 스핀(Spin) 등을 포함할 수 있다.

상기 센싱처리유닛(60)은 상기 카메라 유닛(50)을 통해 취득된 소스 이미지(Source Image)을 프레임 단위로 순차적으로 입수하여 수집하는 이미지 수집부(61)와, 상기 이미지 수집부(61)에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부(64)를 포함하여 구성될 수 있다.

상기 이미지 수집부(61)는, 상기 센서부(51, 52)에 의해 취득되는 이미지를 저장하면서 샷 디텍터(63)로 전송하는 그래버(62)와, 상기 그래버(62)로부터 전송되는 이미지를 전달받아 처리함으로써 타격 준비가 완료되었는지 여부를 감지하고 또한 타격이 이루어졌는지 여부를 감지하여 타격이 감지되면 상기 이미지 처리부(64)로 전송할 이미지를 수집하여 저장하는 샷 디텍터(63)를 포함하여 구성됨이 바람직하다.

본 발명에 따른 가상 골프 시뮬레이션 장치의 센싱장치는 기본적으로 이동하는 볼의 물리적 특성을 추출하기 위한 이미지의 처리가 실시간으로 바로바로 이루어질 수 있도록 하기 위해 상기 이미지 수집부(61)가 일 프레임의 이미지를 입수하자마자 이를 실시간으로 이미지 처리부(64)로 전송하여 이미지 처리가 빠르게 이루어져 시뮬레이션 진행이 지연됨이 없이 빠르게 진행될 수 있도록 하는 특징을 갖는다.

따라서 상기 이미지 수집부(61에 의한 이미지의 순차적 입수와, 상기 이미지 처리부(64)에 의한 이미지 처리가 각각 독립적을 진행되도록 구성됨이 바람직하다.

여기서 이미지를 실시간으로 전송한다는 것은 이미지 수집부(61)가 일 프레임의 이미지를 이미지 처리부(64)로 전송한 후, 상기 이미지 처리부(64)가 전송받은 이미지의 처리가 완료되는 시점에 상기 이미지 수집부(61)가 입수하는 이미지(다음 프레임의 이미지일 수도 있고 한 번 이상 건너뛴 이후의 프레임의 이미지일 수도 있다)를 이미지 처리부(64)가 전송받아 이미지 처리를 함으로써 이미지 처리가 실시간으로 이루어져 볼의 물리적 특성 추출에 소요되는 시간을 획기적으로 단축시키도록 한 것이다. 이에 대한 구체적인 사항은 후술하기로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치를 구성하는 시뮬레이터(1)는, 제어부(M), 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등을 포함하여 구성됨이 바람직하다.

상기 데이터베이스(10)는 가상 골프 시뮬레이션에 필요한 모든 데이터가 저장된다. 예컨대 시스템 구동에 필요한 데이터와, 가상의 골프코스의 영상 구현에 관한 데이터, 볼의 궤적에 대한 시뮬레이션 영상 구현에 관한 데이터 등이 저장된다.

상기 영상처리부(20)는 가상의 골프코스에 관한 영상이나 가상의 골프코스에서 펼쳐지는 볼의 궤적에 대한 시뮬레이션 영상 등을 구현하기 위한 소정의 영상 처리가 이루어지는 부분이다.

상기 영상출력부(30)는 상기 영상처리부(20)로부터 전달받은 영상 정보를 스크린 상에 출력하여 사용자가 볼 수 있도록 하기 위한 것이다.

상기 제어부(M)는 센싱장치(S)로부터 센싱 결과에 따른 정보를 전달받아 상기 데이터베이스(10), 영상처리부(20) 및 영상출력부(30) 등의 모든 구성요소들의 동작을 제어할 수 있도록 구비된다. 즉 상기 제어부(M), 데이터베이스(10), 영상처리부(20) 등은 센싱장치(S)의 센싱 결과에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현수단으로서 기능한다.

한편, 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법에 관하여 좀 더 구체적으로 설명한다.

도 3에 도시된 바와 같이 본 발명에 따른 센싱장치에서의 정보 전달 흐름은 카메라 유닛(50) -> 이미지 수집부(61) -> 이미지 처리부(64) -> 시뮬레이터(1)의 순서로 이루어진다.

카메라 유닛(50)은 타석과 타격매트가 마련되어 있는 부분을 포함하는 일정 범위를 촬영하면서 1초당 수백 프레임의 이미지를 취득한다.

이렇게 취득되는 이미지는 이미지 수집부(61)의 그래버(62)로 전송되고, 그래버(62)는 카메라 유닛(50)으로부터 이미지를 전송받아 저장하면서 샷 디텍터(63)로 전달하여 이미지 처리가 이루어지도록 한다.

즉 샷 디텍터(63)는 상기 그래버(62)로부터 전달받은 이미지를 처리하여 타격 준비가 완료되었는지 여부를 감지하고, 타격 준비가 완료된 경우(즉 타격매트 상에 볼이 놓여진 상태로 미리 설정된 시간이 경과하는 등의 특정 조건이 만족되는 경우) 사용자가 골프클럽으로 타격매트에 놓인 볼을 타격하는지 여부를 감지한다.

만약 타격이 이루어지는 경우, 샷 디텍터(63)는 타격 시점의 이미지 및 그 이후의 복수 프레임의 이미지를 모두 저장하는데, 이는 이미지 처리부(64)로 실시간 전송되어 이미지 처리가 이루어지도록 하기 위한 것이다.

이미지 처리부(64)는 샷 디텍터(63)가 타격을 감지한 경우에 전송되는 이미지를 처리함으로써 이동하는 볼의 물리적 특성을 추출하여 시뮬레이터(1)로 전달한다.

이때 상기 샷 디텍터(63)와 이미지 처리부(64)는 이미지의 실시간 처리가 가능하도록 구성됨으로써 물리적 특성 추출이 매우 빠르게 이루어질 수 있도록 하는데, 이에 대한 구체적인 설명은 도 4를 참조하여 설명한다.

도 4에 도시된 바와 같이 샷 디텍터는 타격 준비를 감지하고(S10), 이어서 사용자가 볼을 타격함에 따라 타격을 감지하면(S20), 이미지 처리를 위한 이미지를 수집하기 시작한다(S30).

카메라 유닛이, 예컨대 300fps의 속도로 이미지를 취득하는 경우 1초에 300 frame 정도의 이미지를 취득하는데, 샷 디텍터는 타격 전 7 frame, 타격시점의 1 frame, 그리고 타격 후 100ms 동안 30 frame의 이미지를 수집하여 저장하면서 실시간으로 이미지 처리부로 이미지를 전송한다.

즉 샷 디텍터는 0 frame의 이미지부터 30 frame의 이미지를 입수하여 저장하는데, 각 프레임의 이미지는 입수되는 대로 실시간으로 이미지 처리부로 전송된다.

여기서 상기 이미지 처리부는 샷 디텍터가 입수하는 모든 프레임의 이미지를 모두 처리하는 것은 아니고 실시간으로 전송받는 이미지만을 원칙적으로 처리한다.

이동하는 볼의 물리적 특성을 추출하기 위해 반드시 30 프레임의 이미지를 모두 처리할 필요는 없고 그 중에서 몇 개의 프레임만 분석하면 30 프레임의 이미지를 분석한 것과 실질적으로 동일한 결과를 얻을 수 있기 때문이다.

따라서 본 발명에 따른 센싱장치는 센싱 처리 시간을 단축시키기 위하여 샷 디텍터가 입수하는 이미지 중 실시간으로 전송받을 수 있는 이미지만을 이미지 처리부가 처리하도록 한 것이다.

좀 더 구체적으로 설명하면, 도 4에 도시된 바와 같이 샷 디텍터가 먼저 0 frame의 이미지를 입수하면 이를 이미지 처리부로 실시간 전송하는데, 이미지 처리부는 대기(S40) 상태에 있다가 이미지 전송을 받는 즉시 해당 프레임의 이미지를 처리하기 시작한다.

즉 이미지 처리부는 0 frame의 이미지를 전송받아 처리하기 시작하고, 처리가 완료된 경우에 샷 디텍터가 입수하는 프레임의 이미지, 즉 2 frame의 이미지를 실시간 전송받아 처리한다.

이때 이미지 처리부가 0 frame의 이미지를 처리하고 있는 동안 샷 디텍터가 입수하는 1 frame의 이미지는 전송하지 않고 저장만 한다.

만약 도 4에 도시된 바와 같이 이미지 처리부가 0 frame의 이미지를 처리하고 난 후 곧바로 2 frame의 이미지를 처리하였는데, 그 처리가 빠르게 이루어져서 그 다음 프레임인 3 frame의 이미지를 입수할 때 2 frame의 이미지 처리가 완료되었다면, 이미지 처리부는 3 frame의 이미지를 실시간으로 전송받아 처리하기 시작한다.

샷 디텍터는 그래버로부터 이미지를 입수하는 순서대로 빠짐없이 이미지 처리부로 순차적 전송을 하는 것이 아니라, 이미지 처리부로 이미 전송한 이미지의 처리가 완료될 때 입수하는 프레임의 이미지를 실시간으로 전송하도록 구성되는 것이다.

또한 이미지 처리부도 샷 디텍터로부터 이미지를 순차적으로 전송받는 것이 아니라 이미 전송받은 이미지의 처리가 완료되는 시점에서 실시간으로 다른 프레임의 이미지를 전송받는 것이다.

따라서 이미지 처리부가 이미 전송받은 이미지를 처리하는데 시간이 많이 소요된다면 여러 프레임의 이미지를 건너뛰게 될 것이고, 이미지 처리부가 이미 전송받은 이미지를 처리하는데 매우 짧은 시간이 걸렸다면 이미 처리된 이미지의 다음 프레임 이미지를 곧바로 전송받을 수 있게 될 것이다.

한편, 이미지 처리부는 마지막 프레임의 이미지를 전송받을 때까지 이미지 처리를 계속적으로 수행하는 것이 아니라, 미리 설정된 개수의 이미지 프레임을 처리한 후 이미지 처리가 모두 완료되었는지 여부를 판단하여(S50), 이미지 처리가 모두 완료되었다고 판단되는 경우에는 이미지 처리를 종료하고 이미지 처리에 의해 추출된 볼의 물리적 특성에 관한 정보를 시뮬레이터로 전달한다(이때 이미지 처리부가 이미지 처리를 종료하였다고 해도 샷 디텍터는 이미지의 수집을 계속하여 정해진 개수만큼의 프레임은 모두 수집하여 저장한다). 만약 이미지 처리가 완료되지 않은 경우(볼의 물리적 특성 정보가 추출되기에 부족한 경우 등)에는 다음 실시간 전송되는 프레임의 이미지부터 이미지 처리를 속행한다.

만약, 이미지 처리부가 실시간으로 이미지 처리를 수행하였음에도 불구하고 이미지 처리가 완료되지 않는 경우(볼의 물리적 특성 정보가 추출되기에 부족한 경우 등)에는 샷 디텍터에 의해 전송되지 않은 프레임의 이미지를 추가로 전송받아 처리를 한다.

예컨대 도 4에서는 1 frame의 이미지와 4 frame의 이미지 등이 이미지 처리부로 전송되지 않았는데(이때에도 샷 디텍터는 이들 이미지 프레임을 저장하고 있다), 상기 1 frame의 이미지부터 하나씩 전송받아 이미지 처리하여 볼의 물리적 특성 정보가 추출될 때까지 반복적으로 진행한다.

상기한 바와 같이 본 발명에 따른 가상 골프 시뮬레이션 장치에 이용되는 센싱장치는 사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하되 이미지가 입수되는 대로 실시간으로 이미지 처리가 가능하여 센싱 처리 시간을 획기적으로 단축시킴으로써 사용자가 스윙을 함과 거의 동시에 시뮬레이션 영상이 구현될 수 있도록 할 수 있어 리얼리티를 더욱 향상시킬 수 있다.

1:시뮬레이터, S:센싱장치
10:데이터베이스, 20:영상처리부
30:영상출력부, 50:카메라 유닛
60:센싱처리유닛, 61:이미지 수집부
62:그래버, 63:샷 디텍터
64:이미지 처리부

Claims

가상 골프 시뮬레이션 장치에 이용되는 센싱장치에 있어서,
사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 적어도 하나의 센서부;
상기 센서부로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부; 및
상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부;
를 포함하는 센싱장치.
제1항에 있어서,
상기 이미지 수집부의 이미지의 순차적 입수와, 상기 이미지 처리부의 이미지 처리가 각각 독립적으로 수행되도록 구성되는 것을 특징으로 하는 센싱장치.
제1항에 있어서,
상기 이미지 수집부는, 입수된 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 상기 이미지 처리부와는 독립적으로 이미지를 프레임 단위로 순차적 입수하며, 상기 이미지 처리부에서 이미 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 이미지 수집부가 입수하는 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 실시간 처리가 이루어지도록 한 것을 특징으로 하는 센싱장치.
제1항에 있어서,
상기 이미지 처리부는, 상기 이미지 수집부와는 독립적으로 이미지 처리를 수행하며, 전송받은 프레임의 이미지의 처리가 완료된 시점에 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받아 이미지 처리를 수행함으로써 실시간 처리가 이루어지도록 한 것을 특징으로 하는 센싱장치.
제1항에 있어서, 상기 이미지 수집부는,
상기 센서부에 의해 취득되는 이미지를 저장하고 전송하는 그래버와,
상기 그래버로부터 전송되는 이미지를 전달받아 처리함으로써 타격이 이루어졌는지 여부를 감지하여 상기 이미지 처리부로 전송할 이미지를 수집하여 저장하는 샷 디텍터를 포함하는 것을 특징으로 하는 센싱장치.
제5항에 있어서, 상기 샷 디텍터는,
상기 그래버로부터 전달받은 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 다음 프레임의 이미지를 순차적으로 전달받으며, 상기 이미지 처리부가 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 그래버로부터 전달받은 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 이미지의 실시간 전송이 이루어지도록 한 것을 특징으로 하는 센싱장치.
제6항에 있어서,
상기 이미지 처리부는 상기 샷 디텍터로부터 실시간 전송받은 이미지를 처리하여도 이동하는 볼의 물리적 특성을 산출할 수 없는 경우, 상기 샷 디텍터에 저장되어 있는 이미지 프레임 중 상기 이미지 처리부로 전송되지 않은 이미지 프레임들 중 일부 또는 전부를 추가로 전송받아 이미지 처리를 함으로써 이동하는 볼의 물리적 특성을 산출하도록 한 것을 특징으로 하는 센싱장치.
사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 카메라 유닛; 및 상기 카메라 유닛으로부터 복수 프레임의 이미지를 순차적으로 입수하여 수집하는 이미지 수집부와, 상기 이미지 수집부에서 입수한 프레임의 이미지를 실시간으로 전송받아 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 이미지 처리부를 포함하는 센싱처리유닛을 포함하는 센싱장치와,
상기 센싱처리유닛에서 추출된 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 영상구현유닛;
을 포함하는 가상 골프 시뮬레이션 장치.
제8항에 있어서, 상기 이미지 수집부는,
상기 카메라 유닛에 의해 취득되는 이미지를 저장하고 전송하는 그래버와,
상기 그래버로부터 전송되는 이미지를 전달받아 처리함으로써 타격이 이루어졌는지 여부를 감지하여 상기 이미지 처리부로 전송할 이미지를 수집하여 저장하는 샷 디텍터를 포함하는 것을 특징으로 하는 가상 골프 시뮬레이션 장치.
제9항에 있어서, 상기 샷 디텍터는,
상기 그래버로부터 전달받은 일 프레임의 이미지를 상기 이미지 처리부로 전송하면서 다음 프레임의 이미지를 순차적으로 전달받으며, 상기 이미지 처리부가 전송받은 프레임의 이미지의 처리가 완료되는 시점에 상기 그래버로부터 전달받은 프레임의 이미지를 상기 이미지 처리부로 전송함으로써 이미지의 실시간 전송이 이루어지도록 한 것을 특징으로 하는 가상 골프 시뮬레이션 장치.
가상 골프 시뮬레이션을 위한 센싱방법에 있어서,
사용자의 스윙에 의해 볼을 타격하는 것에 대한 복수 프레임의 이미지를 취득하는 단계;
이미지 수집부에서 상기 취득되는 복수 프레임의 이미지를 순차적으로 입수하여 저장하는 단계;
상기 이미지 수집부가 입수하는 프레임의 이미지를 실시간으로 이미지 처리부로 전송하는 단계; 및
상기 이미지 처리부가 실시간으로 전송받은 프레임의 이미지를 처리하여 이동하는 볼의 물리적 특성 정보를 추출하는 단계;
를 포함하는 센싱방법.
제11항에 있어서,
상기 이미지 수집부의 이미지의 순차적 입수와, 상기 이미지 처리부의 이미지 처리가 각각 독립적으로 수행됨으로써 상기 이미지 처리부가 이미지를 처리하는 동안에도 상기 이미지 수집부는 다른 프레임의 이미지를 입수하여 저장하는 것을 특징으로 하는 센싱방법.
제11항에 있어서, 상기 실시간으로 이미지 처리부로 전송하는 단계는,
일 프레임의 이미지를 입수하여 저장하면서 상기 이미지 처리부가 이미 전송받은 이미지의 이미지 처리를 완료하였는지 여부를 판단하여,
상기 이미지 처리부의 이미지 처리를 완료한 경우에는 상기 입수한 프레임의 이미지를 상기 이미지 처리부로 전송하고, 이미지 처리가 완료되지 않은 경우에는 전송하지 않도록 한 것을 특징으로 하는 센싱방법.
제11항에 있어서, 상기 실시간으로 전송받은 프레임의 이미지를 처리하는 단계는,
상기 이미지 처리부가 상기 이미지 수집부로부터 이미 전송받은 이미지를 처리하면서 이미지의 처리가 완료되었는지 여부를 판단하여,
상기 이미지의 처리가 완료된 경우 그 시점에서 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받아 이미지 처리를 수행하고, 상기 이미지의 처리가 완료되지 않은 경우 그 시점에서 상기 이미지 수집부가 입수하는 프레임의 이미지를 전송받지 않도록 한 것을 특징으로 하는 센싱방법.
사용자의 타격 준비가 완료되었는지 여부를 감지하는 단계;
타격 준비가 완료된 경우, 사용자에 의해 타격이 이루어졌는지 여부를 감지하는 단계;
타격이 이루어진 경우, 타격 시점 및 그 전후의 이미지를 프레임 단위로 입수하여 저장하는 단계;
상기 입수되는 이미지를 실시간으로 처리함으로써 이동하는 볼의 물리적 특성 정보를 추출하는 단계; 및
상기 추출된 볼의 물리적 특성 정보에 따라 볼의 궤적에 대한 시뮬레이션 영상을 구현하는 단계;
를 포함하는 가상 골프 시뮬레이션 방법.
제15항에 있어서, 상기 입수되는 이미지를 실시간으로 처리하는 단계는,
이미지의 입수와 이미지의 처리가 각각 독립적으로 진행되며, 진행중인 이미지 처리가 완료되는 시점에 입수되는 프레임의 이미지를 처리함으로써 입수되는 이미지를 실시간으로 처리하도록 한 것을 특징으로 하는 가상 골프 시뮬레이션 방법.
제16항에 있어서, 상기 볼의 물리적 특성 정보를 추출하는 단계는,
상기 실시간 이미지 처리 결과 볼의 물리적 특성 정보를 추출할 수 없는 경우, 상기 이미지를 프레임 단위로 입수하여 저장하는 단계에서 저장된 이미지 중 이미지 처리가 이루어지지 않은 이미지 프레임에 대해 추가로 이미지 처리가 이루어지도록 한 것을 특징으로 하는 가상 골프 시뮬레이션 방법.