KR20160146266A - 운동하는 볼에 대한 센싱장치 및 센싱방법 - Google Patents

Abstract

본 발명은 운동하는 볼에 대해 연속하여 취득되는 이미지들을 분석하고 그 분석된 결과에 기초하여 상기 볼의 운동에 따른 스핀 정보를 산출하기 위한 것으로서, 볼에 특정 마커 등을 표시하지 않더라도 운동하는 볼의 스핀 산출이 가능하며, 볼 상에 존재하는 로고나 브랜드 표시 등 뿐만 아니라 딤플, 흠집 등 이미지 상에서 특징적으로 나타나는 부분이 존재한다면 이를 이용하여 간단하고, 빠르고, 정확하게 운동하는 볼의 스핀을 산출할 수 있는, 운동하는 볼에 대한 센싱장치 및 센싱방법을 제공하기 위한 것이다.

Description

운동하는 볼에 대한 센싱장치 및 센싱방법{DEVICE FOR SENSING MOVING BALL AND METHOD FOR THE SAME}

본 발명은 운동하는 볼에 대한 이미지를 취득하여 이를 소정 처리하여 분석함으로써 볼의 스핀을 산출하도록 하기 위한, 운동하는 볼에 대한 센싱장치 및 센싱방법에 관한 것이다.

볼을 이용하는 스포츠 경기, 특히 골프의 경우 골퍼에 의해 타격되어 운동하는 볼의 물리적 특성을 정확하게 센싱하여 그 센싱된 값을 이용하여 타구 분석을 한다던지 이를 영상으로 구현하여 소위 스크린 골프와 같은 시뮬레이션 골프 분야에 적용하는 시도는 항상 이루어져 왔었다.

특히 타격에 의해 날아가는 볼의 스핀(Spin)은 3차원 공간상의 축을 중심으로 매우 고속으로 회전하기 때문에 이를 측정하는 것은 상당히 어렵고 또한 정확한 측정을 위해서는 상당히 고가의 장비가 필요한데, 대표적으로 레이더 센서(Radar Sensor)를 이용하는 방식이 있다.

그러나 이러한 고가의 센싱장치는, 사용자가 골프 스윙에 의해 타격한 볼을 센싱하여 볼의 궤적을 산출하고 그로부터 가상의 골프코스에서의 골프 시뮬레이션이 이루어지도록 하는 소위 스크린 골프나 골프 연습장에서의 타구 분석 등에 범용으로 이용되는 센싱장치로서는 적합하지 않으며, 비교적 값싸고 저능성의 시스템에서도 빠르고 정확하게 볼의 스핀을 센싱할 수 있도록 하는 기술의 개발이 필요한 실정이다.

이에 종래 미국등록특허 제5471383호 (Monitoring system to measure and display flight characteristics of moving sports object) 등의 선행기술문헌에서는 포터블한 형태로 만들어져 타격된 볼의 스핀을 산출할 수 있는 Launch Monitor에 관한 기술을 개시하였으나, 상기 미국등록특허 제5471383호는 볼에 인위적으로 특정의 형광 마커를 표시하고 촬영된 이미지에서 그 형광 마커 부분을 인식하여 그 인식된 형광 마커 부분의 변화를 분석하는 방식으로 볼의 스핀을 산출하는 방식에 관하여 개시하고 있다.

그러나, 볼에 인위적인 특정 마커를 표시하여야만 볼의 스핀을 인식할 수 있다는 것은 사용자가 항상 그 특정 마커가 표시된 볼만을 가지고 골프샷 연습을 해야 한다는 것이므로 사용자로 하여금 매우 큰 불편을 느끼게 할 뿐만 아니라, 여러번의 반복된 골프샷에 의해 볼에 표시된 특정 마커가 훼손되거나 지워지는 경우에는 스핀 산출이 불가능하게 되는 문제점이 있었다.

한편, 일본공개특허 특개2004-184236호 (구체의 회전 특성과 비행 특성의 측정 방법)에서는 골프공에 원래 표시되어 있던 브랜드 표시 등과 같은 인위적으로 표시하지 않은 불특정한 특징부를 이용하여 스핀을 산출하는 방식에 관하여 개시하고 있는데, 상기 일본공개특허 특개2004-184236호는 2차원으로 촬영된 이미지들 각각을 모두 3차원 공간 상에서의 가상 구체로 변환하고 그 3차원 공간 상에서 각각의 가상 구체의 회전 정보를 계산하는 방식으로 스핀을 산출하는 방법에 관하여 개시하고 있다.

운동하는 볼에 대한 스핀을 정확하게 계산한다는 측면에서는 상기 일본공개특허 특개2004-184236호에 개시된 기술이 바람직할 수 있다. 그러나, 볼의 스핀을 정확하게 계산은 하지만 그 계산 속도가 너무 느리다면 스핀을 산출할 수 있는 센싱장치는 이용될 수 있는 범위가 극히 제한적일 수밖에 없고, 가상 골프 시뮬레이션 장치 등과 같이 사용자가 골프공을 타격함과 거의 동시에 스핀이 산출되어 이에 대한 볼 궤적의 영상 시뮬레이션이 이루어지는 경우에는 절대로 이용될 수 없는 문제점이 있었다.

본 발명은 운동하는 볼에 대해 연속하여 취득되는 이미지들을 분석하고 그 분석된 결과에 기초하여 상기 볼의 운동에 따른 스핀 정보를 산출하기 위한 것으로서, 볼에 특정 마커 등을 표시하지 않더라도 운동하는 볼의 스핀을 빠르고, 정확하게 산출할 수 있는, 운동하는 볼에 대한 센싱장치 및 센싱방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 센싱장치는, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치로서, 운동하는 볼에 대한 연속적인 이미지를 취득하는 이미지 취득부; 상기 이미지 취득부에 의해 연속적으로 취득된 제1 이미지 및 제2 이미지 각각에 대해 이미지 처리를 통해 상기 운동하는 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 이미지 처리부; 및 상기 제1 이미지에 대한 특징정보에 대해 임의의 스핀을 적용한 결과와 상기 제2 이미지에 대한 특징정보를 이용하여 미리 설정된 사항에 따라 상기 임의의 스핀 정보를 최종 스핀 정보로 결정하는 것이 적합한지 여부를 판단함으로써 최종 스핀 정보를 결정하는 스핀 산출부를 포함한다.

또한 바람직하게는, 상기 이미지 처리부는, 상기 제1 이미지로부터 추출된 제1 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하고, 상기 제2 이미지로부터 추출된 제2 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하도록 구성되는 특징정보 생성부를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 이미지로부터 볼 이미지를 추출하여 제1 볼 이미지를 생성하고, 상기 제2 이미지로부터 볼 이미지를 추출하여 제2 볼 이미지를 생성하며, 상기 추출된 제1 볼 이미지 및 제2 볼 이미지에 대해 미리 설정된 사항에 따라 이미지 전처리를 수행하는 이미지 전처리부와, 상기 제1 볼 이미지와 제2 볼 이미지에 대해 크기와 밝기의 정규화를 수행하여, 상기 제1 볼 이미지로부터 제1 기준 이미지를 생성하고, 상기 제2 볼 이미지로부터 제2 기준 이미지를 생성하는 이미지 정규화부와, 상기 제1 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하고, 상기 제2 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하는 특징정보 생성부를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상 에지 정보로부터 생성되는 제1 특징정보 및 제2 특징정보는 상기 볼의 딤플에 대한 영상 에지 정보, 상기 볼에 형성된 로고나 특정 마크에 대한 영상 에지 정보 및 상기 볼 상의 흠집이나 이물질에 대한 영상 에지 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 특징정보 및 제2 특징정보는 미리 설정된 에지 검출 조건에 따라 검출된 픽셀들 각각의 좌표값 및 에지 강도값을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 특징정보 및 제2 특징정보는 미리 설정된 에지 검출 조건에 따라 검출된 픽셀들 중 미리 설정된 미리 설정된 에지 강도값의 범위에 해당하는 픽셀들을 추출하여 그 추출된 픽셀들 각각의 좌표값 및 에지 강도값을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 스핀 산출부는, 상기 제1 특징정보에 해당하는 픽셀들 각각의 좌표를 3차원 좌표 정보로 변환하고, 그 변환된 3차원 좌표 정보에 대해 임의의 스핀 정보를 적용하며, 상기 임의의 스핀 정보가 적용된 픽셀들을 2차원 좌표 정보로 변환함으로써 임의회전 특징정보를 생성하는 임의 스핀 적용부와, 상기 임의회전 특징정보의 에지 강도값과 상기 제2 특징정보로부터 추출된 타깃 특징정보의 에지 강도값을 비교하여 유사도 정보를 산출하고, 상기 산출된 유사도 정보를 이용하여 상기 임의의 스핀 정보가 최종 스핀 정보로서 적합한지 판단하여 최종 스핀 정보를 결정하는 스핀 결정부를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 센싱방법은, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법으로서, 운동하는 볼에 대한 연속적인 이미지를 취득하는 단계; 상기 연속적으로 취득된 제1 이미지 및 제2 이미지 각각에 대해 이미지 처리를 통해 상기 운동하는 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 단계; 및 상기 제1 이미지에 대한 특징정보에 대해 임의의 스핀을 적용한 결과와 상기 제2 이미지에 대한 특징정보를 이용하여 미리 설정된 사항에 따라 상기 임의의 스핀 정보를 최종 스핀 정보로 결정하는 것이 적합한지 여부를 판단함으로써 최종 스핀 정보를 결정하는 단계를 포함한다.

또한 바람직하게는, 상기 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 단계는, 상기 제1 이미지로부터 추출된 제1 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하는 단계와, 상기 제2 이미지로부터 추출된 제2 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 단계는, 상기 제1 이미지로부터 추출된 제1 볼 이미지 및 상기 제2 이미지로부터 추출된 제2 볼 이미지에 대해 미리 설정된 조건에 따라 크기와 밝기의 정규화를 수행하는 단계와, 상기 제1 볼 이미지로부터 상기 정규화를 통해 제1 기준 이미지를 생성하고 상기 제2 볼 이미지로부터 상기 정규화를 통해 제2 기준 이미지를 생성하는 단계와, 상기 제1 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하는 단계와, 상기 제2 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 특징정보를 이용하여, 운동하는 볼에 대한 이미지를 취득하는 카메라의 위치 및 방향에 대한 위치 보정 정보 및 3차원 공간 상의 임의의 스핀 정보를 적용하여 임의회전 특징정보를 생성하는 단계와, 상기 제2 특징정보를 이용하여 상기 위치 보정 정보를 적용하여 타깃 특징정보를 생성하는 단계와, 상기 임의회전 특징정보의 에지 강도값과 상기 타깃 특징정보의 에지 강도값을 비교하여 유사도 정보를 산출하고, 상기 산출된 유사도 정보를 이용하여 상기 임의의 스핀 정보가 최종 스핀 정보로서 적합한지 판단하여 최종 스핀 정보를 결정하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 임의회전 특징정보를 생성하는 단계는, 상기 제1 특징정보에 따른 픽셀들 각각의 좌표를 3차원 좌표로 변환하는 단계와, 상기 3차원 좌표로 변환된 픽셀들에 대해 상기 위치보정 정보를 적용하는 단계와, 상기 위치 보정 정보가 적용된 각 픽셀 좌표 정보에 대해 임의의 스핀 정보를 적용하는 단계와, 상기 임의의 스핀 정보가 적용된 픽셀들을 2차원 좌표 정보로 변환함으로써 임의회전 특징정보를 생성하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 최종 스핀 정보를 결정하는 단계는, 서로 다른 임의의 스핀 정보에 대해 미리 설정된 횟수만큼 상기 임의회전 특징정보를 생성하는 단계를 반복 수행하여 유사도 정보를 각각 산출하는 단계와, 상기 반복 수행하여 산출된 각각의 유사도 정보 중 최대값을 갖는 경우의 임의의 스핀 정보를 최종 스핀 정보로서 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 최종 스핀 정보를 결정하는 단계는, 최종 스핀 정보로서 결정하기 위한 상기 유사도 정보의 기준값을 미리 설정하는 단계를 더 포함하며, 상기 산출된 유사도 정보가 상기 미리 설정된 기준값 이상이거나 그 보다 큰값이 산출될 때까지 반복적으로 상기 임의의 스핀 정보를 적용하여, 상기 미리 설정된 기준값 이상이거나 그 보다 큰 유사도 정보가 산출되는 경우의 임의의 스핀 정보를 최종 스핀 정보로서 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법은 운동하는 볼에 대해 연속하여 취득되는 이미지들을 분석하고 그 분석된 결과에 기초하여 상기 볼의 운동에 따른 스핀 정보를 산출하기 위한 것으로서, 볼에 특정 마커 등을 표시하지 않더라도 운동하는 볼의 스핀 산출이 가능하며, 볼 상에 존재하는 로고나 브랜드 표시 등 뿐만 아니라 딤플, 흠집 등 이미지 상에서 특징적으로 나타나는 부분이 존재하기만 한다면 이를 이용하여 간단하고, 빠르고, 정확하게 운동하는 볼의 스핀을 산출할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치의 구성을 간략히 나타낸 블록도이다.
도 2는 도 1에 도시된 구성을 이용하여 이미지 취득으로부터 볼의 스핀 산출에 이르기까지 각 구성요소별 기능을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 이미지 취득부로서 스테레오로 구성된 두 대의 카메라와 운동하는 볼에 대해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱방법에 관하여 설명하기 위한 플로우차트이다.
도 5의 (a) 내지 (c)는 본 발명의 일 실시예에 따른 센싱장치의 카메라에 의해 그 화각 내의 운동하는 볼에 대한 이미지를 소정의 시간 간격으로 취득한 이미지에 대해 볼 부분만 각각 추출한 상태의 이미지를 나타낸 것이다.
도 6은 도 5에 도시된 바와 같은 볼 부분의 추출에 있어서 바람직한 추출 방법을 설명하기 위한 도면이다.
도 7의 (a) 내지 (c)는 도 5의 (a) 내지 (c)에 각각 대응되는 볼 이미지에 대한 크기 및 밝기의 정규화가 이루어진 이미지를 나타낸 것이다.
도 8의 (a)는 소스 이미지로부터 추출된 볼 이미지의 일 예를 나타내고, 도 8의 (b)는 (a)에 나타낸 볼 이미지에 대해 이미지 정규화가 된 기준이미지의 일 예를 나타내며, 도 8의 (c)는 (b)에 나타낸 기준이미지에 대해 미리 설정된 기준에 따라 에지(Edge)가 검출된 상태를 나타내고, 도 8의 (d)는 상기 (c)에 나타낸 바와 같은 검출된 에지 정보로부터 미리 설정된 조건에 따라 추출되어 생성된 특징정보를 나타내는 도면이다.
도 9의 (a)에서는 제1 볼 이미지로부터 제1 기준이미지를 생성하고 그 제1 기준이미지로부터 에지가 검출된 상태에 관하여 나타내고 있고, (b)는 상기 (a)에 나타낸 바와 같이 검출된 에지 정보로부터 미리 설정된 상위 범위에 해당하는 픽셀들을 검출하여 생성된 제1 특징정보를 나타내며, 도 9의 (c)에서는 제2 볼 이미지로부터 제2 기준이미지를 생성하고 그 제2 기준이미지로부터 에지가 검출된 상태에 관하여 나타내고 있고, (d)는 상기 (c)에 나타낸 바와 같이 검출된 에지 정보로부터 미리 설정된 상위 범위에 해당하는 픽셀들을 검출하여 생성된 제2 특징정보를 나타낸 도면이다.
도 10은 운동하는 볼의 스핀 산출을 설명하기 위해 나타낸 도면이다.
도 11 및 도 12는 볼의 스핀 산출을 위해 카메라의 위치 및 방향에 대한 보정이 이루어지는 원리에 관하여 설명하기 위한 도면이다.

본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법에 관한 구체적인 내용을 도면을 참조하여 설명하도록 한다.

본 발명은 기본적으로 사용자가 골프 클럽으로 골프공(이하 "볼"이라 함)을 타격하는 것을 소정의 카메라로 촬영하고 그 촬영된 이미지를 분석함으로써 타격된 볼의 스핀을 산출하도록 한 것으로서, 상기 카메라는 복수개의 카메라로 스테레오 방식으로 구성되는 스테레오 카메라 또는 3D 카메라로 볼에 대한 2차원 이미지 상의 좌표들을 3차원 좌표로 변환하거나 그 반대의 변환이 가능하도록 하는 구성임이 바람직하다.

그리고 본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법은 사용자의 골프 스윙에 따른 볼의 타구 분석이나 가상 현실 기반의 시뮬레이션을 이용한 가상 골프 등 다양한 분야에 적용될 수 있다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치에 관하여 설명한다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치는 이미지 취득부(100), 이미지 처리부(200) 및 스핀 산출부(300)를 포함하여 구성된다.

상기 이미지 취득부(100)는 카메라 장치로서 상기한 바와 같이 스테레오 방식의 카메라 장치이거나 3D 카메라 장치로 구현될 수 있다. 도 1에서는 제1 카메라(110) 및 제2 카메라(120)에 의해 스테레오 방식의 카메라 장치로서 이미지 취득부(100)가 구현된 경우를 나타내고 있다.

상기 이미지 처리부(200)는 상기 이미지 취득부(100)에 의해 취득되는 이미지들에 대해 소정의 이미지 처리를 수행하는 구성요소로서, 이미지 전처리부(210)와, 이미지 정규화부(220)와, 특징정보 생성부(230)를 포함하여 구성될 수 있다.

상기 이미지 전처리부(210)는 상기 이미지 취득부(100)에 의해 연속하여 취득된 이미지들 각각으로부터 볼 부분에 대한 이미지인 볼 이미지를 각각 추출하고 그 추출된 각각의 볼 이미지에 대한 특징적인 부분을 추출하여 생성하기 위한 전처리(Pre-Processing)를 수행한다.

한편, 운동하는 볼에 대해 취득된 영상에서 볼은 그 위치와, 조명에 의한 조도, 카메라 렌즈의 특성, 외부광, 볼의 색상, 볼의 재질 등에 따라 밝기가 다양하게 나타난다.

본 발명에 따른 영상처리방법에 의해 운동하는 볼의 스핀을 산출하기 위해서는 동일한 조건에서 연속하는 두 이미지상의 볼 이미지 각각을 서로 비교하여야 하기 때문에 상기한 바와 같은 볼의 위치, 조도 등의 영향을 균일하게 할 필요가 있고 이를 위해 상기 이미지 정규화부(220)는 상기한 이미지 전처리부(210)에 의해 전처리된 볼 이미지들의 크기 및 밝기를 균일하게 하는 이미지 정규화(Normalization)를 수행한다.

상기 이미지 전처리부(210)에 의한 이미지 전처리 및 상기 이미지 정규화부(220)에 의한 이미지 정규화에 관한 좀 더 구체적인 사항은 후술하도록 한다.

한편, 상기 특징정보 생성부(230)는, 상기한 바와 같이 상기 이미지 전처리부(210)에 의한 이미지 전처리 및 상기 이미지 정규화부(220)에 의한 이미지 정규화가 완료된 볼 이미지(이하 “기준이미지”라 하기로 한다)로부터 에지(Edge) 정보를 추출하여 ‘특징정보’를 생성하도록 구성되는데, 이에 대한 좀 더 구체적인 사항은 후술하도록 한다.

한편, 상기 스핀 산출부(300)는 임의의 연속하는 두 볼 이미지 각각으로부터 생성한 ‘특징정보’를 이용하여 운동하는 볼이 어떤 스핀축에 의해 얼마나 회전하였는지, 즉 운동하는 볼의 스핀에 따른 스핀축 및 스핀양에 대한 정보를 찾아내는 구성요소이다.

상기 스핀 산출부(300)는 도 1에 도시된 바와 같이 위치 보정부(310), 임의 스핀 적용부(320) 및 스핀 결정부(330)를 포함하여 구성될 수 있다.

상기 위치 보정부(310)는, 볼의 스핀 산출을 위해 연속하는 두 이미지 상의 볼이 서로 동일한 상대좌표계에서 동일한 각도로 볼을 바라본 상태에서 스핀 산출이 이루어지도록 하여 정확한 스핀 산출이 가능하도록 하기 위한 것으로서, 이에 대한 구체적인 사항은 후술하도록 한다.

한편, 본 발명은 기본적으로 연속적으로 촬영된 운동하는 볼에 대한 이미지들 중 2개의 이미지씩 분석하는데, 연속하여 취득된 이미지들 중 먼저 취득된 이미지를 제1 이미지라 하고 뒤에 취득된 이미지를 제2 이미지라 할 때, 상기 제1 이미지가 취득될 당시의 볼 상태에서 상기 제2 이미지가 취득될 당시의 볼 상태로 될 때의 스핀을 산출한다.

상기 제1 이미지 상의 볼에 대해 소정의 이미지 처리를 통해 제1 특징정보를 추출하고 상기 제2 이미지 상의 볼에 대해 소정의 이미지 처리를 통해 제2 특징정보를 추출하여, 상기 제1 특징정보에 대해 임의의 스핀을 적용하고 그 임의의 스핀 정보를 적용한 결과와 상기 제2 특징정보를 이용하여 상기 임의의 스핀 정보를 최종 스핀 정보로 결정하는 것이 적합한지 여부를 판단하기 위한 함수값을 산출한다.

상기 임의의 스핀 정보를 미리 설정된 횟수만큼 반복 적용하여 각각 산출된 함수값들 중 최대값을 가질 때의 임의의 스핀 정보를 최종 스핀 정보로 결정하거나, 상기 함수값에 대한 적절한 기준값을 미리 설정해 놓고 상기 임의의 스핀 정보를 적용하여 산출된 함수값이 상기 기준값 이상인 경우 또는 상기 기준값 보다 큰 경우에 해당 임의 스핀 정보를 최종 스핀 정보로 결정하는 방식으로 운동하는 볼에 대한 스핀을 산출한다.

상기 임의 스핀 적용부(320)는 상기한 바와 같이 제1 이미지 상의 볼이 제2 이미지 상의 볼로 스핀에 의해 위치 변화하도록 만드는 스핀축 및 스핀양을 찾기 위해 임의의 스핀축 및 스핀양 정보를 추출하여 이를 적용하도록 하기 위한 것인데, 이와 같이 임의 스핀 적용부(320)에 의해 적용된 임의의 스핀축 및 스핀양 정보가 찾고자 하는 스핀축 및 스핀양 정보에 근접하는지 여부를 상기 스핀 결정부(330)가 판단함으로써 최종적인 스핀 정보를 산출할 수 있게 되는 것이다.

즉 상기 임의 스핀 적용부(320)는 최종적인 스핀 정보 산출이 이루어지기 전까지는 매번 새로운 임의의 스핀축 및 스핀양 정보를 추출하여 적용하고 그 적용된 결과를 상기 스핀 결정부(330)가 체크하여 가장 적합한 임의 스핀 정보를 최종 스핀 정보로 결정하는 것이다. 이에 대한 구체적인 사항은 후술하도록 한다.

도 3에 도시된 바와 같이 지면(G)에 대한 i, j, k 좌표계를 기준으로 제1 카메라(110) 및 제2 카메라(120) 각각이 취득한 볼에 대한 이미지로부터 볼(10)이 운동함에 따른 각각의 이미지 취득된 위치에서의 위치 정보를 알 수 있다.

즉, 제1 카메라(110) 및 제2 카메라(120)는 스테레오 방식(Stereoscopic)의 구성을 갖는 이미지 취득장치이므로 두 카메라가 동일한 피사체에 대해 취득한 이미지로부터 피사체의 3차원 좌표 정보를 추출할 수 있으며, 도 3에서는 볼(10)이 제1 위치에서 제2 위치로 운동함에 따라 제1 위치의 좌표 정보(x,y,z) 및 제2 위치의 좌표 정보(x’,y’,z’)를 각각 추출할 수 있다.

이때 제1 카메라(110) 및 제2 카메라(120)는 고정되어 있다. 따라서 상기 제1 카메라(110) 및 제2 카메라(120)의 위치 좌표를 알 수 있으며 이는 항상 고정되어 있다.

한편, 본 발명의 일 실시예에 따른 영상처리방법에 관하여 도 4에 도시된 플로우차트를 참조하여 설명하도록 한다. 도 4에 도시된 플로우차트에 따른 영상처리방법의 설명을 위해 도 5 내지 도 12에 도시된 도면을 참조하여 설명한다.

먼저, 이미지 취득부에 의해 운동하는 볼에 대한 연속적인 이미지가 취득된다(S10).

여기서, 상기 도 3에 도시된 바와 같이 어느 한 카메라에 의해 운동하는 볼에 대해 연속적으로 취득된 이미지 중 일부를 도 5의 (a) 내지 (c)를 통해 확인할 수 있다.

즉, 도 5의 (a) 내지 (c)는 고정된 카메라에 의해 그 화각 내의 운동하는 볼에 대한 이미지를 소정의 시간 간격으로 취득한 이미지에 대해 차영상 등을 통해 배경 부분 등을 제거하고 볼 부분(21, 22, 23)만 남아있는 상태의 이미지를 나타낸 것이다.

도 5의 (a), (b) 및 (c)를 통해 볼이 왼쪽 대각선 방향으로 날아가는 상태임을 알 수 있는데, 볼이 카메라에 근접할 때에는 도 5의 (a)와 같이 볼(21)이 크게 보이다가 카메라에서 조금씩 멀어질수록 도 5의 (b) 및 (c)와 같이 볼(22, 23)이 점점 작게 보이는 것을 알 수 있다.

여기서 도 5의 (a), (b) 및 (c)에 나타낸 이미지, 즉 최초 취득된 이미지에서 배경 부분 및 각종 노이즈 부분을 차영상 등을 통해 제거하고 움직이는 부분인 볼 부분만 남은 상태의 이미지를 소스 이미지라 하기로 한다.

상기한 바와 같은 임의의 스핀 정보를 적용하여 그 적용된 임의의 스핀 정보가 진정한 스핀 정보인지 판단하는 방식으로 볼의 스핀을 산출하기 위해서는, 우선 도 5에 도시된 바와 같은 소스 이미지 각각으로부터 볼 부분(21, 22, 23)에 대한 이미지, 즉 볼 이미지만을 효과적으로 추출하는 것이 필요하다.

도 5의 (a) 내지 (c)에서는 각각의 소스 이미지에서 볼 부분만을 추출하는 과정을 나타내고 있는데, 먼저 소스 이미지에서 볼 부분(21, 22, 23)을 찾고, 도 6에 도시된 바와 같이 볼 부분(21)의 중심점(C)이 추출하는 이미지(211)의 중심점이 되고 볼 부분(21)의 외곽선이 추출하는 이미지(211)의 외곽선과 실질적으로 접하도록 하여 정확하게 추출하도록 함이 바람직하다.

즉, 본 발명의 일 실시예에 따른 영상처리방법에 의하면, 상기 S10 단계를 통해 연속하여 취득된 두 이미지 각각으로부터 소스 이미지를 추출할 수 있고 그로부터 각각 제1 볼 이미지 및 제2 볼 이미지를 추출할 수 있다(S12).

여기서, 먼저 취득된 이미지의 소스 이미지로부터 추출된 볼 이미지를 제1 볼 이미지, 뒤에 취득된 이미지의 소스 이미지로부터 추출된 볼 이미지를 제2 볼 이미지라 하기로 한다.

이와 같은 방법으로 각 소스 이미지로부터 볼 부분(21, 22, 23)만을 추출해 낸 이미지, 즉 볼 이미지(211, 212, 213)는 각각의 소스 이미지 상에서의 볼의 크기에 대응되는 크기이므로 서로 다른 크기를 가지며 각 소스 이미지 상에서 나타난 볼 부분(21, 22, 23)은 카메라와의 거리에 따라 조명의 영향이 다르기 때문에 밝기 또한 각 볼 이미지마다 다르다.

정확한 특징정보를 추출을 위해서는 각각의 볼 이미지(211, 212, 213)의 크기를 동일하게 하고 밝기를 정규화하는 것이 필요하다.

여기서, 본 발명의 일 실시예에 따른 영상처리방법에 의하면, 상기 S12 단계를 통해 추출된 제1 볼 이미지 및 제2 볼 이미지 각각에 대해 이미지 전처리(Pre-Processing) 및 이미지 정규화(Normalization)를 수행하여 상기 제1 볼 이미지로부터 제1 기준 이미지를 생성하고 상기 제2 볼 이미지로부터 제2 기준 이미지를 생성할 수 있다(S14).

이에 대해 설명하면, 도 7의 (a) 내지 (c)는 도 5의 (a) 내지 (c)에 각각 대응되는 볼 이미지에 대한 크기 및 밝기의 정규화가 이루어진 이미지를 나타낸 것이다.

즉 각각의 볼 이미지(211, 212, 213)에 대해 미리 설정된 크기에 맞추어서 확대 또는 축소 하거나 볼 이미지(211, 212, 213)들 중 어느 하나를 기준으로 이에 맞게 다른 볼 이미지들을 확대 또는 축소함으로써 볼 이미지의 크기가 서로 동일하게 되도록 할 수 있다.

그리고 각각의 볼 이미지에서 특히 볼의 중심 부분에 나타나는 hot pixels들을 제거하고, 각각의 볼 이미지에 대해 볼 부분을 이루는 모들 픽셀들의 평균값을 이용하여 정규화 처리를 함으로써 각 볼 이미지의 전체적인 밝기가 서로 동일하게 되도록 한다.

상기한 바와 같이 볼 이미지에 대한 정규화가 완료된 후에는 각각의 정규화된 볼 이미지, 즉 기준이미지에 대해, 도 8의 (d)에 도시된 바와 같이 특징정보 생성부에 의한 특징정보의 생성이 이루어지게 된다.

즉, 본 발명의 일 실시예에 따른 영상처리방법에 의하면, 상기 S14 단계를 통해 추출된 제1 기준 이미지 및 제2 기준 이미지로부터 각각 제1 특징정보 및 제2 특징정보를 생성할 수 있다(S16). 상기 특징정보는 영상 에지(Edge) 정보를 검출하여 그로부터 생성될 수 있다.

이에 대해 설명하면, 도 8의 (a)는 소스 이미지로부터 추출된 볼 이미지의 일 예를 나타내고, 도 8의 (b)는 (a)에 나타낸 볼 이미지에 대해 이미지 정규화가 된 기준이미지의 일 예를 나타내며, 도 8의 (c)는 (b)에 나타낸 기준이미지에 대해 미리 설정된 기준에 따라 에지(Edge)가 검출된 상태를 나타내고, 도 8의 (d)는 상기 (c)에 나타낸 바와 같은 검출된 에지 정보로부터 미리 설정된 조건에 따라 추출되어 생성된 특징정보를 나타낸다.

상기 에지 정보는, 상기 운동하는 볼이 골프공인 경우 딤플에 대한 영상 에지 정보일 수도 있고, 상기 딤플에 골프공의 흠집 등이 모두 나타난 영상 에지 정보일 수도 있으며, 상기 딤플에 골프공의 로고나 특정 마크 등이 모두 나타난 영상 에지 정보일 수도 있다.

도 8의 (c)는 볼 상의 딤플과 로고에 대해 검출된 에지 정보에 대해 나타내고 있다.

여기서 에지(Edge)란 일정 영역 내에서 급격하게 밝기가 변화하는 지점을 말하며, 에지 검출을 위한 소정의 조건들을 미리 설정하여 상기 도 8의 (c)와 같이 기준이미지로부터 에지를 검출할 수 있다.

상기 에지 정보는 검출된 픽셀들의 좌표 정보와 해당 픽셀들의 밝기로 표현되는 에지강도(Edge Intensity)값을 가진다.

여기서, 본 발명은 상기 에지강도값을 이용하여 도 8의 (d)에 나타낸 바와 같은 특징정보를 생성하는데, 에지로서 검출된 모든 픽셀들의 좌표정보 및 에지강도값을 특징정보로 이용할 수도 있지만, 스핀 산출을 위한 계산량을 합리적으로 감소시키기 위해 상기 검출된 에지에 해당하는 픽셀들 중 일부 픽셀들만 추출하여 그 추출된 픽셀들의 좌표 정보 및 에지강도값을 특징정보로서 생성하는 것이 바람직하다.

도 8의 (d)에서는 검출된 에지 정보로부터 추출된 특징정보를 시각적으로 표현하기 위해 편의상 특징정보에 해당하는 부분을 빨간색으로 표시하였다.

상기 특징정보로서 생성할 픽셀들은 에지강도값, 즉 에지를 이루는 픽셀의 밝기값에 따라 선정될 수 있는데, 예컨대 상기 검출된 에지 정보에서 에지강도값이 미리 설정된 상위 범위에 해당하는 픽셀들을 선정하여 특징정보로 이용할 수도 있고 에지강도값에 대한 소정의 범위를 미리 정의해 놓고 그 정의된 범위에 해당하는 에지강도값을 갖는 픽셀들을 추출하여 특징정보로 이용할 수도 있다. 상기한 에지강도값에 대한 범위는 많은 시험과 경험 등에 의해 적절하게 설정될 수 있다.

상기한 바와 같이 특징정보가 생성되면, 그 생성된 특징정보는 상기 에지강도값에 의해 추출된 픽셀들 각각의 좌표 정보와 해당 픽셀의 에지강도값에 대한 정보를 포함하게 된다.

본 발명은 운동하는 볼에 대해 연속하여 취득되는 여러 이미지 중 연속하는 두 이미지로부터 각각 제1 볼 이미지 및 제2 볼 이미지를 추출하고, 제1 볼 이미지와 제2 볼 이미지에 대해 각각 이미지 전처리(pre-processing) 및 정규화(normalization)를 거쳐 제1 기준이미지 및 제2 기준이미지를 각각 생성하며, 상기 제1 기준이미지로부터 에지를 검출하여 제1 특징정보를 생성하고 상기 제2 기준이미지로부터 에지를 검출하여 제2 특징정보를 생성하여, 상기 제1 특징정보와 제2 특징정보를 이용하여 유사도를 산출함으로써 최종적인 스핀 정보를 결정하게 된다.

여기서, 상기 유사도에 대한 산출은 미리 정의된 함수에 따른 값일 수 있으며, 이는 앞서 설명한 '제1 특징정보에 대해 임의의 스핀을 적용하고 그 임의의 스핀 정보를 적용한 결과와 제2 특징정보를 이용하여 상기 임의의 스핀 정보를 최종 스핀 정보로 결정하는 것이 적합한지 여부를 판단하기 위한 함수값'의 일 예에 해당한다.

도 9의 (a)에서는 상기한 바와 같은 제1 볼 이미지로부터 제1 기준이미지를 생성하고 그 제1 기준이미지로부터 에지가 검출된 상태에 관하여 나타내고 있다.

그리고, 도 9의 (c)에서는 상기한 바와 같은 제2 볼 이미지로부터 제2 기준이미지를 생성하고 그 제2 기준이미지로부터 에지가 검출된 상태에 관하여 나타내고 있다.

도 9의 (b)는 상기 도 9의 (a)에 나타낸 바와 같이 검출된 에지 정보로부터 미리 설정된 상위 범위에 해당하는 픽셀들을 검출하여 생성된 제1 특징정보를 나타내고 있고, 도 9의 (d)는 상기 도 9의 (c)에 나타낸 바와 같이 검출된 에지 정보로부터 미리 설정된 상위 범위에 해당하는 픽셀들을 검출하여 생성된 제2 특징정보를 나타내고 있다.

본 발명은 도 9의 (b)에 나타낸 바와 같은 제1 특징정보와 도 9의 (d)에 나타낸 바와 같은 제2 특징정보를 이용하여 운동하는 볼의 스핀 정보를 산출한다.

상기한 바와 같이 제1 특징정보와 제2 특징정보가 마련되면, 이를 이용하여 스핀 산출부에 의한 운동하는 볼의 스핀 정보를 산출하는 과정이 진행된다.

즉, 도 4에 도시된 플로우차트를 참조하면, 상기 제1 특징정보 및 제2 특징정보의 픽셀들의 위치 정보를 각각 3차원 위치 정보로 변환하고(S22), 그 변환된 3차원 위치 정보에 대한 위치 보정 정보를 적용한다(S24).

그리고, 임의의 스핀축 및 스핀양을 추출하여 상기 제1 특징정보로부터 변환된 3차원 위치 정보에 적용하고(S26), 임의의 스핀축 및 스핀양이 적용된 3차원 위치 정보를 2차원 위치 정보로 변환하여 ‘임의회전 특징정보’를 생성하며(S28), 상기 제2 특징정보로부터 변환된 3차원 위치 정보를 2차원 위치 정보로 변환하여 ‘타깃 특징정보’를 생성한다(S32).

이하, 상기한 ‘임의회전 특징정보’ 및 ‘타깃 특징정보’를 각각 생성하는 과정에 관하여 설명하도록 한다.

여기서 볼의 스핀은 도 10에 도시된 바와 같이 i축, j축 및 k축 좌표계에 따른 3차원 공간상의 스핀축에 대한 좌표 정보 및 상기 스핀축을 중심으로 회전한 각도, 즉 스핀양에 대한 정보를 산출함으로써 구해질 수 있다.

도 10에 도시된 바와 같이 3차원 공간상에서의 회전 운동은 피치, 요, 롤(pitch, yaw, roll) 성분을 각각 포함할 수 있고(예컨대 스핀축이 k축과 일치할 경우에는 볼은 사이드 스핀(Side Spin)만 갖게 되고 스핀축이 i축과 일치할 경우에는 볼은 백 스핀(Back Spin) 또는 포워드 스핀(Forward Spin)만 갖게 된다), i축 방향의 회전 성분을 θ, j축 방향의 회전 성분을 λ, 그리고 k축 방향의 회전 성분을 ρ라 하면, 구하고자 하는 스핀의 벡터(ω)는 아래 [식 1]과 같이 나타낼 수 있다.

[식 1]

상기 스핀 벡터(ω)로부터 아래 [식 2]와 같이 스핀축 정보와 [식 3]과 같이 스핀양 정보를 각각 산출할 수 있다. 여기서 α는 스핀양 정보를 나타낸다.

[식 2]

[식 3]

따라서 운동하는 볼의 스핀에 대한 yaw 회전 성분인 θ와, roll 회전 성분인 λ, 그리고 pitch 회전 성분인 ρ 값을 찾음으로써 스핀축 및 스핀양 정보를 구할 수 있다.

이와 같은 스핀축 및 스핀양 정보를 찾는 일은 도 9의 (b) 및 (d)에 각각 나타낸 바와 같은 제1 특징정보 및 제2 특징정보를 이용하여 이루어질 수 있다.

이를 위해서는 우선 상기 제1 특징정보 및 제2 특징정보를 이루는 각 픽셀들의 위치 정보에 대한 보정이 필요하다.

즉 카메라에 의해 취득된 이미지 상의 볼의 위치는 카메라가 바라보는 방향에 따라 스핀축 및 스핀양이 다르게 관찰되기 때문에 정확하게 기준을 세워 그 기준에 맞게 절대적인 스핀축 및 스핀양을 산출할 수 있도록 함이 필요하며, 이를 위해서는 연속적으로 취득되는 각각의 이미지마다 볼에 대해 상대적으로 카메라가 동일한 위치 및 방향으로 볼을 바라본 것처럼 카메라의 위치 및 방향 정보를 보정함으로써 볼의 정확한 스핀 정보를 산출할 수 있게 되는 것이다.

도 11 및 도 12는 상기한 위치 보정에 대한 원리를 설명하기 위한 도면이다.

본 발명에 따른 센싱장치 및 센싱방법은 연속하는 두 개의 이미지를 가지고 특징정보를 이루는 각 픽셀의 위치 변화로부터 스핀 정보를 산출하도록 하는 것이며, 정확한 스핀 정보 산출을 위해서는 분석하는 각각의 연속하는 한 쌍의 이미지가 각각 동일한 위치 및 방향에서 볼을 바라본 상태이어야 하는 것이다.

즉 연속하여 취득되는 이미지 각각에 대해(항상 고정된 카메라가 지나가는 볼을 바라보고 촬영한 것임) 카메라가 볼과 함께 움직이면서 항상 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 각각의 이미지를 보정하는 것이 필요한 것이다.

이와 같은 카메라의 위치 및 방향의 기준을 정립하기 위한 일 예로서, 도 11에 도시된 바와 같이 볼(10)이 d방향을 따라 운동할 때 볼이 진행하는 방향의 벡터 성분 Bj에 대해 수직인 평면(p)에 포함되면서 지면(G)과 평행한 벡터 성분인 Bi 방향에서 볼(10)을 바라보는 방향을 기준으로 할 수 있다.

즉, 도 12에 도시된 바와 같이 볼이 d방향을 따라 진행하면서 카메라(110)에 의해 촬영되는 각각의 위치마다 볼(10)이 진행하는 방향 벡터 Bj에 대해 수직을 이루면서 지면(G)에 평행한 방향 벡터 Bi 방향으로 카메라가 볼을 바라본 것처럼 되도록 카메라(10)의 위치 및 방향을 보정하기 위한 위치 보정 정보를 생성하여 이를 스핀 산출에 적용할 필요가 있다.

이와 같은 위치 보정은 이미 알고 있는 고정된 카메라의 좌표 정보와 볼의 중심 좌표 정보를 이용하여 카메라가 볼을 바라보는 각도를 보정함으로써 이루어질 수 있고, 실제로 이미지를 그와 같이 보정하는 것이 아니라 상기한 제1 특징정보 및 제2 특징정보 각각을 이루는 픽셀들 각각의 위치 좌표에 그 보정되는 부분에 대한 정보를 적용함으로써 해결될 수 있다.

한편, 상기한 제1 특징정보를 이루는 픽셀들 각각의 위치 정보를 3차원 위치 정보로 변환하고 상기한 바와 같은 위치 보정 정보를 적용한 후, 이에 임의의 스핀 축 및 스핀양 정보를 적용하고 이를 다시 2차원 위치 정보로 변환한다. 이하 이를 “임의회전 특징정보”라 하기로 한다.

상기한 제2 특징정보를 이루는 픽셀들 각각의 위치 정보를 3차원 위치 정보로 변환하고 상기한 바와 같은 위치 보정 정보를 적용한 후, 이를 2차원 위치 정보로 변환한다. 이하 이를 “타깃 특징정보”라 하기로 한다.

상기한 바와 같이 “임의회전 특징정보”와 “타깃 특징정보”가 각각 생성되면, 상기 임의회전 특징정보와 타깃 특징정보를 서로 비교하여 유사한 정도, 즉 유사도를 미리 설정된 함수에 따라 값으로 산출할 수 있게 된다(도 4에 도시된 플로우차트 상의 S34 단계 참조).

그리고 그 산출된 유사도 값에 대해 최대값을 선택하거나 미리 설정된 기준값을 넘는 값을 선택하여, 그 선택된 값에 따른 임의회전 특징정보에 적용된 임의의 스핀축 및 스핀양 정보를 최정적인 스핀축 및 스핀양 정보로 결정할 수 있다(도 4에 도시된 플로우차트 상의 S36 단계 참조).

여기서, 상기한 임의회전 특징정보와 타깃 특징정보의 유사도는 임의회전 특징정보의 각 픽셀이 가지고 있는 에지강도값과 타깃 특징정보의 각 픽셀이 가지고 있는 에지강도값에 의해 산출될 수 있다.

즉, 상기한 유사도는 임의회전 특징정보와 타깃 특징정보에 대해 서로 대응되는 픽셀들의 에지강도값을 비교하여 얼마만큼의 유사성이 있는지를 미리 설정한 함수에 의해 값으로서 산출될 수 있다.

그 산출된 유사도의 값이 최대값인지 아닌지 판단하기 위해서는 임의의 스핀축 및 스핀양을 여러 번 적용할 필요가 있고, 그 적용 횟수 등은 미리 설정할 수 있다.

또는 많은 시험과 경험을 통해 유사도에 대한 적절한 기준값을 설정해 놓고, 임의회전 특징정보와 타깃 특징정보를 비교하여 산출한 유사도 값이 그 기준값을 넘는 경우에 그 임의회전 특징정보에 적용된 스핀축 및 스핀양을 최종적인 스핀축 및 스핀양으로 결정하는 것도 가능하다.

한편, 도 4의 S26 단계에서 임의의 스핀축을 적용함에 있어서, 도 10에 도시된 바와 같이 pitch 회전 성분, yaw 회전 성분 및 roll 회전 성분을 모두 고려하는 것은 임의의 스핀축 및 스핀양 추출에 상당히 많은 경우의 수를 고려해야 함을 의미하는 것이므로 이에 대한 제한 범위를 상당히 합리적으로 설정하는 것이 가능하며, 임의의 스핀양을 적용함에 있어서도 이와 같은 합리적인 제한 범위 설정이 가능하고 그와 같이 제한된 범위 내에서 주로 임의의 스핀축 및 스핀양 정보를 추출하게 됨으로써 경우의 수를 대폭 줄일 수 있어 계산양을 상당히 감소시킬 수 있어 신속한 스핀 산출이 가능하도록 할 수 있다.

즉 볼의 운동 특성 및 카메라의 프레임 속도를 고려하여 임의의 스핀축 및 스핀양 추출에 대한 제한 조건을 설정할 수 있어 빠른 스핀 산출이 가능하게 되는 것이다.

골프공에 대해 골프 클럽으로 타격을 하는 경우, 도 9에 도시된 바와 같은 스핀의 3가지 회전 성분 중 주로 피치(pitch) 회전 성분 및 요(yaw) 회전 성분이 강하게 나타나고 상대적으로 롤(roll) 회전 성분은 없거나 거의 무시할 수 있는 수준이다.

즉 골프공을 타격하면 거의 좌우 사이드 스핀과 앞뒤 스핀이 발현되고 볼의 진행 방향을 기준으로 롤링(rolling) 하는 회전 성분은 없거나 거의 무시할 수 있는 정도이다.

따라서 임의의 스핀축으로서 선택할 수 있는 경우는 롤(roll) 회전 성분을 무시하고 피치(pitch) 회전 성분 및 요(yaw) 회전 성분만을 고려하여 선택할 수 있기 때문에 임의의 스핀축에 대한 경우의 수를 상당히 감소시킬 수 있다.

한편, 골프공에 대해 골프 클럽으로 타격을 하는 경우, 한 프레임에 찍힌 이미지 상의 볼 상태에서 그 뒷 프레임에 찍힌 이미지 상의 볼 상태로의 회전 정도는 한계가 있다.

즉 사람의 타격에 의해 회전할 수 있는 최대 스핀 한계가 존재하고 이미지를 취득하는 카메라의 프레임 속도에도 한계가 있으므로, 이들을 통해 임의의 스핀양에 대한 경우의 수를 대폭 한정할 수 있다.

따라서 상기한 바와 같이 임의의 스핀축 및 스핀양에 대한 제한 범위를 미리 설정함으로써 계산량을 감소시켜 신속한 스핀 산출이 가능하게 될 수 있다.

한편, 지금까지 연속하여 취득된 이미지들 중 두 이미지에 대해만 스핀 정보를 산출하는 과정을 설명하였는데, 카메라에 따라 초당 수십 프레임에서 많게는 초당 수천 프레임을 취득할 수 있고 이들 취득된 다수의 연속적인 이미지들 모두에 대해 상기한 바와 같은 스핀 산출 과정이 진행될 수도 있고 그 중 일부에 대해서만 진행될 수도 있다.

즉, 연속하는 두 이미지 중 먼저 취득된 이미지와 뒤에 취득된 이미지를 한 쌍의 이미지로 하여 다수의 쌍에 대해 각각 상기한 바와 같은 스핀 산출 과정을 거쳐 산출된 다수개의 스핀 정보는 약간씩 다를 수 있는데, 이를 미리 설정된 함수(예컨대 평균값을 취한다거나 가장 유사도가 높았던 스핀 정보 몇 개에 대해서만 평균을 낸 값을 취하는 등)에 따라 취합하여 최종적인 스핀 정보를 산출할 수도 있고, 상기 산출된 다수개의 스핀 정보 중 가장 유사도가 높았던 스핀 정보를 최종적인 스핀 정보로서 선택할 수도 있다.

Claims (14)

1. 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는, 운동하는 볼에 대한 센싱장치에 있어서,
   운동하는 볼에 대한 연속적인 이미지를 취득하는 이미지 취득부;
   상기 이미지 취득부에 의해 연속적으로 취득된 제1 이미지 및 제2 이미지 각각에 대해 이미지 처리를 통해 상기 운동하는 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 이미지 처리부; 및
   상기 제1 이미지에 대한 특징정보에 대해 임의의 스핀을 적용한 결과와 상기 제2 이미지에 대한 특징정보를 이용하여 미리 설정된 사항에 따라 상기 임의의 스핀 정보를 최종 스핀 정보로 결정하는 것이 적합한지 여부를 판단함으로써 최종 스핀 정보를 결정하는 스핀 산출부;
   를 포함하는 운동하는 볼에 대한 센싱장치.
2. 제1항에 있어서, 상기 이미지 처리부는,
   상기 제1 이미지로부터 추출된 제1 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하고, 상기 제2 이미지로부터 추출된 제2 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하도록 구성되는 특징정보 생성부를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
3. 제1항에 있어서,
   상기 제1 이미지로부터 볼 이미지를 추출하여 제1 볼 이미지를 생성하고, 상기 제2 이미지로부터 볼 이미지를 추출하여 제2 볼 이미지를 생성하며, 상기 추출된 제1 볼 이미지 및 제2 볼 이미지에 대해 미리 설정된 사항에 따라 이미지 전처리를 수행하는 이미지 전처리부와,
   상기 제1 볼 이미지와 제2 볼 이미지에 대해 크기와 밝기의 정규화를 수행하여, 상기 제1 볼 이미지로부터 제1 기준 이미지를 생성하고, 상기 제2 볼 이미지로부터 제2 기준 이미지를 생성하는 이미지 정규화부와,
   상기 제1 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하고, 상기 제2 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하는 특징정보 생성부를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
4. 제2항 또는 제3항에 있어서,
   상기 영상 에지 정보로부터 생성되는 제1 특징정보 및 제2 특징정보는 상기 볼의 딤플에 대한 영상 에지 정보, 상기 볼에 형성된 로고나 특정 마크에 대한 영상 에지 정보 및 상기 볼 상의 흠집이나 이물질에 대한 영상 에지 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
5. 제2항 또는 제3항에 있어서,
   상기 제1 특징정보 및 제2 특징정보는 미리 설정된 에지 검출 조건에 따라 검출된 픽셀들 각각의 좌표값 및 에지 강도값을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
6. 제2항 또는 제3항에 있어서,
   상기 제1 특징정보 및 제2 특징정보는 미리 설정된 에지 검출 조건에 따라 검출된 픽셀들 중 미리 설정된 미리 설정된 에지 강도값의 범위에 해당하는 픽셀들을 추출하여 그 추출된 픽셀들 각각의 좌표값 및 에지 강도값을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
7. 제2항 또는 제3항에 있어서, 상기 스핀 산출부는,
   상기 제1 특징정보에 해당하는 픽셀들 각각의 좌표를 3차원 좌표 정보로 변환하고, 그 변환된 3차원 좌표 정보에 대해 임의의 스핀 정보를 적용하며, 상기 임의의 스핀 정보가 적용된 픽셀들을 2차원 좌표 정보로 변환함으로써 임의회전 특징정보를 생성하는 임의 스핀 적용부와,
   상기 임의회전 특징정보의 에지 강도값과 상기 제2 특징정보로부터 추출된 타깃 특징정보의 에지 강도값을 비교하여 유사도 정보를 산출하고, 상기 산출된 유사도 정보를 이용하여 상기 임의의 스핀 정보가 최종 스핀 정보로서 적합한지 판단하여 최종 스핀 정보를 결정하는 스핀 결정부를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
8. 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는, 운동하는 볼에 대한 센싱방법에 있어서,
   운동하는 볼에 대한 연속적인 이미지를 취득하는 단계;
   상기 연속적으로 취득된 제1 이미지 및 제2 이미지 각각에 대해 이미지 처리를 통해 상기 운동하는 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 단계; 및
   상기 제1 이미지에 대한 특징정보에 대해 임의의 스핀을 적용한 결과와 상기 제2 이미지에 대한 특징정보를 이용하여 미리 설정된 사항에 따라 상기 임의의 스핀 정보를 최종 스핀 정보로 결정하는 것이 적합한지 여부를 판단함으로써 최종 스핀 정보를 결정하는 단계;
   를 포함하는 운동하는 볼에 대한 센싱방법.
9. 제8항에 있어서, 상기 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 단계는,
   상기 제1 이미지로부터 추출된 제1 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하는 단계와,
   상기 제2 이미지로부터 추출된 제2 볼 이미지에 대해 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
10. 제8항에 있어서, 상기 볼의 스핀 정보 산출을 위한 특징정보를 각각 생성하는 단계는,
    상기 제1 이미지로부터 추출된 제1 볼 이미지 및 상기 제2 이미지로부터 추출된 제2 볼 이미지에 대해 미리 설정된 조건에 따라 크기와 밝기의 정규화를 수행하는 단계와,
    상기 제1 볼 이미지로부터 상기 정규화를 통해 제1 기준 이미지를 생성하고 상기 제2 볼 이미지로부터 상기 정규화를 통해 제2 기준 이미지를 생성하는 단계와,
    상기 제1 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제1 특징정보를 생성하는 단계와,
    상기 제2 기준 이미지로부터 영상 에지 정보를 검출하고 그로부터 제2 특징정보를 생성하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
11. 제10항에 있어서,
    상기 제1 특징정보를 이용하여, 운동하는 볼에 대한 이미지를 취득하는 카메라의 위치 및 방향에 대한 위치 보정 정보 및 3차원 공간 상의 임의의 스핀 정보를 적용하여 임의회전 특징정보를 생성하는 단계와,
    상기 제2 특징정보를 이용하여 상기 위치 보정 정보를 적용하여 타깃 특징정보를 생성하는 단계와,
    상기 임의회전 특징정보의 에지 강도값과 상기 타깃 특징정보의 에지 강도값을 비교하여 유사도 정보를 산출하고, 상기 산출된 유사도 정보를 이용하여 상기 임의의 스핀 정보가 최종 스핀 정보로서 적합한지 판단하여 최종 스핀 정보를 결정하는 단계를 더 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
12. 제11항에 있어서, 상기 임의회전 특징정보를 생성하는 단계는,
    상기 제1 특징정보에 따른 픽셀들 각각의 좌표를 3차원 좌표로 변환하는 단계와,
    상기 3차원 좌표로 변환된 픽셀들에 대해 상기 위치보정 정보를 적용하는 단계와,
    상기 위치 보정 정보가 적용된 각 픽셀 좌표 정보에 대해 임의의 스핀 정보를 적용하는 단계와,
    상기 임의의 스핀 정보가 적용된 픽셀들을 2차원 좌표 정보로 변환함으로써 임의회전 특징정보를 생성하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
13. 제11항에 있어서, 상기 최종 스핀 정보를 결정하는 단계는,
    서로 다른 임의의 스핀 정보에 대해 미리 설정된 횟수만큼 상기 임의회전 특징정보를 생성하는 단계를 반복 수행하여 유사도 정보를 각각 산출하는 단계와,
    상기 반복 수행하여 산출된 각각의 유사도 정보 중 최대값을 갖는 경우의 임의의 스핀 정보를 최종 스핀 정보로서 결정하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
14. 제11항에 있어서, 상기 최종 스핀 정보를 결정하는 단계는,
    최종 스핀 정보로서 결정하기 위한 상기 유사도 정보의 기준값을 미리 설정하는 단계를 더 포함하며,
    상기 산출된 유사도 정보가 상기 미리 설정된 기준값 이상이거나 그 보다 큰값이 산출될 때까지 반복적으로 상기 임의의 스핀 정보를 적용하여, 상기 미리 설정된 기준값 이상이거나 그 보다 큰 유사도 정보가 산출되는 경우의 임의의 스핀 정보를 최종 스핀 정보로서 결정하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.

Images