KR20140090010A

KR20140090010A - 운동하는 볼에 대한 센싱장치 및 센싱방법

Info

Publication number: KR20140090010A
Application number: KR1020130002204A
Authority: KR
Inventors: 김세환
Original assignee: (주) 골프존
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2014-07-16
Also published as: EP2945119A1; AU2014205858A1; AU2014205858B2; TWI520104B; TW201604838A; CN104981846B; US11582426B2; WO2014109545A1; TWI554980B; KR101472274B1; US20180367764A1; US20150350609A1; TW201435811A; JP2016503893A; EP2945119A4; CN104981846A; JP6080029B2

Abstract

본 발명은 소정의 카메라 장치에 의해 구현되는 이미지 취득수단을 통해 취득된 운동하는 볼에 대한 연속적인 이미지로부터 볼 자체에 표시되어 있는 상표나 로고 등의 특징부를 추출하여 그로부터 운동하는 볼이 회전하는 스핀축 및 스핀양을 산출할 수 있도록 함으로써 적은 계산량으로 간단하게, 그리고 빠르고 정확하게 볼의 스핀 산출이 가능하여 비교적 저성능의 시스템에서도 빠르고 안정적으로 볼의 스핀 산출이 이루어질 수 있도록 할 수 있는, 운동하는 볼에 대한 센싱장치 및 센싱방법을 제공하기 위한 것으로서, 이를 위한 본 발명에 따른 운동하는 볼에 대한 센싱장치는, 연속적인 이미지를 취득하는 이미지 취득수단과, 취득된 이미지로부터 특징부를 추출하는 이미지 처리수단과, 추출된 특징부를 이용하여 스핀을 산출하는 스핀 산출 수단을 포함한다.

Description

운동하는 볼에 대한 센싱장치 및 센싱방법{DEVICE FOR SENSING MOVING BALL AND METHOD FOR THE SAME}

본 발명은 운동하는 볼에 대한 이미지를 취득하여 이를 소정 처리하여 분석함으로써 볼의 스핀을 산출하도록 하기 위한, 운동하는 볼에 대한 센싱장치 및 센싱방법에 관한 것이다.

볼을 이용하는 스포츠 경기, 특히 골프의 경우 골퍼에 의해 타격되어 운동하는 볼의 물리적 특성을 정확하게 센싱하여 그 센싱된 값을 이용하여 타구 분석을 한다던지 이를 영상으로 구현하여 소위 스크린 골프와 같은 시뮬레이션 골프 분야에 적용하는 시도는 항상 이루어져 왔었다.

특히 타격에 의해 날아가는 볼의 스핀(Spin)은 3차원 공간상의 축을 중심으로 매우 고속으로 회전하기 때문에 이를 측정하는 것은 상당히 어렵고 또한 정확한 측정을 위해서는 상당히 고가의 장비가 필요한데, 대표적으로 레이더 센서(Radar Sensor)를 이용하는 방식이 있다.

그러나 이러한 고가의 센싱장치는, 사용자가 골프 스윙에 의해 타격한 볼을 센싱하여 볼의 궤적을 산출하고 그로부터 가상의 골프코스에서의 골프 시뮬레이션이 이루어지도록 하는 소위 스크린 골프나 골프 연습장에서의 타구 분석 등에 범용으로 이용되는 센싱장치로서는 적합하지 않으며, 비교적 값싸고 저능성의 시스템에서도 빠르고 정확하게 볼의 스핀을 센싱할 수 있도록 하는 기술의 개발이 필요한 실정이다.

본 발명은 소정의 카메라 장치에 의해 구현되는 이미지 취득수단을 통해 취득된 운동하는 볼에 대한 연속적인 이미지로부터 볼 자체에 표시되어 있는 상표나 로고 등의 특징부를 추출하여 그로부터 운동하는 볼이 회전하는 스핀축 및 스핀양을 산출할 수 있도록 함으로써 적은 계산량으로 간단하게, 그리고 빠르고 정확하게 볼의 스핀 산출이 가능하여 비교적 저성능의 시스템에서도 빠르고 안정적으로 볼의 스핀 산출이 이루어질 수 있도록 할 수 있는, 운동하는 볼에 대한 센싱장치 및 센싱방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치는, 표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 이미지 취득수단; 상기 이미지 취득수단에 의해 연속적으로 취득된 이미지 각각에 대해 볼 부분 상의 특징부 부분을 추출하도록 구성되는 이미지 처리수단; 및 운동하는 볼에 대하여 연속하여 취득된 두 이미지 중 먼저 취득된 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보와 상기 연속하여 취득된 두 이미지 중 나중에 취득된 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 비교 분석함으로써 상기 제1 이미지로부터 제2 이미지로의 볼의 운동에 따른 스핀축 및 스핀양을 산출하도록 구성되는 스핀 산출 수단을 포함한다.

또한 바람직하게는, 상기 이미지 취득수단은, 동일한 볼을 바라보는 서로 다른 위치에 설치된 복수개의 카메라에 의해 스테레오 방식으로 구성되는 스테레오 카메라 또는 3D 카메라에 의해 구현되는 것을 특징으로 한다.

또한 바람직하게는, 상기 이미지 처리수단은, 상기 이미지 취득수단에 의해 취득된 이미지 상의 볼 부분을 찾아 소정 크기의 이미지로 추출하여 볼 이미지를 마련하도록 구성되는 볼 이미지 추출수단과, 상기 볼 이미지로부터 상기 특징부 부분을 추출하여 볼 특징부 이미지를 마련하도록 구성되는 볼 특징부 추출수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 볼 이미지 추출수단에 의해 상기 제1 이미지 및 제2 이미지에 대한 제1 볼 이미지 및 제2 볼 이미지가 각각 추출되고, 상기 볼 특징부 추출수단에 의해 상기 제1 볼 이미지 및 제2 볼 이미지에 대한 제1 특징부 이미지 및 제2 특징부 이미지가 각각 추출된 상태에서, 상기 스핀 산출 수단은 상기 제1 특징부 이미지로부터 상기 제1 특징부 이미지로 변화되도록 하는 스핀축 및 스핀양을 찾도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 스핀 산출 수단은, 상기 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하여 임의의 스핀축 및 스핀양에 대한 정보를 적용하고 다시 2차원 위치 정보로 변환하여 임의 스핀 특징부 정보를 산출하도록 구성되는 임의 스핀 적용 수단과, 상기 임의 스핀 특징부와 상기 제2 이미지 상의 볼 부분의 특징부를 서로 비교하여 유사도를 산출하여 상기 유사도가 미리 설정된 값을 넘거나 그 이상인 경우 해당 스핀축 및 스핀양 정보를 최종 스핀축 및 스핀양 정보로서 결정하도록 구성되는 스핀 결정 수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 스핀 산출 수단은, 상기 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하여 임의의 스핀축 및 스핀양에 대한 정보를 적용하고 다시 2차원 위치 정보로 변환하여 임의 스핀 특징부 정보를 산출하도록 구성되는 임의 스핀 적용 수단과, 상기 임의 스핀 특징부 정보와 상기 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 서로 비교하여 서로 일치하는 픽셀의 개수를 산출하며, 상기 일치하는 픽셀의 개수가 미리 설정된 개수를 넘거나 그 이상인 경우 해당 스핀축 및 스핀양 정보를 최종 스핀축 및 스핀양 정보로서 결정하도록 구성되는 스핀 결정 수단을 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 스핀 산출 수단은, 연속적으로 취득된 각각의 이미지에서 카메라가 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 상기 카메라의 위치 및 방향에 대한 정보를 보정하기 위한 위치 보정 정보를 산출하여, 상기 각 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 적용하도록 구성되는 위치 보정 수단을 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 임의 스핀 적용 수단은, 볼의 운동 특성 및 상기 카메라의 프레임 속도를 고려하여 미리 설정된 제한 조건에 따라 임의의 스핀축 및 임의의 스핀양을 선택하여 적용하도록 구성되는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치는, 표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 이미지 취득수단; 상기 이미지 취득수단에 의해 연속적으로 취득된 이미지 각각에 대해 볼 부분을 추출하고 그로부터 각각 특징부 부분을 추출하여 각각의 연속된 이미지에 대한 특징부 이미지를 마련하도록 구성되는 이미지 처리수단; 및 연속하는 두 특징부 이미지 중 먼저 취득된 이미지에 대한 특징부 이미지로부터 뒤에 취득된 이미지에 대한 특징부 이미지로 변화되도록 하는 스핀축 및 스핀양을 찾도록 구성되는 스핀 산출 수단을 포함한다.

한편, 본 발명의 일 실시예에 따른, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법은, 표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 단계; 상기 연속적으로 취득된 이미지 각각에 대해 볼 부분의 일측에 표시된 상기 특징부를 추출하는 단계; 운동하는 볼에 대하여 연속하여 취득된 두 이미지 중 먼저 취득된 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보를 산출하는 단계; 및 상기 연속하여 취득된 두 이미지 중 나중에 취득된 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 상기 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보와 비교 분석함으로써 상기 제1 이미지로부터 제2 이미지로의 볼의 운동에 따른 스핀축 및 스핀양을 산출하는 단계를 포함한다.

또한 바람직하게는, 상기 특징부를 추출하는 단계에서 추출된 각 특징부에 대해, 상기 각 특징부를 이루는 픽셀들의 위치 정보를 3차원 위치 정보로 변환하는 단계와, 연속적으로 취득된 각각의 이미지에서 카메라가 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 상기 카메라의 위치 및 방향에 대한 정보를 보정하기 위한 위치 보정 정보를 산출하는 단계를 포함하여, 상기 변환된 3차원 위치 정보에 대해 상기 위치 보정 정보를 적용하여 상기 임의 스핀 정보 적용 및 스핀 정보 산출이 이루어지도록 한 것을 특징으로 한다.

또한 바람직하게는, 상기 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보를 산출하는 단계는, 상기 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하는 단계와, 임의의 스핀축 및 스핀양 정보를 추출하여 상기 변환된 3차원 위치 정보에 대해 적용하는 단계와, 상기 임의의 스핀축 및 스핀양이 적용된 3차원 위치 정보를 2차원 위치 정보로 변환하여 임의 스핀 특징부 정보를 산출하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 이미지로부터 제2 이미지로의 볼의 운동에 따른 스핀축 및 스핀양을 산출하는 단계는, 상기 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보와 상기 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 서로 비교하여 유사도 또는 서로 일치하는 픽셀의 개수를 산출하는 단계와, 상기 산출된 유사도가 미리 설정된 값을 넘거나 그 이상인 경우, 또는 상기 일치하는 픽셀의 개수가 미리 설정된 개수를 넘거나 그 이상인 경우, 해당 스핀축 및 스핀양 정보를 최종 스핀축 및 스핀양 정보로서 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 변환된 3차원 위치 정보에 대해 적용하는 임의의 스핀축 정보는, 물체의 회전에 대한 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향 중 두 요소에 따른 범위 내에서 임의 선택된 스핀축 정보를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 변환된 3차원 위치 정보에 대해 적용하는 임의의 스핀양 정보는, 사람의 타격에 의해 회전할 수 있는 최대 스핀 한계 및 이미지를 취득하는 카메라의 프레임 속도에 따라 미리 설정된 범위 내에서 임의 선택된 스핀양 정보를 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른, 운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법은, 표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 단계; 상기 연속적으로 취득된 이미지 각각에 대해 볼 부분 상의 특징부 부분을 추출하여 특징부 이미지를 각각 마련하는 단계; 및 연속하는 두 특징부 이미지 중 먼저 취득된 이미지에 대한 특징부 이미지로부터 뒤에 취득된 이미지에 대한 특징부 이미지로 변화되도록 하는 스핀축 및 스핀양을 찾는 단계를 포함한다.

또한 바람직하게는, 상기 스핀축 및 스핀양을 찾는 단계는, 연속적으로 취득된 각각의 이미지에서 카메라가 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 상기 카메라의 위치 및 방향에 대한 정보를 보정하기 위한 위치 보정 정보를 산출하여, 상기 각 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 적용하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 스핀축 및 스핀양을 찾는 단계는, 연속하는 두 이미지 중 먼저 취득된 이미지에 대한 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 임의의 스핀축 및 스핀양에 대한 임의 스핀 정보를 적용하는 단계와, 상기 임의 스핀 정보가 적용된 픽셀들의 위치 정보와 상기 연속하는 두 이미지 중 뒤에 취득된 이미지에 대한 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보를 비교하는 단계와, 상기 임의 스핀 정보가 적용된 픽셀들의 위치 정보와 상기 제2 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보가 미리 설정된 수준으로 유사한 것으로 판단되는 경우, 상기 임의 스핀 정보의 스핀축 및 스핀양을 최종 스핀축 및 스핀양으로서 결정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 스핀축 및 스핀양을 찾는 단계는, 연속하는 두 이미지 중 먼저 취득된 이미지와 뒤에 취득된 이미지를 한 쌍의 이미지로 하여 복수 쌍에 대해 각각 상기 임의 스핀 정보를 적용하는 단계, 위치 정보를 비교하는 단계 및 최종 스핀축 및 스핀양으로서 결정하는 단계를 실행시켜 산출된 복수개의 스핀 정보를 미리 설정된 함수에 따라 취합하여 운동하는 볼에 대한 스핀 정보를 산출하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법은 소정의 카메라 장치에 의해 구현되는 이미지 취득수단을 통해 취득된 운동하는 볼에 대한 연속적인 이미지로부터 볼 자체에 표시되어 있는 상표나 로고 등의 특징부를 추출하여 그로부터 운동하는 볼이 회전하는 스핀축 및 스핀양을 산출할 수 있도록 함으로써 적은 계산량으로 간단하게, 그리고 빠르고 정확하게 볼의 스핀 산출이 가능하여 비교적 저성능의 시스템에서도 빠르고 안정적으로 볼의 스핀 산출이 이루어질 수 있도록 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치의 구성을 간략히 나타낸 블록도이다.
도 2는 도 1에 도시된 구성을 이용하여 이미지 취득으로부터 볼의 스핀 산출에 이르기까지 각 구성요소별 기능을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 이미지 취득수단으로서 스테레오로 구성된 두 대의 카메라와 운동하는 볼에 대해 나타낸 도면이다.
도 4의 (a) 내지 (c)는 연속하여 취득된 이미지에 대한 소스 이미지를 각각 나타낸 것이다.
도 5의 (a) 내지 (c)는 도 4의 (a) 내지 (c)에 나타낸 각 소스 이미지로부터 볼 부분을 추출하는 과정을 설명하기 위한 도면이다.
도 6은 도 5에 도시된 바와 같은 볼 부분의 추출에 있어서 바람직한 추출 방법을 설명하기 위한 도면이다.
도 7의 (a) 내지 (c)는 도 5의 (a) 내지 (c)에 도시된 바와 같이 각각 추출된 볼 이미지에 대해 정규화 된 이미지를 각각 나타낸 것이다.
도 8의 (a) 및 (b)는 각각 연속하는 두 소스 이미지로부터 추출된 볼 이미지가 정규화된 이미지를 나타낸 것이고, 도 8의 (c) 및 (d)는 (a) 및 (b)에 나타낸 이미지에서 각각 특징부를 추출해 낸 특징부 이미지를 나타낸 것이다.
도 9는 운동하는 볼의 스핀 산출을 설명하기 위해 나타낸 도면이다.
도 10 및 도 11은 볼의 스핀 산출을 위해 카메라의 위치 및 방향에 대한 보정이 이루어지는 원리에 관하여 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱방법에 관하여 설명하기 위한 플로우차트이다.

본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법에 관한 구체적인 내용을 도면을 참조하여 설명하도록 한다.

본 발명은 기본적으로 사용자가 골프 클럽으로 골프공(이하 "볼"이라 함)을 타격하는 것을 소정의 카메라로 촬영하고 그 촬영된 이미지를 분석함으로써 타격된 볼의 스핀을 산출하도록 한 것으로서, 상기 카메라는 복수개의 카메라로 스테레오 방식으로 구성되는 스테레오 카메라 또는 3D 카메라로 볼에 대한 2차원 이미지 상의 좌표들을 3차원 좌표로 변환하거나 그 반대의 변환이 가능하도록 하는 구성임이 바람직하다.

그리고 본 발명에 따른 운동하는 볼에 대한 센싱장치 및 센싱방법은 사용자의 골프 스윙에 따른 볼의 타구 분석이나 가상 현실 기반의 시뮬레이션을 이용한 가상 골프 등 다양한 분야에 적용될 수 있다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치에 관하여 설명한다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 운동하는 볼에 대한 센싱장치는 이미지 취득수단(100), 이미지 처리수단(200) 및 스핀 산출 수단(300)을 포함하여 구성된다.

상기 이미지 취득수단(100)은 카메라 장치로서 상기한 바와 같이 스테레오 방식의 카메라 장치이거나 3D 카메라 장치로 구현될 수 있다. 도 1에서는 제1 카메라(110) 및 제2 카메라(120)에 의해 스테레오 방식의 카메라 장치로서 이미지 취득수단(100)이 구현된 경우를 나타내고 있다.

상기 이미지 처리수단(200)은 상기 이미지 취득수단(100)에 의해 취득된 각 이미지에서 볼 부분에 대한 이미지인 볼 이미지를 추출하여 상기 볼 이미지 상의 딤플 부분 및 각종 노이즈 부분을 제거함으로써 상기 볼 이미지 상의 특징부, 즉 볼에 표시된 상표나 로고, 흠집 등의 불특정 표시를 추출하도록 하는 구성요소이다.

상기 이미지 처리수단(200)은 볼 이미지 추출수단(210)과, 볼 특징부 추출수단(230)을 포함하여 구성됨이 바람직하다.

상기 볼 이미지 추출수단(210)은 상기 이미지 취득수단(100)에 의해 취득된 이미지인 소스 이미지로부터 볼 부분에 대한 이미지인 볼 이미지를 추출하고 그 볼 부분에 대한 중심좌표를 추출하도록 구성된다. 이에 대한 구체적인 사항은 후술하도록 한다.

상기 볼 특징부 추출수단(230)은 상기 볼 이미지 추출수단(210)에 의해 추출된 볼 이미지에 대해 각각의 볼 이미지의 크기 및 밝기 등에 대한 정규화(Normalization) 등이 이루어지도록 하고 이미지 상에 나타난 볼의 특징부(볼에 표시된 상표나 로고, 흠집 등의 불특정 표시) 부분을 추출해내는 구성요소이다. 이에 대한 구체적인 사항은 후술하도록 한다.

한편, 상기 스핀 산출 수단(300)은 임의의 연속하는 두 볼 이미지상에서 각각 추출된 특징부의 위치 변화를 분석함으로써, 즉 먼저 취득된 이미지 상의 특징부가 어떠한 3차원 공간상의 스핀축 및 스핀양에 의해 뒤에 취득된 이미지 상의 특징부로 변화되었는지 분석함으로써 최종적인 볼의 스핀축 및 스핀양에 대한 정보를 찾아내도록 하는 구성요소로서, 도 1 및 도 2에 도시된 바와 같이 위치 보정 수단(310), 임의 스핀 적용 수단(320) 및 스핀 결정 수단(330)을 포함하여 구성됨이 바람직하다.

상기 위치 보정 수단(310)은, 볼의 스핀 산출을 위해 연속하는 두 이미지 상의 볼이 서로 동일한 상대좌표계에서 동일한 각도로 볼을 바라본 상태에서 스핀 산출이 이루어지도록 하여 정확한 스핀 산출이 가능하도록 하기 위한 것으로서, 이에 대한 구체적인 사항은 후술하도록 한다.

한편, 본 발명은 기본적으로 연속적으로 촬영된 운동하는 볼에 대한 이미지들 중 2개의 이미지씩 분석하는데, 먼저 취득된 이미지를 제1 이미지라 하고 뒤에 취득된 이미지를 제2 이미지라 할 때, 제1 이미지가 취득될 당시의 볼 상태에서 제2 이미지가 취득될 당시의 볼 상태로 될 때의 스핀을 산출하되, 이를 제1 이미지 상의 특징부가 제2 이미지 상의 특징부로 위치 변화하도록 만드는 스핀축 및 스핀양을 찾아내는 방식으로 스핀을 산출하게 되는 것이다.

상기 임의 스핀 적용 수단(320)은 상기한 바와 같이 제1 이미지 상의 특징부가 제2 이미지 상의 특징부로 위치 변화하도록 만드는 스핀축 및 스핀양을 찾기 위해 임의의 스핀축 및 스핀양 정보를 추출하여 이를 적용하도록 하기 위한 것인데, 이와 같이 임의 스핀 적용 수단(320)에 의해 적용된 임의의 스핀축 및 스핀양 정보가 찾고자 하는 스핀축 및 스핀양 정보에 근접하는지 여부를 상기 스핀 결정 수단(330)이 판단하여 결정을 하게 됨으로써 최종적인 스핀 정보를 산출할 수 있게 되는 것이다.

즉 상기 임의 스핀 적용 수단(320)은 최종적인 스핀 정보 산출이 이루어지기 전까지는 매번 새로운 임의의 스핀축 및 스핀양 정보를 추출하여 적용하고 그 적용된 결과를 상기 스핀 결정 수단(330)이 체크하여 가장 적합한 임의 스핀 정보를 최종 스핀 정보로 결정하는 것이다. 이에 대한 구체적인 사항은 후술하도록 한다.

도 3에 도시된 바와 같이 지면(G)에 대한 i, j, k 좌표계를 기준으로 제1 카메라(110) 및 제2 카메라(120) 각각이 취득한 볼에 대한 이미지로부터 볼(10)이 운동함에 따른 각각의 이미지 취득된 위치에서의 위치 정보를 알 수 있다.

즉, 제1 카메라(110) 및 제2 카메라(120)는 스테레오 방식(Stereoscopic)의 구성을 갖는 이미지 취득장치이므로 두 카메라가 동일한 피사체에 대해 취득한 이미지로부터 피사체의 3차원 좌표 정보를 추출할 수 있으며, 도 3에서는 볼(10)이 제1 위치에서 제2 위치로 운동함에 따라 제1 위치의 좌표 정보(x,y,z) 및 제2 위치의 좌표 정보(x’,y’,z’)를 각각 추출할 수 있다.

이때 제1 카메라(110) 및 제2 카메라(120)는 고정되어 있다. 따라서 상기 제1 카메라(110) 및 제2 카메라(120)의 위치 좌표를 알 수 있으며 이는 항상 고정되어 있다.

이와 같은 상태에서 어느 한 카메라에 의해 운동하는 볼에 대해 연속적으로 취득된 이미지 중 일부를 도 4의 (a) 내지 (c)를 통해 확인할 수 있다.

즉 도 4의 (a) 내지 (c)는 고정된 카메라에 의해 그 화각 내의 운동하는 볼에 대한 이미지를 소정의 시간 간격으로 취득한 이미지에 대해 차영상 등을 통해 배경 부분 등을 제거하고 볼 부분(21, 22, 23)만 남아있는 상태의 이미지를 나타낸 것이다.

도 4의 (a), (b) 및 (c)를 통해 볼이 왼쪽 대각선 방향으로 날아가는 상태임을 알 수 있는데, 볼이 카메라에 근접할 때에는 도 4의 (a)와 같이 볼(21)이 크게 보이다가 카메라에서 조금씩 멀어질수록 도 4의 (b) 및 (c)와 같이 볼(22, 23)이 점점 작게 보이는 것을 알 수 있다.

여기서 도 4의 (a), (b) 및 (c)에 나타낸 이미지, 즉 최초 취득된 이미지에서 배경 부분 및 각종 노이즈 부분을 차영상 등을 통해 제거하고 움직이는 부분인 볼 부분만 남은 상태의 이미지를 소스 이미지라 하기로 한다.

각각의 소스 이미지 상에서 볼 부분(21, 22, 23)을 보면, 볼 자체의 표면에 표시된 특징부(F1, F2, F3)가 볼이 회전함에 따라 그 위치가 변하고 있음을 알 수 있다.

여기서 관심 대상은 볼 상의 특징부(F1, F2, F3) 부분이며 이를 정확하게 추출하여 그 위치 변화를 분석함으로써 볼의 스핀을 산출할 수 있는 것이다.

이를 위해, 우선 도 4에 도시된 바와 같은 소스 이미지에서 볼 부분(21, 22, 23)에 대한 이미지, 즉 볼 이미지만을 효과적으로 추출하는 것이 필요하다.

도 5의 (a) 내지 (c)에서는 각각의 소스 이미지에서 볼 부분만을 추출하는 과정을 나타내고 있는데, 먼저 소스 이미지에서 볼 부분(21, 22, 23)을 찾고, 도 6에 도시된 바와 같이 볼 부분(21)의 중심점(C)이 추출하는 이미지(211)의 중심점이 되고 볼 부분(21)의 외곽선이 추출하는 이미지(211)의 외곽선과 실질적으로 접하도록 하여 정확하게 추출하도록 함이 바람직하다.

이와 같은 방법으로 각 소스 이미지로부터 볼 부분(21, 22, 23)만을 추출해 낸 이미지, 즉 볼 이미지(211, 212, 213)는 각각의 소스 이미지 상에서의 볼의 크기에 대응되는 크기이므로 서로 다른 크기를 가지며 각 소스 이미지 상에서 나타난 볼 부분(21, 22, 23)은 카메라와의 거리에 따라 조명의 영향이 다르기 때문에 밝기 또한 각 볼 이미지마다 다르다.

정확한 볼 특징부의 추출을 위해서는 각각의 볼 이미지(211, 212, 213)의 크기를 동일하게 하고 밝기를 정규화하는 것이 필요하다.

도 7의 (a) 내지 (c)는 도 5의 (a) 내지 (c)에 각각 대응되는 볼 이미지에 대한 크기 및 밝기의 정규화(Nomalization)가 이루어진 이미지를 나타낸 것이다.

즉 각각의 볼 이미지(211, 212, 213)에 대해 미리 설정된 크기에 맞추어서 확대 또는 축소 하거나 볼 이미지(211, 212, 213)들 중 어느 하나를 기준으로 이에 맞게 다른 볼 이미지들을 확대 또는 축소함으로써, 즉 각 볼 이미지에 대해 노멀라이즈 처리를 함으로써 볼 이미지의 크기가 서로 동일하게 되도록 한다.

그리고 각각의 볼 이미지에 대해 볼 부분을 이루는 모들 픽셀들의 평균값을 이용하여 노멀라이즈 처리를 함으로써 각 볼 이미지의 전체적인 밝기가 서로 동일하게 되도록 한다.

한편, 상기한 바와 같이 볼 이미지에 대한 정규화가 완료된 후에는 각각의 정규화된 볼 이미지에 대해, 도 8에 도시된 바와 같이 볼 특징부 추출수단에 의한 볼 특징부의 추출이 이루어지게 된다.

즉 도 8의 (a)에 도시된 볼 이미지를 제1 볼 이미지라 하고 (b)에 도시된 볼 이미지를 제2 볼 이미지라 할 때, 제1 볼 이미지는 연속하여 취득된 두 이미지의 먼저 취득된 이미지이고 제2 볼 이미지는 뒤에 취득된 이미지이며, 도 8의 (c)는 제1 볼 이미지 상의 특징부(F1)에 대한 추출이 완료된 특징부(FC1)를 갖는 제1 특징부 이미지이고 도 8의 (d)는 제2 볼 이미지 상의 특징부(F2)에 대한 추출이 완료된 특징부(FC2)를 갖는 제2 특징부 이미지이다.

여기서 특징부의 추출은 차영상 기법 등 다양한 이미지 처리 기법에 의해 이루어질 수 있다.

상기한 바와 같이 추출된 특징부(FC1, FC2)를 갖는 특징부 이미지들이 마련되면, 이를 이용하여 스핀 산출 수단에 의한 운동하는 볼의 스핀 정보를 산출하는 과정이 진행된다.

여기서 볼의 스핀은 도 9에 도시된 바와 같이 i축, j축 및 k축 좌표계에 따른 3차원 공간상의 스핀축에 대한 좌표 정보 및 상기 스핀축을 중심으로 회전한 각도, 즉 스핀양에 대한 정보를 산출함으로써 구해질 수 있다.

도 9에 도시된 바와 같이 3차원 공간상에서의 회전 운동은 피치, 요, 롤(pitch, yaw, roll) 성분을 각각 포함할 수 있고(예컨대 스핀축이 k축과 일치할 경우에는 볼은 사이드 스핀(Side Spin)만 갖게 되고 스핀축이 i축과 일치할 경우에는 볼은 백 스핀(Back Spin) 또는 포워드 스핀(Forward Spin)만 갖게 된다), i축 방향의 회전 성분을 θ, j축 방향의 회전 성분을 λ, 그리고 k축 방향의 회전 성분을 ρ라 하면, 구하고자 하는 스핀의 벡터(ω)는 아래 [식 1]과 같이 나타낼 수 있다.

[식 1]

상기 스핀 벡터(ω)로부터 아래 [식 2]와 같이 스핀축 정보와 [식 3]과 같이 스핀양 정보를 각각 산출할 수 있다. 여기서 α는 스핀양 정보를 나타낸다.

[식 2]

[식 3]

따라서 운동하는 볼의 스핀에 대한 yaw 회전 성분인 θ와, roll 회전 성분인 λ, 그리고 pitch 회전 성분인 ρ 값을 찾음으로써 스핀축 및 스핀양 정보를 구할 수 있다.

이와 같은 스핀축 및 스핀양 정보를 찾는 일은 도 7에 도시된 바와 같이 볼 이미지로부터 추출된 특징부로부터 이루어질 수 있다.

즉 도 8에 도시된 바와 같이 연속하는 두 볼 이미지에 대한 특징부 이미지(도 8의 (c) 및 (d))를 이용하여 스핀축 및 스핀양을 추출할 수 있다.

이를 위해서는 우선 상기 특징부를 이루는 각 픽셀들의 위치 정보에 대한 보정이 필요하다.

즉 카메라에 의해 취득된 이미지 상의 볼의 위치는 카메라가 바라보는 방향에 따라 스핀축 및 스핀양이 다르게 관찰되기 때문에 정확하게 기준을 세워 그 기준에 맞게 절대적인 스핀축 및 스핀양을 산출할 수 있도록 함이 필요하며, 이를 위해서는 연속적으로 취득되는 각각의 이미지마다 볼에 대해 상대적으로 카메라가 동일한 위치 및 방향으로 볼을 바라본 것처럼 카메라의 위치 및 방향 정보를 보정함으로써 볼의 정확한 스핀 정보를 산출할 수 있게 되는 것이다.

도 10 및 도 11은 상기한 위치 보정에 대한 원리를 설명하기 위한 도면이다.

본 발명에 따른 센싱장치 및 센싱방법은 연속하는 두 개의 이미지를 가지고 특징부의 위치 변화로부터 스핀 정보를 산출하도록 하는 것이며, 정확한 스핀 정보 산출을 위해서는 분석하는 각각의 연속하는 한 쌍의 이미지가 각각 동일한 위치 및 방향에서 볼을 바라본 상태이어야 하는 것이다. 즉 연속하여 취득되는 이미지 각각에 대해(항상 고정된 카메라가 지나가는 볼을 바라보고 촬영한 것임) 카메라가 볼과 함께 움직이면서 항상 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 각각의 이미지를 보정하는 것이 필요한 것이다.

이와 같은 카메라의 위치 및 방향의 기준을 정립하기 위한 일 예로서, 도 10에 도시된 바와 같이 볼(10)이 d방향을 따라 운동할 때 볼이 진행하는 방향의 벡터 성분 Bj에 대해 수직인 평면(p)에 포함되면서 지면(G)과 평행한 벡터 성분인 Bi 방향에서 볼(10)을 바라보는 방향을 기준으로 할 수 있다.

즉 도 11에 도시된 바와 같이 볼이 d방향을 따라 진행하면서 카메라(110)에 의해 촬영되는 각각의 위치마다 볼(10)이 진행하는 방향 벡터 Bj에 대해 수직을 이루면서 지면(G)에 평행한 방향 벡터 Bi 방향으로 카메라가 볼을 바라본 것처럼 되도록 카메라(10)의 위치 및 방향을 보정하기 위한 위치 보정 정보를 생성하여 이를 스핀 산출에 적용할 필요가 있다.

이와 같은 위치 보정은 이미 알고 있는 고정된 카메라의 좌표계 정보와 볼의 중심 좌표 정보를 이용하여 카메라가 볼을 바라보는 각도를 보정함으로써 이루어질 수 있고, 실제로 이미지를 그와 같이 보정하는 것이 아니라 추출된 각 특징부의 픽셀들의 위치 좌표에 그 보정되는 부분에 대한 정보를 적용함으로써 해결될 수 있다.

한편, 제1 특징부(FC1, 도 8 참조)를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하고 상기한 바와 같은 위치 보정 정보를 적용하여 임의의 스핀 축 및 스핀양 정보를 적용한 후에 이를 다시 2차원 위치 정보로 변환한다.

이와 같이 변환된 2차원 위치 정보를 제2 특징부를 이루는 픽셀들의 위치 정보와 비교하여 서로 일치한다면, 상기 적용된 임의의 스핀축 및 스핀양 정보가 구하고자 하는 정확한 스핀축 및 스핀양 정보가 될 것이다.

따라서 본 발명에 따른 센싱장치 및 센싱방법은 상기한 바와 같이 임의의 스핀축 및 스핀양 정보를 반복적으로 적용하여 도출된 위치 정보와 제2 특징부의 픽셀들의 위치 정보가 어느 정도 수준 이상으로 일치하는 스핀축 및 스핀양 정보를 찾음으로써 최종적인 스핀 정보를 산출하도록 한 것이다.

이를 수식으로 표현하면 다음과 같다.

먼저 아래 [식 4] 및 [식 5]와 같이 제1 특징부 및 제2 특징부 각각을 이루는 픽셀들의 위치 정보를 3차원 위치 정보로 변환하여 나타낼 수 있다.

[식 4]

PC1set_3D = C1*P1set_3D

[식 5]

PC2set_3D = C2*P2set_3D

여기서,

P1set_3D는 제1 특징부(FC1, 도 8 참조) 상의 각 픽셀들의 좌표(2차원 좌표)에 대한 행렬을 P1set이라 할 때 상기 P1set을 3차원 좌표 정보로 변환한 행렬임.

P2set_3D는 제2 특징부(FC2, 도 8 참조) 상의 각 픽셀들의 좌표(2차원 좌표)에 대한 행렬을 P2set이라 할 때 상기 P2set을 3차원 좌표 정보로 변환한 행렬임.

C1 및 C2는 상기한 도 10 및 도 11에 도시된 바와 같은 원리에 의한 위치 보정 정보를 회전 행렬로 산출한 것으로서, C1은 제1 특징부의 픽셀들의 위치 좌표의 보정을 위한 것이고, C2는 제2 특징부의 픽셀들의 위치 좌표의 보정을 위한 것임.

PC1set_3D는 제1 특징부 상의 픽셀들의 3차원 좌표에 대해 위치 보정된 행렬이고, PC2set_3D는 제2 특징부 상의 픽셀들의 3차원 좌표에 대해 우치 보정된 행렬임.

한편, 찾고자 하는 최종적인 스핀 정보로서 스핀축 벡터를 ω라 하고, 스핀양을 α라 할 때, 이를 이용하여 회전 행렬 R(ω,α)를 산출할 수 있고, 이는 상기 각 특징부의 픽셀들의 3차원 변환된 위치 정보인 PC1set_3D 및 PC2set_3D와 다음의 [식 6]과 같은 관계가 성립한다.

[식 6]

R(ω,α)*PC1set_3D = PC2set_3D

상기 [식 6]에 상기 [식 4] 및 [식 5]를 대입하면 다음의 [식 7]과 같은 관계식이 성립하게 된다.

[식 7]

PC2set_3D = C2^T*R(ω,α)*C1*P1set_3D

여기서 C2^T는 행렬 C2의 전치행렬(Transposed Matrix)임.

상기 [식 7]을 통해 제1 특징부의 픽셀들의 위치 정보를 3차원 위치 정보로 변환하고 이에 위치 보정 정보를 적용한 후 임의 스핀 정보를 적용한 결과를 산출할 수 있는데, 즉 상기 [식 7]에서 구하고자 하는 최종 스핀 정보인 R(ω,α) 대신 임의 스핀 정보를 대입하면 된다.

임의 스핀 정보로서 임의의 스핀축 벡터 ω' 및 임의의 스핀양 α'를 이용하여 산출된 회전 행렬 R(ω',α')를 상기 [식 7]에 대입한 결과를 Tset_3D라 하면, 다음의 [식 8]과 같은 관계식이 성립하게 된다.

[식 8]

Tset_3D = C2^T*R(ω',α')*C1*P1set_3D

상기 [식 8]에 의해 구해진 Tset_3D를 다시 2차원 좌표로 변환할 수 있는데 이를 Tset이라 한다면, 상기 Tset과 상기 P2set이 서로 일치한다면 R(ω',α')과 R(ω,α)은 서로 동일한 값을 갖게 되므로, 상기 임의 스핀 정보인 R(ω',α')를 최종 스핀 정보로 결정할 수 있다.

즉 서로 다른 임의 스핀 정보를 각각 적용한 다수의 Tset 중 가장 P2set와 일치하는, 즉 유사도가 가장 높은 Tset에 적용된 임의 스핀 정보를 최종 스핀 정보로 결정하게 되는 것이다.

이는 Tset과 P2set 을 비교하여 위치 좌표가 서로 일치하는 픽셀들의 개수를 산출하고 그 일치하는 픽셀의 개수가 일정 수준을 넘거나 그 이상인 경우 또는 Tset의 픽셀들과 P2set의 픽셀들에 대한 소정의 함수식에 의한 유사도를 산출하여 일정 수준을 넘거나 그 이상인 경우, 상기 Tset에 적용된 임의 스핀 정보가 최종 스핀 정보가 되는 것이다.

여기서 유사도는, 예컨대 전체 픽셀 개수에 대한 서로 일치하는 픽셀의 개수의 비율을 산출하여 그 비율을 이용하여 판단할 수 있다.

한편, 상기한 바와 같은 운동하는 볼에 대한 스핀 산출 과정을 도 12에 도시된 플로우차트를 통해 다시 한 번 살펴보기로 한다.

먼저 운동하는 볼에 대한 연속적인 이미지 취득이 이루어지고(S10), 각각의 취득된 이미지에 대해 배경 제거 등을 거쳐 소스 이미지를 각각 추출한다(S12).

그리고 각 소스 이미지로부터 볼 부분을 찾아 볼 이미지를 추출하며(S20), 각각의 볼 이미지로부터 볼 특징부를 추출하여 각각 특징부 이미지를 마련한다(S30).

연속하는 특징부 이미지들 중 2개의 이미지에서 시간적으로 앞선 이미지를 제1 특징부 이미지라 하고 뒤의 이미지를 제2 특징부 이미지라 할 때, 제1 특징부 이미지 상의 제1 특징부를 이루는 픽셀들의 위치 정보 및 제2 특징부 이미지 상의 제2 특징부를 이루는 픽셀들의 위치 정보를 이용하여 스핀 산출이 이루어지게 된다.

즉 제1 특징부를 이루는 픽셀들의 위치 정보를 3차원 위치 정보로 변환하고(S42), 이에 위치 보정 정보를 적용한다(S44).

그리고 임의의 스핀축 및 스핀양을 추출하여 상기 3차원 위치 정보에 적용하고(S52), 이를 다시 2차원 위치 정보로 변환한다(S54).

상기 S54 과정에서 변환된 2차원 위치 정보를 제2 특징부를 이루는 픽셀들의 위치 정보와 비교하여(S62), 위치 좌표가 서로 일치하는 픽셀들의 개수를 구하여 그 개수가 미리 설정된 개수를 넘거나 그 이상인 경우에는(S64) 상기 적용된 임의의 스핀축 및 스핀양을 최종 스핀축 및 스핀양으로서 결정한다(S72).

만약 상기 구하여진 '서로 일치하는 픽셀들의 개수'가 설정 개수에 미치지 못할 경우에는 다시 다른 임의의 스핀축 및 스핀양이 적용되어 상기 S52, S54, S62 및 S64 등의 과정을 반복적으로 진행하여, 상기한 '서로 일치하는 픽셀들의 개수'가 가장 많은 경우의 임의의 스핀축 및 스핀양을 최종 스핀 정보로서 결정하게 된다.

여기서 도 12의 플로우차트 상에서는 '서로 일치하는 픽셀의 개수'가 설정 개수를 넘거나 그 이상인 경우에 최종 선택되는 것으로 설명하였으나, 반드시 이에 한정되는 것은 아니며, 예컨대 '서로 일치하는 픽셀의 개수'에 대해 미리 설정해 놓은 값은 없고 서로 다른 임의 스핀 정보를 반복적으로 적용하여 그 중 가장 '서로 일치하는 픽셀의 개수'가 많은 경우가 최종 선택되도록 하는 것도 가능하다.

또한 반드시 픽셀들의 개수를 통해 최종 스핀 정보로서 선택되는 것이 아니라 소정의 함수식에 의한 유사도를 산출함으로써 상기 유사도를 통해 최종 스핀 정보의 선택이 이루어지도록 하는 것도 가능하다.

한편, 임의의 스핀축을 적용함에 있어서, 도 9에 도시된 바와 같이 pitch 회전 성분, yaw 회전 성분 및 roll 회전 성분을 모두 고려하는 것은 임의의 스핀축 및 스핀양 추출에 상당히 많은 경우의 수를 고려해야 함을 의미하는 것이므로 이에 대한 제한 범위를 상당히 합리적으로 설정하는 것이 가능하며, 임의의 스핀양을 적용함에 있어서도 이와 같은 합리적인 제한 범위 설정이 가능하고 그와 같이 제한된 범위 내에서 주로 임의의 스핀축 및 스핀양 정보를 추출하게 됨으로써 경우의 수를 대폭 줄일 수 있어 계산양을 상당히 감소시킬 수 있어 신속한 스핀 산출이 가능하도록 할 수 있다.

즉 볼의 운동 특성 및 카메라의 프레임 속도를 고려하여 임의의 스핀축 및 스핀양 추출에 대한 제한 조건을 설정할 수 있어 빠른 스핀 산출이 가능하게 되는 것이다.

골프공에 대해 골프 클럽으로 타격을 하는 경우, 도 9에 도시된 바와 같은 스핀의 3가지 회전 성분 중 주로 피치(pitch) 회전 성분 및 요(yaw) 회전 성분이 강하게 나타나고 상대적으로 롤(roll) 회전 성분은 없거나 거의 무시할 수 있는 수준이다.

즉 골프공을 타격하면 거의 좌우 사이드 스핀과 앞뒤 스핀이 발현되고 볼의 진행 방향을 기준으로 롤링(rolling) 하는 회전 성분은 없거나 거의 무시할 수 있는 정도이다.

따라서 임의의 스핀축으로서 선택할 수 있는 경우는 롤(roll) 회전 성분을 어느 정도 무시하고 피치(pitch) 회전 성분 및 요(yaw) 회전 성분만을 고려하여 선택할 수 있기 때문에 임의의 스핀축에 대한 경우의 수를 상당히 감소시킬 수 있다.

한편, 골프공에 대해 골프 클럽으로 타격을 하는 경우, 한 프레임에 찍힌 이미지 상의 볼 상태에서 그 뒷 프레임에 찍힌 이미지 상의 볼 상태로의 회전 정도는 한계가 있다.

즉 사람의 타격에 의해 회전할 수 있는 최대 스핀 한계가 존재하고 이미지를 취득하는 카메라의 프레임 속도에도 한계가 있으므로, 이들을 통해 임의의 스핀양에 대한 경우의 수를 대폭 한정할 수 있다.

따라서 상기한 바와 같이 임의의 스핀축 및 스핀양에 대한 제한 범위를 미리 설정함으로써 계산량을 감소시켜 신속한 스핀 산출이 가능하게 될 수 있다.

한편, 지금까지 연속하여 취득된 이미지들 중 두 이미지에 대해만 스핀 정보를 산출하는 과정을 설명하였는데, 카메라에 따라 초당 수십 프레임에서 많게는 초당 수천 프레임을 취득할 수 있고 이들 취득된 다수의 연속적인 이미지들 모두에 대해 상기한 바와 같은 스핀 산출 과정이 진행될 수도 있고 그 중 일부에 대해서만 진행될 수도 있다.

즉, 연속하는 두 이미지 중 먼저 취득된 이미지와 뒤에 취득된 이미지를 한 쌍의 이미지로 하여 다수의 쌍에 대해 각각 상기한 바와 같은 스핀 산출 과정을 거쳐 산출된 다수개의 스핀 정보는 약간씩 다를 수 있는데, 이를 미리 설정된 함수(예컨대 평균값을 취한다거나 가장 유사도가 높았던 스핀 정보 몇 개에 대해서만 평균을 낸 값을 취하는 등)에 따라 취합하여 최종적인 스핀 정보를 산출할 수도 있고, 상기 산출된 다수개의 스핀 정보 중 가장 유사도가 높았던 스핀 정보를 최종적인 스핀 정보로서 선택할 수도 있다.

100: 이미지 취득수단, 200: 이미지 처리수단
210: 볼 이미지 추출수단, 230: 볼 특징부 추출수단
300: 스핀 산출 수단, 310: 위치 보정 수단
320: 임의 스핀 적용 수단, 330: 스핀 결정 수단

Claims

운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치에 있어서,
표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 이미지 취득수단;
상기 이미지 취득수단에 의해 연속적으로 취득된 이미지 각각에 대해 볼 부분 상의 특징부 부분을 추출하도록 구성되는 이미지 처리수단; 및
운동하는 볼에 대하여 연속하여 취득된 두 이미지 중 먼저 취득된 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보와 상기 연속하여 취득된 두 이미지 중 나중에 취득된 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 비교 분석함으로써 상기 제1 이미지로부터 제2 이미지로의 볼의 운동에 따른 스핀축 및 스핀양을 산출하도록 구성되는 스핀 산출 수단;
을 포함하는 운동하는 볼에 대한 센싱장치.
제1항에 있어서, 상기 이미지 취득수단은,
동일한 볼을 바라보는 서로 다른 위치에 설치된 복수개의 카메라에 의해 스테레오 방식으로 구성되는 스테레오 카메라 또는 3D 카메라에 의해 구현되는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
제1항에 있어서, 상기 이미지 처리수단은,
상기 이미지 취득수단에 의해 취득된 이미지 상의 볼 부분을 찾아 소정 크기의 이미지로 추출하여 볼 이미지를 마련하도록 구성되는 볼 이미지 추출수단과,
상기 볼 이미지로부터 상기 특징부 부분을 추출하여 볼 특징부 이미지를 마련하도록 구성되는 볼 특징부 추출수단을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
제3항에 있어서,
상기 볼 이미지 추출수단에 의해 상기 제1 이미지 및 제2 이미지에 대한 제1 볼 이미지 및 제2 볼 이미지가 각각 추출되고, 상기 볼 특징부 추출수단에 의해 상기 제1 볼 이미지 및 제2 볼 이미지에 대한 제1 특징부 이미지 및 제2 특징부 이미지가 각각 추출된 상태에서,
상기 스핀 산출 수단은 상기 제1 특징부 이미지로부터 상기 제1 특징부 이미지로 변화되도록 하는 스핀축 및 스핀양을 찾도록 구성되는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
제2항에 있어서, 상기 스핀 산출 수단은,
상기 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하여 임의의 스핀축 및 스핀양에 대한 정보를 적용하고 다시 2차원 위치 정보로 변환하여 임의 스핀 특징부 정보를 산출하도록 구성되는 임의 스핀 적용 수단과,
상기 임의 스핀 특징부와 상기 제2 이미지 상의 볼 부분의 특징부를 서로 비교하여 유사도를 산출하여 상기 유사도가 미리 설정된 값을 넘거나 그 이상인 경우 해당 스핀축 및 스핀양 정보를 최종 스핀축 및 스핀양 정보로서 결정하도록 구성되는 스핀 결정 수단을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
제2항에 있어서, 상기 스핀 산출 수단은,
상기 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하여 임의의 스핀축 및 스핀양에 대한 정보를 적용하고 다시 2차원 위치 정보로 변환하여 임의 스핀 특징부 정보를 산출하도록 구성되는 임의 스핀 적용 수단과,
상기 임의 스핀 특징부 정보와 상기 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 서로 비교하여 서로 일치하는 픽셀의 개수를 산출하며, 상기 일치하는 픽셀의 개수가 미리 설정된 개수를 넘거나 그 이상인 경우 해당 스핀축 및 스핀양 정보를 최종 스핀축 및 스핀양 정보로서 결정하도록 구성되는 스핀 결정 수단을 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
제5항 또는 제6항에 있어서, 상기 스핀 산출 수단은,
연속적으로 취득된 각각의 이미지에서 카메라가 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 상기 카메라의 위치 및 방향에 대한 정보를 보정하기 위한 위치 보정 정보를 산출하여, 상기 각 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 적용하도록 구성되는 위치 보정 수단을 더 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
제5항 또는 제6항에 있어서, 상기 임의 스핀 적용 수단은,
볼의 운동 특성 및 상기 카메라의 프레임 속도를 고려하여 미리 설정된 제한 조건에 따라 임의의 스핀축 및 임의의 스핀양을 선택하여 적용하도록 구성되는 것을 특징으로 하는 운동하는 볼에 대한 센싱장치.
운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱장치에 있어서,
표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 이미지 취득수단;
상기 이미지 취득수단에 의해 연속적으로 취득된 이미지 각각에 대해 볼 부분을 추출하고 그로부터 각각 특징부 부분을 추출하여 각각의 연속된 이미지에 대한 특징부 이미지를 마련하도록 구성되는 이미지 처리수단; 및
연속하는 두 특징부 이미지 중 먼저 취득된 이미지에 대한 특징부 이미지로부터 뒤에 취득된 이미지에 대한 특징부 이미지로 변화되도록 하는 3차원 공간상의 스핀축 및 스핀양을 찾도록 구성되는 스핀 산출 수단;
을 포함하는 운동하는 볼에 대한 센싱장치.
운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법에 있어서,
표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 단계;
상기 연속적으로 취득된 이미지 각각에 대해 볼 부분의 일측에 표시된 상기 특징부를 추출하는 단계;
운동하는 볼에 대하여 연속하여 취득된 두 이미지 중 먼저 취득된 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보를 산출하는 단계; 및
상기 연속하여 취득된 두 이미지 중 나중에 취득된 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 상기 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보와 비교 분석함으로써 상기 제1 이미지로부터 제2 이미지로의 볼의 운동에 따른 스핀축 및 스핀양을 산출하는 단계;
를 포함하는 운동하는 볼에 대한 센싱방법.
제10항에 있어서,
상기 특징부를 추출하는 단계에서 추출된 각 특징부에 대해,
상기 각 특징부를 이루는 픽셀들의 위치 정보를 3차원 위치 정보로 변환하는 단계와,
연속적으로 취득된 각각의 이미지에서 카메라가 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 상기 카메라의 위치 및 방향에 대한 정보를 보정하기 위한 위치 보정 정보를 산출하는 단계를 포함하여,
상기 변환된 3차원 위치 정보에 대해 상기 위치 보정 정보를 적용하여 상기 임의 스핀 정보 적용 및 스핀 정보 산출이 이루어지도록 한 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
제10항 또는 제11항에 있어서, 상기 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보를 산출하는 단계는,
상기 제1 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 3차원 위치 정보로 변환하는 단계와,
임의의 스핀축 및 스핀양 정보를 추출하여 상기 변환된 3차원 위치 정보에 대해 적용하는 단계와,
상기 임의의 스핀축 및 스핀양이 적용된 3차원 위치 정보를 2차원 위치 정보로 변환하여 임의 스핀 특징부 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
제10항 또는 제11항에 있어서, 상기 제1 이미지로부터 제2 이미지로의 볼의 운동에 따른 스핀축 및 스핀양을 산출하는 단계는,
상기 임의의 스핀축 및 스핀양을 적용한 결과에 따른 특징부의 각 픽셀들의 위치 정보와 상기 제2 이미지 상의 볼 부분의 특징부를 이루는 각 픽셀들의 위치 정보를 서로 비교하여 유사도 또는 서로 일치하는 픽셀의 개수를 산출하는 단계와,
상기 산출된 유사도가 미리 설정된 값을 넘거나 그 이상인 경우, 또는 상기 일치하는 픽셀의 개수가 미리 설정된 개수를 넘거나 그 이상인 경우, 해당 스핀축 및 스핀양 정보를 최종 스핀축 및 스핀양 정보로서 결정하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
제12항에 있어서, 상기 변환된 3차원 위치 정보에 대해 적용하는 임의의 스핀축 정보는,
물체의 회전에 대한 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향 중 두 요소에 따른 범위 내에서 임의 선택된 스핀축 정보를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
제12항에 있어서, 상기 변환된 3차원 위치 정보에 대해 적용하는 임의의 스핀양 정보는,
사람의 타격에 의해 회전할 수 있는 최대 스핀 한계 및 이미지를 취득하는 카메라의 프레임 속도에 따라 미리 설정된 범위 내에서 임의 선택된 스핀양 정보를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
운동하는 볼에 대한 이미지를 취득하여 분석함으로써 운동하는 볼에 대한 스핀을 산출하는 운동하는 볼에 대한 센싱방법에 있어서,
표면에 소정의 특징부가 표시된 볼이 운동함에 따라 이에 대한 연속적인 이미지를 취득하는 단계;
상기 연속적으로 취득된 이미지 각각에 대해 볼 부분 상의 특징부 부분을 추출하여 특징부 이미지를 각각 마련하는 단계; 및
연속하는 두 특징부 이미지 중 먼저 취득된 이미지에 대한 특징부 이미지로부터 뒤에 취득된 이미지에 대한 특징부 이미지로 변화되도록 하는 3차원 공간상의 스핀축 및 스핀양을 찾는 단계;
를 포함하는 운동하는 볼에 대한 센싱방법.
제16항에 있어서, 상기 스핀축 및 스핀양을 찾는 단계는,
연속적으로 취득된 각각의 이미지에서 카메라가 볼에 대해 상대적으로 동일한 위치 및 방향에서 바라본 것처럼 상기 카메라의 위치 및 방향에 대한 정보를 보정하기 위한 위치 보정 정보를 산출하여, 상기 각 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 적용하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
제16항에 있어서, 상기 스핀축 및 스핀양을 찾는 단계는,
연속하는 두 이미지 중 먼저 취득된 이미지에 대한 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보에 대해 임의의 스핀축 및 스핀양에 대한 임의 스핀 정보를 적용하는 단계와,
상기 임의 스핀 정보가 적용된 픽셀들의 위치 정보와 상기 연속하는 두 이미지 중 뒤에 취득된 이미지에 대한 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보를 비교하는 단계와,
상기 임의 스핀 정보가 적용된 픽셀들의 위치 정보와 상기 제2 특징부 이미지 상의 특징부를 이루는 각 픽셀들의 위치 정보가 미리 설정된 수준으로 유사한 것으로 판단되는 경우, 상기 임의 스핀 정보의 스핀축 및 스핀양을 최종 스핀축 및 스핀양으로서 결정하는 단계를 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.
제18항에 있어서, 상기 스핀축 및 스핀양을 찾는 단계는,
연속하는 두 이미지 중 먼저 취득된 이미지와 뒤에 취득된 이미지를 한 쌍의 이미지로 하여 복수 쌍에 대해 각각 상기 임의 스핀 정보를 적용하는 단계, 위치 정보를 비교하는 단계 및 최종 스핀축 및 스핀양으로서 결정하는 단계를 실행시켜 산출된 복수개의 스핀 정보를 미리 설정된 함수에 따라 취합하여 운동하는 볼에 대한 스핀 정보를 산출하는 단계를 더 포함하는 것을 특징으로 하는 운동하는 볼에 대한 센싱방법.