WO2017204571A1

WO2017204571A1 - 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치

Info

Publication number: WO2017204571A1
Application number: PCT/KR2017/005451
Authority: WO
Inventors: 박현진; 오세정; 정현담
Original assignee: 주식회사 골프존
Priority date: 2016-05-26
Filing date: 2017-05-25
Publication date: 2017-11-30
Also published as: KR101902283B1; KR20170133730A; TWI642462B; TW201741003A

Abstract

본 발명은 두 카메라를 스테레오스코픽 방식으로 동일 물체에 대해 각각 취득한 영상으로부터 각각 물체를 검출하여 해당 물체에 대한 3차원 공간 상에서의 위치 정보를 산출하도록 하는 카메라 센싱장치에 관한 것으로서, 두 카메라가 각각 취득한 영상으로부터 대상 물체에 대한 유사성 판단을 통해 해당 대상 물체를 검출할 수 없을 정도로 두 카메라의 위치가 전혀 다른 위치에 서로 멀리 떨어져서 배치되는 카메라 센싱장치에 있어서 각 카메라의 위치에서 조사되는 조명에 따라 대상 물체에 대해 생성되는 그림자로 말미암은 각 카메라가 취득하는 영상 상에서 그림자의 영향을 제거하고 각 카메라가 대상 물체에 대해 더욱 선명하고 밝은 영상을 각각 취득할 수 있도록 하여, 원거리 배치 방식의 카메라 센싱장치의 장점을 취하면서도 그에 따른 그림자 문제를 해결하여 높은 품질의 영상을 획득할 수 있도록 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치를 제공하기 위한 것이다.

Description

물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치

본 발명은 센싱 대상 물체에 대해 2차원 영상을 취득하는 두 대의 카메라 각각으로부터 전달받은 이미지의 2차원 좌표 정보를 이용하여 센싱 대상 물체에 대한 3차원 공간 상에서의 3차원 정보를 획득할 수 있도록 하는 스테레오스코픽(Stereoscopic) 방식의 카메라 센싱 장치와, 상기 카메라 센싱 장치를 이용하여 골프공 및 상기 골프공을 타격하는 골프클럽을 감지하여 3차원 공간 상에서의 위치 정보를 산출하여 이를 시뮬레이션 영상 구현에 이용하도록 하는 가상 골프 시뮬레이션 장치에 관한 것이다.

일반적으로 어떤 물체에 대한 3차원 공간 상에서의 좌표 정보를 취득하기 위한 장치로서 두 대의 카메라를 이용하여 양안 방식(Stereoscopic)의 카메라 장치가 이용되고 있다.

즉, 일 카메라가 촬영한 대상 물체에 대한 2D 영상과 동일한 대상 물체에 대한 다른 카메라가 촬영한 2D 영상으로부터 각각 해당 대상 물체에 대한 2차원 좌표 정보를 추출하고, 그 각각 추출된 2차원 좌표 정보에 대해 미리 정의된 상관관계 함수를 이용하여 해당 대상 물체의 3차원 좌표 정보를 산출하는 것이다.

이와 같은 양안 방식의 카메라 장치는 어떤 대상 물체의 3차원 공간 상에서의 위치 정보의 산출에 널리 이용되는데, 가장 대표적인 예로서 도 1에 도시된 바와 같이 소위 스크린 골프와 같은 가상 골프 시뮬레이션 장치에서 사용자가 골프스윙에 의해 타격한 골프공이 운동함에 따른 3차원 공간 상에서의 위치 변화 정보를 산출하는데 이용된다.

도 1에 도시된 바와 같이 스크린 골프를 위한 공간을 마련하는 부스(BT) 내에서, 사용자(P)의 전방에 스크린(12)을 설치하고 영상출력장치(400)가 골프코스에 대한 영상(SI)을 상기 스크린(12)에 출력하며, 부스 바닥(B1)에 타석(10)을 마련하고 사용자(P)가 골프공(1)을 타격하면, 부스(BT)의 천장에 설치된 제1 카메라(51)와 제2 카메라(52)가 각각 타격된 골프공(1)을 촬영하여 시뮬레이터(SM)로 전송하고, 시뮬레이터(SM)는 각각의 카메라가 취득한 영상을 분석하여 골프공(1)에 대한 3차원 공간 상에서의 위치 정보를 산출하고 그 산출된 위치 정보에 기초하여 골프공(1)의 운동에 따른 운동 파라미터를 산출하며 그 산출된 골프공의 운동 파라미터에 기초한 볼의 궤적에 대한 시뮬레이션 영상이 상기 골프코스의 영상 상에서 이루어질 수 있도록 한다.

도 1에 도시된 바와 같이, 종래에는 가상 골프 시뮬레이션 장치에 이용되는 골프공을 감지하기 위한 센싱장치의 제1 카메라(51)와 제2 카메라(52)가 부스(BT)의 천장, 즉 사용자(P)의 머리 위쪽에 가깝게 배치되어 설치되었다.

이와 같이 두 대의 카메라가 근접하도록 배치되어 동일한 물체에 대한 영상을 취득하는 경우에는 많은 장점이 있는데, 이에 대해 도 2를 참조하여 설명한다.

도 2의 (a)에서는 제1 카메라(C1)와 제2 카메라(C2)가 근접하여 설치되어 대상 물체(Ob)를 감지하는 경우에 대해 나타내고 있고, 도 2의 (b)에서는 제1 카메라(C1')가 천장 쪽에 설치되고 제2 카메라(C2')가 측면 쪽에 설치되어 멀리 떨어져서 각각 대상 물체(Ob)를 감지하는 경우에 대해 나타내고 있다.

도 2의 (a)에 도시된 바와 같이 두 카메라가 근접하여 배치되어 있는 경우에는 제1 카메라(C1)가 취득하는 영상상의 피사체와 제2 카메라(C2)가 취득하는 영상상의 피사체가 상당히 유사하게 나타나므로, 각 카메라의 취득 영상으로부터 동일한 대상 물체를 검출할 때 유사성(Similarity)에 근거를 둔 특징들을 기반으로 하여 영상 처리 및 대상 물체에 대한 3차원 정보의 취득이 가능하다.

또한, 도 2의 (a)에 도시된 바와 같이 두 카메라가 근접하여 배치되면 대상 물체(Ob)가 이동하는 경우에도 그 이동 변위가 두 카메라가 각각 취득하는 영상 상에 유사하게 나타나므로 이동 변위에 대한 유사성을 산출하여 해당 대상 물체에 대한 검출을 용이하게 할 수 있는 장점이 있다.

한편, 도 2의 (b)에 도시된 바와 같이 제1 카메라(C1')와 제2 카메라(C2')가 서로 원거리에 배치되어 대상 물체(Ob)를 서로 다른 쪽에서 바라보는 방향으로 각각 영상을 취득하는 경우에는 각 카메라의 취득 영상 상에서 동일한 대상 물체라도 서로 다른 형상으로 나타나기 때문에 도 2의 (a)에 도시된 카메라 센싱 방식과 같이 양 이미지 사이의 유사성에 근거하여서는 대상 물체를 검출해 낼 수 없으므로 다른 방식으로 대상 물체를 검출하여야 한다.

상기한 바와 같이 두 카메라의 위치가 근접해 있는지 서로 다른 위치에 멀리 떨어져 있는지에 따라 장단점이 나뉘는 반면, 도 2의 (a)에 도시된 바와 같은 근접한 위치에서의 스테레오스코픽 방식의 카메라 센싱보다 도 2의 (b)에 도시된 바와 같은 멀리 떨어진 서로 다른 위치에서의 스테레오스코픽 방식의 카메라 센싱이 더 큰 장점을 갖는 경우도 있다.

도 2의 (c)는 도 2의 (a)에 도시된 바와 같은 카메라 센싱 방식에 따라 대상 물체를 검출하는 경우를 나타내고, 도 2의 (d)는 도 2의 (b)에 도시된 바와 같은 카메라 센싱 방식에 따라 대상 물체를 검출하는 경우를 나타내고 있다.

먼저 도 2의 (c)를 보면, A라는 피사체에 대해 제1 카메라의 영상 1에서 A1으로, 제2 카메라의 영상 2에서 A2로 각각 영상이 취득되었다고 할 때, 피사체 A의 3차원 정보는 A1으로부터의 시선벡터 v1과 A2로부터의 시선벡터 v2에 의한 삼각측량법(Triangulation Method)에 의해 산출할 수 있다.

그런데, 예컨대 도 2의 (c)에 도시된 바와 같이 영상 2에서 A2 부분에 대한 영상 오차(E1)가 발생하는 경우 오차에 따른 시선벡터를 ve라고 할 때 시선벡터 v1과 ve에 따라 대상 물체 A에 대한 3차원 정보에 E2 만큼의 3차원 오차가 발생하게 된다.

여기서, 도 2의 (c)에 도시된 바와 같은 카메라 센싱 방식에서 두 카메라의 시선벡터가 교차하는 각도를 a1이라 하고, 도 2의 (d)에 도시된 바와 같은 카메라 센싱 방식에서 두 카메라의 시선벡터가 교차하는 각도를 a2라 할 때, a2가 a1보다 큰 것은 당연한 것이다.

교차 각도 a2가 a1보다 얼마나 더 큰가에 따라 영상 2 부분에 대한 영상 오차(E1')가 발생할 때 시선벡터 v1과 ve'에 따라 대상 물체 A에 대한 3차원 정보에서 발생하는 3차원 오차(E2')가 더 작아질 수 있다.

즉, 같은 스테레오스코픽 카메라 센싱 방식이라고 하더라도 도 2의 (a)에 도시된 바와 같이 두 카메라를 근접해서 배치하는 경우보다 도 2의 (b)에 도시된 바와 같이 두 카메라를, 예컨대 하나는 천장에 하나는 벽에 설치하는 것과 같이 멀리 떨어지게 하면서도 두 카메라의 시선벡터의 교차 각도를 90도에 가깝게 또는 90도 보다 크게 함으로써 두 영상으로부터 각각 얻은 정보를 이용하여 3차원 정보를 산출할 때 오차가 작아진다. 즉, 정확성에 있어서 도 2의 (b)에 도시된 바와 같은 카메라 센싱 방식이 더 높은 정확성을 갖는 장점이 있다.

뿐만 아니라, 도 2의 (b)에 도시된 바와 같은 카메라 센싱 방식은 대상 물체를 한 쪽에서만 바라보는 것이 아니라 서로 다른 두 위치에서 좀 더 다양한 상태에 대한 영상을 확보할 수 있기 때문에, 두 카메라를 근접해서 배치하는 도 2의 (a)에 도시된 바와 같은 카메라 센싱 방식에서는 얻을 수 없는 더 다양한 정보를 얻을 수 있는 큰 장점이 있다.

그러나, 도 2의 (b)에 도시된 바와 같이 두 카메라를 서로 다른 위치에 멀리 떨어지게 배치하는 방식의 카메라 센싱장치의 경우에는 조명에 따른 그림자의 발생에 의해 취득되는 영상이 어둡게 나타나게 되고 영상을 통해 대상 물체를 구별하기 힘들게 되는 문제점이 있다.

상기한 문제점에 대해 도 3을 참조하여 설명하면, 도 3에 도시된 바와 같이 Top 위치에 제1 카메라(Cam1)가 배치되고 Side 위치에 제2 카메라(Cam2)가 배치되어 대상 물체(Ob)에 대한 영상을 취득한다고 할 때, 제1 카메라(Cam1) 쪽에서 물체(Ob) 쪽으로 조사되는 조명에 의해 물체(Ob)에 대한 제1 그림자(Sh1)가 생성되고 제2 카메라(Cam2) 쪽에서 물체(Ob) 쪽으로 조사되는 조명에 의해 물체(Ob)에 대한 제2 그림자(Sh2)가 생성된다.

이와 같이 제1 그림자(Sh1) 및 제2 그림자(Sh2)가 생성되는 경우, 도 3에 도시된 바와 같이 제1 카메라(Cam1)가 취득하는 영상(Img1) 상에 물체에 대응되는 부분(T1)이 제2 그림자(Sh2) 등의 영향으로 매우 어둡게 나타나고, 제2 카메라(Cam2)가 취득하는 영상(Img2) 상에서도 물체에 대응되는 부분(T2)이 제1 그림자(Sh1) 등의 영향으로 매우 어둡게 나타난다.

취득되는 영상이 매우 어둡게 나타나는 경우 영상으로부터 대상 물체를 검출하는 것이 매우 어렵거나 불가능할 수 있으며 검출이 가능하다 하더라도 정확하게 검출해 내는 것이 불가능하게 되는 문제점이 있다.

도 4의 (a)는 골프공을 아이언 클럽으로 타격할 때 Top 위치의 카메라가 촬영한 영상을 나타내고 도 4의 (b)는 골프공을 드라이버로 타격할 때 Top 위치의 카메라가 촬영한 영상을 나타낸다.

도 4의 (a) 및 (b)에서 각각 알 수 있듯이 상기한 바와 같은 그림자의 영향으로 취득되는 영상이 매우 어둡게 나타나므로 대상 물체를 정확하게 검출해 내는 것이 거의 불가능하다는 것을 알 수 있다.

본 발명의 일 실시예에 따른 물체의 3차원 정보 획득을 위한 카메라 센싱 장치는, 물체에 대한 미리 설정된 제1 파장대의 광원에 따른 이미지를 취득하는 제1 카메라 장치; 상기 물체에 대한 미리 설정된 파장대로서 상기 제1 파장대와 다른 파장대인 제2 파장대의 광원에 따른 이미지를 취득하는 제2 카메라 장치; 및 상기 제1 카메라 장치의 취득 이미지 상에서 상기 물체에 대응되는 부분을 추출하여 좌표 정보를 산출하고, 상기 제2 카메라 장치의 취득 이미지 상에서 상기 물체에 대응되는 부분을 추출하여 좌표 정보를 산출하여 각 산출된 좌표 정보로부터 상기 물체에 대한 3차원 위치 정보를 산출하는 연산장치를 포함한다.

또한 바람직하게는, 상기 제1 카메라 장치는, 공간상의 위쪽에서 상기 물체가 있는 아래쪽으로 내려다보는 화각으로 이미지를 취득하도록 구성되고, 상기 제2 카메라 장치는, 상기 공간상의 측면쪽에서 상기 물체가 있는 쪽을 바라보는 화각으로 이미지를 취득하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 카메라 장치는, 상기 제1 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제1 광원부와, 상기 제2 파장대의 빛을 차단하고 상기 제1 광원부에 의해 조사되는 제1 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제1 파장대의 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부를 포함하고, 상기 제2 카메라 장치는, 상기 제2 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제2 광원부와, 상기 제2 광원부에 의해 조사되는 상기 제2 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제2 파장대의 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 카메라 장치는, 상기 제1 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제1 광원부와, 상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부와, 상기 제1 카메라부의 렌즈에 장착되며, 상기 제2 파장대의 빛을 차단하고 상기 제1 광원부에 의해 조사되는 제1 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제1 카메라부가 상기 제1 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제1 필터를 포함하고, 상기 제2 카메라 장치는, 상기 제2 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제2 광원부와, 상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부와, 상기 제2 카메라부의 렌즈에 장착되며, 상기 제2 광원부에 의해 조사되는 상기 제2 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제2 카메라부가 상기 제2 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제2 필터를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 광원부는 상기 제1 파장대로서 가시광선 파장대의 빛을 조사하도록 구성되고, 상기 제1 카메라부는 적외선 파장대의 빛이 반사되어 오는 것을 차단하면서 상기 제1 파장대인 가시광선 파장대의 빛이 반사되어 오는 것을 투과시키도록 구성되며, 상기 제2 광원부는 상기 제2 파장대로서 적외선 파장대의 빛을 조사하도록 구성되고, 상기 제2 카메라부는 적외선 파장대의 빛이 반사되어 오는 것을 투과시키도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 제1 광원부는 상기 제1 파장대로서 가시광선 파장대의 빛을 조사하도록 구성되고, 상기 제1 필터는 적외선 파장대의 빛이 반사되어 오는 것을 차단하면서 상기 제1 파장대인 가시광선 파장대의 빛이 반사되어 오는 것을 투과시키며, 상기 제2 광원부는 상기 제2 파장대로서 적외선 파장대의 빛을 조사하도록 구성되고, 상기 제2 필터는 적외선 파장대의 빛이 반사되어 오는 것을 투과시키는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 물체의 3차원 정보 획득을 위한 카메라 센싱 장치는, 물체에 가시광선을 조사하여 반사되는 광 중 미리 설정된 제1 파장대의 광을 받아서 이미지를 생성하는 제1 카메라 장치; 상기 물체에 가시광선을 조사하여 반사되는 광 중 미리 설정된 파장대로서 상기 제1 파장대와 다른 파장대인 제2 파장대의 광을 받아서 이미지를 생성하는 제2 카메라 장치; 및 상기 제1 카메라 장치 및 제2 카메라 장치 각각이 생성한 이미지 상에서 상기 물체에 해당하는 부분의 좌표 정보를 이용하여 상기 물체의 3차원 위치 정보를 산출하는 연산장치를 포함한다.

또한 바람직하게는, 상기 제1 카메라 장치는, 가시광선을 상기 물체 쪽으로 조사하도록 구성되는 제1 광원부와, 상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부와, 상기 제1 카메라부의 렌즈에 장착되며, 상기 반사되는 광에서 상기 제2 파장대의 빛을 차단하고 상기 제1 파장대의 빛을 투과시킴으로써 상기 제1 카메라부가 상기 제1 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제1 필터를 포함하고, 상기 제2 카메라 장치는, 가시광선을 상기 물체 쪽으로 조사하도록 구성되는 제2 광원부와, 상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부와, 상기 제2 카메라부의 렌즈에 장착되며, 상기 반사되는 광에서 상기 제1 파장대의 빛을 차단하고 상기 제2 파장대의 빛을 투과시킴으로써 상기 제2 카메라부가 상기 제2 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제2 필터를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 골프공이 놓인 타격매트를 포함하는 영역에 가시광선을 조사하여 반사되는 가시광선에 의해 촬영되는 이미지를 취득하는 제1 카메라 장치와, 상기 타격매트를 포함하는 영역에 적외선을 조사하여 반사되는 적외선에 의해 촬영되는 이미지를 취득하는 제2 카메라 장치와, 상기 제1 카메라 장치 및 제2 카메라 장치 각각의 취득 이미지를 분석하여 상기 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 산출하는 연산장치를 포함하는 카메라 센싱장치; 및 가상의 골프코스에 관한 영상을 구현하고, 상기 카메라 센싱장치에 의해 산출된 3차원 위치 정보를 이용하여 상기 사용자의 골프스윙에 따라 운동하는 골프공에 대한 운동 파라미터를 산출하며, 상기 산출된 운동 파라미터에 기초하여 상기 영상 구현된 가상의 골프코스 상에서 볼이 이동하는 시뮬레이션 영상을 구현하는 시뮬레이터를 포함한다.

한편, 본 발명의 다른 일 실시예에 따른 가상 골프 시뮬레이션 장치는, 골프공이 놓인 타격매트를 포함하는 영역에 가시광선을 조사하여 반사되는 가시광선에 의해 촬영되는 이미지를 취득하는 제1 카메라 장치와, 상기 타격매트를 포함하는 영역에 적외선을 조사하여 반사되는 적외선에 의해 촬영되는 이미지를 취득하는 제2 카메라 장치를 포함하여 상기 골프공 및 사용자의 골프스윙에 이용되는 골프클럽을 감지하도록 구성되는 카메라 센싱장치; 및 가상의 골프코스에 관한 영상을 구현하고, 상기 제1 카메라 장치 및 제2 카메라 장치 각각의 취득 이미지를 분석하여 상기 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 산출하여 상기 사용자의 골프스윙에 따라 운동하는 골프공에 대한 운동 파라미터를 산출하며, 상기 산출된 운동 파라미터에 기초하여 상기 영상 구현된 가상의 골프코스 상에서 볼이 이동하는 시뮬레이션 영상을 구현하는 시뮬레이터를 포함한다.

또한 바람직하게는, 상기 제1 카메라는 상기 사용자의 머리 위쪽의 천장에 설치되고, 상기 제2 카메라는 벽 쪽에 설치된 상기 시뮬레이터의 케이스에 설치되는 것을 특징으로 한다.

본 발명에 따른 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치는, 두 카메라를 스테레오스코픽 방식으로 동일 물체에 대해 각각 취득한 영상으로부터 각각 물체를 검출하여 해당 물체에 대한 3차원 공간 상에서의 위치 정보를 산출하도록 하는 카메라 센싱장치에 관한 것으로서, 두 카메라가 각각 취득한 영상으로부터 대상 물체에 대한 유사성 판단을 통해 해당 대상 물체를 검출할 수 없을 정도로 두 카메라의 위치가 전혀 다른 위치에 서로 멀리 떨어져서 배치되는 카메라 센싱장치에 있어서 각 카메라의 위치에서 조사되는 조명에 따라 대상 물체에 대해 생성되는 그림자로 말미암은 각 카메라가 취득하는 영상 상에서 그림자의 영향을 제거하고 각 카메라가 대상 물체에 대해 더욱 선명하고 밝은 영상을 각각 취득할 수 있도록 하여, 원거리 배치 방식의 카메라 센싱장치의 장점을 취하면서도 그에 따른 그림자 문제를 해결하여 높은 품질의 영상을 획득할 수 있도록 하는 효과가 있다.

도 1은 종래의 스크린 골프 시스템에 적용되는 센싱장치의 일 예에 대해 나타낸 도면이다.

도 2는 종래의 카메라 센싱장치에서 이용되는 두 카메라의 배치에 따른 장단점을 설명하기 위한 도면이다.

도 3은 두 카메라의 위치가 서로 다른 위치에 각각 설치되어 멀리 떨어져서 배치되는 경우에 발생하게 되는 문제점을 설명하기 위한 도면이다.

도 4는 도 3에 도시된 바와 같은 배치를 갖는 카메라 센싱 장치의 Top 위치 카메라가 촬영한 영상의 일 예에 관하여 나타낸 것이다.

도 5는 본 발명의 일 실시예에 따른 카메라 센싱 장치가 적용된 가상 골프 시뮬레이션 장치가 설치된 스크린 골프 시스템에 관하여 나타낸 도면이다.

도 6은 본 발명의 일 실시예에 따른 카메라 센싱 장치의 구성 및 기능에 관하여 설명하기 위한 도면이다.

도 7은 도 6에 도시된 바와 같은 구성을 갖는 카메라 센싱 장치의 두 카메라가 각각 촬영한 이미지를 나타낸 것이다.

도 8은 빛의 파장대에 대해 설명하기 위한 도면이다.

본 발명에 따른 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치에 관한 구체적인 내용을 도면을 참조하여 더욱 상세하게 설명하도록 한다.

먼저, 도 5를 참조하여 본 발명의 일 실시예에 따른 카메라 센싱 장치가 적용된 가상 골프 시뮬레이션 장치가 설치된 스크린 골프 시스템의 일 예에 관하여 설명한다.

도 5에 도시된 바와 같이 스크린 골프를 위한 공간을 마련하는 부스(BT) 내에서, 사용자(P)의 전방에 스크린(12)이 설치되고 영상출력장치(400)가 시뮬레이터로부터 영상 정보를 전달받아 골프코스에 대한 영상(SI)을 상기 스크린(12)에 출력하도록 구성될 수 있다.

부스 바닥(B1)에 타석이 마련되고 그 타석에 골프공(1)이 놓이며 골프클럽(CL)에 의한 골프 스윙이 이루어질 수 있도록 타격매트(13)가 마련될 수 있다.

부스(BT)의 일측 벽에는 시뮬레이터가 담긴 보호 케이스(SM)가 설치된다.

본 발명의 일 실시예에 따른 카메라 센싱장치는 제1 카메라 장치(100)와 제2 카메라 장치(200)를 포함하는데, 상기 제1 카메라 장치(100)는 부스(BT)의 천장 (사용자(P)의 머리 위쪽)에 설치되어 미리 설정된 화각으로 타격매트(13)를 포함하는 영역을 촬영하고 제2 카메라 장치(200)는 부스의 벽쪽, 예컨대 시뮬레이터의 보호 케이스(SM)에 설치되어 미리 설정된 화각으로 타격매트(13)를 포함하는 영역을 측면 쪽에서 촬영하도록 구성될 수 있다.

상기 제1 카메라 장치(100)를 사용자의 머리 위쪽 위치, 즉 천장 위치에 설치하도록 하고 상기 제2 카메라 장치(200)를 사용자의 측면 위치, 즉 벽쪽 위치에 설치하도록 하며 상기 제1 카메라 장치(100)와 제2 카메라 장치(200)가 각각 골프공(1)이 놓여있는 타격매트(13)를 포함하는 소정 영역을 촬영하도록 구성될 수 있다.

상기한 바와 같이 각각 배치된 제1 카메라 장치(100) 및 제2 카메라 장치(200)가 타격된 골프공(1)을 각각 촬영하여 시뮬레이터로 전송하고, 시뮬레이터는 각각의 카메라가 취득한 영상을 분석하여 골프공(1)에 대한 3차원 공간 상에서의 위치 정보를 산출하며, 시뮬레이터는 그 산출된 위치 정보에 기초하여 골프공(1)의 운동에 따른 운동 파라미터를 산출할 수 있으며, 그 산출된 골프공의 운동 파라미터에 기초한 볼의 궤적에 대한 시뮬레이션 영상이 상기 골프코스의 영상 상에서 이루어지도록 할 수 있다.

이때, 상기 제1 카메라 장치의 취득 이미지 상에서 상기 골프공 및 골프클럽 중 적어도 하나에 대응되는 부분을 추출하여 좌표 정보를 산출하고, 상기 제2 카메라 장치의 취득 이미지 상에서 상기 골프공 및 골프클럽 중 적어도 하나에 대응되는 부분을 추출하여 좌표 정보를 산출하여 각 산출된 좌표 정보로부터 상기 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 산출하는 기능을 수행하는 구성요소를 "연산장치"라 할 때, 상기 연산장치는 제1 카메라 장치 또는 제2 카메라 장치에 함께 포함되어 있을 수도 있고, 시뮬레이터에 포함될 수도 있다.

상기 연산장치가 시뮬레이터에 포함되지 않는 경우에는 상기 연산장치가 상기 제1 카메라 장치나 제2 카메라 장치에 함께 포함되어 있을 수 있는데, 이 경우에는 연산장치가 상기 두 카메라 장치로부터 각각 전달받은 이미지를 분석하여 대상 물체에 대한 3차원 위치 정보를 산출하여 시뮬레이터로 전달하고, 시뮬레이터는 연상장치로부터 전달받은 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 이용하여 운동하는 골프공에 대한 운동 파라미터, 예컨대 골프공의 속도, 방향각, 높이각, 스핀 등의 파라미터 정보를 산출하여 그 산출된 운동 파라미터에 기초하여 시뮬레이션 영상 상에서 볼이 이동하는 영상을 구현하도록 한다.

만약, 상기 연산장치가 시뮬레이터에 포함되는 경우에는, 시뮬레이터가 상기한 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 산출할 뿐만 아니라 이를 이용하여 운동하는 골프공에 대한 운동 파라미터를 산출하는 기능까지 모두 함께 수행할 수 있다.

상기한 바와 같이 두 카메라 장치를 각각 Top 위치 및 Side 위치에 배치함으로써 앞서, 도 2를 통해 설명한 바와 같이 영상 오차에 따라 발생하는 대상 물체의 3차원 정보에 대한 오차를 크게 감소시킬 수 있어 정확한 3차원 정보의 산출이 가능할 뿐만 아니라 Top 위치의 제1 카메라 장치가 취득하는 영상과 Side 위치의 제2 카메라 장치가 취득하는 영상이 서로 전혀 다른 영상이기 때문에 그로부터 다양한 정보의 산출이 가능하게 되는 특장점이 있다

도 5에서는 제1 카메라 장치를 Top 위치에, 제2 카메라 장치를 Side 위치에 각각 배치되는 경우에 대해 나타내었으나, 이에 한정되는 것은 아니며 본 발명에 따른 카메라 센싱 장치의 제1 카메라 장치와 제2 카메라 장치는 그 각각이 취득한 영상으로부터 대상 물체에 대한 유사성 판단을 통해 해당 대상 물체를 검출할 수 없을 정도로 두 카메라의 위치가 전혀 다른 위치에 배치되는 모든 경우를 포함한다.

한편, 도 5에 도시된 바와 같은 배치를 갖는 카메라 센싱 장치의 두 카메라 장치에 의해 각각 취득되는 이미지 상에서 그림자의 영향을 제거하기 위한 구성을 도 6을 참조하여 구체적으로 설명하도록 한다.

카메라가 대상 물체에 대한 이미지를 취득하기 위해서는 대상 물체에서 반사되는 광이 있어야 그 반사광에 의해 카메라 내부의 이미지 센서가 상을 맺음으로써 이미지를 취득할 수 있게 된다.

본 발명에 따른 카메라 센싱 장치에서, 앞서 도 3 및 도 4를 통해 설명한 바와 같은 그림자에 대한 문제를 해결하기 위하여 제1 카메라 장치가 취득하는 이미지의 생성을 위한 반사광과 제2 카메라 장치가 취득하는 이미지의 생성을 위한 방사광의 파장대를 서로 다르게 하도록 한다.

즉, 제1 카메라 장치는 제1 파장대의 광원이 대상 물체에 조사되어 반사되는 반사광을 수신하여 이미지를 취득하고, 제2 카메라 장치는 제2 파장대의 광원이 대상 물체에 조사되어 반사되는 반사광을 수신하여 이미지를 취득하도록 함으로써 상기한 바와 같은 그림자에 대한 문제를 해결하도록 한다.

여기서, 제1 파장대와 제2 파장대는 서로 다른 빛의 파장대이며, 예컨대 제1 파장대는 가시광선 파장대이고 제2 파장대는 적외선 파장대일 수 있다. 이하에서는 제1 카메라 장치가 이미지를 취득하는데 이용하는 광원을 가시광선으로 특정하고 제2 카메라 장치가 이미지를 취득하는데 이용하는 광원을 적외선으로 특정하여 설명하도록 한다.

도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 카메라 센싱 장치의 Top 위치에 설치되는 제1 카메라 장치(100)는 가시광선(Le)을 물체(1) 쪽으로 조사하도록 구성되는 제1 광원부(120)와, 상기 물체(1)에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부(110)와, 상기 제1 카메라부(110)의 렌즈에 장착되어 적외선이 반사되어 수광되는 것(Rf2)을 차단하고 상기 제1 광원부(120)에 의해 조사되는 가시광선(Le)이 반사되는 반사광(Lf1)을 투과시킴으로써 상기 제1 카메라부(110)가 가시광선에 의해 촬영되는 이미지를 취득할 수 있게 하는 제1 필터(130)를 포함하여 구성될 수 있다.

여기서, 상기 제1 필터(130)는 적외선 차단 필터로서 구현될 수 있으며, 상기 제1 필터(130)가 제1 카메라부(110)에 포함되어 구비될 수도 있고 상기 제1 카메라부(110)의 렌즈에 착탈 가능하도록 부착할 수 있도록 할 수도 있다.

그리고, 상기 제1 광원부(120)는, 도 6에 도시된 바와 같이 가시광선을 조사하도록 구성되는 광원 소자를 이용하여 제1 카메라부(110)와 일체로 하나의 장치로서 구성되도록 함이 바람직하다.

또한, 본 발명의 일 실시예에 따른 카메라 센싱 장치의 Side 위치에 설치되는 제2 카메라 장치(200)는 적외선(Re)을 물체(1) 쪽으로 조사하도록 구성되는 제2 광원부(220)와, 상기 물체(1)에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부(210)와, 상기 제2 카메라부(210)의 렌즈에 장착되어 가시광선이 반사되어 수광되는 것(Lf2)을 차단하고 상기 제2 광원부(220)에 의해 조사되는 적외선(Re)이 반사되는 반사광(Rf1)을 투과시킴으로써 상기 제2 카메라부(210)가 적외선에 의해 촬영되는 이미지를 취득할 수 있게 하는 제2 필터(230)를 포함하여 구성될 수 있다.

여기서, 상기 제2 필터(230)는 적외선 투과 필터로서 구현될 수 있으며, 상기 제2 필터(230)가 제2 카메라부(210)에 포함되어 구비될 수도 있고 상기 제2 카메라부(210)의 렌즈에 착탈 가능하도록 부착할 수 있도록 할 수도 있다.

그리고, 상기 제2 광원부(220)는, 도 6에 도시된 바와 같이 적외선을 조사하도록 구성되는 광원 소자를 이용하여 제2 카메라부(210)와 일체로 하나의 장치로서 구성되도록 함이 바람직하다.

도 7에서는 도 6에 도시된 바와 같은 구성을 갖는 본 발명의 일 실시예에 따른 카메라 센싱 장치에 의해 취득된 이미지로서, 도 7의 (a)는 Top 위치의 제1 카메라 장치에 의해, 도 7의 (b)는 Side 위치의 제2 카메라 장치에 의해 각각 취득된 이미지를 나타내고 있다.

앞서 도 4에서 나타낸 그림자 문제를 갖는 경우의 이미지와 도 7에서 나타낸 그림자 문제가 해결된 경우의 이미지를 비교하면, 본 발명의 경우 취득된 이미지로부터 또는 취득된 이미지에 적절한 이미지 처리를 한 것으로부터 그 이미지 내의 어떤 대상 물체를 충분히 검출할 수 있을 정도로 선명한 이미지를 취득할 수 있음을 알 수 있다.

한편, 도 6에서는 제1 카메라 장치(100)의 제1 광원부(120)를 가시광선을 조사하는 것으로, 제2 카메라 장치(200)의 제2 광원부(220)를 적외선을 조사하는 것으로 각각 구성하고, 그에 따라 제1 카메라 장치(100)에 제1 필터(130)로서 적외선 차단 필터를, 제2 카메라 장치(200)에 제2 필터(230)로서 적외선 투과 필터를 각각 적용한 경우에 대해 설명하였으나, 본 발명은 이에 한정되지 않고 제1 광원부와 제2 광원부를 동일한 광원을 조사하는 것으로 구성하고 제1 필터와 제2 필터를 해당 광원에서 서로 파장대를 달리하는 빛을 투과하도록 구성하는 것도 가능하다.

상기한 내용을 설명하기 위하여, 빛의 파장에 대해 살펴보면 도 8에 도시된 바와 같이 가시광선 내에서도 다양한 파장대의 광이 존재하고 적외선 내에서도 다양한 파장대의 광이 존재한다.

따라서, 상기한 제1 광원부와 제2 광원부를 각각 가시광선을 조사하는 광원소자를 이용하여 동일하게 가사광선을 조사하는 것으로 구성하고, 상기한 제1 필터를 가시광선 내의 특정 파장대의 광을 투과하고 나머지 파장대의 광을 차단하는 것으로 구성하며, 상기한 제2 필터를 상기 제1 필터가 투과하는 파장대와 다른 파장대의 광을 투과하고 그 외의 파장대의 광을 차단하는 것으로 구성할 수 있다.

예컨대, 상기한 제1 광원부와 제2 광원부를 동일하게 가시광선을 조사하는 조명장치로서 구성하고, 상기한 제1 필터를 보라색이나 남색 계통의 파장대의 광을 투과하고 나머지 파장대의 광을 차단하는 것으로 구성하며, 상기한 제2 필터를 주황색이나 빨강색 계통의 파장대의 광을 투과하고 나머지 파장대의 광을 차단하는 것으로 구성할 수도 있다.

이상 설명한 바와 같이, 본 발명에 따른 물체의 3차원 정보 획득을 위한 카메라 센싱 장치는 각 카메라 장치의 위치에서 조사되는 조명에 따라 대상 물체에 대해 생성되는 그림자로 말미암은 문제점을 해소하여 각 카메라 장치가 취득하는 영상 상에서 그림자의 영향을 제거하고 각 카메라장치가 대상 물체에 대해 더욱 선명하고 밝은 영상을 각각 취득하도록 함으로써 각 카메라 장치의 취득 영상을 이용하여 대상 물체에 대한 3차원 정보를 더욱 정확하게 산출할 수 있는 특장점이 있다.

본 발명에 따른 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치는 가상 현실 기반의 골프 시뮬레이션을 통하여 사용자가 가상의 골프 경기를 즐길 수 있도록 할 수 있는 골프 산업 분야에 이용 가능하다.

Claims

물체에 대한 미리 설정된 제1 파장대의 광원에 따른 이미지를 취득하는 제1 카메라 장치;

상기 물체에 대한 미리 설정된 파장대로서 상기 제1 파장대와 다른 파장대인 제2 파장대의 광원에 따른 이미지를 취득하는 제2 카메라 장치; 및

상기 제1 카메라 장치의 취득 이미지 상에서 상기 물체에 대응되는 부분을 추출하여 좌표 정보를 산출하고, 상기 제2 카메라 장치의 취득 이미지 상에서 상기 물체에 대응되는 부분을 추출하여 좌표 정보를 산출하여 각 산출된 좌표 정보로부터 상기 물체에 대한 3차원 위치 정보를 산출하는 연산장치;

를 포함하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
제1항에 있어서,

상기 제1 카메라 장치는,

공간상의 위쪽에서 상기 물체가 있는 아래쪽으로 내려다보는 화각으로 이미지를 취득하도록 구성되고,

상기 제2 카메라 장치는,

상기 공간상의 측면쪽에서 상기 물체가 있는 쪽을 바라보는 화각으로 이미지를 취득하도록 구성되는 것을 특징으로 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
제1항에 있어서,

상기 제1 카메라 장치는,

상기 제1 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제1 광원부와,

상기 제2 파장대의 빛을 차단하고 상기 제1 광원부에 의해 조사되는 제1 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제1 파장대의 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부를 포함하고,

상기 제2 카메라 장치는,

상기 제2 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제2 광원부와,

상기 제2 광원부에 의해 조사되는 상기 제2 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제2 파장대의 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부를 포함하는 것을 특징으로 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
제1항에 있어서,

상기 제1 카메라 장치는,

상기 제1 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제1 광원부와,

상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부와,

상기 제1 카메라부의 렌즈에 장착되며, 상기 제2 파장대의 빛을 차단하고 상기 제1 광원부에 의해 조사되는 제1 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제1 카메라부가 상기 제1 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제1 필터를 포함하고,

상기 제2 카메라 장치는,

상기 제2 파장대의 빛을 상기 물체 쪽으로 조사하도록 구성되는 제2 광원부와,

상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부와,

상기 제2 카메라부의 렌즈에 장착되며, 상기 제2 광원부에 의해 조사되는 상기 제2 파장대의 빛이 반사되는 것을 투과시킴으로써 상기 제2 카메라부가 상기 제2 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제2 필터를 포함하는 것을 특징으로 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
제3항에 있어서,

상기 제1 광원부는 상기 제1 파장대로서 가시광선 파장대의 빛을 조사하도록 구성되고, 상기 제1 카메라부는 적외선 파장대의 빛이 반사되어 오는 것을 차단하면서 상기 제1 파장대인 가시광선 파장대의 빛이 반사되어 오는 것을 투과시키도록 구성되며,

상기 제2 광원부는 상기 제2 파장대로서 적외선 파장대의 빛을 조사하도록 구성되고, 상기 제2 카메라부는 적외선 파장대의 빛이 반사되어 오는 것을 투과시키도록 구성되는 것을 특징으로 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
제4항에 있어서,

상기 제1 광원부는 상기 제1 파장대로서 가시광선 파장대의 빛을 조사하도록 구성되고, 상기 제1 필터는 적외선 파장대의 빛이 반사되어 오는 것을 차단하면서 상기 제1 파장대인 가시광선 파장대의 빛이 반사되어 오는 것을 투과시키며,

상기 제2 광원부는 상기 제2 파장대로서 적외선 파장대의 빛을 조사하도록 구성되고, 상기 제2 필터는 적외선 파장대의 빛이 반사되어 오는 것을 투과시키는 것을 특징으로 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
물체에 가시광선을 조사하여 반사되는 광 중 미리 설정된 제1 파장대의 광을 받아서 이미지를 생성하는 제1 카메라 장치;

상기 물체에 가시광선을 조사하여 반사되는 광 중 미리 설정된 파장대로서 상기 제1 파장대와 다른 파장대인 제2 파장대의 광을 받아서 이미지를 생성하는 제2 카메라 장치; 및

상기 제1 카메라 장치 및 제2 카메라 장치 각각이 생성한 이미지 상에서 상기 물체에 해당하는 부분의 좌표 정보를 이용하여 상기 물체의 3차원 위치 정보를 산출하는 연산장치;

를 포함하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
제7항에 있어서,

상기 제1 카메라 장치는,

가시광선을 상기 물체 쪽으로 조사하도록 구성되는 제1 광원부와,

상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제1 카메라부와,

상기 제1 카메라부의 렌즈에 장착되며, 상기 반사되는 광에서 상기 제2 파장대의 빛을 차단하고 상기 제1 파장대의 빛을 투과시킴으로써 상기 제1 카메라부가 상기 제1 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제1 필터를 포함하고,

상기 제2 카메라 장치는,

가시광선을 상기 물체 쪽으로 조사하도록 구성되는 제2 광원부와,

상기 물체에서 반사되는 빛에 의해 촬영되는 이미지를 취득하는 제2 카메라부와,

상기 제2 카메라부의 렌즈에 장착되며, 상기 반사되는 광에서 상기 제1 파장대의 빛을 차단하고 상기 제2 파장대의 빛을 투과시킴으로써 상기 제2 카메라부가 상기 제2 파장대의 빛에 의해 촬영되는 이미지를 취득할 수 있게 하는 제2 필터를 포함하는 것을 특징으로 하는 물체의 3차원 정보 획득을 위한 카메라 센싱 장치.
골프공이 놓인 타격매트를 포함하는 영역에 가시광선을 조사하여 반사되는 가시광선에 의해 촬영되는 이미지를 취득하는 제1 카메라 장치와, 상기 타격매트를 포함하는 영역에 적외선을 조사하여 반사되는 적외선에 의해 촬영되는 이미지를 취득하는 제2 카메라 장치와, 상기 제1 카메라 장치 및 제2 카메라 장치 각각의 취득 이미지를 분석하여 상기 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 산출하는 연산장치를 포함하는 카메라 센싱장치; 및

가상의 골프코스에 관한 영상을 구현하고, 상기 카메라 센싱장치에 의해 산출된 3차원 위치 정보를 이용하여 상기 사용자의 골프스윙에 따라 운동하는 골프공에 대한 운동 파라미터를 산출하며, 상기 산출된 운동 파라미터에 기초하여 상기 영상 구현된 가상의 골프코스 상에서 볼이 이동하는 시뮬레이션 영상을 구현하는 시뮬레이터;

를 포함하는 가상 골프 시뮬레이션 장치.
골프공이 놓인 타격매트를 포함하는 영역에 가시광선을 조사하여 반사되는 가시광선에 의해 촬영되는 이미지를 취득하는 제1 카메라 장치와, 상기 타격매트를 포함하는 영역에 적외선을 조사하여 반사되는 적외선에 의해 촬영되는 이미지를 취득하는 제2 카메라 장치를 포함하여 상기 골프공 및 사용자의 골프스윙에 이용되는 골프클럽을 감지하도록 구성되는 카메라 센싱장치; 및

가상의 골프코스에 관한 영상을 구현하고, 상기 제1 카메라 장치 및 제2 카메라 장치 각각의 취득 이미지를 분석하여 상기 골프공 및 골프클럽 중 적어도 하나에 대한 3차원 위치 정보를 산출하여 상기 사용자의 골프스윙에 따라 운동하는 골프공에 대한 운동 파라미터를 산출하며, 상기 산출된 운동 파라미터에 기초하여 상기 영상 구현된 가상의 골프코스 상에서 볼이 이동하는 시뮬레이션 영상을 구현하는 시뮬레이터;

를 포함하는 가상 골프 시뮬레이션 장치.
제9항 또는 제10항에 있어서,

상기 제1 카메라는 상기 사용자의 머리 위쪽의 천장에 설치되고, 상기 제2 카메라는 벽 쪽에 설치된 상기 시뮬레이터의 케이스에 설치되는 것을 특징으로 하는 가상 골프 시뮬레이션 장치.