WO2020004885A1

WO2020004885A1 - 볼의 운동에 대한 센싱장치 및 그 센싱방법

Info

Publication number: WO2020004885A1
Application number: PCT/KR2019/007617
Authority: WO
Inventors: 정서연
Original assignee: 주식회사 뉴딘콘텐츠
Priority date: 2018-06-25
Filing date: 2019-06-25
Publication date: 2020-01-02
Also published as: JP7111433B2; JP2021530035A; KR102045454B1

Abstract

본 발명은 테니스 등과 같은 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼머신과 플레이어가 빠르게 볼을 주고 받고, 플레이어가 다이나믹하게 움직이면서 예측할 수 없는 다양한 위치에서 볼을 타격하며, 플레이 공간 내에 이미 타격되어 실효된 볼이 불특정하게 이동하는 등의 플레이 환경에서도 신속하고 안정적인 볼의 운동에 대한 센싱이 이루어질 수 있도록 하는 센싱장치 및 그 센싱방법을 제공하기 위한 것이다.

Description

볼의 운동에 대한 센싱장치 및 그 센싱방법

본 발명은 테니스, 스쿼시, 배드민턴, 탁구 등과 같이 네트를 사이에 두고 양 플레이어가 서로 볼을 주고 받는 형식의 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 다양한 방향으로 빠르게 이동하는 볼의 운동을 센싱하는 센싱장치 및 그 센싱방법에 관한 것이다.

최근에 스포츠를 손쉽게 즐길 수 있도록 하는 가상 스포츠 시뮬레이션 시스템에 등장하여, 예컨대 골프와 야구의 경우 필드에서 직접 스포츠를 즐기는 것이 매우 제한적인 스포츠에 대한 가상 시뮬레이션 시스템이 널리 대중화되어 있다.

나아가 테니스, 스쿼시, 배드민턴 등과 같은 네트를 사이에 두고 양 플레이어가 서로 볼을 주고 받는 형식의 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템도 등장하여 사용자로 하여금 다양한 스포츠를 대중적 문화 공간에서 손쉽게 즐길 수 있도록 하는 추세가 형성되고 있다.

대표적인 네트 스포츠인 테니스에 대한 가상 테니스 시뮬레이션 시스템과 관련한 선행기술문헌으로서 특허출원 제10-2015-0010077호, 특허출원 제10-2015-0138876호, 미국등록특허 제6,776,732호, 미국등록특허 제3,989,246호 등이 공개되어 있다.

그런데, 골프, 야구와 같은 스포츠 시뮬레이션 시스템에 이용되는 볼 감지를 위한 센싱장치와 테니스 등과 같은 네트 스포츠에 대한 시뮬레이션 시스템에 이용되는 센싱장치는 공통적으로 볼이라는 매개체를 촬영된 영상의 분석을 통해 감지한다는 특성에 의해 동일한 센싱방식에 따라 볼의 운동에 대한 센싱이 이루어지고 있는 실정이다.

그러나, 골프나 야구와 같이 사용자가 정해진 위치에서 볼을 타격하는 스포츠는 볼이 이동하는 경로가 비교적 단순하고 테니스의 랠리와 같이 볼을 빠르게 주고 받는 상황을 고려할 필요가 없기 때문에 센싱장치가 카메라에 의해 촬영된 영상의 분석을 통해 볼의 운동 특성을 센싱하는 것이 비교적 쉬울 뿐만 아니라 실제 사용되는 볼의 탄성이 낮기 때문에 사용자가 스포츠를 즐기는 공간 내에서 이미 타격된 볼이 지속적으로 이동하거나 바운드되어 운동하는 경우가 거의 없으므로 센싱장치가 카메라에 의해 촬영된 영상으로부터 차영상을 통해 볼을 추출해 내는 것이 매우 용이한 반면, 테니스 등과 같은 네트 스포츠의 경우 랠리와 같이 볼을 빠르게 주고 받는 상황을 필수적으로 고려하여야 할 뿐만 아니라 플레이어가 다이나믹하게 이동하면서 예측할 수 없는 다양한 위치에서 볼을 타격하기 때문에 볼의 운동 특성을 센싱하는 것이 어렵고, 또한 실제 사용되는 테니스 볼 등의 탄성이 높기 때문에 플레이어가 스포츠를 즐기는 공간 내에서 이미 타격된 다수의 볼이 지속적으로 이동하거나 바운드되어 운동하고 있기 때문에 차영상을 통해 볼을 추출해 내는 것이 불가능하다는 문제점이 있었다.

본 발명의 일 실시예에 따른 볼의 운동에 대한 센싱장치의 센싱방법은, 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼의 운동에 대한 센싱장치의 센싱방법으로서, 스테레오 방식의 복수개의 카메라 중 어느 하나의 카메라에 의해 그 촬영 범위에 대한 2D 영상이 촬영되어 수집되는 단계; 볼머신에서 볼이 발사되고, 상기 2D 영상에서 상기 볼머신에서 발사되는 볼인 머신볼을 특정함으로써 플레이어에 의해 타격된 볼인 타격볼을 특정하는 타격볼 프로세스가 개시되는 단계; 상기 타격볼 프로세스가 개시됨에 따라 상기 2D 영상에서 상기 타격볼을 특정함으로써 3차원 공간에서 타격되어 운동하는 볼에 대한 볼 운동 모델을 산출하는 볼모델 프로세스가 개시되는 단계; 및 상기 볼모델 프로세스가 개시됨에 따라 상기 복수개의 카메라 각각이 취득하는 2D 영상을 이용하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하는 단계를 포함한다.

또한, 본 발명의 일 실시예에 따른 센싱장치는, 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼의 운동에 대한 센싱장치로서, 스테레오 방식의 복수개의 카메라 중 어느 하나의 카메라에 의해 그 촬영 범위에 대한 2D 영상을 촬영하는 카메라유닛; 및 볼머신에서 발사되는 볼인 머신볼을 특정하기 위한 머신볼 프로세스를 개시함에 따라 상기 2D 영상에서 상기 머신볼을 특정하고, 상기 머신볼 프로세스의 완료에 따라 플레이어에 의해 타격된 볼인 타격볼을 특정하기 위한 타격볼 프로세스를 개시하여 상기 2D 영상에서 상기 타격볼을 특정하며, 상기 타격볼 프로세스의 완료에 따라 3차원 공간에서 타격되어 운동하는 볼에 대한 볼 운동 모델을 산출하는 볼모델 프로세스를 개시하여 상기 복수개의 카메라 각각이 취득하는 2D 영상을 이용하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하는 센싱처리유닛을 포함한다.

본 발명에 따른 볼의 운동에 대한 센싱장치 및 그 센싱방법은, 테니스 등과 같은 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼머신과 플레이어가 빠르게 볼을 주고 받고, 플레이어가 다이나믹하게 움직이면서 예측할 수 없는 다양한 위치에서 볼을 타격하며, 플레이 공간 내에 이미 타격되어 실효된 볼이 불특정하게 이동하는 등의 플레이 환경에서도 신속하고 안정적인 볼의 운동에 대한 센싱이 이루어질 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 센싱장치가 적용된 가상 테니스 시뮬레이션 시스템으로서 스크린 테니스 시스템이 구현된 예를 나타낸 도면이다.

도 2는 도 1에 도시된 바와 같은 가상 테니스 시뮬레이션 시스템을 구성하는 각 구성요소들의 제어 계통에 관하여 나타낸 블록도이다.

도 3은 네트 스포츠에 기반한 가상의 시뮬레이션 시스템에서 위에서 아래로 내려다보는 화각으로 영상을 취득하여 분석하는 센싱장치의 위치에서 바라보는 플레이어 공간부의 상황의 일 예를 나타낸 도면이다.

도 4는 본 발명의 일 실시예에 따른 센싱장치의 센싱방법에 관하여 나타낸 플로우차트이다.

도 5는 도 4에서 머신볼 프로세스에 관하여 좀 더 구체적으로 나타낸 플로우차트이다.

도 6 및 도 7은 도 5에 따른 머신볼 프로세스를 설명하기 위한 도면이다.

도 8은 도 4에서 타격볼 프로세스에 관하여 좀 더 구체적으로 나타낸 플로우차트이다.

도 9는 도 8의 타격볼 프로세스를 설명하기 위한 도면이다.

본 발명에 따른 볼의 운동에 대한 센싱장치 및 그 센싱방법에 대한 구체적인 내용을 도면을 참조하여 설명하도록 한다.

본 발명에 따른 센싱장치 및 그 센싱방법은 두 플레이어가 서로 볼을 주고 받는 형태의 네트 스포츠에 관한 가상의 시뮬레이션 시스템(가상 시뮬레이션 환경에서는 영상 상의 가상의 플레이어와 실제 플레이어가 볼을 주고 받는 형태이고 실제로는 볼을 플레이어 쪽으로 발사하는 볼머신과 플레이어 사이에서 볼을 주고받는 형태로 진행됨)에 이용되는 것이다.

이러한 네트 스포츠의 대표적인 예가 테니스이며, 도 1에서는 본 발명의 일 실시예에 따른 센싱장치가 적용된 가상 테니스 시뮬레이션 시스템으로서 스크린 테니스 시스템이 구현된 예를 나타내고 있다.

그리고 도 2에서는 상기 도 1에 도시된 가상 테니스 시뮬레이션 시스템의 구성을 블록도로써 나타내고 있다.

도 1 등에서는 가상 테니스 시뮬레이션 시스템에 본 발명에 따른 센싱장치가 적용된 예를 나타내고 있으나, 본 발명에 따른 센싱장치 및 그 센싱방법은 테니스 뿐만 아니라 스쿼시, 배드민턴, 탁구 등과 같은 네트 스포츠에 대한 가상 시뮬레이션 시스템에는 모두 적용될 수 있다. 여기서 배드민턴에 사용되는 셔틀콕은 다른 네트 스포츠에서의 볼과 형상이 다르지만 본 발명에 따른 센싱장치 및 그 센싱방법이 동일하게 적용될 수 있으며 이하에서 "볼"이라 함은 테니스공, 스쿼시공, 탁구동 등은 물론 셔틀콕과 같이 형상이 공과 다른 경우도 모두 포함하는 것으로 정의하도록 한다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 센싱장치가 적용되는 가상 테니스 시뮬레이션 시스템은 소정의 공간에 플레이어 공간부(30)(여기서 네트(32)는 설치될 수도 있고 설치되지 않을 수도 있다), 그리고 플레이어(P)의 전방에 스크린(20)을 구비하고, 상기 스크린(20)의 뒷쪽에는 라켓을 들고 테니스 플레이를 하는 플레이어(P)에게 상기 플레이어(P)가 타격할 수 있도록 볼을 제공하는 볼 머신(100)이 설치되며, 공간의 일측에 상기 스크린(20)에 영상을 투영하는 영상출력부(420)와 플레이어(P)가 타격하는 볼에 대한 센싱 데이터를 수집하는 센싱장치(200)가 설치되어 구성될 수 있다.

상기 볼 머신(100), 센싱장치(200) 및 영상출력부(420) 등의 장치는 제어장치(300)와 연결되며, 상기 제어장치(300)는 상기 센싱장치(200)의 센싱 데이터를 전달받아 처리하며 사용자의 가상 테니스 연습 및 경기를 위한 영상 컨텐츠를 생성하여 상기 영상출력부(420)로 전달하고, 상기 영상출력부(420)는 상기 전달받은 영상 컨텐츠를 스크린(20)에 투영하며, 상기 볼 머신(100)의 볼 발사 및 발사되는 볼의 방향, 속도 등의 볼 발사 파라미터의 제어를 수행한다.

상기 볼 머신(100)은 스크린(20)의 뒷쪽에 설치되어 상기 스크린(20)에 형성된 볼 발사홀(22)을 통해 코트바닥부(30) 상의 미리 계산된 위치로 볼(1)을 발사하도록 구성되며, 도 1에 도시된 바와 같이 상기 볼 머신(100)은 다양한 위치로 다양한 속도의 볼(1)을 발사할 수 있도록 발사각 제어 및 발사속도 제어가 가능하도록 구성되는 것이 바람직하다.

그리고 볼 머신(100)에서 발사되는 볼은 스크린(20) 상에 형성되는 볼 발사홀(22)을 통해 플레이어(P) 쪽으로 공급되는데, 상기 볼 발사홀(22)은 스크린(20) 상의 대략 중간 정도의 위치에 구비될 수 있다. 물론 스크린(20) 상의 어느 위치에든 설치될 수 있으나 다양한 궤적의 볼에 대한 (상대방 플레이어의) 리시브를 구현함에 있어서 대략 중간 정도 또는 중간 보다는 다소 낮은 위치가 바람직하다.

상기 스크린(20)에 투영되는 영상은 플레이어(P)가 그 영상을 통해 가상의 테니스 플레이를 즐길 수 있도록 하는 컨텐츠를 포함하며, 사용자가 플레이하는 플레이 공간부의 반대쪽 부분에 대한 가상 환경이 구현되고 가상의 상대방 플레이어 등에 대한 컨텐츠 영상이 포함될 수 있다.

스크린에 투영되는 가상 시뮬레이션 영상에서는 마치 실제 테니스 매치에서 상대방이 플레이하듯, 가상의 상대방 플레이어가 미리 설정된 인공지능에 따라 가상의 볼을 타격하며, 그 타격된 가상의 볼은 영상 상에서 이동하면서 상기 볼 발사홀(22)로 연결되어 상기 가상의 볼의 이동에 대한 영상이 종료됨과 함께 볼 머신(100)이 상기 볼 발사홀(22)을 통해 플레이어(P) 쪽으로 실제 볼(1)을 발사하고, 플레이어(P)는 그 발사되는 볼(1)을 스크린(20)을 향하여 타격하면 센싱장치(200)가 그 타격된 볼에 대한 볼 운동 모델을 산출하여 제어장치(300)로 전달하면 제어장치(300)는 그 볼 운동 모델에 기초하여 영상 상에서 가상의 볼이 가상의 플레이어 쪽으로 이동하는 시뮬레이션 영상이 구현되는 것이다. 가상의 플레이어가 그 가상의 볼을 타격하면 다시 영상 상에서 가상의 볼의 이동에 대한 영상이 구현되다가 상기 볼 머신(100)에 의해 볼 발사홀(22)을 통해 볼(1)이 플레이어(P) 쪽으로 다시 공급되며, 이러한 방식으로 플레이어와 영상 상의 가상의 플레이어가 서로 볼을 주고 받을 수 있다(실제로는 플레이어와 볼 머신이 볼을 주고 받는 것이다).

한편, 도 2를 참조하여 상기 도 1에 도시된 바와 같은 가상 테니스 시뮬레이션 시스템을 구성하는 각 구성요소들의 제어 계통에 관하여 설명하도록 한다.

도 2에 도시된 바와 같이 가상 테니스 시뮬레이션 시스템은, 볼 머신(100), 제어장치(300), 영상출력부(420), 그리고 본 발명의 일 실시예에 따른 센싱장치(200)를 포함하여 구성될 수 있다.

상기 제어장치(300)는 데이터저장부(320), 영상처리부(330), 제어부(310) 등을 포함하여 구비될 수 있으며, 상기 영상출력부(420)는 상기 영상처리부(330)에 의해 처리된 영상이 스크린(20) 상에 투영될 수 있도록 하는 프로젝션 장치 등에 의해 구현될 수 있다.

상기 데이터저장부(320)는 가상 테니스 시뮬레이션 시스템에서 이루어지는 테니스 연습 또는 경기에 관한 배경 영상, 가상의 플레이어에 대한 영상, 타격된 볼 등에 대한 시뮬레이션 영상 등의 처리를 위한 데이터가 저장되는 부분이다. 상기 데이터저장부(320)는 서버(미도시)로부터 전송받은 데이터를 일시적으로 저장하는 저장소 역할을 하는 것으로 구성될 수도 있다.

상기 영상처리부(330)는 가상의 테니스장에 관한 영상, 선수와 심판, 관객 등에 관한 영상 등의 백그라운드 영상과 가상의 상대방 플레이어가 볼을 타격하는 영상, 플레이어가 타격한 볼의 궤적에 대한 시뮬레이션 영상 등 각종 시뮬레이션 관련 영상을 생성한다.

한편, 본 발명의 일 실시예에 따른 센싱장치(200)는 미리 정해진 범위의 촬영 범위(FOV)에 대한 영상을 연속적으로 촬영하여 수집하고 그 수집되는 영상들을 각각 분석함으로써 타격된 볼의 운동 정보는 물론, 그 타격된 볼이 스크린 상의 어느 부분에 도달하는지 정확하게 센싱하도록 구성될 수 있다.

본 발명의 일 실시예에 따른 센싱장치(300)는 카메라유닛(210) 및 센싱처리유닛(220)을 포함하여 구성될 수 있는데, 상기 카메라유닛(210)은 미리 설정된 영역을 포함하는 일정 촬영 범위에 대한 영상을 연속적으로 취득하며, 상기 센싱처리유닛(220)은 상기 카메라유닛(210)으로부터 이미지를 전달받아 미리 설정된 사항에 따른 영상 분석을 수행하여 상기 가상 테니스 시뮬레이션에 따른 테니스 연습 또는 테니스 경기에 필요한 정보를 산출한다.

상기 센싱장치(200)의 카메라유닛(210)은 서로 다른 위치에서 동일한 촬영 범위로 각각 촬영하여 촬영된 영상 상의 객체에 대한 3차원 위치 정보를 산출해 낼 수 있도록 제1 카메라(211) 및 제2 카메라(212)를 포함하여 스테레오 방식(Stereoscopic)으로 구성함으로써, 상기 센싱처리유닛(220)이 상기 카메라유닛(210)이 촬영한 영상의 분석을 통해 볼에 대한 3차원 좌표 데이터를 얻을 수 있도록 함이 바람직하다.

상기 센싱처리유닛(220)은, 볼머신(100)에서 발사되는 볼인 머신볼을 특정하기 위한 머신볼 프로세스를 개시함에 따라 스테레오 방식의 복수개의 카메라(211, 212) 중 어느 하나의 카메라에 의해 그 촬영 범위에 대한 2D 영상을 취득하여 그 2D 영상에서 상기 머신볼을 찾아서 특정하고, 상기 머신볼 프로세스의 완료에 따라 플레이어에 의해 타격된 볼인 타격볼을 특정하기 위한 타격볼 프로세스를 개시하여 상기한 바와 같은 하나의 카메라에 의해 취득되는 2D 영상에서 상기 타격볼을 찾아서 특정하며, 상기 타격볼 프로세스의 완료에 따라 3차원 공간에서 타격되어 운동하는 볼에 대한 볼 운동 모델을 산출하는 볼모델 프로세스를 개시하여, 상기 복수개의 카메라(211, 212) 각각이 취득하는 2D 영상을 이용하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하도록 구성된다.

구체적으로 상기 센싱처리유닛(220)은 물리적 또는 기능적으로 3가지 구성요소를 포함할 수 있는데, 도 2에 도시된 바와 같이 머신볼 프로세스 처리부(221), 타격볼 프로세스 처리부(222) 및 볼모델 프로세스 처리부(223)를 포함할 수 있다.

상기 머신볼 프로세스 처리부(221)는 카메라에 의해 수집되는 2D 영상으로부터 상기한 머신볼 프로세스를 처리함으로써 머신볼을 특정하며, 상기 타격볼 프로세스 처리부(222)는 상기 2D 영상으로부터 상기한 타격볼 프로세스를 처리함으로써 타격볼을 특정하고, 상기 볼모델 프로세스 처리부(223)는 복수개의 카메라 각각의 2D 영상을 이용하여 타격볼의 3차원 좌표 정보를 산출하여 이를 기초로 볼 운동 모델을 산출한다.

여기서, 볼의 운동 모델은 타격되어 운동하는 볼의 3차원 공간 상에서의 궤적에 관한 운동 방정식으로 표현되는 것을 의미하며, 도 1에 도시된 바와 같이 본 발명에 따른 시스템에 의한 테니스 연습 또는 경기가 이루어지는 공간에 대해 x축, y축 및 z축의 3차원 좌표계로 정의하여 그 정의된 좌표계에 따라 상기 볼의 운동 모델이 결정될 수 있다.

즉, 상기 볼의 운동 모델은 x축 방향의 운동 방정식, y축 방향의 운동 방정식 및 z축 방향의 운동 방정식으로 정의될 수 있다.

상기한 바와 같은 볼의 운동 모델 산출은 종래의 스크린 골프 시스템 등에서 센서가 골프클럽으로 타격된 볼의 운동을 센싱하여 센싱데이터를 산출하는 것과는 완전히 다른 것이다.

종래의 스크린 골프 시스템 등에서도 카메라 방식의 센싱장치가 널리 이용되고 있지만 상기 센싱장치는 볼이 타격되었을 때의 출발 속도, 출발 방향각 및 높이각 등 초기 운동 조건을 산출하여 가상의 공간, 즉 가상의 골프코스에서 상기 산출한 초기 운동 조건에 따라 볼이 출발하였을 때 물리엔진에 의해 시뮬레이션 되는 볼의 궤적을 산출하는 방식이었다.

그러나, 본 발명의 일 실시예에 따른 센싱장치가 산출하는 볼의 운동 모델은 볼이 타격되었을 때의 초기 운동 조건을 산출하는 것이 아니라 실제 플레이어가 플레이하는 공간, 즉 실제 3차원 공간 상에서의 각 좌표축 방향의 운동 방정식에 기초하여 산출하는 볼의 운동 모델로서 실제 볼이 이동하는 모델을 구하는 것이다.

이러한 볼의 운동 모델을 산출함으로써 단순히 볼의 초기 운동 조건을 센싱하여 산출하는 경우보다 더 다양하고 많은 정보의 제공이 가능하고, 특히 가상 테니스 시뮬레이션과 같이 현실과 가상의 세계가 자주 교차하고 더욱 긴밀하게 연결되어야 하는 경우에 있어서는 더욱 적합한 센싱 방식이다.

예컨대, 상기한 볼의 운동 모델 산출이 실제 플레이가 이루어지는 3차원 공간 상에서의 볼 운동 모델이기 때문에 볼이 실제 스크린에 도달하는 위치 등을 쉽게 산출할 수 있으며(볼이 실제로 스크린에 도달하는 것을 감지하는 것이 아니라 실제 볼이 스크린에 도달하지 않더라도 볼 운동 모델이 산출되면 이를 이용하여 스크린 도달 위치를 산출할 수 있다), 스크린 도달 위치의 산출을 통해 실제 볼이 스크린에 도달한 후 그 위치부터 가상의 볼이 시뮬레이션되도록 하는 영상을 구현함으로써 현실과 가상의 세계가 자연스럽게 연결되도록 할 수 있다.

물론 별도의 장치로 운동하는 볼이 스크린에 도달하는 위치를 감지할 수도 있지만, 본 발명은 볼의 운동을 감지하는 센싱장치만으로도 그렇게 할 수 있다는 점이 특장점인 것이다.

한편, 도 3에서는 네트 스포츠에 기반한 가상의 시뮬레이션 시스템에서 위에서 아래로 내려다보는 화각으로 영상을 취득하여 분석하는 센싱장치의 위치에서 바라보는 플레이어 공간부의 상황의 일 예를 나타내고 있다.

도 3에 도시된 바와 같이 볼머신(100)은 스크린(20)의 볼 발사홀(22)을 통해 매우 다양한 방향으로 다양한 속도로 볼(1)을 발사할 수 있으며, 이는 가상의 시뮬레이션 영상 상에서의 상황을 반영한 것이다.

영상 상의 가상의 플레이어가 타격한 볼의 특성에 따라 볼머신(100)은 b1, b2, b3, b4, b5 등의 다양한 위치로 볼을 발사할 수 있고, 그때마다 플레이어(P)는 po1, po2, po3, po4, po5 등의 위치로 다이나믹하게 이동하면서 볼을 타격하는데, 한 번 타격된 볼은 스크린(20)에 맞고 바닥을 뒹굴거나 바닥에 바운드 되어 이동하며, 네트 스포츠의 특성 상 볼이 공급되는 주기가 짧기 때문에 플레이어(P)가 볼(1)을 타격하는 동안에도, 즉 센싱장치에 의한 센싱이 이루어지고 있는 상태에서도 이미 타격되어 실효된 볼들(br)은 계속해서 이동하거나 움직이거나 바운드를 하고 있는 상태에 있게 된다.

실효된 볼, 즉 한 번 타격되었던 볼은 별도의 볼 회수 구조가 구비되어 있더라도 상기한 바와 같은 현상자체를 차단할 수 없다.

이와 같은 상태에서는 볼 머신(100)에서 현재 발사되는 볼을 촬영 영상 상에서 추출해 내기 위해 차영상(Difference Image) 기법을 이용할 수가 없다. 왜냐하면 차영상을 할 경우 움직이는 볼은 모두 추출되므로 차영상을 하는 경우와 하지 않는 경우가 큰 차이가 없기 때문이다.

이러한 경우에도 본 발명에 따른 센싱장치는 빠르고 정확하게 머신볼과 타격볼을 각각 특정하여 볼 운동 모델을 산출할 수 있으며, 그 방법에 관하여 도 4 내지 도 9를 참조하여 좀 더 구체적으로 설명한다.

도 4, 도 5 및 도 8은 본 발명의 일 실시예에 따른 센싱장치의 센싱방법에 관하여 나타낸 플로우차트로서, 도 4는 전체 플로우차트를, 도 5는 머신볼 프로세스에 따른 플로우차트를, 그리고 도 8은 타격볼 프로세스에 따른 플로우차트를 각각 나타내고 있다.

도 6 및 도 7은 도 5에 따른 머신볼 프로세스를 설명하기 위한 도면이며, 도 9는 도 8의 타격볼 프로세스를 설명하기 위한 도면이다.

먼저 도 4를 보면, 센싱장치가 작동을 시작하면서 센싱장치의 카메라 유닛에 포함되는 복수개의 카메라 중 어느 하나에 의해 그 촬영 범위 내의 영상이 촬영되어 수집되는데(S100), 상기 각각의 카메라는 2D 영상을 취득하도록 구성된다.

머신볼 프로세스가 개시되면서(S110), 센싱처리유닛의 머신볼 프로세스 처리부는 하나의 카메라에 의해 취득되는 2D 영상에서 미리 설정된 크기의 영역인 볼체크영역을 추출한다(S120). 상기 볼체크영역은 볼을 비행상태에서 관찰할 수 있는 영역으로서 미리 설정된 영역이다.

볼 머신에 의해 발사되는 볼은 어느 정도의 속도를 가지고 발사되므로 발사된 볼의 속도가 작다고 하더라도 볼 머신의 볼 발사홀로부터 일정 이상의 거리까지는 비행상태로 운동하다가 바닥에 바운드 될 수도 있고 플레이어의 위치까지 바운드 없이 비행할 수도 있다.

따라서, 볼 머신에서 발사되는 볼이 바닥에 바운드 되기 전의 일정 영역을 적절히 설정할 수 있다.

볼이 비행상태에는 위에서 내려다보는 화각으로 볼을 감지할 때 그 크기의 변화가 거의 없으므로 볼을 추출해 내기 용이한 반면, 볼이 바운드되는 경우에는 그 크기가 변화하기 때문에 볼을 쉽게 추출할 수 없을 수 있다.

또한 볼 머신에서 발사되는 볼이 상당히 다양한 방향으로 발사되기 때문에 볼 머신이 어떤 방향으로 볼을 발사하더라도 볼을 감지할 수 있도록 볼체크영역의 폭(도 6에서 x축 방향 길이)은 화각의 범위 내에서 최대폭을 갖도록 하고 볼체크영역의 길이(도 6에서 y축 방향 길이)는 볼이 비행상태를 유지하는 구간으로서 볼의 속도와 이동 거리를 산출할 수 있으면서도 연산에 부담을 주지 않을 정도의 길이로 미리 설정하도록 함이 바람직하다.

예컨대, 도 6에 도시된 바와 같이 화각(FOV)의 범위 내에서 볼체크영역(230)을 설정할 수 있다.

한편, 센싱처리유닛의 머신볼 프로세스 처리부는 상기한 바와 같은 볼체크영역을 추출하여 그 추출된 볼체크영역 내에서 볼을 검출하며, 검출된 볼에 대해 미리 설정된 사항인 제1 볼체크요건에 따른 볼 특징을 체크하고 또한 볼의 방향성을 체크한다(S130).

상기 볼의 검출은 볼체크영역 내에서 검출되는 오브젝트의 크기(Blob Size), 가로세로비율(Aspect Ratio), 둥근정도(Roundness) 등의 사항에 따라 검출할 수 있다.

상기한 Blob Size, Aspect Ratio, Roundness 등의 사항에 따라 검출되는 볼은 상당히 많이 나타날 수 있으며 이들은 차영상으로도 필터링되지 않는 부분들이므로, 차영상 등을 통하지 않고 정확하게 감지하고자 하는 대상인 머신볼을 특정하기 위하여 상기 제1 볼체크요건에 따른 볼 특징 체크를 하는데, 이는 볼의 워킹디스턴스(Working Distance), 볼의 속도, 볼이 이동거리 등의 사항에 의해 체크되는 것이다. 이에 대한 좀 더 구체적인 사항에 대해서는 후술하도록 한다.

상기한 바와 같이 제1 볼체크요건에 따른 볼 특징 체크에 의하여 하나 또는 둘 이상의 볼이 검출되었다면 이에 대해 볼의 방향성을 체크함으로써 최종적으로 머신볼을 특정할 수 있다.

즉, 머신볼은 볼머신에서 플레이어 쪽으로 나오는 볼이므로 상기 볼 특징 체크에 따라 검출되는 각 볼의 이동 방향이 볼 머신에서 나오는 방향인지 여부를 체크하여 이에 부합하는 볼을 최종적으로 머신볼로서 특정할 수 있는 것이다.

이와 같이 머신볼의 특정이 이루어지게 되면(S140), 이를 기점으로 타격볼 프로세스가 개시된다(S210). 즉, 머신볼 프로세스의 완료가 다음에 진행될 타격볼 프로세스의 개시를 트리거링하게 되는 것이다.

타격볼 프로세스의 개시에 따라, 센싱처리유닛의 타격볼 프로세스 처리부는 복수개의 카메라 중 어느 하나의 카메라에서 취득되는 2D 영상으로부터 상기한 바와 같은 볼체크영역을 추출한다(S220).

즉, 하나의 볼체크영역을 미리 설정해 놓고 센싱처리유닛은 머신볼을 특정할 때 및 타격볼을 특정할 때 모두 상기 볼체크영역을 추출해서 분석하는 것이다.

물론 머신볼 프로세스와 타격볼 프로세스에서 동일한 볼체크영역을 이용하지 않고 각각의 프로세스에서 서로 다른 크기나 위치의 볼체크영역을 설정하여 이용할 수도 있다.

머신볼 프로세스에서 이용되는 것을 제1 볼체크영역이라하고, 타격볼 프로세스에서 이용되는 것을 제2 볼체크영역이라 하면, 상기 제1 볼체크영역과 제2 볼체크영역은 동일한 크기와 위치에 설정되어 있을 수도 있지만, 서로 다른 크기와 위치에(서로 중복되는 부분 없이 또는 서로 중복되는 부분이 있도록 설정될 수도 있다) 각각 설정될 수도 있다.

상기 볼체크영역을 2D 영상에서 추출하여 분석함으로써 볼을 검출하고(볼 검출방법은 상기 S130에서와 동일하다), 그 검출된 볼에 대해 제2 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 타격볼을 특정하게 된다(S230).

앞서 설명한 바와 같이, 볼체크영역 내의 오브젝트에 대한 Blob Size, Aspect Ratio, Roundness 등의 사항에 따라 검출되는 볼은 상당히 많이 나타날 수 있으며 이들은 차영상으로도 필터링되지 않는 부분들이므로, 차영상 등을 통하지 않고 정확하게 감지하고자 하는 대상인 타격볼을 특정하기 위하여 상기 제2 볼체크요건에 따른 볼 특징 체크를 하는데, 이는 볼의 워킹디스턴스(Working Distance), 볼의 속도, 볼이 이동거리 등의 사항에 의해 체크되는 것이다. 이에 대한 좀 더 구체적인 사항에 대해서는 후술하도록 한다.

상기한 바와 같이 제2 볼체크요건에 따른 볼 특징 체크에 의하여 하나 또는 둘 이상의 볼이 검출되었다면 이에 대해 볼의 방향성을 체크함으로써 최종적으로 타격볼을 특정할 수 있다.

즉, 타격볼은 플레이어로부터 스크린 쪽으로 향하는 볼이므로 상기 볼 특징 체크에 따라 검출되는 각 볼의 이동 방향이 플레이어로부터 멀어지는 방향인지 여부를 체크하여 이에 부합하는 볼을 최종적으로 타격볼로서 특정할 수 있는 것이다.

이와 같이 타격볼의 특정이 이루어지게 되면(S240), 이를 기점으로 볼모델 프로세스가 개시된다(S310). 즉, 타격볼 프로세스의 완료가 다음에 진행될 볼모델 프로세스의 개시를 트리거링하게 되는 것이다.

볼모델 프로세스의 개시에 따라, 센싱처리유닛의 볼모델 프로세스 처리부는 카메라유닛의 복수개의 카메라 각각이 취득하는 2D 영상에서 타격볼을 특정하고 두 카메라 영상에서 나타나는 타격볼의 위치 좌표를 3차원 좌표 정보로 변환함으로써 타격볼에 대한 3차원 좌표 정보를 산출하며(S320), 그 산출된 타격볼의 3차원 좌표 정보를 이용하여 볼 운동 모델을 결정한다(S330).

상기 볼모델 프로세스의 개시에 따라, 상기 각각의 카메라가 취득하는 영상(2D 영상)에서 검출되는 객체의 속도를 판별하여 상기 객체의 속도가 미리 설정된 속도값보다 낮은 객체를 노이즈로서 제거하는 단계가 상기 타격볼의 3차원 좌표 정보를 산출하기 전에 선행되는 것이 바람직하다.

상기한 바와 같은 볼의 운동 모델의 결정에는 RANSAC 알고리즘을 이용할 수 있다.

예컨대, 3차원 볼 좌표들 중 2개를 샘플링하여 가상의 모델을 trial 하면서 가장 많은 데이터들로부터 지지를 받는 모델을 선택하는 방식으로 최종적인 볼의 운동 모델을 선택할 수 있다.

추출한 가상 모델과 볼의 좌표값들이 특정 임계값 미만으로 모델에 인접하는 데이터의 개수를 센다. 이때, 임계값을 벗어나는 데이터는 Outlier(noise)이 된다.

여기서, Inlier(true data)와 Outlier 를 구분하는 임계값을 설정할 때, 임계값이 클수록 모델을 추출할 확률은 높아지지만, 올바르지 않은 모델을 추출할 확률도 함께 증가한다. 반대로, 임계값이 작아질 경우 모델 추출에 실패할 확률이 높아지지만, 올바른 모델을 추출할 확률은 높아진다.

볼의 좌표 데이터가 있음에도 불구하고 모델 추출에 실패하는 경우는, 카메라나 렌즈의 왜곡에서 오는 오차나, 스테레오 카메라 기법으로 추출한 3차원 좌표의 데이터의 정밀도가 낮을 수 있기 때문일 수 있다.

따라서 적절한 임계값을 주는 것이 중요한데, 예컨대 RANSAC 을 엄격한 임계값(작은 임계값)으로 1회, 실패할 경우 넓은 범위의 임계값(큰 임계값)으로 2회 수행함으로써, 올바른 모델을 뽑을 확률을 높이고, 모델 추출에 실패할 확률을 높이도록 하는 것이 가능하다.

한편, 볼의 운동 모델 결정에 있어서 각 3 축 방향의 함수는, 아래와 같다.

[x, y 축 방향의 함수]

x = a_x*t+b_x

여기서, t는 시간값, x는 x방향 좌표값, a_x는 시간에 대한 x방향 좌표의 증가량(함수의 기울기), b_x는 t가 0일 때의 x방향 좌표값(절편)을 의미한다.

y = a_y*t+b_y

여기서, t는 시간값, y는 y방향 좌표값, a_y는 시간에 대한 y방향 좌표의 증가량(함수의 기울기), b_y는 t가 0일 때의 y방향 좌표값(절편)을 의미한다.

운동하는 볼의 x, y 축 방향 운동은 등속 운동으로 가정할 수 있으므로, 1차 함수로 표현할 수 있다.

[z 축 방향의 함수]

z = a_z*t + b_z - 0.5*g*t ²

여기서, g는 중력가속도, t는 시간값, z는 z방향 좌표값, a_z는 t가 0일 때의 z방향 속도, b_z는 t가 0일 때의 z방향 좌표값(절편)을 의미한다.

산출된 볼 운동 모델의 시간 t와 x, y, z 좌표값 정보를 통해, 기대하는 시간 t의 구간에서 볼 운동 모델에 근접한 일정 거리 안에 볼이 있는지 확인 후, 해당 운동 모델을 벗어난 볼이 많을 경우(미리 설정된 개수를 넘는 경우) 올바르지 않은 모델로 판정한다.

이는, 일반적으로 볼을 타격하는 모델과, 그 외 기타 반사로 인해 불규칙하게 추출되는 모델을 구분하는데 용이하다.

한편, 도 5 내지 도 7을 참조하여 도 4에서 설명한 머신볼 프로세스에 관하여 좀 더 구체적으로 설명한다.

도 5를 보면, 머신볼 프로세스가 개시됨에 따라(S110), 하나의 카메라에서 취득된 2D 영상에서 제1 볼체크영역을 추출한다(S120). 여기서 제1 볼체크영역은 타격볼 프로세스에서 이용되는 제2 볼체크영역과 구분하여 명명한 것으로서, 제1 볼체크영역과 제2 볼체크영역은 서로 같은 영역일 수도 있고 서로 다르게 설정된 영역일 수도 있다.

도 6을 보면, 카메라에 의해 촬영되는 화각(FOV) 내의 영상은 위에서 아래로 내려다보는 화각의 2D 영상이며 그 화각(FOV) 내에서 제1 볼체크영역(230)이 미리 설정된 예를 나타내고 있다. 여기서 실제 머신볼을 MB로 표시하고 있다.

다시 도 5에서, 추출된 제1 볼체크영역에서 볼을 검출하고(S131), 그 검출된 볼에 대한 워킹디스턴스(WD), 볼의 속도 및 볼의 이동거리 등을 산출할 수 있다(S132).

상기한 바와 같은 워킹디스턴스, 속도, 이동거리를 각각의 검출되는 볼마다 모두 산출하여 이들 모든 요소들로부터 각각의 검출된 볼에 대해 제1 볼체크요건을 충족하는지 여부를 체크하도록 할 수도 있지만, 워킹디스턴스, 속도, 이동거리 각각에 대해 우선 순위를 설정해 놓고 우선 순위에 따라 필요한 일부 항목만을 산출하여 제1 볼체크요건을 충족하는지 여부를 체크할 수도 있다.

예컨대, 워킹디스턴스를 우선 순위로 하고 볼의 속도 및 이동거리를 후순위로 체크하도록 설정할 수 있는데, 상기 제1 볼체크영역에서 검출된 볼의 워킹디스턴스를 산출하여(이때 볼의 워킹디스턴스 값 대신 볼의 크기값을 이용할 수도 있다), 검출된 볼 중에서 워킹디스턴스가 가장 작은 볼(또는 볼의 크기가 가장 큰 볼)이 존재하는지 여부에 따라 상기 제1 볼체크요건의 충족 여부를 판단하고, 상기 워킹디스턴스가 가장 작은 볼(볼의 크기가 가장 큰 볼)을 특정할 수 없는 경우 또는 그것만으로 제1 볼체크요건 충족 여부를 판단할 수 없는 경우, 해당 볼의 속도를 산출하여 그 산출된 볼의 속도가 가장 빠른 것으로 판단되는 볼이 존재하는지 여부에 따라 상기 제1 볼체크요건의 충족 여부를 판단할 수 있다.

만약 볼의 속도가 가장 빠른 볼을 특정할 수 없거나 그것만으로 제1 볼체크요건 충족 여부를 판단할 수 없는 경우, 해당 볼의 이동거리를 산출하여 그 산출된 볼의 이동거리가 가장 긴 것으로 판단되는 볼이 존재하는지 여부에 따라 상기 제1 볼체크요건의 충족 여부를 판단하도록 할 수 있다.

상기한 바와 같이 검출된 볼에 대한 워킹디스턴스, 속도 등을 산출하는 과정에서, 예컨대 처음 두 프레임 정도를 분석한 결과 워킹디스턴스가 설정된 값보다 작거나 볼의 크기가 큰 경우 또는 볼의 속도가 설정된 값보다 더 빠른 경우 등에 있어서 크기가 정해진 제1 볼체크영역 내에서 볼 특징에 대한 체크 등이 충분히 이루어질 수 없을 수 있으므로, 이 경우 제1 볼체크영역의 크기를 확장하는 등의 변경을 할 수 있다(S133).

예컨대, 볼의 워킹디스턴스가 너무 짧으면, 즉 볼의 크기가 너무 크면, 또는 볼의 속도가 너무 빠르면 제1 볼체크영역 내에서 해당 볼의 움직임을 충분히 감지할 수 없으므로, 이 경우 센싱처리유닛은 상기 제1 볼체크영역의 크기를 미리 설정된 크기만큼 확장시키거나 상기 산출된 워킹디스턴스나 볼의 속도를 이용하여 이에 대응되도록 볼체크영역의 크기를 다시 계산하여 그 계산된 크기에 따라 볼체크영역의 크기를 변경하도록 할 수 있다.

도 6에서는 제1 볼체크영역(230)이 크기 변경(231)되는 경우에 대해 나타내고 있다.

제1 볼체크영역의 크기가 변경된 경우 그 변경된 크기의 볼체크영역을 추출하여 볼 검출 및 그 검출된 볼에 대한 워킹디스턴스, 속도, 이동거리 등의 산출이 계속하여 이루어지게 되고(S134), 만약 제1 볼체크영역의 크기가 변경되지 않았으면 원래 크기의 볼체크영역을 추출하여 상기한 사항들의 산출이 계속하여 이루어진다.

앞서 설명한 대로 워킹디스턴스, 속도, 이동거리 중 적어도 한 가지를 이용하여 제1 볼체크요건을 충족하는지 판단하고(S135), 만약 어떤 검출된 볼이 상기 제1 볼체크요건을 충족하는 경우, 해당 볼에 대해 방향성 요건을 충족하는지 여부를 판단할 수 있다(S136).

여기서 상기한 워킹디스턴스(WD)는 다음과 같은 식에 의해 구해질 수 있다.

여기서 AFOV는 Angular Field Of View[°], h는 CCD는 이미지 센서의 사이즈[mm]이며, f는 초점거리[mm], 그리고 FOV 는 Field Of View[mm]를 각각 나타낸다.

즉, 워킹디스턴스(WD)는 카메라의 이미지 센서의 크기와 렌즈의 초점거리, FOV의 크기를 알면 구할 수 있다.

볼체크영역에서 추출되는 볼의 크기가 과다하게 크거나 과다하게 작은 경우를 제외시킬 수 있도록 실제 볼의 크기를 기반으로 영상에 출력될 수 있는 임계값을 미리 설정해 놓고 볼체크영역에서 추출되는 볼의 크기가 상기 임계값을 벗어나는 경우에는 제외시키도록 함으로써 연산 부담을 경감시키도록 하는 것도 바람직하다.

한편, 도 7은 도 6에서의 볼체크영역(230)을 매프레임마다 추출한 것의 일 예를 나타낸 것인데, fn --> fn+1 --> fn+2로 갈수록 여러 오브젝트들(ob) 중 ob1, ob2, ob3, ob4 등이 이동하거나 크기가 변화하는 것을 나타내고 있다 (이동하는 것은 비행하거나 구르는 경우일 수 있고 크기가 변화하는 것은 볼이 바운드 되고 있는 경우일 수 있다).

이와 같이 대상이 되는 객체는 하나인데 볼체크영역 내에서 움직이는 오브젝트들은 다수가 나오면 차영상이 아무런 효과가 없으며, 앞서 설명한 바와 같이 워킹디스턴스, 볼의 속도, 볼의 이동거리 중 적어도 한 가지를 이용하여 머신볼을 특정하는 것이 빠르고 효과적인 방법이다.

볼의 방향성 체크는, 머신볼이 볼 머신에서 나오는 방향의 볼이므로 도면상의 좌표계의 경우 볼의 이동 방향에 -y의 방향 성분을 포함하고 있으면 볼의 방향성 체크는 충족될 수 있다.

도 7에 도시된 예에서 상기한 제1 볼체크요건 및 볼의 방향성 요건을 모두 충족시키는 ob1이 머신볼임을 쉽게 특정할 수 있다.

상기한 바와 같이 볼 특징 체크와 볼의 방향성 체크를 통해 제1 볼체크요건 및 볼 방향성 요건을 모두 충족하는 하나의 볼을 머신볼로서 특정할 수 있으며(S141), 머신볼의 특정에 따라 타격볼 프로세스의 개시가 트리거링된다(S210).

타격볼 프로세스에 대해서는 도 8 및 도 9에서 설명하고 있다.

도 8을 보면, 타격볼 프로세스가 개시됨에 따라(S210), 하나의 카메라에서 취득된 2D 영상에서 제2 볼체크영역을 추출한다(S220). 여기서 제2 볼체크영역은 머신볼 프로세스에서 이용되는 제1 볼체크영역과 구분하여 명명한 것으로서, 제1 볼체크영역과 제2 볼체크영역은 서로 같은 볼체크영역일 수도 있고 서로 다르게 설정된 영역일 수도 있다.

도 9를 보면, 카메라에 의해 촬영되는 화각(FOV) 내의 영상은 위에서 아래로 내려다보는 화각의 2D 영상이며 그 화각(FOV) 내에서 제2 볼체크영역(240)이 미리 설정된 예를 나타내고 있다. 여기서 실제 타격볼을 HB로 표시하고 있다.

다시 도 8에서, 추출된 제2 볼체크영역에서 볼을 검출하고(S231), 그 검출된 볼에 대한 워킹디스턴스(WD), 볼의 속도 및 볼의 이동거리 등을 산출할 수 있다(S232).

상기한 바와 같은 워킹디스턴스, 속도, 이동거리를 각각의 검출되는 볼마다 모두 산출하여 이들 모든 요소들로부터 각각의 검출된 볼에 대해 제2 볼체크요건을 충족하는지 여부를 체크하도록 할 수도 있지만, 워킹디스턴스, 속도, 이동거리 각각에 대해 우선 순위를 설정해 놓고 우선 순위에 따라 필요한 일부 항목만을 산출하여 제2 볼체크요건을 충족하는지 여부를 체크할 수도 있다.

여기서, 앞서 머신볼 프로세스 과정에서의 제1 볼체크요건과 타격볼 프로세스 과정에서의 제2 볼체크요건이 동일할 수도 있고 서로 다를 수도 있다.

예컨대, 제1 볼체크요건에서는 워킹디스턴스를 우선순위로 두고 속도를 후순위로 설정하였다면, 제2 볼체크요건에서는 볼의 속도나 이동거리를 우선순위로 두고 워킹디스턴스는 후순위로 설정할 수 있다.

설정된 우선 순위에 의하거나 우선 순위 없이 필요한 항목을 모두 산출하거나, 검출된 볼이 제2 볼체크요건에 해당하는지 여부에 대한 판단 방법은 앞서 설명한 제1 볼체크요건에 해당하는지 여부에 대한 판단 방법과 실질적으로 동일할 수 있으며, 항목에 있어서 차이가 있을 수 있다.

상기 볼의 워킹디스턴스 등의 산출에 관한 사항은 앞서 설명한 바 있으므로 더 이상의 설명은 생략하도록 한다.

한편, 도 9에 도시된 제2 볼체크영역(240) 역시 볼의 속도 등에 따라 그 크기를 더 확장하거나 축소시킬 수 있음은 물론이며, 이는 앞서 설명한 머신볼 프로세스에서의 제1 볼체크영역의 크기 변경과 실질적으로 동일한 매커니즘에 의하여 이루어질 수 있다.

앞서 설명한 대로 워킹디스턴스, 속도, 이동거리 중 적어도 한 가지를 이용하여 제2 볼체크요건을 충족하는지 판단하고(S233), 만약 어떤 검출된 볼이 상기 제2 볼체크요건을 충족하는 경우, 해당 볼에 대해 방향성 요건을 충족하는지 여부를 판단할 수 있다(S234).

상기 S234의 볼 방향성 요건의 경우, 도 9에서 보듯이 타격볼이 플레이어(P) 쪽으로부터 스크린(20) 방향으로 이동하는 것이므로, 예컨대 도면상의 좌표계의 경우 볼의 이동 방향에 +y 방향의 성분이 포함되어 있다면 볼의 방향성 요건은 충족될 수 있다.

상기한 바와 같이 볼 특징 체크와 볼의 방향성 체크를 통해 제2 볼체크요건 및 볼 방향성 요건을 모두 충족하는 하나의 볼을 타격볼로서 특정할 수 있으며(S241), 타격볼의 특정에 따라 볼모델 프로세스의 개시가 트리거링된다(S310).

볼모델 프로세스에 관하여는 앞서 설명한 바 있으므로 더 이상의 구체적인 설명은 생략하도록 한다.

이상 설명한 바와 같이, 본 발명에 따른 센싱장치 및 그 센싱방법은 머신볼 프로세스에 따라 차영상 없이 여러 다양한 노이즈를 필터링하면서 머신볼을 빠르고 정확하게 특정할 수 있으며 이에 따라 타격볼 프로세스가 진행되면서 마찬가지로 여러 다양한 노이즈를 필터링하면서 타격볼을 빠르고 정확하게 특정할 수 있으며, 이들 머신볼 프로세스와 타격볼 프로세스가 하나의 2D 영상을 이용하여 모두 이루어질 수 있다는 점에서 특히 더 연산 속도를 향상시킬 수 있어, 네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼머신과 플레이어가 빠르게 볼을 주고 받고, 플레이어가 다이나믹하게 움직이면서 예측할 수 없는 다양한 위치에서 볼을 타격하며, 플레이 공간 내에 이미 타격되어 실효된 볼이 불특정하게 이동하는 등의 플레이 환경에서도 신속하고 안정적인 볼의 운동에 대한 센싱이 이루어질 수 있도록 하는 특장점이 있다.

본 발명에 따른 볼의 운동에 대한 센싱장치 및 그 센싱방법은, 소정 크기의 실내 공간에서 볼 머신이 제공하는 볼을 사용자가 테니스 라켓으로 타격하고 이를 센싱장치가 센싱하여 전방의 스크린을 통해 시뮬레이션 영상을 구현함으로써 사용자의 테니스 연습 또는 가상의 테니스 경기를 가능하게 하는 기술 분야에서 산업상 이용가능성을 갖는다.

Claims

네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼의 운동에 대한 센싱장치의 센싱방법으로서,

스테레오 방식의 복수개의 카메라 중 어느 하나의 카메라에 의해 그 촬영 범위에 대한 2D 영상이 촬영되어 수집되는 단계;

볼머신에서 볼이 발사되고, 상기 2D 영상에서 상기 볼머신에서 발사되는 볼인 머신볼을 특정함으로써 플레이어에 의해 타격된 볼인 타격볼을 특정하는 타격볼 프로세스가 개시되는 단계;

상기 타격볼 프로세스가 개시됨에 따라 상기 2D 영상에서 상기 타격볼을 특정함으로써 3차원 공간에서 타격되어 운동하는 볼에 대한 볼 운동 모델을 산출하는 볼모델 프로세스가 개시되는 단계; 및

상기 볼모델 프로세스가 개시됨에 따라 상기 복수개의 카메라 각각이 취득하는 2D 영상을 이용하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하는 단계;

를 포함하는 볼의 운동에 대한 센싱장치의 센싱방법.
제1항에 있어서, 상기 타격볼 프로세스가 개시되는 단계에서 상기 머신볼을 특정하는 것은,

상기 2D영상에서, 볼을 비행상태에서 관찰할 수 있는 영역으로서 설정된 볼체크영역을 추출하는 단계와,

상기 추출된 볼체크영역에서 볼을 검출하는 단계와,

상기 검출된 볼에 대해 상기 머신볼을 특정하기 위하여 미리 설정된 제1 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 상기 추출된 볼체크영역에서 검출되는 볼 중에서 상기 머신볼을 특정하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제2항에 있어서, 상기 볼모델 프로세스가 개시되는 단계에서 상기 타격볼을 특정하는 것은,

상기 2D영상에서 상기 볼체크영역을 추출하는 단계와,

상기 추출된 볼체크영역에서 볼을 검출하는 단계와,

상기 검출된 볼에 대해 상기 타격볼을 특정하기 위하여 미리 설정된 제2 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 상기 추출된 볼체크영역에서 검출되는 볼 중에서 상기 타격볼을 특정하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제3항에 있어서, 상기 볼 운동 모델을 산출하는 단계는,

상기 볼모델 프로세스가 개시됨에 따라 상기 복수개의 카메라 각각이 취득하는 2D 영상에서 검출되는 객체의 속도를 판별하는 단계와,

상기 객체의 속도가 미리 설정된 속도값보다 낮은 객체를 노이즈로서 제거하는 단계와,

상기 노이즈가 제거되는 각 카메라의 2D 영상 상에서 상기 타격볼을 검출하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제2항에 있어서, 상기 머신볼을 특정하는 단계는,

상기 볼체크영역에서 검출된 볼에 대한 볼-카메라 사이의 거리인 워킹디스턴스, 볼의 속도, 볼의 이동거리 중 적어도 하나를 이용하여 상기 제1 볼체크요건을 충족하는지 여부를 판단하는 단계와,

상기 제1 볼체크요건을 충족하는 볼의 방향이 상기 볼머신에서 나오는 방향인지 여부를 체크함으로써 볼의 방향성 요건을 충족하는지 여부를 판단하는 단계와,

상기 볼의 방향성 요건을 충족하는 경우에 해당 볼을 상기 머신볼로서 특정하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제3항에 있어서, 상기 타격볼을 특정하는 단계는,

상기 볼체크영역에서 검출된 볼에 대한 볼-카메라 사이의 거리인 워킹디스턴스, 볼의 속도, 볼의 이동거리 중 적어도 하나를 이용하여 상기 제2 볼체크요건을 충족하는지 여부를 판단하는 단계와,

상기 제2 볼체크요건을 충족하는 볼의 방향이 상기 플레이어로부터 멀어지는 방향인지 여부를 체크함으로써 볼의 방향성 요건을 충족하는지 여부를 판단하는 단계와,

상기 볼의 방향성 요건을 충족하는 경우에 해당 볼을 상기 타격볼로서 특정하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제2항에 있어서, 상기 머신볼을 특정하는 단계는,

상기 볼체크영역에서 검출된 볼에 대한 볼-카메라 사이의 거리인 워킹디스턴스 또는 볼의 크기를 산출하는 단계와,

상기 검출된 볼 중에서 상기 워킹디스턴스가 가장 작거나 상기 볼의 크기가 가장 큰 볼이 존재하는지 여부에 따라 상기 제1 볼체크요건의 충족 여부를 판단하는 단계와,

상기 워킹디스턴스가 가장 작거나 볼의 크기가 가장 큰 볼을 특정할 수 없는 경우, 해당 볼의 속도를 산출하는 단계와,

상기 산출된 볼의 속도가 가장 빠른 것으로 판단되는 볼이 존재하는지 여부에 따라 상기 제1 볼체크요건의 충족 여부를 판단하는 단계와,

상기 볼의 속도가 가장 빠른 볼을 특정할 수 없는 경우, 해당 볼의 이동거리를 산출하는 단계와,

상기 산출된 볼의 이동거리가 가장 긴 것으로 판단되는 볼이 존재하는지 여부에 따라 상기 제1 볼체크요건의 충족 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제2항에 있어서, 상기 머신볼을 특정하는 단계는,

상기 볼체크영역에서 검출된 볼에 대한 볼-카메라 사이의 거리인 워킹디스턴스 및 볼의 속도를 산출하는 단계와,

상기 산출된 워킹디스턴스 및 볼의 속도 중 적어도 하나를 이용하여 상기 볼체크영역의 크기를 계산하는 단계와,

상기 계산된 크기에 따라 상기 볼체크영역의 크기를 변경하는 단계와,

상기 변경된 크기의 볼체크영역을 추출하여 볼을 검출하고 그 검출된 볼에 대해 상기 제1 볼체크요건에 따른 볼 특징 체크를 하는 단계를 더 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제1항에 있어서,

상기 타격볼 프로세스가 개시되는 단계에서 상기 머신볼을 특정하는 것은,

상기 2D영상에서, 볼을 비행상태에서 관찰할 수 있는 영역으로서 설정된 제1 볼체크영역을 추출하는 단계와,

상기 추출된 제1 볼체크영역에서 볼을 검출하는 단계와,

상기 검출된 볼에 대해 상기 머신볼을 특정하기 위하여 미리 설정된 제1 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 상기 추출된 볼체크영역에서 검출되는 볼 중에서 상기 머신볼을 특정하는 단계를 포함하며,

상기 볼모델 프로세스가 개시되는 단계에서 상기 타격볼을 특정하는 것은,

상기 2D영상에서, 상기 제1 볼체크영역과 일부 중복되거나 중복되지 않는 미리 설정된 영역으로서 설정된 제2 볼체크영역을 추출하는 단계와,

상기 추출된 제2 볼체크영역에서 볼을 검출하는 단계와,

상기 검출된 볼에 대해 상기 타격볼을 특정하기 위하여 미리 설정된 제2 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 상기 추출된 볼체크영역에서 검출되는 볼 중에서 상기 타격볼을 특정하는 단계를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
제8항에 있어서,

상기 제1 볼체크영역 및 제2 볼체크영역 중 적어도 하나는 해당 영역에서 검출되는 볼의 크기 및 볼의 속도 중 적어도 하나의 산출된 값에 따라 미리 설정된 크기로 확장 또는 축소되거나 확장 또는 축소될 크기를 계산하여 그 계산된 크기에 따라 확장 또는 축소되는 것을 특징으로 하는 볼의 운동에 대한 센싱장치의 센싱방법.
네트 스포츠에 대한 가상 스포츠 시뮬레이션 시스템에서 볼의 운동에 대한 센싱장치로서,

스테레오 방식의 복수개의 카메라 중 어느 하나의 카메라에 의해 그 촬영 범위에 대한 2D 영상을 촬영하는 카메라유닛; 및

볼머신에서 발사되는 볼인 머신볼을 특정하기 위한 머신볼 프로세스를 개시함에 따라 상기 2D 영상에서 상기 머신볼을 특정하고, 상기 머신볼 프로세스의 완료에 따라 플레이어에 의해 타격된 볼인 타격볼을 특정하기 위한 타격볼 프로세스를 개시하여 상기 2D 영상에서 상기 타격볼을 특정하며, 상기 타격볼 프로세스의 완료에 따라 3차원 공간에서 타격되어 운동하는 볼에 대한 볼 운동 모델을 산출하는 볼모델 프로세스를 개시하여 상기 복수개의 카메라 각각이 취득하는 2D 영상을 이용하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하는 센싱처리유닛;

을 포함하는 볼의 운동에 대한 센싱장치.
제11항에 있어서, 상기 센싱처리유닛은,

상기 머신볼 프로세스를 개시함에 따라, 상기 2D영상에서, 볼을 비행상태에서 관찰할 수 있는 영역으로서 설정된 볼체크영역을 추출하고, 상기 추출된 볼체크영역에서 볼을 검출하며, 상기 검출된 볼에 대해 상기 머신볼을 특정하기 위하여 미리 설정된 제1 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 상기 추출된 볼체크영역에서 검출되는 볼 중에서 상기 머신볼을 특정하는 머신볼 프로세스 처리부와,

상기 머신볼 프로세스의 완료에 의하여 상기 타격볼 프로세스를 개시함에 따라, 상기 2D영상에서 상기 볼체크영역을 추출하고, 상기 추출된 볼체크영역에서 볼을 검출하며, 상기 검출된 볼에 대해 상기 타격볼을 특정하기 위하여 미리 설정된 제2 볼체크요건에 따른 볼 특징 체크 및 볼의 방향성 체크를 함으로써 상기 추출된 볼체크영역에서 검출되는 볼 중에서 상기 타격볼을 특정하는 타격볼 프로세스 처리부와,

상기 타격볼 프로세스의 완료에 의하여 상기 볼모델 프로세스를 개시함에 따라, 상기 복수개의 카메라 각각의 2D 영상 상에서 상기 타격볼을 검출하여 상기 타격볼에 대한 3차원 좌표 정보를 산출하고 상기 산출된 볼의 3차원 좌표 정보를 이용하여 상기 볼 운동 모델을 산출하는 볼모델 프로세스 처리부를 포함하는 것을 특징으로 하는 볼의 운동에 대한 센싱장치.