KR20220051765A

KR20220051765A - 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템

Info

Publication number: KR20220051765A
Application number: KR1020200135568A
Authority: KR
Inventors: 유왕윤
Original assignee: (주)투핸즈인터랙티브
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2022-04-26
Also published as: WO2022086144A1; KR102430084B1

Abstract

본 발명은 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 인터랙티브 스포츠 시스템으로서, 스포츠 콘텐츠가 플레이되는 플레이 공간 내에 설치되며, 바닥면에 상기 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부; 상기 플레이 공간 내에 설치되는 라이다 센서부; 상기 라이다 센서부를 이용해 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부; 및 상기 프로젝터부를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 따르면, 스포츠 콘텐츠가 플레이되는 플레이 공간 내에 프로젝터부와 라이다 센서부를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간에 최적화하여 설치된 프로젝터부와 라이다 센서부가 플레이 공간이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간의 바닥면을 효율적으로 이용할 수 있다.
또한, 본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 따르면, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.

Description

라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템{AUGMENTED REALITY INTERACTIVE SPORTS SYSTEM USING LIDAR SENSORS}

본 발명은 증강현실 인터랙티브 스포츠 시스템에 관한 것으로서, 보다 구체적으로는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 관한 것이다.

과학이 발달하면서 현대인의 신체 활동이 감소하고, 대다수 현대인에게서 운동 부족 현상이 발생하고 있다. 특히, 비만과 같은 성인병에 해당하는 인구가 지속적으로 증가하고 있다. 또한, 급격한 날씨 변화와 환경오염, 미세먼지, 전염성 질병 등으로 야외 활동이 제한되면서, 실내에서 충분한 신체 활동을 할 수 있는 운동에 관한 관심이 높아지고 있다.

실내에서 할 수 있는 가장 일반적인 운동으로 피트니스(Fitness)가 있는데, 피트니스는 밸런스가 잡힌 건강한 신체를 만들어내는 일, 또는 그것을 위한 운동을 말한다. 이러한 피트니스는 전문 장비가 구비된 피트니스 센터에서 전문 트레이너의 개인 지도(Personal Training)를 통해 이루어지게 된다. 그러나 현대인은 바쁜 일상 때문에 피트니스 센터에 찾아가 정기적으로 전문 트레이너의 지도를 받기 어렵고, 비싼 강습료로 인해 피트니스를 지속하기가 매우 어려운 실정이다.

한편, 통상의 피트니스는 장비를 이용해 운동하게 되므로, 잘못된 운동으로 인한 부상의 위험이 있고, 전문 장비를 이용해 할 수 있는 운동이 제한되어 있으므로, 쉽게 실증을 느끼게 되는 문제가 있다. 또한, 유산소 운동을 위한 트레드밀과 같은 장비는, 운동 과정이 단조롭고 정해진 코스만을 반복하게 되므로, 사용자가 운동을 중도에 포기해버리는 경우가 많은 문제점이 있다.

이러한 문제를 해결하기 위해, 가상현실이나 증강현실을 이용해 스포츠를 즐길 수 있는 기술이 개발되기도 했다. 관련된 선행기술로서, 공개특허 제10-2020-0082990호(발명의 명칭: VR 스포츠를 통한 피트니스 관리방법) 등이 개시된 바 있다.

그러나 종래의 가상현실을 이용해 스포츠를 즐길 수 있는 기술은, VR 장치를 머리에 착용해야 하므로 동작이 불편하여 충분한 운동 효과를 얻기 힘든 한계가 있다. 뿐만 아니라, 피트니스나 VR 스포츠는 어린이와 청소년의 체력 증진 및 교육 목적으로 사용하기에는 한계가 있고, 대체로 혼자 운동을 하는 것이므로 어린이와 청소년의 협동심을 기르는 데에는 적합하지 않다.

또한, 종래기술에서는 카메라 센싱을 이용해 사용자 모션을 인식하는데, 카메라 센싱을 이용하면 여러 사용자의 모션을 동시에 인식할 수 없으므로 한 명씩 이용할 수밖에 없고, 여러 사용자가 함께 스포츠를 즐기기는 어려운 문제가 있었다. 또는 별도의 오브젝트를 이용해야 하므로 스포츠의 종류가 한정되는 문제가 있었다.

따라서 실내에서 복수의 사용자가 함께 다양한 스포츠를 즐길 수 있는 기술의 개발이 필요한 실정이다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스포츠 콘텐츠가 플레이되는 플레이 공간 내에 프로젝터부와 라이다 센서부를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간에 최적화하여 설치된 프로젝터부와 라이다 센서부가 플레이 공간이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간의 바닥면을 효율적으로 이용할 수 있는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템은,

증강현실 인터랙티브 스포츠 시스템으로서,

스포츠 콘텐츠가 플레이되는 플레이 공간 내에 설치되며, 바닥면에 상기 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부;

상기 플레이 공간 내에 설치되는 라이다 센서부;

상기 라이다 센서부를 이용해 상기 스포츠 콘텐츠에 따른 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부; 및

상기 프로젝터부를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 프로젝터부는,

상기 플레이 공간의 벽면 또는 천장에 바닥면을 향하도록 설치되며, 상기 플레이 공간의 크기에 따라 적어도 하나 이상의 프로젝터를 포함하여 구성될 수 있다.

바람직하게는, 상기 라이다 센서부는,

상기 프로젝터부의 투영 영역을 향하여 설치되며, 상기 플레이 공간의 크기에 따라 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다.

더욱 바람직하게는, 상기 라이다 센서부는,

상기 프로젝터부의 투영 영역을 향하여 서로 마주 보도록 설치되는, 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다.

더욱 바람직하게는, 상기 라이다 센서부는,

상기 적어도 둘 이상의 라이다 센서가 각각 레이저 스캐닝하는 스캐닝 영역의 일부가 서로 중첩될 수 있다.

바람직하게는, 상기 모션 트래킹부는,

상기 라이다 센서부를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 상기 사용자 모션을 트래킹할 수 있다.

바람직하게는,

트레이너 단말기와 통신을 수행하며, 상기 트레이너 단말기에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 상기 트레이너 단말기로부터 제어 신호를 수신해 상기 제어부에 전달하여, 상기 사용자에게 비접촉 방식의 트레이닝을 제공하는 통신부를 더 포함할 수 있다.

더욱 바람직하게는,

상기 스포츠 콘텐츠의 선택 신호를 입력받고 상기 스포츠 콘텐츠와 관련된 플레이 정보를 출력하는 디스플레이부; 및

상기 스포츠 콘텐츠와 관련된 음향을 출력하는 스피커부를 더 포함하며,

상기 디스플레이부 및 스피커부는,

상기 통신부가 상기 트레이너 단말기로부터 수신한 실시간 트레이너 영상을 출력할 수 있다.

본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 따르면, 스포츠 콘텐츠가 플레이되는 플레이 공간 내에 프로젝터부와 라이다 센서부를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간에 최적화하여 설치된 프로젝터부와 라이다 센서부가 플레이 공간이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간의 바닥면을 효율적으로 이용할 수 있다.

또한, 본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에 따르면, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.

도 1은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템의 모습을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템의 본체의 모습을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 라이다 센서부의 세부적인 구성을 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 싱글 라이다 센서 구조를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 듀얼 라이다 센서 구조를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템에서, 복수의 라이다 센서 배치를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템이 트레이너 단말기와 통신하는 모습을 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 구성을 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 모습을 도시한 도면이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 프로젝터부(120), 라이다 센서부(130), 모션 트래킹부(140) 및 제어부(150)를 포함하여 구성될 수 있으며, 본체(110), 통신부(160), 디스플레이부(170) 및 스피커부(180)를 더 포함하여 구성될 수 있다.

즉, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 프로젝터부(120)와 라이다 센서부(130)를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다.

여기서, 플레이 공간(10)은 사용자가 스포츠 콘텐츠를 이용해 증강현실 기반으로 스포츠를 즐길 수 있는 공간으로서, 교실, 체육관 등 증강현실 인터랙티브 스포츠 시스템(100)을 설치하고 스포츠 콘텐츠가 출력될 수 있다면 원래의 이용 목적, 구체적인 넓이, 형태 등과 관계없이 본 발명의 플레이 공간(10) 역할을 할 수 있다.

이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 각 구성에 대해 상세히 설명하도록 한다.

본체(110)는, 모션 트래킹부(140), 제어부(150), 통신부(160) 및 디스플레이부(170)를 포함하는 프레임일 수 있으며, 내면에 제어부(150)를 포함하는 컴퓨터 장치 등을 구비할 수 있다. 도 2에 도시된 바와 같이, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 본체(110)를 설치하여 사용할 수 있으나, 반드시 본체(110)와 같은 형태의 프레임 내에 모션 트래킹부(140), 제어부(150) 등을 포함할 필요는 없다.

도 3은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 본체(110)의 모습을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 본체(110)는, 정면에 디스플레이부(170)를 포함할 수 있고, 스피커부(180)를 더 포함할 수도 있다. 본체(110)는, 도 3에 도시된 바와 같은 직육면체 형태일 수 있으나, 구체적인 형태나 모양은 다양하게 구현될 수 있다.

프로젝터부(120)는, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 설치되며, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영할 수 있다. 보다 구체적으로, 프로젝터부(120)는, 플레이 공간(10)의 벽면 또는 천장에 바닥면을 향하도록 설치되며, 플레이 공간(10)의 크기에 따라 적어도 하나 이상의 프로젝터를 포함하여 구성될 수 있다. 즉, 도 2에 도시된 바와 같이, 플레이 공간(10)의 천장에 바닥면을 향하도록 복수의 프로젝터부(120)를 설치하는 등, 플레이 공간(10)의 넓이와 형태 등에 최적화하여 프로젝터부(120)의 개수 및 설치 위치를 조절할 수 있다.

이처럼 프로젝터부(120)를 이용해 플레이 공간(10)의 바닥면을 충분히 활용함으로써, 모니터나 휴대 단말기, TV 등 디스플레이 장치를 이용할 때보다 훨씬 넓은 투영 영역(20)을 활용해 다양한 스포츠 콘텐츠를 제공할 수 있다. 예를 들어, 투영 영역(20)을 10m×15m 이상으로 크게 하면, 동시에 20~30명의 사용자가 함께 스포츠 콘텐츠를 플레이할 수 있다. 프로젝터 하나의 투영 영역(20)은 4.5m×2.6m 정도의 크기일 수 있으며, 여러 개의 프로젝터를 설치해 넓은 영역을 스포츠 콘텐츠에 활용할 수 있다. 한편, 프로젝터부(120)는 투영 영역(20)의 모양이 사다리꼴, 마름모꼴 등으로 왜곡되지 않고 직각 사각형이 되도록 왜곡을 보정하여 영상을 투영할 수 있다.

라이다 센서부(130)는, 플레이 공간(10) 내에 설치될 수 있다. 즉, 플레이 공간(10) 내에서 스포츠 콘텐츠를 이용하는 사용자의 모션을 인식하기 위해, 라이다 센서부(130)는 프로젝터부(120)의 전체 투영 영역(20)을 커버할 수 있도록 배치될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 라이다 센서부(130)는 플레이 공간(10)의 벽면에 스캐닝 방향이 투영 영역(20)을 향하도록 설치될 수 있다.

특히, 라이다 센서부(130)는, 프로젝터부(120)의 투영 영역(20)을 향하여 설치되며, 플레이 공간(10)의 크기에 따라 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다. 이때, 라이다 센서부(130)가 포함하는 라이다 센서는, RP Lidar A3일 수 있으며, 레이저 스캐닝 범위는 20m 정도일 수 있다. 라이다 센서부(130)의 세부적인 구성에 대해서는 추후 도 5를 참조하여 상세히 설명하도록 한다.

모션 트래킹부(140)는, 라이다 센서부(130)를 이용해 사용자 위치를 인식하여 사용자 모션을 트래킹할 수 있다. 보다 구체적으로, 모션 트래킹부(140)는, 라이다 센서부(130)를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 사용자 모션을 트래킹할 수 있다. 즉, 라이다 센서부(130)는 지면으로부터 5㎝ 정도 높이의 평면을 레이저 스캐닝하여 사용자 발의 존재 여부 및 위치를 검출할 수 있는데, 모션 트래킹부(140)는 사용자 발의 위치 변화를 사용자 모션으로 트래킹할 수 있다.

도 4는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 라이다 센서부(130)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)의 라이다 센서부(130)는, 레이저를 생성 및 조사하는 광 송신 모듈(131), 사용자의 신체에 의해 산란된 광신호를 집속시키는 광 수신 모듈(132), 및 광 수신 모듈(132)에 의해 집속된 광신호를 감지하는 광 감지 모듈(133)을 포함하여 구성될 수 있고, 모션 트래킹부(140)는, 감지된 광신호를 이용해 사용자 모션을 트래킹할 수 있다.

기존의 사용자 모션 트래킹 방식으로는, 카메라를 이용한 센싱이 많이 사용되었다. 예를 들어, 초고속 카메라 센서, 3D 뎁스 카메라 센서, 키넥트 카메라 센서(Kinetic camera sensor) 등을 사용할 수 있다. 초고속 카메라 센서는 가상현실 운동 등에 사용될 수 있는데, 데이터 처리를 하기 위해서는 연속적인 트래킹이 불가능하고, 정해진 위치에서 1명씩 사용해야 하며, 별도의 오브젝트가 필요한 한계가 있다. 3D 뎁스 카메라 센서는, 특정 심도(depth)에서의 변화 값을 검출해 사용하기 때문에 특정 심도에서 이벤트를 발생시켜야 하고, 1~10명 정도의 소수만 동시에 이용할 수 있으며, 별도의 오브젝트가 필요한 한계가 있다. 키넥트 카메라 센서는 피사체의 모션을 검출하는데, 카메라 화각 때문에 센싱 범위가 좁아서 정해진 위치에서 운동해야 하므로 활동 범위가 좁으며, 한 번에 1명만 사용할 수 있는 한계가 있다.

전술한 바와 같은 종래기술의 문제를 해결할 수 있는, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 라이다 센서부(130) 및 모션 트래킹부(140)를 포함함으로써, 별도의 오브젝트나 장치 착용 없이 몸만으로도 증강현실 스포츠를 즐길 수 있고, 모션 트래킹이 가능한 범위가 넓어서 플레이 공간(10)의 바닥면을 충분히 이용해 여기저기 이동하며 운동할 수 있다. 또한, 라이다 센서부(130)가 1~30명의 위치를 동시에 트래킹할 수 있으므로 단체 스포츠에도 적용할 수 있고, 이를 통해 함께 운동하는 재미를 주고 협동심을 기르는 데 도움을 줄 수 있다.

한편, 라이다 센서부(130)는, 프로젝터부(120)의 투영 영역(20)을 향하여 설치되는 적어도 둘 이상의 라이다 센서(130a, 130b)를 포함하여 구성되며, 적어도 둘 이상의 라이다 센서가 각각 레이저 스캐닝하는 스캐닝 영역의 일부가 서로 중첩될 수 있다. 즉, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서는, 적어도 둘 이상의 라이다 센서를 이용해 사용자의 모션을 트래킹함으로써, 빠르고 정확하게 복수의 사용자를 트래킹할 수 있다.

도 5 및 도 6은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 싱글 라이다 센서 구조를 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 듀얼 라이다 센서 구조를 도시한 도면이다. 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 도 5 및 도 6에 도시된 바와 같이 하나의 라이다 센서를 이용해 사용자 모션 트래킹을 할 수도 있으나, 도 7에 도시된 바와 같이 2개 이상의 라이다 센서(130a, 130b)를 이용하면 사용자들의 상대적 위치로 인한 트래킹 실패를 회피하고, 여러 사용자의 위치를 간섭 없이 정확하게 파악할 수 있다.

즉, 라이다 센서를 사용하는 경우 오브젝트에 의해 가려져 레이저가 도달하지 못하는 레이저 스캐닝 그늘이 발생하게 되는데, 레이저 스캐닝 그늘에 위치한 오브젝트는 탐지가 불가능하다. 하나의 라이다를 사용하는 싱글 라이다 센서 구조에서도, 도 5에 도시된 바와 같이 두 사용자의 위치가 중복되지 않으면 각각의 사용자의 모션 트래킹에 문제가 없다. 그러나 도 6에 도시된 바와 같이, Player B가 Player A의 레이저 스캐닝 그늘에 위치하면 Player B는 트래킹이 불가능하게 된다.

반면에, 도 7에 도시된 바와 같이, 2개의 라이다 센서(130a, 130b)를 사용하는 경우(듀얼 라이다 센서 구조), 제1 라이다 센서(130a)에 의한 레이저 스캐닝 그늘 영역은, 제2 라이다 센서(130b)에 의해 스캐닝되므로, 간섭 없이 복수 사용자의 모션 트래킹을 동시에 할 수 있다. 즉, Player B가 Player A의 제1 라이다 센서(130a)에 의한 레이저 스캐닝 그늘에 위치하더라도, Player B의 모션은 제2 라이다 센서(130b)에 의해 트래킹될 수 있다. 따라서 도 5 및 도 6에서 전술한 바와 같은 문제가 발생하지 않는다.

한편, 라이다 센서부(130)는, 2개의 라이다 센서(130a, 130b)가 각각 레이저 스캐닝하는 2개의 스캐닝 영역의 일부가 중첩될 수 있다. 즉, 제1 라이다 센서(130a)와 제2 라이다 센서(130b)가 상호 보완을 할 수 있도록, 제1 라이다 센서(130a)가 레이저 스캐닝하는 제1 스캐닝 영역과 제2 라이다 센서(130b)가 레이저 스캐닝하는 제2 스캐닝 영역은, 도 7에 도시된 바와 같이 일부가 중첩될 수 있다. 제1 스캐닝 영역과 제2 스캐닝 영역이 중첩되는 영역 내에서는 두 개의 라이다 센서(130a, 130b)가 상호 보완하여 복수 사용자의 모션을 각각 효과적으로 추적할 수 있다.

도 2에 도시된 바와 같이, 제1 라이다 센서(130a)와 제2 라이다 센서(130b)는 프로젝터부(120)의 투영 영역(20)을 향하여 나란하게 이격 설치될 수 있다. 이때 2개의 라이다 센서(130a, 130b)가 이격 설치되는 거리인 미리 정해진 거리는, 플레이 공간(10)의 크기에 따라 결정될 수 있다. 즉, 플레이 공간(10)에 최적화하여 제1 라이다 센서(130a)와 제2 라이다 센서(130b)를 설치하여, 플레이 공간(10)을 충분히 커버하고 정확한 모션 트래킹을 할 수 있다.

또한, 라이다 센서부(130)는, 프로젝터부(120)의 투영 영역(20)을 향하여 서로 마주 보도록 설치되는, 적어도 둘 이상의 라이다 센서를 포함하여 구성될 수 있다. 플레이 공간(10)이 넓고 동시에 플레이를 하는 사용자 수가 20명 이상으로 많아지면, 도 2 및 도 7에 도시된 바와 같이 나란하게 배치된 2개의 라이다 센서(130a, 130b) 구조로도 모션 트래킹 실패가 발생할 수 있다. 본 발명에서는, 이를 방지하기 위해 적어도 둘 이상의 라이다 센서를 마주 보도록 설치할 수 있다.

도 8은 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서, 복수의 라이다 센서 배치를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에서는, 서로 마주 보도록 배치되는 라이다 센서(130a와 130c, 130b와 130d)를 투영 영역(20)의 주변으로 설치할 수 있다. 플레이 공간(10) 또는 투영 영역(20)의 가로 폭이 20m 정도이면, 도 8에 도시된 바와 같은 4개의 라이다 센서(130a, 130b, 130c, 130d)의 배치를 통해 넓은 플레이 공간(10) 내의 사용자 모션을 레이저 스캐닝 그늘 등의 문제 없이 정확하게 트래킹 할 수 있다.

여기서, 라이다 센서의 개수 및 배치는 플레이 공간(10)의 넓이와 형태 등에 따라 다양하게 구현될 수 있다. 예를 들어, 3개의 라이다 센서를 투영 영역(20)의 일 측에 2개, 다른 측에 1개를 배치하면서, 다른 측의 1개를 일 측의 2개 사이에 위치하도록 하는 등, 각각의 라이다 센서의 스캐닝 영역의 일부가 서로 중첩되도록 배치 및 설치할 수 있다.

이와 같이, 복수의 라이다 센서 각각의 스캐닝 영역이 일부 중첩되어 상호 보완할 수 있다면, 복수의 라이다 센서(130a, 130b, 130c, 130d)의 개수와 상대적인 위치는 다양하게 구현될 수 있다. 또한, 적어도 둘 이상의 라이다 센서(130a, 130b, 130c, 130d)는, 레이저 스캐닝 높이를 상이하게 설치하여 간섭 없이 사용자 위치를 탐지할 수 있다.

제어부(150)는, 프로젝터부(120)를 통해 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 스포츠 콘텐츠를 제공하되, 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 이용해 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어할 수 있다. 즉, 제어부(150)는 사용자와 스포츠 콘텐츠가 인터랙션할 수 있도록, 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 스포츠 콘텐츠의 입력 신호로 변환해 전달할 수 있다.

통신부(160)는, 트레이너 단말기(200)와 통신을 수행하며, 트레이너 단말기(200)에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 트레이너 단말기(200)로부터 제어 신호를 수신해 제어부(150)에 전달하여, 사용자에게 비접촉 방식의 트레이닝을 제공할 수 있다. 여기서, 통신부(160)는 인터넷 접속이 가능한 와이파이(Wi-Fi, Wireless Fidelity), 이동통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), 3G/4G/5G(3/4/5th Generation Mobile Telecommunication) 및 LTE(Long Term Evolution)를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.

디스플레이부(170)는, 스포츠 콘텐츠의 선택 신호를 입력받고 스포츠 콘텐츠와 관련된 플레이 정보를 출력할 수 있다. 즉, 도 3에 도시된 바와 같이, 디스플레이부(170)는 본체(110)의 전면에 위치할 수 있으며, 사용자가 사용자의 정보를 입력 또는 열람하고, 스포츠 콘텐츠를 선택하는 등 각종 입출력이 가능하도록 터치스크린으로 구현될 수 있다.

스피커부(180)는, 스포츠 콘텐츠와 관련된 음향을 출력할 수 있다. 도 3에 도시된 바와 같이, 스피커부(180)는 본체(110)의 전면이나 측면 등에 설치될 수 있으며, 디스플레이부(170)를 통해 볼륨이 조절될 수 있다. 그러나 플레이 공간(10)의 크기나 형태 등에 따라 스피커부(180)는 플레이 공간(10)의 천장, 벽면, 바닥면 등에 설치되어 있을 수도 있다.

도 9는 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)이 트레이너 단말기(200)와 통신하는 모습을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)은, 통신부(160)를 통해 트레이너 단말기(200)로부터 제어 신호를 수신하여 원격으로 트레이닝 서비스를 제공할 수 있다. 트레이너는 단말기에 애플리케이션을 설치하여, 증강현실 인터랙티브 스포츠 시스템(100)으로부터 사용자의 운동 데이터를 제공받아 확인할 수 있으며, 각 사용자에게 적절한 스포츠 콘텐츠를 추천하거나 운동 자세, 운동 시간 등을 코칭하는 등 트레이닝 데이터를 제공할 수 있다.

여기서, 트레이너 단말기(200)는 전자 장치로 구현될 수 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 전술한 기기들에 한정되지는 않으며, 전술한 다양한 장치 중 둘 이상의 조합일 수 있다.

한편, 디스플레이부(170) 및 스피커부(180)는, 통신부(160)가 트레이너 단말기(200)로부터 수신한 실시간 트레이너 영상을 출력할 수 있다. 즉, 도 9에 도시된 바와 같이, 실시간 트레이너 영상을 디스플레이부(170) 및 스피커부(180)로 출력함으로써, 직접 대면 접촉 없이도 사용자와 트레이너가 원격으로 얼굴을 보고 트레이닝 서비스를 제공하거나 받을 수 있다. 이를 위해 플레이 공간(10)에 카메라를 설치하거나 본체(110)의 전면에 카메라를 구비하여 스포츠 콘텐츠를 이용하는 사용자의 모습을 촬영하고, 촬영된 영상을 통신부(160)를 이용해 트레이너 단말기(200)에 전송할 수 있다.

전술한 바와 같이, 본 발명에서 제안하고 있는 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100)에 따르면, 스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 프로젝터부(120)와 라이다 센서부(130)를 설치하고, 바닥면에 스포츠 콘텐츠를 위한 영상을 투영하고 라이다 센서를 이용해 사용자 모션을 트래킹하여 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어함으로써, 플레이 공간(10)에 최적화하여 설치된 프로젝터부(120)와 라이다 센서부(130)가 플레이 공간(10)이 넓을 때도 충분히 커버할 수 있고, 라이다 센서부(130)를 통해 모션 트래킹이 가능한 범위가 넓어서 플레이 공간(10)의 바닥면을 효율적으로 이용할 수 있다.

또한, 본 발명에 따르면, 라이다 센서를 이용해 사용자 모션을 트래킹하므로 별도의 오브젝트나 장치 착용 없이 몸만으로 실내에서 스포츠를 즐길 수 있고, 적어도 둘 이상의 라이다 센서(130a, 130b, 130c, 130d)를 이용함으로써 넓은 공간에서 여러 사용자가 동시에 스포츠 콘텐츠를 이용할 때에도 빠르고 정확하게 각각의 사용자 모션을 트래킹할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: 플레이 공간
20: 투영 영역
100: 증강현실 인터랙티브 스포츠 시스템
110: 본체
120: 프로젝터부
130: 라이다 센서부
130a: 제1 라이다 센서
130b: 제2 라이다 센서
131: 광 송신 모듈
132: 광 수신 모듈
133: 광 감지 모듈
140: 모션 트래킹부
150: 제어부
160: 통신부
170: 디스플레이부
180: 스피커부
200: 트레이너 단말기

Claims

증강현실 인터랙티브 스포츠 시스템(100)으로서,
스포츠 콘텐츠가 플레이되는 플레이 공간(10) 내에 설치되며, 바닥면에 상기 스포츠 콘텐츠를 위한 영상을 투영하는 프로젝터부(120);
상기 플레이 공간(10) 내에 설치되는 라이다 센서부(130);
상기 라이다 센서부(130)를 이용해 사용자 위치를 인식하여 사용자 모션을 트래킹하는 모션 트래킹부(140); 및
상기 프로젝터부(120)를 통해 상기 스포츠 콘텐츠를 출력하여 사용자에게 증강현실 기반으로 상기 스포츠 콘텐츠를 제공하되, 상기 모션 트래킹부(140)에서 트래킹되는 사용자 모션을 이용해 상기 스포츠 콘텐츠와 사용자 사이의 상호작용을 제어하는 제어부(150)를 포함하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제1항에 있어서, 상기 프로젝터부(120)는,
상기 플레이 공간(10)의 벽면 또는 천장에 바닥면을 향하도록 설치되며, 상기 플레이 공간(10)의 크기에 따라 적어도 하나 이상의 프로젝터를 포함하여 구성되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제1항에 있어서, 상기 라이다 센서부(130)는,
상기 프로젝터부(120)의 투영 영역(20)을 향하여 설치되며, 상기 플레이 공간(10)의 크기에 따라 적어도 둘 이상의 라이다 센서를 포함하여 구성되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제3항에 있어서, 상기 라이다 센서부(130)는,
상기 프로젝터부(120)의 투영 영역(20)을 향하여 서로 마주 보도록 설치되는, 적어도 둘 이상의 라이다 센서를 포함하여 구성되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제3항에 있어서, 상기 라이다 센서부(130)는,
상기 적어도 둘 이상의 라이다 센서가 각각 레이저 스캐닝하는 스캐닝 영역의 일부가 서로 중첩되는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제1항에 있어서, 상기 모션 트래킹부(140)는,
상기 라이다 센서부(130)를 이용해 지면으로부터 미리 정해진 지점의 사용자 발 위치를 인식하며, 사용자 발 위치 변화를 추적해 상기 사용자 모션을 트래킹하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제1항에 있어서,
트레이너 단말기(200)와 통신을 수행하며, 상기 트레이너 단말기(200)에 사용자의 스포츠 콘텐츠 이용 정보를 제공하고 상기 트레이너 단말기(200)로부터 제어 신호를 수신해 상기 제어부(150)에 전달하여, 상기 사용자에게 비접촉 방식의 트레이닝을 제공하는 통신부(160)를 더 포함하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).
제7항에 있어서,
상기 스포츠 콘텐츠의 선택 신호를 입력받고 상기 스포츠 콘텐츠와 관련된 플레이 정보를 출력하는 디스플레이부(170); 및
상기 스포츠 콘텐츠와 관련된 음향을 출력하는 스피커부(180)를 더 포함하며,
상기 디스플레이부(170) 및 스피커부(180)는,
상기 통신부(160)가 상기 트레이너 단말기(200)로부터 수신한 실시간 트레이너 영상을 출력하는 것을 특징으로 하는, 라이다 센서를 이용한 증강현실 인터랙티브 스포츠 시스템(100).