KR20210064697A

KR20210064697A - 신호지연을 보정한 공간 공유 혼합 현실 교육 시스템

Info

Publication number: KR20210064697A
Application number: KR1020190153198A
Authority: KR
Inventors: 황영진; 정상철
Original assignee: 황영진
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-06-03
Also published as: KR102391539B1

Abstract

본 발명은 마커없이도 동일 공간 내의 서로 다른 위치에서 운동하는 각 사용자 단말의 움직임 좌표에 대응되는 3차원 가상객체를 불러오거나 랜더링하여 각 단말기에 디스플레이함으로서 다수의 사용자가 하나의 3차원 가상객체를 공유하는 시각적 효과를 제공하는 공간 공유 혼합 현실 시스템에 관한 것이다.
본 발명의 혼합현실 시스템은 사용자 단말과 서버 간의 시간을 동기화(시간 오차 제거)하고, 동기화 시간을 기준으로 전자파를 수신하여 사용자의 움직임(위치값, 회전값)을 측정하는 외부 센서부 측정값과 혼합현실 단말기 내에 설치되어 사용자의 움직임(위치값, 회전값)을 측정하는 내부센서 측정값을 결합하여 실시간으로 사용자 단말들의 정확한 움직임을 제공할 수 있다.

Description

신호지연을 보정한 공간 공유 혼합 현실 교육 시스템{Mixed reality system for spatial sharing using time delay compensation}

본 발명은 신호지연을 보정한 공간 공유 혼합 현실 교육 시스템에 관한 것으로서, 마커없이도 동일 공간 내의 서로 다른 위치에서 운동하는 각 사용자 단말의 움직임 좌표에 대응되는 3차원 가상객체를 각 단말기에 랜더링하여 디스플레이하는 공간 공유 혼합 현실 교육 시스템에 관한 것이다.

최근 카메라 모듈을 이용한 촬영 시 현실의 공간에 다양한 정보를 덧씌워 보여 주는 증강 현실(augmented reality) 기법을 이용한 컨텐츠 제공이 활발히 연구되고 있다. 혼합현실(Mixed Reality, MR)이란 가상현실(Virtual Reality, VR)의 한 분야에 속하는 기술이며, 사용자가 감각으로 느끼는 실제환경에 가상환경을 합성하여 원래의 실제환경에 가상환경이 존재하는 것처럼 느끼게 하는 컴퓨터 기법이다.

이러한 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리 현실 세계의 기반에 가상사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 장점이 있다.

즉, 사용자가 보고 있는 실사 영상에 컴퓨터 그래픽으로 만들어진 가상환경, 예를 들면, 3차원 가상환경을 정합함으로써 구현된 현실을 혼합현실이라고 할 수 있다. 여기서, 3차원 가상환경은 사용자가 바라보는 실사 영상에서 필요한 정보를 제공해주고, 3차원 가상객체는 실사영상과 정합되어 사용자의 몰입도를 높일 수 있다.

이러한 혼합현실은 단순 가상현실 기술에 비하여 3차원 가상환경에 실사영상도 같이 제공하여 현실환경과 가상환경과의 구분이 모호해지게 함으로써, 보다 나은 현실감을 제공할 수 있다.

혼합현실이나 가상현실의 인터페이스 기술의 대표적인 형태는 머리/얼굴 착용형 디스플레이 장치(HMD/FMD; Head Mounted Display, Face Mounted Display)이다. 이런 장치들은 초소형 디스플레이 장치(예; 소형 모니터, LCOS 등)를 안경과 유사한 구조로 광학 확대 구조부와 통합된 구조이며, 입체 시각 디스플레이를 위해서 좌우 눈 부분을 담당하는 별도의 모듈과 2개 채널의 영상 정보를 입력받는 구조를 가지고 있다. 이는 개인용 정보를 가시화 하는 환경이나 모바일 컴퓨팅과 같이 높은 신체 자유도를 요구하는 조건에서 활용되고 있다.

도 1은 한국등록 10-1898075호의 증강현실 시스템의 동작상태를 도시한다. 상기 한국 등록특허는 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 실제 객체의 좌표에 미리 할당된 가상 객체를 표시하는 혼합현실 시스템을 보여준다. 도 1을 참고하면, 한국 등록 특허에서는 영상에 의해 객체(일종의 마커)가 식별될 때마다 실제 객체 좌표계를 기준으로 3차원 공간 정합 좌표계를 보정하고 있으나, 객체의 존재가 사라지면(HMD 시야에서 사라지는 경우) 다수 사용자에 의한 공간 공유도 사라지게 된다. 또한, 도 1과 같은 일반적인 혼합현실은 두 명의 사용자가 마주보고, 그 가운데에 3차원 가상객체가 디스플레이되는 경우에도 동일한 면을 각 사용자에게 송출하여 공간공유의 현실감이 떨어지는 문제점이 있다.

또한, 서버와 다수의 사용자 단말이 있는 경우, 사용자 단말의 정확한 위치 측정이 어려울 뿐만 아니라 서버와 사용자 단말 자체의 시간 오차, 이들간의 신호(시간) 지연, 사용자 단말에 내장된 센서(내부센서)의 드리프트(Drift) 현상 등에 의해 실시간으로 운동하는 사용자 단말들의 정확한 움직임을 측정하는 것이 매우 어려웠다.

본 발명은 마커없이도 다수 사용자 단말간의 공간 공유를 지속시킬 수 있는 혼합현실 교육 시스템을 제공하는 것이다.

본 발명은 각각의 사용자 단말의 움직임에 따라 3차원 가상객체를 각기 다르게 디스플레이시켜 공간 공유의 현실감을 높일 수 있는 혼합현실 교육 시스템을 제공하는 것이다.

본 발명은 실내를 포함한 특정 공간 내에서 사용자 단말과 서버 간의 시간을 동기화(시간 오차 제거)하여 실시간으로 운동하는 사용자 단말들의 정확한 움직임 좌표를 제공하는 혼합현실 교육 시스템을 제공하는 것이다.

하나의 양상에서 본 발명은

소정 공간 내부에 복수 개 설치되어 전자파를 송신하는 비콘(10) ; 및

사용자가 착용하며, 상기 송신부의 비콘 신호를 수신하는 통신모듈(21), 사용자의 움직임을 감지하는 내부 센서(22), 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라(23), 수신된 비콘 신호를 이용하여 시간에 따른 사용자의 위치값을 산출하고, 상기 위치값을 내부 센서로 측정된 회전값과 결합하여 시간에 따른 움직임 좌표를 생성하고, 상기 사용자의 움직임 좌표에 대응되는 3차원 가상객체를 디스플레이되는 실제 영상정보 상에 중첩하여 표시하는 프로세서(24)를 구비하는 혼합현실 단말기(20)를 포함하는 공간 공유 혼합현실 교육 시스템으로서,

상기 교육 시스템은 상기 공간 내에 서로 다른 위치에서 움직이는 상기 혼합 현실 단말기를 복수개 구비하고,

상기 혼합현실 단말기는 3차원 랜더링된 가상객체나, 상기 단말기의 움직임 좌표에 대응되는 3차원 가상객체 이미지가 저장된 가상 객체 DB를 포함하고,

복수의 상기 혼합현실 단말기는 3차원 가상객체를 상기 디스플레이의 지정된 좌표에 표시하되, 각각의 혼합현실 단말기는 현재 시간의 움직임 좌표에 대응되는 3차원 가상 객체를 상기 가상 객체 DB에서 불러오거나 랜더링하여 디스플레이하는 공간 공유 혼합현실 교육 시스템에 관련된다.

다른 양상에서, 본 발명은

소정 공간 내부에 복수 개 설치되어 전자파를 송신하는 송신부(110) ;

사용자가 착용하며, 외부와 통신하는 통신모듈(121), 사용자의 움직임좌표를 측정하는 내부 센서(122), 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라(123), 3차원 가상객체를 디스플레이되는 실제 영상정보 상에 중첩하여 표시하는 프로세서(124)를 구비하는 혼합현실 단말기(120) ; 및

상기 혼합현실 단말기에 부착되거나, 또는 사용자의 머리에 착용되며, 상기 송신부의 전자파를 수신하여 시간에 따른 사용자의 움직임(위치값, 회전값) 좌표를 측정하는 외부 센서부(130)를 포함하는 공간 공유 혼합현실 교육 시스템으로서,

본 발명의 혼합현실 시스템은 각각의 혼합현실 단말기의 움직임에 따라 3차원 가상객체를 불러오거나 랜더링하여 디스플레이시키므로, 다수 사용자들은 다른 방향에서 하나의 3차원 가상객체를 상호간에 공유(시청)하는 공간 및 사물 공유의 체험을 할 수 있다.

본 발명의 혼합현실 시스템은 사용자 단말과 서버 간의 시간을 동기화(시간 오차 제거)하고, 동기화 시간을 기준으로 전자파를 수신하여 사용자의 움직임(위치값, 회전값)을 측정하는 외부 센서부 측정값과 혼합현실 단말기 내에 설치되어 사용자의 움직임(위치값, 회전값)을 측정하는 내부센서 측정값을 결합하여 실시간으로 사용자 단말들의 정확한 움직임을 제공할 수 있다.

도 1은 한국등록 10-1898075호의 증강현실 시스템의 동작상태를 도시한다.
도 2는 본 발명의 일구현예인 혼합현실 교육 시스템의 개요도이다.
도 3은 도 2의 혼합현실 단말기의 블록도이다.
도 4는 본 발명의 다른 구현예인 혼합현실 교육 시스템의 개요도이다.
도 5는 도 4의 혼합현실 시스템의 블록도이다.
도 6은 외부센서를 사용한 경우, 본 발명의 혼합현실 시스템의 블록도이다.
도 7은 도 6에서의 혼합현실 단말기의 블록도이다.
도 8은 시간 동기화를 구하는 일예를 보여주는 엑셀 표이다.
도 9는 움직임 좌표 중 위치(x, y)의 변동이 있는 경우, 복수의 혼합현실 단말기가 각각의 위치(x, y)에 따른 3차원 가상 객체를 디스플레이하는 것을 보여준다.

이하에서, 본 발명의 바람직한 실시 태양을 도면을 들어 설명한다. 그러나 본 발명의 범위는 하기 실시 태양에 대한 설명 또는 도면에 제한되지 아니한다. 즉, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 2는 본 발명의 혼합현실 시스템의 개요도이고, 도 3은 본 발명의 혼합현실 단말기의 블록도이다.

도 2를 참고하면, 본 발명의 공간 공유 혼합현실 시스템은 비콘(10), 혼합현실 단말기(20)를 포함한다. 또한, 본 발명의 공간 공유 혼합현실 시스템은 서버(30)를 추가로 포함할 수 있다.

상기 비콘(10)은 소정 공간 내부에 하나 이상 설치되어 전자파를 송신한다.

상기 혼합현실 단말기(20)는 실제영상정보 상에 3차원 가상객체를 표시할 수 있는 공지된 머리/얼굴 착용형 디스플레이 장치(HMD/FMD; Head Mounted Display, Face Mounted Display)나 스마트폰을 착용장치(예를 들면, 구글의 카드보드)에 장착한 단말기 일 수 있다.

상기 혼합 현실 단말기(20)는 공지된 머리/얼굴 착용형 디스플레이 장치(HMD/FMD; Head Mounted Display, Face Mounted Display), 스마트폰을 착용장치(예를 들면, 구글의 카드보드)에 장착한 단말기 일 수 있다.

상기 혼합현실 단말기(20)는 사용자가 착용하며, 상기 송신부의 비콘신호를 수신하는 통신모듈(21), 사용자의 움직임을 감지하는 내부 센서(22), 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라(23), 수신된 비콘신호를 이용하여 시간에 따른 사용자의 위치값을 산출하고, 상기 위치값을 내부 센서로 측정된 회전값과 결합하여 시간에 따른 움직임 좌표를 생성하고, 상기 사용자의 움직임 좌표에 대응되는 3차원 가상객체를 디스플레이되는 실제 영상정보 상에 중첩하여 표시하는 프로세서(24)를 구비할 수 있다.

상기 혼합현실 단말기(20)는 3차원 랜더링된 가상객체나, 상기 단말기의 움직임 좌표에 대응되는 3차원 가상객체 이미지가 저장된 가상 객체 DB(25), 증강현실 렌더링을 위한 데이터와 프로그램을 휘발성 및/또는 비휘발성으로 저장하는 메모리(26), 증강현실 영상을 사용자의 시야에 제공하기 위한 디스플레이(27), 위치 측정 모듈(28)을 포함할 수 있다.

도 2와 도 3을 참고하면, 본 발명은 블루투스 비콘을 이용하여 사용자 단말의 실내 위치값을 산출한다. 블루투스 비콘은 건물 내에서 사용자 단말과의 거리가 수십cm에서 수십 m 정도 범위까지 떨어져 있는 경우에도 신호정보를 수신 받을 수 있다.

비콘(10)은 통상의 비콘 서비스를 위해서 비콘 신호를 주기적으로 송출하는 장치를 의미한다. 이 때, 비콘 신호는 비콘(10)에 할당된 식별 번호 혹은 위치 정보 등과 같은 비콘 식별 정보를 포함할 수 있으며, 이러한 비콘 식별 정보는 혼합현실 단말기(20)가 비콘 서비스를 제공받는 기준이 된다. 예를 들면, 도 2를 참고하면, 소정 공간 내에 4개의 비콘이 설치되어 있으며, 각각의 비콘은 고유의 식별번호와 위치정보를 갖는다.

상기 혼합현실 단말기(20)는 관리서버에서 제공한 혼합현실 교육 시스템용 어플을 다운받을 수 있다. 상기 비콘(10)에 할당된 식별 번호 혹은 위치 정보 등은 상기 어플을 통해 상기 사용자 단말의 메모리(26)에 저장될 수 있다.

상기 통신모듈(21)은 공간내에 부착된 복수개의 비콘으로부터 주기적으로 송출된 비콘 신호를 수신한다.

상기 프로세서(24)는 위치측정 모듈(28)을 이용하여 복수개의 비콘 신호로부터 공간 내에서의 위치값을 소정시간 간격으로 산출한다. 상기 위치측정 모듈은 상기 프로세서(24)에서 처리되는 위치측정용 프로그램이다.

상기 프로세서(24)는 공지된 3각 측량법을 이용하여 공간 내에서의 혼합현실 단말기기의 위치(x, y)를 산출할 수 있다.

먼저, 상기 프로세서(24)는 상기 통신모듈(21)에 소정 시간 간격으로 수신된 비콘 신호세기를 읽고, 신호세기가 가장 큰 3개의 비콘과의 거리를 각각 산출한다.

좀 더 구체적으로, 상기 프로세서(24)는 수신신호세기(RSSI, recived signal strength indication)를 이용하여 각 비콘과 사용자 단말과의 거리를 산출할 수 있다. 수학식 1과 같이 Friis의 공식을 이용할 수 있다.

수학식 1에서 L은 사용자 단말과 비콘과의 측정 거리이고, λ는 전파의 파장이고 d는 두 지점과의 거리이다.

상기 프로세서(24)는 신호세기가 가장 높은 3개 비콘과의 거리 d1, d2, d3를 각각 구하고, 주어진 비콘 3개의 좌표값과 3각 측량법을 이용하여 단말기의 좌표(x, y, z)를 산출할 수 있다. 여기서 z값은 일정한 상수로 처리할 수 있다.

상기 프로세서(24)는 상기 위치값을 내부 센서로 측정된 회전값과 결합하여 시간에 따른 움직임 좌표(t, x, y, z, x°, y°, z°)를 생성할 수 있다.

상기 교육 시스템은 상기 혼합현실 단말기로부터 시간에 따른 움직임 좌표를 전송받아 저장하는 서버(30)를 포함하고, 상기 서버는 수신받은 상기 움직임 좌표를 공간 내의 다른 혼합현실 단말기에 전송할 수 있다.

도 4는 본 발명의 다른 구현예인 혼합현실 교육 시스템의 개요도이고, 도 5는 도 4의 혼합현실 시스템의 블록도이고, 도 6은 외부센서를 사용한 경우, 본 발명의 혼합현실 시스템의 블록도이고, 도 7은 도 4에서의 혼합현실 단말기의 블록도이고, 도 8은 시간 동기화를 구하는 일예를 보여주는 엑셀 표이고, 도 9는 움직임 좌표 중 위치(x, y)의 변동이 있는 경우, 복수의 혼합현실 단말기가 각각의 위치(x, y)에 따른 3차원 가상 객체를 디스플레이하는 것을 보여준다.

도 4 내지 도 7을 참고하면, 본 발명의 공간 공유 혼합현실 교육 시스템은 송신부(110), 혼합현실 단말기(120) 및 외부 센서부(130)를 포함한다. 상기 공간 공유 혼합현실 교육 시스템은 서버(140)를 추가로 포함할 수 있다.

상기 송신부(110)는 소정 공간 내부에 하나 이상 설치되어 전자파를 송신한다.

상기 외부 센서부(130)는 상기 혼합현실 단말기에 부착되거나, 또는 사용자의 머리에 착용되며, 상기 송신부의 전자파를 수신하여 시간에 따른 사용자의 움직임(위치값, 회전값) 좌표를 측정한다.

상기 외부 센서부(130)는 상기 혼합 현실 단말기로 전송(도 5 참고)하거나 상기 움직임 좌표를 상기 서버(140)로 전송할 수 있다(도 6 참고).

본 발명은 혼합현실 단말기의 움직임(위치값, 회전값) 좌표를 측정하기 위해, 주기적으로 상기 송신부에서 레이저 혹은 빛을 방사하고, 상기 외부센서부(40)에서 이를 수신하여 외부센서부의 위치를 특정할 수 있다.

상기 움직임은 6 자유도로 X, Y, Z 방향의 위치 이동(x, y, z 좌표)과, X, Y, Z 축 회전(x°, y°, z°)으로 시간과 함께 측정될 수 있다.

상기 움직임 좌표는 단말기의 위치이동과 회전각을 나타내므로, 시간에 따른 움직임 좌표가 (t, x, y, z, x°, y°, z°)로 표시될 수 있다.

이와 같이, 전자파가 적외선 레이저인 경우, 상기 송신부(110)와 외부센서부(130)로는 상용화된 Vive basestation과 Vive 트래커를 각각 구매하여 사용할 수 있다.

예를 들면, 송신부(Vive basestation)는 세로로 회전하는 모터와 가로로 회전하는 모터를 가지고 있고, 세로 회전 모터에는 가로방사형 적외선 레이저가 부착되고, 가로 회전 모터는 세로 방사형 적외선 레이저가 부착되어 있다. 적외선 레이저는 일정 주기로 가로와 세로를 방사하는데, 방사가 끝나면 전체 적외선을 방사하여 한 종류의 방사가 끝났음을 알린다.

예를 들면, 상기 외부센서부(수신부)로 트래커를 사용할 수 있으며, 상기 트래커에는 약 15개에서 100개 정도의 적외선 레이저 센서가 방사형으로 위치되고, 이 센서들은 적외선 레이저들을 수신하는 시간의 차이를 계산하여 외부 센서부(수신부)의 위치를 특정할 수 있다. 적외선을 발사한 대상이 같기 때문에 트래커들은 모든 정보를 적외선 송신기를 타겟으로 계산할 수 있어 같은 시간에 공간상의 위치를 도출해낼 수 있다.

상기 혼합현실 단말기(120)는 사용자가 착용하며, 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며, 내부 센서를 구비하여 사용자의 움직임을 감지하고, 디스플레이되는 실제영상정보 상에 3차원 가상객체를 표시할 수 있다.

상기 혼합 현실 단말기(120)는 공지된 머리/얼굴 착용형 디스플레이 장치(HMD/FMD; Head Mounted Display, Face Mounted Display), 스마트폰을 착용장치(예를 들면, 구글의 카드보드)에 장착한 단말기 일 수 있다.

상기 혼합현실 단말기(120)는 외부와 통신하는 통신모듈(121), 사용자의 움직임좌표를 측정하는 내부 센서(122), 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라(123), 3차원 가상객체를 디스플레이되는 실제 영상정보 상에 중첩하여 표시하는 프로세서(124)를 포함할 수 있다. 또한, 상기 혼합현실 단말기(120)는 3차원 랜더링된 가상객체나, 상기 단말기의 움직임 좌표에 대응되는 3차원 가상객체 이미지가 저장된 3D 가상 객체 DB(125), 증강현실 렌더링을 위한 데이터와 프로그램을 휘발성 및/또는 비휘발성으로 저장하는 메모리(126), 증강현실 영상을 사용자의 시야에 제공하기 위한 디스플레이(127), 동기화 시간 산출 모듈(128)을 포함할 수 있다.

도 5와 같이, 상기 외부 센서부(130)는 측정된 움직임 좌표를 상기 혼합 현실 단말기로 직접 전송할 수 있고, 이 경우, 상기 혼합 현실 단말기는 외부 센서부로부터 전송받은 움직임 좌표에 대응되는 3차원 가상객체를 상기 가상 객체 DB에서 불러오거나 랜더링하여 각 단말기에 디스플레이함으로서 다수의 사용자가 하나의 3차원 가상객체를 공유하는 효과를 제공할 수 있다.

한편, 도 6과 같이, 상기 외부 센서부(130)에서 측정된 상기 움직임 좌표를 상기 서버(140)로 전송하고, 상기 서버는 이를 다시 혼합현실 단말기로 전송하는데, 이 과정에서 서버와 사용자 단말 자체의 시간 오차, 이들간의 신호(시간) 지연, 사용자 단말에 내장된 센서(내부센서)의 드리프트(Drift) 현상 등에 의해 실시간으로 운동하는 사용자 단말들의 정확한 움직임을 측정하는 것이 매우 어렵다.

본 발명은 혼합현실 단말기(사용자 단말)와 서버 간의 시간을 동기화(시간 오차 제거)하고, 이를 기준으로 내부센서와 외부센서의 좌표를 결합하여 도 6과 같은 시스템에서 발생되는 문제를 해결하고자 한다.

상기 내부센서(122)는 상기 혼합현실 단말기에 설치되어 위치와 방향을 추적할 수 있는 6-DOF(6 자유도)를 측정할 수 있는 센서를 구비할 수 있다. 예를 들면, 상기 내부센서(24)는 자이로 센서, 가속도 센서, 컴퍼스 센서, 자기장 센서 등을 포함할 수 있다.

내부 센서로 측정된 혼합현실 단말기의 시간에 대한 움직임 좌표도 (t, x, y, z, x°, y°, z°)로 표시될 수 있다.

상기 서버(140)는 상기 외부 센서부로부터 시간에 따른 사용자 움직임 좌표를 수신받고 이를 상기 혼합현실 단말기로 전송할 수 있다.

본 발명은 송신부의 레이저 신호를 이용한 혼합현실 단말기의 움직임을 측정하는 외부 센서부(130)와 단말기 내부에서 움직임을 측정하는 내부센서(122)를 결합함으로서 외부센서부와 내부센서를 단독으로 사용할 때보다 단말기의 현재 움직임 좌표를 보다 정확히 산출할 수 있다.

예를 들면, 혼합현실 단말기(스마트폰 포함)의 내부 센서는 6-DOF와 9-AXIS(Gyroscope, Accelerometer, Compass)의 센서퓨전(Sensor Fusion)된 값을 사용한다. 이는 각 센서의 오차와 내부연산이나 지연을 실시간처럼 감지하기 위한 퓨전 방식으로 대표적으로 칼만 필터(Kalman Filter)가 있다. 하지만 일반적인 9-AXIS의 오차로는 완벽한 6-DOF와 위치통일을 할 수 없다는 기계적 장치의 한계가 존재한다. 또한 센서퓨전의 누적 오류로서, 정북(True North) 상실이 나타나는데, 흔히 Draft라고 부르며, 이 오류가 가중되면서 유저는 초기 설정된 북 방향을 잃어 위치가 바뀌게 되는 문제가 있다(정확한 위치 측정이 어렵다).

예를 들면, 외부 센서부(110, 130) 시스템만을 사용하였을 경우, 외부 센서부 신호를 서버에서 보내고, 다시 서버에서 혼합현실 단말기로 전송하는 과정에서의 좌표 입력 지연이 발생할 수 있다.

본 발명은 외부 센서부와 내부센서를 결합함에 따라 외부 센서만을 사용하였을 경우의 좌표 입력 지연 문제를 해결할 수 있고, 외부센서부 범위에서 벗어나거나 입력이 지연 됐을 때는 내부센서로 전환되어, 좀 더 자유로운 자세 통제가 가능하다. 또한, 본 발명은 내부센서만을 사용할 때의, 6DOF Draft에서 자유로워지고 좀 더 정확한 위치를 알 수 있다.

도 6과 도 7을 참고하면, 본 발명의 혼합현실 시스템은 송신부(110)의 레이저를 외부 센서부(130)가 수신하고, 외부 센서부는 수신된 레이저를 통해 시간에 따른 움직임 좌표(t, x, y, z, x°, y°, z°)를 추출하고, 상기 외부 센서부는 시간과 움직임 좌표를 주기적으로 추출하여 상기 서버(140)로 RF통신을 통해 전송한다. 상기 서버는 각 혼합현실 단말기에 부착된 각각의 외부 센서부로부터 받은 움직임 좌표를 각 혼합현실 단말기로 전송한다.

상기 서버는 외부센서부(130a)로부터의 수신받은 움직임 좌표를 상기 외부 센서부(30a)가 부착된 혼합현실 단말기(120a)뿐만 아니라 다른 사용자(유저)의 혼합현실 단말기 120b, 120c에도 전송할 수 있다.

즉, 혼합현실 단말기들은 공간 내에 위치하는 다른 단말기에 관한 움직임 좌표(외부 센서부로 측정된 시간, 위치, 회전값)를 상기 서버로부터 전송받아 다른 혼합현실 단말기의 위치를 알 수 있다.

상기 혼합현실 단말기는 외부 센서부(130)의 움직임 좌표와 내부센서(122)의 움직임 좌표를 동기화 시간을 기준으로 결합한다.

상기 동기화 시간(g)은 상기 혼합현실 단말기(예를 들면, 120a) 시간과 상기 서버 시간의 (누적 평균) 오차값를 구하고, 상기 오차값에 상기 혼합현실 단말기 시간을 더한 값이다.

도 8은 시간 동기화를 구하는 일예를 보여주는 엑셀 표이다. 도 8을 참고하면, 상기 동기화 시간은 하기와 같이 구할 수 있다.

각각의 혼합현실 단말기는 서버로 Ping 신호를 보내며, 보낸 시간(a)을 저장한다.

상기 서버는 상기 혼합현실 단말기로 Pong 신호와 보낸 시간(b)을 전송한다.

상기 혼합현실 단말기는 지연시간이 포함된 현재 혼합현실 단말기 시간(c)과 최초 (단말기가) 보낸 시간(a)의 차의 중간값((c-a)/2)에 서버에서 보낸 시간(b)을 더한 서버의 지연시간(d)을 구한다.

상기 혼합현실 단말기는 현재 혼합현실 단말기 시간(c)과 서버 지연시간(d)의 차(e)를 구한다.

상기 혼합현실 단말기는 혼합현실 단말기와 서버간의 신호룰 반복하여 주고 받아 현재 혼합현실 단말기 시간(c)과 서버 지연시간(d)의 차(e)를 반복하여 구하고, 이들의 평균값(f)을 구한다.

상기 혼합현실 단말기는 현재 시간(c)에 상기 평균값을 더하여 동기화 시간(g)을 추출한다.

즉, 상기 동기화 시간(g)은 혼합현실 단말기의 현재 시간(c)에 평균값(f)을 합한 값이다. g = f+c 이다.

즉, 상기 동기화시간은 혼합현실 단말기의 현재 시간에 서버와 혼합현실 단말기간의 지연 시간을 고려한 시간차(e)의 누적 평균값(f)을 더함으로서 단말기와 서버와의 시간을 일치시킨 시간이다. (상기 동기화 시간은 서버와 혼합현실 단말기 자체의 시간 오차, 이들간의 신호 지연 시간을 고려하여 혼합현실 단말기와 서버간의 시간 오차를 제거한 시간이다)

본 발명은 혼합현실 단말기와 서버와의 시간을 일치시킴으로서 단말기에 (서버로부터) 수신되는 외부 센서부에서 측정된 상기 혼합 현실 단말기의 움직임좌표와 단말기 내부에서 측정된 움직임 좌표를 결합할 수 있다.

즉, 상기 혼합현실 단말기는 상기 사용자의 움직임 좌표에 대응되는 3차원 가상객체를 상기 디스플레이의 지정된 좌표에 표시하되, 가상객체가 표시(송출)되는 현재 시간의 상기 단말기의 움직임 좌표는 상기 동기화 시간 이전의 외부센서 움직임 좌표값과 상기 동기화 시간 이후부터 현재 시간까지의 내부 센서의 움직임 좌표를 합산한 좌표값일 수 있다.

예를 들면, 혼합현실 단말기의 프로세서는 내부센서의 6-DOF 신호를 관측 시간으로 기록하고 배열(h)에 기록한다. 다만, 내부센서에서의 시간에 따른 움직임 좌표 (t, x, y, z, x°, y°, z°)에서 나머지 값의 변동은 없고 x축 회전값인 x° 값에 대한 변동이 있는 경우에, 혼합현실 단말기의 프로세서는 내부센서의 6-DOF 신호를 관측 시간으로 기록하고 하기 표 1의 배열(h)에 기록한다.

t	T+0.1초	T+0.2초	T+0.3초	T+0.4초	T+0.5초	T+0.6
x°	0°	1°	3°	10°	15°	20°

상기 T는 단위 신호 전송 패킷의 최초 신호 측정 시간이다.

상기 혼합현실 단말기는 상기 서버로부터 시간 정보와 함께 움직임 좌표를 수신하고, 그 값을 메모리에 저장할 수 있다. 서버로부터 수신받은 외부 센서부에 의한 움직임 좌표값(t, x°)은 (T+100.3초, 40°)이다.

상기 혼합현실 단말기는 앞에서 상술한 상기 동기화 시간(g)(혼합현실 단말기의 현재 시간(c)에 누적 오차 평균값(f)을 합한 값)을 구할 수 있다.

도 8에서와 같이 구한 오차 평균값(f)이 100초이면, 상기 혼합 현실 단말기의 동기화 시간은 (T+100.3초)이다.

상기 혼합현실 단말기는 상기 동기화 시간 이전의 외부센서 움직임 좌표값(40°)과 동기화 시간 이후부터 현재 시간까지의 내부 센서의 움직임 좌표값(20°-3°=17°)을 합산한 좌표값(T+0.6초, 57°)을 추출할 수 있다.

도 9는 움직임 좌표 중 위치(x, y)의 변동이 있는 경우, 복수의 혼합현실 단말기가 각각의 위치(x, y)에 따른 3차원 가상 객체를 디스플레이하는 것을 보여준다(도 9의 혼합현실 단말기 30a, 30b, 30c, 30d는 각 위치(x, y)(z는 동일 가정))에서 상기 3차원 가상 객체의 머리(또는 눈)를 바라보기 위해 z° 회전값만 변하는 경우를 가정한 것임, x°, y° 값 동일).

도 9의 혼합현실 단말기 30a, 30b, 30c, 30d는 시간에 따른 움직임 좌표(t, x, y, z, x°, y°, z°)로 표시될 수 있고, 여기서 z, x°, y° 값은 동일하므로 실제 단말기의 움직임 변동과 관련된 좌표는 (x, y, z°)일 수 있다.

상기 혼합현실 단말기들은 각 단말기별로 상기 서버와의 상기 동기화 시간을 구하고, 상기 동기화 시간을 고려한 현재 시간의 상기 사용자(단말)의 움직임 좌표를 연산할 수 있다.

상기 프로세서는 3D 가상 객체 DB에서 3D 가상 객체를 불러와 현재 시간의 움직임 좌표(위치값, 회전값)에 맞도록 3D 가상 객체를 랜더링하여 디스플레이되는 실제영상정보 상에 표시할 수 있다.

한편, 상기 프로세서는 현재 시간의 움직임 좌표에 대응되는 3차원 가상 객체 이미지(3차원 랜더링되지 않은 이미지도 포함)를 상기 가상 객체 DB에서 불러와 디스플레이할 수 있다.

예를 들어, 도 6을 참고하면, 상기 혼합현실 단말기 30a는 공룡의 뒤에 있으므로 공룡 뒷면과 머리 뒷부분이 보이도록 랜더링하거나 이미지를 디스플레이하고, 상기 혼합현실 단말기 30b는 공룡의 우측면, 30c는 정면을, 30d는 좌측면을 각각 디스플레이하므로, 사용자는 각각의 위치에 따라 공룡의 다른 면을 볼 수 있다.

종래 기술로 언급된 도 1을 다시 참고하면, 공간내의 3D를 공유할 수는 있지만, 앞에 사람이 카메라로 인식용 그림을 가리게 되면 그림에 대한 인식을 잃게 되는 등 공간 내의 3D 공유가 카메라(마커)에 한정되어 있으며, 고도로 설계된 장소이거나, 협소한 인원만이 같은 공간을 공유할 수 있다는데 문제가 있다. 또한, 소정 공간에 다수의 사용자(유저)가 있는 경우에, 도 1의 증강현실 단말기는 사용자들의 위치가 다른 경우에도 동일한 마커를 인식하면 동일한 3D 영상이 화면에 디스플레이된다. 도 1의 증강현실 단말기는 공간을 인식하고 추적하고 있으나, 같은 공간 내에 있는 다른 사용자와 공간 내의 3D 객체를 공유할 수 없다.

본 발명에서 사용하는 용어인 “공간 공유”는 소정의 같은 공간 내에 위치하는 다수의 사용자 단말이 서로 간의 정확한 위치 좌표를 공유하는 것과, 또한, 디스플레이되는 3D 가상객체도 공유할 수 있는 의미로 사용된다.

일반적으로, 다수의 사용자 단말이 각각 자신의 단말에 3D 가상 객체를 송출하므로 타인과 3D 영상 자체를 공유하는 것을 사실상 불가능하지만현실 세계에서는 공간 내부에 자동차 1대가 있다면, 자동차는 현재 그 위치에 하나만 존재하고, 다수의 사용자(각기 다른 위치에서)는 하나의 자동차를 동시에 바라보며 자동차를 (시각적으로) 공유하고 있다. 본 발명은 다수 혼합현실 단말기들의 움직임(위치와 회전각)에 따라 3차원 가상 객체를 랜더링하여 보여주거나 상기 가상 객체 DB에서 불러와 디스플레이하므로 현실 세계에서와 같이 다수의 사용자가 하나의 3D 가상 객체를 함께 보는(3D 가상 객체 공유) 효과를 제공할 수 있다.

본 발명은 상기 시스템, 방법이나 모듈을 구현한 프로그램을 기록한 기록매체를 포함할 수 있다. 본 발명의 프로그램은 콤팩트디스크, 플렉시블디스크, 하드디스크, 광자기디스크, 디지털비디오디스크, 자기테이프, 반도체 메모리 등의 컴퓨터 판독 가능한 정보기록매체(기록매체)에 기록할 수 있다.

상기 프로그램은 해당 프로그램이 실행되는 컴퓨터와는 독립하여 컴퓨터 통신망을 통하여 배포 판매할 수 있다. 또, 상기 정보기록매체는 해당 컴퓨터와는 독립하여 배포 판매할 수 있다.

이상에서 본 발명의 바람직한 구현 예를 예로 들어 상세하게 설명하였으나, 이러한 설명은 단순히 본 발명의 예시적인 실시 예를 설명 및 개시하는 것이다. 당업자는 본 발명의 범위 및 요지로부터 벗어남이 없이 상기 설명 및 첨부 도면으로부터 다양한 변경, 수정 및 변형예가 가능함을 용이하게 인식할 것이다.

Claims

소정 공간 내부에 복수 개 설치되어 전자파를 송신하는 비콘(10) ; 및
사용자가 착용하며, 상기 송신부의 비콘 신호를 수신하는 통신모듈(21), 사용자의 움직임을 감지하는 내부 센서(22), 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라(23), 수신된 비콘 신호를 이용하여 시간에 따른 사용자의 위치값을 산출하고, 상기 위치값을 내부 센서로 측정된 회전값과 결합하여 시간에 따른 움직임 좌표를 생성하고, 상기 사용자의 움직임 좌표에 대응되는 3차원 가상객체를 디스플레이되는 실제 영상정보 상에 중첩하여 표시하는 프로세서(24)를 구비하는 혼합현실 단말기(20)를 포함하는 공간 공유 혼합현실 교육 시스템으로서,
상기 교육 시스템은 상기 공간 내에 서로 다른 위치에서 움직이는 상기 혼합 현실 단말기를 복수개 구비하고,
상기 혼합현실 단말기는 3차원 랜더링된 가상객체나, 상기 단말기의 움직임 좌표에 대응되는 3차원 가상객체 이미지가 저장된 가상 객체 DB를 포함하고,
복수의 상기 혼합현실 단말기는 3차원 가상객체를 상기 디스플레이의 지정된 좌표에 표시하되, 각각의 혼합현실 단말기는 현재 시간의 움직임 좌표에 대응되는 3차원 가상 객체를 상기 가상 객체 DB에서 불러오거나 랜더링하여 디스플레이하는 것을 특징으로 하는 공간 공유 혼합현실 교육 시스템.
제 1항에 있어서, 상기 교육 시스템은 상기 혼합현실 단말기로부터 시간에 따른 움직임 좌표를 전송받아 저장하는 서버(30)를 포함하고, 상기 서버는 수신받은 상기 움직임 좌표를 공간 내의 다른 혼합현실 단말기에 전송하는 것을 특징으로 하는 공간 공유 혼합 현실 교육 시스템.
소정 공간 내부에 복수 개 설치되어 전자파를 송신하는 송신부(110) ;
사용자가 착용하며, 외부와 통신하는 통신모듈(121), 사용자의 움직임좌표를 측정하는 내부 센서(122), 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라(123), 3차원 가상객체를 디스플레이되는 실제 영상정보 상에 중첩하여 표시하는 프로세서(124)를 구비하는 혼합현실 단말기(120) ; 및
상기 혼합현실 단말기에 부착되거나, 또는 사용자의 머리에 착용되며, 상기 송신부의 전자파를 수신하여 시간에 따른 사용자의 움직임(위치값, 회전값) 좌표를 측정하는 외부 센서부(130)를 포함하는 공간 공유 혼합현실 교육 시스템으로서,
상기 교육 시스템은 상기 공간 내에 서로 다른 위치에서 움직이는 상기 혼합 현실 단말기를 복수개 구비하고,
상기 혼합현실 단말기는 3차원 랜더링된 가상객체나, 상기 단말기의 움직임 좌표에 대응되는 3차원 가상객체 이미지가 저장된 가상 객체 DB를 포함하고,
복수의 상기 혼합현실 단말기는 3차원 가상객체를 상기 디스플레이의 지정된 좌표에 표시하되, 각각의 혼합현실 단말기는 현재 시간의 움직임 좌표에 대응되는 3차원 가상 객체를 상기 가상 객체 DB에서 불러오거나 랜더링하여 디스플레이하는 것을 특징으로 하는 공간 공유 혼합현실 교육 시스템.
제 3항에 있어서, 상기 혼합현실 교육 시스템은 상기 외부 센서부로부터 시간에 따른 사용자 움직임 좌표를 수신받고 이를 상기 혼합현실 단말기로 전송하는 서버(140)를 포함하고,
상기 혼합현실 단말기는 상기 단말기 시간과 상기 서버 시간의 오차를 구하고, 상기 오차값에 상기 단말기 시간을 더한 동기화 시간을 구하고,
상기 혼합현실 단말기는 상기 사용자의 움직임 좌표에 대응되는 3차원 가상객체를 상기 디스플레이의 지정된 좌표에 표시하되, 가상객체가 표시되는 현재 시간의 상기 단말기의 움직임 좌표는 상기 동기화 시간 이전의 외부센서부 움직임 좌표값과 상기 동기화 시간 이후부터 현재 시간까지의 내부 센서의 움직임 좌표를 합산한 좌표값인 것을 특징으로 하는 공간공유 혼합현실 교육 시스템.
제 4항에 있어서, 상기 혼합현실 단말기는 서버로 Ping 신호를 보내며, 보낸 시간(a)을 저장하고,
상기 서버는 상기 혼합현실 단말기로 Pong 신호와 보낸 시간(b)을 전송하고,
상기 혼합현실 단말기는 지연시간이 포함된 현재 혼합현실 단말기 시간(c)과 보낸 시간(a)의 차의 중간값((c-a)/2)에 서버에서 보낸 시간(b)을 더한 서버의 지연시간(d)을 구하고,
상기 혼합현실 단말기는 현재 혼합현실 단말기 시간(c)과 서버 지연시간(d)의 차(e)를 구하고,
상기 혼합현실 단말기는 혼합현실 단말기와 서버간의 신호룰 반복하여 주고 받아 현재 혼합현실 단말기 시간(c)과 서버 지연시간(d)의 차(e)를 반복하여 구하고, 이들의 평균값(f)을 구하고,
상기 혼합현실 단말기는 현재 시간(c)에 상기 평균값을 더하여 동기화 시간을 추출하는 것을 특징으로 하는 공간 공유 교육 혼합현실 시스템.