KR101971791B1

KR101971791B1 - 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법

Info

Publication number: KR101971791B1
Application number: KR1020170126299A
Authority: KR
Inventors: 우운택; 전진우
Original assignee: 한국과학기술원
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2019-04-23
Also published as: KR20190036868A

Abstract

본 발명은 가시광 통신(LiFi)을 이용하여 특정 조명구역에서의 키프레임 정보 및 공간정보를 제공하며, 사용자의 모바일 디바이스를 통해 조명구역에서의 증강현실 체험을 제공하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법에 관한 것으로, 정확한 실내 공간의 복원뿐만 아니라 사용자의 위치 및 모바일 디바이스의 자세를 정확하게 추정할 수 있다.

Description

가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법{SYSTEM FOR PROVIDING OF AUGMENTED REALITY IN INDOOR SPACE USING VISIBLE LIGHT COMMUNICATION AND THE METHOD THEREOF}

본 발명은 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 가시광 통신(LiFi)을 이용하여 특정 조명구역에서의 키프레임 정보 및 공간정보를 제공하며, 사용자의 모바일 디바이스를 통해 조명구역에서의 증강현실 체험을 제공하는 기술에 관한 것이다.

증강현실(Augmented Reality; AR) 기술을 적용하기 위해서는 사용자의 위치와 증강시킬 대상의 위치 사이의 관계(위치 또는 자세)를 실시간으로 획득해야 한다. 이를 해결하기 위해서 초기의 증강현실 기술은 마커(marker)를 사용하였다.

마커 기반의 증강현실 기술은 마커를 기준으로 사용자의 위치와 자세를 빠르고 간단하게 획득하였다. 다만, SIFT(Scale Invariant Feature Transform), FAST, ORB(Oriented FAST, Rotated BRIET) 등의 특징점 기술의 발달로 인하여 마커리스(markerless) 증강현실 기술이 성행하게 되었다.

이러한 기술의 발달로 실내 공간을 디지털로 복원하는 SLAM(Simultaneous Localization and Mapping) 기술이 등장하였고, 마이크로소프트(Microsoft)의 키넥트(Kinect)가 등장하면서 키넥트 퓨전(Kinect Fusion)과 같은 3차원 복원(3D Reconstruction) 기술이 발전하게 되었다.

실내 공간에서 증강현실을 적용하기 위해서는 실내 공간을 증강 공간으로 재현해야 한다. 이를 위해서, RGB 영상을 이용한 SLAM 기술과 키넥트 퓨전과 같은 3D 복원 기술이 활발히 연구되어 왔다.

이 때, 실내 공간을 이해하는 기술들을 증강현실에서 효과적으로 이용하기 위해서는 실내 공간에 대한 공간정보를 유지하고, 사용자가 소지하는 디바이스(스마트폰 또는 헤드 마운트 디스플레이(Head Mounted Display; HMD 등)의 위치 및 자세를 공간정보를 통해 실시간으로 정확하게 추정해야 한다.

다만, 기존의 증강현실 기술과 같이, SLAM을 이용하게 되면 실내 공간의 크기에 비례하여 다량의 키프레임(key frame)의 수를 보유해야 한다는 단점이 존재하였다. 예를 들면, 사용자의 위치를 획득하기 위해서는 획득한 이미지를 SLAM에서 획득한 모든 키프레임과 개별적 비교하여 가장 근접한 키프레임을 획득한 후, 해당하는 키프레임으로부터 디바이스의 관계를 역으로 추정해야 한다. 이 때, 실내 공간이 넓을수록 키프레임의 수가 증가하게 되므로, 탐색하는 횟수 또한 증가하게 된다. 이러한 한계를 극복하기 위해 기존의 증강현실 기술은 다차원 검색(KD 트리)을 이용하여 횟수를 최소화하였으나, 유사한 이미지의 키프레임이 생성되는 경우, 동일한 탐색 공간에 배치되게 되므로 부정확한 자세를 추정할 가능성이 높아진다는 한계가 존재하였다.

또한, 키넥트 퓨전과 같은 3D 복원 방법은 RGBD 카메라로부터 획득된 깊이 영상에 3차원 복원 알고리즘으로부터 생성되는 모델과, ICP(Iterative Closest Points) 알고리즘을 이용하여 현재 프레임에서 획득되는 3차원 포인트들을 이용하는 것으로, 모델에 대응하는 포인트들 사이의 오차합을 최소화하여 자세를 추정한다. 다만, 기존의 3D 복원 방법은 모델이 커질수록 추정의 정확도가 낮다는 한계가 존재하였다.

또한, 기존의 3D 복원 기술들은 획득된 3차원 포인트들이 실내 공간의 구조물인지, 고정된 물체 또는 동적 물체(비고정된 물체)인지 구분하지 못하였으며, 복셀(voxel)로 데이터를 표현하기 때문에 실내 공간을 전부 표현하는 경우 많은 양의 데이터를 필요로 하므로 비효율적이라는 단점이 존재하였다.

한국공개특허 제1020160001699호(2016.01.06. 공개), "증강현실 상호 작용 서비스 제공 장치 및 방법"

본 발명의 목적은 가시광 통신(LiFi)을 이용하여 조명구역에 따른 키프레임 정보 및 공간정보를 제공함으로써, 정확한 실내 공간의 복원뿐만 아니라 사용자의 위치 및 모바일 디바이스의 자세를 정확하게 추정할 수 있는 기술을 제공하고자 한다.

또한, 본 발명의 목적은 고정된 가상의 공간이 아닌 동적 물체들의 움직임에 대응하는 증강현실 체험을 제공하고자 한다.

본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템은 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 공간정보 생성부 및 상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 데이터 제공부를 포함한다.

상기 사용자의 모바일 디바이스는 상기 조명 구역 내 상기 임의의 조명에서 제공되는 상기 빛에 따라 상기 패킷화된 정보를 수신하며, 상기 패킷화된 정보로부터 자세 추적을 위한 상기 키프레임 정보 및 상기 공간정보를 수신할 수 있다.

상기 사용자의 모바일 디바이스는 상기 패킷화된 정보로부터 상기 배분된 조명구역에서의 바닥, 벽면, 천장정보 및 고정된 물체 중 적어도 어느 하나 이상의 정보를 수신하여 상기 실내 공간을 활용한 증강현실 체험이 가능할 수 있다.

상기 사용자의 모바일 디바이스는 카메라의 6DoF(6 Degrees Of Freedom, 6 자유도) 정보를 이용하여 상기 빛에 따라 상기 패킷화된 정보를 변환하며, 상기 실내 공간 내 증강현실을 수행할 수 있다.

상기 공간정보 생성부는 상기 실내 공간에 대해 SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 획득되는 키프레임 이미지 및 상기 키프레임 이미지의 특징점 정보를 추출하고, 상기 키프레임 이미지 및 상기 특징점 정보를 포함하는 상기 키프레임 정보를 획득할 수 있다.

상기 공간정보 생성부는 상기 실내 공간에 대해 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 이용하여 상기 3차원 공간정보를 복원할 수 있다.

상기 공간정보 생성부는 상기 키프레임 정보 및 상기 공간정보를 기반으로 상기 배분된 조명구역에 해당하는 공간의 3차원 점군 및 평면의 기하정보를 월드좌표(world coordinate)에 따라 산출한 후, 인코딩하여 패킷화할 수 있다.

상기 데이터 제공부는 상기 배분된 조명구역 따라 서로 다른 상기 프레임 정보 및 상기 공간정보를 포함하여 상기 패킷화된 정보를 데이터화하여 상기 조명구역 내 LED(Light Emitting Diode) 조명을 통해 제공할 수 있다.

상기 데이터 제공부는 상기 배분된 조명구역에 대응하는 바닥, 벽면, 천장정보 및 고정된 물체 중 적어도 어느 하나 이상의 정보를 포함하는 상기 패킷화된 정보를 데이터화하여 상기 배분된 조명구역 내 상기 LED 조명을 통해 제공할 수 있다.

본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템은 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 공간정보 생성부, 상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 데이터 제공부 및 상기 조명구역 내 임의의 조명에서 제공하는 상기 빛을 수신하는 상기 사용자의 모바일 디바이스로부터 상기 사용자의 위치를 추적하는 위치 추적부를 포함한다.

상기 위치 추적부는 상기 사용자의 모바일 디바이스로 제공되는 상기 빛에 따른 상기 키프레임 정보를 비교하여 상기 사용자의 위치 및 자세를 추적할 수 있다.

본 발명의 실시예에 따른 가시광 통신(LiFi)을 이용하여 실내 공간의 증강현실을 제공하는 시스템의 동작 방법에 있어서, 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 단계 및 상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 단계를 포함한다.

상기 패킷화하는 단계는 상기 실내 공간에 대해 SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 획득되는 키프레임 이미지 및 상기 키프레임 이미지의 특징점 정보를 추출하고, 상기 키프레임 이미지 및 상기 특징점 정보를 포함하는 상기 키프레임 정보를 획득할 수 있다.

상기 패킷화하는 단계는 상기 실내 공간에 대해 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 이용하여 상기 3차원 공간정보를 복원할 수 있다.

상기 패킷화하는 단계는 상기 키프레임 정보 및 상기 공간정보를 기반으로 상기 배분된 조명구역에 해당하는 공간의 3차원 점군 및 평면의 기하정보를 월드좌표(world coordinate)에 따라 산출한 후, 인코딩하여 패킷화할 수 있다.

상기 사용자의 모바일 디바이스로 제공하는 단계는 상기 배분된 조명구역에 따라 서로 다른 상기 프레임 정보 및 상기 공간정보를 포함하여 상기 패킷화된 정보를 데이터화하여 상기 조명구역 내 LED(Light Emitting Diode) 조명을 통해 제공할 수 있다.

본 발명의 다른 실시예에 따른 가시광 통신(LiFi)을 이용하여 실내 공간의 증강현실을 제공하는 시스템의 동작 방법에 있어서, 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 단계, 상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 단계 및 상기 조명구역 내 임의의 조명에서 제공하는 상기 빛을 수신하는 상기 사용자의 모바일 디바이스로부터 상기 사용자의 위치를 추적하는 단계를 포함한다.

상기 사용자의 위치를 추적하는 단계는 상기 사용자의 모바일 디바이스로 제공되는 상기 빛에 따른 상기 키프레임 정보를 비교하여 상기 사용자의 위치 및 자세를 추적할 수 있다.

본 발명의 실시예에 따르면, 가시광 통신(LiFi)을 이용하여 조명구역에 따른 키프레임 정보 및 공간정보를 제공함으로써, 정확한 실내 공간의 복원뿐만 아니라 사용자의 위치 및 모바일 디바이스의 자세를 정확하게 추정할 수 있다.

또한, 본 발명의 실시예에 따르면, 고정된 가상의 공간이 아닌 동적 물체들의 움직임에 대응하는 증강현실 체험을 제공할 수 있다.

또한, 본 발명의 실시예에 따르면, 조명구역 내 위치하는 사용자의 모바일 디바이스는 특정 공간에 관련된 정보만 수신하여 데이터를 산출함으로써, 빠르고 효율적인 실내공간 증강현실 체험이 가능해진다.

도 1은 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템의 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 방법의 흐름도를 도시한 것이다.
도 4는 본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 방법의 흐름도를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 증강현실 제공 과정을 도시한 것이다.
도 6은 본 발명의 실시예에 따른 실내 공간에서의 가시광 통신의 예를 설명하기 위해 도시한 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 SLAM(Simultaneous Localization and Mapping) 알고리즘 및 3차원 복원 알고리즘을 효율적으로 증강현실에 적용하여 사용자에게 증강현실 체험을 제공할 수 있는 방법을 제안한다.

본 발명의 실시예들은 가시광통신(LiFi)을 이용하여 실내 공간의 증강현실 체험에 필요한 모바일 디바이스의 자세를 추정하고, RGBD 카메라로부터 획득한 실내 공간에 대한 공간정보를 이용할 수 있는 기술에 관한 것으로, 조명구역 내 LED(Light Emitting Diode) 조명을 통해 대용량의 데이터를 빠르고 정확하며, 안전하게 전송함으로써, 정확한 실내 공간의 복원뿐만 아니라 사용자의 위치 및 모바일 디바이스의 자세를 정확하게 추정하는 기술을 제공하고자 한다.

본 명세서에서 '실내 공간'은 전시회, 박물관, 홍보관, 집 내부, 게임장, 체험실, 오락실 등의 공간을 나타낼 수 있으며, 증강현실이 적용되는 특정 공간을 의미할 수 있다.

본 실시예들에서, '사용자'는 증강현실을 체험하기 위해 실내 공간에 위치하며, 모바일 디바이스는 스마트폰(smart phone), 태블릿(tablet), 웨어러블 디바이스(wearable device) 및 헤드 마운트 디스플레이(head mounted display) 중 적어도 어느 하나로 증강현실을 제공하는 기기일 수 있다.

도 1은 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템의 구성을 블록도로 도시한 것이고, 도 3은 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 방법의 흐름도를 도시한 것이다.

본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(100)은 가시광 통신(LiFi)을 이용하여 특정 조명구역에서의 키프레임 정보 및 공간정보를 제공하며, 사용자의 모바일 디바이스를 통해 조명구역에서의 증강현실 체험을 제공한다.

이에 따른, 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(100)은 공간정보 생성부(110) 및 데이터 제공부(120)를 포함한다. 다만, 실시예에 따른 증강현실 제공 시스템(100)은 도 1의 구성요소들보다 더 많은 메모리, 버스, 네트워크 인터페이스, 데이터베이스 및 프로세서와 같은 구성요소들을 포함할 수도 있다.

메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있으며, 프로그램 코드가 저장될 수 있다. 또한, 버스는 증강현실 제공 시스템(100)의 구성요소들 간의 통신 및 데이터 전송을 가능케 할 수 있으며, 고속 시리얼 버스(highspeed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술로 구성될 수 있다.

네트워크 인터페이스는 증강현실 제공 시스템(100)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 또한, 데이터베이스는 실내 공간에 대한 키프레임 정보 및 공간정보를 저장하여 유지하고, 사용자 및 사용자에 관련된 정보(예컨대, 사용자의 개인 정보 및 모바일 디바이스의 기기 정보 등)를 저장 및 유지할 수 있다. 또한, 프로세서는 기본적인 산술, 로직 및 증강현실 제공 시스템(100)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다.

도 1에 도시된 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(100)의 공간정보 생성부(110) 및 데이터 제공부(120)는 도 3의 단계들(310, 320)을 수행하기 위해 구성될 수 있다.

단계 310에서, 공간정보 생성부(110)는 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 키프레임 정보 및 공간정보를 패킷화한다.

공간정보 생성부(110)는 SLAM(Simultaneous Localization and Mapping) 알고리즘 및 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 수행하여 획득되는 출력물(output)을 배분된 조명구역에 따라 분류하여 인코딩할 수 있다.

예를 들면, 공간정보 생성부(110)는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 수행하여 실내 공간에 대한 키프레임 이미지를 획득하고, 키프레임 이미지의 특징점 정보를 추출하여 키프레임 이미지 및 특징점 정보를 포함하는 키프레임 정보를 획득할 수 있다. 또한, 공간정보 생성부(110)는 실내 공간에 대해 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 이용하여 3차원 공간정보를 복원할 수 있다.

이 때, 특징점 정보는 RGBD 카메라(예컨대, 모바일 디바이스)의 조명변화에 대응하여 추출될 수 있다. 또한, 3차원 공간정보는 상기 카메라를 통해 획득되며, 컬러 영상 및 깊이 영상으로부터 벽, 바닥 및 천장 등의 실내 공간의 구조물과, 책상, 가구, 액자 등의 고정된 물체 및 책, 컵, 화분 등의 움직임이 가능한 비고정된 물체에 대해 구분 가능하다.

보다 상세하게는, 조명 영향에 따라 RGB 영상으로부터 RGB 색공간(color space)이 HSV color space로 변환되고, 해당 물체는 채도(saturation) 및 수치 값(value) 요소에 대한 이중 임계치(double threshold) 수행에 의해 획득될 수 있다. 또한, 깊이 영상으로부터 모바일 디바이스로부터의 거리를 임계치(threshold)로 설정하여 깊이 세그멘테이션(depth segmentation) 및 RGB 세그멘테이션(RGB segmentation)의 결과에 대한 교집합으로부터 물체 영역을 분할 및 구분할 수 있다.

이후, 공간정보 생성부(110)는 키프레임 정보 및 공간정보를 기반으로 배분된 조명구역에 해당하는 공간의 3차원 점군 및 평면의 기하정보를 월드좌표(world coordinate)에 따라 산출한 후, 인코딩하여 패킷화할 수 있다.

예를 들면, 공간정보 생성부(110)는 배분된 조명구역 내 움직임이 가능한 물체를 제외한 공간의 3차원 점군 및 평면의 기하정보(예컨대, 법선벡터 및 거리 등)를 월드좌표에 맞게 미리 산출한 후, 키프레임 정보 및 공간정보와 같이 인코딩하여 패킷화할 수 있다.

이 때, 패킷(packet)은 시작헤더, 몸통부분, 종료헤더로 구성되며, 시작헤더 및 종료헤더는 데이터의 시작과 끝을 확인할 수 있으며, 몸통부분에는 키프레임 정보 및 공간정보를 포함할 수 있다.

단계 320에서, 데이터 제공부(120)는 패킷화된 정보를 빛으로 변환하여 조명구역 내 복수의 조명들을 통해 조명구역에 위치하는 사용자의 모바일 디바이스로 제공한다.

우선, 실내 공간은 섹션, 구역 및 층을 기준으로 복수의 조명구역으로 분류되며, 배분된 조명구역 내 조명들은 일정한 거리로 배치되어 패킷화된 정보를 빛으로 데이터화하여 제공한다. 상기 조명은 LED(Light Emitting Diode) 조명으로, 바닥 또는 천장과 사용자의 시야를 방해하지 않을 정도의 빛으로 벽면에도 설치될 수 있다.

이 때, 본 발명의 실시예에 따른 실내공간의 증강현실 제공 시스템(100)은 가시광 통신(LiFi)을 이용한다. 상기 라이파이(LiFi)는 빛(Light)과 와이파이(WiFi)가 합쳐진 용어로, 가시광에 데이터를 포함하여 보내는 근거리 무선 통신 기술이다. 이러한 가시광 통신의 장점은 LED 조명을 통해서 대용량의 데이터를 빠르고 정확하며 안전하게 전송할 수 있다는 것이다. 또한, QR Code 등의 마커와 비교하여 실내 공간에 배치해도 이질감을 주지 않으며, 사용자의 눈에 보이지 않는 주파수 영역에도 동작 가능하다.

또한, 단계 320에서, 데이터 제공부(120)는 배분된 조명구역에 따라 서로 다른 프레임 정보 및 공간정보를 포함하여 패킷화된 정보를 데이터화하며, 조명구역 내 LED(Light Emitting Diode) 조명을 통해 정보를 제공할 수 있다. 이 때, 데이터 제공부(120)는 배분된 조명구역에 대응하는 바닥, 벽면, 천장정보 및 고정된 물체 중 적어도 어느 하나 이상의 정보를 포함하는 패킷화된 정보를 데이터화하여 배분된 조명구역 내 LED 조명을 통해 제공할 수 있다.

예를 들면, 구역별 또는 층별과, 천장, 바닥 및 벽면에 따라 배분된 조명구역 내 조명들은 서로 다른 실내 배경에 따른 서로 다른 키프레임 정보 및 공간정보를 포함하는 패킷화된 정보를 제공한다. 이에, 배분된 조명구역 내 조명은 실내 공간에 대한 모든 키프레임 정보 및 공간정보를 변환하는 것이 아닌, 담당하는 구역의 정보만 부분적으로 표현하므로, 조명구역 내 위치하는 사용자의 모바일 디바이스는 해당 조명구역에 관련된 정보들만 수신할 수 있다.

배분된 조명구역 내 임의의 조명에 사용자가 위치하는 경우, 사용자의 모바일 디바이스는 임의의 조명에서 제공되는 빛에 따라 0과 1로 이루어진 비트 형식의 패킷화된 정보를 수신하며, 패킷화된 정보로부터 자세 추적을 위한 키프레임 정보 및 공간정보를 수신할 수 있다. 이 때, 사용자의 모바일 디바이스는 패킷화된 정보로부터 배분된 조명구역에서의 바닥, 벽면, 천장정보 및 물체정보 중 적어도 어느 하나 이상의 정보를 수신하여 실내 공간을 활용한 증강현실 체험이 가능할 수 있다. 상기 물체정보는 책상, 가구, 액자 등의 고정된 물체 또는 책, 컵, 화분 등의 움직임이 가능한 비고정된 물체에 대한 정보일 수 있다.

나아가, 사용자의 모바일 디바이스는 실내 공간에 대한 매 프레임별 깊이 영상으로부터 공간정보를 추정할 필요 없이, 조명으로부터 수신되는 패킷화된 정보를 카메라의 6DoF(6 Degrees Of Freedom, 6 자유도) 정보로 변환하여 물체와 상호작용이 가능한 증강현실 체험을 수행할 수 있다.

이에 따라, 본 발명의 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(100)은 최소한의 키프레임 정보의 비교로 사용자의 위치에 대한 추적이 가능하며, 기존의 SLAM 연구에서 발생하는 문제점 중 하나인 재지역화(relocalization) 문제를 고려할 필요가 없다. 또한, 증강현실 제공 시스템(100)은 조명을 통해 배분된 조명구역에서의 해당 공간의 바닥, 벽면 및 천장정보의 구조물과, 고정 물체 및 비고정 물체에 대한 물체정보를 제공함으로써, RGBD 카메라가 없는 모바일 디바이스라도 실내 공간을 활용한 증강현실 체험이 가능하다. 나아가, 상기 공간정보는 키프레임 정보를 통해서 추정되는 사용자의 위치 및 모바일 디바이스의 자세를 통해서 이미지 좌표로 전환 가능하다.

도 2는 본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템의 구성을 블록도로 도시한 것이고, 도 4는 본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 방법의 흐름도를 도시한 것이다.

본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(200)은 가시광 통신(LiFi)을 이용하여 특정 조명구역에서의 키프레임 정보 및 공간정보를 제공하며, 빛을 수신하는 사용자의 모바일 디바이스로부터 위치를 추적한다.

이에 따른, 본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(200)은 공간정보 생성부(210), 데이터 제공부(220) 및 위치 추적부(230)를 포함한다. 다만, 실시예에 따른 증강현실 제공 시스템(200)은 도 2의 구성요소들보다 더 많은 메모리, 버스, 네트워크 인터페이스, 데이터베이스 및 프로세서와 같은 구성요소들을 포함할 수도 있다.

도 2에 도시된 본 발명의 다른 실시예에 따른 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템(200)의 공간정보 생성부(210), 데이터 제공부(220) 및 위치 추적부(230)는 도 4의 단계들(410, 420, 430)을 수행하기 위해 구성될 수 있다.

단계 410에서, 공간정보 생성부(210)는 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 키프레임 정보 및 공간정보를 패킷화한다.

단계 420에서, 데이터 제공부(220)는 패킷화된 정보를 빛으로 변환하여 조명구역 내 복수의 조명들을 통해 조명구역에 위치하는 사용자의 모바일 디바이스로 제공한다.

다만, 단계 410 및 단계 420에서의 공간정보 생성부(210) 및 데이터 제공부(220)의 구성은 도 1 및 도 3에 도시된 단계 310 및 단계 320에서의 공간정보 생성부(110) 및 데이터 제공부(120)의 구성과 동일하므로, 공간정보 생성부(210) 및 데이터 제공부(220)에 대한 상세한 설명은 생략하기로 한다.

단계 430에서, 위치 추적부(230)는 조명구역 내 임의의 조명에서 제공하는 빛을 수신하는 사용자의 모바일 디바이스로부터 사용자의 위치를 추적한다.

예를 들면, 위치 추적부(230)는 실내 공간에 대한 키프레임 정보 및 공간정보와, 배분된 조명구역 내 위치하는 사용자의 모바일 디바이스로 제공되는 빛에 따른 키프레임 정보를 비교하여 사용자의 위치 및 모바일 디바이스의 자세를 추적할 수 있다.

도 5는 본 발명의 실시예에 따른 증강현실 제공 과정을 도시한 것이다.

도 5를 참조하면, 본 발명의 실시예에 따른 증강현실 제공 시스템은 (a) 과정에서, SLAM(Simultaneous Localization and Mapping) 알고리즘 및 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 수행하여 실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원한다. 또한, 본 발명의 실시예에 따른 증강현실 제공 시스템은 이에 따른 결과물을 배분된 조명구역에 따라 분배하여 조명에서 0과 1로 이루어진 비트 형태로 표현되도록 제어한다.

이후, (b) 과정에서, 실내 공간 내 배분된 조명구역에서의 조명은 본 발명의 실시예에 따른 증강현실 제공 시스템으로부터 수신된 패킷화된 정보를 데이터화하여 빛으로 제공한다.

(c) 과정에서, 배분된 조명구역에 사용자가 위치하는 경우, 조도 센서를 포함하는 스마트폰 또는 헤드 마운트 디스플레이(Head Mounted Display; HMD)의 모바일 디바이스는 조명 아래에서 자세 추적을 위한 키프레임 정보 및 공간정보를 수신한다. 이 때, 공간정보는 모바일 디바이스의 자세와 사용자의 위치를 통해서 보정이 가능하기 때문에 사용자는 깊이 카메라 없이도 증강현실 체험이 가능하다.

도 6은 본 발명의 실시예에 따른 실내 공간에서의 가시광 통신의 예를 설명하기 위해 도시한 것이다.

도 6을 참조하면, 실내 공간(600)은 바닥, 벽면 및 천장 중 적어도 어느 하나에 설치된 복수의 조명(610)을 포함할 수 있다. 이 때, 조명(610)은 LED(Light Emitting Diode) 조명으로, 가시광(눈에 보이는 빛)에 데이터를 포함시켜 제공하는 가시광 통신(LiFi)을 수행할 수 있다.

또한, 구역별 또는 층별과, 천장, 바닥 및 벽면에 따라 배분되는 조명구역 내 조명들을 구분하기 위해, 조명(610)은 각기 다른 고유 아이디를 보유할 수 있으며, 배분된 조명구역에 따른 서로 다른 키프레임 정보 및 공간정보를 데이터화하여 제공할 수 있다.

실시예에 따라서, 조명(610)이 오프(off)되는 상황, 제공되는 빛이 약해지는 상황 또는 장애물에 의해 빛이 가려지는 상황이 발생하는 경우, 본 발명의 실시예에 따른 증강현실 제공 시스템은 조명(610)을 통해 제공되는 패킷화된 정보를 중지 또는 폐기하고, 추후 정상적인 조명(610)의 동작이 감지되는 경우 패킷화된 정보를 재 전송할 수 있다. 실시예에 따라서, 패킷화된 정보의 재 전송을 위해, 본 발명의 실시예에 따른 증강현실 제공 시스템은 실내 공간 내 배분된 조명구역에 따른 키프레임 정보 및 공간정보를 실시간으로 저장하여 유지할 수 있으며, 키프레임 정보 및 공간정보를 외부 서버로 전송하여 데이터베이스화할 수도 있다.

도 6에 도시된 바와 같이, 실내 공간(600) 내 천장에 위치한 조명(610) 아래 사용자가 위치하는 경우, 모바일 디바이스(620)는 빛으로 변환된 패킷화된 정보로부터 실내 공간(600)에서의 증강현실 체험을 위한 키프레임 정보 및 공간정보를 수신할 수 있다.

다만, 도 6에서의 사용자는 모바일 디바이스(620)로 스마트폰을 사용하고 있으나, 증강현실 체험이 가능한 태블릿(tablet), 웨어러블 디바이스(wearable device) 및 헤드 마운트 디스플레이(head mounted display) 중 적어도 어느 하나를 사용할 수도 있으므로, 한정되지 않는다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기광 매체(magnetooptical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100, 200: 증강현실 제공 시스템
600: 실내 공간
610: 조명
620: 모바일 디바이스

Claims

실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 공간정보 생성부; 및
상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 데이터 제공부
를 포함하고,
상기 사용자의 모바일 디바이스는
상기 조명 구역 내 임의의 조명에서 제공되는 상기 빛에 따라 상기 패킷화된 정보를 수신하며, 상기 패킷화된 정보로부터 자세 추적을 위한 상기 키프레임 정보 및 상기 공간정보를 수신하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
삭제
제1항에 있어서,
상기 사용자의 모바일 디바이스는
상기 패킷화된 정보로부터 상기 배분된 조명구역에서의 바닥, 벽면, 천장정보 및 고정된 물체 중 적어도 어느 하나 이상의 정보를 수신하여 상기 실내 공간을 활용한 증강현실 체험이 가능한 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제3항에 있어서,
상기 사용자의 모바일 디바이스는
카메라의 6DoF(6 Degrees Of Freedom, 6 자유도) 정보를 이용하여 상기 빛에 따라 상기 패킷화된 정보를 변환하며, 상기 실내 공간 내 증강현실을 수행하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제1항에 있어서,
상기 공간정보 생성부는
상기 실내 공간에 대해 SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 획득되는 키프레임 이미지 및 상기 키프레임 이미지의 특징점 정보를 추출하고, 상기 키프레임 이미지 및 상기 특징점 정보를 포함하는 상기 키프레임 정보를 획득하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제5항에 있어서,
상기 공간정보 생성부는
상기 실내 공간에 대해 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 이용하여 상기 3차원 공간정보를 복원하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제6항에 있어서,
상기 공간정보 생성부는
상기 키프레임 정보 및 상기 공간정보를 기반으로 상기 배분된 조명구역에 해당하는 공간의 3차원 점군 및 평면의 기하정보를 월드좌표(world coordinate)에 따라 산출한 후, 인코딩하여 패킷화하는 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제1항에 있어서,
상기 데이터 제공부는
상기 배분된 조명구역 따라 서로 다른 프레임 정보 및 상기 공간정보를 포함하여 상기 패킷화된 정보를 데이터화하여 상기 조명구역 내 LED(Light Emitting Diode) 조명을 통해 제공하는 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제8항에 있어서,
상기 데이터 제공부는
상기 배분된 조명구역에 대응하는 바닥, 벽면, 천장정보 및 고정된 물체 중 적어도 어느 하나 이상의 정보를 포함하는 상기 패킷화된 정보를 데이터화하여 상기 배분된 조명구역 내 상기 LED 조명을 통해 제공하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 공간정보 생성부;
상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 데이터 제공부; 및
상기 조명구역 내 임의의 조명에서 제공하는 상기 빛을 수신하는 상기 사용자의 모바일 디바이스로부터 상기 사용자의 위치를 추적하는 위치 추적부
를 포함하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
제10항에 있어서,
상기 위치 추적부는
상기 사용자의 모바일 디바이스로 제공되는 상기 빛에 따른 상기 키프레임 정보를 비교하여 상기 사용자의 위치 및 자세를 추적하는 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템.
가시광 통신(LiFi)을 이용하여 실내 공간의 증강현실을 제공하는 시스템의 동작 방법에 있어서,
실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 단계; 및
상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 단계
를 포함하고,
상기 패킷화하는 단계는
상기 실내 공간에 대해 3차원 복원 알고리즘(또는 키넥트 퓨전(Kinect Fusion) 알고리즘)을 이용하여 상기 3차원 공간정보를 복원하는 가시광 통신을 이용한 실내공간의 증강현실 제공 방법.
제12항에 있어서,
상기 패킷화하는 단계는
상기 실내 공간에 대해 SLAM(Simultaneous Localization and Mapping) 알고리즘으로부터 획득되는 키프레임 이미지 및 상기 키프레임 이미지의 특징점 정보를 추출하고, 상기 키프레임 이미지 및 상기 특징점 정보를 포함하는 상기 키프레임 정보를 획득하는 가시광 통신을 이용한 실내공간의 증강현실 제공 방법.
삭제
제12항에 있어서,
상기 패킷화하는 단계는
상기 키프레임 정보 및 상기 공간정보를 기반으로 상기 배분된 조명구역에 해당하는 공간의 3차원 점군 및 평면의 기하정보를 월드좌표(world coordinate)에 따라 산출한 후, 인코딩하여 패킷화하는 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 방법.
제12항에 있어서,
상기 사용자의 모바일 디바이스로 제공하는 단계는
상기 배분된 조명구역에 따라 서로 다른 프레임 정보 및 상기 공간정보를 포함하여 상기 패킷화된 정보를 데이터화하여 상기 조명구역 내 LED(Light Emitting Diode) 조명을 통해 제공하는 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 방법.
가시광 통신(LiFi)을 이용하여 실내 공간의 증강현실을 제공하는 시스템의 동작 방법에 있어서,
실내 공간에 대한 키프레임 정보를 획득하고, 3차원 공간정보를 복원하여 배분된 조명구역에 따라 상기 키프레임 정보 및 상기 공간정보를 패킷화하는 단계;
상기 패킷화된 정보를 빛으로 변환하여 상기 조명구역 내 복수의 조명들을 통해 상기 조명구역에 위치하는 사용자의 모바일 디바이스로 제공하는 단계; 및
상기 조명구역 내 임의의 조명에서 제공하는 상기 빛을 수신하는 상기 사용자의 모바일 디바이스로부터 상기 사용자의 위치를 추적하는 단계
를 포함하는 가시광 통신을 이용한 실내공간의 증강현실 제공 방법.
제17항에 있어서,
상기 사용자의 위치를 추적하는 단계는
상기 사용자의 모바일 디바이스로 제공되는 상기 빛에 따른 상기 키프레임 정보를 비교하여 상기 사용자의 위치 및 자세를 추적하는 것을 특징으로 하는 가시광 통신을 이용한 실내공간의 증강현실 제공 방법.
삭제