KR20200100259A - 다중 사용자 참여가 가능한 클라우드 기반의 증강현실 플랫폼 장치 - Google Patents

Abstract

본 발명에 따른 다중 사용자 참여가 가능한 클라우드 기반의 증강현실 플랫폼 장치는 카메라 및 센서로부터 영상 및 데이터를 수신하는 영상 및 데이터 수신 모듈, 상기 수신한 영상 및 데이터를 통해 AR 맵을 생성하고 이에 기초하여 AR 공간을 구축하며, 사용자 단말의 입력 데이터와 상기 AR 맵을 매칭하여 상기 AR 공간 내 사용자의 위치를 실시간으로 추적하는 비주얼 오도메트리 모듈 및 상기 사용자의 위치에 대한 정보를 수신하고, 상기 사용자의 위치에 대응하는 가상객체를 상기 AR 맵의 영역으로 증강시켜 상기 사용자 단말을 통해 확인 가능하도록 하는 가상객체 생성 및 증강 모듈을 포함한다.

Description

다중 사용자 참여가 가능한 클라우드 기반의 증강현실 플랫폼 장치{CLOUD BASED AUGMENTED REALITY PLATFORM DEVICE WITH MULTI-USER PARTICIPATION}

본 발명은 다중 사용자 참여가 가능한 클라우드 기반의 증강현실 플랫폼 장치에 관한 것이다.

AR(Augmented Reality, 증강현실) 플랫폼은 기초가 되는 기술의 빠른 발전에 힘입어 성장 가능성을 높이고 있다. AR 플랫폼의 핵심인 컴퓨팅 관련 기술의 괄목할만한 성장은 공간과 위치, 사물 정보와 관련 정보의 제공도 가능한 수준까지 발전하고 있다.

특히, 2017년 4월 페이스북의 ‘AR 스튜디오(ARStudio)’, 6월 애플 ‘AR키트(ARKit)’, 8월 구글의 ‘AR코어(ARCore)’ 등의 AR 플랫폼들이 공개되면서 국내외 글로벌 기업들의 AR 플랫폼 기술 경쟁이 시작되었다.

ARKit은 기기에 내장된 카메라, 프로세서, 모션센서 등을 활용한 게임, 몰입형 체험 등에 적용되고 있으며, ARCore는 안드로이드 스마트폰용 증강현실 플랫폼으로 별도의 하드웨어 없이 스마트폰으로 AR 앱을 만들 수 있는 도구를 제공하고 있다.

하지만, 기존에 발표된 AR 플랫폼 기술들은 개인 또는 소수의 단방향 체험이나, 3차원 영상 정보의 단순 결합이나,개인만의 특화된 콘텐츠 사용을 가능케 하여 증강현실의 콘텐츠 표현 제약을 갖고 있다.

본 발명의 실시예는 단일 사용자 기반의 증강현실 콘텐츠 제공 환경을 대규모의 테마파크나 전시공간으로 확장하고 이들 공간정보의 생성 및 연동을 통해 다수의 사용자가 현실공간에서 콘텐츠를 증강현실 기술을 통해 다양한 방식으로 체험할 수 있는 증강현실 플랫폼 장치를 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 다중 사용자 참여가 가능한 클라우드 기반의 증강현실 플랫폼 장치는 카메라 및 센서로부터 영상 및 데이터를 수신하는 영상 및 데이터 수신 모듈, 상기 수신한 영상 및 데이터를 통해 AR 맵을 생성하고 이에 기초하여 AR 공간을 구축하며, 사용자 단말의 입력 데이터와 상기 AR 맵을 매칭하여 상기 AR 공간 내 사용자의 위치를 실시간으로 추적하는 비주얼 오도메트리 모듈 및 상기 사용자의 위치에 대한 정보를 수신하고, 상기 사용자의 위치에 대응하는 가상객체를 상기 AR 맵의 영역으로 증강시켜 상기 사용자 단말을 통해 확인 가능하도록 하는 가상객체 생성 및 증강 모듈을 포함한다.

일 실시예로, AR 데이터가 미리 저장된 서버에 다수의 사용자 단말이 접속하여 상기 AR 데이터가 공유되도록 하는 공간 메쉬 모듈을 더 포함할 수 있다.

이때, 상기 공간 메쉬 모듈은 다중 데이터 기반의 기계학습을 위한 실제 공간의 3차원 구조의 공간 레이아웃 인식 DB를 생성하고, 프리머티브 모델에 기반하여 상기 실제 공간과 상기 AR 공간을 메쉬화할 수 있다.

일 실시예로, 상기 가상객체 생성 및 증강 모듈은 상기 사용자 단말을 통해 가상 객체 및 콘텐츠가 저작될 수 있도록 상황정보를 기반으로 가상객체를 추천하고 속성 변형을 통해 실제 공간에 가상객체를 증강시킬 수 있다.

일 실시예로, 상기 영상 및 데이터에 기초하여 다수의 사용자의 신체 정보를 인식하고, 상기 신체 정보에 기초하여 다수의 사용자와 가상 객체 간의 인터랙션 기능을 제공하는 다중 사용자 인터랙션 모듈을 더 포함할 수 있다.

이때, 상기 다중 사용자 인터랙션 모듈은 상기 신체 정보를 연속적으로 추적 및 동기화하여 다수의 사용자가 동일한 뷰를 갖도록 상기 다수의 사용자와 가상 객체 간의 인터랙션 기능을 제공할 수 있다.

일 실시예로, 상기 다중 사용자 인터랙션 모듈은 사용자의 신체 정보로 3차원 스켈레톤 정보를 추출하고, 상기 AR 공간 상에 증강되어 있는 가상객체와 사용자 간의 인터랙션을 상기 3차원 스텔레톤 정보를 기반으로 표현할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 기존의 단일 플랫폼, 단일 사용자 기반의 증강현실 제공 환경을 대규모의 테마파크나 전시공간으로 확장하여, 현실공간에서 AR 플랫폼을 통해 제공되는 증강현실 기술을 다수의 사용자가 함께 다양한 방식으로 체험할 수 있다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 증강현실 플랫폼 장치를 설명하기 위한 도면이다.
도 2a 내지 도 2d는 증강현실 플랫폼 장치의 각 구성요소에서 수행되는 기능을 설명하기 위한 도면이다.
도 3a 내지 도 3c는 본 발명의 일 실시예를 적용한 일 예시이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 플랫폼 장치(100)를 설명하기 위한 도면이다. 도 2a 내지 도 2d는 증강현실 플랫폼 장치(100)의 각 구성요소에서 수행되는 기능을 설명하기 위한 도면이다.

기존의 VR(Vitual Reality: 가상현실)은 가상의 공간과 객체만을 대상으로 하여 단순한 게임과 같은 분야에만 한정적으로 적용이 가능했다. 하지만 AR은 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여줌으로써 현실환경과 가상환경을 융합하는 복합형 가상현실로, 1990년대 후반부터 연구가 진행되어 오다가, 2017년 페이스북의 모바일 AR 플랫폼인 ‘AR 스튜디오’ 출시를 시작으로 애플과 구글, 그리고 텐센트, 스냅, 알리바바, 바이두, 화웨이 등 많은 IT 기업들이 AR 플랫폼 시장을 선점하기 위해 다양한 AR 플랫폼을 지원하는 기술을 발표하고 있다.

특히 애플의 ARKit은 iOS 11 이상 기기에 내장된 카메라, 프로세서, 모션센서 등을 활용한 게임, 몰입형 체험 등에 적용되고 있으며, 구글의 ARCore는 안드로이드 스마트폰용 증강현실 플랫폼으로 별도의 하드웨어 없이 스마트폰으로 AR 앱을 만들 수 있는 도구를 제공하고 있다.

이를 계기로 AR 플랫폼은 전자상거래, 유통, 의류 등 다양한 분야로 확대되고 있다.

본 발명의 일 실시예에 따른 증강현실 플랫폼 장치(100)는 기존의 개인 또는 소수의 단방향 체험 및 3차원 영상 정보의 단순 결합만을 제공하는 기존의 증강현실 기술의 한계를 넘어, 대규모의 테마파크나 전시공간을 대상으로 가상의 공간정보를 생성하여 다중 사용자들을 참여시키고, 실시간 가상객체 증강 기술, 다수 사용자의 상호작용 기술 등 고급 AR 기술을 제공하는 방법을 제공할 수 있다.

또한, 진보된 증강현실 콘텐츠를 사용할 수 있도록 대규모의 문화공간을 클라우드로 구성하고, 가상객체의 실시간 생성 및 증강을 통해 다양한 콘텐츠 서비스를 제공하며, AR 공간과 사용자, 그리고 가상객체 사이의 상호작용을 제공할 수 있다.

이러한 증강현실 플랫폼 장치(100)는 영상 및 데이터 수신 모듈(110), 비주얼 오도메트리 모듈(120), 공간 메쉬 모듈(130), 가상객체 생성 및 증강모듈(140), 다중 사용자 인터랙션 모듈(150)을 포함한다.

영상 및 데이터 수신 모듈(110)은 카메라로부터 영상이나 이미지 데이터를 수신하며, 센서로부터 센싱된 데이터를 수신한다.

비주얼 오도메트리 모듈(120)은 영상 및 데이터 수신 모듈(110)을 통해 만들어진 AR 맵을 연결하여 확장된 AR 공간을 구축하고, 참여자의 모바일 입력 데이터와 대규모 AR 맵을 매칭하여 공간 내의 사용자 위치를 실시간으로 추적하는 기능을 제공할 수 있다.

뿐만 아니라, 다중 데이터를 기반으로 기계학습을 통해 공간 레이아웃을 인식하고, 프리머티브 모델을 기반으로 공간을 메쉬화하고 최적화하는 기능, 사용자 참여를 통해 상황정보를 기반으로 가상객체를 추천 및 변형하고 공간구조를 기반으로 가상객체를 생성 및 증강하는 기능, 사전에 정의된 제한적인 사용자와의 인터랙션이 아닌 공간과 상황 정보에 따라 사용자와 인터랙션할 수 있는 다수 사용자 AR 인터랙션 기능, 증강현실 공간 데이터를 클라우드에 두고 사용자와 문화 공간 내에서 실시간 접속하여 AR 콘텐츠를 즐길 수 있도록 하는 AR 클라우드 서비스 기능을 제공할 수 있다.

구체적으로 도 2a를 참조하면, 비주얼 오도메트리 모듈(120)은 영상 및 데이터 수신 모듈(110)로부터 수신한 영상 및 데이터를 통해 AR맵을 생성하고 이에 기초하여 AR 공간을 구축할 수 있다. 이때, 구축된 AR 공간은 심리스 연동을 위해 확장된 AR 공간일 수 있다.

그리고 사용자 단말의 입력 데이터와 사용자 단말로 제공된 대규모 AR 데이터에 기초하여 AR 문화공간 내의 사용자 위치를 3차원적으로 추적하여 모바일 기반의 대규모 AR 맵과 실시간으로 연동할 수 있다.

도 2b를 참조하면, 공간 메쉬 모듈(130)은 AR 데이터가 미리 저장된 DB(170)에 다수의 사용자 단말이 접속하여 AR 데이터가 공유되도록 할 수 있다.

이때, 공간 메쉬 모듈(130)은 다중 데이터 기반의 기계학습을 위한 실제 공간의 3차원 구조의 레이아웃 인식 DB를 생성하고, 프리머티브 모델에 기반하여 실제 공간과 AR 공간을 메쉬화할 수 있다.

이에 따라, 다중 사용자들로 하여금 사용자 단말을 통해 증강현실 플랫폼 장치(100)에 접속하여 자율적으로 AR 데이터를 공유할 수 있도록 하는 AR 클라우드 연동 공간의 업데이트 기능을 제공할 수 있다.

도 2c를 참조하면, 가상객체 생성 및 증강 모듈(140)은 사용자의 위치에 대한 정보를 수신하고, 사용자의 위치에 대응하는 가상객체를 AR 맵의 영역으로 증강시켜 사용자 단말을 통해 확인 가능하도록 할 수 있다.

또한, 가상객체 생성 및 증강 모듈(140)은 사용자 단말을 통해 가상객체 및 콘텐츠가 저작될 수 있도록 상황정보(Context-info)를 기반으로 가상객체를 추천하고 속성 변형을 통해 실제 공간에 가상객체를 증강시킬 수 있다.

도 2d를 참조하면, 다중 사용자 인터랙션 모듈(150)은 영상 및 데이터 수신 모듈(110)을 통해 수신한 영상 및 데이터에 기초하여 다수의 사용자의 신체정보를 인식하고, 신체 정보에 기초하여 다수의 사용자와 가상객체 간의 인터랙션 기능을 제공할 수 있다.

그리고, 다중 사용자 인터랙션 모듈(150)은 신체정보를 연속적으로 추적 및 정합 그리고 동기화를 통하여 다수의 사용자가 동일한 뷰를 갖도록 다수의 사용자와 가상객체 간의 인터랙션 기능을 제공할 수 있다.

이때, 다중 사용자 인터랙션 모듈(150)은 사용자의 신체 정보로 3차원 스켈레톤 정보를 추출하고, AR 공간 상에 증강되어 있는 가상객체와 사용자간의 인터랙션을 3차원 스켈레톤 정보를 기반으로 표현할 수 있다.

그밖에, 본 발명의 일 실시예는 실세계 AR 콘텐츠 공유를 위해 AR 콘텐츠 공간 데이터를 클라우드에 두고, 다수의 사용자가 문화 공간 내에 실시간으로 접속하여 AR 공간 데이터를 사용 및 업데이트할 수 있도록 하는 대규모 AR 공간 맵 데이터 관리 기능을 제공할 수 있다.

한편, 본 발명의 일 실시예에서 비주얼 오도메트리 모듈(120), 공간 메쉬 모듈(130), 가상객체 생성 및 증강모듈(140), 다중 사용자 인터랙션 모듈(150)은 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서로 구성될 수 있다.

이때, 메모리는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.

예를 들어, 메모리는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

이하에서는 도 1에서의 구체적인 실시예에 대하여 설명하도록 한다.

먼저, 사업자가 모바일 디바이스를 가지고 주변 영역을 녹화하면, 비주얼 오도메트리 모듈(120)에서는 AR 맵을 구축한다.

구축된 AR 맵을 사용자가 사용자 단말에 다운을 받고, 서비스를 받기 위해 카메라를 켜면, 비주얼 오도메트리 모듈(120)은 실시간으로 사용자 단말의 카메라 위치를 검출 및 추적한다. 그리고 검출된 위치는 클라우드를 통해 서버에 실시간으로 저장된다.

가상객체 생성 및 증강모듈(140)에서는 비주얼 오도메트리 모듈(120)에서의 카메라 위치 정보를 입력받고, 사용자 단말의 카메라 위치를 기반으로 가상객체를 클라우드를 통해서 추천받거나, 실제로 사용자 단말 상에서 가상객체 저작도구를 통해 생성하게 되면, 이러한 가상객체를 AR 맵을 구축한 영역으로 보내어, 사용자 단말 상의 디스플레이를 통해 볼 수 있게 된다. 또한, 가상객체는 클라우드를 통해 DB에 저장할 수도 있다.

다중 사용자 인터랙션 모듈(150)에서는 사용자의 3D 스켈레톤 정보를 추출하고, 공간 상에 증강되어 있는 가상객체와 사용자 간의 인터랙션을 3차원 스켈레톤 정보를 기반으로 표현할 수 있다.

즉, 본 발명의 일 실시예는 3차원 스켈레톤의 위치와 가상객체의 3차원 위치를 검출할 수 있는바, 충돌, 터치와 같은 인터랙션을 검출하고 이에 따른 이벤트를 발생시킬 수 있다.

이와 같은 과정은 클라우드 DB(170)와 다수의 개인 카메라의 위치 추적을 통해 개인뿐만 아니라 다수의 사용자에게서도 상호 간의 상호작용을 표현할 수 있다.

도 3a 내지 도 3c는 본 발명의 일 실시예를 적용한 일 예시이다.

먼저 도 3a를 참조하면, 비주얼 오도메트리 모듈(120)을 이용하여 공간 정보를 획득하고, 그 공간에 AR 플랫폼을 활용한 서비스를 보여주고 있다. 클라우드를 활용함으로써 대규모의 공간에서 다수의 사용자가 도 3a에 도시된 바와 같은 서비스를 이용할 수 있게 된다.

다음으로 도 3b는 가상객체 생성 및 증강모듈(140)에 관한 예시로서, 각 사용자가 사용자 단말을 통해 다중 사용자 기반의 콘텐츠를 공유하고 체험할 수 있다. 좌측 상단의 그림은 본 발명의 일 실시예에서 제안하는 플랫폼 그림으로, 노란색 모듈을 연결하여 하나의 서비스를 이용할 수 있는 블록형 형태이다.

다음으로 도 3c는 다중 사용자 인터랙션 모듈(150)에 관한 것으로서, 가상객체와 사용자 간의 상호작용을 보여주고 있다. 이또한, 좌측 상단의 플랫폼의 기능들을 결합하여 하나의 서비스를 가능하게 할 수 있다. 이때 도 3c의 경우 사용자의 3차원 스켈레톤 정보와 가상객체의 실공간에서의 위치를 검출하여 서로 상호작용하는 모습을 보여주고 있다.

참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 장치는 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 증강현실 플랫폼 장치
110: 영상 및 데이터 수신 모듈
120: 비주얼 오도멘트리 모듈
130: 공간 메쉬 모듈
140: 가상객체 생성 및 증강 모듈
150: 다중 사용자 인터랙션 모듈
160: 사용자 및 가상객체 관리 모듈
170: DB

Claims (1)

1. 다중 사용자 참여가 가능한 클라우드 기반의 증강현실 플랫폼 장치에 있어서,
   카메라 및 센서로부터 영상 및 데이터를 수신하는 영상 및 데이터 수신 모듈,
   상기 수신한 영상 및 데이터를 통해 AR 맵을 생성하고 이에 기초하여 AR 공간을 구축하며, 사용자 단말의 입력 데이터와 상기 AR 맵을 매칭하여 상기 AR 공간 내 사용자의 위치를 실시간으로 추적하는 비주얼 오도메트리 모듈 및
   상기 사용자의 위치에 대한 정보를 수신하고, 상기 사용자의 위치에 대응하는 가상객체를 상기 AR 맵의 영역으로 증강시켜 상기 사용자 단말을 통해 확인 가능하도록 하는 가상객체 생성 및 증강 모듈을 포함하는 증강현실 플랫폼 장치.

Images