KR20220059054A - 특징점 지도 업데이트 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치 - Google Patents

Abstract

특징점 지도 업데이트 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공하는 단계; 상기 증강현실 컨텐츠 제공 장치가, 상기 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성하는 단계; 상기 증강현실 컨텐츠 제공 장치가, 사전에 생성된 전역 지도와 상기 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정하는 단계; 및 상기 증강현실 컨텐츠 제공 장치가, 지도 업데이트 여부에 따라 상기 전역 지도를 상기 지역 특징점 지도에 상응하게 업데이트하는 단계를 포함한다.

Description

특징점 지도 업데이트 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치 {METHOD FOR PROVIDING AUGMENTED REALITY CONTENT BASED ON UPDATE OF FEATURE MAP AND APPARATUS USING THE SAME}

본 발명은 증강현실 컨텐츠를 제공하는 기술에 관한 것으로, 특히 3차원 전시물 기반 증강현실(Augmented Reality, AR) 컨텐츠 배포 시 3차원 전시물의 주변환경 변화에도 동일한 컨텐츠 서비스를 제공할 수 있도록 변화한 주변 환경에 따라 전역 지도를 업데이트하는 기술에 관한 것이다.

증강현실(Augmented Reality, AR)은 실 세계의 영상 위에 가상으로 만들어진 영상을 합성하는 기술이다. 이러한 증강현실 기술을 이용한 서비스 제공 시에는 실 공간에서의 가상 객체의 자연스러운 합성을 위하여, 실 공간의 환경을 이해하여 디바이스의 정확한 포즈를 추정하는 것이 중요하다.

디바이스의 포즈를 추정하기 위해 Visual SLAM(Simultaneous Localization and Mapping) 기술을 이용할 수 있다. Visual SLAM은 카메라 영상(단안, 양안, 깊이 등)을 기반으로 특징점(feature)을 추출하여 연속적인 영상 간에 특징점을 매칭하고, 에러를 최소화하는 방향으로 카메라 포즈를 최적화하는 동시에 특징점 지도를 생성한다. 이렇게 생성된 특징점 지도에 맞게 증강현실 컨텐츠를 제작하면 사용자는 실 공간에서 자연스러운 증강현실 서비스를 체험할 수 있다.

한편, 증강현실 서비스가 제공되는 실 공간의 주변 환경이 변화하면, 실 공간에 상응하게 저장되었던 특징점 지도를 갱신 또는 업데이트해야 한다. 예를 들어, 3차원 전시물(exhibit)이 전시된 공간에서 증강현실 콘텐츠를 제작한 상황에서 전시물의 위치 및 장소 등이 변화하였다고 가정한다면, 기존의 특징점 지도를 이용한 디바이스의 포즈 추정이 어려워지거나 오차가 발생하게 되며, 주변 환경이 변화하기 이전과 동일한 증강현실 콘텐츠를 제공하기 어렵다는 문제점이 발생한다.

한국 공개 특허 제10-2014-0055975호, 2014년 5월 9일 공개(명칭: 증강 현실을 위한 자동화된 참조 프레임 캘리브레이션)

본 발명의 목적은 증강현실 컨텐츠 제공을 위하여 사용자 가이드에 따라 특징점 지도의 마커 기반 위치화(localization)를 수행하고, 지도를 갱신하는 것이다.

또한, 본 발명의 목적은 3차원 전시물을 이용한 증강현실 컨텐츠의 배포를 위하여 주변 환경에 변화에 따라 전역 지도를 업데이트하는 것이다.

또한, 본 발명의 목적은 어떤 장소에서든 신뢰도 높은 전역 지도를 기반으로 동일하게 증강현실 컨텐츠 서비스를 제공하는 것이다.

또한, 본 발명의 목적은 동일한 3차원 전시물을 대량 제작하여 각기 다른 환경에 설치한 경우에도 동일한 증강현실 컨텐츠를 제공함으로써 증강현실 컨텐츠의 제작 및 유지보수 비용을 감소시키는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공하는 단계; 상기 증강현실 컨텐츠 제공 장치가, 상기 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성하는 단계; 상기 증강현실 컨텐츠 제공 장치가, 사전에 생성된 전역 지도와 상기 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정하는 단계; 및 상기 증강현실 컨텐츠 제공 장치가, 지도 업데이트 여부에 따라 상기 전역 지도를 상기 지역 특징점 지도에 상응하게 업데이트하는 단계를 포함한다.

이 때, 지도 업데이트 여부를 결정하는 단계는 상기 전역 지도와 상기 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하는 경우에 상기 전역 지도를 업데이트할 수 있다.

이 때, 지도 업데이트 여부를 결정하는 단계는 상기 전역 지도의 서비스 영역 내 특징점과 상기 지역 특징점 지도의 서비스 영역 내 특징점을 비교하는 단계; 및 상기 초기 영역 지도의 서비스 영역 외 특징점과 상기 지역 특징점 지도의 서비스 영역 외 특징점을 비교하는 단계를 포함할 수 있다.

이 때, 전역 지도와 상기 지역 특징점 지도 간의 차이는 상기 서비스 영역 내 특징점들 간의 차이 및 상기 서비스 영역 외 특징점들 간의 차이를 포함할 수 있다.

이 때, 사용자 가이드는 매 프레임마다 상기 사용자 단말의 움직임을 가이드 하기 위해 제공될 수 있다.

이 때, 사용자 가이드는 상기 사용자 단말의 지도 기반 위치화에 실패한 경우, 상기 사용자 단말에 대해 포즈 추정되었던 이전 지점으로 돌아갈 수 있도록 제공될 수 있다.

이 때, 마커는 상기 3차원 전시물 내에 설치될 수 있다.

이 때, 지역 특징점 지도는 키 프레임(KEYFRAME) 기반 SLAM(SIMULTANEOUS LOCALIZATION AND MAPPING)을 이용하여 생성될 수 있다.

이 때, 서비스 영역은 상기 영상의 프레임 중 상기 3차원 전시물과 상기 마커를 포함하는 영역에 상응할 수 있다.

이 때, 증강현실 컨텐츠 제공 장치가, 상기 업데이트된 전역 지도에 상응하게 등록된 증강현실 컨텐츠를 제공하는 단계를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는, 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공하고, 상기 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성하고, 사전에 생성된 전역 지도와 상기 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정하고, 지도 업데이트 여부에 따라 상기 전역 지도를 상기 지역 특징점 지도에 상응하게 업데이트하는 프로세서; 및 상기 전역 지도를 저장하는 메모리를 포함한다.

이 때, 프로세서는 상기 전역 지도와 상기 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하는 경우에 상기 전역 지도를 업데이트할 수 있다.

이 때, 프로세서는 상기 전역 지도의 서비스 영역 내 특징점과 상기 지역 특징점 지도의 서비스 영역 내 특징점을 비교하고, 상기 초기 영역 지도의 서비스 영역 외 특징점과 상기 지역 특징점 지도의 서비스 영역 외 특징점을 비교할 수 있다.

이 때, 전역 지도와 상기 지역 특징점 지도 간의 차이는 상기 서비스 영역 내 특징점들 간의 차이 및 상기 서비스 영역 외 특징점들 간의 차이를 포함할 수 있다.

이 때, 사용자 가이드는 매 프레임마다 상기 사용자 단말의 움직임을 가이드 하기 위해 제공될 수 있다.

이 때, 사용자 가이드는 상기 사용자 단말의 지도 기반 위치화에 실패한 경우, 상기 사용자 단말에 대해 포즈 추정되었던 이전 지점으로 돌아갈 수 있도록 제공될 수 있다.

이 때, 마커는 상기 3차원 전시물 내에 설치될 수 있다.

이 때, 지역 특징점 지도는 키 프레임(KEYFRAME) 기반 SLAM(SIMULTANEOUS LOCALIZATION AND MAPPING)을 이용하여 생성될 수 있다.

이 때, 서비스 영역은 상기 영상의 프레임 중 상기 3차원 전시물과 상기 마커를 포함하는 영역에 상응할 수 있다.

이 때, 프로세서는 상기 업데이트된 전역 지도에 상응하게 등록된 증강현실 컨텐츠를 제공할 수 있다.

본 발명에 따르면, 증강현실 컨텐츠 제공을 위하여 사용자 가이드에 따라 특징점 지도의 마커 기반 위치화(localization)를 수행하고, 지도를 갱신할 수 있다.

또한, 본 발명은 3차원 전시물을 이용한 증강현실 컨텐츠의 배포를 위하여 주변 환경의 변화에 따라 전역 지도를 업데이트할 수 있다.

또한, 본 발명은 어떤 장소에서든 신뢰도 높은 전역 지도를 기반으로 동일하게 증강현실 컨텐츠 서비스를 제공할 수 있다.

또한, 본 발명은 동일한 3차원 전시물을 대량 제작하여 각기 다른 환경에 설치한 경우에도 동일한 증강현실 컨텐츠를 제공함으로써 증강현실 컨텐츠의 제작 및 유지보수 비용을 감소시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법을 나타낸 동작 흐름도이다.
도 2는 본 발명에 따른 3차원 전시물의 일 예를 나타낸 도면이다.
도 3은 본 발명에 따른 3차원 전시물의 환경 변화의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 특징점 및 마커를 추출하는 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 지역 특징점 지도의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 전역 지도 생성 과정을 상세하게 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 전역 지도 갱신 과정을 상세하게 나타낸 동작흐름도이다.
도 8은 본 발명의 일실시예에 따른 증강현실 컨텐츠 서비스 제공 과정을 상세하게 나타낸 동작흐름도이다.
도 9는 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치를 나타낸 블록도이다.
도 10은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 시스템을 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

본 발명은 3차원 전시물 기반의 증강현실(Augmented Reality, AR) 컨텐츠를 배포하기 위해서, 컨텐츠 제작자가 미리 생성한 특징점 지도와 이에 맞게 가상 객체가 등록된 증강현실 컨텐츠를 주변 환경의 변화에도 영향 받지 않고 동일하게 제공하기 위한 증강현실 컨텐츠 제공 기술에 관한 것이다. 이를 위해, 사용자 가이드에 따라 디바이스에 의해 촬영된 영상을 이용하여 특징점(Feature) 지도 생성 및 마커 기반 위치화(Localization)를 수행하고, 변화한 주변 환경에 상응하게 전역 지도를 업데이트하는 기술에 관한 것이다.

이 때, 특징점 지도란, 카메라 영상(단안, 양안, 깊이 등)이나 센서 정보 등을 이용하여 디바이스의 포즈를 추정하기 위해 사용되는 지도일 수 있다. 특히, 증강현실 컨텐츠를 안정적으로 제공하기 위해서는 주변 환경을 이해하고 디바이스의 정확한 포즈를 추정하는 과정이 중요하다.

일반적으로 디바이스의 포즈 추정을 위한 방법으로 영상을 이용한 SLAM(Simultaneous Localization And Mapping) 방법을 이용할 수 있다. 이 때, 실시간성 및 정확도의 향상을 위해서 카메라에 의한 포즈 추정은 모든 영상 프레임에 적용하되, 지도 생성 부분은 주요 키 프레임(Keyframe)에만 적용하는 키 프레임 기반 SLAM(Keyframe-based SLAM)을 주로 이용할 수 있다.

이와 같은 방법으로 영상의 특징점에 기반한 지도를 저장한 후, 특징점 지도와 현재 영상에 포함된 특징점들간의 매칭을 통해 디바이스의 포즈를 검출할 수 있다. 이 때, 컨텐츠 제작자는 저장된 특징점 지도를 참고하여 가상 객체를 정확하게 등록함으로써 사용자에게 증강현실 컨텐츠를 제공할 수 있다.

그러나, 이와 같이 저장된 특징점 지도는 주변 환경의 변화에 맞게 업데이트 및 갱신해야 할 필요가 있다. 특히, 디오라마(Diorama)와 같은 3차원 전시물(exhibit)을 활용하여 증강현실 컨텐츠를 제공하는 경우에는 3차원 전시물이 설치된 위치가 이동함에 따라 주변 환경이 변화하여 기 저장된 특징점 지도와 달라지게 되므로 디바이스의 포즈 추정에 실패할 수도 있다. 따라서, 증강현실 컨텐츠가 설치된 위치, 즉 증강현실 컨텐츠를 이용하는 사용자의 환경에 따른 정확한 디바이스의 포즈 추정을 위해서는 특징점 지도를 환경에 맞게 업데이트해야 한다.

따라서, 본 발명에서는 주변 환경의 변화에도 신뢰도 높은 디바이스 포즈 추정과 특징점 지도의 갱신을 수행할 수 있는 증강현실 컨텐츠 제공 기술에 대해 제안하고자 한다.

이하에서는, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법을 나타낸 동작 흐름도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공한다(S110).

이 때, 3차원 전시물은 본 발명의 일실시예에 따른 증강현실 컨텐츠를 제공하기 위해 현실 장소 곳곳에 설치되는 전시물에 해당할 수 있으며, 마커를 포함할 수 있다.

예를 들어, 도 2에 도시된 것과 같이 마커(200)를 포함하는 전시물을 현실 장소에 설치해두고, 사용자가 단말의 카메라를 이용하여 3차원 전시물을 촬영하면 가상 객체가 합성된 화면을 사용자 단말에 디스플레이해줄 수 있다.

이 때, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 도 2와 같이 촬영된 영상을 기반으로 사용자 단말에 대한 특징점 지도 기반 위치화(localization)을 수행함으로써 사용자 단말의 포즈를 추정하여 증강현실 컨텐츠를 제공할 수 있는데, 도 3에 도시된 것처럼 3차원 전시물의 설치 위치가 변경되는 경우에는 주변 환경의 변화로 인해 사용자 단말의 위치화에 실패할 수도 있다.

따라서, 본 발명에서는 이러한 문제점을 해결하기 위해서 위치가 변경된 3차원 전시물을 촬영한 영상을 획득하고, 획득한 영상을 기반으로 특징점 지도의 업데이트를 수행하여 증강현실 컨텐츠를 제공하고자 한다.

이 때, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는, 서비스 제공을 위한 초기 작업으로 사전에 생성된 전역 지도, 디바이스의 전역 경로, 서비스 영역 정보 및 사용자 가이드 정보를 획득할 수 있다.

예를 들어, 증강현실 컨텐츠 제공 장치는 내부에 구비된 데이터베이스 또는 외부에 연동된 데이터베이스에 초기 작업을 위한 데이터들을 저장해두었다가 서비스 제공을 위해 동작하는 시점에 데이터를 로딩할 수 있다.

이 때, 사용자 가이드는 위치가 변경된 3차원 전시물의 변화한 환경에 대응하도록 전역 지도를 업데이트하기 위해 사용자 단말의 화면상에 출력되는 것으로, 사전에 전역 지도와 함께 저장된 서비스 영역 정보를 기반으로 사용자가 올바른 위치를 촬영할 수 있도록 단말의 움직임을 안내하는 역할을 수행할 수 있다. 즉, 사용자는 증강현실 컨텐츠 제공 장치로부터 수신되는 사용자 가이드를 참고하여 사용자 단말을 제어할 수 있다.

예를 들어, 증강현실 컨텐츠를 제공하기 위해서 3차원 전시물의 주위를 이동하면서 촬영해야 하는 경우, 사용자가 올바른 방향으로 이동할 수 있도록 사용자 가이드를 통해 이동 방향을 제공할 수도 있다.

상기는 단순한 예시에 불과한 것으로, 서비스 구현 형태에 따라 영상, 텍스트, 음성 등을 이용하여 다양한 형태로 사용자 가이드를 제공할 수 있다.

이 때, 사용자 가이드는 매 프레임마다 사용자 단말의 움직임을 가이드 하기 위해 제공될 수 있다.

예를 들어, 사용자 가이드는 증강현실 컨텐츠 제공 장치가 초기 작업으로 획득한 디바이스 전역 경로와 서비스 영역 정보를 참조하여 매 프레임마다 제공될 수 있다.

따라서, 사용자 가이드는 전역 지도, 전역 경로 및 서비스 영역 정보뿐만 아니라 업데이트된 전역 지도의 상태와 함께 매핑되어 저장될 수 있고, 사용자 단말로부터 입력되는 영상에 상응하는 연속적인 프레임마다 그에 상응하는 사용자 가이드가 제공될 수 있다.

또한, 본 발명의 일실시예에 따르면, 사용자 가이드를 이용하여, 변화한 환경에 상응하는 전역 지도로 업데이트하기 위한 움직임 가이드 정보, 사용자 단말의 포즈 추정을 위한 위치 이동 가이드 정보 및 전역 지도에 대한 업데이트 완성도 정보 등을 출력하여 사용자에게 제공할 수 있다.

이 때, 사용자 가이드는 사용자 단말의 지도 기반 위치화에 실패한 경우, 사용자 단말에 대해 포즈 추정되었던 이전 지점으로 돌아갈 수 있도록 제공될 수 있다.

예를 들어, 전역 지도의 업데이트를 위해 생성된 지역 특징점 지도와 사전에 저장된 전역 지도 간의 매칭이 불가능하여 사용자 단말에 대한 지도 기반 위치화(localization)가 실패한 경우, 사용자 단말의 포즈 추정이 성공하였던 이전 지점으로 돌아갈 수 있도록 사용자 가이드를 제공할 수 있다.

다른 예를 들어, 전역 지도의 업데이트를 수행하는 경우, 변화한 환경에 대해서 전역 지도를 얼마나 업데이트하였는지에 대한 완성도를 표시해줄 수 있다.

이 때, 전역 지도는 증강현실 컨텐츠 제공을 위해 적어도 하나 이상의 3차원 전시물에 대해서 사전에 특징점과 마커를 결합하여 생성한 특징점 지도에 상응할 수 있다.

즉, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 다양한 종류의 증강현실 컨텐츠를 제공하기 위해서 여러 종류의 3차원 전시물에 각각 알맞은 가상 객체를 등록해 둘 수 있는데, 이 때 전역 지도 좌표계를 기반으로 하여 가상 객체를 등록할 수 있다. 따라서, 증강현실 컨텐츠 제공 시 전역 지도를 참조하여 사용자 단말이 위치한 곳에 등록된 가상 객체를 영상에 합성하여 제공할 수 있다.

이러한 전역 지도는 서비스 제공 초기에 미리 생성해 두어야 하는데, 이하에서는 도 6을 참조하여 전역 지도 생성 과정을 상세하게 설명하도록 한다.

도 6은 본 발명의 일실시예에 따른 전역 지도 생성 과정을 상세하게 나타낸 동작 흐름도이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 전역 지도 생성 과정은 먼저 디바이스에 구비된 카메라를 통해 촬영된 영상을 획득하고(S610), 전역 지도 생성을 위한 초기화 유무를 판단할 수 있다(S615).

단계(S615)의 판단결과 초기화가 진행되지 않은 경우, 단계(S620) 및 단계(S630)을 수행하여 초기화를 진행할 수 있다.

이 때, 현재 프레임을 기반으로 마커를 탐지하고, 삼각 측량을 통해 3차원 특징점들을 추출할 수 있다(S620).

이를 위해 먼저, 참조 프레임(reference frame)과 현재 프레임(current frame) 사이의 카메라 움직임을 추정할 수 있다.

예를 들어, 참조 프레임과 현재 프레임 간의 점들을 매칭하여 fundamental matrix를 계산하고, 양 프레임들 간의 재투영 오차(reprojection error)를 기반으로 점수(score)를 계산할 수 있다.

이 때, 병렬적으로 마커 탐지 기반 코너(corner)점들을 매칭하여 fundamental matrix를 계산하고, 양 프레임들 간의 재투영 오차 기반 점수(score)를 계산할 수 있다. 단, 현재 프레임과 참조 프레임에서 마커가 탐지되지 않는 경우에는 초기화가 수행되지 않으며, 마커가 존재하는 다음 프레임을 고려하여 초기화를 수행할 수 있다.

이렇게 계산된 점수(score)를 종합하여 현재 프레임과 참조 프레임 사이의 최종적인 카메라 움직임을 추정하고, 추정된 카메라 움직임으로 삼각 측량을 수행하여 2차원 특징점들을 3차원 특징점들로 복원할 수 있다.

이 후, 마커의 포즈를 추정하고, 3차원 특징점들과 마커를 결합하여 초기 전역 지도를 생성 및 저장할 수 있다(S630).

또한, 단계(S615)의 판단결과 초기화를 진행한 경우, 디바이스로부터 획득한 영상으로부터 SLAM을 이용하여 특징점을 추출할 수 있다(S640).

이 후, 추출한 특징점을 기반으로 디바이스의 포즈를 추정하고, 지역 특징점 지도를 생성할 수 있다(S650).

이 때, 시스템 구현의 목적에 따라 마커 탐지기를 활성화하여 마커의 포즈를 계속해서 추정하고, 포즈를 수정할 수도 있다.

이 후, 지역 특징점 지도를 기 저장되어 있던 전역 지도에 추가하여 저장하고, 디바이스의 포즈를 기반으로 디바이스의 전역 경로를 저장할 수 있다(S660).

이 때, 기 저장되어 있던 전역 지도는, 3차원 특징점, 키 프레임 및 3차원 특징점과 키 프레임 간의 관계를 나타내는 그래프(graph) 정보를 포함할 수 있다.

이 후, 종료 신호가 입력되었는지 여부를 판단하고(S665), 종료 신호가 입력되지 않았으면, 디바이스를 통해 입력되는 다음 영상을 획득하여(S610) 지도 생성 단계를 반복적으로 수행할 수 있다.

또한, 단계(S665)의 판단결과, 종료 신호가 입력되었으면, 실제로 증강현실 컨텐츠가 제공될 3차원 공간 영역을 서비스 영역으로 지정하고, 서비스 영역 정보를 저장할 수 있다(S670).

예를 들어, 3차원 전시물을 활용한 증강현실 컨텐츠를 제공하는 경우, 3차원 전시물과 마커가 위치한 공간을 서비스 영역으로 지정할 수 있다. 이 때, 3차원 전시물과 마커 외에 변화할 수 있는 주변 환경 요소들은 서비스 영역에서 제외할 수 있다.

이와 같은 과정을 통해 생성된 전역 지도는 서비스 제공 과정에서 3차원 전시물의 이동에 따른 환경 변화 발생 시 업데이트되어 사용될 수 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 사용자 단말의 지도 기반 위치화(localization) 여부에 따라 지도 기반 위치화를 수행할 수 있다.

만약, 사용자 단말에 대한 지도 기반 위치화를 진행하지 않은 경우, 마커 탐지 유무에 따라 지도 기반 위치화를 진행할 수 있다.

예를 들어, 사용자 단말로부터 획득한 영상에서 마커가 탐지되면, 탐지된 마커를 기반으로 사용자 단말의 초기 포즈를 추정할 수 있다.

그러나, 사용자 단말로부터 획득한 영상에서 마커가 탐지되지 않으면, 마커를 기반으로 사용자 단말의 초기 포즈를 추정하는 과정을 생략하고, 키 프레임 후보를 결정할 수 있다.

이 때, 키 프레임 후보는 유사성(similarity) 점수 및 프레임 간의 매칭되는 특징점 개수를 고려하여 결정될 수 있다.

예를 들어, 현재 프레임과 모든 키 프레임들을 각각 비교한 유사도를 기반으로 유사성 점수를 산출하되, 두 개의 프레임들 사이에 공통적으로 존재하는 단어(word)가 있는지를 판단할 수 있다.

다른 예를 들어, 모든 키 프레임들 각각에서 관찰되는 3차원 특징점이 현재 프레임의 서비스 공간 영역 내에서 몇 개나 매칭되는지를 고려하여 키 프레임 후보를 결정할 수도 있다.

또한, 마커를 기반으로 사용자 단말의 초기 포즈를 추정하여 알고 있는 경우에는 유사성 점수 및 프레임 간의 매칭되는 특징점 개수 이외에 추가적으로 모든 키 프레임들과 사용자 단말의 초기 포즈 사이의 거리를 고려하여 적합한 키 프레임 후보를 결정할 수도 있다.

이와 같은 과정을 통해 키 프레임 후보가 결정되면 사용자 단말의 포즈를 추정하고, 최적화를 수행하여 지도 기반의 사용자 단말 전역 위치화를 수행할 수 있다.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성한다(S120).

예를 들어, 3차원 전시물에 대한 특징점은 도 4에 도시된 것처럼 서비스 영역 내에 위치하는 3차원 전시물과 마커뿐만 아니라 주변 환경에 대해서도 추출될 수 있다.

이렇게 추출된 특징점과 마커를 조합하여 도 5에 도시된 것처럼 지역 특징점 지도를 생성할 수 있다.

이 때, 지역 특징점 지도는 전역 지도에 등록된 복수개의 가상객체들 중 영상에 포함된 3차원 전시물에 대한 특징점 지도에 상응하는 것일 수 있다.

이 때, 지역 특징점 지도는 키 프레임(KEYFRAME) 기반 SLAM(SIMULTANEOUS LOCALIZATION AND MAPPING)을 이용하여 생성될 수 있다.

이 때, 마커는 위치가 변경되어 변화하기 않도록 3차원 전시물 내에 설치될 수 있다. 예를 들어, 도 2 내지 도 3에 도시된 것처럼, 3차원 전시물의 설치 위치가 변경되어도 마커는 변화하는 주변 환경에 영향 받지 않는 위치에 설치 및 부착될 수 있다.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 사전에 생성된 전역 지도와 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정한다(S130).

이 때, 전역 지도와 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하는 경우에 전역 지도를 업데이트할 수 있다.

이 때, 지도 업데이트 조건은 서비스 영역 내 변화뿐만 아니라 서비스 영역 외 변화도 고려하여 결정될 수 있다. 즉, 3차원 전시물의 설치 위치가 변경되면서 서비스 영역에 포함되지 않는 주변 환경의 변화가 크게 발생될 수 있으므로, 특징점 지도에서 서비스 영역에 포함되지 않는 부분의 차이까지 고려해서 지도 업데이트 조건을 설정할 수 있다.

예를 들어, 전역 지도와 지역 특징점 지도 간의 차이를 수치로 계산한 차이 값이 지도 업데이트 조건으로 설정된 기설정된 기준 차이 값을 초과하는 경우, 전역 지도를 업데이트하는 것으로 결정할 수 있다.

이 때, 전역 지도의 서비스 영역 내 특징점과 지역 특징점 지도의 서비스 영역 내 특징점을 비교할 수 있다.

이 때, 전역 지도의 서비스 영역 외 특징점과 지역 특징점 지도의 서비스 영역 외 특징점을 비교할 수 있다.

이 때, 전역 지도와 지역 특징점 지도 간의 차이는 서비스 영역 내 특징점들 간의 차이 및 서비스 영역 외 특징점들 간의 차이를 포함할 수 있다.

예를 들어, 서비스 영역 내 특징점들 간의 차이 값과 서비스 영역 외 특징점들 간의 차이 값을 이용하여 평균을 계산하거나 조합하여 사용할 수 있다.

다른 예를 들어, 이 때, 서비스 영역 내 특징점들 간의 차이와 서비스 영역 외 특징점들 간의 차이 각각에 가중치를 부여하고, 가중치를 적용하여 조합된 값을 최종적인 차이 값으로 사용할 수도 있다.

전역 지도와 지역 특징점 지도 간의 차이는 상기에서 예시한 계산방식에 한정되지 않고 다양한 방법으로 연산할 수 있다.

이 때, 서비스 영역은 영상의 프레임 중 3차원 전시물과 마커를 포함하는 영역에 상응할 수 있다.

예를 들어, 도 2를 참조하면, 프레임의 전체 영역 중 마커(200)와 마커(200)가 설치되 테이블 위 전시물에 해당하는 영역까지가 서비스 영역에 상응할 수 있고, 이외에 실내 환경은 서비스 영역에 포함되지 않을 수 있다.

또한, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 지도 업데이트 여부에 따라 전역 지도를 지역 특징점 지도에 상응하게 업데이트한다(S140).

이 때, 업데이트된 전역 지도를 참고하여 사용자 가이드를 저장할 수도 있다.

이 때, 사용자 단말로부터 종료 신호가 입력되는지 여부를 고려하여 증강현실 컨텐츠를 계속 서비스할지 여부를 결정할 수 있다. 종료 신호가 입력되지 않으면 계속해서 입력되는 영상을 기반으로 증강현실 컨텐츠를 제공할 수 있고, 종료 신호가 입력되면 증강현실 컨텐츠 제공 서비스를 종료할 수 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 방법은 증강현실 컨텐츠 제공 장치가, 변화한 환경에 맞게 전역 지도를 업데이트하여 제공한다.

예를 들어 도 7을 참조하면, 본 발명의 일실시예에 따른 전역 지도의 갱신 방법은 먼저 증강현실 컨텐츠 제공 장치가 내부의 데이터베이스 또는 외부 연동된 데이터베이스로부터 기 저장된 전역 지도, 전역 경로, 서비스 영역 정보 및 사용자 가이드 정보 등을 수신할 수 있다(S702).

이 후, 증강현실 컨텐츠 제공 장치가, 사용자 단말로 사용자 가이드를 제공할 수 있다(S704).

이 후, 증강현실 컨텐츠 제공 장치가, 사용자 단말로부터 사용자 가이드를 기반으로 촬영된 영상을 취득하고(S706), 사용자 단말에 대한 지도 기반 위치화 유무를 판단할 수 있다(S708).

단계(S708)의 판단결과 지도 기반 위치화를 진행하지 않았으면, 획득된 영상에서 마커가 탐지되는지 여부를 판단하고(S710), 마커가 탐지되는 경우에 마커 탐지 기반 사용자 단말의 초기 포즈를 추정할 수 있다(S712).

이 후, 키 프레임 후보를 결정하고(S714), 결정된 키 프레임 후보 및 사용자 단말의 초기 포즈를 기반으로 추정된 사용자 단말의 포즈를 고려하여 사용자 단말에 대한 전역 위치화를 수행할 수 있다(S716).

또한, 단계(S710)의 판단결과 마커가 탐지되지 않으면, 단계(S712)를 생략하고, 키 프레임 후보만(S714)을 이용하여 추정된 사용자 단말의 포즈를 고려하여 사용자 단말에 대한 전역 위치화를 수행할 수도 있다.

또한, 단계(S708)의 판단결과 지도 기반 위치화를 진행했으면, 입력된 영상에서 특징점을 추출하고(S718), 특징점과 마커를 조합한 지역 특징점 지도를 생성할 수 있다(S720).

이 후, 전역 지도와 지역 특징점 지도를 비교하여 지도 갱신 유무를 판단할 수 있다(S722).

이 때, 전역 지도와 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하면 전역 지도를 업데이트/갱신하는 것으로 결정할 수 있다.

단계(S722)의 판단결과 지도를 갱신하지 않은 것으로 결정되면, 전역 지도를 업데이트하지 않고 유지할 수 있다(S724).

또한, 단계(S722)의 판단결과 지도를 갱신하는 것으로 결정되면, 전역 지도를 지역 특징점 지도에 상응하게 갱신하고(S726), 갱신된 상태에 상응하게 사용자 가이드를 저장할 수 있다(S728).

이 후, 사용자 단말로부터 종료 신호가 입력되는지 여부를 판단하고(S730), 종료 신호가 입력되지 않으면 단계(S704)부터 반복적으로 수행하면서 지속적으로 지도 갱신 과정을 수행할 수 있다.

또한, 단계(S730)의 판단결과 종료 신호가 입력되었으면, 업데이트를 종료하고 처리된 정보들을 저장할 수 있다.

이와 같은 업데이트/갱신 과정을 통해 특정 장소에 설치된 3차원 전시물을 활용한 증강현실 컨텐츠 제공 서비스를 보다 다양하게 활용할 수 있다.

즉, 3차원 전시물을 다른 장소로 이동하는 경우, 정확한 디바이스의 자세를 추정하고, 사용자 가이드를 제공하여 변화한 환경에 맞는 신뢰도 높은 전역 지도로 업데이트함으로써 동일한 증강현실 컨텐츠 서비스를 제공할 수 있다.

이하에서는 도 8을 참조하여 본 발명의 일실시예에 따라 증강현실 컨텐츠 서비스를 제공하는 과정을 상세하게 설명하도록 한다.

먼저, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 증강현실 컨텐츠 제공 시스템 또는 시스템 내의 데이터베이스로부터 증강현실 컨텐츠 및 기 저장된 전역 지도를 수신할 수 있다(S810).

이 때, 전역 지도는 서비스를 진행할 환경에 맞게 생성 및 업데이트된 전역 지도를 의미할 수 있으며, 증강현실 컨텐츠는 전역 지도의 좌표계(coordinate system)에 상응하게 등록(registration)되어 있을 수 있다.

이 때, 증강현실 컨텐츠의 서비스 목적에 따라 3차원 전시물의 주변에 마커를 제거할 수도 있는데, 이러한 경우에는 마커의 포즈를 전역 지도에서 제외시킬 수도 있다.

이 후, 서비스를 제공할 디바이스로부터 영상을 취득하고(S820), 취득한 영상을 기반으로 특징점을 추출하여(S830) 전역 지도 기반 디바이스의 위치화를 수행할 수 있다(S840).

이 후, 디바이스로부터 취득된 영상에 맞게 증강현실 컨텐츠에 상응하는 가상 객체를 합성하고(S850), 가상 객체가 합성된 증강영상을 디바이스로 전송하여 사용자에게 출력해줄 수 있다(S860).

이 후, 디바이스로부터 서비스 종료 신호가 입력되었는지 여부를 판단하고(S865), 종료 신호가 입력되지 않았으면 단계(S820) 내지 단계(S860)을 반복적으로 수행하여 지속적으로 증강현실 컨텐츠 서비스를 제공할 수 있다.

또한, 단계(S865)의 판단결과 종료 신호가 입력되었으면, 증강현실 컨텐츠 제공 서비스를 종료할 수 있다.

이와 같은 증강현실 컨텐츠 제공 방법을 통해 증강현실 컨텐츠 제공을 위하여 사용자 가이드에 따라 특징점 지도의 마커 기반 위치화(localization)를 수행하고, 지도를 갱신할 수 있다.

또한, 3차원 전시물을 이용한 증강현실 컨텐츠의 배포를 위하여 주변 환경에 변화에 따라 전역 지도를 업데이트할 수 있다.

또한, 어떤 장소에서든 신뢰도 높은 전역 지도를 기반으로 동일하게 증강현실 컨텐츠 서비스를 제공할 수 있다.

또한, 동일한 3차원 전시물을 대량 제작하여 각기 다른 환경에 설치한 경우에도 동일한 증강현실 컨텐츠를 제공함으로써 증강현실 컨텐츠의 제작 및 유지보수 비용을 감소시킬 수 있다.

도 9는 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치를 나타낸 블록도이다.

도 9를 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 통신부(910), 프로세서(920) 및 메모리(930)를 포함한다.

통신부(910)는 네트워크와 같은 통신망을 통해 다수의 사용자 단말 또는 디바이스들과 증강현실 컨텐츠 제공을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.

예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.

예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.

프로세서(920)는 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공한다.

이 때, 3차원 전시물은 본 발명의 일실시예에 따른 증강현실 컨텐츠를 제공하기 위해 현실 장소 곳곳에 설치되는 전시물에 해당할 수 있으며, 마커를 포함할 수 있다.

예를 들어, 도 2에 도시된 것과 같이 마커(200)를 포함하는 전시물을 현실 장소에 설치해두고, 사용자가 단말의 카메라를 이용하여 3차원 전시물을 촬영하면 가상 객체가 합성된 화면을 사용자 단말에 디스플레이해줄 수 있다.

이 때, 본 발명의 일실시예에 따른 프로세서는 도 2와 같이 촬영된 영상을 기반으로 사용자 단말에 대한 특징점 지도 기반 위치화(localization)을 수행함으로써 사용자 단말의 포즈를 추정하여 증강현실 컨텐츠를 제공할 수 있는데, 도 3에 도시된 것처럼 3차원 전시물의 설치 위치가 변경되는 경우에는 주변 환경의 변화로 인해 사용자 단말의 위치화에 실패할 수도 있다.

따라서, 본 발명에서는 이러한 문제점을 해결하기 위해서 위치가 변경된 3차원 전시물을 촬영한 영상을 획득하고, 획득한 영상을 기반으로 특징점 지도의 업데이트를 수행하여 증강현실 컨텐츠를 제공하고자 한다.

이 때, 프로세서는, 서비스 제공을 위한 초기 작업으로 사전에 생성된 전역 지도, 디바이스의 전역 경로, 서비스 영역 정보 및 사용자 가이드 정보를 획득할 수 있다.

예를 들어, 프로세서는 내부에 구비된 데이터베이스, 메모리 또는 외부에 연동된 데이터베이스에 초기 작업을 위한 데이터들을 저장해두었다가 서비스 제공을 위해 동작하는 시점에 데이터를 로딩할 수 있다.

이 때, 사용자 가이드는 위치가 변경된 3차원 전시물의 변화한 환경에 대응하도록 전역 지도를 업데이트하기 위해 사용자 단말의 화면상에 출력되는 것으로, 사전에 전역 지도와 함께 저장된 서비스 영역 정보를 기반으로 사용자가 올바른 위치를 촬영할 수 있도록 단말의 움직임을 안내하는 역할을 수행할 수 있다. 즉, 사용자는 증강현실 컨텐츠 제공 장치로부터 수신되는 사용자 가이드를 참고하여 사용자 단말을 제어할 수 있다.

예를 들어, 증강현실 컨텐츠를 제공하기 위해서 3차원 전시물의 주위를 이동하면서 촬영해야 하는 경우, 사용자가 올바른 방향으로 이동할 수 있도록 사용자 가이드를 통해 이동 방향을 제공할 수도 있다.

상기는 단순한 예시에 불과한 것으로, 서비스 구현 형태에 따라 영상, 텍스트, 음성 등을 이용하여 다양한 형태로 사용자 가이드를 제공할 수 있다.

이 때, 사용자 가이드는 매 프레임마다 사용자 단말의 움직임을 가이드 하기 위해 제공될 수 있다.

예를 들어, 사용자 가이드는 증강현실 컨텐츠 제공 장치가 초기 작업으로 획득한 디바이스 전역 경로와 서비스 영역 정보를 참조하여 매 프레임마다 제공될 수 있다.

따라서, 사용자 가이드는 전역 지도, 전역 경로 및 서비스 영역 정보뿐만 아니라 업데이트된 전역 지도의 상태와 함께 매핑되어 저장될 수 있고, 사용자 단말로부터 입력되는 영상에 상응하는 연속적인 프레임마다 그에 상응하는 사용자 가이드가 제공될 수 있다.

또한, 본 발명의 일실시예에 따르면, 사용자 가이드를 이용하여, 변화한 환경에 상응하는 전역 지도로 업데이트하기 위한 움직임 가이드 정보, 사용자 단말의 포즈 추정을 위한 위치 이동 가이드 정보 및 전역 지도에 대한 업데이트 완성도 정보 등을 출력하여 사용자에게 제공할 수 있다.

이 때, 사용자 가이드는 사용자 단말의 지도 기반 위치화에 실패한 경우, 사용자 단말에 대해 포즈 추정되었던 이전 지점으로 돌아갈 수 있도록 제공될 수 있다.

예를 들어, 전역 지도의 업데이트를 위해 생성된 지역 특징점 지도와 사전에 저장된 전역 지도 간의 매칭이 불가능하여 사용자 단말에 대한 지도 기반 위치화(localization)가 실패한 경우, 사용자 단말의 포즈 추정이 성공하였던 이전 지점으로 돌아갈 수 있도록 사용자 가이드를 제공할 수 있다.

다른 예를 들어, 전역 지도의 업데이트를 수행하는 경우, 변화한 환경에 대해서 전역 지도를 얼마나 업데이트하였는지에 대한 완성도를 표시해줄 수 있다.

이 때, 전역 지도는 증강현실 컨텐츠 제공을 위해 적어도 하나 이상의 3차원 전시물에 대해서 사전에 특징점과 마커를 결합하여 생성한 특징점 지도에 상응할 수 있다.

즉, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 다양한 종류의 증강현실 컨텐츠를 제공하기 위해서 여러 종류의 3차원 전시물에 각각 알맞은 가상 객체를 등록해 둘 수 있는데, 이 때 전역 지도 좌표계를 기반으로 하여 가상 객체를 등록할 수 있다. 따라서, 증강현실 컨텐츠 제공 시 전역 지도를 참조하여 사용자 단말이 위치한 곳에 등록된 가상 객체를 영상에 합성하여 제공할 수 있다.

이러한 전역 지도는 서비스 제공 초기에 미리 생성해 두어야 하는데, 이하에서는 도 6을 참조하여 전역 지도 생성 과정을 상세하게 설명하도록 한다.

도 6은 본 발명의 일실시예에 따른 전역 지도 생성 과정을 상세하게 나타낸 동작 흐름도이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 전역 지도 생성 과정은 먼저 디바이스에 구비된 카메라를 통해 촬영된 영상을 획득하고(S610), 전역 지도 생성을 위한 초기화 유무를 판단할 수 있다(S615).

단계(S615)의 판단결과 초기화가 진행되지 않은 경우, 단계(S620) 및 단계(S630)을 수행하여 초기화를 진행할 수 있다.

이 때, 현재 프레임을 기반으로 마커를 탐지하고, 삼각 측량을 통해 3차원 특징점들을 추출할 수 있다(S620).

이를 위해 먼저, 참조 프레임(reference frame)과 현재 프레임(current frame) 사이의 카메라 움직임을 추정할 수 있다.

예를 들어, 참조 프레임과 현재 프레임 간의 점들을 매칭하여 fundamental matrix를 계산하고, 양 프레임들 간의 재투영 오차(reprojection error)를 기반으로 점수(score)를 계산할 수 있다.

이 때, 병렬적으로 마커 탐지 기반 코너(corner)점들을 매칭하여 fundamental matrix를 계산하고, 양 프레임들 간의 재투영 오차 기반 점수(score)를 계산할 수 있다. 단, 현재 프레임과 참조 프레임에서 마커가 탐지되지 않는 경우에는 초기화가 수행되지 않으며, 마커가 존재하는 다음 프레임을 고려하여 초기화를 수행할 수 있다.

이렇게 계산된 점수(score)를 종합하여 현재 프레임과 참조 프레임 사이의 최종적인 카메라 움직임을 추정하고, 추정된 카메라 움직임으로 삼각 측량을 수행하여 2차원 특징점들을 3차원 특징점들로 복원할 수 있다.

이 후, 마커의 포즈를 추정하고, 3차원 특징점들과 마커를 결합하여 초기 전역 지도를 생성 및 저장할 수 있다(S630).

또한, 단계(S615)의 판단결과 초기화를 진행한 경우, 디바이스로부터 획득한 영상으로부터 SLAM을 이용하여 특징점을 추출할 수 있다(S640).

이 후, 추출한 특징점을 기반으로 디바이스의 포즈를 추정하고, 지역 특징점 지도를 생성할 수 있다(S650).

이 때, 시스템 구현의 목적에 따라 마커 탐지기를 활성화하여 마커의 포즈를 계속해서 추정하고, 포즈를 수정할 수도 있다.

이 후, 지역 특징점 지도를 기 저장되어 있던 전역 지도에 추가하여 저장하고, 디바이스의 포즈를 기반으로 디바이스의 전역 경로를 저장할 수 있다(S660).

이 때, 기 저장되어 있던 전역 지도는, 3차원 특징점, 키 프레임 및 3차원 특징점과 키 프레임 간의 관계를 나타내는 그래프(graph) 정보를 포함할 수 있다.

이 후, 종료 신호가 입력되었는지 여부를 판단하고(S665), 종료 신호가 입력되지 않았으면, 디바이스를 통해 입력되는 다음 영상을 획득하여(S610) 지도 생성 단계를 반복적으로 수행할 수 있다.

또한, 단계(S665)의 판단결과, 종료 신호가 입력되었으면, 실제로 증강현실 컨텐츠가 제공될 3차원 공간 영역을 서비스 영역으로 지정하고, 서비스 영역 정보를 저장할 수 있다(S670).

예를 들어, 3차원 전시물을 활용한 증강현실 컨텐츠를 제공하는 경우, 3차원 전시물과 마커가 위치한 공간을 서비스 영역으로 지정할 수 있다. 이 때, 3차원 전시물과 마커 외에 변화할 수 있는 주변 환경 요소들은 서비스 영역에서 제외할 수 있다.

이와 같은 과정을 통해 생성된 전역 지도는 서비스 제공 과정에서 3차원 전시물의 이동에 따른 환경 변화 발생 시 업데이트되어 사용될 수 있다.

또한, 프로세서(920)는 사용자 단말의 지도 기반 위치화(localization) 여부에 따라 지도 기반 위치화를 수행할 수 있다.

만약, 사용자 단말에 대한 지도 기반 위치화를 진행하지 않은 경우, 마커 탐지 유무에 따라 지도 기반 위치화를 진행할 수 있다.

예를 들어, 사용자 단말로부터 획득한 영상에서 마커가 탐지되면, 탐지된 마커를 기반으로 사용자 단말의 초기 포즈를 추정할 수 있다.

그러나, 사용자 단말로부터 획득한 영상에서 마커가 탐지되지 않으면, 마커를 기반으로 사용자 단말의 초기 포즈를 추정하는 과정을 생략하고, 키 프레임 후보를 결정할 수 있다.

이 때, 키 프레임 후보는 유사성(similarity) 점수 및 프레임 간의 매칭되는 특징점 개수를 고려하여 결정될 수 있다.

예를 들어, 현재 프레임과 모든 키 프레임들을 각각 비교한 유사도를 기반으로 유사성 점수를 산출하되, 두 개의 프레임들 사이에 공통적으로 존재하는 단어(word)가 있는지를 판단할 수 있다.

다른 예를 들어, 모든 키 프레임들 각각에서 관찰되는 3차원 특징점이 현재 프레임의 서비스 공간 영역 내에서 몇 개나 매칭되는지를 고려하여 키 프레임 후보를 결정할 수도 있다.

또한, 마커를 기반으로 사용자 단말의 초기 포즈를 추정하여 알고 있는 경우에는 유사성 점수 및 프레임 간의 매칭되는 특징점 개수 이외에 추가적으로 모든 키 프레임들과 사용자 단말의 초기 포즈 사이의 거리를 고려하여 적합한 키 프레임 후보를 결정할 수도 있다.

이와 같은 과정을 통해 키 프레임 후보가 결정되면 사용자 단말의 포즈를 추정하고, 최적화를 수행하여 지도 기반의 사용자 단말 전역 위치화를 수행할 수 있다.

또한, 프로세서(920)는 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성한다.

예를 들어, 3차원 전시물에 대한 특징점은 도 4에 도시된 것처럼 서비스 영역 내에 위치하는 3차원 전시물과 마커뿐만 아니라 주변 환경에 대해서도 추출될 수 있다.

이렇게 추출된 특징점과 마커를 조합하여 도 5에 도시된 것처럼 지역 특징점 지도를 생성할 수 있다.

이 때, 지역 특징점 지도는 전역 지도에 등록된 복수개의 가상객체들 중 영상에 포함된 3차원 전시물에 대한 특징점 지도에 상응하는 것일 수 있다.

이 때, 지역 특징점 지도는 키 프레임(KEYFRAME) 기반 SLAM(SIMULTANEOUS LOCALIZATION AND MAPPING)을 이용하여 생성될 수 있다.

이 때, 마커는 위치가 변경되어 변화하기 않도록 3차원 전시물 내에 설치될 수 있다. 예를 들어, 도 2 내지 도 3에 도시된 것처럼, 3차원 전시물의 설치 위치가 변경되어도 마커는 변화하는 주변 환경에 영향 받지 않는 위치에 설치 및 부착될 수 있다.

또한, 프로세서(920)는 사전에 생성된 전역 지도와 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정한다.

이 때, 전역 지도와 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하는 경우에 전역 지도를 업데이트할 수 있다.

이 때, 지도 업데이트 조건은 서비스 영역 내 변화뿐만 아니라 서비스 영역 외 변화도 고려하여 결정될 수 있다. 즉, 3차원 전시물의 설치 위치가 변경되면서 서비스 영역에 포함되지 않는 주변 환경의 변화가 크게 발생될 수 있으므로, 특징점 지도에서 서비스 영역에 포함되지 않는 부분의 차이까지 고려해서 지도 업데이트 조건을 설정할 수 있다.

예를 들어, 전역 지도와 지역 특징점 지도 간의 차이를 수치로 계산한 차이 값이 지도 업데이트 조건으로 설정된 기설정된 기준 차이 값을 초과하는 경우, 전역 지도를 업데이트하는 것으로 결정할 수 있다.

이 때, 전역 지도의 서비스 영역 내 특징점과 지역 특징점 지도의 서비스 영역 내 특징점을 비교할 수 있다.

이 때, 전역 지도의 서비스 영역 외 특징점과 지역 특징점 지도의 서비스 영역 외 특징점을 비교할 수 있다.

이 때, 전역 지도와 지역 특징점 지도 간의 차이는 서비스 영역 내 특징점들 간의 차이 및 서비스 영역 외 특징점들 간의 차이를 포함할 수 있다.

예를 들어, 서비스 영역 내 특징점들 간의 차이 값과 서비스 영역 외 특징점들 간의 차이 값을 이용하여 평균을 계산하거나 조합하여 사용할 수 있다.

다른 예를 들어, 이 때, 서비스 영역 내 특징점들 간의 차이와 서비스 영역 외 특징점들 간의 차이 각각에 가중치를 부여하고, 가중치를 적용하여 조합된 값을 최종적인 차이 값으로 사용할 수도 있다.

전역 지도와 지역 특징점 지도 간의 차이는 상기에서 예시한 계산방식에 한정되지 않고 다양한 방법으로 연산할 수 있다.

이 때, 서비스 영역은 영상의 프레임 중 3차원 전시물과 마커를 포함하는 영역에 상응할 수 있다.

예를 들어, 도 2를 참조하면, 프레임의 전체 영역 중 마커(200)와 마커(200)가 설치되 테이블 위 전시물에 해당하는 영역까지가 서비스 영역에 상응할 수 있고, 이외에 실내 환경은 서비스 영역에 포함되지 않을 수 있다.

또한, 프로세서(920)는 지도 업데이트 여부에 따라 전역 지도를 지역 특징점 지도에 상응하게 업데이트한다.

이 때, 업데이트된 전역 지도를 참고하여 사용자 가이드를 저장할 수도 있다.

이 때, 사용자 단말로부터 종료 신호가 입력되는지 여부를 고려하여 증강현실 컨텐츠를 계속 서비스할지 여부를 결정할 수 있다. 종료 신호가 입력되지 않으면 계속해서 입력되는 영상을 기반으로 증강현실 컨텐츠를 제공할 수 있고, 종료 신호가 입력되면 증강현실 컨텐츠 제공 서비스를 종료할 수 있다.

또한, 프로세서(920)는 변화한 환경에 맞게 전역 지도를 업데이트하여 제공한다.

예를 들어 도 7을 참조하면, 본 발명의 일실시예에 따른 전역 지도의 갱신 방법은 먼저 증강현실 컨텐츠 제공 장치가 내부의 데이터베이스 또는 외부 연동된 데이터베이스로부터 기 저장된 전역 지도, 전역 경로, 서비스 영역 정보 및 사용자 가이드 정보 등을 수신할 수 있다(S702).

이 후, 증강현실 컨텐츠 제공 장치가, 사용자 단말로 사용자 가이드를 제공할 수 있다(S704).

이 후, 증강현실 컨텐츠 제공 장치가, 사용자 단말로부터 사용자 가이드를 기반으로 촬영된 영상을 취득하고(S706), 사용자 단말에 대한 지도 기반 위치화 유무를 판단할 수 있다(S708).

단계(S708)의 판단결과 지도 기반 위치화를 진행하지 않았으면, 획득된 영상에서 마커가 탐지되는지 여부를 판단하고(S710), 마커가 탐지되는 경우에 마커 탐지 기반 사용자 단말의 초기 포즈를 추정할 수 있다(S712).

이 후, 키 프레임 후보를 결정하고(S714), 결정된 키 프레임 후보 및 사용자 단말의 초기 포즈를 기반으로 추정된 사용자 단말의 포즈를 고려하여 사용자 단말에 대한 전역 위치화를 수행할 수 있다(S716).

또한, 단계(S710)의 판단결과 마커가 탐지되지 않으면, 단계(S712)를 생략하고, 키 프레임 후보만(S714)을 이용하여 추정된 사용자 단말의 포즈를 고려하여 사용자 단말에 대한 전역 위치화를 수행할 수도 있다.

또한, 단계(S708)의 판단결과 지도 기반 위치화를 진행했으면, 입력된 영상에서 특징점을 추출하고(S718), 특징점과 마커를 조합한 지역 특징점 지도를 생성할 수 있다(S720).

이 후, 전역 지도와 지역 특징점 지도를 비교하여 지도 갱신 유무를 판단할 수 있다(S722).

이 때, 전역 지도와 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하면 전역 지도를 업데이트/갱신하는 것으로 결정할 수 있다.

단계(S722)의 판단결과 지도를 갱신하지 않은 것으로 결정되면, 전역 지도를 업데이트하지 않고 유지할 수 있다(S724).

또한, 단계(S722)의 판단결과 지도를 갱신하는 것으로 결정되면, 전역 지도를 지역 특징점 지도에 상응하게 갱신하고(S726), 갱신된 상태에 상응하게 사용자 가이드를 저장할 수 있다(S728).

이 후, 사용자 단말로부터 종료 신호가 입력되는지 여부를 판단하고(S730), 종료 신호가 입력되지 않으면 단계(S704)부터 반복적으로 수행하면서 지속적으로 지도 갱신 과정을 수행할 수 있다.

또한, 단계(S730)의 판단결과 종료 신호가 입력되었으면, 업데이트를 종료하고 처리된 정보들을 저장할 수 있다.

이와 같은 업데이트/갱신 과정을 통해 특정 장소에 설치된 3차원 전시물을 활용한 증강현실 컨텐츠 제공 서비스를 보다 다양하게 활용할 수 있다.

즉, 3차원 전시물을 다른 장소로 이동하는 경우, 정확한 디바이스의 자세를 추정하고, 사용자 가이드를 제공하여 변화한 환경에 맞는 신뢰도 높은 전역 지도로 업데이트함으로써 동일한 증강현실 컨텐츠 서비스를 제공할 수 있다.

이하에서는 도 8을 참조하여 본 발명의 일실시예에 따라 증강현실 컨텐츠 서비스를 제공하는 과정을 상세하게 설명하도록 한다.

먼저, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 장치는 증강현실 컨텐츠 제공 시스템 또는 시스템 내의 데이터베이스로부터 증강현실 컨텐츠 및 기 저장된 전역 지도를 수신할 수 있다(S810).

이 때, 전역 지도는 서비스를 진행할 환경에 맞게 생성 및 업데이트된 전역 지도를 의미할 수 있으며, 증강현실 컨텐츠는 전역 지도의 좌표계(coordinate system)에 상응하게 등록(registration)되어 있을 수 있다.

이 때, 증강현실 컨텐츠의 서비스 목적에 따라 3차원 전시물의 주변에 마커를 제거할 수도 있는데, 이러한 경우에는 마커의 포즈를 전역 지도에서 제외시킬 수도 있다.

이 후, 서비스를 제공할 디바이스로부터 영상을 취득하고(S820), 취득한 영상을 기반으로 특징점을 추출하여(S830) 전역 지도 기반 디바이스의 위치화를 수행할 수 있다(S840).

이 후, 디바이스로부터 취득된 영상에 맞게 증강현실 컨텐츠에 상응하는 가상 객체를 합성하고(S850), 가상 객체가 합성된 증강영상을 디바이스로 전송하여 사용자에게 출력해줄 수 있다(S860).

이 후, 디바이스로부터 서비스 종료 신호가 입력되었는지 여부를 판단하고(S865), 종료 신호가 입력되지 않았으면 단계(S820) 내지 단계(S860)을 반복적으로 수행하여 지속적으로 증강현실 컨텐츠 서비스를 제공할 수 있다.

또한, 단계(S865)의 판단결과 종료 신호가 입력되었으면, 증강현실 컨텐츠 제공 서비스를 종료할 수 있다.

메모리(930)는 전역 지도를 저장할 수 있다.

또한, 메모리(930)는 상술한 증강현실 컨텐츠 제공 과정에서 발생하는 다양한 정보를 저장할 수 있다.

예를 들어, 전역 지도를 포함하여 사용자 단말의 전역 경로, 서비스 영역 정보, 사용자 가이드 정보 및 증강현실 컨텐츠에 상응하는 가상 객체 정보 등을 저장할 수 있다.

이와 같은 증강현실 컨텐츠 제공 장치를 이용함으로써 증강현실 컨텐츠 제공을 위하여 사용자 가이드에 따라 특징점 지도의 마커 기반 위치화(localization)를 수행하고, 지도를 갱신할 수 있다.

또한, 3차원 전시물을 이용한 증강현실 컨텐츠의 배포를 위하여 주변 환경에 변화에 따라 전역 지도를 업데이트할 수 있다.

또한, 어떤 장소에서든 신뢰도 높은 전역 지도를 기반으로 동일하게 증강현실 컨텐츠 서비스를 제공할 수 있다.

또한, 동일한 3차원 전시물을 대량 제작하여 각기 다른 환경에 설치한 경우에도 동일한 증강현실 컨텐츠를 제공함으로써 증강현실 컨텐츠의 제작 및 유지보수 비용을 감소시킬 수 있다.

도 10은 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 시스템을 나타낸 블록도이다.

도 10을 참조하면, 본 발명의 일실시예에 따른 증강현실 컨텐츠 제공 시스템은 입력 모듈(1010), 제어 모듈(1020) 및 관리 모듈(1030)을 포함한다.

입력 모듈(1010)은 디바이스의 카메라를 통해 촬영되는 영상을 취득하고, 카메라 내부 파라미터, 지도 생성 및 갱신의 목적 실현을 위해 이용되는 고유 마커의 크기, 사전(dictionary) 데이터를 초기화할 수 있다.

제어 모듈(1020)은 입력 모듈(1010)로부터 초기화된 정보를 받아 저장할 수 있다. 그리고 입력 모듈(1010)로부터 획득한 영상을 이용하여 디바이스의 포즈를 추정하고, 지역 특징점 지도를 생성할 수 있다.

이 때, 디바이스의 포즈 추정 및 특징점 지도 생성 기법으로는 키 프레임(keyframe) 기반 SLAM(Simultaneous Localization And Mapping)을 이용할 수 있으며, 특징점 지도에서의 마커 포즈를 추정하기 위해 마커 탐지기(marker detector)를 결합하여 사용할 수 있다.

이 때, 마커 탐지기는 SLAM과 병렬적으로 동작하여 독립 스레드(thread)로 실행될 수 있다.

제어 모듈(1020)은 지역 특징점 지도 생성을 하기 전에, 특징점 및 마커가 결합된 전역 지도가 관리 모듈(1030)에 저장되어 있는지 여부를 확인할 수 있다.

만약, 관리 모듈(1030)에 전역 지도가 저장되어있지 않은 경우, 초기 전역 지도를 먼저 생성하고, 이후에 지도 기반의 디바이스 포즈 추정 및 지역 특징점 지도 생성을 수행할 수도 있다.

또한, 관리 모듈(1030)에 저장된 전역 지도가 존재하는 경우, 저장된 전역 지도를 수신하여 디바이스의 포즈를 추정할 수 있으며, 특징점 추출 및 지역 특징점 지도를 생성할 수 있다.

관리 모듈(1030)에 저장되어 있는 전역 지도를 갱신하는 단계인 경우, 제어 모듈(1020)은 관리 모듈(1030)로부터 전역 경로 및 서비스 영역 정보, 사용자 가이드 정보를 추가적으로 수신할 수 있고, 사용자 가이드에 맞게 디바이스의 움직임을 제어하며 특징점 추출 및 지역 특징점 지도를 생성함으로써 전역 지도를 업데이트할 수 있다.

관리 모듈(1030)은 제어 모듈(1020)에서 생성한 지역 특징점 지도 및 마커 포즈, 디바이스의 포즈 등에 상응하는 정보를 수신하고, 현재 저장되어 있는 전역 지도에 정보를 추가하거나 업데이트할 수 있다.

만약, 전역 지도 생성 단계일 경우에는 수신한 디바이스의 포즈를 기반으로 디바이스가 움직이는 전역 경로를 저장할 수 있고, 지도 내에서 실제로 서비스를 진행하게 될 영역을 설정 및 저장할 수 있다.

또한, 전역 지도 갱신 단계일 경우에는 지도 업데이트 조건에 따라 제어 모듈(1020)로부토 수신한 지역 특징점 지도를 이용하여 전역 지도를 업데이트할지 여부를 결정할 수 있다. 그리고, 매 프레임의 상태를 참고하여 사용자 가이드를 저장하고, 다음 프레임에서 사용하게 될 사용자 가이드 정보를 저장할 수 있다.

이 때, 관리 모듈(1030)은 종료 신호가 입력될 때까지 계속해서 지도의 저장 및 갱신을 수행할 수 있다. 종료 신호가 입력되면, 특징점 지도 및 마커의 포즈가 결합된 최종적인 전역 지도를 저장한 뒤, 시스템을 종료할 수 있다.

도 11은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

도 11을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 11에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 특징점 지도 업데이트 기반의 증강현실 컨텐츠 제공 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

200: 마커 910: 통신부
920: 프로세서 930: 메모리
1010: 입력모듈 1020: 제어모듈
1030: 관리모듈

Claims (20)

1. 증강현실 컨텐츠 제공 장치가, 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공하는 단계;
   상기 증강현실 컨텐츠 제공 장치가, 상기 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성하는 단계;
   상기 증강현실 컨텐츠 제공 장치가, 사전에 생성된 전역 지도와 상기 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정하는 단계; 및
   상기 증강현실 컨텐츠 제공 장치가, 지도 업데이트 여부에 따라 상기 전역 지도를 상기 지역 특징점 지도에 상응하게 업데이트하는 단계
   를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
2. 청구항 1에 있어서,
   상기 지도 업데이트 여부를 결정하는 단계는
   상기 전역 지도와 상기 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하는 경우에 상기 전역 지도를 업데이트하는 것으로 결정하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
3. 청구항 2에 있어서,
   상기 지도 업데이트 여부를 결정하는 단계는
   상기 전역 지도의 서비스 영역 내 특징점과 상기 지역 특징점 지도의 서비스 영역 내 특징점을 비교하는 단계; 및
   상기 초기 영역 지도의 서비스 영역 외 특징점과 상기 지역 특징점 지도의 서비스 영역 외 특징점을 비교하는 단계를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
4. 청구항 3에 있어서,
   상기 전역 지도와 상기 지역 특징점 지도 간의 차이는
   상기 서비스 영역 내 특징점들 간의 차이 및 상기 서비스 영역 외 특징점들 간의 차이를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
5. 청구항 1에 있어서,
   상기 사용자 가이드는
   매 프레임마다 상기 사용자 단말의 움직임을 가이드 하기 위해 제공되는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
6. 청구항 5에 있어서,
   상기 사용자 가이드는
   상기 사용자 단말의 지도 기반 위치화에 실패한 경우, 상기 사용자 단말에 대해 포즈 추정되었던 이전 지점으로 돌아갈 수 있도록 제공되는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
7. 청구항 1에 있어서,
   상기 마커는
   상기 3차원 전시물 내에 설치되는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
8. 청구항 1에 있어서,
   상기 지역 특징점 지도는
   키 프레임(KEYFRAME) 기반 SLAM(SIMULTANEOUS LOCALIZATION AND MAPPING)을 이용하여 생성되는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
9. 청구항 3에 있어서,
   상기 서비스 영역은
   상기 영상의 프레임 중 상기 3차원 전시물과 상기 마커를 포함하는 영역에 상응하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
10. 청구항 1에 있어서,
    상기 증강현실 컨텐츠 제공 장치가, 상기 업데이트된 전역 지도에 상응하게 등록된 증강현실 컨텐츠를 제공하는 단계를 더 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 방법.
11. 위치가 변경된 3차원 전시물을 촬영하기 위한 사용자 단말로 사용자 가이드를 제공하고, 상기 3차원 전시물을 촬영한 영상에서 추출된 특징점 및 마커를 조합하여 지역 특징점 지도를 생성하고, 사전에 생성된 전역 지도와 상기 지역 특징점 지도를 비교하여 지도 업데이트 여부를 결정하고, 지도 업데이트 여부에 따라 상기 전역 지도를 상기 지역 특징점 지도에 상응하게 업데이트하는 프로세서; 및
    상기 전역 지도를 저장하는 메모리
    를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
12. 청구항 11에 있어서,
    상기 프로세서는
    상기 전역 지도와 상기 지역 특징점 지도 간의 차이가 지도 업데이트 조건을 만족하는 경우에 상기 전역 지도를 업데이트하는 것으로 결정하는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
13. 청구항 12에 있어서,
    상기 프로세서는
    상기 전역 지도의 서비스 영역 내 특징점과 상기 지역 특징점 지도의 서비스 영역 내 특징점을 비교하고, 상기 초기 영역 지도의 서비스 영역 외 특징점과 상기 지역 특징점 지도의 서비스 영역 외 특징점을 비교하는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
14. 청구항 13에 있어서,
    상기 전역 지도와 상기 지역 특징점 지도 간의 차이는
    상기 서비스 영역 내 특징점들 간의 차이 및 상기 서비스 영역 외 특징점들 간의 차이를 포함하는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
15. 청구항 11에 있어서,
    상기 사용자 가이드는
    매 프레임마다 상기 사용자 단말의 움직임을 가이드 하기 위해 제공되는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
16. 청구항 15에 있어서,
    상기 사용자 가이드는
    상기 사용자 단말의 지도 기반 위치화에 실패한 경우, 상기 사용자 단말에 대해 포즈 추정되었던 이전 지점으로 돌아갈 수 있도록 제공되는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
17. 청구항 11에 있어서,
    상기 마커는
    상기 3차원 전시물 내에 설치되는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
18. 청구항 11에 있어서,
    상기 지역 특징점 지도는
    키 프레임(KEYFRAME) 기반 SLAM(SIMULTANEOUS LOCALIZATION AND MAPPING)을 이용하여 생성되는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
19. 청구항 13에 있어서,
    상기 서비스 영역은
    상기 영상의 프레임 중 상기 3차원 전시물과 상기 마커를 포함하는 영역에 상응하는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.
20. 청구항 11에 있어서,
    상기 프로세서는
    상기 업데이트된 전역 지도에 상응하게 등록된 증강현실 컨텐츠를 제공하는 것을 특징으로 하는 증강현실 컨텐츠 제공 장치.

Images