KR102296908B1

KR102296908B1 - 특징점 지도 관리방법 및 장치

Info

Publication number: KR102296908B1
Application number: KR1020190031512A
Authority: KR
Inventors: 박상헌; 윤영석; 조현우; 정성욱
Original assignee: 한국전자통신연구원
Priority date: 2019-03-19
Filing date: 2019-03-19
Publication date: 2021-09-02
Also published as: KR20200111587A; US20200302639A1; US11288836B2

Abstract

증강 현실 서비스를 위한 특징점 지도 관리방법 및 장치가 개시된다. 본 발명에 따른 특정점 지도 관리방법은, 환경정보 수집체가 이동할 초기 이동경로를 생성하는 단계, 상기 생성된 초기 이동경로를 탐색 이동경로로 결정하고 상기 결정된 탐색 이동경로에 따라 상기 환경정보 수집체를 제어하는 단계, 상기 환경정보 수집체로부터 환경정보를 수신하는 단계, 상기 환경정보로부터 특징점 정보를 추출하는 단계, 상기 특징점 정보로부터 특징점 지도를 생성하는 단계 및 상기 특징점 지도를 저장한다.

Description

특징점 지도 관리방법 및 장치{METHOD FOR MANAGING A FEATURE MAP AND APPARATUS FOR THE SAME}

본 발명은 증강 현실에서의 특징점 지도 관리 방법 및 장치에 관한 것으로, 상세하게는 이동하며 주변 공간의 특징을 파악하는 환경정보 수집체를 이용하여 동적 물체로 인한 폐색을 검출하여 신뢰성 높은 특징점 지도를 생성하고 갱신하는 방법 및 장치에 관한 것이다.

실제 세계의 환경 위에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 방식인 증강 현실에서는 실제 환경과 가상의 사물 등을 합성하기 위해 사용자 디바이스의 카메라에 대한 정확한 위치 및 자세에 관한 정보가 매우 중요하다.

이를 위해 증강 현실의 한 방식인 환경 특징점 기반 증강 현실에서는 주위 환경의 특징(feature)들을 모아 특징점들의 지도 형태로 만들어 사용자 디바이스의 카메라의 위치 및 자세를 구한다. 일례로 SLAM(simultaneous localization and mapping) 알고리즘을 사용하여 특징점을 추출하고 공간 상의 정보들과 매칭한다.

이와 같은 방식을 통해 추출되어 매칭한 점들을 삼각측량법과 같은 방법으로 3차원 좌표 상에 위치시켜 공간 상의 특징점으로 표현된 특징점 지도(사용자 디바이스의 자세를 추정하기 위해 사용되는 지도로서 도 3 참조)를 생성하게 된다.

이를 통해 생성된 특징점 지도를 기반으로 사용자 디바이스 카메라를 통해 획득되는 현재 영상에서 추출된 특징점을 특징점 지도와 매칭하여 오류(error)가 최소화 되는 사용자 디바이스 카메라의 위치 및 자세를 찾아낸다.

그러나 사용자 디바이스 카메라를 통해 보여지는 영상에 있는 특징점을 주변 환경에 대한 고려없이 사용하게 되면 특징점 지도와는 상관없는 동적인 물체(일시적인 물체에 해당하는 행인, 차량 등)에서도 특징점이 추출되어, 사용자 디바이스 카메라의 위치 추출에 많은 오차가 발생하게 되어 사용자의 증강현실 서비스 이용 만족도가 저하되는 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 주변 환경의 변화에도 대처할 수 있는 신뢰성 있는 특징점 지도의 생성 및 갱신을 위한 특징점 지도 관리 방법 및 장치에 관한 것이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 특징점 지도 관리방법은, 환경정보 수집체가 이동할 초기 이동경로를 생성하는 단계, 상기 생성된 초기 이동경로를 탐색 이동경로로 결정하고 상기 결정된 탐색 이동경로에 따라 상기 환경정보 수집체를 제어하는 단계, 상기 환경정보 수집체로부터 환경정보를 수신하는 단계, 상기 환경정보로부터 특징점 정보를 추출하는 단계, 상기 특징점 정보로부터 특징점 지도를 생성하는 단계 및 상기 특징점 지도를 저장하는 단계를 포함하고, 상기 수신한 환경정보에서 동적 물체를 검출하는 단계, 상기 검출된 동적 물체의 폐색 물체 해당 여부를 판단하는 단계, 상기 폐색 물체 해당 여부 판단 결과 상기 동적 물체가 폐색 물체로 판정된 경우 상기 환경정보 수집체가 이동할 초기 이동경로를 수정하여 수정 이동경로를 생성하는 단계 및 상기 생성된 수정 이동경로를 탐색 이동경로로 결정하는 단계를 더 포함한다.

삭제

또한 상기 초기 이동경로를 생성하는 단계는 기생성 되어 저장된 특징점 지도에 기초하여 생성하거나 상기 환경정보 수집체가 측정하여 생성한 초기 특징점 지도에 기초하여 생성한다.

본 발명의 일 실시예에 따른 특징점 지도 관리방법은 상기 추출된 특징점 정보로부터 상기 환경정보 수집체 및 사용자 디바이스 중 적어도 하나의 위치를 결정하는 단계를 더 포함한다.

본 발명의 일 실시예에 따른 특징점 지도 관리방법은 상기 초기 특징점 지도와 상기 생성된 특징점 지도의 비교로 획득되는 변화량에 기초하여, 상기 초기 특징점 지도의 갱신 여부를 결정하는 단계 및 상기 초기 특징점 지도의 갱신이 결정된 경우, 상기 생성된 특징점 지도를 초기 특징점 지도로서 저장하는 단계를 더 포함한다.

또한 상기 변화량은 특징점 정보의 개수와 위치의 변화인, 특징점 지도 관리방법.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 특징점 지도 관리방법은, 환경정보 수집체가 이동할 초기 이동경로를 생성하는 단계, 상기 생성된 초기 이동경로를 탐색 이동경로로 결정하고 상기 탐색 이동경로에 기초한 경로 정보를 상기 환경정보 수집체로 전송하는 단계, 상기 환경정보 수집체로부터 환경정보를 수신하는 단계, 상기 환경정보로부터 특징점 정보를 추출하는 단계, 상기 특징점 정보로부터 특징점 지도를 생성하는 단계 및 상기 특징점 지도를 저장하는 단계를 포함하고, 상기 수신한 환경정보에서 동적물체를 검출하는 단계, 상기 검출된 동적물체의 폐색 물체 해당 여부를 판단하는 단계, 상기 폐색 물체 해당 여부 판단 결과 상기 동적 물체가 폐색 물체로 판단된 경우 상기 환경정보 수집체가 이동할 초기 이동경로를 수정하여 수정 이동경로를 생성하는 단계 및 상기 생성된 수정 이동경로를 탐색 이동경로로 결정하는 단계를 더 포함한다.

삭제

본 발명의 다른 실시예에 따른 특징점 지도 관리방법은 상기 추출된 특징점 정보로부터 상기 환경정보 수집체 및 사용자 디바이스 중 적어도 하나의 위치를 결정하는 단계를 더 포함한다.

본 발명의 다른 실시예에 따른 특징점 지도 관리방법은 상기 초기 특징점 지도와 상기 생성된 특징점 지도의 비교 결과 획득되는 변화량에 기초하여, 상기 초기 특징점 지도의 갱신 여부를 결정하는 단계 및 상기 초기 특징점 지도의 갱신이 결정된 경우, 상기 생성된 특징점 지도를 초기 특징점 지도로서 저장하는 단계를 더 포함한다.

또한 상기 변화량은 특징점 정보의 개수와 위치의 변화이다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 특징점 지도 관리장치는 초기 특징점 지도, 갱신된 특징점 지도, 및 탐색 특징점 지도 중 적어도 하나를 저장하는 특징점 지도저장부, 환경정보를 수신하는 환경정보 수집부, 상기 환경정보에서 동적물체를 검출하는 동적물체 검출부, 상기 환경정보에 기초하여 상기 탐색 특징점 지도를 생성하는 특징점 지도생성부, 상기 동적물체 검출부로부터의 동적물체 정보, 상기 특징점 지도저장부에 저장된 초기 특징점 지도 및 탐색 특징점 지도 중 적어도 하나에 기초하여 환경정보 수집체의 이동경로를 생성하는 이동경로 관리부, 상기 이동경로 관리부에서 생성된 이동경로에 기초하여 상기 환경정보 수집체를 제어하는 환경정보 수집체 제어부 및 상기 초기 특징점 지도와 상기 탐색 특징점 지도의 비교 결과 획득되는 변화량에 기초하여 상기 초기 특징점 지도의 갱신 여부를 결정하고, 갱신된 특징점 지도를 상기 특징점 지도저장부로 전달하는 특징점 지도 갱신부를 포함한다.

삭제

본 발명에 의하면, 동적 물체의 출현과 같은 주변 환경의 변화에도 영향을 받지 않는 특징점 지도를 생성하고 갱신할 수 있게 되어 특징점 지도의 신뢰성을 높일 수 있고 이를 통해 증강현실 서비스에서의 사용자 디바이스 카메라의 정확한 위치 및 자세 추출이 가능하게 된다.

도 1는 본 발명의 일 실시예에 따른 특징점 지도 관리 장치를 설명하는 블록도.
도 2는 본 발명의 일 실시예에 따른 특징점 지도 생성 방법을 설명하는 절차도.
도 3은 본 발명의 일 실시예에 따른 특징점 지도 생성 방법에 따라 생성된 특징점 지도를 나타내는 개념도.
도 4는 본 발명의 일 실시예에 따른 특징점 지도 생성 방법에서의 환경정보 수집체 제어를 나타내는 개념도.
도 5는 본 발명의 일 실시예에 따른 특징점 지도 갱신 방법을 설명하는 절차도.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 특징점 지도 갱신 방법에서의 주위 환경 변화를 나타내는 개념도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 몇몇 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 권리범위는 실시예들로부터 관념되는 본 발명의 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에만, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 제시되는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있으며, 이상적이거나 과도하게 축소된 형식적인 의미로 해석되지 않아야 할 것이며, 본 명세서에서 어떤 용어의 의미를 정의할 경우 해 용어는 그 정의된 대로 해석되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1는 본 발명의 일 실시예에 따른 특징점 지도 관리장치를 설명하는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)는 환경정보 수집부(120), 특징점 지도 생성부(130), 및 동적물체 검출부(140)을 포함하는 환경정보 생성모듈(110), 특징점 지도 갱신부(160) 및 특징점 지도 저장부(170)을 포함하는 환경정보 관리모듈(150)과 이동경로 관리부(190) 및 환경정보 수집체 제어부(195)를 포함하는 제어모듈(180)을 포함한다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 환경정보 생성모듈(110) 내 환경정보 수집부(120)는 환경정보 수집체나 사용자 디바이스의 카메라(사용자가 사용하는 핸드폰, 태블렛 PC와 같은 디바이스 내에 탑재되는 카메라)를 통해 해당 장치에서 보여지는 주변 환경에 대한 영상과 같은 환경정보를 수집(획득)한다. 수집의 대상이 되는 환경정보는 건물과 같은 반영구적 물체 및 임의의 서비스 공간의 탁자 등과 같은 상당기간 고정이 예상되는 물체와 같은 정적물체이다. 본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 환경정보 수집부(120)는 사용자 디바이스 내 및/또는 별도의 특징점 지도 관리장치에 포함될 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 환경정보 생성모듈(110) 내 특징점 지도 생성부(130)는 환경정보 수집체(또는 사용자 디바이스 카메라)에서 수집한 환경정보에서 사용자 디바이스의 위치를 추정하고 도 3에 도시된 바와 같은 특징점 지도를 생성한다.

위치 추정 및 특징점 지도 생성방법의 일례로는 연속적인 영상에서 특징점 추출 알고리즘을 사용하여 특징점을 추출한 후 매칭하는 SLAM(simultaneous localization and mapping) 알고리즘이 있으나 이 외에도 모든 위치 추정 및 특징정 지도 생성 알고리즘이 적용될 수 있다. 본 발명의 일 실시예에 따른 특징점 지도 생성부(130)는 사용자 디바이스 내 및/또는 별도의 특징점 지도 관리장치에 포함될 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 환경정보 생성모듈(110) 내 동적물체 검출부(140)는 환경정보 수집부에서 수집한 영상에서 동적물체를 검출한다. 동적물체란 고정된 물체나 배경이 아닌 일시적으로 존재하는 물체로서 행인, 자동차 등을 의미한다.

동적물체 검출방법으로는 기계 학습을 이용하는 딥러닝 네트워크 이용 방법이나, 의미론적 분할(Semantic Segmentation) 알고리즘 등의 방식을 사용할 수 있고, 동적 물체의 위치와 방향성을 옵티칼 플로우(optical flow)와 같은 방법을 이용하여 검출할 수 있으나 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 따른 동적물체 검출부(140)는 사용자 디바이스 내 및/또는 별도의 특징점 지도 관리장치에 포함될 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 환경정보 관리모듈(150) 내 특징점 지도 저장부(160)는 특징점 지도를 저장한다. 이때 특징점 지도 저장부(160)에 이미 기 생성되어 저장되거나 다른 장치에서 제공받은 특징점 지도가 저장되어 있을 수도 있으나, 특징점 지도가 처음부터 부재하는 하는 경우에는 환경정보 수집체(또는 사용자 디바이스 카메라)를 이용하여 초기 특징점 지도를 생성할 수 있다. 본 발명의 일 실시예에 따른 특징점 지도 저장부(160)는 사용자 디바이스 내 및/또는 별도의 특징점 지도 관리장치에 포함될 수 있다.

본 발명의 일 실시예에 따른 환경정보 수집체는 영상을 취득할 수 있는 카메라 및 관련 프로그램을 실행하고 처리할 수 있는 프로세서(processor)를 탑재한 장치로서 드론, 타블렛, 웨어러블 디바이스, 스마트폰 등이 가능하다. 이때 환경정보 수집체에 프로세서가 없는 경우 프로세서를 탑재한 서버와의 데이터 통신을 통해 관련 프로그램을 실행하고 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 특징점 지도 저장부(160)는 저장하고 있는 특징점 지도를 제어모듈(180) 내의 이동경로 관리부(190)로 전송할 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 환경정보 관리모듈(150) 내 특징점 지도 갱신부(170)는 특징점 지도를 갱신한다. 도 6a 및 도 6b에 도시된 바와 같이 최초 특징점 지도(도 6a 참조)에서의 특징점 지도 상의 환경에는 없던 정적 물체(건물 등)가 새로이 생성된 경우(도 6b 참조), 새로운 정적 물체를 반영한 특징점 지도로 갱신이 되어야 원활한 증강 현실 서비스 제공이 가능하다.

이를 위해 본 발명의 일 실시예에 따른 특징점 지도 갱신부(170)는 하나 이상의 환경정보 수집체나 사용자 디바이스로부터 해당 환경에 대한 특징점 지도(본 단계에서의 특징점 지도는 후술한 바와 같이 탐색 특징점 지도로 분류될 수 있음)를 다수 수신하여 환경 변화 부분을 인지하고 특징점 지도를 갱신한다.

본 발명의 일 실시예에 따른 특징점 지도 갱신부(170)에서의 특징점 지도 갱신 방법은 현재 적용 중인 초기 특징점 지도(초기 특징점 지도가 없는 경우에 새로이 생성된 특징점 지도 포함)와 환경정보 수집체나 사용자 디바이스로부터 수신한 특징점 지도(탐색 특징점 지도)의 비교를 통해 갱신 할 수 있다.

일례로 초기 특징점 지도의 특징점 개수와 위치를 탐색 특징점 지도에서 파악되는 특징점 개수와 위치를 비교하여 그 변화량이 소정의 기준치(임계치)를 도과하는 경우 탐색 특징점 지도를 초기 특징점 지도로 갱신하여 환경정보 수집체의 이동 경로 결정을 위한 특징점 지도로서 사용할 수 있다. 본 발명의 일 실시예에 따른 특징점 지도 갱신부(170)는 사용자 디바이스 내 및/또는 별도의 특징점 지도 관리장치에 포함될 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 제어모듈(180) 내의 이동경로 관리부(190)는 초기 특징점 지도를 생성하기 위한 초기 이동경로를 생성하거나, 동적물체 감지나 특징점 지도 갱신을 위한 수정 이동경로를 생성한다.

본 발명의 일 실시예에 따른 이동경로 관리부(190)에서의 수정 이동경로 생성은 환경정보 수집체(410)의 이동 방향 및 속도, 검출된 동적물체의 분포 및 방향성, 추출된 특징점 분포 상태와 폐색 분포 등에 기초하여 생성될 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 관리장치(100)의 제어모듈(180) 내의 환경정보 수집체 제어부(195)는 이동경로 관리부(190)에서 생성된 이동경로(초기 이동경로 또는 수정 이동경로에 기초해 결정된 탐색 이동경로)를 따라 이동하도록 환경정보 수집체를 제어한다.

본 발명의 일 실시예에 따른 환경정보 수집체 제어부(195)에서의 환경정보 수집체(410) 제어는 환경정보 수집체(410)에 대한 정지 및 회피 이동 제어를 포함하고, 특징점 지도에서 특징점 추출이 불가한 경우 초기 특징점 지도를 기반으로 환경정보 수집체(410)의 위치를 추출한 지점으로 다시 돌아가도록 환경정보 수집체(410)을 제어할 수 있다.

일례로 도 4에 도시된 바와 같이 특징점 지도를 위한 환경정보를 수집 중인 환경정보 수집체(410)를 행인의 이동 방향을 고려하여 오른쪽으로 이동하게 하거나 위쪽 방향으로 상승 이동하도록 제어모듈(180)의 이동경로 관리부(190)에서 수정 이동경로를 생성한다. 생성된 수정 이동경로를 탐색 이동경로로 결정해서 그에 기초하여 환경정보 수집체 제어부(195)에서 환경정보 수집체(410)를 제어한다.

본 발명의 일 실시예에 따른 이동경로 관리부(190) 및/또는 환경정보 수집체 제어부(195)는 사용자 디바이스 내 및/또는 별도의 특징점 지도 관리장치에 포함될 수 있다. 다음으로 도 1의 본 발명의 일 실시예에 따른 특징점 지도 관리장치에서 특징점 지도를 생성할 때 초기 특징점 지도가 없는 경우에서의 특징점 지도 생성방법에 대해 설명한다.

도 2는 본 발명의 일 실시예에 따른 특징점 지도 생성 방법을 설명하는 절차도이다.

도 2에 도시된 본 발명의 일 실시예에 따른 특징점 지도 생성방법은 특징점 지도 생성부(130)에 특징점 지도가 저장되어 있지 않아 초기 특징점 지도를 생성해야 하는 경우에서의 특징점 지도 생성방법에 대한 실시예이다.

먼저 환경정보 수집체가 특징점 지도를 제작하기 위한 초기 이동경로를 생성한다(S210).

일례로 환경정보 수집부(120)을 통해 환경정보 수집체로부터 환경정보를 수집하고 이를 이용하여 이동경로 관리부(190)에서 초기 이동경로를 생성할 수 있다(S210).

다음으로 생성된 초기 이동경로를 탐색 이동경로로 결정하고 이를 따라 환경정보 수집체가 이동하도록 제어한다(S215). 일례로 환경정보 수집체 제어부(195)가 이러한 제어를 수행할 수 있다.

이후 탐색 이동경로를 따라 이동하는 환경정보 수집체로부터 환경정보를 수집한다(S220). 일례로 환경정보 수집체가 수집한 환경정보를 환경정보 수집부로 제공하여 환경정보 수집부(120)에서 이를 수신할 수 있다.

이후 수집된 환경정보에서 특징점을 추출할 수 있다(S225). 이때 추출된 특징점과 초기 특징점 지도에 기초하여 환경정보 수집체나 사용자 디바이스의 위치를 추출할 수 있다. 이와 같은 단계를 거쳐 추출된 특징점들로부터 특징점 지도가 생성(S230)되고, 저장될 수 있다(S235). 일례로 특징점 지도 생성부(130)에서 특징점을 추출해서 특징점 지도를 생성하고, 특징점 지도 저장부(160)에 저장할 수 있다.

한편, 초기 이동경로에 기초한 탐색 이동경로를 따라 환경정보를 수집 할 때, 환경정보 수집체의 환경정보 수집 경로 상에 행인이나 움직이는 차량과 같은 동적물체가 감지될 수 있다. 그러므로 본 발명의 일 실시예에 따른 특징점 지도 생성방법에서는 수집된 환경정보로부터 동적물체가 감지되는 지를 판단한다(S240).

수집된 환경정보에서 동적물체가 검출될 경우 해당 동적물체로 인해 폐색(occlusion)이 발생하는 지 판정한다(S245). 이때 해당 동적물체로 인해 폐색(occlusion)이 발생한다 판정한 경우(S255) 초기 이동경로에 대해 수정을 할 수 있다(S265). 이와 같은 단계를 거쳐 생성된 수정 이동경로를 탐색 이동경로로 결정(갱신)한다.

일례로, 동적물체 검출부(140)에서 동적물체를 검출하고 폐색 여부를 판정할 수 있고, 이동경로 관리부(180)에서 수정 이동경로를 생성하여 탐색 이동경로로 결정할 수 있다. 동적물체 검출 단계에서 동적물체가 검출되지 않거나(S250), 동적물체가 검출되었으나 폐색으로 판정되지 않은 경우(S260) 초기 이동경로에 기초하여 계속 환경정보를 수집하게 된다.

한편, 동적물체와는 달리 사용자 디바이스나 환경정보 수집체로부터 수집된 환경정보를 바탕으로 생성된 특징점 지도를 이용함에 있어 해당 특징점 지도에는 없었던 정적물체가 새로이 검출될 수 있다. 즉, 환경정보 수집체가 수집한 특정 공간에 대한 환경정보에 기초해서 생성된 특징점 지도에서 초기 특징점 지도에는 부재했던 정적물체(일례로 새로운 건물 등)가 검출될 수 있다.

이런 경우 특징점 지도 자체를 갱신해야 원활한 증강 현실 서비스를 제공할 수 있다. 다음으로 이와 같은 경우를 고려한 본 발명의 일 실시예에 따른 특징점 지도 갱신방법에 대해 설명한다.

도 5는 본 발명의 일 실시예에 따른 특징점 지도 갱신 방법을 설명하는 절차도.

특징점 지도 기반 증강 현실 서비스에서 초기 특징점 지도 생성에 적용된 환경정보는 도 6a에 도시된 주위 환경과 같은 경우에 기초하였으나, 시간이 흘러 해당 장소가 도 6b에 도시된 바와 같은 환경으로 변경될 수 있다.

이 경우 종래 환경정보에 기반한 특징점 지도를 이용해 증강 현실을 서비스하는 경우 초기 특징점 지도에는 없는 정적물체로 인해 사용자 디바이스의 위치 및 자세 검출이 원활하지 않게 되어 증강 현실 서비스 만족도가 저하될 수 있다. 그러므로 새로이 변경된 환경정보를 반영한 특징점 지도로 갱신하여 증강현실 서비스를 제공해야 할 필요가 있다.

본 발명의 일 실시예에 따른 특징점 지도 갱신방법에서는 먼저 초기 특징점 지도를 수신한다(S510). 일례로 초기 특징점 지도는 특징점 지도 제공 서버(미도시됨)로부터 수신제공받아 특징점 지도저장부(160)에 저장되어 있거나, 처음부터 특징점 지도저장부에 저장되어 있을 수 있다.

수신한 초기 특징점 지도를 이용하여 환경정보 수집체의 초기 이동경로를 생성한다(S515). 일례로 특징점 지도저장부(160)에 저장된 초기 특징점 지도에 기초하여 이동경로 관리부(190)에서 초기 이동경로를 생성할 수 있다.

다음으로 생성된 초기 이동경로를 탐색 이동경로로 결정하고 그에 따라 환경정보 수집체가 이동하도록 환경정보 수집체를 제어한다(S520). 일례로 환경정보 수집체 제어부(195)가 이러한 제어를 수행할 수 있다.

환경정보 수집체가 초기 이동 경로에 기초한 탐색 이동경로를 따라 수집한 환경정보를 수신한다(S525). 일례로 환경정보 수집체가 수집한 환경정보를 환경정보 수집부로 제공하여 환경정보 수집부(120)에서 이를 수신할 수 있다.

이후 동적물체 검출여부를 판별하고(S555), 동적물체가 검출되면 해당 동적물체로 인한 폐색이 발생했는지를 판정한다(S560). 폐색이 발생하였다 판정하면 초기 이동경로를 수정하여 수정이동경로를 생성한다(S570). 동적물체가 검출되지 않거나(S565), 폐색이 발생하지 않았다 판정되면(S575) 초기 이동경로에 기초한 탐색 이동경로를 따라 환경정보 수집체를 제어하여 환경정보를 수신한다.

일례로, 동적물체 검출부(140)에서 동적물체를 검출하고 폐색 여부를 판정할 수 있고, 이동경로 관리부(180)에서 수정 이동경로를 생성하고 이를 탐색 이동경로로 결정(갱신)할 수 있다. 동적물체 검출 단계에서 동적물체가 검출되지 않거나, 동적물체가 검출되었으나 폐색으로 판정되지 않은 경우 초기 이동경로에 기초한 탐색 이동경로를 따라 계속 환경정보를 수집하게 된다.

본 발명의 일 실시예에 따른 특징점 지도 갱신방법에서는 초기 이동경로나 수정 이동경로에 기초한 탐색 이동경로를 따라 환경정보 수집체가 수집한 환경정보를 수신하여 특징점 추출을 수행한다(S530). 이때 추출된 특징점과 초기 특징점 지도에 기초하여 환경정보 수집체나 사용자 디바이스의 위치를 추출할 수 있다. 또한 추출된 특징점을 이용하여 특징점 지도를 생성한다(S535). 이 단계에서 생성된 특정점 지도를 탐색 특징점 지도라 칭할 수 있다.

본 발명의 일 실시예에 따른 특징점 지도 갱신방법에서는 초기 특징점 지도와 탐색 특징점 지도를 비교하여 초기 특징점 지도의 갱신필요 여부에 대해 판단한다(S540).

본 발명의 일 실시예에 따른 초기 특징점 지도의 갱신필요여부 판단 기준은 초기 특징점 지도에서의 특징점 개수 및 위치와 탐색 특징점 지도에서의 특징점 개수 및 위치를 비교하여 양 지도에서의 특징점 개수 및 위치의 차이가 일정 기준치(임계치) 이상이면 초기 특징점 지도의 갱신이 필요하다 판단하고 탐색 특징점 지도를 초기 특징점 지도로 갱신하여 저장한다(S545).

반면에 양 지도에서의 특징점 위치 개수 및 위치의 차이가 일정 기준치(임계치) 미만이면 초기 특징점 지도의 갱신이 필요없다 판단하고 기존 사용하던 초기 특징점 지도를 갱신하지 않고 유지한다(S550).

일례로 특징점 지도 갱신부(170)에서 특징점 지도 생성부로부터 수신한 탐색 특징점 지도에서의 특징점 개수와 위치를 특징점 지도 저정부(160)에 저장된 초기 특징점 지도의 특징점 개수와 위치를 비교하여 초기 특징점 지도의 갱신이 필요하다 결정한 경우, 특징점 지도 저장부(160)에 탐색 특징점 지도를 저장하여 초기 특징점 지도를 갱신할 수 있다. 이후 갱신된 특징점 지도에 기초해서 이동경로를 관리하여 환경정보 수집체를 제어하게 된다.

한편, 전술한 각 구성은 각각이 별도의 장치로 설명하였으나, 이는 설명의 편의와 이해의 증진을 위한 예시적 설명에 불과한 것으로서, 본 발명의 기술적 사상의 범주 내에서 다양한 형태로 구현될 수 있음은 물론이다. 예컨대, 특징점 지도 생성부(130) 및 특징점 지도 갱신부(170)는 하나의 모듈로 통합되어 구현되거나 또는 둘이나 그 이상의 장치로 분할하여 구현될 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.

컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상, 본 발명의 바람직한 실시예를 통해 본 발명의 구성에 대하여 상세히 설명하였다. 그러나 전술한 실시예는 예시에 불과한 것으로서, 본 발명의 권리범위를 제한하지 아니한다. 본 발명의 기술분야에 통상의 지식을 가진 자라면 본 명세서의 교시와 시사로부터 본 발명의 기술적 사상의 범주내의 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여짐이 마땅하다.

Claims

환경정보 수집체가 이동할 초기 이동경로를 생성하는 단계;
상기 생성된 초기 이동경로를 탐색 이동경로로 결정하고 상기 결정된 탐색 이동경로에 따라 상기 환경정보 수집체를 제어하는 단계;
상기 환경정보 수집체로부터 환경정보를 수신하는 단계;
상기 환경정보로부터 특징점 정보를 추출하는 단계;
상기 특징점 정보로부터 특징점 지도를 생성하는 단계; 및
상기 특징점 지도를 저장하는 단계를 포함하고,
상기 수신한 환경정보에서 동적 물체를 검출하는 단계;
상기 검출된 동적 물체의 폐색 물체 해당 여부를 판단하는 단계;
상기 폐색 물체 해당 여부 판단 결과 상기 동적 물체가 폐색 물체로 판정된 경우 상기 환경정보 수집체가 이동할 초기 이동경로를 수정하여 수정 이동경로를 생성하는 단계; 및
상기 생성된 수정 이동경로를 탐색 이동경로로 결정하는 단계를 더 포함하는 특징점 지도 관리방법.
삭제
제1항에 있어서,
상기 초기 이동경로를 생성하는 단계는 기생성 되어 저장된 특징점 지도에 기초하여 생성하거나 상기 환경정보 수집체가 측정하여 생성한 초기 특징점 지도에 기초하여 생성하는, 특징점 지도 관리방법.
제1항에 있어서,
상기 추출된 특징점 정보로부터 상기 환경정보 수집체 및 사용자 디바이스 중 적어도 하나의 위치를 결정하는 단계를 더 포함하는 특징점 지도 관리방법.
제3항에 있어서,
상기 초기 특징점 지도와 상기 생성된 특징점 지도의 비교로 획득되는 변화량에 기초하여, 상기 초기 특징점 지도의 갱신 여부를 결정하는 단계; 및
상기 초기 특징점 지도의 갱신이 결정된 경우, 상기 생성된 특징점 지도를 초기 특징점 지도로서 저장하는 단계를 더 포함하는 특징점 지도 관리방법.
제5항에 있어서,
상기 변화량은 특징점 정보의 개수와 위치의 변화인, 특징점 지도 관리방법.
환경정보 수집체가 이동할 초기 이동경로를 생성하는 단계;
상기 생성된 초기 이동경로를 탐색 이동경로로 결정하고 상기 탐색 이동경로에 기초한 경로 정보를 상기 환경정보 수집체로 전송하는 단계;
상기 환경정보 수집체로부터 환경정보를 수신하는 단계;
상기 환경정보로부터 특징점 정보를 추출하는 단계;
상기 특징점 정보로부터 특징점 지도를 생성하는 단계; 및
상기 특징점 지도를 저장하는 단계를 포함하고,
상기 수신한 환경정보에서 동적물체를 검출하는 단계;
상기 검출된 동적물체의 폐색 물체 해당 여부를 판단하는 단계;
상기 폐색 물체 해당 여부 판단 결과 상기 동적 물체가 폐색 물체로 판단된 경우 상기 환경정보 수집체가 이동할 초기 이동경로를 수정하여 수정 이동경로를 생성하는 단계; 및
상기 생성된 수정 이동경로를 탐색 이동경로로 결정하는 단계를 더 포함하는 특징점 지도 관리방법.
삭제
제7항에 있어서,
상기 초기 이동경로를 생성하는 단계는 기생성 되어 저장된 특징점 지도에 기초하여 생성하거나 상기 환경정보 수집체가 측정하여 생성한 초기 특징점 지도에 기초하여 생성하는, 특징점 지도 관리방법.
제7항에 있어서,
상기 추출된 특징점 정보로부터 상기 환경정보 수집체 및 사용자 디바이스 중 적어도 하나의 위치를 결정하는 단계를 더 포함하는 특징점 지도 관리방법.
제9항에 있어서,
상기 초기 특징점 지도와 상기 생성된 특징점 지도의 비교 결과 획득되는 변화량에 기초하여, 상기 초기 특징점 지도의 갱신 여부를 결정하는 단계; 및
상기 초기 특징점 지도의 갱신이 결정된 경우, 상기 생성된 특징점 지도를 초기 특징점 지도로서 저장하는 단계를 더 포함하는 특징점 지도 관리방법.
제11항에 있어서,
상기 변화량은 특징점 정보의 개수와 위치의 변화인, 특징점 지도 관리방법.
초기 특징점 지도, 갱신된 특징점 지도, 및 탐색 특징점 지도 중 적어도 하나를 저장하는 특징점 지도저장부;
환경정보를 수신하는 환경정보 수집부;
상기 환경정보에서 동적물체를 검출하는 동적물체 검출부;
상기 환경정보에 기초하여 상기 탐색 특징점 지도를 생성하는 특징점 지도생성부;
상기 동적물체 검출부로부터의 동적물체 정보, 상기 특징점 지도저장부에 저장된 초기 특징점 지도 및 탐색 특징점 지도 중 적어도 하나에 기초하여 환경정보 수집체의 이동경로를 생성하는 이동경로 관리부;
상기 이동경로 관리부에서 생성된 이동경로에 기초하여 상기 환경정보 수집체를 제어하는 환경정보 수집체 제어부; 및
상기 초기 특징점 지도와 상기 탐색 특징점 지도의 비교 결과 획득되는 변화량에 기초하여 상기 초기 특징점 지도의 갱신 여부를 결정하고, 갱신된 특징점 지도를 상기 특징점 지도저장부로 전달하는 특징점 지도 갱신부를 포함하는 특징점 지도 관리장치.
삭제
제13항에 있어서,
상기 변화량은 특징점 정보의 개수와 위치의 변화인, 특징점 지도 관리장치.