KR20230027456A - 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템 - Google Patents

Abstract

본 발명은 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것이다. 본 발명은 관심지점지도수신부가 관심지점지도제공서버로부터 지리적 위치에 기초하여 생성된 관심지점지도를 수신하는 단계와, 단말기정보수신부가 사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터 높이 정보를 수신하는 단계와, 전역높이정보산출부가 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출한 기준지면정보와 단말기의 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 단계와, 단말자세정합부가 단말기의 지리적 위치 정보, 방향 정보 및 전역높이정보산출부로 추출한 단말기의 전역 높이 정보를 활용하여 관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합하는 단계를 포함한다. 본 발명에 의하면 증강현실에 있어서 관심지점 추출 및 단말기의 6자유도 자세 추정이 특징 추출 및 매칭에서 자유롭기 때문에 환경 변화에 강인한 사용자단말의6자유도 위치 인식이 가능하다.

Description

지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템{Method and system for matching point of interest map using ground information and terminal attitude with 6 degrees of freedom}

본 발명은 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것으로, 특히 증강현실 기술에 있어서 사용자단말로부터 취득된 영상 이미지에서 증강하고자하는 관심지점의 검출 및 인식 여부와 무관하고, 단말기의 6자유도 자세 추정을 위한 특징 추출 및 매칭에 자유로운 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것이다.

증강현실은 가상의 객체를 영상 이미지에 덧입혀 출력하는 기술로써, 일반적인 증강현실 기술은 영상 이미지에서 관심지점을 검출하고 인식하여 관심지점이 검출된 이미지 좌표에 인식된 관심지점의 정보를 증강한다. 하지만 영상 이미지에서 관심지점의 검출 및 인식은 영상 이미지의 품질 및 알고리즘의 한계에 의해 부정확하게 수행되는 문제가 있다. 이러한 문제를 해결하기 위해 3차원 특징 지도 기반 증강현실 기술이 적용되고 있으며, 이는 영상 이미지로부터 특징점을 검출하고 특징점을 3차원으로 복원하여 3차원 특징 지도를 생성하는 기술이다. 3차원 특징 지도 기반 증강현실 기술은 쿼리로 주어진 영상 이미지에서 특징점을 추출하고 3차원 특징 지도와 매칭하여 영상 이미지를 촬영한 단말기의 6자유도 자세 정보를 획득한다. 이때, 3차원 특징 지도 내에 3차원 위치가 특정된 관심지점에 대한 객체가 존재할 경우, 객체의 위치를 단말기의 6자유도 자세로 투영하여 영상 이미지에서 객체의 이미지 좌표를 획득할 수 있으며, 해당 좌표에 객체의 정보를 증강할 수 있다. 이는 객체 검출 및 인식과는 상관없이 수행된다.

하지만 이 방법 또한 영상 이미지에서 추출된 특징이 변화하는 환경에 의해 부정확하게 추출되거나 3차원 특징 지도와 부정확한 매칭이 수행되는 문제가 있어 정확한 6자유도 자세를 추정할 수 없다. 예컨대, 낮에 생성된 실외공간의 3차원 특징 지도로부터 저녁에 촬영된 쿼리 이미지의 6자유도 자세 정보를 찾는 것이 쉽지 않다. 이를 해결하기 위해환경 변화에 강인하게 설계된 특징 검출 알고리즘을 활용하기도 하나, 이러한 알고리즘은 속도가 느리기 때문에 증강현실의 실시간 정보 제공에 문제가 생기며, 이렇게 설계된 특징 마저도 매칭의 강인함에 대한 성능향상에 한계가 존재한다. 따라서 부정확한 특징 매칭은 부정확한 위치 인식을 수행하기 때문에 사용자에게 원활한 증강 정보 제공이 어려운 문제가 있다.

선행특허로는 한국등록특허 제10-1285360호(증강현실을 이용한 관심 지점 표시 장치 및 방법)가 있으나, 본 발명과 같이 지면으로부터 높이 정보를 활용하는 것이 아니라 GPS 정보로부터 획득한 고도 값만을 활용하는 기술을 개시하고 있을 뿐이다.

본 발명이 해결하고자 하는 과제는 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 영상 이미지를 통한 특징 추출 및 매칭, 그리고 이를 통한 관심지점 검출 및 인식 여부와 무관하게 단말기의 전역 높이 정보를 계산하여 관심지점들을 포함하는 관심지점지도의 전역 좌표계와 정합된 단말기의 6자유도 자세 추정이 가능한 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법 및 시스템에 관한 것이다.

본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법은, 관심지점지도수신부가 관심지점지도제공서버로부터 지리적 위치 정보를 기초하여 생성된 관심지점지도를 수신하는 단계와, 단말기정보수신부가 사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 수신하는 단계와, 전역높이산출부가 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출한 기준지면정보와 단말기의 지면으로부터의 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 단계와, 단말자세정합부가 관심지점지도와 단말기의 6자유도 자세를 정합하되, 높이를 제외한 이동과 회전에 대해서는 단말기 정보에서 수신한 지리적 위치 정보와 회전 정보를 활용하고, 높이에 대해서는 전역높이산출부가 추출한 전역높이를 활용하는 단계를 포함한다.

여기서 기준지면정보란 단말기의 전역 높이를 획득하기위해 설정되는 지면에 대한 정보로서 평면의 방정식, polygon, mesh, 고도맵(height map) 등 적어도 하나의 포맷으로 지면을 표현할 수 있으며 3차원 공간상에 위치가 특정화되어 2차원 지리적 위치 정보가 주어졌을 때 지리적 위치에 대한 전역 높이를 획득할 수 있는 정보를 말한다. 예컨대, 평면의 ax+by+cz+d=0, 여기서 (a,b,c,d)는 평면의 법선벡터를 포함하는 평면 방정식에 대한 계수 값이고 지리적 위치가 (x, y)로 주어졌을 때 전역 높이 z 값을 획득할 수 있다. 이와 마찬가지로 3차원 공간상에 위치가 특정화된 polygon 또는 mesh에서 지리적 위치 (x,y)를 지나는 선과 교차하는 점에 대해 전역 높이 정보를 계산할 수 있다. 또한 고도맵에서는 주어진 지리적 위치 정보에 대한 밝기 값(intensity)에서 전역 높이 정보를 획득할 수 있다. 기준지면정보는 단말기의 2차원 지리적 위치를 포함하면서 본 특허의 실시 예에 따라 전역 좌표계에 3차원 위치를 특정하여 단말기의 좌표계를 관심지점 지도의 전역 좌표계로 정합하는데 사용된다. 여기서 2차원 지리적 위치는 단말기의 지리적 위치를 수신할 수 있는 GPS, WiFi, Bluetooth 등 적어도 하나의 센서로부터 수신된 위치 정보를 의미하며, GPS는 위,경도 좌표, WiFi 및 Bluetooth는 신호를 발신하는 센서의 위치가 특정화 된 임의의 2차원 평면 좌표계 상에서의 좌표를 의미한다.

본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템은, 관심지점지도와 단말기의 자세정보를 정합하여 사용자단말에 제공하는 증강현실서버와, 상기 증강현실서버에 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 제공하는 사용자단말과, 상기 증강현실서버에 미리 생성된 관심지점을 포함하는 관심지점지도를 제공하는 관심지점지도제공서버를 포함하고, 상기 증강현실서버는, 상기 관심지점지도제공서버로부터 관심지점지도를 수신하는 관심지점지도수신부와, 사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보와 지면으로부터의 높이 정보를 수신하는 단말기정보수신부와, 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출된 기준지면정보와 단말기의 지면으로부터의 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 전역높이정보산출부와, 관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합하는 단말자세정합부를 포함한다.

본 발명에 의하면 제안하는 발명은 특징 추출 및 매칭과는 상관없이 전역 좌표계에서 환경 변화에 강인한 단말기의 6자유도 위치 인식이 가능하다. 또한, 단말기의의 영상 이미지로부터 관심지점에 대한 객체 인식 및 추출이 수행될 필요가 없으며 관심지점지도에 존재하는 관심지점의 객체들이 단말기의 자세로 투영할 수 있으므로 관심지점들을 모두 강인하게 증강 가능하다.

또한, 특징추출 및 매칭에 시간을 소요하지 않으므로 속도가 빠르고, 관심지점지도 정보만을 불러오기 때문에 계산이 빠르고 메모리 부담이 적은 효과가 있다.

도 1은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 증강현실서버의 구성도이다.
도 3은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 관심지점지도 생성 방법을 설명하는 흐름도이다.
도 5는 본 발명의 실시예에 따른 전역 높이 정보 산출방법을 설명하는 흐름도이다.
도 6은 본 발명의 실시예에 따른 2차원 실내의 관심지점지도를 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 실내 2차원 지도에서 관심지점 높이 할당 및 3차원 위치 지정을 나타내는 예시도이다.
도 8은 본 발명의 실시예에 따른 3차원 지도에서 지면 및 높이 정보를 획득하는 예시도이다.
도 9는 본 발명의 실시예에 따른 3차원 국부지도로부터 평면을 추출하여 단말기의 지면으로부터 높이 정보를 획득하는 예시도이다.
도 10은 본 발명의 실시예에 따른 단말기의 전역높이를 획득하는 예시도이다.
도 11은 본 발명의 실시예에 따른 지역적인 관심지점의 정보로 어느 위치에서나 전역높이를 획득하는 예시도이다.
도 12는 본 발명의 실시예에 따른 단말기의 위치에 상관없이 관심지점을 기준으로 단말기의 전역 높이 정보를 획득하는 예시도이다.
도 13은 본 발명에서 관심지점지도가 지형정보를 포함하고 있을 때의 실시예에 따른 전역 높이 정보 산출방법을 설명하는 흐름도이다.
도14는 본 발명에서 관심지점지도가 지형정보를 포함할 때, 지형정보를 활용하여 관심지점지도의 좌표계와 정합된 단말기의 전역 높이 정보를 획득하는 예시도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템의 구성도이다.

도 1을 참조하면, 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템(10)은 증강현실서버(100), 사용자단말(200), 관심지점지도 제공서버(300)로 구성된다.

증강현실서버(100)는 관심지점지도제공서버로부터 관심지점지도를 수신하고, 단말기로부터 수신된 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보에 기초하여 산출된 전역 높이 정보를 활용해 관심지점지도와 6자유도 단말기의 자세를 정합하여 사용자단말에 제공한다.

사용자단말(200)은 전용 애플리케이션을 통해 실내 또는 실외의 관심지점정보를 제공받을 수 있다. 사용자단말은 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 증강현실서버에 전달하고, 증강현실서버로부터 관심지점지도와 6자유도 단말자세를 정합한 결과를 제공받을 수 있다. 사용자 단말(200)은 위치 정보를 송신할 수 있는　스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션 단말기, 태블릿 PC, 글라스 등의　네트워크 접속이 가능한 통신 기기일 수 있으며, 그 종류에 제한이 없다.

사용자단말(200)에서 지면으로부터의 높이 정보를 획득하는 실시예는 다음과 같다.

i) 실시간으로 IMU 또는 depth sensor 등을 활용한 실측기반 SLAM을 수행하여 점군으로 구성된 국부지도를 획득하고, 점군 정보로부터 평평한 지면에 해당하는 점군을 추출하고, 해당 평면으로부터의 높이 정보를 계산한다.

점군정보로부터 평면 정보를 획득하는 방법의 실시예는 다음과 같다.

1-1) 각 점들로부터 인근의 점들과 삼각화를 수행하여 법선 벡터를 획득한다.

1-2) 각 점들의 법선벡터들을 활용하여 평면을 이루는 점군들로 클러스터링한다.

1-3) 추출한 평면들 중 법선벡터 방향이 위를 향해 있고 면적이 넓은 지면에 해당하는 평면을 추출한다.

2-1) 영상 이미지에서 지면을 추출하고, 해당 평면의 영역에 대응하는 점군 정보를 추출할 수도 있다.

2-2) 영상 이미지에서 지면을 추출하는 방법은 딥러닝을 활용할 수 있고, 영상 이미지내에서 일정영역 부분은 지면일 것이라고 제한을 줄 수 있다.

ii) 단말기 사용자의 평균 눈 높이 정보를 지면으로부터 높이 정보로 제공할 수 있다. 본 발명은 사용자가 증강현실 기술을 활용하는 것으로, 단말기는 대체로 사용자의 눈높이에 존재한다. 따라서 평균 사용자의 눈높이 정보 또는 개개인의 눈높이 정보를 사전에 입력받아, 해당 시스템에 단말기의 지면으로부터 높이 정보로 제공될 수 있다.

iii) 현재 위치에 대한 단말기의 고도 정보에서 지면의 고도 정보를 빼어 지면으로부터 높이 정보를 획득할 수 있다. 단말기의 고도 정보는 GPS를 활용하여 위성의 삼각측량법으로 계산되거나 고도계, 기압계로 획득할 수 있으며 지면의 고도 정보는 지도api로부터 단말기의 2차원 지리적 위치에 해당하는 지면의 고도 정보를 획득할 수 있다.

관심지점지도제공서버(300)는 증강현실서버에 지리적 위치에 기초하여 미리 생성된 관심지점을 포함하는 관심지점지도를 제공할 수 있다.

여기서 관심지점지도란 공공기관, 업체, 식당, 시설물 등 사용자들이 정보를 얻고자 하는 관심 지점들의 객체를 포함하는 지도이며, 관심지점들의 객체는 관심지점지도 상에서 GPS, WiFi, Bluetooth 등 적어도 하나의 센서로 취득되는 2차원 지리적 위치에 기초하여 존재한다. 관심지점의 2차원 지리적 위치는 전역 높이 정보가 추가되어 3차원 좌표가 특정화될 수 있다. 관심지점의 전역 높이를 특정하는 방법은 다음과 같다.

i) 지리적 위치를 기초로 하는 Camera나 LiDAR 센서로 SFM(Structure From Motion) 또는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 수행하여 지리적위치를 기초로하는 전역 좌표계와 점군으로 구성된 3차원 지도를 생성하고, 3차원 지도 내에서 관심지점의 전역 높이를 직접 특정하거나, 3차원 지도 내에 지리적 위치를 기초로 하여 6자유도 자세정보가 추정된 적어도 두개 이상의 카메라 프레임의 이미지에서 관측된 관심지점에 대한 매칭된 좌표쌍으로 삼각측량법을 통해 3차원 공간에 위치를 특정할 수 있으며 전역높이를 획득할 수 있다.

ii) 관심지점의 2차원 지리적 위치에 기초하여 지면의 해발고도정보를 포함하는 고도맵(height map) 이미지, mesh, polygon, 지도 API 등 적어도 하나의 확장자를 활용하여 지형 정보를 획득한다. 예컨대, 임의의 관심지점의 2차원 지리적 위치가 WGS84 좌표계를 따르는 GPS 센서로부터 획득되었다면, WGS84 좌표계를 기초로하는 해발고도에 대한 지형 정보를 활용하며, 이 지형 정보는 LiDAR, 항공사진, 위성 정보로부터 취합 및 최적화를 통해 생성이 가능하다. 이 지형정보는 지형의 해발 고도 높이 정보를 포함하고 있어서 지형의 3차원 전역 높이를 특정할 수 있다. 지형정보로부터 관심지점의 2차원 지리적 위치에 대한 지면의 고도 정보를 획득하고, 해당 지면의 고도 정보에 관심지점의 지면으로부터 높이 정보를 더하여 관심지점의 3차원 위치를 특정할 수 있다.

iii) 실내와 같이 지면이 평평하고 관심지점의 지면으로부터 높이가 일정하다는 전제하에 임의의 지면의 높이를 설정하고, 해당 지면의 높이로부터 관심지점의 지면으로부터 높이 정보를 더하여 전역 높이 정보를 획득한다. 이 전역 높이 정보와 관심지점의 2차원 지리적 위치 정보를 통합하여 3차원 위치를 특정할 수 있다.

본 발명에서 관심지점의 지면으로부터 높이 정보를 획득하는 방법의 일 실시예는, 사전에 관심지점에 대한 지면으로부터 높이 값을 획득하여 각 관심지점마다 해당 값을 할당한다. 예를들어, 실내 백화점 또는 지하상가는 관심지점인 업체들의 간판 정보가 지면으로부터 일정한 높이에 존재하며, 시설 관리자를 통해 지면으로부터 높이 정보를 쉽게 획득할 수 있다. 이렇게 사전에 관심지점의 지면으로부터 높이 정보를 알고 있을 때 해당 값을 할당해준다.

지면으로부터 높이 정보를 획득하는 방법의 다른 실시예는, 상기 3차원 지도가 지리적 정보에 근거하여 SfM(Structure from Motion) 또는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 통해 점군 정보가 주어졌을 때, 점군 정보로부터 평평한 지면에 해당하는 점군을 추출하고, 관심지점의 지리적 정보에 근거하여 관심지점의 위치로부터 해당 지면까지의 높이 정보를 계산한다.

지면으로부터 높이 정보를 획득하는 방법의 또 다른 실시예는, 3차원 관심지점 지도를 생성하기 위해 사전에 획득한 지도 정보가 카메라 또는 LiDAR 센서를 활용한 경우, 센서를 장착한 장비 혹은 탈것의 높이 정보를 활용할 수 있다. 예를 들어, 센서를 장착한 자동차가 도로를 주행하며 데이터를 획득하였고 SfM 또는 SLAM의 알고리즘을 통해 센서의 3차원 위치를 포함한 6자유도 자세 정보를 알고있다면, 관심지점 지도 상에서 각 관심지점에 대한 지면의 높이는 센서의 3차원 위치에서 센서의 높이 및 자동차의 높이 정보를 뺀 값이 된다.

즉, 관심지점에서 가까운 센서로부터 센서의 전역 높이에서 센서의 차량으로부터의 높이 및 차량의 높이 정보를 빼어 기준 지면의 전역 높이를 획득하면, 관심지점의 3차원 위치로부터 해당 기준 지면까지의 높이를 빼어 관심지점의 지면으로부터 높이 정보를 획득할 수 있다.

지면으로부터 높이 정보를 획득하는 방법의 또 다른 실시예는, 지도api를 활용하여 관심지점의 2차원 지리적 위치에 해당하는 지면의 해발 고도 정보를 획득한다. 이때 3차원 관심지점의 위치 정보는 관심지점의 지리적 정보 및 고도 정보에 맞게 위치해 있어야 한다. 그러면 관심지점의 고도 정보로부터 지면의 해발 고도 정보를 빼어 지면으로부터 높이 정보를 획득할 수 있다.

도 2는 본 발명의 실시예에 따른 증강현실서버의 구성도이다.

도 2를 참조하면, 증강현실서버(100)는 관심지점지도수신부(110), 단말기정보수신부(120),전역높이정보산출부(130), 단말자세정합부(140), 통신부(150), 저장부(160), 제어부(170)로 구성된다.

관심지점지도수신부(110)는 관심지점지도제공서버(300)로부터 지리적위치에 기초하여 생성된 관심지점지도를 제공받을 수 있다.

단말기정보수신부(120)는 단말기로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 수신할 수 있다. 단말기정보수신부(120)는 단말기의 GPS 또는 WiFi, Bluetooth 등의 위치센서로부터 지리적 위치 정보를 획득할 수 있으며 방향 정보는 IMU 센서 정보를 활용한다. 전역 지도 및 관심지점 지도의 좌표계가 단말기의 2차원 지리적 위치 정보 및 방향 정보와 정합되도록 획득하였기 때문에 단말기정보수신부(120)는 1자유도인 높이 정보를 제외한 관심지점 지도의 좌표계와 정합된 5자유도 자세 정보를 단말기의 센서들로부터 획득할 수 있다. 상기 5자유도 자세 정보는 위치 정보 2자유도 및 방향 정보 3자유도를 의미한다.

전역높이정보산출부(130)는 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 기준지면정보를 추출하고, 기준지면정보를 활용하여 단말기의 나머지 1 자유도에 해당하는 전역 높이 정보를 산출할 수 있다. 전역높이정보산출부(130)는 관심지점지도에서 추출한 기준지면정보와 단말기의 지면으로부터 높이 정보를 활용하여 단말기의 전역 높이를 계산한다. 전역높이정보산출부(130)가 지면정보를 추출하고 단말기의 전역높이정보를 산출하는 방법의 실시예는 다음과 같다. 전역높이정보산출부가 관심지점지도에서 단말기의 지리적 위치에 기초하여 근처에 존재하는 관심지점들의 지면으로부터 높이정보를 활용하여 전역 좌표계 상의 기준지면정보를 추출하고, 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이를 더하여 단말기의 전역높이를 획득할 수 있다. 즉, 도 12의 실시예와 같이 관심지점의 지면으로부터 높이를 활용하여 기준지면정보를 추출했을 때, 단말기의 지면으로부터 높이를 기준지면정보의 전역 높이에 더함으로써 단말기의 좌표계에 존재하는 지면을 전역 좌표계에 존재하는 관심지점의 지면 위치로 정합하는 효과를 주어 단말기의 전역 높이를 획득할 수 있다. 즉, 이 방법은 단말기의 2차원 지리적 위치로부터 지역적으로 존재하는 관심지점들의 지면으로부터 높이 정보를 활용하기 때문에, 단말기가 어느 위치에 있던지 상관없이 관심지점 지도와 정합된 단말기의 전역 높이를 추정할 수 있다.

전역높이산출부가 지면정보를 추출하고 단말기의 전역높이정보를 산출하는 방법의 또 다른 실시예는 도 14의 실시예와 같이 관심지점지도가 지형정보를 포함하고 있을 때 관심지점들의 2차원 지리적 위치를 포함하는 지형정보를 추출하고, 지형정보로부터 단말기의 2차원 지리적 위치에 대한 기준 지면을 추출하고, 기준 지면에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터의 높이를 더하여 단말기의 전역 높이 정보를 획득할 수 있다. 이 또한 지형정보를 활용하여 단말기의 위치가 어디에 있던지 상관없이 관심지점 지도와 정합된 단말기의 전역 높이를 추정할 수 있다.

단말자세정합부(140)는 관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합할 수 있다.

통신부(150)는 사용자단말과 관심지점제공서버와 유무선통신을 통해 정보를 송수신할 수 있다. 저장부(160)는 관심지점지도 정보와 단말기의 6자유도 자세정보 및 전역높이정보를 산출하기 위해 필요한 정보들과 각 구성에서 획득한 정보를 저장할 수 있다. 제어부(170)는 증강현실서버의 각 구성을 제어할 수 있다.

도 3은 본 발명의 실시예에 따른 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법을 설명하는 흐름도이다.

도 3을 참조하면, 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법은 증강현실서버(100)의 관심지점지도수신부(110)가 관심지점지도 제공서버(300)로부터 관심지점지도를 수신한다(S101). 관심지점지도는 2차원 또는 3차원지도에 관심지점이 할당된 지도이다.

단말기정보수신부(120)가 사용자단말(200)로부터 단말기의 지리적 위치 정보 ,방향 정보 및 단말기의 지면으로부터 높이 정보를 수신한다(S103). 단말기정보수신부(120)는 관심지점 지도의 좌표계와 정합된 단말기의 지리적 위치 정보, 방향 정보 및 단말기의 지면으로부터의 높이 정보를 획득할 수 있다.

전역높이정보산출부(130)가 기준지면정보와 단말기높이정보에 기초하여 전역높이정보를 산출한다(S105). 전역높이정보산출부(130)는 단말기의 지면으로부터 높이 정보를 획득한다. 단말기의 지면으로부터 높이정보는 단말기의 영상센서, IMU, depth, lidar 중 적어도 하나의 센서로 SLAM 알고리즘을 수행하여 생성된 실측기반의 국부지도 내에 존재하는 지도 점군 정보로부터 지면을 평면검출 알고리즘으로 추출하고 지면으로부터 단말기까지의 수직거리를 계산한다. 전역높이정보산출부(130)는 SLAM으로 국부지도를 생성하기 어려운 경우, 평균적인 지면으로부터 높이 정보를 사전에 할당하여 활용할 수 있다.

관심지점의 지면으로부터 높이 정보를 사전에 알고있는 경우, 사용자의 지정에 의해 지면으로부터 관심지점의 높이를 할당할 수 있다. 예를들어, 실내의 지하상가의 경우 2차원 도면 지도에서 각종 업체들의 간판은 모두 동일한 높이에 있다는 점을 활용하여 사전에 동일한 높이를 할당할 수 있다. 또한 꼭 같은 높이가 아니더라도, 사전에 관리자에 의해 알고 있거나 사전답사를 통하여 관심지점의 높이 정보를 획득할 수 있다.

이때 만약 관심지점 지도가 2차원 지리적 위치 정보만을 포함하여 전역 높이 정보가 없을 경우, 지면으로부터 높이 정보가 3차원 관심지점 지도를 구성하기위한 전역 높이 정보로 보정된다.

단말자세정합부(140)가 관심지점지도의 좌표계와 사용자단말의 6자유도 자세정보를 정합한다(S107).

도 4는 본 발명의 실시예에 따른 관심지점지도 생성 방법을 설명하는 흐름도이다. 도 4를 참조하면, 관심지점지도 제공서버(300)가 적어도 하나의 관심지점을 포함하는 지도정보를 추출한다(S201). 관심지점지도 제공서버(300)는 적어도 하나의 관심지점을 포함하는 지도정보를 미리 저장하여 제공할 수 있다. 여기서 관심지점지도는 지리적 위치 정보가 포함된 2차원 평면 도면 또는 카메라, 라이다, IMU 센서 등 적어도 하나의 센서를 활용하여 SLAM(Simultaneous Localization and Mapping)이나 SfM(Structure from Motion), ICP(Iterative Closest Point) 등의 알고리즘으로 복원한 3차원 지도가 될 수 있으며, 실내외 구분 없이 현실 공간을 실측 기반으로 하여 표현한 지도 정보라면 특정한 지도에 한정되지 않는다. 여기서 말하는 지리적 위치 정보는 GPS또는 WiFi, Bluetooth 등의 센서로부터 획득되어지며 지도의 방위정보 또한 진북을 기준으로 위성에서 확인 가능한 실제 지도의 방향으로 정합되어있다. 이렇게 획득된 지도를 전역 지도로 활용하며, 전역 지도가 위치해 있는 좌표계를 전역 좌표계라 정의한다.

관심지점지도 내의 관심지점들은 다음과 같이 지리적위치를 포함하며 추정될 수 있다. 사전에 관심지점의 위치를 알고있는 경우, 관심지점의 위치를 할당하여 저장할 수 있다. 예를들어, 지리적 위치 정보를 포함하는 2차원 평면 지도에서 사전에 관심지점의 지리적 위치를 알고있는 경우 그 값이 관심지점의 위치 정보로 지정될 수 있다.

관심지점지도 제공서버(300)가 관심지점지도 내의 각 관심지점의 지리적 위치 정보를 추출한다(S203).

관심지점지도 제공서버(300)가 각 관심지점의 지면으로부터 높이정보를 추출한다(S205). 3차원 지도에서도 마찬가지로 사전에 관심지점에 대한 지리적 위치 및 전역 높이 정보가 지정될 수 있다. 만약 관심지점의 위치를 사전에 알지 못하면, 관심지점의 위치 정보를 삼각 측량법 등의 일련의 알고리즘을 활용하여 복원할 수 있다. 이렇게 획득된 관심지점의 위치는 획득한 전역 지도를 기반으로 획득되었기에 전역 지도와 동일한 전역 좌표계 상에 존재한다.

도 5는 본 발명의 실시예에 따른 전역높이정보 산출방법을 설명하는 흐름도이다.

도 5를 참조하면, 단말기정보수신부가 단말기의 지면으로부터 높이 정보를 수신한다(S401).

전역높이정보산출부가 관심지점지도에서 단말기의 지리적 위치에 기초하여 관심지점들의 지면으로부터 높이정보를 획득한다(S403). 관심지점지도에 존재하는 관심지점들은 지리적 위치를 포함하고 있으며, 단말기의 지리적 위치를 기준으로 임의의 반경 내에 존재하는 관심지점들을 필터링할 수 있다. 이렇게 필터링되어 획득된 관심지점들로부터 관심지점지도제공서버가 S205에서 추출한 각 관심지점들의 지면으로부터 높이 정보를 전역높이정보산출부가 획득할 수 있다. 전역높이정보산출부는 단말기의 지면으로부터 높이 정보를 수신한다. 단말기의 지면으로부터 높이정보는 다음과같이 획득할 수있다. 단말기의 영상센서와 IMU 또는 depth/lidar 적어도 하나의 센서로 SLAM 알고리즘을 수행하여 실측기반의 국부지도를 생성할 수 있다. 이 국부지도 내에 존재하는 지도 점군 정보로부터 지면을 평면검출 알고리즘으로 추출하고 지면으로부터 단말기까지의 수직거리를 계산한다. 만약 SLAM으로 국부지도를 생성하기 어렵다면, 평균적인 지면으로부터 높이 정보를 사전에 할당하여 활용할 수 있다.

전역높이정보산출부가 기준 지면을 추출한다(S405). 전역높이정보산출부는 획득한 관심지점 지도에서 필터링된 관심지점 정보에 기초하여 획득된 관심지점들의 지면으로부터 높이 정보를 활용하여 기준지면정보를 추출한다. 관심지점들의 위치는 3차원 공간상에 특정화되어있으므로 각 관심지점의 3차원 위치 중 전역 높이에서 지면으로부터 높이 정보를 빼어 해당 관심지점이 위치한 지면의 전역 높이를 추정할 수 있고, 추정된 각 관심지점들에 대한 지면의 전역 높이들로 하여금 polygon, mesh화, 또는 보간법(interpolation) 등의 알고리즘을 통해 기준 지면정보를 생성 및 추출할 수 있다. 여기서의 추출은 추정, 검색 등 지면 정보를 인식하는 의미를 포함한다.

전역높이정보산출부가 기준 지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이정보를 더하여 단말기의 전역높이정보를 산출한다(S407). 단말자세정합부는 단말기의 지면으로부터 높이정보와 추출한 관심지점들의 지면으로부터 높이정보를 활용하여, 관심지점 지도의 전역 좌표계와 정합된 단말기의 6자유도 자세 정보를 획득한다.

도 6은 본 발명의 실시예에 따른 2차원 실내의 관심지점지도를 나타내는 예시도이다. 도 6을 참조하면, 2차원 지리적 위치만을 포함하는 관심지점 지도로부터 사전에 알고 있는 관심지점의 지면으로부터 높이를 관심지점의 전역 높이 정보로 보정하여 3차원 관심지점 지도를 구성한 예시도이다. 2차원 실내 지도의 한 예로, 각 알파벳이 적혀있는 노드들은 관심지점들을 나타내며 추출된 위치에 할당되어있다. 여기서 관심지점 지도는 관심지점 노드들로 구성되어있다.

도 7은 본 발명의 실시예에 따른 실내 2차원 지도에서 관심지점 높이 할당 및 3차원 위치 지정을 나타내는 예시도이다. 도 7을 참조하면, 2차원 지리적 위치만을 포함하는 관심지점 지도로부터 사전에 알고 있는 관심지점의 지면으로부터 높이를 관심지점의 전역 높이 정보로 보정하여 3차원 관심지점 지도를 구성할 수 있다.

도 8은 본 발명의 실시예에 따른 3차원 지도에서 지면 및 높이 정보를 획득하는 예시도이다.

도 8을 참조하면, 3차원 지도에서는 관심지점의 지면으로부터 높이정보를 사전에 모르는 경우, 지면을 검출하여 관심지점의 위치로부터 지면까지의 수직거리를 획득할 수 있다. 예를 들어, 3차원 지도의 경우, 도 7과 같이 지도에 존재하는 점군정보로부터 평면추출 알고리즘을 통하여 지면을 검출할 수 있다. 또는 단말기의 고도 값에서 지면의 고도 값을 차분하여 높이 정보를 획득할 수 있다.

도 9는 본 발명의 실시예에 따른 3차원 국부지도로부터 평면을 추출하여 단말기의 지면으로부터 높이정보를 획득하는 예시도이다.

도 10은 본 발명의 실시예에 따른 단말기의 전역높이를 획득하는 예시도이다. 도 10을 참조하면, 이렇게 획득한 단말기의 6 자유도 자세 정보는 증강현실 기술로 활용되어, 관심지점 지도에 존재하는 관심지점들을 단말기의 자세로 투영하여 출력하였을 때 도 10의 예와 같이 출력될 수 있다.

도 11은 본 발명의 실시예에 따른 지역적인 관심지점의 정보로 어느 위치에서나 전역높이를 획득하는 예시도이다.

도 11을 참조하면, 3차원 공간상에서 관심지점의 전역 높이와 지면으로부터 높이가 다르기 때문에 관심지점들의 지면으로부터 높이 정보는 각 관심지점마다 상대적으로 다르지만, 각 관심지점들의 3차원 공간상에 특정화된 전역 높이에 따라 관심지점의 위치에 종속된 지면의 전역 높이가 할당될 수 있다. 따라서 각 관심지점에 대한 전역 높이를 갖는 지면을 기준으로하여 단말기의 지면으로부터 높이 정보를 더하였기 때문에 단말기의 위치가 어디있든지 상관없이 관심지점을 기준으로 단말기의 전역 높이 정보가 획득되는 것이다. 이렇게 획득된 전역 높이 정보와 단말기정보수신부에서 획득한 전역 좌표계와 정합된 단말기의 5자유도 자세 정보를 통해 전역 좌표계와 정합된 6자유도 자세 정보가 획득될 수 있다.

도 12는 본 발명의 실시예에 따른 단말기의 위치에 상관없이 관심지점을 기준으로 단말기의 전역높이정보를 획득하는 예시도이다.

도 12를 참조하면, 관심지점의 지면으로부터 높이정보를 활용하여 기준지면정보를 추출하고, 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이를 전역 높이에 더하여 단말기의 전역 높이를 획득한다. 즉, 도 12와 같이 관심지점과 단말기의 지면으로부터 높이 정보를 각각 활용하여 관심지점과 단말기의 지면의 위치를 설정했을 때, 단말기의 지면을 전역 좌표계에 존재하는 관심지점의 지면 위치로 정합함으로써 단말기의 전역 높이를 획득할 수 있다.

도 13은 본 발명에서 관심지점지도가 지형정보를 포함하고 있을 때의 실시예에 따른 전역높이정보 산출방법을 설명하는 흐름도이다.

도 13을 참조하면, 도5의 S401과 마찬가지로 단말기정보수신부가 단말기의 지면으로부터 높이 정보를 수신한다(S501).

전역높이정보산출부가 관심지점지도가 포함하는 지형 정보를 획득한다(S503). 관심지점지도가 포함하는 지형 정보란 관심지점의 2차원 지리적 위치를 포함하는 좌표계와 정합된 고도맵(height map) 이미지, mesh, polygon, 지도 API 등 지형에 대한 정보를 획득할 수 있는 적어도 하나의 포맷을 활용하여 표현된 지형 정보로써 관심지점의 3차원 위치를 특정하는데 활용된 정보이다.

전역높이정보산출부가 S503에서 획득한 지형 정보에서 단말기의 2차원 지리적 위치에 대한 기준지면정보를 추출한다(S505). 관심지점 지도와 단말기의 2차원 지리적 위치를 동일한 좌표계(즉, WGS84 좌표계 또는 동일한 지도 좌표계)에서 추출하거나 동일한 좌표계가 되도록 정합하고나면 관심지점 지도가 포함하는 지형정보로부터 단말기의 2차원 지리적 위치에 대해 지면의 전역 높이를 추출할 수 있다. 이 전역 높이를 기준 지면의 전역 높이로 설정한다.

전역높이정보산출부가 S407과 마찬가지로 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이정보를 더하여 단말기의 전역높이정보를 산출한다(S507).

도 14는 본 발명의 도13의 실시예에 따른 관심지점지도가 지형정보를 포함할 때, 지형정보를 활용하여 관심지점지도의 좌표계와 정합된 단말기의 전역높이정보를 획득하는 예시도이다.

도 14를 참조하면, 관심지점지도가 포함하는 지형정보로부터 단말기의 2차원 지리적 위치에 대한 기준지면정보를 추출하고, 기준지면정보에서 단말기의 2차원 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이정보를 더하여 단말기의 전역 높이를 획득한다. 도 14에서, 관심지점지도와 단말기의 2차원 지리적 위치의 좌표계는 정합이 되었지만 높이 정보에 대해 정합이 되지 않은 상황에서, 단말기의 2차원 지리적 위치 정보에 기초하여 관심지점지도가 포함하는 지형정보로부터 정합을 위한 기준지면정보를 추출하고, 단말기의 2차원 지리적 위치에 대한 기준지면정보의 전역 높이 정보에 단말기의 지면으로부터 높이 정보를 더하여 단말기의 전역 높이를 획득하여 정합할 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100; 증강현실서버 200; 사용자단말
300; 관심지점지도제공서버 110; 관심지점지도수신부
120; 단말기정보수신부 130; 전역높이정보산출부
140; 단말자세정합부 150; 통신부
160; 저장부 170; 제어부

Claims (5)

1. 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법에 있어서,
   (a) 관심지점지도수신부가 관심지점지도제공서버로부터 지리적 위치에 기초하여 생성된 관심지점지도를 수신하는 단계;
   (b) 단말기정보수신부가 사용자단말로부터 단말기의 지리적 위치 정보와 지면으로부터의 높이 정보 및 방향 정보를 수신하는 단계;
   (c) 전역높이산출부가 단말기의 지리적 위치 정보에 기초하여 관심지점지도에서 추출한 기준지면정보와 단말기의 지면으로부터 높이 정보에 기초하여 단말기의 전역 높이 정보를 산출하는 단계;
   (d) 단말자세정합부가 관심지점지도와 단말기의 6자유도 자세를 정합하되, 높이를 제외한 이동과 회전에 대해서는 단말기 정보에서 수신한 지리적 위치 정보와 회전 정보를 활용하고, 높이에 대해서는 전역높이산출부가 추출한 전역높이를 활용하는 단계;를 포함하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.
2. 제1항에 있어서,
   상기 관심지점지도제공서버는 적어도 하나의 관심지점의 지리적 위치 정보와 지면으로부터 높이 정보를 포함하는 관심지점지도를 제공하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.
3. 제1항에 있어서,
   상기 (c) 단계에 있어서,
   (c-1) 전역높이정보산출부가 관심지점지도에서 단말기의 지리적 위치 정보에 기초하여 관심지점들의 지면으로부터 높이 정보를 획득하는 단계;
   (c-2) 전역높이정보산출부가 관심지점들의 지면으로부터 높이 정보를 활용하여 기준지면정보를 추출하는 단계; 및
   (c-3) 전역높이정보산출부가 기준지면정보에서 단말기의 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이 정보를 더하여 단말기의 전역 높이 정보를 산출하는 단계를 포함하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.
4. 제1항에 있어서,
   상기 (c) 단계에 있어서,
   (c-1) 전역높이정보산출부가 관심지점지도가 포함하는 지형정보에서 단말기의 지리적 위치에 대한 기준지면정보를 추출하는 단계; 및
   (c-2) 전역높이정보산출부가 기준지면정보에서 단말기의 지리적 위치에 대한 지면의 전역 높이를 획득하고, 단말기의 지면으로부터 높이 정보를 더하여 단말기의 전역 높이 정보를 산출하는 단계를 포함하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.
5. 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 시스템에 있어서,
   관심지점지도와 정합된 단말기의 6자유도 자세정보를 사용자단말에 제공하는 증강현실서버;
   상기 증강현실서버에 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 제공하는 사용자단말; 및
   상기 증강현실서버에 지리적 위치에 기초하여 미리 생성된 관심지점을 포함하는 관심지점지도를 제공하는 관심지점지도제공서버를 포함하고,
   상기 증강현실서버는,
   상기 관심지점지도제공서버로부터 관심지점지도를 수신하는 관심지점지도수신부;
   사용자단말로부터 단말기의 지리적 위치 정보, 방향 정보 및 지면으로부터의 높이 정보를 수신하는 단말기정보수신부;
   기준지면정보와 단말기의 높이 정보에 기초하여 전역 높이 정보를 산출하는 전역높이정보산출부; 및
   관심지점지도의 좌표계와 단말기의 6자유도 자세정보를 정합하는 단말자세정합부를 포함하는 지면정보를 활용한 관심지점지도와 6자유도 단말 자세 정합 방법.
   
   
   
   
   
   

Images