KR20220001396A

KR20220001396A - 3D LiDar를 이용한3D SLAM 포인트 클라우드와 데이터와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템

Info

Publication number: KR20220001396A
Application number: KR1020200079681A
Authority: KR
Inventors: 김경식; 황철현
Original assignee: 김경식; 김민규; 주식회사 와따
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2022-01-05
Also published as: WO2022004950A1

Abstract

3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템으로서, 특정위치에서 주위의 대상물체까지의 거리값으로 구성된 포인트 클라우드를 지도생성을 위하여 수집하기 위한 포인트클라우드수집모듈(11)과 특정위치에서 위치파악을 위하여 주위의 인프라 데이터를 수집하기 위한 인프라데이터수집모듈(13)과 포인트플라우드수집데이터를 저장하는 위치별포인트클라우드DB(21)와 인프라데이터를 저장하는 위치별인프라데이터DB(22)와 위치별포인트클라우드 데이터와 위치별인프라데이터를 묶어 그룹핑데이터DB(23)에 저장하는 위치별그룹화모듈(15)을 포함한다.

Description

3D LiDar를 이용한3D SLAM 포인트 클라우드와 데이터와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템{MAP PRODUCING SYSTEM}

본 발명은 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템에 관한 것이다.

본 발명은 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템에 관한 것이다. 현재 일반인에게 지도 서비스는 포털 서비스 회사를 중심으로 제공이 되고 있으며 여기에 GPS를 결합하여 네비게이션 서비스가 제공이 되고 있다. 그런데 실내공간이나 지하공간 같은 경우에는 위성을 이용한 GPS 신호를 수신할 수 없기 때문에 위치정보를 이용한 경로안내 등의 서비스가 제공되지 않으며 GPS신호를 이용하기 이전에 지도가 제공되지 않기 때문에 경로안내 서비스를 제공하기가 어렵다.

특히 실내의 경우 건물의 주차장이나 지하상가 같은 공간은 지도 제작을 위해서는 정확한 도면 데이터가 확보되어야 하며 지도가 제작된다고 하여도 위치정보를 수집하여 적용하기가 어렵다. 특히 지하의 경우 GPS가 아니라고 하더라도 단일 위치 인프라를 활용하여 정확한 실내 측위를 하는 것은 매우 어렵다.

특히 실내나 지하의 경우 지도가 있어도 지도를 이용하는 서비스가 많지 않기 때문에 건물주의 입장에서도 굳이 주차장의 지도를 만들 필요가 없으며 실내/지하의 지도를 만드는 비용은 건물주가 부담해야 하는 경우가 많기 때문에 건물주 또한 실내/지하의 지도를 만들고 그것을 이용하기 위한 부가 장치를 설치하고 유지관리까지 할 필요성을 못느낀다.

지도가 제공이 되고 지도를 이용한 서비스가 제공이 된다고 하여도 복잡한 실내 및 지하 환경의 특성상 단일 위치 인프라를 활용하는 것만으로는 정확한 실내측위가 불가능하며 이 경우 유사한 신호패턴과 에너지를 보이는 장소가 있어 위치 인식이 불안정하며 일원화되지 않은 복잡한 설계과정으로 인해 위치정보 서비스, 실내 네비게이션 등 서비스 구축까지 많은 시간과 비용이 발생한다.

또한, 지도를 먼저 제작하여도 위치정보 수집을 위한 수단을 실내에 구성해야 하며 이러한 정보를 저장하기 위한 데이터베이스와 서버또한 구축하여 하며 서버를 구축해도 맵매칭, 위치보정 등에서 많은 문제점이 발생하며 거리 오차가 발생한다.

대한민국 특허 공개 제10-2009-0105745호 '실내지도정보를 제공하는 네비게이션 장치를 구비하는 지도정보 시스템 및 그 구동방법'은 위성신호에 의하여 제1위치정보를 산출하고 위치신호에 포한된 가상 위성정보를 처리하여 제2위치정보를 산출하고 실내에서 위치정보를 산출하기 위한 신호발생기와 실내지도정보를 제공하는 서버 등이 공개된바 있다. 그러나 상기 발명은 실내에서도 가상 위성정보를 이용하기 때문에 결국은 GPS를 필요로 하고 있어 GPS 없는 공간에서의 사용은 어렵다.

본 발명은 상기한 바와 같은 문제를 해결하기 위한 것으로 실내, 지하에서 사용자의 위치를 용이하게 파악하기 위한 수단을 제공하는 것을 목적으로 한다.

상기한 바와 같은 목적을 해결하기 위하여3D LiDar를 이용한3D SLAM 지도 데이터와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템을 제공하는데 특정위치에서 주위의 대상물체까지의 거리값으로 구성된 포인트 클라우드를 지도생성을 위하여 수집하기 위한 포인트클라우드수집모듈(11)과 특정위치에서 위치파악을 위하여 주위의 인프라 데이터를 수집하기 위한 인프라데이터수집모듈(13)과 포인트플라우드수집데이터를 저장하는 위치별포인트클라우드DB(21)와 인프라데이터를 저장하는 위치별인프라데이터DB(22)와 위치별포인트클라우드 데이터와 위치별인프라데이터를 묶어 그룹핑데이터DB(23)에 저장하는 위치별그룹화모듈(15)을 포함한다.

포인트클라우드 데이터로부터 지도를 생성하여 지도DB(24)에 저장하는 지도생성모듈(12)을 포함한다.

포인트클라우드 데이터는 LiDAR에 의하여 수집이 된 데이터일 수 있다.

인프라데이터는 WIFIi (rssi/ rtt,,,맥어드레스, SSID) BLE, 지자기, 기압, GPS(위도, 경도)신호, 선형가속도센싱값(ACCELEROMETER X, Y, Z),중력(GRAVITY X, Y, Z), 지자기센싱값(MAGNETIC_FIELD X, Y, Z),회전 벡터센싱값, (ROTATION_VECTOR ROLL, PITCH, YAW) 및 화상으로 어느 하나 이상을 포함할 수 있다.

포인트 클라우드로부터 피처들을 생성하는 피처생성모듈(17)과 지도에서 사용하는 POI를 표시하는 POI생성모듈(18)을 더 포함할 수 있다.

사용자단말기로부터 인프라데이터를 전송받아 사용가능한 인프라데이터로부터 그룹핑데이터DB(23)에 저장된 위치별인프라데이터와 비교하여 사용자의 위치를 결정하여 사용자의 위치를 전송하는 사용자위치인식모듈(19)을 더 포함할 수 있다.

위치별이미지DB(25)에는 각각의 위치에서 찍은 사진과 영상이 저장이 되며 그룹핑데이터를 만들때 같이 저장될 수 있다.

상기한 바와 같은 구성에 의하여 GPS를 이용하지 않고도 실내에서의 위치를 용이하게 파악하는 효과를 갖는다.

도1내지 도3은 본 발명에 따른 일실시예를 도시한다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어 야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다

이하, 첨부한 도면을 참고로 하여 본 발명을 상세하게 설명한다. 본 발명은 자동차로 이동이 불가능한 복잡한 실내환경에서도 지도 데이터와 위치 인프라 수집이 가능한 모바일 3D LiDAR과 하이브리드 위치정보 수집센서 융복합 시스템을 통해 로봇, 드론 또는 도보로 빠르게 데이터 취득이 가능하기 때문에 복잡한 공간에서의 이동제약이 거의 없다.

3D LiDAR는 레이저 펄스를 주위에 발사하고 레이저가 주위의 대상물체에서 반사되어 돌아오는 것을 받아 물체까지의 거리를 측정함으로써 주변의 모습을 정밀하게 그려내는 장치를 말하며 한쪽 방향이 아니라 주위의 3차원공간을 향해 레이저를 발사하고 반사광을 받아 대략적인 영상을 구현해낸다. 이러한 3차원의 LiDAR는 레이저 펄스를 주위에 발사해서 돌아오는 시간을 측정함으로써 반사 지점의 공간위치를 분석하여 지향을 측량하여 구조물에 따라 반사되어 돌아오는 시간이 다르므로 광학영상으로는 얻기 어려운 3차원 모델을 얻게 된다.

본 발명은 이러한 3차원 LiDAR와 실내 측위 기술을 동시에 이용하여 서비스 공간의 실내지도 포인트 클라우드 데이터와 와이파이, BLE, 지자기, 기지국 셀 정보, 이미지 등의 하이브리드 위치정보를 결합하여 실시간으로 데이터를 구축하기 때문에 수집 및 구축비용이 절감되고 별도의 맵핑과 위치보정이 필요 없게 된다.

또한, 포인트 클라우드 데이터와 하이브리드 위치정보 데이터가 결합되어 실시간으로 지도를 구축하고 머신러닝을 통해 지도 시각화 작업을 거쳐 2D와 3D지도를 생성하게 된다. 따라서, 위치정보 수집, 지도 생성, 측위서비스, 업데이트 까지 위치정보 서비스의 전체과정을 하나의 플랫폼에서 통합하여 관리하게 된다.

또한, 위치별로 각각의 위치에서 촬영가능한 사진등의 이미지를 촬영하여 위치별이미지DB(25)에 저장할 수 있다. 위치별이미지DB(25)는 위치별 그룹핑 데이터를 만들때에도 같이 포함될 수 있다.

이를 위하여 시스템서버(10)는 지도를 생성하기 위한 지도생성모듈(12)과 지도 생성을 위한 포인트클라우드를 수집하기 위한 포인트클라우드수집모듈(11)과 주위의 인프라로부터 인프라데이터를 수집하기 위한 인프라데이터수집모듈(13)을 포함한다. 포인트 클라우드 수집모듈(11)은 포인트 클라우드 수집을 위한 장비를 포함하며 3D LiDAR와 같은 장치일 수도 있으며 모바일에 포함될 수 있으며 단독으로 기능하는 형태의 장비일 수도 있다. 수집된 포인트클라우드 데이터는 위치별포인트클라우드DB(21)에 저장된다.

지도생성모듈(12)은 수집된 포인트클라우드를 이용하여 지도생성은 SLAM이 아니라도 다양한 방법으로 이루어질 수 있다. 본 발명에서는 6자유도위치인식 방식을 사용하며 특히 LiDAR는 수집위치별로 LiDAR의 고주파 레이저가 어떤 물체표면에 도달하여 반사되었을 때 해당 표면이 위치에 반사되어 측정된 점들의 그룹인 포인트 클라우드를 생성한다. 본 발명에서는 이러한 포인트 클라우드 데이터를 취득할 때 측위용 하이브리드 위치정보(혹은 인프라데이터)를 함께 취득하여 결합시킨다. 또한, 취득된 포인트 클라우드를 업데이트를 이용하여 2D 형태의 평면지도를 생성하며 3D지도의 경우에는 포인트 클라우드를 이용해 곡면, 표면을 만들어 지도를 완성하게 된다. 2D 지도의 경우 벽만을 감지하면 되기 때문에 포인트 클라우드로 평면지도가 비교적 손쉽게 만들어지며 3D지도의 경우 벽에서도 툭튀어 나온 부분이나 함몰된 부분등이 어떤식으로 이어져 있는지는 그룹화되고 반복되어 수집된 데이터를 이용하여 형성한다.

또한, 본 발명에서는 단순한 지도생성과는 다르게 수집되는 포인트 클라우드 위치에서 센서(14)에 감지되는 인프라데이터를 함께 수집한다. 인프라데이터는 WIFIi - rssi/ rtt, BLE, 지자기, 기압 정보 등을 말하며 WIFI의 경우 수집되는 위치마다 여러개의 SSID를 가진 신호가 수집될 수 있으며 같은 SSID라고 하더라도 강도신호등은 수집위치마다 다를 수 있다. 따라서 포인트 클라우드와 함께 수집되는 인프라데이터는 수집위치별로 고유한 값을 갖는다.

수집되는 인프라데이터는 모든 종류의 데이터를 전부 수집할 필요는 없으며 실내/지하 에서 접속가능한 데이터를 위주로 수집한다. 이 때 수집시간, 수집위치등도 함께 수집되는데 수집위치는 라이다의 수집위치와 매칭하여 검증된다. 또한, GPS신호가 없는 것을 기본으로 하지만 부분적으로 GPS신호가 수신되거나 하는 경우도 있기 때문에 가능하다면 GPS신호도 함께 수집한다.

모바일등에서 가능한 선형가속도 센서(ACCELEROMETER X, Y, Z), 중력센서(GRAVITY X,Y,Z), 지자기 센서(MAGNETIC_FIELD X,Y,Z)회전벡터(ROTATION_VECTOR ROLL, PITCH, YAW), 기압센서(BAROMETER) 등의 센서를 이용할 수 있으며 수집된 타입의 신호(W(와이파이), B(블루투스), C(셀) )와 그 강도(RSSI등)이나 맥어드레스의 AP 장비주소값을 사요할 수 있다 또한, 단말기에서 스캔가능한 영상에서 인식되는 층수 정보(지하 1층, 지하 2층등)이나 기타 문자로 인식한 정보도 사용이 가능하다.

LiDAR등으로 스캔 완료후 수집된 인프라데이터(WIFI, BLE, 기압등)을 서버로 전송하기 전에 위치데이터가 저장된 임시 파일 (.temp)파일을 생성하여 서버로 전송하여 서버에서는 임시파일을 측위용 DB로 변환해주는 서버로 보내며 해당 서버에서 최종적으로 측위용 DB를 만들며 이 DB를 활용해서 측위앱에서 위치를 계산한다. 본 발명에서는 편의상 다수개로 나누어 질 수 있는 서버를 통합하여 시스템 서버로 칭한다.

또한 수집된 위치 데이터 좌표는 제작된 지도의 원점좌표계와 연동되도록 하며 10cm 정도마다 수집되도록 하여 지도를 제작한다. 그러나 수집되는 데이터의 간격은 지도의 종류와 목적에 따라 달라질 수 있다.

인프라데이터 수집시 WIFI는 SSID별로 달리 수집할 수 있으며 2.4GHz, 5.0GHz를 선별하여 수지하는 것이 가능하다.

수집된 인프라데이터와 포인트 클라우드 데이터는 데이터별로 정규화되거나 가공되고 변환되어 위치별 그룹핑데이터DB(23)에 저장된다. 인프라데이터와 포인트 클라우드 데이터를 그룹핑 하기 때문에 위치별그룹화모듈(15)이 수집된 데이터를 그룹핑한다. 또한 그룹핑 되기 전에 데이터별로 정규화등의 가공 변환이 필요한 경우 데이터변환모듈(16)에 의하여 변환된다.

이러한 데이터를 지도로써 사용자가 사용하기 위해서는 시각화할 필요가 있으며 피처생성모듈(17)은 포인트 클라우드를 분석하여 코너, 표면`과 같은 피처(feature)들을 생성하여 지도에 표시한다.

또한 지도에는 POI생성모듈(18)이 지도에 따라서필요한 POI를 표시하도록 한다. 이러한 방식으로 만들어진 지도는 지도DB(24)에 저장이 된다. 사용자가 사용하는 시각화된 형태의 지도가 저장되며 주차장이나 실내에서의 안내를 위해 인프라데이터가 필요한 경우 위치별그룹핑데이터DB(23)를 참조하게 된다. 지도DB(24)를 액세스할 때 필요한 경우 위치별이미지DB(25)를 참조하거나 위치별로 그룹핑을 할때 위치별이미지도 함께 그룹핑되어 사용하도록 할 수 있다.

이러한 방식으로 제작된 지도를 사용자단말기에서 구동하는 경우 사용자 단말기의 위치를 확인하기 위해서는 사용자위치인식모듈(19)이 필요하다. 사용자 위치인식모듈(19)은 사용자단말기에서 위치인식을 위해 필요한 인프라데이터값을 센싱하여 전송하면 사용자단말기에서 센싱하여 전송된 인프라데이터값으로 부터 사용자위치를 인식하여 사용자단말기로 위치값을 송신할 수 있으며 이 때 지도정보와 함께 송신할 수 있다.

사용자단말기가 모든 인프라데이터값을 센싱하지 못한다고 하더라도 일부 혹은 와이파이 관련 신호 만으로도 사용자위치값을 파악하는 것이 가능하다.

다음은 실내에서 위치판단을 위하여 특정위치에서 인프라데이터값을 이용하는 일 예를 보여준다. 이러한 정보는 위치별인프라데이터DB(22)에 저장이 되어 있다. 다음 실시예에서 사용되는 값은 해당 장소에서 측정가능한 일부의 인프라데이터를 이용한다.

가. 실내위치에서 센싱되는 가장 가까운 해면기압 : 1011 → 해면기압으로 계산한 격리위치에서의 높이 : 44m

나. WIFI 스캔 정보 리스트

- Mac address : b04e2602518b

- SSID : New_odshow_2,4G

- RSSI : -45

다. 기지국 스캔 정보 리스트

- CID : 14030125

- PCI : 251

- RSRP : -76

라. 스캔한 Bluetooth 정보

- address : 88 : 4A : 70 : 27 : 21 : 7B

- RSSI : -48

- Name : SPEN 01

아래는 사용자단말기에서 센싱되는 정보를 보여준다.

가. 해면기압: 1012 → 높이 : 42m

나. Wifi 스캔 정보 리스트

- Mac address : b04e2602518b

- SSID : New_odshow_2,4G

- RSSI : -45

다. 기지국 스캔 정보 리스트

- CID : 14030125

- PCI : 251

- RSRP : -73

라. 스캔한 Bluetooth 정보

- address : 88 : 4A : 70 : 27 : 21 : 7B

- RSSI : -48

- Name : SPEN 01

위의 비교에서 사용되는 블루투스나 WIFI정보는 여러 개가 사용될 수 있는데 고도의 경우는 사전에 설정한 층간 고도범위에서 약 4m 정도의 오차 범위는 허용될 수 있으며

Wifi의 경우 매칭되는 WIFI 의 Mac Address 매칭 여부를 판단하고 매칭 개수가 1개 이상인경우 판단하는데 환경에 따라 매칭개수는 조절하는 것이 가능하다. 또한, RSSI를 비교하는데 약 10dBm 정도의 오차범위는 허용된다. 이때 신호세기 컷오프는 조절가능하다.

기지국은 CID, PCI 매칭 여부를 판단하고 RSRP를 비교하는데 8dBm 이내의 오차범위는 허용될 수 있다. 본 발명에서 사용한 '오차범위'는 환경에 따라 초기 세팅값을 설정하고 주어진 오차범위안에서만 허용한다.

Bluetooth는 Address, Name 매칭 여부를 판단하고 RSSI를 비교하는데 10 dBm내의 오차범위는 허용될 수 있다.

특정위치에서 여러번의 측정을 통하여 개별 인프라데이터의 평균과 표준 편차를 구하여 표준편차 내에 들어오는 값으로 매칭여부를 판단할 수 있다.

구체적으로 각 단계별로 설명을 한다.

제1단계는 규격화된 3차원 실내지도를 제공하는 단계로서 3D LiDAR를 이용하여 실내공간에서 도면없이 신속하고 정확하게 사물과 공간구조 정보를 획득하여 규격화된 3차원실내 지도를 작성한다.

LiDAR 기반 6 자 유도 위치 인식은 여섯 개의 운동방향을 파악하여 현재의 위치를 파악하는데 1DOF 는 앞, 뒤 이동 (Y 수직), 2DOF 는 좌, 위 이동 (X 수평), 3DOF 는 상,하 운동(Z 깊이)의 3가지 자유도는 Position 위치이고, 4DOF 는 앞, 뒤 기울기 (Pitch), 5DOF 는 좌,우 기울기(Roll), 6DOF 는 좌,우 회전 (Yaw)의 3 가지 자유도는 Orientation (회전, 기울기) 임. 6DOF 는 가감속도를 제어하는 가속센서, 수평을 잡는 자이로 센서를 기본으로 위치를 인식한다.

또한, 수집 위치별 포인트 클라우드(LiDAR 의 고주파 레이저가 어떤 물체표면에 도달하여 반사되었을 때 해당 표면의 위치에 반사되어 측정된 점들의 그룹)을 생성한다. 이러한 실내 지도는 3D LiDAR를 지원하는 장비에 의하여 미리 작성된다.

통상 3D LiDAR 기반의 Mobile 3D SLAM 기술은 자동차로 이동이 불가능한 지형에서 로봇, 드론 또는 도보로 지도 데어터를 점진적으로 구축하는 동시에, 지도 내에서 자신의 위치를 결정하는 문제를 해결하는 기술인데 보통 자율주행이나 이동형 로봇에 주로 사용되나 이동이 가능한 도보용으로 제작함으로서 복잡한 환경이나 실내 공간에서도 쉽고 빠르게 3D SLAM 데이타를 수집할 수 있다.

보통 3D SLAM 에 활용되는 센서 및 기타 장비 가격은 고가여서 경제성 부분에서 적용하기가 쉽지않지만 도보용에 적합한 컴팩트한 3D SLAM 세트를 구성해 경제성을 확보 및 복잡한 실내공간의 제약을 극복하였으며 또한 3D SLAM 데이타 구축과 동시에 실내 위치 측위시 필요한 하이브리드 위치 정보 데이타를 획득하기 위한 Wi-Fi, BLE, 지자기, 기지국 스캐너, 이미지 카메라 등을 함께 연결하여 유연한 확장성을 확보하였다. 따라서 3D Map Construction 용 특징점 매칭을 통한 위치보정및 지도작성에 활용되는 3D 포인트 클라우드 데이터를 구축할 수 있다.

제2단계에서 측위용 하이브리드 위치정보 데이터를 수집하여 데이터베이스화한다. 하이브리드 위치정보 데이터라는 것은 GPS를 이용하여 위치정보 데이터를 수집하는것 이외에 주로 모바일폰에 있는 다른 센서들을 이용하여 (GPS, WiFi - rssi/ rtt, BLE, 지자기, 기압, UWB) 위치정보 데이터를 수집하는 것을 말한다. 주로 GPS가 작동하지 않는 실내에서의 위치정보를 확인하기 위하여 사용될 수 있다.

모바일에 내장된 센서를 활용하는데 수집자가 이동하면서 자동으로 측위에 사용되는 인프라 정보(WiFi - rssi/ rtt, BLE, 지자기, 기압)정보등을 획득하며 수집된 각각의 측위 인프라 정보를 인프라 별로 변환 가공하여 별도의 DB화 하여 제공한다. 사업자가 필요로 하는 경우 수집 DB를 로딩하고 필터링 한 뒤 적절한 형식의 DB를 제공하게 된다. 이때 제1단계에서 얻은 실내지도를 이용하여 실내지도의 각각의 위치에서의 인프라별 정보를 수집한다.

제3단계에서는 제1단계에서 수집한 실내 포인트 클라우드데이터와 제2단계에서 획득한 측위용 하이브리드 위치정보를 결합하여 지도내에서 위치별로 그룹화하여 업데이트한다. 수집한 클라우드 데이터는 2D의 경우 사각형으로 3D지도의 경우 육면체의 복셀로 분리하여 지형의 형태를 판단하고 측위용 수집 데이터를 맵핑한다. 이러한 방식으로 2D 형태의 평면지도와 3D 형태의 입체 지도중 어느 하나 이상을 얻는다,

제4단계는 지도를 시각화하는 단계로서 수집한 포인트 클라우드를 분석하여 코나와 표면, 겉면을 생성하며 각 위치별로 수집된 이미지를 분석하여 POI(point of index)를 생성하고 위치를 맵에 매핑시킨다. 시각화시킨 데이터를 토대로 맵을 생성한다. 이 때 후보정이 가능한 형태의 파일포맷으로 형성할 수 있다.

제5단계는 사용자 위치 인식 보정 알고리즘을 이용하여 사용자의 위치를 측위하는데 Wifi, BLE, Cell, 기압 등의 정보를 활용하여 사용자 단말기의 방향 정보를 생성하고 이를 이용하여 단말 위치정보를 측위하게 된다. 이때 정지해있는 사람이 아닌 보행자/운행자임을 고려하여 측위하게 된다.

도1은 본 발명에 따른 시스템의 구성도를 도시하며 도2는 사용자 위치안내를 위한 시스템의 수행절차를 도시한다. 도3은 2D 형태로 제작되어 사용자의 위치를 도시하기 위한 지도를 도시한다.

10: 시스템서버 11: 포인트클라우드수집모듈
12: 지도생성모듈 13: 인프라데이터수집모듈
14: 센서 15: 위치별그룹화모듈
16: 데이터변환모듈 17: 피쳐생성모듈
18: POI생성모듈 19: 사용자위치인식모듈
21: 위치별포인트클라우드DB 22: 위치별인프라데이터DB
23: 위치별그룹핑데이터DB 24: 지도DB
25: 위치별이미지DB(25)

Claims

3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템으로서, 특정위치에서 주위의 대상물체까지의 거리값으로 구성된 포인트 클라우드를 지도생성을 위하여 수집하기 위한 포인트클라우드수집모듈(11)과
특정위치에서 위치파악을 위하여 주위의 인프라 데이터를 수집하기 위한 인프라데이터수집모듈(13)과
포인트플라우드수집데이터를 저장하는 위치별포인트클라우드DB(21)와
인프라데이터를 저장하는 위치별인프라데이터DB(22)와
위치별포인트클라우드 데이터와 위치별인프라데이터를 묶어 그룹핑데이터DB(23)에 저장하는 위치별그룹화모듈(15)을 포함하는, 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
제1항에 있어서, 포인트클라우드 데이터로부터 지도를 생성하여 지도DB(24)에 저장하는 지도생성모듈(12)을 포함하는, 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
제2항에 있어서, 포인트클라우드 데이터는 LiDAR에 의하여 수집이 된 데이터인 , 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
제3항에 있어서, 인프라데이터는 WIFIi (rssi/ rtt,,,맥어드레스, SSID) BLE, 지자기, 기압, GPS(위도, 경도)신호, 선형가속도센싱값(ACCELEROMETER X, Y, Z),중력(GRAVITY X, Y, Z), 지자기센싱값(MAGNETIC_FIELD X, Y, Z),회전 벡터센싱값, (ROTATION_VECTOR ROLL, PITCH, YAW) 및 화상으로 어느 하나 이상을 포함하는, 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
제4항에 있어서, 포인트 클라우드로부터 피처들을 생성하는 피처생성모듈(17)과 지도에서 사용하는 POI를 표시하는 POI생성모듈(18)을 더 포함하는, 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
제5항에 있어서, 사용자단말기로부터 인프라데이터를 전송받아 사용가능한 인프라데이터로부터 그룹핑데이터DB(23)에 저장된 위치별인프라데이터와 비교하여 사용자의 위치를 결정하여 사용자의 위치를 전송하는 사용자위치인식모듈(19)을 더 포함하는, 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템
제6항에 있어서, 위치별이미지DB(25)에는 각각의 위치에서 찍은 사진과 영상이 저장이 되며 그룹핑데이터를 만들때 같이 저장되는, 3D LiDar를 이용한3D SLAM 포인트 클라우드와 하이브리드 위치 정보를 결합한 머신 러닝 기반의 실내 지도 자동 생성 시스템