KR20240091615A

KR20240091615A - 도시 데이터의 센서맵 이미지에 기초하여 구축된 인공지능 신경망 기반 측위 방법 및 그 장치

Info

Publication number: KR20240091615A
Application number: KR1020220174716A
Authority: KR
Inventors: 전영준; 김태엽; 김병석; 강달현
Original assignee: 파파야 주식회사; 제이아이엔시스템 주식회사
Priority date: 2022-12-14
Filing date: 2022-12-14
Publication date: 2024-06-21

Abstract

본 발명의 실시 예에 따른 도시 서비스 정보를 제공하는 서비스 제공 장치의 동작 방법은, 복수의 휴대용 단말기로부터 수집되는 도시 데이터의 다중 신호로부터 변환된 센서맵 이미지에 기초하여, 인공지능 위치 신경망 학습 기반 측위 모델을 구축하는 단계; 제1 휴대용 단말기의 도시 서비스 정보 요청으로부터, 현재 위치 센서맵 이미지를 획득하는 단계; 상기 현재 위치 센서맵 이미지를, 상기 인공지능 위치 신경망 학습 기반 측위 모델에 적용하여, 현재 위치 예측 정보를 획득하는 단계; 및 상기 현재 위치 예측 정보를 이용한 도시 서비스 정보를 상기 제1 휴대용 단말기로 제공하는 단계를 포함한다.

Description

도시 데이터의 센서맵 이미지에 기초하여 구축된 인공지능 신경망 기반 측위 방법 및 그 장치{A positioning method based on artificial intelligence neural network based on sensor map images of city data and an apparatus using it}

본 발명은 측위 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 도시 데이터의 센서맵 이미지에 기초하여 구축된 인공지능 신경망 기반 측위 방법 및 그 장치에 관한 것이다.

*본 발명은 과학기술정보통신부 과제로서, 제주특별자치도 제주테크노파크에서 주관하는 "2022년 도시데이터기반 SW융합 서비스 개발 및 상용화 지원" 사업의 "실내 신호 데이터 구축과 이를 통한 안전 활용체계 구축" 연구과제를 통해 창출된 것이다.

최근 대부분의 스마트폰에 GPS(Global Positioning System)가 탑재되기 시작하면서 실생활의 다양한 영역에 위치기반서비스가 활용되기 시작했다. 특히 스마트폰의 각종 앱(APP)에서 GPS를 자유롭게 이용할 수 있게 되면서 위치 정보와 다양한 서비스의 결합이 이루어지게 되었다.

그러나 GPS 위성에서 발생된 신호는 2만km 가 넘는 대기를 통과하면서 매우 약해지기 때문에 건물 내부까지 침투하는 것은 불가능하다. 따라서 실내에서는 길안내(내비게이션) 서비스와 같은 위치기반 서비스를 이용할 수없는 상황이다. 왜냐하면 대부분의 위치기반 서비스가 GPS에 의존적인 상황이기 때문이다.

이를 해결하기 위해, 다양한 실내 위치 측위 방법들이 제안되고 있다. 현재까지 알려진 실내 위치 측위 기술은 무선기지국 및 실내 측위를 위해 수집된 무선랜(WiFi) AP 정보만을 이용하여 실내의 위치를 측위 하는 방식과, GPS/기지국/WiFi/자기장 정보를 이용한 실내외 위치를 연속 측위 하는 방법 등이 제안되어 있다.

또한, 실내의 위치 측위를 위한 데이터 수집은 관련된 사람 직접 수집을 하거나, 관련 소프트웨어를 이용하여 무선랜(WiFi) AP 신호 정보를 수집하여 맵을 제작하는 핑거프린팅 방식들이 예시된다.

그러나, 대형화되고 있는 건물의 증가에 따라 실내공간에서의 활동시간이 급증하고 있는 현재 시점에서도 실내 측위 기술의 정확도는 여전히 미흡한 상태이다.

특히, 실내 신호를 수집하여 맵을 구축하고 유지하는 것은 건물의 정확한 도면과 숙련된 전문가가 있어야 하므로 그 비용이 높게 소요되며, 무선 신호를 삼각측량으로 측위하더라도 그 위치 정확도가 수십미터의 오차를 가져 실 사용에는 미흡한 측면이 존재한다.

나아가 지자계를 이용한 측위기술은 범용성이 떨어지며, 위치에 따른 고유성이 없고 미리 정해진 경로로만 측위가 가능한 바, 일부의 자기장이 변경되는 경우 모든 맵을 다시 구축해야만 하는 문제점이 있다.

이러한 이유로, 한시적으로 건설된 공간이나 터널, 주차장, 전시장 등의 특수환경에서는 적용이 어려운 문제점들이 존재하고 있다.

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 통상의 휴대용 단말기에서 수집되는 도시 데이터를 다중 신호로서 수집하고, 다중 신호의 센서맵 이미지로부터 구축되는 인공지능 신경망 기반의 측위 네트워크를 이용하여, 실내 좌표를 저비용으로 정확하게 측위하면서도 다양한 환경에 적용시킬 수 있는 측위 시스템을 제공하는 데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 시스템은, 실내 측위 시스템에 있어서, 휴대 단말로부터 위치 정보에 대응하여 센싱된 다중 신호를 수집하는 다중 신호 수집부; 상기 다중 신호에 대응하는 이미지화 처리를 수행하는 이미지화 처리부; 상기 이미지화 처리된 데이터 및 상기 이미지화 처리된 데이터 간 유사도를 기반으로, 측위 정보를 출력하도록 하는 인공지능 신경망 기반의 실내 좌표 측위 모델을 구축하는 위치 신경망 학습부; 및 상기 인공지능 신경망 기반의 실내 좌표 측위 모델을 이용하여, 실내 측위 정보를 제공하는 학습 모델 기반 측위 서비스 제공부를 포함한다.

본 발명의 실시 예에 따르면, 휴대 단말로부터 위치 정보에 대응하여 센싱된 다중 신호를 센서맵 이미지화 처리하고, 센서맵 이미지의 학습을 기반으로 측위 정보를 출력하도록 하는 인공지능 신경망 기반의 실내 좌표 측위 모델을 구축할 수 있으며, 이에 기초한 학습 모델 기반 실내 측위 서비스를 제공할 수 있다.

이에 따라, 통상의 휴대용 단말기에서 수집되는 다양한 신호들을 다중신호로서 수집하고, 이러한 다중신호 빅데이터를 이용하여 구축된 인공지능 신경망 기반의 측위 네트워크를 이용하여, 실내 좌표를 저비용으로 정확하게 측위하면서도 다양한 환경에 적용시킬 수 있는 측위 시스템을 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예 구현을 위한 서비스 플랫폼을 예시한 도면이다.
도 3은 본 발명의 실시 예에 따른 다중신호를 보다 구체적으로 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 신경망 구축 프로세스를 설명하기 위한 도면이다.
도 5 내지 도 10은 본 발명의 실시 예에 따라 구축된 신경망의 특징 및 측위 프로세스를 설명하기 위한 도면들이다.
도 11은 본 발명의 실시 예에 따른 측위 서비스 프로세스를 설명하기 위한 도면이다.
도 12는 본 발명의 실시 예에 따른 다양한 서비스 시스템의 구현예를 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.

본 발명의 일 실시 예에 따른 전체 시스템은 휴대용 단말기(200), 측위 시스템(100) 및 서비스 제공 장치(300)를 포함한다.

측위 시스템(100)은, 본 발명의 실시 예에 따른 측위 서비스 제공을 위해, 각 휴대용 단말기(200) 및 서비스 제공 장치(300)와 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.

여기서 상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

그리고, 휴대용 단말기(200)는, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), PDA(Personal Digital Assistants) 중 어느 하나의 개별적 기기일 수 있으며, 도시 데이터 환경으로부터 수집되는 다양한 센서 정보를 실내 및 실외 측위를 위한 다중 신호로 구성하고, 구성된 다중 신호를 위치 매핑 정보와 함께 측위 시스템(100)으로 전송하여, 센서맵 이미지 기반의 위치 신경망 학습 모델이 구축되도록 처리할 수 있다.

또한, 상기 다중 신호 중 기압계 신호는 별도 신호로 구성되어, 측위 시스템(100)의 상대기압맵 모델 기반 층수 측위부(150)로 전달될 수 있다.

또한, 휴대용 단말기(200)는, 다중 신호에 기초한 센서맵 이미지를 구성하고, 센서맵 이미지에 대응하는 위치 정보 기반 도시 서비스 정보를 서비스 제공 장치(300)로 요청할 수도 있다. 이 경우, 서비스 제공 장치(300)는 측위 시스템(100)을 이용하여 상기 센서맵 이미지에 기초한 위치 신경망 학습 모델의 위치 예측 정보를 획득하고, 획득된 위치 예측 정보를 이용하여 위치 정보 기반 도시 서비스 정보를 구성하여 휴대용 단말기(200)로 제공할 수 있다.

본 발명의 실시 예에서 상기 다중 신호는, 다양한 도시 환경의 도시 데이터 신호로부터 수집될 수 있으며, 와이파이 신호, 블루투스 신호, GPS/GLONASS 신호, 모바일 네트워크 신호, 지자기 센서 신호, 가속도 센서 신호, 기압계 신호 중 적어도 하나를 포함할 수 있는 바, 휴대용 단말기(200)에 통상적으로 구비되는 다양한 환경 센서들의 신호들을 행렬 결합하고, 정규화 등의 전처리를 수행하여 상기 다중 신호가 구성될 수 있다.

그리고, 측위 시스템(100)은, 휴대용 단말기(200)의 다중 신호에 대응하는 센서맵 이미지와, 위치 매핑 정보의 연관 학습을 통해 인공지능 신경망 기반의 측위 모델을 구축할 수 있으며, 구축된 인공지능 신경망 기반의 측위 모델을 이용하여, 이후 요청되는 센서맵 이미지에 대한 위치 예측 정보를 출력할 수 있다. 여기서 상기 위치 예측 정보는, 실내 또는 실외 좌표에 대응하는 2차원 측위 예측 정보와, 상대기압맵 모델 기반으로 예측되는 수직 측위 예측 정보 중 적어도 하나를 포함할 수 있는 바, 2차원 및 수직 예측에 따른 3차원 위치 정보 예측이 가능하게 된다.

또한, 서비스 제공 장치(300)는, 이러한 측위 시스템(100)의 측위 예측 정보를 이용하여, 다양한 측위 기반 데이터 서비스를 휴대용 단말기(200)로 제공할 수 있다. 또한, 서비스 제공 장치(300)는, 이러한 서비스 제공을 위한 서비스 제공부(미도시)를 구비할 수 있는 바, 서비스 제공부는 서비스 제공 프로세스를 처리하는 하나 이상의 프로세서로 구성될 수 있다.

보다 구체적으로, 도 1을 참조하면, 본 발명의 실시 예에 따른 측위 시스템(100)은, 센서맵 이미지 수집부(110), 위치 신경망 학습부(130), 상대기압맵 모델 기반 층수 측위부(150) 및 학습 모델 기반 측위 서비스 제공부(140)를 포함한다.

먼저, 센서맵 이미지 수집부(110)는, 휴대용 단말기(200)에서 센싱된 다중 신호와, 위치 정보에 대응하여 구성된 센서맵 이미지 데이터를 수집한다.

여기서, 상기 다중 신호는 스마트폰 등에서 수신 가능한 모든 센서 신호를 <KEY, VALUE> 페어로 변환하여 구성한 복합 위치 정보로 구성될 수 있으며, 각 센서 신호는 전처리에 따라 스마트폰 등의 단말기 기종에 무관하도록 정규화(NORMALIZATION) 처리된 센서 신호를 포함할 수 있다.

이러한 다중 신호는 휴대용 단말기(200)에서 수집되는 전파 신호 및 센서 모듈 데이터 신호를 포함할 수 있으며, 예를 들어, 와이파이 브로드캐스트 신호, 블루투스 어드버타이즈 신호, 모바일 네트워크의 기지국 신호, GPS RAW 데이터 신호 등의 전파 신호와, 가속도계, 자기장 센서, 방향 센서, 기압계 신호 등의 센서 모듈 데이터 신호를 포함할 수 있다.

그리고, 센서맵 이미지 수집부(110)는, 전처리된 다중 신호로부터 구성된 센서맵 이미지 데이터를 수집한다. 여기서, 상기 센서맵 이미지 수집부(110)는, 휴대용 단말기(200)로부터 수신되는 다중 신호에 대한 센서맵 이미지를 직접 구성하거나, 휴대용 단말기(200)에서 생성하여 전송한 상기 다중 신호에 대응하는 센서맵 이미지를 수신할 수 있다.

여기서, 상기 센서맵 이미지는, 상기 다중 신호를 이용하여 구성된 복합 신호를 이미지화 처리한 데이터로서, 특정 시점의 특정 위치에서 수집된 다중 신호를 하나의 이미지로서 나타내는 이미지 데이터를 포함할 수 있다. 여기서, 상기 센서맵 이미지는 측위 정보에 대응하여 구성되는 다중 신호의 이미지 정보로서, 복합 픽셀 위치 및 픽셀별 색상 정보를 포함하며, 센서맵 이미지는 위치 정보, 사용자 ID, 디바이스 ID, 타임스탬프 및 시스템 위치 정보와 함께 매핑되어 수집될 수 있다. 센서맵 이미지 수집부(110)는, 이러한 센서맵 이미지를 하나의 위치를 나타내는 고유의 특성 정보로서 관리하며, 이는 지문 정보(FINGER PRINT) 데이터베이스로 구성될 수 있다.

이에 따라, 위치 신경망 학습부(130)는, 상기 센서맵 이미지와 측위용 위치 정보 간 관계성을 학습하고, 상기 센서맵 이미지 간 유사도를 기반으로, 측위 정보를 출력하도록 하는 인공지능 신경망 기반의 실내 좌표 측위 모델을 구축한다. 여기서, 상기 인공지능 신경망은 CNN, DNN, RNN, LSTM 등의 알려진 신경망 학습 방법이 이용될 수 있으나, 바람직하게는 본 발명에서 제안하는 PNN(Positioning Neural Network) 모델이 이용될 수 있다.

그리고, 학습 모델 기반 측위 서비스 제공부(140)는, 상기 인공지능 신경망 기반의 측위 모델을 이용하여, 서비스 제공 장치(300)의 요청에 따른 실내 측위 정보를 제공한다.

보다 구체적으로, 상기 센서맵 이미지는, 상기 다중 신호의 종류, 개수 및 강도에 따라, 색상 크기 및 농도(또는 강도, intensity)가 상이한 별자리 이미지 객체를 포함하도록 구성될 수 있다.

이러한 별자리 이미지 객체 구성에 따라, 정규화된 다중 신호는 하나의 별자리 이미지로서 변환될 수 있으며, 별자리 이미지는 수집된 위치를 대표하는 신호맵 역할을 수행할 수 있다. 또한, 별자리 이미지는 빅데이터화되어 인공지능 신경망 구축에 효과적으로 이용될 수 있다.

그리고, 위치 신경망 학습부(130)는, 상기 별자리 이미지 객체간 유사도 비교를 위한 다차원 활성 함수를 이용하여 측위 예측 정보를 다차원으로 학습하는, 상기 별자리 이미지 객체의 딥러닝 기반 위치 신경망(Positioning Neural Network, PNN) 모델을 구축할 수 있다.

본 발명의 실시 예에 따른 위치 신경망 모델은, 별자리 이미지 비교에 특화된 퍼셉트론(PERCEPTRON) 신경망일 수 있으며, 각각의 이미지의 모든 별(이미지 객체 픽셀)에 대응하는 퍼셉트론이 존재하도록 구성될 수 있다.

또한, 별자리 이미지는 동일한 위치 정보에 매핑된 신호픽셀을 연결하는 이미지일 수 있으며, 이에 기초한 퍼셉트론 학습 및 비교 과정을 최적화함에 따라 고속화된 학습 프로세스가 수행될 수 있다.

나아가, 위치 신경망 학습부(130)는 2개의 입력에 대응하는 3차원 또는 다차원 활성화 함수를 적용하여 신경망을 구축하며, 불연속(DISCRETE)의 함수를 최적화하여 보다 정확한 측위 정보가 구성되도록 처리한다.

예를 들어, 두 별자리 이미지가 비슷할수록 그 유사도 기반 거리는 가깝게 산출될 수 있으며, 별자리 이미지 모양이 다를수록 그 유사도 기반 거리가 멀게 산출될 수 있는 바, 이러한 유사도 정보를 이용하여 구축된 신경망으로 미리 매핑된 위치 정보를 예측하도록 하는 학습을 수행하면, 다양하고 특수한 환경에서도 측위가 가능하도록 특화된 측위 서비스를 제공할 수 있게 된다.

그리고, 서비스 제공 장치(300)는, 휴대용 단말기(200)의 요청에 따라, 실내 측위 정보 기반의 다양한 도시 서비스 정보를 휴대용 단말기(200)로 제공할 수 있다.

예를 들어, 휴대용 단말기(200)는, 현재 시점에 수집된 센서맵 이미지를 이용한 도시 정보 서비스 요청을 서비스 제공 장치(300)로 전송할 수 있으며, 서비스 제공 장치(300)는, 센서맵 이미지에 대응하는 위치 예측 정보를 측위 시스템(100)로부터 획득하고, 획득된 위치 예측 정보를 이용하여 구성되는 도시 서비스 정보를 휴대용 단말기(200)로 제공할 수 있다.

이러한 도시 서비스는, 특히 건물 내 위치 안내, 지하시설 공간 등 난수신 환경에서의 측위 안내, 정밀위치 안내 서비스, 도심 위치정보서비스와, 각종 CCTV와 연계한 시설물 안전관리 서비스, 사용자 긴급구조 서비스 등이 예시될 수 있다.

이와 같은 시스템 구축에 따라, 본 발명의 실시 예에 따른 측위 시스템(100)은, 다양한 건물, 특수환경에 적합한 측위 모델들을 구축할 수 있으며, 구축 비용 및 시간을 저감시킬 수 있는 장점이 있다.

한편, 본 발명의 실시 예에 따른 상대기압맵 모델 기반 층수 측위부(150)는, 상기 다중 신호 중 휴대용 단말기(200)로부터 센싱된 기압계 신호를 획득하고, 기압계 신호 학습 모델에 기초한 층수 측위를 처리하여, 학습 모델 기반 측위 서비스 제공부(140)로 전달할 수 있다.

이에 따라, 학습 모델 기반 측위 서비스 제공부(140)는, 상대기압맵 모델 기반 층수 측위부(150)에서 구축된 상대기압맵 모델에 휴대용 단말기(200)의 현재 기압 신호를 적용하여, 현재 층수 정보를 측위할 수 있다.

이에 따라, 서비스 제공 장치(300)는, 상기 현재 층수 정보를 이용하여, 수직 측위 정보를 획득하고, 이에 기초한 위치 정보 서비스 처리를 더 수행할 수 있다.

보다 구체적으로, 상대기압맵 모델 기반 층수 측위부(150)는, 상대기압 페어에 기초하여 상대기압맵을 생성하는 상대기압맵 생성기 및 상기 기압 신호와, 상기 휴대 단말의 진입층 정보를 상기 상대기압맵에 적용하여 상기 현재 층수 정보를 측위하는 층수 추정기를 포함할 수 있는 바, 보다 정밀한 층수 추정이 가능하다.

나아가, 상대기압맵 모델 기반 층수 측위부(150)는, 상기 현재 층수 정보와 상기 기압 신호를 이용하여, 상기 상대기압맵의 기준층(예를 들어, 1층) 기압 정보를 갱신할 수 있으며, 외부로부터 수신되는 날씨 정보를 이용하여, 상기 상대기압맵의 오차 보정을 실시간으로 수행할 수 있는 바, 실시간으로 갱신되는 정확한 상대기압맵 기반의 층수 측위가 가능하게 된다. 이에 대하여는 보다 구체적으로 후술하도록 한다.

도 2는 본 발명의 실시 예에 따른 측위 모델 구축 프로세스를 도시한 도면이다.

도 2를 참조하면, 먼저 휴대용 단말기(200)에서는, 실내 위치 정보 수집 어플리케이션을 실행한다(S101).

그리고, 휴대용 단말기(200)는, 실내 도면 상에서 현재 위치 정보를 지정하는 지정 신호를 획득한다(S103).

또한, 휴대용 단말기(200)는 지정된 위치 정보에 대응하는 추가 정보를 입력받을 수 있다(S105).

이후, 휴대용 단말기(200)는, 위치 정보에 대응하여 수집되는 도시 데이터를 전처리하여 구성된 다중 복합 신호를 구성한다(S107).

그리고, 휴대용 단말기(200)는, 다중 복합 신호와 위치 정보를 매핑하여 원시 데이터를 생성하며(S109), 생성된 원시 데이터를 이용한 센서맵 이미지를 구성한다(S111).

여기서, 상기 S111 단계는, 다중 복합 신호와 위치 정보를 휴대용 단말기(200)로부터 수집한 측위 시스템(100)에서 처리될 수도 있다.

그리고, 이와 같이 구성된 센서맵 이미지 및 원시 데이터는 측위 시스템(100)에서 인공지능 신경망 학습 기반의 측위 모델을 구축하는데 이용된다(S113).

도 3은 본 발명의 실시 예에 따른 센서맵 이미지 기반 도시 서비스 정보 제공 프로세스를 설명하기 위한 래더 다이어그램이다.

도 3을 참조하면, 본 발명의 실시 예에서 측위 시스템(100) 및 서비스 제공 장치(300)는 하나의 서비스 제공 시스템으로서 구축되어, 휴대용 단말기(200)로 도시 정보 서비스를 제공할 수 있다. 따라서, 서비스 프로세스의 수행에 따라, 측위 시스템(100)의 각 구성 요소는 서비스 제공 장치(300)의 일 요소로서 포함되도록 구성될 수도 있다.

도 3을 참조하면, 본 발명의 실시 예에 따른 휴대용 단말기(200)는, 먼저 도시 데이터로부터 다중 복합 신호를 구성한다(S201).

도 3의 실시 예에서 상기 휴대용 단말기(200)는, 도 2에서의 학습 모델 구축 이후에 실제 도시 정보 서비스를 제공받는 별도의 단말기로서, 특정한 제1 휴대용 단말기라고도 지칭할 수도 있다.

이후, 휴대용 단말기(200)는, 현재 위치에 대응하는 센서맵 이미지를 생성한다(S203).

그리고, 휴대용 단말기(200)는, 센서맵 이미지를 포함하는 도시 서비스 정보를 요청을 서비스 제공 장치(300)로 전송한다(S205).

이후, 서비스 제공 장치(300)는, 센서맵 이미지에 대응하는 위치 예측 정보를 측위 시스템(100)으로 요청한다(S207).

측위 시스템(100)은, 사전 구축된 측위 신경망 학습 모델을 이용하여, 위치 정보를 예측하며(S209), 예측된 위치 예측 정보를 서비스 제공 장치(300)로 전달한다(S211).

여기서, 상기 위치 예측 정보는, 2차원 수평 위치 정보로서 2차원 위치 좌표 정보를 포함할 수 있으며, 수직 위치 정보로서 수직 좌표 정보 또는 건물 층수 정보를 포함할 수 있다.

그리고, 서비스 제공 장치(300)는, 위치 예측 정보를 이용한 도시 서비스 정보를 생성하며(S213), 생성된 도시 서비스 정보를 휴대용 단말기(200)로 제공한다(S215).

도 4 및 도 5는 본 발명의 실시 예에 따른 센서맵 이미지 기반의 위치 신경망 구축 프로세스를 보다 구체적으로 설명하기 위한 도면이다.

먼저 도 4를 참조하면, 다중 신호는 도시 데이터로부터 휴대용 단말기(200)가 수집 가능한 실내 신호, 실외 신호, 단말기 센서 신호로 구분될 수 있으며, 각 구분된 신호는 개별 해시 처리를 기반으로 하여 전처리된 복합 위치 정보로 구성될 수 있고, 복합 위치 정보에 대응하는 색상 및 강도 정보가 결정되면, 다중 복합 신호의 센서맵 이미지가 구성될 수 있다.

또한, 도 5를 참조하면, 본 발명의 실시 예에 따른 센서맵 이미지는 별자리 이미지로 구성될 수 있는 바, 별자리 이미지의 측위 신경망(PNN) 학습에 따라, 실내 측위용 빅데이터 학습 모델이 구축될 수 있다.

특히, 도 5에서는 상기 다중 복합 신호를 센서맵 이미지의 별자리 이미지로 변환하는 과정을 나타내는 바, 다중 신호(SIGNAL)는 KEY 값과 VALUE 값의 페어(PAIR)로 변환될 수 있다. 그리고, 다중 신호는 정규화 프로세스에 의해 정규화되며, KEY 정보는 해싱 프로세스에 의해 별자리 이미지 객체 픽셀의 X, Y좌표 및 컬러로서 변환되고, VALUE 값은 강도(INTENSITY)로 결정되어 객체의 농도(또는 강도)로 변환된 값을 나타낼 수 있다.

도 5를 참조하면, 예를 들어, 다중 복합 신호는 각 신호별로 다양한 요소 정보를 포함할 수 있다. 전파 신호의 경우, 와이 파이 신호는 AP의 개수, AP 각각의 MAC Address, 신호 강도(RSSI) 정보를 포함할 수 있으며, 모바일 네트워크 신호는 기지국의 개수, 각각의 기지국 주소, 신호 강도 정보를 포함할 수 있으며, 블루투스 신호는 블루투스 비컨의 개수, 각각의 비컨의 MAC Address, 신호 강도(RSSI) 정보를 포함할 수 있으며, GPS 신호는 GPS 신호, GLONASS 신호, NMEA 메시지 전체 정보, 위성의 개수 정보, GPS 신호에 대응하는 각각의 위성 번호 정보, 각 위성의 신호 강도 정보를 포함할 수 있다. 또한 센서 모듈 신호의 경우 지자기 센서는 x/y/z축 지자기 측정치 정보, 가속도 센서는 x/y/z축 중력 측정치 정보, 기압계 센서는 기압 정보 등을 포함할 수 있다.

이에 따라, 도 5 우측에 도시된 바와 같이, 다중 복합 신호는 픽셀 위치 좌표와 픽셀 색상 및 강도 정보로 변환되어, 실내 특정 위치 정보를 대표하는 별자리 이미지 객체로 구성된 센서맵 이미지로 구성될 수 있다. 보다 구체적으로, 각각의 센서와 신호 종류는 이미지 객체인 점의 색상으로 표현될 수 잇으며, 센서의 개수는 점의 크기로 표현되고, 센서의 강도는 점의 색상 농도(또는 강도)로서 표현될 수 있다. 이러한 별자리 이미지에 따라, 실내에서 수신가능한 복합신호는 센서맵 이미지로 구성될 수 있으며, 딥러닝 학습 프로세스에 의해 실내 위치 정보를 예측하는 위치 신경망 모델로 구축될 수 있다.

이러한 위치 신경망(Positioning Neural Network) 모델은, 센서맵 이미지의 별자리 이미지 데이터 간 특징 정보의 유사성과, 위치 정보를 학습하여 구성될 수 있다. 예를 들어, 두 위치 지점의 센서맵 이미지 간 유사도는, 별자리 이미지의 유사도 비교를 이용한 실제 유클리디안 거리(Euclidian distance)로서 산출될 수 있다.

이에 따라, 각 위치 지점별 대표 별자리 이미지가 구성될 수 있으며, 이러한 별자리 이미지를 이용하면, 센서맵 이미지 측위 모델로서 이용 가능한 위치 신경망이 구축될 수 있게 된다. 이러한 학습과정은 기존의 CNN 등의 단순 파라미터 학습 방식으로는 구현되기 어려운 구성으로서, 이미지 기반 유사도 학습 프로세스가 이용됨에 따라 그 예측 정확도가 향상될 수 있다.

즉, 본 발명의 실시 예는 위치 신경망 구축을 위한 실제 유클리디안 거리 산출 프로세스를 이용할 수 있으며, 위치 신경망은 두 별자리 이미지 간 유사도를 학습하여 구축될 수 있고, 따라서 두 별자리의 유사도는 거리 정보로서 변환되어 위치 정보의 학습에 이용될 수 있게 된다.

즉, 별자리 이미지(별자리형 신호 지도 이미지) 기반의 유클리디안 거리를 기반으로, 실내별자리 측위 전용 활성 함수가 처리될 수 있으며, 본 발명의 실시 예에 따른 위치 신경망 학습부(130)는, 상기 별자리 이미지 객체간 유사도 비교를 위한 다차원 활성 함수를 이용하여 측위 예측 정보를 다차원으로 학습하는, 상기 별자리 이미지 객체의 딥러닝 기반 위치 신경망(Positioning Neural Network, PNN) 모델을 구축할 수 있는 바, 본 발명의 실시 예에 따른 위치 신경망 모델은, 별자리 이미지 비교에 특화된 퍼셉트론(PERCEPTRON) 신경망일 수 있으며, 각각의 이미지의 모든 별(이미지 객체 픽셀)에 대응하는 퍼셉트론이 존재하도록 구성될 수 있다.

또한, 별자리 이미지는 동일한 위치 정보에 매핑된 신호픽셀을 연결하는 이미지일 수 있으며, 각 비교되는 별자리 이미지 간 가중치는 동일하게 설정되어, 이에 기초한 퍼셉트론 학습 및 비교 과정을 최적화함에 따라 고속화된 학습 프로세스가 수행될 수 있다. 또한, 측위 전용 활성화함수(Activation function)가 2개 입력에 대응하는 3차원 또는 다차원 함수로 이용됨에 따라, 성능이 최적화될 수 있다.

도 5는 본 발명의 실시 예에 따른 상대기압맵 모델 기반 층수 측위부를 보다 구체적으로 도시한 블록도이며, 도 6은 본 발명의 실시 예에 따른 상대기압맵 모델 구축 과정을 나타낸다.

도 5에 도시된 바와 같이, 상대기압맵 모델 기반 층수 측위부(150)는, 상대기압맵 생성기(151), 층수 추정기(153), 기준층기압 최적화기(155)를 포함하여 구성될 수 있다.

먼저, 상대기압맵 생성기(151)는, 상대기압 페어에 기초하여 상대기압맵을 생성한다.

도 5를 참조하면, 상대기압맵(Relative pressure map)을 구축하는 경우, 기압을 두 층의 페어(pair)로 측정함으로써, 최소 비용의 기압 페어만 수집하면 정확도 높은 층수 예측이 가능하게 된다. 이에 따라 최소한의 비용으로 상대기압맵 구축이 가능하며, 상대기압맵에 의한 수직 측정 정확도는, 페어 병합 알고리즘에 따라 100%까지 높일 수 있다.

그리고, 층수 추정기(153)는, 휴대용 단말기(200)의 기압 신호와, 상기 휴대용 단말기(200)의 센서맵 이미지 기반 진입 층 정보를 상기 상대기압맵에 적용하여, 상기 현재 층수 정보를 측위한다.

여기서, 상기 층수 추정기(153)는 기준층기압 최적화기에서 최적화된 변수를 이용하여, 현재 층수(curr_floor)를 추정할 수 있다.

그리고, 기준층기압 최적화기(155)는, 상기 산출된 현재 층수 정보(진입층 정보)와 휴대용 단말기(200)의 기압계로부터 획득되는 상기 기압 신호를 이용하여, 상기 상대기압맵의 기준층 기압 정보를 최적화 갱신할 수 있다.

또한, 이러한 기준층기압 최적화기는, 외부로부터 수신되는 날씨 정보를 이용하여, 상기 상대기압맵의 오차 보정을 실시간으로 수행할 수도 있다.

본 발명의 실시 예에 다른 기준층기압 최적화기는, 기압이 실시간으로 변화하는 것을 보정하기 위한 EM (Expectation maximization 기대값 최대화 ) 알고리즘을 이용하여 상대기압맵을 최적화할 수 있다.

이러한 기준층기압 최적화기는 현재 층수 정보와 기압 정보를 이용하여, 기준층(1층)의 실제 기압을 갱신하고, 날씨 변화로 인한 오차를 보정함에 따라, 실시간으로 지속가능한 수직정밀도를 보장할 수 있다.

한편, 도 7은 본 발명의 실시 예에 따른 도시 서비스 정보의 예시도이다.

도 7에 도시된 바와 같이, 본 발명의 실시 예에 따른 도시 서비스 정보는, 센서맵 이미지로부터 획득되는 건물 내 위치 정보 서비스를 포함할 수 있으며, 특히 수직 위치 정보를 포함하여, 각 층수 별로 구분되는 정밀 위치 정보 서비스가 제공될 수 있다. 이러한 도시 서비스 정보의 구성에 따라, 정책지도 서비스, 위치 정보 공유 서비스, 행정 정보 서비스, 3차원 디지털 경험 모니터링(DEM, Digital Experience Monitoring) 서비스, 교통정보 서비스 등이 휴대용 단말기(200)를 통해 제공될 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims

도시 서비스 정보를 제공하는 서비스 제공 장치의 동작 방법에 있어서,
복수의 휴대용 단말기로부터 수집되는 도시 데이터의 다중 신호로부터 변환된 센서맵 이미지에 기초하여, 인공지능 위치 신경망 학습 기반 측위 모델을 구축하는 단계;
제1 휴대용 단말기의 도시 서비스 정보 요청으로부터, 현재 위치 센서맵 이미지를 획득하는 단계;
상기 현재 위치 센서맵 이미지를, 상기 인공지능 위치 신경망 학습 기반 측위 모델에 적용하여, 현재 위치 예측 정보를 획득하는 단계; 및
상기 현재 위치 예측 정보를 이용한 도시 서비스 정보를 상기 제1 휴대용 단말기로 제공하는 단계를 포함하는
서비스 제공 장치의 동작 방법.
제1항에 있어서,
상기 센서맵 이미지는,
상기 다중 신호의 종류, 개수 및 강도 중 적어도 하나에 따라, 색상, 크기 및 농도가 상이하게 결정되는 하나 이상의 별자리 이미지 객체를 포함하는
서비스 제공 장치의 동작 방법.
제2항에 있어서,
상기 다중 신호는,
상기 휴대용 단말기에서 수집되는 상기 도시 데이터를 해시 기반 좌표 데이터로 전처리한 데이터를 포함하는
서비스 제공 장치의 동작 방법.
제2항에 있어서,
상기 센서맵 이미지는,
상기 다중 신호의 신호 종류가 이미지 객체인 점의 색상으로 표현되며, 상기 다중 신호의 개수는 점의 크기로 표현되고, 강도는 점의 색상 강도로 표현되는 센서맵 이미지를 포함하는
서비스 제공 장치의 동작 방법.
제2항에 있어서,
상기 인공지능 위치 신경망 학습 기반 측위 모델은, 상기 센서맵 이미지의 별자리 이미지 데이터 간 특징 정보의 유사도와, 위치 정보를 학습하여 구성되며, 상기 유사도는, 유클리디안 거리(Euclidian distance)로서 산출되는 값인
서비스 제공 장치의 동작 방법.
제5항에 있어서,
상기 인공지능 위치 신경망 학습 기반 측위 모델은, 각각의 센서맵 이미지의 모든 별자리 이미지 객체 픽셀에 대응하는 퍼셉트론(PERCEPTRON)과, 전용 활성화함수가 할당된 신경망 학습 모델인
서비스 제공 장치의 동작 방법.
제1항에 있어서,
상기 도시 서비스 정보는,
상기 위치 예측 정보를 이용한, 건물 내 위치 안내 서비스 정보, 지하시설 공간 측위 안내 서비스 정보, 정밀위치 안내 서비스 정보, 도심 위치 안내 서비스 정보와, CCTV와 연계한 시설물 안전관리 서비스 정보, 사용자 긴급구조 서비스 정보 중 적어도 하나를 포함하는
서비스 제공 장치의 동작 방법.
도시 서비스 정보를 제공하는 서비스 제공 장치에 있어서,
복수의 휴대용 단말기로부터 수집되는 도시 데이터의 다중 신호로부터 변환된 센서맵 이미지에 기초하여, 인공지능 위치 신경망 학습 기반 측위 모델을 구축하는 측위 시스템;
제1 휴대용 단말기의 도시 서비스 정보 요청으로부터, 현재 위치 센서맵 이미지를 획득하는 센서맵 이미지 수집부; 및
상기 현재 위치 센서맵 이미지를, 상기 인공지능 위치 신경망 학습 기반 측위 모델에 적용하여, 현재 위치 예측 정보를 획득하고, 상기 현재 위치 예측 정보를 이용한 도시 서비스 정보를 상기 제1 휴대용 단말기로 제공하는 서비스 제공부를 포함하는
서비스 제공 장치.
제1항에 있어서,
상기 센서맵 이미지는,
상기 다중 신호의 종류, 개수 및 강도 중 적어도 하나에 따라, 색상, 크기 및 농도가 상이하게 결정되는 하나 이상의 별자리 이미지 객체를 포함하는
서비스 제공 장치.
제9항에 있어서,
상기 다중 신호는,
상기 휴대용 단말기에서 수집되는 상기 도시 데이터를 해시 기반 좌표 데이터로 전처리한 데이터를 포함하는
서비스 제공 장치.
제9항에 있어서,
상기 센서맵 이미지는,
상기 다중 신호의 신호 종류가 이미지 객체인 점의 색상으로 표현되며, 상기 다중 신호의 개수는 점의 크기로 표현되고, 강도는 점의 색상 강도로 표현되는 센서맵 이미지를 포함하는
서비스 제공 장치.
제9항에 있어서,
상기 인공지능 위치 신경망 학습 기반 측위 모델은, 상기 센서맵 이미지의 별자리 이미지 데이터 간 특징 정보의 유사도와, 위치 정보를 학습하여 구성되며, 상기 유사도는, 유클리디안 거리(Euclidian distance)로서 산출되는 값인
서비스 제공 장치.
제12항에 있어서,
상기 인공지능 위치 신경망 학습 기반 측위 모델은, 각각의 센서맵 이미지의 모든 별자리 이미지 객체 픽셀에 대응하는 퍼셉트론(PERCEPTRON)과, 전용 활성화함수가 할당된 신경망 학습 모델인
서비스 제공 장치.
제8항에 있어서,
상기 도시 서비스 정보는,
상기 위치 예측 정보를 이용한, 건물 내 위치 안내 서비스 정보, 지하시설 공간 측위 안내 서비스 정보, 정밀위치 안내 서비스 정보, 도심 위치 안내 서비스 정보와, CCTV와 연계한 시설물 안전관리 서비스 정보, 사용자 긴급구조 서비스 정보 중 적어도 하나를 포함하는
서비스 제공 장치.
제1항에 있어서,
상기 측위 시스템은,
상기 제1 휴대용 단말기로부터 센싱된 기압 신호를 사전 구축된 상대기압맵 모델에 적용하여, 현재 층수 정보를 측위하는 상대기압맵 모델 기반 층수 측위부;를 더 포함하고,
상기 상대기압맵 모델 기반 층수 측위부는,
상대기압 페어에 기초하여 상대기압맵을 생성하는 상대기압맵 생성기; 및
상기 기압 신호와, 상기 휴대 단말의 진입층 정보를 상기 상대기압맵에 적용하여 상기 현재 층수 정보를 측위하는 층수 추정기를 포함하는
서비스 제공 장치.