KR20190017454A

KR20190017454A - 인공 신경망을 이용한 자기장 기반 위치 추정 모델 생성 장치 및 방법

Info

Publication number: KR20190017454A
Application number: KR1020170102335A
Authority: KR
Inventors: 최린; 장호준
Original assignee: 고려대학교 산학협력단
Priority date: 2017-08-11
Filing date: 2017-08-11
Publication date: 2019-02-20
Also published as: US20190049231A1; US11448494B2

Abstract

위치 추정 모델 생성 장치가 개시된다. 상기 위치 추정 모델 생성 장치는 실내 공간 상의 각 좌표에 대응하는 자기장 값을 포함하는 자기장 맵을 생성하는 맵 생성부, 학습 데이터를 생성하는 데이터 생성부 및 상기 학습 데이터를 이용하여 인공 신경망(Artificial Neural Network, ANN)을 학습하여 위치 추정 모델을 생성하는 학습부를 포함한다.

Description

위치 추정 모델 생성 장치 및 방법{DEVICE AND METHOD FOR GENERATING LOCATION ESTIMATION MODEL}

본 발명은 실내 위치 기반 서비스(indoor location based service)에 관한 것으로서, 특히 사용자의 이동으로 인한 자기장 값의 변화에 기초하여 사용자의 위치를 추정할 수 있는 위치 추정 모델의 생성 장치 및 방법에 관한 것이다.

실내 위치 기반 서비스에 대한 수요는 폭발적으로 증가하고 있으나, 기존 전파 기반 실내 측위 기술은 요구되는 성능 요건을 충족시키지 못하고 있다. 특히, Wi-Fi, BLE(Bluetooth Low Energy) 등 전파 기반의 위치 인식 기술로서, 삼변 측량(trilateration), 지문 인식(fingerprinting), TDoA(Time Difference of Arrival) 등 다양한 기법이 제안되었지만, 전파 신호의 시간적 불안정성과 실내 장애물에 의한 감쇄, 반사, 회절 등의 문제로 위치 인식의 오차가 실험실 환경에서는 2~5미터, 공항이나 쇼핑몰과 같은 대형 실내 환경에서는 10미터 이상의 오차가 보고되고 있어, 요구되는 성능을 만족하기에는 미흡한 실정이다.

이와 같은 문제를 해결하기 위해, 스마트폰 내의 IMU(Inertial Measurement Unit)를 이용한 보행자 추측항법(Pedestrian Dead Reckoning, PDR) 기술을 결합하여 성능을 개선하려는 시도가 이루어지고 있으나, 아직까지 만족할 만한 성능을 제공하지 못하고 있다. 그 밖에도 초음파, 카메라, LED, 레이저 등 다양한 센서를 이용하여 위치 인식 성능을 개선하려는 기술이 개발되고 있으나, 고가의 장비나 인프라를 구축하여야 하는 문제점이 있다.

이에 본 발명에서는 실내 자기장의 변화를 인공 지능의 기계 학습 방법 중 하나인 순환 신경망(Recurrent Neural Network, RNN) 기술을 이용하여 사전 학습함으로써, 스마트폰과 같은 휴대용 단말만으로 실내 자기장의 변화 패턴을 인식하고 실내 위치를 추정하는 방법을 제안한다. 본 발명에 의할 경우, 실내 위치 인식의 정확성을 크게 향상시키면서도 기존 전파 기반 위치 인식에서 사용되는 AP(access point)나 비콘 등의 하드웨어 장비 없이 낮은 비용으로 시스템을 구현할 수 있다. 이에 따라 실내 위치 인식의 성능과 비용을 획기적으로 개선할 수 있을 것으로 기대된다.

대한민국 공개특허 제2016-0080842호 (2016.07.08. 공개) 대한민국 공개특허 제2011-0025025호 (2011.03.09. 공개)

본 발명이 이루고자 하는 기술적인 과제는 사용자의 이동에 따른 실내 자기장 값의 변화를 이용하여 사용자의 위치를 추정할 수 있는 위치 추정 모델 생성 장치 및 방법을 제공하는 것이다.

본 발명의 실시 예에 따른 위치 추정 모델 생성 장치는 실내 공간 상의 각 좌표에 대응하는 자기장 값을 포함하는 자기장 맵을 생성하는 맵 생성부, 상기 자기장 맵을 이용하여 학습 데이터를 생성하는 데이터 생성부 및 상기 학습 데이터를 이용하여 인공 신경망(Artificial Neural Network, ANN)을 학습하여 위치 추정 모델을 생성하는 학습부를 포함한다.

본 발명의 실시 예에 따른 위치 추정 모델 생성 방법은 위치 추정 모델 생성 장치의 맵 생성부가 선형 보간법을 이용하여 실내 공간 상의 각 좌표에 대응하는 자기장 값으로부터 자기장 맵을 생성하는 단계, 상기 위치 추정 모델 생성 장치의 데이터 생성부가 상기 자기장 맵을 이용하여 학습 데이터를 생성하는 단계 및 상기 위치 추정 모델 생성 장치의 학습부가 상기 학습 데이터를 이용하여 순환 신경망을 학습하여 위치 추정 모델을 생성하는 단계를 포함한다.

본 발명의 실시 예에 따른 위치 추정 장치는 상기 위치 추정 모델 생성 방법에 의해 생성된 상기 위치 추정 모델이 저장된 위치 추정 모델 장치로서, 상기 실내 공간 상에서 사용자의 이동에 따라 변화하는 자기장 값을 측정하는 자기장 센서부, 상기 자기장 센서부에 의해 측정된 순차적인 자기장 값을 상기 위치 추정 모델에 입력하여 상기 사용자의 위치를 추정하는 위치 추정부 및 상기 위치 추정부에 의해 추정된 상기 사용자의 위치를 출력하는 위치 출력부를 포함한다.

본 발명의 실시 예에 따른 위치 추정 모델 생성 장치 및 방법에 의할 경우, 고가의 장비나 인프라가 설치되지 않은 환경에서도 높은 정확도로 사용자의 위치를 추정할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 북동 아시아 지역의 자기장 분포를 도시한다.
도 2는 실험 장소에서 측정된 자기장 벡터의 절댓값을 시각화한 도면이다.
도 3은 본 발명에서 사용하는 순환 신경망(RNN)의 기본 구조를 도시한다.
도 4는 생성된 자기장 맵을 시각화한 도면이다.
도 5는 학습 데이터의 생성 및 신경망 학습 과정을 도시한다.
도 6은 은닉 노드의 개수별로 실행 횟수에 따른 오차를 도시한 그래프이다.
도 7은 미니 배치의 크기에 따른 학습 오차율의 변화를 도시한다.
도 8은 평가 데이터를 이용한 위치 인식의 결과를 도시한다.
도 9에는 은닉 노드의 개수에 따른 위치 인식의 성능 결과를 도시한다.
도 10은 본 발명의 일 실시 예에 따른 위치 추정 모델 생성 장치의 기능 블럭도이다.
도 11은 본 발명의 일 실시 예에 따른 위치 추정 장치의 기능 블럭도이다.
도 12는 도 10에 도시된 위치 추정 모델 생성 장치에 의해 수행되는 위치 추정 모델 생성 방법을 설명하기 위한 흐름도이다.
도 13은 도 11에 도시된 위치 추정 장치에 의해 수행되는 위치 추정 방법을 설명하기 위한 흐름도이다.
도 14는 도 10에 도시된 위치 추정 모델 생성 장치 또는 도 11에 도시된 위치 추정 장치의 예시적인 하드웨어 블럭도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

지구 자기장은 지구의 자남극점(south magnetic pole)에서 자북극점(north magnetic pole)으로 이어지는 거대한 자기장의 흐름을 말한다. 미국 해양대기관리처(National Oceanic and Atmospheric Administration, NOAA)의 2015년 세계 자기장 모델에 따르면 지구 자기장은 지역별로 각기 다른 분포를 보인다. 북동 아시아 지역의 자기장 분포를 도시하는 도 1을 참조하면, 대한민국은 50 μT(micro tesla)의 권역에 위치한다.

지역별로 다른 분포를 보이는 지구 자기장 값은 실내에서 더욱 큰 차이를 보인다. 그 원인으로 실내 건축물의 구조상 H-빔과 같은 자재를 사용하기 때문이며, 철제 출입문, 승강기 구조물, 전기 모터 등 다양한 건축 구조물이 실내 자기장 값에 영향을 주기 때문이다. 실제 실험 장소(고려대학교 공학관 로비)에서 자기장 값은 10 μT ~ 120 μT의 분포를 보임을 확인하였다.

지구 자기장 값은 3차원 공간에서의 벡터로 표시된다. 실험 장소에서 측정된 자기장 벡터의 절댓값(absolute value)을 시각화한 도 2를 참조하면, 실내에서 보행자의 이동은 측정되는 자기장 값의 변화를 야기하며 자기장 맵 등고선 상에서의 움직임으로 시각화될 수 있다. 또한, 자기장을 이용하여 실내 위치를 인식하고자 할 때는 다음과 같은 특성을 고려하여야 한다.

1) 실내 공간에서 동일한 자기장 벡터 값을 갖는 여러 장소가 존재할 수 있다. 따라서, 단일 자기장 벡터 값만으로는 현재의 위치를 결정하기 어렵다.

2) 보행자의 움직임은 연속적인 이동 궤적을 갖는다. 이는 t-1 시간에서의 보행자의 위치와 t 시간에서의 보행자의 위치 차이가 작으며 연속적인 값을 가짐을 의미한다. 따라서, 현재의 위치는 이전 시간의 위치에 영향을 받는다.

3) 실내에서의 보행자 이동 궤적과 마찬가지로 자기장 값의 변화 역시 연속적이다. 즉, 서로 인접한 위치의 자기장 값은 그 차이가 크지 않으며, 따라서 보행자의 이동에 따른 자기장 값의 변화는 등고선 상의 움직임과 같이 연속적인 특성을 갖는다.

이를 종합하면, 보행자의 이동에 따라 검출된 자기장 벡터 값의 변화 추이가 곡선 파형으로 표시될 수 있으며, 이는 연속적인 자기장 벡터 값, 즉 자기장 벡터 값 시퀀스의 길이가 길어짐에 따라 고유의 파형 패턴이 형성되므로 추정할 수 있는 현재 위치는 한 곳으로 수렴되는 특성을 갖는다.

본 발명에서는 딥 러닝(Deep Learning) 기술 중 하나인 순환 신경망(Recurrent Neural Network, RNN) 기법을 사용하여 실내 자기장 값의 변화 추이를 입력으로 정확한 실내 위치를 추정하고자 한다. 다양한 인공 신경망(artificial neural network, ANN) 중에서 순환 신경망(RNN)은 출력으로부터 입력으로의 피드백 루프(feedback loop)가 존재한다. 따라서, 순환 신경망(RNN)으로 학습된 출력 결과는 현재의 입력 값뿐만 아니라 과거의 모든 입력 값에 의해 결정되는 특성을 가져, 입력 및 출력 데이터가 시간 축에서 상호 연속적인 관계를 갖는 실내 위치 인식에서 적합하게 사용될 수 있다.

도 3은 본 발명에서 사용하는 순환 신경망(RNN)의 기본 구조를 도시한다.

을 입력 층(input layer)에서 은닉 층(hidden layer)으로의 링크에 적용되는 가중치,

를 은닉 층에서 은닉 층으로의 링크에 적용되는 가중치,

을 은닉 층에서 출력 층(output layer)으로의 링크에 적용되는 가중치, 2차원 공간상의 점인

를 시간

시점에서의 최종 출력,

를 중간층의 활성화 함수,

을 출력 층의 활성화 함수라 하면, 순환 신경망 모델의 시간

시점에서의 출력

는 수학식 1과 같다.

본 발명에서는 자기장 맵을 기반으로 보행자의 이동 경로에 따른 자기장 변화 패턴을 사전에 학습하여 자기장 기반 실내 측위에 최적화된 인공 신경망을 구축하고자 한다. 자기장 맵은 자기장 측정이 가능한 스마트폰 또는 자기장 센서를 이용하여 실내 공간의 일정 간격마다 설정된 기준점(refrernce point)에서 자기장을 측정한 후 측정된 자기장 값과 실제 좌표를 하나의 테이블로 구성한 것을 의미한다. 이때, 각 측정 기준점 사이의 간격이 세밀해짐에 따라 위치 인식의 정확도는 높아지지만, 자기장 맵을 생성하는데 소요되는 시간과 노력이 증가하는 문제점이 발생한다. 따라서, 본 발명에서는 자기장이 거리에 따라 선형적으로 증가 또는 감소하는 현상을 가짐에 주목하여 선형 보간법(linear interpolation)을 통해 실제 측정되지 않은 좌표의 자기장 값을 보간함으로써 높은 해상도를 갖는 자기장 맵을 생성할 수 있다. 도 4는 생성된 자기장 맵을 시각화한 도면이다.

딥 러닝을 이용한 실내 위치 인식을 위해서는 사전에 신경망의 학습을 통한 최적화가 필요하다. 신경망 학습을 위한 학습 데이터를 생성하기 위해 자기장 맵을 기반으로 사용자의 움직임을 가상으로 생성한다. 생성된 가상 경로는 좌표와 좌표에 매핑된 자기장 값으로 구성된다. 학습 데이터의 양은 실내 위치 인식 성능에 큰 영향을 미치기 때문에, 전체 맵을 충분히 학습할 수 있도록 학습 데이터는 충분히 생성되어야 한다. 학습 데이터의 생성 과정을 자동으로 구성하여 학습 데이터 생성에 소요되는 시간은 크게 단축될 수 있다. 생성된 학습 데이터의 자기장 벡터 값을 신경망의 입력 값으로, 생성된 학습 데이터의 좌표를 신경망의 출력 목표값으로 입력하고 순전파(feed-forward) 과정 및 역전파(back-propagation) 과정을 통해 신경망에 대한 자기장 맵의 학습을 진행하여 최적화된 신경망이 생성될 수 있다. 학습 데이터의 생성 및 신경망 학습 과정은 도 5에 도시되어 있다.

신경망 학습을 위한 과정은 크게 순전파(feed-forward) 과정과 역전파(back-propagation) 과정으로 나뉜다. 순전파 과정에서, 우선 X, Y, Z 축 세 개의 자기장 벡터 값을 입력 층에 입력하여 은닉 층의 가중치와의 1차 함수 계산을 진행한다. 이후 계산 결과는 활성화 함수를 거쳐 계산 결과의 범위가 조정된다. 본 발명에서는 ReLU(Rectified Linear Unit) 함수를 활성화 함수로 사용하였으나, 활성화 함수의 종류에 본 발명의 권리범위가 제한되는 것은 아니다. 충분히 학습되지 않은 신경망은 은닉 층의 가중치가 최적화되지 않은 상태이기 때문에, 출력 층에 출력되는 결과가 원래 목표로 하는 결과와 차이를 보이다. 이와 같이 출력 층에 출력되는 결과와 원래 목표로 하는 결과 사이의 차이를 학습 오차로 규정한다. 학습 오차를 감소시키기 위해 역전파 과정이 수행된다. 역전파 과정에서, 우선 오차 함수를 이용하여 출력 층에서의 오차 신호를 계산한다. 본 발명에서는 MSE(Mean Squared Error) 함수를 오차 함수로 사용하였으나, 오차 함수의 종류에 본 발명의 권리범위가 제한되는 것은 아니다. 다음으로, 역전파 가중치 업데이트(back-propagation weight update) 공식을 통해 은닉 층의 가중치를 수정한다. 본 발명에서는 Gradient Descent Optimizer를 사용하였다. 상술한 과정을 반복 수행하여 최저 오차율에 수렴하는 최적화된 신경망을 구성할 수 있다.

순환 신경망은 t-1 시간에서 연산된 은닉 층의 출력 결과를 다음 연산 시간인 t 그리고 t+1 시간에서 순환하여 재사용하는 특성을 가지며, 이는 출력 결과에서 상호 연관 관계를 형성하게 된다. 본 발명에서 사용한 딥러닝 프레임워크인 "Tensorflow"에서는 이를 상태(state)라 명명하며, 다음 단위 시간의 연산에 입력으로 처리한다. 순환 신경망의 이와 같은 특징으로 인하여 연속적인 경로를 가지는 실내 위치 인식에서 적합하게 사용이 가능하다.

인공 신경망의 학습 과정에서 은닉 층의 은닉 노드의 개수, 미니배치(mini batch)의 크기, 전체 실행 횟수(epoch)의 설정 및 학습률(learning rate) 값은 학습 결과에 직접적으로 영향을 미치는 요소로 학습 데이터의 특성에 맞게 최적의 값을 찾는 것이 중요하다. 본 발명에서는 은닉 노드의 개수를 2, 5, 10, 20 개로 증가시키며 목표 오차율에 수렴하는 전체 실행 횟수를 비교하였으며, 그 결과는 도 6에 도시되어 있다. 도 6을 참조하면, 은닉 노드의 개수가 증가할수록 목표 오차율에 수렴하는 전체 실행 횟수가 감소함을 알 수 있다.

학습 데이터의 전체 데이터 셋을 하나의 배치로 구성하여 인공 신경망 학습을 진행하면, 처음 학습한 데이터가 신경망의 학습 반복 횟수가 증가함에 따라 잊혀지며, 기울기가 급격히 증가(Gradient Exploding)하는 문제가 발생할 수 있다. 또한, 본 발명에서 사용한 프레임워크인 "Tensorflow" 어플리케이션의 구조적 특성상 전체 배치 크기에 대한 모든 신경망을 사전에 모두 구성하여 실험을 진행하면 학습 과정에서 메모리 부족 문제가 발생할 수 있다. 이를 해결하고자 본 발명에서는 미니 배치를 사용하여 전체 데이터 셋을 작은 단위의 배치 크기(batch size)로 재구성하여 각각의 작은 단위를 학습하는 배치 정규화 과정을 진행하였다. 미니 배치의 크기가 증가할수록 최저 오차율에 수렴하는 속도는 빠르지만, 수렴하는 오차율이 점점 증가하는 추세를 보였다. 미니 배치의 크기에 따른 학습 오차율의 변화는 도 7에 도시되어 있다.

자기장 맵의 크기 및 해상도에 따라 신경망의 최적화된 값은 상이하며 여러 파라미터 값의 대입을 통해 오차율을 조정하여 실제 환경에 맞는 최적화된 신경망을 구성해야 실내 위치 인식에서 최적의 성능을 얻을 수 있다.

학습된 신경망, 즉 위치 추정 모델의 평가를 위해, 평가 데이터를 최적화된 신경망에 입력하여 위치 인식을 수행할 수 있다. 자기장 센서에서 측정된

자기장 값(또는 평가 데이터)은 신경망의 입력 값으로 입력되며, 신경망 순전파 과정을 통해 현재 좌표가 출력되고, 신경망의 특성을 이용하여 다음 단위 시간에서 연속적인 위치 인식 결과가 출력될 수 있다. 실제 위치 인식에서는 현재 위치를 알 수 없기 때문에 오차 함수 계산이 불가능하므로 신경망 최적화를 위한 역전파 과정을 진행할 수는 없다.

은닉 노드의 개수를 20, 학습율(learning rate)을 0.001, 배치 사이즈(batch size)를 200개로 설정하여, 생성된 학습 데이터를 이용한 시뮬레이션을 수행한 결과, 최소 0m, 최대 2.091m, 평균 1.256m의 위치 인식 오차를 나타내었다. 평가 데이터를 이용한 위치 인식의 결과는 도 8에 도시되어 있다.

단일의 시뮬레이션 결과뿐만 아니라 은닉 노드의 개수를 2, 4, 10, 50, 200, 500, 1000 개로 점차 증가시키며 시뮬레이션을 진행한 결과 은닉 노드의 개수가 많을수록 위치 인식의 성능이 향상되는 경향을 보였지만, 200 개 이상의 은닉 노드를 사용한 경우 위치 인식 오차가 소폭 증가함을 확인할 수 있었다. 표 1과 도 9에는 각각이 상이한 다섯 개의 학습 데이터 및 평가 데이터를 이용하였을 때 은닉 노드의 개수에 따른 위치 인식의 성능 결과를 도시한다. 도 9에서, 각 요소에 두껍게 처리된 상자는 전체 위치 인식 샘플의 80%가 모여있는 범위이며, 그 외의 바(bar)는 99%의 샘플이 모여있는 범위이다.

은닉 노드의 개수	최소 오차(m)	평균 오차(m)	최대 오차(m)
2	0	5.815	10.587
4	1.077	5.159	11.044
10	0.777	2.419	3.337
20	0.781	1.498	1.814
50	0.974	1.594	1.937
200	0.08	2.497	3.879
500	0.058	2.251	3.356
1000	0.085	2.204	3.656

도 10은 본 발명의 일 실시 예에 따른 위치 추정 모델 생성 장치의 기능 블럭도이다.

위치 추정 모델 생성 서버로 명명될 수도 있는 위치 추정 모델 생성 장치(100)는 소정의 실내 공간의 자기장 분포에 관한 정보를 포함하는 자기장 맵을 생성하고, 생성된 자기장 맵과 학습 데이터를 이용하여 위치 추정 모델을 학습함으로써 최적화된 위치 추정 모델을 생성할 수 있다. 위치 추정 모델 생성 장치(100)는 맵 생성부(110), 데이터 생성부(130) 및 학습부(150)를 포함한다. 실시 예에 따라, 위치 추정 모델 생성 장치(100)는 모델 평가부(170)와 저장부(190) 중 적어도 하나를 더 포함할 수 있다.

맵 생성부(110)는 위치 추정을 수행할 실내 공간의 좌표별 자기장 분포 정보를 포함하는 자기장 맵을 생성할 수 있다. 상기 자기장 맵은 일정 간격으로 기준점이 설정된 실내 공간의 각 기준점의 좌표 및 이에 대응되는 자기장 값을 하나의 테이블로 구성할 것을 의미할 수 있다.

상기 각 기준점에서의 자기장 값은 자기장 센서, 예컨대 스마트폰(smart phone) 등을 이용하여 측정될 수 있으며, 측정된 자기장 값은 소정의 입력 인터페이스 또는 유무선 통신망을 통하여 위치 추정 모델 생성 장치(100)의 맵 생성부(110)로 전달될 수 있다.

또한, 맵 생성부(110)는 소정의 알고리즘, 예컨대 선형 보간법(linear interpolation)을 이용하여 생성된 자기장 맵의 해상도를 높일 수 있다. 즉, 상기 선형 보간법을 이용하여, 직접적으로 자기장 값이 측정되지 않은 지점의 자기장 값을 보간함으로써, 해상도가 높은 자기장 맵을 생성할 수도 있다.

데이터 생성부(130)는 위치 추정 모델의 학습 및/또는 평가에 이용될 학습 데이터를 생성할 수 있다. 일 예로, 데이터 생성부(130)는 위치 추정이 수행될 실내 공간 상의 가상 경로를 생성할 수 있다. 상기 가상 경로는 상기 가상 경로에 포함되는 각 지점의 좌표와 각 지점에 매핑된 자기장 값을 포함할 수 있다. 상기 가상 경로에 포함되는 연속적인 각 지점의 좌표와 각 지점에 매핑된 자기장 값의 집합을 학습 데이터라 할 수 있다.

이때, 전체 학습 데이터 셋을 하나의 배치로 구성하여 위치 추정 모델, 즉 순환 신경망을 학습할 경우, 처음 학습한 데이터는 순환 신경망의 학습 반복 횟수가 증가함에 따라 잊혀지며, 기울기가 급격히 증가(gradient exploding)하는 문제가 발생할 수 있다. 따라서, 데이터 생성부(130)는 전체 학습 데이터를 미리 정해진 배치 크기(batch size)를 갖는 복수의 미니 배치로 분할할 수도 있다. 이 경우, 복수의 미니 배치로 분할된 학습 데이터를 이용하여 순환 신경망이 학습될 수 있다.

학습부(150)는 데이터 생성부(130)에 의해 생성된 학습 데이터를 이용하여 인공 신경망(artificial neural network, ANN), 특히 순환 신경망(recurrent neural network, RNN)을 학습함으로써, 최적화된 순환 신경망, 즉 위치 추정 모델을 생성할 수 있다. 구체적으로, 학습부(150)는 순전파 과정을 통해 데이터 생성부(130)에 의해 생성된 학습 데이터에 포함된 자기장 값을 순환 신경망의 입력 층에 입력하여 입력된 자기장 값에 대응하는 출력 좌표를 얻을 수 있다. 또한, 학습부(150)는 역전파 과정을 통해 출력 좌표와 학습 데이터에 포함된 좌표, 즉 목표값과의 오차를 이용하여 순환 신경망을 이루는 은닉 층의 가중치를 수정할 수 있다. 학습부(150)는 연속적인 자기장 값과 연속적인 좌표 값을 갖는 학습 데이터를 이용하여 학습 과정을 반복 수행함으로써 최저 오차율 또는 목표 오차율에 수렴하는 최적화된 순환 신경망을 생성할 수 있다. 최적화된 순환 신경망은 위치 추정 모델이라 명명될 수도 있다.

모델 평가부(170)는 데이터 생성부(130)에 의해 생성된 학습 데이터의 일부, 즉 평가 데이터를 이용하여 학습부(150)에 의해 학습된 위치 추정 모델의 오차율을 평가할 수 있다. 실제 위치 인식에서는 현재 자신의 위치를 알 수 없어 오차 함수 계산이 불가능하므로, 신경망 최적화를 위한 역전파 과정을 진행할 수는 없다. 따라서, 모델 평가부(170)는 평가 데이터에 포함된 연속적인 자기장 값을 위치 추정 모델에 입력하여 이에 대응하는 좌표값을 얻을 수 있다. 출력된 좌표값과 평가 데이터에 포함된 좌표값의 오차를 비교함으로써, 위치 추정 모델의 오차율이 평가될 수 있다. 실시 예에 따라, 평가 데이터는 데이터 생성부(130)에 의해 별도로 생성될 수도 있다. 이때, 상기 평가 데이터의 생성 과정은 학습 데이터의 생성 과정과 동일할 수 있다.

저장부(190)에는 위치 추정 모델의 생성 과정에서 이용되거나 생성되는 데이터, 순환 신경망 알고리즘, 최적화된 위치 추정 모델 등이 저장될 수 있다.

도 10에 도시된 위치 추정 모델 생성 장치(100)는 서버(server), PC(personal computer), 태블릿 PC, 노트북(notebook) 등과 같은 컴퓨팅 장치(computing device)로 구현될 수 있다. 상기 컴퓨팅 장치에 관하여는 도 14를 통하여 상세하게 설명하기로 한다.

도 11은 본 발명의 일 실시 예에 따른 위치 추정 장치의 기능 블럭도이다.

위치 추정 장치(300)는 위치 추정 모델 생성 장치(100)에 의해 생성된 위치 추정 모델이 저장된 컴퓨팅 장치로 구현될 수 있고, 상기 컴퓨팅 장치에 관하여는 도 14를 통하여 상세하게 설명될 것이다. 위치 추정 장치(300)는 유무선 통신망을 통하여 위치 추정 모델 생성 장치(100)로부터 직접 또는 적어도 하나의 중계 서버, 예컨대, 앱스토어 서버(애플리케이션 스토어 서버라고도 함)를 경유하여 상기 위치 추정 모델을 설치 파일 형태로 다운로드한 후 설치 파일을 설치함으로써, 상기 위치 추정 모델을 위치 추정 장치(300) 내에 설치할 수 있다. 따라서, 위치 추정 장치(300)와 위치 추정 모델 생성 장치(100)는 통신 기능을 수행하기 위한 통신 인터페이스를 포함할 수도 있음은 자명하다.

위치 추정 장치(300)는 자기장 센서부(310), 위치 추정부(330) 및 위치 출력부(350)를 포함할 수 있다.

자기장 센서부(310)는 위치 추정 장치(300)를 소지하는 사용자가 실내 공간에서 이동함에 따라 변화하는 자기장 값을 미리 정해진 시간 간격을 주기로 측정할 수 있다. 따라서, 순차적인 자기장 값이 자기장 센서부(310)로부터 출력될 수 있다.

위치 추정부(330)는 자기장 센서부(310)로부터 출력되는 자기장 값들을 위치 추정 모델의 입력 값으로 이용하여 사용자의 위치를 추정할 수 있다. 위치 추정부(330)에 의해 이용되는 위치 추정 모델은 도 10에 도시된 위치 추정 모델 생성 장치(100)에 의해 생성된 최적화된 인공 신경망을 의미할 수 있다. 실내 공간 상에서 여러 위치의 자기장 값이 동일할 수 있다. 그러나, 연속적으로 변화하는 자기장 값에 대응하는 이동 경로는 하나로 수렴되기 때문에, 초기 자기장 값에 대한 위치 추정부(330)의 출력값, 즉 출력 좌표는 실제 사용자의 위치와 정확하게 일치하지 않지만, 연속적인 자기장 값이 입력된 후의 위치 추정부(330)의 출력값은 실제 사용자의 위치와 비교적 작은 오차 범위 내에 분포하게 된다.

위치 출력부(350)는 위치 추정부(330)에 의해 추정된 사용자의 위치를 소정의 디스플레 장치를 통하여 사용자에게 제공할 수 있다. 예컨대, 위치 출력부(350)는 위치 추정을 수행할 실내 공간의 맵의 적어도 일부에서 추정된 사용자의 위치 또는 추정된 사용자의 이동 경로를 표시할 수 있다.

도 11에 도시된 위치 추정 장치는 모바일폰(mobile phone), 스마트폰(smart phone), 노트북(notebook), 넷-북(net-book), e-리더(e-reader), 태블릿 PC, PDA(personal digital assistant), 내비게이션, PMP(portable multimedia player), MP3 플레이어, 또는 MP4 플레이어 등과 같은 이동성이 있거나 휴대가 가능한 컴퓨팅 장치(computing device)로 구현될 수 있다.

또한, 도 10에 도시된 위치 추정 모델 생성 장치(100)와 도 11에 도시된 위치 추정 장치(300)의 구성들 각각은 기능 및 논리적으로 분리될 수 있음으로 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것이 아님을 본 발명의 기술 분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. 또한, 위치 추정 모델 생성 장치(100)와 위치 추정 장치(300)의 구성들 각각은 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있으며, 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아니다.

도 12는 도 10에 도시된 위치 추정 모델 생성 장치에서 수행되는 위치 추정 모델 생성 방법을 설명하기 위한 흐름도이다. 위치 추정 모델 생성 방법을 설명함에 있어서, 앞서 기재된 설명과 중복되는 설명에 관한 구체적인 설명은 생략하기로 한다.

우선, 위치 추정 모델 생성 장치(100)의 맵 생성부(110)는 위치 추정을 수행할 실내 공간의 좌표별 자기장 분포 정보를 포함하는 자기장 맵을 생성할 수 있다(S110). 실시 예에 따라, 맵 생성부(110)는 소정의 알고리즘, 예컨대 선형 보간법을 이용하여 해상도가 높은 자기장 맵을 생성할 수도 있다.

위치 추정 모델 생성 장치(100)의 데이터 생성부(130)는 순환 신경망의 학습에 이용하기 위한 학습 데이터를 생성할 수 있다(S130). 일 예로, 데이터 생성부(130)는 위치 추정이 수행될 실내 공간 상의 가상 경로를 생성할 수 있다. 상기 가상 경로는 상기 가상 경로에 포함되는 각 지점의 좌표와 각 지점에 매핑된 자기장 값을 포함할 수 있다. 실시 예에 따라, 데이터 생성부(130)는 상기 학습 데이터를 미리 정해진 배치 크기(batch size)를 갖는 복수의 미니 배치로 분할할 수도 있다. 이 경우, 복수의 미니 배치로 분할된 학습 데이터를 이용하여 순환 신경망이 학습될 수 있다.

위치 추정 모델 생성 장치(100)의 학습부(150)는 데이터 생성부(130)에 의해 생성된 학습 데이터를 이용하여 인공 신경망, 특히 순환 신경망을 학습함으로써, 최적화된 인공 신경망, 즉 위치 추정 모델을 생성할 수 있다(S150). 구체적으로, 학습부(150)는 순전파 과정을 통해 출력된 좌표와 목표 좌표 사이의 오차를 역전파 과정에 사용함으로써 순환 신경망에 포함된 은닉 층의 가중치를 수정할 수 있다. 또한, 학습부(150)는 순차적인 자기장 값과 순차적인 좌표 값을 갖는 학습 데이터를 이용하여 학습 과정을 반복 수행함으로써 최저 오차 또는 목표 오차에 수렴하는 최적화된 순환 신경망을 생성할 수 있다.

실시 예에 따라, 위치 추정 모델 생성 방법은 모델 평가부(170)에 의한 위치 추정 모델 평가 단계(S170)를 더 포함할 수도 있다. 즉, 모델 평가부(170)는 평가 데이터를 이용하여 학습부(150)에 의해 학습된 위치 추정 모델의 오차율을 평가할 수 있다.

도 13은 도 11에 도시된 위치 추정 장치에서 수행되는 위치 추정 방법을 설명하기 위한 흐름도이다. 위치 추정 방법을 설명함에 있어서, 앞서 기재된 설명과 중복되는 설명에 관한 구체적인 설명은 생략하기로 한다.

우선, 위치 추정 장치(300)의 자기장 센서부(310)는 위치 추정 장치(300)를 소지하는 사용자가 실내 공간에서 움직임에 따라 변화하는 자기장 값을 미리 정해진 시간 간격을 주기로 측정할 수 있다(S310). 따라서, 순차적인 자기장 값이 자기장 센서부(310)로부터 출력될 수 있다.

위치 추정 장치(300)의 위치 추정부(330)는 자기장 센서부(310)로부터 출력되는 순차적인 자기장 값을 위치 추정 모델의 입력 값으로 이용하여 사용자의 위치를 추정할 수 있다(S320). 실내 공간 상에서 연속적으로 변화하는 자기장 값에 대응하는 사용자의 이동 경로는 하나로 수렴되기 때문에, 초기 자기장 값에 대한 위치 추정부(330)의 출력값, 즉 출력 좌표는 실제 사용자의 위치와 정확하게 일치하지 않지만, 연속적인 자기장 값이 입력된 후의 위치 추정부(330)의 출력값은 실제 사용자의 위치를 비교적 작은 오차 범위 내에서 분포하게 된다.

위치 추정 장치(300)의 위치 출력부(350)는 위치 추정부(330)에 의해 추정된 사용자의 위치를 소정의 디스플레이 장치를 통하여 사용자에게 제공할 수 있다(S330). 예컨대, 위치 출력부(350)는 위치 추정이 수행되는 실내 공간의 맵의 적어도 일부에서 추정된 사용자의 위치 또는 추정된 사용자의 이동 경로를 표시할 수 있다.

또한, 위치 추정 장치(300)에 설치된 위치 추정 모델은 위치 추정 모델 생성 장치(100)에 의해 생성된 위치 추정 모델이므로, 상기 위치 추정 방법은, 위치 추정 장치(300)가 위치 추정 모델 생성 장치(100) 또는 별도의 서버를 경유하여 상기 위치 추정 모델을 설치 파일 형태로 다운로드 받는 단계와 다운로드된 설치 파일을 설치하여 상기 위치 추정 모델을 위치 추정 장치(300)에 설치하는 단계를 더 포함할 수도 있다.

도 14는 도 10에 도시된 위치 추정 모델 생성 장치 또는 도 11에 도시된 위치 추정 장치의 예시적인 하드웨어 블럭도이다.

도 10의 위치 추정 모델 생성 장치(100) 및/또는 도 11의 위치 추정 장치(300)의 구현 예인 컴퓨팅 장치(500)는 통신 인터페이스(501), 입력 인터페이스(503), 출력 인터페이스(505), 메모리(507), 저장 장치(509), 적어도 하나의 프로세서(511) 및 시스템 버스/제어 버스(513)를 포함한다.

통신 인터페이스(501)는 컴퓨팅 장치(500) 외부의 장치와 통신할 수 있도록 구성된다. 통신 인터페이스(501)는 유선 또는 무선 통신을 수행하도록 구성되며, 예컨대 무선랜이나 유선랜에 연결될 수 있도록 하는 맥(MAC) 칩을 포함할 수 있다.

입력 인터페이스(503)는 컴퓨팅 장치(500)를 제어하기 위한 사용자 입력 및/또는 위치 추정을 위한 자기장 값을 수신할 수 있다. 입력 인터페이스(103)는 키보드, 터치 패드, 마우스, 자기장 센서 등을 포함할 수 있다.

출력 인터페이스(505)는 컴퓨팅 장치(500)의 동작 결과, 예컨대 자기장 맵 생성 결과, 순환 신경망의 학습 결과, 순환 신경망의 평가 결과, 또는 위치 추정의 결과를 출력할 수 있다. 출력 인터페이스(505)는 디스플레이, 스피커 등을 포함할 수 있다.

메모리(507)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함한다. 메모리(507)는 각종 데이터와 프로그램을 일시적으로 또는 비일시적으로 저장한다. 휘발성 메모리는 각종 데이터와 프로그램의 조각(segment)을 임시로 저장하고 비휘발성 메모리는 셋업 또는 부팅에 필요한 각종 셋업 데이터와 부팅 프로그램 등을 비일시적으로 저장할 수 있다.

저장 장치(509)는 대용량 저장 매체로서 각종 데이터를 저장하고 각종 프로그램들을 저장한다. 저장 장치(509)는 적어도 본 발명에 따른 위치 추정 모델 생성 방법 또는 위치 추정 방법을 수행하는 프로그램을 포함한다. 저장 장치(509)는 위치 추정 모델 생성 방법 또는 위치 추정 방법의 프로그램에 이용될 데이터들을 포함한다. 이러한 데이터들은 특정 프로그램에 의해서 액세스 및 관리될 수 있다. 위치 추정 모델 생성과 위치 추정에 이용되는 데이터들과 이 특정 프로그램은 데이터베이스로 바람직하게 구성된다. 하드 디스크 드라이브(Hard Disk Drive, HDD)나 SSD(Solid State Drive)는 저장 장치(509)의 일 예가 될 수 있다.

프로세서(511)는 비휘발성 메모리나 저장 장치(509) 등에 저장된 프로그램의 프로그램 코드를 로딩하여 프로그램 코드를 실행시킬 수 있다. 프로세서(511)는 프로그램 코드의 명령어(instruction)를 실행할 수 있는 실행 유닛(execution unit)을 포함하여 위치 추정 모델 생성 또는 위치 추정을 위한 프로그램, 위치 추정 모델 생성 또는 위치 추정에 이용되는 각종 데이터를 트레이닝하기 위한 프로그램 등을 실행할 수 있다.

시스템 버스/제어 버스(513)는 각 하드웨어 블록 사이에 제어 신호나 데이터 신호를 송수신할 수 있도록 구성된다. 시스템 버스/제어 버스(513)는 병렬 버스이거나 시리얼 버스 등일 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 위치 추정 모델 생성 장치
110 : 맵 생성부
130 : 데이터 생성부
150 : 학습부
170 : 모델 평가부
190 : 저장부
300 : 위치 추정 장치
310 : 자기장 센서부
330 : 위치 추정부
350 : 위치 출력부
500 : 컴퓨팅 장치

Claims

실내 공간 상의 각 좌표에 대응하는 자기장 값을 포함하는 자기장 맵을 생성하는 맵 생성부;
상기 자기장 맵을 이용하여 학습 데이터를 생성하는 데이터 생성부; 및
상기 학습 데이터를 이용하여 인공 신경망(Artificial Neural Network, ANN)을 학습하여 위치 추정 모델을 생성하는 학습부를 포함하는 위치 추정 모델 생성 장치.
제1항에 있어서,
자기 자기장 맵은 선형 보간법(linear interpolation)을 이용하여 생성된 것을 특징으로 하는,
위치 추정 모델 생성 장치.
제1항에 있어서,
상기 데이터 생성부는 가상 경로를 생성하고, 상기 가상 경로에 포함되는 각 지점의 좌표와 자기장 값을 포함하는 상기 학습 데이터를 생성하는,
위치 추정 모델 생성 장치.
제3항에 있어서,
상기 학습 데이터는 미리 정해진 배치 크기(batch size)를 갖는 복수의 미니 배치들로 분할된 것을 특징으로 하는,
위치 추정 모델 생성 장치.
제1항에 있어서,
상기 인공 신경망은 순환 신경망(Recurrent Neural Network, RNN)이고,
상기 학습부는 상기 순환 신경망의 출력 결과가 목표 오차율에 도달할 때까지 학습을 반복하는,
위치 추정 모델 생성 장치.
제1항에 있어서,
상기 위치 추정 모델 생성 장치는,
상기 데이터 생성부에 의해 생성된 평가 데이터를 이용하여 상기 위치 추정 모델의 오차율을 평가하는 모델 평가부를 더 포함하는,
위치 추정 모델 생성 장치.
위치 추정 모델 생성 장치의 맵 생성부가 선형 보간법을 이용하여 실내 공간 상의 각 좌표에 대응하는 자기장 값으로부터 자기장 맵을 생성하는 단계;
상기 위치 추정 모델 생성 장치의 데이터 생성부가 상기 자기장 맵을 이용하여 학습 데이터를 생성하는 단계; 및
상기 위치 추정 모델 생성 장치의 학습부가 상기 학습 데이터를 이용하여 순환 신경망을 학습하여 위치 추정 모델을 생성하는 단계를 포함하는,
위치 추정 모델 생성 방법.
제7항에 있어서,
상기 학습 데이터를 생성하는 단계는,
상기 실내 공간 상의 가상 경로를 생성하고 상기 가상 경로에 포함되는 각 지점의 좌표와 자기장 값을 포함하는 상기 학습 데이터를 생성하는,
위치 추정 모델 생성 방법.
제8항에 있어서,
상기 학습 데이터는 미리 정해진 배치 크기(batch size)를 갖는 복수의 미니 배치들로 분할된 것을 특징으로 하는,
위치 추정 모델 생성 방법.
제7항에 있어서,
상기 위치 추정 모델을 생성하는 단계는,
상기 순환 신경망의 출력 결과가 목표 오차율에 도달할 때까지 학습을 반복하는,
위치 추정 모델 생성 방법.
제7항에 있어서,
상기 위치 추정 모델 생성 방법은,
상기 위치 추정 모델 생성 장치의 모델 평가부가 상기 데이터 생성부에 의해 생성된 평가 데이터를 이용하여 상기 위치 추정 모델의 오차율을 평가하는 단계를 더 포함하는,
위치 추정 모델 생성 방법.
제1항에 기재된 방법에 의해 생성된 상기 위치 추정 모델이 저장된 위치 추정 모델 장치에 있어서,
상기 실내 공간 상에서 사용자의 이동에 따라 변화하는 자기장 값을 측정하는 자기장 센서부;
상기 자기장 센서부에 의해 측정된 순차적인 자기장 값을 상기 위치 추정 모델에 입력하여 상기 사용자의 위치를 추정하는 위치 추정부; 및
상기 위치 추정부에 의해 추정된 상기 사용자의 위치를 출력하는 위치 출력부를 포함하는 위치 추정 장치.
제10항에 있어서,
상기 위치 추정 장치는 스마트폰(smart phone), 모바일폰(mobile phone) 또는 태블릿 PC(tablet personal computer)인,
위치 추정 장치.
실내 공간 상에서 사용자의 이동에 따라 변화하는 자기장 값을 미리 정해진 시간 주기로 측정하는 자기장 센서부;
상기 자기장 센서부에 의해 출력되는 순차적인 자기장 값을 학습된 인공 신경망에 입력하여 상기 사용자의 위치를 추정하는 위치 추정부; 및
상기 위치 추정부에 의해 추정된 상기 사용자의 위치를 출력하는 위치 출력부를 포함하는 위치 추정 장치.