KR20210106639A

KR20210106639A - 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법

Info

Publication number: KR20210106639A
Application number: KR1020200021348A
Authority: KR
Inventors: 이동명
Original assignee: 동명대학교산학협력단
Priority date: 2020-02-21
Filing date: 2020-02-21
Publication date: 2021-08-31
Also published as: KR102317499B1

Abstract

본 발명은 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 관한 것으로, 실내의 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하고, 상기 실내에 위치하는 보행자로부터 상기 보행자의 이동방향에 따라 촬영한 보행자의 영상데이터가 수신되면, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 적용함으로써, 상기 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지 실내 경로 안내를 실시간으로 제공하는 장치 및 그 방법에 관한 것이다.

Description

영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법{APPARATUS FOR GUIDING INDOOR ROUTE OF PEDESTRIAN THROUGH TRAINING OF IMAGE DATA AND METHOD THEREOF}

본 발명은 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 실내의 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하고, 상기 실내에 위치하는 보행자로부터 상기 보행자의 이동방향에 따라 촬영한 보행자의 영상데이터가 수신되면, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 적용함으로써, 상기 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지 실내 경로 안내를 실시간으로 제공하는 장치 및 그 방법에 관한 것이다.

최근 산업기술과 정보통신기술의 급격한 발전으로 인해 스마트폰, 웨어러블 기기, IoT 기기 등과 같은 스마트 단말(사용자 단말)이 보급되면서, 상기 스마트 단말에 탑재되는 각종 센서를 이용하여 보행자의 위치를 추정하고, 보행자의 목적지까지 경로를 안내하는 경로 안내 장치에 대한 대중의 관심이 증대되고 있다.

일반적으로 경로 안내 장치는, 상기 스마트 단말에 탑재되는 GNSS(Global Navigation Satellite System) 수신기를 이용하여 보행자의 위치를 추정하고, 상기 추정한 보행자의 위치를 토대로 보행자의 목적지까지 경로 안내를 제공한다.

그러나 GNSS 수신기를 이용하는 경우, 실외에서는 비교적 정확한 위치 추정이 가능하지만 상기 보행자가 실내에 위치할 때에는, GNSS 신호의 수신이 불가능하여 보행자의 위치를 추정하는 것이 불가능한 문제점이 있다.

이러한 문제점을 해결하기 위해 최근에는, 실내에 무선통신(예: 와이파이, 블루투스 등)을 위해 설치되는 다수의 액세스 포인트로부터 무선신호로 수신되는 위치정보 중 상기 무선신호의 세기가 제일 큰 무선신호의 위치정보를 선택하여 보행자의 위치를 추정하거나, 다수의 액세스 포인트로부터 수신되는 위치정보를 삼각측량을 통해 상기 보행자의 위치를 추정하여 보행자의 실내 이동 경로를 안내하는 기술이 개발되어 상용화되고 있다.

그러나 상기 무선신호는 벽, 가구, 구조물 등과 같은 실내 구조로 인한 회절, 산란 또는 다중 경로 전파의 문제점이 발생할 수 있다. 이 경우, 실제 보행자의 스마트 기기와, 가까운 거리의 액세스 포인트로부터 수신된 무선신호의 세기가 먼 거리의 액세스 포인트로부터 수신된 무선신호의 세기보다 약할 수 있어, 보행자의 위치를 추정한 결과에 대한 정확도가 현저하게 떨어지는 문제점이 있다.

따라서 본 발명에서는, 실내 영상데이터를 수집하여, 상기 수집한 실내영상데이터에 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보를 레이블링하고, 상기 레이블링한 실내 영상데이터를 학습하여 학습모델을 생성한 후, 상기 실내에 위치하는 보행자로부터 제공되는 보행자의 영상데이터를 상기 생성한 학습모델에 적용하여 상기 보행자의 현재 위치를 정확하게 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지에 대한 실내 경로를 실시간으로 안내하는 방안을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2017-0081884(2017.07.13.)는 실내 경로 안내 장치 및 그 동작 방법에 관한 것으로, 실내 설계도면에서 공간 개체 및 복수의 격자를 분류하고, 상기 복수의 격자에 상기 공간 개체를 매핑한 후, 상기 각각의 격자에 대한 이웃 격자 간의 관계에 따라 격자별 이동 가능 동선을 생성하여 실내 전자지도를 생성하고, 사용자가 상기 전자지도에 출발지 및 목적지를 설정하면, 이에 대한 경로를 사용자에게 제공하는 실내 경로 안내 장치 및 그 동작 방법에 관한 것이다.

즉, 상기 선행기술은 사전에 생성한 전자지도에 격자별 이동 가능 동선에 따라 목적지까지의 경로를 표시하여 제공하는 것으로, 보행자의 위치를 실시간으로 추정하는 것이 아니며, 상기 보행자의 목적지까지 경로를 실시간으로 안내하는 것도 아니다.

반면에 본 발명은, 실내 영상데이터를 학습하여 생성한 학습모델에 보행자로부터 제공되는 보행자 영상데이터를 적용하여 상기 보행자의 위치를 추정하고, 상기 추정한 위치에 따라 상기 보행자의 목적지까지에 대한 이동경로를 실시간으로 안내하는 것으로, 상기 선행기술과 본 발명은 현저한 차이점이 있는 것이 분명하다.

또한 한국공개특허 제2014-0103613호(2014.08.27.)는 다양한 가중치를 적용한 맞춤형 실내 길안내 경로탐색 장치 및 방법에 관한 것으로, 사용자 단말로부터 출발지와 목적지 정보가 전송되면, 무선접속장치를 통해서 사용자 단말의 위치를 확인하여, 상기 확인한 사용자 단말의 위치에 따라 상기 출발지와 목적지까지의 최단 경로를 연산한 후, 상기 연산한 최단 경로에 상기 무선접속장치의 무선랜 측위 품질에 대한 측위 환경 가중치, 보행로의 폭과 이동수단 및 턴바이턴의 정보에 대한 보행로 환경 가중치 또는 실내 공간의 통제 및 규제에 관한 정보에 대한 관리자 환경 가중치를 적용한 이동 경로를 제공하는 다양한 가중치를 적용한 맞춤형 실내 길안내 경로탐색 장치 및 방법에 관한 것이다.

즉, 상기 선행기술은 액세스 포인트인 무선접속장치를 통해 사용자 단말의 위치를 확인하여, 실내 이동 경로를 제공하는 것이다.

반면에 본 발명은, 실내 영상데이터를 학습한 학습모델을 통해 보행자의 위치를 실시간으로 추정하며, 상기 추정한 보행자의 위치에 따라 보행자의 목적지까지에 대한 이동방향을 실시간으로 안내하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사 또는 암시도 없다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 실내에 위치하는 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지의 이동경로를 실시간으로 안내하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은, 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보를 레이블링한 복수의 실내 영상데이터를 학습하여 학습모델을 생성하고, 상기 실내에 위치하는 보행자로부터 보행자의 이동방향에 따라 촬영한 보행자의 영상데이터가 수신되는 경우, 상기 생성한 학습모델에 상기 보행자의 영상데이터를 적용하여 상기 보행자의 현재 위치를 효과적이고 신속하게 추정하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은, 상기 추정한 보행자의 현재 위치에 따라 상기 보행자가 사전에 설정한 목적지까지의 이동방향을 화살표, 도형, 음성 또는 이들의 조합으로 실시간 안내하여, 상기 보행자가 현재 위치에서 상기 목적지까지의 이동방향을 즉각적으로 인지할 수 있도록 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치는, 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하는 학습부, 보행자의 위치와 이동방향에 따라 촬영한 영상데이터를 상기 학습모델에 입력하여 상기 보행자의 현재 위치와 방향을 추정하는 보행자 위치 추정부 및 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 실내 경로 안내부를 포함하는 것을 특징으로 한다.

또한 실내 영상데이터는, 상기 실내의 각 위치를 기준으로 모든 방향과 다양한 배율로 촬영한 영상데이터이며, 상기 학습부는, 상기 레이블링된 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하여 학습함으로써, 상기 실내의 위치별로 상기 학습모델을 생성하는 것을 특징으로 한다.

또한 상기 위치 추정부는, 상기 생성한 각 학습모델에 상기 수신한 보행자의 영상데이터를 적용하여, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 상기 레이블링된 정보를 선택하고, 상기 선택한 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정하는 것을 특징으로 한다.

또한 상기 실내 경로 안내 장치는, 상기 추정한 보행자의 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부를 판단하여, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증부를 더 포함하며, 상기 보행자 위치 추정부는, 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하는 것을 특징으로 한다.

또한 상기 실내 경로 안내부는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않은 경우, 상기 경로 안내 정보를 제공하지 않고, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되거나, 상기 현재 시점으로부터 상기 보행자의 현재 위치를 새롭게 추정한 경우에, 상기 경로 안내 정보를 제공하는 것을 더 포함하며, 상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치에서 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합을 포함하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 방법은, 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하는 학습 단계, 보행자의 위치와 이동방향에 따라 촬영한 영상데이터를 상기 학습모델에 입력하여 상기 보행자의 현재 위치와 방향을 추정하는 보행자 위치 추정 단계 및 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 실내 경로 안내 단계를 포함하는 것을 특징으로 한다.

또한 상기 학습 단계는, 상기 레이블링된 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하여 학습함으로써, 상기 실내의 위치별로 상기 학습모델을 생성하는 것을 특징으로 한다.

또한 상기 위치 추정 단계는, 상기 생성한 각 학습모델에 상기 수신한 보행자의 영상데이터를 적용하여, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 상기 레이블링된 정보를 선택하고, 상기 선택한 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정하는 것을 특징으로 한다.

또한 상기 실내 경로 안내 방법은, 상기 추정한 보행자의 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부를 판단하여, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증 단계를 더 포함하며, 상기 보행자 위치 추정 단계는, 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하는 것을 특징으로 한다.

또한 상기 실내 경로 안내 단계는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않은 경우, 상기 경로 안내 정보를 제공하지 않고, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되거나, 상기 현재 시점으로부터 상기 보행자의 현재 위치를 새롭게 추정한 경우에, 상기 경로 안내 정보를 제공하는 것을 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 따르면, 실내 위치좌표와 위치명을 각각 레이블링한 복수의 실내 영상데이터를 학습하여 생성한 학습모델을 통해 실내에 위치하는 보행자의 보행자 영상데이터를 입력하여 보행자의 위치를 지속적으로 추정하고, 상기 추정한 보행자의 위치에 따라 상기 보행자의 목적지까지의 실내 경로를 실시간으로 안내하여 상기 보행자에게 편의성을 제공하는 효과가 있다.

또한 본 발명은, 이동방향을 지시하는 도형, 음성 또는 이들의 조합을 포함하여 상기 실내 경로를 안내함으로써, 상기 보행자가 현재 위치에서 이동할 방향에 대해 즉각적으로 인식할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 실내에 위치하는 보행자에게 실내 경로를 안내하는 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 보행자의 현재 위치를 추정하기 위한 학습모델을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 실내 경로 안내용 디바이스의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 영상데이터를 학습하여 보행자의 실내 경로를 안내하는 절차를 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 하드웨어 구조를 나타낸 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치(100)(이하, 실내 경로 안내 장치라 칭함)는, 특정 실내에 위치하는 보행자가 실내 경로 안내용 디바이스(200)를 통해 해당 보행자의 이동방향에 따라 상기 실내를 촬영한 보행자의 영상데이터를 전송하면, 상기 수신한 보행자의 영상데이터를 사전에 생성한 해당 실내에 대한 학습모델에 적용하여 상기 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치에 따라 상기 보행자의 목적지까지 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 기능을 수행한다.

상기 실내 경로 안내용 디바이스(200)는, 스마트폰과 같이 상기 보행자가 구비한 무선통신단말에 특정 실내에서 경로 안내 정보를 제공받기 위한 앱(App)이나 프로그램과 같은 형태로 설치되며, 이를 수행함으로써, 상기 보행자가 구비한 무선통신단말이 상기 실내 경로 안내용 디바이스(200)가 된다.

또한 상기 실내 경로 안내 장치(100)는, 상기 실내의 경로를 안내하기 위해 공항, 지하상가, 백화점, 지하철, 병원 등과 같은 실내 경로 안내 대상이 되는 건물별 실내 영상데이터를 실내 영상데이터 제공 단말(300)로부터 수집하고, 상기 수집한 실내 영상데이터를 학습하여, 상기 학습모델을 생성한다.

이때, 상기 건물은, 다수의 보행자가 이동하는 실내 공간을 구비한 건축물이나 구조물 등을 의미한다.

또한 상기 실내 영상데이터는, 상기 실내의 각 위치를 기준으로 모든 방향과 다양한 배율로 촬영한 영상데이터이며, 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링되어, 상기 학습에 이용된다. 이를 통해, 보행자로부터 수신되는 보행자 영상데이터가 실내의 특정 위치를 가까이서 촬영된 것이거나, 또는 멀리서 촬영된 것이거나, 또는 어떠한 방향으로 촬영되었더라도 보행자의 현재 위치를 정확하게 추정할 수 있다.

상기 실내 영상데이터 제공 단말(300)은, 상기 실내 영상데이터를 제공하는 제공자가 구비한 유무선 통신단말을 의미하며, 상기 제공자는 상기 실내 경로 안내 대상이 되는 상기 건물의 관리자일 수 있다.

상기 실내 경로 안내 장치(100)는, 실내 경로를 안내하기 위해 상기 건물별 실내 영상데이터를 실내 영상데이터 제공 단말(300)로부터 수집하고, 상기 수집한 실내 영상데이터를 학습하여, 상기 학습모델을 생성한다.

또한 상기 보행자는, 실내의 경로를 안내받기 위해 상기 실내 경로 안내용 디바이스(200)를 통해 상기 실내 경로 안내 장치(100)에 접속하여, 상기 실내 경로를 안내받을 건물(즉, 특정 공항이나, 병원 등)을 선택하고, 목적지를 설정한다. 이후, 상기 보행자는, 상기 실내 경로 안내용 디바이스(200)를 이용하여, 해당 보행자의 위치와 이동방향에 따라 상기 실내를 촬영한 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)로 전송한다.

또한 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 적용하여, 상기 보행자가 이동함에 따른 보행자의 현재 위치를 실시간으로 추정한다. 상기 학습모델을 이용하여 상기 보행자의 현재 위치를 추정하는 것은 도 3을 참조하여 상세히 설명하도록 한다.

또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에서, 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 생성하고, 상기 생성한 경로 안내 정보를 상기 보행자에게 실시간으로 제공하여, 상기 보행자가 상기 경로 안내 정보에 따라 상기 설정한 목적지까지 이동할 수 있도록 한다.

이때, 상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치와, 상기 추정한 보행자의 현재 위치에서 상기 설정한 목적지에 대한 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합 및 상기 추정한 보행자의 현재 위치에 대한 장소(즉, 장소이름)를 포함한다.

또한 상기 경로 안내 정보를 수신한 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보를 참조하여, 상기 실내 경로 안내 장치(100)로부터 제공받은 해당 실내의 맵(Map)에 상기 추정한 보행자의 현재 위치를 표시하여, 디스플레이의 일 측에 출력한다.

또한 상기 실내 경로 안내용 디아비스(200)는, 상기 수신한 경로 안내 정보를 참조하여, 보행자의 현재 위치에서 상기 설정한 목적지에 대한 이동방향을 안내하는 화살표 또는 도형을 상기 디스플레이의 일 측에 출력하거나, 상기 이동방향을 안내하는 음성을 스피커를 통해 출력하거나 또는 이들의 조합을 수행하여, 상기 보행자가 현재의 위치에서 상기 목적지까지에 대한 이동방향을 즉시 인식하여 이동할 수 있도록 한다.

한편, 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터로부터 상기 보행자의 현재 위치가 추정되지 않는 경우에는, 상기 경로 안내 정보를 제공하지 않는다. 또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하여, 신뢰성이 검증된 경우에만 상기 경로 안내 정보를 제공하여, 상기 신뢰성이 검증되지 않는 경우에는 상기 경로 안내 정보를 제공하지 않는다.

예를 들어, 상기 수신한 보행자의 영상데이터가 상기 실내의 영상이 아닌 다른 영상데이터이여서 상기 보행자의 현재 위치가 추정되지 않는 경우, 상기 경로 안내 정보를 제공하지 않으며, 이후에 수신되는 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치가 추정되면, 이에 대한 경로 안내 정보를 제공한다.

또 다른 예로써, 상기 실내 경로 안내 장치(100)는, 상기 보행자의 영상데이터에 상기 실내의 또 다른 장소가 포함되어 이전에 추정한 보행자의 이전 위치와 현재 추정한 보행자의 현재 위치 간의 거리가 사전에 설정한 임계값을 초과하는 경우, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 것으로 판단하여, 상기 추정한 보행자의 현재 위치에 대한 경로 안내 정보를 제공하지 않는다. 이때, 상기 실내 경로 안내 장치(100)는, 이후에 수신한 보행자의 영상데이터를 토대로 추정한 보행자의 현재 위치가 신뢰성이 검증되면, 이에 대한 경로 안내 정보를 제공하게 된다.

또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정한다.

이를 통해, 상기 실내 경로 안내 장치(100)는, 신뢰성이 검증된 보행자의 현재 위치를 토대로 신뢰성 높은 경로 안내 정보를 상기 실내 경로 안내용 디바이스(200)로 제공함으로써, 안전하고 신속하게 상기 보행자가 상기 목적지로 이동할 수 있도록 한다.

도 2는 본 발명의 일 실시예에 따른 실내에 위치하는 보행자에게 실내 경로를 안내하는 과정을 설명하기 위해 나타낸 도면이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 실내 경로 안내 장치(100)는, 실내에 위치하는 보행자가 구비한 실내 경로 안내용 디바이스(200)로부터 보행자의 영상데이터를 수신한다(①).

이때 상기 보행자는, 상기 실내 경로 안내용 디바이스(200)를 이용하여 네트워크를 통해 상기 실내 경로 안내 장치(100)에 접속하여, 상기 실내 경로 안내 장치(100)로부터 실내의 경로를 안내 받을 대상(즉, 특정 건물)을 선택하고, 자신의 목적지를 설정한다.

상기 네트워크는, 와이파이, 4G, 5G, LTE 등과 같은 다양한 무선통신방법을 지원하여, 상기 실내 경로 안내용 디바이스(200)와 상기 실내 경로 안내 장치(100) 사이에서 경로 안내를 위한 데이터를 송수신할 수 있도록 한다.

또한 상기 보행자의 영상데이터는, 상기 실내 경로 안내용 디바이스(200)를 통해 상기 보행자의 위치와 이동방향에 따라 상기 실내를 촬영한 영상데이터이다.

또한 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치를 추정한다(②).

이때, 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터를 사전에 생성한 학습모델에 연속적으로 적용하여, 상기 보행자의 현재 위치를 실시간으로 추정한다.

상기 학습모델은, 상기 실내 경로를 안내하기 위한 상기 건물에 따라 상기 실내의 각 위치별로 생성된다.

또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한다(③).

상기 실내 경로 안내 장치(100)는, 이전 시점에서 추정한 보행자의 이전 위치와 현재 시점에서 추정한 보행자의 현재 위치 사이의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한다.

즉, 상기 실내 경로 안내 장치(100)는, 상기 실내 경로 안내용 디바이스(200)로부터 수신되는 보행자의 영상데이터를 토대로 상기 보행자의 위치를 지속적으로 연속하여 추정하기 때문에, 상기 추정한 보행자의 현재 위치가 이전 시점에서 추정한 보행자의 이전 위치로부터 급격한 변화가 있는 경우에는 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 없는 것으로 판단하는 것이다.

또한 상기 실내 경로 안내 장치(100)는, 상기 신뢰성을 검증한 결과, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증된 경우, 해당 실내의 맵을 참조하여, 상기 추정한 보행자의 현재 위치에서 상기 보행자가 설정한 목적지에 대한 이동방향, 상기 추정한 현재 위치(좌표), 상기 추정한 현재 위치에 대한 장소(장소이름) 또는 이들의 조합을 포함하는 경로 안내 정보를 생성하여, 상기 실내 경로 안내용 디바이스(200)로 제공(④)함으로써, 실시간 경로 안내를 수행한다.

여기서, 상기 경로 안내 정보의 상기 추정한 보행자의 현재 위치에서 상기 보행자가 설정한 목적지에 대한 이동방향은, 상기 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합으로 구성된다.

또한 상기 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보를 상기 실내 경로 안내용 디바이스(200)에 구비된 디스플레이의 일 측에 각각 출력하여, 상기 보행자가 자신의 현재 위치와 이동방향을 즉각적으로 인식할 수 있도록 한다.

이때, 상기 수신한 경로 안내 정보의 보행자의 현재 위치는, 상기 디스플레이의 일 측에 출력되는 실내의 맵에 표시되어 출력된다. 또한 상기 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보의 이동방향을 안내하는 화살표 또는 도형 및 장소(예: 1층 제1 복도)를 상기 디스플레이의 일 측에 출력한다.

한편, 상기 경로 안내 정보의 이동방향이 음성으로 구성되어 있는 경우에는, 상기 실내 경로 안내용 디바이스(200)는, 자체적으로 구비되는 스피커를 통해 상기 음성을 출력한다.

즉, 상기 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보를 디스플레이, 스피커 또는 이들의 조합으로 출력하여, 상기 출력한 경로 안내 정보를 토대로 상기 보행자가 상기 목적지까지 이동할 수 있도록 하는 것이다.

한편, 상기 보행자는 상기 실내 경로 안내용 디바이스(200)에서 출력되는 실내의 맵 영역을 터치하여, 상기 터치 동작에 따라 상기 실내의 맵을 확대하여 출력하거나, 상기 실내의 맵을 축소하여 상기 실내의 전체 맵을 확인할 수 있다.

즉, 상기 실내 경로 안내용 디바이스(200)는, 디스플레이에 출력되는 상기 실내의 맵 영역에 상기 사용자의 터치 동작을 감지하고, 상기 감지한 동작에 따라 상기 실내의 맵을 확대하거나, 축소함으로써, 상기 보행자의 현재 위치나, 상기 실내의 전체 맵을 확인할 수 있도록 하는 것이다.

도 3은 본 발명의 일 실시예에 따른 보행자의 현재 위치를 추정하기 위한 학습모델을 설명하기 위해 나타낸 도면이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 보행자의 현재 위치를 추정하기 위한 학습모델은, 실내 경로 안내를 위한 건물별로 수집한 실내 영상데이터를 학습하여 생성된다.

이를 위해 상기 실내 경로 안내 장치(100)는, 적어도 하나 이상의 실내 영상데이터 제공 단말(300)로부터 상기 실내 영상데이터를 수집하고, 상기 수집한 실내 영상데이터에 대한 레이블링을 수행한다.

상기 레이블링은, 상기 실내 영상데이터를 제공한 제공자에 의해 수행되는 것으로, 상기 제공자는 상기 제공한 실내 영상데이터를 확인하여, 상기 실내 영상데이터에 대해 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 레이블을 부여하여 상기 레이블링을 수행한다.

여기서 상기 좌표는, 상기 실내의 각 위치에 대한 2차원 또는 3차원 좌표를 의미하며, 상기 방향은, 상기 각 위치에서 상기 실내를 촬영한 방향을 의미한다. 또한 상기 장소는, 상기 각 위치에 대한 장소이름(예를 들어, 1층 카운터, 정문 등)을 의미한다. 또한 상기 영상데이터는 상기 실내의 위치별로 다양한 배율로 촬영한 영상데이터임은 상술한 바와 같다.

또한 상기 실내 경로 안내 장치(100)는, 상기 레이블링한 실내 영상데이터를 상기 실내의 각 위치별로 분류하고, 상기 분류한 위치별 실내 영상데이터를 각각 학습하여, 상기 위치에 따른 적어도 하나 이상의 학습모델을 생성한다.

상기 학습은, 이미지 학습에 최적화된 CNN(Convolutional Neural Network)를 통해 수행되는 것이 바람직하며, 다만 이에 한정하지 않고 ANN(Artificial Neural Network), DCNN(Deep CNN) 등과 같은 다양한 학습네트워크를 이용하여 상기 학습을 수행하여 상기 학습모델을 생성할 수 있다.

여기서, 상기 학습모델은 특정 영상데이터가 입력되는 경우, 특정 위치에 대한 레이블링된 정보일 확률을 출력하도록 학습된다.

또한 상기 실내 경로 안내 장치(100)는, 상기 실내에 위치하는 보행자로부터 보행자의 영상데이터가 수신되는 경우, 상기 수신한 보행자의 영상데이터를 상기 생성한 각 학습모델에 연속적으로 입력하여, 상기 보행자의 영상데이터별로 상기 보행자의 현재 위치를 지속적으로 추정한다.

또한 상기 실내 경로 안내 장치(100)는, 상기 각 학습모델로부터 출력되는 특정 위치에 대해 레이블링된 정보일 확률 중 가장 높은 확률을 가지는 레이블링된 정보를 선택하고, 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정한다.

도 4는 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 구성을 나타낸 블록도이다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치(100)는, 실내 영상데이터를 수집하는 실내 영상데이터 수집부(110), 상기 수집한 실내 영상데이터에 대한 레이블링을 수행하는 레이블링부(120), 상기 수집한 실내 영상데이터를 학습하여, 학습모델을 생성하는 학습부(130), 상기 실내에 위치하는 보행자의 목적지를 설정하는 목적지 설정부(140), 상기 보행자로부터 보행자의 영상데이터를 수신하는 보행자 영상데이터 수신부(150), 상기 수신한 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치를 추정하는 보행자 위치 추정부(160), 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증부(170), 상기 추정한 보행자의 현재 위치를 토대로 경로 안내 정보를 생성하는 경로 안내 정보 생성부(180) 및 상기 생성한 경로 안내 정보를 상기 보행자에게 제공하여 실내 경로 안내를 수행하는 실내 경로 안내부(190)를 포함하여 구성된다.

상기 실내 영상데이터 수집부(110)는, 적어도 하나 이상의 실내 영상데이터 제공 단말(300)로부터 실내 영상데이터를 수집하고, 상기 수집한 실내 영상데이터를 건물별로 분류하여 저장하는 기능을 수행한다.

한편, 상기 실내 영상데이터 제공 단말(110)은, 상기 실내의 공간이 확장되거나, 축소되는 것과 같이, 상기 실내의 구조가 변경되는 경우, 상기 실내 영상데이터를 업데이트하여 제공한다.

또한 상기 레이블링부(120)는 상기 수집한 실내 영상데이터에 레이블을 부여하여, 상기 실내 영상데이터에 대한 레이블링을 수행하는 기능을 수행한다.

상기 레이블은, 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보를 포함하며, 상기 레이블링은 상기 실내 영상데이터를 제공한 제공자에 의해 수행됨은 상술한 바와 같다.

또한 상기 학습부(130)는, 상기 레이블링된 상기 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하고, 상기 각 위치에 따라 분류한 상기 실내 영상데이터를 각각 학습하여, 상기 실내의 각 위치에 따른 적어도 하나 이상의 학습모델을 생성한다.

상기 생성한 학습모델의 입력은, 특정 영상데이터(즉, 보행자의 영상데이터)가 되며, 출력은 특정 위치에 대해 레이블링된 정보일 확률임은 상술한 바와 같다.

또한 상기 학습부(130)는, 상기 실내의 구조가 변경된 실내 영상데이터가 수신되는 경우에는, 상기 구조가 변경된 실내 영상데이터를 다시 학습하여, 해당 실내에 대한 학습모델을 생성하게 된다.

또한 상기 목적지 설정부(140)는, 상기 보행자가 상기 실내 경로 안내용 디바이스(200)를 통해 특정 실내에 대한 경로 안내를 요청하는 경우, 안내 대상이 되는 특정 건물(예를 들어, 특정 병원이나 지하상가)을 선택하도록 하고, 상기 선택한 특정 건물의 실내에 대한 정보를 제공하여 최종 목적지를 설정하도록 하는 기능을 수행한다. 이를 통해 상기 실내 경로 안내 장치(100)는, 상기 보행자에게 실내 경로 안내를 시작하게 된다.

또한 상기 보행자 영상데이터 수신부(150)는, 상기 실내에 위치하는 보행자의 실내 경로 안내용 디바이스(200)로부터 상기 보행자의 위치와 이동방향에 따라 촬영한 보행자의 영상데이터를 실시간으로 수신하는 기능을 수행한다.

즉, 상기 실내 경로 안내용 디바이스(200)는, 상기 보행자의 위치와 이동방향으로 상기 실내를 실시간으로 촬영하여, 상기 촬영한 보행자의 영상데이터를 상기 보행자 영상데이터 수신부(150)로 전송하는 것이다.

또한 상기 보행자 위치 추정부(160)는, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 연속하여 입력함으로써, 상기 실내에 위치하는 보행자의 현재 위치를 실시간으로 추정하는 기능을 수행한다.

여기서, 상기 보행자 위치 추정부(160)는, 상기 실내의 위치별로 생성한 학습모델에 상기 수신한 보행자의 영상데이터를 입력하고, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 레이블링된 정보를 선택한다.

이후, 상기 보행자 위치 추정부(160)는, 상기 선택한 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정한다.

또한 상기 신뢰성 검증부(170)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 기능을 수행한다.

이때, 상기 신뢰성 검증부(170)는, 상기 추정한 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 상기 추정한 현재 위치에 대한 신뢰성을 검증한다.

또한 상기 신뢰성 검증부(170)는, 상기 임계값을 초과하는 경우, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 것으로 판단하며, 상기 임계값 이하인 경우에는, 상기 추정한 현재 위치에 대한 신뢰성이 검증된 것으로 판단한다.

한편, 상기 신뢰성을 검증한 결과, 상기 추정한 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 상기 보행자 위치 추정부(160)는, 이후에 수신되는 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치를 다시 추정하며, 상기 신뢰성 검증부(170)는, 상기 다시 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한다.

또한 상기 보행자 위치 추정부(160)는, 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우에는, 현재 시점에서 수신되는 보행자의 영상데이터를 상기 학습모델에 적용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정한다.

또한 상기 경로 안내 정보 생성부(180)는, 상기 사전에 저장된 실내의 맵을 참조하여, 상기 추정한 보행자의 현재 위치에서 상기 설정한 목적지로 이동할 이동방향에 대한 정보를 포함하는 경로 안내 정보를 생성한다. 이때, 상기 경로 안내 정보는, 상기 이동방향 이외에 상기 확인한 좌표 및 장소를 포함한다.

또한 상기 이동방향에 대한 정보는, 상기 추정한 보행자의 현재 위치에서, 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합을 포함한다.

또한 상기 경로 안내 정보 생성부(180)는, 최초로 추정된 보행자의 현재 위치, 상기 신뢰성이 검증된 보행자의 현재 위치 또는 상기 새롭게 추정된 보행자의 현재 위치에 대하여 상기 경로 안내 정보를 생성한다.

또한 상기 실내 경로 안내부(190)는, 상기 생성한 경로 안내 정보를 상기 보행자의 실내 경로 안내용 디바이스(200)로 제공함으로써, 상기 실내에 위치하는 보행자에 대한 실내 경로를 실시간으로 안내하는 기능을 수행한다.

도 5는 본 발명의 일 실시예에 따른 실내 경로 안내용 디바이스의 구성을 나타낸 블록도이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 실내 경로 안내용 디바이스(200)는, 사용자 인터페이스를 제공하는 사용자 인터페이스부(210), 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)로 전송하는 보행자 영상데이터 전송부(220), 상기 실내 경로 안내 장치(100)로부터 경로 안내 정보를 수신하는 경로 안내 정보 수신부(230) 및 상기 수신한 경로 안내 정보를 출력하는 경로 안내 정보 출력부(240)를 포함하여 구성된다.

상기 사용자 인터페이스부(210)는, 상기 실내 경로 안내용 디바이스(200)가 상기 실내 경로 안내 장치(100)에 접속하여, 상기 실내 경로 안내 장치(100)로부터 실내 경로 안내를 제공받을 때, 상기 실내 경로 안내를 제공받기 위한 다양한 정보를 설정하기 위한 사용자 인터페이스를 제공하는 기능을 수행한다.

이때, 상기 보행자는 상기 사용자 인터페이스를 통해, 실내 경로를 안내 받기 위한 특정 건물을 선택하고, 상기 선택한 특정 건물에서 상기 보행자가 이동할 목적지를 설정한다.

또한 상기 보행자 영상데이터 전송부(220)는, 상기 실내를 촬영한 카메라를 포함하여 구성된다.

또한 상기 보행자 영상데이터 전송부(220)는, 상기 보행자의 위치와 이동방향에 따라 상기 실내를 촬영하여, 보행자의 영상데이터를 획득하고, 상기 획득한 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)로 전송하는 기능을 수행한다.

또한 상기 경로 안내 정보 수신부(230)는, 상기 실내 경로 안내 장치(100)에서 상기 보행자의 영상데이터를 토대로 추정한 보행자의 현재 위치에 따라 생성된 경로 안내 정보를 수신하는 기능을 수행한다.

또한 상기 경로 안내 정보 출력부(230)는, 상기 수신한 경로 안내 정보를 디스플레이, 스피커 또는 이들의 조합으로 출력하는 기능을 수행한다.

여기서, 상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치에 대한 좌표, 화살표, 도형, 음성 또는 이들의 조합을 포함하는 상기 추정한 보행자의 현재 위치에서 상기 설정한 목적지에 대한 이동방향에 대한 정보, 상기 추정한 보행자의 현재 위치에 대한 장소(즉, 장소이름)를 포함함은 상술한 바와 같다.

또한 상기 경로 안내 정보 출력부(230)는, 상기 좌표를 확인하여, 상기 디스플레이상에 상기 실내의 맵이 표시되는 영역에 상기 보행자의 현재 위치를 표시하여 출력한다.

또한 상기 경로 안내 정보 출력부(230)는, 상기 이동방향에 대한 정보 및 상기 추정한 보행자의 현재 위치에 대한 장소이름을, 상기 디스플레이상에 표시되는 상기 이동방향에 대한 정보 및 장소이름에 대한 영역에 출력한다.

또한 상기 이동방향에 대한 정보가 음성으로 구성되어 있는 경우에는, 상기 스피커를 통해 출력함은 상술한 바와 같다.

한편, 상기 각 영역은, 사전에 설정되어 있으며, 상기 보행자가 상기 각 영역을 터치하여 이동시키는 것이 가능하다.

도 6은 본 발명의 일 실시예에 따른 영상데이터를 학습하여 보행자의 실내 경로를 안내하는 절차를 나타낸 흐름도이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터를 학습하여 보행자의 실내 경로를 안내하는 절차는 우선, 상기 실내 경로 안내 장치(100)는, 적어도 하나 이상의 실내 영상데이터 제공 단말(300)로부터 실내 영상데이터를 수집하는 기능을 실내 영상데이터 수집 단계를 수행한다(S110).

상기 실내 영상데이터는, 실내 경로를 안내할 건물별로 수집되어 실내 영상데이터 데이터베이스(420)에 저장된다.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들이 조합을 포함하는 정보를 레이블링하는 레이블링 단계를 수행한다(S120). 이때, 상기 레이블링한 실내 영상데이터는 상기 실내 영상데이터 데이터베이스(420)에 저장된다.

상기 레이블링은, 상기 실내의 각 위치별 실내 영상데이터에 해당하는 상기 정보를 포함하는 레이블을 부여함으로써, 수행되며, 상기 실내 영상데이터를 제공한 제공자에 의해 수행된다.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 레이블링한 실내 영상데이터를 상기 실내의 각 위치에 따라 분류(S130)하여, 상기 분류한 실내 영상데이터를 학습함으로써, 실내에 위치하는 보행자의 위치를 추정하기 위한 학습모델을 생성하는 학습 단계를 수행한다(S140). 상기 생성한 학습모델은 학습모델 데이터베이스(410)에 저장된다.

이때, 상기 학습모델은, 상기 실내의 위치별로 생성되며, 상기 학습을 수행하는 과정에 대해서는 도 3을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.

이후, 상기 실내 경로 안내 장치(100)는, 상기 실내에 위치하는 보행자로부터 보행자의 영상데이터를 수신하는 보행자 영상데이터 수신 단계를 수행한다(S210).

이때, 상기 보행자는, 상기 실내 경로 안내용 디바이스(200)를 통해 실내 경로 안내를 제공받기 위한 대상 건물을 선택하고, 목적지를 설정하며, 상기 실내 경로 안내용 디바이스(200)는, 상기 보행자의 위치와 이동방향에 따라 상기 실내를 촬영한 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)고 전송한다.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 생성한 학습모델을 상기 학습모델 데이터베이스(410)로부터 로딩하여, 상기 수신한 보행자의 영상데이터를 상기 로딩한 학습모델에 적용함으로써, 상기 보행자의 현재 위치를 추정하는 보행자 위치 추정 단계를 수행한다(S220).

상기 보행자 위치 추정 단계는, 상기 위치별 학습모델에서 각각 출력되는 특정 위치에 대해 레이블링된 정보일 확률 중에서 제일 높은 확률을 선택함으로써, 상기 보행자의 현재 위치를 추정함은 상술한 바와 같다.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 보행자 위치 추정 단계를 통해 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증 단계를 수행한다(S230).

상기 신뢰성 검증은, 이전에 추정한 상기 보행자의 이전 위치와 상기 추정한 보행자의 현재 위치간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 수행됨은 상술한 바와 같다.

한편, 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 상기 보행자 위치 추정 단계를 재수행하여, 이후에 수신된 보행자의 영상데이터를 토대로 해당 보행자의 현재 위치를 재추정하도록 하고, 상기 신뢰성 검증 단계를 재수행하여, 상기 재추정한 보행자의 현재 위치에 대한 신뢰성을 재검증하도록 한다.

또한 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하도록 함은 상술한 바와 같다.

또한 상기 신뢰성 검증은, 상기 보행자의 현재 위치가 최초로 추정되거나, 또는 현재 시점에서 새롭게 추정된 경우에는, 수행되지 않는다.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 따른 경로 안내 정보를 생성하는 경로 안내 정보 생성 단계를 수행한다(S240).

이때, 상기 경로 안내 정보 생서 단계는, 상기 신뢰성이 검증된 상기 보행자의 현재 위치, 또는 최초로 추정된 보행자의 현재 위치 또는 상기 새롭게 추정된 보행자의 현재 위치에 따라 상기 경로 안내 정보를 생성한다.

상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치에 대한 좌표, 상기 추정한 현재 위치에서 상기 목적지로 이동할 이동방향에 대한 정보 및 상기 추정한 보행자의 현재 위치에 대한 장소를 포함함은 상술한 바와 같다.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 생성한 경로 안내 정보를 상기 보행자의 실내 경로 안내용 디바이스(200)로 제공하여, 상기 보행자에 대한 실내 경로 안내를 수행하는 실내 경로 안내 단계를 수행한다(S190).

상기 실내 경로 안내 단계는, 상기 추정한 보행자의 현재 위치를 토대로 생성한 상기 경로 안내 정보를 지속적으로 제공함으로써, 상기 보행자가 상기 설정한 목적지까지 정확하고 안전하게 이동할 수 있도록 한다.

도 7은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 하드웨어 구조를 나타낸 도면이다.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치(100)의 하드웨어 구조, 중앙처리장치(1000), 메모리(2000), 사용자 인터페이스(3000), 데이터베이스 인터페이스(4000), 네트워크 인터페이스(5000), 웹서버(6000) 등을 포함하여 구성된다.

상기 사용자 인터페이스(3000)는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 사용함으로써, 상기 보행자에게 입력과 출력 인터페이스를 제공한다.

상기 데이터베이스 인터페이스(4000)는 데이터베이스(400)와 하드웨어 구조 사이의 저장 인터페이스를 제공하며, 상기 네트워크 인터페이스(5000)는 사용자가 보유한 장치 간의 네트워크 연결을 제공한다.

상기 웹 서버(6000)는 상기 보행자가 네트워크를 통해 상기 실내 경로 안내 장치(100)로 액세스하기 위한 수단을 제공한다. 대부분의 보행자들은 원격에서 웹 서버로 접속하여 상기 실내 경로 안내 장치(100)를 이용할 수 있다.

상술한 구성 또는 방법의 각 단계는, 컴퓨터 판독 가능한 기록매체 상의 컴퓨터 판독 가능 코드로 구현되거나 전송 매체를 통해 전송될 수 있다. 컴퓨터 판독 가능한 기록매체는, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 디바이스이다. 컴퓨터 판독 가능한 기록매체의 예로는 데이터베이스, ROM, RAM, CD-ROM, DVD, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 디바이스가 있으나 이에 한정되는 것은 아니다. 전송매체는 인터넷 또는 다양한 유형의 통신 채널을 통해 전송되는 반송파를 포함할 수 있다.

또한 컴퓨터 판독 가능한 기록매체는, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고, 실행되도록 네트워크 결합 컴퓨터 시스템을 통해 분배될 수 있다.

또한 본 발명에 적용된 적어도 하나 이상의 구성요소는, 각각의 기능을 수행하는 중앙처리장치(CPU)(1000), 마이크로프로세서 등과 같은 프로세서를 포함하거나 이에 의해 구현될 수 있으며, 상기 구성요소 중 둘 이상은 하나의 단일 구성요소로 결합되어 결합된 둘 이상의 구성요소에 대한 모든 동작 또는 기능을 수행할 수 있다. 또한 본 발명에 적용된 적어도 하나 이상의 구성요소의 일부는, 이들 구성요소 중 다른 구성요소에 의해 수행될 수 있다. 또한 상기 구성요소들 간의 통신은 버스(미도시)를 통해 수행될 수 있다.

이처럼, 본 발명은 실내 영상데이터를 학습하여 생성한 학습모델을 이용하여, 실내에 위치하는 보행자의 영상데이터로부터 상기 보행자의 현재 위치를 지속적으로 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 경로 안내 정보를 생성하여 실시간으로 제공함으로서, 상기 보행자의 목적지까지 정확하기 이동할 수 있도록 하는 효과가 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100: 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치
110: 실내 영상데이터 수집부 120: 레이블링부
130: 학습부 140: 목적지 설정부
150: 보행자 영상데이터 수신부 160: 보행자 위치 추정부
170: 신뢰성 검증부 180: 경로 안내 정보 생성부
190: 실내 경로 안내부 200: 실내 경로 안내용 디바이스
210: 사용자 인터페이스부 220: 보행자 영상데이터 전송부
230: 경로 안내 정보 수신부 240: 경로 안내 정보 출력부
300: 실내 영상데이터 제공 단말 400: 데이터베이스

Claims

실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하는 학습부;
보행자의 위치와 이동방향에 따라 촬영한 영상데이터를 상기 학습모델에 입력하여 상기 보행자의 현재 위치와 방향을 추정하는 보행자 위치 추정부; 및
상기 추정한 보행자의 현재 위치를 토대로 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 실내 경로 안내부;를 포함하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치.
청구항 1에 있어서,
상기 실내 영상데이터는, 상기 실내의 각 위치를 기준으로 모든 방향과 다양한 배율로 촬영한 영상데이터이며,
상기 학습부는, 상기 레이블링된 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하여 학습함으로써, 상기 실내의 위치별로 상기 학습모델을 생성하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치.
청구항 2에 있어서,
상기 위치 추정부는,
상기 생성한 각 학습모델에 상기 보행자의 영상데이터를 적용하여, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 상기 레이블링된 정보를 선택하고, 상기 선택한 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치.
청구항 1에 있어서,
상기 실내 경로 안내 장치는,
상기 추정한 보행자의 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부를 판단하여, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증부;를 더 포함하며,
상기 보행자 위치 추정부는,
상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치.
청구항 4에 있어서,
상기 실내 경로 안내부는,
상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않은 경우, 상기 경로 안내 정보를 제공하지 않고, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되거나, 상기 현재 시점으로부터 상기 보행자의 현재 위치를 새롭게 추정한 경우에, 상기 경로 안내 정보를 제공하는 것을 더 포함하며,
상기 경로 안내 정보는,
상기 추정한 보행자의 현재 위치에서 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합을 포함하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치.
실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하는 학습 단계;
보행자의 위치와 이동방향에 따라 촬영한 영상데이터를 상기 학습모델에 입력하여 상기 보행자의 현재 위치와 방향을 추정하는 보행자 위치 추정 단계; 및
상기 추정한 보행자의 현재 위치를 토대로 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 실내 경로 안내 단계;를 포함하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 방법.
청구항 6에 있어서,
상기 실내 영상데이터는, 상기 실내의 각 위치를 기준으로 모든 방향과 다양한 배율로 촬영한 영상데이터이며,
상기 학습 단계는, 상기 레이블링된 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하여 학습함으로써, 상기 실내의 위치별로 상기 학습모델을 생성하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치.
청구항 7에 있어서,
상기 위치 추정 단계는,
상기 생성한 각 학습모델에 상기 보행자의 영상데이터를 적용하여, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 상기 레이블링된 정보를 선택하고, 상기 선택한 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 방법.
청구항 6에 있어서,
상기 실내 경로 안내 방법은,
상기 추정한 보행자의 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부를 판단하여, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증 단계;를 더 포함하며,
상기 보행자 위치 추정 단계는,
상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 방법.
청구항 9에 있어서,
상기 실내 경로 안내 단계는,
상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않은 경우, 상기 경로 안내 정보를 제공하지 않고, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되거나, 상기 현재 시점으로부터 상기 보행자의 현재 위치를 새롭게 추정한 경우에, 상기 경로 안내 정보를 제공하는 것을 더 포함하며,
상기 경로 안내 정보는,
상기 추정한 보행자의 현재 위치에서 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합을 포함하는 것을 특징으로 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 방법.