KR102317499B1

KR102317499B1 - Apparatus for guiding indoor route of pedestrian through training of image data and method thereof

Info

Publication number: KR102317499B1
Application number: KR1020200021348A
Authority: KR
Inventors: 이동명
Original assignee: 동명대학교 산학협력단
Priority date: 2020-02-21
Filing date: 2020-02-21
Publication date: 2021-10-25
Also published as: KR20210106639A

Abstract

본 발명은 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 관한 것으로, 실내의 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하고, 상기 실내에 위치하는 보행자로부터 상기 보행자의 이동방향에 따라 촬영한 보행자의 영상데이터가 수신되면, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 적용함으로써, 상기 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지 실내 경로 안내를 실시간으로 제공하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for guiding an indoor route for pedestrians through image data learning, and a learning model by learning indoor image data labeled with information including coordinates, directions, places, or a combination of indoor locations. , and when image data of a pedestrian photographed according to the movement direction of the pedestrian is received from a pedestrian located in the room, the received image data of the pedestrian is applied to the created learning model, thereby the current location of the pedestrian The present invention relates to an apparatus and method for estimating and providing an indoor route guidance to a destination of the pedestrian in real time based on the estimated current location of the pedestrian.

Description

Pedestrian indoor route guidance device and method through image data learning

본 발명은 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 실내의 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하고, 상기 실내에 위치하는 보행자로부터 상기 보행자의 이동방향에 따라 촬영한 보행자의 영상데이터가 수신되면, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 적용함으로써, 상기 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지 실내 경로 안내를 실시간으로 제공하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for guiding an indoor route for pedestrians through image data learning, and more particularly, to indoor image data labeled with information including coordinates, directions, places, or a combination thereof for an indoor location. A learning model is generated by learning, and when image data of a pedestrian photographed according to the movement direction of the pedestrian is received from a pedestrian located in the room, by applying the received image data of the pedestrian to the created learning model, the The present invention relates to an apparatus and method for estimating a current location of a pedestrian and providing an indoor route guidance to a destination of the pedestrian in real time based on the estimated current location of the pedestrian.

최근 산업기술과 정보통신기술의 급격한 발전으로 인해 스마트폰, 웨어러블 기기, IoT 기기 등과 같은 스마트 단말(사용자 단말)이 보급되면서, 상기 스마트 단말에 탑재되는 각종 센서를 이용하여 보행자의 위치를 추정하고, 보행자의 목적지까지 경로를 안내하는 경로 안내 장치에 대한 대중의 관심이 증대되고 있다.Recently, as smart terminals (user terminals) such as smart phones, wearable devices, IoT devices, etc. are popular due to the rapid development of industrial technology and information and communication technology, the location of pedestrians is estimated using various sensors mounted on the smart terminals, Public interest in a route guide device that guides a route to a pedestrian's destination is increasing.

일반적으로 경로 안내 장치는, 상기 스마트 단말에 탑재되는 GNSS(Global Navigation Satellite System) 수신기를 이용하여 보행자의 위치를 추정하고, 상기 추정한 보행자의 위치를 토대로 보행자의 목적지까지 경로 안내를 제공한다.In general, the route guide apparatus estimates the location of a pedestrian using a Global Navigation Satellite System (GNSS) receiver mounted on the smart terminal, and provides route guidance to the pedestrian's destination based on the estimated location of the pedestrian.

그러나 GNSS 수신기를 이용하는 경우, 실외에서는 비교적 정확한 위치 추정이 가능하지만 상기 보행자가 실내에 위치할 때에는, GNSS 신호의 수신이 불가능하여 보행자의 위치를 추정하는 것이 불가능한 문제점이 있다.However, in the case of using a GNSS receiver, although relatively accurate location estimation is possible outdoors, when the pedestrian is indoors, reception of a GNSS signal is impossible, making it impossible to estimate the location of the pedestrian.

이러한 문제점을 해결하기 위해 최근에는, 실내에 무선통신(예: 와이파이, 블루투스 등)을 위해 설치되는 다수의 액세스 포인트로부터 무선신호로 수신되는 위치정보 중 상기 무선신호의 세기가 제일 큰 무선신호의 위치정보를 선택하여 보행자의 위치를 추정하거나, 다수의 액세스 포인트로부터 수신되는 위치정보를 삼각측량을 통해 상기 보행자의 위치를 추정하여 보행자의 실내 이동 경로를 안내하는 기술이 개발되어 상용화되고 있다.In order to solve this problem, recently, among location information received as a wireless signal from a plurality of access points installed for wireless communication (eg, Wi-Fi, Bluetooth, etc.) indoors, the location of the wireless signal having the greatest strength of the wireless signal A technology for estimating the location of a pedestrian by selecting information or estimating the location of the pedestrian through triangulation of location information received from a plurality of access points has been developed and commercialized to guide the indoor movement path of the pedestrian.

그러나 상기 무선신호는 벽, 가구, 구조물 등과 같은 실내 구조로 인한 회절, 산란 또는 다중 경로 전파의 문제점이 발생할 수 있다. 이 경우, 실제 보행자의 스마트 기기와, 가까운 거리의 액세스 포인트로부터 수신된 무선신호의 세기가 먼 거리의 액세스 포인트로부터 수신된 무선신호의 세기보다 약할 수 있어, 보행자의 위치를 추정한 결과에 대한 정확도가 현저하게 떨어지는 문제점이 있다.However, the radio signal may have problems of diffraction, scattering, or multi-path propagation due to indoor structures such as walls, furniture, and structures. In this case, the strength of a wireless signal received from an actual pedestrian's smart device and a nearby access point may be weaker than the strength of a wireless signal received from a distant access point, so the accuracy of the result of estimating the pedestrian's location There is a problem that is significantly reduced.

따라서 본 발명에서는, 실내 영상데이터를 수집하여, 상기 수집한 실내영상데이터에 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보를 레이블링하고, 상기 레이블링한 실내 영상데이터를 학습하여 학습모델을 생성한 후, 상기 실내에 위치하는 보행자로부터 제공되는 보행자의 영상데이터를 상기 생성한 학습모델에 적용하여 상기 보행자의 현재 위치를 정확하게 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지에 대한 실내 경로를 실시간으로 안내하는 방안을 제안하고자 한다.Therefore, in the present invention, indoor image data is collected, the collected indoor image data is labeled with information including coordinates, directions, places, or a combination thereof for each location in the room, and the labeled indoor image data is learned. After generating the learning model, the image data of the pedestrian provided from the pedestrian located in the room is applied to the created learning model to accurately estimate the current position of the pedestrian, and based on the estimated current position of the pedestrian, the We would like to propose a method of guiding the indoor route to a pedestrian's destination in real time.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently compared to the prior art will be described.

먼저 한국공개특허 제2017-0081884(2017.07.13.)는 실내 경로 안내 장치 및 그 동작 방법에 관한 것으로, 실내 설계도면에서 공간 개체 및 복수의 격자를 분류하고, 상기 복수의 격자에 상기 공간 개체를 매핑한 후, 상기 각각의 격자에 대한 이웃 격자 간의 관계에 따라 격자별 이동 가능 동선을 생성하여 실내 전자지도를 생성하고, 사용자가 상기 전자지도에 출발지 및 목적지를 설정하면, 이에 대한 경로를 사용자에게 제공하는 실내 경로 안내 장치 및 그 동작 방법에 관한 것이다.First, Korean Patent Application Laid-Open No. 2017-0081884 (2017.07.13.) relates to an indoor route guidance device and an operating method thereof, classifying a spatial object and a plurality of grids in an indoor design drawing, and adding the space object to the plurality of grids. After mapping, an indoor electronic map is generated by generating movable movement lines for each grid according to the relationship between neighboring grids for each grid. It relates to an indoor route guidance device and an operating method thereof.

즉, 상기 선행기술은 사전에 생성한 전자지도에 격자별 이동 가능 동선에 따라 목적지까지의 경로를 표시하여 제공하는 것으로, 보행자의 위치를 실시간으로 추정하는 것이 아니며, 상기 보행자의 목적지까지 경로를 실시간으로 안내하는 것도 아니다.That is, the prior art displays and provides a route to a destination according to a movable movement line for each grid on an electronic map generated in advance, and does not estimate the location of a pedestrian in real time, but calculates the route to the destination of the pedestrian in real time. Nor is it a guide to

반면에 본 발명은, 실내 영상데이터를 학습하여 생성한 학습모델에 보행자로부터 제공되는 보행자 영상데이터를 적용하여 상기 보행자의 위치를 추정하고, 상기 추정한 위치에 따라 상기 보행자의 목적지까지에 대한 이동경로를 실시간으로 안내하는 것으로, 상기 선행기술과 본 발명은 현저한 차이점이 있는 것이 분명하다.On the other hand, in the present invention, the location of the pedestrian is estimated by applying the pedestrian image data provided from the pedestrian to a learning model generated by learning indoor image data, and the movement path to the destination of the pedestrian according to the estimated location It is clear that there is a significant difference between the prior art and the present invention by guiding in real time.

또한 한국공개특허 제2014-0103613호(2014.08.27.)는 다양한 가중치를 적용한 맞춤형 실내 길안내 경로탐색 장치 및 방법에 관한 것으로, 사용자 단말로부터 출발지와 목적지 정보가 전송되면, 무선접속장치를 통해서 사용자 단말의 위치를 확인하여, 상기 확인한 사용자 단말의 위치에 따라 상기 출발지와 목적지까지의 최단 경로를 연산한 후, 상기 연산한 최단 경로에 상기 무선접속장치의 무선랜 측위 품질에 대한 측위 환경 가중치, 보행로의 폭과 이동수단 및 턴바이턴의 정보에 대한 보행로 환경 가중치 또는 실내 공간의 통제 및 규제에 관한 정보에 대한 관리자 환경 가중치를 적용한 이동 경로를 제공하는 다양한 가중치를 적용한 맞춤형 실내 길안내 경로탐색 장치 및 방법에 관한 것이다.In addition, Korean Patent Application Laid-Open No. 2014-0103613 (2014.08.27.) relates to a customized indoor navigation route search apparatus and method to which various weights are applied. After checking the location of the terminal, calculating the shortest path to the starting point and the destination according to the confirmed location of the user terminal, the calculated shortest path is the positioning environment weight for the WLAN positioning quality of the wireless access device, and the walking path A customized indoor navigation route search device with various weights applied to provide a movement route that applies the pedestrian environment weight to the width, transportation means, and turn-by-turn information or the manager environment weight to information about control and regulation of indoor space, and it's about how

즉, 상기 선행기술은 액세스 포인트인 무선접속장치를 통해 사용자 단말의 위치를 확인하여, 실내 이동 경로를 제공하는 것이다.That is, the prior art provides an indoor movement path by confirming the location of the user terminal through a wireless access device that is an access point.

반면에 본 발명은, 실내 영상데이터를 학습한 학습모델을 통해 보행자의 위치를 실시간으로 추정하며, 상기 추정한 보행자의 위치에 따라 보행자의 목적지까지에 대한 이동방향을 실시간으로 안내하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사 또는 암시도 없다. On the other hand, the present invention estimates the position of a pedestrian in real time through a learning model that has learned indoor image data, and guides the movement direction of the pedestrian to the destination in real time according to the estimated position of the pedestrian in real time. The description does not describe or suggest or imply such technical features of the present invention.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 실내에 위치하는 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자의 목적지까지의 이동경로를 실시간으로 안내하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 제공하는 것을 목적으로 한다.The present invention was created to solve the above problems, and is an image for estimating the current location of a pedestrian located indoors, and guiding the movement path of the pedestrian to the destination in real time based on the estimated current location of the pedestrian An object of the present invention is to provide an indoor route guidance device and method for pedestrians through data learning.

또한 본 발명은, 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보를 레이블링한 복수의 실내 영상데이터를 학습하여 학습모델을 생성하고, 상기 실내에 위치하는 보행자로부터 보행자의 이동방향에 따라 촬영한 보행자의 영상데이터가 수신되는 경우, 상기 생성한 학습모델에 상기 보행자의 영상데이터를 적용하여 상기 보행자의 현재 위치를 효과적이고 신속하게 추정하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention generates a learning model by learning a plurality of indoor image data labeled with information including coordinates, directions, places, or a combination thereof for each location in the room, When the image data of the pedestrian photographed according to the moving direction is received, the image data of the pedestrian is applied to the generated learning model to effectively and quickly estimate the current location of the pedestrian through image data learning It is another object to provide a guide device and a method therefor.

또한 본 발명은, 상기 추정한 보행자의 현재 위치에 따라 상기 보행자가 사전에 설정한 목적지까지의 이동방향을 화살표, 도형, 음성 또는 이들의 조합으로 실시간 안내하여, 상기 보행자가 현재 위치에서 상기 목적지까지의 이동방향을 즉각적으로 인지할 수 있도록 하는 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, according to the present invention, according to the estimated current location of the pedestrian, the movement direction of the pedestrian to the preset destination is guided in real time with arrows, figures, voices, or a combination thereof, so that the pedestrian is moved from the current location to the destination Another object of the present invention is to provide an indoor route guidance device and method for pedestrians through image data learning that enables immediate recognition of the movement direction of

본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치는, 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하는 학습부, 보행자의 위치와 이동방향에 따라 촬영한 영상데이터를 상기 학습모델에 입력하여 상기 보행자의 현재 위치와 방향을 추정하는 보행자 위치 추정부 및 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 실내 경로 안내부를 포함하는 것을 특징으로 한다.The apparatus for guiding a pedestrian's indoor route through image data learning according to an embodiment of the present invention learns and learns indoor image data labeled with information including coordinates, directions, places, or a combination thereof for each location in the room A learning unit for generating a model, a pedestrian position estimator for estimating the current position and direction of the pedestrian by inputting image data taken according to the position and movement direction of the pedestrian into the learning model, and the estimated current position of the pedestrian based on the and an indoor route guide unit that provides route guide information on the moving direction to the destination set by the pedestrian in real time.

또한 실내 영상데이터는, 상기 실내의 각 위치를 기준으로 모든 방향과 다양한 배율로 촬영한 영상데이터이며, 상기 학습부는, 상기 레이블링된 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하여 학습함으로써, 상기 실내의 위치별로 상기 학습모델을 생성하는 것을 특징으로 한다.In addition, the indoor image data is image data taken in all directions and various magnifications based on each location in the room, and the learning unit classifies and learns the labeled indoor image data according to each location in the room, It is characterized in that the learning model is generated for each location in the room.

또한 상기 위치 추정부는, 상기 생성한 각 학습모델에 상기 수신한 보행자의 영상데이터를 적용하여, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 상기 레이블링된 정보를 선택하고, 상기 선택한 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정하는 것을 특징으로 한다.In addition, the position estimator, by applying the received image data of the pedestrian to each of the generated learning models, selects the labeled information having the highest probability among the probabilities output for each learning model, and selects the selected labeled information It is characterized in that the current position of the pedestrian is estimated by checking the coordinates, directions, places, or a combination thereof of information.

또한 상기 실내 경로 안내 장치는, 상기 추정한 보행자의 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부를 판단하여, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증부를 더 포함하며, 상기 보행자 위치 추정부는, 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하는 것을 특징으로 한다.In addition, the indoor route guide device determines whether a distance between the estimated current location of the pedestrian and the previously estimated previous location of the pedestrian exceeds a preset threshold value, and the estimated current location of the pedestrian Further comprising a reliability verification unit for verifying the reliability of the pedestrian, the pedestrian position estimator, as a result of verifying the reliability, the reliability of the estimated current position of the pedestrian continuously exceeds a preset threshold number of times is not verified If not, it is characterized in that the current position of the pedestrian is newly estimated from the current viewpoint by using the image data of the pedestrian received at the current viewpoint.

또한 상기 실내 경로 안내부는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않은 경우, 상기 경로 안내 정보를 제공하지 않고, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되거나, 상기 현재 시점으로부터 상기 보행자의 현재 위치를 새롭게 추정한 경우에, 상기 경로 안내 정보를 제공하는 것을 더 포함하며, 상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치에서 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합을 포함하는 것을 특징으로 한다.In addition, the indoor route guide unit, when the reliability of the estimated current location of the pedestrian is not verified, does not provide the route guide information, and the reliability of the estimated current location of the pedestrian is verified or from the current time point The method further comprises providing the route guidance information when the current location of the pedestrian is newly estimated, wherein the route guide information includes arrows, figures, voices, or these for guiding a moving direction from the estimated current location of the pedestrian. It is characterized in that it includes a combination of

아울러 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 방법은, 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링된 실내 영상데이터를 학습하여 학습모델을 생성하는 학습 단계, 보행자의 위치와 이동방향에 따라 촬영한 영상데이터를 상기 학습모델에 입력하여 상기 보행자의 현재 위치와 방향을 추정하는 보행자 위치 추정 단계 및 상기 추정한 보행자의 현재 위치를 토대로 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 실내 경로 안내 단계를 포함하는 것을 특징으로 한다.In addition, the indoor route guidance method for pedestrians through image data learning according to an embodiment of the present invention learns indoor image data labeled with information including coordinates, directions, places, or a combination thereof for each location in the room. A learning step of creating a learning model, a pedestrian location estimation step of estimating the current location and direction of the pedestrian by inputting image data taken according to the location and movement direction of the pedestrian into the learning model, and the estimated current location of the pedestrian It characterized in that it comprises an indoor route guidance step of providing in real time route guidance information on the moving direction to the destination set by the pedestrian based on it.

또한 상기 학습 단계는, 상기 레이블링된 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하여 학습함으로써, 상기 실내의 위치별로 상기 학습모델을 생성하는 것을 특징으로 한다.In addition, the learning step is characterized in that by classifying and learning the labeled indoor image data according to each location of the room, the learning model is generated for each location of the room.

또한 상기 위치 추정 단계는, 상기 생성한 각 학습모델에 상기 수신한 보행자의 영상데이터를 적용하여, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 상기 레이블링된 정보를 선택하고, 상기 선택한 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정하는 것을 특징으로 한다.In addition, the position estimation step applies the received image data of the pedestrian to each of the generated learning models, selects the labeled information having the highest probability among the probabilities output for each learning model, and selects the selected labeling It is characterized in that the current position of the pedestrian is estimated by checking the coordinates, directions, places, or a combination thereof of the received information.

또한 상기 실내 경로 안내 방법은, 상기 추정한 보행자의 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부를 판단하여, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증 단계를 더 포함하며, 상기 보행자 위치 추정 단계는, 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하는 것을 특징으로 한다.In addition, the indoor route guidance method determines whether the distance between the estimated current location of the pedestrian and the previously estimated previous location of the pedestrian exceeds a preset threshold value, and the estimated current location of the pedestrian The method further includes a reliability verification step of verifying the reliability of If not verified, it is characterized in that the current position of the pedestrian is newly estimated from the current time by using the image data of the pedestrian received at the current time.

또한 상기 실내 경로 안내 단계는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않은 경우, 상기 경로 안내 정보를 제공하지 않고, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되거나, 상기 현재 시점으로부터 상기 보행자의 현재 위치를 새롭게 추정한 경우에, 상기 경로 안내 정보를 제공하는 것을 더 포함하는 것을 특징으로 한다.In addition, in the indoor route guidance step, when the reliability of the estimated current location of the pedestrian is not verified, the route guidance information is not provided, and the reliability of the estimated current location of the pedestrian is verified or the current time point The method further comprises providing the route guidance information when the current location of the pedestrian is newly estimated from

이상에서와 같이 본 발명의 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 따르면, 실내 위치좌표와 위치명을 각각 레이블링한 복수의 실내 영상데이터를 학습하여 생성한 학습모델을 통해 실내에 위치하는 보행자의 보행자 영상데이터를 입력하여 보행자의 위치를 지속적으로 추정하고, 상기 추정한 보행자의 위치에 따라 상기 보행자의 목적지까지의 실내 경로를 실시간으로 안내하여 상기 보행자에게 편의성을 제공하는 효과가 있다.As described above, according to the apparatus and method for guiding an indoor route for pedestrians through image data learning of the present invention, the indoor location coordinates and location names are respectively labeled with a plurality of indoor image data that are learned and generated through a learning model. There is an effect of providing convenience to the pedestrian by continuously estimating the location of the pedestrian by inputting the pedestrian image data of the located pedestrian, and guiding the indoor route to the pedestrian's destination in real time according to the estimated location of the pedestrian. .

또한 본 발명은, 이동방향을 지시하는 도형, 음성 또는 이들의 조합을 포함하여 상기 실내 경로를 안내함으로써, 상기 보행자가 현재 위치에서 이동할 방향에 대해 즉각적으로 인식할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of enabling the pedestrian to immediately recognize the direction to move from the current location by guiding the indoor route including a figure, a voice, or a combination thereof indicating a movement direction.

도 1은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 실내에 위치하는 보행자에게 실내 경로를 안내하는 과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 보행자의 현재 위치를 추정하기 위한 학습모델을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 실내 경로 안내용 디바이스의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 영상데이터를 학습하여 보행자의 실내 경로를 안내하는 절차를 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 하드웨어 구조를 나타낸 도면이다.1 is a conceptual diagram illustrating an apparatus and method for guiding a pedestrian indoors through image data learning according to an embodiment of the present invention.
2 is a diagram illustrating a process of guiding an indoor route to a pedestrian located indoors according to an embodiment of the present invention.
3 is a diagram illustrating a learning model for estimating a current position of a pedestrian according to an embodiment of the present invention.
4 is a block diagram showing the configuration of an indoor route guidance device for pedestrians through image data learning according to an embodiment of the present invention.
5 is a block diagram illustrating the configuration of a device for guiding an indoor route according to an embodiment of the present invention.
6 is a flowchart illustrating a procedure for guiding a pedestrian's indoor path by learning image data according to an embodiment of the present invention.
7 is a diagram illustrating a hardware structure of an apparatus for guiding a pedestrian's indoor route through image data learning according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment of an apparatus and method for guiding a pedestrian indoors through image data learning of the present invention will be described in detail. Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions of the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all used herein, including technical or scientific terms, are Terms have the same meanings as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.1 is a conceptual diagram illustrating an apparatus and method for guiding a pedestrian indoors through image data learning according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치(100)(이하, 실내 경로 안내 장치라 칭함)는, 특정 실내에 위치하는 보행자가 실내 경로 안내용 디바이스(200)를 통해 해당 보행자의 이동방향에 따라 상기 실내를 촬영한 보행자의 영상데이터를 전송하면, 상기 수신한 보행자의 영상데이터를 사전에 생성한 해당 실내에 대한 학습모델에 적용하여 상기 보행자의 현재 위치를 추정하고, 상기 추정한 보행자의 현재 위치에 따라 상기 보행자의 목적지까지 이동방향에 대한 경로 안내 정보를 실시간으로 제공하는 기능을 수행한다.As shown in FIG. 1 , the indoor route guidance device 100 for pedestrians through image data learning according to an embodiment of the present invention (hereinafter, referred to as an indoor route guidance device), allows pedestrians located in a specific indoor When the image data of the pedestrian photographed in the room is transmitted according to the direction of movement of the pedestrian through the device 200 for route guidance, the received image data of the pedestrian is applied to the previously generated learning model for the room. It estimates the current location of the pedestrian, and performs a function of providing in real time route guidance information on the moving direction to the destination of the pedestrian according to the estimated current location of the pedestrian.

상기 실내 경로 안내용 디바이스(200)는, 스마트폰과 같이 상기 보행자가 구비한 무선통신단말에 특정 실내에서 경로 안내 정보를 제공받기 위한 앱(App)이나 프로그램과 같은 형태로 설치되며, 이를 수행함으로써, 상기 보행자가 구비한 무선통신단말이 상기 실내 경로 안내용 디바이스(200)가 된다.The indoor route guidance device 200 is installed in the form of an App or a program for receiving route guidance information in a specific room in a wireless communication terminal provided by the pedestrian, such as a smartphone, and by performing this , the wireless communication terminal provided by the pedestrian becomes the indoor route guidance device 200 .

또한 상기 실내 경로 안내 장치(100)는, 상기 실내의 경로를 안내하기 위해 공항, 지하상가, 백화점, 지하철, 병원 등과 같은 실내 경로 안내 대상이 되는 건물별 실내 영상데이터를 실내 영상데이터 제공 단말(300)로부터 수집하고, 상기 수집한 실내 영상데이터를 학습하여, 상기 학습모델을 생성한다.In addition, the indoor route guide apparatus 100 provides indoor image data for each building that is a target for indoor route guidance, such as airports, underground shopping malls, department stores, subways, hospitals, etc., to guide the indoor route indoor image data providing terminal 300 ), and by learning the collected indoor image data, the learning model is generated.

이때, 상기 건물은, 다수의 보행자가 이동하는 실내 공간을 구비한 건축물이나 구조물 등을 의미한다. In this case, the building means a building or structure having an indoor space in which a plurality of pedestrians move.

또한 상기 실내 영상데이터는, 상기 실내의 각 위치를 기준으로 모든 방향과 다양한 배율로 촬영한 영상데이터이며, 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보가 레이블링되어, 상기 학습에 이용된다. 이를 통해, 보행자로부터 수신되는 보행자 영상데이터가 실내의 특정 위치를 가까이서 촬영된 것이거나, 또는 멀리서 촬영된 것이거나, 또는 어떠한 방향으로 촬영되었더라도 보행자의 현재 위치를 정확하게 추정할 수 있다.In addition, the indoor image data is image data taken in all directions and various magnifications based on each location in the room, and information including coordinates, directions, places, or a combination thereof for each location in the room is labeled. , is used for the above learning. Through this, it is possible to accurately estimate the current position of the pedestrian, regardless of whether the pedestrian image data received from the pedestrian is taken from a certain location in the room close up, from a distance, or from any direction.

상기 실내 영상데이터 제공 단말(300)은, 상기 실내 영상데이터를 제공하는 제공자가 구비한 유무선 통신단말을 의미하며, 상기 제공자는 상기 실내 경로 안내 대상이 되는 상기 건물의 관리자일 수 있다.The indoor image data providing terminal 300 means a wired/wireless communication terminal provided by a provider providing the indoor image data, and the provider may be a manager of the building that is the indoor route guidance target.

상기 실내 경로 안내 장치(100)는, 실내 경로를 안내하기 위해 상기 건물별 실내 영상데이터를 실내 영상데이터 제공 단말(300)로부터 수집하고, 상기 수집한 실내 영상데이터를 학습하여, 상기 학습모델을 생성한다.The indoor route guide device 100 collects the indoor image data for each building from the indoor image data providing terminal 300 to guide the indoor route, learns the collected indoor image data, and generates the learning model do.

또한 상기 보행자는, 실내의 경로를 안내받기 위해 상기 실내 경로 안내용 디바이스(200)를 통해 상기 실내 경로 안내 장치(100)에 접속하여, 상기 실내 경로를 안내받을 건물(즉, 특정 공항이나, 병원 등)을 선택하고, 목적지를 설정한다. 이후, 상기 보행자는, 상기 실내 경로 안내용 디바이스(200)를 이용하여, 해당 보행자의 위치와 이동방향에 따라 상기 실내를 촬영한 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)로 전송한다.In addition, the pedestrian accesses the indoor route guide apparatus 100 through the indoor route guide device 200 to receive an indoor route guide, and a building (ie, a specific airport or hospital) to receive the indoor route guide. etc.) and set the destination. Thereafter, the pedestrian uses the indoor route guidance device 200 to transmit image data of the pedestrian photographed indoors according to the location and movement direction of the corresponding pedestrian to the indoor route guidance apparatus 100 .

또한 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 적용하여, 상기 보행자가 이동함에 따른 보행자의 현재 위치를 실시간으로 추정한다. 상기 학습모델을 이용하여 상기 보행자의 현재 위치를 추정하는 것은 도 3을 참조하여 상세히 설명하도록 한다.In addition, the indoor route guide apparatus 100 estimates the current location of the pedestrian in real time as the pedestrian moves by applying the received image data of the pedestrian to the generated learning model. Estimating the current location of the pedestrian using the learning model will be described in detail with reference to FIG. 3 .

또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에서, 상기 보행자가 설정한 목적지까지의 이동방향에 대한 경로 안내 정보를 생성하고, 상기 생성한 경로 안내 정보를 상기 보행자에게 실시간으로 제공하여, 상기 보행자가 상기 경로 안내 정보에 따라 상기 설정한 목적지까지 이동할 수 있도록 한다.In addition, the indoor route guidance apparatus 100 generates route guidance information for a moving direction from the estimated current location of the pedestrian to a destination set by the pedestrian, and provides the generated route guidance information to the pedestrian in real time. By providing the , the pedestrian can move to the set destination according to the route guidance information.

이때, 상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치와, 상기 추정한 보행자의 현재 위치에서 상기 설정한 목적지에 대한 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합 및 상기 추정한 보행자의 현재 위치에 대한 장소(즉, 장소이름)를 포함한다.In this case, the route guidance information includes the estimated current location of the pedestrian, an arrow, a figure, a voice, or a combination thereof that guides the movement direction from the estimated current location of the pedestrian to the set destination, and the estimated pedestrian contains a place (ie, place name) for the current location of

또한 상기 경로 안내 정보를 수신한 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보를 참조하여, 상기 실내 경로 안내 장치(100)로부터 제공받은 해당 실내의 맵(Map)에 상기 추정한 보행자의 현재 위치를 표시하여, 디스플레이의 일 측에 출력한다.In addition, the indoor route guidance device 200 that has received the route guidance information, with reference to the received route guidance information, estimates the estimated on a map of the room provided from the indoor route guidance apparatus 100 . The current location of the pedestrian is displayed and output on one side of the display.

또한 상기 실내 경로 안내용 디아비스(200)는, 상기 수신한 경로 안내 정보를 참조하여, 보행자의 현재 위치에서 상기 설정한 목적지에 대한 이동방향을 안내하는 화살표 또는 도형을 상기 디스플레이의 일 측에 출력하거나, 상기 이동방향을 안내하는 음성을 스피커를 통해 출력하거나 또는 이들의 조합을 수행하여, 상기 보행자가 현재의 위치에서 상기 목적지까지에 대한 이동방향을 즉시 인식하여 이동할 수 있도록 한다.In addition, the indoor route guide Diavis 200, with reference to the received route guide information, outputs an arrow or a figure guiding the movement direction from the current location of the pedestrian to the set destination on one side of the display Alternatively, a voice guiding the movement direction is output through a speaker, or a combination thereof is performed so that the pedestrian can immediately recognize the movement direction from the current location to the destination and move.

한편, 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터로부터 상기 보행자의 현재 위치가 추정되지 않는 경우에는, 상기 경로 안내 정보를 제공하지 않는다. 또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하여, 신뢰성이 검증된 경우에만 상기 경로 안내 정보를 제공하여, 상기 신뢰성이 검증되지 않는 경우에는 상기 경로 안내 정보를 제공하지 않는다.Meanwhile, the indoor route guidance apparatus 100 does not provide the route guidance information when the current location of the pedestrian is not estimated from the received image data of the pedestrian. In addition, the indoor route guidance apparatus 100 verifies the reliability of the estimated current location of the pedestrian and provides the route guidance information only when the reliability is verified, and when the reliability is not verified, the route guide does not provide information

예를 들어, 상기 수신한 보행자의 영상데이터가 상기 실내의 영상이 아닌 다른 영상데이터이여서 상기 보행자의 현재 위치가 추정되지 않는 경우, 상기 경로 안내 정보를 제공하지 않으며, 이후에 수신되는 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치가 추정되면, 이에 대한 경로 안내 정보를 제공한다.For example, if the current location of the pedestrian is not estimated because the received image data of the pedestrian is other image data than the indoor image, the route guidance information is not provided, and the image data of the pedestrian received thereafter When the current location of the pedestrian is estimated based on the , route guidance information is provided.

또 다른 예로써, 상기 실내 경로 안내 장치(100)는, 상기 보행자의 영상데이터에 상기 실내의 또 다른 장소가 포함되어 이전에 추정한 보행자의 이전 위치와 현재 추정한 보행자의 현재 위치 간의 거리가 사전에 설정한 임계값을 초과하는 경우, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 것으로 판단하여, 상기 추정한 보행자의 현재 위치에 대한 경로 안내 정보를 제공하지 않는다. 이때, 상기 실내 경로 안내 장치(100)는, 이후에 수신한 보행자의 영상데이터를 토대로 추정한 보행자의 현재 위치가 신뢰성이 검증되면, 이에 대한 경로 안내 정보를 제공하게 된다.As another example, in the indoor route guide apparatus 100, the distance between the previously estimated previous location of the pedestrian and the currently estimated current location of the pedestrian is pre-determined because another place in the room is included in the image data of the pedestrian. If it exceeds the threshold value set in , it is determined that reliability of the estimated current location of the pedestrian is not verified, and route guidance information on the estimated current location of the pedestrian is not provided. At this time, when the reliability of the current location of the pedestrian estimated based on the image data of the pedestrian received later is verified, the indoor route guidance apparatus 100 provides route guidance information therefor.

또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정한다.In addition, as a result of verifying the reliability of the estimated current position of the pedestrian, the indoor route guidance device 100 continuously exceeds a preset threshold number of times to continuously verify the reliability of the estimated current position of the pedestrian. If not, the current position of the pedestrian is newly estimated from the current viewpoint by using the image data of the pedestrian received at the current viewpoint.

이를 통해, 상기 실내 경로 안내 장치(100)는, 신뢰성이 검증된 보행자의 현재 위치를 토대로 신뢰성 높은 경로 안내 정보를 상기 실내 경로 안내용 디바이스(200)로 제공함으로써, 안전하고 신속하게 상기 보행자가 상기 목적지로 이동할 수 있도록 한다.Through this, the indoor route guidance apparatus 100 provides highly reliable route guidance information to the indoor route guidance device 200 based on the current location of the pedestrian whose reliability has been verified, so that the pedestrian can safely and quickly guide the pedestrian. to get you to your destination.

도 2는 본 발명의 일 실시예에 따른 실내에 위치하는 보행자에게 실내 경로를 안내하는 과정을 설명하기 위해 나타낸 도면이다.2 is a diagram illustrating a process of guiding an indoor route to a pedestrian located indoors according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 실내 경로 안내 장치(100)는, 실내에 위치하는 보행자가 구비한 실내 경로 안내용 디바이스(200)로부터 보행자의 영상데이터를 수신한다(①).As shown in FIG. 2 , the indoor route guidance apparatus 100 according to an embodiment of the present invention receives the image data of the pedestrian from the indoor route guidance device 200 provided by the pedestrian located indoors ( ①).

이때 상기 보행자는, 상기 실내 경로 안내용 디바이스(200)를 이용하여 네트워크를 통해 상기 실내 경로 안내 장치(100)에 접속하여, 상기 실내 경로 안내 장치(100)로부터 실내의 경로를 안내 받을 대상(즉, 특정 건물)을 선택하고, 자신의 목적지를 설정한다.At this time, the pedestrian connects to the indoor route guidance apparatus 100 through a network using the indoor route guidance device 200 to receive an indoor route guidance from the indoor route guide device 100 (that is, , a specific building), and set your own destination.

상기 네트워크는, 와이파이, 4G, 5G, LTE 등과 같은 다양한 무선통신방법을 지원하여, 상기 실내 경로 안내용 디바이스(200)와 상기 실내 경로 안내 장치(100) 사이에서 경로 안내를 위한 데이터를 송수신할 수 있도록 한다.The network supports various wireless communication methods such as Wi-Fi, 4G, 5G, LTE, etc., so that data for route guidance can be transmitted and received between the indoor route guidance device 200 and the indoor route guidance apparatus 100 . let it be

또한 상기 보행자의 영상데이터는, 상기 실내 경로 안내용 디바이스(200)를 통해 상기 보행자의 위치와 이동방향에 따라 상기 실내를 촬영한 영상데이터이다.In addition, the image data of the pedestrian is image data obtained by photographing the indoor according to the location and movement direction of the pedestrian through the indoor route guidance device 200 .

또한 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치를 추정한다(②).In addition, the indoor route guidance apparatus 100 estimates the current location of the pedestrian based on the received image data of the pedestrian (②).

이때, 상기 실내 경로 안내 장치(100)는, 상기 수신한 보행자의 영상데이터를 사전에 생성한 학습모델에 연속적으로 적용하여, 상기 보행자의 현재 위치를 실시간으로 추정한다.In this case, the indoor route guide apparatus 100 continuously applies the received image data of the pedestrian to a previously generated learning model to estimate the current location of the pedestrian in real time.

상기 학습모델은, 상기 실내 경로를 안내하기 위한 상기 건물에 따라 상기 실내의 각 위치별로 생성된다.The learning model is generated for each location in the room according to the building for guiding the indoor route.

또한 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한다(③).In addition, the indoor route guidance apparatus 100 verifies the reliability of the estimated current location of the pedestrian (③).

상기 실내 경로 안내 장치(100)는, 이전 시점에서 추정한 보행자의 이전 위치와 현재 시점에서 추정한 보행자의 현재 위치 사이의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한다.The indoor route guidance apparatus 100 is configured according to whether the distance between the previous position of the pedestrian estimated at the previous time and the current position of the pedestrian estimated at the current time exceeds a preset threshold value. Verifies the reliability of the pedestrian's current location.

즉, 상기 실내 경로 안내 장치(100)는, 상기 실내 경로 안내용 디바이스(200)로부터 수신되는 보행자의 영상데이터를 토대로 상기 보행자의 위치를 지속적으로 연속하여 추정하기 때문에, 상기 추정한 보행자의 현재 위치가 이전 시점에서 추정한 보행자의 이전 위치로부터 급격한 변화가 있는 경우에는 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 없는 것으로 판단하는 것이다.That is, since the indoor route guidance apparatus 100 continuously and continuously estimates the location of the pedestrian based on the image data of the pedestrian received from the indoor route guidance device 200 , the estimated current location of the pedestrian When there is a sudden change from the previous position of the pedestrian estimated at the previous time point, it is determined that the estimated current position of the pedestrian is not reliable.

또한 상기 실내 경로 안내 장치(100)는, 상기 신뢰성을 검증한 결과, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증된 경우, 해당 실내의 맵을 참조하여, 상기 추정한 보행자의 현재 위치에서 상기 보행자가 설정한 목적지에 대한 이동방향, 상기 추정한 현재 위치(좌표), 상기 추정한 현재 위치에 대한 장소(장소이름) 또는 이들의 조합을 포함하는 경로 안내 정보를 생성하여, 상기 실내 경로 안내용 디바이스(200)로 제공(④)함으로써, 실시간 경로 안내를 수행한다.In addition, when the reliability of the estimated current location of the pedestrian is verified as a result of verifying the reliability, the indoor route guidance apparatus 100 refers to the indoor map and determines the estimated current location of the pedestrian. For indoor route guidance by generating route guidance information including a movement direction for a destination set by a pedestrian, the estimated current location (coordinates), a place (place name) for the estimated current location, or a combination thereof By providing (④) to the device 200, real-time route guidance is performed.

여기서, 상기 경로 안내 정보의 상기 추정한 보행자의 현재 위치에서 상기 보행자가 설정한 목적지에 대한 이동방향은, 상기 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합으로 구성된다.Here, the moving direction from the estimated current position of the pedestrian in the route guidance information to the destination set by the pedestrian is composed of an arrow, a figure, a voice, or a combination thereof for guiding the moving direction.

또한 상기 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보를 상기 실내 경로 안내용 디바이스(200)에 구비된 디스플레이의 일 측에 각각 출력하여, 상기 보행자가 자신의 현재 위치와 이동방향을 즉각적으로 인식할 수 있도록 한다.In addition, the indoor route guidance device 200 outputs the received route guidance information to one side of a display provided in the indoor route guidance device 200, respectively, so that the pedestrian can see their current location and movement direction. to be recognized immediately.

이때, 상기 수신한 경로 안내 정보의 보행자의 현재 위치는, 상기 디스플레이의 일 측에 출력되는 실내의 맵에 표시되어 출력된다. 또한 상기 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보의 이동방향을 안내하는 화살표 또는 도형 및 장소(예: 1층 제1 복도)를 상기 디스플레이의 일 측에 출력한다.In this case, the current location of the pedestrian in the received route guidance information is displayed and output on the indoor map output on one side of the display. In addition, the indoor route guidance device 200 outputs an arrow or a figure and a place (eg, the first hallway on the first floor) for guiding the movement direction of the received route guidance information on one side of the display.

한편, 상기 경로 안내 정보의 이동방향이 음성으로 구성되어 있는 경우에는, 상기 실내 경로 안내용 디바이스(200)는, 자체적으로 구비되는 스피커를 통해 상기 음성을 출력한다.On the other hand, when the direction of movement of the route guidance information is composed of voice, the indoor route guidance device 200 outputs the voice through a speaker provided therein.

즉, 상기 실내 경로 안내용 디바이스(200)는, 상기 수신한 경로 안내 정보를 디스플레이, 스피커 또는 이들의 조합으로 출력하여, 상기 출력한 경로 안내 정보를 토대로 상기 보행자가 상기 목적지까지 이동할 수 있도록 하는 것이다.That is, the indoor route guidance device 200 outputs the received route guidance information to a display, a speaker, or a combination thereof, so that the pedestrian can move to the destination based on the output route guidance information. .

한편, 상기 보행자는 상기 실내 경로 안내용 디바이스(200)에서 출력되는 실내의 맵 영역을 터치하여, 상기 터치 동작에 따라 상기 실내의 맵을 확대하여 출력하거나, 상기 실내의 맵을 축소하여 상기 실내의 전체 맵을 확인할 수 있다.On the other hand, the pedestrian touches an indoor map area output from the indoor route guidance device 200, and according to the touch operation, enlarges and outputs the indoor map, or reduces the indoor map, You can check the entire map.

즉, 상기 실내 경로 안내용 디바이스(200)는, 디스플레이에 출력되는 상기 실내의 맵 영역에 상기 사용자의 터치 동작을 감지하고, 상기 감지한 동작에 따라 상기 실내의 맵을 확대하거나, 축소함으로써, 상기 보행자의 현재 위치나, 상기 실내의 전체 맵을 확인할 수 있도록 하는 것이다.That is, the indoor route guidance device 200 detects the user's touch action on the map area of the room that is output on a display, and enlarges or reduces the indoor map according to the sensed motion, so that the It is to check the current location of the pedestrian or the entire map of the room.

도 3은 본 발명의 일 실시예에 따른 보행자의 현재 위치를 추정하기 위한 학습모델을 설명하기 위해 나타낸 도면이다.3 is a diagram illustrating a learning model for estimating a current position of a pedestrian according to an embodiment of the present invention.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 보행자의 현재 위치를 추정하기 위한 학습모델은, 실내 경로 안내를 위한 건물별로 수집한 실내 영상데이터를 학습하여 생성된다.As shown in FIG. 3 , a learning model for estimating the current location of a pedestrian according to an embodiment of the present invention is generated by learning indoor image data collected for each building for indoor route guidance.

이를 위해 상기 실내 경로 안내 장치(100)는, 적어도 하나 이상의 실내 영상데이터 제공 단말(300)로부터 상기 실내 영상데이터를 수집하고, 상기 수집한 실내 영상데이터에 대한 레이블링을 수행한다.To this end, the indoor route guide apparatus 100 collects the indoor image data from at least one or more indoor image data providing terminals 300 , and labels the collected indoor image data.

상기 레이블링은, 상기 실내 영상데이터를 제공한 제공자에 의해 수행되는 것으로, 상기 제공자는 상기 제공한 실내 영상데이터를 확인하여, 상기 실내 영상데이터에 대해 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 레이블을 부여하여 상기 레이블링을 수행한다.The labeling is performed by a provider who has provided the indoor image data, and the provider checks the provided indoor image data, and with respect to the indoor image data, coordinates, directions, places, or The labeling is performed by giving a label including a combination thereof.

여기서 상기 좌표는, 상기 실내의 각 위치에 대한 2차원 또는 3차원 좌표를 의미하며, 상기 방향은, 상기 각 위치에서 상기 실내를 촬영한 방향을 의미한다. 또한 상기 장소는, 상기 각 위치에 대한 장소이름(예를 들어, 1층 카운터, 정문 등)을 의미한다. 또한 상기 영상데이터는 상기 실내의 위치별로 다양한 배율로 촬영한 영상데이터임은 상술한 바와 같다.Here, the coordinates mean two-dimensional or three-dimensional coordinates for each location of the room, and the direction means a direction in which the room is photographed at each location. In addition, the place means a place name (eg, a counter on the first floor, a front door, etc.) for each of the locations. In addition, as described above, the image data is image data taken at various magnifications for each location in the room.

또한 상기 실내 경로 안내 장치(100)는, 상기 레이블링한 실내 영상데이터를 상기 실내의 각 위치별로 분류하고, 상기 분류한 위치별 실내 영상데이터를 각각 학습하여, 상기 위치에 따른 적어도 하나 이상의 학습모델을 생성한다.In addition, the indoor route guide apparatus 100 classifies the labeled indoor image data for each location in the room, learns the classified indoor image data for each location, respectively, and generates at least one learning model according to the location. create

상기 학습은, 이미지 학습에 최적화된 CNN(Convolutional Neural Network)를 통해 수행되는 것이 바람직하며, 다만 이에 한정하지 않고 ANN(Artificial Neural Network), DCNN(Deep CNN) 등과 같은 다양한 학습네트워크를 이용하여 상기 학습을 수행하여 상기 학습모델을 생성할 수 있다.The learning is preferably performed through a convolutional neural network (CNN) optimized for image learning, but is not limited thereto, and the learning is performed using various learning networks such as an artificial neural network (ANN), a deep CNN (DCNN), etc. can be performed to generate the learning model.

여기서, 상기 학습모델은 특정 영상데이터가 입력되는 경우, 특정 위치에 대한 레이블링된 정보일 확률을 출력하도록 학습된다.Here, when specific image data is input, the learning model is trained to output a probability of being labeled information for a specific location.

또한 상기 실내 경로 안내 장치(100)는, 상기 실내에 위치하는 보행자로부터 보행자의 영상데이터가 수신되는 경우, 상기 수신한 보행자의 영상데이터를 상기 생성한 각 학습모델에 연속적으로 입력하여, 상기 보행자의 영상데이터별로 상기 보행자의 현재 위치를 지속적으로 추정한다.In addition, when the image data of the pedestrian is received from the pedestrian located in the room, the indoor route guide apparatus 100 continuously inputs the received image data of the pedestrian into each of the generated learning models, The current position of the pedestrian is continuously estimated for each image data.

또한 상기 실내 경로 안내 장치(100)는, 상기 각 학습모델로부터 출력되는 특정 위치에 대해 레이블링된 정보일 확률 중 가장 높은 확률을 가지는 레이블링된 정보를 선택하고, 상기 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정한다.In addition, the indoor route guide apparatus 100 selects the labeled information having the highest probability among the probability of being labeled information for a specific location output from each learning model, and coordinates, direction, and place of the labeled information Or by checking a combination thereof, the current location of the pedestrian is estimated.

도 4는 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 구성을 나타낸 블록도이다.4 is a block diagram showing the configuration of an indoor route guidance device for pedestrians through image data learning according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치(100)는, 실내 영상데이터를 수집하는 실내 영상데이터 수집부(110), 상기 수집한 실내 영상데이터에 대한 레이블링을 수행하는 레이블링부(120), 상기 수집한 실내 영상데이터를 학습하여, 학습모델을 생성하는 학습부(130), 상기 실내에 위치하는 보행자의 목적지를 설정하는 목적지 설정부(140), 상기 보행자로부터 보행자의 영상데이터를 수신하는 보행자 영상데이터 수신부(150), 상기 수신한 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치를 추정하는 보행자 위치 추정부(160), 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증부(170), 상기 추정한 보행자의 현재 위치를 토대로 경로 안내 정보를 생성하는 경로 안내 정보 생성부(180) 및 상기 생성한 경로 안내 정보를 상기 보행자에게 제공하여 실내 경로 안내를 수행하는 실내 경로 안내부(190)를 포함하여 구성된다.As shown in FIG. 4 , the apparatus 100 for guiding a pedestrian's indoor route through image data learning according to an embodiment of the present invention includes an indoor image data collection unit 110 that collects indoor image data, and the A labeling unit 120 for labeling indoor image data, a learning unit 130 for generating a learning model by learning the collected indoor image data, and a destination setting unit for setting a destination of a pedestrian located in the room (140), a pedestrian image data receiver 150 for receiving image data of a pedestrian from the pedestrian, a pedestrian position estimator 160 for estimating the current position of the pedestrian based on the received image data of the pedestrian, the estimated The reliability verification unit 170 that verifies the reliability of the pedestrian's current location, the route guide information generator 180 that generates route guide information based on the estimated current location of the pedestrian, and the generated route guide information are used for the pedestrian It is configured to include an indoor route guide unit 190 for providing indoor route guidance.

상기 실내 영상데이터 수집부(110)는, 적어도 하나 이상의 실내 영상데이터 제공 단말(300)로부터 실내 영상데이터를 수집하고, 상기 수집한 실내 영상데이터를 건물별로 분류하여 저장하는 기능을 수행한다.The indoor image data collection unit 110 collects indoor image data from at least one or more indoor image data providing terminals 300 , and classifies and stores the collected indoor image data for each building.

한편, 상기 실내 영상데이터 제공 단말(110)은, 상기 실내의 공간이 확장되거나, 축소되는 것과 같이, 상기 실내의 구조가 변경되는 경우, 상기 실내 영상데이터를 업데이트하여 제공한다.Meanwhile, the indoor image data providing terminal 110 updates and provides the indoor image data when the indoor structure is changed, such as when the indoor space is expanded or reduced.

또한 상기 레이블링부(120)는 상기 수집한 실내 영상데이터에 레이블을 부여하여, 상기 실내 영상데이터에 대한 레이블링을 수행하는 기능을 수행한다.In addition, the labeling unit 120 assigns a label to the collected indoor image data, and performs a function of labeling the indoor image data.

상기 레이블은, 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들의 조합을 포함하는 정보를 포함하며, 상기 레이블링은 상기 실내 영상데이터를 제공한 제공자에 의해 수행됨은 상술한 바와 같다.The label includes information including coordinates, directions, places, or a combination thereof for each location in the room, and the labeling is performed by the provider who provided the indoor image data as described above.

또한 상기 학습부(130)는, 상기 레이블링된 상기 실내 영상데이터를 상기 실내의 각 위치에 따라 분류하고, 상기 각 위치에 따라 분류한 상기 실내 영상데이터를 각각 학습하여, 상기 실내의 각 위치에 따른 적어도 하나 이상의 학습모델을 생성한다.In addition, the learning unit 130 classifies the labeled indoor image data according to each position in the room, and learns the indoor image data classified according to each position, respectively, according to each position in the room. At least one learning model is created.

상기 생성한 학습모델의 입력은, 특정 영상데이터(즉, 보행자의 영상데이터)가 되며, 출력은 특정 위치에 대해 레이블링된 정보일 확률임은 상술한 바와 같다.As described above, the input of the generated learning model is specific image data (ie, image data of pedestrians), and the output is the probability of labeled information for a specific location.

또한 상기 학습부(130)는, 상기 실내의 구조가 변경된 실내 영상데이터가 수신되는 경우에는, 상기 구조가 변경된 실내 영상데이터를 다시 학습하여, 해당 실내에 대한 학습모델을 생성하게 된다.In addition, when the indoor image data in which the structure of the room is changed is received, the learning unit 130 re-learns the indoor image data in which the structure is changed to generate a learning model for the corresponding room.

또한 상기 목적지 설정부(140)는, 상기 보행자가 상기 실내 경로 안내용 디바이스(200)를 통해 특정 실내에 대한 경로 안내를 요청하는 경우, 안내 대상이 되는 특정 건물(예를 들어, 특정 병원이나 지하상가)을 선택하도록 하고, 상기 선택한 특정 건물의 실내에 대한 정보를 제공하여 최종 목적지를 설정하도록 하는 기능을 수행한다. 이를 통해 상기 실내 경로 안내 장치(100)는, 상기 보행자에게 실내 경로 안내를 시작하게 된다.In addition, the destination setting unit 140, when the pedestrian requests a route guidance for a specific room through the indoor route guidance device 200, a specific building (eg, a specific hospital or underground shopping mall), and provides information on the interior of the selected specific building to set a final destination. Through this, the indoor route guidance apparatus 100 starts to guide the indoor route to the pedestrian.

또한 상기 보행자 영상데이터 수신부(150)는, 상기 실내에 위치하는 보행자의 실내 경로 안내용 디바이스(200)로부터 상기 보행자의 위치와 이동방향에 따라 촬영한 보행자의 영상데이터를 실시간으로 수신하는 기능을 수행한다.In addition, the pedestrian image data receiver 150 performs a function of receiving, in real time, the image data of the pedestrian photographed according to the location and movement direction of the pedestrian from the device 200 for guiding the indoor route of the pedestrian located in the room. do.

즉, 상기 실내 경로 안내용 디바이스(200)는, 상기 보행자의 위치와 이동방향으로 상기 실내를 실시간으로 촬영하여, 상기 촬영한 보행자의 영상데이터를 상기 보행자 영상데이터 수신부(150)로 전송하는 것이다.That is, the indoor route guidance device 200 captures the indoor in real time in the location and movement direction of the pedestrian, and transmits the photographed image data of the pedestrian to the pedestrian image data receiver 150 .

또한 상기 보행자 위치 추정부(160)는, 상기 수신한 보행자의 영상데이터를 상기 생성한 학습모델에 연속하여 입력함으로써, 상기 실내에 위치하는 보행자의 현재 위치를 실시간으로 추정하는 기능을 수행한다.In addition, the pedestrian position estimating unit 160 performs a function of estimating the current position of the pedestrian located in the room in real time by continuously inputting the received image data of the pedestrian into the generated learning model.

여기서, 상기 보행자 위치 추정부(160)는, 상기 실내의 위치별로 생성한 학습모델에 상기 수신한 보행자의 영상데이터를 입력하고, 상기 학습모델별로 출력되는 확률 중 제일 높은 확률을 가지는 레이블링된 정보를 선택한다.Here, the pedestrian position estimator 160 inputs the received image data of the pedestrian to the learning model generated for each indoor location, and labels information having the highest probability among the probabilities output for each learning model. choose

이후, 상기 보행자 위치 추정부(160)는, 상기 선택한 레이블링된 정보의 좌표, 방향, 장소 또는 이들의 조합을 확인함으로써, 상기 보행자의 현재 위치를 추정한다.Thereafter, the pedestrian location estimation unit 160 estimates the current location of the pedestrian by checking the coordinates, directions, places, or a combination thereof of the selected labeled information.

또한 상기 신뢰성 검증부(170)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 기능을 수행한다.In addition, the reliability verification unit 170 performs a function of verifying the reliability of the estimated current location of the pedestrian.

이때, 상기 신뢰성 검증부(170)는, 상기 추정한 현재 위치와 이전에 추정한 보행자의 이전 위치 간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 상기 추정한 현재 위치에 대한 신뢰성을 검증한다.At this time, the reliability verification unit 170, the reliability of the estimated current position according to whether the distance between the estimated current position and the previously estimated previous position of the pedestrian exceeds a preset threshold value to verify

또한 상기 신뢰성 검증부(170)는, 상기 임계값을 초과하는 경우, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 것으로 판단하며, 상기 임계값 이하인 경우에는, 상기 추정한 현재 위치에 대한 신뢰성이 검증된 것으로 판단한다.In addition, when the reliability verification unit 170 exceeds the threshold value, it is determined that the estimated reliability of the current position of the pedestrian is not verified. It is judged that the reliability has been verified.

한편, 상기 신뢰성을 검증한 결과, 상기 추정한 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 상기 보행자 위치 추정부(160)는, 이후에 수신되는 보행자의 영상데이터를 토대로 상기 보행자의 현재 위치를 다시 추정하며, 상기 신뢰성 검증부(170)는, 상기 다시 추정한 보행자의 현재 위치에 대한 신뢰성을 검증한다.On the other hand, when the reliability of the estimated current position is not verified as a result of verifying the reliability, the pedestrian position estimator 160 re-establishes the current position of the pedestrian based on the image data of the pedestrian received thereafter. In the estimation, the reliability verification unit 170 verifies the reliability of the re-estimated current location of the pedestrian.

또한 상기 보행자 위치 추정부(160)는, 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우에는, 현재 시점에서 수신되는 보행자의 영상데이터를 상기 학습모델에 적용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정한다.In addition, as a result of verifying the reliability, the pedestrian position estimating unit 160 receives at the current point in time if the reliability of the estimated current position of the pedestrian is not continuously verified by exceeding a preset threshold number of times. By applying the image data of the pedestrian to be used to the learning model, the current position of the pedestrian is newly estimated from the current time point.

또한 상기 경로 안내 정보 생성부(180)는, 상기 사전에 저장된 실내의 맵을 참조하여, 상기 추정한 보행자의 현재 위치에서 상기 설정한 목적지로 이동할 이동방향에 대한 정보를 포함하는 경로 안내 정보를 생성한다. 이때, 상기 경로 안내 정보는, 상기 이동방향 이외에 상기 확인한 좌표 및 장소를 포함한다.In addition, the route guide information generating unit 180 generates route guide information including information on the direction of movement from the estimated current location of the pedestrian to the set destination with reference to the previously stored indoor map. do. In this case, the route guide information includes the confirmed coordinates and location in addition to the moving direction.

또한 상기 이동방향에 대한 정보는, 상기 추정한 보행자의 현재 위치에서, 이동방향을 안내하는 화살표, 도형, 음성 또는 이들의 조합을 포함한다.In addition, the information on the moving direction includes an arrow, a figure, a voice, or a combination thereof for guiding the moving direction at the estimated current position of the pedestrian.

또한 상기 경로 안내 정보 생성부(180)는, 최초로 추정된 보행자의 현재 위치, 상기 신뢰성이 검증된 보행자의 현재 위치 또는 상기 새롭게 추정된 보행자의 현재 위치에 대하여 상기 경로 안내 정보를 생성한다.In addition, the route guide information generator 180 generates the route guide information with respect to the first estimated current location of the pedestrian, the current location of the pedestrian whose reliability has been verified, or the newly estimated current location of the pedestrian.

또한 상기 실내 경로 안내부(190)는, 상기 생성한 경로 안내 정보를 상기 보행자의 실내 경로 안내용 디바이스(200)로 제공함으로써, 상기 실내에 위치하는 보행자에 대한 실내 경로를 실시간으로 안내하는 기능을 수행한다.In addition, the indoor route guide unit 190 provides the generated route guide information to the indoor route guide device 200 for pedestrians, thereby guiding indoor routes for pedestrians located indoors in real time. carry out

도 5는 본 발명의 일 실시예에 따른 실내 경로 안내용 디바이스의 구성을 나타낸 블록도이다.5 is a block diagram illustrating the configuration of a device for guiding an indoor route according to an embodiment of the present invention.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 실내 경로 안내용 디바이스(200)는, 사용자 인터페이스를 제공하는 사용자 인터페이스부(210), 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)로 전송하는 보행자 영상데이터 전송부(220), 상기 실내 경로 안내 장치(100)로부터 경로 안내 정보를 수신하는 경로 안내 정보 수신부(230) 및 상기 수신한 경로 안내 정보를 출력하는 경로 안내 정보 출력부(240)를 포함하여 구성된다.As shown in FIG. 5 , the device 200 for indoor route guidance according to an embodiment of the present invention transmits image data of a user interface unit 210 providing a user interface and pedestrians to the indoor route guidance apparatus 100 . ), a pedestrian image data transmitter 220 that transmits to, a route guide information receiver 230 that receives route guide information from the indoor route guide device 100, and a route guide information output unit that outputs the received route guide information 240 .

상기 사용자 인터페이스부(210)는, 상기 실내 경로 안내용 디바이스(200)가 상기 실내 경로 안내 장치(100)에 접속하여, 상기 실내 경로 안내 장치(100)로부터 실내 경로 안내를 제공받을 때, 상기 실내 경로 안내를 제공받기 위한 다양한 정보를 설정하기 위한 사용자 인터페이스를 제공하는 기능을 수행한다.The user interface unit 210, when the indoor route guidance device 200 accesses the indoor route guide apparatus 100 and receives the indoor route guide from the indoor route guide apparatus 100, It performs a function of providing a user interface for setting various information for receiving route guidance.

이때, 상기 보행자는 상기 사용자 인터페이스를 통해, 실내 경로를 안내 받기 위한 특정 건물을 선택하고, 상기 선택한 특정 건물에서 상기 보행자가 이동할 목적지를 설정한다.In this case, the pedestrian selects a specific building for receiving an indoor route guidance through the user interface, and sets a destination to which the pedestrian moves in the selected specific building.

또한 상기 보행자 영상데이터 전송부(220)는, 상기 실내를 촬영한 카메라를 포함하여 구성된다.In addition, the pedestrian image data transmission unit 220 is configured to include a camera for photographing the room.

또한 상기 보행자 영상데이터 전송부(220)는, 상기 보행자의 위치와 이동방향에 따라 상기 실내를 촬영하여, 보행자의 영상데이터를 획득하고, 상기 획득한 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)로 전송하는 기능을 수행한다.In addition, the pedestrian image data transmission unit 220 captures the indoor according to the position and movement direction of the pedestrian, acquires image data of the pedestrian, and uses the acquired image data of the pedestrian to the indoor route guidance device 100 ) to transmit.

또한 상기 경로 안내 정보 수신부(230)는, 상기 실내 경로 안내 장치(100)에서 상기 보행자의 영상데이터를 토대로 추정한 보행자의 현재 위치에 따라 생성된 경로 안내 정보를 수신하는 기능을 수행한다.In addition, the route guide information receiver 230 performs a function of receiving route guide information generated according to the current location of the pedestrian estimated based on the image data of the pedestrian in the indoor route guide apparatus 100 .

또한 상기 경로 안내 정보 출력부(230)는, 상기 수신한 경로 안내 정보를 디스플레이, 스피커 또는 이들의 조합으로 출력하는 기능을 수행한다.In addition, the route guide information output unit 230 performs a function of outputting the received route guide information to a display, a speaker, or a combination thereof.

여기서, 상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치에 대한 좌표, 화살표, 도형, 음성 또는 이들의 조합을 포함하는 상기 추정한 보행자의 현재 위치에서 상기 설정한 목적지에 대한 이동방향에 대한 정보, 상기 추정한 보행자의 현재 위치에 대한 장소(즉, 장소이름)를 포함함은 상술한 바와 같다.Here, the route guidance information includes information on the direction of movement from the estimated current location of the pedestrian to the set destination including coordinates, arrows, figures, voices, or a combination thereof for the estimated current location of the pedestrian. , including a place (ie, a place name) for the estimated current location of the pedestrian is the same as described above.

또한 상기 경로 안내 정보 출력부(230)는, 상기 좌표를 확인하여, 상기 디스플레이상에 상기 실내의 맵이 표시되는 영역에 상기 보행자의 현재 위치를 표시하여 출력한다.In addition, the route guidance information output unit 230 checks the coordinates, displays and outputs the current location of the pedestrian on the display in an area where the indoor map is displayed.

또한 상기 경로 안내 정보 출력부(230)는, 상기 이동방향에 대한 정보 및 상기 추정한 보행자의 현재 위치에 대한 장소이름을, 상기 디스플레이상에 표시되는 상기 이동방향에 대한 정보 및 장소이름에 대한 영역에 출력한다.In addition, the route guidance information output unit 230, the information on the moving direction and the estimated place name for the current location of the pedestrian, the information on the moving direction and the area for the place name displayed on the display output to

또한 상기 이동방향에 대한 정보가 음성으로 구성되어 있는 경우에는, 상기 스피커를 통해 출력함은 상술한 바와 같다.In addition, when the information on the movement direction is composed of voice, output through the speaker is the same as described above.

한편, 상기 각 영역은, 사전에 설정되어 있으며, 상기 보행자가 상기 각 영역을 터치하여 이동시키는 것이 가능하다.On the other hand, each of the regions is set in advance, and it is possible for the pedestrian to move by touching each of the regions.

도 6은 본 발명의 일 실시예에 따른 영상데이터를 학습하여 보행자의 실내 경로를 안내하는 절차를 나타낸 흐름도이다.6 is a flowchart illustrating a procedure for guiding a pedestrian's indoor path by learning image data according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터를 학습하여 보행자의 실내 경로를 안내하는 절차는 우선, 상기 실내 경로 안내 장치(100)는, 적어도 하나 이상의 실내 영상데이터 제공 단말(300)로부터 실내 영상데이터를 수집하는 기능을 실내 영상데이터 수집 단계를 수행한다(S110).As shown in FIG. 6 , the procedure for guiding a pedestrian's indoor route by learning image data according to an embodiment of the present invention is first performed by the indoor route guiding apparatus 100, at least one indoor image data providing terminal. The function of collecting indoor image data from 300 performs an indoor image data collection step (S110).

상기 실내 영상데이터는, 실내 경로를 안내할 건물별로 수집되어 실내 영상데이터 데이터베이스(420)에 저장된다.The indoor image data is collected for each building to guide the indoor route and stored in the indoor image data database 420 .

다음으로 상기 실내 경로 안내 장치(100)는, 상기 실내의 각 위치에 대한 좌표, 방향, 장소 또는 이들이 조합을 포함하는 정보를 레이블링하는 레이블링 단계를 수행한다(S120). 이때, 상기 레이블링한 실내 영상데이터는 상기 실내 영상데이터 데이터베이스(420)에 저장된다.Next, the indoor route guide apparatus 100 performs a labeling step of labeling information including coordinates, directions, places, or a combination thereof for each location in the room (S120). In this case, the labeled indoor image data is stored in the indoor image data database 420 .

상기 레이블링은, 상기 실내의 각 위치별 실내 영상데이터에 해당하는 상기 정보를 포함하는 레이블을 부여함으로써, 수행되며, 상기 실내 영상데이터를 제공한 제공자에 의해 수행된다.The labeling is performed by giving a label including the information corresponding to the indoor image data for each location in the room, and is performed by a provider providing the indoor image data.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 레이블링한 실내 영상데이터를 상기 실내의 각 위치에 따라 분류(S130)하여, 상기 분류한 실내 영상데이터를 학습함으로써, 실내에 위치하는 보행자의 위치를 추정하기 위한 학습모델을 생성하는 학습 단계를 수행한다(S140). 상기 생성한 학습모델은 학습모델 데이터베이스(410)에 저장된다.Next, the indoor route guide apparatus 100 classifies the labeled indoor image data according to each location in the room (S130), and learns the classified indoor image data to determine the location of a pedestrian located indoors. A learning step of generating a learning model for estimating is performed (S140). The generated learning model is stored in the learning model database 410 .

이때, 상기 학습모델은, 상기 실내의 위치별로 생성되며, 상기 학습을 수행하는 과정에 대해서는 도 3을 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략하도록 한다.At this time, the learning model is generated for each location in the room, and since the process of performing the learning has been described with reference to FIG. 3 , further detailed description will be omitted.

이후, 상기 실내 경로 안내 장치(100)는, 상기 실내에 위치하는 보행자로부터 보행자의 영상데이터를 수신하는 보행자 영상데이터 수신 단계를 수행한다(S210).Thereafter, the indoor route guide apparatus 100 performs a pedestrian image data receiving step of receiving image data of a pedestrian from a pedestrian located in the room (S210).

이때, 상기 보행자는, 상기 실내 경로 안내용 디바이스(200)를 통해 실내 경로 안내를 제공받기 위한 대상 건물을 선택하고, 목적지를 설정하며, 상기 실내 경로 안내용 디바이스(200)는, 상기 보행자의 위치와 이동방향에 따라 상기 실내를 촬영한 보행자의 영상데이터를 상기 실내 경로 안내 장치(100)고 전송한다.In this case, the pedestrian selects a target building for receiving the indoor route guidance through the indoor route guidance device 200 and sets a destination, and the indoor route guidance device 200 determines the location of the pedestrian and transmits the image data of the pedestrian photographing the indoor according to the direction of movement to the indoor route guide apparatus 100 .

다음으로 상기 실내 경로 안내 장치(100)는, 상기 생성한 학습모델을 상기 학습모델 데이터베이스(410)로부터 로딩하여, 상기 수신한 보행자의 영상데이터를 상기 로딩한 학습모델에 적용함으로써, 상기 보행자의 현재 위치를 추정하는 보행자 위치 추정 단계를 수행한다(S220).Next, the indoor route guide apparatus 100 loads the created learning model from the learning model database 410, and applies the received image data of the pedestrian to the loaded learning model, thereby A pedestrian position estimation step of estimating the position is performed (S220).

상기 보행자 위치 추정 단계는, 상기 위치별 학습모델에서 각각 출력되는 특정 위치에 대해 레이블링된 정보일 확률 중에서 제일 높은 확률을 선택함으로써, 상기 보행자의 현재 위치를 추정함은 상술한 바와 같다.In the step of estimating the pedestrian position, the current position of the pedestrian is estimated by selecting the highest probability among the probability of being labeled information for a specific position output from the learning model for each position, as described above.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 보행자 위치 추정 단계를 통해 추정한 보행자의 현재 위치에 대한 신뢰성을 검증하는 신뢰성 검증 단계를 수행한다(S230).Next, the indoor route guidance apparatus 100 performs a reliability verification step of verifying the reliability of the current location of the pedestrian estimated through the step of estimating the pedestrian location (S230).

상기 신뢰성 검증은, 이전에 추정한 상기 보행자의 이전 위치와 상기 추정한 보행자의 현재 위치간의 거리가 사전에 설정한 임계값을 초과하는지에 대한 여부에 따라 수행됨은 상술한 바와 같다.As described above, the reliability verification is performed according to whether the previously estimated distance between the previous position of the pedestrian and the estimated current position of the pedestrian exceeds a preset threshold value.

한편, 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 상기 보행자 위치 추정 단계를 재수행하여, 이후에 수신된 보행자의 영상데이터를 토대로 해당 보행자의 현재 위치를 재추정하도록 하고, 상기 신뢰성 검증 단계를 재수행하여, 상기 재추정한 보행자의 현재 위치에 대한 신뢰성을 재검증하도록 한다.On the other hand, when the reliability of the estimated current location of the pedestrian is not verified, the indoor route guidance apparatus 100 re-performs the step of estimating the pedestrian's position, and then based on the received image data of the pedestrian, The current location is re-estimated, and the reliability verification step is re-performed to re-verify the reliability of the re-estimated current location of the pedestrian.

또한 상기 신뢰성을 검증한 결과, 사전에 설정한 임계횟수를 초과하여 연속적으로 상기 추정한 보행자의 현재 위치에 대한 신뢰성이 검증되지 않는 경우, 현재 시점에서 수신되는 보행자의 영상데이터를 이용하여 상기 현재 시점으로부터 상기 보행자에 대한 현재 위치를 새롭게 추정하도록 함은 상술한 바와 같다.In addition, as a result of verifying the reliability, if the reliability of the estimated current position of the pedestrian is not continuously verified by exceeding a preset threshold number of times, the current time using the image data of the pedestrian received at the current time As described above, the current position of the pedestrian is newly estimated from

또한 상기 신뢰성 검증은, 상기 보행자의 현재 위치가 최초로 추정되거나, 또는 현재 시점에서 새롭게 추정된 경우에는, 수행되지 않는다.In addition, the reliability verification is not performed when the current location of the pedestrian is estimated for the first time or newly estimated at the current time point.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 추정한 보행자의 현재 위치에 따른 경로 안내 정보를 생성하는 경로 안내 정보 생성 단계를 수행한다(S240).Next, the indoor route guide apparatus 100 performs a route guide information generation step of generating route guide information according to the estimated current location of the pedestrian (S240).

이때, 상기 경로 안내 정보 생서 단계는, 상기 신뢰성이 검증된 상기 보행자의 현재 위치, 또는 최초로 추정된 보행자의 현재 위치 또는 상기 새롭게 추정된 보행자의 현재 위치에 따라 상기 경로 안내 정보를 생성한다.In this case, the generating the route guide information generates the route guide information according to the current location of the pedestrian whose reliability has been verified, or the first estimated current location of the pedestrian, or the newly estimated current location of the pedestrian.

상기 경로 안내 정보는, 상기 추정한 보행자의 현재 위치에 대한 좌표, 상기 추정한 현재 위치에서 상기 목적지로 이동할 이동방향에 대한 정보 및 상기 추정한 보행자의 현재 위치에 대한 장소를 포함함은 상술한 바와 같다.As described above, the route guidance information includes the estimated coordinates for the current location of the pedestrian, information on the direction of movement from the estimated current location to the destination, and the estimated location for the current location of the pedestrian. same.

다음으로 상기 실내 경로 안내 장치(100)는, 상기 생성한 경로 안내 정보를 상기 보행자의 실내 경로 안내용 디바이스(200)로 제공하여, 상기 보행자에 대한 실내 경로 안내를 수행하는 실내 경로 안내 단계를 수행한다(S190).Next, the indoor route guidance apparatus 100 provides the generated route guidance information to the indoor route guidance device 200 of the pedestrian, and performs an indoor route guidance step of performing indoor route guidance for the pedestrian. do (S190).

상기 실내 경로 안내 단계는, 상기 추정한 보행자의 현재 위치를 토대로 생성한 상기 경로 안내 정보를 지속적으로 제공함으로써, 상기 보행자가 상기 설정한 목적지까지 정확하고 안전하게 이동할 수 있도록 한다. In the indoor route guidance step, by continuously providing the route guidance information generated based on the estimated current location of the pedestrian, the pedestrian can accurately and safely move to the set destination.

도 7은 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치의 하드웨어 구조를 나타낸 도면이다. 7 is a diagram illustrating a hardware structure of an apparatus for guiding a pedestrian's indoor route through image data learning according to an embodiment of the present invention.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치(100)의 하드웨어 구조, 중앙처리장치(1000), 메모리(2000), 사용자 인터페이스(3000), 데이터베이스 인터페이스(4000), 네트워크 인터페이스(5000), 웹서버(6000) 등을 포함하여 구성된다.As shown in FIG. 7 , the hardware structure, the central processing unit 1000, the memory 2000, and the user interface 3000 of the apparatus 100 for guiding a pedestrian's indoor route through image data learning according to an embodiment of the present invention ), a database interface 4000, a network interface 5000, a web server 6000, and the like.

상기 사용자 인터페이스(3000)는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 사용함으로써, 상기 보행자에게 입력과 출력 인터페이스를 제공한다.The user interface 3000 provides input and output interfaces to the pedestrian by using a graphical user interface (GUI).

상기 데이터베이스 인터페이스(4000)는 데이터베이스(400)와 하드웨어 구조 사이의 저장 인터페이스를 제공하며, 상기 네트워크 인터페이스(5000)는 사용자가 보유한 장치 간의 네트워크 연결을 제공한다.The database interface 4000 provides a storage interface between the database 400 and a hardware structure, and the network interface 5000 provides a network connection between devices owned by a user.

상기 웹 서버(6000)는 상기 보행자가 네트워크를 통해 상기 실내 경로 안내 장치(100)로 액세스하기 위한 수단을 제공한다. 대부분의 보행자들은 원격에서 웹 서버로 접속하여 상기 실내 경로 안내 장치(100)를 이용할 수 있다.The web server 6000 provides a means for the pedestrian to access the indoor route guidance apparatus 100 through a network. Most pedestrians can remotely access the web server and use the indoor route guidance device 100 .

상술한 구성 또는 방법의 각 단계는, 컴퓨터 판독 가능한 기록매체 상의 컴퓨터 판독 가능 코드로 구현되거나 전송 매체를 통해 전송될 수 있다. 컴퓨터 판독 가능한 기록매체는, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 디바이스이다. 컴퓨터 판독 가능한 기록매체의 예로는 데이터베이스, ROM, RAM, CD-ROM, DVD, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 디바이스가 있으나 이에 한정되는 것은 아니다. 전송매체는 인터넷 또는 다양한 유형의 통신 채널을 통해 전송되는 반송파를 포함할 수 있다.Each step of the above-described configuration or method may be implemented as computer-readable code on a computer-readable recording medium or transmitted through a transmission medium. The computer-readable recording medium is a data storage device capable of storing data that can be read by a computer system. Examples of computer-readable recording media include, but are not limited to, databases, ROMs, RAMs, CD-ROMs, DVDs, magnetic tapes, floppy disks, and optical data storage devices. The transmission medium may include a carrier wave transmitted through the Internet or various types of communication channels.

또한 컴퓨터 판독 가능한 기록매체는, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고, 실행되도록 네트워크 결합 컴퓨터 시스템을 통해 분배될 수 있다.In addition, the computer readable recording medium may be distributed through a network coupled computer system so that the computer readable code is stored and executed in a distributed manner.

또한 본 발명에 적용된 적어도 하나 이상의 구성요소는, 각각의 기능을 수행하는 중앙처리장치(CPU)(1000), 마이크로프로세서 등과 같은 프로세서를 포함하거나 이에 의해 구현될 수 있으며, 상기 구성요소 중 둘 이상은 하나의 단일 구성요소로 결합되어 결합된 둘 이상의 구성요소에 대한 모든 동작 또는 기능을 수행할 수 있다. 또한 본 발명에 적용된 적어도 하나 이상의 구성요소의 일부는, 이들 구성요소 중 다른 구성요소에 의해 수행될 수 있다. 또한 상기 구성요소들 간의 통신은 버스(미도시)를 통해 수행될 수 있다.In addition, at least one or more components applied to the present invention may include or be implemented by a processor such as a central processing unit (CPU) 1000, a microprocessor, etc. that perform each function, and two or more of the components are It may be combined into one single component to perform all operations or functions for two or more combined components. In addition, a part of at least one or more components applied to the present invention may be performed by other components among these components. In addition, communication between the components may be performed through a bus (not shown).

이처럼, 본 발명은 실내 영상데이터를 학습하여 생성한 학습모델을 이용하여, 실내에 위치하는 보행자의 영상데이터로부터 상기 보행자의 현재 위치를 지속적으로 추정하고, 상기 추정한 보행자의 현재 위치를 토대로 경로 안내 정보를 생성하여 실시간으로 제공함으로서, 상기 보행자의 목적지까지 정확하기 이동할 수 있도록 하는 효과가 있다.As such, the present invention continuously estimates the current position of the pedestrian from the image data of the pedestrian located indoors using a learning model generated by learning indoor image data, and guides a route based on the estimated current position of the pedestrian By generating information and providing it in real time, there is an effect of allowing the pedestrian to accurately move to the destination.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, which are merely exemplary, and those of ordinary skill in the art can make various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Therefore, the technical protection scope of the present invention should be determined by the following claims.

100: 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치
110: 실내 영상데이터 수집부 120: 레이블링부
130: 학습부 140: 목적지 설정부
150: 보행자 영상데이터 수신부 160: 보행자 위치 추정부
170: 신뢰성 검증부 180: 경로 안내 정보 생성부
190: 실내 경로 안내부 200: 실내 경로 안내용 디바이스
210: 사용자 인터페이스부 220: 보행자 영상데이터 전송부
230: 경로 안내 정보 수신부 240: 경로 안내 정보 출력부
300: 실내 영상데이터 제공 단말 400: 데이터베이스100: Indoor route guidance device for pedestrians through image data learning
110: indoor image data collection unit 120: labeling unit
130: learning unit 140: destination setting unit
150: Pedestrian image data receiver 160: Pedestrian position estimation unit
170: reliability verification unit 180: route guidance information generation unit
190: indoor route guidance unit 200: indoor route guidance device
210: user interface unit 220: pedestrian image data transmission unit
230: route guidance information receiver 240: route guidance information output unit
300: indoor image data providing terminal 400: database

Claims

a learning unit for learning indoor image data labeled with information including coordinates, directions, places, or a combination thereof for each location in the room to generate a learning model for each location of the room;
a pedestrian position estimator for estimating the current position and direction of the pedestrian by inputting image data captured according to the position and movement direction of the pedestrian into the learning model; and
and an indoor route guide unit that provides route guidance information on the moving direction to the destination set by the pedestrian in real time according to the estimated current location of the pedestrian;
The pedestrian position estimation unit,
By applying the image data of the pedestrian to each of the generated learning models, the labeled information having the highest probability among the probabilities output for each learning model is selected, and the coordinates, directions, places, or their coordinates of the selected labeled information are selected. Indoor route guidance device for pedestrians through image data learning, characterized in that the current position and direction of the pedestrian are estimated by confirming the combination.

The method according to claim 1,
The indoor image data is image data taken in all directions and at various magnifications based on each location in the room,
The learning unit, by classifying and learning the indoor image data labeled with the information according to each location of the room, to generate the learning model for each location of the room. Device.

delete

The method according to claim 1,
The indoor route guide device,
Reliability verification unit that verifies reliability of the estimated current position of the pedestrian by determining whether the distance between the estimated current position of the pedestrian and the previously estimated previous position of the pedestrian exceeds a preset threshold value further including;
The pedestrian position estimation unit,
As a result of verifying the reliability, when the reliability of the estimated current position of the pedestrian is not continuously verified by exceeding a preset threshold number of times, the image data of the pedestrian received at the current time is used from the current time point. Indoor path guidance device for pedestrians through image data learning, characterized in that the current position of the pedestrian is newly estimated.

5. The method according to claim 4,
The indoor route guide unit,
When the estimated reliability of the current location of the pedestrian is not verified, the route guidance information is not provided, and the estimated reliability of the current location of the pedestrian is verified or the current location of the pedestrian is newly estimated from the current time. In one case, further comprising providing the route guidance information,
The route guidance information is
Indoor path guidance device for pedestrians through image data learning, characterized in that it includes arrows, figures, voices, or a combination thereof for guiding the movement direction from the estimated current location of the pedestrian.

A learning step of generating a learning model for each indoor location by learning the indoor image data labeled with information including coordinates, directions, places, or a combination thereof for each location in the room;
a pedestrian location estimation step of estimating the current location and direction of the pedestrian by inputting image data taken according to the location and movement direction of the pedestrian into the learning model; and
Indoor route guidance step of providing in real time route guidance information on the moving direction to the destination set by the pedestrian based on the estimated current location of the pedestrian;
The step of estimating the location of the pedestrian,
By applying the image data of the pedestrian to each of the generated learning models, the labeled information having the highest probability among the probabilities output for each learning model is selected, and the coordinates, directions, places, or their coordinates of the selected labeled information are selected. An indoor route guidance method for pedestrians through image data learning, characterized in that the current location and direction of the pedestrian are estimated by confirming the combination.

7. The method of claim 6,
The indoor image data is image data taken in all directions and at various magnifications based on each location in the room,
In the learning step, by classifying and learning the indoor image data labeled with the information according to each location of the room, the learning model is generated for each location of the room. How to guide.

delete

7. The method of claim 6,
The indoor route guidance method is,
Reliability verification step of verifying the reliability of the estimated current position of the pedestrian by determining whether the distance between the estimated current position of the pedestrian and the previously estimated previous position of the pedestrian exceeds a preset threshold value further including;
The step of estimating the location of the pedestrian,
As a result of verifying the reliability, when the reliability of the estimated current position of the pedestrian is not continuously verified by exceeding a preset threshold number of times, the image data of the pedestrian received at the current time is used from the current time point. A method of guiding a pedestrian's indoor route through image data learning, characterized in that the current location of the pedestrian is newly estimated.

10. The method of claim 9,
The indoor route guidance step is,
If the estimated reliability of the current location of the pedestrian is not verified, the route guidance information is not provided, and the estimated reliability of the current location of the pedestrian is verified or the current location of the pedestrian is newly estimated from the current time. In one case, further comprising providing the route guidance information,
The route guidance information is
An indoor route guidance method for pedestrians through image data learning, characterized in that it includes an arrow, a figure, a voice, or a combination thereof for guiding the movement direction from the estimated current location of the pedestrian.