KR102189926B1

KR102189926B1 - Method and system for detecting change point of interest

Info

Publication number: KR102189926B1
Application number: KR1020200038097A
Authority: KR
Inventors: 유찬미; 허민혁
Original assignee: 네이버랩스 주식회사
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2020-12-11
Also published as: KR20200037168A

Abstract

관심 영역 변화를 검출하는 방법 및 시스템이 개시된다. 시간 간격을 두고 동일한 위치를 촬영한 이미지 쌍에서 신규 오픈, 폐업, 상호 변경 등의 변화를 가장 잘 감지할 수 있는 상점의 간판 부분을 탐지하여 POI 변화를 자동으로 검출할 수 있다.A method and system for detecting a change in a region of interest is disclosed. The POI change can be automatically detected by detecting the signboard part of the store that best detects changes such as new openings, closings, and company name changes from a pair of images taken at the same location at intervals.

Description

A method and system for detecting changes in a region of interest {METHOD AND SYSTEM FOR DETECTING CHANGE POINT OF INTEREST}

아래의 설명은 실 공간에 존재하는 관심 영역의 변화를 자동으로 검출하는 기술에 관한 것이다.The following description relates to a technique for automatically detecting a change in a region of interest existing in real space.

실 공간에는 음식점, 서점, 가게 등 다양한 형태의 관심 영역(Point Of Interest, POI)이 존재한다. 이러한 관심 영역에 대한 정보(이하, 'POI 정보')를 지도에 표시하거나 사용자에게 제공하기 위해서는 해당 POI 정보를 수집해야 한다.In the real space, there are various types of points of interest (POI) such as restaurants, bookstores, and stores. In order to display information on such a region of interest (hereinafter,'POI information') on a map or provide it to users, the corresponding POI information must be collected.

종래에는 사람이 직접 도보 또는 차량 등을 이용하여 실제 공간을 방문하여 POI의 위치와 종류, 이름 등을 직접 확인하여 시스템에 기록하거나 또는 카메라가 설치된 차량을 이용하여 실제 공간, 도로 등의 영상을 카메라로 촬영하고, 추후 사람이 촬영된 영상을 분석하여 POI의 종류, 이름 등을 인식하여 시스템에 기록하는 방법을 사용하였다.Conventionally, a person directly visits an actual space by walking or using a vehicle, and directly checks the location, type, and name of the POI and records it in the system, or uses a vehicle equipped with a camera to capture images of the actual space or road. It was photographed with and later analyzed the image taken by a person, and the type and name of the POI were recognized and recorded in the system.

예를 들어, 한국공개특허 제10-2011-0037045호는 차량의 카메라를 이용한 영상 수집 시스템 및 그 제어 방법에 관한 기술로, 차량에 장착된 카메라를 이용하여 촬영이 필요한지의 여부에 따라 해당 지역 또는 거리를 촬영하여 데이터베이스를 구축하고, 택시, 택배 트럭 또는 버스 등과 같이 다양한 지역을 이동하는 차량에 카메라를 장착하는 경우 보다 많은 지역 또는 거리를 촬영하여 사용자에게 보다 많은 지도 상의 영상 정보를 적은 비용으로 제공할 수 있음을 개시하고 있다.For example, Korean Patent Laid-Open No. 10-2011-0037045 is a technology related to an image collection system using a camera of a vehicle and a control method thereof. According to whether or not photographing is necessary using a camera mounted on a vehicle, the corresponding region or A database is built by photographing streets, and when a camera is mounted on a vehicle moving in various areas such as taxis, delivery trucks, or buses, more areas or distances are captured to provide users with more map image information at a lower cost. It discloses that it can.

그러나, 이러한 종래기술은 결국 실 공간에 있는 POI 정보를 확인하기 위해 사람이 해당 POI가 있는 위치에 방문하여 직접 정보를 확인 및 기록하거나 혹은 해당 위치를 방문하여 해당 위치를 촬영하고 추후에 사람이 촬영된 영상을 확인하여 정보를 확인 및 기록하는 등, 처리 과정 전반에 걸쳐 사람이 반드시 개입하여야 하기 때문에, 데이터 수집과 이를 분석하여 처리하는데 비용과 시간, 노력이 많이 소모될 수 밖에 없다는 문제점이 있다.However, in this prior art, in order to check POI information in real space, a person visits the location where the POI is located and directly checks and records the information, or visits the location and shoots the location, and then the person shoots it. Since humans must intervene throughout the processing process, such as checking and recording information by checking the image, there is a problem that a lot of cost, time, and effort are inevitably consumed to collect data, analyze and process it.

또한, 이미 어떠한 실 공간 영역에 대한 POI 정보를 확보하고 있다고 하더라도 POI 정보는 신규 오픈, 폐업, 상호 변경, 창업 등으로 인해 수시로 변경될 수 있다. 따라서 POI의 변화를 즉각 인지하기 위해서는 해당 공간 영역에 대한 빈번한 모니터링을 통한 POI 정보의 신속한 업데이트가 필요하나, 사람이 개입되는 처리 방법으로는 이 또한 비용과 많은 노력이 소모되어 실질적으로 POI의 변경과 관련된 최신의 정보를 획득/제공하는 것이 사실상 거의 불가능하다. 특히 실 공간의 범위가 넓은 경우 POI의 변화에 따른 최신의 POI 정보를 확인하는 과정이 더욱 어려워 진다는 문제점이 있다.In addition, even if POI information for a certain real space area is already secured, the POI information may be changed at any time due to new openings, closures, company name changes, and startups. Therefore, in order to immediately recognize the change of POI, it is necessary to quickly update the POI information through frequent monitoring of the corresponding spatial area. However, this is also costly and a lot of effort as a processing method involving human intervention. It is virtually impossible to obtain/provide relevant and up-to-date information. In particular, when the real space range is wide, there is a problem that it becomes more difficult to check the latest POI information according to changes in POI.

시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 POI 변화를 자동으로 검출할 수 있는 방법 및 시스템을 제공한다.Provides a method and system that can automatically detect changes in POI existing in a real space for location-based services such as maps in real space environments such as downtown streets or indoor shopping malls.

신규 오픈, 폐업, 상호 변경 등의 변화를 가장 잘 감지할 수 있는 상점의 간판 부분을 탐지하여 POI 변화를 효과적이고 신뢰성 있게 검출할 수 있는 방법 및 시스템을 제공한다.It provides a method and system that can effectively and reliably detect changes in POI by detecting the signboard of stores that can best detect changes such as new openings, closures, and company name changes.

컴퓨터 시스템에서 수행되는 방법에 있어서, 상기 컴퓨터 시스템은 메모리에 포함된 컴퓨터 판독가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 방법은, 상기 적어도 하나의 프로세서에 의해, 소정 시간 간격을 두고 대상 위치를 촬영한 이전 영상과 이후 영상으로 이루어진 이미지 쌍을 선정하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 이미지 쌍에 포함된 상기 이전 영상과 상기 이후 영상에서 각각 복수 개의 간판 영역을 검출하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 이전 영상에서 검출된 간판 영역과 상기 이후 영상에서 검출된 간판 영역을 비교하여 상기 이전 영상과 상기 이후 영상 간에 매칭되지 않는 간판 영역을 상기 대상 위치에서의 변화 영역으로 인식하는 단계를 포함하는 방법을 제공한다.A method performed in a computer system, the computer system comprising at least one processor configured to execute computer readable instructions contained in a memory, the method comprising, by the at least one processor, at a predetermined time interval. Selecting an image pair consisting of a previous image and a subsequent image of the target location; Detecting, by the at least one processor, a plurality of signboard regions from the previous image and the subsequent image included in the image pair; And, by the at least one processor, a sign region that is not matched between the previous image and the subsequent image by comparing the sign region detected in the previous image with the sign region detected in the subsequent image. It provides a method comprising the step of recognizing as.

일 측면에 따르면, 상기 이미지 쌍은 상기 대상 위치를 파노라마 컷으로 촬영한 이전 파노라마 영상과 이후 파노라마 영상으로 이루어질 수 있다.According to an aspect, the image pair may be formed of a previous panoramic image and a subsequent panoramic image obtained by taking a panoramic cut of the target location.

다른 측면에 따르면, 상기 방법은, 상기 적어도 하나의 프로세서에 의해, 상기 변화가 인식된 관심 영역을 시각화 하는 단계를 더 포함할 수 있다.According to another aspect, the method may further include visualizing, by the at least one processor, the region of interest in which the change is recognized.

또 다른 측면에 따르면, 상기 시각화 하는 단계는, 상기 변화가 인식된 관심 영역에 대해 상기 이미지 쌍을 포함하는 관심 영역 변화 정보를 생성하여 운영자에게 제공하는 단계를 포함할 수 있다.According to another aspect, the step of visualizing may include generating ROI change information including the image pair for the ROI in which the change is recognized, and providing it to an operator.

상기 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.It provides a computer-readable recording medium, characterized in that the program for executing the method in a computer is recorded.

컴퓨터 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 소정 시간 간격을 두고 대상 위치를 촬영한 이전 영상과 이후 영상으로 이루어진 이미지 쌍을 선정하는 과정; 상기 이미지 쌍에 포함된 상기 이전 영상과 상기 이후 영상에서 각각 복수 개의 간판 영역을 검출하는 과정; 및 상기 이전 영상에서 검출된 간판 영역과 상기 이후 영상에서 검출된 간판 영역을 비교하여 상기 이전 영상과 상기 이후 영상 간에 매칭되지 않는 간판 영역을 상기 대상 위치에서의 변화 영역으로 인식하는 과정을 처리하는 컴퓨터 시스템을 제공한다.A computer system, comprising at least one processor embodied to execute a command readable by a computer, and an image pair consisting of a previous image and a subsequent image captured by the at least one processor at a predetermined time interval The process of selecting; Detecting a plurality of signboard regions from the previous image and the subsequent image included in the image pair, respectively; And comparing the signboard region detected in the previous image with the signboard region detected in the subsequent image, and recognizing a signage region that does not match between the previous image and the subsequent image as a change region at the target location. System.

본 발명의 실시예들에 따르면, 시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 POI 변화를 자동으로 검출할 수 있다.According to embodiments of the present invention, it is possible to automatically detect a change in POI existing in an actual space for a location-based service such as a map in an actual space environment such as a downtown street or an indoor shopping mall.

본 발명의 실시예들에 따르면, 신규 오픈, 폐업, 상호 변경 등의 변화를 가장 잘 감지할 수 있는 상점의 간판 부분을 탐지하여 POI 변화를 효과적이고 신뢰성 있게 검출할 수 있다.According to embodiments of the present invention, a change in POI can be effectively and reliably detected by detecting a part of a signboard of a store that can best detect changes such as new openings, closures, and company name changes.

도 1은 본 발명의 일실시예에 따른 정보 수집 및 업데이트 시스템의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 정보 수집 및 업데이트 방법의 예를 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, 기본 정보 획득 과정의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 맵핑 로봇을 통해 수집되는 데이터의 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 수시 정보 획득 과정의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서, POI 변화 검출 과정의 예를 도시한 흐름도이다.
도 7 내지 도 9는 본 발명의 일실시예에 있어서 파노라마 컷으로 촬영된 영상으로부터 POI 변화 영역을 검출하는 과정을 설명하기 위한 예시 도면이다.
도 10 내지 도 12는 본 발명의 일실시예에 있어서 일반 단일 컷으로 촬영된 영상으로부터 POI 변화 영역을 검출하는 과정을 설명하기 위한 예시 도면이다.
도 13은 본 발명의 일실시예에 따른 컴퓨터 시스템의 예를 도시한 블록도이다.1 is a diagram showing an example of an information collection and update system according to an embodiment of the present invention.
2 is a flowchart illustrating an example of a method of collecting and updating information according to an embodiment of the present invention.
3 is a flowchart illustrating an example of a basic information acquisition process according to an embodiment of the present invention.
4 is a diagram illustrating an example of data collected through a mapping robot according to an embodiment of the present invention.
5 is a flowchart illustrating an example of a process of acquiring information from time to time according to an embodiment of the present invention.
6 is a flowchart illustrating an example of a POI change detection process according to an embodiment of the present invention.
7 to 9 are exemplary diagrams for explaining a process of detecting a POI change region from an image captured by a panoramic cut in an embodiment of the present invention.
10 to 12 are exemplary diagrams for explaining a process of detecting a POI change region from an image photographed with a general single cut according to an embodiment of the present invention.
13 is a block diagram showing an example of a computer system according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 실시예들은 관심 영역(Point Of Interest, POI) 변화 검출을 사람의 개입을 최소화하면서도 효율적으로 실행할 수 있는 방법 및 시스템을 제공한다.Embodiments of the present invention provide a method and system capable of efficiently executing point of interest (POI) change detection while minimizing human intervention.

실 환경에서 POI는 신규로 오픈하거나, 폐점하거나, 확장하거나, 다른 점포로 변경되는 등 수시로 다양한 형태로 변화한다. 이러한 POI 변화를 수시로 파악하여 최신의 POI 정보를 유지하는 것은 지도 등 위치 관련 서비스들에 있어서 중요도가 아주 높다.In a real environment, POI changes in various forms from time to time, such as newly open, closed, expanded, or changed to another store. Keeping the latest POI information by identifying changes in POI from time to time is very important for location-related services such as maps.

본 발명의 실시예들에 따른 POI 변화 검출 기술은 차량이나 로봇 등을 활용하여 촬영한 영상으로부터 POI 변화를 자동으로 검출하고, POI 변화를 시스템에 기록하게 하기 위해 관련 정보를 운영자에게 제공하거나 또는 변화가 아주 명확한 경우에는 POI의 변경 사항을 자동으로 시스템에 기록하도록 함으로써, POI 정보를 효율적으로 최신 상태로 유지할 수 있다.POI change detection technology according to embodiments of the present invention automatically detects changes in POI from images captured using a vehicle or robot, and provides relevant information to the operator or changes in order to record the changes in POI in the system. When is very clear, POI information can be efficiently kept up-to-date by automatically recording changes to the POI in the system.

일실시예로, POI 변화 검출 기술을 설명하기 위해 실 공간으로서 대규모 실내 쇼핑몰의 예를 들어 설명한다. 이는 설명의 편의를 위한 것으로, 본 발명의 실시예들에서의 실 공간이 실내 쇼핑몰 등의 공간으로 한정되는 것은 아니다. 또한, 본 실시예에서는 POI 변화 검출을 위한 영상과 관련 데이터의 획득 수단으로서 자율주행이 가능한 로봇을 활용하는 예를 설명한다. 정보의 획득은 실 공간의 환경의 종류에 따라 차량, 사람, 트레이, CCTV 등 다양한 수단을 통해 이루어질 수 있으며, 본 실시예에서 제시하는 로봇과 같은 정보 획득 수단으로 한정되는 것은 아니다.As an embodiment, in order to describe the POI change detection technology, an example of a large indoor shopping mall as a real space will be described. This is for convenience of description, and the actual space in the embodiments of the present invention is not limited to a space such as an indoor shopping mall. In addition, in the present embodiment, an example of using a robot capable of autonomous driving as a means for acquiring an image and related data for detecting a change in POI will be described. Acquisition of information may be performed through various means such as vehicles, people, trays, CCTVs, etc. according to the type of environment in the real space, and is not limited to information acquisition means such as a robot presented in the present embodiment.

도 1은 본 발명의 일실시예에 따른 정보 수집 및 업데이트 시스템의 예를 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 정보 수집 및 업데이트 방법의 예를 도시한 흐름도이다.1 is a diagram illustrating an example of a system for collecting and updating information according to an embodiment of the present invention, and FIG. 2 is a flowchart illustrating an example of a method for collecting and updating information according to an embodiment of the present invention.

본 실시예에 따른 정보 수집 및 업데이트 시스템(100)은 클라우드 서버(110), 맵핑 로봇(120) 및 서비스 로봇(130)을 포함하여 구성될 수 있다. 클라우드 서버(110)와 맵핑 로봇(120), 그리고 클라우드 서버(110)와 서비스 로봇(130)은 수집된 데이터의 전송이나 위치 정보, 맵 정보 등의 전송을 위해 네트워크를 통한 데이터 통신이 가능하도록 구현될 수 있다. 특히, 서비스 로봇(130)은 클라우드 서버(110)와의 데이터 통신에 실시간성을 부여하기 위해 무선 네트워크 인터페이스를 포함하도록 구현될 수 있다.The information collection and update system 100 according to the present embodiment may include a cloud server 110, a mapping robot 120, and a service robot 130. The cloud server 110 and the mapping robot 120, and the cloud server 110 and the service robot 130 are implemented to enable data communication through a network for transmission of collected data, location information, and map information. Can be. In particular, the service robot 130 may be implemented to include a wireless network interface in order to provide real-time data communication with the cloud server 110.

또한, 본 실시예에 따른 정보 수집 및 업데이트 방법은, 도 2에 도시된 바와 같이, 기본 정보 획득 단계(210), 수시 정보 획득 단계(220) 및 수시 POI 정보 처리 단계(230)를 포함할 수 있다. 기본 정보 획득 단계(210)는 기본 정보의 획득을 위해 최초 1회(필요 시 2회 이상) 수행될 수 있으며, 수시 정보 획득 단계(220)는 상시 또는 필요 시마다 반복적으로 수행될 수 있다. 또한, 수시 POI 정보 처리 단계(230)는 일(day) 단위나 주(week) 단위와 같이 정기적으로 반복 수행될 수 있다.In addition, the method of collecting and updating information according to the present embodiment may include a basic information acquisition step 210, an occasional information acquisition step 220, and an occasional POI information processing step 230, as shown in FIG. have. The basic information acquisition step 210 may be initially performed once (two or more times if necessary) to acquire the basic information, and the occasional information acquisition step 220 may be performed constantly or repeatedly whenever necessary. In addition, the POI information processing step 230 at any time may be repeatedly performed regularly, such as in a unit of a day or a unit of a week.

이때, 맵핑 로봇(120)은 기본 정보 획득 단계(210)에서 대상 장소(140)를 주행하면서 대상 장소(140)에 대한 데이터를 수집하여 클라우드 서버(110)로 전달하도록 구현될 수 있으며, 클라우드 서버(110)는 맵핑 로봇(120)이 수집 및 제공하는 데이터를 토대로 대상 장소(140)에 대한 기본 정보를 생성하고, 생성된 기본 정보를 이용하여 서비스 로봇(130)의 대상 장소(140)에서의 자율 주행 및 서비스 제공을 서포트하도록 구현될 수 있다.At this time, the mapping robot 120 may be implemented to collect data on the target place 140 while driving the target place 140 in the basic information acquisition step 210 and transmit it to the cloud server 110, and the cloud server (110) generates basic information on the target place 140 based on the data collected and provided by the mapping robot 120, and uses the generated basic information to be used in the target place 140 of the service robot 130. It can be implemented to support autonomous driving and service provision.

또한, 서비스 로봇(130)은 수시 정보 획득 단계(220)에서 클라우드 서버(110)로부터 제공되는 정보에 기초하여 대상 장소(140)를 자율 주행하면서 수시 정보를 수집하여 클라우드 서버(110)로 전달하도록 구현될 수 있다.In addition, the service robot 130 collects the occasional information while autonomously driving the target place 140 based on the information provided from the cloud server 110 in the occasional information acquisition step 220 and transmits it to the cloud server 110. Can be implemented.

이때, 클라우드 서버(110)는 수시 POI 정보 처리 단계(230)에서 기본 정보와 수시 정보 간의 비교에 기반하여 POI 변화를 인식하여 업데이트하는 등, 대상 장소(140)에 대한 정보를 업데이트할 수 있다.In this case, the cloud server 110 may update the information on the target place 140 by recognizing and updating the POI change based on the comparison between the basic information and the occasional information in the occasional POI information processing step 230.

기본 정보 획득 단계(210)에서 정보 수집 및 업데이트 시스템(100)은 기본 정보를 획득할 수 있다. POI 변화 검출 기술은 기본적으로 현재 영상과 이전 영상을 다양한 기술을 활용하여 비교함으로써, POI에 대한 변화 여부를 감지할 수 있다. 따라서, 비교 대상이 되는 이전 영상이 요구되며, 이후 로봇(일례로, 서비스 로봇(130))의 자율 주행을 위해 로봇을 위한 실내 지도 구성이 요구된다. 이러한 이전 영상과 실내 지도의 획득을 위해, 기본 정보 획득 단계(110)가 최초 1회(필요 시 2회 이상) 수행될 수 있다. 이러한 기본 정보 획득 단계(110)를 위한 세부 단계들을 도 3을 통해 설명한다.In the basic information acquisition step 210, the information collection and update system 100 may acquire basic information. The POI change detection technology basically compares the current image and the previous image using various technologies to detect whether or not the POI has changed. Accordingly, a previous image to be compared is required, and an indoor map configuration for the robot is required for autonomous driving of the robot (for example, the service robot 130) afterwards. In order to obtain such a previous image and an indoor map, the basic information acquisition step 110 may be performed once (if necessary, two or more times). Detailed steps for the basic information acquisition step 110 will be described with reference to FIG. 3.

도 3은 본 발명의 일실시예에 있어서, 기본 정보 획득 과정의 예를 도시한 흐름도이다. 기본 정보의 획득은 정보 수집 및 업데이트 시스템(100)이 포함하는 클라우드 서버(110) 및 맵핑 로봇(120)에 의해 이루어질 수 있으며, 도 3의 단계들(310 내지 340)은 도 2의 단계(210)에 포함되어 수행될 수 있다.3 is a flowchart illustrating an example of a basic information acquisition process according to an embodiment of the present invention. Acquisition of basic information may be performed by the cloud server 110 and the mapping robot 120 included in the information collection and update system 100, and the steps 310 to 340 of FIG. 3 are steps 210 of FIG. ) Can be carried out.

단계(310)에서 맵핑 로봇(120)는 실내 쇼핑몰과 같이 대상 장소(140)가 선정되면, 선정된 대상 장소(140)를 자율 주행하면서 데이터를 수집할 수 있다. 이때, 수집되는 데이터는 POI 변화 검출을 위해 활용될 이전 영상을 생성하기 위한 데이터, 그리고 서비스 로봇(130)의 자율 주행을 위한 실내 지도 구성을 위한 데이터를 포함할 수 있다. 이를 위해, 맵핑 로봇(120)은 라이더(Lidar), 휠 인코더(Wheel Encoder), IMU(Inertial Measurement Unit), 카메라, 통신 인터페이스 등을 포함하도록 구현될 수 있으며, 서비스 로봇(130)은 이미 맵핑 로봇(120)에 의해 수집된 데이터에 기반하여 구성되는 실내 지도를 활용하여 자율 주행을 수행하기 때문에 맵핑 로봇(120)과 같이 고가의 고정밀 센서를 탑재할 필요성이 없으며, 따라서 맵핑 로봇(120)에 비해 상대적으로 저가의 센서를 탑재하도록 구현될 수 있다. 맵핑 로봇(120)에 의해 수집되는 데이터에 대해서는 이후 도 4를 통해 더욱 자세히 설명한다.In step 310, when a target place 140 is selected, such as an indoor shopping mall, the mapping robot 120 may collect data while autonomously driving the selected target place 140. In this case, the collected data may include data for generating a previous image to be used to detect changes in POI, and data for configuring an indoor map for autonomous driving of the service robot 130. To this end, the mapping robot 120 may be implemented to include a lidar, a wheel encoder, an inertial measurement unit (IMU), a camera, a communication interface, etc., and the service robot 130 is already a mapping robot. Since autonomous driving is performed using an indoor map configured based on the data collected by 120, there is no need to mount an expensive high-precision sensor like the mapping robot 120, and thus compared to the mapping robot 120 It can be implemented to mount a relatively inexpensive sensor. The data collected by the mapping robot 120 will be described in more detail later with reference to FIG. 4.

단계(320)에서 맵핑 로봇(120)은 수집된 데이터를 클라우드 서버(110)로 전송할 수 있다. 수집되는 데이터는 실시예에 따라 수집과 동시에 클라우드 서버(110)로 전송되거나, 또는 대상 장소(140)의 구역 단위로 묶여서 클라우드 서버(110)로 전송되거나, 또는 대상 장소(140)의 전체 구역들에 대한 데이터의 수집이 완료된 이후에 한꺼번에 클라우드 서버(110)로 전송될 수 있다.In step 320, the mapping robot 120 may transmit the collected data to the cloud server 110. The collected data may be transmitted to the cloud server 110 at the same time as the collection is collected, or grouped in zone units of the target place 140 and transmitted to the cloud server 110, or all areas of the target place 140 After the collection of data for is completed, it may be transmitted to the cloud server 110 at once.

단계(330)에서 클라우드 서버(110)는 맵핑 로봇(120)으로부터 수신된 데이터를 저장할 수 있다. 예를 들어, 클라우드 서버(110)는 맵핑 로봇(120)으로부터 대상 장소(140)의 전체 구역들에 대한 전체 데이터를 수집하기 위해, 맵핑 로봇(120)이 수집하여 전송하는 데이터를 데이터베이스(POI 데이터베이스)에 저장하여 지속적으로 관리할 수 있다.In step 330, the cloud server 110 may store data received from the mapping robot 120. For example, the cloud server 110 collects the data collected and transmitted by the mapping robot 120 in order to collect all data on the entire areas of the target place 140 from the mapping robot 120. ) And can be continuously managed.

단계(340)에서 클라우드 서버(110)는 데이터베이스에 저장된 데이터를 이용하여 3차원 맵을 생성할 수 있다. 생성되는 3차원 맵은 이후 서비스 로봇(130)이 대상 장소(140)를 자율 주행하면서 목적하는 서비스를 제공할 수 있도록 돕기 위해 활용될 수 있다.In step 340, the cloud server 110 may generate a 3D map using data stored in the database. The generated 3D map may then be utilized to help the service robot 130 autonomously drive the target place 140 and provide a desired service.

도 4는 본 발명의 일실시예에 있어서, 맵핑 로봇을 통해 수집되는 데이터의 예를 도시한 도면이다. 맵핑 로봇(120)은 대상 장소(140)에 대한 3차원 맵을 생성하기 위한 맵핑 데이터(410)와 POI 변화를 검출하는데 활용하기 위한 POI 데이터(420)를 수집할 수 있다. 일례로, 맵핑 데이터(410)는 맵핑 로봇(120)이 포함할 수 있는 라이더, 휠 인코더, IMU 등을 통해 측정된 측정값들(라이더 데이터, 휠 인코더 데이터, IMU 데이터 등)을 포함할 수 있으며, POI 데이터(420)는 맵핑 로봇(120)이 포함할 수 있는 카메라, 통신 인터페이스들(와이파이 인터페이스, 블루투스 인터페이스 등)을 통해 얻어지는 데이터들(촬영된 영상과 같은 카메라 데이터, 와이파이의 신호 강도나 블루투스 비콘(beacon) 등)을 포함할 수 있다. 도 4의 실시예에서는 설명의 편의를 위해, 맵핑 데이터(410)의 종류와 POI 데이터(420)의 종류를 구분하였으나, 수집된 데이터는 3차원 맵의 생성과 POI 변화 검출 모두를 위해 중복적으로 활용될 수도 있다. 예를 들어, 카메라를 통해 촬영된 영상이나 와이파이 신호 강도 등이 3차원 맵을 생성하기 위해 더 활용될 수도 있다. 맵핑 데이터(410) 및/또는 POI 데이터(420)를 수집하기 위해 도 4를 통해 설명한 센서들 이외에 스테레오 카메라나 적외선 센서 등과 같이 보다 다양한 종류의 센서들이 맵핑 로봇(120)에서 더 활용될 수도 있다.4 is a diagram illustrating an example of data collected through a mapping robot according to an embodiment of the present invention. The mapping robot 120 may collect mapping data 410 for generating a 3D map for the target place 140 and POI data 420 for use in detecting a change in POI. As an example, the mapping data 410 may include measurement values (rider data, wheel encoder data, IMU data, etc.) measured through a rider, a wheel encoder, an IMU, etc. that the mapping robot 120 may include, and , POI data 420 is a camera that the mapping robot 120 may include, data obtained through communication interfaces (Wi-Fi interface, Bluetooth interface, etc.) (camera data such as captured images, signal strength of Wi-Fi or Bluetooth Beacons, etc.). In the embodiment of FIG. 4, for convenience of explanation, the type of mapping data 410 and the type of POI data 420 are classified, but the collected data is redundantly for both generation of a 3D map and detection of POI change. It can also be utilized. For example, an image captured through a camera or a Wi-Fi signal strength may be further utilized to generate a 3D map. In order to collect the mapping data 410 and/or POI data 420, in addition to the sensors described with reference to FIG. 4, various types of sensors such as a stereo camera or an infrared sensor may be further utilized in the mapping robot 120.

맵핑 로봇(120)은 일례로, 실내 공간을 이동하면서 맵핑 로봇(120)에 탑재된 카메라로 일정 간격(일례로, 1m/sec로 이동하면서 1초 간격)으로 주변 영역을 촬영할 수 있다. 촬영되는 영상에서 POI 변화 검출에 주로 사용되는 매장의 간판과 매장 전면의 모양이 효율적으로 영상에 포함되도록, 360도 카메라나 광각 카메라 및/또는 다수의 카메라들이 활용될 수 있으며, 대상 공간(140)의 전 영역이 적어도 부분적으로 영상에 포함될 수 있도록 영상을 촬영할 수 있다. 이때, POI 변화 위치를 확인하기 위해서는 촬영된 영상이 대상 장소(140)의 어느 위치에서 얻어진 영상인지 알아야 하기 때문에, 얻어진 영상은 촬영시의 맵핑 로봇(120)의 촬영 정보와 연계하여 함께 저장될 수 있다. 영상과 함께 저장되는 촬영 정보는 맵핑 로봇(120)의 위치정보(촬영 위치) 및/또는 방향정보(촬영 방향)를 포함할 수 있다. 이때, 영상이 촬영된 시점에 대한 정보(촬영 시점) 역시 영상과 함께 저장될 수도 있다. 일례로, 위치정보의 획득을 위해 맵핑 로봇(120)은 블루투스 비콘 정보나 와이파이 기반 위치 파악을 위한 와이파이 핑거 프린팅(finger printing) 데이터를 더 수집할 수 있으며, 방향정보의 획득을 위해 맵핑 로봇(120)이 포함하는 라이더나 IMU의 측정값이 활용될 수도 있다. 맵핑 로봇(120)은 수집된 데이터를 클라우드 서버(110)로 전송할 수 있으며, 클라우드 서버(110)는 맵핑 로봇(120)으로부터 수신되는 데이터를 활용하여 3차원 맵을 생성하고, 생성된 3차원 맵에 기반하여 서비스 로봇(130)에 대한 로컬라이제이션(localization), 경로 플래닝(planning) 등을 처리할 수 있다. 또한, 클라우드 서버(110)는 맵핑 로봇(120)으로부터 수신되는 데이터를 추후 서비스 로봇(130)에 의해 수집되는 데이터와 비교하여 대상 장소(140)에 대한 정보를 업데이트하는데 활용할 수 있다.For example, the mapping robot 120 may photograph a surrounding area at a predetermined interval (for example, 1 second while moving at 1 m/sec) with a camera mounted on the mapping robot 120 while moving an indoor space. A 360-degree camera, a wide-angle camera, and/or a plurality of cameras may be utilized so that the store signboard and the shape of the store front, which are mainly used for detecting POI change in the captured image, are efficiently included in the image, and the target space 140 An image may be captured so that the entire area of the image may be at least partially included in the image. At this time, in order to check the POI change position, it is necessary to know where the captured image is the image obtained from the target place 140, so the obtained image can be stored together in connection with the shooting information of the mapping robot 120 at the time of shooting. have. The photographing information stored together with the image may include location information (photographing position) and/or direction information (photographing direction) of the mapping robot 120. In this case, information about the time point at which the image is captured (the time point at which the image is captured) may also be stored together with the image. For example, in order to acquire location information, the mapping robot 120 may further collect Bluetooth beacon information or Wi-Fi finger printing data for Wi-Fi-based location identification, and the mapping robot 120 may further collect direction information. ), included in the lidar or IMU's measurements may be utilized. The mapping robot 120 may transmit the collected data to the cloud server 110, and the cloud server 110 generates a 3D map using data received from the mapping robot 120, and generates a 3D map. Based on this, localization, path planning, and the like for the service robot 130 may be processed. In addition, the cloud server 110 may compare data received from the mapping robot 120 with data collected by the service robot 130 in the future to update information on the target place 140.

대상 장소가 실내인 경우, 맵핑 로봇(120)에 의해 생성된 맵 데이터(일례로, 위치 정보에 따른 영상, 와이파이 신호 강도, 블루투스 비콘 정보, 센서 측정값 등)에 포함되는 위치는 시작 위치를 기준으로 상대적으로 정해질 수 밖에 없다. 이는 실내 공간에서는 정밀한 글로벌 포지셔닝 데이터(global positioning data)를 얻을 수 없기 때문이다. 또한, 동일한 공간을 여러 번에 나누어 스캔하는 경우에는 시작 위치가 매번 다르기 때문에 일관성 있는 위치 데이터를 얻기 어렵다. 따라서, 일관성 있는 위치 데이터 표면 및 활용을 위해, 맵핑 로봇(120)을 통해 얻어지는 위치 데이터를 글로벌 포지셔닝이 가능한 형태로 변환하는 과정이 요구된다. 이를 위해, 클라우드 서버(110)는 실내 공간의 실제 위/경도로 표시되는 정확한 위치를 확인한 후, 맵 데이터에 포함된 위치 데이터를 WGS84나 ITRF, PZ 등의 측지 기준계에 따른 형태로 변환하여 저장한 후, 이후의 과정에서 활용할 수 있다.When the target place is indoors, the location included in the map data generated by the mapping robot 120 (for example, an image according to location information, Wi-Fi signal strength, Bluetooth beacon information, sensor measurement value, etc.) is based on the starting location. It can only be determined relatively. This is because precise global positioning data cannot be obtained in an indoor space. In addition, when the same space is divided and scanned several times, it is difficult to obtain consistent position data because the starting position is different each time. Therefore, for a consistent position data surface and utilization, a process of converting the position data obtained through the mapping robot 120 into a form capable of global positioning is required. To this end, the cloud server 110 checks the exact location indicated by the actual latitude/longitude of the indoor space, and then converts the location data included in the map data into a form according to a geodetic reference system such as WGS84, ITRF, PZ, etc. After, it can be used in the later process.

다시 도 1 및 도 2를 참조하면, 수시 정보 획득 단계(220)에서 정보 수집 및 업데이트 시스템(100)은 대상 장소(140)에 대한 수시 정보를 획득할 수 있다. 수시 정보 획득 단계(220)에서는 이전 단계인 기본정보 획득 단계(210)에서 얻어진 3차원 맵이나 이전 영상, 위치정보 등을 지속적으로 활용할 수 있다.Referring back to FIGS. 1 and 2, the information collection and update system 100 may acquire occasional information about the target place 140 in the occasional information acquisition step 220. In the occasional information acquisition step 220, a 3D map, a previous image, location information, and the like obtained in the previous step, the basic information acquisition step 210, may be continuously used.

이미 클라우드 서버(110)가 기본정보 획득 단계(210)에서 대상 장소(140)의 전체 공간에 대한 정보를 수집하여 가공 및 저장하고 있기 때문에, 수시 정보 획득 단계(220)에서는 일부 변경된 정보만을 획득, 가공 저장하여 효율적으로 맵 데이터와 같은 대상 장소(140)에 대한 정보를 최신 상태로 유지하는 것이 가능해진다. 따라서 매번 대상 장소(140)의 전체 공간 영역에 대한 데이터를 수집해야 할 필요성이 없다.Since the cloud server 110 has already collected, processed and stored information on the entire space of the target place 140 in the basic information acquisition step 210, only partially changed information is acquired in the occasional information acquisition step 220, By processing and storing, it becomes possible to efficiently keep information on the target place 140 such as map data up to date. Therefore, there is no need to collect data on the entire spatial area of the target place 140 every time.

또한, 이미 설명한 바와 같이, 수시 정보 획득 단계(220)에서는 클라우드 서버(110)가 맵핑 로봇(120)에 탑재된 다양한 고가의 고정밀 센서들의 데이터를 이용하여 서비스 로봇(130)의 자율 주행에 요구되는 고정밀 맵 데이터를 생성하여 저장하고 있기 때문에, 서비스 로봇(130)이 고가의 고정밀 센서를 탑재할 필요성이 없다. 이에 수시 정보 획득 단계(220)에서 서비스 로봇(130)은 대상 장소(140)에 대한 보안, 안내, 청소 등과 같은 본연의 서비스 활용 목적에 따라 동작하는 저가의 로봇을 활용하여 구현될 수 있다.In addition, as already described, in the occasional information acquisition step 220, the cloud server 110 uses data of various expensive high-precision sensors mounted on the mapping robot 120 to be required for autonomous driving of the service robot 130. Since high-precision map data is generated and stored, there is no need for the service robot 130 to mount an expensive high-precision sensor. Accordingly, in the information acquisition step 220 at any time, the service robot 130 may be implemented using a low-cost robot that operates according to the original service utilization purpose such as security, guidance, and cleaning of the target place 140.

도 5는 본 발명의 일실시예에 있어서, 수시 정보 획득 과정의 예를 도시한 흐름도이다. 서비스 로봇(130)은 보안, 안내, 청소 등과 같은 본연의 서비스 목적을 위해 대상 장소(140) 내부에 배치될 수 있다. 대상 장소(140)와 서비스 목적에 따라 둘 이상의 서비스 로봇들이 대상 장소(140)에 배치될 수 있으며, 각각 다른 영역에서 동작하도록 지정될 수도 있다. 수시 정보의 획득은 정보 수집 및 업데이트 시스템(100)이 포함하는 클라우드 서버(110) 및 서비스 로봇(130)에 의해 이루어질 수 있으며, 도 5의 단계들(510 내지 580)은 도 2의 단계(220)에 포함되어 수행될 수 있다.5 is a flowchart illustrating an example of a process of acquiring information from time to time according to an embodiment of the present invention. The service robot 130 may be disposed inside the target place 140 for an original service purpose such as security, guidance, and cleaning. Two or more service robots may be disposed in the target place 140 according to the target place 140 and the purpose of the service, and may be designated to operate in different areas, respectively. The acquisition of information at any time may be accomplished by the cloud server 110 and the service robot 130 included in the information collection and update system 100, and steps 510 to 580 of FIG. 5 are steps 220 of FIG. 2. ) Can be carried out.

단계(510)에서 서비스 로봇(130)은 대상 장소에서 주변의 영상을 촬영할 수 있다. 이를 위해, 서비스 로봇(130)은 대상 장소에서 주변의 영상을 촬영하기 위한 카메라를 포함하도록 구현될 수 있다. 촬영된 영상은 두 가지 목적으로 활용될 수 있다. 첫 번째로, 촬영된 영상은 서비스 로봇(130)의 현재의 위치(촬영 위치) 및/또는 방향(촬영 방향)을 확인하여 서비스 로봇(130)의 자율 주행을 돕기 위한 목적으로 활용될 수 있다. 두 번째로, 촬영된 영상은 POI 변화를 확인하기 위한 수시 영상으로서 기본 정보 획득 단계(210)에서 얻어진 이전 영상과의 비교를 위한 목적으로 활용될 수 있다. 두 가지 목적 모두를 위해 촬영된 영상은 해당 영상이 촬영된 시점(촬영 시점)의 서비스 로봇(130)의 위치 및/또는 방향 정보를 요구할 수 있다. 실시예에 따라, 첫 번째 목적을 위한 영상의 촬영 주기와 두 번째 목적을 위한 영상의 촬영 주기는 서로 다를 수도 있으며, 서비스 로봇(130)의 이동 속도에 적어도 기초하여 동적으로 결정될 수도 있다. 만약, 서비스 로봇(130)이 영상이 아닌 와이파이 신호 강도나 블루투스 비콘 등을 활용하여 위치 및/또는 방향을 확인하는 경우, 영상의 촬영은 두 번째 목적을 위해서만 활용될 수도 있다. 만약, 와이파이 신호 강도나 블루투스 비콘 등을 활용하는 경우, 서비스 로봇(130)은 위치나 방향을 확인하기 위해 얻어지는 와이파이 신호 강도나 블루투스 비콘을 클라우드 서버(110)로 전송하여 위치 및/또는 방향에 대한 정보를 요청할 수도 있다. 한편, 이 경우에도 두 번째 목적을 위해 영상과 관련된 위치 및/또는 방향 정보의 획득이 요구된다. 이후 단계(520) 내지 단계(540)은 영상과 관련된 위치 및/또는 방향 정보를 획득하는 과정의 예를 설명할 수 있다. 서비스 로봇(130)이 이동되는 경우, 서비스 로봇(130)의 위치를 지속적으로 획득하기 위해 단계(510) 내지 단계(540)는 주기적으로 및/또는 반복적으로 수행될 수 있다.In step 510, the service robot 130 may take an image of the surroundings at the target location. To this end, the service robot 130 may be implemented to include a camera for photographing surrounding images at a target place. The captured image can be used for two purposes. First, the captured image may be used for the purpose of helping the service robot 130 to autonomously drive by checking the current location (photographing position) and/or direction (photographing direction) of the service robot 130. Second, the captured image may be used for the purpose of comparison with the previous image obtained in the basic information acquisition step 210 as an occasional image for checking the POI change. An image captured for both purposes may request location and/or direction information of the service robot 130 at the point in time (the point in time) at which the corresponding image is captured. Depending on the embodiment, an image capturing period for the first purpose and an image capturing period for the second purpose may be different from each other, and may be dynamically determined based at least on the moving speed of the service robot 130. If the service robot 130 checks the location and/or direction using a Wi-Fi signal strength or a Bluetooth beacon rather than an image, image capture may be used only for the second purpose. If, when using the Wi-Fi signal strength or Bluetooth beacon, the service robot 130 transmits the Wi-Fi signal strength or Bluetooth beacon obtained to check the location or direction to the cloud server 110 to determine the location and/or direction. You can also request information. Meanwhile, even in this case, it is required to obtain position and/or direction information related to the image for the second purpose. Subsequent steps 520 to 540 may describe an example of a process of obtaining location and/or direction information related to an image. When the service robot 130 is moved, steps 510 to 540 may be performed periodically and/or repeatedly in order to continuously acquire the position of the service robot 130.

단계(520)에서 서비스 로봇(130)은 촬영된 영상을 클라우드 서버(130)로 전송할 수 있다. 이때, 서비스 로봇(130)은 영상을 전송하면서 전송하는 영상에 대응하는 위치 및/또는 방향 정보를 요청할 수 있다.In step 520, the service robot 130 may transmit the captured image to the cloud server 130. In this case, while transmitting the image, the service robot 130 may request location and/or direction information corresponding to the transmitted image.

단계(530)에서 클라우드 서버(130)는 서비스 로봇(130)으로부터 수신된 영상을 분석하여 서비스 로봇(130)의 위치 및/또는 방향 정보를 생성할 수 있다. 이때, 위치 및/또는 방향 정보는 기본 정보 획득 단계(210)에서 얻어진 정보들을 통해 생성될 수 있다. 예를 들어, 클라우드 서버(130)는 맵핑 로봇(120)으로부터 수집된 영상과 서비스 로봇(130)으로부터 수신된 영상을 비교하여 매칭되는 영상을 찾은 후, 해당 영상과 연계되어 저장된 위치 및/또는 방향 정보에 기반하여 서비스 로봇(130)의 요청에 따른 위치 및/또는 방향 정보를 생성할 수 있다. 방향 정보는 카메라의 방향 정보일 수 있다.In step 530, the cloud server 130 may analyze the image received from the service robot 130 to generate location and/or direction information of the service robot 130. In this case, the location and/or direction information may be generated through information obtained in the basic information acquisition step 210. For example, the cloud server 130 compares the image collected from the mapping robot 120 and the image received from the service robot 130 to find a matching image, and then stores the location and/or direction in association with the image. Position and/or direction information according to the request of the service robot 130 may be generated based on the information. The direction information may be camera direction information.

단계(540)에서 클라우드 서버(130)는 생성된 위치 및/또는 방향 정보를 서비스 로봇(130)으로 전송할 수 있다.In step 540, the cloud server 130 may transmit the generated location and/or direction information to the service robot 130.

단계(550)에서 서비스 로봇(130)은 수신되는 위치 및/또는 방향 정보를 촬영된 영상과 연관하여 수시 정보로서 저장할 수 있다. 수시 정보는 앞서 설명한 POI 변화를 확인하기 위한 목적을 위해 활용하기 위한 정보를 의미할 수 있다. 이때, 수시 정보는 영상의 촬영 시점에 대한 정보를 더 포함할 수 있다.In step 550, the service robot 130 may store the received location and/or direction information as occasional information in association with the captured image. The occasional information may mean information to be used for the purpose of checking the POI change described above. In this case, the occasional information may further include information on the time point of capturing the image.

단계(560)에서 서비스 로봇(130)은 저장된 수시 정보를 클라우드 서버(130)로 전송할 수 있다. 서비스 로봇(130)이 이동함에 따라 수시 정보의 양 역시 늘어날 수 있으며, 서비스 로봇(130)은 상시적으로, 주기적으로 또는 필요 시마다 저장된 수시 정보를 클라우드 서버(130)로 전송할 수 있다.In step 560, the service robot 130 may transmit the stored information at any time to the cloud server 130. As the service robot 130 moves, the amount of occasional information may also increase, and the service robot 130 may transmit the stored occasional information to the cloud server 130 on a regular basis, periodically, or whenever necessary.

단계(570)에서 클라우드 서버(130)는 수신된 수시 정보를 데이터베이스(POI 데이터베이스)에 저장할 수 있다. 저장된 수시 정보는 추후 기본 정보 획득 단계(210)에서 얻어진 정보들과의 비교를 통해 POI 변화를 검출하기 위해 활용될 수 있다.In step 570, the cloud server 130 may store the received occasional information in a database (POI database). The stored occasional information may be used to detect changes in POI through comparison with information obtained in the basic information acquisition step 210 later.

단계(580)에서 서비스 로봇(130)은 수신되는 위치 및/또는 방향 정보에 기초하여 서비스 임무를 수행할 수 있다. 도 5의 실시예에서는 단계(580)이 단계(570) 이후에 수행되는 것처럼 설명하고 있으나, 서비스 임무를 수행하는 단계(580)는 단계(540)에서 수신되는 서비스 로봇(130)의 위치 및/또는 방향 정보를 이용하여 단계(550) 내지 단계(570)과는 병렬적으로 수행될 수 있다. 서비스 임무의 수행을 위한 로컬라이제이션과 경로 플래닝은 실시예에 따라 서비스 로봇(130)에 의해 수행될 수도 있고, 클라우드 서버(130)를 통해 수행될 수도 있다. In step 580, the service robot 130 may perform a service task based on the received location and/or direction information. In the embodiment of FIG. 5, step 580 is described as being performed after step 570, but step 580 of performing a service task includes the location and/or position of the service robot 130 received in step 540. Alternatively, it may be performed in parallel with steps 550 to 570 using direction information. Localization and path planning for performing a service mission may be performed by the service robot 130 or may be performed through the cloud server 130 according to an embodiment.

이상의 실시예들에서는 맵핑 로봇(120) 및 서비스 로봇(130) 등을 이용하여 대상 장소(140)에 대한 데이터를 수집함을 설명하고 있으나, 본 발명이 로봇의 사용을 전제로 하는 것은 아니며, 동등한 수준의 다양한 방법들이 활용될 수 있다. 예를 들어, 기본정보 획득 단계(210)에서는 최초 1회의 기본 정보의 수집을 위해, 자율 주행이 가능한 고가의 맵핑 로봇(120)을 사용하는 대신 사람이 끌고 다닐 수 있는 트롤리(trolley) 등과 같은 장치에 센서를 장착하여 공간의 데이터를 수집하는 것도 가능하며, 수시 정보 획득 단계(220)에서는 대상 장소(140)를 방문하는 일반 사용자들의 스마트폰으로 촬영된 영상을 수집하여 활용하거나 또는 대상 장소(140)에 설치되어 있는 CCTV(Closed Circuit Television)의 영상을 수집하여 활용하는 것도 가능하다. 다시 말해, 클라우드 서버(110)는 대상 장소(140)를 자율 주행하는 맵핑 로봇(120) 및 대상 장소(140)를 이동하는 트롤리(trolley) 중 적어도 하나에 포함된 카메라 및 센서를 통해 얻어지는 기본 영상과 기본 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 POI 데이터베이스를 구축할 수 있다. 또한, 클라우드 서버(110)는 대상 장소(140)를 자율 주행하면서 기설정된 서비스 임무를 수행하는 서비스 로봇(130), 대상 장소(140)에 위치하는 사용자들의 카메라를 포함하는 단말 및 대상 장소(140)에 배치된 CCTV(Closed Circuit Television) 중 적어도 하나로부터 대상 장소(140)에 대해 촬영된 수시 영상과 수시 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 POI 데이터베이스를 업데이트할 수 있다.In the above embodiments, it is described that the data on the target place 140 is collected using the mapping robot 120 and the service robot 130, but the present invention is not based on the use of the robot, and is equivalent to Different levels of methods can be used. For example, in the basic information acquisition step 210, a device such as a trolley that can be dragged by a person instead of using the expensive mapping robot 120 capable of autonomous driving to collect the basic information once for the first time. It is also possible to collect space data by mounting a sensor on the device, and in the occasional information acquisition step 220, images captured with smartphones of general users visiting the target place 140 are collected and utilized, or the target place 140 It is also possible to collect and use the video of CCTV (Closed Circuit Television) installed in ). In other words, the cloud server 110 is a basic image obtained through a camera and a sensor included in at least one of the mapping robot 120 that autonomously drives the target place 140 and the trolley that moves the target place 140 The POI database can be constructed by receiving the recording location and the recording time of the basic video and the video through the network. In addition, the cloud server 110 includes a service robot 130 that performs a preset service task while autonomously driving the target place 140, a terminal including cameras of users located in the target place 140, and the target place 140 ) From at least one of CCTV (Closed Circuit Television) placed on the target location 140, the POI database may be updated by receiving the occasional image taken for the target location 140, the location of the occasional image, and the time point of the recording through a network.

다시 도 1 및 도 2를 참조하면, 수시 POI 정보 처리 단계(230)는 클라우드 서버(110)가 기본 정보 획득 단계(210)에서 수집된 기본 정보와 수시 정보 획득 단계(220)에서 수집된 수시 정보를 활용하여 POI 관련 정보를 획득하기 위한 과정일 수 있다.Referring back to FIGS. 1 and 2, the occasional POI information processing step 230 includes basic information collected in the cloud server 110 obtaining basic information 210 and the occasional information collected in the occasional information obtaining step 220. It may be a process for acquiring POI-related information by using.

예를 들어, POI 변화 검출 기술은, 수시 POI 정보 처리 단계(230)에서 클라우드 서버(110)가 하나의 기본 영상과 다수의 수시 영상을 기계 학습(machine learning) 기술을 활용하여 분석 및 비교함으로써 해당 영상들에서 POI를 검출하고, POI에 변화가 있었는지 여부를 판단하며, 변화가 있는 경우, POI 변화를 정보 수집 및 업데이트 시스템(100)에 업데이트하기 위한 과정일 수 있다. 일례로, 클라우드 서버(110)는 POI 변화 검출 결과를 시각화하여 정보 수집 및 업데이트 시스템(100)의 운영자에게 알릴 수 있다. 예를 들어, 클라우드 서버(110)는 POI에 대한 변경 전, 후의 영상을 정보 수집 및 업데이트 시스템(100)의 운영자에게 알릴 수 있다. 정보 수집 및 업데이트 시스템(100)이 POI 변화 여부를 사전에 판단 및 선별하여 운영자에게 제공하는 것만으로도 운영자로 하여금 POI 변화 여부를 판단하기 위해 검토해야 할 영상의 분량을 획기적으로 줄여서 단위 시간에 더 넓은 영역에 대한 POI 정보의 분석, 검토 및 업데이트를 가능하게 할 수 있다. 다른 예로, 클라우드 서버(110)는 변경된 POI의 이름, 종류, 변경된 영상 등을 직접 정보 수집 및 업데이트 시스템(100)에 업데이트할 수도 있다.For example, in the POI change detection technology, the cloud server 110 analyzes and compares one basic image and a plurality of occasional images using machine learning technology in the occasional POI information processing step 230. It may be a process of detecting a POI from images, determining whether there has been a change in the POI, and updating the POI change in the information collection and update system 100 if there is a change. As an example, the cloud server 110 may visualize the POI change detection result and notify the operator of the information collection and update system 100. For example, the cloud server 110 may inform the operator of the information collection and update system 100 of images before and after the POI is changed. Even if the information collection and update system 100 determines and selects whether POI changes in advance and provides them to the operator, the amount of video that the operator needs to review to determine whether the POI has changed is drastically reduced and more per unit time. It can enable analysis, review and update of POI information for a wide area. As another example, the cloud server 110 may directly update the name, type, and changed image of the changed POI to the information collection and update system 100.

도 6은 본 발명의 일실시예에 있어서, POI 변화 검출 과정의 예를 도시한 흐름도이다. 이미 설명한 바와 같이 도 6의 단계들(610 내지 640)은 클라우드 서버(110)에 의해 수행될 수 있다.6 is a flowchart illustrating an example of a POI change detection process according to an embodiment of the present invention. As already described, steps 610 to 640 of FIG. 6 may be performed by the cloud server 110.

단계(610)에서 클라우드 서버(110)는 대상 장소(140)에서 소정 시간 간격으로 촬영된 이미지 쌍(image pair)을 선정할 수 있다. 이미지 쌍을 선정하기 위해 클라우드 서버(110)는 대상 장소(140) 내의 대상 위치를 선정할 수 있다. 예를 들어, 클라우드 서버(110)는 대상 장소(140) 내의 다수의 위치들을 미리 결정해놓고 그 중에서 POI 변화를 검출하고자 하는 위치를 선정할 수 있다. 예를 들어, 클라우드 서버(110)는 기설정된 간격을 갖는 그리드 형태로 대상 장소(140)를 구분하여 다수의 위치들을 결정해놓고, 결정된 다수의 위치들 중 하나의 위치를 대상 위치로서 선정할 수 있다. 그리고, 클라우드 서버(110)는 대상 위치로부터 기설정된 거리 이내에 위치하는 촬영 위치와 연계하여 POI 데이터베이스에 저장되어 있는 영상들 중에서 시간 간격을 두고 촬영된 이전 영상과 이후 영상으로 이루어진 이미지 쌍을 선정할 수 있다.In step 610, the cloud server 110 may select an image pair photographed at a predetermined time interval at the target place 140. In order to select an image pair, the cloud server 110 may select a target location within the target place 140. For example, the cloud server 110 may pre-determine a number of locations within the target place 140 and select a location to detect a change in POI from among them. For example, the cloud server 110 may determine a plurality of locations by dividing the target place 140 in a grid form having a preset interval, and select one of the determined locations as a target location. . In addition, the cloud server 110 may select an image pair consisting of a previous image and a subsequent image taken at a time interval from among images stored in the POI database in association with a shooting location located within a preset distance from the target location. have.

이때, 이전 영상과 이후 영상을 구분하여 선정하는 것은 영상들의 촬영 시점에 기초할 수 있다. POI 변화를 검출하기 위해서는 기본적으로 이전 영상과 비교의 대상이 되는 이후 영상이 각각 필요하다. 처음에는 기본 정보 획득 단계(210)를 통해 수집된 영상들 중에서 이전 영상이 선정될 수 있으며, 수시 정보 획득 단계(220)를 통해 수집된 영상들 중에서 이후 영상이 선정될 수 있다. 다른 예로, 수시 정보 획득 단계(220)를 통해 수집된 영상들 중에서 서로 다른 시점의 이전 영상과 이후 영상이 선정될 수 있다. 수시 정보 획득 단계(220)를 통해 영상들이 수집되는 경우 가장 최근 시점에 촬영된 수시 영상들 중에서 이후 영상이 선정될 수 있으며, 이전 비교에 활용되었던 이후 영상들 또는 이전 시점(일례로, 하루 전, 일주일 전 등)에 촬영된 수시 영상들 중에서 이전 영상이 선정될 수 있다.In this case, the selection of the previous image and the subsequent image may be based on the timing of the images. In order to detect changes in POI, basically, each of the previous image and the subsequent image to be compared is required. Initially, a previous image may be selected from images collected through the basic information acquisition step 210, and a later image may be selected from images collected through the information acquisition step 220 at any time. As another example, a previous image and a subsequent image at different viewpoints may be selected from images collected through the occasional information acquisition step 220. When images are collected through the occasional information acquisition step 220, a later image may be selected from the occasional images taken at the most recent time point, and later images or previous time points that were used for the previous comparison (for example, one day ago, A previous image may be selected from occasional images taken a week ago).

클라우드 서버(110)는 이전 영상과 이후 영상을 선별하는 과정에서 해당 영상과 함께 저장된 촬영 정보에 기초하여 동일 방향 영상을 선별할 수 있다. 동일 방향 영상을 선별하는 것은 유사한 위치에서 유사한 방향을 촬영한 이전 영상과 이후 영상을 서로 비교하기 위한 것으로, 유사한 위치에서 촬영된 이전 영상과 이후 영상의 두 개의 영상들이 기설정된 비율 이상 서로 동일한 부분을 촬영했을 것으로 예상되는 정도의 방향 유사성을 갖고 있다면 동일 방향 영상의 쌍으로서 선별될 수 있다. 다른 예로, 클라우드 서버(110)는 두 영상의 촬영 방향들이 기설정된 각도 차 이내를 형성하는 경우 해당 두 영상이 동일 방향 영상의 페어로서 선별될 수 있다.In the process of selecting the previous image and the subsequent image, the cloud server 110 may select an image in the same direction based on photographing information stored together with the image. Selecting an image in the same direction is to compare a previous image and a subsequent image photographed in a similar direction at a similar position, and two images of a previous image and a subsequent image captured at a similar position are selected from each other by a predetermined ratio or more. It can be selected as a pair of images in the same direction as long as it has the degree of directional similarity expected to be photographed. As another example, when the photographing directions of the two images form within a preset angle difference, the cloud server 110 may select the two images as a pair of images in the same direction.

단계(620)에서 클라우드 서버(110)는 단계(610)에서 선정된 이미지 쌍으로 이루어진 이전 영상과 이후 영상에서 간판 영역을 검출할 수 있다. 본 발명에서는 신규 오픈, 폐업, 상호 변경 등의 변화를 가장 잘 감지할 수 있는 상점의 간판 부분을 탐지하여 POI 변화를 검출할 수 있다. 클라우드 서버(110)는 사전에 수집된 간판 이미지 셋을 딥러닝(deep learning) 기반으로 학습한 기계 학습 모델을 통해 이전 영상과 이후 영상으로부터 각각 간판 영역을 검출할 수 있다.In step 620, the cloud server 110 may detect a sign area from a previous image and a subsequent image composed of the image pair selected in step 610. In the present invention, a change in POI can be detected by detecting a signboard portion of a store that can best detect changes such as new opening, closing, or change of company name. The cloud server 110 may detect a sign region from a previous image and a subsequent image through a machine learning model that learns a set of pre-collected signboard images based on deep learning.

클라우드 서버(110)는 다양한 형태나 종류의 간판이 촬영된 이미지를 훈련 데이터로 하여 학습함으로써 기계 학습 모델을 구축할 수 있고 이를 통해 영상 내 간판 영역을 검출할 수 있다. 학습 과정에서 일반적인 객체 검출 알고리즘을 이용하는 경우 간판과 무관한 표지판, 비상구 픽토그램, 이벤트 문구 등과 같은 방해 객체(disruptor)가 검출됨에 따라 긍정 오류(false positive)가 발생하게 된다. 이러한 문제를 해결하기 위해 클라우드 서버(110)는 간판이 촬영된 이미지, 즉 학습 대상 이미지에 방해 객체를 랜덤하게 삽입하여 합성 데이터(synthetic data)를 생성하고 합성 데이터를 이용한 검출 훈련 시에 간판이 검출되면 긍정 값(positive cost)을 부여하고 방해 객체가 검출되면 부정 값(negative cost)을 부여함으로써 긍정 오류를 줄일 수 있다. 또한, 클라우드 서버(110)는 영상 내에 존재하는 다양한 크기의 간판 검출을 위하여 영상의 다중 스케일에서 검출 결과를 획득하고 검출 결과들을 병합하여 주요 맵(saliency map)을 생성한 후 주요 맵으로부터 최종 검출 결과인 간판 영역을 검출할 수 있다.The cloud server 110 can build a machine learning model by learning images in which various types or types of signboards are photographed as training data, thereby detecting a signage area in the image. When a general object detection algorithm is used in the learning process, a false positive occurs as a disruptor such as a sign, emergency exit pictogram, event phrase, etc. that is not related to a sign is detected. To solve this problem, the cloud server 110 generates synthetic data by randomly inserting an obstructive object into an image where a signboard is photographed, that is, an image to be learned, and detects the signboard during detection training using the composite data. If it is, a positive value is given, and if an obstructing object is detected, a negative value is given, thereby reducing a positive error. In addition, the cloud server 110 acquires detection results at multiple scales of the image to detect signs of various sizes existing in the image, merges the detection results to generate a saliency map, and then generates a final detection result from the main map. It is possible to detect the signboard area.

단계(630)에서 클라우드 서버(110)는 이전 영상과 이후 영상 간에 각 영상 내에서 검출된 간판 영역을 비교하여 POI 변화 영역을 검출할 수 있다. 클라우드 서버(110)는 이전 영상과 이후 영상 간에 간판 영역을 서로 비교하여 매칭이 성공한 경우에는 POI 변화가 없는 것으로, 매칭이 실패한 경우에는 POI 변화가 있는 것으로 결정할 수 있다. 클라우드 서버(110)는 이전 영상과 이후 영상 간에 간판 영역을 서로 비교하여 매칭되지 않는 영역을 POI 변화 영역으로 인식하여 인식된 POI 변화 영역을 대상 위치에 대한 정보와 연계하여 저장할 수 있다.In step 630, the cloud server 110 may detect the POI change area by comparing the signboard area detected in each image between the previous image and the subsequent image. The cloud server 110 may compare the sign area between the previous image and the subsequent image to determine that there is no change in POI when the matching is successful, and that there is a change in POI when the matching fails. The cloud server 110 may compare the sign area between the previous image and the subsequent image, recognize an unmatched area as a POI change area, and store the recognized POI change area in association with information on a target location.

클라우드 서버(110)는 대상 장소(140) 내의 전체 위치에 대한 처리가 완료되었는지 여부를 결정할 수 있다. 이때, 전체 위치에 대한 처리가 완료되지 않은 경우, 클라우드 서버(110)는 대상 장소(140) 내의 다음 위치를 대상 위치로 선정하여 POI 변화를 검출하기 위해, 단계(610) 내지 단계(630)을 반복 수행할 수 있다. 전체 위치에 대한 처리가 완료된 경우 클라우드 서버(110)는 단계(640)을 수행할 수 있다.The cloud server 110 may determine whether processing of the entire location in the target place 140 has been completed. At this time, if the processing for the entire location is not completed, the cloud server 110 selects the next location in the target place 140 as the target location and performs steps 610 to 630 to detect changes in POI. Can be performed repeatedly. When processing for the entire location is completed, the cloud server 110 may perform step 640.

단계(640)에서 클라우드 서버(110)는 대상 장소(140) 내에서 POI 변화 영역을 시각화할 수 있다. 클라우드 서버(110)는 POI 변화의 인식과 관련된 이전 영상 및 이후 영상을 이용하여 POI 변화 영역이 검출된 대상 위치를 시각화하거나 대상 장소(140)에 대한 3차원 맵 상에 POI 변화 영역이 검출된 대상 위치를 시각화하여 POI 변화 영역에 대한 검토를 요청할 수 있다. 이러한 검토의 요청은 정보 수집 및 업데이트 시스템(100)의 운영자에게 전달될 수 있다. 다시 말해, 운영자에게는 POI 변화 영역에 해당하는 이전 영상과 이후 영상이 위치 정보(대상 위치)와 함께 전달될 수 있다. 이러한 정보는 운영자가 POI 변화에 따른 변동 정보를 입력할 수 있는 소프트웨어 상에서 지도 상에 표시되어 운영자로 하여금 다시 한 번 POI 변화에 대한 정보를 검토 및 확인한 후 정보를 입력하도록 도울 수 있다. 다시 말해, 클라우드 서버(110)는 인식된 POI 변화에 대한 정보를 통해 운영자가 대응하는 POI에 대한 정보를 업데이트하도록, POI 변화의 인식과 관련된 이전 영상 및 이후 영상을 포함하는 POI 변화 정보를 생성하여 운영자에게 제공할 수 있다.In step 640, the cloud server 110 may visualize the POI change area within the target place 140. The cloud server 110 visualizes the target location where the POI change region is detected using the previous image and the subsequent image related to the recognition of the POI change, or the target where the POI change region is detected on a 3D map for the target place 140 By visualizing the location, you can request a review of the POI change area. Such a request for review may be transmitted to an operator of the information collection and update system 100. In other words, a previous image and a subsequent image corresponding to the POI change area may be transmitted to the operator along with location information (target location). Such information is displayed on a map on a software that allows an operator to input change information according to POI change, so that the operator can help the operator to enter the information after reviewing and confirming the information on the change of POI once again. In other words, the cloud server 110 generates POI change information including a previous image and a subsequent image related to the recognition of the POI change so that the operator updates information on the corresponding POI through the information on the recognized POI change. Can be provided to the operator.

도 7 내지 도 9는 본 발명의 일실시예에 있어서 파노라마 컷으로 촬영된 영상으로부터 POI 변화 영역을 검출하는 과정을 설명하기 위한 예시 도면이다.7 to 9 are exemplary diagrams for explaining a process of detecting a POI change region from an image captured by a panoramic cut in an embodiment of the present invention.

도 7을 참조하면, POI 변화를 검출하기 위해 촬영된 영상이 파노라마 영상인 경우 클라우드 서버(110)는 시간 간격을 두고 동일한 위치를 촬영한 이전 파노라마 영상(710)과 이후 파노라마 영상(720)으로 이루어진 이미지 쌍을 입력으로 받을 수 있다. 파노라마 영상의 경우 여러 개의 소실점과 소실점 사이에 아치 형태의 프레임이 만들어지는 레이아웃 특성을 가진다. 클라우드 서버(110)는 파노라마 영상의 특징적인 장면 레이아웃을 검출하는 알고리즘을 이용하여 이전 파노라마 영상(710)과 이후 파노라마 영상(720) 각각에서 천장 영역(701), 바닥 영역(702), 상점 영역(703)을 분할할 수 있다. 다시 말해, 클라우드 서버(110)는 이전 파노라마 영상(710)과 이후 파노라마 영상(720)에서 의미론적 영상 분할(semantic segmentation)을 통해 천장 영역(701)과 바닥 영역(702)을 제외하고 실제 상점들이 위치하는 영역인 상점 영역(703)을 구분할 수 있다.Referring to FIG. 7, when an image captured to detect a change in POI is a panoramic image, the cloud server 110 comprises a previous panoramic image 710 and a subsequent panoramic image 720 captured at the same location at time intervals. You can take a pair of images as input. In the case of a panoramic image, it has a layout characteristic of creating an arch-shaped frame between several vanishing points and vanishing points. The cloud server 110 uses an algorithm that detects a characteristic scene layout of the panoramic image, in each of the previous panoramic image 710 and the subsequent panoramic image 720, the ceiling area 701, the floor area 702, and the store area ( 703) can be divided. In other words, the cloud server 110 allows real stores excluding the ceiling area 701 and the floor area 702 through semantic segmentation from the previous panoramic image 710 and the subsequent panoramic image 720. A store area 703, which is an area to be located, can be identified.

도 8을 참조하면, 클라우드 서버(110)는 앞서 설명한 간판 검출 알고리즘을 이용하여 이전 파노라마 영상(710)과 이후 파노라마 영상(720) 각각의 상점 영역(703)에 해당하는 부분에서 간판 영역(805)을 검출할 수 있다. 그리고, 클라우드 서버(110)는 이전 파노라마 영상(710)과 이후 파노라마 영상(720) 각각에 대해 간판 영역(805)을 중심으로 개별 상점을 나타내는 POI 영역(806)을 추출할 수 있다.Referring to FIG. 8, the cloud server 110 uses the signage detection algorithm described above to create a signage area 805 in a portion corresponding to the store area 703 of each of the previous panorama image 710 and the later panorama image 720. Can be detected. In addition, the cloud server 110 may extract a POI area 806 representing an individual store centering on the sign area 805 for each of the previous panoramic image 710 and the subsequent panoramic image 720.

도 9를 참조하면, 클라우드 서버(110)는 이미지 매칭 알고리즘을 이용하여 POI 영역(806) 간의 유사도를 계산할 수 있다. 클라우드 서버(110)는 이전 파노라마 영상(710)에서 추출된 POI 영역(806)과 이후 파노라마 영상(720)에서 추출된 POI 영역(806)에 대해 DIR(Deep Image Retrieval) 알고리즘을 통해 이미지 디스크립터(image descriptor)를 추출하고 추출된 디스크립터들을 서로 비교하여 매칭되는 POI 쌍을 찾는다. 예를 들어, DIR 알고리즘은 <https://arxiv.org/abs/1604.01325>에 개시된 논문을 참조할 수 있다. 디스크립터는 이미지 특징을 벡터로 표현하는 기술자로 이미지 검색이나 이미지 분석 기술 등에 널리 활용되고 있다. 딥러닝 기반 이미지 검색을 위해서는 전역 이미지 표현(global image representation)을 학습하게 되는데, 글로벌 디스크립터(global descriptor)의 경우 입력 영상이 들어오면 특징 추출 과정(convolution, pooling 등)을 거쳐 2048차원의 특징을 추출할 수 있다. 이때, 추출된 2048차원 디스크립터들 간의 비교는 코사인 유사도(cosine similarity) 등을 이용할 수 있다. 이외에도, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등의 기 공지된 여타의 알고리즘을 이용하여 서로 매칭되는 POI 쌍을 찾는 것 또한 가능하다.Referring to FIG. 9, the cloud server 110 may calculate a similarity between POI regions 806 using an image matching algorithm. The cloud server 110 uses an image descriptor for the POI area 806 extracted from the previous panoramic image 710 and the POI area 806 extracted from the panoramic image 720 afterwards through a Deep Image Retrieval (DIR) algorithm. descriptor) and compare the extracted descriptors to find a matching POI pair. For example, the DIR algorithm can refer to the paper disclosed in <https://arxiv.org/abs/1604.01325>. Descriptors are descriptors that express image features as vectors, and are widely used in image search and image analysis techniques. For deep learning-based image search, a global image representation is learned. In the case of a global descriptor, when an input image is input, features of 2048 dimensions are extracted through a feature extraction process (convolution, pooling, etc.). can do. In this case, the comparison between the extracted 2048-dimensional descriptors may use cosine similarity or the like. In addition, it is also possible to find a POI pair that matches each other by using other known algorithms such as Scale Invariant Feature Transform (SIFT) and Speeded Up Robust Features (SURF).

클라우드 서버(110)는 이전 파노라마 영상(710)에서 추출된 POI 영역(806)과 이후 파노라마 영상(720)에서 추출된 POI 영역(806)이 위치 관계 상 같은 위치에 존재하고 유사도가 일정 수준 이상인 경우 서로 같은 상점을 나타내는 POI 쌍으로 분류할 수 있다. POI 영역(806) 간의 위치 관계는 이전 파노라마 영상(710)과 이후 파노라마 영상(720) 상의 좌표 정보를 이용하여 얻을 수 있다.When the POI area 806 extracted from the previous panoramic image 710 and the POI area 806 extracted from the later panoramic image 720 exist at the same location in a positional relationship and the similarity is higher than a certain level, the cloud server 110 They can be grouped into pairs of POIs representing the same store. The positional relationship between the POI regions 806 can be obtained using coordinate information on the previous panoramic image 710 and the subsequent panoramic image 720.

클라우드 서버(110)는 POI 영역(806) 간의 매칭 결과를 바탕으로 POI 변화를 감지할 수 있다. 다시 말해, 클라우드 서버(110)는 이전 파노라마 영상(710)과 이후 파노라마 영상(720) 간에 쌍을 찾지 못하고 남은 POI 영역을 POI 변화 영역(907)으로 인식할 수 있다. 클라우드 서버(110)는 POI 쌍 매칭 정보를 이용하여 이전 파노라마 영상(710)과 이후 파노라마 영상(720)에서 POI 변화가 감지된 영역(907)이 있을 경우 해당 영역(907)을 시각화할 수 있다.The cloud server 110 may detect a change in POI based on a result of matching between POI areas 806. In other words, the cloud server 110 may recognize the remaining POI area as the POI change area 907 without finding a pair between the previous panoramic image 710 and the subsequent panoramic image 720. The cloud server 110 may visualize the corresponding region 907 when there is an area 907 in which a POI change is detected in the previous panoramic image 710 and the subsequent panoramic image 720 using POI pair matching information.

상기에서는 이전 파노라마 영상(710)과 이후 파노라마 영상(720) 간에 POI 영역(806)을 비교하여 POI 변화 영역(907)을 검출하는 것으로 설명하고 있으나, POI 영역(806)을 추출하지 않고 간판 영역(805)만을 비교하여 POI 변화 영역(907)을 검출하는 것 또한 가능하다.In the above description, the POI region 806 is compared between the previous panoramic image 710 and the subsequent panoramic image 720 to detect the POI change region 907, but the signboard region ( It is also possible to detect the POI change region 907 by comparing only 805.

도 10 내지 도 12는 본 발명의 일실시예에 있어서 일반 단일 컷으로 촬영된 영상으로부터 POI 변화 영역을 검출하는 과정을 설명하기 위한 예시 도면이다.10 to 12 are exemplary diagrams for explaining a process of detecting a POI change region from an image photographed with a general single cut according to an embodiment of the present invention.

클라우드 서버(110)는 대상 장소(140)에 대한 3차원 맵, 위치정보(촬영 위치), 방향정보(촬영 방향)를 이용하여 시간 간격을 두고 동일한 위치를 촬영한 이미지 쌍을 입력으로 받을 수 있다. 도 10을 참조하면, 클라우드 서버(110)는 대상 장소(140)에 대해 수집된 데이터를 활용하여 3차원 맵(1000)을 생성할 수 있고, 3차원 맵(1000)의 대상 위치에 대해 가장 최근 시점에 촬영된 수시 영상들 중에서 이후 영상(1020)을 선정할 수 있고 기본 정보 획득 단계(210)를 통해 수집된 영상들이나 이전 비교에 활용되었던 이후 영상들 또는 이전 시점(일례로, 하루 전, 일주일 전 등)에 촬영된 수시 영상들 중에서 이전 영상(1010)을 선정할 수 있다.The cloud server 110 may receive as an input a pair of images photographing the same location at a time interval using a 3D map, location information (shooting location), and direction information (shooting direction) for the target place 140. . Referring to FIG. 10, the cloud server 110 may generate a 3D map 1000 by using data collected on a target place 140, and the most recent target location of the 3D map 1000 From the occasional images taken at the time point, a later image 1020 may be selected, and images collected through the basic information acquisition step 210, images after images that were used for a previous comparison, or a previous time point (for example, a day before, a week). The previous image 1010 may be selected from the occasional images photographed in the previous etc.).

이전 영상(1010)과 이후 영상(1020)은 파노라마 컷이 아닌 일반 컷으로 촬영한 영상으로, 동일 방향의 이미지 쌍으로 선별될 수 있다. 동일 방향 영상을 선별하는 것은 유사한 위치에서 유사한 방향을 촬영한 이전 영상(1010)과 이후 영상(1020)을 서로 비교하기 위한 것으로, 유사한 위치에서 촬영된 이전 영상(1010)과 이후 영상(1020)의 두 개의 영상들이 기설정된 비율 이상 서로 동일한 부분을 촬영했을 것으로 예상되는 정도의 방향 유사성을 갖고 있다면 동일 방향 영상의 페어로서 선별될 수 있다. 다른 예로, 두 영상의 촬영 방향들이 기설정된 각도 차 이내를 형성하는 경우 해당 두 영상이 동일 방향 영상의 페어로서 선별될 수 있다.The previous image 1010 and the subsequent image 1020 are images taken with a general cut rather than a panoramic cut, and may be selected as image pairs in the same direction. Selecting an image in the same direction is to compare a previous image 1010 and a subsequent image 1020 photographed in a similar direction at a similar position, and the previous image 1010 and a subsequent image 1020 photographed at a similar position. Two images may be selected as a pair of images in the same direction if they have a degree of similarity that is expected to have captured the same portion of each other by a predetermined ratio or more. As another example, when the photographing directions of two images form within a preset angle difference, the two images may be selected as a pair of images in the same direction.

도 11을 참조하면, 클라우드 서버(110)는 앞서 설명한 간판 검출 알고리즘을 이용하여 이전 영상(1010)과 이후 영상(1020)에서 간판 영역(1005)을 각각 검출할 수 있다. 예를 들어, 클라우드 서버(110)는 이전 영상(1010)과 이후 영상(1020) 각각에 대해 간판 검출을 위한 학습 모델을 통해 적어도 하나 이상의 후보 영역을 검출할 수 있고 간판 예측 스코어가 가장 높은 후보 영역을 최종 간판 영역(1005)으로 선정할 수 있다.Referring to FIG. 11, the cloud server 110 may detect a sign area 1005 from a previous image 1010 and a subsequent image 1020 using the signage detection algorithm described above. For example, the cloud server 110 may detect at least one candidate region for each of the previous image 1010 and the subsequent image 1020 through a learning model for signage detection, and the candidate region having the highest sign prediction score May be selected as the final sign area 1005.

클라우드 서버(110)는 이미지 매칭 알고리즘을 이용하여 이전 영상(1010)과 이후 영상(1020)에서 검출된 간판 영역(1005) 간의 유사도를 계산할 수 있다. 클라우드 서버(110)는 이전 영상(1010)과 이후 영상(1020)에서 검출된 간판 영역(1005)에 대해 SIFT, SURF 등의 알고리즘을 통해 자연 특징 디스크립터를 추출하고 추출된 디스크립터들을 서로 비교하여 매칭 여부를 판단할 수 있다.The cloud server 110 may calculate a similarity between the signboard area 1005 detected in the previous image 1010 and the subsequent image 1020 using an image matching algorithm. The cloud server 110 extracts natural feature descriptors from the signboard area 1005 detected in the previous image 1010 and the subsequent image 1020 through algorithms such as SIFT and SURF, and compares the extracted descriptors to determine whether they match. Can judge.

클라우드 서버(110)는 이전 영상(1010)과 이후 영상(1020)에서 검출된 간판 영역(1005)을 서로 비교하여 매칭이 성공한 경우에는 POI 변화가 없는 것으로, 매칭이 실패한 경우에는 POI 변화가 있는 것으로 결정할 수 있다. 그리고, 이전 영상(1010)에서 간판 영역(1005)이 검출되지 않고 이후 영상(1020)에서 간판 영역(1005)이 검출된 경우, 또는 이전 영상(1010)에서 간판 영역(1005)이 검출되고 이후 영상(1020)에서 간판 영역(1005)이 검출되지 않은 경우에는 POI 변화가 있는 것으로 결정할 수 있다. 또한, 이전 영상(1010)과 이후 영상(1020)에서 모두 간판 영역(1005)이 검출되지 않은 경우 POI 변화가 없는 것으로 결정할 수 있다.The cloud server 110 compares the signage area 1005 detected in the previous image 1010 and the subsequent image 1020 with each other, and indicates that there is no change in POI when the matching is successful, and that there is a change in POI when the matching is unsuccessful. You can decide. In addition, when the sign area 1005 is not detected in the previous image 1010 and the sign area 1005 is detected in the subsequent image 1020, or the sign area 1005 is detected in the previous image 1010 and the subsequent image When the sign area 1005 is not detected at 1020, it may be determined that there is a change in POI. In addition, when the sign area 1005 is not detected in both the previous image 1010 and the subsequent image 1020, it may be determined that there is no change in POI.

실시예에 따라, 대상 위치와 인접한 위치의 이전 영상과 이후 영상을 참고하여 대상 위치의 POI 변화를 검증할 수 있다. 다시 말해, 주변 상점의 간판을 함께 비교하여 대상 위치의 POI 변화를 검출할 수 있다.According to an embodiment, a change in POI of a target location may be verified by referring to a previous image and a subsequent image of a location adjacent to the target location. In other words, it is possible to detect a change in POI of a target location by comparing signboards of nearby stores together.

도 12를 참조하면, 클라우드 서버(110)는 대상 장소(140)에 대한 3차원 맵(1000)에서 POI 변화가 있는 것으로 판단된 이전 영상(1010)과 이후 영상(1020)의 대상 위치를 POI 변화 영역(1207)으로 시각화하여 보여줄 수 있다.Referring to FIG. 12, the cloud server 110 changes the target location of the previous image 1010 and the subsequent image 1020 determined to have a POI change in the 3D map 1000 of the target place 140. It can be visualized and shown as an area 1207.

따라서, 클라우드 서버(110)는 POI 변화를 검출하기 위해 시간 간격을 두고 동일한 위치를 촬영한 이미지 쌍을 이용할 수 있고 각 이미지에서 간판 영역(805)(1005)을 탐지하여 POI 변화 영역(907)(1207)을 검출할 수 있다.Therefore, the cloud server 110 can use a pair of images photographed at the same location at intervals to detect changes in POI, and detect the signboard areas 805 and 1005 in each image to detect the POI change area 907 ( 1207) can be detected.

도 13은 본 발명의 일실시예에 따른 컴퓨터 시스템의 예를 도시한 블록도이다. 앞서 설명한 클라우드 서버(110)는 도 13에 도시된 하나의 컴퓨터 시스템(1300) 또는 복수의 컴퓨터 시스템들에 의해 구현될 수 있다. 예를 들어, 컴퓨터 시스템(1300)에는 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 시스템(1300)은 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 정보 수집 및 업데이트 방법을 수행할 수 있다.13 is a block diagram showing an example of a computer system according to an embodiment of the present invention. The cloud server 110 described above may be implemented by one computer system 1300 or a plurality of computer systems shown in FIG. 13. For example, a computer program according to an embodiment may be installed and driven in the computer system 1300, and the computer system 1300 collects and operates information according to the embodiments of the present invention under control of the driven computer program. The update method can be performed.

이러한 컴퓨터 시스템(1300)은 도 13에 도시된 바와 같이, 메모리(1310), 프로세서(1320), 통신 인터페이스(1330) 그리고 입출력 인터페이스(1340)를 포함할 수 있다. 메모리(1310)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(1310)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 시스템(1300)에 포함될 수도 있다. 또한, 메모리(1310)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(1310)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(1310)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(1330)를 통해 메모리(1310)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(1360)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 시스템(1300)의 메모리(1310)에 로딩될 수 있다.As illustrated in FIG. 13, the computer system 1300 may include a memory 1310, a processor 1320, a communication interface 1330, and an input/output interface 1340. The memory 1310 is a computer-readable recording medium, and may include a permanent mass storage device such as a random access memory (RAM), a read only memory (ROM), and a disk drive. Here, a non-destructive large-capacity recording device such as a ROM and a disk drive may be included in the computer system 1300 as a separate permanent storage device separate from the memory 1310. In addition, an operating system and at least one program code may be stored in the memory 1310. These software components may be loaded into the memory 1310 from a computer-readable recording medium separate from the memory 1310. Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, disk, tape, DVD/CD-ROM drive, and memory card. In another embodiment, software components may be loaded into the memory 1310 through a communication interface 1330 other than a computer-readable recording medium. For example, software components may be loaded into the memory 1310 of the computer system 1300 based on a computer program installed by files received through the network 1360.

프로세서(1320)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(1310) 또는 통신 인터페이스(1330)에 의해 프로세서(1320)로 제공될 수 있다. 예를 들어 프로세서(1320)는 메모리(1310)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processor 1320 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. The command may be provided to the processor 1320 by the memory 1310 or the communication interface 1330. For example, the processor 1320 may be configured to execute a command received according to a program code stored in a recording device such as the memory 1310.

통신 인터페이스(1330)은 네트워크(1360)를 통해 컴퓨터 시스템(1300)이 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 시스템(1300)의 프로세서(1320)가 메모리(1310)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(1330)의 제어에 따라 네트워크(1360)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(1360)를 거쳐 컴퓨터 시스템(1300)의 통신 인터페이스(1330)를 통해 컴퓨터 시스템(1300)으로 수신될 수 있다. 통신 인터페이스(1330)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(1320)나 메모리(1310)로 전달될 수 있고, 파일 등은 컴퓨터 시스템(1300)이 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.The communication interface 1330 may provide a function for the computer system 1300 to communicate with other devices (eg, storage devices described above) through the network 1360. For example, a request, command, data, file, etc., generated by the processor 1320 of the computer system 1300 according to a program code stored in a recording device such as the memory 1310, is transmitted to the network according to the control of the communication interface 1330. 1360) can be transferred to other devices. Conversely, signals, commands, data, files, etc. from other devices may be received by the computer system 1300 through the communication interface 1330 of the computer system 1300 via the network 1360. Signals, commands, data, etc. received through the communication interface 1330 may be transmitted to the processor 1320 or the memory 1310, and files, etc. may be stored in a storage medium (described above) that the computer system 1300 may further include. Permanent storage).

입출력 인터페이스(1340)는 입출력 장치(1350)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(1340)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(1350)는 컴퓨터 시스템(1300)과 하나의 장치로 구성될 수도 있다.The input/output interface 1340 may be a means for an interface with the input/output device 1350. For example, the input device may include a device such as a microphone, a keyboard, or a mouse, and the output device may include a device such as a display or a speaker. As another example, the input/output interface 1340 may be a means for interfacing with a device in which input and output functions are integrated into one, such as a touch screen. The input/output device 1350 may be configured with the computer system 1300 and one device.

또한, 다른 실시예들에서 컴퓨터 시스템(1300)은 도 13의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 시스템(1300)은 상술한 입출력 장치(1350) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.Further, in other embodiments, the computer system 1300 may include fewer or more components than the components of FIG. 13. However, there is no need to clearly show most of the prior art components. For example, the computer system 1300 may be implemented to include at least some of the input/output devices 1350 described above, or may further include other components such as a transceiver and a database.

이처럼 본 발명의 실시예들에 따르면, 시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 POI 변화를 자동으로 검출할 수 있다. 특히, 신규 오픈, 폐업, 상호 변경 등의 변화를 가장 잘 감지할 수 있는 상점의 간판 부분을 탐지하여 POI 변화를 효과적이고 신뢰성 있게 검출할 수 있다.As described above, according to embodiments of the present invention, it is possible to automatically detect a change in POI existing in an actual space for a location-based service such as a map in an actual space environment such as a downtown street or an indoor shopping mall. In particular, POI changes can be effectively and reliably detected by detecting the signboard part of a store that can best detect changes such as new openings, closures, and company name changes.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The system or device described above may be implemented as a hardware component or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download. In addition, the medium may be a variety of recording means or storage means in a form in which a single piece of hardware or several pieces of hardware are combined. The medium is not limited to a medium directly connected to a computer system, but may be distributed on a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And a ROM, RAM, flash memory, and the like, and may be configured to store program instructions. In addition, examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or storage medium managed by a server. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited embodiments and drawings, various modifications and variations are possible from the above description by those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims fall within the scope of the following claims.

Claims

In the method performed in a computer system,
The computer system includes at least one processor configured to execute computer readable instructions contained in a memory,
The above method,
Selecting, by the at least one processor, an image pair consisting of a previous image and a subsequent image photographing a target location at a predetermined time interval;
Detecting, by the at least one processor, a plurality of signboard regions from the previous image and the subsequent image included in the image pair; And
By the at least one processor, the signage region that is not matched between the previous image and the subsequent image by comparing the signage region detected in the previous image and the signboard region detected in the subsequent image as a change region at the target position. Step to recognize
Including,
The step of recognizing,
After extracting a global descriptor from each of the signboard region detected in the previous image and the signboard region detected in the subsequent image, comparing the global descriptors between the previous image and the subsequent image to find a pair of signboard regions matching the global descriptors. Recognizing the remaining signboard area as the change area without finding a later pair
The method characterized by.

The method of claim 1,
The image pair is composed of a previous panoramic image and a subsequent panoramic image obtained by taking a panoramic cut of the target location.
The method characterized by.

The method of claim 1,
The above method,
Visualizing, by the at least one processor, a region of interest in which the change is recognized
How to further include.

The method of claim 3,
The visualization step,
Generating and providing ROI change information including the image pair for the ROI in which the change is recognized, to an operator
How to include.

A computer-readable recording medium, characterized in that a program for executing the method of any one of claims 1 to 4 is recorded on a computer.

In a computer system,
At least one processor implemented to execute computer-readable instructions
Including,
By the at least one processor,
Selecting an image pair consisting of a previous image and a subsequent image of the target location at a predetermined time interval;
Detecting a plurality of signboard regions from the previous image and the subsequent image included in the image pair, respectively; And
Comparing the signboard region detected in the previous image and the signboard region detected in the subsequent image, and recognizing a signboard region that does not match between the previous image and the subsequent image as a change region at the target location
To process,
The process of recognizing,
After extracting a global descriptor from each of the signboard region detected in the previous image and the signboard region detected in the subsequent image, comparing the global descriptors between the previous image and the subsequent image to find a pair of signboard regions matching the global descriptors. Recognizing the remaining signboard area as the change area without finding a later pair
Computer system, characterized in that.