WO2019240452A1 - 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 - Google Patents

실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 Download PDF

Info

Publication number
WO2019240452A1
WO2019240452A1 PCT/KR2019/006970 KR2019006970W WO2019240452A1 WO 2019240452 A1 WO2019240452 A1 WO 2019240452A1 KR 2019006970 W KR2019006970 W KR 2019006970W WO 2019240452 A1 WO2019240452 A1 WO 2019240452A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interest
point
information
poi
Prior art date
Application number
PCT/KR2019/006970
Other languages
English (en)
French (fr)
Inventor
강상철
김정희
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Publication of WO2019240452A1 publication Critical patent/WO2019240452A1/ko
Priority to US17/122,318 priority Critical patent/US20210097103A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Definitions

  • the following description relates to a method and system for automatically collecting and updating information related to a point of interest in a real space, and more specifically, to a location-based service such as a map in a real space environment such as a city street or an indoor shopping mall.
  • a location-based service such as a map in a real space environment such as a city street or an indoor shopping mall.
  • How to collect and update information that automatically collects information related to a number of points of interest (POIs) that exist and can automatically update changes when there are changes compared to previously collected information
  • POIs points of interest
  • 'POI information' information on the POI
  • the POI information must be collected.
  • a person directly visits a real space by walking or using a vehicle to check the location, type, name, etc. of the POI and records it in the system, or records an image of the actual space, road, etc. by using a vehicle equipped with a camera.
  • the method analyzes the captured images and recognizes the type and name of the POI and records them in the system.
  • 10-2011-0037045 relates to an image acquisition system using a camera of a vehicle and a method of controlling the same, and according to whether or not photographing is required using a camera mounted on a vehicle, Build a database by shooting distances, and if you have a camera mounted on a vehicle that travels in different areas, such as taxis, courier trucks, or buses, you can shoot more locations or distances to provide users with more map image information at a lower cost. It is disclosed that it can be done.
  • the POI information for any real space area may be changed at any time due to new opening, closing, or the like. Therefore, in order to immediately recognize the change in POI, it is necessary to update POI information through frequent monitoring of the spatial area.However, the human intervention involves cost and effort. It is virtually impossible to obtain / provide relevant up-to-date information. In particular, when the real space is wide, there is a problem in that the process of checking the latest POI information according to the change of the POI becomes more difficult.
  • POIs points of interest
  • a method for collecting and updating information comprising: storing each of a plurality of images photographed at a plurality of locations of a target place in a point of interest (POI) database in association with a photographing position and a photographing time point of the image; Selecting a target location in the target place; Selecting a previous image and a subsequent image based on the photographing time point from among images stored in the point of interest database in association with a photographing position corresponding to the target location; And comparing the selected previous image and subsequent image and recognizing a change in the point of interest with respect to the target location.
  • POI point of interest
  • a computer-readable recording medium in which a program for executing the information collecting and updating method on a computer is recorded.
  • a computer device comprising: at least one processor implemented to execute instructions readable by a computer, wherein the at least one processor captures each of a plurality of images photographed at a plurality of locations of a target location by the at least one processor; And storing images in a Point Of Interest (POI) database in association with a photographing time point, selecting a target location in the target location, and selecting images from the points of interest database in connection with a photographing location corresponding to the target location.
  • POI Point Of Interest
  • the present invention provides a computer apparatus comprising selecting a previous image and a subsequent image based on the photographing time point, and comparing the selected previous image and the subsequent image to recognize a change in the point of interest with respect to the target position.
  • POIs points of interest
  • FIG. 1 is a diagram illustrating an example of an information collecting and updating system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an example of a method for collecting and updating information according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an example of basic information acquisition process according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of data collected by a mapping robot according to one embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an example of an occasional information acquisition process according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an example of a process of processing POI information from time to time according to an embodiment of the present invention.
  • Embodiments of the present invention provide information that can efficiently (1) detect point of interest (POI) changes, (2) recognize attributes of POIs, and (3) obtain semantic information of POIs with minimal human intervention.
  • POI point of interest
  • Embodiments of the present invention provide information that can efficiently (1) detect point of interest (POI) changes, (2) recognize attributes of POIs, and (3) obtain semantic information of POIs with minimal human intervention.
  • POIs change in various forms from time to time, such as opening, closing, expanding, or changing to another store. Maintaining up-to-date POI information by keeping track of the POI's fluctuations from time to time is very important for location-related services such as maps.
  • the POI variation detection technology automatically detects a change in the POI from an image taken by using a vehicle or a robot, and records the changed matter of the POI in which the change occurs to the operator in the system.
  • a change in the POI from an image taken by using a vehicle or a robot, and records the changed matter of the POI in which the change occurs to the operator in the system.
  • a large indoor shopping mall will be described as a real space in order to describe the POI variation detection technique.
  • the present embodiment describes an example in which a robot capable of autonomous driving is used as a means for acquiring images and related data for detecting POI variation.
  • the information may be obtained through various means such as a vehicle, a person, a CCTV, and the like according to the type of environment of the real space, and the information is not limited to the information obtaining means such as the robot shown in the present embodiment.
  • FIG. 1 is a diagram illustrating an example of an information collecting and updating system according to an embodiment of the present invention
  • FIG. 2 is a flowchart illustrating an example of an information collecting and updating method according to an embodiment of the present invention.
  • the information collection and update system 100 may include a cloud server 110, a mapping robot 120, and a service robot 130.
  • the cloud server 110 and the mapping robot 120, and the cloud server 110 and the service robot 130 are implemented to enable data communication through a network for transmission of collected data, location information, map information, and the like. Can be.
  • the service robot 130 may be implemented to include a wireless network interface to impart real time to data communication with the cloud server 110.
  • the information collecting and updating method may include a basic information obtaining step 210, an occasional information obtaining step 220, and an occasional POI information processing step 230, as shown in FIG. 2.
  • the basic information acquiring step 210 may be performed once (first or more times if necessary) for acquiring basic information, and the information acquiring step 220 may be repeatedly performed at any time or whenever necessary.
  • the occasional POI information processing step 230 may be repeated periodically, such as a day unit or a week unit.
  • the mapping robot 120 may be implemented to collect data on the target place 140 and deliver it to the cloud server 110 while driving the target place 140 in the basic information obtaining step 210.
  • 110 generates basic information about the target place 140 based on the data collected and provided by the mapping robot 120, and uses the generated basic information in the target place 140 of the service robot 130. It can be implemented to support autonomous driving and service provision.
  • the service robot 130 collects information from time to time while autonomously driving the target location 140 based on the information provided from the cloud server 110 in the occasional information acquisition step 220 to transmit to the cloud server 110. Can be implemented.
  • the cloud server 110 may update the information on the target location 140, such as by recognizing and updating the POI change based on the comparison between the basic information and the occasional information in the occasional POI information processing step 230.
  • the information collection and update system 100 may obtain basic information.
  • POI fluctuation detection technology basically detects the fluctuation of the POI by comparing the current image and the previous image using a variety of techniques. Therefore, a previous image to be compared is required, and then an indoor map configuration for the robot is required for autonomous driving of the robot (for example, the service robot 130).
  • the basic information acquiring step 110 may be performed once (at least two times if necessary). Detailed steps for the basic information obtaining step 110 will be described with reference to FIG. 3.
  • FIG. 3 is a flowchart illustrating an example of basic information acquisition process according to an embodiment of the present invention. Acquisition of basic information may be performed by the cloud server 110 and the mapping robot 120 included in the information collecting and updating system 100, and the steps 310 to 340 of FIG. 3 may be performed by the step 210 of FIG. 2. It may be included in the).
  • the mapping robot 120 may collect data while autonomously driving the selected target place 140.
  • the collected data may include data for generating a previous image to be used for POI variation detection, and data for constructing an indoor map for autonomous driving of the service robot 130.
  • the mapping robot 120 may be implemented to include a rider (Lidar), a wheel encoder (Wheel Encoder), IMU (Inertial Measurement Unit), a camera, a communication interface, etc.
  • the service robot 130 is already mapped robot Since the autonomous driving is performed by using the indoor map configured based on the data collected by the 120, there is no need to mount an expensive high precision sensor like the mapping robot 120, and thus, compared with the mapping robot 120. It can be implemented to mount a relatively low cost sensor. Data collected by the mapping robot 120 will be described in more detail later with reference to FIG. 4.
  • the mapping robot 120 may transmit the collected data to the cloud server 110.
  • the collected data may be transmitted to the cloud server 110 at the same time as the collection, or grouped into zones of the target place 140 and transmitted to the cloud server 110 at the same time. After the data collection is completed, the data may be transmitted to the cloud server 110 at once.
  • the cloud server 110 may store data received from the mapping robot 120.
  • the cloud server 110 collects and transmits data that the mapping robot 120 collects and transmits to the database (POI database) in order to collect the entire data of the entire areas of the target place 140 from the mapping robot 120. ) Can be managed continuously.
  • the database POI database
  • the cloud server 110 may generate a 3D map using data stored in a database.
  • the generated 3D map may then be utilized to help the service robot 130 to provide a desired service while autonomously driving the target location 140.
  • mapping robot 120 may collect mapping data 410 for generating a 3D map for the target place 140 and POI variation detection data 420 for use in detecting variation of the POI.
  • the mapping data 410 may include measurement values (rider data, wheel encoder data, IMU data, etc.) measured through a rider, a wheel encoder, an IMU, etc. that the mapping robot 120 may include.
  • the POI variation detection data 420 may include data obtained through cameras and communication interfaces (Wi-Fi interface, Bluetooth interface, etc.) that the mapping robot 120 may include (camera data such as captured images, signal strength of Wi-Fi). Or Bluetooth beacons, etc.).
  • Wi-Fi interface Wi-Fi interface
  • Bluetooth interface Bluetooth interface
  • mapping data 410 and the type of POI variation detection data 420 are distinguished, but the collected data is used for both generation of a 3D map and detection of variation in POI. It may be used redundantly. For example, an image captured by a camera or a Wi-Fi signal strength may be further utilized to generate a 3D map.
  • sensors described with reference to FIG. 4 to collect the mapping data 410 and / or the POI variation detection data 420 more various types of sensors such as a stereo camera or an infrared sensor may be further utilized in the mapping robot 120. have.
  • the mapping robot 120 may photograph the surrounding area at a predetermined interval (for example, 1 second interval while moving at 1 m / sec) with a camera mounted on the mapping robot 120 while moving the indoor space.
  • a predetermined interval for example, 1 second interval while moving at 1 m / sec
  • a 360 degree camera, a wide angle camera, and / or a plurality of cameras may be utilized to efficiently include a signboard of a store mainly used for detecting POI fluctuations in a captured image and a shape of a store front in the image, and the target space 140.
  • the image may be captured so that the entire area of the image may be included at least partially in the image.
  • the mapping robot 120 may further collect the Bluetooth beacon information or the Wi-Fi fingerprint printing data for the Wi-Fi-based location for obtaining location information, and the mapping robot 120 for obtaining the direction information. The rider's or IMU's measurements may also be used.
  • the mapping robot 120 may transmit the collected data to the cloud server 110, and the cloud server 110 generates a 3D map by using data received from the mapping robot 120, and generates the 3D map. Based on the localization, path planning and the like for the service robot 130 can be processed. In addition, the cloud server 110 may compare the data received from the mapping robot 120 with data collected by the service robot 130 to update the information on the target location 140.
  • the location included in the map data generated by the mapping robot 120 (eg, image according to location information, Wi-Fi signal strength, Bluetooth beacon information, sensor measurement value, etc.) is based on the start location. It can only be determined relatively. This is because precise global positioning data cannot be obtained in an indoor space. In addition, when scanning the same space dividedly at several times, it is difficult to obtain consistent position data because the starting position is different each time. Therefore, a process of converting the position data obtained through the mapping robot 120 into a form capable of global positioning is required for consistent position data surface and utilization.
  • the cloud server 110 checks the exact location of the actual latitude and longitude of the indoor space, and then converts and stores the location data included in the map data into a form according to a geodetic reference system such as WGS84, ITRF, or PZ. It can be used later in the process.
  • a geodetic reference system such as WGS84, ITRF, or PZ. It can be used later in the process.
  • the information collection and update system 100 may acquire occasional information about the target place 140.
  • the 3D map, the previous image, the location information, etc. obtained in the basic information acquiring step 210 may be continuously used.
  • the cloud server 110 Since the cloud server 110 has already collected, processed, and stored information on the entire space of the target place 140 in the basic information acquisition step 210, only some changed information is acquired in the occasional information acquisition step 220. It is possible to process and store information on the target place 140 such as map data in an up-to-date state efficiently. Therefore, there is no need to collect data on the entire spatial area of the target place 140 every time.
  • the cloud server 110 is required for autonomous driving of the service robot 130 using data of various expensive high-precision sensors mounted on the mapping robot 120. Since the high-precision map data is generated and stored, there is no need for the service robot 130 to mount an expensive high-precision sensor. Accordingly, in the occasional information acquisition step 220, the service robot 130 may be implemented by using a low-cost robot that operates according to the purpose of utilizing the service, such as security, guidance, and cleaning for the target place 140.
  • the service robot 130 may be disposed inside the target location 140 for the purpose of the original service such as security, guidance, cleaning, and the like. Two or more service robots may be arranged in the target place 140 according to the target place 140 and the service purpose, and may be designated to operate in different areas. Acquisition of information at any time may be made by the cloud server 110 and the service robot 130 included in the information collection and update system 100, the steps (510 to 580) of FIG. It may be included in the).
  • the service robot 130 may photograph an image of a surrounding at a target place.
  • the service robot 130 may be implemented to include a camera for capturing the surrounding image at the target place.
  • the captured image can be used for two purposes. First, the photographed image may be utilized for the purpose of helping autonomous driving of the service robot 130 by checking the current position (shooting position) and / or direction (shooting direction) of the service robot 130. Secondly, the captured image may be used as an occasional image for checking POI variation and for comparison with a previous image obtained in the basic information obtaining step 210. Images captured for both purposes may require location and / or direction information of the service robot 130 at the time when the image is captured (the time of shooting).
  • the photographing period of the image for the first purpose and the photographing period of the image for the second purpose may be different from each other, and may be dynamically determined based at least on the moving speed of the service robot 130. If the service robot 130 checks the location and / or the direction using the Wi-Fi signal strength or the Bluetooth beacon, etc., not the image, the recording of the image may be used only for the second purpose. If the Wi-Fi signal strength or Bluetooth beacon is utilized, the service robot 130 transmits the Wi-Fi signal strength or Bluetooth beacon obtained to confirm the location or direction to the cloud server 110 for the location and / or direction. You may request information. Meanwhile, even in this case, acquisition of position and / or direction information related to the image is required for the second purpose.
  • steps 520 to 540 may describe an example of a process of acquiring position and / or direction information related to an image.
  • steps 510 to 540 may be performed periodically and / or repeatedly to continuously acquire the position of the service robot 130.
  • the service robot 130 may transmit the captured image to the cloud server 130.
  • the service robot 130 may request location and / or direction information corresponding to the transmitted image while transmitting the image.
  • the cloud server 130 may analyze the image received from the service robot 130 to generate location and / or direction information of the service robot 130.
  • the position and / or direction information may be generated through the information obtained in the basic information obtaining step 210.
  • the cloud server 130 compares the image collected from the mapping robot 120 with the image received from the service robot 130 to find a matching image, and then stores the position and / or direction associated with the image.
  • the location and / or direction information may be generated according to the request of the service robot 130 based on the information.
  • the direction information may be direction information of the camera.
  • the cloud server 130 may transmit the generated location and / or direction information to the service robot 130.
  • the service robot 130 may store the received position and / or direction information as occasional information in association with the captured image.
  • Occasional information may refer to information for use for the second purpose described above (for identifying POI fluctuations).
  • the occasional information may further include information about a photographing time point of the image.
  • the service robot 130 may transmit the stored occasional information to the cloud server 130. As the service robot 130 moves, the amount of the occasional information may also increase, and the service robot 130 may transmit the stored occasional information to the cloud server 130 at any time, periodically or whenever necessary.
  • the cloud server 130 may store the received occasional information in a database (POI database).
  • the stored occasional information may be utilized to recognize the POI variation through comparison with the information obtained in the basic information acquisition step 210 later.
  • the service robot 130 may perform a service task based on the received location and / or direction information.
  • the step 580 is described as being performed after the step 570, but the step 580 of performing the service task may include the location of the service robot 130 received at step 540 and / or Alternatively, the direction information may be performed in parallel with steps 550 to 570.
  • Localization and path planning for the performance of a service task may be performed by the service robot 130 or may be performed through the cloud server 130 according to an exemplary embodiment.
  • the data about the target place 140 is collected using the mapping robot 120 and the service robot 130, but the present invention does not presuppose the use of the robot.
  • Various methods of level can be utilized.
  • a device such as a trolley that can be dragged by a person, etc.
  • the data of the space by mounting a sensor on the occasion
  • the occasional information acquisition step 220 collects and utilizes images captured by the smart phones of the general users visiting the target place 140 or the target place 140
  • video of CCTV Closed Circuit Television
  • the cloud server 110 may include a basic image obtained through a camera and a sensor included in at least one of a mapping robot 120 autonomously traveling the target place 140 and a trolley moving the target place 140.
  • the POI database can be constructed by receiving the photographing position and the photographing time point of the basic image through the network.
  • the cloud server 110 is a service robot 130 that performs a predetermined service mission while autonomously driving the target place 140, a terminal including a camera of the user located in the target place 140 and the target place 140
  • the POI database may be updated by receiving an occasional image photographed from the at least one CCTV (Closed Circuit Television) arranged in the network), a photographing position and a photographing time point of the occasional image over the network.
  • CCTV Consumer Circuit Television
  • the occasional POI information processing step 230 includes the basic information collected by the cloud server 110 in the basic information obtaining step 210 and the occasional information collected in the occasional information obtaining step 220. It may be a process for acquiring POI related information by using.
  • the cloud server 110 analyzes and compares one basic image and a plurality of occasional images using techniques such as computer vision and deep learning in the occasional POI information processing step 230. It may be a process for detecting the POI from the corresponding images, determining whether there is a change in the POI, and if there is a change, updating the change in the POI to the information collection and update system 100.
  • the cloud server 110 may inform the operator of the information collection and update system 100 of the image before and after the change to the POI.
  • the information collection and update system 100 determines and selects whether the POI is changed in advance, and provides the operator with the operator to significantly reduce the amount of images to be reviewed in order to determine whether the POI is changed. It may be possible to analyze, review and update POI information over a wide area.
  • the cloud server 110 may directly update the information collection and update system 100 with the name, type, and changed image of the changed POI.
  • FIG. 6 is a flowchart illustrating an example of a process of processing POI information from time to time according to an embodiment of the present invention. As described above, the steps 610 to 670 of FIG. 6 may be performed by the cloud server 110.
  • the cloud server 110 may select a target location within the target place 140.
  • the cloud server 110 may predetermine a plurality of locations in the target location 140 and check whether the surrounding POIs have changed for each location.
  • the cloud server 110 determines a plurality of locations by dividing the target places 140 in a grid form having a predetermined interval, and uses one of the plurality of locations determined in operation 610 as the target location. Can be selected as.
  • the cloud server 110 may select (m) previous images near the selected target location. For example, the cloud server 110 may select images stored in the POI database as previous images in association with a photographing location located within a predetermined distance from the target location.
  • the cloud server 110 may select (n) subsequent images near the selected target location.
  • the cloud server 110 may select images stored in the POI database as subsequent images in association with a shooting location located within a predetermined area from the target location.
  • the selection of the previous image and the subsequent image may be based on a photographing time point of the images.
  • each of the following images, which are compared with the previous images is required.
  • the previous image may be selected from the images collected through the basic information acquisition step 210
  • the subsequent image may be selected from the images collected through the occasional information acquisition step 220.
  • later images may be selected from the occasional images photographed at the most recent viewpoint, and later images or previous images used for a previous comparison may be selected.
  • the previous image may be selected from the occasional images photographed at a time point (for example, a day ago, a week ago, etc.).
  • the cloud server 110 may select the same direction image.
  • the screening of the same direction image is to compare the previous image and the subsequent image which are taken in the same direction at the same position, and the two images of the previous image and the subsequent image which are photographed at the similar position are equal to each other by a predetermined ratio or more. If there is a degree of similarity in the direction expected to be photographed, it can be selected as a pair of the same direction image. As another example, when the photographing directions of the two images form a predetermined angle difference, the two images may be selected as a pair of the same direction images.
  • the cloud server 110 may select and store the POI variation image candidate.
  • the cloud server 110 may perform descriptor-based matching on each pair of co-directional images. If the matching of the co-directional pairs is successful, there is no change in POI. It can be determined that there are variations, respectively.
  • the cloud server 110 uses a natural feature descriptor (SCA) such as Scale Invariant Feature Transform (SIFT) and Speeded Up Robust Features (SURF) for each of the previous and subsequent images included as a pair of co-directional images. natural feature descriptors) and the extracted descriptors may be compared with each other to store unmatched previous and subsequent images in association with information on a target location as a POI variable image candidate. In this case, a plurality of previous images and a plurality of subsequent images may be compared.
  • SCA natural feature descriptor
  • SIFT Scale Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • the selected POI variable image candidate may be selected once more by a method such as recognizing a signboard or a store front by using a deep learning technique.
  • the cloud server 110 may determine whether the processing for the entire location in the target place 140 is completed. In this case, when the processing for the entire location is not completed, the cloud server 110 selects the next location in the destination place 140 as the destination location and selects the POI variation image candidate, in steps 610 to 660. ) Can be repeated. When the processing for the entire location is completed, the cloud server 110 may perform step 670.
  • the cloud server 110 may request a review of the POI variable image candidate.
  • the request for such a review can be communicated to the operator of the information collection and update system 100.
  • the operator may transmit the previous image and the subsequent image corresponding to the POI change together with the location information (target location).
  • This information can be displayed on a map on software that allows the operator to enter change information in response to POI changes to help the operator enter information after reviewing and verifying information about the POI change once again.
  • the cloud server 110 generates POI variation information including at least a previous image and a subsequent image related to the recognition of the POI variation so that the operator updates the information on the corresponding POI through the information on the recognized POI variation. Can be provided to the operator.
  • a well-known franchise store may include a descriptor pattern specific to an image.
  • the cloud server 110 may determine which franchise stores exist in a specific image by learning images in which the POIs exist in a deep neural network for a particular type of POI such as franchise stores. have.
  • the cloud server 110 directly recognizes the name or type of the franchise store, if it is determined that there is a particular franchise store in the image determined to have POI fluctuations in the POI information processing step 230 at any time. It can update on the information collection and update system 100.
  • the cloud server 110 learns the deep learning model to extract the attributes of the franchise store included in the input image using the descriptor of the input image by using the images including the franchise store as the training data, and learning
  • the deep learning model may be used to update information on the corresponding POI through attributes of a franchise store extracted from a subsequent image related to the recognized POI variation.
  • the cloud server 110 directly determines whether to go through the review of the operator based on the reliability of the franchise recognition result, and whether to update the POI change directly to the information collection and update system 100 according to the determined result, or The cloud server 110 may determine whether to inform the operator.
  • the cloud server 110 extracts a property such as the name or type of the POI directly changed in the image through image analysis of the POI variable image candidate to collect and update the information on the system 100. You can also update on. For example, optical character reader (OCR), image matching, and image / text mapping techniques may help the cloud server 110 to directly recognize the attributes of the POI in the image.
  • OCR optical character reader
  • image matching image matching
  • image / text mapping techniques may help the cloud server 110 to directly recognize the attributes of the POI in the image.
  • OCR is a technology that detects the character area in the image and extracts the text information by recognizing the character in the area. By using the deep learning technique for character area detection and recognition, OCR is the same for various character sets. Technology can be used.
  • the cloud server 110 may extract information such as the name and phone number of the store from the signage of the store through OCR to recognize the attributes (POI name, POI type, etc.) of the corresponding POI.
  • a POI database in which various images of POIs and POI information for each image is recorded may be utilized.
  • Such data may be used as learning data for deep learning, and may be used as basic data for image matching.
  • the deep learning model can be trained to output POI information, for example POI name and type, for the input image using the data of the POI database, and the image data of the POI database can be used as basic data for direct image matching. have.
  • the image most similar to the input image may be searched in the POI database, and text information such as the POI name and type stored in the POI database may be found in association with the retrieved image and used as an attribute of the POI included in the input image.
  • the cloud server 110 establishes a POI database through information obtained through the POI variation detection technology, trains the deep learning model as the training data using the data of the constructed POI database, and then recognizes the attribute of the POI. It can be utilized. As such, the cloud server 110 trains the deep learning model to extract the attributes of the POI included in the input image by using the images stored in the POI database and the attributes of the POI included in each of the stored images as the training data. The deep learning model may be used to update information on the corresponding POI through the attributes of the POI extracted from a subsequent image related to the recognized POI variation.
  • recognizing POIs included in an image can be directly extracted by recognizing text information through OCR.
  • the type of stores are often not directly recognized only by the recognized text information. Therefore, it is necessary to predict or recognize whether the corresponding store is a restaurant, a cafe, a restaurant, a fast food restaurant, a Japanese restaurant, a Korean restaurant, or the like.
  • the cloud server 110 predicts or recognizes a POI category by using the collected image data and the POI database, and further expands the POI database by dataizing additional information such as operating hours of stores recognized in the image. can do.
  • FIG. 7 is a block diagram illustrating an example of a computer device according to an embodiment of the present invention.
  • the cloud server 110 described above may be implemented by one computer device 700 or a plurality of computer devices shown in FIG. 7.
  • a computer program according to an embodiment may be installed and run on the computer device 700, and the computer device 700 may collect and collect information according to embodiments of the present invention under the control of the driven computer program. Update method can be performed.
  • the computer device 700 may include a memory 710, a processor 720, a communication interface 730, and an input / output interface 740.
  • the memory 710 is a computer-readable recording medium and may include a permanent mass storage device such as random access memory (RAM), read only memory (ROM), and a disk drive.
  • RAM random access memory
  • ROM read only memory
  • the non-volatile mass storage device, such as a ROM and a disk drive may be included in the computer device 700 as a separate permanent storage device separate from the memory 710.
  • the memory 710 may store an operating system and at least one program code. These software components may be loaded into the memory 710 from a computer readable recording medium separate from the memory 710.
  • Such a separate computer-readable recording medium may include a computer-readable recording medium such as a floppy drive, disk, tape, DVD / CD-ROM drive, memory card, and the like.
  • software components may be loaded into memory 710 via communication interface 730 rather than a computer readable recording medium.
  • software components may be loaded into the memory 710 of the computer device 700 based on a computer program installed by files received via the network 760.
  • the processor 720 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input / output operations.
  • the instructions may be provided to the processor 720 by the memory 710 or the communication interface 730.
  • processor 720 may be configured to execute a command received according to a program code stored in a recording device such as memory 710.
  • the communication interface 730 may provide a function for the computer device 700 to communicate with other devices (eg, storage devices described above) via the network 760. For example, a request, a command, data, a file, etc. generated by the processor 720 of the computer device 700 according to a program code stored in a recording device such as the memory 710 may be controlled according to the control of the communication interface 730. 760 may be delivered to other devices. Conversely, signals, commands, data, files, and the like from other devices may be received by the computer device 700 via the communication interface 730 of the computer device 700 via the network 760. Signals, commands, data, and the like received through the communication interface 730 may be transmitted to the processor 720 or the memory 710, and the files and the like may be further included in the storage medium that the computer device 700 may further include. Persistent storage).
  • the input / output interface 740 may be a means for interfacing with the input / output device 750.
  • the input device may include a device such as a microphone, a keyboard or a mouse
  • the output device may include a device such as a display or a speaker.
  • the input / output interface 740 may be a means for interfacing with a device in which functions for input and output are integrated into one, such as a touch screen.
  • the input / output device 750 may be configured as a computer device 700 and one device.
  • the computer device 700 may include fewer or more components than the components of FIG. 7. However, it is not necessary to clearly show most of the prior art components.
  • computer device 700 may be implemented to include at least some of the input and output devices 750 described above, or may further include other components, such as a transceiver, a database, and the like.
  • information related to a plurality of points of interest (POI) existing in a real space for a location-based service such as a map in a real space environment such as a city street or an indoor shopping mall is automatically obtained.
  • POI points of interest
  • robotic, computer vision, and deep learning technologies are used to obtain information about POI changes and to automate the processing, thereby acquiring information about POI changes.
  • the system or apparatus described above may be implemented as a hardware component or a combination of hardware components and software components.
  • the devices and components described in the embodiments are, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gate arrays (FPGAs).
  • ALUs arithmetic logic units
  • FPGAs field programmable gate arrays
  • PLU programmable logic unit
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. It can be embodied in.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the medium may be to continue to store a computer executable program, or to temporarily store for execution or download.
  • the medium may be a variety of recording means or storage means in the form of a single or several hardware combined, not limited to a medium directly connected to any computer system, it may be distributed on the network.
  • Examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And ROM, RAM, flash memory, and the like, configured to store program instructions.
  • examples of another medium may include a recording medium or a storage medium managed by an app store that distributes an application, a site that supplies or distributes various software, a server, or the like.
  • Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템을 제공한다. 본 발명의 실시예들에 따른 정보 수집 및 업데이트 방법을 통해, 시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 다수의 관심지점(Point Of Interest, POI)과 관련된 정보를 자동으로 수집하고, 이전에 수집된 정보와 비교하여 변동 사항이 있는 경우, 자동으로 변경 사항을 업데이트할 수 있다.

Description

실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
아래의 설명은 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템에 관한 것으로, 보다 자세하게는 시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 다수의 관심지점(Point Of Interest, POI)과 관련된 정보를 자동으로 수집하고, 이전에 수집된 정보와 비교하여 변동 사항이 있는 경우, 자동으로 변경 사항을 업데이트할 수 있는 정보 수집 및 업데이트 방법, 상기 정보 수집 및 업데이트 방법을 수행하는 정보 수집 및 업데이트 시스템을 제공한다.
실 공간에는 음식점, 서점, 가게 등 다양한 형태의 POI가 존재한다. 이러한 POI에 대한 정보(이하, 'POI 정보')를 지도에 표시하거나 사용자에게 제공하기 위해서는 해당 POI 정보를 수집해야 한다. 종래에는 사람이 직접 도보 또는 차량 등을 이용하여 실제 공간을 방문하여 POI의 위치와 종류, 이름 등을 직접 확인하여 시스템에 기록하거나 또는 카메라가 설치된 차량을 이용하여 실제 공간, 도로 등의 영상을 카메라로 촬영하고, 추후 사람이 촬영된 영상을 분석하여 POI의 종류, 이름 등을 인식하여 시스템에 기록하는 방법을 사용하였다. 예를 들어, 한국공개특허 제10-2011-0037045호는 차량의 카메라를 이용한 영상 수집 시스템 및 그 제어 방법에 관한 기술로, 차량에 장착된 카메라를 이용하여 촬영이 필요한지의 여부에 따라 해당 지역 또는 거리를 촬영하여 데이터베이스를 구축하고, 택시, 택배 트럭 또는 버스 등과 같이 다양한 지역을 이동하는 차량에 카메라를 장착하는 경우 보다 많은 지역 또는 거리를 촬영하여 사용자에게 보다 많은 지도 상의 영상 정보를 적은 비용으로 제공할 수 있음을 개시하고 있다.
그러나, 이러한 종래기술은 결국 실 공간에 있는 POI 정보를 확인하기 위해 사람이 해당 POI가 있는 위치에 방문하여 직접 정보를 확인 및 기록하거나 혹은 해당 위치를 방문하여 해당 위치를 촬영하고 추후에 사람이 촬영된 영상을 확인하여 정보를 확인 및 기록하는 등, 처리 과정 전반에 걸쳐 사람이 반드시 개입하여야 하기 때문에, 데이터 수집과 이를 분석하여 처리하는데 비용과 시간, 노력이 많이 소모될 수 밖에 없다는 문제점이 있다.
또한, 이미 어떠한 실 공간 영역에 대한 POI 정보를 확보하고 있다고 하더라도, POI 정보는 신규오픈, 폐점 등으로 인해 수시로 변경될 수 있다. 따라서 POI의 변화를 즉각 인지하기 위해서는 해당 공간 영역에 대한 빈번한 모니터링을 통한 POI 정보의 신속한 업데이트가 필요하나, 사람이 개입되는 처리 방법으로는 이 또한 비용과 많은 노력이 소모되어 실질적으로 POI의 변동과 관련된 최신의 정보를 획득/제공하는 것이 사실상 거의 불가능하다. 특히 실 공간의 범위가 넓은 경우 POI의 변화에 따른 최신의 POI 정보를 확인하는 과정이 더욱 어려워 진다는 문제점이 있다.
시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 다수의 관심지점(Point Of Interest, POI)과 관련된 정보를 자동으로 수집하고, 이전에 수집된 정보와 비교하여 변동 사항이 있는 경우, 자동으로 변경 사항을 업데이트할 수 있는 정보 수집 및 업데이트 방법, 상기 정보 수집 및 업데이트 방법을 수행하는 정보 수집 및 업데이트 시스템을 제공한다.
로보틱스(robotics), 컴퓨터 비전(computer vision), 딥 러닝(deep learning) 등의 기술을 활용하여 POI의 변경에 대한 정보를 취득 및 처리를 자동화함에 따라, POI의 변경에 대한 정보를 취득하고 저장하는 모든 과정에서 사람의 개입을 최소화하여, POI의 변경에 대한 정보를 취득 및 처리함에 따른 비용, 시간 및 노력을 최소화할 수 있으며, 항상 최신의 POI 정보를 유지할 수 있는 정보 수집 및 업데이트 방법, 상기 정보 수집 및 업데이트 방법을 수행하는 정보 수집 및 업데이트 시스템을 제공한다.
또한, 실 공간에 대해 촬영된 영상을 분석하여 POI 명, 종류 등 POI에 대한 직접적인 속성 정보를 자동으로 추출, 저장 및 활용할 수 있는 방법과, 추출 가능한 POI 정보를 영상분석 및 유추를 통해서 파악이 가능한 의미적인 정보(semantic information) 영역까지 확장할 수 있는 정보 처리 방법 및 정보 처리 시스템을 제공한다.
정보 수집 및 업데이트 방법에 있어서, 대상 장소의 복수의 위치에서 촬영된 복수의 영상들 각각을 영상의 촬영 위치 및 촬영 시점과 연계하여 관심지점(Point Of Interest, POI) 데이터베이스에 저장하는 단계; 상기 대상 장소 내의 대상 위치를 선정하는 단계; 상기 대상 위치에 대응하는 촬영 위치에 연계하여 상기 관심지점 데이터베이스에 저장된 영상들 중에서 상기 촬영 시점에 기초하여 이전 영상 및 이후 영상을 선정하는 단계; 및 상기 선정된 이전 영상 및 이후 영상을 비교하여 상기 대상 위치에 대한 관심지점 변동을 인식하는 단계를 포함하는 정보 수집 및 업데이트 방법을 제공한다.
상기 정보 수집 및 업데이트 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체를 제공한다.
컴퓨터 장치에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 대상 장소의 복수의 위치에서 촬영된 복수의 영상들 각각을 영상의 촬영 위치 및 촬영 시점과 연계하여 관심지점(Point Of Interest, POI) 데이터베이스에 저장하고, 상기 대상 장소 내의 대상 위치를 선정하고, 상기 대상 위치에 대응하는 촬영 위치에 연계하여 상기 관심지점 데이터베이스에 저장된 영상들 중에서 상기 촬영 시점에 기초하여 이전 영상 및 이후 영상을 선정하고, 상기 선정된 이전 영상 및 이후 영상을 비교하여 상기 대상 위치에 대한 관심지점 변동을 인식하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 다수의 관심지점(Point Of Interest, POI)과 관련된 정보를 자동으로 수집하고, 이전에 수집된 정보와 비교하여 변동 사항이 있는 경우, 자동으로 변경 사항을 업데이트할 수 있다.
로보틱스(robotics), 컴퓨터 비전(computer vision), 딥 러닝(deep learning) 등의 기술을 활용하여 POI의 변경에 대한 정보를 취득 및 처리를 자동화함에 따라, POI의 변경에 대한 정보를 취득하고 저장하는 모든 과정에서 사람의 개입을 최소화하여, POI의 변경에 대한 정보를 취득 및 처리함에 따른 비용, 시간 및 노력을 최소화할 수 있으며, 항상 최신의 POI 정보를 유지할 수 있다.
또한, 실 공간에 대해 촬영된 영상을 분석하여 POI 명, 종류 등 POI에 대한 직접적인 속성 정보를 자동으로 추출, 저장 및 활용할 수 있는 방법과, 추출 가능한 POI 정보를 영상분석 및 유추를 통해서 파악이 가능한 의미적인 정보(semantic information) 영역까지 확장할 수 있다.
도 1은 본 발명의 일실시예에 따른 정보 수집 및 업데이트 시스템의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 정보 수집 및 업데이트 방법의 예를 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, 기본 정보 획득 과정의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 맵핑 로봇을 통해 수집되는 데이터의 예를 도시한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 수시 정보 획득 과정의 예를 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 있어서, 수시 POI 정보 처리 과정의 예를 도시한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들은 (1) 관심지점(Point Of Interest, POI) 변동 감지, (2) POI의 속성 인식 및 (3) POI의 의미 정보 획득을 사람의 개입을 최소화하면서도 효율적으로 실행할 수 있는 정보 수집 및 업데이트 방법 및 시스템을 제공한다.
실 환경에서 POI는 신규로 오픈하거나, 폐점하거나, 확장하거나, 다른 점포로 변경되는 등 수시로 다양한 형태로 변화한다. 이러한 POI의 변동 상태를 수시로 파악하여 최신의 POI 정보를 유지하는 것은 지도 등 위치 관련 서비스들에 있어서 중요도가 아주 높다.
이때, 본 발명의 실시예들에 따른 POI 변동 감지 기술은 차량이나 로봇 등을 활용하여 촬영한 영상으로부터 POI의 변동 사항을 자동으로 감지하고, 운영자에게 변동 사항이 발생한 POI의 변경된 사항을 시스템에 기록하게 하기 위해 관련 정보를 운영자에게 제공하거나 또는 변화가 아주 명확한 경우에는 POI의 변동 사항을 자동으로 시스템에 기록하도록 함으로써, POI 정보를 효율적으로 최신 상태로 유지할 수 있다.
일실시예로, POI 변동 감지 기술을 설명하기 위해 실 공간으로서 대규모 실내 쇼핑몰의 예를 들어 설명한다. 이는 설명의 편의를 위한 것으로, 본 발명의 실시예들에서의 실 공간이 실내 쇼핑몰 등의 공간으로 한정되는 것은 아니다. 또한, 본 실시예에서는 POI 변동 감지를 위한 영상과 관련 데이터의 획득 수단으로서 자율주행이 가능한 로봇을 활용하는 예를 설명한다. 정보의 획득은 실 공간의 환경의 종류에 따라 차량, 사람, CCTV 등 다양한 수단을 통해 이루어질 수 있으며, 본 실시예에서 제시하는 로봇과 같은 정보 획득 수단으로 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 정보 수집 및 업데이트 시스템의 예를 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 정보 수집 및 업데이트 방법의 예를 도시한 흐름도이다.
본 실시예에 따른 정보 수집 및 업데이트 시스템(100)은 클라우드 서버(110), 맵핑 로봇(120) 및 서비스 로봇(130)을 포함하여 구성될 수 있다. 클라우드 서버(110)와 맵핑 로봇(120), 그리고 클라우드 서버(110)와 서비스 로봇(130)은 수집된 데이터의 전송이나 위치 정보, 맵 정보 등의 전송을 위해 네트워크를 통한 데이터 통신이 가능하도록 구현될 수 있다. 특히, 서비스 로봇(130)은 클라우드 서버(110)와의 데이터 통신에 실시간성을 부여하기 위해 무선 네트워크 인터페이스를 포함하도록 구현될 수 있다.
또한, 본 실시예에 따른 정보 수집 및 업데이트 방법은, 도 2에 도시된 바와 같이, 기본 정보 획득 단계(210), 수시 정보 획득 단계(220) 및 수시 POI 정보 처리 단계(230)를 포함할 수 있다. 기본 정보 획득 단계(210)는 기본 정보의 획득을 위해 최초 1회(필요 시 2회 이상) 수행될 수 있으며, 수시 정보 획득 단계(220)는 상시 또는 필요 시마다 반복적으로 수행될 수 있다. 또한, 수시 POI 정보 처리 단계(230)는 일(day) 단위나 주(week) 단위와 같이 정기적으로 반복 수행될 수 있다.
이때, 맵핑 로봇(120)은 기본 정보 획득 단계(210)에서 대상 장소(140)를 주행하면서 대상 장소(140)에 대한 데이터를 수집하여 클라우드 서버(110)로 전달하도록 구현될 수 있으며, 클라우드 서버(110)는 맵핑 로봇(120)이 수집 및 제공하는 데이터를 토대로 대상 장소(140)에 대한 기본 정보를 생성하고, 생성된 기본 정보를 이용하여 서비스 로봇(130)의 대상 장소(140)에서의 자율 주행 및 서비스 제공을 서포트하도록 구현될 수 있다.
또한, 서비스 로봇(130)은 수시 정보 획득 단계(220)에서 클라우드 서버(110)로부터 제공되는 정보에 기초하여 대상 장소(140)를 자율 주행하면서 수시 정보를 수집하여 클라우드 서버(110)로 전달하도록 구현될 수 있다.
이때, 클라우드 서버(110)는 수시 POI 정보 처리 단계(230)에서 기본 정보와 수시 정보간의 비교에 기반하여 POI 변동을 인식하여 업데이트하는 등, 대상 장소(140)에 대한 정보를 업데이트할 수 있다.
기본 정보 획득 단계(210)에서 정보 수집 및 업데이트 시스템(100)은 기본 정보를 획득할 수 있다. POI 변동 감지 기술은 기본적으로 현재 영상과 이전 영상을 다양한 기술을 활용하여 비교함으로써, POI에 대한 변동 여부를 감지할 수 있다. 따라서, 비교 대상이 되는 이전 영상이 요구되며, 이후 로봇(일례로, 서비스 로봇(130))의 자율 주행을 위해 로봇을 위한 실내 지도 구성이 요구된다. 이러한 이전 영상과 실내 지도의 획득을 위해, 기본 정보 획득 단계(110)가 최초 1회(필요 시 2회 이상) 수행될 수 있다. 이러한 기본 정보 획득 단계(110)를 위한 세부 단계들을 도 3을 통해 설명한다.
도 3은 본 발명의 일실시예에 있어서, 기본 정보 획득 과정의 예를 도시한 흐름도이다. 기본 정보의 획득은 정보 수집 및 업데이트 시스템(100)이 포함하는 클라우드 서버(110) 및 맵핑 로봇(120)에 의해 이루어질 수 있으며, 도 3의 단계들(310 내지 340)은 도 2의 단계(210)에 포함되어 수행될 수 있다.
단계(310)에서 맵핑 로봇(120)는 실내 쇼핑몰과 같이 대상 장소(140)가 선정되면, 선정된 대상 장소(140)를 자율 주행하면서 데이터를 수집할 수 있다. 이때, 수집되는 데이터는 POI 변동 감지를 위해 활용될 이전 영상을 생성하기 위한 데이터, 그리고 서비스 로봇(130)의 자율 주행을 위한 실내 지도 구성을 위한 데이터를 포함할 수 있다. 이를 위해, 맵핑 로봇(120)은 라이더(Lidar), 휠 인코더(Wheel Encoder), IMU(Inertial Measurement Unit), 카메라, 통신 인터페이스 등을 포함하도록 구현될 수 있으며, 서비스 로봇(130)은 이미 맵핑 로봇(120)에 의해 수집된 데이터에 기반하여 구성되는 실내 지도를 활용하여 자율 주행을 수행하기 때문에 맵핑 로봇(120)과 같이 고가의 고정밀 센서를 탑재할 필요성이 없으며, 따라서 맵핑 로봇(120)에 비해 상대적으로 저가의 센서를 탑재하도록 구현될 수 있다. 맵핑 로봇(120)에 의해 수집되는 데이터에 대해서는 이후 도 4를 통해 더욱 자세히 설명한다.
단계(320)에서 맵핑 로봇(120)은 수집된 데이터를 클라우드 서버(110)로 전송할 수 있다. 수집되는 데이터는 실시예에 따라 수집과 동시에 클라우드 서버(110)로 전송되거나, 또는 대상 장소(140)의 구역 단위로 묶여서 클라우드 서버(110)로 전송되거나 또는 대상 장소(140)의 전체 구역들에 대한 데이터의 수집이 완료된 이후에 한꺼번에 클라우드 서버(110)로 전송될 수 있다.
단계(330)에서 클라우드 서버(110)는 맵핑 로봇(120)으로부터 수신된 데이터를 저장할 수 있다. 예를 들어, 클라우드 서버(110)는 맵핑 로봇(120)으로부터 대상 장소(140)의 전체 구역들에 대한 전체 데이터를 수집하기 위해, 맵핑 로봇(120)이 수집하여 전송하는 데이터를 데이터베이스(POI 데이터베이스)에 저장하여 지속적으로 관리할 수 있다.
단계(340)에서 클라우드 서버(110)는 데이터베이스에 저장된 데이터를 이용하여 3차원 맵을 생성할 수 있다. 생성되는 3차원 맵은 이후 서비스 로봇(130)이 대상 장소(140)를 자율 주행하면서 목적하는 서비스를 제공할 수 있도록 돕기 위해 활용될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 맵핑 로봇을 통해 수집되는 데이터의 예를 도시한 도면이다. 맵핑 로봇(120)은 대상 장소(140)에 대한 3차원 맵을 생성하기 위한 맵핑 데이터(410)와 POI의 변동을 감지하는데 활용하기 위한 POI 변동 감지 데이터(420)를 수집할 수 있다. 일례로, 맵핑 데이터(410)는 맵핑 로봇(120)이 포함할 수 있는 라이더, 휠 인코더, IMU 등을 통해 측정된 측정값들(라이더 데이터, 휠 인코더 데이터, IMU 데이터 등)을 포함할 수 있으며, POI 변동 감지 데이터(420)는 맵핑 로봇(120)이 포함할 수 있는 카메라, 통신 인터페이스들(와이파이 인터페이스, 블루투스 인터페이스 등)을 통해 얻어지는 데이터들(촬영된 영상과 같은 카메라 데이터, 와이파이의 신호 강도나 블루투스 비콘(beacon) 등)을 포함할 수 있다. 도 4의 실시예에서는 설명의 편의를 위해, 맵핑 데이터(410)의 종류와 POI 변동 감지 데이터(420)의 종류를 구분하였으나, 수집된 데이터는 3차원 맵의 생성과 POI의 변동 감지 모두를 위해 중복적으로 활용될 수도 있다. 예를 들어, 카메라를 통해 촬영된 영상이나 와이파이 신호 강도 등이 3차원 맵을 생성하기 위해 더 활용될 수도 있다. 맵핑 데이터(410) 및/또는 POI 변동 감지 데이터(420)를 수집하기 위해 도 4를 통해 설명한 센서들 이외에 스테레오 카메라나 적외선 센서 등과 같이 보다 다양한 종류의 센서들이 맵핑 로봇(120)에서 더 활용될 수도 있다.
맵핑 로봇(120)은 일례로, 실내 공간을 이동하면서 맵핑 로봇(120)에 탑재된 카메라로 일정 간격(일례로, 1m/sec로 이동하면서 1초 간격)으로 주변 영역을 촬영할 수 있다. 촬영되는 영상에서 POI 변동 감지에 주로 사용되는 매장의 간판과 매장 전면의 모양이 효율적으로 영상에 포함되도록, 360도 카메라나 광각 카메라 및/또는 다수의 카메라들이 활용될 수 있으며, 대상 공간(140)의 전 영역이 적어도 부분적으로 영상에 포함될 수 있도록 영상을 촬영할 수 있다. 이때, POI의 변동 위치를 확인하기 위해서는 촬영된 영상이 대상 장소(140)의 어느 위치에서 얻어진 영상인지 알아야 하기 때문에 얻어진 영상은 촬영시의 맵핑 로봇(120)의 위치정보(촬영 위치) 및/또는 방향정보(촬영 방향)가 얻어진 영상과 연계하여 함께 저장될 수 있다. 이때, 영상이 촬영된 시점에 대한 정보(촬영 시점) 역시 영상과 함께 저장될 수도 있다. 일례로, 위치정보의 획득을 위해 맵핑 로봇(120)은 블루투스 비콘 정보나 와이파이 기반 위치 파악을 위한 와이파이 핑거 프린팅(finger printing) 데이터를 더 수집할 수 있으며, 방향정보의 획득을 위해 맵핑 로봇(120)이 포함하는 라이더나 IMU의 측정값이 활용될 수도 있다. 맵핑 로봇(120)은 수집된 데이터를 클라우드 서버(110)로 전송할 수 있으며, 클라우드 서버(110)는 맵핑 로봇(120)으로부터 수신되는 데이터를 활용하여 3차원 맵을 생성하고, 생성된 3차원 맵에 기반하여 서비스 로봇(130)에 대한 로컬라이제이션, 경로 플래닝 등을 처리할 수 있다. 또한, 클라우드 서버(110)는 맵핑 로봇(120)으로부터 수신되는 데이터를 추후 서비스 로봇(130)에 의해 수집되는 데이터와 비교하여 대상 장소(140)에 대한 정보를 업데이트하는데 활용할 수 있다.
대상 장소가 실내인 경우, 맵핑 로봇(120)에 의해 생성된 맵 데이터(일례로, 위치 정보에 따른 영상, 와이파이 신호 강도, 블루투스 비콘 정보, 센서 측정값 등)에 포함되는 위치는 시작 위치를 기준으로 상대적으로 정해질 수 밖에 없다. 이는 실내 공간에서는 정밀한 글로벌 포지셔닝 데이터(global positioning data)를 얻을 수 없기 때문이다. 또한, 동일한 공간을 여러 번에 나누어 스캔하는 경우에는 시작 위치가 매번 다르기 때문에 일관성 있는 위치 데이터를 얻기 어렵다. 따라서, 일관성 있는 위치 데이터 표면 및 활용을 위해, 맵핑 로봇(120)을 통해 얻어지는 위치 데이터를 글로벌 포지셔닝이 가능한 형태로 변환하는 과정이 요구된다. 이를 위해, 클라우드 서버(110)는 실내 공간의 실제 위/경도로 표시되는 정확한 위치를 확인한 후, 맵 데이터에 포함된 위치 데이터를 WGS84나 ITRF, PZ 등의 측지 기준계에 따른 형태로 변환하여 저장한 후, 이후의 과정에서 활용할 수 있다.
다시 도 1 및 도 2를 참조하면, 수시 정보 획득 단계(220)에서 정보 수집 및 업데이트 시스템(100)은 대상 장소(140)에 대한 수시 정보를 획득할 수 있다. 수시 정보 획득 단계(220)에서는 이전 단계인 기본정보 획득 단계(210)에서 얻어진 3차원 맵이나 이전 영상, 위치정보 등을 지속적으로 활용할 수 있다.
이미 클라우드 서버(110)가 기본정보 획득 단계(210)에서 대상 장소(140)의 전체 공간에 대한 정보를 수집하여 가공 및 저장하고 있기 때문에, 수시 정보 획득 단계(220)에서는 일부 변경된 정보만을 획득, 가공 저장하여 효율적으로 맵 데이터와 같은 대상 장소(140)에 대한 정보를 최신 상태로 유지하는 것이 가능해진다. 따라서 매번 대상 장소(140)의 전체 공간 영역에 대한 데이터를 수집해야 할 필요성이 없다.
또한, 이미 설명한 바와 같이, 수시 정보 획득 단계(220)에서는 클라우드 서버(110)가 맵핑 로봇(120)에 탑재된 다양한 고가의 고정밀 센서들의 데이터를 이용하여 서비스 로봇(130)의 자율 주행에 요구되는 고정밀 맵 데이터를 생성하여 저장하고 있기 때문에, 서비스 로봇(130)이 고가의 고정밀 센서를 탑재할 필요성이 없다. 이에 수시 정보 획득 단계(220)에서 서비스 로봇(130)은 대상 장소(140)에 대한 보안, 안내, 청소 등과 같은 본연의 서비스 활용 목적에 따라 동작하는 저가의 로봇을 활용하여 구현될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 수시 정보 획득 과정의 예를 도시한 흐름도이다. 서비스 로봇(130)은 보안, 안내, 청소 등과 같은 본연의 서비스 목적을 위해 대상 장소(140) 내부에 배치될 수 있다. 대상 장소(140)와 서비스 목적에 따라 둘 이상의 서비스 로봇들이 대상 장소(140)에 배치될 수 있으며, 각각 다른 영역에서 동작하도록 지정될 수도 있다. 수시 정보의 획득은 정보 수집 및 업데이트 시스템(100)이 포함하는 클라우드 서버(110) 및 서비스 로봇(130)에 의해 이루어질 수 있으며, 도 5의 단계들(510 내지 580)은 도 2의 단계(220)에 포함되어 수행될 수 있다.
단계(510)에서 서비스 로봇(130)은 대상 장소에서 주변의 영상을 촬영할 수 있다. 이를 위해, 서비스 로봇(130)은 대상 장소에서 주변의 영상을 촬영하기 위한 카메라를 포함하도록 구현될 수 있다. 촬영된 영상은 두 가지 목적으로 활용될 수 있다. 첫 번째로, 촬영된 영상은 서비스 로봇(130)의 현재의 위치(촬영 위치) 및/또는 방향(촬영 방향)을 확인하여 서비스 로봇(130)의 자율 주행을 돕기 위한 목적으로 활용될 수 있다. 두 번째로, 촬영된 영상은 POI 변동을 확인하기 위한 수시 영상으로서 기본 정보 획득 단계(210)에서 얻어진 이전 영상과의 비교를 위한 목적으로 활용될 수 있다. 두 가지 목적 모두를 위해 촬영된 영상은 해당 영상이 촬영된 시점(촬영 시점)의 서비스 로봇(130)의 위치 및/또는 방향 정보를 요구할 수 있다. 실시예에 따라, 첫 번째 목적을 위한 영상의 촬영 주기와 두 번째 목적을 위한 영상의 촬영 주기는 서로 다를 수도 있으며, 서비스 로봇(130)의 이동 속도에 적어도 기초하여 동적으로 결정될 수도 있다. 만약, 서비스 로봇(130)이 영상이 아닌 와이파이 신호 강도나 블루투스 비콘 등을 활용하여 위치 및/또는 방향을 확인하는 경우, 영상의 촬영은 두 번째 목적을 위해서만 활용될 수도 있다. 만약, 와이파이 신호 강도나 블루투스 비콘 등을 활용하는 경우, 서비스 로봇(130)은 위치나 방향을 확인하기 위해 얻어지는 와이파이 신호 강도나 블루투스 비콘을 클라우드 서버(110)로 전송하여 위치 및/또는 방향에 대한 정보를 요청할 수도 있다. 한편, 이 경우에도 두 번째 목적을 위해 영상과 관련된 위치 및/또는 방향 정보의 획득이 요구된다. 이후 단계(520) 내지 단계(540)은 영상과 관련된 위치 및/또는 방향 정보를 획득하는 과정의 예를 설명할 수 있다. 서비스 로봇(130)이 이동되는 경우, 서비스 로봇(130)의 위치를 지속적으로 획득하기 위해 단계(510) 내지 단계(540)는 주기적으로 및/또는 반복적으로 수행될 수 있다.
단계(520)에서 서비스 로봇(130)은 촬영된 영상을 클라우드 서버(130)로 전송할 수 있다. 이때, 서비스 로봇(130)은 영상을 전송하면서 전송하는 영상에 대응하는 위치 및/또는 방향 정보를 요청할 수 있다.
단계(530)에서 클라우드 서버(130)는 서비스 로봇(130)으로부터 수신된 영상을 분석하여 서비스 로봇(130)의 위치 및/또는 방향 정보를 생성할 수 있다. 이때, 위치 및/또는 방향 정보는 기본 정보 획득 단계(210)에서 얻어진 정보들을 통해 생성될 수 있다. 예를 들어, 클라우드 서버(130)는 맵핑 로봇(120)으로부터 수집된 영상과 서비스 로봇(130)으로부터 수신된 영상을 비교하여 매칭되는 영상을 찾은 후, 해당 영상과 연계되어 저장된 위치 및/또는 방향 정보에 기반하여 서비스 로봇(130)의 요청에 따른 위치 및/또는 방향 정보를 생성할 수 있다. 방향 정보는 카메라의 방향 정보일 수 있다.
단계(540)에서 클라우드 서버(130)는 생성된 위치 및/또는 방향 정보를 서비스 로봇(130)으로 전송할 수 있다.
단계(550)에서 서비스 로봇(130)은 수신되는 위치 및/또는 방향 정보를 촬영된 영상과 연관하여 수시 정보로서 저장할 수 있다. 수시 정보는 앞서 설명한 두 번째 목적(POI 변동을 확인하기 위한 목적)을 위해 활용하기 위한 정보를 의미할 수 있다. 이때, 수시 정보는 영상의 촬영 시점에 대한 정보를 더 포함할 수 있다.
단계(560)에서 서비스 로봇(130)은 저장된 수시 정보를 클라우드 서버(130)로 전송할 수 있다. 서비스 로봇(130)이 이동함에 따라 수시 정보의 양 역시 늘어날 수 있으며, 서비스 로봇(130)은 상시적으로, 주기적으로 또는 필요 시마다 저장된 수시 정보를 클라우드 서버(130)로 전송할 수 있다.
단계(570)에서 클라우드 서버(130)는 수신된 수시 정보를 데이터베이스(POI 데이터베이스)에 저장할 수 있다. 저장된 수시 정보는 추후 기본 정보 획득 단계(210)에서 얻어진 정보들과의 비교를 통해 POI 변동을 인식하기 위해 활용될 수 있다.
단계(580)에서 서비스 로봇(130)은 수신되는 위치 및/또는 방향 정보에 기초하여 서비스 임무를 수행할 수 있다. 도 5의 실시예에서는 단계(580)이 단계(570) 이후에 수행되는 것처럼 설명하고 있으나, 서비스 임무를 수행하는 단계(580)는 단계(540)에서 수신되는 서비스 로봇(130)의 위치 및/또는 방향 정보를 이용하여 단계(550) 내지 단계(570)과는 병렬적으로 수행될 수 있다. 서비스 임무의 수행을 위한 로컬라이제이션과 경로 플래닝은 실시예에 따라 서비스 로봇(130)에 의해 수행될 수도 있고, 클라우드 서버(130)를 통해 수행될 수도 있다.
이상의 실시예들에서는 맵핑 로봇(120) 및 서비스 로봇(130) 등을 이용하여 대상 장소(140)에 대한 데이터를 수집함을 설명하고 있으나, 본 발명이 로봇의 사용을 전제로 하는 것은 아니며, 동등한 수준의 다양한 방법들이 활용될 수 있다. 예를 들어, 기본정보 획득 단계(210)에서는 최초 1회의 기본 정보의 수집을 위해, 자율 주행이 가능한 고가의 맵핑 로봇(120)을 사용하는 대신 사람이 끌고 다닐 수 있는 트롤리(trolley) 등과 같은 장치에 센서를 장착하여 공간의 데이터를 수집하는 것도 가능하며, 수시 정보 획득 단계(220)에서는 대상 장소(140)를 방문하는 일반 사용자들의 스마트폰으로 촬영된 영상을 수집하여 활용하거나 또는 대상 장소(140)에 설치되어 있는 CCTV(Closed Circuit Television)의 영상을 수집하여 활용하는 것도 가능하다. 다시 말해, 클라우드 서버(110)는 대상 장소(140)를 자율 주행하는 맵핑 로봇(120) 및 대상 장소(140)를 이동하는 트롤리(trolley) 중 적어도 하나에 포함된 카메라 및 센서를 통해 얻어지는 기본 영상과 기본 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 POI 데이터베이스를 구축할 수 있다. 또한, 클라우드 서버(110)는 대상 장소(140)를 자율 주행하면서 기설정된 서비스 임무를 수행하는 서비스 로봇(130), 대상 장소(140)에 위치하는 사용자들의 카메라를 포함하는 단말 및 대상 장소(140)에 배치된 CCTV(Closed Circuit Television) 중 적어도 하나로부터 대상 장소(140)에 대해 촬영된 수시 영상과 수시 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 POI 데이터베이스를 업데이트할 수 있다.
다시 도 1 및 도 2를 참조하면, 수시 POI 정보 처리 단계(230)는 클라우드 서버(110)가 기본 정보 획득 단계(210)에서 수집된 기본 정보와 수시 정보 획득 단계(220)에서 수집된 수시 정보를 활용하여 POI 관련 정보를 획득하기 위한 과정일 수 있다.
예를 들어, POI 변동 감지 기술은, 수시 POI 정보 처리 단계(230)에서 클라우드 서버(110)가 하나의 기본 영상과 다수의 수시 영상을 컴퓨터 비전, 딥 러닝 등의 기술을 활용하여 분석 및 비교함으로써 해당 영상들에서 POI를 검출하고, POI에 변동이 있었는지 여부를 판단하며, 변화가 있는 경우, POI의 변동을 정보 수집 및 업데이트 시스템(100)에 업데이트하기 위한 과정일 수 있다. 일례로, 클라우드 서버(110)는 POI에 대한 변경 전, 후의 영상을 정보 수집 및 업데이트 시스템(100)의 운영자에게 알릴 수 있다. 정보 수집 및 업데이트 시스템(100)이 POI 변동 여부를 사전에 판단 및 선별하여 운영자에게 제공하는 것만으로도 운영자로 하여금 POI 변동 여부를 판단하기 위해 검토해야 할 영상을 분량을 획기적으로 줄여서 단위 시간에 더 넓은 영역에 대한 POI 정보의 분석, 검토 및 업데이트를 가능하게 할 수 있다. 다른 예로, 클라우드 서버(110)는 변경된 POI의 이름, 종류, 변경된 영상 등을 직접 정보 수집 및 업데이트 시스템(100)에 업데이트할 수도 있다.
도 6은 본 발명의 일실시예에 있어서, 수시 POI 정보 처리 과정의 예를 도시한 흐름도이다. 이미 설명한 바와 같이 도 6의 단계들(610 내지 670)은 클라우드 서버(110)에 의해 수행될 수 있다.
단계(610)에서 클라우드 서버(110)는 대상 장소(140) 내의 대상 위치를 선정할 수 있다. 예를 들어, 클라우드 서버(110)는 대상 장소(140) 내의 다수의 위치들을 미리 결정해놓고, 각각의 위치들마다 주변 POI들의 변경 여부를 확인할 수 있다. 예를 들어, 클라우드 서버(110)는 기설정된 간격을 갖는 그리드 형태로 대상 장소(140)를 구분하여 다수의 위치들을 결정해놓고, 단계(610)에서 결정된 다수의 위치들 중 하나의 위치를 대상 위치로서 선정할 수 있다.
단계(620)에서 클라우드 서버(110)는 선정된 대상 위치 근처의 이전 영상을 선정(m개)할 수 있다. 예를 들어, 클라우드 서버(110)는 대상 위치로부터 기설정된 거리 이내에 위치하는 촬영 위치와 연계하여 POI 데이터베이스에 저장되어 있는 영상들을 이전 영상으로 선정할 수 있다.
단계(630)에서 클라우드 서버(110)는 선정된 대상 위치 근처의 이후 영상을 선정(n개)할 수 있다. 예를 들어, 클라우드 서버(110)는 대상 위치로부터 기설정된 영역 이내에 위치하는 촬영 위치와 연계하여 POI 데이터베이스에 저장되어 있는 영상들을 이후 영상으로 선정할 수 있다.
이때, 이전 영상과 이후 영상을 구분하여 선정하는 것은 영상들의 촬영 시점에 기초할 수 있다. POI의 변동을 감지하기 위해서는 기본적으로 이전 영상과 비교의 대상이 되는 이후 영상이 각각 필요하다. 처음에는 기본 정보 획득 단계(210)를 통해 수집된 영상들 중에서 이전 영상이 선정될 수 있으며, 수시 정보 획득 단계(220)를 통해 수집된 영상들 중에서 이후 영상이 선정될 수 있다. 그러나, 수시 정보 획득 단계(220)를 통해 서로 다른 시점들에 영상들이 수집되는 경우, 가장 최근 시점에 촬영된 수시 영상들 중에서 이후 영상이 선정될 수 있으며, 이전 비교에 활용되었던 이후 영상들 또는 이전 시점(일례로, 하루 전, 일주일 전 등)에 촬영된 수시 영상들 중에서 이전 영상이 선정될 수 있다.
단계(640)에서 클라우드 서버(110)는 동일 방향 영상을 선별할 수 있다. 동일 방향 영상을 선별하는 것은 유사한 위치에서 유사한 방향을 촬영한 이전 영상과 이후 영상을 서로 비교하기 위한 것으로, 유사한 위치에서 촬영된 이전 영상과 이후 영상의 두 개의 영상들이 기설정된 비율 이상 서로 동일한 부분을 촬영했을 것으로 예상되는 정도의 방향 유사성을 갖고 있다면 동일 방향 영상의 페어(pair)로서 선별될 수 있다. 다른 예로, 두 영상의 촬영 방향들이 기설정된 각도 차 이내를 형성하는 경우, 해당 두 영상이 동일 방향 영상의 페어로서 선별될 수 있다.
단계(650)에서 클라우드 서버(110)는 POI 변동 영상 후보를 선별 및 저장할 수 있다. 클라우드 서버(110)는 동일 방향 영상의 페어 각각에 대한 디스크립터(descriptor) 기반 매칭을 수행할 수 있으며, 동일 방향 영상의 페어에 대한 매칭이 성공한 경우에는 POI 변동이 없는 것으로, 매칭이 실패한 경우에는 POI 변동이 존재하는 것으로 각각 결정할 수 있다. 다시 말해, 클라우드 서버(110)는 동일 방향 영상의 페어로서 포함된 이전 영상과 이후 영상 각각에 대해 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등의 알고리즘을 이용하여 자연 특징 디스크립터(natural feature descriptor)를 추출하고, 추출된 디스크립터들을 서로 비교하여 매칭되지 않는 이전 영상과 이후 영상을 POI 변동 영상 후보로서 대상 위치에 대한 정보와 연계하여 저장할 수 있다. 이때, 다수의 이전 영상과 다수의 이후 영상들이 비교될 수도 있다.
실시예에 따라, 선별된 POI 변동 영상 후보는 딥 러닝 기법을 활용하여 간판이나 가게 전면을 인식하는 등의 방법으로 한 번 더 선별될 수 있다.
단계(660)에서 클라우드 서버(110)는 대상 장소(140) 내의 전체 위치에 대한 처리가 완료되었는지 여부를 결정할 수 있다. 이때, 전체 위치에 대한 처리가 완료되지 않은 경우, 클라우드 서버(110)는 대상 장소(140) 내의 다음 위치를 대상 위치로 선정하여 POI 변동 영상 후보를 선별하기 위해, 단계(610) 내지 단계(660)을 반복 수행할 수 있다. 전체 위치에 대한 처리가 완료된 경우, 클라우드 서버(110)는 단계(670)을 수행할 수 있다.
단계(670)에서 클라우드 서버(110)는 POI 변동 영상 후보에 대한 검토를 요청할 수 있다. 이러한 검토의 요청은 정보 수집 및 업데이트 시스템(100)의 운영자에게 전달될 수 있다. 다시 말해, 운영자에게는 POI 변동에 해당하는 이전 영상과 이후 영상이 위치 정보(대상 위치)와 함께 전달될 수 있다. 이러한 정보는 운영자가 POI 변동에 따른 변동 정보를 입력할 수 있는 소프트웨어 상에서 지도상에 표시되어 운영자로 하여금 다시 한 번 POI 변동에 대한 정보를 검토 및 확인한 후 정보를 입력하도록 도울 수 있다. 다시 말해, 클라우드 서버(110)는 인식된 POI 변동에 대한 정보를 통해 운영자가 대응하는 POI에 대한 정보를 업데이트하도록, POI 변동의 인식과 관련된 이전 영상 및 이후 영상을 적어도 포함하는 POI 변동 정보를 생성하여 운영자에게 제공할 수 있다.
한편, 영상의 디스크립터를 통해 특정한 종류의 POI를 식별하는 것이 가능하다. 예를 들어, 잘 알려진 프랜차이즈 매장들의 경우에는 영상에 특정한 디스크립터 패턴이 포함될 수 있다. 따라서, 클라우드 서버(110)는 프랜차이즈 매장들과 같은 특정한 종류의 POI에 대해서는 딥 뉴럴 네트워크(Deep Neural Network)로 해당 POI들이 존재하는 영상들을 학습하여, 특정 영상에 어떠한 프랜차이즈 매장이 존재하는지 판단할 수 있다. 이 경우, 클라우드 서버(110)는 수시 POI 정보 처리 단계(230)에서 POI 변동이 있는 것으로 판단된 영상에서 특정한 프랜차이즈 매장이 존재하는 것으로 판단되는 경우, 해당 프랜차이즈 매장의 이름이나 종류 등을 직접 인식하여 정보 수집 및 업데이트 시스템(100) 상에 업데이트할 수 있다. 일실시예로, 클라우드 서버(110)는 프랜차이즈 매장이 포함된 영상들을 학습 데이터로 활용하여 딥 러닝 모델이 입력 영상의 디스크립터를 이용하여 입력 영상에 포함된 프랜차이즈 매장의 속성을 추출하도록 학습시키고, 학습된 딥 러닝 모델을 이용하여 인식된 POI 변동과 관련된 이후 영상에서 추출되는 프랜차이즈 매장의 속성을 통해 대응하는 POI 에 대한 정보를 업데이트할 수 있다.
이때, 프랜차이즈 인식 결과의 신뢰도에 기반하여 운영자의 리뷰를 거칠 것인지 여부를 클라우드 서버(110)가 직접 결정하여, 결정된 결과에 따라 POI 변동을 직접 정보 수집 및 업데이트 시스템(100)에 업데이트할 것인지, 아니면 운영자에게 알릴 것인지 여부를 클라우드 서버(110)가 결정할 수도 있다.
또한, 앞서 설명한 바와 같이, 클라우드 서버(110)는 POI 변동 영상 후보에 대한 이미지 분석을 통해 이미지 내에서 직접 변동된 POI의 이름이나 종류, 등의 속성을 추출하여 정보 수집 및 업데이트 시스템(100) 상에 업데이트할 수도 있다. 예를 들어, OCR(Optical Character Reader)나 이미지 매칭, 이미지/텍스트 맵핑 기술들은 클라우드 서버(110)가 직접 영상 내에서 POI의 속성을 인식할 수 있도록 도움을 줄 수 있다.
OCR은 영상에서 문자 영역을 감지(detection)하고, 해당 영역에서 문자를 인식(recognition)하여 텍스트 정보를 추출하는 기술로, 문자 영역 감지와 인식을 위해 딥러닝 기법을 사용함으로써, 다양한 문자셋에 대해 동일한 기술을 사용할 수 있다. 일례로, 클라우드 서버(110)는 OCR을 통해 매장의 간판(signage)으로부터 매장의 이름, 전화번호 등의 정보를 추출하여 해당 POI의 속성(POI 명, POI 종류 등)을 인식할 수 있다.
또한, POI 변동 감지 기술을 구현함에 있어서, POI들에 대한 다양한 영상과 각 영상에 대한 POI 정보가 기록되어 있는 POI 데이터베이스가 활용될 수 있다. 이러한 데이터는 딥 러닝을 위한 학습 데이터로 활용될 수 있으며, 이미지 매칭을 위한 기본 데이터로 활용될 수 있다. 딥러닝 모델은 POI 데이터베이스의 데이터를 이용하여 입력 영상에 대해 POI 정보, 일례로 POI 이름과 종류 등을 출력하도록 학습될 수 있으며, POI 데이터베이스의 영상 데이터는 직접적인 이미지 매칭을 위한 기본 데이터로 활용될 수 있다. 다시 말해, 입력 영상과 가장 유사한 영상을 POI 데이터베이스에서 검색하고, 검색된 영상과 연계하여 POI 데이터베이스에 저장되어 있는 POI 이름과 종류 등의 텍스트 정보를 찾아서 입력 이미지에 포함된 POI의 속성으로서 활용할 수 있다. 일실시예로, 클라우드 서버(110)는 POI 변동 감지 기술을 통해 얻어지는 정보를 통해 POI 데이터베이스를 구축하고, 구축된 POI 데이터베이스의 데이터를 학습 데이터로서 딥 러닝 모델을 학습시킨 후, POI의 속성 인식에 활용할 수 있다. 이처럼, 클라우드 서버(110)는 POI 데이터베이스에 저장된 영상들 및 저장된 영상들 각각에 포함된 POI의 속성을 학습 데이터로 활용하여 딥 러닝 모델이 입력 영상에 포함된 POI의 속성을 추출하도록 학습시키고, 학습된 딥 러닝 모델을 이용하여 인식된 POI 변동과 관련된 이후 영상에서 추출되는 POI의 속성을 통해 대응하는 POI에 대한 정보를 업데이트할 수 있다.
대부분의 경우, 영상에 포함된 POI를 인식하는 것은 OCR을 통해 텍스트 정보를 인식함으로써 직접적으로 추출할 수 있다. 반면, 매장의 종류 등은 단순히 인식된 텍스트 정보만으로 직접 인식할 수 없는 경우가 빈번하다. 따라서, 해당 매장이 레스토랑인지 카페인지 혹은 레스토랑이 패스트푸드점인지 일식당인지 한식당인지 등을 예측하거나 인식하여 데이터화할 필요성이 있다. 이를 위해 클라우드 서버(110)는 수집된 영상 데이터와 POI 데이터베이스를 활용하여 POI 종류(category)를 예측하거나 인식하고, 더 나아가 영상에서 인식되는 매장의 운영시간 등과 같은 추가정보를 데이터화하여 POI 데이터베이스를 확장할 수 있다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 클라우드 서버(110)는 도 7에 도시된 하나의 컴퓨터 장치(700) 또는 복수의 컴퓨터 장치들에 의해 구현될 수 있다. 예를 들어, 컴퓨터 장치(700)에는 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치(700)는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 정보 수집 및 업데이트 방법을 수행할 수 있다.
이러한 컴퓨터 장치(700)는 도 7에 도시된 바와 같이, 메모리(710), 프로세서(720), 통신 인터페이스(730) 그리고 입출력 인터페이스(740)를 포함할 수 있다. 메모리(710)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(710)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(700)에 포함될 수도 있다. 또한, 메모리(710)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(710)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(710)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(730)를 통해 메모리(710)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(760)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(700)의 메모리(710)에 로딩될 수 있다.
프로세서(720)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(710) 또는 통신 인터페이스(730)에 의해 프로세서(720)로 제공될 수 있다. 예를 들어 프로세서(720)는 메모리(710)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(730)은 네트워크(760)를 통해 컴퓨터 장치(700)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(700)의 프로세서(720)가 메모리(710)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(730)의 제어에 따라 네트워크(760)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(760)를 거쳐 컴퓨터 장치(700)의 통신 인터페이스(730)를 통해 컴퓨터 장치(700)로 수신될 수 있다. 통신 인터페이스(730)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(720)나 메모리(710)로 전달될 수 있고, 파일 등은 컴퓨터 장치(700)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(740)는 입출력 장치(750)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(740)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(750)는 컴퓨터 장치(700)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(700)는 도 7의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(700)는 상술한 입출력 장치(750) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이처럼 본 발명의 실시예들에 따르면, 시내 거리 혹은 실내 쇼핑몰 등 실제 공간 환경에서 지도 등의 위치 기반 서비스를 위해 실제 공간상에 존재하는 다수의 관심지점(Point Of Interest, POI)과 관련된 정보를 자동으로 수집하고, 이전에 수집된 정보와 비교하여 변동 사항이 있는 경우, 자동으로 변경 사항을 업데이트할 수 있다. 이를 위해, 로보틱스(robotics), 컴퓨터 비전(computer vision), 딥 러닝(deep learning) 등의 기술을 활용하여 POI의 변경에 대한 정보를 취득 및 처리를 자동화함에 따라, POI의 변경에 대한 정보를 취득하고 저장하는 모든 과정에서 사람의 개입을 최소화하여, POI의 변경에 대한 정보를 취득 및 처리함에 따른 비용, 시간 및 노력을 최소화할 수 있으며, 항상 최신의 POI 정보를 유지할 수 있다. 또한, 실 공간에 대해 촬영된 영상을 분석하여 POI 명, 종류(category) 등 POI에 대한 직접적인 속성 정보를 자동으로 추출, 저장 및 활용할 수 있는 방법과, 추출 가능한 POI 정보를 영상분석 및 유추를 통해서 파악이 가능한 의미적인 정보(semantic information) 영역까지 확장할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 정보 수집 및 업데이트 방법에 있어서,
    대상 장소의 복수의 위치에서 촬영된 복수의 영상들 각각을 영상의 촬영 위치 및 촬영 시점과 연계하여 관심지점(Point Of Interest, POI) 데이터베이스에 저장하는 단계;
    상기 대상 장소 내의 대상 위치를 선정하는 단계;
    상기 대상 위치에 대응하는 촬영 위치에 연계하여 상기 관심지점 데이터베이스에 저장된 영상들 중에서 상기 촬영 시점에 기초하여 이전 영상 및 이후 영상을 선정하는 단계; 및
    상기 선정된 이전 영상 및 이후 영상을 비교하여 상기 대상 위치에 대한 관심지점 변동을 인식하는 단계
    를 포함하는 정보 수집 및 업데이트 방법.
  2. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 대상 장소를 자율 주행하는 맵핑 로봇 및 상기 대상 장소를 이동하는 트롤리(trolley) 중 적어도 하나에 포함된 카메라 및 센서를 통해 얻어지는 기본 영상과 상기 기본 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 상기 관심지점 데이터베이스를 구축하는 것을 특징으로 하는 정보 수집 및 업데이트 방법.
  3. 제1항에 있어서,
    상기 저장하는 단계는,
    상기 대상 장소를 자율 주행하면서 기설정된 서비스 임무를 수행하는 서비스 로봇, 상기 대상 장소에 위치하는 사용자들의 카메라를 포함하는 단말 및 상기 대상 장소에 배치된 CCTV(Closed Circuit Television) 중 적어도 하나로부터 상기 대상 장소에 대해 촬영된 수시 영상과 상기 수시 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 상기 관심지점 데이터베이스를 업데이트하는 것을 특징으로 하는 정보 수집 및 업데이트 방법.
  4. 제1항에 있어서,
    상기 저장하는 단계는,
    영상들 각각을 영상의 촬영 방향과 더 연계하여 상기 관심지점 데이터베이스에 저장하고,
    상기 선정하는 단계는,
    상기 촬영 방향에 더 기초하여 동일 방향 영상을 상기 이전 영상 및 상기 이후 영상을 선정하는 것을 특징으로 하는 정보 수집 및 업데이트 방법.
  5. 제4항에 있어서,
    상기 선정하는 단계는,
    상기 촬영 방향에 기초하여 기설정된 비율 이상 서로 동일한 부분을 촬영했을 것으로 예상되는 정도의 방향 유사성을 갖는 영상들의 페어 또는 상기 촬영 방향이 기설정된 각도 차 이내인 영상들의 페어를 상기 이전 영상 및 상기 이후 영상으로 선정하는 것을 특징으로 하는 정보 수집 및 업데이트 방법.
  6. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 이전 영상의 디스크립터와 상기 이후 영상의 디스크립터를 비교하여 상기 관심지점 변동을 인식하는 것을 특징으로 하는 정보 수집 및 업데이트 방법.
  7. 제1항에 있어서,
    상기 인식하는 단계는,
    상기 이전 영상 및 상기 이후 영상에서 OCR(Optical Character Reader)을 통해 추출되는 텍스트를 비교하여 상기 관심지점 변동을 인식하는 것을 특징으로 하는 정보 수집 및 업데이트 방법.
  8. 제1항에 있어서,
    상기 인식된 관심지점 변동에 대한 정보를 통해 운영자가 대응하는 관심지점에 대한 정보를 업데이트하도록, 관심지점 변동의 인식과 관련된 이전 영상 및 이후 영상을 적어도 포함하는 관심지점 변동 정보를 생성하여 운영자에게 제공하는 단계
    를 더 포함하는 정보 수집 및 업데이트 방법.
  9. 제1항에 있어서,
    프랜차이즈 매장이 포함된 영상들을 학습 데이터로 활용하여 딥 러닝 모델이 입력 영상의 디스크립터를 이용하여 상기 입력 영상에 포함된 프랜차이즈 매장의 속성을 추출하도록 학습시키는 단계; 및
    상기 학습된 딥 러닝 모델을 이용하여 상기 인식된 관심지점 변동과 관련된 이후 영상에서 추출되는 프랜차이즈 매장의 속성을 통해 대응하는 관심지점에 대한 정보를 업데이트하는 단계
    를 더 포함하는 정보 수집 및 업데이트 방법.
  10. 제1항에 있어서,
    상기 관심지점 데이터베이스에 저장된 영상들 및 상기 저장된 영상들 각각에 포함된 관심지점의 속성을 학습 데이터로 활용하여 딥 러닝 모델이 입력 영상에 포함된 관심지점의 속성을 추출하도록 학습시키는 단계; 및
    상기 학습된 딥 러닝 모델을 이용하여 상기 인식된 관심지점 변동과 관련된 이후 영상에서 추출되는 관심지점의 속성을 통해 대응하는 관심지점에 대한 정보를 업데이트하는 단계
    를 더 포함하는 정보 수집 및 업데이트 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
  12. 컴퓨터 장치에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    대상 장소의 복수의 위치에서 촬영된 복수의 영상들 각각을 영상의 촬영 위치 및 촬영 시점과 연계하여 관심지점(Point Of Interest, POI) 데이터베이스에 저장하고,
    상기 대상 장소 내의 대상 위치를 선정하고,
    상기 대상 위치에 대응하는 촬영 위치에 연계하여 상기 관심지점 데이터베이스에 저장된 영상들 중에서 상기 촬영 시점에 기초하여 이전 영상 및 이후 영상을 선정하고,
    상기 선정된 이전 영상 및 이후 영상을 비교하여 상기 대상 위치에 대한 관심지점 변동을 인식하는 것
    을 특징으로 하는 컴퓨터 장치.
  13. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 대상 장소를 자율 주행하는 맵핑 로봇 및 상기 대상 장소를 이동하는 트롤리(trolley) 중 적어도 하나에 포함된 카메라 및 센서를 통해 얻어지는 기본 영상과 상기 기본 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 상기 관심지점 데이터베이스를 구축하는 것
    을 특징으로 하는 컴퓨터 장치.
  14. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 대상 장소를 자율 주행하면서 기설정된 서비스 임무를 수행하는 서비스 로봇, 상기 대상 장소에 위치하는 사용자들의 카메라를 포함하는 단말 및 상기 대상 장소에 배치된 CCTV(Closed Circuit Television) 중 적어도 하나로부터 상기 대상 장소에 대해 촬영된 수시 영상과 상기 수시 영상의 촬영 위치 및 촬영 시점을 네트워크를 통해 수신하여 상기 관심지점 데이터베이스를 업데이트하는 것
    을 특징으로 하는 컴퓨터 장치.
  15. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    영상들 각각을 영상의 촬영 방향과 더 연계하여 상기 관심지점 데이터베이스에 저장하고,
    상기 촬영 방향에 더 기초하여 동일 방향 영상을 상기 이전 영상 및 상기 이후 영상을 선정하는 것
    을 특징으로 하는 컴퓨터 장치.
  16. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 이전 영상의 디스크립터와 상기 이후 영상의 디스크립터를 비교하여 상기 관심지점 변동을 인식하는 것
    을 특징으로 하는 컴퓨터 장치.
  17. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 이전 영상 및 상기 이후 영상에서 OCR(Optical Character Reader)을 통해 추출되는 텍스트를 비교하여 상기 관심지점 변동을 인식하는 것
    을 특징으로 하는 컴퓨터 장치.
  18. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 인식된 관심지점 변동에 대한 정보를 통해 운영자가 대응하는 관심지점에 대한 정보를 업데이트하도록, 관심지점 변동의 인식과 관련된 이전 영상 및 이후 영상을 적어도 포함하는 관심지점 변동 정보를 생성하여 운영자에게 제공하는 것
    을 특징으로 하는 컴퓨터 장치.
  19. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    프랜차이즈 매장이 포함된 영상들을 학습 데이터로 활용하여 딥 러닝 모델이 입력 영상의 디스크립터를 이용하여 상기 입력 영상에 포함된 프랜차이즈 매장의 속성을 추출하도록 학습시키고,
    상기 학습된 딥 러닝 모델을 이용하여 상기 인식된 관심지점 변동과 관련된 이후 영상에서 추출되는 프랜차이즈 매장의 속성을 통해 대응하는 관심지점에 대한 정보를 업데이트하는 것
    을 특징으로 하는 컴퓨터 장치.
  20. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 관심지점 데이터베이스에 저장된 영상들 및 상기 저장된 영상들 각각에 포함된 관심지점의 속성을 학습 데이터로 활용하여 딥 러닝 모델이 입력 영상에 포함된 관심지점의 속성을 추출하도록 학습시키고,
    상기 학습된 딥 러닝 모델을 이용하여 상기 인식된 관심지점 변동과 관련된 이후 영상에서 추출되는 관심지점의 속성을 통해 대응하는 관심지점에 대한 정보를 업데이트하는 것
    을 특징으로 하는 컴퓨터 장치.
PCT/KR2019/006970 2018-06-15 2019-06-11 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템 WO2019240452A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/122,318 US20210097103A1 (en) 2018-06-15 2020-12-15 Method and system for automatically collecting and updating information about point of interest in real space

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0068652 2018-06-15
KR1020180068652A KR102092392B1 (ko) 2018-06-15 2018-06-15 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/122,318 Continuation US20210097103A1 (en) 2018-06-15 2020-12-15 Method and system for automatically collecting and updating information about point of interest in real space

Publications (1)

Publication Number Publication Date
WO2019240452A1 true WO2019240452A1 (ko) 2019-12-19

Family

ID=68842250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006970 WO2019240452A1 (ko) 2018-06-15 2019-06-11 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템

Country Status (3)

Country Link
US (1) US20210097103A1 (ko)
KR (1) KR102092392B1 (ko)
WO (1) WO2019240452A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210272225A1 (en) * 2017-04-19 2021-09-02 Global Tel*Link Corporation Mobile correctional facility robots
CN114527749A (zh) * 2022-01-20 2022-05-24 松乐智能装备(深圳)有限公司 一种智能仓储机器人的安全引导方法及系统
US11959733B2 (en) 2017-04-19 2024-04-16 Global Tel*Link Corporation Mobile correctional facility robots

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018118215B4 (de) * 2018-07-27 2020-04-16 Man Truck & Bus Se Verfahren zur Aktualisierung einer Umgebungskarte, Vorrichtung für die fahrzeugseitige Durchführung von Verfahrensschritten des Verfahrens, Fahrzeug, Vorrichtung für die zentralrechnerseitige Durchführung von Verfahrensschritten des Verfahrens sowie computerlesbares Speichermedium
KR102331268B1 (ko) * 2020-01-13 2021-11-25 강민경 장소 정보 기반의 추천 시스템
CN113396410A (zh) * 2020-01-14 2021-09-14 华为技术有限公司 一种图像识别方法及相关设备
KR102526261B1 (ko) * 2020-12-04 2023-04-27 한국전자기술연구원 시공간 컨텍스트 피드백 기반 동적 ai 모델 선택 방법
CN113032672A (zh) * 2021-03-24 2021-06-25 北京百度网讯科技有限公司 多模态poi特征的提取方法和装置
KR102705200B1 (ko) * 2021-10-20 2024-09-11 네이버 주식회사 건물을 주행하는 로봇 제어 방법 및 시스템
CN114372152B (zh) * 2022-01-05 2024-08-16 自然资源部地图技术审查中心 一种电子地图poi的快速安全检查方法和装置
WO2023132405A1 (ko) * 2022-01-07 2023-07-13 충남대학교산학협력단 지도 업데이트를 위한 정보 제공 플랫폼
KR20240061265A (ko) * 2022-10-31 2024-05-08 네이버랩스 주식회사 Poi 변화 자동 탐지를 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
CN117109603B (zh) * 2023-02-22 2024-07-09 荣耀终端有限公司 一种poi更新方法和导航服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110586A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
KR20150037104A (ko) * 2013-09-30 2015-04-08 에스케이플래닛 주식회사 클라우드 소싱 기반 관심 지점 정보 업데이트 방법, 이를 위한 시스템 및 장치
KR20160003387A (ko) * 2014-07-01 2016-01-11 네이버 주식회사 Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
KR101806957B1 (ko) * 2016-06-02 2017-12-11 네이버 주식회사 관심 지점의 자동 업데이트를 위한 방법 및 시스템
KR20180054505A (ko) * 2016-11-15 2018-05-24 주식회사 로보러스 매장 관리 장치, 그 방법 및 매장 관리 로봇
KR20180059723A (ko) * 2016-11-26 2018-06-05 팅크웨어(주) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
KR20120043995A (ko) * 2010-10-27 2012-05-07 건국대학교 산학협력단 복수개의 카메라를 이용한 관심영역 추출 시스템 및 그 방법
US9323250B2 (en) * 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9165206B2 (en) * 2011-12-12 2015-10-20 Google Inc. Updating point of interest data based on an image
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110586A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
KR20150037104A (ko) * 2013-09-30 2015-04-08 에스케이플래닛 주식회사 클라우드 소싱 기반 관심 지점 정보 업데이트 방법, 이를 위한 시스템 및 장치
KR20160003387A (ko) * 2014-07-01 2016-01-11 네이버 주식회사 Ｏｃｒ를 기반으로 지도 이미지를 인식하는 시스템과 방법, 그리고 기록 매체 및 파일 배포 시스템
KR101806957B1 (ko) * 2016-06-02 2017-12-11 네이버 주식회사 관심 지점의 자동 업데이트를 위한 방법 및 시스템
KR20180054505A (ko) * 2016-11-15 2018-05-24 주식회사 로보러스 매장 관리 장치, 그 방법 및 매장 관리 로봇
KR20180059723A (ko) * 2016-11-26 2018-06-05 팅크웨어(주) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210272225A1 (en) * 2017-04-19 2021-09-02 Global Tel*Link Corporation Mobile correctional facility robots
US11959733B2 (en) 2017-04-19 2024-04-16 Global Tel*Link Corporation Mobile correctional facility robots
CN114527749A (zh) * 2022-01-20 2022-05-24 松乐智能装备(深圳)有限公司 一种智能仓储机器人的安全引导方法及系统

Also Published As

Publication number Publication date
US20210097103A1 (en) 2021-04-01
KR20190141892A (ko) 2019-12-26
KR102092392B1 (ko) 2020-03-23

Similar Documents

Publication Publication Date Title
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR102096926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
Dong et al. ViNav: A vision-based indoor navigation system for smartphones
AU2019419781B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
JP6255085B2 (ja) 位置特定システムおよび位置特定方法
WO2017086561A1 (en) Landmark location determination
KR102106029B1 (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
KR102189926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
WO2019117583A1 (ko) 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템
WO2021241847A1 (ko) 시각 특징 맵 생성 방법 및 시스템
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2019235653A1 (ko) 근거리 무선 통신을 기반으로 근처 지인을 파악하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
WO2020141694A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
KR20200012379A (ko) 이미지 기반 실내위치 검출장치 및 검출방법
Wang et al. iNavigation: an image based indoor navigation system
Hile et al. Information overlay for camera phones in indoor environments
KR20200002219A (ko) 실내 길안내 장치 및 그 방법
JP6943183B2 (ja) 位置特定装置、位置特定方法、位置特定プログラムおよびカメラ装置
JP6224343B2 (ja) サーバ装置、情報処理方法並びに情報処理システム及び情報処理プログラム
WO2024096309A1 (ko) Poi 변화 자동 탐지를 위한 방법, 컴퓨터 장치, 및 컴퓨터 프로그램
WO2023136495A1 (ko) 시각적 측위방법, 이를 이용하는 제어서버 및 건물
CN114071003B (zh) 一种基于光通信装置的拍摄方法和系统
JP2004317715A (ja) 情報処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818938

Country of ref document: EP

Kind code of ref document: A1