WO2021010784A2 - 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법 - Google Patents

객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법 Download PDF

Info

Publication number
WO2021010784A2
WO2021010784A2 PCT/KR2020/009431 KR2020009431W WO2021010784A2 WO 2021010784 A2 WO2021010784 A2 WO 2021010784A2 KR 2020009431 W KR2020009431 W KR 2020009431W WO 2021010784 A2 WO2021010784 A2 WO 2021010784A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
unit
driving
mobile robot
Prior art date
Application number
PCT/KR2020/009431
Other languages
English (en)
French (fr)
Other versions
WO2021010784A3 (ko
Inventor
신경철
박성주
박기연
이규범
Original Assignee
주식회사 유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190121799A external-priority patent/KR102301759B1/ko
Application filed by 주식회사 유진로봇 filed Critical 주식회사 유진로봇
Priority to EP20840775.9A priority Critical patent/EP4015159A4/en
Publication of WO2021010784A2 publication Critical patent/WO2021010784A2/ko
Publication of WO2021010784A3 publication Critical patent/WO2021010784A3/ko
Priority to US17/577,016 priority patent/US20220139086A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40475—In presence of moving obstacles, dynamic environment
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • the present invention relates to an environment learning apparatus for a robot, and more particularly, to an environment learning apparatus and an environment learning method for an autonomous mobile robot.
  • the present invention relates to an object image generating apparatus and method, and an object recognition apparatus including the same, and more particularly, to an object image generating apparatus and method using a three-dimensional lidar (LIDAR), and an object recognition apparatus including the same.
  • LIDAR three-dimensional lidar
  • robots have been developed for industrial use and have been responsible for a part of factory automation.
  • field of application of robots has been further expanded, medical robots, aerospace robots, etc. are being developed, and home robots that can be used in general homes are also being made.
  • a typical example of a household robot is a mobile robot that performs cleaning.
  • the mobile robot automatically cleans the area to be cleaned by inhaling foreign substances such as dust from the floor while traveling by itself while traveling in the area to be cleaned.
  • the mobile robot detects obstacles located in the cleaning area through various sensors, and the like, and uses the detection result to control the travel path and cleaning operation of the mobile robot.
  • the position was estimated by recognizing each object during autonomous driving, but an algorithm performed during autonomous driving requires an additional processor to perform deep learning on the processing power for autonomous driving. Do.
  • the present invention is an environment learning device and environment learning method for an autonomous mobile robot. Deep learning that recognizes the environment by reloading the environment information acquired by the robot while the autonomous driving mobile robot is charging and the robot creates a map while autonomously driving. learning) algorithm, checking the location of recognized objects, and marking on a map. The purpose is to use it in an application that finally recognizes and locates objects such as furniture.
  • the processor can be sufficiently used, and since the charging time is guaranteed, there is another purpose to provide sufficient time margin.
  • the system can be implemented with low system specifications, and since the position of the object is marked on the map, deep learning while the robot is running. Another purpose is to call or send the robot to a desired location without the (deep learning) algorithm running.
  • the present invention includes an apparatus and method for generating an object image having high object recognition performance while minimizing the computational complexity for recognizing an object based on information obtained from LIDAR in order to solve the above-described conventional problem.
  • Another object is to provide an object recognition device.
  • Still other objects, not specified, of the present invention may be additionally considered within the range that can be easily deduced from the following detailed description and effects thereof.
  • the environment learning apparatus of the autonomous driving mobile robot includes environmental information already acquired while driving by the autonomous driving mobile robot in a state in which power management is possible above a predetermined standard, and the Recognizing an object located in the driving area by using at least a portion of a memory for storing driving map information generated in relation to the driving area in which the autonomous driving mobile robot has traveled, and the environment information and the driving map information stored in the memory.
  • An environment information acquisition unit that determines feature points for and loads the selected environment information according to the determined feature point from the memory, a driving environment recognition unit that recognizes the object using the selected environment information, and the recognized object
  • an update unit for updating the driving map using the object information according to.
  • the driving map information includes a plurality of nodes and links constituting a driving map related to the driving area
  • the environment information includes image information on the driving area obtained during driving and external LiDAR. It includes distance information and reflected light information extracted from 3D-based point cloud data obtained from.
  • the feature point is at least one of a point whenever the autonomous driving mobile robot moves a certain path, a point at which the direction of the autonomous driving mobile robot changes, and a predetermined point for recognizing the object.
  • the environment information acquisition unit using at least a portion of the environment information and the driving map information stored in the memory, a characteristic point determination unit for determining a characteristic point for recognizing an object located in the driving area, and the determined characteristic And a loading unit that loads environment information selected according to a point from the memory.
  • the feature point determining unit designates the feature point as a feature node among nodes constituting the driving map, and assigns a number for each node according to the order in which the feature node is designated
  • the loading unit includes the designated Environment learning apparatus of an autonomous driving mobile robot, characterized in that, according to an order of the characteristic nodes, the stored environment information is loaded when the autonomous driving mobile robot is located in the characteristic node.
  • the loading unit is a rider that loads distance information and reflected light information extracted from point cloud data obtained from the LiDAR when the autonomous mobile robot is located at the characteristic node while driving. And a data loading unit and an image data loading unit for loading image information on the driving area obtained from an image information acquisition unit when the autonomous mobile robot is located at the characteristic node during driving.
  • the driving environment recognition unit recognizes an object included in the surrounding environment of the feature points using a convolutional neural network (CNN) method.
  • CNN convolutional neural network
  • the driving environment recognition unit is based on the distance information and reflected light information loaded from the rider data loading unit, from the lidar data recognition unit and the image data loading unit to recognize objects included in the surrounding environment of the feature points.
  • an image data recognition unit for recognizing an object included in the surrounding environment of the feature points based on the loaded image information.
  • the rider data recognition unit includes a first input unit receiving the distance information and reflected light information acquired from the rider data loading unit, and each of the point cloud data based on the distance information and reflected light information.
  • a first shape extraction unit that extracts shapes of objects included in the surrounding environment of the feature points by synthesizing or filtering cross sections of candidate objects at points, and classifies the shapes of the objects according to attributes from the extracted shapes of the objects
  • a first object recognition unit for recognizing an object.
  • the image data recognition unit may synthesize a cross section of candidate objects at each point of a second input unit receiving the image information obtained from the image data loading unit and the image information on the driving area included in the image information, or
  • a second shape extracting unit that filters and extracts the shapes of objects included in the surrounding environment of the feature points, and a second object recognition that recognizes the object by classifying the shapes of the objects according to attributes from the extracted shapes of the objects Includes wealth.
  • the driving environment recognition unit classifies object information in detail by comparing object information according to the object recognized by the rider data recognition unit and object information according to the object recognized by the image data recognition unit by coordinates of the feature node. It further includes an object information matching unit.
  • the update unit updates the driving map by matching the coordinates of the corresponding characteristic node of the recognized object information with the coordinates of the driving map for the driving area.
  • An environment learning method of an autonomous mobile robot is a feature point for recognizing an object located in a driving area by using at least some of environment information and driving map information stored in a memory by an environment information acquisition unit. And loading the selected environment information according to the determined feature point from the memory, recognizing the object by using the selected environment information by a driving environment recognition unit, and an object according to the recognized object by an update unit And updating the driving map by using the information.
  • the driving map information includes a plurality of nodes and links constituting a driving map related to the driving area
  • the environment information includes image information on the driving area obtained during driving and external LiDAR. It includes three-dimensional-based point cloud data according to the reflected light signal reflected by the object obtained from.
  • the feature point is at least one of a point whenever the autonomous driving mobile robot moves a certain path, a point at which the direction of the autonomous driving mobile robot changes, and a predetermined point for recognizing the object.
  • the feature point determination unit uses at least a portion of the environment information and the driving map information stored in the memory, and the object located in the driving area
  • Determining a feature point for recognizing a characteristic point and loading, by a loading unit, the selected environment information according to the determined feature point from the memory, and determining the feature point comprises: a node constituting the driving map Among them, the feature point is designated as a feature node, and the number is assigned to each node according to the order in which the feature nodes are designated, and the loading from the memory includes the autonomous driving movement according to the order of the designated feature nodes.
  • the robot is located in the feature node, the stored environment information is loaded.
  • the step of loading from the memory includes, when the lidar data loading unit is located at the characteristic node when the autonomous driving mobile robot is traveling, the 3D-based point cloud data obtained from the LiDAR Loading distance information and reflected light information extracted from and when an image data loading unit is located at the feature node while the autonomous mobile robot is traveling, loading image information on the driving area obtained from an image information acquisition unit Includes.
  • the step of recognizing the object may include recognizing an object included in the surrounding environment of the feature points, based on the distance information and reflected light information loaded by the lidar data recognition unit from the lidar data loading unit, and image data recognition Recognizing an object included in the surrounding environment of the feature points based on the image information loaded from the additional image data loading unit, and object information according to the object recognized by the lidar data recognition unit by an object information matching unit, And classifying object information in detail by comparing object information according to the object recognized by the image data recognition unit by coordinates of the feature nodes.
  • the driving map is updated by matching coordinates of a corresponding characteristic node of the recognized object information with coordinates of a driving map for the driving area.
  • An object image generating apparatus for achieving the above object is a 3D radar that receives a reflected light signal reflected by an object and generates a point cloud according to the reflected light signal. And an object generating a plurality of images by projecting at least a part of the point cloud onto a predetermined space according to the distance to the object and the intensity of the reflected light signal, and generating a color image reconstructed using the plurality of images. It may include an image reconstruction unit.
  • the plurality of images generated by the object image reconstruction unit include, based on the point cloud, a depth image defining a distance to the object and an intensity image according to the intensity of the reflected light signal, and the The object image reconstruction unit may generate the color image by reconstructing the depth image and the intensity image according to a predetermined color coordinate system.
  • the object image reconstruction unit may further include a mixed image generator configured to generate a mixed image by mixing the depth image and the intensity image, and the depth image, the intensity image, and the mixed image according to a predetermined color coordinate system using the depth image, the intensity image, and the mixed image. It may include a color image generator that generates a color image.
  • the mixed image generator may generate the mixed image by weighting the pixel information of the depth image and the pixel information of the intensity image.
  • the object image reconstruction unit converts an image filter unit that performs filtering to remove noise from the depth image and intensity image, and a histogram distribution characteristic for each pixel value of the filtered depth image and intensity image. Accordingly, an image preprocessing unit for uniformly distributing and flattening the pixel values of the filtered depth image and intensity image; further comprising, the mixed image generating unit, the mixed image by mixing the flattened depth image and the intensity image Can be created.
  • the depth image, the intensity image, and the mixed image may be a two-dimensional black and white image of a black and white series.
  • the intensity image may display information on the surface of the object by projecting at least a part of the point cloud onto the 2D space according to the intensity of the reflected light signal.
  • the object image generating device may be installed on a mobile robot that moves and travels in a predetermined space.
  • An object recognition apparatus for achieving the above object, receives a reflected light signal reflected by an object, and generates a point cloud according to the reflected light signal. Is, generating a plurality of images by projecting at least a part of the point cloud into a predetermined space according to the distance to the object and the intensity of the reflected light signal, and generating a color image reconstructed using the plurality of images
  • An object image reconstruction unit and a processor for recognizing the object using the color image may be included.
  • the plurality of images generated by the object image reconstruction unit may include a depth image defining a distance to the object based on the point cloud; And an intensity image according to the intensity of the reflected light signal, and the object image reconstruction unit may generate the color image by reconstructing the depth image and the intensity image according to a predetermined color coordinate system.
  • the object image reconstruction unit may further include a mixed image generator configured to further generate a mixed image by mixing the depth image and the intensity image; And a color image generator that generates the color image according to a predetermined color coordinate system by using the depth image, the intensity image, and the mixed image.
  • the processor further comprises, labeling a part of the color image.
  • a label image generator for generating one label image may be further included.
  • the processor may input the color image and the label image to an artificial neural network, and recognize the objects through the artificial neural network.
  • the processor includes: an encoding unit for encoding each of the color image and the label image, converting them into input feature vectors, and transmitting the converted input feature vectors to the artificial neural network; And a decoding unit for recognizing objects in the color image by decoding an output feature vector output from the artificial neural network, wherein the artificial neural network further comprises: an input radar receiving the input feature vectors; A hidden layer for converting the input feature vectors into the output feature vectors by weighting the input feature vectors through hidden nodes set to different weights; And an output layer for outputting the output feature vector to the decoding unit.
  • the mixed image generator may generate the mixed image by weighting the pixel information of the depth image and the pixel information of the intensity image.
  • An object image generation method for achieving the above object is, a 3D lidar receives a reflected light signal reflected by an object, and a point cloud according to the reflected light signal Generating a plurality of images in which at least a part of the point cloud is projected into a predetermined space according to the distance to the object and the intensity of the reflected light signal, and the object image reconstruction unit generates a plurality of images, using the plurality of images. It may include generating a reconstructed color image.
  • deep learning in which the autonomous driving mobile robot recognizes the environment by reloading the environment information obtained when the robot creates a map and autonomously while charging.
  • Using a method of performing an algorithm and marking the location of recognized objects on a map it can be used in an application that finally recognizes objects such as furniture and locates them.
  • the processor can be sufficiently used, and since the charging time is guaranteed, a sufficient time margin can be provided.
  • the system can be implemented with low system specifications, and since the position of the object is marked on the map, deep learning while the robot is running.
  • the (deep learning) algorithm can call or send a robot to a desired location without having to run it.
  • the object image generating apparatus, method, and object recognition apparatus including the same convert the 3D information obtained from 3D LIDAR into 2D information to reduce the order of information. There is an effect of securing the amount of computation and speed that can be driven even in devices with small computational power, such as household cleaning robots.
  • FIG. 1 is a diagram schematically illustrating a system of an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an environment learning apparatus of an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an environment information acquisition unit of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • 4 to 6 are diagrams for explaining driving map information of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a driving environment recognition unit of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a lidar data recognition unit of the environment learning apparatus of the autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an image data recognition unit of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • FIGS. 10A and 10B are views for explaining an object information matching unit of an environment learning apparatus of an autonomous mobile robot according to an embodiment of the present invention.
  • 11 to 14 are flowcharts illustrating an environment learning method of an autonomous mobile robot according to an embodiment of the present invention.
  • 15 is a block diagram schematically illustrating a configuration of an object recognition apparatus according to an embodiment of the present invention.
  • 16 is a block diagram schematically showing the configuration of a 3D lidar according to an embodiment of the present invention.
  • 17 is a block diagram showing in more detail the configuration of an object recognition apparatus according to another embodiment of the present invention.
  • 18 is a conceptual diagram illustrating an operation algorithm of an object recognition apparatus according to an embodiment of the present invention.
  • 19 is a block diagram showing in more detail the configuration of an object recognition apparatus according to another embodiment of the present invention.
  • 20 is a conceptual diagram illustrating an operation algorithm of an object recognition apparatus according to another embodiment of the present invention.
  • 21 is a diagram illustrating generation of a depth image using a point cloud according to an embodiment of the present invention.
  • FIG. 22 is a diagram illustrating generating an intensity image using a point cloud according to an embodiment of the present invention.
  • FIG. 23 is a reference diagram illustrating a process of generating a color image according to an embodiment of the present invention.
  • 24 is a diagram showing an algorithm for generating a color image described above.
  • 25 is a diagram showing a color image generated through the above-described process
  • 26 is a diagram illustrating input images input to an artificial neural network of a processor according to an embodiment of the present invention.
  • FIG. 27 is a flowchart illustrating a method of generating an object image according to an embodiment of the present invention over time.
  • first and second may be used to describe various components, but the components should not be limited by terms. These terms are used only for the purpose of distinguishing one component from another component.
  • FIG. 1 is a diagram schematically illustrating a system of an autonomous mobile robot according to an embodiment of the present invention.
  • the system of an autonomous mobile robot may include an autonomous mobile robot 1 and a docking station 2 for charging the mobile robot. have.
  • the autonomous mobile robot 1 refers to a cleaning robot that can move, and may automatically perform cleaning while moving in a predetermined space, such as a home, a public institution, or a company.
  • the autonomous mobile robot 1 includes a LiDAR 11 mounted inside or outside and an image information acquisition unit 12.
  • the 3D lidar 11 may be implemented as a laser radar having excellent performance in a range of distances capable of detecting distant objects, a range of viewing angles such as azimuth and elevation, and spatial resolution.
  • the radar shoots a laser signal, measures the time it returns from reflection, and uses the speed of light to measure the distance of the reflector.
  • the laser signal is converted into an electrical signal through a photodiode.
  • the laser signal may have a preset wavelength band.
  • the 3D lidar 11 of the present invention transmits and receives an optical signal using a pair of light sources and a photodiode, and scans the periphery in 3D using a movable mirror and a rotating body.
  • the 3D lidar 11 may operate in a time of flight (TOF) method.
  • TOF time of flight
  • the laser emits a pulse or square wave signal and measures the time when the reflected pulse or square wave signals from objects within the measurement range arrive at the receiver, thereby measuring the distance between the measurement object and the distance measuring device.
  • the laser signal irradiated by the 3D lidar 11 is irradiated at very close intervals while moving up, down, left and right, when distance information according to the laser signal reflected by objects is collected, the environment around the 3D lidar 3D information can be obtained.
  • the 3D lidar 11 of the present invention is installed on the top surface of the mobile robot, rotates itself, and transmits and receives laser signals at preset periodic intervals to the surrounding environment in a 360-degree angular range.
  • a point cloud including information on may be acquired, the mobile robot may be fixed at a position to recognize an object, or may transmit and receive a laser signal while moving and driving at a timing to be recognized.
  • the image information acquisition unit 12 may include various sensors, such as a camera, a laser scanner, an ultrasonic sensor, and the like, and the entire area to be cleaned while moving in a predetermined space, such as a home, a public institution, a company, etc., based on the acquired data.
  • a predetermined space such as a home, a public institution, a company, etc.
  • the environment learning apparatus 10 for an autonomous mobile robot is implemented as a processor in the autonomous mobile robot 1, and the environment acquired by the lidar 11 and the image information acquisition unit 12
  • the information may be used, and may include a memory for storing environment information already acquired during driving and driving map information generated in relation to a driving area in which the autonomous driving mobile robot has traveled.
  • the driving map information includes a plurality of nodes and links constituting a driving map related to the driving area
  • the environment information is obtained from image information on the driving area obtained during driving and an external LiDAR. It includes distance information and reflected light information extracted from the acquired 3D-based point cloud data.
  • the autonomous driving mobile robot 1 may generate a map using, for example, Slam (Simultaneous Localization And Mapping: SLAM) technology.
  • SLAM Simultaneous Localization And Mapping
  • the slam technology is a technology that recognizes a location with an existing map or creates a map by knowing the location, and further refers to a technology that complements each other by simultaneously grasping the location and building a map.
  • the autonomous mobile robot 1 autonomously moves the area to be cleaned, performs automatic cleaning, and then moves to the docking station 2 to charge and empty the dust stored in the robot cleaner.
  • a signal processing unit determines a driving mode or a driving route of the autonomous mobile robot using the environment information acquired by the image information acquisition unit 12, and processes an operation related to a driving area and a user command.
  • the docking station 2 can charge the docked autonomous mobile robot 1 when the autonomous driving mobile robot 1 is docked according to the transmitted docking guidance signal by transmitting a docking guidance signal in front.
  • the docking station 2 may stop or block the transmission of a docking induction signal for inducing the mobile robot.
  • the docking station 2 normally transmits a signal to smoothly guide the mobile robot to the docking station, as well as a function of supplying power by connecting an external power source to the mobile robot when the mobile robot is connected. Functions to display the status of whether is on, charging, charging completion, etc., guiding signals using power from the power supply, status indication, functions such as external power supply, and docking station operation by receiving power from an external AC input It performs the function of converting to power for
  • the docking station 2 can block the charging status display on the status display unit when the autonomous mobile robot 1 starts charging at the docking station, and if the docking is done after charging is complete, the charging status display on the status display unit Can be blocked.
  • FIG. 2 is a block diagram showing an environment learning apparatus of an autonomous mobile robot according to an embodiment of the present invention.
  • an environment learning apparatus 10 for an autonomous mobile robot includes an environment information acquisition unit 100, a driving environment recognition unit 200, and an update unit 300. .
  • the environment learning apparatus 10 of an autonomous mobile robot is a device for applying a function of recognizing an object and an environment to an autonomous mobile robot that needs to be autonomously driven and charged.
  • the autonomous mobile robot can be used in an application that finally recognizes and locates objects such as furniture using an environment learning device.
  • the autonomous mobile robot includes autonomous mobile robots such as cleaning robots, logistics robots, and service robots, and autonomous mobile robots requiring charging.
  • the position was estimated by recognizing each object during autonomous driving, but an algorithm performed during autonomous driving requires an additional processor to perform deep learning on the processing power for autonomous driving. Do.
  • the environment learning apparatus 10 of the autonomous driving mobile robot reloads the environment information acquired when the robot creates a map and autonomously after charging the robot after the autonomous driving is completed. ), a deep learning algorithm to recognize the environment is performed, and the location of the recognized objects is checked and marked on a map.
  • the processor can be sufficiently used, and since the charging time is guaranteed, there is sufficient time margin.
  • the system can be implemented with low system specifications, and since the position of the object is marked on the map, deep learning while the robot is running. It is possible to call or send a robot to a desired location without the (deep learning) algorithm running.
  • the environmental information acquisition unit 100 includes environmental information already acquired while driving by an autonomous mobile robot in a state in which power management is possible above a predetermined standard, and driving map information generated in relation to a driving area in which the autonomous driving mobile robot has traveled. Using at least a portion of the environment information and the driving map information stored in the memory 101 to store, feature points for recognizing an object located in the driving area are determined, and selected environment information according to the determined feature points Is loaded from the memory.
  • the certain criteria include, for example, when charging in the docking station, when the amount of charge of the battery is higher than a certain level, when the remaining movement path of the moving robot is considered, and when the amount of power exceeding the reference value remains.
  • a charging mode command when a charging mode command is input, it may be determined as a state for learning environmental information.
  • the charging mode command when the autonomous driving mobile robot is docked at the charging station, the driving process is stopped, Lets start the charging process, and during the charging process, the algorithm of the environmental learning device is performed.
  • a charging mode command is received from the control unit (not shown), charging starts, and when a driving mode command is received, charging stops and autonomous driving starts.
  • the process of the environment learning apparatus may be performed when a person skilled in the art can perform the power management in a state in which power management is possible above a predetermined standard.
  • the driving map information includes a plurality of nodes and links constituting a driving map related to the driving area
  • the environment information is obtained from image information on the driving area obtained during driving and an external LiDAR. It includes distance information and reflected light information extracted from the acquired 3D-based point cloud data.
  • the feature point is at least one of a point whenever the autonomous driving mobile robot moves a certain path, a point at which the direction of the autonomous driving mobile robot is changed, and a predetermined point for recognizing the object.
  • the predetermined point for recognizing the object is a point corresponding to the position at which the object can be recognized best, for example, a point at which the center of the object can be recognized, or a point at which the characteristic appearance of the object is clearly visible, Alternatively, it means a point at which edge feature point extraction is easy (most) from an object, and edge extraction may be performed using a method of detecting an edge region using a Sobel filter or the like.
  • the environment information is data for each location of each point for performing object detection and recognition, and the environment information acquisition unit 100 is configured from information and maps such as a map and a LiDAR image.
  • the virtual robot moves around and acquires data from moment to moment.
  • Information including environment information and driving map information may be stored in each of the memories 101, 102, and 103, and the memory may be included in the device, and each memory may be integrated.
  • the driving environment recognition unit 200 recognizes the object using the selected environment information.
  • the selected environmental information means each environmental information obtained from a feature point determined to recognize an object among environmental information, and object detection and recognition are performed using the obtained environmental information. .
  • the update unit 300 updates the driving map using object information according to the recognized object.
  • object information is, for example, when the recognized object is a fixed table, the object is “object recognition information” called “dining table”, “location information” about the location of the table, and “the table is mainly fixed and used”. Portability information.
  • the updater 300 estimates a location on the map by matching the recognized object with map information. Specifically, the driving map by matching the coordinates of the corresponding characteristic node of the recognized object information and the coordinates of the driving map for the driving area, and marking the object category and information on the position of the recognized object on the map of the recognized object. Update.
  • the system can be implemented with low system specifications, and since the position of the object is marked on the map, deep learning is performed while the robot is running. learning), you can call or send the robot to a desired location without the algorithm running.
  • FIG. 3 is a block diagram illustrating an environment information acquisition unit of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • the environment information acquisition unit 100 of the autonomous driving mobile robot includes a feature point determination unit 110 and a loading unit 120.
  • the environmental information acquisition unit 100 generates data acquired at the moment the robot passes the location among data acquired by the autonomous mobile robot while driving, and acquires both the location of the robot and the data generated at that time while replaying the stored data. And transform it into a form capable of object detection and recognition.
  • the environmental information acquisition unit 100 includes environmental information already acquired while driving by an autonomous mobile robot in a state in which power management is possible above a predetermined standard, and driving map information generated in relation to a driving area in which the autonomous driving mobile robot has traveled. Using at least a portion of the environment information and the driving map information stored in a memory for storing, determining feature points for recognizing an object located in the driving area, and storing selected environment information according to the determined feature point in the memory Load from
  • the environmental information acquisition unit 100 turns off the process for autonomous driving of the robot and turns on the object detection and recognition processes. .
  • the driving map information includes a plurality of nodes and links constituting a driving map related to the driving area
  • the environment information includes image information on the driving area obtained during driving and external LiDAR. It includes distance information and reflected light information extracted from 3D-based point cloud data obtained from.
  • 3D and 2D maps can be used for the driving map
  • image information on the driving area is image data
  • data obtained from LiDAR is 3D and 2D LiDAR data.
  • the feature point determination unit 110 determines a feature point for recognizing an object located in the traveling area by using at least some of the environment information and the traveling map information stored in the memory.
  • the feature point is designated as a feature node, and a number is assigned to each node according to the order in which the feature nodes are designated.
  • the loading unit 120 loads environment information selected according to the determined feature point from the memory, and loads environment information stored when the autonomous mobile robot is located in the feature node according to the order of the designated feature node. .
  • the loaded environment information includes map, point cloud information, image or image information
  • the map is a three-dimensional or two-dimensional map
  • the point cloud information is range information and reflected light ( intensity) information
  • image or image information is an image or images taken while the robot travels.
  • the loading unit 120 includes a lidar data loading unit 121 and an image data loading unit 123.
  • the lidar data loading unit 121 includes distance information and reflected light extracted from 3D-based point cloud data obtained from the LiDAR when the autonomous mobile robot is located at the characteristic node while driving. Loading information.
  • the image data loading unit 123 obtains the image information obtained from the image information acquisition unit 12 when the autonomous driving mobile robot is located at the characteristic node during driving and when the autonomous driving mobile robot is located at the characteristic node during driving. Load image information on the driving area.
  • a data conversion unit for converting the loaded environmental information into a form capable of object detection and recognition may be further included.
  • 4 to 6 are views for explaining a driving map of an environment learning apparatus of an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 4 shows a driving map of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • the autonomous mobile robot stores characteristic points during map generation and also stores environmental information at those points.
  • an autonomous mobile robot uses graph SLAM to generate a map, it can be used as a characteristic point of the graph node.
  • SLAM Simultaneous Localization And Map-Building or Simultaneous Localization and Mapping
  • FIG. 4 shows node information that can be used as feature points in a map generated through Graph SLAM.
  • the driving map 400 includes a plurality of nodes 401 and 410 and links 420 ).
  • each point represents a node
  • a dotted line represents an edge
  • the nodes 401 refer to a point where the autonomous driving robot has moved, and the link 420 indicates a movement path of the autonomous driving robot connecting each node.
  • the characteristic point determination unit 110 On the path generated by the autonomous driving mobile robot moving between obstacles 3 existing in the driving map, the characteristic point determination unit 110 features the characteristic point among the nodes 401 constituting the driving map.
  • a node 410 is designated, and a number is assigned to each node according to the order in which the characteristic nodes are designated.
  • the feature points are a point each time the autonomous driving mobile robot moves a certain path, a point where the path of the autonomous driving mobile robot changes rapidly, and a point when the image information acquisition unit of the autonomous driving mobile robot looks at the center. Is at least one of.
  • the autonomous mobile robot located in each node moves in the first direction D1 or the second direction D2 on the path.
  • LiDAR 3D lidar
  • range range
  • reflected light intensity
  • the image acquired at each feature point and the position information of the robot are stored.
  • the loading unit 120 loads environment information stored when the autonomous mobile robot is located in the feature node according to the order of the designated feature nodes.
  • Data is loaded according to the node number, and when object recognition is performed using 3D LiDAR, the location information of the point cloud and reflected light information of the point cloud are loaded, and the recognizer is configured.
  • FIG. 5 is a detailed illustration of a driving map of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • the feature points that the autonomous driving robot has moved are respectively a first feature node 411, a second feature node 412, a third feature node 413, and a fourth feature node 414.
  • the first characteristic node 411 is located between the first link 421 and the second link 422, and the direction L1 of the first link changes from the direction L2 of the second link at the edge of the object. I can confirm that.
  • the second characteristic node 412 is located between the second link 422 and the third link 423, is located in the central part M of the object, and is located in the direction L3 and the third link of the second link. It can be seen that the link direction L4 is a matching path.
  • the third characteristic node 413 is located between the third link 423 and the fourth link 424, and the direction of the fourth link (L6) changes from the direction of the third link (L5) to the edge of the object. I can confirm that.
  • the feature points are a point each time the autonomous driving mobile robot moves a certain path, a point where the path of the autonomous driving mobile robot changes rapidly, and a point when the image information acquisition unit of the autonomous driving mobile robot looks at the center. Is at least one of.
  • the autonomous mobile robot located in each node moves in the first direction D1 or the second direction D2 on the path.
  • the loading unit 120 loads environment information stored when the autonomous mobile robot is located in the feature node according to the designated order of the feature nodes (#1, #2, #3, #4).
  • Environment information is loaded according to the node number, and when object recognition is performed using 3D LiDAR, position information of a point cloud and reflected light information of a point cloud are loaded, and the recognizer is configured.
  • FIG. 6 illustrates a process of acquiring image information of the autonomous mobile robot from a driving map of the environment learning apparatus of the autonomous mobile robot according to an embodiment of the present invention.
  • the image information acquisition unit of the autonomous driving robot is displayed on the feature nodes 1a, 1b, and 1c, respectively.
  • the front (T1) and side (T2, T3) can be photographed.
  • the area S according to the rotation angle of the camera can be photographed, and the obstacle can be specifically identified by comparing the obstacles viewed from the front and the side when retrieving data later. It is also possible to compare stationary obstacles and moving obstacles by comparing with rider data.
  • FIG. 7 is a block diagram illustrating a driving environment recognition unit of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • a driving environment recognition unit 200 of an autonomous mobile robot includes a rider data recognition unit 210, an image data recognition unit 220, and an object information matching unit 230. Includes.
  • the driving environment recognition unit 200 inserts the converted information into a deep learning engine and performs object detection and recognition.
  • the driving environment recognition unit 200 recognizes the object using the selected environment information.
  • the driving environment recognition unit 200 recognizes object information included in the surrounding environment of the feature points by using a convolutional neural network (CNN) method.
  • CNN convolutional neural network
  • CNN Convolutional Neural Network
  • the model of the driving environment recognition unit is not necessarily limited to a model trained by a convolutional neural network technique, and a model trained by another type of deep learning technique may be used.
  • the driving environment recognition unit has previously performed learning to determine filter coefficients of a convolutional neural network by inputting feature points extracted from pre-classified training data. It may be configured to include a deep learning learning unit for determining coefficients. In addition, it is preferable that the learning to determine the filter coefficient is performed during charging.
  • the lidar data recognition unit 210 recognizes objects included in the surrounding environment of the feature points based on the distance information and reflected light information loaded from the lidar data loading unit.
  • the image data recognition unit 220 recognizes objects included in the surrounding environment of the feature points based on the image information loaded from the image data loading unit.
  • the object information matching unit 230 classifies object information in detail by comparing object information recognized by the lidar data recognition unit with object information recognized by the image data recognition unit by coordinates of the feature node.
  • the object information matching unit classifies the object in consideration of the determination result of the image data recognition unit and the determination result of the lidar data recognition unit. If the determination result of the image data recognition unit and the determination result of the lidar data recognition unit are different from each other, the object may be classified according to the summation result by varying the weight according to the situation. For example, if the lighting is dark, the object information matching unit may classify the object by assigning a higher weight to the determination result of the lidar data recognition unit.
  • location information of a point cloud in which the recognized object is located can be obtained directly from the input data.
  • the position of the recognized object is estimated by matching the map created while the autonomous mobile robot moves with the position and field of view (FOV) of the robot.
  • FOV field of view
  • FIG. 8 is a view for explaining a lidar data recognition unit of the environment learning apparatus of the autonomous mobile robot according to an embodiment of the present invention.
  • the lidar data recognition unit 210 of the autonomous mobile robot includes a first input unit 211, a first shape extraction unit 212, and a first object recognition unit 213. ).
  • the lidar data recognition unit 210 recognizes objects included in the surrounding environment of the feature points based on the distance information and reflected light information loaded from the lidar data loading unit.
  • the first input unit 211 receives the distance information and reflected light information obtained from the rider data loading unit.
  • the first shape extraction unit 212 synthesizes or filters cross sections of candidate objects at each point of the point cloud data based on the distance information and reflected light information, and is included in the surrounding environment of the feature points. Extract the shape of objects.
  • Point cloud data is a format that can be used by the rider data recognition unit 210 and can be extracted from scan information in the form of xyz, las, etc. using a drawing design/production program that can be loaded.
  • point cloud data may include an image representing a shape representing a contour, shape, structure, etc. of a candidate object determined as an object.
  • the first shape extracting unit 212 may cut and synthesize or filter cross-sections at a plurality of predetermined reference heights.
  • the reference height can be pre-designated for various heights, such as 30cm, 50cm, 1m, etc., through filtering, there is a protrusion at the middle height of the object, a protrusion at the top height, or a specific object at the bottom height. It can be confirmed that there is.
  • the first object recognition unit 213 recognizes the object by classifying the shape of the objects according to attributes from the extracted shapes of the objects.
  • the type of the recognized object is output from the output unit 214, and object information according to the object output from a pre-stored driving map is marked. .
  • FIG. 9 is a diagram illustrating an image data recognition unit of an environment learning apparatus for an autonomous mobile robot according to an embodiment of the present invention.
  • the image data recognition unit 220 of the autonomous mobile robot includes a second input unit 221, a second shape extracting unit 222, and a second object recognition unit 223. ).
  • the second input unit 221 receives the image information obtained from the image data loading unit.
  • the second shape extracting unit 222 extracts shapes of objects included in the surrounding environment of the feature points by synthesizing or filtering cross-sections of candidate objects at each point of the image information on the driving area included in the image information. .
  • Cross-sections at a plurality of predefined reference heights can be cut and combined or filtered.
  • the reference height can be pre-designated for various heights, such as 30cm, 50cm, 1m, etc., through filtering, there is a protrusion at the middle height of the object, a protrusion at the top height, or a specific object at the bottom height. It can be confirmed that there is.
  • the second object recognition unit 223 recognizes an object by classifying the shapes of the objects according to attributes from the extracted shapes of the objects.
  • the type of the recognized object is output from the output unit 224, and object information according to the object output from a pre-stored driving map is marked. .
  • the environment learning apparatus of an autonomous mobile robot may use a 3D LiDAR and an image-based object recognition system, thereby compensating for differences between the two systems.
  • FIGS. 10A and 10B are views for explaining an object information matching unit of an environment learning apparatus of an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 10A shows a TV cabinet made of TV and wood
  • FIG. 10B shows a cabinet made of glass.
  • 10A and 10B illustrate an example of acquiring a node in the order #10 corresponding to a tenth feature node.
  • the lidar data recognition unit recognizes the space 242 between the TV bench 241 and the TV bench, and determines that the furniture has a gap.
  • the image data recognition unit is a furniture with a gap and is made of a wooden material that does not reflect the interior of the cabinet, and it can be seen that the TV 243 is placed on the top.
  • the object information matching unit matches the result of determining that it is a decorative cabinet that corresponds to the furniture information with gaps recognized by the rider data recognition unit and the result of determining that the furniture is made of wood determined by the image data recognition unit to determine the object recognized as an existing obstacle. It can be determined that it is a TV cabinet made of wood.
  • the lidar data recognition unit determines that the cabinet 245 exists, and it can be seen that the cabinet is placed without a gap with the floor.
  • the image data recognition unit may confirm that the interior of the cabinet is reflected, and accordingly, it may be determined that the glass door 244 or the interior is empty.
  • the object information matching unit matches the result of determining that the rider data recognition unit is a decorative cabinet placed without a floor and a gap, and the result of determining that the furniture is made of glass material determined by the image data recognition unit, and the object recognized as an existing obstacle is specifically made of glass. It can be determined that it is a decorative cabinet made of.
  • object information can be classified in more detail using the object information matching unit of the present invention.
  • the autonomous mobile robot in the case of furniture with gaps, it is possible for the autonomous mobile robot to clean the interior of the furniture according to the height of the gap, and when it is determined that it is a decorative cabinet made of glass, it is separated from obstacles to prevent collision. It can be controlled to operate by adjusting the distance.
  • the object information matching unit is in the rider data recognition unit.
  • the object information recognized and object information recognized by the image data recognition unit may be compared.
  • object information may be classified in detail by comparing the coordinates of feature nodes.
  • object information of the order #10 shown in FIG. 10 nodes of the order #9 and the order #11 are compared, and each node may compare according to feature points of the image.
  • the dog is recognized as itself in the nodes of order #9 and #11, it is determined that the dog is actually moving, and if the side of the dog doll that is stopped in the image data recognition unit is recognized, it is determined as a dog doll, and accordingly, autonomous driving movement You can control the movement of the robot.
  • the object information matching unit may classify object information of the lidar data recognition unit and weights of the object information recognized by the image data recognition unit differently according to circumstances.
  • a weight is added to a stationary object, and when recognized from the floor, a weight is added to a moving object.
  • a weight is added to the puppy.
  • the excrement detection mode that detects the excrement of the puppy located on the driving path can be operated, thereby preventing a situation in which the autonomous mobile robot passes the excrement during driving.
  • 11 to 14 are flowcharts illustrating an environment learning method of an autonomous mobile robot according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a method of learning an environment of an autonomous mobile robot according to an embodiment of the present invention.
  • a method of learning the environment of an autonomous mobile robot starts at a step S11 of docking by the autonomous driving robot to charge.
  • step S11 the processor is started after the robot is docked, and when the robot starts charging after docking to the charging station for charging, the process for autonomous driving of the robot is turned off, and the object detection and recognition processes are turned on. .
  • step S12 the processor loads data acquired during autonomous driving of the robot or generating a map.
  • step S12 data acquired during autonomous driving or map generation is loaded.
  • a 3D or 2D map can be used, and 3D or 2D LiDAR data or image data can be used.
  • the type of data to be loaded is a three-dimensional or two-dimensional map in the case of a map, range information in the case of point cloud information, intensity information, and an image taken while the robot is driving in the case of image or image information. Or include images.
  • step S13 data for each location at the moment when the robot passes a point is generated.
  • step S13 data for each location is acquired for object detection and recognition, and the virtual robot moves around to acquire instantaneous data from information and maps such as pre-made maps and LiDAR images. do.
  • the position of the robot and all the data generated at that time are acquired while replaying the stored data, and object detection, It transforms into a form that can be recognized.
  • step S14 the object located at the one point is detected and recognized from the location-specific data.
  • Object detection and recognition are performed using the data acquired in step S14.
  • the transformed information is put into a deep learning engine and object detection and recognition are performed.
  • step S15 the position of the detected object is marked on the map, and the environment learning method of the autonomous mobile robot according to an embodiment of the present invention is ended.
  • step S15 The object recognized in step S15 is matched with map information to estimate the position on the map, and the object category and information are marked on the position of the object recognized on the map. After that, when the object recognition and marking process for the entire map are finished, the process is terminated.
  • the environment learning method of the autonomous mobile robot starts in step S100 of loading, by the environment information acquisition unit, selected environment information according to feature points from the memory.
  • step S100 the environment information acquisition unit determines feature points for recognizing the object located in the driving area by using at least some of the environment information and the driving map information stored in the memory, and the selected environment information according to the determined feature point. Load from memory.
  • the environment information acquisition unit 100 is generated in relation to the environment information that the autonomously driving mobile robot in a state in which power management is possible above a certain standard while driving, and the driving area in which the autonomous driving mobile robot has traveled.
  • the environment information and the driving map information stored in the memory 101 storing driving map information feature points for recognizing an object located in the driving area are determined, and selected according to the determined feature points Loaded environment information from the memory.
  • the certain criteria include, for example, when charging in the docking station, when the amount of charge of the battery is higher than a certain level, when the remaining movement path of the moving robot is considered, and when the amount of power exceeding the reference value remains.
  • a charging mode command when a charging mode command is input, it may be determined as a state for learning environmental information.
  • the charging mode command when the autonomous driving mobile robot is docked at the charging station, the driving process is stopped, Lets start the charging process, and during the charging process, the algorithm of the environmental learning device is performed.
  • a charging mode command is received from the control unit (not shown), charging starts, and when a driving mode command is received, charging stops and autonomous driving starts.
  • the process of the environment learning apparatus may be performed when a person skilled in the art can perform the power management in a state in which power management is possible above a predetermined standard.
  • the driving map information includes a plurality of nodes and links constituting a driving map related to the driving area
  • the environment information is obtained from image information on the driving area obtained during driving and an external LiDAR. It includes distance information and reflected light information extracted from the acquired 3D-based point cloud data.
  • the feature points are a point whenever the autonomous driving mobile robot moves a certain path, a point at which the path of the autonomous driving mobile robot changes rapidly, and when the image information acquisition unit of the autonomous driving mobile robot looks at the center. At least one of the branches.
  • the location data is data for each location for performing object detection and recognition
  • the environment information acquisition unit 100 provides virtual data from information and maps, such as a pre-made map and LiDAR image. Let the robot move around and acquire data from moment to moment.
  • step S200 the driving environment recognition unit recognizes the object using the selected environment information.
  • step S300 the update unit updates the driving map by using object information according to the recognized object.
  • the driving map is updated by matching the coordinates of the corresponding characteristic node of the recognized object information with the coordinates of the driving map for the driving area.
  • the feature point determination unit designates the feature point as a feature node from among the nodes constituting the driving map, and assigns a number for each node according to the order in which the feature node is designated.
  • the stored environment information is loaded when the autonomous driving mobile robot is located in the feature node.
  • step S121 distance information extracted from 3D-based point cloud data obtained from the LiDAR when the lidar data loading unit is located at the feature node when the autonomous mobile robot is traveling in step S121 And the reflected light information is loaded.
  • step S123 when the autonomous driving mobile robot is located at the characteristic node while driving, the image data loading unit loads the image information on the driving area obtained from the image information acquisition unit.
  • the step of recognizing object information included in the surrounding environment (S200) is characterized in that the object information included in the surrounding environment of the feature points is recognized using a convolutional neural network (CNN) method.
  • CNN convolutional neural network
  • the lidar data recognition unit recognizes object information included in the surrounding environment of the feature points based on distance information and reflected light information obtained from the lidar data loading unit.
  • step S211 the first input unit 211 receives distance information and reflected light information obtained from the lidar data loading unit.
  • step S212 the first shape extraction unit 212 synthesizes or filters cross sections of candidate objects at each point of the point cloud data based on distance information and reflected light information, and Extract the shape of included objects.
  • the first object recognition unit 213 classifies the objects according to attributes from the extracted shapes of the objects, determines the types of objects recognized by the autonomous mobile robot, and recognizes them as object information.
  • the type of the recognized object is output from the output unit 214, and the type of the object output from the previously stored driving map is marked.
  • the image data recognition unit recognizes object information included in the surrounding environment of the feature points based on the image information acquired from the image data loading unit.
  • step S221 the second input unit 221 receives the image information obtained from the image data loading unit.
  • step S222 the second shape extracting unit 222 synthesizes or filters cross-sections of candidate objects at each point of the image information on the driving area included in the image information, so that the objects included in the surrounding environment of the feature points are Extract the shape.
  • the second object recognition unit 223 classifies the objects according to attributes from the extracted shapes of the objects, determines the types of objects recognized by the autonomous mobile robot, and recognizes them as object information.
  • the type of the recognized object is output from the output unit 224, and the type of the object output from the previously stored driving map is marked.
  • the environment learning apparatus of an autonomous mobile robot may use a 3D LiDAR and an image-based object recognition system, thereby compensating for differences between the two systems.
  • step S230 the object information matching unit compares the object information recognized by the lidar data recognition unit with the object information recognized by the image data recognition unit by coordinates of the feature node, and classifies the object information in detail.
  • the object recognition apparatus 1500 of the present invention is installed in a mobile robot to recognize objects (objects) around the mobile robot in order to perform an operation for efficiently cleaning the surroundings, such as a driving direction and a driving mode.
  • the mobile robot of the present invention refers to a device designed to be able to move from a specific position to another position according to a predefined method, and using a moving means such as wheels, rails, and walking legs, from a specific position to another position. You can move.
  • the mobile robot may collect external information using a sensor or the like, and then move according to the collected information, or may be moved by a user using a separate operation means.
  • An example of the mobile robot of the present invention may be a robot cleaner, a toy car, a mobile robot that can be used for industrial or military purposes, etc., and the mobile robot is driven by using a wheel, walking by using one or more legs, or It can be implemented in combination or the like.
  • a robot cleaner is a device that automatically cleans a cleaning space by inhaling foreign substances such as dust accumulated on the floor while driving through the cleaning space. Unlike a general vacuum cleaner moving by external force by a user, a robot cleaner cleans a cleaning space while moving using external information or a predefined movement pattern.
  • the robot cleaner may automatically move using a predefined pattern, or may move according to the sensed after detecting an external obstacle by a detection sensor, or according to a signal transmitted from a remote control device operated by the user. Can be moved.
  • the object recognition apparatus 1500 may include a 3D lidar 1510, an object image reconstruction unit 1520, and a processor 1530.
  • the object image generating apparatus may include a 3D lidar 1510 of FIG. 15 and an object image reconstruction unit 1520. That is, the object recognition device includes an object image generating device, and since it is an overlapping concept, the configuration of the object recognition device will be described in more detail below.
  • the 3D lidar 1510 may be implemented as a laser radar having excellent performance in a range of distances capable of detecting distant objects, a range of viewing angles such as azimuth and elevation, and spatial resolution.
  • the radar shoots a laser signal, measures the time it returns from reflection, and uses the speed of light to measure the distance of the reflector.
  • the laser signal is converted into an electrical signal through a photodiode.
  • the laser signal may have a preset wavelength band.
  • the 3D lidar 1510 of the present invention transmits and receives an optical signal using a pair of light sources and a photodiode, and scans the periphery in 3D using a movable mirror and a rotating body.
  • the 3D lidar 1510 may operate in a time of flight (TOF) method.
  • TOF time of flight
  • the laser emits a pulse or square wave signal and measures the time when the reflected pulse or square wave signals from objects within the measurement range arrive at the receiver, thereby measuring the distance between the measurement object and the distance measuring device.
  • the laser signal irradiated by the 3D lidar 1510 is irradiated at very close intervals while moving up, down, left and right, when distance information according to the laser signal reflected by objects is collected, the environment around the 3D lidar 3D information can be obtained.
  • the 3D lidar 1510 of the present invention is installed on the top surface of the mobile robot, rotates itself, and transmits and receives a laser signal at preset periodic intervals to the surrounding environment in a 360 degree angular range.
  • a point cloud including information on may be acquired, the mobile robot may be fixed at a position to recognize an object, or may transmit and receive a laser signal while moving and driving at a timing to be recognized.
  • the 3D lidar 1510 may generate a point cloud indicating the positions of each of the objects based on a laser signal (optical signal) reflected by the object.
  • the object image reconstruction unit 1520 may generate images representing distance information or surface information of the objects based on the point cloud.
  • the 3D lidar 1510 generates the point cloud by representing 3D location information of objects that can be calculated from the received laser signal in the form of points. That is, the point cloud is displayed by expressing 3D location information of all surrounding objects acquired through the laser signal received by the 3D lidar 1510 as a set of innumerable points. It can be expressed in the same shape as what is being made.
  • a point cloud is composed of a number of point groups that are densely emitted from a three-dimensional lidar and reflected from an object and returned to a receiver, and each point group has positional coordinates of x, y, and z.
  • Three-dimensional radar provides information in the form of a point cloud, that is, a number of station points including the corresponding three-dimensional position through dense sampling of the space distance to each point based on the central coordinate system. do.
  • the point cloud according to an embodiment of the present invention may be generated as a 3D image, such as the upper image 2200 illustrated in FIGS. 21 and 22.
  • the processor 1530 may recognize the object as it learns by using images generated by the object image reconstruction unit 1520.
  • 16 is a block diagram schematically showing a configuration of a 3D LaDar 1510 according to an embodiment of the present invention.
  • the 3D lidar 1510 of the present invention includes a light source 1511, an optical signal transmission unit 1512, an optical signal detection unit 1513, and a point cloud generation unit 1514. Can be.
  • the light source 1511 generates a laser signal.
  • the optical signal transmitter 1512 may transmit a laser signal generated from the light source 1511 toward objects around the mobile robot according to a predetermined time period.
  • the optical signal detector 1513 may detect a signal intensity including the amount of light of the received laser signal as the laser signal transmitted from the optical signal transmitter 1512 is reflected on surrounding objects and returned.
  • the point cloud generation unit 1514 calculates the time from the time when the laser signal is transmitted from the optical signal transmission unit 1512 to the time when the transmitted laser signal is reflected on the object and returns to receive the laser signal. It is possible to measure the distance between is (1510) and at least one point of the object. Accordingly, the point cloud generation unit 1514 generates a point cloud as an electrical signal using information on the measured distance and the sensed signal strength, and transmits the generated point cloud to the object image reconstruction unit 1520.
  • FIGS. 17 and 19 are block diagrams showing in more detail the configuration of an object recognition apparatus 1500 according to another embodiment of the present invention
  • FIGS. 18 and 20 are an object recognition apparatus according to an embodiment of the present invention. It is a conceptual diagram illustrating the operation algorithm of.
  • FIGS. 17 and 18 are diagrams showing an operation flow in a learning step for more effectively recognizing an object using object information acquired by the object recognition apparatus
  • FIGS. 19 and 20 are Next, a diagram showing an operation flow at a point in time when an object is recognized using object information acquired in real time.
  • the operation of the object recognition apparatus 1500 in the learning step will be described with reference to FIGS. 17 and 18.
  • the object image reconstruction unit 1520 of the present invention includes a feature image generation unit 1521, an image filter unit 1522, an image preprocessor 1523, a mixed image generation unit 1524, and A color image generator 1525 may be included.
  • the feature image generator 1521 generates a plurality of images of objects according to the distance to the object and the intensity of the reflected laser signal by using the point cloud received as an electrical signal from the 3D lidar 1510. I can.
  • the feature image generation unit 1521 generates a two-dimensional depth image including distance information on the distance to the object and a two-dimensional intensity image including surface information on the surface characteristics of the object. can do.
  • the depth image has the same meaning as a range image and has a pixel value corresponding to a distance.
  • the feature image generator 1521 projects at least one point of the 3D lidar 1510 and at least one of the objects by projecting the three-dimensional point cloud onto a two-dimensional space.
  • a depth image composed of information on the distance between points may be generated.
  • FIG. 21 is a diagram illustrating generation of a depth image using a point cloud according to an embodiment of the present invention.
  • an upper image 2200 is a point cloud which is a 3D image
  • a lower image 2210 is a depth image (a distance image) which is a 2D image.
  • the depth image of the present invention may be generated as an off-white image unlike an image obtained by a general camera.
  • An image acquired with a general camera generates an image by detecting a color reflected by visible light, whereas the depth image of the present invention may express a distance between the 3D lidar 1510 and an object in color.
  • the feature image generator 1521 is a depth corresponding to the position of at least one point of the object according to the distance between at least one point of the 3D lidar 1510 and at least one point of each object.
  • Each pixel value of the image can be determined. That is, in the depth image of the present invention, as in the lower image 2210 of FIG. 21, the color of the image may be determined according to the distance to the object.
  • the feature image generator 1521 considers the intensity of the laser signal reflected and returned to at least one point of one of the objects included in the 3D point cloud. As is projected onto a two-dimensional space, an intensity image composed of information on object surface features may be generated.
  • FIG. 22 is a diagram illustrating generating an intensity image using a point cloud according to an embodiment of the present invention.
  • an upper image 2200 is a point cloud that is a 3D image
  • a lower image 2220 is an intensity image that is a 2D image.
  • the intensity image may represent information similar to an image acquired by a general camera, but the laser signal transmitted and received by the 3D lidar 1510 of the present invention uses an infrared band instead of a visible band. Therefore, it is expressed as an image different from the image acquired by a general camera.
  • the transmitted laser signal reflects information on the surface of each object. Since it is reflected as it is, it can show all the features of the object surface like a visible ray image.
  • the intensity image is data obtained by converting the intensity of the laser signal reflected on the surface of the object into an image
  • the object surface with good reflection can be displayed as a bright value
  • the object surface with poor reflection can be displayed as dark. It can be expressed as a brightness value.
  • the image conversion unit 1521 converts a point cloud, which is a three-dimensional image, into a two-dimensional image, by mapping each pixel unit signal values constituting the three-dimensional point cloud on a two-dimensional plane, and the depth image and intensity The video is created.
  • the feature image generator 1521 After the feature image generator 1521 generates a depth image (distance image) and an intensity image (intensity image) for an object based on object information, the generated depth The image and intensity image are transmitted to the image filter unit 1522.
  • the image filter unit 1522 removes image noise from the received depth image and intensity image.
  • the image filter unit 1522 of the present invention is implemented as a median filter.
  • the image filter unit 1522 of the present invention performs noise-processing filtering on the generated depth image and intensity image to improve quality of information included in each depth image and intensity image.
  • the image filter unit 1522 filters noise of the depth image and the intensity image
  • the depth image and the intensity image from which the noise is filtered are transmitted to the image preprocessor 1523.
  • the image preprocessor 1523 may process each image by uniformly distributing pixel values of each of the filtered depth image and intensity image.
  • the image preprocessor 1523 according to an embodiment then histogram equalization of the filtered depth image and intensity image so that the object can be more easily identified by the processor 1530 to distribute pixel values of each image. By uniformly distributing the entire image, it is possible to output an image with improved image quality as a whole.
  • the image preprocessor 1523 transmits the processed depth image and the intensity image to the mixed image generator 1524.
  • the mixed image generator 1524 generates a mixed image so that the color image generator 1525 can generate a color image.
  • the depth image and the intensity image image-processed by the image preprocessor 1523 are image information composed of one piece of information, and thus, are generated as gray images of a black and white series.
  • a color image can be generated only when three images (RGB) consisting of single information are synthesized. That is, since there are two images generated by the feature image generator 1521, another image must be further generated by using the generated two images.
  • the color image generator 1525 in order for the color image generator 1525 to generate a color image, in addition to the depth image and the intensity image, another image including the same information as the images is required.
  • the mixed image generator 1524 of the present invention weights the pixel information constituting the depth image processed by the image preprocessor 1523 and the pixel information constituting the intensity image. Can be created. The resulting mixed image is generated as a gray image like the depth image and the intensity image.
  • the color image generation unit 1525 of the present invention may generate a new type of color image by synthesizing the generated mixed image, the image-processed depth image, and the intensity image.
  • the mixed image generator 1524 illustrated in FIG. 17 generates another mixed image by using the depth image and the intensity image processed as described above.
  • FIG. 18 which is another embodiment, the depth image and the intensity image processed by the image preprocessor 1523 are directly transferred to the color image generator 1525.
  • the mixed image generator 1524 of the present invention is illustrated in FIG. As shown in Fig. 18, it may be implemented as a configuration included in the color image generation unit 1525, and after the color image generation unit 1525 generates the mixed image, it may be implemented by generating a color image. As illustrated, the mixed image generator 1524 may be implemented as a configuration separate from the color image generator 1525.
  • FIG. 24 is a diagram showing an algorithm for generating a color image described above.
  • [j][i] denotes j and i-th pixels in the composite image.
  • 25 is a diagram illustrating a color image generated through the above-described process.
  • the processor 1530 of the present invention may include a label image generation unit 1531, a learning unit 1532, and an object recognition unit 1533.
  • the label image generator 1531 receives the color image generated from the color image generator 1525 and generates a labeled image that labels at least one point in the received color image. Can be generated.
  • the processor 1530 performs learning to recognize objects around the mobile robot well.
  • a user-designated part of the color image, which is input data is displayed, and the artificial neural network needs to find it in the input image. You should mark the part.
  • the label image may be an image further including labeled object information labeled on a specific object (chair, table) desired by the user in the color image.
  • the label image generation unit 1531 transmits the generated label image and color image to the learning unit 1532, and the learning unit 1532 inputs the received color image and label image to an artificial neural network provided therein, Objects can be recognized through
  • 26 is a diagram illustrating input images input to an artificial neural network of a processor according to an embodiment of the present invention.
  • a label image generated using a color image may be generated as an image similar to a color image.
  • the learning unit 1532 of the processor of the present invention performs learning by receiving a color image and a label image. That is, the learning unit 1532 may perform learning by receiving a color image and a label image in which an object to be recognized by the object recognition apparatus 1500 is labeled with the color image.
  • the learner 1532 of the present invention may learn the color image and the label image by using an artificial neural network composed of a deep neural network (DNN).
  • the artificial neural network of the learning unit of the present invention may be implemented as one of a convolution neural network (CNN), a recurrent neural network (RNN), and a generative adversarial network (GAN).
  • CNN convolution neural network
  • RNN recurrent neural network
  • GAN generative adversarial network
  • CNN convolutional neural network
  • the learning unit 1532 may include an encoding unit, a convolutional neural network (artificial neural network), and a decoding unit.
  • the encoding unit may receive the color image and the label image, encode the received color image and label image, and convert the received color image and label image into input feature vectors.
  • the input feature vector may be a vector matrix representing features of each image.
  • the convolutional neural network is an input layer composed of input nodes, a hidden layer composed of a plurality of hidden nodes (hidden nodes) that learn using the input color image and label information, and a learning result. It is composed of an output layer composed of output nodes that outputs, and can perform learning.
  • the hidden layer performs a weighted sum operation using each input feature vector output from each input node of the input layer, weights set between the nodes, and a bias value for each node, so that the input feature vectors are output feature vectors.
  • the decoding unit may decode an output feature vector (vector matrix), which is a learning result output from the convolutional neural network, and calculate a result of recognizing an object based on input image information.
  • the recognition result may be the definition (name) of the object included in the input image information, the number of objects, the location of the object, and the size of the object.
  • 19 and 20 illustrate an operation flow at a point in time when an object is recognized using object information acquired in real time after all learning is completed as mentioned above.
  • the object recognition unit 1933 of the object recognition apparatus 1900 according to FIGS. 19 and 20 includes layers in which optimal weights between each ladle of an artificial neural network determined through a learning process for object recognition by the learning unit 1932 are set. Using the included neural network, it is possible to recognize objects currently around in real time based on a point cloud generated from the 3D lidar 1910 installed on the upper part of the mobile robot 10.
  • the object recognition apparatus 1900 of FIG. 20, which is an embodiment of the present invention, may further include a driving control unit 1940.
  • the driving control unit 1940 may control the driving direction and driving mode of the mobile robot 10 in consideration of the position of an object (object) in the surrounding environment recognized by the object recognition unit 1933.
  • the driving control unit 1940 maps the entire area to be cleaned while moving in a predetermined space, such as a home, a public institution, or a company, based on data on the object recognized by the object recognition unit 1933. And, based on the previously generated map, the operation unit performs a cleaning operation so that the area to be cleaned can be automatically cleaned by inhaling foreign substances such as dust from the floor while driving the area to be cleaned without user manipulation. Can be controlled.
  • FIG. 27 is a flowchart illustrating a method of generating an object image according to an embodiment of the present invention over time.
  • step S2701 the 3D lidar 1510 transmits a laser signal (optical signal) toward a surrounding object, and receives a reflected light signal reflected by the object. Then, in step S2702, the 3D lidar 1510 generates a point cloud according to the reflected reflected light signal. When the 3D lidar 1510 completes generating the point cloud, it transmits the generated point cloud to the object image reconstruction unit 1520 in step S2703.
  • a laser signal optical signal
  • step S2702 the 3D lidar 1510 generates a point cloud according to the reflected reflected light signal.
  • the 3D lidar 1510 completes generating the point cloud, it transmits the generated point cloud to the object image reconstruction unit 1520 in step S2703.
  • step S2704 the object image reconstruction unit 1520 projects at least a part of the point cloud into a predetermined space according to the distance to the object and the intensity of the reflected light signal, thereby generating a depth image and an intensity image.
  • step S2705 the object image reconstruction unit 1520 generates a mixed image by mixing the generated depth image and the intensity image, and in step S2706 synthesizes the depth image, the intensity image, and the mixed image to generate a reconstructed color image.
  • the object recognition apparatus of the present invention and a mobile robot including the same as described above are calculated like a household cleaning robot by reducing the order of information by converting the 3D information obtained from 3D LIDAR into 2D information. There is an advantage of securing the amount of computation and speed that can be driven even in a device with small capabilities.
  • the present invention is not necessarily limited to these embodiments. That is, as long as it is within the scope of the object of the present invention, one or more of the components may be selectively combined and operated.
  • a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of the components. It may be implemented as a computer program having
  • such a computer program is stored in a computer readable media such as a USB memory, a CD disk, a flash memory, etc., and is read and executed by a computer, thereby implementing an embodiment of the present invention.
  • the recording medium of the computer program may include a magnetic recording medium or an optical recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명에 따르면, 자율 주행 이동 로봇이 충전 중에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용 가능한 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법이 개시된다.

Description

객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법
본 발명은 로봇의 환경 학습 장치에 관한 것으로서, 특히 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법에 관한 것이다. 또한, 본 발명은 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치에 관한 것이며, 특히 3차원 라이다(LIDAR)를 이용한 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고 있으며, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
가정용 로봇의 대표적인 일 예로, 청소를 수행하는 이동 로봇을 들 수 있는데, 이 때 이동 로봇이란 청소 하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입함으로써, 청소하고자 하는 영역을 자동으로 청소하는 장치를 의미한다. 이러한 이동 로봇은 각종 센서 등을 통해 청소 영역 내에 위치하는 장애물 등을 감지하고, 감지 결과를 이용하여, 이동 로봇의 주행 경로 및 청소 동작을 제어하게 된다.
종래의 경우, 자율 주행 중에 각 물체들을 인지하여 위치를 추정하였으나, 자율 주행 중에 수행되는 알고리즘의 경우 자율 주행을 위한 처리 능력(processing power)에 딥 러닝(deep learning)을 수행하기 위한 추가적인 프로세서가 필요하다.
이에 따라, 낮은 시스템 사양으로는 시스템 구현이 어려우며, 로봇의 구동 중에는 원하는 위치로 로봇을 부르거나 보내는 것에 어려움이 있다.
본 발명은 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법으로 자율 주행 이동 로봇이 충전 중에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용하는데 그 목적이 있다.
이에 따라, 충전시간에 딥 러닝(deep learning) 알고리즘을 수행하기 때문에 프로세서를 충분히 사용할 수 있으며, 충전을 하는 시간이 보장되어 있기 때문에 충분한 시간적 여유가 있도록 하는데 또 다른 목적이 있다.
또한, 주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보내도록 하는데 또 다른 목적이 있다.
또한, 본 발명은 상기 전술한 종래의 문제점을 해결하기 위해 라이다(LIDAR)로부터 획득되는 정보를 토대로 객체를 인식하기 위한 연산 복잡도를 최소화하면서 객체 인식 성능은 높은 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치를 제공하는 것에 또 다른 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치는, 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리, 상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 환경 정보 획득부, 상기 선별된 환경 정보를 이용하여 상기 객체를 인식하는 주행 환경 인식부 및 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 하는 업데이트부를 포함한다.
여기서, 상기 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.
여기서, 상기 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 방향이 변경되는 지점 및 상기 객체를 인식하기 위하여 미리 결정된 지점 중 적어도 하나이다.
여기서, 상기 환경 정보 획득부는, 상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정하는 특징 지점 결정부 및 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 로딩부를 포함한다.
여기서, 상기 특징 지점 결정부는, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여하되, 상기 로딩부는, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
여기서, 상기 로딩부는, 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 포인트 클라우드(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩하는 라이더 데이터 로딩부 및 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩하는 영상 데이터 로딩부를 포함한다.
여기서, 상기 주행 환경 인식부는, CNN(Convolutional Neural Network) 방법을 이용하여 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.
여기서, 상기 주행 환경 인식부는, 상기 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 라이더 데이터 인식부 및 상기 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 영상 데이터 인식부를 포함한다.
여기서, 상기 라이더 데이터 인식부는, 상기 라이더 데이터 로딩부로부터 획득한 상기 거리 정보와 반사광 정보를 입력 받는 제1 입력부, 상기 거리 정보와 반사광 정보에 기초하여, 상기 포인트 클라우드(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출하는 제1 형상 추출부, 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식하는 제1 객체 인식부를 포함한다.
여기서, 상기 영상 데이터 인식부는, 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는 제2 입력부, 상기 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출하는 제2 형상 추출부, 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식하는 제2 객체 인식부를 포함한다.
여기서, 상기 주행 환경 인식부는, 상기 라이더 데이터 인식부에서 인식한 객체에 따른 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체에 따른 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류하는 객체 정보 매칭부를 더 포함한다.
여기서, 상기 업데이트부는, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 상기 주행 지도를 업데이트 한다.
본 발명의 또 다른 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은, 환경 정보 획득부가 메모리에 저장된 환경 정보와 주행 지도 정보 중 적어도 일부를 이용하여, 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계, 주행 환경 인식부가 상기 선별된 환경 정보를 이용하여 상기 객체를 인식하는 단계 및 업데이트부가 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 하는 단계를 포함한다.
여기서, 상기 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 객체에 의해 반사된 반사 광 신호에 따른 3차원 기반의 포인트 클라우드(point cloud) 데이터를 포함한다.
여기서, 상기 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 방향이 변경되는 지점 및 상기 객체를 인식하기 위하여 미리 결정된 지점 중 적어도 하나이다.
여기서, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계는, 특징 지점 결정부가 상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정하는 단계 및 로딩부가 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계를 포함하며, 상기 특징 지점을 결정하는 단계는, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여하되, 상기 메모리로부터 로딩하는 단계는, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.
여기서, 상기 메모리로부터 로딩하는 단계는, 라이더 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 3차원 기반의 포인트 클라우드(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩하는 단계 및 영상 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩하는 단계를 포함한다.
여기서, 상기 객체를 인식하는 단계는, 라이더 데이터 인식부가 상기 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 단계, 영상 데이터 인식부가 상기 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 단계 및 객체 정보 매칭부가 상기 라이더 데이터 인식부에서 인식한 객체에 따른 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체에 따른 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류하는 단계를 더 포함한다.
여기서, 상기 주행 지도를 업데이트 하는 단계는, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 상기 주행 지도를 업데이트 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 객체 영상 생성 장치는, 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다 및 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부를 포함할 수 있다.
또한, 상기 객체 영상 재구성부가 생성하는 복수의 영상들은, 상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상 및 상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고, 상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성할 수 있다.
또한, 상기 객체 영상 재구성부는, 상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부 및 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부를 포함할 수 있다.
또한, 상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성할 수 있다.
또한, 상기 객체 영상 재구성부는, 상기 깊이 영상 및 인텐시티 영상의 노이즈를 제거하기 위한 필터링을 수행하는 영상 필터부 및 상기 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들에 대한 히스토그램의 분포 특성을 변환함에 따라 상기 상기 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들을 균일하게 분산시켜 평탄화시키는 영상 전처리부;를 더 포함하고, 상기 혼합 영상 생성부는, 상기 평탄화된 깊이 영상 및 인텐시티 영상을 혼합하여 상기 혼합 영상을 생성할 수 있다.
또한, 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상은 흑백계열의 2차원 흑백 영상일수 있다.
또한, 상기 인텐시티 영상은 상기 반사 광 신호 세기에 따라 상기 포인트 클라우드의 적어도 일부를 2차원 공간 상에 투영하여, 상기 객체의 표면에 대한 정보를 나타낼 수 있다.
또한, 상기 객체 영상 생성 장치는 미리 정해진 공간을 이동 주행하는 이동 로봇에 설치될 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 인식 장치는, 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다, 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부 및 상기 컬러 영상을 이용하여 상기 객체를 인식하는 프로세서를 포함할 수 있다.
또한, 상기 객체 영상 재구성부가 생성하는 복수의 영상들은, 상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상; 및 상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고, 상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성할 수 있다.
또한, 상기 객체 영상 재구성부는, 상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부; 및 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부;를 더 포함하고, 상기 프로세서는, 상기 컬러 영상의 일부분을 레이블링(labeling)한 레이블 영상을 생성하는 레이블 영상 생성부를 더 포함할 수 있다.
또한, 상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상을 인공 신경망에 입력하고, 상기 인공 신경망을 통해 상기 객체들을 인식할 수 있다.
또한, 상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상 각각을 인코딩하여 입력 특징 벡터들로 변환하고, 변환된 입력 특징 벡터들을 상기 인공신경망으로 전달하는 인코딩부; 및 상기 인공신경망으로부터 출력되는 출력 특징 벡터를 디코딩하여 상기 컬러 영상 내의 객체들을 인식하는 디코딩부;를 더 포함하되, 상기 인공신경망은, 상기 입력 특징 벡터들을 입력 받는 입력 레이더; 상기 입력된 입력 특징 벡터들을 서로 다른 가중치로 설정되어 있는 은닉 노드들을 통해 가중합 연산하여 상기 출력 특징 벡터로 변환하는 히든 레이어; 및 상기 출력 특징 벡터를 상기 디코딩부로 출력하는 출력 레이어;를 포함할 수 있다.
또한, 상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 영상 생성 방법은, 3차원 라이다가 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 단계 및 객체 영상 재구성부가 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 단계를 포함할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 자율 주행 이동 로봇이 충전 중에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용할 수 있다.
이에 따라, 충전시간에 딥 러닝(deep learning) 알고리즘을 수행하기 때문에 프로세서를 충분히 사용할 수 있으며, 충전을 하는 시간이 보장되어 있기 때문에 충분한 시간적 여유가 있도록 할 수 있다.
또한, 주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보내도록 할 수 있다.
또한, 본 발명의 실시예에 따른 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치는, 3D 라이다(LIDAR)로부터 획득한 3차원 정보를 2차원의 정보로 변환하여 정보의 차수를 줄임으로써 가정용 청소로봇과 같이 연산 능력이 작은 장치에서도 구동이 가능한 연산량과 속도를 확보할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 환경 정보 획득부를 나타낸 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 환경 인식부를 나타낸 블록도이다.
도 8은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 라이더 데이터 인식부를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 영상 데이터 인식부를 설명하기 위한 도면이다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 객체 정보 매칭부를 설명하기 위한 도면이다.
도 11 내지 도 14는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법을 나타낸 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 객체 인식 장치의 구성을 개략적으로 도시한 블록도이다.
도 16은 본 발명의 일 실시예에 따른 3차원 라이다의 구성을 개략적으로 도시한 블록도이다.
도 17은 본 발명의 다른 일 실시예에 따른 객체 인식 장치의 구성을 보다 구체적으로 도시한 블록도이다.
도 18은 본 발명의 일 실시예에 따른 객체 인식 장치의 동작 알고리즘을 설명하기 위해 도시한 개념도이다.
도 19는 본 발명의 또 다른 일 실시예에 따른 객체 인식 장치의 구성을 보다 구체적으로 도시한 블록도이다.
도 20은 본 발명의 또 다른 일 실시예에 따른 객체 인식 장치의 동작 알고리즘을 설명하기 위해 도시한 개념도이다.
도 21은 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 깊이 영상을 생성하는 것을 나타내는 도면이다.
도 22는 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 인텐시티 영상을 생성하는 것을 나타내는 도면이다.
도 23은 본 발명의 일 실시예에 따른 컬러 영상을 생성하는 과정을 나타내는 참고도이다.
도 24는 상술한 컬러 영상을 생성하는 알고리즘을 나타낸 도면이다.
도 25는 상술한 바와 같은 과정을 통해 생성된 컬러 영상을 나타낸 도면이다
도 26은 본 발명의 일 실시예에 따라 프로세서의 인공신경망에 입력되는 입력 영상들을 도시한 도면이다.
도 27은 본 발명의 일 실시예에 따른 객체 영상 생성 방법을 시간의 흐름에 따라 도시한 흐름도이다.
이하, 본 발명에 관련된 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하에서는, 자율 주행 이동 로봇의 환경 학습 장치 및 환경 학습 방법에 관한 것에 대해 관련된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 시스템을 개략적으로 나타낸 도면이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 시스템은 자율 주행 이동 로봇(1), 이동 로봇의 충전을 위한 도킹 스테이션(docking station)(2)을 포함할 수 있다.
자율 주행 이동 로봇(1)은 이동이 가능한 청소 로봇을 말하고, 예컨대, 소정 공간 예컨대, 가정집, 공공기관, 회사 등에서 이동하면서 자동으로 청소를 수행할 수 있다.
자율 주행 이동 로봇(1)은 내부 또는 외부에 장착된 라이다(LiDAR)(11)와 영상 정보 획득부(12)를 포함한다.
3차원 라이다(11)는 멀리 있는 객체들을 감지할 수 있는 거리범위, 방위각과 고각 등의 시야각 범위, 그리고 공간 분해능의 성능이 우수한 라이다(Laser Radar)로 구현될 수 있다. 라이다는 레이저 신호를 쏘고 반사되어 돌아오는 시간을 측정하고, 빛의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 레이저 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다.
본 발명의 3차원 라이다(11)는 한 쌍의 광원 및 광 다이오드를 이용하여 광 신호를 송수신하며, 이동성 거울 및 회전체를 이용하여 주변을 3차원 스캐닝한다. 3차원 라이다(11)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상과 거리 측정 장치 사이의 거리를 측정한다.
본 발명에서 3차원 라이다(11)가 조사하는 레이저 신호는 상하 좌우로 이동하면서 매우 촘촘한 간격으로 조사되기 때문에, 객체들에 의해 반사된 레이저 신호에 따른 거리 정보들을 모으면 3차원 라이다 주변의 환경의 3차원 정보를 획득할 수 있다.
일 실시예에 따르면, 본 발명의 3차원 라이다(11)는 이동 로봇의 상단면에 설치되어 자체적으로 회전하며 360도 각도범위에 있는 주변 환경에 기 설정된 주기 간격으로 레이저 신호를 송수신함으로써 상기 객체에 대한 정보를 포함하는 포인트 클라우드(point cloud)를 획득할 수도 있고, 이동 로봇이 객체를 인식하고자 하는 위치에 고정되거나, 또는 인식하고자 하는 타이밍에 이동 주행하면서 레이저 신호를 송수신할 수도 있다.
영상 정보 획득부(12)는 각종 센서 예컨대, 카메라, 레이저 스캐너, 초음파 센서 등을 포함할 수 있으며, 획득한 데이터를 기반으로 소정 공간 예컨대, 가정집, 공공기관, 회사 등에서 이동하면서 청소하게 될 전체 영역에 대한 지도를 생성하고, 기 생성된 지도를 기반으로 사용자의 조작 없이도 청소하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 청소하고자 하는 구역을 자동으로 청소할 수 있다.
본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치(10)는 자율 주행 이동 로봇(1)에서 프로세서로 구현되며, 라이다(11)와 영상 정보 획득부(12)가 획득한 환경 정보를 이용하게 되고, 주행 중에 이미 획득한 환경 정보와 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리를 포함할 수 있다.
여기서, 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.
이때, 자율 주행 이동 로봇(1)은 예컨대, 슬램(Simultaneous Localization And Mapping: SLAM) 기술을 이용하여 지도를 생성할 수 있다. 여기서 슬램 기술이란 기존의 지도를 가지고 위치 인식을 하거나 위치를 알고 지도를 만드는 기술에서 더 나아가 동시에 위치 파악과 지도 구축을 수행하여 상호보완 시키는 기술을 말한다.
자율 주행 이동 로봇(1)은 청소하고자 하는 구역을 자율적으로 이동하며 자동 청소를 수행하다가 충전 및 로봇 청소기 내에 저장된 먼지를 비우기 위해 도킹 스테이션(2)으로 이동한다.
신호 처리부(미도시)는 영상 정보 획득부(12)에서 획득된 환경 정보를 이용하여 상기 자율 주행 이동 로봇의 주행 모드 또는 주행 경로를 결정하며, 주행 영역과 관련된 동작과 사용자 명령을 처리한다.
도킹 스테이션(2)은 전방에 도킹 유도 신호를 발신하여 발신된 도킹 유도 신호에 따라 자율 주행 이동 로봇(1)이 도킹하면, 도킹된 자율 주행 이동 로봇(1)을 충전시킬 수 있다.
이때, 도킹 스테이션(2)은 이동 로봇이 도킹 스테이션에서 충전을 시작하면, 이동 로봇을 유도하기 위한 도킹 유도 신호의 송출을 중단 또는 차단할 수 있다.
이러한 도킹 스테이션(2)은 평소에는 이동 로봇이 원활히 도킹 스테이션으로 유도되도록 하는 신호를 송출하는 기능뿐 아니라, 이동 로봇이 연결된 경우 외부 전원을 이동 로봇으로 연결하여 전원을 공급하는 기능, 사용자에 의해 전원이 들어와 있는지, 충전 중인지, 충전 완료 상태인지 등에 대한 상태를 표시하는 기능, 전원 공급기의 전원을 이용하여 유도 신호, 상태 표시, 외부 전원 공급 등의 기능, 외부 AC 입력에서 전원을 공급 받고 도킹 스테이션 동작을 위한 전원으로 변환하는 기능 등을 수행한다.
또한, 도킹 스테이션(2)은 자율 주행 이동 로봇(1)이 도킹 스테이션에서 충전을 시작하면 상태 표시부에서의 충전 상태 표시를 차단할 수 있고, 이후 충전을 완료하더라도 도킹되어 있으면 상태 표시부에서의 충전 상태 표시를 차단할 수 있다.
도 2는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치(10)는 환경 정보 획득부(100), 주행 환경 인식부(200), 업데이트부(300)를 포함한다.
자율 주행 이동 로봇의 환경 학습 장치(10)는 자율 주행 및 충전을 해야하는 자율 주행 이동 로봇에 물체와 환경을 인식하는 기능을 적용하기 위한 장치이다.
자율 주행 이동 로봇은 환경 학습 장치를 이용하여 최종적으로 가구 등의 물체들을 인지하여 위치를 알아내는 어플리케이션(application)에 사용 가능하다.
여기서, 자율 주행 이동 로봇은 청소로봇, 물류로봇, 서비스로봇 등 자율 주행 이동 로봇 및 충전이 필요한 자율 주행 이동 로봇을 포함한다.
종래의 경우, 자율 주행 중에 각 물체들을 인지하여 위치를 추정하였으나, 자율 주행 중에 수행되는 알고리즘의 경우 자율 주행을 위한 처리 능력(processing power)에 딥 러닝(deep learning)을 수행하기 위한 추가적인 프로세서가 필요하다.
본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치(10)는, 자율 주행을 마친 상태에서, 로봇이 충전한 후에 로봇이 지도 작성 및 자율 주행 시 획득한 환경 정보를 다시 로딩(loading)하여 환경을 인지하는 딥 러닝(deep learning) 알고리즘을 수행하고, 인지된 물체들의 위치를 확인하여 지도에 마킹하는 방법을 이용한다.
이에 따라, 충전시간에 딥 러닝(deep learning) 알고리즘을 수행하기 때문에 프로세서를 충분히 사용할 수 있으며, 충전을 하는 시간이 보장되어 있기 때문에 충분한 시간적 여유가 있다.
또한, 주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보내는 것이 가능해진다.
환경 정보 획득부(100)는 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리(101)에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.
일정 기준은 예를 들어, 도킹 스테이션에서 충전중인 경우, 또는 배터리의 충전량이 일정 기준 이상 높은 경우, 주행중인 이동로봇의 잔여 이동 경로를 고려할 때, 기준값 이상의 전력량이 남아있는 경우 등이 있다.
본 발명의 일 실시예에서는 충전 모드 명령이 입력되면 환경 정보를 학습하기 위한 상태로 판단할 수 있으며, 충전 모드 명령은, 자율 주행 이동 로봇이 충전 스테이션에 도킹이 되는 경우, 주행 프로세스는 중단하고, 충전 프로세스를 시작하도록 하며 충전 프로세스 중에 환경 학습 장치의 알고리즘이 수행된다. 제어부(미도시)로부터 충전 모드 명령을 전달 받으면, 충전을 시작하며 주행 모드 명령을 전달 받을 경우 충전을 중단하고 자율 주행을 시작하게 된다.
충전 모드 명령이 입력되는 상태 이외에도, 일정 기준 이상으로 전력 관리가 가능한 상태로 당업자가 실시할 수 있는 경우에는 환경 학습 장치의 프로세스를 수행할 수 있다.
여기서, 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.
또한, 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 방향이 변경되는 지점 및 상기 객체를 인식하기 위하여 미리 결정된 지점 중 적어도 하나이다.
여기서, 객체를 인식하기 위하여 미리 결정된 지점은 상기 객체를 가장 잘 인식할 수 있는 위치에 해당하는 지점, 예를 들어 객체의 중앙을 인식할 수 있는 지점, 또는 객체의 특징적인 외관이 잘 보이는 지점, 또는 객체로부터 에지 특징점 추출이 용이한(가장 많은) 지점을 의미하여, 에지 추출은 소벨 필터등을 이용하여 에지 영역을 검출하는 방법을 이용하여 수행할 수 있다. )
환경 정보는 물체 감지(object detection), 인식(recognition)을 수행하기 위한 각 지점의 위치별 데이터이며, 환경 정보 획득부(100)는 미리 만들어진 지도와 라이다(LiDAR) 영상 등의 정보와 지도로부터 가상의 로봇이 돌아다니면서 순간 순간 데이터를 획득하도록 한다.
환경 정보와 주행 지도 정보를 포함하는 정보들은 각각의 메모리(101, 102, 103)에 저장될 수 있으며, 메모리는 장치에 포함될 수도 있으며, 각각의 메모리는 통합될 수도 있다.
주행 환경 인식부(200)는 선별된 환경 정보를 이용하여 상기 객체를 인식한다.
여기서, 선별된 환경 정보는 환경 정보 중에서 객체를 인식하기 위해 결정된 특징 지점에서 획득되는 각각의 환경 정보를 의미하며, 획득된 환경 정보를 이용하여 물체 감지(object detection), 인식(recognition)을 수행한다.
업데이트부(300)는 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 한다.
여기에서 객체 정보는, 예를들어 인식된 객체가 고정용 식탁인 경우, 해당 객체가 "식탁"이라는 "객체 인식 정보", 식탁의 위치에 관한 "위치 정보", 식탁이 주로 고정되어 사용된다는 "이동성 정보"를 포함할 수 있다.
업데이트부(300)는 인지된 물체를 지도 정보와 매칭하여 지도에서의 위치를 추정한다. 구체적으로, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 인지된 물체의 지도 상에서 인지된 물체의 위치에 물체의 카테고리 및 정보를 마킹하여 상기 주행 지도를 업데이트 한다.
전체 지도에 대하여 물체 인식 및 지도에 마킹 과정이 끝나면 프로세스가 종료된다.
주행 중에 딥 러닝(deep learning)을 돌리기 위한 별도의 프로세서(processor)가 필요하기 않기 때문에 낮은 시스템 사양으로도 시스템 구현이 가능하며, 지도에 물체의 위치를 마킹하기 때문에 로봇의 구동 중에 딥 러닝(deep learning) 알고리즘이 돌아가지 않아도 원하는 위치로 로봇을 부르거나 보낼 수 있다.
도 3은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 환경 정보 획득부를 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 정보 획득부(100)는 특징 지점 결정부(110), 로딩부(120)를 포함한다.
환경 정보 획득부(100)는 자율 주행 이동 로봇이 주행 중에 획득한 데이터들 중에서 로봇이 그 위치를 지나는 순간 획득하는 데이터를 생성하고, 저장된 데이터를 리플레이 하면서 로봇의 위치와 그때 생성된 데이터를 모두 획득하고 물체 감지(object detection), 인식(recognition)을 할 수 있는 형태로 변환한다.
환경 정보 획득부(100)는 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.
환경 정보 획득부(100)는 자율 주행 이동로봇이 충전을 위하여 충전 스테이션에 도킹 후 충전을 시작하면, 로봇의 자율주행을 위한 프로세스를 끄고, 물체 감지(object detection), 인식(recognition) 프로세스를 켠다.
여기서, 상기 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.
여기서, 주행 지도는 3차원, 2차원 지도 사용이 가능하고, 주행 영역 상의 영상 정보는 영상 데이터, 라이다(LiDAR)로부터 획득한 데이터는 3차원, 2차원 라이더(LiDAR) 데이터인 것이 바람직하다.
특징 지점 결정부(110)는 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정한다.
구체적으로, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여한다.
로딩부(120)는 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하며, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.
구체적으로, 로딩되는 환경 정보는 지도, 점군(point cloud) 정보, 영상 또는 이미지 정보를 포함하며, 지도는 3차원 또는 2차원 지도이며, 점군(point cloud) 정보는 거리(range) 정보와 반사광(intensity) 정보이고, 영상 또는 이미지 정보는 로봇이 주행하면서 찍은 영상 또는 이미지들이다.
로딩부(120)는 라이더 데이터 로딩부(121), 영상 데이터 로딩부(123)를 포함한다.
라이더 데이터 로딩부(121)는 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩한다.
영상 데이터 로딩부(123)는 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로(12)부터 획득한 상기 주행 영역 상의 영상 정보를 로딩한다.
또한, 로딩한 환경 정보를 물체 감지(object detection), 인식(recognition)을 할 수 있는 형태로 변환하는 데이터 변환부를 더 포함할 수 있다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도를 나타낸 것이다.
자율 주행 이동 로봇은 지도 생성 중에 특징이 되는 지점들을 저장하고 그 지점에서의 환경 정보를 함께 저장한다.
자율 주행 이동 로봇이 지도 생성을 위하여 graph SLAM을 사용하는 경우 graph의 노드(node)가 특징이 되는 지점으로 사용 가능하다.
여기서, SLAM(Simultaneous Localization And Map-Building 또는 Simultaneous Localization and Mapping)은 로봇이 미지의 환경을 돌아다니면서 로봇에 부착되어 있는 센서만으로 외부의 도움 없이 환경에 대한 정확한 지도를 작성하는 작업을 의미한다.
도 4는 Graph SLAM을 통해 생성되는 지도에서 특징 지점들로 사용 가능한 노드(node) 정보를 나타낸 것이며, 도 4를 참조하면, 주행 지도(400)는 다수의 노드(401, 410) 및 링크(420)로 구성된다.
주행 지도에서 각 점은 노드를 나타내고, 점선은 엣지(edge)를 나타낸 것이다.
여기서, 노드들(401)은 자율 주행 로봇이 이동한 일 지점을 의미하며, 링크(420)는 각 노드 사이를 연결하는 자율 주행 로봇의 이동 경로를 나타낸다.
주행 지도 내에 존재하는 장애물(3)들 사이를 자율 주행 이동 로봇이 이동하며 생성되는 경로 상에서, 특징 지점 결정부(110)는 상기 주행 지도를 구성하는 노드들(401) 중에서, 상기 특징 지점을 특징 노드(410)로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여한다.
여기서, 특징 지점은, 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 경로가 급변하는 지점 및 상기 자율 주행 이동 로봇의 영상 정보 획득부가 중앙을 바라볼 때의 지점 중 적어도 하나이다.
또한, 각 노드에 위치한 자율 주행 이동 로봇은 경로 상에서 제1 방향(D1) 또는 제2 방향(D2)으로 이동한다.
한편, Graph SLAM을 사용하지 않는 경우에는 일정 거리를 이동했을 때 마다 특징 지점을 저장할 수 있으며, 또는 공간의 중앙이나 특징점들이 급변하는 지점 등을 특징 지점으로 저장하는 것도 가능하다.
자율 주행 이동 로봇이 3D 라이다(LiDAR)를 사용하여 물체인식을 하는 경우에는 각 특징 지점(410)에서의 라이다(LiDAR)를 통해 획득한 거리(range) 정보, 반사광(intensity) 정보와, 로봇의 위치 정보를 함께 저장한다.
자율 주행 이동 로봇이 이미지 카메라를 사용하여 물체 인식을 하는 경우에는 각 특징 지점에서 획득한 영상과 로봇의 위치 정보를 저장한다.
로딩부(120)는 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.
데이터는 노드의 번호 대로 로딩하며, 3D 라이다(LiDAR)를 사용하여 물체 인식을 하는 경우 점군(point cloud)의 위치 정보, (point cloud)의 반사광 정보를 로딩하며, 인식기를 구성하게 된다.
도 5는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도를 구체적으로 나타낸 것이다.
도 5를 참조하여, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 노드를 지정하고, 데이터를 로딩하는 방법을 설명하면 주행 지도 내에 존재하는 장애물(3)들 사이를 자율 주행 이동 로봇이 이동하며 생성되는 경로 상에서, 자율 주행 로봇이 이동한 특징 지점들을 각각 제1 특징 노드(411), 제2 특징 노드(412), 제3 특징 노드(413), 제4 특징 노드(414)로 지정하며, 노드가 지정되는 순서에 따라 각각 #1, #2, #3, #4의 번호를 부여한다.
제1 특징 노드(411)는 제1 링크(421)와 제2 링크(422) 사이에 위치하며, 물체의 모서리 부분에서 제1 링크의 방향(L1)에서 제2 링크의 방향(L2)이 급변하는 것을 확인할 수 있다.
제2 특징 노드(412)는 제2 링크(422)와 제3 링크(423) 사이에 위치하며, 물체의 중앙부분(M)에 위치하는 상태이고, 제2 링크의 방향(L3)과 제3 링크의 방향(L4)은 일치하는 경로인 것을 확인할 수 있다.
제3 특징 노드(413)는 제3 링크(423)와 제4 링크(424) 사이에 위치하며, 물체의 모서리 부분에서 제3 링크의 방향(L5)에서 제4 링크의 방향(L6)이 급변하는 것을 확인할 수 있다.
여기서, 특징 지점은, 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 경로가 급변하는 지점 및 상기 자율 주행 이동 로봇의 영상 정보 획득부가 중앙을 바라볼 때의 지점 중 적어도 하나이다.
또한, 각 노드에 위치한 자율 주행 이동 로봇은 경로 상에서 제1 방향(D1) 또는 제2 방향(D2)으로 이동한다.
로딩부(120)는 지정된 상기 특징 노드의 순서(#1, #2, #3, #4)에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.
환경 정보는 노드의 번호 대로 로딩하며, 3D 라이다(LiDAR)를 사용하여 물체 인식을 하는 경우 점군(point cloud)의 위치 정보, (point cloud)의 반사광 정보를 로딩하며, 인식기를 구성하게 된다.
도 6은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 지도에서 자율 주행 이동 로봇의 영상 정보 획득 과정을 나타낸 것이다.
주행 지도 내에 존재하는 장애물(3)들 사이를 자율 주행 이동 로봇이 이동하며 생성되는 경로(425, 426) 상에서, 자율 주행 로봇의 영상 정보 획득부는 각각 특징 노드(1a, 1b, 1c) 상에서 장애물의 정면(T1)과 측면(T2, T3)을 촬영할 수 있다.
특징 노드(1a)에서 장애물의 정면을 바라볼 때, 카메라의 회전 각도에 따른 영역(S)을 촬영할 수 있으며, 추후 데이터 복기 시 정면과 측면에서 바라본 장애물을 각각 비교하여 장애물을 구체적으로 판별할 수 있으며, 라이더 데이터와 비교하여 정지한 장애물과 이동하는 장애물을 비교할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 주행 환경 인식부를 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 주행 환경 인식부(200)는 라이더 데이터 인식부(210), 영상 데이터 인식부(220), 객체 정보 매칭부(230)를 포함한다.
주행 환경 인식부(200)는 딥 러닝(deep learning) 엔진에 변환된 정보를 넣고 물체 감지(object detection), 인식(recognition)을 수행한다.
주행 환경 인식부(200)는 선별된 환경 정보를 이용하여 상기 객체를 인식한다.
구체적으로, 주행 환경 인식부(200)는 CNN(Convolutional Neural Network) 방법을 이용하여 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식한다.
CNN(Convolutional Neural Network)은 기존의 신경망(Neural Network)에서 이미지의 특성을 뽑을 수 있도록 레이어(Layer)가 구성되어 있어 새로운 이미지에서도 분류를 할 수 있도록 설계된 형태이다.
그러나 주행 환경 인식부의 모델이 합성곱 신경망 기법으로 학습된 모델로 반드시 한정되는 것은 아니며, 다른 종류의 딥 러닝 기법에 의해 학습된 모델이 사용될 수도 있다.
본 발명의 또 다른 일 실시예에 따르면, 상기 주행 환경 인식부는, 기 분류된 트레이닝 데이터로 부터 추출된 특징점을 입력으로 하여, 컨볼루션 신경망의 필터 계수를 결정하기 위한 학습을 미리 수행한 것으로서, 필터 계수를 결정하기 위한 딥러닝 학습부를 포함하여 구성될 수도 있다. 또한 필터 계수를 결정하기 위한 학습은 충전 중에 이루어지는 것이 바람직하다.
라이더 데이터 인식부(210)는 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.
영상 데이터 인식부(220)는 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.
객체 정보 매칭부(230)는 상기 라이더 데이터 인식부에서 인식한 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류한다.
객체 정보 매칭부는 영상 데이터 인식부에서의 판단결과와, 라이더 데이터 인식부에서의 판단 결과를 고려하여 객체를 분류한다. 만약, 영상 데이터 인식부에서의 판단결과와, 라이더 데이터 인식부에서의 판단 결과를 다를 경우, 상황에 따라 가중치를 달리하여 합산한 결과에 따라 객체를 분류할 수 있다. 예를 들여, 조명이 어두운 경우라면, 객체 정보 매칭부는 라이더 데이터 인식부의 판단 결과에 더 높은 가중치를 부여하여, 객체를 분류할 수 있다.
또한, 최종적으로 인식된 물체의 위치 획득 방법에 있어서, 3D 라이다(LiDAR) 기반 물체 인식의 경우 인식된 물체가 있는 점군(point cloud)의 위치 정보를 입력 데이터에서 바로 얻을 수 있다.
이미지 기반의 물체 인식의 경우 라이다(LiDAR)가 적용된 경우와 아닌 경우로 구분이 가능하며, 구체적으로, 3D 라이다(LiDAR)가 같이 장착되어 있는 경우, 3D 라이다(LiDAR)와 이미지를 매칭하여 이미지에 투영된 3차원 위치정보를 획득할 수 있으며, 2D 라이다(LiDAR)가 같이 장착되어 있는 경우 2D 라이다(LiDAR)에서 획득된 지도상의 벽의 정보와 이미지 정보를 매칭하여 이미지에서 인식된 물체와 위치 정보를 매칭한다.
라이다(LiDAR)가 적용되지 않은 경우 자율 주행 이동 로봇이 이동하면서 만든 지도와 로봇의 위치 및 시야(FOV)를 매칭하여 인식된 물체의 위치를 추정한다.
도 8은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 라이더 데이터 인식부를 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 라이더 데이터 인식부(210)는 제1 입력부(211), 제1 형상 추출부(212), 제1 객체 인식부(213)를 포함한다.
라이더 데이터 인식부(210)는 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식한다.
제1 입력부(211)는 라이더 데이터 로딩부로부터 획득한 상기 거리 정보와 반사광 정보를 입력 받는다.
제1 형상 추출부(212)는 상기 거리 정보와 반사광 정보에 기초하여, 상기 점군(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.
점군(point cloud) 데이터는, 라이더 데이터 인식부(210)가 사용할 수 있는 형태의 포맷으로서, 로딩이 가능한 도면 설계/제작 프로 그램을 이용하여 xyz, las 등의 형태로 스캔 정보로부터 추출될 수 있다. 예를 들어, 점군(point cloud) 데이터는, 물체로 판단되는 후보 객체의 윤곽, 형체, 구조 등을 나타내는 형체를 나타내는 이미지를 포함할 수 있다.
제1 형상 추출부(212)는 미리 지정된 복수개의 기준 높이에서의 단면을 잘라내어 합성하거나 필터링할수 있다. 예를 들어, 기준 높이는 30cm, 50cm, 1m 등과 같이 다양한 높이 별로 기 지정될 수 있으며, 필터링을 통해 물체의 중간 높이에 돌출부가 있거나, 상단의 높이에 돌출부가 있거나, 하단의 높이에 특정 물건 등이 있음을 확인할 수 있다.
제1 객체 인식부(213)는 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식한다.
예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(214)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체에 따른 객체 정보를 마킹한다.
도 9는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 영상 데이터 인식부를 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 영상 데이터 인식부(220)는 제2 입력부(221), 제2 형상 추출부(222), 제2 객체 인식부(223)를 포함한다.
제2 입력부(221)는 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는다.
제2 형상 추출부(222)는 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.
미리 지정된 복수개의 기준 높이에서의 단면을 잘라내어 합성하거나 필터링할수 있다. 예를 들어, 기준 높이는 30cm, 50cm, 1m 등과 같이 다양한 높이 별로 기 지정될 수 있으며, 필터링을 통해 물체의 중간 높이에 돌출부가 있거나, 상단의 높이에 돌출부가 있거나, 하단의 높이에 특정 물건 등이 있음을 확인할 수 있다.
제2 객체 인식부(223)는 추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식한다.
예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(224)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체에 따른 객체 정보를 마킹한다.
본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치는 3D 라이다(LiDAR)와 이미지 기반 물체 인식 시스템을 사용할 수 있으며, 이에 따라 두 시스템을 각각 사용할 때의 차이점을 보완할 수 있다.
예를 들어, 3D 라이다(LiDAR)의 경우 입력 데이터가 많고 차수가 높으며, 물체의 종류를 출력하고, 인식된 물체의 위치를 획득하는 후처리가 쉽지만, 이미지 기반 물체 인식 시스템의 경우 입력데이터의 수가 적고 차수가 낮으며, 물체의 종류를 출력하고, 인식된 물체의 위치를 획득하는 후처리에 많은 연산이 소요된다.
도 10a 및 도 10b는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치의 객체 정보 매칭부를 설명하기 위한 도면이다.
도 10a 는 TV와 나무로 된 TV장식장을 나타낸 것이고, 도 10b는 유리로 이루어진 장식장을 나타낸 것이다.
도 10a 및 도 10b는 각각 제10 특징 노드에 해당하는 #10 순서의 노드에서 획득하는 경우를 예로 들어 나타낸 것이다.
도 10a에서, 라이더 데이터 인식부가 TV장식장(241)과 TV장식장 사이의 공간(242)을 인식하여, 틈이 있는 가구임을 판별하게 된다.
또한, 영상 데이터 인식부가 틈이 있는 가구이며, 장식장의 내부가 비치지 않는 나무 재질로 이루어진 것을 확인할 수 있으며, 상단에 TV(243)가 놓여짐을 확인할 수 있다.
객체 정보 매칭부는 라이더 데이터 인식부에서 인식된 틈이 있는 가구 정보에 해당하는 장식장임을 판단한 결과와, 영상 데이터 인식부에서 판단한 나무 재질의 가구임을 판단한 결과를 매칭하여 기존의 장애물로 인식된 객체가 구체적으로는 나무 재질로 이루어진 TV 장식장임을 판별할 수 있다.
도 10b에서, 라이더 데이터 인식부가 장식장(245)이 존재함을 판단하고, 장식장이 바닥과 틈이 없이 놓여진 것을 확인할 수 있다.
또한, 영상 데이터 인식부가 장식장의 내부가 비치는 것을 확인할 수 있고, 이에 따라 유리문(244) 또는 내부가 비어있는 것으로 판별할 수 있다.
객체 정보 매칭부는 라이더 데이터 인식부에서 바닥과 틈이 없이 놓여진 장식장임을 판단한 결과와, 영상 데이터 인식부에서 판단한 유리 재질의 가구임을 판단한 결과를 매칭하여 기존의 장애물로 인식된 객체가 구체적으로는 유리 재질로 이루어진 장식장임을 판별할 수 있다.
도 10a 및 도 10b에 나타난 바와 같이, #10 순서의 노드에서 장식장에 해당하는 장애물을 1차적으로 판별하였더라도, 본원 발명의 객체 정보 매칭부를 이용하여 객체 정보를 더욱 상세히 분류할 수 있다. 또한, 이에 따라 틈이 있는 가구의 경우 틈의 높이에 따라, 자율 주행 이동 로봇이 가구의 내부까지 청소하는 것이 가능하며, 유리 재질로 이루어진 장식장임을 판별할 경우, 부딪힘을 방지하기 위해 장애물과의 이격 거리를 조절하여 운행하도록 제어할 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치에서 라이더 데이터 인식부와 영상 데이터 인식부가 배경과 실제 강아지 또는 강아지 인형을 인식하는 경우, 객체 정보 매칭부는 라이더 데이터 인식부에서 인식한 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체 정보를 비교할 수 있다.
예를 들어, 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류할 수 있다. 도 10에 나타난 #10 순서의 객체 정보 이외에, #9 순서와 #11 순서의 노드를 비교하며, 또한 각 노드에서는 이미지의 특징 지점에 따라 비교할 수도 있다.
#9 순서와 #11 순서의 노드에서도 강아지가 자체로 인식되었다면, 실제 움직이는 강아지임을 판별하고, 영상 데이터 인식부에서 정지하는 강아지 인형의 측면이 인식될 경우 강아지 인형으로 판별하며 이에 따라, 자율 주행 이동 로봇의 주행을 제어할 수 있다.
또한, 객체 정보 매칭부는 라이더 데이터 인식부의 객체 정보와 영상 데이터 인식부에서 인식한 객체 정보의 가중치를 상황에 따라 다르게 두어 분류할 수 있다.
예를 들어 높이에 따라 상단의 높이에서 장애물을 판단하였을 때는 정지한 물체에 가중치를 더하며, 바닥에서 인식되었을 경우에는 이동하는 물체에 가중치를 더하게 된다. 또한, 물체와 연관된 장애물과 같이 강아지와 함께 개 집이 인식되었을 경우에는 강아지에 가중치를 더하게 된다.
이에 따라, 실제 강아지가 있음을 판별하는 경우, 주행 경로상에 위치하는 강아지의 배설물을 함께 탐지하는 배설물 탐지 모드를 작동하여, 주행 시 배설물을 자율 주행 이동 로봇이 지나가는 상황을 방지할 수 있다.
도 11 내지 도 14는 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법을 나타낸 흐름도이다.
도 11을 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은 자율 주행 로봇이 충전을 하기 위해 도킹하는 단계(S11)에서 시작한다.
단계 S11에서 로봇 도킹 후 프로세서가 시작되며, 로봇이 충전을 위하여 충전 스테이션에 도킹 후 충전을 시작하면, 로봇의 자율주행을 위한 프로세스를 끄고, 물체 감지(object detection), 인식(recognition)프로세스를 켠다.
단계 S12에서 프로세서가 로봇의 자율 주행 또는 지도 생성 과정에서 획득한 데이터들을 로딩한다.
단계 S12에서 자율 주행 또는 지도 생성 과정에서 획득한 데이터를 로딩하며, 이 경우 3차원, 2차원 지도 사용이 가능하고, 3차원, 2차원 LiDAR 데이터 또는 영상 데이터 사용이 가능하다.
구체적으로, 로딩되는 데이터 종류는 지도의 경우 3차원 또는 2차원 지도, 점군(point cloud) 정보의 경우 거리(range) 정보, 반사광(intensity) 정보, 영상 또는 이미지 정보의 경우 로봇이 주행하면서 찍은 영상 또는 이미지들을 포함한다.
단계 S13에서 로딩된 데이터들 중에서 상기 로봇이 일 지점을 지나는 순간의 위치별 데이터를 생성한다.
단계 S13에서 물체 감지(object detection), 인식(recognition)을 수행하기 위한 각 위치별 데이터를 획득하며, 미리 만들어진 지도와 LiDAR 영상 등의 정보와 지도로부터 가상의 로봇이 돌아다니면서 순간 순간 데이터를 획득하도록 한다.
구체적으로, 로봇이 주행 중에 획득한 데이터들 중에서 로봇이 그 위치를 지나는 순간 획득하는 데이터를 생성하며, 저장된 데이터를 리플레이 하면서 로봇의 위치와 그때 생성된 데이터를 모두 획득하고 물체 감지(object detection), 인식(recognition)을 할 수 있는 형태로 변환한다.
단계 S14에서 상기 위치별 데이터에서 상기 일 지점에 위치한 물체를 감지하고 인식한다.
단계 S14에서 획득된 데이터를 이용하여 물체 감지(object detection), 인식(recognition)을 수행한다.
여기서, 딥러닝(deep learning) 엔진에 변환된 정보를 넣고 물체 감지(object detection)와 인식(recognition)을 수행한다.
단계 S15에서 상기 감지된 물체의 위치를 지도에 마킹하고, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은 종료된다.
단계 S15에서 인지된 물체를 지도 정보와 매칭하여 지도에서의 위치를 추정하고, 지도 상에서 인지된 물체의 위치에 물체의 카테고리 및 정보를 마킹하게 된다. 이후 전체 지도에 대하여 물체 인식 및 지도에 마킹 과정이 끝나면 프로세스가 종료된다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 방법은 환경 정보 획득부가 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계(S100)에서 시작한다.
단계 S100에서 환경 정보 획득부가 메모리에 저장된 환경 정보와 주행 지도 정보 중 적어도 일부를 이용하여, 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.
구체적으로, 환경 정보 획득부(100)는 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리(101)에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩한다.
일정 기준은 예를 들어, 도킹 스테이션에서 충전중인 경우, 또는 배터리의 충전량이 일정 기준 이상 높은 경우, 주행중인 이동로봇의 잔여 이동 경로를 고려할 때, 기준값 이상의 전력량이 남아있는 경우 등이 있다.
본 발명의 일 실시예에서는 충전 모드 명령이 입력되면 환경 정보를 학습하기 위한 상태로 판단할 수 있으며, 충전 모드 명령은, 자율 주행 이동 로봇이 충전 스테이션에 도킹이 되는 경우, 주행 프로세스는 중단하고, 충전 프로세스를 시작하도록 하며 충전 프로세스 중에 환경 학습 장치의 알고리즘이 수행된다. 제어부(미도시)로부터 충전 모드 명령을 전달 받으면, 충전을 시작하며 주행 모드 명령을 전달 받을 경우 충전을 중단하고 자율 주행을 시작하게 된다.
충전 모드 명령이 입력되는 상태 이외에도, 일정 기준 이상으로 전력 관리가 가능한 상태로 당업자가 실시할 수 있는 경우에는 환경 학습 장치의 프로세스를 수행할 수 있다.
여기서, 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며, 상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보 및 외부의 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 포함한다.
또한, 특징 지점은, 상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 경로가 급변하는 지점 및 상기 자율 주행 이동 로봇의 영상 정보 획득부가 중앙을 바라볼 때의 지점 중 적어도 하나이다.
위치 데이터는 물체 감지(object detection), 인식(recognition)을 수행하기 위한 각 위치별 데이터이며, 환경 정보 획득부(100)는 미리 만들어진 지도와 라이다(LiDAR) 영상 등의 정보와 지도로부터 가상의 로봇이 돌아다니면서 순간 순간 데이터를 획득하도록 한다.
단계 S200에서 주행 환경 인식부가 상기 선별된 환경 정보를 이용하여 상기 객체를 인식한다.
단계 S300에서 업데이트부가 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 한다.
구체적으로, 인식된 상기 객체 정보의 해당 특징 노드의 좌표와 상기 주행 영역에 대한 주행 지도의 좌표를 매칭하여 상기 주행 지도를 업데이트 한다.
도 13을 참조하면, 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계(S100)는,
단계 S110에서 특징 지점 결정부가 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여한다.
이후, 로딩부가 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩한다.
구체적으로, 단계 S121에서 라이더 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 3차원 기반의 점군(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩한다.
단계 S123에서 영상 데이터 로딩부가 상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩한다.
도 14를 참조하면, 주변 환경에 포함된 객체 정보를 인식하는 단계(S200)는, CNN(Convolutional Neural Network) 방법을 이용하여 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식하는 것을 특징으로 하되,
단계 S211 내지 S213에서 라이더 데이터 인식부가 상기 라이더 데이터 로딩부로부터 획득한 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식한다.
구체적으로, 단계 S211에서 제1 입력부(211)는 상기 라이더 데이터 로딩부로부터 획득한 거리 정보와 반사광 정보를 입력 받는다.
단계 S212에서 제1 형상 추출부(212)는 거리 정보와 반사광 정보에 기초하여, 상기 점군(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.
단계 S213에서 제1 객체 인식부(213)는 추출된 상기 객체들의 형상에서, 상기 객체들을 속성에 따라 분류하여 상기 자율 주행 이동 로봇이 인식한 객체들의 종류를 결정하여, 객체 정보로 인식한다.
예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(214)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체의 종류를 마킹한다.
단계 S221 내지 S223에서 영상 데이터 인식부가 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체 정보를 인식한다.
단계 S221에서 제2 입력부(221)는 상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는다.
단계 S222에서 제2 형상 추출부(222)는 상기 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출한다.
단계 S223에서 제2 객체 인식부(223)는 추출된 상기 객체들의 형상에서, 상기 객체들을 속성에 따라 분류하여 상기 자율 주행 이동 로봇이 인식한 객체들의 종류를 결정하여, 객체 정보로 인식한다.
예를 들어 추출된 객체들의 형상에서, 특정 객체가 쇼파 또는 인형임을 인식하는 경우 인식한 객체의 종류를 출력부(224)에서 출력하고, 기 저장된 주행 지도에서 출력된 객체의 종류를 마킹한다.
본 발명의 일 실시예에 따른 자율 주행 이동 로봇의 환경 학습 장치는 3D 라이다(LiDAR)와 이미지 기반 물체 인식 시스템을 사용할 수 있으며, 이에 따라 두 시스템을 각각 사용할 때의 차이점을 보완할 수 있다.
단계 S230에서 객체 정보 매칭부가 상기 라이더 데이터 인식부에서 인식한 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류한다.
또한, 자율 주행 이동 로봇의 환경 학습 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하에서는 본 발명의 실시예에 따른 객체 영상 생성 장치, 이를 포함하는 객체 인식 장치 및 상기 객체 인식 장치를 포함하는 이동 로봇의 구성을 관련된 도면을 참조하여 상세히 설명한다.
본 발명의 객체 인식 장치(1500)는 이동 로봇에 설치되어, 주행 방향 및 주행 모드 등 주변을 효율적으로 청소하기 위한 동작을 수행하기 위해 이동 로봇 주변에 있는 객체(물체)들을 인식하기 위한 것이다. 여기서, 본 발명의 이동 로봇은 미리 정의된 방식에 따라 특정 위치에서 다른 위치로 이동 가능하도록 설계된 장치를 의미하며, 바퀴, 레일, 보행용 다리 등과 같은 이동 수단을 이용하여, 특정 위치에서 다른 위치로 이동할 수 있다. 이동로봇은 센서 등을 이용하여 외부의 정보를 수집한 후 수집된 정보에 따라서 이동할 수도 있고, 사용자에 의해 별도의 조작 수단을 이용하여 이동할 수 있다.
본 발명의 이동 로봇의 일예로는 로봇 청소기, 장난감 자동차, 산업용 또는 군사용 목적 등으로 이용 가능한 이동 로봇일 수 있으며, 이동 로봇은 바퀴를 이용하여 주행하거나, 하나 이상의 다리를 이용하여 보행하거나, 이들의 조합 등으로 구현될 수 있다.
로봇 청소기는 청소 공간을 주행하면서 바닥에 쌓인 먼지 등의 이물질을 흡입함으로써 청소 공간을 자동으로 청소하는 장치이다. 일반적인 청소기가 사용자에 의한 외력으로 이동하는 것과 달리, 로봇 청소기는 외부의 정보 또는 미리 정의된 이동 패턴을 이용하여 이동하면서 청소 공간을 청소한다.
로봇 청소기는 미리 정의된 패턴을 이용하여 자동적으로 이동하거나, 또는 감지 센서에 의해 외부의 장애물을 감지한 후, 감지된 바에 따라 이동할 수도 있고, 사용자에 의해 조작되는 원격 제어 장치로부터 전달되는 신호에 따라 이동 가능하다.
도 15는 본 발명의 일 실시예에 따른 객체 인식 장치의 구성을 개략적으로 도시한 블록도이다. 도 15을 참조하면, 본 발명의 객체 인식 장치(1500)는 3차원 라이다(1510), 객체 영상 재구성부(1520), 및 프로세서(1530)를 포함할 수 있다. 여기서, 본 발명의 실시예에 따른 객체 영상 생성 장치는, 도 15의 3차원 라이다(1510) 및 객체 영상 재구성부(1520)를 포함하는 것일 수 있다. 즉, 객체 인식 장치는 객체 영상 생성 장치를 포함하는 것으로서, 중복되는 개념이므로 이하 객체 인식 장치에 대한 구성에 대하여 보다 구체적으로 설명하도록 한다.
3차원 라이다(1510)는 멀리 있는 객체들을 감지할 수 있는 거리범위, 방위각과 고각 등의 시야각 범위, 그리고 공간 분해능의 성능이 우수한 라이다(Laser Radar)로 구현될 수 있다. 라이다는 레이저 신호를 쏘고 반사되어 돌아오는 시간을 측정하고, 빛의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 레이저 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다.
본 발명의 3차원 라이다(1510)는 한 쌍의 광원 및 광 다이오드를 이용하여 광 신호를 송수신하며, 이동성 거울 및 회전체를 이용하여 주변을 3차원 스캐닝한다. 3차원 라이다(1510)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상과 거리 측정 장치 사이의 거리를 측정한다.
본 발명에서 3차원 라이다(1510)가 조사하는 레이저 신호는 상하 좌우로 이동하면서 매우 촘촘한 간격으로 조사되기 때문에, 객체들에 의해 반사된 레이저 신호에 따른 거리 정보들을 모으면 3차원 라이다 주변의 환경의 3차원 정보를 획득할 수 있다.
일 실시예에 따르면, 본 발명의 3차원 라이다(1510)는 이동 로봇의 상단면에 설치되어 자체적으로 회전하며 360도 각도범위에 있는 주변 환경에 기 설정된 주기 간격으로 레이저 신호를 송수신함으로써 상기 객체에 대한 정보를 포함하는 포인트 클라우드(point cloud)를 획득할 수도 있고, 이동 로봇이 객체를 인식하고자 하는 위치에 고정되거나, 또는 인식하고자 하는 타이밍에 이동 주행하면서 레이저 신호를 송수신할 수도 있다. 3차원 라이다에 대한 보다 구체적인 설명은 이하 도 16를 참고하여 후술한다.
3차원 라이다(1510)는 객체에 의해 반사된 레이저 신호(광 신호)를 기반으로 상기 객체들 각각의 위치를 나타내는 포인트 클라우드를 생성할 수 있다. 그리고, 객체 영상 재구성부(1520)는 상기 포인트 클라우드를 기초로 상기 객체들에 대한 거리 정보 또는 표면 정보를 나타내는 영상들을 생성할 수 있다.
보다 상세하게는, 3차원 라이다(1510)는 수신한 레이저 신호로부터 산출 가능한 객체들의 3차원 위치 정보들을 점의 형태로 나타냄에 따라 상기 포인트 클라우드를 생성하는 것이다. 즉, 포인트 클라우드는, 3차원 라이다(1510)가 수신한 레이저 신호를 통해 획득하는 모든 주변 객체들의 3차원 위치 정보를 무수한 점(point)들의 집합으로 표현함으로써 표시되는 것으로서, 마치 물방울이 구름을 이루고 있는 것과 같은 형상으로 표현될 수 있다.
포인트 클라우드(point cloud)란 3차원 라이다로부터 조밀하게 방출되어 대상체에서 반사되어 수신기로 돌아온 수많은 측점군들로 구성되고, 각 측점군은 x, y, z의 위치좌표를 갖는다. 3차원 라이다는 중심 좌표계를 기준으로 각 지점에 대한 공간의 거리를 표적표면에 대한 조밀한 샘플링을 통해 그에 해당하는 3차원 위치를 포함하는 수많은 측점, 즉 점군(Point Cloud) 형태의 정보를 제공한다. 3차원 라이다가 제공하는 점군 데이터를 그대로 원격 작업에게 3차원 형태로 시각화하면 자유로운 시점 이동이 가능해지고 공간에 대한 측정 정보를 제공함으로써 영상 정보의 문제점을 개선할 수 있으며, 3차원 프린터 등을 활용하면 3차원 형상 구축 및 제작이 용이해진다.
본 발명의 일 실시예에 따른 포인트 클라우드는 도 21 및 도 22에 도시된 상단 영상(2200)과 같이 3차원 영상으로 생성될 수 있다.
그리고, 프로세서(1530)는 객체 영상 재구성부(1520)로부터 생성된 영상들을 이용하여 학습함에 따라 상기 객체를 인식할 수 있다.
도 16은 본 발명의 일 실시예에 따른 3차원 라이다(1510)의 구성을 개략적으로 도시한 블록도이다.
도 16를 참조하면, 본 발명의 3차원 라이다(1510)는, 광원(1511), 광 신호 송신부(1512), 광 신호 감지부(1513), 및 포인트 클라우드 생성부(1514)를 포함하여 구성될 수 있다.
광원(1511)은 레이저 신호를 생성한다. 광 신호 송신부(1512)는 광원(1511)으로부터 생성된 레이저 신호를 이동 로봇의 주변의 객체들을 향해 미리 정해진 시간 주기에 따라 송신할 수 있다.
광 신호 감지부(1513)는 광 신호 송신부(1512)로부터 송신된 레이저 신호가 주변 객체에 반사되어 돌아오는 레이저 신호를 수신함에 따라 수신한 레이저 신호의 광량을 포함하는 신호 세기를 감지할 수 있다.
포인트 클라우드 생성부(1514)는 광 신호 송신부(1512)로부터 레이저 신호가 송신된 시점으로부터, 송신된 레이저 신호가 객체에 반사되어 돌아오는 레이저 신호를 수신하는 시점까지의 시간을 계산하여, 3차원 라이다(1510)와 객체의 적어도 일 지점(point)까지의 거리를 측정할 수 있다. 이에 따라, 포인트 클라우드 생성부(1514)는 측정된 거리 및 상기 감지된 신호 세기에 대한 정보를 이용하여 포인트 클라우드를 전기적인 신호로 생성하여 객체 영상 재구성부(1520)로 전달한다.
도 17 및 도 19는 본 발명의 다른 일 실시예에 따른 객체 인식 장치(1500)의 구성을 보다 구체적으로 도시한 블록도이고, 도 18 및 도 20은 본 발명의 일 실시예에 따른 객체 인식 장치의 동작 알고리즘을 설명하기 위해 도시한 개념도이다.
보다 구체적으로는, 도 17 및 도 18은 객체 인식 장치가 획득하는 객체 정보들을 이용하여 객체를 보다 효과적으로 인식하기 위한 학습 단계에서의 동작 흐름을 나타낸 도면이고, 도 19 및 도 20은 학습이 모두 완료된 후, 실시간으로 획득하는 객체 정보들을 이용하여 객체를 인식하는 시점에서의 동작 흐름을 나타낸 도면이다. 먼저, 도 17 및 도 18를 참조하여 학습단계에서의 객체 인식 장치(1500)의 동작을 설명한다.
일 실시예인 도 17에 따르면, 본 발명의 객체 영상 재구성부(1520)는 특징 영상 생성부(1521), 영상 필터부(1522), 영상 전처리부(1523), 혼합 영상 생성부(1524), 및 컬러 영상 생성부(1525)를 포함할 수 있다.
특징 영상 생성부(1521)는 3차원 라이다(1510)로부터 전기적인 신호로 전달 받은 포인트 클라우드를 이용하여 객체까지의 거리와 반사된 레이저 신호의 세기에 따라 객체들에 대한 복수의 영상들을 생성할 수 있다. 상세하게는, 특징 영상 생성부(1521)는 객체까지의 거리에 대한 거리 정보를 포함하는 2차원의 깊이 영상 및 객체의 표면 특징에 대한 표면 정보를 포함하는 2차원의 인텐시티(intensity) 영상을 생성할 수 있다.
여기서, 깊이 영상이란 거리 영상(range image)과 같은 의미로서, 거리에 해당하는 픽셀 값을 갖는다.
본 실시예에 따른 특징 영상 생성부(1521)는 상기 3차원의 포인트 클라우드를 2차원의 공간 상에 투영함에 따라 3차원 라이다(1510)의 적어도 일 지점(point)과 객체들 중 하나의 적어도 일 지점(point) 사이의 거리에 대한 정보들로 이루어진 깊이 영상을 생성할 수 있다.
도 21은 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 깊이 영상을 생성하는 것을 나타내는 도면이다. 도 21에서 상단 영상(2200)은 3차원 영상인 포인트 클라우드이고, 하단 영상(2210)은 2차원 영상인 깊이 영상(거리 영상)이다.
도 21의 하단 영상에 도시된 바와 같이, 본 발명의 깊이 영상은 일반 카메라로 획득되는 영상과 달리 회백색의 영상으로 생성될 수 있다. 일반 카메라로 획득한 영상은 가시광선으로 반사되는 색을 감지함으로써 영상을 생성하는 것인 반면, 본 발명의 깊이 영상은 3차원 라이다(1510)와 객체까지의 거리를 색으로 표현할 수 있다.
예컨대, 특징 영상 생성부(1521)는 3차원 라이다(1510)의 적어도 일 지점(point)와 각 객체의 적어도 일 지점(point)와의 거리에 따라 상기 객체의 적어도 일 지점의 위치에 대응되는 깊이 영상의 각 픽셀값을 결정할 수 있다. 즉, 본 발명의 깊이 영상은 도 21의 하단 영상(2210)과 같이 객체와의 거리에 따라 영상의 색이 결정될 수 있다.
또한, 본 실시예에 따른 특징 영상 생성부(1521)는 상기 3차원의 포인트 클라우드에 포함된 객체들 중 하나의 적어도 일 지점(point)에 반사되어 돌아오는 레이저 신호의 세기들을 고려하여, 포인트 클라우드를 2차원의 공간 상에 투영함에 따라 객체 표면 특징들에 대한 정보들로 이루어진 인텐시티 영상을 생성할 수 있다.
도 22는 본 발명의 일 실시예에 따른 포인트 클라우드를 이용하여 인텐시티 영상을 생성하는 것을 나타내는 도면이다. 도 22에서 상단 영상(2200)은 3차원 영상인 포인트 클라우드이고, 하단 영상(2220)는 2차원 영상인 인텐시티 영상이다.
일 실시예에 따른, 인텐시티 영상은 일반 카메라로 획득한 영상과 유사한 정보를 나타낼 수 있지만, 본 발명의 3차원 라이다(1510)가 송수신하는 레이저 신호는 가시광선 대역이 아닌 적외광 대역을 이용하기 때문에, 일반 카메라로 획득한 영상과는 다른 영상으로 표현된다.
본 발명의 깊이 영상은 객체와의 거리만으로 주변 객체들을 표시하기 때문에 객체 표면의 특징을 찾을 수 없는 반면, 상기와 같은 본 발명의 인텐시티 영상은 송신된 레이저 신호가 각 객체의 표면에 반사되는 정보들이 그대로 반영되기 때문에 가시광선 영상과 같이 객체 표면의 특징을 모두 나타낼 수 있다.
예컨대, 인텐시티 영상은 객체 표면에 반사되어 돌아오는 레이저 신호의 세기를 이미지로 변환한 데이터이기 때문에 반사가 잘되는 객체 표면의 경우 밝은 명도 값으로 표시될 수 있고, 반사가 잘되지 않는 객체 표면의 경우 어두운 명도 값으로 표시될 수 있다.
영상 변환부(1521)는 예컨대, 상기 3차원의 포인트 클라우드를 이루는 각 픽셀 단위 신호값들을 2차원 평면 상에 매핑시킴으로써, 3차원의 영상인 포인트 클라우드를 2차원 영상으로 변환한, 깊이 영상 및 인텐시티 영상이 생성되는 것이다.
다시 도 18를 참조하면, 상술한 바와 같이, 특징 영상 생성부(1521)가 객체 정보를 기초로 객체에 대한 깊이 영상(거리 영상)과, 인텐시티 영상(세기 영상)을 생성한 후, 생성된 깊이 영상 및 인텐시티 영상을 영상 필터부(1522)로 전달한다.
이에 따라, 본 발명의 실시예에 따른 영상 필터부(1522)는 전달 받은 깊이 영상 및 인텐시티 영상의 영상 노이즈를 제거한다. 여기서, 본 발명의 영상 필터부(1522)는 중간 값 필터(median filter)로 구현되는 것이 바람직하다.
3차원의 포인트 클라우드를 기초로 하여 생성된 깊이 영상과, 인텐시티 영상은 3차원 라이다(1510)로부터 송신된 레이저 신호가 객체에 반사되어 돌아오지 못하는 경우, 일부 영역에 대한 레이저 신호를 수신하지 못한 채 영상을 생성하게 되면, 깊이 영상과 인텐시티 영상에 포함된 정보가 소실되어 나타나게 되면서 검은색 점들로 영상에 흩뿌려진 것과 같이 나타나게 된다. 따라서, 본 발명의 영상 필터부(1522)는 생성된 깊이 영상 및 인텐시티 영상을 노이즈 처리 필터링함으로써, 각 깊이 영상과 인텐시티 영상에 포함된 정보의 품질을 개선할 수 있도록 한다.
그리고, 도 17에 도시된 바와 같이, 영상 필터부(1522)가 깊이 영상 및 인텐시티 영상의 노이즈를 필터링한 후, 노이즈가 필터링된 깊이 영상 및 인텐시티 영상을 영상 전처리부(1523)로 전달한다.
영상 전처리부(1523)는 필터링된 깊이 영상 및 인텐시티 영상 각각의 화소값들을 균일하게 분산시켜 각 영상을 가공할 수 있다. 일 실시예에 따른 영상 전처리부(1523)는 이후 프로세서(1530)에서 객체를 보다 용이하게 식별할 수 있도록 상기 필터링된 깊이 영상 및 인텐시티 영상 각각을 히스토그램 평활화(histogram equalization)하여 각 영상의 픽셀 값 분포를 전체적으로 균일하게 분산시킴으로써, 전체적으로 화질이 개선된 영상을 출력할 수 있도록 한다.
그리고, 영상 전처리부(1523)는 가공된 깊이 영상 및 인텐시티 영상을 혼합 영상 생성부(1524)로 전달한다. 혼합 영상 생성부(1524)는 컬러 영상 생성부(1525)에서 컬러 영상을 생성할 수 있도록 혼합 영상을 생성한다.
부연 설명하면, 영상 전처리부(1523)에 의해 영상 처리된 깊이 영상 및 인텐시티 영상은 한 가지 정보로 이루어진 영상 정보이기 때문에, 흑백계열의 영상(gray image)으로 생성된다. 이때 중요한 점은, 컬러 영상은 단일 정보로 이루어진 3가지 영상(RGB)을 합성하여야만 생성될 수 있다. 즉, 특징 영상 생성부(1521)를 통해 생성한 영상은 2개이므로, 상기 생성된 2개의 영상을 이용하여 다른 하나의 영상을 더 생성하여야 한다.
즉, 컬러 영상 생성부(1525)가 컬러 영상을 생성하기 위하여, 깊이 영상 및 인텐시티 영상 외에 상기 영상들과 동일한 정보를 포함하고 있는 또 다른 하나의 영상이 필요한 것이다.
도 23은 본 발명의 일 실시예에 따른 컬러 영상을 생성하는 과정을 나타내는 참고도이다. 도 23를 참조하면, 본 발명의 혼합 영상 생성부(1524)는 영상 전처리부(1523)로부터 영상 처리된 깊이 영상이 구성하는 화소 정보들 및 인텐시티 영상이 구성하는 화소 정보들을 가중합함에 따라 혼합 영상을 생성할 수 있다. 이때 생성되는 혼합 영상은 깊이 영상 및 인텐시티 영상과 마찬가지로 흑백 영상(gray image)으로 생성된다.
이에 따라, 본 발명의 컬러 영상 생성부(1525)는 생성된 혼합 영상과, 영상 처리된 깊이 영상 및 인텐시티 영상을 합성하여 새로운 형태의 컬러 영상을 생성할 수 있게 된다.
상술한 바와 같이 가공된 깊이 영상 및 인텐시티 영상을 이용하여 다른 하나의 혼합 영상을 생성하는 것은 도 17에 도시된 혼합 영상 생성부(1524)이다. 또 다른 실시예인 도 18에서는 영상 전처리부(1523)에서 영상 처리한 깊이 영상 및 인텐시티 영상을 바로 컬러 영상 생성부(1525)로 전달하는 것으로 도시하였지만, 본 발명의 혼합 영상 생성부(1524)는 도 18에 도시된 바와 같이 컬러 영상 생성부(1525)에 포함된 구성으로 마련되어, 컬러 영상 생성부(1525)가 상기 혼합 영상을 생성한 후, 컬러 영상을 생성하는 것으로 구현될 수도 있고, 도 17에 도시된 바와 같이 혼합 영상 생성부(1524)는 컬러 영상 생성부(1525)와 별도로 마련되는 구성으로 구현될 수도 있다.
도 24는 상술한 컬러 영상을 생성하는 알고리즘을 나타낸 도면이다. 도 24에서 [j][i]는 합성 영상에서 j와 i번째 화소를 의미한다.
도 25는 상술한 바와 같은 과정을 통해 생성된 컬러 영상을 나타낸 도면이다.
다시 도 17을 참조하면, 본 발명의 프로세서(1530)는 라벨 영상 생성부(1531), 학습부(1532), 및 객체 인식부(1533)를 포함하여 구성될 수 있다.
본 실시예에서의 라벨 영상 생서부(1531)는 컬러 영상 생성부(1525)로부터 생성된 컬러 영상을 전달 받고, 전달 받은 컬러 영상에서 적어도 일 지점을 레이블링(labeling)한 레이블 영상(labeled image)을 생성할 수 있다.
프로세서(1530)가 이동 로봇 주변에 있는 객체들을 잘 인식하기 위한 학습을 수행하는데, 이때 학습을 원활히 하기 위해서는 입력 데이터인 컬러 영상에서 사용자가 지정하는 부분을 표시하여, 인공신경망이 입력 영상에서 찾아야 할 부분을 표시해주어야 한다.
예컨대, 레이블 영상은 상기 컬러 영상에서 사용자가 원하는 특정 객체(chair, table)에 레이블링(labeling)한 레이블된 객체 정보를 더욱 포함하는 영상일 수 있다
라벨 영상 생성부(1531)는 생성한 레이블 영상과 컬러 영상을 학습부(1532)로 전달하고, 학습부(1532)는 전달 받은 컬러 영상과 레이블 영상을 내부에 마련된 인공 신경망에 입력하여, 인공 신경망을 통해 객체들을 인식할 수 있다.
도 26은 본 발명의 일 실시예에 따라 프로세서의 인공신경망에 입력되는 입력 영상들을 도시한 도면이다. 도 26를 참조하면, 컬러 영상(color image)을 이용하여 생성되는 레이블 영상(labeled image)은 컬러 영상과 마찬가지로 영상으로 생성될 수 있다..
다시 도 17을 참조하면, 본 발명의 프로세서의 학습부(1532)은 컬러 영상과 레이블 영상을 입력 받아 학습을 수행한다. 즉, 학습부(1532)는 컬러 영상과 상기 컬러 영상에 객체 인식 장치(1500)가 인지해야 하는 객체가 레이블링된 레이블 영상을 함께 입력 받아, 학습을 수행할 수 있다.
일 실시예에 따른 본 발명의 학습부(1532)는 딥 뉴럴 네트워크(DNN)로 구성되는 인공 신경망을 이용하여 상기 컬러 영상과 레이블 영상을 학습할 수 있다. 예컨대, 본 발명의 학습부의 인공 신경망은 CNN(convolution neural network), RNN(recurrent neural network), GAN(Generative Adversarial Network) 중 하나의 신경망으로 구현될 수 있다. 본 명세서에서는 학습부(1532)의 인공신경망이 컨볼루션 신경망(CNN)으로 구현되어 학습하는 것으로 가정하여 설명한다.
일 실시예에 따른 학습부(1532)는 인코딩부, 컨볼루션 신경망(인공 신경망), 디코딩부로 구성될 수 있다.
인코딩부는 상기 컬러 영상 및 레이블 영상을 입력 받아, 입력 받은 컬러 영상 및 레이블 영상을 인코딩하여 입력 특징 벡터들로 변환할 수 있다. 여기서 입력 특징 벡터란 각 영상의 특징을 나타내는 벡터 행렬일 수 있다.
컨볼루션 신경망은 입력 노드들로 이루어진 입력 레이어(input layer), 상기 입력된 컬러 영상 및 레이블 정보를 이용하여 학습하는 복수개의 히든 노드들(은닉 노드)로 이루어진 히든 레이어(hidden layer), 및 학습 결과를 출력하는 출력 노드들로 이루어진 출력 레이어(output layer)로 구성되어, 학습을 수행할 수 있다. 여기서, 히든 레이어는 입력 레이어의 각 입력 노드들로부터 출력되는 각 입력 특징 벡터와, 노드들 사이에 설정된 가중치들 및 각 노드별 바이어스 값을 이용한 가중합 연산을 함으로써 상기 입력 특징 벡터들을 출력 특징 벡터들로 변환한다.
디코딩부는 상기 컨볼루션 신경망으로부터 출력되는 학습 결과인 출력 특징 벡터(벡터 행렬)를 디코딩하여 입력된 영상 정보를 토대로 객체를 인식한 결과를 산출할 수 있다. 예컨대, 인식한 결과는 입력된 영상 정보에 포함되어 있는 객체의 정의(이름), 객체의 개수, 객체의 위치, 객체의 크기일 수 있다.
도 19 및 도 20은 위에서 언급한 바와 같이 학습이 모두 완료된 후, 실시간으로 획득하는 객체 정보들을 이용하여 객체를 인식하는 시점에서의 동작 흐름을 나타낸다.
도 19 및 도 20에 따른 객체 인식 장치(1900)의 객체 인식부(1933)는 학습부(1932)가 객체 인식을 위한 학습 과정을 통해 정해진 인공 신경망의 각 레이들간의 최적의 가중치들이 설정된 레이어들을 포함하는 신경망을 이용하여, 이동 로봇(10)의 상단부에 설치되는 3차원 라이다(1910)로부터 생성되는 포인트 클라우드를 토대로 실시간으로 현재 주변에 있는 객체들을 인식할 수 있다.
본 발명의 일 실시예인 도 20의 객체 인식 장치(1900)는, 주행 제어부(1940)를 더욱 포함하여 구성될 수도 있다. 주행 제어부(1940)는 객체 인식부(1933)로부터 인식된 주변 환경에 있는 객체(물체)의 위치를 고려하여 이동 로봇(10)의 주행 방향 및 주행 모드를 제어할 수 있다.
보다 구체적인 실시예로, 주행 제어부(1940)는 상기 객체 인식부(1933)로부터 인식된 객체에 대한 데이터를 기반으로 소정 공간 예컨대, 가정집, 공공기관, 회사 등에서 이동하면서 청소하게 될 전체 영역에 대한 지도를 생성하고, 기 생성된 지도를 기반으로 사용자의 조작 없이도 청소하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 청소하고자 하는 구역을 자동으로 청소할 수 있도록 청소 동작을 수행하는 동작부를 제어할 수 있다.
도 27은 본 발명의 일 실시예에 따른 객체 영상 생성 방법을 시간의 흐름에 따라 도시한 흐름도이다.
먼저, S2701 단계에서 3차원 라이다(1510)가 주변 객체를 향해 레이저 신호(광 신호)를 송신하고, 객체에 의해 반사된 반사 광 신호 수신한다. 그리고, S2702 단계에서 3차원 라이다(1510)는 반사된 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성한다. 3차원 라이다(1510)는 포인트 클라우드를 생성 완료하면, S2703 단계에서 객체 영상 재구성부(1520)로 생성된 포인트 클라우드를 전달한다.
그리고, S2704 단계에서 객체 영상 재구성부(1520)가 상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킴에 따라 깊이 영상 및 인텐시티 영상을 생성한다.
그리고, S2705 단계에서 객체 영상 재구성부(1520)는 생성된 깊이 영상 및 인텐시티 영상을 혼합하여 혼합 영상을 생성하고, S2706 단계에서 깊이 영상, 인텐시티 영상 및 혼합 영상을 합성하여 재구성된 컬러 영상을 생성한다.
전술한 객체 영상 생성 방법의 보다 구체적인 설명은 도 15 내지 도 26를 참조한 설명에서 상세하게 설명한 바 중복되는 설명이므로 이하 생략한다.
상술한 바와 같은 본 발명의 객체 인식 장치 및 이를 포함하는 이동 로봇은, 3D 라이다(LIDAR)로부터 획득한 3차원 정보를 2차원의 정보로 변환하여 정보의 차수를 줄임으로써 가정용 청소로봇과 같이 연산 능력이 작은 장치에서도 구동이 가능한 연산량과 속도를 확보할 수 있는 이점이 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 일정 기준 이상으로 전력 관리가 가능한 상태의 자율 주행 이동 로봇이 주행 중에 이미 획득한 환경 정보와, 상기 자율 주행 이동 로봇이 주행한 주행 영역과 관련하여 생성된 주행 지도 정보를 저장하는 메모리;
    상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 환경 정보 획득부;
    상기 선별된 환경 정보를 이용하여 상기 객체를 인식하는 주행 환경 인식부; 및
    상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 하는 업데이트부;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  2. 제1항에 있어서,
    상기 주행 지도 정보는, 상기 주행 영역과 관련한 주행 지도를 구성하는 다수의 노드 및 링크를 포함하며,
    상기 환경 정보는, 주행 시 획득한 상기 주행 영역 상의 영상 정보; 및
    외부의 라이다(LiDAR)로부터 획득한 객체에 의해 반사된 반사 광 신호에 따른 3차원 기반의 포인트 클라우드(point cloud) 데이터;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  3. 제2항에 있어서,
    상기 특징 지점은,
    상기 자율 주행 이동 로봇이 일정 경로를 이동했을 때마다의 지점, 상기 자율 주행 이동 로봇의 방향이 변경되는 지점 및 상기 객체를 인식하기 위하여 미리 결정된 지점 중 적어도 하나인 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  4. 제2항에 있어서,
    상기 환경 정보 획득부는,
    상기 메모리에 저장된 상기 환경 정보와 상기 주행 지도 정보 중 적어도 일부를 이용하여, 상기 주행 영역에 위치한 객체를 인식하기 위한 특징 지점을 결정하는 특징 지점 결정부; 및
    상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 로딩부;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  5. 제4항에 있어서,
    상기 특징 지점 결정부는, 상기 주행 지도를 구성하는 노드들 중에서, 상기 특징 지점을 특징 노드로 지정하고, 상기 특징 노드가 지정되는 순서에 따라 노드별로 번호를 부여하되,
    상기 로딩부는, 지정된 상기 특징 노드의 순서에 따라, 상기 자율 주행 이동 로봇이 상기 특징 노드에 위치할 때 저장된 환경 정보를 로딩하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  6. 제5항에 있어서,
    상기 로딩부는,
    상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 상기 라이다(LiDAR)로부터 획득한 포인트 클라우드(point cloud) 데이터에서 추출되는 거리 정보와 반사광 정보를 로딩하는 라이더 데이터 로딩부; 및
    상기 자율 주행 이동 로봇이 주행 시 상기 특징 노드에 위치할 때, 영상 정보 획득부로부터 획득한 상기 주행 영역 상의 영상 정보를 로딩하는 영상 데이터 로딩부;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  7. 제6항에 있어서,
    상기 주행 환경 인식부는,
    상기 라이더 데이터 로딩부로부터 로딩한 상기 거리 정보와 반사광 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 라이더 데이터 인식부; 및
    상기 영상 데이터 로딩부로부터 로딩한 상기 영상 정보를 기반으로, 상기 특징 지점들의 주변 환경에 포함된 객체를 인식하는 영상 데이터 인식부;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  8. 제7항에 있어서,
    상기 라이더 데이터 인식부는,
    상기 라이더 데이터 로딩부로부터 획득한 상기 거리 정보와 반사광 정보를 입력 받는 제1 입력부;
    상기 거리 정보와 반사광 정보에 기초하여, 상기 포인트 클라우드(point cloud) 데이터의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출하는 제1 형상 추출부;
    추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식하는 제1 객체 인식부;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  9. 제7항에 있어서,
    상기 영상 데이터 인식부는,
    상기 영상 데이터 로딩부로부터 획득한 상기 영상 정보를 입력 받는 제2 입력부;
    상기 영상 정보에 포함된 상기 주행 영역 상의 영상 정보의 각각의 점에서 후보 객체들의 단면을 합성하거나 필터링하여, 상기 특징 지점들의 주변 환경에 포함된 객체들의 형상을 추출하는 제2 형상 추출부;
    추출된 상기 객체들의 형상에서, 상기 객체들의 형상을 속성에 따라 분류하여 객체를 인식하는 제2 객체 인식부;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  10. 제7항에 있어서,
    상기 주행 환경 인식부는,
    상기 라이더 데이터 인식부에서 인식한 객체에 따른 객체 정보와, 상기 영상 데이터 인식부에서 인식한 객체에 따른 객체 정보를 상기 특징 노드의 좌표 별로 비교하여 객체 정보를 상세히 분류하는 객체 정보 매칭부;를 더 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 장치.
  11. 환경 정보 획득부가 메모리에 저장된 환경 정보와 주행 지도 정보 중 적어도 일부를 이용하여, 주행 영역에 위치한 객체를 인식하기 위한 특징 지점들을 결정하고, 상기 결정된 특징 지점에 따른 선별된 환경 정보를 상기 메모리로부터 로딩하는 단계;
    주행 환경 인식부가 상기 선별된 환경 정보를 이용하여 상기 객체를 인식하는 단계; 및
    업데이트부가 상기 인식된 객체에 따른 객체 정보를 이용하여 상기 주행 지도를 업데이트 하는 단계;를 포함하는 것을 특징으로 하는 자율 주행 이동 로봇의 환경 학습 방법.
  12. 객체에 의해 반사된 반사 광 신호 수신하고, 상기 반사 광 신호에 따른 포인트 클라우드(point cloud)를 생성하는 3차원 라이다;
    상기 객체까지의 거리와 상기 반사 광 신호의 세기에 따라 상기 포인트 클라우드의 적어도 일부를 미리 정해진 공간에 투영시킨 복수의 영상들을 생성하고, 상기 복수의 영상들을 이용하여 재구성된 컬러 영상을 생성하는 객체 영상 재구성부; 및
    상기 컬러 영상을 이용하여 상기 객체를 인식하는 프로세서;를 포함하는 객체 인식 장치.
  13. 제12항에 있어서,
    상기 객체 영상 재구성부가 생성하는 복수의 영상들은,
    상기 포인트 클라우드를 기초로, 상기 객체까지의 거리를 정의하는 깊이 영상; 및
    상기 반사 광 신호의 세기에 따른 인텐시티(intensity) 영상을 포함하고,
    상기 객체 영상 재구성부는, 미리 정해진 색좌표계에 따라 상기 깊이 영상 및 상기 인텐시티 영상을 재구성하여 상기 컬러 영상을 생성하는 것을 특징으로 하는 객체 인식 장치.
  14. 제13항에 있어서,
    상기 객체 영상 재구성부는, 상기 깊이 영상과 상기 인텐시티 영상을 혼합하여 혼합 영상을 더욱 생성하는 혼합 영상 생성부; 및 상기 깊이 영상, 상기 인텐시티 영상 및 상기 혼합 영상을 이용하여 미리 정해식 색좌표계에 따른 상기 컬러 영상을 생성하는 컬러 영상 생성부;를 더 포함하고,
    상기 프로세서는, 상기 컬러 영상의 일부분을 레이블링(labeling)한 레이블 영상을 생성하는 레이블 영상 생성부;를 더 포함하는 것을 특징으로 하는 객체 인식 장치.
  15. 제14항에 있어서,
    상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상을 인공 신경망에 입력하고, 상기 인공 신경망을 통해 상기 객체들을 인식하며,
    상기 프로세서는, 상기 컬러 영상 및 상기 레이블 영상 각각을 인코딩하여 입력 특징 벡터들로 변환하고, 변환된 입력 특징 벡터들을 상기 인공신경망으로 전달하는 인코딩부; 및 상기 인공신경망으로부터 출력되는 출력 특징 벡터를 디코딩하여 상기 컬러 영상 내의 객체들을 인식하는 디코딩부;를 더 포함하되,
    상기 인공신경망은, 상기 입력 특징 벡터들을 입력 받는 입력 레이더; 상기 입력된 입력 특징 벡터들을 서로 다른 가중치로 설정되어 있는 은닉 노드들을 통해 가중합 연산하여 상기 출력 특징 벡터로 변환하는 히든 레이어; 및 상기 출력 특징 벡터를 상기 디코딩부로 출력하는 출력 레이어;를 포함하는 것을 특징으로 하는 객체 인식 장치.
  16. 제14항에 있어서,
    상기 혼합 영상 생성부는, 상기 깊이 영상의 화소 정보들 및 상기 인텐시티 영상의 화소 정보들을 가중합하여 상기 혼합 영상을 생성하는 것을 특징으로 하는 객체 인식 장치.
PCT/KR2020/009431 2019-07-17 2020-07-17 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법 WO2021010784A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20840775.9A EP4015159A4 (en) 2019-07-17 2020-07-17 APPARATUS AND METHOD FOR PERFORMING OBJECT IMAGE GENERATION, OBJECT RECOGNITION AND ENVIRONMENT LEARNING OF A MOBILE ROBOT
US17/577,016 US20220139086A1 (en) 2019-07-17 2022-01-17 Device and method for generating object image, recognizing object, and learning environment of mobile robot

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2019-0086265 2019-07-17
KR20190086265 2019-07-17
KR1020190121799A KR102301759B1 (ko) 2019-07-17 2019-10-01 자율 주행 이동 로봇의 충전 중 환경 학습 장치 및 환경 학습 방법
KR10-2019-0121799 2019-10-01
KR1020190128448A KR102315483B1 (ko) 2019-07-17 2019-10-16 객체 영상 생성 장치, 방법 및 이를 포함하는 객체 인식 장치
KR10-2019-0128448 2019-10-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/577,016 Continuation US20220139086A1 (en) 2019-07-17 2022-01-17 Device and method for generating object image, recognizing object, and learning environment of mobile robot

Publications (2)

Publication Number Publication Date
WO2021010784A2 true WO2021010784A2 (ko) 2021-01-21
WO2021010784A3 WO2021010784A3 (ko) 2021-04-01

Family

ID=74211134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/009431 WO2021010784A2 (ko) 2019-07-17 2020-07-17 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법

Country Status (3)

Country Link
US (1) US20220139086A1 (ko)
EP (1) EP4015159A4 (ko)
WO (1) WO2021010784A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115709484A (zh) * 2023-01-09 2023-02-24 常州检验检测标准认证研究院 一种移动机器人安全仿真检测方法及系统
WO2023045271A1 (zh) * 2021-09-24 2023-03-30 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5822255B2 (ja) * 2011-04-14 2015-11-24 株式会社豊田中央研究所 対象物識別装置及びプログラム
KR101826364B1 (ko) * 2012-03-08 2018-02-06 현대엠엔소프트 주식회사 컬러 지상 라이다 측량 데이터를 이용하여 건물의 3차원 모델링 데이터를 자동으로 생성하기 위한 방법
KR101868374B1 (ko) * 2016-10-20 2018-06-18 엘지전자 주식회사 이동 로봇의 제어방법
KR101878827B1 (ko) * 2016-11-30 2018-07-17 주식회사 유진로봇 다채널 라이더 기반 이동로봇의 장애물 검출 장치 및 방법, 및 이를 구비한 이동로봇
KR20180134230A (ko) * 2017-06-08 2018-12-18 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102314539B1 (ko) * 2017-06-09 2021-10-18 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045271A1 (zh) * 2021-09-24 2023-03-30 奥比中光科技集团股份有限公司 一种二维地图生成方法、装置、终端设备及存储介质
CN115709484A (zh) * 2023-01-09 2023-02-24 常州检验检测标准认证研究院 一种移动机器人安全仿真检测方法及系统

Also Published As

Publication number Publication date
EP4015159A4 (en) 2023-10-11
EP4015159A2 (en) 2022-06-22
WO2021010784A3 (ko) 2021-04-01
US20220139086A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
AU2020247141B2 (en) Mobile robot and method of controlling the same
WO2018155999A2 (en) Moving robot and control method thereof
WO2021010757A1 (en) Mobile robot and control method thereof
WO2017188706A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2021006556A1 (en) Moving robot and control method thereof
WO2018139796A1 (ko) 이동 로봇 및 그의 제어 방법
WO2018038551A1 (ko) 이동 로봇 및 그 제어방법
WO2021006677A2 (en) Mobile robot using artificial intelligence and controlling method thereof
WO2019083291A1 (ko) 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
WO2021010784A2 (ko) 객체 영상 생성, 객체 인식과 이동 로봇의 환경 학습을 수행하는 장치 및 방법
WO2021006366A1 (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2014175605A1 (en) Cleaning robot, home monitoring apparatus, and method for controlling the cleaning robot
WO2021006542A1 (en) Mobile robot using artificial intelligence and controlling method thereof
WO2020241951A1 (ko) 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법
WO2018117616A1 (ko) 이동 로봇
WO2021029457A1 (ko) 사용자에게 정보를 제공하는 인공 지능 서버 및 그 방법
WO2019017521A1 (ko) 청소기 및 그 제어방법
WO2018212608A1 (ko) 구동형 마킹 시스템, 구동형 마킹 장치의 제어방법 및 컴퓨터 판독 가능한 기록매체
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2018143634A1 (en) Cleaner
WO2020246640A1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
WO2019004742A1 (ko) 이동 로봇과 이동 단말기를 포함하는 로봇 시스템
WO2021006553A1 (en) Moving robot and control method thereof
WO2019004773A1 (ko) 이동 단말기 및 이를 포함하는 로봇 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840775

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020840775

Country of ref document: EP

Effective date: 20220217