WO2023224295A1 - 이동 로봇 및 이동 로봇의 제어방법 - Google Patents

이동 로봇 및 이동 로봇의 제어방법 Download PDF

Info

Publication number
WO2023224295A1
WO2023224295A1 PCT/KR2023/006094 KR2023006094W WO2023224295A1 WO 2023224295 A1 WO2023224295 A1 WO 2023224295A1 KR 2023006094 W KR2023006094 W KR 2023006094W WO 2023224295 A1 WO2023224295 A1 WO 2023224295A1
Authority
WO
WIPO (PCT)
Prior art keywords
corner
mobile robot
main body
control unit
terrain information
Prior art date
Application number
PCT/KR2023/006094
Other languages
English (en)
French (fr)
Inventor
이헌철
이창현
최가형
Original Assignee
엘지전자 주식회사
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 금오공과대학교 산학협력단 filed Critical 엘지전자 주식회사
Publication of WO2023224295A1 publication Critical patent/WO2023224295A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to a robot vacuum cleaner and a control method of the robot cleaner, and more specifically to slam driving technology.
  • Robots have been developed for industrial use and have played a part in factory automation.
  • robots have been developed, and household robots that can be used in general homes are also being created.
  • mobile robots those that can travel on their own are called mobile robots.
  • a representative example of a mobile robot used at home is a robot vacuum cleaner.
  • Various technologies are known for detecting the environment and users around a robot cleaner through various sensors provided in the robot cleaner. Additionally, technologies are known in which a robot cleaner learns and maps the cleaning area on its own and determines the current location on the map.
  • a robot vacuum cleaner that cleans a cleaning area by traveling in a preset manner is known.
  • the robot receives a target direction and senses whether there is an obstacle in front, and when there is an obstacle in front, it adjusts at least one of the rotation direction, rotation speed, switching direction, and switching speed to reach the nearest obstacle.
  • a technology to avoid has been disclosed.
  • the robot moves using simple logic according to the location of the recognized obstacle, making it difficult to respond to obstacles that the robot does not recognize or obstacles that have no direction.
  • Patent Document 1 Korean Patent Publication Publication No. 10-2008-0090925 (Publication Date: October 19, 2008)
  • Patent Document 2 U.S. Patent Registration No. US7211980B1 (Publication Date: January 5, 2007)
  • the first task of the present invention is to provide a mobile robot capable of accurate slam while reducing the number of sensors in the mobile robot and using only laser-based sensors.
  • the second task of the present invention is to draw an accurate map with a minimum number of sensors when a robot vacuum cleaner is driving while drawing a map in a situation where there is no map.
  • the third task of the present invention is to correct the running of the mobile robot by accurately estimating the current position of the mobile robot at the corner in the presence of a map.
  • the fourth task of the present invention is to provide a mobile robot that estimates its current location, has fewer sensing elements to generate a map, and reduces the control burden on the control unit.
  • the present invention determines whether the current location of the main body is a corner of the driving area through a main body, a driving unit that moves the main body, a sensing unit that acquires terrain information outside the main body, and the terrain information obtained by the sensing unit, and the When the main body is located at the corner, it is characterized by including a control unit that controls a corner surrounding information acquisition motion to obtain terrain information around the corner through the sensing unit at the corner.
  • the corner surrounding information acquisition motion may acquire external terrain information through the sensing unit while the main body rotates at the corner.
  • the main body rotates in the first direction at the corner and then rotates in the second direction opposite to the first direction to obtain external terrain information through the sensing unit.
  • the first direction and the second direction may be perpendicular to the moving direction of the main body.
  • the second direction may coincide with the direction in which the main body travels after passing the corner.
  • the sensing unit may include a laser sensor that acquires terrain information within a certain angle based on the moving direction of the main body.
  • the corner surrounding information acquisition motion may obtain the terrain information by extracting the distance to feature points of the wall within a certain distance and within a certain angle from the corner.
  • the control unit may estimate the inclination of the wall based on the distance between the feature points of the wall and update the inclination of the wall in the map.
  • the control unit may estimate the current location of the main body based on the distance from the feature points of the wall.
  • the control unit may estimate the inclination of the wall based on the distance between the feature points of the wall and determine the heading direction of the main body based on the inclination of the wall.
  • the control unit may estimate the current location of the main body based on the terrain information around the corner obtained from the corner surrounding information acquisition motion.
  • the present invention further includes a storage unit for storing data, and the control unit can update the map based on the terrain information around the corner obtained from the motion for obtaining information around the corner.
  • the control unit may generate a map based on the terrain information around a plurality of corners and the location information of the plurality of corners obtained from the corner surrounding information acquisition motion.
  • the control unit may estimate the current location of the main body based on the terrain information around the corner obtained from the corner surrounding information acquisition motion.
  • the control unit may execute the corner surrounding information acquisition motion while the main body is wall-following.
  • the present invention includes a terrain information acquisition step in which the sensing unit acquires surrounding terrain information, a corner determination step in which the current location of the main body is determined to be a corner of the driving area, and when the current location of the main body is the corner, the corner is located at the corner. It may include a corner-surrounding terrain information acquisition step of acquiring terrain information around the corner.
  • external terrain information may be acquired through the sensing unit while the main body rotates at the corner.
  • the present invention may further include a current position estimation step of estimating the current position of the main body based on topographical information around the corner.
  • the present invention may further include a map updating step of updating the map based on topographical information around the corner.
  • the distance to feature points of the wall within a certain distance and within a certain angle from the corner may be extracted.
  • the present invention enables slamming with only 1-3 laser-based obstacle detection sensors 171 installed on the main body, thereby reducing the manufacturing cost of the mobile robot and accurately estimating the current position of the mobile robot at the corner, thereby providing accurate and quick operation. There are advantages to driving.
  • the present invention has the advantage of being able to provide an accurate map with a minimum number of sensors when a robot vacuum cleaner is driving while drawing a map in a situation where there is no map and reducing the time to draw the map.
  • the present invention has the advantage of reducing cleaning time and sensing time compared to rotating 360 degrees because the mobile robot acquires information around the corner while rotating 270 degrees at the corner, and the direction angle at which the mobile robot completes the rotation is different from that of the mobile robot. Since it is in the heading direction, there is an advantage of increased cleaning efficiency.
  • the present invention has the advantage that there are fewer sensing elements for the mobile robot to estimate the current location and generate a map, and that the control burden on the controller is less.
  • Figure 1 is a perspective view showing a mobile robot and a charging base for charging the mobile robot according to another embodiment of the present invention.
  • Figure 2 is a block diagram showing the control relationship between main components of a mobile robot according to an embodiment of the present invention.
  • Figure 3 is a flowchart showing a control method of a mobile robot according to an embodiment of the present invention.
  • FIGS 4 to 6 are diagrams referenced in the description of the control method of Figure 3.
  • Figure 7 is a diagram illustrating the concept of updating the location of a mobile robot through terrain information around a corner.
  • Figure 8 is a diagram showing a method of controlling a mobile robot according to another embodiment of the present invention.
  • Figure 9 is a diagram explaining the loop closing method of the present invention.
  • module and “part” for components used in the following description are simply given in consideration of the ease of writing this specification, and do not give any particularly important meaning or role in and of themselves. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • the mobile robot 100 refers to a robot that can move on its own using wheels, etc., and may be a home helper robot or a robot vacuum cleaner.
  • a robot cleaner having a cleaning function among the mobile robots 100 will be described as an example, but the present invention is not limited thereto.
  • the mobile robot 100 refers to a robot that can move on its own using wheels, etc. Accordingly, the mobile robot 100 may be a self-moving guide robot, cleaning robot, entertainment robot, home helper robot, security robot, etc., and the present invention is not limited to the type of mobile robot 100.
  • Figure 1 shows a mobile robot 100, a cleaning robot, as an embodiment of the present invention.
  • the mobile robot 100 is equipped with a cleaning device 155 such as a brush and can clean a specific space while moving on its own.
  • a cleaning device 155 such as a brush and can clean a specific space while moving on its own.
  • the mobile robot 100 includes a sensing unit 170 (170:171, 175) capable of detecting information about the surroundings.
  • the mobile robot 100 effectively combines vision-based location recognition using a camera and LiDAR-based location recognition technology using a laser to perform location recognition and map generation that are robust to environmental changes such as changes in illumination and product location changes. .
  • the mobile robot 100 can perform location recognition and map creation using LIDAR-based location recognition technology using a laser.
  • the image acquisition unit 120 captures images of the driving area and may include one or more camera sensors that acquire images of the outside of the main body 110.
  • the image acquisition unit 120 may include a camera module.
  • the camera module may include a digital camera.
  • a digital camera includes an image sensor (e.g., CMOS image sensor) that includes at least one optical lens and a plurality of photodiodes (e.g., pixels) that form an image by light passing through the optical lens, It may include a digital signal processor (DSP) that configures an image based on signals output from photodiodes.
  • DSP digital signal processor
  • a digital signal processor is capable of generating not only still images, but also moving images composed of frames composed of still images.
  • the image acquisition unit 120 is equipped with a front camera sensor to acquire an image in front of the main body 110, but the location and shooting range of the image acquisition unit 120 are not necessarily limited to this. .
  • the mobile robot 100 is equipped only with a camera sensor that acquires images of the front within the driving area, and can perform vision-based location recognition and driving.
  • the image acquisition unit 120 of the mobile robot 100 includes a camera sensor (not shown) disposed at an angle with respect to one surface of the main body 110 and configured to capture both the front and the top. It can be included. In other words, you can shoot both the front and the top with one camera sensor.
  • the control unit 140 may separate the front image and the upper image from the image captured by the camera based on the angle of view.
  • the separated front image can be used for vision-based object recognition, like the image acquired from the front camera sensor. Additionally, the separated upper image, like the image acquired from the upper camera sensor, can be used for vision-based location recognition and driving.
  • the mobile robot 100 can perform a vision slam to recognize the current location by comparing surrounding images with pre-stored image-based information or by comparing acquired images.
  • the image acquisition unit 120 may also include a plurality of front camera sensors and/or upper camera sensors.
  • the image acquisition unit 120 may be provided with a plurality of camera sensors (not shown) configured to capture both the front and the top.
  • cameras are installed in some parts (e.g., front, rear, bottom) of the mobile robot 100, and images can be continuously acquired during cleaning. Multiple such cameras may be installed in each area for filming efficiency.
  • the image captured by the camera can be used to recognize the type of material such as dust, hair, floor, etc. present in the space, and to determine whether or when to clean.
  • the front camera sensor can capture situations of obstacles or cleaning areas in front of the mobile robot 100 in its traveling direction.
  • the image acquisition unit 120 can acquire a plurality of images by continuously photographing the surroundings of the main body 110, and the plurality of acquired images can be stored in the storage unit.
  • the mobile robot 100 can increase the accuracy of obstacle recognition by using a plurality of images, or by selecting one or more images from among the plurality of images and using effective data.
  • the sensing unit 170 may include a LIDAR sensor 175 that acquires topographical information on the outside of the main body 110 using a laser.
  • the LiDAR sensor 175 outputs a laser and provides information such as the distance, position direction, and material of the object that reflected the laser, and can obtain topographic information of the driving area.
  • the mobile robot 100 can obtain 360-degree topography information using the lidar sensor 175.
  • the mobile robot 100 can determine the distance, location, and direction of objects sensed by the LiDAR sensor 175, and generate a map while driving accordingly.
  • the mobile robot 100 can obtain topographic information of the driving area by analyzing the laser reception pattern, such as the time difference or signal strength of the laser reflected and received from the outside. Additionally, the mobile robot 100 may generate a map using terrain information acquired through the LiDAR sensor 175.
  • the mobile robot 100 compares the surrounding terrain information acquired at the current location through the LiDAR sensor 175 with previously stored terrain information based on the LiDAR sensor or compares the acquired terrain information. You can perform a lidar slam that recognizes your current location.
  • the mobile robot 100 effectively combines vision-based location recognition using a camera and LiDAR-based location recognition technology using a laser to provide a location that is robust to environmental changes such as changes in illumination and product location changes. Recognition and map creation can be performed.
  • the sensing unit 170 may include sensors 171 that sense various data related to the operation and state of the mobile robot 100.
  • the sensing unit 170 may include an obstacle detection sensor 171 that detects an obstacle in front. Additionally, the sensing unit 170 may further include a cliff detection sensor that detects the presence of a cliff on the floor within the driving area and a lower camera sensor that acquires an image of the floor.
  • the obstacle detection sensor 171 may include a plurality of sensors installed at regular intervals on the outer peripheral surface of the mobile robot 100.
  • the obstacle detection sensor 171 may include a laser sensor, an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, and a Position Sensitive Device (PSD) sensor.
  • a laser sensor an infrared sensor
  • an ultrasonic sensor an ultrasonic sensor
  • an RF sensor an RF sensor
  • a geomagnetic sensor a geomagnetic sensor
  • PSD Position Sensitive Device
  • the obstacle detection sensor 171 may include a laser sensor that acquires terrain information within a certain angle based on the moving direction of the main body 110.
  • the location and type of sensors included in the obstacle detection sensor 171 may vary depending on the model of the mobile robot 100, and the obstacle detection sensor 171 may include more diverse sensors.
  • the obstacle detection sensor 171 is a sensor that detects the distance to an indoor wall or obstacle.
  • the present invention is not limited to its type, but will be described below by taking an ultrasonic sensor as an example.
  • the obstacle detection sensor 171 detects objects, especially obstacles, present in the driving (movement) direction of the mobile robot 100 and transmits obstacle information to the control unit 140. That is, the obstacle detection sensor 171 can detect the movement path of the mobile robot 100, protrusions present in front or on the side, household fixtures, furniture, walls, wall corners, etc., and transmit the information to the control unit. .
  • This mobile robot 100 is equipped with a display (not shown) and can display a predetermined image such as a user interface screen. Additionally, the display is composed of a touch screen and can be used as an input means.
  • the mobile robot 100 may receive user input through touch, voice input, etc., and display information about objects and places corresponding to the user input on the display screen.
  • This mobile robot 100 can perform a given task, that is, cleaning, while traveling in a specific space.
  • the mobile robot 100 can perform autonomous driving in which it moves by creating a path to a predetermined destination, or tracking driving in which it moves while following a person or another robot.
  • the mobile robot 100 detects and avoids obstacles while moving based on the image data acquired through the image acquisition unit 120 and the sensing data acquired by the sensing unit 170. You can.
  • the mobile robot 100 in FIG. 1 is a cleaning service that can provide cleaning services in various spaces, for example, airports, hotels, supermarkets, clothing stores, logistics, hospitals, etc., especially large-area spaces such as commercial spaces. It may be a robot 100.
  • the mobile robot 100 may be linked to a server (not shown) that can manage and control it.
  • the server can remotely monitor and control the status of a plurality of robots 100 and provide effective services.
  • the mobile robot 100 and the server may be equipped with a communication means (not shown) that supports one or more communication standards and can communicate with each other. Additionally, the mobile robot 100 and the server can communicate with a PC, a mobile terminal, and other external servers. For example, the mobile robot 100 and the server may communicate using Message Queuing Telemetry Transport (MQTT) or HyperText Transfer Protocol (HTTP). Additionally, the mobile robot 100 and the server can communicate with a PC, a mobile terminal, or another external server using HTTP or MQTT.
  • MQTT Message Queuing Telemetry Transport
  • HTTP HyperText Transfer Protocol
  • the mobile robot 100 and the server support two or more communication standards and can use the optimal communication standard depending on the type of communication data and the type of device participating in communication.
  • the server is implemented as a cloud server, so users can use the data stored on the server and the functions and services provided by the server through various devices such as PCs and mobile terminals.
  • the user can check or control information about the mobile robot 100 in the robot system through a PC, mobile terminal, etc.
  • a 'user' refers to a person who uses a service provided by at least one robot, such as an individual customer who purchases or rents a robot and uses it at home, etc., and a company manager who provides services to employees or customers using a robot. This may include employees and customers who use the services provided by these companies. Therefore, 'users' may include individual customers (Business to Consumer: B2C) and corporate customers (Business to Business: B2B).
  • the user can monitor the status and location of the mobile robot 100 and manage content and work schedule through a PC, mobile terminal, etc. Meanwhile, the server may store and manage information received from the mobile robot 100 and other devices.
  • the mobile robot 100 and the server may be equipped with a communication means (not shown) that supports one or more communication standards and can communicate with each other.
  • the mobile robot 100 may transmit data related to space, objects, and usage to the server.
  • the space and object-related data are data related to the recognition of space and objects recognized by the robot 100, or the space and object acquired by the image acquisition unit 120. It may be image data about an object.
  • the mobile robot 100 and the server include artificial neural networks (ANN) in the form of software or hardware learned to recognize at least one of the properties of objects such as users, voices, spatial properties, and obstacles. can do.
  • ANN artificial neural networks
  • the robot 100 and the server use deep neural networks such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), and DBN (Deep Belief Network) learned through deep learning.
  • Neural Network may be included.
  • the control unit 140 (see 140 in FIG. 2) of the robot 100 may be equipped with a deep neural network (DNN) structure, such as a convolutional neural network (CNN).
  • the server can learn a deep neural network (DNN) based on data received from the mobile robot 100, data input by the user, etc., and then transmit the updated deep neural network (DNN) structure data to the robot 100. . Accordingly, the deep neural network (DNN) structure of artificial intelligence provided by the mobile robot 100 can be updated.
  • DNN deep neural network
  • usage-related data is data acquired according to the use of a certain product, for example, the robot 100, and may include usage history data, sensing data obtained from the sensing unit 170, etc. You can.
  • the learned deep neural network structure can receive input data for recognition, recognize the attributes of people, objects, and spaces included in the input data, and output the results.
  • the learned deep neural network structure receives input data for recognition, analyzes and learns data related to the usage of the mobile robot 100, and can recognize usage patterns, usage environments, etc. .
  • data related to space, objects, and usage may be transmitted to the server through the communication unit (see 190 in FIG. 2).
  • the server may learn a deep neural network (DNN) based on the received data and then transmit the updated deep neural network (DNN) structure data to the mobile robot 100 to update it.
  • DNN deep neural network
  • the mobile robot 100 can become increasingly smarter and provide a user experience (UX) that evolves as it is used.
  • UX user experience
  • the robot 100 and the server 10 can also use external information.
  • the server 10 may provide an excellent user experience by comprehensively using external information obtained from other linked service servers 20 and 30.
  • the mobile robot 100 and/or the server can perform voice recognition, so that the user's voice can be used as an input for controlling the robot 100.
  • the mobile robot 100 can provide more diverse and active control functions to the user by actively providing information first or outputting a voice recommending a function or service.
  • FIG. 2 is a block diagram showing the control relationship between the main components of the mobile robot 100 according to an embodiment of the present invention.
  • the block diagram of FIG. 2 is applicable to both the mobile robot 100 of FIG. 1 and the mobile robot 100 of FIG. 1, and will be described below along with the configuration of the mobile robot 100 of FIG. 1.
  • the mobile robot 100 includes a traveling unit 160 that moves the main body 110.
  • the traveling unit 160 includes at least one driving wheel 136 that moves the main body 110.
  • the traveling unit 160 is connected to the driving wheel 136 and includes a driving motor (not shown) that rotates the driving wheel.
  • the driving wheels 136 may be provided on the left and right sides of the main body 110, respectively, and are hereinafter referred to as left wheels (L) and right wheels (R), respectively.
  • the left wheel (L) and right wheel (R) may be driven by a single drive motor, but if necessary, a left wheel drive motor for driving the left wheel (L) and a right wheel drive motor for driving the right wheel (R) may be provided, respectively. there is.
  • the driving direction of the main body 110 can be switched to the left or right by making a difference in the rotation speed of the left wheel (L) and right wheel (R).
  • the mobile robot 100 includes a service unit 150 to provide a predetermined service.
  • 1 and 1 illustrate the present invention by taking an example in which the service unit 150 performs cleaning work, but the present invention is not limited thereto.
  • the service unit 150 may be equipped to provide household services such as cleaning (sweeping, vacuuming, mopping, etc.), dishwashing, cooking, laundry, and garbage disposal to the user.
  • the service unit 150 may perform a security function that detects external intruders or dangerous situations in the surrounding area.
  • the mobile robot 100 can clean the floor by the service unit 150 while moving around the driving area.
  • the service unit 150 includes a suction device for sucking in foreign substances, brushes 135 and 155 for mopping, a dust bin (not shown) for storing foreign substances collected by the suction device or brush, and/or a mop for mopping. It may include parts (not shown), etc.
  • An intake port through which air is sucked may be formed on the bottom of the main body 110 of the mobile robot 100 of FIG. 1, and a suction device that provides suction force so that air can be sucked in through the intake port is inside the main body 110. (not shown) and a dust bin (not shown) that collects dust sucked in with air through the intake port may be provided.
  • the main body 110 may include a case 111 that forms a space in which various parts constituting the mobile robot 100 are accommodated.
  • An opening for inserting and removing the dust bin may be formed in the case 111, and a dust bin cover 112 that opens and closes the opening may be provided to be rotatable with respect to the case 111.
  • a roll-type main brush having brushes exposed through the suction port, and an auxiliary brush 155 located on the front side of the bottom of the main body 110 and having a brush composed of a plurality of radially extending wings may be provided. Dust is separated from the floor in the driving area by the rotation of these brushes 155, and the dust separated from the floor is sucked in through the intake port and collected in the dust bin.
  • the battery supplies power necessary for not only the drive motor but also the overall operation of the mobile robot 100.
  • the mobile robot 100 can return to the charging station 200 for charging. During this return driving, the mobile robot 100 can detect the position of the charging station 200 by itself. You can.
  • the charging base 200 may include a signal transmitting unit (not shown) that transmits a predetermined return signal.
  • the return signal may be an ultrasonic signal or an infrared signal, but is not necessarily limited thereto.
  • the mobile robot 100 of FIG. 1 may include a signal detection unit (not shown) that receives a return signal.
  • the charging base 200 transmits an infrared signal through a signal transmission unit, and the signal detection unit may include an infrared sensor that detects the infrared signal.
  • the mobile robot 100 moves to the location of the charging station 200 and docks with the charging station 200 according to the infrared signal transmitted from the charging station 200. By this docking, charging is performed between the charging terminal 133 of the mobile robot 100 and the charging terminal 210 of the charging stand 200.
  • the mobile robot 100 may include a sensing unit 170 that senses internal/external information of the mobile robot 100.
  • the sensing unit 170 may include one or more sensors 171 and 175 that detect various types of information about the driving area, and an image acquisition unit 120 that acquires image information about the driving area.
  • the image acquisition unit 120 may be separately provided outside the sensing unit 170.
  • the mobile robot 100 can map the driving area through information detected by the sensing unit 170. For example, the mobile robot 100 may perform vision-based location recognition and map generation based on the ceiling image of the driving area acquired by the image acquisition unit 120. Additionally, the mobile robot 100 can perform location recognition and map creation based on a Light Detection And Ranging (LiDAR) sensor 175 that uses a laser.
  • LiDAR Light Detection And Ranging
  • the mobile robot 100 effectively combines vision-based location recognition using a camera and LiDAR-based location recognition technology using a laser to provide location recognition that is robust to environmental changes such as changes in illumination and product location changes. and map creation can be performed.
  • the image acquisition unit 120 captures images of the driving area and may include one or more camera sensors that acquire images of the outside of the main body 110.
  • the image acquisition unit 120 may include a camera module.
  • the camera module may include a digital camera.
  • a digital camera includes an image sensor (e.g., CMOS image sensor) that includes at least one optical lens and a plurality of photodiodes (e.g., pixels) that form an image by light passing through the optical lens, It may include a digital signal processor (DSP) that configures an image based on signals output from photodiodes.
  • DSP digital signal processor
  • a digital signal processor is capable of generating not only still images, but also moving images composed of frames composed of still images.
  • the image acquisition unit 120 is provided on the upper surface of the main body 110 and the front camera sensor 120a, which is provided to acquire an image of the front of the main body 110, and captures an image of the ceiling within the driving area.
  • the front camera sensor 120a is provided to acquire an image of the front of the main body 110, and captures an image of the ceiling within the driving area.
  • the location and shooting range of the image acquisition unit 120 are not necessarily limited thereto.
  • the mobile robot 100 is equipped only with an upper camera sensor 120b that acquires an image of the ceiling within the driving area, and can perform vision-based location recognition and driving.
  • the image acquisition unit 120 of the mobile robot 100 includes a camera sensor (not shown) disposed at an angle with respect to one surface of the main body 110 and configured to capture both the front and the top. It can be included. In other words, you can shoot both the front and the top with one camera sensor.
  • the control unit 140 may separate the front image and the upper image from the image captured by the camera based on the angle of view.
  • the separated front image like the image acquired from the front camera sensor 120a, can be used for vision-based object recognition.
  • the separated upper image like the image acquired from the upper camera sensor 120b, can be used for vision-based location recognition and driving.
  • the mobile robot 100 can perform a vision slam to recognize the current location by comparing surrounding images with pre-stored image-based information or by comparing acquired images.
  • the image acquisition unit 120 may be provided with a plurality of front camera sensors 120a and/or upper camera sensors 120b. Alternatively, the image acquisition unit 120 may be provided with a plurality of camera sensors (not shown) configured to capture both the front and the top.
  • cameras are installed in some parts (e.g., front, rear, bottom) of the mobile robot 100, and images can be continuously acquired during cleaning. Multiple such cameras may be installed in each area for filming efficiency.
  • the image captured by the camera can be used to recognize the type of material such as dust, hair, floor, etc. present in the space, whether it has been cleaned, or to check the time of cleaning.
  • the front camera sensor 120a can capture the situation of an obstacle or cleaning area in front of the mobile robot 100 in its traveling direction.
  • the image acquisition unit 120 can acquire a plurality of images by continuously photographing the surroundings of the main body 110, and the acquired plurality of images can be stored in the storage unit 130. there is.
  • the mobile robot 100 can increase the accuracy of obstacle recognition by using a plurality of images, or by selecting one or more images from among the plurality of images and using effective data.
  • the sensing unit 170 may include a LIDAR sensor 175 that acquires topographical information on the outside of the main body 110 using a laser.
  • the LiDAR sensor 175 outputs a laser and provides information such as the distance, position direction, and material of the object that reflected the laser, and can obtain topographic information of the driving area.
  • the mobile robot 100 can obtain 360-degree topography information using the lidar sensor 175.
  • the mobile robot 100 can generate a map by determining the distance, location, and direction of objects sensed by the LiDAR sensor 175.
  • the mobile robot 100 can obtain topographic information of the driving area by analyzing the laser reception pattern, such as the time difference or signal strength of the laser reflected and received from the outside. Additionally, the mobile robot 100 may generate a map using terrain information acquired through the LiDAR sensor 175.
  • the mobile robot 100 may perform a LiDAR slam to determine the direction of movement by analyzing surrounding terrain information acquired at the current location through the LiDAR sensor 175.
  • the mobile robot 100 effectively recognizes obstacles through vision-based location recognition using a camera, lidar-based location recognition technology using a laser, and an ultrasonic sensor, and provides optimal movement with a small amount of change.
  • Map creation can be performed by extracting directions.
  • the sensing unit 170 may include sensors 171, 172, and 179 that sense various data related to the operation and state of the mobile robot 100.
  • the sensing unit 170 may include an obstacle detection sensor 171 that detects an obstacle in front. Additionally, the sensing unit 170 may further include a cliff detection sensor 172 that detects the presence of a cliff on the floor within the driving area and a lower camera sensor 179 that acquires an image of the floor.
  • the obstacle detection sensor 171 may include a plurality of sensors installed at regular intervals on the outer peripheral surface of the mobile robot 100.
  • the obstacle detection sensor 171 may include an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a Position Sensitive Device (PSD) sensor, etc.
  • the location and type of sensors included in the obstacle detection sensor 171 may vary depending on the model of the mobile robot 100, and the obstacle detection sensor 171 may include more diverse sensors.
  • the obstacle detection sensor 171 is a sensor that detects the distance to an indoor wall or obstacle.
  • the present invention is not limited to its type, but will be described below by taking an ultrasonic sensor as an example.
  • the obstacle detection sensor 171 detects objects, especially obstacles, present in the driving (movement) direction of the mobile robot 100 and transmits obstacle information to the control unit 140. That is, the obstacle detection sensor 171 detects the movement path of the mobile robot 100, protrusions present in front or on the side, household fixtures, furniture, walls, wall corners, etc., and transmits the information to the control unit 140. You can.
  • control unit 140 detects the location of the obstacle based on at least one signal received through an ultrasonic sensor, and controls the movement of the mobile robot 100 according to the location of the detected obstacle to determine the optimal location when generating a map. Provides a travel route.
  • the obstacle detection sensor 131 provided on the outer surface of the case 110 may be configured to include a transmitting unit and a receiving unit.
  • an ultrasonic sensor may be provided with at least one transmitting unit and at least one receiving unit staggered from each other. Accordingly, signals can be radiated at various angles and signals reflected by obstacles can be received at various angles.
  • the signal received from the obstacle detection sensor 171 may undergo signal processing such as amplification and filtering, and then the distance and direction to the obstacle may be calculated.
  • the sensing unit 170 may further include a driving detection sensor that detects the driving motion of the mobile robot 100 according to the driving of the main body 110 and outputs motion information.
  • a driving detection sensor that detects the driving motion of the mobile robot 100 according to the driving of the main body 110 and outputs motion information.
  • driving detection sensors a gyro sensor, wheel sensor, acceleration sensor, etc. can be used.
  • the mobile robot 100 may further include a battery detection unit (not shown) that detects the charging state of the battery and transmits the detection result to the control unit 140.
  • the battery is connected to the battery detection unit, and the remaining battery capacity and charging status are transmitted to the control unit 140.
  • the remaining battery capacity may be displayed on the screen of the output unit (not shown).
  • the mobile robot 100 includes a manipulation unit 137 that can turn on/off or input various commands. Various control commands necessary for the overall operation of the mobile robot 100 can be input through the manipulation unit 137. Additionally, the mobile robot 100 may include an output unit (not shown) to display reservation information, battery status, operation mode, operation status, error status, etc.
  • the mobile robot 100 includes a control unit 140 that processes and determines various information, such as recognizing the current location, and a storage unit 130 that stores various data. Additionally, the mobile robot 100 may further include a communication unit 190 that transmits and receives data with other devices.
  • the external terminal has an application for controlling the mobile robot 100, displays a map of the driving area to be cleaned by the mobile robot 100 through execution of the application, and displays a map of the driving area to be cleaned by the mobile robot 100. You can designate an area to clean a specific area.
  • the user terminal can communicate with the mobile robot 100 and display the current location of the mobile robot 100 along with a map, and information about a plurality of areas can be displayed. Additionally, the user terminal updates and displays the location of the mobile robot 100 as it travels.
  • the control unit 140 controls the overall operation of the mobile robot 100 by controlling the sensing unit 170, the manipulation unit 137, and the traveling unit 160 that constitute the mobile robot 100.
  • the storage unit 130 records various information necessary for controlling the mobile robot 100 and may include a volatile or non-volatile recording medium.
  • a recording medium stores data that can be read by a microprocessor, and is not limited to its type or implementation method.
  • a map of the driving area may be stored in the storage unit 130.
  • the map may be input by a user terminal or server that can exchange information with the mobile robot 100 through wired or wireless communication, or may be generated by the mobile robot 100 through self-learning.
  • the map may display the locations of rooms within the driving area. Additionally, the current location of the mobile robot 100 may be displayed on the map, and the current location of the mobile robot 100 on the map may be updated during the driving process.
  • the external terminal stores the same map as the map stored in the storage unit 130.
  • the storage unit 130 may store cleaning history information. Such cleaning history information may be generated each time cleaning is performed.
  • the map of the driving area stored in the storage unit 130 includes a navigation map used for driving during cleaning, a simultaneous localization and mapping (SLAM) map used for location recognition, and a map used for location recognition when hitting an obstacle.
  • This may be a learning map used for learning and cleaning by storing the relevant information, a global location map used for global location recognition, and an obstacle recognition map in which information about recognized obstacles is recorded.
  • maps can be stored and managed separately in the storage unit 130 according to purpose, but the maps may not be clearly divided by purpose.
  • a plurality of information may be stored in one map so that it can be used for at least one purpose.
  • the control unit 140 may include a driving control module 141, a location recognition module 142, a map generation module 143, and an obstacle recognition module 144.
  • the travel control module 141 controls the travel of the mobile robot 100 and controls the driving of the travel unit 160 according to travel settings. Additionally, the travel control module 141 can determine the travel path of the mobile robot 100 based on the operation of the travel unit 160. For example, the travel control module 141 can determine the current or past movement speed and distance traveled of the mobile robot 100 based on the rotation speed of the driving wheels, and can determine the current or past movement speed, distance traveled, etc. of the mobile robot 100 based on the rotation speed of each driving wheel. Alternatively, past redirection processes can also be identified. Based on the driving information of the mobile robot 100 identified in this way, the location of the mobile robot 100 on the map may be updated.
  • the map generation module 143 can generate a map of the driving area.
  • the map creation module 143 can create a map by processing the image acquired through the image acquisition unit 120. For example, a map corresponding to the driving area and a cleaning map corresponding to the cleaning area can be created.
  • the map generation module 143 can process images acquired through the image acquisition unit 120 at each location and associate them with a map to recognize the global location.
  • the map creation module 143 can create a map based on the information acquired through the LiDAR sensor 175 and recognize the location based on the information acquired through the LiDAR sensor 175 at each location. there is.
  • the map creation module 143 can create a map based on the information acquired through the obstacle detection sensor 171 and recognize the location based on the information acquired through the obstacle detection sensor 171 at each location.
  • the map generation module 143 can create a map and perform location recognition based on information acquired through the image acquisition unit 120 and the LiDAR sensor 175.
  • the location recognition module 142 estimates and recognizes the current location.
  • the location recognition module 142 uses the image information of the image acquisition unit 120 to identify the location in conjunction with the map generation module 143, thereby estimating the current location even when the location of the mobile robot 100 suddenly changes. It can be recognized.
  • the mobile robot 100 is capable of recognizing its location during continuous driving through the location recognition module 142, and also uses the travel control module 141, the map generation module 143, and the obstacle recognition module ( 144), you can learn the map and estimate the current location.
  • the mobile robot 100 acquires an image through the image acquisition unit 120 at an unknown current location. Through the video, various features such as lights located on the ceiling, edges, corners, blobs, and ridges are confirmed.
  • control unit 140 can divide driving areas and create a map consisting of a plurality of areas, or recognize the current location of the main body 110 based on a pre-stored map.
  • control unit 140 can fuse information acquired through the image acquisition unit 120 and the LiDAR sensor 175 to create a map and perform location recognition.
  • control unit 140 may transmit the generated map to an external terminal, server, etc. through the communication unit 190. Additionally, as described above, when a map is received from an external terminal, server, etc., the control unit 140 can store it in the storage unit 130.
  • the control unit 140 transmits the updated information to an external terminal so that the maps stored in the external terminal and the mobile robot 100 are the same.
  • the mobile robot 100 can clean the designated area in response to a cleaning command from the mobile terminal, and also the mobile robot 100 can be sent to the external terminal. This is so that the current location can be displayed.
  • the map divides the cleaning area into a plurality of areas, includes a connecting passage connecting the plurality of areas, and may include information about obstacles within the area.
  • the control unit 140 determines whether the location on the map matches the current location of the mobile robot 100. Cleaning commands can be entered from a remote control, control panel, or external terminal.
  • control unit 140 recognizes the current location, restores the current location of the mobile robot 100, and then uses the current location based on the current location.
  • the traveling unit 160 can be controlled to move to a designated area.
  • the location recognition module 142 acquires the acquired image input from the image acquisition unit 120 and/or the lidar sensor 175. By analyzing the terrain information, you can estimate your current location based on the map. Additionally, the obstacle recognition module 144 or the map generation module 143 can also recognize the current location in the same way.
  • the travel control module 141 calculates a travel path from the current location to the designated area and controls the travel unit 160 to move to the designated area.
  • the driving control module 141 may divide the entire driving area into a plurality of areas and set one or more areas as a designated area according to the received cleaning pattern information.
  • the driving control module 141 can calculate a driving path according to the received cleaning pattern information, drive along the driving path, and perform cleaning.
  • control unit 140 may store the cleaning record in the storage unit 130.
  • control unit 140 may transmit the operating status or cleaning status of the mobile robot 100 to an external terminal or server at a predetermined period through the communication unit 190.
  • the external terminal displays the location of the mobile robot 100 along with a map on the screen of the running application and also outputs information about the cleaning status.
  • the mobile robot 100 moves in one direction until an obstacle or wall is detected, and when the obstacle recognition module 144 recognizes the obstacle, it moves straight, turns, etc. according to the properties of the recognized obstacle.
  • a pattern can be determined.
  • the mobile robot 100 can continue to go straight.
  • the mobile robot 100 rotates and moves a certain distance, moves again in the opposite direction of the initial movement direction to the distance at which the obstacle is detected, and runs in a zigzag form.
  • the mobile robot 100 is capable of recognizing and avoiding people and objects based on machine learning.
  • the control unit 140 controls the operation of the driving unit 160 based on the obstacle recognition module 144, which recognizes obstacles previously learned through machine learning in the input image, and the attributes of the recognized obstacles. It may include a control module 141.
  • the obstacle recognition module 144 may include an artificial neural network (ANN) in the form of software or hardware that learns the properties of obstacles.
  • ANN artificial neural network
  • the obstacle recognition module 144 is a deep neural network (DNN) such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), and DBN (Deep Belief Network) learned through deep learning.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • RNN Recurrent Neural Network
  • DBN Deep Belief Network
  • the obstacle recognition module 144 can determine the properties of obstacles included in input image data based on weights between nodes included in a deep neural network (DNN).
  • DNN deep neural network
  • the mobile robot 100 further includes an output unit 180, which can display predetermined information as an image or output it as sound.
  • the output unit 180 may include a display (not shown) that displays information corresponding to the user's command input, processing results corresponding to the user's command input, operation mode, operation state, error state, etc. in an image.
  • the display may be configured as a touch screen by forming a layer structure with the touch pad.
  • a display consisting of a touch screen can be used as an input device that allows information to be input by a user's touch in addition to an output device.
  • the output unit 180 may include an audio output unit (not shown) that outputs an audio signal.
  • the sound output unit Under the control of the control unit 140, the sound output unit outputs alarm messages such as warning sounds, operation modes, operation states, and error states, information corresponding to the user's command input, and processing results corresponding to the user's command input, etc. in sound. You can.
  • the audio output unit may convert the electrical signal from the control unit 140 into an audio signal and output it. For this purpose, speakers, etc. may be provided.
  • Figure 3 is a flowchart showing a control method of the mobile robot 100 according to an embodiment of the present invention.
  • the mobile robot 100 receives a travel command for cleaning or service according to a command from the control unit 140.
  • the mobile robot 100 obtains topographic information on the surrounding environment while traveling within the cleaning area according to the travel command (S10, S11).
  • the control unit 140 controls the sensing unit 170 to obtain terrain information on the surrounding environment.
  • the present invention can be used in laser-based slam technology. More specifically, in the case of the present invention, it can be used when vision-based slam cannot be used because the driving area is dark, or when there is no lidar sensor or camera sensor to reduce costs.
  • SLAM technology can be divided into vision-based, laser-based, and SLAM.
  • Vision-based Slam extracts feature points from the image, matches them, calculates 3D coordinates, and performs Slam based on this.
  • There is a lot of information in the image so it has excellent performance in recognizing its own location when the environment is bright, but it is difficult to operate in a dark place, and it recognizes small-sized objects nearby and large-sized objects far away similarly.
  • the laser-based slam operates on the principle of calculating the geometry of the surrounding environment by measuring the distance at each angle using a laser.
  • Laser-based slams work well even in dark environments. However, since the location is recognized using only geometry information, it is often difficult to find one's location in spaces with many repetitive areas, such as an office environment, if there are no initial location conditions. Additionally, it is difficult to respond to dynamic environments such as furniture being moved.
  • the mobile robot 100 determines whether the current location of the main body 110 is the corner 20 of the driving area through the terrain information acquired by the sensing unit 170 (S13). Referring to FIG. 4, the mobile robot 100 travels in a travel area according to the cleaning mode.
  • the mobile robot 100 determines whether the current location of the mobile robot 100 is the corner 20 based on information on the distance to the edge, wall, and obstacle input from the obstacle detection sensor 171. Specifically, the control unit 140 defines the point where two walls meet as the corner 20, and the current position of the main body 110, where the main body 110 is located within a certain distance from the corner 20, is the corner 20. It is judged that
  • the mobile robot 100 acquires terrain information around the corner 20 at the corner 20 (S14).
  • control unit 140 performs a corner information acquisition motion to obtain terrain information around the corner 20 through the sensing unit 170 at the corner 20. Control it to do so.
  • the control unit 140 may execute a corner surrounding information acquisition motion when the main body 110 is located at the corner 20 while the main body 110 is wall-following. Additionally, the control unit 140 can execute the cleaning operation when the main body 110 is located at the corner 20 while the mobile robot 100 is cleaning.
  • the control unit 140 controls the mobile robot 100 to make a motion to obtain information around the corner whenever the mobile robot 100 is located at the corner 20. Referring to FIG. 5, in the corner surrounding information acquisition motion, the main body 110 rotates at the corner 20 and external terrain information can be acquired through the sensing unit 170.
  • the control unit 140 controls the main body 110 to rotate clockwise or counterclockwise in place, and at the same time, the sensing unit 170 Controls acquisition of terrain information.
  • the control unit 140 can rotate the main body 110 360 degrees in place, but this rotation has the disadvantage of increasing cleaning time.
  • the corner surrounding information acquisition motion is sensed while the main body 110 rotates in the first direction at the corner 20 and then rotates in the second direction opposite to the first direction.
  • External terrain information can be obtained through the unit 170.
  • the corner surrounding information acquisition motion rotates until the front of the main body 110 looks at the first direction at the corner 20, and then rotates until it looks at the second direction through the sensing unit 170.
  • External terrain information can be obtained.
  • the first direction and the second direction are perpendicular to the moving direction (heading direction) of the main body 110, and the second direction is the moving direction (heading direction) after the main body 110 passes the corner 20.
  • the main body 110 rotates 270 degrees at the corner 20 and obtains information around the corner 20, so the cleaning time and sensing time are reduced compared to rotating 360 degrees, and the mobile robot 100 rotates 200 degrees. Since the direction angle at which the cleaning is completed becomes the heading direction of the mobile robot 100, there is an advantage of increased cleaning efficiency.
  • the obstacle detection sensor 171 is usually installed in the front of the main body 110 to detect the distance to an obstacle or wall within a certain angle (approximately 2 to 8 degrees) centered on the front. In addition, two to three obstacle detection sensors 171 are usually installed to reduce installation costs and improve sensing efficiency.
  • Obtaining terrain information around the corner 20 is to overcome the limitation of the sensing angle of the obstacle detection sensor 11 by rotating the main body 110.
  • the control unit 140 rotates the main body 110 clockwise and counterclockwise as described above, while obstacles (e.g., walls) adjacent to the corner 20
  • obstacles e.g., walls
  • the feature points of (10)) are extracted, and the angle values of the extracted feature points and the distance values from the main body 110 are obtained.
  • corner surrounding information acquisition motion can obtain topographic information by extracting the distance to feature points of the wall 10 within a certain distance and within a certain angle from the corner 20.
  • the control unit 140 may estimate the current location of the main body 110 based on the terrain information around the corner 20 obtained through the corner surrounding information acquisition motion (S14).
  • the control unit 140 may estimate the current location of the main body 110 based on the distance from the feature points of the wall. Specifically, referring to FIG. 7, the control unit 140 moves by matching the location information of the wall around the corner 20 stored in the map with the terrain information around the corner 20 obtained from the corner 20 surrounding information acquisition motion. The current location of the robot 100 can be estimated.
  • control unit 140 estimates the inclination of the wall based on the distance between the feature points of the wall at the corner 20, matches the inclination of the wall with the inclination of the wall stored on the map, and creates a mobile robot.
  • the current location of (100) can be estimated.
  • the control unit 140 matches the location information of the feature points of the wall adjacent to the corner 20 with the location information of the wall feature points stored on the map to determine the current location of the mobile robot 100. It can be estimated. There are no restrictions on the matching method, but PSO (Particle Swarm Optimization) or ICP (Iterative Closest Point) can be used.
  • control unit 140 in the motion to acquire information around the corner 20, selects a corner acquisition feature point 32 corresponding to the corner 20, a first acquisition feature point 31 of the first wall 11, and , the second obtained feature points 33 of the second wall 12 are matched with the corner feature point 42 stored in the map, and the first feature point 41 and the second feature point 43 are used to determine the current state of the mobile robot 100.
  • the location can be estimated.
  • slam is possible with only 1-3 laser-based obstacle detection sensors 171 installed on the main body 110, thereby reducing the manufacturing cost of the mobile robot 100 and enabling the mobile robot to move at the corner 20. Since the current position of (100) is accurately estimated, there is an advantage of enabling accurate and rapid driving.
  • the control unit 140 determines the heading direction of the mobile robot 100 after the corner surrounding information acquisition motion based on the estimated current position and direction angle of the mobile robot 100 (S16). Specifically, the control unit 140 may estimate the inclination of the wall based on the distance between the feature points of the wall and determine the heading direction of the mobile robot 100 in a direction parallel to the inclination of the wall. As shown in FIG. 6, the control unit 140 determines the heading direction of the mobile robot 100 after the corner surrounding information acquisition motion to be in the X-axis direction parallel to the first wall 11.
  • the control unit 140 controls the traveling unit so that the main body 110 travels in the determined heading direction of the mobile robot 100 (S17).
  • the control unit 140 may update a previously stored map based on the terrain information around the corner 20 obtained through the corner surrounding information acquisition motion (S18).
  • the control unit 140 may estimate the inclination of the wall based on the distance to the feature points of the wall, update the inclination of the wall on the map, and update the location information of each corner 20 on the map.
  • FIG. 8 is a diagram illustrating a control method of a mobile robot 100 according to another embodiment of the present invention.
  • the mobile robot 100 receives a driving command for creating a map according to a command from the control unit 140.
  • the mobile robot 100 obtains sensing information about the surrounding environment while traveling within the cleaning area according to a travel command. Specifically, the mobile robot 100 may perform wall following driving to generate a map (S20, S21).
  • the mobile robot 100 determines whether the current location of the main body 110 is the corner 20 of the driving area through the terrain information acquired by the sensing unit 170 (S23).
  • the mobile robot 100 determines whether the current location of the mobile robot 100 is the corner 20 based on information on the distance to the edge, wall, and obstacle input from the obstacle detection sensor 171. Specifically, the control unit 140 defines the point where two walls meet as the corner 20, and the current position of the main body 110, where the main body 110 is located within a certain distance from the corner 20, is the corner 20. It is judged that
  • the mobile robot 100 acquires terrain information around the corner 20 at the corner 20 (S24).
  • control unit 140 performs a corner surrounding information acquisition motion to obtain terrain information around the corner 20 through the sensing unit 170 at the corner 20. Control it to do so.
  • the control unit 140 controls the mobile robot 100 to make a motion to obtain information around the corner whenever the mobile robot 100 is located at the corner 20.
  • corner surrounding information acquisition motion extracts the distance to feature points of the wall within a certain distance and within a certain angle from the corner 20, and obtains topographic information by extracting the location information of each corner 20. .
  • the control unit 140 may estimate the current location of the main body 110 based on the terrain information around the corner 20 obtained through the corner surrounding information acquisition motion (S25).
  • the method of estimating the current location of the main body 110 based on terrain information around the corner 20 is the same as the embodiment of FIG. 3.
  • the control unit 140 determines the heading direction of the mobile robot 100 after the corner surrounding information acquisition motion based on the estimated current position and direction angle of the mobile robot 100 (S26).
  • the control unit 140 controls the traveling unit so that the main body 110 travels in the determined heading direction of the mobile robot 100 (S27).
  • the control unit 140 determines whether the current position of the mobile robot 100 is the initial position (S28).
  • the control unit 140 when the current position of the mobile robot 100 is the initial position, the control unit 140 provides the position information of each corner 20 and the surrounding corner 20 obtained from each corner 20. Based on the terrain information, loop detection and loop closing are performed (S29).
  • Loop closing is performed using the loop compensation amount using ELCH (Explicit Loop Closing Heuristics) and ICP (Iterative Closest Points) method (S30). Through loop closing, a loop with four corners 20 (21, 22, 23, 24) is created.
  • the control unit 140 creates a new map based on loop closing and stores the new map in the storage or transmits it to the server.
  • the present invention uses only 2-3 obstacle detection sensors 171 in front of the main body 110, has a simple structure, low manufacturing cost, and can accurately and relatively quickly create a new map for a new driving area. can be created.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electromagnetism (AREA)

Abstract

본 발명은 본체, 상기 본체를 이동시키는 주행부, 상기 본체 외부의 지형 정보를 획득하는 센싱부 및 상기 센싱부에서 획득한 지형 정보를 통해 상기 본체의 현재 위치가 주행 영역의 코너인지 판단하고, 상기 본체가 상기 코너에 위치된 경우, 상기 코너에서 상기 센싱부를 통해 상기 코너 주변의 지형 정보를 획득하는 코너 주변정보 획득 모션을 하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

이동 로봇 및 이동 로봇의 제어방법
본 발명은, 로봇 청소기 및 로봇 청소기의 제어방법에 관한 것으로, 보다 자세하게는 슬램 주행 기술에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다.
최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기이다.
로봇 청소기에 구비된 여러 센서를 통하여 로봇 청소기 주변의 환경 및 사용자를 감지하는 여러 기술들이 알려져 있다. 또한, 로봇 청소기가 스스로 청소 구역을 학습하여 맵핑하고, 맵 상에서 현재 위치를 파악하는 기술들이 알려져 있다. 청소 구역을 기설정된 방식으로 주행하며 청소하는 로봇 청소기가 알려져 있다.
또한, 종래 기술(한국특허공개번호 10-2008-0090925)에는, 청소하고자 하는 구역을 스스로 주행하면서 구역의 외곽을 주행하는 벽면을 따라 지그재그로 패턴 주행을 수행하는 기술이 개시되어 있다.
한편, 로봇 청소기가 맵핑을 수행할 때, 장애물이 있는 경우 장애물을 판단하여 장애물을 회피하여 주행하는 방안이 요구되었다.
종래 기술(미국 등록 특허 US7211980B1)에서는 로봇이 목표 방향을 받아 정면에 장애물이 있는지 센싱하여, 정면에 장애물이 있는 경우, 회전 방향, 회전속도, 전환 방향, 전환 속도 중 적어도 하나를 조정하여 가장 가까운 장애물을 회피하는 기술이 개시되어 있다. 그러나, 이러한 종래 기술의 경우, 인식된 장애물의 위치에 따라 단순한 로직으로 이동하여 로봇이 인식하지 못한 장애물이나 방향성이 없는 장애물에 대하여는 대응이 어렵다. 또한, 종래 기술의 경우, 장애물의 회피에 초점을 두어 장애물이 복잡한 경우, 효율적이지 못한 움직임을 보일 수 있는 문제가 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국공개특허공보 공개번호 10-2008-0090925 (공개일자 : 2008년 10월 19일)
(특허문헌 2) 미국등록특허공보 등록번호 US7211980B1 (공개일자: 2007년 01년 05일)
본 발명의 제1 과제는 이동 로봇에 센서의 개수를 줄이고, 레이저 기반의 센서만 사용하면서도, 정확한 슬램이 가능한 이동 로봇을 제공하는 것이다.
본 발명의 제2 과제는 맵이 없는 상황에서 로봇 청소기가 맵을 그리는 주행을 할 때 최소한의 센서로 정확한 맵을 그리는데 있다.
본 발명의 제3 과제는 맵이 있는 상태에서, 이동 로봇의 현재 위치를 코너에서 정확하게 추정하여서, 이동 로봇의 주행을 보정하는 데 있다.
본 발명의 제4 과제는 이동 로봇이 현재 위치를 추정하고, 맵을 생성하는 센싱 요소가 적고, 제어부의 제어부담도 적은 이동 로봇을 제공하는 데 있다.
본 발명은 본체, 상기 본체를 이동시키는 주행부, 상기 본체 외부의 지형 정보를 획득하는 센싱부 및 상기 센싱부에서 획득한 지형 정보를 통해 상기 본체의 현재 위치가 주행 영역의 코너인지 판단하고, 상기 본체가 상기 코너에 위치된 경우, 상기 코너에서 상기 센싱부를 통해 상기 코너 주변의 지형 정보를 획득하는 코너 주변정보 획득 모션을 하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
상기 코너 주변정보 획득 모션은, 상기 본체가 상기 코너에서 회전하면서 상기 센싱부를 통해 외부의 지형 정보를 획득할 수 있다.
상기 코너 주변정보 획득 모션은, 상기 본체가 상기 코너에서 제1 방향으로 회전한 후 상기 제1 방향과 반대 방향인 제2 방향으로 회전하면서 상기 센싱부를 통해 외부의 지형 정보를 획득할 수 있다.
상기 제1 방향 및 상기 제2 방향은 상기 본체의 진행 방향과 직교할 수 있다.
상기 제2 방향은 상기 본체가 코너를 통과한 후 진행방향과 일치될 수 있다.
상기 센싱부는 상기 본체의 진행 방향을 기준으로 일정 각도 내의 지형 정보를 획득하는 레이저 센서를 포함할 수 있다.
상기 코너 주변정보 획득 모션은, 상기 코너에서 일정 거리 이내 및 일정 각도 이내의 벽의 특징점 들과의 거리를 추출하여 상기 지형 정보를 획득할 수 있다.
상기 제어부는, 상기 벽의 특징점 들과의 거리를 바탕으로 상기 벽의 기울기를 추정하고, 상기 벽의 기울기를 맵에 업데이트할 수 있다.
상기 제어부는, 상기 벽의 특징점 들과의 거리를 바탕으로 상기 본체의 현재 위치를 추정할 수 있다.
상기 제어부는, 상기 벽의 특징점 들과의 거리를 바탕으로 상기 벽의 기울기를 추정하고, 상기 벽의 기울기를 바탕으로 상기 본체의 헤딩 방향을 결정할 수 있다.
상기 제어부는, 상기 코너 주변정보 획득 모션에서 획득한 상기 코너 주변 지형 정보를 기반으로 상기 본체의 현재 위치를 추정할 수 있다.
또한, 본 발명은 데이터를 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 코너 주변정보 획득 모션에서 획득한 상기 코너 주변 지형 정보를 기반으로 맵을 업데이트할 수 있다.
상기 제어부는, 상기 코너 주변정보 획득 모션에서 획득한 복수의 코너 주변 지형 정보와 복수의 코너의 위치 정보를 기반으로 맵을 생성할 수 있다.
상기 제어부는, 상기 코너 주변정보 획득 모션에서 획득한 상기 코너 주변 지형 정보를 기반으로 상기 본체의 현재 위치를 추정할 수 있다.
상기 제어부는 상기 코너 주변정보 획득 모션을 상기 본체의 월 팔로잉 주행 중에 실행할 수 있다.
또한, 본 발명은 센싱부가 주변 지형 정보를 획득하는 지형 정보 획득 단계, 상기 본체의 현재 위치가 주행 영역의 코너인지 판단하는 코너 판단 단계 및 상기 본체의 현재 위치가 상기 코너인 경우, 상기 코너에서 상기 코너 주변의 지형 정보를 획득하는 코너 주변 지형 정보 획득단계를 포함할 수 있다.
상기 코너 주변 지형 정보 획득단계는, 상기 본체가 상기 코너에서 회전하면서 상기 센싱부를 통해 외부의 지형 정보를 획득할 수 있다.
또한, 본 발명은 상기 코너 주변 지형 정보를 기반으로 상기 본체의 현재 위치를 추정하는 현재 위치 추정단계를 더 포함할 수 있다.
또한, 본 발명은 상기 코너 주변 지형 정보를 기반으로 맵을 업데이트하는 지도 업데이트 단계를 더 포함할 수 있다.
상기 코너 주변 지형 정보 획득단계는, 상기 코너에서 일정 거리 이내 및 일정 각도 이내의 벽의 특징점 들과의 거리를 추출할 수 있다.
본 발명은 본체의 설치된 1-3개의 레이저 기반의 장애물 감지센서(171)만으로, 슬램이 가능하므로, 이동 로봇의 제조비용은 줄이면서, 코너에서 이동 로봇의 현재위치를 정확하게 추정하므로, 정확하고 신속한 주행이 가능한 이점이 존재한다.
또한, 본 발명은 맵이 없는 상황에서 로봇 청소기가 맵을 그리는 주행을 할 때 최소한의 센서로 정확한 맵을 제공할 수 있고 맵을 그리는 시간을 줄이는 이점이 존재한다.
또한, 본 발명은 이동 로봇이 코너에서 270도 회전하면서, 코너 주변정보를 획득하게 되므로, 360도 회전보다 청소시간 및 센싱 시간이 줄게 되는 이점과, 이동 로봇이 회전을 마친 방향각이 이동 로봇의 헤딩 방향이 되므로, 청소 효율이 증가되는 이점이 존재한다.
또한, 본 발명은 이동 로봇이 현재 위치를 추정하고, 맵을 생성하는 센싱 요소가 적고, 제어부의 제어부담도 적은 이점이 존재한다.
한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.
도 1는 본 발명의 다른 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이다.
도 2은 본 발명의 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 3는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.
도 4 내지 도 6은 도 3의 제어 방법에 관한 설명에 참조되는 도면이다.
도 7은 코너 주변의 지형 정보를 통해 이동 로봇의 위치를 업데이트 하는 개념을 도시한 도면이다.
도 8는 본 발명의 다른 실시예에 따른 이동 로봇의 제어 방법을 도시하는 도면이다.
도 9는 본 발명의 루프 클로징 방법을 설명하는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미하고, 가정 도우미 로봇 및 로봇 청소기 등이 될 수 있다. 이하에서는, 도면들을 참조하여, 이동 로봇(100) 중 청소 기능을 가지는 로봇 청소기를 예로 들어 설명하나, 본 발명은 이에 한정되지 않는다.
이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미한다. 따라서, 이동 로봇(100)은 스스로 이동 가능한 안내 로봇, 청소 로봇, 엔터테인먼트(Entertainment) 로봇, 가정 도우미 로봇, 경비 로봇 등일 수 있고, 본 발명은 이동 로봇(100)의 종류에 한정되지 않는다.
도 1은 본 발명의 일 실시예로서, 청소 로봇인 이동 로봇(100)을 도시한다.
이동 로봇(100)은 브러시 등 청소 기구(155)를 구비하여 스스로 이동하면서 특정 공간을 청소할 수 있다.
이동 로봇(100)은 주변에 대한 정보를 감지할 수 있는 센싱부(170)(170:171, 175)를 포함한다.
이동 로봇(100)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술을 효과적으로 융합하여 조도 변화, 물품 위치 변경 등 환경 변화에 강인한 위치 인식 및 맵 생성을 수행할 수 있다.
또한, 이동 로봇(100)은 레이저를 이용하는 라이다 기반의 위치 인식 기술을 사용하여 위치 인식 및 맵 생성을 수행할 수 있다.
영상획득부(120)는 주행 구역을 촬영하는 것으로, 본체(110) 외부의 영상을 획득하는 하나 이상의 카메라 센서를 포함할 수 있다.
또한, 영상획득부(120)는 카메라 모듈을 포함할 수 있다. 카메라 모듈은 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
본 실시예에서 영상획득부(120)는, 본체(110) 전방의 영상을 획득하도록 구비되는 전면 카메라 센서를 구비하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
예를 들어, 이동 로봇(100)은 주행 구역 내의 전방에 대한 영상을 획득하는 카메라 센서만 구비하여, 비전(vision) 기반의 위치 인식 및 주행을 수행할 수 있다.
또는, 본 발명의 일 실시예에 따른 이동 로봇(100)의 영상획득부(120)는, 본체(110)의 일면에 대하여 경사지게 배치되어 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 포함할 수 있다. 즉, 하나의 카메라 센서로 전방과 상방을 함께 촬영할 수 있다. 이 경우에 제어부(140)는 카메라가 촬영하여 획득한 영상에서 전방 영상과 상방 영상을 화각을 기준으로 분리할 수 있다.
분리된 전방 영상은 전면 카메라 센서에서 획득된 영상과 같이 비전(vision) 기반의 사물 인식에 사용될 수 있다. 또한, 분리된 상방 영상은 상부 카메라 센서에서 획득된 영상과 같이 비전(vision) 기반의 위치 인식 및 주행에 사용될 수 있다.
본 발명에 따른 이동 로봇(100)은 주변의 이미지를 이미지 기반의 기 저장된 정보와 비교하거나 획득되는 이미지들을 비교하여 현재 위치를 인식하는 비전 슬램을 수행할 수 있다.
한편, 영상획득부(120)는 전면 카메라 센서 및/또는 상부 카메라 센서를 복수개 구비하는 것도 가능하다. 또는 영상획득부(120)는 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 복수개 구비하는 것도 가능하다.
본 실시예의 경우, 이동 로봇(100)의 일부 부위(ex, 전방, 후방, 저면)에 카메라가 설치되어 있으며, 청소 시에 촬상 영상을 지속적으로 획득할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 카메라에 의해 촬상된 영상은 해당 공간에 존재하는 먼지, 머리카락, 바닥 등과 같은 물질의 종류 인식, 청소 여부, 또는 청소 시점을 확인하는데 사용할 수 있다.
전면 카메라 센서는 이동 로봇(100)의 주행 방향 전면에 존재하는 장애물 또는 청소 영역의 상황을 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 영상획득부(120)는 본체(110) 주변을 연속적으로 촬영하여 복수의 영상을 획득할 수 있고, 획득된 복수의 영상은 저장부에 저장될 수 있다.
이동 로봇(100)은 복수의 영상을 이용하여 장애물 인식의 정확성을 높이거나, 복수의 영상 중 하나 이상의 영상을 선택하여 효과적인 데이터를 사용함으로써 장애물 인식의 정확성을 높일 수 있다.
센싱부(170)는 레이저를 이용하여 본체(110) 외부의 지형 정보를 획득하는 라이다 센서(175)를 포함할 수 있다.
라이다 센서(175)는 레이저를 출력하여 레이저를 반사시킨 객체의 거리, 위치 방향, 재질 등의 정보를 제공하며 주행 구역의 지형 정보를 획득할 수 있다. 이동 로봇(100)은 라이다 센서(175)로 360도의 지형(Geometry) 정보를 얻을 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 라이다 센서(175)가 센싱한 객체들의 거리와 위치, 방향 등을 파악하고, 그에 따라 주행하면서 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 외부에서 반사되어 수신되는 레이저의 시간차 또는 신호 강도 등 레이저 수신 패턴을 분석하여 주행 구역의 지형 정보를 획득할 수 있다. 또한, 이동 로봇(100)은 라이다 센서(175)를 통하여 획득한 지형 정보를 이용하여 맵을 생성할 수 있다.
예를 들어, 본 발명에 따른 이동 로봇(100)은 라이다 센서(175)를 통하여 현재 위치에서 획득된 주변 지형 정보를 라이다 센서 기반의 기 저장된 지형 정보와 비교하거나 획득되는 지형 정보들을 비교하여 현재 위치를 인식하는 라이다 슬램을 수행할 수 있다.
더욱 바람직하게는, 본 발명에 따른 이동 로봇(100)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술을 효과적으로 융합하여 조도 변화, 물품 위치 변경 등 환경 변화에 강인한 위치 인식 및 맵 생성을 수행할 수 있다.
한편, 센싱부(170)는 이동 로봇(100)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들(171)을 포함할 수 있다.
예를 들어, 센싱부(170)는 전방의 장애물을 감지하는 장애물 감지센서(171)를 포함할 수 있다. 또한, 센싱부(170)는 주행 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서와, 바닥의 영상을 획득하는 하부 카메라 센서를 더 포함할 수 있다.
도 1을 참조하면, 장애물 감지센서(171)는 이동 로봇(100)의 외주면에 일정 간격으로 설치되는 복수의 센서를 포함할 수 있다.
장애물 감지센서(171)는, 레이저 센서, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 등을 포함할 수 있다.
특히, 본 발명의 경우, 장애물 감지센서(171)는, 본체(110)의 진행 방향을 기준으로 일정 각도 내의 지형 정보를 획득하는 레이저 센서를 포함할 수 있다.
한편, 장애물 감지센서(171)에 포함되는 센서의 위치와 종류는 이동 로봇(100)의 기종에 따라 달라질 수 있고, 장애물 감지센서(171)는 더 다양한 센서를 포함할 수 있다.
장애물 감지센서(171)는 실내의 벽이나 장애물과의 거리를 감지하는 센서로, 본 발명은 그 종류에 한정되지 않으나, 이하에서는 초음파 센서를 예시하여 설명한다.
장애물 감지센서(171)는 이동 로봇(100)의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(140)에 전달한다. 즉, 장애물 감지센서(171)는, 이동 로봇(100)의 이동 경로, 전방이나 측면에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛에 전달할 수 있다.
이러한 이동 로봇(100)은 디스플레이(도시하지 않음)를 구비하여 유저 인터페이스 화면 등 소정 영상을 표시할 수 있다. 또한, 디스플레이는 터치스크린으로 구성되어 입력 수단으로도 사용될 수 있다.
또한, 이동 로봇(100)은, 터치, 음성 입력 등으로 사용자 입력을 수신하여, 사용자 입력에 대응하는 물체, 장소에 대한 정보를 디스플레이 화면에 표시할 수 있다.
이러한 이동 로봇(100)은 특정 공간을 주행하면서 부여된 임무, 즉 청소를 수행할 수 있다. 이동 로봇(100)은 스스로 소정 목적지까지의 경로를 생성하여 이동하는 자율 주행, 사람 또는 다른 로봇을 따라가며 이동하는 추종 주행을 수행할 수 있다. 안전사고 발생을 방지하기 위해서, 이동 로봇(100)은 영상획득부(120)를 통하여 획득되는 영상 데이터, 센싱부(170)에서 획득되는 감지 데이터 등에 기초하여 이동 중 장애물을 감지하여 회피하면서 주행할 수 있다.
도 1의 이동 로봇(100)은 다양한 공간, 예를 들어, 공항, 호텔, 마트, 의류매장, 물류, 병원 등의 공간, 특히 상업 공간과 같은 대면적의 공간에서 청소 서비스를 제공할 수 있는 청소 로봇(100)일 수 있다.
이동 로봇(100)은 이를 관리하고 제어할 수 있는 서버(도시하지 않음)와 연동될 수 있다.
서버는 원격에서 복수의 로봇(100)의 상태를 모니터링하고, 제어할 수 있으며 효과적인 서비스 제공이 가능하다.
이동 로봇(100) 및 서버는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 이동 로봇(100) 및 서버는 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다. 예를 들어, 이동 로봇(100) 및 서버\는 MQTT(Message Queueing Telemetry Transport) 방식 또는 HTTP(HyperText Transfer Protocol) 방식으로 통신할 수 있다. 또한, 이동 로봇(100) 및 서버는 HTTP 또는 MQTT 방식으로 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
경우에 따라서, 이동 로봇(100) 및 서버는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다.
서버는 클라우드(cloud) 서버로 구현되어, 사용자는 PC, 이동 단말기 등 다양한 기기로 통신 연결된 서버에 저장된 데이터와 서버가 제공하는 기능, 서비스를 이용할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 로봇 시스템 내의 이동 로봇(100)에 관한 정보를 확인하거나 제어할 수 있다.
본 명세서에서 '사용자'는 적어도 하나의 로봇을 통한 서비스를 이용하는 사람으로, 로봇을 구매 또는 대여하여 가정 등에서 사용하는 개인 고객, 및, 로봇을 이용하여 직원 또는 고객에게 서비스를 제공하는 기업의 관리자, 직원들과 이러한 기업이 제공하는 서비스를 이용하는 고객들을 포함할 수 있다. 따라서, '사용자'는 개인 고객(Business to Consumer : B2C)과 기업 고객(Business to Business : B2B)을 포함할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 이동 로봇(100)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있다. 한편, 서버는, 이동 로봇(100), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다.
이동 로봇(100) 및 서버는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 이동 로봇(100)은, 서버로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버로 전송할 수 있다.
여기서, 공간(space), 사물(Object) 관련 데이터는 로봇(100)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부(120)가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 이동 로봇(100) 및 서버는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇(100) 및 서버는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇(100)의 제어부(140)(도 2의 140 참조)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버는 이동 로봇(100)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(100)으로 전송할 수 있다. 이에 따라, 이동 로봇(100)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 소정 제품, 예를 들어, 로봇(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센싱부(170)에서 획득된 센싱 데이터 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력 받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력 받고, 이동 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(도 2의 190 참조)를 통하여 서버로 전송될 수 있다.
서버는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 이동 로봇(100)으로 전송하여 업데이트하게 할 수 있다.
이에 따라, 이동 로봇(100)이 점점 더 똑똑해지고, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
로봇(100) 및 서버(10)는 외부 정보(external information)도 이용할 수 있다. 예를 들어, 서버(10)가 다른 연계 서비스 서버(20, 30)로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.
본 발명에 따르면, 이동 로봇(100) 및/또는 서버가 음성 인식을 수행할 수 있어, 로봇(100)의 제어를 위한 입력을 사용자 음성을 사용할 수 있다.
또한, 본 발명에 따르면, 이동 로봇(100)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.
도 2은 본 발명의 실시예에 따른 이동 로봇(100)의 주요 구성들 간의 제어관계를 도시한 블록도이다. 도 2의 블록도는 도 1의 이동 로봇(100) 및 도 1의 이동 로봇(100)에 모두 적용 가능하며, 이하에서는 도 1의 이동 로봇(100)의 구성과 함께 설명한다.
도 1을 참고하면, 이동 로봇(100)은 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)를 포함한다. 주행부(160)는 구동 바퀴(136)에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함한다. 예를 들어, 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(L)과 우륜(R)이라고 한다.
좌륜(L)과 우륜(R)은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(L)을 구동시키는 좌륜 구동 모터와 우륜(R)을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(L)과 우륜(R)의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
이동 로봇(100)은 소정의 서비스를 제공하기 위한 서비스부(150)를 포함한다. 도 1 및 도 1에서는 서비스부(150)가 청소 작업을 수행하는 것으로 예를 들어 본 발명을 설명하나, 본 발명은 이에 한정되지 않는다. 예를 들어, 서비스부(150)는 청소(비질, 흡입청소, 걸레질 등), 설거지, 요리, 빨래, 쓰레기 처리 등의 가사 서비스를 사용자에게 제공하도록 구비될 수 있다. 또 다른 예로, 서비스부(150)는 주변의 외부 침입자나 위험 상황 등을 감지하는 보안 기능을 수행할 수 있다.
이동 로봇(100)은 주행 구역을 이동하며 서비스부(150)에 의해 바닥을 청소할 수 있다. 서비스부(150)는, 이물질을 흡입하는 흡입 장치, 비질을 수행하는 브러시(135, 155), 흡입장치나 브러시에 의해 수거된 이물질을 저장하는 먼지통(미도시) 및/또는 걸레질을 수행하는 걸레부(미도시) 등을 포함할 수 있다.
도 1의 이동 로봇(100)의 본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구가 형성될 수 있으며, 본체(110) 내에는 흡입구를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
본체(110)는 이동 로봇(100)을 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(155)가 구비될 수 있다. 이들 브러시(155)들의 회전에 의해 주행 구역 내 바닥으로부터 먼지들이 분리되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구를 통해 흡입되어 먼지통에 모인다.
배터리는 구동 모터뿐만 아니라, 이동 로봇(100)의 작동 전반에 필요한 전원을 공급한다. 배터리가 방전될 시, 이동 로봇(100)은 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(100)은 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 1의 이동 로봇(100)은 복귀 신호를 수신하는 신호 감지부(미도시)를 포함할 수 있다. 충전대(200)는 신호 송출부를 통해 적외선 신호를 송출하고, 신호 감지부는 적외선 신호를 감지하는 적외선 센서를 포함할 수 있다. 이동 로봇(100)은 충전대(200)로부터 송출된 적외선 신호에 따라 충전대(200)의 위치로 이동하여 충전대(200)와 도킹(docking)한다. 이러한 도킹에 의해 이동 로봇(100)의 충전 단자(133)와 충전대(200)의 충전 단자(210) 간에 충전에 이루어진다.
이동 로봇(100)은 이동 로봇(100)의 내/외부의 정보를 감지하는 센싱부(170)를 포함할 수 있다.
예를 들어, 센싱부(170)는 주행 구역에 대한 각종 정보를 감지하는 하나 이상의 센서(171, 175), 주행 구역에 대한 영상 정보를 획득하는 영상획득부(120)를 포함할 수 있다. 실시예에 따라서, 영상획득부(120)는 센싱부(170) 외부에 별도로 구비될 수 있다.
이동 로봇(100)은 센싱부(170)가 감지한 정보를 통해, 주행 구역을 맵핑(Mapping)할 수 있다. 예를 들어, 이동 로봇(100)은 영상획득부(120)가 획득한 주행 구역의 천장 영상에 기초하여 비전(vision) 기반의 위치 인식 및 맵 생성을 수행할 수 있다. 또한, 이동 로봇(100)은 레이저를 이용하는 라이다(Light Detection And Ranging: LiDAR) 센서(175) 기반의 위치 인식 및 맵 생성을 수행할 수 있다.
더욱 바람직하게는 본 발명에 따른 이동 로봇(100)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술을 효과적으로 융합하여 조도 변화, 물품 위치 변경 등 환경 변화에 강인한 위치 인식 및 맵 생성을 수행할 수 있다.
한편, 영상획득부(120)는 주행 구역을 촬영하는 것으로, 본체(110) 외부의 영상을 획득하는 하나 이상의 카메라 센서를 포함할 수 있다.
또한, 영상획득부(120)는 카메라 모듈을 포함할 수 있다. 카메라 모듈은 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
본 실시예에서 영상획득부(120)는, 본체(110) 전방의 영상을 획득하도록 구비되는 전면 카메라 센서(120a)와 본체(110)의 상면부에 구비되어, 주행 구역 내의 천장에 대한 영상을 획득하는 상부 카메라 센서(120b)를 구비하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
예를 들어, 이동 로봇(100)은 주행 구역 내의 천장에 대한 영상을 획득하는 상부 카메라 센서(120b)만 구비하여, 비전(vision) 기반의 위치 인식 및 주행을 수행할 수 있다.
또는, 본 발명의 일 실시예에 따른 이동 로봇(100)의 영상획득부(120)는, 본체(110)의 일면에 대하여 경사지게 배치되어 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 포함할 수 있다. 즉, 하나의 카메라 센서로 전방과 상방을 함께 촬영할 수 있다. 이 경우에 제어부(140)는 카메라가 촬영하여 획득한 영상에서 전방 영상과 상방 영상을 화각을 기준으로 분리할 수 있다. 분리된 전방 영상은 전면 카메라 센서(120a)에서 획득된 영상과 같이 비전(vision) 기반의 사물 인식에 사용될 수 있다. 또한, 분리된 상방 영상은 상부 카메라 센서(120b)에서 획득된 영상과 같이 비전(vision) 기반의 위치 인식 및 주행에 사용될 수 있다.
본 발명에 따른 이동 로봇(100)은 주변의 이미지를 이미지 기반의 기저장된 정보와 비교하거나 획득되는 이미지들을 비교하여 현재 위치를 인식하는 비전 슬램을 수행할 수 있다.
한편, 영상획득부(120)는 전면 카메라 센서(120a) 및/또는 상부 카메라 센서(120b)를 복수개 구비하는 것도 가능하다. 또는 영상획득부(120)는 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 복수개 구비하는 것도 가능하다.
본 실시예의 경우, 이동 로봇(100)의 일부 부위(ex, 전방, 후방, 저면)에 카메라가 설치되어 있으며, 청소 시에 촬상영상을 지속적으로 획득할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 카메라에 의해 촬상된 영상은 해당 공간에 존재하는 먼지, 머리카락, 바닥 등과 같은 물질의 종류 인식,청소 여부, 또는 청소 시점을 확인하는데 사용할 수 있다.
전면 카메라 센서(120a)는 이동 로봇(100)의 주행 방향 전면에 존재하는 장애물 또는 청소 영역의 상황을 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 영상획득부(120)는 본체(110) 주변을 연속적으로 촬영하여 복수의 영상을 획득할 수 있고, 획득된 복수의 영상은 저장부(130)에 저장될 수 있다.
이동 로봇(100)은 복수의 영상을 이용하여 장애물 인식의 정확성을 높이거나, 복수의 영상 중 하나 이상의 영상을 선택하여 효과적인 데이터를 사용함으로써 장애물 인식의 정확성을 높일 수 있다.
센싱부(170)는 레이저를 이용하여 본체(110) 외부의 지형 정보를 획득하는 라이다 센서(175)를 포함할 수 있다.
라이다 센서(175)는 레이저를 출력하여 레이저를 반사시킨 객체의 거리, 위치 방향, 재질 등의 정보를 제공하며 주행 구역의 지형 정보를 획득할 수 있다. 이동 로봇(100)은 라이다 센서(175)로 360도의 지형(Geometry) 정보를 얻을 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 라이다 센서(175)가 센싱한 객체들의 거리와 위치, 방향 등을 파악하여 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 외부에서 반사되어 수신되는 레이저의 시간차 또는 신호 강도 등 레이저 수신 패턴을 분석하여 주행 구역의 지형 정보를 획득할 수 있다. 또한, 이동 로봇(100)은 라이다 센서(175)를 통하여 획득한 지형 정보를 이용하여 맵을 생성할 수 있다.
예를 들어, 본 발명에 따른 이동 로봇(100)은 라이다 센서(175)를 통하여 현재 위치에서 획득된 주변 지형 정보를 분석하여 이동 방향을 결정하는 라이다 슬램을 수행할 수 있다.
더욱 바람직하게는, 본 발명에 따른 이동 로봇(100)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술 및 초음파 센서를 통해 장애물을 효과적으로 인식하고 변화량이 작은 최적의 이동 방향을 추출하여 맵 생성을 수행할 수 있다.
한편, 센싱부(170)는 이동 로봇(100)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들(171, 172, 179)을 포함할 수 있다.
예를 들어, 센싱부(170)는 전방의 장애물을 감지하는 장애물 감지센서(171)를 포함할 수 있다. 또한, 센싱부(170)는 주행 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(172)와, 바닥의 영상을 획득하는 하부 카메라 센서(179)를 더 포함할 수 있다.
장애물 감지센서(171)는 이동 로봇(100)의 외주면에 일정 간격으로 설치되는 복수의 센서를 포함할 수 있다.
장애물 감지센서(171)는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 등을 포함할 수 있다.
한편, 장애물 감지센서(171)에 포함되는 센서의 위치와 종류는 이동 로봇(100)의 기종에 따라 달라질 수 있고, 장애물 감지센서(171)는 더 다양한 센서를 포함할 수 있다.
장애물 감지센서(171)는 실내의 벽이나 장애물과의 거리를 감지하는 센서로, 본 발명은 그 종류에 한정되지 않으나, 이하에서는 초음파 센서를 예시하여 설명한다.
장애물 감지센서(171)는 이동 로봇(100)의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(140)에 전달한다. 즉, 장애물 감지센서(171)는, 이동 로봇(100)의 이동 경로, 전방이나 측면에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어부(140)에 전달할 수 있다.
이때, 제어부(140)는 초음파 센서를 통해 수신된 적어도 1 이상의 신호에 기초하여 장애물의 위치를 감지하고, 감지된 장애물의 위치에 따라 이동 로봇(100)의 움직임을 제어하여 맵 생성 시에 최적의 이동 경로를 제공한다.
실시예에 따라서는, 케이스(110)의 외측면에 구비되는 장애물 감지 센서(131)는 발신부와 수신부를 포함하여 구성될 수 있다.
예를 들어, 초음파 센서는 적어도 하나 이상의 발신부 및 적어도 1 이상의 수신부가 서로 엇갈리도록 구비될 수 있다. 이에 따라, 다양한 각도로 신호를 방사하고, 장애물에 반사된 신호를 다양한 각도에서 수신할 수 있다.
실시예에 따라서는, 장애물 감지센서(171)에서 수신된 신호는, 증폭, 필터링 등의 신호 처리 과정을 거칠 수 있고, 이후 장애물까지의 거리 및 방향이 산출될 수 있다.
한편, 센싱부(170)는 본체(110)의 구동에 따른 이동 로봇(100)의 주행 동작을 감지하고 동작 정보를 출력하는 주행 감지 센서를 더 포함할 수 있다. 주행 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.
이동 로봇(100)은 배터리의 충전 상태를 감지하고, 감지 결과를 제어부(140)에 전송하는 배터리 감지부(미도시)를 더 포함할 수 있다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 제어부(140)에 전달된다. 배터리 잔량은 출력부(미도시)의 화면에 표시될 수 있다.
또한, 이동 로봇(100)은 온/오프(On/Off) 또는 각종 명령을 입력할 수 있는 조작부(137)를 포함한다. 조작부(137)를 통해 이동 로봇(100)의 작동 전반에 필요한 각종 제어명령을 입력 받을 수 있다. 또한, 이동 로봇(100)은 출력부(미도시)를 포함하여, 예약 정보, 배터리 상태, 동작모드, 동작상태, 에러상태 등을 표시할 수 있다.
도 2을 참조하면, 이동 로봇(100)은 현재 위치를 인식하는 등 각종 정보를 처리하고 판단하는 제어부(140), 및 각종 데이터를 저장하는 저장부(130)를 포함한다. 또한, 이동 로봇(100)은 다른 기기와 데이터를 송수신하는 통신부(190)를 더 포함할 수 있다.
이동 로봇(100)과 통신하는 기기 중 외부 단말기는 이동 로봇(100)을 제어하기 위한 애플리케이션을 구비하고, 애플리케이션의 실행을 통해 이동 로봇(100)이 청소할 주행 구역에 대한 맵을 표시하고, 맵 상에 특정 영역을 청소하도록 영역을 지정할 수 있다. 사용자 단말기는 이동 로봇(100)과 통신하여, 맵과 함께 이동 로봇(100)의 현재 위치를 표시할 수 있으며, 복수의 영역에 대한 정보가 표시될 수 있다. 또한, 사용자 단말기는 이동 로봇(100)의 주행에 따라 그 위치를 갱신하여 표시한다.
제어부(140)는 이동 로봇(100)을 구성하는 센싱부(170), 조작부(137), 주행부(160)를 제어하여, 이동 로봇(100)의 동작 전반을 제어한다.
저장부(130)는 이동 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(microprocessor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, 그 종류나 구현 방식에 한정되지 않는다.
또한, 저장부(130)에는 주행 구역에 대한 맵(Map)이 저장될 수 있다. 맵은 이동 로봇(100)과 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 사용자 단말기, 서버 등에 의해 입력된 것일 수도 있고, 이동 로봇(100)이 스스로 학습을 하여 생성한 것일 수도 있다.
맵에는 주행 구역 내의 방들의 위치가 표시될 수 있다. 또한, 이동 로봇(100)의 현재 위치가 맵 상에 표시될 수 있으며, 맵 상에서의 이동 로봇(100)의 현재의 위치는 주행 과정에서 갱신될 수 있다. 외부 단말기는 저장부(130)에 저장된 맵과 동일한 맵을 저장한다.
저장부(130)는 청소 이력 정보를 저장할 수 있다. 이러한 청소 이력 정보는 청소를 수행할 때마다 생성될 수 있다.
저장부(130)에 저장되는 주행 구역에 대한 맵(Map)은, 청소 중 주행에 사용되는 내비게이션 맵(Navigation map), 위치 인식에 사용되는 슬램(Simultaneous localization and mapping: SLAM) 맵, 장애물 등에 부딪히면 해당 정보를 저장하여 학습 청소 시 사용하는 학습 맵, 전역 위치 인식에 사용되는 전역 위치 맵, 인식된 장애물에 관한 정보가 기록되는 장애물 인식 맵 등일 수 있다.
한편, 상술한 바와 같이 용도별로 저장부(130)에 맵들을 구분하여 저장, 관리할 수 있지만, 맵이 용도별로 명확히 구분되지 않을 수도 있다. 예를 들어, 적어도 1 이상의 용도로 사용할 수 있도록 하나의 맵에 복수의 정보를 저장할 수도 있다.
제어부(140)는 주행제어모듈(141), 위치인식모듈(142), 지도생성모듈(143) 및 장애물인식모듈(144)을 포함할 수 있다.
주행제어모듈(141)은 이동 로봇(100)의 주행을 제어하는 것으로, 주행 설정에 따라 주행부(160)의 구동을 제어한다. 또한, 주행제어모듈(141)은 주행부(160)의 동작을 바탕으로 이동 로봇(100)의 주행경로를 파악할 수 있다. 예를 들어, 주행제어모듈(141)은 구동 바퀴의 회전속도를 바탕으로 이동 로봇(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 각 구동 바퀴의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 파악할 수 있다. 이렇게 파악된 이동 로봇(100)의 주행 정보를 바탕으로, 맵 상에서 이동 로봇(100)의 위치가 갱신될 수 있다.
지도생성모듈(143)은 주행 구역의 맵을 생성할 수 있다. 지도생성모듈(143)은 영상획득부(120)를 통해 획득한 영상을 처리하여 맵을 작성할 수 있다. 예를 들어, 주행 구역에 대응하는 맵, 청소 영역과 대응되는 청소 맵을 작성할 수 있다.
또한, 지도생성모듈(143)은 각 위치에서 영상획득부(120)를 통해 획득한 영상을 처리하여 맵과 연계시켜 전역위치를 인식할 수 있다.
또한, 지도생성모듈(143)은 라이다 센서(175)를 통해 획득한 정보에 기초하여 맵을 작성하고, 각 위치에서 라이다 센서(175)를 통해 획득한 정보에 기초하여 위치를 인식할 수 있다.
또한, 지도생성모듈(143)은 장애물 감지센서(171)를 통해 획득한 정보에 기초하여 맵을 작성하고, 각 위치에서 장애물 감지센서(171)를 통해 획득한 정보에 기초하여 위치를 인식할 수 있다
더욱 바람직하게는, 지도생성모듈(143)은 영상획득부(120)와 라이다 센서(175)를 통해 획득한 정보에 기초하여 맵을 작성하고 위치 인식을 수행할 수 있다.
위치인식모듈(142)은 현재 위치를 추정하여 인식한다. 위치인식모듈(142)은 영상획득부(120)의 영상 정보를 이용하여 지도생성모듈(143)과 연계하여 위치를 파악함으로써, 이동 로봇(100)의 위치가 갑자기 변경되는 경우에도 현재 위치를 추정하여 인식할 수 있다.
이동 로봇(100)은 위치인식모듈(142)을 통해 연속적인 주행 중에 위치 인식이 가능하고 또한, 위치인식모듈(142) 없이 주행제어모듈(141), 지도생성모듈(143), 장애물인식모듈(144)을 통해, 맵을 학습하고 현재 위치를 추정할 수 있다.
이동 로봇(100)은 미지의 현재 위치에서 영상획득부(120)를 통해 획득영상을 획득한다. 영상을 통해 천장에 위치하는 조명들, 경계(edge), 코너(20)(corner), 얼룩(blob), 굴곡(ridge) 등의 여러가지 특징(feature)들이 확인된다.
이와 같이, 제어부(140)는 주행 구역을 구분하고 복수의 영역으로 구성된 맵을 생성하거나, 기저장된 맵을 바탕으로 본체(110)의 현재 위치를 인식할 수 있다.
또한, 제어부(140)는 영상획득부(120)와 라이다 센서(175)를 통해 획득한 정보를 융합하여 맵을 작성하고 위치 인식을 수행할 수 있다.
제어부(140)는 맵이 생성되면, 생성된 맵을 통신부(190)를 통해 외부 단말기, 서버 등으로 전송할 수 있다. 또한, 제어부(140)는 앞서 설명한 바와 같이, 외부 단말기, 서버 등으로부터 맵이 수신되면, 저장부(130)에 저장할 수 있다.
또한 제어부(140)는 주행 중 맵이 갱신되는 경우 갱신된 정보를 외부 단말기로 전송하여 외부 단말기와 이동 로봇(100)에 저장되는 맵이 동일하도록 한다. 외부 단말기와 이동 로봇(100)에 저장된 맵이 동일하게 유지됨에 따라 이동 단말기로부터의 청소명령에 대하여, 이동 로봇(100)이 지정된 영역을 청소할 수 있으며, 또한, 외부 단말기에 이동 로봇(100)의 현재 위치가 표시될 수 있도록 하기 위함이다.
이때, 맵은 청소 영역을 복수의 영역으로 구분되고, 복수의 영역을 연결하는 연결통로가 포함하며, 영역 내의 장애물에 대한 정보를 포함할 수 있다.
제어부(140)는 청소명령이 입력되면, 맵 상의 위치와 이동 로봇(100)의 현재 위치가 일치하는지 여부를 판단한다. 청소명령은 리모컨, 조작부 또는 외부 단말기로부터 입력될 수 있다.
제어부(140)는 현재 위치가 맵 상의 위치와 일치하지 않는 경우, 또는 현재 위치를 확인할 수 없는 경우, 현재 위치를 인식하여 이동 로봇(100)의 현재 위치를 복구한 한 후, 현재 위치를 바탕으로 지정영역으로 이동하도록 주행부(160)를 제어할 수 있다.
현재 위치가 맵 상의 위치와 일치하지 않는 경우 또는 현재 위치를 확인할 수 없는 경우, 위치인식모듈(142)은 영상획득부(120)로부터 입력되는 획득영상 및/또는 라이다 센서(175)를 통해 획득된 지형 정보를 분석하여 맵을 바탕으로 현재 위치를 추정할 수 있다. 또한, 장애물인식모듈(144) 또는 지도생성모듈(143) 또한, 같은 방식으로 현재 위치를 인식할 수 있다.
위치를 인식하여 이동 로봇(100)의 현재 위치를 복구한 후, 주행제어모듈(141)은 현재 위치로부터 지정영역으로 주행경로를 산출하고 주행부(160)를 제어하여 지정영역으로 이동한다.
서버로부터 청소 패턴 정보를 수신하는 경우, 주행제어모듈(141)은 수신한 청소 패턴 정보에 따라, 전체 주행 구역을 복수의 영역으로 나누고, 하나 이상의 영역을 지정영역으로 설정할 수 있다.
또한, 주행제어모듈(141)은 수신한 청소 패턴 정보에 따라 주행경로를 산출하고, 주행경로를 따라 주행하며, 청소를 수행할 수 있다.
제어부(140)는 설정된 지정영역에 대한 청소가 완료되면, 청소기록을 저장부(130)에 저장할 수 있다.
또한, 제어부(140)는 통신부(190)를 통해 이동 로봇(100)의 동작상태 또는 청소상태를 소정 주기로 외부 단말기, 서버로 전송할 수 있다.
그에 따라 외부 단말기는 수신되는 데이터를 바탕으로, 실행중인 애플리케이션의 화면상에 맵과 함께 이동 로봇(100)의 위치를 표시하고, 또한 청소 상태에 대한 정보를 출력한다.
본 발명의 실시예에 따른 이동 로봇(100)은 일방향으로 장애물이나 벽면이 감지될 때까지 이동하다가, 장애물인식모듈(144)이 장애물을 인식하면, 인식된 장애물의 속성에 따라 직진, 회전 등 주행 패턴을 결정할 수 있다.
예를 들어, 인식된 장애물의 속성이 넘어갈 수 있는 종류의 장애물이면, 이동 로봇(100)은 계속 직진할 수 있다. 또는, 인식된 장애물의 속성이 넘어갈 수 없는 종류의 장애물이면, 이동 로봇(100)은 회전하여 일정거리 이동하고, 다시 최초 이동 방향의 반대방향으로 장애물이 감지되는 거리까지 이동하여 지그재그 형태로 주행할 수 있다
본 발명의 실시예에 따른 이동 로봇(100)은, 머신 러닝(machine learning) 기반의 사람, 사물 인식 및 회피를 수행할 수 있다.
제어부(140)는, 입력 영상에서 머신 러닝(machine learning)으로 기 학습된 장애물을 인식하는 장애물인식모듈(144)과 인식된 장애물의 속성에 기초하여, 주행부(160)의 구동을 제어하는 주행제어모듈(141)을 포함할 수 있다.
장애물인식모듈(144)은 장애물의 속성이 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다.
예를 들어, 장애물인식모듈(144)은 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다.
장애물인식모듈(144)은 심층신경망(DNN)에 포함된 노드들 사이의 가중치(weight)들에 기초하여 입력되는 영상 데이터에 포함되는 장애물의 속성을 판별할 수 있다.
한편, 이동 로봇(100)은 출력부(180)를 더 포함하여, 소정 정보를 영상으로 표시하거나 음향으로 출력할 수 있다.
출력부(180)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시하는 디스플레이(미도시)를 포함할 수 있다.
실시예에 따라서는, 디스플레이는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 터치스크린으로 구성되는 디스플레이는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 출력부(180)는 오디오 신호를 출력하는 음향 출력부(미도시)를 포함할 수 있다. 음향 출력부는 제어부(140)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부는, 제어부(140)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
이하에서는 도 2의 구성도를 가지는 도 1의 이동 로봇(100)의 맵 생성을 위한 제어 방법을 설명한다.
도 3는 본 발명의 일 실시예에 따른 이동 로봇(100)의 제어 방법을 도시한 순서도이다.
도 3를 참고하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은 제어부(140)의 명령에 의해 청소나 서비스를 위한 주행 명령을 수신한다.
이동 로봇(100)은 주행 명령에 따라 청소 구역 내를 주행하면서 주변 환경에 지형 정보를 수득한다(S10, S11). 제어부(140)는 센싱부(170)를 제어하여 주변 환경에 지형 정보를 수득하도록 한다.
본 발명은 레이저(Laser) 기반 슬램 기술에서 사용될 수 있다. 더욱 구체적으로, 본 발명의 경우, 주행 구역이 어두워서 비전 기반 슬램을 사용할 수 없는 경우나, 비용을 줄이기 위해, 라이다 센서나 카메라 센서가 없는 경우 사용될 수 있다.
슬램 기술은 비전(Vision) 기반, 레이저(Laser) 기반, 슬램으로 나눌 수 있다.
이 중 비전(Vision) 기반 슬램은 영상에서 특징점을 추출한 후 매칭을 하여 3차원 좌표를 계산하고, 이를 토대로 슬램을 한다. 영상에 많은 정보가 있어 환경이 밝을 경우 자기 위치 인식을 하는데 뛰어난 성능을 가지지만 어두운 곳에서는 동작이 어렵고, 작은 크기의 물체가 가까운 곳에 있는 것과 큰 크기의 물체가 먼 곳에 있는 것을 비슷하게 인식하는 등의 스케일 드리프트(Scale Drift) 문제가 있다.
그리고 레이저(Laser) 기반 슬램은 레이저를 활용하여 각도 별 거리를 측정하여 주변 환경의 지형(geometry)을 계산하는 원리로 동작을 한다. 레이저 기반 슬램은 어두운 환경에서도 동작이 잘된다. 하지만, 지형(geometry) 정보만을 가지고 위치를 인식하므로 오피스(Office) 환경같이 반복되는 영역이 많은 공간에서는 초기 위치 조건이 없을 경우 자기 위치를 찾기 어려운 경우가 많다. 또한 가구가 옮겨지는 등 동적 환경에 대응이 어렵다.
즉, 비전(Vision) 기반 슬램의 경우 어두운 환경(불빛이 없는 환경)에서는 정확한 동작이 어렵다. 또한 레이저(Laser) 기반 슬램의 경우 동적 환경(움직이는 물체 등)과 반복되는 환경(비슷한 패턴)에서 자기 위치 인식이 어렵고, 기존 맵과 현재 프레임의 매칭 및 루프 클로징(loop closing)의 정확도가 떨어지며, 랜드마크를 만들기 힘들기 때문에, 납치(kidnap) 문제와 같은 상황에 대처하기 힘들다.
이동 로봇(100)은 센싱부(170)에서 획득한 지형 정보를 통해 본체(110)의 현재 위치가 주행 영역의 코너(20)인지 판단한다(S13). 도 4를 참조하면, 이동 로봇(100)은 청소 모드에 따라 주행 구역을 주행한다.
이동 로봇(100)은 장애물 감지센서(171)에서 입력된 에지, 벽 및 장애물과의 거리 정보를 바탕으로 이동 로봇(100)의 현재 위치가 코너(20)인지 판단한다. 구체적으로, 제어부(140)는 2개의 벽이 만나는 지점을 코너(20)로 정의하고, 본체(110)가 코너(20)에서 일정한 거리 이내에 위치되는 본체(110)의 현재 위치가 코너(20)라고 판단한다.
이동 로봇(100)은 현재 위치가 본체(110)의 현재 위치가 코너(20)인 경우, 코너(20)에서 코너(20) 주변의 지형 정보를 획득한다(S14).
구체적으로, 제어부(140)는 본체(110)가 코너(20)에 위치된 경우, 코너(20)에서 센싱부(170)를 통해 코너(20) 주변의 지형 정보를 획득하는 코너 주변정보 획득 모션을 하도록 제어한다.
제어부(140)는 코너 주변정보 획득 모션을 본체(110)의 월 팔로잉 주행 중에 본체(110)가 코너(20)에 위치되는 경우, 실행할 수 있다. 또한, 제어부(140)는 이동 로봇(100)의 청소 주행 중에 본체(110)가 코너(20)에 위치되는 경우, 실행할 수 있다.
제어부(140)는 이동 로봇(100)이 코너(20)에 위치할 때 마다 코너 주변정보 획득 모션을 하도록 이동 로봇(100)을 제어한다. 도 5를 참조하면, 코너 주변정보 획득 모션은, 본체(110)가 코너(20)에서 회전하면서 센싱부(170)를 통해 외부의 지형 정보를 획득할 수 있다.
구체적으로, 제어부(140)는 본체(110)가 코너(20)에 위치된 경우, 본체(110)를 제자리에서 시계방향 또는 반 시계방향으로 회전하게 제어하면서 동시에, 센싱부(170)라 외부의 지형 정보를 획득하게 제어한다. 제어부(140)는 본체(110)를 제자리에서 360도 회전하게 할 수도 있지만, 이렇게 회전하면, 청소시간이 늘어나는 단점이 존재한다.
이러한 단점을 극복하기 위해, 도 5를 참조하면, 코너 주변정보 획득 모션은 본체(110)가 코너(20)에서 제1 방향으로 회전한 후 제1 방향과 반대 방향인 제2 방향으로 회전하면서 센싱부(170)를 통해 외부의 지형 정보를 획득할 수 있다. 다시 설명하면, 코너 주변정보 획득 모션은 본체(110) 정면이 코너(20)에서 제1 방향을 바라볼 때까지 회전한 후, 제2 방향을 바라볼 때 까지 회전하면서 센싱부(170)를 통해 외부의 지형 정보를 획득할 수 있다.
더욱 구체적으로, 제1 방향 및 제2 방향은 본체(110)의 진행 방향(헤딩 방향과)과 직교하고, 제2 방향은 본체(110)가 코너(20)를 통과한 후 진행방향(헤딩 방향)과 일치될 수 있다. 따라서, 본체(110)는 코너(20)에서 270도 회전하면서, 코너(20) 주변정보를 획득하게 되므로, 360도 회전보다 청소시간 및 센싱 시간이 줄게 되는 이점과, 이동 로봇(100)이 회전을 마친 방향각이 이동 로봇(100)의 헤딩 방향이 되므로, 청소 효율이 증가되는 이점이 존재한다.
즉, 도 5에서 도시하는 바와 같이, 이동 로봇(100)은 Y축 방향으로 진행하다가 코너(20)를 만나게 되면, -X 축 방향(제1 방향)까지 제자리에서 시계방향으로 90도 회전한 후, X축 방향까지 반 시계방향으로 180도 회전하면서, 코너(20) 주변의 지형 정보를 획득하게 된다.
장애물 감지센서(171)는 전방을 중심으로 일정 각도(대략 2도 내지 8도) 범위 내에서 장애물이나 벽과의 거리를 감지하도록 본체(110)의 전방에 설치되는 것이 보통이다. 또한, 장애물 감지센서(171)는 설치 비용을 줄이고, 센싱의 효율성은 향상시키기 위해 2개 내지 3개가 설치되는 것이 보통이다.
코너(20) 주변의 지형 정보를 획득하는 것은, 이러한 장애물 감지센서(11)의 센싱 각도의 한계를 본체(110)의 회전으로 극복하는 것이다. 제어부(140)는 코너(20) 주변의 지형 정보를 획득할 때, 본체(110)를 상술한 바와 같이 시계방향과 반 시계 방향으로 회전하면서, 코너(20)에 인접한 장애물(예를 들면, 벽(10))의 특징점 들을 추출하고, 추출한 특징점들의 각도 값과 본체(110)와의 거리 값을 획득한다.
또한, 코너 주변정보 획득 모션은 코너(20)에서 일정 거리 이내 및 일정 각도 이내의 벽(10)의 특징점 들과의 거리를 추출하여 지형 정보를 획득할 수 있다.
제어부(140)는 코너 주변정보 획득 모션에서 획득한 코너(20) 주변 지형 정보를 기반으로 본체(110)의 현재 위치를 추정할 수 있다(S14).
제어부(140)는, 벽의 특징점 들과의 거리를 바탕으로 본체(110)의 현재 위치를 추정할 수 있다. 구체적으로, 도 7을 참조하면, 제어부(140)는 맵에 저장된 코너(20) 주변의 벽의 위치 정보와 코너(20) 주변정보 회득 모션에서 획득한 코너(20) 주변 지형 정보를 매칭하여 이동 로봇(100)의 현재 위치를 추정할 수 있다.
더욱 구체적으로, 제어부(140)는, 코너(20)에서, 벽의 특징점 들과의 거리를 바탕으로 벽의 기울기를 추정하고, 벽의 기울기를 맵 상에 저장된 벽의 기울기와 매칭시켜서, 이동 로봇(100)의 현재 위치를 추정할 수 있다.
또는, 제어부(140)는, 코너(20)에서, 코너(20)에서 인접한 벽의 특징점 들의 위치정보를 맵 상에 저장된 벽이 특징점 들의 위치정보와 매칭시켜서, 이동 로봇(100)의 현재 위치를 추정할 수 있다. 매칭 방법은 제한이 없지만, PSO(Particle Swarm Optimization) 또는 ICP(Iterative Closest Point)이 사용될 수 있다.
더더욱 구체적으로, 제어부(140)는, 코너(20) 주변정보 획득모션에서 코너(20)에 대응되는 코너 획득 특징점(32)과, 제1 벽(11)의 제1 획득 특징점(31)들과, 제2 벽(12)의 제2 회득 특징점들(33)을 맵에 저장된 코너 특징점(42)과, 제1 특징점(41) 및 제2 특징점(43)을 매칭하여 이동 로봇(100)의 현재 위치를 추정할 수 있다.
따라서, 본원 발명은 본체(110)의 설치된 1-3개의 레이저 기반의 장애물 감지센서(171)만으로, 슬램이 가능하므로, 이동 로봇(100)의 제조비용은 줄이면서, 코너(20)에서 이동 로봇(100)의 현재위치를 정확하게 추정하므로, 정확하고 신속한 주행이 가능한 이점이 존재한다.
제어부(140)는 추정된 이동 로봇(100)의 현재 위치와, 방향각을 바탕으로 코너 주변정보 획득 모션 이후의 이동 로봇(100)의 헤딩 방향을 결정한다(S16). 구체적으로, 제어부(140)는 벽의 특징점 들과의 거리를 바탕으로 벽의 기울기를 추정하고, 벽의 기울기와 나란한 방향으로 이동 로봇(100)의 헤딩 방향을 결정할 수 있다. 도 6에서 도시하는 바와 같이, 제어부(140)는 코너 주변정보 획득 모션 이후의 이동 로봇(100)의 헤딩 방향을 제1 벽(11)과 나란한 X축 방향으로 결정한다.
제어부(140)는 결정된 이동 로봇(100)의 헤딩 방향으로 본체(110)가 주행하도록 주행부를 제어한다(S17).
제어부(140)는 코너 주변정보 획득 모션에서 획득한 코너(20) 주변 지형 정보를 기반으로 기 저장된 맵(Map)를 업데이트할 수 있다(S18).
제어부(140)는 벽의 특징점 들과의 거리를 바탕으로 벽의 기울기를 추정하고, 벽의 기울기를 맵에 업데이트하고, 각 코너(20)의 위치 정보를 맵에 업데이트할 수 있다.
도 8는 본 발명의 다른 실시예에 따른 이동 로봇(100)의 제어 방법을 도시하는 도면이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은 제어부(140)의 명령에 의해 맵 생성을 위한 주행 명령을 수신한다.
이동 로봇(100)은 주행 명령에 따라 청소 구역 내를 주행하면서 주변 환경에 대한 감지 정보를 수득한다. 구체적으로, 이동 로봇(100)은 맵 생성을 위해 월 팔로잉 주행을 수행할 수 있다(S20, S21).
이동 로봇(100)은 센싱부(170)에서 획득한 지형 정보를 통해 본체(110)의 현재 위치가 주행 영역의 코너(20)인지 판단한다(S23).
이동 로봇(100)은 장애물 감지센서(171)에서 입력된 에지, 벽 및 장애물과의 거리 정보를 바탕으로 이동 로봇(100)의 현재 위치가 코너(20)인지 판단한다. 구체적으로, 제어부(140)는 2개의 벽이 만나는 지점을 코너(20)로 정의하고, 본체(110)가 코너(20)에서 일정한 거리 이내에 위치되는 본체(110)의 현재 위치가 코너(20)라고 판단한다.
이동 로봇(100)은 현재 위치가 본체(110)의 현재 위치가 코너(20)인 경우, 코너(20)에서 코너(20) 주변의 지형 정보를 획득한다(S24).
구체적으로, 제어부(140)는 본체(110)가 코너(20)에 위치된 경우, 코너(20)에서 센싱부(170)를 통해 코너(20) 주변의 지형 정보를 획득하는 코너 주변정보 획득 모션을 하도록 제어한다.
제어부(140)는 이동 로봇(100)이 코너(20)에 위치할 때 마다 코너 주변정보 획득 모션을 하도록 이동 로봇(100)을 제어한다.
또한, 코너 주변정보 획득 모션은 코너(20)에서 일정 거리 이내 및 일정 각도 이내의 벽의 특징점 들과의 거리를 추출하고, 각 코너(20)의 위치정보를 출출하여 지형 정보를 획득할 수 있다.
제어부(140)는 코너 주변정보 획득 모션에서 획득한 코너(20) 주변 지형 정보를 기반으로 본체(110)의 현재 위치를 추정할 수 있다(S25). 코너(20) 주변 지형 정보를 기반으로 본체(110)의 현재 위치를 추정하는 방법은 도 3의 실시예와 동일하다.
제어부(140)는 추정된 이동 로봇(100)의 현재 위치와, 방향각을 바탕으로 코너 주변정보 획득 모션 이후의 이동 로봇(100)의 헤딩 방향을 결정한다(S26).
제어부(140)는 결정된 이동 로봇(100)의 헤딩 방향으로 본체(110)가 주행하도록 주행부를 제어한다(S27).
제어부(140)는 이동 로봇(100)의 현재 위치가 초기 위치인지 판단한다(S28).
도 9 및 도 10을 참조하면, 제어부(140)는 이동 로봇(100)의 현재 위치가 초기 위치인 경우, 각 코너(20)의 위치 정보와 각 코너(20)에서 획득한 코너(20) 주변 지형 정보를 바탕으로, 루프 디텍션(Loop detection) 및 루프 클로징(Loop closing)을 실행한다(S29).
루프 클로징(Loop closing)은 ELCH(Explicit Loop Closing Heuristics) 또 ICP(Iterative Closest Points) 방법으로 루프 보정양을 통해 실행된다(S30). 루프 클로징을 통해 4개의 코너(20)(21, 22, 23, 24)를 가지는 루프가 생성되게 된다.
제어부(140)는 루프 클로징(Loop closing) 바탕으로 새로운 맵을 생성하고, 새로운 맵을 저장부에 저장하거나 서버로 전송한다.
따라서, 본 발명은 본체(110)의 전방에 2-3개 장애물 감지센서(171)만 사용하여서, 구조가 간단하고, 제조 비용이 저렴하며, 새로운 주행 구역에 대해 정확하고 비교적 신속하게 새로운 맵을 생성할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
[부호의 설명]
이동 로봇: 100
본체: 110
제어부: 140
서비스부: 150
주행부: 160
센싱부: 170
통신부: 190

Claims (20)

  1. 본체;
    상기 본체를 이동시키는 주행부;
    상기 본체 외부의 지형 정보를 획득하는 센싱부; 및
    상기 센싱부에서 획득한 지형 정보를 통해 상기 본체의 현재 위치가 주행 영역의 코너인지 판단하고, 상기 본체가 상기 코너에 위치된 경우, 상기 코너에서 상기 센싱부를 통해 상기 코너 주변의 지형 정보를 획득하는 코너 주변정보 획득 모션을 하도록 제어하는 제어부를 포함하는 이동 로봇.
  2. 제1항에 있어서,
    상기 코너 주변정보 획득 모션은,
    상기 본체가 상기 코너에서 회전하면서 상기 센싱부를 통해 외부의 지형 정보를 획득하는 이동 로봇.
  3. 제1항에 있어서,
    상기 코너 주변정보 획득 모션은,
    상기 본체가 상기 코너에서 제1 방향으로 회전한 후 상기 제1 방향과 반대 방향인 제2 방향으로 회전하면서 상기 센싱부를 통해 외부의 지형 정보를 획득하는 이동 로봇.
  4. 제3항에 있어서,
    상기 제1 방향 및 상기 제2 방향은 상기 본체의 진행 방향과 직교하는 이동 로봇.
  5. 제3항에 있어서,
    상기 제2 방향은 상기 본체가 코너를 통과한 후 진행방향과 일치되는 이동 로봇.
  6. 제1항에 있어서,
    상기 센싱부는 상기 본체의 진행 방향을 기준으로 일정 각도 내의 지형 정보를 획득하는 레이저 센서를 포함하는 이동 로봇.
  7. 제6항에 있어서,
    상기 코너 주변정보 획득 모션은,
    상기 코너에서 일정 거리 이내 및 일정 각도 이내의 벽의 특징점 들과의 거리를 추출하여 상기 지형 정보를 획득하는 이동 로봇.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 벽의 특징점 들과의 거리를 바탕으로 상기 벽의 기울기를 추정하고, 상기 벽의 기울기를 맵에 업데이트하는 이동 로봇.
  9. 제7항에 있어서,
    상기 제어부는,
    상기 벽의 특징점 들과의 거리를 바탕으로 상기 본체의 현재 위치를 추정하는 이동 로봇.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 벽의 특징점 들과의 거리를 바탕으로 상기 벽의 기울기를 추정하고, 상기 벽의 기울기를 바탕으로 상기 본체의 헤딩 방향을 결정하는 이동 로봇.
  11. 제1항에 있어서,
    상기 제어부는,
    상기 코너 주변정보 획득 모션에서 획득한 상기 코너 주변 지형 정보를 기반으로 상기 본체의 현재 위치를 추정하는 이동 로봇.
  12. 제1항에 있어서,
    데이터를 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 코너 주변정보 획득 모션에서 획득한 상기 코너 주변 지형 정보를 기반으로 맵을 업데이트하는 이동 로봇.
  13. 제1항에 있어서,
    데이터를 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 코너 주변정보 획득 모션에서 획득한 복수의 코너 주변 지형 정보와 복수의 코너의 위치 정보를 기반으로 맵을 생성하는 이동 로봇.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 코너 주변정보 획득 모션에서 획득한 상기 코너 주변 지형 정보를 기반으로 상기 본체의 현재 위치를 추정하는 이동 로봇.
  15. 제1항에 있어서,
    상기 제어부는,
    상기 코너 주변정보 획득 모션을 상기 본체의 월 팔로잉 주행 중에 실행하는 이동 로봇.
  16. 센싱부가 본체의 주변 지형 정보를 획득하는 지형 정보 획득 단계;
    상기 본체의 현재 위치가 주행 영역의 코너인지 판단하는 코너 판단 단계; 및
    상기 본체의 현재 위치가 상기 코너인 경우, 상기 코너에서 상기 코너 주변의 지형 정보를 획득하는 코너 주변 지형 정보 획득단계를 포함하는 이동 로봇의 제어방법.
  17. 제16항에 있어서,
    상기 코너 주변 지형 정보 획득단계는,
    상기 본체가 상기 코너에서 회전하면서 상기 센싱부를 통해 외부의 지형 정보를 획득하는 이동 로봇의 제어방법.
  18. 제16항에 있어서,
    상기 코너 주변 지형 정보를 기반으로 상기 본체의 현재 위치를 추정하는 현재 위치 추정단계를 더 포함하는 이동 로봇의 제어방법.
  19. 제16항에 있어서,
    상기 코너 주변 지형 정보를 기반으로 맵을 업데이트하는 지도 업데이트 단계를 더 포함하는 이동 로봇의 제어방법.
  20. 제16항에 있어서,
    상기 코너 주변 지형 정보 획득단계는,
    상기 코너에서 일정 거리 이내 및 일정 각도 이내의 벽의 특징점 들과의 거리를 추출하는 이동 로봇의 제어방법.
PCT/KR2023/006094 2022-05-19 2023-05-04 이동 로봇 및 이동 로봇의 제어방법 WO2023224295A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220061570A KR20230161782A (ko) 2022-05-19 2022-05-19 이동 로봇 및 이동 로봇의 제어방법
KR10-2022-0061570 2022-05-19

Publications (1)

Publication Number Publication Date
WO2023224295A1 true WO2023224295A1 (ko) 2023-11-23

Family

ID=88835577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006094 WO2023224295A1 (ko) 2022-05-19 2023-05-04 이동 로봇 및 이동 로봇의 제어방법

Country Status (2)

Country Link
KR (1) KR20230161782A (ko)
WO (1) WO2023224295A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR20190134871A (ko) * 2018-04-30 2019-12-05 엘지전자 주식회사 청소기 및 그 제어방법
US20200306985A1 (en) * 2017-04-12 2020-10-01 Marble Robot, Inc. Method for sensor data processing
KR20200119394A (ko) * 2019-03-27 2020-10-20 엘지전자 주식회사 이동 로봇 및 그 제어방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7211980B1 (en) 2006-07-05 2007-05-01 Battelle Energy Alliance, Llc Robotic follow system and method
KR101281512B1 (ko) 2007-04-06 2013-07-03 삼성전자주식회사 로봇청소기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
US20200306985A1 (en) * 2017-04-12 2020-10-01 Marble Robot, Inc. Method for sensor data processing
KR20190134871A (ko) * 2018-04-30 2019-12-05 엘지전자 주식회사 청소기 및 그 제어방법
KR20200119394A (ko) * 2019-03-27 2020-10-20 엘지전자 주식회사 이동 로봇 및 그 제어방법

Also Published As

Publication number Publication date
KR20230161782A (ko) 2023-11-28

Similar Documents

Publication Publication Date Title
WO2021006677A2 (en) Mobile robot using artificial intelligence and controlling method thereof
AU2020247141B2 (en) Mobile robot and method of controlling the same
WO2021006556A1 (en) Moving robot and control method thereof
WO2021006542A1 (en) Mobile robot using artificial intelligence and controlling method thereof
WO2018139865A1 (ko) 이동 로봇
WO2018139796A1 (ko) 이동 로봇 및 그의 제어 방법
AU2019262467B2 (en) A plurality of robot cleaner and a controlling method for the same
AU2019262468B2 (en) A plurality of robot cleaner and a controlling method for the same
WO2019212239A1 (en) A plurality of robot cleaner and a controlling method for the same
EP3846979A1 (en) Plurality of autonomous mobile robots and controlling method for the same
WO2017188800A1 (ko) 이동 로봇 및 그 제어방법
EP3585571A2 (en) Moving robot and control method thereof
WO2019017521A1 (ko) 청소기 및 그 제어방법
WO2018117616A1 (ko) 이동 로봇
WO2019212240A1 (en) A plurality of robot cleaner and a controlling method for the same
WO2019117576A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2020004824A1 (en) Plurality of autonomous cleaner and controlling method for the same
AU2020362530B2 (en) Robot cleaner and method for controlling the same
EP4110559A1 (en) Moving robots and method for controlling the same
WO2022075610A1 (ko) 이동 로봇 시스템
WO2023224295A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2022075616A1 (ko) 이동 로봇 시스템
WO2021225234A1 (en) Robot cleaner and method for controlling the same
WO2021006553A1 (en) Moving robot and control method thereof
WO2023195621A1 (ko) 이동 로봇 및 그의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807817

Country of ref document: EP

Kind code of ref document: A1