WO2015008874A1 - 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법 - Google Patents

로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법 Download PDF

Info

Publication number
WO2015008874A1
WO2015008874A1 PCT/KR2013/006302 KR2013006302W WO2015008874A1 WO 2015008874 A1 WO2015008874 A1 WO 2015008874A1 KR 2013006302 W KR2013006302 W KR 2013006302W WO 2015008874 A1 WO2015008874 A1 WO 2015008874A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
image
robot cleaner
unit
sensor unit
Prior art date
Application number
PCT/KR2013/006302
Other languages
English (en)
French (fr)
Inventor
김연수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/904,401 priority Critical patent/US10307912B2/en
Priority to PCT/KR2013/006302 priority patent/WO2015008874A1/ko
Publication of WO2015008874A1 publication Critical patent/WO2015008874A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Definitions

  • the present invention relates to a robot cleaner and a 3D sensor self-calibration method of the robot cleaner.
  • robots have been developed for industrial use and have been a part of factory automation. Recently, the application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes have also been made.
  • a typical example of a household robot is a robot cleaner, which is a kind of electronic device that cleans by sucking dust or foreign substances around itself while driving a certain area by itself.
  • a robot cleaner generally includes a rechargeable battery, and includes an obstacle sensor that can avoid obstacles while driving, so that the robot cleaner can run and clean itself.
  • a method for controlling the robot cleaner includes a method using a remote control that is a user interface, a method using a button provided on the robot cleaner body.
  • robot cleaners having magnetic location recognition and mapping functions have been developed using cameras or various sensors.
  • An object of the present invention is to provide a robot cleaner and a 3D sensor self-calibration method of the robot cleaner capable of performing diagnosis and self-calibration of the 3D sensor provided in the main body at the time of initial driving or as required by a user.
  • the 3D sensor unit is installed in the main body, for detecting the surrounding objects to output the sensing information; Auxiliary sensor unit for detecting the surrounding objects to output the sensing information; A storage unit in which a diagnosis algorithm according to the diagnosis mode is preset; An input unit to receive an execution command of the diagnostic mode; A control unit for self-calibrating a diagnostic mode for the 3D sensor and a parameter of the 3D sensor unit using the diagnostic algorithm in accordance with the execution command; And an output unit for outputting a result of executing the diagnostic mode and a self-calibration message.
  • the 3D sensor unit comprises a laser module for irradiating a laser pattern on a target; And a camera module for acquiring an image including the laser pattern.
  • the 3D sensor unit for detecting the surrounding objects and outputs the sensing information
  • the self-calibration method of the 3D sensor unit of the robot cleaner having a plurality of driving modes, the plurality of driving modes Receiving a command to execute the diagnostic mode of the; Driving the 3D sensor unit in accordance with the diagnostic mode upon receiving the execution command; And diagnosing and self-calibrating a state of the 3D sensor unit using the sensing information output from the 3D sensor unit.
  • Embodiments of the present invention prevent the problems that may occur due to malfunction during cleaning or driving by performing the diagnosis and self-calibration of the 3D sensor unit at the time of initial driving or the user's needs, and increases the driving efficiency of the robot cleaner, The safety and convenience of the user can be improved.
  • FIG. 1 is a perspective view illustrating an exterior of a robot cleaner according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a robot cleaner according to an embodiment.
  • FIG 3 is a diagram illustrating a camera module in a robot cleaner, according to an exemplary embodiment.
  • FIG. 4 is an overall flowchart illustrating a 3D sensor self-calibration method of the robot cleaner according to an embodiment of the present invention.
  • 5 to 8 are flowcharts illustrating a 3D sensor self-calibration method of a robot cleaner according to an embodiment of the present invention.
  • FIG. 9 is a view showing an image acquired by the 3D sensor unit to perform the 3D sensor self-calibration method of the robot cleaner according to an embodiment of the present invention.
  • FIG. 10 is a view illustrating an image of a charging stand acquired through a camera module after powering off a laser module in a robot cleaner according to an exemplary embodiment of the present invention.
  • FIG. 11 is a view illustrating an image photographed when the laser module is turned on, an image photographed when the power is turned off, and a laser line image in the robot cleaner according to an embodiment of the present disclosure.
  • FIG. 12 is a view illustrating an image photographed when the laser module is turned on, an image photographed when the power is turned off, and a laser line image in the robot cleaner according to an exemplary embodiment of the present invention.
  • FIG. 1 is a perspective view illustrating an exterior of a robot cleaner according to an embodiment
  • FIG. 2 is a block diagram illustrating a configuration of a robot cleaner according to an embodiment.
  • a robot cleaner may include a 3D sensor unit 110, an auxiliary sensor unit 120, a control unit 200, an input unit 300, and an output unit ( 400, a storage unit 500, a power unit 600, a driving unit 700, and a cleaning unit 800 may be configured.
  • the 3D sensor unit 110 may be installed in the main body 10 of the robot cleaner and may detect 3D sensing information to output 3D sensing information.
  • the auxiliary sensor unit 120 is installed in the main body 10, and detects an object around it and outputs sensing information.
  • the input unit 300 may receive an execution command of a diagnostic mode for the 3D sensor unit 110.
  • the control unit 200 executes a diagnostic mode for the 3D sensor unit 110 using a diagnostic algorithm according to an execution command, diagnoses the state of the 3D sensor unit 110 using the 3D sensing information, Accordingly, the parameters of the 3D sensor unit 110 may be self-calibrated.
  • the output unit 400 outputs an execution result or an error message in the diagnostic mode.
  • the control command may be directly input by the user to the robot cleaner through the input unit 300.
  • a command may be input by a user to output one or more pieces of information stored in the storage unit 500 through the input unit 300.
  • the input unit 300 may be formed of one or more buttons.
  • the input unit 300 may include a confirmation button and a setting button.
  • the confirmation button inputs a command for confirming the detection information, the obstacle information, the location information, the cleaning area or the cleaning map.
  • the setting button inputs a command to set the information.
  • the input unit may include a reset button, a delete button, a cleaning start button, a stop button, and the like for inputting a command for resetting the information.
  • the input unit 300 may include a button for setting or deleting reservation information.
  • the input unit 300 may further include a button for setting or changing a cleaning mode.
  • the input unit 300 may further include a button for receiving a command to return to the charging station.
  • the input unit 300 may be installed on the upper part of the robot cleaner using a hard key, a soft key, a touch pad, or the like. In addition, the input unit 300 may have a form of a touch screen together with the output unit. The input unit 300 receives a command such as start, end, stop, release, etc. of the diagnostic mode for the 3D sensor unit 110. The user may input a command to enter the diagnostic mode by pressing one of the buttons installed in the robot cleaner, pressing the buttons in a predetermined form, or pressing one button for a predetermined time. As another example, the user may input a command to execute the diagnosis mode to the robot cleaner by generating a control signal using a remote controller or a terminal. In this case, the robot cleaner may further include a sensor or communication means for receiving a control signal. In addition, the input unit 300 may set or receive a diagnosis target, a diagnosis method, a diagnosis order, and the like.
  • the output unit 400 may be provided above the robot cleaner.
  • the installation location or installation form may vary.
  • the output unit 400 may display, on the screen, a cleaning method or a driving method such as reservation information, battery status, intensive cleaning, space expansion, zigzag driving, and the like.
  • the output unit 400 may output state information inside the robot cleaner detected by the control unit 200, for example, the current state of each unit constituting the robot cleaner and the current cleaning state.
  • the output unit 400 may display external detection information, obstacle information, location information, a cleaning area, a cleaning map, and the like detected by the control unit 200 on the screen.
  • the output unit 400 may be any one of a light emitting diode (LED), a liquid crystal display (LCD), a plasma display panel, and an organic light emitting diode (OLED). It can be formed as an element of.
  • the output unit 400 may further include sound output means for outputting, as a sound, a result of executing the diagnostic mode for the 3D sensor unit 110.
  • the output unit 400 may output a warning sound to the outside according to the warning signal.
  • the sound output means includes means for outputting a sound such as a beeper and a speaker.
  • the output unit 400 may output the diagnosis result to the outside by using the audio information stored in the storage unit 500.
  • the storage unit 500 stores a preset diagnostic algorithm for executing the diagnostic mode for the 3D sensor unit 110.
  • the storage unit 500 may store the diagnostic algorithm or store the entire diagnostic algorithm in advance according to the diagnostic method for the 3D sensor unit 110.
  • the storage unit 500 may store audio information for propagating the status of the robot cleaner and the diagnosis result of the 3D sensor unit 110 to the outside. That is, the storage unit 500 may store in advance the pattern of the robot cleaner, the result of performing the diagnostic mode, and the like in the form of message data or sound data.
  • the output unit 400 may include a signal processor to signal-process audio information stored in the storage unit 500 and output the signal to the outside through sound output means.
  • the storage unit 500 may store a control program for controlling (driving) the robot cleaner and data corresponding thereto.
  • the storage unit 500 may further store image information, obstacle information, location information, a cleaning area, a cleaning map, and the like in addition to the audio information.
  • the storage unit 500 may store a cleaning method and a traveling method.
  • the storage unit 500 mainly uses nonvolatile memory.
  • the non-volatile memory Non-Volatile Memory, NVM, NVRAM
  • Non-volatile memory includes ROM, Flash Memory, magnetic computer storage (eg, hard disk, diskette drive, magnetic tape), optical disk drive, magnetic RAM, PRAM and the like.
  • the 3D sensor unit 110 may be provided at the front of the robot cleaner and photograph the front of the robot cleaner while moving.
  • the 3D sensor unit 110 may transmit the photographed front image to the control unit 200.
  • the control unit 200 converts an image received from the 3D sensor unit 110 to generate 3D image data of a predetermined format.
  • the generated 3D image data is stored in the storage unit 500.
  • the 3D sensor unit 110 may include a camera module 110a and a laser module 110b.
  • the laser module 110b may be installed adjacent to the camera module 110a.
  • the laser module 110b irradiates a laser line to a front object photographed by the camera module 110a. Therefore, the irradiated laser line image is included in the image of the object photographed by the camera module 110a.
  • the control unit 200 extracts a laser line image included in an image acquired by the camera module 110a and determines an object by extracting feature points of the object from the image.
  • FIG 3 is a view illustrating a camera module in a robot cleaner according to an exemplary embodiment.
  • the camera module 110a includes a camera 111, a lens 112 connected to the camera 111 to focus the subject, an adjusting unit 113 to adjust the camera 111, It may include a lens control unit 113 for adjusting the lens (112).
  • the lens 112 may use a lens having a wide angle of view so that all surrounding areas, for example, all front areas, may be photographed even at a predetermined position.
  • the angle of view may include a lens having a certain angle, for example 160 degrees or more.
  • the 3D sensor unit 110 may detect an object present in the moving direction of the robot cleaner, particularly an obstacle, and transmit detection information to the control unit 200. That is, the 3D sensor unit 110 may detect protrusions, household appliances, furniture, walls, wall edges, and the like existing on the moving path of the robot cleaner and transmit the information to the control unit 200.
  • the control unit 200 may diagnose a state of the 3D sensor unit 110 by receiving a signal or data from the 3D sensor unit 110. That is, the control unit 200 may diagnose the state of the 3D sensor unit 110 using whether the 3D sensor unit 110 is photographed or the image data captured by the 3D sensor unit 110.
  • the 3D sensor unit 110 may photograph the front while moving, but may acquire an image of the front by photographing the camera by tilting toward the bottom slightly.
  • the 3D sensor unit 110 may have the laser module 110b slightly lowered to the main body 10 such that the laser beam is irradiated to the bottom surface of the point at a distance from the robot cleaner, for example, 30 cm. It can be installed at an inclined side.
  • the control unit 200 compares a preset reference image with an image photographing a laser line irradiated to the object by a laser beam irradiated to the 3D sensor unit 110.
  • the 3D sensor unit 110 is diagnosed using the comparison result.
  • the control unit 200 causes the robot cleaner to move near a preset object according to a self-calibration algorithm, and maintains a predetermined distance from the set object.
  • the output unit 400 performs "Diagnosis on the 3D sensor unit. Or the self-calibration of the 3D sensor unit is being performed.”
  • the voice message may be outputted, or a message may be displayed on the screen.
  • the auxiliary sensor unit 120 may include at least one of an external signal sensor, a first obstacle sensor (front sensor), a second obstacle sensor, a cliff sensor, a lower camera sensor, and an upper camera sensor.
  • An external signal sensor detects an external signal.
  • the external signal sensor may include, for example, an infrared ray sensor, an ultrasonic sensor, and an RF sensor.
  • the robot cleaner checks the position and direction of the charging station by receiving a guide signal generated by the charging station using an external signal sensor.
  • the charging station transmits a guide signal indicating a direction and a distance so that the robot cleaner can return.
  • the robot cleaner receives a signal transmitted from the charging station, determines the current position, sets a moving direction, and returns to the charging station.
  • the robot cleaner detects a signal generated by a remote control device such as a remote controller or a terminal using an external signal sensor.
  • the external signal sensor may be provided at one side of the inside or outside of the robot cleaner.
  • the external signal sensor may be installed inside the robot cleaner, for example, around the lower or upper camera sensor of the output unit.
  • the first obstacle sensor may be installed at a predetermined interval in front of the robot cleaner, for example, on an outer circumferential surface thereof.
  • the front sensor detects an object in the moving direction of the robot cleaner, particularly an obstacle, and transmits detection information to the control unit. That is, the front sensor detects protrusions on the moving path of the robot cleaner, household appliances, furniture, walls, wall edges, and the like, and transmits the information to the control unit.
  • the front sensor may be an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, or the like.
  • the robot cleaner can use one type of sensor as the front sensor or two or more types of sensors together as needed.
  • Ultrasonic sensors are commonly used to detect long distance obstacles.
  • the ultrasonic sensor has a transmitter and a receiver.
  • the control unit 200 determines the existence of the obstacle by whether the ultrasonic wave radiated through the transmitter is reflected by the obstacle or the like and is received by the receiver, and calculates the distance to the obstacle using the reception time.
  • An ultrasonic sensor may be installed along the front outer circumferential surface of the robot cleaner.
  • the transmission angle of the ultrasonic wave maintains an angle within a range that does not affect the different signals to prevent crosstalk.
  • the reception sensitivity of the receivers may be set differently.
  • the ultrasonic sensor may be installed upward by a predetermined angle so that the ultrasonic wave transmitted from the ultrasonic sensor is output upward.
  • the ultrasonic sensor may further include a blocking member to prevent the ultrasonic wave from being radiated downward.
  • the ultrasonic sensor transmits different output values to the control unit according to the presence or absence of an obstacle and the distance to the obstacle.
  • the range of the output value may be set differently according to the detection range of the ultrasonic sensor.
  • the control unit 200 may move the robot cleaner in front of the preset object using the ultrasonic sensor.
  • the second obstacle sensor may be installed on the outer circumferential surface of the robot cleaner together with the front sensor.
  • the second obstacle sensor may not be installed along the outer circumferential surface, but may have a surface protruding to the outside of the robot cleaner body 10.
  • the second obstacle sensor may be an infrared sensor, an ultrasonic sensor, an RF sensor, a position sensitive device (PSD) sensor, or the like, and detects an obstacle present in front or side and transmits obstacle information to the control unit. That is, the second obstacle sensor detects protrusions on the moving path of the robot cleaner, household appliances, furniture, walls, wall edges, and the like, and transmits the information to the control unit.
  • the robot cleaner can move while maintaining a constant distance from the wall surface.
  • the PSD sensor uses a semiconductor surface resistance to detect the short and long distance positions of incident light with one p-n junction.
  • the PSD sensor includes a one-dimensional PSD sensor that detects light in only one axis direction, and a two-dimensional PSD sensor that can detect a light position on a plane, and both have pin photodiode structures.
  • the PSD sensor is a type of infrared sensor that emits infrared light to an obstacle to detect the obstacle, and measures the distance using the reflected time.
  • the cliff sensor is also called a Cliff sensor in other words.
  • the cliff sensor mainly uses various types of optical sensors.
  • an infrared sensor will be described as an example.
  • the cliff sensor may have a form of an infrared sensor module including a light emitting unit and a light receiving unit, like the PSD sensor.
  • the cliff sensor may have a reference distance and a detection range.
  • the cliff sensor can obtain stable measured values regardless of the difference in reflectance and color of the bottom surface, and uses a triangulation method.
  • the cliff sensor is provided in a groove of a predetermined depth existing on the lower surface of the robot cleaner.
  • the cliff sensor may be installed at different positions according to the type of the robot cleaner.
  • the cliff sensor continuously detects the floor while the robot cleaner is moving.
  • the lower camera sensor is provided on the rear surface of the robot cleaner and photographs the lower side, that is, the bottom surface and the surface to be cleaned, during the movement.
  • the lower camera sensor is, in other words, called an optical flow sensor.
  • the lower camera sensor converts a lower image input from an image sensor provided in the sensor to generate image data of a predetermined format.
  • the generated image data is stored in the storage unit 500.
  • one or more light sources may be installed adjacent to the image sensor. One or more light sources irradiate light onto the area of the bottom surface that is imaged by the image sensor. That is, when the robot cleaner moves the cleaning area along the bottom surface, if the bottom surface is flat, a constant distance is maintained between the image sensor and the bottom surface.
  • the one or more light sources may be formed to adjust the amount of light to be irradiated.
  • the light source is formed of a light emitting device capable of adjusting the amount of light, for example, a light emitting diode (LED) or a laser.
  • the lower camera sensor may detect the position of the robot cleaner regardless of the sliding of the robot cleaner.
  • the control unit 200 calculates a moving distance and a moving direction by comparing and analyzing the image data photographed by the lower camera sensor with time, thereby calculating the position of the robot cleaner. By observing the lower side of the robot cleaner using the lower camera sensor, the control unit can correct the sliding against the position calculated by other means.
  • the robot cleaner may further include an upper camera sensor installed to face upward or forward to photograph the surroundings of the robot cleaner.
  • the camera sensors may be formed on the top or side surfaces of the robot cleaner at a predetermined distance or at an angle.
  • the control unit 200 may extract a feature point from the image data captured by the upper camera sensor, recognize the position of the robot cleaner using the feature point, and create a cleaning map for the cleaning area.
  • the control unit 200 may precisely recognize the position by using the detection information of the acceleration sensor, the gyro sensor, the wheel sensor, the lower camera sensor, and the image data of the upper camera sensor.
  • the control unit 200 may precisely generate the cleaning map using the obstacle information detected by the front sensor, the second obstacle sensor, or the like and the position recognized by the upper camera sensor.
  • the motion sensor unit 130 may detect an operation of the robot cleaner.
  • the motion sensor unit 130 includes one or more sensors of an acceleration sensor, a gyro sensor, and a wheel sensor to detect the motion of the robot cleaner.
  • An acceleration sensor detects a change in a moving speed due to a speed change of the robot cleaner, for example, start, stop, direction change, collision with an object, and the like.
  • the acceleration sensor is attached to the adjacent position of the main wheel or the auxiliary wheel, and can detect slippage or idle of the wheel.
  • the speed may be calculated using the acceleration detected by the acceleration sensor, and the position of the robot cleaner may be checked or corrected through comparison with the command speed.
  • the acceleration sensor is embedded in the control unit 200 to detect a speed change of the robot cleaner itself occurring in the cleaning mode and the driving mode. That is, the acceleration sensor detects the impact amount according to the speed change and outputs a voltage value corresponding thereto.
  • the acceleration sensor can perform the function of the electronic bumper.
  • the gyro sensor detects the rotation direction and detects the rotation angle when the robot cleaner moves according to the driving mode.
  • the gyro sensor detects the angular velocity of the robot cleaner and outputs a voltage value proportional to the angular velocity.
  • the control unit 200 calculates the rotation direction and the rotation angle using the voltage value output from the gyro sensor.
  • the wheel sensor is connected to the left and right main wheels and detects the rotation speed of the main wheel.
  • the wheel sensor may be a rotary encoder.
  • the rotary encoder detects and outputs the number of revolutions of the main wheels on the left and right sides when the robot cleaner moves according to the driving mode or the cleaning mode.
  • the control unit may calculate the rotational speed of the left and right wheels by using the rotation speed.
  • the power supply unit 600 includes a rechargeable battery 610 to supply power to the robot cleaner.
  • the power supply unit 600 supplies driving power to each of the units, and operating power as the robot cleaner moves or performs cleaning. When the remaining power is insufficient, the power supply unit 600 is charged to receive a charging current.
  • the battery is connected to the battery detector so that the battery level and the state of charge are transmitted to the control unit.
  • the output unit 400 may display the remaining battery level on the screen by the control unit.
  • the battery may be located at the bottom of the center of the robot cleaner, or may be located at any one of the left and the right so that the dust container is located at the bottom of the main body 10. In the latter case, the robot cleaner may further include a counterweight to eliminate the weight bias of the battery.
  • the driving unit 700 is connected to the left and right main wheels.
  • the drive unit has a predetermined wheel motor for rotating the wheels to move the robot cleaner by driving the wheel motor.
  • the wheel motors are connected to the main wheels so that the main wheels rotate, and the wheel motors operate independently of each other and can rotate in both directions.
  • the robot cleaner is provided with one or more auxiliary wheels on the back to support the robot cleaner, to minimize the friction between the robot cleaner and the floor (cleaning surface) and to facilitate the movement of the robot cleaner.
  • the cleaning unit 800 includes a dust container in which dust collected is stored, a suction fan providing power to suck dust in the cleaning area, and a suction motor rotating the suction fan to suck air, thereby preventing surrounding dust or Inhale foreign substance.
  • the suction fan has a plurality of blades for flowing air and a ring shape at an upstream outer side of the plurality of blades to connect the plurality of blades, and the air introduced in the direction of the central axis of the suction fan flows in a direction perpendicular to the central axis. It may include a member to guide to.
  • FIG. 4 is an overall flowchart illustrating a 3D sensor calibration method of the robot cleaner according to an embodiment of the present invention.
  • the robot cleaner when the robot cleaner receives an execution command of a diagnosis mode for the 3D sensor unit 110 among a plurality of driving modes (S100), the robot cleaner checks one or more preset execution conditions before executing the diagnosis mode (S100). S200).
  • the plurality of driving modes include, for example, a diagnostic mode, a charging mode, a cleaning mode, a driving mode, a standby mode, and the like, and the cleaning mode and the driving mode further include one or more methods or patterns.
  • the execution command of the diagnostic mode is input by a user or the like pressing one of the buttons installed above, pressing the buttons in a predetermined form, or pressing a button for a predetermined time.
  • the execution command of the diagnostic mode may be input by receiving a control signal from a remote controller or a terminal using a built-in sensor or communication means.
  • the robot cleaner checks the current driving mode, checks whether or not the reservation cleaning is set, and then drives the 3D sensor unit 110 (S300). Then, the robot cleaner diagnoses the state of the 3D sensor unit 110 using the sensing information output from the 3D sensor unit 110 (S400).
  • the robot cleaner may be preprogrammed such that the diagnostic mode for the 3D sensor unit 110 is executed only when the current driving mode is a preset mode, for example, a charging mode (S110).
  • the robot cleaner If the robot cleaner does not meet the execution condition, the robot cleaner outputs an error message (S510 or S600). For example, if the run conditions are not met, the robot cleaner will "check the dust box", “can not enter the diagnostic mode due to low battery”, “cannot enter the diagnostic mode” The voice message may be outputted, or a message may be displayed on the screen. In addition, when the scheduled cleaning is set, the robot cleaner provides a message such as "The reservation has been canceled for diagnosis. The diagnosis starts" through a sound or a screen.
  • the robot cleaner will output a voice message such as "Start a robot cleaner diagnosis", "Please move away and remove objects within 1 meter of the charging station” or display a message on the screen.
  • the diagnostic mode for the 3D sensor unit 110 is executed (S400).
  • the robot cleaner When execution of the diagnostic mode is completed, the robot cleaner outputs a voice message such as "diagnosis mode completed” or displays a message on the screen.
  • the robot cleaner provides an execution result such as "there is no abnormality in the diagnosis result” to the user or the like by using the output unit as a sound or a screen (S500).
  • the robot cleaner may further provide a message such as "press the charge button if you want to hear the diagnosis result again, and press the stop button if you want to complete the diagnosis”. Then, when the release command of the diagnostic mode is input, the robot cleaner outputs a message "release diagnosis mode".
  • the robot cleaner If the execution result does not meet the execution condition or the state of the object detecting unit is diagnosed as an abnormal state in the diagnostic mode, the robot cleaner outputs an error message using the output unit (S510). For example, the robot cleaner has a problem with the sensor, "a problem has been found”, “do not attempt to charge”, “remove the main power switch on the bottom of the main unit and try again”, Print an error message such as "Clean the sensor window” or "Contact the service center”.
  • the robot cleaner and the diagnostic method thereof may perform malfunction and failure of the robot cleaner by performing diagnosis and self-calibration on the 3D sensor unit 110 at the time of initial driving or as required by a user. Prevent in advance.
  • embodiments of the present invention diagnose the state of the object detecting unit by using the detection signal of the object detecting unit provided in the main body at the time of initial driving or the user's needs. By doing so, embodiments of the present invention prevent an accident or error that may occur in the future according to the operation of the robot cleaner.
  • 5 to 8 are flowcharts illustrating a 3D sensor self-calibration method of a robot cleaner according to an embodiment of the present invention.
  • the controller 200 starts diagnosis of the 3D sensor unit 110 (S401). Performing a diagnosis is to check whether there is a calibration error in the 3D sensor unit 110. Calibration error means an error that needs to be corrected. If there is a calibration error, it is necessary to correct the calibration error.
  • the control unit 200 diagnoses the presence or absence of a calibration error based on the image input in the state of projecting the laser beam through the 3D sensor unit 110 (S402).
  • FIG. 9 is a view showing an image acquired by the 3D sensor unit to perform the 3D sensor self-calibration method of the robot cleaner according to an embodiment of the present invention.
  • (a) is an image without a calibration error
  • (b) and (d) are images in which a calibration error has occurred.
  • these images are front images captured by the 3D sensor unit 110.
  • the 3D sensor unit 110 is installed on the main body 10 of the robot cleaner so that the camera can be photographed with a slight inclination toward the floor, for example, within a certain distance, for example, within a distance of 30 cm. If there is no obstacle, the image acquired by the 3D sensor unit 110 becomes an image of the bottom surface. This image will contain a laser line image.
  • the laser line should be horizontally positioned at a preset position.
  • the images shown in (b), (c), and (d) are obtained when the correction error occurs due to physical shock or kinematic coupling with respect to the 3D sensor unit 110, and is obtained by the 3D sensor unit 110.
  • the laser line image included in the image is out of the designated position. That is, in the image of (b), it can be seen that the laser line is biased upward from the preset point.
  • the image of (c) it can be seen that the laser line is inclined to the left lower than the preset point.
  • the image of (d) it can be seen that the laser line is inclined to the right lower than the preset point.
  • control unit 200 determines that the image photographed by the 3D sensor unit 110 is an image shown in (b), (c), and (d) rather than the image shown in (a), Determine that a calibration error has occurred and perform a self calibration procedure.
  • control unit 200 moves to a predetermined point for self-calibration of the robot cleaner (S403).
  • a procedure for moving to the charging station is a procedure for moving to the charging station.
  • control unit 200 moves the robot cleaner to the charging station based on the map information stored in the storage unit 600.
  • the control unit 200 knows the approximate position of the robot cleaner and the charging table through the auxiliary object detecting unit 120. Accordingly, the control unit 200 determines the position of the robot cleaner by using the auxiliary object detecting unit 120 for self-calibration and moves the robot cleaner to the charging station.
  • Shape information of the charging stand is stored in the storage unit 600 of the robot cleaner before the robot cleaner is released.
  • the shape information may include the size and the appearance of the charging stand in the space.
  • the 3D sensor unit 110 acquires an image of the charging stand through the camera module 110a after turning off the power of the laser module 110b (S404).
  • the 3D sensor unit 110 transmits the acquired charging table image to the control unit 200. Accordingly, the control unit 200 extracts the feature points of the charging station from the image of the charging station (S405).
  • the 3D sensor unit 110 turns on the power of the laser module 110b when the camera module 110a captures an image, or always turns on the power of the laser module 110b to capture 3D data.
  • the image acquired by the camera module 110a includes an image of a charging stand, and includes an image of a laser line irradiated to the charging stand.
  • an error may occur when the feature point is extracted by the laser line projected on the charging stand.
  • the corner portion of the charging stand is used as a feature point
  • an unwanted feature point may be extracted by a laser line. Therefore, an image of the charging stand is obtained with the power of the laser module 110b turned off, and the feature point is obtained from the image. To extract it. Since the method of feature point extraction exists in various ways, it is not mentioned here.
  • the control unit 200 adjusts the position of the charging stand based on the coordinate system of the camera module 110a from the feature point of the charging stand extracted based on the image acquired by the camera module 110a while the laser module 110b is turned off. It is clearly estimated (S406).
  • the control unit 200 compares the feature point with the image information of the charging station previously stored in the storage unit 600 and performs feature point matching (S407). That is, the feature points in the image information of the charging station previously stored in the storage unit 600 are points on three-dimensional coordinates registered on the basis of a world coordinate system. Accordingly, a corresponding relationship between the two-dimensional coordinate values and the three-dimensional coordinate values in the space may be estimated in the image, and the self-calibration of the camera module 110a may be performed (S408). When the self-calibration of the camera module 110a is completed, the control unit 200 may clearly estimate the position of the charging station provided with the coordinate axis from the camera module 110a (S409). Through this process, the control unit 200 is positioned at a predetermined point for self-calibration of the robot cleaner.
  • control unit 200 acquires an image including the laser line image by using the camera module 110a after turning on the power of the laser module 110b at the same position (S410).
  • the control unit 200 detects a laser line existing in the charging station in the acquired image (S411).
  • the control unit 200 captures an image photographed while the power supply of the laser module 110b is turned on, and as shown in (b), power is supplied.
  • the image difference of the image photographed in the off state is calculated, as shown in (c), only the laser line image exists, and noise may be removed. Once the noise is removed, the laser line can be easily detected in a variety of ways.
  • control unit 200 advances the robot cleaner by a charging distance by a predetermined distance, and after stopping, as shown in (a), the image photographed while the power of the laser module 110b is turned on, As illustrated in (b), the captured image is acquired while the power is turned off (S412). Thereafter, as shown in (c), the laser line is detected through the two image differences (S413).
  • the control unit 200 extracts 3D data of the charging station previously stored in the storage unit 600 corresponding to the position of the laser line obtained from the four images (S414). And, using this, it is possible to estimate the three-dimensional coordinates of the laser line projected on the charging station (S415).
  • the control unit 200 may estimate the equation of the laser plane from the three-dimensional coordinates of the estimated laser line (S416).
  • the control unit 600 performs correction of the parameters of the 3D sensor unit 110 by the estimated laser plane equation (S417).
  • the control unit 600 changes and stores the plane equation previously stored in the storage unit 600 into a newly estimated plane equation (S418).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

본체에 설치되고, 주변의 물체를 감지하여 감지 정보를 출력하는 3D 센서 유닛; 주변의 물체를 감지하여 감지 정보를 출력하는 보조 센서 유닛; 진단 모드에 따른 진단 알고리즘이 미리 설정된 저장 유닛; 상기 진단 모드의 실행 명령을 입력받는 입력 유닛; 상기 실행 명령에 따라 상기 진단 알고리즘을 이용하여 상기 3D 센서에 대한 진단 모드 및 상기 3D 센서 유닛의 파라미터를 교정하는 제어 유닛; 및 상기 진단 모드의 실행 결과 및 교정 메시지를 출력하는 출력 유닛을 포함하여 구성되는 로봇 청소기가 제공된다.

Description

로봇 청소기 및 그 로봇 청소기의 3D 센서 자가 교정 방법
본 발명은 로봇 청소기 및 그 로봇 청소기의 3D 센서 자가 교정 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 전자기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.
한편, 로봇 청소기를 제어하기 위한 방식으로는 사용자 인터페이스인 리모콘을 이용하는 방식, 로봇 청소기 본체에 구비된 버튼을 이용하는 방식 등이 있다.
근래에는 로봇 청소기를 이용한 응용 기술이 개발되고 있다. 예를 들어,네트워킹 기능을 가진 로봇 청소기의 개발이 진행되어, 원격지에서 청소 명령을 내릴 수 있도록 하거나 집안 상황을 모니터링할 수 있도록 하는 기능이 구현되고 있다. 또, 카메라나 각종 센서들을 이용하여 자기 위치인식 및 지도작성 기능을 가진 로봇 청소기들이 개발되고 있다.
본 발명이 해결하고자 하는 과제는, 최초 구동 시나 사용자의 필요에 따라 본체에 구비된 3D 센서의 진단과 자가 교정을 수행할 수 있는 로봇 청소기 및 로봇 청소기의 3D 센서 자가 교정 방법을 제공하는데 있다.
본 발명의 일측면에 의하면, 본체에 설치되고, 주변의 물체를 감지하여 감지 정보를 출력하는 3D 센서 유닛; 주변의 물체를 감지하여 감지 정보를 출력하는 보조 센서 유닛; 진단 모드에 따른 진단 알고리즘이 미리 설정된 저장 유닛; 상기 진단 모드의 실행 명령을 입력받는 입력 유닛; 상기 실행 명령에 따라 상기 진단 알고리즘을 이용하여 상기 3D 센서에 대한 진단 모드 및 상기 3D 센서 유닛의 파라미터를 자가 교정하는 제어 유닛; 및 상기 진단 모드의 실행 결과 및 자가 교정 메시지를 출력하는 출력 유닛을 포함하는 로봇 청소기가 제공된다.
상기 3D 센서 유닛은 대상에 레이저 패턴을 조사하는 레이저 모듈; 및 상기 레이저 패턴이 포함된 영상을 획득하는 카메라 모듈을 포함할 수 있다.
본 발명의 다른 측면에 의하면, 주변의 물체를 감지하여 감지 정보를 출력하는 3D 센서 유닛을 포함하고, 복수의 운전 모드를 구비한 로봇 청소기의 3D 센서 유닛의 자가 교정 방법으로, 상기 복수의 운전 모드 중 진단 모드의 실행 명령을 입력받는 단계; 상기 실행 명령을 수신하면, 상기 진단 모드에 따라 상기 3D 센서 유닛을 구동하는 단계; 및 상기 3D 센서 유닛으로부터 출력된 상기 감지 정보를 이용하여 상기 3D 센서 유닛의 상태를 진단하고 자가 교정하는 단계를 포함하는 로봇 청소기의 3D 센서 자가 교정 방법이 제공된다.
본 발명의 실시 예들은 최초 구동 시나 사용자의 필요에 따라 3D 센서 유닛의 진단과 자가 교정을 수행함으로써 청소나 주행 시에 오작동으로 인해 발생할 수 있는 문제점을 예방하고, 로봇 청소기의 운전 효율을 증대하며, 사용자의 안전성 및 편의성을 향상시킬 수 있다.
도 1은 일 실시예에 따른 로봇 청소기의 외관을 보인 사시도이다.
도 2는 일 실시예에 따른 로봇 청소기의 구성을 보인 블록도이다.
도 3은 일 실시예에 따른 로봇 청소기에서 카메라 모듈을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 로봇 청소기의 3D 센서 자가 교정 방법을 설명하기 위한 전체 흐름도이다.
도 5 내지 도 8은 본 발명의 일실시예에 따른 로봇 청소기의 3D 센서 자가 자가 교정 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일실시예에 따른 로봇 청소기의 3D 센서 자가 교정 방법을 수행하기 위해 3D 센서 유닛에 의해 획득된 영상을 보여주는 도면이다.
도 10은 본 발명의 일실시에에 따른 로봇 청소기에서 레이저 모듈의 전원을 오프한 후에 카메라 모듈을 통해 취득된 충전대의 영상을 보여주는 도면이다.
도 11은 본 발명의 일실시예에 따른 로봇 청소기에서 레이저 모듈의 전원이 온된 상태에서 촬영된 영상과, 전원이 오프된 상태에서 촬영된 영상과, 레이저 라인 영상을 보여주는 도면이다.
도 12는 본 발명의 일실시예에 따른 로봇 청소기에서 레이저 모듈의 전원이 온된 상태에서 촬영된 영상과, 전원이 오프된 상태에서 촬영된 영상과, 레이저 라인 영상을 보여주는 도면이다.
도 1은 일 실시예에 따른 로봇 청소기의 외관을 보인 사시도이고, 도 2는 일 실시예에 따른 로봇 청소기의 구성을 보인 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 로봇 청소기는, 3D 센서 유닛(110), 보조 센서 유닛(120), 제어 유닛(200), 입력 유닛(300), 출력 유닛(400), 저장 유닛(500), 전원 유닛(600), 구동 유닛(700), 청소 유닛(800)을 포함하여 구성될 수 있다.
3D 센서 유닛(110)은 로봇 청소기의 본체(10)에 설치되고 주변의 물체를 감지하여 3D 센싱 정보를 출력할 수 있다. 보조 센서 유닛(120)은, 본체(10)에 설치되고, 주변의 물체를 감지하여 감지 정보를 출력한다. 입력 유닛(300)은, 3D 센서 유닛(110)에 대한 진단 모드의 실행 명령을 입력받을 수 있다. 제어 유닛(200)은, 실행 명령에 따라 진단 알고리즘을 이용하여 3D 센서 유닛(110)에 대한 진단 모드를 실행하고, 3D 센싱 정보를 이용하여 3D 센서 유닛(110)의 상태를 진단하고 진단 결과에 따라 3D 센서 유닛(110)의 파라미터를 자가 교정할 수 있다. 출력 유닛(400)은, 진단 모드의 실행 결과 또는 에러 메시지를 출력한다.
사용자에 의해 입력 유닛(300)을 통해 로봇 청소기에 직접 제어 명령이 입력될 수 있다. 또, 사용자에 의해 입력 유닛(300)을 통해 저장 유닛(500)에 저장된 정보들 중 하나 이상의 정보를 출력하도록 하는 명령이 입력될 수 있다. 입력 유닛(300)은 하나 이상의 버튼으로 형성될 수 있다. 예를 들어, 입력 유닛(300)은, 확인버튼, 설정버튼을 포함할 수 있다. 확인버튼은 감지 정보, 장애물 정보, 위치 정보, 청소 영역이나 청소 지도를 확인하는 명령을 입력한다. 설정버튼은 정보들을 설정하는 명령을 입력한다. 입력 유닛은 정보들을 재설정하는 명령을 입력하는 재설정버튼, 삭제버튼, 청소시작버튼, 정지버튼 등을 구비할 수 있다. 다른 예로, 입력 유닛(300)은 예약 정보를 설정하거나 삭제하기 위한 버튼을 구비할 수 있다. 또, 입력 유닛(300)은 청소 모드를 설정하거나 변경하는 버튼을 더 구비할 수 있다. 또, 입력 유닛(300)은 충전대로 복귀하도록 하는 명령을 입력받는 버튼을 더 구비할 수 있다.
입력 유닛(300)은, 하드 키나 소프트 키, 터치패드 등으로 로봇 청소기의 상부에 설치될 수 있다. 또, 입력 유닛(300)은 출력 유닛과 함께 터치 스크린의 형태를 가질 수 있다. 입력 유닛(300)은, 3D 센서 유닛(110)에 대한 진단 모드의 시작, 종료, 정지, 해제 등의 명령을 입력받는다. 사용자는 로봇 청소기에 설치된 버튼들 중 하나를 누르거나, 버튼들을 일정한 형식으로 누르거나, 하나의 버튼을 일정 시간 누름으로써 진단 모드로 진입하도록 하는 명령을 입력할 수 있다. 다른 예로, 사용자 등은 리모컨, 단말기 등을 이용하여 제어 신호를 발생함으로써 진단 모드의 실행 명령을 로봇 청소기에 입력할 수 있다. 이 경우, 로봇 청소기는 제어 신호를 수신하는 센서나 통신 수단을 더 포함할 수 있다. 또, 입력 유닛(300)은, 진단 대상, 진단 방식, 진단 순서 등을 설정하거나 입력받을 수 있다.
출력 유닛(400)은, 로봇 청소기의 상부에 구비될 수 있다. 물론 설치 위치나 설치 형태는 달라질 수 있다. 예를 들어, 출력 유닛(400)은, 예약 정보, 배터리 상태, 집중 청소, 공간 확장, 지그재그 운전 등의 청소 방식 또는 주행 방식 등을 화면에 표시할 수 있다. 출력 유닛(400)은 제어 유닛(200)이 검출한 로봇 청소기 내부의 상태 정보, 예를 들어 로봇 청소기를 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태를 출력할 수 있다. 또, 출력 유닛(400)은 제어 유닛(200)이 검출한 외부의 검출 정보, 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 화면에 디스플레이할 수 있다. 출력 유닛(400)은 발광 다이오드(Light Emitting Diode; LED), 액정 표시 장치(Liquid Crystal Display; LCD), 플라즈마 표시 패널(Plasma Display Panel), 유기 발광 다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.
출력 유닛(400)은, 3D 센서 유닛(110)에 대한 진단 모드의 실행 결과를 소리로 출력하는 소리 출력 수단을 더 포함할 수 있다. 예를 들어, 출력 유닛(400)은 경고 신호에 따라 외부에 경고음을 출력할 수 있다. 소리 출력 수단은 비퍼(beeper), 스피커 등의 소리를 출력하는 수단을 포함한다. 출력 유닛(400)은 저장 유닛(500)에 저장된 오디오 정보들을 이용하여 진단 결과를 외부에 출력할 수 있다.
저장 유닛(500)은 3D 센서 유닛(110)에 대한 진단 모드를 실행하기 위해 미리 설정된 진단 알고리즘을 저장한다. 저장 유닛(500)은 3D 센서 유닛(110)에 대한 진단 방식에 따라 각각 진단 알고리즘을 저장하거나, 또는 전체 진단 알고리즘을 미리 저장할 수 있다. 저장 유닛(500)은 로봇 청소기의 상태, 3D 센서 유닛(110)의 진단 결과를 외부에 전파하기 위한 오디오 정보를 저장할 수 있다. 즉, 저장 유닛(500)은 로봇 청소기의 상태, 진단 모드의 수행 결과 등을 메시지 데이터나 음향 데이터의 형태로 패턴화하여 미리 저장할 수 있다. 출력 유닛(400)은 신호처리부를 구비하여 저장 유닛(500)에 저장된 오디오 정보를 신호 처리하여 소리 출력 수단을 통해 외부로 출력할 수 있다.
저장 유닛(500)은 로봇 청소기를 제어(구동)하는 제어 프로그램 및 그에 따른 데이터를 저장할 수 있다. 저장 유닛(500)은 오디오 정보 이외에 영상 정보, 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 더 저장할 수 있다. 또, 저장 유닛(500)은 청소 방식, 주행 방식을 저장할 수 있다. 저장 유닛(500)은 비휘발성 메모리를 주로 사용한다. 여기서, 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 저장 장치이다. 비휘발성 메모리는 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등을 포함한다.
3D 센서 유닛(110)은 로봇 청소기의 정면에 구비되어, 이동 중 로봇 청소기의 전방을 촬영할 수 있다.
3D 센서 유닛(110)은 촬영된 전방 영상을 제어 유닛(200)에 전송할 수 있다. 제어 유닛(200)은 3D 센서 유닛(110)으로부터 받은 영상을 변환하여 소정 형식의 3D 영상 데이터를 생성한다. 생성된 3D 영상 데이터는 저장 유닛(500)에 저장된다.
3D 센서 유닛(110)은 카메라 모듈(110a)과 레이저 모듈(110b)을 포함하여 구성될 수 있다. 레이저 모듈(110b)은 카메라 모듈(110a)에 인접하여 설치될 수 있다. 레이저 모듈(110b)은 카메라 모듈(110a)에 의해 촬영되는 전방의 대상물에 레이저 라인을 조사한다. 따라서, 카메라 모듈(110a)에 의해 촬영되는 대상물의 영상에는 조사된 레이저 라인 이미지가 함께 포함되어 있다. 제어 유닛(200)은 카메라 모듈(110a)에 의해 획득된 영상에 포함되어 있는 레이저 라인 이미지를 추출하고, 해당 영상에서 대상물의 특징점 추출을 통해 대상물을 판별하게 된다.
도 3은 일 실시 예에 따른 로봇 청소기에서 카메라 모듈을 설명하기 위한 도면이다.
도 3을 참조하면, 카메라 모듈(110a)은 카메라(111)와, 카메라(111)에 연결되어 피사체의 초점을 맞추는 렌즈(112)와, 카메라(111)를 조절하는 조절부(113)와, 렌즈(112)를 조절하는 렌즈 조절부(113)를 포함할 수 있다. 렌즈(112)는 소정의 위치에서도 주변의 모든 영역, 예를 들어 전방의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈를 사용할 수 있다. 예를 들어 화각이 일정 각, 예를 들어 160도, 이상인 렌즈를 포함할 수 있다.
3D 센서 유닛(110)은 로봇 청소기의 이동 방향에 존재하는 물체, 특히 장애물을 감지하여 검출 정보를 제어 유닛(200)에 전달할 수 있다. 즉, 3D 센서 유닛(110)은 로봇 청소기의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛(200)에 전달할 수 있다.
제어 유닛(200)은 3D 센서 유닛(110)으로부터 신호 또는 데이터를 수신함으로써 3D 센서 유닛(110)의 상태를 진단할 수 있다. 즉, 제어 유닛(200)은 3D 센서 유닛(110)의 촬영 여부나, 3D 센서 유닛(110)이 촬영한 영상 데이터를 이용하여 3D 센서 유닛(110)의 상태를 진단할 수 있다.
3D 센서 유닛(110)은 이동 중에 전방을 촬영하되, 약간 바닥면을 향하여 기울어져 촬영하여 전방의 영상을 획득할 수 있다. 예를 들어, 3D 센서 유닛(110)은 로봇 청소기로부터 일정 거리, 예를 들어, 30Cm의 거리에 있는 지점의 바닥면에 레이저 빔이 조사되도록 레이저 모듈(110b)이 본체(10)에 약간 바닥면을 향하여 기울어져 설치될 수 있다.
3D 센서 유닛(110)에 대한 진단 모드가 실행되면, 제어 유닛(200)은 3D 센서 유닛(110)으로 조사된 레이저 빔에 의해 대상체에 조사된 레이저 라인을 촬영한 영상을 미리 설정된 기준 영상을 비교하고, 비교 결과를 이용하여 3D 센서 유닛(110)을 진단한다. 진단 모드에서 3D 센서 유닛(110)에 대한 파라미터 자가 교정이 필요한 경우에는 제어 유닛(200)은 자가 교정 알고리즘에 따라 로봇 청소기가 미리 설정된 대상물 근처로 움직이도록 하고, 설정된 대상물과 일정 거리를 유지한 상태에서 3D 센서 유닛(110)에 대한 자가 교정을 수행한다. 출력 유닛(400)은, 3D 센서 유닛(110)에 대한 진단 및 자가 교정을 수행하는 경우, "3D 센서 유닛에 대한 진단을 수행합니다. 또는 3D 센서 유닛에 대한 자가 교정을 수행하는 중입니다." 등의 음성 메시지를 출력하거나, 또는 화면에 메시지를 표시할 수 있다.
보조 센서 유닛(120)은, 외부 신호 센서, 제1 장애물 센서(전방 센서), 제2 장애물 센서, 낭떠러지 센서, 하부 카메라 센서, 상부 카메라 센서 중 하나 이상의 센서를 포함할 수 있다.
외부 신호 센서는 외부 신호를 감지한다. 외부 신호 센서는, 예를 들어, 적외선 센서(Infrared Ray Sensor), 초음파 센서(Ultra Sonic Sensor), RF 센서(Radio Frequency Sensor)를 포함할 수 있다. 로봇 청소기는 외부 신호 센서를 이용하여 충전대가 발생하는 안내 신호를 수신하여 충전대의 위치 및 방향을 확인한다. 충전대는 로봇 청소기가 복귀 가능하도록 방향 및 거리를 지시하는 안내 신호를 발신한다. 로봇 청소기는 충전대로부터 발신되는 신호를 수신하여 현재의 위치를 판단하고 이동 방향을 설정하여 충전대로 복귀한다. 또, 로봇 청소기는 외부 신호 센서를 이용하여 리모컨, 단말기 등의 원격 제어 장치가 발생하는 신호를 감지한다. 외부 신호 센서는 로봇 청소기의 내부나 외부의 일 측에 구비될 수 있다.외부 신호 센서는 로봇 청소기 내부, 예를 들어 출력 유닛의 하부 또는 상부 카메라 센서의 주변에 설치될 수 있다.
제1 장애물 센서(전방 센서)는, 로봇 청소기의 전방, 예를 들어 외주면에 일정 간격으로 설치될 수 있다. 전방 센서는 로봇 청소기의 이동 방향에 존재하는 물체, 특히 장애물을 감지하여 검출 정보를 제어 유닛에 전달한다. 즉, 전방 센서는, 로봇 청소기의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛에 전달한다. 전방 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서 등일 수 있다. 로봇 청소기는 전방 센서로 한 가지 종류의 센서를 사용하거나 필요에 따라 두 가지 종류 이상의 센서를 함께 사용할 수 있다.
초음파 센서는 일반적으로 원거리의 장애물을 감지하는 데에 주로 사용된다. 초음파 센서는 발신부와 수신부를 구비한다. 제어 유닛(200)은, 발신부를 통해 방사된 초음파가 장애물 등에 의해 반사되어 수신부에 수신되는 지의 여부로 장애물의 존부를 판단하고, 수신 시간을 이용하여 장애물과의 거리를 산출한다. 초음파 센서가 로봇 청소기의 전방 외주면을 따라 설치될 수 있다.초음파의 발신 각도는 크로스토크(crosstalk) 현상을 방지하도록 서로 다른 신호에 영향을 미치지 아니하는 범위의 각을 유지한다. 수신부들의 수신 감도는 서로 다르게 설정될 수 있다. 또, 초음파 센서에서 발신되는 초음파가 상향으로 출력되도록 초음파 센서는 일정 각도만큼 상향으로 설치될 수 있다. 또, 초음파 센서는 초음파가 하향으로 방사되는 것을 방지하기 위해 차단 부재를 더 포함할 수 있다.
초음파 센서는 장애물의 유무, 장애물과의 거리에 따라 다른 출력 값을 제어 유닛에 전달한다. 출력 값의 범위는 초음파 센서의 감지 범위에 따라 다르게 설정될 수 있다. 자가 교정 모드가 실행되면, 제어 유닛(200)은 초음파 센서를 이용하여 미리 설정된 대상물체 앞으로 로봇 청소기를 이동시킬 수 있다.
제2 장애물 센서는, 전방 센서와 함께 로봇 청소기의 외주면에 설치될 수 있다. 또, 제2 장애물 센서는 외주면을 따라 설치되지 않고, 로봇 청소기 본체(10)의 외측으로 돌출되는 면을 갖게 형성될 수 있다. 제2 장애물 센서는, 적외선 센서, 초음파 센서, RF 센서, PSD(Position Sensitive Device) 센서 등일 수 있고, 전방이나 측면에 존재하는 장애물을 감지하여 장애물 정보를 제어 유닛에 전달한다. 즉, 제2 장애물 센서는, 로봇 청소기의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛에 전달한다. 또, 전방 센서나 제2 장애물 센서를 이용하여, 로봇 청소기는 벽면과의 거리를 일정하게 유지하면서 이동할 수 있다. 예를 들어, PSD 센서는 반도체 표면저항을 이용해서 1개의 p-n접합으로 입사광의 단장거리 위치를 검출한다. PSD 센서에는 일축방향만의 광을 검출하는 1차원 PSD 센서와, 평면상의 광위치를 검출할 수 있는 2차원 PSD 센서가 있으며, 모두 pin 포토다이오드 구조를 갖는다. PSD 센서는 적외선 센서의 일종으로서, 적외선을 장애물에 발광하여 장애물을 감지하고, 반사되어 돌아오는 시간을 이용하여 거리를 측정한다.
낭떠러지 센서는, 다른 말로 클리프 센서(Cliff Sensor)라고도 한다. 낭떠러지 센서는, 다양한 형태의 광 센서를 주로 이용하는데, 본 실시 예에서는 적외선 센서를 예로 들어 설명한다. 낭떠러지 센서는 PSD 센서와 같이 발광부와 수광부를 구비한 적외선 센서 모듈의 형태를 가질 수 있다. 낭떠러지 센서는 기준 거리와 감지 범위를 가질 수 있다. 낭떠러지 센서는 바닥면의 반사율, 색의 차이에 상관없이 안정적인 측정값을 얻을 수 있고, 삼각측량방식을 이용한다. 낭떠러지 센서는 로봇 청소기의 하면에 존재하는 일정 깊이의 홈 내에 구비된다. 낭떠러지 센서는 로봇 청소기의 종류에 따라 다른 위치에 설치될 수 있다. 낭떠러지 센서는 로봇 청소기가 움직이는 동안 연속하여 바닥을 감지한다.
하부 카메라 센서는, 로봇 청소기의 배면에 구비되어, 이동 중 하방, 즉 바닥면, 피청소면을 촬영한다. 하부 카메라 센서는, 다른 말로 옵티컬 플로우 센서(Optical Flow Sensor)라 한다. 하부 카메라 센서는, 센서 내에 구비된 이미지 센서로부터 입력되는 하방 영상을 변환하여 소정 형식의 영상 데이터를 생성한다. 생성된 영상 데이터는 저장 유닛(500)에 저장된다. 또한, 하나 이상의 광원이 이미지 센서에 인접하여 설치될 수 있다. 하나 이상의 광원은, 이미지 센서에 의해 촬영되는 바닥면의 영역에 빛을 조사한다. 즉, 로봇 청소기가 바닥면을 따라 청소 영역을 이동하는 경우에, 바닥면이 평탄하면 이미지 센서와 바닥면 사이에는 일정한 거리가 유지된다. 반면, 로봇 청소기가 불균일한 표면의 바닥면을 이동하는 경우에는 바닥면의 요철 및 장애물에 의해 일정 거리 이상 멀어지게 된다. 이때 하나 이상의 광원은 조사되는 빛의 양을 조절하도록 형성될 수 있다. 광원은 광량 조절이 가능한 발광 소자, 예를 들어 LED(Light Emitting Diode) 또는 레이저로 형성된다.
하부 카메라 센서는, 로봇 청소기의 미끄러짐과 무관하게 로봇 청소기의 위치를 검출할 수 있다. 제어 유닛(200)은 하부 카메라 센서에 의해 촬영된 영상 데이터를 시간에 따라 비교 분석하여 이동 거리 및 이동 방향을 산출하고, 이에 따라 로봇 청소기의 위치를 산출한다. 하부 카메라 센서를 이용하여 로봇 청소기의 하방을 관찰하도록 함으로써, 제어 유닛은 다른 수단에 의해 산출한 위치에 대하여 미끄러짐에 강인한 보정이 가능하다.
로봇 청소기는 상방이나 전방을 향하도록 설치되어 로봇 청소기 주변을 촬영하는 상부 카메라 센서를 더 포함할 수 있다. 로봇 청소기가 복수의 상부 카메라 센서들을 구비하는 경우, 카메라 센서들은 일정 거리 또는 일정 각도로 로봇 청소기의 상부나 옆면에 형성될 수 있다.
제어 유닛(200)은 상부 카메라 센서가 촬영한 영상 데이터로부터 특징점을 추출하고, 특징점을 이용하여 로봇 청소기의 위치를 인식할 수 있고, 청소 영역에 대한 청소 지도를 작성할 수 있다. 제어 유닛(200)은 가속도 센서, 자이로 센서, 휠 센서, 하부 카메라 센서의 검출 정보와 상부 카메라 센서의 영상 데이터를 이용하여 정밀하게 위치를 인식할 수 있다. 또, 제어 유닛(200)은 전방 센서나 제2 장애물 센서 등에 의해 검출된 장애물 정보와 상부 카메라 센서에 의해 인식된 위치를 이용하여 청소 지도를 정밀하게 생성할 수 있다.
동작 센서 유닛(130)은 로봇 청소기의 동작을 검출할 수 있다. 동작 센서 유닛(130)은 가속도 센서, 자이로 센서, 휠 센서 중 하나 이상의 센서를 포함하여 로봇 청소기의 동작을 검출한다.
가속도 센서(Acceleration Sensor)는, 로봇 청소기의 속도 변화, 예를 들어, 출발, 정지, 방향 전환, 물체와의 충돌 등에 따른 이동 속도의 변화를 감지한다. 가속도 센서는 주 바퀴나 보조바퀴의 인접 위치에 부착되어, 바퀴의 미끄러짐이나 공회전을 검출할 수 있다. 이때, 가속도 센서를 통해 검출한 가속도를 이용하여 속도를 연산하고, 지령 속도와 비교를 통해 로봇 청소기의 위치를 확인하거나 보정할 수 있다. 그러나, 본 발명의 실시 예들에 있어서, 가속도 센서는 제어 유닛(200)에 내장되어 청소 모드, 주행 모드 시에 발생하는 로봇 청소기 자체의 속도 변화를 감지한다. 즉, 가속도 센서는 속도 변화에 따른 충격량을 검출하여 이에 대응하는 전압 값을 출력한다. 따라서, 가속도 센서는 전자식 범퍼의 기능을 수행할 수 있다.
자이로 센서(Gyro Sensor)는, 로봇 청소기가 운전 모드에 따라 움직일 때 회전 방향을 감지하고 회전각을 검출한다. 자이로 센서는, 로봇 청소기의 각속도를 검출하여 각속도에 비례하는 전압 값을 출력한다. 제어 유닛(200)은, 자이로 센서로부터 출력되는 전압 값을 이용하여 회전 방향 및 회전각을 산출한다.
휠 센서(Wheel Sensor)는, 좌, 우측의 주바퀴에 연결되어 주바퀴의 회전수를 감지한다. 여기서, 휠 센서는 로터리 엔코더(Rotary Encoder)일 수 있다. 로터리 엔코더는 로봇 청소기가 주행 모드나 청소 모드에 따라 움직일 때, 좌측과 우측의 주바퀴의 회전수를 감지하여 출력한다. 제어 유닛은 회전수를 이용하여 좌, 우측 바퀴의 회전 속도를 연산할 수 있다.
전원 유닛(600)은, 충전 가능한 배터리(610)를 구비하여 로봇 청소기 내로 전원을 공급한다. 전원 유닛(600)은 각 유닛들에 구동 전원과, 로봇 청소기가 이동하거나 청소를 수행하는데 따른 동작 전원을 공급하며, 전원 잔량이 부족하면 충전대로 이동하여 충전 전류를 공급받아 충전된다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 제어 유닛에 전달된다. 출력 유닛(400)은 제어 유닛에 의해 배터리 잔량을 화면에 표시할 수 있다. 배터리는 로봇 청소기 중앙의 하부에 위치할 수도 있고, 먼지통이 본체(10)의 최하단에 위치하도록 좌, 우측 중 어느 한쪽에 위치할 수도 있다. 후자의 경우, 로봇 청소기는 배터리의 무게 편중을 해소하기 위해 균형추를 더 구비할 수 있다.
구동 유닛(700)은 좌, 우측 주바퀴와 연결된다. 구동 유닛은 바퀴들을 회전시키는 소정의 휠 모터(Wheel Motor)를 구비하여, 휠 모터를 구동함으로써 로봇 청소기를 이동시킨다. 휠 모터는 각각 주바퀴에 연결되어 주바퀴가 회전하도록 하고, 휠 모터는 서로 독립적으로 작동하며 양방향으로 회전이 가능하다. 또, 로봇 청소기는 배면에 하나 이상의 보조 바퀴를 구비하여 로봇 청소기를 지지하고, 로봇 청소기와 바닥면(피청소면) 사이의 마찰을 최소화하고 로봇 청소기의 이동이 원활하도록 한다.
청소 유닛(800)은, 집진된 먼지가 저장되는 먼지통과, 청소 영역의 먼지를 흡입하는 동력을 제공하는 흡입팬과, 흡입팬을 회전시켜 공기를 흡입하는 흡입 모터로 구성되어, 주변의 먼지 또는 이물질을 흡입한다. 흡입팬은 공기를 유동시키는 복수의 날개와, 복수의 날개의 상류측 외각에 링 형상으로 형성되어 복수의 날개를 연결하고 흡입팬의 중심축 방향으로 유입된 공기가 중심축에 수직한 방향으로 유동되도록 안내하는 부재를 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 로봇 청소기의 3D 센서 교정 방법을 설명하기 위한 전체 흐름도이다.
도 4를 참조하면, 로봇 청소기는, 복수의 운전 모드 중 3D 센서 유닛(110)에 대한 진단 모드의 실행 명령을 입력받으면(S100), 진단 모드의 실행 전에 미리 설정된 하나 이상의 실행 조건을 확인한다(S200).
복수의 운전 모드는, 예를 들어 진단 모드, 충전 모드, 청소 모드, 주행 모드, 대기 모드 등을 구비하고, 청소 모드와 주행 모드는 하나 이상의 방식이나 패턴을 더 포함한다. 진단 모드의 실행 명령은 사용자 등이 상부에 설치된 버튼들 중 하나를 누르거나, 버튼들을 일정한 형식으로 누르거나, 하나의 버튼을 일정 시간 누름으로써 입력된다. 다른 예로, 진단 모드의 실행 명령은, 내장된 센서나 통신 수단을 이용하여 리모컨, 단말기 등으로부터 제어 신호를 수신함으로써 입력받을 수 있다.
로봇 청소기는 현재 운전 모드를 확인하고, 예약 청소 등이 설정되어 있는지 여부를 확인한 다음, 3D 센서 유닛(110)을 구동한다(S300). 그런 다음, 로봇 청소기는 3D 센서 유닛(110)으로부터 출력된 감지 정보를 이용하여 3D 센서 유닛(110)의 상태를 진단한다(S400). 로봇 청소기는 현재 운전 모드가 미리 설정된 모드, 예를 들어 충전 모드,일 경우에만 3D 센서 유닛(110)에 대한 진단 모드가 실행되도록 미리 프로그램될 수 있다(S110).
로봇 청소기는 실행 조건에 맞지 아니하는 경우, 에러 메시지를 출력한다(S510 또는 S600). 예를 들어, 실행 조건에 맞지 아니하는 경우, 로봇 청소기는 "먼지통을 확인해 주세요", "배터리가 부족하여 진단 모드에 진입할 수 없습니다", "걸레판이 부착되어 있어 진단 모드에 진입할 수 없습니다" 등의 음성 메시지를 출력하거나, 또는 화면에 메시지를 표시할 수 있다. 또, 예약 청소가 설정되어 있는 경우, 로봇 청소기는 "예약은 진단을 위해 취소되었습니다. 진단을 시작합니다" 등의 메시지를 소리나 화면을 통해 제공한다.
실행 조건에 맞는 경우, 로봇 청소기는 "로봇 청소기 진단을 시작합니다", "주위에서 물러나 주시고 충전대 주위 1미터 이내의 물건을 치워 주시기 바랍니다" 등의 음성 메시지를 출력하거나, 또는 화면에 메시지를 표시한 다음, 3D 센서 유닛(110)에 대한 진단 모드를 실행한다(S400).
진단 모드의 실행이 완료되면, 로봇 청소기는 "진단 모드가 완료되었습니다" 등의 음성 메시지를 출력하거나, 또는 화면에 메시지를 표시한다. 또, 로봇 청소기는, "진단 결과 이상이 없습니다" 등의 실행 결과를 출력 유닛을 이용하여 소리나 화면으로 사용자 등에게 제공한다(S500). 또, 로봇 청소기는, "진단 결과를 다시 듣고 싶으시면 충전 버튼을 눌러 주시고, 진단을 완료하고자 하면 정지 버튼을 눌러 주십시오" 등의 메시지를 더 제공할 수 있다. 그런 다음, 진단 모드의 해제 명령이 입력되면, 로봇 청소기는 "진단 모드를 해제합니다" 라는 메시지를 출력한다.
실행 결과, 실행 조건에 맞지 아니하거나, 또는 진단 모드 중 물체 감지 유닛의 상태가 이상 상태로 진단되면, 로봇 청소기는 출력 유닛을 이용하여 에러 메시지를 출력한다(S510). 예를 들어, 로봇 청소기는, "센서에 이상이 있습니다", "문제가 발견되었습니다", "충전을 시도하지 않습니다", "본체 하부의 주 전원 스위치를 껐다 켠 후 다시 한번 진단을 시도해 주십시오", "센서 창을 닦아 주십시오", "서비스 센터에 문의 바랍니다" 등의 에러 메시지를 출력한다.
이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 로봇 청소기 및 이의 진단 방법은, 최초 구동 시나 사용자의 필요에 따라 3D 센서 유닛(110)에 대한 진단 및 자가 교정을 수행하도록 함으로써 로봇 청소기의 오작동, 고장을 미리 방지한다. 또, 본 발명의 실시 예들은 최초 구동 시나 사용자의 필요에 따라 본체에 구비된 물체 감지 유닛의 감지 신호를 이용하여 물체 감지 유닛의 상태를 진단한다. 이렇게 함으로써, 본 발명의 실시 예들은 로봇 청소기의 작동에 따라 향후에 발생할 수 있는 사고나 오류를 미리 예방한다.
도 5 내지 도 8은 본 발명의 일실시예에 따른 로봇 청소기의 3D 센서 자가 자가 교정 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 8을 참조하면, 제어부(200)는 3D 센서 유닛(110)에 대한 진단을 시작한다(S401). 진단을 수행하는 것은 3D 센서 유닛(110)에 교정 에러가 있는지 여부를 체크하는 것이다. 교정 에러는 교정이 필요한 에러를 의미한다. 교정 에러가 있는 경우에는 교정 에러에 대한 보정을 하는 작업이 필요하다. 제어 유닛(200)은 3D 센서 유닛(110)을 통해 레이저빔을 투사한 상태에서 입력된 영상을 토대로 교정 에러의 유무를 진단하게 된다(S402).
도 9는 본 발명의 일실시예에 따른 로봇 청소기의 3D 센서 자가 교정 방법을 수행하기 위해 3D 센서 유닛에 의해 획득된 영상을 보여준다.
도 9를 참조하면, (a)는 교정 에러가 없는 영상이고, (b),(c),(d)는 교정 에러가 발생한 영상이다. 여기에서, 이들 영상은 3D 센서 유닛(110)에 의해 촬영된 정면의 영상들이다. 3D 센서 유닛(110)이 정면을 향하되 바닥을 향하여 약간 기울어져 촬영을 할 수 있도록 로봇 청소기의 본체(10)에 설치되어 있음에 따라, 예를 들어 일정 거리, 예를 들어 30Cm 의 거리내에 아무런 방해물이 없는 경우, 3D 센서 유닛(110)에 의해 획득된 영상은 바닥면을 촬영한 영상이 된다. 이 영상에는 레이저 라인 이미지가 포함되게 된다.
즉, 3D 센서 유닛(110)에 의해 촬영된 영상은 (a)에 도시된 영상에서와 같이 교정 에러가 없는 경우에는 미리 설정된 위치에 레이저 라인이 수평으로 존재해야한다. 그러나, (b),(c),(d)에 도시된 영상은 3D 센서 유닛(110)에 대하여 물리적 충격 또는 기구학적 결합으로 교정에러가 발생한 경우로서, 3D 센서 유닛(110)에 의해 획득된 영상을 보면 영상에 포함된 레이저 라인 이미지가 지정된 위치에서 벗어나 있음을 볼 수 있다. 즉, (b)의 영상에서는 레이저 라인이 미리 설정된 지점보다 위쪽으로 치우쳐서 있음을 볼 수 있다. 한편, (c)의 영상에서는 레이저 라인이 미리 설정된 지점보다 왼쪽이 내려와 기울어져 있음을 볼 수 있다. 한편, (d)의 영상에서는 레이저 라인이 미리 설정된 지점보다 오른쪽이 내려와 기울어져 있음을 볼 수 있다.
따라서, 제어 유닛(200)은 3D 센서 유닛(110)에 의해 촬영된 영상이 (a)에 도시된 영상이 아닌 (b),(c),(d)에 도시된 영상인 것으로 판별되는 경우, 교정 에러가 발생되었다고 판단하고, 자가 교정 절차를 수행한다.
이에 따라, 제어 유닛(200)은 로봇 청소기의 자가 교정을 위해 미리 설정된 지점으로 이동시킨다(S403). 여기에서는 충전대가 있는 곳으로 이동시키기 위한 절차를 수행한다.
이에 따라, 제어 유닛(200)은 저장 유닛(600)에 저장된 지도 정보를 기반으로 하여 충전대로 로봇 청소기를 이동시킨다. 제어 유닛(200)은 로봇 청소기와 충전대의 위치를 보조 물체 감지 유닛(120)을 통해 대략적인 위치를 알고 있다. 이에 따라, 제어 유닛(200)은 자가 교정을 위해 보조 물체 감지 유닛(120)을 이용하여 로봇 청소기의 위치를 판단하고 로봇 청소기를 충전대로 이동시킨다.
로봇 청소기의 저장 유닛(600)에는 충전대의 형상 정보들이 로봇 청소기 출시 전에 저장되어 있다. 여기서, 형상 정보는 공간상에서 충전대의 크기 및 외형을 포함할 수 있다.
도 10을 참조하면, 3D 센서 유닛(110)은 레이저 모듈(110b)의 전원을 오프한 후에 카메라 모듈(110a)을 통해 충전대에 대한 영상을 취득한다(S404).
3D 센서 유닛(110)은 획득된 충전대의 영상을 제어 유닛(200)에 전달한다. 이에 따라, 제어 유닛(200)은 충전대의 영상으로부터 충전대의 특징점을 추출한다(S405).
3D 센서 유닛(110)은 3D 데이터 획득을 위해서 카메라 모듈(110a)이 영상을 촬영시에 레이저 모듈(110b)의 전원을 온하거나, 항상 레이저 모듈(110b)의 전원을 온하고 영상을 촬영한다. 카메라 모듈(110a)에 의해 획득된 영상에는 충전대의 영상을 포함하고 있으며, 충전대에 조사된 레이저 라인 이미지를 포함하게 된다.
레이저 모듈(110b)의 전원이 온된 상태에서 카메라 모듈(110a)에서 영상을 획득하면, 충전대에 투사된 레이저 라인에 의해 특징점 추출시 오류가 발생할 수 있다. 예를 들어, 충전대의 코너 부분을 특징점으로 사용할 경우에 레이저 라인에 의해 원치 않는 특징점의 추출될 경우도 있으므로 레이저 모듈(110b)의 전원을 오프한 상태에서 충전대의 영상을 획득하고, 그 영상으로부터 특징점을 추출하는 것이다. 특징점 추출의 방법은 다양한 방법들의 존재하므로 여기에서 언급하지는 않는다.
제어 유닛(200)은 레이저 모듈(110b)의 전원이 오프된 상태에서 카메라 모듈(110a)에 의해 획득된 영상을 기반으로 추출된 충전대의 특징점으로부터 카메라 모듈(110a)의 좌표계 기준에 충전대의 위치를 명확히 추정한다(S406).
제어 유닛(200)은 영상 이미지로부터 특징점의 추출이 되었다면, 저장 유닛(600)에 기저장된 충전대의 영상 정보와 비교하여 특징점 매칭을 수행한다(S407). 즉 저장 유닛(600)에 기저장되어 있는 충전대의 영상 정보에서 특징점은 월드(world) 좌표계 기준으로 등록되어 있는 3차원 좌표상의 점들이다. 이에 따라, 영상에서 2차원 좌표값과 공간상에 3차원 좌표값에 대응 관계를 추정할 수 있고, 카메라 모듈(110a)에 대한 자가 교정을 수행할 수 있다(S408). 제어 유닛(200)은 카메라 모듈(110a)에 대한 자가 교정이 완료되면, 카메라 모듈(110a)로부터 좌표축을 부여한 충전대의 위치를 명확히 추정할 수 있다(S409). 이러한 과정을 통해 제어 유닛(200)은 로봇 청소기의 자가 교정을 위해 미리 설정된 지점에 위치시킨다.
이후, 제어 유닛(200)은 동일 위치에서 레이저 모듈(110b)의 전원을 온 후 카메라 모듈(110a)을 이용하여 레이저 라인 이미지가 포함된 영상을 획득한다(S410). 제어 유닛(200)은 획득된 영상에서 충전대 내부에 존재하는 레이저 라인을 검출한다(S411).
도 11을 참조하면, 제어 유닛(200)에 의해, (a)에 도시된 바와 같이, 레이저 모듈(110b)의 전원이 온된 상태에서 촬영된 영상과, (b)에 도시된 바와 같이, 전원이 오프된 상태에서 촬영된 영상의 영상차이를 계산하면, (c)에 도시된 바와 같이, 레이저 라인 영상만 존재하며, 잡음은 제거될 수 있다. 잡음이 제거되면, 다양한 방식으로 레이저 라인을 손쉽게 검출할 수 있다.
도 12를 참조하면, 제어 유닛(200)은 로봇 청소기를 충전대로 일정 거리만큼 직진하여, 정지 후 (a)에 도시된 바와 같이, 레이저 모듈(110b)의 전원이 온된 상태에서 촬영된 영상과, (b)에 도시된 바와 같이 전원이 오프된 상태에서 촬영된 영상을 획득한다(S412). 이후, 두 영상 차이를 통해 (c)에 도시된 바와 같이, 레이저 라인을 검출한다(S413).
제어 유닛(200)은 4장의 영상에서 획득된 레이저 라인의 위치에 대응하여 저장 유닛(600)에 미리 저장되어 있는 충전대의 3D 데이터를 추출한다(S414). 그리고, 이를 이용하여 충전대에 투사된 레이저 라인의 3차원 좌표를 추정할 수 있다(S415). 제어 유닛(200)은 추정된 레이저 라인의 3차원 좌표로부터 레이저 평면의 방정식을 추정할 수 있다(S416). 제어 유닛(600)은 추정된 레이저 평면 방정식에 의해 3D 센서 유닛(110)의 파라미터의 보정을 수행한다(S417). 제어 유닛(600)은 저장 유닛(600)에 기저장되어 있던 평면 방정식을 새로 추정된 평면 방정식으로 변경하여 저장한다(S418).
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 본체에 설치되고, 주변의 물체를 감지하여 감지 정보를 출력하는 3D 센서 유닛;
    주변의 물체를 감지하여 감지 정보를 출력하는 보조 센서 유닛;
    진단 모드에 따른 진단 알고리즘이 미리 설정된 저장 유닛;
    상기 진단 모드의 실행 명령을 입력받는 입력 유닛;
    상기 실행 명령에 따라 상기 진단 알고리즘을 이용하여 상기 3D 센서에 대한 진단 모드 및 상기 3D 센서 유닛의 파라미터를 자가 교정하는 제어 유닛; 및
    상기 진단 모드의 실행 결과 및 교정 메시지를 출력하는 출력 유닛을 포함하여 구성되는 로봇 청소기.
  2. 제1 항에 있어서,
    상기 3D 센서 유닛은 대상에 레이저 패턴을 조사하는 레이저 모듈, 및 상기 레이저 패턴이 포함된 영상을 획득하는 카메라 모듈을 포함하는 로봇 청소기.
  3. 제1 항에 있어서,
    상기 제어 유닛은 상기 3D 센서에 대한 진단 실행에 의해 상기 3D 센서 유닛의 파라미터의 교정이 필요한 경우, 상기 보조 센서 유닛의 감지 정보에 기반하여 교정을 수행하기 위해 미리 설정된 위치로 상기 로봇 청소기를 이동시키는 로봇 청소기.
  4. 제1 항에 있어서,
    상기 보조 센서 유닛은 감지 신호를 발신하고 반사되어 수신되는 신호를 근거로 전방의 장애물을 감지하는 장애물 센서, 바닥면에 감지 신호를 발신하고 반사되어 수신되는 신호를 근거로 낭떠러지를 감지하는 낭떠러지 센서, 바닥면을 촬영하여 영상 데이터를 출력하는 하부 카메라 센서 중 하나 이상을 포함하는 로봇 청소기.
  5. 제1 항에 있어서,
    상기 본체의 하부에 설치되고, 충전 가능한 배터리를 구비하여 구동 전원을 공급하는 전원 유닛;
    상기 본체의 하부의 양측에 구비된 좌측 및 우측 주바퀴를 구동하여 로봇 청소기를 이동시키는 구동 유닛; 및
    상기 본체의 하부에 설치되고, 바닥면이나 공기 중의 오물 또는 먼지를 흡입하는 청소 유닛을 더 포함하는 로봇 청소기.
  6. 제1 항에 있어서,
    상기 제어 유닛은 상기 3D 센서 유닛을 통해 레이저 빔을 투사한 상태에서 획득된 영상내에 포함된 레이저 라인 이미지를 추출하여 교정 에러의 유무를 진단하는 로봇 청소기.
  7. 제6 항에 있어서,
    상기 3D 센서 유닛에 의해 획득된 영상에 포함된 레이저 라인 이미지가 지정된 위치에서 벗어나 있으면 교정 에러가 있는 것으로 판단하는 로봇 청소기.
  8. 제1 항에 있어서, 상기 제어 유닛은,
    상기 로봇 청소기를 교정을 위해 미리 설정된 지점으로 이동시키고,
    상기 미리 설정된 지점에서 촬영된 충전대의 특징점 매칭을 수행하고,
    상기 특징짐 매칭에 기반하여 카메라 모듈에 대한 교정을 수행하고,
    상기 레이저 모듈의 전원을 온 또는 오프한 후에 카메라 모듈을 이용하여 레이저 라인 이미지가 포함된 영상을 획득하고, 획득된 영상에서 충전대 내부에 존재하는 레이저 라인에 기반하여 상기 3D 센서 유닛의 파라미터를 교정하는 로봇 청소기.
  9. 제8 항에 있어서, 상기 제어 유닛은, 상기 충전대의 특징점 매칭을 수행하기 위해, 레이저 모듈의 전원을 오프한 후에 카메라 모듈을 통해 충전대에 대한 영상을 취득하고, 상기 충전대의 영상으로부터 충전대의 특징점을 추출하고, 상기 추출된 충전대의 특징점과 기저장된 충전대의 영상 정보와 비교하여 특징점 매칭을 수행하는 로봇 청소기.
  10. 제8 항에 있어서, 상기 제어 유닛은 상기 3D 센서 유닛의 파라미터의 보정을 수행하기 위해, 상기 영상에서 획득된 레이저 라인의 위치에 대응하여 미리 저장되어 있는 충전대의 3D 데이터를 추출하고, 추출된 충전대의 3D 데이터에 기반하여 충전대에 투사된 레이저 라인의 3차원 좌표를 추정하고, 추정된 레이저 라인의 3차원 좌표로부터 레이저 평면의 방정식을 추정하고, 추정된 레이저 평면 방정식에 의해 3D 센서 유닛의 파라미터의 보정을 수행하는 로봇 청소기.
  11. 주변의 물체를 감지하여 감지 정보를 출력하는 3D 센서 유닛을 포함하고, 복수의 운전 모드를 구비한 로봇 청소기의 3D 센서 유닛의 자가 교정 방법으로,
    상기 복수의 운전 모드 중 진단 모드의 실행 명령을 입력받는 단계;
    상기 실행 명령을 수신하면, 상기 진단 모드에 따라 상기 3D 센서 유닛을 구동하는 단계;
    상기 3D 센서 유닛으로부터 출력된 상기 감지 정보를 이용하여 상기 3D 센서 유닛의 상태를 진단하고 자가 교정하는 단계를 포함하는 로봇 청소기의 3D 센서 자가 교정 방법.
  12. 제11 항에 있어서, 상기 진단하고 자가 교정하는 단계는,
    상기 로봇 청소기를 자가 교정을 위해 미리 설정된 지점으로 이동시키는 단계;
    상기 미리 설정된 지점에서 촬영된 충전대의 특징점 매칭을 수행하는 단계;
    상기 특징짐 매칭에 기반하여 카메라 모듈에 대한 자가 교정을 수행하는 단계;
    레이저 모듈의 전원을 온 또는 오프한 후에 카메라 모듈을 이용하여 레이저 라인 이미지가 포함된 영상을 획득하고, 획득된 영상에서 충전대 내부에 존재하는 레이저 라인에 기반하여 상기 3D 센서 유닛의 파라미터를 자가 교정하는 단계를 포함하는 로봇 청소기의 3D 센서 자가 교정 방법.
  13. 제12 항에 있어서, 상기 충전대의 특징점 매칭을 수행하는 단계는,
    레이저 모듈의 전원을 오프한 후에 카메라 모듈을 통해 충전대에 대한 영상을 취득하는 단계;
    상기 충전대의 영상으로부터 충전대의 특징점을 추출하는 단계;
    상기 추출된 충전대의 특징점과 기저장된 충전대의 영상 정보와 비교하여 특징점 매칭을 수행하는 단계를 포함하는 로봇 청소기의 3D 센서 자가 교정 방법.
  14. 제12 항에 있어서, 상기 3D 센서 유닛의 파라미터를 교정하는 단계는,
    상기 레이저 모듈의 전원을 온 후 카메라 모듈을 이용하여 레이저 라인 이미지가 포함된 영상을 획득하고, 획득된 영상에서 충전대 내부에 존재하는 레이저 라인을 검출하는 단계;
    상기 로봇 청소기를 충전대로 일정 거리만큼 직진하여, 정지 후 레이저 모듈의 전원이 온된 상태에서 촬영된 영상과, 전원이 오프된 상태에서 촬영된 영상을 획득하여, 두 영상 차이를 통해 레이저 라인을 검출하는 단계;
    상기 검출된 레이저 라인으로부터 상기 충전대에 투사된 레이저 라인의 3차원 좌표를 추정하여 3D 센서 유닛의 파라미터의 보정을 수행하는 단계를 포함하는 로봇 청소기의 3D 센서 자가 교정 방법.
  15. 제14 항에 있어서, 상기 레이저 라인을 검출하는 단계는,
    상기 레이저 모듈의 전원이 온된 상태에서 촬영된 영상과, 전원이 오프된 상태에서 촬영된 영상의 영상차이를 계산하여 레이저 라인을 검출하는 로봇 청소기의 3D 센서 자가 교정 방법.
  16. 제14 항에 있어서,
    상기 3D 센서 유닛의 파라미터의 보정을 수행하는 단계는,
    상기 영상에서 획득된 레이저 라인의 위치에 대응하여 미리 저장되어 있는 충전대의 3D 데이터를 추출하는 단계;
    추출된 충전대의 3D 데이터에 기반하여 충전대에 투사된 레이저 라인의 3차원 좌표를 추정하는 단계;
    추정된 레이저 라인의 3차원 좌표로부터 레이저 평면의 방정식을 추정하는 단계;
    추정된 레이저 평면 방정식에 의해 3D 센서 유닛의 파라미터의 보정을 수행하는 단계를 포함하는 로봇 청소기의 3D 센서 자가 교정 방법.
PCT/KR2013/006302 2013-07-15 2013-07-15 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법 WO2015008874A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/904,401 US10307912B2 (en) 2013-07-15 2013-07-15 Robot cleaner and method for auto-correcting 3D sensor of the robot cleaner
PCT/KR2013/006302 WO2015008874A1 (ko) 2013-07-15 2013-07-15 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/006302 WO2015008874A1 (ko) 2013-07-15 2013-07-15 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법

Publications (1)

Publication Number Publication Date
WO2015008874A1 true WO2015008874A1 (ko) 2015-01-22

Family

ID=52346311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/006302 WO2015008874A1 (ko) 2013-07-15 2013-07-15 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법

Country Status (2)

Country Link
US (1) US10307912B2 (ko)
WO (1) WO2015008874A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109664309A (zh) * 2018-12-21 2019-04-23 深圳乐动机器人有限公司 一种机器人智能清洁的方法、装置及机器人
WO2023027341A1 (ko) * 2021-08-23 2023-03-02 삼성전자주식회사 로봇 및 로봇의 제어 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9675226B2 (en) 2012-10-26 2017-06-13 Lg Electronics Inc. Robot cleaner system and control method of the same
US9626588B1 (en) * 2014-03-23 2017-04-18 Patrick Antaki Detecting and locating lasers pointed at aircraft
JP2016042285A (ja) * 2014-08-18 2016-03-31 株式会社東芝 自律型移動体
GB2529849B (en) * 2014-09-03 2017-06-14 Dyson Technology Ltd A robot cleaner
US10124359B2 (en) 2015-06-17 2018-11-13 Integrated Construction Enterprises, Inc. Autonomous painting systems and related methods
US11919019B2 (en) 2015-06-17 2024-03-05 Revolutionice Inc. Autonomous painting systems and related methods
US10378935B1 (en) 2015-07-08 2019-08-13 Revolutionice Inc. Remote facade inspection gantry
US11093590B2 (en) * 2015-08-31 2021-08-17 Avaya Inc. Selection of robot operation mode from determined compliance with a security criteria
US10500730B2 (en) * 2015-09-04 2019-12-10 Kindred Systems Inc. Systems, devices, and methods for self-preservation of robotic apparatus
JP7007078B2 (ja) * 2015-10-08 2022-01-24 東芝ライフスタイル株式会社 電気掃除機
US11726490B1 (en) * 2016-02-19 2023-08-15 AI Incorporated System and method for guiding heading of a mobile robotic device
US10653282B2 (en) 2016-12-23 2020-05-19 Lg Electronics Inc. Cleaning robot
KR101984101B1 (ko) * 2017-03-06 2019-05-30 엘지전자 주식회사 청소기 및 그 제어방법
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
CN112423943B (zh) * 2018-07-13 2024-08-13 Abb瑞士股份有限公司 诊断方法和设备
KR102356752B1 (ko) * 2019-04-16 2022-01-28 주식회사 유진로봇 모바일 로봇의 초기화 진단 방법 및 시스템
KR102286132B1 (ko) * 2019-07-31 2021-08-06 엘지전자 주식회사 인공지능 로봇 청소기
CN116360424A (zh) * 2020-04-09 2023-06-30 北京石头创新科技有限公司 一种图像查看方法、障碍物查看方法、终端及清洁机
KR20210130478A (ko) 2020-04-22 2021-11-01 삼성전자주식회사 로봇 청소기 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020081035A (ko) * 2001-04-18 2002-10-26 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어방법
JP2004148088A (ja) * 2002-10-31 2004-05-27 Samsung Kwangju Electronics Co Ltd ロボット掃除機とそのシステム及び制御方法
KR20070045475A (ko) * 2005-10-27 2007-05-02 엘지전자 주식회사 로봇 청소기에 장착된 카메라의 제어 장치 및 방법
KR20120116278A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20130000278A (ko) * 2011-06-22 2013-01-02 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2220643C2 (ru) 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける３次元視覚センサの再校正方法及び装置
SG121898A1 (en) * 2004-10-06 2006-05-26 Generic Power Pte Ltd System for 2-D and 3-D vision inspection
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
TWI503618B (zh) * 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020081035A (ko) * 2001-04-18 2002-10-26 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어방법
JP2004148088A (ja) * 2002-10-31 2004-05-27 Samsung Kwangju Electronics Co Ltd ロボット掃除機とそのシステム及び制御方法
KR20070045475A (ko) * 2005-10-27 2007-05-02 엘지전자 주식회사 로봇 청소기에 장착된 카메라의 제어 장치 및 방법
KR20120116278A (ko) * 2011-04-12 2012-10-22 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20130000278A (ko) * 2011-06-22 2013-01-02 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109664309A (zh) * 2018-12-21 2019-04-23 深圳乐动机器人有限公司 一种机器人智能清洁的方法、装置及机器人
WO2023027341A1 (ko) * 2021-08-23 2023-03-02 삼성전자주식회사 로봇 및 로봇의 제어 방법

Also Published As

Publication number Publication date
US20160144512A1 (en) 2016-05-26
US10307912B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
WO2015008874A1 (ko) 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법
WO2017018848A1 (en) Mobile robot and control method thereof
WO2018164326A1 (ko) 청소기 및 그 제어방법
WO2018131856A1 (ko) 청소기 및 그 제어방법
WO2010114235A1 (en) Mobile robot with single camera and method for recognizing 3d surroundings of the same
KR101822942B1 (ko) 로봇 청소기 및 이의 제어 방법
EP3409177B1 (en) Moving robot and controlling method thereof
KR102203439B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2016200098A1 (ko) 이동 로봇 및 그 제어방법
WO2012008702A2 (en) Robot cleaner and controlling method of the same
WO2018070686A1 (ko) 공항용 안내 로봇 및 그의 동작 방법
KR101974870B1 (ko) 인공지능 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
WO2019212174A1 (ko) 인공지능 청소기 및 그 제어방법
KR101324166B1 (ko) 로봇 청소기 및 이의 자가 진단 방법
WO2021015411A1 (en) Robot cleaner and method for controlling the same
KR101303159B1 (ko) 로봇 청소기 및 이의 자가 진단 방법
WO2021006590A1 (en) Docking device and mobile robot system
KR101303158B1 (ko) 로봇 청소기 및 이의 자가 진단 방법
KR101371036B1 (ko) 로봇 청소기 및 이의 자가 진단 방법
WO2021182694A1 (en) Robot cleaner and method for controlling the same
WO2021020911A1 (en) Mobile robot
WO2019212172A1 (ko) 청소기 및 그 제어방법
KR101223480B1 (ko) 이동 로봇 및 이의 제어 방법
US20230248203A1 (en) Method for controlling robot cleaner
KR20180121244A (ko) 이동 로봇 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13889700

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14904401

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13889700

Country of ref document: EP

Kind code of ref document: A1