WO2016200098A1 - 이동 로봇 및 그 제어방법 - Google Patents

이동 로봇 및 그 제어방법 Download PDF

Info

Publication number
WO2016200098A1
WO2016200098A1 PCT/KR2016/005904 KR2016005904W WO2016200098A1 WO 2016200098 A1 WO2016200098 A1 WO 2016200098A1 KR 2016005904 W KR2016005904 W KR 2016005904W WO 2016200098 A1 WO2016200098 A1 WO 2016200098A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
main body
information related
mobile robot
pattern
Prior art date
Application number
PCT/KR2016/005904
Other languages
English (en)
French (fr)
Inventor
최혁두
전형신
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/735,062 priority Critical patent/US10423163B2/en
Priority to EP16807738.6A priority patent/EP3308911B1/en
Publication of WO2016200098A1 publication Critical patent/WO2016200098A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Definitions

  • the present invention relates to a mobile robot and a control method thereof, and more particularly, to a mobile robot for performing marker recognition and a control method thereof.
  • robots have been developed for industrial use and have been a part of factory automation. Recently, the application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes have also been made.
  • a representative example of the home robot is a robot cleaner, which is a kind of home appliance that cleans by suctioning dust or foreign matter while driving around a certain area by itself.
  • a robot cleaner generally includes a rechargeable battery, and includes an obstacle sensor that can avoid obstacles while driving, so that the robot cleaner can run and clean itself.
  • the technical problem to be solved by the present invention is to provide a mobile robot and its control method capable of performing marker recognition in various directions.
  • Another object of the present invention is to provide a mobile robot capable of performing marker recognition using a low resolution camera and a control method thereof.
  • a mobile robot the main body, a drive unit for moving the main body, a camera installed on one side of the main body, to shoot the image related to the marker, A memory for storing information related to the pattern of the marker, and extracting information related to at least one vertical line segment included in the appearance of the marker from the photographed image, and at least one of the extracted vertical line segment and the pattern And a controller configured to detect information related to a position and a posture of the main body and to control the driving unit based on at least one of the detected position and posture of the main body.
  • the controller may calculate a distance between the marker and the main body based on the information related to the pattern and the length of the extracted vertical line segment.
  • the controller may calculate a distance between the marker and the main body by using information related to the magnification of the camera together with the extracted vertical line segments.
  • the controller detects information related to the relative direction of the main body with respect to the marker based on the information related to the pattern and the distance between the extracted vertical line segments. do.
  • the memory stores information related to the path of the mobile robot, and the controller compares the detected position and posture of the main body with information related to the path, and compares the result with the comparison result.
  • the driving unit is controlled based on the above.
  • the camera photographs an image related to the marker at predetermined periods
  • the controller updates information related to the position and attitude of the detected main body at each predetermined period. It is done.
  • the controller extracts a portion of the pixel included in the image, which is changed from the first color to the second color, as a vertical edge, and sets a preset condition among the extracted vertical edges.
  • the satisfactory part is grouped to detect the longitudinal line segment.
  • photographing an image related to the marker from the photographed image, extracts information related to at least one longitudinal line segment included in the appearance of the marker Detecting information related to a position of the main body based on information related to at least one of the extracted vertical line segment and the pattern of the marker, at least one of the extracted vertical line segment and the pattern of the marker And detecting information related to the posture of the main body and controlling the driving unit based on at least one of the position and the posture of the detected main body, based on the information related to the information.
  • the detecting of the information related to the position of the main body may include determining a distance between the marker and the main body based on the information related to the pattern and the length of the extracted vertical line segment. It is characterized by including the process of calculating.
  • the detecting of the information related to the posture of the main body may be based on a relative direction of the main body with respect to the marker based on the information related to the pattern and the distance between the extracted vertical line segments. And detecting information related to the information.
  • the effect of maintaining the performance related to pattern recognition while reducing the unit cost of the mobile robot is derived.
  • the present invention it is possible to more accurately estimate the position and the moving direction of the mobile robot. That is, according to the control method of the mobile robot according to the present invention, it is possible to accurately estimate the relative coordinates and attitude to the marker.
  • Figure 1a is a block diagram showing the configuration of a mobile robot according to an embodiment of the present invention.
  • Figure 1b is a perspective view showing the appearance of a mobile robot according to an embodiment of the present invention.
  • Figure 2a is a perspective view showing the appearance of the marker that is the shooting target of the mobile robot according to an embodiment of the present invention.
  • FIG. 2B is a conceptual diagram showing the appearance of the marker shown in FIG. 2A on a two-dimensional plane.
  • FIG. 2C is a conceptual diagram illustrating an embodiment related to a mobile robot that recognizes the marker illustrated in FIG. 2A.
  • FIG. 3 is a flowchart illustrating a control method of a mobile robot according to an embodiment of the present invention.
  • 4A is a flowchart illustrating a control method of a mobile robot according to another embodiment of the present invention.
  • 4B is a conceptual diagram illustrating an example of an image photographed by a camera of a mobile robot according to the present invention.
  • FIG. 5 is a conceptual diagram illustrating a method for calculating a coordinate and a direction relative to a marker by a mobile robot according to the present invention.
  • FIG. 1A a configuration of a mobile robot according to an embodiment of the present invention is described.
  • the mobile robot according to an embodiment of the present invention, the communication unit 110, the input unit 120, the drive unit 130, the sensing unit 140, the output unit 150, the power supply unit 160 ),
  • the memory 170, and the controller 180 may include at least one or a combination thereof.
  • FIG. 1A the components shown in FIG. 1A are not essential, and thus, a robot cleaner having more or fewer components may be implemented.
  • a robot cleaner having more or fewer components may be implemented.
  • each component will be described.
  • the power supply unit 160 includes a battery that can be charged by an external commercial power supply and supplies power to the mobile robot.
  • the power supply unit 160 may supply driving power to each of the components included in the mobile robot, thereby supplying operation power required for the mobile robot to travel or perform a specific function.
  • the controller 180 may detect the remaining power of the battery, and if the remaining power is insufficient to control to move to the charging station connected to the external commercial power, the battery can be charged by receiving a charging current from the charging stand.
  • the battery may be connected to the battery sensing unit so that the battery remaining amount and the charging state may be transmitted to the controller 180.
  • the output unit 150 may display the battery remaining amount on the screen by a controller.
  • the battery may be located at the bottom of the center of the robot cleaner, or may be located at either the left or the right. In the latter case, the mobile robot may further comprise a counterweight to eliminate the weight bias of the battery.
  • the drive unit 130 is provided with a motor, by driving the motor, by rotating the left and right main wheels in both directions can rotate or move the main body.
  • the driving unit 130 may advance the main body of the mobile robot in front, rear, left, and right directions, curve the vehicle, or rotate it in place.
  • the input unit 120 receives various control commands for the robot cleaner from the user.
  • the input unit 120 may include one or more buttons.
  • the input unit 120 may include a confirmation button, a setting button, and the like.
  • the confirmation button is a button for receiving a command for confirming detection information, obstacle information, location information, map information from the user
  • the setting button is a button for receiving a command for setting the information from the user.
  • the input unit 120 cancels a previous user input and inputs a reset button for receiving user input again, a delete button for deleting a preset user input, a button for setting or changing an operation mode, and a command for returning to the charging station. It may include a button for receiving input.
  • the input unit 120 may be installed on the upper part of the mobile robot using a hard key, a soft key, or a touch pad.
  • the input unit 120 may have a form of a touch screen together with the output unit 150.
  • the output unit 150 may be installed on the upper portion of the mobile robot.
  • the installation location or installation form may vary.
  • the output unit 150 may display a battery state or driving mode on the screen.
  • the output unit 150 may output state information inside the mobile robot detected by the sensing unit 140, for example, current states of components included in the mobile robot.
  • the output unit 150 may display external state information, obstacle information, location information, map information, etc. detected by the sensing unit 140 on the screen.
  • the output unit 150 may be any one of a light emitting diode (LED), a liquid crystal display (LCD), a plasma display panel, and an organic light emitting diode (OLED). It can be formed as an element of.
  • the output unit 150 may further include sound output means for audibly outputting an operation process or an operation result of the mobile robot performed by the controller 180.
  • the output unit 150 may output a warning sound to the outside according to the warning signal generated by the controller 180.
  • the sound output means may be a means for outputting a sound such as a beeper or a speaker
  • the output unit 150 uses the audio data or the message data having a predetermined pattern stored in the memory 170 or the like. It can be output to the outside through the output means.
  • the mobile robot may output the environmental information about the driving area on the screen or output the sound through the output unit 150.
  • the mobile robot may transmit map information or environment information to the terminal device through the communication unit 110 such that the terminal device outputs a screen or sound to be output through the output unit 150.
  • the communication unit 110 is connected to the terminal device and / or other devices located in a specific area (in this specification will be mixed with the term "home appliance") in one of the wired, wireless, satellite communication methods To transmit and receive signals and data.
  • the communication unit 110 may transmit / receive data with other devices located in a specific area.
  • any other device may be any device that can transmit and receive data by connecting to a network.
  • the other device may be a device such as an air conditioner, a heating device, an air purifier, a lamp, a TV, a car, and the like.
  • the other device may be a device for controlling a door, a window, a water valve, a gas valve, or the like.
  • the other device may be a sensor that senses temperature, humidity, barometric pressure, gas, and the like.
  • the controller 180 may transmit a control signal to the other device through the communication unit 110, and accordingly, the other device may operate according to the received control signal.
  • the other device is an air conditioner
  • the power may be turned on or cooled or heated in a specific area according to a control signal
  • the window may be opened or closed according to the control signal. Can open at a certain rate.
  • the communication unit 110 may receive various state information and the like from at least one other device located in a specific area.
  • the communication unit 110 may determine a setting temperature of the air conditioner, whether to open or close a window, or a degree of opening and closing of the window.
  • the opening / closing information, the current temperature of the specific region detected by the temperature sensor, and the like may be received.
  • the controller 180 may generate a control signal for the other device according to the state information, the user input through the input unit 120, or the user input through the terminal device.
  • the communication unit 110 is a wireless communication method such as radio frequency (RF) communication, Bluetooth, infrared communication (IrDA), wireless LAN (LAN), Zigbee (Zigbee), etc. to communicate with at least one other device
  • RF radio frequency
  • IrDA infrared communication
  • LAN wireless LAN
  • Zigbee Zigbee
  • the network is preferably the Internet (internet).
  • the communication unit 110 may receive a control signal from the terminal device. Accordingly, the controller 180 may perform control commands related to various tasks according to the control signal received through the communication unit 110. For example, a control command that can be input from a user through the input unit 120 may be received from the terminal device through the communication unit 110, and the controller 180 may perform the received control command.
  • the communication unit 110 may transmit state information, obstacle information, location information, image information, map information, and the like of the mobile robot to the terminal device. For example, various types of information that can be output through the output unit 150 may be transmitted to the terminal device through the communication unit 110.
  • the communication unit 110 radio frequency (RF) communication, Bluetooth (Bluetooth), infrared communication to communicate with a terminal device such as a computer, a display device and a mobile terminal (for example, a smartphone), such as a laptop (laptop) (IrDA), wireless LAN (LAN), Zigbee (Zigbee) and the like may adopt at least one communication method, such that the other device and the mobile robot 100 may configure at least one network.
  • the network is preferably the Internet (internet).
  • the robot cleaner 100 may communicate with the terminal device through the communication unit 110 using a communication method available for the mobile terminal.
  • the memory 170 stores a control program for controlling or driving the robot cleaner and data corresponding thereto.
  • the memory 170 may store audio information, image information, obstacle information, location information, map information, and the like.
  • the memory 170 may store information related to the driving pattern.
  • the memory 170 mainly uses a nonvolatile memory.
  • the non-volatile memory (NVM, NVRAM) is a storage device that can maintain the stored information even if power is not supplied.
  • NVM non-volatile memory
  • ROM read only memory
  • flash memory a storage device that can maintain the stored information even if power is not supplied.
  • Storage devices eg, hard disks, diskette drives, magnetic tapes), optical disk drives, magnetic RAMs, PRAMs, and the like.
  • the sensing unit 140 may include at least one of an external signal sensor, a front sensor, a cliff sensor, a lower camera sensor, and an upper camera sensor.
  • the external signal detection sensor may detect an external signal of the mobile robot.
  • the external signal detection sensor may be, for example, an infrared ray sensor, an ultrasonic sensor, an RF sensor, or the like.
  • the mobile robot can check the position and direction of the charging station by receiving a guide signal generated by the charging station using an external signal detection sensor.
  • the charging station may transmit a guide signal indicating the direction and distance so that the mobile robot can return. That is, the mobile robot may receive a signal transmitted from the charging station to determine the current position and set the direction of movement to return to the charging station.
  • the mobile robot may detect a signal generated by a remote control device such as a remote controller or a terminal using an external signal sensor.
  • the external signal detection sensor may be provided at one side of the inside or outside of the mobile robot.
  • the infrared sensor may be installed inside the mobile robot or around the lower or upper camera sensor of the output unit 150.
  • the front sensor may be installed at a predetermined interval in front of the mobile robot, specifically, along the side outer peripheral surface of the mobile robot.
  • the front sensor is located on at least one side of the mobile robot to detect an obstacle in front of the mobile robot, the front sensor detects an object in the moving direction of the mobile robot, in particular obstacles to detect the detection information to the controller 180 I can deliver it. That is, the front sensor may detect the protrusions on the moving path of the mobile robot, household appliances, furniture, walls, wall edges, and the like, and transmit the information to the controller 180.
  • the front sensing sensor may be, for example, an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, or the like, and the mobile robot may use one type of sensor as the front sensing sensor or two or more types of sensors together as needed. have.
  • the ultrasonic sensor may generally be mainly used to detect a long distance obstacle.
  • the ultrasonic sensor includes a transmitter and a receiver, and the controller 180 determines whether the obstacle is present by whether the ultrasonic wave radiated through the transmitter is reflected by an obstacle or the like and is received by the receiver, and determines the ultrasonic radiation time and the ultrasonic reception time.
  • the distance to the obstacle can be calculated using the
  • the controller 180 may detect the information related to the size of the obstacle by comparing the ultrasound emitted from the transmitter and the ultrasound received from the receiver. For example, the controller 180 may determine that the size of the obstacle is larger as more ultrasonic waves are received in the receiver.
  • a plurality (eg, five) ultrasonic sensors may be installed along the outer circumferential surface on the front side of the mobile robot. At this time, preferably, the ultrasonic sensor may be installed on the front of the mobile robot alternately the transmitter and the receiver.
  • the transmitter may be disposed to be spaced apart from the center of the front of the main body to the left and right, and one or more transmitters may be disposed between the receivers to form a reception area of the ultrasonic signal reflected from an obstacle or the like.
  • This arrangement allows the receiving area to be extended while reducing the number of sensors.
  • the transmission angle of the ultrasonic waves may maintain an angle within a range that does not affect the different signals so as to prevent crosstalk.
  • the reception sensitivity of the receivers may be set differently.
  • the ultrasonic sensor may be installed upward by a predetermined angle so that the ultrasonic wave transmitted from the ultrasonic sensor is output upward, and may further include a predetermined blocking member to prevent the ultrasonic wave from being radiated downward.
  • the front sensor may use two or more types of sensors together, and accordingly, the front sensor may use any one type of sensor, such as an infrared sensor, an ultrasonic sensor, or an RF sensor. .
  • the front sensing sensor may include an infrared sensor as another type of sensor in addition to the ultrasonic sensor.
  • the infrared sensor may be installed on the outer circumferential surface of the mobile robot together with the ultrasonic sensor.
  • the infrared sensor may also detect obstacles present in the front or side and transmit the obstacle information to the controller 180. That is, the infrared sensor detects protrusions, household appliances, furniture, walls, wall edges, etc. existing on the moving path of the mobile robot and transmits the information to the controller 180. Therefore, the mobile robot can move the main body within a specific area without colliding with an obstacle.
  • the cliff detection sensor (or the cliff sensor) may mainly detect various obstacles on the floor supporting the main body of the mobile robot by using various types of optical sensors.
  • the cliff detection sensor is installed on the back of the mobile robot on the floor, of course, may be installed in a different position according to the type of mobile robot.
  • the cliff detection sensor is located on the back of the mobile robot and is used to detect an obstacle on the floor.
  • the cliff detection sensor is an infrared sensor, a light emitting unit and a light receiving unit, such as the obstacle detection sensor, an ultrasonic sensor, an RF sensor, and a PSD (Position). Sensitive Detector) sensor or the like.
  • one of the cliff detection sensors may be installed at the front of the mobile robot, and the other two cliff detection sensors may be installed at the rear.
  • the cliff detection sensor may be a PSD sensor, but may be configured of a plurality of different types of sensors.
  • the PSD sensor uses a semiconductor surface resistance to detect the short and long distance positions of incident light with one p-n junction.
  • the PSD sensor includes a one-dimensional PSD sensor that detects light in only one axis direction and a two-dimensional PSD sensor that can detect a light position on a plane, and both may have a pin photodiode structure.
  • the PSD sensor is a type of infrared sensor, and uses infrared rays to measure distance by measuring the angle of the infrared rays reflected from the obstacle after transmitting the infrared rays. That is, the PSD sensor calculates the distance to the obstacle by using a triangulation method.
  • the PSD sensor includes a light emitting part for emitting infrared rays to an obstacle and a light receiving part for receiving infrared rays reflected from the obstacle, and is generally configured in a module form.
  • a stable measurement value can be obtained regardless of the difference in reflectance and color of the obstacle.
  • the controller 180 may measure the angle of the cliff and analyze the depth of the cliff by measuring an infrared angle between the infrared light emitted by the cliff sensor and the reflected signal received by the obstacle.
  • the controller 180 may determine whether to pass according to the ground condition of the cliff detected using the cliff detection sensor, and may determine whether the cliff passes according to the determination result. For example, the controller 180 determines whether the cliff is present and the depth of the cliff through the cliff detection sensor, and passes the cliff only when the reflection signal is detected by the cliff detection sensor.
  • the controller 180 may determine the lifting phenomenon of the mobile robot using the cliff detection sensor.
  • the lower camera sensor is provided on the rear surface of the mobile robot, and acquires image information on the lower side, that is, the bottom surface (or the surface to be cleaned) during the movement.
  • the lower camera sensor is also called an optical flow sensor in other words.
  • the lower camera sensor converts a lower image input from an image sensor provided in the sensor to generate image data of a predetermined format.
  • the generated image data may be stored in the memory 170.
  • the lower camera sensor may further include a lens (not shown) and a lens adjusting unit (not shown) for adjusting the lens.
  • a lens a short focal length and a deep depth of focus lens may be used.
  • the lens adjusting unit includes a predetermined motor and moving means for moving back and forth to adjust the lens.
  • one or more light sources may be installed adjacent to the image sensor.
  • the one or more light sources irradiate light to a predetermined area of the bottom surface photographed by the image sensor. That is, when the mobile robot moves a specific area along the bottom surface, if the bottom surface is flat, a constant distance is maintained between the image sensor and the bottom surface. On the other hand, when the mobile robot moves the bottom surface of the non-uniform surface, the robot moves away by a certain distance due to irregularities and obstacles on the bottom surface.
  • one or more light sources may be controlled by the controller 180 to adjust the amount of light to be irradiated.
  • the light source may be a light emitting device capable of adjusting light quantity, for example, a light emitting diode (LED) or the like.
  • the controller 180 may detect the position of the mobile robot regardless of the sliding of the mobile robot.
  • the controller 180 may calculate the moving distance and the moving direction by comparing and analyzing the image data photographed by the lower camera sensor with time, and calculate the position of the mobile robot based on this.
  • the controller 180 can correct the sliding against the position of the mobile robot calculated by other means.
  • the upper camera sensor is installed to face upward or forward of the mobile robot can take a picture around the mobile robot.
  • the camera sensors may be formed on the top or side surfaces of the mobile robot at a predetermined distance or at an angle.
  • the upper camera sensor may further include a lens for focusing a subject, an adjusting unit for adjusting a camera sensor, and a lens adjusting unit for adjusting the lens.
  • the lens uses a lens having a wide angle of view so that all the surrounding areas, for example, all areas of the ceiling can be photographed even at a predetermined position.
  • the angle of view includes a lens having a certain angle, for example 160 degrees or more.
  • the controller 180 may recognize the location of the mobile robot by using the image data captured by the upper camera sensor and generate map information on a specific area.
  • the controller 180 may precisely recognize a position by using image data obtained by an acceleration sensor, a gyro sensor, a wheel sensor, a lower camera sensor, and image data obtained by the upper camera sensor.
  • the controller 180 may generate map information by using obstacle information detected by the front sensor or the obstacle sensor and the position recognized by the upper camera sensor.
  • the map information may not be generated by the controller 180, may be input from the outside, and may be stored in the memory 170.
  • the upper camera sensor may be installed to face the front of the mobile robot.
  • the installation direction of the upper camera sensor may be fixed or may be changed by the controller 180.
  • the mobile robot 100 may include a main body 50 provided to be movable.
  • the main body 50 may include a cleaning unit (not shown) for generating a suction force.
  • the main body 50 may include a cutting unit (not shown) for cutting the grass.
  • the main body 50 is provided with a driving unit for moving and rotating the main body 50 in a desired direction.
  • the drive unit may include a plurality of rotatable wheels, each wheel may be rotated individually, so that the main body 50 may be rotated in a desired direction.
  • the driving unit may include at least one main driving wheel 40 and an auxiliary wheel (not shown).
  • the main body 50 may include two main driving wheels 40, and the main driving wheels may be installed at the rear bottom surface of the main body 50.
  • the main body 50 may include a sensor capable of detecting a boundary wire (not shown) defining an outline of a driving area of the mobile robot.
  • the sensor senses the magnetic field generated by the current flowing through the boundary wire and the voltage value induced thereby, so that the main body 50 has reached the boundary wire, and the main body 50 is connected to the boundary wire. It is possible to obtain information on whether or not present in the closed curved surface formed by, the main body 50 is running along the boundary wire.
  • the senor can detect a variety of information about the moving distance, the moving speed, the relative position change according to the movement of the main body 50.
  • the main body 50 may drive the driving wheel 40 by using the information detected by the sensor. That is, the controller 20 may drive the driving unit to control the running of the main body 50 using the information measured by the sensor so that the main body 50 is located inside the working area.
  • the main body 50 may include a sensor detecting a voltage value induced from the boundary wire, and a controller 20 determining a distance between the main body 50 and the boundary wire based on the voltage value detected by the sensor. Can be.
  • the main body 50 may include a power receiver 60 in contact with the charging device 100 to receive power.
  • the power receiver 60 may include at least one terminal. Specifically, the terminal is coupled to the elastic portion (not shown), it may be formed to enable vertical movement.
  • the power receiving unit 60 may be installed above any one of the main driving wheels 40 of the driving unit. In addition, the power receiver 60 may be installed to be exposed above the main body 50.
  • FIG. 2A a marker that is a photographing target of a mobile robot according to an embodiment of the present invention is described.
  • the marker 200 may be formed in a cylindrical shape. On the upper surface of the marker 200, a marker 220 indicating the direction of the marker 200 may be formed. As a result, the marker 200 may be installed such that a direction of any one of the coordinate axes of the specific coordinate system 221 and a direction of the marker 220 correspond to each other.
  • the appearance of the marker 200 may be formed in a pattern including at least one of a vertical line segment and a diagonal line segment.
  • the pattern may be formed in a simple shape so that it can be recognized without photographing with a high performance camera.
  • the plurality of line segments included in the pattern may define a plurality of regions, and the plurality of regions defined as described above may have a predetermined area value or more.
  • the number of vertices included in the plurality of regions defined above may be a predetermined number or less.
  • any one of the plurality of areas defined above may have any one of two colors selected by the user.
  • a lower portion of the marker 200 may include a fixing unit (not shown), and the fixing unit fixes the main body and the bottom of the marker 200 so that the installation direction of the marker 200 is not changed by an external force. You can.
  • the fixing unit includes a motor, and the installation direction of the marker 200 may be changed according to the movement of the motor.
  • the marker 200 may include a communication unit (not shown), and the communication unit of the marker 200 may perform data transmission / reception with the communication unit 110 of the mobile robot 100.
  • the appearance of the marker 200 may be formed as a display unit, and the appearance of the marker 200 may be changed according to the output of the display.
  • FIG. 2B one embodiment of the pattern shown in the appearance of the marker 200 is described.
  • 2B shows the pattern 210 of the cylindrical marker 200 in a two-dimensional plane.
  • the pattern 210 according to the present invention may be formed of a plurality of vertical line segments and diagonal line segments.
  • the pattern 210 may be divided into a plurality of regions by a plurality of vertical line segments and diagonal line segments. Any one of the plurality of regions may be formed in a different color from each of the adjacent regions. In addition, any one of the plurality of regions may be formed of any one of two colors selected by the user.
  • the pattern 210 formed in two colors may include a first edge 211 (WB) and a second edge 212 (BW).
  • WB first edge 211
  • BW second edge 212
  • the first edge 211 may correspond to a portion changed from white to black
  • the second edge 212 may be formed at a portion changed from black to white.
  • the reference direction associated with the first and second edges may be directed from the left side to the right side of the pattern 210.
  • the pattern 210 may include a vertical line segment 213.
  • the longitudinal line segment 213 may be formed by continuously connecting the first and second edges.
  • the information related to the pattern 210 may include a specific angle value 214 corresponding to each vertical line segment.
  • the vertical line segment 213 may correspond to the mark 220, and 0 ° may be assigned to the vertical line segment corresponding to the mark 220. (See Figure 2A)
  • the information related to the pattern 210 may include information related to the edge included in each vertical line segment. Specifically, the information related to the pattern 210 may include information related to at least one of the number of edges included in each vertical line segment, the length d1 of each edge, and the type of edge.
  • the controller 180 may extract the vertical line segment from the image related to the pattern 210 based on the information related to the pattern 210 as described above, and the extracted vertical line segment is the marker 200. It may be detected in which direction based on a specific coordinate axis 221 on the surface of the.
  • the information related to the pattern 210 stored in the memory 170 may be formed in a table form, including information related to an angle, an edge length, and the like corresponding to each vertical line segment.
  • a plurality of vertical line segments included in the pattern 210 may be disposed at specific intervals d2.
  • FIG. 2C an exemplary embodiment in which the mobile robot 100 recognizes the marker 200 and returns to the charging station will be described.
  • the mobile robot 100 may acquire an image related to the marker 200 and detect information related to a position and posture relative to the marker 200. As a result, the mobile robot 100 may enter the place where the marker 200 is installed while maintaining a specific posture.
  • the place where the marker 200 is installed may be a place where the charging stand of the mobile robot 100 is installed.
  • the memory 170 stores information related to the direction in which the marker 220 of the marker 200 is directed and the posture at which the charging station and the mobile robot are coupled
  • the controller 180 stores the information related to the stored information and the marker. You can safely enter the charging station by using.
  • the camera of the mobile robot 100 may capture an image related to the marker 200 (S310).
  • the camera may be fixedly installed to face the front or specific direction of the mobile robot 100.
  • the camera may capture an image related to the marker 200 at predetermined intervals.
  • the controller 180 may perform a marker recognition function on the captured image whenever the camera captures an image related to the marker 200.
  • the controller 180 may extract at least one vertical line segment included in the appearance of the marker 200 (S320).
  • the controller 180 may detect the position of the robot based on the extracted vertical line segment and the information related to the pattern 210 of the marker 200 (S330).
  • the controller 180 may calculate a distance between the marker and the main body based on the information related to the pattern 210 and the length of the extracted vertical line segment.
  • the information related to the pattern 210 of the marker 200 may include at least one of an actual distance between the longitudinal segments included in the pattern 210, an angle value corresponding to each of the longitudinal segments, and a length of the longitudinal segment. It may include information related to one.
  • the controller 180 compares the actual distance between the vertical line segments included in the pattern 210 and the extracted length in the longitudinal direction, and thus, the distance between the main body of the mobile robot 100 and the marker 200. Can be calculated.
  • the controller 180 may determine the camera based on the ratio of the actual length of the vertical line segment included in the pattern 210 of the marker 200 and the length of the vertical line segment extracted from the image related to the marker 200. Information related to the distance from the lens to the center of the marker 200 may be detected. In addition, the controller 180 may estimate coordinate information related to the current position of the main body based on the coordinate information of the marker 200 stored in the memory 170.
  • the controller 180 of another embodiment may calculate the distance between the main body and the marker 200 by using the attribute information of the camera together with the information related to the pattern 210 and the length of the extracted vertical line segment. . More specifically, the controller 180 may calculate a distance between the main body and the marker 200 based on the attributes of the camera installed in the mobile robot 100.
  • the attribute information of the camera may include information related to at least one of the magnification of the lens installed in the camera, the focal length of the lens, and the magnification of the photographed image.
  • controller 180 may detect the posture of the robot based on the extracted vertical line segment and the information related to the pattern 210 of the marker 200 (S340).
  • the controller 180 may detect information related to the relative direction of the main body with respect to the marker based on the information related to the pattern 210 and the extracted distance between the vertical line segments. For example, the controller 180 may detect information related to the relative direction of the main body with respect to the marker 200 based on the extracted pixel distance between the vertical line segments.
  • the controller 180 may calculate an angle difference between the direction of the lens of the camera and the direction in which the marker 200 is installed, based on the extracted distance between the vertical line segments.
  • the controller 180 may detect information related to the attitude of the main body by using information related to the direction in which the marker 220 of the marker 200 is directed.
  • the information related to the posture of the main body may include information related to the relative direction of the main body with respect to the direction in which the marker 200 is installed.
  • the controller 180 may update information related to the detected position and posture of the detected main body at each predetermined period.
  • controller 180 may control the driver 130 based on at least one of the position and the attitude of the robot (S350).
  • the controller 180 may detect coordinate information of the current position of the mobile robot 100 with respect to a preset coordinate axis by performing the line segment extraction step S320, the position detection step S330, and the attitude detection step S340. have.
  • the controller 180 may determine whether the mobile robot 100 deviated from the driving route by comparing the information related to the driving route with the coordinate information of the detected current position. If it is determined that the controller 180 deviates from the driving route, the controller 180 may control the driving unit 130 to enter the traveling route of the mobile robot 100.
  • the controller 180 may control the driver 130 to perform the marker recognition at each preset period and to correct the posture and the position of the mobile robot 100 at the preset period.
  • the camera may acquire an image related to a marker (S410).
  • the image associated with the marker obtained by the camera is shown in detail in FIG. 4B.
  • the acquired image 400 may include a portion 401 associated with the marker 200.
  • the image 400 may include a part related to an object disposed around the marker 200.
  • the controller 180 needs to separately extract a portion 401 associated with the marker 200 from the acquired image 400, and this extraction method will be described in detail below.
  • the controller 180 may binarize the obtained image (S420).
  • the controller 180 may extract information related to the color allocated to each pixel of the acquired image 400, and allocate a binary number to each pixel based on the extracted color.
  • the controller 180 can perform image analysis using the assigned binary number.
  • the controller 180 may detect the vertical edge by analyzing the binarized image in a specific direction (S430).
  • the controller 180 compares the colors assigned to the pixels that are in contact with each other based on the left and right directions of the image 400, and changes the portion of the first color from the first color to the second color different from the first color. It can be detected by the edge.
  • the first and second colors may be two colors included in the appearance of the marker 200, respectively.
  • the first color may be white and the second color may be black.
  • the controller 180 analyzes the color assigned to the pixel from the left side to the right side of the image 400 so as to change the first vertical edge from the first color to the second color, and the first color from the second color. It is possible to detect the second longitudinal edge changed to.
  • the first vertical edge may be defined as "WB edge”
  • the second vertical edge may be defined as "BW edge”.
  • the first and second colors and the direction of analyzing the image are not limited to the above-described configuration and may be set according to the pattern 210 of the marker 200.
  • the controller 180 may group a plurality of edges satisfying a preset condition and detect vertical line segments (S440).
  • the controller 180 may group the continuous edges and detect vertical line segments.
  • the specific number may be three. In another example, the specific number may be set by the user.
  • the controller 180 can detect the vertical line segment by grouping the continuous edges.
  • the controller 180 can detect the vertical line segment by grouping the continuous edges.
  • the controller 180 may select at least one line segment from the plurality of detected vertical line segments. In addition, the controller 180 may extract coordinate information corresponding to the current position of the mobile robot 100 using the selected vertical line segment.
  • the controller 180 can calculate a distance between the marker and the main body based on the information related to the pattern 210 and the length of the extracted vertical line segment.
  • the controller 180 may detect information related to the relative direction of the main body with respect to the marker, based on the information related to the pattern 210 and the extracted vertical line segment. For example, the controller 180 may detect information related to the relative direction of the main body with respect to the marker 200 based on the extracted pixel distance between the vertical line segments.
  • controller 180 may control the driver 130 based on information associated with at least one of the vertical line segment and the marker pattern (S450).
  • the controller 180 extracts a portion related to the marker 200 of the image 400, except for a portion related to the bottom of the image 400 and surrounding objects, the marker 200. You can perform the line segment extraction function for the part related to).
  • the method of forming the pattern 210 of the marker 200 is simple, the acquired image 400 does not need to be a high resolution image.
  • the mobile robot 100 according to the present invention uses only a low-cost camera to recognize the pattern. Can be performed.
  • the camera of the mobile robot 100 may capture an image related to the marker 200 while pointing in the first direction (X).
  • the controller 180 may extract information related to the three vertical line segments 510a, 510b, and 510c from the image photographed by the camera.
  • the controller 180 may search for information related to the extracted vertical line segments 510a, 510b, and 510c in the information related to the pattern of the marker 200 stored in the memory 170.
  • the information related to the longitudinal line segment may include information related to the coordinates of each longitudinal line segment and angles ⁇ a, ⁇ b, and ⁇ c that each vertical line segment forms with respect to the preset reference axis 501.
  • the reference axis 501 may correspond to the direction in which the marker 220 of the marker 200 is directed (see FIG. 2A).
  • the information related to the vertical line segment may include information related to the distances dl and dr between the vertical line segments extracted from the image acquired by the camera.
  • the distance dl, dr between the extracted longitudinal segments may correspond to the distance between the points separated by the focal length f from the lens of the camera on an imaginary line connected from the camera's lens to the actual position of the longitudinal segment. Can be.
  • the controller 180 controls the distances dl and dr between the extracted longitudinal segments, the angles ⁇ a, ⁇ b, and ⁇ c that each longitudinal segment is formed with respect to the preset reference axis 501, and the respective longitudinal segments.
  • the information related to the coordinates may be used to detect the direction X of the camera with respect to the reference axis 501. As a result, the controller 180 can extract information related to the posture of the main body.
  • the effect of maintaining the performance related to pattern recognition while reducing the unit cost of the mobile robot is derived.
  • the present invention it is possible to more accurately estimate the position and the moving direction of the mobile robot. That is, according to the control method of the mobile robot according to the present invention, it is possible to accurately estimate the relative coordinates and attitude to the marker.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따르는 이동 로봇은, 본체, 상기 본체를 이동시키는 구동부, 상기 본체의 일측에 설치되어, 마커와 관련된 영상을 촬영하는 카메라, 상기 마커의 패턴과 관련된 정보를 저장하는 메모리, 상기 촬영된 영상에서, 상기 마커의 외관에 포함된 적어도 하나의 세로방향 선분과 관련된 정보를 추출하고, 상기 추출된 세로방향 선분 및 상기 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 위치 및 자세와 관련된 정보를 검출하고, 상기 검출된 본체의 위치 및 자세 중 적어도 하나에 근거하여, 상기 구동부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

이동 로봇 및 그 제어방법
본 발명은 이동 로봇 및 그 제어 방법에 관한 것으로서, 보다 상세하게는, 마커 인식을 수행하는 이동 로봇 및 그 제어 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.
최근에는, 로봇 청소기가 청소 영역을 단순히 자율적으로 주행하여 청소를 수행하는 것에서 벗어나 로봇 청소기를 헬스 케어, 스마트홈, 원격제어 등 다양한 분야에 활용하기 위한 연구가 활발하게 이루어지고 있다.
본 발명이 해결하고자 하는 기술적 과제는, 다양한 방향에서도 마커 인식을 수행할 수 있는 이동 로봇 및 이의 제어방법을 제공하는 것이다.
또한 본 발명의 목적은, 저해상도 카메라를 이용하여 마커 인식을 수행할 수 있는 이동 로봇 및 이의 제어방법을 제공하는 것이다.
또한 본 발명의 목적은, 원통형 마커에 대해 마커 인식을 수행함으로써, 이동 로봇의 위치 및 자세를 검출하는 것이다.
이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따르는 이동 로봇은, 본체, 상기 본체를 이동시키는 구동부, 상기 본체의 일측에 설치되어, 마커와 관련된 영상을 촬영하는 카메라, 상기 마커의 패턴과 관련된 정보를 저장하는 메모리, 상기 촬영된 영상에서, 상기 마커의 외관에 포함된 적어도 하나의 세로방향 선분과 관련된 정보를 추출하고, 상기 추출된 세로방향 선분 및 상기 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 위치 및 자세와 관련된 정보를 검출하고, 상기 검출된 본체의 위치 및 자세 중 적어도 하나에 근거하여, 상기 구동부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 제어부는 상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분의 길이에 근거하여, 상기 마커와 상기 본체 사이의 거리를 산출하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 제어부는 상기 추출된 세로방향 선분과 함께, 상기 카메라의 배율과 관련된 정보를 이용하여, 상기 마커와 상기 본체 사이의 거리를 산출하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 제어부는 상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분 사이의 거리에 근거하여, 상기 마커에 대한 상기 본체의 상대적 방향과 관련된 정보를 검출하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 메모리는 상기 이동 로봇의 경로와 관련된 정보를 저장하고, 상기 제어부는 상기 검출된 본체의 위치 및 자세와 상기 경로와 관련된 정보를 비교하고, 상기 비교결과에 근거하여 상기 구동부를 제어하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 카메라는 기 설정된 주기마다 상기 마커와 관련된 영상을 촬영하고, 상기 제어부는 상기 기 설정된 주기마다 상기 검출된 본체의 위치 및 자세와 관련된 정보를 갱신하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 제어부는 상기 영상에 포함된 픽셀 중 제1 색에서 제2 색으로 변경되는 부분을 세로방향 엣지로 추출하고, 상기 추출된 세로방향 엣지 중 기 설정된 조건을 만족하는 일부를 그룹화하여 상기 세로방향 선분을 검출하는 것을 특징으로 한다.
또한, 본 발명에 따르는 이동 로봇의 제어방법의 일 실시예 따르면, 마커와 관련된 영상을 촬영하는 단계, 상기 촬영된 영상에서, 상기 마커의 외관에 포함된 적어도 하나의 세로방향 선분과 관련된 정보를 추출하는 단계, 상기 추출된 세로방향 선분 및 상기 마커의 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 위치와 관련된 정보를 검출하는 단계, 상기 추출된 세로방향 선분 및 상기 마커의 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 자세와 관련된 정보를 검출하는 단계 및 상기 검출된 본체의 위치 및 자세 중 적어도 하나에 근거하여, 구동부를 제어하는 단계를 포함하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 본체의 위치와 관련된 정보를 검출하는 단계는, 상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분의 길이에 근거하여, 상기 마커와 상기 본체 사이의 거리를 산출하는 과정을 포함하는 것을 특징으로 한다.
본 발명과 관련된 일 실시 예에 따르면, 상기 본체의 자세와 관련된 정보를 검출하는 단계는 상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분 사이의 거리에 근거하여, 상기 마커에 대한 상기 본체의 상대적 방향과 관련된 정보를 검출하는 과정을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 단순한 패턴을 이용하여 이동 로봇의 위치 및 진행 방향을 추정함으로써, 이동 로봇의 단가를 감소시키면서도 패턴 인식과 관련된 성능을 유지하는 효과가 도출된다.
또한, 본 발명에 따르면, 다양한 위치 및 방향에서 마커 인식이 가능해지며, 이로써 마커 인식의 인식률이 증가되는 효과가 도출된다.
또한, 본 발명에 따르면, 이동 로봇의 위치 및 진행 방향을 보다 정확하게 추정할 수 있다. 즉 본 발명에 따른 이동 로봇의 제어방법에 의하면, 마커에 대한 상대적인 좌표 및 자세를 정확하게 추정할 수 있다.
도 1a는 본 발명의 일 실시예에 따른 이동 로봇의 구성을 나타내는 블록도이다.
도 1b는 본 발명의 일 실시예에 따른 이동 로봇의 외관을 나타내는 사시도이다.
도 2a는 본 발명의 일 실시예에 따른 이동 로봇의 촬영 대상인 마커의 외관을 나타내는 사시도이다.
도 2b는 도 2a에 도시된 마커의 외관을 2차원 평면에 도시한 개념도이다.
도 2c는 도 2a에 도시된 마커를 인식하는 이동 로봇에 관련된 일 실시예를 나타내는 개념도이다
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 제어방법을 나타내는 흐름도이다.
도 4a는 본 발명의 또 다른 실시예에 따른 이동 로봇의 제어방법을 나타내는 흐름도이다.
도 4b는 본 발명에 따른 이동 로봇의 카메라에 의해 촬영된 이미지의 일 예를 나타내는 개념도이다.
도 5는 본 발명에 따른 이동 로봇이 마커에 대한 상대적인 좌표 및 방향을 산출하는 방법을 나타내는 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
이하의 도 1a에서는 본 발명의 일 실시예에 따른 이동 로봇의 구성이 설명된다.
도 1a에 도시한 바와 같이, 본 발명의 일 실시 예에 따른 이동 로봇은, 통신부(110), 입력부(120), 구동부(130), 센싱부(140), 출력부(150), 전원부(160), 메모리(170) 및 제어부(180) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
이때, 도 1a에 도시한 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 로봇 청소기가 구현될 수 있음은 물론이다. 이하, 각 구성요소들에 대해 살펴보기로 한다.
우선, 전원부(160)는 외부 상용 전원에 의해 충전 가능한 배터리를 구비하여 이동 로봇 내로 전원을 공급한다. 전원부(160)는 이동 로봇에 포함된 각 구성들에 구동 전원을 공급하여, 이동 로봇이 주행하거나 특정 기능을 수행하는데 요구되는 동작 전원을 공급할 수 있다.
이때, 제어부(180)는 배터리의 전원 잔량을 감지하고, 전원 잔량이 부족하면 외부 상용 전원과 연결된 충전대로 이동하도록 제어하여, 충전대로부터 충전 전류를 공급받아 배터리를 충전할 수 있다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 제어부(180)에 전달될 수 있다. 출력부(150)은 제어부에 의해 상기 배터리 잔량을 화면에 표시할 수 있다.
배터리는 로봇 청소기 중앙의 하부에 위치할 수도 있고, 좌, 우측 중 어느 한쪽에 위치할 수도 있다. 후자의 경우, 이동 로봇은 배터리의 무게 편중을 해소하기 위해 균형추를 더 구비할 수 있다.
한편, 구동부(130)는 모터를 구비하여, 상기 모터를 구동함으로써, 좌, 우측 주바퀴를 양 방향으로 회전시켜 본체를 회전 또는 이동시킬 수 있다. 구동부(130)는 이동 로봇의 본체를 전후좌우로 진행시키거나, 곡선주행시키거나, 제자리 회전시킬 수 있다.
한편, 입력부(120)는 사용자로부터 로봇 청소기에 대한 각종 제어 명령을 입력받는다. 입력부(120)는 하나 이상의 버튼을 포함할 수 있고, 예를 들어, 입력부(120)는 확인버튼, 설정버튼 등을 포함할 수 있다. 확인버튼은 감지 정보, 장애물 정보, 위치 정보, 맵 정보를 확인하는 명령을 사용자로부터 입력받기 위한 버튼이고, 설정버튼은 상기 정보들을 설정하는 명령을 사용자로부터 입력받기 위한 버튼이다.
또한, 입력부(120)는 이전 사용자 입력을 취소하고 다시 사용자 입력을 받기 위한 입력재설정버튼, 기 설정된 사용자 입력을 삭제하기 위한 삭제버튼, 작동 모드를 설정하거나 변경하는 버튼, 충전대로 복귀하도록 하는 명령을 입력받는 버튼 등을 포함할 수 있다.
또한, 입력부(120)는 하드 키나 소프트 키, 터치패드 등으로 이동 로봇의 상부에 설치될 수 있다. 또, 입력부(120)는 출력부(150)와 함께 터치 스크린의 형태를 가질 수 있다.
한편, 출력부(150)는, 이동 로봇의 상부에 설치될 수 있다. 물론 설치 위치나 설치 형태는 달라질 수 있다. 예를 들어, 출력부(150)는 배터리 상태 또는 주행 방식 등을 화면에 표시할 수 있다.
또한, 출력부(150)는, 센싱부(140)가 검출한 이동 로봇 내부의 상태 정보, 예를 들어 이동 로봇에 포함된 각 구성들의 현재 상태를 출력할 수 있다. 또, 출력부(150)는 센싱부(140)가 검출한 외부의 상태 정보, 장애물 정보, 위치 정보, 지도 정보 등을 화면에 디스플레이할 수 있다. 출력부(150)는 발광 다이오드(Light Emitting Diode; LED), 액정 표시 장치(Liquid Crystal Display; LCD), 플라즈마 표시 패널(Plasma Display Panel), 유기 발광 다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.
출력부(150)는, 제어부(180)에 의해 수행되는 이동 로봇의 동작 과정 또는 동작 결과를 청각적으로 출력하는 음향 출력 수단을 더 포함할 수 있다. 예를 들어, 출력부(150)는 제어부(180)에 의해 생성된 경고 신호에 따라 외부에 경고음을 출력할 수 있다.
이때, 음향 출력 수단은 비퍼(beeper), 스피커 등의 음향을 출력하는 수단일 수 있고, 출력부(150)는 메모리(170)에 저장된 소정의 패턴을 가진 오디오 데이터 또는 메시지 데이터 등을 이용하여 음향 출력 수단을 통해 외부로 출력할 수 있다.
따라서, 본 발명의 일 실시예에 따른 이동 로봇은, 출력부(150)를 통해 주행 영역에 대한 환경 정보를 화면에 출력하거나 음향으로 출력할 수 있다. 또 다른 실시예에 따라, 이동 로봇은 출력부(150)를 통해 출력할 화면이나 음향을 단말 장치가 출력하도록, 지도 정보 또는 환경 정보를 통신부(110)릍 통해 단말 장치에 전송할 수 있다.
한편, 통신부(110)는 단말 장치 및/또는 특정 영역 내 위치한 타 기기(본 명세서에서는 "가전 기기"라는 용어와 혼용하기로 한다)와 유선, 무선, 위성 통신 방식들 중 하나의 통신 방식으로 연결되어 신호와 데이터를 송수신한다.
통신부(110)는 특정 영역 내에 위치한 타 기기와 데이터를 송수신할 수 있다. 이때, 타 기기는 네트워크에 연결하여 데이터를 송수신할 수 있는 장치이면 어느 것이어도 무방하며, 일 예로, 공기 조화 장치, 난방 장치, 공기 정화 장치, 전등, TV, 자동차 등과 같은 장치일 수 있다. 또한, 상기 타 기기는, 문, 창문, 수도 밸브, 가스 밸브 등을 제어하는 장치 등일 수 있다. 또한, 상기 타 기기는, 온도, 습도, 기압, 가스 등을 감지하는 센서 등일 수 있다.
따라서, 제어부(180)는 통신부(110)를 통해 상기 타 기기에 제어 신호를 전송할 수 있고, 이에 따라, 상기 타 기기는 수신한 제어 신호에 따라 동작할 수 있다. 일 예로, 상기 타 기기가 공기 조화 장치인 경우, 전원을 켜거나 제어 신호에 따라 특정 영역에 대하여 냉방 또는 난방을 수행할 수 있고, 창문을 제어하는 장치인 경우, 제어 신호에 따라 창문을 개폐하거나 일정 비율로 개방할 수 있다.
또한, 통신부(110)는 특정 영역 내에 위치한 적어도 하나의 타 기기로부터 각종 상태 정보 등을 수신할 수 있고, 일 예로, 통신부(110)는 공기 조화 장치의 설정 온도, 창문의 개폐 여부 또는 개폐 정도를 나타내는 개폐 정보, 온도 센서에 의해 감지되는 특정 영역의 현재 온도 등을 수신할 수 있다.
이에 따라, 제어부(180)는 상기 상태 정보, 입력부(120)를 통한 사용자 입력, 또는 단말 장치를 통한 사용자 입력에 따라 상기 타 기기에 대한 제어 신호를 생성할 수 있다.
이때, 통신부(110)는 적어도 하나의 타 기기와 통신하기 위해 라디오 주파수(RF) 통신, 블루투스(Bluetooth), 적외선 통신(IrDA), 무선 랜(LAN), 지그비(Zigbee) 등과 같은 무선 통신 방식 중 적어도 하나의 통신 방식을 채용할 수 있고, 이에 따라 상기 타 기기 및 이동 로봇(100)은 적어도 하나의 네트워크를 구성할 수 있다. 이때, 상기 네트워크는, 인터넷(internet)인 것이 바람직하다.
통신부(110)는 단말 장치로부터 제어 신호를 수신할 수 있다. 이에 따라, 제어부(180)는 상기 통신부(110)를 통해 수신한 제어 신호에 따라 다양한 작업과 관련된 제어 명령을 수행할 수 있다. 일 예로, 입력부(120)를 통해 사용자로부터 입력받을 수 있는 제어 명령을 통신부(110)를 통해 단말 장치로부터 수신할 수 있고, 제어부(180)는 수신한 제어 명령을 수행할 수 있다. 또한, 통신부(110)는 상기 단말 장치로 이동 로봇의 상태 정보, 장애물 정보, 위치 정보, 영상 정보, 지도 정보 등을 전송할 수 있다. 일 예로, 출력부(150)를 통해 출력할 수 있는 각종 정보를 통신부(110)를 통해 단말 장치로 전송할 수 있다.
이때, 통신부(110)는, 랩탑(laptop)과 같은 컴퓨터, 디스플레이 장치 및 이동 단말기(일 예로, 스마트폰) 등과 같은 단말 장치와 통신하기 위해 라디오 주파수(RF) 통신, 블루투스(Bluetooth), 적외선 통신(IrDA), 무선 랜(LAN), 지그비(Zigbee) 등과 같은 무선 통신 방식 중 적어도 하나의 통신 방식을 채용할 수 있고, 이에 따라 상기 타 기기 및 이동 로봇(100)은 적어도 하나의 네트워크를 구성할 수 있다. 이때, 상기 네트워크는, 인터넷(internet)인 것이 바람직하다. 예를 들어, 단말 장치가 이동 단말기인 경우에 로봇 청소기(100)는 이동 단말기가 가용한 통신 방식을 사용하는 통신부(110)를 통해 단말 장치와 통신할 수 있다.
한편, 메모리(170)는 로봇 청소기를 제어 또는 구동하는 제어 프로그램 및 그에 따른 데이터를 저장한다. 메모리(170)는 오디오 정보, 영상 정보, 장애물 정보, 위치 정보, 지도 정보 등을 저장할 수 있다. 또, 메모리(170)는 주행 패턴과 관련된 정보를 저장할 수 있다.
상기 메모리(170)는 비휘발성 메모리를 주로 사용한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지할 수 있는 저장 장치로서, 일 예로, 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등일 수 있다.
한편, 센싱부(140)는, 외부 신호 감지 센서, 전방 감지 센서, 낭떠러지 감지 센서, 하부 카메라 센서, 상부 카메라 센서 중 적어도 하나를 포함할 수 있다.
외부 신호 감지 센서는 이동 로봇의 외부 신호를 감지할 수 있다. 외부 신호 감지 센서는, 일 예로, 적외선 센서(Infrared Ray Sensor), 초음파 센서(Ultra Sonic Sensor), RF 센서(Radio Frequency Sensor) 등일 수 있다.
이동 로봇은 외부 신호 감지 센서를 이용하여 충전대가 발생하는 안내 신호를 수신하여 충전대의 위치 및 방향을 확인할 수 있다. 이때, 충전대는 이동 로봇이 복귀 가능하도록 방향 및 거리를 지시하는 안내 신호를 발신할 수 있다. 즉, 이동 로봇은 충전대로부터 발신되는 신호를 수신하여 현재의 위치를 판단하고 이동 방향을 설정하여 충전대로 복귀할 수 있다.
또한, 이동 로봇은 외부 신호 감지 센서를 이용하여 리모컨, 단말기 등의 원격 제어 장치가 발생하는 신호를 감지할 수 있다.
외부 신호 감지 센서는 이동 로봇의 내부나 외부의 일 측에 구비될 수 있다. 일 예로, 적외선 센서는 이동 로봇 내부 또는 출력부(150)의 하부 또는 상부 카메라 센서의 주변에 설치될 수 있다.
한편, 전방 감지 센서는, 이동 로봇의 전방, 구체적으로 이동 로봇의 측면 외주면을 따라 일정 간격으로 설치될 수 있다. 전방 감지 센서는 이동 로봇의 적어도 일 측면에 위치하여, 전방의 장애물을 감지하기 위한 것으로서, 전방 감지 센서는 이동 로봇의 이동 방향에 존재하는 물체, 특히 장애물을 감지하여 검출 정보를 제어부(180)에 전달할 수 있다. 즉, 전방 감지 센서는, 이동 로봇의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어부(180)에 전달할 수 있다.
전방 감지 센서는, 일 예로, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서 등일 수 있고, 이동 로봇은 전방 감지 센서로 한 가지 종류의 센서를 사용하거나 필요에 따라 두 가지 종류 이상의 센서를 함께 사용할 수 있다.
일 예로, 초음파 센서는 일반적으로 원거리의 장애물을 감지하는 데에 주로 사용될 수 있다. 초음파 센서는 발신부와 수신부를 구비하여, 제어부(180)는 발신부를 통해 방사된 초음파가 장애물 등에 의해 반사되어 수신부에 수신되는 지의 여부로 장애물의 존부를 판단하고, 초음파 방사 시간과 초음파 수신 시간을 이용하여 장애물과의 거리를 산출할 수 있다.
또한, 제어부(180)는 발신부에서 방사된 초음파와, 수신부에 수신되는 초음파를 비교하여, 장애물의 크기와 관련된 정보를 검출할 수 있다. 예를 들어, 제어부(180)는 수신부에 더 많은 초음파가 수신될수록, 장애물의 크기가 큰 것으로 판단할 수 있다.
일 실시 예에서, 복수(일 예로, 5개)의 초음파 센서가 이동 로봇의 전방 측면에 외주면을 따라 설치될 수 있다. 이때, 바람직하게 초음파 센서는 발신부와 수신부가 교대로 이동 로봇의 전면에 설치될 수 있다.
즉, 발신부는 본체의 전면 중앙으로부터 좌, 우측에 이격되도록 배치될 수 있고, 수신부의 사이에 하나 또는 둘 이상의 발신부가 배치되어 장애물 등으로부터 반사된 초음파 신호의 수신 영역을 형성할 수 있다. 이와 같은 배치로 센서의 수를 줄이면서 수신 영역을 확장할 수 있다. 초음파의 발신 각도는 크로스토크(crosstalk) 현상을 방지하도록 서로 다른 신호에 영향을 미치지 아니하는 범위의 각을 유지할 수 있다. 또한, 수신부들의 수신 감도는 서로 다르게 설정될 수 있다.
또한, 초음파 센서에서 발신되는 초음파가 상향으로 출력되도록 초음파 센서는 일정 각도만큼 상향으로 설치될 수 있고, 이때, 초음파가 하향으로 방사되는 것을 방지하기 위해 소정의 차단 부재를 더 포함할 수 있다.
한편, 전방 감지 센서는, 전술한 바와 같이, 두 가지 종류 이상의 센서를 함께 사용할 수 있고, 이에 따라, 전방 감지 센서는 적외선 센서, 초음파 센서, RF 센서 등 중 어느 한 가지 종류의 센서를 사용할 수 있다.
일 예로, 전방 감지 센서는 초음파 센서 이외에 다른 종류의 센서로 적외선 센서를 포함할 수 있다.
적외선 센서는 초음파 센서와 함께 이동 로봇의 외주면에 설치될 수 있다. 적외선 센서 역시, 전방이나 측면에 존재하는 장애물을 감지하여 장애물 정보를 제어부(180)에 전달할 수 있다. 즉, 적외선 센서는, 이동 로봇의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어부(180)에 전달한다. 따라서, 이동 로봇은 본체가 장애물과의 충돌없이 특정 영역 내에서 이동할 수 있다.
한편, 낭떠러지 감지 센서(또는 클리프 센서(Cliff Sensor))는, 다양한 형태의 광 센서를 주로 이용하여, 이동 로봇의 본체를 지지하는 바닥의 장애물을 감지할 수 있다.
즉, 낭떠러지 감지 센서는, 바닥의 이동 로봇의 배면에 설치되되, 이동 로봇의 종류에 따라 다른 위치에 설치될 수 있음은 물론이다. 낭떠러지 감지 센서는 이동 로봇의 배면에 위치하여, 바닥의 장애물을 감지하기 위한 것으로서, 낭떠러지 감지 센서는 상기 장애물 감지 센서와 같이 발광부와 수광부를 구비한 적외선 센서, 초음파 센서, RF 센서, PSD(Position Sensitive Detector) 센서 등일 수 있다.
일 예로, 낭떠러지 감지 센서 중 어느 하나는 이동 로봇의 전방에 설치되고, 다른 두 개의 낭떠러지 감지 센서는 상대적으로 뒤쪽에 설치될 수 있다.
예를 들어, 낭떠러지 감지 센서는 PSD 센서일 수 있으나, 복수의 서로 다른 종류의 센서로 구성될 수도 있다.
PSD 센서는 반도체 표면저항을 이용해서 1개의 p-n접합으로 입사광의 단장거리 위치를 검출한다. PSD 센서에는 일축 방향만의 광을 검출하는 1차원 PSD 센서와, 평면상의 광위치를 검출할 수 있는 2차원 PSD 센서가 있으며, 모두 pin 포토 다이오드 구조를 가질 수 있다. PSD 센서는 적외선 센서의 일종으로서, 적외선을 이용하여, 적외선을 송신한 후 장애물에서 반사되어 돌아오는 적외선의 각도를 측정하여 거리를 측정한다. 즉, PSD 센서는 삼각측량방식을 이용하여, 장애물과의 거리를 산출한다.
PSD 센서는 장애물에 적외선을 발광하는 발광부와, 장애물로부터 반사되어 돌아오는 적외선을 수광하는 수광부를 구비하되, 일반적으로 모듈 형태로 구성된다. PSD 센서를 이용하여, 장애물을 감지하는 경우, 장애물의 반사율, 색의 차이에 상관없이 안정적인 측정값을 얻을 수 있다.
제어부(180)는 낭떠러지 감지 센서가 지면을 향해 발광한 적외선의 발광신호와 장애물에 의해 반사되어 수신되는 반사신호 간의 적외선 각도를 측정하여, 낭떠러지를 감지하고 그 깊이를 분석할 수 있다.
한편, 제어부(180)는 낭떠러지 감지 센서를 이용하여 감지한 낭떠러지의 지면 상태에 따라 통과 여부를 판단할 수 있고, 판단 결과에 따라 낭떠러지의 통과 여부를 결정할 수 있다. 예를 들어, 제어부(180)은 낭떠러지 감지 센서를 통해 낭떠러지의 존재 여부 및 낭떠러지 깊이를 판단한 다음, 낭떠러지 감지 센서를 통해 반사 신호를 감지한 경우에만 낭떠러지를 통과하도록 한다.
다른 예로, 제어부(180)은 낭떠러지 감지 센서를 이용하여 이동 로봇의 들림 현상을 판단할 수도 있다.
한편, 하부 카메라 센서는, 이동 로봇의 배면에 구비되어, 이동 중 하방, 즉, 바닥면(또는 피청소면)에 대한 이미지 정보를 획득한다. 하부 카메라 센서는, 다른 말로 옵티컬 플로우 센서(Optical Flow Sensor)라 칭하기도 한다. 하부 카메라 센서는, 센서 내에 구비된 이미지 센서로부터 입력되는 하방 영상을 변환하여 소정 형식의 영상 데이터를 생성한다. 생성된 영상 데이터는 메모리(170)에 저장될 수 있다.
하부 카메라 센서는, 렌즈(미도시)와 상기 렌즈를 조절하는 렌즈 조절부(미도시)를 더 구비할 수 있다. 상기 렌즈로는 초점거리가 짧고 심도가 깊은 팬포커스형 렌즈를 사용하는 것이 좋다. 상기 렌즈 조절부는 전후 이동되도록 하는 소정 모터와 이동수단을 구비하여 상기 렌즈를 조절한다.
또한, 하나 이상의 광원이 이미지 센서에 인접하여 설치될 수 있다. 하나 이상의 광원은, 이미지 센서에 의해 촬영되는 바닥면의 소정 영역에 빛을 조사한다. 즉, 이동 로봇이 바닥면을 따라 특정 영역을 이동하는 경우에, 바닥면이 평탄하면 이미지 센서와 바닥면 사이에는 일정한 거리가 유지된다. 반면, 이동 로봇이 불균일한 표면의 바닥면을 이동하는 경우에는 바닥면의 요철 및 장애물에 의해 일정 거리 이상 멀어지게 된다. 이때 하나 이상의 광원은 조사되는 빛의 양을 조절하도록 제어부(180)에 의해 제어될 수 있다. 상기 광원은 광량 조절이 가능한 발광 소자, 예를 들어 LED(Light Emitting Diode) 등일 수 있다.
하부 카메라 센서를 이용하여, 제어부(180)는 이동 로봇의 미끄러짐과 무관하게 이동 로봇의 위치를 검출할 수 있다. 제어부(180)은 하부 카메라 센서에 의해 촬영된 영상 데이터를 시간에 따라 비교 분석하여 이동 거리 및 이동 방향을 산출하고, 이를 근거로 이동 로봇의 위치를 산출할 수 있다. 하부 카메라 센서를 이용하여 이동 로봇의 하방에 대한 이미지 정보를 이용함으로써, 제어부(180)는 다른 수단에 의해 산출한 이동 로봇의 위치에 대하여 미끄러짐에 강인한 보정을 할 수 있다.
한편, 상부 카메라 센서는 이동 로봇의 상방이나 전방을 향하도록 설치되어 이동 로봇 주변을 촬영할 수 있다. 이동 로봇이 복수의 상부 카메라 센서들을 구비하는 경우, 카메라 센서들은 일정 거리 또는 일정 각도로 이동 로봇의 상부나 옆면에 형성될 수 있다.
상부 카메라 센서는 피사체의 초점을 맞추는 렌즈와, 카메라 센서를 조절하는 조절부와, 상기 렌즈를 조절하는 렌즈 조절부를 더 포함할 수 있다. 상기 렌즈는 소정의 위치에서도 주변의 모든 영역, 예를 들어 천장의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈를 사용한다. 예를 들어 화각이 일정 각, 예를 들어 160도, 이상인 렌즈를 포함한다.
제어부(180)는 상부 카메라 센서가 촬영한 영상 데이터를 이용하여 이동 로봇의 위치를 인식할 수 있고, 특정 영역에 대한 지도 정보를 생성할 수 있다. 제어부(180)은 가속도 센서, 자이로 센서, 휠 센서, 하부 카메라 센서에 의한 영상 데이터와 상부 카메라 센서에 의해 획득한 영상 데이터를 이용하여 정밀하게 위치를 인식할 수 있다.
또한, 제어부(180)는 전방 감지 센서나 장애물 감지 센서 등에 의해 검출된 장애물 정보와 상부 카메라 센서에 의해 인식된 위치를 이용하여, 지도 정보를 생성할 수 있다. 이와 달리, 지도 정보는 제어부(180)에 의해 생성되지 않고, 외부로부터 입력받고, 메모리(170)에 저장할 수 있다.
일 실시예에서, 상부 카메라 센서는 이동 로봇의 전방을 향하도록 설치될 수 있다. 또한, 상부 카메라 센서의 설치 방향은 고정될 수도 있고, 제어부(180)에 의해 변경될 수도 있다.
이하의 도 1b에서는 본 발명의 일 실시예에 따른 이동 로봇의 외관에 대해 설명한다.
도 1b를 참조하면, 이동 로봇(100)은 이동이 가능하도록 마련된 본체(50)를 포함할 수 있다. 예를 들어, 이동 로봇(100)이 로봇 청소기인 경우, 상기 본체(50)는 흡입력을 발생시키는 청소부(미도시)를 포함할 수 있다. 또 다른 예에서, 이동 로봇(100)이 잔디 깎기 로봇인 경우, 상기 본체(50)는 잔디를 절삭하는 절삭부(미도시)를 포함할 수 있다.
상기 본체(50)에는 상기 본체(50)를 원하는 방향으로 이동시키고, 회전시킬 수 있는 구동부가 마련된다. 상기 구동부는 복수 개의 회전가능한 바퀴를 포함할 수 있고, 각각의 바퀴는 개별적으로 회전될 수 있어서, 상기 본체(50)는 원하는 방향으로 회전될 수 있다. 보다 구체적으로 상기 구동부는 적어도 하나의 주 구동바퀴(40)와, 보조 바퀴(미도시)를 포함할 수 있다. 예를 들어, 상기 본체(50)는 두개의 주 구동 바퀴(40)를 포함할 수 있으며, 상기 주 구동 바퀴는 본체(50)의 후방 저면에 설치될 수 있다.
상기 본체(50)에는 이동 로봇의 주행 영역의 외곽을 정의하는 경계 와이어(미도시)를 감지할 수 있는 센서를 포함할 수 있다. 상기 센서는 상기 경계 와이어에 흐르는 전류에 의해서 발생되는 자기장과 그에 따라 유도되어 발생되는 전압값을 감지해서, 상기 본체(50)가 상기 경계 와이어에 도달했는지, 상기 본체(50)가 상기 경계와이어에 의해서 형성되는 폐곡면 내에 존재하는지, 상기 본체(50)가 상기 경계 와이어를 따라서 주행하고 있는지 등에 관한 정보를 획득할 수 있다.
또한 상기 센서는 상기 본체(50)의 이동 거리, 이동 속도, 이동에 따른 상대적인 위치 변화 등에 관한 다양한 정보를 감지하는 것도 가능하다.
상기 본체(50)는 상기 센서에서 감지된 정보를 이용해서, 상기 구동바퀴(40)를 구동할 수 있다. 즉 상기 제어부(20)는 상기 센서에서 측정한 정보를 이용해서 상기 본체(50)의 주행을 제어해서, 상기 본체(50)가 작업 영역 내부에 위치하도록 상기 구동부를 구동하는 것도 가능하다.
상기 본체(50)는 상기 경계 와이어로부터 유도되는 전압값을 감지하는 센서와, 상기 센서에서 감지된 전압값에 의해서 상기 본체(50)와 상기 경계 와이어의 거리를 판단하는 제어부(20)를 포함할 수 있다.
상기 본체(50)는 충전 장치(100)와 접촉하여 전력을 공급받도록, 전력 수신부(60)를 포함할 수 있다. 상기 전력 수신부(60)는 적어도 하나의 단자를 포함할 수 있다. 구체적으로, 상기 단자는 탄성부(미도시)와 결합되어, 상하 이동이 가능하도록 형성될 수 있다. 상기 전력 수신부(60)는 구동부의 주 구동바퀴(40) 중 어느 하나의 상방에 설치될 수 있다. 아울러, 상기 전력 수신부(60)는 본체(50)의 상방으로 노출되도록 설치될 수 있다.
이하의 도 2a에서는 본 발명의 일 실시예에 따른 이동 로봇의 촬영 대상인 마커가 설명된다.
도 2a를 참조하면, 마커(200)는 원통형으로 형성될 수 있다. 마커(200)의 상면에는 마커(200)의 방향을 나타내는 표식(220)이 형성될 수 있다. 이로써, 특정 좌표계(221)의 좌표축 중 어느 하나가 지향하는 방향과 상기 표식(220)이 지향하는 방향이 대응되도록 상기 마커(200)가 설치될 수 있다.
또한, 도 2a에 도시된 것과 같이, 마커(200)의 외관은 적어도 하나의 세로방향 선분과, 대각선방향 선분 중 적어도 하나를 포함하는 패턴으로 형성될 수 있다.
상기 패턴은 고성능 카메라로 촬영하지 않아도 인식될 수 있도록, 간단한 모양으로 형성될 수 있다. 구체적으로, 상기 패턴에 포함된 복수의 선분은 복수의 영역을 정의할 수 있고, 이와 같이 정의되는 복수의 영역은 소정의 면적 값 이상을 가질 수 있다. 아울러 상기 정의되는 복수의 영역에 포함된 꼭지점 개수는 소정 개수 이하일 수 있다. 또한, 상기 정의되는 복수의 영역 중 어느 하나는 사용자에 의해 선택된 두 가지 색상 중 어느 하나를 가질 수 있다.
마커(200)의 외관의 패턴에 대해서는 이하의 도 2b에서 더욱 상세히 설명한다.
한편, 마커(200)의 하부에는 고정 유닛(미도시)을 포함할 수 있고, 상기 고정 유닛은 마커(200)의 설치 방향이 외력에 의해 변경되지 않도록, 마커(200)의 본체와 바닥을 고정시킬 수 있다. 또 다른 실시 예에서, 상기 고정 유닛은 모터를 포함하며, 상기 모터의 움직임에 따라 마커(200)의 설치 방향이 변경될 수도 있다.
마커(200)는 통신 유닛(미도시)을 포함할 수 있고, 마커(200)의 통신 유닛은 이동 로봇(100)의 통신부(110)와 데이터 송수신을 수행할 수 있다.
마커(200)의 외관은 디스플레이 유닛으로 형성되어, 상기 마커(200)의 외관은 디스플레이의 출력에 따라 변경될 수도 있다.
이하의 도 2b에서는 마커(200)의 외관에 도시된 패턴의 일 실시예가 설명된다. 도 2b는 원통형 마커(200)의 패턴(210)을 2차원 평면에 도시한 것이다.
본 발명에 따른 패턴(210)은 복수의 세로방향 선분과, 대각선방향 선분으로 형성될 수 있다. 또한, 패턴(210)은 복수의 세로방향 선분과, 대각선 방향 선분에 의해 복수의 영역으로 구획될 수 있다. 복수의 영역 중 어느 하나의 영역은 각각 인접한 영역과 다른 색으로 형성될 수 있다. 아울러, 복수의 영역 중 어느 하나는 사용자에 의해 선택된 두 가지 색 중 어느 하나로 형성될 수 있다.
두 가지 색으로 형성된 패턴(210)은 제1 엣지(211, WB)와 제2 엣지(212, BW)를 포함할 수 있다. 예를 들어, 상기 두 가지 색이 흑색 및 백색인 경우, 제1 엣지(211)는 백색에서 흑색으로 변경되는 부분에 대응될 수 있고, 제2 엣지(212)는 흑색에서 백색으로 변경되는 부분에 대응될 수 있다. 이 경우, 제1 및 제2 엣지와 관련된 기준 방향은 패턴(210)의 좌측에서 우측 방향을 지향할 수 있다.
아울러, 패턴(210)은 세로방향 선분(213)을 포함할 수 있다. 상기 제1 및 제2 엣지의 정의를 고려하면, 상기 세로방향 선분(213)은 제1 및 제2 엣지가 연속적으로 연결되어 이루어질 수 있다.
또한, 패턴(210)과 관련된 정보는 상기 세로방향 선분마다 대응되는 특정 각도 값(214)을 포함할 수 있다. 예를 들어, 상기 세로방향 선분(213)은 표식(220)에 대응될 수 있으며, 상기 표식(220)에 대응되는 세로방향 선분에 0°가 할당될 수 있다. (도 2a 참조)
아울러, 패턴(210)과 관련된 정보는 각각의 세로방향 선분에 포함된 엣지와 관련된 정보를 포함할 수 있다. 구체적으로, 패턴(210)과 관련된 정보는 각각의 세로방향 선분에 포함된 엣지의 개수, 엣지 각각의 길이(d1), 엣지의 종류 중 적어도 하나와 관련된 정보를 포함할 수 있다.
도 2b를 참조하면, 제어부(180)는 위와 같은 패턴(210)과 관련된 정보에 근거하여 패턴(210)과 관련된 영상으로부터 세로방향 선분을 추출할 수 있고, 추출된 세로방향 선분이 마커(200)의 표면 상에서 특정 좌표축(221)을 기준으로 어떤 방향에 존재하는지 검출할 수 있다.
메모리(170)에 저장된 패턴(210)과 관련된 정보는, 세로방향 선분마다 대응되는 각도, 엣지의 길이 등과 관련된 정보를 포함하여, 테이블 형식으로 형성될 수 있다.
또한 도 2b에 도시된 것과 같이, 패턴(210)에 포함된 복수의 세로방향 선분은 특정 간격(d2)마다 배치될 수 있다.
이하의 도 2c에서는 이동 로봇(100)이 마커(200)를 인식하여, 충전대에 복귀하는 일 실시예가 설명된다.
도 2c에 도시된 것과 같이, 이동 로봇(100)은 마커(200)와 관련된 영상을 획득하여, 마커(200)와의 상대적인 위치 및 자세와 관련된 정보를 검출할 수 있다. 이로써, 이동 로봇(100)은 마커(200)가 설치된 장소로 특정 자세를 유지한 채 진입할 수 있다. 예를 들어, 마커(200)가 설치된 장소는 이동 로봇(100)의 충전대가 설치된 장소일 수 있다. 이 경우, 메모리(170)는 마커(200)의 표식(220)이 지향하는 방향과 충전대와 이동 로봇이 결합하는 자세와 관련된 정보를 저장하며, 제어부(180)는 상기 저장된 정보 및 마커와 관련된 영상을 이용하여 충전대에 안전하게 진입할 수 있다.
이하의 도 3에서는 본 발명에 따른 이동 로봇의 제어 방법과 관련된 일 실시 예가 설명된다.
이동 로봇(100)의 카메라는 마커(200)와 관련된 영상을 촬영할 수 있다(S310).
구체적으로, 카메라는 이동 로봇(100)의 전방 또는 특정방향을 지향하도록 고정적으로 설치될 수 있다. 아울러, 카메라는 기 설정된 주기마다 마커(200)와 관련된 영상을 촬영할 수 있다. 제어부(180)는 카메라가 마커(200)와 관련된 영상을 촬영할 때마다, 촬영된 영상에서 마커 인식 기능을 수행할 수 있다.
제어부(180)는 마커(200)의 외관에 포함된 적어도 하나의 세로방향 선분을 추출할 수 있다(S320).
제어부(180)는 추출된 세로방향 선분 및 마커(200)의 패턴(210)과 관련된 정보에 근거하여, 로봇의 위치를 검출할 수 있다(S330).
구체적으로 제어부(180)는 패턴(210)과 관련된 정보 및 상기 추출된 세로방향 선분의 길이에 근거하여, 상기 마커와 상기 본체 사이의 거리를 산출할 수 있다.
일 실시 예에서, 마커(200)의 패턴(210)과 관련된 정보는 패턴(210)에 포함된 세로방향 선분 사이의 실제거리, 세로방향 선분 각각에 대응되는 각도 값, 세로방향 선분의 길이 중 적어도 하나와 관련된 정보를 포함할 수 있다. 이 경우, 제어부(180)는 패턴(210)에 포함된 세로방향 선분 사이의 실제거리와, 상기 추출된 세로방향의 길이를 비교하여, 이동 로봇(100)의 본체와 마커(200) 사이의 거리를 산출할 수 있다.
즉, 제어부(180)는 마커(200)의 패턴(210)에 포함된 세로방향 선분의 실제길이와, 마커(200)와 관련된 영상으로부터 추출된 세로방향 선분의 길이의 비율에 근거하여, 카메라의 렌즈로부터 마커(200)의 중심까지의 거리와 관련된 정보를 검출할 수 있다. 아울러, 제어부(180)는 메모리(170)에 저장된 마커(200)의 좌표정보에 근거하여, 본체의 현재 위치와 관련된 좌표정보를 추정할 수 있다.
다만, 서로 다른 속성의 카메라에 의해 피사체(마커)가 촬영되면, 피사체와 카메라 렌즈의 거리가 동일한 경우라도, 촬영된 영상으로부터 추출되는 피사체의 길이는 다를 수 있다. 따라서, 또 다른 실시 예의 제어부(180)는 패턴(210)과 관련된 정보 및 추출된 세로방향 선분의 길이와 함께 카메라의 속성 정보를 이용하여, 본체와 마커(200) 사이의 거리를 산출할 수 있다. 보다 구체적으로, 제어부(180)는 이동 로봇(100)에 설치된 카메라의 속성에 근거하여, 본체와 마커(200) 사이의 거리를 산출할 수 있다. 예를 들어, 카메라의 속성 정보는 카메라에 설치된 렌즈의 배율, 상기 렌즈의 초점 거리, 촬영되는 영상의 배율 중 적어도 하나와 관련된 정보를 포함할 수 있다.
또한, 제어부(180)는 추출된 세로방향 선분 및 마커(200)의 패턴(210)과 관련된 정보에 근거하여, 로봇의 자세를 검출할 수 있다(S340).
제어부(180)는 패턴(210)과 관련된 정보 및 추출된 세로방향 선분 사이의 거리에 근거하여, 상기 마커에 대한 상기 본체의 상대적 방향과 관련된 정보를 검출할 수 있다. 예를 들어, 제어부(180)는 추출된 세로방향 선분 사이의 픽셀 거리에 근거하여, 마커(200)에 대한 본체의 상대적 방향과 관련된 정보를 검출할 수 있다.
구체적으로, 제어부(180)는 추출된 세로방향 선분 사이의 거리에 근거하여, 카메라의 렌즈가 지향하는 방향과, 마커(200)가 설치된 방향 사이의 각도 차이를 산출할 수 있다. 또한, 제어부(180)는 마커(200)의 표식(220)이 지향하는 방향과 관련된 정보를 이용하여, 본체의 자세와 관련된 정보를 검출할 수 있다. 예를 들어, 상기 본체의 자세와 관련된 정보는 마커(200)가 설치된 방향에 대한 본체의 상대적 방향과 관련된 정보를 포함할 수 있다.
한편, 카메라가 기 설정된 주기마다 마커와 관련된 영상을 촬영하는 경우, 제어부(180)는 상기 기 설정된 주기마다 상기 검출된 본체의 위치 및 자세와 관련된 정보를 갱신할 수 있다.
다음으로, 제어부(180)는 로봇의 위치 및 자세 중 적어도 하나에 근거하여 구동부(130)를 제어할 수 있다(S350)
제어부(180)는 상기 선분추출 단계(S320), 위치 검출 단계(S330), 자세 검출 단계(S340)를 수행함으로써, 미리 설정된 좌표축에 대한 이동 로봇(100)의 현재 위치의 좌표 정보를 검출할 수 있다.
아울러, 제어부(180)는 주행 경로와 관련된 정보와 상기 검출된 현재 위치의 좌표 정보를 비교하여, 이동 로봇(100)이 주행 경로를 이탈했는지 여부를 판단할 수 있다. 제어부(180)는 주행 경로를 이탈한 것으로 판단되면, 이동 로봇(100) 주행 경로에 진입하도록 구동부(130)를 제어할 수 있다.
제어부(180)는 기 설정된 주기마다 마커 인식을 수행하여, 상기 기 설정된 주기마다 이동 로봇(100)의 자세 및 위치 보정을 수행하기 위해 구동부(130)를 제어할 수 있다.
이하의 도 4a에서는 본 발명에 따른 이동 로봇의 제어방법과 관련된 또 다른 실시 예가 설명된다.
도 4a에 도시된 것과 같이, 카메라는 마커와 관련된 영상을 획득할 수 있다(S410).
카메라에 의해 획득되는 마커와 관련된 영상은 도 4b에 자세히 도시된다.
도 4b를 참조하면, 획득된 영상(400)은 마커(200)와 관련된 부분(401)을 포함할 수 있다. 아울러, 상기 영상(400)은 마커(200) 주변에 배치된 사물과 관련된 부분을 포함할 수 있다. 제어부(180)는 획득된 영상(400)으로부터 마커(200)와 관련된 부분(401)을 따로 추출할 필요가 있으며, 이러한 추출 방법에 대해 이하에서 상세히 설명된다.
제어부(180)는 획득된 영상을 이진화할 수 있다(S420).
구체적으로, 제어부(180)는 획득된 영상(400)의 픽셀마다 할당된 색상과 관련된 정보를 추출하고, 추출된 색상에 근거하여, 상기 픽셀마다 이진수를 할당할 수 있다. 제어부(180)는 할당된 이진수를 이용하여 영상 분석을 수행할 수 있다.
다음으로, 제어부(180)는 이진화된 영상을 특정 방향으로 분석하여, 세로방향 엣지(edge)를 검출할 수 있다(S430).
구체적으로, 제어부(180)는 영상(400)의 좌우 방향을 기준으로, 서로 맞닿은 픽셀에 할당된 색상을 비교하여, 제1 색상에서 제1 색상과 다른 제2 색상으로 변경되는 부분을 상기 세로방향 엣지로 검출할 수 있다. 이 경우, 상기 제1 및 제2 색상은 각각 마커(200)의 외관에 포함된 두 색상일 수 있다.
일 예로, 도 2b 및 4b에 도시된 것과 같이, 제1 색상은 백색, 제2 색상은 흑색일 수 있다.
또한, 제어부(180)는 영상(400)의 좌측에서 우측방향으로 픽셀에 할당된 색상을 분석하여, 제1 색상에서 제2 색상으로 변경되는 제1 세로방향 엣지와, 제2 색상에서 제1 색상으로 변경되는 제2 세로방향 엣지를 검출할 수 있다. 이하에서는 상기 제1 세로방향 엣지를 "WB 엣지"로 정의하고, 상기 제2 세로방향 엣지를 "BW 엣지"로 정의할 수 있다.
다만, 상기 제1 및 제2 색상과, 영상을 분석하는 방향은 위에 개시된 구성에 한정되는 것은 아니며, 마커(200)의 패턴(210)에 맞추어 설정될 수 있다.
다음으로, 제어부(180)는 기 설정된 조건을 만족하는 복수의 엣지를 그룹화하여, 세로방향 선분을 검출할 수 있다(S440).
구체적으로, 제어부(180)는 검출된 엣지가 특정 개수 이상 연속되는 경우, 상기 연속되는 엣지를 그룹화하여, 세로방향 선분을 검출할 수 있다. 예를 들어, 상기 특정 개수는 3일 수 있다. 또 다른 예에서, 상기 특정 개수는 사용자에 의해 설정될 수 있다.
또한, 제어부(180)는 제1 BW엣지, 제1 WB엣지, 제2 BW엣지가 연속되는 경우, 상기 연속되는 엣지를 그룹화하여, 세로방향 선분을 검출할 수 있다. 마찬가지로, 제어부(180)는 제1 WB엣지, 제1 BW엣지, 제2 WB엣지가 연속되는 경우, 상기 연속되는 엣지를 그룹화하여, 세로방향 선분을 검출할 수 있다.
아울러, 제어부(180)는 복수의 세로방향 선분이 검출된 경우, 검출된 복수의 세로방향 선분 중 적어도 하나의 선분을 선택할 수 있다. 도한, 제어부(180)는 선택된 세로방향 선분을 이용하여, 이동 로봇(100)의 현재 위치에 대응하는 좌표 정보를 추출할 수 있다.
위의 도 3에서 설명한 바와 같이, 제어부(180)는 패턴(210)과 관련된 정보 및 상기 추출된 세로방향 선분의 길이에 근거하여, 상기 마커와 상기 본체 사이의 거리를 산출할 수 있다.
또한, 제어부(180)는 패턴(210)과 관련된 정보 및 추출된 세로방향 선분 사이의 거리에 근거하여, 상기 마커에 대한 상기 본체의 상대적 방향과 관련된 정보를 검출할 수 있다. 예를 들어, 제어부(180)는 추출된 세로방향 선분 사이의 픽셀 거리에 근거하여, 마커(200)에 대한 본체의 상대적 방향과 관련된 정보를 검출할 수 있다.
다음으로, 제어부(180)는 세로방향 선분 및 마커 패턴 중 적어도 하나와 관련된 정보에 근거하여, 구동부(130)를 제어할 수 있다(S450).
위에 개시된 본 발명에 따르면, 제어부(180)는 상기 영상(400) 중 마커(200)와 관련된 부분을 추출하여, 상기 영상(400)의 바닥 및 주변 사물과 관련된 일부분을 제외하고, 상기 마커(200)와 관련된 부분에 대해 선분 추출 기능을 수행할 수 있다. 또한, 마커(200)의 패턴(210)이 형성된 방식이 단순하기 때문에, 획득된 영상(400)이 고해상도 이미지일 필요가 없으므로, 본 발명에 따른 이동 로봇(100)은 저가의 카메라만으로, 패턴 인식을 수행할 수 있다.
이하의 도 5에서는 본 발명에 따른 이동 로봇이 마커에 대한 상대적인 좌표 및 방향을 산출하는 방법이 설명된다.
도 5를 참조하면, 이동 로봇(100)의 카메라는 제1 방향(X)을 지향하면서, 마커(200)와 관련된 영상을 촬영할 수 있다. 제어부(180)는 카메라로부터 촬영된 영상으로부터 세개의 세로방향 선분(510a, 510b, 510c)과 관련된 정보를 추출할 수 있다.
제어부(180)는 메모리(170)에 저장된 마커(200)의 패턴과 관련된 정보에서, 상기 추출된 세로방향 선분(510a, 510b, 510c)과 관련된 정보를 검색할 수 있다.
예를 들어, 세로방향 선분과 관련된 정보는, 각 세로방향 선분이 기 설정된 기준 축(501)에 대해 형성하는 각도(θa, θb, θc) 및 각 세로방향 선분의 좌표와 관련된 정보를 포함할 수 있다. 일 예에서, 상기 기준축(501)은 마커(200)의 표식(220)이 지향하는 방향과 대응될 수 있다(도 2a 참조).
또 다른 예에서, 세로방향 선분과 관련된 정보는, 카메라에 의해 획득된 영상에서 추출된 세로방향 선분 사이의 거리(dl, dr)와 관련된 정보를 포함할 수 있다. 추출된 세로방향 선분 사이의 거리(dl, dr)는 카메라의 렌즈로부터 세로방향 선분의 실제 위치까지 연결되는 가상의 선 상에서, 카메라의 렌즈로부터 초점 거리(f)만큼 떨어진 점 사이의 거리와 대응될 수 있다.
제어부(180)는 추출된 세로방향 선분 사이의 거리(dl, dr)와, 각 세로방향 선분이 기 설정된 기준 축(501)에 대해 형성하는 각도(θa, θb, θc) 및 각 세로방향 선분의 좌표와 관련된 정보를 이용하여, 기준축(501)에 대해 카메라가 지향하는 방향(X)을 검출할 수 있다. 이로써, 제어부(180)는 본체의 자세와 관련된 정보를 추출할 수 있다.
본 발명에 따르면, 단순한 패턴을 이용하여 이동 로봇의 위치 및 진행 방향을 추정함으로써, 이동 로봇의 단가를 감소시키면서도 패턴 인식과 관련된 성능을 유지하는 효과가 도출된다.
또한, 본 발명에 따르면, 다양한 위치 및 방향에서 마커 인식이 가능해지며, 이로써 마커 인식의 인식률이 증가되는 효과가 도출된다.
또한, 본 발명에 따르면, 이동 로봇의 위치 및 진행 방향을 보다 정확하게 추정할 수 있다. 즉 본 발명에 따른 이동 로봇의 제어방법에 의하면, 마커에 대한 상대적인 좌표 및 자세를 정확하게 추정할 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 본체;
    상기 본체를 이동시키는 구동부;
    상기 본체의 일측에 설치되어, 마커와 관련된 영상을 촬영하는 카메라;
    상기 마커의 패턴과 관련된 정보를 저장하는 메모리;
    상기 촬영된 영상에서, 상기 마커의 외관에 포함된 적어도 하나의 세로방향 선분과 관련된 정보를 추출하고,
    상기 추출된 세로방향 선분 및 상기 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 위치 및 자세와 관련된 정보를 검출하고,
    상기 검출된 본체의 위치 및 자세 중 적어도 하나에 근거하여, 상기 구동부를 제어하는 제어부를 포함하는 것을 특징으로 하는 이동 로봇.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분의 길이에 근거하여, 상기 마커와 상기 본체 사이의 거리를 산출하는 것을 특징으로 하는 이동 로봇.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 추출된 세로방향 선분과 함께, 상기 카메라의 배율과 관련된 정보를 이용하여, 상기 마커와 상기 본체 사이의 거리를 산출하는 것을 특징으로 하는 이동 로봇.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분 사이의 거리에 근거하여, 상기 마커에 대한 상기 본체의 상대적 방향과 관련된 정보를 검출하는 것을 특징으로 하는 이동 로봇.
  5. 제1항에 있어서,
    상기 메모리는 상기 이동 로봇의 경로와 관련된 정보를 저장하고,
    상기 제어부는,
    상기 검출된 본체의 위치 및 자세와 상기 경로와 관련된 정보를 비교하고,
    상기 비교결과에 근거하여 상기 구동부를 제어하는 것을 특징으로 하는 이동 로봇.
  6. 제1항에 있어서,
    상기 카메라는,
    기 설정된 주기마다 상기 마커와 관련된 영상을 촬영하고,
    상기 제어부는,
    상기 기 설정된 주기마다 상기 검출된 본체의 위치 및 자세와 관련된 정보를 갱신하는 것을 특징으로 하는 이동 로봇.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 영상에 포함된 픽셀 중 제1 색에서 제2 색으로 변경되는 부분을 세로방향 엣지로 추출하고,
    상기 추출된 세로방향 엣지 중 기 설정된 조건을 만족하는 일부를 그룹화하여 상기 세로방향 선분을 검출하는 것을 특징으로 하는 이동 로봇.
  8. 제1항에 있어서,
    상기 마커의 패턴은,
    복수의 세로방향 선분과, 두개의 대각선 방향 선분을 포함하여 구성되는 것을 특징으로 하는 이동 로봇.
  9. 제8항에 있어서,
    상기 마커의 패턴은,
    상기 세로방향 선분과 상기 대각선 방향 선분에 의해 복수의 영역으로 구획되는 것을 특징으로 하는 이동 로봇.
  10. 제9항에 있어서,
    상기 복수의 영역은 소정의 면적 값 이상을 갖는 것을 특징으로 하는 이동 로봇.
  11. 제8항에 있어서,
    상기 복수의 세로방향 선분은 상기 대각선 방향 선분에 의해 복수의 엣지로 분리되는 것을 특징으로 하는 이동 로봇.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 복수의 세로방향 선분 중 어느 하나로부터 분리된 엣지 각각의 길이에 근거하여, 상기 어느 하나의 세로방향 선분에 할당된 방위를 검출하는 것을 특징으로 하는 이동 로봇.
  13. 마커와 관련된 영상을 촬영하는 단계;
    상기 촬영된 영상에서, 상기 마커의 외관에 포함된 적어도 하나의 세로방향 선분과 관련된 정보를 추출하는 단계;
    상기 추출된 세로방향 선분 및 상기 마커의 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 위치와 관련된 정보를 검출하는 단계;
    상기 추출된 세로방향 선분 및 상기 마커의 패턴 중 적어도 하나와 관련된 정보에 근거하여, 상기 본체의 자세와 관련된 정보를 검출하는 단계;
    상기 검출된 본체의 위치 및 자세 중 적어도 하나에 근거하여, 구동부를 제어하는 단계를 포함하는 것을 특징으로 하는 이동 로봇의 제어방법.
  14. 제13항에 있어서,
    상기 본체의 위치와 관련된 정보를 검출하는 단계는,
    상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분의 길이에 근거하여, 상기 마커와 상기 본체 사이의 거리를 산출하는 과정을 포함하는 것을 특징으로 하는 이동 로봇의 제어방법.
  15. 제13항에 있어서,
    상기 본체의 자세와 관련된 정보를 검출하는 단계는,
    상기 패턴과 관련된 정보 및 상기 추출된 세로방향 선분 사이의 거리에 근거하여, 상기 마커에 대한 상기 본체의 상대적 방향과 관련된 정보를 검출하는 과정을 포함하는 것을 특징으로 하는 이동 로봇의 제어방법.
PCT/KR2016/005904 2015-06-12 2016-06-03 이동 로봇 및 그 제어방법 WO2016200098A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/735,062 US10423163B2 (en) 2015-06-12 2016-06-03 Mobile robot and method of controlling same
EP16807738.6A EP3308911B1 (en) 2015-06-12 2016-06-03 Mobile robot and method of controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150083577A KR102398330B1 (ko) 2015-06-12 2015-06-12 이동 로봇 및 그 제어방법
KR10-2015-0083577 2015-06-12

Publications (1)

Publication Number Publication Date
WO2016200098A1 true WO2016200098A1 (ko) 2016-12-15

Family

ID=57503386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005904 WO2016200098A1 (ko) 2015-06-12 2016-06-03 이동 로봇 및 그 제어방법

Country Status (4)

Country Link
US (1) US10423163B2 (ko)
EP (1) EP3308911B1 (ko)
KR (1) KR102398330B1 (ko)
WO (1) WO2016200098A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
CN110545967A (zh) * 2017-04-28 2019-12-06 Lg电子株式会社 移动机器人及其控制方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE054635T2 (hu) * 2015-04-10 2021-09-28 Husqvarna Ab Öntözõ eszközt magában foglaló rendszer
JP6846684B2 (ja) * 2016-01-29 2021-03-24 パナソニックＩｐマネジメント株式会社 ロボット、ロボットの制御方法、及び、プログラム
KR102688528B1 (ko) * 2017-01-25 2024-07-26 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2019063066A1 (en) 2017-09-26 2019-04-04 Aktiebolaget Electrolux CONTROL FOR MOVING A ROBOTIC CLEANING DEVICE
KR102450982B1 (ko) * 2017-11-10 2022-10-05 삼성전자 주식회사 청소용 이동장치, 충전장치 및 그 제어방법
JP7013212B2 (ja) * 2017-11-14 2022-01-31 Ｔｖｓ Ｒｅｇｚａ株式会社 電子装置、マーカ、電子装置の制御方法及びプログラム
JP1612118S (ko) * 2017-12-21 2018-08-27
USD872402S1 (en) * 2018-04-23 2020-01-07 Eozy International GmbH Window cleaning robot
AU2019392447A1 (en) * 2018-12-03 2021-06-24 Sharkninja Operating Llc Optical indicium for communicating information to autonomous devices
JP7336753B2 (ja) * 2018-12-28 2023-09-01 パナソニックＩｐマネジメント株式会社 測位装置及び移動体
EP3904993B1 (en) * 2018-12-28 2023-10-04 Panasonic Intellectual Property Management Co., Ltd. Positioning apparatus and moving body
JP7336752B2 (ja) * 2018-12-28 2023-09-01 パナソニックＩｐマネジメント株式会社 測位装置及び移動体
USD879854S1 (en) * 2019-02-26 2020-03-31 Suzhou Radiant Photovoltaic Technology Co., Ltd Transportation robot
US11867798B2 (en) * 2019-09-13 2024-01-09 Samsung Electronics Co., Ltd. Electronic device including sensor and method of determining path of electronic device
KR102400965B1 (ko) * 2019-11-25 2022-05-25 재단법인대구경북과학기술원 로봇 시스템 및 그 보정 방법
KR102348963B1 (ko) * 2020-03-10 2022-01-11 엘지전자 주식회사 로봇 청소기 및 그 제어 방법
JP7489014B2 (ja) * 2020-03-31 2024-05-23 株式会社豊田自動織機 位置推定システム
CN114167850B (zh) * 2020-08-21 2024-02-20 富联精密电子(天津)有限公司 自走三角警示架及其行进控制方法
KR102437602B1 (ko) * 2020-08-28 2022-08-29 한국로봇융합연구원 신발 창을 이송하는 자동화 장치 및 방법
DE102020211167A1 (de) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Roboter und Verfahren zu einer Ermittlung einer von einem Roboter zurückgelegten Strecke
US11969140B2 (en) * 2021-06-22 2024-04-30 Micron Technology, Inc. Surface cleaning
DE102021209240A1 (de) * 2021-08-23 2023-02-23 Pepperl+Fuchs Se Verfahren und Vorrichtung zur Führung eines Fahrzeugs auf einem Untergrund
CN114578730A (zh) * 2022-02-22 2022-06-03 武汉珞珈天铭电气科技有限公司 一种导线修补机器人的控制电路
CN114569004B (zh) * 2022-02-22 2023-12-01 杭州萤石软件有限公司 行进方向调整方法、移动机器人系统及电子设备
JP7568794B1 (ja) 2023-07-21 2024-10-16 裕太 水藤 無人作業システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004303137A (ja) * 2003-04-01 2004-10-28 Mitsubishi Heavy Ind Ltd 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法
KR100483548B1 (ko) * 2002-07-26 2005-04-15 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어 방법
KR20060129960A (ko) * 2005-06-13 2006-12-18 가부시끼가이샤 도시바 이동 로봇 및 그의 위치 및 자세의 산출방법
KR20140126473A (ko) * 2013-04-23 2014-10-31 삼성전자주식회사 마커 및 이를 이용한 수술 도구 포즈 추정 방법
KR20150050161A (ko) * 2013-10-31 2015-05-08 엘지전자 주식회사 이동 로봇, 이동 로봇의 충전대 및 이들을 포함하는 이동 로봇 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5525883A (en) * 1994-07-08 1996-06-11 Sara Avitzour Mobile robot location determination employing error-correcting distributed landmarks
KR100493159B1 (ko) * 2002-10-01 2005-06-02 삼성전자주식회사 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
KR101356644B1 (ko) * 2009-02-25 2014-02-04 삼성전자주식회사 위치 인식 시스템 및 그 방법
CN103443612B (zh) * 2010-12-30 2016-04-20 美国iRobot公司 碎屑监视
EP2903787B1 (en) * 2012-10-05 2019-05-15 iRobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same
GB2513912B (en) * 2013-05-10 2018-01-24 Dyson Technology Ltd Apparatus for guiding an autonomous vehicle towards a docking station
JP6320876B2 (ja) * 2013-10-29 2018-05-09 パナソニック株式会社 非水電解質二次電池
CN105849660B (zh) * 2013-12-19 2020-05-08 伊莱克斯公司 机器人清扫装置
US9868211B2 (en) * 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
LU93333B1 (en) * 2016-12-06 2018-06-08 Stratec Biomedical Ag Transfer Tool for use in automated analyser systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100483548B1 (ko) * 2002-07-26 2005-04-15 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어 방법
JP2004303137A (ja) * 2003-04-01 2004-10-28 Mitsubishi Heavy Ind Ltd 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法
KR20060129960A (ko) * 2005-06-13 2006-12-18 가부시끼가이샤 도시바 이동 로봇 및 그의 위치 및 자세의 산출방법
KR20140126473A (ko) * 2013-04-23 2014-10-31 삼성전자주식회사 마커 및 이를 이용한 수술 도구 포즈 추정 방법
KR20150050161A (ko) * 2013-10-31 2015-05-08 엘지전자 주식회사 이동 로봇, 이동 로봇의 충전대 및 이들을 포함하는 이동 로봇 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3308911A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545967A (zh) * 2017-04-28 2019-12-06 Lg电子株式会社 移动机器人及其控制方法
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
CN108553027B (zh) * 2018-01-04 2024-09-27 深圳飞鼠动力科技有限公司 移动机器人

Also Published As

Publication number Publication date
US10423163B2 (en) 2019-09-24
US20190072975A1 (en) 2019-03-07
EP3308911A1 (en) 2018-04-18
EP3308911A4 (en) 2019-01-23
KR102398330B1 (ko) 2022-05-16
KR20160146379A (ko) 2016-12-21
EP3308911B1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
WO2016200098A1 (ko) 이동 로봇 및 그 제어방법
WO2017018848A1 (en) Mobile robot and control method thereof
WO2018164326A1 (ko) 청소기 및 그 제어방법
AU2014297039B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
WO2018079985A1 (ko) 청소기 및 그 제어방법
WO2018043957A1 (en) Robot cleaner
WO2018131856A1 (ko) 청소기 및 그 제어방법
WO2020149696A1 (en) Mobile robot and method of controlling plurality of mobile robots
WO2019212173A1 (ko) 청소기 및 그 제어방법
WO2019212174A1 (ko) 인공지능 청소기 및 그 제어방법
WO2019221524A1 (ko) 청소기 및 그 제어방법
AU2020362530B2 (en) Robot cleaner and method for controlling the same
WO2020017942A1 (ko) 로봇 청소기 및 그것의 제어방법
WO2020004824A1 (en) Plurality of autonomous cleaner and controlling method for the same
WO2019221523A1 (ko) 청소기 및 그 제어방법
WO2020180107A1 (en) Moving robot and controlling method for the moving robot
WO2021006590A1 (en) Docking device and mobile robot system
WO2020139029A1 (en) Mobile robot
AU2020268667B2 (en) Mobile robot and control method of mobile robots
WO2020017943A1 (ko) 복수의 로봇 청소기 및 그 제어방법
WO2021020911A1 (en) Mobile robot
AU2020208074B2 (en) Mobile robot and method of controlling mobile robot
WO2019212172A1 (ko) 청소기 및 그 제어방법
AU2018257677B2 (en) Moving robot and control method thereof
EP3478143A1 (en) Robot cleaner

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE