WO2019017521A1 - 청소기 및 그 제어방법 - Google Patents

청소기 및 그 제어방법 Download PDF

Info

Publication number
WO2019017521A1
WO2019017521A1 PCT/KR2017/009045 KR2017009045W WO2019017521A1 WO 2019017521 A1 WO2019017521 A1 WO 2019017521A1 KR 2017009045 W KR2017009045 W KR 2017009045W WO 2019017521 A1 WO2019017521 A1 WO 2019017521A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
illuminance
image
images
photographed
Prior art date
Application number
PCT/KR2017/009045
Other languages
English (en)
French (fr)
Inventor
박상열
이성훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to AU2017424181A priority Critical patent/AU2017424181B2/en
Priority to JP2020502620A priority patent/JP6905635B2/ja
Priority to EP17918202.7A priority patent/EP3656269B1/en
Priority to CN201790001762.0U priority patent/CN212234313U/zh
Publication of WO2019017521A1 publication Critical patent/WO2019017521A1/ko
Priority to AU2021273534A priority patent/AU2021273534B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4063—Driving means; Transmission means therefor
    • A47L11/4066—Propulsion of the whole machine
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/30—Arrangement of illuminating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Definitions

  • the present invention relates to a vacuum cleaner and a control method thereof, and more particularly, to a vacuum cleaner capable of recognizing an obstacle and performing autonomous traveling, and a control method thereof.
  • robots In general, robots have been developed for industrial use and have been part of factory automation. In recent years, medical robots, aerospace robots, and the like have been developed, and household robots that can be used in ordinary homes are being developed.
  • a representative example of the domestic robot is a robot cleaner, which is a type of household appliance that sucks and cleanes dust or foreign matter around the robot while traveling in a certain area by itself.
  • a robot cleaner is generally equipped with a rechargeable battery and has an obstacle sensor capable of avoiding obstacles during traveling, so that it can run and clean by itself.
  • the robot cleaner uses an image obtained by a ceiling camera that is directed upward of the main body during SLAM (Simultaneous Localization and Mapping) running for creating a cleaning map.
  • SLAM Simultaneous Localization and Mapping
  • the robot cleaner uses an image obtained by a front camera that is directed toward the front of the main body during monitoring running to transmit information about the main body to the user.
  • control unit of the robot cleaner can set the set values of the ceiling camera and the front camera differently.
  • control unit may set the set value of the ceiling camera so that the ceiling camera used for the slam photographs a relatively low-illuminated image.
  • control unit may control the setting value of the front camera so that the front camera used for monitoring captures a relatively high-contrast image.
  • control unit can set the camera setting values differently according to the purpose.
  • a plurality of running modes can be normally performed only if the cameras are provided as many as the number of running modes performed by the robot cleaner. That is, in the case of a general robot cleaner, a plurality of cameras respectively corresponding to a plurality of running modes must be provided, which increases the manufacturing cost of the robot cleaner
  • Korean Patent Registration No. 10-0185909 discloses a configuration for generating an exposure control signal based on weight values that are set differently from shooting scenes in a window and shot scenes outside a window .
  • the exposure control device of the video camera according to Korean Patent No. 10-0185909 merely provides a diaphragm to provide accurate brightness around the position of a subject in a shooting scene, There is a problem that it is difficult to acquire an image having a necessary set value according to the setting value.
  • the present invention has been made in order to solve the above problems and provides a vacuum cleaner and a control method thereof for performing an autonomous travel which can acquire an image having a set value required for a plurality of traveling modes of a vacuum cleaner using only a single camera .
  • a self-propelled cleaner including a main body, a drive unit for moving the main body, a camera for capturing an image of the periphery of the main body at predetermined intervals, And a control unit for controlling the driving unit and the camera to perform the selected driving mode, wherein the control unit changes a setting value related to the illuminance of the camera based on the selected driving mode .
  • the camera captures a predetermined number of images per second
  • the control unit controls the camera so that a part of the predetermined number of images is photographed at the first illuminance and the remaining part of the images is photographed at the second illuminance .
  • the camera acquires an image of 30 frames per second
  • the control unit causes the 3 frames of the image of the 30 frames to be photographed at the first illumination and the remaining 27 frames of the image to be photographed at the second illumination
  • the first illuminance is set to be lower than the second illuminance
  • the controller determines whether information related to the illuminance of the image used in the first driving mode and the illuminance of the image used in the second driving mode Information is detected.
  • the controller when the first and second running modes are selected, the controller detects the number of images used per unit time in the first running mode and the number of images used in the second running mode .
  • the illuminance of the image used in the first driving mode is the first illuminance
  • the number of images used per unit time in the first driving mode is a first number
  • the illuminance of the image is the second illuminance
  • the number of images used per unit time in the first travel mode is a second number
  • the first and second travel modes are selected, Controlling the camera such that the acquired image includes the first number or more of images photographed with the first illuminance and the second number or more images photographed with the second illuminance are included in the acquired image during the acquisition of the number of images .
  • control unit classifies the images photographed by the camera into a plurality of groups based on the illuminance values of the images.
  • the apparatus further includes a memory for storing an image photographed by the camera, wherein the controller performs labeling of the image based on the classification result, and stores the labeled image in the memory .
  • the controller may execute the first driving mode of the selected driving mode using the image photographed at the first illuminance after the image is classified, And the second running mode is executed in the running mode.
  • the first running mode is a SLAM running mode
  • the controller detects information related to the position of the main body using the image photographed with the first roughness, Is executed.
  • control unit generates map information of a cleaning area in which the main body is located using the image picked up by the first roughness.
  • the apparatus further includes a sensor for sensing a brightness of a cleaning area where the main body is located.
  • the control unit determines whether the brightness of the surroundings of the main body has been changed based on the detection result of the sensor, The illuminance value of the camera is changed in order to correct the illuminance value of the image used in the first driving mode.
  • the image display apparatus further includes a communication unit for communicating with the outside, the second running mode is a monitoring running mode, and the control unit transmits at least one of the images photographed in the second illuminance to the server or the user terminal And controls the communication unit.
  • control unit controls the communication unit to select a predetermined number of images of the images taken with the second illuminance, and to transmit the selected images to at least one of the server and the user terminal.
  • control unit may determine the sharpness of each of the images captured by the second illuminance, and may select an image whose determined sharpness is equal to or greater than a predetermined sharpness value.
  • the controller selects an image corresponding to a predetermined order among the images photographed with the second illuminance.
  • control unit increases or decreases the number of images transmitted to at least one of the server and the user terminal when receiving a predetermined user input through at least one of the server and the user terminal through the communication unit And selects an increased or decreased number of images of the images taken with the second illuminance.
  • control unit performs a first illumination control to control the camera such that a predetermined number of images are photographed at the first illumination level when the camera starts shooting, and when the first illumination control is completed And a second illuminance control for controlling the camera so that a predetermined number of images are captured at the second illuminance.
  • control unit sequentially performs the first roughness control and the second roughness control.
  • the optical axis of the camera forms a predetermined angle with the bottom surface of the cleaning area where the main body is located.
  • the viewing angle of the camera is formed to be greater than a predetermined angle.
  • the number of cameras installed in the main body can be reduced, thereby reducing the manufacturing cost of the vacuum cleaner.
  • an image having a set value required in a plurality of traveling modes can be obtained by using one camera, so that an effect of reducing the data processing amount of the cleaner can be obtained.
  • FIG. 1 is a perspective view illustrating an example of a vacuum cleaner that performs an autonomous running according to the present invention.
  • FIG. 2 is a plan view of the vacuum cleaner shown in FIG. 1;
  • FIG. 2 is a plan view of the vacuum cleaner shown in FIG. 1;
  • FIG. 3 is a side view of the vacuum cleaner shown in FIG. 1; FIG.
  • FIG. 4 is a block diagram illustrating components of a vacuum cleaner that performs autonomous traveling according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram showing an example in which the cleaner and the charging station according to the present invention are installed in a cleaning area.
  • FIG. 6A is a conceptual diagram showing an embodiment of a general vacuum cleaner having a front camera and a ceiling camera separately.
  • 6B is a conceptual diagram showing an embodiment of a vacuum cleaner according to the present invention using one camera.
  • FIG. 7A and 7B are flowcharts showing a control method of the vacuum cleaner according to the present invention.
  • FIG. 8A is a conceptual diagram illustrating a method of processing a plurality of frames obtained from a forward camera of the general vacuum cleaner shown in FIG. 6A.
  • FIG. 8A is a conceptual diagram illustrating a method of processing a plurality of frames obtained from a forward camera of the general vacuum cleaner shown in FIG. 6A.
  • FIG. 8B is a conceptual diagram illustrating a method of processing a plurality of frames obtained from a ceiling camera of the general vacuum cleaner shown in FIG. 6A.
  • FIGS. 9A to 9C are conceptual diagrams illustrating a method of processing a plurality of frames obtained from a single camera of a vacuum cleaner according to the present invention.
  • FIG. 10 is a block diagram showing a control method of a vacuum cleaner according to the present invention.
  • FIG. 1 is a perspective view showing an example of a robot cleaner 100 according to the present invention
  • FIG. 2 is a plan view of the robot cleaner 100 shown in FIG. 1
  • FIG. 3 is a schematic view of the robot cleaner 100 shown in FIG. Fig.
  • a mobile robot, a robot cleaner, and a vacuum cleaner that performs autonomous travel may be used in the same sense.
  • the robot cleaner 100 performs a function of cleaning a floor while traveling on a certain area by itself. Cleaning of the floor includes suction of dust on the floor (including foreign matter) or mopping the floor.
  • the robot cleaner 100 includes a cleaner main body 110, a suction unit 120, a sensing unit 130, and a dust box 140.
  • the cleaner main body 110 is provided with a control unit (not shown) for controlling the robot cleaner 100 and a wheel unit 111 for traveling the robot cleaner 100.
  • the robot cleaner 100 can be moved forward or backward or to the left or to the right by the wheel unit 111.
  • the wheel unit 111 includes a main wheel 111a and a sub wheel 111b.
  • the main wheel 111a is provided on both sides of the cleaner main body 110 and is configured to be rotatable in one direction or another direction according to a control signal of the control unit.
  • Each of the main wheels 111a can be configured to be drivable independently of each other.
  • each main wheel 111a may be driven by a different motor.
  • the sub wheel 111b supports the cleaner main body 110 together with the main wheel 111a and assists the running of the robot cleaner 100 by the main wheel 111a.
  • the sub wheel 111b may also be provided in the suction unit 120 described later.
  • control unit controls the driving of the wheel unit 111, so that the robot cleaner 100 is made to run on the floor autonomously.
  • a battery (not shown) for supplying power to the robot cleaner 100 is mounted on the cleaner main body 110.
  • the battery may be configured to be rechargeable and may be detachably attached to the bottom of the cleaner body 110.
  • the suction unit 120 is arranged to protrude from one side of the cleaner main body 110 to suck air containing dust.
  • the one side may be the side where the cleaner main body 110 travels in the forward direction F, that is, the front side of the cleaner main body 110.
  • the suction unit 120 is protruded from one side of the cleaner main body 110 to both front and left and right sides. Specifically, the front end of the suction unit 120 is disposed at a position spaced forward from the one side of the cleaner main body 110, and the left and right ends of the suction unit 120 are spaced apart from one side of the cleaner main body 110 .
  • the cleaner main body 110 is formed in a circular shape and both sides of the rear end of the suction unit 120 are protruded from the cleaner main body 110 to the left and right sides, Space, that is, a gap can be formed.
  • the empty space is a space between both left and right ends of the cleaner main body 110 and both left and right ends of the suction unit 120 and has a shape recessed inward of the robot cleaner 100.
  • a cover member 129 may be arranged to cover at least a part of the empty space.
  • the cover member 129 may be provided in the cleaner main body 110 or the suction unit 120.
  • a cover member 129 is formed on both sides of the rear end of the suction unit 120 so as to cover the outer peripheral surface of the cleaner main body 110.
  • the cover member 129 is disposed to fill at least part of the empty space, that is, the empty space between the cleaner main body 110 and the suction unit 120. Accordingly, it is possible to prevent the obstacle from being caught in the empty space, or to easily remove the obstacle from the obstacle even if the obstacle is caught in the empty space.
  • the cover member 129 protruding from the suction unit 120 can be supported on the outer circumferential surface of the cleaner main body 110.
  • the cover member 129 may be supported on the rear portion of the suction unit 120.
  • the suction unit 120 may be detachably coupled to the cleaner main body 110.
  • a mop module (not shown) may be detachably coupled to the cleaner main body 110 in place of the separate suction unit 120. Accordingly, when the user desires to remove dust on the floor, the suction unit 120 may be mounted on the cleaner main body 110, and the mop module may be mounted on the cleaner main body 110 when the floor is to be cleaned.
  • the mounting can be guided by the cover member 129 described above. That is, the cover member 129 is disposed so as to cover the outer peripheral surface of the cleaner main body 110, whereby the relative position of the suction unit 120 with respect to the cleaner main body 110 can be determined.
  • a sensing unit 130 is disposed in the cleaner main body 110.
  • the sensing unit 130 may be disposed on one side of the cleaner body 110 where the suction unit 120 is located, that is, on the front side of the cleaner body 110.
  • the sensing unit 130 may be arranged to overlap the suction unit 120 in the vertical direction of the cleaner main body 110.
  • the sensing unit 130 is disposed at an upper portion of the suction unit 120 so as to detect an obstacle or feature in front of the suction unit 120 so that the suction unit 120 positioned at the forefront of the robot cleaner 100 does not hit the obstacle.
  • the sensing unit 130 is further configured to perform a sensing function other than the sensing function. This will be described in detail later.
  • the cleaner main body 110 is provided with a dust receptacle 113.
  • the dust receptacle 140 separates and collects the dust in the sucked air is detachably coupled to the dust receptacle 113.
  • the dust receptacle 113 may be formed on the other side of the cleaner main body 110, that is, behind the cleaner main body 110.
  • a part of the dust container 140 is received in the dust container receiving portion 113 and another portion of the dust container 140 protrudes toward the rear of the cleaner body 110 (i.e., the reverse direction R opposite to the forward direction F) .
  • the dust box 140 is formed with an inlet 140a through which air containing dust is introduced and an outlet 140b through which dust is separated from the dust box 140.
  • 140a and the outlet 140b are configured to communicate with the first opening 110a and the second opening 110b formed in the inner wall of the dust container receiving portion 113, respectively.
  • the suction flow path in the cleaner main body 110 corresponds to the flow path from the inflow port (not shown) communicating with the communicating portion 120b "to the first opening 110a, and the air flow path from the second opening 110b to the air outlet 112).
  • the air containing the dust introduced through the suction unit 120 flows into the dust container 140 through the intake air passage in the cleaner main body 110 and the filter or cyclone of the dust container 140 Air and dust are separated from each other as they pass through.
  • the dust is collected in the dust container 140 and the air is discharged from the dust container 140 and then discharged to the outside through the discharge port 112 of the cleaner main body 110 and finally through the discharge port 112.
  • the robot cleaner 100 or the mobile robot includes a communication unit 1100, an input unit 1200, a driving unit 1300, a sensing unit 1400, an output unit 1500, a power source unit 1600, A memory 1700 and a control unit 1800, or a combination thereof.
  • the power supply unit 1600 includes a battery that can be charged by an external commercial power supply, and supplies power to the mobile robot.
  • the power supply unit 1600 supplies driving power to each of the components included in the mobile robot to supply the operating power required for the mobile robot to travel or perform a specific function.
  • the controller 1800 senses the remaining power of the battery and controls the battery 1800 to move to the charge connected to the external commercial power supply if the remaining power is insufficient, so that the charging current can be supplied from the charging stand to charge the battery.
  • the battery is connected to the battery sensing unit, and the battery remaining amount and the charging state can be transmitted to the control unit 1800.
  • the output unit 1500 can display the battery remaining amount on the screen by the control unit.
  • the battery may be located at the bottom of the center of the robot cleaner, or may be located at either the left or right side. In the latter case, the mobile robot may further include a balance weight to eliminate weight biases of the battery.
  • the control unit 1800 performs processing of information based on artificial intelligence technology and includes one or more modules that perform at least one of learning of information, inference of information, perception of information, and processing of natural language .
  • the control unit 1800 can use a machine running technique to learn a large amount of information (big data, such as information stored in a cleaner, environmental information around the mobile terminal, and information stored in a communicable external storage) Inference, and processing.
  • the control unit 1800 predicts (or inferences) the operation of at least one cleaner that can be executed using the learned information using the machine learning technique, and determines whether the at least one of the at least one predicted operation has the highest feasibility You can control the cleaner to perform an action.
  • Machine learning technology is a technology that collects and learns a large amount of information based on at least one algorithm, and judges and predicts information based on the learned information.
  • the learning of information is an operation that grasps the characteristics, rules, and judgment criteria of information, quantifies the relationship between information and information, and predicts new data using a quantified pattern.
  • the algorithms used by machine learning techniques can be statistical based algorithms, for example, decision trees that use the tree structure type as a prediction model, artificial neural networks neural networks, genetic programming based on biological evolutionary algorithms, clustering to distribute the observed examples into a subset of clusters, Monte Carlo methods to compute function values through randomly extracted random numbers (Monter carlo method) or the like.
  • deep learning technology is a technique that performs at least one of learning, judging, and processing of information using an algorithm of Deap Neuron Network (DNN).
  • DNN Deap Neuron Network
  • An artificial neural network (DNN) can have a structure that links layers and layers, and passes data between layers and layers. This deep learning technique can learn vast amount of information through artificial neural network (DNN) using GPU (graphic processing unit) optimized for parallel computing.
  • the control unit 1800 may use a training data stored in an external server or memory, and may include a learning engine for detecting a characteristic for recognizing a predetermined object. At this time, the characteristic for recognizing the object may include the size, shape and shade of the object.
  • the learning engine can recognize at least one object or organism included in the input image.
  • the controller 1800 can recognize whether or not an obstacle such as a chair leg, a fan, and a specific type of balcony gap, which is obstructed by the running of the cleaner, exists around the cleaner , The efficiency and reliability of the traveling of the cleaner can be increased.
  • the learning engine may be mounted on the control unit 1800 or may be mounted on an external server. If the learning engine is mounted on an external server, the control unit 1800 can control the communication unit 1100 to transmit at least one image to be analyzed to the external server.
  • the external server can recognize at least one object or organism included in the image by inputting the image received from the cleaner to the learning engine.
  • the external server can transmit the information related to the recognition result back to the cleaner.
  • the information related to the recognition result may include information related to the number of objects included in the image to be analyzed and names of the respective objects.
  • the driving unit 1300 includes a motor. By driving the motor, the left and right main wheels can be rotated in both directions to rotate or move the main body.
  • the driving unit 1300 can advance the main body of the mobile robot forward, backward, leftward, rightward, curved, or rotated in place.
  • the input unit 1200 receives various control commands from the user for the robot cleaner.
  • the input unit 1200 may include one or more buttons, for example, the input unit 1200 may include an OK button, a setting button, and the like.
  • the OK button is a button for receiving a command for confirming the detection information, the obstacle information, the position information, and the map information from the user
  • the setting button is a button for receiving a command for setting the information from the user.
  • the input unit 1200 may include an input reset button for canceling the previous user input and receiving the user input again, a delete button for deleting the preset user input, a button for setting or changing the operation mode, A button for receiving an input, and the like.
  • the input unit 1200 may be installed on the upper portion of the mobile robot using a hard key, a soft key, a touch pad, or the like.
  • the input unit 1200 may have the form of a touch screen together with the output unit 1500.
  • the output unit 1500 can be installed above the mobile robot.
  • the installation location and installation type may vary.
  • the output unit 1500 may display a battery state, a traveling mode, and the like on the screen.
  • the output unit 1500 may output status information of the mobile robot detected by the sensing unit 1400, for example, the current status of each configuration included in the mobile robot.
  • the output unit 1500 may display the external status information, the obstacle information, the position information, the map information, and the like detected by the sensing unit 1400 on the screen.
  • the output unit 1500 may include any one of a light emitting diode (LED), a liquid crystal display (LCD), a plasma display panel, and an organic light emitting diode (OLED) As shown in FIG.
  • the output unit 1500 may further include sound output means for audibly outputting an operation process or an operation result of the mobile robot performed by the control unit 1800.
  • the output unit 1500 may output a warning sound to the outside according to the warning signal generated by the control unit 1800.
  • the sound output means may be a means for outputting sound such as a beeper, a speaker, and the like, and the output unit 1500 may output sound using audio data or message data having a predetermined pattern stored in the memory 1700, And output to the outside through the output means.
  • the mobile robot can output environmental information about the traveling region through the output unit 1500 or output it as sound.
  • the mobile robot may transmit map information or environment information to the terminal device through the communication unit 1100 so that the terminal device outputs a screen or sound to be outputted through the output unit 1500.
  • the communication unit 1100 is connected to a terminal device and / or another device (referred to as “home appliance " in this specification) located in a specific area and a communication method of one of wired, wireless, And transmits and receives signals and data.
  • the communication unit 1100 can transmit and receive data with other devices located in a specific area.
  • the other device may be any device capable of connecting to a network and transmitting / receiving data.
  • the device may be an air conditioner, a heating device, an air purifier, a lamp, a TV
  • the other device may be a device for controlling a door, a window, a water supply valve, a gas valve, or the like.
  • the other device may be a sensor for detecting temperature, humidity, air pressure, gas, or the like.
  • the memory 1700 stores a control program for controlling or driving the robot cleaner and data corresponding thereto.
  • the memory 1700 may store audio information, image information, obstacle information, position information, map information, and the like. Also, the memory 1700 can store information related to the traveling pattern.
  • the memory 1700 mainly uses a nonvolatile memory.
  • the non-volatile memory is a storage device capable of continuously storing information even when power is not supplied.
  • the storage device include a ROM, a flash memory, A storage device (e.g., a hard disk, a diskette drive, a magnetic tape), an optical disk drive, a magnetic RAM, a PRAM, and the like.
  • the sensing unit 1400 may include at least one of an external signal sensor, a front sensor, a cliff sensor, a two-dimensional camera sensor, and a three-dimensional camera sensor.
  • the external signal detection sensor can detect the external signal of the mobile robot.
  • the external signal detection sensor may be, for example, an infrared ray sensor, an ultrasonic sensor (Ultra Sonic Sensor), a RF sensor (Radio Frequency Sensor), or the like.
  • the mobile robot can detect the position and direction of the charging base by receiving the guidance signal generated by using the external signal detection sensor. At this time, the charging base can transmit a guidance signal indicating a direction and a distance so that the mobile robot can return. That is, the mobile robot can receive the signal transmitted from the charging station, determine the current position, set the moving direction, and return to the charging state.
  • the front sensor may be installed at a predetermined distance in front of the mobile robot, specifically along the side surface of the side of the mobile robot.
  • the front sensing sensor is located at least on one side of the mobile robot and detects an obstacle in front of the mobile robot.
  • the front sensing sensor senses an object, especially an obstacle, existing in the moving direction of the mobile robot and transmits detection information to the controller 1800 . That is, the front sensor can detect protrusions on the moving path of the mobile robot, household appliances, furniture, walls, wall corners, and the like, and transmit the information to the controller 1800.
  • the frontal detection sensor may be an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, or the like, and the mobile robot may use one type of sensor as the front detection sensor or two or more kinds of sensors have.
  • Ultrasonic sensors can typically be used to detect distant obstacles in general.
  • the ultrasonic sensor includes a transmitter and a receiver.
  • the controller 1800 determines whether the ultrasonic wave radiated through the transmitter is reflected by an obstacle or the like and is received by the receiver, The distance to the obstacle can be calculated.
  • the controller 1800 can detect the information related to the size of the obstacle by comparing the ultrasonic waves radiated from the transmitter and the ultrasonic waves received by the receiver. For example, the control unit 1800 can determine that the larger the obstacle is, the more the ultrasonic waves are received in the receiving unit.
  • a plurality (e. G., Five) of ultrasonic sensors may be installed along the outer circumferential surface on the front side of the mobile robot. At this time, preferably, the ultrasonic sensor can be installed on the front side of the mobile robot alternately with the transmitting part and the receiving part.
  • the transmitting unit may be disposed to be spaced left and right from the front center of the main body, and one or two transmitting units may be disposed between the receiving units to form a receiving area of the ultrasonic signal reflected from the obstacle or the like.
  • the receiving area can be expanded while reducing the number of sensors.
  • the angle of origin of the ultrasonic waves can maintain an angle range that does not affect different signals to prevent crosstalk.
  • the receiving sensitivity of the receiving units may be set differently.
  • the ultrasonic sensor may be installed upward by a predetermined angle so that the ultrasonic wave emitted from the ultrasonic sensor is outputted upward, and the ultrasonic sensor may further include a predetermined blocking member to prevent the ultrasonic wave from being radiated downward.
  • the front sensor can use two or more kinds of sensors together, so that the front sensor can use any one of an infrared sensor, an ultrasonic sensor, and an RF sensor .
  • the front sensing sensor may include an infrared sensor in addition to the ultrasonic sensor.
  • the infrared sensor may be installed on the outer surface of the mobile robot together with the ultrasonic sensor.
  • the infrared sensor can also detect the obstacles existing on the front or side and transmit the obstacle information to the controller 1800. That is, the infrared sensor senses protrusions existing on the moving path of the mobile robot, household appliances, furniture, walls, wall corners, and the like, and transmits the information to the controller 1800. Therefore, the mobile robot can move within a specific area without collision with the obstacle.
  • a cliff sensor (or Cliff Sensor) can detect obstacles on the floor supporting the main body of the mobile robot by mainly using various types of optical sensors.
  • the cliff detection sensor is installed on the rear surface of the bottom mobile robot, but may be installed at a different position depending on the type of the mobile robot.
  • the obstacle detection sensor is located on the back surface of the mobile robot and detects an obstacle on the floor.
  • the obstacle detection sensor includes an infrared sensor, an ultrasonic sensor, an RF sensor, a PSD (Position Sensitive Detector) sensor.
  • one of the cliff detection sensors may be installed in front of the mobile robot, and the other two cliff detection sensors may be installed relatively behind.
  • the cliff detection sensor may be a PSD sensor, but it may be composed of a plurality of different kinds of sensors.
  • the PSD sensor uses a semiconductor surface resistance to detect the shortest path distance of incident light at one p-n junction.
  • the PSD sensor includes a one-dimensional PSD sensor for detecting light in only one direction and a two-dimensional PSD sensor for detecting a light position on a plane, all of which can have a pin photodiode structure.
  • the PSD sensor is a type of infrared sensor that measures the distance by measuring the angle of the infrared ray reflected from the obstacle after transmitting the infrared ray by using the infrared ray. That is, the PSD sensor uses the triangulation method to calculate the distance to the obstacle.
  • the PSD sensor includes a light emitting unit that emits infrared rays to an obstacle, and a light receiving unit that receives infrared rays that are reflected from the obstacle and is returned to the obstacle.
  • a stable measurement value can be obtained irrespective of the reflectance and the color difference of the obstacle.
  • the control unit 1800 can detect the depth of the cliff by measuring the infrared angle between the light emission signal of the infrared ray emitted from the cliff detection sensor toward the ground and the reflection signal received by being reflected by the obstacle.
  • the control unit 1800 can determine whether to pass or not according to the ground state of the detected cliff by using the cliff detection sensor, and can determine whether the cliff passes or not according to the determination result. For example, the control unit 1800 determines whether or not a cliff is present and the depth of the cliff through the cliff detection sensor, and then passes through the cliff only when a reflection signal is detected through the cliff detection sensor.
  • control unit 1800 may determine the lifting phenomenon of the mobile robot using a cliff detection sensor.
  • the two-dimensional camera sensor is provided on one side of the mobile robot to acquire image information related to the surroundings of the body during movement.
  • An optical flow sensor converts a downward image input from an image sensor provided in a sensor to generate image data of a predetermined format.
  • the generated image data can be stored in the memory 1700.
  • one or more light sources may be installed adjacent to the optical flow sensor.
  • the at least one light source irradiates light onto a predetermined area of the bottom surface, which is photographed by the image sensor. That is, when the mobile robot moves in a specific region along the bottom surface, a certain distance is maintained between the image sensor and the bottom surface when the bottom surface is flat. On the other hand, when the mobile robot moves on the bottom surface of a nonuniform surface, it is distant by a certain distance due to the unevenness and obstacles on the bottom surface.
  • one or more light sources can be controlled by the control unit 1800 to adjust the amount of light to be irradiated.
  • the light source may be a light emitting device capable of adjusting the amount of light, for example, an LED (Light Emitting Diode).
  • the control unit 1800 can detect the position of the mobile robot irrespective of the slip of the mobile robot.
  • the control unit 1800 may compute and analyze the image data photographed by the optical flow sensor over time to calculate the moving distance and the moving direction, and calculate the position of the mobile robot based on the moving distance and the moving direction.
  • the control unit 1800 can perform a robust correction against the position of the mobile robot calculated by other means.
  • the three-dimensional camera sensor may be attached to one side or a part of the main body of the mobile robot to generate three-dimensional coordinate information related to the surroundings of the main body.
  • the three-dimensional camera sensor may be a 3D depth camera that calculates the near distance of the mobile robot and the object to be photographed.
  • the three-dimensional camera sensor can capture a two-dimensional image related to the surroundings of the main body, and can generate a plurality of three-dimensional coordinate information corresponding to the captured two-dimensional image.
  • the three-dimensional camera sensor includes two or more cameras that acquire an existing two-dimensional image, and a stereoscopic vision sensor that combines two or more images obtained from the two or more cameras to generate three- . ≪ / RTI >
  • the three-dimensional camera sensor includes a first pattern irradiating unit for irradiating light of a first pattern downward toward the front of the main body, and a second pattern irradiating unit for irradiating the light of the second pattern upward toward the front of the main body
  • a second pattern irradiating unit, and an image acquiring unit acquiring an image in front of the main body.
  • the image acquiring unit can acquire an image of a region where light of the first pattern and light of the second pattern are incident.
  • the three-dimensional camera sensor includes an infrared ray pattern emitting unit for irradiating an infrared ray pattern with a single camera, and captures a shape of the infrared ray pattern irradiated by the infrared ray pattern emitting unit onto the object to be photographed, The distance between the sensor and the object to be photographed can be measured.
  • the three-dimensional camera sensor may be an IR (Infra Red) type three-dimensional camera sensor.
  • the three-dimensional camera sensor includes a light emitting unit that emits light together with a single camera, receives a part of the laser emitted from the light emitting unit reflected from the object, analyzes the received laser, The distance between the camera sensor and the object to be photographed can be measured.
  • the three-dimensional camera sensor may be a time-of-flight (TOF) type three-dimensional camera sensor.
  • the laser of the above-described three-dimensional camera sensor is configured to irradiate a laser beam extending in at least one direction.
  • the three-dimensional camera sensor may include first and second lasers, wherein the first laser irradiates a linear laser beam intersecting each other, and the second laser irradiates a single linear laser can do.
  • the lowermost laser is used to detect obstacles in the bottom part
  • the uppermost laser is used to detect obstacles in the upper part
  • the intermediate laser between the lowermost laser and the uppermost laser is used to detect obstacles in the middle part .
  • the charging station 510 for charging the battery of the cleaner 100 may be installed in the cleaning area 500.
  • the filling station 510 may be installed outside the cleaning area 500.
  • the charging station 510 is provided with a communication device (not shown) capable of emitting signals of different types, and the communication device is connected to the communication unit 1100 of the vacuum cleaner 100, Can be performed.
  • the control unit 1800 can control the driving unit 1300 to dock the main body of the vacuum cleaner 100 to the charging station 510 based on the signal received from the charging station 510 to the communication unit 1100.
  • the control unit 1800 may move the main body toward the charging station 510 when the remaining capacity of the battery drops below the limit capacity and if the main body is close to the charging station 510, Can be controlled.
  • FIG. 6A An exemplary embodiment of a general vacuum cleaner having a front camera and a ceiling camera separately will be described with reference to FIG. 6A.
  • a general vacuum cleaner may include a front camera 601 and a ceiling camera 602, respectively.
  • the image photographed by the front camera 601 is used for monitoring running of the cleaner. That is, the controller of the cleaner transmits the image photographed by the front camera 601 to the user terminal or the server, so that the user can monitor the area where the cleaner exists in real time.
  • the image photographed by the ceiling camera 602 is used for SLAM running of the cleaner. That is, the control unit of the cleaner can detect the position of the cleaner or generate cleaning map information by using the image photographed by the ceiling camera 602.
  • the set values of the front camera and the ceiling camera can be set to be different from each other.
  • the forward camera 601 used for monitoring running needs to transmit a clear image to the user, the image of relatively bright illumination is captured.
  • the ceiling camera 602 used for running the slam needs to improve the accuracy of the position detection by avoiding the light blur, so that the image of the relatively dark illumination is captured.
  • the control unit of the general cleaner can set the exposure time of the front camera 601 to be longer than the exposure time of the ceiling camera 602 even if the front camera 601 and the ceiling camera 602 have the same performance have.
  • both a front camera and a ceiling camera are required in order to normally perform both the monitoring driving and the slam driving. It is difficult to remove. In this case, since two or more camera modules need to be installed, the manufacturing cost of the vacuum cleaner increases.
  • FIG. 6B an embodiment of the vacuum cleaner 100 according to the present invention will be described.
  • the cleaner 100 according to the present invention can normally perform both the monitoring running and the slam running using one camera 603.
  • the optical axis of the camera 603 of the vacuum cleaner 100 according to the present invention can form an angle with the bottom surface of the cleaning area 500 where the main body of the vacuum cleaner 100 is located have.
  • the angle formed by the direction and the bottom surface of the camera 603 of the vacuum cleaner 100 according to the present invention may be in the range of 30 degrees to 60 degrees.
  • the view angle of the camera 603 of the vacuum cleaner 100 according to the present invention may be greater than a predetermined angle.
  • the viewing angle of the camera 603 may be in the range of 90 to 150.
  • the viewing angle? 3 of the camera 603 according to the present invention is formed to be wider than the viewing angle? 1 of the front camera and the viewing angle? 2 of the ceiling camera installed in a general vacuum cleaner .
  • the camera 603 can be formed so that the direction in which the camera is directed can be changed.
  • a mechanical direction adjusting member (not shown) or an electronic direction adjusting member (not shown) is provided at a portion connecting the camera 603 to the main body so that the direction in which the camera 603 is directed can be changed.
  • control unit 1800 may start the SLAM running in the first running mode (S701).
  • control unit 1800 can start the monitoring running in the second running mode (S702).
  • control unit 1800 can execute various driving modes using images photographed by the camera.
  • the two traveling modes will be mainly described.
  • the control unit 1800 may alternately change the illuminance value of the camera to the first illuminance value and the second illuminance value at a predetermined interval (S703).
  • control unit 1800 may set a set value related to the illuminance of the camera as a first illuminance value, when a predetermined number of images are captured, when the camera is started to be imaged. Thereafter, the control unit 1800 may change the set value related to the illuminance of the camera to the second illuminance value while the predetermined number of images are captured. The control unit 1800 may repeatedly perform the process of changing the setting value related to the illuminance of the camera.
  • the setting value related to the camera illumination may include a setting value related to the camera exposure time, a setting value related to the illumination output, and a setting value related to the brightness filter.
  • the number of images taken per unit time by the camera may be equal to or greater than the number of images required per unit time in the first driving mode.
  • the number of images photographed by the camera per unit time may be equal to or larger than the number of images required per unit time in the second travel mode.
  • the controller 1800 selects one of the set values related to the illuminance of the camera.
  • control unit 1800 can control the camera such that a predetermined number of images are captured at a plurality of different illuminance levels.
  • control unit 1800 can control the camera such that the number of images photographed in any one of the plurality of illuminations is different from the number of images photographed in the other one of the illuminations.
  • control unit 1800 may perform any one of a plurality of driving modes performed by the cleaner using an image photographed in any one of a plurality of illuminations, And the other of the plurality of traveling modes performed by the cleaner can be performed.
  • the plurality of running modes may include at least one of an obstacle recognition mode, a monitoring running mode, and a position recognition mode.
  • control unit 1800 can control the camera such that the illuminance of the image used when the position recognition mode is performed is lower than the illuminance of the image used when at least one of the obstacle recognition mode and the monitoring mode is performed have.
  • the control unit 1800 can execute the slam driving in the first driving mode using the image photographed with the first illumination value (S704).
  • control unit 1800 can detect the position of the cleaner 100 or generate a cleaning map related to the cleaning area 500 using the image captured at the first illumination value.
  • control unit 1800 extracts a portion corresponding to the ceiling portion of the image photographed with the first illumination value, extracts the characteristic point from the extracted portion, and performs the first driving mode using the extracted characteristic point .
  • the control unit 1800 can execute the monitoring running, which is the second running mode, using the image photographed with the second illumination value (S705).
  • control unit 1800 can select a part of the images photographed with the second illuminance value, and can control the communication unit 1100 to transmit the selected image to at least one of the server and the user terminal.
  • the image photographed with the first illuminance value may be an image photographed darker than the image photographed with the second illuminance value. That is, the first illuminance value may be lower than the second illuminance value.
  • the number of images photographed with the second illuminance value may be larger than the number of images photographed with the first illuminance value.
  • control unit 1800 can set a plurality of driving modes (S711).
  • the plurality of running modes set may include slam running and monitoring running.
  • the control unit 1800 can set a plurality of camera illuminance values based on the plurality of travel modes set (S712).
  • control unit 1800 can detect information related to the illuminance of the image used in each of the plurality of set travel modes. Further, the controller 1800 can set a plurality of camera illuminance values so that images applicable in the plurality of travel modes are captured using the information related to the detected illuminance.
  • the control unit 1800 controls the information relating to the illuminance of the image used in the first traveling mode, Information related to the illuminance of the image can be respectively detected.
  • the controller 1800 can set the first illuminance value of the camera so that the image applicable to the first driving mode is captured using the information related to the illuminance of the image used in the first driving mode.
  • the controller 1800 can set the second illuminance value of the camera so that the image applicable to the second travel mode is captured using the information related to the illuminance of the image used in the second travel mode.
  • the control unit 1800 may control the camera to photograph an image while changing the illuminance value of the camera based on the plurality of camera illuminance values set (S713).
  • the controller 1800 may cross-change the set value associated with the illuminance of the camera so that the camera captures the image with the first illuminance value set and then shoots the image with the second illuminance value set .
  • control unit 1800 may control the illuminance of the camera to photograph a first number of images with the first illuminance value being set, and then photograph a second number of images with the second illuminance value being set Can be changed.
  • the control unit 1800 can classify the photographed images into a plurality of groups based on the illuminance values (S714).
  • control unit 1800 classifies the images photographed in the state that the first illumination value is set to be included in the first image group used in the first driving mode, And the second image group used in the second traveling mode.
  • the control unit 1800 can execute the corresponding driving mode based on the illuminance value of the image included in the classified group (S715).
  • control unit 1800 can execute the first traveling mode using the images included in the first image group, and can execute the second traveling mode using the images included in the second image group.
  • FIG. 8A a method of processing a plurality of frames obtained from the forward camera 601 of the general vacuum cleaner shown in FIG. 6A will be described.
  • the front camera 601 may capture a predetermined number of frames per second and the control unit of the general cleaner may select some of the frames photographed by the front camera 601 and transmit the selected frames to the server or the user terminal. Can be controlled. At this time, the controller of the general cleaner does not change the roughness gain of the front camera that determines the brightness of the image, and the front camera photographs the image based on the fixed roughness gain value.
  • FIG. 8B a method of processing a plurality of frames obtained from the ceiling camera 602 of the general vacuum cleaner shown in FIG. 6A will be described.
  • the ceiling camera 602 may capture a predetermined number of frames per second, and the control unit of the general vacuum cleaner may select some of the frames photographed by the ceiling camera 602 and perform slam driving using the selected frames .
  • control unit of the general vacuum cleaner does not change the roughness gain of the ceiling camera that determines the brightness of the image, and the ceiling camera sets the image based on the fixed roughness gain value I shoot.
  • the controller 1800 may change the setting value related to the illuminance of the camera during the continuous shooting of the camera.
  • a single camera included in the vacuum cleaner 100 according to the present invention can take a predetermined number of images per second.
  • the controller 1800 can control the camera such that some of the predetermined number of images are photographed at the first illuminance L, and the remaining part of the images are photographed at the second illuminance H.
  • the camera provided in the vacuum cleaner 100 can capture 30 frames per second.
  • the control unit 1800 can control the camera such that images of three frames out of thirty frames are photographed at the first illuminance (L), and images of the remaining twenty-five frames are photographed at the second illuminance (H) have.
  • the first illuminance L may be set lower than the second illuminance H.
  • the controller 1800 detects information related to the illuminance of the image used in the first driving mode and information related to the illuminance of the image used in the second driving mode can do.
  • control unit 1800 can detect information related to the brightness of a desired image in each of the plurality of driving modes that the cleaner 100 can execute.
  • control unit 1800 may detect the illuminance value of the camera for photographing the image used in the first driving mode or the second driving mode.
  • control unit 1800 may detect an exposure time parameter of the camera for capturing an image used in the first driving mode or the second driving mode.
  • the controller 1800 can detect the number of images used per unit time and the number of images used in the second driving mode in the first driving mode.
  • the controller 1800 can detect the number of images required in each of the plurality of running modes that the cleaner 100 can execute. More specifically, the control unit 1800 can detect the number of images used per unit time in the first running mode as a first number, and detect the number of images used per unit time in the second running mode as a second number .
  • the control unit 1800 determines whether or not a predetermined number of images photographed in the first and second driving modes, respectively, The illuminance value of the camera can be changed to be included in the frame of the camera.
  • control unit 1800 includes a first image (L) captured by the first illuminance (L) in a frame generated per unit time by one camera, and an image captured by the second illuminance (H)
  • the camera can be controlled to include more than two cameras.
  • control unit 1800 determines whether the image photographed in the first illuminance (L) is the first image (L) in the acquired image while the camera acquires the predetermined number of images per unit time Or more, and the second number or more images captured in the second illuminance (H) are included.
  • control unit 1800 can classify the images photographed by the camera into a plurality of groups based on the illuminance values of the images.
  • the control unit 1800 may perform labeling for each image based on the classification result and store the labeled image in the memory 1700.
  • the control unit 1800 may execute the first driving mode of the selected driving mode using the image captured in the first illumination after the image is classified as described above.
  • the controller 1800 can execute the second driving mode of the selected driving mode using the image captured in the second illuminance after the image is classified.
  • the first driving mode may be a slam driving mode.
  • control unit 1800 can execute the slam driving by detecting the information related to the position of the main body by using the image photographed in the first illuminance.
  • control unit 1800 can generate the map information of the cleaning area in which the main body is located by using the image photographed in the first illuminance.
  • the image taken at the first illuminance required by the slam driving may be an image at which the relatively dark illuminance value is applied.
  • the control unit 1800 can prevent the light blur in the image and improve the accuracy of the slam driving by applying a relatively dark illumination value to the camera when the slam running is performed.
  • the controller 1800 may change the setting value related to the illuminance of the camera within the first illuminance range in order to photograph the image used in the first driving mode.
  • the illuminance of the image used in the first driving mode is not fixed to any one of the illuminance values, and the controller 1800 controls the camera 1800 such that a plurality of images used in the first driving mode are photographed with a plurality of illuminance values Can be controlled.
  • An embodiment in which a plurality of images used in the same driving mode are respectively photographed with a plurality of illumination values is described in more detail in Fig. 9C.
  • the second running mode may be a monitoring running mode.
  • control unit 1800 may control the communication unit 1100 to transmit at least one of the images taken at the second illuminance to the server or the user terminal.
  • controller 1800 may control the communication unit 1100 to select a predetermined number of images from the images taken at the second illuminance and transmit the selected images to at least one of the server and the user terminal.
  • the control unit 1800 may determine the sharpness of each of the images captured in the second illuminance, select an image whose determined sharpness is equal to or greater than a predetermined sharpness value, and transmit the selected image to at least one of the server and the user terminal. Can be controlled.
  • the control unit 1800 can select an image corresponding to a predetermined order among the images taken at the second illuminance and control the communication unit 1100 to transmit the selected image to at least one of the server and the user terminal.
  • control unit 1800 may display images corresponding to the first, fourth, seventh, tenth, thirteenth, fifteenth, eighteenth, twenty-first, Can be selected.
  • the control unit 1800 may increase or decrease the number of images transmitted to at least one of the server and the user terminal through the communication unit 1100 when receiving a predetermined user input to at least one of the server and the user terminal have.
  • control unit 1800 can select an increased or decreased number of images from the second illuminance image, and can control the communication unit 1100 to transmit the selected image to at least one of the server and the user terminal .
  • control unit 1800 may set a setting value related to the illuminance of the camera during the continuous shooting of the image so that the images captured at different illuminances are included in a plurality of frames photographed by one camera Can be changed.
  • a single camera provided in the vacuum cleaner 100 can generate 30 frames per second.
  • the controller 1800 controls the camera 1800 such that the first frame, the fifteenth frame, and the thirtieth frame of the thirty frames are photographed at the first illuminance L and the remaining 27 frames are photographed at the second illuminance H, Can be controlled.
  • the cleaner 100 can acquire images photographed with a plurality of illuminance using one camera.
  • the controller 1800 may select some of the frames photographed in the second illuminance H and execute the second travel mode using a selected portion of the frames.
  • the time interval between selected frames may be constant. That is, when selecting an image to be used in the second driving mode, the control unit 1800 can select the image so that the shooting times between the images are uniform.
  • the controller 1800 may perform the first illuminance control for controlling the camera such that a predetermined number of images are photographed at the first illuminance L.
  • controller 1800 may perform the second illumination control for controlling the camera so that the predetermined number of images are captured at the second illumination after the first illumination control is completed.
  • controller 1800 may repeat the first and second roughness controls in sequence.
  • the control unit 1800 may cross-change the set values related to the illuminance of the camera to the first illuminance L and the second illuminance H, respectively. That is, the controller 1800 can control the camera so that the image captured in the first illuminance and the image captured in the second illuminance are sequentially and repeatedly generated.
  • FIGS. 9A and 9B a specific method for changing the set value related to the illuminance of the camera has been described, but the present invention is not limited thereto.
  • control unit 1800 may change a set value related to the illuminance of the camera within the first illuminance range in order to photograph an image used in the first driving mode.
  • control unit 1800 may change the setting value related to the illuminance of the camera within the second illuminance range in order to photograph the image used in the second travel mode.
  • the illuminance of the image used in one driving mode is not fixed to any one of the illuminance values, and the controller 1800 controls the camera 1800 such that a plurality of images used in the one driving mode are photographed with a plurality of illuminance values, Can be controlled.
  • the control unit 1800 sets a set value related to the illuminance of the camera to a first set value (L1), a second set value The value L2, and the third set value L3, respectively.
  • the first to third set values L1, L2, and L3 may be included in the first illuminance range.
  • the controller 1800 sets the set value related to the illuminance of the camera to a fourth set value H1 at a plurality of times at which a plurality of images used in the second driving mode are captured, 5 set value H2, and the sixth set value H3, respectively.
  • the fourth to sixth set values H1, H2, and H3 may be included in the second illuminance range.
  • the control unit 1800 when the first driving mode is started, the control unit 1800 sets a setting value related to the illuminance of the camera as a first setting value L1 at the time of shooting an image used in the first driving mode .
  • the first set value L1 may be a default value.
  • the control unit 1800 sets a setting related to the illuminance of the camera at the time of shooting the image used in the first driving mode Value to the second set value L2.
  • the controller 1800 controls the illuminance of the camera at the time of shooting the image used in the first driving mode
  • the related set value can be changed to the third set value L3.
  • the control unit 1800 can use the sensing value of an illuminance sensor (not shown) provided outside the main body to determine whether the main body enters a region darker than the previous region or enters a region brighter than the previous region have.
  • an illuminance sensor not shown
  • control unit 1800 can change setting values related to the illuminance of the camera for each frame so that the images photographed by one camera can be used in a plurality of driving modes.
  • control unit 1800 can allocate a frame generated by one camera per unit time for each selected driving mode.
  • the controller 1800 can assign the first frame, the fifteenth frame, and the thirtieth frame to the first driving mode, and the remaining 27 frames to the second driving mode.
  • control unit 1800 controls the illuminance of the camera at a time corresponding to the frame allocated to the first driving mode
  • the related setting value can be changed.
  • the single camera 1001 of the present invention can capture images of up to 30 frames per second.
  • the illumination control unit 1801 included in the control unit 1800 can change the setting value related to the illuminance of the single camera 1001 while the single camera 1001 is continuously shooting.
  • the illumination control unit 1801 included in the control unit 1800 can group images photographed with the same illuminance, and store the images in the memory 1100 for each group.
  • the illumination control unit 1801 included in the control unit 1800 can allocate and allocate 30 frames photographed per second to a plurality of driving modes.
  • the illumination control unit 1801 groups the frames assigned to the same traveling mode and stores them in the memory 1100 for each group.
  • the plurality of running modes may include a monitoring running mode 1002, a slam running mode 1004, and a deep running recognition mode 1003.
  • the illumination control unit 1801 can group the 26 frames allocated to the monitoring running mode.
  • the monitoring unit 1802 included in the control unit 1800 may transmit the 26 frames allocated to the monitoring running mode to the user terminal so that the 26 frames are displayed on the terminal screen 1002.
  • the illumination control unit 1801 can group the three frames assigned to the slam driving mode.
  • the control unit 1800 can execute slam driving using the three frames allocated to the slam driving mode.
  • the illumination control unit 1801 can assign one frame to the deep learning driving mode, and the control unit 1800 compares one frame allocated to the deep learning driving mode with the training data stored in advance in the memory, It is possible to detect information related to the subject of one frame assigned to the running running mode.
  • the information associated with the subject may include information related to whether the subject is an object or a creature.
  • the information associated with the subject may include information related to the Species corresponding to the subject, if the subject is an organism.
  • the information associated with the subject may include information related to the name of the subject, if the subject is an object.
  • the information associated with the subject may include information related to the size and shape of the subject.
  • the information related to the object may include information related to the number of objects included in the frame allocated to the deep running mode.
  • the number of cameras installed in the main body can be reduced, thereby reducing the manufacturing cost of the vacuum cleaner.
  • an image having a set value required in a plurality of traveling modes can be obtained by using one camera, so that an effect of reducing the data processing amount of the cleaner can be obtained.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따르는 자율주행을 수행하는 청소기는 본체, 상기 본체를 이동시키는 구동부, 기 설정된 주기마다 상기 본체 주변의 영상을 촬영하는 카메라 및 복수의 주행 모드 중 적어도 하나를 선택하고, 선택된 주행 모드를 수행하도록 상기 구동부 및 카메라를 제어하는 제어부를 포함하고, 상기 제어부는 상기 카메라가 연속적으로 영상을 촬영하는 도중에, 상기 카메라의 조도와 관련된 설정 값을 변경시키는 것을 특징으로 한다.

Description

청소기 및 그 제어방법
본 발명은 청소기 및 그 제어 방법에 관한 것으로서, 보다 상세하게는 장애물을 인식할 수 있고, 자율 주행을 수행하는 청소기 및 그 제어 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.
최근에는, 로봇 청소기가 청소 영역을 단순히 자율적으로 주행하여 청소를 수행하는 것에서 벗어나 로봇 청소기를 헬스 케어, 스마트홈, 원격제어 등 다양한 분야에 활용하기 위한 연구가 활발하게 이루어지고 있다.
일반적으로 로봇 청소기는 청소지도를 작성하기 위한 슬램(SLAM, Simultaneous Localization and Mapping) 주행 중에 본체의 상방을 지향하는 천장카메라에 의해 획득된 영상을 이용한다.
또한, 일반적으로 로봇 청소기는 본체 주변의 정보를 사용자에게 전달하기 위한 모니터링 주행 중에 본체의 전방을 지향하는 전방카메라에 의해 획득된 영상을 이용한다.
이때, 로봇 청소기의 제어부는 천장카메라와 전방카메라의 설정 값을 다르게 설정할 수 있다. 예를 들어, 제어부는 슬램에 이용되는 천장카메라가 상대적으로 저조도의 영상을 촬영하도록 상기 천장카메라의 설정 값을 설정할 수 있다. 또 다른 예에서, 제어부는 모니터링에 이용되는 전방카메라가 상대적으로 고조도의 영상을 촬영하도록 상기 전방카메라의 설정 값을 제어할 수 있다.
즉, 전방카메라가 천장카메라와 동일한 성능을 보유한다고 하더라도 제어부는 목적에 따라 카메라의 설정 값을 다르게 설정할 수 있다.
그러나, 위와 같이 카메라의 설정 값을 고정적으로 사용하게 되면, 로봇 청소기가 수행하는 주행 모드의 개수만큼 카메라를 구비해야만, 복수의 주행 모드를 정상적으로 수행할 수 있다. 즉, 일반적인 로봇 청소기의 경우, 복수의 주행 모드에 각각 대응되는 복수의 카메라를 구비해야하므로, 로봇 청소기의 제작 비용이 증가하는 문제점이 있다
한편, 최근 단일 카메라만을 이용하여, 다양한 기능을 수행할 수 있는 로봇 청소기의 필요성이 대두되고 있다.
단일 카메라만을 이용하는 경우에는, 카메라의 설정 값이 고정된 상태에서 영상을 획득하면, 복수의 주행 모드에 필요한 다양한 영상을 획득할 수 없는 문제점이 있다.
이와 관련하여, 한국등록특허 10-0185909호(공개일자 1996년 02월 23일)에서는 윈도우 내의 촬영장면과 윈도우 밖의 촬영장면에 대하여 서로 다르게 설정되는 가중값에 근거하여 노출 제어신호를 발생시키는 구성을 개시하고 있다.
그러나, 상기 한국등록특허 10-0185909호에 따른 비디오 카메라의 노출 조절 장치는, 촬영장면 내에서 피사체의 위치를 중심으로 정확한 밝기를 제공하기 위해 조리개를 제공하는 것에 그칠뿐이고, 로봇 청소기가 수행하는 기능에 따라 필요한 설정 값을 갖는 영상을 획득하기 어려운 문제점이 있다.
위와 같은 문제점을 해결하기 위한 본 발명의 기술적 과제는, 단일카메라만을 이용하여 청소기의 복수의 주행 모드에 요구되는 설정 값을 갖는 영상을 획득할 수 있는 자율 주행을 수행하는 청소기 및 그의 제어방법을 제공하는 것이다.
또한, 본 발명의 목적은, 하나의 카메라만을 이용하여 청소기가 수행하는 주행 모드에 필요한 설정 값을 갖는 영상을 획득할 수 있는 자율 주행을 수행하는 청소기 및 그의 제어방법을 제공하는 것이다.
또한, 본 발명의 목적은, 하나의 카메라의 설정 값을 제어부에서 실행 중인 알고리즘에 따라 변경함으로써, 하나의 카메라만을 구비하면서도 복수의 주행 모드를 수행할 수 있는 자율 주행을 수행하는 청소기 및 그의 제어방법을 제공하는 것이다.
위와 같은 본 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른 자율주행을 수행하는 청소기는 본체, 상기 본체를 이동시키는 구동부, 기 설정된 주기마다 상기 본체 주변의 영상을 촬영하는 카메라 및 복수의 주행 모드 중 적어도 하나를 선택하고, 선택된 주행 모드를 수행하도록 상기 구동부 및 카메라를 제어하는 제어부를 포함하고, 상기 제어부는 선택된 주행 모드에 근거하여, 상기 카메라의 조도와 관련된 설정 값을 변경시키는 것을 특징으로 한다.
일 실시예에서, 상기 카메라는 초당 기 설정된 개수의 영상을 촬영하고, 상기 제어부는 상기 기 설정된 개수의 영상 중 일부는 제1 조도로 촬영되고, 나머지 일부는 제2 조도로 촬영되도록 상기 카메라를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 카메라는 초당 30 프레임의 영상을 획득하고, 상기 제어부는 상기 30프레임의 영상 중 3프레임의 영상은 제1 조도로 촬영되고, 나머지 27 프레임의 영상은 제2 조도로 촬영되도록 상기 카메라를 제어하고, 상기 제1 조도는 상기 제2 조도보다 낮게 설정되는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 제1 주행 모드와 제2 주행 모드가 선택되면, 상기 제1 주행 모드에서 이용되는 영상의 조도와 관련된 정보와, 상기 제2 주행 모드에서 이용되는 영상의 조도와 관련된 정보를 검출하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 제1 및 제2 주행 모드가 선택되면, 상기 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수와, 상기 제2 주행 모드에서 이용되는 영상의 개수를 검출하는 것을 특징으로 한다.
일 실시예에서, 상기 제1 주행 모드에서 이용되는 영상의 조도가 상기 제1 조도이고, 상기 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수가 제1 개수이고, 상기 제2 주행 모드에서 이용되는 영상의 조도가 상기 제2 조도이고, 상기 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수가 제 2 개수이면, 상기 제어부는 상기 제1 및 제2 주행 모드가 선택되면, 상기 카메라가 초당 기 설정된 개수의 영상을 획득할 동안, 획득된 영상에 상기 제1 조도로 촬영된 영상이 제1 개수 이상 포함되고, 상기 제2 조도로 촬영된 영상이 제2 개수 이상 포함되도록, 상기 카메라를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 카메라에 의해 촬영된 영상을, 상기 영상의 조도 값에 근거하여 복수의 그룹으로 분류하는 것을 특징으로 한다.
일 실시예에서, 상기 카메라에 의해 촬영된 영상을 저장하는 메모리를 더 포함하고, 상기 제어부는 분류결과에 근거하여, 상기 영상의 레이블링(Labeling)을 수행하고, 레이블링된 영상을 상기 메모리에 저장하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 영상이 분류된 후, 상기 제1 조도로 촬영된 영상을 이용하여 선택된 주행 모드 중 제1 주행 모드를 실행시키고, 상기 제2 조도로 촬영된 영상을 이용하여 선택된 주행 모드 중 제2 주행 모드를 실행시키는 것을 특징으로 한다.
일 실시예에서, 상기 제1 주행 모드는 슬램(SLAM) 주행 모드이고, 상기 제어부는 상기 제1 조도로 촬영된 영상을 이용하여, 상기 본체의 위치와 관련된 정보를 검출함으로써, 상기 제1 주행 모드를 실행하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 제1 조도로 촬영된 영상을 이용하여, 상기 본체가 위치하는 청소영역의 지도 정보를 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 본체가 위치하는 청소영역의 밝기를 감지하는 센서를 더 포함하고, 상기 제어부는 상기 센서의 감지결과에 근거하여, 상기 본체 주변의 밝기가 변경되었는지 여부를 판단하고, 판단결과에 근거하여, 상기 제1 주행 모드에서 이용되는 영상의 조도 값을 보정하기 위해, 상기 카메라의 조도 값을 변경하는 것을 특징으로 한다.
일 실시예에서, 외부와 통신을 수행하는 통신부를 더 포함하고, 상기 제2 주행 모드는 모니터링 주행 모드이고, 상기 제어부는 상기 제2 조도로 촬영된 영상 중 적어도 하나를 서버 또는 사용자 단말기로 전송하도록 상기 통신부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 제2 조도로 촬영된 영상 중 기 설정된 개수의 영상을 선택하고, 선택된 영상을 상기 서버 및 사용자 단말기 중 적어도 하나로 전송하도록 상기 통신부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 제2 조도로 촬영된 영상 각각의 선명도를 판단하고, 판단된 선명도가 기 설정된 선명도 값 이상인 영상을 선택하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 제2 조도로 촬영된 영상 중 기 설정된 순번에 해당하는 영상을 선택하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 통신부를 통하여, 서버 및 사용자 단말기 중 적어도 하나에 인가된 소정의 사용자 입력을 전달받으면, 상기 서버 또는 상기 사용자 단말기 중 적어도 하나로 전송되는 영상의 개수를 증가 또는 감소시키고, 상기 제2 조도로 촬영된 영상 중 증가 또는 감소된 개수의 영상을 선택하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 카메라의 촬영이 개시되면, 소정의 개수의 영상이 상기 제1 조도로 촬영되도록 상기 카메라를 제어하는 제1 조도 제어를 수행하고, 상기 제1 조도 제어가 완료되면, 소정의 개수의 영상이 상기 제2 조도로 촬영되도록 상기 카메라를 제어하는 제2 조도 제어를 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는 상기 제1 조도 제어와 상기 제2 조도 제어를 순차적으로 반복 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 카메라의 광축은 상기 본체가 위치하는 청소영역의 바닥면과 소정의 각도를 형성하는 것을 특징으로 한다.
일 실시예에서, 상기 카메라의 시야각은 소정의 각도 이상으로 형성되는 것을 특징으로 한다.
위와 같은 본 발명에 따른 자율 주행을 수행하는 청소기에 따르면, 카메라의 설정 값을 필요에 따라 변경시킴으로써, 하나의 카메라만을 이용하면서도 복수의 주행 모드를 정상적으로 수행할 수 있는 장점이 있다.
즉, 본 발명에 따른 청소기의 제어방법에 의하면, 본체에 설치되는 카메라의 개수를 감소시킬 수 있으므로, 청소기의 제작 비용을 감소시킬 수 있는 효과가 도출된다.
또한, 본 발명에 따르면, 하나의 카메라를 이용하여 복수의 주행 모드에 요구되는 설정 값을 갖는 영상을 획득할 수 있으므로, 청소기의 데이터 처리량을 감소시킬 수 있는 효과가 도출된다.
아울러, 본 발명에 따르면, 하나의 카메라로부터 획득되는 정보를 이용하여 복수의 주행 모드를 수행할 수 있으므로, 데이터 처리의 효율성이 증가된다.
도 1은 본 발명에 따른 자율 주행을 수행하는 청소기의 일 예를 보인 사시도이다.
도 2는 도 1에 도시된 자율 주행을 수행하는 청소기의 평면도이다.
도 3은 도 1에 도시된 자율 주행을 수행하는 청소기의 측면도이다.
도 4는 본 발명의 일 실시예에 따른 자율 주행을 수행하는 청소기의 구성요소를 나타내는 블록도이다.
도 5는 본 발명에 따른 청소기와 충전 스테이션이 청소 영역에 설치되는 일 예를 나타내는 개념도이다.
도 6a는 전방카메라와 천장카메라를 별도로 구비하는 일반적인 청소기의 일 실시예를 나타내는 개념도이다.
도 6b는 하나의 카메라를 이용하는 본 발명에 따른 청소기의 일 실시예를 나타내는 개념도이다.
도 7a 및 도 7b는 본 발명에 따른 청소기의 제어 방법을 나타내는 흐름도이다.
도 8a는 도 6a에 도시된 일반적인 청소기의 전방카메라로부터 획득되는 복수의 프레임을 처리하는 방법을 나타내는 개념도이다.
도 8b는 도 6a에 도시된 일반적인 청소기의 천장카메라로부터 획득되는 복수의 프레임을 처리하는 방법을 나타내는 개념도이다.
도 9a 내지 도 9c는 본 발명에 따르는 청소기의 단일 카메라로부터 획득되는 복수의 프레임을 처리하는 방법을 나타내는 개념도이다.
도 10은 본 발명에 따르는 청소기의 제어방법을 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다.
도 1은 본 발명에 따른 로봇 청소기(100)의 일 예를 보인 사시도이고, 도 2는 도 1에 도시된 로봇 청소기(100)의 평면도이며, 도 3은 도 1에 도시된 로봇 청소기(100)의 측면도이다.
참고로, 본 명세서에서는 이동 로봇, 로봇 청소기 및 자율 주행을 수행하는 청소기가 동일한 의미로 사용될 수 있다.
도 1 내지 도 3을 참조하면, 로봇 청소기(100)는 일정 영역을 스스로 주행하면서 바닥을 청소하는 기능을 수행한다. 여기서 말하는 바닥의 청소에는, 바닥의 먼지(이물질을 포함한다)를 흡입하거나 바닥을 걸레질하는 것이 포함된다.
로봇 청소기(100)는 청소기 본체(110), 흡입 유닛(120), 센싱 유닛(130) 및 먼지통(140)을 포함한다.
청소기 본체(110)에는 로봇 청소기(100)의 제어를 위한 제어부(미도시) 및 로봇 청소기(100)의 주행을 위한 휠 유닛(111)이 구비된다. 휠 유닛(111)에 의해 로봇 청소기(100)는 전후좌우로 이동되거나 회전될 수 있다.
휠 유닛(111)은 메인 휠(111a) 및 서브 휠(111b)을 포함한다.
메인 휠(111a)은 청소기 본체(110)의 양측에 각각 구비되어, 제어부의 제어 신호에 따라 일 방향 또는 타 방향으로 회전 가능하게 구성된다. 각각의 메인 휠(111a)은 서로 독립적으로 구동 가능하게 구성될 수 있다. 예를 들어, 각각의 메인 휠(111a)은 서로 다른 모터에 의해서 구동될 수 있다.
서브 휠(111b)은 메인 휠(111a)과 함께 청소기 본체(110)를 지지하며, 메인 휠(111a)에 의한 로봇 청소기(100)의 주행을 보조하도록 이루어진다. 이러한 서브 휠(111b)은 후술하는 흡입 유닛(120)에도 구비될 수 있다.
살펴본 바와 같이, 제어부가 휠 유닛(111)의 구동을 제어함으로써, 로봇 청소기(100)는 바닥을 자율 주행하도록 이루어진다.
한편, 청소기 본체(110)에는 로봇 청소기(100)에 전원을 공급하는 배터리(미도시)가 장착된다. 배터리는 충전 가능하게 구성되며, 청소기 본체(110)의 저면부에 착탈 가능하게 구성될 수 있다.
흡입 유닛(120)은 청소기 본체(110)의 일측으로부터 돌출된 형태로 배치되어, 먼지가 포함된 공기를 흡입하도록 이루어진다. 상기 일측은 상기 청소기 본체(110)가 정방향(F)으로 주행하는 측, 즉 청소기 본체(110)의 앞쪽이 될 수 있다.
본 도면에서는, 흡입 유닛(120)이 청소기 본체(110)의 일측에서 전방 및 좌우 양측방으로 모두 돌출된 형태를 가지는 것을 보이고 있다. 구체적으로, 흡입 유닛(120)의 전단부는 청소기 본체(110)의 일측으로부터 전방으로 이격된 위치에 배치되고, 흡입 유닛(120)의 좌우 양단부는 청소기 본체(110)의 일측으로부터 좌우 양측으로 각각 이격된 위치에 배치된다.
청소기 본체(110)가 원형으로 형성되고, 흡입 유닛(120)의 후단부 양측이 청소기 본체(110)로부터 좌우 양측으로 각각 돌출 형성됨에 따라, 청소기 본체(110)와 흡입 유닛(120) 사이에는 빈 공간, 즉 틈이 형성될 수 있다. 상기 빈 공간은 청소기 본체(110)의 좌우 양단부와 흡입 유닛(120)의 좌우 양단부 사이의 공간으로서, 로봇 청소기(100)의 내측으로 리세스된 형태를 가진다.
상기 빈 공간에 장애물이 끼이는 경우, 로봇 청소기(100)가 장애물에 걸려 움직이지 못하는 문제가 초래될 수 있다. 이를 방지하기 위하여, 커버부재(129)가 상기 빈 공간의 적어도 일부를 덮도록 배치될 수 있다. 커버부재(129)는 청소기 본체(110) 또는 흡입 유닛(120)에 구비될 수 있다. 본 실시예에서는, 흡입 유닛(120)의 후단부 양측에 각각 커버부재(129)가 돌출 형성되어, 청소기 본체(110)의 외주면을 덮도록 배치된 것을 보이고 있다.
커버부재(129)는 상기 빈 공간, 즉 청소기 본체(110)와 흡입 유닛(120) 간의 빈 공간의 적어도 일부를 메우도록 배치된다. 따라서, 상기 빈 공간에 장애물이 끼이는 것이 방지되거나, 상기 빈 공간에 장애물이 끼이더라도 장애물로부터 용이하게 이탈 가능한 구조가 구현될 수 있다.
흡입 유닛(120)에서 돌출 형성된 커버부재(129)는 청소기 본체(110)의 외주면에 지지될 수 있다. 만일, 커버부재(129)가 청소기 본체(110)에서 돌출 형성되는 경우라면, 커버부재(129)는 흡입 유닛(120)의 후면부에 지지될 수 있다. 상기 구조에 따르면, 흡입 유닛(120)이 장애물과 부딪혀 충격을 받았을 때, 그 충격의 일부가 청소기 본체(110)로 전달되어 충격이 분산될 수 있다.
흡입 유닛(120)은 청소기 본체(110)에 착탈 가능하게 결합될 수 있다. 흡입 유닛(120)이 청소기 본체(110)로 분리되면, 분리된 흡입 유닛(120)을 대체하여 걸레 모듈(미도시)이 청소기 본체(110)에 착탈 가능하게 결합될 수 있다. 따라서, 사용자는 바닥의 먼지를 제거하고자 하는 경우에는 청소기 본체(110)에 흡입 유닛(120)을 장착하고, 바닥을 닦고자 하는 경우에는 청소기 본체(110)에 걸레 모듈을 장착할 수 있다.
흡입 유닛(120)이 청소기 본체(110)에 장착시, 상술한 커버부재(129)에 의해 상기 장착이 가이드될 수 있다. 즉, 커버부재(129)가 청소기 본체(110)의 외주면을 덮도록 배치됨으로써, 청소기 본체(110)에 대한 흡입 유닛(120)의 상대적 위치가 결정될 수 있다.
청소기 본체(110)에는 센싱 유닛(130)이 배치된다. 도시된 바와 같이, 센싱 유닛(130)은 흡입 유닛(120)이 위치하는 청소기 본체(110)의 일측, 즉 청소기 본체(110)의 앞쪽에 배치될 수 있다.
센싱 유닛(130)은 청소기 본체(110)의 상하 방향으로 흡입 유닛(120)과 오버랩되도록 배치될 수 있다. 센싱 유닛(130)은 흡입 유닛(120)의 상부에 배치되어, 로봇 청소기(100)의 가장 앞쪽에 위치하는 흡입 유닛(120)이 장애물과 부딪히지 않도록 전방의 장애물이나 지형지물 등을 감지하도록 이루어진다.
센싱 유닛(130)은 이러한 감지 기능 외의 다른 센싱 기능을 추가로 수행하도록 구성된다. 이에 대하여는 뒤에서 자세히 설명하기로 한다.
청소기 본체(110)에는 먼지통 수용부(113)가 구비되며, 먼지통 수용부(113)에는 흡입된 공기 중의 먼지를 분리하여 집진하는 먼지통(140)이 착탈 가능하게 결합된다. 도시된 바와 같이, 먼지통 수용부(113)는 청소기 본체(110)의 타측, 즉 청소기 본체(110)의 뒤쪽에 형성될 수 있다.
먼지통(140)의 일부는 먼지통 수용부(113)에 수용되되, 먼지통(140)의 다른 일부는 청소기 본체(110)의 후방[즉, 정방향(F)에 반대되는 역방향(R)]을 향하여 돌출되게 형성될 수 있다.
먼지통(140)에는 먼지가 포함된 공기가 유입되는 입구(140a)와 먼지가 분리된 공기가 배출되는 출구(140b)가 형성되며, 먼지통 수용부(113)에 먼지통(140)이 장착시 입구(140a)와 출구(140b)는 먼지통 수용부(113)의 내측벽에 형성된 제1개구(110a) 및 제2개구(110b)와 각각 연통되도록 구성된다.
청소기 본체(110) 내부의 흡기유로는 연통부(120b")와 연통되는 유입구(미도시)부터 제1개구(110a)까지의 유로에 해당하며, 배기유로는 제2개구(110b)부터 배기구(112)까지의 유로에 해당한다.
이러한 연결관계에 따라, 흡입 유닛(120)을 통하여 유입된 먼지가 포함된 공기는 청소기 본체(110) 내부의 흡기유로를 거쳐, 먼지통(140)으로 유입되고, 먼지통(140)의 필터 내지는 사이클론을 거치면서 공기와 먼지가 상호 분리된다. 먼지는 먼지통(140)에 집진되며, 공기는 먼지통(140)에서 배출된 후 청소기 본체(110) 내부의 배기유로를 거쳐 최종적으로 배기구(112)를 통하여 외부로 배출된다.
이하의 도 4에서는 로봇 청소기(100)의 구성요소와 관련된 일 실시예가 설명된다.
본 발명의 일 실시 예에 따른 로봇 청소기(100) 또는 이동 로봇은, 통신부(1100), 입력부(1200), 구동부(1300), 센싱부(1400), 출력부(1500), 전원부(1600), 메모리(1700) 및 제어부(1800) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
이때, 도 4에 도시한 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 로봇 청소기가 구현될 수 있음은 물론이다. 이하, 각 구성요소들에 대해 살펴보기로 한다.
우선, 전원부(1600)는 외부 상용 전원에 의해 충전 가능한 배터리를 구비하여 이동 로봇 내로 전원을 공급한다. 전원부(1600)는 이동 로봇에 포함된 각 구성들에 구동 전원을 공급하여, 이동 로봇이 주행하거나 특정 기능을 수행하는데 요구되는 동작 전원을 공급할 수 있다.
이때, 제어부(1800)는 배터리의 전원 잔량을 감지하고, 전원 잔량이 부족하면 외부 상용 전원과 연결된 충전대로 이동하도록 제어하여, 충전대로부터 충전 전류를 공급받아 배터리를 충전할 수 있다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 제어부(1800)에 전달될 수 있다. 출력부(1500)은 제어부에 의해 상기 배터리 잔량을 화면에 표시할 수 있다.
배터리는 로봇 청소기 중앙의 하부에 위치할 수도 있고, 좌, 우측 중 어느 한쪽에 위치할 수도 있다. 후자의 경우, 이동 로봇은 배터리의 무게 편중을 해소하기 위해 균형추를 더 구비할 수 있다.
제어부(1800)는, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
제어부(1800)는 머신 러닝(machine running) 기술을 이용하여, 청소기 내에 저장된 정보, 이동 단말기 주변의 환경 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다. 그리고, 제어부(1800)는 상기 머신 러닝 기술을 이용하여 학습된 정보들을 이용하여, 실행 가능한 적어도 하나의 청소기의 동작을 예측(또는 추론)하고, 상기 적어도 하나의 예측된 동작들 중 실현성이 가장 높은 동작이 실행되도록 청소기를 제어할 수 있다.
머신 러닝 기술은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이다. 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 동작이다.
머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝 기술은 인공 신경망(Deap Neuron Network, DNN) 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망(DNN)은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망(DNN)을 통하여 방대한 양의 정보를 학습할 수 있다.
제어부(1800)는 외부의 서버 또는 메모리에 저장된 트레이닝 데이터를 이용하며, 소정의 물체를 인식하기 위한 특징을 검출하는 학습 엔진을 탑재할 수 있다. 이때, 물체를 인식하기 위한 특징에는 물체의 크기, 형태 및 음영 등을 포함할 수 있다.
구체적으로, 제어부(1800)는 청소기에 구비된 카메라를 통해 획득된 영상 중 일부를 학습 엔진에 입력하면, 상기 학습 엔진은 입력된 영상에 포함된 적어도 하나의 사물 또는 생명체를 인식할 수 있다.
이와 같이, 학습 엔진을 청소기의 주행에 적용하는 경우, 제어부(1800)는 청소기의 주행에 방해되는 의자 다리, 선풍기, 특정 형태의 발코니 틈과 같은 장애물이 청소기 주변에 존재하는지 여부를 인식할 수 있으므로, 청소기 주행의 효율 및 신뢰도를 높일 수 있다.
한편, 위와 같은 학습 엔진은 제어부(1800)에 탑재될 수도 있고, 외부 서버에 탑재될 수도 있다. 학습 엔진이 외부 서버에 탑재된 경우, 제어부(1800)는 분석의 대상인 적어도 하나의 영상을 상기 외부 서버로 전송하도록 통신부(1100)를 제어할 수 있다.
외부 서버는 청소기로부터 전송받은 영상을 학습 엔진에 입력함으로서, 해당 영상에 포함된 적어도 하나의 사물 또는 생명체를 인식할 수 있다. 아울러, 외부 서버는 인식결과와 관련된 정보를 다시 청소기로 전송할 수 있다. 이때, 인식결과와 관련된 정보는 분석의 대상인 영상에 포함된 객체의 개수, 각 개체의 이름과 관련된 정보를 포함할 수 있다.
한편, 구동부(1300)는 모터를 구비하여, 상기 모터를 구동함으로써, 좌, 우측 주바퀴를 양 방향으로 회전시켜 본체를 회전 또는 이동시킬 수 있다. 구동부(1300)는 이동 로봇의 본체를 전후좌우로 진행시키거나, 곡선주행시키거나, 제자리 회전시킬 수 있다.
한편, 입력부(1200)는 사용자로부터 로봇 청소기에 대한 각종 제어 명령을 입력받는다. 입력부(1200)는 하나 이상의 버튼을 포함할 수 있고, 예를 들어, 입력부(1200)는 확인버튼, 설정버튼 등을 포함할 수 있다. 확인버튼은 감지 정보, 장애물 정보, 위치 정보, 맵 정보를 확인하는 명령을 사용자로부터 입력받기 위한 버튼이고, 설정버튼은 상기 정보들을 설정하는 명령을 사용자로부터 입력받기 위한 버튼이다.
또한, 입력부(1200)는 이전 사용자 입력을 취소하고 다시 사용자 입력을 받기 위한 입력재설정버튼, 기 설정된 사용자 입력을 삭제하기 위한 삭제버튼, 작동 모드를 설정하거나 변경하는 버튼, 충전대로 복귀하도록 하는 명령을 입력받는 버튼 등을 포함할 수 있다.
또한, 입력부(1200)는 하드 키나 소프트 키, 터치패드 등으로 이동 로봇의 상부에 설치될 수 있다. 또, 입력부(1200)는 출력부(1500)와 함께 터치 스크린의 형태를 가질 수 있다.
한편, 출력부(1500)는, 이동 로봇의 상부에 설치될 수 있다. 물론 설치 위치나 설치 형태는 달라질 수 있다. 예를 들어, 출력부(1500)는 배터리 상태 또는 주행 방식 등을 화면에 표시할 수 있다.
또한, 출력부(1500)는, 센싱부(1400)가 검출한 이동 로봇 내부의 상태 정보, 예를 들어 이동 로봇에 포함된 각 구성들의 현재 상태를 출력할 수 있다. 또, 출력부(1500)는 센싱부(1400)가 검출한 외부의 상태 정보, 장애물 정보, 위치 정보, 지도 정보 등을 화면에 디스플레이할 수 있다. 출력부(1500)는 발광 다이오드(Light Emitting Diode; LED), 액정 표시 장치(Liquid Crystal Display; LCD), 플라즈마 표시 패널(Plasma Display Panel), 유기 발광 다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.
출력부(1500)는, 제어부(1800)에 의해 수행되는 이동 로봇의 동작 과정 또는 동작 결과를 청각적으로 출력하는 음향 출력 수단을 더 포함할 수 있다. 예를 들어, 출력부(1500)는 제어부(1800)에 의해 생성된 경고 신호에 따라 외부에 경고음을 출력할 수 있다.
이때, 음향 출력 수단은 비퍼(beeper), 스피커 등의 음향을 출력하는 수단일 수 있고, 출력부(1500)는 메모리(1700)에 저장된 소정의 패턴을 가진 오디오 데이터 또는 메시지 데이터 등을 이용하여 음향 출력 수단을 통해 외부로 출력할 수 있다.
따라서, 본 발명의 일 실시예에 따른 이동 로봇은, 출력부(1500)를 통해 주행 영역에 대한 환경 정보를 화면에 출력하거나 음향으로 출력할 수 있다. 또 다른 실시예에 따라, 이동 로봇은 출력부(1500)를 통해 출력할 화면이나 음향을 단말 장치가 출력하도록, 지도 정보 또는 환경 정보를 통신부(1100)릍 통해 단말 장치에 전송할 수 있다.
한편, 통신부(1100)는 단말 장치 및/또는 특정 영역 내 위치한 타 기기(본 명세서에서는 "가전 기기"라는 용어와 혼용하기로 한다)와 유선, 무선, 위성 통신 방식들 중 하나의 통신 방식으로 연결되어 신호와 데이터를 송수신한다.
통신부(1100)는 특정 영역 내에 위치한 타 기기와 데이터를 송수신할 수 있다. 이때, 타 기기는 네트워크에 연결하여 데이터를 송수신할 수 있는 장치이면 어느 것이어도 무방하며, 일 예로, 공기 조화 장치, 난방 장치, 공기 정화 장치, 전등, TV, 자동차 등과 같은 장치일 수 있다. 또한, 상기 타 기기는, 문, 창문, 수도 밸브, 가스 밸브 등을 제어하는 장치 등일 수 있다. 또한, 상기 타 기기는, 온도, 습도, 기압, 가스 등을 감지하는 센서 등일 수 있다.
한편, 메모리(1700)는 로봇 청소기를 제어 또는 구동하는 제어 프로그램 및 그에 따른 데이터를 저장한다. 메모리(1700)는 오디오 정보, 영상 정보, 장애물 정보, 위치 정보, 지도 정보 등을 저장할 수 있다. 또, 메모리(1700)는 주행 패턴과 관련된 정보를 저장할 수 있다.
상기 메모리(1700)는 비휘발성 메모리를 주로 사용한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지할 수 있는 저장 장치로서, 일 예로, 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등일 수 있다.
한편, 센싱부(1400)는, 외부 신호 감지 센서, 전방 감지 센서, 낭떠러지 감지 센서, 2차원 카메라 센서 및 3차원 카메라 센서 중 적어도 하나를 포함할 수 있다.
외부 신호 감지 센서는 이동 로봇의 외부 신호를 감지할 수 있다. 외부 신호 감지 센서는, 일 예로, 적외선 센서(Infrared Ray Sensor), 초음파 센서(Ultra Sonic Sensor), RF 센서(Radio Frequency Sensor) 등일 수 있다.
이동 로봇은 외부 신호 감지 센서를 이용하여 충전대가 발생하는 안내 신호를 수신하여 충전대의 위치 및 방향을 확인할 수 있다. 이때, 충전대는 이동 로봇이 복귀 가능하도록 방향 및 거리를 지시하는 안내 신호를 발신할 수 있다. 즉, 이동 로봇은 충전대로부터 발신되는 신호를 수신하여 현재의 위치를 판단하고 이동 방향을 설정하여 충전대로 복귀할 수 있다.
한편, 전방 감지 센서는, 이동 로봇의 전방, 구체적으로 이동 로봇의 측면 외주면을 따라 일정 간격으로 설치될 수 있다. 전방 감지 센서는 이동 로봇의 적어도 일 측면에 위치하여, 전방의 장애물을 감지하기 위한 것으로서, 전방 감지 센서는 이동 로봇의 이동 방향에 존재하는 물체, 특히 장애물을 감지하여 검출 정보를 제어부(1800)에 전달할 수 있다. 즉, 전방 감지 센서는, 이동 로봇의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어부(1800)에 전달할 수 있다.
전방 감지 센서는, 일 예로, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서 등일 수 있고, 이동 로봇은 전방 감지 센서로 한 가지 종류의 센서를 사용하거나 필요에 따라 두 가지 종류 이상의 센서를 함께 사용할 수 있다.
일 예로, 초음파 센서는 일반적으로 원거리의 장애물을 감지하는 데에 주로 사용될 수 있다. 초음파 센서는 발신부와 수신부를 구비하여, 제어부(1800)는 발신부를 통해 방사된 초음파가 장애물 등에 의해 반사되어 수신부에 수신되는 지의 여부로 장애물의 존부를 판단하고, 초음파 방사 시간과 초음파 수신 시간을 이용하여 장애물과의 거리를 산출할 수 있다.
또한, 제어부(1800)는 발신부에서 방사된 초음파와, 수신부에 수신되는 초음파를 비교하여, 장애물의 크기와 관련된 정보를 검출할 수 있다. 예를 들어, 제어부(1800)는 수신부에 더 많은 초음파가 수신될수록, 장애물의 크기가 큰 것으로 판단할 수 있다.
일 실시 예에서, 복수(일 예로, 5개)의 초음파 센서가 이동 로봇의 전방 측면에 외주면을 따라 설치될 수 있다. 이때, 바람직하게 초음파 센서는 발신부와 수신부가 교대로 이동 로봇의 전면에 설치될 수 있다.
즉, 발신부는 본체의 전면 중앙으로부터 좌, 우측에 이격되도록 배치될 수 있고, 수신부의 사이에 하나 또는 둘 이상의 발신부가 배치되어 장애물 등으로부터 반사된 초음파 신호의 수신 영역을 형성할 수 있다. 이와 같은 배치로 센서의 수를 줄이면서 수신 영역을 확장할 수 있다. 초음파의 발신 각도는 크로스토크(crosstalk) 현상을 방지하도록 서로 다른 신호에 영향을 미치지 아니하는 범위의 각을 유지할 수 있다. 또한, 수신부들의 수신 감도는 서로 다르게 설정될 수 있다.
또한, 초음파 센서에서 발신되는 초음파가 상향으로 출력되도록 초음파 센서는 일정 각도만큼 상향으로 설치될 수 있고, 이때, 초음파가 하향으로 방사되는 것을 방지하기 위해 소정의 차단 부재를 더 포함할 수 있다.
한편, 전방 감지 센서는, 전술한 바와 같이, 두 가지 종류 이상의 센서를 함께 사용할 수 있고, 이에 따라, 전방 감지 센서는 적외선 센서, 초음파 센서, RF 센서 등 중 어느 한 가지 종류의 센서를 사용할 수 있다.
일 예로, 전방 감지 센서는 초음파 센서 이외에 다른 종류의 센서로 적외선 센서를 포함할 수 있다.
적외선 센서는 초음파 센서와 함께 이동 로봇의 외주면에 설치될 수 있다. 적외선 센서 역시, 전방이나 측면에 존재하는 장애물을 감지하여 장애물 정보를 제어부(1800)에 전달할 수 있다. 즉, 적외선 센서는, 이동 로봇의 이동 경로 상에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어부(1800)에 전달한다. 따라서, 이동 로봇은 본체가 장애물과의 충돌없이 특정 영역 내에서 이동할 수 있다.
한편, 낭떠러지 감지 센서(또는 클리프 센서(Cliff Sensor))는, 다양한 형태의 광 센서를 주로 이용하여, 이동 로봇의 본체를 지지하는 바닥의 장애물을 감지할 수 있다.
즉, 낭떠러지 감지 센서는, 바닥의 이동 로봇의 배면에 설치되되, 이동 로봇의 종류에 따라 다른 위치에 설치될 수 있음은 물론이다. 낭떠러지 감지 센서는 이동 로봇의 배면에 위치하여, 바닥의 장애물을 감지하기 위한 것으로서, 낭떠러지 감지 센서는 상기 장애물 감지 센서와 같이 발광부와 수광부를 구비한 적외선 센서, 초음파 센서, RF 센서, PSD(Position Sensitive Detector) 센서 등일 수 있다.
일 예로, 낭떠러지 감지 센서 중 어느 하나는 이동 로봇의 전방에 설치되고, 다른 두 개의 낭떠러지 감지 센서는 상대적으로 뒤쪽에 설치될 수 있다.
예를 들어, 낭떠러지 감지 센서는 PSD 센서일 수 있으나, 복수의 서로 다른 종류의 센서로 구성될 수도 있다.
PSD 센서는 반도체 표면저항을 이용해서 1개의 p-n접합으로 입사광의 단장거리 위치를 검출한다. PSD 센서에는 일축 방향만의 광을 검출하는 1차원 PSD 센서와, 평면상의 광위치를 검출할 수 있는 2차원 PSD 센서가 있으며, 모두 pin 포토 다이오드 구조를 가질 수 있다. PSD 센서는 적외선 센서의 일종으로서, 적외선을 이용하여, 적외선을 송신한 후 장애물에서 반사되어 돌아오는 적외선의 각도를 측정하여 거리를 측정한다. 즉, PSD 센서는 삼각측량방식을 이용하여, 장애물과의 거리를 산출한다.
PSD 센서는 장애물에 적외선을 발광하는 발광부와, 장애물로부터 반사되어 돌아오는 적외선을 수광하는 수광부를 구비하되, 일반적으로 모듈 형태로 구성된다. PSD 센서를 이용하여, 장애물을 감지하는 경우, 장애물의 반사율, 색의 차이에 상관없이 안정적인 측정값을 얻을 수 있다.
제어부(1800)는 낭떠러지 감지 센서가 지면을 향해 발광한 적외선의 발광신호와 장애물에 의해 반사되어 수신되는 반사신호 간의 적외선 각도를 측정하여, 낭떠러지를 감지하고 그 깊이를 분석할 수 있다.
한편, 제어부(1800)는 낭떠러지 감지 센서를 이용하여 감지한 낭떠러지의 지면 상태에 따라 통과 여부를 판단할 수 있고, 판단 결과에 따라 낭떠러지의 통과 여부를 결정할 수 있다. 예를 들어, 제어부(1800)은 낭떠러지 감지 센서를 통해 낭떠러지의 존재 여부 및 낭떠러지 깊이를 판단한 다음, 낭떠러지 감지 센서를 통해 반사 신호를 감지한 경우에만 낭떠러지를 통과하도록 한다.
다른 예로, 제어부(1800)은 낭떠러지 감지 센서를 이용하여 이동 로봇의 들림 현상을 판단할 수도 있다.
한편, 2차원 카메라 센서는, 이동 로봇의 일면에 구비되어, 이동 중 본체 주변과 관련된 이미지 정보를 획득한다.
옵티컬 플로우 센서(Optical Flow Sensor)는, 센서 내에 구비된 이미지 센서로부터 입력되는 하방 영상을 변환하여 소정 형식의 영상 데이터를 생성한다. 생성된 영상 데이터는 메모리(1700)에 저장될 수 있다.
또한, 하나 이상의 광원이 옵티컬 플로우 센서에 인접하여 설치될 수 있다. 하나 이상의 광원은, 이미지 센서에 의해 촬영되는 바닥면의 소정 영역에 빛을 조사한다. 즉, 이동 로봇이 바닥면을 따라 특정 영역을 이동하는 경우에, 바닥면이 평탄하면 이미지 센서와 바닥면 사이에는 일정한 거리가 유지된다. 반면, 이동 로봇이 불균일한 표면의 바닥면을 이동하는 경우에는 바닥면의 요철 및 장애물에 의해 일정 거리 이상 멀어지게 된다. 이때 하나 이상의 광원은 조사되는 빛의 양을 조절하도록 제어부(1800)에 의해 제어될 수 있다. 상기 광원은 광량 조절이 가능한 발광 소자, 예를 들어 LED(Light Emitting Diode) 등일 수 있다.
옵티컬 플로우 센서를 이용하여, 제어부(1800)는 이동 로봇의 미끄러짐과 무관하게 이동 로봇의 위치를 검출할 수 있다. 제어부(1800)은 옵티컬 플로우 센서에 의해 촬영된 영상 데이터를 시간에 따라 비교 분석하여 이동 거리 및 이동 방향을 산출하고, 이를 근거로 이동 로봇의 위치를 산출할 수 있다. 옵티컬 플로우 센서를 이용하여 이동 로봇의 하방에 대한 이미지 정보를 이용함으로써, 제어부(1800)는 다른 수단에 의해 산출한 이동 로봇의 위치에 대하여 미끄러짐에 강인한 보정을 할 수 있다.
3차원 카메라 센서는 이동 로봇의 본체 일면 또는 일부분에 부착되어, 상기 본체의 주위와 관련된 3차원 좌표 정보를 생성할 수 있다.
즉, 3차원 카메라 센서는 이동 로봇과 피촬영 대상체의 원근거리를 산출하는 3차원 뎁스 카메라(3D Depth Camera)일 수 있다.
구체적으로, 3차원 카메라 센서는 본체의 주위와 관련된 2차원 영상을 촬영할 수 있으며, 촬영된 2차원 영상에 대응되는 복수의 3차원 좌표 정보를 생성할 수 있다.
일 실시예에서 3차원 카메라 센서는 기존의 2차원 영상을 획득하는 카메라를 2개 이상 구비하여, 상기 2개 이상의 카메라에서 획득되는 2개 이상의 영상을 조합하여, 3차원 좌표 정보를 생성하는 스테레오 비전 방식으로 형성될 수 있다.
구체적으로, 상기 실시예에 따른 3차원 카메라 센서는 본체의 전방을 향해 하측으로 제1 패턴의 광을 조사하는 제1 패턴 조사부와, 상기 본체의 전방을 향해 상측으로 제2 패턴의 광을 조사하는 제2 패턴 조사부 및 본체의 전방의 영상을 획득하는 영상 획득부를 포함할 수 있다. 이로써, 상기 영상 획득부는 상기 제1 패턴의 광과 상기 제2 패턴의 광이 입사된 영역의 영상을 획득할 수 있다.
또 다른 실시예에서 3차원 카메라 센서는 단일 카메라와 함께 적외선 패턴을 조사하는 적외선 패턴 방출부를 구비하고, 적외선 패턴 방출부에서 조사된 적외선 패턴이 피촬영 대상체에 투영된 모양을 캡쳐함으로써, 3차원 카메라 센서와 피촬영 대상체 사이의 거리를 측정할 수 있다. 이러한 3차원 카메라 센서는 IR(Infra Red) 방식의 3차원 카메라 센서일 수 있다.
또 다른 실시예에서 3차원 카메라 센서는 단일 카메라와 함께 빛을 방출하는 발광부를 구비하고, 발광부에서 방출되는 레이저 중 피촬영 대상체로부터 반사되는 일부를 수신하며, 수신된 레이저를 분석함으로써, 3차원 카메라 센서와 피촬영 대상체 사이의 거리를 측정할 수 있다. 이러한 3차원 카메라 센서는 TOF(Time of Flight) 방식의 3차원 카메라 센서일 수 있다.
구체적으로, 위와 같은 3차원 카메라 센서의 레이저는 적어도 일방향으로 연장된 형태의 레이저를 조사하도록 구성된다. 일 예에서, 상기 3차원 카메라 센서는 제1 및 제2 레이저를 구비할 수 있으며, 상기 제1 레이저는 서로 교차하는 직선 형태의 레이저를 조사하고, 제2 레이저는 단일의 직선 형태의 레이저를 조사할 수 있다. 이에 따르면, 최하단 레이저는 바닥 부분의 장애물을 감지하는 데에 이용되고, 최상단 레이저는 상부의 장애물을 감지하는 데에 이용되며, 최하단 레이저와 최상단 레이저 사이의 중간 레이저는 중간 부분의 장애물을 감지하는 데에 이용된다.
이하의 도 5에서는 청소영역 내에서 청소기(100)와 충전 스테이션(510)의 설치 양태를 나타내는 일 실시예가 설명된다.
도 5에 도시된 것과 같이, 청소기(100)의 배터리를 충전시키기 위한 충전 스테이션(510)은 청소영역(500) 내에 설치될 수 있다. 일 실시예에서, 충전 스테이션(510)은 청소영역(500)의 외곽에 설치될 수 있다.
도 5에 도시되지는 않았으나, 충전 스테이션(510)은 서로 다른 종류의 신호를 방출할 수 있는 통신장치(미도시)를 구비하며, 상기 통신장치는 청소기(100)의 통신부(1100)와 무선 통신을 수행할 수 있다.
제어부(1800)는 충전 스테이션(510)으로부터 상기 통신부(1100)에 수신된 신호에 근거하여, 청소기(100)의 본체가 충전 스테이션(510)에 도킹되도록 구동부(1300)를 제어할 수 있다.
제어부(1800)는 배터리의 잔여 용량이 한계 용량 이하로 떨어지는 경우, 본체를 충전 스테이션(510) 방향으로 이동시킬 수 있으며, 본체가 충전 스테이션(510)에 근접한 경우, 도킹 기능을 개시하도록 구동부(1300)를 제어할 수 있다.
이하 도 6a에서는 전방카메라와 천장카메라를 별도로 구비하는 일반적인 청소기의 일 실시예가 설명된다.
도 6a를 참조하면, 일반적인 청소기는 전방카메라(601)와 천장카메라(602)를 각각 구비할 수 있다.
일반적으로 전방카메라(601)에 의해 촬영된 영상은 청소기의 모니터링 주행에 이용된다. 즉, 청소기의 제어부는 전방카메라(601)에 의해 촬영된 영상을 사용자 단말기나 서버로 전송함으로써, 사용자가 청소기가 존재하는 영역을 실시간으로 모니터링 할 수 있게 된다.
또한, 천장카메라(602)에 의해 촬영된 영상은 청소기의 슬램(SLAM) 주행에 이용된다. 즉, 청소기의 제어부는 천장카메라(602)에 의해 촬영된 영상을 이용하여, 청소기의 위치를 검출하거나, 청소지도 정보를 생성할 수 있다.
이와 같이, 전방카메라(601)와 천장카메라(602)는 각각 상이한 목적으로 이용되므로, 전방카메라의 설정 값과 천장카메라의 설정 값도 서로 다르게 설정될 수 있다.
예를 들어, 모니터링 주행에 이용되는 전방카메라(601)는 사용자에게 선명한 영상을 전달할 필요가 있으므로, 상대적으로 밝은 조도의 영상을 촬영하게 된다. 반면, 슬램 주행에 이용되는 천장카메라(602)는 빛번짐을 회피함으로써 위치 검출의 정확도를 향상시킬 필요가 있으므로, 상대적으로 어두운 조도의 영상을 촬영하게 된다.
따라서, 일반적이 청소기의 제어부는 전방카메라(601)와 천장카메라(602)가 서로 같은 성능을 보유하고 있다고 하더라도, 전방카메라(601)의 노출시간을 천장카메라(602)의 노출시간보다 길게 설정할 수 있다.
이와 같이, 일반적인 청소기의 경우, 각각의 카메라에 서로 다른 설정 값을 적용하여 사용하고 있기 때문에, 모니터링 주행과 슬램 주행을 모두 정상적으로 수행하기 위해서는 전방카메라와 천장카메라가 모두 필요하며, 둘 중 어느 하나를 제거하기 어렵다. 이 경우, 카메라 모듈을 두개 이상 설치해야하므로, 청소기의 제작 비용이 증가하는 문제점이 있다.
이하의 도 6b에서는 본 발명에 따른 청소기(100)의 일 실시예가 설명된다.
도 6b에 도시된 것과 같이, 본 발명에 따른 청소기(100)는 하나의 카메라(603)를 이용하여, 모니터링 주행 및 슬램 주행을 모두 정상적으로 수행할 수 있다.
도 6a와 도 6b를 비교하면, 본 발명에 따른 청소기(100)의 카메라(603)의 광축은 청소기(100)의 본체가 위치하는 청소영역(500)의 바닥면과 소정의 각도를 형성할 수 있다. 예를 들어, 본 발명에 따른 청소기(100)의 카메라(603)가 지향하는 방향과 바닥면이 형성하는 각도는 30도 내지 60도 범위에 포함될 수 있다.
또한, 도 6b를 참조하면, 본 발명에 따른 청소기(100)의 카메라(603)의 시야각은 소정의 각도 이상으로 형성될 수 있다. 예를 들어, 상기 카메라(603)의 시야각은 90 내지 150 범위에 포함될 수 있다.
도 6a와 도 6b를 비교하면, 본 발명에 따른 카메라(603)의 시야각(θ3)은, 일반적인 청소기에 설치되어 있던 전방카메라의 시야각(θ1)이나, 천장카메라의 시야각(θ2)보다 넓게 형성될 수 있다.
이와 같이, 일반적인 청소기와 비교하여, 카메라의 대수를 한 개로 줄이는 대신, 광각의 카메라를 사용함으로써, 하나의 카메라만으로도 본체의 전방과 관련된 영상과 천장과 관련된 영상을 한꺼번에 획득할 수 있다.
다만, 도 6b와 같이, 하나의 카메라만을 구비하는 청소기(100)에, 종래의 카메라 제어 방법을 적용하는 경우, 복수의 주행 모드를 수행하는데에 적합하지 않은 문제점이 있다. 따라서, 이하에서는 단일카메라만을 이용하여 청소기(100)의 복수의 주행 모드에 요구되는 설정 값을 갖는 영상을 획득할 수 있는 자율 주행을 수행하는 청소기 및 그의 제어방법이 설명된다.
한편, 도 6b에는 도시되지 않았으나, 상기 카메라(603)는, 카메라가 지향하는 방향이 변경 가능하도록 형성될 수 있다. 카메라(603)와 본체를 연결하는 부분에는 기계식 방향 조절부재(미도시) 또는 전자식 방향 조절부재(미도시)가 구비되어, 상기 카메라(603)가 지향하는 방향이 변경 가능할 수 있다.
이하의 도 7a 및 도 7b에서는 본 발명에 따른 청소기의 제어 방법이 설명된다.
도 7a를 참조하면, 제어부(1800)는 제1 주행 모드인 슬램(SLAM) 주행을 개시할 수 있다(S701).
또한, 제어부(1800)는 제2 주행 모드인 모니터링 주행을 개시할 수 있다(S702).
한편, 제어부(1800)는 슬램 주행과 모니터링 주행 외에도, 카메라에 의해 촬영된 영상을 이용하는 다양한 주행 모드를 실행할 수 있다. 다만, 이하에서는 설명의 편의를 위하여, 상기 두 주행 모드를 중점적으로 설명하기로 한다.
제어부(1800)는 기 설정된 주기마다 카메라의 조도 값을 제1 조도 값과 제2 조도 값으로 교차 변경시킬 수 있다(S703).
구체적으로, 제어부(1800)는 카메라의 촬영이 개시되면, 소정 개수의 영상이 촬영될 동안, 상기 카메라의 조도와 관련된 설정 값을 제1 조도 값으로 설정할 수 있다. 이후, 제어부(1800)는 소정 개수의 영상이 촬영될 동안, 상기 카메라의 조도와 관련된 설정 값을 제2 조도 값으로 변경할 수 있다. 제어부(1800)는 이와 같이 카메라의 조도와 관련된 설정 값을 변경하는 과정을 반복적으로 수행할 수 있다.
이때, 카메라의 조도와 관련된 설정 값은 카메라의 노출 시간과 관련된 설정 값, 조명 출력과 관련된 설정 값, 밝기 필터와 관련된 설정 값을 포함할 수 있다.
예를 들어, 제1 조도 값이 적용된 때, 상기 카메라에 의해 단위시간당 촬영되는 영상의 개수는, 상기 제1 주행 모드에서 단위시간당 요구하는 영상의 개수와 같거나, 더 클 수 있다.
예를 들어, 제2 조도 값이 적용된 때, 상기 카메라에 의해 단위시간당 촬영되는 영상의 개수는, 상기 제2 주행 모드에서 단위시간당 요구하는 영상의 개수와 같거나, 더 클 수 있다.
한편, 제1 조도와 제2 조도는 단지 예를 위한 표현일 뿐이면, 본 발명에 따른 제어부(1800)가 카메라의 조도와 관련된 설정 값을 두개 중 어느 하나로 선택한다는 의미는 아니다.
즉, 제어부(1800)는 기 설정된 개수의 영상이 서로 다른 복수의 조도로 촬영되도록 카메라를 제어할 수 있다.
또한, 제어부(1800)는 복수의 조도 중 어느 하나로 촬영된 영상의 개수가, 복수의 조도 중 다른 하나로 촬영된 영상의 개수와 상이하도록, 카메라를 제어할 수 있다.
아울러, 제어부(1800)는 복수의 조도 중 어느 하나로 촬영된 영상을 이용하여, 상기 청소기가 수행하는 복수의 주행 모드 중 어느 하나를 수행하고, 복수의 조도 중 다른 하나로 촬영된 영상을 이용하여, 상기 청소기가 수행하는 복수의 주행 모드 중 다른 하나를 수행할 수 있다. 이때, 복수의 주행모드는 장애물 인식 모드, 모니터링 주행 모드 및 위치 인식 모드 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 제어부(1800)는 위치 인식 모드가 수행될 때 이용되는 영상의 조도가, 장애물 인식 모드 및 모니터링 모드 중 적어도 하나가 수행될 때 이용되는 영상의 조도보다 낮도록 카메라를 제어할 수 있다.
제어부(1800)는 제1 조도 값으로 촬영된 영상을 이용하여, 제1 주행 모드인 슬램 주행을 실행할 수 있다(S704).
구체적으로, 제어부(1800)는 제1 조도 값으로 촬영된 영상을 이용하여, 청소기(100)의 위치를 검출하거나, 청소영역(500)과 관련된 청소지도를 생성할 수 있다.
예를 들어, 제어부(1800)는 제1 조도 값으로 촬영된 영상 중 천장 부분에 대응되는 일부를 추출하고, 추출된 일부로부터 특징점을 추출하며, 추출된 특징점을 이용하여 제1 주행 모드를 수행할 수 있다.
제어부(1800)는 제2 조도 값으로 촬영된 영상을 이용하여, 제2 주행 모드인 모니터링 주행을 실행할 수 있다(S705).
구체적으로, 제어부(1800)는 제2 조도 값으로 촬영된 영상 중 일부를 선택할 수 있고, 선택된 영상이 서버 및 사용자 단말기 중 적어도 하나로 전송되도록 통신부(1100)를 제어할 수 있다.
한편, 상기 제1 조도 값으로 촬영된 영상은 상기 제2 조도 값으로 촬영된 영상보다 어둡게 촬영된 영상일 수 있다. 즉, 제1 조도 값은 제2 조도 값보다 낮을 수 있다.
또한, 상기 제2 조도 값으로 촬영된 영상의 개수는 상기 제1 조도 값으로 촬영된 영상의 개수보다 더 클 수 있다.
도 7b를 참조하면, 제어부(1800)는 복수의 주행 모드를 설정할 수 있다(S711).
예를 들어, 설정된 복수의 주행 모드는 슬램 주행과, 모니터링 주행을 포함할 수 있다.
제어부(1800)는 설정된 복수의 주행 모드에 근거하여, 복수의 카메라 조도 값을 설정할 수 있다(S712).
구체적으로, 제어부(1800)는 설정된 복수의 주행 모드 각각에서 이용되는 영상의 조도와 관련된 정보를 검출할 수 있다. 아울러, 제어부(1800)는 검출된 조도와 관련된 정보를 이용하여, 상기 복수의 주행 모드에서 적용 가능한 영상이 촬영되도록, 복수의 카메라 조도 값을 각각 설정할 수 있다.
예를 들어, 복수의 주행 모드가 제1 주행 모드와 제2 주행 모드를 포함하는 경우, 제어부(1800)는 제1 주행 모드에서 이용되는 영상의 조도와 관련된 정보와, 제2 주행 모드에서 이용되는 영상의 조도와 관련된 정보를 각각 검출할 수 있다.
이로써, 제어부(1800)는 제1 주행 모드에서 이용되는 영상의 조도와 관련된 정보를 이용하여, 제1 주행 모드에 적용 가능한 영상이 촬영되도록, 카메라의 제1 조도 값을 설정할 수 있다.
마찬가지로, 제어부(1800)는 제2 주행 모드에서 이용되는 영상의 조도와 관련된 정보를 이용하여, 제2 주행 모드에 적용 가능한 영상이 촬영되도록, 카메라의 제2 조도 값을 설정할 수 있다.
제어부(1800)는 설정된 복수의 카메라 조도 값에 근거하여, 카메라의 조도 값을 변경시키면서 영상을 촬영하도록 카메라를 제어할 수 있다(S713).
일 실시예에서, 제어부(1800)는 카메라가 제1 조도 값이 설정된 상태에서 영상을 촬영한 후, 제2 조도 값이 설정된 상태에서 영상을 촬영하도록 상기 카메라의 조도와 관련된 설정 값을 교차 변경시킬 수 있다.
또 다른 실시예에서, 제어부(1800)는 카메라 제1 조도 값이 설정된 상태에서 제1 개수의 영상을 촬영한 후, 제2 조도 값이 설정된 상태에서 제2 개수의 영상을 촬영하도록 상기 카메라의 조도와 관련된 설정 값을 변경시킬 수 있다.
제어부(1800)는 촬영된 영상을 조도 값에 근거하여 복수의 그룹으로 분류할 수 있다(S714).
구체적으로, 제어부(1800)는 제1 조도 값이 설정된 상태에서 촬영된 영상을 제1 주행 모드에 이용되는 제1 영상 그룹에 포함되도록 분류하고, 제2 조도 값이 설정된 상태에서 촬영된 영상을 제2 주행 모드에 이용되는 제2 영상 그룹에 포함되도록 분류할 수 있다.
제어부(1800)는 분류된 그룹에 포함되는 영상의 조도 값에 근거하여, 대응되는 주행 모드를 실행할 수 있다(S715).
구체적으로, 제어부(1800)는 제1 영상 그룹에 포함되는 영상을 이용하여, 제1 주행 모드를 실행할 수 있고, 제2 영상 그룹에 포함되는 영상을 이용하여, 제2 주행 모드를 실행할 수 있다.
이하의 도 8a에서는 도 6a에 도시된 일반적인 청소기의 전방카메라로(601)부터 획득되는 복수의 프레임을 처리하는 방법이 설명된다.
전방카메라(601)는 초당 소정의 개수의 프레임을 촬영할 수 있으며, 일반적인 청소기의 제어부는 전방카메라(601)에 의해 촬영된 프레임들 중 일부를 선택하여, 선택된 프레임들이 서버나 사용자 단말기로 전송되도록 통신부를 제어할 수 있다. 이때, 일반적인 청소기의 제어부는 영상의 밝기를 결정하는 전방카메라의 조도 게인(Gain)을 변경시키지 않고, 전방카메라는 고정된 조도 게인(Gain) 값에 근거하여 영상을 촬영한다.
이하의 도 8b에서는 도 6a에 도시된 일반적인 청소기의 천장카메라(602)로부터 획득되는 복수의 프레임을 처리하는 방법이 설명된다.
천장카메라(602)는 초당 소정의 개수의 프레임을 촬영할 수 있으며, 일반적인 청소기의 제어부는 천장카메라(602)에 의해 촬영된 프레임들 중 일부를 선택하하고, 선택된 프레임들을 이용하여 슬램 주행을 수행할 수 있다.
도 8a에 도시된 실시예와 마찬가지로, 일반적인 청소기의 제어부는 영상의 밝기를 결정하는 천장카메라의 조도 게인(Gain)을 변경시키지 않고, 천장카메라는 고정된 조도 게인(Gain) 값에 근거하여 영상을 촬영한다.
이하의 도 9a 내지 도 9c에서는 본 발명에 따르는 청소기의 단일 카메라로부터 획득되는 복수의 프레임을 처리하는 방법이 설명된다.
도 9a를 참조하면, 제어부(1800)는 카메라가 연속적으로 촬영을 수행하는 도중에, 카메라의 조도와 관련된 설정 값을 변경시킬 수 있다.
구체적으로, 도 9a를 참조하면, 본 발명에 따른 청소기(100)에 구비된 단일 카메라는 초당 기 설정된 개수의 영상을 촬영할 수 있다.
이때, 제어부(1800)는 기 설정된 개수의 영상 중 일부는 제1 조도(L)로 촬영되고, 나머지 일부는 제2 조도(H)로 촬영되도록 카메라를 제어할 수 있다.
예를 들어, 청소기(100)에 구비된 카메라는 초당 30개의 프레임을 촬영할 수 있다. 이때, 제어부(1800)는 30개의 프레임의 영상 중 3개의 프레임의 영상은 제1 조도(L)로 촬영되고, 나머지 27개의 프레임의 영상은 제2 조도(H)로 촬영되도록 카메라를 제어할 수 있다.
또 다른 예에서, 제1 조도(L)는 제2 조도(H)보다 낮게 설정될 수 있다.
한편, 제어부(1800)는 제1 주행 모드와 제2 주행 모드가 선택되면, 제1 주행 모드에서 이용되는 영상의 조도와 관련된 정보와, 제2 주행 모드에서 이용되는 영상의 조도와 관련된 정보를 검출할 수 있다.
즉, 제어부(1800)는 청소기(100)가 실행할 수 있는 복수의 주행 모드 중 선택된 주행 모드에서 각각 요구되는 영상의 밝기와 관련된 정보를 검출할 수 있다.
예를 들어, 제어부(1800)는 제1 주행 모드 또는 제2 주행 모드에서 이용되는 영상을 촬영하기 위한 카메라의 조도 값을 검출할 수 있다.
또 다른 예에서, 제어부(1800)는 제1 주행 모드 또는 제2 주행 모드에서 이용되는 영상을 촬영하기 위한 카메라의 노출 시간 변수를 검출할 수 있다.
또한, 제어부(1800)는 제1 및 제2 주행 모드가 선택되면, 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수와, 제2 주행 모드에서 이용되는 영상의 개수를 검출할 수 있다.
즉, 제어부(1800)는 청소기(100)가 실행할 수 있는 복수의 주행 모드 중 선택된 주행 모드에서 각각 요구되는 영상의 개수를 검출할 수 있다. 보다 상세하게, 제어부(1800)는 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수를 제1 개수로 검출할 수 있고, 제2 주행 모드에서 단위 시간당 이용되는 영상의 개수를 제2 개수로 검출할 수 있다.
이와 같이 검출된 조도 값과, 영상의 개수에 근거하여, 제어부(1800)는 제1 주행 모드와 제2 주행 모드에 각각 요구되는 조도 값으로 촬영된 소정 개수의 영상이 하나의 카메라에서 획득되는 복수의 프레임에 포함되도록 상기 카메라의 조도 값을 변경시킬 수 있다.
구체적으로, 제어부(1800)는 하나의 카메라에 의해 단위 시간당 생성되는 프레임에, 제1 조도(L)로 촬영된 영상이 제1 개수 이상 포함되고, 제2 조도(H)로 촬영된 영상이 제2 개수 이상 포함되도록 카메라를 제어할 수 있다.
즉, 제어부(1800)는 제1 및 제2 주행 모드가 선택되면, 카메라가 단위시간당 기 설정된 개수의 영상을 획득할 동안, 획득된 영상에 제1 조도(L)로 촬영된 영상이 제1 개수 이상 포함되고, 제2 조도(H)로 촬영된 영상이 제2 개수 이상 포함되도록, 카메라를 제어할 수 있다.
아울러, 제어부(1800)는 카메라에 의해 촬영된 영상을, 상기 영상의 조도 값에 근거하여, 복수의 그룹으로 분류할 수 있다.
제어부(1800)는 분류결과에 근거하여, 영상마다 레이블링(Labeling)을 수행하고, 레이블링된 영상을 메모리(1700)에 저장시킬 수 있다.
제어부(1800)는 위와 같이 영상이 분류된 후, 제1 조도로 촬영된 영상을 이용하여 선택된 주행 모드 중 제1 주행 모드를 실행시킬 수 있다. 또한, 제어부(1800)는 영상이 분류된 후, 제2 조도로 촬영된 영상을 이용하여 선택된 주행 모드 중 제2 주행 모드를 실행시킬 수 있다.
일 실시예에서, 제1 주행 모드는 슬램 주행 모드일 수 있다.
이 경우, 제어부(1800)는 제1 조도로 촬영된 영상을 이용하여, 본체의 위치와 관련된 정보를 검출함으로써, 슬램 주행을 실행할 수 있다.
또한, 제어부(1800)는 제1 조도로 촬영된 영상을 이용하여, 본체가 위치하는 청소영역의 지도 정보를 생성할 수 있다.
슬램 주행이 요구하는 제1 조도로 촬영된 영상은 상대적으로 어두운 조도 값이 적용된 영상일 수 있다. 제어부(1800)는 슬램 주행이 수행될 때, 카메라에 상대적으로 어두운 조도 값을 적용함으로써, 영상 내의 빛 번짐을 방지할 수 있으며, 슬램 주행의 정확도를 향상시킬 수 있다.
한편, 제어부(1800)는 제1 주행 모드에 이용되는 영상을 촬영하기 위하여 카메라의 조도와 관련된 설정 값을 제1 조도 범위 내에서 변경시킬 수 있다.
즉, 제1 주행 모드에 이용되는 영상의 조도는 어느 하나의 조도 값으로 고정된 것이 아니고, 제어부(1800)는 제1 주행 모드에 이용되는 복수의 영상들이 각각 복수의 조도 값으로 촬영되도록 카메라를 제어할 수 있다. 동일한 주행 모드에 이용되는 복수의 영상들이 각각 복수의 조도 값으로 촬영되는 실시예는 도 9c에서 보다 상세히 설명된다.
또 다른 실시예에서, 제2 주행 모드는 모니터링 주행 모드일 수 있다.
구체적으로, 제어부(1800)는 제2 조도로 촬영된 영상 중 적어도 하나를 서버 또는 사용자 단말기로 전송하도록 통신부(1100)를 제어할 수 있다.
또한, 제어부(1800)는 제2 조도로 촬영된 영상 중 기 설정된 개수의 영상을 선택하고, 선택된 영상을 상기 서버 및 사용자 단말기 중 적어도 하나로 전송하도록 통신부(1100)를 제어할 수 있다.
제어부(1800)는 제2 조도로 촬영된 영상 각각의 선명도를 판단하고, 판단된 선명도가 기 설정된 선명도 값 이상인 영상을 선택할 수 있으며, 선택된 영상을 상기 서버 및 사용자 단말기 중 적어도 하나로 전송하도록 통신부(1100)를 제어할 수 있다.
제어부(1800)는 제2 조도로 촬영된 영상 중 기 설정된 순번에 해당하는 영상을 선택할 수 있으며, 선택된 영상을 상기 서버 및 사용자 단말기 중 적어도 하나로 전송하도록 통신부(1100)를 제어할 수 있다.
예를 들어, 제어부(1800)는 제2 조도로 촬영된 영상 중 1번, 4번, 7번, 10번, 13번, 15번, 18번, 21번, 24번, 27번에 해당하는 영상을 선택할 수 있다.
한편, 제어부(1800)는 통신부(1100)를 통하여, 서버 및 사용자 단말기 중 적어도 하나에 인가된 소정의 사용자 입력을 전달받으면, 서버 및 사용자 단말기 중 적어도 하나로 전송되는 영상의 개수를 증가 또는 감소시킬 수 있다.
이 경우, 제어부(1800)는 제2 조도로 촬영된 영상 중 증가 또는 감소된 개수의 영상을 선택할 수 있으며, 선택된 영상을 상기 서버 및 사용자 단말기 중 적어도 하나로 전송하도록 통신부(1100)를 제어할 수 있다.
이와 같이, 제어부(1800)는 하나의 카메라에서 촬영되는 복수의 프레임들에 서로 다른 조도로 촬영된 영상이 포함되도록, 상기 카메라가 연속적으로 영상을 촬영하는 도중에, 상기 카메라의 조도와 관련된 설정 값을 변경시킬 수 있다.
도 9a에 도시된 실시예에서는, 청소기(100)에 구비된 단일 카메라가 초당 30개의 프레임을 생성시킬 수 있다.
구체적으로, 제어부(1800)는 30개의 프레임 중 제1 프레임과, 제15 프레임 및 제30 프레임이 제1 조도(L)로 촬영되고, 나머지 27개의 프레임이 제2 조도(H)로 촬영되도록 카메라를 제어할 수 있다.
이와 같은 카메라 제어에 의하면, 본 발명에 따른 청소기(100)는 하나의 카메라를 이용하여 복수의 조도로 촬영된 영상들을 획득할 수 있다.
또한, 도 9a를 참조하면, 제어부(1800)는 제2 조도(H)로 촬영된 프레임들 중 일부를 선택하고, 선택된 일부의 프레임을 이용하여 제2 주행 모드를 실행할 수 있다.
예를 들어, 선택된 일부의 프레임 사이의 시간 간격은 일정할 수 있다. 즉, 제어부(1800)는 제2 주행 모드에 이용되는 영상을 선택함에 있어서, 상기 영상 사이의 촬영시점이 균일하도록, 상기 영상을 선택할 수 있다.
도 9a에 도시된 것과 같이, 제어부(1800)는 카메라의 촬영이 개시되면, 소정의 개수의 영상이 제1 조도(L)로 촬영되도록 카메라를 제어하는 제1 조도 제어를 수행할 수 있다.
또한, 제어부(1800)는 상기 제1 조도 제어가 완료되면, 소정 개수의 영상이 제2 조도로 촬영되도록 카메라를 제어하는 제2 조도 제어를 수행할 수 있다.
도 9a에서는 30 프레임만 도시되었으나, 제어부(1800)는 상기 제1 조도 제어와, 제2 조도 제어를 순차적으로 반복 수행할 수 있다.
도 9b를 참조하면, 제어부(1800)는 카메라가 프레임을 생성할 때마다, 카메라의 조도와 관련된 설정 값을 제1 조도(L)와 제2 조도(H)로 교차 변경시킬 수 있다. 즉, 제어부(1800)는 제1 조도로 촬영된 영상과, 제2 조도로 촬영된 영상이 순차적으로 반복 생성되도록, 상기 카메라를 제어할 수 있다.
도 9a와 도 9b에서는 카메라의 조도와 관련된 설정 값을 변경하는 구체적 방법에 대해 개시하였으나, 본 발명은 이에 제한되는 것은 아니다.
한편, 도 9c를 참조하면, 제어부(1800)는 제1 주행 모드에 이용되는 영상을 촬영하기 위하여 카메라의 조도와 관련된 설정 값을 제1 조도 범위 내에서 변경시킬 수 있다. 또한, 제어부(1800)는 제2 주행 모드에 이용되는 영상을 촬영하기 위하여 카메라의 조도와 관련된 설정 값을 제2 조도 범위 내에서 변경시킬 수 있다.
즉, 어느 한 주행 모드에 이용되는 영상의 조도는 어느 하나의 조도 값으로 고정된 것이 아니고, 제어부(1800)는 상기 어느 한 주행 모드에 이용되는 복수의 영상들이 각각 복수의 조도 값으로 촬영되도록 카메라를 제어할 수 있다.
도 9c에 도시된 것과 같이, 제어부(1800)는 제1 주행 모드에 이용되는 복수의 영상이 촬영되는 복수의 시점에, 카메라의 조도와 관련된 설정 값을 제1 설정 값(L1), 제2 설정 값(L2), 제3 설정 값(L3)으로 각각 설정할 수 있다.
이때, 상기 제1 내지 제3 설정 값(L1, L2, L3)은 제1 조도 범위에 포함될 수 있다.
또한, 도 9c에 도시된 것과 같이, 제어부(1800)는 제2 주행 모드에 이용되는 복수의 영상이 촬영되는 복수의 시점에, 카메라의 조도와 관련된 설정 값을 제4 설정 값(H1), 제5 설정 값(H2), 제6 설정 값(H3)으로 각각 설정할 수 있다.
이때, 상기 제4 내지 제6 설정 값(H1, H2, H3)은 제2 조도 범위에 포함될 수 있다.
일 실시예에서, 제어부(1800)는 제1 주행 모드가 개시되면, 상기 제1 주행 모드에 이용되는 영상이 촬영되는 시점에, 카메라의 조도와 관련된 설정 값을 제1 설정 값(L1)으로 설정할 수 있다. 이때, 상기 제1 설정 값(L1)은 디폴트 값일 수 있다.
제어부(1800)는 본체가 제1 주행 모드 수행 중에 상기 제1 주행 모드가 개시된 영역보다 더 밝은 영역에 진입하면, 상기 제1 주행 모드에 이용되는 영상이 촬영되는 시점에, 카메라의 조도와 관련된 설정 값을 제2 설정 값(L2)으로 변경할 수 있다.
또한, 제어부(1800)는 본체가 제1 주행 모드 수행 중에 상기 제1 주행 모드가 개시된 영역보다 더 어두운 영역에 진입하면, 상기 제1 주행 모드에 이용되는 영상이 촬영되는 시점에, 카메라의 조도와 관련된 설정 값을 제3 설정 값(L3)으로 변경할 수 있다.
제어부(1800)는 본체 외부에 구비된 조도센서(미도시)의 센싱 값을 이용하여, 본체가 이전 영역보다 더 어두운 영역으로 진입하는지, 또는 이전 영역보다 더 밝은 영역으로 진입하는지 여부를 판단할 수 있다.
이와 같이, 제어부(1800)는 하나의 카메라에 의해 촬영된 영상들이 복수의 주행 모드에서 각각 이용될 수 있도록, 프레임 별로 카메라의 조도와 관련된 설정 값을 변경할 수 있다.
일 실시예에서, 제어부(1800)는 하나의 카메라가 단위시간당 생성하는 프레임을 선택된 주행 모드 별로 할당할 수 있다.
즉, 도 9c를 참조하면, 제어부(1800)는 제1 프레임과, 제15 프레임 및 제30 프레임을 제1 주행 모드에 할당할 수 있고, 나머지 27 프레임을 제2 주행 모드에 할당할 수 있다.
아울러, 제어부(1800)는 제1 주행 모드를 수행하는 도중에, 상기 제1 주행 모드에 이용되는 영상의 밝기가 변경되면, 상기 제1 주행 모드에 할당된 프레임에 대응되는 시점에서 상기 카메라의 조도와 관련된 설정 값을 변경시킬 수 있다.
도 10에서는 본 발명에 따르는 청소기(100)의 제어방법이 설명된다.
도 10에 도시된 것과 같이, 본원발명의 단일카메라(1001)는 초당 최고 30 프레임의 영상을 촬영할 수 있다.
제어부(1800)에 포함되는 조도 제어유닛(1801)은, 단일카메라(1001)가 연속적으로 촬영을 하는 도중에, 단일카메라(1001)의 조도와 관련된 설정 값을 변경시킬 수 있다.
또한, 제어부(1800)에 포함되는 조도 제어유닛(1801)은 동일한 조도로 촬영된 영상들을 그룹화하여, 그룹별로 메모리(1100)에 저장시킬 수 있다.
한편, 제어부(1800)에 포함되는 조도 제어유닛(1801)은 초당 촬영되는 30 프레임을 복수의 주행 모드에 분배하여 할당시킬 수 있다. 조도 제어유닛(1801)은 동일한 주행 모드에 할당된 프레임을 그룹화하여, 그룹별로 메모리(1100)에 저장시킬 수 있다.
예를 들어, 복수의 주행 모드는 모니터링 주행 모드(1002), 슬램 주행 모드(1004), 딥러닝 인식 모드(1003)를 포함할 수 있다.
이때, 조도 제어유닛(1801)은 모니터링 주행 모드에 할당된 26개의 프레임을 그룹화시킬 수 있다. 아울러, 제어부(1800)에 포함되는 모니터링 유닛(1802)은 모니터링 주행 모드에 할당된 26개의 프레임이 단말기 화면(1002)에 출력되도록, 사용자 단말기로 전송할 수 있다.
또한, 조도 제어유닛(1801)은 슬램 주행 모드에 할당된 3개의 프레임을 그룹화시킬 수 있다. 제어부(1800)는 슬램 주행 모드에 할당된 3개의 프레임을 이용하여 슬램 주행을 실행할 수 있다.
또한, 조도 제어유닛(1801)은 딥러닝 주행 모드에 1개의 프레임을 할당시킬 수 있으며, 제어부(1800)는 딥러닝 주행 모드에 할당된 1개의 프레임과 메모리에 미리 저장된 트레이닝 데이터를 비교함으로써, 딥러닝 주행 모드에 할당된 1개의 프레임의 피사체와 관련된 정보를 검출할 수 있다.
예를 들어, 피사체와 관련된 정보는, 피사체가 사물인지 생명체인지 여부와 관련된 정보를 포함할 수 있다.
또 다른 예에서, 피사체와 관련된 정보는 피사체가 생명체인 경우, 상기 피사체와 대응되는 종(Species)과 관련된 정보를 포함할 수 있다.
또 다른 예에서, 피사체와 관련된 정보는 피사체가 사물인 경우, 상기 피사체의 이름과 관련된 정보를 포함할 수 있다.
또 다른 예에서, 피사체와 관련된 정보는 피사체의 크기, 형태와 관련된 정보를 포함할 수 있다.
또 따른 예에서, 피사체와 관련된 정보는, 상기 딥러닝 주행 모드에 할당된 프레임에 포함된 객체의 개수와 관련된 정보를 포함할 수 있다.
위와 같은 본 발명에 따른 자율 주행을 수행하는 청소기에 따르면, 카메라의 설정 값을 필요에 따라 변경시킴으로써, 하나의 카메라만을 이용하면서도 복수의 주행 모드를 정상적으로 수행할 수 있는 장점이 있다.
즉, 본 발명에 따른 청소기의 제어방법에 의하면, 본체에 설치되는 카메라의 개수를 감소시킬 수 있으므로, 청소기의 제작 비용을 감소시킬 수 있는 효과가 도출된다.
또한, 본 발명에 따르면, 하나의 카메라를 이용하여 복수의 주행 모드에 요구되는 설정 값을 갖는 영상을 획득할 수 있으므로, 청소기의 데이터 처리량을 감소시킬 수 있는 효과가 도출된다.
아울러, 본 발명에 따르면, 하나의 카메라로부터 획득되는 정보를 이용하여 복수의 주행 모드를 수행할 수 있으므로, 데이터 처리의 효율성이 증가된다.

Claims (26)

  1. 본체;
    상기 본체를 이동시키는 구동부;
    기 설정된 주기마다 상기 본체 주변의 영상을 촬영하는 카메라; 및
    복수의 주행 모드 중 적어도 하나를 선택하고,
    선택된 주행 모드를 수행하도록 상기 구동부 및 카메라를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 카메라가 연속적으로 영상을 촬영하는 도중에, 상기 카메라의 조도와 관련된 설정 값을 변경시키는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  2. 제1항에 있어서,
    상기 카메라는 단위시간당 기 설정된 개수의 영상을 촬영하고,
    상기 제어부는,
    상기 기 설정된 개수의 영상이 서로 다른 복수의 조도로 촬영되도록 상기 카메라를 제어하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  3. 제2항에 있어서,
    상기 제어부는,
    복수의 조도 중 어느 하나로 촬영된 영상의 개수가, 복수의 조도 중 다른 하나로 촬영된 영상의 개수와 상이하도록, 상기 카메라를 제어하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  4. 제2항에 있어서,
    상기 제어부는,
    복수의 조도 중 어느 하나로 촬영된 영상을 이용하여, 상기 청소기가 수행하는 복수의 주행 모드 중 어느 하나를 수행하고,
    복수의 조도 중 다른 하나로 촬영된 영상을 이용하여, 상기 청소기가 수행하는 복수의 주행 모드 중 다른 하나를 수행하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  5. 제4항에 있어서,
    상기 복수의 주행모드는 장애물 인식 모드, 모니터링 모드 및 위치 인식 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 위치 인식 모드가 수행될 때 이용되는 영상의 조도가, 상기 장애물 인식 모드 및 상기 모니터링 모드 중 적어도 하나가 수행될 때 이용되는 영상의 조도보다 낮도록 상기 카메라를 제어하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  7. 제2항에 있어서,
    상기 카메라는 초당 30개의 프레임의 영상을 획득하고,
    상기 제어부는,
    상기 30개의 프레임의 영상 중 3개의 프레임의 영상은 제1 조도로 촬영되고, 나머지 27개의 프레임의 영상은 제2 조도로 촬영되도록 상기 카메라를 제어하고,
    상기 제1 조도는 상기 제2 조도보다 낮게 설정되는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  8. 제2항에 있어서,
    상기 제어부는,
    제1 주행 모드와 제2 주행 모드가 선택되면, 상기 제1 주행 모드에서 이용되는 영상의 조도와 관련된 정보와, 상기 제2 주행 모드에서 이용되는 영상의 조도와 관련된 정보를 검출하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 주행 모드가 선택되면, 상기 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수와, 상기 제2 주행 모드에서 이용되는 영상의 개수를 검출하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  10. 제9항에 있어서,
    상기 제1 주행 모드에서 이용되는 영상의 조도가 상기 제1 조도이고,
    상기 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수가 제1 개수이고,
    상기 제2 주행 모드에서 이용되는 영상의 조도가 상기 제2 조도이고,
    상기 제1 주행 모드에서 단위 시간당 이용되는 영상의 개수가 제 2 개수이면,
    상기 제어부는,
    상기 제1 및 제2 주행 모드가 선택되면, 상기 카메라가 초당 기 설정된 개수의 영상을 획득할 동안, 획득된 영상에 상기 제1 조도로 촬영된 영상이 제1 개수 이상 포함되고, 상기 제2 조도로 촬영된 영상이 제2 개수 이상 포함되도록, 상기 카메라를 제어하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  11. 제2항에 있어서,
    상기 제어부는,
    상기 카메라에 의해 촬영된 영상을, 상기 영상의 조도 값에 근거하여 복수의 그룹으로 분류하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  12. 제11항에 있어서,
    상기 카메라에 의해 촬영된 영상을 저장하는 메모리를 더 포함하고,
    상기 제어부는,
    분류결과에 근거하여, 상기 영상의 레이블링(Labeling)을 수행하고,
    레이블링된 영상을 상기 메모리에 저장하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 영상이 분류된 후, 상기 제1 조도로 촬영된 영상을 이용하여 선택된 주행 모드 중 제1 주행 모드를 실행시키고, 상기 제2 조도로 촬영된 영상을 이용하여 선택된 주행 모드 중 제2 주행 모드를 실행시키는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  14. 제13항에 있어서,
    상기 제1 주행 모드는 슬램(SLAM) 주행 모드이고,
    상기 제어부는,
    상기 제1 조도로 촬영된 영상을 이용하여, 상기 본체의 위치와 관련된 정보를 검출함으로써, 상기 제1 주행 모드를 실행하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 제1 조도로 촬영된 영상을 이용하여, 상기 본체가 위치하는 청소영역의 지도 정보를 생성하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  16. 제14항에 있어서,
    상기 본체가 위치하는 청소영역의 밝기를 감지하는 센서를 더 포함하고,
    상기 제어부는,
    상기 센서의 감지결과에 근거하여, 상기 본체 주변의 밝기가 변경되었는지 여부를 판단하고,
    판단결과에 근거하여, 상기 제1 주행 모드에서 이용되는 영상의 조도 값을 보정하기 위해, 상기 카메라의 조도 값을 변경하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  17. 제13항에 있어서,
    외부와 통신을 수행하는 통신부를 더 포함하고,
    상기 제2 주행 모드는 모니터링 주행 모드이고,
    상기 제어부는,
    상기 제2 조도로 촬영된 영상 중 적어도 하나를 서버 또는 사용자 단말기로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  18. 제17항에 있어서,
    상기 제어부는,
    상기 제2 조도로 촬영된 영상 중 기 설정된 개수의 영상을 선택하고,
    선택된 영상을 상기 서버 및 사용자 단말기 중 적어도 하나로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  19. 제18항에 있어서,
    상기 제어부는,
    상기 제2 조도로 촬영된 영상 각각의 선명도를 판단하고,
    판단된 선명도가 기 설정된 선명도 값 이상인 영상을 선택하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  20. 제18항에 있어서,
    상기 제어부는,
    상기 제2 조도로 촬영된 영상 중 기 설정된 순번에 해당하는 영상을 선택하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  21. 제18항에 있어서,
    상기 제어부는,
    상기 통신부를 통하여, 서버 및 사용자 단말기 중 적어도 하나에 인가된 소정의 사용자 입력을 전달받으면, 상기 서버 또는 상기 사용자 단말기 중 적어도 하나로 전송되는 영상의 개수를 증가 또는 감소시키고,
    상기 제2 조도로 촬영된 영상 중 증가 또는 감소된 개수의 영상을 선택하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  22. 제2항에 있어서,
    상기 제어부는,
    상기 카메라의 촬영이 개시되면, 소정의 개수의 영상이 상기 제1 조도로 촬영되도록 상기 카메라를 제어하는 제1 조도 제어를 수행하고,
    상기 제1 조도 제어가 완료되면, 소정의 개수의 영상이 상기 제2 조도로 촬영되도록 상기 카메라를 제어하는 제2 조도 제어를 수행하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  23. 제22항에 있어서,
    상기 제어부는,
    상기 제1 조도 제어와 상기 제2 조도 제어를 순차적으로 반복 수행하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  24. 제1항에 있어서,
    상기 카메라의 광축은 상기 본체가 위치하는 청소영역의 바닥면과 소정의 각도를 형성하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  25. 제1항에 있어서,
    상기 카메라의 시야각은 소정의 각도 이상으로 형성되는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
  26. 제1항에 있어서,
    상기 카메라의 조도와 관련된 설정 값은 카메라의 노출 시간과 관련된 설정 값, 조명 출력과 관련된 설정 값 및 필터와 관련된 설정 값 중 적어도 하나를 포함하는 것을 특징으로 하는 자율 주행을 수행하는 청소기.
PCT/KR2017/009045 2017-07-21 2017-08-18 청소기 및 그 제어방법 WO2019017521A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2017424181A AU2017424181B2 (en) 2017-07-21 2017-08-18 Cleaner and control method thereof
JP2020502620A JP6905635B2 (ja) 2017-07-21 2017-08-18 掃除機及びその制御方法
EP17918202.7A EP3656269B1 (en) 2017-07-21 2017-08-18 Cleaner and control method thereof
CN201790001762.0U CN212234313U (zh) 2017-07-21 2017-08-18 自主清洁器
AU2021273534A AU2021273534B2 (en) 2017-07-21 2021-11-23 Cleaner and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0092901 2017-07-21
KR1020170092901A KR101984516B1 (ko) 2017-07-21 2017-07-21 청소기 및 그 제어방법

Publications (1)

Publication Number Publication Date
WO2019017521A1 true WO2019017521A1 (ko) 2019-01-24

Family

ID=65016380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009045 WO2019017521A1 (ko) 2017-07-21 2017-08-18 청소기 및 그 제어방법

Country Status (8)

Country Link
US (2) US10845819B2 (ko)
EP (1) EP3656269B1 (ko)
JP (1) JP6905635B2 (ko)
KR (1) KR101984516B1 (ko)
CN (1) CN212234313U (ko)
AU (2) AU2017424181B2 (ko)
TW (1) TWI703950B (ko)
WO (1) WO2019017521A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
KR102201002B1 (ko) * 2019-03-26 2021-01-12 엘지전자 주식회사 로봇 청소기
US11571100B2 (en) * 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
USD938677S1 (en) * 2019-08-28 2021-12-14 Lg Electronics Inc. Robotic vacuum cleaner
USD943227S1 (en) * 2019-08-28 2022-02-08 Lg Electronics Inc. Robotic vacuum cleaner
US20210132603A1 (en) * 2019-11-05 2021-05-06 Hong-Fan WEI Smart platform device, circuit system and smart system thereof
US11436940B2 (en) 2020-02-28 2022-09-06 Irobot Corporation Mobile cleaning robot hardware recommendations
KR102320678B1 (ko) * 2020-02-28 2021-11-02 엘지전자 주식회사 이동 로봇 및 그 제어방법
DE102022207087A1 (de) * 2022-07-12 2024-01-18 BSH Hausgeräte GmbH Haushaltsgerät

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130042389A (ko) * 2011-10-18 2013-04-26 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR101540666B1 (ko) * 2009-07-22 2015-07-31 엘지전자 주식회사 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법
KR20160090278A (ko) * 2016-07-21 2016-07-29 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR20170047381A (ko) * 2014-09-03 2017-05-04 다이슨 테크놀러지 리미티드 이동 로봇
JP2017090416A (ja) * 2015-11-17 2017-05-25 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797841B2 (ja) * 1987-06-09 1995-10-18 キヤノン株式会社 撮像装置
JPH0797841A (ja) 1993-09-29 1995-04-11 Natl House Ind Co Ltd 屋根の構造
KR0185909B1 (ko) 1994-07-11 1999-05-01 김광호 비데오 카메라의 노출 조절장치
WO1997047943A1 (fr) * 1996-06-14 1997-12-18 Kabushiki Kaisya Saginomiya Seisakusyo Dispositif pour controler l'alignement des roues et controle de l'alignement des roues
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
JP3692071B2 (ja) * 2001-12-06 2005-09-07 株式会社メイクソフトウェア 画像プリント作成装置、方法、プログラム
JP2004247172A (ja) * 2003-02-13 2004-09-02 Matsushita Electric Ind Co Ltd Ｃｒｔパネルの蛍光体形成位置の測定装置とその測定方法、及び陰極線管の製造方法
KR100483566B1 (ko) * 2003-03-12 2005-04-19 삼성광주전자 주식회사 로봇청소기 및 위치인식방법
JP2005304540A (ja) * 2004-04-16 2005-11-04 Funai Electric Co Ltd 監視カメラを備えた自走式掃除機
JP2007037713A (ja) * 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
US7483054B2 (en) * 2006-03-16 2009-01-27 Altek Corporation Image unsharpness test method for a camera device
KR100734955B1 (ko) * 2006-06-19 2007-07-03 삼성광주전자 주식회사 청소기 프레임에 진공청소기 본체의 착탈이 가능한진공청소기
JP5421999B2 (ja) * 2009-10-09 2014-02-19 パナソニック株式会社 車両用周囲監視装置
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
PL394570A1 (pl) * 2011-04-15 2012-10-22 Robotics Inventions Spólka Z Ograniczona Odpowiedzialnoscia Robot do podlóg podniesionych i sposób serwisowania podlóg podniesionych
EP2620050B1 (en) * 2012-01-25 2016-07-27 Honda Research Institute Europe GmbH System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
CN103584797A (zh) * 2012-08-17 2014-02-19 乐金电子(天津)电器有限公司 机器人吸尘器及其自我诊断方法
EP3082005B1 (en) * 2013-12-13 2019-06-12 Toshiba Lifestyle Products & Services Corporation Autonomously traveling electric cleaning device
KR101592108B1 (ko) 2014-07-23 2016-02-04 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
KR20160016068A (ko) * 2014-08-01 2016-02-15 삼성전자주식회사 이미지 생성 방법 및 그 전자 장치
JP6826804B2 (ja) 2014-08-29 2021-02-10 東芝ライフスタイル株式会社 自律走行体
GB2529847B (en) * 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile Robot with Independently Adjustable Light Sources
KR101571719B1 (ko) * 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기
KR101620427B1 (ko) * 2014-10-14 2016-05-12 엘지전자 주식회사 로봇 청소기의 제어방법
TWI531984B (zh) * 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
TWI652034B (zh) * 2016-05-17 2019-03-01 Ｌｇ電子股份有限公司 清掃機器人
WO2017200346A1 (ko) * 2016-05-20 2017-11-23 엘지전자 주식회사 로봇 청소기
KR102598711B1 (ko) 2016-07-07 2023-11-06 삼성전자주식회사 불균일 광을 조사하는 라이다 장치 및 이를 포함하는 자율 주행 로봇
KR20180018213A (ko) * 2016-08-12 2018-02-21 삼성전자주식회사 전자 장치 및 그 제어 방법
TWM541824U (zh) 2016-09-06 2017-05-21 禾聯碩股份有限公司 智慧型居家監控系統
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101540666B1 (ko) * 2009-07-22 2015-07-31 엘지전자 주식회사 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법
KR20130042389A (ko) * 2011-10-18 2013-04-26 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR20170047381A (ko) * 2014-09-03 2017-05-04 다이슨 테크놀러지 리미티드 이동 로봇
JP2017090416A (ja) * 2015-11-17 2017-05-25 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
KR20160090278A (ko) * 2016-07-21 2016-07-29 엘지전자 주식회사 이동 로봇 및 이의 제어 방법

Also Published As

Publication number Publication date
AU2017424181B2 (en) 2021-08-26
AU2021273534B2 (en) 2023-08-03
EP3656269A1 (en) 2020-05-27
US11759075B2 (en) 2023-09-19
EP3656269A4 (en) 2021-03-24
US10845819B2 (en) 2020-11-24
TWI703950B (zh) 2020-09-11
JP2020528311A (ja) 2020-09-24
EP3656269B1 (en) 2023-07-12
JP6905635B2 (ja) 2021-07-21
TW201907855A (zh) 2019-03-01
KR20190010301A (ko) 2019-01-30
KR101984516B1 (ko) 2019-05-31
AU2017424181A1 (en) 2020-03-05
CN212234313U (zh) 2020-12-29
US20210034069A1 (en) 2021-02-04
US20190025850A1 (en) 2019-01-24
AU2021273534A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
WO2019017521A1 (ko) 청소기 및 그 제어방법
AU2019334724B2 (en) Plurality of autonomous mobile robots and controlling method for the same
AU2020209330B2 (en) Mobile robot and method of controlling plurality of mobile robots
WO2021006556A1 (en) Moving robot and control method thereof
WO2019212239A1 (en) A plurality of robot cleaner and a controlling method for the same
WO2019212278A1 (en) Plurality of autonomous mobile robots and controlling method for the same
EP3787459A1 (en) A plurality of robot cleaner and a controlling method for the same
AU2020231781B2 (en) Moving robot and controlling method for the moving robot
WO2019088695A1 (ko) 초음파 센서 및 그를 구비하는 로봇 청소기
WO2020122541A1 (ko) 로봇 청소기 및 그 제어방법
WO2021172932A1 (en) Moving robots and method for controlling the same
AU2020268667B2 (en) Mobile robot and control method of mobile robots
WO2019117576A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2020050566A1 (en) Plurality of autonomous mobile robots and controlling method for the same
WO2020004824A1 (en) Plurality of autonomous cleaner and controlling method for the same
WO2020139029A1 (en) Mobile robot
AU2020362530B2 (en) Robot cleaner and method for controlling the same
WO2020197135A1 (en) Moving robot and controlling method for the same
WO2020017943A1 (ko) 복수의 로봇 청소기 및 그 제어방법
WO2019221523A1 (ko) 청소기 및 그 제어방법
WO2019221524A1 (ko) 청소기 및 그 제어방법
WO2020022739A1 (ko) 로봇 청소기 및 그것의 제어방법
WO2020122540A1 (ko) 로봇 청소기 및 그 동작방법
WO2021225234A1 (en) Robot cleaner and method for controlling the same
WO2020050565A1 (en) Plurality of autonomous mobile robots and controlling method for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17918202

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502620

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017918202

Country of ref document: EP

Effective date: 20200221

ENP Entry into the national phase

Ref document number: 2017424181

Country of ref document: AU

Date of ref document: 20170818

Kind code of ref document: A