WO2019117078A1 - 電気掃除機 - Google Patents

電気掃除機 Download PDF

Info

Publication number
WO2019117078A1
WO2019117078A1 PCT/JP2018/045284 JP2018045284W WO2019117078A1 WO 2019117078 A1 WO2019117078 A1 WO 2019117078A1 JP 2018045284 W JP2018045284 W JP 2018045284W WO 2019117078 A1 WO2019117078 A1 WO 2019117078A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
image processing
vacuum cleaner
cameras
Prior art date
Application number
PCT/JP2018/045284
Other languages
English (en)
French (fr)
Inventor
井澤　浩一
裕樹 丸谷
浩太 渡邊
古田　和浩
Original Assignee
東芝ライフスタイル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝ライフスタイル株式会社 filed Critical 東芝ライフスタイル株式会社
Priority to EP18888602.2A priority Critical patent/EP3725204A4/en
Priority to CN201880076864.8A priority patent/CN111405862B/zh
Priority to US16/767,429 priority patent/US20210026369A1/en
Publication of WO2019117078A1 publication Critical patent/WO2019117078A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • An embodiment of the present invention relates to a vacuum cleaner that estimates its own position and creates a map of a travel area in which the main body travels.
  • a so-called autonomous traveling type cleaning robot which cleans a floor surface while autonomously traveling on a floor surface as a surface to be cleaned.
  • SLAM simultaneous localization and mapping
  • a vacuum cleaner using a laser sensor or a gyro sensor is known to realize the SLAM technology.
  • the shape of the laser sensor is large, and the vacuum cleaner can not be easily miniaturized, and can not be cleaned by penetrating into a place having a barrier such as the bottom of a bed or sofa, for example.
  • the laser sensor is expensive, it can not be manufactured inexpensively.
  • it is necessary to calculate the movement amount of a vacuum cleaner from a gyro sensor the error of this calculation is large, and it is not easy to improve precision.
  • the problem to be solved by the present invention is to provide a vacuum cleaner capable of downsizing and highly accurate travel control.
  • the vacuum cleaner includes a movable main body, a traveling control means for controlling the traveling of the main body, a plurality of cameras mounted on the main body, an image input means, an image processing means, and a self position estimation means , Mapping means.
  • the image input means takes in image data from at least two of the plurality of cameras.
  • the image processing means processes the image data captured by the image input means.
  • the self position estimation means estimates the self position based on the image data subjected to image processing by the image processing means.
  • the map creating means creates a map of a traveling area in which the main body travels based on the image data subjected to image processing by the image processing means.
  • (a) is an explanatory view schematically showing an example of an image taken by one camera
  • (b) is an explanatory view schematically showing an example of an image taken by the other camera
  • (c) is (a) and It is explanatory drawing which shows an example of the distance image based on the image of (b). It is explanatory drawing which shows an example of the map produced by the map production means of a vacuum cleaner same as the above. It is explanatory drawing which shows the processing flow of a vacuum cleaner same as the above.
  • reference numeral 11 denotes a vacuum cleaner as an autonomous vehicle.
  • the vacuum cleaner 11 constitutes an electric cleaning system which is an electric cleaning device as an autonomous traveling body device together with a charging device as a base device.
  • the vacuum cleaner 11 is a so-called self-propelled robot cleaner that cleans the floor surface while autonomously traveling on the floor surface as a traveling surface which is a portion to be cleaned.
  • the self-propelled vacuum cleaner 11 is not limited to one that travels completely autonomously, but includes one that travels by remote control by an external device such as a remote control.
  • the vacuum cleaner 11 includes a main body case 20 which is a main body. Moreover, the vacuum cleaner 11 is provided with the driving wheel 21 which is a traveling drive part. Furthermore, the vacuum cleaner 11 is equipped with the cleaning part 22 which cleans the dust of a floor surface. The vacuum cleaner 11 also includes a sensor unit 23. Furthermore, the vacuum cleaner 11 includes an imaging unit 24. In addition, the vacuum cleaner 11 may include the communication unit 25. Moreover, the vacuum cleaner 11 may be equipped with the input-output part 26 which a signal is input-output between external devices or a user. Furthermore, the vacuum cleaner 11 is provided with the control part 27 as a control means which is a controller. Moreover, the vacuum cleaner 11 may be provided with the display part which displays an image.
  • the vacuum cleaner 11 may be equipped with the battery for electric power feeding which becomes a power supply part.
  • the direction along the traveling direction of the main body case 20 is referred to as the front-rear direction.
  • the left-right direction or both sides directions orthogonal to the front-back direction are demonstrated as the width direction.
  • the main body case 20 is formed of, for example, a synthetic resin.
  • the main body case 20 is formed in a shape that can store various devices and parts.
  • the main body case 20 may be formed, for example, in a flat cylindrical shape or a disk shape.
  • the suction port 31 which is a dust collection port may be provided in the lower part facing the floor surface or the like.
  • the driving wheel 21 autonomously travels the main body case 20 in the forward and backward directions on the floor surface, that is, for traveling.
  • a pair of drive wheels 21 is provided on the left and right of the main body case 20.
  • the drive wheel 21 is driven by a motor 33 as drive means. It should be noted that, instead of the drive wheel 21, it is also possible to use an endless track as a travel drive unit.
  • the motor 33 is disposed corresponding to the drive wheel 21. Therefore, in the present embodiment, for example, a pair of motors 33 is provided.
  • the motor 33 can drive the drive wheels 21 independently.
  • the cleaning unit 22 is, for example, for removing dust on the floor surface.
  • the cleaning unit 22 has a function of, for example, collecting and collecting dust on the floor surface from the suction port 31, or wiping and cleaning the floor surface and the like.
  • the cleaning unit 22 is an electric blower 35 for sucking dust with air from the suction port 31, and a brush that is rotatably attached to the suction port 31 and rotates a rotary brush 36 and a rotary brush 36 as a rotary cleaning body that scrapes the dust.
  • At least one of a motor and a side brush motor that is rotatably attached to the peripheral edge of the main body case 20 and serves as an auxiliary cleaning unit as a pivot cleaning unit that scrapes and collects dust and drives the side brush 38
  • the cleaning unit 22 may include a dust collection unit 40 communicating with the suction port 31 to store dust.
  • the sensor unit 23 senses various types of information for supporting the traveling of the main body case 20.
  • the sensor unit 23 according to the present embodiment senses, for example, an uneven state of a floor surface, that is, a step, a wall or an obstacle that hinders the traveling of the vacuum cleaner 11, and an amount of dust on the floor surface.
  • the sensor unit 23 may include, for example, an infrared sensor or an ultrasonic sensor as an obstacle detection unit, or a dust amount sensor that detects the amount of dust sucked into the dust collection unit 40 from the suction port 31.
  • the infrared sensor or the ultrasonic sensor may have a function of a distance measuring unit as a distance measuring unit that measures the distance between the side portion of the main body case 20 and the object serving as the obstacle.
  • the imaging unit 24 includes a camera 51 as an imaging unit main body which is an imaging unit. Moreover, the imaging part 24 may be equipped with the lamp
  • the camera 51 is directed forward, which is the traveling direction of the main body case 20, and is digital at a predetermined horizontal angle of view, for example, 105 ° with respect to a direction parallel to the floor surface on which the main body case 20 is mounted.
  • a digital camera that captures an image or a moving image.
  • the camera 51 includes a lens, an aperture, a shutter, an imaging device such as a CCD, an imaging control circuit, and the like.
  • a plurality of cameras 51 are provided.
  • the left and right cameras 51 are provided separately from each other.
  • the cameras 51 and 51 have overlapping imaging ranges or fields of view. Therefore, in the images captured by the cameras 51, 51, the imaging region is lapped in the left-right direction.
  • the image captured by the camera 51 may be, for example, a color image or a black and white image in the visible light wavelength band, or an infrared image.
  • the lamp 53 illuminates the imaging direction of the camera 51 to obtain the brightness required for imaging.
  • the lamp 53 of the present embodiment is configured to output light in a wavelength band corresponding to the wavelength band of light that can be captured by the camera 51. Further, when the camera 51 can capture an image in the visible light wavelength band, the lamp 53 of the present embodiment outputs light in the visible light wavelength band and the camera 51 can capture an image in the infrared wavelength band. In this case, light in the infrared wavelength range is output.
  • the lamp 53 is provided corresponding to each camera 51. In the present embodiment, the lamp 53 is disposed between the cameras 51 and 51, but may be disposed for each camera 51. For example, an LED or the like is used as the lamp 53.
  • the lamp 53 is not an essential component.
  • the communication unit 25 is a home gateway which is a relay point as a relay means, and a wireless communication unit which is a wireless communication means for wireless communication with an external device via a network such as the Internet and a vacuum cleaner which is a cleaner signal reception means
  • a wireless LAN device or the like as a signal receiving unit is provided.
  • the communication unit 25 may be equipped with an access point function, and direct wireless communication may be performed with an external device without passing through the home gateway. Also, for example, a web server function may be added to the communication unit 25.
  • the input / output unit 26 acquires a control command transmitted from an external device such as a remote control, a switch provided on the main body case 20, or a control command input from an input unit such as a touch panel. It sends the signal to the external device.
  • an external device such as a remote control, a switch provided on the main body case 20, or a control command input from an input unit such as a touch panel. It sends the signal to the external device.
  • the control unit 27 is, for example, a microcomputer including a CPU as a control unit main body as a control unit main body, a ROM, a RAM, and the like.
  • the control unit 27 is electrically connected to the cleaning unit 22, the sensor unit 23, the imaging unit 24, the communication unit 25, the input / output unit 26, and the like.
  • the control unit 27 of the present embodiment includes a traveling and sensor system CPU 61 as a first control unit.
  • the control unit 27 includes a user interface CPU 62 as a second control unit.
  • the user interface system CPU is hereinafter referred to as a UI system CPU 62.
  • the control unit 27 includes an image processing processor 63 as a third control unit.
  • the control unit 27 includes a cleaning control unit which is a cleaning control unit.
  • the control unit 27 includes a memory as a storage unit, which is a storage unit.
  • the control unit 27 is electrically connected to the battery.
  • the control unit 27 may include a charge control unit that controls charging of the battery.
  • the traveling and sensor system CPU 61 is electrically connected to the motor 33. In addition, the traveling and sensor system CPU 61 is electrically connected to the sensor unit 23. Further, the traveling / sensor system CPU 61 is electrically connected to the UI system CPU 62. The traveling and sensor system CPU 61 is electrically connected to the image processing processor 63.
  • the traveling / sensor system CPU 61 has a function of a traveling control unit as a traveling control unit that controls the driving of the drive wheel 21 by controlling the driving of the motor 33, for example. In addition, the traveling / sensor system CPU 61 has a function of a sensor control unit as a sensor control unit that acquires a detection result by the sensor unit 23.
  • the traveling / sensor system CPU 61 sets the traveling route based on the map data indicating the traveling region where the electric vacuum cleaner 11 is disposed and can travel and the detection of the sensor unit 23, and controls the driving of the motor 33. By doing this, there is provided a traveling mode in which the main body case 20 autonomously travels in the traveling region along the traveling path.
  • the traveling route set by the traveling / sensor system CPU 61 can travel excluding regions incapable of traveling such as obstacles or steps in the map data, and can travel in the shortest travel distance in the cleanable region in this embodiment.
  • a route for example, a route in which the main case 20 travels straight as possible, a route with the least change in direction, a route with few contact with an object serving as an obstacle, or a route in which the number of times of traveling the same location is the minimum It should be able to run and clean efficiently.
  • region which can travel the vacuum cleaner 11 is an area
  • the UI CPU 62 acquires a signal received by the input / output unit 26 or generates a signal output from the input / output unit 26.
  • the UI system CPU 62 is electrically connected to the input / output unit 26.
  • the UI system CPU 62 is electrically connected to the traveling and sensor system CPU 61.
  • the UI system CPU 62 is electrically connected to the image processing processor 63.
  • the image processing processor 63 is electrically connected to each camera 51 of the imaging unit 24 and the lamp 53.
  • the image processor 63 is also electrically connected to the communication unit 25. Further, the image processor 63 is electrically connected to each of the CPUs 61 and 62. Then, the image processor 63 takes in data of an image captured by at least two cameras 51 and 51 and performs various processing.
  • the image processing processor 63 according to the present embodiment has a function of an image input unit as an image input unit that takes in image data from at least two cameras 51. Further, the image processing processor 63 has a function of an image processing unit as an image processing unit that performs image processing on at least two pieces of captured image data.
  • the image processing processor 63 has a function of a self position estimation unit as a self position estimation unit that estimates a self position based on image data subjected to image processing. Further, the image processing processor 63 has a function of a map creating unit as map creating means for creating a map of a traveling area in which the main body case 20 travels based on the image data subjected to the image processing.
  • a technique for detecting the distance from the camera 51, 51 to the surrounding object will be described with reference to FIG.
  • a plurality of feature points SP such as corner portions etc. whose positions are uniquely determined for the object O to be subjected to distance detection are extracted.
  • the imaging coordinate plane is set at a position separated by the focal distance f from the camera 51 that captured the captured image G1, in a three-dimensional coordinate space, an extension line connecting the center of the camera 51 and each feature point on the imaging coordinate plane There should be a feature point SP of the object O at.
  • the feature point SP of the object O should be present on an extension connecting each feature point on the image capture coordinate plane here. It is. Therefore, the coordinates in the three-dimensional coordinate space of the feature point SP of the object O can be uniquely determined as the intersecting position on the extension passing through each of the two imaging coordinate planes. Furthermore, based on the distance l between the two cameras 51, 51, the distance in the actual space from the cameras 51, 51 to each feature point SP of the object O can be acquired. By performing such processing in the entire imaging range, it is possible to obtain a distance image or a parallax image in which distance information from a camera to a surrounding object is added to a captured image.
  • FIG. 5C An example in which the distance image GL is generated in FIG. 5C based on the image G1 captured by one camera 51 shown in FIG. 5A and the image G2 captured by the other camera 51 shown in FIG. 5B Indicates
  • the distance image GL illustrated in FIG. 5C it is shown that the distance from the camera 51 is closer as the lightness is higher, that is, as white on the paper.
  • the lower part of the distance image GL is white over the entire width, and the white part increases in the lower part, and the distance from the camera 51 is closer, so the floor surface on which the vacuum cleaner 11 is placed I know that there is.
  • the whole of the whiteness and the predetermined shape can be detected as one object, which is the object O in the illustrated example.
  • the image processor 63 may have a function of a depth calculation unit as depth calculation means for generating distance image data in which the depth of an object in the image data is calculated.
  • the image processing processor 63 determines the distance of an object captured within a predetermined image range such as an image range set corresponding to the width and height of the main body case 20 by the cameras 51 and 51. It may have a function of determining an object located at a distance equal to or less than the set distance as an obstacle by comparison with a set distance which is a preset or variable set threshold. Therefore, the image processing processor 63 determines an obstacle as an obstacle determining unit that determines whether an object whose distance from the main body case 20 is calculated based on the image data captured by the cameras 51 and 51 is an obstacle. It may have a part function.
  • the image processor 63 estimates the self-position of the vacuum cleaner 11 in the traveling area based on the detected shape around the main body case 20, for example, the distance and height of the obstacle object.
  • the image processing processor 63 estimates the self position of the vacuum cleaner 11 in the traveling area based on the three-dimensional coordinates of the feature points of the object in the image data captured by the cameras 51 and 51. Therefore, the image processor 63 can estimate its own position based on the data within the predetermined distance range in the distance image data.
  • the image processing processor 63 can travel in a travelable area based on the shape around the main body case 20 detected based on the image data captured by the cameras 51 and 51, for example, the distance and height of an object to be an obstacle.
  • map data indicating.
  • the image processing processor 63 determines the positional relationship and height of an obstacle or the like that is an object located in the traveling region based on the three-dimensional coordinates of the feature points of the object in the image data captured by the cameras 51 and 51. Create a map that describes the
  • the image processor 63 of the present embodiment creates map data that reflects the shape, positional relationship, and height of an obstacle that is an object.
  • the image processor 63 can create a map of the traveling area based on the data within the predetermined distance range in the distance image data.
  • Map data is created on a predetermined coordinate system such as, for example, an orthogonal coordinate system.
  • the map data of the present embodiment is created, for example, with a mesh set based on this coordinate system as a basic unit.
  • the map data M includes not only the shape of the outer wall W which is an obstacle such as furniture or a wall surrounding the traveling area but also the traveling locus TR of the vacuum cleaner 11
  • the position P can be reflected.
  • the map data created by the image processing processor 63 can be stored in the memory.
  • the image processor 63 can appropriately correct the map data when the shape or arrangement of an obstacle or the like in the already created map data and the shape or arrangement of the detected surroundings do not match.
  • the image processing processor 63 corrects distortion generated by the lenses of the cameras 51 and 51, noise removal, contrast adjustment, and matching of the image center with data of raw images captured by the cameras 51 and 51, for example. It may have a function of an image correction unit as an image correction unit that performs primary image processing such as image conversion. Contrast adjustment by the image processor 63 can be performed separately from, for example, the contrast adjustment function provided in the camera 51 itself. Further, the frame rate at which the image processing processor 63 performs image processing may be set lower than the frame rate of the image data read from the cameras 51 and 51. Furthermore, the image data processed by the image processor 63 may have a smaller number of pixels than the image data captured and captured by the cameras 51 and 51. That is, the image processing processor 63 can thin out the pixels of the image data captured by the cameras 51 and 51 to roughen the image, or perform processing such as trimming the image data and leaving only necessary portions. It is.
  • the cleaning control unit controls the operation of the cleaning unit 22.
  • the cleaning control unit controls the driving of the electric blower 35, the brush motor and the side brush motor, that is, separately controls the amounts of energization of the electric blower 35, the brush motor and the side brush motor.
  • the drive of the electric blower 35, the rotating brush 36, and the side brush 38 is controlled.
  • a nonvolatile memory such as a flash memory is used as the memory.
  • a traveled area or a cleaned area in the map data is stored.
  • the battery supplies power to the cleaning unit 22, the sensor unit 23, the imaging unit 24, the communication unit 25, the input / output unit 26, the control unit 27, and the like.
  • a rechargeable secondary battery is used as the battery.
  • the charging terminal 71 for charging the battery is exposed and disposed.
  • the charging device is a base unit that returns when the vacuum cleaner 11 finishes traveling or cleaning.
  • the charging device may incorporate a charging circuit such as a constant current circuit, for example.
  • the charging device is provided with a charging terminal for charging the battery.
  • the charging terminal is electrically connected to the charging circuit.
  • the charging terminal is mechanically and electrically connected to the charging terminal 71 of the vacuum cleaner 11 returned to the charging device.
  • the vacuum cleaner 11 cleans the floor surface while traveling based on the map data stored in the memory, and updates the map data as needed. Then, when cleaning is completed, the vacuum cleaner 11 returns to, for example, a charging device, and then shifts to a battery charging operation.
  • the vacuum cleaner 11 uses the input / output unit 26 to enter a control command for cleaning start transmitted by a remote control or an external device when, for example, a preset cleaning start time has come.
  • the control unit 27 is switched to the traveling mode at the timing when it is received or the like, and the cleaning is started.
  • map data of the traveling area is not stored in the memory, a predetermined operation is performed to detect an obstacle or the like around the main body case 20 by the sensor unit 23, the camera 51, the image processor 63 or the like.
  • map data can be created by the image processor 63, and map data can be input or read from the outside.
  • image data is taken in from at least two cameras 51 and 51, and for example, distortion correction of a lens is performed.
  • the image processor 63 performs contrast adjustment, thins out the number of pixels of the image data, estimates the self position and creates a map, ie, SLAM processing. Perform processing such as trimming only the necessary image range.
  • the image processing processor 63 performs SLAM processing with image data of a pair of two images corresponding to the cameras 51 and 51 subjected to image processing, and carries out self-position estimation and map creation.
  • an image signal is always output from each camera 51 at a constant frame rate such as 30 fps, for example, decimated frames are sufficient for the image processing processor 63 to perform SLAM processing.
  • a thinning process is performed at 10 fps, that is, one in three.
  • the image processor 63 turns on the lamp 53 in order to obtain an appropriate image even in the dark traveling area. In the case of light in the visible light wavelength band, for example, illumination by the lamp 53 may be turned on only when the traveling region or the imaged image data is dark.
  • the traveling / sensor system CPU 61 creates a traveling route.
  • the cleaning control unit operates the cleaning unit 22 while the autonomously traveling along the traveling route in which the main body case 20 is set. Or clean the floor of the area to be cleaned.
  • dust on the floor surface is collected on the dust collection unit 40 via the suction port 31 by the electric blower 35, the rotary brush 36, or the side brush 38 driven by the cleaning control unit, for example.
  • the vacuum cleaner 11 detects an object such as an obstacle in a travel area not marked on the map by the sensor unit 23 or the image processor 63 during autonomous traveling, it acquires three-dimensional coordinates of the object.
  • the image processing processor 63 causes the map data to be reflected and stored in the memory. Note that the captured image may be transmitted from the communication unit to an external device having a display function directly via the network or directly by the external device so that the user can view the image.
  • step S1 the image data from the two cameras 51, 51, that is, the captured image G1. , G2 at a predetermined frame rate, and after performing image processing such as lens distortion correction in step S2, create a distance image GL as distance image data in step S3 and, based on the distance image data in step S4, And perform SLAM processing.
  • step S5 a traveling command for driving the motor 33 to cause the main body case 20 to travel along the traveling route is created.
  • the obstacle detection is performed based on this, and the motor 33 is driven to travel the main body case 20 in step S7.
  • the position of the detected obstacle and the traveling locus TR of the main body case 20 are sent to the image processing processor 63 and reflected on the map.
  • image data captured at the same time from at least two of the plurality of cameras 51 mounted in the main body case 20 are captured, subjected to image processing, and based on the image data subjected to image processing.
  • estimation of the self position and creating a map of the traveling area in which the main body case 20 travels estimation of the self position and creation of the map, ie, SLAM processing can be performed only by mounting the small camera 51, so the electric cleaning
  • the machine 11 can be miniaturized. Therefore, for example, the vacuum cleaner 11 can be swept into a narrow gap such as under a bed or a sofa and cleaned.
  • high-precision travel control can be performed, for example, as compared with the number of rotations of the drive wheel 21 and travel position information obtained from a gyro sensor or the like as travel information.
  • the image captured by the camera 51 can also be applied to, for example, security purposes such as watching, or recognition of a person or a thing by image recognition.
  • the image processor 63 captures image data captured at the same time by at least two cameras 51, 51, it is possible to reduce an error with respect to a time change of the image data captured by the cameras 51. For this reason, even if the vacuum cleaner 11 is an image captured by the camera 51 while traveling or turning, it is difficult to cause a shift in the imaging position or the imaging direction of the image due to the traveling or turning. It is possible to further improve the accuracy of SLAM processing based on.
  • the image data captured at the same time may be image data captured by synchronizing the plurality of cameras 51, or may be treated as being captured substantially at the same time without synchronizing the plurality of cameras 51.
  • Image data that can be used may be used.
  • synchronizing a plurality of cameras 51 more accurate SLAM processing becomes possible, and when not synchronizing, a cheaper camera 51 can be used.
  • the load of image processing in the image processing processor 63 can be reduced.
  • the degree of freedom in selecting the camera 51 is improved.
  • the load of image processing in the image processing processor 63 can be reduced.
  • the image processing processor 63 has a function of correcting distortion generated in the image data by the lenses of the cameras 51, 51, the accuracy of the SLAM processing can be further improved.
  • the lens of the camera 51 of the present embodiment is wide-angle, distortion occurs in image data, and by correcting this distortion, more accurate SLAM processing becomes possible.
  • each camera 51, 51 is capable of photographing a visible light wavelength region, by providing a lamp 53 for outputting light including the visible light wavelength region, it is suitable even when the travel region to be imaged is dark, etc. Image data of brightness can be obtained.
  • the lamp 53 is turned on when the brightness of the traveling area is less than a predetermined value, thereby suppressing the lighting of the lamp 53 at the unnecessary time, and power saving can be achieved.
  • the image processing processor 63 Since the image processing processor 63 has a function of adjusting the contrast of the image data, it is possible to improve the accuracy of the SLAM processing even when, for example, the captured image is dark.
  • the image processing processor 63 has a function of creating distance image data in which the depth of an object in the image data is calculated, so that an obstacle can be detected based on the distance image data, and SLAM processing and obstacle detection And can be operated in combination, enabling more stable travel control. Therefore, for example, a dedicated obstacle detection unit for detecting an obstacle of the sensor unit 23 can be reduced, and a smaller and cheaper electric vacuum cleaner 11 can be provided. Alternatively, when used in combination with a dedicated obstacle detection means, the accuracy of obstacle detection can be further improved.
  • the image processor 63 estimates its own position based on the data within the predetermined distance range in the distance image data, and creates a map of the traveling area based on the data within the predetermined distance range in the distance image data. Higher precision processing becomes possible.
  • the image processing processor 63 may be configured not to include depth calculation means for creating distance image data in which the depth of an object in the image data is calculated. That is, the depth calculation means is not an essential component.
  • the image processing means 63 integrally has the functions of the image input means, the image processing means, the self position estimation means, the map creation means, and the depth calculation means, these functions are separate processing It may be configured by a unit, or a processing unit integrally having any of a plurality of these functions may be configured.
  • the camera 51 is configured to capture a moving image at a predetermined frame rate, it may be configured to capture only a still image at a required timing.
  • Image data is taken in from at least two of a plurality of cameras, image processing is performed, and self position is estimated based on the image data subjected to image processing, and traveling based on the image data subjected to image processing
  • a control method of a vacuum cleaner characterized by creating a map of a run area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

小型化、および、高精度な走行制御が可能な電気掃除機(11)を提供する。電気掃除機(11)は、走行可能な本体ケースと、本体ケースを走行制御する走行・センサ系ＣＰＵ(61)と、本体ケースに搭載された複数のカメラ(51)と、画像入力手段、画像処理手段、自己位置推定手段、地図作成手段の機能を有する画像処理プロセッサ(63)とを有する。画像処理プロセッサ(63)は、複数のカメラ(51)のうち、少なくとも２つから画像データを取り込む。画像処理プロセッサ(63)は、取り込んだ画像データを画像処理する。画像処理プロセッサ(63)は、画像処理された画像データに基づき自己位置を推定する。画像処理プロセッサ(63)は、画像処理された画像データに基づき本体ケースが走行する走行領域の地図を作成する。

Description

電気掃除機
　本発明の実施形態は、自己位置を推定するとともに、本体が走行する走行領域の地図を作成する電気掃除機に関する。
　従来、被掃除面としての床面上を自律走行しながら床面を掃除する、いわゆる自律走行型の掃除ロボットが知られている。
　このような電気掃除機において、例えばＳＬＡＭ(simultaneous localization and mapping)技術を用いて、掃除したい部屋の大きさや形状、および障害物などを反映した地図を作成し、この地図に基づいて走行経路を設定する技術がある。
　ＳＬＡＭ技術の実現のために、レーザセンサやジャイロセンサを用いた電気掃除機が知られている。しかしながら、レーザセンサを用いる場合、レーザセンサの形状が大きく、電気掃除機の小型化が容易でなく、例えばベッドやソファの下部など、高さに障壁がある場所に侵入して掃除することができない場合があるとともに、レーザセンサが高価であることから、安価に製造できない。また、ジャイロセンサを用いる場合には、電気掃除機の移動量をジャイロセンサから演算する必要があり、この演算の誤差が大きく、精度を向上することが容易でない。
特開２０１１－２３３１４９号公報
　本発明が解決しようとする課題は、小型化、および、高精度な走行制御が可能な電気掃除機を提供することである。
　実施形態の電気掃除機は、走行可能な本体と、この本体を走行制御する走行制御手段と、本体に搭載された複数のカメラと、画像入力手段と、画像処理手段と、自己位置推定手段と、地図作成手段とを有する。画像入力手段は、複数のカメラのうち、少なくとも２つから画像データを取り込む。画像処理手段は、画像入力手段により取り込んだ画像データを画像処理する。自己位置推定手段は、画像処理手段により画像処理された画像データに基づき自己位置を推定する。地図作成手段は、画像処理手段により画像処理された画像データに基づき本体が走行する走行領域の地図を作成する。
一実施形態の電気掃除機の内部構造を示すブロック図である。 同上電気掃除機を示す斜視図である。 同上電気掃除機を下方から示す平面図である。 同上電気掃除機による物体の距離の計算方法を模式的に示す説明図である。 (a)は一方のカメラにより撮像した画像の一例を模式的に示す説明図、(b)は他方のカメラにより撮像した画像の一例を模式的に示す説明図、(c)は(a)および(b)の画像に基づく距離画像の一例を示す説明図である。 同上電気掃除機の地図作成手段により作成された地図の一例を示す説明図である。 同上電気掃除機の処理フローを示す説明図である。
実施形態
　以下、一実施形態の構成を、図面を参照して説明する。
　図１ないし図３において、11は自律走行体としての電気掃除機である。この電気掃除機11は、基地装置としての充電装置とともに自律走行体装置としての電気掃除装置である電気掃除システムを構成するものである。そして、電気掃除機11は、本実施形態において、被掃除部である走行面としての床面上を自律走行しつつ床面を掃除する、いわゆる自走式のロボットクリーナである。なお、自走式の電気掃除機11とは、完全に自律走行するもののみをいうのではなく、リモコンなどの外部装置により遠隔操作されることで自走するものも含むものとする。
　電気掃除機11は、本体である本体ケース20を備えている。また、電気掃除機11は、走行駆動部である駆動輪21を備えている。さらに、電気掃除機11は、床面の塵埃を掃除する掃除部22を備えている。また、電気掃除機11は、センサ部23を備えている。さらに、電気掃除機11は、撮像部24を備えている。また、電気掃除機11は、通信部25を備えていてもよい。また、電気掃除機11は、外部装置やユーザとの間で信号が入出力される入出力部26を備えていてもよい。さらに、電気掃除機11は、コントローラである制御手段としての制御部27を備えている。また、電気掃除機11は、画像を表示する表示部を備えていてもよい。そして、電気掃除機11は、電源部となる給電用の電池を備えていてもよい。なお、以下、図２に矢印FR，RRを示すように、本体ケース20の走行方向に沿った方向を前後方向とする。また、前後方向に対して直交する左右方向又は両側方向を幅方向として説明する。
　本体ケース20は、例えば合成樹脂などにより形成されている。この本体ケース20は、各種装置や部品を収納可能な形状に形成されている。本体ケース20は、例えば扁平な円柱状又は円盤状などに形成されていてもよい。また、本体ケース20には、集塵口である吸込口31などが床面に対向する下部などに設けられていてもよい。
　駆動輪21は、本体ケース20を床面上で前進方向および後退方向に自律走行させる、すなわち走行用のものである。本実施形態では、駆動輪21は、例えば本体ケース20の左右に一対設けられている。駆動輪21は、駆動手段としてのモータ33により駆動される。なお、駆動輪21に代えて、走行駆動部としての無限軌道などを用いることもできる。
　モータ33は、駆動輪21に対応して配置されている。したがって、本実施形態では、モータ33は、例えば左右一対設けられている。そして、モータ33は、各駆動輪21を独立して駆動させることが可能となっている。
　掃除部22は、例えば床面の塵埃を除去するものである。掃除部22は、例えば床面上の塵埃を吸込口31から集めて捕集したり、床面などを拭き掃除したりする機能を有している。掃除部22は、吸込口31から空気とともに塵埃を吸い込む電動送風機35と、吸込口31に回転可能に取り付けられて塵埃を掻き上げる回転清掃体としての回転ブラシ36および回転ブラシ36を回転駆動させるブラシモータと、本体ケース20の周縁部に回転可能に取り付けられて塵埃を掻き集める旋回清掃部としての補助掃除手段であるサイドブラシ38およびサイドブラシ38を駆動させるサイドブラシモータとの少なくともいずれかを備えていてもよい。また、掃除部22は、吸込口31と連通して塵埃を溜める集塵部40を備えていてもよい。
　センサ部23は、本体ケース20の走行をサポートする各種の情報をセンシングするものである。本実施形態のセンサ部23は、例えば床面の凹凸状態つまり段差や、電気掃除機11の走行の障害となる壁あるいは障害物、床面の塵埃量などをセンシングするものである。センサ部23は、例えば障害物検出手段としての赤外線センサあるいは超音波センサや、吸込口31から集塵部40に吸い込む塵埃量を検出する塵埃量センサなどを備えていてもよい。赤外線センサや超音波センサは、例えば本体ケース20の側部などと障害物となる物体との距離などを測定する距離測定手段としての距離測定部の機能を備えていてもよい。
　撮像部24は、撮像手段である撮像部本体としてのカメラ51を備えている。また、撮像部24は、照明手段である照明部としてのランプ53を備えていてもよい。また、ランプ53は、検出補助手段としての検出補助部である。
　カメラ51は、本体ケース20の走行方向である前方に向けられており、本体ケース20が載置される床面と平行な方向に対して、所定の水平画角、例えば１０５°などでデジタルの画像又は動画を撮像するデジタルカメラである。カメラ51は、レンズ、絞り、シャッタ、ＣＣＤなどの撮像素子、および、撮像制御回路などを備えている。また、カメラ51は、複数設けられている。例えば、本実施形態では、カメラ51は、左右一対、互いに離れて設けられている。また、カメラ51，51は、互いの撮像範囲又は視野が重なっている。そのため、カメラ51，51により撮像される画像は、撮像領域が左右方向にラップしている。なお、カメラ51により撮像される画像は、例えば可視光波長帯域のカラー画像や白黒画像でもよいし、赤外線画像でもよい。
　ランプ53は、カメラ51の撮像方向を照明することで撮像に必要となる明るさを得るものである。本実施形態のランプ53は、カメラ51により撮像可能な光の波長帯域に対応する波長帯域の光を出力するようになっている。また、本実施形態のランプ53は、カメラ51が可視光波長帯域の画像を撮像可能である場合、可視光波長帯域の光を出力し、カメラ51が赤外波長帯域の画像を撮像可能である場合、赤外波長領域の光を出力する。このランプ53は、各カメラ51に対応して設けられている。本実施形態において、ランプ53は、カメラ51，51間に配置されているが、カメラ51毎に配置されてもよい。ランプ53は、例えばＬＥＤなどが用いられる。ランプ53は、必須の構成ではない。
　通信部25は、中継手段としての中継ポイントであるホームゲートウェイおよびインターネットなどのネットワークを介して外部装置と無線通信をするための無線通信手段である無線通信部および掃除機信号受信手段である掃除機信号受信部としての無線ＬＡＮデバイスなどを備えている。なお、例えば通信部25にアクセスポイント機能を搭載し、ホームゲートウェイを介さずに外部装置と直接無線通信をするようにしてもよい。また、例えば通信部25にウェブサーバ機能を付加してもよい。
　入出力部26は、リモコンなどの外部装置から送信される制御コマンドや、本体ケース20に設けられたスイッチ、あるいはタッチパネルなどの入力手段から入力される制御コマンドを取得するとともに、例えば充電装置などに対して信号を送信するものである。
　制御部27は、例えば制御手段本体としての制御部本体であるＣＰＵやＲＯＭおよびＲＡＭなどを備えるマイコンが用いられる。制御部27は、掃除部22、センサ部23、撮像部24、通信部25、入出力部26などと電気的に接続されている。本実施形態の制御部27は、第１制御部としての走行・センサ系ＣＰＵ61を備えている。また、制御部27は、第２制御部としてのユーザインターフェース系ＣＰＵ62を備えている。ユーザインターフェース系ＣＰＵは、以下、ＵＩ系ＣＰＵ62という。さらに、制御部27は、第３制御部としての画像処理プロセッサ63を備えている。また、制御部27は、掃除制御手段である掃除制御部を備えている。さらに、制御部27は、記憶手段である記憶部としてのメモリを備えている。また、制御部27は、電池と電気的に接続されている。さらに、制御部27は、電池の充電を制御する充電制御部を備えていてもよい。
　走行・センサ系ＣＰＵ61は、モータ33と電気的に接続されている。また、走行・センサ系ＣＰＵ61は、センサ部23と電気的に接続されている。さらに、走行・センサ系ＣＰＵ61は、ＵＩ系ＣＰＵ62と電気的に接続されている。また、走行・センサ系ＣＰＵ61は、画像処理プロセッサ63と電気的に接続されている。走行・センサ系ＣＰＵ61は、例えばモータ33の駆動を制御することで駆動輪21の駆動を制御する、走行制御手段としての走行制御部の機能を有する。また、走行・センサ系ＣＰＵ61は、センサ部23による検出結果を取得する、センサ制御手段としてのセンサ制御部の機能を有する。そして、走行・センサ系ＣＰＵ61は、電気掃除機11が配置されて走行可能な領域である走行領域を示す地図データおよびセンサ部23の検出に基づいて走行経路を設定し、モータ33の駆動を制御することで、この走行経路に沿って本体ケース20を走行領域で自律走行させる走行モードを備えている。そして、走行・センサ系ＣＰＵ61により設定される走行経路は、地図データ中の障害物や段差などの走行不能な領域を除く走行可能、本実施形態では掃除可能な領域を最短の走行距離で走行できる経路、例えば本体ケース20が可能な限り直進する経路、方向転換が最も少ない経路、障害物となる物体への接触が少ない経路、あるいは、同じ箇所を重複して走行する回数が最小となる経路など、効率的に走行および掃除を行うことができるものとする。なお、本実施形態において、電気掃除機11が走行可能な領域は実質的に掃除部22による掃除対象となる領域であるから、走行領域は掃除対象領域と同一となっている。
　ＵＩ系ＣＰＵ62は、入出力部26により受信した信号を取得したり、入出力部26から出力される信号を生成したりするものである。ＵＩ系ＣＰＵ62は、入出力部26と電気的に接続されている。また、ＵＩ系ＣＰＵ62は、走行・センサ系ＣＰＵ61と電気的に接続されている。さらに、ＵＩ系ＣＰＵ62は、画像処理プロセッサ63と電気的に接続されている。
　画像処理プロセッサ63は、撮像部24の各カメラ51、および、ランプ53と電気的に接続されている。また、画像処理プロセッサ63は、通信部25と電気的に接続されている。さらに、画像処理プロセッサ63は、各ＣＰＵ61，62と電気的に接続されている。そして、画像処理プロセッサ63は、少なくとも２つのカメラ51，51により撮像された画像のデータを取り込み、各種処理をするものである。本実施形態の画像処理プロセッサ63は、少なくとも２つのカメラ51，51から画像データを取り込む画像入力手段としての画像入力部の機能を有する。また、画像処理プロセッサ63は、取り込んだ少なくとも２つの画像データを画像処理する画像処理手段としての画像処理部の機能を有する。さらに、画像処理プロセッサ63は、画像処理された画像データに基づき自己位置を推定する自己位置推定手段としての自己位置推定部の機能を有する。また、画像処理プロセッサ63は、画像処理されたこれら画像データに基づき本体ケース20が走行する走行領域の地図を作成する地図作成手段としての地図作成部の機能を有する。
　図４を参照して、カメラ51，51から周囲の物体までの距離を検出する技術の概要を説明する。まず、左右一対で設けられた２つのカメラ51，51のうち一方の撮像画像G1において、距離検出の対象となる物体Ｏで位置が一意に定まる角部などの特徴点SPを複数抽出する。撮像画像G1を撮影したカメラ51から焦点距離ｆだけ離れた位置に撮像座標平面を設定すると、三次元の座標空間では、カメラ51の中心と撮像座標平面上の各特徴点とを結んだ延長線上に物体Ｏの特徴点SPが存在するはずである。同様のことを２つのカメラ51，51のうち他方の撮像画像G2を用いて行えば、こちらの撮像座標平面上の各特徴点を結んだ延長線上にも物体Ｏの特徴点SPが存在するはずである。したがって、物体Ｏの特徴点SPの三次元座標空間における座標は、２つの撮像座標平面それぞれを通過する延長線上の交わる位置として一意に定めることができる。さらに、２つのカメラ51，51間の距離ｌに基づくことで、カメラ51，51から物体Ｏの各特徴点SPまでの実際の空間における距離を取得することができる。このような処理を撮像範囲全体で行うことで、カメラから周囲の物体までの距離情報を撮像画像に付加した距離画像又は視差画像を得ることができる。
　図５(a)に示す一方のカメラ51による撮像画像G1と、図５(b)に示す他方のカメラ51による撮像画像G2とに基づいて、図５(c)に距離画像GLを生成した例を示す。図５(c)に例示する距離画像GLでは、明度が高いほど、すなわち紙面では白いほどカメラ51からの距離が近いことを示している。例えばこの距離画像GLの下部は全幅に亘って白くなっており、また下部ほど白さが増して、カメラ51からの距離が近くなっていることから、電気掃除機11が置かれた床面であることが分かる。また、距離画像GL中、全体が同じくらいの白さで所定形状のものは１つの物体として検出することができ、図示する例では物体Ｏである。上述したように、カメラ51，51から物体Ｏまでの距離は取得されているので、距離画像GL中の幅、高さに基づき、物体Ｏの実際の幅、高さを知ることもできる。このような情報に加えてカメラ51，51の撮像方向や電気掃除機11の進行方向を考慮すれば、物体Ｏが電気掃除機11の走行の障害となる障害物か否かを判断することも可能となる。すなわち、この画像処理プロセッサ63は、画像データ中の物体の深度を算出した距離画像データを作成する深度算出手段としての深度算出部の機能を有していてもよい。
　本実施形態の画像処理プロセッサ63は、例えばカメラ51，51により本体ケース20の幅および高さに対応して設定された画像範囲などの所定の画像範囲中に撮像されている物体の距離を、予め設定された、あるいは可変設定された閾値である設定距離と比較し、設定距離以下の距離に位置する物体を障害物であると判定する機能を有していてもよい。したがって、画像処理プロセッサ63は、カメラ51，51により撮像された画像データに基づいて本体ケース20からの距離を算出した物体が障害物であるかどうかを判定する障害物判定手段としての障害物判定部の機能を有していてもよい。
　さらに、画像処理プロセッサ63は、検出された本体ケース20の周囲の形状、例えば障害物となる物体の距離および高さに基づき走行領域における電気掃除機11の自己位置を推定する。本実施形態の画像処理プロセッサ63は、カメラ51，51により撮像された画像データ中の物体の特徴点の三次元座標に基づき、走行領域における電気掃除機11の自己位置を推定する。したがって、画像処理プロセッサ63は、距離画像データ中の所定距離範囲内のデータに基づき自己位置を推定することができる。
　また、画像処理プロセッサ63は、カメラ51，51により撮像された画像データに基づいて検出した本体ケース20の周囲の形状、例えば障害物となる物体の距離および高さに基づき、走行可能な走行領域を示す地図データを作成するものである。本実施形態の画像処理プロセッサ63は、カメラ51，51により撮像された画像データ中の物体の特徴点の三次元座標に基づき、走行領域内に位置する物体である障害物などの位置関係および高さを記す地図を作成する。本実施形態の画像処理プロセッサ63は、物体である障害物の形状、位置関係および高さを反映した地図データを作成する。したがって、画像処理プロセッサ63は、距離画像データ中の所定距離範囲内のデータに基づき走行領域の地図を作成することができる。地図データは、例えば直交座標系などの所定の座標系上に作成される。本実施形態の地図データは、例えばこの座標系に基づき設定されるメッシュを基本単位として作成される。例えば、地図データＭには、図６に一例を示すように、走行領域を囲む例えば家具などの障害物や壁である外壁Ｗの形状だけでなく、電気掃除機11の走行軌跡TRと、現在位置Ｐとを反映することができる。そして、画像処理プロセッサ63により作成した地図データは、メモリに記憶することができる。なお、画像処理プロセッサ63は、すでに作成した地図データ中の障害物などの形状や配置と検出した周囲の形状や配置とが一致しない場合には、地図データを適宜補正することができる。
　また、画像処理プロセッサ63は、例えばカメラ51，51により撮像された生画像のデータに対して、カメラ51，51のレンズにより生じた歪みの補正、ノイズの除去、コントラスト調整、および画像中心の一致化などの一次画像処理をする画像補正手段としての画像補正部の機能を有していてもよい。画像処理プロセッサ63によるコントラスト調整は、例えばカメラ51自体に備えられたコントラスト調整機能とは別個に行うことができる。また、画像処理プロセッサ63で画像処理するフレームレートは、カメラ51，51から取り込む画像データのフレームレートに対して低く設定されていてもよい。さらに、画像処理プロセッサ63で処理する画像データは、カメラ51，51で撮像されて取り込んだ画像データよりも画素数が少なくてもよい。すなわち、画像処理プロセッサ63は、カメラ51，51で撮像された画像データの画素を間引いて画像を粗くする処理、又は、画像データをトリミングして必要な箇所のみ残すなどの処理をすることが可能である。
　掃除制御部は、掃除部22の動作を制御するものである。本実施形態において、掃除制御部は、電動送風機35、ブラシモータおよびサイドブラシモータの駆動を制御する、すなわち、電動送風機35、ブラシモータ、および、サイドブラシモータの通電量をそれぞれ別個に制御することで、電動送風機35、回転ブラシ36、および、サイドブラシ38の駆動を制御する。
　メモリは、例えばフラッシュメモリなどの不揮発性のものが用いられる。メモリには、画像処理プロセッサ63により作成された地図データとともに、地図データにおける走行済み領域又は掃除済み領域が記憶される。
　電池は、掃除部22、センサ部23、撮像部24、通信部25、入出力部26、および、制御部27などに給電するものである。電池としては、本実施形態において、例えば充電可能な二次電池が用いられる。このため、本実施形態では、例えば本体ケース20の底部に、電池を充電するための充電端子71が露出して配置されている。
　充電装置は、電気掃除機11が走行又は掃除を終了したときに帰還する基地部となっている。充電装置は、例えば定電流回路などの充電回路を内蔵していてもよい。また、充電装置には、電池の充電用の充電用端子が設けられている。充電用端子は、充電回路と電気的に接続されている。そして、充電用端子は、充電装置に帰還した電気掃除機11の充電端子71と機械的および電気的に接続されるようになっている。
　次に、上記一実施形態の動作を説明する。
　まず、電気掃除機11による掃除の開始から終了までの概略を説明する。電気掃除機11は、掃除を開始すると、メモリに記憶された地図データに基づいて走行しつつ床面を掃除し、地図データを随時更新していく。そして、掃除が終了すると、電気掃除機11は、例えば充電装置へと帰還した後、電池の充電作業に移行する。
　上記の制御をより具体的に説明すると、電気掃除機11は、例えば予め設定された掃除開始時刻となったときや、リモコン又は外部装置によって送信された掃除開始の制御コマンドを入出力部26によって受信したときなどのタイミングで、制御部27が走行モードに切り換わり、掃除を開始する。このとき、メモリに走行領域の地図データが記憶されていない場合には、所定の動作を行ってセンサ部23、カメラ51および画像処理プロセッサ63などによって本体ケース20の周囲の障害物などを検出することで画像処理プロセッサ63により地図データを作成することもできるし、外部から地図データを入力又は読み込むこともできる。
　画像処理プロセッサ63の処理としては、まず、少なくとも２つのカメラ51，51から画像データを取り込み、例えばレンズの歪み補正を行う。この場合、例えばカメラ51，51で撮像された画像データが暗い場合、画像処理プロセッサ63はコントラスト調整を行うとともに、画像データの画素数を間引いたり、自己位置推定および地図の作成、すなわちＳＬＡＭ処理に必要な画像範囲のみをトリミングしたりするなどの処理を行う。そして、画像処理プロセッサ63は、画像処理された各カメラ51，51に対応した２枚１組の画像データによりＳＬＡＭ処理を行い、自己位置推定と地図作成を実施する。このとき、各カメラ51からは、常に一定の例えば３０ｆｐｓなどのフレームレートで画像信号が出力されるが、画像処理プロセッサ63でＳＬＡＭ処理を行うためには、間引きしたフレームで充分であるため、例えば１０ｆｐｓすなわち３枚に１枚などの間引き処理を行う。ただし、各画像データは、電気掃除機11が走行しながらカメラ51，51により撮像していることから、左右のカメラ51，51により撮像するタイミングがずれると、それぞれの画像データにより撮像する位置が異なることから、このような左右のカメラ51，51による画像データの時間変化に対する誤差をなくすため、同時刻にキャプチャすることが好ましい。また、暗い走行領域の中でも適切な画像を得るため、画像処理プロセッサ63がランプ53を点灯させる。ランプ53による照明は、例えば可視光波長帯域の光であれば、走行領域や撮像された画像データが暗いときのみに点灯させればよい。
　次いで、地図データに基づき、走行・センサ系ＣＰＵ61が走行経路を作成する。
　そして、掃除モードにおいて、走行・センサ系ＣＰＵ61がモータ33の駆動を制御することで本体ケース20を設定した走行経路に沿って自律走行させつつ、掃除制御部が掃除部22を動作させて走行領域又は掃除対象領域の床面を掃除する。掃除部22では、例えば掃除制御部により駆動された電動送風機35、回転ブラシ36、あるいはサイドブラシ38により床面の塵埃を、吸込口31を介して集塵部40へと捕集する。また、電気掃除機11は、自律走行の際、センサ部23や画像処理プロセッサ63により地図に記されていない走行領域内の障害物などの物体を検出すると、その物体の三次元座標を取得して画像処理プロセッサ63が地図データに反映させ、メモリに記憶していく。なお、撮像した画像は、通信部からネットワークを介して、あるいは直接、表示機能を有する外部装置に送信して、この外部装置によりユーザが閲覧可能とすることもできる。
　これらの処理を、図７に示す説明図も参照しながら説明すると、画像処理プロセッサ63によるカメラ画像処理IPにおいて、まず、ステップS1で、２つのカメラ51，51からの画像データ、つまり撮像画像G1，G2を所定のフレームレートで取り込み、ステップS2でレンズ歪み補正などの画像処理を行った後、ステップS3で距離画像データとしての距離画像GLを作成するとともに、ステップS4で、距離画像データに基づいて、ＳＬＡＭ処理を行う。
　次いで、走行・センサ系ＣＰＵ61による走行アルゴリズムTAにおいて、ステップS5で、本体ケース20を走行経路に沿って走行させるようにモータ33を駆動させる走行コマンドを作成するとともに、ステップS6で例えば距離画像データに基づき障害物検出を行い、ステップS7でモータ33を駆動させて本体ケース20を走行させる。このとき、検出した障害物の位置、および、本体ケース20の走行軌跡TRは、画像処理プロセッサ63に送られ、地図に反映される。
　以上説明した一実施形態によれば、本体ケース20に搭載された複数のカメラ51のうち、少なくとも２つから同時刻に撮像した画像データを取り込んで画像処理し、画像処理された画像データに基づき自己位置を推定するとともに本体ケース20が走行する走行領域の地図を作成することで、小型のカメラ51を搭載するのみで自己位置の推定および地図の作成、すなわちＳＬＡＭ処理が実施できるため、電気掃除機11を小型化できる。このため、例えば、電気掃除機11をベッドやソファの下などの狭い隙間に入り込ませて掃除させることができる。
　また、カメラ51により撮像された画像を用いるので、例えば走行情報として駆動輪21の回転数やジャイロセンサなどから得られる自己位置情報などと比較して、高精度な走行制御が可能となる。
　しかも、カメラ51により撮像された画像は、例えば見守りなどのセキュリティ目的や、画像認識による人や物などの認識に応用することも可能である。
　画像処理プロセッサ63が、少なくとも２つのカメラ51，51により同時刻に撮像した画像データを取り込むことで、これらカメラ51により撮像された画像データの時間変化に対する誤差を低減できる。このため、電気掃除機11が走行や旋回をしながらカメラ51により撮像された画像であっても、その走行や旋回による画像の撮像位置や撮像方向のずれを生じにくくでき、これら画像のデータに基づくＳＬＡＭ処理の精度をより向上できる。
　なお、同時刻に撮像した画像データとは、複数のカメラ51を同期させて撮像した画像データでもよいし、複数のカメラ51を同期させず実質的に同時刻に撮像されたものとして扱うことができる画像データを用いてもよい。複数のカメラ51を同期させる場合には、より高精度ＳＬＡＭ処理が可能となり、同期させない場合には、より安価なカメラ51を用いることができる。
　画像処理プロセッサ63で画像処理するフレームレートを、少なくとも２つのカメラ51，51から取り込む画像データのフレームレートに対して低くすることで、画像処理プロセッサ63での画像処理の負荷を低減できる。
　しかも、出力される画像信号のフレームレートを画像処理プロセッサ63の処理速度に合わせたカメラ51を選択する必要がないので、カメラ51の選択の自由度が向上する。
　画像処理プロセッサ63で画像処理する画像データの画素数が、少なくとも２つのカメラ51，51から取り込む画像データの画素数より少ないことで、画像処理プロセッサ63での画像処理の負荷を低減できる。
　この結果、画像処理プロセッサ63として、より安価なものを用いることができる。
　画像処理プロセッサ63が、カメラ51，51のレンズにより画像データに生じた歪みを補正する機能を有することで、ＳＬＡＭ処理の精度をより向上できる。特に、本実施形態のカメラ51のレンズは広角であるため、画像データに歪みが生じるので、この歪みを補正することで、より高精度なＳＬＡＭ処理が可能になる。
　また、各カメラ51，51が、可視光波長領域を撮影可能である場合、可視光波長領域を含む光を出力するランプ53を備えることで、撮像される走行領域が暗い場合などでも、適切な明るさの画像データを得ることができる。
　このとき、ランプ53は、走行領域の明るさが所定以下の場合に点灯することで、不要時のランプ53の点灯を抑制し、省電力化を図ることができる。
　一方、各カメラ51，51が、赤外線領域を撮影可能である場合、赤外線領域を含む光を出力するランプ53を備えることで、適切な画像データを得ることができる。
　画像処理プロセッサ63が、画像データのコントラストを調整する機能を有することで、例えば撮像された画像が暗い場合などでも、ＳＬＡＭ処理の精度を向上できる。
　また、画像処理プロセッサ63が、画像データ中の物体の深度を算出した距離画像データを作成する機能を有することで、この距離画像データに基づいて障害物を検出可能となり、ＳＬＡＭ処理と障害物検出とを併用して動作させることができ、より安定した走行制御が可能になる。そのため、例えばセンサ部23の障害物を検出する専用の障害物検出手段を削減することもでき、より小型で安価な電気掃除機11を提供できる。あるいは、専用の障害物検出手段と併用する場合、障害物検出の精度をより向上できる。
　そして、画像処理プロセッサ63が、距離画像データ中の所定距離範囲内のデータに基づき自己位置を推定し、距離画像データ中の所定距離範囲内のデータに基づき走行領域の地図を作成することで、より高精度な処理が可能になる。
　なお、上記一実施形態において、画像処理プロセッサ63には、画像データ中の物体の深度を算出した距離画像データを作成する深度算出手段を備えない構成とすることもできる。すなわち、深度算出手段は、必須の構成ではない。
　また、画像入力手段、画像処理手段、自己位置推定手段、地図作成手段、深度算出手段のそれぞれの機能を画像処理プロセッサ63に一体的に有する構成としたが、これらの機能は、それぞれ別個の処理部により構成されていてもよいし、これらの機能のうち任意の複数の機能を一体的に有する処理部を構成することもできる。
　さらに、カメラ51は、所定のフレームレートで動画を撮像するものとしたが、必要なタイミングで静止画のみを撮像するものでもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　(1) 複数のカメラのうち、少なくとも２つから画像データを取り込んで画像処理し、画像処理された画像データに基づき自己位置を推定するとともに画像処理された前記画像データに基づき、走行するための走行領域の地図を作成することを特徴とした電気掃除機の制御方法。
　(2) 少なくとも２つの前記カメラにより同時刻に撮像した前記画像データを取り込むことを特徴とした(1)の電気掃除機の制御方法。
　(3) 画像処理するフレームレートは、少なくとも２つの前記カメラから取り込む画像データのフレームレートに対して低いことを特徴とした(1)記載の電気掃除機の制御方法。
　(4) 画像処理する画像データの画素数は、少なくとも２つの前記カメラから取り込む画像データの画素数より少ないことを特徴とした(1)記載の電気掃除機の制御方法。
　(5) 前記カメラに備えられたレンズにより画像データに生じた歪みを補正して画像処理することを特徴とした(1)記載の電気掃除機の制御方法。
　(6) 各前記カメラにより可視光波長領域を撮像する際に、可視光波長領域を含む光を出力することを特徴とした(1)記載の電気掃除機の制御方法。
　(7) 各前記カメラにより可視光波長領域を撮像する際に、前記走行領域の明るさが所定以下の場合、可視光波長領域を含む光を出力することを特徴とした(1)記載の電気掃除機の制御方法。
　(8) 前記カメラにより赤外線領域を撮像する際に、赤外線領域を含む光を出力することを特徴とした(1)電気掃除機の制御方法。
　(9) 取り込んだ前記画像データのコントラストを調整することを特徴とした(1)記載の電気掃除機の制御方法。
　(10) 前記画像データ中の物体の深度を算出した距離画像データを作成することを特徴とした(1)記載の電気掃除機の制御方法。
　(11) 前記距離画像データ中の所定距離範囲内のデータに基づき自己位置を推定し、前記距離画像データ中の所定距離範囲内のデータに基づき走行領域の地図を作成することを特徴とした(10)記載の電気掃除機の制御方法。

Claims (11)

  1. 　走行可能な本体と、
    　前記本体を走行制御する走行制御手段と、
    　前記本体に搭載された複数のカメラと、
    　前記カメラのうち、少なくとも２つから画像データを取り込む画像入力手段と、
    　前記画像入力手段により取り込んだ画像データを画像処理する画像処理手段と、
    　前記画像処理手段により画像処理された画像データに基づき自己位置を推定する自己位置推定手段と、
    　前記画像処理手段により画像処理された前記画像データに基づき前記本体が走行する走行領域の地図を作成する地図作成手段と
    　を具備したことを特徴とした電気掃除機。
  2. 　前記画像入力手段は、少なくとも２つの前記カメラにより同時刻に撮像した前記画像データを取り込む
    　ことを特徴とした請求項１記載の電気掃除機。
  3. 　前記画像処理手段で画像処理するフレームレートは、少なくとも２つの前記カメラから前記画像入力手段に取り込む前記画像データのフレームレートに対して低い
    　ことを特徴とした請求項１又は２記載の電気掃除機。
  4. 　前記画像処理手段で画像処理する前記画像データの画素数は、少なくとも２つの前記カメラから前記画像入力手段に取り込む前記画像データの画素数より少ない
    　ことを特徴とした請求項１ないし３いずれか一記載の電気掃除機。
  5. 　各前記カメラは、レンズを備え、
    　前記画像処理手段は、前記カメラの前記レンズにより前記画像データに生じた歪みを補正する機能を有する
    　ことを特徴とした請求項１ないし４いずれか一記載の電気掃除機。
  6. 　各前記カメラは、可視光波長領域を撮影可能であり、
    　可視光波長領域を含む光を出力する照明手段を備えた
    　ことを特徴とした請求項１ないし５いずれか一記載の電気掃除機。
  7. 　前記照明手段は、走行領域の明るさが所定以下の場合に点灯する
    　ことを特徴とした請求項１ないし６いずれか一記載の電気掃除機。
  8. 　前記カメラは、赤外線領域を撮影可能であり、
    　赤外線領域を含む光を出力する照明手段を備えた
    　ことを特徴とした請求項１ないし５いずれか一記載の電気掃除機。
  9. 　前記画像処理手段は、前記画像データのコントラストを調整する機能を有する
    　ことを特徴とした請求項１ないし８いずれか一記載の電気掃除機。
  10. 　前記画像データ中の物体の深度を算出した距離画像データを作成する深度算出手段を備えた
    　ことを特徴とした請求項１ないし９いずれか一記載の電気掃除機。
  11. 　前記自己位置推定手段は、前記距離画像データ中の所定距離範囲内のデータに基づき自己位置を推定し、
    　前記地図作成手段は、前記距離画像データ中の所定距離範囲内のデータに基づき走行領域の地図を作成する
    　ことを特徴とした請求項１０記載の電気掃除機。
PCT/JP2018/045284 2017-12-15 2018-12-10 電気掃除機 WO2019117078A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18888602.2A EP3725204A4 (en) 2017-12-15 2018-12-10 ELECTRIC CLEANER
CN201880076864.8A CN111405862B (zh) 2017-12-15 2018-12-10 电动吸尘器
US16/767,429 US20210026369A1 (en) 2017-12-15 2018-12-10 Vacuum cleaner

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017240934A JP7075201B2 (ja) 2017-12-15 2017-12-15 電気掃除機
JP2017-240934 2017-12-15

Publications (1)

Publication Number Publication Date
WO2019117078A1 true WO2019117078A1 (ja) 2019-06-20

Family

ID=66819292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045284 WO2019117078A1 (ja) 2017-12-15 2018-12-10 電気掃除機

Country Status (5)

Country Link
US (1) US20210026369A1 (ja)
EP (1) EP3725204A4 (ja)
JP (1) JP7075201B2 (ja)
CN (1) CN111405862B (ja)
WO (1) WO2019117078A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100398391C (zh) * 1996-12-20 2008-07-02 株式会社岛野 自行车的变速方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6831210B2 (ja) 2016-11-02 2021-02-17 東芝ライフスタイル株式会社 電気掃除機
KR20190106874A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 인공 지능을 통해 구속 상황을 인식하는 로봇 청소기 및 그의 동작 방법
WO2023101067A1 (ko) * 2021-12-03 2023-06-08 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090393A (ja) * 1998-09-16 2000-03-31 Sumitomo Electric Ind Ltd 車載型走行路環境認識装置
JP2011233149A (ja) 2010-04-26 2011-11-17 Lg Electronics Inc ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法
JP2016131367A (ja) * 2015-01-09 2016-07-21 株式会社リコー 移動体システム
JP2017502372A (ja) * 2013-12-19 2017-01-19 アクチエボラゲット エレクトロルックス ロボット掃除機の障害物の乗り上げの検出
JP2017027417A (ja) * 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP2017107425A (ja) * 2015-12-10 2017-06-15 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2017134617A (ja) * 2016-01-27 2017-08-03 株式会社リコー 位置推定装置、プログラム、位置推定方法
WO2017141536A1 (ja) * 2016-02-16 2017-08-24 東芝ライフスタイル株式会社 自律走行体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872812B2 (en) * 2009-11-12 2014-10-28 Marvell World Trade Ltd. Power saving in mobile devices by optimizing frame rate output
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
JP2016118899A (ja) * 2014-12-19 2016-06-30 キヤノン株式会社 放射線撮影装置及びその制御方法
US10176543B2 (en) * 2015-01-13 2019-01-08 Sony Corporation Image processing based on imaging condition to obtain color image
JP7058067B2 (ja) * 2016-02-16 2022-04-21 東芝ライフスタイル株式会社 自律走行体
JP6808358B2 (ja) * 2016-05-27 2021-01-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000090393A (ja) * 1998-09-16 2000-03-31 Sumitomo Electric Ind Ltd 車載型走行路環境認識装置
JP2011233149A (ja) 2010-04-26 2011-11-17 Lg Electronics Inc ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法
JP2017502372A (ja) * 2013-12-19 2017-01-19 アクチエボラゲット エレクトロルックス ロボット掃除機の障害物の乗り上げの検出
JP2016131367A (ja) * 2015-01-09 2016-07-21 株式会社リコー 移動体システム
JP2017027417A (ja) * 2015-07-23 2017-02-02 株式会社東芝 画像処理装置及び電気掃除器
JP2017107425A (ja) * 2015-12-10 2017-06-15 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP2017134617A (ja) * 2016-01-27 2017-08-03 株式会社リコー 位置推定装置、プログラム、位置推定方法
WO2017141536A1 (ja) * 2016-02-16 2017-08-24 東芝ライフスタイル株式会社 自律走行体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3725204A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100398391C (zh) * 1996-12-20 2008-07-02 株式会社岛野 自行车的变速方法

Also Published As

Publication number Publication date
CN111405862B (zh) 2022-11-29
US20210026369A1 (en) 2021-01-28
JP2019107083A (ja) 2019-07-04
JP7075201B2 (ja) 2022-05-25
CN111405862A (zh) 2020-07-10
EP3725204A4 (en) 2021-09-01
EP3725204A1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
WO2019117078A1 (ja) 電気掃除機
TWI653022B (zh) Autonomous mobile body
WO2018087952A1 (ja) 電気掃除機
JP7141220B2 (ja) 自走式電気掃除機
TWI664948B (zh) Electric sweeper
CN110325938B (zh) 电动吸尘器
KR101840158B1 (ko) 전기청소기
WO2018087951A1 (ja) 自律走行体
CN109938642B (zh) 电动吸尘器
CN110650667B (zh) 电动吸尘器
JP6944274B2 (ja) 電気掃除機
JP6912937B2 (ja) 電気掃除機
JP2019109854A (ja) 自律走行体
JP7023719B2 (ja) 自律走行体
JP7014586B2 (ja) 自律走行体
JP6969994B2 (ja) 電気掃除機
JP2019109853A (ja) 自律走行体および自律走行体システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18888602

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018888602

Country of ref document: EP

Effective date: 20200715