WO2014196272A1 - 電気掃除装置 - Google Patents

電気掃除装置 Download PDF

Info

Publication number
WO2014196272A1
WO2014196272A1 PCT/JP2014/060689 JP2014060689W WO2014196272A1 WO 2014196272 A1 WO2014196272 A1 WO 2014196272A1 JP 2014060689 W JP2014060689 W JP 2014060689W WO 2014196272 A1 WO2014196272 A1 WO 2014196272A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
image recognition
vacuum cleaner
foreign object
Prior art date
Application number
PCT/JP2014/060689
Other languages
English (en)
French (fr)
Inventor
佐古曜一郎
鈴木將洋
Original Assignee
Sako Yoichiro
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sako Yoichiro filed Critical Sako Yoichiro
Priority to JP2014547610A priority Critical patent/JP5771885B2/ja
Publication of WO2014196272A1 publication Critical patent/WO2014196272A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/32Handles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • A47L9/281Parameters or conditions being sensed the amount or condition of incoming dirt or dust
    • A47L9/2815Parameters or conditions being sensed the amount or condition of incoming dirt or dust using optical detectors
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2842Suction motors or blowers
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Definitions

  • This invention relates to a vacuum cleaner.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2003-164401 describes an electric vacuum cleaner in which a CCD camera is disposed in the vicinity of a suction port and a display unit for displaying a captured image of the CCD camera is provided in the vicinity of the handle. Yes.
  • the user can perform cleaning while looking at the captured image of the CCD camera displayed on the display screen of the display unit, and works while confirming the dust to be sucked in. be able to.
  • the electric vacuum cleaner described in Patent Document 1 has a function of detecting and recording (storing) an object presumed to be a noble metal by measuring the brightness of an image captured by a CCD camera. Yes. The user can confirm the precious metal that has been accidentally sucked in by performing a reproduction instruction operation after cleaning and reproducing the recorded image and gazing at the reproduced image.
  • Patent Document 2 Japanese Patent Laid-Open No. 2006-1418366
  • captured image data output from an imaging unit such as a CCD camera that captures an object sucked from a suction head is updated and recorded at regular intervals.
  • a vacuum cleaner that records captured image data when it is detected that an object of a certain size or larger is sucked.
  • the user needs to look at the captured image by sequentially searching the display screen being played, find out the captured image of the foreign object, and determine what the foreign object is.
  • the confirmation work is troublesome.
  • This invention aims to provide an electric vacuum cleaner that can improve the above problems.
  • the present invention provides: A suction part having a suction port for sucking a cleaning object; A suction drive unit for sucking the cleaning object from the suction port and taking it into a dust collection chamber; An imaging unit for imaging foreign objects other than the cleaning object and the cleaning object; Image recognition is performed on a captured image from the imaging unit during a cleaning operation, and at least an image recognition unit that recognizes the cleaning object and a foreign object other than the cleaning object separately, A display unit comprising a display screen; Display control means for displaying an image of a foreign object recognized by the image recognition unit on a display screen of the display unit; An electric cleaning device is provided.
  • the image recognition unit recognizes the cleaning object and foreign objects other than the cleaning object separately. Then, an image of the foreign matter recognized by the image recognition unit, for example, a thumbnail image of a captured image of the foreign matter is displayed on the display screen of the display unit.
  • the user can display the image automatically displayed on the display screen of the display unit without performing a reproduction operation of the captured image or without looking at the reproduced captured image.
  • a foreign object recognized by the vacuum cleaner can be confirmed by just looking.
  • a drive control unit that supplies a control signal to the suction drive unit in accordance with the image recognition result in the image recognition unit during a cleaning operation.
  • a drive control signal such as whether to stop the suction drive unit or to continuously perform the suction operation is supplied. That is, even if it is a foreign object, a drive control signal corresponding to the recognized foreign object can be generated and the suction drive unit can be appropriately driven and controlled.
  • the display control means displays an image of the foreign matter on the display screen when the image recognition unit recognizes the foreign matter during a cleaning operation. It is preferable to further comprise means for notifying an alarm in conjunction with the display of the foreign object image.
  • an alarm is notified in synchronization with the image of the recognized foreign object being displayed on the display screen.
  • the user knows that the vacuum cleaner has recognized the foreign object by the alarm, and can recognize what the foreign object is by looking at the display image on the display screen. For this reason, the user can appropriately determine whether the cleaning can be continued or should be stopped, and can respond quickly.
  • the imaging unit comprising a first imaging unit disposed in the vicinity of the suction port
  • the foreign matter corresponding to the image displayed on the display screen may be configured to be sucked from the suction port.
  • the user can confirm the foreign matter sucked from the suction port and existing in the dust collecting chamber without performing the regenerating operation, only by looking at the image displayed on the display screen.
  • the image of the foreign matter displayed on the display screen is preferably accompanied by an additional display indicating whether the foreign matter is sucked from the suction port or not sucked from the suction port.
  • the foreign matter that has not been sucked in because it is large from the suction port, and the foreign matter that is sucked from the suction port and present in the dust collection chamber can be seen by simply viewing the additional display of the image displayed on the display screen. You can confirm it.
  • the image is automatically displayed on the display screen of the display unit without performing a reproduction operation of the captured image or without looking at the reproduced captured image.
  • the foreign object recognized by the vacuum cleaner can be confirmed simply by looking at the image.
  • FIG. 1 is a diagram for explaining an example of the overall configuration of the electric vacuum cleaner 1 according to the first embodiment.
  • the vacuum cleaner 1 of this embodiment includes a vacuum cleaner body 10, a suction hose 11, a handle 12, a joint pipe 13, a suction part 14, an operation part 15, a display part 16, a control circuit part 20, Consists of.
  • the cleaner body 10 includes a dust collection chamber 101 and a suction drive unit 102, and the suction drive unit 102 drives the suction drive unit 102 to suck and collect foreign objects other than the cleaning target such as dust and dust from the suction unit 14. It has a function of collecting in the dust chamber 101.
  • the cleaner body 10 includes a roller 103 that can move autonomously when the user performs cleaning.
  • the dust collection chamber 101 of the cleaner body 10 is connected to the suction hose 11.
  • the handle 12 is couple
  • the handle 12 is provided with an operation unit 15, a display unit 16, and a control circuit unit 20.
  • the user performs cleaning with the handle 12.
  • the operation unit 15 includes a plurality of key buttons.
  • the display unit 16 includes, for example, an LCD (Liquid Crystal Display) and includes a display screen 16D that can display an image.
  • the operation part 15 contains the touchscreen arrange
  • the control circuit unit 20 is electrically connected to the operation unit 15 and the display unit 16 and is also electrically connected to the suction drive unit 102 of the cleaner body 10.
  • the suction part 14 has a suction port 141 having an area (cross-sectional area) of a predetermined size.
  • the suction port 141 is provided so as to have an opening on the surface side of the housing 142 of the suction portion 14 that faces the cleaning surface such as the floor surface.
  • the electric vacuum cleaner 1 of this embodiment is provided with a plurality of camera units. That is, the housing 142 of the suction portion 14 is a surface facing a cleaning surface such as a floor surface, and two cameras 171 and 172 are provided in the vicinity of the suction port 141.
  • the suction unit 14 is moved in the front-rear direction as viewed from the user.
  • the camera 171 is provided at a position in the front direction of the suction port 141 in the moving direction of the suction unit 14.
  • 172 is provided at a rearward position of the suction port 141.
  • Cameras 171 and 172 photograph a cleaning object on a cleaning surface such as a floor and foreign objects other than the cleaning object.
  • illumination including, for example, an LED (Light Emitting Diode) is provided to illuminate the photographing position brightly.
  • the suction unit 14 is provided with a camera 173 other than the surface facing the cleaning surface such as the floor surface.
  • the camera 173 is a surface of the housing 142 of the suction portion 14 that intersects with a surface facing the cleaning surface such as the floor surface during the cleaning operation, and is forward of the front-rear movement direction during the cleaning operation. It is attached to the side surface.
  • the camera can be photographed so that a cleaning object sucked and collected in the dust collection chamber 101 and foreign objects other than the cleaning object can be photographed. 174 is attached.
  • the four cameras 171 to 174 include, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and an imaging lens, and are electrically connected to the control circuit unit 20. It is connected.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • control circuit unit 20 performs image recognition on the captured images from the four cameras 171 to 174 during the cleaning operation, and at least removes the cleaning object and foreign objects other than the cleaning object.
  • An image recognition unit that recognizes separately is provided.
  • the control circuit unit 20 has a function of notifying the user of the fact and what the foreign object is.
  • the control circuit unit 20 has a function of forcibly stopping the cleaning operation according to the recognized foreign matter.
  • FIG. 2 is a block diagram illustrating an internal configuration example of the control circuit unit 20 and a connection relationship between each unit electrically connected to the control circuit unit 20.
  • the control circuit unit 20 sends a drive control unit 202, a display control unit 203, an operation unit interface 204, camera interfaces 205, 206, and the like to the control unit 201 formed of a microcomputer via a system bus 200.
  • a captured image memory 209, an image recognition unit 210, an image registration memory 211, an external interface 212, a display image generation unit 213, and an alarm driving unit 214 are connected to each other.
  • the suction controller 102 disposed in the cleaner body 10 is electrically connected to the drive controller 202.
  • the control circuit unit 201 supplies a drive start control signal to the suction drive unit 102 in response to a cleaning start operation through the operation unit 15 by the user, and supplies a drive stop control signal in response to the cleaning stop operation.
  • the display control unit 203 includes a video RAM (Random Access Memory), and has a display controller function for displaying an image on the display screen 16D of the display unit 16.
  • a video RAM Random Access Memory
  • the operation unit 15 is connected to the operation unit interface 204. As described above, in this embodiment, the operation unit 15 includes the above-described plurality of key buttons and also includes a touch panel provided to overlap the display screen 16D. In addition to the interface function for the buttons, a touch panel interface function for detecting a touch operation position on the display screen 16D is also included.
  • the cameras 171, 172, 173, and 174 are connected to the camera interfaces 205, 206, 207, and 208, respectively.
  • illumination units 171L, 172L, 173L, and 174L made of LEDs, for example, are added to the cameras 171, 172, 173, and 174, respectively.
  • the control circuit unit 20 supplies camera control signals to the cameras 171, 172, 173, and 174 through the camera interfaces 205, 206, 207, and 208, respectively, and captures images of the cameras 171, 172, 173, and 174, respectively. Controls start and stop of imaging. Each of the cameras 171, 172, 173, and 174 receives imaging start control, and supplies the captured image to the system bus 200 through each of the camera interfaces 205, 206, 207, and 208 in the imaging operation state.
  • the lighting units 171L, 172L, 173L, and 174L are controlled to be turned on by the control unit 201.
  • the control unit 201 of the control circuit unit 20 measures the brightness of the captured images (such as the average value of the brightness of the captured images) from the cameras 171, 172, 173, and 174 by software processing, and captures the captured images.
  • the control circuit unit 20 is controlled to light up through the camera interfaces 205, 206, 207, and 208 when the brightness of the light is below a predetermined value.
  • the control unit 201 may control so that the illumination units 171L, 172L, 173L, and 174L are always turned on when the cameras 171, 172, 173, and 174 are in the imaging operation state.
  • the captured image memory 209 temporarily stores captured image information transmitted from each of the cameras 171, 172, 173, and 174 through the camera interfaces 205, 206, 207, and 208, and temporarily stores the captured image information.
  • the image is supplied to the image recognition unit 210 for image recognition. Further, as described later, the captured image memory 209 stores and holds captured image information based on the image recognition result when the image recognition unit 210 recognizes a foreign object other than the cleaning target.
  • control circuit unit 20 stores the captured image information by separately storing the memory area of the captured image memory 209 for each of the cameras 171, 172, 173, and 174.
  • the captured image information is stored in association with the respective identification information, and the captured images from the cameras 171, 172, 173, and 174 are stored in a state where they can be identified separately.
  • the captured image information temporarily stored in the captured image memory 209 is used for image recognition processing by the image recognition unit 210, and a frame obtained by adding a margin to the number of frames for the processing time from which an image recognition result is obtained. A few minutes.
  • the captured image information whose foreign matter is not recognized by the image recognition unit 210 is discarded and replaced with new captured image information.
  • the image recognition unit 210 recognizes a foreign object
  • the captured image information in which the foreign object is recognized is transferred from the captured image memory 209 to the display image generation unit 213 based on the image recognition result of the image recognition unit 210.
  • the display image generation unit 213 holds the display image. At this time, captured image information in which a foreign object is recognized is held in the display image generation unit 213 in association with foreign object identification information (foreign object ID) described later included in the image recognition result from the image recognition unit 210.
  • the captured image stored and held in the captured image memory 209 can be appropriately recorded on a storage medium such as a USB memory or an SD card (SD memory card) through the external interface 212 as appropriate.
  • the image registration memory 211 stores image information of an object to be recognized as a foreign object other than the object to be cleaned in advance by a method described later.
  • the image recognition unit 210 recognizes and detects a foreign object other than the cleaning object from the captured image information from each of the cameras 171, 172, 173, and 174. For the captured image information from each of 172 and 173, pattern matching is performed in comparison with the image stored in the image registration memory 211, and a match between the two or a similarity at a predetermined similarity level or higher is detected. Thus, foreign objects other than the object to be cleaned are recognized.
  • the captured image information from the camera 174 may also be recognized by comparison by pattern matching with the registered captured image.
  • the camera 174 includes the suction hose 11, the cleaner body 10, and the dust collection chamber. Since it is a captured image at a joint with 101, image recognition may be difficult. Therefore, in this embodiment, for the captured image information from the camera 174, the image recognition unit 210 determines the size of the cleaning object and the foreign objects other than the cleaning object that are sucked into the dust collection chamber 101 through the suction hose 11. It is determined whether or not the size is larger than a preset size, and it is determined whether or not the intensity of the reflected light when the light is applied like a precious metal is greater than or equal to a predetermined value. It is made to recognize whether it is a foreign substance other than the cleaning object.
  • the image registration memory 211 In the image registration memory 211, captured image information of an object assumed as a foreign object other than the object to be cleaned is registered and stored in advance before shipment from the manufacturer of the electric vacuum cleaner 1.
  • the image registration memory 211 stores a plurality of pieces of image information taken by the cameras 171, 172, and 173 as registered image information for one foreign object. For each piece of image information captured by each of the cameras 171, 172, and 173, image information from a plurality of imaging directions such as from the front, from the back, from the left side, from the right side, and the like is stored in the image registration memory 211. Is remembered.
  • the registered image information of these foreign matters is stored in the image registration memory 211 in association with identification information (hereinafter referred to as foreign matter ID) given to each foreign matter.
  • foreign matter ID identification information
  • the text registration information for displaying the name of the foreign object together with the image of the foreign object on the display screen 16D is stored in the image registration memory 211 in association with the foreign object ID.
  • suction drive stop or “suction drive continuation” (No control required) "is stored in association with the foreign object ID of the registered foreign object.
  • suction turbo drive strong suction drive
  • weak suction drive and “weakest suction drive” may be set as the mode of suction drive control.
  • suction drive weak or “suction drive weakest” is set, and then the user recognizes the foreign object recognized by looking at the image on the display screen 16D.
  • suction turbo drive or “strong suction drive” while the recognized foreign matter cannot be sucked by looking at the image on the display screen 16D.
  • the suction drive can be controlled to stop.
  • the registration memory 211 can be stored.
  • the electric vacuum cleaner 1 of this embodiment has a function of registering a captured image of a foreign object other than the object to be cleaned by the user.
  • the registration procedure of the registered image of the foreign object is displayed on the display screen 16D of the display unit 16 by a message or animation.
  • the user can perform registration processing of a foreign object registration image while watching the registration procedure message and animation on the display screen 16D.
  • a screen that prompts the camera 171, 172, and 173 to pick up a foreign object to be registered as a subject is displayed.
  • the camera 171, 172, and 173 are each instructed about the positional relationship between the camera and the subject and prompted to take an image with each camera.
  • the user takes an image with the cameras 171, 172, 173 in accordance with the registration procedure displayed on the display screen 16D they are stored in the image registration memory 211 in association with the assigned foreign object ID.
  • an instruction for prompting the user to input the name of the foreign object is displayed.
  • the input text character information is registered. It is stored in the image registration memory 211 in association with the foreign object ID of the foreign object.
  • an instruction prompting the user to make a setting input for the suction drive control for the suction drive unit 102 of the vacuum cleaner 1 when the registered foreign object is recognized is displayed on the display screen 16D.
  • the suction drive control mode is stored in the image registration memory 211 in association with the registered image of the foreign matter.
  • the registration process of the image of the foreign object is not limited to the method of imaging the foreign object using the cameras 171 to 173 included in the electric vacuum cleaner 1 as described above, but also, for example, a USB memory or an SD card through the external interface 212. It is also possible to register through the storage medium. In that case, a storage medium such as a USB memory or an SD card stores the registered image, the name of the foreign object, and the suction drive control mode that are captured in the same manner as the images captured by the cameras 171 to 173. Information is transferred to and stored in the image registration memory 211.
  • captured image information of various foreign substances, names of the foreign substances, and suction drive control modes thereof can be prepared on a website on the Internet operated by the manufacturer of the vacuum cleaner 1.
  • the user accesses the website using, for example, a personal computer, obtains information on the foreign object that the user wants to register, stores the information in a USB memory or an SD card, and registers an image through the external interface 212.
  • the image of the foreign object can be registered by transferring it to the memory 211.
  • the vacuum cleaner 1 has a network connection function, the Web site can be directly accessed without a personal computer.
  • FIG. 3 shows an example of the foreign matter stored in the image registration memory 211.
  • the image registration memory 211 has a foreign object name, registered images V01, V02, V03,..., Thumbnail images SM01, SM02, SM03,. Is stored in association with foreign substance identification information (foreign substance ID) assigned to each foreign object.
  • the mode of suction drive control for the suction drive unit 102 is “stop suction drive” or “continue suction drive (control unnecessary)”.
  • each of the registered images V01, V02, V03,... Includes image information of a plurality of captured images, and is held as one set in association with the foreign object ID.
  • Thumbnail images SM01, SM02, SM03,... are used to display an image on the display screen 16D indicating what the recognized foreign object is when the image recognition unit 210 recognizes the foreign object.
  • the picked-up images 171 to 173 the picked-up image is a reduced image that can be easily recognized by the user as representing the foreign matter.
  • the thumbnail image is not registered in the image registration memory 211 in advance.
  • the display image generation unit 213 recognizes the thumbnail image based on the recognition result.
  • a captured image registered for a foreign object may be acquired from the image registration memory 211 and generated.
  • the aspect of suction drive control when each foreign object is recognized is from the viewpoint of avoiding failure or damage of the vacuum cleaner 1, ensuring the cleanliness of the sucked foreign object or avoiding damage. From both viewpoints, “(suction operation) stop” and “(suction drive control) unnecessary” are stored.
  • the suction drive control mode is “(suction operation) because the joint pipe 13 or the suction hose 11 may be damaged in the middle of the suction hose 11 or the suction hose 11. ) Stopped ".
  • teethpick, needle the same applies to “toothpick, needle” and the like.
  • suction drive control mode setting may be configured to be changeable by the user.
  • the image recognizing unit 210 includes a plurality of registered images of foreign substances stored and held in the image registration memory 211 as described above, and the cameras 171, 172, and 173 received through the captured image memory 209. Image recognition is performed by comparing the picked-up images picked up by the pattern matching processing. Then, the image recognizing unit 210 indicates that the degree of similarity is equal to or higher than a predetermined similarity level with the captured images from the cameras 171, 172, and 173 even in one of the plurality of registered images for one foreign object.
  • the foreign object ID of the registered image is output to the display image generation unit 213 as an image recognition result.
  • the captured image of the camera that has recognized the foreign object in the image recognition unit 210 is supplied from the captured image memory 209 to the display image generation unit 213 and held in association with the foreign object ID of the image recognition result.
  • the image recognition unit 210 determines that a foreign object has been recognized, the image recognition unit 210 further detects which of the cameras 171, 172, and 173 determines that the foreign object has been recognized. That is, the image recognizing unit 210 determines the image-recognized foreign object and which of the cameras 171, 172, and 173 has recognized the foreign object. Then, based on which camera the captured image that recognized the foreign object is, the image recognition unit 210 determines whether the recognized foreign object is sucked into the dust collecting chamber 101 of the cleaner body 10 or not. It is determined whether it exists outside the vacuum cleaner 1.
  • the image recognizing unit 210 determines that a foreign object has been recognized in the captured image from the camera 171 or 172 disposed in the vicinity of the suction port 141, the determined foreign object is sucked into the dust collection chamber 101. It is recognized that there is a high possibility.
  • the image recognition unit 210 further refers to the image recognition result for the captured image of the camera 174, determines whether or not a foreign object is detected for the captured image of the camera 174, and is recognized. It is determined whether or not foreign matter has actually been sucked into the dust collection chamber 101.
  • the determined foreign object does not refer to the recognition result of the camera 174, and the dust collection chamber Although it may be determined that the air has been sucked into 101, by referring to the recognition result of the captured image from the camera 174, whether the air is sucked into the dust collection chamber 101 can be determined with higher accuracy.
  • the image recognition unit 210 determines that a foreign object has been recognized for a captured image from the camera 173 that captures an image in front of the suction unit 14, the image recognition unit 210 further always refers to the image recognition result for the captured image of the camera 174. Then, it is determined whether or not a foreign object has been detected, and it is determined whether or not the foreign object has been sucked into the dust collection chamber 101.
  • the image recognition unit 210 when the image recognition unit 210 recognizes a foreign object by image recognition, in addition to the foreign object ID of the foreign object recognized by the image recognition result, the image recognition unit 210 determines whether the position of the foreign object is inside or outside, that is, the dust collection chamber 101. It is determined whether it is sucked into (inside) or is not sucked in and exists outside the electric vacuum cleaner 1 (outside). Then, the image recognition unit 210 supplies the recognized foreign object ID added with the foreign object location information (inside or outside information) to the display image generation unit 213 as an image recognition result.
  • the captured image of the camera 173 at the timing is supplied from the captured image memory 209 to the display image generation unit 213. To do.
  • the display image generation unit 213 stores and holds the captured image of the camera 173 in association with the foreign object ID of the image recognition result sent from the image recognition unit 210 at this time.
  • the captured image from the camera 173 stored and held is a captured image in front of the suction unit 14 at the position where the foreign object is image-recognized, and a peripheral image for determining where the foreign object is image-recognized. Become. By viewing the peripheral image at the position where the foreign object imaged by the camera 173 is recognized, the user can roughly determine where the foreign object is recognized in the cleaned room.
  • the display image generation unit 213 generates display image information to be displayed on the display unit 16 through the display control unit 203.
  • the foreign substance recognized during the cleaning operation is used based on the information of the image recognition result sent from the image recognition unit 210.
  • An image to be notified to the person is generated.
  • a thumbnail image that is a reduced image of the captured image stored in the image registration memory 211 is used as the foreign object image recognized during the cleaning operation.
  • the display image generation unit 213 provides a foreign substance name field 222 in the display field of each thumbnail image 221.
  • the display image generation unit 213 receives the name of the foreign object from the image registration memory 211 based on the foreign object ID acquired from the image recognition unit 210 and displays the name of the foreign object in the foreign object name column 222.
  • the display image generation unit 213 provides a display field 223 for the location of a foreign object in the display field of each thumbnail image 221. Then, the display image generation unit 213 generates additional display information indicating whether the location of the foreign object is inside or outside from the location information sent from the image recognition unit 210 together with the foreign object ID. As shown in FIG. 4 (A), it is displayed in the display field 223.
  • the foreign matter displayed as “inside” in the display field 223 indicates that the foreign matter is present in the dust collection chamber 101 of the cleaner body 10, and the foreign matter displayed as “outside” It shows that it exists outside without being sucked.
  • the display image generation unit 213 performs the above operation every time the foreign object recognition result is received from the image recognition unit 210 during the cleaning operation, and the recognized foreign object is displayed on the display screen 16D as shown in FIG.
  • the thumbnail image 221 is additionally displayed. Accordingly, as shown in FIG. 4A, at the end of the cleaning operation, a list of foreign substances recognized during the cleaning operation is displayed on the display screen 16D as a list of thumbnail images.
  • the suction drive control mode is registered and stored in the image registration memory 211 for each foreign object, and the foreign matter suction drive control mode recognized by the image recognition unit 210 is “(suction operation) stop”.
  • the suction drive unit 102 is forcibly stopped. Therefore, in this embodiment, the display image generation unit 213 displays a thumbnail when the foreign matter suction drive control mode corresponding to the foreign matter ID of the image recognition result from the image recognition unit 210 is “(suction operation) stop”.
  • the display column 224 of the suction drive stop control is provided in the display column of the image 221, and the character “stop” indicating that the suction drive stop control is performed is displayed on the display column 224, and the user is forcibly stopped. The notification is made so that the foreign matter at the time can be understood.
  • the display image generation unit 213 controls the clicked thumbnail image based on the control of the control unit 201.
  • a captured image 241 obtained by recognizing the foreign object ID recognized by the image recognition unit 210 corresponding to the recognized foreign object ID and stored and held in correspondence with the recognized foreign object ID is displayed as shown in FIG.
  • the image is displayed in a half area of 16D.
  • the display image generation unit 213 stores the captured image (peripheral image) 242 of the camera 173 stored and held corresponding to the recognized foreign object ID, as shown in FIG. 4B, on the remaining display screen 16D. Display in the area.
  • FIG. 4B shows a case where the thumbnail image of the ring is clicked by the user, and the captured image 241 is a captured image of the ring captured by either the camera 171 or 172. Moreover, the captured image 242 is a peripheral image in front of the position where the electric vacuum cleaner 1 sucked the ring, and in the example of FIG. 4B, a state in which a gap between two pieces of furniture is photographed is shown. .
  • the user can accurately know the image-recognized foreign matter, and the captured image 242 indicates where the foreign matter was being cleaned when the image was recognized. I can know.
  • the alarm generating unit 215 is connected to the alarm driving unit 214.
  • the alarm driving unit 214 controls the alarm generation unit 215 based on the image recognition result to generate an alarm and confirm that the user has recognized the foreign object. Let them know.
  • a foreign object is recognized by the image recognition unit 210
  • a thumbnail image of the recognized foreign object is displayed on the display screen 16D based on the image recognition result.
  • an alarm is generated from the alarm generation unit 215.
  • the user knows the recognition of the foreign matter in the image recognition unit 210 by the occurrence of the alarm, and knows what the recognized foreign matter is by looking at the thumbnail image displayed on the display screen 16D.
  • the alarm generation unit 215 includes a buzzer sound generation unit in this example.
  • the alarm generation unit 215 is not limited to a buzzer sound generation unit, and may be a vibration generation unit such as a vibrator, or may be a speaker that emits alarm sound or alarm music. Further, alarm sound and vibration may be combined.
  • the alarm generation unit 215 flushes the thumbnail image of the recognized foreign object displayed on the display screen 16D.
  • the user can easily recognize what the foreign objects are recognized at the timing. It is configured as follows.
  • the image recognition unit 210, the display image generation unit 213, and the alarm driving unit 214 are realized by the microcomputer constituting the control unit 201 as the software functions. You can also
  • FIG. 5 is a flowchart for explaining the flow of the processing operation in the control circuit unit 20 of the electric vacuum cleaner 1 of the first embodiment.
  • the control unit 201 realizes the functions of the image recognition unit 210, the display image generation unit 213, and the alarm driving unit 214 as software functions.
  • the control unit 201 monitors the user's operation input through the operation unit 15 through the operation unit interface 204 and waits for the suction drive start button to be pressed (step S101).
  • the control unit 201 supplies a suction drive start control signal to the suction drive unit 102 through the drive control unit 202 to start suction drive and the camera.
  • a camera shooting start control signal is supplied to each of 171 to 174 to start camera shooting (step S102).
  • control unit 201 performs the image recognition process as described above on the captured image information from the cameras 171 to 174 (step S103), and determines whether or not a foreign object has been recognized (step S104). If it is determined in step S104 that no foreign matter has been recognized, the control unit 201 monitors the user's operation input through the operation unit 15 through the operation unit interface 204, and whether or not the suction drive stop button has been pressed. (Step S105).
  • step S105 If it is determined in step S105 that the suction drive stop button has not been pressed, the control unit 201 returns the process to step S103, and repeats the processes after step S103.
  • the control unit 201 supplies a suction drive stop control signal to the suction drive unit 102 through the drive control unit 202 to stop the suction drive.
  • a camera shooting stop control signal is supplied to each of the cameras 171 to 174 to end the camera shooting (step S106).
  • the control part 201 returns a process to step S101, and repeats the process after this step S101.
  • step S104 When it is determined in step S104 that the foreign object has been recognized, the control unit 201 sounds an alarm by the alarm generation unit 215 and displays a thumbnail image of the recognized foreign object on the display screen 16D. At this time, as described above, the control unit 201 determines whether the foreign matter is in the dust collection chamber 101 or outside without being sucked, and the determination result is as shown in FIG. The thumbnail image is additionally displayed (step S107).
  • control unit 201 refers to the stored contents of the image registration memory 211, acquires information on the suction drive control mode stored corresponding to the foreign matter ID of the recognized foreign matter, and forcibly stops the suction operation. It is determined whether or not it is necessary (step S108).
  • step S108 When it is determined in step S108 that the forced stop of the suction operation is not necessary, the control unit 201 continues the suction operation of the suction drive unit 102 (step S109), returns the process to step S105, and the steps after step S105 Repeat the process.
  • the vacuum cleaner 1 is controlled so as to continue the suction operation, but the user sees the occurrence of the alarm in step S107 and the thumbnail image on the display screen 16D as necessary. Then, the drive stop button can be pressed. Then, the control unit 201 determines that the drive stop button is pressed in step S105, and stops the suction drive.
  • step S108 when it is determined in step S108 that the suction operation must be forcibly stopped, the control unit 201 supplies a control signal for stopping the suction operation of the suction drive unit 102 to the suction drive unit 102 to perform the suction operation. Stop forcibly. Then, in the forced suction operation stop state, a lock state is set so that an operation such as restart of the suction operation through the operation unit 15 cannot be performed (step S110).
  • This locked state is released when the user inputs an unlocking operation through the operation unit 15 after removing the foreign matter in the vicinity of the suction port 141 or opening the dust collecting chamber 101 to remove the foreign matter. .
  • step S111 the control unit 201 determines whether or not the lock has been released. When it is determined that the lock has not been released, the control unit 201 ignores an operation input such as a restart. Is performed (step S112). After step S112, the control unit 201 returns the process to step S111, and repeats the processes after step S111.
  • step S111 If it is determined in step S111 that the lock has been released, the control unit 201 returns the process to step S101 and repeats the processes after step S101.
  • the locked state is set to be insensitive to the normal start button operation. I was allowed to. However, depending on the recognized foreign matter, there is no need to remove the foreign matter near the suction port 141 or to open the dust collecting chamber 101 to remove the foreign matter.
  • the user can recognize the foreign matter recognized by the electric vacuum cleaner 1 on the display screen 16D. Considering the above, it is possible to allow the user confirmed on the display screen 16D to restart the suction drive without performing the unlocking operation as described above on the operation unit 15 of the vacuum cleaner 1.
  • a one-time cleaning continuation button may be provided.
  • the electric vacuum cleaner 1 of the first embodiment described above detects foreign objects other than the assumed cleaning object by image recognition during the cleaning operation, and displays a thumbnail image of the detected foreign objects. While displaying on the screen 16D, the detection of a foreign object is notified by an alarm. Therefore, the user can immediately know what the foreign material is by knowing the detection of the foreign material by the alarm and viewing the thumbnail image on the display screen 16D. In this case, the user does not need any reproduction operation as in the case of the prior document described at the beginning, which is very convenient.
  • the user can judge whether it is better to stop the suction operation after confirming the foreign matter detected in the thumbnail image, which is convenient.
  • thumbnail image of the recognized foreign matter has an additional display indicating whether the foreign matter is sucked into the dust collection chamber 101 or is outside without being sucked. Can easily know the location of foreign matter.
  • the vacuum cleaner 1 of this embodiment can also recognize the foreign material in the place which the vacuum cleaner 1 is not made into the cleaning object, or the place where cleaning is impossible from the recognition result of the captured image of the camera 173. Therefore, the electric vacuum cleaner 1 of this embodiment recognizes what the user thinks has been lost as a foreign object regardless of whether it is on the floor surface to be cleaned, etc. It can be informed along with its location, which is very convenient. Needless to say, the furniture is brightly illuminated by the illumination unit attached to the camera and captured by the camera, such as in a gap in the furniture or under the bed.
  • a string-like object such as an electric outlet cord or an AC adapter cable, or a small size such as a shopping bag, a micro SD card, an SD card or a SIM card.
  • Media, screws, nails, etc. are registered in the image registration memory and defined so that the suction operation is controlled to stop. There is an effect that it is possible to recognize and reliably stop by the recognition.
  • the electric vacuum cleaner of the first embodiment described above when the cleaning operation is completed, a list of thumbnail images of foreign objects whose images have been recognized during the cleaning operation is displayed on the display screen. By looking at the list image, it is possible to easily know whether there is a foreign object that needs to be taken out from the dust collection chamber. In addition, when the thumbnail image is clicked, the image of the actually captured foreign object is enlarged and displayed on the display screen. Therefore, even if the thumbnail image is an unknown or uncertain foreign object, Can be surely confirmed.
  • the vacuum cleaner according to the second embodiment includes a self-propelled vacuum cleaner and a portable device including a display unit, for example, a mobile phone terminal.
  • the self-propelled vacuum cleaner and the mobile phone terminal are connected through a wireless communication path.
  • a wireless communication path a Bluetooth (registered trademark) standard short-range wireless communication path is used in the following example.
  • the wireless communication path is not limited to this, and a wireless LAN (Local Area Network) such as Wi-Fi (registered trademark) or other wireless communication means may be used.
  • FIG. 6 is a diagram for explaining a self-propelled electric vacuum cleaner 30 that constitutes the electric vacuum cleaner according to the second embodiment.
  • FIG. 6A is a diagram illustrating the self-propelled electric vacuum cleaner 30 of this example on the side of the bottom surface 30a including the suction port 31, and
  • FIG. 6B is a self-propelled electric vacuum cleaner of this example. It is the figure which looked at 30 from the advancing direction at the time of cleaning operation.
  • an arrow AR indicates the traveling direction (forward direction) during the cleaning operation of the self-propelled electric vacuum cleaner 30.
  • the self-propelled electric vacuum cleaner 30 includes a substantially disk-shaped housing, and a suction port 31 is provided on the bottom surface 30a. And in the housing
  • a chamber 32 is provided.
  • a suction drive unit is provided in the dust collection chamber 32 to suck in the cleaning object and foreign matters other than the cleaning object. ing.
  • the electric vacuum cleaner 30 of this embodiment includes a flexible brush 33 and a rolling brush 34 in the suction port 31, as shown in FIG.
  • the roller 35 is provided in the approximate center of the front of the advancing direction at the time of cleaning operation
  • FIG. The roller 35 is attached so as to be rotatable in a plane in which the axial direction of the rotation shaft is parallel to the bottom surface 30a. For this reason, the axial center direction of the rotating shaft of the roller 35 can be directed not only in a direction orthogonal to the arrow AR but also in an arbitrary direction.
  • wheels (wheels) 36 and 37 that are rotationally driven by a travel drive unit (not shown in FIG. 6) are provided on both sides of the suction port 31 of the bottom surface 30a.
  • the vacuum cleaner 30 travels by itself.
  • the roller 35 can rotate with any direction as the rotation axis direction.
  • the vacuum cleaner 30 not only travels straight in the direction of the arrow AR, but can also rotate and travel and move in an arbitrary direction intersecting the arrow AR. Further, the electric vacuum cleaner 30 can travel backward in the direction opposite to the arrow AR by controlling the rotation direction of the wheels by the travel drive unit.
  • cameras 381 and 382 are provided in the vicinity of the suction port 31 on the bottom surface 30a so that the direction perpendicular to the bottom surface 30a is the photographing direction (optical axis direction). These cameras 381 and 382 correspond to the cameras 171 and 172 in the electric vacuum cleaner 1 of the first embodiment.
  • a camera 383 is provided on the side surface of the housing in front of the roller 35 of the vacuum cleaner 30 so that the photographing direction (optical axis direction) is substantially parallel to the bottom surface 30a.
  • a camera 384 is provided on the side surface of the housing behind the roller 35 of the vacuum cleaner 30 so that the photographing direction (optical axis direction) is substantially parallel to the bottom surface 30a.
  • the camera 383 images the front of the self-propelled electric vacuum cleaner 30 in the traveling direction at a predetermined angle of view.
  • the camera 384 captures the rear of the self-propelled vacuum cleaner 30 in the traveling direction with a predetermined angle of view.
  • the peripheral image at the position where the foreign object is recognized is not only the front captured image in the traveling direction of the vacuum cleaner 30 but also the rear captured image (foreign object ID). Are stored in association with each other.
  • the photographing direction (optical axis direction) is parallel to the bottom surface 30a if at least the floor surface to be cleaned in the traveling direction of the vacuum cleaner 30 can be imaged. Need not be.
  • the vacuum cleaner 30 does not have an image recognition function and does not have a display unit.
  • the image recognition function and the display unit are provided in a mobile phone terminal connected to the vacuum cleaner 30 through a wireless communication path.
  • the four cameras 381 to 384 described above are configured to include, for example, a CCD image sensor, a CMOS image sensor, and an imaging lens, as in the first embodiment.
  • FIG. 7 is a diagram illustrating an electrical circuit configuration of the vacuum cleaner 30 of the second embodiment and the mobile phone terminal 40 wirelessly connected to the vacuum cleaner 30.
  • the electric vacuum cleaner 30 has a drive control unit 302 and a transmission image information generation unit 303 through a system bus 300 with respect to a control unit 301 on which a microcomputer is mounted.
  • the operation unit 304, the wireless communication unit 305, and the cameras 381, 382, 383, and 384 are connected.
  • the camera interface is not shown for the sake of simplicity.
  • a suction drive unit 306 and a travel drive unit 307 are connected to the drive control unit 302.
  • the suction drive unit 306 is for sucking foreign objects other than the cleaning object and the suctionable cleaning object from the suction port 31.
  • the traveling drive unit 307 drives the wheels 36 and 37 to rotate so that the electric vacuum cleaner 30 travels (self-runs) by itself.
  • control unit 301 When the control unit 301 receives a pressing operation input of a cleaning start button provided in the operation unit 304, the control unit 301 supplies a drive start control signal to the suction drive unit 306 and the travel drive unit 307 through the drive control unit 302. To start the automatic cleaning operation while self-propelled by the electric vacuum cleaner 30. Further, the control unit 301 completes cleaning when receiving an input of pressing a cleaning stop button provided on the operation unit 304 or based on a cleaning support program stored in a memory built in the control unit 301.
  • a drive stop control signal is supplied to the suction drive unit 306 and the travel drive unit 307 through the drive control unit 302 to stop the driving of the suction drive unit 306 and the travel drive unit 307, and the vacuum cleaner 30. Stop the cleaning operation.
  • the control unit 301 when the control unit 301 receives a forced stop control signal from the mobile phone terminal 40 through the wireless communication unit 305 based on the cleaning support program stored in the built-in memory, The forced stop control signal is supplied to the suction drive unit 306 and the travel drive unit 307 through the drive control unit 302, and the drive is forcibly stopped, and the cleaning operation by the vacuum cleaner 30 is forcibly stopped.
  • Each of the cameras 381 to 384 is controlled by the control unit 301 to perform an imaging operation during the cleaning operation, as in the first embodiment.
  • lighting units 381L, 382L, 383L, and 384L made of LEDs, for example, are added to the cameras 381, 382, 383, and 384, respectively, and the same as in the first embodiment.
  • lighting control is performed by the control unit 301.
  • the transmission image information generation unit 303 generates transmission image information of captured image information from each of the cameras 381 to 384 while the electric vacuum cleaner 30 is performing a cleaning operation. In this case, the transmission image information generation unit 303 adds camera identification information (camera ID) as to which of the cameras 381 to 384 is captured image information. . Also, the transmission image information generation unit 303 performs transmission processing such as data compression on the captured image information from each of the cameras 381 to 384 as appropriate, generates transmission image information, and transfers the transmission image information to the wireless communication unit 305.
  • camera ID camera identification information
  • the transmission image information generation unit 303 performs transmission processing such as data compression on the captured image information from each of the cameras 381 to 384 as appropriate, generates transmission image information, and transfers the transmission image information to the wireless communication unit 305.
  • the wireless communication unit 305 has a Bluetooth (registered trademark) standard short-range wireless communication function in this embodiment.
  • the wireless communication unit 305 wirelessly transmits the transmission image information from the transmission image information generation unit 303 to the mobile phone terminal 40.
  • the wireless communication unit 305 also receives a forced stop control signal based on the image recognition result sent from the mobile phone terminal 40 and passes it to the control unit 301 through the system bus 300.
  • control unit 301 when the control unit 301 receives the forced stop control signal through the wireless communication unit 305, the control unit 301 supplies the forced stop control signal to the suction drive unit 306 and the travel drive unit 307 through the drive control unit 302.
  • the driving is forcibly stopped, and the cleaning operation by the electric vacuum cleaner 30 is forcibly stopped.
  • the function of the drive control part 302 and the transmission image information generation part 303 can be comprised by the control part 301 as a software function.
  • the mobile phone terminal 40 in this embodiment has a configuration of a high-function mobile phone terminal called a so-called smartphone (abbreviated as a smartphone in FIG. 8). That is, the mobile phone terminal 40 of this example has a configuration in which each unit described later is controlled by a control unit 401 including a microcomputer.
  • the control unit 401 includes a wireless communication unit 402, a display control unit 403, a touch panel interface 404, a captured image storage unit 405, an image recognition unit 406, an image registration memory 407, and an external device via the system bus 400.
  • An interface 408, a display image generation unit 409, a mobile phone function unit 410, and a camera unit 411 are connected.
  • the wireless communication unit 402 has a Bluetooth (registered trademark) standard short-range wireless communication function, and wirelessly communicates with the vacuum cleaner 30.
  • the wireless communication unit 402 performs wireless communication that is completely independent of the mobile phone communication performed by the mobile phone terminal 40 via the mobile phone base station.
  • the display control unit 403 is connected to a display unit 412 made of, for example, an LCD.
  • a touch panel 413 is connected to the touch panel interface 404.
  • the touch panel 413 receives a touch operation input by a finger or a pen-type position indicator, and outputs position information where the touch operation input is made.
  • the touch panel 413 is transparent, and is disposed so as to be superimposed on the display screen of the display unit 412, in this example, the LCD screen.
  • the user can view the display image displayed on the display screen of the display unit 412 through the touch panel 413, and instruct the touch panel 413 to input a touch operation on the display image. Operation input can be performed.
  • the position information of the touch operation input from the touch panel 413 corresponds to the position information on the display image displayed on the display screen.
  • the control unit 401 receives the position information of the touch operation input from the touch panel 413 through the touch panel interface 404, discriminates the instruction operation input on the touch panel 413 by the user and the control processing set according to the operation position, Control processing corresponding to the determination result is executed.
  • a processing program for the control unit 401 to execute a processing function corresponding to the position information of the touch operation input from the touch panel 413 is stored in a memory built in the control unit 401.
  • the display control unit 403 has a function similar to that of the display control unit 203 in the first embodiment, includes a video RAM that stores display image data to be displayed on the display screen of the display unit 412, and controls the control unit 401. Based on this, the mobile phone terminal 40 displays an image, and the above-described thumbnail image and the like are displayed when a cleaning support program described later is started.
  • the captured image storage unit 405 decodes and separates each of the captured image information of the cameras 381 to 384 from the transmission image information sent from the vacuum cleaner 30 through the wireless communication unit 402, and the image recognition unit 406 Temporary storage for image recognition.
  • the captured image storage unit 406 has the same function as the captured image memory 209 of the first embodiment, except for the function of decoding and separating each of the captured image information of the cameras 381 to 384 from the transmission image information. .
  • the image recognition unit 406 is activated when a program that supports the cleaning operation in the electric vacuum cleaner 30 is activated, and executes the same processing operation as the image recognition unit 210 of the first embodiment described above.
  • the control unit 301 performs the suction drive stored in the image registration memory 407 corresponding to the recognized foreign object ID.
  • the control mode is referred to, when the suction drive control mode is stopped (forced stop), the forced stop control signal is wirelessly transmitted to the vacuum cleaner 30 through the wireless communication unit 402.
  • the image registration memory 407 also has the same function as the image registration memory 211 of the first embodiment described above. That is, in the second embodiment, by using the display unit 412 of the mobile phone terminal 40 instead of the display unit 16 in the first embodiment, the same as described in the first embodiment, The captured image of the foreign object captured by the cameras 381 to 384 can be registered and stored in the image registration memory 407. In the second embodiment, similarly to the first embodiment, a captured image of a foreign object from a USB memory or an SD card can be registered and stored in the image registration memory 407 through the external interface 408. . In addition, the camera unit 411 included in the mobile phone terminal 40 can capture a foreign object, register it in the image registration memory 407, and store it.
  • the cellular phone function unit 410 accesses a server of a website holding a captured image of a foreign object via the Internet, acquires a captured image of the necessary foreign object from the server, and stores it in the image registration memory 407. You can also register and memorize it.
  • the program that supports the processing for registering the image of the foreign object in the image registration memory 407 is downloaded in advance from the server of the website that supports the function of the vacuum cleaner 30 through the Internet, and is stored in the mobile phone terminal 40. It is stored in a memory built in the control unit 401. Similarly, a cleaning support program for performing foreign object recognition during the cleaning operation of the electric vacuum cleaner 30 to be described later is downloaded from the server and stored in a memory built in the control unit 401 of the mobile phone terminal 40. .
  • the display image generation unit 409 is activated when a program that supports the cleaning operation in the electric vacuum cleaner 30 is activated, and performs the same processing operation as the display image generation unit 213 of the first embodiment.
  • the cellular phone function unit 410 includes a transmitter unit and a receiver unit, and is a processing function unit that executes functions of a cellular phone such as a telephone call and electronic mail via the cellular phone network.
  • a cellular phone such as a telephone call and electronic mail via the cellular phone network.
  • the processing unit excluding the memory of the image recognition unit 406 and the captured image storage unit 405 and the function of the display image generation unit 409 are configured by the control unit 401 as software functions. It is something that can be done.
  • the user activates a program that supports the cleaning operation in the electric vacuum cleaner 30 in the mobile phone terminal 40 before pressing the cleaning start button of the operation unit 304 of the electric vacuum cleaner 30. I will let you. Then, when the user presses the cleaning start button of the operation unit 304 of the vacuum cleaner 30, processing operations described below are executed in the vacuum cleaner 30 and the mobile phone terminal 40.
  • FIG. 8 is a flowchart for explaining an example of the flow of processing operations in the electric vacuum cleaner 30 at this time.
  • FIG. 9 is a flowchart for explaining an example of the flow of processing operations of the mobile phone terminal 40 when the cleaning support program is activated.
  • control unit 301 executes the functions of the drive control unit 302 and the transmission image generation unit 303 as software functions.
  • the control unit 301 determines whether or not the cleaning start button has been pressed, and waits for the cleaning to start (step S301).
  • the control unit 301 starts driving the suction drive unit 306 and the travel drive unit 307, and instructs each of the cameras 381 to 384 to start imaging.
  • the wireless communication unit 305 generates a wireless communication path with the mobile phone terminal 40 and wirelessly connects to the mobile phone terminal 40 (step S302).
  • control unit 301 collects captured images from the cameras 381 to 384 during the cleaning operation, generates transmission image information (step S303), and transmits the transmission image information to the mobile phone terminal 40 through the wireless communication unit 305 (step S303). Step S304).
  • control part 301 monitors the received signal of the wireless communication part 305, and discriminate
  • the control unit 301 determines whether or not the end of cleaning has been detected based on whether or not all cleaning in the cleaning range has been completed. (Step S306)
  • the process returns to Step S303, the transmission image information is generated, and the cleaning operation is continued while being wirelessly transmitted to the mobile phone terminal 40.
  • step S305 When it is determined in step S305 that the forced stop control signal has been received from the mobile phone terminal 40, the control unit 301 stops driving the suction drive unit 306 and the travel drive unit 307 and each of the cameras 381 to 384. Is instructed to stop image capturing. Further, the wireless communication unit 305 disconnects the wireless communication path with the mobile phone terminal 40 (step S307).
  • step S306 Even when the end of cleaning is detected in step S306, the control unit 301 advances the process to step S307 to stop the driving of the suction drive unit 306 and the travel drive unit 307, and for each of the cameras 381 to 384.
  • the radio communication unit 305 disconnects the wireless communication path with the mobile phone terminal 40.
  • control unit 401 executes the processing function part excluding the memory of the image recognition unit 406 and the captured image storage unit 405 and the function of the display image generation unit 409 as software functions.
  • control unit 401 determines whether or not the cleaning support program has been activated (step S401). When it is determined in step S401 that the cleaning support program has not been activated, the control unit 401 executes another process (step S402), and after the other process ends, returns the process to step S401. .
  • step S401 the control part 401 produces
  • the control unit 401 receives the transmission image information sent from the vacuum cleaner 30 through the generated wireless communication path, separates and acquires the captured image information from each of the cameras 381 to 384,
  • image recognition processing is executed by comparison by pattern matching between captured images from each of the cameras 381 to 384 and the image of the foreign object stored in the image registration memory 407 (step S404). .
  • control part 401 discriminate
  • step S409 If it is determined in step S409 that the wireless communication path is not disconnected, the control unit 401 determines that the cleaning operation in the electric vacuum cleaner 30 is continued, and returns the process to step S404. The processes after step S404 are repeated.
  • step S405 when it is determined that the foreign object is recognized as a result of the image recognition, the control unit 401 sounds an alarm and displays a thumbnail image of the recognized foreign object on the display screen of the display unit 412.
  • the alarm can be performed by using any of the ring tones provided in the mobile phone function unit 410 or by using the vibration by the vibrator together.
  • the control unit 401 determines whether the foreign matter is in the dust collection chamber 32 or outside without being sucked, and the determination result is shown in FIG. As shown in A), the thumbnail image is additionally displayed (step S406).
  • control unit 401 refers to the stored contents of the image registration memory 407, obtains information on the suction drive control mode stored corresponding to the recognized foreign object ID, and the cleaning operation is forcibly stopped. It is determined whether or not it is necessary (step S407).
  • step S407 When it is determined in step S407 that the forced stop of the cleaning operation is not necessary, the control unit 401 continues the cleaning operation in the electric vacuum cleaner 30 without generating the forced stop control signal, and the process proceeds to step S404. The process after step S404 is repeated.
  • step S407 when it is determined in step S407 that the forced stop of the cleaning operation is necessary, the control unit 401 generates a forced stop control signal for stopping the driving of the suction drive unit 306 and the travel drive unit, and the wireless communication unit It transmits to the vacuum cleaner 30 through 402 (step S408). Thereafter, the control unit 401 advances the processing to step S409, waits for determination that the wireless communication path is disconnected in step S409, and ends this processing routine.
  • the user knows that the self-propelled electric vacuum cleaner 30 has detected a foreign object by an alarm, and immediately knows what the foreign object is by looking at the thumbnail image on the display screen of the mobile phone terminal 40. be able to. In this case, the user does not need any reproduction operation as in the case of the prior document described at the beginning, which is very convenient.
  • the display part is not provided in the self-propelled electric vacuum cleaner 30, but the portable phone which is in a position separated from the electric vacuum cleaner 30 by wireless connection. Since the display unit 412 of the telephone terminal 40 is used, there is no need to go to the self-propelled electric vacuum cleaner 30 during cleaning and view the display screen, which is convenient.
  • thumbnail image of the recognized foreign matter is additionally displayed to indicate whether the foreign matter is sucked into the dust collection chamber 32 or is outside without being sucked. Can easily know the location of foreign matter.
  • the thumbnail image displayed on the display screen of the display unit 412 when the thumbnail image displayed on the display screen of the display unit 412 is clicked by the user, an actual captured image of the detected foreign matter is displayed and the foreign matter is displayed.
  • the peripheral captured images in the front and rear of the suction portion at the cleaning position where the image is recognized are displayed. For this reason, the user can accurately recognize what the detected foreign matter is, and can easily know where the foreign matter is located, which is convenient.
  • the cleaning start and stop of the vacuum cleaner 30 are performed by operating the operation buttons provided on the operation unit 304 provided in the vacuum cleaner 30.
  • the cleaning support program is activated on the mobile phone terminal 40, the cleaning start and stop of the vacuum cleaner 30 can be instructed through the touch panel 413 of the mobile phone terminal 40.
  • the vacuum cleaner 30 was not provided with the image recognition part, you may provide an image recognition part also in the vacuum cleaner 30.
  • the user registers an image of the foreign object in the image registration memory of the vacuum cleaner 30, and the image registration memory 407 of the mobile phone terminal 40 stores the foreign object stored in the server of the website. Images may be acquired through the Internet and registered and held. In this way, the user only has to register in the vacuum cleaner 30 only the image of the object that he / she wants to recognize as a foreign object, and other general foreign objects are registered by the user. Even if not, it can be recognized by the mobile phone terminal 40.
  • the mobile phone terminal 40 may use only the display function without providing the image recognition unit.
  • the mobile device is an example using the mobile phone terminal 40.
  • any mobile device including a display unit may be used, for example, It may be a pad type portable terminal, a tablet type terminal, a wearable terminal, or a personal computer.
  • the present invention can be applied not only to portable devices but also to all devices including a display unit, such as desktop devices and stationary devices.
  • a mobile phone terminal can be used as a separate display unit as in the second embodiment.
  • it can also be set as the structure similar to 1st Embodiment without giving a display part to the vacuum cleaner 30 and using a separate mobile telephone terminal.
  • the suction drive control mode of the suction drive unit 306 is stopped (forced stop).
  • suction turbo drive and “suction drive stronger” are shown. ”,“ Weak suction drive ”,“ weakest suction drive ”, and the like.
  • the suction drive control mode not only the suction drive control mode but also the travel drive control mode of the travel drive unit 307 can be considered as a control mode independently or in parallel with the suction drive control.
  • control modes such as “travel drive high speed”, “travel drive low speed”, and “travel drive ultra-low speed” can be used.
  • a travel drive control mode of the travel drive unit 307 for example, according to the foreign object detected by the image recognition from the image captured by the camera 383, the “running drive right turn” so as to avoid the foreign object recognized by the vacuum cleaner, "Travel drive left turn”, or “Travel drive forward”, “Travel drive backward”, “Running drive stop and turn right”, “Running drive stop and turn left”, etc. It may be.
  • traveling control is performed so as to avoid this foreign matter, the suction drive control of the suction drive unit 306 may or may not be performed together.
  • the image recognition process is performed by a portable device connected to the vacuum cleaner 30 through a wireless communication path, an advanced image recognition process may be performed depending on the capability of the connected portable device. The case where it is not possible is assumed.
  • the third embodiment is an example in which the problem can be improved using a server (cloud) on the Internet.
  • FIG. 10 shows an example of the electrical configuration of the electric vacuum cleaner according to the third embodiment.
  • the electric vacuum cleaner according to the third embodiment includes a self-propelled electric vacuum cleaner 30 ⁇ / b> A and a server device 60 connected to the electric vacuum cleaner 30 ⁇ / b> A via a communication network 50.
  • the communication network 50 includes the Internet and a home wireless LAN that can be connected to the Internet.
  • the server device 60 is a server device operated by, for example, a sales company of the vacuum cleaner 30A that provides a cleaning support program to the vacuum cleaner 30A.
  • the vacuum cleaner A function for image recognition processing of a foreign object is provided for captured image information from each of the cameras 381 to 384 sent from 30A.
  • the self-propelled electric vacuum cleaner 30A has the same configuration as the self-propelled electric vacuum cleaner 30 of the second embodiment regarding the suction cleaning function and the traveling function.
  • the vacuum cleaner 30A according to the third embodiment performs a suction control and a travel control after waiting for an image recognition result from the server device 60 and a point having a display unit for displaying the image-recognized foreign matter.
  • the point comprised in this way differs from the vacuum cleaner 30 in 2nd Embodiment.
  • the same parts as those of the electric vacuum cleaner 30 of the second embodiment are denoted by the same reference numerals, and the description thereof is omitted. That is, in the vacuum cleaner 30A, the drive control unit 302, the transmission image generation unit 303, and the operation unit 304 are provided to the control unit 301A via the system bus 300, as in the second embodiment. In addition to this, in addition to this, a display control unit 311 to which the display unit 312 is connected, a wireless communication unit 313, a non-cleaning object detection unit 314, and a current position detection unit 315 are connected.
  • the display unit 312 is made of an LCD, for example, and is not shown, but is provided on the upper surface of the housing of the electric vacuum cleaner 30A opposite to the bottom surface 30a (see FIG. 6) so that the display screen is exposed. ing.
  • the wireless communication unit 313 is connected to a wireless LAN provided in the home where the electric vacuum cleaner 30A included in the communication network 50 is used, and the image data is transmitted to and from the server device 60 through the communication network 50 through the Internet. And a communication function for exchanging data of image recognition results.
  • maintain the address information of the server apparatus 60, etc., in order to connect the communication path with the server apparatus 60 memorize
  • the non-cleaning object detection unit 314 does not have a function for recognizing an image compared with a registered image, but the size of a captured image from each of the cameras 381 to 384 is set in advance. Non-cleaning object other than the object to be cleaned by judging whether it is above or not, and whether the intensity of the reflected light when shining on the light is higher than a predetermined value. It has a function of recognizing whether it is an object, ie, a foreign object.
  • the non-cleaning target object detection unit 314 is configured so that only the objects existing on the floor surface to be cleaned are set as detection targets for the captured images from the cameras 383 and 384, respectively. This is because an object other than the floor does not affect the suction drive and the travel drive in the cleaning operation.
  • the current position detection unit 315 includes a GPS (Global Positioning System) positioning function unit, and detects the current position of the vacuum cleaner 30A.
  • the detected current position information is added to captured image information from each of the cameras 381 to 384 transmitted from the electric vacuum cleaner 30A to the server device 60, as will be described later. This current position information is used in consideration of the presence of a specific item corresponding to the country or region, such as banknotes or personal items, in the image recognition in the server device 60.
  • the server device 60 has a function of performing image recognition processing of foreign matter with respect to captured image information from each of the cameras 381 to 384 sent from the electric vacuum cleaner 30A.
  • the configuration of the server device 60 shown in FIG. 10 shows the configuration of only the foreign object image recognition processing function unit for convenience.
  • the server device 60 is connected to the communication network 50 to communicate with the vacuum cleaner 30A, a captured image storage unit 602, an image recognition unit 603, an image registration memory 604, and a recognized foreign object.
  • An information generation unit 605 is provided.
  • the captured image storage unit 602 has the same function as the captured image storage unit 405 in the mobile phone terminal 40 of the second embodiment described above, and transmission image information transmitted from the vacuum cleaner 30A received through the communication interface 601. Thus, each of the captured image information of the cameras 381 to 384 is decoded and separated, and temporarily stored for image recognition by the image recognition unit 603.
  • the captured image storage unit 602 has the same function as the captured image memory 209 of the first embodiment, except for the function of decoding and separating each of the captured image information of the cameras 381 to 384 from the transmission image information. .
  • the image recognition unit 603 has the same function as the image recognition unit 406 in the mobile phone terminal 40 of the second embodiment described above.
  • the image registration memory 604 also has a function similar to that of the image registration memory 211 of the first embodiment described above, but the image registration memory 604 of the third embodiment registers various foreign object images. And keep it in memory.
  • the image registration memory 604 also stores information on foreign matters that differ depending on the country and region, such as banknotes and coins, such as the country in which the foreign matter is issued.
  • the captured image information sent from the vacuum cleaner 30A to the server device 60 includes information on the current position of the vacuum cleaner 30A.
  • the server device 60 recognizes the country or region where the electric vacuum cleaner 30A is cleaning from the information on the current position, and from the image registration memory 604, the foreign matter that differs depending on the country or region, such as banknotes or coins, is read from the image registration memory 604.
  • the banknotes and coins of the country specified by the position are read out for comparison of image recognition.
  • the recognized foreign object information generation unit 605 receives the recognized foreign object ID and thumbnail from the image registration memory 604.
  • the image and the information of the suction drive control mode are acquired and transmitted to the electric vacuum cleaner 30A through the communication interface 601 as information on the foreign matter that has recognized them.
  • the recognized foreign matter information generation unit 605 also includes location information on whether the foreign matter recognized from the image recognition unit 603 is present in the dust collection chamber of the vacuum cleaner 30A or outside without being sucked in the recognized foreign matter information. To be sent to the electric vacuum cleaner 30A.
  • the recognized foreign object information generation unit 605 stores the captured image storage unit 602 in the captured image storage unit 602 when receiving a request for detailed image information from the vacuum cleaner 30A when the user clicks on a thumbnail image displayed on the display unit 312.
  • the captured image information that has been processed is converted into information corresponding to the request and transmitted to the vacuum cleaner 30A through the communication interface 601.
  • the registered foreign matters such as high-value antiques, high-value old coins, premier expensive stamps, etc. Premier information is also stored.
  • the server device 60 transmits the recognized foreign object information including the premium information.
  • FIG. 11 and 12 are flowcharts for explaining an example of the flow of processing operations in the electric vacuum cleaner 30A at this time.
  • FIG. 13 is a flowchart for explaining an example of the flow of processing operations of the server device 60.
  • control unit 301A executes the functions of the drive control unit 302, the transmission image generation unit 303, and the non-cleaning object detection unit 314 as software functions.
  • Control unit 301A determines whether or not the cleaning start button has been pressed, and waits for the cleaning to start (step S311). When it is determined in step S311 that the cleaning start button has been pressed, the control unit 301A starts driving the suction drive unit 306 and the travel drive unit 307 and instructs each of the cameras 381 to 384 to start image capturing. To do. Further, the wireless communication unit 313 generates a communication path with the server device 60 (step S312).
  • control unit 301A collects captured images from the cameras 381 to 384 during the cleaning operation, generates transmission image information, and together with the current position information detected by the current position detection unit 315, the wireless communication unit 313. Is transmitted to the server device 60 (step S313).
  • control unit 301A performs a process of detecting foreign objects other than the cleaning object on the captured images from the cameras 381 to 384 based on the size and the luminance as described above (step S314). Then, the control unit 301A determines whether or not the presence of a foreign object other than the cleaning target has been detected (step S315). A temporary stop instruction signal is supplied to the drive unit 307 to temporarily stop the cleaning operation (step S316). Then, the control unit 301A determines whether or not the recognized foreign object information from the server device 60 has been received (step S317).
  • step S315 Even when it is determined in step S315 that the presence of a foreign object has not been detected, the control unit 301A jumps the process to step S317 to determine whether or not the recognized foreign object information from the server device 60 has been received. .
  • step S317 When it is determined in step S317 that the recognized foreign substance information from the server device 60 has not been received, the control unit 301A determines whether or not a predetermined time has elapsed since the cleaning operation was temporarily stopped (step S317). S318) When it is determined that the predetermined time or more has not elapsed, the process returns to step S317, and the processes after step S317 are repeated.
  • step S318 when it is determined that a predetermined time or more has elapsed since the cleaning operation was temporarily stopped, the control unit 301A supplies a drive start signal to the suction drive unit 306 and the travel drive unit 307 through the drive control unit 302. Then, the pause state is canceled and the cleaning operation is resumed (step S319). And control part 301A returns a process to step S313, and repeats the process after this step S313.
  • step S320 When it is determined in step S317 that the recognized foreign matter information from the server device 60 has been received, the control unit 301A displays the received thumbnail image on the display screen of the display unit 312 with the location information (whether it is in the dust collection chamber, (External)) (step S320).
  • the vacuum cleaner 30A displays the thumbnail image of the foreign matter on the display screen of the display unit 312, the vacuum cleaner 30A does not perform alarm notification, but the first embodiment and the first embodiment described above. Of course, as in the second embodiment, alarm notification may also be performed.
  • control unit 301A determines whether or not to stop the cleaning operation based on whether or not the recognized foreign object information includes a forced stop control signal (step S321 in FIG. 12).
  • the control unit 301A determines whether or not the end of the cleaning is detected depending on whether or not all the cleaning in the cleaning range is completed ( In step S322), when the end of cleaning is not detected, the process returns to step S313, the transmission image information is generated, and the cleaning operation is continued while being wirelessly transmitted to the server device 60.
  • step S321 When it is determined in step S321 that the forced stop control signal is included, the control unit 301A stops the driving of the suction drive unit 306 and the travel drive unit 307, and for each of the cameras 381 to 384. Instructs to stop taking images. Further, the communication path with the server device 60 is disconnected (step S323).
  • step S322 Even when the end of cleaning is detected in step S322, the control unit 301A advances the process to step S323 to stop driving the suction drive unit 306 and the travel drive unit 307, and for each of the cameras 381 to 384. Then, the stop of image capturing is instructed, and the communication path with the server device 60 is disconnected.
  • the server device 60 determines whether or not a communication path generation request has been received from the electric vacuum cleaner 30A (step S601). When it is determined that a communication path generation request has been received, A communication path with the cleaner 30A is generated (step S602).
  • the server device 60 receives transmission image information transmitted from the vacuum cleaner 30A through the generated wireless communication path, and separately acquires captured image information from each of the cameras 381 to 384, Similar to the first embodiment, image recognition processing is executed by comparison by pattern matching between the captured image from each of the cameras 381 to 384 and the image of the foreign object stored in the image registration memory 407 (step S603). ).
  • the server device 60 determines whether or not a foreign object has been recognized as a result of the image recognition in step S603 (step S604). When it is determined in step S604 that no foreign object is recognized, the server device 60 determines whether or not the communication path is cut by the electric vacuum cleaner 30A (step S608). When it is determined in step S608 that the communication path is disconnected, the server device 60 determines that the cleaning operation in the electric vacuum cleaner 30A has been stopped, and ends this processing routine.
  • step S608 If it is determined in step S608 that the communication path is not disconnected, the server device 60 determines that the cleaning operation in the electric vacuum cleaner 30A is continued, and returns the process to step S603. The processing after S603 is repeated.
  • the recognized foreign object information including the thumbnail image of the recognized foreign object, the foreign object ID, the location information, and the premier information is generated. It transmits to the cleaner 30A (step S605).
  • the server device 60 refers to the stored contents of the image registration memory 604, acquires information on the suction drive control mode stored corresponding to the foreign matter ID of the recognized foreign matter, and needs to forcibly stop the cleaning operation. Whether or not (step S606).
  • step S606 When it is determined in step S606 that the forced stop of the cleaning operation is not necessary, the server device 60 continues the cleaning operation in the electric vacuum cleaner 30A without generating the forced stop control signal, and the process proceeds to step S603. The process after step S603 is repeated.
  • step S606 when it is determined in step S606 that the forced stop of the cleaning operation is necessary, the server device 60 generates a forced stop control signal for stopping the driving of the suction drive unit 306 and the travel drive unit 307, and the electric cleaning is performed. It transmits to the machine 30A (step S607). Thereafter, the server device 60 proceeds to step S608, waits for determination that the communication path is disconnected in step S608, and ends this processing routine.
  • the vacuum cleaner 30 ⁇ / b> A sends an information acquisition request to the server device 60.
  • the server device 60 reads actual captured image information and peripheral image information of the foreign substance specified by the foreign object ID from the captured image storage unit 602, and transmits the captured image information to the electric vacuum cleaner 30A.
  • the vacuum cleaner 30 ⁇ / b> A displays the received captured image information on the display screen of the display unit 312, and displays peripheral captured images in front and behind the suction unit at the cleaning position where the foreign object has been image-recognized.
  • the vacuum cleaner 30A changes the background color of the thumbnail image of the foreign object, blinks the display screen, or notifies an alarm. Can do. This prevents the user from overlooking high-value foreign objects and expensive foreign objects.
  • the self-propelled electric vacuum cleaner 30A temporarily stops the cleaning operation in consideration of the delay of the image recognition process in the server device 60. Therefore, regardless of the delay of the image recognition process in the server device 60, Control as expected. For this reason, the occurrence of a failure due to the self-propelled electric vacuum cleaner 30 ⁇ / b> A sucking in a foreign substance that should not be sucked in can be prevented.
  • the vacuum cleaner 30A itself makes a zoom image of the foreign object or the vacuum cleaner 30A moves and images the foreign object from another angle according to the determination by the electric vacuum cleaner 30A or an instruction from the server device 60. It may be. Further, the electric vacuum cleaner 30A may be configured to automatically zoom and image a foreign object when temporarily stopped. By transmitting the picked-up image picked up by this zoom image pickup from the vacuum cleaner 30A to the server device 60 again, the server device 60 can perform image recognition with higher accuracy.
  • the current position detection unit 315 including the GPS positioning function unit is provided.
  • the country and the region where the electric vacuum cleaner 30A is used can be transmitted to the server device 60.
  • the user may input the address of the place where the vacuum cleaner 30 ⁇ / b> A is used, and the input address information may be transmitted to the server device 60.
  • the vacuum cleaner 30A does not include an image recognition unit, but the vacuum cleaner 30A may also include an image recognition unit.
  • the user registers an image of the foreign object in the image registration memory of the vacuum cleaner 30A, and the image recognition unit of the vacuum cleaner 30A recognizes the foreign object registered in the image registration memory.
  • the server device 60 also recognizes foreign objects that are not registered in the image registration memory of the electric vacuum cleaner 30A. Note that the number of server devices is not limited to one, and a plurality of server devices can be used in cooperation.
  • the display unit 312 may be provided in a portable device such as a mobile phone terminal wirelessly connected to the electric vacuum cleaner 30A, a tablet terminal, a wearable terminal, or a personal computer. Moreover, you may make it provide in apparatus provided with various display parts, such as a desktop apparatus and a stationary apparatus.
  • camera shooting is performed by continuous shooting (moving image shooting), but intermittent shooting may be performed by still images. Moreover, both may be mixed.
  • the camera shooting method and resolution are not the same, and may differ depending on the mode and situation.
  • a lost article mode searchable object mode
  • the flash shooting is performed continuously when the camera shooting is started, or when a foreign object other than the object to be cleaned (lost object candidate, searchable object candidate) is detected after the camera shooting starts.
  • searching object candidate foreign object candidate
  • searching object candidate foreign object candidate
  • the processing method and accuracy of image recognition of a captured image taken by the camera may be changed according to the mode and the situation.
  • the specific foreign matter specified to be searched in the lost article mode among the images registered in the image registration memory may be recognized in multiple stages. For example, to reduce the probability of oversight as much as possible, first use a coarse image to search for a range of similarities, and then find a high-definition image to narrow down the found objects. Utilizing this, image recognition from a plurality of angles is performed. Also, special processing for image recognition may be added. For example, various feature extraction and various filtering such as contour (edge) extraction and enhancement, luminance extraction and enhancement, hue extraction and enhancement, and various enhancement processes may be added and used for image recognition. Furthermore, it is possible to perform image recognition without compressing the captured image without changing the captured image, or to increase the image recognition processing time more than usual, for example, several times as long.
  • the lost item is a ring, such as a ruby platinum ring
  • the shape discrimination ability can be selectively enhanced so as to increase the detection accuracy by the shape of the ruby stone or the size of the ring defined by the inner diameter size.
  • the lost item may be a product whose size is standardized.
  • the SD card has a width of 24 mm, a length of 32 mm, and a thickness of 2.1 mm
  • the micro SD card has a width of 11 mm, a length of 15 mm, and a thickness of 1.0 mm
  • the shape is precisely defined by the SD standard. Therefore, when the lost item is an SD card or a micro SD card, first search for a rectangular object based on the shape, then filter by whether the aspect ratio (length to width ratio) is appropriate, then precisely What is necessary is image recognition.
  • absolute values such as the inner diameter and length of the object can be measured, and therefore identification can be made using the measured values.
  • the absolute value of the length and size can be grasped by relative comparison with the comparison object. Furthermore, the logo and characters on the surface of the SD card or micro SD card can be recognized and identified.
  • a contact lens with a transparent fallen object when shooting with a camera, the background color is taken through, so the difference in brightness and color is detected accurately, or light such as a flash is applied to make it clear.
  • the shape of the thin aspheric lens which is peculiar to the contact lens, may be identified after detecting the reflected light that shines to improve the detection accuracy.
  • hard contact lenses have a diameter of around 9 mm
  • soft contact lenses have a diameter of around 13 mm. Therefore, by specifying whether the type of contact lens dropped is hard or soft, the identification ability for the size is enhanced and the detection is easy. be able to.
  • the similarity level threshold is made variable to detect the foreign object as a lost object in order to reduce the risk of missing the lost object. It is also possible to perform.
  • the suction drive control mode may be “weak suction drive” or “weakest suction drive” until a lost item is found.
  • suction drive stop can be set.
  • the mode of suction drive control not only the mode of suction drive control but also the mode of travel drive control, such as “running drive low speed” and “running drive ultra-low speed” until a lost item is discovered Control aspects can be used.
  • travel drive stop temporary stop
  • panoramic photography or 360-degree photography may be performed while searching for lost items while being rotated.
  • foreign objects to be searched for in the lost article mode for example, images of a ring, an SD card, a micro SD card, a contact lens, etc., can be read from the image registration memory, displayed on the display screen, and designated.
  • the recognition (detection) of the foreign matter during the cleaning operation is performed by recognizing the captured image information from the camera.
  • an infrared sensor, a microphone, an ultrasonic sensor, a tactile sensor The foreign matter may be recognized (detected) by using another sensor such as a biosensor, an odor sensor, or a metal detection sensor.
  • a microphone is used as the sensor, it is possible to recognize that the object is a foreign object other than the object to be cleaned if sound or sound is collected by the microphone and an object that emits sound or sound is detected. In this case, “foreign object detection based on recognition result of image picked up by microphone” in “flow chart of FIG.
  • an infrared camera or a video camera may be used as the cameras 171 to 174 and the cameras 381 to 384. Moreover, you may use them together.
  • the case where the number of cameras is four has been described, but it goes without saying that the number of cameras is not limited. Furthermore, the installation location of the camera is not limited to this embodiment, and various aspects are possible.
  • the stationary object is exemplified as the cleaning object or the foreign object other than the cleaning object. .
  • Vacuum cleaner 10 Vacuum cleaner body 11: Suction hose 12: Handle 13: Fitting pipe 14: Suction part 141: Suction port 15: Operation part 16: Display part 16D: Display screen 101: Dust collection chamber 102: Suction drive Units 171 to 174: Camera 20: Control circuit unit 201: Control unit 202: Drive control unit 210: Image recognition unit 211: Image registration memory 213: Display image generation unit 214: Alarm generation unit 30: Self-propelled electric vacuum cleaner 31: Suction unit 32: Dust collection chambers 381 to 384: Camera 406: Image recognition unit 407: Image registration memory 409: Display image generation unit 412: Display unit

Abstract

 掃除対象物を吸い込むための吸い込み口(141)を有する吸い込み部(14)と、吸い込み口(141)から掃除対象物を吸引して集塵室(101)に取り込むようにするための吸引駆動部(102)と、掃除対象物及び掃除対象物以外の異物を撮像するための撮像部(171-174)とを備える電気掃除装置(1)。掃除動作中に撮像部(171-174)からの撮像画像について画像認識を行い、少なくとも、掃除対象物と掃除対象物以外の異物とを分離して認識する画像認識部(210)と、画像認識部(210)で認識した異物の画像を表示部(16)の表示画面(16D)に表示する表示制御手段(203)とを設ける。使用者が、再生操作をしたり、再生された撮像画像を検索したりするように注視しなくても、電気掃除機(1)が画像認識した異物を確認することができる。

Description

電気掃除装置
 この発明は、電気掃除装置に関する。
 近年、CCD(Charge Coupled Device)撮像素子やCMOS(Complementary Metal Oxide Semiconductor)撮像素子など、非常に小型化されたカメラが普及しており、この小型カメラを吸い込み口近傍に配置して、吸い込まれた物を確認できるようにした電気掃除機が提案されている。
 例えば特許文献1(特開2003-164401号公報)には、吸い込み口近傍にCCDカメラを配置すると共に、このCCDカメラの撮像画像を表示する表示部を取っ手近傍に備える電気掃除機が記載されている。この特許文献1に記載の電気掃除機においては、使用者は、表示部の表示画面に表示されているCCDカメラの撮像画像を見ながら掃除を行うことができ、吸い込むごみを確認しながら作業することができる。
 また、この特許文献1に記載の電気掃除機は、CCDカメラで撮像された画像の輝度を測定することで、貴金属と推定される物体を検出して記録(記憶)しておく機能を備えている。使用者は、掃除終了後、再生指示操作をして、記録されている画像を再生し、その再生画像を注視することで、誤って吸い込んでしまった貴金属を確認することができる。
 また、特許文献2(特開2006-141836号公報)には、吸引ヘッドから吸引される物体を撮像するCCDカメラ等の撮像手段から出力される撮像画像データを、一定時間ごとに更新して記録し、また、一定サイズ以上の物体を吸い込んだと検知したときには、その撮像画像データを記録しておく電気掃除機が記載されている。
 この特許文献2の電気掃除機においては、使用者が、掃除機において吸引動作中に、塵埃以外の物体を吸引したと感じるときには、吸引停止ボタンを操作して、吸引動作を停止する。そして、この特許文献2に記載の電気掃除機においては、使用者の画像再生のための操作に応答して、撮像画像データが再生されて、表示モニターに撮像画像が表示される。使用者は、表示モニターに表示された撮像画像を注視することで、掃除機に誤って吸い込まれた物を確認することができる。
特開2003-164401号公報 特開2006-141836号公報
 しかしながら、特許文献1の電気掃除機の場合、箪笥の上などをカメラで撮像して、ごみの存在を確認することができるが、床掃除などの掃除動作中は、使用者が表示画面を見ながら掃除をする態様は不自然であり、吸い込み口がある吸い込み部近傍を観ながら掃除をするのが通常である。このため、貴金属などの掃除対象物以外の異物を事前に認知して、吸い込まないようにすることはできず、吸い込んでしまうことは否めない。
 そして、特許文献1の電気掃除機の場合には、特許文献2の電気掃除機と同様に、使用者が、掃除機において吸引動作中に、塵埃以外の物体を誤って吸引したと感じるときには、吸引停止ボタンを操作して、吸引動作を停止し、その後、画像再生のための操作を行って、表示画面に撮像画像を表示させ、その再生された撮像画像を注視することで、吸引した物が何であるかを確認する必要がある。
 すなわち、上述の特許文献1及び特許文献2の電気掃除機の場合には、使用者は、掃除作業中に、自分が塵埃以外の物体を吸引してしまったと感じたときに、停止ボタン等を操作して、電気掃除機の掃除動作を一旦停止させ、その後、再生ボタン等の撮像画像の再生操作をして、表示画面に撮像画像を表示させるようにする操作をしなければならず、吸引した異物の確認をするのに非常に手間がかかる。
 しかも、使用者は、再生中の表示画面を、順次に検索するようにして撮像画像を注視して、異物の撮像画像を見つけ出して異物が何であるかを判断する必要があり、その点でも異物の確認作業が面倒である。
 この発明は、以上の問題点を改善することができる電気掃除装置を提供することを目的とする。
 上記の課題を解決するために、本発明は、
 掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
 前記吸い込み口から前記掃除対象物を吸引して集塵室に取り込むようにするための吸引駆動部と、
 前記掃除対象物及び前記掃除対象物以外の異物を撮像するための撮像部と、
 掃除動作中に前記撮像部からの撮像画像について画像認識を行い、少なくとも、前記掃除対象物と前記掃除対象物以外の異物とを分離して認識する画像認識部と、
 表示画面を備える表示部と、
 前記画像認識部で認識した異物の画像を前記表示部の表示画面に表示する表示制御手段と、
 を備えることを特徴とする電気掃除装置を提供する。
 上述の構成の本発明によれば、画像認識部で掃除対象物と、掃除対象物以外の異物とが分離して認識される。そして、画像認識部で認識した異物の画像、例えば異物の撮像画像のサムネイル画像が表示部の表示画面に表示される。
 したがって、使用者は、撮像画像の再生操作をしなくても、また、再生された撮像画像を検索するように注視しなくても、表示部の表示画面に自動的に表示されている画像を見るだけで、電気掃除機が画像認識した異物を確認することができる。
 また、上記の電気掃除装置において、
 掃除動作中に、前記画像認識部での前記画像認識結果に応じて前記吸引駆動部に対して制御信号を供給する駆動制御手段を備えることが好ましい。
 この発明によれば、画像認識結果に基づいて、吸引駆動部を停止制御するか、継続して吸引動作を行わせるかなどの駆動制御信号を供給するようにする。すなわち、異物であっても、認識した異物に応じた駆動制御信号を生成して、吸引駆動部を適切に駆動制御することができる。
 また、上記の電気掃除装置において、
 前記表示制御手段は、掃除動作中に前記画像認識部で前記異物を認識したときに、前記表示画面に前記異物の画像を表示し、
 前記異物の画像の表示と連動してアラームを報知する手段を、さらに備えることが好ましい。
 この発明によれば、掃除動作中に異物が画像認識により認識されると、その認識された異物の画像が表示画面に表示されるのと同期して、アラームが報知される。
 したがって、使用者は、そのアラームにより電気掃除装置が異物を認識したことを知り、表示画面の表示画像を見ることで、その異物が何であるかを認知することができる。このため、使用者は、掃除を継続してよいか、停止すべきかを適切に判断して、迅速に対応することができる。
 また、上記の電気掃除装置において、
 前記撮像部として、前記吸い込み口近傍に配置されている第1の撮像部を備え、
 前記表示画面に表示される前記画像に対応する前記異物は、前記吸い込み口から吸い込まれたものであるように構成することができる。
 この発明によれば、使用者は、再生操作をすることなく、吸い込み口から吸引されて集塵室に在る異物を、表示画面に表示された画像を見るだけで、確認することができる。
 また、上記の電気掃除装置において、
 前記表示画面に表示された前記異物の画像には、前記異物が前記吸い込み口から吸い込まれたものであるか、前記吸い込み口から吸い込まれてはいないものかを示す付加表示を伴うことが好ましい。
 また、この発明によれば、例えば吸い込み口から大きいために吸い込まれなかった異物と、吸い込み口から吸引されて集塵室に在る異物を、表示画面に表示された画像の付加表示を見るだけで、確認することができる。
 この発明による電気掃除装置によれば、撮像画像の再生操作をしなくても、また、再生された撮像画像を検索するように注視しなくても、表示部の表示画面に自動的に表示されている画像を見るだけで、電気掃除機が画像認識した異物を確認することができる。
この発明による電気掃除装置の第1の実施形態の構成例を示す図である。 この発明による電気掃除装置の第1の実施形態における電気的構成例を示すブロック図である。 この発明による電気掃除装置の第1の実施形態の構成例の要部を説明するために用いる図である。 この発明による電気掃除装置の第1の実施形態の構成例における表示画面の表示例を説明するための図である。 この発明による電気掃除装置の第1の実施形態における処理動作例を説明するためのフローチャートを示す図である。 この発明による電気掃除装置の第2の実施形態を構成する自走式の電気掃除機の構成例を示す図である。 この発明による電気掃除装置の第2の実施形態の電気的構成例を示すブロック図である。 この発明による電気掃除装置の第2の実施形態を構成する自走式の電気掃除機の処理動作例を説明するためのフローチャートを示す図である。 この発明による電気掃除装置の第2の実施形態を構成する携帯機器の例としての携帯電話端末の処理動作例を説明するためのフローチャートを示す図である。 この発明による電気掃除装置の第3の実施形態の電気的構成例を示すブロック図である。 この発明による電気掃除装置の第3の実施形態を構成する自走式の電気掃除機の処理動作例を説明するためのフローチャートの一部を示す図である。 この発明による電気掃除装置の第3の実施形態を構成する自走式の電気掃除機の処理動作例を説明するためのフローチャートの一部を示す図である。 この発明による電気掃除装置の第3の実施形態を構成するサーバ装置の処理動作例を説明するためのフローチャートを示す図である。
 [第1の実施形態]
 この発明による電気掃除装置の第1の実施形態を、使用者が操作しながら掃除を行う電気掃除装置に適用した場合について、図を参照しながら説明する。
 図1は、第1の実施形態の電気掃除装置1の全体構成例を説明するための図である。この実施形態の電気掃除装置1は、掃除機本体10と、吸引ホース11と、取っ手12と、継手管13と、吸い込み部14と、操作部15と、表示部16と、制御回路部20とからなる。
 掃除機本体10は、集塵室101及び吸引駆動部102を備え、吸引駆動部102の駆動により塵埃やごみなどの掃除対象物や掃除対象物以外の異物を、吸い込み部14から吸引して集塵室101に捕集する機能を有している。掃除機本体10は、使用者が掃除を実行する際に、自律的に移動できるようなローラ103を備えている。
 掃除機本体10の集塵室101は、吸引ホース11に連結されている。そして、取っ手12が吸引ホース11の掃除機本体10との連結側とは反対側に結合されている。さらに、取っ手12の吸引ホース11との連結側とは反対側は、継手管13に結合されている。継手管13の先端側には、吸い込み部14が設けられている。
 取っ手12には、操作部15、表示部16及び制御回路部20が設けられている。使用者は、この取っ手12を持って清掃を行う。操作部15は、複数個のキーボタンを含む。表示部16は、例えばLCD(Liquid Crystal Display;液晶ディスプレイ)からなり、画像を表示することができる表示画面16Dを備える。なお、操作部15は、この実施形態では、図示は省略するが、表示部16の表示画面16Dに重畳されて配置されているタッチパネルを含む。
 使用者は、この取っ手12を清掃中に必要な時に操作部15のキーボタンを操作することができる。また、取っ手12を持って清掃をしながら、表示部16の表示画面16Dを見ることができる。制御回路部20は、操作部15及び表示部16と電気的に接続されていると共に、掃除機本体10の吸引駆動部102とも電気的に接続されている。
 吸い込み部14は、所定の大きさの面積(断面積)を有する吸い込み口141を有する。吸い込み口141は、吸い込み部14の筐体142の、床面などの掃除面と対向する面側に開口を有するように設けられている。掃除機本体10の吸引駆動部102を駆動すると、吸い込み口141から、前記断面積よりも小さい掃除対象物及び掃除対象物以外の異物が吸引され、継手管13及び取っ手12、吸引ホース11を通じて、集塵室101に吸引される。なお、レジ袋やビニール袋、コード類などの長尺物は、吸い込み口141に吸引されても、全体を吸引できない状態になることがある。
 この実施形態の電気掃除装置1には、複数個のカメラ部が設けられている。すなわち、吸い込み部14の筐体142が床面などの掃除面と対向する面であって、吸い込み口141の近傍には2個のカメラ171及び172が設けられている。使用者は、掃除動作をするときには吸い込み部14を使用者から見て前後方向に移動させるが、カメラ171は、その吸い込み部14の移動方向において、吸い込み口141の前方向位置に設けられ、カメラ172は、吸い込み口141の後方向位置に設けられる。カメラ171及び172は、床などの掃除面に在る掃除対象物及び掃除対象物以外の異物を撮影する。なお、カメラ171及び172の近傍には、図1では図示は省略するが、撮影位置を明るく照射するための、例えばLED(Light Emitting Diode)からなる照明が設けられている。
 また、この実施形態では、使用者が掃除動作をするときの前後移動方向の前方の、床などの掃除面に在る掃除対象物及び掃除対象物以外の異物を撮影することができるように、吸い込み部14には、床面などの掃除面と対向する面以外にもカメラ173が設けられている。図1の例においては、カメラ173は、吸い込み部14の筐体142の、掃除動作時に床面などの掃除面と対向する面と交差する面であって、掃除動作時の前後移動方向の前方側の面に取り付けられている。
 また、吸引ホース11と集塵室101との結合部近傍には、吸引されて集塵室101に捕集される掃除対象物及び掃除対象物以外の異物を撮影することができるように、カメラ174が取り付けられている。
 以上の4個のカメラ171~174は、例えばCCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子と撮像レンズを含んで構成されており、制御回路部20と電気的に接続されている。
 [制御回路部20の構成例の説明]
 この実施形態では、制御回路部20は、掃除動作中に、4個のカメラ171~174からの撮像画像について画像認識を行って、少なくとも、前記掃除対象物と前記掃除対象物以外の異物とを分離して認識する画像認識部を備える。そして、制御回路部20は、画像認識部で異物を認識したときには、その旨を使用者に知らせると共に、異物が何であるかを知らせるようにする機能を備える。さらに、この実施形態では、制御回路部20は、認識した異物に応じて掃除動作を強制停止させるようにする機能も備える。
 図2は、制御回路部20の内部構成例と、この制御回路部20と電気的に接続されている各部との接続関係を示すブロック図である。
 図2に示すように、制御回路部20は、マイクロコンピュータからなる制御部201に対して、システムバス200を通じて、駆動制御部202、表示制御部203、操作部インターフェース204、カメラインターフェース205,206,207,208、撮像画像メモリ209、画像認識部210、画像登録メモリ211、外部インターフェース212、表示画像生成部213、アラーム駆動部214、の各部が接続されて構成されている。
 駆動制御部202には、掃除機本体10に配設されている吸引駆動部102が電気的に接続されている。制御回路部201は、使用者による操作部15を通じて掃除開始操作に応じて、吸引駆動部102に駆動開始制御信号を供給し、掃除停止操作に応じて駆動停止制御信号を供給する。
 表示制御部203は、ビデオRAM(Random Access Memory)を備え、表示部16の表示画面16Dに画像を表示するための表示コントローラの機能を有する。
 操作部インターフェース204には、操作部15が接続されている。前述したように、この実施形態では、操作部15には、前述した複数個のキーボタンを含むほか、表示画面16Dに重畳して設けられるタッチパネルを含み、このため、操作部インターフェース204は、キーボタンに対するインターフェースの機能のほか、表示画面16D上でのタッチ操作位置を検出するためのタッチパネルインターフェースの機能をも含む。
 カメラインターフェース205,206,207,208のそれぞれには、カメラ171,172,173,174のそれぞれが接続されている。この実施形態では、前述したように、カメラ171,172,173,174のそれぞれには、例えばLEDからなる照明部171L,172L,173L,174Lが付加されている。
 制御回路部20は、カメラインターフェース205,206,207,208のそれぞれを通じてカメラ171,172,173,174のそれぞれにカメラ制御信号を供給して、これらカメラ171,172,173,174のそれぞれの撮像開始、撮像停止を制御する。カメラ171,172,173,174のそれぞれは、撮像開始制御を受けて、撮像動作状態においては、撮像画像をカメラインターフェース205,206,207,208のそれぞれを通じてシステムバス200に供給する。
 照明部171L,172L,173L,174Lは、制御部201により点灯制御される。この場合に、制御回路部20の制御部201は、ソフトウエア処理により、カメラ171,172,173,174からの撮像画像の明るさ(撮像画像の輝度の平均値など)を測定し、撮像画像の明るさが所定以下のときに、制御回路部20がカメラインターフェース205,206,207,208を通じて点灯させるように制御するようにする。なお、制御部201は、カメラ171,172,173,174が撮像動作状態においては、常に、照明部171L,172L,173L,174Lを点灯するように制御してもよい。
 撮像画像メモリ209は、カメラインターフェース205,206,207,208のそれぞれを通じてカメラ171,172,173,174のそれぞれから送られてくる撮像画像情報を一時格納し、その一時格納した撮像画像情報を、画像認識用として画像認識部210に供給する。また、撮像画像メモリ209は、後述するように、画像認識部210で掃除対象物以外の異物が認識されたときに、画像認識結果に基づいて、その撮像画像情報を記憶保持する。
 この場合に、制御回路部20は、撮像画像情報を、撮像画像メモリ209のメモリ領域をカメラ171,172,173,174のそれぞれごとに予め分離して記憶する、カメラ171,172,173,174のそれぞれの識別情報と対応付けて撮像画像情報を記憶するなどして、カメラ171,172,173,174のそれぞれからの撮像画像を、互いに分離して識別可能な状態で記憶する。
 この実施形態では、撮像画像メモリ209に一時記憶される撮像画像情報は、画像認識部210で画像認識処理に用いられ、画像認識結果が得られる処理時間分のフレーム数に余裕分を加算したフレーム数分とされる。画像認識部210で異物が認識されなかった撮像画像情報は廃棄され、新たな撮像画像情報に置き換えられる。画像認識部210で異物が認識された時には、当該異物が認識された撮像画像情報が、画像認識部210の画像認識結果に基づいて、撮像画像メモリ209から表示画像生成部213に転送されて、この表示画像生成部213に保持される。このとき、画像認識部210からの画像認識結果に含まれる後述する異物の識別情報(異物ID)に対応付けられて、異物が認識された撮像画像情報が表示画像生成部213に保持される。
 なお、撮像画像メモリ209の容量が大きい場合には、1回の掃除動作中の撮像画像情報の全てを撮像画像メモリ209に記憶保持するようにし、掃除動作終了時において、その一時記憶した撮像画像を消去してもよい。もちろん、複数回の掃除動作中の撮像画像の全てを撮像画像メモリ209に記憶保持するようにしてもよい。さらに、撮像画像メモリ209に記憶保持された撮像画像を、適宜、外部インターフェース212を通じて、例えばUSBメモリやSDカード(SDメモリーカード)などの記憶媒体に記録するように構成することもできる。
 この実施形態においては、画像登録メモリ211には、後述するような方法で予め掃除対象物以外の異物として認識すべき物の画像情報が記憶されている。画像認識部210は、カメラ171,172,173,174のそれぞれからの撮像画像情報から、掃除対象物以外の異物を認識して検出するが、4個のカメラのうち、3個のカメラ171,172,173のそれぞれからの撮像画像情報については、画像登録メモリ211に記憶されている画像と比較してパターンマッチングを行い、両者の一致あるいは両者の所定の類似度レベル以上での類似を検出することで、掃除対象物以外の異物を認識する。
 そして、カメラ174からの撮像画像情報についても、登録された撮像画像とのパターンマッチングによる比較により画像認識するようにしてもよいが、カメラ174は、吸引ホース11と掃除機本体10、集塵室101との結合部における撮像画像であるので、画像認識が困難である可能性がある。そこで、この実施形態では、カメラ174からの撮像画像情報については、画像認識部210は、吸引ホース11を通じて集塵室101に吸引されてくる掃除対象物及び掃除対象物以外の異物の大きさが予め設定された大きさ以上のものであるか否かを判定して、また、貴金属のように光を当てた時の反射光の光度が所定以上であるものであるか否かを判定して、掃除対象物以外の異物であるか否かを認識するようにする。
 画像登録メモリ211には、電気掃除装置1の製造会社側で工場出荷前に、予め、掃除対象物以外の異物として想定された物の撮像画像情報が登録されて記憶されている。この場合に、画像登録メモリ211には、一つの異物について登録画像情報として、カメラ171、172、173のそれぞれで撮影された複数個の画像情報が記憶される。また、カメラ171、172、173のそれぞれで撮影された画像情報のそれぞれについて、前から、後ろから、左横から、右横から、などの複数の撮像方向からの画像情報が画像登録メモリ211には記憶されている。これらの異物の登録画像情報は、それぞれの異物に付与されている識別情報(以下、異物IDと称する)に対応付けられて、画像登録メモリ211に記憶されている。
 そして、この実施形態では、画像登録メモリ211には、異物の名称を表示画面16Dに異物の画像と共に表示するためのテキスト文字情報が、異物IDに対応付けられて記憶されている。さらに、画像登録メモリ211には、登録された異物を認識したときの電気掃除装置1の吸引駆動部102に対する吸引駆動制御の態様として、この実施形態では、「吸引駆動停止」または「吸引駆動継続(制御不要)」が、登録された異物の異物IDに対応付けられて記憶される。なお、吸引駆動制御の態様としては、「吸引ターボ駆動」、「吸引駆動強め」または「吸引駆動弱め」、「吸引駆動最弱」など、その他種々の態様を設定するようにすることもできる。また、例えば、異物を認識したときに「吸引駆動停止」の代わりに、「吸引駆動弱め」あるいは「吸引駆動最弱」にし、その後、使用者が、表示画面16Dの画像を見て認識した異物が吸い込んでも良いものであると判断したときには、「吸引ターボ駆動」あるいは「吸引駆動強め」に制御して異物を吸引し、一方、表示画面16Dの画像を見て認識した異物が吸い込んではいけないものであるときには、吸引駆動を停止するように制御するようにすることもできる。
 また、この実施形態では、予め製造会社側で用意された画像情報のみではなく、使用者が、電気掃除装置1で掃除対象物以外の異物として認識させたい物の画像を登録して、この画像登録メモリ211に記憶することができるように構成されている。
 すなわち、この実施形態の電気掃除装置1においては、使用者による掃除対象物以外の異物の撮像画像の登録機能を備えている。使用者が、この異物の撮像画像の登録機能を選択すると、表示部16の表示画面16Dには、異物の登録画像の登録手順がメッセージやアニメーションにより表示される。使用者は、この表示画面16Dの登録手順のメッセージやアニメーションを観ながら異物の登録画像の登録処理を行うことができる。
 例えば、表示画面16Dには、まず、登録したい異物を被写体として、カメラ171、172,173により撮像するよう促す画面が表示される。そして、カメラ171、172,173のそれぞれ毎についてのカメラと被写体との位置関係の指示がなされ、それぞれのカメラで撮像するように促される。使用者が、表示画面16Dに表示される登録手順に従って、カメラ171、172,173により撮像をすると、それらは、付与された異物IDに関連付けられて、画像登録メモリ211に記憶される。最後に、表示画面16Dには、異物の名称をテキスト文字で入力するように促す指示が表示され、使用者が登録する異物の名称を入力すると、その入力されたテキスト文字情報が、登録された異物の異物IDと対応付けられて、画像登録メモリ211に記憶される。
 最後に、登録された異物を認識したときの電気掃除装置1の吸引駆動部102に対する吸引駆動制御についての設定入力をするように促す指示が表示画面16Dに表示され、使用者が、「吸引駆動停止」または「吸引駆動継続(制御不要)」を入力して指示すると、画像登録メモリ211に、その吸引駆動制御態様が、異物の登録画像に対応付けられて記憶される。
 以上の説明は、電気掃除装置1が備えるカメラ171~173を用いた異物の画像の登録処理である。この実施形態では、異物の画像の登録処理は、このように電気掃除装置1が備えるカメラ171~173を用いて異物を撮像する方法のみではなく、外部インターフェース212を通じて、例えばUSBメモリやSDカードなどの記憶媒体を通じて、登録することもできるように構成されている。その場合に、USBメモリやSDカードなどの記憶媒体には、カメラ171~173で撮像したのと同様にして撮像した登録画像及び異物の名称、その吸引駆動制御態様が記憶され、その記憶された情報が、画像登録メモリ211に転送されて記憶される。
 なお、電気掃除装置1の製造会社等が運営するインターネット上のWebサイトに、種々の異物の撮像画像情報及びその異物の名称、その吸引駆動制御態様が用意しておくこともできる。この場合には、使用者は、例えばパーソナルコンピュータなどで、そのWebサイトにアクセスして、自分が登録したい異物の情報を取得して、USBメモリやSDカードに記憶し、外部インターフェース212を通じて画像登録メモリ211に転送して、異物の画像の登録をすることができる。もちろん、電気掃除装置1がネットワーク接続機能を備えていれば、パーソナルコンピュータがなくても、直接そのWebサイトにアクセスができる。
 図3に、画像登録メモリ211に記憶されている異物の例を示す。この図3の例において、画像登録メモリ211には、異物名称と、登録画像V01、V02、V03、・・・と、サムネイル画像SM01、SM02、SM03、・・・と、吸引駆動制御の態様とが、異物毎に割り当てられている異物の識別情報(異物ID)に対応付けられて記憶されている。この実施形態では、吸引駆動部102に対する吸引駆動制御の態様は、「吸引駆動停止」または「吸引駆動継続(制御不要)」とされている。
 登録画像V01、V02、V03、・・・のそれぞれは、前述したように、複数個の撮像画像の画像情報からなり、異物IDに対応付けられて一つの集合として保持されている。サムネイル画像SM01、SM02、SM03、・・・は、画像認識部210により異物が認識された時に、その認識された異物が何であるかを表示画面16Dに画像表示するために用いられるもので、カメラ171~173の撮像画像のうちの、当該異物を表すものとして使用者が容易に認識可能な撮像画像の縮小画像からなる。
 なお、サムネイル画像は、画像登録メモリ211に予め登録しておくのではなく、画像認識部210で異物が認識されたときに、その認識結果に基づいて、表示画像生成部213が、その認識した異物について登録されている撮像画像を画像登録メモリ211から取得して、生成するようにしてもよい。
 図3の例では、それぞれの異物を認識したときの吸引駆動制御の態様は、電気掃除装置1の故障や破損を避ける観点からと、吸い込まれてしまう異物の清浄性を確保したり破損を避けたりする観点からの両方の観点から、「(吸引動作)停止」と、「(吸引駆動制御)不要」とが記憶されている。
 すなわち、図3の例では、「レジ袋」や「ビニール袋」、「書類」、また、「コード」、「ピン、ネジ、釘」は、吸い込み口141で停止してしまったり、継手管13や吸引ホース11の途中で引っかかって継手管13や吸引ホース11を破損させたりする恐れがあるために、電気掃除装置1の故障や破損を避ける観点から、吸引駆動制御の態様が「(吸引動作)停止」とされている。図3には例示していないが、「爪楊枝、針」なども同様である。
 また、図3の例においては、吸い込まれてしまう異物の清浄性を確保したり、汚損、破損を避けたりする観点から、「書類」、「マイクロSDカード」や「USBメモリ」は、吸引駆動制御の態様を「(吸引動作)停止」とされている。図3には例示していないが、「SDカード、SIMカード」なども同様である。図3の例においては、「紙幣」、「金貨、コイン」、「宝石」は、吸引駆動制御の態様を「(吸引駆動制御)不要」としたが、汚損や損傷をさけるために「(吸引動作)停止」としてもよい。図3には例示していないが、「小切手、切手」なども同様である。なお、吸引駆動制御の態様の設定は、使用者により変更可能とされるように構成してもよい。
 この実施形態では、画像認識部210は、上述のように画像登録メモリ211に記憶保持されている異物の複数個の登録画像のそれぞれと、撮像画像メモリ209を通じて受け取ったカメラ171、172、173のそれぞれで撮像された撮像画像とを、パターンマッチング処理により比較し画像認識を行う。そして、画像認識部210は、一つの異物についての複数個の登録画像のうちの一つでも、カメラ171、172、173からの撮像画像と一致あるいは所定の類似度レベル以上の類似度を示している異物を認識したときに、その登録画像の異物を認識したと判定し、その登録画像の異物の異物IDを画像認識結果として、表示画像生成部213に出力するようにする。このとき、画像認識部210で、異物を認識したカメラの撮像画像が、撮像画像メモリ209から表示画像生成部213に供給されて、画像認識結果の異物IDに対応付けられて保持される。
 また、画像認識部210は、異物を認識したと判定したときに、さらに、カメラ171,172,173のいずれのカメラの撮像画像について異物を認識したと判定したかを検知するようにする。すなわち、画像認識部210は、画像認識した異物と、異物を認識したのはカメラ171、172、173のいずれの撮像画像であるかを判定する。そして、異物を認識した撮像画像がいずれのカメラであるかに基づいて、画像認識部210は、認識した異物が掃除機本体10の集塵室101に吸い込まれているか、あるいは、吸い込まれずに、電気掃除装置1の外部に存在しているかを判定する。
 すなわち、画像認識部210は、吸い込み口141の近傍に配設されているカメラ171または172からの撮像画像について異物を認識したと判定したときには、その判定された異物は、集塵室101に吸い込んだ可能性が高いと認定する。そして、この実施形態では、画像認識部210は、カメラ174の撮像画像についての画像認識結果をさらに参照し、このカメラ174の撮像画像について異物を検出したか否かを判定して、認識された異物が集塵室101に実際に吸い込まれたか否かを判定するようにする。吸い込み口141の近傍に配設されているカメラ171または172からの撮像画像について異物を認識したと判定したときには、その判定された異物は、カメラ174の認識結果を参照せずに、集塵室101に吸い込んだと判定してもよいが、カメラ174からの撮像画像の認識結果を参照することで、集塵室101に吸い込まれているかどうかを、より高い確度で判定することができる。
 また、画像認識部210は、吸い込み部14の前方の画像を撮像するカメラ173からの撮像画像について、異物を認識したと判定したときには、さらに、カメラ174の撮像画像についての画像認識結果を常に参照して異物を検出したか否かを判定して、集塵室101に異物が吸い込まれたか否かを判定するようにする。
 以上のようにして、画像認識部210は、画像認識により異物を認識したときには、画像認識結果で認識した異物の異物IDに加えて、異物の所在地が内か外か、すなわち、集塵室101に吸い込まれているか(内か)、あるいは、吸い込まれずに、電気掃除装置1の外部に存在するか(外か)を判定する。そして、画像認識部210は、認識した異物の異物IDに、異物の所在地情報(内か外かの情報)を付加したものを画像認識結果として、表示画像生成部213に供給するようにする。
 さらに、この実施形態では、前述したように、画像認識部210で異物が認識されたときには、そのタイミング時点におけるカメラ173の撮像画像を、撮像画像メモリ209から表示画像生成部213に供給するようにする。表示画像生成部213では、このとき画像認識部210から送られてくる画像認識結果の異物IDに対応付けて、このカメラ173の撮像画像を記憶保持する。
 この記憶保持されるカメラ173からの撮像画像は、異物が画像認識された位置における吸い込み部14の前方の撮像画像であり、異物が画像認識された位置がどこかを判断するための周辺画像となる。使用者は、このカメラ173で撮像された異物が認識された位置の周辺画像を見ることで、その異物を、掃除を行った部屋のどこで認識したかの、大体の見当をつけることができる。
 表示画像生成部213は、表示制御部203を通じて表示部16に表示する表示画像情報を生成する。この実施形態では、前述した異物の登録処理の際のガイド画像を生成する機能のほか、画像認識部210から送られてくる画像認識結果の情報に基づいて、掃除動作中に認識した異物を使用者に報知する画像を生成するようにする。この実施形態では、掃除動作中に認識した異物の画像としては、画像登録メモリ211に記憶されている撮像画像の縮小画像であるサムネイル画像が用いられる。
 すなわち、表示画像生成部213は、画像認識部210からの異物の認識結果としての異物IDと、その所在情報と、異物認識時点のカメラ173の撮像画像を受け取る。そして、表示画像生成部213は、画像認識部210から取得した異物IDに基づいて画像登録メモリ211から、当該異物IDに対応付けられているサムネイル画像情報SMi(i=01,02,・・・・のいずれか)を取得して、図4(A)に示すように、そのサムネイル画像情報によるサムネイル画像221を、表示制御部203を通じて表示画面16Dに表示するようにする。
 また、表示画像生成部213は、図4(A)に示すように、それぞれのサムネイル画像221の表示欄に異物の名称欄222を設ける。そして、表示画像生成部213は、画像認識部210から取得した異物IDに基づいて、画像登録メモリ211から異物の名称を受け取り、当該異物の名称を異物の名称欄222に表示する。
 さらに、表示画像生成部213は、図4(A)に示すように、それぞれのサムネイル画像221の表示欄に、異物の所在地の表示欄223を設ける。そして、表示画像生成部213は、異物IDと共に画像認識部210から送られてくる所在情報から、その異物の所在地が内か外かを表す付加表示情報を生成し、生成した所在地情報を、図4(A)に示すように、表示欄223に表示するようにする。図4(A)において、表示欄223に「内」と表示されている異物は、掃除機本体10の集塵室101内に存在することを示し、「外」と表示されている異物は、吸い込まれずに、外部に存在することを示している。
 表示画像生成部213は、掃除動作中に異物の認識結果を画像認識部210から受信するごとに上記の動作を行って、図4(A)に示すように、表示画面16Dに、認識した異物のサムネイル画像221を追加表示してゆく。これにより、図4(A)に示すように、掃除動作の終了時には、掃除動作中に認識された異物の一覧が、サムネイル画像の一覧として、表示画面16Dに表示される。
 前述したように、異物のそれぞれについて、吸引駆動制御の態様が画像登録メモリ211に登録されて記憶されており、画像認識部210で認識した異物の吸引駆動制御態様が「(吸引動作)停止」とされているときには、吸引駆動部102が強制的に駆動停止制御される。そこで、この実施形態では、表示画像生成部213は、画像認識部210からの画像認識結果の異物IDに対応する異物の吸引駆動制御態様が「(吸引動作)停止」とされているときには、サムネイル画像221の表示欄に、吸引駆動停止制御の表示欄224を設け、その表示欄224に、吸引駆動停止制御がなされた旨を表す「停止」の文字を表示して、使用者に強制停止したときの異物が何であるかが分かるように報知するようにする。
 そして、この実施形態では、使用者が、表示画面16Dに表示されているサムネイル画像の一つをクリックすると、制御部201の制御に基づいて、表示画像生成部213は、そのクリックされたサムネイル画像が対応する異物IDを認識し、その認識した異物IDに対応して記憶保持している画像認識部210で異物を認識した撮像画像241を、図4(B)に示すように、例えば表示画面16Dの半分の領域に表示する。さらに、表示画像生成部213は、認識した異物IDに対応して記憶保持しているカメラ173の撮影画像(周辺画像)242を、図4(B)に示すように、表示画面16Dの残りの領域に表示する。
 図4(B)の例は、指輪のサムネイル画像が使用者によりクリックされた場合を示しており、撮像画像241は、カメラ171または172のいずれかで撮影された指輪の撮像画像である。また、撮像画像242は、その指輪を電気掃除装置1が吸い込んだ位置の前方の周辺画像であり、図4(B)の例では、2つの家具の隙間を撮影している状態を示している。
 使用者は、撮像画像241を見ることで、画像認識された異物を正確に知ることができ、また、その異物がどこの場所を掃除しているときに画像認識したかを、撮像画像242から知ることができる。
 次に、アラーム駆動部214には、アラーム発生部215が接続される。アラーム駆動部214は、画像認識部210で異物が認識されたときに、その画像認識結果に基づいて、アラーム発生部215を制御して、アラームを発生させ、使用者に異物を認識したことを知らせるようにする。前述したように、画像認識部210で異物が認識されたときには、その画像認識結果に基づいて、認識された異物のサムネイル画像が表示画面16Dに表示されるので、この異物のサムネイル画像の表示に連動して(同期して)、アラーム発生部215からアラームが発生する。使用者は、アラームの発生により、画像認識部210での異物の認識を知り、表示画面16Dに表示されているサムネイル画像を見ることで、認識された異物が何であるかを知る。
 アラーム発生部215は、この例ではブザー音発生部からなる。なお、アラーム発生部215は、ブザー音の発生部に限らず、バイブレータなどの振動発生部で構成されていてもよいし、アラーム音声やアラーム音楽を放音するスピーカであってもよい。また、アラーム音と振動とを組み合わせてもよい。
 また、この実施形態では、アラーム発生部215は、表示画面16Dに表示される画像認識された異物のサムネイル画像を、フラッシングさせるようにする。これにより、後述するように、表示画面16Dに、複数個の異物のサムネイル画像が表示されていても、当該タイミングで認識された異物が何であるかを、使用者が容易に認知することができるように構成されている。
 なお、図2に示した制御回路部20の構成において、画像認識部210、表示画像生成部213及びアラーム駆動部214は、制御部201を構成するマイコンが、そのソフトウエア機能として実現するようにすることもできる。
 [電気掃除装置1の制御回路部20における処理動作の説明]
 図5は、第1の実施形態の電気掃除装置1の制御回路部20での処理動作の流れを説明するためのフローチャートである。以下の図5のフローチャートの説明では、制御部201が、画像認識部210、表示画像生成部213及びアラーム駆動部214の機能をソフトウエア機能として実現した場合としている。
 まず、制御部201は、操作部インターフェース204を通じて操作部15を通じて使用者の操作入力を監視して、吸引駆動スタートボタンが押下されるのを待つ(ステップS101)。このステップS101で、吸引駆動スタートボタンが押下されたと判別したときには、制御部201は、駆動制御部202を通じて吸引駆動部102に吸引駆動開始制御信号を供給して、吸引駆動を開始させると共に、カメラ171~174のそれぞれに対して、カメラ撮影開始制御信号を供給して、カメラ撮影を開始させるようにする(ステップS102)。
 そして、制御部201は、カメラ171~174からの撮像画像情報に対して、上述したような画像認識処理を実行し(ステップS103)、異物を認識したか否か判別する(ステップS104)。このステップS104で、異物を認識してはいないと判別したときには、制御部201は、操作部インターフェース204を通じて操作部15を通じて使用者の操作入力を監視して、吸引駆動停止ボタンが押下されたか否か判別する(ステップS105)。
 そして、このステップS105で、吸引駆動停止ボタンが押下されてはいないと判別したときには、制御部201は、処理をステップS103に戻し、このステップS103以降の処理を繰り返す。また、ステップS105で、吸引駆動停止ボタンが押下されたと判別したときには、制御部201は、駆動制御部202を通じて吸引駆動部102に吸引駆動停止制御信号を供給して、吸引駆動を停止させると共に、カメラ171~174のそれぞれに対して、カメラ撮影停止制御信号を供給して、カメラ撮影を終了させるようにする(ステップS106)。そして、制御部201は、処理をステップS101に戻し、このステップS101以降の処理を繰り返す。
 そして、ステップS104で、異物を認識したと判別したときには、制御部201は、アラーム発生部215によりアラームを鳴らすと共に、認識した異物のサムネイル画像を、表示画面16Dに表示する。このとき制御部201は、上述したようにして、異物が集塵室101に在るか、吸い込まれずに外部に在るかを判定し、その判定結果を、図4(A)に示したように、サムネイル画像に付加表示する(ステップS107)。
 次に、制御部201は、画像登録メモリ211の記憶内容を参照して、認識した異物の異物IDに対応して記憶されている吸引駆動制御態様の情報を取得し、吸引動作の強制停止が必要か否か判別する(ステップS108)。
 このステップS108で、吸引動作の強制停止が必要ではないと判別したときには、制御部201は、吸引駆動部102の吸引動作を継続させ(ステップS109)、処理をステップS105に戻し、このステップS105以降の処理を繰り返す。
 なお、このとき、電気掃除装置1での処理としては吸引動作を継続するように制御するが、使用者は、ステップS107でのアラームの発生及び表示画面16Dのサムネイル画像を見て、必要に応じて、駆動停止ボタンを押下することができる。すると、制御部201は、その駆動停止ボタンの押下を、ステップS105で判別して、吸引駆動を停止させる。
 次に、ステップS108で、吸引動作の強制停止が必要であると判別したときには、制御部201は、吸引駆動部102の吸引動作を停止させる制御信号を吸引駆動部102に供給し、吸引動作を強制的に停止する。そして、この強制的な吸引動作の停止状態においては、操作部15を通じた吸引動作の再スタートなどの操作ができないようにロック状態とする(ステップS110)。
 このロック状態は、使用者が、吸い込み口141近傍にある異物を取り除いたり、集塵室101を開けて、異物を取り除いたりした後、操作部15を通じてロック解除の操作入力をすると、解除される。
 制御部201は、ステップS110の次には、ロック解除されたか否か判別し(ステップS111)、ロック解除されていないと判別したときには、再スタートなどの操作入力に対しては、無視する不感処理を行う(ステップS112)。このステップS112の次には、制御部201は、処理をステップS111に戻し、このステップS111以降の処理を繰り返す。
 また、ステップS111でロック解除されたと判別したときには、制御部201は、処理をステップS101に戻し、このステップS101以降の処理を繰り返す。
 なお、以上の説明では、異物の認識に応じて吸引駆動を停止させたときには、通常のスタートボタンによる操作に対しては不感状態とするロック状態とし、このロック状態を解除操作した後に、再スタートをさせるようにした。しかし、認識した異物によっては、吸い込み口141近傍にある異物を取り除いたり、集塵室101を開けて、異物を取り除いたりする必要がないものもある。そして、この実施形態では、使用者は、電気掃除装置1が認識した異物を表示画面16Dで認識することができる。以上のことを考慮して、電気掃除装置1の操作部15に、表示画面16Dで確認した使用者が上述のようなロック解除操作をすることなく吸引駆動を再スタートさせることができるようにする一発掃除継続ボタンを、設けるようにすることもできる。
 [第1の実施形態の効果]
 以上説明したように、上述の第1の実施形態の電気掃除装置1は、掃除動作中に、想定された掃除対象物以外の異物を画像認識により検出し、その検出した異物のサムネイル画像を表示画面16Dに表示すると共に、アラームにより異物の検出を報知するようにする。したがって、使用者は、アラームにより異物の検出を知り、表示画面16Dのサムネイル画像を見ることにより、その異物が何であるかを即座に知ることができる。この場合に、使用者は、冒頭で説明した先行文献の場合のような再生操作は全く不要であり、非常に便利である。
 そして、使用者は、サムネイル画像で検出された異物を確認した後、吸引動作を停止した方が良いかどうかを判断することができ、便利である。その上、この第1の実施形態においては、予め強制的に吸引動作を停止した方が良い異物については、そのことを登録しておくことで、自動的に吸引動作を停止させることができ、電気掃除装置1の破損などを防止し、また、清浄に保ちたい異物が、集塵室101に吸引されてしまわないようにすることができる。
 また、認識された異物のサムネイル画像には、当該異物が集塵室101に吸引されて存在しているか、あるいは、吸い込まれずに外部に在るかを示す付加表示がなされているので、使用者は、容易に異物の存在場所を知ることができる。
 さらに、この実施形態においては、表示画面16Dに表示されているサムネイル画像が使用者によりクリックされると、検出された異物の実際の撮像画像が表示されると共に、その異物が画像認識された掃除位置の吸い込み部14の前方の周辺撮像画像が表示される。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを知ることができて便利である。
 特に、家具の隙間やベッドの下などに隠れていた異物を認識したときには、異物が画像認識された掃除位置の吸い込み部14の前方の周辺撮像画像から、その異物を吸い込んでいなくても、異物の所在場所を認定することができる。そして、この実施形態の電気掃除装置1は、カメラ173の撮像画像の認識結果から、電気掃除装置1が掃除対象としていない場所や掃除が不可能な場所における異物をも認識することができる。したがって、この実施形態の電気掃除装置1は、使用者が紛失してしまったと思っていたものを、掃除対象床面などに在るか否かにかかわらず、異物として認識し、使用者にその存在位置と共に知らせることができ、非常に便利である。なお、家具の隙間やベッドの下などにおいては、カメラに付加されている照明部により明るく照明されて、カメラにより撮像されるものであることは言うまでもない。
 また、冒頭で説明した特許文献1の電気掃除機は、吸い込み口の面積より大きいと判断した物に対しては、吸引動作を停止することができるが、大きさが吸い込み口の面積と比較して大きいかどうかの判断が困難である電気コンセントコードやACアダプタケーブルなどの紐状の物や、レジ袋などは吸引を停止しない恐れがある。また、吸い込み口の面積よりも小さいものであっても、吸い込まない方がよいと考えられる異物、例えばマイクロSDカード、SDカードやSIMカードなどの小型のメディアや、尖ったネジや釘などを吸い込まないようにすることはできないという問題がある。
 これに対して、上述した第1の実施形態の電気掃除装置によれば、電気コンセントコードやACアダプタケーブルなどの紐状の物や、レジ袋、マイクロSDカード、SDカードやSIMカードなどの小型のメディアや、ネジや釘などは、画像登録メモリに登録しておくと共に、吸引動作を停止制御するように定義しておくようにしているので、それらの吸引動作を停止制御すべき異物は画像認識により確実に認識して、停止制御することができるという効果がある。
 また、上述した第1の実施形態の電気掃除装置によれば、掃除動作を終了したときには、その掃除動作中に画像認識した異物のサムネイル画像の一覧が表示画面に表示されるので、使用者は、その一覧画像を見ることで、集塵室から取り出す必要がある異物があるか否かを容易に知ることができる。しかも、サムネイル画像をクリックすると、実際に撮像された異物の画像が表示画面に拡大表示されるので、サムネイル画像では詳細が不明で不確かな異物であっても、その撮像画像の拡大画像により、異物を確実に確認することができる。
 [第2の実施形態]
 第2の実施形態の電気掃除装置は、自走式の電気掃除機と、表示部を備える携帯機器、例えば携帯電話端末とからなる。この第2の実施形態では、自走式の電気掃除機と、携帯電話端末とは無線通信路を通じて接続される。無線通信路は、以下の例では、Bluetooth(登録商標)規格の近距離無線通信路が用いられる。無線通信路は、これに限らず、Wi-Fi(登録商標)などの無線LAN(Local Area Network)や、その他の無線通信手段を用いることもできる。
 [電気掃除機30の概要]
 図6は、第2の実施形態の電気掃除装置を構成する自走式の電気掃除機30を説明するための図である。図6(A)は、この例の自走式の電気掃除機30を、その吸い込み口31を備える底面30a側を示す図、図6(B)は、この例の自走式の電気掃除機30を、掃除動作時の進行方向から見た図である。なお、図6(A)において、矢印ARは、自走式の電気掃除機30の掃除動作時の進行方向(前方方向)を示している。
 図6(A)に示すように、自走式の電気掃除機30は、ほぼ円盤形状の筐体を備え、その底面30aに吸い込み口31が設けられている。そして、電気掃除機30の筐体内には、図6(B)において点線で示すように、吸い込み口31に連通して、吸い込んだ掃除対象物及び掃除対象物以外の異物を捕集する集塵室32が設けられている。なお、図6では、図示を省略したが、電気掃除機30の筐体内には、集塵室32に掃除対象物及び掃除対象物以外の異物を吸い込むようにするための吸引駆動部が設けられている。
 この実施形態の電気掃除機30は、図6(A)に示すように、吸い込み口31内に、フレキシブルブラシ33及びローリングブラシ34を備える。そして、電気掃除機30の筐体の底面30aの吸い込み口31位置に対して掃除動作時の進行方向の前方のほぼ中央には、ローラ35が設けられている。このローラ35は、その回転軸の軸方向が底面30aに平行な面内において回動可能に取り付けられている。このため、ローラ35の回転軸の軸心方向は、矢印ARに直交する方向のみならず、任意の方向を向くことが可能とされている。そして、底面30aの吸い込み口31の両側には、図6では図示を省略する走行駆動部により回転駆動される車輪(ホイール)36,37が設けられている。
 車輪36,37が走行駆動部により駆動されて回転することにより、電気掃除機30は自力走行するが、前述したように、ローラ35は任意の方向を回転軸方向として回動可能であるので、電気掃除機30は、矢印ARの方向に直進走行するだけでなく、回転運動したり、矢印ARに対して交差する任意の方向を進行方向として走行移動したりすることが可能とされている。また、走行駆動部による車輪の回転方向制御により、電気掃除機30は、矢印ARとは逆側に後ろ向き走行することもできる。
 そして、この実施形態では、底面30aの吸い込み口31の近傍には、底面30aに垂直な方向を撮影方向(光軸方向)とするようにカメラ381及び382が設けられている。これらのカメラ381及び382は、第1の実施形態の電気掃除装置1におけるカメラ171及び172に対応する。
 また、電気掃除機30のローラ35の前方の筐体側面には、撮影方向(光軸方向)が底面30aにほぼ平行な方向となるようにカメラ383が設けられている。さらに、電気掃除機30のローラ35の後方の筐体側面には、撮影方向(光軸方向)が底面30aにほぼ平行な方向となるようにカメラ384が設けられている。カメラ383は、自走式の電気掃除機30の走行方向の前方を所定の画角で撮影する。また、カメラ384は、自走式の電気掃除機30の走行方向の後方を所定の画角で撮影する。これらカメラ383,384は、第1の実施形態の電気掃除装置1におけるカメラ173に対応する。
 すなわち、第2の実施形態においては、異物を認識した位置の周辺画像は、電気掃除機30の進行方向の前方の撮像画像のみではなく、後方の撮像画像をも、認識した異物(異物ID)と対応付けて記憶するようにする。
 なお、カメラ383及び384は、所定の画角を有するので、少なくとも電気掃除機30の進行方向の清掃対象の床面を撮像可能であれば、その撮影方向(光軸方向)は底面30aに平行である必要はない。
 この第2の実施形態では、電気掃除機30は画像認識機能を有せず、また、表示部も有しない。これらの画像認識機能及び表示部は、電気掃除機30と無線通信路を通じて接続される携帯電話端末が備えるものとされる。
 以上の4個のカメラ381~384は、第1の実施形態と同様に、例えばCCD撮像素子や、CMOS撮像素子と撮像レンズを含んで構成されている。
 [第2の実施形態の電気掃除装置の回路構成]
 図7は、この第2の実施形態の電気掃除機30と、当該電気掃除機30と無線接続される携帯電話端末40の電気的回路構成を示す図である。
 すなわち、電気掃除機30は、電気的回路構成として、図7に示すように、マイクロコンピュータを搭載する制御部301に対して、システムバス300を通じて、駆動制御部302と、送信画像情報生成部303と、操作部304と、無線通信部305と、カメラ381,382,383,384が接続されている。この図7では、説明を簡単にするために、カメラインターフェースは図示を省略してある。
 駆動制御部302に対しては、吸引駆動部306と、走行駆動部307が接続されている。吸引駆動部306は、吸い込み口31から掃除対象物及び吸い込み可能な掃除対象物以外の異物を吸引するためのものである。走行駆動部307は、車輪(ホイール)36,37を回転駆動させて、電気掃除機30を自分自身で走行(自走)させるようにする。
 制御部301は、操作部304に設けられている掃除開始ボタンの押下操作入力を受けたときには、駆動制御部302を通じて、駆動開始制御信号を吸引駆動部306及び走行駆動部307に供給して駆動を開始させ、電気掃除機30による自走しながらの自動掃除動作を開始させるようにする。また、制御部301は、操作部304に設けられている掃除停止ボタンの押下操作入力を受けたとき、あるいは、制御部301に内蔵するメモリに記憶されている掃除支援プログラムに基づいて掃除が完了したと判断したときには、駆動制御部302を通じて、駆動停止制御信号を吸引駆動部306及び走行駆動部307に供給して、吸引駆動部306及び走行駆動部307の駆動を停止させ、電気掃除機30による掃除動作を停止させるようにする。
 さらに、この第2の実施形態においては、制御部301は、内蔵するメモリに記憶されている掃除支援プログラムに基づいて、無線通信部305を通じて携帯電話端末40から強制停止制御信号を受信したときには、当該強制停止制御信号を、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に供給して、その駆動を強制停止させ、電気掃除機30による掃除動作を強制停止させるようにする。
 カメラ381~384のそれぞれは、第1の実施形態と同様にして、制御部301により、掃除動作中は撮像動作を行うように制御される。なお、この第2の実施形態においても、カメラ381,382,383,384のそれぞれには、例えばLEDからなる照明部381L,382L,383L,384Lが付加されており、第1の実施形態と同様にして、制御部301により点灯制御される。
 送信画像情報生成部303は、電気掃除機30が掃除動作中において、カメラ381~384のそれぞれからの撮像画像情報の送信画像情報を生成する。この場合に、送信画像情報生成部303は、カメラ381~384のそれぞれからの撮像画像情報には、いずれのカメラの撮像画像情報であるかのカメラ識別情報(カメラID)を付与するようにする。また、送信画像情報生成部303は、カメラ381~384のそれぞれからの撮像画像情報を、適宜、データ圧縮などのエンコード処理を施して、送信画像情報を生成し、無線通信部305に転送する。
 無線通信部305は、前述したように、この実施形態では、Bluetooth(登録商標)規格の近距離無線通信の機能を有する。無線通信部305は、送信画像情報生成部303からの送信画像情報を、携帯電話端末40に無線送信するようにする。無線通信部305は、また、携帯電話端末40から送られてくる画像認識結果に基づく強制停止制御信号を受信して、システムバス300を通じて制御部301に渡す。
 前述したように、制御部301は、無線通信部305を通じて強制停止制御信号を受信すると、当該強制停止制御信号を、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に供給して、その駆動を強制停止させ、電気掃除機30による掃除動作を強制停止させるようにする。
 なお、図7の電気掃除機30の構成において、駆動制御部302及び送信画像情報生成部303の機能は、制御部301がソフトウエア機能として構成することができるものである。
 次に、この第2の実施形態で用いられる携帯電話端末40の構成例を説明する。この実施形態における携帯電話端末40は、いわゆるスマートフォン(図8ではスマホと略称した)と呼ばれる高機能携帯電話端末の構成である。すなわち、この例の携帯電話端末40は、マイクロコンピュータを備える制御部401により、後述する各部が制御される構成を備える。
 制御部401には、システムバス400を介して、無線通信部402と、表示制御部403と、タッチパネルインターフェース404と、撮像画像記憶部405と、画像認識部406と、画像登録メモリ407と、外部インターフェース408と、表示画像生成部409と、携帯電話機能部410と、カメラ部411とが接続されている。
 無線通信部402は、前述したように、この実施形態では、Bluetooth(登録商標)規格の近距離無線通信機能を有し、電気掃除機30との間で無線通信する。この無線通信部402は、携帯電話端末40が携帯電話基地局を介して行う携帯電話通信とは全く独立した無線通信を行う。
 表示制御部403には、例えばLCDからなる表示部412が接続されている。タッチパネルインターフェース404には、タッチパネル413が接続されている。タッチパネル413は、指やペン型の位置指示器によるタッチ操作入力を受け付け、そのタッチ操作入力がなされた位置情報を出力する。タッチパネル413は、透明のもので、表示部412の表示画面、この例ではLCD画面に重畳されて配設されている。利用者は、このタッチパネル413を通じて、表示部412の表示画面に表示されている表示画像を観視することができ、このタッチパネル413に対して、あたかも表示画像に対してタッチ操作入力するように指示操作入力をすることができる。タッチパネル413からのタッチ操作入力の位置情報は、表示画面に表示されている表示画像上の位置情報に対応している。
 制御部401は、タッチパネルインターフェース404を通じてタッチパネル413からのタッチ操作入力の位置情報を受けて、利用者によるタッチパネル413での指示操作入力およびその操作位置に応じて設定された制御処理を判別して、その判別結果に応じた制御処理を実行する。なお、タッチパネル413からのタッチ操作入力の位置情報に応じた処理機能を制御部401が実行するための処理プログラムは、制御部401が内蔵するメモリに格納されている。
 表示制御部403は、第1の実施形態における表示制御部203と同様の機能を備え、表示部412の表示画面に表示する表示画像データを格納するビデオRAMを有し、制御部401の制御に基づき、携帯電話端末40としての画像表示を行うと共に、後述する掃除支援プログラムを起動させたときには前述したサムネイル画像等を表示する。
 撮像画像記憶部405は、無線通信部402を通じて電気掃除機30から送られてくる送信画像情報から、カメラ381~384の撮像画像情報のそれぞれをデコードして分離して、画像認識部406での画像認識用として一時記憶する。そして、撮像画像記憶部406は、送信画像情報からカメラ381~384の撮像画像情報のそれぞれをデコードして分離する機能を除くと、第1の実施形態の撮像画像メモリ209と同様の機能を備える。
 画像認識部406は、電気掃除機30における掃除動作を支援するプログラムが起動されているときに起動されて、前述した第1の実施形態の画像認識部210と同様の処理動作を実行する。ただし、この第2の実施形態においては、画像認識部406で異物が認識された時には、制御部301は、認識された異物の異物IDに対応して画像登録メモリ407に記憶されている吸引駆動制御態様を参照するが、当該吸引駆動制御態様が停止(強制停止)であったときには、強制停止制御信号を、無線通信部402を通じて電気掃除機30に無線送信するようにする。
 また、画像登録メモリ407も、前述した第1の実施形態の画像登録メモリ211と同様の機能を有する。すなわち、この第2の実施形態では、第1の実施形態における表示部16の代わりに、携帯電話端末40の表示部412を用いることで、第1の実施形態で説明したのと同様にして、カメラ381~384で撮像した異物の撮像画像を、画像登録メモリ407に登録して記憶させることができる。また、この第2の実施形態においては、第1の実施形態と同様に、外部インターフェース408を通じて、USBメモリやSDカードから異物の撮像画像を、画像登録メモリ407に登録して記憶させることができる。また、携帯電話端末40が備えるカメラ部411で異物を撮像して、画像登録メモリ407に登録して記憶させることもできる。さらには、携帯電話機能部410により、インターネットを通じて異物の撮像画像を保持しているWebサイトのサーバにアクセスして、当該サーバから必要な異物の撮像画像を取得して、それを画像登録メモリ407に登録して記憶させることもできる。
 以上の画像登録メモリ407への異物の画像の登録のための処理を支援するプログラムは、予め、インターネットを通じて電気掃除機30の機能を支援するWebサイトのサーバからダウンロードされて、携帯電話端末40の制御部401が内蔵するメモリに格納される。また、後述する電気掃除機30の掃除動作時の異物認識を実行する掃除支援プログラムも、同様にして、前記サーバからダウンロードされて、携帯電話端末40の制御部401が内蔵するメモリに格納される。
 表示画像生成部409は、電気掃除機30における掃除動作を支援するプログラムが起動されているときに起動されて、第1の実施形態の表示画像生成部213と同様の処理動作を行う。
 携帯電話機能部410は、送話器部、受話器部を含み、携帯電話網を通じた通話や電子メールなどの携帯電話の機能を実行する処理機能部である。この実施形態では、携帯電話の機能は、この発明とは直接には関係が無いので、この明細書では、その詳細な説明は省略する。
 なお、図7の携帯電話端末40の構成において、画像認識部406、撮像画像記憶部405のメモリを除く処理機能部分及び表示画像生成部409の機能は、制御部401がソフトウエア機能として構成することができるものである。
 [第2の実施形態における掃除動作時の処理の説明]
 この第2の実施形態においては、使用者は、電気掃除機30の操作部304の掃除開始ボタンを押下するに先立ち、携帯電話端末40において、電気掃除機30における掃除動作を支援するプログラムを起動させるようにする。そして、使用者が、電気掃除機30の操作部304の掃除開始ボタンを押下すると、電気掃除機30及び携帯電話端末40において、以下に説明するような処理動作が実行される。
 図8は、この時の電気掃除機30における処理動作の流れの例を説明するためのフローチャートである。また、図9は、掃除支援プログラムが起動されているときの携帯電話端末40の処理動作の流れの例を説明するためのフローチャートである。
 まず、図8を参照して、電気掃除機30の処理動作について説明する。なお、以下の説明は、制御部301は、駆動制御部302及び送信画像生成部303の機能をソフトウエア機能として実行する場合としている。
 制御部301は、掃除スタートボタンが押下されたか否か判別して、掃除スタートされるのを待つ(ステップS301)。ステップS301で、掃除スタートボタンが押下されたと判別したときには、制御部301は、吸引駆動部306及び走行駆動部307を駆動開始させると共に、カメラ381~384のそれぞれに対して画像の撮像開始を指示する。さらに、無線通信部305により携帯電話端末40との無線通信路を生成して、携帯電話端末40と無線接続する(ステップS302)。
 そして、制御部301は、掃除動作中のカメラ381~384のそれぞれからの撮像画像を収集して、送信画像情報を生成し(ステップS303)、無線通信部305を通じて携帯電話端末40に送信する(ステップS304)。
 そして、制御部301は、無線通信部305の受信信号を監視して、携帯電話端末40から強制停止制御信号を受信したか否か判別する(ステップS305)。このステップS305で、強制停止制御信号を受信してはいないと判別したときには、制御部301は、掃除範囲の全ての掃除を完了したか否かにより、掃除の終了を検知したか否か判別し(ステップS306)、掃除の終了を検知していないときには、処理をステップS303に戻し、送信画像情報を生成して、携帯電話端末40に無線送信しながら、掃除動作を継続するようにする。
 そして、ステップS305で、強制停止制御信号を携帯電話端末40から受信したと判別したときには、制御部301は、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示する。さらに、無線通信部305により携帯電話端末40との無線通信路を切断する(ステップS307)。
 ステップS306で、掃除の終了を検知したときにも、制御部301は、処理をステップS307に進め、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示し、さらに、無線通信部305により携帯電話端末40との無線通信路を切断する。
 以上で、電気掃除機30での掃除動作時の処理は終了となる。
 次に、図9を参照して、携帯電話端末40での処理動作について説明する。なお、以下の説明は、制御部401は、画像認識部406、撮像画像記憶部405のメモリを除く処理機能部分及び表示画像生成部409の機能をソフトウエア機能として実行する場合としている。
 まず、制御部401は、掃除支援プログラムが起動されたか否か判別する(ステップS401)。このステップS401で、掃除支援プログラムが起動されてはいないと判別したときには、制御部401は、他の処理を実行し(ステップS402)、当該他の処理を終了した後、処理をステップS401に戻す。
 そして、ステップS401で、掃除支援プログラムが起動されたと判別したときには、制御部401は、無線通信部402により電気掃除機30との無線通信路を生成する(ステップS403)。その後、制御部401は、生成された無線通信路を通じて電気掃除機30から送られてくる送信画像情報を受信して、カメラ381~384のそれぞれからの撮像画像情報を分離して取得し、第1の実施形態と同様にして、カメラ381~384のそれぞれからの撮像画像と、画像登録メモリ407に記憶されている異物の画像とのパターンマッチングによる比較により画像認識処理を実行する(ステップS404)。
 そして、制御部401は、ステップS404での画像認識の結果、異物を認識したか否か判別する(ステップS405)。このステップS405で、異物を認識してはいないと判別したときには、制御部401は、電気掃除機30により無線通信路が切断されたか否か判別する(ステップS409)。そして、このステップS409で、無線通信路が切断されたと判別したときには、制御部401は、電気掃除機30における掃除動作が停止したと判断して、この処理ルーチンを終了する。
 また、ステップS409で、無線通信路が切断されてはいないと判別したときには、制御部401は、電気掃除機30における掃除動作は継続していると判断して、処理をステップS404に戻し、このステップS404以降の処理を繰り返す。
 そして、ステップS405で、画像認識の結果、異物を認識したと判別したときには、制御部401は、アラームを鳴らすと共に、認識した異物のサムネイル画像を、表示部412の表示画面に表示する。アラームは、携帯電話機能部410が備える着信音のいずれかを用いたり、バイブレータによる振動を併用したりすることで行うことができる。このとき制御部401は、第1の実施形態で説明したように、異物が集塵室32内に在るか、吸い込まれずに外部に在るかを判定し、その判定結果を、図4(A)に示したように、サムネイル画像に付加表示する(ステップS406)。
 次に、制御部401は、画像登録メモリ407の記憶内容を参照して、認識した異物の異物IDに対応して記憶されている吸引駆動制御態様の情報を取得し、掃除動作の強制停止が必要か否か判別する(ステップS407)。
 このステップS407で、掃除動作の強制停止が必要ではないと判別したときには、制御部401は、強制停止制御信号を生成せずに、電気掃除機30における掃除動作を継続させ、処理をステップS404に戻し、このステップS404以降の処理を繰り返す。
 次に、ステップS407で、掃除動作の強制停止が必要であると判別したときには、制御部401は、吸引駆動部306及び走行駆動部の駆動を停止させる強制停止制御信号を生成し、無線通信部402を通じて電気掃除機30に送信する(ステップS408)。その後、制御部401は、処理をステップS409に進め、このステップS409で、無線通信路が切断されたと判別するのを待って、この処理ルーチンを終了する。
 [第2の実施形態の効果]
 以上のようにして、この第2の実施形態の電気掃除装置によれば、自走式の電気掃除機30による掃除動作中に、想定された掃除対象物以外の異物を画像認識により検出し、その検出した異物のサムネイル画像を、携帯電話端末40の表示部412の表示画面に表示すると共に、アラームにより異物の検出を報知することができる。
 したがって、使用者は、アラームにより自走式の電気掃除機30が異物を検出したことを知り、携帯電話端末40の表示画面のサムネイル画像を見ることにより、その異物が何であるかを即座に知ることができる。この場合に、使用者は、冒頭で説明した先行文献の場合のような再生操作は全く不要であり、非常に便利である。
 そして、この第2の実施形態の場合には、表示部は、自走式の電気掃除機30に設けられているのではなく、当該電気掃除機30とは無線接続により離隔した位置にある携帯電話端末40の表示部412を用いるようにするので、掃除中の自走式の電気掃除機30のところに出向いて表示画面を見る必要がなく、便利である。
 そして、この第2の実施形態においても、予め強制的に吸引動作を停止した方が良い異物については、そのことを登録しておくことで、自動的に吸引動作を停止させることができ、電気掃除機30の破損や故障などを防止し、また、清浄に保ちたい異物が、集塵室32に吸引されてしまわないようにすることができる。
 また、認識された異物のサムネイル画像には、当該異物が集塵室32に吸引されて存在しているか、あるいは、吸い込まれずに外部に在るかを示す付加表示がなされているので、使用者は、容易に異物の存在場所を知ることができる。
 なお、この第2の実施形態においても、表示部412の表示画面に表示されているサムネイル画像が使用者によりクリックされると、検出された異物の実際の撮像画像が表示されると共に、その異物が画像認識された掃除位置の吸い込み部の前方及び後方の周辺撮像画像が表示されるようにされる。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを容易に知ることができて便利である。
 [第2の実施形態の変形例]
 なお、以上の第2の実施形態の説明では、電気掃除機30の掃除開始及び停止は、当該電気掃除機30が備える操作部304に設けられる操作ボタンを操作することにより行うようにしたが、携帯電話端末40で掃除支援プログラムが起動されているときには、電気掃除機30の掃除開始及び停止も、携帯電話端末40のタッチパネル413を通じて指示することができるように構成することができる。
 また、上述の第2の実施形態では、電気掃除機30は画像認識部を備えなかったが、電気掃除機30にも、画像認識部を設けてもよい。その場合には、電気掃除機30の画像登録メモリには、使用者が異物を画像登録するようにし、携帯電話端末40の画像登録メモリ407には、Webサイトのサーバに保持されている異物の画像を、インターネットを通じて取得して、登録保持するようにするとよい。このようにすれば、使用者は、自分が特に異物として認識させたい物の画像のみを、電気掃除機30に登録するようにすればよく、その他の一般的な異物は、使用者が登録しなくても、携帯電話端末40で認識されるようにすることができる。
 さらに、電気掃除機30に画像認識部を設けた場合には、携帯電話端末40には、画像認識部を設けずに、携帯電話端末40は、表示機能のみを用いるようにしてもよい。
 なお、上述の第2の実施形態の説明では、携帯機器は、携帯電話端末40を用いた例としたが、表示部を備える携帯機器であればどのような携帯機器であってもよく、例えばパッド型携帯端末、タブレット型端末、ウェアラブル端末、パーソナルコンピュータであってもよい。また、携帯機器に限らず、デスクトップ型機器、据え置き型機器など、表示部を備える機器全般でも適用できる。
 また、第1の実施形態においても、第2の実施形態と同様、別体の表示部として、携帯電話端末を利用することもできる。一方、第2の実施形態においても、電気掃除機30に表示部を持たせ、別体の携帯電話端末を利用せず、第1の実施形態と同様の構成にすることもできる。
 なお、第2の実施形態においては、吸引駆動部306の吸引駆動制御態様については停止(強制停止)の例を示したが、第1の実施形態同様、「吸引ターボ駆動」、「吸引駆動強め」または「吸引駆動弱め」、「吸引駆動最弱」など、種々の態様が考えられる。
 また、第2の実施形態においては、吸引駆動制御態様のみならず、走行駆動部307の走行駆動制御態様も独立して、あるいは、吸引駆動制御と並行した制御態様として考えられ、停止(強制停止)の他、「走行駆動高速」、「走行駆動低速」、「走行駆動超低速」などの制御態様を用いることができる。また、走行駆動部307の走行駆動制御態様としては、例えばカメラ383の撮像画像から画像認識により検知した異物に応じて、電気掃除機が認識した異物を回避するように、「走行駆動右折」、「走行駆動左折」、あるいは「走行駆動前進」、「走行駆動後進」、さらに「走行駆動停止して右回転」、「走行駆動停止して左回転」など、多様な態様で走行駆動制御するようにしてもよい。この異物を回避するように走行制御する場合には、吸引駆動部306の吸引駆動制御は、合わせて行っても、また、行わなくてもよい。
 [第3の実施形態]
 第2の実施形態においては、画像認識処理が、電気掃除機30とは無線通信路を通じて接続された携帯機器で行われるために、接続された携帯機器の能力によっては、高度な画像認識処理ができない場合が想定される。第3の実施形態は、インターネット上のサーバ(クラウド)を用いて、その問題点を改善することができるように構成した例である。
 図10は、この第3の実施形態の電気掃除装置の電気的構成例を示すものである。この第3の実施形態の電気掃除装置は、自走式の電気掃除機30Aと、当該電気掃除機30Aと通信ネットワーク50を介して接続されるサーバ装置60とから構成される。通信ネットワーク50は、この例では、インターネットと、当該インターネットに接続可能である家庭内無線LANを含む。サーバ装置60は、例えば電気掃除機30Aに、掃除支援プログラムを提供する当該電気掃除機30Aの販売会社が運営するサーバ装置であり、この第3の実施形態では、後述するように、電気掃除機30Aから送られてくるカメラ381~384のそれぞれからの撮像画像情報について、異物の画像認識処理をする機能を備えている。
 自走式の電気掃除機30Aは、吸引掃除機能と走行機能に関しては、第2の実施形態の自走式の電気掃除機30と同様の構成を備える。しかし、この第3の実施形態の電気掃除機30Aは、画像認識された異物を表示するための表示部を備える点と、サーバ装置60からの画像認識結果を待って吸引制御及び走行制御を行うように構成した点が、第2の実施形態における電気掃除機30とは異なる。
 図10に示す電気掃除機30Aの構成において、第2の実施形態の電気掃除機30と同一部分には、同一参照符号を付して、その説明を省略する。すなわち、電気掃除機30Aにおいては、制御部301Aに対して、システムバス300を介して、第2の実施形態と同様に、駆動制御部302と、送信画像生成部303と、操作部304とが接続されると共に、これに加えて、さらに、表示部312が接続されている表示制御部311と、無線通信部313と、非掃除対象物検出部314と、現在位置検出部315とが接続される。
 表示部312は、例えばLCDからなり、図示は省略するが、電気掃除機30Aの筐体の前記底面30a(図6参照)とは反対側の上面に、その表示画面が露呈するように設けられている。
 無線通信部313は、通信ネットワーク50に含まれる当該電気掃除機30Aが使用される家庭などに設けられている無線LANに接続され、インターネットを通じてサーバ装置60との間で、通信ネットワーク50を通じて画像データや画像認識結果のデータのやり取りをするための通信機能を備える。なお、この第3の実施形態の電気掃除機30Aは、掃除動作を開始したときには、記憶されているサーバ装置60と通信路を接続するために、サーバ装置60のアドレス情報などを保持している。
 非掃除対象物検出部314は、登録されている画像と比較して画像認識するまでの機能は有しないが、カメラ381~384のそれぞれからの撮像画像について、大きさが予め設定された大きさ以上のものであるか否か、また、貴金属のように光を当てた時の反射光の光度が所定以上であるものであるか否かなどを判定して、掃除対象物以外の非掃除対象物つまり異物であるか否かを認識するようにする機能を有する。また、非掃除対象物検出部314においては、カメラ383及び384のそれぞれからの撮像画像については、掃除対象の床面に存在する物のみを、検出対象とするように構成されている。床面以外に存在する物は、掃除動作において、吸引駆動及び走行駆動に影響を与えないからである。
 現在位置検出部315は、この実施形態では、GPS(Global Positioning System)測位機能部を備え、電気掃除機30Aの現在位置を検出する。この実施形態では、検出された現在位置情報は、後述するように、電気掃除機30Aからサーバ装置60に送信するカメラ381~384のそれぞれからの撮像画像情報に付加される。この現在位置情報は、サーバ装置60における画像認識において、紙幣や身の回り品など、国や地域に応じた特有の物があることを考慮するために用いられる。
 前述したように、サーバ装置60は、電気掃除機30Aから送られてくるカメラ381~384のそれぞれからの撮像画像情報について異物の画像認識処理をする機能を備えている。図10に示すサーバ装置60の構成は、便宜上、この異物の画像認識処理機能部のみの構成を示したものである。
 すなわち、サーバ装置60は、通信ネットワーク50に接続されて、電気掃除機30Aと通信するための通信インターフェース601と、撮像画像記憶部602と、画像認識部603と、画像登録メモリ604と、認識異物情報生成部605を備えている。
 撮像画像記憶部602は、前述の第2の実施形態の携帯電話端末40における撮像画像記憶部405と同様の機能を備え、通信インターフェース601を通じて受信した電気掃除機30Aから送られてくる送信画像情報から、カメラ381~384の撮像画像情報のそれぞれをデコードして分離して、画像認識部603での画像認識用として一時記憶する。そして、撮像画像記憶部602は、送信画像情報からカメラ381~384の撮像画像情報のそれぞれをデコードして分離する機能を除くと、第1の実施形態の撮像画像メモリ209と同様の機能を備える。
 画像認識部603は、前述の第2の実施形態の携帯電話端末40における画像認識部406と同様の機能を備える。また、画像登録メモリ604も、前述した第1の実施形態の画像登録メモリ211と同様の機能を有するが、この第3の実施形態の画像登録メモリ604は、多種多様な異物の画像を登録して記憶保持する。また、画像登録メモリ604には、国や地域によって異なる異物、例えば紙幣や硬貨などに関しては、それが発行される国などの情報も合わせて記憶されている。
 なお、電気掃除機30Aからサーバ装置60に送られてくる撮像画像情報には、電気掃除機30Aの現在位置の情報が含まれている。サーバ装置60は、この現在位置の情報から、電気掃除機30Aが掃除を行っている国や地域を認識し、国や地域によって異なる異物、例えば紙幣や硬貨について、画像登録メモリ604から、その現在位置により特定される国の紙幣や硬貨を、画像認識の比較用として読み出すようにする。すなわち、例えば日本ならば、1万円札、5千円札、2千円札、千円札、500円玉、100円玉、50円玉、10円玉、5円玉、1円玉、米国ならば、ドル札、ドル貨、セント貨、さらに、EU圏ならばユーロ、中国ならば元というように、各国毎の比較画像を利用する。もちろん、旧札や古銭を含め、全ての国の、あらゆる年代の紙幣や硬貨を、画像認識の比較用として読み出すようにすることもできる。
 認識異物情報生成部605は、画像認識部603からの画像認識結果に基づいて、画像認識部603が異物を画像認識したときに、画像登録メモリ604から、その認識した異物の異物IDと、サムネイル画像と、吸引駆動制御態様の情報とを取得して、それらを認識した異物の情報として、通信インターフェース601を通じて電気掃除機30Aに送信するようにする。また、認識異物情報生成部605は、画像認識部603から認識した異物が電気掃除機30Aの集塵室内に存在するか、吸い込まれずに外部に在るかの所在情報も、認識異物情報に含めて電気掃除機30Aに送るようにする。
 そして、認識異物情報生成部605は、電気掃除機30Aから、使用者が表示部312に表示されたサムネイル画像をクリックしたことによる詳細画像情報の要求を受けたときには、撮像画像記憶部602に記憶されている撮像画像情報を、その要求に対応する情報をして、通信インターフェース601を通じて電気掃除機30Aに送信するようにする。
 なお、この第3の実施形態における画像登録メモリ604には、図示は省略するが、登録された異物について、それが高価値の骨董品、高価値の古銭、プレミアのついた高価な切手などのプレミア情報も記憶されている。サーバ装置60は、認識異物情報に、これらのプレミア情報を含めて送信するようにする。
 [第3の実施形態における掃除動作時の処理の説明]
 この第3の実施形態においては、使用者は、電気掃除機30Aの操作部304の掃除開始ボタンを押下する。すると、電気掃除機30A及びサーバ装置60において、以下に説明するような処理動作が実行される。
 図11及び図12は、この時の電気掃除機30Aにおける処理動作の流れの例を説明するためのフローチャートである。また、図13は、サーバ装置60の処理動作の流れの例を説明するためのフローチャートである。
 まず、図11及び図12を参照して、電気掃除機30Aの処理動作について説明する。なお、以下の説明は、制御部301Aは、駆動制御部302、送信画像生成部303及び非掃除対象物検出部314の機能をソフトウエア機能として実行する場合としている。
 制御部301Aは、掃除スタートボタンが押下されたか否か判別して、掃除スタートされるのを待つ(ステップS311)。ステップS311で、掃除スタートボタンが押下されたと判別したときには、制御部301Aは、吸引駆動部306及び走行駆動部307を駆動開始させると共に、カメラ381~384のそれぞれに対して画像の撮像開始を指示する。さらに、無線通信部313によりサーバ装置60との通信路を生成する(ステップS312)。
 そして、制御部301Aは、掃除動作中のカメラ381~384のそれぞれからの撮像画像を収集して、送信画像情報を生成し、現在位置検出部315で検出した現在位置情報と共に、無線通信部313を通じてサーバ装置60に送信する(ステップS313)。
 次に、制御部301Aは、カメラ381~384のそれぞれからの撮像画像について、掃除対象物以外の異物を、前述したように、大きさや輝度に基づいて検出する処理を行う(ステップS314)。そして、制御部301Aは、掃除対象物以外の異物の存在を検出したか否か判別し(ステップS315)、異物の存在を検出したと判別したときには、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に、一時停止指示信号を供給して、掃除動作を一時停止する(ステップS316)。そして、制御部301Aは、サーバ装置60からの認識異物情報を受信したか否か判別する(ステップS317)。
 ステップS315で、異物の存在を検出してはいないと判別したときにも、制御部301Aは、処理をステップS317にジャンプさせて、サーバ装置60からの認識異物情報を受信したか否か判別する。
 そして、ステップS317で、サーバ装置60からの認識異物情報は受信してはいないと判別したときには、制御部301Aは、掃除動作を一時停止してから一定時間以上経過したか否か判別し(ステップS318)、一定時間以上経過してはいないと判別したときには、処理をステップS317に戻し、このステップS317以降の処理を繰り返す。
 また、ステップS318で、掃除動作を一時停止してから一定時間以上経過したと判別したときには、制御部301Aは、駆動制御部302を通じて吸引駆動部306及び走行駆動部307に、駆動開始信号を供給して一時停止状態を解除し、掃除動作を再開させる(ステップS319)。そして、制御部301Aは、処理をステップS313に戻し、このステップS313以降の処理を繰り返す。
 また、ステップS317で、サーバ装置60からの認識異物情報は受信したと判別したときには、制御部301Aは、受信したサムネイル画像を、表示部312の表示画面に、その所在情報(集塵室内か、外部か)と共に表示する(ステップS320)。なお、この第3の実施形態では、電気掃除機30Aは、異物のサムネイル画像を表示部312の表示画面に表示したときに、アラームによる報知は行わないが、上述の第1の実施形態及び第2の実施形態と同様に、アラーム報知も合わせて行うようにしても勿論よい。
 次に、制御部301Aは、認識異物情報に強制停止制御信号が含まれているか否かにより掃除動作を停止するか否かを判別する(図12のステップS321)。このステップS321で、強制停止制御信号が含まれていないと判別したときには、制御部301Aは、掃除範囲の全ての掃除を完了したか否かにより、掃除の終了を検知したか否か判別し(ステップS322)、掃除の終了を検知していないときには、処理をステップS313に戻し、送信画像情報を生成して、サーバ装置60に無線送信しながら、掃除動作を継続するようにする。
 そして、ステップS321で、強制停止制御信号が含まれていると判別したときには、制御部301Aは、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示する。さらに、サーバ装置60との通信路を切断する(ステップS323)。
 ステップS322で、掃除の終了を検知したときにも、制御部301Aは、処理をステップS323に進め、吸引駆動部306及び走行駆動部307の駆動を停止させると共に、カメラ381~384のそれぞれに対して画像の撮影停止を指示し、さらに、サーバ装置60との通信路を切断する。
 以上で、電気掃除機30Aでの掃除動作時の処理は終了となる。
 次に、図13を参照して、サーバ装置60の処理動作について説明する。 
 まず、サーバ装置60は、電気掃除機30Aから、通信路の生成要求を受信したか否か判別し(ステップS601)、通信路の生成要求を受信したと判別したときには、通信ネットワーク50を通じた電気掃除機30Aとの通信路を生成する(ステップS602)。
 次に、サーバ装置60は、生成された無線通信路を通じて電気掃除機30Aから送られてくる送信画像情報を受信して、カメラ381~384のそれぞれからの撮像画像情報を分離して取得し、第1の実施形態と同様にして、カメラ381~384のそれぞれからの撮像画像と、画像登録メモリ407に記憶されている異物の画像とのパターンマッチングによる比較により画像認識処理を実行する(ステップS603)。
 そして、サーバ装置60は、ステップS603での画像認識の結果、異物を認識したか否か判別する(ステップS604)。このステップS604で、異物を認識してはいないと判別したときには、サーバ装置60は、電気掃除機30Aにより通信路が切断されたか否か判別する(ステップS608)。そして、このステップS608で、通信路が切断されたと判別したときには、サーバ装置60は、電気掃除機30Aにおける掃除動作が停止したと判断して、この処理ルーチンを終了する。
 また、ステップS608で、通信路が切断されてはいないと判別したときには、サーバ装置60は、電気掃除機30Aにおける掃除動作は継続していると判断して、処理をステップS603に戻し、このステップS603以降の処理を繰り返す。
 そして、ステップS604で、画像認識の結果、異物を認識したと判別したときには、認識した異物のサムネイル画像と、異物IDと、所在情報と、プレミア情報を含めた認識異物情報を生成して、電気掃除機30Aに送信する(ステップS605)。
 また、サーバ装置60は、画像登録メモリ604の記憶内容を参照して、認識した異物の異物IDに対応して記憶されている吸引駆動制御態様の情報を取得し、掃除動作の強制停止が必要か否か判別する(ステップS606)。
 このステップS606で、掃除動作の強制停止が必要ではないと判別したときには、サーバ装置60は、強制停止制御信号を生成せずに、電気掃除機30Aにおける掃除動作を継続させ、処理をステップS603に戻し、このステップS603以降の処理を繰り返す。
 次に、ステップS606で、掃除動作の強制停止が必要であると判別したときには、サーバ装置60は、吸引駆動部306及び走行駆動部307の駆動を停止させる強制停止制御信号を生成し、電気掃除機30Aに送信する(ステップS607)。その後、サーバ装置60は、処理をステップS608に進め、このステップS608で、通信路が切断されたと判別するのを待って、この処理ルーチンを終了する。
 なお、この第3の実施形態においては、表示部312の表示画面に表示されているサムネイル画像が使用者によりクリックされると、そのサムネイル画像の異物IDと共に、サムネイル画像に対応する詳細な撮像画像情報の取得要求を、電気掃除機30Aはサーバ装置60に送る。サーバ装置60は、この取得要求に応じて、異物IDで特定される異物の実際の撮像画像情報及び周辺画像情報を撮像画像記憶部602から読み出して、その撮像画像情報を電気掃除機30Aに送信する。電気掃除機30Aは、受信した撮像画像情報を、表示部312の表示画面に表示すると共に、その異物が画像認識された掃除位置の吸い込み部の前方及び後方の周辺撮像画像が表示されるようにされる。このため、使用者は、検出された異物が何であるかを正確に認識することができると共に、その異物が何処にあったかを容易に知ることができて便利である。また、電気掃除機30Aは、ステップS605で受信した認識異物情報にプレミア情報が含まれている場合、その異物のサムネイル画像の背景色を変えたり、表示画面を点滅させたり、アラームを報知することができる。これによって、使用者が、価値の高い異物や高額な異物を見逃さないようにできる。
 [第3の実施形態の効果]
 以上のようにして、この第3の実施形態の電気掃除装置においては、自走式の電気掃除機30Aが異物の存在を認識したときには、一時掃除動作を停止して、サーバ装置60からの認識異物情報の到来を待つ。そして、電気掃除機30Aは、一定時間以上待っても、サーバ装置60からの認識異物情報を受信しなかった時には、サーバ装置60では、異物を認識しなかったので、掃除動作を継続しても問題がないと判断して、そのまま掃除動作を継続する。そして、サーバ装置60で異物を認識したときには、認識異物情報が一定時間以内に送られて来るので、電気掃除機30Aは、その受信を待ち、その認識異物情報に強制停止制御信号が含まれる場合には、当該強制停止制御信号に応じて、掃除動作を停止するようにできる。
 以上のように、自走式の電気掃除機30Aは、サーバ装置60における画像認識処理の遅延を考慮して掃除動作を一時停止するので、サーバ装置60における画像認識処理の遅延にかかわらず、所期の通りの制御を行うことができる。このため、自走式の電気掃除機30Aが、本来、吸い込むべきでない異物を吸い込んでしまうことによる故障の発生を未然に防止することができる。
 なお、一時停止した後、電気掃除機30A自身での判断やサーバ装置60からの指示で、異物をズーム撮像したり、電気掃除機30Aが移動して異物を別の角度から撮像したりするようにしてもよい。また、電気掃除機30Aは、一時停止したら、自動的に異物をズーム撮像するように構成してもよい。このズーム撮像により撮像した撮像画像を、電気掃除機30Aから再度サーバ装置60に送信することで、サーバ装置60では、より高精度な画像認識を行うことができる。
 上記の効果に加えて、この第3の実施形態においても、上述した第1の実施形態及び第2の実施形態と同様の効果が得られることは言うまでもない。
 [第3の実施形態の変形例]
 上述の第3の実施形態では、GPS測位機能部を備える現在位置検出部315を設けるようにしたが、要は、電気掃除機30Aが使用される国や地域をサーバ装置60に伝達することができればよいので、例えば使用者により、電気掃除機30Aを使用する場所の住所を入力してもらうようにして、その入力された住所情報を、サーバ装置60に送信するようにしてもよい。
 また、上述の第3の実施形態では、電気掃除機30Aは、画像認識部を備えなかったが、電気掃除機30Aにも、画像認識部を設けてもよい。その場合には、電気掃除機30Aの画像登録メモリには使用者が異物を画像登録するようにして、電気掃除機30Aの画像認識部では、この画像登録メモリに登録された異物の認識を行い、サーバ装置60は、電気掃除機30Aの画像登録メモリに登録されてはいない異物をも認識するようにする。なお、サーバ装置は1台に限定されるものではなく、複数台のサーバ装置を連携させて利用することもできる。
 また、この第3の実施形態においても、表示部312は、電気掃除機30Aと無線接続される携帯電話端末などの携帯機器や、タブレット型端末、ウェアラブル端末、パーソナルコンピュータに設けるようにしてもよい。また、デスクトップ型機器、据え置き型機器など、各種表示部を備える機器に設けるようにしてもよい。
 [その他の実施形態又は変形例]
 なお、以上の説明は、主として、家庭用の電気掃除装置を想定して説明したが、工場や商店、飲食店などで使用する業務用の電気掃除装置にも適用することができるものであることは言うまでもない。また、机の上専用の小型掃除機などの卓上用電気掃除装置や、ふとん専用クリーナーなど、各種形態の電気掃除装置にも適用できるのはもちろんである。
 以上の実施形態では、カメラ撮影を連続撮影(動画撮影)で行っているが、静止画での間欠撮影でもよい。また、両者が混在していてもよい。
 また、カメラ撮影の手法や解像度も同一でなく、モードや状況に応じて異ならせてもよい。例えば、落し物モード(探し物モード)を設け、カメラ撮影開始時から継続して、あるいは、カメラ撮影開始後、掃除対象物以外の異物(落し物候補、探し物候補)発見時に、フラッシュ撮影をする、ズーム撮影をする、複数の角度から撮影する、解像度を高くする、複数のカメラを利用するなど、落し物モードのときは通常撮影と異なるカメラ撮影動作をさせて、落し物(探し物)を発見しやすくすることができる。また、カメラ撮影された撮像画像の画像認識の処理方法や精度をモードや状況に応じて変えてもよい。
 画像登録メモリに登録されている画像の内、落し物モードで探すよう指定された特定の異物については、多段階で画像認識してもよい。例えば、最初は、見落とし確率を極力下げるために、粗い画像を利用して、類似性の範囲を広げて探し、次に、見つかった対象物に対しては、絞り込むために、高精細な画像を利用して、複数の角度からの画像認識を行うようにする。また、画像認識のための特殊な処理を付け加えてもよい。例えば、輪郭(エッジ)抽出や強調、輝度抽出や強調、色相抽出や強調など、各種特徴抽出や各種フィルタリングを加えたり、各種強調処理をしたりして、画像認識に利用してもよい。さらに、撮像画像を圧縮せず、高精細画像のままで画像認識をしたり、画像認識処理時間を通常以上、例えば数倍の処理時間をかけることができる。
 落し物が指輪の場合、例えばルビーのプラチナリングであれば、ルビーの赤色や、プラチナリングの銀色(光沢のある灰白色)を発見するよう、選択的に色や光沢(光の反射)の識別能力を高めるようにする。また、ルビーの石の形状や、内径サイズで規定されるリングの大きさで検出精度を高めるよう、選択的に形状の識別能力を高めることができる。
 また、落し物が、サイズ等が規格化されている製品である場合が考えられる。例えばSDカードは、幅24mm、長さ32mm、厚さ2.1mm、マイクロSDカードは、幅11mm、長さ15mm、厚さ1.0mmであり、形状はSD規格で正確に規定されている。そのため、落し物がSDカードやマイクロSDカードの場合、その形状を元に、まず長方形の物体を探し、次に縦横比(長さと幅の比)が適合するか否かでフィルタリングした後、精密に画像認識すればよい。もちろん、距離計を用いれば、対象物の内径や長さ等の絶対値が計測できるので、その計測値を用いて識別が可能である。また、距離計がなくても、長さや大きさの基準となる比較対象物があれば、それとの相対比較で、長さや大きさの絶対値が把握できる。さらに、SDカードやマイクロSDカードの表面のロゴや文字を文字認識して、識別することもできる。
 また、落し物が透明なコンタクトレンズの場合は、カメラ撮影した場合、背景の色が透過して撮影されるので、輝度や色の差分検出を、精密に行ったり、フラッシュなど光を当ててキラッと光る反射光を検出したりして、検出精度を高めた上で、コンタクトレンズに特有である薄い非球面レンズの形状の識別を行うようにすればよい。なお、通常、ハードコンタクトレンズは直径9mm前後、ソフトコンタクトレンズは直径13mm前後であるため、落としたコンタクトレンズの種類がハードかソフトか指定することで、サイズに対する識別能力を高め、発見しやすくすることができる。
 さらに、異物の撮像画像が、落し物との類似度が低く、落し物でない可能性が高くても、落し物を見逃す危険度を下げるため、類似度レベルの閾値を可変にして、その異物を落し物として検出を行うようにすることもできる。
 なお、画像認識や類似度レベルの計算には、テンプレートマッチング、クラスタ分析、ニューラル・ネットワーク等、種々の手法が適用できることは言うまでもない。
 また、落し物モードのときは、吸引駆動制御の態様として、落し物を発見するまでは、「吸引駆動弱め」や「吸引駆動最弱」にしてもよい。さらに「吸引駆動停止」とすることもできる。また、自走式の電気掃除機の場合は、吸引駆動制御の態様のみならず、走行駆動制御の態様として、落し物を発見するまでは、「走行駆動低速」や「走行駆動超低速」などの制御態様を用いることができる。また、所定時間毎に、あるいは所定距離走行毎に「走行駆動停止(一時停止)」にしてもよい。この場合、一時停止の状態で、周囲を通常撮影のみならず、フラッシュ撮影やズーム撮影などを用いて、入念にカメラ撮影することができる。さらに、そこで回転駆動しながら、パノラマ撮影や360度撮影をし、落し物を探してもよい。
 なお、落し物モードで探す異物、例えば指輪、SDカードやマイクロSDカード、コンタクトレンズなどの画像は、画像登録メモリから読み出して、表示画面に表示させて指定するように構成することができる。
 また、以上の実施形態では、掃除動作中の異物の認識(検出)は、カメラからの撮像画像情報を画像認識することによって行うようにしたが、例えば赤外線センサ、マイクロフォン、超音波センサ、触覚センサ、バイオセンサ、においセンサ、金属探知センサなど、他のセンサを用いることで、異物の認識(検出)を行うようにしてもよい。もちろん、これら複数種類のセンサを併用してもよい。センサとして、例えばマイクロフォンを用いる場合、マイクロフォンで音や音声を集音し、音や音声を発している対象物を検出したら、掃除対象物以外の異物であると認識することができる。この場合、図5、8、9、11、12または13のフローチャートにおける「カメラで撮影した画像の認識結果に基づく異物検出」を「マイクロフォンで集音した音や音声の認識結果に基づく異物検出」に置き換えれば、音声認識による異物検出が可能な電気掃除機が実現可能となる。音声認識による異物検出を行う態様としては、掃除動作中に集音部で吸い込み部近傍の音を集音して、異物が電気掃除機内に吸い込まれる前に検知する態様のほか、金属や袋類の異物が電気掃除機内に吸い込まれた後に発する異音を集音し、異物を検知する態様が考えられる。音声認識による異物検出を行うと、画像認識による異物検出の場合と同様に、吸引駆動停止等の吸引駆動制御の態様が考えられる。また、アラーム報知を表示制御、音声制御、振動制御等によって行う態様が考えられる。なお、電気掃除機自体が発する騒音は、音源分離の処理により除去することができる。
 なお、カメラ171~174及びカメラ381~384として、赤外線カメラやビデオカメラを用いるようにしてもよい。また、それらを併用してもよい。以上の実施形態では、カメラが4個の例で説明したが、カメラの個数が限定されるものでないことはもちろんである。さらに、カメラの設置箇所も本実施形態に限らず、各種態様が可能である。
 以上の実施形態では、掃除対象物や掃除対象物以外の異物として、静止している物を例示したが、虫などの生き物、モーター駆動の玩具など、動いている物でよいのはもちろんである。
 以上、図面を参照しながらこの発明の好適な実施形態について詳細に説明したが、この発明は、かかる例に限定されない。この発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然にこの発明の技術的範囲に属するものと了解される。
1:電気掃除装置
10:掃除機本体
11:吸引ホース
12:取っ手
13:継手管
14:吸い込み部
141:吸い込み口
15:操作部
16:表示部
16D:表示画面
101:集塵室
102:吸引駆動部
171~174:カメラ
20:制御回路部
201:制御部
202:駆動制御部
210:画像認識部
211:画像登録メモリ
213:表示画像生成部
214:アラーム発生部
30:自走式の電気掃除機
31:吸い込み部
32:集塵室
381~384:カメラ
406:画像認識部
407:画像登録メモリ
409:表示画像生成部
412:表示部
 

Claims (14)

  1.  掃除対象物を吸い込むための吸い込み口を有する吸い込み部と、
     前記吸い込み口から前記掃除対象物を吸引して集塵室に取り込むようにするための吸引駆動部と、
     前記掃除対象物及び前記掃除対象物以外の異物を撮像するための撮像部と、
     掃除動作中に前記撮像部からの撮像画像について画像認識を行い、少なくとも、前記掃除対象物と前記掃除対象物以外の異物とを分離して認識する画像認識部と、
     表示画面を備える表示部と、
     前記画像認識部で認識した異物の画像を前記表示部の表示画面に表示する表示制御手段と、
     を備えることを特徴とする電気掃除装置。
  2.  前記掃除動作中に、前記画像認識部での前記画像認識結果に応じて前記吸引駆動部に対して制御信号を供給する駆動制御手段を備える
     ことを特徴とする請求項1に記載の電気掃除装置。
  3.  自装置を自走させるための走行駆動部を備えると共に、
     前記掃除動作中に、前記画像認識部での前記画像認識結果に応じて前記走行駆動部に対して制御信号を供給する駆動制御手段を備える
     ことを特徴とする請求項1または2に記載の電気掃除装置。
  4.  前記表示制御手段は、前記掃除動作中に前記画像認識部で前記異物を認識したときに、前記表示画面に前記異物の画像を表示し、
     前記異物の画像の表示と連動してアラームを報知する手段を、さらに備えることを特徴とする請求項1~請求項3のいずれかに記載の電気掃除装置。
  5.  前記撮像部として、前記吸い込み口近傍に配置されている第1の撮像部を備え、
     前記表示画面に表示される前記画像に対応する前記異物は、前記吸い込み口から吸い込まれたものである
     ことを特徴とする請求項1~請求項4のいずれかに記載の電気掃除装置。
  6.  前記表示画面に表示された前記異物の画像には、前記異物が前記吸い込み口から吸い込まれたものであるか、前記吸い込み口から吸い込まれてはいないものかを示す付加表示を伴う
     ことを特徴とする請求項1~請求項5のいずれかに記載の電気掃除装置。
  7.  前記撮像部として、前記掃除動作中の前記吸い込み口の移動方向の被写体を撮像する部位に設けられている第2の撮像部を備え、前記第2の撮像部により、前記異物を、その周辺画像と共に撮像し、前記表示画面には、前記異物をその周辺画像と共に表示する
     ことを特徴とする請求項1~請求項6のいずれかに記載の電気掃除装置。
  8.  前記異物の画像を記憶する記憶部を備え、
     前記画像認識部は、前記撮像部からの撮像画像と、前記記憶部に記憶されている異物の画像とを比較することで、前記異物を認識する
     ことを特徴とする請求項1~請求項7のいずれかに記載の電気掃除装置。
  9.  前記吸い込み口からの吸い込みを防止すべき異物の画像を記憶する記憶部を備え、
     前記駆動制御手段は、前記画像認識部により前記記憶部に記憶されている異物を認識したときに、前記吸引駆動部に対して吸引動作を停止する制御信号を供給する
     ことを特徴とする請求項1~請求項8のいずれかに記載の電気掃除装置。
  10.  前記表示部は、無線通信機能を備えた別体の装置からなり、
     別体の前記表示部と無線通信するための無線通信部を備える
     ことを特徴とする請求項1~請求項9のいずれかに記載の電気掃除装置。
  11.  前記表示部には、前記掃除動作中に前記画像認識部で認識された異物の画像の一覧が表示される
     ことを特徴とする請求項1~請求項10のいずれかに記載の電気掃除装置。
  12.  前記画像認識部は、無線通信機能を備えた別体の装置からなり、
     別体の前記画像認識部と無線通信するための無線通信部を備える
     ことを特徴とする請求項1~請求項11のいずれかに記載の電気掃除装置。
  13.  請求項12に記載の電気掃除装置において、
     前記画像認識部は、通信ネットワークを通じて接続される画像認識処理装置からなり、前記画像認識処理装置との通信を行うための通信部を備えると共に、
     前記撮像部からの前記撮像画像を、前記通信部を通じて前記画像認識処理装置に送信し、前記画像認識処理装置からの画像認識結果としての前記異物の画像を、前記通信部を通じて受信する手段とを備え、
     前記表示制御手段は、前記画像認識処理装置から受信した前記画像認識結果としての前記異物の画像を、前記表示部の表示画面に表示する
     ことを特徴とする電気掃除装置。
  14.  前記画像認識部は、前記電気掃除装置が内蔵する第1の画像認識部と、通信ネットワークを通じて接続される画像認識処理装置からなる第2の画像認識部とからなり、前記画像認識処理装置との通信を行うための通信部を、さらに備えると共に、
     前記撮像部からの前記撮像画像を、前記通信部を通じて前記画像認識処理装置に送信し、前記画像認識処理装置からの画像認識結果としての前記異物の画像を、前記通信部を通じて受信する手段とを備え、
     前記第1の画像認識部では、前記撮像画像と前記電気掃除装置が備える記憶部に記憶されている異物の画像とを比較することで前記異物を認識し、
     前記表示制御手段は、前記第1の画像認識部で認識した異物の画像を前記表示部の表示画面に表示すると共に、前記第2の画像認識部から受信した前記画像認識結果としての前記異物の画像を、前記表示部の表示画面に表示する
     ことを特徴とする請求項1に記載の電気掃除装置。
     
PCT/JP2014/060689 2013-06-03 2014-04-15 電気掃除装置 WO2014196272A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014547610A JP5771885B2 (ja) 2013-06-03 2014-04-15 電気掃除装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013116787 2013-06-03
JP2013-116787 2013-06-03

Publications (1)

Publication Number Publication Date
WO2014196272A1 true WO2014196272A1 (ja) 2014-12-11

Family

ID=52007926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060689 WO2014196272A1 (ja) 2013-06-03 2014-04-15 電気掃除装置

Country Status (2)

Country Link
JP (8) JP5771885B2 (ja)
WO (1) WO2014196272A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3072432B1 (en) 2015-03-23 2018-02-28 LG Electronics Inc. Robot cleaner and robot cleaning system having the same
CN109316120A (zh) * 2018-11-27 2019-02-12 小狗电器互联网科技(北京)股份有限公司 一种除螨仪结构及除螨仪
JP2019126427A (ja) * 2018-01-22 2019-08-01 東芝ライフスタイル株式会社 自走式電気掃除機
US10368708B2 (en) 2015-04-28 2019-08-06 Vorwerk & Co. Interholding Gmbh Household robot and method for operating a household robot
CN111134570A (zh) * 2018-11-02 2020-05-12 添可智能科技有限公司 具备图像采集功能的吸尘器以及摄像设备
JP2020087240A (ja) * 2018-11-30 2020-06-04 日立グローバルライフソリューションズ株式会社 掃除機の制御システム、自律走行型掃除機、掃除システム、および掃除機の制御方法
EP3773111A4 (en) * 2018-05-11 2021-06-23 Samsung Electronics Co., Ltd. PROCESS AND APPARATUS FOR PERFORMING A CLEANING FUNCTION
WO2022190823A1 (ja) * 2021-03-10 2022-09-15 東芝テック株式会社 読取装置及び読取方法
US11457788B2 (en) 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
EP4021266A4 (en) * 2019-12-27 2022-11-02 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5771885B2 (ja) * 2013-06-03 2015-09-02 みこらった株式会社 電気掃除装置
JP6927345B2 (ja) * 2016-09-15 2021-08-25 三菱電機株式会社 寝具掃除機
WO2020001911A1 (en) * 2018-06-25 2020-01-02 Arcelik Anonim Sirketi A stick vacuum cleaner
EP3813621B1 (en) * 2018-06-27 2022-05-04 Arçelik Anonim Sirketi A stick vacuum cleaner
JP7328773B2 (ja) * 2018-07-27 2023-08-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置及び情報処理プログラム
US11399682B2 (en) * 2018-07-27 2022-08-02 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
US11357376B2 (en) 2018-07-27 2022-06-14 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
KR102100266B1 (ko) * 2018-10-30 2020-05-26 이관우 위험물질 인식 청소기 및 위험물질 청소방법
JP2020201583A (ja) 2019-06-06 2020-12-17 ルネサスエレクトロニクス株式会社 半導体装置、移動体装置および移動体装置の制御方法
US11571100B2 (en) 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
KR20210057582A (ko) * 2019-11-12 2021-05-21 삼성전자주식회사 잘못 흡입된 객체를 식별하는 로봇 청소기 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003164401A (ja) * 2001-12-03 2003-06-10 Konica Corp 電気掃除機
JP2006141836A (ja) * 2004-11-24 2006-06-08 Fuji Photo Film Co Ltd 電気掃除機
JP2006198079A (ja) * 2005-01-19 2006-08-03 Fuji Photo Film Co Ltd 電気掃除機
JP2010131230A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 電気掃除機、状態報知方法およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546239A (ja) * 1991-08-10 1993-02-26 Nec Home Electron Ltd 自律走行ロボツト
JPH1151286A (ja) * 1997-08-04 1999-02-26 Hitachi Ltd 管内異物確認除去装置
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
JP2003256041A (ja) * 2002-02-28 2003-09-10 Matsushita Electric Ind Co Ltd 自立走行装置及びその監視方法と遠隔操作方法
JP2005211496A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自走式掃除機
JP2005211495A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自走式掃除機
JP4555035B2 (ja) * 2004-03-30 2010-09-29 日本電気株式会社 掃除機制御装置、掃除機、ロボット、および掃除機制御方法
DE602006009148D1 (de) * 2005-12-02 2009-10-22 Irobot Corp Abdeckungsrobotermobilität
JP2010092343A (ja) * 2008-10-09 2010-04-22 Sharp Corp 自走式移動体の制御システム
CN101941012B (zh) * 2009-07-03 2012-04-25 泰怡凯电器(苏州)有限公司 清洁机器人及其脏物识别装置和该机器人的清洁方法
WO2012092565A1 (en) * 2010-12-30 2012-07-05 Irobot Corporation Debris monitoring
EP2570067A1 (en) * 2011-09-01 2013-03-20 Samsung Electronics Co., Ltd. Autonomous cleaning apparatus and method of controlling the same
JP5771885B2 (ja) * 2013-06-03 2015-09-02 みこらった株式会社 電気掃除装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003164401A (ja) * 2001-12-03 2003-06-10 Konica Corp 電気掃除機
JP2006141836A (ja) * 2004-11-24 2006-06-08 Fuji Photo Film Co Ltd 電気掃除機
JP2006198079A (ja) * 2005-01-19 2006-08-03 Fuji Photo Film Co Ltd 電気掃除機
JP2010131230A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 電気掃除機、状態報知方法およびプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3072432B2 (en) 2015-03-23 2023-09-20 LG Electronics Inc. Robot cleaner and robot cleaning system having the same
EP3072432B1 (en) 2015-03-23 2018-02-28 LG Electronics Inc. Robot cleaner and robot cleaning system having the same
EP3679849A1 (en) * 2015-03-23 2020-07-15 LG Electronics Inc. -1- Robot cleaner and robot cleaning system having the same
EP3679850A1 (en) * 2015-03-23 2020-07-15 LG Electronics Inc. -1- Robot cleaner, robot cleaning system having the same
US10368708B2 (en) 2015-04-28 2019-08-06 Vorwerk & Co. Interholding Gmbh Household robot and method for operating a household robot
JP7141220B2 (ja) 2018-01-22 2022-09-22 東芝ライフスタイル株式会社 自走式電気掃除機
JP2019126427A (ja) * 2018-01-22 2019-08-01 東芝ライフスタイル株式会社 自走式電気掃除機
US11457788B2 (en) 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
EP3773111A4 (en) * 2018-05-11 2021-06-23 Samsung Electronics Co., Ltd. PROCESS AND APPARATUS FOR PERFORMING A CLEANING FUNCTION
CN111134570A (zh) * 2018-11-02 2020-05-12 添可智能科技有限公司 具备图像采集功能的吸尘器以及摄像设备
CN109316120A (zh) * 2018-11-27 2019-02-12 小狗电器互联网科技(北京)股份有限公司 一种除螨仪结构及除螨仪
JP2020087240A (ja) * 2018-11-30 2020-06-04 日立グローバルライフソリューションズ株式会社 掃除機の制御システム、自律走行型掃除機、掃除システム、および掃除機の制御方法
JP7173846B2 (ja) 2018-11-30 2022-11-16 日立グローバルライフソリューションズ株式会社 掃除機の制御システム、自律走行型掃除機、掃除システム、および掃除機の制御方法
EP4021266A4 (en) * 2019-12-27 2022-11-02 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
US11874668B2 (en) 2019-12-27 2024-01-16 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling thereof
WO2022190823A1 (ja) * 2021-03-10 2022-09-15 東芝テック株式会社 読取装置及び読取方法

Also Published As

Publication number Publication date
JPWO2014196272A1 (ja) 2017-02-23
JP7008354B2 (ja) 2022-01-25
JP6706848B2 (ja) 2020-06-10
JP2015178022A (ja) 2015-10-08
JP5839248B2 (ja) 2016-01-06
JP2015163274A (ja) 2015-09-10
JP6369878B2 (ja) 2018-08-08
JP2017064529A (ja) 2017-04-06
JP5771885B2 (ja) 2015-09-02
JP2020110734A (ja) 2020-07-27
JP6083905B2 (ja) 2017-02-22
JP2018143879A (ja) 2018-09-20
JP2022031532A (ja) 2022-02-18
JP2024012667A (ja) 2024-01-30

Similar Documents

Publication Publication Date Title
JP6369878B2 (ja) 電気掃除装置
KR102314637B1 (ko) 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
CN106725127A (zh) 扫地机器人的清扫方法及装置
CN106031154B (zh) 处理图像的方法和用于其的电子装置
KR20060110483A (ko) 충전대 자동 복귀 기능을 가진 청소로봇 및 그 방법
CN106580193A (zh) 智能扫地方法、装置及扫地机器人
EP3685970B1 (en) Mobile robot and control method for mobile robot
US11812935B2 (en) Endoscope cleaning work support device, method of operating endoscope cleaning work support device, and endoscope cleaning work support program
TW201108032A (en) Electronic device and method for switching display images of the electronic device
CN106454093A (zh) 图像处理方法、图像处理装置和电子设备
JP6405826B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105426904A (zh) 照片处理方法、装置和设备
KR20200030014A (ko) 청소된 영역이 구분 가능한 청소기
WO2018193653A1 (ja) 移動装置、物体検出方法及びプログラム
CN114613069B (zh) 一种智能自助终端及其智能辅助方法
JP2016027448A (ja) 情報評価装置、情報評価方法、及びプログラム
KR20150022550A (ko) 로봇 청소기 및 그 동작방법
US20080007402A1 (en) Portable monitoring assembly
CN114078279A (zh) 动作捕捉方法、装置、电子设备及存储介质
TWI470338B (zh) 物體輪廓的偵測裝置及方法
WO2017154283A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN212541361U (zh) 一种人脸识别测温终端
TWI551886B (zh) 可供尋找物品之可穿戴式裝置以及尋找物品方法
JP2008199079A (ja) データ記録装置およびデータ記録装置を用いた検査システム
CN117470850A (zh) 智能化光学直杆内窥镜检测系统及装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014547610

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14807552

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14807552

Country of ref document: EP

Kind code of ref document: A1