JP6705636B2 - 電気掃除機 - Google Patents

電気掃除機 Download PDF

Info

Publication number
JP6705636B2
JP6705636B2 JP2015202910A JP2015202910A JP6705636B2 JP 6705636 B2 JP6705636 B2 JP 6705636B2 JP 2015202910 A JP2015202910 A JP 2015202910A JP 2015202910 A JP2015202910 A JP 2015202910A JP 6705636 B2 JP6705636 B2 JP 6705636B2
Authority
JP
Japan
Prior art keywords
distance
image
vacuum cleaner
obstacle
body case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015202910A
Other languages
English (en)
Other versions
JP2017074191A (ja
Inventor
井澤　浩一
浩一 井澤
裕樹 丸谷
裕樹 丸谷
浩太 渡邊
浩太 渡邊
古田　和浩
和浩 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015202910A priority Critical patent/JP6705636B2/ja
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to PCT/JP2016/080249 priority patent/WO2017065171A1/ja
Priority to US15/768,360 priority patent/US10932635B2/en
Priority to CN201680003835.XA priority patent/CN106998983B/zh
Priority to KR1020177011997A priority patent/KR102001422B1/ko
Priority to EP16855424.4A priority patent/EP3363342B1/en
Priority to MYPI2018701484A priority patent/MY188231A/en
Priority to TW105132967A priority patent/TWI619462B/zh
Publication of JP2017074191A publication Critical patent/JP2017074191A/ja
Application granted granted Critical
Publication of JP6705636B2 publication Critical patent/JP6705636B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0405—Driving means for the brushes or agitators
    • A47L9/0411—Driving means for the brushes or agitators driven by electric motor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0461—Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0466—Rotating tools
    • A47L9/0472—Discs
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Description

本発明の実施形態は、本体ケースの走行方向側を撮像する複数の撮像手段を備えた電気掃除機に関する。
従来、被掃除面としての床面上を自律走行しながら床面を掃除する、いわゆる自律走行型の電気掃除機(掃除ロボット)が知られている。
このような電気掃除機は、走行時に障害物を回避しなければならない。そのため、走行に支障をきたす障害物の検出用として、超音波センサや赤外線センサなどのセンサを用いている。しかしながら、例えば超音波センサを用いる場合には、柔らかいカーテンや、細いコード類などが走行方向にあったときに、超音波が適切に反射されず障害物としての検出が容易でない。また、例えば赤外線センサを用いる場合には、対象物が黒いものであったり、細いコード類であったりするときに、反射された赤外線を適切に受光することができず、障害物の検出が容易でない。
すなわち、このような自律走行型の電気掃除機の場合には、障害物の検出精度を向上することで、安定した走行で掃除性能を向上させることができるものの、障害物を検出できない場合には、障害物との衝突や乗り上げなどにより走行停止するなど、掃除がはかどらないことになる。
したがって、自律走行型の電気掃除機において、掃除を円滑にするためには障害物の検出が重要であり、障害物の検出精度の向上が望まれている。
特開２００７−１６３２２３号公報 特開２０１３−２３５３５１号公報
本発明が解決しようとする課題は、障害物の検出精度を向上した電気掃除機を提供することである。
実施形態の電気掃除機は、本体ケースと、駆動輪と、制御手段と、撮像手段と、距離画像生成手段と、判定手段とを有する。駆動輪は、本体ケースを走行可能とする。制御手段は、駆動輪の駆動を制御することで本体ケースを自律走行させる。撮像手段は、本体ケースに配置されて互いに離間され、本体ケースの走行方向側を撮像する。距離画像生成手段は、撮像手段により撮像した画像に基づき、この走行方向側に位置する物体の距離画像を生成する。判定手段は、距離画像生成手段で生成した距離画像に基づいて、撮像された物体が障害物であるか否かを判定する。距離画像生成手段は、各撮像手段により撮像した画像のデータのうち、所定の画像範囲内のデータをそれぞれ使用して距離画像を生成する。判定手段は、距離画像生成手段により生成された距離画像中の物体が予め設定された所定の設定距離より近い場合に物体を障害物であると判定する。また、判定手段は、物体を障害物であると判定した場合には、制御手段により本体ケースの走行速度を相対的に低下させた状態で撮像手段により撮像された画像から距離画像生成手段で生成した距離画像に基づき、所定の設定距離を小さく設定して物体が障害物であるか否かを再度判定する。
第１の電気掃除機の内部構造を示すブロック図である。 同上電気掃除機を示す斜視図である。 同上電気掃除機を下方から示す平面図である。 同上電気掃除機を含む電気掃除システムを模式的に示す説明図である。 同上電気掃除機の物体の距離の計算方法を模式的に示す説明図である。 (a)は一方の撮像手段により撮像された画像の一例を示す説明図、(b)は他方の撮像手段により撮像された画像の一例を示す説明図、(c)は設定距離が相対的に小さい場合に(a)および(b)に基づいて生成した距離画像の一例を示す説明図、(d)は設定距離が相対的に大きい場合に(a)および(b)に基づいて生成した距離画像の一例を示す説明図である。 (a)は同上電気掃除機の判定手段の障害物判定に用いるヒストグラムの一例を示す説明図、(b)は(a)の状態から電気掃除機が前進したときのヒストグラムの一例を示す説明図である。 同上電気掃除機のマップ生成手段によるマップの生成方法を模式的に示す説明図である。 同上電気掃除機のマップ生成時の走行制御を示すフローチャートである。 同上電気掃除機の走行制御を示すフローチャートである。 第２の実施形態の電気掃除機の走行制御を示すフローチャートである。 第３の実施形態の電気掃除機の物体の距離の計算方法を模式的に示す説明図である。 第４の実施形態の電気掃除機の物体の距離の計算方法を模式的に示す説明図である。
以下、第１の実施形態の構成を、図面を参照して説明する。
図１ないし図４において、11は電気掃除機であり、この電気掃除機11は、この電気掃除機11の充電用の基地部となる基地装置としての充電装置(充電台)12(図４)とともに電気掃除装置(電気掃除システム)を構成するものである。そして、電気掃除機11は、本実施形態において、走行面としての被掃除面である床面上を自律走行(自走)しつつ床面を掃除する、いわゆる自走式のロボットクリーナ(掃除ロボット)であり、例えば掃除領域内などに配置された中継手段(中継部)としてのホームゲートウェイ(ルータ)14との間で有線通信あるいはＷｉ−Ｆｉ(登録商標)やＢｌｕｅｔｏｏｔｈ(登録商標)などの無線通信を用いて通信(送受信)することにより、インターネットなどの(外部)ネットワーク15を介して、データ格納手段(データ格納部)としての汎用のサーバ16や、表示手段(表示部)である汎用の外部装置17などと有線あるいは無線通信可能となっている。
また、この電気掃除機11は、中空状の本体ケース20と、この本体ケース20を床面上で走行させる走行部21と、床面などの塵埃を掃除する掃除部22と、充電装置12を含む外部装置と通信する通信部23と、画像を撮像する撮像部25と、センサ部26と、走行部21、掃除部22、通信部23、および、撮像部25などを制御するコントローラである制御手段(制御部)27と、これら走行部21、掃除部22、通信部23、撮像部25、センサ部26および制御手段27などに給電する二次電池28とを備えている。なお、以下、電気掃除機11(本体ケース20)の走行方向に沿った方向を前後方向(図２に示す矢印FR，RR方向)とし、この前後方向に対して交差(直交)する左右方向(両側方向)を幅方向として説明する。
本体ケース20は、例えば合成樹脂などにより扁平な円柱状(円盤状)などに形成されている。すなわち、この本体ケース20は、側面部20aと、この側面部20aの上部および下部にそれぞれ連続する上面部20b(図２)および下面部20c(図３)とを備えている。この本体ケース20の側面部20aは、略円筒面状に形成されており、この側面部20aには、例えば撮像部25などが配置されている。また、本体ケース20の上面部20bおよび下面部20cは、それぞれ略円形状に形成されており、図３に示すように、床面に対向する下面部20cには、集塵口である吸込口31、および、排気口32などがそれぞれ開口されている。
走行部21は、複数(一対)の駆動部としての駆動輪34，34、これら駆動輪34，34を駆動させる動作部としての駆動手段であるモータ35，35(図１)、および、旋回用の旋回輪36などを備えている。
各駆動輪34は、電気掃除機11(本体ケース20)を床面上で前進方向および後退方向に走行(自律走行)させる、すなわち走行用のものであり、左右幅方向に沿って図示しない回転軸を有し、幅方向に対称に配置されている。
各モータ35(図１)は、例えば駆動輪34のそれぞれに対応して配置されており、各駆動輪34を独立して駆動させることが可能となっている。
旋回輪36は、本体ケース20の下面部20cの幅方向の略中央部で、かつ、前部に位置しており、床面に沿って旋回可能な従動輪である。
掃除部22は、例えば本体ケース20内に位置して塵埃を吸込口31から空気とともに吸い込み排気口32から排気する電動送風機41、吸込口31に回転可能に取り付けられて塵埃を掻き上げる回転清掃体としての回転ブラシ42およびこの回転ブラシ42を回転駆動させるブラシモータ43(図１)、本体ケース20の前側などの両側に回転可能に取り付けられて塵埃を掻き集める旋回清掃部としての補助掃除手段(補助掃除部)であるサイドブラシ44およびこのサイドブラシ44を駆動させるサイドブラシモータ45(図１)、および、吸込口31と連通して塵埃を溜める集塵部46(図２)などを備えている。なお、電動送風機41と、回転ブラシ42およびブラシモータ43(図１)と、サイドブラシ44およびサイドブラシモータ45(図１)とは、少なくともいずれかを備えていればよい。
図１に示す通信部23は、ホームゲートウェイ14およびネットワーク15を介して外部装置17と無線通信をするための無線通信手段(無線通信部)および掃除機信号受信手段(掃除機信号受信部)としての無線ＬＡＮデバイス47、充電装置12(図４)などへと無線信号(赤外線信号)を送信する例えば赤外線発光素子などの図示しない送信手段(送信部)、および、充電装置12や図示しないリモコンなどからの無線信号(赤外線信号)を受信する例えばフォトトランジスタなどの図示しない受信手段(受信部)などを備えている。なお、例えば通信部23にアクセスポイント機能を搭載し、ホームゲートウェイ14を介さずに外部装置17と直接無線通信をするようにしてもよい。また、例えば通信部23にウェブサーバ機能を付加してもよい。
無線ＬＡＮデバイス47は、電気掃除機11からホームゲートウェイ14を介してネットワーク15に対して各種情報を送受信するものである。
撮像部25は、(一方および他方の)撮像手段(撮像部本体)としてのカメラ51a，51b、および、これらカメラ51a，51bに照明を付与する照明手段(照明部)としてのＬＥＤなどのランプ53を備えている。
図２に示すように、カメラ51a，51bは、本体ケース20の側面部20aにおいて、前部の両側に配置されている。すなわち、本実施形態では、カメラ51a，51bは、本体ケース20の側面部20aにおいて、電気掃除機11(本体ケース20)の幅方向の中心線Ｌに対して、左右方向に略等しい所定角度(鋭角)傾斜した位置にそれぞれ配置されている。言い換えると、これらカメラ51a，51bは、本体ケース20に対して幅方向に略対称に配置されており、これらカメラ51a，51bの中心位置が、電気掃除機11(本体ケース20)の走行方向である前後方向と交差(直交)する幅方向の中心位置と略一致している。さらに、これらカメラ51a，51bは、上下方向に略等しい位置、すなわち略等しい高さ位置にそれぞれ配置されている。このため、これらカメラ51a，51bは、電気掃除機11を床面上に載置した状態でこの床面からの高さが互いに略等しく設定されている。したがって、カメラ51a，51bは、互いにずれた位置(左右方向にずれた位置)に離間されて配置されている。また、これらカメラ51a，51bは、本体ケース20の走行方向である前方を、それぞれ所定の水平画角(例えば１０５°など)でデジタルの画像を所定時間毎、例えば数十ミリ秒毎などの微小時間毎、あるいは数秒毎などに撮像するデジタルカメラである。さらに、これらカメラ51a，51bは、互いの撮像範囲(視野)Va，Vbが重なっており(図５)、これらカメラ51a，51bにより撮像される(一方および他方の)画像P1a，P1b(図６(a)および図６(b))は、その撮像領域が電気掃除機11(本体ケース20)の幅方向の中心線Ｌを延長した前方の位置を含む領域で左右方向にラップしている。本実施形態では、これらカメラ51a，51bは、例えば可視光領域の画像を撮像するものとする。なお、これらカメラ51a，51bにより撮像した画像は、例えば図示しない画像処理回路などにより所定のデータ形式に圧縮することもできる。
ランプ53は、カメラ51a，51bにより画像を撮像する際の照明用の光を出力するもので、カメラ51a，51bの中間位置、すなわち本体ケース20の側面部20aの中心線Ｌ上の位置に配置されている。すなわち、ランプ53は、カメラ51a，51bからの距離が略等しくなっている。また、このランプ53は、カメラ51a，51bと上下方向に略等しい位置、すなわち略等しい高さ位置に配置されている。したがって、このランプ53は、カメラ51a，51bの幅方向の略中央部に配置されている。本実施形態では、このランプ53は、可視光領域を含む光を照明するようになっている。
図１に示すセンサ部26は、例えば各駆動輪34(各モータ35)の回転数を検出する光エンコーダなどの回転数センサ55を備えている。この回転数センサ55は、測定した駆動輪34(図３)またはモータ35の回転数によって、電気掃除機11(本体ケース20(図３))の旋回角度や進行距離を検出するようになっている。したがって、この回転数センサ55は、例えば充電装置12(図４)などの基準位置からの電気掃除機11(本体ケース20(図３))の相対位置を検出する、位置検出センサである。
制御手段27は、例えば制御手段本体(制御部本体)であるＣＰＵ、このＣＰＵによって読み出されるプログラムなどの固定的なデータを格納した格納部であるＲＯＭ、プログラムによるデータ処理の作業領域となるワークエリアなどの各種メモリエリアを動的に形成するエリア格納部であるＲＡＭ(それぞれ図示せず)などを備えるマイコンである。この制御手段27は、さらに、例えばカメラ51a，51bで撮像した画像のデータなどを記憶する記憶手段(記憶部)としてのメモリ61、カメラ51a，51bで撮像した画像に基づいてカメラ51a，51bからの物体(特徴点)の距離(深度)を計算し、この計算した物体の距離に基づいて距離画像を生成する距離画像生成手段(距離画像生成部)としての画像生成部63、この画像生成部63により生成した距離画像中に撮像された物体が障害物であるか否かを判定する判定手段としての判定部64、および、判定部64による障害物判定に基づいて掃除領域のマップを生成するマップ生成手段(マップ生成部)としての画像処理部65などを備えている。また、この制御手段27は、走行部21のモータ35，35(駆動輪34，34(図３))の動作を制御する走行制御部66、掃除部22の電動送風機41、ブラシモータ43およびサイドブラシモータ45の動作を制御する掃除制御部67、撮像部25のカメラ51a，51bを制御する撮像制御部68、および、撮像部25のランプ53を制御する照明制御部69などを備えている。そして、この制御手段27は、例えば駆動輪34，34(図３)すなわちモータ35，35を駆動して電気掃除機11(本体ケース20(図３))を自律走行させる走行モードと、充電装置12(図４)を介して二次電池28を充電する充電モードと、動作待機中の待機モードとを有している。
メモリ61は、電気掃除機11の電源のオンオフに拘らず記憶した各種データを保持する、例えばフラッシュメモリなどの不揮発性のメモリである。
画像生成部63は、既知の方法を用いて、カメラ51a，51bにより撮像した画像と、カメラ51a，51b間の距離とに基づいて物体(特徴点)の距離を計算するとともに、この計算した物体(特徴点)の距離を示す距離画像を生成する。すなわち、この画像生成部63は、例えばカメラ51a，51bと物体(特徴点)Ｏとの距離、および、カメラ51a，51b間の距離に基づく三角測量を応用し(図５)、カメラ51a，51bにより撮像した各画像中から同一位置を示す画素ドットを検出し、この画素ドットの上下方向および左右方向の角度を計算して、これら角度とカメラ51a，51b間の距離とからその位置のカメラ51a，51bからの距離を計算する。したがって、カメラ51a，51bにより撮像する画像は、可能な限り範囲が重なって(ラップして)いることが好ましい。また、この画像生成部63による距離画像の生成は、計算した各画素ドットの距離を、例えば１ドット毎などの所定ドット毎に明度、あるいは色調などの、視認により識別可能な階調に変換して表示することにより行われる。本実施形態において、画像生成部63は、距離が大きいほど明度が小さい白黒の画像、すなわち電気掃除機11(本体ケース20)からの前方への距離が遠いほど黒く距離が近いほど白い、例えば２５６階調(８ビット＝２8)のグレースケールの画像として距離画像を生成する。したがって、この距離画像は、いわば電気掃除機11(本体ケース20)の走行方向前方のカメラ51a，51bによって撮像される範囲内に位置する物体の距離情報(距離データ)の集合体を可視化したものである。この画像生成部63では、カメラ51a，51bにより撮像された各画像中の所定の画像範囲内の画素ドットについてのみの距離画像を生成する。
判定部64は、画像生成部63により生成された距離画像に基づいて、カメラ51a，51bにより撮像された物体が障害物であるか否か、すなわち走行の障害となる障害物が前方にあるか否かを判定する。具体的に、この判定部64は、画像生成部63により生成された距離画像(距離画像を構成する画素ドットの距離の数値データ)中の物体(特徴点)の距離を、予め設定された、あるいは可変設定された所定の閾値である設定距離と比較し、この設定距離以下の距離(電気掃除機11(本体ケース20)からの距離)に物体(特徴点)が位置する場合、この物体(特徴点)を障害物であると判定し、設定距離以下の距離(電気掃除機11(本体ケース20)からの距離)にない物体(特徴点)は障害物でないと判定する。より詳細に、本実施形態において、判定部64は、所定の距離幅(ビン)毎の画素数を度数として示すヒストグラム(例えば図７(a)および図７(b)に例を示す)を用いて距離画像中の画素ドット(物体(特徴点))の距離情報を度数データにより管理し、このヒストグラム中の設定距離を含む距離幅の度数と予め設定された度数閾値とを比較して、所定の設定距離より近い距離の度数が所定の度数閾値以上となったときに、距離画像中に障害物となる物体が撮像されていると判定する。
ここで、画像生成部63および判定部64のそれぞれで設定される所定の画像範囲は、(画像生成部63で設定される画像範囲)≧(判定部64で設定される画像範囲)の大小関係を満たしていれば、必ずしも一致していなくてもよいが、処理をより簡略化する場合には、一致していることが好ましいため、本実施形態ではこれらの画像範囲が一致しているものとして説明する。また、これらの画像範囲は、判定部64に設定される設定距離に応じて大小が決定される。具体的に、判定部64に設定される設定距離が大きいほど(遠いほど)、画像範囲は狭く設定される。この画像範囲は、設定距離に比例して設定されるようにしてもよいし、設定距離に対して設定された単数、または複数の閾値とこの設定距離との大小関係に応じて、予め設定された複数の画像範囲から最適の画像範囲を選択するようにしてもよい。この画像範囲は、設定距離に応じた本体ケース20の外形と同等に設定する。すなわち、この画像範囲は、カメラ51a，51bから設定距離に電気掃除機11(本体ケース20)が位置する場合の、この電気掃除機11(本体ケース20)の外形形状(上下左右の大きさ)に応じて設定される。本実施形態の場合、本体ケース20が扁平な略円柱状(略円盤状)であるため、画像範囲は左右方向に長い(横長の)四角形状に設定される。換言すれば、この画像範囲は、電気掃除機11(本体ケース20)がそのまま設定距離直進したときに接触する範囲に設定される。なお、判定部64の設定距離は、電気掃除機11(本体ケース20)の移動速度や走行モードに応じて適宜設定されていてもよいし、使用者が任意に入力するようにすることもできる。
画像処理部65は、判定部64により障害物であると判定した物体(特徴点)との距離と、センサ部26の回転数センサ55により検出した電気掃除機11(本体ケース20)の位置とから、電気掃除機11(本体ケース20)が配置された掃除領域およびこの掃除領域内に位置する物体などの位置関係を計算してマップを生成する。なお、この画像処理部65は、必須の構成ではない。
走行制御部66は、モータ35，35に流れる電流の大きさおよび向きを制御することにより、モータ35，35を正転、あるいは逆転させることで、モータ35，35の駆動を制御し、これらモータ35，35の駆動を制御することで駆動輪34，34(図３)の駆動を制御している。
掃除制御部67は、電動送風機41、ブラシモータ43、および、サイドブラシモータ45をそれぞれ別個に導通角制御することで、これら電動送風機41、ブラシモータ43(回転ブラシ42(図３))、および、サイドブラシモータ45(サイドブラシ44(図３))の駆動を制御している。なお、これら電動送風機41、ブラシモータ43、および、サイドブラシモータ45のそれぞれに対応して制御部を別個に設けてもよい。
撮像制御部68は、カメラ51a，51bのシャッタの動作を制御する制御回路を備え、このシャッタを所定時間毎に動作させることで、所定時間毎にカメラ51a，51bにより画像を撮像させるように制御する。
照明制御部69は、スイッチなどを介してランプ53のオンオフを制御している。この照明制御部69は、本実施形態では、電気掃除機11の周囲の明るさを検出するセンサを備えており、このセンサにより検出した明るさが所定以下の場合にランプ53を点灯させ、その他のときにはランプ53を点灯させないようにするものである。
また、二次電池28は、例えば図３に示す本体ケース20の下面部20cの後部の両側に露出する接続部としての充電端子71，71と電気的に接続されており、これら充電端子71，71が充電装置12(図４)側と電気的および機械的に接続されることで、この充電装置12(図４)を介して充電されるようになっている。
図１に示すホームゲートウェイ14は、アクセスポイントなどとも呼ばれ、建物内に設置され、ネットワーク15に対して例えば有線により接続されている。
サーバ16は、ネットワーク15に接続されたコンピュータ(クラウドサーバ)であり、各種データを保存可能である。
外部装置17は、建物の内部では例えばホームゲートウェイ14を介してネットワーク15に対して有線あるいは無線通信可能であるとともに、建物の外部ではネットワーク15に対して有線あるいは無線通信可能な、例えばＰＣ(タブレット端末(タブレットＰＣ))17aやスマートフォン(携帯電話)17bなどの汎用のデバイスである。この外部装置17は、少なくとも画像を表示する表示機能を有している。
次に、上記第１の実施形態の動作を説明する。
一般に、電気掃除装置は、電気掃除機11によって掃除をする掃除作業と、充電装置12によって二次電池28を充電する充電作業とに大別される。充電作業は、充電装置12に内蔵された定電流回路などの充電回路を用いる既知の方法が用いられるため、掃除作業についてのみ説明する。また、外部装置17などからの指令に応じてカメラ51a，51bの少なくともいずれかにより所定の対象物を撮像する撮像作業を別途備えていてもよい。
電気掃除機11は、例えば予め設定された掃除開始時刻となったときや、リモコンまたは外部装置17によって送信された掃除開始の指令信号を受信したときなどのタイミングで、制御手段27が待機モードから走行モードに切り換わり、この制御手段27(走行制御部66)がモータ35，35(駆動輪34，34)を駆動させ充電装置12から所定距離離脱する。
次いで、電気掃除機11は、画像処理部65により、掃除領域のマップを生成する。このマップの生成の際には、概略として、電気掃除機11は、掃除領域の外壁などに沿って走行しながら、カメラ51a，51bにより撮像した画像中の物体の距離を計算し、この距離から壁や障害物を判定して、現在の電気掃除機11の位置に基づいてマップを生成する(マップ生成モード)。
より詳細に、図９に示すフローチャートなども参照しながら説明すると、まず、制御手段27が、(走行制御部66により)モータ35，35(駆動輪34，34)を駆動させて電気掃除機11(本体ケース20)を掃除領域CAの外壁に沿って走行させながら、(撮像制御部68により)駆動させたカメラ51a，51bにより走行方向前方の画像を撮像する(図８、ステップ１)。これら撮像した画像の少なくともいずれかは、メモリ61に記憶することができる。次に、これらカメラ51a，51bにより撮像した画像と、カメラ51a，51bとの間の距離に基づき、画像生成部63により所定の画像範囲内の物体(特徴点)の距離を計算する(ステップ２)。具体的に、例えばカメラ51a，51bにより図６(a)および図６(b)に示すような画像P1a，P1bを撮像した場合、その画像P1a，P1b中の所定の画像範囲A1a，A1b内の各画素ドットの距離を画像生成部63により計算する。画像範囲A1a，A1bは、例えば判定部64に設定された設定距離が相対的に大きい(遠い)、例えば１ｍなどの設定距離D1(図５)の場合の画像範囲とする。さらに、画像生成部63は、計算した距離情報から距離画像を生成し(ステップ３)、距離画像中の所定の距離幅毎内の各画素ドットの数を度数としたヒストグラムに基づいて判定部64により判定した壁などの障害物と、センサ部26の回転数センサ55により検出した充電装置12(図８)からの電気掃除機11(本体ケース20)の相対位置、すなわち自分の位置とに基づき、画像処理部65が掃除領域CA(図８)の大まかな外形やレイアウトをマッピングして、各物体(特徴点)の距離をメモリ61に記憶し(ステップ４)、ステップ１に戻る。例えば制御手段27が、掃除領域全体をマッピングしたと判定した場合には、マップ生成モードを終了し、後述する掃除モードに移行する。なお、このマップは、生成時に例えばメモリ61などに一旦記憶しておけば、次回の掃除以降はメモリ61から読み出すだけでもよく、掃除の都度生成する必要はないが、メモリ61に記憶しているマップと異なる掃除領域を掃除する場合や、同じ掃除領域でも物体のレイアウトなどが変わっている場合もあるので、例えばユーザの指令などに応じて、あるいは所定期間毎などに適宜生成できるようにしてもよいし、一旦生成したマップを、掃除作業のときの物体の距離測定に基づいて随時更新してもよい。
次いで、電気掃除機11は、生成したマップに基づいて、掃除領域内を自律走行しつつ掃除をする(掃除モード)。この自律走行の際には、概略として、電気掃除機11は、前進しながら、カメラ51a，51bにより撮像した画像中の物体の距離を計算し、この距離やマッピングしたマップに基づいて壁や障害物を判定して、これら壁や障害物を回避しながら走行しつつ、掃除部22によって掃除を行う。
より詳細に、図１０に示すフローチャートなども参照しながら説明すると、まず、制御手段27(走行制御部66)によりモータ35，35(駆動輪34，34)を駆動させて電気掃除機11(本体ケース20)を走行させ(ステップ11)、制御手段27(撮像制御部68)により駆動させたカメラ51a，51bにより走行方向前方を撮像する(ステップ12)。これら撮像した画像は、メモリ61に記憶することができる。次に、これらカメラ51a，51bにより撮像した画像と、カメラ51a，51bとの間の距離に基づき、画像生成部63により所定の画像範囲内の物体(特徴点)の距離を計算する(ステップ13)。具体的に、例えばカメラ51a，51bにより図６(a)および図６(b)に示すような画像P1a，P1bを撮像した場合、その画像P1a，P1b中の所定の画像範囲A1a，A1bまたは画像範囲A2a，A2b内の各画素ドットの距離を画像生成部63により計算する。画像範囲A1a，A1bは、例えば判定部64に設定された設定距離が相対的に大きい(遠い)設定距離D1(図５)の場合の画像範囲であり、画像範囲A2a，A2bは、例えば判定部64に設定された設定距離が相対的に小さい(近い)、例えば３０ｃｍなどの設定距離D2(図５)の場合の画像範囲とする。さらに、画像生成部63は、計算した距離に基づいて距離画像を生成する(ステップ14)。この画像生成部63により生成した距離画像PL1，PL2の例を図６(c)、図６(d)に示す。この距離画像PL1，PL2は、それぞれ判定部64に設定された設定距離が相対的に大きい場合(設定距離D1(図５))と小さい場合(設定距離D2(図５))との例を示す。この距離画像も、例えばメモリ61に記憶することができる。そして、この生成した距離画像から、判定部64が、物体(特徴点)の距離と所定の設定距離とを比較して、その設定距離以下に物体があるか否か、すなわち物体が障害物であるか否か(電気掃除機11(本体ケース20)の前方に走行(前進)の障害となる障害物があるか否か)を判定する(ステップ15)。具体的に、判定部64は、距離画像中の所定の距離幅毎内の各画素ドットの数を度数としたヒストグラムにおいて、所定の設定距離を含む距離幅の度数が予め設定された所定の度数閾値以上である場合には、設定距離以下に障害物となる物体があると判定する。例えば、距離画像中の所定の距離幅毎内の各画素ドットの数を度数としたヒストグラムが図７(a)のような場合、電気掃除機11(本体ケース20)がそのまま前進すると、距離が小さい側に度数全体がずれて図７(b)に示すようなヒストグラムとなることが想定され、設定距離Ｄ(設定距離D1(図５)または設定距離D2(図５))を含む距離幅(ビン)の度数が度数閾値Ｔ以上となったときに、判定部64は、所定距離以下に障害物となる物体があると判定する。そして、図１０に示すフローチャートのステップ15において、物体が障害物でないと判定した場合には、そのまま走行を継続し(ステップ16)、ステップ11に戻る。この物体が障害物でないとの判定は、例えば画像中に何の物体も撮像されていない場合も含む。一方、ステップ15において、物体が障害物であると判定した場合には、所定の回避動作ルーチンに進む(ステップ17)。この回避動作ルーチンとしては、様々な方法があるが、例えば制御手段27(走行制御部66)がモータ35，35(駆動輪34，34)の駆動を制御して、電気掃除機11(本体ケース20)を停止させ、その位置、あるいは所定距離後退した位置で走行方向を変えるように旋回する。この回避動作ルーチンの後、電気掃除機11はステップ16に進んで走行を継続する。このように、電気掃除機11(本体ケース20)は、掃除領域内の床面上を、障害物を回避しながら隅々まで自律走行しつつ掃除部22を制御手段27(掃除制御部67)により動作させて床面の塵埃を掃除する。すなわち、電気掃除機11は、障害物を検出しても掃除作業を継続するなど、継続した動作を行う。
掃除部22では、制御手段27(掃除制御部67)により駆動された電動送風機41、回転ブラシ42(ブラシモータ43)、あるいはサイドブラシ44(サイドブラシモータ45)により床面の塵埃を、吸込口31を介して集塵部46へと捕集する。そして、マップした掃除領域の掃除が完了した場合、あるいは掃除作業中に二次電池28の容量が所定量まで低下して掃除や撮像を完了させるのに不足している(二次電池28の電圧が放電終止電圧近傍まで低下している)などの所定条件時には、電気掃除機11では、充電装置12に帰還するように制御手段27(走行制御部66)によってモータ35，35(駆動輪34，34)の動作を制御する。この後、充電端子71，71と充電装置12の充電用端子とが接続されると、掃除作業を終了し、制御手段27が待機モード、あるいは充電モードに移行する。
なお、メモリ61に記憶した画像のデータは、例えば電気掃除機11が充電装置12に帰還したとき、掃除作業中に随時、所定時間毎、あるいは外部装置17からの要求があったときなどに無線ＬＡＮデバイス47を介してホームゲートウェイ14およびネットワーク15を経由してサーバ16に送信する。なお、送信が終了したデータは、メモリ61から消去、あるいは新たなデータを記憶する際に上書きすることで、メモリ61の容量を効率よく使用できる。
サーバ16では、電気掃除機11から送信された画像のデータを保存し、外部装置17からの要求(アクセス)に応じてそれら画像のデータをダウンロード可能となっている。
そして、外部装置17では、サーバ16からダウンロードされた画像が表示される。
このように、第１の実施形態によれば、複数のカメラ51a，51bにより撮像した本体ケース20の走行方向側の画像により、画像生成部63で走行方向側に位置する物体の距離画像を生成するとともに、この生成した距離画像に基づいて、撮像された物体が走行(前進)の障害となる障害物であるか否かを判定部64により判定することで、障害物の検出精度を向上でき、電気掃除機11(本体ケース20)を安定して走行させることができ、走行性能および掃除性能を向上できる。
また、距離画像の距離情報を度数データにより管理し、所定の設定距離より近い距離の度数が所定の度数閾値以上となったときに、判定部64が距離画像中の物体を障害物と判定することで、例えば画素ドット中の１つでも所定の設定距離以上となった場合か否かに基づいて画像中の物体が障害物であるか否かを判定する場合と比較して、画像ノイズの影響を受けにくく、障害物をより精度よく判定できる。
さらに、カメラ51a，51bの少なくともいずれか、本実施形態ではカメラ51a，51bがともに可視光領域の画像を撮像するので、撮像した画像の画質が良好で、複雑な画像処理を施すことなく、ユーザが目視可能に容易に表示できるとともに、ランプ53により可視光領域を含む光を照明することで、暗い場所や夜間などであっても、カメラ51a，51bにより確実に画像を撮像できる。
次に、第２の実施形態を図１１を参照して説明する。なお、上記第１の実施形態と同様の構成および作用については、同一符号を付してその説明を省略する。
この第２の実施形態は、上記第１の実施形態において、掃除モード時の走行制御が異なっている。具体的に、この第２の実施形態では、撮像された物体が障害物である(電気掃除機11(本体ケース20)の前方に走行(前進)の障害となる障害物がある)と判定部64により判定した場合に、駆動輪34，34による本体ケース20(電気掃除機11)の走行速度を相対的に低下させた後、判定部64での判定用の設定距離を小さく設定して、撮像された物体が障害物であるか否か、すなわち電気掃除機11(本体ケース20)の前方に走行(前進)の障害となる障害物があるか否かを判定部64により再度判定するものである。
より詳細に、図１１に示すフローチャートも参照しながら説明すると、制御手段27(走行制御部66)は、まず、モータ35，35(駆動輪34，34)を駆動させて電気掃除機11(本体ケース20)を、相対的に高速の第１速度で走行させ(ステップ21)、ステップ12ないしステップ14の制御を行う。また、ステップ15に代えて、判定部64が、物体(特徴点)の距離と所定の設定距離とを比較して、その設定距離以下に物体があるか否か、すなわち物体が障害物であるか否かを判定するステップ22の制御を行う。このとき、設定距離は、相対的に大きい(遠い)設定距離D1(図５)とする。このステップ22の具体的な処理は、ステップ15と同様であるので、説明を省略する。そして、このステップ22において、物体が障害物でない(前方に障害物がない)と判定部64が判定した場合には、ステップ21に戻る。また、このステップ22において、物体が障害物である(前方に障害物がある)と判定した場合には、判定部64は、物体(特徴点)の距離と所定の設定距離とを比較して、その設定距離以下に物体があるか否か、すなわち物体が障害物であるか否かを判定する(ステップ23)。このとき、設定距離は、相対的に小さい(近い)設定距離D2(図５)とする。このステップ23の具体的な処理は、ステップ15と同様であるので、説明を省略する。そして、このステップ23において、物体が障害物でない(前方に障害物がない)と判定した場合には、制御手段27(走行制御部66)は、モータ35，35(駆動輪34，34)を駆動させて電気掃除機11(本体ケース20)を、相対的に低速の第２速度で走行させ(ステップ24)、すなわち電気掃除機11(本体ケース20)の走行速度を低下させ、ステップ12に戻る。また、ステップ23において、物体が障害物である(前方に障害物がある)と判定した場合、すなわちステップ22において物体が障害物であるとの判定に続きこのステップ23においても物体が障害物であると再判定した場合には、制御手段27(走行制御部66)は、モータ35，35(駆動輪34，34)を停止させて電気掃除機11(本体ケース20)の走行を停止させ(ステップ25)、制御を終了する。
このように、判定部64によって、撮像された物体を障害物であると判定した場合に、所定の設定距離を小さく設定して物体が障害物であるか否かを再度判定することで、撮像された物体をより詳細に評価し、障害物の検出精度を向上できる。
具体的に、判定部64が、撮像された物体が障害物であると判定すると、制御手段27により電気掃除機11(本体ケース20)の走行速度を相対的に低下させた後、判定部64が所定の設定距離を小さく設定して物体が障害物であるか否かを再度判定するので、撮像された物体を異なった条件下で再評価でき、障害物の誤検出を抑制できる。
また、判定部64により物体を障害物であると再判定した場合に、制御手段27が駆動輪34，34を停止させて電気掃除機11(本体ケース20)の走行を停止させるので、誤って障害物に乗り上げたり、障害物に衝突したりするなどの誤動作を抑制できる。
なお、上記第２の実施形態において、判定部64により物体を障害物であると判定した後、走行速度を低下させて再度障害物であるか否かを判定する場合、第１速度と第２速度との２段階を設定したが、同様の処理を繰り返して、走行速度を３段階以上減速させつつ障害物であるか否かの判定を３回以上繰り返してもよい。この場合には、走行速度を低下させるほど、所定の設定距離を小さくする(距離画像の画像範囲を広くする)ことが好ましい。
また、判定部64により物体を障害物であると判定した後、走行速度を低下させる代わりに、例えば電気掃除機11(本体ケース20)を僅かな所定角度旋回させた後、再度障害物であるか否かを判定することもできる。この場合にも、撮像された物体を異なった条件下で再評価でき、障害物の誤検出を抑制できる。
このように、判定部64により物体が障害物であると判定した場合には、条件を変えながら判定部64によって複数回、物体が障害物であるか否かを判定するので、障害物検出の精度をより向上できる。
さらに、判定部64により物体を障害物であると判定した後、１８０°旋回して回避方向の障害物判定を行うようにしてもよい。
次に、第３の実施形態を図１２を参照して説明する。なお、上記各実施形態と同様の構成および作用については、同一符号を付してその説明を省略する。
この第３の実施形態は、上記各実施形態のカメラ51a，51b間に、ランプ53と異なる光出力手段(光出力部)としてのビーム照射部73を備えるものである。
このビーム照射部73は、例えばＬＥＤ、あるいは半導体レーザなどの発光素子を用い、可視光または赤外線などの光ビームＢを、本体ケース20の走行方向前方に照射するように構成されている。このビーム照射部73は、カメラ51a，51bの中間位置、すなわち本体ケース20の側面部20aの中心線Ｌ上の位置に配置されている。すなわち、ビーム照射部73は、カメラ51a，51bからの距離が略等しくなっている。したがって、このビーム照射部73は、ランプ53の上方、あるいは下方などに配置することができる。このビーム照射部73から照射される光ビームＢは、１本でも複数本でもよいが、本実施形態では例えば複数本照射される。これら光ビームＢは、カメラ51a，51bの互いに重なり合う撮像範囲(視野)Va，Vb内に照射されることが好ましい。
そして、このビーム照射部73から照射された光ビームＢは、本体ケース20(電気掃除機11)の前方に位置する物体Ｏに照射されることで、カメラ51a，51bにより撮像される画像中にスポットＳとして映り込む。
このため、例えば均一な色の壁や透明なガラスなど、画像中に直接映り込みにくく、画像から距離を計算することが容易でない物体Ｏに対して、光ビームＢにより物体Ｏ上に生成したスポットＳを物体Ｏの特徴点としてこのスポットＳまでの距離を計算することで、カメラ51a，51bにより撮像された画像から物体Ｏの距離を取得することが可能になる。この結果、障害物の検出精度をより向上できる。
また、画像を撮像するカメラ51a，51bの互いに重なり合う撮像範囲Va，Vb内に光ビームＢを照射することで、本体ケース20(電気掃除機11)の走行方向前方に位置する物体Ｏに対して、より確実に光ビームＢを照射することができ、物体Ｏの検出精度をより向上できる。
そして、ビーム照射部73から複数本の光ビームＢを出力することで、物体Ｏ上の異なる位置に複数のスポットＳを生成でき、これら複数のスポットＳを用いて物体Ｏの距離を計算できるので、物体Ｏの距離をより確実に検出できる。このため、障害物の検出精度をより向上できる。
なお、上記第３の実施形態において、ビーム照射部73は、カメラ51a，51bの中間位置、すなわち本体ケース20の側面部20aの中心線Ｌ上の位置に対して、ずれた位置(カメラ51a，51bの中間位置と異なる位置)に配置されていてもよい。この場合には、スポットＳまでの距離を計算する際にビーム照射部73の位置に基づいた補正を行うことで、物体Ｏの距離を取得できる。
次に、第４の実施形態を図１３を参照して説明する。なお、上記各実施形態と同様の構成および作用については、同一符号を付してその説明を省略する。
この第４の実施形態は、上記各実施形態のカメラ51a，51b間に、撮像手段としてのカメラ51cを備えるものである。
このカメラ51cは、カメラ51a，51bの中間位置、すなわち本体ケース20の側面部20aの中心線Ｌ上の位置に配置されている。すなわち、このカメラ51cは、カメラ51a，51bからの距離が略等しくなっている。このため、カメラ51a，51c間のピッチと、カメラ51c，51b間のピッチとが互いに等しくなっている。換言すれば、これらカメラ51a，51c，51bは、互いに略等間隔に配置されている。すなわち、カメラ51a，51c間のピッチ、および、カメラ51c，51b間のピッチは、カメラ51a，51b間のピッチの略１／２に設定されている。言い換えると、カメラ51a，51c、および、カメラ51c，51bは、配置間隔が相対的に狭い２つのカメラペアを構成し、カメラ51a，51bは、配置間隔が相対的に広い２つのカメラペアを構成している。これらカメラ51a，51b，51cの撮像範囲Va，Vb，Vcは重なっており、これらカメラ51a，51bにより撮像される各画像は、その撮像領域が左右方向にラップしている。本実施形態では、これらカメラ51a，51b，51cは、例えば可視光領域の画像を撮像するものとする。なお、これらカメラ51a，51b，51cにより撮像した画像は、例えば図示しない画像処理回路などにより所定のデータ形式に圧縮することもできる。
ランプ53は、図示しないが、カメラ51a，51c間、および、カメラ51c，51a間にそれぞれ配置することもできるし、カメラ51a，51b，51cから略等しい距離に配置してもよい。
また、画像生成部63は、上記各実施形態と同様の既知の方法を用いて、互いに隣接するカメラ51a，51cにより撮像した画像と、互いに隣接するカメラ51a，51c間の距離とに基づいて物体(特徴点)の距離を計算するとともに、カメラ51c，51bにより撮像した画像と、カメラ51c，51b間の距離とに基づいて物体(特徴点)の距離を計算する。そして、この画像生成部63では、これらそれぞれ計算した物体の距離の平均値により距離画像を生成する。この距離画像の生成の際には、カメラ51a，51cで撮像した画像に基づき計算した物体の距離に基づいて距離画像(中間距離画像)を生成するとともに、カメラ51c，51bで撮像した画像に基づき計算した物体の距離とに基づいて距離画像(中間距離画像)を生成し、これら中間距離画像の平均画像を距離画像としてもよいし、これら中間距離画像を生成せず、それぞれ計算した物体の距離の平均値に基づいて直接距離画像を生成してもよい。
したがって、判定部64では、互いに隣接する２つずつのカメラ51a，51cおよびカメラ51c，51bによりそれぞれ撮像した画像中の物体の各距離の平均値により生成した距離画像の平均値として生成された距離画像に基づいて、撮像された物体が障害物であるか否かを判定するので、画像ノイズが低減し、障害物の検出精度を向上できる。
また、カメラ51a，51cと、カメラ51c，51bとで異なるカメラ角度で撮像するので、１対のカメラでは撮像できなかった物体を撮像でき、障害物の検出精度をより向上できる。
さらに、画像生成部63では、例えば設定距離が相対的に大きい場合に、配置間隔が広い、すなわち互いに隣接しないカメラ51a，51bにより撮像した画像に基づいて物体の距離を計算し、設定距離が相対的に小さい場合に、配置間隔が狭い、すなわち互いに隣接するカメラ51a，51cおよび／またはカメラ51c，51bにより撮像した画像に基づいて物体の距離を計算することもできる。したがって、画像生成部63では、例えば設定距離が相対的に大きい場合に、配置間隔が広い、すなわち互いに隣接しないカメラ51a，51bにより撮像した画像に基づいて計算した物体の距離に基づいて距離画像を生成し、設定距離が相対的に小さい場合に、配置間隔が狭い、すなわち互いに隣接するカメラ51a，51cおよび／またはカメラ51c，51bにより撮像した画像に基づいて計算した物体の距離に基づいて距離画像を生成することもできる。
画像生成部63において、三角測量を用いて物体の距離を検出する場合、物体の距離が近いほど、カメラ間の距離が狭いほうが、距離の計算精度が良好になる。したがって、設定距離の大小に応じて、カメラ51a，51bにより撮像した画像と、カメラ51a，51cおよび／またはカメラ51c，51bの画像とを使い分けることで、物体の距離の検出精度、すなわち障害物の検出精度をより向上できる。
さらに、例えば判定部64により、走行の障害となる障害物があるか否かを判定する際に、配置間隔が狭い、すなわち互いに隣接するカメラ51a，51cおよび／またはカメラ51c，51bにより撮像した画像に基づいて画像生成部63が物体の距離を計算し、この計算した距離に基づいて生成した距離画像を用い、マップを生成する際に、配置間隔が広い、すなわち互いに隣接しないカメラ51a，51bにより撮像した画像に基づいて画像生成部63が物体の距離を計算し、この計算した物体の距離に基づいて距離画像を用いて判定部64により判定するようにするなどの応用も可能になる。
なお、上記第４の実施形態において、カメラは、４つ以上設定してもよい。
また、上記各実施形態において、カメラ51a，51b(およびカメラ51c)を本体ケース20(側面部20a)の左右方向に略等しい位置、すなわち上下に配置することもできる。
さらに、カメラ51a，51b(およびカメラ51c)の少なくともいずれかを、赤外領域の画像を撮像する、赤外線カメラとすることもできる。
また、画像の表示は、制御手段27によって外部装置17で表示可能となるように処理する構成の他に、例えばそれぞれ外部装置17にインストールされた専用のプログラム(アプリケーション)により外部装置17で表示するように処理することもできるし、制御手段27、あるいはサーバ16で予め処理をしておき、外部装置17のブラウザなどの汎用のプログラムにより表示することもできる。すなわち、表示制御手段(表示制御部)としては、サーバ16に保存されたプログラムや、外部装置17にインストールされたプログラムなどにより画像を表示させる構成とすることもできる。
さらに、メモリ61に一時記憶した画像などのデータは、サーバ16に送信してサーバ16に記憶するようにしたが、メモリ61にそのまま記憶しておいてもよいし、外部装置17に記憶しておいてもよい。
また、カメラ51a，51bで撮像した画像や画像生成部63で生成した距離画像は、外部装置17に限らず、例えば電気掃除機11自体に設けた表示部などに表示することもできる。この場合には、メモリ61からサーバ16へとホームゲートウェイ14およびネットワーク15経由でデータを送信しなくてもよく、電気掃除機11の構成や制御をより簡略化することもできる。
さらに、カメラ51a，51bによる障害物の検出を補助するために、例えば本体ケース20の後部など、カメラ51a，51bの視野外の位置での障害物検出用の接触センサなどのセンサを別途設けたり、本体ケース20の下面部20cに、床面の段差などを検出する赤外線センサなどの段差検出手段(段差検出部)を設けたりしてもよい。
そして、画像生成部63、判定部64、掃除制御部67、撮像制御部68および照明制御部69はそれぞれ制御手段27中に備えたが、それぞれ互いに別構成としてもよいし、いずれか２つ以上を任意に組み合わせてもよい。
さらに、画像生成部63による距離計算は、掃除作業時だけでなく、電気掃除機11(本体ケース20)の任意の走行時にも用いることができる。
また、判定部64は、所定の距離幅(ビン)毎の画素数を度数として示すヒストグラムを用いて物体が障害物であるか否かを判定したが、画素ドット毎の距離と設定距離とを直接比較して物体が障害物であるか否かを判定することもできる。
そして、以上説明した少なくとも一つの実施形態によれば、本体ケース20に離間して配置したカメラ51a，51b(カメラ51a，51b，51c)により撮像した画像に基づいて、この走行方向側に位置する物体の距離画像を画像生成部63により生成し、この生成した距離画像に基づいて、撮像された物体が障害物であるか否かを判定部64により判定するので、例えば赤外線センサや超音波センサなどを用いる場合と比較して、物体の物性(柔らかさや色など)に左右されることなく、また、小さな物体を見逃すことなく、物体およびその距離を精度よく検出できる。したがって、障害物の検出精度を向上できる。
具体的に、判定部64は、画像生成部63により生成した距離画像中の物体が予め設定された所定の設定距離より近い場合に物体を障害物と判定するので、簡単な処理で障害物を精度よく検出できる。
この結果、この判定部64により障害物と判定した物体を回避するように駆動輪34，34(モータ35，35)の駆動を制御するので、自律走行の精度を向上でき、掃除領域をより隅々まで効率よく掃除できる。
さらに、画像生成部63が、カメラ51a，51b(カメラ51a，51b，51c)で撮像した画像のデータのうち、所定の画像範囲内のデータをそれぞれ用いて距離画像を生成するので、カメラ51a，51b(カメラ51a，51b，51c)で撮像した画像のデータ全体を用いて距離画像を生成する場合と比較して、高速で処理できる。
また、画像生成部63は、所定の設定距離に応じて画像範囲を変化させるので、設定距離に応じて必要な範囲のみの画像処理とすることができ、処理をより高速化できる。
具体的に、画像生成部63は、所定の設定距離が相対的に小さい場合に画像範囲を相対的に大きく設定し、所定の設定距離が相対的に大きい場合に画像範囲を相対的に小さく設定するので、例えば電気掃除機11(本体ケース20)の走行速度が速い場合など、所定の設定距離を相対的に大きく設定する必要がある場合には、相対的に小さく設定した画像範囲のみの画像処理を行えばよく、処理が高速になるとともに、電気掃除機11(本体ケース20)の走行速度が遅い場合など、所定の設定距離を相対的に小さく設定してもよい場合には、画像範囲を相対的に大きく設定することで、障害物となる物体の検出精度をより向上できる。
したがって、例えば電気掃除機11(本体ケース20)の走行速度などの用途に応じて設定距離および画像範囲を適宜使い分けることができる。
また、画像範囲を、その画像範囲に対応する設定距離に応じた本体ケース20の外形と同等とすることで、電気掃除機11(本体ケース20)の前進走行の妨げとなる必要最小限の障害物のみを検出できる。したがって、それ以外の位置にたとえ障害物が存在しても電気掃除機11(本体ケース20)の前進走行には影響がないから、この画像範囲内だけの処理で、走行の妨げとなる障害物を充分に検出でき、高速での処理を行いつつ、充分な障害物検出の効果を得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
11 電気掃除機
20 本体ケース
27 制御手段
34 駆動輪
51a，51b，51c 撮像手段としてのカメラ
63 距離画像生成手段としての画像生成部
64 判定手段としての判定部
73 光出力手段としてのビーム照射部
Ｂ 光ビーム
Va，Vb 撮像範囲

Claims (13)

  1. 本体ケースと、
    この本体ケースを走行可能とする駆動輪と、
    この駆動輪の駆動を制御することで前記本体ケースを自律走行させる制御手段と、
    前記本体ケースに配置されて互いに離間され、前記本体ケースの走行方向側を撮像する複数の撮像手段と、
    これら撮像手段により撮像した画像に基づき、この走行方向側に位置する物体の距離画像を生成する距離画像生成手段と、
    この距離画像生成手段で生成した距離画像に基づいて、撮像された物体が障害物であるか否かを判定する判定手段と、を具備し、
    前記距離画像生成手段は、前記各撮像手段により撮像した画像のデータのうち、所定の画像範囲内のデータをそれぞれ使用して距離画像を生成し、
    前記判定手段は、前記距離画像生成手段により生成された前記距離画像中の物体が予め設定された所定の設定距離より近い場合に前記物体を障害物であると判定するとともに、前記物体を障害物であると判定した場合には、前記制御手段により前記本体ケースの走行速度を相対的に低下させた状態で前記撮像手段により撮像された画像から前記距離画像生成手段で生成した距離画像に基づき、前記所定の設定距離を小さく設定して前記物体が障害物であるか否かを再度判定する
    ことを特徴とした電気掃除機。
  2. 前記距離画像生成手段は、前記所定の設定距離に応じて前記所定の画像範囲を変化させる
    ことを特徴とした請求項１記載の電気掃除機。
  3. 前記距離画像生成手段は、前記所定の設定距離が相対的に小さい場合に前記所定の画像範囲を相対的に大きく設定し、前記所定の設定距離が相対的に大きい場合に前記所定の画像範囲を相対的に小さく設定する
    ことを特徴とした請求項２記載の電気掃除機。
  4. 前記距離画像生成手段は、前記所定の画像範囲を、前記所定の設定距離に応じた前記本体ケースの外形と同等に設定する
    ことを特徴とした請求項１ないし３いずれか一記載の電気掃除機。
  5. 前記制御手段は、前記判定手段により前記物体を障害物であると判定した場合に、前記本体ケースを旋回させ、
    前記判定手段は、前記制御手段により前記本体ケースを旋回させた後、前記所定の設定距離を小さく設定して前記物体が障害物であるか否かを再度判定する
    ことを特徴とした請求項１ないし４いずれか一記載の電気掃除機。
  6. 前記制御手段は、前記判定手段により前記物体を障害物であると再判定した場合に、前記駆動輪を停止させて前記本体ケースの走行を停止させる
    ことを特徴とした請求項１ないし５いずれか一記載の電気掃除機。
  7. 前記判定手段は、距離画像の距離情報を度数データにより管理するとともに、所定の設定距離より近い距離の度数が所定値以上であるときに、前記物体を障害物であると判定する
    ことを特徴とした請求項１ないし６いずれか一記載の電気掃除機。
  8. 前記撮像手段は、３以上設定され、互いに略等間隔に離間されて配置され、
    前記距離画像生成手段は、互いに隣接する２つずつの前記撮像手段により撮像した画像中の物体の距離の平均値により距離画像を生成する
    ことを特徴とした請求項１ないし７いずれか一記載の電気掃除機。
  9. 前記撮像手段は、配置間隔が相対的に狭い２つと配置間隔が相対的に広い２つとを含む３以上設定され、
    前記距離画像生成手段は、前記所定の設定距離が相対的に小さいときに、配置間隔が相対的に狭い２つの前記撮像手段により撮像した画像により距離画像を生成し、前記所定の設定距離が相対的に大きいときに、配置間隔が相対的に広い２つの前記撮像手段により撮像した画像により距離画像を生成する
    ことを特徴とした請求項８記載の電気掃除機。
  10. 前記撮像手段は、互いに略等間隔に３つ設定され、
    前記距離画像生成手段は、前記所定の設定距離が相対的に大きいときに、互いに隣接しない２つの前記撮像手段により撮像した画像により距離画像を生成し、前記所定の設定距離が相対的に小さいときに、互いに隣接する２つの前記撮像手段により撮像した画像により距離画像を生成する
    ことを特徴とした請求項９記載の電気掃除機。
  11. 前記撮像手段により撮像可能な波長の光ビームを出力する光出力手段を具備し、
    前記距離画像生成手段は、前記光出力手段により出力された光が物体に対して照射された位置までの距離を、画像中の光ビームの距離を算出することで算出する
    ことを特徴とした請求項１ないし１０いずれか一記載の電気掃除機。
  12. 前記光出力手段は、画像を撮像する複数の撮像手段の互いに重なり合う撮像範囲内に光ビームを照射する
    ことを特徴とした請求項１１記載の電気掃除機。
  13. 前記光出力手段は、複数本の光ビームを出力する
    ことを特徴とした請求項１１または１２記載の電気掃除機。
JP2015202910A 2015-10-14 2015-10-14 電気掃除機 Active JP6705636B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2015202910A JP6705636B2 (ja) 2015-10-14 2015-10-14 電気掃除機
US15/768,360 US10932635B2 (en) 2015-10-14 2016-10-12 Vacuum cleaner
CN201680003835.XA CN106998983B (zh) 2015-10-14 2016-10-12 电动吸尘器
KR1020177011997A KR102001422B1 (ko) 2015-10-14 2016-10-12 전기청소기
PCT/JP2016/080249 WO2017065171A1 (ja) 2015-10-14 2016-10-12 電気掃除機
EP16855424.4A EP3363342B1 (en) 2015-10-14 2016-10-12 Electric vacuum cleaner
MYPI2018701484A MY188231A (en) 2015-10-14 2016-10-12 Electric vacuum cleaner
TW105132967A TWI619462B (zh) 2015-10-14 2016-10-13 Electric sweeper

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015202910A JP6705636B2 (ja) 2015-10-14 2015-10-14 電気掃除機

Publications (2)

Publication Number Publication Date
JP2017074191A JP2017074191A (ja) 2017-04-20
JP6705636B2 true JP6705636B2 (ja) 2020-06-03

Family

ID=58518192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015202910A Active JP6705636B2 (ja) 2015-10-14 2015-10-14 電気掃除機

Country Status (8)

Country Link
US (1) US10932635B2 (ja)
EP (1) EP3363342B1 (ja)
JP (1) JP6705636B2 (ja)
KR (1) KR102001422B1 (ja)
CN (1) CN106998983B (ja)
MY (1) MY188231A (ja)
TW (1) TWI619462B (ja)
WO (1) WO2017065171A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659317B2 (ja) * 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
JP6944274B2 (ja) * 2017-05-23 2021-10-06 東芝ライフスタイル株式会社 電気掃除機
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
EP3668362B1 (en) * 2017-08-16 2023-07-19 SharkNinja Operating LLC Robotic vacuum
WO2019073590A1 (ja) 2017-10-13 2019-04-18 学校法人 千葉工業大学 自走式掃除機
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
CN108209746A (zh) * 2017-12-27 2018-06-29 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
CN108283466A (zh) * 2017-12-27 2018-07-17 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP7261958B2 (ja) * 2019-04-18 2023-04-21 パナソニックＩｐマネジメント株式会社 自律走行型掃除機
KR102224637B1 (ko) 2019-07-05 2021-03-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102275300B1 (ko) 2019-07-05 2021-07-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102297496B1 (ko) * 2019-07-11 2021-09-02 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102361130B1 (ko) 2019-07-11 2022-02-09 엘지전자 주식회사 이동 로봇 및 그 제어방법
US11666195B2 (en) 2020-02-17 2023-06-06 Samsung Electronics Co., Ltd. Robot and control method thereof
KR102390039B1 (ko) * 2020-03-10 2022-04-25 엘지전자 주식회사 로봇 청소기 및 그 제어 방법
US11553824B2 (en) * 2020-06-25 2023-01-17 Power Logic Tech, Inc. Automatic guiding method for self-propelled apparatus
US20220125265A1 (en) * 2020-10-26 2022-04-28 Guangzhou Thirty Seven Degree Smarthome Co., Ltd. Intelligent vacuum device with extendable and deformable suction arm

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921496B2 (ja) * 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
JP4233723B2 (ja) * 2000-02-28 2009-03-04 本田技研工業株式会社 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
JP3945279B2 (ja) 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP3846494B2 (ja) 2004-07-13 2006-11-15 日産自動車株式会社 移動障害物検出装置
KR100619758B1 (ko) 2004-11-10 2006-09-07 엘지전자 주식회사 로봇청소기의 움직임 추적장치 및 방법
KR100633444B1 (ko) * 2005-02-24 2006-10-13 삼성광주전자 주식회사 로봇 청소기 및 그 제어 방법
JP4539388B2 (ja) 2005-03-16 2010-09-08 パナソニック電工株式会社 障害物検出装置
JP2007163223A (ja) 2005-12-12 2007-06-28 Sharp Corp 移動量検知装置
JP4871160B2 (ja) * 2007-02-16 2012-02-08 株式会社東芝 ロボットおよびその制御方法
TWI327536B (en) 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
CN101458083B (zh) 2007-12-14 2011-06-29 财团法人工业技术研究院 结构光视觉导航系统与方法
US8452450B2 (en) * 2008-04-24 2013-05-28 Evolution Robotics, Inc. Application of localization, positioning and navigation systems for robotic enabled mobile products
US8961695B2 (en) * 2008-04-24 2015-02-24 Irobot Corporation Mobile robot for cleaning
JP2011175477A (ja) 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
DE102010017689A1 (de) 2010-07-01 2012-01-05 Vorwerk & Co. Interholding Gmbh Selbsttätig verfahrbares Gerät sowie Verfahren zur Orientierung eines solchen Gerätes
US8395659B2 (en) 2010-08-26 2013-03-12 Honda Motor Co., Ltd. Moving obstacle detection using images
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
JP2012247364A (ja) 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム
KR101566207B1 (ko) 2011-06-28 2015-11-13 삼성전자 주식회사 로봇 청소기 및 그 제어방법
JP2013235351A (ja) 2012-05-07 2013-11-21 Sharp Corp 自走式電子機器
JP2013250694A (ja) * 2012-05-31 2013-12-12 Ricoh Co Ltd 画像処理装置
TW201351301A (zh) 2012-06-08 2013-12-16 Automotive Res & Testing Ct 自適應障礙物影像偵測方法
JP2014089548A (ja) 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
WO2014064990A1 (ja) 2012-10-25 2014-05-01 シャープ株式会社 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
JP6030405B2 (ja) * 2012-10-25 2016-11-24 シャープ株式会社 平面検出装置およびそれを備えた自律移動装置
JP6132659B2 (ja) 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP5698815B2 (ja) * 2013-09-30 2015-04-08 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6729997B2 (ja) 2014-12-25 2020-07-29 東芝ライフスタイル株式会社 電気掃除機

Also Published As

Publication number Publication date
TW201716027A (zh) 2017-05-16
KR20170065620A (ko) 2017-06-13
EP3363342A4 (en) 2019-05-22
CN106998983B (zh) 2020-06-09
MY188231A (en) 2021-11-24
US10932635B2 (en) 2021-03-02
JP2017074191A (ja) 2017-04-20
EP3363342A1 (en) 2018-08-22
TWI619462B (zh) 2018-04-01
WO2017065171A1 (ja) 2017-04-20
CN106998983A (zh) 2017-08-01
EP3363342B1 (en) 2020-04-01
US20180296049A1 (en) 2018-10-18
KR102001422B1 (ko) 2019-07-18

Similar Documents

Publication Publication Date Title
JP6705636B2 (ja) 電気掃除機
JP6729997B2 (ja) 電気掃除機
KR102003787B1 (ko) 전기청소기
TWI653022B (zh) Autonomous mobile body
TWI670579B (zh) 自律移動體
WO2018087952A1 (ja) 電気掃除機
JP6864433B2 (ja) 電気掃除機
CN110325089B (zh) 电动吸尘器
JP2018196513A (ja) 電気掃除機

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200514

R150 Certificate of patent or registration of utility model

Ref document number: 6705636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150