JP6905635B2 - 掃除機及びその制御方法 - Google Patents

掃除機及びその制御方法 Download PDF

Info

Publication number
JP6905635B2
JP6905635B2 JP2020502620A JP2020502620A JP6905635B2 JP 6905635 B2 JP6905635 B2 JP 6905635B2 JP 2020502620 A JP2020502620 A JP 2020502620A JP 2020502620 A JP2020502620 A JP 2020502620A JP 6905635 B2 JP6905635 B2 JP 6905635B2
Authority
JP
Japan
Prior art keywords
illuminance
camera
vacuum cleaner
control unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020502620A
Other languages
English (en)
Other versions
JP2020528311A (ja
Inventor
サンヨル パク
サンヨル パク
ソンフン イ
ソンフン イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2020528311A publication Critical patent/JP2020528311A/ja
Application granted granted Critical
Publication of JP6905635B2 publication Critical patent/JP6905635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4063Driving means; Transmission means therefor
    • A47L11/4066Propulsion of the whole machine
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/30Arrangement of illuminating devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/0085Cleaning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Description

本発明は、掃除機及びその制御方法に関し、より詳細には、障害物を認識して自律走行を行う掃除機及びその制御方法に関する。
一般に、ロボットは、産業用に開発されて工場自動化の一部分を担ってきた。近年、ロボットの応用分野がさらに拡大し、医療用ロボット、宇宙航空ロボットなどが開発され、一般家庭で用いられる家庭用ロボットも製作されている。
家庭用ロボットの代表的な例として挙げられるロボット掃除機は、所定の領域を自律走行しながら周辺の塵又は異物を吸入して掃除する家電機器の一種である。このようなロボット掃除機は、一般的に充電可能なバッテリを備え、走行中に障害物を回避するための障害物センサを備えることにより、自律走行しながら掃除することができる。
近年、単に掃除領域を自律走行して掃除するロボット掃除機にとどまらず、ロボット掃除機をヘルスケア、スマートホーム、遠隔制御などの様々な分野に活用するための研究が盛んに行われている。
一般的に、ロボット掃除機は、掃除地図を作成するためのスラム(SLAM(Simultaneous Localization and Mapping))走行中に、本体の上方を向いた天井カメラにより取得された画像を用いる。
また、一般的に、ロボット掃除機は、本体周辺の情報をユーザに伝達するためのモニタ走行中に、本体の前方を向いた前方カメラにより取得された画像を用いる。
ここで、ロボット掃除機の制御部は、天井カメラの設定値と前方カメラの設定値を異なる値に設定することができる。一例として、制御部は、スラムに用いられる天井カメラにより相対的に低照度の画像が撮影されるように、天井カメラの設定値を設定してもよい。他の例として、制御部は、モニタに用いられる前方カメラにより相対的に高照度の画像が撮影されるように、前方カメラの設定値を制御してもよい。
つまり、制御部は、前方カメラと天井カメラが同じ性能を有しても、目的に応じてカメラの設定値を異なる値に設定することができる。
しかし、このようにカメラの設定値を固定値にすると、ロボット掃除機により実行される走行モードの数だけカメラを備えなければ、複数の走行モードを正常に実行することができない。すなわち、一般的なロボット掃除機の場合、複数の走行モードにそれぞれ対応する複数のカメラを備えなければならないので、ロボット掃除機の製作コストが増加するという問題があった。
一方、近年、単一のカメラのみを用いて様々な機能を実行することのできるロボット掃除機の必要性が高まっている。
単一のカメラのみを用いた場合、カメラの設定値が固定された状態で画像を取得すると、複数の走行モードに必要な様々な画像を取得することができないという問題があった。
これに関して、特許文献1(1996年2月23日公開)においては、ウインドウ内の撮影シーンとウインドウ外の撮影シーンとに異なる値に設定される加重値に基づいて露出制御信号を発生する構成を開示している。
しかし、特許文献1に記載のビデオカメラの露出調節装置は、撮影シーン内で被写体の位置を中心に正確な明るさを与えるために絞りを提供するものにすぎず、ロボット掃除機により実行される機能に応じて必要な設定値を有する画像を取得することは困難であるという問題があった。
韓国登録特許第10−0185909号公報
このような問題を解決するための本発明の技術的課題は、単一のカメラのみを用いて掃除機の複数の走行モードで要求される設定値を有する画像を取得することのできる、自律走行を行う掃除機及びその制御方法を提供することにある。
本発明の目的は、1つのカメラのみを用いて掃除機により実行される走行モードに必要な設定値を有する画像を取得することのできる、自律走行を行う掃除機及びその制御方法を提供することにある。
本発明の他の目的は、1つのカメラの設定値を制御部で実行中のアルゴリズムによって変更することにより、1つのカメラのみを備えながらも複数の走行モードを実行することのできる、自律走行を行う掃除機及びその制御方法を提供することにある。
このような本発明の技術的課題を解決するために、本発明による自律走行を行う掃除機は、本体と、前記本体を移動させる駆動部と、予め設定された周期毎に前記本体周辺の画像を撮影するカメラと、複数の走行モードの少なくとも1つを選択し、前記選択された走行モードを実行するように前記駆動部及び前記カメラを制御する制御部とを含み、前記制御部は、前記選択された走行モードに基づいて、前記カメラの照度に関する設定値を変更することを特徴とする。
一実施形態において、前記カメラは、1秒当たり予め設定された数の画像を撮影し、前記制御部は、前記予め設定された数の画像のうち、一部の画像は第1照度で撮影され、他の画像は第2照度で撮影されるように、前記カメラを制御することを特徴とする。
一実施形態において、前記カメラは、1秒当たり30フレームの画像を取得し、前記制御部は、前記30フレームの画像のうち、3フレームの画像は第1照度で撮影され、他の27フレームの画像は第2照度で撮影されるように、前記カメラを制御し、前記第1照度は、前記第2照度より低く設定されることを特徴とする。
一実施形態において、前記制御部は、第1走行モード及び第2走行モードが選択されると、前記第1走行モードで用いられる画像の照度に関する情報、及び前記第2走行モードで用いられる画像の照度に関する情報を検出することを特徴とする。
一実施形態において、前記制御部は、前記第1走行モード及び前記第2走行モードが選択されると、前記第1走行モードで単位時間当たりに用いられる画像の数、及び前記第2走行モードで用いられる画像の数を検出することを特徴とする。
一実施形態において、前記第1走行モードで用いられる画像の照度が第1照度であり、前記第1走行モードで単位時間当たりに用いられる画像の数が第1個数であり、前記第2走行モードで用いられる画像の照度が第2照度であり、前記第2走行モードで単位時間当たりに用いられる画像の数が第2個数である場合、前記制御部は、前記第1走行モード及び前記第2走行モードが選択されると、前記カメラにより1秒当たり予め設定された数の画像が取得される間、前記取得された画像に、前記第1照度で撮影された画像が前記第1個数以上含まれ、前記第2照度で撮影された画像が前記第2個数以上含まれるように、前記カメラを制御することを特徴とする。
一実施形態において、前記制御部は、前記カメラにより撮影された画像を、前記画像の照度値に基づいて、複数のグループに分類することを特徴とする。
一実施形態において、前記自律走行を行う掃除機は、前記カメラにより撮影された画像を保存するメモリをさらに含み、前記制御部は、前記分類の結果に基づいて、前記画像のラベリングを行い、前記ラベリングされた画像を前記メモリに保存することを特徴とする。
一実施形態において、前記制御部は、前記画像が分類された後、第1照度で撮影された画像を用いて前記選択された走行モードのうち第1走行モードを実行し、第2照度で撮影された画像を用いて前記選択された走行モードのうち第2走行モードを実行することを特徴とする。
一実施形態において、前記第1走行モードは、スラム(SLAM)走行モードであり、前記制御部は、前記第1照度で撮影された画像を用いて、前記本体の位置に関する情報を検出することにより、前記第1走行モードを実行することを特徴とする。
一実施形態において、前記制御部は、前記第1照度で撮影された画像を用いて、前記本体が位置する掃除領域の地図情報を生成することを特徴とする。
一実施形態において、前記自律走行を行う掃除機は、前記本体が位置する掃除領域の明るさを検知するセンサをさらに含み、前記制御部は、前記センサによる検知の結果に基づいて、前記本体周辺の明るさが変更されたか否かを判断し、前記判断の結果に基づいて、前記カメラの照度値を変更することにより、前記第1走行モードで用いられる画像の照度値を補正することを特徴とする。
一実施形態において、前記自律走行を行う掃除機は、外部と通信を行う通信部をさらに含み、前記第2走行モードは、モニタモードであり、前記制御部は、前記第2照度で撮影された画像の少なくとも1つをサーバ又はユーザ端末に送信するように、前記通信部を制御することを特徴とする。
一実施形態において、前記制御部は、前記第2照度で撮影された画像から予め設定された数の画像を選択し、前記選択された画像を前記サーバと前記ユーザ端末の少なくとも一方に送信するように、前記通信部を制御することを特徴とする。
一実施形態において、前記制御部は、前記第2照度で撮影された画像のそれぞれの鮮明度を判断し、前記判断された鮮明度が予め設定された鮮明度以上の値を有する画像を選択することを特徴とする。
一実施形態において、前記制御部は、前記第2照度で撮影された画像のうち予め設定された順番に対応する画像を選択することを特徴とする。
一実施形態において、前記制御部は、前記通信部により、前記サーバと前記ユーザ端末の少なくとも一方に印加された所定のユーザ入力を受信すると、前記サーバと前記ユーザ端末の少なくとも一方に送信される画像の数を増加又は減少させ、前記第2照度で撮影された画像から前記増加又は減少した数の画像を選択することを特徴とする。
一実施形態において、前記制御部は、前記カメラの撮影が開始されると、所定数の画像が第1照度で撮影されるように前記カメラを制御する第1照度制御を行い、前記第1照度制御が終了すると、所定数の画像が第2照度で撮影されるように前記カメラを制御する第2照度制御を行うことを特徴とする。
一実施形態において、前記制御部は、前記第1照度制御と前記第2照度制御を順次繰り返し行うことを特徴とする。
一実施形態において、前記カメラの光軸は、前記本体が位置する掃除領域の床面と所定の角度をなすことを特徴とする。
一実施形態において、前記カメラの視野角は、所定の角度以上であることを特徴とする。
このような本発明による自律走行を行う掃除機によれば、カメラの設定値を必要に応じて変更することにより、1つのカメラのみを用いながらも複数の走行モードを正常に行うことができるという利点がある。
すなわち、本発明による掃除機の制御方法によれば、本体に設置されるカメラの数を減少させることができるので、掃除機の製作コストを低減することができるという効果が得られる。
また、本発明によれば、1つのカメラを用いて複数の走行モードで要求される設定値を有する画像を取得することができるので、掃除機のデータ処理量を減少させることができるという効果が得られる。
さらに、本発明によれば、1つのカメラから取得される情報を用いて複数の走行モードを実行することができるので、データ処理の効率性が向上する。
本発明による自律走行を行う掃除機の一例を示す斜視図である。 図1に示す自律走行を行う掃除機の平面図である。 図1に示す自律走行を行う掃除機の側面図である。 本発明の一実施形態による自律走行を行う掃除機の構成要素を示すブロック図である。 本発明による掃除機と充電ステーションが掃除領域に設置される一例を示す概念図である。 前方カメラと天井カメラを別々に備える一般的な掃除機の一例を示す概念図である。 1つのカメラを用いる本発明による掃除機の一例を示す概念図である。 本発明による掃除機の制御方法を示すフローチャートである。 本発明による掃除機の制御方法を示すフローチャートである。 図6aに示す一般的な掃除機の前方カメラから取得される複数のフレームを処理する方法を示す概念図である。 図6aに示す一般的な掃除機の天井カメラから取得される複数のフレームを処理する方法を示す概念図である。 本発明による掃除機の単一のカメラから取得される複数のフレームを処理する方法を示す概念図である。 本発明による掃除機の単一のカメラから取得される複数のフレームを処理する方法を示す概念図である。 本発明による掃除機の単一のカメラから取得される複数のフレームを処理する方法を示す概念図である。 本発明による掃除機の制御方法を示すブロック図である。
以下、添付図面を参照して本発明の実施形態を詳細に説明するが、本明細書で用いられる技術用語は、単に特定の実施形態を説明するために用いられるものであり、本発明の技術思想を限定するものではない。
図1は本発明によるロボット掃除機100の一例を示す斜視図であり、図2は図1に示すロボット掃除機100の平面図であり、図3は図1に示すロボット掃除機100の側面図である。
なお、本明細書においては、移動ロボット、ロボット掃除機及び自律走行を行う掃除機が同じ意味で用いられる。
図1〜図3に示すように、ロボット掃除機100は、所定の領域を自律走行しながら床面を掃除する機能を実行する。ここでいう床面の掃除には、床面の塵(異物が含まれる)を吸入したり床面を拭くことが含まれる。
ロボット掃除機100は、掃除機本体110、吸入ユニット120、検知ユニット130及びダストボックス140を含む。
掃除機本体110には、ロボット掃除機100の制御のための制御部(図示せず)、及びロボット掃除機100の走行のためのホイールユニット111が備えられる。ホイールユニット111により、ロボット掃除機100は、前後左右に移動したり回転することができる。
ホイールユニット111は、メインホイール111a及びサブホイール111bを含む。
メインホイール111aは、掃除機本体110の両側にそれぞれ備えられ、制御部の制御信号に基づいて一方向又は他方向に回転可能に構成される。それぞれのメインホイール111aは、互いに独立して駆動可能に構成されてもよい。例えば、それぞれのメインホイール111aは、異なるモータにより駆動されるようにしてもよい。
サブホイール111bは、メインホイール111aと共に掃除機本体110を支持し、メインホイール111aによるロボット掃除機100の走行を補助するように構成される。このようなサブホイール111bは、後述する吸入ユニット120にも備えられてもよい。
前述したように、制御部がホイールユニット111の駆動を制御することにより、ロボット掃除機100は、床面を自律走行するように構成される。
一方、掃除機本体110には、ロボット掃除機100に電源を供給するバッテリ(図示せず)が装着される。バッテリは、充電可能に構成され、掃除機本体110の底面部に着脱可能に構成されてもよい。
吸入ユニット120は、掃除機本体110の一側から突出した形態で配置され、塵を含む空気を吸入するように構成される。前記一側は、掃除機本体110が正方向(F)に走行する側、すなわち掃除機本体110の前方であってもよい。
同図においては、吸入ユニット120が掃除機本体110の一側から前方及び左右両側方の全てに突出した形状であることを示す。具体的には、吸入ユニット120の前端部は掃除機本体110の一側から前方に離隔した位置に配置され、吸入ユニット120の左右両端部は掃除機本体110の一側から左右両側にそれぞれ離隔した位置に配置される。
掃除機本体110が円形に形成され、吸入ユニット120の後端部両側が掃除機本体110から左右両側にそれぞれ突出するように形成されることにより、掃除機本体110と吸入ユニット120間には空間、すなわち隙間が形成される。前記空間は、掃除機本体110の左右両端部と吸入ユニット120の左右両端部間の空間であり、ロボット掃除機100の内側に凹んだ形状を有する。
前記空間に障害物が挟まった場合、ロボット掃除機100が障害物に引っ掛かって動けなくなるという問題を招くことがある。これを防止するために、カバー部材129が前記空間の少なくとも一部を覆うように配置されてもよい。カバー部材129は、掃除機本体110に備えられてもよく、吸入ユニット120に備えられてもよい。本実施形態においては、吸入ユニット120の後端部両側にそれぞれカバー部材129が突設され、掃除機本体110の外周面を覆うように配置されていることを示す。
カバー部材129は、前記空間、すなわち掃除機本体110と吸入ユニット120間の空間の少なくとも一部を埋めるように配置される。よって、前記空間に障害物が挟まることを防止でき、前記空間に障害物が挟まったとしても障害物から容易に離脱できる構造を実現することができる。
吸入ユニット120から突設されるカバー部材129は、掃除機本体110の外周面に支持されるようにしてもよい。もし、カバー部材129が掃除機本体110から突設される場合、カバー部材129は、吸入ユニット120の背面部に支持されるようにしてもよい。上記構造によれば、吸入ユニット120が障害物に当接して衝撃を受けると、その衝撃の一部が掃除機本体110に伝達されて衝撃が分散する。
吸入ユニット120は、掃除機本体110に着脱可能に結合されるようにしてもよい。吸入ユニット120が掃除機本体110から分離されると、分離された吸入ユニット120を代替してモップモジュール(図示せず)を掃除機本体110に着脱可能に結合することができる。よって、ユーザは床面の塵を除去する場合は掃除機本体110に吸入ユニット120を装着し、床面を拭く場合は掃除機本体110にモップモジュールを装着することができる。
吸入ユニット120が掃除機本体110に装着される際に、前述したカバー部材129により前記装着がガイドされる。すなわち、カバー部材129が掃除機本体110の外周面を覆うように配置されることにより、掃除機本体110に対する吸入ユニット120の相対的位置が決定される。
掃除機本体110には検知ユニット130が配置される。図示のように、検知ユニット130は、吸入ユニット120が配置される掃除機本体110の一側、すなわち掃除機本体110の前側に配置されてもよい。
検知ユニット130は、掃除機本体110の上下方向に吸入ユニット120と重なるように配置されてもよい。検知ユニット130は、吸入ユニット120の上部に配置され、ロボット掃除機100の最も前方に位置する吸入ユニット120が障害物に当接しないように前方の障害物や地形地物などを検知するように構成される。
検知ユニット130は、このような検知機能に加え、他の検知機能をさらに実行するように構成される。これについては後で詳細に説明する。
掃除機本体110にはダストボックス収容部113が備えられ、ダストボックス収容部113には吸入された空気中の塵を分離して集塵するダストボックス140が着脱可能に結合される。図示のように、ダストボックス収容部113は、掃除機本体110の他側、すなわち掃除機本体110の後側に形成されてもよい。
ダストボックス140の一部はダストボックス収容部113に収容され、ダストボックス140の他の一部は掃除機本体110の後方[すなわち、正方向(F)の反対方向である逆方向(R)]に向かって突出するようにしてもよい。
ダストボックス140は、塵を含む空気が流入する入口140a、及び塵が分離された空気が排出される出口140bを有し、ダストボックス140がダストボックス収容部113に装着された場合に入口140a及び出口140bがダストボックス収容部113の内側壁に形成される第1開口110a及び第2開口110bにそれぞれ連通するように構成される。
掃除機本体110の内部の吸気流路は、連通部120b’’に連通する流入口(図示せず)から第1開口110aまでの流路であり、排気流路は、第2開口110bから排気口112までの流路である。
このような連結関係により、吸入ユニット120を介して流入した塵を含む空気は、掃除機本体110の内部の吸気流路を介してダストボックス140に流入し、ダストボックス140のフィルタやサイクロンを経て空気と塵が分離される。塵はダストボックス140に集塵され、空気はダストボックス140から排出された後に掃除機本体110の内部の排気流路を介して最終的に排気口112から外部に排出される。
以下、図4を参照して、ロボット掃除機100の構成要素の一例について説明する。
本発明の一実施形態によるロボット掃除機100又は移動ロボットは、通信部1100、入力部1200、駆動部1300、検知部1400、出力部1500、電源部1600、メモリ1700及び制御部1800の1つ以上もしくはそれらの組み合わせを含んでもよい。
ここで、図4に示す全ての構成要素が必須構成要素であるわけではなく、本発明によるロボット掃除機は、図示の構成要素よりも多い構成要素で実現してもよく、それより少ない構成要素で実現してもよいことは言うまでもない。以下、各構成要素について説明する。
まず、電源部1600は、外部の商用電源により充電可能なバッテリを備え、前記移動ロボット内に電源を供給する。電源部1600は、前記移動ロボットに含まれる各構成に駆動電源を供給することにより、前記移動ロボットの走行や特定機能の実行に要求される動作電源を供給する。
ここで、制御部1800は、前記バッテリの電源残量を検知し、電源残量が不足していると前記移動ロボットが外部の商用電源に接続された充電台に移動するように制御することにより、前記充電台から充電電流が供給されて前記バッテリが充電されるようにする。前記バッテリは、バッテリ検知部に接続されており、前記バッテリの残量及び充電状態が制御部1800に送られる。出力部1500は、制御部1800により前記バッテリの残量を画面に表示する。
前記バッテリは、前記ロボット掃除機の中央の下部に配置されてもよく、左右のいずれか一方に配置されてもよい。後者の場合、前記移動ロボットは、前記バッテリの重量の偏りを解消するために、均衡錘をさらに備えてもよい。
制御部1800は、人工知能技術に基づいて情報を処理する役割を果たすものであり、情報の学習、情報の推論、情報の知覚、自然言語の処理の少なくとも1つを行う1つ以上のモジュールを含んでもよい。
制御部1800は、マシンラーニング技術により、掃除機内に保存された情報、移動端末機周辺の環境情報、通信可能な外部保存媒体に保存された情報などの膨大な量の情報(ビッグデータ)の学習、推論及び処理の少なくとも1つを行うことができる。また、制御部1800は、前記マシンラーニング技術により学習された情報を用いて、実行可能な少なくとも1つの掃除機の動作を予測(又は推論)し、前記少なくとも1つの予測された動作のうち実現性の最も高い動作が行われるように、掃除機を制御することができる。
マシンラーニング技術は、少なくとも1つのアルゴリズムに基づいて、大規模な情報を収集及び学習し、学習された情報に基づいて情報を判断及び予測する技術である。情報の学習とは、情報の特徴、規則、判断基準などを把握し、情報と情報間の関係を定量化し、定量化されたパターンを用いて新しいデータを予測する動作をいう。
マシンラーニング技術に用いられるアルゴリズムは、統計学に基づいたアルゴリズムであり、例えば、木構造の形を予測モデルとして用いる決定木(decision tree)、生物の神経系の構造及び機能を摸倣する(人工)ニューラルネットワーク(neural network)、生物の進化アルゴリズムに基づいた遺伝的プログラミング(genetic programming)、観測された例をクラスタという部分集合に分類するクラスタリング(clustering)、ランダムに抽出された乱数を用いて関数値を確率として計算するモンテカルロ法(Monte Carlo method)などが挙げられる。
マシンラーニング技術の一分野であるディープラーニング技術は、ディープニューラルネットワーク(DNN)アルゴリズムを用いて、情報の学習、判断及び処理の少なくとも1つを行う技術である。ディープニューラルネットワーク(DNN)は、層と層とを繋ぎ、層と層間のデータ送信を行う構造を有する。このようなディープラーニング技術は、並列演算に最適化されたGPU(Graphic Processing Unit)を用いてディープニューラルネットワーク(DNN)により膨大な量の情報を学習することができる。
制御部1800は、外部のサーバ又はメモリに保存されたトレーニングデータを用い、所定の物体を認識するための特徴を検出する学習エンジンを搭載してもよい。ここで、物体を認識するための特徴には、物体の大きさ、形態及び陰影などが含まれる。
具体的には、制御部1800は、前記掃除機に備えられたカメラにより取得された画像の一部を学習エンジンに入力すると、前記学習エンジンが前記入力された画像に含まれる少なくとも1つの事物又は生命体を認識するようにしてもよい。
このように前記学習エンジンを掃除機の走行に適用すると、制御部1800は、掃除機の走行を妨げる椅子の脚、扇風機、特定の形状のバルコニーの隙間などの障害物が掃除機周辺に存在するか否かを認識することができるので、掃除機走行の効率及び信頼性を向上させることができる。
一方、前記学習エンジンは、制御部1800に搭載してもよく、外部サーバに搭載してもよい。前記学習エンジンが前記外部サーバに搭載された場合、制御部1800は、分析の対象である少なくとも1つの画像を前記外部サーバに送信するように、通信部1100を制御することができる。
前記外部サーバは、前記掃除機から送信された画像を前記学習エンジンに入力することにより、当該画像に含まれる少なくとも1つの事物又は生命体を認識するようにしてもよい。また、前記外部サーバは、前記認識の結果に関する情報を前記掃除機に返信するようにしてもよい。ここで、前記認識の結果に関する情報には、前記分析の対象である画像に含まれるオブジェクトの数、各オブジェクトの名前に関する情報が含まれてもよい。
一方、駆動部1300は、モータを備え、前記モータを駆動することにより、左右の主車輪を双方向に回転させて前記移動ロボットの本体を回転又は移動させる。駆動部1300は、前記本体を前後左右に前進又は後進させたり、曲線走行させたり、その場で回転させることができる。
一方、入力部1200には、ユーザから前記ロボット掃除機に関する各種制御命令が入力される。入力部1200は、1つ以上のボタンを含んでもよい。例えば、入力部1200は、確認ボタン、設定ボタンなどを含んでもよい。前記確認ボタンは、ユーザが検知情報、障害物情報、位置情報、マップ情報を確認する命令の入力を行うためのボタンであり、前記設定ボタンは、ユーザが前記情報を設定する命令の入力を行うためのボタンである。
また、入力部1200は、以前のユーザ入力を取り消して再びユーザ入力を行うための入力再設定ボタン、予め設定されたユーザ入力を削除するための削除ボタン、作動モードを設定又は変更するボタン、前記充電台に復帰させる命令の入力を行うためのボタンなどを含んでもよい。
さらに、入力部1200は、ハードキー、ソフトキー、タッチパッドなどからなり、前記移動ロボットの上部に設けられてもよい。さらに、入力部1200は、出力部1500と共にタッチスクリーンの形態を有するようにしてもよい。
一方、出力部1500は、前記移動ロボットの上部に設けられてもよい。設置位置や設置形態を変えてもよいことは言うまでもない。例えば、出力部1500は、バッテリ状態や走行方式などを画面に表示することができる。
また、出力部1500は、検知部1400により検出された前記移動ロボットの内部状態情報、例えば、前記移動ロボットに含まれる各構成の現在の状態を出力することができる。さらに、出力部1500は、検知部1400により検出された外部状態情報、障害物情報、位置情報、地図情報などを画面に表示することができる。出力部1500は、発光ダイオード(Light Emitting Diode; LED)、液晶表示装置(Liquid Crystal Display; LCD)、プラズマディスプレイパネル(Plasma Display Panel)、有機発光ダイオード(Organic Light Emitting Diode; OLED)のいずれかの素子からなるようにしてもよい。
出力部1500は、制御部1800により行われる前記移動ロボットの動作過程又は動作結果を聴覚的に出力する音響出力手段をさらに含んでもよい。例えば、出力部1500は、制御部1800により生成された警告信号に応じて警告音を外部に出力することができる。
ここで、前記音響出力手段は、ブザー(ビーパー)、スピーカなどの音響を出力する手段であってもよい。出力部1500は、メモリ1700に保存された所定のパターンを有するオーディオデータ又はメッセージデータなどを、前記音響出力手段により外部に出力することができる。
よって、本発明の一実施形態による移動ロボットは、出力部1500により、走行領域に関する環境情報を画面に出力したり、音響として出力することができる。また、他の実施形態によれば、前記移動ロボットは、出力部1500により出力する画面や音響を端末装置が出力するように、通信部1100により地図情報又は環境情報を前記端末装置に送信することができる。
一方、通信部1100は、前記端末装置及び/又は特定領域内に位置する他の機器(本明細書においては、「家電機器」ともいう。)と有線、無線、衛星通信方式のいずれかの通信方式で接続され、信号とデータを送受信する。
通信部1100は、前記特定領域内に位置する他の機器とデータを送受信することができる。ここで、前記他の機器は、ネットワークに接続されてデータを送受信できる装置であれば、いかなるものであってもよい。例えば、前記他の機器は、空気調和装置、暖房装置、空気浄化装置、電灯、テレビ、自動車などの装置であってもよい。また、前記他の機器は、ドア、窓、水道バルブ、ガスバルブなどを制御する装置などであってもよい。さらに、前記他の機器は、温度、湿度、気圧、ガスなどを検知するセンサなどであってもよい。
一方、メモリ1700は、前記ロボット掃除機を制御又は起動する制御プログラム及びそれに付随するデータを保存する。メモリ1700は、オーディオ情報、画像情報、障害物情報、位置情報、地図情報などを保存することができる。また、メモリ1700は、走行パターンに関する情報を保存することができる。
メモリ1700としては、不揮発性メモリ(Non-Volatile Memory, NVM, NVRAM)を主に使用する。ここで、前記不揮発性メモリは、電源が供給されなくても保存された情報を保持し続ける記憶装置であり、例えば、ROM、フラッシュメモリ、磁気記憶装置(例えば、ハードディスク、ディスケットドライブ、磁気テープ)、光ディスクドライブ、磁気RAM、PRAMなどであってもよい。
一方、検知部1400は、外部信号検知センサ、前方検知センサ、崖検知センサ、2次元カメラセンサ及び3次元カメラセンサの1つ以上を含んでもよい。
前記外部信号検知センサは、前記移動ロボットの外部信号を検知する。前記外部信号検知センサは、例えば赤外線センサ(Infrared Ray Sensor)、超音波センサ(Ultra Sonic Sensor)、RFセンサ(Radio Frequency Sensor)などであってもよい。
前記移動ロボットは、前記外部信号検知センサを用いて、前記充電台が発生する案内信号を受信し、前記充電台の位置及び方向を確認することができる。ここで、前記充電台は、前記移動ロボットが復帰できるように、方向及び距離を示す案内信号を発信することができる。すなわち、前記移動ロボットは、前記充電台から送信される信号を受信し、現在位置を判断して移動方向を設定し、前記充電台に復帰することができる。
一方、前記前方検知センサは、前記移動ロボットの前部、具体的には前記移動ロボットの外周側面に所定の間隔で設けられてもよい。前記前方検知センサは、前記移動ロボットの少なくとも一側面に配置されて前方の障害物を検知するためのものであり、前記移動ロボットの移動方向に存在する物体、特に障害物を検知し、検出情報を制御部1800に伝達する。すなわち、前記前方検知センサは、前記移動ロボットの移動経路上に存在する突出物、家の中の什器、家具、壁面、壁の角などを検知し、その情報を制御部1800に伝達する。
前記前方検知センサは、例えば赤外線センサ、超音波センサ、RFセンサ、地磁気センサなどであってもよい。前記移動ロボットは、前記前方検知センサとして1種のセンサを用いてもよく、必要に応じて2種以上のセンサを共に用いてもよい。
一例として、前記超音波センサは、一般的に遠距離の障害物を検知するのに主に用いられる。前記超音波センサは、発信部と受信部とを備え、制御部1800は、前記発信部から放射された超音波が障害物などにより反射されて前記受信部で受信されるか否かによって障害物の有無を判断し、超音波放射時間と超音波受信時間を用いて障害物との距離を算出する。
また、制御部1800は、前記発信部から放射された超音波と前記受信部で受信された超音波とを比較し、障害物の大きさに関する情報を検出する。例えば、制御部1800は、より多くの超音波が前記受信部で受信されるほど障害物が大きいと判断する。
一実施形態においては、前記移動ロボットの前部側面に複数(例えば、5つ)の超音波センサが外周面に沿って設けられてもよい。ここで、前記超音波センサは、発信部と受信部とが前記移動ロボットの前面に交互に設けられることが好ましい。
すなわち、前記発信部は前記本体の前面中央から左右に離隔して配置され、前記受信部間に1つ又は2つ以上の前記発信部が配置され、障害物などから反射された超音波信号の受信領域を形成するようにしてもよい。このような配置により、センサの数を減らしながらも受信領域を拡張することができる。超音波の発信角度は、クロストーク現象を防止するように、他の信号に影響を及ぼさない範囲の角度を維持する。また、前記受信部は、異なる受信感度を有するように設定されてもよい。
また、前記超音波センサから発信される超音波が上向きに出力されるように、前記超音波センサは、所定角度上向きに設けられてもよく、この場合、超音波が下向きに放射されることを防止するために、所定の遮断部材をさらに含んでもよい。
一方、前記前方検知センサは、前述したように2種以上のセンサを共に用いてもよいので、前記前方検知センサとして、前記超音波センサと共に赤外線センサ、RFセンサなどのうちいずれか1種のセンサを用いてもよい。
例えば、前記前方検知センサは、前記超音波センサに加え、他の種類のセンサとして赤外線センサを含んでもよい。
前記赤外線センサは、前記超音波センサと共に、前記移動ロボットの外周面に設けられてもよい。前記赤外線センサも、前方や側方に存在する障害物を検知し、障害物情報を制御部1800に伝達する。すなわち、前記赤外線センサは、前記移動ロボットの移動経路上に存在する突出物、家の中の什器、家具、壁面、壁の角などを検知し、その情報を制御部1800に伝達する。よって、前記移動ロボットは、前記本体が障害物に衝突することなく特定領域内を移動することができる。
一方、前記崖検知センサ(又は、クリフセンサ(Cliff Sensor))は、様々なタイプの光センサを主に用いて、前記移動ロボットの本体を支持する床面の障害物を検知する。
すなわち、前記崖検知センサは、床面上の前記移動ロボットの背面に設けられるが、前記移動ロボットの種類によって他の位置に設けてもよいことは言うまでもない。前記崖検知センサは、前記移動ロボットの背面に配置されて床面の障害物を検知するためのものであり、前記障害物検知センサと同様に、発光部と受光部とを備えた赤外線センサ、超音波センサ、RFセンサ、PSD(Position Sensitive Detector)センサなどであってもよい。
一例として、前記崖検知センサは、いずれか1つが前記移動ロボットの前部に設けられ、他の2つが相対的に後側に設けられるようにしてもよい。
例えば、前記崖検知センサは、PSDセンサにしてもよいが、複数の異なる種類のセンサで構成してもよい。
前記PSDセンサは、半導体の表面抵抗を用いて1つのp−n接合により入射光の距離、位置を検出する。前記PSDセンサには、一軸方向の光のみを検出する1次元PSDセンサと、平面上の光の位置を検出する2次元PSDセンサがあり、どちらもpinフォトダイオード構造を有する。前記PSDセンサは、赤外線センサの一種であり、赤外線を用い、赤外線を送信した後に障害物から反射されて戻ってくる赤外線の角度を測定して距離を測定する。すなわち、前記PSDセンサは、三角測量方式を用いて、障害物との距離を算出する。
前記PSDセンサは、障害物に対して赤外線を発光する発光部と、障害物から反射されて戻ってくる赤外線を受光する受光部とを備え、一般的にモジュール形態で構成される。前記PSDセンサを用いて障害物を検知すると、障害物の反射率、色の違いに関係なく安定した測定値が得られる。
制御部1800は、前記崖検知センサが床面に向けて発光した赤外線の発光信号と障害物により反射されて受信される反射信号間の赤外線角度を測定し、崖を検知してその深さを分析することができる。
一方、制御部1800は、前記崖検知センサを用いて検知した崖の状態によって前記移動ロボットが通過できるか否かを判断し、判断結果によって前記移動ロボットに崖を通過させるか否かを決定することができる。例えば、制御部1800は、前記崖検知センサにより崖の有無及び崖の深さを判断し、その後前記崖検知センサにより反射信号が検知された場合にのみ前記移動ロボットに崖を通過させる。
他の例として、制御部1800は、前記崖検知センサを用いて前記移動ロボットの浮き上がり現象を判断することもできる。
一方、前記2次元カメラセンサは、前記移動ロボットの一面に備えられ、移動中に前記本体周辺に関する画像情報を取得する。
オプティカルフローセンサ(Optical Flow Sensor)は、センサ内に備えられたイメージセンサから入力される下方画像を変換して所定形式の画像データを生成する。生成された画像データはメモリ1700に保存される。
また、前記オプティカルフローセンサに隣接して1つ以上の光源が設けられてもよい。前記1つ以上の光源は、前記イメージセンサにより撮影される床面の所定の領域に光を照射する。すなわち、前記移動ロボットが床面に沿って特定領域を移動する場合、床面が平坦であれば、前記イメージセンサと床面との間の距離が一定に維持される。それに対して、前記移動ロボットが不均一な表面の床面を移動する場合は、床面の凹凸及び障害物により所定距離以上遠ざかる。ここで、前記1つ以上の光源は、制御部1800の制御により、照射する光の量が調節される。前記光源は、光量の調節が可能な発光素子、例えばLED(Light Emitting Diode)などであってもよい。
制御部1800は、前記オプティカルフローセンサを用いて、前記移動ロボットの滑りに関係なく前記移動ロボットの位置を検出することができる。制御部1800は、前記オプティカルフローセンサにより撮影された画像データを時間毎に比較分析して移動距離及び移動方向を算出し、それに基づいて前記移動ロボットの位置を算出することができる。前記オプティカルフローセンサにより前記移動ロボットの下方に関する画像情報を用いると、制御部1800は、他の手段で算出した前記移動ロボットの位置に関して滑りに強い補正を行うことができる。
前記3次元カメラセンサは、前記移動ロボットの本体の一面又は一部分に取り付けられ、前記本体の周囲に関する3次元座標情報を生成する。
すなわち、前記3次元カメラセンサは、前記移動ロボットと被写体の遠近(距離)を算出する3次元デプスカメラ(3D Depth Camera)であってもよい。
具体的には、前記3次元カメラセンサは、前記本体の周囲に関する2次元画像を撮影し、前記撮影された2次元画像に対応する複数の3次元座標情報を生成する。
一実施形態において、前記3次元カメラセンサは、従来の2次元画像を取得するカメラを2つ以上備え、前記2つ以上のカメラで取得される2つ以上の画像を組み合わせ、3次元座標情報を生成するステレオビジョン方式で形成してもよい。
具体的には、上記実施形態による3次元カメラセンサは、前記本体の前方下向きに第1パターンの光を照射する第1パターン照射部と、前記本体の前方上向きに第2パターンの光を照射する第2パターン照射部と、前記本体の前方の画像を取得する画像取得部とを含んでもよい。よって、前記画像取得部は、前記第1パターンの光と前記第2パターンの光が入射した領域の画像を取得することができる。
他の実施形態において、前記3次元カメラセンサは、単一のカメラと共に赤外線パターンを照射する赤外線パターン放出部を備え、前記赤外線パターン放出部から照射された赤外線パターンが被写体に投影された形状をキャプチャすることにより、前記3次元カメラセンサと前記被写体間の距離を測定することができる。このような3次元カメラセンサは、IR方式の3次元カメラセンサであってもよい。
さらに他の実施形態において、前記3次元カメラセンサは、単一のカメラと共に光を放出する発光部を備え、前記発光部から放出されたレーザのうち被写体から反射された一部のレーザを受信し、前記受信したレーザを分析することにより、前記3次元カメラセンサと前記被写体間の距離を測定することができる。このような3次元カメラセンサは、TOF(Time of Flight)方式の3次元カメラセンサであってもよい。
具体的には、前記3次元カメラセンサは、少なくとも一方向に延びる形態のレーザを照射するように構成される。例えば、前記3次元カメラセンサは、第1及び第2レーザを備え、前記第1レーザは交差する直線状のレーザを照射し、前記第2レーザは単一の直線状のレーザを照射するようにしてもよい。この場合、最下段のレーザは床部分の障害物の検知に用いられ、最上段のレーザは上方の障害物の検知に用いられ、最下段のレーザと最上段のレーザとの間の中間レーザは中間部分の障害物の検知に用いられる。
以下、図5を参照して、掃除領域内での掃除機100と充電ステーション510の設置態様を示す一実施形態について説明する。
図5に示すように、掃除機100のバッテリを充電するための充電ステーション510は、掃除領域500内に設置されてもよい。一実施形態において、充電ステーション510は、掃除領域500の外郭に設置されてもよい。
図5には示していないが、充電ステーション510は、様々な種類の信号を放出する通信装置(図示せず)を備え、前記通信装置は、掃除機100の通信部1100と無線通信を行うことができる。
制御部1800は、通信部1100で受信した充電ステーション510からの信号に基づいて、掃除機100の本体を充電ステーション510にドッキングさせるように、駆動部1300を制御することができる。
制御部1800は、前記バッテリの残容量が限界容量以下になると前記本体を充電ステーション510の方向に移動させ、前記本体が充電ステーション510に近接するとドッキング機能を開始するように、駆動部1300を制御することができる。
以下、図6aを参照して、前方カメラと天井カメラを別々に備える一般的な掃除機の一例について説明する。
図6aに示すように、一般的な掃除機は、前方カメラ601と天井カメラ602とをそれぞれ備えてもよい。
一般的に、前方カメラ601により撮影された画像は前記掃除機のモニタ走行に用いられる。すなわち、前記掃除機の制御部は、前方カメラ601により撮影された画像をユーザ端末又はサーバに送信することにより、前記掃除機が存在する領域をユーザがリアルタイムでモニタできるようにする。
また、天井カメラ602により撮影された画像は前記掃除機のスラム(SLAM)走行に用いられる。すなわち、前記掃除機の制御部は、天井カメラ602により撮影された画像を用いて、前記掃除機の位置を検出したり、掃除地図情報を生成する。
このように、前方カメラ601と天井カメラ602とはそれぞれ異なる目的で用いられるので、前方カメラの設定値と天井カメラの設定値とを異なる値に設定してもよい。
例えば、前記モニタ走行に用いられる前方カメラ601は、ユーザに鮮明な画像を送信する必要があるので、相対的に高い照度の画像を撮影する。それに対して、前記スラム走行に用いられる天井カメラ602は、光の滲みを回避して位置検出の正確度を向上させる必要があるので、相対的に低い照度の画像を撮影する。
よって、一般的な掃除機の制御部は、前方カメラ601と天井カメラ602が同じ性能を有しても、前方カメラ601の露出時間の方を天井カメラ602の露出時間より長く設定する。
このように、一般的な掃除機の場合、それぞれのカメラに異なる設定値を適用して用いるので、前記モニタ走行と前記スラム走行をどちらも正常に行うためには前方カメラと天井カメラがどちらも必要であり、いずれかを除去することは困難である。この場合、カメラモジュールを2つ以上設置しなければならないので、掃除機の製作コストが増加するという問題がある。
以下、図6bを参照して、本発明による掃除機100の一例について説明する。
図6bに示すように、本発明による掃除機100は、1つのカメラ603を用いて、モニタ走行とスラム走行をどちらも正常に行うことができる。
図6aと図6bを比較すると、本発明による掃除機100のカメラ603の光軸は、掃除機100の本体が位置する掃除領域500の床面と所定の角度をなすようにしてもよい。例えば、本発明による掃除機100のカメラ603の向いた方向と床面がなす角度は、30°〜60°の範囲になるようにしてもよい。
また、図6bに示すように、本発明による掃除機100のカメラ603の視野角は、所定の角度以上であってもよい。例えば、カメラ603の視野角は、90°〜150°の範囲になるようにしてもよい。
図6aと図6bを比較すると、本発明によるカメラ603の視野角(θ3)は、一般的な掃除機に設置された前方カメラの視野角(θ1)や天井カメラの視野角(θ2)より広くしてもよい。
このように、本発明による掃除機100は、一般的な掃除機と比較すると、カメラの数を1つに減らし、その代わりに広角のカメラを用いることにより、1つのカメラだけで本体の前方に関する画像と天井に関する画像を一度に取得することができる。
ただし、図6bに示すように1つのカメラのみを備える掃除機100に従来のカメラ制御方法を適用した場合、複数の走行モードを実行する上で不都合が生じる。よって、以下、単一のカメラのみを用いて掃除機100の複数の走行モードで要求される設定値を有する画像を取得することのできる、自律走行を行う掃除機及びその制御方法について説明する。
一方、図6bには示していないが、カメラ603は、カメラが向く方向を変更できるように構成されてもよい。カメラ603と前記本体を連結する部分に機械式方向調整部材(図示せず)又は電子式方向調整部材(図示せず)を備えることにより、カメラ603が向く方向を変更できるようにしてもよい。
以下、図7a及び図7bを参照して、本発明による掃除機の制御方法について説明する。
図7aに示すように、制御部1800は、第1走行モードであるスラム(SLAM)走行を開始することができる(S701)。
そして、制御部1800は、第2走行モードであるモニタ走行を開始することができる(S702)。
なお、制御部1800は、前記スラム走行と前記モニタ走行の他にも、カメラにより撮影された画像を用いる様々な走行モードを実行することができる。ただし、以下では、説明の便宜上、前記スラム走行と前記モニタ走行を重点的に説明する。
制御部1800は、予め設定された周期毎に、カメラの照度値を第1照度値と第2照度値とに交互に変更することができる(S703)。
具体的には、制御部1800は、前記カメラの撮影が開始されると、所定数の画像が撮影される間、前記カメラの照度に関する設定値を前記第1照度値に設定することができる。その後、制御部1800は、所定数の画像が撮影される間、前記カメラの照度に関する設定値を変更して前記第2照度値にすることができる。制御部1800は、このように前記カメラの照度に関する設定値を変更する過程を繰り返し行うことができる。
ここで、前記カメラの照度に関する設定値には、前記カメラの露出時間に関する設定値、照明出力に関する設定値、及び明るさフィルタに関する設定値が含まれてもよい。
例えば、前記第1照度値が適用された場合、前記カメラにより単位時間当たりに撮影される画像の数は、前記第1走行モードで単位時間当たりに要求される画像の数と同じか又はそれより大きくしてもよい。
例えば、前記第2照度値が適用された場合、前記カメラにより単位時間当たりに撮影される画像の数は、前記第2走行モードで単位時間当たりに要求される画像の数と同じか又はそれより大きくしてもよい。
一方、前記第1照度と前記第2照度は、単なる例示にすぎず、本発明による制御部1800が前記カメラの照度に関する設定値を前記第1照度と前記第2照度のいずれかに選択するという意味ではない。
すなわち、制御部1800は、予め設定された数の画像が異なる複数の照度で撮影されるように、前記カメラを制御することができる。
また、制御部1800は、前記複数の照度のいずれか1つで撮影された画像の数と、前記複数の照度の他の1つで撮影された画像の数とが異なるように、前記カメラを制御することができる。
さらに、制御部1800は、前記複数の照度のいずれか1つで撮影された画像を用いて、前記掃除機により実行される複数の走行モードのいずれか1つを実行し、前記複数の照度の他の1つで撮影された画像を用いて、前記掃除機により実行される複数の走行モードの他の1つを実行することができる。ここで、前記複数の走行モードには、障害物認識モード、モニタモード及び位置認識モードの少なくとも1つが含まれる。
一実施形態において、制御部1800は、前記位置認識モードの実行時に用いられる画像の照度の方が、前記障害物認識モード及び前記モニタモードの少なくとも一方の実行時に用いられる画像の照度より低くなるように、前記カメラを制御することができる。
制御部1800は、前記第1照度値で撮影された画像を用いて、前記第1走行モードであるスラム走行を実行することができる(S704)。
具体的には、制御部1800は、前記第1照度値で撮影された画像を用いて、掃除機100の位置を検出したり、掃除領域500に関する掃除地図を生成することができる。
例えば、制御部1800は、前記第1照度値で撮影された画像から天井部分に対応する一部を抽出し、前記抽出された一部から特徴点を抽出し、前記抽出された特徴点を用いて前記第1走行モードを実行することができる。
制御部1800は、前記第2照度値で撮影された画像を用いて、前記第2走行モードであるモニタ走行を実行することができる(S705)。
具体的には、制御部1800は、前記第2照度値で撮影された画像のうち一部を選択することができ、前記選択された画像がサーバとユーザ端末の少なくとも一方に送信されるように、通信部1100を制御することができる。
一方、前記第1照度値で撮影された画像は、前記第2照度値で撮影された画像より暗く撮影された画像であってもよい。すなわち、前記第1照度値の方を前記第2照度値より低い値にしてもよい。
また、前記第2照度値で撮影された画像の数は、前記第1照度値で撮影された画像の数より大きくてもよい。
図7bに示すように、制御部1800は、前記複数の走行モードを設定することができる(S711)。
例えば、前記設定された複数の走行モードには、スラム走行及びモニタ走行が含まれてもよい。
制御部1800は、前記設定された複数の走行モードに基づいて、複数のカメラ照度値を設定することができる(S712)。
具体的には、制御部1800は、前記設定された複数の走行モードのそれぞれで用いられる画像の照度に関する情報を検出することができる。そして、制御部1800は、前記検出された照度に関する情報を用いて、前記複数の走行モードに適用できる画像が撮影されるように、前記複数のカメラ照度値をそれぞれ設定することができる。
例えば、前記複数の走行モードに前記第1走行モード及び前記第2走行モードが含まれる場合、制御部1800は、前記第1走行モードで用いられる画像の照度に関する情報と、前記第2走行モードで用いられる画像の照度に関する情報をそれぞれ検出することができる。
よって、制御部1800は、前記第1走行モードで用いられる画像の照度に関する情報を用いて、前記第1走行モードに適用できる画像が撮影されるように、前記カメラの第1照度値を設定することができる。
同様に、制御部1800は、前記第2走行モードで用いられる画像の照度に関する情報を用いて、前記第2走行モードに適用できる画像が撮影されるように、前記カメラの第2照度値を設定することができる。
制御部1800は、前記設定された複数のカメラ照度値に基づいて、前記カメラの照度値を変更しながら画像を撮影するように、前記カメラを制御することができる(S713)。
一実施形態において、制御部1800は、前記カメラが、前記第1照度値に設定された状態で画像を撮影し、その後前記第2照度値に設定された状態で画像を撮影するように、前記カメラの照度に関する設定値を交互に変更してもよい。
他の実施形態において、制御部1800は、前記カメラが、前記第1照度値に設定された状態で第1個数の画像を撮影し、その後前記第2照度値に設定された状態で第2個数の画像を撮影するように、前記カメラの照度に関する設定値を変更してもよい。
制御部1800は、前記撮影された画像を、前記画像の照度値に基づいて複数のグループに分類することができる(S714)。
具体的には、制御部1800は、前記第1照度値に設定された状態で撮影された画像を前記第1走行モードに用いられる第1画像グループに含まれるように分類し、前記第2照度値に設定された状態で撮影された画像を前記第2走行モードに用いられる第2画像グループに含まれるように分類することができる。
制御部1800は、前記分類されたグループに含まれる画像の照度値に基づいて、それに対応する走行モードを実行することができる(S715)。
具体的には、制御部1800は、前記第1画像グループに含まれる画像を用いて、前記第1走行モードを実行することができ、前記第2画像グループに含まれる画像を用いて、前記第2走行モードを実行することができる。
以下、図8aを参照して、図6aに示す一般的な掃除機の前方カメラ601から取得される複数のフレームを処理する方法について説明する。
前方カメラ601は、1秒当たり所定数のフレームを撮影することができ、一般的な掃除機の制御部は、前方カメラ601により撮影されたフレームのうち一部を選択し、前記選択されたフレームがサーバ又はユーザ端末に送信されるように、通信部を制御することができる。ここで、一般的な掃除機の制御部は、画像の明るさを決定する前方カメラの照度ゲインを変更せず、前方カメラは、固定された照度ゲイン値に基づいて画像を撮影する。
以下、図8bを参照して、図6aに示す一般的な掃除機の天井カメラ602から取得される複数のフレームを処理する方法について説明する。
天井カメラ602は、1秒当たり所定数のフレームを撮影することができ、一般的な掃除機の制御部は、天井カメラ602により撮影されたフレームのうち一部を選択し、前記選択されたフレームを用いてスラム走行を行うことができる。
図8aに示す例と同様に、一般的な掃除機の制御部は、画像の明るさを決定する天井カメラの照度ゲインを変更せず、天井カメラは、固定された照度ゲイン値に基づいて画像を撮影する。
以下、図9a〜図9cを参照して、本発明による掃除機の単一のカメラから取得される複数のフレームを処理する方法について説明する。
図9aに示すように、制御部1800は、カメラの連続撮影中に、前記カメラの照度に関する設定値を変更することができる。
具体的には、図9aに示すように、本発明による掃除機100に備えられた単一のカメラは、1秒当たり予め設定された数の画像を撮影することができる。
ここで、制御部1800は、前記予め設定された数の画像のうち、一部の画像は第1照度(L)で撮影され、他の画像は第2照度(H)で撮影されるように、前記カメラを制御することができる。
例えば、掃除機100に備えられたカメラは、1秒当たり30フレームを撮影することができる。ここで、制御部1800は、30フレームの画像のうち、3フレームの画像は前記第1照度(L)で撮影され、他の27フレームの画像は前記第2照度(H)で撮影されるように、前記カメラを制御することができる。
一例において、前記第1照度(L)は、前記第2照度(H)より低い値に設定されてもよい。
一方、制御部1800は、前記第1走行モード及び前記第2走行モードが選択されると、前記第1走行モードで用いられる画像の照度に関する情報、及び前記第2走行モードで用いられる画像の照度に関する情報を検出することができる。
すなわち、制御部1800は、掃除機100が実行できる複数の走行モードから選択された走行モードでそれぞれ要求される画像の明るさに関する情報を検出することができる。
一例として、制御部1800は、前記第1走行モード又は前記第2走行モードで用いられる画像を撮影するためのカメラの照度値を検出することができる。
他の例として、制御部1800は、前記第1走行モード又は前記第2走行モードで用いられる画像を撮影するためのカメラの露出時間変数を検出することができる。
また、制御部1800は、前記第1走行モード及び前記第2走行モードが選択されると、前記第1走行モードで単位時間当たりに用いられる画像の数と、前記第2走行モードで用いられる画像の数を検出することができる。
すなわち、制御部1800は、掃除機100が実行できる複数の走行モードから選択された走行モードでそれぞれ要求される画像の数を検出することができる。より詳細には、制御部1800は、前記第1走行モードで単位時間当たりに用いられる画像の数を第1個数として検出することができ、前記第2走行モードで単位時間当たりに用いられる画像の数を第2個数として検出することができる。
このように検出された照度値と画像の数に基づいて、制御部1800は、前記第1走行モードと前記第2走行モードでそれぞれ要求される照度値で撮影された所定数の画像が前記1つのカメラで取得される複数のフレームに含まれるように、前記カメラの照度値を変更することができる。
具体的には、制御部1800は、前記1つのカメラにより単位時間当たりに生成されるフレームに、前記第1照度(L)で撮影された画像が前記第1個数以上含まれ、前記第2照度(H)で撮影された画像が前記第2個数以上含まれるように、前記カメラを制御することができる。
すなわち、制御部1800は、前記第1走行モード及び前記第2走行モードが選択されると、前記カメラにより単位時間当たり予め設定された数の画像が取得される間、前記取得された画像に、前記第1照度(L)で撮影された画像が前記第1個数以上含まれ、前記第2照度(H)で撮影された画像が前記第2個数以上含まれるように、前記カメラを制御することができる。
また、制御部1800は、前記カメラにより撮影された画像を、前記画像の照度値に基づいて、複数のグループに分類することができる。
制御部1800は、前記分類の結果に基づいて、画像毎にラベリングを行い、前記ラベリングされた画像をメモリ1700に保存することができる。
制御部1800は、このように前記画像が分類された後、前記第1照度で撮影された画像を用いて前記選択された走行モードのうち前記第1走行モードを実行することができる。また、制御部1800は、前記画像が分類された後、前記第2照度で撮影された画像を用いて前記選択された走行モードのうち前記第2走行モードを実行することができる。
一実施形態において、前記第1走行モードは、スラム走行モードであってもよい。
この場合、制御部1800は、前記第1照度で撮影された画像を用いて、前記本体の位置に関する情報を検出することにより、スラム走行を行うことができる。
また、制御部1800は、前記第1照度で撮影された画像を用いて、前記本体が位置する掃除領域の地図情報を生成することができる。
前記スラム走行に要求される前記第1照度で撮影された画像は、相対的に低い照度値が適用された画像であってもよい。制御部1800は、前記スラム走行が行われる際に、前記カメラに相対的に低い照度値を適用することにより、前記画像中の光の滲みを防止することができ、前記スラム走行の正確度を向上させることができる。
一方、制御部1800は、前記第1走行モードに用いられる画像を撮影するために、前記カメラの照度に関する設定値を前記第1照度の範囲内で変更することができる。
すなわち、前記第1走行モードに用いられる画像の照度はいずれかの照度値に固定されるのではなく、制御部1800は、前記第1走行モードに用いられる複数の画像がそれぞれ複数の照度値で撮影されるように、前記カメラを制御することができる。同じ走行モードに用いられる複数の画像がそれぞれ複数の照度値で撮影される実施形態については、図9cにおいてより詳細に説明する。
一実施形態において、前記第2走行モードは、モニタモードであってもよい。
具体的には、制御部1800は、前記第2照度で撮影された画像の少なくとも1つをサーバ又はユーザ端末に送信するように、通信部1100を制御することができる。
また、制御部1800は、前記第2照度で撮影された画像から予め設定された数の画像を選択し、前記選択された画像を前記サーバと前記ユーザ端末の少なくとも一方に送信するように、通信部1100を制御することができる。
制御部1800は、前記第2照度で撮影された画像のそれぞれの鮮明度を判断し、前記判断された鮮明度が予め設定された鮮明度以上の値を有する画像を選択し、前記選択された画像を前記サーバと前記ユーザ端末の少なくとも一方に送信するように、通信部1100を制御することができる。
制御部1800は、前記第2照度で撮影された画像のうち予め設定された順番に対応する画像を選択し、前記選択された画像を前記サーバと前記ユーザ端末の少なくとも一方に送信するように、通信部1100を制御することができる。
例えば、制御部1800は、前記第2照度で撮影された画像のうち、第1番、第4番、第7番、第10番、第13番、第15番、第18番、第21番、第24番及び第27番に対応する画像を選択することができる。
一方、制御部1800は、通信部1100により、前記サーバと前記ユーザ端末の少なくとも一方に印加された所定のユーザ入力を受信すると、前記サーバと前記ユーザ端末の少なくとも一方に送信される画像の数を増加又は減少させることができる。
この場合、制御部1800は、前記第2照度で撮影された画像から前記増加又は減少した数の画像を選択し、前記選択された画像を前記サーバと前記ユーザ端末の少なくとも一方に送信するように、通信部1100を制御することができる。
このように、制御部1800は、前記1つのカメラで撮影される前記複数のフレームに異なる照度で撮影された画像が含まれるように、前記カメラの連続画像撮影中に、前記カメラの照度に関する設定値を変更することができる。
図9aに示す実施形態においては、掃除機100に備えられた単一のカメラが1秒当たり30フレームを生成することができる。
具体的には、制御部1800は、30フレームのうち、第1フレーム、第15フレーム及び第30フレームが前記第1照度(L)で撮影され、他の27フレームが前記第2照度(H)で撮影されるように、前記カメラを制御することができる。
このようなカメラ制御によれば、本発明による掃除機100は、1つのカメラを用いて複数の照度で撮影された画像を取得することができる。
また、図9aに示すように、制御部1800は、前記第2照度(H)で撮影されたフレームのうち一部を選択し、前記選択された一部のフレームを用いて前記第2走行モードを実行することができる。
例えば、前記選択された一部のフレーム間の時間間隔は一定にしてもよい。すなわち、制御部1800は、前記第2走行モードに用いられる画像を選択する上で、前記画像間の撮影時点が均一になるように、前記画像を選択することができる。
図9aに示すように、制御部1800は、前記カメラの撮影が開始されると、所定数の画像が前記第1照度(L)で撮影されるように前記カメラを制御する第1照度制御を行うことができる。
また、制御部1800は、前記第1照度制御が終了すると、所定数の画像が前記第2照度(H)で撮影されるように前記カメラを制御する第2照度制御を行うことができる。
図9aにおいては30フレームのみを示すが、制御部1800は、前記第1照度制御と前記第2照度制御を順次繰り返し行うことができる。
図9bに示すように、制御部1800は、前記カメラがフレームを生成する度に、前記カメラの照度に関する設定値を前記第1照度(L)と前記第2照度(H)とに交互に変更することができる。すなわち、制御部1800は、前記第1照度で撮影された画像と前記第2照度で撮影された画像とが順次繰り返し生成されるように、前記カメラを制御することができる。
図9a及び図9bにおいては前記カメラの照度に関する設定値を変更する具体的な方法について説明したが、本発明はこれに限定されるものではない。
一方、図9cに示すように、制御部1800は、前記第1走行モードに用いられる画像を撮影するために、前記カメラの照度に関する設定値を前記第1照度の範囲内で変更することができる。また、制御部1800は、前記第2走行モードに用いられる画像を撮影するために、前記カメラの照度に関する設定値を前記第2照度の範囲内で変更することができる。
すなわち、いずれかの走行モードに用いられる画像の照度はいずれかの照度値に固定されるのではなく、制御部1800は、前記いずれかの走行モードに用いられる複数の画像がそれぞれ複数の照度値で撮影されるように、前記カメラを制御することができる。
図9cに示すように、制御部1800は、前記第1走行モードに用いられる複数の画像が撮影される複数の時点で、前記カメラの照度に関する設定値を第1設定値(L1)、第2設定値(L2)及び第3設定値(L3)にそれぞれ設定することができる。
ここで、前記第1〜第3設定値(L1、L2、L3)は、前記第1照度の範囲に含まれるようにしてもよい。
また、図9cに示すように、制御部1800は、前記第2走行モードに用いられる複数の画像が撮影される複数の時点で、前記カメラの照度に関する設定値を第4設定値(H1)、第5設定値(H2)、第6設定値(H3)にそれぞれ設定することができる。
ここで、前記第4〜第6設定値(H1、H2、H3)は、前記第2照度の範囲に含まれるようにしてもよい。
一実施形態において、制御部1800は、前記第1走行モードが開始されると、前記第1走行モードに用いられる画像が撮影される時点で、前記カメラの照度に関する設定値を前記第1設定値(L1)に設定することができる。ここで、前記第1設定値(L1)は、デフォルト値であってもよい。
制御部1800は、前記本体が前記第1走行モードの実行中に前記第1走行モードが開始された領域より明るい領域に入ると、前記第1走行モードに用いられる画像が撮影される時点で、前記カメラの照度に関する設定値を前記第2設定値(L2)に変更することができる。
また、制御部1800は、前記本体が前記第1走行モードの実行中に前記第1走行モードが開始された領域より暗い領域に入ると、前記第1走行モードに用いられる画像が撮影される時点で、前記カメラの照度に関する設定値を前記第3設定値(L3)に変更することができる。
制御部1800は、前記本体の外部に備えられた照度センサ(図示せず)の検知値を用いて、前記本体が以前の領域より暗い領域に入るか又は以前の領域より明るい領域に入るかを判断することができる。
このように、制御部1800は、前記1つのカメラにより撮影された画像を前記複数の走行モードでそれぞれ用いることができるように、前記フレーム毎に前記カメラの照度に関する設定値を変更することができる。
一実施形態において、制御部1800は、前記1つのカメラにより単位時間当たりに生成されるフレームを、前記選択された走行モード毎に割り当てることができる。
すなわち、図9cに示すように、制御部1800は、第1フレーム、第15フレーム及び第30フレームを前記第1走行モードに割り当て、他の27フレームを前記第2走行モードに割り当てることができる。
また、制御部1800は、前記第1走行モードの実行中に、前記第1走行モードに用いられる画像の明るさが変更されると、前記第1走行モードに割り当てられたフレームに対応する時点で前記カメラの照度に関する設定値を変更することができる。
以下、図10を参照して、本発明による掃除機100の制御方法について説明する。
図10に示すように、本発明の単一のカメラ1001は、1秒当たり最大30フレームの画像を撮影することができる。
制御部1800に含まれる照度制御ユニット1801は、単一のカメラ1001の連続撮影中に、単一のカメラ1001の照度に関する設定値を変更することができる。
また、制御部1800に含まれる照度制御ユニット1801は、同じ照度で撮影された画像をグループ化し、メモリ1100にグループ毎に保存することができる。
一方、制御部1800に含まれる照度制御ユニット1801は、1秒当たりに撮影される30フレームを複数の走行モードに分配して割り当てることができる。照度制御ユニット1801は、同じ走行モードに割り当てられたフレームをグループ化し、メモリ1100にグループ毎に保存することができる。
例えば、前記複数の走行モードには、モニタモード(1002)、スラム走行モード(1004)、ディープラーニング認識モード(1003)が含まれる。
ここで、照度制御ユニット1801は、前記モニタモードに割り当てられた26フレームをグループ化することができる。また、制御部1800に含まれるモニタユニット1802は、前記モニタモードに割り当てられた26フレームが端末画面1002に出力されるように、ユーザ端末に送信することができる。
さらに、照度制御ユニット1801は、前記スラム走行モードに割り当てられた3フレームをグループ化することができる。制御部1800は、前記スラム走行モードに割り当てられた3フレームを用いて前記スラム走行を行うことができる。
また、照度制御ユニット1801は、前記ディープラーニング走行モードに1フレームを割り当て、制御部1800は、前記ディープラーニング走行モードに割り当てられた1フレームと前記メモリに予め保存されたトレーニングデータとを比較し、前記ディープラーニング走行モードに割り当てられた1フレームの被写体に関する情報を検出することができる。
一例として、前記被写体に関する情報には、前記被写体が事物であるか生命体であるかに関する情報が含まれてもよい。
他の例として、前記被写体に関する情報には、前記被写体が生命体である場合、前記被写体に対応する種(species)に関する情報が含まれてもよい。
さらに他の例として、前記被写体に関する情報には、前記被写体が事物である場合、前記被写体の名前に関する情報が含まれてもよい。
さらに他の例として、前記被写体に関する情報には、前記被写体の大きさや形状に関する情報が含まれてもよい。
さらに他の例として、前記被写体に関する情報には、前記ディープラーニング走行モードに割り当てられたフレームに含まれるオブジェクトの数に関する情報が含まれてもよい。
このような本発明による自律走行を行う掃除機によれば、カメラの設定値を必要に応じて変更することにより、1つのカメラのみを用いながらも複数の走行モードを正常に行うことができるという利点がある。
すなわち、本発明による掃除機の制御方法によれば、本体に設置されるカメラの数を減少させることができるので、掃除機の製作コストを低減することができるという効果が得られる。
また、本発明によれば、1つのカメラを用いて複数の走行モードで要求される設定値を有する画像を取得することができるので、掃除機のデータ処理量を減少させることができるという効果が得られる。
さらに、本発明によれば、1つのカメラから取得される情報を用いて複数の走行モードを実行することができるので、データ処理の効率性が向上する。

Claims (25)

  1. 本体と、
    前記本体を移動させる駆動部と、
    予め設定された周期毎に前記本体周辺の画像を撮影するカメラと、
    複数の走行モードの少なくとも1つを選択し、前記選択された走行モードを実行するように前記駆動部及び前記カメラを制御する制御部と、を含み、
    前記制御部は、
    前記カメラの連続画像撮影中に、前記カメラの照度に関する設定値を変更し、
    前記カメラは、
    単位時間当たり予め設定された数の画像を撮影し、
    前記制御部は、
    前記予め設定された数の画像が異なる複数の照度で撮影されるように、前記カメラを制御することを特徴とする、自律走行を行う掃除機。
  2. 前記制御部は、
    前記複数の照度のいずれか1つで撮影された画像の数と、前記複数の照度の他の1つで撮影された画像の数とが異なるように、前記カメラを制御する、請求項に記載の自律走行を行う掃除機。
  3. 前記制御部は、
    前記複数の照度のいずれか1つで撮影された画像を用いて、前記掃除機により実行される複数の走行モードのいずれか1つを実行し、
    前記複数の照度の他の1つで撮影された画像を用いて、前記掃除機により実行される複数の走行モードの他の1つを実行する、請求項に記載の自律走行を行う掃除機。
  4. 前記複数の走行モードには、障害物認識モード、モニタモード及び位置認識モードの少なくとも1つが含まれる、請求項に記載の自律走行を行う掃除機。
  5. 前記制御部は、
    前記位置認識モードの実行時に用いられる画像の照度の方が、前記障害物認識モード及び前記モニタモードの少なくとも一方の実行時に用いられる画像の照度より低くなるように、前記カメラを制御する、請求項に記載の自律走行を行う掃除機。
  6. 前記カメラは、
    1秒当たり30フレームの画像を取得し、
    前記制御部は、
    前記30フレームの画像のうち、3フレームの画像は第1照度で撮影され、他の27フレームの画像は第2照度で撮影されるように、前記カメラを制御し、
    前記第1照度は、前記第2照度より低く設定される、請求項に記載の自律走行を行う掃除機。
  7. 前記制御部は、
    第1走行モード及び第2走行モードが選択されると、前記第1走行モードで用いられる画像の照度に関する情報、及び前記第2走行モードで用いられる画像の照度に関する情報を検出する、請求項に記載の自律走行を行う掃除機。
  8. 前記制御部は、
    前記第1走行モード及び前記第2走行モードが選択されると、前記第1走行モードで単位時間当たりに用いられる画像の数、及び前記第2走行モードで用いられる画像の数を検出する、請求項に記載の自律走行を行う掃除機。
  9. 前記第1走行モードで用いられる画像の照度が第1照度であり、前記第1走行モードで単位時間当たりに用いられる画像の数が第1個数であり、前記第2走行モードで用いられる画像の照度が第2照度であり、前記第2走行モードで単位時間当たりに用いられる画像の数が第2個数である場合、
    前記制御部は、
    前記第1走行モード及び前記第2走行モードが選択されると、前記カメラにより1秒当たり予め設定された数の画像が取得される間、前記取得された画像に、前記第1照度で撮影された画像が前記第1個数以上含まれ、前記第2照度で撮影された画像が前記第2個数以上含まれるように、前記カメラを制御する、請求項に記載の自律走行を行う掃除機。
  10. 前記制御部は、
    前記カメラにより撮影された画像を、前記画像の照度値に基づいて、複数のグループに分類する、請求項に記載の自律走行を行う掃除機。
  11. 前記カメラにより撮影された画像を保存するメモリをさらに含み、
    前記制御部は、
    前記分類の結果に基づいて、前記画像のラベリングを行い、前記ラベリングされた画像を前記メモリに保存する、請求項10に記載の自律走行を行う掃除機。
  12. 前記制御部は、
    前記画像が分類された後、第1照度で撮影された画像を用いて前記選択された走行モードのうち第1走行モードを実行し、第2照度で撮影された画像を用いて前記選択された走行モードのうち第2走行モードを実行する、請求項10に記載の自律走行を行う掃除機。
  13. 前記第1走行モードは、スラム(SLAM)走行モードであり、
    前記制御部は、
    前記第1照度で撮影された画像を用いて、前記本体の位置に関する情報を検出することにより、前記第1走行モードを実行する、請求項12に記載の自律走行を行う掃除機。
  14. 前記制御部は、
    前記第1照度で撮影された画像を用いて、前記本体が位置する掃除領域の地図情報を生成する、請求項13に記載の自律走行を行う掃除機。
  15. 前記本体が位置する掃除領域の明るさを検知するセンサをさらに含み、
    前記制御部は、
    前記センサによる検知の結果に基づいて、前記本体周辺の明るさが変更されたか否かを判断し、
    前記判断の結果に基づいて、前記カメラの照度値を変更することにより、前記第1走行モードで用いられる画像の照度値を補正する、請求項13に記載の自律走行を行う掃除機。
  16. 外部と通信を行う通信部をさらに含み、
    前記第2走行モードは、モニタモードであり、
    前記制御部は、
    前記第2照度で撮影された画像の少なくとも1つをサーバ又はユーザ端末に送信するように、前記通信部を制御する、請求項12に記載の自律走行を行う掃除機。
  17. 前記制御部は、
    前記第2照度で撮影された画像から予め設定された数の画像を選択し、
    前記選択された画像を前記サーバと前記ユーザ端末の少なくとも一方に送信するように、前記通信部を制御する、請求項16に記載の自律走行を行う掃除機。
  18. 前記制御部は、
    前記第2照度で撮影された画像のそれぞれの鮮明度を判断し、
    前記判断された鮮明度が予め設定された鮮明度以上の値を有する画像を選択する、請求項17に記載の自律走行を行う掃除機。
  19. 前記制御部は、
    前記第2照度で撮影された画像のうち予め設定された順番に対応する画像を選択する、請求項17に記載の自律走行を行う掃除機。
  20. 前記制御部は、
    前記通信部により、前記サーバと前記ユーザ端末の少なくとも一方に印加された所定のユーザ入力を受信すると、前記サーバと前記ユーザ端末の少なくとも一方に送信される画像の数を増加又は減少させ、前記第2照度で撮影された画像から前記増加又は減少した数の画像を選択する、請求項17に記載の自律走行を行う掃除機。
  21. 前記制御部は、
    前記カメラの撮影が開始されると、所定数の画像が第1照度で撮影されるように前記カメラを制御する第1照度制御を行い、
    前記第1照度制御が終了すると、所定数の画像が第2照度で撮影されるように前記カメラを制御する第2照度制御を行う、請求項に記載の自律走行を行う掃除機。
  22. 前記制御部は、
    前記第1照度制御と前記第2照度制御を順次繰り返し行う、請求項21に記載の自律走行を行う掃除機。
  23. 前記カメラの光軸は、前記本体が位置する掃除領域の床面と所定の角度をなす、請求項1に記載の自律走行を行う掃除機。
  24. 前記カメラの視野角は、所定の角度以上である、請求項1に記載の自律走行を行う掃除機。
  25. 前記カメラの照度に関する設定値には、前記カメラの露出時間に関する設定値、照明出力に関する設定値、及びフィルタに関する設定値の少なくとも1つが含まれる、請求項1に記載の自律走行を行う掃除機。
JP2020502620A 2017-07-21 2017-08-18 掃除機及びその制御方法 Active JP6905635B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0092901 2017-07-21
KR1020170092901A KR101984516B1 (ko) 2017-07-21 2017-07-21 청소기 및 그 제어방법
PCT/KR2017/009045 WO2019017521A1 (ko) 2017-07-21 2017-08-18 청소기 및 그 제어방법

Publications (2)

Publication Number Publication Date
JP2020528311A JP2020528311A (ja) 2020-09-24
JP6905635B2 true JP6905635B2 (ja) 2021-07-21

Family

ID=65016380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502620A Active JP6905635B2 (ja) 2017-07-21 2017-08-18 掃除機及びその制御方法

Country Status (8)

Country Link
US (2) US10845819B2 (ja)
EP (1) EP3656269B1 (ja)
JP (1) JP6905635B2 (ja)
KR (1) KR101984516B1 (ja)
CN (1) CN212234313U (ja)
AU (2) AU2017424181B2 (ja)
TW (1) TWI703950B (ja)
WO (1) WO2019017521A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법
CN108553027A (zh) * 2018-01-04 2018-09-21 深圳悉罗机器人有限公司 移动机器人
KR102201002B1 (ko) * 2019-03-26 2021-01-12 엘지전자 주식회사 로봇 청소기
US11571100B2 (en) * 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
USD943227S1 (en) * 2019-08-28 2022-02-08 Lg Electronics Inc. Robotic vacuum cleaner
USD938677S1 (en) * 2019-08-28 2021-12-14 Lg Electronics Inc. Robotic vacuum cleaner
US20210132603A1 (en) * 2019-11-05 2021-05-06 Hong-Fan WEI Smart platform device, circuit system and smart system thereof
US11436940B2 (en) 2020-02-28 2022-09-06 Irobot Corporation Mobile cleaning robot hardware recommendations
KR102320678B1 (ko) * 2020-02-28 2021-11-02 엘지전자 주식회사 이동 로봇 및 그 제어방법
DE102022207087A1 (de) * 2022-07-12 2024-01-18 BSH Hausgeräte GmbH Haushaltsgerät

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797841B2 (ja) * 1987-06-09 1995-10-18 キヤノン株式会社 撮像装置
JPH0797841A (ja) 1993-09-29 1995-04-11 Natl House Ind Co Ltd 屋根の構造
KR0185909B1 (ko) 1994-07-11 1999-05-01 김광호 비데오 카메라의 노출 조절장치
US6412183B1 (en) * 1996-06-14 2002-07-02 Kabushiki Kaisha Saginomiya Seisakusho Wheel alignment measuring instrument and wheel alignment measuring
JP2002085305A (ja) * 2000-09-12 2002-03-26 Toshiba Tec Corp ロボットクリーナ及びロボットクリーナシステム
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
JP3692071B2 (ja) * 2001-12-06 2005-09-07 株式会社メイクソフトウェア 画像プリント作成装置、方法、プログラム
JP2004247172A (ja) * 2003-02-13 2004-09-02 Matsushita Electric Ind Co Ltd Crtパネルの蛍光体形成位置の測定装置とその測定方法、及び陰極線管の製造方法
KR100483566B1 (ko) * 2003-03-12 2005-04-19 삼성광주전자 주식회사 로봇청소기 및 위치인식방법
JP2005304540A (ja) * 2004-04-16 2005-11-04 Funai Electric Co Ltd 監視カメラを備えた自走式掃除機
JP2007037713A (ja) * 2005-08-02 2007-02-15 Funai Electric Co Ltd 監視装置及び自走式掃除機
US7483054B2 (en) * 2006-03-16 2009-01-27 Altek Corporation Image unsharpness test method for a camera device
KR100734955B1 (ko) * 2006-06-19 2007-07-03 삼성광주전자 주식회사 청소기 프레임에 진공청소기 본체의 착탈이 가능한진공청소기
KR101540666B1 (ko) * 2009-07-22 2015-07-31 엘지전자 주식회사 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법
EP2487907B1 (en) * 2009-10-09 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Vehicle peripheral monitoring device
KR20110119118A (ko) * 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
PL394570A1 (pl) * 2011-04-15 2012-10-22 Robotics Inventions Spólka Z Ograniczona Odpowiedzialnoscia Robot do podlóg podniesionych i sposób serwisowania podlóg podniesionych
KR101303161B1 (ko) * 2011-10-18 2013-09-09 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
EP2620050B1 (en) * 2012-01-25 2016-07-27 Honda Research Institute Europe GmbH System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
CN103584797A (zh) * 2012-08-17 2014-02-19 乐金电子(天津)电器有限公司 机器人吸尘器及其自我诊断方法
WO2015087697A1 (ja) * 2013-12-13 2015-06-18 株式会社東芝 走行体装置
KR101592108B1 (ko) 2014-07-23 2016-02-04 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
KR20160016068A (ko) 2014-08-01 2016-02-15 삼성전자주식회사 이미지 생성 방법 및 그 전자 장치
JP6826804B2 (ja) 2014-08-29 2021-02-10 東芝ライフスタイル株式会社 自律走行体
GB2529846B (en) * 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
GB2529847B (en) * 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile Robot with Independently Adjustable Light Sources
KR101571719B1 (ko) * 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기
KR101620427B1 (ko) * 2014-10-14 2016-05-12 엘지전자 주식회사 로봇 청소기의 제어방법
TWI531984B (zh) 2015-05-26 2016-05-01 原相科技股份有限公司 影像處理方法以及影像處理裝置
JP6659317B2 (ja) * 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
TWI689387B (zh) * 2016-05-17 2020-04-01 南韓商Lg電子股份有限公司 行動機器人
WO2017200346A1 (ko) * 2016-05-20 2017-11-23 엘지전자 주식회사 로봇 청소기
KR102598711B1 (ko) 2016-07-07 2023-11-06 삼성전자주식회사 불균일 광을 조사하는 라이다 장치 및 이를 포함하는 자율 주행 로봇
KR20160090278A (ko) * 2016-07-21 2016-07-29 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR20180018213A (ko) * 2016-08-12 2018-02-21 삼성전자주식회사 전자 장치 및 그 제어 방법
TWM541824U (zh) 2016-09-06 2017-05-21 禾聯碩股份有限公司 智慧型居家監控系統
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
KR101984516B1 (ko) * 2017-07-21 2019-05-31 엘지전자 주식회사 청소기 및 그 제어방법

Also Published As

Publication number Publication date
CN212234313U (zh) 2020-12-29
JP2020528311A (ja) 2020-09-24
TW201907855A (zh) 2019-03-01
US10845819B2 (en) 2020-11-24
US20210034069A1 (en) 2021-02-04
KR20190010301A (ko) 2019-01-30
AU2021273534B2 (en) 2023-08-03
AU2021273534A1 (en) 2021-12-16
EP3656269A4 (en) 2021-03-24
WO2019017521A1 (ko) 2019-01-24
AU2017424181B2 (en) 2021-08-26
EP3656269A1 (en) 2020-05-27
AU2017424181A1 (en) 2020-03-05
EP3656269B1 (en) 2023-07-12
KR101984516B1 (ko) 2019-05-31
TWI703950B (zh) 2020-09-11
US11759075B2 (en) 2023-09-19
US20190025850A1 (en) 2019-01-24

Similar Documents

Publication Publication Date Title
JP6905635B2 (ja) 掃除機及びその制御方法
KR102048992B1 (ko) 인공지능 청소기 및 그 제어방법
KR102032516B1 (ko) 이동 로봇 및 그 제어방법
US20220175210A1 (en) Moving robot and controlling method for the moving robot
US20230084829A1 (en) Moving robots and method for controlling the same
KR102309303B1 (ko) 로봇 청소기 및 그 제어 방법
KR102217540B1 (ko) 이동 로봇 및 복수의 이동 로봇의 제어방법
KR102535719B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR102348963B1 (ko) 로봇 청소기 및 그 제어 방법
US12004702B2 (en) Mobile robot and method of controlling mobile robot
KR20210146141A (ko) 이동 로봇 및 이의 코너 구역 주행 방법
KR102396048B1 (ko) 로봇청소기 및 그 제어방법
KR102398332B1 (ko) 청소기 및 그 제어방법
KR102115193B1 (ko) 로봇 청소기 및 그 동작방법
KR102277650B1 (ko) 청소기 및 그 제어방법
KR20200133544A (ko) 이동 로봇 및 그 제어방법
KR102361982B1 (ko) 이동 로봇 및 이의 제어 방법
KR20200133840A (ko) 이동 로봇 및 이동 로봇의 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210625

R150 Certificate of patent or registration of utility model

Ref document number: 6905635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250