JP7416916B2 - 自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法 - Google Patents

自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法 Download PDF

Info

Publication number
JP7416916B2
JP7416916B2 JP2022513597A JP2022513597A JP7416916B2 JP 7416916 B2 JP7416916 B2 JP 7416916B2 JP 2022513597 A JP2022513597 A JP 2022513597A JP 2022513597 A JP2022513597 A JP 2022513597A JP 7416916 B2 JP7416916 B2 JP 7416916B2
Authority
JP
Japan
Prior art keywords
robot
user
floor surface
obstacle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022513597A
Other languages
English (en)
Other versions
JPWO2021066879A5 (ja
JP2022549572A (ja
Inventor
フセイン・アル-モーセン
ズペイ・リ
エレナ・ヤクビアク
ローラ・ヴィ・ハーラント
マイケル・ジェー・ハロラン
ダニエル・オコーナー・ディーン
Original Assignee
アイロボット・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイロボット・コーポレーション filed Critical アイロボット・コーポレーション
Publication of JP2022549572A publication Critical patent/JP2022549572A/ja
Publication of JPWO2021066879A5 publication Critical patent/JPWO2021066879A5/ja
Application granted granted Critical
Publication of JP7416916B2 publication Critical patent/JP7416916B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02Nozzles
    • A47L9/04Nozzles with driven brushes or agitators
    • A47L9/0461Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0466Rotating tools
    • A47L9/0477Rolls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4063Driving means; Transmission means therefor
    • A47L11/4066Propulsion of the whole machine
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02Nozzles
    • A47L9/04Nozzles with driven brushes or agitators
    • A47L9/0461Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0488Combinations or arrangements of several tools, e.g. edge cleaning tools
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • A47L9/2826Parameters or conditions being sensed the condition of the floor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894Details related to signal transmission in suction cleaners
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection

Description

本明細書は、自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法に関する。
自律モバイルロボットは、環境、たとえば家庭内でクリーニングタスクを自律的に実行する自律クリーニングロボットを含む。多くの種類のクリーニングロボットは、様々な方法である程度自律的である。クリーニングロボットは、ロボットが移動するにつれてロボットがごみ屑を取り込むことができるように、環境にわたってロボットを自律的にナビゲートさせるように構成されたコントローラを含むことができる。クリーニングロボットは、環境内の障害物を回避するためのセンサを含むことができる。
自律クリーニングロボットは、ロボットの前方を向くカメラを含むことができる。本開示は、前方を向くカメラが、ロボットの動作の中で使用され得る様々な方法を説明する。カメラによって捕捉されたイメージ(imagery)に基づいて、ロボットは、ロボットの前方の障害物および特徴物に応じていくつかの方法で行動することができる。たとえば、カメラは、床面のイメージを捕捉して、床面の上のラグマットをロボットが検出することを可能にするために使用され得る。ロボットは、床面の一部の上のラグマットを検出することに応じて、ロボットがラグマットを有する床面の一部の上を移動するとき、エラーのリスクを低減する方式で床面に沿って移動するための行動を開始することができる。さらに、カメラによって捕捉されたイメージは、ロボットの環境についての情報をユーザに提供するためにも使用され得る。たとえば、カメラによって捕捉されたイメージは、環境内の床面の様々な部分のフロアタイプを示す環境のマップを提供するために使用され得る。イメージは、窓、絵画など、環境の壁に沿った特徴物についての情報を提供するためにも使用され得る。さらに、マップは、環境内の障害物のロケーションの情報を提供することができ、ユーザは、ユーザコンピューティングデバイスを動作させて、環境内のこれらの障害物の検出に対するロボットの感度を選択することができる。選択された感度が高いとき、ロボットは、選択された感度が低いときの距離より長い距離において、障害物回避行動を開始する傾向がある。
前述の利点は、限定はしないが、以下でおよび本明細書の他の場所で説明する利点を含み得る。
本明細書で説明する実装形態は、自律モバイルロボットと対話しているユーザに対する経験を改善することができる。自律モバイルロボットのカメラによって捕捉されたイメージは、ユーザが、ロボットの動作を制御するために十分な情報に基づく決定を下すことができるように、ロボットの環境についての情報をユーザに提供することができる。情報は、マップの表現の形式でユーザコンピューティングデバイス上に視覚的に提示され得る。たとえば、ユーザに提示されるマップの表現は、環境内の床面の一部の床面タイプを示すことができる。床面タイプを視覚的に表すために、ユーザコンピューティングデバイスは、床面の一部を表すイメージの少なくとも一部を提示ことができる。代替的に、床面タイプは、イメージから識別され得、したがって、ユーザコンピューティングデバイスは、床面タイプの表現を含有するマップを表すことができる。ユーザコンピューティングデバイスを介してユーザに提示される視覚表現は、ユーザが環境についての情報を容易に取得し、したがって、この情報を使用してロボットの動作を制御することを可能にする。
さらなる例では、ロボットのカメラによって捕捉されたイメージ内の物体が識別され得、それにより、これらの物体の表現がユーザに提示され得る。これらの表現は、ロボットがその動作中にその環境内で遭遇した物体をユーザが追跡することを可能にするために、ユーザコンピューティングデバイス上でユーザに提示され得る。その結果、ユーザは、環境内のいくつかの物体、たとえばコード、衣類などの検出に対して、ロボットが次のクリーニング動作において再びこれらの物体に遭遇しないように、それらをきれいに片付けるかまたは整理することによって容易に対応することができる。
本明細書で説明する実装形態は、自律モバイルロボットの動作に対してユーザが有する制御の量を増加させることができる。ロボットが環境内の物体を検出すると、ロボットは、物体を回避するために障害物回避行動を実行することができる。この行動では、ロボットが物体を回避するとき、ロボットが物体から一定の距離にとどまるように、ロボットは、床面に沿って進むことができる。本明細書で説明する実装形態では、ユーザは、この距離を選択するか、または場合によっては、障害物を回避することに対するロボットの感度を選択することができる。したがって、ロボットは、環境内で動作を自律的に実行することができる一方で、ユーザは、依然として、ロボットのいくつかの行動に対する制御を有し、ロボットが動作している環境の特有の特徴物に好適な方法で、ユーザが動作を制御することが可能になる。ユーザは、ロボットが、ロボットがエラー状態を経験する割合を著しく増加することなく環境内でより多くのエリアをカバーすることができるように感度を制御することができる。
本明細書で説明する実装形態は、ユーザがロボットの動作を制御するために、直観的方法を提供することもできる。ユーザは、環境についての情報をユーザに直観的に提供する、環境の視覚表現と対話することができる。視覚表現は、捕捉された環境のイメージに基づいて構築され得るので、視覚表現は、環境の実際の外観とよりよく一致することができる。加えて、たとえば、環境内の物体の検出に対するロボットの感度を調整するためのユーザインターフェース制御は、ユーザによって直観的に動作され得る。
本明細書で説明する実装形態は、自律クリーニングロボットが、ラグマットに関連するエラー状態を経験するリスクが低減された状態で、ラグマットを掃除することを可能にし得る。たとえば、自律クリーニングロボットは、ラグマットの上をナビゲートするとき、ラグマットのタッセル、角または他の部分を取り込み、その結果、エラー状態を経験することがある。自律クリーニングロボットのカメラによって捕捉されたイメージを使用して、ロボットは、ロボットがラグマットの一部を取り込むリスクを低減する、ラグマットに関連する移動パターンを開始することができる。
本明細書で説明する実装形態は、ロボットがそれらの環境にわたって進むときに、人であるユーザに対してよりインテリジェントに見える自律モバイルロボットを提供することができる。たとえば、前向きのカメラを有する自律モバイルロボットが、その環境にわたって移動するとき、前向きのカメラは、ロボットがロボットの前方の物体を予期して行動を開始することができるように、ロボットの前方の床面の一部を見ることができる。その結果、ロボットは、物体に接触するかまたは物体に隣接するよりかなり前に行動を開始し、したがって、カメラによる物体の検出に反応するための時間および物理的空間を提供することができる。たとえば、ロボットは、物体に対して減速するかまたは向きを変え、したがって、ロボットがインテリジェントに物体に反応するような外見を与えることができる。
一態様では、モバイルコンピューティングデバイスは、ユーザ入力デバイスと、ユーザ入力デバイスに動作可能に接続されたコントローラとを含む。コントローラは、自律クリーニングロボットによる障害物回避に対してユーザ選択感度を示すデータを、ユーザ入力デバイスから受け付けることと、自律クリーニングロボットの画像捕捉デバイスによって捕捉されたイメージおよびユーザが選択した感度に基づいて、自律クリーニングロボットが床面の一部の上の障害物を回避するために障害物回避行動を開始するように、ユーザ選択感度を示すデータの自律クリーニングロボットへの送信を開始することとを含む動作を実行するための命令を実行するように構成される。
別の態様では、自律クリーニングロボットは、自律クリーニングロボットを床面の上に支持するための駆動システムと、自律クリーニングロボットの前方の床面の一部のイメージを捕捉するために自律クリーニングロボット上に配置された画像捕捉デバイスと、駆動システムおよび画像捕捉デバイスに動作可能に接続されたコントローラとを含む。駆動システムは、自律クリーニングロボットを床面にわたって操縦するように動作可能である。コントローラは、ユーザ選択感度および画像捕捉デバイスによって捕捉されたイメージに基づいて、床面の一部の上の障害物を回避するために回避行動を開始することを含む動作を実行するための命令を実行するように構成される。
さらなる態様では、方法は、自律クリーニングロボット上の画像捕捉デバイスによって、自律クリーニングロボットの前方の、ラグの少なくとも一部を含む床面の一部のイメージを捕捉するステップと、床面の一部のイメージに基づいて選択された経路に沿ってラグの上へと自律クリーニングロボットを操縦する(maneuver onto)ステップとを含む。
さらなる態様では、自律クリーニングロボットは、自律クリーニングロボットを床面の上に支持するための駆動システムと、自律クリーニングロボットの前方の床面の一部のイメージを捕捉するために自律クリーニングロボット上に配置された画像捕捉デバイスと、駆動システムおよび画像捕捉デバイスに動作可能に接続されたコントローラとを含む。駆動システムは、自律クリーニングロボットを床面にわたって操縦するように動作可能である。床面の一部は、ラグの少なくとも一部を含む。コントローラは、床面の一部のイメージに基づいて選択された経路に沿って、ラグの上へと自律クリーニングロボットを操縦することを含む動作を実行するための命令を実行するように構成される。
さらなる態様では、自律クリーニングロボットは、自律クリーニングロボットを床面上に支持するための駆動システムと、自律クリーニングロボットの前方の床面の一部の画像を捕捉するために自律クリーニングロボット上に配置された画像捕捉デバイスと、駆動システムおよび画像捕捉デバイスに動作可能に接続されたコントローラとを含む。駆動システムは、自律クリーニングロボットを床面にわたって操縦するように動作可能である。コントローラは、自律クリーニングロボットを床面の第2の部分に向かって床面の第1の部分に沿って第1の速度で操縦することと、画像捕捉デバイスによって捕捉されたイメージに基づいて床面の第2の部分を検出することと、床面の第2の部分を検出した後、自律クリーニングロボットを床面の第2の部分に向かって床面の第1の部分に沿って第2の速度で操縦することとを含む動作を実行するための命令を実行するように構成される。床面の第2の部分は、床面の第1の部分より低い高度を有する。第2の速度は第1の速度より小さい。
さらなる態様では、自律クリーニングロボットは、自律クリーニングロボットを床面の上に支持するための駆動システムと、駆動システムに動作可能に接続されたコントローラとを含む。駆動システムは、自律クリーニングロボットを床面にわたって操縦するように動作可能である。コントローラは、自律クリーニングロボットを床面の第2の部分に向かって床面の第1の部分に沿って第1の速度で操縦することと、自律クリーニングロボットが床面の第2の部分からある距離以内に入った後、自律クリーニングロボットを自律モバイルに基づいて床面の第1の部分に沿って第2の速度で操縦することとを含む動作を実行するための命令を実行するように構成される。床面の第2の部分は、床面の第1の部分より低い高度を有する。第2の速度は第1の速度より小さい。
さらなる態様では、方法は、自律クリーニングロボットを床面の第2の部分に向かって床面の第1の部分に沿って第1の速度で操縦するステップと、自律クリーニングロボットの前方の床面の一部のイメージを捕捉するために自律クリーニングロボット上に配置された画像捕捉デバイスを使用して、床面の第2の部分を検出するステップと、床面の第2の部分を検出した後、自律クリーニングロボットを床面の第2の部分に向かって床面の第1の部分に沿って第2の速度で操縦するステップとを含む。床面の第2の部分は、床面の第1の部分より低い高度を有する。第2の速度は第1の速度より小さい。
実装形態は、以下の、または本明細書の他の場所で説明される、1つまたは複数の特徴を含むことができる。実装形態は、以下の特徴の組合せを含むことができる。
いくつかの実装形態では、ユーザ選択感度は、障害物と自律クリーニングロボットとの間の距離が距離閾値以下になることに基づいて、自律クリーニングロボットが障害物回避行動を開始するような距離閾値を示すことができる。いくつかの実装形態では、ユーザ選択感度を受け付けることは、距離閾値のユーザ選択を示すデータを受け付けることを含むことができる。
いくつかの実装形態では、ユーザ選択感度は、床面の一部の上に障害物が存在する尤度が、尤度閾値以上であることに基づいて、自律クリーニングロボットが、障害物回避行動を開始するような尤度閾値を示す。いくつかの実装形態では、障害物が存在する尤度は、画像捕捉デバイスによって捕捉されたイメージに基づいて決定され得る。
いくつかの実装形態では、モバイルコンピューティングデバイスは、コントローラに動作可能に接続されたディスプレイをさらに含むことができる。障害物は、画像捕捉デバイスによって捕捉されたイメージ内に表され得る。動作は、イメージを表すデータを自律クリーニングロボットから受け付けることと、イメージを表すデータに基づいて障害物の表現をディスプレイ上に提示することとを含むことができる。
いくつかの実装形態では、モバイルコンピューティングデバイスは、コントローラに動作可能に接続されたディスプレイを含むことができる。動作は、自律クリーニングロボットの画像捕捉デバイスによるイメージの中に存在する複数の障害物の複数の表現を、ディスプレイ上に提示することを含むことができ、複数の障害物の複数の表現は、1つの障害物の1つの表現を含む。
いくつかの実装形態では、ユーザ選択感度は、ユーザ選択距離閾値に対応することができ、障害物を回避するために回避行動を開始することは、障害物と自律クリーニングロボットとの間の距離が距離閾値以下であることに基づいて回避行動を開始することを含むことができる。
いくつかの実装形態では、ユーザ選択感度は、尤度閾値に対応することができ、障害物を回避するために回避行動を開始することは、床面の一部の上に障害物が存在する尤度が、尤度閾値以上であることに基づいて回避行動を開始することを含むことができる。
いくつかの実装形態では、動作は、リモートユーザデバイスに、画像内に存在する障害物の表現を提示させるために、画像捕捉デバイスによって捕捉された画像を示すデータの送信を開始することを含むことができる。
いくつかの実装形態では、床面の一部のイメージは、ラグのタッセルのロケーションを示すことができ、自律クリーニングロボットをラグの上へと操縦することは、自律クリーニングロボットがタッセルを回避するような経路に沿って、自律クリーニングロボットをラグの上へと操縦することを含むことができる。
いくつかの実装形態では、経路は第1の経路であり得る。床面の一部のイメージは、ラグのタッセルが床面に沿って延びる方向を示すことができる。動作は、タッセルが沿って延びる方向に実質的に平行な方向に自律クリーニングロボットがタッセルの上を移動するような第2の経路に沿って、ラグから離れて自律クリーニングロボットを操縦することをさらに含むことができる。
いくつかの実装形態では、床面の一部のイメージは、ラグの角のロケーションを示すことができる。自律クリーニングロボットをラグの上へと操縦することは、自律クリーニングロボットがラグの角を回避するような経路に沿って、自律クリーニングロボットをラグの上へと操縦することを含むことができる。
いくつかの実装形態では、イメージは画像を含むことができる。床面の一部のイメージに基づいて選択された経路に沿って自律クリーニングロボットをラグの上へと操縦することは、複数の画像の中で表されるラグの縁部のロケーションに基づいて選択された経路に沿って自律クリーニングロボットをラグの上へと操縦することを含むことができる。いくつかの実装形態では、複数の画像の中で表されるラグの縁部のロケーションに基づいて選択された経路に沿って自律クリーニングロボットをラグの上へと操縦することは、複数の画像から生成された床面のステッチ画像表現に基づいて選択された経路に沿って、自律クリーニングロボットをラグの上へと操縦することを含むことができる。
いくつかの実装形態では、自律クリーニングロボットは、自律クリーニングロボットの底部上の回転可能部材と、回転可能部材を回転させて自律クリーニングロボットの内部にごみ屑を案内するモータとを含むことができる。動作は、自律クリーニングロボットが、ラグから離れた床面の一部にわたって移動するとき、モータを動作させて回転可能部材を第1の回転速度で回転させることと、ラグから離れた床面の一部からラグ上の床面の一部にクリーニングロボットが移動するとき、モータを動作させて回転可能部材を第2の回転速度で回転させることとをさらに含むことができる。第2の回転速度は、第1の回転速度より低くてよい。いくつかの実装形態では、第2の回転速度はゼロである。いくつかの実装形態では、動作は、クリーニングロボットがラグにわたって移動するとき、モータを動作させて回転可能部材を第3の回転速度で回転させることと、クリーニングロボットがラグ上の床面の部分から、ラグから離れた床面の部分に移動するときに、モータを動作させて回転可能部材を第4の回転速度で回転させることとをさらに含むことができる。第3の回転速度は、第2の回転速度より大きくてよい。第4の回転速度は、第2の回転速度より大きくてよい。
いくつかの実装形態では、床面の第2の部分を検出した後、自律クリーニングロボットを床面の第1の部分に沿って第2の速度で操縦することは、画像捕捉デバイスによって捕捉されたイメージから、自律クリーニングロボットが床面の第2の部分からある距離以内にあると決定することに基づいて、自律クリーニングロボットの速度を第1の速度から第2の速度に低減することを開始することを含むことができる。いくつかの実装形態では、距離は、自律クリーニングロボットの長さの50%から300%の間であり得る。
いくつかの実装形態では、画像捕捉デバイスによって捕捉されたイメージは、床面の第2の部分の少なくとも一部を表すことができる。
いくつかの実装形態では、自律クリーニングロボットは、画像捕捉デバイスに相当する単一の画像捕捉デバイスを含むことができる。
いくつかの実装形態では、画像捕捉デバイスは、床面の上の10度から30度の間の角度に向けられ得る。いくつかの実装形態では、画像捕捉デバイスの水平視野は、90度から150度の間であり得る。
いくつかの実装形態では、自律クリーニングロボットは、自律クリーニングロボットの底部上に配置された崖センサを含むことができる。崖センサは、自律クリーニングロボットの底部が床面の第2の部分を超えて移動するとき、床面の第2の部分を検出するように構成され得る。いくつかの実装形態では、動作は、崖センサが床面の第2の部分を検出するとき、自律クリーニングロボットを床面の第2の部分から離れて床面の第1の部分に沿って操縦することを含むことができる。
本明細書で説明する主題の1つまたは複数の実装形態の詳細が、添付の図面および以下の説明において示される。他の潜在的特徴、態様、および利点は、説明、図面および特許請求の範囲から明白となろう。
環境内の自律クリーニングロボットの斜視図である。 環境内の自律クリーニングロボットの概略的側面図である。 自律クリーニングロボットの底面図である。 図3Aのロボットの上面斜視図である。 環境内の画像捕捉デバイスを有する自律クリーニングロボットの概略的側面図である。 通信ネットワークの図である。 環境のマップを作成する方法のフローチャートである。 環境内の自律クリーニングロボットの上面図である。 図7Aの自律クリーニングロボットによって捕捉された画像を示す図である。 処理されたバージョンの画像を示す図である。 環境内の自律クリーニングロボットの上面図である。 図8Aの環境のステッチ画像表現を提示するユーザコンピューティングデバイスの正面図である。 ラグマットに対してナビゲートするために自律クリーニングロボットを制御する方法のフローチャートである。 ラグマットを有する環境内の自律クリーニングロボットの上面図である。 ラグマットを有する環境内の自律クリーニングロボットの上面図である。 ラグマットを有する環境内の自律クリーニングロボットの上面図である。 ロボットの高度より低い高度を有する床面の部分に対して自律クリーニングロボットを操縦する方法のフローチャートである。 ロボットの高度より低い高度を有する床面の部分に接近する自律クリーニングロボットの側面図である。 障害物回避のために自律クリーニングロボットの感度を制御する方法のフローチャートである。 障害物回避のために自律クリーニングロボットの感度を制御するためのユーザインターフェースを提示するユーザコンピューティングデバイスの正面図である。 障害物回避のために自律クリーニングロボットの感度を制御するためのユーザインターフェースを提示するユーザコンピューティングデバイスの正面図である。 障害物回避のために自律クリーニングロボットの感度を制御するためのユーザインターフェースを提示するユーザコンピューティングデバイスの正面図である。 障害物回避のためのロボットの感度が制御される環境内の自律クリーニングロボットの上面図である。 物体ログを提示するユーザコンピューティングデバイスの正面図である。 自律クリーニングロボットの環境内で検出された物体の表現を提示するユーザコンピューティングデバイスの正面図である。 床面の隆起部に接近する自律クリーニングロボットの側面図である。
様々な図における同様の参照番号および記号は、同様の要素を示す。
自律モバイルロボットは、環境内の床面にわたって移動するように制御され得る。いくつかの実装形態では、ロボットは、ロボットの前方の床面の一部のイメージをロボットが捕捉することを可能にするカメラを装備され得る。本明細書で説明するように、このイメージは、単独でまたはロボットによって作成された他のセンサデータとの組合せで、マップの豊富で詳細なユーザ対面表現を生成するために使用され得、同じく、床面上の物体に対するロボットのナビゲートを制御するために使用され得る。
例示的な自律モバイルロボット
図1を参照すると、環境20、たとえば家庭の中の床面10の上の自律モバイルロボット、たとえば自律クリーニングロボット100は、環境20のイメージを捕捉するように構成された画像捕捉デバイス101を含む。特に、画像捕捉デバイス101は、ロボット100の前方部122の上に配置される。画像捕捉デバイス101の視野103は、ロボット100の前方の床面10の少なくとも一部をカバーする。画像捕捉デバイス101は、床面10の一部の上の物体のイメージを捕捉することができる。たとえば、図1に示すように、画像捕捉デバイス101は、床面10の上のラグ30の少なくとも一部を表すイメージを捕捉することができる。イメージは、環境20にわたってナビゲートするためにロボット100によって使用され得、特に、ロボット100がラグ30の上を移動するときに潜在的に引き起こされることがあるエラー状態をロボット100が回避するようにラグ30に対してナビゲートするために、ロボット100によって使用され得る。
図2および図3A~図3Bは、ロボット100の例である。図2を参照すると、ロボット100が床面10を横断するとき、ロボット100は、床面10からごみ屑105を収集する。ロボット100は、床面10を掃除するために、環境20(図1参照)の中で1つまたは複数のクリーニング任務を実行するために使用可能である。ユーザは、ロボット100にコマンドを与えて、クリーニング任務を開始することができる。たとえば、ユーザは、ロボット100に、スタートコマンドを受け付けるとクリーニング任務を開始させるスタートコマンドを与えることができる。別の例では、ユーザは、スケジュールに示されるスケジュール時間においてロボット100にクリーニング任務を開始させるスケジュールを与えることができる。スケジュールは、ロボット100がクリーニング任務を開始する複数のスケジュール時間を含むことができる。いくつかの実装形態では、単一のクリーニング任務の開始と終了との間に、ロボット100は、ロボット100を充電するため、たとえばロボット100のエネルギー貯蔵ユニットを充電するために、クリーニング任務を停止する場合がある。次いで、ロボット100は、ロボット100が十分に充電された後、クリーニング任務を再開することができる。ロボット100は、ドッキングステーションにおいてそれ自体を充電することができる。いくつかの実装形態では、ドッキングステーションは、ロボット100を充電することに加えて、ロボット100がドッキングステーションにドック入りしているとき、ロボット100からごみ屑を排出することができる。
図3Aを参照すると、ロボット100は、筐体基礎構造108を含む。筐体基礎構造108は、ロボット100の構造的周縁部を規定することができる。いくつかの例では、筐体基礎構造108は、シャシー、カバー、底板、およびバンパーアセンブリを含む。ロボット100は、ロボット100が家庭内の家具の下に適合することができるように、小さい外形を有する家事ロボットである。たとえば、床面に対するロボット100の高さH1(図2に示す)は、13センチメートル以内であり得る。ロボット100は、コンパクトでもある。ロボット100の全長L1(図2に示す)および全幅W1(図3Aに示す)は、それぞれ、30センチメートルと60センチメートルとの間、たとえば、30センチメートルと40センチメートル、40センチメートルと50センチメートル、または50センチメートルと60センチメートルとの間である。全幅W1は、ロボット100の筐体基礎構造108の幅に相当することができる。
ロボット100は、1つまたは複数の駆動車輪を含む駆動システム110を含む。駆動システム110は、電気回路106の部分を形成する電気駆動部を含む1つまたは複数の電気モータをさらに含む。筐体基礎構造108は、ロボット100の中に少なくとも1つのコントローラ109を含む電気回路106を支持する。
駆動システム110は、床面10にわたってロボット100を推進するように動作可能である。ロボット100は、前方駆動方向Fまたは後方駆動方向Rに推進され得る。ロボット100はまた、ロボット100が適所で向きを変えるか、または前方駆動方向Fもしくは後方駆動方向Rに移動しながら向きを変えるように推進され得る。図3Aに示す例では、ロボット100は、筐体基礎構造108の底部113を通して延びる駆動輪112を含む。駆動輪112は、床面10に沿ったロボット100の移動をもたらすために、モータ114によって回転される。ロボット100は、筐体基礎構造108の底部113を通して延びる受動キャスタ輪115をさらに含む。キャスタ輪115は駆動されない。駆動輪112とキャスタ輪115はともに、床面10の上に筐体基礎構造108を支持するために協働する。たとえば、キャスタ輪115は、筐体基礎構造108の後方部121に沿って配置され、駆動輪112は、キャスタ輪115の前方に配置される。
図3Bを参照すると、ロボット100は、実質的に長方形である前方部122と実質的に半円形である後方部121とを含む。前方部122は、側面150、152と、前面154と、角表面156、158とを含む。前方部122の角表面156、158は、側面150、152を前面154に接続する。
図2、図3Aおよび図3Bに示す例では、ロボット100は、床面10を掃除するように動作可能なクリーニングアセンブリ116(図3Aに示す)を含む自律モバイルクリーニングロボットである。たとえば、ロボット100は、クリーニングアセンブリ116が、床面10からごみ屑105(図2に示す)を取り込むことによって床面10を掃除するように動作可能であるバキュームクリーニングロボットである。クリーニングアセンブリ116は、ごみ屑がそれを通してロボット100によって収集されるクリーニング入口117を含む。クリーニング入口117は、ロボット100の中心、たとえば中心162の前方に、かつ前方部122の側面150と152との間のロボット100の前方部122に沿って配置される。
クリーニングアセンブリ116は、駆動システムによって駆動される1つまたは複数の回転可能部材、たとえばモータ120によって駆動される回転可能部材118を含む。回転可能部材118は、ロボット100の前方部122を横断して水平に延びる。回転可能部材118は、筐体基礎構造108の前方部122に沿って配置され、たとえばロボット100の全幅W1に相当する、筐体基礎構造108の前方部122の幅の75%~95%に沿って延びる。同じく図2を参照すると、クリーニング入口117は、回転可能部材118の間に配置される。
回転可能部材118は、ロボット100の底部上にあり、回転してごみ屑をロボット100の内部に、たとえばごみ屑ビン124(図2に示す)の中に案内するように構成される。図2に示すように、回転可能部材118は、互いに対して反対に回転するローラーである。たとえば、回転可能部材118は、床面10の上のごみ屑105をかくはんして、ごみ屑105をクリーニング入口117の方に、クリーニング入口117の中に、およびロボット100の中の吸引通路145(図2に示す)の中に案内するために、平行水平軸146、148(図3Aに示す)周りに回転可能であり得る。図3Aに戻って参照すると、回転可能部材118は、全体が、ロボット100の前方部122の中に配置され得る。回転可能部材118が筐体基礎構造108に対して回転するとき、回転可能部材118は、床面10の上のごみ屑105に接触して、ごみ屑105を回転可能部材118の間のクリーニング入口117を通してロボット100の内部、たとえばごみ屑ビン124(図2に示す)の中に案内するエラストマーシェルを含む。回転可能部材118は、床面10にさらに接触して、床面10の上のごみ屑105をかくはんする。
ロボット100は、回転可能部材118の間のクリーニング入口117を通ってごみ屑ビン124に入る気流を生成するように動作可能なバキュームシステム119をさらに含む。バキュームシステム119は、インペラと、インペラを回転させて気流を生成するためのモータとを含む。バキュームシステム119は、クリーニングアセンブリ116と協働して、ごみ屑105を床面10からごみ屑ビン124の中に引き入れる。場合によっては、バキュームシステム119によって生成された気流は、床面10の上のごみ屑105を回転可能部材118の間の隙間を通して引き上げてごみ屑ビン124に入れるのに十分な力を生成する。場合によっては、回転可能部材118は、床面10に接触して床面10の上のごみ屑105をかくはんし、それにより、バキュームシステム119によって生成された気流によってごみ屑105をより容易に取り込むことが可能になる。
ロボット100は、非水平軸、たとえば、床面10と75度から90度の間の角度を成す軸の周りに回転するブラシ126をさらに含む。たとえば、非水平軸は、回転可能部材118の縦軸と75度から90度の間の角度を成す。ロボット100は、ブラシ126を回転させるためにブラシ126に動作可能に接続されたモータ128を含む。
ブラシ126が、ロボット100の筐体基礎構造108の外縁部を超えて延びるように、ブラシ126は、ロボット100の前後軸FAから横方向にオフセットされた横ブラシである。たとえば、ブラシ126は、ロボット100の側面150、152のうちの1つを超えて延びることができ、それにより、回転可能部材118が一般的に到達できない床面10の部分、たとえばロボット100の直下の床面10の部分の外側の床面10の部分の上のごみ屑と係合することが可能であり得る。ブラシ126がまた、筐体基礎構造108の前面154を超えて延びるように、ブラシ126はまた、ロボット100の横軸LAから前方にオフセットされる。図3Aに示すように、ブラシ126は、筐体基礎構造108の側面150、角表面156、および前面154を超えて延びる。いくつかの実装形態では、ブラシ126が側面150を超えて延びる水平距離D1は、少なくとも、たとえば0.2センチメートル、たとえば、少なくとも0.25センチメートル、少なくとも0.3センチメートル、少なくとも0.4センチメートル、少なくとも0.5センチメートル、少なくとも1センチメートル、またはそれ以上である。ブラシ126が、床面10の上のごみ屑105と容易に係合することができるように、ブラシ126は、その回転中に床面10に接触するように配置される。
ブラシ126は、ロボット100が移動するときに床面10の上のごみ屑をクリーニングアセンブリ116のクリーニング経路に払い入れる方式で、非水平軸周りに回転可能である。たとえば、ロボット100が前方駆動方向Fに移動している例では、ブラシ126が接触するごみ屑が、クリーニングアセンブリの方にかつ前方駆動方向Fのクリーニングアセンブリ116の前の床面10の一部の方に移動するように、ブラシ126は、(ロボット100の上の視点から見るときに)時計方向に回転可能である。その結果、ロボット100は、前方駆動方向Fに移動するので、ロボット100のクリーニング入口117は、ブラシ126によって掃かれたごみ屑を収集することができる。ロボット100が、後方駆動方向Rに移動している例では、ブラシ126が接触するごみ屑が、後方駆動方向Rのクリーニングアセンブリ116の後ろの床面10の一部の方に移動するように、ブラシ126は、(ロボット100の上の視点から見るときに)反時計方向に回転可能である。その結果、ロボット100は、後方駆動方向Rに移動するので、ロボット100のクリーニング入口117は、ブラシ126によって掃かれたごみ屑を収集することができる。
電気回路106は、コントローラ109に加えて、たとえば、メモリ記憶素子144と、1つまたは複数の電気センサを有するセンサシステムとを含む。本明細書で説明するように、センサシステムは、ロボット100の現在のロケーションを示す信号を生成することができ、ロボット100が床面10に沿って進むときにロボット100のロケーションを示す信号を生成することができる。コントローラ109は、本明細書で説明するように、1つまたは複数の動作を実行するための命令を実行するように構成される。メモリ記憶素子144は、コントローラ109によってアクセス可能であり、筐体基礎構造108の中に配置される。1つまたは複数の電気センサは、ロボット100の環境20の中の特徴物を検出するように構成される。たとえば、図3Aを参照すると、センサシステムは、筐体基礎構造108の底部113に沿って配置された崖センサ134を含む。崖センサ134の各々は、床面10など、光センサの下の物体の存在または不在を検出することができる光センサである。したがって、崖センサ134は、崖センサ134が配置されたロボット100の傾斜(drop-off)および崖などの障害物を検出し、それに応じてロボットを方向転換することができる。
ロボット100は、ワイヤレストランシーバ149(図3Aに示す)をさらに含むことができる。ワイヤレストランシーバ149は、ロボット100が、通信ネットワーク(たとえば、図5に関して本明細書で説明した通信ネットワーク185)とデータをワイヤレス通信することを可能にする。ロボット100は、ワイヤレストランシーバ149を使用してデータを受信または送信することができ、たとえば、マップを表現するデータを受け付けて、ロボット100によって収集されたマッピングデータを表現するデータを送信することができる。
図3Bを参照すると、センサシステムは、ロボット100付近にある床面10に沿って物体を検出することができる1つまたは複数の近接センサを含む。たとえば、センサシステムは、筐体基礎構造108の前面154近傍に配置された近接センサ136a、136bを含むことができる。近接センサ136a、136bの各々は、筐体基礎構造108の前面154から外に向き、光センサの前の物体の存在または不在を検出することができる、光センサを含む。たとえば、検出可能物体には、ロボット100の環境20の中の家具、壁、人、および他の物体などの障害物が含まれる。
センサシステムは、バンパー138と、バンパー138と環境20の中の障害物との間の接触を検出する1つまたは複数の衝突センサとを含むバンパーシステムを含む。バンパー138は、筐体基礎構造108の一部を形成する。たとえば、バンパー138は、側面150、152だけでなく前面154も形成することができる。たとえば、センサシステムは、衝突センサ139a、139bを含むことができる。衝突センサ139a、139bは、ロボット100、たとえばバンパー138と環境20の中の物体との間の接触を検出することができるブレーキビームセンサ、容量センサ、または他のセンサを含むことができる。いくつかの実装形態では、衝突センサ139aは、ロボット100の前後軸FA(図3Aに示す)に沿ったバンパー138の動きを検出するために使用され得、衝突センサ139bは、ロボット100の横軸LA(図3Aに示す)に沿ったバンパー138の動きを検出するために使用され得る。近接センサ136a、136bは、ロボット100が物体に接触する前に物体を検出することができ、衝突センサ139a、139bは、たとえばロボット100が物体に接触することに応答して、バンパー138に接触する物体を検出することができる。
センサシステムは、1つまたは複数の障害物監視センサを含む。たとえば、ロボット100は、側面150に沿った障害物監視センサ141を含むことができる。障害物監視センサ141は、筐体基礎構造108の側面150から外に向き、筐体基礎構造108の側面150に隣接する物体の存在または不在を検出することができる、光センサを含む。障害物監視センサ141は、ロボット100の前方駆動方向Fに対して直角でかつロボット100の側面150に直角の方向に光ビームを水平に放射することができる。たとえば、検出可能物体には、ロボット100の環境20の中の家具、壁、人、および他の物体などの障害物が含まれる。いくつかの実装形態では、センサシステムは、側面152に沿った障害物監視センサを含むことができ、障害物監視センサは、側面152に隣接する物体の存在または不在を検出することができる。側面150に沿った障害物監視センサ141は、右障害物監視センサであり、側面152に沿った障害物監視センサは、左障害物監視センサである。障害物監視センサ141を含む1つまたは複数の障害物監視センサは、たとえば本明細書で説明する近接センサと同様の障害物回避センサとしての役目も果たすこともできる。この関連で、左障害物監視センサは、ロボット100の左に対する物体、たとえば障害物の表面とロボット100との間の距離を決定するために使用され得、右障害物監視センサは、ロボット100の右に対する物体、たとえば障害物の表面とロボット100との間の距離を決定するために使用され得る。
いくつかの実装形態では、近接センサ136a、136bおよび障害物監視センサ141のうちの少なくともいくつかは、それぞれ、光エミッタと光ディテクタとを含む。光エミッタは、ロボット100から外に、たとえば水平方向に外に光ビームを放射し、光ディテクタは、ロボット100付近の物体に反射する光ビームの反射を検出する。たとえば、コントローラ109を使用するロボット100は、光ビームの飛行時間を決定し、それにより、光ディテクタと物体との間の距離、それゆえロボット100と物体との間の距離を決定することができる。
センサシステムは、画像捕捉デバイス140、たとえば、筐体基礎構造108の上部142の方に向けられたカメラをさらに含む。画像捕捉デバイス140は、ロボット100が床面10にわたって移動するときに、ロボット100の環境20のデジタルイメージを生成する。画像捕捉デバイス140は、ロボット100がナビゲートする床面10から上方向に、たとえば30度から80度の間の角度で傾けられる。カメラは、上方に傾けられると、環境20の壁面の画像を捕捉することができ、それにより、壁面上の物体に対応する特徴物が、位置特定に使用され得る。
コントローラ109がロボット100に任務を実行させるとき、コントローラ109は、モータ114を動作させ、駆動輪112を駆動してロボット100を床面10に沿って推進させる。加えて、コントローラ109は、モータ120を動作させて回転可能部材118を回転させ、モータ128を動作させてブラシ126を回転させ、バキュームシステム119のモータを動作させて気流を生成する。様々なナビゲート行動およびクリーニング行動をロボット100に実行させるために、コントローラ109は、ロボット100の様々なモータを動作させることによってロボット100に実行させるための、メモリ記憶素子144上に記憶されたソフトウェアを実行する。コントローラ109は、ロボット100の様々なモータを動作させて、ロボット100に行動を実行させる。
センサシステムは、ロボット100が進んだ距離を追跡するためのセンサをさらに含むことができる。たとえば、センサシステムは、駆動輪112のためのモータ114と関連づけられたエンコーダを含むことができ、これらのエンコーダは、ロボット100が進んだ距離を追跡することができる。いくつかの実装形態では、センサシステムは、床面に向けた下向きの光センサを含む。光センサは、光学マウスセンサであり得る。たとえば、光センサは、ロボット100の底面を通って床面10の方に光を案内するように配置され得る。光センサは、光の反射を検出することができ、ロボット100が床面10に沿って進むときに、床の特徴の変化に基づいてロボット100が進んだ距離を検出することができる。
コントローラ109は、センサシステムのセンサによって収集されたデータを使用して、任務の間のロボット100のナビゲート行動を制御する。たとえば、コントローラ109は、ロボット100の障害物回避センサ、たとえば崖センサ134、近接センサ136a、136b、および衝突センサ139a、139bによって収集されたセンサデータを使用して、任務の間にロボット100の環境20の中の障害物をロボット100が回避することを可能にする。
センサデータは、コントローラ109が、センサデータによって表される環境20の特徴物を抽出して環境20の床面10のマップを構築する、位置特定とマッピングの同時実行(SLAM:simultaneous localization and mapping)技法のために、コントローラ109によって使用され得る。画像捕捉デバイス140によって収集されたセンサデータは、コントローラ109が、環境20の中の物体に対応する視覚的特徴を抽出し、これらの視覚的特徴を使用してマップを構築する、ビジョンベースSLAM(VSLAM)などの技法のために使用され得る。コントローラ109が任務の間に床面10にわたってロボット100を案内するとき、コントローラ109は、SLAM技法を使用して、収集されたセンサデータの中で表される特徴を検出し、その特徴を前に記憶されている特徴と比較することによって、マップの中のロボット100のロケーションを決定する。センサデータから形成されたマップは、環境20の中の横断可能空間および横断不可能空間のロケーションを示すことができる。たとえば、障害物のロケーションは、横断不可能空間としてマップ上に示され、開かれた床空間のロケーションは、横断可能空間としてマップ上に示される。
センサのうちのいずれかによって収集されたセンサデータは、メモリ記憶素子144の中に記憶され得る。加えて、マップを形成するマッピングデータを含む、SLAM技法のために生成された他のデータは、メモリ記憶素子144の中に記憶され得る。任務の間に作成されたこれらのデータは、任務の間に作成され、さらなる任務の間に使用可能な永続的データを含むことができる。たとえば、任務は第1の任務であってよく、さらなる任務は、第1の任務の後に生じる第2の任務であってよい。ロボット100にその行動を実行させるためのソフトウェアを記憶することに加えて、メモリ記憶素子144は、センサデータ、または1つの任務から別の任務へのコントローラ109によるアクセスのためにセンサデータを処理することでもたらされるデータを記憶する。たとえば、マップは、ロボット100を床面10にわたってナビゲートするために、ロボット100のコントローラ109によって1つの任務から別の任務に使用可能でかつ更新可能である永続的マップである。
永続的マップを含む永続的データは、ロボット100が床面10を効率的に掃除することを可能にする。たとえば、永続的マップは、コントローラ109がロボット100を、開かれた床空間の方に案内して横断不可能空間を回避することを可能にする。加えて、後続の任務に対して、コントローラ109は、永続的マップを使用して環境20を通してロボット100のナビゲートを計画して、任務の間に取られる経路を最適化することができる。
センサシステムは、環境20の床面10の上のごみ屑を検出することができるごみ屑検出センサ147をさらに含むことができる。ごみ屑検出センサ147は、環境20の中の床面10の他の部分より汚い、環境20の中の床面10の部分を検出するために使用され得る。いくつかの実装形態では、ごみ屑検出センサ147(図2に示す)は、吸引通路145を通過するごみ屑の量またはごみ屑の割合を検出することができる。ごみ屑検出センサ147は、ごみ屑が吸引通路145を通過するときにごみ屑を検出するように構成された光センサであり得る。代替的に、ごみ屑検出センサ147は、ごみ屑が吸引通路145の壁に衝突するときにごみ屑を検出する圧電センサであり得る。いくつかの実装形態では、ごみ屑検出センサ147は、ごみ屑がロボット100によって吸引通路145の中に取り込まれる前にごみ屑を検出する。ごみ屑検出センサ147は、たとえば、ロボット100の前方の床面10の一部の画像を捕捉する画像捕捉デバイスであり得る。次いで、コントローラ109は、これらの画像を使用して床面10のこの部分の上のごみ屑の存在を検出することができる。
センサシステムは、画像捕捉デバイス101(図3Bに示す)をさらに含むことができる。いくつかの実装形態では、センサシステムは、画像捕捉デバイス101に対応する単一の画像捕捉デバイスを含む。言い換えれば、いくつかの実装形態では、センサシステムは、画像捕捉デバイス140を含まないが、画像捕捉デバイス101を含む。センサシステムが、画像捕捉デバイス101に対応する単一の画像捕捉デバイスを含む実装形態では、画像捕捉デバイス101によって捕捉されたイメージは、画像捕捉デバイス140に関して説明される機能に対しても使用され得る。たとえば、画像捕捉デバイス101は、壁面上の物体に対応する特徴物が位置特定に使用され得るように、環境20の壁面の画像を捕捉することができる。
画像捕捉デバイス101は、ロボット100の前方部122の上に配置され、ロボット100の前方の床面10の少なくとも一部のイメージを捕捉するように向けられる。特に、画像捕捉デバイス101は、ロボット100の前方方向F(図3Aに示す)に向けられ得る。画像捕捉デバイス101は、たとえば、カメラまたは光センサであり得る。図4を参照すると、画像捕捉デバイス101の視野103は、横方向および垂直方向に延びる。視野103の中心160は、たとえば、水平線の上または床面10の上5度~45度、たとえば、水平線の上または床面10の上10度から30度、10度から40度、15度から35度、または20度から30度の間であり得る。視野103の水平視野角は、90度から150度の間、たとえば、100度から140度、110度から130度、または115度から125度の間であり得る。視野103の垂直視野角は、60度から120度の間、たとえば、70度から110度、80度から100度、85度から95度の間であり得る。イメージは、床面10の部分だけでなく、床面10の上の環境20の他の部分も表すことができる。たとえば、イメージは、床面10の上の環境20の中の壁面の部分と障害物とを表すことができる。本明細書で説明するように、画像捕捉デバイス101は、環境20のマップの表現を作成するため、およびロボット100の障害物周りのナビゲートを制御するためのイメージを生成することができる。
例示的な通信ネットワーク
図5を参照すると、例示的な通信ネットワーク185が示される。通信ネットワーク185のノードには、ロボット100、モバイルデバイス188、自律モバイルロボット190、およびクラウドコンピューティングシステム192が含まれる。通信ネットワーク185を使用して、ロボット100、モバイルデバイス188、ロボット190、およびクラウドコンピューティングシステム192は、互いに通信して、データを互いに送信してデータを互いに受け付けることができる。いくつかの実装形態では、ロボット100、ロボット190、またはロボット100とロボット190の両方は、クラウドコンピューティングシステム192を介してモバイルデバイス188と通信する。代替または追加として、ロボット100、ロボット190、またはロボット100とロボット190の両方は、モバイルデバイス188と直接通信する。様々なタイプおよび組合せのワイヤレスネットワーク(たとえば、ブルートゥース(登録商標)、無線周波数、光ベースなど)およびネットワークアーキテクチャ(たとえば、メッシュネットワーク)が、通信ネットワーク185によって採用され得る。
いくつかの実装形態では、図5に示すモバイルデバイス188は、クラウドコンピューティングシステム192にリンクされ得、モバイルデバイス188の上の入力をユーザに提供することを可能にし得るリモートデバイスである。モバイルデバイス188は、たとえば、タッチスクリーンディスプレイ、ボタン、マイクロフォン、マウス、キーボード、またはユーザによって与えられる入力に応答する他のデバイスのうちの1つまたは複数などのユーザ入力要素を含むことができる。代替または追加として、モバイルデバイス188は、ユーザがそれを用いてユーザ入力を与えるように対話する没入型メディア(たとえば、仮想現実)を含む。これらの場合、モバイルデバイス188は、たとえば、仮想現実ヘッドセットまたはヘッドマウントディスプレイである。ユーザは、モバイルロボット100に対するコマンドに対応する入力を与えることができる。そのような場合には、モバイルデバイス188は、クラウドコンピューティングシステム192に信号を送信して、クラウドコンピューティングシステム192に、モバイルロボット100へのコマンド信号を送信させる。いくつかの実装形態では、モバイルデバイス188は、拡張現実画像を提示することができる。いくつかの実装形態では、モバイルデバイス188は、スマートフォン、ラップトップコンピュータ、タブレットコンピューティングデバイス、または他のモバイルデバイスである。
いくつかの実装形態では、通信ネットワーク185は、追加のノードを含むことができる。たとえば、通信ネットワーク185のノードは、追加のロボットを含むことができる。代替または追加として、通信ネットワーク185のノードは、ネットワーク接続デバイスを含むことができる。いくつかの実装形態では、ネットワーク接続デバイスは、環境20についての情報を生成することができる。ネットワーク接続デバイスは、環境20の中の特徴物を検出するために、音響センサ、画像捕捉システム、または特徴物が抽出され得る信号を生成する他のセンサなど、1つまたは複数のセンサを含むことができる。ネットワーク接続デバイスは、家庭用カメラ、スマートセンサなどを含むことができる。
図5に示す通信ネットワーク185および通信ネットワーク185の他の実装形態では、ワイヤレスリンクは、たとえば、ブルートゥース(登録商標)クラス、Wi-Fi、BLE、802.15.4としても知られるブルートゥース(登録商標)低エネルギー(Bluetooth-low-energy)、マイクロ波アクセス世界的相互運用(WiMAX:Worldwide Interoperability for Microwave Access)、赤外チャネルまたは衛星帯域など、様々な通信方式、プロトコルなどを利用し得る。場合によっては、ワイヤレスリンクは、限定はしないが、1G、2G、3G、または4Gとして適格化する規格を含む、モバイルデバイス間で通信するために使用される任意のセルラーネットワーク規格を含む。ネットワーク規格は、利用される場合、たとえば、国際電気通信連合によって維持される仕様などの仕様または規格を満たすことによって、1つまたは複数の世代のモバイル電気通信規格(mobile telecommunication standard)として適格化される。3G規格は、利用される場合、たとえば、国際モバイル通信2000(IMT-2000:International Mobile Telecommunications-2000)仕様に対応し、4G規格は、国際モバイル通信アドバンスト(IMT-Advanced:International Mobile Telecommunications Advanced)仕様に対応し得る。セルラーネットワーク規格の例には、AMPS、GSM、GPRS、UMTS、LTE、LTEアドバンスト、モバイルワイマックス(Mobile WiMAX)、およびワイマックスアドバンスト(WiMAX-Advanced)が含まれる。セルラーネットワーク規格は、様々なチャネルアクセス方法、たとえばFDMA、TDMA、CDMA、またはSDMAを使用し得る。
例示的な方法
例示的な方法が以下で説明される。これらの方法は、マップのユーザ対面表現を作成するため、および環境の中で自律モバイルロボットをナビゲートさせるために使用され得る。これらの方法は、自律モバイルロボットの前向きの画像捕捉デバイス、たとえばロボット100の画像捕捉デバイス101によって生成されたイメージを使用することができる。
ロボット100は、本明細書で説明するプロセスに従っていくつかの方法で制御され得る。これらのプロセスのいくつかの動作は、ロボット100によって、ユーザによって、コンピューティングデバイスによって、または別の当事者によって実行されるように説明され得るが、いくつかの実装形態では、これらの動作は、説明された当事者以外の当事者によって実行され得る。たとえば、いくつかの実装形態では、ロボット100によって実行される動作は、クラウドコンピューティングシステム192によってまたは別のコンピューティングデバイス(または複数のデバイス)によって実行され得る。他の例では、ユーザによって実行される動作は、コンピューティングデバイスによって実行され得る。いくつかの実装形態では、クラウドコンピューティングシステム192は、動作を実行しない。そうではなく、他のコンピューティングデバイスが、クラウドコンピューティングシステム192によって実行されるとして説明された動作を実行し、これらのコンピューティングデバイスは、互いにおよびロボット100と直接的(または間接的)に通信することができる。また、いくつかの実装形態では、ロボット100は、ロボット100によって実行されるとして説明された動作に加えて、クラウドコンピューティングシステム192またはモバイルデバイス188によって実行されるとして説明された動作を実行することができる。他の変更形態が可能である。さらに、本明細書で説明する方法、プロセス、および動作は、いくつかの動作またはサブ動作を含むとして説明されるが、他の実装形態では、これらの動作またはサブ動作のうちの1つまたは複数は省略されてよく、あるいは追加の動作またはサブ動作が追加されてもよい。
図6を参照すると、方法600は、環境、たとえば環境20のマップの表現をユーザ動作可能デバイス上に提示するため、およびマップに基づいて自律モバイルロボット、たとえばロボット100をナビゲートするために使用される。方法600は、ステップ602、604、606、608、610、612を含むことができる。方法600およびそのステップは、図7Aに示すロボット700に関して説明される。ロボット700は、ロボット100と同様の自律クリーニングロボットであるが、他の実装形態では、本明細書で説明する他のロボットが使用されてもよい。ロボット700の環境702のマップの表現は、環境702の床面704のステッチ画像表現を含むことができ、ステッチ画像表現は、ロボット700の画像捕捉デバイス(たとえば、ロボット100に関連して説明した画像捕捉デバイス101と同様)によって捕捉されたイメージによって生成される。
ステップ602において、ロボット700は、床面704のイメージを、たとえば画像捕捉デバイスを使用して捕捉しながら、床面704にわたってナビゲートする。本明細書で説明するように、画像捕捉デバイスによって捕捉されたイメージは、床面704の少なくとも一部を表すことができる。本明細書で説明するように、ロボット700は、ロボット700の画像捕捉デバイスからのイメージを含む、ロボット700のセンサシステムによって提供されるセンサデータを使用してナビゲートすることができる。ロボット700は、クリーニング任務の間に床面704にわたってナビゲートすることができる。たとえば、ロボット700は、ロボット700のバキュームシステムを動作させて環境702の床面の上のごみ屑をバキュームするためのバキューム任務を実行することができる。
ステップ604において、ロボット700は、その画像捕捉デバイスによって捕捉されたイメージを、たとえば図5に関連して説明したクラウドコンピューティングシステム192と同様のクラウドコンピューティングシステム650に送信する。イメージは、ロボット100によって実行される任務の間に送信され得る。代替的に、イメージは、任務の終了時に送信され得る。ステップ606において、クラウドコンピューティングシステム650は、ロボット100からイメージを受け付ける。
ステップ608において、床面704のステッチ画像表現が、ロボット700から取得されたイメージに基づいて作成される。ステッチ画像表現は、ロボット700の画像捕捉デバイスによって捕捉されたイメージから作成され、床面704に平行な視線方向を有するように編成された床面704の上面図に対応する。本明細書で説明するように、ロボット100の画像捕捉デバイス101(ロボット700の画像捕捉デバイスと同様)は、水平に向けられる。その結果、画像捕捉デバイス101によって捕捉されたイメージは、床面10の、横からおよび上からの斜視図を表す。いくつかの実装形態では、床面704のステッチ画像表現は、ロボット700によって作成される。場合によっては、クラウドコンピューティングシステム650は、ステッチ画像表現のコピーを記憶して、モバイルデバイス652とロボット700との間の通信チャネルを提供する役目を果たすことができる。
床面の斜視図を表す画像は、ともにステッチされて床面の上面図を形成することができる。図7Aに示す例を参照すると、いくつかの実装形態では、ロボット700の画像捕捉デバイスが床面704のイメージを捕捉する角度に起因して、画像捕捉デバイスによって捕捉された画像の一部のみが、床面704の上面図を形成するために使用され得る。画像捕捉デバイスによって捕捉された複数の画像は、ともにステッチされて環境702の中の床面704の上面図を形成することができる。画像は、床面704の様々な部分の斜視図を表すことができ、床面704のより大きい部分の上面図表現を形成するために組み合わされ得る。たとえば、第1の画像は、床面704の第1の部分の斜視図を表すことができ、第2の画像は、床面704の第2の部分の斜視図を表すことができる。第1および第2の画像の中に表される床面704の部分は、重複することができる。たとえば、床面704の第1の部分および床面704の第2の部分は、それぞれ、床面704の同じ部分を含むことができる。
ロボット700の画像捕捉デバイスは前方方向に向けられ、床面704の斜視図を有するので、画像捕捉デバイスによって作成されるイメージは、ロボット100の前の位置から、ロボット100の前の壁705など、画像捕捉デバイスの視界を塞ぐ障害物まで延びる、環境702の中の床面704の部分706の斜視図を表すことができる。この関連で、本明細書で説明するように、画像捕捉デバイスは、ロボット700の前方の物体および特徴物を検出することができる。
1つの画像の中に表される床面704の部分706は、ロボット700の画像捕捉デバイスの斜視図に起因して大きくなり得るが、画像のより小さい部分のみが、床面704の上面図を形成するために使用可能である。図7Bは、環境702の中でロボット700によって捕捉された画像720の一例を示す。画像720は、床面704だけでなく、環境702(図7Aに示す)の中のテーブル709、椅子710、およびラグ712も表す。画像720は、床面704の部分706を表す。画像720は、環境20の最初に捕捉された画像であり得る。この関連で、画像720は、広い視野を有する画像捕捉デバイスによって変形され得る。図7Cは、画像の中の変形を低減するために後処理技法を介して画像720から作成された画像730の一例を示す。画像730は、環境702の変形のない図を提示する。画像730は、床面704のステッチ画像表現を形成するために使用され得る。画像730の部分732のみが、このステッチ画像表現を形成するために使用可能である。使用可能な部分732は、ロボット100の前の床面704(図7Aに示す)の部分706に相当する。さらに、使用可能な部分732は、使用可能な部分732を形成するために処理される画像720の部分722に相当する。画像720の部分は薄くてよく、たとえば、3センチメートル、2センチメートル、1センチメートル、1ミリメートル、またはそれ未満でよい。画像720の部分は、数ピクセル、たとえば、10ピクセル、8ピクセル、6ピクセル、4ピクセル、2ピクセル、またはそれ未満のピクセルの幅を有することができる。画像捕捉デバイス101が環境20の中で向けられる、たとえば床面10に平行な軸に沿って向けられる角度に起因して、画像720およびそれゆえ処理された画像730は、床面704の斜視図を提供する。画像720および画像730の一部、すなわちステッチ画像表現のために使用可能な部分732および使用可能な部分722のみを使用することによって、ステッチ画像表現は、床面704の上面図の表現であり得る。図7Aに戻って参照すると、ロボット700が床面704に沿って進むとき、ロボット700は、部分706および部分714、716、718を含む、床面704の様々な部分のイメージを捕捉する。これらの部分、706、714、716、718を表す画像は、ともに接続されて床面704の上面図のステッチ画像表現を形成することができる。
図6に戻って参照すると、床面704のステッチ画像表現が、イメージに基づいて作成されるステップ608の後、ステップ610において、ステッチ画像表現は、ロボット700をナビゲートさせるため、または床面704の表現をユーザに提示するために使用され得る。たとえば、ステップ610において、ロボット700は、ステッチ画像表現に基づいて床面704にわたって操縦する。ステッチ画像表現は、ロボット700が床面704にわたって移動するときにロボット700によって収集されたセンサデータと組み合わせて使用され得る。
ロボット700がステッチ画像表現を使用して床面704にわたってナビゲートするいくつかの例では、ロボット700は、床面704の上の障害物および物体のロケーションを決定するためにステッチ画像表現を使用することができる。たとえば、ロボット700は、壁705、テーブル707、椅子710、およびラグ712のロケーションを決定するためにステッチ画像表現を使用することができる。これらの物体のロケーションに基づいて、ロボット700は、ナビゲート行動を選択してこれらの物体に対してナビゲートすることができる。
図8Aの例を参照すると、自律クリーニングロボット800は、環境802にわたって移動する。環境802は、複数の床面タイプを含む。たとえば、床面804は、第1の床タイプを有する部分806と、第2の床タイプを有する部分808と、第3の床タイプを有する部分810と、第4の床タイプを有する部分812と、第3の床タイプを有する部分814と、第5の床タイプを有する部分816とを含む。図8Aに示す例では、第1の床タイプはハードウッド床であり、第2の床タイプはラグ面であり、第3の床タイプはカーペット面であり、第4の床タイプはタイル面であり、第5の床タイプはラグ面である。他の実装形態では、床タイプは変わることがある。
ステッチ画像表現は、図6に関して説明した例に従って形成され得る。たとえば、ロボット800は、ロボット700と同様であり、ステッチ画像表現を形成するために使用可能なイメージを捕捉することができる。図8Bは、ロボット800によって捕捉されたイメージを使用して形成され得るステッチ画像表現818の一例を示す。ステッチ画像表現818は、モバイルデバイス820(たとえば、本明細書で説明するモバイルデバイス652と同様)の上に提示され得る。ステッチ画像表現818は、環境802の様々な部分の床面タイプを示す情報を含む。本明細書で説明するように、ステッチ画像表現818の中の情報は、処理された、ロボット800によって捕捉されたイメージに対応することができる。代替または追加として、ステッチ画像表現818は、床面を表すコンピュータ生成画像を含むことができる。環境802の中の床面タイプを示す情報は、ステッチ画像表現818が描写しているものをユーザが判定するための基準点としての役目を果たすことができる。たとえば、ユーザは、床面タイプを使用して、環境802の中の様々な部屋の間を区別することができ、したがって、ステッチ画像表現818に重ねられたロボット800のロケーションのインジケータ822のロケーションに基づいて、環境802の中のロボット800のロケーションを容易に決定することができる。
他の物体が、ステッチ画像表現から識別され得る。ラグマットに対する自律クリーニングロボットのナビゲートの例が、少なくとも図9および図10A~図10Cに関して本明細書で説明される。さらなる例では、たとえば、ロボット700の障害物回避行動を引き起こす障害物は、コード、椅子、寝台、およびデスクを含むことができる。物体には、床面10の上のごみ屑がさらに含まれ得る。たとえば、イメージは、床面10の部分の上を操縦することによってロボット700によって掃除され得る、床面10の一部の上のごみ屑を表すことができる。
いくつかの実装形態では、ステッチ画像表現は、環境702の中で動作される他の自律モバイルロボットに送信され得る。他の自律モバイルロボットは、環境702にわたってナビゲートするためにステッチ画像表現を使用することができる。いくつかの実装形態では、ステッチ画像表現は、これらの他の自律モバイルロボットによって収集されたセンサデータと組み合わせて使用され得る。これらの他の自律モバイルロボットは、1つまたは複数の自律クリーニングロボット、たとえばバキュームクリーニングロボット、モップ掛けロボット、または他の自律クリーニングロボットを含むことができる。いくつかの実装形態では、ステッチ画像表現の中に表される物体は、ロボット700に対する障害物に相当し得るが、別の自律クリーニングロボットによって掃除可能なごみ屑に相当することがある。たとえば、ロボット700がバキュームクリーニングロボットであり、環境702の中で動作している別の自律クリーニングロボットがモップ掛けクリーニングロボットである場合、環境702の中の水たまりは、ロボット700に対して障害物に相当し得、かつ他の自律クリーニングロボットに対して掃除可能なごみ屑に相当し得る。他の自律モバイルロボットが可能である。たとえば、自律モバイルロボットは、1つまたは複数の自律パトロールロボットを含むことができる。
いくつかの実装形態では、ステップ612において、床面704のステッチ画像表現の表現が、ユーザに提示される。たとえば、モバイルデバイス188と同様のモバイルデバイス652は、ステッチ画像表現の表現を提示し、それにより、ユーザに床面704の上面図表現を提供することができる。上面図表現は、ステッチ画像表現に対応することができ、床面704を表すイメージの部分を介して床タイプを示すことができる。代替的に、床タイプは、ステッチ画像表現から識別され得、モバイルデバイス652は、これらの床タイプに基づいてインジケータ(たとえば、画像/テクスチャ/背景)を提示することができる。いくつかの実装形態では、プライバシのために、モバイルデバイス652上に提示される表現は、床タイプを示すために識別された床タイプを示すストック画像またはコンピュータ生成画像を含むことができる。
床面704のステッチ画像表現は、環境20の中の他の物体および特徴物の表現とともに提示され得る。たとえば、本明細書で説明するように、床面704の上の障害物のインジケータが、床面704のステッチ画像表現の上に重ねられ得る。たとえば、図7Aの例に戻って簡単に参照すると、モバイルデバイス652は、テーブル709、椅子710、およびラグ712のインジケータを提示することができる。ロボット700によって捕捉されたイメージは、水平に向けられたカメラを使用して捕捉されるので、イメージは、環境20の中の壁の部分を表すこともできる。図7Aの例に戻って簡単に参照すると、モバイルデバイス652は、壁705と、窓、絵画、写真、および壁705の上の他の物体など、壁705の上の物体とのインジケータを提示することができる。ユーザは、モバイルデバイス652と対話して、環境20の様々なビュー間で切り替えることができる。たとえば、ステッチ画像表現は、床面704の上面図表現を示すように提示され得る。ユーザは、モバイルデバイス652と対話して、モバイルデバイス652が環境20の中の壁の表現を提示する、環境20の側面図に切り替えることができる。側面図はまた、ロボット700の画像捕捉デバイス101によって捕捉されたイメージを使用して作成され得る。これらの様々なビューは、床面704の上面図表現だけでなく環境20の側面図表現も含むことができ、これらの表示は、環境20の3次元表現を提示するために組み合わされ得る。この3次元表現は、床面704(水平面)と環境の中の壁(垂直面)の両方を表すことができる。この表現は、環境20の中の様々なロケーションにおいてロボット700によって捕捉された複数の画像から形成され得る。これらの画像は、それらが環境20の中の様々なロケーションにおいて捕捉されるので、環境20の部分の立体図を提供することができる。
本明細書で説明するこれらの画像の中に表される物体および障害物は、この3次元表現の上に重ねられ、それにより、環境20の中の扉および窓の配置を正確に描写することができる。代替または追加として、機械学習技法は、ロボット700によって捕捉された単一の画像の中に現れる、物体のロボット700からの距離を検出するために使用され得る。これらの距離に基づいて、3次元表現が生成されて、モバイルデバイス652の上でユーザに提示され得る。
図9を参照すると、方法900が、環境の中のラグマットに対してロボットをナビゲートするために、自律モバイルロボット、たとえばロボット100によって実行される。方法900は、ステップ902、904、および906を含むことができる。方法900およびそのステップは、図10A~図10Cに示すロボット1000に関して説明される。ロボット1000は、ロボット100と同様の自律クリーニングロボットであるが、他の実装形態では、他のロボットが使用されてもよい。
ステップ902において、同じく図10Aを参照すると、ロボット1000は、たとえば本明細書で説明したロボット100の画像捕捉デバイス101と同様の、ロボット1000の画像捕捉デバイスを使用して床面1004のイメージを捕捉しながら、環境1002の床面1004にわたってナビゲートする。画像捕捉デバイスによって捕捉されたイメージは、床面1004の少なくとも一部を表すことができる。本明細書で説明するように、ロボット1000は、ロボット1000の画像捕捉デバイスからのイメージを含む、ロボット1000のセンサシステムによって提供されるセンサデータを使用してナビゲートすることができる。ロボット1000は、クリーニング任務の間に床面1004にわたってナビゲートすることができる。たとえば、ロボット1000は、ロボットのバキュームシステムを動作させて環境1002の床面の上のごみ屑をバキュームするために、バキューム任務を実行することができる。
ステップ904において、ロボット1000は、画像捕捉デバイスによって捕捉されたイメージに基づいて、床面1004の一部の上のラグ1006を検出する。ロボット1000は、ラグ1006の上を移動する前にラグ1006を検出することができる。水平に向けられた画像捕捉デバイスを使用することによって、ロボット1000は、ロボット1000の前方の物体および特徴物を検出することができ、特にラグ1006を検出することができる。
ステップ906において、ラグ1006を検出した後、ロボット1000は、画像捕捉デバイスによって捕捉されたイメージに基づいて選択された経路1008に沿ってラグ1006の上へと操縦する。経路1008は、ロボット1000がラグ1006から離れたところからラグ1006の上に移動するとき、ロボット1000がエラー状態に遭遇する尤度を低減するように選択され得る。ロボット1000によって捕捉されたイメージは、エラー状態の尤度を低減するように経路1008を識別するために分析され得る。イメージは、図6に関して説明したステッチ画像表現が作成される方法と同様に作成されたステッチ画像表現を形成するために、ともにステッチされた複数の画像を含むことができる。経路1008は、ステッチ画像表現に基づいて決定され得る。代替または追加として、経路1008は、ステッチ画像表現の中に形成されないイメージの部分を含む、ロボット1000によって捕捉されたイメージに基づいて決定され得る。経路1008を選択するためにロボット1000によって使用されるイメージは、ロボット1000によって捕捉された複数の画像を含むことができる。イメージまたはステッチ画像表現は、ラグ1006の角部1010および/またはタッセル1012のロケーションを示すことができる。イメージまたはステッチ画像表現は、ロボット1000に対するラグ1006のロケーションを示すこともでき、ラグ1006の形状、またはラグ1006の他の形状が決定され得る。経路1008は、ロボット1000が角部1010の上を移動すること、またはタッセル1012の上を移動することを回避するように選択され得る。
エラー状態は、ロボット1000の可動構成要素が、たとえば可動構成要素の中に引き込まれた物体によって動くことができなくなる、ロボット1000の構成要素の停滞状態であり得る。エラー状態は、たとえば、ロボット1000の回転可能部材(たとえば、ロボット100の回転可能部材118のうちの1つと同様)の停滞状態、ロボット1000の駆動輪(たとえば、ロボット100の駆動輪112のうちの1つと同様)に対する停滞状態、またはロボット1000のキャスタ輪(たとえば、ロボット100のキャスタ輪115と同様)に対する停滞状態であり得る。ロボット1000の可動構成要素に対する停滞状態は、ロボット1000がラグ1006から離れたところからラグ1006の上に移動するときに、ラグ1006の一部が可動構成要素の動きを妨げる場合に発生することがある。たとえば、ラグ1006のいくつかの形状が、ロボット1000の回転可能部材、駆動輪、またはキャスタ輪の中に引き込まれることがある。図10Aに示す例では、ラグ1006の角部1010のうちの1つが、ロボット1000の回転可能部材、駆動輪、またはキャスタ輪の中に引き込まれることがある。加えて、ラグ1006のタッセル1012が、これらの構成要素のうちの1つの中に引き込まれることがある。
角部1010がエラー状態を生じるのを回避するために、ラグ1006の上への経路1008は、ロボット1000が角部1010の上を移動するのを回避するように選択され得る。角部1010は、2つの縁部、たとえば縁部1014および縁部1016が、ある角度で互いに交わる、ラグ1006の上のロケーションに相当する。これらの角部1010は、ロボット1000の可動構成要素の中に引き込まれやすい可能性がある。経路1008は、ロボット1000がラグ1006の上に移動するとき、ロボット1000のフットプリントが角部1010のいずれかの上を移動しないように選択され得る。加えて、経路1008は、クリーニング経路、たとえば、ロボット1000がラグ1006の上に移動するとき、ロボット1000の回転可能部材によってカバーされる経路が、角部1010を超えて延びず、それにより、ロボット1000が角部1010の一部を取り込むリスクを低減するように選択され得る。
タッセル1012がエラー状態を生じるのを回避するために、ラグ1006の上への経路1008は、ロボット1000がタッセル1012の上を移動するのを回避するように選択され得る。ラグ1006のタッセル1012は、ロボット1000がタッセル1012の上を移動するときに容易に曲がり得る、薄くて細長い織物であり得る。タッセル1012の基部はラグ1006の縁部1014に取り付けられ、タッセル1012は、ラグ1006の中心部から離れて外に、縁部1014から床面1004にわたって延びる。タッセル1012は、ロボット1000の底部とタッセル1012との間の摩擦に応じて曲がることができ、場合によっては、ロボット1000の回転可能部材、駆動輪、またはキャスタ輪によって容易に引き込まれ得る。これらの構成要素のいずれかに対する停滞状態を回避するために、いくつかの実装形態では、ロボット1000が、ラグ1006から離れたロケーションからラグ1006の上のロケーションに移動するとき、ロボット1000は、タッセル1012を含まないラグ1006の縁部1016を横切って移動する。ロボット1000は、タッセル1012がロボット1000の可動構成要素の中に引き込まれないように、タッセル1012を含む縁部1014を横切ってラグ1006の上に移動することを回避することができる。
図10Aに示す例では、経路1008は、縁部1016に実質的に直角の部分1008aを含む。経路1008の部分1008aと縁部1016との間の角度は、1度以下~10度、たとえば、1度以下~7度、1度~5度、または1度~3度であり得る。いくつかの実装形態では、経路1008の部分1008aは、より急な角度、たとえば1度以下で縁部1016と交差する。経路1008の部分1008aに沿って移動することによって、ロボット1000は、ラグ1006によって生じる停滞状態を回避することができる。
ロボット1000が経路1008に沿って移動した後、図10Bを参照すると、ロボット1000は、経路1018に沿って移動してラグ1006を掃除する。特に、ロボット1000は、ラグ1006から離れて移動することなしに、ラグ1006の表面をカバーするように移動する。経路1018は、たとえば、ロボット1000が、ラグ1006を横切る実質的に平行な列に沿って移動してラグ1006を掃除する、コーンローのパターンを有することができる。経路1018は、図10Aの経路1008を決定するために使用された方法と同様の方法を使用して、たとえばロボット1000によって捕捉されたイメージまたはイメージから作成されたステッチ画像表現を使用して、決定され得る。
図10Cを参照すると、ロボット1000がラグ1006を掃除した後、ロボット1000は、経路1020に沿って移動して、ラグ1006の上のロケーションからラグ1006から離れたロケーションに移動することができる。経路1020は、タッセル1012または角部1010によって引き起こされるエラー状態を回避するように選択され得る。図10Cに示す例では、経路1020は、縁部1016に直角である部分1020aを含み、それにより、ロボット1000が、タッセル1012または角部1010に遭遇するのを回避することが可能になる。いくつかの実装形態では、タッセル1012の近傍の領域は掃除を必要とし、ロボット1000は、この領域を掃除するために、タッセル1012の上を移動する必要がある場合がある。ラグ1006から離れたロケーションからラグ1006の上のロケーションに移動することによってこの領域を掃除するのではなく、ロボット1000は、タッセル1012がロボット1000の可動構成要素の中に引き込まれるリスクを低減する方法でのみ、タッセル1012の上を移動するように操縦され得る。たとえば、ロボット1000は、ロボット1000がラグ1006の上のロケーションからラグ1006から離れたロケーションに移動している場合、ロボット1000がタッセル1012の上だけを移動する経路に沿って移動するように制御され得る。いくつかの実装形態では、経路1020は、タッセル1012が縁部1016から延びる方向に実質的に平行である方向に、ロボット1000がタッセル1012の上を移動するように選択される。たとえば、ロボット1000が移動する方向およびタッセル1012が縁部から延びる方向は、1度以下~10度、たとえば、1度以下~7度、1度~5度、または1度~3度の角度を成す。ロボット1000がこのようにしてタッセル1012の上を移動する場合、タッセル1012はほとんど曲がらず、ロボット1000の可動構成要素の中に引き込まれる可能性は小さい。経路1020は、図10Aの経路1008を決定するために使用された方法と同様の方法を使用して、たとえば、ロボット1000によって捕捉されたイメージまたはイメージから作成されたステッチ画像表現を使用して決定され得る。
図11を参照すると、方法1100は、ロボットが沿って移動している床面の上部より低い高度を有する床面の下部に対してロボットをナビゲートさせるために、自律モバイルロボット、たとえばロボット100によって実行される。床面の下部および上部は、ロボットに対する落下の損傷を防止するために、ロボットがその上を移動することを回避することができる崖を形成する。方法1100は、ステップ1102、1104、1106および1108を含む。方法1100およびそのステップは、図12に示すロボット1200に関して説明される。ロボット1200は、ロボット100と同様の自律クリーニングロボットであるが、他の実装形態では、他のロボットが使用されてもよい。本明細書で説明するように、方法1100は、ロボット1200の崖センサが崖を検出することができる前にロボット1200が崖を検出することを可能にし、その結果、ロボット1200が崖の存在により早く応答することを可能にし得る。
ステップ1102において、図12を同じく参照すると、ロボット1200は、たとえば、本明細書で説明するロボット100の画像捕捉デバイスと同様のロボット1200の画像捕捉デバイスを使用して床面1204のイメージを捕捉しながら、第1の速度で環境1202の床面1204にわたってナビゲートする。画像捕捉デバイスによって捕捉されたイメージは、床面1204の少なくとも一部を表すことができる。本明細書で説明するように、ロボット1200は、ロボット1200の画像捕捉デバイスからのイメージを含む、ロボット1200のセンサシステムによって提供されるセンサデータを使用してナビゲートすることができる。ロボット1200は、クリーニング任務の間に床面1204にわたってナビゲートすることができる。たとえば、ロボット1200は、ロボットのバキュームシステムを動作させて環境1002の床面の上のごみ屑をバキュームするために、バキューム任務を実行することができる。ロボット1200は、点1206aから点1206bまで第1の速度で移動することができる。第1の速度は、ロボット1200がカバレージ行動または障害物監視行動において床面1204にわたって移動する速度に相当することができる。ロボット1200の速度は、特徴物または物体を検出して特徴物または物体を回避するための行動を開始することに応答して、第1の速度に対して低減され得る。たとえば、ロボット1200が特徴物または物体に接近して特徴物または物体に接触するのを回避するとき、ロボット1200は、その速度を低減し得る。方法1100は、特徴物が崖である例を示す。
ステップ1104において、ロボット1200は、ステップ1102において捕捉されたイメージに基づいて崖を検出する。崖は、床面1204の高度の減少に相当することができる。たとえば、ロボット1200は、床面1204の第2の部分1204bより高い高度にある、床面1204の第1の部分1204aの上に配置される。第1および第2の部分1204a、1204bは、崖1208を形成する。ロボット1200は、たとえば点1206bにおいて崖1208を検出することができる。崖1208は、捕捉されたイメージから識別され得る。いくつかの実装形態では、崖1208は、ステッチ画像表現を形成するために使用される部分を超える、捕捉イメージの部分の中で識別される。いくつかの実装形態では、崖1208は、ステッチ画像表現を形成するために使用される捕捉イメージの部分の中で識別される。
ステップ1106において、ロボット1200は、ロボット1200が点1206aと点1206bとの間を移動した第1の速度より小さい第2の速度で、崖1208に対して操縦される。たとえば、点1206bにおいて、崖1208を検出すると、ロボット1200はその速度を低減する。ロボット1200は、その速度を第1の速度から第2の速度に低減することができ、この速度低減を、ロボット1200がロボット1200の崖センサ(たとえば、本明細書で説明したロボット100の崖センサ134のうちの1つと同様)を使用して崖1208を検出する前に行うことができる。
いくつかの実装形態では、ステップ1104において、ロボット1200は崖1208を検出することができ、ステップ1106において、ロボット1200は、ロボット1200が崖1208からある距離以内に入った後にのみ、その速度を低減する。ロボット1200と崖1208との間の距離は、捕捉イメージに基づいて決定され得る。点1206bと崖1208との間の距離は、崖1208から0.1メートルと1メートルとの間、たとえば、崖1208から0.1メートルと0.7メートル、0.1メートルと0.5メートル、または0.1メートルと0.3メートルとの間であり得る。距離は、ロボット1200の長さの50%から300%の間、たとえばロボット1200の長さの50%から250%の間、50%から200%の間、または50%から150%の間であり得る。ロボット1200は、画像捕捉デバイスによって捕捉されたイメージから、ロボット1200は崖1208からある距離以内であると決定することに基づいて、第2の速度への低減を開始することができる。
ステップ1108において、ロボット1200は、ロボット1200の崖センサを使用して崖1208を検出する。ロボット1200は、ロボット1200の一部が床面1204の第2の部分1204bの上を移動され、それによりロボット1200の崖センサがロボット1200の一部の下に物体がないことを検出することが可能になるとき、崖1208を検出することができる。崖1208を検出すると、ロボット1200は、床面の第2の部分1204bから離れて、すなわち崖1208から離れて床面の第1の部分1204aに沿って操縦される。ロボット1200は、ロボット1200が崖1208から離れて移動するように、またはロボット1200が崖1208に沿って移動するように向きを変えることができる。
図13を参照すると、方法1300は、ロボット、たとえばロボット100の障害物回避感度を制御するために使用される。本明細書で説明するように、自律モバイルロボットは、1つまたは複数の電気センサを有するセンサシステムを含むことができる。センサは、環境の中の様々な物体および特徴物を検出するために使用され得、これらのセンサは、物体または特徴物を検出すると、ロボットが物体または特徴物を回避する回避行動を引き起こすことができる。たとえば、センサは、崖センサ(たとえば、ロボット100の崖センサ134のうちの1つ)、近接センサ(たとえば、ロボット100の近接センサ136a、136bのうちの1つ)、または画像捕捉デバイス(たとえば、ロボット100の画像捕捉デバイス101)であり得る。センサは、特定の特徴物(たとえば、崖、壁、または他の特徴物などの障害物)を検出することができ、次いで、ロボットは、ロボットが特徴物に十分に近接することに応答して特徴物を回避するように操縦され得る。いくつかの実装形態では、ロボットは、障害物回避行動を開始する。障害物回避行動では、ロボットが障害物から第1の距離以内に入ったときにロボットはその速度を低減することができ、次いで、ロボットが障害物から第2の距離以内に入ったときに、障害物から離れるように向きを変えて障害物を回避することができる。
方法1300に関して本明細書で説明するように、いくつかの実装形態では、ロボットに対する障害物回避感度が設定され得、第1の距離および第2の距離は、設定された障害物回避感度に応じて変わることができる。方法1300は、ステップ1302、1304、1306、1308、1310、1312、1314、1316、1318、1320を含む。方法1300は、モバイルデバイス1350が障害物回避感度を様々なレベルに設定するために使用されることを示す図14A~図14Cに関連して、およびロボット1500が障害物1506を有する環境1502の中で床面1504に沿って移動することを示す図15に関連して説明される。
ステップ1302において、同じく図15を参照すると、ロボット1500は、床面1504のイメージを捕捉しながら、たとえば、本明細書で説明したロボット100の画像捕捉デバイス101と同様のロボット1500の画像捕捉デバイスを使用しながら、床面1504にわたってナビゲートする。画像捕捉デバイスによって捕捉されたイメージは、床面1504の少なくとも一部を表すことができる。本明細書で説明するように、ロボット1500は、ロボット1500の画像捕捉デバイスからのイメージを含む、ロボット1500のセンサシステムによって提供されるセンサデータを使用してナビゲートすることができる。ロボット1500は、クリーニング任務の間に床面1504にわたってナビゲートすることができる。たとえば、ロボット1500は、ロボットのバキュームシステムを動作させて環境1502の床面の上のごみ屑をバキュームするために、バキューム任務を実行することができる。任務の間に、ロボット1500は、センサシステムを使用して障害物1506を検出することができる。ロボット1500は、ロボット1500の画像捕捉デバイスを使用して、および/またはロボット1500の衝突センサもしくは近接センサを使用して、障害物1506を検出することができる。
ステップ1304において、ロボット1500は、捕捉イメージを、たとえば、図5に関連して説明されたクラウドコンピューティングシステム192と同様のクラウドコンピューティングシステム1352に送信する。イメージは、ロボット1500によって実行される任務の間に送信され得る。代替的に、イメージは、任務の終了時に送信され得る。ステップ1306において、クラウドコンピューティングシステム650は、ロボット1500からイメージを受け付ける。
ステップ1308において、環境1502の中の障害物、部屋、および/または特徴物が識別される。たとえば、クラウドコンピューティングシステム1352は、障害物1506だけでなく、環境1502の中の部屋1508および部屋1510などの部屋も識別することができる。クラウドコンピューティングシステム1352は、環境1502の中で検出される障害物のロケーションを識別することができ、環境1502の中の部屋の相対的な位置を識別することができる。ステップ1310において、床面1504のステッチ画像表現が、ロボット1500によって捕捉されたイメージに基づいて作成され得る。ステッチ画像表現は、図6に関連してステップ608に対して説明されたように作成され得る。
ステップ1312において、クラウドコンピューティングシステム1352は、環境1502の中の識別された障害物、部屋、および/または特徴物を示すデータ、およびステッチ画像表現を示すデータを送信する。ステップ1314において、モバイルデバイス1350は、環境1502の中の識別された障害物、部屋、および/または特徴物を示すデータ、およびステッチ画像表現を示すデータを受け付ける。いくつかの実装形態では、ステップ1308およびステップ1310は、クラウドコンピューティングシステム1352ではなくロボット1500によって実行される。
ステップ1316において、同じく図14A~図14Cを参照すると、モバイルデバイス1350は、ユーザ選択障害物回避感度を示すユーザ入力を受け付ける。図14A~図14Cに示す例では、モバイルデバイス1350は、モバイルデバイス1350のユーザ入力要素がタッチスクリーンであり、ユーザ出力要素がディスプレイであるモバイルフォンである。ユーザは、タッチスクリーンを動作させて、ユーザ選択障害物回避感度を示すユーザ入力を提供することができる。図14A~図14Cは、低感度選択1402、中感度選択1404、および高感度選択1406を示す。いくつかの実装形態では、ユーザ選択は、特定の障害物に対する障害物回避感度を示すことができる。図14A~図14Cに示す例では、選択1402、1404、1406は、障害物1506に対する障害物回避感度を示す。
モバイルデバイス1350は、障害物1506(図15に示す)を表すインジケータ1408を提示することができ、ユーザが選択することができる利用可能な感度の範囲のインジケータ1410をさらに提示することができる。インジケータ1408は、ロボット1500によって捕捉されたイメージに基づいて提示され得る。インジケータ1408は、障害物1506の表現を含むことができ、同じく、床面1504の上面図表現を含むことができる。インジケータ1408は、環境1502の上面図のグラフィカル表現であり得、環境1502の中の障害物1506のロケーションを含むことができる。インジケータ1408は、さらに、対応する選択1402、1404、1406に対する感度を視覚的に表すことができる。たとえば、インジケータ1408は、障害物1506の周りに様々なサイズのゾーンを示すことによって、これらの感度を視覚的に表すことができる。いくつかの実装形態では、インジケータ1408は、ロボット1500によって捕捉された画像の表現を提供することができ、画像は、障害物1506の少なくとも一部を表す。
ユーザは、インジケータ1410と対話して、選択1402、1404、1406を提供することができる。たとえば、インジケータ1410は、選択1402、1404、1406を提供するためにユーザが対話することができるスライダを表すことができる。いくつかの実装形態では、インジケータ1410は、感度レベルのリストを含むことができ、レベルは、選択1402、1404、1406を提供するためにユーザによって選択可能である。
いくつかの実装形態では、特定の障害物に対する障害物回避感度を示すのではなく、ユーザ選択は、部屋に対する障害物回避感度を示すことができる。たとえば、モバイルデバイス1350は、部屋、たとえば部屋1508、1510のうちの1つのインジケータを提示することができ、ユーザが部屋に対して選択することができる利用可能な障害物回避感度の範囲のインジケータを提供することができる。ユーザ選択障害物回避感度は、部屋の中で検出される障害物に対する感度に相当することができる。ユーザは、モバイルデバイスと対話して、部屋の中の障害物に対するユーザ選択障害物回避感度を示す選択を提供することができる。さらなる実装形態では、ユーザ選択は、全体的に、環境1502対する障害物回避感度を示すことができる。たとえば、ユーザ選択障害物回避感度は、環境1502の中で検出される障害物に対する感度に相当することができる。
ステップ1318において、ロボット1500は、床面1504にわたって操縦する。ロボット1500は、ロボット1500の任務の間に床面1504にわたって操縦することができる。この任務は、ステップ1302に対して実行された任務に続くものであり得る。ステップ1320において、ロボット1500は、ユーザ選択障害物回避感度に基づいて障害物1506を回避するために回避行動を開始する。ロボット1500が床面1504にわたって移動するとき、ロボット1500は、障害物1506を検出することに応答して障害物1506を回避するために障害物回避行動を開始することができる。障害物回避行動は、ユーザ選択障害物回避感度に基づいて開始され得る。いくつかの実装形態では、ユーザ選択障害物回避感度は、ロボット1500が障害物回避行動を開始する、ロボット1500と障害物1506との間の距離に対する閾値を示すことができる。たとえば、図15に示すように、距離閾値1512、1514、1516は、それぞれ、選択1402、1404、1406に対応する。ロボット1500は、障害物1506とロボット1500との間の距離が、距離閾値1512、1514、1516以下であることに基づいて、障害物回避行動を開始する。図14A~図14Cに戻って簡単に参照すると、選択1402、1404、1406は、距離のユーザ選択であり得る。選択1402は、0センチメートルと15センチメートルとの間、たとえば、1センチメートルと5センチメートルとの間、1センチメートルと10センチメートルとの間、1センチメートルと15センチメートルとの間、1センチメートル未満、少なくとも1センチメートル、少なくとも3センチメートル、少なくとも5センチメートルなどの距離に対応することができる。選択1404は、3センチメートルと30センチメートルとの間、たとえば、5センチメートルと15センチメートルとの間、5センチメートルと20センチメートルとの間、5センチメートルと25センチメートルとの間、少なくとも3センチメートル、少なくとも5センチメートル、少なくとも7センチメートル、または少なくとも10センチメートルなどの距離に対応することができる。選択1406は、5センチメートルと60センチメートルとの間、たとえば、10センチメートルと30センチメートルとの間、20センチメートルと40センチメートルとの間、30センチメートルと50センチメートルとの間、40センチメートルと60センチメートルとの間、少なくとも5センチメートル、少なくとも7センチメートル、少なくとも10センチメートルなどの距離に対応することができる。
いくつかの実装形態では、ユーザ選択障害物回避感度は、障害物1506が床面1504の一部の上に存在する尤度閾値を表す。ロボット1500が床面1504にわたって移動するとき、ロボット1500は、障害物1506がロボット1500の近傍にあるかまたはロボット1500の前方にある尤度を決定することができる。尤度は、ロボット1500が実行している現在の任務からのセンサデータに基づくだけでなく、1つまたは複数の前に実行された任務からのセンサデータにも基づいて決定され得る。たとえば、障害物1506は、ステップ1302に関して説明した任務など、前に実行された任務の中で検出され得る。加えて、尤度は、障害物1506のモビリティに基づいて決定され得る。たとえば、障害物1506は、ユーザによって拾い上げられ、床面1504の他の場所におかれるかまたは床面1504から取り除かれる可能性のあるコード、衣類、または他の障害物など、高いモビリティを有することがある。障害物1506が高いモビリティを有し、かつ第1の任務の中で検出される場合、障害物1506が第2の任務の中に存在する尤度は低くなり得る。代替的に、障害物1506は、テーブルまたは長椅子など、低いモビリティを有することがある。障害物1506が低いモビリティを有し、かつ第1の任務の中で検出される場合、障害物1506が第2の任務の中に存在する尤度は高くなり得る。
いくつかの実装形態では、感度は、ユーザ選択感度ではなく、たとえば、ロボット1500またはクラウドコンピューティングシステム1352によって自動的に選択され得る。障害物に対する感度は、ロボット1500が、1つまたは複数の前の任務において、障害物付近でエラー状態を経験したかどうかに基づいて選択され得る。ロボット1500が障害物を最初に検出した後、ロボット1500が障害物を検出しない次の任務は、障害物に対するロボット1500の感度を低減することができる。いくつかの実装形態では、インジケータ1410は、自動的に選択された感度を示すことができ、次いで、ユーザは、インジケータ1410と対話して感度を変更することができる。
追加の代替実装形態
いくつかの実装形態について説明した。他の実装形態が可能である。
いくつかの実装形態は、単一の自律モバイルロボット、たとえばロボット100、ロボット700、ロボット1000、ロボット1200およびロボット1500に関して説明されるが、いくつかの実装形態では、環境の中で動作する複数の自律モバイルロボットからのデータが使用され得る。たとえば、ロボット100によって捕捉されるイメージは、ユーザ対面マップを形成するためまたはロボット100もしくはロボット190のナビゲートを制御するために、図5に関して説明したロボット190によって生成されたセンサデータと組み合わせて使用され得る。いくつかの実装形態では、ロボット190は、ロボット100の画像捕捉デバイス101と同様の前向きの画像捕捉デバイスを有することもできる。ロボット190の画像捕捉デバイスは、床面のステッチ画像表現を生成するために、ロボット100によって捕捉されたイメージと組み合わせて使用され得るイメージを捕捉することができる。
本明細書で説明するように、画像捕捉デバイス101は、ロボット100の単一の画像捕捉デバイスであり得る。いくつかの実装形態では、ロボット100は、2つ以上の前向きの画像捕捉デバイスを含むことができ、2つ以上の前向きの画像捕捉デバイスからのイメージは、本明細書で説明する方法のために使用され得る。
本明細書で説明するように、画像捕捉デバイス101は、ロボット100の前方方向Fに水平に向けられ得る。いくつかの実装形態では、画像捕捉デバイス101は、水平軸に対して傾けられる。たとえば、画像捕捉デバイス101は、5度から30度の間、たとえば、5度から25度、5度から20度、または5度から15度の間の角度で下向きに傾けられ得る。
図9に示す方法900は、図10A~図10Cに示すラグ1006に関連して説明される。方法900は、他の形状を有するラグとともに使用され得る。たとえば、非長方形のラグが、複数の突出部を含むことがある。場合によっては、ラグは、裂け目のために縁部に沿って非直線形状(non-linear geometry)を含むことがある。方法900は、非直線形状を含む部分を回避するように実施されることがある。
図10A~図10Cを参照すると、ロボット1000は、タッセル1012がロボット1000の可動構成要素の中に引き込まれないように、タッセル1012を含む縁部1014を横切ってラグ1006の上に移動することを回避するとして説明される。いくつかの実装形態では、ロボット1000は、タッセル1012の上を移動する経路に沿って移動することができる。そのような実装形態では、ロボット1000は、ロボット1000がタッセル1012の上を移動するとき、ロボット1000の回転可能部材の回転速度を低減することができる。ロボット1000は、ロボット1000がラグ1006から離れたロケーションにあるときでかつロボット1000がラグ1006の上に移動する前に、回転可能部材の回転速度を低減することができる。この関連で、ロボット1000は、ロボット1000がラグ1006から離れた床面1004の部分にわたって移動するときに第1の回転速度で回転可能部材を回転させ、次いで、ロボット1000がラグ1006から離れた床面1004の部分からラグ1006の上の床面1004の部分に移動するときに第2の回転速度で回転可能部材を回転させることができ、第2の回転速度は、第1の回転速度より小さい。いくつかの実装形態では、ロボット1000は、回転可能部材がもはや回転しないように、ロボット1000の回転可能部材を駆動する駆動システムを停止させることによって、回転速度を低減する。いくつかの実装形態では、ロボット1000は、回転可能部材に対する駆動システムに供給する電力量を低減する。
ロボット1000がラグ1006の上に乗ってラグ1006の縁部を超えた後、ロボット1000は、回転可能部材の回転速度を上げることができる。ロボット1000は、第3の回転速度で回転するように回転可能部材を駆動することができる。第3の回転速度は、第1の回転速度と同じかまたは同様であり得る。いくつかの実装形態では、第3の回転速度は、第2の回転速度より大きく、かつ第1の回転速度より小さい。ロボット1000が、ラグ1006の縁部を超えてまたはタッセル1012を超えてラグ1006の内部に移動した後、ロボット1000は、駆動システムを再起動することができる。ロボット1000は、タッセルがラグ1006の内部を取り囲んでいる例では、タッセルの上を移動するように制御され得る。たとえば、タッセルが、ラグの全周に沿って配置されることがある。ロボット1000がラグ1006から離れて移動するとき、ロボット1000は、回転可能部材の駆動システムを動作させることができ、それにより、ロボット1000が、ラグ1006の縁部またはラグ1006のタッセル1012の上を移動するとき、回転可能部材が回転する。これは、ラグ1006の外周に沿った領域をロボット1000が掃除することを可能にする。ロボット1000は、第4の回転速度で回転可能部材を駆動することができる。いくつかの実装形態では、第4の回転速度は、第3の回転速度と同じである。いくつかの実装形態では、第4の回転速度は、第2の回転速度より大きい。
本明細書で説明するこれらの画像の中に表される物体および障害物は、この3次元表現の上に重ねられ、それにより、環境20の中の扉および窓の配置を正確に描写することができる。代替または追加として、機械学習技法は、ロボット700によって捕捉された単一の画像の中に現れる、物体のロボット700からの距離を検出するために使用され得る。これらの距離に基づいて、3次元表現が生成されて、モバイルデバイス652の上でユーザに提示され得る。
本明細書で説明するように、物体および障害物は、ロボット700によって捕捉された画像の中に表され得、3次元表現の上に重ねられ得る。いくつかの実装形態では、図16Aを参照すると、自律クリーニングロボット(たとえば、ロボット700と同様)によって遭遇されたごみ屑、障害物、または他の物体を含む物体のリスト1600が、モバイルデバイス1602(たとえば、本明細書で説明したモバイルデバイス652と同様)を介してユーザに提示され得る。リスト1600は、物体の名前1604、物体のロケーション1606、および物体がロボットによって遭遇された時間1608を識別することができる。図16Bを参照すると、モバイルデバイス1602は、たとえば、ロボットによって遭遇された物体の表現を提示することができる。図16Bに示す例では、物体はコード1610である。物体の表現は、ロボットによって捕捉されたイメージに基づいて生成され得る。物体の表現は、ロボット700によって捕捉されたイメージの中の物体の表現に基づいて生成され得る。いくつかの例では、モバイルデバイス1602の上に提示される物体の表現は、ロボットによって捕捉されたイメージの一部に対応することができる。代替または追加として、物体が、ロボットのイメージから識別され得、次いで、コンピュータ生成画像またはストック画像が、モバイルデバイス1602を介してユーザに提示される記録された物体の一部として提示され得る。たとえば、ロボットは、任務の間に様々なタイプの物体に遭遇することがある。ロボットは、任務の間にロボットによって取り込まれる、またはロボットによって遭遇される物体のイメージを捕捉することができる。物体を表す捕捉されたイメージの部分は、モバイルデバイス1602によって提示され得、たとえば、図16Bに示すコード1610または物体が、イメージを使用して識別され得、次いで、物体の表現が、モバイルデバイス1602の上に提示され得る。
物体の表現は、モバイルデバイス1602の上に提示され得、モバイルデバイス1602は、ユーザが物体の識別を確認するように、要求を発行することができる。たとえば、物体がコード1610である場合、モバイルデバイス1602は、コード1610の表現を提示して、物体がコードであることを確認するように、ユーザに要求することができる。いくつかの実装形態では、モバイルデバイス1602は、ロボット700によって検出されたおよび/または取り込まれた物体のタイプのリストを提供することができ、いくつかの実装形態では、モバイルデバイス1602は、ロボットによって検出されたおよび/または取り込まれた物体のロケーションのインジケータ、たとえば、本明細書で説明する床面のステッチ画像表現の上に重ねられるインジケータを提供することができる。たとえば、図16Bに示すように、コード1610を表すイメージ1612を提示することに加えて、モバイルデバイス1602は、ロボットの環境の上面図表現1614を提示することができ、コード1610に遭遇したロケーションを示すために表現1614の上に重ねられたインジケータ1616を提供することができる。モバイルデバイス1602は、物体をコード1610として識別することができ、物体が実際にコード1610であることをユーザが確認することを要求することができる。物体を識別して、物体のロケーションのインジケータ1616を提示することによって、モバイルデバイス1602は、ロボットが今後の任務において物体を回避することができるように、ユーザが部屋を容易に片付けることを可能にすることができる。
図11に示す方法1100は、図12に示す崖1208に関連して説明される。いくつかの実装形態では、方法1100は、環境1202の中の急な傾斜、たとえば水平面に対して45超の角度を成す床面を回避するために使用され得る。
いくつかの実装形態では、自律クリーニングロボットが環境の中のある特徴物に接近するときに、その速度を減少させるのではなく、自律クリーニングロボットは、ある特徴物を検出することに応答して、その速度を増加させることができる。たとえば、図17を参照すると、自律クリーニングロボット1700は、床面1702のイメージを捕捉しながら、第1の速度で床面1702にわたってナビゲートすることができる。ロボット1700は、捕捉されたイメージに基づいて、床面1702の隆起部1704を、たとえば出入口または部屋と部屋との間において検出することができる。ロボット1200は、ロボット1200と隆起部1704との間の距離を推定して、隆起部1704から一定の距離の中に入ったことに応答してその速度を増加させることができる。たとえば、ロボット1700は、点1706aと1706bとの間を第1の速度で移動し、次いで、ロボット1700が隆起部1704からある距離以内に入ったと決定することに応答して、点1706bにおいてその速度を増加させる。点1706bから、ロボット1700が閾値に到達して隆起部1704の上を移動するまで、ロボット1700は、第1の速度より大きい第2の速度で進む。この増加された速度は、ロボット1700が、隆起部1704の上で立往生することなく、隆起部1704の上をより容易に進むことを可能にする。
自律クリーニングロボットが本明細書で説明されたが、いくつかの実装形態では、他のモバイルロボットが使用されてもよい。たとえば、ロボット100は、バキュームクリーニングロボットである。いくつかの実装形態では、自律湿式クリーニングロボットが使用され得る。ロボットは、ロボットの底に取り付け可能なパッドを含むことができ、ロボットが床面を磨くクリーニング任務を実行するために使用され得る。ロボットは、ロボット100に関して説明したシステムと同様のシステムを含むことができる。いくつかの実装形態では、画像捕捉デバイスを有するパトロールロボットが使用され得る。パトロールロボットは、画像捕捉デバイスをパトロールロボットの本体に対して移動させる機構を含むことができる。ロボット100が円形ロボットとして説明されたが、他の実装形態では、ロボット100は、実質的に長方形である前部と実質的に半円形である後部とを含むロボットであり得る。いくつかの実装形態では、ロボット100は、実質的に長方形である外周を有する。
それにも関わらず、様々な修正形態が作成され得ることが理解されよう。したがって、他の実施形態は、本特許請求の範囲の中にある。
10 床面
20 環境
30 ラグ
100 ロボット
101 画像捕捉デバイス
103 視野
105 ごみ屑
106 電気回路
108 筐体基礎構造
109 コントローラ
110 駆動システム
112 駆動輪
113 底部
114 モータ
115 キャスタ輪
116 クリーニングアセンブリ
117 クリーニング入口
118 回転可能部材
119 バキュームシステム
120 モータ
121 後方部
122 前方部
124 ごみ屑ビン
126 ブラシ
128 モータ
134 崖センサ
136a 近接センサ
136b 近接センサ
138 バンパー
139a 衝突センサ
139b 衝突センサ
140 画像捕捉デバイス
141 障害物監視センサ
142 上部
144 メモリ記憶素子
145 吸引通路
146 平行水平軸
147 ごみ屑検出センサ
148 平行水平軸
149 ワイヤレストランシーバ
150 側面
152 側面
154 前面
156 角表面
158 角表面
160 中心
162 中心
185 通信ネットワーク
188 モバイルデバイス
190 自律モバイルロボット
192 クラウドコンピューティングシステム
600 方法
650 クラウドコンピューティングシステム
652 モバイルデバイス
700 ロボット
702 環境
704 床面
705 壁
706 床面の部分
709 テーブル
710 椅子
712 ラグ
714 部分
716 部分
718 部分
720 画像
722 画像の部分
730 画像
732 画像の部分
800 自律クリーニングロボット
802 環境
804 床面
806 部分
808 部分
810 部分
812 部分
814 部分
816 部分
818 ステッチ画像表現
820 モバイルデバイス
822 インジケータ
1000 ロボット
1002 環境
1004 床面
1006 ラグ
1008 経路
1008a 部分
1010 角部
1012 タッセル
1014 縁部
1016 縁部
1018 経路
1020 経路
1020a 部分
1200 ロボット
1202 環境
1204 床面
1204a 第1の部分
1204b 第2の部分
1206a 点
1206b 点
1208 崖
1300 方法
1350 モバイルデバイス
1352 クラウドコンピューティングシステム
1402 低感度選択
1404 中感度選択
1406 高感度選択
1408 インジケータ
1410 インジケータ
1500 ロボット
1502 環境
1504 床面
1506 障害物
1508 部屋
1510 部屋
1512 距離閾値
1514 距離閾値
1516 距離閾値
1600 リスト
1602 モバイルデバイス
1604 名前
1606 ロケーション
1608 時間
1610 コード
1612 イメージ
1614 上面図表現
1616 インジケータ
1700 自律クリーニングロボット
1702 床面
1704 隆起部
1706a 点
1706b 点

Claims (11)

  1. ユーザ入力デバイスと、
    前記ユーザ入力デバイスに動作可能に接続されたコントローラと
    を含み、
    前記コントローラが、
    前記ユーザ入力デバイスに、ユーザが選択することができる利用可能な障害物回避感度レベルの範囲または利用可能な障害物回避感度レベルのリストを示すインジケータをユーザに対して提示させることと、
    前記ユーザ入力デバイスに、前記インジケータが提示した障害物回避感度レベルのうちユーザにより選択された障害物回避感度レベルを、ユーザ選択感度として受け付けさせることと、
    自律クリーニングロボットによる障害物回避に対して前記ユーザ選択感度を示すデータを、前記ユーザ入力デバイスから受け付けることと、
    前記自律クリーニングロボットの画像捕捉デバイスによって捕捉されたイメージおよび前記ユーザ選択感度に基づいて、前記自律クリーニングロボットが床面の一部の上の障害物を回避するために障害物回避行動を開始するように、前記ユーザ選択感度を示す前記データの前記自律クリーニングロボットへの送信を開始することと
    を含む動作を実行するための命令を実行するように構成される、モバイルコンピューティングデバイス。
  2. 前記ユーザ選択感度は、前記自律クリーニングロボットが、前記障害物と前記自律クリーニングロボットとの間の距離が距離閾値以下であることに基づいて前記障害物回避行動を開始するような、距離閾値を示す、請求項1に記載のモバイルコンピューティングデバイス。
  3. 前記ユーザ選択感度を受け付けることが、前記距離閾値のユーザ選択を示すデータを受け付けることを含む、請求項2に記載のモバイルコンピューティングデバイス。
  4. 前記ユーザ選択感度は、前記自律クリーニングロボットが、前記床面の一部の上に前記障害物が存在する尤度が尤度閾値以上であることに基づいて前記障害物回避行動を開始するような、尤度閾値を示す、請求項1に記載のモバイルコンピューティングデバイス。
  5. 前記障害物が存在する前記尤度が、前記画像捕捉デバイスによって捕捉された前記イメージに基づいて決定される、請求項4に記載のモバイルコンピューティングデバイス。
  6. 前記コントローラに動作可能に接続されたディスプレイをさらに含み、
    前記障害物が、前記画像捕捉デバイスによって捕捉された前記イメージの中に表され、
    前記動作が、
    前記イメージを表すデータを、前記自律クリーニングロボットから受け付けることと、
    前記イメージを表す前記データに基づいて前記障害物の表現を、前記ディスプレイの上に提示することと
    を含む、請求項1に記載のモバイルコンピューティングデバイス。
  7. 前記コントローラに動作可能に接続されたディスプレイをさらに含み、
    前記動作が、
    前記自律クリーニングロボットの前記画像捕捉デバイスによるイメージの中に存在する複数の障害物の表現を、前記ディスプレイ上に提示することを含み、前記複数の障害物の前記表現が、前記障害物の表現を含む、請求項1に記載のモバイルコンピューティングデバイス。
  8. 自律クリーニングロボットを床面の上で支持するための駆動システムであって、前記自律クリーニングロボットを前記床面にわたって操縦するように動作可能である、駆動システムと、
    前記自律クリーニングロボットの前方の前記床面の一部のイメージを捕捉するために前記自律クリーニングロボットの上に配置された画像捕捉デバイスと、
    前記駆動システム前記画像捕捉デバイスおよびユーザ入力デバイスに動作可能に接続されたコントローラと
    を含み、
    前記コントローラが、
    前記ユーザ入力デバイスに、ユーザが選択することができる利用可能な障害物回避感度レベルの範囲または利用可能な障害物回避感度レベルのリストを示すインジケータをユーザに対して提示させることと、
    前記ユーザ入力デバイスに、前記インジケータが提示した障害物回避感度レベルのうちユーザにより選択された障害物回避感度レベルを、ユーザ選択感度として受け付けさせることと、
    前記床面の一部の上の障害物を回避するために回避行動を、前記ユーザ選択感度および前記画像捕捉デバイスによって捕捉された前記イメージに基づいて開始することを含む動作を実行するための命令を実行するように構成される、自律クリーニングロボット。
  9. 前記ユーザ選択感度が、ユーザ選択距離閾値に対応し、前記障害物を回避するために前記回避行動を開始することが、前記障害物と前記自律クリーニングロボットとの間の距離が前記距離閾値以下であることに基づいて、前記回避行動を開始することを含む、請求項8に記載の自律クリーニングロボット。
  10. 前記ユーザ選択感度が、尤度閾値に対応し、前記障害物を回避するために前記回避行動を開始することが、前記床面の一部の上に前記障害物が存在することの尤度が前記尤度閾値以上であることに基づいて、前記回避行動を開始することを含む、請求項8に記載の自律クリーニングロボット。
  11. 前記動作が、複数の画像の中に存在する複数の障害物の表現をリモートユーザデバイスに提示させるために、前記画像捕捉デバイスによって捕捉された前記複数の画像を示すデータの送信を開始することを含む、請求項8に記載の自律クリーニングロボット。
JP2022513597A 2019-09-30 2020-04-01 自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法 Active JP7416916B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/588,295 2019-09-30
US16/588,295 US11327483B2 (en) 2019-09-30 2019-09-30 Image capture devices for autonomous mobile robots and related systems and methods
PCT/US2020/026192 WO2021066879A1 (en) 2019-09-30 2020-04-01 Image capture devices for autonomous mobile robots and related systems and methods

Publications (3)

Publication Number Publication Date
JP2022549572A JP2022549572A (ja) 2022-11-28
JPWO2021066879A5 JPWO2021066879A5 (ja) 2023-02-28
JP7416916B2 true JP7416916B2 (ja) 2024-01-17

Family

ID=75163326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022513597A Active JP7416916B2 (ja) 2019-09-30 2020-04-01 自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法

Country Status (5)

Country Link
US (2) US11327483B2 (ja)
EP (1) EP4038466A1 (ja)
JP (1) JP7416916B2 (ja)
CN (1) CN114424136A (ja)
WO (1) WO2021066879A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
US11327483B2 (en) * 2019-09-30 2022-05-10 Irobot Corporation Image capture devices for autonomous mobile robots and related systems and methods
DE102020123542A1 (de) * 2020-09-09 2022-03-10 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Sich selbsttätig fortbewegendes Bodenbearbeitungsgerät
US20220110498A1 (en) * 2020-10-13 2022-04-14 Pixart Imaging Inc. Mobile robot and cliff detection method thereof
DE102020132203A1 (de) * 2020-12-03 2022-06-09 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Sich selbsttätig fortbewegendes Bodenbearbeitungsgerät mit einer Mehrzahl von Absturzsensoren
DE102021205620A1 (de) * 2021-06-02 2022-12-08 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Bewegungspfades auf einem Untergrund
CN114371696B (zh) * 2021-12-06 2024-02-27 深圳市普渡科技有限公司 移动设备、控制方法、机器人及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143901A (ja) 2016-02-15 2017-08-24 東芝ライフスタイル株式会社 電気掃除機
US20180284792A1 (en) 2016-09-14 2018-10-04 Irobot Corporation Systems and methods for configurable operation of a robot based on area classification
US20180284786A1 (en) 2017-03-31 2018-10-04 Neato Robotics, Inc. Robot with automatic styles
WO2018219473A1 (en) 2017-06-02 2018-12-06 Aktiebolaget Electrolux Method of detecting a difference in level of a surface in front of a robotic cleaning device
JP2019071046A (ja) 2017-08-31 2019-05-09 ネイト ロボティクス,インコーポレイテッド ロボット仮想境界線
JP2019160003A (ja) 2018-03-15 2019-09-19 株式会社デンソー 障害物認識システム、障害物認識方法及びデータベース構築方法

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9917232D0 (en) * 1999-07-23 1999-09-22 Notetry Ltd Method of operating a floor cleaning device
US7571511B2 (en) * 2002-01-03 2009-08-11 Irobot Corporation Autonomous floor-cleaning robot
US6690134B1 (en) * 2001-01-24 2004-02-10 Irobot Corporation Method and system for robot localization and confinement
US6883201B2 (en) * 2002-01-03 2005-04-26 Irobot Corporation Autonomous floor-cleaning robot
EP2287696B1 (en) * 2001-06-12 2018-01-10 iRobot Corporation Method and system for multi-code coverage for an autonomous robot
US7429843B2 (en) * 2001-06-12 2008-09-30 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US7113847B2 (en) * 2002-05-07 2006-09-26 Royal Appliance Mfg. Co. Robotic vacuum with removable portable vacuum and semi-automated environment mapping
US8428778B2 (en) * 2002-09-13 2013-04-23 Irobot Corporation Navigational control system for a robotic device
US20040204792A1 (en) * 2003-03-14 2004-10-14 Taylor Charles E. Robotic vacuum with localized cleaning algorithm
US7801645B2 (en) * 2003-03-14 2010-09-21 Sharper Image Acquisition Llc Robotic vacuum cleaner with edge and object detection system
US7805220B2 (en) * 2003-03-14 2010-09-28 Sharper Image Acquisition Llc Robot vacuum with internal mapping system
US20050010331A1 (en) * 2003-03-14 2005-01-13 Taylor Charles E. Robot vacuum with floor type modes
JP2005211364A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自走式掃除機
JP2005211359A (ja) * 2004-01-30 2005-08-11 Funai Electric Co Ltd 自律走行ロボットクリーナーシステム
US20050273967A1 (en) * 2004-03-11 2005-12-15 Taylor Charles E Robot vacuum with boundary cones
US7555363B2 (en) * 2005-09-02 2009-06-30 Neato Robotics, Inc. Multi-function robotic device
EP2816434A3 (en) * 2005-12-02 2015-01-28 iRobot Corporation Autonomous coverage robot
US7441298B2 (en) * 2005-12-02 2008-10-28 Irobot Corporation Coverage robot mobility
KR100735565B1 (ko) * 2006-05-17 2007-07-04 삼성전자주식회사 구조광을 이용한 물체 검출 방법 및 이를 이용한 로봇
US8087117B2 (en) * 2006-05-19 2012-01-03 Irobot Corporation Cleaning robot roller processing
US8996172B2 (en) * 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
US8961695B2 (en) * 2008-04-24 2015-02-24 Irobot Corporation Mobile robot for cleaning
CA2859112C (en) * 2009-08-31 2017-08-15 Neato Robotics, Inc. Method and apparatus for simultaneous localization and mapping of mobile robot environment
EP3550393B1 (en) 2009-11-06 2023-03-01 iRobot Corporation Method and system for covering a surface by an autonomous robot
KR101752190B1 (ko) * 2010-11-24 2017-06-30 삼성전자주식회사 로봇청소기 및 그 제어방법
US20130146090A1 (en) * 2011-12-13 2013-06-13 Joseph Y. Ko Method for controlling automatic cleaning devices
US20130290234A1 (en) * 2012-02-02 2013-10-31 Visa International Service Association Intelligent Consumer Service Terminal Apparatuses, Methods and Systems
US8855914B1 (en) * 2012-08-31 2014-10-07 Neato Robotics, Inc. Method and apparatus for traversing corners of a floored area with a robotic surface treatment apparatus
JP6409003B2 (ja) 2013-01-18 2018-10-17 アイロボット コーポレイション ロボットを用いる方法及びそのコンピュータ可読記憶媒体
US9233472B2 (en) * 2013-01-18 2016-01-12 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US9375847B2 (en) 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
KR101395888B1 (ko) * 2013-03-21 2014-05-27 엘지전자 주식회사 로봇 청소기 및 그 동작방법
EP3091887A4 (en) * 2014-01-10 2017-09-13 iRobot Corporation Autonomous mobile robot
EP3126921B1 (en) 2014-03-31 2021-02-24 iRobot Corporation Autonomous mobile robot
DE102014106975A1 (de) * 2014-05-16 2015-11-19 Vorwerk & Co. Interholding Gmbh Selbsttätig verfahrbares Reinigungsgerät
CA2951588A1 (en) * 2014-07-07 2016-01-14 Carl Freudenberg Kg Movable device
US9798328B2 (en) * 2014-10-10 2017-10-24 Irobot Corporation Mobile robot area cleaning
US20180361581A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with following mode
US9993129B2 (en) * 2015-02-13 2018-06-12 Irobot Corporation Mobile floor-cleaning robot with floor-type detection
US9265396B1 (en) * 2015-03-16 2016-02-23 Irobot Corporation Autonomous floor cleaning with removable pad
US9868211B2 (en) 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
KR102326479B1 (ko) * 2015-04-16 2021-11-16 삼성전자주식회사 청소 로봇 및 그 제어 방법
US20170049288A1 (en) * 2015-08-18 2017-02-23 Nilfisk, Inc. Mobile robotic cleaner
EP3403146A4 (en) 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
US10486313B2 (en) 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation
US10452071B1 (en) * 2016-02-29 2019-10-22 AI Incorporated Obstacle recognition method for autonomous robots
WO2017194101A1 (en) * 2016-05-11 2017-11-16 Aktiebolaget Electrolux Adjusting height of a robotic cleaning device
WO2017200350A1 (ko) * 2016-05-20 2017-11-23 엘지전자 주식회사 로봇 청소기
US10058997B1 (en) * 2016-06-16 2018-08-28 X Development Llc Space extrapolation for robot task performance
JP6931994B2 (ja) * 2016-12-22 2021-09-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 自律移動体、移動制御方法及び移動制御プログラム
KR20180075176A (ko) 2016-12-26 2018-07-04 엘지전자 주식회사 이동 로봇 및 그 제어방법
US20180299899A1 (en) * 2017-04-13 2018-10-18 Neato Robotics, Inc. Localized collection of ambient data
US11284702B2 (en) * 2017-05-15 2022-03-29 Sharkninja Operating Llc Side brush with bristles at different lengths and/or angles for use in a robot cleaner and side brush deflectors
US20180348783A1 (en) * 2017-05-31 2018-12-06 Neato Robotics, Inc. Asynchronous image classification
US10627518B2 (en) * 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability
US20180344116A1 (en) * 2017-06-02 2018-12-06 Irobot Corporation Scheduling and control system for autonomous robots
KR20180134230A (ko) * 2017-06-08 2018-12-18 삼성전자주식회사 청소 로봇 및 그 제어 방법
DE102017112794A1 (de) * 2017-06-09 2018-12-13 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Bodenbearbeitungsgerätes
US10100968B1 (en) 2017-06-12 2018-10-16 Irobot Corporation Mast systems for autonomous mobile robots
US10551843B2 (en) * 2017-07-11 2020-02-04 Neato Robotics, Inc. Surface type detection for robotic cleaning device
KR20190081316A (ko) * 2017-12-29 2019-07-09 삼성전자주식회사 청소용 이동장치 및 그 제어방법
JP7108861B2 (ja) * 2018-01-31 2022-07-29 パナソニックIpマネジメント株式会社 掃除機の制御方法
JP7149502B2 (ja) * 2018-03-29 2022-10-07 パナソニックIpマネジメント株式会社 自律移動掃除機、自律移動掃除機による掃除方法、及び自律移動掃除機用プログラム
US11266287B2 (en) 2019-05-29 2022-03-08 Irobot Corporation Control of autonomous mobile robots
US11249482B2 (en) 2019-08-09 2022-02-15 Irobot Corporation Mapping for autonomous mobile robots
US11327483B2 (en) * 2019-09-30 2022-05-10 Irobot Corporation Image capture devices for autonomous mobile robots and related systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143901A (ja) 2016-02-15 2017-08-24 東芝ライフスタイル株式会社 電気掃除機
US20180284792A1 (en) 2016-09-14 2018-10-04 Irobot Corporation Systems and methods for configurable operation of a robot based on area classification
US20180284786A1 (en) 2017-03-31 2018-10-04 Neato Robotics, Inc. Robot with automatic styles
WO2018219473A1 (en) 2017-06-02 2018-12-06 Aktiebolaget Electrolux Method of detecting a difference in level of a surface in front of a robotic cleaning device
JP2019071046A (ja) 2017-08-31 2019-05-09 ネイト ロボティクス,インコーポレイテッド ロボット仮想境界線
JP2019160003A (ja) 2018-03-15 2019-09-19 株式会社デンソー 障害物認識システム、障害物認識方法及びデータベース構築方法

Also Published As

Publication number Publication date
CN114424136A (zh) 2022-04-29
US11327483B2 (en) 2022-05-10
US20220229434A1 (en) 2022-07-21
JP2022549572A (ja) 2022-11-28
EP4038466A1 (en) 2022-08-10
US20210096560A1 (en) 2021-04-01
WO2021066879A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP7416916B2 (ja) 自律モバイルロボットのための画像捕捉デバイス、ならびに関連するシステムおよび方法
US11966227B2 (en) Mapping for autonomous mobile robots
US20210282613A1 (en) Control of autonomous mobile robots
US20220183529A1 (en) Control of autonomous mobile robots
CN115175599B (zh) 移动清洁机器人硬件推荐
US20230015508A1 (en) Control of autonomous mobile robots
WO2022257553A1 (zh) 清洁设备和清洁路径、清洁地图生成方法及生成系统
US11467599B2 (en) Object localization and recognition using fractional occlusion frustum

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230217

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150