JP7166926B2 - エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法 - Google Patents

エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法 Download PDF

Info

Publication number
JP7166926B2
JP7166926B2 JP2018549300A JP2018549300A JP7166926B2 JP 7166926 B2 JP7166926 B2 JP 7166926B2 JP 2018549300 A JP2018549300 A JP 2018549300A JP 2018549300 A JP2018549300 A JP 2018549300A JP 7166926 B2 JP7166926 B2 JP 7166926B2
Authority
JP
Japan
Prior art keywords
regions
cleaning
scattering
robot
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018549300A
Other languages
English (en)
Other versions
JP2019532369A (ja
JP2019532369A5 (ja
Inventor
アレクサンダー ディー クライナー
マリオ イー ミュニヒ
Original Assignee
アイロボット・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイロボット・コーポレーション filed Critical アイロボット・コーポレーション
Publication of JP2019532369A publication Critical patent/JP2019532369A/ja
Publication of JP2019532369A5 publication Critical patent/JP2019532369A5/ja
Application granted granted Critical
Publication of JP7166926B2 publication Critical patent/JP7166926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02—Nozzles
    • A47L9/04—Nozzles with driven brushes or agitators
    • A47L9/0461—Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0488—Combinations or arrangements of several tools, e.g. edge cleaning tools
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G05D1/2246—
    • G05D1/2464—
    • G05D1/6482—
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G05D2105/10—
    • G05D2107/40—
    • G05D2109/10—
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Description

（優先権の主張）
本出願は、米国特許商標局における２０１６年９月１４日に出願された「リモートユーザインタフェースを使用したロボットの構成可能な動作のシステム及び方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＦＩＧＵＲＡＢＬＥ ＯＰＥＲＡＴＩＯＮ ＯＦ Ａ ＲＯＢＯＴ ＵＳＩＮＧ Ａ ＲＥＭＯＴＥ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）」という名称の米国仮特許出願第６２／３９４，６３８号明細書からの優先権を主張し、その開示内容は、全体が引用により本明細書に組み入れられる。
本発明は、全体的に、ロボットシステムに関し、より具体的には、自律ロボットの動作の構成に関する。
自動ロボット及びロボットデバイスは、従来は日常的で時間を要するタスク又は危険と考えられるタスクを実行するのに使用される。例えば、実質的に自律的なロボットを使用して、掃除、表面処理の実施及び／又は塗装などの動作を実行するための表面のカバレージを提供することができる。しかしながら、ユーザの観点からは、自律ロボットのミッションは予測不可能であり、ロボットが次にどのエリアに動くかに関してユーザが理解できない可能性がある。加えて、ユーザは、ミッションに関する何らかの情報及び／又は入力が不足している場合がある。
米国仮特許出願第６２／３９４，６３８号明細書
本発明の一部の実施形態は、プロセッサ及び該プロセッサに結合されたメモリを含むコンピューティングデバイスを備え、メモリは、コンピュータ可読プログラムコードを格納している非一時的コンピュータ可読ストレージ媒体を含む。コンピュータ可読プログラムコードは、動作を実行するようプロセッサによって実行可能であり、該動作は、表面のナビゲーションに応答して移動式ロボットによって収集される占有データに基づいて表面のそれぞれの領域を定めるセグメンテーションマップを生成する段階と、第１及び第２エリア（非散乱エリア及び散乱エリアなど）としてその差異に基づいてそれぞれの領域のうちの少なくとも１つの領域のサブ領域を分類又は識別する段階と、サブ領域の識別に基づいてカバレージパターンをコンピュータ計算する段階とを含む。カバレージパターンは、第１及び第２エリア（非散乱エリア及び散乱エリアなど）のナビゲーションのシーケンスを示し且つ移動式ロボットに提供される。カバレージパターンに応答して、移動式ロボットは、カバレージパターンによって示されるシーケンスで表面のそれぞれの領域の少なくとも１つの領域の第１及び第２エリア（例えば、非散乱エリア及び散乱エリア）を順次的にナビゲートする。
本発明の一部の実施形態は、移動式ロボットを動作する方法を含む。本方法は、少なくとも１つのプロセッサによって、非一時的コンピュータ可読ストレージ媒体に格納されたコンピュータ可読命令を実行して、動作を実行する段階を含み、この動作は、表面のナビゲーションに応答して移動式ロボットによって収集された占有データに基づいて表面のそれぞれの領域を定めるセグメンテーションマップを生成する段階と、それぞれの領域の少なくとも１つのサブ領域を非散乱エリア及び散乱エリアとして分類又は識別する段階と、サブ領域の識別に基づいてカバレージパターンをコンピュータ計算する段階を含む。このカバレージパターンは、非散乱エリア及び散乱エリアのナビゲーションのシーケンスを示し且つ移動式ロボットに提供される。カバレージパターンに応答して、移動式ロボットはカバレージパターンによって示されたシーケンスで表面のそれぞれの領域のうちの少なくとも１つの領域の非散乱エリア及び散乱エリアを順次的にナビゲートする。
本発明の一部の実施形態は、移動式ロボットを動作するためのコンピュータプログラム製品を含む。コンピュータプログラム製品は、コンピュータ可読命令を格納させた非一時的コンピュータ可読媒体を含み、コンピュータ可読命令は、プロセッサによって実行されたときに、表面のナビゲーションに応答して移動式ロボットによって収集された占有データに基づいて表面のそれぞれの領域を定めるセグメンテーションマップを生成する段階と、それぞれの領域の少なくとも１つの領域のサブ領域を非散乱エリア及び散乱エリアとして分類又は識別する段階と、サブ領域の識別に基づいてカバレージパターンをコンピュータ計算する段階と、を含む動作をプロセッサに実行させる。カバレージパターンは、非散乱エリア及び散乱エリアのナビゲーションのシーケンスを示し、移動式ロボットに提供される。カバレージパターンに応答して、移動式ロボットは、カバレージパターンによって示されたシーケンスで表面のそれぞれの領域のうちの少なくとも１つの領域の非散乱エリア及び散乱エリアを順次的にナビゲートする。
一部の実施形態では、コンピューティングデバイスは、移動式ロボットの１つの構成要素とすることができ、占有データは、移動式ロボットの少なくとも１つのセンサによって検出することができる。動作は更に、カバレージパターンによって示されたシーケンスで表面のそれぞれの領域のうちの少なくとも１つの領域の非散乱エリア及び散乱エリアを順次的にナビゲートするよう、移動式ロボットの駆動装置を操作する段階を含むことができる。
一部の実施形態では、このコンピューティングデバイスは、移動式ロボットに通信可能に結合されたサーバの１つの構成要素とすることができる。動作は更に、表面のナビゲーションに応答して移動式ロボットから占有データを受け取る段階と、データストアにセグメンテーションマップを格納する段階とを含むことができる。
一部の実施形態では、シーケンスは更に、表面の周囲のナビゲーションを含むことができ、移動式ロボットは、カバレージパターンによって示されたシーケンスで表面の非散乱エリア、散乱エリア、及び周囲を順次的にナビゲートすることができる。
一部の実施形態では、カバレージパターンは更に、非散乱エリアについてのランク方向を示すことができる。このランク方向は、別の領域の寸法よりも長いそれぞれの領域のうちの少なくとも１つの領域の寸法に対応することができ、移動式ロボットは、カバレージパターンによって示されたランク方向で非散乱エリアを横断することができる。
一部の実施形態では、セグメンテーションマップによって定められたそれぞれの領域がそれぞれの部屋に対応することができる。カバレージパターンは更に、それぞれの部屋のナビゲーションの順序を示すことができ、移動式ロボットは、カバレージパターンによって示された順序でそれぞれの部屋の次の部屋のナビゲーションの前にカバレージパターンによって示されたシーケンスでそれぞれの部屋のうちの１つの部屋の非散乱エリア及び散乱エリアを順次的にナビゲートすることができる。
一部の実施形態では、カバレージパターンをコンピュータ計算する段階は更に、散乱エリアとの近接度に基づいて非散乱エリアのナビゲーションを終了させるための表面上の位置を決定する段階を含むことができる。カバレージパターンによって示されたランク方向での非散乱エリアの横断に応答して、移動式ロボットは、散乱エリアとの近接度を有する位置で非散乱エリアのナビゲーションを終了させることができ、ランダムパターンで散乱エリアを横断することができる。散乱エリアの横断に応答して、移動式ロボットは、サブ領域の少なくとも１つの他のサブ領域を横断する前にランク方向にて非散乱エリアを横断しないようにすることができる。
一部の実施形態では、動作は更に、セグメンテーションマップをユーザデバイスに提供する段階を含むことができる。ユーザデバイスは、ユーザが見るためにセグメンテーションマップを表示するよう構成されるディスプレイ又は他のユーザインタフェースを含むことができる。動作はまた、セグメンテーションマップを提供することに応答してユーザデバイスから選択入力を受け取る段階と、選択入力に基づいてカバレージパターンをコンピュータ計算する段階とを含むことができる。
一部の実施形態では、選択入力は、それぞれの領域及び／又は該領域のサブ領域の少なくとも１つについての掃除のそれぞれのレベルを含むことができる。カバレージパターンは、掃除のそれぞれのレベルを示すように生成することができ、移動式ロボットは、カバレージパターンによって示された掃除のそれぞれのレベルに従ってそれぞれの領域及び／又は該領域のサブ領域の少なくとも１つをナビゲートする際に幾つかの掃除パスを実行することができる。
一部の実施形態では、選択入力は、それぞれの領域及び／又は該領域のサブ領域のうちの１又は２以上についてのユーザ定義の境界又はラベルを含むことができる。カバレージパターンは、ユーザ定義の境界又はラベルを示すように生成することができ、移動式ロボットは、カバレージパターンによって示されたユーザ定義の境界又はラベルに従ってそれぞれの領域及び／又は該領域のサブ領域のうちの１又は２以上の領域及び／又はサブ領域のナビゲーションを回避することができる。
一部の実施形態では、動作は、サブ領域のそれぞれの床タイプを検出する段階を含み、カバレージパターンをコンピュータ計算する段階は更に、カバレージパターンに対応するサブ領域のそれぞれの床タイプに基づいて非散乱エリア及び散乱エリアのナビゲーションのシーケンスを決定する段階を含むことができる。
一部の実施形態では、セグメンテーションマップは、表面の少なくとも１つの前のナビゲーションに応答してユーザデバイスから前に受け取られた及び／又は移動式ロボットによって収集されたデータを含むことができる。
一部の実施形態では、セグメンテーションマップを生成する段階は、表面のナビゲーションに応答して移動式ロボットによって収集された占有データと、表面の少なくとも１つの前のナビゲーションに応答して移動式ロボットによって収集されたデータとを比較する段階と、この比較によって示される共通点を含め且つこの比較によって示される外れ値（outliers）を除去するようにセグメンテーションマップを更新する段階と、を含むことができる。
一部の実施形態では、セグメンテーションマップを生成する段階は、閾値関数を適用することによって占有データに基づくバイナリ画像をコンピュータ計算する段階と、バイナリ画像に分水嶺変換（watershed transformation）を実行して、距離変換を適用することによってバイナリ画像をそれぞれの領域に区分する段階と、を含むことができる。
一部の実施形態では、セグメンテーションマップは、表面のナビゲーションに応答して移動式ロボットによって収集された占有データによって示される実際の境界に対する簡素化された境界を含むことができる。
一部の実施形態では、動作は更に、簡素化された境界を有するセグメンテーションマップを修正して、セグメンテーションマップをユーザデバイスに提供する前に散乱エリアの識別に応答して散乱エリアを示す段階を含むことができる。
一部の実施形態では、非散乱エリア及び散乱エリアとしてサブ領域を識別する段階は更に、複数のパターン及びパターンの識別を含むデータストアにアクセスする段階と、データストアに格納された複数のパターンとの類似性に基づいてサブ領域内の画素領域を分類する段階と、を含むことができる。
一部の実施形態では、複数のパターンの識別のうちの１又は２以上は、１又は２以上のユーザデバイスから受け取ったそれぞれのラベリング入力に基づくことができる。
一部の実施形態では、サブ領域を非散乱エリア及び散乱エリアとして識別する段階は更に、データストアへのアクセスに応答して壁に対応する静的構造物又は散乱物に対応する動的構造物として画素領域を分類する段階を含むことができる。
一部の実施形態では、サブ領域を非散乱エリア及び散乱エリアとして識別する段階は更に、占有データに基づいて少なくとも１つの境界を識別する段階と、データストアへのアクセスの前に、少なくとも１つの境界に隣接する付随画素領域と少なくとも１つの境界から離間した分離画素領域として画素領域を区別する段階と、を含むことができる。
本発明の一部の実施形態は、移動式床掃除ロボットを動作するための方法を含む。本方法は、移動式床掃除ロボットによって生成された占有グリッドに基づいて表面の複数の領域を識別するために移動式床掃除ロボットを使用して密閉空間の表面のセグメンテーションマップを生成する段階と、表面のセグメンテーションマップを表示するよう構成されたディスプレイを含むユーザデバイスに表面のセグメンテーションマップを送る段階と、ユーザからユーザデバイスに受け取られた入力に基づいてユーザデバイスから修正済みセグメンテーションマップを受け取る段階と、を含むことができる。
一部の実施形態は、複数の領域の個々の領域において掃除動作を順次的に実行することによって表面に掃除動作を実行する段階を含み、複数の領域の所与の領域における掃除動作は、複数の領域の別の領域における掃除動作の開始前に完了する。
一部の実施形態では、セグメンテーションマップを送る段階は、少なくとも１つの無線通信リンクを使用してセグメンテーションマップデータを無線で送信する段階を含む。一部の実施形態では、少なくとも１つの無線通信リンクは、ユーザデバイスと移動式床掃除ロボットとの間の通信を提供するローカルエリアネットワークを含むようにする。一部の実施形態では、少なくとも１つの無線通信リンクは、占有グリッド、セグメンテーションマップ及び／又は修正済みセグメンテーションマップの永続ストレージを提供するよう構成されたサーバを含む。
一部の実施形態では、修正済みセグメンテーションマップは、掃除される複数の領域のサブセットを識別し、サブセットは複数の領域の１つの一部分を含み、修正済みセグメンテーションマップは、複数の領域が掃除される順序を識別するようにする。
一部の実施形態は、修正済みセグメンテーションマップに基づいて掃除動作を実行することによって表面に掃除動作を実行する段階を含む。一部の実施形態では、修正済みセグメンテーションマップに基づいて掃除動作を実行する段階は、複数の領域のサブセットに掃除動作を実行する段階を含む。一部の実施形態では、修正済みセグメンテーションマップに基づいて掃除動作を実行する段階は、ユーザによって選択された複数のレベルのそれぞれのレベルで且つ障害物のないそれぞれの領域におけるエリアの最大寸法に対応するランク方向で複数の領域のうちの１つの領域の掃除動作を実行する段階を含み、複数のレベルは、移動式床掃除ロボットが複数の領域のうちの領域にて行う掃除パスの数に関連付けられる。
一部の実施形態では、移動式床掃除ロボットで表面を探索することによって占有グリッドを生成する段階は、占有内の移動式床掃除ロボットのローカライゼーションの視覚マップを生成する段階を含む。一部の実施形態では、ローカライゼーションの視覚マップを生成する段階は、移動式床掃除ロボットによって取り込まれた複数の画像を使用して特徴を検出する段階と、移動式床掃除ロボットによって取り込まれた画像に基づいて特徴の特徴記述を決定する段階と、特徴データベースで特徴ルックアップを実行することによって特徴を分類する段階と、複数の画像に関連付けられる移動式床掃除ロボットのポーズ及び位置を決定する段階と、移動式床掃除ロボットのポーズ及び位置に関連付けられるランドマークを占有グリッドにおいて生成する段階と、を含むようにする。一部の実施形態では、本方法は更に、移動式床掃除ロボットの複数のミッションにわたって生成された更新済みランドマークデータによって占有グリッドを増強する段階を含むようにする。
一部の実施形態では、占有グリッドが複数の画素を含み、複数の画素の各々が、画素位置が占有されているか、横断可能であるか、又は未探索であるかに対応したグレースケール値を有する。一部の実施形態では、表面の複数の領域を識別するために占有グリッドを使用して表面のセグメンテーションマップを生成する段階は、各画素値を複数の画素の対応する画素を囲む、画素に対応した中央値に置き換える中央値フィルタを複数の画素に適用して、フィルタ処理された占有グリッドを生成する段階と、閾値関数をフィルタ処理された占有グリッドに適用することによってフィルタ処理された占有グリッドのバイナリ画像をコンピュータ計算する段階と、バイナリ画像に分水嶺変換を実行して距離変換を適用することによってバイナリ画像を複数の領域及び複数の領域の頂点に区分する段階と、を含むようにする。
一部の実施形態は、バイナリ画像において複数の領域に散乱物除去動作を実行する段階を含む。一部の実施形態では、散乱物除去動作を実行する段階は、バイナリ画像の境界を識別する段階と、バイナリ画像の境界から分離された障害物に対応する画素を識別及び除去する段階と、バイナリ画像の境界に付随する障害物に対応する画素を識別及び除去する段階と、を含む。一部の実施形態は、複数の領域の頂点を統合して複数の領域を結合し且つ複数の領域に隣接する廊下を定める段階を含む。
一部の実施形態は、複数の領域を含むセグメンテーションマップに基づいた自動床カバレージパターンを生成する段階を含み、自動床カバレージパターンは、複数の領域の各々に対応するランク方向の選択を含む。一部の実施形態では、ランク方向は、領域の他の寸法よりも長い領域の寸法を定める。一部の実施形態では、ランク方向が、障害物が無く且つ領域の他の寸法よりも長い領域の寸法とは異なるそれぞれの領域の一部分の寸法を定めるようにする。一部の実施形態では、自動床カバレージパターンは、複数の領域の各領域に対して、カバレージの領域の散乱していない部分、カバレージの領域の周囲、及びカバレージの領域の散乱部分を順次的に選択する段階を含む。
一部の実施形態は、移動式床掃除ロボット及び表面のセグメンテーションマップを表示するよう構成されたディスプレイを含むユーザ移動端末と通信するよう構成されたリモートコンピューティングデバイスに表面のセグメンテーションマップを送る段階を含む。一部の実施形態では、表面のセグメンテーションマップをリモートコンピューティングデバイスに送る段階は、セグメンテーションマップの生成に応答して実行されて、移動式床掃除ロボットに対応する履歴データを維持する。一部の実施形態は、移動式床掃除ロボットから送られたデータ及び／又はユーザからユーザデバイスに受け取られた入力に基づいてリモートコンピューティングデバイスから修正済みセグメンテーションマップを受け取る段階を含む。一部の実施形態は、修正済みセグメンテーションマップに基づいて掃除動作を実行することによって、表面に掃除動作を実行する段階を含む。一部の実施形態では、セグメンテーションマップは、移動式床掃除ロボットに対応する動作データを含む。一部の実施形態では、動作データは、セグメンテーションマップ上の位置の関数として移動式床掃除ロボットによって収集されたデブリの量に対応するデブリ集合を識別する掃除関数マップを含むようにする。
本発明の一部の実施形態は、ユーザ端末の少なくとも１つのプロセッサによって非一時的コンピュータ可読ストレージ媒体を含むメモリに格納されたコンピュータ可読命令を実行して、動作を実行する段階を含む、ユーザ端末を動作する方法を含み、この動作は、ユーザ端末の送受信機を介して、表面のナビゲーションに応答して移動式ロボットによって収集された占有データに基づいて表面のそれぞれの領域を定めるセグメンテーションマップを受け取る段階を含む。セグメンテーションマップは、それぞれの領域のうちの少なくとも１つの領域のサブ領域を散乱及び非散乱エリアとして識別する。動作は更に、ユーザ端末のユーザインタフェースを介して、セグメンテーションマップのグラフィック表示を表示する段階と、ユーザインタフェースを介して、セグメンテーションマップのそれぞれの領域及び／又は該領域のサブ領域の１又は２以上に対応する選択入力を受け取る段階と、送受信機を介して、選択入力を含む修正済みセグメンテーションマップを移動式ロボットに送る段階と、を含む。
本発明の一部の実施形態は、コンピュータ可読ストレージ媒体を含むコンピュータプログラム製品を含み、コンピュータ可読ストレージ媒体は、該媒体にコンピュータ可読プログラムコードを組み込ませており、コンピュータ可読プログラムコードは、コンピュータのプロセッサによって実行されたときに、表面の複数の領域を含み且つ移動式床掃除ロボットによって生成された密閉空間の表面のセグメンテーションマップを受け取る段階と、コンピュータのディスプレイにセグメンテーションマップの画像を表示する段階と、コンピュータのユーザ入力デバイスを介して表面のセグメンテーションマップに対応するユーザ入力を受け取る段階と、移動式床掃除ロボットにユーザ入力に対応して修正された修正済みセグメンテーションマップを送る段階と、を含む動作をコンピュータに実行させる。
一部の実施形態では、ユーザ入力を受け取る段階は、セグメンテーションマップの画像の見掛けを修正するためのユーザ入力を受け取る段階を含む。一部の実施形態では、画像の見掛けを修正するためのユーザ入力は、画像に対するユーザの視点の角度、次元選択、ズーム選択、及びマップ特徴選択を変更するためのユーザ入力を含むようにする。一部の実施形態では、マップ特徴選択は、セグメンテーションマップの画像にセグメンテーションマップ上の位置の関数として履歴デブリの集合のレベルを示すように表示させるヒートマップ選択を含む。一部の実施形態では、マップ特徴選択は、表示されたセグメンテーションマップの画像にセグメンテーションマップ上に選択的に散乱物を表示させる散乱物マップ選択を含むようにする。
一部の実施形態では、ユーザ入力を受け取る段階は、複数の領域のうちの１つの領域を１つよりも多い領域に分割させるよう構成された領域分割入力を受け取る段階を含む。
一部の実施形態では、ユーザ入力を受け取る段階は、複数の領域のうちの１つよりも多くの領域を単一の領域に組み合わせるよう構成された領域組み合わせ入力を受け取る段階を含むようにする。
一部の実施形態では、動作は更に、コンピュータによって、移動式床掃除ロボットによって生成されたステータス通信を受け取る段階と、ステータス通信の受け取りに応答してコンピュータのディスプレイにメッセージを表示する段階を含む。一部の実施形態では、ステータス通信は、掃除ミッションに対応する進行更新を含む。一部の実施形態では、掃除ミッションに対応する進行更新は、セグメンテーションマップの画像に掃除動作のアニメーショングラフィックとして表示されるようにする。一部の実施形態では、進行更新は、表示されるセグメンテーションマップの画像上の視覚指示を含む実質的にリアルタイムの進行更新である。
一部の実施形態では、ステータス通信は、移動式床掃除ロボットによって検出された状態を識別する警告メッセージを含む。一部の実施形態では、状態は、不完全なミッション状態を含み、移動式床掃除ロボットは掃除ミッションを完了することができない。
一部の実施形態では、状態は、予期せぬ障害物状態を含み、移動式床掃除ロボットがセグメンテーションマップに含まれない障害物を検出して、予期せぬ障害物の位置がセグメンテーションマップの画像上に表示される。
一部の実施形態では、ユーザ入力を受け取る段階が、掃除ミッション命令を含むユーザ入力を受け取る段階を含むようにする。一部の実施形態では、掃除ミッション命令は、所与のミッションにて複数の領域のどれを掃除すべきかの識別と複数の領域の識別された領域に対応する掃除順序とを含む掃除順序命令を含む。一部の実施形態では、掃除ミッション命令は、掃除すべき複数の領域の第１選択を識別する第１掃除ミッション命令と複数の領域の第１選択とは異なる掃除すべき複数の領域の第２選択を識別する第２掃除ミッションと、を含む。一部の実施形態では、第１掃除ミッション命令が第１スケジュール時間を含み、第２掃除ミッションが第１スケジュール時間とは異なる第２スケジュール時間を含むようにする。
一部の実施形態では、掃除ミッション命令は、複数の領域の第１領域の第１掃除レベルと、複数の領域の第２領域の第１掃除レベルとは異なる第２掃除レベルとを含み、第１掃除レベルは、移動式床掃除ロボットが第１領域を掃除する第１時間量を識別し、第２掃除レベルは、移動式床掃除ロボットが第２領域を掃除する第２時間量を識別する。
一部の実施形態では、掃除ミッション命令は、移動式床掃除ロボットによって掃除されない占有床スペースの一部分の識別を含む。一部の実施形態では、移動式床掃除ロボットによって掃除されない占有床スペースの一部分の識別が持続するようにする。一部の実施形態では、移動式床掃除ロボットによって掃除されない占有床スペースの一部分の識別は、単一の掃除ミッションに適用される。
一部の実施形態では、掃除ミッション命令は、移動式床掃除ロボットが掃除動作の障害物のない部分において掃除する掃除方向を識別する複数の領域のうちの各領域のための一次掃除方向を含む。
一部の実施形態では、ユーザ入力を受け取る段階は、ユーザプリファレンスデータに対する要求を含むユーザプリファレンスデータ入力を受け取る段階を含み、動作は更に、ユーザプリファレンスデータを表示する段階を含む。一部の実施形態では、ユーザプリファレンスデータを表示する段階が、履歴ユーザプリファレンスデータ及び／又は単一の掃除ミッションに対応するユーザプリファレンスデータを表示する段階を含むようにする。
一部の実施形態では、ユーザ入力を受け取る段階は、第１移動式床掃除ロボットに対応する第１掃除ミッション命令及び第２移動式床掃除ロボットに対応する第２掃除ミッションを含むロボットチーム構成入力を受け取る段階を含むようにする。一部の実施形態では、第１及び第２掃除ミッションは、占有の表面のセグメンテーションマップに対応する。一部の実施形態では、第１及び第２掃除ミッションは、占有の異なる部分の異なるセグメンテーションマップに対応するようにする。一部の実施形態では、第１移動式床掃除ロボットが掃除動作の第１タイプを実行し、第２移動式床掃除ロボットが掃除動作の第２タイプを実行する。
一部の実施形態では、コンピュータは、手持ち式移動端末であり、ディスプレイはタッチスクリーンディスプレイであるようにする。一部の実施形態は、動作が更に、タッチスクリーンディスプレイを介してグラフィックユーザインタフェースを生成する段階を含み、ユーザ入力デバイスを介してユーザ入力を受け取る段階は、タッチスクリーンを使用してグラフィックユーザインタフェースを介してユーザ入力を受け取る段階を含むようにする。
一部の実施形態では、修正済みセグメンテーションマップを移動式床掃除ロボットに送る段階は、修正済みセグメンテーションマップを永続ストレージに提供するよう構成されたリモートサーバに修正済みセグメンテーションマップを送る段階を含む。
本発明の一部の実施形態は、プロセッサ及びプロセッサに結合されたメモリを含むロボット管理ノードを含み、メモリは、プロセッサによって実行されたときにプロセッサに動作を実行させるコンピュータ可読プログラムコードを含む。動作は、ロボットからロボットによって収集された表面ベースの占有データの複数の領域を識別する密閉空間の表面のセグメンテーションマップを受け取る段階と、ロボットに関連付けられるデータストアに占有の表面のセグメンテーションマップを格納する段階と、を含む。
一部の実施形態では、動作は更に、セグメンテーションマップに対応するユーザ入力を受け取るユーザデバイスからのユーザ入力データを受け取る段階を含む。一部の実施形態では、セグメンテーションマップは、修正済みセグメンテーションマップを生成するためにユーザ入力データに基づいて修正される。一部の実施形態では、動作は更に、ユーザ入力データ及びセグメンテーションマップに基づいて修正されたセグメンテーションマップを修正済みセグメンテーションマップに応答して掃除ミッションを実行することができるロボットに送る段階を含む。
一部の実施形態では、ロボットからセグメンテーションマップを受け取る段階は、複数の掃除ミッション中にロボットによって生成された複数のセグメンテーションマップを受け取る段階を含み、セグメンテーションマップは、後で受け取られたセグメンテーションマップによって更新及び／又は増強され、セグメンテーションマップを格納する段階は、複数のセグメンテーションマップを格納して修正済みセグメンテーションマップを含む履歴セグメンテーションマップデータを生成する段階を含む。
一部の実施形態では、修正済みセグメンテーションマップは、掃除すべき複数の領域のサブセットを識別し、該サブセットは複数の領域の１つの一部分を含み、修正済みセグメンテーションマップは、複数の領域を掃除すべき順序を識別するようにする。
一部の実施形態では、掃除ミッションは、ユーザによって選択された複数のレベルのそれぞれのレベルで及び障害物のないそれぞれの領域のエリアの最大寸法に対応するランク方向で複数の領域のうちの１つの領域の各々の掃除動作を実行する段階を含み、複数のレベルは、複数の領域のうちの１つの領域にてロボットが行う掃除パスの数に関連付けられるようにする。
一部の実施形態では、ランク方向は、他の領域の寸法よりも長い領域の寸法を定める。
一部の実施形態では、ランク方向は、障害物がなく且つ領域の他の寸法よりも長い領域の寸法とは異なるそれぞれの領域の一部分の寸法を定めるようにする。
一部の実施形態では、セグメンテーションマップは、ロボットに対応する動作データを含む。一部の実施形態では、動作データは、セグメンテーションマップ上の位置の関数としてロボットによって収集されたデブリの量に対応するデブリの集合を識別する掃除関数マップを含むようにする。一部の実施形態では、動作データは、セグメンテーションマップ上の位置の関数としてロボットによって実行されるパスの量を識別する掃除関数マップを含む。
一部の実施形態では、ユーザ入力データを受け取る段階は、ロボットに対応する第１掃除ミッション命令及び第２ロボットに対応する第２掃除ミッションを含むロボットチーム構成入力を受け取る段階を含む。
一部の実施形態では、プロセッサ及びメモリは、ロボット及び占有からリモートにあるクラウドベースのサーバに含まれるようにする。
一部の実施形態は、本明細書で説明する動作を実行するよう作動する電子デバイスに関する。
１つの実施形態に関して説明された本発明の態様は、異なる実施形態に組み入れることができるが、これに関して詳細には説明されていない点に留意されたい。すなわち、全ての実施形態及び／又は何れかの実施形態の特徴は、何れかの方法及び／又は組み合わせで組み合わせることができる。本発明のこれらの及び他の目的及び／又は態様は、以下に示す明細書で詳しく解説する。
本発明の更なる特徴、利点及び詳細は、図面及び以下の実施形態の詳細な説明を読むと、当業者によって理解されるであろうが、かかる説明は、単に本発明を例証するためにある。実施形態による他の方法、デバイス、及びコンピュータプログラム製品は、以下の図面及び詳細な説明を精査することで当業者に明らかであり、又は明らかになるであろう。全てのこのような追加の方法、デバイス、及びコンピュータプログラム製品は本明細書内に含まれるものとし、本発明の主題の範囲内にあり、且つ添付の請求項によって保護されるものとする。また本明細書で開示する全ての実施形態は別々に実施する又は何れかの方法及び／又は組み合わせで組み合わせることができるものとする。
本発明の態様は例示として例証され、添付図面によって限定されない。
本発明の一部の実施形態による、ロボット管理を提供するのに使用することができるデバイスのシステムを示すブロック図である。 本発明の一部の実施形態による、移動式ロボットを表す概略図である。 本発明の一部の実施形態による、移動式ロボットを示す上面図である。 本発明の一部の実施形態による、移動式ロボットを示す底面図である。 本発明の一部の実施形態による、ロボット管理ノードの実施例とすることができる電子デバイスを示すブロック図である。 本発明の一部の実施形態による、無線通信デバイス及びその動作方法を示すブロック図である。 本発明の一部の実施形態による、移動式床掃除ロボットを動作する方法を示すブロック図である。 本発明の一部の実施形態による、ユーザデバイスでのコンピュータ可読プログラム製品の動作を示すブロック図である。 本発明の一部の実施形態による、ロボット管理ノードでのコンピュータプログラム製品の動作を示すブロック図である。 本発明の一部の実施形態による、自動化マップ掃除及びセグメンテーション動作における生データマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、自動化マップ掃除及びセグメンテーション動作における掃除済みマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、自動化マップ掃除及びセグメンテーション動作におけるセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、動作中の生データマップのユーザディスプレイプリファレンス選択肢を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、動作中の散乱画素を備えたセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、動作中の散乱領域を備えたセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域統合を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域統合を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域統合を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域統合を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域統合を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域統合を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域の分割を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域の分割を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域の分割を実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域ラベリングを実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域ラベリングを実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域ラベリングを実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域ラベリングを実行する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でロボットの進行を表示する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上で障害状態の警告をユーザに提供する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、セグメンテーションマップ上でロボットの掃除シーケンスを提供するユーザ入力を受け取る動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、同じ占有で複数ランを使用したマップ集約の動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、散乱物のない図１６Ａ－１６Ｇに示した生データマップに基づく集約動作からのセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、散乱物を含む図１６Ａ－１６Ｇに示した生データマップに基づく集約動作からのセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、図１６Ａ－１６Ｇに示した生データマップに基づく占有マップの生データを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、図１６Ａ－１６Ｇに示した生データマップに基づく占有マップの３次元表示を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、密閉空間に対応する永続情報を生成するための動作を示した、占有マップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に収集されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィックを示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット探索中に生成されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、ロボット管理を提供するのに使用することができるデバイスのシステムを示す図である。 本発明の一部の実施形態による、掃除ミッションに対応するミッションカバレージマップを含む履歴画面を示す、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示を示す図である。 本発明の一部の実施形態による、掃除ミッションに対応するリアルタイムレポートを示す占有マップを示す、通信デバイスのインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、マルチミッションカバレージディスプレイを示す占有マップを示す、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示を示す図である。 本発明の一部の実施形態によって表示することができる部屋ベースのデータを示す通信デバイスのユーザインタフェースを介して示すことができる、グラフィック表示を示す図である。 本発明の一部の実施形態による、音声コマンドを使用して通信デバイスを介してユーザ入力を提供することができる動作を示したグラフィック表示を示す図である。 本発明の一部の実施形態による、通信デバイスのタッチスクリーン上のジェスチャに応答して掃除ミッション境界を定めるユーザ入力の受け取りのグラフィック表示を示す図である。 本発明の一部の実施形態による、生データマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、掃除済みマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、検出された散乱領域を有する掃除済みマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作を含むセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作を含むセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作を含むセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作を含むセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、それぞれのエリア固有の掃除動作及び／又はエリア掃除動作を実行するシーケンスのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オープンエリア掃除動作の掃除パターンのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オープンエリア掃除動作の掃除パターンのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オープンエリア掃除動作の掃除パターンのユーザ選択のために通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、エリア固有の掃除動作の床タイプの検出及び／又はユーザ選択を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、通信デバイスのユーザインタフェースを介したディスプレイのための簡素化マップを生成する動作を示した図である。 本発明の一部の実施形態による、通信デバイスのユーザインタフェースを介したディスプレイのための簡素化マップを生成する動作を示した図である。 本発明の一部の実施形態による、通信デバイスのユーザインタフェースを介したディスプレイのための簡素化マップを生成する動作を示した図である。 本発明の一部の実施形態による、通信デバイスのユーザインタフェースを介したディスプレイのための簡素化マップを生成する動作を示した図である。 本発明の一部の実施形態による、オブジェクト検出動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オブジェクト検出動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オブジェクト検出動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オブジェクト検出動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オブジェクト検出動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、オブジェクト検出動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。 本発明の一部の実施形態による、散乱物分類及び特徴抽出の動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、散乱物分類及び特徴抽出の動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、散乱物分類及び特徴抽出の動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、散乱物分類及び特徴抽出の動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、複数のマップ間の特徴マッチング及びセグメンテーション移行により永続マップデータを更新する動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、複数のマップ間の特徴マッチング及びセグメンテーション転送により永続マップデータを更新する動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、複数のマップ間の特徴マッチング及びセグメンテーション転送により永続マップデータを更新する動作を示した、グラフィック表示を示す図である。 本発明の一部の実施形態による、時間ステータスのユーザ選択に応答して移動式ロボットの動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示を示す図である。
次に、本発明の例示的な実施形態が示された添付図面を参照しながら、本発明について以下で詳細に説明する。図面では、明確にするために、領域又は特徴部の相対的なサイズが誇張されている場合がある。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書に記載される実施形態に限定されると解釈すべきではなく、むしろ、これらの実施形態は、本開示が徹底いて完璧であるように提供され、当業者に対して本発明の範囲を完全に伝えるであろう。
１つの要素が別の要素に「結合されている」又は「接続されている」と示されるときには、他の要素に直接結合又は接続することができ、或いは、介在する要素が存在する場合もある。対照的に、１つの要素が別の要素に「直接結合される」又は「直接接続される」と示されるときには、介在する要素は存在しない。同じ数字は全体を通して同じ要素を示す。
加えて、「下」、「下方」、「下側」、「上」、「上方」、「上側」などの空間的に相対的な用語は、図に示された別の要素又は特徴に対する１つの要素又は特徴の関係を説明するのに説明を容易にするため本明細書で使用することができる。空間的に相対的な用語は、図に描かれた方位に加えて使用中又は動作中のデバイスの異なる方位を含むことが意図される点は理解されるであろう。例えば、図におけるデバイスが転回された場合、他の要素又は特徴の「下」又は「真下」として記載される要素は、他の要素又は特徴の「上」に配向されることになる。従って、例示的な用語「の下」は、上又は下の方位の両方を包含することができる。デバイスは、それ以外の向きにすることができ（９０度又は他の方位に回転される）、本明細書で使用される空間的に相対的な記述子は、これに従って解釈される。
本明細書で使用される用語は、特定の実施形態を説明する目的のものに過ぎず、本発明を限定するものではない。本明細書で使用される場合、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明確にそうでないことを示さない限り、複数形も含むものとする。本明細書で使用される場合の用語「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含んでいる）」は、記載された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を規定するが、１又は２以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はこれらのグループの存在又は追加を排除するものではない。本明細書で使用する場合、「及び／又は」という表現は、関連付けられる列挙された項目の１又は２以上の何れか及び全ての組合せを含む。
「移動式ロボット」は、複数のセンサ入力に基づいて可変環境状態をナビゲートして自律的決定を行うためのプロセッサ、メモリ、及び駆動システムを含む何れかのデバイスを指すことができる。本明細書で記載される移動式ロボットは、ロボットクリーナ（掃除機）（ｉＲｏｂｏｔ（登録商標）ＲＯＯＭＢＡ（登録商標）、ＢＲＡＡＶＡ（登録商標）、及び／又はＢＲＡＡＶＡＪｅｔ（商標）クリーナなど）を含むことができる。「通信信号」は、ネットワーク対応電子デバイスによって送信される何れかの信号を指すことができる。このような電子デバイスは、プロセッサ、メモリ、及び無線パーソナルエリアネットワーク、ローカルエリアネットワーク及び／又はワイドエリアネットワークを介した通信のための送信機及び／又は受信機を含むことができ、限定されないが、モノのインターネット（ＩｏＴ）デバイスを含むことができる。無線通信信号は、限定されないが、Ｗｉ－Ｆｉ信号、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号、及び／又は光学信号を含む無線周波数信号を含むことができる。
本明細書で使用する「無線通信デバイス」は、限定されないが、例えば、セルラーネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ＤＶＢ－Ｈネットワークなどのデジタルテレビジョンネットワーク、衛星ネットワーク、ＡＭ／ＦＭ放送送信機、及び／又は別の通信端末と無線インタフェースを介して通信信号を受信／送信するよう構成されたデバイスを含む。無線通信デバイスは、「無線通信端末」、「無線端末」及び／又は「移動端末」と呼ぶことができる。無線通信デバイスの実施例には、限定されないが、衛星又はセルラーラジオ電話；データ処理、ファクシミリ及びデータ通信機能を備えたセルラーラジオ電話を組み合わせることができるパーソナル通信システム（ＰＣＳ）端末；無線電話、ページャ、インターネット／イントラネットアクセス、ウェブブラウザ、オーガナイザ、カレンダー及び／又は全地球測位システム（ＧＰＳ）受信機を含むことができるＰＤＡ；及びＷＬＡＮルータなどを含むラジオ送受信機を含む従来のラップトップ及び／又はパームトップ受信機又は他の装置が挙げられる。
他に定義されない限り、本明細書で使用する全ての用語（技術的及び科学的用語を含む）は、本発明が属する技術分野の当業者が通常理解されるのと同じ意味を有する。更に、一般的に使用される辞書で定義されるような用語は、関連の技術分野の文脈での意味と一致する意味を有するものと解釈すべきであり、本明細書で明確に定義されない限り、理想的な意味又は過度に公式の意味に解釈されないものとする。
図１は、本発明の一部の実施形態による、ロボット管理を提供するのに使用することができるデバイスのシステムを示すブロック図である。一部の実施形態では、本明細書で開示されるシステム及び／又は動作が、１又は２以上の有線及び／又は無線通信及び／又はデータネットワーク２０４を介して１又は２以上のロボット１００及び／又は１又は２以上のユーザデバイス２０２に通信可能に結合することができるロボット管理ノード２００を含むことができるようにする。一部の実施形態では、ロボット１００及びユーザデバイス２０２は、近距離通信プロトコルを介して直接通信可能に結合することができる。ユーザデバイス２０２は、デスクトップ又はラップトップコンピュータ、タブレット、又はスマートフォンなどの有線又は無線通信端末とすることができる。ユーザデバイス２０２は、ロボット１００及び／又はロボット管理ノード２００と通信するためにメモリに格納されたアプリケーションを含むことができる。
一部の実施形態では、ロボット管理ノード２００は、１又は２以上のロボット１００及び／又は１又は２以上のユーザデバイス２０２に対して通信を受信及び送信することができるアプリケーションのランニングインスタンスを含む専用コンピュータを含むことができる。一部の実施形態では、ロボット管理ノード２００が、クラウドベースサーバを含むファイルサーバ、データベースサーバ、アプリケーションサーバ及び／又はウェブサーバに対応するインスタンス及び／又は動作を更に含むことができるようにする。一部の実施形態では、ロボット管理ノード２００は、施設及び／又は建物の電源への有線電源接続を介して電力を受け取る定置又は固定ロケーション処理デバイスを含む。一部の実施形態では、ロボット管理ノード２００が有線データ接続を介してデータを送信及び／又は受け取るようにする。一部の実施形態では、ロボット管理ノード２００は、オンボード電源を含み且つ無線及び／又は有線データ接続を使用してデータを送信及び／又は受け取る移動処理デバイス上に設けることができる。本明細書で開示するように、ロボット管理ノード２００は、セグメンテーションマップ、ユーザ入力、ロボット動作データなどの永続性ストアを提供することができる。例えば、永続性ストアは、その開示内容が引用により組み入れられる「ＭＥＴＨＯＤＳ， ＳＹＳＴＥＭＳ， ＡＮＤ ＤＥＶＩＣＥＳ ＦＯＲ ＭＡＰＰＩＮＧ ＷＩＲＥＬＥＳＳ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＩＧＮＡＬＳ ＦＯＲ ＭＯＢＩＬＥ ＲＯＢＯＴ ＧＵＩＤＡＮＣＥ（移動式ロボットガイダンスの無線通信信号をマッピングする方法、システム及びデバイス）」という名称の米国特許出願第１５／５８８，１１７号明細書に記述されるように、１又は２以上の動作環境のナビゲーションの際にロボット１００によって収集された占有データ及び／又は無線信号強度／カバレージデータから生成されるマップを含むことができる。
図２Ａ－２Ｃは、移動式ロボット１００（真空掃除ロボットとして例示）を含む自律カバレージロボットシステムを示している。移動式ロボット１００は、基地局又は充電ドック及び／又は排出ドックと嵌合するようになっている。本システムはまた、移動式ロボット１００及びドックの協調動作する構成要素を各々が含む充電又はエネルギー管理システム及び自動ドッキング制御システムを含む。
通信／ガイダンス信号検出器１５２は、移動式ロボット１００のハウジング１０６の上部前面に装着される。検出器１５２は、エミッタ（例えば、ドックの回避信号エミッタ及び／又はホーミング及びアライメントエミッタ）及び（任意的に）ナビゲーション又は仮想壁ビーコンのエミッタから発射される信号を受け取ることができる。
ナビゲーション制御システムを移動式ロボット１００と有利に組み合わせて使用して、移動式ロボット１００によって自律的に実施されるランダムモーションを含むモーションアルゴリズムに（移動式ロボット１００の動きを制御する制御信号の形態の）決定論的構成要素を追加することによって、移動式ロボット１００の掃除効率を向上させることができる。ナビゲーション制御システムはナビゲーション制御アルゴリズムの指示の下で動作する。このナビゲーション制御アルゴリズムは、予め設定されたトリガ事象の定義を含む。広義に説明すると、ナビゲーション制御システムは、ナビゲーション制御アルゴリズムの指示の下で、移動式ロボット１００の移動アクティビティを監視する。予め設定されたトリガ事象は、ロボット１００の移動アクティビティにおける特定の発生又は状態である。予め設定されたトリガ事象が実現すると、ナビゲーション制御システムは、制御信号を生成してロボット１００に伝送するよう動作する。制御信号に応答して、移動式ロボット１００は、制御信号によって指示された指揮、すなわち所定の指揮を実施又は実行するよう動作する。この指示された指揮は、移動式ロボット１００の移動活動の決定論的構成要素を表す。
移動式ロボット１００が掃除機がけしている間、移動式ロボットは、固定ドックに定期的に接近することになる。ドックとの接触は、ドックに損傷を与えるか、又はドッキングを不可能にするエリアにドックを移動させる可能性がある。従って、回避機能が求められる。偶発的接触を避けるために、ドックは、回避信号を生成することができ、該回避信号は、ドックの上面でエミッタから送ることができる。ドックからの回避信号の半径方向の範囲は、事前に定義された工場設定、ユーザ設定、又は他の考慮事項に応じて変えることができる。最小限でも、回避信号は、移動式ロボット１００との意図しない接触からドックを保護するのに十分な距離だけを投射する必要がある。回避信号の範囲は、用途に応じて、ドックの周辺超えから、ドックから最大で数フィートを超えるまで延びることができる。
移動式ロボット１００は、何れかの適切なロボット及び関連するコンピューティングデバイスとすることができ、本明細書で記載される構成要素、特徴及び機能の全てが、本開示の実施形態による移動式ロボットで必要とされる訳ではないことは理解されるであろう。図２Ａ～２Ｃを参照すると、例示的な移動式ロボット１００は、シャーシ２１０、コントローラ２２０、メモリ２２２、バッテリ２２４、バッテリ充電器２２６、人間－機械インタフェース（ＨＭＩ）２２８、駆動システム２３０、マッピング／ナビゲーションシステム２４０、サービス動作システム２４２（本明細書で「掃除システム」及び「掃除ヘッド」とも呼ばれる）、無線通信システム２５０、ＩＲエミッタ２６０、及び環境センサ２７０Ａ～Ｈ、デブリビン２４２Ａ（掃除動作によって収集されたデブリを格納するためのもの）、ビンレベルセンサ２４２Ｂ、塵埃抽出センサ２４２Ｃ（掃除動作によって収集されたデブリの特徴密度を検出するためのもの）、インジケータライト２７４Ａ、音声トランスデューサ２７４Ｂ、及び掃除モード選択スイッチ又はボタン２７４Ｃを含むことができる。
環境センサ２７０Ａ～２７０Ｈは、図２Ａの上部透視図に示されるような、移動式ロボット１００の上部表面に装着されるカメラ２７０Ｂを含むことができる。カメラ２７０Ｂを使用して、ロボット１００をナビゲートし、他の動作に使用する画像を取得することができる。一部の実施形態では、カメラ２７０Ｂは、視覚同時位置及びマッピンング（ＶＳＬＡＭ）カメラであり、動作環境における特徴及びランドマークを検出して、これに基づいて占有マップを構築するのに使用される。
図２Ｂの底部透視図に示されるように、移動式ロボット１００は更に、移動式ロボットハウジング１０６の周囲装着され又は位置付けられるバンパー１０４、クリフセンサ１９５Ａ～１９５Ｄ、及びエッジブラシ１１１を含むことができる。ハウジング１０６は、四角の前面セクションを有するように図２Ａ～２Ｂに示されており、ここにバンパー１０４が装着されるが、ハウジングは、他の実施形態では丸みのある又は円形の形状を有することもできる。移動式ロボット１００の裏面にキャスターホイール１９６を設けることができる。一部の実施形態では、キャスターホイール１９６は、移動式ロボット１００の掃除ヘッド２４２とは反対側の端部に位置付けられ、掃除ヘッド２４２が片持ち構成になるようにキャスターホイールと掃除ヘッド２４２の間にドライブローラ／トラック２３２Ａ、２３２Ｂがある。移動式ロボット１００はまた、下向き又は床に面したカメラ１９７を含むことができる。
カメラ２７０Ｂ、１９７及び／又は他の画像センサは、移動式ロボット１００の様々な動作の間にロボットのガイダンス及び動作のための情報を取得するのに使用することができる画像感知デバイスとして一体となって動作することができる。一部の実施形態では、画像感知デバイスを用いて、移動式ロボット１００の周りの障害物及び危険を検出し、障害物及び危険を回避又は対処できるようにする。画像センサデバイスの動作範囲内で、下向きに向けられたビームを使用して、床レベル又はその近傍にある障害物並びに床のクリフ（段差）又は窪みを検出することができる。上向きに向けられたビームを使用して、ロボットが挟み込まれる可能性のある障害物を検出及び回避するためにロボット１００の上部又はその上方の障害物を検出することができる。一部の実施形態では、画像感知デバイスは、移動式ロボット１００の少なくとも前方１０インチまで、部の実施形態では少なくとも１２インチまでの物体及び空隙を効率的に検出するよう動作する。
コントローラ２２０は、何れかの好適に構成された１又は複数のプロセッサを含むことができる。プロセッサは、１又は２以上のネットワークにわたって収集又は分散することができる汎用及び／又は専用プロセッサ（マイクロプロセッサ及び／又はデジタル信号プロセッサなど）などの１又は２以上のデータ処理回路を含むことができる。このプロセッサは、コンピュータ可読ストレージ媒体として以下に記載されるメモリ２２２内に格納されたプログラムコードを実行して、実施形態の１又は２以上の実施形態に対して上述の動作及び方法の一部又は全部を実行するよう構成される。メモリ２２２は、本開示の一部の実施形態によるロボットの動作を容易にするのに使用されるソフトウェア及びデータを包含する１又は２以上のメモリデバイスを表す。メモリ２２２は、限定されないが、以下のタイプのデバイス、すなわち、キャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ、ＳＲＡＭ、及びＤＲＡＭを含むことができる。従って、プロセッサは、コントローラ２００、メモリ２２２、掃除システム２４２及び駆動システム２３０と通信する。
駆動システム２３０は、リビングスペース２０でロボット１００を能動的に制御可能に移動させるための何れかの好適な機構又はシステムを含むことができる。一部の実施形態によれば、駆動システム２３０は、動作環境１０の床にわってロボット１００を動かすようコントローラ２２０によって動作可能な１つのローラ、複数のローラ、１又は複数のトラック２３２Ａ、２３２Ｂ及び１又は２以上のオンボード（すなわち移動式ロボット１００によって運ばれる）電気モータ２３４（まとめて本明細書では「駆動装置」又は「駆動システム」と呼ぶ）を含む。
サービス動作システム２４２は、一部の実施形態では任意選択的とすることができ、リビングスペース２０におけるサービス動作を実行するよう動作する。一部の実施形態によれば、サービス動作システム２４２は、ロボット１００がスペース２０を通過するときに、リビングスペース２０の床表面を掃除する床掃除システムを含む。一部の実施形態では、サービス動作システム２４２は、床を真空掃除する吸引ヘッド及びオンボード真空発生装置を含む。一部の実施形態では、サービス動作システム２４２は、（限定されないが）掃引又はモップ機構、１又は２以上の回転ブラシ、ローラ、ウェット又はドライ固定又は発振及び／又は振動クロス、又はマルチレイヤパッドアセンブリなどのエンドエフェクタを含む。
無線通信システム２５０は、無線通信送受信機又はモジュール２５２及び関連付けられるアンテナ２５４を含み、これらは、１又は２以上のコンピューティングデバイスとの間でデータを送信／受け取るよう構成されて、動作環境１０においてロボット１００と、様々な他の接続デバイス、並びにＷＡＰによってサービスされるネットワークセグメント、移動式ロボット１００がノードを構成するプライベートネットワークを作るゲートウェイ及びハブとの間の無線通信を可能にする。例えば、無線通信送受信機又はモジュール２５２は、Ｗｉ－Ｆｉモジュールとすることができる。一部の実施形態では、ロボット１００は、狭帯域又は広帯域ＲＦ通信を使用してドックと直接的に無線通信することができる。例えば、ロボット１００には、無線アクセスポイント（ＷＡＰ）に準拠した送信機が備えられていない場合、ロボット１００はドックと通信することができ、次いで、プライベートネットワーク上及び前方の意図されたネットワークエンティティ（ロボット管理サーバ２００など）にロボット１００からのデータをリレーすることができる。
一部の実施形態では、移動式ロボット１００は、一般的に、その開示内容が好適な修正形態で引用により本明細書に組み入れられる、米国特許第７，０２４，２７８号明細書及び米国公開出願第２００７／０２５０２１２に記載されるような、１つの床掃除ロボット及び／又は複数のロボットの形態で構成され、又はこれらロボットからの特徴を含むことができる。真空掃除システムの他の好適な構成は、２０１７年７月１２日に出願されたＣｏｈｅｎ他の米国特許第９，２１５，９５７号明細書、Ｍｏｒｉｎ他の米国特許公開第２０１６／０１６６１２６号明細書、Ｇｉｌｂｅｒｔ，Ｊｒ他の米国特許第８，８８１，３３９号明細書、Ｓｔｏｕｔ他の米国特許公開第２０１４／０２２２２７９号明細書、及びＯ’Ｂｒｉｅｎ他の米国特許出願第１５／６４７，６７７号明細書に開示され、これらの開示内容は引用により本明細書に組み入れられる。画像感知デバイスとして使用するのに好適な構造化光画像感知デバイスは、台湾のＰｉｘＡｒｔ Ｉｍａｇｉｎｇ社から市販されているＧｌｏｂａｌ Ｓｈｕｔｔｅｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ（グローバルシャッターイメージセンサ）を含むことができる。ロボット１００は、掃除ビンに存在するデブリの量を感知するためのビン検出システムを含むことができる（例えば、全体が引用により本明細書に組み入れられる米国特許公開第２０１２／０２９１８０９に記載される）。
部屋セグメンテーションの実行は、オープン環境を横断するときの不必要な方向の変更を回避することによって最適に達することを目指している。事前に定義された境界に基づいて、掃除中に部屋全体を頻繁に移動することを低減又は排除することができる。これは、部屋を１つずつ体系的に終了するようロボットに期待又は要求することがあるユーザにとって、ロボットの挙動をより理解できるようにする。
図３は、本発明の一部の実施形態による、ロボット管理ノード２００の実施例とすることができる電子コンピューティングデバイスのブロック図である。電子（コンピューティング）デバイス３００は、１又は２以上のネットワークインタフェース３３０、プロセッサ回路（「プロセッサ」）３１０、及びプログラムコード３２２を包含するメモリ３２０を含む。プロセッサ３１０は、１又は２以上のネットワークにわたって配置又は分散させることができる汎用及び／又は専用プロセッサ（例えば、マイクロプロセッサ及び／又はデジタル信号プロセッサ）などの１又は２以上のデータ処理回路を含むことができる。プロセッサ３１０は、実施形態のうちの１又は２以上の実施形態に関して上述された動作及び方法の一部又は全てを実行するために、コンピュータ可読ストレージ媒体として以下に記載されるメモリ３２０におけるプログラムコード３２２を実行するよう構成される。メモリ３２０は、本発明の一部の実施形態による、ロボットを管理する動作を容易にするのに使用されるソフトウェア及びデータを包含する１又は２以上のメモリデバイスを表している。メモリ３２０は、限定されないが、以下のデバイスのタイプ、キャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ、ＳＲＡＭ、及びＤＲＡＭを含むことができる。
電子デバイス３００はまた、ディスプレイデバイス３４０（ドラッグ及びドロップユーザインタフェースを表示することができる）及び／又はキーボード、タッチセンサ式ディスプレイデバイス、マウス、ポインタなどの入力デバイス３５０を含むことができる。ネットワークインタフェース３５０は、１又は２以上のネットワークを介して何れかの関連付けられる利用可能なリソースサーバ及び／又はデータリポジトリと通信するよう構成することができる。
図３は、本明細書で記載される一部の実施形態によるロボットを管理するのに使用できるハードウェア／ソフトウェアアーキテクチャを示すが、本発明は、このような構成に限定されず、本明細書で記載される動作を実行することができるあらゆる構成を含むものとすることは理解されるであろう。
図４は、本発明の一部の実施形態による、無線通信デバイス及び動作の方法のブロック図である。無線通信デバイス４００は、複数の無線通信インタフェースにわたって無線信号を送信及び／又は受け取るよう構成され、上述のユーザデバイス２０２の一実施例とすることができる。例えば、一部の実施形態による無線通信デバイス４００は、セルラー通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、赤外線通信モジュール、全地球測位システム（ＧＰＳ）モジュール、ＷＬＡＮモジュール、及び／又は他のタイプの通信モジュールを含むことができる。
詳細には、無線通信デバイス４００は、液晶ディスプレイ（ＬＣＤ）及び／又は有機発光ダイオード（ＯＬＥＤ）ディスプレイなどのディスプレイ４０８を含む。無線通信デバイス４００は、任意選択的に、キーパッド１０２又はデバイス４００のユーザインタフェース４１０としての他のユーザ入力機構を含むことができる。一部の実施形態では、ディスプレイ４０８は、キーパッド４０２に置き換える及び／又は補足するタッチスクリーン機能を備えることができる。
無線通信デバイス４００は、マイクロフォン４０６及びイヤフォン／スピーカ４０４を含むことができる。前方ハウジングは、イヤフォン／スピーカ４０４がユーザの頭部に装着されたときにユーザの耳に音響シールを形成するよう設計することができる。
キーパッド４０２、ディスプレイ４０８、マイクロフォン４０６、スピーカ４０４及びカメラ４２４は、無線通信デバイス４００の動作を制御するよう構成することができるマイクロプロセッサ又はマイクロコントローラなどのプロセッサ４２７に結合することができる。無線通信デバイス４００は、プロセッサ４２７に結合された送受信機４４０及びメモリ４２８を更に含むことができる。ＷＬＡＮ通信インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース、ＧＰＳインタフェース、デジタル信号プロセッサなどの他の電子回路もまた、デバイス４００の電子回路に含むこともできる。
メモリ４２８は、プロセッサ４２７のプログラム命令、並びに音声データ、ビデオデータ、構成データ、及び／又はプロセッサ４２７によってアクセス及び／又は使用することができる他のデータなどのデータの両方を格納するのに使用される汎用メモリとすることができる。メモリ４２８は、不揮発性読出し／書込みメモリ、読出し専用メモリ及び／又は揮発性読出し／書込みメモリを含むことができる。詳細には、メモリ４２８は、基本オペレーティングシステム命令が格納される読出し専用メモリ、構成情報、ディレクトリ情報、及び他の情報などの再使用可能データを格納することができる不揮発性読出し／書込みメモリ、並びに短期命令及び／又は一時的データを格納することができる揮発性読出し／書込みメモリを含むことができる。
送受信機４４０は通常、送信機回路４４２、受信機回路４４４、及びモデム４４６を含み、これらが協働して、アンテナアレイ４５０を介してリモート送受信機に無線周波数信号を送信及び受け取る。デバイス４００とリモート送受信機との間で送信される無線周波数信号は、別のパーティ又は宛先との通信を設定及び維持するのに使用されるトラフィック及び制御信号の両方（例えば、ページング信号／着信呼出しのメッセージ）を含むことができる。より詳細には、プロセッサ４２７と協働動作する送受信機４４０は、複数の無線アクセス技術に従う通信用に構成することができる。無線アクセス技術は、限定されないが、ＷＬＡＮ（例えば、８０２．１１）、ＷｉＭＡＸ（ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス）、３ＧＰＰ ＬＴＥ（第３世代パートナーシッププロジェクトロングタームエボリューション）、ユニーバーサル・モバイル・テレコミュニケーションズ・システム（ＵＭＴＳ）、グローバル・スタンダード・フォー・モバイル（ＧＳＭ）通信、ジェネラル・パケット・ラジオ・サービス（ＧＰＲＳ）、ＧＳＭ進化のための拡張データレート（ＥＤＧＥ）、ＤＣＳ、ＰＤＣ、ＰＣＳ、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ、及び／又はＣＤＭＡ２０００を含むことができる。他の無線アクセス技術及び／又は周波数帯域を本発明による実施形態に使用することもできる。
図５は、本発明の一部の実施形態による、移動式床掃除ロボットを動作させる方法を示すブロック図である。本方法は、表面の複数の領域を識別するために、移動式床掃除ロボット１００を使用して密閉空間又は他の動作環境の表面のセグメンテーションマップを生成する段階（ブロック５０４）を含む。一部の実施形態では、密閉空間は、例えば、家屋、商業ビル、貯蔵庫、工場の建物及び／又はこれらの一部分を含む、居住か否かに関わらず、占有物を含むことができる。
一部の実施形態では、セグメンテーションマップは、本明細書ではより一般的にナビゲーションと呼ばれる、１又は２以上の探索及び／又は掃除ミッションの際に移動式床掃除ロボットによって生成される占有グリッドから生成される。例えば、占有グリッドは、密閉空間内の移動式床掃除ロボットのローカライゼーションのための１又は２以上の視覚マップを生成することによって、移動式床掃除ロボットで密閉空間の表面を探索することにより生成することができる。一部の実施形態では、視覚マップは、移動式床掃除ロボットの１又は２以上のカメラによって取り込むことができる複数の画像を使用して特徴を検出することにより生成することができる。例えば、ビデオ画像から生成された視覚特徴（ＶＳＬＡＭ）は、ロボットをローカライズするのに使用される「視覚マップ」を構築するのに使用することができる。各特徴について、特徴記述を決定することができ、該特徴は、特徴データベースにおいて特徴ルックアップを実行することによって分類することができる。占有グリッドは、視覚マップと統合することができ、更に、バンパーヒット又は衝突（「バンピング」事象）から生成された情報及び／又はＩＲ／ＰｉｘＡｒｔデータ（すなわち、障害物検出のための飛行時間及び／又は測距センサデータ）を含むことができる。
一部の実施形態では、抽出された領域が、ヒューリスティック決定規則に従って廊下と部屋に統合される。次に、各領域に対して、体系的部屋掃除のための開始位置及び方向が計算される。最後に、ルート最適化によってコンピュータ計算された最短シーケンスに従って、及び／又はユーザによって選択されたシーケンスにより、ロボットによって領域が体系的に掃除される。最終セグメンテーションは、体系的な部屋毎の掃除をするようロボットで使用される。一部の実施形態では、自動及びユーザガイドのセグメンテーション結果の両方は、セグメンテーション手順を追加的に評価及び改善するためにクラウドに格納される。他の実施形態では、自動及び／又はユーザガイドセグメンテーション結果は、ロボットのメモリに格納するか、又は例えば、動作環境に局所的な１又は２以上の他のロボットと共有するためにローカルハブに格納することができる。
移動式床掃除ロボットのポーズ及び／又は位置を決定して、対応する画像と関連付けることができる。画像に基づいて、占有グリッドのランドマークを生成することができる。ランドマークは、移動式床掃除ロボットのポーズ及び／又は位置と関連付けることができる。一部の実施形態では、占有グリッドは、移動式床掃除ロボットの複数のミッションにわたって生成された更新されたランドマークデータによって増強及び／又は更新することができるようにする。特徴部もまた、グリッドマップから生成されて、例えば、既存の占有グリッドを最新で生成された占有グリッドに移行することができる。これを使用して、既存の部屋セグメンテーションを新しく生成されたマップに移行することができる。すなわち、本発明の実施形態は、限定されないが、視覚特徴に基づくロボットマッピング及びローカライゼーション、並びに占有グリッドから生成された特徴に基づくセグメンテーションの移行など、複数の機構を組み合わせて利用することができる。
一部の実施形態では、占有グリッドは、画素位置が、占有、横断可能又は未探索の表面位置に対応するかどうかに対応するグレースケール値を各々が有する複数の画素を含む。本明細書で使用する「横断可能」という用語は、本明細書で開示されるロボットによって横断可能な密閉空間における何れかの表面位置を指すことができる。一部の実施形態では、画素にメジアンフィルタを適用することによってセグメンテーションマップを生成することができるようにする。一部の実施形態では、メジアンフィルタは、各画素値を対応する画素を囲む、画素に対応する中央値に置き換えることができる。例えば、一部の非限定的な実施形態では、各画素の５つの画素内にある画素の値に基づいて、中央値が決定されるようにする。このようにして、フィルタ処理された占有グリッドを生成することができる。
閾値関数をフィルタ処理された占有グリッドに適用することによって、フィルタ処理された占有グリッドのバイナリ画像をコンピュータ計算することができる。バイナリ画像に対して分水嶺変換を実行して、バイナリ画像を複数の領域に区分化して、距離変換を適用することによって領域の各々の頂点を識別することができる。
一部の実施形態は更に、バイナリ画像における領域に散乱物除去動作を実行する段階を含む。例えば、散乱物の除去は、バイナリ画像の境界を識別する段階、バイナリ画像の境界から分離している障害物に対応する画素を識別及び除去する段階、及び、例えば、図３５Ａ～３５Ｄを参照して以下で詳細に説明するように、複数のユーザから受け取ったラベリング入力から少なくとも一部生成されるグランドトゥルース情報を含むデータストアにアクセスすることによって、バイナリ画像の境界領域に付随する障害物に対応する画素を識別及び除去する段階によって実行することができる。一部の実施形態は更に、領域の頂点を統合して、領域を接合し、及び領域に隣接する廊下を定義する段階を含む。
一部の実施形態は、画像Ｍによって表されるマップにおける散乱物を識別する処理動作を更に提供する。まず、画像の境界Ｘは、その逆数への距離変換を取ることによって識別される。境界は、画素（１、１）で始まる全ての障害物画素の連結セット（集合）を指すことができる。マップＭについては、画像のエッジの全ての画素が閾値化の後に値１を有する、すなわち、マップが障害物又は未探索の領域の何れかによって境界付けられると仮定できる点に留意されたい。分離している障害物Ｒdet、すなわち境界に接続されていない障害物が決定される。付随する障害物Ｒauは、分水嶺セグメンテーションｗｓ（．）を使用して境界をセグメント化して、オリジナル画像のエッジの画素を包含する領域を除去することによってコンピュータ計算される。以下のアルゴリズム１は、詳細なバイナリ画像からの障害物領域のコンピュータ演算を記述している。
Figure 0007166926000001
領域セット（集合）Ｒobsは、散乱物と壁とを区別することができる障害物を包含する。以下のフィルタ規則は、壁と散乱物を区別し、すなわち、Ｒobs＼Ｒ3は散乱物であり、Ｒ3は散乱物を包含しない。
Figure 0007166926000002
関数ｌ＝ｍａｘｌｉｎｅ（ｒｉ）は、領域の境界ｒｉで発見される最長ラインセグメントの長さを返す。領域境界のラインを検出するために、分割及び統合アルゴリズムを利用することができる。一部の実施形態では、実施例として、
η1 = 0.0, η2 = 2.0, η3 = 0.7, η4 = 0.8, η5= 0.38
が使用された。加えて又は代替として、散乱物は、所与の時間期間又は表面エリアにわたるロボットの予め設定された動きに応答して区別することができる。例えば、光学又は音響センサによる予め設定された数のロボット衝突事象又は非接触障害物検出及び／又は比較的小さなエリア及び／又は移動距離における方向の変化に応答して検出された障害物を使用して、散乱物を区別することができる。特定の実施例では、長い距離を実質的に真っ直ぐな経路で移動するときのロボットの左又は右の障害物への多数の検出は、壁又は廊下を示すことができ、他方、短い距離の非直線の移動に応答したロボットの左又は右への障害物の多数の検出（及び移動方向の付随する変化）は、散乱物を示すことができる。また、衝突事象及び／又はロボットの方向の変化によって定められる障害物の「形状」を検出して、例えば、複数のユーザから受け取ったラベリング入力に基づいてデータストアに格納されているような、散乱物に対応することが分かっている形状とマッチングさせることができる。
例えば、散乱物を構成する障害物又は障害物の一群に遭遇したロボットは、２フィートの距離で少なくとも３回び前方進行方向から転回することによって散乱物を検出及び回避することができる。例えば、散乱物を構成する障害物又は障害物の一群に遭遇したロボットは、１０フィート未満の距離で少なくとも３回左及び／又は右に転回することによって散乱物を検出及び回避することができる。例えば、散乱物を構成する障害物又は障害物の一群のエッジに沿って壁を辿って行こうとしているロボットは、５フィート未満の距離で少なくとも３回左及び／又は右を転回することによって散乱物を検出及び回避することができる。例えば、散乱物を構成する障害物又は障害物の一群のエッジに沿って壁を辿って進もうとするロボットは、１０フィート以下の長さにわたって散乱物の長さにまたがる距離で少なくとも３回左／右に転回することによって散乱物を検出及び回避することができる。例えば、散乱物を構成する障害物又は障害物の一群に遭遇したロボットは、２フィートの距離で少なくとも３回前方進行方向から転回することによって散乱物を検出及び回避することができる。例えば、散乱物を構成する障害物又は障害物の一群に遭遇したロボットは、散乱物領域の外側境界を識別するために、１つの一次方向に沿って１０フィート未満の距離で及び一次方向に直交する方向に沿った少なくとも１０フィートで少なくとも３回左及び／又は右に転回することによって散乱物を検出及び回避することができる。
セグメンテーションマップが生成されると、セグメンテーションマップを、表面のセグメンテーションマップを表示するよう構成されたディスプレイを含むユーザデバイスに送ることができる（ブロック５０４）。一部の実施形態では、ユーザデバイスが無線通信デバイス４００を含むようにする。一部の実施形態では、セグメンテーションマップは、少なくとも１つの無線通信リンクを使用して無線送ることができる。
一部の実施形態では、無線通信リンクは、ユーザデバイスと移動式床掃除ロボットとの間の通信を提供するローカルエリアネットワークを含むことができるようにする。一部の実施形態では、ユーザデバイス及び移動式床掃除ロボットは、とりわけ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉなどの１又は２以上の近距離通信プロトコルを介して互いに直接通信することができる。一部の実施形態では、ユーザデバイス及び移動式床掃除ロボットは、１又は２以上の介在無線通信デバイスを介して互いに通信することができる。一部の実施形態では、無線通信リンクは、とりわけ、占有グリッド、セグメンテーションマップ及び／又は修正済みセグメンテーションマップの永続ストレージを提供するよう構成されたサーバを含む。
一部の実施形態では、セグメンテーションマップは、図２０Ｇ～２０Ｋに示されたセグメンテーションマップなどの移動式床掃除ロボットに対応する動作データを含む。動作データは、セグメンテーションマップ上の位置の関数として移動式床掃除ロボットによって収集された汚れ及び／又はデブリの量に対応する汚れ及び／又はデブリの一群を識別する掃除関数マップを含むことができる。一部の実施形態では、掃除関数マップは、密閉空間のどの部分が他の部分よりも汚れているかを示すヒートマップとすることができる。一部の実施形態では、掃除関数マップは、領域の各々に個々に提供できるようにする。一部の実施形態では、掃除関数マップは、単一の掃除ミッション又は複数の掃除ミッションの何れかに対応することができる。複数の掃除ミッションは、密閉空間及び／又は領域で完了した全ての掃除ミッションの定められたサブセットを含むことができ、又はデータが格納される掃除ミッションの全てに対応することができる。
一部の実施形態は、表面のセグメンテーションマップをリモートコンピューティングデバイスに送る段階を含む（ブロック５０６）。一部の実施形態では、リモートコンピューティングデバイスが上述の電子デバイス３００を含むことができるようにする。一部の実施形態では、リモートコンピューティングデバイス３００は、移動式床掃除ロボットと、及び上述の無線通信デバイス４００などのユーザ移動端末と通信することができる。一部の実施形態では、セグメンテーションマップは、セグメンテーションマップの生成に応答してリモートコンピューティングデバイス３００に送信されるようにする。このようにして、移動式床掃除ロボットに対応する履歴デーは、保存、維持、及び／又は分析することができる。
一部の実施形態では、ユーザから受け取ったユーザデバイスへの入力に基づいて、ユーザデバイスから修正済みセグメンテーションマップを受け取ることができる（ブロック５０８）。修正済みセグメンテーションマップは、掃除される領域のサブセットを識別することができる。例えば、ユーザデバイスは、領域のうちの他の領域を掃除することなく特定の領域が掃除されるよう指示する入力、すなわち、例えば、図２７に示されるような「立ち入り禁止」領域を指定する入力を受け取ることができる。加えて、一部の実施形態では、修正済みセグメンテーションマップは、例えば、図１５に示すように選択された領域が掃除すべき特定の順序を識別するようにする。一部の実施形態では、修正済みセグメンテーションマップは、異なる時間及び／又は間隔の異なる掃除スケジュールを含むことができる。例えば、第１掃除スケジュールは、１週間の特定の日に掃除する領域の第１サブセットを選ぶことができ、第２の掃除スケジュールは、１週間の他の日に掃除する領域の第２サブセットを選ぶことができる。一部の実施形態では、一部の領域を第１及び第２サブセットの両方に含めることができるようにする。
動作はまた、自動床カバレージパターンを生成する段階を含む（ブロック５１０）。一部の実施形態では、自動床カバレージパターンは、図２９Ａ～２９Ｄを参照して以下に説明するように、異なる領域を含むセグメンテーションマップに基づくようにする。一部の実施形態では、自動化床カバレージパターンは、例えば、図２９Ａに示すような散乱エリア及び非散乱エリアとしてのサブ領域の識別と、例えば、図３０Ａ～３０Ｇに示すような領域及び／又はサブ領域の各々についての掃除シーケンス及びランク方向の選択と、を含む。ランク方向は、特定の領域を掃除するときに移動式床掃除ロボットが進む一次方向とすることができる。例えば、ランク方向は、例えば、図３１Ａに示すように、領域の他の寸法よりも長い所与の領域の寸法を定めることができる。ランク方向を選択することによって、各領域は、少ない転回及び／又は少ない時間で掃除することができる。
一部の実施形態では、ランク方向は、障害物のない領域のサブ領域又は一部分、すなわち、図９Ｂに示す検出された散乱物９１６を含まない領域９１４などの非散乱エリア又は領域の寸法を定めることができる。例えば、大きな散乱エリアを含む領域では、ランク方向は、領域の全体の寸法に関わらず、非散乱領域の次元に基づいて選択することができる。一部の実施形態では、自動化床カバレージパターンは、各領域に対して、カバレージのための領域の散乱物のない部分（図２９Ｂ）、カバレージの領域の周囲（図２９Ｄ）、及びカバレージの領域の散乱物のある部分（図２９Ｃ）を順次的に選択する段階を含む掃除パターンを含む。
一部の実施形態は、自動化床カバレージパターンに基づいて領域及び／又はサブ領域の個々の領域において掃除動作を順次的に実行することによって、表面に掃除動作を実行する段階を含む（ブロック５１２）。このようにして、所与の領域又はサブ領域（１又は複数の非散乱エリアなど）での掃除動作は、自動化床カバレージパターンによって指定されたシーケンスに従って、別の領域（１又は複数の散乱エリア）にて掃除動作を開始する前に完了される。一部の実施形態では、掃除動作は更に、修正済みセグメンテーションマップに基づいて実行されるようにする。例えば、掃除動作は、ユーザデバイスから受け取った選択入力に応答して領域又はサブ領域のサブセットでだけ実行することができる。
一部の実施形態では、掃除動作は、ユーザによって選択することができる異なるそれぞれの掃除レベルで特定の領域で実行することができる。異なる掃除レベルは、移動式床掃除ロボットが所与の領域で行う掃除パスの異なる数に対応することができる。例えば、ユーザは、移動式床掃除ロボットが領域において３つの掃除パスを行うことに対応する高レベル掃除動作を第１領域が得ることを指定できる。対照的に、第２領域は、領域において単一の掃除パスに対応する低レベルの掃除を有するよう指定することができる。
図６は、本発明の一部の実施形態による、ユーザデバイスでのコンピュータ可読プログラムコード６００を含むコンピュータ可読プログラム製品の動作を示すブロック図である。一部の実施形態では、ユーザデバイスは、上述した無線通信デバイス４００などのユーザ移動端末を含むようにする。動作は、ロボットから密閉空間の表面の占有データ及び／又はセグメンテーションマップを受け取る段階を含む（ブロック６０２）。本明細書で使用する場合、セグメンテーションマップは、マップエリア上の境界が定められた領域を示すセグメント化マップを指すことができる。セグメンテーションマップは、表面の複数の領域を含むことができ、ロボットは移動式床掃除ロボットとすることができる。
一部の実施形態では、セグメンテーションマップは、表面上の探索及び／又は掃除ミッション中に収集されたデータに基づいて、ロボットによって生成される。一部の実施形態では、セグメンテーションマップは、上述のように電子デバイス３００を含むことができるリモートコンピューティングデバイスによって生成されるようにする。このようなケースでは、リモートコンピューティングデバイスは、ロボットから密閉空間の表面に対応する生データを受け取ることができ、この生データを使用してセグメンテーションマップを生成することができる。
セグメンテーションマップの画像は、ユーザデバイスのディスプレイ上に表示することができる（ブロック６０４）。一部の実施形態では、ユーザデバイスは、手持ち式移動端末であり、ディスプレイは、タッチスクリーンディスプレイであるようにする。このような実施形態では、タッチスクリーンディスプレイを介してグラフィックユーザインタフェースを生成して表示することができ、ユーザ入力は、タッチスクリーンを使用してグラフィックユーザインタフェースを介して受け取ることができる。ディスプレイは、モニター、タブレットコンピュータ、画面及びマウス又はタッチインタフェースを含むネットワークデバイス、及び／又はネットワークを介して通信可能に結合されたリモート及びローカルコンピューティングデバイスの組合せを含むことができる。
表面のセグメンテーションマップに対応するユーザ入力は、例えば、図１０Ａ～１０Ｆに示すように、ユーザデバイスのユーザ入力デバイスを介して受け取ることができる（ブロック６０６）。一部の実施形態では、受信されるユーザ入力が、セグメンテーションマップの画像の見掛けを修正するためのユーザ入力を含むようにする。例えば、ユーザ入力は、画像のパン又は傾きの変更など、画像に対するユーザの視点角度を変更することができる。ユーザ入力は、２次元又は３次元などの次元選択に対応することができる。加えて、ユーザ入力は、異なるサイズの画像の一部又は全部を見るためにズームを変更することができる。
一部の実施形態では、ユーザ入力は、例えば、図２４に示すように、セグメンテーションマップ上の位置の関数として収集された汚れ及び／又はデブリのレベルを示すようにセグメンテーションマップの画像を表示させるヒートマップ選択などのマップ特徴選択を含むことができる。このようにして、画像は、他の部分及び／又は領域２４１０に対してどの部分及び／又は領域２４２０が掃除を必要とするかを示すことができる。一部の実施形態では、マップ特徴は、例えば、図９Ｂ及び９Ｃに示すように、セグメンテーションマップ上に散乱物を選択的に示すようにセグメンテーションマップの画像を表示させる散乱物マップ選択を含むことができるようにする。
一部の実施形態では、セグメンテーションマップへのユーザ入力を使用して、セグメンテーションマップ及び／又はセグメンテーションマップの領域を修正することができるようにする。例えば、ユーザ入力は、例えば、図１１Ａ～１１Ｃに示すように、１つよりも多い領域に領域の１つを分割させるよう構成された領域分割入力とすることができる。同様に、ユーザ入力は、例えば、図１１０Ａ～１０Ｆに示すように、領域のうちの複数の領域を単一の領域に組み合わせるよう構成された領域組合せ入力とすることができる。
一部の実施形態によれば、セグメンテーションマップへのユーザ入力は、掃除ミッション命令を含むことができるようにする。例えば、掃除ミッション命令は、例えば、図１５に示すように、所与のミッションにて領域が掃除すべき順序の識別を含む掃除順序命令を含むことができる。掃除順序命令は、所与のミッションにて掃除すべき領域のサブセットに関する識別を含むことができる。掃除ミッション命令及び関連のユーザ入力に向けられる実施形態について、図２９Ａ～３２を参照しながら以下で詳細に説明する。
一部の実施形態では、ユーザ入力は、密閉空間の１又は２以上の掃除ミッションスケジュールを含むことができる。例えば、掃除ミッション命令は、掃除すべき領域の第１選択を識別する第１掃除ミッション命令と、掃除すべき領域の第２選択を識別する第２掃除ミッションとを含むことができる。この実施例では、第１掃除ミッション命令は、１週間のうちの特定の日及び／又は１日のある時間に実行されるようスケジュールすることができ、第２掃除ミッション命令は、異なる日及び／又は異なる時間に実行されるようスケジュールすることができる。
一部の実施形態では、掃除ミッション命令は、異なる領域に対して異なる掃除のレベルを含む。例えば、第１領域又は領域のセットは、第１掃除レベルを受け取るよう指定することができ、第２領域又は領域のセットは、第１掃除レベルとは異なる第２掃除レベルを受け取るよう指定することができる。異なる掃除レベルは、本明細書では掃除パスの数と呼ばれる、ロボットが対応する領域を横断しなければならない回数を指定することによって達成することができる。
一部の実施形態では、掃除ミッション命令は、例えば、図２７に示すように、移動式床掃除ロボットによって掃除されることのない密閉空間の床スペースの一部分の識別を含む。このような指定は、領域毎及び／又は領域の一部毎に選択することができる。一部の実施形態では、掃除ミッション命令は、掃除されない密閉空間の床スペースの一部分がグローバル命令であり、従ってミッションからミッションに持続することを指定することができる。しかしながら、一部の実施形態では、掃除されない密閉空間の床スペースの一部分の識別は、１つのミッション及び／又は限定数のミッション命令であるようにする。
一部の実施形態では、掃除ミッション命令は、例えば、図２９Ａに示すように領域の各々に対して一次掃除方向を含むようにする。ランクと呼ばれる場合がある一次掃除方向は、移動式床掃除ロボットが掃除動作の障害物のない部分で掃除することができる一次掃除方向を識別する。一部の実施形態では、領域全体及び／又は領域の一部分に対してランクを決定することができる。
一部の実施形態では、ユーザ入力は、ユーザプリファレンスデータの要求を含むようにしており、ユーザプリファレンスデータは、要求に応答して表示することができる。表示することができるユーザプリファレンスは、単一の掃除ミッションに対応する履歴ユーザプリファレンスデータ及び／又はユーザプリファレンスデータを含む。
一部の実施形態では、ユーザ入力は、複数の異なるロボットに対応するロボットチーム構成入力を含む。ロボットチーム構成は、第１移動式床掃除ロボットに対応する第１掃除ミッション命令と、第２移動式床掃除ロボットに対応する第２掃除ミッションとを含むことができる。一部の実施形態では、第１及び第２掃除ミッションは、密閉空間の表面の全セグメンテーションマップに対応する。例えば、第１掃除ミッションは、領域の第１部分を掃除することができ、第２掃除ミッションは、領域の第２部分を掃除することができる。
しかしながら、一部の実施形態では、第１及び第２掃除ミッションは、密閉空間の異なる部分の異なるセグメンテーションマップに対応するようにする。例えば、マルチレベル占有の関連では、第１セグメンテーションマップは、第１レベルに対応することができ、第２セグメンテーションマップは、第２レベルに対応することができる。
一部の実施形態では、第１移動式床掃除ロボットが第１の掃除動作タイプを実行し、第２移動式床掃除ロボットが第２の掃除動作タイプを実行するようにする。例えば、第１移動式床掃除ロボットは、高度マッピングセンサを含む真空清掃ロボットとすることができ、第２移動式床掃除ロボットは、高度ではないセンサを有し且つ真空清掃ロボットによって作成されたマッピングに頼るモップ清掃ロボットとすることができる。
一部の実施形態は、ユーザ入力に対応して修正された修正済みセグメンテーションマップを移動式床掃除ロボットに送る段階を含む（ブロック６０８）。一部の実施形態では、修正済みセグメンテーションマップは、修正済みセグメンテーションマップの永続ストレージを提供するよう構成されたリモートコンピューティングデバイス３００などのリモートサーバに送られるようにする。
移動式床掃除ロボットによって生成されたステータス通信を受け取ることができる（ブロック６１０）。一部の実施形態では、メッセージは、該メッセージに応答してディスプレイに表示されるようにする。
一部の実施形態では、ステータス通信は、掃除ミッションに対応する進行更新を含む。進行更新は、セグメンテーションマップの画像上に掃除動作のアニメーショングラフィックとして表示することができる。一部の実施形態では、この進行更新は、リアルタイムで更新され、例えば、図１３に示すように、表示されるセグメンテーションマップの画像上の視覚指示を含むようにする。
一部の実施形態では、ステータス通信は、移動式床掃除ロボットによって検出された状態を識別する警告メッセージを含むようにする。例えば、警告メッセージは、掃除ミッションをロボットが完了できないことを表す不完全ミッション状態を報告することができる。例えば、移動式床掃除ロボットは、例えば、図１４に示すように、立ち往生して進むことができないことを示すことができる。この状態は、予期せぬ障害物状態に対応することができる。一部の実施形態では、移動式床掃除ロボットは、セグメンテーションマップに含まれない障害物を検出して、これが新しい障害物であることを報告することができる。
図７は、本発明の一部の実施形態による、ロボット管理ノードでのコンピュータプログラム製品７００の動作を示すブロック図である。このロボット管理ノードは、上述のように電子デバイス３００上に実装することができ、及び／又は電子デバイス３００を含むことができる。一部の実施形態では、プロセッサ及びメモリは、ロボット及び密閉空間からリモートであるクラウドベースのサーバに含まれるようにする。
一部の実施形態では、クラウドベースのサーバは、複数の異なる密閉空間で複数の異なるユーザに対応するデータを集約することができる。集約されたデータの実施例は、標準的な設備、備品、間取り、占有面積及び／又は配置に対応するデータを含むことができる。例えば、複数のユーザは、他のユーザと同じで且つ名前、番号及び／又は特定の寸法特徴によって識別することができる間取図を共有することができる。同じ又は類似の特徴、備品、間取図、占有面積及び／又は配置に対応してデータを収集することで、障害物を分類するなどの動作に関する性能及び／又は精度を改善するために他のユーザがアクセス可能であるデータリポジトリを提供することができる。
動作は、ロボットから密閉空間の表面の占有データ及び／又はセグメンテーションマップを受け取る段階を含むことができる（ブロック７０２）。セグメンテーションマップは、ロボットによって収集された表面ベースの占有データの複数の領域を識別することができる。一部の実施形態では、複数の掃除ミッション中にロボットによって生成された複数のセグメンテーションマップが受け取られるようにする。このような実施形態では、セグメンテーションマップは、後で受け取られたセグメンテーションマップによって更新及び／又は増強され、永続マップを提供することができる。一部の実施形態では、セグメンテーションマップはロボットに対応する動作データを含むことができるようにする。
密閉空間の表面のセグメンテーションマップは、ロボットに関連付けられるデータストアに格納することができる（ブロック７０４）。一部の実施形態は、受け取られる複数のセグメンテーションマップを格納する段階と、本明細書で記載される特徴マッチング及び外れ値除去動作を使用して複数のセグメンテーションマップ間の共通特徴を転送して永続マップを生成する段階と、を含む。このようにして、修正済みセグメンテーションマップを含む履歴セグメンテーションマップデータを格納することができる。
ユーザ入力データがユーザデバイスから受け取られる（ブロック７０６）。ユーザデバイスは、セグメンテーションマップに対応するユーザ入力を受け取るよう構成される。ユーザ入力の受け取りに応答して、セグメンテーションマップは、ユーザ入力データに基づいて修正され、修正済みセグメンテーションマップを生成する。修正済みセグメンテーションマップは、掃除すべき領域のサブセット、掃除すべき領域の１又は２以上の領域の一部部分又はサブ領域、及び／又は領域及び／又はサブ領域が掃除される順序を識別することができる。修正済みセグメンテーションマップは、格納されて、移動式ロボットによって実行される後続のナビゲーション及び／又は掃除動作で再使用することができる。
一部の実施形態では、セグメンテーションマップは、ロボットに対応する動作データを含む。動作データは、セグメンテーションマップ上の位置の関数として単一の掃除ミッション及び／又は複数の掃除ミッションにて収集された汚れ及び／又はデブリを識別する掃除関数マップを含むことができる。このようにして、他の領域及び／又は他の領域の一部分に対してより多くの掃除活動を必要とする領域及び／又はその一部分を識別するヒートマップを伝達することができる。例えば、一部の実施形態では、この動作データは、セグメンテーションマップ上の位置の関数としてロボットによって実行されるパスの量を識別する掃除関数マップを含むようにする。
一部の実施形態では、このユーザ入力データは、第１ロボットに対応する第１掃除ミッション命令及び第２ロボットに対応する第２掃除ミッションを含むロボットチーム構成入力を含む。
動作は、ユーザ入力データ及びセグメンテーションマップに基づく修正済みセグメンテーションマップをロボットに送る段階を含む（ブロック７０８）。ロボットは、修正済みセグメンテーションマップに応答して掃除ミッションを実行することができる。
一部の実施形態では、掃除ミッションは、ユーザによって選択される異なる掃除レベルで領域の掃除動作を実行する段階を含む。掃除ミッションは更に、障害物のないそれぞれの領域でのエリアの最大寸法に対応するランク方向を提供することができる。異なるレベルは、対応する領域でロボットが行う掃除パスの数に関連付けることができる。一部の実施形態では、ランク方向は、領域の他の寸法よりも長い、領域の寸法を定める。一部の実施形態では、ランク方向は、障害物がなく且つ領域の他の寸法よりも長い領域の寸法とは異なるそれぞれの領域の一部分の寸法を定める。
図８Ａから８Ｃは、本発明の一部の実施形態による、自動化マップ掃除及びセグメンテーション動作における生データマップ、掃除済みマップ及びセグメンテーションマップを例示する通信デバイスのユーザインタフェースを介して表示できるグラフィック表示である。一部の実施形態では、ロボットが第１パス中に密閉空間の表面を探索するようにする。第１パス中に生成された生データを含む占有グリッドが生成される。占有グリッドは、図８Ａに示した生データマップ８０２としてユーザデバイス上でユーザに提示される。生データマップ８０２は、横断可能な空間に白色及び占有壁部を含む障害物には黒色のシェーディングをすることができる複数の画素を含むことができる。
図８Ｂの実施形態を参照すると、ロボットは、ユーザデバイス上でユーザに表示される掃除済みマップ８１２を生成する。掃除済みマップ８１２は、生データよりも実質的により直線状になるよう除去又は簡素化された境界データ８１６を有する密閉空間を示すことができる。掃除済みマップ８１２はまた、例えば、検出された散乱物の視覚指示を除去することによって密閉空間表面の横断可能な空間８１４を強調する。
図８Ｃは、ユーザデバイス上でユーザに表示することができるセグメンテーションマップ８２２を示す。掃除済みマップ８１２と同様に、セグメンテーションマップ８２２は、境界データ８２６を備えた密閉空間を示す。加えて、横断可能な空間は、一部の実施形態による密閉空間の異なる部屋に対応することができる領域８２４にセグメント化される。セグメンテーションマップ８２２に基づいて、ロボットは、所与の領域８２４での掃除動作が完了した後にロボットが別の領域８２４での掃除動作の実行を開始する部屋毎の掃除を実行することができる。
図３３Ａから３３Ｄは、図８Ａのマップ８０２などの生データマップからユーザインタフェースを介して表示する簡素化マップ境界を生成する動作を詳細に示す。ここで図３３Ａを参照すると、生データマップ３３０２は、占有データ及びＶＳＬＡＭ特徴検出データなどの動作環境での移動式ロボットのナビゲーション中に収集されるデータから生成される。生データマップ３３０２は、ユーザにとって審美的に心地よい及び／又は直感的ではない可能性がある動作環境の画素化表示を提供する。このため、生データマップ３３０２は、雑音を除去して図３３Ｂに示された雑音除去マップ３３１２を生成すること、及び散乱物として識別されたエリアを除去して、図３３Ｃに示すような散乱物除去マップ３３２２を生成することにより、ユーザに表示するために視覚的に簡素化することができる。雑音除去マップ３３１２は、例えば、ぼけたエッジを鮮明にするか又は低減することによって、生データマップ３３０２に対して歪みを低減することができる。散乱物除去マップ３３２２の画素化エッジは、直線セグメント及び／又は多角形形状で置き換えられて、図３３Ｄに示す簡素化マップ３３３２を生成する。従って、簡素化マップ３３３２は、移動式ロボットのナビゲーションによって検出された実際の境界を示すデータを、ユーザデバイス２０２などのユーザデバイスのユーザインタフェースを介してマップ３３３２を見ているユーザにとってより審美的に心地よい及び／又は直感的とすることができる簡素化された境界に置き換える。簡素化マップ３３３２を生成する段階はまた、本明細書で記載される部屋又は領域を統合する段階を包含することができる。一部の実施形態では、図３３Ｂにおける散乱物として識別されたエリアを表す散乱物領域３３０６は、簡素化マップ３３３２に追加されて、動作環境のより正確な表現をユーザに提供することができる。また、散乱障害物は、家具などの認識可能な構造物を表すことができるので、簡素化マップ３３３２に散乱物領域３３０６を含めることで、ユーザが部屋及び廊下を認識し易くすることができる。生データマップ３３０２から簡素化マップ３３３２を生成する動作は、ロボット１００、ロボット管理サーバ２００、及び／又はユーザデバイス２０２によって実施することができる。
一部の実施形態では、ユーザは、散乱物領域を表示する方法に対する表示プリファレンスを有することができるようにする。図９Ａ～９Ｃは、本発明の一部の実施形態による、動作中に、生データのユーザディスプレイプリファレンス選択肢、散乱物画素を有するセグメンテーションマップ及び散乱物領域を有するセグメンテーションマップを例示する、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示である。図９Ａを参照すると、生データマップ９０２は、密閉空間における散乱物９０６又は他の障害物に対応する複数の画素の識別を含むことができる。図９Ｂに示されるように、セグメンテーションマップ９１２は、複数の領域９１４及び散乱物９１６を含むことができ、又は他の障害物を領域９１４の各々に示すことができる。一部の実施形態では、図９Ｃに示されるように、セグメンテーションマップ９２２は、複数の障害物が検出された特定のエリアを示す領域９２４内の散乱物領域９２６を含むことができる。本明細書で記載されるように、散乱物は、スペース領域を占有し且つ領域の体系的で決定論的カバレージを妨げる障害物の集中を指すことができ、散乱物を含む領域は、本明細書では散乱物又は散乱領域と呼ぶことができる。以下でより詳細に説明するように、散乱領域が識別されると、ランク最適化に基づく掃除動作を非散乱領域で実行することができる。
図１０Ａ～１０Ｆは、本発明の一部の実施形態による、セグメンテーションマップ上にユーザ領域統合を実行するための動作を示した、通信デバイスのユーザインタフェースを介して表示できるグラフィック表示１００２である。図１０Ａを参照すると、ユーザは、セグメンテーションマップの表示画像の特定の領域１００５ａを選択することができる。この選択は、マウス、トラックボール及び／又はスタイラスなどのポインティング入力を使用して及び／又はタッチスクリーンユーザ入力を介して実行することができる。図１０Ｂは、選択された領域１００５ａが強調表示されたセグメンテーションマップの表示画像を示す。
図１０Ｃを参照すると、ユーザは、第１の選択領域に隣接したセグメンテーションマップの表示画像の別の領域１００５ｃを選択することができる。図１０Ｄは、選択された領域１００５ａ、１００５ｃの両方が強調表示されたセグメンテーションマップの表示画像を示す。図１０Ｅを参照すると、ユーザは、ユーザ入力を提供して選択された領域１００５ａ、１００５ｃを単一の領域１００５ｅに統合することができる。ユーザ入力は、動作を識別するメニューを介して及び／又は音声コマンドによって受け取ることができる。図１０Ｆは、複数のオリジナル領域が単一の領域１００５ｆに統合されたセグメンテーションマップの表示画像を示す。一部の実施形態では、統合動作は、２つの領域で複数回数実行して、オリジナルに定義された領域の２よりも多い領域を含む単一の領域を生成することができる。一部の実施形態では、統合動作を実行するためのユーザ入力が受け取られる前に、２よりも多くの領域を選択することができるようにする。
図１１Ａ～１１Ｃは、本発明の一部の実施形態による、セグメンテーションマップ上でユーザ領域分割を実行する動作を示した、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示１１０２である。一部の実施形態では、様々な理由で、ユーザは、セグメンテーションマップにて提供された領域を１つよりも多い領域に分割すべきであると決定することができる。例えば、単一の空間は、床タイプの変化などの様々な設計アーチファクトによって分離された規定のキッチンエリア及び隣接するリビングスペースを有することがあり、掃除の必要性に基づいて異なるように処理することができる。図１１Ａを参照すると、分割される領域の分割線のエンドポイント１１０５ａは、ユーザによって選択することができる。次に、図１１Ｂを参照すると、分割される領域の分割線の他のエンドポイント１１０５ｂは、ユーザによって選択することができる。従って、ユーザは、選択された領域を、図１１Ｃに示された２つの領域１１０５ｃ１、１１０５ｃ２に分割するためのユーザ入力を提供することができる。一部の実施形態では、分割動作は、分割線のエンドポイント１１０５ａ、１１０５ｂが識別される前に選択される。このような実施形態では、分割動作は、分割線の第２エンドポイント１１０５ｂが選択されると、自動的に実行することができる。
図１２Ａから１２Ｄは、本発明の一部の実施形態による、セグメンテーションマップにユーザ領域ラベリングを実行する動作を示した、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示１２０２である。セグメンテーションマップの領域の各々は、ユーザプリファレンスに従ってラベル付けすることができる。図１２Ａを参照すると、ラベリング動作は、セグメンテーションマップの領域１２０５ａをユーザが選択することで開始することができる。図１２Ｂは、ユーザによって提供されるラベルを含む、表示することができるテキストボックス１２０５ｂを示す。例えば、本実施例では、ユーザが図１２Ａで領域を選択し、次に、図１２Ｂの選択された領域１２０５ａのラベル「ＤＥＮ」１２０５ｂを入力する。図１２Ｃ及び１２Ｄは、「リビングルーム」領域の選択肢１２０５ｃ及びラベリング１２０５ｄに対応する類似の動作を示す。
図１３は、本発明の一部の実施形態による、セグメンテーションマップにロボットの進行を表示するための動作を示した、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示１３００である。例示するように、セグメンテーションマップのディスプレイは、実行されている掃除ミッションに対応する掃除進行の指示を含むことができる。例えば、掃除済み領域及び／又は掃除済み領域の一部分１３０２は、掃除されていない領域及び／又はその一部分１３０４を表す色、パターン及び／又はシェーディングとは異なる第１の色、パターン、及び／又はシェーディングによって表すことができる。このようにして、ユーザには、どの領域及び／又はその一部分がロボットによって占有されるかを予想又は予想できないかに関して通知することができる。
図１４は、本発明の一部の実施形態による、セグメンテーションマップ上に障害状態の警告１４０５をユーザに提供する動作を示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示１４０２である。一部の実施形態では、ディスプレイは、メッセージ及び／又はロボットからのメッセージに基づいて生成される他の記号を含むことができる。例えば、通信デバイスは、ロボットによって生成されて、掃除ミッション中に発生したか又は発生中である状態を示すメッセージを受け取ることができる。例えば、ロボットが立ち往生するか又は捕捉された場合、警告メッセージを受け取ってユーザに表示することができる。他の実施例は、ロボットによって生成されて、ロボットが掃除ミッションを完了していない可能性があることを示す警告を含むことができる。
図１５は、本発明の一部の実施形態による、セグメンテーションマップ上にロボットの掃除シーケンス（１、２、３）を提供するためのユーザ入力を受け取る動作を示した、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示１５０２である。一部の実施形態では、ユーザは、掃除順序に対応するユーザ入力を提供することができる。例えば、セグメンテーションマップの領域の各々は、掃除順序番号１、２、３でラベル付けすることができる。一部の実施形態では、掃除順序は、ユーザに表示される領域のテーブル１５０５を介して入力することができ、他の実施形態では、ユーザが単に領域を選択して掃除の順序に対応する値を入力するようにする。一部の実施形態では、領域の一部は、所与のミッションの間、掃除の選択を解除することができる。例えば、例示するように、キッチン及びリビングルームは、これらの領域が掃除されないことを示す「Ｘ」の順序番号を有することができる。
図１６Ａ～１６Ｇは、本発明の一部の実施形態による、同じ占有で複数のランを使用したマップデータ集約の動作を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示１６０２ａ～１６０２ｇである。図１６Ａ～１６Ｄは、同じ占有での後続のランの間にロボットによって収集される付加的な生データを含む生データマップの表示を示す。例えば、図１６Ａ～図１６Ｂでは、生データマップは、自動回転（１８０度）及びアライメントが行われる。例示するように、図１６Ｂからの生データは、図１６Ａに対して生データの異なる部分のアライメントと、図１６Ａに示される初期生データに対する１８０度の回転を反映している。図１６Ｃ及び１６Ｄは、追加の生データが使用されて、生データマップを実質的に完成するのを示している。例えば、図１６Ｃは、追加生データが図１６Ｂに対して追加されているのを示し、従って、生データマップの全体の完成が進んでいる。同様に、図１６Ｄは、生データの更なるマップ完成を示す。図１６Ｅ～１６Ｇは、間欠的に又は合計ミッションのうちの１又は一部でのみ検出された非静的障害物の除去を示している。このようにして、生データマップの完全性、精度及び／又は内容は、各追加ラン中に増加することがある。例えば、図１６Ｅは、部屋の一部分における散乱物の検出を示す。図１６Ｆは、検出された散乱物の一部である非静的物体の識別を示し、図１６Ｇは、生データマップからの非静的物体の除去を示す。図１６Ａ～１６Ｄに示された各ランからのマップを互いに正確にオーバレイするためには、マップの永続性が必要となる可能性があることは理解されるであろう。また、障害物を経時的に観察しているときには、静的障害物の位置は同じままであることができるが、散乱物／非静的障害物の位置は経時的に変わる可能性があるので、散乱物検出を大きく改善することができる。
図１７Ａ及び１７Ｂは、本発明の一部の実施形態による、それぞれ散乱物のない及び散乱物を含む、図１６Ａ～１６Ｇに示した生データマップに基づいた集約動作からのセグメンテーションマップを示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示１７０２ａ及び１７０２ｂである。図のように、図１７Ａは、散乱物のない図１６Ａ～１６Ｇに示した生データマップに対応するセグメンテーションマップの画像１７０２ａである。対照的に、図１７Ｂは、対応するセグメンテーションマップ領域にて識別された散乱物領域を有する、図１６Ａ～１６Ｇに示した生データマップに対応するセグメンテーションマップの画像１７０２ｂである。
図１８Ａ及び１８Ｂは、本発明の一部の実施形態による、図１６Ａ～１６Ｇに示した生データマップに基づいて占有マップの生データ及び占有マップの３次元表示をそれぞれ示した、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示１８０２ａ及び１８０２ｂである。図のように図１８Ａは、図１６Ｅとして上記に示した生データマップ１８０２ａであり、図１８Ｂは、これに基づく占有マップの３次元表示の画像１８０２ｂである。
図１９は、本発明の一部の実施形態による、密閉空間に対応する永続情報を生成するための動作を示した、占有マップを示す通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示１９００である。占有マップ１９００は、ロボットによってマップされた密閉空間の間取図を示す。ロボット掃除経路１９１０は、密閉空間の利用可能な床表面の全てにわたって識別される。加えて、ロボットによって決定、生成及び／又は割り当てることができるランドマーク１９０４は、占有マップ１９００全体を通して識別される。ランドマーク１９０４の複数のランドマークに対応する特定の領域は、ランドマーク領域１９０２として識別することができ、ランドマーク１９０４によって定められた軌跡及び／又はプリミティブを含むことができる。一部の実施形態では、「ランドマーク」という用語は、１又は２以上のマップにおいて具体的に識別される位置を含むことができ、ウェイポイントと呼ぶこともできる。
図２０Ａ～２０Ｋは、本発明の一部の実施形態による、密閉空間のロボット探索中に収集されたデータに対応する占有マップ及びセグメンテーションマップの図を示す、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示２００２ａ～２００２ｋである。例示するように、図２０Ａは、横断可能な床スペース内の散乱物及び他の横断可能でない領域、及び探索及び／又は掃除ミッションの掃除パス中にロボットが横断した経路を含む生データ占有マップの画像２００２ａを含む。図２０Ｂには、密閉空間の生データマップ２００２ｂが示され、図２０Ｃには、クリーン占有マップ２００２ｃが示されている。図２０Ｄは、散乱物画素２００８ｄを有するクリーン占有マップ２００２ｄのディスプレイを示す。図２０Ｅには、散乱物が表示されていない、ロボットが横断した経路２００５ｅを含むクリーンマップ２００２ｅが示されており、図２０Ｆには、塗り潰されたパッチ２００８ｆとして散乱物が表示されている、ロボットが横断した経路２００５ｅを含むクリーンマップが示されている。
図２０Ｇには、散乱物のない密閉空間のセグメンテーションマップ２００２ｇのディスプレイが示されており、図２０Ｈには、塗り潰されたパッチ２００８ｈとして散乱物が表示されている、密閉空間のセグメンテーションマップ２００２ｈのディスプレイが示されている。図２０Ｉは、散乱物が表示されていない、ロボットが横断した経路２００５ｅを含むセグメンテーションマップ２００２ｉのディスプレイを示し、図２０Ｊは、散乱物２００８ｊが表示された、ロボットが横断した経路２００５ｅを含むセグメンテーションマップ２００２ｊのディスプレイを示す。図２０Ｋには、領域間の境界を含み且つ領域番号１～９を含むセグメンテーションマップ２００２ｋのディスプレイが示されている。
図２１は、本発明の一部の実施形態による、ロボット管理を提供するのに使用することができるデバイスのシステムを示す図である。本システムは、密閉空間の床表面の占有データ及び／又はセグメンテーションマップ２１１０を生成することができるロボット２１０２を含むことができる。ロボット２１０２は、本明細書で記載されるロボット１００と同じとすることができる。このため、その付加的な説明は省略する。一部の実施形態では、占有データ及び／又はセグメンテーションマップ２１１０は、クラウドデバイス及び／又はシステム２１０４に送ることができる。一部の実施形態では、クラウドデバイス及び／又はシステム２１０４は、本明細書で記載されるロボット管理ノード２００を含むことができる。クラウドデバイス及び／又はシステム２１０４は、永続マップを維持及び更新するために本明細書で記載される実施形態に従って使用することができる、プロセッサ２１０５、及びユーザ入力履歴（複数のユーザから散乱物パターンの識別を含む）、占有マップ履歴、セグメンテーションマップ履歴、及び／又はロボット性能及び／又は通信履歴を格納することができるユーザデータストア２１０６を含むことができる。一部の実施形態によれば、ロボット２１０２は、セグメンテーションマップ２１１０のコンピュータ演算を実行するようにするが、一部の実施形態では、このコンピュータ演算は、ロボット２１０２によって収集された占有データに基づいてクラウドデバイス及び／又はシステム２１０４によって実行することができる。
一部の実施形態では、クラウドデバイス及び／又はシステム２１０４は、ロボット２１０２とユーザデバイス２１２０との間の通信チャネルを提供することができる。ユーザデバイス２１２０は、本明細書で記載されるユーザデバイス２０２と同じとすることができる。ユーザデバイス２１２０は、ユーザが占有及び／又はセグメンテーションマップを編集及び／又はラベル付けするのを可能にするユーザ入力を提供することができる。またユーザデバイス２１２０を使用して１又は２以上の掃除ミッションの特定の命令を含むようセグメンテーションマップを修正することができる。このような命令は、とりわけ、掃除順序、ランク方向、及び／又は掃除レベルを含むことができる。ユーザデバイス２１０２はまた、とりわけ、散乱物の包含／除外、ビューの次元、ズーム、視野角度、掃除ミッション再生選択肢、掃除進行、掃除ミッション完了の予想時間、履歴、使用及び／又は集約毎のデータなどのディスプレイ特性を選択するための入力を提供することができる。
加えて、ユーザデバイス２１２０は、ロボット２１０２及び／又はクラウドデバイス及び／又はシステム２１０４からメッセージ及び／又はデータを受け取ることができる。例えば、ユーザデバイス２１２０は、とりわけ、ロボット２１０２のステータス及び又は性能に対応する性能データ及び／又はロボット２１０１によって生成された警告メッセージを受け取ることができる。例えば、実行された掃除のレベル及び／又は位置の関数として収集された汚れ及び／又はデブリの量を表示するヒートマップを提供することができる。
図２２は、本発明の一部の実施形態による、掃除ミッションに対応するミッションカバレージマップ２２０２を含む履歴画面２２００を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示である。例示するように、掃除履歴を提供するためのユーザ入力の受け取りに応答して、ユーザデバイスは、日付２２１０、ミッションカバレージマップ２２０２、及び掃除ミッション性能データ２２０３など、時間情報を含む履歴画面２２００を表示することができる。掃除ミッション性能データ２２０３は、掃除ミッションの持続時間、開始及び／又は終了時間、ミッションステータス、掃除ミッション中に掃除されたエリアの量及び／又は汚れ検出カウントを含むことができる。
図２３は、本発明の一部の実施形態による、密閉空間の掃除ミッションに対応するリアルタイムレポートを含むマップ２３０２を示す、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示である。掃除ミッション進行データを要求するユーザ入力の受け取りに応答して、ユーザデバイスは、現在の掃除ミッションにて掃除される領域及び／又はその一部分２３０５及び掃除されない領域及び／又はその一部分２３０７の識別を含む、占有マップ及び／又はセグメンテーションマップ２３０２を表示することができる。一部の実施形態では、どの領域が掃除されたか及びどの領域が掃除中であるかを識別する追加のテキスト２３０３を提供できるようにする。
図２４は、本発明の一部の実施形態による、マルチミッションカバレージディスプレイを含むマップを示す、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示である。例示するように、占有及び／又はセグメンテーションマップは、複数の掃除ミッションに対応する履歴カバレージデータを含むように表示することができる。例えば、他のエリアに対して従来からより汚れている密閉空間のエリアを識別するヒートマップ２４０２を生成することができる。ヒートマップ２４０２は、それぞれの位置で収集された汚れ及び／又はデブリのレベルを示すため、様々な色、シェーディング、及び／又は輝度／強度を含むことができる。例えば、右下のエリア２４２０のシェーディングは、シェーディングされていない左上のエリア２４１０に対して検出された及び／又は収集されたデブリ及び／又は汚れの量が多いことを示している。
図２５は、本発明の一部の実施形態による、表示することができる部屋ベースのデータ２５０３を示す、通信デバイスのユーザインタフェースを介して表示することができるグラフィック表示である。一部の実施形態では、このユーザデバイスは、部屋ベースの統計値の表示のためのユーザ入力２５０３を含むことができる。例えば、一部の実施形態では、ユーザは、セグメンテーションマップ２５０２上の領域２５０１を選択することができ、この領域２５０１に対応するデータ２５０３を入力の受け取りに応答して表示できるようにする。例えば、セグメンテーションマップ２５０２上でリビングルーム２５０１を選択したユーザ入力に応答して、ユーザデバイスは、リビングルームが掃除された回数、最後の掃除の日付、リビングルームを掃除するのに費やした合計時間、及び／又は表示されたデータに対応する日付範囲を含む、リビングルームに対応する要約掃除ミッションデータ２５０３を表示することができる。
図２６は、本発明の一部の実施形態による、音声コマンド２６０１を使用して通信デバイスを介してユーザ入力を提供することができる動作を示したグラフィック表示である。一部の実施形態では、ユーザデバイス２６００は、特定の部屋を掃除するためのユーザ入力を含むことができる。例えば、ユーザ入力は、特定の部屋を即座に掃除することとすることができる。一部の実施形態では、ユーザ入力は、音声認識技術を使用して音声コマンド２６０１を介して受け取ることができる。一部の実施形態では、音声コマンド２６０１は、ユーザデバイス２６００の外部のデバイスから受け取ることができるようにする。例えば、ＨＶＡＣ制御、娯楽システム制御などの他の機能を実行するための音声コマンドを受け取ることができる家庭管理デバイスは、音声コマンド２６０１を受け取って、メッセージをユーザデバイス２６００、ロボット１００、及び／又はロボット管理ノード２００に中継することができる。
図２７は、本発明の一部の実施形態による、通信デバイスのタッチスクリーン上のジェスチャに応答して掃除ミッション境界２７０５を定めるユーザ入力の受け取りのグラフィック表示である。一部の実施形態では、密閉空間２７０２の特定の部屋の状態は、掃除動作を望ましくないように利用することができる。このような状況では、境界２７０５は、ユーザデバイスのユーザ入力を介してセグメンテーションマップの領域に追加することができる。例えば、領域２７０７を塞ぐタッチスクリーン上の単純なジェスチャにより、修正済みセグメンテーションマップは、後続の掃除ミッションから当該領域２７０７を除外することができる。
図２８Ａ～２８Ｃは、本発明の一部の実施形態による、生データマップ２８０２、掃除済みマップ２８１２、及び検出された散乱物領域２８２４を有する掃除済みマップ２８２２を示す、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示である。図８Ａに関して上述したように、一部の実施形態では、ロボットが第１パス中に密閉空間の表面を探索することができるようにする。第１パス中に生成された生データを含む占有グリッドを生成することができる。この占有グリッドは、図２８Ａに示される生データマップ２８０２としてユーザデバイス上でユーザに提示することができる。生データマップ２８０２は、占有壁部を含み、横断可能なスペースに白で及び障害物に黒でシェーディングを付けることができる複数の画素を含むことができる。
図２８Ｂを参照すると、ロボットは、ユーザデバイス上でユーザに表示することができる掃除済みマップ２８１２を生成することができる。掃除済みマップ２８１２は、生データよりも実質的により直線的であるように除去された境界データ２８１６を有する掃除済み密閉空間を示すことができ、密閉空間表面の横断可能なスペース２８１４を強調表示することができる。
図２８Ｃは、ユーザデバイス上でユーザに表示することができる検出された散乱物領域２８２２を有する掃除済みマップを示す。掃除済みマップ２８１２に対して、検出された散乱物領域２８２２を有する掃除済みマップは、散乱物領域２８２４を備えた密閉空間を示す。一部の実施形態では、動作は更に、散乱物２８２４が動的散乱物か又は静的散乱物かを判定することができる。例えば、図３５Ａ～３５Ｄを参照して以下に説明するように、ロボットは、散乱物が頻繁に遭遇される確率を判定することによって、及び／又は１又は２以上の他のロボット及び／又はユーザによって識別された散乱物のパターンを含むデータストアにアクセスすることによって、散乱物２８２４が静的散乱物であることを判定できる。一部の実施形態では、静的であると判定された散乱物は、繰返し遭遇する確率が低い散乱物に対してより暗いセルを使用してマップ上にマーク付けすることができる。暗いセルは、横断可能ではない既知のエリアを示すことができる。このような特徴を識別することによって、ロボットは、横断可能なスペースがランクで確定的に掃除された後に、掃除できる散乱物領域を識別することができる。非散乱領域を最初に掃除すると、ミッション効率を向上させることができる。
図２９Ａ～２９Ｄは、本発明の一部の実施形態による、それぞれのエリア固有の掃除動作を含むセグメンテーションマップを示した、通信デバイスのユーザインタフェースを介して示すことができるグラフィック表示である。図２９Ａを参照すると、セグメンテーションマップ２９０２は、オープンエリア２９０４及び散乱物エリア２９０６として識別された領域及びその一部分を含む。本明細書で定められるように、オープンエリアは、識別された散乱物又は散乱エリアが少ない又は全く無いとして識別された、密閉空間領域及び／又はその一部分の識別されたエリアを指すことができ、また、本明細書では非散乱エリアとも呼ばれる。上述のように、散乱物は、表面を占有し且つランク（行）での表面の体系的で決定論的カバレージを妨げる障害物を指すことができる。一部の実施形態では、セグメント化マップの領域全体は、オープンエリア又は散乱物エリアであると決定することができる。一部の実施形態では、オープンエリア及び／又は散乱物エリアは、本明細書でサブ領域とも呼ばれる領域の一部分として定義できるようにする。例えば、散乱物エリア２９０６は、定義されたオープンエリア２９０４を含む領域の一部分である。また、オープンエリア２９０４は、散乱物の小さなエリアを含むことができる。図２９Ａに示されるように、表示されたセグメンテーションマップ２９０２は、例えば、散乱物エリア２９０６及び非散乱物エリア２９０４の周りに視覚的に別個の境界を表示することによって、これら異なって分類されたサブ領域２９０４及び２９０６を視覚的に強調表示することができる。
一部の実施形態では、散乱物エリアは、散乱物密度決定に基づいて決定することができる。例えば、一部の実施形態では、散乱物密度は、特定の散乱物ポイントと近隣の障害物又は散乱物ポイントとの間の寸法を測定することによって決定することができるようにする。この寸法及び／又は寸法の関数は、ロボット及び／又はロボットの一部の何らかの寸法と比較することができる。比較の結果により、障害物を散乱物として分類するかどうかを決定することができる。例えば、測定された距離が、ロボットの寸法に基づく閾値よりも小さい場合、障害物は散乱物と決定することができる。ロボットの相対寸法は、とりわけ、ロボットの全長、幅、及び／又は掃除ヘッド作業幅を含むことができる。非限定的な実施例は、掃除ヘッドの作業幅の約７０％から約３００％の範囲を含む。換言すると、ロボットの掃除ヘッド又はローラの幅の約７０％から約３００％の距離だけ離間した障害物は、妨げられない決定論的ランクのこのような障害物によって占有された床スペースをロボットは横断できないので、「散乱物」を構成する（又は「散乱物」として解釈する）ことができる。図２９Ａの実施例では、図示された最下のエリアは、散乱物２９０８の比較的低い密度に基づいてオープン又は非散乱物エリア２９０４として分類される。
オープンエリア２９０４及び／又は散乱物エリア２９０６が識別されると、本明細書ではカバレージパターンとも呼ばれる、密閉空間の表面の異なるエリアを掃除するルート及び方式は、移動式ロボット１００、ロボット管理ノード２００及び／又はユーザデバイス２０２によって決定することができる。カバレージパターンは、例えば、それぞれの分類に基づいて表面の領域又はサブ領域の順次的掃除を示すことによって、認識された関連又は分類に関して異なるようにエリアを処理する改善又は最適化された掃除方式を定義することができる。例えば、カバレージパターンは、散乱物エリア２９０６を一時的に無視及び回避するために、図２９Ｂに示すようにオープンエリア２９０４の掃除を最初に実行し、次に図２９Ｃに示すように散乱物エリア２９０６の掃除を実行し、次いで図２９Ｄに示すように周囲２９３０の掃除を実行することを示すことができる。
図２９Ｂを参照すると、オープンエリアの掃除を実行する際には、オープンエリア２９０４の各々に対して、ランク方向２９１０を決定することができる。一部の実施形態では、ランク方向２９１０は、所与の領域の最長寸法に対応することができる。しかしながら、一部の実施形態では、ランク方向は、例えば、ユーザ入力によって指定された領域とは異なる可能性があるオープンエリアの寸法に基づくようにする。オープンエリアの掃除動作が決定されると、オープンエリア掃除動作を実行することができる。このことは、ロボットは、エリア２９０４において散乱物のナビゲーション（及び関連するバッテリ消耗）によって減速されないので、一部の実施形態においてで効率が向上する。オープンエリア２９０４が掃除される床スペースの大部分を表すことができると、ロボットは、最初に床スペースの大部分（例えば、最大８０％～９０％又はそれ以上）の掃除を完了して、次いで、時間及び労力を要し場合によってはミッションを妨害する散乱物エリア２９０６に集中することができる。例えば、ロボットは、一部の事例では散乱物エリア２９０６を掃除する際に椅子又は他の家具の間で捕捉されることがあり、これによりオープンエリア２９０４に対して掃除ミッションが妨げられる。
オープンエリアの掃除は、特定の領域又はその一部分における掃除動作を終了させる有利な位置を決定する段階を含むことができる。例えば、掃除すべき次の領域のための予定開始ポイントに近接して終了する第１スペースの掃除動作は、既に掃除された領域又はその一部分にわたる不必要な横断を低減することができる。一部の実施形態では、掃除される次の領域は、前の掃除動作の終了ポイントに対する近接度に基づいて決定することができる。例えば、現在掃除中の動作の完了時に最も近い戸口に隣接した部屋を、掃除すべき次の領域及び／又はその一部分であるように選択することができる。
図２９Ａ～２９Ｄの実施例では、カバレージパターンは、異なるように分類されたエリアの順次的ナビゲーションを示し、すなわち、オープンエリア掃除動作が実行されると、散乱物エリア掃除動作が実行される。例えば、図２９Ｃは、残りの掃除されていないエリアが散乱物エリア２９０６であり、このエリアを掃除するための掃除経路（散乱物エリア２９０６内の移動のランダムパターンを示す矢印によって示されている）を示している。図２９Ｄに示されるように、オープンエリア及び散乱物エリアが掃除されると、周囲の掃除動作を密閉空間の周囲２９３０に沿って実行することができる。
マップ２９０２の学習及び生成は、少なくとも１つのナビゲーション又は掃除動作が実行されていることを必要とする可能性があるので、散乱物エリア２９０６の初期検出時にカバレージパターンを決定及び／又は修正しなくてもよいことは、理解されるであろう。すなわち、本明細書で記載されるカバレージパターンをコンピュータ計算する際には、散乱物検出は、永続マップデータを使用した表面の複数のナビゲーションに基づくことができる。例えば、検出された障害物は、各ナビゲーション後に、クラウド２１０４内のデータストア２１０６などのデータストアに格納することができる。経時的に生成された幾つかのマップから障害物及び／又は構造物を比較することによって、静的障害物対動的障害物（壁対散乱物など）の度合い又は密度を示す確率を、表面の各領域に対してコンピュータ計算することができ、これは、散乱物エリア２９０６又はオープンエリア２９０４として領域を分類するのに使用することができる。この情報はまた、ユーザデバイス２０２のユーザインタフェースを介して表示することができ、その結果、散乱物エリア２９０６又はオープンエリア２９０４としての領域の分類をユーザが観察可能となる。
より詳細には、表面の複数のナビゲーションの後に、ロボット１００に対して、障害物の位置が経時的に変化する可能性がある領域についてより良好に知らされることができ、従って、このような領域は散乱物エリア２９０６として分類することができる。他の領域は、静的フリー又は静的占有の何れかなどの静的状態として決定することができ、オープンエリア２９０４として分類することができる。この情報に基づいて、カバレージパターン又は掃除方式をコンピュータ計算することができる。例えば、カバレージパターンは、ランキングパターン（図２９Ｂに図示）でのより効率的なオープンエリア２９０４の掃除と、エッジ掃除パターン（図２９Ｃに図示）での散乱物エリア２９０６の掃除とを指定することができる。決定されたカバレージパターンに応答して図２９Ｂ及び２９Ｃに示されるこれらの例示的な掃除行動を観察し区別することができる。特定の実施例では、ロボット１００は、最初に、散乱物エリア２９０６に入ることなくランキングによって全ての静的フリーエリア２９０４を効率的に掃除することができる。オープンエリア２９０４の掃除を完了した後、ロボット１００は、全ての散乱物エリア２９０６を順次的に横断することによって、エッジ掃除行動を実行することができる。また、一部の実施形態では、ロボット１００は、表面の後続のナビゲーションの際に同じパターンを繰り返し実行することができる。しかしながら、環境が変化したとき（例えば、散乱物が散乱物エリア２９０６の１又は２以上から取り除かれたとき）には、コンピュータ計算されたカバレージパターンは、オープンエリア２９０４として散乱物エリア２９０６のうちの１又は２以上を再分類することによって修正することができ、再分類後に同じ表面のナビゲーションにおけるロボット１００の行動の変化がもたらされる。
例えば、図２９Ａでは、延伸したオープンエリア２９０４は、家の玄関廊下を表すことができる。このような廊下の大多数はフリーとすることができ、人が家に入るか又は家から出るときに歩くことができるようになる。延伸したオープンエリア２９０４の左の最下の散乱物エリア２９０６は、人々が家に入るときに靴を脱ぐ場所とすることができる。従って、このエリア２９０６では、ロボット１００は、これらの障害物（靴）に頻繁にぶつかるか、又は非接触センサ（例えば、ＰｉｘＡｒｔセンサ）を介して障害物を検出することができる。加えて、靴の配置は経時的に頻繁に変わる可能性があるので、靴の配列は通常、ロボット１００がエリア２９０６を掃除する度に変わることになる。結果として、ロボット１００は、この特定のエリア２９０６を動的に変わる（及びひいては散乱される）ものとして学習及び分類することができるが、延伸した廊下２９０４の一部分（廊下の中央及び下側エリアなど）は、静的フリー（横断可能、オープン床スペースなど）として学習及び分類することができる。
従って、カバレージパターンを決定して、ロボット１００に提供することができ、ロボット１００は、靴散乱エリア２９０６に入ることなく効率的なランキングによって最初に延伸した廊下２９０４を掃除するようになる。延伸した廊下２９０４の掃除を実行した後、ロボット１００は、カバレージパターンに従って、エッジ掃除によって順次的に散乱エリア２９０６（廊下の左の）を掃除することになる。しかしながら、その後で、延伸した廊下２９０４の右側の壁の近くに人が靴を置き始めた（及び左にエリア２９０６がない）場合、エリア分類及びカバレージパターンは、後続のナビゲーション後のこの変化の検出に応答して修正することができ、ロボット１００は、幾つかの掃除ランの後にその掃除行動を顕著に変えることができる。詳細には、カバレージパターンは、該カバレージパターンに応答して、ロボット１００が延伸した廊下２９０４の左側の今オープンのエリア（以前は散乱物エリア２９０６として分類）を最初に掃除して、次いで、延伸した廊下２９０４の右壁に沿って靴散乱エリアにエッジ掃除を実行するように修正することができる。より一般的には、ロボット１００のナビゲーションの際に散乱物検出の複数の指示が存在することができる。これらは、限定されないが、ユーザデバイス２０２のユーザインタフェースを介した散乱物エリア２９０６及びオープンエリア２９０４の表示及びマーキング、オープンエリア２９０４及び散乱物エリア２９０６をナビゲートする際のロボット１００の異なる行動、及び同じ順序又はシーケンスにおける異なる行動の反復実行（並びに、環境の変化に応答した反復実行の変更）を含むことができる。
一部の実施形態では、カバレージパターンのコンピュータ計算及び移動式ロボット１００による表面の識別エリアの掃除は、例えば、無線通信デバイス４００又は他のユーザデバイス２０２のユーザインタフェース４１０を介した、ユーザデバイスからの掃除すべき領域／サブ領域の選択、掃除シーケンス／優先順位、掃除パターン、及び／又は掃除のレベルの受け取りに応答することができる。図３０Ａ～３０Ｇは、本発明の一部の実施形態による、カバレージパターンを定義するためのそれぞれのエリア固有掃除動作及び／又はプリファレンスをユーザが選択する動作を示した、ユーザデバイスのユーザインタフェースを介して表示することができるセグメンテーションマップ図３００２のグラフィック表示である。例えば、図３０Ａ～３０Ｇのセグメンテーションマップ３００２は、オープンエリア２９０４の初期掃除のユーザ選択を可能にするための異なるように分類された領域及びオープンエリア２９０４ａ、２９０４ｂ、２９０４ｃ、及び２９０４ｄが掃除されるシーケンス（数字１－４によって図３０Ａ～３０Ｄに図示）、散乱物エリア２９０６の後続の掃除及び散乱物エリア２９０６ａ及び２９０６ｂが掃除されるシーケンス（数字５～６によって図３０Ｅ～３０Ｆに図示）、並びに図２９Ｄの周囲２９３０の周囲カバレージを実行することによる掃除の完了（数字７によって図３０Ｇに図示）を視覚的に強調表示することができる。カバレージパターンに基づいてユーザ定義のエリア掃除動作を実行する際には、移動式ロボット１００は、現在のエリアの掃除が完了するまで、後続の掃除用に選択されたエリアを立ち入り禁止ゾーンとして処理することができる。一部の実施形態では、移動式ロボット１００は、領域又はサブ領域の長い寸法に対応する実質的に直線状のランク方向でて異なるように分類されたサブ領域２９０４Ａ～ｄを横断することができ、コーナーの周りを体系的にナビゲートするように弧又は他の非線形パターンでサブ領域２９０６を更に横断することができる。
このようなユーザ定義のエリア掃除動作はまた、掃除動作を実行する際に移動式ロボット１００によって実行される掃除パターン（横断の方向を含む）及び／又は掃除レベル（パスの数を含む）のユーザ選択を可能にし、これによってユーザ割り当ての掃除レベルを可能にすることができる。図３１Ａ～３１Ｃは、セグメンテーションマップ３１０２のグラフィック表示であり、これは、図３０Ｂに示したオープンエリア２９０４ｂの掃除の掃除パターンのユーザ選択のためにユーザデバイスのユーザインタフェースを介して表示することができる。従って、ユーザインタフェースを介して表示されたセグメンテーションマップ３１０２は、非散乱物領域２９０４ｂの北－南ランク方向２９１０ａ、西－東ランク方向２９１０ｂ、又は十字ランク方向２９１０ｃの選択を可能にすることができる。掃除の徹底レベル（例えば、移動の各方向における単一の掃除パス又は複数の掃除パス）はまた、移動の方向の各々２９１０ａ～２９１０ｃについて選択することができる。すなわち、本明細書で記載される実施形態によれば、カバレージパターンは、表面の異なるように分類されたサブ領域だけでなく、移動の方向、掃除のレベル、及び／又は掃除の順序又は優先順位を含むユーザ指定のパラメータに基づいて決定することができる。セグメンテーションマップの１又は２以上の領域をラベル付けするユーザ入力は更に、本明細書で記載されるように移動式ロボットによって実行される掃除動作を容易及び／又は最適化することができる。
図２９Ａ～２９Ｄを参照して本明細書で記載される散乱及び非散乱エリアの分類及び／又はユーザ定義のエリア掃除動作に基づいてカバレージパターンを決定する段階はまた、床のタイプ（例えば、固い床の水拭き掃除、カーペット床のドライ掃除）に基づくこともできる。図３２は、本発明の一部の実施形態による、エリア固有の掃除動作の床タイプの検出及び／又はユーザ選択を示すユーザデバイスのユーザインタフェースを介して表示することができるセグメンテーションマップ図３２０２のグラフィック表示である。図３２に示されるように、グラフィック表示３２０２は、検出された散乱物エリア２９０６及びオープンエリア２９０４と組み合わせて、固い床３２０４及び柔らかい床又はカーペット３２０６を含む床タイプを示すことができる。すなわち、散乱物エリア２９０６及びオープンエリア２９０４は更に、対応する床タイプの検出又はユーザ指示に基づいて、固い床のオープンエリア３２０５、固い床の散乱物エリア３２０７、柔らかい床のオープンエリア３２０９、及び柔らかい床の散乱物エリア３２１１として識別することができる。また、散乱物２９０６又はオープン２９０４として識別されたエリアは、１つよりも多い床タイプ３２０６又は３２０４を含むことができ、又は逆もまた同様である。例えば、図３２に示した最も下のオープンエリア２９０４は、柔らかい床／カーペットエリア３２０６及び固い床のエリア３２０４を含む。
床タイプ３２０４、３２０６は、１又は２以上のセンサからの入力に基づいて、及び／又はユーザインタフェースを介してユーザデバイスからセグメンテーションマップ３２０２の１又は２以上の領域に対応する床タイプの識別の受け取りに基づいて、表面のナビゲーション中にロボット１００によって検出することができる。例えば、床タイプ３２０４、３２０６の検出は、その開示が本明細書に引用により組み入れられる、２０１５年２月１３日に出願されたＳａｎｔｉｎｉ対する米国特許出願公開第２０１６／０２３５２７０号に記載されるようなロボット１００によって実行することができる。固い床３２０４及びカーペット床３２０６のタイプだけが図示されているが、固い床のタイプ（例えば、木又はコンクリート）及び／又はカーペットのタイプ（例えば、敷物又はバーバー）などの追加の床タイプもロボット１００によって検出でき、及び／又はユーザインタフェースを介して指定できることは理解されるであろう。また。ロボット１００によって実行される掃除動作のタイプ（例えば、水又はドライ掃除）は、床タイプ３２０４、３２０６の検出又は識別に応答して決定することができる。
ユーザ指示床タイプ（例えば、ユーザインタフェースを介して受信）はまた、センサ入力及び／又は機械学習に基づいてロボット１００によって検出された床タイプ３２０４、３２０６に対応するように一致させ又は決定することができる。例えば、ユーザインタフェースを介して、ユーザは、マップ３２０２に示された最下のオープンエリア３２０４におけるラグ３２０９の周りの境界３２０５を抽出又は定義して、カーペットエリア及び／又は立ち入り禁止ゾーンに対応していることを示すことができる。ロボット１００はまた、固い床のエリア３２０４にラグ３２０９のエッジを検出（例えば、音響センサを使用して）することができるが、ユーザ定義の境界３２０５（マップ３２０２に表示）が１又は複数のロボットセンサによって検出されたラグ３２０９の実際の境界に正確に対応していないと判定される場合がある。例えば、図３２に示されるように、ユーザ定義の境界３２０５は、ラグ３２０９の境界に対してシフトしている。この不一致の検出に応答して、ロボット１００は、ラグ３２０９の検出された境界に対して表示されたマップ３２０２に基づくユーザ定義の境界３２０５に関連する許容誤差を認識することができ（詳細には、マップ３２０２は、ユーザインタフェースを介したディスプレイのために簡素化することができる）、また、ユーザ定義の境界３２０５に応答して固い床エリア３２０４と柔らかい床エリア３２０６との間の移行の検出を検証することができる。一部の実施形態では、ユーザ定義の境界３２０５は、例えば、マップ３２０２上のユーザ定義の境界３２０５をシフト、サイズ変更、又は再度の位置合わせをすることによって、ラグ３２０９の検出された境界に対応するよう表示されたマップ３２０２上で調整することができる。
本明細書で記載されるユーザ定義エリアの掃除動作に基づくカバレージパターンは、例えば、本明細書で記載される部屋セグメンテーション動作に基づいて部屋毎の掃除を利用することによって更に改善することができる。一部の事例では、部屋毎の掃除動作は、最大で５０％の掃除時間の低減を可能にすることができる。また、掃除性能は、エリアのユーザラベリング及び／又は状況に応じた行動と組み合わせた永続マッピング（例えば、経時的に動作環境の静的対動的エリアを更新することによって）に基づく場合に更に改善することができる。例えば、決定されたカバレージパターンに基づく場合、ロボット１００は、オープンエリア掃除を完了した後に周囲又は境界との遭遇に応答して、エッジ掃除を実行することができる。別の実施例として、散乱物エリア掃除を完了した後、ロボット１００は、オープンエリアを掃除するのに使用された同じランク方向で以前に掃除したオープンエリアを横断しないようにすることができる。本明細書で記載されるカバレージパターンをコンピュータ計算するための動作は、ロボット１００、ロボット管理サーバ２００、及び／又はユーザデバイス２０２によって実行することができる。
本明細書で記載される散乱物検出及び分類動作は、一部の実施形態においてユーザデバイスから受け取ったフィードバックと組み合わせて、ロボット１００によって収集された占有データを利用することができる。例えば、物体（壁などの静的物体及び散乱物などの動的物体を含む）は、ハードコード又はプログラムによる規則を含む分類子を使用してロボット１００によって検出することができる。プログラムによる規則は、例えば、物体エリア及び偏心率、物体の剛性、及び／又は直線的構造物との物体の類似性に基づくことができる。しかしながら、上述のように、検出された境界に付随しているように見える画素によって定められる物体は、壁に統合されていると解釈することができる。収集された占有データのこのような不正確な解釈は、ユーザに提示するための不正確なマップの生成を結果として生じる可能性がある。
このようにして、一部の実施形態では、分類子は、ロボット１００によって収集された占有データに基づいて訓練することができ、複数のユーザから受け取ったフィードバック入力に基づいて微調整することができる。詳細には、１人のユーザによって識別された散乱物のパターンは、データストア（例えば、図２１のデータストア２１０６）に格納され、例えば、畳み込みニューラルネット（ＣＮＮ）ベースの物体検出を使用して、他のユーザ及び／又はロボットによって利用することができる。図３４Ａ～３４Ｆは、マップデータから散乱物を区別及び除去する例示的動作を示す。詳細には、移動式ロボットのナビゲーションによって収集されたデータに基づいて生成される占有又はグリッドマップ３４０２（図３４Ａに図示）を使用して、背景エリアを表す画素エリア３４０４（図３４Ｂに図示）から物体を表す画素エリア３４０６を検出及び区別することができる。より詳細には、図３４Ａに示されたマップ３４０２から、図３４Ｂに示された境界３４０４が抽出されて、物体を表す画素エリア３４０６が図３４Ｃの境界分離障害物画素３４０６ａ及び境界付随障害物画素３４０６ｂとして分類される。図３４Ｄに示すように、境界分離障害物画素３４０６ａが取り除かれ、図３４Ｅに示すように、境界付随障害物画素３４０６ｂは残存するようになる。一部の実施形態では、境界付随障害物画素３４０６ｂは、複数のユーザから受け取ったラベリング入力から少なくとも一部が生成されたグランドトゥルース情報を含むデータストアにアクセスすることによって、散乱物（壁ではなく）として識別及び分類することができる。これにより、境界付随障害物画素３４０６ｂは、図３４Ｆに示すように、壁を表す境界３４０４だけが格子マップ３４０２に残るように取り除かれる。
散乱物として画素を識別及び分類する際に使用することができる上述のデータストア２１０６などのデータストアは、壁（静的構造物）又は散乱物（動的構造物）として特定の構造物をラベリングするユーザ入力から生成することができる。ＣＮＮベースの物体検出は、例えば、一部の実施形態におけるロボット管理サーバ２００及び／又は他のクラウドサーバによって移動式ロボット１００からリモートで実行することができる。ＣＮＮ分類子は、多くのロボットによって収集された格納された分類データを使用して（例えば、ロボットナビゲーションから収集された静的マップに基づいて）、事前訓練することができ、また、１又は２以上のユーザデバイスから受け取ったユーザフィードバックから生成された格納されたデータを使用して微調整することができる。
図３５Ａ～３５Ｄは、データストアに格納して本明細書で記載される散乱物分類及び特徴抽出に使用することができるパターンの実施例３５０４、３５０６を示す。より詳細には、図３５Ａ～３５Ｂは、散乱物を示すパターン３５０６を示し、図３５Ｃ～３５Ｄは、複数のユーザラベリング入力から受け取ったフィードバックに基づいて受け取り及び／又は識別された壁を示したパターン３５０４を示している。ユーザラベリング入力は、本明細書で記載されるユーザデバイス２０２及び／又は無線電子デバイス４００などのユーザデバイスのユーザインタフェースを介して受け取ることができる。従って、図３５Ａ～３５Ｄに示したパターンによって表され又は該パターンに対応する特徴は、例えば、オートエンコーダを使用してロボット１００によって収集される後続の占有データから学習し抽出することができる。図３５Ａ～３５Ｄに示されたパターン及び／又は形状は更に、追加のユーザラベリング入力に基づいて分類することができる。例えば、図３５Ｂにおける動的構造物を示すパターン３５０６のうちの特定のパターンは、対応するパターンのユーザラベリングに基づいて、家具以外のキッチン器具として区別することができ、また逆も同様である。同様に、家具のタイプ（例えば、椅子対テーブル）は、散乱物のタイプ及びサブタイプを分類するユーザラベリング入力のアーカイブを維持するデータストアへのアクセスに応答して区別することができ、これは、１又は２以上の異なる動作環境においてかかるパターンを認識する際に１又は２以上の移動式ロボットによって引き続き使用することができる。更なる実施形態では、図３５Ａ～３５Ｄによるパターンベースのオブジェクト検出は、画像分類のための画像ベースのデータと共に使用して又は組み合わせることができる。
図３６Ａ～３６Ｃは、本発明の一部の実施形態による、複数のマップ間のセグメンテーション移行及び特徴マッチングによって永続マップデータを更新する動作を示した、グラフィック表示である。詳細には、移動式ロボット１００によって収集された占有データから生成される動作環境の格子マップ３６０２ａ、３６０２ｂは、動作環境の毎日のナビゲーションとは異なる可能性がある。これらの差異は、例えば、センサ雑音及び／又は動作環境における散乱物（人、動物、及び／又は家具を含む）の異なる配置又は動きから発生する可能性がある。
このような動的動作環境における一貫したセグメンテーションを維持するために、本明細書の実施形態は、異なる時間で及び／又は異なる条件下で収集されたマップ間でセグメンテーションを移行することができる。このようなセグメンテーション移行の動作は、特徴マッチング（図３６Ａに図示）及び外れ値除去（図３６Ｂに図示）を含むことができる。特徴マッチングは、例えば、同じ動作環境における異なる時間及び／又は異なる条件下で検出された占有データから生成される複数のマップ３６０２ａ、３６０２ｂに共通の境界をマッチングすること、及び／又は共通の形状を相関付けることによって、その前のマップ３６０２ａから識別された１又は２以上の特徴を用いて動作環境の後で取得されるマップ３６０２ｂを更新する段階を含むことができる。複数のマップ３６０２ａ、３６０２ｂに存在又は永続する特徴３６０６は、壁又は他の動かない構造物などの静的特徴に対応するものとして認識することができる。外れ値除去は、マップ３６０２ａ、３６０２ｂの一部に現れるが他に現れないエリア３６０４（例えば、入口及び／又は廊下）の削除を含むことができる。特徴マッチング動作は、例えば、非画像センサによって取り込まれたバンパーヒット並びに移動式ロボットのカメラによって取り込まれた画像に基づいて、ロボットによって収集された画像化及び非画像化データの両方に基づくことができる。
部屋のセグメンテーションを示す境界３６０９は、異なる時間及び／又は動作条件（図３６Ｃに図示）で収集された占有データに基づいて生成されるマップ３６０２ａ、３６０２ｂ間で移行させることができる。ユーザデバイスのユーザインタフェースを介して表示されたセグメンテーションマップへのユーザ入力及び／又は修正は、本明細書で記載されるマップを更新する際に移行させることができる。このような一貫したセグメンテーション３６０９の維持は、ユーザが移動式ロボットの各動作で同じ／類似した掃除行動又はシーケンスを観測することを可能にし、ロボット動作の予測可能性を向上させることができる。また、本明細書で記載されるようなマップを更新する際のセグメンテーション３６０９の移行は、ユーザがセグメンテーションの前に定義された編集及び／又は部屋毎又は領域ベースの掃除についての事前定義の動作シーケンスを維持することを可能にする。このようにして、ユーザは、動作環境自体における一部の変化にも関わらず、移動式ロボットによる比較的安定した行動を観測することができる。
図３７は、本発明の一部の実施形態による、時間ステータスのユーザ選択に応答した移動式ロボットの動作を示した、通信デバイス３７００のユーザインタフェース３７１０を介して表示することができるグラフィック表示である。図３７に示されるように、移動式ロボット１００による動作環境のナビゲーションを示すマップは、ロボットがマップに示された各位置にある時間を示す時間データと共に生成及び格納することができる。このデータに基づいて、ユーザ入力要素３７５０（時間スライダユーザインタフェースとして図示）は、ユーザデバイス３７００のユーザインタフェース３７１０を介して提示することができる。ユーザ入力要素３７５０は、ロボット１００についての動作状態情報が求められる時間のユーザ指定を受け取るよう構成される。一部の実施形態では、ユーザ入力要素３７５０を介して特定の時間又は特定の複数の時間のユーザ選択の受け取りに応答して、移動式ロボット１００の位置及び動作を示すアニメーション３７２０を生成及び表示することができる。
より詳細には、図３７の実施例では、時間スライダバー３７５０は、バー要素３７５５の長さに沿ったそれぞれの位置に対するスライダ要素３７５１を操作するユーザ入力を受け取るよう構成される。バー要素３７５５は、ロボット１００の動作状態情報が格納されているか又はアクセス可能である時間範囲を視覚的に表している。マーキング指示は、バー要素３７５５の長さに沿って提供できるそれぞれの時間とすることができる。ユーザインタフェース３７１０は、スライダ要素の操作又は他のユーザ入力に応答してバー要素３７５０の長さに沿ってスライダ要素３７５１の位置を検出するよう構成され、これからデバイス３７００は、バー要素３７５５によって表される時間範囲に沿ってスライダ要素３７５１の位置の対応に基づいて、ユーザ入力によって指定された時間を決定するよう構成される。これにより、ユーザインタフェース３７１０は、ユーザ入力によって指定された時間に対応する時間データと関連付けられるロボット１００の動作状態を表すステータス指示を表示するよう構成される。ランタイムの選択された部分にわたる移動式ロボット１００の位置及び動作を示すアニメーション３７２０はまた、時間スライダバー３７５０のユーザ操作に応答して表示することができる。
アニメーション３７２０は、実際のロボット動作ステータス情報（以前にログされた又は現在レポートされたような、ロボット１００の実際の過去又は現在の動作に基づいて）、及び／又は予想されるロボット動作ステータス情報（ユーザによって指定されたようなロボット１００のスケジュールされた将来の動作に基づいて）視覚的に表現することができる。実際の及び予想／スケジュールされる動作状態（及び、これに関連する過去、現在又は将来の時間データ）は、継続的にログ及び更新することができ、データベースに格納することができる。例えば、一部の実施形態では、コンピューティングデバイス（ロボット管理ノード２００など）は、ロボット１００の実際の動作状態（及び関連する過去又は現在の時間データ）及び／又は予想される動作状態（及び関連する将来の時間データ）を示すデータを受け取ることができる。動作状態及び関連する時間データを示すデータは、コンピューティングデバイスによって要求（又は「プル」）することができ、又は通信しているロボット１００及び／又はネットワークソースによってレポート（又は「プッシュ」）することができる。掃除進行のアニメーション３７２０はまた、様々な細粒度で提示することができる。例えば、サブ領域又は部屋レベルの掃除進行は、図３７に示すような小さな四角形ではなく、拡大図で選択及び表示することができる。加えて又は代替として、アニメーション３７２０は、ロボット１００の軌跡を示すことができ、ユーザ選択に応答してロボット１００の前の経路又はリアルタイムの経路を示す。一部の実施形態では、入力要素３７５０を介して選択された時間は、移動式ロボット１００によって収集及び格納されたビデオフィードのタイムスタンプと関連付けられ、ユーザインタフェース３７１０は、移動式ロボット１００に装着されたカメラによって選択された時間に取り込まれた画像／ビデオを表示することができる。より一般的には、動作環境全体を通して移動式ロボット１００の即時動作及び動作パターンの閲覧可能な履歴３７２０は、ユーザ指定の時間に又はユーザ指定の時間範囲にわたって表示することができる。
本開示の様々な実施形態の上記の説明では、本開示の態様は、何れかの新しい及び有用なプロセス、機械、製造、又は組成物、もしくは何れかの新しい有用な改善を含む、特許保護される幾つかのクラス又は関連状況の何れかにおいて例示され本明細書で記載することができる。従って、本開示の態様は、完全なハードウェア、完全なソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又は本明細書では「回路」、「モジュール」、「構成要素」、又は「システム」と一般的に呼ばれる場合があるソフトウェアとハードウェアの組み合わせの実施構成で実施することができる。更に、本開示の態様は、コンピュータ可読プログラムコードを実施する１又は２以上のコンピュータ可読媒体を含むコンピュータプログラム製品の何れかの形態を取ることができる。
１又は２以上のコンピュータ可読媒体の何れの組合せも使用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、限定されないが、電子、磁気、光学、電磁、又は半導体システム、機器、又はデバイス、又は前述の何れかの好適な組合せとすることができる。コンピュータ可読ストレージ媒体の特定の実施例（包括的でないリスト）は、以下、すなわち、携帯式コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル呼出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、リピータを備えた好適な光ファイバ、携帯式コンパクトディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、光学ストレージデバイス、磁気ストレージデバイス、又は前述の何れかの好適な組合せを含む。この文書の関連では、コンピュータ可読ストレージ媒体は、命令実行システム、装置、又はデバイスによって使用する又はこれと接続するプログラムを包含、又は格納することができる何れかの有形媒体とすることができる。
コンピュータ可読信号媒体は、例えば、ベースバンドで又は搬送波の一部として、本明細書で実施するコンピュータ可読プログラムコードを備えた伝播データ信号を含むことができる。このような伝播信号は、限定されないが、電子－磁気、光学、又はこれらの何れかの好適な組合せを含む多種多様な形態の何れかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、命令実行システム、装置、又はデバイスによって使用又は接続されるプログラムを伝送、伝播、又は転送することができる何れかのコンピュータ可読媒体とすることができる。コンピュータ可読信号媒体で実施されるプログラムコードは、限定されないが、無線、ワイヤライン、光ファイバケーブル、ＲＦなど、又は前述の何れかの好適な組合せを含む何れかの好適な媒体を使用して送ることができる。
本開示の態様の動作を実行するコンピュータプログラムコードは、１又は２以上のプログラミング言語の何れかの組合せで記述することができる。プログラムコードは、ユーザデバイス、移動式ロボット、又は本明細書で記載されるリモートサーバで完全に、又は各々の１又は２以上で部分的に実行することができる。後者のケースでは、リモートコンピュータを、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含むネットワークの何れかのタイプを介してユーザのコンピュータに接続することができるか、又は外部コンピュータに（例えば、インターネットサービスプロバイダを使用するインターネットを介して）又はクラウドコンピューティング環境で又はソフトウェア・アズ・ア・サービス（ＳａａＳ）などのサービスとして提供されるものに接続することができる。
本開示の態様は、本開示の実施形態による、方法、装置（システム）、及びコンピュータプログラム製品の流れ図及び／又はブロック図を参照して本明細書で記載されている。流れ図及び／又はブロック図の各ブロック、及び流れ図及び／又はブロック図のブロックの組合せをコンピュータプログラム命令によって実施できることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、又は機械を製作するための他のプログラマブルデータ処理装置に提供することができ、これによってコンピュータのプロセッサ又は他のプログラマブル命令実行装置のプロセッサを介して実行する命令が、流れ図及び／又はブロック図のブロック又は複数のブロックに指定された機能／行為を実施する機構を生成する。
これらのコンピュータプログラム命令は、コンピュータ可読媒体に格納することができ、実行されたときに、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに特定の方式で機能するよう命じることができ、これによってコンピュータ可読媒体に格納された命令が、実行されたときに流れ図及び／又はブロック図のブロック又は複数のブロックに指定された機能／行為をコンピュータに実施させる命令を含む製造品を製作する。コンピュータプログラム命令は、コンピュータ、他のプログラマブル命令実行装置、又は他のデバイスにロードすることもでき、一連の動作ステップを、コンピュータ、他のプログラマブル装置又は他のデバイスに実行させ、コンピュータ又は他のプログラマブル装置で実行される命令が流れ図及び／又はブロック図のブロック又は複数のブロックに指定された機能／行為を実施するプロセスを提供するようにコンピュータ実施プロセスを作成する。
本明細書で使用する用語は、単に特定の実施形態を説明する目的のものであり、本発明の限定を意図するものではないことを理解されたい。別途定義されない限り、本明細書で使用する全ての用語（技術的及び科学的用語を含む）は、本開示が属する当該技術分野の業者によって共通して理解されるものと同じ意味を有する。共通して使用される辞書で定義されるような語は、本明細書及び当該技術分野の関連における意味に矛盾しない意味を有するものと解釈すべきであり、本明細書に明示的に定義されない限り理想化された又は過度に公式の意味で解釈されることはない。
図における流れ図及びブロック図は、本開示の様々な態様によるシステム、方法、及びコンピュータプログラム製品の可能な実施構成のアーキテクチャ、機能、及び動作を示す。これに関して、流れ図又はブロック図の各ブロックは、指示された論理的機能を実施するための１又は２以上の実行可能な命令を含むモジュール、セグメント、又はコードの一部分を表すことができる。一部の代替の実施構成では、ブロックに記載された機能は、図に記載された順序から外れて発生できる点に留意されたい。例えば、続けて図示された２つのブロックは、実際にはほぼ同時に実行されるか、又は包含される機能に応じてブロックを逆の順序で実行できる場合もある。ブロック図及び／又は流れ図の各ブロック、及びブロック図及び／又は流れ図のブロックの組合せは、指示された機能又は動作、又は専用ハードウェア及びコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって実施することができる。
上記のことは、本発明の例証であり、限定として解釈すべきではない。本発明の幾つかの例示的な実施形態を説明してきたが、当業者であれば、多くの修正が本発明の新しい教示及び利点から実質的に逸脱することなく例示的な実施形態で可能であることを容易に理解するであろう。従って、全てのこのような修正は、本発明の範囲内に含まれるものとする。従って、前述は本発明を例証するものであり、開示する特定に実施形態に限定されるものと解釈すべきでなく、開示される実施形態への修正、並びに他の実施形態も、本発明の範囲内に含まれるものとすることを理解されたい。
１００ ロボット
２００ ロボット管理ノード
２０２ ユーザデバイス
２０４ ネットワーク

Claims (28)

  1. プロセッサと、前記プロセッサに結合されたメモリと、を備えるコンピューティングデバイスであって、
    前記メモリは、コンピュータ可読プログラムコードを格納している非一時的コンピュータ可読ストレージ媒体を含み、
    前記コンピュータ可読プログラムコードが、
    表面のナビゲーションに応答して、移動式ロボットによって収集される占有データに基づいて、前記表面のそれぞれの領域を定め、且つ前記占有データによって示される実際の境界に対して簡素化された境界を含むセグメンテーションマップを生成する段階と、
    前記それぞれの領域のうちの少なくとも１つの領域のサブ領域を非散乱エリア及び散乱エリアとして識別する段階であって、前記散乱エリアは、前記移動式ロボットの横断を妨げる障害物がある領域を指す、段階と、
    前記散乱エリアの識別に応答して前記散乱エリアを示すように、前記簡素化された境界を含む前記セグメンテーションマップを修正する段階と、
    前記非散乱エリア及び前記散乱エリアのナビゲーションのためのシーケンスを示すカバレージパターンを、前記サブ領域の識別に基づいてコンピュータ計算する段階であって、前記カバレージパターンをコンピュータ計算する段階は、前記散乱エリアとの近接度に基づいて、前記非散乱エリアのナビゲーションを終了するための前記表面上の位置を決定する段階を含む、コンピュータ計算する段階と、
    前記カバレージパターンを前記移動式ロボットのために記憶する段階と、
    を含む動作を実行するよう前記プロセッサによって実行可能であり、
    前記カバレージパターンに基づいて、前記移動式ロボットが、前記カバレージパターンによって示された前記シーケンスで前記表面のそれぞれの領域のうちの少なくとも１つの領域の前記非散乱エリア及び前記散乱エリアをナビゲートし、前記移動式ロボットは、前記散乱エリアとの前記近接度を有する前記位置で前記非散乱エリアのナビゲーションを終了して、前記散乱エリア内の障害物を回避しながら、前記非散乱エリアのパターンとは異なるパターンで前記散乱エリアを横断する、
    ことを特徴とするコンピューティングデバイス。
  2. 前記シーケンスは、前記表面の周囲のナビゲーションを更に含み、前記移動式ロボットは、前記カバレージパターンによって示された前記シーケンスで、前記表面の前記非散乱エリア、前記散乱エリア、及び周囲をナビゲートする、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  3. 前記カバレージパターンは更に、前記非散乱エリアのランク方向を示し、前記ランク方向は、前記それぞれの領域のうちの少なくとも１つの領域において他の寸法よりも長い寸法に対応し、前記移動式ロボットは、前記カバレージパターンによって示された前記ランク方向で前記非散乱エリアを横断する、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  4. 前記カバレージパターンによって示された前記ランク方向での前記非散乱エリアの横断に応答して、前記移動式ロボットは、前記散乱エリアとの前記近接度を有する前記位置で前記非散乱エリアのナビゲーションを終了して、前記散乱エリア内の障害物を回避しながら前記散乱エリアを異なるパターンで横断する、
    ことを特徴とする、請求項３に記載のコンピューティングデバイス。
  5. 前記セグメンテーションマップによって定められる前記それぞれの領域は、それぞれの部屋に対応し、前記カバレージパターンは更に、前記それぞれの部屋のナビゲーションの順序を示し、前記移動式ロボットは、前記カバレージパターンによって示された順序において前記それぞれの部屋の次の部屋のナビゲーションの前に、前記カバレージパターンによって示されたシーケンスで前記それぞれの部屋のうちの１つの部屋の前記非散乱エリア及び前記散乱エリアをナビゲートする、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  6. 前記動作が更に、
    前記セグメンテーションマップを表示するよう構成されたユーザインタフェースを含むユーザデバイスに、前記セグメンテーションマップを提供する段階と、
    前記セグメンテーションマップの提供に応答して、前記ユーザデバイスから選択入力を受け取る段階と、
    を含み、
    前記カバレージパターンをコンピュータ計算する段階は更に、前記選択入力に基づいている、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  7. 前記選択入力は、前記それぞれの領域及び／又は該領域のサブ領域のうちの少なくとも１つについての掃除のそれぞれのレベルを含み、前記カバレージパターンは更に、前記掃除のそれぞれのレベルを示し、前記移動式ロボットは、前記カバレージパターンによって示される前記掃除のそれぞれのレベルに従って、前記それぞれの領域及び／又は該領域のサブ領域のうちの少なくとも１つをナビゲートする際に、幾つかの掃除パスを実行する、ことを特徴とする、請求項６に記載のコンピューティングデバイス。
  8. 前記選択入力は、前記それぞれの領域及び／又は該領域のサブ領域のうちの１又は２以上についてのユーザ定義の境界又はラベルを含み、前記カバレージパターンは更に、前記ユーザ定義の境界又はラベルを示し、前記移動式ロボットは、前記カバレージパターンによって示された前記ユーザ定義の境界又はラベルに従って、前記それぞれの領域及び／又は該領域のサブ領域のうちの１又は２以上の領域及び／又はサブ領域のナビゲーションを回避する、
    ことを特徴とする、請求項６に記載のコンピューティングデバイス。
  9. 前記動作は更に、前記サブ領域のそれぞれの床タイプを検出する段階を含み、
    前記カバレージパターンをコンピュータ計算する段階は、対応する前記サブ領域のそれぞれの前記床タイプに基づいて、前記非散乱エリア及び前記散乱エリアのナビゲーションのシーケンスを決定する段階を含む、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  10. 前記セグメンテーションマップは、前記表面の少なくとも１つの以前のナビゲーションに応答して、ユーザデバイスから以前に受け取られたデータ及び／又は前記移動式ロボットによって収集されたデータを含む、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  11. 前記セグメンテーションマップを生成する段階は、
    前記表面のナビゲーションに応答して前記移動式ロボットによって収集された占有データと、前記表面の前記少なくとも１つの以前のナビゲーションに応答して前記移動式ロボットによって収集されたデータとを比較する段階と、
    前記比較によって示される共通性を含めるように、且つ前記比較によって示される外れ値を除去するように、前記セグメンテーションマップを更新する段階と、
    を含む、
    ことを特徴とする、請求項１０に記載のコンピューティングデバイス。
  12. 前記セグメンテーションマップを生成する段階は、
    閾値関数を適用することによって前記占有データに基づいてバイナリ画像をコンピュータ計算する段階と、
    前記バイナリ画像に分水嶺変換を実行して、距離変換を適用することによって前記バイナリ画像を前記それぞれの領域に区分する段階と、
    を含む、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  13. 前記セグメンテーションマップを修正する段階は、前記セグメンテーションマップをユーザデバイスに提供する前に、前記散乱エリアの識別に応答して前記散乱エリアを示すように、前記簡素化された境界を含む前記セグメンテーションマップを修正する、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  14. 前記サブ領域を前記非散乱エリア及び前記散乱エリアとして識別する段階は、
    複数のパターン及びパターンの識別を含むデータストアにアクセスする段階と、
    前記データストアに格納された前記複数のパターンとの類似性に基づいて前記サブ領域内の画素領域を分類する段階と、
    を含む、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  15. 前記複数のパターンの前記識別のうちの１又は２以上は、１又は２以上のユーザデバイスから受け取ったそれぞれのラベリング入力に基づいている、
    ことを特徴とする、請求項１４に記載のコンピューティングデバイス。
  16. 前記サブ領域を前記非散乱エリア及び前記散乱エリアとして識別する段階は、
    前記データストアへのアクセスに応答して、壁に対応する静的構造物又は散乱物に対応する動的構造物として前記画素領域を分類する段階を更に含む、
    ことを特徴とする、請求項１５に記載のコンピューティングデバイス。
  17. 前記サブ領域を前記非散乱エリア及び前記散乱エリアとして識別する段階は、
    前記占有データに基づいて少なくとも１つの境界を識別する段階と、
    前記データストアへのアクセスの前に、少なくとも１つの境界に隣接する付随画素領域と前記少なくとも１つの境界から離間した分離画素領域として、前記画素領域を区別する段階と、
    を含む、
    ことを特徴とする、請求項１４に記載のコンピューティングデバイス。
  18. 前記コンピューティングデバイスは、前記移動式ロボットの構成要素を備え、前記占有データは、前記移動式ロボットの少なくとも１つのセンサによって検出され、前記動作は更に、
    前記移動式ロボットの駆動装置を動作して、前記カバレージパターンによって示されたシーケンスで前記表面のそれぞれの領域のうちの少なくとも１つの領域の前記非散乱エリア及び前記散乱エリアをナビゲートする段階を含む、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  19. 前記コンピューティングデバイスは、前記移動式ロボットに通信可能に結合されたサーバの構成要素を備え、前記動作は更に、
    前記表面のナビゲーションに応答して前記移動式ロボットから前記占有データを受け取る段階と、
    前記セグメンテーションマップをデータストアに格納する段階と、
    を含む、
    ことを特徴とする、請求項１に記載のコンピューティングデバイス。
  20. 移動式ロボットを動作する方法であって、
    少なくとも１つのプロセッサによって、非一時的コンピュータ可読ストレージ媒体に格納されたコンピュータ可読命令を実行して、動作を実行する段階を含み、
    前記動作は、
    表面のナビゲーションに応答して、前記移動式ロボットによって収集された占有データに基づいて、前記表面のそれぞれの領域を定め、且つ前記占有データによって示される実際の境界に対して簡素化された境界を含むセグメンテーションマップを生成する段階と、 前記それぞれの領域のうちの少なくとも１つの領域のサブ領域を非散乱エリア及び散乱エリアとして識別する段階であって、前記散乱エリアは、前記移動式ロボットの横断を妨げる障害物がある領域を指す、段階と、
    前記散乱エリアの識別に応答して前記散乱エリアを示すように、前記簡素化された境界を含む前記セグメンテーションマップを修正する段階と、
    前記非散乱エリア及び前記散乱エリアのナビゲーションのためのシーケンスを示すカバレージパターンを、前記サブ領域の識別に基づいてコンピュータ計算する段階であって、前記カバレージパターンをコンピュータ計算する段階は、前記散乱エリアとの近接度に基づいて、前記非散乱エリアのナビゲーションを終了するための前記表面上の位置を決定する段階を含む、コンピュータ計算する段階と、
    前記カバレージパターンを前記移動式ロボットに提供する段階と、
    を含み、
    前記カバレージパターンに基づいて、前記移動式ロボットが、前記カバレージパターンによって示されたシーケンスで前記表面のそれぞれの領域のうちの少なくとも１つの領域の前記非散乱及び前記散乱エリアをナビゲートし、前記移動式ロボットは、前記散乱エリアとの前記近接度を有する前記位置で前記非散乱エリアのナビゲーションを終了して、前記散乱エリア内の障害物を回避しながら、前記非散乱エリアのパターンとは異なるパターンで前記散乱エリアを横断する、
    ことを特徴とする方法。
  21. プロセッサと、前記プロセッサに結合されたメモリと、を備えるコンピューティングデバイスであって、
    前記メモリは、コンピュータ可読プログラムコードを格納している非一時的コンピュータ可読ストレージ媒体を含み、
    前記コンピュータ可読プログラムコードが、
    表面のナビゲーションに応答して、移動式ロボットによって収集される占有データに基づいて、前記表面のそれぞれの領域を定めるセグメンテーションマップを生成する段階と、
    前記それぞれの領域のうちの少なくとも１つの領域のサブ領域を非散乱エリア及び散乱エリアとして識別する段階と、
    前記非散乱エリア及び前記散乱エリアのナビゲーションのためのシーケンスを示すと共に、前記それぞれの領域のうちの少なくとも１つの領域において他の寸法よりも長い寸法に対応し、前記非散乱エリアを横断するためのランク方向を示すカバレージパターンを、前記サブ領域の識別に基づいてコンピュータ計算する段階であって、この段階は、前記散乱エリアとの近接度に基づいて、前記非散乱エリアのナビゲーションを終了するための前記表面上の位置を決定する段階を含む、前記コンピュータ計算する段階と、
    前記カバレージパターンを前記移動式ロボットのために記憶する段階と、
    を含む動作を実行するよう前記プロセッサによって実行可能であり、
    前記カバレージパターンに応答して、前記移動式ロボットが、前記カバレージパターンによって示された前記シーケンスで前記表面のそれぞれの領域のうちの少なくとも１つの領域の前記非散乱エリア及び前記散乱エリアをナビゲートし、
    前記カバレージパターンによって示された前記ランク方向での前記非散乱エリアの横断に応答して、前記移動式ロボットが、前記散乱エリアとの前記近接度を有する前記位置で前記非散乱エリアのナビゲーションを終了して、前記散乱エリア内の障害物を回避しながら前記散乱エリアを異なるパターンで横断する、
    ことを特徴とするコンピューティングデバイス。
  22. 前記シーケンスは、前記表面の周囲のナビゲーションを更に含み、前記移動式ロボットは、前記カバレージパターンによって示された前記シーケンスで、前記表面の前記非散乱エリア、前記散乱エリア、及び周囲をナビゲートする、
    ことを特徴とする、請求項２１に記載のコンピューティングデバイス。
  23. 前記セグメンテーションマップによって定められる前記それぞれの領域は、それぞれの部屋に対応し、前記カバレージパターンは更に、前記それぞれの部屋のナビゲーションの順序を示し、前記移動式ロボットは、前記カバレージパターンによって示された順序において前記それぞれの部屋の次の部屋のナビゲーションの前に、前記カバレージパターンによって示されたシーケンスで前記それぞれの部屋のうちの１つの部屋の前記非散乱エリア及び前記散乱エリアをナビゲートする、
    ことを特徴とする、請求項２１に記載のコンピューティングデバイス。
  24. 前記動作が更に、
    前記セグメンテーションマップを表示するよう構成されたユーザインタフェースを含むユーザデバイスに、前記セグメンテーションマップを提供する段階と、
    前記セグメンテーションマップの提供に応答して、前記ユーザデバイスから選択入力を受け取る段階と、
    を含み、
    前記カバレージパターンをコンピュータ計算する段階は更に、前記選択入力に基づいている、
    ことを特徴とする、請求項２１に記載のコンピューティングデバイス。
  25. 前記選択入力は、前記それぞれの領域及び／又は該領域のサブ領域のうちの１又は２以上についてのユーザ定義の境界又はラベルを含み、前記カバレージパターンは更に、前記ユーザ定義の境界又はラベルを示し、前記移動式ロボットは、前記カバレージパターンによって示された前記ユーザ定義の境界又はラベルに従って、前記それぞれの領域及び／又は該領域のサブ領域のうちの１又は２以上の領域及び／又はサブ領域のナビゲーションを回避する、
    ことを特徴とする、請求項２４に記載のコンピューティングデバイス。
  26. 前記選択入力は、前記それぞれの領域及び／又は該領域のサブ領域のうちの少なくとも１つについての掃除のそれぞれのレベルを含み、前記カバレージパターンは更に、前記掃除のそれぞれのレベルを示し、前記移動式ロボットは、前記カバレージパターンによって示される前記掃除のそれぞれのレベルに従って、前記それぞれの領域及び／又は該領域のサブ領域のうちの少なくとも１つをナビゲートする際に、幾つかの掃除パスを実行する、ことを特徴とする、請求項２４に記載のコンピューティングデバイス。
  27. 前記散乱エリアの横断に応答して、前記移動式ロボットは、前記サブ領域のうちの少なくとも１つの他のサブ領域を横断する前に、前記ランク方向で前記非散乱エリアを横断しない、請求項２１に記載のコンピューティングデバイス。
  28. 前記コンピューティングデバイスは、前記移動式ロボットの構成要素を備え、前記占有データは、前記移動式ロボットの少なくとも１つのセンサによって検出され、前記動作は更に、
    前記移動式ロボットの駆動装置を動作して、前記カバレージパターンによって示されたシーケンスで前記表面のそれぞれの領域のうちの少なくとも１つの領域の前記非散乱エリア及び前記散乱エリアをナビゲートする段階を含む、
    ことを特徴とする、請求項２１に記載のコンピューティングデバイス。
JP2018549300A 2016-09-14 2017-09-14 エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法 Active JP7166926B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662394638P 2016-09-14 2016-09-14
US62/394,638 2016-09-14
PCT/US2017/051523 WO2018053100A1 (en) 2016-09-14 2017-09-14 Systems and methods for configurable operation of a robot based on area classification

Publications (3)

Publication Number Publication Date
JP2019532369A JP2019532369A (ja) 2019-11-07
JP2019532369A5 JP2019532369A5 (ja) 2020-10-22
JP7166926B2 true JP7166926B2 (ja) 2022-11-08

Family

ID=61559789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549300A Active JP7166926B2 (ja) 2016-09-14 2017-09-14 エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法

Country Status (6)

Country Link
US (5) US10168709B2 (ja)
EP (2) EP3957447A1 (ja)
JP (1) JP7166926B2 (ja)
CN (2) CN109195751B (ja)
MY (1) MY195922A (ja)
WO (1) WO2018053100A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) * 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7706917B1 (en) * 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US8972052B2 (en) * 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
DE102016102644A1 (de) * 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
US10593074B1 (en) * 2016-03-16 2020-03-17 Liberty Mutual Insurance Company Interactive user interface for displaying geographic boundaries
US10571925B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US10043076B1 (en) 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US11314262B2 (en) * 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10571926B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
EP3957447A1 (en) 2016-09-14 2022-02-23 iRobot Corporation Systems and methods for configurable operation of a robot based on area classification
US10732127B2 (en) * 2016-10-26 2020-08-04 Pixart Imaging Inc. Dirtiness level determining system and surface cleaning machine
KR20180070932A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 이동체 및 이동체의 제어 방법
WO2018122335A1 (en) * 2016-12-30 2018-07-05 Robert Bosch Gmbh Mobile robotic device that processes unstructured data of indoor environments to segment rooms in a facility to improve movement of the device through the facility
KR102235270B1 (ko) * 2017-01-18 2021-04-01 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
KR20180097917A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3974934A1 (de) * 2017-03-02 2022-03-30 Robart GmbH Verfahren zur steuerung eines autonomen, mobilen roboters
US10882186B1 (en) 2017-05-11 2021-01-05 AI Incorporated Method for efficient operation of mobile robotic devices
US10551843B2 (en) * 2017-07-11 2020-02-04 Neato Robotics, Inc. Surface type detection for robotic cleaning device
US10353399B2 (en) * 2017-07-21 2019-07-16 AI Incorporated Polymorphic path planning for robotic devices
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
DE102017118382A1 (de) * 2017-08-11 2019-02-14 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes
DE102017118383A1 (de) 2017-08-11 2019-02-14 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes
US11240854B2 (en) * 2017-08-22 2022-02-01 AI Incorporated Methods and systems for pairing mobile robotic device docking stations with a wireless router and cloud service
JP6814118B2 (ja) * 2017-09-15 2021-01-13 株式会社日立製作所 ロボット制御装置、システム、及び方法
CN108852174B (zh) * 2017-09-25 2022-02-25 北京石头创新科技有限公司 自主移动机器人及其寻桩方法、控制装置和智能清洁系统
JP2019171001A (ja) * 2017-09-29 2019-10-10 パナソニックＩｐマネジメント株式会社 自律移動掃除機、掃除方法、及びプログラム
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
US20190184569A1 (en) * 2017-12-18 2019-06-20 Bot3, Inc. Robot based on artificial intelligence, and control method thereof
KR102024094B1 (ko) * 2017-12-21 2019-09-23 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 그 제어방법
KR102493147B1 (ko) * 2017-12-29 2023-01-27 엘지전자 주식회사 미세먼지 측정장치 및 이를 포함하는 미세먼지 정보 활용 시스템
US10795377B2 (en) * 2018-01-03 2020-10-06 AI Incorporated Method for autonomously controlling speed of components and functions of a robot
US20210109520A1 (en) * 2018-04-23 2021-04-15 Purdue Research Foundation Augmented reality interface for authoring tasks for execution by a programmable robot
CN108490955A (zh) * 2018-05-04 2018-09-04 深圳市沃特沃德股份有限公司 一种扫地机器人的控制方法及系统
US11457788B2 (en) * 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
WO2019236588A1 (en) * 2018-06-04 2019-12-12 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
AU2019290096B2 (en) * 2018-06-21 2022-12-01 Beijing Geekplus Technology Co., Ltd. Robot scheduling and robot path control method, server and storage medium
KR102015498B1 (ko) * 2018-06-27 2019-10-23 엘지전자 주식회사 복수의 자율주행 청소기 및 그 제어방법
TWI660275B (zh) * 2018-06-27 2019-05-21 廣達電腦股份有限公司 用於清潔裝置之任務區域分配方法、清潔裝置任務分配系統以及清潔裝置
US11157016B2 (en) * 2018-07-10 2021-10-26 Neato Robotics, Inc. Automatic recognition of multiple floorplans by cleaning robot
US11185207B2 (en) * 2018-07-24 2021-11-30 Qualcomm Incorporated Managing cleaning robot behavior
DE102018120577A1 (de) * 2018-08-23 2020-02-27 Vorwerk & Co. Interholding Gmbh Sich selbsttätig innerhalb einer Umgebung fortbewegendes Bodenbearbeitungsgerät
US10835096B2 (en) 2018-08-30 2020-11-17 Irobot Corporation Map based training and interface for mobile robots
US11272823B2 (en) * 2018-08-31 2022-03-15 Neato Robotics, Inc. Zone cleaning apparatus and method
DE102018121365A1 (de) * 2018-08-31 2020-04-23 RobArt GmbH Exploration eines robotereinsatzgebietes durch einen autonomen mobilen roboter
US11007644B2 (en) 2018-09-04 2021-05-18 Irobot Corporation Mapping interface for mobile robots
US11039725B2 (en) * 2018-09-05 2021-06-22 Irobot Corporation Interface for robot cleaner evacuation
US11278176B2 (en) 2018-09-06 2022-03-22 Irobot Corporation Scheduling system for autonomous robots
TWI687191B (zh) * 2018-10-23 2020-03-11 廣達電腦股份有限公司 用於多個清潔裝置之任務區域分配方法以及其系統
CN109582015B (zh) * 2018-11-07 2020-11-20 深圳乐动机器人有限公司 一种室内清扫规划的方法、装置及机器人
CN109521769A (zh) * 2018-11-19 2019-03-26 云鲸智能科技（东莞）有限公司 一种清洁方案的设定方法、系统及计算机可读存储介质
CN109464074B (zh) * 2018-11-29 2021-05-28 深圳市银星智能科技股份有限公司 区域划分方法、分区清扫方法及其机器人
USD938115S1 (en) 2018-11-30 2021-12-07 Irobot Corporation Autonomous floor cleaning robot
CN113194802B (zh) * 2018-12-12 2022-10-14 Lg电子株式会社 机器人清洁器及其操作方法
CN109528095B (zh) * 2018-12-28 2020-11-17 深圳市愚公科技有限公司 扫地记录图的校准方法、扫地机器人及移动终端
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
KR102255273B1 (ko) 2019-01-04 2021-05-24 삼성전자주식회사 청소 공간의 지도 데이터를 생성하는 장치 및 방법
CN110236456B (zh) * 2019-01-08 2021-06-18 云鲸智能科技（东莞）有限公司 拖地机器人的控制方法、装置、设备及存储介质
WO2020146352A1 (en) * 2019-01-08 2020-07-16 R-Go Robotics Ltd. System and method for monitoring movements
CN109602344B (zh) * 2019-01-10 2021-04-30 珠海格力电器股份有限公司 基于微波雷达的扫地机器人控制方法及装置、系统
CN109871420B (zh) * 2019-01-16 2022-03-29 深圳乐动机器人有限公司 地图生成和分区方法、装置及终端设备
EP3686704B1 (en) * 2019-01-22 2023-08-09 Honda Research Institute Europe GmbH Method for generating a representation and system for teaching an autonomous device operating based on such representation
JP7280712B2 (ja) * 2019-02-27 2023-05-24 東芝ライフスタイル株式会社 自律型電気掃除装置
KR20200116187A (ko) 2019-03-15 2020-10-12 삼성전자주식회사 로봇 청소기 및 이의 제어 방법
KR102243178B1 (ko) * 2019-03-29 2021-04-21 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
CN109984684B (zh) * 2019-04-11 2021-04-27 云鲸智能科技（东莞）有限公司 清洁控制方法、装置、清洁机器人和存储介质
DE102019109596A1 (de) * 2019-04-11 2020-10-15 Vorwerk & Co. Interholding Gmbh System aus einem manuell geführten Bodenbearbeitungsgerät, einem ausschließlich automatisch betriebenen Bodenbearbeitungsgerät und einer Recheneinrichtung
JP7318303B2 (ja) 2019-05-14 2023-08-01 富士通株式会社 清掃管理プログラム、清掃管理方法及び清掃管理装置
US11266287B2 (en) * 2019-05-29 2022-03-08 Irobot Corporation Control of autonomous mobile robots
CN113906438A (zh) 2019-06-03 2022-01-07 三星电子株式会社 用于对象标识的电子设备及其控制方法
KR102254138B1 (ko) * 2019-06-03 2021-05-21 삼성전자주식회사 객체 인식을 위한 전자 장치 및 그 제어 방법
CN110403528B (zh) * 2019-06-12 2022-03-08 深圳乐动机器人有限公司 一种基于清洁机器人提高清洁覆盖率的方法和系统
US11571100B2 (en) * 2019-06-28 2023-02-07 Lg Electronics Inc Intelligent robot cleaner
KR20190086631A (ko) * 2019-07-02 2019-07-23 엘지전자 주식회사 사용자의 동작을 고려하여 청소하는 인공 지능 장치 및 그 방법
CN110251004B (zh) * 2019-07-16 2022-03-11 深圳市杉川机器人有限公司 扫地机器人及其清扫方法和计算机可读存储介质
US11249482B2 (en) * 2019-08-09 2022-02-15 Irobot Corporation Mapping for autonomous mobile robots
KR20190101326A (ko) * 2019-08-12 2019-08-30 엘지전자 주식회사 이동공간 분할 방법 및 분할된 이동공간을 이동하는 이동로봇
CN110720867A (zh) * 2019-09-19 2020-01-24 深圳市凯木金科技有限公司 扫地机控制系统
US11327483B2 (en) 2019-09-30 2022-05-10 Irobot Corporation Image capture devices for autonomous mobile robots and related systems and methods
KR20210040613A (ko) 2019-10-04 2021-04-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP2021077102A (ja) * 2019-11-08 2021-05-20 株式会社Ｎｔｔドコモ 推定システム
US11467585B2 (en) * 2019-11-08 2022-10-11 Irobot Corporation Control of autonomous mobile robots
ES2827374A1 (es) * 2019-11-20 2021-05-20 Cecotec Res And Development Procedimiento de operación de un aparato auto-desplazable de limpieza y aparato para llevar a cabo el procedimiento
US11417328B1 (en) * 2019-12-09 2022-08-16 Amazon Technologies, Inc. Autonomously motile device with speech commands
CN113031509B (zh) * 2019-12-24 2022-07-29 苏州科瓴精密机械科技有限公司 遍历方法、系统，机器人及可读存储介质
GB2592414B (en) * 2020-02-27 2022-08-31 Dyson Technology Ltd Robot
US20210282613A1 (en) * 2020-03-12 2021-09-16 Irobot Corporation Control of autonomous mobile robots
CN112862199B (zh) * 2020-05-11 2023-08-08 追觅创新科技(苏州)有限公司 清洁设备的清洁路径获取方法、装置及存储介质
CN111625007A (zh) * 2020-06-24 2020-09-04 深圳市银星智能科技股份有限公司 一种识别动态障碍物的方法和移动机器人
CN111736606B (zh) * 2020-06-28 2024-03-19 杭州海康机器人股份有限公司 移动机器人行驶方法、装置及存储介质
CN111802962A (zh) * 2020-06-30 2020-10-23 深圳乐动机器人有限公司 一种机器人清洁的方法、装置、机器人及存储介质
DE102021209621A1 (de) * 2020-09-24 2022-03-24 Robert Bosch Gesellschaft mit beschränkter Haftung Robotersystem und Verfahren zur Steuerung eines angetrieben bewegbaren Roboters eines Robotersystems
US11737627B2 (en) * 2020-10-03 2023-08-29 Viabot Inc. Methods for setting and programming zoning for use by autonomous modular robots
US20220104675A1 (en) * 2020-10-07 2022-04-07 Irobot Corporation User feedback on potential obstacles and error conditions detected by autonomous mobile robots
DE102020127988A1 (de) * 2020-10-23 2022-04-28 Vorwerk & Co. Interholding Gesellschaft mit beschränkter Haftung Sich selbsttätig fortbewegender Desinfektionsroboter zum Desinfizieren von Oberflächen
US20220151450A1 (en) * 2020-11-17 2022-05-19 Irobot Corporation Systems and methods for scheduling mobile robot missions
US11835949B2 (en) 2020-11-24 2023-12-05 Mobile Industrial Robots A/S Autonomous device safety system
JP2023554250A (ja) * 2020-11-30 2023-12-27 クラッターボット インコーポレイテッド クラッターをクリアするロボットシステム
CN112826373B (zh) * 2021-01-21 2022-05-06 深圳乐动机器人有限公司 清洁机器人的清洁方法、装置、设备和存储介质
CN113693493B (zh) * 2021-02-10 2023-03-10 北京石头创新科技有限公司 区域地图绘制方法及装置、介质及电子设备
TWI779592B (zh) * 2021-05-05 2022-10-01 萬潤科技股份有限公司 地圖編輯方法及裝置
US11872463B2 (en) * 2021-05-26 2024-01-16 TRI HoldCo, Inc. Network-enabled signaling device system for sporting events
WO2023020699A1 (de) * 2021-08-19 2023-02-23 Alfred Kärcher SE & Co. KG Bodenreinigungssystem, bodenreinigungsgerät und verfahren zum betreiben eines bodenreinigungssystems oder eines bodenreinigungsgerätes
CN113720337A (zh) * 2021-08-20 2021-11-30 珠海格力电器股份有限公司 扫地机器人的地图编辑方法及装置、存储介质、电子设备
WO2023113799A1 (en) * 2021-12-16 2023-06-22 Hewlett-Packard Development Company, L.P. Surface marking robots and obstacles
CN114029963B (zh) * 2022-01-12 2022-03-29 北京具身智能科技有限公司 一种基于视觉听觉融合的机器人操作方法
WO2024019234A1 (ko) * 2022-07-21 2024-01-25 엘지전자 주식회사 장애물 인식 방법 및 주행로봇
CN116091607B (zh) * 2023-04-07 2023-09-26 科大讯飞股份有限公司 辅助用户寻找物体的方法、装置、设备及可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005205028A (ja) 2004-01-23 2005-08-04 Sharp Corp 自走式掃除機
JP2005250774A (ja) 2004-03-03 2005-09-15 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP2006209644A (ja) 2005-01-31 2006-08-10 Matsushita Electric Works Ltd 清掃ロボット
JP2008077670A (ja) 2001-11-03 2008-04-03 Dyson Technology Ltd 自律マシン
JP2009289145A (ja) 2008-05-30 2009-12-10 Utsunomiya Univ 自己位置認識方法及び自己位置認識装置
JP2011233149A (ja) 2010-04-26 2011-11-17 Lg Electronics Inc ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法
US20120259481A1 (en) 2011-04-07 2012-10-11 Yiebin Kim Robot cleaner, remote controlling system and method of the same
JP2013111420A (ja) 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2015514519A (ja) 2012-11-02 2015-05-21 アイロボット コーポレイション 自律式カバレッジロボット
JP2016024820A (ja) 2014-07-22 2016-02-08 フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーＶｏｒｗｅｒｋ ＆ Ｃｏｍｐａｇｎｉｅ Ｉｎｔｅｒｈｏｌｄｉｎｇ Ｇｅｓｅｌｌｓｈａｆｔ Ｍｉｔ Ｂｅｓｃｈｒａｎｋｔｅｒ Ｈａｆｔｕｎｇ 自立移動装置によって部屋を掃除または処理するための方法および自立移動装置
JP2016513981A (ja) 2013-01-18 2016-05-19 アイロボット コーポレイション 家庭環境制御のための環境マッピングを提供する移動ロボット

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0953939A (ja) * 1995-08-18 1997-02-25 Fujitsu Ltd 自走車の自己位置測定装置および自己位置測定方法
US6532404B2 (en) 1997-11-27 2003-03-11 Colens Andre Mobile robots and their control system
DE69804253T2 (de) 1997-11-27 2002-11-21 Solar & Robotics Bruessel Brux Verbesserungen bei beweglichen robotern und bei ihren steuerungssystemen
ATE268196T1 (de) 1999-06-17 2004-06-15 Solar & Robotics S A Automatische vorrichtung zum sammeln von gegenständen
US7468677B2 (en) 1999-08-04 2008-12-23 911Ep, Inc. End cap warning signal assembly
US7155308B2 (en) 2000-01-24 2006-12-26 Irobot Corporation Robot obstacle detection system
US6594844B2 (en) 2000-01-24 2003-07-22 Irobot Corporation Robot obstacle detection system
US6883201B2 (en) 2002-01-03 2005-04-26 Irobot Corporation Autonomous floor-cleaning robot
US7571511B2 (en) 2002-01-03 2009-08-11 Irobot Corporation Autonomous floor-cleaning robot
US6690134B1 (en) 2001-01-24 2004-02-10 Irobot Corporation Method and system for robot localization and confinement
WO2002096184A1 (fr) 2001-05-28 2002-12-05 Solar & Robotics Sa Amelioration a une tondeuse robotique
EP2287696B1 (en) 2001-06-12 2018-01-10 iRobot Corporation Method and system for multi-code coverage for an autonomous robot
US7429843B2 (en) 2001-06-12 2008-09-30 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
WO2004025947A2 (en) 2002-09-13 2004-03-25 Irobot Corporation A navigational control system for a robotic device
US20040204792A1 (en) 2003-03-14 2004-10-14 Taylor Charles E. Robotic vacuum with localized cleaning algorithm
US7332890B2 (en) 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
JP3841220B2 (ja) * 2004-01-30 2006-11-01 船井電機株式会社 自律走行ロボットクリーナー
EP1577372A1 (de) * 2004-03-19 2005-09-21 Sika Technology AG Stabile wässrige Dispersion von Partikeln sowie Verwendung und Herstellungsverfahren solcher Dispersionen
US7389156B2 (en) 2005-02-18 2008-06-17 Irobot Corporation Autonomous surface cleaning robot for wet and dry cleaning
ES2346343T3 (es) 2005-02-18 2010-10-14 Irobot Corporation Robot autonomo de limpieza de superficies para una limpieza en seco y en mojado.
ES2522926T3 (es) * 2005-12-02 2014-11-19 Irobot Corporation Robot Autónomo de Cubrimiento
EP2544066B1 (en) 2005-12-02 2018-10-17 iRobot Corporation Robot system
KR100772912B1 (ko) * 2006-05-16 2007-11-05 삼성전자주식회사 절대 방위각을 이용한 로봇 및 이를 이용한 맵 작성 방법
KR20090077547A (ko) 2008-01-11 2009-07-15 삼성전자주식회사 이동 로봇의 경로 계획 방법 및 장치
EP2918212B1 (en) * 2008-04-24 2016-06-08 iRobot Corporation Application of localization, positioning & navigation systems for robotic enabled mobile products
EP3550393B1 (en) * 2009-11-06 2023-03-01 iRobot Corporation Method and system for covering a surface by an autonomous robot
JP5398489B2 (ja) * 2009-11-20 2014-01-29 村田機械株式会社 自律移動体とその制御方法
US8224516B2 (en) * 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
KR101686170B1 (ko) 2010-02-05 2016-12-13 삼성전자주식회사 주행 경로 계획 장치 및 방법
US8556223B2 (en) * 2010-06-28 2013-10-15 Electric Motion Company, Inc. Break-away hook assembly
KR101752190B1 (ko) * 2010-11-24 2017-06-30 삼성전자주식회사 로봇청소기 및 그 제어방법
CN105769062A (zh) * 2010-12-30 2016-07-20 美国iRobot公司 碎屑监视
EP2820995B1 (en) 2011-01-07 2016-07-06 iRobot Corporation Evacuation station system
US9220386B2 (en) 2011-04-29 2015-12-29 Irobot Corporation Robotic vacuum
JP5614507B2 (ja) * 2011-12-27 2014-10-29 千住金属工業株式会社 Ｓｎ−Ｃｕ系鉛フリーはんだ合金
US20140071240A1 (en) * 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP6240384B2 (ja) 2012-11-29 2017-11-29 ヤンマー株式会社 自律走行作業システム
US9375847B2 (en) * 2013-01-18 2016-06-28 Irobot Corporation Environmental management systems including mobile robots and methods using same
CN104161487B (zh) 2013-05-17 2018-09-04 恩斯迈电子(深圳)有限公司 移动装置
CN104567893B (zh) * 2013-10-22 2017-07-28 北京四维图新科技股份有限公司 一种构建精细地图的方法与装置
DE102014111217A1 (de) 2014-08-06 2016-02-11 Vorwerk & Co. Interholding Gmbh Bodenreinigungsgerät zur Trocken- und Feuchtreinigung sowie Verfahren zum Betrieb eines selbstfahrenden Bodenreinigungsgerätes
CN107000207B (zh) * 2014-09-24 2021-05-04 三星电子株式会社 清洁机器人和控制清洁机器人的方法
US9798328B2 (en) * 2014-10-10 2017-10-24 Irobot Corporation Mobile robot area cleaning
US9519289B2 (en) 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9788698B2 (en) 2014-12-10 2017-10-17 Irobot Corporation Debris evacuation for cleaning robots
US9704043B2 (en) 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
CN105806330A (zh) * 2014-12-29 2016-07-27 北京贝虎机器人技术有限公司 室内机器人
US9993129B2 (en) 2015-02-13 2018-06-12 Irobot Corporation Mobile floor-cleaning robot with floor-type detection
WO2017004799A1 (en) * 2015-07-08 2017-01-12 SZ DJI Technology Co., Ltd. Camera configuration on movable objects
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
US10156852B2 (en) * 2016-01-05 2018-12-18 Locix, Inc. Systems and methods for using radio frequency signals and sensors to monitor environments
US10175688B2 (en) * 2016-01-20 2019-01-08 Yujin Robot Co., Ltd. Apparatus and system for remotely controlling a moving robot and method thereof
TWI681748B (zh) * 2016-01-28 2020-01-11 原相科技股份有限公司 自動清掃機控制方法以及自動清掃機
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US11036230B1 (en) * 2016-03-03 2021-06-15 AI Incorporated Method for developing navigation plan in a robotic floor-cleaning device
EP3957447A1 (en) 2016-09-14 2022-02-23 iRobot Corporation Systems and methods for configurable operation of a robot based on area classification

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077670A (ja) 2001-11-03 2008-04-03 Dyson Technology Ltd 自律マシン
JP2005205028A (ja) 2004-01-23 2005-08-04 Sharp Corp 自走式掃除機
JP2005250774A (ja) 2004-03-03 2005-09-15 Fuji Photo Film Co Ltd 対象物識別装置および方法並びにプログラム
JP2006209644A (ja) 2005-01-31 2006-08-10 Matsushita Electric Works Ltd 清掃ロボット
JP2009289145A (ja) 2008-05-30 2009-12-10 Utsunomiya Univ 自己位置認識方法及び自己位置認識装置
JP2011233149A (ja) 2010-04-26 2011-11-17 Lg Electronics Inc ロボット掃除機、並びにロボット掃除機を用いた遠隔監視システム及びロボット掃除機を用いた遠隔監視方法
US20120259481A1 (en) 2011-04-07 2012-10-11 Yiebin Kim Robot cleaner, remote controlling system and method of the same
JP2013111420A (ja) 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2015514519A (ja) 2012-11-02 2015-05-21 アイロボット コーポレイション 自律式カバレッジロボット
JP2016513981A (ja) 2013-01-18 2016-05-19 アイロボット コーポレイション 家庭環境制御のための環境マッピングを提供する移動ロボット
JP2016024820A (ja) 2014-07-22 2016-02-08 フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーＶｏｒｗｅｒｋ ＆ Ｃｏｍｐａｇｎｉｅ Ｉｎｔｅｒｈｏｌｄｉｎｇ Ｇｅｓｅｌｌｓｈａｆｔ Ｍｉｔ Ｂｅｓｃｈｒａｎｋｔｅｒ Ｈａｆｔｕｎｇ 自立移動装置によって部屋を掃除または処理するための方法および自立移動装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) * 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work

Also Published As

Publication number Publication date
US10168709B2 (en) 2019-01-01
CN109195751B (zh) 2022-12-06
CN115844284A (zh) 2023-03-28
US20230384791A1 (en) 2023-11-30
US20180074508A1 (en) 2018-03-15
US10310507B2 (en) 2019-06-04
EP3957447A1 (en) 2022-02-23
US20190250625A1 (en) 2019-08-15
US11740634B2 (en) 2023-08-29
JP2019532369A (ja) 2019-11-07
US20180284792A1 (en) 2018-10-04
US20220317693A1 (en) 2022-10-06
US11314260B2 (en) 2022-04-26
EP3512668B1 (en) 2021-07-21
MY195922A (en) 2023-02-27
EP3512668A4 (en) 2020-03-11
WO2018053100A1 (en) 2018-03-22
EP3512668A1 (en) 2019-07-24
CN109195751A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
JP7166926B2 (ja) エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法
US11119496B1 (en) Methods and systems for robotic surface coverage
US10328573B2 (en) Robotic platform with teach-repeat mode
US10660496B2 (en) Cleaning robot and method of controlling the cleaning robot
US11400595B2 (en) Robotic platform with area cleaning mode
US20180364045A1 (en) Robotic platform with mapping facility
US20180361584A1 (en) Robotic platform with long-term learning
US20180361581A1 (en) Robotic platform with following mode
US11571813B2 (en) Systems and methods for managing a semantic map in a mobile robot
US20230367324A1 (en) Expandable wheel
US20210373558A1 (en) Contextual and user experience-based mobile robot scheduling and control
US11947015B1 (en) Efficient coverage planning of mobile robotic devices
US11467599B2 (en) Object localization and recognition using fractional occlusion frustum
JP7362917B2 (ja) 自律移動ロボットの制御
US20240142994A1 (en) Stationary service appliance for a poly functional roaming device
CN113009911B (zh) 清洁路径的生成方法、装置和自移动设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200910

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201210

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210714

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211014

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211104

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20211112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220728

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220809

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7166926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150