JP7459277B2 - モバイルロボットにおけるセマンティックマップ管理 - Google Patents
モバイルロボットにおけるセマンティックマップ管理 Download PDFInfo
- Publication number
- JP7459277B2 JP7459277B2 JP2022551730A JP2022551730A JP7459277B2 JP 7459277 B2 JP7459277 B2 JP 7459277B2 JP 2022551730 A JP2022551730 A JP 2022551730A JP 2022551730 A JP2022551730 A JP 2022551730A JP 7459277 B2 JP7459277 B2 JP 7459277B2
- Authority
- JP
- Japan
- Prior art keywords
- semantic
- map
- semantic map
- annotation
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 90
- 238000012546 transfer Methods 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 45
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 11
- 230000000153 supplemental effect Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims 1
- 238000004140 cleaning Methods 0.000 description 82
- 238000005192 partition Methods 0.000 description 57
- 230000003287 optical effect Effects 0.000 description 42
- 238000001514 detection method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012423 maintenance Methods 0.000 description 8
- 230000002085 persistent effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000005055 memory storage Effects 0.000 description 7
- 238000009408 flooring Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000003442 weekly effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000010407 vacuum cleaning Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/086—Proximity sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
- Electric Vacuum Cleaner (AREA)
Description
本出願は、2020年2月28日に出願された米国特許出願第16/804,749号の優先権の利益を主張し、その内容は、その全体が参照により本明細書に組み込まれている。
図1および図2A~図2Bは、モバイルフロアクリーニングロボット100の一例の異なる図を示している。図1を参照すると、ロボット100は、ロボット100がフロア表面10を横断するときに、フロア表面10からデブリ105を収集する。図2Aを参照すると、ロボット100は、ロボットハウジングインフラストラクチャ108を含む。ハウジングインフラストラクチャ108は、ロボット100の構造的な周辺を画定することが可能である。いくつかの例では、ハウジングインフラストラクチャ108は、シャーシ、カバー、底部プレート、およびバンパアッセンブリを含む。ロボット100は、小さいプロファイルを有する家庭用ロボットであり、ロボット100が家の中の家具の下にフィットすることができるようになっている。たとえば、フロア表面に対するロボット100の高さH1(図1に示されている)は、たとえば、13センチメートル以下である。また、ロボット100は、コンパクトである。ロボット100の全体的な長さL1(図1に示されている)、および、全体的な幅W1(図2Aに示されている)は、それぞれ、30センチメートル~60センチメートルの間にあり、たとえば、30センチメートル~40センチメートルの間にあるか、40センチメートル~50センチメートルの間にあるか、または、50センチメートル~60センチメートルの間にある。全体的な幅W1は、ロボット100のハウジングインフラストラクチャ108の幅に対応することが可能である。
図4Aは、例としておよび限定ではなく、モバイルロボット100と1つまたは複数の他のデバイス(たとえば、モバイルデバイス404、クラウドコンピューティングシステム406、または、モバイルロボット404とは別個の別の自律型ロボット408など)との間のネットワーキングを可能にする通信ネットワークを示すダイアグラムである。通信ネットワーク410を使用して、ロボット100、モバイルデバイス404、ロボット408、およびクラウドコンピューティングシステム406は、互いに通信し、互いにデータを送信すること、および、互いからデータを受信することが可能である。いくつかの実装形態では、ロボット100、ロボット408、または、ロボット100およびロボット408の両方が、クラウドコンピューティングシステム406を通してモバイルデバイス404と通信する。代替的にまたは追加的に、ロボット100、ロボット408、または、ロボット100およびロボット408の両方が、モバイルデバイス404と直接的に通信する。ワイヤレスネットワーク(たとえば、Bluetooth、ラジオ周波数、光学ベースなど)およびネットワークアーキテクチャ(たとえば、メッシュネットワーク)のさまざまなタイプおよび組合せが、通信ネットワーク410によって用いられ得る。
モータロボットのためのセマンティックマップを生成および管理するシステム、デバイス、およびプロセスのさまざまな実施形態が、図5~図20を参照して以下に議論されている。本明細書は、フロアクリーニングを実施するモバイルロボット100を参照しているが、本明細書で議論されているセマンティックマップ管理システムおよび方法は、異なる用途(たとえば、なかでも、モップ掛け、草刈り、輸送、監視など)のために設計されたロボットにおいて使用され得る。追加的に、いくつかのコンポーネント、モジュール、および動作は、ロボット100によって、ユーザによって、コンピューティングデバイスによって、または別のアクターによって、実装および実施されるものとして説明されている可能性があるが、これらの動作は、いくつかの実装形態では、説明されているもの以外のアクターによって実施され得る。たとえば、ロボット100によって実施される動作は、いくつかの実装形態では、クラウドコンピューティングシステム406によって、または、別のコンピューティングデバイス(もしくは、複数のデバイス)によって実施され得る。他の例では、ユーザによって実施される動作は、コンピューティングデバイスによって実施され得る。いくつかの実装形態では、クラウドコンピューティングシステム406は、動作を実施しない。むしろ、他のコンピューティングデバイスが、クラウドコンピューティングシステム406によって実施されるものとして説明されている動作を実施し、これらのコンピューティングデバイスは、互いにおよびロボット100と直接的に(または、間接的に)通信した状態にあることが可能である。いくつかの実装形態では、ロボット100は、ロボット100によって実施されるものとして説明されている動作に加えて、クラウドコンピューティングシステム406またはモバイルデバイス404によって実施されるものとして説明されている動作を実施することが可能である。他の変形例も可能である。そのうえ、本明細書で説明されている方法およびプロセスは、特定の動作またはサブ動作を含むものとして説明されているが、他の実装形態では、これらの動作もしくはサブ動作のうちの1つもしくは複数が省略され得、または、追加的な動作もしくはサブ動作が追加され得る。
セマンティックマップ生成器523は、占有マップ(図6に示されているように、「M」によって示されている)およびセマンティックアノテーション(図6に示されているように、「SA」によって示されている)を使用して、セマンティックマップを生成することが可能である。セマンティックアノテーションは、他の物体または物体間の特質のなかでも、環境の中の物体の場所、アイデンティティ、もしくは状態についての情報、または、物体間の空間的関係の制約を含むことが可能である。一例では、セマンティックマップ生成器523は、センサデータ(たとえば、イメージデータまたは赤外線センサデータなど)を使用して、物体を検出し、分類し、または識別し、物体の状態または他の特質を決定するために、SLAM技法を用いることが可能である。たとえば、センサデータからセマンティックスを推論するための幾何学形状アルゴリズム、ヒューリスティック、または機械学習アルゴリズムなど、特徴抽出および物体識別のための他の技法が使用され得る。たとえば、セマンティックマップ生成器523は、イメージ検出または分類アルゴリズムを適用し、特定のタイプの物体を認識するか、または、物体のイメージを分析し、物体の状態を決定することが可能である。たとえば、ドアが検出される場合には、開いているかまたは閉じているか、ロックされているかまたはロックされていないかというその状態も決定され得る。分類された物体、それらの状態、場所などを説明する情報は、セマンティックアノテーション(図6の「SA」)としてセマンティックマップの中に含まれ得る。そのようなアルゴリズムベースのSA生成プロセスは、図6の中のセマンティックマップ生成プロセス610の中の「A」によって示されている。
ここで図5に戻って参照すると、セマンティックマップ生成器523は、モバイルロボットがミッションを実施するたびに、セマンティックマップを生成することが可能である。たとえば、モバイルロボットが環境において第1のミッションを実施する(たとえば、家の中のフロアをクリーニングする)ときに、センサ回路510は、占有情報を収集し、占有マップ生成器521は、占有マップを生成し、セマンティックマップ生成器523は、第1のセマンティックマップを生成する。第1のセマンティックマップは、ユーザインターフェース540の上に表示され、ユーザによって編集され、メモリ530の中にベースセマンティックマップ532として記憶され得る。ベースセマンティックマップ532がその上に構築された占有マップは、ベース占有マップ(図6の中のM)と称され、それは、モバイルロボットが環境において第1のミッションを実施するときのベース占有情報を含む。ベース占有マップの上のセマンティックアノテーションは、ベースセマンティックアノテーション(図6の中のSA)と称される。モバイルロボットが環境において第1のミッションに続いて第2のミッションを実施するように設定されるとき、第1のミッションに対応するセマンティックアノテーション(それは、記憶されているベースセマンティックマップ532の中に含まれている)は、SA転送モジュール524を介して、ベース(第1の)セマンティックマップから第2のミッションに対応する新しい(第2の)セマンティックマップへ転送され得る。結果として生じる転送されたセマンティックアノテーション(図6に示されているように、SA’によって示されている)は、十分に確認され、第2のミッションにおける再使用のために(たとえば、モバイルロボットの経路計画またはナビゲーション制御などのために)利用可能にされ得る。
第1のミッションに対応するベースセマンティックマップから、後続の第2のミッションに対応する新しい(第2の)セマンティックマップへのセマンティックアノテーションの転送は、ときには、セマンティック制約に違反する欠落したセマンティックスまたは無効なセマンティックスを結果として生じさせる可能性がある。図11、図12A~図12B、および図13A~図13Bは、セマンティックスの不成功の転送の例を示している。図11は、第2のミッションに対応するセマンティックマップを示しており、それは、図9に示されているような第1のセマンティックマップ900から転送されたセマンティックアノテーションを使用して生成される。セマンティックマップ900と比較して、いくつかのセマンティックアノテーションは、転送の後に欠落しているかまたは変更されており、それは、(セマンティックマップ900の上の)以前にラベル付けされた部屋5と部屋2との間の壊れた壁1110と、以前にラベル付けされた部屋8と部屋2との間の壊れた壁1120と、以前にラベル付けされた部屋11と部屋1との間の壊れた壁1130と、以前にラベル付けされた部屋1と部屋8との間の欠落している仕切り(たとえば、ドア)1140と、以前にラベル付けされた部屋11と部屋1との間の歪んだ(より長い)仕切り(たとえば、ドア)1150と、散乱物940の誤った認識およびアノテーションである障害物1160とを含む。壊れた壁1110および1120に起因して、以前にラベル付けされた部屋5、2、および8は、新しいセマンティックマップの上で新しい部屋2として注記される1つの分割されていない領域として接続されて組み合わせられる。同様に、壊れた壁1130は、以前にラベル付けされた部屋11および1が、新しいセマンティックマップの上で部屋1として注記される1つの分割されていない領域へと接続されて組み合わせられるということを結果として生じさせる。
SA発見モジュール527は、セマンティックマップから新規のセマンティックスを検出するように構成され得る。新規のセマンティックスは、環境の中の以前に探査されていないまたは記録されていない物体を表しており、それは、記憶されているベースセマンティックマップに存在していない。SA発見モジュール527は、トリガ条件が満たされることに応答して、新規のセマンティック物体を検出することが可能である。一例では、新しい(第2の)セマンティックマップの上のセマンティックに注記された領域のサイズが、記憶されているベース(第1の)セマンティックマップの上の対応するセマンティックに注記された領域のサイズを閾値だけ超える場合には、新しい領域(たとえば、部屋)の発見がトリガされ得る。新規のセマンティック物体のための補足的なセマンティックアノテーションは、補足的なセマンティックアノテーションが第2のセマンティックマップの上の他のセマンティックアノテーションに関する制約を満たす場合には、第2のセマンティックマップに追加され得る。図17Aは、第1のミッションに対応する記憶されているベースセマンティックマップ1710を示しており、それは、壁、仕切り、および部屋のセマンティックアノテーションを含み、部屋は、壁および仕切りによって画定されており、部屋1、2、および3として数値的にラベル付けされている。図17Bは、新しい第2のミッションに対応する新しいセマンティックマップ1720を示している。以前の部屋は正しく転送されているが、家の新たに探査されたセクション1721が発見される。新しいセクション1721は、部屋4としてラベル付けされた新しい部屋として識別される。それがマップ1720の上の他のセマンティックアノテーションに関する制約を満たす場合には、新しい部屋4は、新しいセマンティックマップ1720の中へ受け入れられ得る。代替的に、ユーザは、新しいセマンティックスを容認するか、拒絶するか、追加するか、または修正することが可能である。
セマンティックマップ更新モジュール528は、新しいセマンティックマップと記憶されているベースセマンティックマップとの間の比較に基づいて、ベースセマンティックマップを更新することが可能である。セマンティックマップ更新は、候補セマンティックアノテーションのなかでも、有効性基準および相互制約を満たす候補セマンティックアノテーション(図6に示されているように、「SA」によって示されている)によってトリガされ得る。一例では、セマンティック転送、コンフリクト検出および解消、ならびにセマンティック発見の終わりにおいて、新しいセマンティックマップ(たとえば、SAコンフリクト検出器525およびSAコンフリクト解消器526によってコンフリクトが解消された状態のマップ、ならびに、SA発見モジュール527によって発見されてセマンティックマップに追加された新しいセマンティックス)の上でのセマンティックアノテーションの有効性および制約チェックが行われる。新しいセマンティックマップが有効性および制約チェックを通過する場合には、それは、ベースセマンティックマップを交換し、新しいベースセマンティックマップとしてメモリ530の中に記憶され得る。ナビゲーションコントローラ529は、新しいベースセマンティックマップにしたがって、経路を計画し、または、将来のロボットミッションにおいてモバイルロボットをナビゲートすることが可能である。新しいセマンティックマップが有効性および制約チェックを通過しない場合には、オリジナルのベースセマンティックマップが有効なままである。ナビゲーションコントローラ529は、記憶されているベースセマンティックマップを使用して、経路を計画し、または、将来のロボットミッションにおいてモバイルロボットをナビゲートすることが可能である。オリジナルのベースセマンティックマップを保存することは、ロボットが後続のミッションを実施するときに、いくつかのセマンティック情報が欠落している可能性があるとしても、セマンティック一貫性を維持する。
図19は、環境を動き回るモバイルロボットのためのセマンティックマップを生成および管理する方法の例を示すフローダイアグラム1900である。セマンティックマップは、モバイルロボット(たとえば、環境の中のフロア表面をクリーニングするように構成されているモバイルロボット100など)の将来のナビゲーション行動を計画または制御するために使用され得る。方法1900は、セマンティックマップ管理システム500の中に実装され、セマンティックマップ管理システム500によって実行され得る。
図20は、本明細書で議論されている技法(たとえば、方法論)のうちの任意の1つまたは複数を実施することができる一例示的なマシン2000のブロック図を全体的に示している。この説明の一部分は、モバイルロボット100、モバイルデバイス404、または他のコンピューティングシステム、たとえば、ローカルコンピュータシステムまたはクラウドコンピューティングシステム406などのさまざまな部分のコンピューティングフレームワークに適用することが可能である。
100 モバイルフロアクリーニングロボット
105 デブリ
106 電気回路
108 ハウジングインフラストラクチャ
109 コントローラ回路
110 ドライブシステム
112 ドライブホイール
113 底部部分
114 ドライブホイールモータ、モータ
115 パッシブキャスタホイール、キャスタホイール
116 クリーニングヘッドアッセンブリ
117 クリーニング入口部
118 回転可能な部材
119 バキュームシステム
120 ローラモータ
121 後方部分
122 前方部分
124 デブリビン
126 ブラシ
128 ブラシモータ
134 クリフセンサ
136a 近接センサ
136b 近接センサ
136c 近接センサ
137 光インジケータシステム
138 バンパ
139a バンプセンサ
139b バンプセンサ
140 イメージキャプチャデバイス
141 障害物検知センサ
142 上部部分
143 連続的なループ
144 メモリストレージエレメント、メモリユニット
145 吸引経路
146 水平方向の軸線
147 蓋部
148 水平方向の軸線
150 側部表面
152 側部表面
154 前方表面
156 角部表面
158 角部表面
161 ドライブモータセンサ
162 中心
164 慣性測定ユニット(IMU)
180 光学検出器
182 光学エミッタ
184 光学エミッタ
305 通信システム
306 ビーコン通信モジュール
307 ワイヤレス通信モジュール
310 クリーニングシステム
316 吸引ファンモータ
317 モータセンサ
320 ナビゲーションセンサシステム
324 プロセッサ、視覚センサ
326 入力/出力ユニット
336 近接センサ
339 バンパセンサ
400 プロセス
402 ユーザ
404 モバイルデバイス
406 クラウドコンピューティングシステム
408 ロボット、自律型ロボット
410 通信ネットワーク
430 コントローラ
442 プロセッサ
444 プロセッサ
500 システム
510 センサ回路
520 コントローラ回路
521 占有マップ生成器
522 セマンティックマップ管理回路
523 セマンティックマップ生成器
524 セマンティックアノテーション(SA)転送モジュール
525 SAコンフリクト検出器
526 SAコンフリクト解消器モジュール
527 SA発見モジュール
528 セマンティックマップ更新モジュール
529 ナビゲーションコントローラ
530 メモリ回路、メモリ
532 ベースセマンティックマップ
540 ユーザインターフェース
542 ユーザ入力
544 ディスプレイユニット
600 プロセス
610 セマンティックマップ生成プロセス
620 セマンティックマップ転送プロセス
630 コンフリクト検出および解消プロセス
640 セマンティック発見プロセス
650 セマンティックマップ更新プロセス
652 マップメタ
700A ユーザインターフェース
700B ユーザインターフェース
700C ユーザインターフェース
700D ユーザインターフェース
712 セマンティックマップ
714 セマンティックマップ
716 再構築されたマップ
721 マップ編集エレメント
722 セマンティックスコンフリクト制御エレメント
723 セマンティック発見エレメント
724 マップ更新エレメント
730 ツールボックス
731 選択ツール
732 ペンシルツール
733 消しゴムツール
734 移動ツール
735 回転ツール
736 ラベルツール
740 ツールボックス
741 マップ選択ツール
742 マップ選択ツール
743 オーバーレイ表示ツール
744 ズームツール
745 自動実行ツール
800 占有マップ
810 自由エリア
820 占有されたエリア
830 探査されていないエリア
900 セマンティックマップ
910 壁
920 仕切り
930 部屋
940 散乱物
1000 占有マップ
1012 障害物
1014 障害物
1016 閉じられた経路
1110 壊れた壁
1120 壊れた壁
1130 壊れた壁
1140 欠落している仕切り
1150 より長い仕切り
1160 障害物
1210 ベースセマンティックマップ
1220 新しいセマンティックマップ
1221 仕切りの配向
1222 仕切りの配向
1223 短くなった壁
1310 ベースセマンティックマップ
1320 転送されたセマンティックマップ
1321 配向された仕切り
1410 ベースセマンティックマップ
1420 転送の後のセマンティックマップ
1421 壊れた壁
1510 ベース占有マップ
1511 自由エリア
1512 探査されていないエリア
1513 占有されたエリア
1520 新しい占有マップ
1521 切り離されたセグメント
1610 差分マップ
1611 抽出された壁セクション
1620 修正された占有マップ
1621 追加されたセグメント
1630 再構築されたセマンティックマップ
1631 接続された壁セクション
1710 ベースセマンティックマップ
1720 新しいセマンティックマップ
1721 新しいセクション
1810 ベースセマンティックマップ
1820 接続スペース
1831 境界セグメント
1832 境界セグメント
1833 境界セグメント
2002 ハードウェアプロセッサ
2004 メインメモリ
2006 静的メモリ
2008 インターリンク
2010 ディスプレイユニット
2012 入力デバイス、英数字入力デバイス
2014 UIナビゲーションデバイス
2016 ストレージデバイス
2018 信号発生デバイス
2020 ネットワークインターフェースデバイス
2021 センサ
2022 機械可読媒体
2024 インストラクション
2026 通信ネットワーク
2028 出力コントローラ
L1 全体的な長さ
H1 高さ
D1 水平方向の距離
W1 全体的な幅
LA 横方向の軸線
FA 前後軸線
F 前方ドライブ方向
R 後方ドライブ方向
Claims (18)
- モバイルロボットであって、前記モバイルロボットは、
環境の周りで前記モバイルロボットを移動させるように構成されているドライブシステムと;
前記環境における占有情報をセンシングするように構成されているセンサ回路と;
メモリと;
コントローラ回路であって、前記コントローラ回路は、
第1の占有情報および第1のセマンティックアノテーションを使用して、前記環境における前記モバイルロボットの第1のミッションに対応する第1のセマンティックマップを生成し、前記メモリの中に記憶するように構成されており、前記第1のセマンティックアノテーションは、前記第1のミッションに対応する、前記環境における物体の空間的なおよび文脈的な情報を表しており;
前記第1のセマンティックマップから第2のセマンティックマップへ前記第1のセマンティックアノテーションを転送するように構成されており、前記第2のセマンティックマップは、前記第1のミッションに続く、前記環境における前記モバイルロボットの第2のミッションに対応しており;
第2の占有情報および第2のセマンティックアノテーションを使用して、前記第2のセマンティックマップを生成するように構成されており、前記第2のセマンティックアノテーションは、前記環境における物体の空間的なおよび文脈的な情報を表しており、転送された前記第1のセマンティックアノテーションを使用して生成され;
前記第2のセマンティックマップ上のセマンティックに注記された領域サイズが、前記第1のセマンティックマップ上の対応するセマンティックに注記された領域サイズを閾値だけ超えることに応答して、前記第2のセマンティックマップから新規のセマンティック物体を検出し;
前記第1のセマンティックマップと前記第2のセマンティックマップとの間の適合率および再現率尺度を使用して、前記第1のセマンティックマップと前記第2のセマンティックマップとの間のセマンティックコンフリクトを検出し、前記セマンティックコンフリクトが、前記第1のセマンティックマップの中に含まれており、前記第2のセマンティックマップに存在していない、セマンティックアノテーションを表しており、
前記第2のセマンティックマップ中に検出された前記新規のセマンティック物体に基づいて、または、前記第1のセマンティックマップと前記第2のセマンティックマップとの間の前記セマンティックコンフリクトに基づいて、前記第1のセマンティックマップを更新するかどうかを決定するように構成されており;
前記新規のセマンティック物体または前記セマンティックコンフリクトを確認することまたは拒絶することを含むフィードバックを提供するようにユーザを促すように構成されている、コントローラ回路と;
前記第1のセマンティックマップまたは前記第2のセマンティックマップのうちの1つまたは複数についての情報をユーザインターフェースに送信するように、および、ユーザフィードバックを受信するように構成されている通信システムと
を含む、モバイルロボット。 - コントローラ回路は、前記第2のセマンティックアノテーションが有効性および制約チェックを満たす場合には、更新された第1のセマンティックマップにしたがって、または、前記第2のセマンティックアノテーションが前記有効性および制約チェックを満たさない場合には、前記第1のセマンティックマップにしたがって、経路を計画し、もしくは、前記環境の周りで前記モバイルロボットをナビゲートするように構成されている、請求項1に記載のモバイルロボット。
- 前記第1の占有情報および前記第2の占有情報は、それぞれのミッションに対応する前記環境の中の自由エリア、占有されたエリア、または、探査されていないエリアのうちの1つまたは複数の場所および幾何学形状をそれぞれ含み;
前記コントローラ回路は、前記第1の占有情報を使用して第1の占有マップを生成し、前記第2の占有情報を使用して第2の占有マップを生成するように構成されている、請求項1に記載のモバイルロボット。 - 前記第1のセマンティックアノテーションおよび前記第2のセマンティックアノテーションは、前記環境の中の前記物体の特質をそれぞれ含み、前記特質は、
物体識別;
物体場所;
物体の物理的な属性;または、
前記環境の中の別の物体に対する物体の空間的な制約
のうちの1つまたは複数を含む、請求項1に記載のモバイルロボット。 - 前記コントローラ回路は、
前記物体を複数の物体タイプに分類するように構成されており;
前記物体の前記分類に基づいて、前記第1のセマンティックアノテーションまたは前記第2のセマンティックアノテーションを生成するように構成されている、請求項1に記載のモバイルロボット。 - 前記通信システムは、前記第1のセマンティックアノテーションまたは前記第2のセマンティックアノテーションを生成または修正するためのユーザ入力を受信するように構成されている、請求項1に記載のモバイルロボット。
- 前記コントローラ回路は、前記第1のセマンティックマップから前記第2のセマンティックマップへ前記第1のセマンティックアノテーションを転送するように構成されており、
前記第1のセマンティックアノテーションの場所を前記モバイルロボットの中へ一体化することと;
前記環境における前記第2のミッションの間に前記第1のセマンティックアノテーションの運動をトラッキングすることと;
トラッキングされた前記第1のセマンティックアノテーションの前記運動を使用して、前記第2のセマンティックアノテーションを生成することと
を含む、請求項1に記載のモバイルロボット。 - 前記コントローラ回路は、検出された前記セマンティックコンフリクトを解消するように構成されており、
第1の占有マップと第2の占有マップとの間の差分占有マップを生成することと;
検出された前記セマンティックコンフリクトに隣接する前記第2のセマンティックマップの上の領域に対応する前記差分占有マップの一部分を前記第2の占有マップに追加することによって、前記第2の占有マップを修正することと;
修正された前記第2の占有マップおよび前記第2のセマンティックアノテーションを使用して、前記第2のセマンティックマップを再構築することと
を含む、請求項1に記載のモバイルロボット。 - 前記コントローラ回路は、
前記第2のセマンティックマップから前記新規のセマンティック物体を検出するように構成されており、前記新規のセマンティック物体は、前記第1のセマンティックマップに存在しておらず;
補足的なセマンティックアノテーションが前記第2のセマンティックマップの上の前記第2のセマンティックアノテーションに関する制約を満たす場合には、前記新規のセマンティック物体のための前記補足的なセマンティックアノテーションを前記第2のセマンティックマップの中へ含めるように構成されている、請求項1に記載のモバイルロボット。 - 前記補足的なセマンティックアノテーションは、前記第2のセマンティックマップの上のセマンティックアノテーション間の相互制約以外のセマンティックアノテーションに対して緩和された制約を有している、請求項9に記載のモバイルロボット。
- システムであって、前記システムは、
モバイルロボットを含み、前記モバイルロボットは、
環境の周りで前記モバイルロボットを移動させるように構成されているドライブシステムと;
前記環境における占有情報をセンシングするように構成されているセンサ回路と;
メモリと;
通信システムと;
コントローラ回路であって、前記コントローラ回路は、
第1の占有情報および第1のセマンティックアノテーションを使用して、前記環境における前記モバイルロボットの第1のミッションに対応する第1のセマンティックマップを生成し、前記メモリの中に記憶するように構成されており、前記第1のセマンティックアノテーションは、前記第1のミッションに対応する、前記環境における物体の空間的なおよび文脈的な情報を表しており;
前記第1のセマンティックマップから第2のセマンティックマップへ前記第1のセマンティックアノテーションを転送するように構成されており、前記第2のセマンティックマップは、前記第1のミッションに続く、前記環境における前記モバイルロボットの第2のミッションに対応しており;
第2の占有情報および第2のセマンティックアノテーションを使用して、前記第2のセマンティックマップを生成するように構成されており、前記第2のセマンティックアノテーションは、前記環境における物体の空間的なおよび文脈的な情報を表しており、転送された前記第1のセマンティックアノテーションを使用して生成され;
前記第2のセマンティックマップ上のセマンティックに注記された領域サイズが、前記第1のセマンティックマップ上の対応するセマンティックに注記された領域サイズを閾値だけ超えることに応答して、前記第2のセマンティックマップから新規のセマンティック物体を検出し;
前記第1のセマンティックマップと前記第2のセマンティックマップとの間の適合率および再現率尺度を使用して、前記第1のセマンティックマップと前記第2のセマンティックマップとの間のセマンティックコンフリクトを検出し、前記セマンティックコンフリクトが、前記第1のセマンティックマップの中に含まれており、前記第2のセマンティックマップに存在していない、セマンティックアノテーションを表しており;
前記第2のセマンティックマップ中に検出された前記新規のセマンティック物体に基づいて、または、前記第1のセマンティックマップと前記第2のセマンティックマップとの間の前記セマンティックコンフリクトに基づいて、前記第1のセマンティックマップを更新するかどうかを決定するように構成されており;
前記新規のセマンティック物体または前記セマンティックコンフリクトを確認することまたは拒絶することを含むフィードバックを提供するようにユーザを促すように構成されている、コントローラ回路と
を含み、
また、前記システムは、
前記モバイルロボットに通信可能に連結されているユーザインターフェースであって、前記ユーザインターフェースは、前記第1のセマンティックマップまたは前記第2のセマンティックマップを表示するように、および、ユーザフィードバックを受信するように構成されている、ユーザインターフェース
を含む、システム。 - モバイルロボットを動作させるための方法であって、前記方法は、
メモリの中に記憶されている第1のセマンティックマップをユーザに提供するステップであって、前記第1のセマンティックマップは、環境における前記モバイルロボットの第1のミッションに対応しており、前記第1のセマンティックマップは、第1の占有情報および第1のセマンティックアノテーションを含み、前記第1のセマンティックアノテーションは、前記環境における物体の空間的なおよび文脈的な情報を表している、ステップと;
前記第1のミッションに続く、前記環境における前記モバイルロボットの第2のミッションに対応する第2のセマンティックマップを前記ユーザに提供するステップであって、前記第2のセマンティックマップは、第2の占有情報および第2のセマンティックアノテーションを含み、前記第2のセマンティックアノテーションは、前記環境における物体の空間的なおよび文脈的な情報を表している、ステップと;
前記第1のセマンティックマップ上の前記第1のセマンティックアノテーションを修正するために、または、前記第2のセマンティックマップ上の前記第2のセマンティックアノテーションを修正するために、前記ユーザから入力を受信するステップと;
前記第2のセマンティックマップ上のセマンティックに注記された領域サイズが、前記第1のセマンティックマップ上の対応するセマンティックに注記された領域サイズを閾値だけ超えることに応答して、前記第2のセマンティックマップから新規のセマンティック物体を検出するステップと;
前記第1のセマンティックマップと前記第2のセマンティックマップとの間の適合率および再現率尺度を使用して、前記第1のセマンティックマップと前記第2のセマンティックマップとの間のセマンティックコンフリクトを検出するステップであって、前記セマンティックコンフリクトが、前記第1のセマンティックマップの中に含まれており、前記第2のセマンティックマップに存在していない、セマンティックアノテーションを表している、ステップと;
前記第2のセマンティックマップ中に検出された前記新規のセマンティック物体に基づいて、または、前記第2のセマンティックマップと前記第1のセマンティックマップとの間の前記セマンティックコンフリクトに基づいて、前記第1のセマンティックマップを更新するステップと;
前記新規のセマンティック物体または前記セマンティックコンフリクトを確認することまたは拒絶することを含むフィードバックを提供するように前記ユーザを促すステップと;
前記モバイルロボットの将来のミッションにおける使用のために、更新された前記第1のセマンティックマップを前記メモリの中に記憶するステップと
を含む、方法。 - 更新された前記第1のセマンティックマップにしたがって、経路を計画するステップ、または、前記環境の周りで前記モバイルロボットをナビゲートするステップを含む、請求項12に記載の方法。
- 前記第1のセマンティックマップから第2のセマンティックマップへ前記第1のセマンティックアノテーションを転送するステップと;
転送された前記第1のセマンティックアノテーションを使用して、前記第2のセマンティックアノテーションを生成するステップと
を含む、請求項12に記載の方法。 - ユーザ入力は、ユーザインターフェースを介して、前記第1のセマンティックマップまたは前記第2のセマンティックマップからセマンティックアノテーションを選択するステップ、選択解除するステップ、追加するステップ、削除するステップ、並進させるステップ、回転させるステップ、修正するステップ、またはラベル付けするステップのうちの1つまたは複数を含む、請求項12に記載の方法。
- 前記モバイルロボットを介して、前記第1のセマンティックアノテーションまたは前記第2のセマンティックアノテーションを自動的に修正するステップと;
前記第1のセマンティックアノテーションまたは前記第2のセマンティックアノテーションの自動的な修正を容認するかまたは拒絶するためのユーザ入力を受信するステップと
を含む、請求項12に記載の方法。 - 前記第1のセマンティックマップと前記第2のセマンティックマップとの間のセマンティックコンフリクトの識別、または、前記第1のセマンティックマップと前記第2のセマンティックマップとの間の自動的に検出されたセマンティックコンフリクトに関するユーザフィードバックを、前記ユーザから受信するステップと;
ユーザ識別されたセマンティックコンフリクトもしくは前記自動的に検出されたセマンティックコンフリクトを解消するためのユーザ入力、または、前記ユーザ識別されたセマンティックコンフリクトもしくは前記自動的に検出されたセマンティックコンフリクトが条件を満たす場合に前記第1のセマンティックマップを更新することを拒絶するためのユーザ入力を受信するステップと
をさらに含む、請求項12に記載の方法。 - 前記第2のセマンティックマップの上に提示されており、記憶されている前記第1のセマンティックマップに存在していない、新規のセマンティック物体の識別、または、自動的に検出された新規のセマンティック物体に関するユーザフィードバックを、ユーザから受信するステップと;
補足的なセマンティックアノテーションが前記第2のセマンティックマップの上の前記第2のセマンティックアノテーションに関する制約を満たす場合には、前記新規のセマンティック物体のための前記補足的なセマンティックアノテーションを前記第2のセマンティックマップの中へ含めるステップと
を含む、請求項12に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/804,749 | 2020-02-28 | ||
US16/804,749 US11571813B2 (en) | 2020-02-28 | 2020-02-28 | Systems and methods for managing a semantic map in a mobile robot |
PCT/US2021/016160 WO2021173308A1 (en) | 2020-02-28 | 2021-02-02 | Semantic map management in a mobile robot |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023509231A JP2023509231A (ja) | 2023-03-07 |
JP7459277B2 true JP7459277B2 (ja) | 2024-04-01 |
Family
ID=74798044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551730A Active JP7459277B2 (ja) | 2020-02-28 | 2021-02-02 | モバイルロボットにおけるセマンティックマップ管理 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11571813B2 (ja) |
EP (1) | EP4111282B1 (ja) |
JP (1) | JP7459277B2 (ja) |
WO (1) | WO2021173308A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112018007484T5 (de) * | 2018-04-16 | 2021-02-25 | Mitsubishi Electric Corporation | Hindernis-Detektionsvorrichtung, automatische Bremsvorrichtung unter Verwendung einer Hindernis-Detektionsvorrichtung, Hindernis-Detektionsverfahren und automatisches Bremsverfahren unter Verwendung eines Hindernis-Detektionsverfahrens |
US11571813B2 (en) | 2020-02-28 | 2023-02-07 | Irobot Corporation | Systems and methods for managing a semantic map in a mobile robot |
US20210302171A1 (en) * | 2020-03-31 | 2021-09-30 | Gm Cruise Holdings Llc | Map change detection system |
WO2023170684A1 (en) * | 2022-03-07 | 2023-09-14 | Elbit Systems C4I and Cyber Ltd. | Method and system for simultaneous semantic mapping and investigation of a built environment |
WO2024004453A1 (ja) * | 2022-06-28 | 2024-01-04 | ソニーグループ株式会社 | 移動体制御情報生成方法、移動体制御情報生成装置、および移動体、並びに移動体制御システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169845A (ja) | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 自律移動ロボット及び地図更新方法 |
JP2018017826A (ja) | 2016-07-26 | 2018-02-01 | 株式会社豊田中央研究所 | 自律移動体と環境地図更新装置 |
JP2018521371A (ja) | 2015-03-24 | 2018-08-02 | エックス デベロップメント エルエルシー | セマンティック位置データの自動環境マッピングへの関連付け |
JP2019061452A (ja) | 2017-09-26 | 2019-04-18 | 株式会社豊田自動織機 | 地図情報更新方法 |
JP2019076658A (ja) | 2017-10-27 | 2019-05-23 | パナソニックIpマネジメント株式会社 | 自律走行掃除機、および、拡張エリア識別方法 |
JP2019121365A (ja) | 2018-01-05 | 2019-07-22 | アイロボット・コーポレーション | モバイル清掃ロボットの協同および永続マッピング |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690134B1 (en) | 2001-01-24 | 2004-02-10 | Irobot Corporation | Method and system for robot localization and confinement |
US7404000B2 (en) | 2001-09-28 | 2008-07-22 | Emc Corporation | Protocol translation in a storage system |
US7332890B2 (en) | 2004-01-21 | 2008-02-19 | Irobot Corporation | Autonomous robot auto-docking and energy management systems and methods |
EP2903787B1 (en) | 2012-10-05 | 2019-05-15 | iRobot Corporation | Robot management systems for determining docking station pose including mobile robots and methods using same |
US9233472B2 (en) * | 2013-01-18 | 2016-01-12 | Irobot Corporation | Mobile robot providing environmental mapping for household environmental control |
AU2013374347B2 (en) | 2013-01-18 | 2016-05-19 | Irobot Corporation | Environmental management systems including mobile robots and methods using same |
US9375847B2 (en) | 2013-01-18 | 2016-06-28 | Irobot Corporation | Environmental management systems including mobile robots and methods using same |
EP3403146A4 (en) | 2016-01-15 | 2019-08-21 | iRobot Corporation | AUTONOMOUS MONITORING ROBOT SYSTEMS |
US10414052B2 (en) | 2016-02-09 | 2019-09-17 | Cobalt Robotics Inc. | Building-integrated mobile robot |
US10100968B1 (en) | 2017-06-12 | 2018-10-16 | Irobot Corporation | Mast systems for autonomous mobile robots |
US10606269B2 (en) | 2017-12-19 | 2020-03-31 | X Development Llc | Semantic obstacle recognition for path planning |
US11187536B2 (en) | 2018-01-12 | 2021-11-30 | The Trustees Of The University Of Pennsylvania | Probabilistic data association for simultaneous localization and mapping |
US11110595B2 (en) | 2018-12-11 | 2021-09-07 | Irobot Corporation | Mast systems for autonomous mobile robots |
US11571813B2 (en) | 2020-02-28 | 2023-02-07 | Irobot Corporation | Systems and methods for managing a semantic map in a mobile robot |
-
2020
- 2020-02-28 US US16/804,749 patent/US11571813B2/en active Active
-
2021
- 2021-02-02 WO PCT/US2021/016160 patent/WO2021173308A1/en unknown
- 2021-02-02 JP JP2022551730A patent/JP7459277B2/ja active Active
- 2021-02-02 EP EP21708818.6A patent/EP4111282B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169845A (ja) | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 自律移動ロボット及び地図更新方法 |
JP2018521371A (ja) | 2015-03-24 | 2018-08-02 | エックス デベロップメント エルエルシー | セマンティック位置データの自動環境マッピングへの関連付け |
JP2018017826A (ja) | 2016-07-26 | 2018-02-01 | 株式会社豊田中央研究所 | 自律移動体と環境地図更新装置 |
JP2019061452A (ja) | 2017-09-26 | 2019-04-18 | 株式会社豊田自動織機 | 地図情報更新方法 |
JP2019076658A (ja) | 2017-10-27 | 2019-05-23 | パナソニックIpマネジメント株式会社 | 自律走行掃除機、および、拡張エリア識別方法 |
JP2019121365A (ja) | 2018-01-05 | 2019-07-22 | アイロボット・コーポレーション | モバイル清掃ロボットの協同および永続マッピング |
Also Published As
Publication number | Publication date |
---|---|
JP2023509231A (ja) | 2023-03-07 |
US11571813B2 (en) | 2023-02-07 |
EP4111282B1 (en) | 2024-03-13 |
EP4111282A1 (en) | 2023-01-04 |
US20210268652A1 (en) | 2021-09-02 |
WO2021173308A1 (en) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7459277B2 (ja) | モバイルロボットにおけるセマンティックマップ管理 | |
US11740634B2 (en) | Systems and methods for configurable operation of a robot based on area classification | |
US11119496B1 (en) | Methods and systems for robotic surface coverage | |
JP7385040B2 (ja) | モバイルクリーニングロボットの予知保全 | |
JP7204990B2 (ja) | 自律移動ロボットのための地図作成 | |
US11592573B2 (en) | Particle filters and WiFi robot localization and mapping | |
US20210373558A1 (en) | Contextual and user experience-based mobile robot scheduling and control | |
US11747819B1 (en) | Robotic fire extinguisher | |
US11656628B2 (en) | Learned escape behaviors of a mobile robot | |
US20230384795A1 (en) | Robot localization and mapping accommodating non-unique landmarks | |
US11467599B2 (en) | Object localization and recognition using fractional occlusion frustum | |
US11662737B2 (en) | Systems and methods for dock placement for an autonomous mobile robot | |
US20240164605A1 (en) | Proactive maintenance in an autonomous mobile robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221024 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7459277 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |