JP6993439B2 - 表現を生成するための方法およびそのような表現に基づいて自律デバイスに動作を学習させるためのシステム - Google Patents
表現を生成するための方法およびそのような表現に基づいて自律デバイスに動作を学習させるためのシステム Download PDFInfo
- Publication number
- JP6993439B2 JP6993439B2 JP2020004395A JP2020004395A JP6993439B2 JP 6993439 B2 JP6993439 B2 JP 6993439B2 JP 2020004395 A JP2020004395 A JP 2020004395A JP 2020004395 A JP2020004395 A JP 2020004395A JP 6993439 B2 JP6993439 B2 JP 6993439B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- autonomous
- representation
- map
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000012549 training Methods 0.000 title claims description 14
- 230000011218 segmentation Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 23
- 230000003190 augmentative effect Effects 0.000 claims description 19
- 230000014509 gene expression Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001720 vestibular Effects 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000003466 welding Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 241000282412 Homo Species 0.000 description 23
- 230000006399 behavior Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000090689 Rumex alpinus Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Harvester Elements (AREA)
Description
- 「共同作業領域」。人間とロボット(協力ロボット、略して「コボット(cobot)」)の両方が歩き回ることができ、したがって、どのような環境下でも自律デバイスの動作が人間を危険にさらすことがないことを保証するために、ロボットが、自律デバイスの速度、力、または実際のセンサ機器などのうちの少なくとも1つに関する制限下で作業することができる領域を示す。
- 「ロボットの作業領域」。人間が歩き回らず、したがって、この領域内に人間が存在しないため、自律デバイスが最大の速度、力で、センサ機器から独立して作業することができる領域を示す。
- 「人間のみの作業領域」。人間が歩き回ることができ、自律デバイスが作業することが禁止されているが、自律デバイスが、場合によっては速度を落として、あるいは視覚的または聴覚的に知覚できる警告信号を発しながら、この領域を通って移動することができる領域を示す。
- 「ロボットの走行領域」。自律デバイスが走行できるが、自律デバイスが作業工具を操作することが禁止されている領域を示す。
- 「ロボットのアクセス禁止領域」。自律デバイスが入ることが禁止されている領域を示す。
Claims (20)
- 作業環境内の自律デバイス(3)の動作が基づく表現を生成するための方法であって、
マッピングデバイス(10)によって、前記自律デバイス(3)の前記作業環境のマップを生成するステップ(S1)と、
マップ処理ユニット(11)によって、前記マップ内に少なくとも1つの領域を定義するセグメント化を実行し(S2)、定義した前記領域内における前記自立デバイス(3)の動作に関連するカテゴリを識別するラベル、前記定義した領域のタイプを特定するラベル、及び、前記定義した領域の機能を特定するラベルの少なくとも1つのラベルを各前記領域に関連付けて(S3)、前記領域のタイプ、時間情報、および/または作業パラメータを定義するステップと、
表現生成ユニット(13)によって、前記少なくとも1つの領域およびそれに関連付けられたラベルまたはラベルの組み合わせに基づいて、前記作業環境の表現を生成するステップ(S4)と、
前記表現を前記自律デバイス(3)に送信するステップ(S7)と
を含む方法。 - 前記少なくとも1つの領域が、前記セグメント化を自動的に実行する自動セグメント化プロセスによって定義されることを特徴とする、請求項1に記載の方法。
- 前記マップ処理ユニット(11)が人間による入力を受信して(S6)、領域を定義する、および/または適応させることを特徴とする、請求項1または2に記載の方法。
- 前記マップ処理ユニット(11)によって、領域のタイプを示す入力が受信され(S6)、前記マップ処理ユニットが、前記タイプに対応するラベルを前記各領域に関連付けることを特徴とする、請求項1から3のいずれか一項に記載の方法。
- 前記ラベルが、「共同作業領域」、「ロボットの作業領域」、「人間のみの作業領域」、「ロボットの走行領域」、「ロボットのアクセス禁止領域」、「水域」、「芝生領域」、「通路領域」、「舗装領域」、「前庭領域」、「裏庭領域」、「農場構内領域」、「レジャー領域」の領域、時間情報、および/または作業パラメータのタイプに少なくとも対応することを特徴とする、請求項1から4のいずれか一項に記載の方法。
- 領域が部分領域に分割され(S2)、共通の領域の異なる部分領域が異なってラベル付けされることを特徴とする、請求項1から5のいずれか一項に記載の方法。
- 前記表現を生成するために、中間表現が、少なくとも1人の人間に対して視覚化され(S5)、フィードバックが受信され(S6)、ラベルを適応させる、削除する、および/または生成するために使用されることを特徴とする、請求項1から6のいずれか一項に記載の方法。
- 前記表現を生成するために、中間表現が、少なくとも1人の人間に対して視覚化され(S5)、フィードバックが受信され、前記中間表現の領域を適応させる、削除する、および/または生成するために使用されることを特徴とする、請求項1から7のいずれか一項に記載の方法。
- 前記領域のラベルを維持しながら新しく生成されたマップに基づいて、または前記領域を維持しながら適応されたラベルに基づいて、更新された表現が生成されることを特徴とする、請求項1から8のいずれか一項に記載の方法。
- 既定のイベントが発生したときに、少なくとも1つの領域に関連付けられた少なくとも1つのラベルが有効化または無効化されることを特徴とする、請求項1から9のいずれか一項に記載の方法。
- 多角形の点、メッシュ、グリッド、ボクセル、三角形メッシュ、GPS位置のマップデータ、学習されたまたはトレーニングされたモデル、あるいはニューラルネットワークに基づいて、領域および/または部分領域が表されることを特徴とする、請求項1から10のいずれか一項に記載の方法。
- 自律デバイス(3)と、前記自律デバイス(3)の作業環境の表現を生成するための表現生成システム(2)とを備え、
前記表現生成システム(2)が、
前記作業環境のマップを生成するためのマッピングデバイス(10)と、
前記マップ内に少なくとも1つの領域を定義するセグメント化を実行するため、および定義した前記領域内における前記自立デバイス(3)の動作に関連するカテゴリを識別するラベル、前記領域のタイプを特定するラベル、及び、前記領域の機能を特定するラベルの少なくとも1つのラベルを前記領域のうちの少なくとも1つに関連付けて、領域のタイプ、時間情報、および/または作業パラメータを定義するための、マップ処理ユニット(11)と、
前記表現を前記自律デバイス(3)に送信するための通信ユニット(14)と
を備える、自律デバイスに学習させるためのシステム。 - 前記マップ処理ユニット(11)が、前記マップに対して前記セグメント化を自動的に実行する自動セグメント化ルーチンを実行するように構成されていることを特徴とする、請求項12に記載の自律デバイスに学習させるためのシステム。
- 前記表現生成システム(2)が、前記マップおよび/または中間表現を出力するため、ならびに人間による入力を受信するための入出力デバイス(12)を備えており、前記入出力デバイス(12)が少なくとも前記マップ処理ユニット(11)に接続されていることを特徴とする、請求項12または13に記載の自律デバイスに学習させるためのシステム。
- 前記マップ処理ユニット(11)が、受信された人間のフィードバックに基づいて領域を適応させる、削除する、および/または生成するように構成されていることを特徴とする、請求項12または13に記載の自律デバイスに学習させるためのシステム。
- 前記マップ処理ユニット(11)が、受信された人間のフィードバックに基づいて、関連付けられたラベルを適応させる、および/または削除する、および/または新しいラベルを生成するように構成されていることを特徴とする、請求項12から15のいずれか一項に記載の自律デバイスに学習させるためのシステム。
- 前記表現生成ユニット(13)が、中間表現を生成し、前記中間表現を前記入出力デバイス(12)に転送するように構成されていることを特徴とする、請求項12から16のいずれか一項に記載の自律デバイスに学習させるためのシステム。
- 前記マップ処理ユニット(11)が、新しいマップを、既存の領域およびそれらのラベルに結合するように構成されていることを特徴とする、請求項12から17のいずれか一項に記載の自律デバイスに学習させるためのシステム。
- 前記表現生成システム(2)が、拡張現実デバイス、特に、拡張現実ウェアラブルデバイス、スマートフォン(15)、またはタブレットコンピュータを備えることを特徴とする、請求項12から18のいずれか一項に記載の自律デバイスに学習させるためのシステム。
- 前記自律デバイス(3)が、自律芝刈り機、電気掃除機、産業用ロボット、溶接ロボット、ドローン、または自律車両であることを特徴とする、請求項12から19のいずれか一項に記載の自律デバイスに学習させるためのシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19152983.3A EP3686704B1 (en) | 2019-01-22 | 2019-01-22 | Method for generating a representation and system for teaching an autonomous device operating based on such representation |
EP19152983.3 | 2019-01-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020129363A JP2020129363A (ja) | 2020-08-27 |
JP6993439B2 true JP6993439B2 (ja) | 2022-01-13 |
Family
ID=65200604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020004395A Active JP6993439B2 (ja) | 2019-01-22 | 2020-01-15 | 表現を生成するための方法およびそのような表現に基づいて自律デバイスに動作を学習させるためのシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200233413A1 (ja) |
EP (1) | EP3686704B1 (ja) |
JP (1) | JP6993439B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7337011B2 (ja) | 2020-03-12 | 2023-09-01 | 本田技研工業株式会社 | 情報処理装置、情報提供システムおよび情報処理方法 |
DE112021007280T5 (de) * | 2021-03-16 | 2024-01-18 | Honda Motor Co., Ltd. | Autonomes rasenmähsystem |
DE102021121766A1 (de) * | 2021-08-23 | 2023-02-23 | Still Gesellschaft Mit Beschränkter Haftung | Verfahren und System zum Einrichten einer robotischen und/oder assistierenden Systemeinheit eines Flurförderzeugs |
WO2023119986A1 (ja) * | 2021-12-21 | 2023-06-29 | 株式会社クボタ | 農業機械、および、農業機械に用いるジェスチャ認識システム |
US20230400857A1 (en) * | 2022-06-08 | 2023-12-14 | Positec Power Tools (Suzhou) Co., Ltd. | Local area mapping for a robot lawnmower |
CN115685997A (zh) * | 2022-10-14 | 2023-02-03 | 深圳市正浩创新科技股份有限公司 | 自移动设备的沿边控制方法、装置、介质及自移动设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9516806B2 (en) | 2014-10-10 | 2016-12-13 | Irobot Corporation | Robotic lawn mowing boundary determination |
US9554508B2 (en) | 2014-03-31 | 2017-01-31 | Irobot Corporation | Autonomous mobile robot |
US20170364088A1 (en) | 2014-12-17 | 2017-12-21 | Husqvarna Ab | Robotic vehicle learning site boundary |
JP2018190379A (ja) | 2017-05-01 | 2018-11-29 | サビオーク インコーポレイテッドSavioke, Inc. | 移動する目標の間のロボット配送のシステムおよび方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013212605A1 (de) | 2013-06-28 | 2014-12-31 | Robert Bosch Gmbh | Verfahren zu einer Arbeitsbereichserfassung zumindest eines Arbeitsbereichs eines autonomen Serviceroboters |
WO2015192901A1 (en) * | 2014-06-19 | 2015-12-23 | Husqvarna Ab | Garden visualization and mapping via robotic vehicle |
US9538702B2 (en) * | 2014-12-22 | 2017-01-10 | Irobot Corporation | Robotic mowing of separated lawn areas |
US9855658B2 (en) | 2015-03-19 | 2018-01-02 | Rahul Babu | Drone assisted adaptive robot control |
US10496262B1 (en) * | 2015-09-30 | 2019-12-03 | AI Incorporated | Robotic floor-cleaning system manager |
KR20180024600A (ko) * | 2016-08-30 | 2018-03-08 | 엘지전자 주식회사 | 로봇 청소기 및 로봇 청소기를 포함하는 시스템 |
JP7166926B2 (ja) * | 2016-09-14 | 2022-11-08 | アイロボット・コーポレーション | エリア分類に基づくロボットの構成可能な動作のためのシステム及び方法 |
US10383498B2 (en) | 2016-10-05 | 2019-08-20 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to command a robotic cleaning device to move to a dirty region of an area |
-
2019
- 2019-01-22 EP EP19152983.3A patent/EP3686704B1/en active Active
-
2020
- 2020-01-15 JP JP2020004395A patent/JP6993439B2/ja active Active
- 2020-01-22 US US16/749,341 patent/US20200233413A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9554508B2 (en) | 2014-03-31 | 2017-01-31 | Irobot Corporation | Autonomous mobile robot |
US9516806B2 (en) | 2014-10-10 | 2016-12-13 | Irobot Corporation | Robotic lawn mowing boundary determination |
US20170364088A1 (en) | 2014-12-17 | 2017-12-21 | Husqvarna Ab | Robotic vehicle learning site boundary |
JP2018190379A (ja) | 2017-05-01 | 2018-11-29 | サビオーク インコーポレイテッドSavioke, Inc. | 移動する目標の間のロボット配送のシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3686704B1 (en) | 2023-08-09 |
JP2020129363A (ja) | 2020-08-27 |
EP3686704A1 (en) | 2020-07-29 |
US20200233413A1 (en) | 2020-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6993439B2 (ja) | 表現を生成するための方法およびそのような表現に基づいて自律デバイスに動作を学習させるためのシステム | |
US11480973B2 (en) | Robotic mower boundary detection system | |
EP3553620B1 (en) | Robotic vehicle grass structure detection | |
US20190251851A1 (en) | Navigation method and device based on three-dimensional map | |
EP3826449A1 (en) | Vehicle controllers for agricultural and industrial applications | |
US11715072B2 (en) | System, devices and methods for tele-operated robotics | |
EP3158409B1 (en) | Garden visualization and mapping via robotic vehicle | |
CN113296495B (zh) | 自移动设备的路径形成方法、装置和自动工作系统 | |
CN110770791A (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
CN110832494A (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
Vrochidou et al. | Computer vision in self-steering tractors | |
CN110986945A (zh) | 基于语义高度地图的局部导航方法和系统 | |
AU2020300962A1 (en) | System, devices and methods for tele-operated robotics | |
EP3731053B1 (en) | Management device, management system, moving body and program | |
CN109901589B (zh) | 移动机器人控制方法和装置 | |
CN113405547A (zh) | 一种基于语义vslam的无人机导航方法 | |
ES2968924T3 (es) | Método, sistema y producto de programa informático de control de vehículos aéreos no tripulados | |
US20230320263A1 (en) | Method for determining information, remote terminal, and mower | |
US20210378171A1 (en) | Control interface for autonomy | |
US20240206455A1 (en) | Weed control with an autonomous work device | |
Madsen et al. | RoboWeedSupport-Semi-Automated Unmanned Aerial System for Cost Efficient High Resolution in Sub-Millimeter Scale Acquisition of Weed Images | |
Lee et al. | CityNav: Language-Goal Aerial Navigation Dataset with Geographic Information | |
JP2021163007A (ja) | 計測システム、計測方法および計測用プログラム | |
CN116088533A (zh) | 信息确定方法、远程终端、设备、割草机及存储介质 | |
CN117213461A (zh) | 自移动设备的地图生成方法、设备及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6993439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |