JP7209861B2 - ロボット車両の積荷フットプリントの協働決定 - Google Patents
ロボット車両の積荷フットプリントの協働決定 Download PDFInfo
- Publication number
- JP7209861B2 JP7209861B2 JP2021553122A JP2021553122A JP7209861B2 JP 7209861 B2 JP7209861 B2 JP 7209861B2 JP 2021553122 A JP2021553122 A JP 2021553122A JP 2021553122 A JP2021553122 A JP 2021553122A JP 7209861 B2 JP7209861 B2 JP 7209861B2
- Authority
- JP
- Japan
- Prior art keywords
- robotic vehicle
- payload
- robotic
- feature points
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system
- G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37208—Vision, visual inspection of workpiece
Description
本特許出願は、2019年3月7日出願の米国特許出願第16/296,192号、名称「Collaborative Determination Of A Load Footprint Of A Robotic Vehicle」の優先権を主張し、その主題全体が参照により本明細書に組み込まれている。
https://april.eecs.umich.edu/software/apriltaa.html.
ある。協働作業者120により指示された所望の速度、Vdesired、は、物体125が仮想境界135と140との間のバッファゾーンを侵害する物体125の表面に垂直な方向、Vx、の成分および物体125が仮想境界135と140との間のバッファゾーンを侵害する物体125の表面に接する方向、Vy、の成分を含む。衝突を避けるためには、VdesiredのVy成分は、重要ではない、しかしロボットシステム100は、例えば、式(2)に示された制御法則により示されるように、VdesiredのVx成分を打ち消す修正した制御速度、Vmod、を決定する。
Claims (15)
- ペイロードを積載した第2のロボット車両の周りの命令された経路に沿って第1のロボット車両を移動させる1または複数のアクチュエータを含む前記第1のロボット車両と、
前記第1のロボット車両に結合された1または複数の距離センサであって、前記第1のロボット車両が前記命令された経路を通過するときに前記第2のロボット車両までの距離を測定するように構成される1または複数の距離センサと、
前記第1のロボット車両に結合された1または複数の画像取込みデバイスであって、前記第1のロボット車両が前記命令された経路を通過するときに前記第2のロボット車両を撮像するように構成される、1または複数の画像取込みデバイスと、
1または複数の計算システムであって、
前記第1のロボット車両が前記命令された経路を通過するときに前記1または複数の画像取込みデバイスによって集められた画像に基づいて前記第1のロボット車両に対して前記第2のロボット車両を空間的に配置し、
前記第1のロボット車両が前記命令された経路を通過するときに前記1または複数の画像取込みデバイスによって集められた画像および前記1または複数の距離センサによって集められた前記距離に基づいて、前記第2のロボット車両に固定された座標フレームに対して前記ペイロードを積載した前記第2のロボット車両の複数の幾何学的特徴点の各々の位置を特定し、
前記ペイロードを積載した前記第2のロボット車両の幾何学的モデルを生成するために前記複数の幾何学的特徴点をメッシュ化し、
前記第2のロボット車両へ前記幾何学的モデルを伝達する
ように構成される1または複数の計算システムと、
を備える、システム。 - 前記1または複数の画像取込みデバイスの視野が、前記1または複数の距離センサの視野を含む、請求項1に記載のシステム。
- 前記第1のロボット車両が前記命令された経路を通過するときに前記第1のロボット車両に対して前記第2のロボット車両を前記配置することが、前記第2のロボット車両に固定された複数の基準タグの前記1または複数の画像取込みデバイスによって集められた画像に基づく、請求項1に記載のシステム。
- 前記計算システムが、
前記1または複数の画像取込みデバイスによって集められた前記画像および前記1または複数の距離センサによって集められた前記距離に基づいて前記複数の幾何学的特徴を検出する
ようにさらに構成される、請求項1に記載のシステム。 - 前記第2のロボット車両に固定された前記座標フレームに対して前記複数の幾何学的特徴点の各々の前記位置を前記特定することが、ホモグラフィを含む、請求項1に記載のシステム。
- 前記計算システムが、
前記複数の幾何学的特徴点をクラスタ化し、
前記ペイロードを積載した前記第2のロボット車両の中心点と同じクラスタ内にはない幾何学的特徴点を破棄し、
各々の後続の画像フレーム間の幾何学的特徴点を一致させ、
重複した幾何学的特徴点を統合する
ようにさらに構成される、請求項1に記載のシステム。 - ペイロードを積載した第2のロボット車両の周りの命令された経路に沿って第1のロボット車両を移動させることと、
前記第1のロボット車両が前記命令された経路を通過するときに前記第1のロボット車両からの前記第2のロボット車両までの距離のシーケンスを測定することと、
前記第2のロボット車両が前記命令された経路を通過するときに前記第1のロボット車両から前記第2のロボット車両の画像のシーケンスを集めることと、
前記集められた画像に基づいて前記第1のロボット車両に対して前記第2のロボット車両を空間的に配置することと、
前記集められた画像および前記測定された距離に基づいて、前記第2のロボット車両に固定された座標フレームに対して前記ペイロードを積載した前記第2のロボット車両の複数の幾何学的特徴点の各々の位置を特定することと、
前記ペイロードを積載した前記第2のロボット車両の幾何学的モデルを生成するために前記複数の幾何学的特徴点をメッシュ化することと、
前記第2のロボット車両へ前記幾何学的モデルを伝達することと、
を含む、方法。 - 前記第1のロボット車両が前記命令された経路を通過するときに前記第1のロボット車両に対して前記第2のロボット車両を前記配置することが、前記第2のロボット車両に固定された複数の基準タグを含む前記画像のシーケンスに基づく、請求項7に記載の方法。
- 前記画像のシーケンスおよび前記測定した距離のシーケンスに基づいて前記複数の幾何学的特徴を検出すること、
をさらに含む、請求項7に記載の方法。 - 前記第2のロボット車両に固定された前記座標フレームに対して前記複数の幾何学的特徴点の各々の前記位置を前記特定することが、ホモグラフィを含む、請求項7に記載の方法。
- 前記複数の幾何学的特徴点をクラスタ化することと、
前記ペイロードを積載した前記第2のロボット車両の中心点と同じクラスタ内にはない幾何学的特徴点を破棄することと、
各々の後続の画像フレーム間の幾何学的特徴点を一致させることと、
重複した幾何学的特徴点を統合することと、
をさらに含む、請求項7に記載の方法。 - ペイロードを積載した第2のロボット車両の周りの命令された経路に沿って第1のロボット車両を移動させる1または複数のアクチュエータを含む前記第1のロボット車両と、
前記第1のロボット車両に結合された1または複数の距離センサであって、前記第1のロボット車両が前記命令された経路を通過するときに前記第2のロボット車両までの距離を測定するように構成される、1または複数の距離センサと、
前記第1のロボット車両に結合された1または複数の画像取込みデバイスであって、前記第1のロボット車両が前記命令された経路を通過するときに前記第2のロボット車両を撮像するように構成される1または複数の画像取込みデバイスと、
命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令が計算システムよって実行されるときに前記計算システムに、
前記第1のロボット車両が前記命令された経路を通過するときに前記1または複数の画像取込みデバイスによって集められた画像に基づいて前記第1のロボット車両に対して前記第2のロボット車両を空間的に配置させ、
前記第1のロボット車両が前記命令された経路を通過するときに前記1または複数の画像取込みデバイスによって集められた画像および前記1または複数の距離センサによって集められた前記距離に基づいて、前記第2のロボット車両に固定された座標フレームに対して前記ペイロードを積載した前記第2のロボット車両の複数の幾何学的特徴点の各々の位置を特定させ、
前記ペイロードを積載した前記第2のロボット車両の幾何学的モデルを生成するために前記複数の幾何学的特徴点をメッシュ化させ、
前記第2のロボット車両へ前記幾何学的モデルを伝達させる、非一時的なコンピュータ可読媒体と、
を備える、システム。 - 前記第1のロボット車両が前記命令された経路を通過するときに前記第1のロボット車両に対して前記第2のロボット車両を前記配置することが、前記第2のロボット車両に固定された複数の基準タグの前記1または複数の画像取込みデバイスによって集められた画像に基づく、請求項12に記載のシステム。
- 前記第2のロボット車両に固定された前記座標フレームに対して前記複数の幾何学的特徴点の各々の前記位置を前記特定することが、ホモグラフィを含む、請求項12に記載のシステム。
- 前記非一時的なコンピュータ可読媒体は、命令が前記計算システムよって実行されるときに前記計算システムに、
前記1または複数の画像取込みデバイスによって集められた前記画像および前記1または複数の距離センサによって集められた前記距離に基づいて、前記複数の幾何学的特徴を検出させる
前記命令をさらに記憶する、請求項12に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862639997P | 2018-03-07 | 2018-03-07 | |
US16/296,192 US11112780B2 (en) | 2018-03-07 | 2019-03-07 | Collaborative determination of a load footprint of a robotic vehicle |
US16/296,192 | 2019-03-07 | ||
PCT/US2020/021555 WO2020181257A1 (en) | 2018-03-07 | 2020-03-06 | Collaborative determination of a load footprint of a robotic vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022524108A JP2022524108A (ja) | 2022-04-27 |
JP7209861B2 true JP7209861B2 (ja) | 2023-01-20 |
Family
ID=71071163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021553122A Active JP7209861B2 (ja) | 2018-03-07 | 2020-03-06 | ロボット車両の積荷フットプリントの協働決定 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11112780B2 (ja) |
JP (1) | JP7209861B2 (ja) |
WO (1) | WO2020181257A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013242A (ja) * | 2018-07-17 | 2020-01-23 | 富士ゼロックス株式会社 | ロボット制御システム、ロボット装置およびプログラム |
CN114167850B (zh) * | 2020-08-21 | 2024-02-20 | 富联精密电子(天津)有限公司 | 自走三角警示架及其行进控制方法 |
CN114355871A (zh) * | 2020-09-30 | 2022-04-15 | 好样科技有限公司 | 一种自行走装置及其控制方法 |
JP2022101474A (ja) * | 2020-11-18 | 2022-07-06 | ザ・ボーイング・カンパニー | 対応付け装置及び対応付け方法 |
CN117036489B (zh) * | 2023-10-10 | 2024-02-09 | 泉州装备制造研究所 | 基于人工标识和四目全景相机的机器人定位方法及设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211438A (ja) * | 1998-01-22 | 1999-08-06 | Komatsu Ltd | 荷台積載体積計測装置 |
US7773773B2 (en) * | 2006-10-18 | 2010-08-10 | Ut-Battelle, Llc | Method and system for determining a volume of an object from two-dimensional images |
JP5255366B2 (ja) * | 2008-08-11 | 2013-08-07 | 株式会社日立産機システム | 搬送ロボットシステム |
US8508590B2 (en) * | 2010-03-02 | 2013-08-13 | Crown Equipment Limited | Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion |
JP5882610B2 (ja) * | 2011-06-21 | 2016-03-09 | 株式会社小松製作所 | 燃料の給油システムおよび土木機械 |
JP6144479B2 (ja) * | 2012-11-09 | 2017-06-07 | 株式会社Soken | 車両の相互位置検出装置 |
US10022867B2 (en) * | 2014-11-11 | 2018-07-17 | X Development Llc | Dynamically maintaining a map of a fleet of robotic devices in an environment to facilitate robotic action |
US9904290B2 (en) * | 2015-04-19 | 2018-02-27 | Deere & Company | Geometry-based monitoring and control of coupled mobile machines |
US10629079B2 (en) * | 2016-12-05 | 2020-04-21 | Ford Global Technologies, Llc | Vehicle collision avoidance |
JP6470322B2 (ja) * | 2017-01-16 | 2019-02-13 | 本田技研工業株式会社 | 自律移動型ロボット運行管理システム |
US11614746B2 (en) * | 2018-01-05 | 2023-03-28 | Irobot Corporation | Mobile cleaning robot teaming and persistent mapping |
US20190339690A1 (en) * | 2018-05-04 | 2019-11-07 | Lg Electronics Inc. | Plurality of autonomous mobile robots and controlling method for the same |
US11137773B2 (en) * | 2018-05-04 | 2021-10-05 | Lg Electronics Inc. | Plurality of autonomous mobile robots and controlling method for the same |
-
2019
- 2019-03-07 US US16/296,192 patent/US11112780B2/en active Active
-
2020
- 2020-03-06 JP JP2021553122A patent/JP7209861B2/ja active Active
- 2020-03-06 WO PCT/US2020/021555 patent/WO2020181257A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20200192341A1 (en) | 2020-06-18 |
JP2022524108A (ja) | 2022-04-27 |
US11112780B2 (en) | 2021-09-07 |
WO2020181257A1 (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7209861B2 (ja) | ロボット車両の積荷フットプリントの協働決定 | |
CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
TWI827649B (zh) | 用於vslam比例估計的設備、系統和方法 | |
Ashraf et al. | A low-cost solution for unmanned aerial vehicle navigation in a global positioning system–denied environment | |
CN110673608A (zh) | 一种机器人导航方法 | |
Clark et al. | Autonomous and scalable control for remote inspection with multiple aerial vehicles | |
US10974730B2 (en) | Vehicle perception system on-line diangostics and prognostics | |
JP2022525041A (ja) | 人間とロボット車両との協働タスク実行 | |
Zhang et al. | Cooperative relative navigation for space rendezvous and proximity operations using controlled active vision | |
JP6993638B2 (ja) | 歩行者の歩行行動を模倣する移動ロボット | |
US10386839B2 (en) | Mobile robot that emulates pedestrian walking behavior | |
CN111402328A (zh) | 一种基于激光里程计的位姿计算方法及装置 | |
Al-Muteb et al. | An autonomous stereovision-based navigation system (ASNS) for mobile robots | |
Munguía et al. | A visual-aided inertial navigation and mapping system | |
Lim et al. | Evolution of a reliable and extensible high-level control system for an autonomous car | |
Jia et al. | Autonomous vehicles navigation with visual target tracking: Technical approaches | |
Kim et al. | Single 2D lidar based follow-me of mobile robot on hilly terrains | |
CN117032215A (zh) | 一种基于双目视觉的移动机器人物体识别及定位方法 | |
Lang et al. | Developments in visual servoing for mobile manipulation | |
Miądlicki et al. | LiDAR based system for tracking loader crane operator | |
Abdulla | An intelligent multi-floor mobile robot transportation system in life science laboratories | |
US11693416B2 (en) | Route determination method | |
Mohan et al. | A comprehensive review of SLAM techniques | |
Santoro | Design and implementation of a Sensory System for an Autonomous Mobile Robot in a Connected Industrial Environment | |
Lučan et al. | Simultaneous localization and mapping on a mobile robot platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211110 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210906 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211110 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20211223 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7209861 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |