JP7349651B1 - 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム - Google Patents
作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム Download PDFInfo
- Publication number
- JP7349651B1 JP7349651B1 JP2022170987A JP2022170987A JP7349651B1 JP 7349651 B1 JP7349651 B1 JP 7349651B1 JP 2022170987 A JP2022170987 A JP 2022170987A JP 2022170987 A JP2022170987 A JP 2022170987A JP 7349651 B1 JP7349651 B1 JP 7349651B1
- Authority
- JP
- Japan
- Prior art keywords
- work
- data
- target
- area
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013480 data collection Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims description 46
- 238000012545 processing Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 28
- 238000013500 data storage Methods 0.000 abstract description 24
- 230000033001 locomotion Effects 0.000 abstract description 20
- 230000003287 optical effect Effects 0.000 description 19
- 238000012937 correction Methods 0.000 description 14
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 12
- 239000000523 sample Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
Description
図1は、本実施形態の作業データ収集システム10を示す機能ブロック図である。図1に示されるように、本実施形態の作業データ収集システム10は、機能的には、光学式スキャナ12と、データ取得用ロボット14と、回転式台座16と、コンピュータによって構成される作業データ収集装置18と、ヘッドマウントディスプレイ22と、作業教示用ツール24とを備えている。
図4は、本実施形態の作業教示システム40を示す機能ブロック図である。図4に示されるように、本実施形態の作業教示システム40は、機能的には、作業ロボット42と、コンピュータによって構成される作業教示装置44とを備えている。
図5は、本実施形態の作業実行システム49を示す機能ブロック図である。図5に示されるように、本実施形態の作業実行システム49は、機能的には、作業教示システム40によって学習された作業ロボット42と、コンピュータによって構成される作業実行装置49Aとを備えている。
次に、本実施形態の作業教示システム40の作用について説明する。
次に、本実施形態の作業実行システム49の作用について説明する。
12 光学式スキャナ
14 データ取得用ロボット
16 回転式台座
18 作業データ収集装置
20 対象ワーク
22 ヘッドマウントディスプレイ
24 作業教示用ツール
25 データ取得部
26 3次元データ記憶部
27 3次元モデル生成部
28 作業領域特定部
30 表示制御部
32 作業データ取得部
33 作業データ記憶部
34 反射マーカ
40 作業教示システム
42 作業ロボット
44 作業教示装置
45 作業データ記憶部
46 補正部
48 学習部
49 作業実行システム
49A 作業実行装置
50 コンピュータ
Claims (21)
- ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、
前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納し、
前記作業対象領域を特定する際には、
作業完了前の第1ワークの3次元データを取得し、
作業完了後の第2ワークの3次元データを取得し、
前記第1ワークの3次元データと前記第2ワークの3次元データとに基づいて、前記第1ワークと前記第2ワークとの間の差異に基づいて前記作業対象領域として特定する、
処理をコンピュータが実行する作業データ収集方法。 - 前記第1ワークは、複数の第1ワークが含まれる請求項1に記載の作業データ収集方法。
- 前記仮想の領域は、前記作業対象領域に相当する、
請求項1に記載の作業データ収集方法。 - 前記仮想の領域は、前記作業対象領域を除いた部分に対応する前記対象ワークの3次元モデルに相当する、
請求項1に記載の作業データ収集方法。 - 前記現実の対象ワークに前記作業対象領域を重畳させて表示させる際に、作業済みの領域の表示態様と未作業領域の表示態様とを異ならせて表示させる、
請求項1~請求項4の何れか1項に記載の作業データ収集方法。 - 前記現実の対象ワークに前記作業対象領域を重畳させて表示させる際に、作業のガイドとなる作業軌跡を重畳させて表示させる、
請求項1~請求項4の何れか1項に記載の作業データ収集方法。 - 前記作業は、ワークに付着しているバリ取りの作業であり、
前記作業対象領域は、ワークに付着しているバリに対応する領域であり、
前記作業データは、前記ユーザが作業を実施している際に前記対象ワークからの反力を受けつつ得た作業データである、
請求項1に記載の作業データ収集方法。 - 前記作業教示用ツールはマーカを備えており、
前記ヘッドマウントディスプレイは前記マーカの位置及び姿勢を検知するセンサが備えられており、
前記センサによって検知された前記マーカの位置及び姿勢の時系列データから、前記作業教示用ツールの位置及び姿勢を生成する、
請求項1に記載の作業データ収集方法。 - ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、
前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納し、
前記作業対象領域を特定する際には、
作業完了前の第1ワークの3次元データを取得し、
作業完了後の第2ワークの3次元データを取得し、
前記第1ワークの3次元データと前記第2ワークの3次元データとに基づいて、前記第1ワークと前記第2ワークとの間の差異に基づいて前記作業対象領域として特定し、
前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させる、
処理をコンピュータに実行させる方法。 - 前記対象ワークに対する動作を作業ロボットへ学習させる際に、前記作業データが表す前記作業教示用ツールの軌跡を平滑化させ、前記平滑化された軌跡と前記対象ワークとの間の距離及び前記軌跡の各点が表す工具の姿勢を調整することにより、前記対象ワークに対する動作を前記作業ロボットへ学習させる、
請求項9に記載の方法。 - 前記対象ワークに対する動作を作業ロボットへ学習させる際に、前記作業対象領域と前記作業データとが関連付けられた学習用データを生成し、前記学習用データに基づいて、前記作業対象領域が入力されたときに前記作業データを出力する学習済みモデルを生成し、前記学習済みモデルを利用することにより前記対象ワークに対する動作を作業ロボットへ学習させる、
請求項9に記載の方法。 - ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示するとともに、
前記ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納し、
前記作業対象領域を特定する際には、
作業完了前の第1ワークの3次元データを取得し、
作業完了後の第2ワークの3次元データを取得し、
前記第1ワークの3次元データと前記第2ワークの3次元データとに基づいて、前記第1ワークと前記第2ワークとの間の差異に基づいて前記作業対象領域として特定し、
前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させ、
前記対象ワークに対する動作を学習した前記作業ロボットを動作させることにより、前記対象ワークと同種のワークに対する作業を実行させる、
処理をコンピュータが実行する方法。 - ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、
ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、
前記作業対象領域を特定する際に、作業完了前の第1ワークの3次元データを取得し、作業完了後の第2ワークの3次元データを取得し、前記第1ワークの3次元データと前記
第2ワークの3次元データとに基づいて、前記第1ワークと前記第2ワークとの間の差異に基づいて前記作業対象領域として特定する、作業領域特定部と、
を備える作業データ収集システム。 - 前記第1ワークは、複数の第1ワークが含まれる請求項13に記載の作業データ収集システム。
- 前記仮想の領域は、前記作業対象領域に相当する、
請求項13に記載の作業データ収集システム。 - 前記仮想の領域は、前記作業対象領域を除いた部分に対応する前記対象ワークの3次元モデルに相当する、
請求項13に記載の作業データ収集システム。 - ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、
ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、
前記作業対象領域を特定する際に、作業完了前の第1ワークの3次元データを取得し、作業完了後の第2ワークの3次元データを取得し、前記第1ワークの3次元データと前記
第2ワークの3次元データとに基づいて、前記第1ワークと前記第2ワークとの間の差異に基づいて前記作業対象領域として特定する、作業領域特定部と、
を備え、
前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させる、
システム。 - ユーザが装着するヘッドマウントディスプレイに対し、現実の対象ワークに仮想の領域を重畳させて表示させることにより、作業対象領域をユーザに対して表示する表示制御部と、
ユーザが、作業教示用ツールを用いて前記ヘッドマウントディスプレイに表示された前記対象ワークと前記作業対象領域とに対する作業を実施する際の、前記作業教示用ツールの位置及び姿勢の時系列データを表す作業データを取得し、前記作業データを記憶部へ格納させるデータ取得部と、
前記作業対象領域を特定する際に、作業完了前の第1ワークの3次元データを取得し、作業完了後の第2ワークの3次元データを取得し、前記第1ワークの3次元データと前記
第2ワークの3次元データとに基づいて、前記第1ワークと前記第2ワークとの間の差異に基づいて前記作業対象領域として特定する、作業領域特定部と、
を備え、
前記記憶部に格納された前記作業データに基づいて、前記対象ワークに対する動作を作業ロボットへ学習させ、
前記対象ワークに対する動作を学習した前記作業ロボットを動作させることにより、前記対象ワークと同種のワークに対する作業を実行させる、
システム。 - 請求項1に記載の作業データ収集方法の各処理をコンピュータに実行させるためのプログラム。
- 請求項9に記載の方法の各処理をコンピュータに実行させるためのプログラム。
- 請求項12に記載の方法の各処理をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022170987A JP7349651B1 (ja) | 2022-10-25 | 2022-10-25 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
JP2023141794A JP2024062939A (ja) | 2022-10-25 | 2023-08-31 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022170987A JP7349651B1 (ja) | 2022-10-25 | 2022-10-25 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023141794A Division JP2024062939A (ja) | 2022-10-25 | 2023-08-31 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7349651B1 true JP7349651B1 (ja) | 2023-09-25 |
JP2024062863A JP2024062863A (ja) | 2024-05-10 |
Family
ID=88099174
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022170987A Active JP7349651B1 (ja) | 2022-10-25 | 2022-10-25 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
JP2023141794A Pending JP2024062939A (ja) | 2022-10-25 | 2023-08-31 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023141794A Pending JP2024062939A (ja) | 2022-10-25 | 2023-08-31 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7349651B1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051712A (ja) | 1999-08-09 | 2001-02-23 | Kawasaki Heavy Ind Ltd | ロボットの技能教示方法及び装置 |
WO2014175324A1 (ja) | 2013-04-24 | 2014-10-30 | 川崎重工業株式会社 | ワーク加工作業支援システムおよびワーク加工方法 |
JP2017044496A (ja) | 2015-08-24 | 2017-03-02 | 大豊精機株式会社 | 溶接検査方法 |
-
2022
- 2022-10-25 JP JP2022170987A patent/JP7349651B1/ja active Active
-
2023
- 2023-08-31 JP JP2023141794A patent/JP2024062939A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051712A (ja) | 1999-08-09 | 2001-02-23 | Kawasaki Heavy Ind Ltd | ロボットの技能教示方法及び装置 |
WO2014175324A1 (ja) | 2013-04-24 | 2014-10-30 | 川崎重工業株式会社 | ワーク加工作業支援システムおよびワーク加工方法 |
JP2017044496A (ja) | 2015-08-24 | 2017-03-02 | 大豊精機株式会社 | 溶接検査方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2024062863A (ja) | 2024-05-10 |
JP2024062939A (ja) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7353081B2 (en) | Method and a system for programming an industrial robot | |
EP1435280B1 (en) | A method and a system for programming an industrial robot | |
EP1537959B1 (en) | A method and a system for programming an industrial robot | |
JP5835926B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
KR101049266B1 (ko) | 이동형 로봇 | |
JP6826069B2 (ja) | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 | |
CN111805051B (zh) | 切坡口方法、装置电子设备及系统 | |
JP2005106825A (ja) | 受像装置の位置および方向づけの決定方法および装置 | |
EP1424656B1 (en) | Apparatus for generating three-dimensional model data for a machine tool | |
US10427298B2 (en) | Robot system displaying information for teaching robot | |
JP2018167334A (ja) | 教示装置および教示方法 | |
JP6469159B2 (ja) | 接触センサによるワーク位置検出プログラム生成機能を備えたオフラインプログラミング装置及び方法 | |
CN102374860A (zh) | 三维视觉定位方法及系统 | |
CN117576094B (zh) | 一种3d点云智能感知焊缝位姿提取方法、系统、设备 | |
JP7349651B1 (ja) | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム | |
Pachidis et al. | Vision-based path generation method for a robot-based arc welding system | |
JP2023038776A (ja) | 指令値生成装置、方法、及びプログラム | |
CN112805127A (zh) | 用于创建机器人控制程序的方法和设备 | |
US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
US11826908B2 (en) | Process agnostic robot teaching using 3D scans | |
Solvang et al. | Robot programming in machining operations | |
JP7376318B2 (ja) | アノテーション装置 | |
US20210154834A1 (en) | Processing path generating device and method thereof | |
CN114888794B (zh) | 一种机器人人机交互运行路径标记方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230216 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7349651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |