JP2024073243A - 作業再現システム、作業再現方法及び作業再現ロボット - Google Patents
作業再現システム、作業再現方法及び作業再現ロボット Download PDFInfo
- Publication number
- JP2024073243A JP2024073243A JP2022184345A JP2022184345A JP2024073243A JP 2024073243 A JP2024073243 A JP 2024073243A JP 2022184345 A JP2022184345 A JP 2022184345A JP 2022184345 A JP2022184345 A JP 2022184345A JP 2024073243 A JP2024073243 A JP 2024073243A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- task
- sensing
- reproduction
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 139
- 230000009471 action Effects 0.000 claims description 77
- 230000010365 information processing Effects 0.000 claims description 47
- 230000007257 malfunction Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 abstract description 17
- 238000005352 clarification Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 39
- 230000007246 mechanism Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000005856 abnormality Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】本発明は、異常事態の発生要因を解明することを容易にする作業再現システム、作業再現方法及び作業再現ロボットを提供することを目的とする。【解決手段】本発明に係る作業再現システムは、作業再現ロボットと、作業再現ロボットの動作をセンシング可能なセンサと、作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、管理制御装置は、センシング対象の所定動作に対応する第1センシング情報に基づいてセンシング対象の所定動作に対応した標準動作モデルを学習する学習部と、標準動作モデルを参照して作業再現ロボットに再現動作を1回以上行わせる制御部と、事故又は誤動作情報を入力する入力部と、センサを用いて取得した作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する検知部と、を備える、ことを特徴とする。【選択図】図1
Description
本発明は、作業再現システム、作業再現方法及び作業再現ロボットに関する。
所定の作業を行う作業場において、作業員のミスやそれ以外の要因等によって、事故等の異常事態が発生する場合がある。異常事態が発生した場合、その原因を解明することが、次の異常事態発生を抑制するのに有効である。例えば特許文献1では、事故の発生状況が効果的に伝達される安全教育システムを提供するため、事故が発生した事故発生現場の三次元データと、入力された視点情報とに基づいて、事故発生現場を視点情報が指定する視点から見た事故発生現場画像の事故発生現場画像データを生成し、当該画像データを表示部に表示させる技術が開示されている。
異常事態が発生する場合、様々な要因が絡み合って引き起こされることが多く、異常事態の発生要因を解明するため、現場の状況を再現することが行われている。また、異常事態発生時の関係者(作業員)等を再現現場に配置して、異常事態が発生した際の動作を実際に行わせるといったことも行われている。この場合、異常事態発生当時の状況をより正確に再現することができ、異常事態の発生要因を解明しやすい。しかしながら、関係者に事故の状況を直接的に再現させることは、状況により困難な場合もある。
そこで、本発明は、異常事態の発生要因を解明することを容易にする作業再現システム、作業再現方法及び作業再現ロボットを提供することを目的とする。
本発明に係る作業再現システムは、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、事故又は誤動作情報を入力する入力部と、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、ことを特徴とする。
本発明に係る作業再現システムは、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、を備える、ことを特徴とする。
また、本発明に係る作業再現方法は、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせ、事故又は誤動作情報を入力し、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記事故又は誤動作の発生を検知する、ことを特徴とする。
また、本発明に係る作業再現方法は、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせ、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶し、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する、ことを特徴とする。
また、本発明に係る作業再現ロボットは、前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、前記情報処理装置は、センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、事故又は誤動作情報を入力する入力部と、前記外部のセンサを用いて取得された前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、ことを特徴とする。
また、本発明に係る作業再現ロボットは、前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、前記情報処理装置は、センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、前記センサを用いて取得された前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、ことを特徴とする。
本発明によれば、異常事態の発生要因を解明することを容易にする作業再現システム、作業再現方法及び作業再現ロボットが提供される。
以下、図面を参照して、作業再現システム、作業再現方法及び作業再現ロボットについて説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
(実施形態1)
図1は、作業再現システムを説明するための図である。
図1は、作業再現システムを説明するための図である。
本作業再現システムでは、事故や誤動作の発生等の異常事態が発生した場合に、作業員400に異常事態発生時の動作を行わせ、第2ロボット用センサ23b(第2ロボット用撮像装置24b)により作業員400の所定動作をセンシングする。また、本作業再現システムは、作業員400の所定動作に対応する第1センシング情報に基づいて、作業員400の所定動作に対応した標準動作モデルを学習する。標準動作モデルは、作業員400の所定動作に対応する動作であって、所定の作業項目において、あるべき動作として指定された動作を表すモデルである。その後、本作業再現システムは、標準動作モデルを参照して、作業再現ロボットである第1人型ロボット20aに再現動作を1回以上行わせる。本作業再現システムは、事故又は誤動作情報を入力し、センサを用いて取得した第1人型ロボット20aの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、作業員400の動作の問題点や、作業員400の作業に用いられる標準動作の欠点を解析することが可能となる。
図1(a)は、作業員に動作を再現させた際のセンシングの一例を示す図である。
本作業再現システムでは、作業再現ロボットとして機能する第1人型ロボット20a及び移動式ロボットとして機能する第2人型ロボット20bを備える。なお、人型ロボットの数は2台に限定されない。
作業再現システムは、第2人型ロボット20bに備えられた第2ロボット用センサ23b(第2ロボット用撮像装置24b)により、作業員400の動作をセンシングする。作業員400の動作としては、一例として、作業員400が作業ライン201でプリント基板300の組み立てをする際に、本来の配置箇所310とは異なる場所に部品320を配置した場合の動作が挙げられる。なお、センサによる作業員400の動作の認識については、既知の画像認識技術を用いてもよいし、学習部663(図4参照)による学習により作業員400の動作を認識してもよい。同様のことは、後述する作業再現ロボットの再現動作についても当てはまる。
第2人型ロボット20bは、作業員400の動作を、第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いてセンシングする。第2ロボット用センサ23b(第2ロボット用撮像装置24b)により取得された第1センシング情報は、管理制御装置60の記憶媒体62(図3参照)又は第2人型ロボット20bの記憶装置に記憶される。管理制御装置60は、作業員400の所定動作に対応する第1センシング情報に基づいて、作業員400の所定動作に対応した標準動作モデルを学習する。標準動作モデルは、管理制御装置60の記憶媒体62、並びに/又は第1人型ロボット20aの第1情報処理装置25aの記憶装置1224(図3参照)及び/若しくは第2人型ロボット20bの第2情報処理装置の記憶装置に記憶される。なお、所定動作は、異常事態発生前後の各種動作を含み、例えば、物をつかむ動作や部品の組み立て動作、工具を扱う際の動作といったものが含まれる。
図1(b)は、作業再現ロボットに動作を再現させた際のセンシングの一例を示す図である。管理制御装置60は、記憶された標準動作モデルを参照して、第1人型ロボット20aを作動させる動作指示を生成する。動作指示は、標準動作モデルを参照して生成された指示であって、作業再現ロボット(本実施形態では第1人型ロボット20a)を作動させる指示である。そして、管理制御装置60は、例えば、第1人型ロボット20aが異常事態発生時の現場が再現された再現現場に配置されたときに、動作指示を参照して第1人型ロボット20aを作動させる。
管理制御装置60は、標準動作モデルを参照して第1人型ロボット20aに再現動作を少なくとも1回以上、好ましくは複数回行わせる。例えば、通常のライン作業においては、作業工程が明確に定められており、事故や誤動作が発生することは少ない。そのため、異常事態が発生した際に、第1人型ロボット20aに再現動作を1回行わせただけでは、事故や誤動作の発生を検知できない可能性がある。そこで、第1人型ロボット20aに再現動作を複数回行わせることで、事故や誤動作の発生をより検知しやすくなる。
管理制御装置60は、事故又は誤動作情報を入力し、第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いて取得した第1人型ロボット20aの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する。なお、事故情報は、例えば何時に何処で誰がどのような行為をしたといった、事故に関する情報である。また、誤動作情報は、異常事態発生時の関係者の動作として誤りがあった場合における、その誤動作を示す情報である。
図2は、本作業再現システムでの、人型ロボットの一例を示す図である。作業再現ロボット及び移動式ロボットとして機能する人型ロボット20は、ロボット本体21と、ロボット移動機構22と、ロボット用センサ23と、ロボット用センサ23に含まれ得るロボット用撮像装置24と、情報処理装置25と、ロボット腕部26と、を備える。
人型ロボット20は、ロボット本体21の下方に設けられたロボット移動機構22により移動することが可能であり、例えば管理制御装置60といった人型ロボット20の外部から指示を受けて、あるいは情報処理装置25に記憶されたプログラムを参照して、例えば作業場200に移動する。
ロボット本体21は、ロボット胴体211と、ロボット頭部212とを備える。ロボット胴体211とロボット頭部212とは、胴体/頭部駆動機構を構成し、ロボット用センサ23(ロボット用撮像装置24)のセンシング領域230(撮像領域240)を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部212がロボット胴体211に対して所定角度回転したり、ロボット胴体211がロボット移動機構22に対して所定角度回転したりする構成であってもよい。
ロボット胴体211の下方にはロボット移動機構22、ロボット胴体211の側方にはロボット腕部26、ロボット頭部212にはロボット用センサ23がそれぞれ設けられている。また、ロボット本体21の内部には、情報処理装置25が設けられている。
ロボット移動機構22は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構22を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。
ロボット用センサ23は、ロボット頭部212に設けられ、作業員400や作業再現ロボットの動作をセンシングすることが可能である。また、ロボット用センサ23は、人型ロボット20の周辺にある、人型ロボット20が作業する物体とロボット腕部26との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ23の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・360度・高性能カメラ、レーダー、ソリッドステートLiDAR、LiDAR、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置24の一例でもある。また他には、ロボット用センサ23の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットAI天気予報、高精度マルチチャネルGPS、低高度衛星情報、又はロングテールインシデントAI data等が挙げられる。
ロボット用センサ23から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置24により、画像、距離の情報が取得される。ロボット用センサ23(ロボット用撮像装置24)は、これらのセンシングを、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員400や第1人型ロボット20aの動作のモーションキャプチャ、作業場200の3Dマップ、作業場200における作業員400や第1人型ロボット20aの移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。
ロボット腕部26は、右腕部261と左腕部262とを備える。また、右腕部261は、右把持支持部263及び右把持部265を、左腕部262は、左把持支持部264及び左把持部266を、それぞれ備える。右把持支持部263は右把持部265を、左把持支持部264は左把持部266を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部265、266は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。
ロボット腕部26は、第2駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部26を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。
なお、人型ロボット20は、例えばロボット胴体部211にセンサをさらに設けてもよい(図8(b)参照)。この場合、当該センサは、ロボット頭部212に設けられたロボット用センサ23とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員400や第1人型ロボット20aの動作を異なる角度からセンシングすることができる。
図3は、本実施形態の作業再現システム100での、構成及び機能の一例を示すブロック図である。
作業再現システム100は、第1人型ロボット20aと、第2人型ロボット20bと、管理制御装置60と、を含んで構成されている。第1人型ロボット20a及び第2人型ロボット20bは、管理制御装置60の通信部64と、各々無線又は有線通信を介して接続され、管理制御装置60からの指示を受けると共に、各センサにより取得される情報を送信する。なお、第1人型ロボット20aと第2人型ロボット20b同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。
作業再現ロボットとして機能する第1人型ロボット20aは、第1ロボット移動機構22aと第1ロボット用センサ23aと、第1ロボット用センサ23aに含まれる第1ロボット用撮像装置24aと、第1情報処理装置25aと、第1胴体/頭部駆動機構21aと、第1腕部駆動機構26aと、を備える。本実施形態では、移動式ロボットとして機能する第2人型ロボット20bも、その構成は第1人型ロボット20aと同一である。
本実施形態による第1情報処理装置25aは、CPU(Central Processing Unit)1212、RAM(Random Access Memory)1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。第1情報処理装置25aはまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第1情報処理装置25aはまた、ROM(Read Only Memory)1230及びキーボードのような入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、第1情報処理装置25a内のCPU1212によって使用されるプログラム及びデータを格納する。また、記憶装置1224は、センシング情報を記憶してもよい。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時に第1情報処理装置25aによって実行されるブートプログラム等、及び/又は第1情報処理装置25aのハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、第1情報処理装置25aに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第1情報処理装置25aの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信が第1情報処理装置25a及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。
上で説明したプログラム又はソフトウエアモジュールは、第1情報処理装置25a上又は第1情報処理装置25a近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第1情報処理装置25aに提供する。
本実施形態におけるフローチャート及び図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
ここまで説明してきた内容は、第2人型ロボット20bに備えられた第2情報処理装置についても同様である。
管理制御装置60は、作業再現システム100を実現するため、人型ロボット20a、20bに対して指示を与える制御装置である。また、管理制御装置60は、人型ロボット20a、20bの各記憶装置に蓄積されたセンシング情報を取得する。
管理制御装置60は、CPU60A、RAM60B、ROM60C、入出力部(I/O)60D、及びこれらを接続するデータバスやコントロールバス等のバス60E、並びに通信部64で構成されている。I/O60Dには、記憶媒体62が接続されている。
また、I/O60Dには、人型ロボット20の制御系との間でセンシング情報や作業マニュアル情報、工程表情報等を送受信する通信部64が接続されている。作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻/終了時刻を示す情報、各作業項目の作業時間や開始時刻/終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。
図4は、本実施形態の作業再現システムでの、管理制御装置60の機能の一例を示すブロック図である。
管理制御装置60は、記憶媒体62と、通信部64と、処理部66とを備える。
記憶媒体62は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体62は、処理部66での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体62は、センシング情報を記憶する。また、記憶媒体62には、作業員400の作業マニュアル情報及び/又は工程表情報が記憶されていてもよい。
通信部64は、Wi-Fi(登録商標)等の無線の通信インタフェース回路及び/又はイーサネット(登録商標)等の有線の通信インタフェース回路を有する。通信部64は、人型ロボット20a、20bと、インタフェース回路を通じて各種情報を送受信する。
処理部66は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部66は、作業再現システム100の全体的な動作を統括的に制御するものであり、例えば、CPUである。処理部66は、記憶媒体62に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)を参照して処理を実行する。また、処理部66は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
処理部66は、判定部661と、制御部662と、学習部663と、生成部664と、入力部665と、検知部666と、を備える。これらの各部は、処理部66が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部66に実装されてもよい。
判定部661は、センシング対象(作業員400や第1人型ロボット20a)をセンシングしているか否かを判定する。判定方法としては、既知の画像認識技術を用いてもよいし、学習部663(図4参照)による学習によるものであってもよい。
制御部662は、標準動作モデルを参照して第1人型ロボット20aに再現動作を1回以上行わせる。また、制御部662は、センシング対象(作業員400や第1人型ロボット20a)がセンシングされていないと判定された場合に、第2人型ロボット20bの第2胴体/頭部駆動機構や第2ロボット移動機構を作動する。
学習部663は、作業員400の所定動作に対応する第1センシング情報に基づいて、作業員400の所定動作に対応した標準動作モデルを学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定/解析を自動的に行ったりする学習である自動学習により行われる。
生成部664は、学習部663による学習結果を参照して、標準動作モデルを生成する。また、生成部664は、動作指示を生成する。
入力部665は、事故又は誤動作情報を入力する。この入力は、作業再現システム100のシステム外部からの入力であってもよいし、予め事故又は誤動作情報を、記憶媒体62、第1情報処理装置25aの記憶媒体1224、及び/又は第2情報処理装置の記憶媒体に記憶しておき、管理制御装置60の指示によってそれら情報が読み出されることで、入力されてもよい。
検知部666は、第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いて取得した第1人型ロボット20aの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する。また、検知部666は、後述するように、センサを用いて取得した作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、作業マニュアル情報又は工程表情報と異なる動作の発生を検知する。なお、検知対象の一例としては、時間経過における各情報(データ)の変化の違いや、データを比較した際のデータ同士の著しい乖離の把握等が挙げられる。
(本発明に係る実施形態1の作業再現システムの処理)
図5は、本実施形態の作業再現システムの処理を示すフローチャートの一例である。
図5は、本実施形態の作業再現システムの処理を示すフローチャートの一例である。
まず、管理制御装置60の指示により、あるいは記憶媒体62又は第2情報処理装置の記憶装置に記憶されたプログラムの読み出し指示により、作業再現システム100は、第2人型ロボット20bの第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いて、作業員400の作業場200での動作をセンシングする(ステップS101)。作業員400の動作は、異常事態発生時に作業員400が実際に行った動作を再現した動作であり、好ましくは、異常事態発生時の状況を忠実に再現した作業場200において当該動作が行われる。制御部662又は第2情報処理装置は、第2人型ロボット20bの第2ロボット用センサ23b(第2ロボット用撮像装置24b)のセンシング領域230b(撮像領域240b)が作業員400の動作を含むよう、第2人型ロボット20bの第2胴体/頭部駆動機構や第2ロボット移動機構を作動する。
第2ロボット用センサ23b(第2ロボット用撮像装置24b)により取得されるセンシング情報(第1センシング情報)は、第2情報処理装置の記憶装置及び/又は通信部64を介して記憶媒体62に記憶される。各情報処理装置の記憶装置及び記憶媒体62は、記憶部として機能する。
管理制御装置60は、記憶部に蓄積された、言い換えると記憶された第1センシング情報に基づいて作業員400の所定動作に対応した標準動作モデルを学習し、学習結果を参照して、標準動作モデルを生成する(ステップS102)。
図6は、図5のステップS102で示される作業員動作学習/標準動作モデル生成処理の、より詳細な処理を示すフローチャートの一例である。
第1センシング情報が取得されると、第1センシング情報は記憶部に記憶されるところ(ステップS201)、学習部663は、第1センシング情報に基づいて、作業員400の所定動作に対応した標準動作モデルを学習する(ステップS202)。そして、生成部664は、学習部663による学習結果を参照して、標準動作モデルを生成する(ステップS203)。
なお、学習部663による学習においては、作業員400の動作のモーションキャプチャ、作業場200の3Dマップ、作業場200における作業員400の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われてもよく、自動学習により作業再現ロボットとしても機能可能な人型ロボット20の最適な動作が学習されてもよい。これにより、作業員400の所定動作を一度に多角的な面から分析することが可能となり、作業員400の動作分析やプログラミングに掛かる時間及びコストを削減することができる。
図5に戻り、標準動作モデルが生成される前後に、第1人型ロボット20aが所定位置に配置される(ステップS103)。第1人型ロボット20aの所定位置への配置は、例えば、所定位置の一例である作業場200のフロア図面を予め記憶部に記憶させ、第1人型ロボット20aの位置を、当該記憶されたフロア図面に対応付けたうえで、第1人型ロボット20aの第1移動機構22aを作動させて当該位置まで移動させる方法が挙げられる。あるいは、第1人型ロボット20aの配置は、機械学習を通じて最適化された位置に基づいてもよい。所定位置は、好ましくは異常事態発生時の状況を忠実に再現した作業場200である。
制御部662は、標準動作モデルを参照して標準動作モデルを参照して第1人型ロボット20aに再現動作を1回以上行わせる(ステップS104)。言い換えると、第1人型ロボット20aは、動作指示に基づいて再現動作を1回以上行う。
第1人型ロボット20aの作動(S104)と前後して、入力部665は、事故又は誤動作情報を入力する(ステップS105)。
作業再現システム100は、第2人型ロボット20bの第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いて、第1人型ロボット20aの作業場200での再現動作をセンシングする(ステップS106)。第2ロボット用センサ23b(第2ロボット用撮像装置24b)により取得されるセンシング情報(第2センシング情報)は、記憶部に記憶される。
検知部666は、第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いて取得した第2センシング情報に基づいて、事故又は誤動作の発生を検知する(ステップS107)。
(実施形態1に係る作業再現システムの作用効果)
本実施形態に係る作業再現システム100によれば、標準動作モデルを参照して作業再現ロボットに再現動作を1回以上行わせ、当該作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、異常事態発生時の作業員400の動作を作業再現ロボットに再現させた上で、作業再現ロボットの再現動作を通じて事故又は誤動作の発生を検知できることとなり、異常事態の発生要因を解明することが容易になる。
本実施形態に係る作業再現システム100によれば、標準動作モデルを参照して作業再現ロボットに再現動作を1回以上行わせ、当該作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、異常事態発生時の作業員400の動作を作業再現ロボットに再現させた上で、作業再現ロボットの再現動作を通じて事故又は誤動作の発生を検知できることとなり、異常事態の発生要因を解明することが容易になる。
(実施形態1の変形例1)
図7は、本発明に係る実施形態1の変形例1に係る作業再現システムの処理を示すフローチャートの一例である。
図7は、本発明に係る実施形態1の変形例1に係る作業再現システムの処理を示すフローチャートの一例である。
本変形例に掛かる作業再現システムの処理では、S101~S104までの処理は同じである一方、S105は省略され、S106の後の処理として、ステップS107'が実施される。
本作業再現システムでは、記憶部に作業員400の作業マニュアル情報、又は、工程表情報が記憶されており、検知部666は、第2ロボット用センサ23b(第2ロボット用撮像装置24b)を用いて取得した第1人型ロボット20aの再現動作に対応する第2センシング情報に基づいて、作業マニュアル情報又は工程表情報と異なる動作の発生を検知する(S107')。
作業マニュアル情報又は工程表情報は、本来的に適正とされる動作や順序を表した情報である。そこで、標準動作モデルを参照して行われた第1人型ロボット20aの再現動作と、作業マニュアル情報又は工程表情報とを比較することで、標準動作に欠点がないか否かを確認することができる。
(実施形態1の変形例2)
図8は、本実施形態の変形例2に係る作業再現システムの一例を示す図である。
図8は、本実施形態の変形例2に係る作業再現システムの一例を示す図である。
図8(a)は、本発明に係る実施形態1の変形例2に係る作業再現システムでの、システム構成の一例を示す図である。本作業再現システムでは、移動式ロボットとして機能する第2人型ロボット20'に胴体センサ23''(胴体撮像装置24'')が設けられている点が特徴となっている。具体的には、第2人型ロボット20'の頭部センサ23'(頭部撮像装置24')のセンシング領域230'(撮像領域240')が第1人型ロボット20aを、第2人型ロボット20'の胴体センサ23''(胴体撮像装置23'')のセンシング領域230''(撮像領域240'')が作業員400を、それぞれ対象とするよう指示が与えられる。なお、本作業再現システムでは、第1人型ロボット20aと第2人型ロボット20'とが通信可能に構成されていれば、管理制御装置60は必ずしも必要ではない。
図8(b)は、図8(a)に示す人型ロボットの一例を示す図である。移動式ロボットとして機能する第2人型ロボット20'は、ロボット本体21'と、ロボット移動機構22'と、頭部センサ23'と、頭部センサ23'に含まれる頭部撮像装置24'と、胴体センサ23''と、胴体センサ23''に含まれる胴体撮像装置24''と、情報処理装置25'と、ロボット腕部26'と、を備える。
ロボット本体21'は、ロボット胴体211'と、ロボット頭部212'とを備える。ロボット胴体211'とロボット頭部212'とは、胴体/頭部駆動機構21'(図9参照)を構成し、頭部センサ23'(頭部撮像装置24')のセンシング領域230'(撮像領域240')及び胴体センサ23''(胴体撮像装置24'')のセンシング領域230''(撮像領域240'')を変更することが可能である。
頭部センサ23'(頭部撮像装置24')と胴体センサ23''(胴体撮像装置24'')とは、高さ位置が異なる箇所に配置されることから、胴体センサ23''(胴体撮像装置24'')と頭部センサ23'(頭部撮像装置24')とは、それぞれ異なる位置から作業員400や作業再現ロボットとして機能する第1ロボット20aの動作をセンシングすることとなる。
情報処理装置25'の構成は、第1人型ロボット20aの第1情報処理装置25aと同様である。ロボット腕部26'についても第1人型ロボット20aと同様である。
図9は、本作業再現システムでの、人型ロボット20'の機能の一例を示すブロック図である。作業再現システム100'では、情報処理装置25'は、情報処理部66'と、通信インタフェース1222'と、記憶装置1224'とを備え、情報処理部66'は、判定部661'と、制御部662c'、学習部663c'、生成部664'と、入力部665'と、検知部666'と、を備える。すなわち、作業再現システム100'では、情報処理部66'が管理制御装置60の処理部66と同様の処理を行う。なお、情報処理装置25'は、頭部センサ23'(頭部撮像装置24')、胴体センサ23''(頭部撮像装置24'')、胴体/頭部駆動機構21'、ロボット移動機構22'、及び腕部駆動機構26'と通信可能に構成されている。また、記憶部1224'には、作業マニュアル情報又は工程表情報が記憶されていてもよい。
作業再現システム100'の第2人型ロボット20'は、情報処理装置25'に情報処理部66'が備えられていることから、第1人型ロボット20aと第2人型ロボット20'とが通信可能に構成されることで、管理制御装置60を必要とせずに作業再現システムを構成することが可能となる。
図8を参照して、例えば第2人型ロボット20'の制御部662'は、胴体センサ23''(胴体撮像装置24'')が作業員400を、第2センサとして機能する頭部センサ23'(頭部撮像装置24')が作業再現ロボットとして機能する第1人型ロボット20aを、それぞれセンシングするよう指示する。なお、頭部センサ23'(頭部撮像装置24')と胴体センサ23''(胴体撮像装置24'')との役割は、逆であってもよい。すなわち、頭部センサ23'(頭部撮像装置24')が作業員400を、胴体センサ23''(胴体撮像装置24'')が第1人型ロボット20aを、それぞれセンシングするよう指示する構成であってもよい。
作業再現システム100'は、作業員400に異常事態発生時の動作を再現してもらった上で、胴体センサ23''(胴体撮像装置24'')により作業員400の所定動作をセンシングする。学習部663'は、作業員400の所定動作に対応する第1センシング情報に基づいて、作業員400の所定動作に対応した標準動作モデルを学習する。制御部662'は、標準動作モデルを参照して第1人型ロボット20aに再現動作を1回以上行わせる。入力部665'は、事故又は誤動作情報を入力する。そして、検知部666'は、頭部センサ23'(頭部撮像装置24')を用いて取得した第1人型ロボット20aの再現動作に対応する第2センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、作業再現ロボットとして機能する第1人型ロボット20aに、異常事態発生時の作業員400の動作を再現させると共に、作業再現ロボットの再現動作を通じて事故又は誤動作の発生を検知できることとなり、異常事態の発生要因を解明することが容易になる。
また、作業再現システム100'は、作業員400に異常事態発生時の動作を再現してもらった上で、胴体センサ23''(胴体撮像装置24'')により作業員400の所定動作をセンシングする。学習部663'は、作業員400の所定動作に対応する第1センシング情報に基づいて、作業員400の所定動作に対応した標準動作モデルを学習する。制御部662'は、標準動作モデルを参照して第1人型ロボット20aに再現動作を1回以上行わせる。検知部666'は、頭部センサ23'(頭部撮像装置24')を用いて取得した第1人型ロボット20aの再現動作に対応する第2センシング情報に基づいて、作業マニュアル情報又は工程表情報と異なる動作の発生を検知する。これにより、作業再現ロボットとして機能する第1人型ロボット20aに、異常事態発生時の作業員400の動作を再現させると共に、作業再現ロボットの再現動作を通じて標準動作の欠点を把握することができる。
(変形例1の作用効果)
本作業再現システムによれば、人型ロボット20'は単独で作業再現システムを構成することができることから、例えば、管理制御装置60との通信ができないような場所においても、異常事態の発生要因を解明することが容易な作業再現システムを提供することができる。
本作業再現システムによれば、人型ロボット20'は単独で作業再現システムを構成することができることから、例えば、管理制御装置60との通信ができないような場所においても、異常事態の発生要因を解明することが容易な作業再現システムを提供することができる。
また、本人型ロボット20'は、複数(本変形例では2つ)のセンサ(撮像装置)を備えていることから、例えば、作業員400と作業再現ロボットとを並列配置して作業再現するには狭い場所においても、異常事態の発生要因を解明することが容易な作業再現システムを提供することができる。
なお、本作業再現システムにおいて、移動式ロボットとして機能する人型ロボットは、必ずしも1台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、センサの数は人型ロボットの倍数分増えることとなり、一度にセンシング情報を多く取得することができる。
以上、本発明の実施の形態について説明したが、本発明は、上述した本発明の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
本実施形態の作業再現システム100では、作業員400や作業再現ロボットに対して、それぞれ1台の移動式ロボットが配置される構成を説明した。しかし、移動式ロボットの数はこれ以上であってもよい。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び/又は向きから作業員400や作業再現ロボットの動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員400や作業再現ロボットの動作の学習に必要な様々なデータを取得しやすくなると共に、作業員400や作業再現ロボットの各動作を全体的にカバーできるようにセンシングすることができる。
また、本実施形態の作業再現システム100では、センサと移動機構とを有する移動式ロボット(人型ロボット)1台が作業員400及び作業再現ロボットのそれぞれをセンシングする構成を説明した。この構成によれば、移動式ロボットを各センシングに併用することができ、ロボット作製に掛かる費用及び時間を短縮することができる。もっとも、作業員400のセンシングと、作業再現ロボットのセンシングとは、それぞれ異なる移動式ロボットで行ってもよい。さらにいえば、各センシングは移動式ロボットにより行われなくともよい。
また、本実施形態では、作業員の所定動作の学習を自動学習により行うものとして説明した。しかし、学習は必ずしも自動学習である必要はなく、他の既知の機械学習、例えばディープラーニング(深層学習)や教師なし/あり学習、強化学習等であってもよい。
100、100'、100'’ 作業再現システム
20、20a、20b、20c、20' 人型ロボット(移動式ロボット、作業再現ロボット)
22、22a、22' 移動機構
23、23a、23b、23'、23'' ロボット用センサ
230、230a、230b、230'、230'' センシング領域
24、24a、24b、24'、24'' ロボット用撮像装置
240、240a、240b、240'、240'' 撮像領域
25、25a、25' 情報処理装置
60 管理制御装置
62 記憶媒体(記憶部)
1224、1224' 記憶装置(記憶部)
20、20a、20b、20c、20' 人型ロボット(移動式ロボット、作業再現ロボット)
22、22a、22' 移動機構
23、23a、23b、23'、23'' ロボット用センサ
230、230a、230b、230'、230'' センシング領域
24、24a、24b、24'、24'' ロボット用撮像装置
240、240a、240b、240'、240'' 撮像領域
25、25a、25' 情報処理装置
60 管理制御装置
62 記憶媒体(記憶部)
1224、1224' 記憶装置(記憶部)
Claims (6)
- 作業再現ロボットと、
前記作業再現ロボットの動作をセンシング可能なセンサと、
前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
前記管理制御装置は、
センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、
事故又は誤動作情報を入力する入力部と、
前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、
ことを特徴とする作業再現システム。 - 作業再現ロボットと、
前記作業再現ロボットの動作をセンシング可能なセンサと、
前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
前記管理制御装置は、
センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、
前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、
前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、を備える、
ことを特徴とする作業再現システム。 - 作業再現ロボットと、
前記作業再現ロボットの動作をセンシング可能なセンサと、
前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
前記管理制御装置は、
センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、
前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせ、
事故又は誤動作情報を入力し、
前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記事故又は誤動作の発生を検知する、
ことを特徴とする作業再現方法。 - 作業再現ロボットと、
前記作業再現ロボットの動作をセンシング可能なセンサと、
前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
前記管理制御装置は、
センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、
前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせ、
前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶し、
前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する、
ことを特徴とする作業再現方法。 - 作業再現ロボットであって、
前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、
前記情報処理装置は、
センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、
事故又は誤動作情報を入力する入力部と、
前記外部のセンサを用いて取得された前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、
ことを特徴とする作業再現ロボット。 - 作業再現ロボットであって、
前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、
前記情報処理装置は、
センシング対象の所定動作に対応する第1センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
前記標準動作モデルを参照して前記作業再現ロボットに再現動作を1回以上行わせる制御部と、
前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、
前記センサを用いて取得された前記作業再現ロボットの再現動作に対応する第2センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、
ことを特徴とする作業再現ロボット。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022184345A JP2024073243A (ja) | 2022-11-17 | 2022-11-17 | 作業再現システム、作業再現方法及び作業再現ロボット |
PCT/JP2023/037595 WO2024085159A1 (ja) | 2022-10-18 | 2023-10-17 | 作業ロボット調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022184345A JP2024073243A (ja) | 2022-11-17 | 2022-11-17 | 作業再現システム、作業再現方法及び作業再現ロボット |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024073243A true JP2024073243A (ja) | 2024-05-29 |
Family
ID=91226441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022184345A Pending JP2024073243A (ja) | 2022-10-18 | 2022-11-17 | 作業再現システム、作業再現方法及び作業再現ロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024073243A (ja) |
-
2022
- 2022-11-17 JP JP2022184345A patent/JP2024073243A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108228345A (zh) | 用于交互式认知任务协助的系统和方法 | |
US11908337B2 (en) | Information processing device, intermediation device, simulation system, and information processing method | |
JP2012232363A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
US20210331311A1 (en) | Image generation device, robot training system, image generation method, and non-transitory computer readable storage medium | |
JP2020026026A (ja) | 情報処理装置、仲介装置、シミュレートシステム及び情報処理方法 | |
TW202109028A (zh) | 自動判別處理裝置、自動判別處理方法、檢查系統、程式、及記錄媒體 | |
Moshayedi et al. | Integrating virtual reality and robotic operation system (ROS) for AGV navigation | |
JP2024073243A (ja) | 作業再現システム、作業再現方法及び作業再現ロボット | |
US20240168546A1 (en) | Identifying a Place of Interest on a Physical Object Through its 3D Model in Augmented Reality View | |
US9415512B2 (en) | System and method for enhancing a visualization of coordinate points within a robots working envelope | |
JP2024073888A (ja) | 作業習熟システム、作業習熟方法及び作業再現ロボット | |
Setti et al. | AR Tool-Augmented Reality Platform for Machining Setup and Maintenance | |
JP2024068441A (ja) | センシングシステム、センシング方法及び移動式ロボット | |
JP2024072051A (ja) | 動作改変システム、動作改変方法及び作業ロボット | |
JP4595042B2 (ja) | 3次元測定方法およびシステム並びにマニピュレータの制御方法および装置 | |
JP3076841B1 (ja) | 実環境適応型ロボットの教示プログラム作成方法 | |
JP2024070031A (ja) | センシングシステム、センシング方法及び作業ロボット | |
JP2024059511A (ja) | 作業ロボット調整方法 | |
Petrinić et al. | AMORsim− A Mobile Robot Simulator for Matlab | |
JP2021086218A (ja) | 協調作業システム、解析装置および解析プログラム | |
WO2024085159A1 (ja) | 作業ロボット調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボット | |
WO2024085160A1 (ja) | シミュレーションシステム及びプログラム | |
JP2021086219A (ja) | 協調作業システム、解析収集装置および解析プログラム | |
Ziaee et al. | Augmented reality applications in manufacturing and its future scope in Industry 4.0 | |
US20220043455A1 (en) | Preparing robotic operating environments for execution of robotic control plans |