JP2024047171A - 要因分析装置及び要因分析方法 - Google Patents

要因分析装置及び要因分析方法 Download PDF

Info

Publication number
JP2024047171A
JP2024047171A JP2022152641A JP2022152641A JP2024047171A JP 2024047171 A JP2024047171 A JP 2024047171A JP 2022152641 A JP2022152641 A JP 2022152641A JP 2022152641 A JP2022152641 A JP 2022152641A JP 2024047171 A JP2024047171 A JP 2024047171A
Authority
JP
Japan
Prior art keywords
work
data
sensor data
estimation
contribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022152641A
Other languages
English (en)
Inventor
隼人 土屋
Hayato Tsuchiya
雅臣 飯田
Masaomi Iida
良裕 川上
Yoshihiro Kawakami
智彰 田宮
Tomoaki Tamiya
倫瞳 佐野
Tomomi Sano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2022152641A priority Critical patent/JP2024047171A/ja
Priority to PCT/JP2023/027896 priority patent/WO2024070189A1/ja
Publication of JP2024047171A publication Critical patent/JP2024047171A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】作業機による作業が不適切となる要因を精度良く特定する要因分析装置を提供する。【解決手段】要因分析装置50は、入力部51と、学習部52aと、分析部52bと、通知部52cと、を備える。入力部51には、ロボット11による作業をセンサで計測して得られるセンサデータと、センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される。学習部52aは、入力部51に入力されたデータに基づいて、センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。分析部52bは、推定モデルの入力データと出力データを分析して、センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。通知部52cは、分析部52bが作成した寄与データを通知する。【選択図】図1

Description

本出願は、主として、作業機による作業が不適切であった場合にその要因を特定する要因分析装置に関する。
特許文献1は、対象物体をロボットに把持させる情報処理装置を開示する。情報処理装置は、対象物体を撮像した視覚情報に基づいて、対象物体の把持の成否確率の分布を決定する。情報処理装置は、把持の成否の判定結果と、成否確率と、に基づいて現在の状態を推定する。例えば、情報処理装置は、成否確率が十分に高い場合、把持に関する制御要因により把持に失敗したと判定する。
特開2019-188516号公報
特許文献1の情報処理装置で判定可能な失敗要因は、予め想定された失敗要因であって、かつ、センサ又は制御指令に基づいて明確に判定可能な失敗要因に限られる。しかし、失敗要因は多岐にわたり、かつ、環境に応じて様々な失敗要因が生じ得るため、特許文献1の情報処理装置では失敗要因を十分に特定できない状況が発生し得る。
本出願は以上の事情に鑑みてされたものであり、その主要な目的は、作業機による作業が不適切となる要因を精度良く特定する要因分析装置を提供することにある。
本出願の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
本出願の第1の観点によれば、以下の構成の要因分析装置が提供される。即ち、要因分析装置は、入力部と、学習部と、分析部と、通知部と、を備える。前記入力部には、作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される。前記学習部は、前記入力部に入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。前記分析部は、前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。前記通知部は、前記分析部が作成した前記寄与データを通知する。
本出願の第2の観点によれば、以下の要因分析方法が提供される。要因分析方法では、作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、を入力する。入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。作成した前記寄与データを通知する。
本出願によれば、作業機による作業が不適切となる要因を精度良く特定できる。
本出願の一実施形態に係る要因分析装置を含む作業システムのブロック図。 作業停止又は作業品質の低下の要因を推定する要因推定処理を示すフローチャート。 センサデータ及び判定結果から推定モデルを構築し、その評価を行うことを示す説明図。 センサデータの種類毎の寄与度を示すグラフ。 カメラが撮影したツール画像に対して領域毎の寄与度を重畳した要因提示画像。
次に、図面を参照して本出願の実施形態を説明する。初めに、図1を参照して、作業システム1の概要について説明する。
作業システム1は、作業機を用いて作業を行うとともに、この作業を分析して、作業停止が発生する要因又は作業品質が低下する要因を提示するシステムである。以下、作業システム1を構成する各機器について詳細に説明する。
本実施形態では、作業機として、産業用のロボットが用いられている。産業用のロボットとは、工場又は倉庫等の作業場で作業を行うロボットである。産業用のロボットは、ティーチングアンドプレイバック型である。ティーチングプレイバック型とは、事前に産業用のロボットの動作を教示し、教示された内容に沿って産業用のロボットが同じ動作を繰り返すことである。産業用のロボットは、例えば、垂直多関節又は水平多関節のアームロボットである。ただし、産業用のロボットは、アームロボット以外のロボット、例えばパラレルリンクロボット等であってもよい。産業用のロボットが行う作業は、例えば、組立て、溶接、塗装、機械加工、又は、運搬である。以下では、産業用のロボットを単に「ロボット11」と称する。
なお、作業機は産業用のロボットに限られない。例えば、他の作業機の例としては、レーザ加工機又はマシニングセンタ等の工作機械がある。
図1に示すように、本実施形態の作業システム1は、工場及びデータセンターに設けられた様々な装置によって実現される。工場とデータセンターはインターネットを介して接続されている。これにより、工場に設けられた装置とデータセンターに設けられた装置との間でデータを送受信できる。なお、工場とデータセンターを接続するネットワークはインターネット以外のワイドエリアネットワークであってもよい。また、要因分析装置50は、データセンターではなく工場に設けられてもよい。この場合、ワイドエリアネットワークに代えてローカルエリアネットワークにより、要因分析装置50が他の機器と接続される。
工場には、ロボットシステム10と、センサ群20と、管理装置30と、判定装置40と、要因分析装置50と、を備える。また、ロボットシステム10は、ロボット11と、ロボット制御装置12と、を備える。
ロボット11は、互いに回転可能に連結された複数のアーム11aを備える。アーム11aの先端には、作業ツール11bが取り付けられている。アーム11aは、それぞれに配置されたアクチュエータ11cの動力により個別に動作可能である。作業ツール11bは、アクチュエータ11cの動力によりワーク13に対して作業を行う。ロボット11が行う作業が組立て又は運搬である場合、作業ツール11bはワークを保持するハンドである。
ロボット制御装置12は、CPU等の処理装置と、RAM等の一次記憶装置と、ハードディスク、SSD、又はフラッシュメモリ等の二次記憶装置と、を備えるコンピュータである。ロボット制御装置12の処理装置は、二次記憶装置に記憶されたプログラムを一次記憶装置に読み出して実行することにより、ロボット11を制御して、ロボット11に作業を行わせる。具体的には、ロボット制御装置12の記憶装置は、教示データを記憶する。ロボット制御装置12は、教示データに基づいてアクチュエータ11cに指令を送信することによりアーム11aを動作させ、教示データに基づいて作業ツール11bに指令を送信することにより作業ツール11bを動作させる。
センサ群20は、ロボット11の作業に関する様々な情報を計測する複数のセンサの総称である。センサ群20には、電流計21と、電圧計22と、収音装置23と、温度計24と、エンコーダ25と、カメラ26と、タイマ27と、が含まれる。センサ群20に含まれるセンサは一例であり、ロボット11の作業内容又は要求される推定の精度等に応じて、何れかのセンサを省略してもよいし、更に別のセンサが追加されてもよい。また、上述するセンサの個数は特に限定されない。例えば、カメラ26を2台以上配置してもよい。
電流計21は、アーム11a又は作業ツール11bのアクチュエータ11cに供給される電流値を計測する。電圧計22は、アーム11a又は作業ツール11bのアクチュエータ11cに印加される電圧値を計測する。収音装置23は、ロボット11の作業中に発生する作業音を計測する。温度計24は、ロボット11が配置される環境の温度を計測する。エンコーダ25は、アーム11aの関節毎に設けられており、各アーム11aの回転角度を計測する。従って、エンコーダ25はロボット11の動作を計測する。カメラ26は、ロボット11又はワーク13を撮影して画像を作成する。タイマ27は時刻を計測する。センサ群20の各センサが計測する様々なデータは計測した時刻と対応付けられる。以下の説明では、センサ群20の各センサが計測したデータをまとめてセンサデータと称する。
管理装置30及び判定装置40は、それぞれ、CPU等の処理装置と、RAM等の一次記憶装置と、ハードディスク、SSD、又はフラッシュメモリ等の二次記憶装置と、通信装置と、を備えるコンピュータである。処理装置が、二次記憶装置に記憶されたプログラムを一次記憶装置に読み出して実行することにより、様々な処理を実行可能である。
管理装置30は、ロボット制御装置12、センサ群20、及び、判定装置40に対して有線又は無線で接続されている。これにより、管理装置30は、ロボット制御装置12の制御内容及びセンサ群20の計測結果を判定装置40に送信可能である。更に、管理装置30は、上述したインターネットを介して要因分析装置50と通信可能である。これにより、管理装置30は、ロボット制御装置12の制御内容、センサ群20の計測結果、判定装置40の判定結果を要因分析装置50に送信可能である。管理装置30は、受信したデータを加工して要因分析装置50へ送信してもよいし、加工せずにそのままの形式で要因分析装置50へ送信してもよい。
判定装置40は、管理装置30を介して受信した、ロボット制御装置12の制御内容又はセンサ群20の計測結果に基づいて、作業停止が発生したか否かを判定する。作業停止とは、異常の発生に伴って、ロボット11の作業が停止することである。本実施形態の作業停止は、数秒程度の短時間の作業停止と、それ以上の長時間の作業停止と、を含む。別の観点において、本実施形態の作業停止は、自力で復帰可能な一時的な作業停止と、自力で復帰できないため作業者の補助が必要な作業停止と、が含まれる。なお、短時間かつ自力で復帰可能な作業停止のみに着目して、本実施形態の処理を行ってもよい。判定装置40は、ロボット制御装置12の制御内容又はセンサ群20の計測結果に基づいて、ロボット11が作業中か否かを判定し、作業が停止された場合は作業停止が発生したと判定する。
あるいは、判定装置40は、作業停止の判定に代えて又は加えて、作業品質の判定を行ってもよい。作業品質とは、ロボット11が行う作業の品質の程度である。判定装置40は、例えば、作業の早さ、作業の精度、又は、作業の成功率等に応じて作業品質を判定する。判定装置40は、良否のように2段階で作業品質を判定してもよいし、作業品質の程度を示す具体的な点数を付けてもよい。
データセンターには、要因分析装置50が設けられている。要因分析装置50は、管理装置30を介して受信したデータを分析して、作業停止又は作業品質が低い要因を特定して通知する。要因分析装置50は、入力部51と、処理装置52と、記憶装置53と、表示装置54と、を備えるサーバである。なお、要因分析装置50は、1台のハードウェアであってもよいし、複数台のハードウェアが連携した構成であってもよい。例えば、情報を集約して記憶するハードウェアと、管理装置30から受信した情報に応じて処理を行うハードウェアと、が別であってもよい。要因分析装置50は、クラウドコンピューティングサービスにより実現されてもよい。
入力部51は、外部と通信を行う部分である。入力部51は、具体的には、無線通信モジュール又は有線通信モジュールである。入力部51には、ロボット制御装置12の制御内容、センサ群20の計測結果、又は、判定装置40の推定結果が入力される。
処理装置52は、CPU等の処理装置であり、記憶装置53に記憶されたプログラムを読み出して実行することにより、様々な処理を行うことができる。以下では、処理装置52が発揮する機能別に、学習部52a、分析部52b、及び通知部52cの名称を付ける。処理装置52が行う処理の詳細は後述する。
記憶装置53は、RAM等の一次記憶装置と、ハードディスク、SSD、又はフラッシュメモリ等の二次記憶装置と、を含む。記憶装置53は、処理装置52が行うプログラムを記憶したり、処理装置52が作成した様々なデータを記憶したりする。
表示装置54は、例えば液晶ディスプレイ又は有機ELディスプレイであり、情報を表示可能な画面を含む。表示装置54は、処理装置52が作成した画像を表示可能である。なお、表示装置54は必須の構成要素ではないため、省略することができる。
次に、要因分析装置50が作業停止又は作業品質の低下の要因を推定する要因推定処理を説明する。図2には、要因推定処理のフローチャートが記載されている。要因推定処理は、要因分析装置50の処理装置52によって行われる。処理装置52は、ロボット11が作業を終了した後に当該作業について要因推定処理を行う。ただし、処理装置52は、ロボット11の作業と並行して要因推定処理を行ってもよい。
初めに、要因分析装置50は、センサデータ及び判定結果を取得する(S101)。詳細には、センサデータは、センサ群20によって計測され、管理装置30を介して要因分析装置50の入力部51に入力される。判定結果は、判定装置40によって判定され、管理装置30を介して要因分析装置50の入力部51に入力される。
図3の上部には、要因分析装置50が取得するセンサデータ及び判定結果が概念的に示されている。図3に示すように、センサデータは、1回の作業毎に対応付けられていてもよいし、所定期間に対応付けられていてもよい。所定期間は、1回の作業時間よりも長い時間である。従って、センサデータが所定期間に対応付けられている場合、センサデータは複数回の作業に対応付けられていることになる。なお、センサデータは、上述したように、電流値、電圧値、作業音、温度、ロボット動作、画像等で構成されている。
センサデータと判定結果はセットで用いられる。従って、センサデータが1回の作業毎に対応付けられている場合、判定結果も1回の作業毎に対応付けられている。これにより、第N回目の作業で計測されたセンサデータと、第N回目の判定結果と、を対応させることができる。センサデータが所定期間に対応付けられている場合、判定結果も所定期間に対応付けられている。この場合の判定結果は、作業停止を判定する場合は作業停止率であり、作業品質を判定する場合は作業品質の平均点数である。これにより、所定期間で行われた作業のセンサデータと、同じ期間の判定結果と、を対応させることができる。なお、作業品質の平均点数に代えて、作業品質が良でない確率を用いてもよい。
次に、処理装置52は、センサデータの前処理を行う(S102)。センサデータの前処理とは、次のステップの推定モデルの構築を適切に行うためにセンサデータを加工することである。前処理は、例えば特徴量の抽出である。即ち、センサデータのうち、作業停止又は作業品質に寄与する値が分かっている場合は、その値を抽出する。例えば、電流値が閾値を超えた回数が作業停止に強く関係することが分かっている場合、前処理を行って、「電流値」を「電流値が閾値を超えた回数」に変換する。また、前処理は、センサデータの種類を削減する処理であってもよい。例えば、温度が作業停止に関係しないことが分かっている場合、センサデータから温度を削除する。
又は、作業停止又は作業品質の低下の要因がある程度判明している場合、その判明している事象に関連するデータを特徴量とすればよい。これに対し、ユーザは、作業停止又は作業品質の低下の要因が全く判明していない場合、特徴量を特定できない。この場合は、ステップS102の処理を省略してもよい。
次に、処理装置52の学習部52aは、前処理後のセンサデータ及び判定結果を学習データとして用いて、1又は複数の推定モデルを構築する(S103)。推定モデルは、センサデータを入力データとして、判定結果を出力データとするモデルである。学習部52aは、センサデータ及び判定結果を機械学習する。判定結果は正解に相当するため、この機械学習は教師あり学習である。教師ありの機械学習を行うことにより、センサデータの数値傾向と判定結果との関連性が特定されるので、センサデータに基づいて判定結果を出力するモデルを構築できる。教師ありの機械学習は公知であるため、これ以上の説明を省略する。また、ステップS102を省略する場合は、学習部52aが深層学習を行って推定モデルを構築することが好ましい。深層学習では、特徴量の選択を含む処理が行われるため、ユーザ側で特徴量を選択しない場合においても、適切な特徴量が選択されて推定モデルが構築されるからである。
学習部52aは、少なくとも1つの推定モデルを構築する。複数の推定モデルを構築する場合、AutoMLを用いることが好ましい。AutoMLとは、Automated Machine Learningの略であり、機械学習の設計及びモデル構築のプロセスの一部が自動化された技術である。AutoML自体は公知であるため、詳細な説明は省略する。AutoMLを用いることによりモデル構築を容易に行うことができる。そのため、複数の推定モデルを短時間かつ少ない手間で構築できる。特に、AutoMLでは、入力データを自動で選択する機能があるため、複数種類のセンサデータから特定のセンサデータを選択して、選択したセンサデータを学習したモデルを構築できる。これにより、様々な種類のセンサデータを組み合わせた複数の推定モデルを構築できる。
次に、処理装置52の学習部52aは、ステップS103で構築した推定モデルを評価する(S104)。学習部52aは、推定モデルにセンサデータを入力し、推定モデルが出力した推定結果と、実際の作業で判定装置40が判定した判定結果と、を比較する。この処理を繰り返すことにより、推定モデルの精度を評価できる。例えば、作業停止の有無等のように択一的な推定結果が出力される場合は、推定結果が判定結果に一致する回数が多いほど、推定モデルの評価が高くなる。また、作業品質の点数等のように推定結果が数値で出力される場合は、推定結果が判定結果に近似するほど、推定モデルの評価が高くなる。図3に示す推定モデルAから推定モデルEにはそれぞれ評価値が記載され、推定モデルEが最も評価値が高いことが示されている。
次に、処理装置52は、評価値が基準以上の推定モデルがあるか否かを判定する(S105)。評価値が基準以上の推定モデルが無い場合、処理装置52は、要因推定処理を終了する。なぜなら、評価値が低い推定モデルでは、作業停止又は作業品質の低下の要因を的確に推定できないからである。
評価値が基準以上の推定モデルがある場合、処理装置52の分析部52bは、評価値が最も高い推定モデルを用いて、所定のセンサデータの推定の寄与度を示す寄与データを作成する(S106)。
寄与度とは、センサデータが作業停止又は作業品質の低下の推定に寄与する度合いである。寄与度が大きいセンサデータは、作業停止又は作業品質の低下の推定に大きく寄与する。言い換えれば、寄与度が大きいセンサデータには、作業停止又は作業品質の低下に関連する事象又は状態が含まれている。また、寄与データは大きく2つに分類できる。1つ目の寄与データは、複数種類のセンサデータのうち、どの種類のセンサデータが推定に大きく寄与するかを示すデータである。言い換えれば、どの種類のセンサデータの寄与度が大きいかを示すデータである。例えば、電流値よりも温度の方が推定に大きく寄与することを示すデータである。2つ目の寄与データは、同種類のセンサデータのうち、どの値が推定に大きく寄与するかを示すデータである。言い換えれば、1つのセンサデータのどの部分の寄与度が大きいかを示すデータである。例えば、1枚の画像の所定の領域が推定に大きく寄与することを示すデータである。
寄与度は、例えば、対象のセンサデータの値を変更したときの推定精度の変化に基づいて算出できる。複数種類のセンサデータを入力データとする推定モデルについては、分析部52bは、1種類目のセンサデータの値を別の値に置換して推定モデルに入力して、推定モデルが出力した推定結果と、実際の判定結果と、を比較する。次に、分析部52bは、同様の処理を他の全ての種類のセンサデータに対して1つずつ行う。そして、分析部52bは、推定結果の精度の低下度合いを比較する。推定結果の精度の比較には、上述した評価値を用いることができる。分析部52bは、推定結果の精度の低下度合いが大きいほど、そのセンサデータの寄与度が高いと推定する。なお、上記とは別の処理を行って、センサデータの種類毎の寄与度を推定してもよい。例えば、各センサデータのSHAP値に基づいて寄与度を算出することもできる。
図4には、センサデータの種類毎の寄与度を算出してグラフ化した図が示されている。ツール画像1は、作業ツール11bを第1アングルで撮影して得られた画像である。ツール画像2は、作業ツール11bを第2アングルで撮影して得られた画像である。このグラフからは、ツール画像1の寄与度が最も高いことが分かる。そのため、ツール画像1に表れている情報と、作業停止又は作業品質の低下と、の関連性が高いことが分かる。従って、ユーザは、ツール画像1を確認することにより、作業停止又は作業品質の低下の要因を特定できる。そして、その要因を改善することにより、作業停止又は作業品質の低下を頻度を低下させることができる。
なお、センサデータとしての画像は様々な情報を含むため、画像が特定されただけでは、作業停止又は作業品質の低下の要因を特定できない可能性がある。そのため、分析部52bは、画像のうちどの領域が作業停止又は作業品質の低下に寄与するかを特定してもよい。画像のうち寄与度が大きい部分を特定する処理は、上述した、寄与度が高いセンサデータを特定する処理と基本的には同じである。即ち、画像の一部の領域について、RGB値又は輝度を変化させたり、別のタイミングで取得された画像に置換する等して、画像の一部の領域を変更し、その時の推定精度の低下度合いを算出し、別の領域の低下度合いと比較する。これにより、画像の領域毎の寄与度を算出できる。
図5には、ツール画像に対して、領域毎の寄与度を示す情報を重畳した画像が示されている。図5を参照することにより、ツール画像のどの部分が、作業停止又は作業品質の低下に寄与するかが確認できるので、作業停止又は作業品質の低下の要因を精度良く特定することができる。
次に、処理装置52の通知部52cは、分析部52bが作成した寄与データをユーザに通知する(S107)。本実施形態では、通知部52cは、図4又は図5に示したような画像形式の寄与データを表示装置54に表示することで、ユーザに通知する。なお、通知部52cは、要因分析装置50の表示装置54に表示することに代えて、ユーザが所有する機器に寄与データを送信する処理を行ってもよい。また、寄与データは画像形式に限られず、例えばテキスト形式であってもよい。例えば、通知部52cは、最も寄与度が高い種類のセンサデータをテキスト形式で通知してもよい。
以上に説明したように、本実施形態の要因分析装置50は、入力部51と、学習部52aと、分析部52bと、通知部52cと、を備える。入力部51には、ロボット11による作業をセンサで計測して得られるセンサデータと、センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される。学習部52aは、入力部51に入力されたデータに基づいて、センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する。分析部52bは、推定モデルの入力データと出力データを分析して、センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する。通知部52cは、分析部52bが作成した寄与データを通知する。以上の技術内容が特徴1である。
寄与データには、ロボット11の作業停止又は作業品質の低下の要因が表れる。そのため、ユーザは、寄与データを確認することにより、ロボット11による作業が不適切となる要因を精度良く特定できる。なお、センサデータに含まれる要因であれば、ユーザが想定していない要因についても特定できる。
本実施形態の要因分析装置50において、学習部52aは、複数の推定モデルを構築する。分析部52bは、複数の推定モデルから推定精度が最も高い1つの推定モデルを選択し、選択した推定モデルを用いて寄与データを作成する。以上の技術内容が特徴2である。
これにより、推定精度が高い推定モデルを用いて寄与データを作成できる。その結果、ロボット11の作業停止又は作業品質の低下の要因が明確に表れた寄与データをユーザに提示できる。
本実施形態の要因分析装置50において、学習部52aは、AutoMLを用いて、複数の推定モデルを構築する。以上の技術内容が特徴3である。
これにより、簡単な処理で複数の推定モデルを構築できる。
本実施形態の要因分析装置50において、センサはカメラ26を含む。センサデータはツール画像1を含む。分析部52bは、ツール画像1の領域毎に寄与度を特定して、寄与度をツール画像に重畳した要因提示画像を寄与データとして作成する。通知部52cは、要因提示画像を表示装置54に出力する。以上の技術内容が特徴4である。
これにより、ユーザは一見して、ロボット11の作業停止又は作業品質の低下の要因に関連する箇所を把握できる。
本実施形態の要因分析装置50において、センサデータは、少なくとも、第1センサデータと、第2センサデータと、を含む。本実施形態で説明した複数種類のセンサデータの1つが第1センサデータであり、残りの何れか1つが第2センサデータである。分析部52bは、第1センサデータの寄与度と、第2センサデータの寄与度と、を示す寄与データを作成する。以上の技術内容が特徴5である。
これにより、ユーザは、複数種類のセンサデータのうち何れのセンサデータが、ロボット11の作業停止又は作業品質の低下の要因に関連するかを容易に把握できる。
本実施形態の要因分析装置50において、学習部52aは、特徴量が抽出されていないセンサデータを入力データとして推定モデルを構築する。以上の技術内容が特徴6である。
これにより、ユーザは特徴量を抽出する処理を行う必要がないため、ユーザの手間を低減できる。特に、本実施形態では、作業停止又は品質低下の要因が不明であるため、特徴量の抽出が困難である可能性が高いため、効果的である。
上述した特徴1から特徴6は矛盾が生じない限り、適宜組み合わせることができる。例えば、特徴N(N=1,2,・・・,6)には、特徴1から特徴N-1までの少なくとも1つを適宜組み合わせることができる。
以上に本出願の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。例えば、推定モデルの精度が高いと考えられる状況においては、推定モデルを評価する処理、具体的にはステップS104及びS105を省略してもよい。また、図4のフローチャートでは、推定モデルの評価値が基準未満である場合は要因推定処理を終了する。これに代えて、推定モデルの評価値が基準未満である場合は、ステップS103に戻って、推定モデルを構築する処理を再び実行してもよい。この場合、推定モデルを構築する際の条件及びパラメータ等を変更することが好ましい。
本明細書で開示する要素の機能は、開示された機能を実行するように構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC(Application Specific Integrated Circuits)、従来の回路、及び/又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び/又はプロセッサの構成に使用される。
1 作業システム
10 ロボットシステム
11 ロボット(作業機)
20 センサ群
30 管理装置
40 判定装置
50 要因分析装置
51 入力部
52 処理装置
52a 学習部
52b 分析部
52c 通知部

Claims (7)

  1. 作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、が入力される入力部と、
    前記入力部に入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築する学習部と、
    前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成する分析部と、
    前記分析部が作成した前記寄与データを通知する通知部と、
    を備える、要因分析装置。
  2. 請求項1に記載の要因分析装置であって、
    前記学習部は、複数の前記推定モデルを構築し、
    前記分析部は、複数の前記推定モデルから推定精度が最も高い1つの前記推定モデルを選択し、選択した前記推定モデルを用いて前記寄与データを作成する、要因分析装置。
  3. 請求項2に記載の要因分析装置であって、
    前記学習部は、AutoMLを用いて、複数の前記推定モデルを構築する、要因分析装置。
  4. 請求項1に記載の要因分析装置であって、
    前記センサはカメラを含み、
    前記センサデータは画像を含み、
    前記分析部は、前記画像の領域毎に前記寄与度を特定して、当該寄与度を前記画像に重畳した要因提示画像を前記寄与データとして作成し、
    前記通知部は、前記要因提示画像を表示装置に出力する、要因分析装置。
  5. 請求項1に記載の要因分析装置であって、
    前記センサデータは、少なくとも、第1センサデータと、第2センサデータと、を含み、
    前記分析部は、前記第1センサデータの前記寄与度と、前記第2センサデータの前記寄与度と、を示す前記寄与データを作成する、要因分析装置。
  6. 請求項1に記載の要因分析装置であって、
    前記学習部は、特徴量が抽出されていない前記センサデータを入力データとして前記推定モデルを構築する、要因分析装置。
  7. 作業機による作業をセンサで計測して得られるセンサデータと、当該センサデータに対応する作業の作業停止又は作業品質の判定結果と、を入力し、
    入力されたデータに基づいて、前記センサデータを入力データとして作業停止又は作業品質の推定結果を出力データとする推定モデルを機械学習により構築し、
    前記推定モデルの前記入力データと前記出力データを分析して、前記センサデータが作業停止又は作業品質の推定に寄与する度合いである寄与度を示す寄与データを作成し、
    作成した前記寄与データを通知する、要因分析方法。
JP2022152641A 2022-09-26 2022-09-26 要因分析装置及び要因分析方法 Pending JP2024047171A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022152641A JP2024047171A (ja) 2022-09-26 2022-09-26 要因分析装置及び要因分析方法
PCT/JP2023/027896 WO2024070189A1 (ja) 2022-09-26 2023-07-31 要因分析装置及び要因分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022152641A JP2024047171A (ja) 2022-09-26 2022-09-26 要因分析装置及び要因分析方法

Publications (1)

Publication Number Publication Date
JP2024047171A true JP2024047171A (ja) 2024-04-05

Family

ID=90477014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022152641A Pending JP2024047171A (ja) 2022-09-26 2022-09-26 要因分析装置及び要因分析方法

Country Status (2)

Country Link
JP (1) JP2024047171A (ja)
WO (1) WO2024070189A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5363927B2 (ja) * 2009-09-07 2013-12-11 株式会社日立製作所 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム
JP2020123284A (ja) * 2019-01-31 2020-08-13 三菱重工機械システム株式会社 検査支援装置及び方法
WO2021015093A1 (ja) * 2019-07-19 2021-01-28 パナソニックIpマネジメント株式会社 不調要因特定装置、不調予兆検知装置、不調要因特定方法及び不調予兆検知方法

Also Published As

Publication number Publication date
WO2024070189A1 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
JP6693919B2 (ja) 制御装置及び機械学習装置
JP2017134786A (ja) 製造機械の異常の原因を発見するセル制御装置
JP6977686B2 (ja) 制御システムおよび制御装置
US20210232126A1 (en) Quality monitoring of industrial processes
JP6795562B2 (ja) 検査装置及び機械学習方法
JP6823025B2 (ja) 検査装置及び機械学習方法
JP7148311B2 (ja) 製品検査装置
US11138805B2 (en) Quantitative quality assurance for mixed reality
US11113804B2 (en) Quality estimation device, quality estimation method, and quality estimation program
CN114693771A (zh) 对人执行的任务用计算机视觉监测制造操作的方法和系统
WO2024070189A1 (ja) 要因分析装置及び要因分析方法
JP2020042673A (ja) 検証装置
JP2023018016A (ja) 管理システムおよび原因分析システム
JP2024120127A (ja) 解析装置、解析システム、解析方法、および解析プログラム
JP2021086218A (ja) 協調作業システム、解析装置および解析プログラム
JP2021086219A (ja) 協調作業システム、解析収集装置および解析プログラム
WO2023008330A1 (ja) 作業状況分析システム及び作業状況分析方法
US20230237353A1 (en) Machine Learning Based Predictive P-F Curve Maintenance Optimization Platform and Associated Method
US20240233113A9 (en) Method and system of providing assistance during an operation performed on an equipment
JP2023061447A (ja) 作業監視装置及び作業監視方法
TW202235236A (zh) 產業機械系統
Sakurai et al. Human Work Support Technology Utilizing Sensor Data
EP3910565A1 (en) Information management device and information management method
CN118832631A (en) Anomaly detection for components using pose-dependent machine learning models
Kandera et al. Capabilities of processing and visualization of production facilities diagnostic data