JP6795093B2 - 判定装置、判定方法及び判定プログラム - Google Patents

判定装置、判定方法及び判定プログラム Download PDF

Info

Publication number
JP6795093B2
JP6795093B2 JP2019521893A JP2019521893A JP6795093B2 JP 6795093 B2 JP6795093 B2 JP 6795093B2 JP 2019521893 A JP2019521893 A JP 2019521893A JP 2019521893 A JP2019521893 A JP 2019521893A JP 6795093 B2 JP6795093 B2 JP 6795093B2
Authority
JP
Japan
Prior art keywords
abnormality
data
cause
unit
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019521893A
Other languages
English (en)
Other versions
JPWO2018220813A1 (ja
Inventor
智 雨宮
智 雨宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018220813A1 publication Critical patent/JPWO2018220813A1/ja
Application granted granted Critical
Publication of JP6795093B2 publication Critical patent/JP6795093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286Modifications to the monitored process, e.g. stopping operation or adapting control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G05B23/0281Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis

Description

本発明は、判定装置、判定方法及び判定プログラムに関する。
世界各国の生産現場では、主に産業用ロボットを導入することで自動化及び省人化を図っており、これによりコスト削減や生産効率の向上を図っている。産業用ロボット自体は数十年前から生産現場に導入されていたが、教示した動作を単純に繰り返すのみであったため、製品の変化には柔軟に対応することができなかった。また、変化に対応できず、不良品を大量に作り出す可能性があったため、作業員がロボットを逐一調整する必要があった。
近年においては、人工知能の1分野である機械学習技術を利用して、ロボット自身に自律的に判断・対応させる知能化された自動化ラインの研究開発が積極的に行われている。また、生産設備の自律判断を実現するために、作業異常を精度よく検知するための技術が知られている(例えば、特許文献1等参照)。
特開2010−78467号公報
生産ロボットの自律判断を実現するためには、作業異常を検知した場合に、部品等の破損が発生する前に早急に生産ロボットを停止することが求められる。一方、作業異常の原因を解析し、推定するためには詳細なセンサデータが得られることが好ましいが、異常検知後に早急に生産ロボットを停止してしまうと、それ以降はセンサデータを取得できないため、異常原因を推定することが難しくなる。
なお、生産ロボットに限らず、他のロボットや装置においても同様の課題がある。
1つの側面では、本発明は、異常原因を精度良く分析することが可能な判定装置、判定方法及び判定プログラムを提供することを目的とする。
一つの態様では、判定装置は、複数のセンサによって検出された、装置の動作に関するセンサデータを取得する取得部と、取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連する時系列データを抽出する抽出部と、抽出した前記異常に関連する時系列データから前記複数のセンサ間の類似関係を決定し、前記複数のセンサを点、前記類似関係を辺とするグラフ構造の構造データに変換する変換部と、変換後の前記構造データを用いて、異常原因を識別する識別器を生成する生成部と、を備えている。
異常原因を精度良く分析することができる。
第1の実施形態に係る作業装置の全体構成を説明するための図である。 センサの出力値の変化の一例を示す図である。 処理装置のハードウェア構成を示す図である。 処理装置の機能ブロック図である。 事前準備段階における処理装置の処理を示すフローチャートである。 運用段階における処理装置の処理を示すフローチャートである。 図7(a)〜図7(c)は、図5、図6の処理を説明するための図である。 図8(a)は、スパース化したセンサデータの一例を示す図であり、図8(b)は、異常モードごとに生成された大量のデータの一例を示す図である。 図9(a)は、第1の実施形態と比較例との正解率を比較するためのグラフであり、図9(b)は、比較例においてスパース化モデルから生成された大量のデータの一例を示す図である。 第2の実施形態の運用段階における処理装置の処理を示すフローチャートである。
《第1の実施形態》
以下、第1の実施形態について、図1〜図9に基づいて詳細に説明する。
図1は、第1の実施形態に係る作業装置100の全体構成を説明するための図である。図1に示すように、作業装置100は、ロボット22、コントローラ14、カメラ12、処理装置10などを備える。
ロボット22は、例えば産業用ロボットである。ロボット22は、例えば、ステージ25と、マニピュレータ26と、を有する。マニピュレータ26は、作用部28を用いて作業を行う。マニピュレータ26が実行する作業は、例えば、プリント基板に搭載する部品をピックアップし、部品をプリント基板上に搬送し、プリント基板に部品を搭載する作業などである。作用部28は、例えばハンド機構などである。ステージ25は、マニピュレータ26を支持する。ロボット22は、コントローラ14により制御される。コントローラ14は、一連の作業の時系列の教示データ列に基づいて、ロボット22を動作させる。ここで、教示データ列は、例えば、図3に示す入出力インタフェース97を介して外部から取得してもよいし、予めHDD96等に格納されていてもよい。
センサ24は、マニピュレータ26に設けられ、ロボット22が行う作業の状況を検出する。センサ24としては、例えばマニピュレータ26の歪みを検出する歪みセンサや、3軸または6軸力覚センサ、荷重センサ、圧力センサ、加速度センサ、マイクロフォン等を用いることができる。センサ24は、マニピュレータ26に対して複数設けられているものとする。なお、センサ24として3軸または6軸力覚センサを用いる場合、作用点の力ベクトルおよび/またはトルクを検出することができる。図2には、センサ24の出力値の変化の一例が示されている。なお、図2において、横軸はロボット22の作業開始からの時間(時刻)を表し、縦軸はセンサ24の出力値(センサ値)を表す。図2に示すように、ロボット22が一連の動作を行っている間に、センサ24の出力値(実線で示す波形)は変化する。なお、図2において、破線で上下挟まれた範囲は、後述する異常判断において利用する閾値を示している。
図1に戻り、カメラ12は、例えば、CCD(Charge Coupled Device)センサまたはCMOS(Complimentary Metal Oxide Semiconductor)センサ等の2次元画像センサであるものとする。ただし、これに限られるものではなく、カメラ12は、1次元画像センサであってもよい。
処理装置10は、カメラ12が取得した画像データ、センサ24が検出するデータ、作用部28の座標位置などに基づいて、ロボット22の作業状況の良否(正常か異常か)を判定する。また、処理装置10は、異常と判定した場合に、異常の原因を特定する。なお、以下においては、説明の便宜上、カメラ12が取得した画像データ、センサ24が検出するデータ、作用部28の座標位置などの各種データを「センサデータ」と呼ぶものとする。
図3には、処理装置10のハードウェア構成が示されている。図3に示すように、処理装置10は、CPU(Central Processing Unit)90、ROM(Read Only Memory)92、RAM(Random Access Memory)94、記憶部(ここではHDD(Hard Disk Drive))96、入出力インタフェース97、表示部93、入力部95、及び可搬型記憶媒体用ドライブ99等を備えている。これら処理装置10の構成各部は、バス98に接続されている。表示部93は、液晶ディスプレイ等を含み、入力部95は、キーボードやマウス、入力ボタン等を含む。処理装置10では、ROM92あるいはHDD96に格納されているプログラム(判定プログラムを含む)、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラム(判定プログラムを含む)をCPU90が実行することにより、図4に示す、各部の機能が実現される。
図4は、処理装置10の機能ブロック図である。処理装置10は、CPU90がプログラムを実行することで、センサデータ取得部30、異常検知実行部としての異常判断部32、異常原因識別部としての原因分析部34、及び動作補正部36として機能する。なお、図4に示す学習データ格納部40は、HDD96等により実現されている。学習データ格納部40には、後述する各種データが格納されている。
センサデータ取得部30は、センサデータ(カメラ12が取得した画像データ、センサ24が検出するデータ、作用部28の座標位置など)を取得し、異常判断部32に送信する。
異常判断部32は、センサデータ取得部30から受信したセンサデータを用いて、異常の発生有無を判断する。具体的には、異常判断部32は、学習データ格納部40に格納されている異常検知識別器情報から得られる異常検知識別器を用いて、異常の発生有無を判断する。なお、異常判断部32は、事前に、学習データ格納部40に格納されている学習データの一部(訓練データと呼ぶ)を用いて、異常検知識別器情報を作成し、学習データ格納部40に格納する。
原因分析部34は、異常判断部32において異常と判断されたときのセンサデータに基づいて、異常の原因を分析する。具体的には、原因分析部34は、学習データ格納部40に格納されている異常原因識別器情報から得られる異常原因識別器を用いて、原因分析を行う。なお、原因分析部34は、事前に、学習データ格納部40に格納されている学習データの一部(テストデータと呼ぶ)を用いて、異常原因識別器情報を作成し、学習データ格納部40に格納する。ここで、異常原因には、嵌合位置ズレx方向異常や、ピン破損異常などが含まれる。嵌合位置ズレx方向異常は、プリント基板に形成されている孔と、部品に設けられたピンとのx方向の位置ズレにより発生する異常を意味する。また、ピン破損異常は、部品に設けられたピンの破損(曲がり等)による異常を意味する。これら各異常は、異常を解消するために必要な手段や措置によって分類されるものとする。本実施形態では、各異常は、ロボット22を停止する必要のある異常、ロボット22に再度動作を実行させる(リトライする)必要のある異常、ロボット22の動作を補正する必要のある異常、に分類されるものとする。
動作補正部36は、原因分析部34による分析の結果、異常の原因が、補正により対応可能な原因であった場合に、ロボット22の動作を補正する。
学習データ格納部40は、異常判断部32が異常判断に用いるデータや原因分析部34が原因分析に用いるデータを格納する。例えば、学習データ格納部40は、異常判断部32が用いる訓練データや原因分析部34が用いるテストデータを格納する。また、異常判断部32が用いる異常検知識別器情報や、原因分析部34が用いる異常原因識別器情報を格納する。
次に、処理装置10の処理について、図5、図6のフローチャートに沿って詳細に説明する。
(事前準備段階)
図5には、事前準備段階における処理装置10の処理がフローチャートにて示されている。
ここで、本実施形態では、前述したように、学習データ格納部40に、学習データとして、2種類のデータ(訓練データとテストデータ)が格納されている。訓練データは、異常検知識別器情報を生成するために用いるデータであり、テストデータは異常原因識別器情報を生成するために用いるデータである。
図5のステップS10において、異常判断部32は、学習データ格納部40から訓練データを取得する。
次いで、ステップS12では、異常判断部32が、訓練データから異常検知のための異常検知識別器を作成する。具体的には、異常判断部32は、訓練データに基づいて、図2において破線で示すような異常検知のための閾値を求める。なお、閾値は、センサごと又はセンサ群ごとに求めるものとする。異常判断部32は、閾値の情報に基づいて異常検知識別器を作成する。なお、異常判断部32は、求めた閾値の情報を、異常検知識別器情報として学習データ格納部40に格納しておく。なお、異常検知アルゴリズムとしては、様々なアルゴリズムを用いることができるが、異常検知アルゴリズムの閾値を用いることで、各センサの異常スコア値(または異常値)が得られるものとする。
次いで、ステップS14では、原因分析部34が、学習データ格納部40からテストデータを取得する。例えば、図7(a)に示すようなテストデータx1…x6等を取得する。なお、iはセンサの番号を意味し、xiは、センサiのテストデータを意味する。
次いで、ステップS16では、原因分析部34が、テストデータを異常検知の閾値を用いてスパース化する。スパース化により、異常に関連するデータのみを抽出することができる。具体的には、原因分析部34は、テストデータを、異常検知識別器に順次入力し、異常スコア値を取得する。そして、原因分析部34は、取得した異常スコア値を異常検知で用いられた閾値でスパース化する。ここで、最も自然なセンサデータのスパース化は、スパース化後の異常スコアをsi、閾値をthiとすると、次式(1)にて表すことができる。
Figure 0006795093
ここで、ai(xi)は、異常スコア値を意味し、Dをセンサiにおける学習データとすると、次式(2)にて表すことができる。
Figure 0006795093
図7(b)の上段には、スパース化されたセンサデータsiの一例が示されている。スパース化されたセンサデータは、元データ(図7(a)のデータ)と同様に時系列データである。したがって、スパース化されたセンサデータは何らかの代表値に変えておく必要がある。ここではある窓幅(図7(b)の上段の破線枠参照)を設定し、その平均値を代表値とする。これらを全センサ、および全テストデータに対して実施して、異常原因識別器を作るためのデータセットを用意する。なお、図8(a)には、スパース化したセンサデータ(異常に関連するデータ)の一例が示されている。図8(a)は、一例としてセンサ1〜3のスパース化されたセンサデータの関係を3次元座標にて示したものである。図8(a)において同一の形状で表されている各点は、同一の原因の異常が発生しているときに得られたデータ(スパース化後)を意味している。
次いで、ステップS18では、原因分析部34が、異常スコア間の類似関係を辺、センサを点とするグラフ構造を作成する。図7(b)の下段には、グラフ構造の一例が示されている。
ここでは、L1正則化(ラッソ:Lasso)といったテクニックを用いず、最尤推定法で計算できないような複雑なモデルも適用できるようにするために、分散共分散行列(精度行列)の一般表現であるGram行列を構造化に用いる。Gram行列Kは次式(3)で表現される。なお、kは定数である。
Figure 0006795093
なお、Kは、異常モードpごとに作成される。
ここで、行列要素は式(4)のように表される。<>は内積の記号であり、Hilbert空間となる。
Figure 0006795093
このGram行列の行列要素のことを半正定値カーネルという。この半正定値カーネルはHilbert空間を前提とするために、下記(5)に示す3つの条件(内積の公理)を満たす。
Figure 0006795093
本技術で重要なのは性質(a)、(b)である。性質(a)からGram行列は対称行列であり、性質(b)からGram行列は半正定値性を有している。対称行列は有用だが、半正定値性はGram行列を用いて確率モデルを作成する際には問題となる。つまり固有値が0の場合も想定され、その場合にはGram行列は特異行列となり、確率モデルが原点に収束してしまう。したがって、固有値分解を実施し、固有値が0より大きい固有値と、固有ベクトルのみを抽出し、固有値が0より大きなものを行列化した対角化行列と、選択した固有値に対応する固有ベクトルを並べた直交行列を再構成する(次元圧縮する)。
したがって、次のステップS20では、原因分析部34が、正定値Gram行列を導出する。この場合、原因分析部34は、以下の式(6)でスペクトル分解することでGram行列を正定値化する。このときカーネルとしては、ガウスカーネルを用いることができる。
Figure 0006795093
次いで、ステップS22では、原因分析部34が、正定値Gram行列から確率分布を推定する。ここで、正定値Gram行列から得られる確率モデルの一つとしてカーネル密度推定が考えられ、次式(7)にて表される。
Figure 0006795093
カーネル密度推定はノンパラメトリックな確率密度推定アプローチであり、ヒストグラム密度推定の不連続性を克服した拡張とみなされる。正規分布などのパラメトリックモデルとは異なり、データ分布からモデルを推定するために表現能力は非常に高いことが利点に挙げられ、正規分布とは異なる母集団分布にも対応可能である(もちろん、母集団が正規分布でも用いることが出来る)。
次いで、ステップS24では、原因分析部34が、確率分布を用いてデータを多数生成する。この場合、上式(7)で表されるカーネル密度推定を用いて、異常モードごとにデータを大量に生成する。図8(b)には、カーネル密度推定を用いて、異常モードごとに生成された大量のデータの一例が示されている。なお、同一の形状のプロットは、同一の異常モードのカーネル密度推定から得られた大量のデータを意味する。また、図8(b)の各軸は、第1主成分〜第3主成分(3つのセンサから得られたセンサデータをスパース化したもの)である。
次いで、ステップS26では、原因分析部34が、生成したデータから異常原因識別器を作成する。ここでは、原因分析部34は、異常原因毎に生成された大量のデータから異常原因識別器p(Cp|x)を作成し、原因を分類する。なお、Cpは異常のクラスを表し、pは異常モードのラベルを表す(例えば、嵌合位置ズレx方向異常をp=1、ピン破損異常をp=2などとする)。異常原因識別器のアルゴリズムは分類に用いることができればよい。例えば、サポートベクタ―マシーン(Support Vector Machine:SVM)を用いることができる。この場合、カーネルとしてはガウスカーネルを用いることができる。
以上のように、ステップS26までの処理が終了すると、図5の処理が終了する。本実施形態では、図5の処理を行うことで、異常に関連するデータに基づいて、非正規分布にも対応可能な構造化モデルを作成し、作成した構造化モデルから生成した大量のデータから異常モードを推定する異常原因識別器を作成する。これにより、非正規分布に対応可能であり、高精度に異常モードを推定することが可能な異常原因識別器を作成することができる。
(運用段階)
図6には、運用段階における処理装置10の処理がフローチャートにて示されている。
図6の処理が行われる前提として、図5の処理がすでに実行されているものとする。図6の処理では、まず、ステップS50において、異常判断部32が、作業開始からの時間tを0に設定する。なお、作業開始からの時間tは、図6の処理が開始されると、時間経過に応じて更新される。
次いで、ステップS52では、異常判断部32が、tが作業終了時間Tより小さいか否かを判断する。このステップS52の判断が否定された場合、すなわち、作業開始からの時間tが作業終了時間T以上となった場合(作業が終了した場合)には、図6の全処理を終了する。一方、ステップS52の判断が肯定された場合には、ステップS54に移行する。
次いで、ステップS54では、異常判断部32が、センサデータxjtを取得する。なお、jはセンサ番号を意味する。次いで、ステップS56では、異常判断部32が、上式(1)を用いて異常スコアsjtを計算する。前述のように、本実施形態では、異常スコアを出力する異常検知アルゴリズムが前提となっているため、センサ毎、あるいはセンサ群ごとに異常スコアsjtを計算することができる。
次いで、ステップS58では、異常判断部32が、異常検知識別器を用いて、異常か否かを判断する。この場合、異常判断部32は、図5のステップS12で作成された異常検知識別器を用い、センサデータが閾値の範囲(図2の破線で挟まれた範囲)から外れた場合に、異常と判断する。ステップS58の判断が否定された場合、すなわち、正常である場合には、ステップS52に戻るが、肯定された場合には、ステップS60に移行する。
ステップS60に移行すると、異常判断部32は、ロボット22を一時停止する。
次いで、ステップS62では、原因分析部34が、異常原因識別器を用いて原因判定を行う。この場合、原因分析部34は、異常判断前後の異常スコアsjtを異常原因識別器に代入し、どの異常であるかを判定する。図7(c)には、本ステップS62の処理内容が模式的に示されている。なお、本実施形態では、前述したように、各異常が、ロボット22の停止が必要な異常である「異常1」と、ロボット22のリトライが必要な異常である「異常2」と、ロボット22の動作の補正が必要な異常である「異常3」と、に分類されている。したがって、原因分析部34は、判定結果(異常の原因)に基づいて、異常が異常1〜3のいずれに該当するかを判定する。
ここで、本実施形態においては、原因分析部34が用いる異常原因識別器は、スパース化したセンサデータ、すなわち異常に関連する重要なデータに基づいて生成された異常原因識別器である。また、原因分析部34が用いる異常原因識別器は、最尤推定法で計算できないような複雑なモデルにも適用できるような異常原因識別器である。このため、原因分析部34は、異常を検知したタイミング又は直後のタイミングで得られたセンサデータを用いて、異常原因の分析を精度よく行うことが可能である。
次いで、ステップS64では、原因分析部34が、ステップS62の判定結果が異常1か否かを判断する。このステップS64の判断が肯定された場合には、ステップS66に移行し、ロボット22を停止させた後、図6の全処理を終了する。
一方、ステップS64の判断が否定され、ステップS68に移行すると、原因分析部34は、異常2か否かを判断する。このステップS68の判断が肯定された場合には、ステップS70に移行し、原因分析部34は、リトライの実行をロボット22に対して指示する。
これに対し、ステップS68の判断が否定された場合には、異常3であるため、原因分析部34は、ステップS72に移行して、動作補正部36に対して補正を実行するよう指示を出す。動作補正部36は、異常原因に対応する補正方法で、ロボット22の動作を補正する。
なお、ステップS70又はステップS72の処理が行われた後は、ステップS52に戻り、ステップS52以降の処理を繰り返し実行する。これにより、ロボット22に異常が発生した場合に即座にロボット22を停止させたとしても、異常原因を精度よく判定し、判定した異常原因に適した対応(停止、リトライ、補正等)を行うことができる。
これまでの説明からわかるように、原因分析部34により、テストデータを取得する取得部、テストデータをスパース化して異常に関するデータを抽出する抽出部、スパース化したテストデータを複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換する変換部、異常原因識別器を生成する生成部、としての機能が実現されている。
以上、詳細に説明したように、本第1の実施形態によると、原因分析部34は、ロボット22のセンサデータ(テストデータ)を取得し、異常を検知する際に用いる閾値に基づいて、テストデータから異常に関連するデータ(スパース化したセンサデータ)を抽出する。そして、原因分析部34は、スパース化したセンサデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換し、変換後の構造データを用いて、異常原因識別器を生成する。これにより、本実施形態では、原因分析部34が用いる異常原因識別器が、スパース化したセンサデータを用いて生成され、最尤推定法で計算できないような複雑なモデル(ノンパラメトリックなモデル)にも適用できるような異常原因識別器となっている。このため、原因分析部34は、異常を検知したタイミング又は直後のタイミングで得られたセンサデータを用いて、異常原因の分析を精度よく行うことが可能である。これにより、ロボット22が製造している製品の一部(部品等)が破壊される前にロボット22を停止することができる。
例えば、異常判断後から400msec程度経過すると、製品の一部が破壊されてしまうが、本実施形態では、異常判断から短時間(例えば100msec程度)で原因分析ができるため、製品の一部を破壊することなく、精度よく原因分析を行うことができる。例えば、異常判断直後で部品が破損していない段階のセンサデータ(異常判断から100msec後のデータ)を用いても、本実施形態によれば、97%という高い正解率を得ることができた(図9(a)参照)。なお、本発明者が、ガウシアングラフィカルモデルを用いてセンサ群の依存関係を構造化する技術を用いた異常分析(比較例)を行ったところ、スパース化されたセンサデータに基づくモデルから大量に生成されたデータは、図9(b)のようになった。図9(b)と図8(b)を比較するとわかるように、比較例(図9(b))では各異常モードのデータが入り混じっているが、本発明(図8(b))では、各異常モードのデータが比較的分離された状態となっている。この比較例の場合には、異常判断直後で部品が破損していない段階のセンサデータ(異常判断から100msec後のデータ)を用いると、正解率は72%程度であった(図9(a)参照)。なお、図9(a)の例では、テストデータとして162個のデータを用いた。テストデータの内訳は、正常データが17個、ピン曲がりが5個、+x方向、−x方向、+y方向、−y方向のズレがそれぞれ35個であった。
また、本実施形態では、原因分析部34は、テストデータのうち、閾値により規定される範囲(正常範囲)に含まれるセンサデータの値を0にすることでスパース化を行うこととしている。これにより、簡易かつ適切にスパース化を行い、異常に関連するデータのみを取得することが可能である。
また、本実施形態では、原因分析部34は、Gram行列を次元圧縮することとしている。これにより、固有値を0よりも大きい固有値のみにすることができるため、余分な計算が不要となり、モデル化しやすくなり、ひいては異常原因の特定性能を向上することができる。
《第2の実施形態》
次に、第2の実施形態について、図10のフローチャートに沿って説明する。本第2の実施形態では、第1の実施形態の図6の処理の一部を変更し、異常検知識別器の精度を向上することとしている。なお、図10の処理において、図6の処理と異なる箇所は太線にて示している。
本第2の実施形態では、ステップS50〜S70までの処理は、第1の実施形態と同様に実行するが、ステップS58の判断が否定された場合に、ステップS174に移行する点が異なる。また、ステップS68の後のステップS171において、「異常3」であるか否かを判断し、判断が肯定された場合にステップS72に移行し、判断が否定された場合(正常と判定された場合)に、ステップS178に移行する点が異なる。
図10の処理では、異常判断部32が異常検知識別器を用いて正常と判断したが(S58:No)、原因分析部34が異常原因識別器を用いて何らかの異常があると判断した場合(S174:Yes)で、かつ異常1又は3のように補正又は停止が必要な異常と判断した場合(S176)に、ロボット22を一旦停止する(S178)。そして、原因分析部34は、作業者に正常か異常かを判断させるための出力(表示等)を行い、作業者に正常か異常かを判断させ、その結果に基づいて(作業者が異常と判断した場合に)、各識別器を更新する(再学習する)処理を実行する(S180)。
また、異常判断部32が異常検知識別器を用いて異常と判断したが(S58:Yes)、原因分析部34が異常原因識別器を用いた原因判定(S62)の結果、正常と判定した場合(S171:否定)にも、同様に、ロボット22を一旦停止する(S178)。そして、原因分析部34は、作業者に正常か異常かを判断させるための出力(表示等)を行い、作業者に正常か異常かを判断させ、その結果に基づいて、各識別器を更新する(再学習する)処理を実行する(S180)。
なお、ステップS180の後は、ステップS50に戻る。
なお、本実施形態では、原因分析部34が、異常検知識別器を用いた判断結果と異常原因識別器を用いた判断結果とに基づく出力を行う出力部として機能している。
以上説明したように、本第2の実施形態によると、処理装置10が図10の処理を実行することにより、異常検知の結果と異常原因分析との結果が一致しているか否かを確認し、矛盾がある場合に作業者に正常か異常かを判断させる。そして、異常判断部32は、作業者が異常と判断した場合に各識別器を再学習する。これにより、再学習後の識別器を用いることで、異常原因の特定精度を向上することが可能となる。
なお、上記第1、第2の実施形態では、生産ロボット(産業用ロボット)の異常検知及び異常原因判定に、本発明を適用する場合について説明したが、これに限られるものではない。例えば生産ロボット以外のロボットの異常検知及び異常原因判定に本発明を適用してもよいし、ロボット以外の装置の異常検知及び異常原因判定に本発明を適用してもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 処理装置(判定装置)
22 ロボット(装置)
24 センサ
32 異常判断部(異常検知実行部)
34 原因分析部(取得部、抽出部、変換部、生成部、異常原因識別部、出力部)

Claims (7)

  1. 複数のセンサによって検出された、装置の動作に関するセンサデータを取得する取得部と、
    取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連する時系列データを抽出する抽出部と、
    抽出した前記異常に関連する時系列データから前記複数のセンサ間の類似関係を決定し、前記複数のセンサを点、前記類似関係を辺とするグラフ構造の構造データに変換する変換部と、
    変換後の前記構造データを用いて、異常原因を識別する識別器を生成する生成部と、を備える判定装置。
  2. 前記抽出部は、前記センサデータのうち、前記閾値により規定される正常範囲に含まれるセンサデータの値を0にすることを特徴とする請求項1に記載の判定装置。
  3. 前記構造データは、Gram行列であることを特徴とする請求項1又は2に記載の判定装置。
  4. 前記生成部は、前記構造データを次元圧縮することを特徴とする請求項3に記載の判定装置。
  5. 前記閾値を用いた異常検知を実行する異常検知実行部と、
    前記識別器を用いた異常原因の識別を実行する異常原因識別部と、
    前記異常検知の結果と前記異常原因の識別結果とに基づく出力を行う出力部と、
    を更に備える請求項1〜4のいずれか一項に記載の判定装置。
  6. 複数のセンサによって検出された、装置の動作に関するセンサデータを取得し、
    取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連する時系列データを抽出し、
    抽出した前記異常に関連する時系列データから前記複数のセンサ間の類似関係を決定し、前記複数のセンサを点、前記類似関係を辺とするグラフ構造の構造データに変換し、
    変換後の前記構造データを用いて、異常原因を識別する識別器を生成する、
    処理をコンピュータが実行することを特徴とする判定方法。
  7. 複数のセンサによって検出された、装置の動作に関するセンサデータを取得し、
    取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連する時系列データを抽出し、
    抽出した前記異常に関連する時系列データから前記複数のセンサ間の類似関係を決定し、前記複数のセンサを点、前記類似関係を辺とするグラフ構造の構造データに変換し、
    変換後の前記構造データを用いて、異常原因を識別する識別器を生成する、
    処理をコンピュータに実行させるための判定プログラム。
JP2019521893A 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム Active JP6795093B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020581 WO2018220813A1 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム

Publications (2)

Publication Number Publication Date
JPWO2018220813A1 JPWO2018220813A1 (ja) 2020-03-19
JP6795093B2 true JP6795093B2 (ja) 2020-12-02

Family

ID=64455239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521893A Active JP6795093B2 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム

Country Status (4)

Country Link
US (1) US11487280B2 (ja)
JP (1) JP6795093B2 (ja)
CN (1) CN110678727B (ja)
WO (1) WO2018220813A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6937330B2 (ja) * 2019-03-04 2021-09-22 株式会社東芝 機械学習モデル圧縮システム、機械学習モデル圧縮方法及びプログラム
JP7436257B2 (ja) * 2020-03-25 2024-02-21 株式会社日立製作所 行動認識サーバ、行動認識システム、および、行動認識方法
US11679500B2 (en) * 2020-12-14 2023-06-20 Honda Motor Co., Ltd. Target object retrieval
JP2022167670A (ja) * 2021-04-23 2022-11-04 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN115238753B (zh) * 2022-09-21 2022-12-06 西南交通大学 一种基于局部离群因子的自适应shm数据清洗方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH065486B2 (ja) * 1981-03-26 1994-01-19 株式会社安川電機 ロボットの軌跡制御方法
US6035243A (en) * 1993-10-22 2000-03-07 Xerox Corporation System for handling defects produced during the automated assembly of palletized elements
US5475797A (en) * 1993-10-22 1995-12-12 Xerox Corporation Menu driven system for controlling automated assembly of palletized elements
EP0770967A3 (en) * 1995-10-26 1998-12-30 Koninklijke Philips Electronics N.V. Decision support system for the management of an agile supply chain
JP2001252884A (ja) * 2000-03-06 2001-09-18 Matsushita Electric Ind Co Ltd ロボット、ロボットシステムおよびロボットの制御方法
US9053222B2 (en) * 2002-05-17 2015-06-09 Lawrence A. Lynn Patient safety processor
US20070028220A1 (en) * 2004-10-15 2007-02-01 Xerox Corporation Fault detection and root cause identification in complex systems
US7477960B2 (en) * 2005-02-16 2009-01-13 Tokyo Electron Limited Fault detection and classification (FDC) using a run-to-run controller
JP4210270B2 (ja) * 2005-06-07 2009-01-14 ファナック株式会社 ロボット制御装置及びロボット制御方法
US7596718B2 (en) * 2006-05-07 2009-09-29 Applied Materials, Inc. Ranged fault signatures for fault diagnosis
US7716011B2 (en) * 2007-02-28 2010-05-11 Microsoft Corporation Strategies for identifying anomalies in time-series data
WO2008140363A1 (en) * 2007-05-14 2008-11-20 Volvo Technology Corporation Remote diagnosis modellin
GB2464002B (en) * 2007-06-15 2012-03-07 Shell Int Research Remote monitoring system
US8229586B2 (en) * 2007-12-12 2012-07-24 Comau Inc. Method and apparatus for assembling a complex product in a parallel process system
CN101946238B (zh) * 2008-02-22 2012-11-28 惠普开发有限公司 检测传感器联网环境中的异常
JP4826609B2 (ja) * 2008-08-29 2011-11-30 トヨタ自動車株式会社 車両用異常解析システム及び車両用異常解析方法
JP5186322B2 (ja) * 2008-09-26 2013-04-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 時系列データ解析システム、方法及びプログラム
JP5220917B2 (ja) 2009-03-24 2013-06-26 日立建機株式会社 建設機械の異常検出装置
JP5454671B2 (ja) * 2010-02-26 2014-03-26 株式会社日立製作所 故障原因診断システムおよびその方法
JP5311294B2 (ja) * 2010-04-28 2013-10-09 株式会社安川電機 ロボットの接触位置検出装置
JP5218470B2 (ja) * 2010-04-28 2013-06-26 株式会社安川電機 ロボットの作業成否判定装置、および方法
JP5621967B2 (ja) * 2010-07-09 2014-11-12 富士電機株式会社 異常データ分析システム
JP5501903B2 (ja) * 2010-09-07 2014-05-28 株式会社日立製作所 異常検知方法及びそのシステム
US20130060524A1 (en) * 2010-12-01 2013-03-07 Siemens Corporation Machine Anomaly Detection and Diagnosis Incorporating Operational Data
CN103699118B (zh) * 2013-12-18 2016-08-31 北京航天测控技术有限公司 一种航天器运行异常状态的分析方法及装置
KR102185478B1 (ko) 2014-02-28 2020-12-02 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 복호 장치, 부호화 장치, 복호 방법, 및 부호화 방법
JP6398383B2 (ja) * 2014-07-01 2018-10-03 株式会社Ihi 異常診断装置
US9699049B2 (en) * 2014-09-23 2017-07-04 Ebay Inc. Predictive model for anomaly detection and feedback-based scheduling
US10891558B2 (en) * 2015-01-21 2021-01-12 Anodot Ltd. Creation of metric relationship graph based on windowed time series data for anomaly detection
US10747188B2 (en) * 2015-03-16 2020-08-18 Nec Corporation Information processing apparatus, information processing method, and, recording medium
JP6313730B2 (ja) * 2015-04-10 2018-04-18 タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited 異常検出システムおよび方法
CN106250709B (zh) * 2016-08-18 2019-01-29 中国船舶重工集团公司第七�三研究所 基于传感器关联网络的燃气轮机异常检测与故障诊断方法
US10733813B2 (en) * 2017-11-01 2020-08-04 International Business Machines Corporation Managing anomaly detection models for fleets of industrial equipment

Also Published As

Publication number Publication date
JPWO2018220813A1 (ja) 2020-03-19
US20200089209A1 (en) 2020-03-19
CN110678727B (zh) 2021-08-31
US11487280B2 (en) 2022-11-01
WO2018220813A1 (ja) 2018-12-06
CN110678727A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
JP6795093B2 (ja) 判定装置、判定方法及び判定プログラム
JP6608890B2 (ja) 機械学習装置、ロボットシステム及び機械学習方法
US20200210702A1 (en) Apparatus and method for image processing to calculate likelihood of image of target object detected from input image
JP5406705B2 (ja) データ補正装置及び方法
CN109015640B (zh) 抓取方法、系统、计算机装置及可读存储介质
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
JP2013010155A (ja) 対象物把持装置、対象物把持装置の制御方法、およびプログラム
Hyttinen et al. Learning the tactile signatures of prototypical object parts for robust part-based grasping of novel objects
JP2018026122A5 (ja)
Doltsinis et al. A machine learning framework for real-time identification of successful snap-fit assemblies
CN109508707B (zh) 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
JP2019057250A (ja) ワーク情報処理装置およびワークの認識方法
JP6855826B2 (ja) 判定装置、判定方法および判定プログラム
Jha et al. Design of adaptive compliance controllers for safe robotic assembly
CN113762159A (zh) 一种基于有向箭头模型的目标抓取检测方法及系统
JP2020086786A (ja) 検出装置及び機械学習方法
WO2018161305A1 (zh) 抓取质量检测方法及其应用的方法与系统
JP7384000B2 (ja) 協調作業システム、解析収集装置および解析プログラム
WO2020194583A1 (ja) 異常検知装置、制御方法、及びプログラム
Sileo et al. Real-time object detection and grasping using background subtraction in an industrial scenario
US20210326754A1 (en) Storage medium, learning method, and information processing apparatus
WO2021235311A1 (ja) 機械学習装置及び機械学習システム
WO2022190435A1 (ja) 命令記述支援システム、命令記述支援方法および命令記述支援プログラム
WO2022190434A1 (ja) 命令記述支援システム、命令記述支援方法および命令記述支援プログラム
WO2021176514A1 (ja) 学習処理プログラム、情報処理装置及び学習処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201026

R150 Certificate of patent or registration of utility model

Ref document number: 6795093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150