JP6855826B2

JP6855826B2 - Judgment device, judgment method and judgment program

Info

Publication number: JP6855826B2
Application number: JP2017025065A
Authority: JP
Inventors: 岡本　浩明; 浩明岡本; 智雨宮
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-02-14
Filing date: 2017-02-14
Publication date: 2021-04-07
Anticipated expiration: 2037-02-14
Also published as: JP2018132884A

Description

本件は、判定装置、判定方法および判定プログラムに関する。 This case relates to a determination device, a determination method, and a determination program.

作業ロボットによる組立作業では、不良品の発生を防ぐことが望まれている。そこで、作業ロボットにセンサ類を取り付け、それらの検出結果に基づいて作業の異常を検知する技術の開発が進められている（例えば、特許文献１参照）。 In the assembly work by the work robot, it is desired to prevent the occurrence of defective products. Therefore, the development of a technique for attaching sensors to a work robot and detecting an abnormality in the work based on the detection results thereof is being promoted (see, for example, Patent Document 1).

特開２０１５−８５４３７号公報Japanese Unexamined Patent Publication No. 2015-855437

センサの検出結果に異常が生じているか否かを判定するために、識別器が用いられる。識別器は、学習データを用いて予め生成しておくことができる。例えば、識別器として、３σ識別器のような基本統計型識別器と、ＳＶＭ識別器のような機械学習型識別器とを用いることが考えられる。基本統計型識別器は、学習データのうち異常が生じていない正常作業データから生成することができるが、機械学習型識別器は、正常作業データと、異常が生じている異常作業データとから生成される。生産ライン等では、異常作業データの発生が少ないため、機械学習型識別器の生成が困難である。また、異常作業データが発生しても、当該異常作業データ数が少ない段階では機械学習型識別器に高い精度が得られにくい。以上のことから、高い精度で異常判定を行うことが困難であった。 A classifier is used to determine whether or not an abnormality has occurred in the detection result of the sensor. The classifier can be generated in advance using the training data. For example, it is conceivable to use a basic statistical type classifier such as a 3σ classifier and a machine learning type classifier such as an SVM classifier as the classifier. The basic statistical type classifier can be generated from the normal work data in which no abnormality has occurred among the training data, while the machine learning type classifier is generated from the normal work data and the abnormal work data in which the abnormality has occurred. Will be done. It is difficult to generate a machine learning type classifier on a production line or the like because the generation of abnormal work data is small. Further, even if abnormal work data is generated, it is difficult to obtain high accuracy in the machine learning type classifier at the stage when the number of abnormal work data is small. From the above, it was difficult to determine the abnormality with high accuracy.

１つの側面では、本発明は、高い精度で異常判定を行うことができる判定装置、判定方法および判定プログラムを提供することを目的とする。 In one aspect, it is an object of the present invention to provide a determination device, a determination method, and a determination program capable of performing abnormality determination with high accuracy.

１つの態様では、判定装置は、作業ロボットが繰り返し行う一連の工程において、前記作業ロボットに備わるセンサの測定データを格納する格納部と、前記格納部に格納された測定データのうち正常作業の前記測定データを第１学習データとして用いて、前記一連の工程の異常を判定するための基準として第１基本統計型識別器および第１機械学習型識別器を生成する生成部と、前記第１基本統計型識別器および前記第１機械学習型識別器の出力に、前記第１学習データ数に応じて、それぞれ重み係数を設定し、前記第１学習データ数が増加するに伴って前記第１機械学習型識別器の重み係数を増加させる設定部と、前記第１基本統計型識別器および前記第１機械学習型識別器の生成後に前記格納部に格納される前記測定データに対する前記第１基本統計型識別器および前記第１機械学習型識別器の出力のそれぞれと、対応する前記重み係数との乗算値に応じて、前記一連の工程に異常が生じているか否かを判定する判定部と、を備える。 In one embodiment, the determination device has a storage unit for storing measurement data of a sensor provided in the work robot and a storage unit for storing measurement data stored in the storage unit in a series of steps repeatedly performed by the work robot. Using the measurement data as the first learning data, a generation unit that generates a first basic statistical type classifier and a first machine learning type classifier as a reference for determining an abnormality in the series of processes, and the first basic Weight coefficients are set in the outputs of the statistical type classifier and the first machine learning type classifier according to the number of the first training data, and the first machine as the number of the first learning data increases. The setting unit for increasing the weighting coefficient of the learning type classifier, and the first basic statistics for the measurement data stored in the storage unit after the generation of the first basic statistical type classifier and the first machine learning type classifier. A determination unit that determines whether or not an abnormality has occurred in the series of steps according to the multiplication value of each of the outputs of the type classifier and the first machine learning type classifier and the corresponding weighting coefficient. To be equipped.

高い精度で異常判定を行うことができる。 Abnormality judgment can be performed with high accuracy.

実施例１に係る作業装置１００の全体構成を説明するための図である。It is a figure for demonstrating the whole structure of the work apparatus 100 which concerns on Example 1. FIG. （ａ）〜（ｄ）は作業ロボットの作業工程の一例を例示する図である。(A) to (d) are diagrams illustrating an example of a work process of a work robot. （ａ）〜（ｃ）は作業ロボットの作業工程の一例を例示する図である。(A) to (c) are diagrams illustrating an example of a work process of a work robot. センサの検出結果を例示する図である。It is a figure which illustrates the detection result of the sensor. （ａ）は作業ロボットの作業回数と学習データ数との関係を例示する図であり、（ｂ）および（ｃ）は用いる識別器を例示する図である。(A) is a diagram illustrating the relationship between the number of operations of the work robot and the number of learning data, and (b) and (c) are diagrams illustrating the classifier to be used. 識別性能の学習データ数による変化の様子を模式的に表現した図である。It is the figure which represented the state of the change by the number of learning data of the discrimination performance schematically. （ａ）〜（ｃ）は学習データ数に基づく重み付けの手順を例示する図である。(A) to (c) are diagrams illustrating a weighting procedure based on the number of training data. 判定装置のブロック図である。It is a block diagram of a determination device. 判定装置が学習処理の際に実行するフローチャートを例示する図である。It is a figure which illustrates the flowchart which the determination apparatus executes at the time of a learning process. （ａ）〜（ｃ）は区間弁別を例示する図である。(A) to (c) are diagrams illustrating section discrimination. （ａ）および（ｂ）は基本重みの設定の他の例を表す図である。(A) and (b) are diagrams showing other examples of setting the basic weight. 異常判定の閾値を設定する場合に判定装置が行う処理を表すフローチャートを例示する図である。It is a figure which illustrates the flowchart which shows the process performed by the determination apparatus when setting the threshold value of abnormality determination. 異常判定閾値の設定後に作業ロボットが作業を行う場合の異常判定を行う場合に実行されるフローチャートを例示する図である。It is a figure which illustrates the flowchart which is executed when the abnormality determination is performed when the work robot performs work after setting the abnormality determination threshold value. （ａ）および（ｂ）は、データ数と識別性能との関係をシミュレーションで調べた結果である。(A) and (b) are the results of examining the relationship between the number of data and the discrimination performance by simulation. （ａ）は判定装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は作業システムについて例示する図である。(A) is a block diagram for explaining the hardware configuration of the determination device, and (b) is a diagram illustrating a working system.

図１は、実施例１に係る作業装置１００の全体構成を説明するための図である。図１で例示するように、作業装置１００は、作業ロボット１０、コントローラ２０、カメラ３０、判定装置４０などを備える。 FIG. 1 is a diagram for explaining the overall configuration of the work apparatus 100 according to the first embodiment. As illustrated in FIG. 1, the work device 100 includes a work robot 10, a controller 20, a camera 30, a determination device 40, and the like.

作業ロボット１０は、ロボットハンド１１、センサ１２などを備える。ロボットハンド１１は、対象物に対して所定の作業を行う装置である。センサ１２は、ロボットハンド１１の力、変位等を検出するセンサであり、一例として、歪ゲージ、力覚センサ、加速度センサなどである。センサ１２は、複数備わっていてもよい。コントローラ２０は、所定のタイミングで作業ロボット１０に作業指示を行う制御装置である。カメラ３０は、作業ロボット１０の作業を撮像する装置である。カメラ３０は、複数備わっていてもよい。 The working robot 10 includes a robot hand 11, a sensor 12, and the like. The robot hand 11 is a device that performs a predetermined work on an object. The sensor 12 is a sensor that detects the force, displacement, and the like of the robot hand 11, and as an example, a strain gauge, a force sensor, an acceleration sensor, and the like. A plurality of sensors 12 may be provided. The controller 20 is a control device that gives a work instruction to the work robot 10 at a predetermined timing. The camera 30 is a device that captures the work of the work robot 10. A plurality of cameras 30 may be provided.

図２（ａ）〜図２（ｄ）および図３（ａ）〜図３（ｃ）は、作業ロボット１０の作業工程の一例を例示する図である。図２（ａ）で例示するように、作業ロボット１０は、ロボットハンド１１として１組のロボットハンド１１ａ，１１ｂを備え、複数のセンサ１２として歪ゲージ１２ａ，１２ｂを備えている。例えば、ロボットハンド１１ａの先端部分に歪ゲージ１２ａが設けられ、ロボットハンド１１ｂの先端部分に歪ゲージ１２ｂが設けられている。まず、ロボットハンド１１ａ，１１ｂは、コネクタ１３に勘合するケーブルコネクタ１４に向かって移動する（第１移動工程）。 2 (a) to 2 (d) and 3 (a) to 3 (c) are diagrams illustrating an example of a work process of the work robot 10. As illustrated in FIG. 2A, the working robot 10 includes a set of robot hands 11a and 11b as the robot hand 11, and strain gauges 12a and 12b as the plurality of sensors 12. For example, a strain gauge 12a is provided at the tip of the robot hand 11a, and a strain gauge 12b is provided at the tip of the robot hand 11b. First, the robot hands 11a and 11b move toward the cable connector 14 that fits into the connector 13 (first moving step).

次に、図２（ｂ）で例示するように、ロボットハンド１１ａ，１１ｂは、ケーブルコネクタ１４を把持する（把持工程）。次に、図２（ｃ）で例示するように、ロボットハンド１１ａ，１１ｂは、ケーブルコネクタ１４を持ち上げることによって、コネクタ１３から離し、他のコネクタに向かってケーブルコネクタ１４を移動させる（第２移動工程）。次に、図２（ｄ）で例示するように、ロボットハンド１１ａ，１１ｂは、他のコネクタ１５にケーブルコネクタ１４を差し込む（差込工程）。 Next, as illustrated in FIG. 2B, the robot hands 11a and 11b grip the cable connector 14 (grasping step). Next, as illustrated in FIG. 2C, the robot hands 11a and 11b are separated from the connector 13 by lifting the cable connector 14 and move the cable connector 14 toward another connector (second movement). Process). Next, as illustrated in FIG. 2D, the robot hands 11a and 11b insert the cable connector 14 into the other connector 15 (insertion step).

次に、図３（ａ）で例示するように、ロボットハンド１１ａ，１１ｂは、ケーブルコネクタ１４の把持を解除する（解除工程）。次に、図３（ｂ）で例示するように、ロボットハンド１１ａ，１１ｂは、ケーブルコネクタ１４から離れる方向に移動する（第３移動工程）。最後に、図３（ｃ）で例示するように、ロボットハンド１１ａ，１１ｂは、ケーブルコネクタ１４をコネクタ１５に差し込む（差込工程）。図３（ｃ）の例では、ロボットハンド１１ｂがケーブルコネクタ１４をコネクタ１５に差し込んでいる。以上の工程によって、作業工程が完了する。 Next, as illustrated in FIG. 3A, the robot hands 11a and 11b release the grip of the cable connector 14 (release step). Next, as illustrated in FIG. 3B, the robot hands 11a and 11b move in a direction away from the cable connector 14 (third moving step). Finally, as illustrated in FIG. 3C, the robot hands 11a and 11b insert the cable connector 14 into the connector 15 (insertion step). In the example of FIG. 3C, the robot hand 11b inserts the cable connector 14 into the connector 15. The work process is completed by the above steps.

図４は、センサ１２の測定データを例示する図である。図４で例示するように、作業ロボット１０が繰り返し行う一連の工程は、過渡域と定常域とに弁別される。過渡域とは、作業ロボット１０が対象物に対して作業を行う時間区間のことである。定常域とは、作業ロボット１０が対象物に対する作業を行わない時間区間のことである。ロボットハンド１１の単純移動などは、定常域に含まれる。ロボットハンド１１による組立作業などは、過渡域に含まれる。図２（ａ）〜図３（ｃ）で例示した組立作業においては、定常域と過渡域とが繰り返されることになる。なお、センサ１２が複数備わっている場合には、図４のような検出結果が、各センサ１２に対して得られる。 FIG. 4 is a diagram illustrating measurement data of the sensor 12. As illustrated in FIG. 4, a series of steps repeatedly performed by the working robot 10 is discriminated into a transient region and a steady region. The transition zone is a time interval in which the work robot 10 works on an object. The steady-state region is a time interval in which the work robot 10 does not work on the object. The simple movement of the robot hand 11 is included in the steady-state range. The assembly work by the robot hand 11 is included in the transitional region. In the assembly work illustrated in FIGS. 2 (a) to 3 (c), the steady region and the transient region are repeated. When a plurality of sensors 12 are provided, a detection result as shown in FIG. 4 can be obtained for each sensor 12.

定常域および過渡域のそれぞれを、時間軸において複数のサンプリング区間に分け、各サンプリング区間について異常判定を行うことが望まれている。そこで、定常域および過渡域のサンプリング区間ごとに、センサ１２の検出結果と、異常判定のための基準とを対比することで、異常が生じていないか否かを判定することが考えられる。例えば、定常域および過渡域のサンプリング区間ごとに、識別器によって異常判定を行うことが考えられる。識別器とは、作業状況の良否を判定する個別の主体のことである。識別器を設けることは、各サンプリング区間の作業良否を判定するための個別の基準（基準範囲）を作成することと同義である。 It is desired that each of the stationary region and the transient region is divided into a plurality of sampling sections on the time axis, and an abnormality determination is performed for each sampling section. Therefore, it is conceivable to determine whether or not an abnormality has occurred by comparing the detection result of the sensor 12 with the reference for determining the abnormality for each sampling section of the steady region and the transient region. For example, it is conceivable to use a discriminator to determine anomalies for each sampling section of the stationary region and the transient region. A classifier is an individual entity that determines the quality of work conditions. Providing a classifier is synonymous with creating an individual standard (reference range) for judging the work quality of each sampling section.

定常域は、ロボットアームの単純な移動のように作業ロボット１０が対象物に対する作業を行わない区間であるため、処理の軽い単純な定常域用識別器で異常判定を行うことが考えられる。一方、過渡域は、作業ロボット１０が対象物に対して作業を行う区間であるため、判定精度が要求される。そこで、複雑な過渡域用識別器によって詳細に異常判定を行うことが考えられる。 Since the steady-state area is a section in which the working robot 10 does not work on the object like the simple movement of the robot arm, it is conceivable that the abnormality determination is performed by a simple steady-state classifier with light processing. On the other hand, since the transient region is a section in which the work robot 10 works on the object, determination accuracy is required. Therefore, it is conceivable to make a detailed abnormality determination using a complicated transient area classifier.

定常域用識別器には、基本統計型識別器を用いる。基本統計型識別器は、平均値、標準偏差、最大最小値などの基本的な記述統計量を用いて、その正常範囲を基準に判定を行う識別器である。基本統計型識別器は、パラメトリック識別器と定義することもできる。本実施例においては、定常域用識別器として、基本統計型識別器の一例として３σ識別器を用いる。３σ識別器とは、センサ１２の異常判定対象の測定データが、実際に作業ロボット１０に作業を行わせた場合に得られたセンサ１２の測定データ（学習データ）の平均値±３σを超えるか否かを判定する識別器である。σは、標準偏差である。 A basic statistical type classifier is used as the steady-state classifier. The basic statistical type classifier is a discriminator that makes a judgment based on the normal range using basic descriptive statistics such as mean value, standard deviation, and maximum / minimum value. A basic statistical classifier can also be defined as a parametric classifier. In this embodiment, a 3σ classifier is used as an example of the basic statistical type classifier as the steady-state classifier. The 3σ discriminator means that the measurement data of the abnormality determination target of the sensor 12 exceeds the average value ± 3σ of the measurement data (learning data) of the sensor 12 obtained when the work robot 10 actually performs the work. It is a discriminator that determines whether or not. σ is the standard deviation.

過渡域用識別器には、機械学習型識別器を用いる。機械学習型識別器は、学習データの機械学習（ＳＶＭ、ニューラルネットワーク、決定木）によって作成した複雑な識別境界を基準に判定を行う識別器である。機械学習型識別器は、ノンパラメトリック識別器と定義することもできる。本実施例においては、過渡域用識別器として、機械学習型識別器の一例としてＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）識別器を用いる。 A machine learning type classifier is used as the discriminator for the transient region. The machine learning type classifier is a classifier that makes a judgment based on a complicated discrimination boundary created by machine learning (SVM, neural network, decision tree) of learning data. Machine learning classifiers can also be defined as nonparametric classifiers. In this embodiment, an SVM (Support Vector Machine) classifier is used as an example of the machine learning type classifier as the transient zone classifier.

識別器は、センサ１２の測定データを学習データとして用いることで、生成することができる。異常無く作業ロボット１０が作業を行った場合に得られる学習データのことを正常作業データと称する。作業ロボット１０の作業に異常が生じた場合に得られる学習データのことを異常作業データと称する。作業ロボット１０の作業には異常が少ないことが多い。特に、生産ライン等では、異常の発生が少ない。したがって、作業ロボット１０が実際の作業を繰り返しても、異常作業データが得られるまでには、作業ロボット１０が何度も作業を行わなければならないことがある。 The classifier can be generated by using the measurement data of the sensor 12 as learning data. The learning data obtained when the work robot 10 performs the work without any abnormality is referred to as normal work data. The learning data obtained when an abnormality occurs in the work of the work robot 10 is referred to as abnormal work data. There are often few abnormalities in the work of the work robot 10. In particular, there are few abnormalities occurring on production lines and the like. Therefore, even if the work robot 10 repeats the actual work, the work robot 10 may have to perform the work many times before the abnormal work data can be obtained.

図５（ａ）は、作業ロボット１０の作業回数と、学習データ数（正常作業データおよび異常作業データの数）との関係を例示する図である。図５（ａ）で例示するように、作業ロボット１０が作業を繰り返しても、異常（ＮＧ）作業データが得られないことがある。この場合、作業ロボット１０が作業を何度も繰り返す過程で、異常作業データが得られるようになる。 FIG. 5A is a diagram illustrating the relationship between the number of operations of the work robot 10 and the number of learning data (the number of normal work data and abnormal work data). As illustrated in FIG. 5A, even if the work robot 10 repeats the work, abnormal (NG) work data may not be obtained. In this case, abnormal work data can be obtained in the process in which the work robot 10 repeats the work many times.

３σ識別器は、統計処理によって生成することができるため、正常作業データから生成することができる。正常作業データおよび異常作業データの２クラスから機械学習により生成される２クラス型ＳＶＭ識別器は、異常作業データが得られないと生成できない。したがって、図５（ｂ）で例示するように、異常作業データが発生するまでの一定期間は、正常作業データのみで異常判定を行うことが考えられる。この場合、過渡域であってもＳＶＭ識別器を用いることができないため、図５（ｂ）で例示するように、３σ識別器を用いることが考えられる。その後、異常作業データが得られた場合に、３σ識別器および２クラス型ＳＶＭ識別器の両方を用いることが考えられる。しかしながら、異常作業データが少ない段階では、２クラス型ＳＶＭ識別器による異常判定は過学習の傾向があり、必ずしも３σ識別器より高い精度が得られるとは限らない。したがって、２クラス型ＳＶＭ識別器が効果的に活用されていない期間が生じていたことになる。 Since the 3σ discriminator can be generated by statistical processing, it can be generated from normal work data. A two-class type SVM classifier generated by machine learning from two classes of normal work data and abnormal work data cannot be generated unless abnormal work data is obtained. Therefore, as illustrated in FIG. 5B, it is conceivable that the abnormality determination is performed only with the normal work data for a certain period until the abnormal work data is generated. In this case, since the SVM discriminator cannot be used even in the transient region, it is conceivable to use the 3σ discriminator as illustrated in FIG. 5 (b). After that, when abnormal work data is obtained, it is conceivable to use both a 3σ discriminator and a two-class SVM discriminator. However, at the stage where the abnormal work data is small, the abnormality determination by the two-class SVM classifier tends to be overfitting, and the accuracy higher than that of the 3σ classifier is not always obtained. Therefore, there was a period during which the two-class SVM classifier was not effectively used.

そこで、過渡域において、異常作業データが発生する前の期間においては、例えば、正常作業データの１クラスから機械学習により生成される１クラス型ＳＶＭ識別器を導入する。なお、ＬｏｃａｌＯｕｔｌｉｅｒＦａｃｔｏｒなどの外れ値識別器を１クラス型ＳＶＭ識別器の代わりに用いてもよい。例えば、図５（ｃ）で例示するように、正常作業データしか得られない期間には３σ識別器および１クラスＳＶＭ識別器を使用し、正常作業データおよび異常作業データの両方が得られる期間には３σ識別器および２クラスＳＶＭ識別器を使用する。 Therefore, in the transient region, in the period before the abnormal work data is generated, for example, a one-class type SVM classifier generated by machine learning from one class of normal work data is introduced. An outlier factor such as the Local Outlier Factor may be used instead of the 1-class SVM classifier. For example, as illustrated in FIG. 5C, a 3σ discriminator and a 1-class SVM discriminator are used during the period when only normal work data can be obtained, and during the period when both normal work data and abnormal work data can be obtained. Uses a 3σ discriminator and a 2 class SVM discriminator.

一般に、３σ識別器のようにデータ分布の統計量をベースとする識別器は、データ数をＮとした場合、平均値の誤差などが１／√Ｎのオーダーで次第に減少して行く。したがって、データ数の増加につれて判定精度は上昇するものの、その上昇率は次第に頭打ちになって来る。一方、学習データをカーネルとして利用するＳＶＭ識別器は、データ数の増加に従って次第に識別性能が向上する。その反面、ＳＶＭ識別器では、データ数が僅かな条件下では過学習となり、少数の学習データは全て正しく判定できるが、そのほかの未知のデータに対しては十分な判定精度が出ないという問題が起こる。 In general, in a discriminator based on a statistic of data distribution such as a 3σ discriminator, when the number of data is N, the error of the average value and the like gradually decreases in the order of 1 / √N. Therefore, although the determination accuracy increases as the number of data increases, the rate of increase gradually reaches a plateau. On the other hand, the SVM classifier that uses the training data as a kernel gradually improves the discrimination performance as the number of data increases. On the other hand, with the SVM classifier, overfitting occurs under the condition that the number of data is small, and all the small amount of training data can be correctly judged, but there is a problem that sufficient judgment accuracy cannot be obtained for other unknown data. Occur.

図６は、両者の識別性能（あるいは判定正解率）の学習データ数による変化の様子を模式的に表現した図である。図６で例示するように、学習データ数が少ない場合には３σ識別器の識別性能が高く、学習データ数がＮｃよりも多くなるとＳＶＭ識別器の識別性能が高くなる。 FIG. 6 is a diagram schematically showing how the discrimination performance (or the judgment accuracy rate) of the two changes depending on the number of learning data. As illustrated in FIG. 6, when the number of training data is small, the discrimination performance of the 3σ discriminator is high, and when the number of training data is larger than Nc, the discriminating performance of the SVM discriminator is high.

そこで、本実施例においては、学習データ数が少ない期間はＳＶＭ識別器の異常判定に関与する比重を抑えておき、学習データ数の増加に伴ってＳＶＭ識別器の比重を次第に増加させる。このようにすることで、学習データ数が少ない期間では、３σ識別器の比重が高くなる。このように両者を適切に組み合わせることで、ＳＶＭ識別器における初期の過学習の問題を回避し、総合的な異常判定精度を向上させることが可能になる。 Therefore, in this embodiment, the specific gravity involved in the abnormality determination of the SVM discriminator is suppressed during the period when the number of training data is small, and the specific gravity of the SVM discriminator is gradually increased as the number of training data increases. By doing so, the specific gravity of the 3σ discriminator becomes high during the period when the number of training data is small. By appropriately combining the two in this way, it is possible to avoid the problem of initial overfitting in the SVM classifier and improve the overall abnormality determination accuracy.

図７（ａ）〜図７（ｃ）は、学習データ数に基づく重み付けの手順を例示する図である。図７（ｂ）で例示するように、過渡域において正常作業データのみによる機械学習の場合、正常作業データ数が少ない時は３σ識別器の重みを大きくし、正常作業データ数の増加につれて１クラス型ＳＶＭ識別器の重みを増加させる。正常作業データ数が所定数以上になった場合には、各重みの比を固定する。図７（ｃ）で例示するように、過渡域において異常作業データを加えた機械学習の場合、異常作業データ数が少ない時は３σ識別器の重みを大きく、異常作業データ数（または異常作業データおよび正常作業データの総和）の増加につれて２クラス型ＳＶＭ識別器の重みを増加させる。その後、異常作業データ数（または異常作業データおよび正常作業データの総和）が所定数以上になった場合に、各重みの比を固定する。 7 (a) to 7 (c) are diagrams illustrating a weighting procedure based on the number of training data. As illustrated in FIG. 7B, in the case of machine learning using only normal work data in the transient region, when the number of normal work data is small, the weight of the 3σ discriminator is increased, and one class increases as the number of normal work data increases. Increases the weight of the type SVM classifier. When the number of normal work data exceeds a predetermined number, the ratio of each weight is fixed. As illustrated in FIG. 7C, in the case of machine learning in which abnormal work data is added in the transient region, when the number of abnormal work data is small, the weight of the 3σ discriminator is increased and the number of abnormal work data (or abnormal work data) is increased. And the weight of the two-class SVM classifier is increased as the sum of normal work data) increases. After that, when the number of abnormal work data (or the sum of abnormal work data and normal work data) becomes a predetermined number or more, the ratio of each weight is fixed.

ここで、各重みの比を固定することの効果について説明する。異常作業データの発生は不規則かつ偏りもあるため、学習データにおける正常作業データと異常作業データの比率は、実際には必ずしも一定にはならない。最終的な異常判定は、複数のセンサ係数およびその異常スコアの累積値に基いて総合的に行うため、基本重みを変化させることにより判定精度にばらつきを与えるおそれがある。所定のデータ数を確保した後は基本重みを一定とすることで、判定精度のばらつきを抑えることができる。なお、学習データにおける異常作業データの比率に応じて、基本重みを調節して変動させるようにしても構わない。 Here, the effect of fixing the ratio of each weight will be described. Since the occurrence of abnormal work data is irregular and biased, the ratio of normal work data to abnormal work data in the learning data is not always constant in practice. Since the final abnormality determination is comprehensively performed based on a plurality of sensor coefficients and the cumulative value of the abnormality score, there is a possibility that the determination accuracy may vary by changing the basic weight. By keeping the basic weight constant after securing a predetermined number of data, it is possible to suppress variations in determination accuracy. The basic weight may be adjusted and varied according to the ratio of the abnormal work data in the learning data.

重みを切り替えるポイントは図６で例示した学習データ数Ｎｃが目安となるが、このデータ数Ｎｃは学習データの性質にも依存するため、学習条件に応じて適宜変えることが望ましい。一般には、ＳＶＭ識別器の特徴次元数ｄ以下のサンプル数では識別性能が不十分と考えられるため、Ｎｃのデフォルト値をその付近に設定してもよい。 The point for switching the weight is the number of learning data Nc illustrated in FIG. 6 as a guide, but since this number of data Nc also depends on the nature of the learning data, it is desirable to change it appropriately according to the learning conditions. In general, it is considered that the identification performance is insufficient when the number of samples is less than or equal to the characteristic dimension number d of the SVM classifier. Therefore, the default value of Nc may be set in the vicinity thereof.

図８は、判定装置４０のブロック図である。図８で例示するように、判定装置４０は、データ格納部４１、区間弁別部４２、学習データ数取得部４３、学習部４４、基本重み設定部４５、異常判定処理部４６などを備える。 FIG. 8 is a block diagram of the determination device 40. As illustrated in FIG. 8, the determination device 40 includes a data storage unit 41, a section discrimination unit 42, a learning data number acquisition unit 43, a learning unit 44, a basic weight setting unit 45, an abnormality determination processing unit 46, and the like.

データ格納部４１は、作業ロボット１０が一連の工程を繰り返す場合のセンサ１２の測定データを一時的に格納する。後述する学習処理の際には、データ格納部４１に格納された測定データは、学習データとして用いられる。後述する異常判定処理の際には、データ格納部４１に格納された測定データは、異常判定対象データとして用いられる。 The data storage unit 41 temporarily stores the measurement data of the sensor 12 when the work robot 10 repeats a series of steps. In the learning process described later, the measurement data stored in the data storage unit 41 is used as the learning data. In the abnormality determination process described later, the measurement data stored in the data storage unit 41 is used as the abnormality determination target data.

図９は、判定装置４０が学習処理の際に実行するフローチャートを例示する図である。図９で例示するように、データ格納部４１は、センサ１２の測定データを学習データとして一時的に格納する（ステップＳ１）。次に、区間弁別部４２は、学習データのうち正常作業データを用いて、作業ロボット１０の一連の工程を定常域と過渡域とに弁別する（ステップＳ２）。 FIG. 9 is a diagram illustrating a flowchart executed by the determination device 40 during the learning process. As illustrated in FIG. 9, the data storage unit 41 temporarily stores the measurement data of the sensor 12 as learning data (step S1). Next, the section discrimination unit 42 discriminates a series of steps of the work robot 10 into a steady region and a transient region by using the normal work data among the learning data (step S2).

区間弁別部４２は、学習データのうち正常作業データ群を用いて、作業ロボット１０の作業工程を複数の時間区間に弁別する。例えば、区間弁別部４２は、学習データの正常作業データ群の平均値などを用いて、作業ロボット１０の一連の工程を、ロボットハンド１１が作業を行う過渡域とロボットハンド１１が作業を行わない定常域とに弁別する。まず、図１０（ａ）で例示するように、区間弁別部４２は、正常作業データ群に対して注目点を設定し、当該注目点に対して予め決定した固定幅（ｗｉｎｄｏｗ）を設定する。次に、図１０（ｂ）で例示するように、設定されたｗｉｎｄｏｗ内において、注目点よりも前（過去）の出力値の平均値μ_１および標準偏差σ_１を算出し、注目点よりも後（未来）の出力値の平均値μ_２および標準偏差σ_２を算出する。 The section discrimination unit 42 discriminates the work process of the work robot 10 into a plurality of time sections by using the normal work data group among the learning data. For example, the section discrimination unit 42 uses the average value of the normal work data group of the learning data to perform a series of steps of the work robot 10 in the transient region where the robot hand 11 works and the robot hand 11 does not work. Discriminate from the steady range. First, as illustrated in FIG. 10A, the section discrimination unit 42 sets a point of interest for the normal work data group, and sets a predetermined fixed width (window) for the point of interest. Next, as illustrated in FIG. 10B, the average value μ ₁ and the standard deviation σ ₁ of the output values before (past) the point of interest are calculated in the set window, and the value is higher than the point of interest. _{Calculate the mean value μ 2} and standard deviation σ ₂ of the later (future) output values.

次に、区間弁別部４２は、標準偏差σ_１，σ_２から動的指標値εを算出する。一例として、区間弁別部４２は、平均値μ_１，μ_２および標準偏差σ_１，σ_２から動的指標値εを算出する。動的指標値εは、一例として、下記式（１）で表すことができる。また、ΔμおよびΔσは、下記式（２）および下記式（３）で表すことができる。
ε＝（Δμ^２＋Δσ^２）^０．５（１）
Δμ＝｜μ_２−μ_１｜（２）
Δσ＝｜σ_２−σ_１｜（３） Next, the section discrimination unit 42 calculates the dynamic index value ε from the _{standard deviations σ 1} and σ _2. As an example, the section discrimination unit 42 calculates the dynamic index value ε from _{the mean values μ 1} and μ ₂ and the standard deviations σ ₁ and σ _2. The dynamic index value ε can be expressed by the following equation (1) as an example. Further, Δμ and Δσ can be expressed by the following equations (2) and (3).
ε = (Δμ ² + Δσ ² ) ^0.5 (1)
Δμ = | μ _2- μ ₁ | (2)
Δσ ＝｜ σ ₂ _{−σ 1} ｜ (3)

次に、区間弁別部４２は、図１０（ｃ）で例示するように、所定の時間間隔後の時刻を次の注目点に設定し、図１０（ａ）および図１０（ｂ）で説明した手順で次の動的指標εを算出する。図１０（ａ）〜図１０（ｃ）の手順を繰り返すことにより、動的指標εの時系列データを得ることができる。一例として、区間弁別部４２は、動的指標εが所定の閾値を超える区間を過渡域として弁別し、動的指標εが所定の閾値以下である区間を定常域として弁別する。 Next, the section discrimination unit 42 sets the time after the predetermined time interval to the next point of interest as illustrated in FIG. 10 (c), and has been described with reference to FIGS. 10 (a) and 10 (b). The following dynamic index ε is calculated by the procedure. By repeating the procedure of FIGS. 10 (a) to 10 (c), time series data of the dynamic index ε can be obtained. As an example, the section discrimination unit 42 discriminates a section in which the dynamic index ε exceeds a predetermined threshold value as a transient region, and discriminates a section in which the dynamic index ε is equal to or less than a predetermined threshold value as a steady region.

次に、学習部４４は、定常域および過渡域のサンプリング区間のうち、未選択のサンプリング区間を選択する（ステップＳ３）。次に、学習データ数取得部４３は、データ格納部４１を参照することで、選択されたサンプリング区間の学習データ数を取得する（ステップＳ４）。次に、学習部４４は、選択されたサンプリング区間の学習データを用いて３σ識別器を生成する（ステップＳ５）。 Next, the learning unit 44 selects an unselected sampling section from the sampling sections of the stationary region and the transient region (step S3). Next, the learning data number acquisition unit 43 acquires the number of training data in the selected sampling section by referring to the data storage unit 41 (step S4). Next, the learning unit 44 generates a 3σ discriminator using the learning data of the selected sampling interval (step S5).

次に、学習部４４は、区間弁別部４２の弁別結果を用いて、選択されたサンプリング区間が定常域であるか過渡域であるかを判定する（ステップＳ６）。ステップＳ６でサンプリング区間が「過渡域」であると判定された場合、学習部４４は、選択されたサンプリング区間の学習データのうち異常作業データ数がゼロであるか否かを判定する（ステップＳ７）。 Next, the learning unit 44 determines whether the selected sampling section is a stationary region or a transient region by using the discrimination result of the section discrimination unit 42 (step S6). When it is determined in step S6 that the sampling section is the “transient region”, the learning unit 44 determines whether or not the number of abnormal work data among the learning data in the selected sampling section is zero (step S7). ).

ステップＳ７で「ゼロ」と判定された場合、学習部４４は、選択されたサンプリング区間の学習データ（正常作業データ）から１クラスＳＶＭ識別器を生成する（ステップＳ８）。ステップＳ７で「ゼロ」と判定されなかった場合、学習部４４は、選択されたサンプリング区間の学習データ（正常作業データおよび異常作業データ）から２クラスＳＶＭ識別器を生成する（ステップＳ９）。 If it is determined to be "zero" in step S7, the learning unit 44 generates a one-class SVM classifier from the learning data (normal work data) of the selected sampling section (step S8). If it is not determined to be "zero" in step S7, the learning unit 44 generates a two-class SVM classifier from the learning data (normal work data and abnormal work data) of the selected sampling section (step S9).

ステップＳ６で「定常域」と判定された場合、ステップＳ８の実行後、およびステップＳ９の実行後、基本重み設定部４５は、基本重みの設定を行う（ステップＳ１０）。具体的には、学習部４４は、ステップＳ６で「定常域」と判定された場合には、３σ識別器だけを用いるために、３σ識別器の出力の重みｗ_１を１とする。ステップＳ８の実行後であれば、図７（ｂ）で例示したように、正常作業データ数が少ない時は３σ識別器の出力の重みｗ_１を大きく、正常作業データ数の増加につれて１クラス型ＳＶＭ識別器の出力の重みｗ_２を増加させる。重みｗ_１と重みｗ_２との和を１とする。ステップＳ９の実行後であれば、図７（ｃ）で例示したように、異常作業データ数が少ない時は３σ識別器の出力の重みｗ_１を大きく、異常作業データ数（または異常作業データ数および正常作業データ数の総和）の増加につれて２クラス型ＳＶＭ識別器の出力の重みｗ_２を増加させる。重みｗ_１と重みｗ_２との和を１とする。 When it is determined in step S6 that it is a "steady region", the basic weight setting unit 45 sets the basic weight after the execution of step S8 and after the execution of step S9 (step S10). _{Specifically, the learning unit 44 sets the weight w 1} of the output of the 3σ discriminator to 1 in order to use only the 3σ discriminator when it is determined in step S6 as the “steady state region”. If after execution of step S8, as illustrated in FIG. 7 (b), the normal operating time data number is small increases the weight w ₁ of the output of 3σ discriminator, a class type with increasing normal operating speed data Increase the output weight w _{2 of the SVM classifier.} _{Let 1} be the sum of the weight w 1 and the weight w _2. If after execution of step S9, as illustrated in FIG. 7 (c), the abnormal operations when the number of data is small increases the weight w ₁ of the output of 3σ discriminator, abnormal operation data number (or abnormal working speed data And as the sum of the number of normal work data) increases, the output weight w ₂ of the two-class SVM classifier is increased. _{Let 1} be the sum of the weight w 1 and the weight w _2.

ステップＳ１０の実行後、学習部４４は、全ての区間が終了したか否かを判定する（ステップＳ１１）。具体的には、未選択のサンプリング区間が無いか否かが判定される。ステップＳ１１で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。ステップＳ１１で「Ｎｏ」と判定された場合、ステップＳ３から再度実行される。 After executing step S10, the learning unit 44 determines whether or not all the sections have been completed (step S11). Specifically, it is determined whether or not there is an unselected sampling interval. If it is determined as "Yes" in step S11, the execution of the flowchart ends. If "No" is determined in step S11, the process is executed again from step S3.

図１１（ａ）および図１１（ｂ）は、ステップＳ１０の基本重みの設定の他の例を表す図である。学習部４４は、ステップＳ６で「定常域」と判定された場合には、３σ識別器だけを用いるために、３σ識別器の出力の重みｗ_１を１とする。ステップＳ８の実行後であれば、図１１（ａ）で例示するように、過渡域において正常作業データ数が少ない段階では３σ識別器の出力の重みｗ_１を１とし、１クラス型ＳＶＭ識別器の出力の重みｗ_２をゼロとする。その後、正常作業データ数の増加につれて１クラス型ＳＶＭ識別器の出力の重みｗ_２を曲線状に増加させ、３σ識別器の出力の重みｗ_１を曲線状に減少させる。重みｗ_１と重みｗ_２との和を１とする。ステップＳ９の実行後であれば、図１１（ａ）で例示するように、過渡域において異常作業データ数が少ない段階では３σ識別器の出力の重みｗ_１を１とし、２クラス型ＳＶＭ識別器の出力の重みｗ_２をゼロとする。その後、異常作業データ数（または異常作業データおよび正常作業データの総和）の増加につれて２クラス型ＳＶＭ識別器の出力の重みｗ_２を曲線状に増加させ、３σ識別器の出力の重みｗ_１を曲線状に減少させる。重みｗ_１と重みｗ_２との和を１とする。 11 (a) and 11 (b) are diagrams showing another example of setting the basic weight in step S10. When the learning unit 44 determines in step S6 that it is in the "steady state region", the learning unit 44 sets the weight w ₁ of the output of the 3σ discriminator to 1 in order to use only the 3σ discriminator. After the execution of step S8, as illustrated in FIG. 11A, when the number of normal work data is small in the transient region, the output weight w ₁ of the 3σ discriminator is set to 1, and the 1-class type SVM discriminator is used. The output weight w _{2 of is set} to zero. After that, as the number of normal work data increases, the output weight w ₂ of the 1-class type SVM classifier is increased in a curved line, and the output weight w ₁ of the 3σ classifier is decreased in a curved line. _{Let 1} be the sum of the weight w 1 and the weight w _2. After the execution of step S9, as illustrated in FIG. 11A, when the number of abnormal work data is small in the transient region, the output weight w ₁ of the 3σ discriminator is set to 1, and the 2-class SVM discriminator is used. The output weight w _{2 of is set} to zero. After that, as the number of abnormal work data (or the sum of abnormal work data and normal work data) increases, the output weight w ₂ of the 2-class SVM classifier is increased in a curved line, and the output weight w ₁ of the 3σ classifier is increased. Decrease in a curve. _{Let 1} be the sum of the weight w 1 and the weight w _2.

または、学習部４４は、ステップＳ８の実行後であれば、図１１（ｂ）で例示するように、過渡域において正常作業データ数が少ない段階では３σ識別器の出力の重みｗ_１を大きく、正常作業データ数の増加につれて１クラス型ＳＶＭ識別器の出力の重みｗ_２を増加させる。正常作業データ数が所定数以上になった場合には、重みｗ_１および重みｗ_２との比を固定する。重みｗ_１と重みｗ_２との和を１とする。ステップＳ９の実行後であれば、図１１（ｂ）で例示するように、過渡域において異常作業データ数が少ない段階では２クラス型識別器ではなく１クラス型識別器と３σ識別器とを用い、異常作業データ数（または異常作業データおよび正常作業データの総和）が所定数以上になった場合に２クラス型識別器の使用を開始する。この場合、異常作業データ数が大きくなるまでは３σ識別器の出力の重みｗ_１を大きく、異常作業データ数（または異常作業データおよび正常作業データの総和）の増加につれて２クラス型ＳＶＭ識別器の出力の重みｗ_２を増加させる。異常作業データ数（または異常作業データおよび正常作業データの総和）が所定数以上になった場合には、重みｗ_１および重みｗ_２との比を固定する。重みｗ_１と重みｗ_２との和を１とする。 Or, the learning unit 44, if after the execution of step S8, as illustrated in FIG. 11 (b), increase the weight w ₁ of the output of 3σ classifiers in step a small normal work number data in the transient region, As the number of normal work data increases, the output weight w ₂ of the one-class SVM classifier is increased. If the normal operating number of data exceeds a predetermined number, it fixes the ratio of the weight w ₁ and the weight w _2. _{Let 1} be the sum of the weight w 1 and the weight w _2. After the execution of step S9, as illustrated in FIG. 11B, when the number of abnormal work data is small in the transient region, the 1-class type classifier and the 3σ classifier are used instead of the 2-class type classifier. , When the number of abnormal work data (or the sum of abnormal work data and normal work data) exceeds a predetermined number, the use of the two-class type classifier is started. _{In this case, the weight w 1} of the output of the 3σ discriminator is increased until the number of abnormal work data increases, and as the number of abnormal work data (or the sum of the abnormal work data and the normal work data) increases, the two-class SVM classifier Increase the output weight w _2. When the number of abnormal work data (or the sum of abnormal work data and normal work data) exceeds a predetermined number, the ratio of the _{weight w 1} and the weight w _{2 is fixed.} _{Let 1} be the sum of the weight w 1 and the weight w _2.

続いて、異常判定の詳細について説明する。各サンプリング区間について使用する識別器およびその出力に対する重みを設定することで、作業ロボット１０の一連の工程においてセンサ１２の検出結果について各サンプリング区間で異常が生じているか否かを判定することができる。特定のサンプリング区間だけで異常が生じていると判定されても、必ずしも作業ロボット１０の一連の工程について異常が生じているとは限らない。そこで、各サンプリング区間の異常判定について、識別器の基準からの乖離度を異常スコアに変換し、複数のサンプリング区間の異常スコアの累積値が閾値を上回った場合に、異常が生じていると判定することが好ましい。以下、異常スコアの累積値が閾値を上回った場合に、異常が生じていると判定する例について説明する。なお、複数のセンサ１２の測定データを用いる場合には、各センサ１２の測定データに重み（係数）を設定することで、総合的な異常判定を行うことができる。 Subsequently, the details of the abnormality determination will be described. By setting the classifier used for each sampling section and the weight for the output thereof, it is possible to determine whether or not an abnormality has occurred in each sampling section regarding the detection result of the sensor 12 in a series of steps of the work robot 10. .. Even if it is determined that an abnormality has occurred only in a specific sampling section, it does not necessarily mean that an abnormality has occurred in a series of steps of the work robot 10. Therefore, for the abnormality judgment of each sampling section, the degree of deviation from the standard of the discriminator is converted into an abnormality score, and when the cumulative value of the abnormality scores of a plurality of sampling sections exceeds the threshold value, it is determined that an abnormality has occurred. It is preferable to do so. Hereinafter, an example of determining that an abnormality has occurred when the cumulative value of the abnormality score exceeds the threshold value will be described. When the measurement data of a plurality of sensors 12 is used, a comprehensive abnormality determination can be performed by setting a weight (coefficient) in the measurement data of each sensor 12.

図１２は、異常判定の閾値を設定する場合に判定装置４０が行う処理を表すフローチャートを例示する図である。図１２で例示するように、作業ロボット１０の一連の工程の全サンプリング区間で用いる識別器およびその重みが設定された後、異常判定処理部４６は、各センサ１２の検出結果に重みを表す係数を設定する（ステップＳ２１）。 FIG. 12 is a diagram illustrating a flowchart showing a process performed by the determination device 40 when setting a threshold value for abnormality determination. As illustrated in FIG. 12, after the classifier used in the entire sampling section of the series of steps of the work robot 10 and its weight are set, the abnormality determination processing unit 46 sets a coefficient representing the weight in the detection result of each sensor 12. Is set (step S21).

次に、異常判定処理部４６は、各学習データについて、各サンプリング区間の異常スコアを算出する（ステップＳ２２）。例えば、３σ識別器の出力（異常スコア）をＳ_ｇとし、１クラス型ＳＶＭ識別器および２クラス型ＳＶＭ識別器の出力（異常スコア）をＳ_ｖとし、統合異常スコアをＳとする。また、３σ識別器の重みをｗ_１とし、１クラス型ＳＶＭ識別器および２クラス型ＳＶＭ識別器の重みをｗ_２とする。この場合、下記式（４）および下記式（５）が成立する。
Ｓ＝ｗ_１Ｓ_ｇ＋ｗ_２Ｓ_ｖ（４）
ｗ_１＋ｗ_２＝１（５） Next, the abnormality determination processing unit 46 calculates an abnormality score for each sampling section for each learning data (step S22). For example, the output (abnormal score) of the 3σ classifier is S _g , the output (abnormal score) of the 1-class SVM classifier and the 2-class SVM classifier is S _v , and the integrated abnormal score is S. Further, the weight of the 3σ classifier is w _1, and the weight of the 1-class SVM classifier and the 2-class SVM classifier is w ₂ . In this case, the following equation (4) and the following equation (5) are established.
S = w ₁ S _g + w ₂ S _v (4)
w ₁ + w ₂ = 1 (5)

次に、異常判定処理部４６は、各センサ１２の測定データについて、各サンプリング区間を経過するごとに統合異常スコアＳの累積値を算出し、当該累積値と各センサ１２の係数とを乗算し、得られた値の総和を総合異常スコアとして算出する（ステップＳ２３）。次に、学習部４４は、各学習データについてステップＳ２３で得られた総合異常スコアから、異常判定閾値を設定する（ステップＳ２４）。 Next, the abnormality determination processing unit 46 calculates the cumulative value of the integrated abnormality score S for each sampling interval of the measurement data of each sensor 12, and multiplies the cumulative value by the coefficient of each sensor 12. , The sum of the obtained values is calculated as a total abnormal score (step S23). Next, the learning unit 44 sets the abnormality determination threshold value from the total abnormality score obtained in step S23 for each learning data (step S24).

図１３は、異常判定閾値の設定後に、作業ロボット１０が一連の工程を行う場合の異常判定を行う場合に実行されるフローチャートを例示する図である。図１３で例示するように、データ格納部４１は、各センサ１２の測定データを異常判定用データとして一時的に格納する（ステップＳ３１）。次に、異常判定処理部４６は、未選択のサンプリング区間を選択する（ステップＳ３２）。次に、異常判定処理部４６は、各センサ１２の測定データについて、上記式（４）および上記式（５）を用いて、選択されたサンプリング区間の異常スコアを算出する（ステップＳ３３）。 FIG. 13 is a diagram illustrating a flowchart executed when the work robot 10 performs an abnormality determination when performing a series of steps after setting the abnormality determination threshold value. As illustrated in FIG. 13, the data storage unit 41 temporarily stores the measurement data of each sensor 12 as abnormality determination data (step S31). Next, the abnormality determination processing unit 46 selects an unselected sampling section (step S32). Next, the abnormality determination processing unit 46 calculates the abnormality score of the selected sampling section for the measurement data of each sensor 12 by using the above equations (4) and (5) (step S33).

次に、異常判定処理部４６は、各センサ１２の検出結果について、統合異常スコアＳの累積値を算出し、当該累積値と各センサ１２の係数とを乗算し、得られた値の総和を、総合異常スコアとして算出する（ステップＳ３４）。次に、異常判定処理部４６は、ステップＳ３４で算出された総合異常スコアが異常判定閾値を上回ったか否かを判定する（ステップＳ３５）。ステップＳ３５で「Ｙｅｓ」と判定された場合、異常判定処理部４６は、異常に係る情報を出力する（ステップＳ３６）。その後、フローチャートの実行が終了する。ステップＳ３５で「Ｎｏ」と判定された場合、異常判定処理部４６は、全ての区間が終了したか否かを判定する（ステップＳ３７）。具体的には、未選択のサンプリング区間が無いか否かが判定される。ステップＳ３７で「Ｙｅｓ」と判定された場合、フローチャートの実行が終了する。ステップＳ３７で「Ｎｏ」と判定された場合、ステップＳ３２から再度実行される。 Next, the abnormality determination processing unit 46 calculates the cumulative value of the integrated abnormality score S for the detection result of each sensor 12, multiplies the cumulative value by the coefficient of each sensor 12, and totals the obtained values. , Calculated as a total abnormal score (step S34). Next, the abnormality determination processing unit 46 determines whether or not the total abnormality score calculated in step S34 exceeds the abnormality determination threshold value (step S35). If it is determined as "Yes" in step S35, the abnormality determination processing unit 46 outputs information related to the abnormality (step S36). After that, the execution of the flowchart ends. When it is determined as "No" in step S35, the abnormality determination processing unit 46 determines whether or not all the sections have been completed (step S37). Specifically, it is determined whether or not there is an unselected sampling interval. If "Yes" is determined in step S37, the execution of the flowchart ends. If "No" is determined in step S37, the process is executed again from step S32.

図１４（ａ）および図１４（ｂ）は、所定の範囲でランダムに発生させたサンプルデータ（特徴次元数２）を用いて、データ数と識別性能（評価用データの正解率）との関係をシミュレーションで調べた結果である。正常作業データ数と異常作業データ数との比は、常に９：１になるように設定してある。図１４（ａ）および図１４（ｂ）において、横軸は学習データのサンプル数であり、縦軸は評価用データに対する正解率である。当該正解率は、別途用意した評価用データ１０００個（正常作業データ：９００個＋異常作業データ：１００個）に対する正解率である。 14 (a) and 14 (b) show the relationship between the number of data and the discrimination performance (correct answer rate of evaluation data) using sample data (feature dimension number 2) randomly generated in a predetermined range. Is the result of investigating by simulation. The ratio of the number of normal work data to the number of abnormal work data is always set to 9: 1. In FIGS. 14 (a) and 14 (b), the horizontal axis is the number of samples of learning data, and the vertical axis is the correct answer rate for the evaluation data. The correct answer rate is the correct answer rate for 1000 pieces of evaluation data (normal work data: 900 pieces + abnormal work data: 100 pieces) prepared separately.

図１４（ａ）は、学習用に正常作業データのみを用いたケースで、３σ識別器および１クラス型ＳＶＭ識別器を生成し、それらによる判定正解率を比較したものである。異常作業データの比率を１０％と仮定しているため、３σ識別器もＺスコア値としてＺ＝１．６４を用いた。３σ識別器およびＳＶＭ識別器の両方とも、それぞれ、概ね図６のような曲線を描いていることが分かる。１クラス型ＳＶＭ識別器の正解率が３σ識別器を超えるのは、学習データ数が３０付近となっており、同様の学習条件下では、学習データ数が０〜６０の間で図７のように順次重みを変化させるように設定することができる。 FIG. 14A shows a case where only normal work data is used for learning, a 3σ discriminator and a 1-class type SVM discriminator are generated, and the judgment accuracy rate by them is compared. Since the ratio of abnormal work data is assumed to be 10%, the 3σ discriminator also used Z = 1.64 as the Z score value. It can be seen that both the 3σ discriminator and the SVM discriminator each draw a curve as shown in FIG. The correct answer rate of the 1-class SVM classifier exceeds the 3σ classifier because the number of training data is around 30, and under the same learning conditions, the number of training data is between 0 and 60 as shown in FIG. Can be set to change the weight sequentially.

図１４（ｂ）は、学習データの中に１０％の異常作業データを含んだ条件下で２クラス型ＳＶＭ識別器を生成し、１クラス型ＳＶＭ識別器による正解率との比較を示したものである。１クラス型ＳＶＭ識別器でデータ数１５０以上の正解率と、２クラス型ＳＶＭ識別器でデータ数が２０以下の正解率を比較すると、１クラス型ＳＶＭ識別器の正解率が上回っていることが分かる。このようなケースでは、図１１（ｂ）で例示したように、異常作業データ発生後も学習データ数が３０個（異常作業データ数が３個）に達するまでは２クラスＳＶＭ識別器の重みをゼロとし、代わりに、１クラスＳＶＭ識別器の使用を継続するという設定を適用することができる。 FIG. 14B shows a two-class SVM classifier generated under the condition that the training data includes 10% of abnormal work data, and a comparison with the correct answer rate by the one-class SVM classifier. Is. Comparing the correct answer rate of 150 or more data with the 1-class SVM classifier and the correct answer rate of 20 or less data with the 2-class SVM classifier, the correct answer rate of the 1-class SVM classifier is higher. I understand. In such a case, as illustrated in FIG. 11B, the weight of the two-class SVM classifier is weighted until the number of training data reaches 30 (the number of abnormal work data is 3) even after the occurrence of abnormal work data. A setting can be applied that sets it to zero and instead continues to use the 1-class SVM classifier.

本実施例によれば、異常作業データが生じるまでの期間において、３σ識別器および１クラス型ＳＶＭ識別器の出力に、学習データ数に応じてそれぞれ重み係数を設定することで、高い精度で異常判定を行うことができる。特に、異常作業データが生じるまでの期間において、学習データ数が少ない段階では３σ識別器の重みを大きくすることで、１クラス型ＳＶＭ識別器の過学習の影響を抑制することができる。学習データ数が多くなるにつれて１クラス型ＳＶＭ識別器の精度が高くなるため、学習データ数が多くなるにつれて１クラス型ＳＶＭ識別器の重みを大きくすることで、高い精度で異常判定を行うことができる。 According to this embodiment, in the period until abnormal work data is generated, weighting coefficients are set for the outputs of the 3σ classifier and the 1-class SVM classifier according to the number of training data, so that the abnormalities can be performed with high accuracy. Judgment can be made. In particular, in the period until abnormal work data is generated, the influence of overfitting of the one-class type SVM classifier can be suppressed by increasing the weight of the 3σ discriminator at the stage where the number of training data is small. Since the accuracy of the 1-class type SVM classifier increases as the number of training data increases, it is possible to perform abnormality determination with high accuracy by increasing the weight of the 1-class type SVM classifier as the number of training data increases. it can.

異常作業データが生じた後の期間において、３σ識別器および２クラス型ＳＶＭ識別器の出力に、学習データ数に応じてそれぞれ重み係数を設定することで、高い精度で異常判定を行うことができる。特に、異常作業データが生じた後の期間において、異常作業データ数が少ない段階では３σ識別器の重みを大きくすることで、２クラス型ＳＶＭ識別器の過学習の影響を抑制することができる。異常作業データ数が多くなるにつれて２クラス型ＳＶＭ識別器の精度が高くなるため、異常作業データ数が多くなるにつれて２クラス型ＳＶＭ識別器の重みを大きくすることで、高い精度で異常判定を行うことができる。 By setting weighting coefficients for the outputs of the 3σ classifier and the 2-class SVM classifier according to the number of training data in the period after the abnormal work data is generated, it is possible to perform abnormality determination with high accuracy. .. In particular, in the period after the abnormal work data is generated, the influence of overfitting of the two-class SVM classifier can be suppressed by increasing the weight of the 3σ discriminator at the stage where the number of abnormal work data is small. Since the accuracy of the 2-class SVM classifier increases as the number of abnormal work data increases, the weight of the 2-class SVM classifier increases as the number of abnormal work data increases to perform abnormality determination with high accuracy. be able to.

なお、上記例では、過渡域でのみＳＶＭ識別器を用いているが、定常域で用いてもよい。 In the above example, the SVM discriminator is used only in the transient region, but it may be used in the steady region.

（他の例）
図１５（ａ）は、判定装置４０のハードウェア構成を説明するためのブロック図である。図１５（ａ）を参照して、判定装置４０は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、表示装置１０４等を備える。ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１は、中央演算処理装置である。 (Other examples)
FIG. 15A is a block diagram for explaining the hardware configuration of the determination device 40. With reference to FIG. 15A, the determination device 40 includes a CPU 101, a RAM 102, a storage device 103, a display device 104, and the like. The CPU (Central Processing Unit) 101 is a central processing unit.

ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、判定プログラムを記憶している。表示装置１０４は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどであり、判定結果を表示する。なお、本実施例においては判定装置４０の各部は、プログラムの実行によって実現されているが、専用の回路などのハードウェアを用いてもよい。 The CPU 101 includes one or more cores. The RAM (Random Access Memory) 102 is a volatile memory that temporarily stores a program executed by the CPU 101, data processed by the CPU 101, and the like. The storage device 103 is a non-volatile storage device. As the storage device 103, for example, a ROM (Read Only Memory), a solid state drive (SSD) such as a flash memory, a hard disk driven by a hard disk drive, or the like can be used. The storage device 103 stores the determination program. The display device 104 is a liquid crystal display, an electroluminescence panel, or the like, and displays a determination result. In this embodiment, each part of the determination device 40 is realized by executing a program, but hardware such as a dedicated circuit may be used.

図１５（ｂ）は、作業システムについて例示する図である。上記各例においては、判定装置４０は、センサ１２から測定データを取得し、カメラ３０から画像データを取得している。これに対して、判定装置４０の機能を有するサーバ２０２が、インターネットなどの電気通信回線２０１を通じてセンサ１２およびカメラ３０からデータを取得してもよい。 FIG. 15B is a diagram illustrating a working system. In each of the above examples, the determination device 40 acquires measurement data from the sensor 12 and image data from the camera 30. On the other hand, the server 202 having the function of the determination device 40 may acquire data from the sensor 12 and the camera 30 through a telecommunication line 201 such as the Internet.

上記各例において、データ格納部４１が、作業ロボットが繰り返し行う一連の工程において、前記作業ロボットに備わるセンサの測定データを格納する格納部の一例として機能する。学習部４４が、前記格納部に格納された測定データのうち正常作業の前記測定データを第１学習データとして用いて、前記一連の工程の異常を判定するための基準として第１基本統計型識別器および第１機械学習型識別器を生成する生成部の一例として機能する。３σ識別器が、第１基本統計型識別器の一例である。１クラス型ＳＶＭ識別器が、第１基本統計型識別器の一例である。基本重み設定部４５が、前記第１基本統計型識別器および前記第１機械学習型識別器の出力に、前記第１学習データ数に応じて、それぞれ重み係数を設定する設定部の一例として機能する。異常判定処理部４６が、前記第１基本統計型識別器および前記第１機械学習型識別器の生成後に前記格納部に格納される前記測定データに対する前記第１基本統計型識別器および前記第１機械学習型識別器の出力のそれぞれと、対応する前記重み係数との乗算値に応じて、前記一連の工程に異常が生じているか否かを判定する判定部の一例として機能する。 In each of the above examples, the data storage unit 41 functions as an example of a storage unit that stores the measurement data of the sensor provided in the work robot in a series of steps repeatedly performed by the work robot. The learning unit 44 uses the measurement data of normal work among the measurement data stored in the storage unit as the first learning data, and uses the first basic statistical type identification as a reference for determining an abnormality in the series of steps. It functions as an example of a generator that generates a device and a first machine learning type classifier. The 3σ discriminator is an example of the first basic statistical type discriminator. The one-class type SVM classifier is an example of the first basic statistical type classifier. The basic weight setting unit 45 functions as an example of a setting unit that sets weight coefficients to the outputs of the first basic statistical type classifier and the first machine learning type classifier according to the number of first learning data. To do. The abnormality determination processing unit 46 generates the first basic statistical type classifier and the first machine learning type discriminator, and then the first basic statistical type discriminator and the first basic statistical type discriminator for the measurement data stored in the storage unit. It functions as an example of a determination unit that determines whether or not an abnormality has occurred in the series of steps according to the multiplication value of each output of the machine learning type classifier and the corresponding weighting coefficient.

また、学習部４４は、前記格納部に異常作業の測定データが格納されると、前記格納部に格納された測定データのうち前記正常作業の測定データと前記異常作業の測定データとを第２学習データとして用いて、前記一連の工程の異常を判定するための基準として第２基本統計型識別器および第２機械学習型識別器を生成する生成部の一例としても機能する。３σ識別器が第２基本統計型識別器の一例である。２クラス型ＳＶＭ識別器が第２機械学習型識別器の一例である。基本重み設定部４５は、前記第２基本統計型識別器および前記第２機械学習型識別器の出力に、前記第２学習データ数に応じて、それぞれ重み係数を設定する設定部としても機能する。異常判定処理部４６は、前記第２基本統計型識別器および前記第２機械学習型識別器の生成後に前記格納部に格納される前記測定データに対する前記第２基本統計型識別器および前記第２機械学習型識別器の出力のそれぞれと、対応する前記重み係数との乗算値に応じて、前記一連の工程に異常が生じているか否かを判定する判定部の一例としても機能する。 Further, when the measurement data of the abnormal work is stored in the storage unit, the learning unit 44 secondly collects the measurement data of the normal work and the measurement data of the abnormal work among the measurement data stored in the storage unit. It also functions as an example of a generation unit that generates a second basic statistical type classifier and a second machine learning type discriminator as a reference for determining an abnormality in the series of steps by using it as training data. The 3σ discriminator is an example of the second basic statistical type discriminator. The two-class SVM classifier is an example of the second machine learning classifier. The basic weight setting unit 45 also functions as a setting unit that sets weight coefficients for the outputs of the second basic statistical type classifier and the second machine learning type discriminator according to the number of the second learning data. .. The abnormality determination processing unit 46 performs the second basic statistical type classifier and the second basic statistical type discriminator for the measurement data stored in the storage unit after the generation of the second basic statistical type discriminator and the second machine learning type discriminator. It also functions as an example of a determination unit that determines whether or not an abnormality has occurred in the series of steps according to the multiplication value of each output of the machine learning type classifier and the corresponding weighting coefficient.

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the examples of the present invention have been described in detail above, the present invention is not limited to the specific examples, and various modifications and modifications are made within the scope of the gist of the present invention described in the claims. It can be changed.

１０作業ロボット
１１ロボットハンド
１２センサ
２０コントローラ
３０カメラ
４０判定装置
４１データ格納部
４２区間弁別部
４３学習データ数取得部
４４学習部
４５基本重み設定部
４６異常判定処理部
１００作業装置 10 Working robot 11 Robot hand 12 Sensor 20 Controller 30 Camera 40 Judgment device 41 Data storage unit 42 Section discrimination unit 43 Learning data number acquisition unit 44 Learning unit 45 Basic weight setting unit 46 Abnormality judgment processing unit 100 Work device

Claims

In a series of processes repeatedly performed by the work robot, a storage unit for storing measurement data of sensors provided in the work robot and a storage unit.
Of the measurement data stored in the storage unit, the measurement data of normal work is used as the first learning data, and the first basic statistical type classifier and the first basic statistical type classifier and the first as a reference for determining an abnormality in the series of steps. A generator that generates a machine learning type classifier,
Weight coefficients are set in the outputs of the first basic statistical type classifier and the first machine learning type classifier according to the number of the first learning data, and as the number of the first learning data increases. A setting unit that increases the weighting coefficient of the first machine learning type classifier, and
Output of the first basic statistical type discriminator and the first machine learning type discriminator with respect to the measurement data stored in the storage unit after the generation of the first basic statistical type discriminator and the first machine learning type discriminator. The determination device is characterized by comprising a determination unit for determining whether or not an abnormality has occurred in the series of steps according to the multiplication value of each of the above and the corresponding weighting coefficient.

The setting unit is the first basic statistical type classifier until the number of measurement data stored in the storage unit reaches a predetermined number after the generation of the first basic statistical type discriminator and the first machine learning type discriminator. The determination device according to claim 1, wherein the weight of the first machine learning type classifier is made larger than the weight of the first machine learning type classifier.

The setting unit is characterized in that, when the number of the first learning data becomes a predetermined value or more, the weighting coefficients of the first basic statistical type classifier and the first machine learning type classifier are fixed. 2. The determination device according to 2.

When the measurement data of the abnormal work is stored in the storage unit, the generation unit secondly learns the measurement data of the normal work and the measurement data of the abnormal work among the measurement data stored in the storage unit. Using it as data, a second basic statistical type classifier and a second machine learning type discriminator were generated as criteria for determining an abnormality in the series of steps.
The setting unit sets weighting coefficients for the outputs of the second basic statistical type classifier and the second machine learning type classifier according to the number of the second learning data.
The determination unit is the second basic statistical type classifier and the second machine learning type discriminator for the measurement data stored in the storage unit after the generation of the second basic statistical type discriminator and the second machine learning type discriminator. Any of claims 1 to 3, wherein it is determined whether or not an abnormality has occurred in the series of steps according to the multiplication value of each of the outputs of the type classifier and the corresponding weighting coefficient. The determination device according to item 1.

The determination device according to claim 4, wherein the setting unit increases the weighting coefficient of the second machine learning type discriminator as the number of learning data of the abnormal work increases.

4. The setting unit is characterized in that when the number of the second learning data becomes a predetermined value or more, the weighting coefficients of the second basic statistical type classifier and the second machine learning type classifier are fixed. 5. The determination device according to 5.

A discrimination unit for discriminating the series of steps into a transient region in which the work robot works and a steady region in which the work robot does not work is provided.
The generator according to claim 1 to 6, wherein the generation unit generates the first basic statistical type classifier and the first machine learning type discriminator for the transient area among the steady state area and the transient area. The determination device according to any one item.

In a series of processes repeatedly performed by the work robot, the storage unit stores the measurement data of the sensor provided in the work robot, and the storage unit stores the measurement data.
Of the measurement data stored in the storage unit, the measurement data for normal work is used as the first learning data, and the first basic statistical type classifier and the first machine are used as criteria for determining an abnormality in the series of processes. The generator generates a learning type classifier,
The setting unit sets weighting coefficients for the outputs of the first basic statistical type classifier and the first machine learning type classifier according to the number of the first learning data, and the number of the first learning data increases. As a result, the weighting coefficient of the first machine learning type classifier is increased .
Output of the first basic statistical type discriminator and the first machine learning type discriminator with respect to the measurement data stored in the storage unit after the generation of the first basic statistical type discriminator and the first machine learning type discriminator. A determination method, characterized in that a determination unit determines whether or not an abnormality has occurred in the series of steps according to a multiplication value of each of the above and the corresponding weighting coefficient.

On the computer
In a series of processes repeatedly performed by the work robot, a process of storing the measurement data of the sensor provided in the work robot in the storage unit and a process of storing the measurement data in the storage unit.
Of the measurement data stored in the storage unit, the measurement data for normal work is used as the first learning data, and the first basic statistical type classifier and the first machine are used as criteria for determining an abnormality in the series of processes. The process of generating a learning classifier and
Weighting coefficients are set for the outputs of the first basic statistical type classifier and the first machine learning type classifier according to the number of the first learning data, and as the number of the first learning data increases. a process of Ru increases the weighting coefficient of the first machine learning classifier,
Output of the first basic statistical type discriminator and the first machine learning type discriminator with respect to the measurement data stored in the storage unit after the generation of the first basic statistical type discriminator and the first machine learning type discriminator. A determination program characterized by executing a process of determining whether or not an abnormality has occurred in the series of steps according to a multiplication value of each of the above and the corresponding weighting coefficient.