WO2018220813A1 - 判定装置、判定方法及び判定プログラム - Google Patents

判定装置、判定方法及び判定プログラム Download PDF

Info

Publication number
WO2018220813A1
WO2018220813A1 PCT/JP2017/020581 JP2017020581W WO2018220813A1 WO 2018220813 A1 WO2018220813 A1 WO 2018220813A1 JP 2017020581 W JP2017020581 W JP 2017020581W WO 2018220813 A1 WO2018220813 A1 WO 2018220813A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
data
cause
sensor data
unit
Prior art date
Application number
PCT/JP2017/020581
Other languages
English (en)
French (fr)
Inventor
雨宮智
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2019521893A priority Critical patent/JP6795093B2/ja
Priority to PCT/JP2017/020581 priority patent/WO2018220813A1/ja
Priority to CN201780091249.XA priority patent/CN110678727B/zh
Publication of WO2018220813A1 publication Critical patent/WO2018220813A1/ja
Priority to US16/689,229 priority patent/US11487280B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G05B23/0281—Quantitative, e.g. mathematical distance; Clustering; Neural networks; Statistical analysis

Definitions

  • the present invention relates to a determination device, a determination method, and a determination program.
  • an object of the present invention is to provide a determination device, a determination method, and a determination program that can analyze the cause of abnormality with high accuracy.
  • the determination device relates to an abnormality from the sensor data based on an acquisition unit that acquires sensor data related to the operation of the device and a threshold value used when detecting the abnormality using the acquired sensor data.
  • the conversion unit that converts the extracted data related to the abnormality into the structure data of a graph structure that focuses on the similar relationship between a plurality of sensors, and the converted structure data,
  • a generation unit that generates a discriminator for identifying the cause of the abnormality.
  • the cause of abnormality can be analyzed with high accuracy.
  • FIG. 7A to FIG. 7C are diagrams for explaining the processing of FIG. 5 and FIG.
  • FIG. 8A is a diagram illustrating an example of sparse sensor data
  • FIG. 8B is a diagram illustrating an example of a large amount of data generated for each abnormal mode.
  • FIG. 9A is a graph for comparing the accuracy rates of the first embodiment and the comparative example
  • FIG. 9B is an example of a large amount of data generated from the sparse model in the comparative example.
  • FIG. It is a flowchart which shows the process of the processing apparatus in the operation
  • FIG. 1 is a diagram for explaining the overall configuration of the working device 100 according to the first embodiment.
  • the work device 100 includes a robot 22, a controller 14, a camera 12, a processing device 10, and the like.
  • the robot 22 is, for example, an industrial robot.
  • the robot 22 includes, for example, a stage 25 and a manipulator 26.
  • the manipulator 26 performs work using the action unit 28.
  • the operation performed by the manipulator 26 is, for example, an operation of picking up a component to be mounted on the printed circuit board, transporting the component onto the printed circuit board, and mounting the component on the printed circuit board.
  • the action unit 28 is, for example, a hand mechanism.
  • the stage 25 supports the manipulator 26.
  • the robot 22 is controlled by the controller 14.
  • the controller 14 operates the robot 22 based on a teaching data sequence in a time series of a series of operations.
  • the teaching data string may be acquired from the outside via the input / output interface 97 shown in FIG. 3, or may be stored in advance in the HDD 96 or the like.
  • the sensor 24 is provided in the manipulator 26 and detects the status of work performed by the robot 22.
  • a strain sensor that detects strain of the manipulator 26
  • a triaxial or six-axis force sensor a load sensor, a pressure sensor, an acceleration sensor, a microphone, and the like can be used. It is assumed that a plurality of sensors 24 are provided for the manipulator 26.
  • a 3-axis or 6-axis force sensor is used as the sensor 24, the force vector and / or torque at the action point can be detected.
  • FIG. 2 shows an example of a change in the output value of the sensor 24. In FIG.
  • the horizontal axis represents time (time) from the start of work of the robot 22, and the vertical axis represents the output value (sensor value) of the sensor 24.
  • the output value of the sensor 24 changes.
  • a range sandwiched between broken lines indicates a threshold value used in abnormality determination described later.
  • the camera 12 is a two-dimensional image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complimentary Metal Oxide Semiconductor) sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the present invention is not limited to this, and the camera 12 may be a one-dimensional image sensor.
  • the processing apparatus 10 determines whether the work status of the robot 22 is normal (normal or abnormal) based on the image data acquired by the camera 12, the data detected by the sensor 24, the coordinate position of the action unit 28, and the like. Moreover, the processing apparatus 10 specifies the cause of abnormality, when it determines with it being abnormal. In the following, for convenience of explanation, various data such as image data acquired by the camera 12, data detected by the sensor 24, and the coordinate position of the action unit 28 are referred to as “sensor data”.
  • FIG. 3 shows the hardware configuration of the processing apparatus 10.
  • the processing device 10 includes a CPU (Central Processing Unit) 90, a ROM (Read Only Memory) 92, a RAM (Random Access Memory) 94, a storage unit (here, HDD (Hard Disk Drive)) 96, An input / output interface 97, a display unit 93, an input unit 95, a portable storage medium drive 99, and the like are provided.
  • Each component of the processing apparatus 10 is connected to a bus 98.
  • the display unit 93 includes a liquid crystal display or the like
  • the input unit 95 includes a keyboard, a mouse, an input button, and the like.
  • the CPU 90 executes a program (including a determination program) stored in the ROM 92 or the HDD 96, or a program (including a determination program) read from the portable storage medium 91 by the portable storage medium drive 99.
  • a program including a determination program
  • the function of each part shown in FIG. 4 is implement
  • FIG. 4 is a functional block diagram of the processing apparatus 10.
  • the processing device 10 functions as a sensor data acquisition unit 30, an abnormality determination unit 32 as an abnormality detection execution unit, a cause analysis unit 34 as an abnormality cause identification unit, and an operation correction unit 36 by the CPU 90 executing a program.
  • the learning data storage unit 40 shown in FIG. 4 is realized by the HDD 96 or the like. The learning data storage unit 40 stores various data to be described later.
  • the sensor data acquisition unit 30 acquires sensor data (image data acquired by the camera 12, data detected by the sensor 24, coordinate position of the action unit 28, etc.) and transmits it to the abnormality determination unit 32.
  • the abnormality determination unit 32 uses the sensor data received from the sensor data acquisition unit 30 to determine whether an abnormality has occurred. Specifically, the abnormality determination unit 32 determines whether or not an abnormality has occurred using an abnormality detection discriminator obtained from the abnormality detection discriminator information stored in the learning data storage unit 40. Note that the abnormality determination unit 32 creates anomaly detection discriminator information using a part of the learning data stored in the learning data storage unit 40 (referred to as training data) in advance, and the learning data storage unit 40 To store.
  • the cause analysis unit 34 analyzes the cause of the abnormality based on the sensor data when the abnormality determination unit 32 determines that there is an abnormality. Specifically, the cause analysis unit 34 performs cause analysis using an abnormality cause discriminator obtained from the abnormality cause discriminator information stored in the learning data storage unit 40. Note that the cause analysis unit 34 uses the part of the learning data (referred to as test data) stored in the learning data storage unit 40 in advance to create abnormality cause identifier information, and the learning data storage unit 40 To store.
  • the cause of the abnormality includes a fitting position shift x direction abnormality, a pin breakage abnormality, and the like.
  • the fitting position deviation x-direction abnormality means an abnormality that occurs due to an x-direction positional deviation between a hole formed in the printed circuit board and a pin provided on the component.
  • the pin breakage abnormality means an abnormality caused by breakage (bending or the like) of a pin provided in a part.
  • Each of these abnormalities shall be classified according to the means and measures necessary for eliminating the abnormalities.
  • each abnormality is classified into an abnormality that requires the robot 22 to stop, an abnormality that requires the robot 22 to perform an operation again (retry), and an abnormality that requires the operation of the robot 22 to be corrected. Shall be.
  • the operation correction unit 36 corrects the operation of the robot 22 when the cause of the abnormality is a cause that can be dealt with by the correction as a result of the analysis by the cause analysis unit 34.
  • the learning data storage unit 40 stores data used by the abnormality determination unit 32 for abnormality determination and data used by the cause analysis unit 34 for cause analysis.
  • the learning data storage unit 40 stores training data used by the abnormality determination unit 32 and test data used by the cause analysis unit 34. Further, the abnormality detection discriminator information used by the abnormality determination unit 32 and the abnormality cause discriminator information used by the cause analysis unit 34 are stored.
  • FIG. 5 is a flowchart showing the processing of the processing apparatus 10 in the preliminary preparation stage.
  • training data is data used to generate abnormality detection discriminator information
  • test data is data used to generate abnormality cause discriminator information
  • the abnormality determination unit 32 acquires training data from the learning data storage unit 40.
  • the abnormality determination unit 32 creates an abnormality detection identifier for abnormality detection from the training data. Specifically, the abnormality determination unit 32 obtains a threshold for abnormality detection as indicated by a broken line in FIG. 2 based on the training data. In addition, a threshold value shall be calculated
  • step S ⁇ b> 14 the cause analysis unit 34 acquires test data from the learning data storage unit 40.
  • test data x 1 ... X 6 as shown in FIG. Note that i means a sensor number, and x i means test data of the sensor i.
  • step S ⁇ b> 16 the cause analysis unit 34 sparses the test data using an abnormality detection threshold value. Only the data related to the abnormality can be extracted by sparse. Specifically, the cause analysis unit 34 sequentially inputs test data to the abnormality detection discriminator, and acquires an abnormality score value. And the cause analysis part 34 sparses the acquired abnormality score value with the threshold value used by abnormality detection.
  • sparse conversion of the most natural sensor data can be expressed by the following equation (1), where s i is an abnormal score after sparse conversion and th i is a threshold value.
  • a i (x i ) means an abnormal score value, and can be expressed by the following equation (2), where D is learning data in sensor i.
  • FIG. 8A shows an example of sparse sensor data (data related to abnormality).
  • FIG. 8A shows the relationship of sparse sensor data of the sensors 1 to 3 as an example in three-dimensional coordinates. Each point represented by the same shape in FIG. 8A means data (after sparse) obtained when an abnormality of the same cause occurs.
  • step S18 the cause analysis unit 34 creates a graph structure in which the similarity between abnormal scores is a side and the sensor is a point.
  • An example of the graph structure is shown in the lower part of FIG.
  • K is created for each abnormal mode p.
  • Equation (4) Is an inner product symbol, which is a Hilbert space.
  • the matrix element of this Gram matrix is called a half positive definite kernel. Since this semi-definite kernel assumes the Hilbert space, it satisfies the following three conditions (the inner product axiom) shown in (5) below.
  • properties (a) and (b) Important properties in this technology are properties (a) and (b). From the property (a), the Gram matrix is a symmetric matrix, and from the property (b), the Gram matrix has a semi-definite property. Although a symmetric matrix is useful, positive semidefiniteness is a problem when a probability model is created using a Gram matrix. That is, the case where the eigenvalue is 0 is also assumed. In this case, the Gram matrix becomes a singular matrix, and the probability model converges at the origin.
  • an eigenvalue decomposition is performed, an eigenvalue greater than 0 and only an eigenvector are extracted, and a diagonal matrix in which eigenvalues greater than 0 are matrixed and an eigenvector corresponding to the selected eigenvalue are arranged. Is reconstructed (dimensionally compressed).
  • the cause analysis unit 34 derives a positive definite Gram matrix.
  • the cause analysis unit 34 converts the Gram matrix into a positive definite value by performing spectrum decomposition using the following equation (6).
  • a Gaussian kernel can be used as the kernel.
  • step S22 the cause analysis unit 34 estimates the probability distribution from the positive definite Gram matrix.
  • kernel density estimation is considered as one of the probability models obtained from the positive definite Gram matrix, and is expressed by the following equation (7).
  • Kernel density estimation is a non-parametric probability density estimation approach and is regarded as an extension overcoming the discontinuity of histogram density estimation. Unlike parametric models such as the normal distribution, the advantage is that the expression capability is very high in order to estimate the model from the data distribution, and it is possible to cope with a population distribution different from the normal distribution (of course, the mother (The population can also be used with a normal distribution.)
  • step S24 the cause analysis unit 34 generates a large number of data using the probability distribution.
  • a large amount of data is generated for each abnormal mode using the kernel density estimation expressed by the above equation (7).
  • FIG. 8B shows an example of a large amount of data generated for each abnormal mode using kernel density estimation. Note that the same shape plot means a large amount of data obtained from the kernel density estimation of the same abnormal mode. Also, each axis in FIG. 8B is a first principal component to a third principal component (sensor data obtained from three sensors is sparse).
  • the cause analysis unit 34 creates an abnormality cause discriminator from the generated data.
  • the cause analysis unit 34 creates an abnormality cause discriminator p (C p
  • C p represents an abnormality class
  • the abnormality cause classifier algorithm can be used for classification.
  • a support vector machine (SVM) can be used.
  • a Gaussian kernel can be used as the kernel.
  • the processing in FIG. 5 is finished.
  • a structured model that can deal with non-normal distribution is created based on the data related to the abnormality, and a large amount of data generated from the created structured model is used. Create an abnormal cause discriminator that estimates the abnormal mode. As a result, it is possible to create an abnormality cause discriminator that can deal with a non-normal distribution and can estimate an abnormal mode with high accuracy.
  • FIG. 6 is a flowchart showing the processing of the processing apparatus 10 in the operation stage.
  • step S ⁇ b> 50 the abnormality determination unit 32 sets time t from the start of work to 0. Note that the time t from the start of work is updated with the passage of time when the processing of FIG. 6 is started.
  • step S52 the abnormality determination unit 32 determines whether t is smaller than the work end time T.
  • the determination in step S52 is negative, that is, when the time t from the start of the work is equal to or longer than the work end time T (when the work is finished), all the processes in FIG. 6 are finished.
  • the determination in step S52 is affirmative, the process proceeds to step S54.
  • step S54 the abnormality determination unit 32 acquires sensor data x jt .
  • j means a sensor number.
  • step S56 the abnormality determination unit 32 calculates an abnormality score s jt using the above equation (1). As described above, in the present embodiment, since an abnormality detection algorithm that outputs an abnormality score is assumed, the abnormality score s jt can be calculated for each sensor or sensor group.
  • step S58 the abnormality determination unit 32 determines whether there is an abnormality using the abnormality detection discriminator.
  • the abnormality determination unit 32 uses the abnormality detection discriminator created in step S12 of FIG. 5 and determines that an abnormality is detected when the sensor data is out of the threshold range (the range between the broken lines in FIG. 2). to decide. If the determination in step S58 is negative, that is, if it is normal, the process returns to step S52, but if the determination is affirmative, the process proceeds to step S60.
  • step S60 the abnormality determination unit 32 temporarily stops the robot 22.
  • step S62 the cause analysis unit 34 performs cause determination using the abnormality cause discriminator.
  • the cause analysis unit 34 substitutes the abnormality score s jt before and after the abnormality determination into the abnormality cause discriminator, and determines which abnormality is present.
  • FIG. 7C schematically shows the processing content of step S62.
  • each abnormality is “abnormality 1” that requires the robot 22 to stop, “abnormality 2” that requires the robot 22 to retry, and the robot 22.
  • the abnormality cause identifier used by the cause analysis unit 34 is an abnormality cause identifier generated based on sparse sensor data, that is, important data related to the abnormality.
  • the abnormality cause discriminator used by the cause analysis unit 34 is an abnormality cause discriminator that can be applied to a complicated model that cannot be calculated by the maximum likelihood estimation method. For this reason, the cause analysis unit 34 can accurately analyze the cause of the abnormality by using the sensor data obtained at the timing when the abnormality is detected or immediately after.
  • step S64 the cause analysis unit 34 determines whether or not the determination result in step S62 is abnormality 1. If the determination in step S64 is affirmative, the process proceeds to step S66, the robot 22 is stopped, and all the processes in FIG. 6 are terminated.
  • step S64 determines whether or not there is an abnormality 2. If the determination in step S68 is affirmative, the process proceeds to step S70, and the cause analysis unit 34 instructs the robot 22 to execute a retry.
  • step S68 determines whether the determination in step S68 is negative, it is an abnormality 3. Therefore, the cause analysis unit 34 proceeds to step S72 and instructs the operation correction unit 36 to execute correction. .
  • the motion correction unit 36 corrects the motion of the robot 22 by a correction method corresponding to the cause of the abnormality.
  • step S70 or step S72 it returns to step S52 and repeats the process after step S52.
  • the cause of the abnormality is accurately determined, and a response (stop, retry, correction, etc.) suitable for the determined abnormality cause is performed. Can do.
  • the cause analysis unit 34 obtains test data, an extraction unit that sparses test data to extract data related to anomalies, and the similarity between sparse test data among multiple sensors.
  • Functions are realized as a conversion unit that converts data into graph-structured structure data that focuses on the relationship and a generation unit that generates an abnormality cause discriminator.
  • the cause analysis unit 34 acquires sensor data (test data) of the robot 22 and performs a test based on the threshold value used when detecting an abnormality. Data related to abnormality (sparse sensor data) is extracted from the data. Then, the cause analysis unit 34 converts the sparse sensor data into graph-structured structure data focusing on the similarity between the plurality of sensors, and generates an abnormality cause discriminator using the converted structure data. .
  • the abnormality cause discriminator used by the cause analysis unit 34 is generated using sparse sensor data, and is a complex model (non-parametric model) that cannot be calculated by the maximum likelihood estimation method. It is an abnormal cause discriminator that can also be applied.
  • the cause analysis unit 34 can accurately analyze the cause of the abnormality by using the sensor data obtained at the timing when the abnormality is detected or immediately after. Accordingly, the robot 22 can be stopped before a part of the product (parts or the like) manufactured by the robot 22 is destroyed.
  • a part of the product is destroyed after about 400 msec from the abnormality determination, but in this embodiment, the cause analysis can be performed in a short time (for example, about 100 msec) after the abnormality determination, so the part of the product is destroyed. Therefore, the cause analysis can be performed with high accuracy.
  • a high accuracy rate of 97% can be obtained even if sensor data (data after 100 msec from the abnormality determination) at the stage where the part is not damaged immediately after the abnormality determination is used ( FIG. 9 (a)).
  • the cause analysis unit 34 performs sparse by setting the value of the sensor data included in the range (normal range) defined by the threshold among the test data to 0. As a result, it is possible to simply and appropriately sparse, and to acquire only data related to the abnormality.
  • the cause analysis unit 34 performs dimension compression on the Gram matrix.
  • the eigenvalue can be set only to an eigenvalue greater than 0, so that no extra calculation is required, modeling becomes easier, and as a result, the specific performance of the cause of the abnormality can be improved.
  • Second Embodiment is described along the flowchart of FIG.
  • a part of the processing of FIG. 6 of the first embodiment is changed to improve the accuracy of the abnormality detection discriminator.
  • portions different from the process of FIG. 6 are indicated by bold lines.
  • step S50 to S70 are executed in the same manner as in the first embodiment, except that if the determination in step S58 is negative, the process proceeds to step S174. Further, in step S171 after step S68, it is determined whether or not “abnormality 3”. When the determination is affirmed, the process proceeds to step S72, and when the determination is negative (when determined to be normal) ) Is different from that in step S178.
  • the abnormality determination unit 32 determines that the abnormality is detected using the abnormality detection discriminator (S58: No), but the cause analysis unit 34 determines that there is some abnormality using the abnormality cause discriminator ( If it is determined that the abnormality needs to be corrected or stopped as in abnormality 1 or 3 (S176), the robot 22 is temporarily stopped (S178). Then, the cause analysis unit 34 performs output (display or the like) for causing the worker to determine whether the worker is normal or abnormal, causes the worker to determine whether the worker is normal or abnormal, and based on the result (whether the worker is abnormal). When it is determined, a process of updating (relearning) each classifier is executed (S180).
  • the cause analysis unit 34 determines that the result is normal as a result of the cause determination using the abnormality cause discriminator (S62). Similarly (S171: No), similarly, the robot 22 is temporarily stopped (S178). Then, the cause analysis unit 34 performs output (display or the like) for causing the worker to determine whether it is normal or abnormal, causes the operator to determine whether it is normal or abnormal, and updates each discriminator based on the result.
  • the process of re-learning is executed (S180).
  • step S180 the process returns to step S50.
  • the cause analysis unit 34 functions as an output unit that performs output based on the determination result using the abnormality detection discriminator and the determination result using the abnormality cause discriminator.
  • the processing device 10 executes the processing of FIG. 10 to check whether the result of abnormality detection matches the result of abnormality cause analysis. If there is a contradiction, let the operator determine whether it is normal or abnormal. And the abnormality determination part 32 re-learns each discriminator, when an operator determines that it is abnormal. Thereby, it becomes possible to improve the identification accuracy of the cause of abnormality by using the discriminator after relearning.
  • the present invention is not limited to this.
  • the present invention may be applied to abnormality detection and abnormality cause determination of a robot other than the production robot, or may be applied to abnormality detection and abnormality cause determination of an apparatus other than the robot.
  • the above processing functions can be realized by a computer.
  • a program describing the processing contents of the functions that the processing apparatus should have is provided.
  • the program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).
  • the program When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
  • a portable recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
  • the computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
  • Processing device (judgment device) 22 Robot (device) 24 sensor 32 abnormality determination part (abnormality detection execution part) 34 Cause analysis unit (acquisition unit, extraction unit, conversion unit, generation unit, abnormality cause identification unit, output unit)

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Manipulator (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

異常原因を精度良く分析するため、原因分析部３４は、ロボット２２のテストデータを取得し、異常を検知する際に用いる閾値に基づいて、テストデータから異常に関連するデータを抽出する（スパース化する）。そして、原因分析部３４は、スパース化したセンサデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換し、変換後の構造データを用いて、最尤推定法で計算できないような複雑なモデル（ノンパラメトリックなモデル）にも適用できる異常原因識別器を生成する。

Description

判定装置、判定方法及び判定プログラム
　本発明は、判定装置、判定方法及び判定プログラムに関する。
　世界各国の生産現場では、主に産業用ロボットを導入することで自動化及び省人化を図っており、これによりコスト削減や生産効率の向上を図っている。産業用ロボット自体は数十年前から生産現場に導入されていたが、教示した動作を単純に繰り返すのみであったため、製品の変化には柔軟に対応することができなかった。また、変化に対応できず、不良品を大量に作り出す可能性があったため、作業員がロボットを逐一調整する必要があった。
　近年においては、人工知能の１分野である機械学習技術を利用して、ロボット自身に自律的に判断・対応させる知能化された自動化ラインの研究開発が積極的に行われている。また、生産設備の自律判断を実現するために、作業異常を精度よく検知するための技術が知られている（例えば、特許文献１等参照）。
特開２０１０－７８４６７号公報
　生産ロボットの自律判断を実現するためには、作業異常を検知した場合に、部品等の破損が発生する前に早急に生産ロボットを停止することが求められる。一方、作業異常の原因を解析し、推定するためには詳細なセンサデータが得られることが好ましいが、異常検知後に早急に生産ロボットを停止してしまうと、それ以降はセンサデータを取得できないため、異常原因を推定することが難しくなる。
　なお、生産ロボットに限らず、他のロボットや装置においても同様の課題がある。
　１つの側面では、本発明は、異常原因を精度良く分析することが可能な判定装置、判定方法及び判定プログラムを提供することを目的とする。
　一つの態様では、判定装置は、装置の動作に関するセンサデータを取得する取得部と、取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連するデータを抽出する抽出部と、抽出した前記異常に関連するデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換する変換部と、変換後の前記構造データを用いて、異常原因を識別する識別器を生成する生成部と、を備えている。
　異常原因を精度良く分析することができる。
第１の実施形態に係る作業装置の全体構成を説明するための図である。 センサの出力値の変化の一例を示す図である。 処理装置のハードウェア構成を示す図である。 処理装置の機能ブロック図である。 事前準備段階における処理装置の処理を示すフローチャートである。 運用段階における処理装置の処理を示すフローチャートである。 図７（ａ）～図７（ｃ）は、図５、図６の処理を説明するための図である。 図８（ａ）は、スパース化したセンサデータの一例を示す図であり、図８（ｂ）は、異常モードごとに生成された大量のデータの一例を示す図である。 図９（ａ）は、第１の実施形態と比較例との正解率を比較するためのグラフであり、図９（ｂ）は、比較例においてスパース化モデルから生成された大量のデータの一例を示す図である。 第２の実施形態の運用段階における処理装置の処理を示すフローチャートである。
《第１の実施形態》
　以下、第１の実施形態について、図１～図９に基づいて詳細に説明する。
　図１は、第１の実施形態に係る作業装置１００の全体構成を説明するための図である。図１に示すように、作業装置１００は、ロボット２２、コントローラ１４、カメラ１２、処理装置１０などを備える。
　ロボット２２は、例えば産業用ロボットである。ロボット２２は、例えば、ステージ２５と、マニピュレータ２６と、を有する。マニピュレータ２６は、作用部２８を用いて作業を行う。マニピュレータ２６が実行する作業は、例えば、プリント基板に搭載する部品をピックアップし、部品をプリント基板上に搬送し、プリント基板に部品を搭載する作業などである。作用部２８は、例えばハンド機構などである。ステージ２５は、マニピュレータ２６を支持する。ロボット２２は、コントローラ１４により制御される。コントローラ１４は、一連の作業の時系列の教示データ列に基づいて、ロボット２２を動作させる。ここで、教示データ列は、例えば、図３に示す入出力インタフェース９７を介して外部から取得してもよいし、予めＨＤＤ９６等に格納されていてもよい。
　センサ２４は、マニピュレータ２６に設けられ、ロボット２２が行う作業の状況を検出する。センサ２４としては、例えばマニピュレータ２６の歪みを検出する歪みセンサや、３軸または６軸力覚センサ、荷重センサ、圧力センサ、加速度センサ、マイクロフォン等を用いることができる。センサ２４は、マニピュレータ２６に対して複数設けられているものとする。なお、センサ２４として３軸または６軸力覚センサを用いる場合、作用点の力ベクトルおよび／またはトルクを検出することができる。図２には、センサ２４の出力値の変化の一例が示されている。なお、図２において、横軸はロボット２２の作業開始からの時間（時刻）を表し、縦軸はセンサ２４の出力値（センサ値）を表す。図２に示すように、ロボット２２が一連の動作を行っている間に、センサ２４の出力値（実線で示す波形）は変化する。なお、図２において、破線で上下挟まれた範囲は、後述する異常判断において利用する閾値を示している。
　図１に戻り、カメラ１２は、例えば、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサ等の２次元画像センサであるものとする。ただし、これに限られるものではなく、カメラ１２は、１次元画像センサであってもよい。
　処理装置１０は、カメラ１２が取得した画像データ、センサ２４が検出するデータ、作用部２８の座標位置などに基づいて、ロボット２２の作業状況の良否（正常か異常か）を判定する。また、処理装置１０は、異常と判定した場合に、異常の原因を特定する。なお、以下においては、説明の便宜上、カメラ１２が取得した画像データ、センサ２４が検出するデータ、作用部２８の座標位置などの各種データを「センサデータ」と呼ぶものとする。
　図３には、処理装置１０のハードウェア構成が示されている。図３に示すように、処理装置１０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、入出力インタフェース９７、表示部９３、入力部９５、及び可搬型記憶媒体用ドライブ９９等を備えている。これら処理装置１０の構成各部は、バス９８に接続されている。表示部９３は、液晶ディスプレイ等を含み、入力部９５は、キーボードやマウス、入力ボタン等を含む。処理装置１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（判定プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（判定プログラムを含む）をＣＰＵ９０が実行することにより、図４に示す、各部の機能が実現される。
　図４は、処理装置１０の機能ブロック図である。処理装置１０は、ＣＰＵ９０がプログラムを実行することで、センサデータ取得部３０、異常検知実行部としての異常判断部３２、異常原因識別部としての原因分析部３４、及び動作補正部３６として機能する。なお、図４に示す学習データ格納部４０は、ＨＤＤ９６等により実現されている。学習データ格納部４０には、後述する各種データが格納されている。
　センサデータ取得部３０は、センサデータ（カメラ１２が取得した画像データ、センサ２４が検出するデータ、作用部２８の座標位置など）を取得し、異常判断部３２に送信する。
　異常判断部３２は、センサデータ取得部３０から受信したセンサデータを用いて、異常の発生有無を判断する。具体的には、異常判断部３２は、学習データ格納部４０に格納されている異常検知識別器情報から得られる異常検知識別器を用いて、異常の発生有無を判断する。なお、異常判断部３２は、事前に、学習データ格納部４０に格納されている学習データの一部（訓練データと呼ぶ）を用いて、異常検知識別器情報を作成し、学習データ格納部４０に格納する。
　原因分析部３４は、異常判断部３２において異常と判断されたときのセンサデータに基づいて、異常の原因を分析する。具体的には、原因分析部３４は、学習データ格納部４０に格納されている異常原因識別器情報から得られる異常原因識別器を用いて、原因分析を行う。なお、原因分析部３４は、事前に、学習データ格納部４０に格納されている学習データの一部（テストデータと呼ぶ）を用いて、異常原因識別器情報を作成し、学習データ格納部４０に格納する。ここで、異常原因には、嵌合位置ズレｘ方向異常や、ピン破損異常などが含まれる。嵌合位置ズレｘ方向異常は、プリント基板に形成されている孔と、部品に設けられたピンとのｘ方向の位置ズレにより発生する異常を意味する。また、ピン破損異常は、部品に設けられたピンの破損（曲がり等）による異常を意味する。これら各異常は、異常を解消するために必要な手段や措置によって分類されるものとする。本実施形態では、各異常は、ロボット２２を停止する必要のある異常、ロボット２２に再度動作を実行させる（リトライする）必要のある異常、ロボット２２の動作を補正する必要のある異常、に分類されるものとする。
　動作補正部３６は、原因分析部３４による分析の結果、異常の原因が、補正により対応可能な原因であった場合に、ロボット２２の動作を補正する。
　学習データ格納部４０は、異常判断部３２が異常判断に用いるデータや原因分析部３４が原因分析に用いるデータを格納する。例えば、学習データ格納部４０は、異常判断部３２が用いる訓練データや原因分析部３４が用いるテストデータを格納する。また、異常判断部３２が用いる異常検知識別器情報や、原因分析部３４が用いる異常原因識別器情報を格納する。
　次に、処理装置１０の処理について、図５、図６のフローチャートに沿って詳細に説明する。
（事前準備段階）
　図５には、事前準備段階における処理装置１０の処理がフローチャートにて示されている。
　ここで、本実施形態では、前述したように、学習データ格納部４０に、学習データとして、２種類のデータ（訓練データとテストデータ）が格納されている。訓練データは、異常検知識別器情報を生成するために用いるデータであり、テストデータは異常原因識別器情報を生成するために用いるデータである。
　図５のステップＳ１０において、異常判断部３２は、学習データ格納部４０から訓練データを取得する。
　次いで、ステップＳ１２では、異常判断部３２が、訓練データから異常検知のための異常検知識別器を作成する。具体的には、異常判断部３２は、訓練データに基づいて、図２において破線で示すような異常検知のための閾値を求める。なお、閾値は、センサごと又はセンサ群ごとに求めるものとする。異常判断部３２は、閾値の情報に基づいて異常検知識別器を作成する。なお、異常判断部３２は、求めた閾値の情報を、異常検知識別器情報として学習データ格納部４０に格納しておく。なお、異常検知アルゴリズムとしては、様々なアルゴリズムを用いることができるが、異常検知アルゴリズムの閾値を用いることで、各センサの異常スコア値（または異常値）が得られるものとする。
　次いで、ステップＳ１４では、原因分析部３４が、学習データ格納部４０からテストデータを取得する。例えば、図７（ａ）に示すようなテストデータｘ1…ｘ6等を取得する。なお、ｉはセンサの番号を意味し、ｘiは、センサｉのテストデータを意味する。
　次いで、ステップＳ１６では、原因分析部３４が、テストデータを異常検知の閾値を用いてスパース化する。スパース化により、異常に関連するデータのみを抽出することができる。具体的には、原因分析部３４は、テストデータを、異常検知識別器に順次入力し、異常スコア値を取得する。そして、原因分析部３４は、取得した異常スコア値を異常検知で用いられた閾値でスパース化する。ここで、最も自然なセンサデータのスパース化は、スパース化後の異常スコアをｓi、閾値をｔｈiとすると、次式（１）にて表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ａi（ｘi）は、異常スコア値を意味し、Ｄをセンサｉにおける学習データとすると、次式（２）にて表すことができる。
Figure JPOXMLDOC01-appb-M000002
　図７（ｂ）の上段には、スパース化されたセンサデータｓiの一例が示されている。スパース化されたセンサデータは、元データ（図７（ａ）のデータ）と同様に時系列データである。したがって、スパース化されたセンサデータは何らかの代表値に変えておく必要がある。ここではある窓幅（図７（ｂ）の上段の破線枠参照）を設定し、その平均値を代表値とする。これらを全センサ、および全テストデータに対して実施して、異常原因識別器を作るためのデータセットを用意する。なお、図８（ａ）には、スパース化したセンサデータ（異常に関連するデータ）の一例が示されている。図８（ａ）は、一例としてセンサ１～３のスパース化されたセンサデータの関係を３次元座標にて示したものである。図８（ａ）において同一の形状で表されている各点は、同一の原因の異常が発生しているときに得られたデータ（スパース化後）を意味している。
　次いで、ステップＳ１８では、原因分析部３４が、異常スコア間の類似関係を辺、センサを点とするグラフ構造を作成する。図７（ｂ）の下段には、グラフ構造の一例が示されている。
　ここでは、Ｌ１正則化（ラッソ：Lasso）といったテクニックを用いず、最尤推定法で計算できないような複雑なモデルも適用できるようにするために、分散共分散行列（精度行列）の一般表現であるＧｒａｍ行列を構造化に用いる。Ｇｒａｍ行列Ｋは次式（３）で表現される。なお、ｋは定数である。
Figure JPOXMLDOC01-appb-M000003
　なお、Ｋは、異常モードｐごとに作成される。
　ここで、行列要素は式（４）のように表される。＜＞は内積の記号であり、Ｈｉｌｂｅｒｔ空間となる。
Figure JPOXMLDOC01-appb-M000004
　このＧｒａｍ行列の行列要素のことを半正定値カーネルという。この半正定値カーネルはＨｉｌｂｅｒｔ空間を前提とするために、下記（５）に示す３つの条件（内積の公理）を満たす。
Figure JPOXMLDOC01-appb-M000005
　本技術で重要なのは性質（ａ）、（ｂ）である。性質（ａ）からＧｒａｍ行列は対称行列であり、性質（ｂ）からＧｒａｍ行列は半正定値性を有している。対称行列は有用だが、半正定値性はＧｒａｍ行列を用いて確率モデルを作成する際には問題となる。つまり固有値が０の場合も想定され、その場合にはＧｒａｍ行列は特異行列となり、確率モデルが原点に収束してしまう。したがって、固有値分解を実施し、固有値が０より大きい固有値と、固有ベクトルのみを抽出し、固有値が０より大きなものを行列化した対角化行列と、選択した固有値に対応する固有ベクトルを並べた直交行列を再構成する（次元圧縮する）。
　したがって、次のステップＳ２０では、原因分析部３４が、正定値Ｇｒａｍ行列を導出する。この場合、原因分析部３４は、以下の式（６）でスペクトル分解することでＧｒａｍ行列を正定値化する。このときカーネルとしては、ガウスカーネルを用いることができる。
Figure JPOXMLDOC01-appb-M000006
　次いで、ステップＳ２２では、原因分析部３４が、正定値Ｇｒａｍ行列から確率分布を推定する。ここで、正定値Ｇｒａｍ行列から得られる確率モデルの一つとしてカーネル密度推定が考えられ、次式（７）にて表される。
Figure JPOXMLDOC01-appb-M000007
　カーネル密度推定はノンパラメトリックな確率密度推定アプローチであり、ヒストグラム密度推定の不連続性を克服した拡張とみなされる。正規分布などのパラメトリックモデルとは異なり、データ分布からモデルを推定するために表現能力は非常に高いことが利点に挙げられ、正規分布とは異なる母集団分布にも対応可能である（もちろん、母集団が正規分布でも用いることが出来る）。
　次いで、ステップＳ２４では、原因分析部３４が、確率分布を用いてデータを多数生成する。この場合、上式（７）で表されるカーネル密度推定を用いて、異常モードごとにデータを大量に生成する。図８（ｂ）には、カーネル密度推定を用いて、異常モードごとに生成された大量のデータの一例が示されている。なお、同一の形状のプロットは、同一の異常モードのカーネル密度推定から得られた大量のデータを意味する。また、図８（ｂ）の各軸は、第１主成分～第３主成分（３つのセンサから得られたセンサデータをスパース化したもの）である。
　次いで、ステップＳ２６では、原因分析部３４が、生成したデータから異常原因識別器を作成する。ここでは、原因分析部３４は、異常原因毎に生成された大量のデータから異常原因識別器ｐ（Ｃp｜ｘ）を作成し、原因を分類する。なお、Ｃpは異常のクラスを表し、ｐは異常モードのラベルを表す（例えば、嵌合位置ズレx方向異常をｐ＝１、ピン破損異常をｐ＝２などとする）。異常原因識別器のアルゴリズムは分類に用いることができればよい。例えば、サポートベクタ―マシーン（Support Vector Machine：SVM）を用いることができる。この場合、カーネルとしてはガウスカーネルを用いることができる。
　以上のように、ステップＳ２６までの処理が終了すると、図５の処理が終了する。本実施形態では、図５の処理を行うことで、異常に関連するデータに基づいて、非正規分布にも対応可能な構造化モデルを作成し、作成した構造化モデルから生成した大量のデータから異常モードを推定する異常原因識別器を作成する。これにより、非正規分布に対応可能であり、高精度に異常モードを推定することが可能な異常原因識別器を作成することができる。
（運用段階）
　図６には、運用段階における処理装置１０の処理がフローチャートにて示されている。
　図６の処理が行われる前提として、図５の処理がすでに実行されているものとする。図６の処理では、まず、ステップＳ５０において、異常判断部３２が、作業開始からの時間ｔを０に設定する。なお、作業開始からの時間ｔは、図６の処理が開始されると、時間経過に応じて更新される。
　次いで、ステップＳ５２では、異常判断部３２が、ｔが作業終了時間Ｔより小さいか否かを判断する。このステップＳ５２の判断が否定された場合、すなわち、作業開始からの時間ｔが作業終了時間Ｔ以上となった場合（作業が終了した場合）には、図６の全処理を終了する。一方、ステップＳ５２の判断が肯定された場合には、ステップＳ５４に移行する。
　次いで、ステップＳ５４では、異常判断部３２が、センサデータｘjtを取得する。なお、ｊはセンサ番号を意味する。次いで、ステップＳ５６では、異常判断部３２が、上式（１）を用いて異常スコアｓjtを計算する。前述のように、本実施形態では、異常スコアを出力する異常検知アルゴリズムが前提となっているため、センサ毎、あるいはセンサ群ごとに異常スコアｓjtを計算することができる。
　次いで、ステップＳ５８では、異常判断部３２が、異常検知識別器を用いて、異常か否かを判断する。この場合、異常判断部３２は、図５のステップＳ１２で作成された異常検知識別器を用い、センサデータが閾値の範囲（図２の破線で挟まれた範囲）から外れた場合に、異常と判断する。ステップＳ５８の判断が否定された場合、すなわち、正常である場合には、ステップＳ５２に戻るが、肯定された場合には、ステップＳ６０に移行する。
　ステップＳ６０に移行すると、異常判断部３２は、ロボット２２を一時停止する。
　次いで、ステップＳ６２では、原因分析部３４が、異常原因識別器を用いて原因判定を行う。この場合、原因分析部３４は、異常判断前後の異常スコアｓjtを異常原因識別器に代入し、どの異常であるかを判定する。図７（ｃ）には、本ステップＳ６２の処理内容が模式的に示されている。なお、本実施形態では、前述したように、各異常が、ロボット２２の停止が必要な異常である「異常１」と、ロボット２２のリトライが必要な異常である「異常２」と、ロボット２２の動作の補正が必要な異常である「異常３」と、に分類されている。したがって、原因分析部３４は、判定結果（異常の原因）に基づいて、異常が異常１～３のいずれに該当するかを判定する。
　ここで、本実施形態においては、原因分析部３４が用いる異常原因識別器は、スパース化したセンサデータ、すなわち異常に関連する重要なデータに基づいて生成された異常原因識別器である。また、原因分析部３４が用いる異常原因識別器は、最尤推定法で計算できないような複雑なモデルにも適用できるような異常原因識別器である。このため、原因分析部３４は、異常を検知したタイミング又は直後のタイミングで得られたセンサデータを用いて、異常原因の分析を精度よく行うことが可能である。
　次いで、ステップＳ６４では、原因分析部３４が、ステップＳ６２の判定結果が異常１か否かを判断する。このステップＳ６４の判断が肯定された場合には、ステップＳ６６に移行し、ロボット２２を停止させた後、図６の全処理を終了する。
　一方、ステップＳ６４の判断が否定され、ステップＳ６８に移行すると、原因分析部３４は、異常２か否かを判断する。このステップＳ６８の判断が肯定された場合には、ステップＳ７０に移行し、原因分析部３４は、リトライの実行をロボット２２に対して指示する。
　これに対し、ステップＳ６８の判断が否定された場合には、異常３であるため、原因分析部３４は、ステップＳ７２に移行して、動作補正部３６に対して補正を実行するよう指示を出す。動作補正部３６は、異常原因に対応する補正方法で、ロボット２２の動作を補正する。
　なお、ステップＳ７０又はステップＳ７２の処理が行われた後は、ステップＳ５２に戻り、ステップＳ５２以降の処理を繰り返し実行する。これにより、ロボット２２に異常が発生した場合に即座にロボット２２を停止させたとしても、異常原因を精度よく判定し、判定した異常原因に適した対応（停止、リトライ、補正等）を行うことができる。
　これまでの説明からわかるように、原因分析部３４により、テストデータを取得する取得部、テストデータをスパース化して異常に関するデータを抽出する抽出部、スパース化したテストデータを複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換する変換部、異常原因識別器を生成する生成部、としての機能が実現されている。
　以上、詳細に説明したように、本第１の実施形態によると、原因分析部３４は、ロボット２２のセンサデータ（テストデータ）を取得し、異常を検知する際に用いる閾値に基づいて、テストデータから異常に関連するデータ（スパース化したセンサデータ）を抽出する。そして、原因分析部３４は、スパース化したセンサデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換し、変換後の構造データを用いて、異常原因識別器を生成する。これにより、本実施形態では、原因分析部３４が用いる異常原因識別器が、スパース化したセンサデータを用いて生成され、最尤推定法で計算できないような複雑なモデル（ノンパラメトリックなモデル）にも適用できるような異常原因識別器となっている。このため、原因分析部３４は、異常を検知したタイミング又は直後のタイミングで得られたセンサデータを用いて、異常原因の分析を精度よく行うことが可能である。これにより、ロボット２２が製造している製品の一部（部品等）が破壊される前にロボット２２を停止することができる。
　例えば、異常判断後から４００ｍｓｅｃ程度経過すると、製品の一部が破壊されてしまうが、本実施形態では、異常判断から短時間（例えば１００ｍｓｅｃ程度）で原因分析ができるため、製品の一部を破壊することなく、精度よく原因分析を行うことができる。例えば、異常判断直後で部品が破損していない段階のセンサデータ（異常判断から１００ｍｓｅｃ後のデータ）を用いても、本実施形態によれば、９７％という高い正解率を得ることができた（図９（ａ）参照）。なお、本発明者が、ガウシアングラフィカルモデルを用いてセンサ群の依存関係を構造化する技術を用いた異常分析（比較例）を行ったところ、スパース化されたセンサデータに基づくモデルから大量に生成されたデータは、図９（ｂ）のようになった。図９（ｂ）と図８（ｂ）を比較するとわかるように、比較例（図９（ｂ））では各異常モードのデータが入り混じっているが、本発明（図８（ｂ））では、各異常モードのデータが比較的分離された状態となっている。この比較例の場合には、異常判断直後で部品が破損していない段階のセンサデータ（異常判断から１００ｍｓｅｃ後のデータ）を用いると、正解率は７２％程度であった（図９（ａ）参照）。なお、図９（ａ）の例では、テストデータとして１６２個のデータを用いた。テストデータの内訳は、正常データが１７個、ピン曲がりが５個、＋ｘ方向、－ｘ方向、＋ｙ方向、－ｙ方向のズレがそれぞれ３５個であった。
　また、本実施形態では、原因分析部３４は、テストデータのうち、閾値により規定される範囲（正常範囲）に含まれるセンサデータの値を０にすることでスパース化を行うこととしている。これにより、簡易かつ適切にスパース化を行い、異常に関連するデータのみを取得することが可能である。
　また、本実施形態では、原因分析部３４は、Ｇｒａｍ行列を次元圧縮することとしている。これにより、固有値を０よりも大きい固有値のみにすることができるため、余分な計算が不要となり、モデル化しやすくなり、ひいては異常原因の特定性能を向上することができる。
《第２の実施形態》
　次に、第２の実施形態について、図１０のフローチャートに沿って説明する。本第２の実施形態では、第１の実施形態の図６の処理の一部を変更し、異常検知識別器の精度を向上することとしている。なお、図１０の処理において、図６の処理と異なる箇所は太線にて示している。
　本第２の実施形態では、ステップＳ５０～Ｓ７０までの処理は、第１の実施形態と同様に実行するが、ステップＳ５８の判断が否定された場合に、ステップＳ１７４に移行する点が異なる。また、ステップＳ６８の後のステップＳ１７１において、「異常３」であるか否かを判断し、判断が肯定された場合にステップＳ７２に移行し、判断が否定された場合（正常と判定された場合）に、ステップＳ１７８に移行する点が異なる。
　図１０の処理では、異常判断部３２が異常検知識別器を用いて正常と判断したが（Ｓ５８：Ｎｏ）、原因分析部３４が異常原因識別器を用いて何らかの異常があると判断した場合（Ｓ１７４：Ｙｅｓ）で、かつ異常１又は３のように補正又は停止が必要な異常と判断した場合（Ｓ１７６）に、ロボット２２を一旦停止する（Ｓ１７８）。そして、原因分析部３４は、作業者に正常か異常かを判断させるための出力（表示等）を行い、作業者に正常か異常かを判断させ、その結果に基づいて（作業者が異常と判断した場合に）、各識別器を更新する（再学習する）処理を実行する（Ｓ１８０）。
　また、異常判断部３２が異常検知識別器を用いて異常と判断したが（Ｓ５８：Ｙｅｓ）、原因分析部３４が異常原因識別器を用いた原因判定（Ｓ６２）の結果、正常と判定した場合（Ｓ１７１：否定）にも、同様に、ロボット２２を一旦停止する（Ｓ１７８）。そして、原因分析部３４は、作業者に正常か異常かを判断させるための出力（表示等）を行い、作業者に正常か異常かを判断させ、その結果に基づいて、各識別器を更新する（再学習する）処理を実行する（Ｓ１８０）。
　なお、ステップＳ１８０の後は、ステップＳ５０に戻る。
　なお、本実施形態では、原因分析部３４が、異常検知識別器を用いた判断結果と異常原因識別器を用いた判断結果とに基づく出力を行う出力部として機能している。
　以上説明したように、本第２の実施形態によると、処理装置１０が図１０の処理を実行することにより、異常検知の結果と異常原因分析との結果が一致しているか否かを確認し、矛盾がある場合に作業者に正常か異常かを判断させる。そして、異常判断部３２は、作業者が異常と判断した場合に各識別器を再学習する。これにより、再学習後の識別器を用いることで、異常原因の特定精度を向上することが可能となる。
　なお、上記第１、第２の実施形態では、生産ロボット（産業用ロボット）の異常検知及び異常原因判定に、本発明を適用する場合について説明したが、これに限られるものではない。例えば生産ロボット以外のロボットの異常検知及び異常原因判定に本発明を適用してもよいし、ロボット以外の装置の異常検知及び異常原因判定に本発明を適用してもよい。
　なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
　プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
　プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
　上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
　　１０　処理装置（判定装置）
　　２２　ロボット（装置）
　　２４　センサ
　　３２　異常判断部（異常検知実行部）
　　３４　原因分析部（取得部、抽出部、変換部、生成部、異常原因識別部、出力部）

Claims (11)

  1. 　装置の動作に関するセンサデータを取得する取得部と、
    　取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連するデータを抽出する抽出部と、
    　抽出した前記異常に関連するデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換する変換部と、
    　変換後の前記構造データを用いて、異常原因を識別する識別器を生成する生成部と、を備える判定装置。
  2. 　前記抽出部は、前記センサデータのうち、前記閾値により規定される正常範囲に含まれるセンサデータの値を０にすることを特徴とする請求項１に記載の判定装置。
  3. 　前記構造データは、Ｇｒａｍ行列であることを特徴とする請求項１又は２に記載の判定装置。
  4. 　前記生成部は、前記構造データを次元圧縮することを特徴とする請求項３に記載の判定装置。
  5. 　前記閾値を用いた異常検知を実行する異常検知実行部と、
    　前記識別器を用いた異常原因の識別を実行する異常原因識別部と、
    　前記異常検知の結果と前記異常原因の識別結果とに基づく出力を行う出力部と、
    を更に備える請求項１～４のいずれか一項に記載の判定装置。
  6. 　装置の動作に関するセンサデータを取得し、
    　取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連するデータを抽出し、
    　抽出した前記異常に関連するデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換し、
    　変換後の前記構造データを用いて、異常原因を識別する識別器を生成する、
    処理をコンピュータが実行することを特徴とする判定方法。
  7. 　前記抽出する処理では、前記センサデータのうち、前記閾値により規定される正常範囲に含まれるセンサデータの値を０にすることを特徴とする請求項６に記載の判定方法。
  8. 　前記構造データは、Ｇｒａｍ行列であることを特徴とする請求項６又は７に記載の判定方法。
  9. 　前記生成する処理では、前記構造データを次元圧縮することを特徴とする請求項８に記載の判定方法。
  10. 　前記閾値を用いた異常検知を実行し、
    　前記識別器を用いた異常原因の識別を実行し、
    　前記異常検知の結果と前記異常原因の識別結果とに基づく出力を行う処理を前記コンピュータが更に実行することを特徴とする請求項６～９のいずれか一項に記載の判定方法。
  11. 　装置の動作に関するセンサデータを取得し、
    　取得した前記センサデータを用いて異常を検知する際に用いる閾値に基づいて、前記センサデータから異常に関連するデータを抽出し、
    　抽出した前記異常に関連するデータを、複数のセンサ間の類似関係に着目したグラフ構造の構造データに変換し、
    　変換後の前記構造データを用いて、異常原因を識別する識別器を生成する、
    処理をコンピュータに実行させるための判定プログラム。
PCT/JP2017/020581 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム WO2018220813A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019521893A JP6795093B2 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム
PCT/JP2017/020581 WO2018220813A1 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム
CN201780091249.XA CN110678727B (zh) 2017-06-02 2017-06-02 判定装置、判定方法和存储介质
US16/689,229 US11487280B2 (en) 2017-06-02 2019-11-20 Determination device and determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020581 WO2018220813A1 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/689,229 Continuation US11487280B2 (en) 2017-06-02 2019-11-20 Determination device and determination method

Publications (1)

Publication Number Publication Date
WO2018220813A1 true WO2018220813A1 (ja) 2018-12-06

Family

ID=64455239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020581 WO2018220813A1 (ja) 2017-06-02 2017-06-02 判定装置、判定方法及び判定プログラム

Country Status (4)

Country Link
US (1) US11487280B2 (ja)
JP (1) JP6795093B2 (ja)
CN (1) CN110678727B (ja)
WO (1) WO2018220813A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6937330B2 (ja) * 2019-03-04 2021-09-22 株式会社東芝 機械学習モデル圧縮システム、機械学習モデル圧縮方法及びプログラム
JP7436257B2 (ja) * 2020-03-25 2024-02-21 株式会社日立製作所 行動認識サーバ、行動認識システム、および、行動認識方法
US11679500B2 (en) * 2020-12-14 2023-06-20 Honda Motor Co., Ltd. Target object retrieval
JP2022167670A (ja) * 2021-04-23 2022-11-04 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
CN115238753B (zh) * 2022-09-21 2022-12-06 西南交通大学 一种基于局部离群因子的自适应shm数据清洗方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018623A (ja) * 2010-07-09 2012-01-26 Fuji Electric Co Ltd 異常データ分析システム
JP2012058890A (ja) * 2010-09-07 2012-03-22 Hitachi Ltd 異常検知方法及びそのシステム
WO2015129165A1 (ja) * 2014-02-28 2015-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法、符合化方法、端末装置、および基地局装置
JP2016014961A (ja) * 2014-07-01 2016-01-28 株式会社Ihi 異常診断装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH065486B2 (ja) * 1981-03-26 1994-01-19 株式会社安川電機 ロボットの軌跡制御方法
US6035243A (en) * 1993-10-22 2000-03-07 Xerox Corporation System for handling defects produced during the automated assembly of palletized elements
US5475797A (en) * 1993-10-22 1995-12-12 Xerox Corporation Menu driven system for controlling automated assembly of palletized elements
EP0770967A3 (en) * 1995-10-26 1998-12-30 Koninklijke Philips Electronics N.V. Decision support system for the management of an agile supply chain
JP2001252884A (ja) * 2000-03-06 2001-09-18 Matsushita Electric Ind Co Ltd ロボット、ロボットシステムおよびロボットの制御方法
US9053222B2 (en) * 2002-05-17 2015-06-09 Lawrence A. Lynn Patient safety processor
US20070028220A1 (en) * 2004-10-15 2007-02-01 Xerox Corporation Fault detection and root cause identification in complex systems
US7477960B2 (en) * 2005-02-16 2009-01-13 Tokyo Electron Limited Fault detection and classification (FDC) using a run-to-run controller
JP4210270B2 (ja) * 2005-06-07 2009-01-14 ファナック株式会社 ロボット制御装置及びロボット制御方法
US7596718B2 (en) * 2006-05-07 2009-09-29 Applied Materials, Inc. Ranged fault signatures for fault diagnosis
US7716011B2 (en) * 2007-02-28 2010-05-11 Microsoft Corporation Strategies for identifying anomalies in time-series data
WO2008140363A1 (en) * 2007-05-14 2008-11-20 Volvo Technology Corporation Remote diagnosis modellin
GB2464002B (en) * 2007-06-15 2012-03-07 Shell Int Research Remote monitoring system
US8229586B2 (en) * 2007-12-12 2012-07-24 Comau Inc. Method and apparatus for assembling a complex product in a parallel process system
WO2009105112A1 (en) * 2008-02-22 2009-08-27 Hewlett-Packard Development Company, L.P. Detecting anomalies in a sensor-networked environment
JP4826609B2 (ja) * 2008-08-29 2011-11-30 トヨタ自動車株式会社 車両用異常解析システム及び車両用異常解析方法
JP5186322B2 (ja) * 2008-09-26 2013-04-17 インターナショナル・ビジネス・マシーンズ・コーポレーション 時系列データ解析システム、方法及びプログラム
JP5220917B2 (ja) * 2009-03-24 2013-06-26 日立建機株式会社 建設機械の異常検出装置
WO2011104760A1 (ja) 2010-02-26 2011-09-01 株式会社 日立製作所 故障原因診断システムおよびその方法
JP5218470B2 (ja) * 2010-04-28 2013-06-26 株式会社安川電機 ロボットの作業成否判定装置、および方法
JP5311294B2 (ja) * 2010-04-28 2013-10-09 株式会社安川電機 ロボットの接触位置検出装置
US20130060524A1 (en) * 2010-12-01 2013-03-07 Siemens Corporation Machine Anomaly Detection and Diagnosis Incorporating Operational Data
CN103699118B (zh) * 2013-12-18 2016-08-31 北京航天测控技术有限公司 一种航天器运行异常状态的分析方法及装置
US9699049B2 (en) * 2014-09-23 2017-07-04 Ebay Inc. Predictive model for anomaly detection and feedback-based scheduling
US10891558B2 (en) * 2015-01-21 2021-01-12 Anodot Ltd. Creation of metric relationship graph based on windowed time series data for anomaly detection
US10747188B2 (en) * 2015-03-16 2020-08-18 Nec Corporation Information processing apparatus, information processing method, and, recording medium
JP6313730B2 (ja) * 2015-04-10 2018-04-18 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
CN106250709B (zh) * 2016-08-18 2019-01-29 中国船舶重工集团公司第七�三研究所 基于传感器关联网络的燃气轮机异常检测与故障诊断方法
US10733813B2 (en) * 2017-11-01 2020-08-04 International Business Machines Corporation Managing anomaly detection models for fleets of industrial equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018623A (ja) * 2010-07-09 2012-01-26 Fuji Electric Co Ltd 異常データ分析システム
JP2012058890A (ja) * 2010-09-07 2012-03-22 Hitachi Ltd 異常検知方法及びそのシステム
WO2015129165A1 (ja) * 2014-02-28 2015-09-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法、符合化方法、端末装置、および基地局装置
JP2016014961A (ja) * 2014-07-01 2016-01-28 株式会社Ihi 異常診断装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUNSUKE HIROSE ET AL.: "Anomaly Detection based on Doubly-Kernelized Scoring and Matrix Kernels", TRANSACTIONS OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 31, no. 6, 2016, pages 1 - 15 *
TSUYOSHI IDE: "Change-point detection and failure analysis of sensor data using sparse structure leaning", PROVISION, 2010, pages 71 - 76 *

Also Published As

Publication number Publication date
US20200089209A1 (en) 2020-03-19
CN110678727A (zh) 2020-01-10
US11487280B2 (en) 2022-11-01
JPWO2018220813A1 (ja) 2020-03-19
JP6795093B2 (ja) 2020-12-02
CN110678727B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
WO2018220813A1 (ja) 判定装置、判定方法及び判定プログラム
US11741367B2 (en) Apparatus and method for image processing to calculate likelihood of image of target object detected from input image
JP7539592B2 (ja) ＩｎＳｅＧＡＮ：深度画像におけるインスタンスセグメント化のための生成アプローチ
JP2019048365A (ja) 機械学習装置、ロボットシステム及び機械学習方法
US10317854B2 (en) Machine learning device that performs learning using simulation result, machine system, manufacturing system, and machine learning method
JP5406705B2 (ja) データ補正装置及び方法
US20210114209A1 (en) Robot control device, and method and non-transitory computer-readable storage medium for controlling the same
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
JP2019057250A (ja) ワーク情報処理装置およびワークの認識方法
JP7463946B2 (ja) 動作制御プログラム、動作制御方法、および動作制御装置
CN111275758A (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
Zhang et al. Vision-based six-dimensional peg-in-hole for practical connector insertion
JP2018132884A (ja) 判定装置、判定方法および判定プログラム
JP5228856B2 (ja) 作業対象物の位置検出方法および位置検出装置
Wang et al. Alignment Method of Combined Perception for Peg‐in‐Hole Assembly with Deep Reinforcement Learning
EP3878605A1 (en) Robot control device, robot control method, and robot control program
Sileo et al. Real-time object detection and grasping using background subtraction in an industrial scenario
Rakhmetova et al. Study of Computer Vision for Manipulators
Kwiatkowski et al. The good grasp, the bad grasp, and the plateau in tactile-based grasp stability prediction
JPWO2020178913A1 (ja) 検査システム
Zheng et al. Deep Visual-guided and Deep Reinforcement Learning Algorithm Based for Multip-Peg-in-Hole Assembly Task of Power Distribution Live-line Operation Robot
CN105229548B (zh) 使用组装后过程交互印记来检测组装故障的方法和装置
CN116834022B (zh) 机器臂末端负载的质量和质心位置辨识方法及装置
Tian et al. Research on two-stage grasping planning method for multifingered dexterous hand
US20210326754A1 (en) Storage medium, learning method, and information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17911778

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019521893

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17911778

Country of ref document: EP

Kind code of ref document: A1