WO2022130640A1 - 学習装置、推論装置、診断システム、モデル生成方法及びプログラム - Google Patents

学習装置、推論装置、診断システム、モデル生成方法及びプログラム Download PDF

Info

Publication number
WO2022130640A1
WO2022130640A1 PCT/JP2020/047532 JP2020047532W WO2022130640A1 WO 2022130640 A1 WO2022130640 A1 WO 2022130640A1 JP 2020047532 W JP2020047532 W JP 2020047532W WO 2022130640 A1 WO2022130640 A1 WO 2022130640A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
production equipment
learning
inference
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/047532
Other languages
English (en)
French (fr)
Inventor
大樹 阿多
知 生山
諭 名女松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2021559582A priority Critical patent/JP7055258B1/ja
Priority to PCT/JP2020/047532 priority patent/WO2022130640A1/ja
Priority to US17/915,112 priority patent/US12397417B2/en
Priority to CN202080099225.0A priority patent/CN116457736A/zh
Publication of WO2022130640A1 publication Critical patent/WO2022130640A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/14—Supports; Fastening devices; Arrangements for mounting thermometers in particular locations
    • G01K1/143—Supports; Fastening devices; Arrangements for mounting thermometers in particular locations for measuring surface temperatures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • This disclosure relates to a learning device, an inference device, a diagnostic system, a model generation method, and a program.
  • production equipment such as robot arms and belt conveyors process and transport the work to handle the work, and the product is produced.
  • a learning model is generated based on the state of the manufacturing machine, the state of the environment around the manufacturing machine, and the inspection result of the manufactured product, and the learning generated when a defective product occurs.
  • Techniques for identifying anomalous related variables based on the model are disclosed. By identifying the variable related to the abnormality, for example, the control of the manufacturing machine can be changed based on the variable, and the occurrence of defective products can be suppressed.
  • the technique of Patent Document 1 does not use the information obtained by externally observing the manufacturing machine, it may not be possible to accurately identify the variables related to the abnormality. For example, when both the arm and the sensor included in the manufacturing machine are misaligned, the technique of Patent Document 1 may not be able to accurately identify the variable related to the abnormality. That is, the technique of Patent Document 1 has a problem in accuracy in terms of diagnosis of production equipment.
  • the purpose of the present disclosure is to provide a learning device or the like that enables accurate diagnosis of production equipment in view of the above circumstances.
  • the learning device is Setting data showing the settings of the production equipment, image data showing the captured image obtained by imaging the production equipment with the image pickup device, temperature data showing the surface temperature of the production equipment measured by the temperature sensor, and a distance sensor.
  • a learning data acquisition means for acquiring learning data including distance data indicating the distance from the distance sensor to the production equipment and quality data indicating the quality of the work handled by the production equipment.
  • a model generation means for generating a learning model for inferring the quality of the work handled in the production equipment based on the learning data, and To prepare for.
  • the production equipment can be diagnosed with high accuracy.
  • the figure which shows the whole structure of the diagnostic system which concerns on Embodiment 1 of this disclosure The figure which shows an example when the arm of the production equipment which concerns on Embodiment 1 of this disclosure rubs a work. The figure which shows an example of performing sensing from multiple directions to the production equipment which concerns on Embodiment 1 of this disclosure.
  • the figure which shows the functional structure of the inference apparatus which concerns on Embodiment 1 of this disclosure The figure which shows an example of the hardware composition of the learning apparatus and the inference apparatus which concerns on Embodiment 1 of this disclosure.
  • a flowchart showing an example of the operation of model generation by the learning device according to the first embodiment of the present disclosure A flowchart showing an example of the operation of inference by the inference device according to the first embodiment of the present disclosure.
  • the diagnostic system 1 is a diagnostic system for diagnosing the production equipment 2 installed at the production site F.
  • the diagnostic system 1 includes a production facility 2, a camera 4, a temperature sensor 5, a distance sensor 6, an inspection device 7, a learning device 10, an inference device 20, and a data server 30.
  • the production equipment 2, the camera 4, the temperature sensor 5, the distance sensor 6, the inspection device 7, the learning device 10, and the inference device 20 are each communicably connected to the data server 30.
  • the diagnostic system 1 is an example of the diagnostic system according to the present disclosure.
  • the learning device 10, the inference device 20, and the data server 30 are installed, for example, in a control room provided in a factory where the production site F is located. Further, the production equipment 2, the camera 4, the temperature sensor 5, the distance sensor 6, the inspection device 7, and the data server 30 are connected by, for example, an in-factory network. The learning device 10, the inference device 20, and the data server 30 are connected, for example, by a local network in the management room.
  • the production facility 2 is a production facility installed at the production site F and handles the work 3 for the production of the product. It should be noted that the production equipment 2 processes the work 3, transports the work 3, and the like are collectively expressed as "the production equipment 2 handles the work 3."
  • the production equipment 2 includes production machines such as a robot arm, a processing machine, and a belt conveyor. Further, the production equipment 2 is communicably connected to the data server 30, and the setting data of the production equipment 2 is transmitted to the data server 30 as needed.
  • the setting data is, for example, data indicating parameter settings of sensors and actuators included in the production equipment 2.
  • the production equipment 2 is an example of the production equipment according to the present disclosure.
  • the production equipment 2 includes a robot arm and can grab and carry the work 3.
  • the production equipment 2 can grip the work 3 from the side surface by a movable hand portion provided at the tip of the robot arm. More specifically, the production equipment 2 can grab the work 3 by lowering the hand portion to the side surface of the work 3 with the hand portion wider than the width of the work and then closing the hand portion.
  • Camera 4 is a camera installed at the production site F.
  • the camera 4 takes an image of the production equipment 2 and transmits image data indicating the captured image obtained by taking the image to the data server 30.
  • the camera 4 is, for example, a digital camera including a lens and an image pickup device.
  • the camera 4 is an example of the image pickup apparatus according to the present disclosure.
  • the temperature sensor 5 is a temperature sensor installed at the production site F.
  • the temperature sensor 5 measures the surface temperature of the production equipment 2 and transmits temperature data indicating the surface temperature to the data server 30.
  • the temperature sensor 5 is a thermal image sensor capable of obtaining a thermal image of the production equipment 2 by receiving, for example, infrared rays.
  • the thermal image of the production equipment 2 shows the surface temperature distribution of the production equipment 2, so that the temperature data is the data showing the surface temperature distribution of the production equipment 2.
  • the temperature sensor 5 is an example of the temperature sensor according to the present disclosure.
  • the distance sensor 6 is a distance sensor installed at the production site F.
  • the distance sensor 6 measures the distance from the distance sensor 6 itself to the production equipment 2, and transmits the distance data indicating the distance to the data server 30.
  • the distance sensor 6 emits laser light, for example, receives the reflected light of the emitted laser light, and can measure the distance from the distance sensor 6 to each part of the production equipment 2 based on the received reflected light.
  • DetectionAndRanging DetectionAndRanging
  • the distance data is data showing a depth image of the production equipment 2.
  • the distance sensor 6 is an example of the distance sensor according to the present disclosure.
  • FIG. 1 shows one camera 4, one temperature sensor 5, and one distance sensor 6, as shown in FIG. 3, a plurality of sets of cameras 4, temperature sensor 5, and distance sensor 6 are installed at the production site F. It is preferable to sense the production equipment 2 from multiple directions by a plurality of sets of cameras 4, a temperature sensor 5, and a distance sensor 6. By sensing the production equipment 2 from multiple directions, the accuracy of the model generated by the model generation described later is improved, and the accuracy of the diagnosis is also improved.
  • the temperature sensor 5, and the distance sensor 6 transmit image data, temperature data, and distance data to the data server 30, they also transmit data indicating the date and time when these data were acquired to the data server 30.
  • the inspection device 7 is a device that extracts and inspects a part of the work 3 among the work 3 handled by the production equipment 2.
  • the inspection device 7 extracts and inspects one work 3 every time 20 works 3 are handled by, for example, the production equipment 2.
  • the inspection device 7 inspects the work 3 to inspect the quality of the work 3, and transmits quality data indicating the quality of the work 3 to the data server 30.
  • the inspection device 7 inspects the work 3 by, for example, taking an image of the extracted work 3 and comparing the captured image of the work 3 obtained by the image pickup with a non-defective image prepared in advance.
  • the quality data indicating the quality of the work may be simply binary data indicating whether the work 3 is good or bad, or may be data including data that is the basis for determining whether the work 3 is good or bad. ..
  • the quality data may be simply data indicating that the work 3 is defective, or the work is scratched. It may be data showing that, or it may be data showing specifically a scratched part.
  • the inspection device 7 transmits the quality data to the data server 30, the inspection device 7 also transmits data indicating the date and time when the inspected work 3 was handled by the production equipment 2 to the data server 30. This is to identify at what point in time the good / bad data is for the work 3.
  • the data server 30 stores the setting data received from the production equipment 2, the image data received from the camera 4, the temperature data received from the temperature sensor 5, the distance data received from the distance sensor 6, and the quality data received from the inspection device 7. do.
  • the data server 30 also stores the above-mentioned time-related data transmitted together with these data.
  • the data stored in the data server 30 is, for example, as shown in FIG.
  • the data server 30 also stores the learning model described later generated by the learning device 10.
  • the data server 30 transmits the stored learning model to the inference device 20.
  • the data server 30 transmits training data including setting data, image data, temperature data, distance data, and quality data to the learning device 10.
  • the data server 30 transmits inference data including setting data, image data, temperature data, and distance data to the inference device 20. Details of learning and reasoning will be described later.
  • the learning device 10 infers the quality of the work 3 handled by the production facility 2 based on the learning data including the setting data, the image data, the temperature data, the distance data, and the quality data received from the data server 30. It is a learning device that generates a learning model of. In particular, the learning device 10 generates a learning model based on image data, temperature data, and distance data, which are data obtained by externally observing the production equipment 2, so that a learning model with high accuracy can be generated. The learning device 10 transmits the generated learning model to the data server 30 and stores it. The functional configuration of the learning device 10 will be described later.
  • the learning device 10 is an example of the learning device according to the present disclosure.
  • the abnormality since there is an abnormality that the hand portion does not spread in FIG. 2, the abnormality also occurs in the image data showing the image captured by the camera 4 and the distance data indicating the distance measured by the distance sensor 6. It can be reflected data. Therefore, a learning model with high accuracy can be obtained by generating a learning model using the data obtained by externally observing the production equipment 2.
  • the inference device 20 is handled by the production facility 2 based on the inference data including the setting data, the image data, the temperature data and the distance data received from the data server 30 and the learning model generated by the learning device 10. It is an inference device that infers the quality of the work 3. When it is inferred that the work is defective, it is presumed that the production equipment 2 has an abnormality. Unlike the training data, the inference data does not include the pass / fail data. Therefore, the inference device 20 can infer the quality of the work 3 which is not the target of inspection by the inspection device 7. The functional configuration of the inference device 20 will be described later.
  • the inference device 20 is an example of the inference device according to the present disclosure.
  • the learning device 10 includes a communication unit 11, a data acquisition unit 12, and a model generation unit 13.
  • the communication unit 11 communicates with the data server 30.
  • the communication unit 11 receives the learning data from the data server 30 and transmits it to the data acquisition unit 12, and receives the learning model from the model generation unit 13 and transmits it to the data server 30.
  • the communication unit 11 is a network interface corresponding to, for example, a factory network and a local network.
  • the data acquisition unit 12 acquires learning data including setting data, image data, temperature data, distance data, and quality data from the data server 30 via the communication unit 11.
  • learning data including setting data, image data, temperature data, distance data, and quality data from the data server 30 via the communication unit 11.
  • the acquisition date and time associated with the image data, the temperature data, and the distance data coincide with the handling date and time associated with the good / bad data.
  • image data, temperature data, distance data and quality data are included.
  • Such learning data is data related to when one work 3 is handled.
  • the data acquisition unit 12 is an example of the learning data acquisition means according to the present disclosure.
  • the model generation unit 13 generates a learning model for inferring the quality of the work 3 handled by the production equipment 2 based on the learning data acquired by the data acquisition unit 12. Further, the model generation unit 13 transmits and stores the generated learning model to the data server 30 via the communication unit 11.
  • the model generation unit 13 is an example of the model generation means according to the present disclosure.
  • the model generation unit 13 generates a learning model by machine learning.
  • machine learning methods various learning methods such as supervised learning, unsupervised learning, reinforcement learning, and semi-supervised learning can be adopted.
  • supervised learning when supervised learning is adopted, the model generation unit 13 inputs setting data, image data, temperature data, and distance data, and performs learning by using pass / fail data as output, so that the work 3 handled by the production equipment 2 is handled. It is possible to generate a learning model for inferring the quality of.
  • the model generation unit 13 clusters the learning data by performing learning by inputting all the learning data including the quality data, and the work 3 handled by the production facility 2. It is possible to generate a learning model for inferring the quality of.
  • deep learning may be used together.
  • the inference device 20 includes a communication unit 21, a data acquisition unit 22, an inference unit 23, and a notification unit 24.
  • the communication unit 21 communicates with the data server 30.
  • the communication unit 21 receives inference data and a learning model from the data server 30 and transmits them to the data acquisition unit 22.
  • the communication unit 21 is a network interface corresponding to, for example, a factory network and a local network.
  • the data acquisition unit 22 acquires inference data including setting data, image data, temperature data, and distance data from the data server 30 via the communication unit 21. As mentioned above, the inference data does not include pass / fail data. Further, the data acquisition unit 22 acquires a learning model from the data server 30 via the communication unit 21.
  • the data acquisition unit 22 is an example of the inference data acquisition means according to the present disclosure.
  • the inference unit 23 infers the quality of the work 3 handled by the production equipment 2 based on the inference data acquired by the data acquisition unit 22 and the learning model.
  • the inference unit 23 controls the notification unit 24 based on the inference result, and notifies the user of the diagnosis result of the production equipment 2.
  • the user is, for example, an administrator of the diagnostic system 1.
  • the inference unit 23 controls the notification unit 24 to diagnose that the production equipment 2 has no abnormality or has an abnormality. Notify the user of the result.
  • the inference unit 23 performs the production equipment 2 only when, for example, the number of the works 3 determined to be defective exceeds a certain level. The user may be notified of the diagnosis result that is abnormal.
  • the inference unit 23 is an example of the inference means according to the present disclosure.
  • the notification unit 24 notifies the user of the diagnosis result of the production equipment 2 based on the control of the inference unit 23.
  • the notification unit 24 is, for example, a display. In this case, the notification unit 24 notifies the diagnosis result by displaying characters, icons, and the like on the display.
  • the notification unit 24 may include a green lamp and a red lamp. In this case, the notification unit 24 notifies the diagnosis result by turning on the green lamp when the diagnosis result is normal and turning on the red lamp when the diagnosis result is abnormal.
  • the learning device 10 and the inference device 20 shown in FIG. 7 are realized by a computer such as a personal computer or a microcontroller.
  • the learning device 10 and the inference device 20 include a processor 1001, a memory 1002, an interface 1003, and a secondary storage device 1004, which are connected to each other via a bus 1000.
  • the processor 1001 is, for example, a CPU (Central Processing Unit). Each function of the learning device 10 and the inference device 20 is realized by the processor 1001 reading the operation program stored in the secondary storage device 1004 into the memory 1002 and executing the program.
  • CPU Central Processing Unit
  • the memory 1002 is, for example, a main storage device configured by a RAM (RandomAccessMemory).
  • the memory 1002 stores an operation program read from the secondary storage device 1004 by the processor 1001. Further, the memory 1002 functions as a work memory when the processor 1001 executes an operation program.
  • the interface 1003 is an I / O (Input / Output) interface such as a serial port, a USB (Universal Serial Bus) port, and a network interface.
  • the functions of the communication unit 11 and the communication unit 21 are realized by the interface 1003. Further, by connecting a display, a lamp, or the like to the interface 1003, the function of the notification unit 24 is realized.
  • the secondary storage device 1004 is, for example, a flash memory, an HDD (Hard Disk Drive), or an SSD (Solid State Drive).
  • the secondary storage device 1004 stores an operation program executed by the processor 1001.
  • the operation shown in the learning device 10 is started, for example, when the learning device 10 is started.
  • the data acquisition unit 12 of the learning device 10 acquires learning data from the data server 30 (step S101).
  • the data acquisition unit 12 waits until sufficient learning data is added to the data server 30. Since the inspection device 7 inspects only a part of the work 3 handled by the production equipment 2, there is a possibility that the quality data is not sufficiently stored in the data server 30.
  • the model generation unit 13 of the learning device 10 generates a learning model for inferring the quality of the work based on the learning data acquired in step S101 (step S102).
  • the model generation unit 13 transmits the learning model generated in step S102 to the data server 30 and saves it (step S103). Then, the operation from step S101 is repeated.
  • the operation shown in the inference device 20 is started, for example, when the inference device 20 is started.
  • the data acquisition unit 22 of the inference device 20 acquires inference data from the data server 30 (step S201). Subsequently, the data acquisition unit 22 acquires the learning model stored in the data server 30 by the learning device 10 (step S202).
  • the inference unit 23 of the inference device 20 infers the quality of the work 3 handled by the production equipment 2 based on the inference data acquired in step S201 and the learning model acquired in step S202 (step). S203).
  • the inference unit 23 controls the notification unit 24 based on the inference result in step S203 to notify the user of the diagnosis result (step S204). Then, the operation from step S201 is repeated.
  • the training data is generated based on the training data including the image data, the temperature data, and the distance data, which are the data obtained by externally observing the production equipment 2, and thus the production. It is possible to accurately generate a learning model for inferring the quality of the work 3 handled by the equipment 2. Then, the inference device 20 accurately determines the quality of the work 3 handled by the production equipment 2 based on the inference data including the data obtained by externally observing the production equipment 2 and the learning model generated with high accuracy. I can reason well. Since the quality of the work 3 and the normality / abnormality of the production equipment 2 can be associated with each other, the production equipment 2 can be accurately diagnosed according to the diagnostic system 1 according to the first embodiment.
  • the diagnostic system 1 according to the second embodiment diagnoses the production equipment 2 by inferring the deterioration state of the production equipment 2 in addition to inferring the quality of the work 3 handled by the production equipment 2. It is different from the first embodiment.
  • the first embodiment is that the production equipment 2 further transmits the history data indicating the operation history of the production equipment 2 and the environmental data indicating the installation environment of the production equipment 2 to the data server 30 in addition to the setting data.
  • the data stored in the data server 30 is, for example, as shown in FIG.
  • the learning data and the inference data further include historical data and environmental data.
  • the model generation unit 13 of the learning device 10 generates a learning model for inferring the deterioration state of the production equipment 2 in addition to the learning model for inferring the quality of the work 3.
  • the model generation unit 13 according to the second embodiment is a learning model clustered according to the deterioration state of the production equipment 2 by learning learning data including, for example, historical data and environmental data by unsupervised learning. Can be generated. This is because there is a correlation between the deterioration state of the production equipment 2, the operation history, and the installation environment.
  • the production equipment 2 includes life parts such as bearings and rubber
  • the operation of the production equipment 2 is deviated when the life parts are worn. This deviation is reflected in the image data and the distance data.
  • the life component is worn, energy loss increases and the temperature of the production equipment 2 rises. This temperature rise is reflected in the temperature data. Therefore, there is a correlation between the deterioration state of the production equipment 2 and the image data, the temperature data, and the distance data.
  • the susceptibility to deterioration of the production equipment 2 changes depending on the operating condition and the installation environment of the production equipment 2. Therefore, by generating a learning model based on learning data including image data, temperature data, distance data, history data, and environmental data, it is possible to generate a learning model for inferring the deterioration state of the production equipment 2. can.
  • the training data includes the setting data, the image data, the temperature data, the distance data, and the quality data, so that the learning model is simply generated based only on the historical data and the environmental data. Can also generate accurate models.
  • the inference unit 23 of the inference device 20 is based on inference data including historical data and environment data, and a learning model for inferring the deterioration state of the production equipment 2 generated by the learning device 10. Further, it is different from the first embodiment in that the deterioration state of the production equipment 2 is also inferred.
  • the inference unit 23 of the inference device 20 controls the notification unit 24 to notify the user of information indicating the deterioration state of the production equipment 2 as a diagnosis result.
  • the diagnostic system 1 according to the second embodiment has been described above.
  • the learning data and the inference data further include the historical data and the environmental data, so that the production equipment 2 is deteriorated in the same configuration as that of the first embodiment.
  • the condition can be diagnosed accurately.
  • the data server 30 is not essential.
  • the diagnostic system 1 does not include a data server 30, and setting data, image data, temperature data, distance data, and pass / fail data are directly transmitted to the learning device 10 and the inference device 20, and the learning model is transmitted from the learning device 10 to the inference device 20. It may be sent directly to.
  • the learning device 10, the inference device 20, and the data server 30 are present on the same network, but they may be present on different networks.
  • the learning device 10 and the inference device 20 may exist on the factory network
  • the data server 30 may exist on the Internet.
  • the learning device 10 and the inference device 20 include a secondary storage device 1004.
  • the present invention is not limited to this, and the secondary storage device 1004 is provided outside the learning device 10 or the inference device 20, and the learning device 10 or the inference device 20 and the secondary storage device 1004 are connected via the interface 1003. May be good.
  • removable media such as a USB flash drive and a memory card can also be used as the secondary storage device 1004.
  • the learning device 10 and the inference device 20 are configured by a dedicated circuit using an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like. You may. Further, in the hardware configuration shown in FIG. 7, a part of the functions of the learning device 10 and the inference device 20 may be realized by, for example, a dedicated circuit connected to the interface 1003.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the programs used in the learning device 10 and the inference device 20 are stored in a computer-readable recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a USB flash drive, a memory card, or an HDD. It is possible to distribute it. Then, by installing such a program on a specific or general-purpose computer, it is possible to make the computer function as the learning device 10 and the inference device 20.
  • a computer-readable recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a USB flash drive, a memory card, or an HDD. It is possible to distribute it. Then, by installing such a program on a specific or general-purpose computer, it is possible to make the computer function as the learning device 10 and the inference device 20.
  • the above-mentioned program may be stored in a storage device of another server on the Internet so that the above-mentioned program can be downloaded from the server.
  • 1 Diagnostic system 1 Diagnostic system, 2 Production equipment, 3 Work, 4 Camera, 5 Temperature sensor, 6 Distance sensor, 7 Inspection device, 10 Learning device, 11 Communication unit, 12 Data acquisition unit, 13 Model generation unit, 20 Inference device, 21 Communication Department, 22 data acquisition unit, 23 inference unit, 24 notification unit, 30 data server, 1000 bus, 1001 processor, 1002 memory, 1003 interface, 1004 secondary storage device, F production site.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

 生産設備を精度良く診断することを可能とする学習装置等を提供する。  学習装置（１０）は、生産設備（２）の設定を示す設定データと、カメラ（４）により生産設備（２）を撮像して得られる撮像画像を示す画像データと、温度センサ（５）により測定された生産設備（２）の表面温度を示す温度データと、距離センサ（６）により測定された、距離センサ（６）から生産設備（２）までの距離を示す距離データと、生産設備（２）にて扱われるワーク（３）の良否を示す良否データとを含む学習用データを取得するデータ取得部と、生産設備（２）にて扱われるワーク（３）の良否を推論するための学習モデルを、学習用データに基づいて生成するモデル生成部と、を備える。

Description

学習装置、推論装置、診断システム、モデル生成方法及びプログラム
　本開示は、学習装置、推論装置、診断システム、モデル生成方法及びプログラムに関する。
　生産現場では、ロボットアーム、ベルトコンベアなどの生産設備がワークを加工する、運搬するなどしてワークを取り扱うことにより、製品が生産される。
　生産設備に異常があるとき、ワークの加工時に誤った加工がなされる、ワークの運搬時にワークに傷がつくなどの問題が生じてしまう。そして、生産設備に異常があることに気づかず生産を継続してしまうと、不良品が多数生産されてしまうこととなる。そのため、生産設備を診断する技術が必要とされている。
　特許文献１には、製造機械の状態と、製造機械の周りの環境の状態と、製造された製品の検査結果とに基づいて学習モデルを生成し、不良品が発生したときに、生成した学習モデルに基づいて、異常に関連する変数を特定する技術が開示されている。異常に関連する変数を特定することにより、例えば当該変数に基づいて製造機械の制御を変更し、不良品の発生を抑えることができる。
特開２０１７－１９９０７４号公報
　特許文献１の技術では、製造機械を外部観察して得られる情報が用いられていないため、異常に関連する変数を精度良く特定できない可能性がある。例えば、製造機械が備えるアームとセンサがともに位置ずれを起こしている場合、特許文献１の技術では異常に関連する変数を精度良く特定できない可能性がある。つまり、特許文献１の技術は、生産設備の診断という点において精度に問題がある。
　本開示の目的は、上記の事情に鑑み、生産設備を精度良く診断することを可能とする学習装置等を提供することにある。
　上記の目的を達成するため、本開示に係る学習装置は、
　生産設備の設定を示す設定データと、撮像装置により前記生産設備を撮像して得られる撮像画像を示す画像データと、温度センサにより測定された前記生産設備の表面温度を示す温度データと、距離センサにより測定された、前記距離センサから前記生産設備までの距離を示す距離データと、前記生産設備にて扱われるワークの良否を示す良否データとを含む学習用データを取得する学習用データ取得手段と、
　前記生産設備にて扱われるワークの良否を推論するための学習モデルを、前記学習用データに基づいて生成するモデル生成手段と、
　を備える。
　本開示によれば、生産設備を精度良く診断できる。
本開示の実施の形態１に係る診断システムの全体構成を示す図 本開示の実施の形態１に係る生産設備のアームがワークをこすったときの一例を示す図 本開示の実施の形態１に係る生産設備に対して多方向からセンシングを行うことの一例を示す図 本開示の実施の形態１に係るデータサーバに保存されるデータの一例を示す図 本開示の実施の形態１に係る学習装置の機能的構成を示す図 本開示の実施の形態１に係る推論装置の機能的構成を示す図 本開示の実施の形態１に係る学習装置及び推論装置のハードウェア構成の一例を示す図 本開示の実施の形態１に係る学習装置によるモデル生成の動作の一例を示すフローチャート 本開示の実施の形態１に係る推論装置による推論の動作の一例を示すフローチャート 本開示の実施の形態２に係るデータサーバに保存されるデータの一例を示す図
　以下、図面を参照しながら、本開示の実施の形態に係る診断システムを説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
（実施の形態１）
　図１を参照しながら、実施の形態１に係る診断システム１を説明する。診断システム１は、生産現場Ｆに設置された生産設備２を診断する診断システムである。診断システム１は、生産設備２とカメラ４と温度センサ５と距離センサ６と検品装置７と学習装置１０と推論装置２０とデータサーバ３０とを備える。生産設備２、カメラ４、温度センサ５、距離センサ６、検品装置７、学習装置１０及び推論装置２０は、それぞれデータサーバ３０に通信可能に接続されている。診断システム１は、本開示に係る診断システムの一例である。
　学習装置１０、推論装置２０及びデータサーバ３０は、例えば生産現場Ｆのある工場に設けられた管理室に設置される。また、生産設備２、カメラ４、温度センサ５、距離センサ６及び検品装置７とデータサーバ３０とは、例えば工場内ネットワークにて接続されている。学習装置１０及び推論装置２０とデータサーバ３０とは、例えば管理室内のローカルネットワークにて接続されている。
　生産設備２は、生産現場Ｆに設置され、製品の生産のためにワーク３を扱う生産設備である。なお、生産設備２がワーク３を加工する、ワーク３を運搬するなどすることをまとめて「生産設備２がワーク３を扱う」と表現する。生産設備２は、例えばロボットアーム、加工機、ベルトコンベアなどの生産用機械を含む。また、生産設備２は、データサーバ３０に通信可能に接続され、必要に応じて生産設備２の設定データをデータサーバ３０に送信する。設定データは、例えば生産設備２が備えるセンサ及びアクチュエータのパラメータ設定を示すデータである。生産設備２は、本開示に係る生産設備の一例である。
　図１に示す例では、生産設備２はロボットアームを含み、ワーク３をつかんで運搬することができる。生産設備２は、ロボットアームの先端に設けられた可動式のハンド部分によりワーク３を側面からつかむことができる。より詳細には、生産設備２は、ハンド部分をワークの幅よりも広げた状態でハンド部分をワーク３の側面まで下ろし、その後ハンド部分を閉じることにより、ワーク３をつかむことができる。
　ここで、生産設備２のロボットアームのハンド部分に異常が生じ、ハンド部分をワークの幅よりも広げることができなくなった場合を考える。この場合、例えば図２に示すように、ハンド部分をワーク３の側面まで下ろすと、ハンド部分がワーク３をこすってしまい、ワーク３に傷をつけてしまう。なお、図２に示す矢印は、ハンド部分をワーク３の側面まで下ろすことを示し、ジグザグ線はワーク３とハンド部分とがこすれた箇所を示す。このような生産設備２の異常を発見できないまま生産を続けると不良品を多数生産することとなってしまう。そのため、診断システム１により生産設備２に異常があるか否かを診断することが必要とされる。
　カメラ４は、生産現場Ｆに設置されたカメラである。カメラ４は、生産設備２を撮像し、撮像して得られた撮像画像を示す画像データをデータサーバ３０に送信する。カメラ４は、例えばレンズと撮像素子とを備えるデジタルカメラである。カメラ４は、本開示に係る撮像装置の一例である。
　温度センサ５は、生産現場Ｆに設置された温度センサである。温度センサ５は、生産設備２の表面温度を測定し、表面温度を示す温度データをデータサーバ３０に送信する。温度センサ５は、例えば赤外線を受光することにより生産設備２の熱画像を得ることができる熱画像センサである。温度センサ５が熱画像センサであるとき、生産設備２の熱画像は生産設備２の表面温度分布を示すものとなるため、温度データは、生産設備２の表面温度分布を示すデータとなる。温度センサ５は、本開示に係る温度センサの一例である。
　距離センサ６は、生産現場Ｆに設置された距離センサである。距離センサ６は、距離センサ６自身から生産設備２までの距離を測定し、距離を示す距離データをデータサーバ３０に送信する。距離センサ６は、例えばレーザ光を発光し、発光したレーザ光の反射光を受光し、受光した反射光に基づいて距離センサ６から生産設備２の各部分までの距離を測定可能なＬｉＤＡＲ（Light Detection And Ranging）センサである。距離センサ６がＬｉＤＡＲセンサであるとき、距離データは生産設備２の深度画像を示すデータとなる。距離センサ６は、本開示に係る距離センサの一例である。
　図１ではカメラ４、温度センサ５及び距離センサ６をそれぞれ１つずつ示しているが、図３に示すように、複数組のカメラ４、温度センサ５及び距離センサ６を生産現場Ｆに設置し、複数組のカメラ４、温度センサ５及び距離センサ６により多方向から生産設備２をセンシングすることが好ましい。多方向から生産設備２をセンシングすることにより、後述のモデル生成にて生成されるモデルの精度が向上し、診断の精度も向上する。
　なお、カメラ４、温度センサ５及び距離センサ６は、画像データ、温度データ及び距離データをデータサーバ３０に送信する際に、これらのデータを取得した日時を示すデータもデータサーバ３０に送信する。
　検品装置７は、生産設備２により扱われたワーク３のうち一部のワーク３を抜き取って検品する装置である。検品装置７は、例えば生産設備２により２０個のワーク３を扱われるごとに１個のワーク３を抜き取って検品する。検品装置７は、ワーク３を検品してワーク３の良否を検査し、ワーク３の良否を示す良否データをデータサーバ３０に送信する。検品装置７は、例えば抜き取ったワーク３を撮像し、撮像により得られたワーク３の撮像画像と、予め用意された良品画像とを比較することにより、ワーク３を検品する。
　ワークの良否を示す良否データは、単にワーク３が良好か不良かを示す２値データであってもよいし、良好あるいは不良と判断するに至った根拠となるデータを含むデータであってもよい。例えば検品装置７は、ワーク３を検品してワーク３に傷がついていることを検出した場合、良否データは、単に不良であることを示すデータであってもよいし、ワークに傷がついていることを示すデータであってもよいし、具体的に傷のついている箇所を示すデータであってもよい。
　なお、検品装置７は、良否データをデータサーバ３０に送信する際には、検品したワーク３が生産設備２により扱われた日時を示すデータもデータサーバ３０に送信する。これは、良否データがどの時点で扱われたワーク３に対するものなのかを特定するためである。
　データサーバ３０は、生産設備２から受信した設定データ、カメラ４から受信した画像データ、温度センサ５から受信した温度データ、距離センサ６から受信した距離データ及び検品装置７から受信した良否データを保存する。また、データサーバ３０は、これらのデータとあわせて送信された前述の時刻に関するデータも保存する。データサーバ３０に保存されるデータは、例えば図４に示すものとなる。また、データサーバ３０は、前述の各種データのほか、学習装置１０が生成した後述の学習モデルも保存する。データサーバ３０は、保存した学習モデルを推論装置２０に送信する。
　なお、データサーバ３０は、設定データ、画像データ、温度データ、距離データ及び良否データを含む学習用データを学習装置１０に送信する。データサーバ３０は、設定データ、画像データ、温度データ及び距離データを含む推論用データを推論装置２０に送信する。学習及び推論の詳細については後述する。
　学習装置１０は、データサーバ３０から受信した、設定データ、画像データ、温度データ、距離データ及び良否データを含む学習用データに基づいて、生産設備２により扱われたワーク３の良否を推論するための学習モデルを機械学習により生成する学習装置である。学習装置１０は特に、生産設備２を外部観察して得られるデータである画像データ、温度データ及び距離データに基づいて学習モデルを生成するので、精度の良い学習モデルを生成できる。学習装置１０は、生成した学習モデルをデータサーバ３０に送信して保存する。学習装置１０の機能的構成については後述する。学習装置１０は、本開示に係る学習装置の一例である。
　生産設備２を外部観察して得られるデータに基づいて精度の良い学習モデルが得られることについて、図２に示す例を再び参照しながら概略的に説明する。前述のとおり、図２においては、生産設備２のロボットアームのハンド部分がワーク３をこすってしまっている。ハンド部分がワーク３をこすったとき、ハンド部分の表面には摩擦熱が生じる。そのため、ハンド部分の表面温度が上昇し、上昇した表面温度が温度センサ５により測定される。学習用データにはこの上昇した表面温度を示すデータが含まれるため、学習装置１０による学習では、ワークが不良であることとハンド部分の表面温度の上昇とが関連付けて学習される。そのため、生産設備２を外部観察して得られるデータを使用せずに学習モデルを生成する場合と比べて精度の良い学習モデルが得られる。
　また、図２においてはハンド部分が広がらないという異常が生じていることから、カメラ４により撮像された撮像画像を示す画像データ及び距離センサ６により測定された距離を示す距離データも、当該異常が反映されたデータとなりうる。したがって、生産設備２を外部観察して得られるデータを使用して学習モデルを生成することにより、精度の良い学習モデルが得られる。
　推論装置２０は、データサーバ３０から受信した、設定データ、画像データ、温度データ及び距離データを含む推論用データと、学習装置１０により生成された学習モデルとに基づいて、生産設備２により扱われたワーク３の良否を推論する推論装置である。ワークに不良があると推論されるとき、生産設備２に異常があると推定される。学習用データと異なり、推論用データは良否データを含まない。そのため、推論装置２０は、検品装置７による検品の対象とならないワーク３の良否を推論することができる。推論装置２０の機能的構成については後述する。推論装置２０は、本開示に係る推論装置の一例である。
　次に、図５を参照しながら、学習装置１０の機能的構成を説明する。学習装置１０は、通信部１１とデータ取得部１２とモデル生成部１３とを備える。
　通信部１１は、データサーバ３０と通信する。通信部１１は特に、データサーバ３０から学習用データを受信してデータ取得部１２に送信し、モデル生成部１３から学習モデルを受信してデータサーバ３０に送信する。通信部１１は、例えば工場内ネットワークとローカルネットワークに対応するネットワークインタフェースである。
　データ取得部１２は、通信部１１を介して、データサーバ３０から設定データ、画像データ、温度データ、距離データ及び良否データを含む学習用データを取得する。ここで、学習用データは、例えば図４にも示されるように、画像データ、温度データ及び距離データに対応付けられている取得日時と、良否データに対応付けられている扱い日時とが一致するような画像データ、温度データ、距離データ及び良否データを含むものである。このような学習用データは、１つのあるワーク３を扱ったときに関するデータとなる。データ取得部１２は、本開示に係る学習用データ取得手段の一例である。
　モデル生成部１３は、データ取得部１２が取得した学習用データに基づいて、生産設備２にて扱われるワーク３の良否を推論するための学習モデルを生成する。また、モデル生成部１３は、通信部１１を介して、生成した学習モデルをデータサーバ３０に送信して保存する。モデル生成部１３は、本開示に係るモデル生成手段の一例である。
　モデル生成部１３は、機械学習により学習モデルを生成する。機械学習の手法としては、教師あり学習、教師なし学習、強化学習、半教師あり学習など各種学習手法を採用可能である。例えば教師あり学習を採用する場合、モデル生成部１３は、設定データ、画像データ、温度データ及び距離データを入力とし、良否データを出力として学習を行うことにより、生産設備２にて扱われるワーク３の良否を推論するための学習モデルを生成できる。また、例えば教師なし学習を採用する場合、モデル生成部１３は、良否データを含む学習データの全てを入力として学習を行うことにより、学習用データをクラスタリングし、生産設備２にて扱われるワーク３の良否を推論するための学習モデルを生成できる。なお、上記の各機械学習の手法を適用するにあたり、例えばディープラーニングをあわせて用いてもよい。
　次に、図６を参照しながら、推論装置２０の機能的構成を説明する。推論装置２０は、通信部２１とデータ取得部２２と推論部２３と報知部２４とを備える。
　通信部２１は、データサーバ３０と通信する。通信部２１は特に、データサーバ３０から推論用データ及び学習モデルを受信してデータ取得部２２に送信する。通信部２１は、例えば工場内ネットワークとローカルネットワークに対応するネットワークインタフェースである。
　データ取得部２２は、通信部２１を介して、データサーバ３０から設定データ、画像データ、温度データ及び距離データを含む推論用データを取得する。前述のとおり、推論用データは良否データを含まない。また、データ取得部２２は、通信部２１を介して、データサーバ３０から学習モデルを取得する。データ取得部２２は、本開示に係る推論用データ取得手段の一例である。
　推論部２３は、データ取得部２２により取得された推論用データと学習用モデルとに基づいて、生産設備２にて扱われるワーク３の良否を推論する。推論部２３は、推論結果に基づいて報知部２４を制御し、生産設備２の診断結果をユーザに報知する。なお、ユーザとは、例えば診断システム１の管理者である。推論部２３は、例えば、生産設備２にて扱われるワーク３が良好又は不良であると推論したとき、報知部２４を制御して、生産設備２に異常がない旨又は異常がある旨の診断結果をユーザに報知する。ワーク３が不良であるとき、その不良の原因は生産設備２の異常である可能性が高いため、ワーク３の良否と生産設備２の正常／異常とを対応付けることができる。なお、生産設備２が正常であってもワーク３が不良となることはありえるため、推論部２３は、例えば不良と判定されたワーク３の数が一定以上となったときにのみ、生産設備２が異常である旨の診断結果をユーザに報知してもよい。推論部２３は、本開示に係る推論手段の一例である。
　報知部２４は、推論部２３の制御に基づいて、生産設備２の診断結果をユーザに報知する。報知部２４は、例えばディスプレイである。この場合、報知部２４は、文字、アイコンなどをディスプレイに表示させることにより診断結果を報知する。あるいは、報知部２４は、緑色のランプと赤色のランプとを備えるものであってもよい。この場合、報知部２４は、診断結果が正常であるときには緑色のランプを点灯させ、診断結果が異常であるときには赤色のランプを点灯させることにより診断結果を報知する。
　次に、学習装置１０及び推論装置２０のハードウェア構成の一例について、図７を参照しながら説明する。図７に示す学習装置１０及び推論装置２０は、例えばパーソナルコンピュータ、マイクロコントローラなどのコンピュータにより実現される。
　学習装置１０及び推論装置２０は、バス１０００を介して互いに接続された、プロセッサ１００１と、メモリ１００２と、インタフェース１００３と、二次記憶装置１００４と、を備える。
　プロセッサ１００１は、例えばＣＰＵ（Central Processing Unit：中央演算装置）である。プロセッサ１００１が、二次記憶装置１００４に記憶された動作プログラムをメモリ１００２に読み込んで実行することにより、学習装置１０及び推論装置２０の各機能が実現される。
　メモリ１００２は、例えば、ＲＡＭ（Random Access Memory）により構成される主記憶装置である。メモリ１００２は、プロセッサ１００１が二次記憶装置１００４から読み込んだ動作プログラムを記憶する。また、メモリ１００２は、プロセッサ１００１が動作プログラムを実行する際のワークメモリとして機能する。
　インタフェース１００３は、例えばシリアルポート、ＵＳＢ（Universal Serial Bus）ポート、ネットワークインタフェースなどのＩ／Ｏ（Input/Output）インタフェースである。インタフェース１００３により通信部１１及び通信部２１の機能が実現される。また、インタフェース１００３にディスプレイ、ランプ等が接続されることにより、報知部２４の機能が実現される。
　二次記憶装置１００４は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）である。二次記憶装置１００４は、プロセッサ１００１が実行する動作プログラムを記憶する。
　次に、図８を参照しながら、学習装置１０によるモデル生成の動作の一例を説明する。学習装置１０に示す動作は、例えば学習装置１０の起動時に開始される。
　学習装置１０のデータ取得部１２は、学習用データをデータサーバ３０から取得する（ステップＳ１０１）。なお、データサーバ３０に十分な学習用データが保存されていないとき、データ取得部１２は、データサーバ３０に十分な学習用データが追加されるまで待機する。検品装置７は、生産設備２により扱われたワーク３のうち一部のワーク３のみを検品するため、良否データが十分にデータサーバ３０に保存されていない可能性がある。
　学習装置１０のモデル生成部１３は、ステップＳ１０１にて取得した学習用データに基づいて、ワークの良否を推論するための学習モデルを生成する（ステップＳ１０２）。
　モデル生成部１３は、ステップＳ１０２にて生成した学習モデルをデータサーバ３０に送信して保存する（ステップＳ１０３）。そしてステップＳ１０１からの動作が繰り返される。
　次に、図９を参照しながら、推論装置２０による推論の動作の一例を説明する。推論装置２０に示す動作は、例えば推論装置２０の起動時に開始される。
　推論装置２０のデータ取得部２２は、推論用データをデータサーバ３０から取得する（ステップＳ２０１）。続いてデータ取得部２２は、学習装置１０がデータサーバ３０に保存した学習モデルを取得する（ステップＳ２０２）．
　推論装置２０の推論部２３は、ステップＳ２０１にて取得された推論用データとステップＳ２０２にて取得された学習モデルとに基づいて、生産設備２により扱われたワーク３の良否を推論する（ステップＳ２０３）。
　推論部２３は、ステップＳ２０３での推論結果に基づいて、報知部２４を制御して診断結果をユーザに報知する（ステップＳ２０４）。そしてステップＳ２０１からの動作が繰り返される。
　以上、実施の形態１に係る診断システム１を説明した。実施の形態１に係る診断システム１によれば、生産設備２を外部観察して得られるデータである画像データ、温度データ及び距離データを含む学習用データに基づいて学習データを生成するので、生産設備２にて扱われるワーク３の良否を推論するための学習モデルを精度良く生成できる。そして、推論装置２０は、生産設備２を外部観察して得られるデータを含む推論用データと、精度良く生成された学習モデルとに基づいて、生産設備２にて扱われるワーク３の良否を精度良く推論できる。ワーク３の良否と生産設備２の正常／異常とを対応付けることができるので、実施の形態１に係る診断システム１によれば、生産設備２を精度良く診断できる。
（実施の形態２）
　以下、実施の形態２に係る診断システム１を説明する。実施の形態２に係る診断システム１は、生産設備２にて扱われるワーク３の良否を推論するのに加えて、さらに生産設備２の劣化状態を推論することにより生産設備２を診断する点が実施の形態１と異なる。
　なお、診断システム１の全体構成、学習装置１０の機能的構成及び推論装置２０の機能的構成は、図１、図５及び図６に示す構成と概ね同様であるため、異なる点のみを説明する。
　まず、生産設備２が、設定データに加えて、生産設備２の稼働履歴を示す履歴データと、生産設備２の設置環境を示す環境データとをさらにデータサーバ３０に送信する点が実施の形態１と異なる。そのため、データサーバ３０に保存されるデータは、例えば図１０に示すようなものとなる。また、これに伴い、実施の形態１と比べて、学習用データ及び推論用データはさらに、履歴データと環境データとを含む。
　次に、学習装置１０のモデル生成部１３は、ワーク３の良否を推論するための学習モデルに加えて、さらに生産設備２の劣化状態を推論するための学習モデルを生成する点が実施の形態１と異なる。実施の形態２に係るモデル生成部１３は、例えば履歴データと環境データとをさらに含む学習用データを教師なし学習にて学習することにより、生産設備２の劣化状態に応じてクラスタリングされた学習モデルを生成することができる。生産設備２の劣化状態と稼働履歴と設置環境との間には相関関係があるからである。
　例えば、生産設備２がベアリング、ゴムなどの寿命部品を含む場合、当該寿命部品が摩耗すると生産設備２の動作にズレが生じる。このズレは、画像データ及び距離データに反映される。また、当該寿命部品が摩耗するとエネルギー損失が多くなり、生産設備２の温度が上昇する。この温度上昇は温度データに反映される。したがって、生産設備２の劣化状態と、画像データ、温度データ及び距離データとの間には相関関係がある。また、生産設備２の劣化のしやすさは、生産設備２の稼働状況及び設置環境に応じて変化する。そのため、画像データ、温度データ、距離データ、履歴データ及び環境データを含む学習用データに基づいて学習モデルを生成することにより、生産設備２の劣化状態を推論するための学習モデルを生成することができる。
　また、稼働履歴が短く設置環境が劣悪でないが扱ったワーク３が不良となりがちな生産設備２と、稼働履歴が長く設置環境も劣悪だが扱ったワーク３が不良とならない生産設備２とでは、劣化状態には大差がないことが想定される。そのため、実施の形態１と同様に学習用データが設定データ、画像データ、温度データ、距離データ及び良否データを含むことにより、単純に履歴データと環境データとにのみ基づいて学習モデルを生成するよりも精度の良いモデルを生成できる。
　そして、推論装置２０の推論部２３は、履歴データと環境データとをさらに含む推論用データと、学習装置１０により生成された、生産設備２の劣化状態を推論するための学習モデルとに基づいて、さらに生産設備２の劣化状態も推論する点が実施の形態１と異なる。推論装置２０の推論部２３は、報知部２４を制御して、診断結果として生産設備２の劣化状態を示す情報をユーザに報知する。
　以上、実施の形態２に係る診断システム１を説明した。実施の形態２に係る診断システム１によれば、学習用データ及び推論用データが履歴データと環境データとをさらに含むことにより、概ね実施の形態１と同様の構成にて、生産設備２の劣化状態を精度良く診断することができる。
（変形例）
　上記の各実施の形態では、各種データはデータサーバ３０に送信され保存されるものとした。しかし、データサーバ３０は必須ではない。例えば、診断システム１はデータサーバ３０を備えず、設定データ、画像データ、温度データ、距離データ及び良否データは学習装置１０及び推論装置２０に直接送信され、学習モデルは学習装置１０から推論装置２０に直接送信されるものであってもよい。
　上記の各実施の形態の説明では、学習装置１０、推論装置２０及びデータサーバ３０が同一のネットワーク上に存在する例を示したが、これらは異なるネットワークに存在してもよい。例えば、学習装置１０及び推論装置２０は工場内ネットワーク上に存在し、データサーバ３０はインターネット上に存在してもよい。
　図７に示すハードウェア構成においては、学習装置１０及び推論装置２０が二次記憶装置１００４を備えている。しかし、これに限らず、二次記憶装置１００４を学習装置１０あるいは推論装置２０の外部に設け、インタフェース１００３を介して学習装置１０あるいは推論装置２０と二次記憶装置１００４とが接続される形態としてもよい。この形態においては、ＵＳＢフラッシュドライブ、メモリカードなどのリムーバブルメディアも二次記憶装置１００４として使用可能である。
　また、図７に示すハードウェア構成に代えて、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）などを用いた専用回路により学習装置１０及び推論装置２０を構成してもよい。また、図７に示すハードウェア構成において、学習装置１０及び推論装置２０の機能の一部を、例えばインタフェース１００３に接続された専用回路により実現してもよい。
　学習装置１０及び推論装置２０で用いられるプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢフラッシュドライブ、メモリカード、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に格納して配布することが可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを学習装置１０及び推論装置２０として機能させることが可能である。
　また、上述のプログラムをインターネット上の他のサーバが有する記憶装置に格納しておき、当該サーバから上述のプログラムがダウンロードされるようにしてもよい。
　本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
１　診断システム、２　生産設備、３　ワーク、４　カメラ、５　温度センサ、６　距離センサ、７　検品装置、１０　学習装置、１１　通信部、１２　データ取得部、１３　モデル生成部、２０　推論装置、２１　通信部、２２　データ取得部、２３　推論部、２４　報知部、３０　データサーバ、１０００　バス、１００１　プロセッサ、１００２　メモリ、１００３　インタフェース、１００４　二次記憶装置、Ｆ　生産現場。

Claims (9)

  1. 　生産設備の設定を示す設定データと、撮像装置により前記生産設備を撮像して得られる撮像画像を示す画像データと、温度センサにより測定された前記生産設備の表面温度を示す温度データと、距離センサにより測定された、前記距離センサから前記生産設備までの距離を示す距離データと、前記生産設備にて扱われるワークの良否を示す良否データとを含む学習用データを取得する学習用データ取得手段と、
    　前記生産設備にて扱われるワークの良否を推論するための学習モデルを、前記学習用データに基づいて生成するモデル生成手段と、
    　を備える学習装置。
  2. 　前記学習用データ取得手段が取得する前記学習用データはさらに、前記生産設備の稼働履歴を示す履歴データと、前記生産設備の設置環境を示す環境データとを含み、
    　前記モデル生成手段はさらに、前記生産設備の劣化状態を推論するための学習モデルを、前記学習用データに基づいて生成する、
    　請求項１に記載の学習装置。
  3. 　生産設備の設定を示す設定データと、撮像装置により前記生産設備を撮像して得られる撮像画像を示す画像データと、温度センサにより測定された前記生産設備の表面温度を示す温度データと、距離センサにより測定された、前記距離センサから前記生産設備までの距離を示す距離データとを含む推論用データを取得する推論用データ取得手段と、
    　請求項１に記載の学習装置の前記モデル生成手段により生成された前記学習モデルと前記推論用データとに基づいて、前記生産設備にて扱われるワークの良否を推論する推論手段と、
    　を備える推論装置。
  4. 　前記推論用データはさらに、前記生産設備の稼働履歴を示す履歴データと、前記生産設備の設置環境を示す環境データとを含み、
    　前記推論手段はさらに、請求項２に記載の学習装置の前記モデル生成手段により生成された前記学習モデルと前記推論用データとに基づいて、前記生産設備の劣化状態を推論する、
    　請求項３に記載の推論装置。
  5. 　請求項１に記載の学習装置と、
    　請求項３に記載の推論装置と、
    　を備える診断システム。
  6. 　生産設備の設定を示す設定データと、撮像装置により前記生産設備を撮像して得られる撮像画像を示す画像データと、温度センサにより測定された前記生産設備の表面温度を示す温度データと、距離センサにより測定された、前記距離センサから前記生産設備までの距離を示す距離データと、前記生産設備にて扱われるワークの良否を示す良否データとを含む学習用データを取得し、
    　前記生産設備にて扱われるワークの良否を推論するための学習モデルを、前記学習用データに基づいて生成する、
    　モデル生成方法。
  7. 　前記学習用データはさらに、前記生産設備の稼働履歴を示す履歴データと、前記生産設備の設置環境を示す環境データとを含み、
    　前記生産設備の劣化状態を推論するための学習モデルを、前記学習用データに基づいて生成する、
    　請求項６に記載のモデル生成方法。
  8. 　コンピュータに、
    　生産設備の設定を示す設定データと、撮像装置により前記生産設備を撮像して得られる撮像画像を示す画像データと、温度センサにより測定された前記生産設備の表面温度を示す温度データと、距離センサにより測定された、前記距離センサから前記生産設備までの距離を示す距離データと、前記生産設備にて扱われるワークの良否を示す良否データとを含む学習用データを取得させ、
    　前記生産設備にて扱われるワークの良否を推論するための学習モデルを、前記学習用データに基づいて生成させる、
    　プログラム。
  9. 　前記学習用データはさらに、前記生産設備の稼働履歴を示す履歴データと、前記生産設備の設置環境を示す環境データとを含み、
    　前記生産設備の劣化状態を推論するための学習モデルを、前記学習用データに基づいて生成させる、
    　請求項８に記載のプログラム。
PCT/JP2020/047532 2020-12-18 2020-12-18 学習装置、推論装置、診断システム、モデル生成方法及びプログラム Ceased WO2022130640A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021559582A JP7055258B1 (ja) 2020-12-18 2020-12-18 学習装置、推論装置、診断システム、モデル生成方法及びプログラム
PCT/JP2020/047532 WO2022130640A1 (ja) 2020-12-18 2020-12-18 学習装置、推論装置、診断システム、モデル生成方法及びプログラム
US17/915,112 US12397417B2 (en) 2020-12-18 2020-12-18 Learning device, diagnostic system, and model generation method to diagnose abnormality based on temperature measurement in a production facility
CN202080099225.0A CN116457736A (zh) 2020-12-18 2020-12-18 学习装置、推断装置、诊断系统、模型生成方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/047532 WO2022130640A1 (ja) 2020-12-18 2020-12-18 学習装置、推論装置、診断システム、モデル生成方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022130640A1 true WO2022130640A1 (ja) 2022-06-23

Family

ID=81289243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047532 Ceased WO2022130640A1 (ja) 2020-12-18 2020-12-18 学習装置、推論装置、診断システム、モデル生成方法及びプログラム

Country Status (4)

Country Link
US (1) US12397417B2 (ja)
JP (1) JP7055258B1 (ja)
CN (1) CN116457736A (ja)
WO (1) WO2022130640A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI888681B (zh) * 2020-12-25 2025-07-01 日商發那科股份有限公司 機械學習裝置、及機械學習方法
WO2022259380A1 (ja) * 2021-06-08 2022-12-15 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法および点検支援プログラム
JP7797966B2 (ja) * 2022-06-16 2026-01-14 オムロン株式会社 異常判定装置、異常判定方法、及び異常判定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021567A (ja) * 2015-07-10 2017-01-26 日本信号株式会社 保守管理システム
JP2017167847A (ja) * 2016-03-16 2017-09-21 株式会社東芝 運用計画案作成装置、運用計画案作成方法、プログラムおよび運用計画案作成システム
WO2018105296A1 (ja) * 2016-12-07 2018-06-14 株式会社日立製作所 品質管理装置及び品質管理方法
WO2019187228A1 (ja) * 2018-03-26 2019-10-03 株式会社 東芝 品質監視システム
WO2019239606A1 (ja) * 2018-06-15 2019-12-19 三菱電機株式会社 工作機械の加工寸法予測装置、工作機械の加工寸法予測システム、工作機械の設備異常判定装置、工作機械の加工寸法予測方法及びプログラム
JP2020140365A (ja) * 2019-02-27 2020-09-03 トヨタ自動車株式会社 製品品質不良予測システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2652590Y (zh) * 2003-10-10 2004-11-03 华南理工大学 刀具高速旋转时测温装置
US9092698B2 (en) * 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US9199376B2 (en) * 2013-03-14 2015-12-01 GM Global Technology Operations LLC Intuitive grasp control of a multi-axis robotic gripper
JP6453805B2 (ja) 2016-04-25 2019-01-16 ファナック株式会社 製品の異常に関連する変数の判定値を設定する生産システム
CN106078357A (zh) * 2016-05-27 2016-11-09 广西大学 一种切削热在线监测及调控装置
CN206215938U (zh) * 2016-11-22 2017-06-06 三星智能科技盐城有限公司 一种刀具磨损自检测装置数控车床
JP2018116545A (ja) 2017-01-19 2018-07-26 オムロン株式会社 予測モデル作成装置、生産設備監視システム、及び生産設備監視方法
US10682774B2 (en) * 2017-12-12 2020-06-16 X Development Llc Sensorized robotic gripping device
US10789705B2 (en) * 2018-03-26 2020-09-29 Kabushiki Kaisha Toshiba Quality monitoring system
JP2019213130A (ja) * 2018-06-07 2019-12-12 オリンパス株式会社 撮像装置、学習装置、撮像方法、学習方法、画像データ作成方法およびプログラム
CN113316501B (zh) * 2019-05-31 2022-02-18 乐恩吉室株式会社 以危险度判断为基础的机器人移动控制方法及利用其的移动机器人装置
JP7239399B2 (ja) * 2019-06-19 2023-03-14 ファナック株式会社 調整支援装置
WO2021151066A1 (en) * 2020-01-24 2021-07-29 The Cleveland Clinic Foundation Compliance correction in a robotic system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017021567A (ja) * 2015-07-10 2017-01-26 日本信号株式会社 保守管理システム
JP2017167847A (ja) * 2016-03-16 2017-09-21 株式会社東芝 運用計画案作成装置、運用計画案作成方法、プログラムおよび運用計画案作成システム
WO2018105296A1 (ja) * 2016-12-07 2018-06-14 株式会社日立製作所 品質管理装置及び品質管理方法
WO2019187228A1 (ja) * 2018-03-26 2019-10-03 株式会社 東芝 品質監視システム
WO2019239606A1 (ja) * 2018-06-15 2019-12-19 三菱電機株式会社 工作機械の加工寸法予測装置、工作機械の加工寸法予測システム、工作機械の設備異常判定装置、工作機械の加工寸法予測方法及びプログラム
JP2020140365A (ja) * 2019-02-27 2020-09-03 トヨタ自動車株式会社 製品品質不良予測システム

Also Published As

Publication number Publication date
CN116457736A (zh) 2023-07-18
JP7055258B1 (ja) 2022-04-15
US20230153983A1 (en) 2023-05-18
US12397417B2 (en) 2025-08-26
JPWO2022130640A1 (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
JP7055258B1 (ja) 学習装置、推論装置、診断システム、モデル生成方法及びプログラム
JP6999635B2 (ja) 画像ベースのメンテナンス予測および動作エラーの検出
CN110244666B (zh) 生产线监视装置、生产线监视系统、生产线监视方法
CN119375643B (zh) 一种绝缘检测功能的检测方法及系统
US11521120B2 (en) Inspection apparatus and machine learning method
JP2007328645A (ja) 故障診断システム、画像形成装置および故障診断プログラム
TWI672571B (zh) 用於監測一晶圓檢驗配方隨著時間經過之穩定性之方法，系統及非暫態電腦可讀媒體
US11598738B2 (en) Apparatus and method for detecting defective component using infrared camera
KR102891794B1 (ko) 반도체 디바이스들에서 잠재적 신뢰성 결함들을 식별하기 위한 시스템 및 방법
EP4285196A1 (en) Process abnormality identification using measurement violation analysis
CN114077919A (zh) 用于预测加工异常的系统
JP2025517109A (ja) データ駆動型アプローチを通したセンサ故障のリアルタイム検出、予測、及び修復
JP2018063528A (ja) 対象物の出荷時検査情報と稼働時アラーム情報の相関関係を学習する機械学習装置および機械学習方法
CN115587959A (zh) 异常检测系统及异常检测方法
TWI637250B (zh) 智慧加工調變系統及方法
TW202424831A (zh) 在使用機器學習的製造系統處的裝備參數管理
CN118278653B (zh) 一种基于视觉机器人的设备缺陷检测系统
CN116360384B (zh) 用于诊断和监控信息物理系统中的异常的系统和方法
CN117663353A (zh) 核电通风空调系统的故障检测与诊断方法
JP7332028B2 (ja) アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体
Kumar et al. Multimodal Fault Analysis of AC Motors Using Multi-sensor Data and ML
Bauer et al. Continuous adaptation of deep learning models for optical quality monitoring tasks
Chung et al. Real-time prognostics of the positioning-shift failure for wafer-handling robot arms using stacked LSTM deep-learning model and IoT edge computing
JP2019175302A (ja) 機器制御装置、及び機器制御方法
KR20260053326A (ko) 이미지 기반 센서 트레이스 분석을 위한 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021559582

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20966026

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202080099225.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20966026

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17915112

Country of ref document: US