WO2022137580A1 - Control system, support device, and labeling method - Google Patents

Control system, support device, and labeling method Download PDF

Info

Publication number
WO2022137580A1
WO2022137580A1 PCT/JP2021/009572 JP2021009572W WO2022137580A1 WO 2022137580 A1 WO2022137580 A1 WO 2022137580A1 JP 2021009572 W JP2021009572 W JP 2021009572W WO 2022137580 A1 WO2022137580 A1 WO 2022137580A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
label
information collected
control
control system
Prior art date
Application number
PCT/JP2021/009572
Other languages
French (fr)
Japanese (ja)
Inventor
真輔 川ノ上
健斗 土川
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2022137580A1 publication Critical patent/WO2022137580A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring

Definitions

  • This technique relates to a control system, a support device connected to a control device included in the control system, and a labeling method used in the control system.
  • Predictive maintenance means a maintenance mode in which maintenance work such as maintenance or replacement is performed before the equipment is stopped unless the equipment is stopped by detecting some abnormality in the machine or equipment.
  • a machine that collects the state values of a machine or device and determines whether or not any abnormality has occurred in the machine or device based on the collected state values. A mechanism using learning has been put into practical use.
  • Patent Document 1 discloses labeling or label verification for achieving efficient labeling of unlabeled components of a target data set.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2018-537798
  • a control system detects an abnormality in a controlled object by referring to a model based on a control calculation unit that executes a control operation for controlling the controlled object and information collected from the controlled object.
  • the abnormality detection unit, the image collection unit that collects images of images related to the abnormality detection target, and the information collected from the control target and the captured image are output in a temporally associated manner, and a label is output. It includes a user interface part that accepts the designation of, and a generation part that generates training data for constructing a model by adding the specified label to the information collected from the controlled object.
  • the user interface unit may output an image corresponding to the information selected from the information collected from the controlled object. According to this configuration, even when a plurality of images are collected, the corresponding images can be appropriately output.
  • the user interface unit may reflect the same label as the label specified for the information corresponding to any one of the plurality of images for the information corresponding to each of the plurality of similar images. According to this configuration, the similarity of images can be utilized to increase the efficiency of labeling.
  • the user interface unit may reflect the same specified label for a plurality of information collected from the controlled object.
  • the same label can be collectively assigned to apparently abnormal information, so that the efficiency of label assignment can be improved.
  • the image may include at least one of a still image and a moving image. According to this configuration, either a still image or a moving image can be selected depending on the situation.
  • the user interface unit may display the position of the corresponding information among the information collected from the control target along with the playback of the moving image. According to this configuration, even if the moving image is recorded in chronological order, the image for attaching the label can be easily confirmed.
  • the control system may further include a model generator that generates a model based on the training data. According to this configuration, a model used for abnormality detection can be generated based on the generated image data.
  • the control system may further include a feature amount calculation unit that calculates a feature amount from the state value of the control target as the information collected from the control target. According to this configuration, it is possible to generate learning data suitable for anomaly detection using features.
  • an abnormality in the controlled object is detected by referring to a model based on a control calculation unit that executes a control operation for controlling the controlled object and information collected from the controlled object.
  • a support device connected to a control device including an abnormality detection unit is provided.
  • the support device outputs the image acquisition unit that acquires an image of what is related to the abnormality detection target, the information collected from the control target, and the captured image in a timely manner, and outputs the label. It includes a user interface unit that accepts the designation and a generation unit that generates training data for constructing the model by adding the specified label to the information collected from the controlled object.
  • a labeling method for a control system that detects an abnormality in a controlled object by referring to a model based on the information collected from the controlled object.
  • the labeling method includes a step of acquiring information collected from the control target, a step of acquiring an image obtained by capturing an image related to the abnormality detection target, and a step of acquiring the information collected from the control target and the captured image.
  • FIG. 1 is a schematic diagram showing an overall configuration example of the control system 1 according to the present embodiment.
  • the control system 1 according to the present embodiment is used as a main component, a control device 100 for controlling a control target, a support device 200 connected to the control device 100, and labeling. It includes an image collecting unit 300 for collecting images (still images and / or moving images).
  • the control device 100 may be embodied as a kind of computer such as a PLC (programmable controller).
  • the control device 100 is connected to the field device group 10 via the field bus 2. It is preferable that the fieldbus 2 adopts an industrial communication protocol.
  • EtherCAT registered trademark
  • EtherNet / IP registered trademark
  • DeviceNet registered trademark
  • CompoNet registered trademark
  • the field device group 10 includes a device that collects input data from a controlled object or a manufacturing device related to control, a production line, or the like (hereinafter, also collectively referred to as a “field”). As a device for collecting such input data, an input relay, various sensors, and the like are assumed. The field device group 10 further includes a device that gives some action to the field based on a command generated by the control device 100 (hereinafter, also referred to as “output data”). As a device that exerts some action on such a field, an output relay, a contactor, a servo driver, a servo motor, and any other actuator are assumed. These field device groups 10 exchange data including input data and output data with and from the control device 100 via the field bus 2.
  • the field device group 10 includes a remote I / O (Input / Output) device 12, a relay group 14, a servo driver 18, and a servomotor 20.
  • a remote I / O (Input / Output) device 12 includes a remote I / O (Input / Output) device 12, a relay group 14, a servo driver 18, and a servomotor 20.
  • the remote I / O device 12 has a communication unit that communicates via the fieldbus 2 and an input / output unit that collects input data and outputs output data (hereinafter, also referred to as “I / O unit”). And include. Input data and output data are exchanged between the control device 100 and the field via such an I / O unit.
  • FIG. 1 shows an example in which digital signals are exchanged as input data and output data via the relay group 14.
  • the I / O unit may be directly connected to the fieldbus.
  • FIG. 1 shows an example in which the I / O unit 16 is directly connected to the fieldbus 2.
  • the servo driver 18 drives the servo motor 20 according to output data (for example, a position command) from the control device 100.
  • input data and output data are exchanged between the control device 100 and the field device group 10 via the field bus 2, and these exchanged data are on the order of several hundred ⁇ sec. It will be updated in a very short cycle of several tens of msec orders.
  • the data update process of such exchanged data may be referred to as "I / O refresh process”.
  • the control device 100 has a PLC engine (PLC engine 130 shown in FIG. 2) that executes control operations for controlling a controlled object such as equipment or a machine.
  • the PLC engine corresponds to a control calculation unit, and determines output data by executing a control calculation based on input data.
  • the control device 100 sequentially stores an input data from the field device group 10, output data to the field device group 10, internal data managed inside the control device 100, and the like (hereinafter, "TSDB (hereinafter,” TSDB (hereinafter, “TSDB”). It is also referred to as "Time Series Data Base)".) It has 140.
  • TSDB hereinafter, TSDB (hereinafter, TSDB (hereinafter, “TSDB”).
  • TSDB time Series Data Base
  • the data stored in the TSDB 140 is also referred to as "time series data”.
  • the control device 100 has an abnormality detection engine 150 that detects an abnormality in the controlled object by referring to a model 160 prepared in advance based on the information collected from the controlled object.
  • a model 160 prepared in advance based on the information collected from the controlled object.
  • time-series data or a feature amount calculated from the time-series data
  • the abnormality detection engine 150 determines whether or not an abnormality has occurred in the controlled object based on the time-series data stored in the TSDB 140.
  • the control device 100 may be connected to the server 400 via the upper network 6 or may be connected to one or more display devices 500 via the fieldbus 4.
  • the server 400 and the display device 500 are optional configurations, and are not essential configurations of the control system 1.
  • the server 400 is in charge of processing such as providing arbitrary information to the control device 100 or collecting data from the control device 100.
  • the display device 500 receives an operation from the user, transmits a command or the like corresponding to the user operation to the control device 100, and graphically displays the calculation result or the like in the control device 100.
  • the support device 200 is an information processing device (an example of a computer) that supports preparations necessary for the control device 100 to control a controlled object.
  • the support device 200 is a development environment for a user program executed by the control device 100 (program creation / editing tool, parser, compiler, etc.), parameters of the control device 100 and various devices connected to the control device 100 (specifically, the parameters (program creation / editing tool, parser, compiler, etc.)). It provides a setting environment for setting (configuration), a function of transmitting a generated user program to the control device 100, a function of modifying / changing a user program executed on the control device 100 online, and the like.
  • the support device 200 has a function for supporting the generation and adjustment of the model 160 referred to by the abnormality detection engine 150 mounted on the control device 100.
  • the image collecting unit 300 collects images obtained by capturing images related to the target of abnormality detection. More specifically, the image acquisition unit 300 collects images to support the generation of training data used by the support device 200 to generate and adjust the model 160.
  • the image collecting unit 300 typically has a camera 330 arranged at an arbitrary position.
  • the image may be either a still image or a moving image, or may include both a still image and a moving image.
  • the image collected by the image collecting unit 300 can be used in the support device 200.
  • what is related to the target of abnormality detection is any information that can be used to generate learning data for learning the detection logic (that is, model 160) of the abnormality detection engine 150. You may.
  • the target of abnormality detection for example, a workpiece (product or semi-finished product) to be produced or a production facility itself can be considered.
  • the support device 200 acquires the time-series data stored in the TSDB 140, and determines the parameter defining the model 160 referred to by the abnormality detection engine 150 by data mining. Then, the support device 200 transfers the determined parameter to the control device 100. As a result, the abnormality detection engine 150 of the control device 100 is effectively configured.
  • the support device 200 acquires the time-series data stored in the TSDB 140 and also acquires the image from the image collecting unit 300.
  • the user operates the support device 200 to add a label to the time series data while viewing the image.
  • the support device 200 adjusts the parameters that define the model 160 based on the labeled time series data. That is, the model 160 will be regenerated or adjusted.
  • the support device 200 transfers the adjusted parameters to the control device 100.
  • the abnormality detection engine 150 of the control device 100 is further optimized.
  • FIG. 2 is a diagram for explaining an example of a main configuration and an operation mode of the control system 1 according to the present embodiment.
  • the abnormality detection process in the control system 1 is typically realized in the order of the data acquisition phase 30, the data analysis phase 32, and the operation phase 34.
  • time-series data related to the target of abnormality detection is collected.
  • the feature amount suitable for the target abnormality detection is examined by data mining or the like for the time series data collected in the data collection phase 30, and the model 160 according to the examined feature amount is examined. Generated.
  • the operation phase 34 is started by using the model 160 generated in the data analysis phase 32.
  • the model 160 may be updated by re-learning. be. Alternatively, the model 160 may be updated by re-learning even when some change (for example, secular change, change in operating conditions, etc.) occurs in the target of abnormality detection.
  • the support device 200 may include a data mining tool 240 and a model generation tool 250.
  • the data mining tool 240 mainly provides necessary processing in the data analysis phase 32.
  • the model generation tool 250 mainly provides necessary processing in the operation phase 34.
  • the data mining tool 240 typically provides a feature amount generation process 242, a feature amount selection process 244, a model generation process 246, and a threshold value setting process 248.
  • the model generation tool 250 provides a model update process 252 and a threshold value adjustment process 254. Further, the model generation tool 250 provides a labeling process 260.
  • the label assignment process 260 is a process of supporting the label assignment to the time series data 142 (or the feature amount calculated from the time series data 142) by the user by using the image 342 provided by the image collection unit 300. Is.
  • the time-series data 142 to which the label is attached (or the feature amount calculated from the time-series data 142) becomes the learning data.
  • a set of training data becomes a training data set, and this training data set is used for retraining and updating of the model 160. That is, the model update process 252 and the threshold value adjustment process 254 generate or update the model 160 based on the plurality of training data.
  • the image collecting unit 300 has a database (hereinafter, also referred to as "DB (Time Series Data Base)”) 340 that sequentially stores images 342 captured by a camera 330 arranged at an arbitrary position.
  • DB Time Series Data Base
  • control device 100 has a PLC engine 130, a TSDB 140, and an abnormality detection engine 150.
  • the PLC engine 130 periodically executes the control operation defined by the user program 132 arbitrarily created according to the control target.
  • the AI library 134 is available.
  • the AI library 134 may be incorporated in the user program 132.
  • the contents, characteristics, operations, etc. of the AI library 134 may be determined using the data mining tool 240 in the data analysis phase 32.
  • one or more feature quantities 152 are calculated from the data specified in advance, and the calculated feature quantity 152 is transferred to the abnormality detection engine 150. Provided.
  • the PLC engine 130 has a data management unit 136, and holds input data, output data, and internal data in a form that can be referred from the user program 132.
  • the value of the data managed by the data management unit 136 is updated every predetermined cycle (I / O refresh cycle) by the I / O refresh process. Further, among the data managed by the data management unit 136, the data designated in advance is stored in the TSDB 140 at predetermined intervals. As a result, the TSDB 140 outputs a change in the value of the designated data for each predetermined cycle, that is, time-series data 142.
  • the abnormality detection engine 150 determines the occurrence or possibility of an abnormality with reference to the model 160 based on the feature amount 152 from the PLC engine 130.
  • the model 160 may be determined using the data mining tool 240 in the data analysis phase 32, or may be determined using the model generation tool 250 in the operation phase 34.
  • the model 160 is a function that outputs a value (probability or likelihood) indicating the occurrence of an abnormality when one or more feature quantities 152 are input.
  • the parameters that define the model 160 may include each coefficient that defines a function that is the substance of the model 160, and a threshold value for evaluating the value output from the model 160.
  • the control system 1 provides a function of supporting the generation of a set of learning data (learning data set) by the labeling processing 260 of the support device 200 and the image collecting unit 300, and this function provides the function. , Re-learning, etc. can be performed more easily.
  • FIG. 3 is a diagram for explaining an outline of the label assigning process 260 in the control system 1 according to the present embodiment.
  • the support device 200 acquires a set of the time-series data 142 and the image 342 captured at the timing when the time-series data 142 is collected (observed).
  • the support device 200 presents the image 342 to the user, receives the label 144 specified by the user, and associates it with the corresponding time-series data 142 (or the feature amount calculated from the time-series data 142).
  • Label 144 contains, for example, a value indicating whether the corresponding time series data 142 is "normal” or "abnormal".
  • a set of time series data 142 and the corresponding label 144 is used as one learning data 146.
  • the set of training data 146 is the training data set.
  • the model 160 is regenerated or adjusted by retraining using a plurality of training data 146s generated by the labeling process 260.
  • the user is presented with the image 342 captured at the timing when the time series data 142 is collected, so that the user can use the time series data 142 for each of the time series data 142.
  • the label to be attached can be easily grasped. Therefore, the learning data 146 can be created more easily in the operation phase 34 or the like.
  • FIG. 4 is a block diagram showing a hardware configuration example of the control device 100 constituting the control system 1 according to the present embodiment.
  • the control device 100 includes a processor 102 such as a CPU (Central Processing Unit) and an MPU (Micro-Processing Unit), a chip set 104, a main storage device 106, and a secondary storage device 108.
  • Upper network controller 110 USB (Universal Serial Bus) controller 112, memory card interface 114, internal bus controller 122, field bus controllers 118, 120, I / O units 124-1, 124-2, ... including.
  • USB Universal Serial Bus
  • the processor 102 realizes the PLC engine 130 and the abnormality detection engine 150 by reading out various programs stored in the secondary storage device 108, deploying them in the main storage device 106, and executing the programs.
  • the chipset 104 controls data transmission and the like between the processor 102 and each component.
  • the user program 132 executed by using the PLC engine 130 is stored.
  • a part of the area of the secondary storage device 108 may be used as the TSDB 140.
  • the upper network controller 110 controls the exchange of data with other devices via the upper network 6.
  • the USB controller 112 controls the exchange of data with the support device 200 via the USB connection.
  • the memory card interface 114 is configured so that the memory card 116 can be attached and detached, and data can be written to the memory card 116 and various data (user programs, trace data, etc.) can be read from the memory card 116. ing.
  • the internal bus controller 122 is an interface for exchanging data with the I / O units 124-1, 124-2, ... Mounted on the control device 100.
  • the fieldbus controller 118 controls the exchange of data with other devices via the fieldbus 2.
  • the fieldbus controller 120 controls the exchange of data with other devices via the fieldbus 4.
  • FIG. 4 shows a configuration example in which the necessary functions are provided by the processor 102 executing a program, and some or all of these provided functions are provided by a dedicated hardware circuit (for example, ASIC). It may be implemented using (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). Alternatively, the main part of the control device 100 may be realized by using hardware that follows a general-purpose architecture (for example, an industrial personal computer based on a general-purpose personal computer). In this case, a virtualization technique may be used to execute a plurality of OSs (Operating Systems) having different uses in parallel, and to execute necessary applications on each OS.
  • OSs Operating Systems
  • the support device 200 is realized, for example, by executing a program using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture.
  • hardware for example, a general-purpose personal computer
  • FIG. 5 is a block diagram showing a hardware configuration example of the support device 200 constituting the control system 1 according to the present embodiment.
  • the support device 200 includes a processor 202 such as a CPU and an MPU, an optical drive 204, a main storage device 206, a secondary storage device 208, a USB controller 212, and a network controller 214.
  • a unit 216 and a display unit 218 are included. These components are connected via the bus 220.
  • the processor 202 reads various programs stored in the secondary storage device 208, expands them in the main storage device 206, and executes them to realize various processes including a label assignment process as described later.
  • the secondary storage device 208 is composed of, for example, an HDD (Hard Disk Drive) or an SSD (Flash Solid State Drive).
  • the secondary storage device 208 typically creates a PLC interface program 224 for exchanging data related to the abnormality detection function between the OS 222 and the control device 100, and a user program executed by the support device 200.
  • Development program 226 for debugging the created user program, defining the system configuration, setting various parameters, etc.
  • data mining program 228 for realizing the data mining tool 240, and model generation tool 250.
  • the model generation program 230 and the above are stored.
  • the secondary storage device 208 may store necessary programs other than the program shown in FIG.
  • the support device 200 has an optical drive 204 from a recording medium 205 (for example, an optical recording medium such as a DVD (Digital Versatile Disc)) that non-transiently stores a computer-readable program into the support device 200.
  • a recording medium 205 for example, an optical recording medium such as a DVD (Digital Versatile Disc)
  • the stored program is read and installed in the secondary storage device 208 or the like.
  • Various programs executed by the support device 200 may be installed via a computer-readable recording medium 205, or may be installed by downloading from a server device or the like on the network. Further, the function provided by the support device 200 according to the present embodiment may be realized by using a part of the module provided by the OS222.
  • the USB controller 212 controls the exchange of data with the control device 100 via the USB connection.
  • the network controller 214 controls the exchange of data with other devices via an arbitrary network.
  • the input unit 216 is composed of a keyboard, a mouse, etc., and accepts user operations.
  • the display unit 218 is composed of a display, various indicators, a printer, and the like, and outputs a processing result from the processor 202 and the like.
  • FIG. 5 shows a configuration example in which the necessary functions are provided by the processor 202 executing a program, and some or all of these provided functions are provided by a dedicated hardware circuit (for example, ASIC). Alternatively, it may be implemented using FPGA or the like).
  • the image collecting unit 300 is realized, for example, by executing a program using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture.
  • hardware for example, a general-purpose personal computer
  • FIG. 6 is a block diagram showing a hardware configuration example of the image collecting unit 300 constituting the control system 1 according to the present embodiment.
  • the image collecting unit 300 includes a processor 302 such as a CPU and an MPU, a main storage device 306, a secondary storage device 308, a camera controller 312, a network controller 314, and an input unit 316. Includes display unit 318. These components are connected via the bus 320.
  • the processor 302 reads out various programs stored in the secondary storage device 308, expands them in the main storage device 306, and executes them to realize various processes including a model generation process as described later.
  • the secondary storage device 308 is composed of, for example, an HDD or an SSD.
  • the secondary storage device 308 typically stores an OS 322 and a system program 324 for realizing processing related to image pickup and the like.
  • the secondary storage device 308 may store necessary programs other than the program shown in FIG.
  • Various programs executed by the image collecting unit 300 may be installed by downloading from a server device or the like on the network. Further, the function provided by the image collecting unit 300 according to the present embodiment may be realized by using a part of the module provided by the OS 322.
  • the camera controller 312 gives an image pickup command to the camera 330 and acquires an image captured by the camera 330.
  • the network controller 314 controls the exchange of data with other devices (for example, the support device 200) via an arbitrary network.
  • the input unit 316 is composed of a keyboard, a mouse, etc., and accepts user operations.
  • the display unit 318 is composed of a display, various indicators, a printer, and the like, and outputs a processing result from the processor 302 and the like.
  • FIG. 6 shows a configuration example in which the necessary functions are provided by the processor 302 executing the program, and some or all of these provided functions are provided by a dedicated hardware circuit (for example, ASIC). Alternatively, it may be implemented using FPGA or the like).
  • FIG. 7 is a schematic diagram showing a functional configuration example for realizing the label assignment process 260 in the control system 1 according to the present embodiment.
  • the control device 100 includes a time management unit 138 that manages the time.
  • the time management unit 138 manages and holds the current time, and may be realized by using, for example, a radio clock, a GPS (Global Positioning System), a real-time clock, a counter, or the like.
  • the time information managed by the time management unit 138 is added to the time series data 142 stored in the TSDB 140 as a time stamp.
  • the image collecting unit 300 also has a time management unit 338.
  • the time management unit 338 also manages and holds the current time. Since it is necessary to match the time managed by the time management unit 138 and the time management unit 338, for example, the time is synchronized between the time management unit 138 and the time management unit 338 using NTP (Network Time Protocol) or the like. You may try to do it.
  • the image collecting unit 300 may be connected to the control device 100 via a network, or may construct its own network between the time management unit 138 and the time management unit 338.
  • time management unit 138 and the time management unit 338 manage the time using a radio clock or GPS, each of them can acquire an accurate time, so that they do not have to synchronize with each other.
  • the time information managed by the time management unit 338 is added to the image 342 stored in the DB 340 as a time stamp.
  • a time stamp is added to both the time series data 142 provided from the control device 100 to the support device 200 and the image 342 provided from the image collecting unit 300, and the time is added based on the time stamp. It is possible to realize the correspondence between the series data 142 and the image 342.
  • the model generation tool 250 of the support device 200 has a time-series data acquisition module 261, an image acquisition module 262, a time mapping module 263, a user interface module 264, and learning as functions for realizing the label assignment process 260. Includes data generation module 266 and.
  • the time-series data acquisition module 261 acquires the time-series data 142 from the TSDB 140 of the control device 100.
  • the time-series data acquisition module 261 has a feature amount calculation module 267.
  • the feature amount calculation module 267 calculates the feature amount of the predetermined contents from the acquired time series data 142. That is, the feature amount calculation module 267 calculates the feature amount from the state value of the control target (each value included in the time series data 142) as the information collected from the control target.
  • the image acquisition module 262 acquires an image 342 from the image acquisition unit 300.
  • the time association module 263 associates the time series data 142 acquired by the time series data acquisition module 261 with the image 342 acquired by the image acquisition module 262 with respect to the time.
  • FIG. 8 is a diagram for explaining the correspondence between the time series data 142 and the image 342 in the control system 1 according to the present embodiment.
  • the time series data 142 has a time stamp indicating a time.
  • Image 342 also has a time stamp.
  • the file of the corresponding moving image may be specified and the position in the specified moving image may be determined.
  • the user interface module 264 temporally transfers the information collected from the controlled object (time-series data 142 or the feature amount calculated from the time-series data 142) and the captured image 342. It is output in association with, and the label specification is accepted.
  • the user interface module 264 presents the user with a user interface screen including the time series data 142 (or the feature amount calculated from the time series data 142) and the image 342, and the user specifies a label. To accept.
  • the user interface module 264 includes a label setting support module 265.
  • the label setting support module 265 is in charge of processing for supporting the label designation by the user. An example of the process for supporting the label specification will be described later.
  • the learning data generation module 266 applies the learning data 146 to the information (time-series data 142 or the feature amount calculated from the time-series data 142) collected from the control target with the label specified by the user. Generate.
  • FIG. 9 is a schematic diagram showing an example of a user interface screen provided in the control system 1 according to the present embodiment.
  • the user interface screen 270 includes a feature amount display area 271, a histogram display area 272, and an image display area 276.
  • the feature amount display area 271 displays the feature amount calculated from the time series data 142 for each predetermined time interval called a frame.
  • the horizontal axis of the feature amount display area 271 is the frame number, and the vertical axis is the feature amount.
  • threshold values 273 and 274 indicating the two threshold values are displayed.
  • the histogram display area 272 displays a histogram which is a distribution of the size of all or a part of the feature amount displayed in the feature amount display area 271.
  • the image display area 276 displays images 342-1 to 342-5 corresponding to the collection timing of the feature amount included in the selection area 275 arbitrarily set for the feature amount display area 271.
  • the user interface module 264 of the support device 200 outputs an image 342 corresponding to the information selected from the information collected from the controlled object (time-series data 142 or feature quantity calculated from the time-series data 142). ..
  • the displayed images 342-1 to 342-5 correspond to one frame, respectively.
  • the image 342 displayed in the image display area 276 in response to pressing the post-forward button 278 and the post-forward button 279. May be changed sequentially.
  • FIG. 9 shows an image 342 when an image of a workpiece produced by the equipment to be controlled is imaged (the same applies to the following figure).
  • the work included in the image 342-4 shown in FIG. 9 has scratches 344.
  • FIG. 10 is a schematic diagram showing an example of a labeling processing procedure on the user interface screen provided in the control system 1 according to the present embodiment.
  • the user selects and labels any image 342 displayed in the image display area 276. More specifically, when the user selects any image 342, the labeling window 280 is displayed on the image 342.
  • the label assignment window 280 three labels of "normal”, “abnormal”, and “ignore” (for example, excluded from the training data 146 because of outliers) are displayed.
  • the user selects one of the labels while looking at the image 342 (selected display 282).
  • the types of labels are not limited to three, and may be more or less.
  • the image 342-4 in which the work has scratches 344 is labeled as "abnormal".
  • the image 342 in which the work has no scratches 344 is labeled as "normal”.
  • the label given to any image 342 may be reflected in the other image 342 based on the similarity of the image 342.
  • 11 and 12 are schematic views showing an example of a processing procedure that reflects one label on the user interface screen provided in the control system 1 according to the present embodiment.
  • the user selects an image 342-1 displayed in the image display area 276 and labels it as "normal". Subsequently, when the user instructs the image to be reflected in the similar image 342, the support device 200 searches for the image 342 similar to the image 342-1 among the unlabeled images 342, and is searched. The same label (“normal” in this example) is reflected for the image 342.
  • image 342-1 and image 342-2, 342-3, 342-5 are similar, and the "normal" label given to image 342-1 is image 342. -It is also reflected in 2,342-3,342-5.
  • the user interface module 264 label setting support module 265) of the support device 200 has information corresponding to a plurality of similar images (characteristic amount calculated from the time-series data 142 or the time-series data 142). May reflect the same label as the label specified for the information corresponding to any one of the plurality of images.
  • 13 and 14 are schematic views showing an example of a labeling processing procedure when an image does not exist on the user interface screen provided in the control system 1 according to the present embodiment.
  • the image 342 corresponding to the collection timing of the feature amount may not exist or may not be acquired.
  • the image 342-1 and the image 342-2 have been acquired, and the remaining image 342 has not been acquired. Even in such a case, labeling is possible.
  • the user can specify a label based on the relationship between each feature amount and the threshold value.
  • the feature amount in which the corresponding image 342 does not exist is labeled as "normal".
  • the label is attached to the time-series data 142 (or the feature amount calculated from the time-series data 142), so that the image 342 does not exist. , Labeling processing can be executed.
  • FIG. 15 is a schematic diagram showing an example of a processing procedure for assigning a label to a specific feature amount on the user interface screen provided in the control system 1 according to the present embodiment.
  • the selection area 275 can be arbitrarily set with reference to FIG. 15, for example, the selection area 275 is set and set so as to include one or a plurality of features showing a value significantly different from the normal value.
  • the feature amount contained in the selected area 275 may be labeled as "abnormal".
  • one image 342 may be labeled as "abnormal” and then the same label may be reflected on the other images 342, or a plurality of images 342 may be selected.
  • "Abnormal” may be labeled.
  • the user interface module 264 label setting support module 265) of the support device 200 may reflect the same designated label for a plurality of information collected from the control target.
  • the label given to one of the images 342 may be reflected in the other image 342 based on the similarity of the image 342.
  • FIG. 16 is a schematic diagram showing an example of displaying a moving image on the user interface screen provided in the control system 1 according to the present embodiment.
  • a moving image is displayed as an image 342 in the image display area 276 of the user interface screen 270.
  • the image 342 which is a moving image displayed in the image display area 276, is played and stopped in response to pressing the play button 287 and the stop button 288.
  • the position indicator 286 in the feature amount display area 271 moves according to the position during playback of the moving image.
  • the user may be able to operate the position indicator 286. In this case, the position of the moving image corresponding to the position of the position indicator 286 is reproduced or displayed.
  • the user interface module 264 of the support device 200 adopts the moving image as the image 342
  • the user interface module 264 displays the position of the corresponding information among the information collected from the controlled object along with the reproduction of the moving image. May be good.
  • the label assignment window 280 is displayed on the image 342 by a predetermined user operation. The user selects one of the labels while looking at the image 342 corresponding to the position indicator 286.
  • FIG. 17 is a flowchart showing a processing procedure related to the labeling processing 260 in the control system 1 according to the present embodiment.
  • the main step shown in FIG. 17 may typically be realized by the processor 202 of the support device 200 executing the model generation program 230.
  • the user arranges the camera 330 of the image collecting unit 300 so that the field of view includes the object related to the abnormality detection (step S2).
  • the control device 100 sequentially stores the time series data 142 in the TSDB 140 (step S4), and the image collecting unit 300 sequentially stores the images captured by the camera 330 in the DB 340 (step S6).
  • the support device 200 acquires the time series data 142 from the control device 100 (step S10).
  • the image 342 is acquired from the image collecting unit 300 (step S12). In this way, the support device 200 executes a process of acquiring information collected from the controlled object and a process of acquiring an image obtained by capturing an image related to the object of abnormality detection.
  • the support device 200 calculates the feature amount for each frame from the acquired time series data 142 (step S14). Further, the support device 200 is a feature amount for each frame calculated from the time series data 142 based on the time stamp added to the acquired time series data 142 and the time stamp added to the acquired image 342. And the image 342 are associated with each other (step S16). Then, the support device 200 displays the feature amount for each frame calculated from the time series data 142 (step S18). In this way, the support device 200 outputs the information collected from the controlled object and the captured image 342 in a temporally associated manner.
  • the support device 200 displays the image 342 corresponding to the feature amount included in the selection area 275 (step S22).
  • the support device 200 displays the labeling window 280 in association with the selected image 342 (step S26).
  • the support device 200 uses the selected label as a feature calculated from the time series data 142 (or the time series data 142) of the corresponding frame. (Amount) (step S30).
  • the support device 200 has a process of accepting the label designation and a process of generating training data 146 for configuring the model 160 by adding the designated label to the information collected from the control target. To execute.
  • the support device 200 determines whether or not the reflection based on the similarity of the image 342 is instructed (step S32). When the reflection based on the similarity of the image 342 is instructed (YES in step S32), the support device 200 searches for an image 342 similar to the previously selected image 342 (step S34), and the searched image is searched. The same label as the label given to the previously selected image 342 is given to the 342 (step S36).
  • the support device 200 determines whether or not another image 342 has been selected (step S38). When another image 342 is selected (YES in step S38), the processing of step S26 and the like is repeated.
  • the support device 200 determines whether or not another selection area 275 has been set (step S40). When another selection area 275 is set (YES in step S40), the processing of step S22 or less is repeated.
  • the support device 200 determines whether or not the end of the label assignment process has been instructed (step S42). When the end of the label assignment process is instructed (YES in step S42), the label assignment process ends.
  • the support device 200 After the label assignment process, the support device 200 performs the model 160 generation process using the plurality of learning data 146 generated in step S30.
  • the label assignment process 260 is included in the model generation tool 250 is illustrated, but the label assignment process 260 may be implemented independently or may be included in the data mining tool 240. Further, the labeling process 260 may be implemented in a device other than the support device 200 (for example, a computing resource on the cloud).
  • any hardware may be used to implement the labeling process 260 according to the present embodiment.
  • the generated learning data 146 may be time-series data 142 for each frame to which a label is attached, or may be a feature amount for each frame to which a label is attached.
  • the user interface screen 270 on the display is illustrated as an example as a form in which the information collected from the controlled object and the captured image 342 are output in a temporally associated manner, but the present invention is not limited to this. , Any output form can be adopted.
  • a control calculation unit (130) that executes a control calculation to control a control target
  • An abnormality detection unit (150) that detects an abnormality in the controlled object with reference to the model (160) based on the information (152) collected from the controlled object.
  • An image collection unit (300) that collects images (342) of images related to the target of abnormality detection, and
  • a user interface unit (264) that outputs the information collected from the controlled object and the captured image in a timely manner and accepts a label designation.
  • a control system including a generation unit (266) that generates learning data (146) for constructing the model by adding a designated label to the information collected from the control target.
  • the user interface unit (264, 265) reflects the same label as the label designated for the information corresponding to any one of the plurality of images for the information corresponding to each of the plurality of similar images.
  • a support device (200) connected to a control device (100) including an abnormality detection unit (150) for detection.
  • An image acquisition unit (262) that acquires an image (342) of an image related to an abnormality detection target, and an image acquisition unit (262).
  • a user interface unit (264) that outputs the information collected from the controlled object and the captured image in a timely manner and accepts a label designation.
  • a support device including a generation unit (266) that generates learning data (146) for constructing the model by adding a designated label to the information collected from the control target.
  • the step (S24) of accepting the label designation and A labeling method comprising a step (S30) of generating learning data for constructing the model by adding a designated label to the information collected from the controlled object.
  • the user can add a label while looking at the captured image, so that the label can be efficiently attached to generate the learning data.
  • it is sufficient for the camera for capturing the image to acquire the image necessary for generating the learning data it may be arbitrarily arranged in the ad hoc network, and it is possible to flexibly deal with the restrictions peculiar to the control target.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

This control system includes: a control computation unit that executes control computation for controlling an object to be controlled; an abnormality detection unit that refers to a model and detects abnormalities in the object to be controlled on the basis of information collected from the object to be controlled; an image collection unit that collects images in which items related to the object of abnormality detection are captured; a user interface unit that makes a time-related association between information collected from the object to be controlled and the captured image, outputs the result of the association, and accepts designation of a label; and a generation unit that adds the designated label to the information collected from the object to be controlled, whereby training data for configuring the model is generated.

Description

制御システム、サポート装置およびラベル付与方法Control system, support device and labeling method
　本技術は、制御システム、制御システムに含まれる制御装置に接続されるサポート装置、および制御システムで用いられるラベル付与方法に関する。 This technique relates to a control system, a support device connected to a control device included in the control system, and a labeling method used in the control system.
　様々な生産現場において、機械や装置に対する予知保全により設備稼働率を向上させたいというニーズが存在する。予知保全とは、機械や装置に生じる何らかの異常を検知して、設備を停止しなければ状態になる前に、整備や交換などの保守作業を行うような保全形態を意味する。このような予知保全を実現するために、機械や装置の状態値を収集するとともに、収集された状態値に基づいて、当該機械や装置に何らかの異常が生じているか否かを判断するような機械学習を用いた仕組みが実用化されている。 At various production sites, there is a need to improve the equipment utilization rate by predictive maintenance of machines and equipment. Predictive maintenance means a maintenance mode in which maintenance work such as maintenance or replacement is performed before the equipment is stopped unless the equipment is stopped by detecting some abnormality in the machine or equipment. In order to realize such predictive maintenance, a machine that collects the state values of a machine or device and determines whether or not any abnormality has occurred in the machine or device based on the collected state values. A mechanism using learning has been put into practical use.
　このような機械学習を実現するにあたって、ラベルが付与されたデータからなる学習データセットを用意する必要がある。一般的に、ラベル付与は、手間および時間を要する処理である。例えば、特表２０１８－５３７７９８号公報（特許文献１）は、目標データセットのラベル付けされていない構成要素の効率的なラベル付けを実現するためのラベル付けまたはラベル検証を開示する。 In order to realize such machine learning, it is necessary to prepare a learning data set consisting of labeled data. Labeling is generally a laborious and time-consuming process. For example, Japanese Patent Application Laid-Open No. 2018-537798 (Patent Document 1) discloses labeling or label verification for achieving efficient labeling of unlabeled components of a target data set.
特表２０１８－５３７７９８号公報Special Table 2018-537798 Gazette
　実際の生産現場での運用を考慮すると、正常とのラベルが付与されるデータに比較して、異常とのラベルが付与されるデータが少なく、特表２０１８－５３７７９８号公報（特許文献１）に開示されるようなラベル検証の方法を適用することは容易ではない。 Considering the operation at the actual production site, there is less data labeled as abnormal than the data labeled as normal, and Japanese Patent Application Laid-Open No. 2018-537798 (Patent Document 1) It is not easy to apply the method of label verification as disclosed.
　実際の生産現場での運用に適したラベル付与および学習データの取得方法が要望されている。本技術の一つの目的は、このようなニーズを満たすことである。 There is a demand for labeling and learning data acquisition methods suitable for operation at actual production sites. One purpose of this technique is to meet such needs.
　本技術の一例に従う制御システムは、制御対象を制御するための制御演算を実行する制御演算部と、制御対象から収集される情報に基づいて、モデルを参照して、制御対象における異常を検知する異常検知部と、異常検知の対象に関連するものを撮像した画像を収集する画像収集部と、制御対象から収集された情報と撮像された画像とを時間的に対応付けて出力するとともに、ラベルの指定を受付けるユーザインターフェイス部と、指定されたラベルを制御対象から収集された情報に付加することで、モデルを構成するための学習データを生成する生成部とを含む。 A control system according to an example of the present technology detects an abnormality in a controlled object by referring to a model based on a control calculation unit that executes a control operation for controlling the controlled object and information collected from the controlled object. The abnormality detection unit, the image collection unit that collects images of images related to the abnormality detection target, and the information collected from the control target and the captured image are output in a temporally associated manner, and a label is output. It includes a user interface part that accepts the designation of, and a generation part that generates training data for constructing a model by adding the specified label to the information collected from the controlled object.
　この構成によれば、異常検知の対象に関連するものを撮像した画像を参照しながら、適切なラベルを設定することができるので、ラベル付与の正確性および付与作業の効率を高めることができる。 According to this configuration, it is possible to set an appropriate label while referring to an image obtained by capturing an image related to the target of abnormality detection, so that the accuracy of label assignment and the efficiency of the labeling work can be improved.
　ユーザインターフェイス部は、制御対象から収集された情報のうち選択された情報に対応する画像を出力してもよい。この構成によれば、複数の画像を収集した場合であっても、対応する画像を適切に出力できる。 The user interface unit may output an image corresponding to the information selected from the information collected from the controlled object. According to this configuration, even when a plurality of images are collected, the corresponding images can be appropriately output.
　ユーザインターフェイス部は、類似した複数の画像にそれぞれ対応する情報について、当該複数の画像のうちいずれかの画像に対応する情報に対して指定されたラベルと同じラベルを反映してもよい。この構成によれば、画像の類似性を利用して、ラベル付与の効率を高めることができる。 The user interface unit may reflect the same label as the label specified for the information corresponding to any one of the plurality of images for the information corresponding to each of the plurality of similar images. According to this configuration, the similarity of images can be utilized to increase the efficiency of labeling.
　ユーザインターフェイス部は、制御対象から収集された複数の情報に対して、指定された同一のラベルを反映してもよい。この構成によれば、例えば、明らかに異常な情報に対して、一括して同一のラベルを付与できるので、ラベル付与の効率を高めることができる。 The user interface unit may reflect the same specified label for a plurality of information collected from the controlled object. According to this configuration, for example, the same label can be collectively assigned to apparently abnormal information, so that the efficiency of label assignment can be improved.
　画像は、静止画および動画の少なくとも一方を含んでいてもよい。この構成によれば、状況に応じて、静止画および動画のいずれかを選択できる。 The image may include at least one of a still image and a moving image. According to this configuration, either a still image or a moving image can be selected depending on the situation.
　ユーザインターフェイス部は、画像が動画を含む場合に、動画の再生に併せて、制御対象から収集された情報のうち対応する情報の位置を表示してもよい。この構成によれば、時系列に記録された動画であっても、ラベルを付与するための画像を容易に確認できる。 When the image includes a moving image, the user interface unit may display the position of the corresponding information among the information collected from the control target along with the playback of the moving image. According to this configuration, even if the moving image is recorded in chronological order, the image for attaching the label can be easily confirmed.
　制御システムは、学習データに基づいてモデルを生成するモデル生成部をさらに含んでいてもよい。この構成によれば、生成した画像データに基づいて、異常検知に用いるモデルを生成できる。 The control system may further include a model generator that generates a model based on the training data. According to this configuration, a model used for abnormality detection can be generated based on the generated image data.
　制御システムは、制御対象から収集された情報として、制御対象の状態値から特徴量を算出する特徴量算出部をさらに含んでいてもよい。この構成によれば、特徴量を用いて異常検知を行う場合などに適した学習データを生成できる。 The control system may further include a feature amount calculation unit that calculates a feature amount from the state value of the control target as the information collected from the control target. According to this configuration, it is possible to generate learning data suitable for anomaly detection using features.
　本技術の別の一例に従えば、制御対象を制御するための制御演算を実行する制御演算部と、制御対象から収集される情報に基づいて、モデルを参照して、制御対象における異常を検知する異常検知部とを備える制御装置に接続されるサポート装置が提供される。サポート装置は、異常検知の対象に関連するものを撮像した画像を取得する画像取得部と、制御対象から収集された情報と撮像された画像とを時間的に対応付けて出力するとともに、ラベルの指定を受付けるユーザインターフェイス部と、指定されたラベルを制御対象から収集された情報に付加することで、モデルを構成するための学習データを生成する生成部とを含む。 According to another example of the present technique, an abnormality in the controlled object is detected by referring to a model based on a control calculation unit that executes a control operation for controlling the controlled object and information collected from the controlled object. A support device connected to a control device including an abnormality detection unit is provided. The support device outputs the image acquisition unit that acquires an image of what is related to the abnormality detection target, the information collected from the control target, and the captured image in a timely manner, and outputs the label. It includes a user interface unit that accepts the designation and a generation unit that generates training data for constructing the model by adding the specified label to the information collected from the controlled object.
　本技術のさらに別の一例に従えば、制御対象から収集される情報に基づいて、モデルを参照して、制御対象における異常を検知する制御システムに向けられたラベル付与方法が提供される。ラベル付与方法は、制御対象から収集される情報を取得するステップと、異常検知の対象に関連するものを撮像した画像を取得するステップと、制御対象から収集された情報と撮像された画像とを時間的に対応付けて出力するステップと、ラベルの指定を受付けるステップと、指定されたラベルを制御対象から収集された情報に付加することで、モデルを構成するための学習データを生成するステップとを含む。 According to yet another example of the present technique, a labeling method is provided for a control system that detects an abnormality in a controlled object by referring to a model based on the information collected from the controlled object. The labeling method includes a step of acquiring information collected from the control target, a step of acquiring an image obtained by capturing an image related to the abnormality detection target, and a step of acquiring the information collected from the control target and the captured image. A step of outputting in a temporally associated manner, a step of accepting a label specification, and a step of generating training data for constructing a model by adding the specified label to the information collected from the controlled object. including.
　本技術によれば、実際の生産現場での運用に適したラベル付与および学習データの取得方法を実現できる。 According to this technique, it is possible to realize a method of assigning labels and acquiring learning data suitable for operation at an actual production site.
本実施の形態に係る制御システムの全体構成例を示す模式図である。It is a schematic diagram which shows the whole structure example of the control system which concerns on this embodiment. 本実施の形態に係る制御システムの主要な構成および運用形態の一例を説明するための図である。It is a figure for demonstrating an example of the main configuration and operation form of the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおけるラベル付与処理の概要を説明するための図である。It is a figure for demonstrating the outline of the label assigning process in the control system which concerns on this embodiment. 本実施の形態に係る制御システムを構成する制御装置のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware configuration example of the control apparatus which constitutes the control system which concerns on this embodiment. 本実施の形態に係る制御システムを構成するサポート装置のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware configuration example of the support apparatus which constitutes the control system which concerns on this embodiment. 本実施の形態に係る制御システムを構成する画像収集部のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware configuration example of the image acquisition part which constitutes the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおけるラベル付与処理を実現するための機能構成例を示す模式図である。It is a schematic diagram which shows the functional structure example for realizing the label assignment processing in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおける時系列データと画像との対応付けを説明するための図である。It is a figure for demonstrating the correspondence between the time series data and an image in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面の一例を示す模式図である。It is a schematic diagram which shows an example of the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面上でラベル付与の処理手順例を示す模式図である。It is a schematic diagram which shows the example of the processing procedure of a label addition on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面上で１つのラベルを他に反映する処理手順例を示す模式図である。It is a schematic diagram which shows the processing procedure example which reflects one label to another on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面上で１つのラベルを他に反映する処理手順例を示す模式図である。It is a schematic diagram which shows the processing procedure example which reflects one label to another on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面上で画像が存在しない場合のラベル付与の処理手順例を示す模式図である。It is a schematic diagram which shows the example of the processing procedure of a label addition when an image does not exist on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面上で画像が存在しない場合のラベル付与の処理手順例を示す模式図である。It is a schematic diagram which shows the example of the processing procedure of a label addition when an image does not exist on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面上で特異的な特徴量に対してラベルを付与する処理手順例を示す模式図である。It is a schematic diagram which shows the processing procedure example which assigns a label to a specific feature quantity on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおいて提供されるユーザインターフェイス画面において動画を表示する例を示す模式図である。It is a schematic diagram which shows the example which displays the moving image on the user interface screen provided in the control system which concerns on this embodiment. 本実施の形態に係る制御システムにおけるラベル付与処理に係る処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure which concerns on the label assignment processing in the control system which concerns on this embodiment.
　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。 An embodiment of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals and the description thereof will not be repeated.
　＜Ａ．適用例＞
　まず、本発明が適用される場面の一例について説明する。 <A. Application example>
First, an example of a situation in which the present invention is applied will be described.
　図１は、本実施の形態に係る制御システム１の全体構成例を示す模式図である。図１を参照して、本実施の形態に係る制御システム１は、主たる構成要素として、制御対象を制御する制御装置１００と、制御装置１００に接続されるサポート装置２００と、ラベル付与に利用される画像（静止画および／または動画）を収集する画像収集部３００とを含む。 FIG. 1 is a schematic diagram showing an overall configuration example of the control system 1 according to the present embodiment. With reference to FIG. 1, the control system 1 according to the present embodiment is used as a main component, a control device 100 for controlling a control target, a support device 200 connected to the control device 100, and labeling. It includes an image collecting unit 300 for collecting images (still images and / or moving images).
　制御装置１００は、ＰＬＣ（プログラマブルコントローラ）などの、一種のコンピュータとして具現化されてもよい。制御装置１００は、フィールドバス２を介してフィールド装置群１０と接続される。フィールドバス２は、産業用の通信プロトコルを採用することが好ましい。このような通信プロトコルとしては、ＥｔｈｅｒＣＡＴ（登録商標）、ＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）、ＤｅｖｉｃｅＮｅｔ（登録商標）、ＣｏｍｐｏＮｅｔ（登録商標）などが知られている。 The control device 100 may be embodied as a kind of computer such as a PLC (programmable controller). The control device 100 is connected to the field device group 10 via the field bus 2. It is preferable that the fieldbus 2 adopts an industrial communication protocol. As such a communication protocol, EtherCAT (registered trademark), EtherNet / IP (registered trademark), DeviceNet (registered trademark), CompoNet (registered trademark) and the like are known.
　フィールド装置群１０は、制御対象または制御に関連する製造装置や生産ラインなど（以下、「フィールド」とも総称する。）から入力データを収集する装置を含む。このような入力データを収集する装置としては、入力リレーや各種センサなどが想定される。フィールド装置群１０は、さらに、制御装置１００にて生成される指令（以下、「出力データ」とも称す。）に基づいて、フィールドに対して何らかの作用を与える装置を含む。このようなフィールドに対して何らかの作用を与える装置としては、出力リレー、コンタクタ、サーボドライバおよびサーボモータ、その他任意のアクチュエータが想定される。これらのフィールド装置群１０は、フィールドバス２を介して、制御装置１００との間で、入力データおよび出力データを含むデータを遣り取りする。 The field device group 10 includes a device that collects input data from a controlled object or a manufacturing device related to control, a production line, or the like (hereinafter, also collectively referred to as a “field”). As a device for collecting such input data, an input relay, various sensors, and the like are assumed. The field device group 10 further includes a device that gives some action to the field based on a command generated by the control device 100 (hereinafter, also referred to as “output data”). As a device that exerts some action on such a field, an output relay, a contactor, a servo driver, a servo motor, and any other actuator are assumed. These field device groups 10 exchange data including input data and output data with and from the control device 100 via the field bus 2.
　図１に示す構成例においては、フィールド装置群１０は、リモートＩ／Ｏ（Input/Output）装置１２と、リレー群１４と、サーボドライバ１８およびサーボモータ２０とを含む。 In the configuration example shown in FIG. 1, the field device group 10 includes a remote I / O (Input / Output) device 12, a relay group 14, a servo driver 18, and a servomotor 20.
　リモートＩ／Ｏ装置１２は、フィールドバス２を介して通信を行う通信部と、入力データの収集および出力データの出力を行うための入出力部（以下、「Ｉ／Ｏユニット」とも称す。）とを含む。このようなＩ／Ｏユニットを介して、制御装置１００とフィールドとの間で入力データおよび出力データが遣り取りされる。図１には、リレー群１４を介して、入力データおよび出力データとして、デジタル信号が遣り取りされる例が示されている。 The remote I / O device 12 has a communication unit that communicates via the fieldbus 2 and an input / output unit that collects input data and outputs output data (hereinafter, also referred to as “I / O unit”). And include. Input data and output data are exchanged between the control device 100 and the field via such an I / O unit. FIG. 1 shows an example in which digital signals are exchanged as input data and output data via the relay group 14.
　Ｉ／Ｏユニットは、フィールドバスに直接接続されるようにしてもよい。図１には、フィールドバス２にＩ／Ｏユニット１６が直接接続されている例を示す。 The I / O unit may be directly connected to the fieldbus. FIG. 1 shows an example in which the I / O unit 16 is directly connected to the fieldbus 2.
　サーボドライバ１８は、制御装置１００からの出力データ（例えば、位置指令など）に従って、サーボモータ２０を駆動する。 The servo driver 18 drives the servo motor 20 according to output data (for example, a position command) from the control device 100.
　上述のように、フィールドバス２を介して、制御装置１００とフィールド装置群１０との間で入力データおよび出力データが遣り取りされることになるが、これらの遣り取りされるデータは、数百μｓｅｃオーダ～数十ｍｓｅｃオーダのごく短い周期で更新されることになる。なお、このような遣り取りされるデータの更新処理を、「Ｉ／Ｏリフレッシュ処理」と称することもある。 As described above, input data and output data are exchanged between the control device 100 and the field device group 10 via the field bus 2, and these exchanged data are on the order of several hundred μsec. It will be updated in a very short cycle of several tens of msec orders. The data update process of such exchanged data may be referred to as "I / O refresh process".
　制御装置１００は、設備や機械などの制御対象を制御するための制御演算を実行するＰＬＣエンジン（図２に示すＰＬＣエンジン１３０）を有している。ＰＬＣエンジンは、制御演算部に相当し、入力データに基づく制御演算を実行することで、出力データを決定する。制御装置１００は、フィールド装置群１０からの入力データ、フィールド装置群１０への出力データ、および、制御装置１００の内部で管理される内部データなどを順次格納する時系列データベース（以下、「ＴＳＤＢ（Time　Series　Data　Base）」とも記す。）１４０を有している。以下、ＴＳＤＢ１４０に格納されるデータを「時系列データ」とも称す。 The control device 100 has a PLC engine (PLC engine 130 shown in FIG. 2) that executes control operations for controlling a controlled object such as equipment or a machine. The PLC engine corresponds to a control calculation unit, and determines output data by executing a control calculation based on input data. The control device 100 sequentially stores an input data from the field device group 10, output data to the field device group 10, internal data managed inside the control device 100, and the like (hereinafter, "TSDB (hereinafter," TSDB (hereinafter, "TSDB"). It is also referred to as "Time Series Data Base)".) It has 140. Hereinafter, the data stored in the TSDB 140 is also referred to as "time series data".
　制御装置１００は、制御対象から収集される情報に基づいて、予め用意されたモデル１６０を参照して、制御対象における異常を検知する異常検知エンジン１５０を有している。制御対象から収集される情報としては、典型的には、ＴＳＤＢ１４０に格納された時系列データ（あるいは、時系列データから算出された特徴量）が用いられる。すなわち、異常検知エンジン１５０は、ＴＳＤＢ１４０に格納された時系列データに基づいて、制御対象での異常の発生あるいは異常の可能性を判断する。 The control device 100 has an abnormality detection engine 150 that detects an abnormality in the controlled object by referring to a model 160 prepared in advance based on the information collected from the controlled object. As the information collected from the control target, time-series data (or a feature amount calculated from the time-series data) stored in the TSDB 140 is typically used. That is, the abnormality detection engine 150 determines whether or not an abnormality has occurred in the controlled object based on the time-series data stored in the TSDB 140.
　制御装置１００は、上位ネットワーク６を介してサーバ４００に接続されてもよいし、フィールドバス４を介して１または複数の表示装置５００と接続されてもよい。なお、サーバ４００および表示装置５００はオプショナルな構成であり、制御システム１の必須の構成ではない。 The control device 100 may be connected to the server 400 via the upper network 6 or may be connected to one or more display devices 500 via the fieldbus 4. The server 400 and the display device 500 are optional configurations, and are not essential configurations of the control system 1.
　サーバ４００は、制御装置１００に対して任意の情報を提供し、あるいは、制御装置１００からのデータを収集するような処理を担当する。 The server 400 is in charge of processing such as providing arbitrary information to the control device 100 or collecting data from the control device 100.
　表示装置５００は、ユーザからの操作を受けて、制御装置１００に対してユーザ操作に応じたコマンドなどを送信するとともに、制御装置１００での演算結果などをグラフィカルに表示する。 The display device 500 receives an operation from the user, transmits a command or the like corresponding to the user operation to the control device 100, and graphically displays the calculation result or the like in the control device 100.
　サポート装置２００は、制御装置１００が制御対象を制御するために必要な準備を支援する情報処理装置（コンピュータの一例）である。具体的には、サポート装置２００は、制御装置１００で実行されるユーザプログラムの開発環境（プログラム作成編集ツール、パーサ、コンパイラなど）、制御装置１００および制御装置１００に接続される各種デバイスのパラメータ（コンフィギュレーション）を設定するための設定環境、生成したユーザプログラムを制御装置１００へ送信する機能、制御装置１００上で実行されるユーザプログラムなどをオンラインで修正・変更する機能、などを提供する。 The support device 200 is an information processing device (an example of a computer) that supports preparations necessary for the control device 100 to control a controlled object. Specifically, the support device 200 is a development environment for a user program executed by the control device 100 (program creation / editing tool, parser, compiler, etc.), parameters of the control device 100 and various devices connected to the control device 100 (specifically, the parameters (program creation / editing tool, parser, compiler, etc.)). It provides a setting environment for setting (configuration), a function of transmitting a generated user program to the control device 100, a function of modifying / changing a user program executed on the control device 100 online, and the like.
　さらに、サポート装置２００は、制御装置１００に実装される異常検知エンジン１５０が参照するモデル１６０の生成および調整などを支援するための機能を有している。 Further, the support device 200 has a function for supporting the generation and adjustment of the model 160 referred to by the abnormality detection engine 150 mounted on the control device 100.
　画像収集部３００は、異常検知の対象に関連するものを撮像した画像を収集する。より具体的には、画像収集部３００は、サポート装置２００がモデル１６０を生成および調整するために用いられる学習データの生成を支援するための画像を収集する。画像収集部３００は、典型的には、任意の位置に配置されるカメラ３３０を有している。画像としては、静止画および動画のいずれであってもよいし、静止画および動画の両方を含んでいてもよい。画像収集部３００が収集した画像は、サポート装置２００での利用が可能になっている。 The image collecting unit 300 collects images obtained by capturing images related to the target of abnormality detection. More specifically, the image acquisition unit 300 collects images to support the generation of training data used by the support device 200 to generate and adjust the model 160. The image collecting unit 300 typically has a camera 330 arranged at an arbitrary position. The image may be either a still image or a moving image, or may include both a still image and a moving image. The image collected by the image collecting unit 300 can be used in the support device 200.
　ここで、異常検知の対象に関連するものとは、異常検知エンジン１５０の検知ロジック（すなわち、モデル１６０）を学習するための学習データの生成に利用できる情報であれば、どのようなものであってもよい。異常検知の対象に関連するものとしては、例えば、生産されるワーク（製品あるいは半製品）や生産設備自体などが考えられる。 Here, what is related to the target of abnormality detection is any information that can be used to generate learning data for learning the detection logic (that is, model 160) of the abnormality detection engine 150. You may. As the target of abnormality detection, for example, a workpiece (product or semi-finished product) to be produced or a production facility itself can be considered.
　次に、制御装置１００の異常検知エンジン１５０の構成および運用の一例について説明する。サポート装置２００は、ＴＳＤＢ１４０に格納された時系列データを取得し、データマイニングにより、異常検知エンジン１５０が参照するモデル１６０を定義するパラメータを決定する。そして、サポート装置２００は、決定したパラメータを制御装置１００へ転送する。これによって、制御装置１００の異常検知エンジン１５０が有効に構成される。 Next, an example of the configuration and operation of the abnormality detection engine 150 of the control device 100 will be described. The support device 200 acquires the time-series data stored in the TSDB 140, and determines the parameter defining the model 160 referred to by the abnormality detection engine 150 by data mining. Then, the support device 200 transfers the determined parameter to the control device 100. As a result, the abnormality detection engine 150 of the control device 100 is effectively configured.
　運用後、サポート装置２００は、ＴＳＤＢ１４０に格納された時系列データを取得するとともに、画像収集部３００から画像を取得する。ユーザは、サポート装置２００を操作して、画像を見ながら時系列データに対してラベルを付与する。サポート装置２００は、ラベルが付与された時系列データに基づいて、モデル１６０を定義するパラメータを調整する。すなわち、モデル１６０が再生成あるいは調整されることになる。そして、サポート装置２００は、調整したパラメータを制御装置１００へ転送する。これによって、制御装置１００の異常検知エンジン１５０がより最適化される。 After the operation, the support device 200 acquires the time-series data stored in the TSDB 140 and also acquires the image from the image collecting unit 300. The user operates the support device 200 to add a label to the time series data while viewing the image. The support device 200 adjusts the parameters that define the model 160 based on the labeled time series data. That is, the model 160 will be regenerated or adjusted. Then, the support device 200 transfers the adjusted parameters to the control device 100. As a result, the abnormality detection engine 150 of the control device 100 is further optimized.
　図２は、本実施の形態に係る制御システム１の主要な構成および運用形態の一例を説明するための図である。図２を参照して、制御システム１における異常検知の処理は、典型的には、データ収集フェーズ３０、データ解析フェーズ３２、運用フェーズ３４の順次で実現される。 FIG. 2 is a diagram for explaining an example of a main configuration and an operation mode of the control system 1 according to the present embodiment. With reference to FIG. 2, the abnormality detection process in the control system 1 is typically realized in the order of the data acquisition phase 30, the data analysis phase 32, and the operation phase 34.
　データ収集フェーズ３０においては、異常検知の対象に関連する時系列データが収集される。データ解析フェーズ３２においては、データ収集フェーズ３０において収集された時系列データに対するデータマイニングなどによって、目的の異常検知に適した特徴量が検討されるとともに、検討された特徴量に応じたモデル１６０が生成される。データ解析フェーズ３２において生成されたモデル１６０を利用して、運用フェーズ３４が開始される。 In the data collection phase 30, time-series data related to the target of abnormality detection is collected. In the data analysis phase 32, the feature amount suitable for the target abnormality detection is examined by data mining or the like for the time series data collected in the data collection phase 30, and the model 160 according to the examined feature amount is examined. Generated. The operation phase 34 is started by using the model 160 generated in the data analysis phase 32.
　運用フェーズ３４の開始後に、検知すべき異常を見逃した、あるいは、検知すべきではない異常を検知したといった不足検知や誤検知が発生した場合には、再学習によりモデル１６０が更新されることもある。あるいは、異常検知の対象に何らかの変化（例えば、経年変化や動作条件の変化など）が生じた場合にも、再学習によりモデル１６０を更新するようにしてもよい。 After the start of the operation phase 34, if a shortage detection or a false detection occurs such that an abnormality that should be detected is overlooked or an abnormality that should not be detected is detected, the model 160 may be updated by re-learning. be. Alternatively, the model 160 may be updated by re-learning even when some change (for example, secular change, change in operating conditions, etc.) occurs in the target of abnormality detection.
　このような処理手順を考慮して、サポート装置２００は、データマイニングツール２４０およびモデル生成ツール２５０を含んでいてもよい。データマイニングツール２４０は、主として、データ解析フェーズ３２において必要な処理を提供する。モデル生成ツール２５０は、主として、運用フェーズ３４において必要な処理を提供する。 In consideration of such a processing procedure, the support device 200 may include a data mining tool 240 and a model generation tool 250. The data mining tool 240 mainly provides necessary processing in the data analysis phase 32. The model generation tool 250 mainly provides necessary processing in the operation phase 34.
　より具体的には、データマイニングツール２４０は、典型的には、特徴量生成処理２４２と、特徴量選択処理２４４と、モデル生成処理２４６と、しきい値設定処理２４８とを提供する。モデル生成ツール２５０は、モデル更新処理２５２と、しきい値調整処理２５４とを提供する。さらに、モデル生成ツール２５０は、ラベル付与処理２６０を提供する。 More specifically, the data mining tool 240 typically provides a feature amount generation process 242, a feature amount selection process 244, a model generation process 246, and a threshold value setting process 248. The model generation tool 250 provides a model update process 252 and a threshold value adjustment process 254. Further, the model generation tool 250 provides a labeling process 260.
　ラベル付与処理２６０は、画像収集部３００から提供される画像３４２を用いて、ユーザによる時系列データ１４２（あるいは、時系列データ１４２から算出された特徴量）に対してラベルの付与を支援する処理である。ラベルが付与された時系列データ１４２（あるいは、時系列データ１４２から算出された特徴量）が学習データとなる。学習データの集合が学習データセットとなり、この学習データセットを用いて、再学習およびモデル１６０の更新が行われる。すなわち、モデル更新処理２５２およびしきい値調整処理２５４は、複数の学習データに基づいてモデル１６０を生成あるいは更新する。 The label assignment process 260 is a process of supporting the label assignment to the time series data 142 (or the feature amount calculated from the time series data 142) by the user by using the image 342 provided by the image collection unit 300. Is. The time-series data 142 to which the label is attached (or the feature amount calculated from the time-series data 142) becomes the learning data. A set of training data becomes a training data set, and this training data set is used for retraining and updating of the model 160. That is, the model update process 252 and the threshold value adjustment process 254 generate or update the model 160 based on the plurality of training data.
　画像収集部３００は、任意の位置に配置されるカメラ３３０により撮像される画像３４２を順次格納するデータベース（以下、「ＤＢ（Time　Series　Data　Base）」とも記す。）３４０を有している。 The image collecting unit 300 has a database (hereinafter, also referred to as "DB (Time Series Data Base)") 340 that sequentially stores images 342 captured by a camera 330 arranged at an arbitrary position.
　上述したように、制御装置１００は、ＰＬＣエンジン１３０、ＴＳＤＢ１４０および異常検知エンジン１５０を有している。 As described above, the control device 100 has a PLC engine 130, a TSDB 140, and an abnormality detection engine 150.
　ＰＬＣエンジン１３０は、制御対象に応じて任意に作成されるユーザプログラム１３２により定義される制御演算を周期的に実行する。ユーザプログラム１３２では、ＡＩライブラリ１３４が利用可能になっている。あるいは、ユーザプログラム１３２にＡＩライブラリ１３４が組み込まれていてもよい。ＡＩライブラリ１３４の内容、特性、動作などは、データ解析フェーズ３２において、データマイニングツール２４０を用いて決定されてもよい。 The PLC engine 130 periodically executes the control operation defined by the user program 132 arbitrarily created according to the control target. In the user program 132, the AI library 134 is available. Alternatively, the AI library 134 may be incorporated in the user program 132. The contents, characteristics, operations, etc. of the AI library 134 may be determined using the data mining tool 240 in the data analysis phase 32.
　ＰＬＣエンジン１３０がユーザプログラム１３２に含まれるＡＩライブラリ１３４の部分を実行することで、予め指定されたデータから１または複数の特徴量１５２が算出され、算出された特徴量１５２が異常検知エンジン１５０へ提供される。 When the PLC engine 130 executes a part of the AI library 134 included in the user program 132, one or more feature quantities 152 are calculated from the data specified in advance, and the calculated feature quantity 152 is transferred to the abnormality detection engine 150. Provided.
　ＰＬＣエンジン１３０は、データ管理部１３６を有しており、入力データ、出力データ、および、内部データをユーザプログラム１３２から参照可能な形で保持する。データ管理部１３６が管理するデータの値は、Ｉ／Ｏリフレッシュ処理により所定周期（Ｉ／Ｏリフレッシュ周期）毎に更新される。また、データ管理部１３６が管理するデータのうち予め指定されたデータがＴＳＤＢ１４０に所定周期毎に格納される。その結果、ＴＳＤＢ１４０からは指定されたデータの所定周期毎の値の変化、すなわち時系列データ１４２が出力される。 The PLC engine 130 has a data management unit 136, and holds input data, output data, and internal data in a form that can be referred from the user program 132. The value of the data managed by the data management unit 136 is updated every predetermined cycle (I / O refresh cycle) by the I / O refresh process. Further, among the data managed by the data management unit 136, the data designated in advance is stored in the TSDB 140 at predetermined intervals. As a result, the TSDB 140 outputs a change in the value of the designated data for each predetermined cycle, that is, time-series data 142.
　異常検知エンジン１５０は、ＰＬＣエンジン１３０からの特徴量１５２に基づいて、モデル１６０を参照して、異常の発生あるいは異常の可能性を判断する。モデル１６０は、データ解析フェーズ３２において、データマイニングツール２４０を用いて決定されてもよいし、運用フェーズ３４において、モデル生成ツール２５０を用いて決定されてもよい。 The abnormality detection engine 150 determines the occurrence or possibility of an abnormality with reference to the model 160 based on the feature amount 152 from the PLC engine 130. The model 160 may be determined using the data mining tool 240 in the data analysis phase 32, or may be determined using the model generation tool 250 in the operation phase 34.
　典型的には、モデル１６０は、１または複数の特徴量１５２が入力されると、異常の発生を示す値（確率あるいは尤度）を出力する関数である。モデル１６０を定義するパラメータとしては、モデル１６０の実体である関数を定義する各係数と、モデル１６０から出力される値を評価するためのしきい値とを含んでいてもよい。 Typically, the model 160 is a function that outputs a value (probability or likelihood) indicating the occurrence of an abnormality when one or more feature quantities 152 are input. The parameters that define the model 160 may include each coefficient that defines a function that is the substance of the model 160, and a threshold value for evaluating the value output from the model 160.
　本実施の形態に係る制御システム１は、サポート装置２００のラベル付与処理２６０および画像収集部３００により、学習データの集合（学習データセット）の生成を支援する機能を提供しており、この機能によって、再学習などをより容易に行うことができる。 The control system 1 according to the present embodiment provides a function of supporting the generation of a set of learning data (learning data set) by the labeling processing 260 of the support device 200 and the image collecting unit 300, and this function provides the function. , Re-learning, etc. can be performed more easily.
　図３は、本実施の形態に係る制御システム１におけるラベル付与処理２６０の概要を説明するための図である。図３を参照して、サポート装置２００は、時系列データ１４２と、時系列データ１４２が収集（観測）されたタイミングにおいて撮像された画像３４２とのセットを取得する。 FIG. 3 is a diagram for explaining an outline of the label assigning process 260 in the control system 1 according to the present embodiment. With reference to FIG. 3, the support device 200 acquires a set of the time-series data 142 and the image 342 captured at the timing when the time-series data 142 is collected (observed).
　サポート装置２００は、画像３４２をユーザに提示するとともに、ユーザにより指定されたラベル１４４を受付けて、対応する時系列データ１４２（あるいは、時系列データ１４２から算出された特徴量）と対応付ける。ラベル１４４は、例えば、対応する時系列データ１４２が「正常」であるか、「異常」であるかを示す値を含む。 The support device 200 presents the image 342 to the user, receives the label 144 specified by the user, and associates it with the corresponding time-series data 142 (or the feature amount calculated from the time-series data 142). Label 144 contains, for example, a value indicating whether the corresponding time series data 142 is "normal" or "abnormal".
　時系列データ１４２と対応するラベル１４４とのセットが１つの学習データ１４６として利用される。学習データ１４６の集合が学習データセットとなる。ラベル付与処理２６０によって生成された学習データ１４６を複数用いた再学習により、モデル１６０の再生成あるいは調整が行われる。 A set of time series data 142 and the corresponding label 144 is used as one learning data 146. The set of training data 146 is the training data set. The model 160 is regenerated or adjusted by retraining using a plurality of training data 146s generated by the labeling process 260.
　本実施の形態に係るラベル付与処理２６０では、ユーザに対して、時系列データ１４２が収集されたタイミングにおいて撮像された画像３４２が提示されるので、ユーザは、時系列データ１４２の各々に対して、付与すべきラベルを容易に把握できる。そのため、運用フェーズ３４などにおいて、学習データ１４６をより容易に作成できる。 In the label assigning process 260 according to the present embodiment, the user is presented with the image 342 captured at the timing when the time series data 142 is collected, so that the user can use the time series data 142 for each of the time series data 142. , The label to be attached can be easily grasped. Therefore, the learning data 146 can be created more easily in the operation phase 34 or the like.
　＜Ｂ．ハードウェア構成例＞
　次に、本実施の形態に係る制御システム１を構成する主要な装置のハードウェア構成例について説明する。 <B. Hardware configuration example>
Next, a hardware configuration example of a main device constituting the control system 1 according to the present embodiment will be described.
　（ｂ１：制御装置１００のハードウェア構成例）
　図４は、本実施の形態に係る制御システム１を構成する制御装置１００のハードウェア構成例を示すブロック図である。図４を参照して、制御装置１００は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro-Processing　Unit）などのプロセッサ１０２と、チップセット１０４と、主記憶装置１０６と、二次記憶装置１０８と、上位ネットワークコントローラ１１０と、ＵＳＢ（Universal　Serial　Bus）コントローラ１１２と、メモリカードインターフェイス１１４と、内部バスコントローラ１２２と、フィールドバスコントローラ１１８，１２０と、Ｉ／Ｏユニット１２４－１，１２４－２，…とを含む。 (B1: Hardware configuration example of control device 100)
FIG. 4 is a block diagram showing a hardware configuration example of the control device 100 constituting the control system 1 according to the present embodiment. With reference to FIG. 4, the control device 100 includes a processor 102 such as a CPU (Central Processing Unit) and an MPU (Micro-Processing Unit), a chip set 104, a main storage device 106, and a secondary storage device 108. Upper network controller 110, USB (Universal Serial Bus) controller 112, memory card interface 114, internal bus controller 122, field bus controllers 118, 120, I / O units 124-1, 124-2, ... including.
　プロセッサ１０２は、二次記憶装置１０８に格納された各種プログラムを読み出して、主記憶装置１０６に展開して実行することで、ＰＬＣエンジン１３０および異常検知エンジン１５０を実現する。チップセット１０４は、プロセッサ１０２と各コンポーネントとの間のデータ伝送などを制御する。 The processor 102 realizes the PLC engine 130 and the abnormality detection engine 150 by reading out various programs stored in the secondary storage device 108, deploying them in the main storage device 106, and executing the programs. The chipset 104 controls data transmission and the like between the processor 102 and each component.
　二次記憶装置１０８には、ＰＬＣエンジン１３０および異常検知エンジン１５０を実現するためのシステムプログラム１３１に加えて、ＰＬＣエンジン１３０を利用して実行されるユーザプログラム１３２が格納される。二次記憶装置１０８の一部の領域は、ＴＳＤＢ１４０として利用されてもよい。 In the secondary storage device 108, in addition to the system program 131 for realizing the PLC engine 130 and the abnormality detection engine 150, the user program 132 executed by using the PLC engine 130 is stored. A part of the area of the secondary storage device 108 may be used as the TSDB 140.
　上位ネットワークコントローラ１１０は、上位ネットワーク６を介した他の装置との間のデータの遣り取りを制御する。ＵＳＢコントローラ１１２は、ＵＳＢ接続を介してサポート装置２００との間のデータの遣り取りを制御する。 The upper network controller 110 controls the exchange of data with other devices via the upper network 6. The USB controller 112 controls the exchange of data with the support device 200 via the USB connection.
　メモリカードインターフェイス１１４は、メモリカード１１６を着脱可能に構成されており、メモリカード１１６に対してデータを書込み、メモリカード１１６から各種データ（ユーザプログラムやトレースデータなど）を読出すことが可能になっている。 The memory card interface 114 is configured so that the memory card 116 can be attached and detached, and data can be written to the memory card 116 and various data (user programs, trace data, etc.) can be read from the memory card 116. ing.
　内部バスコントローラ１２２は、制御装置１００に搭載されるＩ／Ｏユニット１２４－１，１２４－２，…との間でデータを遣り取りするインターフェイスである。 The internal bus controller 122 is an interface for exchanging data with the I / O units 124-1, 124-2, ... Mounted on the control device 100.
　フィールドバスコントローラ１１８は、フィールドバス２を介した他の装置との間のデータの遣り取りを制御する。同様に、フィールドバスコントローラ１２０は、フィールドバス４を介した他の装置との間のデータの遣り取りを制御する。 The fieldbus controller 118 controls the exchange of data with other devices via the fieldbus 2. Similarly, the fieldbus controller 120 controls the exchange of data with other devices via the fieldbus 4.
　図４には、プロセッサ１０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）またはＦＰＧＡ（Field-Programmable　Gate　Array）など）を用いて実装してもよい。あるいは、制御装置１００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、仮想化技術を用いて、用途の異なる複数のＯＳ（Operating　System）を並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。 FIG. 4 shows a configuration example in which the necessary functions are provided by the processor 102 executing a program, and some or all of these provided functions are provided by a dedicated hardware circuit (for example, ASIC). It may be implemented using (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). Alternatively, the main part of the control device 100 may be realized by using hardware that follows a general-purpose architecture (for example, an industrial personal computer based on a general-purpose personal computer). In this case, a virtualization technique may be used to execute a plurality of OSs (Operating Systems) having different uses in parallel, and to execute necessary applications on each OS.
　（ｂ２：サポート装置２００のハードウェア構成例）
　本実施の形態に係るサポート装置２００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いてプログラムを実行することで実現される。 (B2: Hardware configuration example of support device 200)
The support device 200 according to the present embodiment is realized, for example, by executing a program using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture.
　図５は、本実施の形態に係る制御システム１を構成するサポート装置２００のハードウェア構成例を示すブロック図である。図５を参照して、サポート装置２００は、ＣＰＵやＭＰＵなどのプロセッサ２０２と、光学ドライブ２０４と、主記憶装置２０６と、二次記憶装置２０８と、ＵＳＢコントローラ２１２と、ネットワークコントローラ２１４と、入力部２１６と、表示部２１８とを含む。これらのコンポーネントはバス２２０を介して接続される。 FIG. 5 is a block diagram showing a hardware configuration example of the support device 200 constituting the control system 1 according to the present embodiment. With reference to FIG. 5, the support device 200 includes a processor 202 such as a CPU and an MPU, an optical drive 204, a main storage device 206, a secondary storage device 208, a USB controller 212, and a network controller 214. A unit 216 and a display unit 218 are included. These components are connected via the bus 220.
　プロセッサ２０２は、二次記憶装置２０８に格納された各種プログラムを読み出して、主記憶装置２０６に展開して実行することで、後述するようなラベル付与処理を含む各種処理を実現する。 The processor 202 reads various programs stored in the secondary storage device 208, expands them in the main storage device 206, and executes them to realize various processes including a label assignment process as described later.
　二次記憶装置２０８は、例えば、ＨＤＤ（Hard　Disk　Drive）やＳＳＤ（Flash　Solid　State　Drive）などで構成される。二次記憶装置２０８には、典型的には、ＯＳ２２２と、制御装置１００との間で異常検知機能に関するデータを遣り取りするためのＰＬＣインターフェイスプログラム２２４と、サポート装置２００において実行されるユーザプログラムの作成、作成したユーザプログラムのデバッグ、システム構成の定義、各種パラメータの設定などを行うための開発プログラム２２６と、データマイニングツール２４０を実現するためのデータマイニングプログラム２２８と、モデル生成ツール２５０を実現するためのモデル生成プログラム２３０とが格納される。二次記憶装置２０８には、図５に示すプログラム以外の必要なプログラムが格納されてもよい。 The secondary storage device 208 is composed of, for example, an HDD (Hard Disk Drive) or an SSD (Flash Solid State Drive). The secondary storage device 208 typically creates a PLC interface program 224 for exchanging data related to the abnormality detection function between the OS 222 and the control device 100, and a user program executed by the support device 200. , Development program 226 for debugging the created user program, defining the system configuration, setting various parameters, etc., data mining program 228 for realizing the data mining tool 240, and model generation tool 250. The model generation program 230 and the above are stored. The secondary storage device 208 may store necessary programs other than the program shown in FIG.
　サポート装置２００は、光学ドライブ２０４を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２０５（例えば、ＤＶＤ（Digital　Versatile　Disc）などの光学記録媒体）から、その中に格納されたプログラムが読取られて二次記憶装置２０８などにインストールされる。 The support device 200 has an optical drive 204 from a recording medium 205 (for example, an optical recording medium such as a DVD (Digital Versatile Disc)) that non-transiently stores a computer-readable program into the support device 200. The stored program is read and installed in the secondary storage device 208 or the like.
　サポート装置２００で実行される各種プログラムは、コンピュータ読取可能な記録媒体２０５を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に係るサポート装置２００が提供する機能は、ＯＳ２２２が提供するモジュールの一部を利用する形で実現される場合もある。 Various programs executed by the support device 200 may be installed via a computer-readable recording medium 205, or may be installed by downloading from a server device or the like on the network. Further, the function provided by the support device 200 according to the present embodiment may be realized by using a part of the module provided by the OS222.
　ＵＳＢコントローラ２１２は、ＵＳＢ接続を介して制御装置１００との間のデータの遣り取りを制御する。ネットワークコントローラ２１４は、任意のネットワークを介した他の装置との間のデータの遣り取りを制御する。 The USB controller 212 controls the exchange of data with the control device 100 via the USB connection. The network controller 214 controls the exchange of data with other devices via an arbitrary network.
　入力部２１６は、キーボードやマウスなどで構成され、ユーザ操作を受付ける。表示部２１８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。 The input unit 216 is composed of a keyboard, a mouse, etc., and accepts user operations. The display unit 218 is composed of a display, various indicators, a printer, and the like, and outputs a processing result from the processor 202 and the like.
　図５には、プロセッサ２０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。 FIG. 5 shows a configuration example in which the necessary functions are provided by the processor 202 executing a program, and some or all of these provided functions are provided by a dedicated hardware circuit (for example, ASIC). Alternatively, it may be implemented using FPGA or the like).
　（ｂ３：画像収集部３００のハードウェア構成例）
　本実施の形態に係る画像収集部３００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いてプログラムを実行することで実現される。 (B3: Hardware configuration example of image collecting unit 300)
The image collecting unit 300 according to the present embodiment is realized, for example, by executing a program using hardware (for example, a general-purpose personal computer) that follows a general-purpose architecture.
　図６は、本実施の形態に係る制御システム１を構成する画像収集部３００のハードウェア構成例を示すブロック図である。図６を参照して、画像収集部３００は、ＣＰＵやＭＰＵなどのプロセッサ３０２と、主記憶装置３０６と、二次記憶装置３０８と、カメラコントローラ３１２と、ネットワークコントローラ３１４と、入力部３１６と、表示部３１８とを含む。これらのコンポーネントはバス３２０を介して接続される。 FIG. 6 is a block diagram showing a hardware configuration example of the image collecting unit 300 constituting the control system 1 according to the present embodiment. With reference to FIG. 6, the image collecting unit 300 includes a processor 302 such as a CPU and an MPU, a main storage device 306, a secondary storage device 308, a camera controller 312, a network controller 314, and an input unit 316. Includes display unit 318. These components are connected via the bus 320.
　プロセッサ３０２は、二次記憶装置３０８に格納された各種プログラムを読み出して、主記憶装置３０６に展開して実行することで、後述するようなモデル生成処理を含む各種処理を実現する。 The processor 302 reads out various programs stored in the secondary storage device 308, expands them in the main storage device 306, and executes them to realize various processes including a model generation process as described later.
　二次記憶装置３０８は、例えば、ＨＤＤやＳＳＤなどで構成される。二次記憶装置３０８には、典型的には、ＯＳ３２２と、撮像に係る処理などを実現するための実現するためのシステムプログラム３２４とが格納される。二次記憶装置３０８には、図６に示すプログラム以外の必要なプログラムが格納されてもよい。 The secondary storage device 308 is composed of, for example, an HDD or an SSD. The secondary storage device 308 typically stores an OS 322 and a system program 324 for realizing processing related to image pickup and the like. The secondary storage device 308 may store necessary programs other than the program shown in FIG.
　画像収集部３００で実行される各種プログラムは、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に係る画像収集部３００が提供する機能は、ＯＳ３２２が提供するモジュールの一部を利用する形で実現される場合もある。 Various programs executed by the image collecting unit 300 may be installed by downloading from a server device or the like on the network. Further, the function provided by the image collecting unit 300 according to the present embodiment may be realized by using a part of the module provided by the OS 322.
　カメラコントローラ３１２は、カメラ３３０に対して撮像指令を与えるとともに、カメラ３３０により撮像された画像を取得する。 The camera controller 312 gives an image pickup command to the camera 330 and acquires an image captured by the camera 330.
　ネットワークコントローラ３１４は、任意のネットワークを介した他の装置（例えば、サポート装置２００）との間のデータの遣り取りを制御する。 The network controller 314 controls the exchange of data with other devices (for example, the support device 200) via an arbitrary network.
　入力部３１６は、キーボードやマウスなどで構成され、ユーザ操作を受付ける。表示部３１８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ３０２からの処理結果などを出力する。 The input unit 316 is composed of a keyboard, a mouse, etc., and accepts user operations. The display unit 318 is composed of a display, various indicators, a printer, and the like, and outputs a processing result from the processor 302 and the like.
　図６には、プロセッサ３０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。 FIG. 6 shows a configuration example in which the necessary functions are provided by the processor 302 executing the program, and some or all of these provided functions are provided by a dedicated hardware circuit (for example, ASIC). Alternatively, it may be implemented using FPGA or the like).
　＜Ｃ．機能構成例＞
　次に、本実施の形態に係る制御システム１におけるラベル付与処理２６０を実現するための機能構成例について説明する。 <C. Function configuration example>
Next, a functional configuration example for realizing the label assignment process 260 in the control system 1 according to the present embodiment will be described.
　図７は、本実施の形態に係る制御システム１におけるラベル付与処理２６０を実現するための機能構成例を示す模式図である。図７を参照して、制御装置１００は、時刻を管理する時刻管理部１３８を含む。時刻管理部１３８は、現在時刻を管理および保持するものであり、例えば、電波時計、ＧＰＳ（Global　Positioning　System）、リアルタイムクロック、カウンタなどを用いて実現されてもよい。時刻管理部１３８が管理する時刻情報は、タイムスタンプとして、ＴＳＤＢ１４０に格納される時系列データ１４２に付加される。 FIG. 7 is a schematic diagram showing a functional configuration example for realizing the label assignment process 260 in the control system 1 according to the present embodiment. With reference to FIG. 7, the control device 100 includes a time management unit 138 that manages the time. The time management unit 138 manages and holds the current time, and may be realized by using, for example, a radio clock, a GPS (Global Positioning System), a real-time clock, a counter, or the like. The time information managed by the time management unit 138 is added to the time series data 142 stored in the TSDB 140 as a time stamp.
　画像収集部３００についても時刻管理部３３８を有している。時刻管理部３３８についても現在時刻を管理および保持する。時刻管理部１３８および時刻管理部３３８が管理する時刻を合わせる必要があるため、例えば、時刻管理部１３８と時刻管理部３３８との間では、ＮＴＰ（Network　Time　Protocol）などを用いて、時刻を同期するようにしてもよい。この場合、画像収集部３００は、制御装置１００とネットワーク接続されてもよいし、時刻管理部１３８と時刻管理部３３８との間で独自のネットワークを構築してもよい。 The image collecting unit 300 also has a time management unit 338. The time management unit 338 also manages and holds the current time. Since it is necessary to match the time managed by the time management unit 138 and the time management unit 338, for example, the time is synchronized between the time management unit 138 and the time management unit 338 using NTP (Network Time Protocol) or the like. You may try to do it. In this case, the image collecting unit 300 may be connected to the control device 100 via a network, or may construct its own network between the time management unit 138 and the time management unit 338.
　また、時刻管理部１３８および時刻管理部３３８が電波時計やＧＰＳを用いて時刻を管理する場合には、各々が正確な時刻を取得できるので、互いに同期しなくてもよい。 Further, when the time management unit 138 and the time management unit 338 manage the time using a radio clock or GPS, each of them can acquire an accurate time, so that they do not have to synchronize with each other.
　時刻管理部３３８が管理する時刻情報は、タイムスタンプとして、ＤＢ３４０に格納される画像３４２に付加される。 The time information managed by the time management unit 338 is added to the image 342 stored in the DB 340 as a time stamp.
　したがって、制御装置１００からサポート装置２００へ提供される時系列データ１４２、および、画像収集部３００から提供される画像３４２のいずれについても、タイムスタンプが付加されており、タイムスタンプに基づいて、時系列データ１４２と画像３４２との対応付けを実現できる。 Therefore, a time stamp is added to both the time series data 142 provided from the control device 100 to the support device 200 and the image 342 provided from the image collecting unit 300, and the time is added based on the time stamp. It is possible to realize the correspondence between the series data 142 and the image 342.
　サポート装置２００のモデル生成ツール２５０は、ラベル付与処理２６０を実現するための機能として、時系列データ取得モジュール２６１と、画像取得モジュール２６２と、時刻対応付けモジュール２６３と、ユーザインターフェイスモジュール２６４と、学習データ生成モジュール２６６とを含む。 The model generation tool 250 of the support device 200 has a time-series data acquisition module 261, an image acquisition module 262, a time mapping module 263, a user interface module 264, and learning as functions for realizing the label assignment process 260. Includes data generation module 266 and.
　時系列データ取得モジュール２６１は、制御装置１００のＴＳＤＢ１４０から時系列データ１４２を取得する。時系列データ取得モジュール２６１は、特徴量算出モジュール２６７を有している。 The time-series data acquisition module 261 acquires the time-series data 142 from the TSDB 140 of the control device 100. The time-series data acquisition module 261 has a feature amount calculation module 267.
　特徴量算出モジュール２６７は、取得した時系列データ１４２から予め定められた内容の特徴量を算出する。すなわち、特徴量算出モジュール２６７は、制御対象から収集される情報として、制御対象の状態値（時系列データ１４２に含まれるそれぞれの値）から特徴量を算出する。 The feature amount calculation module 267 calculates the feature amount of the predetermined contents from the acquired time series data 142. That is, the feature amount calculation module 267 calculates the feature amount from the state value of the control target (each value included in the time series data 142) as the information collected from the control target.
　画像取得モジュール２６２は、画像収集部３００から画像３４２を取得する。
　時刻対応付けモジュール２６３は、時系列データ取得モジュール２６１により取得された時系列データ１４２と、画像取得モジュール２６２により取得された画像３４２とを時刻について対応付ける。 The image acquisition module 262 acquires an image 342 from the image acquisition unit 300.
The time association module 263 associates the time series data 142 acquired by the time series data acquisition module 261 with the image 342 acquired by the image acquisition module 262 with respect to the time.
　図８は、本実施の形態に係る制御システム１における時系列データ１４２と画像３４２との対応付けを説明するための図である。図８を参照して、時系列データ１４２は、時刻を示すタイムスタンプを有している。画像３４２についてもタイムスタンプを有している。タイムスタンプの値が一致あるいは近似する時系列データ１４２と画像３４２とを対応付けることにより、時系列データ１４２が収集された時点における画像３４２を決定できる。 FIG. 8 is a diagram for explaining the correspondence between the time series data 142 and the image 342 in the control system 1 according to the present embodiment. With reference to FIG. 8, the time series data 142 has a time stamp indicating a time. Image 342 also has a time stamp. By associating the time-series data 142 and the image 342 whose time stamp values match or approximate, the image 342 at the time when the time-series data 142 is collected can be determined.
　なお、画像３４２として動画を用いる場合には、対応する動画のファイルを特定するとともに、特定した動画中の位置が決定されてもよい。 When a moving image is used as the image 342, the file of the corresponding moving image may be specified and the position in the specified moving image may be determined.
　再度図７を参照して、ユーザインターフェイスモジュール２６４は、制御対象から収集された情報（時系列データ１４２、あるいは、時系列データ１４２から算出された特徴量）と撮像された画像３４２とを時間的に対応付けて出力するとともに、ラベルの指定を受付ける。典型的には、ユーザインターフェイスモジュール２６４は、時系列データ１４２（あるいは、時系列データ１４２から算出された特徴量）と画像３４２とを含むユーザインターフェイス画面をユーザに提示するとともに、ユーザによるラベルの指定を受付ける。 With reference to FIG. 7 again, the user interface module 264 temporally transfers the information collected from the controlled object (time-series data 142 or the feature amount calculated from the time-series data 142) and the captured image 342. It is output in association with, and the label specification is accepted. Typically, the user interface module 264 presents the user with a user interface screen including the time series data 142 (or the feature amount calculated from the time series data 142) and the image 342, and the user specifies a label. To accept.
　ユーザインターフェイスモジュール２６４は、ラベル設定支援モジュール２６５を含む。ラベル設定支援モジュール２６５は、ユーザによるラベル指定を支援するための処理を担当する。ラベル指定を支援するための処理の一例については、後述する。 The user interface module 264 includes a label setting support module 265. The label setting support module 265 is in charge of processing for supporting the label designation by the user. An example of the process for supporting the label specification will be described later.
　学習データ生成モジュール２６６は、ユーザにより指定されたラベルを制御対象から収集された情報（時系列データ１４２、あるいは、時系列データ１４２から算出された特徴量）に付与することで、学習データ１４６を生成する。 The learning data generation module 266 applies the learning data 146 to the information (time-series data 142 or the feature amount calculated from the time-series data 142) collected from the control target with the label specified by the user. Generate.
　＜Ｄ．ユーザインターフェイス画面例＞
　次に、本実施の形態に係る制御システム１におけるラベル付与処理２６０に係るユーザインターフェイス画面例について説明する。 <D. User interface screen example>
Next, an example of a user interface screen related to the label assignment process 260 in the control system 1 according to the present embodiment will be described.
　図９は、本実施の形態に係る制御システム１において提供されるユーザインターフェイス画面の一例を示す模式図である。図９を参照して、ユーザインターフェイス画面２７０は、特徴量表示領域２７１と、ヒストグラム表示領域２７２と、画像表示領域２７６とを含む。 FIG. 9 is a schematic diagram showing an example of a user interface screen provided in the control system 1 according to the present embodiment. With reference to FIG. 9, the user interface screen 270 includes a feature amount display area 271, a histogram display area 272, and an image display area 276.
　特徴量表示領域２７１は、フレームと呼ばれる所定の時間区間毎に時系列データ１４２から算出される特徴量を表示する。特徴量表示領域２７１の横軸はフレーム番号であり、縦軸は特徴量である。特徴量表示領域２７１には、２つのしきい値をそれぞれ示すしきい値表示２７３および２７４が表示されている。 The feature amount display area 271 displays the feature amount calculated from the time series data 142 for each predetermined time interval called a frame. The horizontal axis of the feature amount display area 271 is the frame number, and the vertical axis is the feature amount. In the feature amount display area 271, threshold values 273 and 274 indicating the two threshold values are displayed.
　ヒストグラム表示領域２７２は、特徴量表示領域２７１の表示される特徴量の全部または一部の大きさの分布であるヒストグラムを表示する。 The histogram display area 272 displays a histogram which is a distribution of the size of all or a part of the feature amount displayed in the feature amount display area 271.
　画像表示領域２７６は、特徴量表示領域２７１に対して任意に設定される選択領域２７５に含まれる特徴量の収集タイミングに対応する画像３４２－１～３４２－５を表示する。サポート装置２００のユーザインターフェイスモジュール２６４は、制御対象から収集された情報（時系列データ１４２、あるいは、時系列データ１４２から算出された特徴量）のうち選択された情報に対応する画像３４２を出力する。図９に示す例において、表示される画像３４２－１～３４２－５は、１つのフレームにそれぞれ対応するものとなっている。 The image display area 276 displays images 342-1 to 342-5 corresponding to the collection timing of the feature amount included in the selection area 275 arbitrarily set for the feature amount display area 271. The user interface module 264 of the support device 200 outputs an image 342 corresponding to the information selected from the information collected from the controlled object (time-series data 142 or feature quantity calculated from the time-series data 142). .. In the example shown in FIG. 9, the displayed images 342-1 to 342-5 correspond to one frame, respectively.
　選択領域２７５に含まれる画像３４２が多くて画像表示領域２７６に表示しきれない場合などには、後送りボタン２７８および先送りボタン２７９の押下に応答して、画像表示領域２７６に表示される画像３４２が順次変更されるようにしてもよい。 When there are too many images 342 included in the selection area 275 to be displayed in the image display area 276, the image 342 displayed in the image display area 276 in response to pressing the post-forward button 278 and the post-forward button 279. May be changed sequentially.
　図９には、一例として、制御対象の設備により生産されるワークを撮像した場合の画像３４２が表示されている（以下の図においても同様である）。図９に示す画像３４２－４に含まれるワークには、キズ３４４が発生している。 As an example, FIG. 9 shows an image 342 when an image of a workpiece produced by the equipment to be controlled is imaged (the same applies to the following figure). The work included in the image 342-4 shown in FIG. 9 has scratches 344.
　ユーザは、ユーザインターフェイス画面２７０に対して、ラベル付与の操作を行う。
　図１０は、本実施の形態に係る制御システム１において提供されるユーザインターフェイス画面上でラベル付与の処理手順例を示す模式図である。図１０を参照して、ユーザは、画像表示領域２７６に表示されるいずれかの画像３４２を選択し、ラベルを付与する。より具体的には、ユーザがいずれかの画像３４２を選択すると、ラベル付与ウィンドウ２８０が画像３４２上に表示される。 The user performs a label assignment operation on the user interface screen 270.
FIG. 10 is a schematic diagram showing an example of a labeling processing procedure on the user interface screen provided in the control system 1 according to the present embodiment. With reference to FIG. 10, the user selects and labels any image 342 displayed in the image display area 276. More specifically, when the user selects any image 342, the labeling window 280 is displayed on the image 342.
　ラベル付与ウィンドウ２８０には、「正常」、「異常」、「無視」（例えば、外れ値のため学習データ１４６から除外）の３つのラベルが表示されている。ユーザは、画像３４２を見ながら、いずれかのラベルを選択する（選択中表示２８２）。なお、ラベルの種類としては、３種類に限らず、より多くあるいはより少なくしてもよい。 In the label assignment window 280, three labels of "normal", "abnormal", and "ignore" (for example, excluded from the training data 146 because of outliers) are displayed. The user selects one of the labels while looking at the image 342 (selected display 282). The types of labels are not limited to three, and may be more or less.
　図１０に示す例では、ワークにキズ３４４が発生している画像３４２－４に対しては、「異常」のラベルが付与されている。一方、ワークにキズ３４４が発生していない画像３４２に対しては、「正常」のラベルが付与される。このとき、画像３４２の類似性に基づいて、いずれかの画像３４２に付与されたラベルを他の画像３４２に反映してもよい。 In the example shown in FIG. 10, the image 342-4 in which the work has scratches 344 is labeled as "abnormal". On the other hand, the image 342 in which the work has no scratches 344 is labeled as "normal". At this time, the label given to any image 342 may be reflected in the other image 342 based on the similarity of the image 342.
　図１１および図１２は、本実施の形態に係る制御システム１において提供されるユーザインターフェイス画面上で１つのラベルを他に反映する処理手順例を示す模式図である。 11 and 12 are schematic views showing an example of a processing procedure that reflects one label on the user interface screen provided in the control system 1 according to the present embodiment.
　図１１を参照して、例えば、ユーザが画像表示領域２７６に表示される画像３４２－１を選択し、「正常」のラベルを付与する。続いて、ユーザが類似した画像３４２への反映を指示すると、サポート装置２００は、ラベルが付与されていない画像３４２のうち、画像３４２－１に類似している画像３４２を検索し、検索された画像３４２に対して、同じラベル（この例では、「正常」）を反映する。 With reference to FIG. 11, for example, the user selects an image 342-1 displayed in the image display area 276 and labels it as "normal". Subsequently, when the user instructs the image to be reflected in the similar image 342, the support device 200 searches for the image 342 similar to the image 342-1 among the unlabeled images 342, and is searched. The same label (“normal” in this example) is reflected for the image 342.
　図１２を参照して、画像３４２－１と画像３４２－２，３４２－３，３４２－５とが類似していると判断され、画像３４２－１に付与された「正常」のラベルが画像３４２－２，３４２－３，３４２－５にも反映される。このように、サポート装置２００のユーザインターフェイスモジュール２６４（ラベル設定支援モジュール２６５）は、類似した複数の画像にそれぞれ対応する情報（時系列データ１４２、あるいは、時系列データ１４２から算出された特徴量）について、当該複数の画像のうちいずれかの画像に対応する情報に対して指定されたラベルと同じラベルを反映してもよい。 With reference to FIG. 12, it is determined that image 342-1 and image 342-2, 342-3, 342-5 are similar, and the "normal" label given to image 342-1 is image 342. -It is also reflected in 2,342-3,342-5. As described above, the user interface module 264 (label setting support module 265) of the support device 200 has information corresponding to a plurality of similar images (characteristic amount calculated from the time-series data 142 or the time-series data 142). May reflect the same label as the label specified for the information corresponding to any one of the plurality of images.
　このような画像の類似性に基づくラベルの反映の処理を採用することで、ラベル付与に係るユーザの負担を軽減できる。 By adopting the process of reflecting the label based on the similarity of such images, the burden on the user related to the labeling can be reduced.
　図１３および図１４は、本実施の形態に係る制御システム１において提供されるユーザインターフェイス画面上で画像が存在しない場合のラベル付与の処理手順例を示す模式図である。 13 and 14 are schematic views showing an example of a labeling processing procedure when an image does not exist on the user interface screen provided in the control system 1 according to the present embodiment.
　図１３を参照して、状況によっては、特徴量の収集タイミングに対応する画像３４２が存在しない、あるいは、取得できない場合もある。図１３に示す例では、画像３４２－１および画像３４２－２のみが取得されており、残りの画像３４２は取得できていない。このような場合でも、ラベル付与は可能になっている。 With reference to FIG. 13, depending on the situation, the image 342 corresponding to the collection timing of the feature amount may not exist or may not be acquired. In the example shown in FIG. 13, only the image 342-1 and the image 342-2 have been acquired, and the remaining image 342 has not been acquired. Even in such a case, labeling is possible.
　図１４を参照して、ヒストグラム表示領域２７２に表示されるヒストグラムを参照して、ユーザは、各特徴量としきい値との関係に基づいて、ラベルを指定することができる。図１４に示す例では、対応する画像３４２が存在しない特徴量に対して、いずれも「正常」のラベルが付与されている。 With reference to FIG. 14, and with reference to the histogram displayed in the histogram display area 272, the user can specify a label based on the relationship between each feature amount and the threshold value. In the example shown in FIG. 14, the feature amount in which the corresponding image 342 does not exist is labeled as "normal".
　本実施の形態に係る制御システム１においては、ラベルが付与される先は、時系列データ１４２（あるいは、時系列データ１４２から算出された特徴量）であるので、画像３４２が存在しなくても、ラベル付与の処理は実行できる。 In the control system 1 according to the present embodiment, the label is attached to the time-series data 142 (or the feature amount calculated from the time-series data 142), so that the image 342 does not exist. , Labeling processing can be executed.
　図１５は、本実施の形態に係る制御システム１において提供されるユーザインターフェイス画面上で特異的な特徴量に対してラベルを付与する処理手順例を示す模式図である。 FIG. 15 is a schematic diagram showing an example of a processing procedure for assigning a label to a specific feature amount on the user interface screen provided in the control system 1 according to the present embodiment.
　図１５を参照して、選択領域２７５は任意に設定できるため、例えば、通常の値とは大きく異なった値を示す１または複数の特徴量が含まれるように選択領域２７５を設定し、設定された選択領域２７５に含まれる特徴量に対して、「異常」のラベルを付与してもよい。 Since the selection area 275 can be arbitrarily set with reference to FIG. 15, for example, the selection area 275 is set and set so as to include one or a plurality of features showing a value significantly different from the normal value. The feature amount contained in the selected area 275 may be labeled as "abnormal".
　この場合、１つの画像３４２に対して「異常」のラベルを付与した上で、他の画像３４２に対して、同じラベルを反映するようにしてもよいし、複数の画像３４２を選択した状態で、「異常」のラベルを付与してもよい。このように、サポート装置２００のユーザインターフェイスモジュール２６４（ラベル設定支援モジュール２６５）は、制御対象から収集された複数の情報に対して、指定された同一のラベルを反映してもよい。 In this case, one image 342 may be labeled as "abnormal" and then the same label may be reflected on the other images 342, or a plurality of images 342 may be selected. , "Abnormal" may be labeled. As described above, the user interface module 264 (label setting support module 265) of the support device 200 may reflect the same designated label for a plurality of information collected from the control target.
　また、図１１および図１２を参照して説明したように、画像３４２の類似性に基づいて、いずれかの画像３４２に付与されたラベルを他の画像３４２に反映してもよい。 Further, as described with reference to FIGS. 11 and 12, the label given to one of the images 342 may be reflected in the other image 342 based on the similarity of the image 342.
　図１６は、本実施の形態に係る制御システム１において提供されるユーザインターフェイス画面において動画を表示する例を示す模式図である。図１６を参照して、ユーザインターフェイス画面２７０の画像表示領域２７６には、画像３４２として動画が表示される。 FIG. 16 is a schematic diagram showing an example of displaying a moving image on the user interface screen provided in the control system 1 according to the present embodiment. With reference to FIG. 16, a moving image is displayed as an image 342 in the image display area 276 of the user interface screen 270.
　画像表示領域２７６に表示される動画である画像３４２は、再生ボタン２８７および停止ボタン２８８の押下に応答して、再生および停止される。動画の再生中の位置に対応して、特徴量表示領域２７１中の位置インジケータ２８６が移動する。なお、ユーザが位置インジケータ２８６を操作できるようにしてもよい。この場合は、位置インジケータ２８６の位置に対応する動画の位置が再生あるいは表示される。 The image 342, which is a moving image displayed in the image display area 276, is played and stopped in response to pressing the play button 287 and the stop button 288. The position indicator 286 in the feature amount display area 271 moves according to the position during playback of the moving image. The user may be able to operate the position indicator 286. In this case, the position of the moving image corresponding to the position of the position indicator 286 is reproduced or displayed.
　このように、サポート装置２００のユーザインターフェイスモジュール２６４は、画像３４２として動画を採用する場合には、動画の再生に併せて、制御対象から収集された情報のうち対応する情報の位置を表示してもよい。 As described above, when the user interface module 264 of the support device 200 adopts the moving image as the image 342, the user interface module 264 displays the position of the corresponding information among the information collected from the controlled object along with the reproduction of the moving image. May be good.
　所定のユーザ操作によって、ラベル付与ウィンドウ２８０が画像３４２上に表示される。ユーザは、位置インジケータ２８６に対応する画像３４２を見ながら、いずれかのラベルを選択する。 The label assignment window 280 is displayed on the image 342 by a predetermined user operation. The user selects one of the labels while looking at the image 342 corresponding to the position indicator 286.
　このように、画像３４２として動画を用いた場合も、静止画を用いた場合と同様に、ユーザはラベルを容易に付与できる。 In this way, even when the moving image is used as the image 342, the user can easily give a label as in the case where the still image is used.
　＜Ｅ．処理手順＞
　次に、本実施の形態に係る制御システム１におけるラベル付与処理２６０に係る処理手順について説明する。 <E. Processing procedure>
Next, a processing procedure related to the labeling processing 260 in the control system 1 according to the present embodiment will be described.
　図１７は、本実施の形態に係る制御システム１におけるラベル付与処理２６０に係る処理手順を示すフローチャートである。図１７に示す主たるステップは、典型的には、サポート装置２００のプロセッサ２０２がモデル生成プログラム２３０を実行することで実現されてもよい。 FIG. 17 is a flowchart showing a processing procedure related to the labeling processing 260 in the control system 1 according to the present embodiment. The main step shown in FIG. 17 may typically be realized by the processor 202 of the support device 200 executing the model generation program 230.
　図１７を参照して、事前準備として、ユーザは、視野範囲に異常検知の対象に関連するものが含まれるように、画像収集部３００のカメラ３３０を配置する（ステップＳ２）。 With reference to FIG. 17, as a preliminary preparation, the user arranges the camera 330 of the image collecting unit 300 so that the field of view includes the object related to the abnormality detection (step S2).
　制御装置１００は、時系列データ１４２をＴＳＤＢ１４０に順次格納する（ステップＳ４）とともに、画像収集部３００は、カメラ３３０で撮像した画像をＤＢ３４０に順次格納する（ステップＳ６）。 The control device 100 sequentially stores the time series data 142 in the TSDB 140 (step S4), and the image collecting unit 300 sequentially stores the images captured by the camera 330 in the DB 340 (step S6).
　制御装置１００および画像収集部３００の動作と並行して、あるいは、制御装置１００および画像収集部３００の動作後に、サポート装置２００は、制御装置１００から時系列データ１４２を取得する（ステップＳ１０）とともに、画像収集部３００から画像３４２を取得する（ステップＳ１２）。このように、サポート装置２００は、制御対象から収集される情報を取得する処理と、異常検知の対象に関連するものを撮像した画像を取得する処理とを実行する。 In parallel with the operation of the control device 100 and the image collection unit 300, or after the operation of the control device 100 and the image collection unit 300, the support device 200 acquires the time series data 142 from the control device 100 (step S10). , The image 342 is acquired from the image collecting unit 300 (step S12). In this way, the support device 200 executes a process of acquiring information collected from the controlled object and a process of acquiring an image obtained by capturing an image related to the object of abnormality detection.
　サポート装置２００は、取得した時系列データ１４２からフレーム毎に特徴量を算出する（ステップＳ１４）。また、サポート装置２００は、取得した時系列データ１４２に付加されているタイムスタンプと、取得した画像３４２に付加されているタイムスタンプとに基づいて、時系列データ１４２から算出したフレーム毎の特徴量と画像３４２とを対応付ける（ステップＳ１６）。そして、サポート装置２００は、時系列データ１４２から算出したフレーム毎の特徴量を表示する（ステップＳ１８）。このように、サポート装置２００は、制御対象から収集された情報と撮像された画像３４２とを時間的に対応付けて出力する。 The support device 200 calculates the feature amount for each frame from the acquired time series data 142 (step S14). Further, the support device 200 is a feature amount for each frame calculated from the time series data 142 based on the time stamp added to the acquired time series data 142 and the time stamp added to the acquired image 342. And the image 342 are associated with each other (step S16). Then, the support device 200 displays the feature amount for each frame calculated from the time series data 142 (step S18). In this way, the support device 200 outputs the information collected from the controlled object and the captured image 342 in a temporally associated manner.
　サポート装置２００は、表示された特徴量に対して選択領域２７５が設定されると（ステップＳ２０においてＹＥＳ）、選択領域２７５に含まれる特徴量に対応する画像３４２を表示する（ステップＳ２２）。 When the selection area 275 is set for the displayed feature amount (YES in step S20), the support device 200 displays the image 342 corresponding to the feature amount included in the selection area 275 (step S22).
　いずれかの画像３４２が選択されると（ステップＳ２４においてＹＥＳ）、サポート装置２００は、選択された画像３４２に対応付けて、ラベル付与ウィンドウ２８０を表示する（ステップＳ２６）。サポート装置２００は、ラベル付与ウィンドウ２８０上でユーザがラベルを選択すると（ステップＳ２８においてＹＥＳ）、当該選択されたラベルを対応するフレームの時系列データ１４２（あるいは、時系列データ１４２から算出された特徴量）に対応付ける（ステップＳ３０）。この対応付けによって、学習データ１４６が生成される。このように、サポート装置２００は、ラベルの指定を受付ける処理と、指定されたラベルを制御対象から収集された情報に付加することで、モデル１６０を構成するための学習データ１４６を生成する処理とを実行する。 When any of the images 342 is selected (YES in step S24), the support device 200 displays the labeling window 280 in association with the selected image 342 (step S26). When the user selects a label on the label assignment window 280 (YES in step S28), the support device 200 uses the selected label as a feature calculated from the time series data 142 (or the time series data 142) of the corresponding frame. (Amount) (step S30). By this association, learning data 146 is generated. In this way, the support device 200 has a process of accepting the label designation and a process of generating training data 146 for configuring the model 160 by adding the designated label to the information collected from the control target. To execute.
　サポート装置２００は、画像３４２の類似性に基づく反映が指示されたか否かを判断する（ステップＳ３２）。画像３４２の類似性に基づく反映が指示されると（ステップＳ３２においてＹＥＳ）、サポート装置２００は、先に選択されている画像３４２に類似する画像３４２を検索し（ステップＳ３４）、検索された画像３４２に対して、先に選択されている画像３４２に付与されたラベルと同じラベルを付与する（ステップＳ３６）。 The support device 200 determines whether or not the reflection based on the similarity of the image 342 is instructed (step S32). When the reflection based on the similarity of the image 342 is instructed (YES in step S32), the support device 200 searches for an image 342 similar to the previously selected image 342 (step S34), and the searched image is searched. The same label as the label given to the previously selected image 342 is given to the 342 (step S36).
　画像３４２の類似性に基づく反映が指示されなければ（ステップＳ３２においてＮＯ）、ステップＳ３４およびＳ３６の処理はスキップされる。 Unless the reflection based on the similarity of the image 342 is instructed (NO in step S32), the processes of steps S34 and S36 are skipped.
　サポート装置２００は、別の画像３４２が選択されたか否かを判断する（ステップＳ３８）。別の画像３４２が選択されると（ステップＳ３８においてＹＥＳ）、ステップＳ２６以下の処理が繰返される。 The support device 200 determines whether or not another image 342 has been selected (step S38). When another image 342 is selected (YES in step S38), the processing of step S26 and the like is repeated.
　サポート装置２００は、別の選択領域２７５が設定されたか否かを判断する（ステップＳ４０）。別の選択領域２７５が設定されると（ステップＳ４０においてＹＥＳ）、ステップＳ２２以下の処理が繰返される。 The support device 200 determines whether or not another selection area 275 has been set (step S40). When another selection area 275 is set (YES in step S40), the processing of step S22 or less is repeated.
　サポート装置２００は、ラベル付与処理の終了が指示されたか否かを判断する（ステップＳ４２）。ラベル付与処理の終了が指示されると（ステップＳ４２においてＹＥＳ）、ラベル付与処理は終了する。 The support device 200 determines whether or not the end of the label assignment process has been instructed (step S42). When the end of the label assignment process is instructed (YES in step S42), the label assignment process ends.
　ラベル付与の処理後、サポート装置２００は、ステップＳ３０において生成された学習データ１４６を複数用いて、モデル１６０の生成処理を行う。 After the label assignment process, the support device 200 performs the model 160 generation process using the plurality of learning data 146 generated in step S30.
　＜Ｆ．変形例＞
　上述の説明においては、モデル生成ツール２５０にラベル付与処理２６０が含まれる構成を例示したが、ラベル付与処理２６０は、単独で実装されてもよいし、データマイニングツール２４０に含めてもよい。さらに、ラベル付与処理２６０は、サポート装置２００とは別の装置（例えば、クラウド上のコンピューティングリソース）に実装してもよい。 <F. Modification example>
In the above description, the configuration in which the label assignment process 260 is included in the model generation tool 250 is illustrated, but the label assignment process 260 may be implemented independently or may be included in the data mining tool 240. Further, the labeling process 260 may be implemented in a device other than the support device 200 (for example, a computing resource on the cloud).
　すなわち、本実施の形態に係るラベル付与処理２６０を実装するハードウェアはどのようなものであってもよい。 That is, any hardware may be used to implement the labeling process 260 according to the present embodiment.
　上述の説明においては、典型例として、フレーム毎に算出された特徴量に対してユーザがラベルを指定する方法を例示したが、フレーム毎の時系列データ１４２に対してラベルを指定するようにしてもよい。また、生成される学習データ１４６についても、ラベルが付与されたフレーム毎の時系列データ１４２であってもよいし、ラベルが付与されたフレーム毎の特徴量であってもよい。 In the above description, as a typical example, a method in which the user specifies a label for the feature amount calculated for each frame is illustrated, but the label is specified for the time series data 142 for each frame. May be good. Further, the generated learning data 146 may be time-series data 142 for each frame to which a label is attached, or may be a feature amount for each frame to which a label is attached.
　上述の説明においては、制御対象から収集された情報と撮像された画像３４２とを時間的に対応付けて出力する形態として、ディスプレイ上のユーザインターフェイス画面２７０を一例として例示したが、これに限らず、任意の出力形態を採用できる。 In the above description, the user interface screen 270 on the display is illustrated as an example as a form in which the information collected from the controlled object and the captured image 342 are output in a temporally associated manner, but the present invention is not limited to this. , Any output form can be adopted.
　＜Ｇ．付記＞
　上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
　制御対象を制御するための制御演算を実行する制御演算部（１３０）と、
　前記制御対象から収集される情報（１５２）に基づいて、モデル（１６０）を参照して、前記制御対象における異常を検知する異常検知部（１５０）と、
　異常検知の対象に関連するものを撮像した画像（３４２）を収集する画像収集部（３００）と、
　前記制御対象から収集された情報と前記撮像された画像とを時間的に対応付けて出力するとともに、ラベルの指定を受付けるユーザインターフェイス部（２６４）と、
　指定されたラベルを前記制御対象から収集された情報に付加することで、前記モデルを構成するための学習データ（１４６）を生成する生成部（２６６）とを備える、制御システム。
［構成２］
　前記ユーザインターフェイス部は、前記制御対象から収集された情報のうち選択された情報に対応する画像を出力する、構成１に記載の制御システム。
［構成３］
　前記ユーザインターフェイス部（２６４，２６５）は、類似した複数の画像にそれぞれ対応する情報について、当該複数の画像のうちいずれかの画像に対応する情報に対して指定されたラベルと同じラベルを反映する、構成１または２に記載の制御システム。
［構成４］
　前記ユーザインターフェイス部（２６４，２６５）は、前記制御対象から収集された複数の情報に対して、指定された同一のラベルを反映する、構成１～３のいずれか１項に記載の制御システム。
［構成５］
　前記画像は、静止画および動画の少なくとも一方を含む、構成１～４のいずれか１項に記載の制御システム。
［構成６］
　前記ユーザインターフェイス部は、前記画像が動画を含む場合に、動画の再生に併せて、前記制御対象から収集された情報のうち対応する情報の位置を表示する、構成５に記載の制御システム。
［構成７］
　前記学習データに基づいて前記モデルを生成するモデル生成部（２５２，２５４）をさらに備える、構成１～６のいずれか１項に記載の制御システム。
［構成８］
　前記制御対象から収集された情報として、前記制御対象の状態値から特徴量を算出する特徴量算出部（２６７）をさらに備える、構成１～７のいずれか１項に記載の制御システム。
［構成９］
　制御対象を制御するための制御演算を実行する制御演算部（１３０）と、前記制御対象から収集される情報（１５２）に基づいて、モデル（１６０）を参照して、前記制御対象における異常を検知する異常検知部（１５０）とを備える制御装置（１００）に接続されるサポート装置（２００）であって、
　異常検知の対象に関連するものを撮像した画像（３４２）を取得する画像取得部（２６２）と、
　前記制御対象から収集された情報と前記撮像された画像とを時間的に対応付けて出力するとともに、ラベルの指定を受付けるユーザインターフェイス部（２６４）と、
　指定されたラベルを前記制御対象から収集された情報に付加することで、前記モデルを構成するための学習データ（１４６）を生成する生成部（２６６）とを備える、サポート装置。
［構成１０］
　制御対象から収集される情報（１５２）に基づいて、モデル（１６０）を参照して、前記制御対象における異常を検知する制御システム（１）に向けられたラベル付与方法であって、
　制御対象から収集される情報を取得するステップ（Ｓ１０）と、
　異常検知の対象に関連するものを撮像した画像を取得するステップ（Ｓ１２）と、
　前記制御対象から収集された情報と前記撮像された画像とを時間的に対応付けて出力するステップ（Ｓ１６，Ｓ１８）と、
　ラベルの指定を受付けるステップ（Ｓ２４）と、
　指定されたラベルを前記制御対象から収集された情報に付加することで、前記モデルを構成するための学習データを生成するステップ（Ｓ３０）とを備える、ラベル付与方法。 <G. Addendum>
The present embodiment as described above includes the following technical ideas.
[Structure 1]
A control calculation unit (130) that executes a control calculation to control a control target, and
An abnormality detection unit (150) that detects an abnormality in the controlled object with reference to the model (160) based on the information (152) collected from the controlled object.
An image collection unit (300) that collects images (342) of images related to the target of abnormality detection, and
A user interface unit (264) that outputs the information collected from the controlled object and the captured image in a timely manner and accepts a label designation.
A control system including a generation unit (266) that generates learning data (146) for constructing the model by adding a designated label to the information collected from the control target.
[Structure 2]
The control system according to configuration 1, wherein the user interface unit outputs an image corresponding to information selected from the information collected from the control target.
[Structure 3]
The user interface unit (264, 265) reflects the same label as the label designated for the information corresponding to any one of the plurality of images for the information corresponding to each of the plurality of similar images. , The control system according to configuration 1 or 2.
[Structure 4]
The control system according to any one of configurations 1 to 3, wherein the user interface unit (264, 265) reflects the same designated label for a plurality of information collected from the control target.
[Structure 5]
The control system according to any one of configurations 1 to 4, wherein the image includes at least one of a still image and a moving image.
[Structure 6]
The control system according to configuration 5, wherein the user interface unit displays the position of the corresponding information among the information collected from the control target in addition to the reproduction of the moving image when the image includes the moving image.
[Structure 7]
The control system according to any one of configurations 1 to 6, further comprising a model generation unit (252, 254) that generates the model based on the training data.
[Structure 8]
The control system according to any one of configurations 1 to 7, further comprising a feature amount calculation unit (267) that calculates a feature amount from the state value of the control target as information collected from the control target.
[Structure 9]
Based on the control calculation unit (130) that executes the control calculation to control the control target and the information (152) collected from the control target, the model (160) is referred to to determine the abnormality in the control target. A support device (200) connected to a control device (100) including an abnormality detection unit (150) for detection.
An image acquisition unit (262) that acquires an image (342) of an image related to an abnormality detection target, and an image acquisition unit (262).
A user interface unit (264) that outputs the information collected from the controlled object and the captured image in a timely manner and accepts a label designation.
A support device including a generation unit (266) that generates learning data (146) for constructing the model by adding a designated label to the information collected from the control target.
[Structure 10]
A labeling method directed to a control system (1) that detects an abnormality in the controlled object with reference to a model (160) based on the information (152) collected from the controlled object.
The step (S10) of acquiring the information collected from the controlled object and
The step (S12) of acquiring an image of an image related to the object of abnormality detection, and
A step (S16, S18) of temporally associating the information collected from the controlled object with the captured image and outputting the image.
The step (S24) of accepting the label designation and
A labeling method comprising a step (S30) of generating learning data for constructing the model by adding a designated label to the information collected from the controlled object.
　＜Ｈ．利点＞
　本実施の形態に係る制御システムにおいては、ユーザは撮像された画像を見ながら、ラベルを付与できるので、学習データを生成するためのラベル付与を効率的に行うことができる。また、画像の類似性を利用したラベル付与作業を支援することもできるので、さらに効率を高めることができる。また、画像を撮像するためのカメラは、学習データを生成するのに必要な画像を取得できれば十分なので、アドホックに任意に配置すればよく、制御対象に固有の制限などにも柔軟に対応できる。 <H. Advantages>
In the control system according to the present embodiment, the user can add a label while looking at the captured image, so that the label can be efficiently attached to generate the learning data. In addition, it is possible to support the labeling work using the similarity of images, so that the efficiency can be further improved. Further, since it is sufficient for the camera for capturing the image to acquire the image necessary for generating the learning data, it may be arbitrarily arranged in the ad hoc network, and it is possible to flexibly deal with the restrictions peculiar to the control target.
　これによって、実際の生産現場での運用に適したラベル付与および学習データ取得できる。 This makes it possible to assign labels and acquire learning data suitable for operation at actual production sites.
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered to be exemplary in all respects and not restrictive. The scope of the present invention is shown by the scope of claims, not the above description, and is intended to include all modifications within the meaning and scope of the claims.
　１　制御システム、２，４　フィールドバス、６　上位ネットワーク、１０　フィールド装置群、１２　リモートＩ／Ｏ装置、１４　リレー群、１６，１２４　Ｉ／Ｏユニット、１８　サーボドライバ、２０　サーボモータ、３０　データ収集フェーズ、３２　データ解析フェーズ、３４　運用フェーズ、１００　制御装置、１０２，２０２，３０２　プロセッサ、１０４　チップセット、１０６，２０６，３０６　主記憶装置、１０８，２０８，３０８　二次記憶装置、１１０　上位ネットワークコントローラ、１１２，２１２　ＵＳＢコントローラ、１１４　メモリカードインターフェイス、１１６　メモリカード、１１８，１２０　フィールドバスコントローラ、１２２　内部バスコントローラ、１３０　ＰＬＣエンジン、１３１，３２４　システムプログラム、１３２　ユーザプログラム、１３４　ライブラリ、１３６　データ管理部、１３８，３３８　時刻管理部、１４２　時系列データ、１４４　ラベル、１４６　学習データ、１５０　異常検知エンジン、１５２　特徴量、１６０　モデル、２００　サポート装置、２０４　光学ドライブ、２０５　記録媒体、２１４，３１４　ネットワークコントローラ、２１６，３１６　入力部、２１８，３１８　表示部、２２０，３２０　バス、２２２，３２２　ＯＳ、２２４　インターフェイスプログラム、２２６　開発プログラム、２２８　データマイニングプログラム、２３０　モデル生成プログラム、２４０　データマイニングツール、２４２　特徴量生成処理、２４４　特徴量選択処理、２４６　モデル生成処理、２４８　設定処理、２５０　モデル生成ツール、２５２　モデル更新処理、２５４　調整処理、２６０　ラベル付与処理、２６１　取得モジュール、２６２　画像取得モジュール、２６３　モジュール、２６４　ユーザインターフェイスモジュール、２６５　ラベル設定支援モジュール、２６６　学習データ生成モジュール、２６７　特徴量算出モジュール、２７０　ユーザインターフェイス画面、２７１　特徴量表示領域、２７２　ヒストグラム表示領域、２７３　表示、２７５　選択領域、２７６　画像表示領域、２７８　後送りボタン、２７９　先送りボタン、２８０　ラベル付与ウィンドウ、２８２　選択中表示、２８６　位置インジケータ、２８７　再生ボタン、２８８　停止ボタン、３００　画像収集部、３１２　カメラコントローラ、３３０　カメラ、３４２　画像、３４４　キズ、４００　サーバ、５００　表示装置。 1 control system, 2, 4 field bus, 6 upper network, 10 field device group, 12 remote I / O device, 14 relay group, 16, 124 I / O unit, 18 servo driver, 20 servo motor, 30 data collection phase , 32 data analysis phase, 34 operation phase, 100 control device, 102, 202, 302 processor, 104 chipset, 106, 206, 306 main storage device, 108, 208, 308 secondary storage device, 110 upper network controller, 112 , 212 USB controller, 114 memory card interface, 116 memory card, 118,120 field bus controller, 122 internal bus controller, 130 PLC engine, 131,324 system program, 132 user program, 134 library, 136 data management unit, 138, 338 time management unit, 142 time series data, 144 labels, 146 learning data, 150 abnormality detection engine, 152 feature amount, 160 model, 200 support device, 204 optical drive, 205 recording medium, 214,314 network controller, 216,316 Input unit, 218,318 display unit, 220,320 bus, 222,322 OS, 224 interface program, 226 development program, 228 data mining program, 230 model generation program, 240 data mining tool, 242 feature amount generation process, 244 features Quantity selection processing, 246 model generation processing, 248 setting processing, 250 model generation tool, 252 model update processing, 254 adjustment processing, 260 labeling processing, 261 acquisition module, 262 image acquisition module, 263 module, 264 user interface module, 265 Label setting support module, 266 learning data generation module, 267 feature amount calculation module, 270 user interface screen, 271 feature amount display area, 272 histogram display area, 273 display, 275 selection area, 276 image display area, 278 postponement button, 279 forward button, 280 label assignment window, 282 selected display, 286 position indicator, 287 play button, 288 stop button, 300 image collector, 312 camera control -La, 330 camera, 342 image, 344 scratches, 400 server, 500 display device.

Claims (10)

  1. 　制御対象を制御するための制御演算を実行する制御演算部と、
    　前記制御対象から収集される情報に基づいて、モデルを参照して、前記制御対象における異常を検知する異常検知部と、
    　異常検知の対象に関連するものを撮像した画像を収集する画像収集部と、
    　前記制御対象から収集された情報と前記撮像された画像とを時間的に対応付けて出力するとともに、ラベルの指定を受付けるユーザインターフェイス部と、
    　指定されたラベルを前記制御対象から収集された情報に付加することで、前記モデルを構成するための学習データを生成する生成部とを備える、制御システム。     A control calculation unit that executes control operations to control the control target,
    An abnormality detection unit that detects an abnormality in the controlled object by referring to the model based on the information collected from the controlled object.
    An image collection unit that collects images of things related to the target of anomaly detection,
    A user interface unit that outputs the information collected from the controlled object and the captured image in a timely manner and accepts a label designation.
    A control system including a generation unit that generates learning data for constructing the model by adding a designated label to the information collected from the control target.
  2. 　前記ユーザインターフェイス部は、前記制御対象から収集された情報のうち選択された情報に対応する画像を出力する、請求項１に記載の制御システム。 The control system according to claim 1, wherein the user interface unit outputs an image corresponding to the information selected from the information collected from the control target.
  3. 　前記ユーザインターフェイス部は、類似した複数の画像にそれぞれ対応する情報について、当該複数の画像のうちいずれかの画像に対応する情報に対して指定されたラベルと同じラベルを反映する、請求項１または２に記載の制御システム。 The user interface unit reflects the same label as the label designated for the information corresponding to any one of the plurality of images for the information corresponding to the plurality of similar images, respectively. 2. The control system according to 2.
  4. 　前記ユーザインターフェイス部は、前記制御対象から収集された複数の情報に対して、指定された同一のラベルを反映する、請求項１～３のいずれか１項に記載の制御システム。 The control system according to any one of claims 1 to 3, wherein the user interface unit reflects the same designated label for a plurality of information collected from the control target.
  5. 　前記画像は、静止画および動画の少なくとも一方を含む、請求項１～４のいずれか１項に記載の制御システム。 The control system according to any one of claims 1 to 4, wherein the image includes at least one of a still image and a moving image.
  6. 　前記ユーザインターフェイス部は、前記画像が動画を含む場合に、動画の再生に併せて、前記制御対象から収集された情報のうち対応する情報の位置を表示する、請求項５に記載の制御システム。 The control system according to claim 5, wherein the user interface unit displays the position of the corresponding information among the information collected from the control target in addition to the reproduction of the moving image when the image includes the moving image.
  7. 　前記学習データに基づいて前記モデルを生成するモデル生成部をさらに備える、請求項１～６のいずれか１項に記載の制御システム。 The control system according to any one of claims 1 to 6, further comprising a model generation unit that generates the model based on the learning data.
  8. 　前記制御対象から収集された情報として、前記制御対象の状態値から特徴量を算出する特徴量算出部をさらに備える、請求項１～７のいずれか１項に記載の制御システム。 The control system according to any one of claims 1 to 7, further comprising a feature amount calculation unit that calculates a feature amount from the state value of the control target as information collected from the control target.
  9. 　制御対象を制御するための制御演算を実行する制御演算部と、前記制御対象から収集される情報に基づいて、モデルを参照して、前記制御対象における異常を検知する異常検知部とを備える制御装置に接続されるサポート装置であって、
    　異常検知の対象に関連するものを撮像した画像を取得する画像取得部と、
    　前記制御対象から収集された情報と前記撮像された画像とを時間的に対応付けて出力するとともに、ラベルの指定を受付けるユーザインターフェイス部と、
    　指定されたラベルを前記制御対象から収集された情報に付加することで、前記モデルを構成するための学習データを生成する生成部とを備える、サポート装置。     A control including a control calculation unit that executes a control calculation for controlling a control target, and an abnormality detection unit that detects an abnormality in the control target by referring to a model based on information collected from the control target. A support device connected to the device
    An image acquisition unit that acquires images of things related to the target of anomaly detection, and
    A user interface unit that outputs the information collected from the controlled object and the captured image in a timely manner and accepts a label designation.
    A support device including a generation unit that generates learning data for constructing the model by adding a designated label to the information collected from the control target.
  10. 　制御対象から収集される情報に基づいて、モデルを参照して、前記制御対象における異常を検知する制御システムに向けられたラベル付与方法であって、
    　制御対象から収集される情報を取得するステップと、
    　異常検知の対象に関連するものを撮像した画像を取得するステップと、
    　前記制御対象から収集された情報と前記撮像された画像とを時間的に対応付けて出力するステップと、
    　ラベルの指定を受付けるステップと、
    　指定されたラベルを前記制御対象から収集された情報に付加することで、前記モデルを構成するための学習データを生成するステップとを備える、ラベル付与方法。     A labeling method directed to a control system that detects anomalies in the controlled object by referring to a model based on the information collected from the controlled object.
    Steps to get the information collected from the controlled object,
    The step of acquiring an image of something related to the target of anomaly detection, and
    A step of temporally associating the information collected from the controlled object with the captured image and outputting the image.
    Steps to accept label specifications and
    A labeling method comprising a step of generating training data for constructing the model by adding a designated label to the information collected from the controlled object.
PCT/JP2021/009572 2020-12-25 2021-03-10 Control system, support device, and labeling method WO2022137580A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020216403A JP2022101969A (en) 2020-12-25 2020-12-25 Control system, support device and label assignment method
JP2020-216403 2020-12-25

Publications (1)

Publication Number Publication Date
WO2022137580A1 true WO2022137580A1 (en) 2022-06-30

Family

ID=82157724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009572 WO2022137580A1 (en) 2020-12-25 2021-03-10 Control system, support device, and labeling method

Country Status (2)

Country Link
JP (1) JP2022101969A (en)
WO (1) WO2022137580A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6164020B2 (en) * 2013-10-02 2017-07-19 コニカミノルタ株式会社 Image forming apparatus and program
JP2020086481A (en) * 2018-11-15 2020-06-04 オムロン株式会社 Control system and control device
JP2020101904A (en) * 2018-12-20 2020-07-02 オムロン株式会社 Control device and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6164020B2 (en) * 2013-10-02 2017-07-19 コニカミノルタ株式会社 Image forming apparatus and program
JP2020086481A (en) * 2018-11-15 2020-06-04 オムロン株式会社 Control system and control device
JP2020101904A (en) * 2018-12-20 2020-07-02 オムロン株式会社 Control device and program

Also Published As

Publication number Publication date
JP2022101969A (en) 2022-07-07

Similar Documents

Publication Publication Date Title
JP6757385B2 (en) Programmable logic controller and main unit
JP6757386B2 (en) Programmable logic controller and program creation support device
JP6504190B2 (en) Control device and information processing method
CN109983412A (en) Control device, control program and control method
JP6903976B2 (en) Control system
JP6926539B2 (en) Controls and programs
CN108227641A (en) Control device, control method and computer readable storage medium
WO2022030041A1 (en) Prediction system, information processing device, and information processing program
JP2022016659A (en) Externally setting device, logging setting method and program
WO2021111936A1 (en) Prediction system, information processing device, and information processing program
JP2020067752A (en) Programmable logic controller system, program creation assisting device, and computer program
US12072685B2 (en) Data collection system and motor controller
CN112673326A (en) Control device and control program
WO2022137580A1 (en) Control system, support device, and labeling method
JP2020067751A (en) Programmable logic controller system, program creation assisting device, and computer program
JP2019159868A (en) Control system, controller and display device
JP6806946B2 (en) External setting devices and programs
JP6948450B2 (en) Programmable logic controller and main unit
JP6986125B2 (en) Programmable logic controller and main unit
JP7405714B2 (en) programmable logic controller
JP7412076B2 (en) Engineering tools for programmable logic controllers
WO2023053544A1 (en) Control system
WO2022181007A1 (en) Information processing device, information processing program, and information processing method
JP2023006304A (en) Control system, model generation method, and model generation program
JP2023151755A (en) Information processing device and information processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21909742

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21909742

Country of ref document: EP

Kind code of ref document: A1