WO2022039575A1 - 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법 - Google Patents

딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법 Download PDF

Info

Publication number
WO2022039575A1
WO2022039575A1 PCT/KR2021/011162 KR2021011162W WO2022039575A1 WO 2022039575 A1 WO2022039575 A1 WO 2022039575A1 KR 2021011162 W KR2021011162 W KR 2021011162W WO 2022039575 A1 WO2022039575 A1 WO 2022039575A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
real
feature
feature pattern
frame
Prior art date
Application number
PCT/KR2021/011162
Other languages
English (en)
French (fr)
Inventor
박정환
진홍석
진성일
Original Assignee
(주)리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리얼타임테크 filed Critical (주)리얼타임테크
Priority to US17/926,012 priority Critical patent/US20230177324A1/en
Priority to EP21858662.6A priority patent/EP4137901A4/en
Priority to JP2023504076A priority patent/JP2023540841A/ja
Priority claimed from KR1020210110188A external-priority patent/KR102543400B1/ko
Publication of WO2022039575A1 publication Critical patent/WO2022039575A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Definitions

  • the present invention relates to a deep learning-based real-time process monitoring system and method for monitoring the progress of a production process in real time through images, confirming the progress through object detection, and detecting abnormalities.
  • the technology to monitor a specific area or a specific target using video is being applied to various fields such as checking road conditions or applied to production facilities as well as security systems. It is used to check the status of an object in progress.
  • Republic of Korea Patent No. 10-2277162 relates to an industrial robot monitoring device and a method of driving the device, and in performing a designated task of the industrial robot, by analyzing the captured image by photographing the robot through a camera, the movement of the robot is controlled. Detect anomalies for
  • the present invention was created by the necessity as described above, and a deep learning-based real-time process monitoring system that monitors the progress of a process in real time using image recognition technology and detects anomalies using the state of an object extracted from an image, and its The purpose is to provide a method.
  • An object of the present invention is to provide a deep learning-based real-time process monitoring system and method for detecting an error trend and anomaly occurrence for an ongoing process by classifying the process using the extracted object pattern.
  • a deep learning-based real-time process monitoring system includes: a learning device for classifying and registering an object to be recognized during the process into a moving object, a state object and a vector object, and learning based on deep learning; and detecting features of the moving object, the state object, and the vector object from a real-time image acquired during a process based on the model learned by the learning device, and a real-time feature set from a set of extracted features a monitoring device for classifying a process by comparing the pattern with a pre-stored process feature pattern, detecting abnormalities in the process and the object, and monitoring the progress of the process; includes
  • the monitoring device may include: an image acquisition unit including a plurality of cameras installed in equipment performing a process; an object detection unit that classifies the object included in the process into the moving object, the state object, and the vector object, and detects a feature of the object from a real-time image; a process classification unit that analyzes the detected features of the object on a frame-by-frame basis to detect the real-time feature pattern, compares it with the process feature pattern, and classifies the process according to the degree of similarity; and an anomaly detection unit configured to detect anomalies from the real-time feature pattern and the feature of the object.
  • the object detection unit analyzes an image for the moving object frame by frame to obtain a difference between a frame at a first time and a frame at a second time, detects a change in the object included in each frame, and calculates expansion and proliferation It is characterized in that the post-processing is carried out.
  • the object detection unit performs outline detection and grouping on the post-processed frame, and deletes or integrates duplicate boxes for boxes created through grouping and expands the box, It is characterized in that the shape of each image is determined using an AI image classification neural network to extract a feature for the moving object.
  • the process classification unit compares the real-time feature pattern with the process feature pattern, analyzes the similarity, and classifies the process into the process feature pattern having the highest similarity.
  • the process classification unit performs a matching operation by analyzing the pattern in a branch method for the process feature pattern and the real-time feature pattern, and performs parallel processing by sliding a plurality of process feature patterns in advance during process classification, The real-time feature pattern extracted for each frame is compared with the plurality of process feature patterns.
  • the process classification unit sets each feature set for the moving object, the state object, and the vector object in which the feature is detected from the frame at timestamp t, and compares the preset process feature set with the real-time feature set obtained in real time to calculate the loss function, and calculate the loss value through the time series loss function according to the loss value calculated through the loss function for the feature set of each frame for a plurality of frames and the number of timestamps for the plurality of frames characterized.
  • the process classification unit sets a start inspection section and an end inspection section for the process feature pattern based on the data on the start and end times of the process, and performs the real-time feature pattern and loss inspection for each quarter of the real-time image, When the loss value calculated between each feature set for the start inspection period or the end inspection period and the feature set of the real-time feature pattern is less than a second threshold value, it is determined that the process starts or ends.
  • the anomaly detection unit calculates a loss value by comparing a plurality of features extracted corresponding to a plurality of objects with pre-stored data, and the size and change of the loss value for the plurality of objects over time, and the loss value is a constant value It is characterized in that the abnormality of any one object is detected according to the time maintained in the abnormal state.
  • the abnormality detection unit excludes from the abnormality determination when the similarity between the real-time feature pattern and the process feature pattern is less than or equal to a predetermined value.
  • the operating method of the deep learning-based real-time process monitoring system of the present invention includes the steps of classifying and registering objects to be recognized during the process into moving objects, state objects and vector objects, and learning based on deep learning through test operation of the process; detecting features of the moving object, the state object, and the vector object from a real-time image acquired during a process based on the learned data; classifying the process by comparing a real-time feature pattern set from a set of extracted features with a pre-stored process feature pattern; detecting an abnormality by judging the progress state of the feature and the process with respect to the object; and storing data on the progress of the process.
  • the detecting of the feature may include: tracking and detecting the moving object by mapping the inter-frame object detection result of the real-time image through tracking; analyzing the real-time image on a frame-by-frame basis to obtain a difference between a frame at a first time and a frame at a second time, detecting a change in the object included in each frame, and post-processing through expansion and proliferation operations; performing outline detection and grouping on the post-processed frame; Deleting or integrating duplicate boxes with respect to the boxes created through grouping and expanding the boxes; and extracting features of the moving object by determining the shape of each image of the box using an AI image classification neural network.
  • the step of classifying the process may include: setting each feature set for the moving object, the state object, and the vector object in which a feature is detected from a frame at timestamp t of the real-time image; calculating a loss function by comparing a preset process feature set with a feature set acquired in real time; and calculating a time series loss function according to a loss function calculated by comparing feature sets of each frame with respect to a plurality of frames and the number of timestamps for the plurality of frames.
  • Classifying the process may include: setting a start inspection section and an end inspection section for the process feature pattern based on data on start and end time points of the process; performing the real-time feature pattern and loss inspection for each branch of the real-time image; determining that the process starts or ends when a loss value calculated between each feature set for the start inspection section or the end inspection section and the feature set of the real-time feature pattern is less than a second threshold value; further includes
  • the detecting of the anomaly may include calculating a loss value by comparing a plurality of features extracted corresponding to a plurality of objects with pre-stored data, and changing the size and time of the loss value for the plurality of objects, and the detecting an abnormality with respect to any one object according to a time during which the loss value is maintained in a state equal to or greater than a predetermined value; and excluding from the determination of abnormality even when it is determined that there is an abnormality in any one of the plurality of objects, when the similarity between the real-time feature pattern and the process feature pattern is equal to or less than a predetermined value; further includes
  • a deep learning-based real-time process monitoring system and method detects an object by analyzing a real-time image, extracts time-series changes of the detected object as a pattern, and a process actually performed through similarity analysis can be classified, process abnormalities can be detected, and process changes can be checked.
  • the present invention can classify a process and detect anomalies based on an image acquired through a camera even without communicating with equipment that controls the process progress.
  • the present invention can analyze the state of the object for each process and easily detect the object's abnormality.
  • the present invention can monitor a process by processing an image in real time with a small amount of resources, and has the effect of improving performance according to monitoring and detection of anomalies.
  • FIG. 1 is a diagram schematically illustrating the configuration of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating the configuration of the process monitoring device of FIG. 1 .
  • FIG. 3 is a flowchart illustrating an operation method of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • FIG. 4 is a diagram referenced for explaining object detection of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • FIG. 5 is a diagram referenced to explain a process classification process of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • FIG. 6 is a diagram referenced for explaining a loss function of a feature set in the process classification process of FIG. 5 .
  • FIG. 7 is a diagram referenced to explain a method of processing an image in units of frames in the process classification process of FIG. 5 .
  • FIG. 8 is a diagram referenced to explain a method of matching patterns in the process classification process of FIG. 5 .
  • FIG. 9 is a diagram referenced to explain a method for determining the start and end of a process of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • FIG. 10 is a graph illustrating a change in a loss value for each object over time in a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • FIG. 1 is a diagram schematically illustrating the configuration of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • the process monitoring system 100 of the present invention includes a monitoring device 30 , a learning device 20 , and a database (DB) 40 .
  • DB database
  • the process monitoring system 100 captures the progress of the manufacturing or production process through a plurality of cameras 50 installed in process equipment, etc., and transmits it to the monitoring device 30 or the learning device 20 .
  • the process monitoring system 100 is not connected to a process control device (not shown) that controls the manufacturing or production process, the process progress can be checked through the image, and the process progress state by analyzing the captured image monitoring, and detects anomalies in an object or anomalies in process progress.
  • the learning device 20 , the monitoring device 30 , and the database (DB) 40 communicate with each other and share data about the process, and store and manage the data in the database (DB) 40 .
  • the learning device 20 may be integrated into one device, or one device may be separated into a plurality.
  • the database (DB) 40 may be integrated into one device, or one device may be separated into a plurality.
  • the learning device 20 registers the object to be detected during the process in advance, generates learning data for object detection so that the object can be recognized through the process image of the equipment, and performs learning based on deep learning, which is the learning result.
  • the learning model is stored in the database (DB) 40 .
  • the learning apparatus 20 registers information on the position of the object and the state of the object for each process during the process, and learns it through a plurality of images. Also, the learning apparatus 20 extracts a pattern for an object for each process based on the image of the process and stores it in the database (DB) 40 .
  • DB database
  • Objects are objects to be recognized during processing, for example, nozzles, valves, gates, etc., and may be changed depending on the object being produced or manufactured.
  • the learning apparatus 20 classifies and registers an object from which a feature is to be extracted into a moving object, a state object, and a vector object.
  • Moving objects are moving objects such as nozzles and robot arms
  • state objects are objects that change state such as gates, traffic lights, and valves
  • vector objects are liquid streams, lasers, and object edges.
  • the learning apparatus 20 classifies various objects constituting the process into three types as above, and registers basic information such as an identification ID and a basic location (identification location) for classifying each object.
  • the learning apparatus 20 inputs the position and size of the object with respect to the moving object, inputs the position and size of the object of the first frame with respect to the state object, and inputs the type of state according to the object. Also, the learning apparatus 20 inputs information on a start point and an end point with respect to the vector object.
  • the learning device 20 records an image obtained during the trial operation when the equipment is trial operated for learning, and performs data generation and model learning for the object registered from the image.
  • the learning apparatus 20 detects and registers a process feature pattern for each process from an image of the process, based on the motion of an object that changes with time.
  • the learning apparatus 20 may register a pattern for a plurality of processes performed by one device, and may also register a pattern for a step of a process that is linked and operated in a plurality of devices.
  • the learning apparatus 20 may apply different AI learning models to the moving object, the state object, and the vector object.
  • the monitoring device 30 detects a feature of an object from an image captured while the process is in progress based on data stored in the database (DB) 40 through the learning device 20 to classify the process, and the process is normal. decide whether to proceed.
  • DB database
  • the monitoring device 30 extracts a pattern for the process, compares it with a previously registered pattern, and analyzes the similarity between the process feature pattern and the real-time feature pattern sensed in real time to identify the current process and classify the process. , to judge the progress of the process.
  • the monitoring device 30 classifies the currently ongoing process as a process matching the highest similarity according to the similarity analysis result.
  • the monitoring device 30 detects the abnormality of the object by comparing the extracted information with the previously registered data.
  • the monitoring device 30 extracts features of the object, determines the state of the object by comparing it with previously registered data, and detects anomalies based on a real-time feature pattern and the shape, size, location, state of the object, etc. .
  • the monitoring device 30 compares the degree of similarity with the degree of loss, and detects an abnormality in response to the loss value.
  • the monitoring device 30 records the change trend of the process or object based on the feature information and similarity analysis result for the detected object during the process, and generates data on whether or not an abnormality occurs in the database (DB) (40) and save it.
  • DB database
  • the learning device 20 and the monitoring device 30 include at least one processor and are provided with a memory or storage means for storing data.
  • the database (DB) 40 divides and stores information about the object registered by the learning device 20 into moving object data, state object data, and vector object data according to the type of object, and stores each learning model. do.
  • the database (DB) 40 stores a process feature pattern for a process in which each process is performed.
  • the database (DB) 40 stores data from the start of the process to the end of the process, the abnormal detection data for the process or object, and the analysis data for the change in the process.
  • the database (DB) 40 includes a mass storage means, creates an index for data stored in the mass storage means, and a processor for managing the data, the learning device 20 and the monitoring device 30 and communication means for transmitting and receiving data are provided.
  • the process monitoring system 100 may generate a report on the process monitoring result of the monitoring device 30 and transmit it to an external server (not shown) or a registered terminal (not shown). In addition, the process monitoring system 100 may output a warning when an abnormality is detected and transmit a notification according to the abnormal detection to the terminal.
  • FIG. 2 is a diagram schematically illustrating the configuration of the process monitoring device of FIG. 1 .
  • the monitoring device 30 includes an image acquisition unit 170 , an image processing unit 120 , an object detection unit 130 , a process classification unit 140 , an abnormality detection unit 150 , and a record management unit 160 . ), a data unit 183 , a communication unit 182 , an input/output unit 181 , and a control unit 110 for controlling overall operations.
  • the image acquisition unit 170 includes a plurality of cameras (171, 172).
  • the image acquisition unit 170 includes a first camera 171 and a second camera 172, and the number of cameras is not limited to the drawings and may increase according to the number of equipment in which the cameras are installed.
  • the plurality of cameras of the image acquisition unit 170 may be respectively installed as equipment or process units, and are fixedly installed at a designated location.
  • the first camera 171 is a camera for capturing RGB images, and in some cases, the second camera 172 may be a thermal imaging camera or an infrared camera.
  • the image processing unit 120 converts the image input from the image acquisition unit 170 into a predetermined format.
  • the image processing unit 120 removes noise included in the image and pre-processes the image.
  • the image processing unit 120 separates and processes the image in frame units.
  • the object detector 130 detects a feature of an object included in an image in units of frames.
  • the object detection unit 130 extracts object features from the moving object, the state object, and the vector object based on the learning model and object information stored in the database (DB) 40 , and classifies them by object.
  • DB database
  • the process classification unit 140 extracts a pattern for a change in a feature in a plurality of frames based on the feature of the object extracted by the object detection unit 130 .
  • the process classification unit 140 compares the previously registered pattern with the extracted pattern, calculates a similarity, and classifies the process by determining which process is currently in progress based on this. In addition, the process classification unit 140 separates the start and the end of the process.
  • the abnormality detection unit 150 detects an abnormality in the process by determining whether the determined process step is normally performed based on the degree of similarity of the pattern.
  • the abnormality detection unit 150 compares the detected object feature with the registered data, and detects the object abnormality according to the similarity and loss value of the feature.
  • the abnormality detection unit 150 applies an abnormality detection signal to the control unit 110 when an abnormality is detected.
  • the record management unit 160 stores data on the process from the start to the end of the process, and separately stores the abnormality detection data when the abnormality is detected by the abnormality detection unit 150 .
  • the control unit 110 shares data with the learning device 20 and the database (DB) 40 through the communication unit 182 .
  • the control unit 110 registers data input through the input/output unit 181 , and outputs the progress state of the process through the input/output unit 181 .
  • the control unit 110 outputs a warning through the input/output unit 181 in response to the abnormality detection signal, and transmits data on the abnormality detection to a designated terminal or server through the communication unit 182 .
  • the input/output unit 181 includes input means such as buttons, switches, and touchpads, and output means including at least one of a display, a speaker, and a lamp.
  • the data unit 183 stores data transmitted and received through the communication unit 182 , and stores data input and output through the input/output unit 181 .
  • the data unit 183 stores image data input through the image acquisition unit 170, data about the features of the detected object, and the process feature pattern, Save the data.
  • the data unit 183 is a storage means for storing data, and may include storage means such as flash memory, HDD, SSD, and the like, and a removable memory device may be connected thereto.
  • the communication unit 182 includes a plurality of communication modules, and transmits and receives data by wire or wirelessly.
  • the communication unit 182 stores data received from the database (DB) 40 in response to the control command of the control unit 110 in the data unit 183, and stores the data generated by the record management unit in the database (DB) 40 ) is sent to
  • FIG. 3 is a flowchart illustrating an operation method of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • the process monitoring system registers and learns the object of the process through the learning device 20 while the process is trial run, and monitors the actually operated process through the video through the monitoring device 30, Detect progress and abnormalities.
  • the learning apparatus 20 classifies and registers objects to be recognized in the process according to types (S310).
  • the learning apparatus 20 generates and learns a learning model in a different way depending on the type of the object to be recognized (S320).
  • the learning device 20 stores the learning data and the learning model in the database (DB) 40 .
  • the monitoring device 30 captures an image of the process progress through a plurality of cameras 50 and 170 (S340).
  • the monitoring device 30 detects a feature of an object from a real-time image by using the learning model (S350).
  • the monitoring device 30 detects a feature by classifying the object included in the image into a moving object, a state object, and a vector object.
  • the monitoring device 30 analyzes the image frame by frame, sets a feature set for features extracted for each frame, and detects a real-time feature pattern ( S360 ).
  • the monitoring device 30 compares the real-time feature pattern of the real-time image with the pre-classified process feature pattern, and analyzes the similarity (S370).
  • the monitoring device 30 matches the real-time feature pattern and the process feature pattern on a frame-by-frame basis, determines the current process according to the degree of similarity and loss, and classifies the process ( S380 ).
  • the monitoring device 30 compares the features of the object detected from the image with the previously registered data to detect abnormalities, and compares real-time feature patterns and process feature patterns to detect abnormalities in the progress of the process according to the trend of the difference. is detected (S390).
  • the monitoring device 30 When an abnormality is detected, the monitoring device 30 generates and stores data on the abnormality detection, and outputs a warning about the abnormality detection (S400).
  • the monitoring device 30 analyzes and records the change trend of the process (S410), and stores the data on the process in the database (DB) 40 (S420).
  • FIG. 4 is a diagram referenced for explaining object detection of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • the object detection unit 130 detects a feature of the object from the data pre-processed by the image processing unit 120 .
  • the object detection unit 130 detects a moving object, a state object, and a vector object, respectively.
  • the object detection unit 130 may use a different method depending on the object in order to improve processing performance and accuracy of detecting the object by processing the image.
  • the object detection unit 130 maps the detected moving object by comparing the position and shape type of the detected moving object feature with basic data including the movement start position and shape type of the moving object.
  • the object detection unit 130 tracks and detects a moving object by mapping an object detection result between frames of an image through tracking.
  • the object detection unit 130 performs noise removal and normalization processes on the frame f(n-m) before the change reference time m with respect to the detection target frame fn, respectively.
  • the object detection unit 130 obtains the difference between the two frames of the preprocessed frame pre(fn) of n time and the frame pre(f(nm)) of m previous time, and binarizes the difference (c n ).
  • the object detection unit 130 binarizes the difference c n as 1 when the value obtained by subtracting pre(f(nm)) from pre(fn) is greater than the set value, and 0 otherwise.
  • the object detection unit 130 performs post-processing by performing expansion and proliferation operations on the difference c n between frames.
  • the object detection unit 130 performs outline detection and grouping on the post-processed frame post(c n ), and boxes generated through grouping. Deletes or merges duplicate boxes, and performs the process of expanding boxes. For example, Non Maximum Suppression (NMS) and padding may be performed.
  • NMS Non Maximum Suppression
  • the object detection unit 130 crops the original image using each box b0, b1, and b2, and shapes each image using an AI image classification neural network. After judging, the results are derived. For example, the shape of the nozzle, arm, dispenser, etc. is divided and determined.
  • the object detection unit 130 extracts a feature of a moving object from a box generated based on an AI image classification neural network.
  • the AI image classification neural network has faster processing performance than the object detection neural network, has high image classification accuracy, and requires relatively little training data, so the processing load is reduced.
  • the object detection unit 130 detects a state object using an AI image classification neural network.
  • the object detection unit 130 detects a vector object using an AI line segment detection neural network. In order to detect a vector object, the object detection unit 130 performs noise suppression preprocessing and binary edge detection using computer vision to segment the line.
  • FIG. 5 is a diagram referenced to explain a process classification process of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • the process classification unit 140 automatically classifies the process based on the image.
  • the process classification unit 140 performs a feature detection process in real time for every frame of the image, and compares the real-time feature patterns obtained through the detection process with the process feature patterns of the pre-classified process to analyze the similarity.
  • the process classification unit 140 analyzes the feature pattern in a branch method and performs a matching operation.
  • the process classification unit 140 classifies the process into a process feature pattern having the highest similarity.
  • the process classification unit 140 compares all the patterns of the process classified for each frame, but performs parallel processing by sliding the pre-classified patterns in advance.
  • the process classification unit 140 improves performance by processing resources through parallel processing in a process classification process requiring many resources.
  • the process classification unit 140 may automatically perform process classification based on the start and end of the previously classified processes.
  • FIG. 6 is a diagram referenced for explaining a loss function of a feature set in the process classification process of FIG. 5 .
  • the process classification unit 140 classifies the process by extracting features of the object.
  • the process classification unit 140 selects a feature set or a real-time feature pattern Detect and classify processes according to similarity.
  • the process classification unit 140 configures a moving object feature among a plurality of features extracted from an image into one set to set a moving object feature set (MO set).
  • MO set moving object feature set
  • the process classification unit 140 includes a state object feature set (SO set) and a vector object feature composed of features for a status object and a vector object among a plurality of features extracted from the image.
  • SO set state object feature set
  • vector object feature composed of features for a status object and a vector object among a plurality of features extracted from the image.
  • the process classification unit 140 uses, as a detailed factor, coordinates, width, and height of a bounding box for each moving object MO as features.
  • Equation (1) A set in which the state of the moving object (MO) is defined is expressed by the following Equation (1).
  • (x, y) is the upper left reference coordinate of the target bounding box
  • w is the width of the target bounding box
  • h is the height.
  • the process classification unit 140 defines a state that a state object can have with respect to a status object (SO), and sets the number to k to classify the state object SO as in Equation 2 below. You can set defining sets.
  • k is the number of values that one state object can have.
  • k can be defined as 3 as 'open', 'closed', and 'don't know'.
  • the process classification unit 140 may define a vector object (VO) as a linear object having a direction, such as a water stream or a laser.
  • VO vector object
  • the process classification unit 140 sets the coefficient of points that the object can hold to V, determines V+2 equal intermediate points including the start point and the destination point, and uses it as a feature.
  • Equation 3 the set in which the state of the vector object VO is defined is as shown in Equation 3 below.
  • the difference between the objects can be calculated by using the set of moving objects, the set of state objects, and the set of vector objects defined in this way for the loss function.
  • the process classification unit 140 may compare the first object and the second object using the loss function, and may compare the first data of the first object and the second data of the first object using the loss function. .
  • the process classifying unit 140 may define a loss function with respect to the above-mentioned MOstate of the moving object as in Equation 4 below.
  • ⁇ coord and ⁇ shape are constants that give a penalty for each feature
  • B is the number of moving objects
  • attributes marked with hats (hat, ⁇ ) represent pre-classified data stored in the database (DB).
  • the loss function can be defined as in Equation 5 below.
  • S is the number of state objects (SO).
  • the loss function can be defined as in Equation 6 below.
  • the penalty for the starting point and the ending point is set to be twice that of other points.
  • the process classification unit 140 defines a loss function for a real-time monitoring situation in the process of monitoring an image acquired in real time through the image acquisition unit 170 while the process is in progress.
  • the process classification unit 140 performs a first moving object feature set (MO set) 81a for a first moving object stored in the database at timestamp t and a second movement for the first moving object extracted in real time.
  • An object feature set (MO set) 91a is compared using a loss function and used as a criterion for process classification.
  • the abnormality detection unit 150 detects an abnormality in the process by calculating a difference for the moving object through the result value of the loss function.
  • the database (DB) 40 stores moving object features, state object features, and vector object features in which features are detected from frames at timestamp t for each process.
  • the database (DB) 40 stores a moving object feature set set as a set of these moving object features, a state object feature set set as a set of state object features, and a vector object feature set set as a set of vector object features.
  • the database (DB) 40 stores a set of process features including a set of moving object features, a set of state object features, and a set of vector object features for each time stamp.
  • the process classification unit 140 acquires object-specific, moving object features, state object features, and vector object features, and a set of moving object features as a set of features; Set the state object feature set and the vector object feature set respectively.
  • the process classification unit 140 sets a real-time feature set including a moving object feature set, a state object feature set, and a vector object feature set set in real time for each timestamp.
  • the process classification unit 140 includes a first process feature set 81 including MO set 81a, SO set, and VO set at timestamp t, and MO set 91a, SO set, VO at timestamp t. Calculate the loss between the first real-time feature set 91 including the set.
  • the process classification unit 140 includes a first process feature set 81 including MO set 81a, SO set, and VO set at timestamp t, and MO set 91a, SO set, VO at timestamp t. Calculate the loss between the first real-time feature set 91 including the set.
  • the process classification unit 140 calculates a loss between the second process feature set 82 and the second real-time feature set 92 at timestamp t+1, and the third process at timestamp t+2.
  • the loss between the feature set 83 and the third real-time feature set 93 is calculated.
  • the loss between the process feature set at timestamp t and the real-time feature set extracted from the real-time frame can be defined as in Equation 7 below.
  • ⁇ MO , ⁇ SO , and ⁇ VO are coefficients used to equalize the effects of moving objects (MO), state objects (SO), and vector objects (VO).
  • the process classification unit 140 calculates a loss function LOSS frame (t) between the real-time feature set 81 and the process feature set 91 extracted from the t frame during real-time monitoring so that the t frame is similar at the t time of the specific process. It can be used as a measure of
  • process classification unit 140 for (es) timestamps from timestamps s to e real-time feature sets 90 of each real-time frame and process features stored in the database (DB) 40 .
  • a process of calculating the loss between the sets 80, summing them up, and dividing by the number of timestamps can be defined as a time series loss function as shown in Equation 8 below.
  • the process classification unit 140 may determine which process and range are most similar to a specific range (s to e) during real-time monitoring using a time series loss function.
  • the process classification unit 140 sets a real-time feature pattern from the real-time feature sets 90 of each real-time frame for (es) timestamps from timestamps s to e, and stores it in the database (DB) 40 . It is compared with the process feature pattern composed of the stored process feature sets 80 .
  • FIG. 7 is a diagram referenced to explain a method of processing an image in units of frames in the process classification process of FIG. 5 .
  • the process classification unit 140 uses the process feature pattern Pn for pattern matching by comparing it with the real-time feature pattern extracted from the real-time image frame.
  • the process classification unit 140 performs a pattern matching operation between the previously classified process feature patterns Pn and the real-time feature patterns extracted from the real-time image. At this time, a new branch (Bn) is started for each frame (Fn) of the real-time image, and frames Fn, Fn+1, ... , Fn+m constitutes one branch.
  • the process classification unit 140 compares the branches Bn configured in the above manner with each of the previously classified process feature patterns Pn, calculates a loss, calculates a similarity, and classifies the process.
  • FIG. 8 is a diagram referenced to explain a method of matching patterns in the process classification process of FIG. 5 .
  • the process classification unit 140 performs a matching operation by comparing the real-time feature pattern of the branches for each frame described above with the process feature patterns.
  • the process classification unit 140 compares the real-time feature set for each frame of each branch with the process feature set of the corresponding process feature pattern based on the timestamp and similarity through loss calculation, and the loss calculation method is LOSS frame (t, p, b) can be calculated.
  • the process classification unit 140 may calculate the quarterly time series loss function according to Equation 9 below.
  • LOSS time (s, e, p, b) in Equation 9 is a time series loss function for each branch in the range from time s to time e of branch b.
  • the process classification unit 140 branches to the process feature pattern of process p corresponding to the timestamp [s, e] section and the timestamp t (s ⁇ t ⁇ e). It is determined that the real-time feature pattern of b is similar.
  • FIG. 9 is a diagram referenced to explain a method for determining the start and end of a process of a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • the process classification unit 140 determines the start and end of the process.
  • the process classification unit 140 selects a start inspection section (SR) and an end inspection section (ER) from the process feature pattern, and performs a quarterly real-time feature pattern and loss inspection of the real-time image.
  • SR start inspection section
  • ER end inspection section
  • the process classification unit 140 compares the feature sets FT1-FT3 (FT9, FT10) corresponding to the start inspection period or the end inspection period of the process P1 and the feature sets detected in the real-time frame.
  • the time when the loss value becomes smaller than T (threshold) by calculating the loss is determined as the start or end of the process.
  • SR Start Range
  • SRP Start Range Proportion
  • ER End Range
  • ERP End Range Proportion
  • t the time function to obtain the timestamp
  • t(Pn) the process of the nth classification process (Pn) It's the whole time.
  • the process classification unit 140 When the loss value of the corresponding branch is out of a specific threshold, the process classification unit 140 considers that it does not match the processes stored in the database and deletes the branch at that point in time, matching operation for resource and performance efficiency Do not allow this to proceed further.
  • the process classification unit 140 additionally performs a task of finding a time point at which a loss is minimized as well as comparing a threshold value when calculating a loss in order to determine an accurate process start and end time. Even if the process classification unit 140 finds a time point with a loss smaller than the threshold, it does not immediately determine the start and end of the process, but finds a local minimum at which the loss value thereafter becomes the minimum. .
  • the process classification unit 140 sets the start time and the end time of the process through this process. It is possible to solve the problem that the error of the comparison result becomes large.
  • FIG. 10 is a graph illustrating a change in a loss value for each object over time in a deep learning-based real-time process monitoring system according to an embodiment of the present invention.
  • the abnormality detection unit 150 determines whether a corresponding process is normally performed in the process classification process of the process classification unit 140 described above.
  • the anomaly detection unit 150 detects anomalies based on a loss value calculated through a loss function by comparing the process feature pattern with the real-time feature pattern.
  • the abnormality detection unit 150 determines whether the detected object feature corresponds to the object state of the process according to the result value of the loss function and detects the abnormality.
  • the abnormality detection unit 150 may determine an abnormality of a specific object based on loss values for a plurality of objects.
  • the abnormality detection unit 150 determines an abnormality according to the time when the loss value appears high.
  • the abnormality detection unit 150 determines that when the loss value of the object appears to be higher than a certain value, when the time at which the loss value appears high is equal to or longer than a set time, it is determined as abnormal. Even if the loss value of the object appears to be higher than a predetermined value, the abnormality detection unit 150 excludes it from the abnormal determination if it decreases to a predetermined value or less within a set time.
  • the abnormality detection unit 150 excludes from the abnormality determination when the loss value of another object appears similarly even if the loss value of one object is high. In addition, even if the loss value of one object appears large, the abnormality detection unit 150 excludes from the abnormality determination when the similarity with the process feature pattern to be compared is low below a predetermined value.
  • the abnormality detection unit 150 changes in a form different from the change in the average loss value of other objects, such as the second object L2, and between t2 and t4 and t5. If the state above the threshold is maintained until the time of , an abnormality is detected.
  • the abnormality detection unit 150 excludes from the abnormality determination when the degree of similarity with the currently compared process is lower than a predetermined value.
  • the record management unit 160 provides data to visually confirm the detected abnormality.
  • the record management unit 160 stores the loss of features from all single objects, analyzes the change in the entire process, and visualizes the data.
  • the record management unit 160 stores data on the process in progress, and stores the feature pattern of the object detection unit 130, the classification process of the process classification unit 140, and the abnormal detection data of the abnormality detection unit 150 into the data unit ( 183), and the data is saved by analyzing the change trend over time.
  • the record management unit 160 calls the preset data and the measured data from the database 40 and compares them with real-time data, and when the process is completed, the data for the completed process is stored in the database (DB) 40 . do.
  • the control unit 110 may output the generated data through the input/output unit 181 . Also, the control unit 110 may transmit result data according to the process monitoring to an external server or a designated terminal through the communication unit 182 .
  • the present invention it is possible to determine whether the progress of the process is normal while detecting the progress of the process through a real-time image, and detect whether an object is abnormal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법에 관한 것으로, 공정에서 인식할 객체를 등록하여 학습하고, 학습된 모델을 기반으로 객체를 이동 객체, 상태 객체, 벡터 객체로 구분하여, 실시간 영상으로부터 객체에 대한 피처를 검출하고, 상기 피처에 따라 실제 진행되는 공정을 분류하여 공정의 진행상태를 감시함으로써 용이하게 공정 또는 객체의 이상을 검출할 수 있고 적은 리소스로 실시간 영상을 처리하여 공정 감시 및 이상 검출에 대한 성능을 향상시키는 효과가 있다.

Description

딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
본 발명은 생산 공정의 진행과정을 영상을 통해 실시간으로 감시하여, 객체 검출을 통해 진행상태를 확인하고 이상을 검출하는 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법에 관한 것이다.
영상을 이용하여 특정 지역이나 특정 대상을 감시하는 기술은 보안시스템뿐 아니라, 도로 상황을 확인하거나 생산 설비 등에 적용되는 등 다양한 분야에 적용되고 있으며, 생산 공정에 도입되어 공정의 진행 과정을 모니터링하고 공정 진행 중의 대상물의 상태를 확인하는데 활용되고 있다.
대한민국 등록특허 10-2277162호는 산업 로봇 감시장치 및 그 장치의 구동방법에 관한 것으로, 산업 로봇의 지정된 작업을 수행하는데 있어서, 카메라를 통해 로봇을 촬영하여 촬영된 영상을 분석함으로써, 로봇의 움직임에 대한 이상을 검출한다.
그러나 이러한 방식은 로봇의 움직임이 상이한 경우 그에 대한 이상을 검출할 수는 있으나, 공정의 단계를 분류하는 것은 아니므로 공정 내에서 동일한 작업이 반복되는 경우 해당 영상이 어떤 공정에 해당되는지 확인할 수 없는 문제가 있다.
또한, 공전 전반을 감시하고 각 공정을 구분하기 위해서는 대규모 영상 스트림을 실시간으로 처리해야 하는데, 영상 처리에 많은 리소스가 소모되므로 적용하는데 어려움이 있다.
그에 따라 고정된 카메라를 통해 지속적으로 획득되는 영상을 이용하여 공정 과정을 감시하는데 있어서, 스트리밍 영상에 대한 처리 성능 및 정확도를 개선하여 공정을 효과적으로 감시하는 방안이 필요하다.
본 발명은 상기와 같은 필요성에 의해 창출된 것으로서, 영상 인식 기술을 이용하여 공정의 진행을 실시간으로 감시하여 영상으로부터 추출되는 객체의 상태를 이용하여 이상을 검출하는 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명은 추출되는 객체의 패턴을 이용하여 공정을 분류함으로써 진행중인 공정에 대한 오차 추이와 이상 발생을 감지하는 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명에 따른 딥 러닝 기반 실시간 공정 감시 시스템은, 공정 중 인식할 객체를 이동 객체, 상태 객체 및 벡터 객체로 구분하여 등록하여 딥러닝 기반으로 학습하는 학습장치; 및 상기 학습장치에 의해 학습된 모델을 바탕으로 공정이 진행되는 중에 획득된 실시간 영상으로부터, 상기 이동 객체, 상기 상태 객체 및 상기 벡터 객체에 대한 피처를 검출하고, 추출되는 피처들의 집합으로부터 설정된 실시간 피처 패턴을 기 저장된 공정 피처 패턴과 비교하여 공정을 분류하며, 상기 공정 및 상기 객체에 대한 이상을 검출하여 상기 공정의 진행상태를 감시하는 감시장치; 를 포함한다.
상기 감시장치는, 공정을 진행하는 장비에 설치되는 복수의 카메라를 포함하는 영상획득부; 상기 공정에 포함된 객체를 상기 이동 객체, 상기 상태 객체 및 상기 벡터 객체로 구분하고, 실시간 영상으로부터 객체의 피처를 검출하는 객체검출부; 검출된 상기 객체의 피처를 프레임 단위로 분석하여 상기 실시간 피처 패턴을 검출하고 상기 공정 피처 패턴과 비교하여 유사도에 따라 공정을 분류하는 공정분류부; 및 상기 실시간 피처 패턴과 상기 객체의 피처로부터 이상을 검출하는 이상검출부; 를 포함한다.
상기 객체검출부는 상기 이동 객체에 대하여, 영상을 프레임 단위로 분석하여 제 1 시간의 프레임과 제 2 시간의 프레임의 차이를 획득하고 각 프레임에 포함된 상기 객체의 변화를 검출하고, 팽창 및 증식 연산 수행하여 후처리하는 것을 특징으로 한다.
상기 객체검출부는 후처리된 프레임에 대하여 외곽선 검출 및 그룹핑(Grouping)을 수행하고, 그룹핑을 통해 생성된 박스(Box)들에 대하여 중복된 박스를 삭제하거나 통합하고 박스를 확장하는 과정을 수행하며, 각 이미지들을 AI 이미지 분류 신경망을 이용하여 형상을 판단하여 상기 이동 객체에 대한 피처를 추출하는 것을 특징으로 한다.
상기 공정분류부는 상기 실시간 피처 패턴과, 상기 공정 피처 패턴을 비교하여 유사도를 분석하고, 유사도가 가장 높은 공정 피처 패턴으로 공정을 분류하는 것을 특징으로 한다.
상기 공정분류부는 상기 공정 피처 패턴과 상기 실시간 피처 패턴에 대하여, 분기(Branch) 방식으로 패턴을 분석하여 매칭 작업을 수행하며, 공정을 분류 중, 복수의 공정 피처 패턴을 미리 슬라이딩 시켜 병렬 처리하여, 각 프레임 마다 추출되는 상기 실시간 피처 패턴을 상기 복수의 공정 피처 패턴과 모두 비교하는 것을 특징으로 한다.
상기 공정분류부는 타임스탬프 t 에서의 프레임으로부터 피처를 검출한 상기 이동 객체, 상기 상태 객체, 벡터 객체에 대한 각각의 피처 셋을 설정하고, 기 설정된 공정 피처 셋과 실시간으로 획득되는 실시간 피처 셋을 비교하여 손실함수를 연산하고, 복수의 프레임에 대하여 각 프레임의 피처 셋을 손실함수를 통해 산출되는 손실값과 상기 복수의 프레임에 대한 타임스탬프의 수에 따라 시계열 손실함수를 통해 손실값을 산출하는 것을 특징으로 한다.
상기 공정분류부는 공정의 시작과 종료 시점에 대한 데이터를 바탕으로, 상기 공정 피처 패턴에 대한 시작 검사 구간과 종료 검사 구간을 설정하고, 실시간 영상의 분기 별 상기 실시간 피처 패턴과 손실 검사를 수행하여, 상기 시작 검사 구간 또는 상기 종료 검사 구간에 대한 각 피처 셋과, 상기 실시간 피처 패턴의 피처 셋 간에 연산되는 손실값이 제 2 임계값보다 작으면 공정이 시작되거나 종료되는 것으로 판단하는 것을 특징으로 한다.
상기 이상검출부는 복수의 객체에 대응하여 추출된 복수의 피처를 기 저장된 데이터와 비교하여 손실값을 산출하고, 상기 복수의 객체에 대한 손실값의 크기와 시간에 따른 변화, 상기 손실값이 일정값 이상인 상태로 유지되는 시간에 따라 어느 하나의 객체에 대한 이상을 검출하는 것을 특징으로 한다.
상기 이상검출부는 복수의 객체 중 어느 하나에 이상이 있다고 판단되는 경우에도, 상기 실시간 피처 패턴과 상기 공정 피처 패턴과의 유사도가 일정값 이하인 경우 이상 판단에서 제외하는 것을 특징으로 한다.
본 발명의 딥 러닝 기반 실시간 공정 감시 시스템의 동작방법은, 공정의 시험운영을 통해, 공정 중 인식할 객체를 이동 객체, 상태 객체 및 벡터 객체로 구분하여 등록하고 딥러닝 기반으로 학습하는 단계; 학습된 데이터를 바탕으로, 공정이 진행되는 중에 획득된 실시간 영상으로부터 상기 이동 객체, 상기 상태 객체 및 상기 벡터 객체에 대한 피처를 검출하는 단계; 추출되는 피처들의 집합으로부터 설정된 실시간 피처 패턴을 기 저장된 공정 피처 패턴과 비교하여 공정을 분류하는 단계; 상기 객체에 대한 상기 피처와 공정의 진행상태를 판단하여 이상을 검출하는 단계; 및 상기 공정의 진행상태에 대한 데이터를 저장하는 단계; 를 포함한다.
상기 피처를 검출하는 단계는, 상기 실시간 영상의 프레임 간 객체 탐지 결과를 트래킹(Tracking)을 통해 매핑하여 상기 이동 객체를 추적 및 탐지하는 단계; 상기 실시간 영상을 프레임 단위로 분석하여 제 1 시간의 프레임과 제 2 시간의 프레임의 차이를 획득하고 각 프레임에 포함된 상기 객체의 변화를 검출하여 팽창 및 증식 연산을 통해 후처리하는 단계; 후처리된 프레임에 대하여 외곽선 검출 및 그룹핑(Grouping)을 수행하는 단계; 그룹핑을 통해 생성된 박스(Box)들에 대하여 중복된 박스를 삭제하거나 통합하고 박스를 확장하는 단계; 및 상기 박스의 각 이미지들을 AI 이미지 분류 신경망을 이용하여 형상을 판단하여 상기 이동 객체에 대한 피처를 추출하는 단계; 를 더 포함한다.
상기 공정을 분류하는 단계는, 상기 실시간 영상의 타임스탬프 t 에서의 프레임으로부터 피처를 검출한 상기 이동 객체, 상기 상태 객체, 벡터 객체에 대한 각각의 피처 셋을 설정하는 단계; 기 설정된 공정 피처 셋과 실시간으로 획득되는 피처 셋을 비교하여 손실함수를 연산하는 단계; 및 복수의 프레임에 대하여 각 프레임의 피처 셋을 비교하여 산출되는 손실함수와 상기 복수의 프레임에 대한 타임스탬프의 수에 따라 시계열 손실함수를 연산하는 단계; 를 더 포함한다.
상기 공정을 분류하는 단계는, 공정의 시작과 종료 시점에 대한 데이터를 바탕으로, 상기 공정 피처 패턴에 대한 시작 검사 구간과 종료 검사 구간을 설정하는 단계; 상기 실시간 영상의 분기 별 상기 실시간 피처 패턴과 손실 검사를 수행하는 단계; 상기 시작 검사 구간 또는 상기 종료 검사 구간에 대한 각 피처 셋과, 상기 실시간 피처 패턴의 피처 셋 간에 연산되는 손실값이 제 2 임계값보다 작으면 공정이 시작되거나 종료되는 것으로 판단하는 단계; 를 더 포함한다.
상기 이상을 검출하는 단계는, 복수의 객체에 대응하여 추출된 복수의 피처를 기 저장된 데이터와 비교하여 각 손실값을 산출하고, 상기 복수의 객체에 대한 손실값의 크기와 시간에 따른 변화, 상기 손실값이 일정값 이상인 상태로 유지되는 시간에 따라 어느 하나의 객체에 대한 이상을 검출하는 단계; 및 복수의 객체 중 어느 하나에 이상이 있다고 판단되는 경우에도, 상기 실시간 피처 패턴과 상기 공정 피처 패턴과의 유사도가 일정값 이하인 경우 이상 판단에서 제외하는 단계; 를 더 포함한다.
일 측면에 따르면 본 발명에 따른 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법은, 실시간 영상을 분석하여 객체를 검출하고, 검출되는 객체의 시계열적 변화를 패턴으로 추출하여 유사도 분석을 통해 실제 진행되는 공정을 분류하고, 공정의 이상을 검출하며, 공정의 변화추이를 확인할 수 있다.
본 발명은 공정의 진행을 제어하는 장비와 통신하지 않더라도 카메라를 통해 획득되는 영상을 기반으로 공정을 분류하고 이상을 검출할 수 있다.
본 발명은 공정 별 객체의 상태를 분석하고 객체의 이상을 용이하게 검출할 수 있다.
본 발명은 적은 리소스로 실시간으로 영상을 처리하여 공정을 감시할 수 있고, 감시 및 이상 감지에 따른 성능을 향상시키는 효과가 있다.
도 1 은 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 구성이 간략하게 도시된 도이다.
도 2 는 도 1의 공정감시장치의 구성이 간략하게 도시된 도이다.
도 3 은 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 동작방법이 도시된 순서도이다.
도 4 는 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 객체 검출을 설명하는데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 공정 분류 과정을 설명하는데 참조되는 도이다.
도 6 은 도 5의 공정 분류 과정에서 피처 셋의 손실함수를 설명하는데 참조되는 도이다.
도 7 은 도 5의 공정 분류 과정에서 프레임 단위로 영상을 처리하는 방법을 설명하는데 참조되는 도이다.
도 8 은 도 5의 공정 분류 과정에서 패턴을 매칭하는 방법을 설명하는데 참조되는 도이다.
도 9 는 본 발명의 일실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 공정의 시작과 끝을 판단하는 방법을 설명하는데 참조되는 도이다.
도 10 은 본 발명의 일실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 시간에 따른 객체별 손실값의 변화가 도시된 그래프이다.
이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 구성이 간략하게 도시된 도이다.
도 1에 도시된 바와 같이, 본 발명의 공정 감시 시스템(100)은 감시장치(30), 학습장치(20), 그리고 데이터베이스(DB)(40)를 포함한다.
공정 감시 시스템(100)은 공정 설비 등에 설치되는 복수의 카메라(50)를 통해 제조 또는 생산 공정의 진행 상황을 촬영하여 감시장치(30) 또는 학습장치(20)로 전송한다.
공정 감시 시스템(100)은, 제조 또는 생산 공정을 제어하는 공정 제어장치(미도시)와 연결되지 않더라도, 영상을 통해 공정이 진행되는 과정을 확인할 수 있고, 촬영한 영상을 분석하여 공정의 진행상태를 모니터링 하고, 객체의 이상 또는 공정 진행에 따른 이상을 검출한다.
학습장치(20), 감시장치(30) 및 데이터베이스(DB)(40)는 상호 통신하며 공정에 대한 데이터를 공유하고, 데이터를 데이터베이스(DB)(40)에 저장하여 관리한다.
공정 감시 시스템(100)은 학습장치(20), 감시장치(30) 및 데이터베이스(DB)(40)가 하나의 장치로 통합될 수 있고, 또는 하나의 장치가 복수로 분리될 수 있다.
학습장치(20)는 공정 진행중에 검출할 객체를 사전에 등록하고, 장비의 공정 영상을 통해 객체를 인식할 수 있도록 객체 검출을 위한 학습데이터를 생성하고 딥러닝 기반으로 학습을 수행하여 학습 결과인 학습 모델을 데이터베이스(DB)(40)에 저장한다.
학습장치(20)는 공정 중에 객체의 위치와 공정별 객체의 상태에 대한 정보를 등록하고, 복수의 영상을 통해 이를 학습한다. 또한, 학습장치(20)는 공정에 대한 영상을 기반으로, 공정 별로 객체에 대한 패턴을 추출하여 데이터베이스(DB)(40)에 저장한다.
객체는 공정 중에 인식할 대상으로 예를 들어, 노즐, 밸브, 게이트 등이며 생산 또는 제조되는 대상에 따라 변경될 수 있다.
학습장치(20)는 피처를 추출할 대상인 객체를 이동 객체, 상태 객체, 및 벡터 객체로 구분하여 등록한다.
이동 객체는 노즐, 로봇 팔과 같이 움직이는 객체이고, 상태 객체는 게이트, 신호등, 밸브와 같이 상태가 바뀌는 객체이며, 벡터 객체는 액체 줄기, 레이저, 객체의 테두리 등이다.
학습장치(20)는 공정을 구성하는 여러 객체들을 위와 같이 3가지 종류로 구분하고, 각 객체를 구분하기 위한 식별 ID, 기본 위치(식별 위치) 등의 기초 정보들을 등록한다.
학습장치(20)는 이동 객체에 대하여 객체의 위치와 크기를 입력하고, 상태 객체에 대하여 첫 프레임의 객체의 위치와 크기를 입력하며, 객체에 따른 상태의 종류를 입력한다. 또한, 학습장치(20)는 벡터 객체에 대하여, 시작점과 종료점에 대한 정보를 입력한다.
학습장치(20)는 학습을 위해 장비가 시험 가동되면, 시험 가동 중에 획득되는 영상을 기록하여, 영상으로부터 등록된 객체에 대하여 데이터 생성과 모델 학습을 진행한다.
학습장치(20)는 공정에 대한 영상으로부터, 시간에 따라 변화하는 객체의 동작을 기반으로 공정 별로 공정 피처 패턴을 검출하여 등록한다.
학습장치(20)는 하나의 장비에서 수행되는 복수의 공정에 대한 패턴을 등록할 수 있고, 또한, 복수의 장비에서 연계되어 동작하는 공정의 단계에 대한 패턴을 등록할 수 있다.
학습장치(20)는 이동 객체, 상태 객체, 벡터 객체에 대하여 각각 다른 인공지능 학습모델을 적용할 수 있다.
감시장치(30)는 학습장치(20)를 통해 데이터베이스(DB)(40)에 저장된 데이터를 바탕으로, 공정이 진행되는 중에 촬영되는 영상으로부터 객체에 대한 피처를 검출하여 공정을 분류하고 공정이 정상 진행되는지 여부를 판단한다.
감시장치(30)는 공정에 대한 패턴을 추출하여 기 등록된 패턴과 비교하여 공정 피처 패턴과 실시간으로 감지되는 실시간 피처 패턴의 유사도를 분석함으로써 현재 진행되는 공정이 어떤 공정인지 확인하여 공정을 분류하고, 공정의 진행 상태를 판단한다.
감시장치(30)는 유사도 분석 결과에 따라 가장 높은 유사도로 매칭되는 공정으로 현재 진행중인 공정을 분류한다.
감시장치(30)는 추출된 정보와 기 등록된 데이터를 비교하여 객체의 이상을 검출한다.
감시장치(30)는 객체에 대한 피처를 추출하고 기 등록된 데이터와 비교하여 객체의 상태를 판단하고, 실시간 피처 패턴과 객체의 형상, 크기, 위치, 객체의 상태 등을 바탕으로 이상을 검출한다.
감시장치(30)는 유사도와 손실의 정도를 비교하고, 손실값에 대응하여 이상을 검출한다.
또한, 감시장치(30)는 공정 중, 검출된 객체에 대한, 피처 정보와 유사도 분석결과를 바탕으로 공정이나 객체에 대한 변화 추이를 기록하고, 이상 발생 여부에 대한 데이터를 생성하여 데이터베이스(DB)(40)에 저장한다.
학습장치(20) 및 감시장치(30)는 적어도 하나의 프로세서(processor)를 포함하고, 데이터를 저장하는 메모리 또는 저장수단이 구비된다.
데이터베이스(DB)(40)는 학습장치(20)에 의해 등록되는 객체에 대한 정보를 객체의 종류에 따라 이동 객체 데이터, 상태 객체 데이터, 벡터 객체 데이터로 구분하여 저장하고, 각각의 학습모델을 저장한다.
데이터베이스(DB)(40)는 각 공정이 진행되는 과정에 대한 공정 피처 패턴을 저장한다.
데이터베이스(DB)(40)는 공정이 시작되어 종료되기까지의 데이터, 공정 또는 객체에 대한 이상 검출 데이터, 공정의 변화에 대한 분석데이터를 저장한다.
또한, 데이터베이스(DB)(40)는 대용량 저장수단을 포함하고, 대용량 저장수단에 저장되는 데이터에 대한 인덱스를 생성하고, 데이터를 관리하기 위한 프로세서와, 학습장치(20) 및 감시장치(30)와 데이터를 송수신하기 위한 통신수단이 구비된다.
공정 감시 시스템(100)은 감시장치(30)의 공정 감시 결과에 대한 리포트를 생성하여 외부의 서버(미도시) 또는 등록된 단말(미도시)로 전송할 수 있다. 또한, 공정 감시 시스템(100)은 이상 검출 시 경고를 출력하고, 이상 검출에 따른 알림을 단말로 전송할 수 있다.
도 2 는 도 1의 공정감시장치의 구성이 간략하게 도시된 도이다.
도 2에 도시된 바와 같이, 감시장치(30)는 영상획득부(170), 영상처리부(120), 객체검출부(130), 공정분류부(140), 이상검출부(150), 기록관리부(160), 데이터부(183), 통신부(182), 입출력부(181), 그리고 동작 전반을 제어하는 제어부(110)를 포함한다.
영상획득부(170)는 복수의 카메라(171, 172)를 포함한다.
영상획득부(170)는 제 1 카메라(171), 제 2 카메라(172)를 포함하며, 카메라의 수는 도면에 한정되지 않고 카메라가 설치되는 장비의 수에 따라 증가할 수 있다. 영상획득부(170)의 복수의 카메라는 장비 또는 공정 단위로 각각 설치될 수 있고, 지정 위치에 고정되어 설치된다.
제 1 카메라(171)는 RGB영상을 촬영하는 카메라이고, 경우에 따라, 제 2 카메라(172)는 열화상카메라 또는 적외선카메라가 사용될 수 있다.
영상처리부(120)는 영상획득부(170)로부터 입력되는 영상을 일정 포맷으로 변환한다. 영상처리부(120)는 영상에 포함된 노이즈를 제거하고, 영상을 전처리 한다. 영상처리부(120)는 영상을 프레임단위로 분리하여 처리한다.
객체검출부(130)는 프레임 단위로 영상에 포함된 객체의 피처를 검출한다. 객체검출부(130)는 데이터베이스(DB)(40)에 저장된 학습 모델과 객체 정보를 기반으로 이동 객체, 상태 객체, 벡터 객체에 대하여 객체의 피처를 추출하고, 객체 별로 구분한다.
공정분류부(140)는 객체검출부(130)에 의해 추출된 객체의 피처를 기반으로, 복수의 프레임에서의 피처의 변화에 대한 패턴을 추출한다.
공정분류부(140)는 기 등록된 패턴과 추출된 패턴을 비교하여 유사도를 산출하고, 이를 바탕으로 현재 진행중인 공정이 어떤 공정인지 판단하여 공정을 분류한다. 또한, 공정분류부(140)는 공정의 시작과 끝을 구분한다.
이상검출부(150)는 패턴의 유사도를 기반으로 판단된 공정의 단계가 정상적으로 수행되는지 여부를 판단하여 공정의 이상을 검출한다.
또한, 이상검출부(150)는 검출된 객체의 피처를 등록된 데이터와 비교하여, 피처의 유사도와 손실값에 따라 객체의 이상을 검출한다.
이상검출부(150)는 이상 검출 시, 제어부(110)로 이상감지신호를 인가한다.
기록관리부(160)는 공정의 시작부터 끝까지의 진행 과정에 대한 데이터를 저장하고, 이상검출부(150)에 의해 이상 검출 시 별도로 이상 검출 데이터를 저장한다.
제어부(110)는 통신부(182)를 통해 학습장치(20), 데이터베이스(DB)(40)와 데이터를 공유한다. 제어부(110)는 입출력부(181)를 통해 입력되는 데이터를 등록하고, 공정의 진행상태를 입출력부(181)를 통해 출력한다.
제어부(110)는 이상 검출 신호에 대응하여 입출력부(181)를 통해 경고를 출력하고, 통신부(182)를 통해 지정된 단말 또는 서버로 이상 검출에 대한 데이터를 전송한다.
입출력부(181)는 버튼, 스위치, 터치패드 등의 입력수단과, 디스플레이, 스피커, 램프 중 적어도 하나로 구성되는 출력수단을 포함한다.
데이터부(183)는 통신부(182)를 통해 송수신되는 데이터가 저장되고, 입출력부(181)를 통해 입력 및 출력되는 데이터가 저장된다.
데이터부(183)는 영상획득부(170)를 통해 입력되는 영상데이터, 검출된 객체의 피처, 공정 피처 패턴에 대한 데이터를 저장하고, 이상 검출 시 검출된 이상과 이상이 발생한 공정 또는 객체에 대한 데이터를 저장한다.
데이터부(183)는 데이터를 저장하는 저장수단으로 플래시 메모리, HDD, SSD 등의 저장수단을 포함할 수 있고, 이동식 메모리 장치가 연결될 수 있다.
통신부(182)는 복수의 통신모듈을 포함하여, 유선 또는 무선으로 데이터를 송수신한다.
통신부(182)는 제어부(110)의 제어명령에 대응하여 데이터베이스(DB)(40)로부터 수신되는 데이터를 데이터부(183)에 저장하고, 기록관리부에 의해 생성된 데이터를 데이터베이스(DB)(40)로 전송한다.
도 3 은 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 동작방법이 도시된 순서도이다.
도 3에 도시된 바와 같이, 공정 감시 시스템은 공정이 시험 가동되는 중에 학습장치(20)를 통해 공정의 객체를 등록하여 학습하고 감시장치(30)를 통해 실제 운영되는 공정을 영상을 통해 감시하고 진행상태와 이상을 검출한다.
학습장치(20)는 공정에서 인식할 객체를 종류에 따라 구분하여 등록한다(S310).
학습장치(20)는 인식할 객체를 종류에 따라 각각 상이한 방식으로 학습모델을 생성하여 학습한다(S320).
학습장치(20)는 학습 데이터와 학습 모델을 데이터베이스(DB)(40)에 저장한다.
감시장치(30)는 공정이 시작되면(S330), 복수의 카메라(50)(170)를 통해 공정 진행에 대한 영상을 촬영한다(S340).
감시장치(30)는 학습 모델을 이용하여, 실시간 영상으로부터 객체의 피처를 검출한다(S350). 감시장치(30)는 영상에 포함된 객체에 대하여 이동 객체, 상태 객체, 벡터 객체로 구분하여 피처를 검출한다.
감시장치(30)는 영상을 프레임 단위로 분석하여 프레임 별 추출되는 피처에 대한 피처 셋을 설정하고, 실시간 피처 패턴을 검출한다(S360).
감시장치(30)는 실시간 영상의 실시간 피처 패턴과 기 분류된 공정 피처 패턴을 비교하고, 유사도를 분석한다(S370).
감시장치(30)는 실시간 피처 패턴과 공정 피처 패턴을 프레임 단위로 상호 매칭하여 유사도와 손실 정도에 따라 현재 수행중인 공정을 판단하고 공정을 분류한다(S380).
감시장치(30)는 영상으로부터 검출된 객체의 피처를 기 등록된 데이터와 비교하여 이상을 검출하고 또한, 실시간 피처 패턴과 공정 피처 패턴을 비교하여 그 차이의 추세에 따라 공정의 진행에 대한 이상을 검출한다(S390).
감시장치(30)는 이상 검출 시, 이상 검출에 대한 데이터를 생성하여 저장하고, 이상 검출에 대한 경고를 출력한다(S400).
감시장치(30)는 공정이 정상 종료되는 경우 공정의 변화 추이를 분석하여 기록하고(S410), 공정에 대한 데이터를 데이터베이스(DB)(40)에 저장한다(S420).
도 4 는 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 객체 검출을 설명하는데 참조되는 도이다.
객체검출부(130)는 영상처리부(120)에 의해 전처리된 데이터로부터 객체에 대한 피처를 검출한다.
객체검출부(130)는 이동 객체, 상태 객체, 벡터 객체를 각각 검출한다. 객체검출부(130)는 영상을 처리하여 객체를 검출하는 처리 성능 및 정확도를 개선하기 위해 객체에 따라 상이한 방식을 사용할 수 있다.
객체검출부(130)는 검출된 이동 객체의 피처에 대하여 그 위치와 형상 종류를 이동 객체의 이동 시작 위치와 형상 종류가 포함된 기초 데이터와 비교하여 탐지된 객체가 어떤 이동 객체인지를 매핑한다.
또한, 객체검출부(130)는 영상의 프레임 간 객체 탐지 결과를 트래킹(Tracking)을 통해 매핑하여 이동 객체를 추적 및 탐지한다.
객체검출부(130)는 검출 대상 프레임 fn에 대해서 변화 기준 시간 m 이전의 프레임 f(n-m)에 대해서 각각 노이즈 제거 및 정규화 과정을 수행한다.
객체검출부(130)는 전처리된 n시간의 프레임 pre(fn)와 m이전의 프레임 pre(f(n-m))의 두 프레임의 차이를 획득하고 그 차이(cn)를 이진화 한다. 객체검출부(130)는 pre(fn)에서 pre(f(n-m))를 감산한 값이 설정값보다 큰 경우 1, 그 외에는 0으로 차이(cn)를 이진화 한다.
객체검출부(130)는 프레임 간 차이(cn)에 대하여 팽창 및 증식 연산을 수행하여 후처리 한다.
도 4의 (a)에 도시된 바와 같이, 객체검출부(130)는 후 처리된 프레임 post(cn)에 대하여 외곽선 검출 및 그룹핑(Grouping)을 수행하고, 그룹핑을 통해 생성된 박스(Box)들에 대하여 중복된 박스를 삭제하거나 통합하고, 박스를 확장하는 과정을 수행한다. 예를 들어, NMS(Non Maximum Suppression), 패딩(Padding) 과정을 수행할 수 있다.
도 4의 (b)에 도시된 바와 같이, 객체검출부(130)는 각 박스(Box) b0, b1, b2들을 이용하여 원본 이미지를 크롭(Crop)하고 각 이미지들을 AI 이미지 분류 신경망을 이용하여 형상을 판단한 후 결과를 도출한다. 예를 들어 노즐, 팔, 디스펜서 등에 대한 형상을 구분하여 판단한다.
객체검출부(130)는 AI 이미지 분류(Image Classification) 신경망을 기반으로 생성된 박스로부터 이동 객체에 대한 피처를 추출한다.
AI 이미지 분류(Image Classification) 신경망은 객체 탐지(Object Detection) 신경망보다 처리 성능이 빠르고, 이미지 분류 정확도도 높으며, 학습 데이터도 비교적 적게 요구되므로 처리 부하가 감소한다.
또한, 객체검출부(130)는 AI 이미지 분류 신경망을 이용하여 상태 객체를 검출한다.
객체검출부(130)는 AI 선분 감지 신경망을 이용하여 벡터 객체를 검출한다. 벡터 객체를 검출하기 위해서, 객체검출부(130)는 컴퓨터 비전을 이용하여 노이즈 억제 전처리 및 이진 외곽선 검출을 수행하여 선분화 한다.
도 5 는 본 발명의 일 실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 공정 분류 과정을 설명하는데 참조되는 도이다.
도 5에 도시된 바와 같이, 공정분류부(140)는 영상을 기반으로 자동으로 공정을 분류한다.
공정분류부(140)는 영상의 매 프레임 마다 피처 검출 과정을 실시간으로 수행하며, 검출 과정을 통해 획득한 실시간 피처 패턴과 기 분류된 공정의 공정 피처 패턴들을 비교하여 유사도를 분석한다.
공정분류부(140)는 피처 패턴에 대하여, 분기(Branch) 방식으로 패턴을 분석하고 매칭 작업을 수행한다.
공정분류부(140)는 추출된 실시간 피처 패턴에 대한 분석결과, 유사도가 가장 높은 공정 피처 패턴으로 공정을 분류한다.
공정분류부(140)는 공정 분류 과정에서, 매 프레임 마다 분류되었던 공정의 모든 패턴을 대상으로 비교하되, 기 분류된 패턴들을 미리 슬라이딩 시켜 병렬 처리한다.
그에 따라 공정분류부(140)는 많은 리소스가 요구되는 공정 분류 과정에서 병렬 처리를 통해 리소스를 처리함으로써 성능을 개선한다.
공정분류부(140)는 기 분류된 공정들의 시작과 끝을 기준으로 공정 분류를 자동으로 진행할 수 있다.
도 6 은 도 5의 공정 분류 과정에서 피처 셋의 손실함수를 설명하는데 참조되는 도이다.
도 6에 도시된 바와 같이, 공정분류부(140)는 객체에 대한 피처를 추출하여 공정을 분류한다.
예를 들어, 공정분류부(140)는 객체검출부(130)에 의해 공정 중 객체를 이동하거나 객체를 가공하는 로봇 팔, 회전체 등을 이동 객체로써 피처가 추출되면, 피처 셋 또는 실시간 피처 패턴을 검출하여 유사도에 따라 공정을 분류한다.
공정분류부(140)는 영상으로부터 추출된 복수의 피처 중, 이동 객체(Moving Object)에 대한 피처들을 하나의 집합으로 구성하여 이동 객체 피처 셋(MO set)을 설정한다.
또한, 공정분류부(140)는 영상으로부터 추출된 복수의 피처 중, 상태 객체(Status Object)와 벡터 객체(Vector Object)에 대한 피처들로 구성되는 상태 객체 피처 셋(SO set)과 벡터 객체 피처 셋(VO set)을 각각 설정한다.
공정분류부(140)는 세부 인자로서, 각 이동 객체(MO)에 대한 바운딩 박스(Bounding Box)의 좌표(Coordinate), 폭(Width), 높이(Height)를 피처로서 사용한다.
이동 객체(MO)의 상태(State)가 정의된 집합은 다음 수학식 1과 같다.
Figure PCTKR2021011162-appb-img-000001
단, (x, y)는 타겟 바운딩 박스의 좌측 상단 기준 좌표이고, w는 타겟 바운딩 박스의 폭이며, h는 높이이다.
공정분류부(140)는 상태 객체(Status Object, SO)에 대하여 상태 객체가 가질 수 있는 상태(state)에 대하여 정의하고, 그 개수를 k로 하여 다음 수학식 2와 같이 상태 객체(SO)를 정의하는 집합을 설정할 수 있다.
Figure PCTKR2021011162-appb-img-000002
k는 앞서 설명한 바와 같이 하나의 상태 객체가 가질 수 있는 값의 개수로, 예를 들어 게이트의 경우, '열림', '닫힘', '모름'으로 k를 3으로 정의할 수 있다.
또한, 공정분류부(140)는 벡터 객체(Vector Object, VO)에 대하여, 물줄기, 레이저 등 방향을 가지는 선형의 객체로 정의할 수 있다.
공정분류부(140)는 객체가 보유할 수 있는 점의 계수(Coefficient)를 V로 하고, 시작점과 도착점을 포함한 V+2개의 균등한 중간 점들을 정하여 이를 피처로서 사용한다.
그에 따라 벡터 객체(VO)의 상태(State)가 정의된 집합은 다음 수학식 3과 같다.
Figure PCTKR2021011162-appb-img-000003
이와 같이 정의된 이동 객체의 집합, 상태 객체의 집합, 벡터 객체의 집합을 손실함수에 이용하여 객체 간의 차이를 산출할 수 있다.
공정분류부(140)는 제 1 객체와 제 2 객체를 손실함수를 이용하여 비교할 수 있고, 또한, 제 1 객체의 제 1 데이터와 제 1 객체의 제 2 데이터를 손실함수를 이용하여 비교할 수 있다.
공정분류부(140)는 앞에서 언급한 이동 객체의 상태(MOstate)에 대하여 손실함수를 다음 수학식 4와 같이 정의할 수 있다.
Figure PCTKR2021011162-appb-img-000004
단, εcoord와 εshape는 각 피처에 대한 패널티를 부여하는 상수이고, B는 이동 객체의 수이며, 햇(hat, ^)이 표시된 속성은 기 분류되어 데이터베이스(DB)에 저장된 데이터를 나타낸다.
위 수학식 4에서 w, h의 경우 동일한 객체임에도 불구하고 관찰되는 각도에 따라 객체의 바운딩 박스(Bounding Box)가 달라질 수 있으므로, 위치에 대한 페널티보다 적은 페널티를 부과하기 위해 제곱근을 적용한다.
상태 객체의 상태(SOstate)의 경우, 손실함수를 다음 수학식 5와 같이 정의할 수 있다.
Figure PCTKR2021011162-appb-img-000005
단, S는 상태 객체(SO)의 수이다.
벡터 객체의 상태(VOstate)의 경우, 손실함수를 다음 수학식 6과 같이 정의할 수 있다.
Figure PCTKR2021011162-appb-img-000006
벡터 객체의 점들 중 시작점과 도착점에 대한 정확도를 강조하기 위해 시작점과 도착점에 대한 페널티를 다른 점들의 2배로 설정한다.
공정분류부(140)는 공정이 진행되는 중에, 영상획득부(170)를 통해 실시간으로 획득되는 영상을 모니터링하는 과정에서, 실시간 모니터링 상황에 대한 손실함수를 정의한다.
예를 들어, 공정분류부(140)는 타임스탬프 t에서 데이터베이스에 저장된 제 1 이동 객체에 대한 제 1 이동 객체 피처 셋(MO set)(81a)과 실시간 추출된 제 1 이동 객체에 대한 제 2 이동 객체 피처 셋(MO set)(91a)을 손실함수를 이용하여 비교하고, 공정 분류의 기준으로 이용한다.
이때, 이상검출부(150)는 손실함수의 결과값을 통해 이동 객체에 대한 차이를 산출하여 공정의 이상을 검출한다.
데이터베이스(DB)(40)는 각 공정 별 타임스탬프 t 에서의 프레임으로부터 피처를 검출한 이동 객체 피처, 상태 객체 피처, 벡터 객체 피처 들을 저장하고 있다.
데이터베이스(DB)(40)는 이러한 이동 객체 피처들의 집합으로 설정된 이동 객체 피처 셋, 상태 객체 피처들의 집합으로 설정된 상태 객체 피처 셋, 그리고 벡터 객체 피처들의 집합으로 설정된 벡터 객체 피처 셋을 저장한다.
또한, 데이터베이스(DB)(40)는 타임스탬프 별 이동 객체 피처 셋, 상태 객체 피처 셋, 벡터 객체 피처셋을 포함하는 공정 피처 셋을 저장한다.
공정분류부(140)는 실시간 모니터링에서 타임스탬프 t 에서의 프레임으로부터 피처를 검출하는 경우, 객체 별, 이동 객체 피처, 상태 객체 피처, 벡터 객체 피처 들을 획득하고, 피처들의 집합으로 이동 객체 피처 셋, 상태 객체 피처 셋, 벡터 객체 피처 셋을 각각 설정한다.
또한, 공정분류부(140)는 타임스탬프 별 실시간으로 설정되는 이동 객체 피처 셋, 상태 객체 피처 셋, 벡터 객체 피처셋을 포함하여 실시간 피처 셋을 설정한다.
공정분류부(140)는 타임스탬프 t 에서의 MO set(81a), SO set, VO set을 포함하는 제 1 공정 피처 셋(81)과 타임스탬프 t에서의 MO set(91a), SO set, VO set을 포함하는 제 1 실시간 피처 셋(91)사이의 손실을 산출한다.
공정분류부(140)는 타임스탬프 t 에서의 MO set(81a), SO set, VO set을 포함하는 제 1 공정 피처 셋(81)과 타임스탬프 t에서의 MO set(91a), SO set, VO set을 포함하는 제 1 실시간 피처 셋(91)사이의 손실을 산출한다.
또한, 공정분류부(140)는 타임스탬프 t+1에서의 제 2 공정 피처 셋(82)과 제 2 실시간 피처 셋(92) 사이의 손실을 산출하고, 타임스탬프 t+2에서의 제 3 공정 피처 셋(83)과 제 3 실시간 피처 셋(93) 사이의 손실을 산출한다.타임스탬프 t 에서의 공정 피처 셋과 실시간 프레임에서 추출된 실시간 피처 셋 사이의 손실은 다음 수학식 7과 같이 정의할 수 있다.
Figure PCTKR2021011162-appb-img-000007
단, εMO, εSO, εVO는 이동 객체(MO), 상태 개체(SO), 벡터 객체(VO)의 영향을 균등화하는 데 사용되는 계수이다.
공정분류부(140)는 실시간 모니터링 시 t 프레임에서 추출된 실시간 피처 셋(81)과 공정 피처 셋(91) 사이의 손실함수 LOSSframe(t)를 계산하여 t 프레임이 특정 공정의 t 시점에 비슷한 지에 대한 척도로 활용할 수 있다.
또한, 공정분류부(140)는 타임스탬프 s에서 e까지의 (e-s)개의 타임스탬프들에 대해서, 각 실시간 프레임의 실시간 피처 셋들(90)과 데이터베이스(DB)(40)에 저장되어 있는 공정 피처 셋들(80) 간의 손실을 연산하고, 이를 모두 합산한 후 타임스탬프의 수로 나누는 과정을 다음의 수학식 8과 같이 시계열 손실함수로 정의할 수 있다.
Figure PCTKR2021011162-appb-img-000008
공정분류부(140)는 시계열 손실함수를 이용하여 실시간 모니터링 시 특정 범위(s ~ e)가 어떤 공정과 범위와 가장 유사 한지 판단할 수 있다.
공정분류부(140)는 타임스탬프 s에서 e까지의 (e-s)개의 타임스탬프들에 대해서, 각 실시간 프레임의 실시간 피처 셋들(90)로부터 실시간 피처 패턴을 설정하고, 데이터베이스(DB)(40)에 저장되어 있는 공정 피처 셋들(80)로 구성되는 공정 피처 패턴과 비교한다.
도 7 은 도 5의 공정 분류 과정에서 프레임 단위로 영상을 처리하는 방법을 설명하는데 참조되는 도이다.
도 7에 도시된 바와 같이, 공정분류부(140)는 공정 피처 패턴(Pn)을 실시간 영상 프레임에서 추출된 실시간 피처 패턴과 비교하는 패턴 매칭에 사용한다.
공정분류부(140)는 기존에 분류되었던 공정 피처 패턴들(Pn)과 실시간 영상 내에서 추출된 실시간 피처 패턴들 간에 패턴 매칭 작업을 진행한다. 이때 실시간 영상의 각 프레임(Fn) 별로 새로운 분기(Bn)가 시작되어 해당 시작 프레임 이후로 들어오는 프레임들 Fn, Fn+1,…, Fn+m 은 하나의 분기를 구성한다.
공정분류부(140)는 위와 같은 방법으로 구성되는 분기(Bn)들을 기존에 분류된 공정 피처 패턴들(Pn) 각각과 비교하고, 손실을 산출하여 유사도를 연산하고 공정을 분류한다.
도 8 은 도 5의 공정 분류 과정에서 패턴을 매칭하는 방법을 설명하는데 참조되는 도이다.
도 8에 도시된 바와 같이, 공정분류부(140)는 앞서 설명한 프레임 별 분기들의 실시간 피처 패턴을 공정 피처 패턴들과 비교하여 매칭 작업을 수행한다.
공정분류부(140)는 각 분기의 프레임 별 실시간 피처 셋을, 타임스탬프 기준으로 해당되는 공정 피처 패턴의 공정 피처 셋과 손실 계산을 통한 유사도 비교를 수행하며, 손실 계산 방법은 LOSSframe (t, p, b)로 산출할 수 있다.
공정(p)에 대한 분기(Branch) b의 피처 셋들 과의 LOSSframe(t) 결과값은 앞서 설명한 수학식 7의 피처 셋 간 손실함수의 정의를 따른다.
공정분류부(140)는 분기 별 시계열 손실함수를 다음 수학식 9에 따라 산출할 수 있다.
Figure PCTKR2021011162-appb-img-000009
수학식 9의 LOSStime(s, e, p, b)는 분기b의 시간s 부터 시간e까지의 범위에 대한 분기 별 시계열 손실함수이다.
공정분류부(140)는 손실 계산 결과가 임계치(Threshold) 보다 작으면, 타임스탬프 [s, e] 구간에 해당하는 공정 p 의 공정 피처 패턴과 타임스탬프 t (s ≤ t ≤ e)까지의 분기 b 의 실시간 피처 패턴이 유사한 것으로 판단한다.
도 9 는 본 발명의 일실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 공정의 시작과 끝을 판단하는 방법을 설명하는데 참조되는 도이다.
도 9에 도시된 바와 같이, 공정분류부(140)는 공정의 시작과 종료를 판단한다.
공정분류부(140)는 공정 피처 패턴에서 시작 검사 구간(SR)과 종료 검사 구간(ER)을 선택하여 실시간 영상의 분기 별 실시간 피처 패턴과 손실 검사를 진행한다.
공정분류부(140)는 공정 시작 및 종료 검사 시, 공정 P1의 시작 검사 구간 또는 종료 검사구간에 해당하는 피처 셋(FT1-FT3)(FT9, FT10)들과 실시간 프레임에서 검출된 피처 셋들 과의 손실을 연산하여 손실값이 T(임계치) 보다 작아지는 시점을 공정 시작 또는 종료로 판단한다.
시작 검사와 종료 검사에 이용되는 [s, e]와 [s', e']은 다음 수학식 10과 같이 계산한다.
Figure PCTKR2021011162-appb-img-000010
SR (Start Range)는 공정 시작 검사 구간이고, SRP (Start Range Proportion)는 공정 시간 대비 시작 검사 구간 비율(SR=t(Pn)*SRP) 이고, ER (End Range)은 공정 종료 검사 구간이고, ERP (End Range Proportion)는 공정 시간 대비 종료 검사 구간 비율(ER=t(Pn)*ERP) 이며, t는 타임스탬프를 구하는 시간 함수이며, t(Pn)은 n번째 분류 공정 (Pn)의 공정 전체 시간이다.
공정분류부(140)는 해당 분기의 손실값이 특정 임계치(threshold)를 벗어나게 되면, 데이터 베이스에 저장된 공정들과 맞지 않는 것으로 간주하여 해당 시점의 분기를 삭제하여 리소스 및 성능의 효율성을 위해 매칭 작업이 추가로 진행되지 않도록 한다.
또한, 공정분류부(140)는 정확한 공정 시작과 종료 시점을 판단하기 위해 손실 계산 시 임계치(Threshold) 비교뿐만 아니라 손실이 최소가 되는 시점을 찾는 작업을 추가로 수행한다. 공정분류부(140)는 임계치보다 작은 손실을 가진 시점을 찾더라도 바로 공정의 시작과 종료로 판단하는 것이 아니라 그 이후의 손실값이 최소가 되는 지역 최소값(Local Minimum)을 찾는 방법으로 진행할 수 있다.
이른 시점에 공정 시작 시점을 설정하는 경우 프레임에서의 유사도 비교 결과의 오차가 커지는 문제가 발생할 수 있으나, 공정분류부(140)는 이러한 과정을 통해 공정의 시작 시점과 종료 시점을 설정함에 따라, 유사도 비교 결과의 오차가 커지는 문제를 해소할 수 있다.
도 10 은 본 발명의 일실시예에 따른 딥 러닝 기반 실시간 공정 감시 시스템의 시간에 따른 객체별 손실값의 변화가 도시된 그래프이다.
도 10에 도시된 바와 같이, 이상검출부(150)는 앞서 설명한 공정분류부(140)의 공정 분류과정에서 해당 공정이 정상 수행되는지 여부를 판단한다.
이상검출부(150)는 공정을 분류 시, 공정 피처 패턴과 실시간 피처 패턴을 비교하여 손실함수를 통해 산출되는 손실값을 바탕으로 이상을 검출한다.
또한, 이상검출부(150)는 객체검출부(130)의 객체에 대한 피처 검출 시, 검출된 객체의 피처가 공정의 객체 상태에 대응하는지 여부를 손실함수의 결과값에 따라 판단하여 이상을 검출한다.
이상검출부(150)는 복수의 객체에 대한 손실값을 기반으로, 특정 객체의 이상을 판단할 수 있다.
이상검출부(150)는 하나의 객체의 손실값이 일정값 이상 높게 나타나는 경우 손실값이 높게 나타나는 시간에 따라 이상을 판단한다.
이상검출부(150)는 객체의 손실값이 일정값 이상 높게 나타나는 경우 손실값이 높게 나타나는 시간이 설정시간 이상인 경우 이상으로 판단한다. 이상검출부(150)는 객체의 손실값이 일정값 이상 높게 나타나더라도, 설정시간 내에 일정값 이하로 감소하면 이상 판단에서 제외한다.
이상검출부(150)는 하나의 객체의 손실값이 높게 나타나더라도 다른 객체의 손실값이 유사하게 나타나는 경우 이상 판단에서 제외한다. 또한, 이상검출부(150)는 하나의 객체의 손실값이 크게 나타나더라도, 비교하는 공정 피처 패턴과의 유사도가 일정값 이하로 낮은 경우 이상 판단에서 제외한다.
예를 들어, 평균손실에 대한 임계치가 0.4인 경우, 이상검출부(150)는 제 2 객체(L2)와 같이, 다른 객체의 평균손실값의 변화와 상이한 형태로 변화하고, t2에서 t4와 t5 사이의 시간까지 임계치 이상인 상태가 유지되면, 이상으로 검출한다.
이때, 이상검출부(150)는 현재 비교하는 공정과의 유사도가 소정값 이하로 낮은 경우 이상 판단에서 제외한다.
기록관리부(160)는 검출된 이상을 시각적으로 확인할 수 있도록 데이터를 제공한다.
기록관리부(160)는 공정 분류과정을 통해 하나의 공정이 종료되면 모든 단일 객체에서 나온 피처의 손실을 저장하고 전체 공정에서의 변화되는 추이를 분석하여 그 데이터를 시각화 한다.
기록관리부(160)는 공정이 진행되는 과정에 대한 데이터를 저장하고, 객체검출부(130)의 피처 패턴, 공정분류부(140)의 분류 공정, 이상검출부(150)의 이상 검출 데이터를 데이터부(183)에 저장하고, 시간의 경과에 따른 변화 추이를 분석하여 데이터를 저장한다.
또한, 기록관리부(160)는 데이터베이스(40)로부터 기 설정된 데이터, 기 측정된 데이터를 호출하여 실시간 데이터와 비교하고, 공정이 완료되면 완료된 공정에 대한 데이터가 데이터베이스(DB)(40)에 저장되도록 한다.
제어부(110)는 생성된 데이터를 입출력부(181)를 통해 출력할 수 있다. 또한, 제어부(110)는 통신부(182)를 통해 외부의 서버 또는 지정된 단말로 공정 감시에 따른 결과데이터를 전송할 수 있다.
따라서 본 발명은 실시간 영상을 통해 공정의 진행상태를 감지하면서 공정의 진행이 정상인지 판단하고, 객체의 이상 여부를 검출할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.

Claims (20)

  1. 공정 중 인식할 객체를 이동 객체, 상태 객체 및 벡터 객체로 구분하여 등록하여 딥러닝 기반으로 학습하는 학습장치; 및
    상기 학습장치에 의해 학습된 모델을 바탕으로 공정이 진행되는 중에 획득된 실시간 영상으로부터, 상기 이동 객체, 상기 상태 객체 및 상기 벡터 객체에 대한 피처를 검출하고, 추출되는 피처들의 집합으로부터 설정된 실시간 피처 패턴을 기 저장된 공정 피처 패턴과 비교하여 공정을 분류하며, 상기 공정 및 상기 객체에 대한 이상을 검출하여 상기 공정의 진행상태를 감시하는 감시장치; 를 포함하는 공정 감시 시스템.
  2. 제 1 항에 있어서,
    상기 감시장치는,
    공정을 진행하는 장비에 설치되는 복수의 카메라를 포함하는 영상획득부;
    상기 공정에 포함된 객체를 상기 이동 객체, 상기 상태 객체 및 상기 벡터 객체로 구분하고, 실시간 영상으로부터 객체의 피처를 검출하는 객체검출부;
    검출된 상기 객체의 피처를 프레임 단위로 분석하여 상기 실시간 피처 패턴을 검출하고 상기 공정 피처 패턴과 비교하여 유사도에 따라 공정을 분류하는 공정분류부; 및
    상기 실시간 피처 패턴과 상기 객체의 피처로부터 이상을 검출하는 이상검출부; 를 포함하는 공정 감시 시스템.
  3. 제 2 항에 있어서,
    상기 객체검출부는 상기 이동 객체에 대하여, 영상을 프레임 단위로 분석하여 제 1 시간의 프레임과 제 2 시간의 프레임의 차이를 획득하고 각 프레임에 포함된 상기 객체의 변화를 검출하고, 팽창 및 증식 연산 수행하여 후처리하는 것을 특징으로 하는 공정 감시 시스템.
  4. 제 3 항에 있어서,
    상기 객체검출부는 후처리된 프레임에 대하여 외곽선 검출 및 그룹핑(Grouping)을 수행하고, 그룹핑을 통해 생성된 박스(Box)들에 대하여 중복된 박스를 삭제하거나 통합하고 박스를 확장하는 과정을 수행하며, 각 이미지들을 AI 이미지 분류 신경망을 이용하여 형상을 판단하여 상기 이동 객체에 대한 피처를 추출하는 것을 특징으로 하는 공정 감시 시스템.
  5. 제 2 항에 있어서,
    상기 공정분류부는 상기 실시간 피처 패턴과, 상기 공정 피처 패턴을 비교하여 유사도를 분석하고, 유사도가 가장 높은 공정 피처 패턴으로 공정을 분류하는 것을 특징으로 하는 공정 감시 시스템.
  6. 제 5 항에 있어서,
    상기 공정분류부는 상기 공정 피처 패턴과 상기 실시간 피처 패턴에 대하여, 분기(Branch) 방식으로 패턴을 분석하여 매칭 작업을 수행하는 것을 특징으로 하는 공정 감시 시스템.
  7. 제 5 항에 있어서,
    상기 공정분류부는 공정을 분류 중, 복수의 공정 피처 패턴을 미리 슬라이딩 시켜 병렬 처리하여, 각 프레임 마다 추출되는 상기 실시간 피처 패턴을 상기 복수의 공정 피처 패턴과 모두 비교하는 것을 특징으로 하는 공정 감시 시스템.
  8. 제 2 항에 있어서,
    상기 공정분류부는 타임스탬프 t 에서의 프레임으로부터 피처를 검출한 상기 이동 객체, 상기 상태 객체, 벡터 객체에 대한 각각의 피처 셋을 설정하고, 기 설정된 공정 피처 셋과 실시간으로 획득되는 실시간 피처 셋을 비교하여 손실함수를 연산하고,
    복수의 프레임에 대하여 각 프레임의 피처 셋을 손실함수를 통해 산출되는 손실값과 상기 복수의 프레임에 대한 타임스탬프의 수에 따라 시계열 손실함수를 통해 손실값을 산출하는 것을 특징으로 하는 공정 감시 시스템.
  9. 제 2 항에 있어서,
    상기 공정분류부는 상기 영상의 각 프레임 별로 새로운 분기를 설정하고, 각 분기의 상기 실시간 피처 패턴과 상기 공정 피처 패턴을 비교하여 손실을 연산하고, 손실값에 따라 유사도를 판단하는 것을 특징으로 하는 공정 감시 시스템.
  10. 제 11 항에 있어서,
    상기 공정분류부는 제 1 시간 내지 제 2 시간의 범위에서, 제 1 실시간 피처 패턴과 제 1 공정 피처 패턴을 비교하여 연산되는 손실이, 기 설정된 임계치보다 낮으면, 상기 제 1 시간 내지 상기 제 2 시간의 분기에서 상기 제 1 실시간 피처 패턴과 상기 제 1 공정 피처 패턴이 유사한 것으로 판단하는 것을 특징으로 하는 공정 감시 시스템.
  11. 제 2 항에 있어서,
    상기 공정분류부는 공정의 시작과 종료 시점에 대한 데이터를 바탕으로,
    상기 공정 피처 패턴에 대한 시작 검사 구간과 종료 검사 구간을 설정하고, 실시간 영상의 분기 별 상기 실시간 피처 패턴과 손실 검사를 수행하여,
    상기 시작 검사 구간 또는 상기 종료 검사 구간에 대한 각 피처 셋과, 상기 실시간 피처 패턴의 피처 셋 간에 연산되는 손실값이 제 2 임계값보다 작으면 공정이 시작되거나 종료되는 것으로 판단하는 것을 특징으로 하는 공정 감시 시스템.
  12. 제 2 항에 있어서,
    상기 이상검출부는 공정을 분류 시, 상기 공정 피처 패턴과 상기 실시간 피처 패턴에 대하여 손실함수를 통해 산출되는 손실값을 바탕으로 공정의 이상을 검출하는 것을 특징으로 하는 공정 감시 시스템.
  13. 제 2 항에 있어서,
    상기 이상검출부는 복수의 객체에 대응하여 추출된 복수의 피처를 기 저장된 데이터와 비교하여 손실값을 산출하고, 상기 복수의 객체에 대한 손실값의 크기와 시간에 따른 변화, 상기 손실값이 일정값 이상인 상태로 유지되는 시간에 따라 어느 하나의 객체에 대한 이상을 검출하는 것을 특징으로 하는 공정 감시 시스템.
  14. 제 13 항에 있어서,
    상기 이상검출부는 복수의 객체 중 어느 하나에 이상이 있다고 판단되는 경우에도, 상기 실시간 피처 패턴과 상기 공정 피처 패턴과의 유사도가 일정값 이하인 경우 이상 판단에서 제외하는 것을 특징으로 하는 공정 감시 시스템.
  15. 공정의 시험운영을 통해, 공정 중 인식할 객체를 이동 객체, 상태 객체 및 벡터 객체로 구분하여 등록하고 딥러닝 기반으로 학습하는 단계;
    학습된 데이터를 바탕으로, 공정이 진행되는 중에 획득된 실시간 영상으로부터 상기 이동 객체, 상기 상태 객체 및 상기 벡터 객체에 대한 피처를 검출하는 단계;
    추출되는 피처들의 집합으로부터 설정된 실시간 피처 패턴을 기 저장된 공정 피처 패턴과 비교하여 공정을 분류하는 단계;
    상기 객체에 대한 상기 피처와 공정의 진행상태를 판단하여 이상을 검출하는 단계; 및
    상기 공정의 진행상태에 대한 데이터를 저장하는 단계; 를 포함하는 공정 감시 시스템의 동작방법.
  16. 제 15 항에 있어서,
    상기 피처를 검출하는 단계는,
    상기 실시간 영상의 프레임 간 객체 탐지 결과를 트래킹(Tracking)을 통해 매핑하여 상기 이동 객체를 추적 및 탐지하는 단계;
    상기 실시간 영상을 프레임 단위로 분석하여 제 1 시간의 프레임과 제 2 시간의 프레임의 차이를 획득하고 각 프레임에 포함된 상기 객체의 변화를 검출하여 팽창 및 증식 연산을 통해 후처리하는 단계;
    후처리된 프레임에 대하여 외곽선 검출 및 그룹핑(Grouping)을 수행하는 단계;
    그룹핑을 통해 생성된 박스(Box)들에 대하여 중복된 박스를 삭제하거나 통합하고 박스를 확장하는 단계; 및
    상기 박스의 각 이미지들을 AI 이미지 분류 신경망을 이용하여 형상을 판단하여 상기 이동 객체에 대한 피처를 추출하는 단계; 를 더 포함하는 공정 감시 시스템의 동작방법.
  17. 제 15 항에 있어서,
    상기 공정을 분류하는 단계는,
    상기 실시간 피처 패턴과, 상기 공정 피처 패턴을 비교하여 유사도를 분석하고, 유사도가 가장 높은 공정 피처 패턴으로 공정을 분류하는 것을 특징으로 하는 공정 감시 시스템의 동작방법.
  18. 제 15 항에 있어서,
    상기 공정을 분류하는 단계는,
    상기 실시간 영상의 타임스탬프 t 에서의 프레임으로부터 피처를 검출한 상기 이동 객체, 상기 상태 객체, 벡터 객체에 대한 각각의 피처 셋을 설정하는 단계;
    기 설정된 공정 피처 셋과 실시간으로 획득되는 피처 셋을 비교하여 손실함수를 연산하는 단계; 및
    복수의 프레임에 대하여 각 프레임의 피처 셋을 비교하여 산출되는 손실함수와 상기 복수의 프레임에 대한 타임스탬프의 수에 따라 시계열 손실함수를 연산하는 단계; 를 더 포함하는 공정 감시 시스템의 동작방법.
  19. 제 15 항에 있어서,
    상기 공정을 분류하는 단계는, 공정의 시작과 종료 시점에 대한 데이터를 바탕으로, 상기 공정 피처 패턴에 대한 시작 검사 구간과 종료 검사 구간을 설정하는 단계;
    상기 실시간 영상의 분기 별 상기 실시간 피처 패턴과 손실 검사를 수행하는 단계; 및
    상기 시작 검사 구간 또는 상기 종료 검사 구간에 대한 각 피처 셋과, 상기 실시간 피처 패턴의 피처 셋 간에 연산되는 손실값이 제 2 임계값보다 작으면 공정이 시작되거나 종료되는 것으로 판단하는 단계; 를 더 포함하는 공정 감시 시스템의 동작방법.
  20. 제 15 항에 있어서,
    상기 이상을 검출하는 단계는,
    복수의 객체에 대응하여 추출된 복수의 피처를 기 저장된 데이터와 비교하여 각 손실값을 산출하고, 상기 복수의 객체에 대한 손실값의 크기와 시간에 따른 변화, 상기 손실값이 일정값 이상인 상태로 유지되는 시간에 따라 어느 하나의 객체에 대한 이상을 검출하는 단계; 및
    복수의 객체 중 어느 하나에 이상이 있다고 판단되는 경우에도, 상기 실시간 피처 패턴과 상기 공정 피처 패턴과의 유사도가 일정값 이하인 경우 이상 판단에서 제외하는 단계; 를 더 포함하는 공정 감시 시스템의 동작방법.
PCT/KR2021/011162 2020-08-21 2021-08-20 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법 WO2022039575A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/926,012 US20230177324A1 (en) 2020-08-21 2021-08-20 Deep-learning-based real-time process monitoring system, and method therefor
EP21858662.6A EP4137901A4 (en) 2020-08-21 2021-08-20 DEEP LEARNING-BASED REAL-TIME PROCESS MONITORING SYSTEM AND METHOD THEREFOR
JP2023504076A JP2023540841A (ja) 2020-08-21 2021-08-20 ディープラーニングベースのリアルタイム工程監視システム及びその方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063068387P 2020-08-21 2020-08-21
US63/068,387 2020-08-21
KR10-2021-0110188 2021-08-20
KR1020210110188A KR102543400B1 (ko) 2020-08-21 2021-08-20 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
WO2022039575A1 true WO2022039575A1 (ko) 2022-02-24

Family

ID=80322905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011162 WO2022039575A1 (ko) 2020-08-21 2021-08-20 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US20230177324A1 (ko)
JP (1) JP2023540841A (ko)
WO (1) WO2022039575A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919087B (zh) * 2019-03-06 2022-03-08 腾讯科技（深圳）有限公司 一种视频分类的方法、模型训练的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483049B2 (en) * 2009-09-07 2016-11-01 Hitachi, Ltd. Anomaly detection and diagnosis/prognosis method, anomaly detection and diagnosis/prognosis system, and anomaly detection and diagnosis/prognosis program
KR101909477B1 (ko) * 2016-11-07 2018-10-18 세메스 주식회사 공정 챔버 감시 장치 및 방법
KR101988596B1 (ko) * 2019-01-25 2019-06-12 주식회사 솔텍크 생산장비 모니터링장치 및 그 장치의 구동방법
KR102144444B1 (ko) * 2020-06-25 2020-08-13 주식회사 한울엔지니어링 뉴럴 네트워크 기반 압력변동흡착장치 내 비정상 작동 감지 시스템 및 그 감지 방법
KR102277162B1 (ko) 2021-04-02 2021-07-14 주식회사 스누아이랩 산업 로봇 감시장치 및 그 장치의 구동방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483049B2 (en) * 2009-09-07 2016-11-01 Hitachi, Ltd. Anomaly detection and diagnosis/prognosis method, anomaly detection and diagnosis/prognosis system, and anomaly detection and diagnosis/prognosis program
KR101909477B1 (ko) * 2016-11-07 2018-10-18 세메스 주식회사 공정 챔버 감시 장치 및 방법
KR101988596B1 (ko) * 2019-01-25 2019-06-12 주식회사 솔텍크 생산장비 모니터링장치 및 그 장치의 구동방법
KR102144444B1 (ko) * 2020-06-25 2020-08-13 주식회사 한울엔지니어링 뉴럴 네트워크 기반 압력변동흡착장치 내 비정상 작동 감지 시스템 및 그 감지 방법
KR102277162B1 (ko) 2021-04-02 2021-07-14 주식회사 스누아이랩 산업 로봇 감시장치 및 그 장치의 구동방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI XIANG, SIAHPOUR SHAHIN, LEE JAY, WANG YACHAO, SHI JING: "Deep Learning-Based Intelligent Process Monitoring of Directed Energy Deposition in Additive Manufacturing with Thermal Images", PROCEDIA MANUFACTURING, ELSEVIER B.V. NETHERLANDS, 43RD NORTH AMERICAN MANUFACTURING RESEARCH CONFERENCE, NAMRC 43, 8-12 JUNE 2015, UNC CHARLOTTE, NORTH CAROLINA, UNITED STATES, vol. 48, 1 January 2020 (2020-01-01), 43rd North American Manufacturing Research Conference, NAMRC 43, 8-12 June 2015, UNC Charlotte, North Carolina, United States , pages 643 - 649, XP055901402, ISSN: 2351-9789, DOI: 10.1016/j.promfg.2020.05.093 *

Also Published As

Publication number Publication date
JP2023540841A (ja) 2023-09-27
US20230177324A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2019103484A1 (ko) 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2018186583A1 (ko) 주행 지면의 장애물을 식별하는 방법 및 이를 구현하는 로봇
WO2013165048A1 (ko) 영상 검색 시스템 및 영상 분석 서버
WO2022114731A1 (ko) 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
WO2019000462A1 (zh) 人脸图像处理方法、装置、存储介质及电子设备
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2021040214A1 (ko) 이동 로봇 및 그 제어 방법
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
KR20220023726A (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
WO2019235776A1 (ko) 이상 개체 판단 장치 및 방법
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2022240029A1 (ko) 반려동물 식별 시스템 및 그 방법
WO2020085653A1 (ko) 교사-학생 랜덤 펀을 이용한 다수의 보행자 추적 방법 및 시스템
WO2020080734A1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
WO2020017814A1 (ko) 이상 개체 검출 시스템 및 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858662

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021858662

Country of ref document: EP

Effective date: 20221116

ENP Entry into the national phase

Ref document number: 2023504076

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE