WO2024049194A1 - 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 - Google Patents

인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 Download PDF

Info

Publication number
WO2024049194A1
WO2024049194A1 PCT/KR2023/012873 KR2023012873W WO2024049194A1 WO 2024049194 A1 WO2024049194 A1 WO 2024049194A1 KR 2023012873 W KR2023012873 W KR 2023012873W WO 2024049194 A1 WO2024049194 A1 WO 2024049194A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
abnormality
command
inspection object
diagnostic
Prior art date
Application number
PCT/KR2023/012873
Other languages
English (en)
French (fr)
Inventor
김기곤
신성창
유승조
이재욱
임상민
Original Assignee
주식회사 엘지에너지솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230090949A external-priority patent/KR20240031018A/ko
Application filed by 주식회사 엘지에너지솔루션 filed Critical 주식회사 엘지에너지솔루션
Publication of WO2024049194A1 publication Critical patent/WO2024049194A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an abnormality diagnosis method, an abnormality diagnostic device, and a factory monitoring system. More specifically, an abnormality diagnosis method for diagnosing a test object using an artificial intelligence model-based diagnostic model, and an abnormality diagnostic device and factory monitoring system using the same. It's about.
  • Secondary batteries are batteries that can be reused by charging even after discharge, and can be used as an energy source for small devices such as portable phones, tablet PCs, and vacuum cleaners. They can also be used as ESS (Energy Storage) for personal mobility, automobiles, and smart grids. It is also used as a medium-to-large energy source such as a system).
  • ESS Electronicgy Storage
  • Secondary batteries are used in the form of an assembly such as a battery module in which multiple battery cells are connected in series or parallel, or a battery pack in which battery modules are connected in series or parallel, depending on the requirements of the system.
  • FMVS Factory Monitoring Visual System
  • real-time process management is impossible as the operator must visually check the image output through the display and determine whether there is an abnormality in a specific facility or processing point, and there are limitations in terms of diagnostic accuracy.
  • an appropriate factory monitoring technology is needed that enables real-time process management and can significantly improve diagnostic accuracy.
  • the purpose of the present invention to solve the above problems is to provide an abnormality diagnosis device based on an artificial intelligence model.
  • Another purpose of the present invention to solve the above problems is to provide a method of diagnosing an abnormality using such an abnormality diagnostic device.
  • Another purpose of the present invention to solve the above problems is to provide a factory monitoring system including such an abnormality diagnosis device.
  • An abnormality diagnostic device for achieving the above object is an abnormality diagnostic device located within a factory monitoring system, and includes at least one processor; It may include a memory that stores at least one instruction executed through the at least one processor.
  • the at least one command includes: a command for receiving image data about an inspection object from an image sensor; And it may include a command to diagnose whether there is an abnormality in the inspection object using the received image data and a pre-learned artificial intelligence-based diagnostic model.
  • the command for receiving the image data may include a command for receiving image data for the inspection object every preset unit time.
  • the diagnostic model receives image data for the inspection object, determines whether there is an abnormality in the inspection object, and determines the location of the abnormality. and may be pre-trained to output diagnostic result data including one or more of the abnormality types.
  • the command for diagnosing an abnormality in the inspection object may include a command for outputting diagnostic result data based on a comparison result between predefined normal pattern data and the received image data.
  • the command for diagnosing an abnormality in the inspection object includes: a command for calculating an error score based on a comparison result between the normal pattern data and the image data; And when the calculated error score is greater than or equal to a predefined threshold, it may include a command for determining that an abnormal state has occurred in the diagnostic object.
  • the command for diagnosing an abnormality in the inspection object may include a command for comparing pre-stored standard image data with the received image data; A command for correcting the position of a region of interest defined as at least a portion of the received image data based on the comparison result; and a command for diagnosing an abnormality in the inspection object based on the location of the corrected region of interest.
  • the command for diagnosing an abnormality in the inspection object may include a command for comparing pre-stored standard image data with the received image data; Based on the comparison result, a command for deriving a correction function for converting the received image data into the standard image data; a command to correct the received image data using the derived correction function; and a command for inputting the corrected image data into the diagnostic model.
  • the command for diagnosing an abnormality with the inspection object includes: a command for checking the operating state of the inspection object; And when the inspection object is in a stationary state, the received image data may not be input to the diagnostic model, or may include a command to invalidate diagnostic result data output by the diagnostic model.
  • the command for diagnosing an abnormality in the inspection object includes a command for determining that the inspection object is in a normal state when classified as a predefined exception processing type even if the calculated error score is more than a predefined threshold. can do.
  • the at least one command may include a command to collect a plurality of image data determined to be abnormal as a result of diagnosis; A command for extracting feature data for each of the image data; and a command for clustering the image data into a plurality of clusters based on the extracted feature data.
  • the at least one command includes: a command for labeling each of the clusters based on defect type information input by a user; and a command for retraining the diagnostic model using labeled clusters.
  • An abnormality diagnosis method for achieving the above other object is an abnormality diagnosis method using an abnormality diagnosis device located in a factory monitoring system, comprising: receiving image data about an inspection object from an image sensor; And it may include diagnosing whether there is an abnormality in the inspection object using the received image data and a pre-learned artificial intelligence-based diagnostic model.
  • Receiving the image data may include receiving image data for the inspection object every preset unit time.
  • the diagnostic model receives image data for the inspection object, determines whether there is an abnormality in the inspection object, and determines the location of the abnormality. and may be pre-trained to output diagnostic result data including one or more of the abnormality types.
  • Diagnosing whether there is an abnormality in the inspection object may include outputting diagnostic result data based on a comparison result between predefined normal pattern data and the received image data.
  • the step of diagnosing whether there is an abnormality in the inspection object includes calculating an error score based on a comparison result between the normal pattern data and the image data; And when the calculated error score is greater than or equal to a predefined threshold, it may include determining that an abnormal state has occurred in the diagnostic object.
  • Diagnosing whether there is an abnormality in the inspection object may include comparing pre-stored standard image data with the received image data; based on the comparison result, correcting the position of a region of interest defined as at least a portion of the received image data; And it may include diagnosing whether there is an abnormality in the inspection object based on the location of the corrected region of interest.
  • Diagnosing whether there is an abnormality in the inspection object may include comparing pre-stored standard image data with the received image data; Based on the comparison result, deriving a correction function for converting the received image data into the standard image data; correcting the received image data using the derived correction function; and inputting the corrected image data into the diagnostic model.
  • the step of diagnosing whether there is an abnormality in the inspection object includes: checking the operating state of the inspection object; and, when the inspection object is in a stationary state, not inputting the received image data to the diagnostic model or invalidating diagnostic result data output by the diagnostic model.
  • the step of diagnosing whether there is an abnormality in the inspection object includes the step of determining that the inspection object is in a normal state when classified as a predefined exception processing type even if the calculated error score is more than a predefined threshold. can do.
  • the abnormality diagnosis method includes collecting a plurality of image data that are determined to be abnormal as a result of the diagnosis; extracting feature data for each of the image data; and clustering the image data into a plurality of clusters based on the extracted feature data.
  • the abnormality diagnosis method includes: performing labeling for each of the clusters based on defect type information input by a user; and retraining the diagnostic model using labeled clusters.
  • a factory monitoring system for achieving the above still other object includes an image sensor that generates image data for at least a partial area of an inspection object; And it may include an abnormality diagnostic device that receives the image data from the image sensor and diagnoses whether there is an abnormality in the inspection object using the received image data and a pre-trained artificial intelligence-based diagnostic model.
  • FIG. 1 is a block diagram of a factory monitoring system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a factory monitoring system according to another embodiment of the present invention.
  • Figure 3 is a reference diagram for explaining a diagnostic model according to an embodiment of the present invention.
  • Figure 4 is a reference diagram for explaining the operation of a diagnostic model according to an embodiment of the present invention.
  • Figure 5 is an example of a screen of a monitoring terminal for explaining the GUI according to an embodiment of the present invention.
  • 6 to 9 are reference diagrams for explaining an abnormality diagnosis method according to an embodiment of the present invention.
  • Figure 10 is an operation flowchart of an abnormality diagnosis method according to an embodiment of the present invention.
  • Figure 11 is a block diagram of an abnormality diagnosis device according to an embodiment of the present invention.
  • first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
  • a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.
  • the term “and/or” includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • the factory monitoring system according to the present invention is installed in a factory that produces or assembles batteries and performs diagnosis on batteries or battery processing equipment.
  • the scope of the present invention does not extend to these types of inspection objects. It is not limited.
  • FIG. 1 is a block diagram of a factory monitoring system according to an embodiment of the present invention.
  • the factory monitoring system 100 may be configured to include one or more image sensors 110 and an abnormality diagnosis device 120.
  • the image sensor 110 is a device that generates image data for one or more inspection objects 10 located in a factory.
  • the image sensor 110 may correspond to a camera fixed to a specific location.
  • the image sensor 110 may be connected to the abnormality diagnosis device 120 through a network and transmit generated image data to the abnormality diagnosis device 120 .
  • the image sensor 110 may generate image data for a specific area of the inspection object 10 .
  • the image sensor 110 may be installed at a specific location in an assembly facility and configured to photograph a fastening area of a specific bolt.
  • the image sensor 110 may be installed in a facility near the electrolyte injection device and configured to photograph the interior of the electrolyte injection device.
  • the image sensor 110 may generate image data for the inspection object 10 every preset unit time and transmit it to the abnormality diagnosis device 120 .
  • the image sensor 110 may generate 60 image data per second (60fps) and transmit it to the abnormality diagnosis device 120.
  • the factory monitoring system 100 may be configured to include a plurality of image sensors 110.
  • each of the image sensors may be arranged at a predefined location, generate image data for the corresponding inspection object, and transmit the generated image data to the abnormality diagnosis device 120.
  • the image sensor 110 may be configured to have a preset field of view (FOV) depending on the installation location, type of inspection object, diagnostic purpose, etc.
  • FOV field of view
  • an image sensor installed to diagnose a plurality of bolt fastening areas may be configured as a sensor with a wide viewing angle of 160 degrees.
  • an image sensor installed to diagnose mold wear may be configured as a sensor with a narrow viewing angle of 50 degrees.
  • the abnormality diagnosis device 120 is a device that receives image data from the image sensor 110 and diagnoses abnormalities in the inspection object based on the image data.
  • the abnormality diagnosis device 120 can diagnose whether there is an abnormality in the inspection object using the received image data and a predefined diagnostic model.
  • the abnormality diagnosis apparatus 120 may use the received image data and the diagnostic model to generate diagnostic result data including one or more of the presence or absence of an abnormality in the inspection object 10, the location of the abnormality, and the type of the abnormality. For example, the abnormality diagnosis device 120 detects whether an abnormality has occurred due to a change in position, clearance, poor fastening, or wear, and specifies an inspection object in which an abnormal condition has occurred, or a specific location where an abnormal condition has occurred. It may be configured to detect.
  • FIG. 2 is a block diagram of a factory monitoring system according to another embodiment of the present invention.
  • the factory monitoring system 100 may be configured to include one or more image sensors 110, an abnormality diagnosis device 120, a diagnosis model 130, and a monitoring terminal 140. That is, the factory monitoring system 100 may be configured to further include a diagnostic model 130 and a monitoring terminal 140 in addition to the configuration of the factory monitoring system shown in FIG. 1 .
  • the image sensor 110 may generate image data for one or more inspection objects 10 located in a factory and transmit the generated image data to the abnormality diagnosis device 120 .
  • the abnormality diagnosis device 120 can receive image data from the image sensor 110 and diagnose abnormalities in the inspection object using the received image data and the pre-trained artificial intelligence-based diagnostic model 130. there is.
  • the diagnostic model 130 may be configured to receive image data for an inspection object and output diagnostic result data.
  • the diagnostic model 130 receives image data for the inspection object as input data, and determines whether there is an abnormality in the inspection object as output data, and the location of the abnormality. and may correspond to an artificial intelligence-based learning model that is pre-trained to output diagnostic result data including one or more of the abnormality types.
  • the diagnostic model 130 may be generated by the diagnostic model generating device 200.
  • the diagnostic model generating device 200 pre-trains the diagnostic model according to the present invention using a plurality of pre-collected learning data and provides the diagnostic model for which the learning process has been completed to the factory monitoring system 100. .
  • the monitoring terminal 140 is a device that outputs one or more of an image and a diagnosis result for an inspection object.
  • the monitoring terminal 140 receives image data from the image sensor 110, receives diagnostic result data from the abnormality diagnosis device 120, and provides image data and image data through a predefined graphical user interface (GUI). It may be configured to display diagnostic result data.
  • GUI graphical user interface
  • the monitoring terminal 140 outputs image data received every time unit in real time through a display device, and when an abnormal condition occurs in a specific inspection object, the diagnosis result for the inspection object can be output through the display device. .
  • the monitoring terminal 140 is a computing device that outputs images and abnormality information of the inspection object in real time, allowing the operator to check the abnormal state of the inspection object and the location of the abnormality. and abnormal types, etc. can be intuitively identified, and follow-up measures can be taken quickly.
  • Figure 3 is a reference diagram for explaining a diagnostic model according to an embodiment of the present invention.
  • the diagnostic model 130 receives image data 111 received every unit time from the image sensor 110 as input data, and determines whether there is an abnormality in the inspection object, the location of the abnormality, and the type of the abnormality. It may be configured to output diagnostic result data 131 including one or more.
  • the diagnostic model 130 may compare predefined normal pattern data and the received image data 111 and output diagnostic result data based on the comparison result.
  • the diagnostic model generating apparatus 200 may generate normal pattern data based on image data for an inspection object that is in a normal state.
  • the diagnostic model 130 may be pre-trained to compare defined normal pattern data and input image data and output diagnostic result data.
  • the diagnostic model 130 compares image data sequentially input from an image sensor with a normal bolt fastening pattern image derived based on a normally bolted image, and bolts fastened based on the comparison result.
  • Diagnosis result data 131 including whether there is a defect and the location of the defect can be output.
  • Figure 4 is a reference diagram for explaining the operation of a diagnostic model according to an embodiment of the present invention.
  • the diagnostic model 130 may calculate an error score based on a comparison result between normal pattern data and image data.
  • the error score may be defined as data that quantifies the difference between normal pattern data and input image data.
  • the diagnostic model 130 may determine that an abnormal state has occurred in the diagnostic object.
  • the diagnostic model 130 calculates an error score by sequentially comparing image data input every time unit with normal pattern data, and when the error score is greater than a predefined threshold, an abnormal state occurs. It can be decided that For example, as shown in FIG. 4, if the threshold value that is the standard for abnormality is predefined as 1.18, it can be determined that an abnormal state has occurred in the inspection object at the time the image data of the 8700th frame is generated. there is.
  • Figure 5 is an example of a screen of a monitoring terminal for explaining the GUI according to an embodiment of the present invention.
  • the monitoring terminal 140 may display image data received from the image sensor 110 and diagnosis result data received from the abnormality diagnosis device 120 through a predefined GUI.
  • the monitoring terminal 140 can output diagnostic result data for each item through the diagnostic information output window 510 and output an image of the inspection object through the image output window 520. there is.
  • the diagnostic information output window 510 determines whether an abnormality has occurred, the location of the abnormality (for example, the identifier of the inspection object or the image sensor), and the time of the abnormality according to a predefined layout. and may be defined to output information for each abnormality type.
  • the image output window 520 may be defined to output an image of an inspection object.
  • the monitoring terminal 140 may visualize and display (for example, display as a square box) the abnormality occurrence area (A) of the inspection object so that it is distinguished from other areas.
  • the operator displays the abnormal state of the inspection object and the location of the abnormality through the diagnostic information output window 510 and the image output window 520. and abnormal types, etc. can be intuitively identified, and follow-up measures can be taken quickly.
  • FIGS. 6 to 9 are reference diagrams for explaining an abnormality diagnosis method according to an embodiment of the present invention. Below, with reference to FIGS. 6 to 9 , various embodiments that can further improve the diagnostic accuracy of the abnormality diagnosis device will be described.
  • At least some areas of image data received from the image sensor may be predefined as areas of interest.
  • the diagnostic model may be configured to output diagnostic result data by comparing the region of interest with predefined normal pattern data.
  • the angle of the image sensor may be slightly changed due to vibration of the equipment or operator's operating error.
  • the area captured by the image sensor changes, and the area of interest in the image data becomes misaligned. Accordingly, the diagnostic model may misdiagnose that an abnormal state has occurred even though the abnormal state has not occurred.
  • the abnormality diagnosis device can correct the position of the region of interest according to a predefined process in order to prevent misdiagnosis due to the angle of the image sensor being distorted.
  • the abnormality diagnosis device may compare pre-stored standard image data with image data received from an image sensor.
  • the standard image data may correspond to image data for an inspection object in a normal state.
  • the standard image data is pre-stored in the storage device, and the abnormality diagnosis device can sequentially compare the received image data with the pre-stored standard image data.
  • the abnormality diagnosis device may be configured to compare feature points of standard image data and received image data, or to compare positions of objects identified using a predefined object identification algorithm.
  • the abnormality diagnosis apparatus may correct the position of the region of interest in the image data based on the comparison result.
  • the abnormality diagnosis apparatus may correct the position of the region of interest on the image data to the correct position based on the positional difference between feature points or the positional difference between identified objects.
  • the abnormality diagnosis device may diagnose whether there is an abnormality in the test object based on the location of the corrected region of interest. That is, the abnormality diagnosis device may input the location-corrected region of interest into the diagnosis model and output diagnosis result data.
  • the abnormality diagnosis device may compare image data 610 received from an image sensor with previously stored standard image data 620.
  • the abnormality diagnosis device compares the characteristic points of the standard image data 620 and the image data 610, or uses a predefined object identification algorithm to identify the bolt fastening area and determine the positions of the bolt fastening positions.
  • the difference value can be calculated.
  • the abnormality diagnosis apparatus may change the position of the region of interest (ROI) on the image data 610 as shown in FIG. 6 using the calculated position difference value. Thereafter, the abnormality diagnosis apparatus may input the position-corrected region of interest into the diagnosis model and output diagnosis result data.
  • ROI region of interest
  • the characteristics of image data may change due to changes in the surrounding environment of the inspection object. For example, when the lighting around the inspection object is turned off or the lighting brightness changes, characteristic values such as color, brightness, and saturation of the image data may change. Accordingly, the diagnostic model may misdiagnose that an abnormal state has occurred even though the abnormal state has not occurred.
  • the abnormality diagnosis device can correct image data according to a predefined process in order to prevent misdiagnosis due to changes in the surrounding environment of the test object.
  • the abnormality diagnosis device may compare pre-stored standard image data with image data received from an image sensor.
  • the standard image data may correspond to image data for an inspection object in a normal state.
  • the standard image data is pre-stored in the storage device, and the abnormality diagnosis device can sequentially compare the received image data with the pre-stored standard image data.
  • the abnormality diagnosis device may be configured to compare characteristic values (eg, one or more of color, brightness, and saturation) of the received image data with standard image data.
  • characteristic values eg, one or more of color, brightness, and saturation
  • the abnormality diagnosis device may derive a correction function for the image data based on the comparison result.
  • the correction function may be implemented as a data conversion code that converts the received image data into standard image data.
  • the abnormality diagnosis device may diagnose whether there is an abnormality in the inspection object based on the image data corrected according to the correction function. That is, the abnormality diagnosis device can input corrected image data into the diagnosis model and output diagnosis result data.
  • the abnormality diagnosis device divides the standard image data (A) pre-stored in the storage device and the received image data (B or The characteristic values of C) can be compared. If the difference in characteristic values is greater than or equal to a predefined threshold, the abnormality diagnosis device may derive a correction function that can convert the received image data (B or C) into standard image data (A). Thereafter, the abnormality diagnosis device may correct the image data (B or C) based on the derived correction function and then input the corrected image data into the diagnostic model to output diagnostic result data. there is.
  • image data generated by the image sensor may include objects other than the inspection object.
  • a part of the worker's body may be photographed along with the inspection object, as shown in FIG. 8 . Accordingly, the diagnostic model may misdiagnose that an abnormal state has occurred even though the abnormal state has not occurred.
  • the abnormality diagnosis device may correct the diagnosis result or invalidate the diagnosis result according to a predefined process in order to prevent misdiagnosis due to a change in the operating state of the test object.
  • the abnormality diagnosis device can confirm the operating state of the inspection object.
  • the abnormality diagnosis device may check the operating state of the inspection object in conjunction with the inspection object or the control device of the inspection object.
  • the abnormality diagnosis device may check the operating state of the inspection object using a predefined operating state detection algorithm.
  • the diagnostic model may be pre-trained and configured to determine whether the inspection object operates at a normal operating speed by learning the motion image of the inspection object.
  • the abnormality diagnosis device inputs image data received from the image sensor into a pre-learned diagnostic model to determine whether the inspection object is operating at a normal speed or less, thereby confirming whether the inspection object has transitioned to a stationary state. .
  • the abnormality diagnosis device may not input image data received after the point of transition to the stationary state into the diagnosis model, or may invalidate the diagnosis result data by the diagnosis model. .
  • the abnormality diagnosis device may diagnose whether there is an abnormality in the inspection object based on the received image data.
  • the diagnostic model may misdiagnose that an abnormal state has occurred even though the abnormal state has not occurred. These misdiagnosis cases occur at a very low frequency during the process.
  • the abnormality diagnosis device may correct the diagnosis result or invalidate the diagnosis result according to a predefined exception handling process in order to prevent misdiagnosis that occurs at a low frequency.
  • the diagnostic model may be pre-trained and constructed using a supervised learning method to classify image data subject to exception processing into exception processing types.
  • the diagnostic model when classified as an exception processing type by the diagnostic model, even if the calculated error score is more than a predefined threshold, the abnormality diagnostic device determines the test object to be in a normal state or processes the diagnostic result data for free. You can.
  • the diagnostic model can be relearned and updated to improve diagnostic accuracy.
  • the diagnostic model can be updated by relearning labeled image data based on the diagnostic results.
  • the abnormality diagnosis device may collect a plurality of image data determined to be in an abnormal state by a diagnostic model.
  • the abnormality diagnosis apparatus may extract feature data for each of the collected image data and cluster the image data into a plurality of clusters based on the extracted feature data. For example, referring to FIG. 9, a two-dimensional map may be created based on a plurality of features extracted from collected image data, and the image data may be divided into a plurality of clusters (C1) according to the positions of the features on the two-dimensional map. ⁇ C5) can be clustered.
  • each cluster may be labeled based on defect type information input by the operator.
  • C1 may be labeled as [misdiagnosis]
  • C2 may be labeled as [positioning defect]
  • C3 may be labeled as [exception handling]
  • C4 may be labeled as [poor bolting]
  • C5 may be labeled as [poor wear].
  • the abnormality diagnosis device can retrain the diagnosis model using image data labeled for each cluster.
  • the abnormality diagnostic device may transmit labeled image data to the diagnostic model generating device to allow the diagnostic model generating device to relearn the diagnostic model.
  • the abnormality diagnostic device may receive the re-learning diagnostic model from the diagnostic model generating device and update the pre-stored diagnostic model with the received diagnostic model.
  • Figure 10 is an operation flowchart of an abnormality diagnosis method according to an embodiment of the present invention.
  • the image sensor 110 may generate image data 111 for the inspection object 10 every unit time and transmit it to the abnormality diagnosis device 120 (S1010).
  • the abnormality diagnosis device 120 may sequentially input image data 111 received from the image sensor 110 into the pre-trained diagnostic model 130 (S1020).
  • the abnormality diagnosis device 120 uses the diagnostic model 130 to determine whether there is an abnormality in the inspection object and the location of the abnormality. and one or more of the abnormality types can be diagnosed in real time (S1030).
  • the abnormality diagnosis device 120 determines whether there is an abnormality in the inspection object and the location of the abnormality. and diagnostic result data including one or more of the abnormality types may be output (S1040). Here, the abnormality diagnosis device 120 may transmit diagnosis result data to the monitoring terminal 140.
  • the monitoring terminal 140 may synchronize the diagnosis result data transmitted from the abnormality diagnosis device 120 with the image data received from the image sensor 110 and output it through the display device (S1050).
  • Figure 11 is a block diagram of an abnormality diagnosis device according to an embodiment of the present invention.
  • An abnormality diagnosis device 1100 includes at least one processor 1110, a memory 1120 that stores at least one command executed through the processor, and a transmission/reception device that is connected to a network and performs communication. May include device 1130.
  • the at least one command may include: receiving image data for an inspection object from an image sensor; And it may include a command to diagnose whether there is an abnormality in the inspection object using the received image data and a pre-learned artificial intelligence-based diagnostic model.
  • the command for receiving the image data may include a command for receiving image data for the inspection object every preset unit time.
  • the diagnostic model receives image data for the inspection object, determines whether there is an abnormality in the inspection object, and determines the location of the abnormality. and may be pre-trained to output diagnostic result data including one or more of the abnormality types.
  • the command for diagnosing an abnormality in the inspection object may include a command for outputting diagnostic result data based on a comparison result between predefined normal pattern data and the received image data.
  • the command for diagnosing an abnormality in the inspection object includes: a command for calculating an error score based on a comparison result between the normal pattern data and the image data; And when the calculated error score is greater than or equal to a predefined threshold, it may include a command for determining that an abnormal state has occurred in the diagnostic object.
  • the command for diagnosing an abnormality in the inspection object may include a command for comparing pre-stored standard image data with the received image data; A command for correcting the position of a region of interest defined as at least a portion of the received image data based on the comparison result; and a command for diagnosing an abnormality in the inspection object based on the location of the corrected region of interest.
  • the command for diagnosing an abnormality in the inspection object may include a command for comparing pre-stored standard image data with the received image data; Based on the comparison result, a command for deriving a correction function for converting the received image data into the standard image data; a command to correct the received image data using the derived correction function; and a command for inputting the corrected image data into the diagnostic model.
  • the command for diagnosing an abnormality with the inspection object includes: a command for checking the operating state of the inspection object; And when the inspection object is in a stationary state, the received image data may not be input to the diagnostic model, or may include a command to invalidate diagnostic result data output by the diagnostic model.
  • the command for diagnosing an abnormality in the inspection object includes a command for determining that the inspection object is in a normal state when classified as a predefined exception processing type even if the calculated error score is more than a predefined threshold. can do.
  • the at least one command may include a command to collect a plurality of image data determined to be abnormal as a result of diagnosis; A command for extracting feature data for each of the image data; and a command for clustering the image data into a plurality of clusters based on the extracted feature data.
  • the at least one command includes: a command for labeling each of the clusters based on defect type information input by a user; and a command for retraining the diagnostic model using labeled clusters.
  • the abnormality diagnosis device 1100 may further include an input interface device 1140, an output interface device 1150, a storage device 1160, etc. Each component included in the abnormality diagnosis device 1100 is connected by a bus 1170 and can communicate with each other.
  • the storage device 1160 may store a pre-trained diagnostic model.
  • the processor 1110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed.
  • Memory or storage device
  • the memory may be comprised of at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory may consist of at least one of read only memory (ROM) and random access memory (RAM).
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Additionally, computer-readable recording media can be distributed across networked computer systems so that computer-readable programs or codes can be stored and executed in a distributed manner.
  • a block or device corresponds to a method step or feature of a method step.
  • aspects described in the context of a method may also be represented by corresponding blocks or items or features of a corresponding device.
  • Some or all of the method steps may be performed by (or using) a hardware device, such as a microprocessor, programmable computer, or electronic circuit, for example. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 이상 진단 장치는, 공장 모니터링 시스템 내에 위치하는 이상 진단 장치로서, 적어도 하나의 프로세서; 상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함할 수 있다. 여기에서, 상기 적어도 하나의 명령은, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.

Description

인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템
본 출원은 2022년 8월 31일 한국특허청에 제출된 한국 특허 출원 제10-2022-0109750호 및 2023년 7월 13일 한국특허청에 제출된 한국 특허 출원 제10-2023-0090949호의 출원일의 이익을 주장하며, 해당 한국 특허 출원의 문헌에 개시된 모든 내용은 본 명세서에 포함된다.
본 발명은 이상 진단 방법, 이상 진단 장치 및 공장 모니터링 시스템에 관한 것으로, 보다 구체적으로는 인공지능 모델 기반의 진단 모델을 이용해 검사 대상물을 진단하는 이상 진단 방법과, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 에 관한 것이다.
이차 전지는 방전 이후에도 충전을 통해 재사용이 가능한 전지로, 휴대용 전화기, 태블릿 PC, 청소기 등 소형 디바이스의 에너지원으로 활용될 수 있으며, 개인 이동 수단(Personal Mobility), 자동차, 스마트 그리드용 ESS(Energy Storage System) 등의 중대형 에너지원으로서도 활용되고 있다.
이차 전지는 시스템의 요구 조건에 따라 다수의 배터리 셀들이 직병렬로 연결된 배터리 모듈, 또는 배터리 모듈들이 직병렬로 연결된 배터리 팩 등의 어셈블리 형태로 사용된다.
배터리 셀 또는 배터리 어셈블리를 생산하기 위해 다양한 공정들이 요구된다. 여기에서, 생산 라인에 각 공정들을 수행하기 위한 자동화 장비들이 설치되고, 자동화 장비들이 유기적으로 연결됨으로써, 배터리 셀 또는 배터리 어셈블리의 대량 생산이 가능하게 된다.
생산품의 품질을 요구 기준에 만족시키기 위해, 생산 라인 상 주요 가공점에서의 모니터링이 수행된다. 일반적으로, 생산 라인 상 주요 가공점에 설치되는 카메라 장비를 이용한, 영상 기반의 모니터링 시스템(FMVS; Factory Monitoring Visual System)이 활용된다. FMVS의 경우, 작업자가 디스플레이를 통해 출력되는 영상을 육안으로 확인하고 특정 설비 또는 가공점에 대한 이상 여부를 판단하여야 함에 따라, 실시간 공정 관리가 불가능하며, 진단 정확도 측면에서도 한계가 있다.
상기와 같은 문제점을 해결하기 위한 기술로서, 실시간 공정 관리가 가능하며, 진단 정확도를 대폭 향상시킬 수 있는 적절한 공장 모니터링 기술이 필요하다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인공지능 모델 기반의 이상 진단 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 이러한 이상 진단 장치에 의한 이상 진단 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 이러한 이상 진단 장치를 포함하는 공장 모니터링 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이상 진단 장치는, 공장 모니터링 시스템 내에 위치하는 이상 진단 장치로서, 적어도 하나의 프로세서; 상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 이미지 데이터를 수신하는 명령은, 상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 명령을 포함할 수 있다.
상기 진단 모델은, 상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습될 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 명령을 포함할 수 있다.
여기에서, 상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 명령; 및 상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 명령; 및 상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 명령; 상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 명령; 및 상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 검사 대상물의 동작 상태를 확인하는 명령; 및 상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은, 진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 명령; 상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 명령; 및 추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 명령을 더 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 명령; 및 레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 명령을 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이상 진단 방법은, 공장 모니터링 시스템 내에 위치하는 이상 진단 장치에 의한 이상 진단 방법로서, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 단계; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함할 수 있다.
상기 이미지 데이터를 수신하는 단계는, 상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 단계를 포함할 수 있다.
상기 진단 모델은, 상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습될 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 단계를 포함할 수 있다.
여기에서, 상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 단계; 및 상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 단계; 및 상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 단계; 상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 단계; 및 상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 상기 검사 대상물의 동작 상태를 확인하는 단계; 및 상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 단계를 포함할 수 있다.
상기 이상 진단 방법은, 진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 단계; 상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 단계; 및 추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 단계를 더 포함할 수 있다.
여기에서, 상기 이상 진단 방법은, 사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 단계; 및 레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 단계를 더 포함할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 공장 모니터링 시스템은, 검사 대상물의 적어도 일부 영역에 대한 이미지 데이터를 생성하는, 이미지 센서; 및 상기 이미지 센서로부터 상기 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 이상 진단 장치를 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따르면, 공장 내 위치하는 검사 대상물에 대한 실시간 모니터링이 가능하며, 검사 대상물에 대한 진단 정확도를 대폭 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 진단 모델을 설명하기 위한 참조도이다.
도 4는 본 발명의 실시예에 따른 진단 모델의 동작을 설명하기 위한 참조도이다.
도 5는 본 발명의 실시예에 따른 GUI를 설명하기 위한 모니터링 단말의 화면 예시이다.
도 6 내지 9는 본 발명의 실시예에 따른 이상 진단 방법을 설명하기 위한 참조도이다.
도 10은 본 발명의 실시예에 따른 이상 진단 방법의 동작 순서도이다.
도 11은 본 발명의 실시예에 따른 이상 진단 장치의 블록 구성도이다.
10: 검사 대상물
100: 공장 모니터링 시스템
110: 이미지 센서
111; 이미지 데이터
120: 이상 진단 장치
130: 진단 모델
131: 진단 결과 데이터
140: 모니터링 단말
200: 진단 모델 생성 장치
510: 진단 정보 출력 윈도우
520: 이미지 출력 윈도우
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 다양한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 한편, 본 발명에 따른 공장 모니터링 시스템이 배터리를 생산 또는 조립하는 공장에 설치되어 배터리, 또는 배터리 공정 장비에 대한 진단을 수행하는 것을 예시로 하여 설명하나, 본 발명의 범위가 이러한 검사 대상물의 종류에 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명에 따른 공장 모니터링 시스템(100)은, 하나 이상의 이미지 센서(110) 및 이상 진단 장치(120)를 포함하여 구성될 수 있다.
이미지 센서(110)는, 공장 내 위치하는 하나 이상의 검사 대상물(10)에 대한 이미지 데이터를 생성하는 장치이다. 예를 들어, 이미지 센서(110)는, 특정 위치에 고정되어 구성되는 카메라에 해당할 수 있다.
이미지 센서(110)는, 이상 진단 장치(120)와 네트워크를 통해 연결되어, 생성된 이미지 데이터를 이상 진단 장치(120)로 전달할 수 있다.
이미지 센서(110)는, 검사 대상물(10)의 특정 영역에 대한 이미지 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(110)는, 조립 설비의 특정 위치에 설치되어, 특정 볼트의 체결 영역을 촬영하도록 구성될 수 있다. 다른 예를 들어, 이미지 센서(110)는, 전해액 주입 장치의 인근 설비에 설치되어, 전해액 주입 장치의 내부를 촬영하도록 구성될 수 있다.
이미지 센서(110)는, 기설정된 단위 시간마다 검사 대상물(10)에 대한 이미지 데이터를 생성하여 이상 진단 장치(120)로 전달할 수 있다. 예를 들어, 이미지 센서(110)는, 1초당 60개의 이미지 데이터(60fps)를 생성하여 이상 진단 장치(120)로 전달할 수 있다.
공장 모니터링 시스템(100)은, 복수의 이미지 센서(110)를 포함하여 구성될 수 있다. 여기에서, 이미지 센서들 각각은, 기정의된 위치에 배치되고, 대응되는 검사 대상물에 대한 이미지 데이터를 생성하고, 생성된 이미지 데이터를 이상 진단 장치(120)로 전달하도록 구성될 수 있다.
이미지 센서(110)는, 설치 위치, 검사 대상물의 종류, 진단 목적 등에 따라 기설정된 화각(FOV; Field Of View)을 갖도록 구성될 수 있다. 예를 들어, 복수의 볼트 체결 영역에 대한 진단을 위해 설치되는 이미지 센서는, 160도의 넓은 화각을 갖는 센서로 구성될 수 있다. 다른 예를 들어, 금형의 마모에 대한 진단을 위해 설치되는 이미지 센서는, 50도의 좁은 화각을 갖는 센서로 구성될 수 있다.
이상 진단 장치(120)는, 이미지 센서(110)로부터 이미지 데이터를 전달받고, 이미지 데이터를 기초로 검사 대상물에 대한 이상 여부를 진단하는 장치이다. 여기에서, 이상 진단 장치(120)는, 전달받은 이미지 데이터와 기정의된 진단 모델을 이용하여 검사 대상물에 대한 이상 여부를 진단할 수 있다.
이상 진단 장치(120)는, 전달받은 이미지 데이터와 진단 모델을 이용하여, 검사 대상물(10)에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 생성할 수 있다. 예를 들어, 이상 진단 장치(120)는, 위치 변동, 유격 발생, 체결 불량, 마모 발생 등에 대한 이상 발생 여부를 검출하고, 이상 상태가 발생된 검사 대상물을 특정하거나, 이상 상태가 발생된 특정 위치를 검출하도록 구성될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 2를 참조하면, 공장 모니터링 시스템(100)은, 하나 이상의 이미지 센서(110), 이상 진단 장치(120), 진단 모델(130) 및 모니터링 단말(140)을 포함하여 구성될 수 있다. 즉, 공장 모니터링 시스템(100)은, 도 1에 도시된 공장 모니터링 시스템의 구성에, 진단 모델(130) 및 모니터링 단말(140)을 더 포함하여 구성될 수 있다.
이미지 센서(110)는, 공장 내 위치하는 하나 이상의 검사 대상물(10)에 대한 이미지 데이터를 생성하고, 생성된 이미지 데이터를 이상 진단 장치(120)로 전달할 수 있다.
이상 진단 장치(120)는, 이미지 센서(110)로부터 이미지 데이터를 수신하고, 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델(130)을 이용하여 검사 대상물에 대한 이상 여부를 진단할 수 있다.
진단 모델(130)은, 검사 대상물에 대한 이미지 데이터를 입력받아, 진단 결과 데이터를 출력하도록 구성될 수 있다. 여기에서, 진단 모델(130)은, 입력 데이터로서 검사 대상물에 대한 이미지 데이터를 입력받고, 출력 데이터로서 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습된, 인공지능 기반의 학습 모델에 해당할 수 있다.
실시예에서, 진단 모델(130)은, 진단 모델 생성 장치(200)에 의해 생성될 수 있다. 여기에서, 진단 모델 생성 장치(200)는, 사전 수집된 다수의 학습 데이터를 이용해 본 발명에 따른 진단 모델을 사전 학습시키고, 학습 과정이 완료된 진단 모델을 공장 모니터링 시스템(100)에 제공할 수 있다.
모니터링 단말(140)은, 검사 대상물에 대한 이미지 및 진단 결과 중 하나 이상을 출력하는 장치이다. 여기에서, 모니터링 단말(140)은, 이미지 센서(110)로부터 이미지 데이터를 수신하고, 이상 진단 장치(120)로부터 진단 결과 데이터를 수신하여, 기정의된 GUI(Graphical User Interface)를 통해 이미지 데이터와 진단 결과 데이터를 디스플레이하도록 구성될 수 있다.
모니터링 단말(140)은, 시간 단위마다 수신되는 이미지 데이터를 디스플레이 장치를 통해 실시간으로 출력하고, 특정 검사 대상물에 이상 상태가 발생되면, 해당 검사 대상물에 대한 진단 결과를 디스플레이 장치를 통해 출력할 수 있다.
즉, 모니터링 단말(140)은, 검사 대상물의 영상과 이상 정보를 실시간으로 출력하는 컴퓨팅 장치로, 작업자가 검사 대상물의 이상 상태, 이상 발생 위치 및 이상 유형 등을 직관적으로 파악하고, 이에 대한 사후 조치를 신속하게 수행할 수 있도록 지원할 수 있다.
도 3은 본 발명의 실시예에 따른 진단 모델을 설명하기 위한 참조도이다.
도 3을 참조하면, 진단 모델(130)은, 이미지 센서(110)로부터 단위 시간마다 수신되는 이미지 데이터(111)를 입력 데이터로 입력받고, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터(131)를 출력하도록 구성될 수 있다.
여기에서, 진단 모델(130)은, 기정의된 정상 패턴 데이터와 수신된 이미지 데이터(111)를 비교하여, 비교 결과에 기초하여 진단 결과 데이터를 출력할 수 있다. 구체적으로, 진단 모델 생성 장치(200)는, 정상 상태인 검사 대상물에 대한 이미지 데이터들을 기초로 정상 패턴 데이터를 생성할 수 있다. 여기에서, 진단 모델(130)은, 정의된 정상 패턴 데이터와 입력되는 이미지 데이터를 비교하여 진단 결과 데이터를 출력하도록 사전 학습될 수 있다. 예를 들어, 진단 모델(130)은, 이미지 센서로부터 순차적으로 입력되는 이미지 데이터들을, 정상적으로 볼트 체결된 이미지에 기초하여 도출된 정상 상태의 볼트 체결 패턴 이미지와 비교하고, 비교 결과에 기초하여 불트 체결 불량 여부 및 불량 위치를 포함하는 진단 결과 데이터(131)를 출력할 수 있다.
도 4는 본 발명의 실시예에 따른 진단 모델의 동작을 설명하기 위한 참조도이다.
진단 모델(130)은, 정상 패턴 데이터와 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출할 수 있다. 여기에서, 에러 스코어는, 정상 패턴 데이터와 입력되는 이미지 데이터의 차이를 수치화한 데이터로 정의될 수 있다.
산출된 에러 스코어가 기정의된 임계값 이상인 경우, 진단 모델(130)은, 진단 대상물에 이상 상태가 발생한 것으로 판단할 수 있다.
도 4를 참조하면, 진단 모델(130)은, 시간 단위마다 입력되는 이미지 데이터들을 정상 패턴 데이터와 순차적으로 비교하여 에러 스코어를 산출하고, 에러 스코어가 기정의된 임계값 이상인 경우, 이상 상태가 발생한 것으로 결정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 이상 여부의 기준이 되는 임계값이 1.18로 사전 정의된 경우, 8700째 프레임의 이미지 데이터가 생성된 시점에 검사 대상물에 이상 상태가 발생된 것으로 결정될 수 있다.
도 5는 본 발명의 실시예에 따른 GUI를 설명하기 위한 모니터링 단말의 화면 예시이다.
모니터링 단말(140)은, 이미지 센서(110)로부터 수신된 이미지 데이터와, 이상 진단 장치(120)로부터 수신되는 진단 결과 데이터를 기정의된 GUI를 통해 디스플레이할 수 있다.
모니터링 단말(140)은, 도 5에 도시된 바와 같이, 진단 정보 출력 윈도우(510)를 통해 진단 결과 데이터를 항목별로 출력하고, 이미지 출력 윈도우(520)를 통해 검사 대상물에 대한 이미지를 출력할 수 있다.
진단 정보 출력 윈도우(510)는 기정의된 레이아웃에 따라 이상 발생 여부, 이상 발생 위치(예를 들어, 검사 대상물 또는 이미지 센서의 식별자), 이상 발생 시간 및 이상 유형 각각에 대한 정보를 출력하도록 정의될 수 있다.
이미지 출력 윈도우(520)는, 검사 대상물에 대한 이미지를 출력하도록 정의될 수 있다. 여기에서, 모니터링 단말(140)은, 검사 대상물의 이상 발생 영역(A)을 다른 영역과 구분되도록 시각화하여 표시(예를 들어, 사각형 박스로 표시)할 수 있다.
본 발명의 실시예에 따르면, 작업자가 진단 정보 출력 윈도우(510) 및 이미지 출력 윈도우(520)를 통해 검사 대상물의 이상 상태, 이상 발생 위치 및 이상 유형 등을 직관적으로 파악하고, 이에 대한 사후 조치를 신속하게 수행할 수 있도록 지원할 수 있다.
도 6 내지 9는 본 발명의 실시예에 따른 이상 진단 방법을 설명하기 위한 참조도이다. 이하에서는, 도 6 내지 9를 참조하여, 이상 진단 장치에 의한 진단 정확도를 더욱 향상시킬 수 있는 다양한 실시예에 대해 설명한다.
이미지 센서로부터 수신되는 이미지 데이터의 적어도 일부 영역은 관심 영역으로 사전 정의될 수 있다. 여기에서, 진단 모델은, 관심 영역을 기정의된 정상 패턴 데이터와 비교하여 진단 결과 데이터를 출력하도록 구성될 수 있다.
공정 설비가 동작하는 과정에서, 설비의 진동, 또는 작업자의 조작 실수 등으로 인해, 이미지 센서의 각도가 미세하게 변경될 수 있다. 이 경우, 이미지 센서가 촬영하는 영역이 변경되어, 이미지 데이터 상의 관심 영역이 어긋나게 된다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 본 발명의 실시예에 따른 이상 진단 장치는, 이미지 센서의 각도 틀어짐으로 인한 오진단을 방지하기 위하여, 기정의된 프로세스에 따라 관심 영역의 위치를 보정할 수 있다.
구체적으로, 이상 진단 장치는, 기저장된 표준 이미지 데이터와 이미지 센서로부터 수신된 이미지 데이터를 비교할 수 있다. 여기에서, 표준 이미지 데이터는, 정상 상태인 검사 대상물에 대한 이미지 데이터에 해당할 수 있다. 표준 이미지 데이터는, 저장 장치에 사전 저장되고, 이상 진단 장치는, 수신되는 이미지 데이터들을 기저장된 표준 이미지 데이터와 순차적으로 비교할 수 있다.
이상 진단 장치는, 표준 이미지 데이터와 수신된 이미지 데이터의 특징점을 비교하거나, 또는 기정의된 객체 식별 알고리즘을 이용해 식별된 객체의 위치를 비교하도록 구성될 수 있다.
비교 결과에 따른 위치 차이 값이 기정의된 임계값 이상인 경우, 이상 진단 장치는, 비교 결과에 기초하여, 이미지 데이터의 관심 영역의 위치를 보정할 수 있다. 여기에서, 이상 진단 장치는, 특징점들의 위치 차이 또는 식별된 객체들의 위치 차이를 기초로, 이미지 데이터 상 관심 영역을 위치를 정위치로 보정할 수 있다.
이후, 이상 진단 장치는, 보정된 관심 영역의 위치를 기초로 검사 대상물에 대한 이상 여부를 진단할 수 있다. 즉, 이상 진단 장치는, 위치 보정된 관심 영역을 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
예를 들어, 도 6을 참조하면, 이상 진단 장치는, 이미지 센서로부터 수신된 이미지 데이터(610)를 기저장된 표준 이미지 데이터(620)와 비교할 수 있다. 여기에서, 이상 진단 장치는, 표준 이미지 데이터(620)와 이미지 데이터(610)의 특징점을 비교하거나, 또는 기정의된 객체 식별 알고리즘을 이용해, 볼트 체결 영역을 식별하고, 볼트 체결 위치들에 대한 위치 차이 값을 산출할 수 있다. 이후, 이상 진단 장치는, 산출된 위치 차이 값을 이용해 이미지 데이터(610) 상 관심 영역(ROI)의 위치를 도 6과 같이 변경할 수 있다. 이후, 이상 진단 장치는, 위치 보정된 관심 영역을 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
공정 설비가 동작하는 과정에서, 검사 대상물의 주변 환경 변화로 인해 이미지 데이터의 특성이 변화될 수 있다. 예를 들어, 검사 대상물 주변의 조명이 오프되거나, 또는 조명 밝기가 변화되는 경우, 이미지 데이터의 색상, 밝기, 채도 등 특성 값이 변화될 수 있다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 본 발명의 실시예에 따른 이상 진단 장치는, 검사 대상물의 주변 환경 변화로 인한 오진단을 방지하기 위하여, 기정의된 프로세스에 따라 이미지 데이터를 보정할 수 있다.
구체적으로, 이상 진단 장치는, 기저장된 표준 이미지 데이터와 이미지 센서로부터 수신된 이미지 데이터를 비교할 수 있다. 여기에서, 표준 이미지 데이터는, 정상 상태인 검사 대상물에 대한 이미지 데이터에 해당할 수 있다. 표준 이미지 데이터는, 저장 장치에 사전 저장되고, 이상 진단 장치는, 수신되는 이미지 데이터들을 기저장된 표준 이미지 데이터와 순차적으로 비교할 수 있다.
이상 진단 장치는, 표준 이미지 데이터와 수신된 이미지 데이터의 특성 값(예를 들어, 색상, 밝기 및 채도 중 하나 이상)을 비교하도록 구성될 수 있다.
표준 이미지 데이터와 수신된 이미지 데이터 간의 차이가 기정의된 임계값 이상인 경우, 이상 진단 장치는, 비교 결과에 기초하여, 이미지 데이터에 대한 보정 함수를 도출할 수 있다. 여기에서, 보정 함수는 수신된 이미지 데이터를 표준 이미지 데이터로 변환하는 데이터 변환 코드로 구현될 수 있다.
이후, 이상 진단 장치는, 보정 함수에 따라 보정된 이미지 데이터를 기초로 검사 대상물에 대한 이상 여부를 진단할 수 있다. 즉, 이상 진단 장치는, 보정된 이미지 데이터를 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
예를 들어, 도 7을 참조하면, 이미지 센서로부터 수신된 이미지 데이터(B 또는 C)가 수신되면, 이상 진단 장치는, 저장 장치에 사전 저장된 표준 이미지 데이터(A)와 수신된 이미지 데이터(B 또는 C)의 특성 값을 비교할 수 있다. 특성 값의 차이가 기정의된 임계값 이상인 경우, 이상 진단 장치는, 수신된 이미지 데이터(B 또는 C)를 표준 이미지 데이터(A)로 변환할 수 있는 보정 함수를 도출할 수 있다. 이후, 이상 진단 장치는, 이후, 이상 진단 장치는, 도출된 보정 함수를 기초로 이미지 데이터(B 또는 C)를 보정한 후, 보정된 이미지 데이터를 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
공정 설비가 동작하는 과정에서, 공정 설비가 정지 상태로 전환되는 경우 이미지 센서에 의해 생성되는 이미지 데이터에 검사 대상물 이외 다른 객체가 포함될 수 있다. 예를 들어, 공정 설비가 정지되는 경우, 도 8에 도시된 바와 같이, 작업자의 신체 일부가 검사 대상물과 함께 촬영될 수 있다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 본 발명의 실시예에 따른 이상 진단 장치는, 검사 대상물의 동작 상태 전환으로 인한 오진단을 방지하기 위하여, 기정의된 프로세스에 따라 진단 결과를 보정하거나, 진단 결과를 무효화할 수 있다.
구체적으로, 이상 진단 장치는, 검사 대상물의 동작 상태를 확인할 수 있다.
실시예에서, 이상 진단 장치는, 검사 대상물 또는 검사 대상물의 제어 장치와 연동하여 검사 대상물의 동작 상태를 확인할 수 있다.
다른 실시예에서, 이상 진단 장치는, 기정의된 동작 상태 감지 알고리즘을 이용해 검사 대상물의 동작 상태를 확인할 수 있다. 예를 들어, 진단 모델은 검사 대상물의 동작 영상을 학습하여 검사 대상물이 정상 동작 속도로 동작하는지 여부를 판단하도록 사전 학습되어 구성될 수 있다. 여기에서, 이상 진단 장치는, 이미지 센서로부터 수신되는 이미지 데이터들을 사전 학습된 진단 모델에 입력하여 검사 대상물이 정상 속도 이하로 동작되는지를 판단함으로써, 검사 대상물이 정지 상태로 전환되었는지 여부를 확인할 수 있다.
검사 대상물이 정지 상태로 전환된 것으로 확인되는 경우, 이상 진단 장치는, 정지 상태로 전환된 시점 이후에 수신되는 이미지 데이터를 진단 모델에 미입력하거나, 또는 진단 모델에 의한 진단 결과 데이터를 무효화할 수 있다.
이후, 검사 대상물이 정지 상태에서 동작 상태로 전환된 것으로 확인되면, 이상 진단 장치는, 수신되는 이미지 데이터를 기초로 검사 대상물에 대한 이상 여부를 진단할 수 있다.
공정 설비가 동작하는 과정에서, 이전 공정 단계에서의 불량 판정으로 인해 원자재가 공정 설비에 공급되지 않는 경우, 이미지 센서에 의해 생성되는 이미지 데이터에 원자재의 형상이 미포함될 수 있다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 이러한 오진단 케이스는 공정 과정에서 매우 낮은 빈도로 발생된다.
본 발명의 실시예에 따른 이상 진단 장치는, 낮은 빈도수로 발생되는 오진단을 방지하기 위하여, 기정의된 예외 처리 프로세스에 따라 진단 결과를 보정하거나, 진단 결과를 무효화할 수 있다.
구체적으로, 진단 모델은 예외 처리 대상이 되는 이미지 데이터를 예외 처리 유형으로 분류하도록 지도 학습 방식으로 사전 학습되어 구성될 수 있다. 여기에서, 진단 모델에 의해 예외 처리 유형으로 분류되는 경우, 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 이상 진단 장치는, 검사 대상물을 정상 상태로 판단하거나, 또는 진단 결과 데이터를 무료 처리할 수 있다.
본 발명에 따른 진단 모델을 이용한 진단 데이터가 누적되면, 진단 정확도의 향상을 위해, 진단 모델이 재학습되어 갱신될 수 있다. 여기에서, 진단 모델은 진단 결과에 기초하여 레이블링된 이미지 데이터들을 재학습하여 갱신될 수 있다.
우선, 이상 진단 장치는, 진단 모델에 의해 비정상 상태로 판정된 복수의 이미지 데이터들을 수집할 수 있다.
이후, 이상 진단 장치는, 수집된 이미지 데이터들 각각에 대한 특징 데이터(feature data)를 추출하고, 추출된 특징 데이터들을 기초로 이미지 데이터들을 복수의 클러스터들로 군집화할 수 있다. 예를 들어, 도 9를 참조하면, 수집된 이미지 데이터에서 추출된 복수의 특징들을 기초로 2차원 맵이 생성될 수 있으며, 2차원 맵 상의 특징의 위치에 따라 이미지 데이터들이 복수의 클러스터들(C1 ~ C5)로 군집화될 수 있다. 여기에서, 각 클러스터들은 작업자에 의해 입력되는 불량 유형 정보에 기초하여 레이블링될 수 있다. 예를 들어, C1은 [오진단], C2는 [위치 불량], C3는 [예외 처리], C4는 [볼트 체결 불량], C5는 [마모 불량]으로 레이블링될 수 있다.
이상 진단 장치는, 각 클러스터별로 레이블링된 이미지 데이터들을 이용해 진단 모델을 재학습시킬 수 있다. 여기에서, 이상 진단 장치는, 진단 모델 생성 장치에, 레이블링된 이미지 데이터들을 전송하여 진단 모델 생성 장치가 진단 모델을 재학습시키도록 할 수 있다. 재학습이 완료되면, 이상 진단 장치는, 진단 모델 생성 장치로부터 재학습 완료된 진단 모델을 수신하여, 기저장된 진단 모델을 수신된 진단 모델로 갱신할 수 있다.
도 10은 본 발명의 실시예에 따른 이상 진단 방법의 동작 순서도이다.
이미지 센서(110)가, 검사 대상물(10)에 대한 이미지 데이터(111)를 단위 시간마다 생성하여 이상 진단 장치(120)로 전송할 수 있다(S1010).
이상 진단 장치(120)는, 이미지 센서(110)로부터 수신되는 이미지 데이터(111)를 사전 학습된 진단 모델(130)에 순차적으로 입력할 수 있다(S1020).
이상 진단 장치(120)는, 진단 모델(130)을 이용해 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 실시간으로 진단할 수 있다(S1030).
검사 대상물(10)에 이상이 발생한 것으로 판정되면, 이상 진단 장치(120)는, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함한 진단 결과 데이터를 출력할 수 있다(S1040). 여기에서, 이상 진단 장치(120)는, 진단 결과 데이터를 모니터링 단말(140)로 전달할 수 있다.
모니터링 단말(140)은, 이상 진단 장치(120)로부터 전달된 진단 결과 데이터를 이미지 센서(110)로부터 수신된 이미지 데이터와 동기화하여 디스플레이 장치를 통해 출력할 수 있다(S1050).
도 11은 본 발명의 실시예에 따른 이상 진단 장치의 블록 구성도이다.
본 발명의 실시예에 따른 이상 진단 장치(1100)는, 적어도 하나의 프로세서(1110), 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(1120) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(1130)를 포함할 수 있다.
상기 적어도 하나의 명령은, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 이미지 데이터를 수신하는 명령은, 상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 명령을 포함할 수 있다.
상기 진단 모델은, 상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습될 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 명령을 포함할 수 있다.
여기에서, 상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 명령; 및 상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 명령; 및 상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 명령; 상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 명령; 및 상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 검사 대상물의 동작 상태를 확인하는 명령; 및 상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은, 진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 명령; 상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 명령; 및 추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 명령을 더 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 명령; 및 레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 명령을 더 포함할 수 있다.
이상 진단 장치(1100)는 또한, 입력 인터페이스 장치(1140), 출력 인터페이스 장치(1150), 저장 장치(1160) 등을 더 포함할 수 있다. 이상 진단 장치(1100)에 포함된 각각의 구성 요소들은 버스(bus)(1170)에 의해 연결되어 서로 통신을 수행할 수 있다. 저장 장치(1160)는 사전 학습 완료된 진단 모델을 저장할 수 있다.
여기에서, 프로세서(1110)는 중앙처리장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(또는 저장 장치)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기에서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (23)

  1. 공장 모니터링 시스템 내에 위치하는 이상 진단 장치로서,
    적어도 하나의 프로세서;
    상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함하고,
    상기 적어도 하나의 명령은,
    이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및
    상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함하는, 이상 진단 장치.
  2. 청구항 1에 있어서,
    상기 이미지 데이터를 수신하는 명령은,
    상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 명령을 포함하는, 이상 진단 장치.
  3. 청구항 1에 있어서,
    상기 진단 모델은,
    상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습되는, 이상 진단 장치.
  4. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 명령을 포함하는, 이상 진단 장치.
  5. 청구항 4에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 명령; 및
    상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 명령을 포함하는, 이상 진단 장치.
  6. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 명령; 및
    상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함하는, 이상 진단 장치.
  7. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 명령;
    상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 명령; 및
    상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 명령을 포함하는, 이상 진단 장치.
  8. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    상기 검사 대상물의 동작 상태를 확인하는 명령; 및
    상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 명령을 포함하는, 이상 진단 장치.
  9. 청구항 5에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 명령을 포함하는, 이상 진단 장치.
  10. 청구항 1에 있어서,
    진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 명령;
    상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 명령; 및
    추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 명령을 더 포함하는, 이상 진단 장치.
  11. 청구항 10에 있어서,
    사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 명령; 및
    레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 명령을 더 포함하는, 이상 진단 장치.
  12. 공장 모니터링 시스템 내에 위치하는 이상 진단 장치에 의한 이상 진단 방법로서,
    이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 단계; 및
    상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함하는, 이상 진단 방법.
  13. 청구항 12에 있어서,
    상기 이미지 데이터를 수신하는 단계는,
    상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 단계를 포함하는, 이상 진단 방법.
  14. 청구항 12에 있어서,
    상기 진단 모델은,
    상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습되는, 이상 진단 방법.
  15. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 단계를 포함하는, 이상 진단 방법.
  16. 청구항 15에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 단계; 및
    상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 단계를 포함하는, 이상 진단 방법.
  17. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 단계; 및
    상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함하는, 이상 진단 방법.
  18. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 단계;
    상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 단계; 및
    상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 단계를 포함하는, 이상 진단 방법.
  19. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    상기 검사 대상물의 동작 상태를 확인하는 단계; 및
    상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 단계를 포함하는, 이상 진단 방법.
  20. 청구항 16에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 단계를 포함하는, 이상 진단 방법.
  21. 청구항 12에 있어서,
    진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 단계;
    상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 단계; 및
    추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 단계를 더 포함하는, 이상 진단 방법.
  22. 청구항 21에 있어서,
    사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 단계; 및
    레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 단계를 더 포함하는, 이상 진단 방법.
  23. 검사 대상물의 적어도 일부 영역에 대한 이미지 데이터를 생성하는, 이미지 센서; 및
    상기 이미지 센서로부터 상기 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 이상 진단 장치를 포함하는, 공장 모니터링 시스템.
PCT/KR2023/012873 2022-08-31 2023-08-30 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 WO2024049194A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0109750 2022-08-31
KR20220109750 2022-08-31
KR1020230090949A KR20240031018A (ko) 2022-08-31 2023-07-13 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템
KR10-2023-0090949 2023-07-13

Publications (1)

Publication Number Publication Date
WO2024049194A1 true WO2024049194A1 (ko) 2024-03-07

Family

ID=90098298

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012873 WO2024049194A1 (ko) 2022-08-31 2023-08-30 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템

Country Status (1)

Country Link
WO (1) WO2024049194A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210265673A1 (en) * 2020-02-21 2021-08-26 Volkswagen Aktiengesellschaft Battery electrode inspection system
WO2021185404A1 (de) * 2020-03-20 2021-09-23 Schaeffler Technologies AG & Co. KG Verfahren und prüfanlage zum prüfen einer bipolarplatte einer elektrochemischen zelle, insbesondere einer brennstoffzelle
KR20220023726A (ko) * 2020-08-21 2022-03-02 주식회사 리얼타임테크 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
KR20220050255A (ko) * 2020-10-15 2022-04-25 (주)엠오텍 IoT 연계한 전고체전지용 고체 전해질 생산을 위한 글로브 박스 모니터링 시스템
KR20220072303A (ko) * 2020-11-25 2022-06-02 (주)포스텍 인공 지능 기반 공정 인식 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210265673A1 (en) * 2020-02-21 2021-08-26 Volkswagen Aktiengesellschaft Battery electrode inspection system
WO2021185404A1 (de) * 2020-03-20 2021-09-23 Schaeffler Technologies AG & Co. KG Verfahren und prüfanlage zum prüfen einer bipolarplatte einer elektrochemischen zelle, insbesondere einer brennstoffzelle
KR20220023726A (ko) * 2020-08-21 2022-03-02 주식회사 리얼타임테크 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
KR20220050255A (ko) * 2020-10-15 2022-04-25 (주)엠오텍 IoT 연계한 전고체전지용 고체 전해질 생산을 위한 글로브 박스 모니터링 시스템
KR20220072303A (ko) * 2020-11-25 2022-06-02 (주)포스텍 인공 지능 기반 공정 인식 시스템

Similar Documents

Publication Publication Date Title
WO2017022882A1 (ko) 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
WO2014204179A1 (en) Method for verifying bad pattern in time series sensing data and apparatus thereof
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2014193041A1 (ko) 제조 설비의 센서 데이터를 활용한 수율 분석 시스템 및 방법
WO2019146849A1 (ko) 설비 진단 시스템을 이용한 설비 진단 방법
WO2018093076A1 (ko) 아날로그 계측 장비 관리 시스템, 그리고 이를 이용한 아날로그 계측 장비 관리 방법
WO2013042928A1 (ko) 부분방전 결함유형 판정 방법 및 그 장치
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2019164047A1 (ko) 열화상을 이용한 수배전반 모니터링 장치, 방법 및 컴퓨터-판독가능기록매체
WO2018044040A1 (ko) 기기 중요도와 경보 유효성 판단 프로세서를 포함한 원자력발전소 기기 이상징후 사전감지 방법 및 그 시스템
WO2018199630A1 (ko) 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법
WO2023090876A1 (ko) 선제적 풍력발전 유지관리 시스템
WO2024071607A1 (ko) 산업현장 방폭검사용 스마트 플랫폼
WO2024049194A1 (ko) 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템
WO2022114653A1 (ko) 데이터 경계 도출 시스템 및 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2023167498A1 (ko) 배터리 불량 검출 장치, 방법 및 시스템
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
WO2021060772A1 (ko) 머신러닝기반 태양광발전운영 관리시스템 및 관리방법
WO2021071118A1 (ko) 전경 분리 장치 및 방법
WO2022080844A1 (ko) 스켈레톤 분석을 이용한 객체 추적 장치 및 방법
WO2023282500A1 (ko) 슬라이드 스캔 데이터의 자동 레이블링 방법, 장치 및 프로그램
WO2019041319A1 (zh) Wifi功能测试方法、终端设备、系统及存储介质
WO2022114665A1 (ko) 태양전지 셀에 대한 이미지 분류 방법 및 장치
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23860870

Country of ref document: EP

Kind code of ref document: A1