WO2021033791A1 - 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 - Google Patents

제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 Download PDF

Info

Publication number
WO2021033791A1
WO2021033791A1 PCT/KR2019/010501 KR2019010501W WO2021033791A1 WO 2021033791 A1 WO2021033791 A1 WO 2021033791A1 KR 2019010501 W KR2019010501 W KR 2019010501W WO 2021033791 A1 WO2021033791 A1 WO 2021033791A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
candidate
new
training
training data
Prior art date
Application number
PCT/KR2019/010501
Other languages
English (en)
French (fr)
Inventor
태경필
김영욱
박창용
조봉수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/010501 priority Critical patent/WO2021033791A1/ko
Priority to EP19941939.1A priority patent/EP4020380A4/en
Priority to US17/618,235 priority patent/US12051187B2/en
Priority to CN201980097165.6A priority patent/CN113924594A/zh
Priority to KR1020217020515A priority patent/KR20220050083A/ko
Publication of WO2021033791A1 publication Critical patent/WO2021033791A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40577—Multisensor object recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to an AI-based new learning model generation system for vision inspection on a product production line, and more particularly, a product using a training data set used to generate a previously registered existing learning model to create a new learning model. It relates to an AI-based new learning model generation system for vision inspection on a production line.
  • Deep learning one of the artificial intelligence (AI) technologies, refers to a machine learning method based on an artificial neural network that allows machines to learn by simulating a human neuron. Recently, deep learning technology has attracted great attention as it contributes to the development of image recognition, speech recognition, and natural language processing.
  • AI artificial intelligence
  • Korean Laid-Open Patent Publication No. 10-2019-0063839 discloses a “machine vision-based quality inspection method and system utilizing deep learning in a manufacturing process”.
  • the technology disclosed in the above Korean Patent Publication generates a product image for learning, learns a classifier for classifying a good product and a defective product with the generated product image for learning, and determines a product as good or defective using the learned classifier.
  • the deep learning technology includes image data of good and defective products, and label information that records whether the image is a defective image or a good product image, is input to a learning model such as a classifier and learned, It will create a new learning model for
  • the product production line for producing a single product includes a number of processes such as an injection process, a plate process, a sub-assembly process, a gun assembly process, and the result of each process, for example, parts and parts manufactured through injection or plate molding. Vision inspections are conducted for each of the sub-parts produced through the assembly process and products produced through the assembly process.
  • FIG. 1 is a diagram schematically showing an example of a general product production line.
  • the product production line may include an injection process, a plate process, a sub-assembly process, and a gun assembly process.
  • the injection process and plate process parts required for product production are manufactured by injection or plate type, and multiple injection processes or plate processes can be included in one product production line.
  • defects such as dents, cracks, and scratches
  • dent inspection to inspect such defects, It may include crack inspection and scratch inspection processes.
  • the sub-assembly process is a process of assembling parts to produce sub-parts. As shown in FIG. 1, sub-parts may also undergo dent inspection, crack inspection, and scratch inspection, and additionally, missing or misaligned parts ( Assembly defect inspection process such as (miss align) may be included.
  • the assembly process is a process of assembling sub-parts to produce a product, and an appearance inspection process, for example, an appearance inspection process such as adhesion of foreign substances and assembly failure, is in progress.
  • an appearance inspection process for example, an appearance inspection process such as adhesion of foreign substances and assembly failure, is in progress.
  • the dent inspection, crack inspection, and scratch inspection process can also be carried out in the gun barrel process.
  • each learning model should be created and applied according to the result of each process and the type of defect.
  • product production lines are also different for each product, and even if the same injection process exists, the result is different for each product, so a separate learning model must be generated for each product.
  • a product production line is changed to produce a new product, a new learning model suitable for each process and defect type of the new product production line must be created.
  • the determination accuracy of the new learning model can be determined by various factors, and the amount of training data, the selection of hyperparameters that are initially set for training, and the selection of a pre-training model (the same hereinafter) determine the determination accuracy. It is an important factor to decide.
  • the amount of training data especially the amount of defective data, is relatively small, and the determination accuracy of the new learning model generated by learning with a small amount of training data is low. I have no choice but to.
  • the present invention uses the training data set used for the generation of the previously registered existing training model for the creation of a new training model, so that the determination accuracy can be improved when a new learning model having a small amount of training data is generated.
  • the purpose is to provide an AI-based new learning model generation system for vision inspection.
  • learning close to the training image constituting the new training data among the existing training data sets to be added is determined based on the similarity between training images.
  • the purpose is to extract the data set.
  • an object of the present invention is to increase the accuracy of determination when generating a new learning model by increasing the similarity with new learning data using a feature map and a feature point distribution.
  • An object of the present invention is to increase the accuracy of determination of a new learning model by determining a pre-training model to be applied to the generation of a new learning model and determining an additional learning data set as an optimal learning model among the previously registered existing learning models.
  • An object of the present invention is to reduce the time required to determine a pre-training model, increase the efficiency of the decision process, and recommend an optimal pre-training model.
  • a candidate set extraction module from among a plurality of training data sets applied to the training of an existing learning model previously created for vision inspection on a product production line
  • the additional set determination module calculates a degree of similarity between the new training data and the training image of the candidate data set, and determines any one that is equal to or greater than the reference value as the additional training data.
  • the new model generation module may generate a new training model by training the additional training data set and the new training data as a pre-training model.
  • the determination type information may include at least one of defect type information about a type of defect, product type information about a type of a product to be inspected, and part type information about a type of a part to be inspected, each stored in the data storage
  • the training data set of may include model information having at least one of the defect type information, the product type information, and the part type information.
  • the candidate set extraction module may extract the candidate data set by referring to the model information.
  • the candidate set extraction module may extract a candidate data set according to a priority set in the order of the defect type information, product type information, and part type information.
  • the additional set determination module may generate a feature map for the new learning data to calculate a feature point distribution, generate a feature map for a candidate data set to calculate a feature point distribution, and calculate a difference between feature point distributions as similarity. .
  • the AI-based new learning model generation system includes a learning model storage in which a plurality of the existing learning models are stored, a candidate model extraction module that extracts two or more candidate models based on the determination type information, and two or more candidate models.
  • a model determination module may further include a model determination module that calculates determination accuracy by applying new training data to and determines a top candidate model having determination accuracy equal to or greater than a predetermined first reference value as the pre-training model.
  • the model determination module When there is a similar candidate model in which the difference between the determination accuracy of the highest candidate model is within a preset similarity range, the model determination module generates the new training data during the determination process of the highest candidate model and the similar candidate model.
  • the feature point distribution of the feature map is extracted, and any one having a large difference in the feature point distribution may be determined as the pre-training model.
  • the model determination module is pre-trained by using an average value of the difference in distribution of the feature points between the top candidate model and a plurality of training data applied in the process of determining the similar candidate model. You can decide the model.
  • the model determination module extracts the highest n of the determination accuracy criteria as retest candidate models, and selects each of the retest candidate models as a preset number of training data among a plurality of the training data. After training with, a predetermined number of training data among the plurality of training data is input into the learned retest candidate model to determine whether or not the retest candidate model has a determination accuracy of a predetermined second reference value or higher.
  • a candidate model may be determined as the pre-training model.
  • a candidate model whose determination accuracy is less than or equal to a preset lower limit value may be removed from the re-examination candidate model.
  • the model determination module when a similarity retest candidate model in which a difference between the determination accuracy of the highest retest candidate model is within a preset similarity range exists among the plurality of retest candidate models, the highest retest candidate model and the similarity retest candidate model In the determination process of, the feature point distribution of the feature map generated for each of the training data is extracted, and the difference in the feature point distribution between the bad training data and the normal training data among the highest retest candidate model and the similar retest candidate model One can be determined as the pre-training model.
  • the model determination module calculates an average value of the difference in the distribution of the feature points between a preset number of defective training data and normal training data, and pretrains any one of the highest retest candidate model and the similar retest candidate model with the larger average value. Can be determined by model.
  • the difference between the feature point distributions may be calculated through the KL-Divergence algorithm.
  • the AI-based new learning model generation system for vision inspection on a product production line has one or more of the following effects.
  • a large amount of training data can be secured even when a new training model with a small amount of training data is created by using the training data set used to generate the previously registered training model for the creation of a new training model. , It is possible to increase the accuracy of determination of a newly created new learning model.
  • the additional training data set to be added to the creation of the new training model can be determined as the image most similar to the new training data by determining based on the similarity between training images.
  • the similarity is calculated using the feature map and feature point distribution calculated through the pre-training model, and the similarity between the new training data and the similarity can be increased. There is an effect that can increase.
  • the pre-training model to be applied to the generation of the new learning model and the determination of the additional training data set is determined as the optimal learning model among the previously registered existing learning models, thereby increasing the determination accuracy of the new learning model.
  • a candidate model for determining the pre-training model is extracted using decision type information including any one of defect type information, product type information, and part type information, An effect of extracting similar learning models as candidate models is provided.
  • the candidate model determines only some of the new training data, and determines the pre-training model based on the determination accuracy, thereby reducing the time required for determining the pre-training model, The effect of recommending a pre-training model is provided.
  • the pre-training model when the determination accuracy of all of the candidate models is less than or equal to the first reference value, the top n candidate models are extracted as re-test candidate models, and the pre-trained model is trained after retesting as part of the training data.
  • the optimal pre-training model can be recommended while increasing the efficiency of the pre-training model determination process.
  • FIG. 1 is a diagram schematically showing an example of a general product production line.
  • FIG. 2 is a diagram showing the configuration of an AI-based new learning model generation system according to an embodiment of the present invention.
  • 3 and 4 are diagrams for explaining a process of generating a new learning model in an AI-based new learning model generation system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of a feature map and a feature point distribution generated in a similarity calculation process in an AI-based new learning model generation system according to an embodiment of the present invention.
  • 6 to 11 are diagrams for explaining another example of a process of generating a new learning model in the system for generating a new learning model based on AI according to an embodiment of the present invention.
  • the AI-based new learning model generation system for vision inspection on a product production line includes a plurality of training data sets and a data storage storing a plurality of new training data collected to generate a new training model.
  • the data set is applied to the training of an existing learning model that has already been created for vision inspection on the production line;
  • a candidate set extraction module for extracting at least two or more candidate data sets from among the plurality of training data sets based on the determination type information when determination type information for generating a new learning model is input; And calculating a similarity between a new training image included in the new training data and a candidate training image included in the candidate data set, and determining one candidate data set having the similarity greater than or equal to a previously registered reference value as an additional training data set.
  • Additional set determination module and
  • a new model generation module for generating the new learning model by applying the additional training data set and the new training data determined by the additional set determination module to a pre-training model.
  • the AI-based new learning model generation system 100 includes a data storage 130, a candidate model extraction module 161, an additional set determination module 120, and a new And a model generation module 140.
  • the AI-based new learning model generation system 100 includes a data storage 130, a candidate model extraction module 161, an additional set determination module 120, and a new model generation module 140. It may include a main processor 150 that controls the operation of.
  • the main processor 150 includes a hardware configuration such as CPU and RAM for operation of each component, and a software configuration such as an operating system.
  • the data storage 130 stores a plurality of training data sets and a plurality of new training data.
  • training data applied to training of an existing training model previously generated for vision inspection on the product production line 300 are stored corresponding to each training model.
  • the product production line 300 includes various vision inspection processes such as dent inspection, crack inspection, and scratch inspection processes for inspecting defects of parts or products that are the result of each process, respectively.
  • Learning models applied to the vision inspection process of, for example, the learning model for dent inspection, the learning model for crack inspection, and the learning data used when generating the learning model for scratch inspection are stored as a set for each model.
  • a plurality of new learning data stored in the data storage 130 is collected for generation of a new learning model to be generated by the AI-based new learning model generation system 100 according to the present invention. For example, when a new product production line 300 is set up or a line is changed for the production of a new product in an existing product production line 300, defective images and normal images for vision inspection of new products or parts , And learning data including label information on whether it is defective or normal is collected.
  • a plurality of training data sets and new training data are stored in the data storage 130, but a plurality of training data sets and new training data are physically separated in a separate data storage 130. May be provided to be distributed and stored, respectively, and are included in the technical idea of the present invention.
  • the candidate set extraction module 110 extracts at least two or more candidate data sets from among a plurality of training data sets based on the determination type information.
  • the determination type information includes information on whether a new learning model is applied to a vision inspection having a certain product or part, or a defect type.
  • the defect type information about the type of defect and the type of the product to be inspected For example, including at least one of product type information and part type information on the type of part to be inspected.
  • each training data set stored in the data storage 130 may include model information having at least one of defect type information, product type information, and part type information.
  • the candidate set extraction module 110 extracts a candidate data set from among the training data sets by referring to model information of each training data set.
  • the candidate set extraction module 110 extracts a preset number of training data sets as candidate data sets according to a priority set in the order of defect type information, part type information, and product type information. For example, when determination type information including a dent as defect type information, a smartphone as product type information, and a case as part type information is input, the candidate set extraction module 110 primarily extracts a training data set corresponding to the distortion. And, if the number of extracted training data sets is more than a preset number, a preset number of candidate data sets is extracted through a method of secondarily extracting a training data set corresponding to a smartphone among them.
  • the additional set determination module 120 calculates a similarity between a new training image included in the new training data and a candidate training image included in the candidate data set. In addition, the additional set determination module 120 determines one candidate data set whose similarity is equal to or greater than a pre-registered reference value as an additional learning data set.
  • the new model generation module 140 applies the training data constituting the additional training data set determined by the additional set determination module 120 and the new training data to the pre-training model, and learns new through training of the pre-training model. Create a model.
  • a candidate data set is extracted using decision type information and included in the candidate data set.
  • a candidate data set having a high similarity to the new training data is determined as an additional training data set and used to create a new training model, thereby increasing the accuracy of determination even when creating a new training model with a small amount of training data. You will be able to.
  • the determination type information may include at least one of defect type information, product type information, and part type information, as described above.
  • the candidate set extraction module 110 When the determination type information is input (S31), the candidate set extraction module 110 performs a process of determining an additional learning data set based on the determination type information (S32).
  • the candidate set extraction module 110 refers to model information of each training data set stored in the data storage 130 according to the determination type information, and a preset number of the plurality of training data sets A candidate data set is extracted (S321).
  • the candidate set extraction module 110 generates a feature map for calculating the similarity (S322).
  • the candidate set extraction module 110 generates a new image feature map from a preset number of new training images among a plurality of new training data, and learns a preset number of candidates from among a plurality of training data constituting the candidate data set.
  • a candidate image feature map is generated from an image.
  • a preset feature map generation algorithm may be applied to the feature map generation, and a feature map may be generated through learning of a pre-training model, which will be described later.
  • FIG. 5 is a diagram showing an example of a feature map and feature point distribution generated in a similarity calculation process in the AI-based new learning model generation system 100 according to an embodiment of the present invention.
  • the left image of FIG. 5A is bad learning data
  • the right image is normal learning data
  • the left image of (b) is a characteristic map for bad learning data
  • the right image is a characteristic map for normal learning data.
  • the image on the left in (c) is the feature point distribution of the feature map for the poor learning data
  • the right image is the feature point distribution of the feature map for the normal learning data.
  • the similarity between bad training data is compared or the similarity between normal training data. For example, when images of normal products are similar, it is preferable to calculate a similarity between normal training data, and when images of defective products are similar, it is preferable to compare similarities between poor training data to determine an additional training data set.
  • the difference between the new feature point distribution and the candidate feature point distribution is calculated as a degree of similarity (S324).
  • S324 degree of similarity
  • the candidate set extraction module 110 determines one candidate data set having a similarity greater than or equal to a preset reference value as an additional learning data set (S326).
  • the candidate set extraction module 110 may end the process of determining the additional learning data set due to a determination failure (S327).
  • the distribution of the feature points of the feature map generated during the training process of the actual training model is applied to the similarity comparison, thereby adding to the new training model.
  • An image that is more similar to the new training data in the training data set can be selected, thereby providing an effect of increasing the determination accuracy of the new training model.
  • the new model generation module 140 trains the pre-training model by inputting training data constituting the additional training data set and the new training data into the pre-training model. (S33). Then, a new learning model is finally generated through learning of the pre-training model (S34).
  • the AI-based new learning model generation system 100 may further include a pre-training module determination module 160 and a training model storage 170. have.
  • the learning model storage stores a plurality of existing learning models for vision inspection on the product production line 300.
  • the existing learning model stored in the learning model storage may be matched to each learning data set stored in the data storage 130 and stored. That is, when the learning model for dent inspection of a specific part is stored in the learning model storage, training data applied when the learning model for dent inspection is generated may be stored as a training data set.
  • the existing learning model may include model information having at least one of defect type information, part type information, and product type information corresponding to the training data set, which will be described later.
  • the pre-training module determination module 160 determines a pre-training model to apply one of the existing learning models stored in the training model storage 170 in the new model generation module 140 and the additional set determination module 120. In the present invention, it is assumed that the pre-training module determination module 160 includes a candidate model extraction module 161 and a model determination module 162.
  • the candidate model extraction module 161 extracts at least two or more candidate models from among a plurality of existing training data based on the determination type information. And, the model determination module 162 determines the acceptance by inputting a preset number of new training data among the new training data stored in the data storage 130 by each candidate model, and the determination accuracy of each candidate model is preset. A top candidate model that is equal to or greater than the first reference value is determined as a pre-training model.
  • the candidate model extraction module 161 is an existing learning model stored in the learning model storage.
  • the existing training model that was created to check the defect type that is the same as the defective type information is retrieved and extracted as a candidate model.
  • the candidate model extraction module 161 is based on the model information registered for each of the existing learning models, as described above, according to the priority set in the order of defect type information, part type information, and product type information. A set number of existing learning models can be extracted as candidate models.
  • the existing learning model that tested for defects in the form most similar to the new learning model among a plurality of existing learning models stored in the learning model storage can be extracted as a candidate model, which is finally selected in the subsequent process. It is possible to increase the accuracy of determination of a new learning model generated by using the pre-training model.
  • the model determination module 162 extracts a preset number of training data from training data stored in the data storage 130. For example, assuming that 1000 new training images are stored as new training data, if all 1000 new training data are used to calculate the determination accuracy, it takes a lot of time to determine a pre-training model. Accordingly, by extracting 200 new training images of a preset number, for example, 20%, and using them to calculate the determination accuracy, it is possible to reduce the time required to determine the pre-training model.
  • the model determination module 162 inputs 200 pieces of new training data into each candidate model to determine a good or bad decision, and calculates a determination accuracy based on label information of each new training data. In addition, the model determination module 162 determines the highest candidate model among candidate models whose determination accuracy is equal to or greater than the first reference value as a pre-training model for generating a new learning model.
  • the first reference value is set to 80%, but the technical idea of the present invention is not limited thereto.
  • the learning model most similar to the new learning model among the existing learning models applied to the various product production lines 300 can be extracted as a candidate model, and the extracted candidate model determines whether or not the training data is acceptable. Accordingly, the highest candidate model among candidate models having a determination accuracy equal to or greater than the first reference value is recommended as a pre-training model, thereby providing an effect of increasing the determination accuracy of a new learning model to be generated later.
  • a pre-training model is determined by the pre-training module determination module 160, and the determined pre-training model is applied to a process of determining an additional training data set and a process of generating a new learning model. .
  • steps S60 and S61 correspond to steps S30 and S31 shown in FIG. 3, and detailed descriptions thereof will be omitted.
  • FIGS. 7 to 9 are diagrams for explaining an example of a process of determining a pre-training model in the AI-based new learning model generation system 100 according to an embodiment of the present invention.
  • the candidate model extraction module 161 extracts a candidate model by referring to model information of an existing learning model stored in the learning model storage based on the determination type information input in step S61 (S71). .
  • a method for the candidate model extraction module 161 to extract a preset number of candidate models from the existing training data is as described above.
  • FIG. 8 is a diagram for explaining a first (1st) determination accuracy evaluation process performed by the model determination module 162.
  • the model determination module 162 extracts a preset number (i) of new training data from among the new training data stored in the data storage 130 (S721). Then, the model determination module 162 causes each candidate model to determine good or bad with the extracted I training data (S722), and the determination of each candidate model based on the determination result and label information of each new training data. The accuracy is calculated (S723).
  • each candidate model is greater than or equal to the first reference value (S73), and the highest candidate model among the candidate models whose determination accuracy is greater than or equal to the first reference value is determined as a pre-training model. (S74).
  • step S73 is a diagram for explaining a second determination accuracy evaluation process performed by the model determination modules 162 and 130.
  • the model determination module 162 extracts the highest n candidate models based on the determination accuracy calculated in step S72 as the retest candidate models (S751). For example, in a state in which 10 candidate models are extracted, if all of the 10 candidate models have a determination accuracy of 80% or less, the top 5 candidate models are extracted as retest candidate models.
  • a candidate model with the determination accuracy of the n retest candidate models less than a preset lower limit value exists (S752), and a candidate model with determination accuracy less than the lower limit value is retested. It is excluded from the candidate model (S753). For example, assuming that the lower limit is set to 60%, if two of the five retest candidate models have a determination accuracy of 60% or less, only three candidate models may be extracted as retest candidate models.
  • candidate models with a judgment accuracy less than the lower limit are excluded from the secondary judgment accuracy evaluation process, thereby reducing the time required for the secondary judgment accuracy evaluation process, while excluding candidate models that are unlikely to be determined as pre-trained models in advance. Thus, it is possible to increase the efficiency of the model decision process.
  • the model determination module 162 extracts a preset number (j) of new training data from the data storage 130 (S754). Then, the model determination module 162 trains each retest candidate model using the extracted j new training data (S755).
  • the model determination module 162 extracts a preset number (k) of new training data from the data storage 130 (S756), and learns the extracted k new training data.
  • Each completed re-examination candidate model is made to determine good or bad (S757), and the determination accuracy of each re-examination candidate model is calculated based on the determination result and label information of each new learning data (S758).
  • the candidate models below the first reference value are trained as part of the new training data for the generation of the actual new learning model in the first judgment accuracy evaluation process (S72), and then the judgment accuracy is reevaluated. It improves the likelihood that the existing learning model suitable for is extracted as the pre-training model.
  • the determination accuracy of the retest candidate models is calculated through the secondary determination accuracy evaluation process, it is determined whether the determination accuracy of each retest candidate model is greater than or equal to the second reference value (S76), and the determination Among the retest candidate models having accuracy equal to or greater than the second reference value, the highest retest candidate model is determined as a pre-training model (S77). On the other hand, if there is no candidate model for re-examination having a determination accuracy equal to or greater than the second reference value, it may be determined as a recommendation failure (S78).
  • the second reference value may be set relatively higher than the first reference value. For example, as described above, when the first reference value is set to 80%, the second reference value may be set to 90%. This reflects that the retest candidate model to which the second reference value is applied may be trained with new training data to be applied when the actual new training model is generated, so that the accuracy in determining the new training data can be improved.
  • a pre-training model is primarily determined from a candidate model with high decision accuracy, and when the decision accuracy is lower than the first reference value, the top n candidate models are trained with new training data, and then the decision accuracy is calculated.
  • FIGS. 10 and 11 are views for explaining another example of a process of determining a pre-training model in the AI-based new learning model generation system 100 according to an embodiment of the present invention.
  • the embodiments shown in FIGS. 10 and 11 are modified examples of the embodiments shown in FIGS. 7 to 9, and descriptions of configurations corresponding to each other may be omitted.
  • the candidate model extraction module 161 extracts a candidate model by referring to model information of an existing learning model stored in the learning model storage based on the determination type information (S12). ).
  • the candidate model extraction method by the candidate model extraction module 161 is as described above.
  • the model determination module 162 When the candidate models are extracted, the model determination module 162 performs a determination accuracy evaluation process (1st) for each candidate model (S13).
  • the process of evaluating the determination accuracy by the model determination module 162 corresponds to the embodiment illustrated in FIG. 8, and a description thereof will be omitted.
  • the determination accuracy of each candidate model is calculated through the primary determination accuracy evaluation process, it is determined whether the determination accuracy of each candidate model is greater than or equal to the first reference value (S14). In this case, if there is a similar candidate model in which the difference between the determination accuracy of the highest candidate model equal to or greater than the first reference value is within a preset similarity range, a comparison process of the similar candidate model is performed (S91).
  • a feature map is generated for each of the training data in a process in which the candidate model determines training data based on deep learning.
  • a feature point distribution which is a probability distribution, can be extracted from the feature map.
  • the feature map and feature point distribution are extracted for the normal training data and the bad training data among the training data.
  • An example of a feature map and a feature point distribution for the normal learning data and the bad learning data is shown in FIG. 5.
  • the distribution of the feature points between the bad learning data and the normal training data represents a difference
  • the increase in the difference between the two feature point distributions means that the learning model can easily extract the feature map from the original image. As a result, it is possible to increase the determination accuracy of the final learning model.
  • the candidate model is considered as a similar candidate model. It is extracted, and the determination accuracy may vary depending on the sampling process and the number of extracted new training data to calculate the determination accuracy. Accordingly, since it may not be possible to conclude that any of the top-level candidate models and the similar candidate models within the similarity range is optimal, the optimal pre-training model is determined using the feature point distribution.
  • an example of calculating a difference value of a distribution of feature points between the bad training data and the normal training data among the top-level training model and the similar candidate models (S914), and determining any one with a large difference as a pre-training model.
  • a predetermined number of bad learning data and normal learning data are extracted from among a plurality of new learning data applied in the process of determining the top candidate model and the similar candidate model, and the difference value of the distribution of feature points between the bad learning data and the normal learning data
  • an average value is calculated (S915).
  • the average value of the top candidate model and the average value of the similar candidate model are compared (S916), and if the average value of the top candidate model is large, the top candidate model is selected (S917), and if the average value of the similar candidate model is large, the similar candidate model is selected. (S918), it is determined as a pre-training model (S15 in Fig. 10).
  • the difference value of the feature point distribution an algorithm capable of calculating the difference in the probability distribution may be applied, and the present invention assumes that the difference value is calculated through the KL-Divergence algorithm.
  • the model determination module 162 performs a second (2nd) determination accuracy evaluation process when the determination accuracy of all candidate models is less than or equal to the first reference value in step S14 (S16).
  • the secondary determination accuracy evaluation process corresponds to the embodiment shown in FIG. 9 and a detailed description thereof is omitted.
  • each retest candidate model When the determination accuracy of each retest candidate model is calculated through the secondary determination accuracy evaluation process, it is determined whether the determination accuracy of each retest candidate model is greater than or equal to the second reference value (S17). In this case, if there is a similar re-examination candidate model in which a difference between the determination accuracy of the highest re-examination candidate model equal to or greater than the second reference value is within a preset similarity range, a process of comparing the similar re-examination candidate models is performed (S92).
  • the process of comparing the similar candidate models for re-examination corresponds to the process of comparing the similar candidate models shown in FIG. 11. Specifically, when there is a similar re-examination candidate model in which the difference between the determination accuracy of the highest re-examination candidate model is within the similar range (see S911), a feature map of the highest re-examination candidate model and the similar re-examination candidate model is extracted (see S912). ). Then, the feature point distribution of the feature map is extracted (see S913).
  • the average value is calculated (see S915). And, by comparing the average value of the top-level re-examination candidate model with the average value of the similar re-examination candidate model (see S916), if the average value of the top-level re-examination candidate model is large, the top-level re-examination candidate model is selected (refer to S917), and the average value of the similar re-examination candidate model is If large, a similar retest candidate model is selected (see S918) and determined as a pre-training model (S18).
  • the final pre-training model is determined using the feature point distribution of the feature map. By determining, it is possible to determine the pre-training model for a learning model that is closer to the new learning model.
  • a process of determining an additional training data set is performed (S62).
  • the process of determining the additional training data set is the same as in the embodiment shown in FIG. 4, and in the process of generating a characteristic map of the candidate training data set and the new training data in the embodiment shown in FIG.
  • the pre-training model determined in step S70 is applied. That is, the pre-training model extracted as the most suitable for the creation of the new learning model is applied to the creation of the feature map in the process of determining the training data set to be added for the creation of the new learning model, thereby learning the most similar to the new training data. You will be able to determine the data set.
  • a new training model is generated using the pre-training model determined in step S70 of FIG. 6.
  • the new training data and the training data constituting the additional training data set are By learning through the training model, it is possible to solve the problem of deterioration in decision accuracy that occurs when learning using a small amount of new training data.
  • training model storage 300 product production line
  • the present invention can be applied to the field of vision inspection for the result of each production process of a product production line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에서는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용되었던 복수의 학습 데이터 세트 중 후보 세트 추출 모듈이 판정 유형 정보에 기초하여 2 이상의 후보 데이터 세트를 추출한다. 그리고, 추가 세트 결정 모듈이 신규 학습 데이터와 후보 데이터 세트의 학습 이미지 간의 유사도를 산출하여, 기준값 이상인 어느 하나를 추가 학습 데이터로 결정한다. 그리고, 신규 모델 생성 모듈이 추가 학습 데이터 세트와 신규 학습 데이터를 사전 훈련 모델로 학습시켜 신규 학습 모델을 생성할 수 있다. 이를 통해, 적은 량의 신규 학습 데이터로 신규 학습 모델을 생성할 때, 신규 학습 데이터와 유사한 기존의 학습 데이터 세트가 추가적으로 학습에 적용되어 신규 학습 모델의 판정 정확도를 높일 수 있다.

Description

제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템
본 발명은 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에 관한 것으로서, 보다 상세하게는 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 이용하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에 관한 것이다.
AI(Artificial intelligence) 기술의 하나인 딥러닝(Deep learning) 기술은 사람의 신경 세포(Biological Neuron)를 모사하여 기계가 학습하도록 하는 인공 신경망(Artificial Neural Network) 기반의 기계 학습 방법을 의미한다. 최근, 딥러닝 기술은 이미지 인식, 음성 인식, 자연어 처리의 발전에 기여하면서 크게 주목받고 있다.
이와 같은 딥러닝 기술은 근래에 제품 생산 라인에서의 비전 검사(Vision inspection)에도 적용되고 있다. 일 예로, 한국공개특허공보 제10-2019-0063839호에는 “제조공정에서 딥러닝을 활용한 머신 비전 기반 품질 검사 방법 및 시스템”이 개시되어 있다.
상기 한국공개특허공보에 개시된 기술은 학습용 제품 영상을 생성하고, 생성된 학습용 제품 영상으로 양품과 불량품을 구분하기 위한 분류기를 학습시키며, 학습된 분류기를 이용하여 제품을 양품 또는 불량품으로 판정하고 있다.
상기 한국공개특허공보에 개시된 기술과 같이 딥러닝 기술은 양품과 불량품의 이미지 데이터와, 해당 이미지가 불량품 이미지인지 아니면 양품 이미지인지를 기록한 레이블 정보가 분류기와 같은 학습 모델에 입력되어 학습되어, 양불 검사를 위한 새로운 학습 모델을 생성하게 된다.
일반적으로 제품 생산 라인에서는 다양한 형태의 불량 검사가 진행된다. 하나의 제품을 생산하기 위한 제품 생산 라인에는 사출 공정, 판형 공정, 서브 조립 공정, 총조 공정 등 다수의 공정이 포함되어 있고, 각 공정에서의 결과물, 예컨대, 사출이나 판형을 통해 제조된 부품, 부품의 조립 공정을 통해 생산된 서브 부품, 그리고 총조 공정을 통해 생산되는 제품, 각각에 대해 비전 검사가 진행된다.
도 1은 일반적인 제품 생산 라인의 예를 개략적으로 나타낸 도면이다.
도 1을 참조하여 설명하면, 제품 생산 라인은 사출 공정, 판형 공정, 서브 조립 공정, 총조 공정을 포함할 수 있다. 사출 공정, 판형 공정은 제품 생산에 필요한 부품을 사출이나 판형 방식으로 제조하는데, 하나의 제품 생산 라인에 다수의 사출 공정이나 판형 공정이 포함될 수 있다.
사출 공정이나 판형 공정을 통해 제작된 부품에서는 다양한 형태의 불량, 예를 들어, 찌그러짐(Dent), 갈라짐(Crack), 긁힘(Scratch) 등의 불량이 존재하고, 이러한 불량을 검사하기 위한 dent 검사, crack 검사, scratch 검사 과정을 포함할 수 있다.
서브 조립 공정은 부품을 조립하여 서브 부품을 생산하는 공정으로, 서브 부품 또한, 도 1에 도시된 바와 같이, dent 검사, crack 검사, scratch 검사 과정을 거칠 수 있으며, 추가적으로 부품 누락이나 미스 얼라인(Miss align)과 같은 조립 불량 검사 과정을 포함할 수 있다.
총조 공정은 서브 부품들을 조립하여 제품을 생산하는 공정으로, 외관 검사 과정, 예를 들어, 이물질 부착, 조립 불량 등의 외관 검사 과정이 진행된다. 총조 공정에서도 dent 검사, crack 검사, scratch 검사 과정을 거칠 수 있다.
그런데, 각 공정에 따라 결과물이 달라 학습 데이터로 사용될 이미지의 형태가 다르고, 동일한 불량 유형이라도 결과물에 따라 불량의 형태가 다를 수 있고 그 배경이 되는 결과물 자체도 달라 결과적으로 이미지의 형태가 다르게 되는 바, 이론적으로 각 공정의 결과물과 불량의 유형에 따라 각각의 학습 모델을 생성하여 적용하여야 한다.
또한, 다양한 제품군을 생산하는 제조업체의 경우, 제품별로 제품 생산 라인도 달라지고, 동일한 사출 공정이 존재하더라도 제품별로 그 결과물이 달라져서 제품별로도 별도의 학습 모델을 생성하여야 한다. 마찬가지로, 새로운 제품 생산을 위해 제품 생산 라인이 바뀌게 되면, 새로운 제품 생산 라인의 각 공정 및 불량 유형에 맞는 신규 학습 모델을 생성하여야 한다.
여기서, 신규 학습 모델의 판정 정확도는 다양한 요소에 의해 결정될 수 있는데, 학습 데이터의 양, 학습 초기 설정되는 하이퍼 파라미터의 선정, 사전 훈련 모델(Pre-training model, 이하 동일)의 선정 등이 판정 정확도를 결정하는 중요한 요소이다.
그러나, 새로운 제품 생산 라인에 적용될 신규 학습 모델의 경우, 학습 데이터의 양, 특히 불량 데이터의 양이 상대적으로 적을 수 밖에 없고, 적은 양의 학습 데이터로 학습되어 생성되는 신규 학습 모델의 판정 정확도는 낮을 수 밖에 없다.
본 발명은 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 이용하여, 적은 량의 학습 데이터를 갖는 신규 학습 모델의 생성시 판정 정확도를 높일 수 있는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템을 제공하는데 목적이 있다.
본 발명은 신규 학습 모델의 생성에 추가될 기존의 학습 데이터 세트를 결정하는데 있어, 학습 이미지 간의 유사도를 기준으로 판단하여, 추가될 기존의 학습 데이터 세트 중 신규 학습 데이터를 구성하는 학습 이미지에 근접한 학습 데이터 세트를 추출하도록 하는데 목적이 있다.
본 발명은 유사도 판정에 있어, 특성 맵과 특징점 분포를 이용하여 신규 학습 데이터와의 유사도를 높여 신규 학습 모델의 생성시 판정 정확도를 높이는데 목적이 있다.
본 발명은 신규 학습 모델의 생성과 추가 학습 데이터 세트의 결정에 적용될 사전 훈련 모델을 기 등록된 기존 학습 모델 중 최적의 학습 모델로 결정하여, 신규 학습 모델의 판정 정확도를 높이는데 목적이 있다.
본 발명은 사전 훈련 모델을 결정하는데 소요되는 시간을 줄이고, 결정 과정의 효율성을 높이면서도, 최적의 사전 훈련 모델을 추천하는데 목적이 있다.
본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템에서는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용되었던 복수의 학습 데이터 세트 중 후보 세트 추출 모듈이 판정 유형 정보에 기초하여 2 이상의 후보 데이터 세트를 추출하고, 추가 세트 결정 모듈이 신규 학습 데이터와 후보 데이터 세트의 학습 이미지 간의 유사도를 산출하여, 기준값 이상인 어느 하나를 추가 학습 데이터로 결정한다. 그리고, 신규 모델 생성 모듈이 추가 학습 데이터 세트와 신규 학습 데이터를 사전 훈련 모델로 학습시켜 신규 학습 모델을 생성할 수 있다.
상기 판정 유형 정보는 불량의 유형에 대한 불량 유형 정보, 검사 대상 제품의 유형에 대한 제품 유형 정보, 검사 대상 부품의 유형에 대한 부품 유형 정보 중 적어도 하나를 포함할 수 있고, 상기 데이터 스토리지에 저장된 각각의 상기 학습 데이터 세트는 상기 불량 유형 정보, 상기 제품 유형 정보 및 상기 부품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함할 수 있다. 이 때, 상기 후보 세트 추출 모듈은 상기 모델 정보를 참조하여 상기 후보 데이터 세트를 추출할 수 있다.
상기 후보 세트 추출 모듈은 상기 불량 유형 정보, 제품 유형 정보 및 부품 유형 정보의 순으로 설정된 우선 순위에 따라 후보 데이터 세트를 추출할 수 있다.
상기 추가 세트 결정 모듈은 상기 신규 학습 데이터에 대한 특성 맵을 생성하여 특징점 분포를 산출하고, 후보 데이터 세트에 대한 특성 맵을 생성하여 특징점 분포를 산출하여, 특징점 분포 간의 차이를 유사도로 산출할 수 있다.
본 발명에 따른 AI 기반의 신규 학습 모델 생성 시스템은 복수의 상기 기존 학습 모델이 저장된 학습 모델 스토리지와, 상기 판정 유형 정보에 기초하여 2 이상의 후보 모델을 추출하는 후보 모델 추출 모듈, 및 2 이상의 후보 모델에 신규 학습 데이터를 적용하여 판정 정확도를 산출하고, 기 설정된 제1 기준값 이상의 판정 정확도를 갖는 최상위 후보 모델을 상기 사전 훈련 모델로 결정하는 모델 결정 모듈을 더 포함할 수 있다.
상기 모델 결정 모듈은 상기 최상위 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 후보 모델이 존재하는 경우, 상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에서 상기 신규 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고, 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정할 수 있다.
상기 모델 결정 모듈은 상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에 적용된 복수의 학습 데이터 중 임의로 선택된 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 이용하여 사전 훈련 모델을 결정할 수 있다.
상기 모델 결정 모듈은 상기 판정 정확도가 상기 제1 기준값 이하인 경우, 상기 판정 정확도 기준 상위 n개를 재검 후보 모델로 추출하고, 각각의 상기 재검 후보 모델을 복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터로 학습시킨 후, 복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터를 학습된 상기 재검 후보 모델에 입력하여 양불을 판정하여, 각각의 상기 재검 후보 모델의 판정 정확도가 기 설정된 제2 기준값 이상인 최상위 재검 후보 모델을 상기 사전 훈련 모델로 결정할 수 있다.
상기 모델 결정 모듈은 상기 재검 후보 모델을 추출할 때 상기 판정 정확도가 기 설정된 하한값 이하인 후보 모델은 상기 재검 후보 모델에서 제거할 수 있다.
상기 모델 결정 모듈은 복수의 상기 재검 후보 모델 중 상기 최상위 재검 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델의 판정 과정에서 각각의 상기 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정할 수 있다.
상기 모델 결정 모듈은 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 산출하여, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 상기 평균값이 큰 어느 하나를 상기 사전 훈련 모델로 결정할 수 있다.
상기 특징점 분포 간의 차이는 KL-Divergence 알고리즘을 통해 산출될 수 있다.
본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템은 다음과 같은 효과가 하나 혹은 그 이상이 있다.
첫째, 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 이용하여, 적은 량의 학습 데이터를 갖는 신규 학습 모델의 생성시에도 많은 양의 학습 데이터를 확보할 수 있어, 새로이 생성되는 신규 학습 모델의 판정 정확도를 높일 수 있다.
둘째, 기존의 학습 데이터 세트 중 추가 학습 데이터 세트를 결정하는데 있어, 학습 이미지 간의 유사도를 기준으로 결정하여, 신규 학습 모델의 생성에 추가될 추가 학습 데이터 세트를 신규 학습 데이터와 가장 유사한 이미지로 결정할 수 있는 효과가 있다.
셋째, 학습 데이터 간의 유사도 판정에 있어 사전 훈련 모델을 통해 산출된 특성 맵과 특징점 분포를 이용하여 유사도를 산출하여, 신규 학습 데이터와 유사도의 유사도를 높힐 수 있어 신규 학습 모델의 생성시 판정 정확도를 현저히 높일 수 있는 효과가 있다.
넷째, 후보 데이터 세트를 불량 유형 정보, 제품 유형 정보, 부품 유형 정보 중 어느 하나를 포함하는 판정 유형 정보를 이용하여 추출하여, 신규 학습 데이터와 유사성이 높은 학습 데이터 세트를 후보로 추출할 수 있는 효과가 제공된다.
다섯째, 신규 학습 모델의 생성과 추가 학습 데이터 세트의 결정에 적용될 사전 훈련 모델을 기 등록된 기존 학습 모델 중 최적의 학습 모델로 결정하여, 신규 학습 모델의 판정 정확도를 높일 수 있다.
여섯째, 사전 훈련 모델을 결정하는데 있어, 사전 훈련 모델을 결정하기 위한 후보 모델을 불량 유형 정보, 제품 유형 정보, 부품 유형 정보 중 어느 하나를 포함하는 판정 유형 정보를 이용하여 추출하여, 신규 학습 모델과 유사성이 있는 학습 모델을 후보 모델로 추출할 수 있는 효과가 제공된다.
일곱째, 사전 훈련 모델을 결정하는데 있어, 신규 학습 데이터 중 일부 만을 후보 모델이 판정하도록 하고, 판정 정확도를 기준으로 사전 훈련 모델을 결정하여, 사전 훈련 모델의 결정에 소요되는 시간을 줄이면서도, 최적의 사전 훈련 모델을 추천할 수 있는 효과가 제공된다.
여덟째, 사전 훈련 모델을 결정하는데 있어, 후보 모델 모두의 판정 정확도가 제1 기준값 이하일 때, 상위 n개의 후보 모델을 재검 후보 모델로 추출하고, 학습 데이터의 일부로 재검 후모 모델을 학습시킨 후 사전 훈련 모델을 결정하여, 사전 훈련 모델의 결정 과정의 효율성을 높이면서도 최적의 사전 훈련 모델을 추천할 수 있는 효과가 제공된다.
아홉째, 사전 훈련 모델을 결정하는데 있어, 판정 정확도가 유사 범위 내인 경우, 특징점 분포를 이용하여 추가적인 평가 과정을 거침으로써, 최적의 사전 훈련 모델을 추천할 수 있는 효과가 제공된다.
도 1은 일반적인 제품 생산 라인의 예를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템의 구성을 도시한 도면이다.
도 3 및 도 4는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템의 신규 학습 모델 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템에서 유사도 산출 과정에서 생성되는 특성 맵 및 특징점 분포의 예를 나타낸 도면이다.
도 6 내지 도 11은 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템의 신규 학습 모델 생성 과정의 다른 예를 설명하기 위한 도면이다.
본 발명에 따른 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템은 복수의 학습 데이터 세트와, 신규 학습 모델의 생성을 위해 수집된 복수의 신규 학습 데이터가 저장된 데이터 스토리지 각각의 상기 학습 데이터 세트는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용됨; 신규 학습 모델의 생성을 위한 판정 유형 정보가 입력되는 경우, 상기 판정 유형 정보에 기초하여 복수의 상기 학습 데이터 세트 중 적어도 2 이상의 후보 데이터 세트를 추출하는 후보 세트 추출 모듈; 및 상기 신규 학습 데이터에 포함된 신규 학습 이미지와, 상기 후보 데이터 세트에 포함된 후보 학습 이미지 간의 유사도를 산출하고, 상기 유사도가 기 등록된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정하는 추가 세트 결정 모듈; 및 상기 추가 세트 결정 모듈에 의해 결정된 상기 추가 학습 데이터 세트와 상기 신규 학습 데이터를 사전 훈련 모델에 적용하여 상기 신규 학습 모델을 생성하는 신규 모델 생성 모듈을 포함한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 구체적으로 설명한다.
도 2는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)의 구성을 도시한 도면이다. 도 2를 참조하여 설명하면, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)은 데이터 스토리지(130), 후보 모델 추출 모듈(161), 추가 세트 결정 모듈(120) 및 신규 모델 생성 모듈(140)을 포함한다. 그리고, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)은 데이터 스토리지(130), 후보 모델 추출 모듈(161), 추가 세트 결정 모듈(120) 및 신규 모델 생성 모듈(140)의 동작을 제어하는 메인 프로세서(150)를 포함할 수 있다. 여기서, 메인 프로세서(150)는 각 구성요소들의 동작을 위한 CPU, RAM 등의 하드웨어적 구성과, 운영체계 등의 소프트웨어적 구성을 포함한다.
데이터 스토리지(130)에는 복수의 학습 데이터 세트와, 복수의 신규 학습 데이터가 저장된다. 각각의 학습 데이터 세트는 제품 생산 라인(300) 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용된 학습 데이터들이 각각의 학습 모델에 대응하여 저장된다.
보다 구체적으로 설명하면, 하나의 기존 학습 모델을 학습을 통해 생성할 때, 학습에 적용한 복수의 학습 데이터들이 해당 기존 학습 모델에 대해 하나의 학습 데이터 세트로 저장된다. 도 1을 참조하여 설명하면, 제품 생산 라인(300)에는 각각의 공정의 결과물인 부품이나 제품의 불량을 검사하기 위한 dent 검사, crack 검사, scratch 검사 과정 등 다양한 비전 검사 공정이 포함되어 있으며, 각각의 비전 검사 공정에 적용된 학습 모델, 예를 들어 dent 검사용 학습 모델, crack 검사용 학습 모델, scratch 검사용 학습 모델의 생성시 사용된 학습 데이터들이 각각의 모델에 대해 세트로 저장된다.
데이터 스토리지(130)에 저장된 복수의 신규 학습 데이터는 본 발명에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에 의해 생성될 신규 학습 모델의 생성을 위해 수집된다. 예를 들어, 새로운 제품 생산 라인(300)의 셋업이나, 기존의 제품 생산 라인(300)에서 신규 제품의 생산을 위해 라인이 변경되는 경우, 새로운 제품이나 부품의 비전 검사를 위해 불량 이미지와 정상 이미지, 그리고 불량 또는 정상 여부에 대한 레이블 정보를 포함하는 학습 데이터가 수집된다.
여기서, 본 발명에서는 데이터 스토리지(130)에 복수의 학습 데이터 세트와, 신규 학습 데이터가 저장되는 것으로 설명하고 있으나, 물리적으로 분리된 별도의 데이터 스토리지(130)에 복수의 학습 데이터 세트와 신규 학습 데이터가 각각 분산되어 저장되도록 마련될 수 있으며, 본 발명의 기술적 사상에 포함됨은 물론이다.
후보 세트 추출 모듈(110)은 신규 학습 모델의 생성을 위한 판정 유형 정보가 입력되는 경우, 판정 유형 정보에 기초하여 복수의 학습 데이터 세트 중 적어도 2 이상의 후보 데이터 세트를 추출한다.
판정 유형 정보는 신규 학습 모델이 어떤 제품이나 부품, 어떤 불량 형태를 갖는 비전 검사에 적용되는지 여부에 대한 정보를 포함하는데, 본 발명에서는 불량의 유형에 대한 불량 유형 정보, 검사 대상 제품의 유형에 대한 제품 유형 정보, 검사 대상 부품의 유형에 대한 부품 유형 정보 중 적어도 하나를 포함하는 것을 예로 한다.
이에 대응하여, 데이터 스토리지(130)에 저장되는 각각의 학습 데이터 세트는 불량 유형 정보, 제품 유형 정보 및 부품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함할 수 있다. 여기서, 후보 세트 추출 모듈(110)은 판정 유형 정보가 입력되면, 각각의 학습 데이터 세트의 모델 정보를 참조하여 학습 데이터 세트 중 후보 데이터 세트를 추출하게 된다.
본 발명에서는 후보 세트 추출 모듈(110)이 불량 유형 정보, 부품 유형 정보, 그리고 제품 유형 정보의 순으로 설정된 우선 순위에 따라 기 설정된 개수의 학습 데이터 세트를 후보 데이터 세트로 추출하는 것을 예로 한다. 예컨대, 불량 유형 정보로 찌그러짐, 제품 유형 정보로 스마트폰, 부품 유형 정보로 케이스를 포함하는 판정 유형 정보가 입력되면, 후보 세트 추출 모듈(110)은 찌그러짐에 대응하는 학습 데이터 세트를 1차적으로 추출하고, 추출된 학습 데이터 세트가 기 설정된 개수 이상이면, 그 중 스마트폰에 대응하는 학습 데이터 세트를 2차적으로 추출하는 방법을 통해, 기 설정된 개수의 후보 데이터 세트를 추출하게 된다.
추가 세트 결정 모듈(120)은 신규 학습 데이터에 포함된 신규 학습 이미지와, 후보 데이터 세트에 포함된 후보 학습 이미지 간의 유사도를 산출한다. 그리고, 추가 세트 결정 모듈(120)은 유사도가 기 등록된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정한다.
신규 모델 생성 모듈(140)은 추가 세트 결정 모듈(120)에 의해 결정된 추가 학습 데이터 세트를 구성하는 학습 데이터들과, 신규 학습 데이터를 사전 훈련 모델에 적용하고, 사전 훈련 모델의 학습을 통해 신규 학습 모델을 생성한다.
상기와 같은 구성에 따라, 기 등록된 기존 학습 모델의 생성에 사용되었던 학습 데이터 세트를 신규 학습 모델의 생성에 사용하는데 있어, 판정 유형 정보를 이용하여 후보 데이터 세트를 추출하고, 후보 데이터 세트에 포함된 학습 데이터 중 신규 학습 데이터와 유사도가 높은 후보 데이터 세트를 추가 학습 데이터 세트로 결정하여, 신규 학습 모델의 생성에 사용함으로써, 적은 량의 학습 데이터를 갖는 신규 학습 모델의 생성시에도 판정 정확도를 높일 수 있게 된다.
이하에서는 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)의 신규 학습 모델 생성 과정에 대해 상세히 설명한다.
도 3을 참조하여 설명하면, 먼저, 신규 학습 모델의 생성을 위한 신규 학습 데이터가 수집되어 등록된다(S30). 그런 다음, 신규 학습 모델의 생성을 위한 판정 유형 정보가 입력된다(S31). 여기서, 판정 유형 정보는 상술한 바와 같이, 불량 유형 정보, 제품 유형 정보 및 부품 유형 정보 중 적어도 하나를 포함할 수 있다.
판정 유형 정보가 입력되면(S31), 후보 세트 추출 모듈(110)은 판정 유형 정보에 기초하여 추가 학습 데이터 세트를 결정하는 과정을 수행한다(S32).
도 4를 참조하여 설명하면, 후보 세트 추출 모듈(110)은 판정 유형 정보에 따라 데이터 스토리지(130)에 저장된 각각의 학습 데이터 세트의 모델 정보를 참조하여, 복수의 학습 데이터 세트 중 기 설정된 개수의 후보 데이터 세트를 추출한다(S321).
그런 다음, 후보 세트 추출 모듈(110)은 유사도 산출을 위한 특성 맵을 생성한다(S322). 본 발명에서는 후보 세트 추출 모듈(110)이 복수의 신규 학습 데이터 중 기 설정된 개수의 신규 학습 이미지로부터 신규 이미지 특성 맵을 생성하고, 후보 데이터 세트를 구성하는 복수의 학습 데이터 중 기 설정된 개수의 후보 학습 이미지로부터 후보 이미지 특성 맵을 생성하는 것을 예로 한다.
본 발명에서는 특성 맵의 생성에 기 설정된 특성 맵 생성 알고리즘이 적용될 수 있으며, 사전 훈련 모델의 학습을 통해 특성 맵이 생성될 수 있는데, 이에 대한 상세한 설명은 후술한다.
이를 통해, 후보 데이터 세트 중 일부의 후보 학습 이미지와, 신규 학습 데이터 중 일부의 신규 학습 이미지 만을 이용하여 유사도 산출에 적용함으로써, 신규 학습 모델 생성 과정, 특히 추가 학습 데이터 세트를 결정하는 과정에 소요되는 시간을 최소화할 수 있게 된다.
신규 이미지 특성 맵과, 후보 이미지 특성 맵이 생성되면(S322), 각각의 신규 이미지 특성 맵의 신규 특징점 분포를 산출하고, 각각의 후보 이미지 특성 맵의 후보 특징점 분포를 산출한다(S323).
도 5는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에서 유사도 산출 과정에서 생성되는 특성 맵 및 특징점 분포의 예를 나타낸 도면이다. 도 5의 (a)의 좌측 이미지는 불량 학습 데이터이고, 우측 이미지는 정상 학습 데이터이고, (b)의 좌측 이미지는 불량 학습 데이터에 대한 특성 맵이고, 우측 이미지는 정상 학습 데이터에 대한 특성 맵이고, (c)의 좌측 이미지는 불량 학습 데이터에 대한 특성 맵의 특징점 분포이고, 우측 이미지는 정상 학습 데이터에 대한 특성 맵의 특징점 분포이다.
후보 데이터 세트의 후보 학습 이미지와, 신규 학습 데이터의 신규 학습 이미지 간의 유사도 비교를 비교할 때, 불량 학습 데이터 간의 유사도가 비교되거나, 정상 학습 데이터 간의 유사도가 비교된다. 예를 들어, 정상인 제품의 이미지가 유사한 경우에는 정상 학습 데이터 간의 유사도를 산출하고, 불량인 제품의 이미지가 유사한 경우에는 불량 학습 데이터 간의 유사도가 비교되어 추가 학습 데이터 세트를 결정하는 것이 바람직하다.
본 발명에서는 신규 특징점 분포와 후보 특징점 분포 간의 차이를 유사도로 산출하는데(S324), 본 발명에서는 KL-Divergence 알고리즘을 통해 산출하는 것을 예로 한다.
그리고, 각각의 후보 데이터 세트와 신규 학습 데이터 간의 유사도가 산출되면(S324), 후보 세트 추출 모듈(110)은 유사도가 기 설정된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정한다(S326). 여기서, 기준값 이상인 후보 데이터 세트가 복수 개일 경우, 유사도가 가장 높은 하나가 추가 학습 데이터 세트로 결정될 수 있다. 반면, 후보 세트 추출 모듈(110)은 유사도가 기 설정된 기준값 이상인 후보 데이터 세트가 존재하지 않는 경우, 결정 실패(S327)로 추가 학습 데이터 세트 결정 과정을 종료할 수 있다.
상기와 같은 구성에 따라, 후보 데이터 세트와 신규 학습 데이터 간의 유사도를 산출하는데 있어, 실제 학습 모델의 학습 과정에서 생성되는 특성 맵의 특징점 분포를 유사도 비교에 적용함으로써, 신규 학습 모델의 학습시 적용될 추가 학습 데이터 세트가 신규 학습 데이터에 보다 유사한 이미지가 선정 가능하게 되어, 신규 학습 모델의 판정 정확도를 높일 수 있는 효과를 제공하게 된다.
상기와 같은 과정을 통해 추가 학습 데이터 세트가 결정되면, 신규 모델 생성 모듈(140)은 추가 학습 데이터 세트를 구성하는 학습 데이터들과, 신규 학습 데이터를 사전 훈련 모델에 입력하여 사전 훈련 모델을 학습시킨다(S33). 그리고, 사전 훈련 모델의 학습을 통해 최종적으로 신규 학습 모델이 생성된다(S34).
다시, 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)은 사전 훈련 모듈 결정 모듈(160)과, 훈련 모델 스토리지(170)를 더 포함할 수 있다.
학습 모델 스토리지에는 제품 생산 라인(300) 상의 비전 검사를 위한 복수의 기존 학습 모델이 저장된다. 여기서, 학습 모델 스토리지에 저장된 기존 학습 모델은 데이터 스토리지(130)에 저장된 각각의 학습 데이터 세트에 매칭되어 저장될 수 있다. 즉, 특정 부품의 dent 검사용 학습 모델이 학습 모델 스토리지에 저장되면, 해당 dent 검사용 학습 모델의 생성시 적용된 학습 데이터들이 학습 데이터 세트로 저장될 수 있다. 여기서, 기존 학습 모델은 학습 데이터 세트에 대응하여 불량 유형 정보, 부품 유형 정보 및 제품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함할 수 있는데, 이에 대한 상세한 설명은 후술한다.
사전 훈련 모듈 결정 모듈(160)은 훈련 모델 스토리지(170)에 저장된 기존 학습 모델 중 하나를 신규 모델 생성 모듈(140)과 추가 세트 결정 모듈(120)에서 적용할 사전 훈련 모델을 결정한다. 본 발명에서는 사전 훈련 모듈 결정 모듈(160)이 후보 모델 추출 모듈(161)과 모델 결정 모듈(162)을 포함하는 것을 예로 ㅎ나다.
후보 모델 추출 모듈(161)은 판정 유형 정보에 기초하여 복수의 기존 학습 데이터 중 적어도 2 이상의 후보 모델을 추출한다. 그리고, 모델 결정 모듈(162)은 데이터 스토리지(130)에 저장된 신규 학습 데이터 중 기 설정된 개수의 신규 학습 데이터를 각각의 후보 모델이 입력하여 양불을 판정하고, 각각의 후보 모델의 판정 정확도가 기 설정된 제1 기준값 이상인 최상위 후보 모델을 사전 훈련 모델로 결정한다.
보다 구체적으로 설명하면, 신규 학습 모델을 생성하기 위해서는 복수의 학습 데이터가 수집되고, 판정 유형 정보, 예컨대, 불량 유형 정보가 입력되면, 후보 모델 추출 모듈(161)은 학습 모델 스토리지에 저장된 기존 학습 모델 중 불량 유형 정보와 동일한 불량 유형을 검사하기 위해 생성되었던 기존 학습 모델을 검색하고, 이를 후보 모델로 추출하게 된다.
여기서, 후보 모델 추출 모듈(161)은 각각의 기존 학습 모델에 대해 등록된 모델 정보에 기초하여, 상술한 바와 같이, 불량 유형 정보, 부품 유형 정보 및 제품 유형 정보의 순으로 설정된 우선 순위에 따라 기 설정된 개수의 기존 학습 모델을 후보 모델로 추출할 수 있다.
상기와 같은 과정을 통해, 학습 모델 스토리지에 저장된 복수의 기존 학습 모델 중 신규 학습 모델과 가장 유사한 형태의 불량을 검사했던 기존 학습 모델이 후보 모델로 추출 가능하게 되어, 이후의 과정에서 최종적으로 선정되는 사전 훈련 모델을 이용하여 생성되는 신규 학습 모델의 판정 정확도를 높일 수 있다.
모델 결정 모듈(162)은 데이터 스토리지(130)에 저장된 학습 데이터 중 기 설정된 개수의 학습 데이터를 추출한다. 예를 들어, 1000장의 신규 학습 이미지가 신규 학습 데이터로 저장되어 있다고 가정하는 경우, 1000장의 신규 학습 데이터를 모두 판정 정확도를 산출하는데 사용하게 되면, 사전 훈련 모델을 결정하는데 많은 시간이 소요된다. 따라서, 기 설정된 개수, 예를 들어 20%인 200장의 신규 학습 이미지를 추출하여 판정 정확도의 산출에 사용함으로써, 사전 훈련 모델을 결정하는데 소요되는 시간을 줄일 수 있게 된다.
모델 결정 모듈(162)은 200장의 신규 학습 데이터를 각각의 후보 모델에 입력하여 양불을 판단하고, 각각의 신규 학습 데이터의 레이블 정보에 기초하여 판단 정확도를 산출한다. 그리고, 모델 결정 모듈(162)은 각각의 후보 모델 중 판정 정확도가 제1 기준값 이상인 후보 모델 중 최상위 후보 모델을 신규 학습 모델의 생성을 위한 사전 훈련 모델로 결정하게 된다. 본 발명에서는 제1 기준값을 80%로 설정하는 것을 예로 하는데, 본 발명의 기술적 사상이 이에 국한되지 않음은 물론이다.
상기와 같은 과정을 통해, 다양한 제품 생산 라인(300)에 적용되었던 기존 학습 모델 중 신규 학습 모델과 가장 유사한 학습 모델이 후보 모델로 추출 가능하게 되고, 추출된 후보 모델이 학습 데이터의 양불을 판정하도록 하여, 판정 정확도가 제1 기준값 이상인 후보 모델 중 최상위 후보 모델을 사전 훈련 모델로 추천함으로써, 이후 생성될 신규 학습 모델의 판정 정확도를 높일 수 있는 효과를 제공하게 된다.
또한, 수집된 학습 데이터 전체를 사용하지 않고, 일정 개수만의 학습 데이터를 이용하여 사전 훈련 모델을 결정하도록 하여, 소요되는 시간을 현저히 줄일 수 있게 된다.
이하에서는, 도 6 내지 도 11을 참조하여, 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)의 신규 학습 모델 생성 과정의 다른 예에 대해 상세히 설명한다. 도 6 내지 도 11에 도시된 실시예에서는 사전 훈련 모듈 결정 모듈(160)에 의해 사전 훈련 모델이 결정되고, 이를 통해 결정된 사전 훈련 모델이 추가 학습 데이터 세트 결정 과정과 신규 학습 모델 생성 과정에 적용된다.
도 6에 도시된 실시예를 설명하는데 있어, 도 3에 도시된 실시예에 대응하는 구성에 대해서는 상세한 설명을 생략하고, 도 3에 도시된 실시예에 대한 설명으로 대체할 수 있다.
도 6을 참조하여 설명하면, 신규 학습 데이터가 수집되어 등록되고(S60), 판정 유형 정보가 입력되면(S61), 사전 훈련 모델을 결정하는 과정이 수행된다(S70). 여기서, S60 단계 및 S61 단계는 도 3에 도시된 S30 단계 및 S31 단계에 대응하는 바, 그 상세한 설명은 생략한다.
도 7 내지 9는 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에서 사전 훈련 모델을 결정하는 과정의 일 예를 설명하기 위한 도면이다.
도 7을 참조하여 설명하면, 후보 모델 추출 모듈(161)은 S61 단계에서 입력된 판정 유형 정보에 기초하여, 학습 모델 스토리지에 저장된 기존 학습 모델의 모델 정보를 참조하여 후보 모델을 추출한다(S71). 여기서, 후보 모델 추출 모듈(161)이 기존 학습 데이터 중 기 설정된 개수의 후보 모델을 추출하는 방법은 상술한 바와 같다.
후보 모델이 추출되면, 모델 결정 모듈(162)은 각각의 후보 모델에 대한 판정 정확도 평과 과정을 진행한다(S72). 도 8은 모델 결정 모듈(162)에 의해 수행되는 첫번째(1st) 판정 정확도 평과 과정을 설명하기 위한 도면이다.
모델 결정 모듈(162)은 데이터 스토리지(130)에 저장된 신규 학습 데이터 중 기 설정된 개수(i 개)의 신규 학습 데이터를 추출한다(S721). 그런 다음, 모델 결정 모듈(162)은 추출된 I 개의 학습 데이터를 각각의 후보 모델이 양불을 판정하도록 하고(S722), 판정 결과와 각 신규 학습 데이터의 레이블 정보에 기초하여 각각의 후보 모델의 판정 정확도를 산출한다(S723).
다시 도 7을 참조하여 설명하면, 각각의 후보 모델의 판정 정확도가 제1 기준값 이상인지 여부를 판단하고(S73), 판정 정확도가 제1 기준값 이상인 후보 모델 중 최상위 후보 모델을 사전 훈련 모델로 결정한다(S74).
한편, 모델 결정 모듈(162)은 S73 단계에서 모든 후보 모델의 판정 정확도가 제1 기준값 이하인 경우, 2차(2nd) 판정 정확도 평가 과정을 수행한다(S75). 도 9는 모델 결정 모듈(162)(130)에 의해 수행되는 2차 판정 정확도 평가 과정을 설명하기 위한 도면이다.
도 9를 참조하여 설명하면, 모델 결정 모듈(162)은 S72 단계에서 산출된 판정 정확도 기준 상위 n개의 후보 모델을 재검 후보 모델로 추출한다(S751). 예를 들어, 10개의 후보 모델이 추출된 상태에서 10개의 후보 모델이 모두 80% 이하의 판정 정확도를 나타내면, 상위 5개의 후보 모델을 재검 후보 모델로 추출하게 된다.
여기서, 상위 n개의 재검 후보 모듈을 추출할 때, n개의 재검 후보 모델의 판정 정확도가 기 설정된 하한값 이하인 후보 모델이 존재하는지 여부를 판단하고(S752), 하한값 이하의 판정 정확도를 갖는 후보 모델은 재검 후보 모델에서 제외한다(S753). 예를 들어, 하한값이 60%로 설정된 것으로 가정할 때, 5개의 재검 후보 모델 중 2개의 판정 정확도가 60% 이하이면, 3개의 후보 모델만이 재검 후보 모델로 추출될 수 있다.
이를 통해, 판정 정확도가 하한값보다 작은 후보 모델은 2차 판정 정확도 평가 과정에서 배제시킴으로써, 2차 판정 정확도 평가 과정에 소요되는 시간을 줄이면서도, 사전 훈련 모델로 결정될 가능성이 낮은 후보 모델을 사전에 배제시켜 모델 결정 과정의 효율성을 높일 수 있게 된다.
상기 과정을 통해 재검 후보 모델이 추출되면, 모델 결정 모듈(162)은 기 설정된 개수(j 개)의 신규 학습 데이터를 데이터 스토리지(130)로부터 추출한다(S754). 그런 다음, 모델 결정 모듈(162)은 추출된 j 개의 신규 학습 데이터로 각각의 재검 후보 모델을 학습시킨다(S755).
재검 후보 모델의 학습이 완료되면, 모델 결정 모듈(162)은 기 설정된 개수(k 개)의 신규 학습 데이터를 데이터 스토리지(130)로부터 추출하고(S756), 추출된 k 개의 신규 학습 데이터를 학습이 완료된 각각의 재검 후보 모델이 양불을 판정하도록 하고(S757), 판정 결과와 각 신규 학습 데이터의 레이블 정보에 기초하여 각각의 재검 후보 모델의 판정 정확도를 산출한다(S758).
상기 과정을 통해, 1차 판정 정확도 평가 과정(S72)에서 제1 기준값 이하의 후보 모델들을 실재 신규 학습 모델의 생성을 위한 신규 학습 데이터의 일부로 학습시킨 후, 판정 정확도를 다시 평가함으로써, 신규 학습 데이터에 적합한 기존 학습 모델이 사전 훈련 모델로 추출될 가능성을 향상시키게 된다.
다시 도 7을 참조하여 설명하면, 2차 판정 정확도 평가 과정을 통해 재검 후보 모델의 판정 정확도가 산출되면, 각각의 재검 후보 모델의 판정 정확도가 제2 기준값 이상인지 여부를 판단하고(S76), 판정 정확도가 제2 기준값 이상인 재검 후보 모델 중 최상위 재검 후보 모델을 사전 훈련 모델로 결정한다(S77). 반면, 제2 기준값 이상의 판정 정확도를 갖는 재검 후보 모델이 존재하지 않는 경우, 추천 실패로 결정될 수 있다(S78).
여기서, 제2 기준값은 제1 기준값보다 상대적으로 높게 설정될 수 있다. 예컨대, 상술한 바와 같이 제1 기준값이 80%로 설정되는 경우, 제2 기준값은 90%로 설정될 수 있다. 이는 제2 기준값의 적용을 받는 재검 후보 모델은 실제 신규 학습 모델의 생성시 적용될 신규 학습 데이터로 학습이 수행되어 신규 학습 데이터의 판정에 정확도가 높아질 수 있음을 반영한 것이다.
상기와 같은 과정을 통해, 판정 정확도가 높은 후보 모델로부터 1차적으로 사전 훈련 모델을 결정하고, 판정 정확도가 제1 기준값보다 낮을 때 상위 n개의 후보 모델을 신규 학습 데이터로 학습시킨 후 판정 정확도를 산출하는 2차적인 판정 과정을 추가함으로써, 신규 학습 모델에 가장 근접한 기존 학습 모델을 사전 훈련 모델로 결정할 수 있게 된다.
도 10 및 도 11은 본 발명의 실시예에 따른 AI 기반의 신규 학습 모델 생성 시스템(100)에서 사전 훈련 모델을 결정하는 과정의 다른 예를 설명하기 위한 도면이다. 도 10 및 도 11에 도시된 실시예는 도 7 내지 도 9에 도시된 실시예의 변형 예로, 상호 대응하는 구성에 대해서는 그 설명이 생략될 수 있다.
판정 유형 정보가 입력되면(도 6의 S61 참조), 후보 모델 추출 모듈(161)은 판정 유형 정보에 기초하여, 학습 모델 스토리지에 저장된 기존 학습 모델의 모델 정보를 참조하여 후보 모델을 추출한다(S12). 후보 모델 추출 모듈(161)에 의한 후보 모델 추출 방법은 상술한 바와 같다.
후보 모델이 추출되면, 모델 결정 모듈(162)은 각각의 후보 모델에 대한 판정 정확도 평가 과정(1st)을 진행한다(S13). 여기서, 모델 결정 모듈(162)에 의한 판정 정확도 평가 과정은 도 8에 도시된 실시예에 대응하는 바, 그 설명은 생략한다.
1차적인 판정 정확도 평가 과정을 통해 각각의 후보 모델에 대한 판정 정확도가 산출되면, 각각의 후보 모델의 판정 정확도가 제1 기준값 이상인지 여부를 판단한다(S14). 이 때, 제1 기준값 이상인 최상위 후보 모델의 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 후보 모델이 존재하는 경우, 유사 후보 모델의 비교 과정이 진행된다(S91).
도 11을 참조하여 보다 구체적으로 설명하면, 최상위 후보 모델의 판정 정확도의 차이가 유사 범위 내인 유사 후보 모델이 존재하는 경우(S911), 최상위 후보 모델과 유사 후보 모델의 특성 맵을 추출한다(S912). 그리고, 특성 맵의 특징점 분포가 추출된다(S913)
최상위 후보 모델과 유사 후보 모델의 판정 정확도 산출을 위해, 해당 후보 모델이 학습 데이터를 딥러닝 기반으로 판정하는 과정에서는 각각의 학습 데이터에 대해 특성 맵이 생성된다. 그리고, 특성 맵에서는 확률 분포인 특징점 분포가 추출 가능하다. 여기서, 특성 맵 및 특징점 분포는 학습 데이터 중 정상 학습 데이터와 불량 학습 데이터에 대해 추출된다. 정상 학습 데이터와 불량 학습 데이터에 대한 특성 맵 및 특징점 분포의 예는 도 5에 도시된 바와 같다.
도 8의 (c)에 도시된 바와 같이, 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포는 차이를 나타내는데, 두 특징점 분포의 차이가 커지는 것은 학습 모델이 원본 이미지로부터 특성 맵을 구별 가능하게 잘 추출해내는 것으로 평가할 수 있어, 결과적으로 최종 학습 모델의 판정 정확도를 높일 수 있다.
판정 정확도에 대한 유사 범위를 2%로 설정한 경우, 최상위 후보 모델의 판정 정확도가 85%로 산출되고, 다음 순위의 후보 모델의 판정 정확도가 83%로 산출된 경우 해당 후보 모델이 유사 후보 모델로 추출되는데, 판정 정확도 산출을 위해 추출된 신규 학습 데이터의 샘플링 과정, 그리고 그 개수에 의해 판정 정확도가 달라질 수 있다. 따라서, 유사 범위 내에 있는 최상위 후보 모델과 유사 후보 모델 중 어느 학습 모델이 최적이라고 단정할 수 없는 경우가 발생하므로, 특징점 분포를 이용하여 최적의 사전 훈련 모델을 결정하게 된다.
본 발명에서는 최상위 학습 모델과 유사 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포의 차이값를 산출하여(S914), 차이가 큰 어느 하나를 사전 훈련 모델로 결정하는 것을 예로 한다. 이 때, 최상위 후보 모델과 유사 후보 모델의 판정 과정에 적용된 복수의 신규 학습 데이터 중 임의로 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터를 추출하고, 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포의 차이값을 산출한 후(S914), 평균값을 산출한다(S915). 그리고, 최상위 후보 모델의 평균값과 유사 후보 모델의 평균값을 비교하여(S916), 최상위 후보 모델의 평균값이 크면 최상위 후보 모델이 선정되고(S917), 유사 후보 모델의 평균값이 크면 유사 후보 모델이 선정되어(S918), 사전 훈련 모델로 결정된다(도 10의 S15).
여기서, 특징점 분포의 차이값은 확률 분포의 차이를 산출할 수 있는 알고리즘이 적용될 수 있으며, 본 발명에서는 KL-Divergence 알고리즘을 통해 차이값이 산출되는 것을 예로 한다.
다시 도 10을 참조하여 설명하면, 모델 결정 모듈(162)은 S14 단계에서 모든 후보 모델의 판정 정확도가 제1 기준값 이하인 경우, 2차(2nd) 판정 정확도 평가 과정을 수행한다(S16). 여기서, 2차 판정 정확도 평가 과정은, 도 9에 도시된 실시예에 대응하는 바, 그 상세한 설명은 생략한다.
2차 판정 정확도 평가 과정을 통해 각각의 재검 후보 모델의 판정 정확도가 산출되면, 각각의 재검 후보 모델의 판정 정확도가 제2 기준값 이상인지 여부를 판단한다(S17). 이 때, 제2 기준값 이상인 최상위 재검 후보 모델의 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우, 유사 재검 후보 모델의 비교 과정이 진행된다(S92).
여기서, 유사 재검 후보 모델의 비교 과정은, 도 11에 도시된 유사 후보 모델의 비교 과정에 대응한다. 구체적으로 설명하면, 최상위 재검 후보 모델의 판정 정확도와의 차이가 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우(S911 참조), 최상위 재검 후보 모델과 유사 재검 후보 모델의 특성 맵을 추출한다(S912 참조). 그리고, 특성 맵의 특징점 분포가 추출된다(S913 참조)
이 때, 상술한 바와 같이, 불량 학습 데이터와 정상 학습 데이터 간의 특징점 분포의 차이값을 산출한 후(S914 참조), 평균값을 산출한다(S915 참조). 그리고, 최상위 재검 후보 모델의 평균값과 유사 재검 후보 모델의 평균값을 비교하여(S916 참조), 최상위 재검 후보 모델의 평균값이 크면 최상위 재검 후보 모델이 선정되고(S917 참조), 유사 재검 후보 모델의 평균값이 크면 유사 재검 후보 모델이 선정되어(S918 참조), 사전 훈련 모델로 결정된다(S18).
상기와 같이, 최상위 후보 모델 또는 최상위 재검 후보 모델이 존재하는 경우에도 판정 정확도가 유사 범위 내에 있는 유사 후보 모델 또는 유사 재검 후보 모델이 존재하면, 특성 맵의 특징점 분포를 이용하여 최종적인 사전 훈련 모델을 결정함으로써, 신규 학습 모델에 좀 더 근접하는 학습 모델을 사전 훈련 모델을 결정할 수 있게 된다.
다시, 도 6을 참조하여 설명하면, 상기와 같은 과정을 통해 사전 훈련 모델이 결정되면, 추가 학습 데이터 세트를 결정하는 과정이 진행된다(S62). 여기서, 추가 학습 데이터 세트를 결정하는 과정은 도 4에 도시된 실시예에서와 같으며, 도 4에 도시된 실시예에서 후보 학습 데이터 세트와 신규 학습 데이터의 특성 맵을 생성하는 과정에 도 6의 S70 단계에서 결정된 사전 훈련 모델이 적용된다. 즉, 신규 학습 모델의 생성에 가장 적합한 것으로 추출된 사전 훈련 모델이, 신규 학습 모델의 생성을 위해 추가될 학습 데이터 세트를 결정하는 과정에서의 특성 맵 생성에 적용됨으로써, 신규 학습 데이터와 가장 유사한 학습 데이터 세트를 결정할 수 있게 된다.
그리고, 추가 학습 데이터 세트가 결정되면, 도 6의 S70 단계에서 결정된 사전 훈련 모델을 이용하여 신규 학습 모델이 생성되는데, 상술한 바와 같이, 신규 학습 데이터와 추가 학습 데이터 세트를 구성하는 학습 데이터들이 사전 훈련 모델을 통해 학습됨으로써, 적은 량의 신규 학습 데이터를 이용한 학습시 발생하는 판정 정확도 저하 문제를 해소할 수 있게 된다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
[부호의 설명]
100 : AI 기반의 신규 학습 모델 생성 시스템
110 : 후보 세트 추출 모듈 120 : 추가 세트 결정 모듈
130 : 데이터 스토리지 140 : 신규 모델 생성 모듈
150 : 메인 프로세서 160 : 사전 훈련 모델 결정 모듈
161 : 후보 모델 추출 모듈 162 : 모델 결정 모듈
170 : 훈련 모델 스토리지 300 : 제품 생산 라인
본 발명은 제품 생산 라인의 각 생산 공정의 결과물에 대한 비전 검사 분야에 적용될 수 있다.

Claims (15)

  1. 복수의 학습 데이터 세트와, 신규 학습 모델의 생성을 위해 수집된 복수의 신규 학습 데이터가 저장된 데이터 스토리지 각각의 상기 학습 데이터 세트는 제품 생산 라인 상의 비전 검사를 위해 기 생성된 기존 학습 모델의 학습에 적용됨;
    신규 학습 모델의 생성을 위한 판정 유형 정보가 입력되는 경우, 상기 판정 유형 정보에 기초하여 복수의 상기 학습 데이터 세트 중 적어도 2 이상의 후보 데이터 세트를 추출하는 후보 세트 추출 모듈; 및
    상기 신규 학습 데이터에 포함된 신규 학습 이미지와, 상기 후보 데이터 세트에 포함된 후보 학습 이미지 간의 유사도를 산출하고, 상기 유사도가 기 등록된 기준값 이상인 하나의 후보 데이터 세트를 추가 학습 데이터 세트로 결정하는 추가 세트 결정 모듈; 및
    상기 추가 세트 결정 모듈에 의해 결정된 상기 추가 학습 데이터 세트와 상기 신규 학습 데이터를 사전 훈련 모델에 적용하여 상기 신규 학습 모델을 생성하는 신규 모델 생성 모듈을 포함하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  2. 청구항 1에 있어서,
    상기 판정 유형 정보는 불량의 유형에 대한 불량 유형 정보, 검사 대상 제품의 유형에 대한 제품 유형 정보, 검사 대상 부품의 유형에 대한 부품 유형 정보 중 적어도 하나를 포함하고;
    상기 데이터 스토리지에 저장된 각각의 상기 학습 데이터 세트는 상기 불량 유형 정보, 상기 제품 유형 정보 및 상기 부품 유형 정보 중 적어도 하나를 갖는 모델 정보를 포함하며;
    상기 후보 세트 추출 모듈은 상기 모델 정보를 참조하여 상기 후보 데이터 세트를 추출하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  3. 청구항 2에 있어서,
    상기 후보 세트 추출 모듈은 상기 불량 유형 정보, 상기 부품 유형 정보 및 상기 제품 유형 정보의 순으로 설정된 우선 순위에 따라 기 설정된 개수의 학습 데이터 세트를 상기 후보 데이터 세트로 추출하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  4. 청구항 1에 있어서,
    상기 추가 세트 결정 모듈은
    복수의 상기 신규 학습 데이터 중 기 설정된 개수의 신규 학습 이미지로부터 신규 이미지 특성 맵을 생성하고, 각각의 상기 신규 이미지 특성 맵의 신규 특징점 분포를 산출하고,
    상기 후보 데이터 세트 중 기 설정된 개수의 후보 학습 이미지로부터 후보 이미지 특성 맵을 생성하고, 각각의 상기 후보 이미지 특성 맵의 후보 특징점 분포를 산출하며;
    상기 신규 특징점 분포와 상기 후보 특징점 분포 간의 차이를 상기 유사도로 산출하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  5. 청구항 4에 있어서,
    상기 신규 특징점 분포와 상기 후보 특징점 분포 간의 차이는 KL-Divergence 알고리즘을 통해 산출되는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  6. 청구항 4에 있어서,
    기 설정된 개수의 상기 신규 학습 이미지와, 기 설정된 개수의 상기 후보 학습 이미지를 각각 상기 사전 훈련 모델을 통해 학습시켜 상기 신규 이미지 특성 맵과 상기 후모 이미지 특성 맵을 생성하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  7. 제6항에 있어서,
    복수의 상기 기존 학습 모델이 저장된 학습 모델 스토리지와,
    상기 판정 유형 정보에 기초하여 복수의 상기 기존 학습 모델 중 적어도 2 이상의 후보 모델을 추출하는 후보 모델 추출 모듈, 및
    상기 데이터 스토리지에 저장된 상기 신규 학습 데이터 중 기 설정된 개수의 신규 학습 데이터를 각각의 상기 후보 모델에 입력하여 양불을 판정하고, 복수의 상기 후보 모델의 판정 정확도가 기 설정된 제1 기준값 이상인 최상위 후보 모델을 상기 사전 훈련 모델로 결정하는 모델 결정 모듈을 포함하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  8. 청구항 7에 있어서,
    상기 모델 결정 모듈은
    복수의 상기 후보 모델 중 상기 최상위 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 후보 모델이 존재하는 경우, 상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에서 상기 신규 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고,
    상기 최상위 후보 모델과 상기 유사 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  9. 청구항 8에 있어서,
    상기 모델 결정 모듈은
    상기 최상위 후보 모델과 상기 유사 후보 모델의 판정 과정에 적용된 복수의 학습 데이터 중 임의로 선택된 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 산출하며;
    상기 최상위 후보 모델과 상기 유사 후보 모델 중 상기 평균값이 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  10. 청구항 8에 있어서,
    상기 특징점 분포의 차이는 KL-Divergence 알고리즘을 통해 산출되는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  11. 청구항 7에 있어서,
    상기 모델 결정 모듈은
    복수의 상기 후보 모델의 상기 판정 정확도가 상기 제1 기준값 이하인 경우, 상기 판정 정확도 기준 상위 n개를 재검 후보 모델로 추출하고;
    각각의 상기 재검 후보 모델을 복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터로 학습시키고;
    복수의 상기 학습 데이터 중 기 설정된 개수의 학습 데이터를 학습된 상기 재검 후보 모델에 입력하여 양불을 판정하며;
    각각의 상기 재검 후보 모델의 판정 정확도가 기 설정된 제2 기준값 이상인 최상위 재검 후보 모델을 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  12. 청구항 11에 있어서,
    상기 모델 결정 모듈은 상기 재검 후보 모델을 추출할 때 상기 판정 정확도가 기 설정된 하한값 이하인 후보 모델은 상기 재검 후보 모델에서 제거하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  13. 청구항 11에 있어서,
    상기 모델 결정 모듈은
    복수의 상기 재검 후보 모델 중 상기 최상위 재검 후보 모델의 상기 판정 정확도와의 차이가 기 설정된 유사 범위 내인 유사 재검 후보 모델이 존재하는 경우, 상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델의 판정 과정에서 각각의 상기 학습 데이터에 대해 생성된 특성 맵의 특징점 분포를 추출하고,
    상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이가 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  14. 청구항 13에 있어서,
    상기 모델 결정 모듈은
    상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델의 판정 과정에 적용된 복수의 학습 데이터 중 임의로 선택된 기 설정된 개수의 불량 학습 데이터와 정상 학습 데이터 간의 상기 특징점 분포의 차이의 평균값을 산출하며;
    상기 최상위 재검 후보 모델과 상기 유사 재검 후보 모델 중 상기 평균값이 큰 어느 하나를 상기 사전 훈련 모델로 결정하는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
  15. 청구항 13에 있어서,
    상기 특징점 분포의 차이는 KL-Divergence 알고리즘을 통해 산출되는 것을 특징으로 하는 제품 생산 라인 상의 비전 검사를 위한 AI 기반의 신규 학습 모델 생성 시스템.
PCT/KR2019/010501 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템 WO2021033791A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/KR2019/010501 WO2021033791A1 (ko) 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템
EP19941939.1A EP4020380A4 (en) 2019-08-19 2019-08-19 AI-BASED NEW LEARNING MODEL GENERATION SYSTEM FOR VISUAL INSPECTION IN A PRODUCT MANUFACTURING LINE
US17/618,235 US12051187B2 (en) 2019-08-19 2019-08-19 AI-based new learning model generation system for vision inspection on product production line
CN201980097165.6A CN113924594A (zh) 2019-08-19 2019-08-19 用于产品生产线上的视觉检查的基于ai的新学习模型生成系统
KR1020217020515A KR20220050083A (ko) 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/010501 WO2021033791A1 (ko) 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템

Publications (1)

Publication Number Publication Date
WO2021033791A1 true WO2021033791A1 (ko) 2021-02-25

Family

ID=74659673

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010501 WO2021033791A1 (ko) 2019-08-19 2019-08-19 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템

Country Status (5)

Country Link
US (1) US12051187B2 (ko)
EP (1) EP4020380A4 (ko)
KR (1) KR20220050083A (ko)
CN (1) CN113924594A (ko)
WO (1) WO2021033791A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469977A (zh) * 2021-07-06 2021-10-01 浙江霖研精密科技有限公司 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
JP2023011883A (ja) * 2021-11-05 2023-01-24 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 事前トレーニングモデルの生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11562297B2 (en) * 2020-01-17 2023-01-24 Apple Inc. Automated input-data monitoring to dynamically adapt machine-learning techniques
US20220327689A1 (en) * 2021-04-07 2022-10-13 Optum, Inc. Production line conformance measurement techniques using categorical validation machine learning models
PL4085794T3 (pl) * 2021-05-07 2023-09-11 Zahoransky Ag Sposób przygotowania i prowadzenia kontroli jakości szczotek, zwłaszcza szczoteczek do zębów, tester i maszyna do wytwarzania szczotek
KR20240077302A (ko) 2022-11-24 2024-05-31 부산대학교 산학협력단 심층 학습 기반의 표면 검사를 이용한 불량 탐지를 위한 장치 및 방법
KR102546356B1 (ko) * 2022-12-09 2023-06-22 크레플 주식회사 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법
CN117132174B (zh) * 2023-10-26 2024-01-30 扬宇光电(深圳)有限公司 一种应用于工业流水线质量检测的模型训练方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252333A (ja) * 2005-03-11 2006-09-21 Nara Institute Of Science & Technology データ処理方法、データ処理装置およびそのプログラム
JP2013020290A (ja) * 2011-07-07 2013-01-31 Nippon Telegr & Teleph Corp <Ntt> パターン抽出装置、パターン抽出方法およびパターン抽出プログラム
KR20190063839A (ko) 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
JP2019095217A (ja) * 2017-11-17 2019-06-20 ファナック株式会社 外観検査装置
JP2019101959A (ja) * 2017-12-07 2019-06-24 ヤフー株式会社 抽出装置、抽出方法、抽出プログラム及びモデル
KR20190088376A (ko) * 2017-12-28 2019-07-26 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4710932B2 (ja) * 2008-07-09 2011-06-29 ソニー株式会社 学習装置、学習方法、およびプログラム
US9053391B2 (en) * 2011-04-12 2015-06-09 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252333A (ja) * 2005-03-11 2006-09-21 Nara Institute Of Science & Technology データ処理方法、データ処理装置およびそのプログラム
JP2013020290A (ja) * 2011-07-07 2013-01-31 Nippon Telegr & Teleph Corp <Ntt> パターン抽出装置、パターン抽出方法およびパターン抽出プログラム
JP2019095217A (ja) * 2017-11-17 2019-06-20 ファナック株式会社 外観検査装置
KR20190063839A (ko) 2017-11-30 2019-06-10 전자부품연구원 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
JP2019101959A (ja) * 2017-12-07 2019-06-24 ヤフー株式会社 抽出装置、抽出方法、抽出プログラム及びモデル
KR20190088376A (ko) * 2017-12-28 2019-07-26 (주)휴톰 학습용 데이터 관리방법, 장치 및 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4020380A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469977A (zh) * 2021-07-06 2021-10-01 浙江霖研精密科技有限公司 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
CN113469977B (zh) * 2021-07-06 2024-01-12 浙江霖研精密科技有限公司 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
JP2023011883A (ja) * 2021-11-05 2023-01-24 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 事前トレーニングモデルの生成方法、装置、電子機器、記憶媒体およびコンピュータプログラム

Also Published As

Publication number Publication date
US12051187B2 (en) 2024-07-30
CN113924594A (zh) 2022-01-11
KR20220050083A (ko) 2022-04-22
US20220222807A1 (en) 2022-07-14
EP4020380A1 (en) 2022-06-29
EP4020380A4 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
WO2021033791A1 (ko) 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템
WO2021033792A1 (ko) Ai 기반의 사전 훈련 모델 결정 시스템 및 이를 이용한 제품 생산 라인을 위한 ai 기반의 비전 검사 관리 시스템
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
TWI845781B (zh) 半導體缺陷偵測及分類的方法及系統，以及非暫時性電腦可讀儲存媒體
WO2019107614A1 (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
WO2023008884A1 (ko) 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램
WO2021054706A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
WO2019231105A1 (ko) 트리플릿 기반의 손실함수를 활용한 순서가 있는 분류문제를 위한 딥러닝 모델 학습 방법 및 장치
WO2021187683A1 (ko) 딥러닝을 이용한 신규 제품의 품질 검사 방법 및 시스템
WO2022146050A1 (ko) 우울증 진단을 위한 인공지능 연합학습 방법 및 시스템
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
US20200090319A1 (en) Machine learning method implemented in aoi device
CN112183311A (zh) 一种基于双模态数据融合的变电站设备故障检测方法
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
CN113850773A (zh) 一种检测方法、装置、设备及计算机可读存储介质
WO2020235854A1 (ko) 불량 이미지 생성 장치 및 방법
Ren et al. Defect detection using combined deep autoencoder and classifier for small sample size
WO2020256407A1 (ko) 제품 검사를 위한 자동 학습 방법 및 시스템
WO2022250190A1 (ko) 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템
TWI745946B (zh) 一種高爾夫球電腦檢測系統及自動光學檢測設備
CN110992333B (zh) COF Film缺陷AITraining数据库及应用
CN112418131A (zh) 一种基于半锚式检测器的目标检测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19941939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019941939

Country of ref document: EP

Effective date: 20220321