KR102582354B1 - Method and apparatus for creating and distributing an artificial intelligence-based manufacturing environment customized defect detection model - Google Patents
Method and apparatus for creating and distributing an artificial intelligence-based manufacturing environment customized defect detection model Download PDFInfo
- Publication number
- KR102582354B1 KR102582354B1 KR1020220153415A KR20220153415A KR102582354B1 KR 102582354 B1 KR102582354 B1 KR 102582354B1 KR 1020220153415 A KR1020220153415 A KR 1020220153415A KR 20220153415 A KR20220153415 A KR 20220153415A KR 102582354 B1 KR102582354 B1 KR 102582354B1
- Authority
- KR
- South Korea
- Prior art keywords
- defect detection
- detection model
- user
- manufacturing process
- process data
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 172
- 238000001514 detection method Methods 0.000 title claims abstract description 155
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 33
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000013480 data collection Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013434 data augmentation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/105—Human resources
- G06Q10/1057—Benefits or employee welfare, e.g. insurance, holiday or retirement packages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- General Factory Administration (AREA)
Abstract
인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법은 제1 사용자의 제1 사용자 단말로부터 정형 데이터 및 비정형 데이터를 포함하는 제1 제조 공정 데이터를 수집하는 단계, 상기 제1 제조 공정 데이터를 기초로 상기 제1 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성하는 단계 및 상기 제1 결함 탐지 모델을 기초로 제2 제조 공정 데이터를 분석하는 제2 사용자의 제2 사용자 단말에, 상기 제2 결함 탐지 모델을 배포하는 단계를 포함할 수 있다.A method and device for creating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment are disclosed. An artificial intelligence-based manufacturing environment customized defect detection model creation and distribution method according to an embodiment of the present invention includes collecting first manufacturing process data including structured data and unstructured data from a first user terminal of a first user, Generating a second defect detection model by retraining the first defect detection model corresponding to the manufacturing environment of the first user based on first manufacturing process data, and performing a second manufacturing process based on the first defect detection model. It may include distributing the second defect detection model to a second user terminal of a second user analyzing data.
Description
본 발명은 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법 및 장치에 관한 것이다.The present invention relates to a method and device for generating and distributing a defect detection model customized to an artificial intelligence-based manufacturing environment.
이하에 기술되는 내용은 단순히 본 발명에 따른 일 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described below simply provides background information related to an embodiment of the present invention and does not constitute prior art.
컴퓨터 비전 시장은 그 규모가 2021년 159억 달러에서 2026년까지 513억 달러로, 연평균 26.3%의 복합성장률을 기록하며, 지속적인 성장을 전망하고 있고, 인공지능 시장에서 꾸준한 성장세를 유지할 것으로 전망하고 있다. 그러나, 보안문제는 클라우드 기반 이미지 처리 및 분석의 성장을 제한하는 요소라고 지적되고 있다.The computer vision market is expected to grow continuously from $15.9 billion in 2021 to $51.3 billion by 2026, recording a compound annual growth rate of 26.3%, and is expected to maintain steady growth in the artificial intelligence market. . However, security issues have been pointed out as a factor limiting the growth of cloud-based image processing and analysis.
현재, 전 세계적으로 인공지능 비전을 활용한 품질보증 솔루션을 클라우드 기반의 데이터 플랫폼으로 연계 및 구축하고 있으나, 새로운 제조 공정 분야에 기존 플랫폼 적용 시 모듈별로 많은 부분을 새롭게 개발하거나 공정 전반적인 보완이 필요하여 큰 비용이 발생하고 있다. 또한, 새로운 제조 공정 분야에 데이터 플랫폼을 공용으로 활용하기 위해서 결함탐지 공정의 자율화 및 자동화된 CI(Continuous Integration)/CD(Continuous Delivery)로 지속적인 성능 개선에 대한 필요성이 대두되고 있다. 이러한 문제점들을 시계열 제조 공정 데이터 수집/분석 모듈을 기반으로 자동화된 정밀가공 공정 불량 감지 및 불량예측 솔루션 개발과 공정 품질 데이터 수집/분석을 통한 PQCD(Product Quality Cost Delivery) 향상 및 Al 지식 자산화가 필요하다.Currently, quality assurance solutions using artificial intelligence vision are being linked and established through cloud-based data platforms around the world. However, when applying existing platforms to new manufacturing process fields, many parts need to be newly developed for each module or the overall process needs to be supplemented. Big costs are being incurred. In addition, in order to commonly utilize data platforms in new manufacturing process fields, there is a need for continuous performance improvement through autonomy of the defect detection process and automated CI (Continuous Integration)/CD (Continuous Delivery). To address these problems, it is necessary to develop automated precision machining process defect detection and defect prediction solutions based on time series manufacturing process data collection/analysis module, improve PQCD (Product Quality Cost Delivery) through process quality data collection/analysis, and capitalize Al knowledge. .
본 발명은 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델을 생성 및 배포하는 것을 목적으로 한다.The purpose of the present invention is to create and distribute a defect detection model customized for an artificial intelligence-based manufacturing environment.
또한, 본 발명은 클라우드 서버에서 제조 공정 데이터를 이용하여 결함 탐지 모델을 학습하고 이를 필요한 곳에 분배하는 것을 목적으로 한다.Additionally, the purpose of the present invention is to learn a defect detection model using manufacturing process data in a cloud server and distribute it to necessary places.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법은 제1 사용자의 제1 사용자 단말로부터 정형 데이터 및 비정형 데이터를 포함하는 제1 제조 공정 데이터를 수집하는 단계, 상기 제1 제조 공정 데이터를 기초로 상기 제1 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성하는 단계 및 상기 제1 결함 탐지 모델을 기초로 제2 제조 공정 데이터를 분석하는 제2 사용자의 제2 사용자 단말에, 상기 제2 결함 탐지 모델을 배포하는 단계를 포함할 수 있다.In order to achieve the above object, an artificial intelligence-based manufacturing environment customized defect detection model creation and distribution method according to an embodiment of the present invention includes a first manufacturing process including structured data and unstructured data from the first user terminal of the first user. Collecting data, generating a second defect detection model by retraining the first defect detection model corresponding to the manufacturing environment of the first user based on the first manufacturing process data, and the first defect detection model It may include distributing the second defect detection model to a second user terminal of a second user analyzing second manufacturing process data based on .
상기 제1 사용자에게 상기 제1 제조 공정 데이터의 공유에 따른 리워드를 제공하는 단계를 더 포함할 수 있다.The method may further include providing a reward to the first user for sharing the first manufacturing process data.
상기 제1 사용자의 제조 환경에 대응하는 제3 사용자의 제3 사용자 단말로부터 제3 제조 공정 데이터를 수집하는 단계를 더 포함하고, 상기 제2 결함 탐지 모델을 생성하는 단계는 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터가 기 설정된 주기 내에 함께 수집된 경우, 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터를 함께 기초로 하여 상기 제2 결함 탐지 모델을 생성하는 단계를 포함할 수 있다.It further includes collecting third manufacturing process data from a third user terminal of a third user corresponding to the manufacturing environment of the first user, and generating the second defect detection model includes collecting the first manufacturing process data. And when the third manufacturing process data is collected together within a preset period, generating the second defect detection model based on the first manufacturing process data and the third manufacturing process data together. .
상기 리워드를 제공하는 단계는 상기 제2 결함 탐지 모델을 생성하는데 사용된 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터의 기여도에 따라 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하는 단계를 포함할 수 있다.The step of providing the reward includes distributing the reward to the first user and the third user according to the contribution of the first manufacturing process data and the third manufacturing process data used to generate the second defect detection model. may include.
상기 제1 결함 탐지 모델 또는 상기 제2 결함 탐지 모델은 클라우드 마켓플레이스에 등록된 소프트웨어 패키지에 포함된 인공지능 모델로서, 상기 제2 사용자의 상기 소프트웨어 패키지에 대한 구입 정보에 기초하여 상기 제2 사용자 단말에 배포될 수 있다.The first defect detection model or the second defect detection model is an artificial intelligence model included in a software package registered in a cloud marketplace, and is based on the second user's purchase information for the software package. It can be distributed in .
상기 제1 사용자 및 상기 제2 사용자는 동일 사용자일 수 있다.The first user and the second user may be the same user.
또한, 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 장치는 제1 사용자의 제1 사용자 단말로부터 정형 데이터 및 비정형 데이터를 포함하는 제1 제조 공정 데이터를 수집하는 데이터 수집부, 상기 제1 제조 공정 데이터를 기초로 상기 제1 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성하는 결함 탐지 모델 생성부, 상기 제1 결함 탐지 모델을 기초로 제2 제조 공정 데이터를 분석하는 제2 사용자의 제2 사용자 단말에, 상기 제2 결함 탐지 모델을 배포하는 결함 탐지 모델 배포부, 상기 제1 사용자에게 상기 제1 제조 공정 데이터의 공유에 따른 리워드를 제공하는 리워드 제공부, 상기 제1 제조 공정 데이터를 제공하는 제1 사용자 단말 및 상기 제2 결함 탐지 모델을 수신하는 제2 사용자 단말을 포함할 수 있다.In addition, the artificial intelligence-based manufacturing environment customized defect detection model generation and distribution device according to an embodiment of the present invention collects first manufacturing process data including structured data and unstructured data from the first user terminal of the first user. A collection unit, a defect detection model generator for generating a second defect detection model by retraining the first defect detection model corresponding to the manufacturing environment of the first user based on the first manufacturing process data, and detecting the first defect A defect detection model distribution unit that distributes the second defect detection model to a second user terminal of a second user that analyzes the second manufacturing process data based on the model, and shares the first manufacturing process data with the first user. It may include a reward provider that provides a reward according to, a first user terminal that provides the first manufacturing process data, and a second user terminal that receives the second defect detection model.
상기 데이터 수집부는 상기 제1 사용자의 제조 환경에 대응하는 제3 사용자의 제3 사용자 단말로부터 제3 제조 공정 데이터를 수집하고, 상기 결함 탐지 모델 생성부는 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터가 기 설정된 주기 내에 함께 수집된 경우, 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터를 함께 기초로 하여 상기 제2 결함 탐지 모델을 생성할 수 있다.The data collection unit collects third manufacturing process data from a third user terminal of a third user corresponding to the manufacturing environment of the first user, and the defect detection model generator collects the first manufacturing process data and the third manufacturing process. When data are collected together within a preset period, the second defect detection model may be generated based on the first manufacturing process data and the third manufacturing process data.
상기 리워드 제공부는 상기 제2 결함 탐지 모델을 생성하는데 사용된 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터의 기여도에 따라 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배할 수 있다.The reward provider may distribute the reward to the first user and the third user according to the contribution of the first manufacturing process data and the third manufacturing process data used to generate the second defect detection model.
상기 제1 결함 탐지 모델 또는 상기 제2 결함 탐지 모델은 클라우드 마켓플레이스에 등록된 소프트웨어 패키지에 포함된 인공지능 모델로서, 상기 제2 사용자의 상기 소프트웨어 패키지에 대한 구입 정보에 기초하여 상기 제2 사용자 단말에 배포되고, 상기 제1 사용자 및 상기 제2 사용자는 동일 사용자일 수 있다.The first defect detection model or the second defect detection model is an artificial intelligence model included in a software package registered in a cloud marketplace, and is based on the second user's purchase information for the software package. distributed, and the first user and the second user may be the same user.
본 발명에 따르면, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델을 생성 및 배포할 수 있다.According to the present invention, it is possible to create and distribute a defect detection model customized to an artificial intelligence-based manufacturing environment.
또한, 본 발명에 따르면, 클라우드 서버에서 제조 공정 데이터를 이용하여 결함 탐지 모델을 학습하고 이를 필요한 곳에 분배할 수 있다.Additionally, according to the present invention, a defect detection model can be learned using manufacturing process data in a cloud server and distributed to necessary places.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포를 위한 주체들을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 파이프라인을 기반으로 하는 데이터 수집 모듈 프로세스를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 클라우드 기반 데이터 파이프라인 프로세스를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 제조현장 결함 탐지 에이전트 프로세스를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 제조 데이터 분석 및 모니터링 모듈 프로세스를 시계열적으로 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 CI/CD 기반 주기적인 재학습이 가능한 사이클 자동화 데이터 파이프라인을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 데이터옵스에 대해 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 데이터 파이프라인 편집기를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 솔루션 배포이력 및 관리기능에 대한 화면을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 엣지 디바이스 마이크로서비스를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 데이터 수집 Sequence Diagram을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 데이터 처리 및 저장 Sequence Diagram을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 데이터 전송 Sequence Diagram을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 생성적 적대 신경망(GAN, Generative Adversarial Networks) 기반의 결함 데이터 증강 모델을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 합성곱신경망(Convolutional Neural Networks, CNN) 알고리즘 기반의 결함 탐지 모델을 나타낸 도면이다.
도 17은 제조환경 맞춤형 결함탐지 분리/분류 네트워크 통합 모델을 위한 전이학습(Transfer Learning)을 나타낸 도면이다.
도 18은 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.Figure 1 is a block diagram showing entities for creating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment according to an embodiment of the present invention.
Figure 2 is an operation flowchart showing a method for generating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment according to an embodiment of the present invention.
Figure 3 is a diagram showing a data collection module process based on a pipeline according to an embodiment of the present invention.
Figure 4 is a diagram showing a cloud-based data pipeline process according to an embodiment of the present invention.
Figure 5 is a diagram showing a manufacturing site defect detection agent process according to an embodiment of the present invention.
Figure 6 is a diagram showing the manufacturing data analysis and monitoring module process in time series according to an embodiment of the present invention.
Figure 7 is a diagram showing a cycle automation data pipeline capable of periodic relearning based on CI/CD according to an embodiment of the present invention.
Figure 8 is a diagram showing data ops according to an embodiment of the present invention.
Figure 9 is a diagram showing a data pipeline editor according to an embodiment of the present invention.
Figure 10 is a diagram showing a screen for solution distribution history and management functions according to an embodiment of the present invention.
Figure 11 is a diagram showing an edge device microservice according to an embodiment of the present invention.
Figure 12 is a diagram showing a data collection sequence diagram according to an embodiment of the present invention.
Figure 13 is a diagram showing a data processing and storage sequence diagram according to an embodiment of the present invention.
Figure 14 is a diagram showing a data transmission sequence diagram according to an embodiment of the present invention.
Figure 15 is a diagram showing a defect data augmentation model based on generative adversarial networks (GAN) according to an embodiment of the present invention.
Figure 16 is a diagram showing a defect detection model based on a convolutional neural network (CNN) algorithm according to an embodiment of the present invention.
Figure 17 is a diagram showing transfer learning for a defect detection separation/classification network integration model customized for the manufacturing environment.
Figure 18 is a diagram showing a computer system according to an embodiment of the invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the attached drawings as follows. Here, repeated descriptions, known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although terms such as “first” or “second” are used to describe various components, these components are not limited by the above terms. The above terms may be used only to distinguish one component from another component. Accordingly, the first component mentioned below may also be the second component within the technical spirit of the present invention.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part “includes” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포를 위한 주체들을 나타낸 블록도이다.Figure 1 is a block diagram showing entities for creating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포를 위한 주체들은 결함 탐지 모델 생성 및 배포 장치(110) 및 사용자 단말(120)을 포함한다.Referring to FIG. 1, entities for generating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment according to an embodiment of the present invention include a defect detection model generating and distributing
결함 탐지 모델 생성 및 배포 장치(110)는 사용자 단말(120)로부터 정형 데이터 및 비정형 데이터를 포함하는 제조 공정 데이터를 수집하는 장치를 의미할 수 있다.The defect detection model generation and
결함 탐지 모델 생성 및 배포 장치(110)는 제조 공정 데이터를 기초로 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성하는 장치일 수 있다.The defect detection model generation and
결함 탐지 모델 생성 및 배포 장치(110)는 사용자 단말(120)에 제2 결함 탐지 모델을 배포하는 장치일 수 있다.The fault detection model generation and
사용자 단말(120)은 결함 탐지 모델 생성 및 배포 장치(110)에 정형 데이터 및 비정형 데이터를 포함하는 제조 공정 데이터를 제공하는 장치일 수 있다.The
사용자 단말(120)은 결함 탐지 모델 생성 및 배포 장치(110)로부터 제2 결함 탐지 모델을 수신하는 장치일 수 있다.The
결함 탐지 모델 생성 및 배포 장치(110) 및 사용자 단말(120)은 통신망을 통해 상호 연결될 수 있다.The fault detection model generation and
통신망은 위와 같은 주체들 사이에서 데이터가 송수신되도록 하기 위한 접속 경로를 의미한다. 예컨대, 통신망은 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명에 적용될 수 있는 통신망의 범위가 이에 한정되는 것은 아니다.A communication network refers to an access path for data to be transmitted and received between the above entities. For example, communication networks include wired networks such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), and ISDNs (Integrated Service Digital Networks), or wireless networks such as wireless LANs, CDMA, Bluetooth, and satellite communications. It may encompass networks, but the scope of communication networks applicable to the present invention is not limited thereto.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법을 나타낸 동작 흐름도이다.Figure 2 is an operation flowchart showing a method for generating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법은 먼저, 제1 사용자의 제1 사용자 단말로부터 정형 데이터 및 비정형 데이터를 포함하는 제1 제조 공정 데이터를 수집할 수 있다(S210).Referring to FIG. 2, the method of generating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment according to an embodiment of the present invention first involves first manufacturing a first manufacturing device including structured data and unstructured data from a first user terminal of a first user. Process data can be collected (S210).
다음으로, 상기 제1 제조 공정 데이터를 기초로 상기 제1 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성할 수 있다(S220).Next, a second defect detection model may be generated by retraining the first defect detection model corresponding to the manufacturing environment of the first user based on the first manufacturing process data (S220).
다음으로, 상기 제1 결함 탐지 모델을 기초로 제2 제조 공정 데이터를 분석하는 제2 사용자의 제2 사용자 단말에, 상기 제2 결함 탐지 모델을 배포할 수 있다(S230).Next, the second defect detection model may be distributed to the second user terminal of the second user who analyzes the second manufacturing process data based on the first defect detection model (S230).
일 실시예에 따르면, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법은 상기 제1 사용자에게 상기 제1 제조 공정 데이터의 공유에 따른 리워드를 제공하는 단계를 더 포함할 수 있다.According to one embodiment, the method of generating and distributing a defect detection model customized to an artificial intelligence-based manufacturing environment may further include providing a reward to the first user for sharing the first manufacturing process data.
일 실시예에 따르면, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법은 상기 제1 사용자의 제조 환경에 대응하는 제3 사용자의 제3 사용자 단말로부터 제3 제조 공정 데이터를 수집하는 단계를 더 포함할 수 있다.According to one embodiment, the method of generating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment further includes collecting third manufacturing process data from a third user terminal of a third user corresponding to the manufacturing environment of the first user. It can be included.
일 실시예에 따르면, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법은 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터가 기 설정된 주기 내에 함께 수집된 경우, 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터를 함께 기초로 하여 상기 제2 결함 탐지 모델을 생성할 수 있다.According to one embodiment, the method of generating and distributing a defect detection model customized to an artificial intelligence-based manufacturing environment includes, when the first manufacturing process data and the third manufacturing process data are collected together within a preset period, the first manufacturing process data and The second defect detection model may be generated based on the third manufacturing process data.
일 실시예에 따르면, 상기 리워드를 제공하는 단계는 상기 제2 결함 탐지 모델을 생성하는데 사용된 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터의 기여도에 따라 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하는 단계를 포함할 수 있다.According to one embodiment, the step of providing the reward is to the first user and the third user according to the contribution of the first manufacturing process data and the third manufacturing process data used to generate the second defect detection model. It may include distributing the reward.
예를 들면, 복수 사용자에게 리워드를 분배하는 경우, 먼저 제1 사용자의 데이터만을 이용하여 학습한 제1 임시 결함 탐지 모델의 제2 결함 탐지 모델과의 제1 유사도를 산출할 수 있다.For example, when distributing rewards to multiple users, the first similarity between the first temporary defect detection model and the second defect detection model learned using only the first user's data can be calculated.
다음으로, 제3 사용자의 데이터만을 이용하여 학습한 제2 임시 결함 탐지 모델의 제2 결함 탐지 모델과의 제2 유사도를 산출할 수 있다.Next, the second similarity between the second temporary defect detection model and the second defect detection model learned using only the third user's data can be calculated.
다음으로, 제1 유사도 및 제2 유사도에 기초하여 제1 사용자 및 제3 사용자의 기여도를 산출할 수 있다.Next, the contribution of the first user and the third user can be calculated based on the first similarity and the second similarity.
다음으로, 산출된 기여도에 따라 리워드를 분배할 수 있다.Next, rewards can be distributed according to the calculated contribution.
다른 예를 들면, 리워드를 결정하는 경우, 먼저 상기 제2 사용자 단말로부터 상기 제1 결함 탐지 모델에 따른 분석 결과 및 상기 제2 결함 탐지 모델에 따른 분석 결과를 함께 수신할 수 있다.For another example, when determining a reward, an analysis result according to the first defect detection model and an analysis result according to the second defect detection model may first be received from the second user terminal.
다음으로, 상기 제2 결함 탐지 모델에 따른 제2 분석 결과에 대한 제2 사용자의 피드백 정보를 수신할 수 있다.Next, feedback information from the second user regarding the second analysis result according to the second defect detection model may be received.
이 때, 상기 제1 분석 결과는 상기 제2 사용자에게 제공되지 않으면서 상기 제2 분석 결과만이 제공되며, 상기 제1 분석 결과는 상기 제1 결함 탐지 모델 및 상기 제2 결함 탐지 모델의 평가에 사용되고,At this time, the first analysis result is not provided to the second user, but only the second analysis result is provided, and the first analysis result is used in the evaluation of the first defect detection model and the second defect detection model. used,
상기 피드백 정보를 기초로 상기 제2 결함 탐지 모델의 상기 제1 결함 탐지 모델에 대한 상대 점수를 산출하고,Calculating a relative score of the second defect detection model with respect to the first defect detection model based on the feedback information,
상기 제1 결함 탐지 모델에 대한 기존 점수 및 상기 상대 점수를 기초로 상기 제2 결함 탐지 모델을 점수를 산출하고,Calculating a score for the second defect detection model based on the existing score and the relative score for the first defect detection model,
상기 제2 결함 탐지 모델 및 상기 제1 결함 탐지 모델의 점수 차이 값에 기초하여 상기 리워드를 결정될 수 있다.The reward may be determined based on a score difference value between the second defect detection model and the first defect detection model.
일 실시예에 따르면, 상기 제1 결함 탐지 모델 또는 상기 제2 결함 탐지 모델은 클라우드 마켓플레이스에 등록된 소프트웨어 패키지에 포함된 인공지능 모델로서, 상기 제2 사용자의 상기 소프트웨어 패키지에 대한 구입 정보에 기초하여 상기 제2 사용자 단말에 배포될 수 있다.According to one embodiment, the first defect detection model or the second defect detection model is an artificial intelligence model included in a software package registered in a cloud marketplace, based on the second user's purchase information for the software package. Thus, it can be distributed to the second user terminal.
일 실시예에 따르면, 상기 제1 사용자 및 상기 제2 사용자는 동일 사용자일 수 있다.According to one embodiment, the first user and the second user may be the same user.
도 3은 본 발명의 일 실시예에 따른 파이프라인을 기반으로 하는 데이터 수집 모듈 프로세스를 나타낸 도면이다.Figure 3 is a diagram showing a data collection module process based on a pipeline according to an embodiment of the present invention.
도 3을 참조하면, 원천 데이터를 실시간으로 수집하여 데이터 파이프라인으로 전송할 수 있다.Referring to Figure 3, source data can be collected in real time and transmitted to the data pipeline.
도 4는 본 발명의 일 실시예에 따른 클라우드 기반 데이터 파이프라인 프로세스를 나타낸 도면이다.Figure 4 is a diagram showing a cloud-based data pipeline process according to an embodiment of the present invention.
도 4를 참조하면, 통합 클라우드 데이터 파이프라인 서비스 형태로 저렴하고 다양한 도메인에서 손쉽게 사용할 수 있도록 제공할 수 있다. 또한, 사용자 계정에 따라 각각의 협업 모듈 기능 및 데이터 배포 기능을 제공할 수 있다.Referring to Figure 4, it can be provided in the form of an integrated cloud data pipeline service that is inexpensive and can be easily used in various domains. Additionally, each collaboration module function and data distribution function can be provided depending on the user account.
클라우드를 기반으로 각 서버에 설치된 서로 다른 모듈 및 시스템 간의 효율적인 데이터 전달을 위해 표준화된 Restful API 방식으로 구성될 수 있다.It can be configured using a standardized Restful API method for efficient data transfer between different modules and systems installed on each server based on the cloud.
여기서, 데이터 파이프라인은 메시지 지향 미들웨어로 구성된 복수의 SSD 서버로 구성되며, 데이터 처리량이 많고, 지연시간이 줄어들 수 있다.Here, the data pipeline consists of multiple SSD servers configured with message-oriented middleware, and data throughput can be high and latency can be reduced.
도 5는 본 발명의 일 실시예에 따른 제조현장 결함 탐지 에이전트 프로세스를 나타낸 도면이다.Figure 5 is a diagram showing a manufacturing site defect detection agent process according to an embodiment of the present invention.
도 5를 참조하면, 제조 데이터 증강을 위해 실시간 분석 및 가공 모듈을 제공할 수 있다. 실시간 분석 및 가공 모듈은 표준화된 방식으로 메타데이터를 관리하여 데이터 가공의 최적화를 지원할 수 있다. 또한, 다양한 데이터의 정제 및 정형화 기능을 제공하여, 고품질 데이터셋을 생성할 수 있다.Referring to Figure 5, real-time analysis and processing modules can be provided to augment manufacturing data. The real-time analysis and processing module can support optimization of data processing by managing metadata in a standardized manner. Additionally, it provides various data purification and normalization functions, allowing you to create high-quality datasets.
제조현장 결함 탐지 에이전트는 데이터 파이프라인에서 자동화된 방법으로 생성된 결함 탐지 모델을 클라우드에서 엣지 컴퓨터에 전달하여 결함 탐지를 위한 최신 버전의 모델로 유지할 수 있다. 또한, 제조현장의 카메라 및 모니터링 도구를 통해 현장에서 실시간으로 제품 분석 결과를 생성할 수 있다.The manufacturing site defect detection agent can maintain the latest version of the model for defect detection by delivering the defect detection model generated in an automated manner in the data pipeline to the edge computer in the cloud. In addition, product analysis results can be generated in real time on site through cameras and monitoring tools at the manufacturing site.
도 6은 본 발명의 일 실시예에 따른 제조 데이터 분석 및 모니터링 모듈 프로세스를 시계열적으로 나타낸 도면이다.Figure 6 is a diagram showing the manufacturing data analysis and monitoring module process in time series according to an embodiment of the present invention.
도 6을 참조하면, 제조/생산 공정 과정에서 수집된 MES(Manufacturing Execution System), 센서 데이터와 같은 정형 데이터와 카메라 비전 데이터와 같은 비정형 데이터를 포함하는 원천 데이터의 가공 및 분석을 위한 모니터링 모듈을 제공할 수 있다.Referring to Figure 6, it provides a monitoring module for processing and analysis of source data including structured data such as MES (Manufacturing Execution System) and sensor data collected during the manufacturing/production process and unstructured data such as camera vision data. can do.
도 7은 본 발명의 일 실시예에 따른 CI/CD 기반 주기적인 재학습이 가능한 사이클 자동화 데이터 파이프라인을 나타낸 도면이다.Figure 7 is a diagram showing a cycle automation data pipeline capable of periodic relearning based on CI/CD according to an embodiment of the present invention.
도 7을 참조하면, 먼저 실시간 공정 현황 모니터링 모듈을 통해 웹 환경에서 실시간으로 공정 현황을 모니터링하는 대시보드를 제공할 수 있다. 또한, 공정 원천 데이터를 기반으로 상태 값을 대시보드로 시각화하여 모니터링할 수 있다.Referring to Figure 7, first, a dashboard that monitors the process status in real time in a web environment can be provided through the real-time process status monitoring module. Additionally, status values can be visualized and monitored on a dashboard based on process source data.
이 때, Grafana, Kibana와 같은 데이터 시각화 오픈소스 모듈을 활용할 수 있다.At this time, data visualization open source modules such as Grafana and Kibana can be utilized.
두 번째로, 결함 탐지 분류 모듈을 통해 양품 및 불량을 판별할 수 있다. 다양한 분야의 공정에서 발생하는 비전 비정형 데이터와 센서 정형 데이터를 인식하는 모듈과 양품/불량 판별 데이터의 전송 기능을 통해 결함 탐지 예측 모듈에 데이터를 전송하고, 분류 예측 값을 기반으로 분류할 수 있다.Second, good and defective products can be determined through the defect detection and classification module. Through the module that recognizes vision unstructured data and sensor structured data generated in processes in various fields and the transmission function of good/defective judgment data, data can be transmitted to the defect detection prediction module and classified based on the classification prediction value.
세 번째로, CI(Continuous Integration)/CD(Continuous Delivery)를 기반으로 주기적인 재학습이 가능한 사이클 자동화 데이터 파이프라인을 제공할 수 있다.Third, a cycle automation data pipeline capable of periodic relearning can be provided based on CI (Continuous Integration)/CD (Continuous Delivery).
여기서, CI/CD는 반복 개발을 의미하는 Agile 방법론을 기반으로 애플리케이션 개발 단계를 자동화하여 애플리케이션을 보다 짧은 주기로 개발하여 배포하는 DevOps 방법을 의미한다.Here, CI/CD refers to the DevOps method of developing and distributing applications in a shorter cycle by automating the application development stage based on the Agile methodology, which means iterative development.
이 때, CI/CD 및 DevOps를 데이터 과학과 결합한 데이터옵스(DataOps) 방법이 필요하다. 도 8을 참조하면, 데이터옵스는 데이터과학과 데브옵스의 합성어로 데이터를 분석해 애플리케이션을 형성한 후 최종 사용자에게 제공하기 위해 필요한 기본적인 데이터 운영 작업을 의미한다. 이를 통해 솔루션의 개발, 테스트 및 배포가 빠르게 진행될 수 있고 높은 신뢰성을 확보할 수 있다.At this time, a DataOps method that combines CI/CD and DevOps with data science is needed. Referring to Figure 8, DataOps is a compound word of data science and DevOps and refers to the basic data operation tasks required to analyze data, form an application, and then provide it to end users. This allows solution development, testing, and deployment to proceed quickly and ensure high reliability.
도 9는 본 발명의 일 실시예에 따른 데이터 파이프라인 편집기를 나타낸 도면이다.Figure 9 is a diagram showing a data pipeline editor according to an embodiment of the present invention.
도 9를 참조하면, 드래그 앤 드랍(Drag & Drop) 방식을 이용하여 데이터 파이프라인을 편집할 수 있다. 또한, 칸반 차트 형식으로 카드를 이동하여 데이터 전 주기를 관리할 수 있다.Referring to Figure 9, the data pipeline can be edited using the drag & drop method. Additionally, you can manage the entire data cycle by moving cards in a Kanban chart format.
도 10은 본 발명의 일 실시예에 따른 솔루션 배포이력 및 관리기능에 대한 화면을 나타낸 도면이다.Figure 10 is a diagram showing a screen for solution distribution history and management functions according to an embodiment of the present invention.
도 10을 참조하면, 인공지능 비전 검사기 통합 모듈을 제공할 수 있다. 이는, 제조 데이터셋을 기반으로 결함 탐지를 위해 생성되는 인공지능 모델인 이미지 분리 모델 및 이미지 분류 모델을 포함하는 학습 모델을 통합 관리하기 위한 모듈을 의미할 수 있다. 관리되고 있는 모델의 성능을 모니터링하고, 모델 배포 이력을 관리할 수 있다.Referring to Figure 10, an artificial intelligence vision inspector integrated module can be provided. This may refer to a module for integrated management of a learning model including an image separation model and an image classification model, which are artificial intelligence models created for defect detection based on a manufacturing dataset. You can monitor the performance of managed models and manage model deployment history.
도 11은 본 발명의 일 실시예에 따른 엣지 디바이스 마이크로서비스를 나타낸 도면이다.Figure 11 is a diagram showing an edge device microservice according to an embodiment of the present invention.
도 11을 참조하면, 엣지 디바이스 마이크로서비스는 데이터 수집을 위한 마이크로서비스, 데이터 처리를 위한 마이크로서비스 및 데이터 전송을 위한 마이크로서비스를 포함할 수 있다.Referring to FIG. 11, edge device microservices may include microservices for data collection, microservices for data processing, and microservices for data transmission.
도 12는 본 발명의 일 실시예에 따른 데이터 수집 Sequence Diagram을 나타낸 도면이다.Figure 12 is a diagram showing a data collection sequence diagram according to an embodiment of the present invention.
데이터 수집을 위한 마이크로서비스는 Modbus Microservice, Restful API Microservice 및 MQ(Message Queue) Microservice를 포함할 수 있다.Microservices for data collection may include Modbus Microservice, Restful API Microservice, and MQ (Message Queue) Microservice.
Modbus Microservice는 Modbus Master 기능 구현을 통하여 Modbus Slave부터 데이터를 수집할 수 있다.Modbus Microservice can collect data from Modbus Slave by implementing the Modbus Master function.
Restful API Microservice는 HTTP 프로토콜을 통하여 데이터를 수집할 수 있다.Restful API Microservice can collect data through the HTTP protocol.
MQ Microservice는 MQTT 프로토콜을 통하여 데이터를 수집할 수 있다.MQ Microservice can collect data through the MQTT protocol.
도 13은 본 발명의 일 실시예에 따른 데이터 처리 및 저장 Sequence Diagram을 나타낸 도면이다.Figure 13 is a diagram showing a data processing and storage sequence diagram according to an embodiment of the present invention.
데이터 처리를 위한 마이크로서비스는 Data Store Microservice, Control Microservice, Meta Microservice 및 Config Microservice를 포함할 수 있다.Microservices for data processing may include Data Store Microservice, Control Microservice, Meta Microservice, and Config Microservice.
Data Store Microservice는 설비로부터 수집된 데이터를 저장 관리할 수 있다.Data Store Microservice can store and manage data collected from facilities.
Control Microservice는 설비 제어 및 동작을 제어할 수 있다.Control Microservice can control facility control and operation.
Meta Microservice는 엣지 디바이스에 연결되는 설비 및 수집 데이터의 특성 정보를 관리할 수 있다.Meta Microservice can manage characteristic information of equipment and collected data connected to edge devices.
Config Microservice는 엣지 디바이스의 초기 설정 및 마이크로서비스의 설정 정보를 관리할 수 있다.Config Microservice can manage the initial settings of edge devices and configuration information of microservices.
도 14는 본 발명의 일 실시예에 따른 데이터 전송 Sequence Diagram을 나타낸 도면이다.Figure 14 is a diagram showing a data transmission sequence diagram according to an embodiment of the present invention.
데이터 전송을 위한 마이크로서비스는 Subscriber Microservice 및 Distribution(Exprot) Microservice를 포함할 수 있다.Microservices for data transmission may include Subscriber Microservice and Distribution (Exprot) Microservice.
Subscriber Microservice는 Data Store 서비스를 통해 들어오는 데이터의 전달 대상이 되는 수신처를 등록할 수 있다.Subscriber Microservice can register the destination of data coming in through the Data Store service.
Distribution(Exprot) Microservice는 등록된 수신자에게 수집된 정보를 전달할 수 있다.Distribution(Exprot) Microservice can deliver collected information to registered recipients.
도 15는 본 발명의 일 실시예에 따른 생성적 적대 신경망(GAN, Generative Adversarial Networks) 기반의 결함 데이터 증강 모델을 나타낸 도면이다.Figure 15 is a diagram showing a defect data augmentation model based on generative adversarial networks (GAN) according to an embodiment of the present invention.
도 15를 참조하면, 부족한 결함 데이터를 증강시키기 위해 생성적 적대 신경망(GAN)를 사용하여 데이터를 증강시킬 수 있다.Referring to FIG. 15, data can be augmented using a generative adversarial network (GAN) to augment insufficient defect data.
여기서, GAN은 Generator(생성 모델)와 Discriminator(판별 모델) 모델이 경쟁을 벌이면서 육안으로 판단하기 어려운 결함 데이터를 증강하도록 학습한 모델이다.Here, GAN is a model that is learned to augment defect data that is difficult to judge with the naked eye as the Generator and Discriminator models compete.
결함 데이터 증강(
ε은 샘플 생성 정도(Magnitude)를, sign은 부호함수를, θ는 심층망 모델의 학습 파라미터를, y는 원본 결함 데이터(x）에 대한 라벨을 각각 의미하며, J(θ,x,y)는 역전파 과정에서 계산된 손실값의 gradient를 의미할 수 있다.ε is the sample generation degree (Magnitude), sign is the sign function, θ is the learning parameter of the deep network model, y is the label for the original defect data (x), J(θ,x,y) may mean the gradient of the loss value calculated during the backpropagation process.
이를 통해 생성된 학습데이터（
λ는 가중치 계수를, 
GAN 학습에서 사용된 손실(L)은 원본 결함 데이터(
여기서, 
전체 손실(L)은 λ와 (1- λ)로 스케일링하여 적절한 비율로 선형 조합하고, 이 때 사용된 λ는 데이터 생성에 사용된 스케일링 계수와 동일할 수 있다. 따라서, 이 단계에서는 분포 외 데이터(Out-of-distribution, OoD) 감지 능력을 포함할 수 있다.The total loss (L) is scaled by λ and (1- λ) and linearly combined at an appropriate ratio, and the λ used at this time may be the same as the scaling factor used to generate data. Therefore, this step may include out-of-distribution (OoD) detection capabilities.
도 16은 본 발명의 일 실시예에 따른 합성곱신경망(Convolutional Neural Networks, CNN) 알고리즘 기반의 결함 탐지 모델을 나타낸 도면이다.Figure 16 is a diagram showing a defect detection model based on a convolutional neural network (CNN) algorithm according to an embodiment of the present invention.
도 16을 참조하면, 결함 탐지 모델은 이미지 분리 네트워크 및 이미지 분류 네트워크를 포함할 수 있다.Referring to FIG. 16, the defect detection model may include an image separation network and an image classification network.
결함 이미지 분리(Segmentation) 네트워크 모델은 이미지 분리를 위한 모델로, Encoder와 이에 상응되는 Decoder로 구성되며, 각 네트워크는 13개의 합성곱 층(Convolutional Layer)로 구성된 모델이다. 결함 이미지 분리 네트워크 모델은 다양한 부품 이미지에서 결함 탐지를 위해 필요한 부분의 이미지만을 분리하는데 사용될 수 있다.The defect image segmentation network model is a model for image separation and consists of an encoder and a corresponding decoder, and each network is a model composed of 13 convolutional layers. The defect image separation network model can be used to separate only the parts of the image necessary for defect detection from various part images.
결함 이미지 분류(Classification) 네트워크 모델은 이미지 데이터를 대상으로 각 픽셀들의 위치 정보를 활용해 local feature들을 분류하기 위한 신경 망 모델이다. 인공지능 비전을 통해 실시간으로 촬영되는 이미지 내의 부품을 각각 분류하기 위한 CNN 기반의 이미지 분류 네트워크 모델 구축할 수 있다. 이미지 분리 및 분류 네트워크 기반의 결함탐지 모델을 구축하기 위해 CNN 기반의 모델인 Faster-RCNN, YOLO 등의 알고리즘을 추가로 적용할 수 있다.The defect image classification network model is a neural network model for classifying local features using the location information of each pixel in image data. Through artificial intelligence vision, a CNN-based image classification network model can be built to classify each part in an image captured in real time. To build a defect detection model based on image separation and classification network, algorithms such as Faster-RCNN and YOLO, which are CNN-based models, can be additionally applied.
여기서, Faster R-CNN은 이미지 내에 어떤 부품이 어디에 있는지 탐지하기 위해 사용하는 모델로, Fully Convolutional Network와 Fast R-CNN detector 두 개의 모듈로 구성되어 있으며 전체 시스템은 부품 탐지를 위한 단일 통합 네트워크 구조의 모델일 수 있다.Here, Faster R-CNN is a model used to detect where a part is in an image. It consists of two modules, Fully Convolutional Network and Fast R-CNN detector, and the entire system has a single integrated network structure for part detection. It could be a model.
YOLO(You Only Look Once) 모델은 Faster R-CNN과 마찬가지로 이미지 내에 어떤 부품이 어디에 있는지 탐지하기 위해 사용하는 모델로써 간단한 처리 과정으로 속도가 매우 빠르며, 이미지 전체를 한 번에 바라보는 방식으로 CLASS에 대한 맥락적 이해도가 높은 CNN 구조의 모델일 수 있다.YOLO (You Only Look Once) model, like Faster R-CNN, is a model used to detect where a part is in an image. It is a simple processing process and is very fast. It looks at the entire image at once, so it can be used to classify It may be a CNN-structured model with a high level of contextual understanding.
도 17은 제조환경 맞춤형 결함탐지 분리/분류 네트워크 통합 모델을 위한 전이학습(Transfer Learning)을 나타낸 도면이다.Figure 17 is a diagram showing transfer learning for a defect detection separation/classification network integration model customized for the manufacturing environment.
도 17을 참조하면, 전이학습은 특정 분야에서 학습된 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 사용되는 신경 망의 학습에 이용하는 것을 의미할 수 있다.Referring to FIG. 17, transfer learning may mean using some of the abilities of a neural network learned in a specific field to learn a neural network used in a similar or completely new field.
기존에 보유한 결함 데이터를 대상으로 개발된 결함 탐지 모델에 전이 학습을 적용하여 유사하지만 세부적으로는 특성이 다른 결함 데이터에 일반화하여 적용 및 검증할 수 있다.By applying transfer learning to a defect detection model developed for existing defect data, it can be generalized and verified to defect data that is similar but has different characteristics in detail.
기존에 보유하고 있는 정형/비정형 결함 데이터와 생산 및 공정라인에서 새롭게 구축된 정형/비정형 연계 결함 데이터셋은 그 특성이 유사하지만 세부적 특징이 다를 수 있기 때문에 기존의 결함 데이터를 대상으로 개발된 결함 탐지 분리/분류 네트워크 모델은 새롭게 구축된 연계 데이터셋에는 직접 적용이 어려울 수 있다. 따라서, 전이학습을 통해 제조환경 맞춤형 결함 탐지 분리/분류 네트워크 통합 모델을 구축할 수 있다.Existing structured/unstructured defect data and newly constructed structured/unstructured linked defect data sets from production and process lines have similar characteristics, but detailed characteristics may differ, so defect detection was developed targeting existing defect data. The separation/classification network model may be difficult to apply directly to newly constructed linked datasets. Therefore, through transfer learning, it is possible to build a defect detection separation/classification network integrated model customized for the manufacturing environment.
도 18은 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.Figure 18 is a diagram showing a computer system according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.An artificial intelligence-based manufacturing environment customized defect detection model generation and distribution device according to an embodiment of the present invention may be implemented in a
도 18을 참조하면, 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.Referring to FIG. 18, the
본 발명에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are examples and do not limit the scope of the present invention in any way. For the sake of brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connections or connection members of lines between components shown in the drawings exemplify functional connections and/or physical or circuit connections, and in actual devices, various functional connections or physical connections may be replaced or added. Can be represented as connections, or circuit connections. Additionally, if there is no specific mention such as “essential,” “important,” etc., it may not be a necessary component for the application of the present invention.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the patent claims described below as well as all scopes equivalent to or equivalently changed from the scope of the claims are within the scope of the spirit of the present invention. It will be said to belong to
110: 결함 탐지 모델 생성 및 배포 장치 120: 사용자 단말
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크110: Defect detection model generation and distribution device 120: User terminal
1000: computer system 1010: processor
1020: Bus 1030: Memory
1031: Rom 1032: RAM
1040: User interface input device
1050: User interface output device
1060: Storage 1070: Network Interface
1080: Network
Claims (10)
상기 제1 제조 공정 데이터를 기초로 상기 제1 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성하는 단계; 및
상기 제1 결함 탐지 모델을 기초로 제2 제조 공정 데이터를 분석하는 제2 사용자의 제2 사용자 단말에, 상기 제2 결함 탐지 모델을 배포하는 단계
를 포함하고,
상기 제1 사용자에게 상기 제1 제조 공정 데이터의 공유에 따른 리워드를 제공하는 단계
를 더 포함하고,
상기 제1 사용자의 제조 환경에 대응하는 제3 사용자의 제3 사용자 단말로부터 제3 제조 공정 데이터를 수집하는 단계
를 더 포함하고,
상기 제2 결함 탐지 모델을 생성하는 단계는,
상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터가 기 설정된 주기 내에 함께 수집된 경우, 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터를 함께 기초로 하여 상기 제2 결함 탐지 모델을 생성하는 단계
를 포함하고,
상기 리워드를 제공하는 단계는,
상기 제2 결함 탐지 모델을 생성하는데 사용된 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터의 기여도에 따라 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하는 단계
를 포함하고,
상기 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하는 단계는,
상기 제1 제조 공정 데이터만을 이용하여 학습한 제1 임시 결함 탐지 모델의 상기 제2 결함 탐지 모델과의 제1 유사도를 산출하는 단계;
상기 제3 제조 공정 데이터만을 이용하여 학습한 제2 임시 결함 탐지 모델의 상기 제2 결함 탐지 모델과의 제2 유사도를 산출하는 단계;
상기 제1 유사도 및 상기 제2 유사도에 기초하여, 상기 제1 사용자에 대응하는 제1 기여도 및 상기 제3 사용자에 대응하는 제2 기여도를 산출하는 단계; 및
상기 제1 기여도 및 상기 제2 기여도에 기초하여, 상기 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하는 단계
를 포함하고,
상기 리워드를 제공하는 단계는,
상기 제2 사용자 단말로부터 상기 제1 결함 탐지 모델에 따른 제1 분석 결과 및 상기 제2 결함 탐지 모델에 따른 제2 분석 결과를 수신하는 단계;
상기 제2 결함 탐지 모델에 따른 제2 분석 결과에 대한 제2 사용자의 피드백 정보를 수신하는 단계;
상기 피드백 정보를 기초로 상기 제2 결함 탐지 모델의 상기 제1 결함 탐지 모델에 대한 상대 점수를 산출하는 단계;
상기 제1 결함 탐지 모델에 대한 기존 점수 및 상기 상대 점수를 기초로 상기 제2 결함 탐지 모델에 대한 점수를 산출하는 단계;
상기 제1 결함 탐지 모델에 대한 기존 점수 및 상기 제2 결함 탐지 모델에 대한 점수의 차이 값에 기초하여, 상기 리워드를 결정하는 단계; 및
상기 제1 사용자에게 상기 리워드를 제공하는 단계
를 포함하고,
상기 제1 분석 결과는,
상기 제2 사용자에게 제공되지 않으면서 상기 제1 결함 탐지 모델 및 상기 제2 결함 탐지 모델의 평가에 사용되는, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법.collecting first manufacturing process data including structured data and unstructured data from a first user terminal of a first user;
generating a second defect detection model by retraining the first defect detection model corresponding to the manufacturing environment of the first user based on the first manufacturing process data; and
Distributing the second defect detection model to a second user terminal of a second user analyzing second manufacturing process data based on the first defect detection model.
Including,
Providing a reward for sharing the first manufacturing process data to the first user
It further includes,
Collecting third manufacturing process data from a third user terminal of a third user corresponding to the manufacturing environment of the first user.
It further includes,
The step of generating the second defect detection model is,
When the first manufacturing process data and the third manufacturing process data are collected together within a preset period, generating the second defect detection model based on the first manufacturing process data and the third manufacturing process data together. step
Including,
The step of providing the reward is,
Distributing the rewards to the first user and the third user according to the contribution of the first manufacturing process data and the third manufacturing process data used to generate the second defect detection model.
Including,
The step of distributing the reward to the first user and the third user is,
calculating a first similarity between the first temporary defect detection model learned using only the first manufacturing process data and the second defect detection model;
calculating a second similarity between the second temporary defect detection model and the second defect detection model learned using only the third manufacturing process data;
calculating a first contribution corresponding to the first user and a second contribution corresponding to the third user based on the first similarity and the second similarity; and
Distributing the reward to the first user and the third user based on the first contribution and the second contribution.
Including,
The step of providing the reward is,
Receiving a first analysis result according to the first defect detection model and a second analysis result according to the second defect detection model from the second user terminal;
Receiving feedback information from a second user regarding a second analysis result according to the second defect detection model;
calculating a relative score of the second defect detection model with respect to the first defect detection model based on the feedback information;
calculating a score for the second defect detection model based on the existing score and the relative score for the first defect detection model;
determining the reward based on a difference value between the existing score for the first defect detection model and the score for the second defect detection model; and
Providing the reward to the first user
Including,
The first analysis result is,
A method of generating and distributing a defect detection model customized to an artificial intelligence-based manufacturing environment, which is used for evaluation of the first defect detection model and the second defect detection model without being provided to the second user.
상기 제1 결함 탐지 모델 또는 상기 제2 결함 탐지 모델은,
클라우드 마켓플레이스에 등록된 소프트웨어 패키지에 포함된 인공지능 모델로서, 상기 제2 사용자의 상기 소프트웨어 패키지에 대한 구입 정보에 기초하여 상기 제2 사용자 단말에 배포되는, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법.According to paragraph 1,
The first defect detection model or the second defect detection model,
An artificial intelligence model included in a software package registered in a cloud marketplace, distributed to the second user terminal based on the second user's purchase information for the software package, generating a defect detection model customized for an artificial intelligence-based manufacturing environment. and distribution methods.
상기 제1 사용자 및 상기 제2 사용자는 동일 사용자인, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 방법.According to paragraph 1,
A method for generating and distributing a defect detection model customized for an artificial intelligence-based manufacturing environment, wherein the first user and the second user are the same user.
상기 제1 제조 공정 데이터를 기초로 상기 제1 사용자의 제조 환경에 대응하는 제1 결함 탐지 모델을 재 학습시켜 제2 결함 탐지 모델을 생성하는 결함 탐지 모델 생성부;
상기 제1 결함 탐지 모델을 기초로 제2 제조 공정 데이터를 분석하는 제2 사용자의 제2 사용자 단말에, 상기 제2 결함 탐지 모델을 배포하는 결함 탐지 모델 배포부;
상기 제1 사용자에게 상기 제1 제조 공정 데이터의 공유에 따른 리워드를 제공하는 리워드 제공부;
상기 제1 제조 공정 데이터를 제공하는 제1 사용자 단말; 및
상기 제2 결함 탐지 모델을 수신하는 제2 사용자 단말
을 포함하고,
상기 데이터 수집부는,
상기 제1 사용자의 제조 환경에 대응하는 제3 사용자의 제3 사용자 단말로부터 제3 제조 공정 데이터를 수집하고,
상기 결함 탐지 모델 생성부는,
상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터가 기 설정된 주기 내에 함께 수집된 경우, 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터를 함께 기초로 하여 상기 제2 결함 탐지 모델을 생성하고,
상기 리워드 제공부는,
상기 제2 결함 탐지 모델을 생성하는데 사용된 상기 제1 제조 공정 데이터 및 상기 제3 제조 공정 데이터의 기여도에 따라 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하고,
상기 리워드 제공부는,
상기 제1 제조 공정 데이터만을 이용하여 학습한 제1 임시 결함 탐지 모델의 상기 제2 결함 탐지 모델과의 제1 유사도를 산출하고,
상기 제3 제조 공정 데이터만을 이용하여 학습한 제2 임시 결함 탐지 모델의 상기 제2 결함 탐지 모델과의 제2 유사도를 산출하고,
상기 제1 유사도 및 상기 제2 유사도에 기초하여, 상기 제1 사용자에 대응하는 제1 기여도 및 상기 제3 사용자에 대응하는 제2 기여도를 산출하고,
상기 제1 기여도 및 상기 제2 기여도에 기초하여, 상기 제1 사용자 및 상기 제3 사용자에게 상기 리워드를 분배하고,
상기 리워드 제공부는,
상기 제2 사용자 단말로부터 상기 제1 결함 탐지 모델에 따른 제1 분석 결과 및 상기 제2 결함 탐지 모델에 따른 제2 분석 결과를 수신하고,
상기 제2 결함 탐지 모델에 따른 제2 분석 결과에 대한 제2 사용자의 피드백 정보를 수신하고,
상기 피드백 정보를 기초로 상기 제2 결함 탐지 모델의 상기 제1 결함 탐지 모델에 대한 상대 점수를 산출하고,
상기 제1 결함 탐지 모델에 대한 기존 점수 및 상기 상대 점수를 기초로 상기 제2 결함 탐지 모델에 대한 점수를 산출하고,
상기 제1 결함 탐지 모델에 대한 기존 점수 및 상기 제2 결함 탐지 모델에 대한 점수의 차이 값에 기초하여, 상기 리워드를 결정하고,
상기 제1 사용자에게 상기 리워드를 제공하는, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 장치.a data collection unit that collects first manufacturing process data including structured data and unstructured data from the first user terminal of the first user;
a defect detection model generator that generates a second defect detection model by retraining the first defect detection model corresponding to the manufacturing environment of the first user based on the first manufacturing process data;
a defect detection model distribution unit that distributes the second defect detection model to a second user terminal of a second user that analyzes second manufacturing process data based on the first defect detection model;
a reward provider providing a reward to the first user for sharing the first manufacturing process data;
a first user terminal providing the first manufacturing process data; and
A second user terminal receiving the second fault detection model
Including,
The data collection unit,
Collect third manufacturing process data from a third user terminal of a third user corresponding to the manufacturing environment of the first user,
The defect detection model generator,
When the first manufacturing process data and the third manufacturing process data are collected together within a preset period, generate the second defect detection model based on the first manufacturing process data and the third manufacturing process data together; ,
The reward provision department,
Distributing the rewards to the first user and the third user according to the contribution of the first manufacturing process data and the third manufacturing process data used to generate the second defect detection model,
The reward provision department,
Calculating a first similarity between the first temporary defect detection model learned using only the first manufacturing process data and the second defect detection model,
Calculating a second similarity between the second temporary defect detection model and the second defect detection model learned using only the third manufacturing process data,
Based on the first similarity and the second similarity, calculate a first contribution corresponding to the first user and a second contribution corresponding to the third user,
Based on the first contribution and the second contribution, distribute the reward to the first user and the third user,
The reward provision department,
Receiving a first analysis result according to the first defect detection model and a second analysis result according to the second defect detection model from the second user terminal,
Receiving feedback information from a second user regarding a second analysis result according to the second defect detection model,
Calculating a relative score of the second defect detection model with respect to the first defect detection model based on the feedback information,
Calculating a score for the second defect detection model based on the existing score and the relative score for the first defect detection model,
Based on the difference value between the existing score for the first defect detection model and the score for the second defect detection model, determine the reward,
An artificial intelligence-based manufacturing environment customized defect detection model creation and distribution device that provides the reward to the first user.
상기 제1 결함 탐지 모델 또는 상기 제2 결함 탐지 모델은,
클라우드 마켓플레이스에 등록된 소프트웨어 패키지에 포함된 인공지능 모델로서, 상기 제2 사용자의 상기 소프트웨어 패키지에 대한 구입 정보에 기초하여 상기 제2 사용자 단말에 배포되고,
상기 제1 사용자 및 상기 제2 사용자는 동일 사용자인, 인공지능 기반 제조 환경 맞춤형 결함 탐지 모델 생성 및 배포 장치.According to clause 7,
The first defect detection model or the second defect detection model,
An artificial intelligence model included in a software package registered in a cloud marketplace, distributed to the second user terminal based on the second user's purchase information for the software package,
The first user and the second user are the same user. An artificial intelligence-based manufacturing environment customized defect detection model creation and distribution device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220153415A KR102582354B1 (en) | 2022-11-16 | 2022-11-16 | Method and apparatus for creating and distributing an artificial intelligence-based manufacturing environment customized defect detection model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220153415A KR102582354B1 (en) | 2022-11-16 | 2022-11-16 | Method and apparatus for creating and distributing an artificial intelligence-based manufacturing environment customized defect detection model |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102582354B1 true KR102582354B1 (en) | 2023-09-25 |
Family
ID=88190395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220153415A KR102582354B1 (en) | 2022-11-16 | 2022-11-16 | Method and apparatus for creating and distributing an artificial intelligence-based manufacturing environment customized defect detection model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102582354B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090000592A (en) | 2007-03-02 | 2009-01-08 | 세메스 주식회사 | Fault diagnosis system and method of the same |
| KR20200034171A (en) | 2018-09-21 | 2020-03-31 | 주식회사 머니브레인 | Distributed computing resources sharing system and computing apparatus thereof providing reward based on block chain |
| KR102235029B1 (en) * | 2020-10-05 | 2021-04-02 | 주식회사 인재아이엔씨 | Security verification systems and methods for CI/CD |
| KR102311787B1 (en) | 2021-01-06 | 2021-10-08 | 한전케이디엔주식회사 | Apparatus and method for preventing performance degradation of ai model |
-
2022
- 2022-11-16 KR KR1020220153415A patent/KR102582354B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090000592A (en) | 2007-03-02 | 2009-01-08 | 세메스 주식회사 | Fault diagnosis system and method of the same |
| KR20200034171A (en) | 2018-09-21 | 2020-03-31 | 주식회사 머니브레인 | Distributed computing resources sharing system and computing apparatus thereof providing reward based on block chain |
| KR102235029B1 (en) * | 2020-10-05 | 2021-04-02 | 주식회사 인재아이엔씨 | Security verification systems and methods for CI/CD |
| KR102311787B1 (en) | 2021-01-06 | 2021-10-08 | 한전케이디엔주식회사 | Apparatus and method for preventing performance degradation of ai model |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12013680B2 (en) | Adaptive distributed analytics system | |
| CN111178456B (en) | Abnormal index detection method and device, computer equipment and storage medium | |
| EP3477918B1 (en) | Systems and methods for adaptive industrial internet of things (iiot) | |
| US20210067527A1 (en) | Structural graph neural networks for suspicious event detection | |
| US20190258904A1 (en) | Analytic system for machine learning prediction model selection | |
| CN111290763B (en) | Event stream processing cluster manager | |
| US20200034216A1 (en) | Router management by an event stream processing cluster manager | |
| JP2021057042A (en) | Product classification system and product classification method | |
| Gibadullin et al. | Analysis of industrial network parameters using neural network processing | |
| US11379718B2 (en) | Ground truth quality for machine learning models | |
| US20160306332A1 (en) | Graph Theory and Network Analytics and Diagnostics for Process Optimization in Manufacturing | |
| EP4080407A1 (en) | Inference computing apparatus, model training apparatus, and inference computing system | |
| CN115759734B (en) | Index-based power service supply chain monitoring method, device, equipment and medium | |
| CN111949429A (en) | Server fault monitoring method and system based on density clustering algorithm | |
| CN114730486B (en) | Method and system for generating training data for object detection | |
| CN114647554A (en) | Performance data monitoring method and device of distributed management cluster | |
| KR102582354B1 (en) | Method and apparatus for creating and distributing an artificial intelligence-based manufacturing environment customized defect detection model | |
| Arévalo et al. | A cloud-based architecture for condition monitoring based on machine learning | |
| US11188792B2 (en) | Defect detection using multiple models | |
| US10248110B2 (en) | Graph theory and network analytics and diagnostics for process optimization in manufacturing | |
| Murwantara et al. | An adaptive IoT architecture using combination of concept-drift and dynamic software product line engineering | |
| Zhou et al. | A framework to monitor machine learning systems using concept drift detection | |
| CN105009003A (en) | System and method for managing industrial processes | |
| US20190312840A1 (en) | Automatic tunneler in a communication network of an industrial process facility | |
| Marshoodulla et al. | SDIoTPark: A Data Analytics Framework for Smart Parking Using SDN Based IoT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |