KR20200092447A - 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 - Google Patents
설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200092447A KR20200092447A KR1020190000998A KR20190000998A KR20200092447A KR 20200092447 A KR20200092447 A KR 20200092447A KR 1020190000998 A KR1020190000998 A KR 1020190000998A KR 20190000998 A KR20190000998 A KR 20190000998A KR 20200092447 A KR20200092447 A KR 20200092447A
- Authority
- KR
- South Korea
- Prior art keywords
- simulation
- workflow
- artificial intelligence
- workflow model
- modeling
- Prior art date
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 106
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 68
- 230000008569 process Effects 0.000 claims description 73
- 238000013135 deep learning Methods 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 18
- 230000007547 defect Effects 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010835 comparative analysis Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 10
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000010224 classification analysis Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 25
- 238000007726 management method Methods 0.000 description 12
- 238000012795 verification Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 238000007635 classification algorithm Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013070 change management Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3457—Performance evaluation by simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3086—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
- G06N3/105—Shells for specifying net layout
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
디스플레이의 제조공정 등의 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘을 선택/조립하여 이미지 변환, 계측(Image Processing) 및 이미지 검색(Image Search Engine)이 가능한 인공지능 워크플로우 모델을 생성하고, 시뮬레이션을 수행하는 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하는 단계; 및 입력정보가 입력되면, 입력정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 단계;를 포함한다. 이에 의해, 이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 워크플로우 기반의 복수의 인공지능 알고리즘을 동시에 시뮬레이션하여 상호 성능 비교를 할 수 있다. 또한, 분류 분석의 결과가 이미지와 표준화된 형상 데이터(Feature)로 원인/근거를 설명할 수 있게 하여 알고리즘의 성능 개선방향을 제시할 수 있다.
Description
본 발명은 설명 가능한 인공지능 기술에 관한 것으로, 더욱 상세하게는 반도체, 디스플레이의 제조공정 등의 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘을 선택/조립하여 이미지 변환, 계측(Image Processing) 및 이미지 검색(Image Search Engine)이 가능한 인공지능 워크플로우 모델을 생성하고, 시뮬레이션을 수행하는 시스템 및 방법에 관한 것이다.
인공지능 알고리즘의 개발은 알(R) 언어, 파이썬(Python) 언어 기반으로 개인의 역량에 의해 다소 폐쇄적으로 진행되고, 성능의 평가는 개인의 기준에 의해 평가 검증되고 있어, 인공지능이 기대한 성능을 유지하며 안정적으로 운영되기 위해 사람에 의해 지속적으로 관리 제어되어야 하는 사례가 다수 존재하여 무인 지능화의 한계가 존재한다.
그리고 기존의 인공지능 알고리즘은 단위 요구사항을 충족시키기 위해 분석가가 개인 개발 환경에서 설계 개발 검증 후 적용하는 다소 개인화된 패턴으로 기술 개발 프로세스가 진행되어 왔으며, 환경에 따라 변화되는 성능의 이해 및 개선 / 배포 / 폐기 프로세스도 수동으로 진행되어 기술의 개선과 공유가 쉽지 않다는 단점 역시 존재한다.
또한, 최근 오픈소스 기반 딥 러닝(deep learning) 기법의 알고리즘이 트렌드(trend)가 되어 수많은 알고리즘이 개발되고 있으나, 실세계에 접목하기 위해서는 지속적으로 인공지능 판정의 적합성을 직접 확인하고 배포 여부를 판단하게 된다.
그러나 영역별 요구사항별 인공지능 알고리즘의 수가 많고, 변화하는 제조 데이터를 반영해 주기적으로 리모델링이 필요한 인공지능 알고리즘을 일일이 확인 검증하는 것이 어려워 최적화를 포기하는 사례가 발생하기도 한다. 즉, 알고리즘 변화 관리의 실패로 성능의 폴트(Fault)가 자주 발생하게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증 및 워크플로우 기반의 복수의 인공지능 알고리즘을 동시에 시뮬레이션하여 상호 성능 비교하는 중앙 관리가 가능하고, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 분류 분석의 결과가 이미지와 표준화된 형상 데이터(Feature)로 원인/근거를 설명할 수 있도록 하는 인공지능 모델링 및 시뮬레이션 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 기저장된 알고리즘 중 주제 영역에 맞게 작성 및 편집된 워크플로우(Workflow)에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하는 단계; 및 입력정보가 입력되면, 입력정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 단계;를 포함한다.
그리고 인공지능 워크플로우 모델은, 워크플로우 및 워크플로우에 적합하도록 선택된 알고리즘이 시각화되어, 제공될 수 있다.
또한, 알고리즘은, 데이터 전처리 프로세스, 학습/분류 프로세스, 데이터 후처리 프로세스 및 반복 학습/분류 프로세스에 대하여, 프로세스별로 조립되도록, 프로세스별 라이브러리에 분류되어 저장될 수 있다.
그리고 인공지능 워크플로우 모델은, 이미지 데이터가 입력되면, 이미지 정규화 프로세스, 학습 프로세스 및 이미지 특징분석 프로세스를 순차적으로 수행하여, 관심영역을 계측하여 이미지 특징을 추출하고, 이미지 특징을 기반으로 설명 데이터를 생성할 수 있다.
또한, 시뮬레이션을 수행하는 단계는, 시뮬레이션을 수행하는 단계는, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델이 설계되면, 인공지능 워크플로우 모델별 시뮬레이션을 등록하는 단계; 및 등록된 각각의 시뮬레이션을 수행하는 단계;를 포함할 수 있다.
그리고 본 발명의 일 실시예에 따른, 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 각각의 시뮬레이션이 수행되면, 각각의 시뮬레이션의 수행결과를 기반으로 각각의 인공지능 워크플로우 모델의 성능을 실시간 비교 평가하는 단계; 및 실시간 비교 평가의 결과에 따라 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하는 단계;를 더 포함할 수 있다.
또한, 등록된 각각의 시뮬레이션을 수행하는 단계는, 각각의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하는 분산 관리 환경을 이용하여, 각각의 시뮬레이션을 동시에 동일한 조건에서 수행할 수 있다.
그리고 입력정보는, 공정 과정에서 획득된 이미지 데이터일 수 있다.
또한, 비교 평가하는 단계는, 시뮬레이션이 수행된 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하며, 배포 또는 변경하는 단계는, 선별된 제1 머신러닝 인공지능 워크플로우 모델을 배포 또는 변경할 수 있다.
그리고 등록된 각각의 시뮬레이션을 수행하는 단계는, 이미지 데이터가 입력되면, 이미지 데이터를 분석 단위 영역으로 분할하여, 영역별 불량 여부를 판정하고, 판정 결과에 따라 등급을 판정하는 단계; 불량 판정된 관심영역을 계측하여 이미지 특징을 추출하는 단계; 이미지 특징의 유사 이미지를 검색하는 단계; 유사 이미지별 공통성(Commonality)을 분석하여, 혐의 인자를 추정하는 단계; 및 혐의 인자가 포함된 설명 데이터를 생성하는 단계;를 포함할 수 있다.
또한, 불량 판정된 영역을 계측하여 이미지 특징을 추출하는 단계는, Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect 및 Extract Feature 중 어느 하나의 알고리즘을 이용할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 알고리즘을 저장하는 저장부; 및 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하고, 정보가 입력되면, 입력된 정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 워크플로우 기반의 복수의 인공지능 알고리즘을 동시에 시뮬레이션하여 상호 성능 비교를 할 수 있다.
또한, 본 발명의 실시예들에 따르면, 분류 분석의 결과가 이미지와 표준화된 형상 데이터(Feature)로 원인/근거를 설명할 수 있게 하여 알고리즘의 성능 개선방향을 제시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법의 설명에 제공되는 흐름도,
도 2는 인공지능 워크플로우 모델을 설계하는 과정의 설명에 제공되는 도면,
도 3은 알고리즘을 예시한 도면,
도 4는 인공지능 워크플로우 모델을 예시한 도면,
도 5는 이미지 데이터를 관리하는 화면을 예시한 도면,
도 6은 알고리즘을 관리하는 화면을 예시한 도면,
도 7은 시각화된 인공지능 워크플로우 모델이 제공되는 화면을 예시한 도면,
도 8은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정의 설명에 제공되는 도면,
도 9는 인공지능 워크플로우 모델 및 시뮬레이션을 검증하는 과정의 설명에 제공되는 도면,
도 10은 인공지능 워크플로우 모델의 최적 모형을 예시한 도면,
도 11은 인공지능 워크플로우 모델 간 최적 시뮬레이션을 평가하는 과정의 설명에 제공되는 도면,
도 12는 인공지능 워크플로우 모델을 분류 성능 평가하는 과정의 설명에 제공되는 도면,
도 13은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 영역별 불량 여부를 판정하여, 등급을 판정하는 과정의 설명에 제공되는 도면,
도 14는 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하고, 설명 데이터를 생성하는 과정의 설명에 제공되는 도면,
도 15는 다양한 이미지 혐의 인자를 예시한 도면, 그리고
도 16은 본 발명의 다른 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템의 블록도이다.
도 2는 인공지능 워크플로우 모델을 설계하는 과정의 설명에 제공되는 도면,
도 3은 알고리즘을 예시한 도면,
도 4는 인공지능 워크플로우 모델을 예시한 도면,
도 5는 이미지 데이터를 관리하는 화면을 예시한 도면,
도 6은 알고리즘을 관리하는 화면을 예시한 도면,
도 7은 시각화된 인공지능 워크플로우 모델이 제공되는 화면을 예시한 도면,
도 8은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정의 설명에 제공되는 도면,
도 9는 인공지능 워크플로우 모델 및 시뮬레이션을 검증하는 과정의 설명에 제공되는 도면,
도 10은 인공지능 워크플로우 모델의 최적 모형을 예시한 도면,
도 11은 인공지능 워크플로우 모델 간 최적 시뮬레이션을 평가하는 과정의 설명에 제공되는 도면,
도 12는 인공지능 워크플로우 모델을 분류 성능 평가하는 과정의 설명에 제공되는 도면,
도 13은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 영역별 불량 여부를 판정하여, 등급을 판정하는 과정의 설명에 제공되는 도면,
도 14는 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하고, 설명 데이터를 생성하는 과정의 설명에 제공되는 도면,
도 15는 다양한 이미지 혐의 인자를 예시한 도면, 그리고
도 16은 본 발명의 다른 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템의 블록도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 설명 가능한 인공지능 모델링 및 시뮬레이션 방법
본 발명의 실시예에서는 설명 가능한 인공지능 시뮬레이션 플랫폼을 제공하기 위한 시스템 및 방법을 제시한다.
여기서, '설명 가능한 인공지능'이란 인공지능을 이용한 분류 분석의 결과로 원인/근거를 설명할 수 있는 데이터를 추출하는 인공지능 기술을 의미한다.
도 1은 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법의 설명에 제공되는 흐름도이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 방법은 인공지능 모델링 및 시뮬레이션 시스템이, 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘들이 선택되면, 선택된 알고리즘들이 조립되어(S110), 인공지능 워크플로우 모델이 설계될 수 있다(S120).
이때, 알고리즘들은 복수의 딥러닝 알고리즘 또는 머신러닝 알고리즘일 수 있다.
그리고 인공지능 모델링 및 시뮬레이션 시스템은, 복수의 인공지능 워크플로우 모델이 설계되면, 인공지능 워크플로우 모델별 시뮬레이션이 등록되도록 하고(S130), 입력정보가 입력되면, 입력정보를 대상으로 등록된 각각의 시뮬레이션을 수행할 수 있다(S140).
또한, 인공지능 모델링 및 시뮬레이션 시스템은, 각각의 시뮬레이션이 동일한조건에서 동시에 수행되면, 각각의 시뮬레이션의 수행결과를 기반으로 설계된 각각의 인공지능 워크플로우 모델의 성능을 지속적으로 비교 평가하고(S150), 비교 평가의 결과에 따라 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하여, 공정 과정에 적용되도록 할 수 있다(S160).
그리고 인공지능 모델링 및 시뮬레이션 시스템은 배포되어 공정 과정에 적용된 최적의 인공지능 워크플로우 모델의 수행 결과의 실시간 분류를 수행하여(S170), 실시간 분류 결과를 검증하고 확정하는 리포팅 업무를 수행할 수 있다(S180).
2. 인공지능 워크플로우 모델 설계
도 2는 인공지능 워크플로우 모델을 설계하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 제조 산업에서 공정별 인공지능 알고리즘의 개발-검증-배포-운영 프로세스를 자동화하고 운영 효율성을 증대시키는 인공지능 운영 시뮬레이션 플랫폼 기술에 관한 것으로, Industry 4.0의 주요 과제인 Visual Information의 해석 및 분류라는 다양한 종류의 제조 검사 프로세스 무인화/자동화를 위해 반드시 필요한 학습 분류 알고리즘 모델링, 알고리즘 자산 관리, 병렬 시뮬레이션 수행 및 자동 알고리즘 성능 검증, 배포된 알고리즘의 수행 결과를 이미지와 형상 데이터로 확인하는 등의 주요한 과정을 지원할 수 있다.
더불어, 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 기반 제조 선진화 추진 사례가 늘어날수록 지속적으로 증가하게 될 인공지능 알고리즘의 개발-운영-검증-배포 관리체계를 마련하고 개발된 인공지능 알고리즘의 적합성을 데이터로 설명하기 위한 기술로서, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증 및 워크플로우 기반의 복수의 딥러닝 알고리즘과 머신러닝 알고리즘을 동시에 동일한 조건에서 시뮬레이션하여 상호 성능 비교하는 중앙 관리가 가능하고, 딥러닝 알고리즘과 머신러닝 알고리즘이 동시에 동일한 조건에서 시뮬레이션된 결과를 바탕으로, 최적의 정확도를 갖는 딥러닝 알고리즘을 선별하고, 선별된 딥러닝 알고리즘과 동일한 결과값을 갖는 머신러닝 알고리즘을 선별/적용하여, 설명가능 인공지능을 구현할 수 있으며, 워크플로우 기반으로 알고리즘의 연결을 가시화하고 통합된 시뮬레이션으로 자동 성능 검증할 수 있으며, 분류 분석의 결과가 이미지와 표준화된 형상 데이터(Feature)로 원인/근거를 설명할 수 있다.
이러한 기능들을 수행하기 위해, 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 우선, 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우에 적합한 알고리즘들이 선택되면, 선택된 알고리즘들이 조립되어, 인공지능 워크플로우 모델을 설계할 수 있다.
여기서, 기저장된 알고리즘은 도 3에 예시된 바와 같이 이미지 처리 알고리즘과 인공지능 학습/분류 알고리즘으로 구성될 수 있으며, 이미지 처리 알고리즘과 인공지능 학습/분류 알고리즘은 임의로 편집된 라이브러리 또는 프로세스별 라이브러리에 분류되어 저장된다.
이미지 처리 알고리즘은 이미지 정규화 프로세스를 위한 알고리즘, 학습 프로세스를 위한 알고리즘 및 이미지 특징분석 프로세스를 위한 알고리즘 등이 포함되며, 사용자가 이미지 정규화 프로세스를 위한 알고리즘, 학습 프로세스를 위한 알고리즘 및 이미지 특징분석 프로세스를 위한 알고리즘 중에 작성/편집된 워크플로우에 적합한 알고리즘들을 선택하여 조립할 수 있다.
이미지 정규화 프로세스를 위한 알고리즘은, Load Object, Normalize, Rotate Image 및 Working Domain 중 어느 하나의 알고리즘이 선택될 수 있다.
학습 프로세스를 위한 알고리즘은, GMM Learning 및 NCC Learning 중 어느 하나의 알고리즘이 선택될 수 있다.
이미지 특징분석을 위한 알고리즘은, Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect 및 Extract Feature 중 어느 하나의 알고리즘이 선택될 수 있다.
인공지능 학습/분류 알고리즘은 데이터 전처리 프로세스를 위한 알고리즘, 학습/분류 프로세스를 위한 알고리즘, 데이터 후처리 프로세스를 위한 알고리즘 및 반복 학습/분류 프로세스를 위한 알고리즘이 포함된다.
본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 4 내지 도 7에 예시된 바와 같이 화면에 출력되는 사용자 인터페이스를 통해, 알고리즘 관리, 인공지능 워크플로우 모델 관리, 이미지 데이터 관리, 인공지능 워크플로우 모델에 대한 시뮬레이션 등록 및 수행, 배포 및 적용 등을 수행할 수 있다.
구체적으로, 도 4는 인공지능 워크플로우 모델을 예시한 도면이고, 도 5는 이미지 데이터를 관리하는 화면을 예시한 도면이며, 도 6은 알고리즘을 관리하는 화면을 예시한 도면이다. 또한, 도 7은 시각화된 인공지능 워크플로우 모델이 제공되는 화면을 예시한 도면이다.
설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 4에 예시된 바와 같이 사용자 인터페이스를 통해, 인공지능 워크플로우 모델을 설계할 수 있다.
이때, 인공지능 워크플로우 모델을 설계하기 위한 사용자 인터페이스는 분석 주제(subject) 영역, 이미지 프로세싱 및 인공지능 학습/분류 영역, 알고리즘 속성(property), 모델 워크플로우(workflow) 영역 및 데이터 앤 로그(data and log) 영역으로 구성될 수 있다.
분석 주제(subject) 영역은 트리(tree) 형태로 주제 영역을 선택하거나, 새로운 인공지능 워크플로우 모델의 라이브러리를 생성하거나 또는 저장된 인공지능 워크플로우 모델의 라이브러리를 선택하는데 이용될 수 있으며, 이미지 프로세싱 및 인공지능 학습/분류 영역은 사용자 인터페이스를 통해, 알고리즘이 저장된 라이브러리에서 알고리즘을 선택/조립하여 인공지능 워크플로우 모델을 설계하는데 이용될 수 있다.
알고리즘 속성(property) 영역은 사용자 인터페이스를 통해, 알고리즘의 입출력 파라미터가 포함된 속성정보를 선택하거나 설정하는데 이용될 수 있으며, 모델 워크플로우(workflow) 영역은 인공지능 워크플로우 모델이 시각화되어 제공될 수 있다.
그리고 데이터 앤 로그(data and log) 영역은 인공지능 워크플로우 모델을 구성하는 알고리즘이 실행된 이후, 히스토리(history), 로그(log), 데이터를 확인하는데 이용될 수 있다.
그리고 설계된 인공지능 워크플로우 모델에 입력되는 이미지 데이터를 관리하기 위한 사용자 인터페이스는 도 5에 예시된 바와 같이, 분석 대상 이미지 목록 영역, 탐지(defect) 유형별 이미지 목록 영역, 원본 이미지 영역으로 구성될 수 있다.
분석 대상 이미지 목록 영역은, 사용자가 분석할 이미지 데이터를 등록하거나 수신하는데 이용될 수 있다.
탐지 유형별 이미지 목록 영역은, 공정별 또는 탐지 유형별 분석 대상 이미지 목록이 표시되며, 원본 이미지 영역은, 이미지 특징이 탐지된 이미지의 원본이 표시되어, 사용자가 이미지의 원본을 상세하게 볼 수 있도록 한다.
또한, 알고리즘을 관리하기 위한 사용자 인터페이스는 도 6에 예시된 바와 같이, 알고리즘 목록 영역, 알고리즘 상세 정보 영역 및 탐지(defect), 공정, 특징변수 목록 영역으로 구성될 수 있다.
알고리즘 목록 영역은 데이터 처리, 이미지 처리, 인공지능 학습/분류 알고리즘 목록이 표시될 수 있으며, 알고리즘 상세 정보 영역은 알고리즘 유형, 실행파일 경로, 실행파일 유형, 노드 유형 정보가 표시될 수 있다.
탐지, 공정, 특징변수 목록 영역은 알고리즘에 적용될 탐지 유형 목록, 공정 목록, 알고리즘 버전(특징변수 그룹) 목록이 표시될 수 있다.
그리고 시각화된 인공지능 워크플로우 모델을 제공하기 위한 사용자 인터페이스는 도 7에 예시된 바와 같이 분석 주제 라이브러리 영역, 알고리즘 워크플로우 캔버스(workflow canvas) 영역, 즉시 수행결과 뷰어(View) 영역 및 알고리즘 노드(Node) 목록 영역으로 구성될 수 있다.
분석 주제 라이브러리 영역은 주제 영역별 분석 모델 목록이 표시되고, 사용자가 설계된 분석 모델을 주제 영역별로 관리하는데 이용될 수 있다.
알고리즘 워크플로우 캔버스 영역은 알고리즘 노드 선택, 연결, 속성 설정(property setup)을 통한 워크플로우 설계를 하는데 이용될 수 있다.
즉시 수행결과 뷰어 영역은 인공지능 워크플로우 모델을 수행하고, 수행 결과를 확인하는데 이용될 수 있다.
알고리즘 노드 목록 영역은 알고리즘 모델링을 하는 경우에, 선택 가능한 데이터 처리, 이미지 처리, 인공지능 학습/분류 알고리즘 노드 목록이 표시될 수 있다.
3. 시뮬레이션
도 8은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 알고리즘의 개발-운영-검증-배포 관리체계를 마련하고 개발된 인공지능 알고리즘의 적합성을 데이터로 설명하기 위해, 다양한 알고리즘을 선택/조립하여, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델을 설계하고, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델이 설계되면, 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 시뮬레이션을 등록하고, 등록된 각각의 시뮬레이션을 수행할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하는 분산 관리 환경을 이용하여, 각각의 시뮬레이션을 동시에 동일한 조건에서 수행할 수 있다.
여기서, 분산 관리 환경은 체인 형태로 연결된 복수의 서버가 각각의 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하도록 구현된 것을 의미한다.
도 9는 인공지능 워크플로우 모델 및 시뮬레이션을 검증하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 분산 관리 환경을 이용하여, 등록된 각각의 시뮬레이션하고, 각각의 시뮬레이션의 결과를 바탕으로, 성능을 실시간 비교 평가하여, 성능이 검증된 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하고, 운영 시 지속적으로 발생하는 추가 이미지/분류 결과에 대하여 누적 반복 학습/검증을 통해, 인공지능 워크플로우 모델을 최적화시킬 수 있다.
일 예를 들면, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 검증 구간의 크기를 누적하여 증가시키면서, 동시에 수행된 각각의 시뮬레이션의 결과를 비교 평가하여, 평가 결과를 기준으로, 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하여, 제1 머신러닝 인공지능 워크플로우 모델을 배포하거나, 또는 검증 구간의 크기를 일정하게 유지하면서, 동시에 수행된 각각의 시뮬레이션의 결과를 비교 평가하여, 평가 결과를 기준으로, 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하여, 제1 머신러닝 인공지능 워크플로우 모델을 배포할 수 있다.
그리고 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 공정 과정에 적용시킨 이후에도, 공정 과정에 적용된 최적의 인공지능 워크플로우 모델을 운영하는 경우, 지속적으로 추가 이미지/분류 결과가 누적 반복 학습/검증되도록 하여, 인공지능 워크플로우 모델을 계속적으로 최적화시킬 수 있다.
도 10은 인공지능 워크플로우 모델의 최적 모형을 예시한 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 워크플로우 모델이 설계되면, 설계된 인공지능 워크플로우 모델의 성능에 대하여 자동 평가를 수행할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 학습 및 분류의 결과 비교 자동화를 통하여, 포화점(saturation point) 이내의 구간에서 유효성 검사의 정확성(validation accuracy)이 가장 높은 최고 적합점 모델을 선별하는 방식으로, 인공지능 워크플로우 모델의 성능을 평가할 수 있다.
도 11은 인공지능 워크플로우 모델 간 최적 시뮬레이션을 평가하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 11에 예시된 바와 같이 각각의 인공지능 워크플로우 모델을 이용하여, 공정 과정에서 획득된 이미지 데이터를 대상으로 시뮬레이션을 수행하고, 인공지능 워크플로우 모델별 각각의 시뮬레이션의 수행 결과를 비교하여, 최적의 인공지능 워크플로우 모델을 선택할 수 있다. 이때, 도 11에 예시된 바와 같은 결과가 산출된다면, 정확도가 가장 높은 B 모델이 선정되어, 배포될 것이다.
도 12는 인공지능 워크플로우 모델을 분류 성능 평가하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 인공지능 워크플로우 모델의 분류 성능 평가 및 모니터링을 통해, 학습 데이터/모델을 관리할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 일자별, 유형별, 순도(purity) 및 정확성(accuracy)의 변동성을 분석하여, 개선이 필요한 핵심 개선 포인트를 제시할 수 있다.
도 13은 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 영역별 불량 여부를 판정하여, 등급을 판정하는 과정의 설명에 제공되는 도면이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 이미지 데이터가 입력되면, 이미지 정규화 프로세스, 학습 프로세스 및 이미지 특징분석 프로세스를 순차적으로 수행하여, 관심영역을 계측하여 이미지 특징을 추출할 수 있다.
구체적으로, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 공정 과정에서 품질보증, 검사, 계측을 위하여, 이미지 데이터가 입력되면, 이미지 데이터를 분석 단위 영역으로 분할하여, 영역별 불량 여부를 판정하고, 판정 결과에 따라 등급을 판정할 수 있다. 이때, 판정 결과에 따른 등급은, 기설정된 조건(Rule)에 따라 형상의 유의미한 차이에 대한 등급이 판정될 수 있다.
그리고 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 판정 결과에 따라 등급이 판정되면, 불량 판정된 관심영역을 계측하여 이미지 특징을 추출할 수 있다.
도 14는 인공지능 워크플로우 모델별 시뮬레이션을 수행하는 과정 중 유사 이미지별 공통성을 분석하여, 혐의 인자를 추정하고, 설명 데이터를 생성하는 과정의 설명에 제공되는 도면이다.
본 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 불량 판정된 관심영역을 계측하여 추출된 이미지 특징의 크기, 면적 등에 대한 정보를 산출하여, 영상을 분류하고, 이미지 특징의 유사 이미지를 검색하여, 유사 이미지별 공통성(Commonality)을 분석할 수 있다.
그리고 유사 이미지별 공통성의 분석 결과에 따라, 도 15에 예시된 바와 같이 혐의 인자를 추정하고, 추정된 혐의 인자가 포함된 설명 데이터를 생성할 수 있다.
여기서, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 이미지 특징의 유사 이미지를 기설정된 유사도 구간별로 검색하고, 검색된 유사 이미지를 제공할 수 있다.
이를 통해, 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 유사도가 가장 높은 구간에서 검색된 유사 이미지들을 이용하여 혐의 인자를 추정하되, 표본이 적어 혐의 인자의 추정이 어려운 경우, 가장 높은 구간보다 한 단계 낮은 구간에서 검색된 유사 이미지들을 이용하여 혐의 인자를 추정하는 방식으로, 유사 이미지별 공통성을 분석할 수 있다.
설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 폐수 내 미생물 인식 분류 분야, 표면 평탄도 불량 감지 및 분류 분야, 재료 에지(edge) 손상 인식 및 분류 분야, 전자 현미경 이미지를 인공지능 알고리즘을 이용한 탐지(defect) 분포 패턴의 인식 및 분류 분야 등 다양한 분야에서, 도 15에 예시된 바와 같이 혐의 인자를 추정하고 추정된 혐의 인자가 포함된 설명 데이터를 생성할 수 있다.
4. 시스템 구성
도 16은 본 발명의 다른 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템의 블록도이다. 본 발명의 일 실시예에 따른 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템은 도 16에 도시된 바와 같이 통신부(110), 프로세서(120) 및 저장부(130)를 포함한다.
통신부(110)는 공정 시설 관리 시스템이나 분산 관리 환경을 위한 복수의 서버와 통신 연결을 위한 수단으로서, 공정 과정에서 획득된 이미지 데이터를 수신하거나, 성능이 검증된 인공지능 워크플로우 모델을 배포하는데 이용될 수 있다.
프로세서(120)는 기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하고, 설계된 인공지능 워크플로우 모델에 대한 시뮬레이션을 등록하고, 정보가 입력되면, 분산 관리 환경을 이용하여, 입력된 정보를 대상으로 등록된 시뮬레이션을 동시에 수행할 수 있다.
또한, 프로세서(120)는 시뮬레이션별 수행 결과를 바탕으로 성능을 비교 평가하고 검증하여, 성능이 검증된 인공지능 워크플로우 모델을 배포할 수 있다.
저장부(130)는 프로세서(120)가 동작함에 필요한 프로그램 및 정보들이 저장되는 저장매체이다. 또한, 저장부(130)는 이미지 데이터, 알고리즘, 인공지능 워크플로우 모델, 시뮬레이션 등을 임의로 편집된 라이브러리 또는 프로세스별 라이브러리에 분류하여 저장할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터 간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 통신부
120 : 프로세서
130 : 저장부
120 : 프로세서
130 : 저장부
Claims (12)
- 기저장된 알고리즘 중 주제 영역에 맞게 작성 및 편집된 워크플로우(Workflow)에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하는 단계; 및
입력정보가 입력되면, 입력정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 단계;를 포함하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 1에 있어서,
인공지능 워크플로우 모델은,
워크플로우 및 워크플로우에 적합하도록 선택된 알고리즘이 시각화되어, 제공되는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 1에 있어서,
알고리즘은,
데이터 전처리 프로세스, 학습/분류 프로세스, 데이터 후처리 프로세스 및 반복 학습/분류 프로세스에 대하여, 프로세스별로 조립되도록, 프로세스별 라이브러리에 분류되어 저장되는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 3에 있어서,
인공지능 워크플로우 모델은,
이미지 데이터가 입력되면, 이미지 정규화 프로세스, 학습 프로세스 및 이미지 특징분석 프로세스를 순차적으로 수행하여, 관심영역을 계측하여 이미지 특징을 추출하고, 이미지 특징을 기반으로 설명 데이터를 생성하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 1에 있어서,
시뮬레이션을 수행하는 단계는,
복수의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델이 설계되면, 인공지능 워크플로우 모델별 시뮬레이션을 등록하는 단계; 및
등록된 각각의 시뮬레이션을 수행하는 단계;를 포함하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 5에 있어서,
각각의 시뮬레이션이 수행되면, 각각의 시뮬레이션의 수행결과를 기반으로 각각의 인공지능 워크플로우 모델의 성능을 실시간 비교 평가하는 단계; 및
실시간 비교 평가의 결과에 따라 최적의 인공지능 워크플로우 모델을 계속적으로 배포 또는 변경하는 단계; 를 더 포함하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 6에 있어서,
등록된 각각의 시뮬레이션을 수행하는 단계는,
각각의 딥러닝 인공지능 워크플로우 모델 또는 머신러닝 인공지능 워크플로우 모델에 대한 데이터를 분산 관리하는 분산 관리 환경을 이용하여, 각각의 시뮬레이션을 동시에 동일한 조건에서 수행하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 6에 있어서,
입력정보는,
공정 과정에서 획득된 이미지 데이터인 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 6에 있어서,
비교 평가하는 단계는,
시뮬레이션이 수행된 복수의 딥러닝 인공지능 워크플로우 모델 중 가장 정확도가 높은 제1 딥러닝 인공지능 워크플로우 모델을 선별하고, 제1 딥러닝 인공지능 워크플로우 모델과 동일한 결과가 산출된 제1 머신러닝 인공지능 워크플로우 모델을 선별하며,
배포 또는 변경하는 단계는,
선별된 제1 머신러닝 인공지능 워크플로우 모델을 배포 또는 변경하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 6에 있어서,
등록된 각각의 시뮬레이션을 수행하는 단계는,
이미지 데이터가 입력되면, 이미지 데이터를 분석 단위 영역으로 분할하여, 영역별 불량 여부를 판정하고, 판정 결과에 따라 등급을 판정하는 단계;
불량 판정된 관심영역을 계측하여 이미지 특징을 추출하는 단계;
이미지 특징의 유사 이미지를 검색하는 단계;
유사 이미지별 공통성(Commonality)을 분석하여, 혐의 인자를 추정하는 단계; 및
혐의 인자가 포함된 설명 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 청구항 10에 있어서,
불량 판정된 영역을 계측하여 이미지 특징을 추출하는 단계는,
Find Defect, Validate Defect, GMM Classification, NCC Classification, Monitor Defect 및 Extract Feature 중 어느 하나의 알고리즘을 이용하는 것을 특징으로 하는 설명 가능한 인공지능 모델링 및 시뮬레이션 방법.
- 알고리즘을 저장하는 저장부; 및
기저장된 알고리즘 중 주제 영역에 맞게 작성/편집된 워크플로우(Workflow)에 적합한 알고리즘이 선택되면, 인공지능 워크플로우 모델을 설계하고, 정보가 입력되면, 입력된 정보를 대상으로 인공지능 워크플로우 모델에 대한 시뮬레이션을 수행하는 프로세서;를 포함하는 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190000998A KR102142205B1 (ko) | 2019-01-04 | 2019-01-04 | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 |
| US17/420,237 US12032469B2 (en) | 2019-01-04 | 2020-01-02 | Explainable artificial intelligence modeling and simulation system and method |
| EP20736068.6A EP3907618A4 (en) | 2019-01-04 | 2020-01-02 | EXPLAINABLE SYSTEM AND METHODS FOR MODELING AND SIMULATION WITH ARTIFICIAL INTELLIGENCE |
| PCT/KR2020/000022 WO2020141882A1 (ko) | 2019-01-04 | 2020-01-02 | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190000998A KR102142205B1 (ko) | 2019-01-04 | 2019-01-04 | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200092447A true KR20200092447A (ko) | 2020-08-04 |
| KR102142205B1 KR102142205B1 (ko) | 2020-08-06 |
Family
ID=71407378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190000998A KR102142205B1 (ko) | 2019-01-04 | 2019-01-04 | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3907618A4 (ko) |
| KR (1) | KR102142205B1 (ko) |
| WO (1) | WO2020141882A1 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102278284B1 (ko) * | 2021-02-23 | 2021-07-16 | 주식회사 에이아이노미스 | 중첩 편집 블록을 이용한 딥러닝 모델 제작 장치 및 방법 |
| KR102284539B1 (ko) * | 2020-11-30 | 2021-08-02 | 주식회사 애자일소다 | 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법 |
| WO2022085939A1 (ko) * | 2020-10-20 | 2022-04-28 | 주식회사 뉴로코어 | 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 |
| KR20220082554A (ko) * | 2020-12-10 | 2022-06-17 | 주식회사 인터엑스 | 제조공정 데이터를 이용한 자가학습형 인공지능 플랫폼 |
| KR20220135817A (ko) * | 2021-03-31 | 2022-10-07 | 한국과학기술연구원 | 인공지능 기반 실시간 음향 시뮬레이션 방법 및 이를 이용한 초음파 치료 시스템 |
| WO2022235039A1 (ko) * | 2021-05-07 | 2022-11-10 | 삼성전자 주식회사 | 블록체인 네트워크에 포함된 노드에 대응하는 전자 장치와 이의 동작 방법 |
| KR102524758B1 (ko) * | 2022-09-26 | 2023-04-25 | (주)시큐레이어 | 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버 |
| KR102630391B1 (ko) * | 2023-08-29 | 2024-01-30 | (주)시큐레이어 | 설명가능 인공지능(xai)에 기반하여 이미지 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버 |
| KR102630394B1 (ko) * | 2023-08-29 | 2024-01-30 | (주)시큐레이어 | 설명가능 인공지능(xai)에 기반하여 테이블 데이터 분석 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버 |
| KR20240095615A (ko) | 2022-12-16 | 2024-06-26 | 한국과학기술원 | 플러그 앤 플레이 방식 기반의 인공지능 모델에 대한 설명 제공 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990561B (zh) * | 2021-03-04 | 2023-01-20 | 广东工业大学 | 一种基于工作流模型的工业产业链协同决策方法 |
| KR20230159913A (ko) | 2022-05-16 | 2023-11-23 | 고려대학교 산학협력단 | 강화학습을 이용한 시뮬레이터 자동 운영 방법, 이를 수행하기 위한 장치 및 기록 매체 |
| KR20240024575A (ko) * | 2022-08-17 | 2024-02-26 | 쿠팡 주식회사 | 서비스와 관련된 인공 지능 모델을 관리하는 방법 및 장치 |
| WO2024106751A1 (ko) * | 2022-11-15 | 2024-05-23 | 주식회사 인비전랩 | 인공지능 모델 자동생성 방법 |
| EP4379602A1 (de) * | 2022-11-29 | 2024-06-05 | Frequentis AG | Verfahren für eine zertifizierung von periodisch adaptierten maschinenlernen-modellen |
| KR20240083235A (ko) * | 2022-12-02 | 2024-06-12 | 주식회사 와이즈넛 | 데이터 기반의 머신러닝 모델 파이프라인을 자동으로 생성하기 위한 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050089190A (ko) * | 2004-03-04 | 2005-09-08 | 한국과학기술원 | 워크플로우 시스템에 기반한 워크플로우 모델 시뮬레이션장치 및 방법 |
| JP2008203934A (ja) * | 2007-02-16 | 2008-09-04 | Nec Corp | 分散ワークフローシミュレーションシステム、方法、及び、プログラム |
| KR101345068B1 (ko) * | 2013-06-12 | 2013-12-26 | 성결대학교 산학협력단 | 워크플로우 모델링 및 시뮬레이션 시스템 및 방법 |
| KR101888637B1 (ko) * | 2017-03-20 | 2018-08-14 | 한국생산기술연구원 | 제조 특화형 알고리즘 템플릿 기반 데이터 분석 방법 및 플랫폼 구조 시스템 |
| KR20180130925A (ko) * | 2017-05-30 | 2018-12-10 | 국방과학연구소 | 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050256818A1 (en) * | 2004-04-30 | 2005-11-17 | Xerox Corporation | Workflow auto generation from user constraints and hierarchical dependence graphs for workflows |
| US7502763B2 (en) * | 2005-07-29 | 2009-03-10 | The Florida International University Board Of Trustees | Artificial neural network design and evaluation tool |
| US7676294B2 (en) * | 2007-09-27 | 2010-03-09 | Rockwell Automation Technologies, Inc. | Visualization of workflow in an industrial automation environment |
| US8380642B2 (en) * | 2008-12-03 | 2013-02-19 | Schlumberger Technology Corporation | Methods and systems for self-improving reasoning tools |
| US20160358099A1 (en) * | 2015-06-04 | 2016-12-08 | The Boeing Company | Advanced analytical infrastructure for machine learning |
| EP3416105A4 (en) * | 2016-02-12 | 2019-02-20 | Sony Corporation | INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE |
-
2019
- 2019-01-04 KR KR1020190000998A patent/KR102142205B1/ko active IP Right Grant
-
2020
- 2020-01-02 WO PCT/KR2020/000022 patent/WO2020141882A1/ko unknown
- 2020-01-02 EP EP20736068.6A patent/EP3907618A4/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050089190A (ko) * | 2004-03-04 | 2005-09-08 | 한국과학기술원 | 워크플로우 시스템에 기반한 워크플로우 모델 시뮬레이션장치 및 방법 |
| JP2008203934A (ja) * | 2007-02-16 | 2008-09-04 | Nec Corp | 分散ワークフローシミュレーションシステム、方法、及び、プログラム |
| KR101345068B1 (ko) * | 2013-06-12 | 2013-12-26 | 성결대학교 산학협력단 | 워크플로우 모델링 및 시뮬레이션 시스템 및 방법 |
| KR101888637B1 (ko) * | 2017-03-20 | 2018-08-14 | 한국생산기술연구원 | 제조 특화형 알고리즘 템플릿 기반 데이터 분석 방법 및 플랫폼 구조 시스템 |
| KR20180130925A (ko) * | 2017-05-30 | 2018-12-10 | 국방과학연구소 | 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022085939A1 (ko) * | 2020-10-20 | 2022-04-28 | 주식회사 뉴로코어 | 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 |
| KR102284539B1 (ko) * | 2020-11-30 | 2021-08-02 | 주식회사 애자일소다 | 머신러닝 기반 인공지능 모델 학습, 개발, 배포 및 운영 시스템과 이를 이용한 서비스 방법 |
| KR20220082554A (ko) * | 2020-12-10 | 2022-06-17 | 주식회사 인터엑스 | 제조공정 데이터를 이용한 자가학습형 인공지능 플랫폼 |
| KR102278284B1 (ko) * | 2021-02-23 | 2021-07-16 | 주식회사 에이아이노미스 | 중첩 편집 블록을 이용한 딥러닝 모델 제작 장치 및 방법 |
| KR20220135817A (ko) * | 2021-03-31 | 2022-10-07 | 한국과학기술연구원 | 인공지능 기반 실시간 음향 시뮬레이션 방법 및 이를 이용한 초음파 치료 시스템 |
| WO2022235039A1 (ko) * | 2021-05-07 | 2022-11-10 | 삼성전자 주식회사 | 블록체인 네트워크에 포함된 노드에 대응하는 전자 장치와 이의 동작 방법 |
| KR102524758B1 (ko) * | 2022-09-26 | 2023-04-25 | (주)시큐레이어 | 설명가능 인공지능(xai)에 기반하여 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 서버 |
| KR20240095615A (ko) | 2022-12-16 | 2024-06-26 | 한국과학기술원 | 플러그 앤 플레이 방식 기반의 인공지능 모델에 대한 설명 제공 방법 |
| KR102630391B1 (ko) * | 2023-08-29 | 2024-01-30 | (주)시큐레이어 | 설명가능 인공지능(xai)에 기반하여 이미지 데이터 마스킹 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버 |
| KR102630394B1 (ko) * | 2023-08-29 | 2024-01-30 | (주)시큐레이어 | 설명가능 인공지능(xai)에 기반하여 테이블 데이터 분석 정보를 제공하기 위한 방법 및 이를 이용한 러닝 서버 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3907618A1 (en) | 2021-11-10 |
| EP3907618A4 (en) | 2022-09-21 |
| WO2020141882A1 (ko) | 2020-07-09 |
| KR102142205B1 (ko) | 2020-08-06 |
| US20220066905A1 (en) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102142205B1 (ko) | 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법 | |
| Rodríguez et al. | Detecting fault modules applying feature selection to classifiers | |
| WO2019191138A1 (en) | Predicting pipe failure | |
| CN109936582A (zh) | 构建基于pu学习的恶意流量检测模型的方法及装置 | |
| KR20130126916A (ko) | 제조된 웨브 제품의 디지털 샘플에 대한 컴퓨터-보조 등급 배정 | |
| JP6890632B2 (ja) | データ処理装置、データ処理方法及びプログラム | |
| JP5080526B2 (ja) | データ解析のための方法および装置 | |
| Wahyudin et al. | A framework for defect prediction in specific software project contexts | |
| Moallemi et al. | Robust decision making and Epoch–Era analysis: A comparison of two robustness frameworks for decision-making under uncertainty | |
| CN117740797A (zh) | 一种铝合金的缺陷探伤方法 | |
| Ackermann et al. | Black-box learning of parametric dependencies for performance models | |
| CN111723377B (zh) | 一种平台脆弱性的评估方法、装置、电子设备及存储介质 | |
| CN117574383A (zh) | 一种基于特征融合和代码可视化技术的软件漏洞检测模型的方法 | |
| US12032469B2 (en) | Explainable artificial intelligence modeling and simulation system and method | |
| CN114155412A (zh) | 深度学习模型迭代方法、装置、设备及存储介质 | |
| Ćelosmanović et al. | JMetricGrader: A software for evaluating student projects using design object-oriented metrics and neural networks | |
| Alhazzaa et al. | A systematic mapping study on software reliability growth models that consider evolution | |
| Cerqueira et al. | Systematic Literature Review on the Machine Learning Approach in Software Engineering | |
| Mateo Casalí et al. | An industry maturity model for implementing Machine Learning operations in manufacturing | |
| Al Hosni et al. | Investigating the Performance of Data Complexity & Instance Hardness Measures as A Meta-Feature in Overlapping Classes Problem | |
| Awadid et al. | AI Systems Trustworthiness Assessment: State of the Art | |
| Jureczko et al. | Towards implementing defect prediction in the software development process | |
| CN117150389B (zh) | 模型训练方法、运营商号卡激活预测方法及其设备 | |
| CN117076454B (zh) | 一种工程质量验收表单数据结构化存储方法及系统 | |
| KR102684459B1 (ko) | 진보된 인라인 부품 평균 테스트 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |