KR102546356B1 - 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법 - Google Patents

머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법 Download PDF

Info

Publication number
KR102546356B1
KR102546356B1 KR1020220171755A KR20220171755A KR102546356B1 KR 102546356 B1 KR102546356 B1 KR 102546356B1 KR 1020220171755 A KR1020220171755 A KR 1020220171755A KR 20220171755 A KR20220171755 A KR 20220171755A KR 102546356 B1 KR102546356 B1 KR 102546356B1
Authority
KR
South Korea
Prior art keywords
data
trial
module
unit
image data
Prior art date
Application number
KR1020220171755A
Other languages
English (en)
Inventor
서은석
전명중
Original Assignee
크레플 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 크레플 주식회사 filed Critical 크레플 주식회사
Priority to KR1020220171755A priority Critical patent/KR102546356B1/ko
Application granted granted Critical
Publication of KR102546356B1 publication Critical patent/KR102546356B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286Modifications to the monitored process, e.g. stopping operation or adapting control
    • G05B23/0294Optimizing process, e.g. process efficiency, product quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316Sequencing of tasks or work
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 방법은 일련의 순서로 진행되는 하나 이상의 단위 공정으로 이루어지는 각 시행이 진행되는 동안에 판독모듈에 의해서 평가 기준에 따라 각 단위 공정마다 평가하고, 단위 공정의 순서대로 누적하며 평가하여 생성한 시행 데이터를 수집하고 판정모듈로 전달하는 단계; 및 상기 판독모듈의 시행데이터를 기초로 상기 판정모듈이 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 판정한 최적의 시행에 대한 시행 데이터로 지시 데이터를 생성하는 단계를 포함할 수 있다.

Description

머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법{OPTIMIZATION PROCESS ALGORITHM AUTOMATIC JUDGMENT SYSTEM AND METHOD USING MACHINE LEARNING MODEL}
본 발명은 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법에 관한 것이다.
하나의 제품을 만들기 위한 여러 단위 공정들로 이루어진 단계의 공정은 기계적, 물리적, 화학적으로 재료를 처리하고, 구조나 특성, 외형을 변화시켜 완제품 내지 중간제품을 생산한다. 이러한 공정이 복잡해짐에 따라 설계 과정에서 엔지니어에 의하여 제안된 작업지시서가 상당히 많은 항목을 포함하게 되었으며, 실제 현장의 검사, 제조 장치와 연동되지 않는 오류, 불량이 빈번하게 되었다.
이에 엔지니어가 아닌 실제 작업자의 노하우를 작업지시서에 반영시키기는 더욱 어려워졌다. 예를 들어서, 숙련된 작업자의 노하우에 의하여 작업지시서와 다른 공정 순서가 더 효율적인 것으로 밝혀지는 경우도 있으나 이를 곧바로 작업지시서에 적용하기에는 비용이나 책임 측면에서 현실적으로 어려워 매뉴얼화하지 않는 경우가 많다.
이에 공정 효율화를 제고하여 기업의 생산성을 높이기 위한 여러 시도들(등록특허 10-1441230, 공개특허공보 제10-2003-0068676호 등)이 있으나 이들은 이론적으로 회귀모형을 이용하는 방식 등으로 적합한 공정 순서를 제안하고 있을 뿐 이를 곧바로 작업 현장에 적용하기 어려웠던 한계가 있었다.
설령 이러한 작업지시서를 구축하려면 작업이 모두 수행되고 난 이후에 샘플링하여 검수하거나, 작업을 중단한 뒤 작업자가 일일이 검사 장비로부터 수동으로 내부 데이터를 수집하고 작업자의 지식기반으로 파악할 수 밖에 없었다.
이에 작업 현장의 중단 없이 실시간으로 최적화된 작업지시서를 도출하는 시스템이 필요하게 되었다.
본 발명의 목적은 단위 공정들의 순서를 달리하는 여러 공정 시나리오 중에서 최적의 공정 시나리오를 판정할 수 있는 공정 최적화 시스템을 제공하는 것이다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일실시예에 따른 인공지능 기반의 공정 최적화 시스템은 제품을 제조하기 위한 전체 공정이 일련의 순서로 진행되는 하나 이상의 단위 공정으로 이루어지고, 상기 단위 공정이 순서를 달리하며 시행되되, 각 시행이 진행되는 동안에 평가 기준에 따라 각 단위 공정마다 평가하면서, 단위 공정의 순서대로 누적하며 평가하여 생성한 시행데이터를 수집하는 판독모듈; 및 상기 판독모듈의 시행데이터를 기초로 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 최적의 시행을 판정하고 상기 최적의 시행에 대한 시행데이터로 지시 데이터를 생성하는 판정모듈을 포함할 수 있다.
상기 판독모듈은, 상기 평가 기준으로 소요시간 또는 불량률 중에서 어느 하나 이상을 정하여평가할 수 있다.
상기 판독모듈은, 단위 공정의 진행 순서를 통해 각 시행을 특정할 수 있다.
상기 판독모듈은, 단위 공정의 대상인 대상물로 각 단위 공정을 특정하여 단위 공정의 진행 순서를 기록할 수 있다.
상기 판독모듈은, 상기 대상물의 단위공정을 촬영하여 이미지 데이터를 생성하는 촬영모듈; 및 상기 촬영모듈로부터 전달받은 이미지 데이터를 판독하여 상기 대상물을 인식하고, 상기 대상물에 대응하는 단위 공정을 특정하는 머신러닝 모델을 포함할 수 있다.
상기 머신러닝 모델은, 각 단위 공정이 완료되면서 외형이 변경된 새로운 대상물을 인식하면 해당 단위 공정의 완료로 판독하고, 상기 제품의 전체 공정 목록을 입력받고, 상기 목록 내 대상물의 단위 공정이 모두 완료되면 각 시행이 완료된 것으로 판독하며 각 시행에 대해 수집된 시행데이터를 상기 판정모듈에 입력시킬 수 있다.
상기 머신러닝 모델은, 상기 대상물에 대하여 미리 수집된 정상 이미지 데이터를 기반으로 상기 이미지 데이터와 유사도를 측정하고, 상기 판독모듈은 미리 정하여진 유사도 기준을 이용하여 이미지 데이터를 정상 이미지 데이터로 판독하고 새로운 정상 이미지를 상기 시행데이터로 수집할 수 있다.
상기 판독모듈은, 상기 목록 중에서 상기 머신러닝 모델이 최초로 인식한 대상물을 포함하는 목록을 검색하여 상기 머신러닝 모델에 입력시키는 검색모듈을 포함할 수 있다.
상기 판독모듈은, 상기 대상물에 대하여 미리 수집된 정상 이미지 데이터가 존재하지 않는 경우, 상기 대상물과 관련된 대상물을 검색하는 검색모듈을 포함하고, 상기 검색모듈이 검색한 상기 대상물과 관련된 대상물에 대해 미리 수집된 정상 이미지 데이터를 이용하여 상기 이미지 데이터와 유사도를 측정할 수 있다.
상기 판정모듈은, MES 시스템으로부터 포맷을 입력받고, 상기 최적의 시행에 대한 시행데이터를 상기 포맷에 병합하여 상기 지시 데이터를 생성하고, 상기 지시 데이터를 실시간으로 출력하도록 전달할 수 있다.
본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 방법은 제품을 제조하기 위한 전체 공정이 일련의 순서로 진행되는 하나 이상의 단위 공정으로 이루어지고, 상기 단위 공정이 순서를 달리하며 시행되되, 각 시행이 진행되는 동안에 판독모듈에 의해서 평가 기준에 따라 각 단위 공정마다 평가하고, 단위 공정의 순서대로 누적하며 평가하여 생성한 시행 데이터를 수집하고 판정모듈로 전달하는 단계; 및 상기 판독모듈의 시행데이터를 기초로 상기 판정모듈이 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 판정한 최적의 시행에 대한 시행 데이터로 지시 데이터를 생성하는 단계를 포함할 수 있다.
상기 판독모듈은, 대상물의 단위 공정을 촬영하여 이미지 데이터를 생성하는 촬영모듈; 및 상기 평가 기준으로 소요시간 또는 불량률 중에서 어느 하나 이상을 정하여 평가하고, 상기 이미지 데이터를 판독하여 상기 단위 공정이 진행됨에 따라 상기 대상물이 변경됨을 인식하여 소요시간을 평가하고, 변형되는 대상물의 외형을 인식하여 단위 공정의 조립 정도 및 조립 방향의 상태를 판독하여 불량률을 평가하는 머신러닝 모듈을 포함하고, 상기 판정모듈은, 상기 시행데이터에 기록된 단위 공정의 소요시간의 총합이 최소인 시행을 최적의 시행으로 판정할 수 있다.
본 발명에 따르면 다음과 같은 효과가 있다.
첫째, 자동으로 공정 진행을 모니터링하여 평가함으로써 서로 의존성이 없는 단위 공정 사이에서도 작업자의 현장 경험에 의해 최적의 공정 순서를 판정할 수 있다.
둘째, 별도의 시뮬레이션 없이 공정을 자연스럽게 진행하면서 최적의 공정 시나리오를 판정할 수 있다.
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들도 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야 에서 통상의 지식을 가진 자에게는 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 시스템의 관계도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 방법의 순서도이다.
도 3은 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 시스템이 구현되는 과정을 나타내었다.
본 발명의 바람직한 실시예에 대하여 더 구체적으로 설명하되, 이미 주지된 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 시스템이다.
도 1에서 보이는 바와 같이 본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 시스템은 판독모듈(100), 탐지모듈(200) 및 출력모듈(300)을 포함한다.
본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 시스템은 단위 공정들의 순서를 달리하는 여러 공정 시나리오 중에서 최적의 공정 시나리오를 판정할 수 있는 공정 최적화 시스템을 제공하고자 한다.
구체적으로 본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 시스템은 제품을 제조하기 위한 전체 공정이 일련의 순서로 진행되는 하나 이상의 단위 공정으로 이루어지고, 상기 단위 공정이 순서를 달리하며 시행될 때 각 단위 공정의 진행 순서를 달리하여 진행한 복수의 시행 중에서 최적의 시행을 판정한다.
최적의 시행을 도출하는 과정이나 최적의 시행이 도출되고 난 이후에도 기록된 데이터를 기반으로 현재 진행 중인 공정이 잘 수행되는 중인지 탐지할 수 있도록 데이터를 기록하고 프로세서에 의하여 판독함으로써 최적의 시행과 얼마나 어긋나는지에 대해서 탐지할 수 있다.
판독모듈(100)은 제품 제조를 위하여 마련된 대상물에 진행되는 공정에 대한 이미지 데이터를 수집하고 이를 판독할 수 있다.
여기서 대상물은 제조 공정을 통해 제품을 만들기 위한 재료, 부품을 의미할 수 있다.
즉, 판독모듈(100)은 기존 지시 데이터에 맞게 현재 진행 중인 공정에 대한 이미지 데이터 판독하여 작업 데이터를 생성할 수 있다.
판독모듈(100)은, 촬영모듈(110) 및 머신러닝 모델(120)을 포함할 수 있다.
촬영모듈(110)은 대상물의 진행 공정을 촬영하여 이미지 데이터를 생성할 수 있다. 촬영모듈(110)은 공정 라인에 다수개 설치되는 카메라를 포함할 수 있으며 해당 카메라의 촬상 이미지 데이터를 머신러닝 모델(120)로 전송할 수 있다.
촬영모듈(110)이 이용하는 카메라는 적외선, 가시광선, X-ray, 감마선, 전자파, 초음파 등 다양한 전파를 통하여 대상물의 진행 공정을 센싱할 수 있다. 이미지 데이터는 2차원 이미지, 3차원 이미지, 전처리된 ROI이미지, 크롭된 이미지 등일 수 있다.
머신러닝 모델(120)은 이미지 데이터로 대상물을 인식하며 판독하여 진행 공정의 작업 데이터를 생성할 수 있다.
머신러닝 모델(120)은, 각 단위 공정이 진행되면서 대상물이 변경됨을 인식하여 공정의 진행 순서를 판독해낼 수 있으며, 이러한 진행 순서에 대한 순서정보를 포함하는 작업 데이터를 생성할 수 있다.
머신러닝 모델(120)은 단위 공정이 일련으로 진행되는 동안에 단위 공정을 촬영하여 생성된 이미지 데이터를 통해 해당 단위 공정의 대상물을 인식할 수 있고, 이를 통해 단위 공정의 종류가 특정될 수 있다. 만약에 대상물이 완전히 바뀌었다면 단위 공정도 달리 특정되므로 앞선 단위 공정이 완료된 뒤 다음 단위 공정이 진행되었다고 판독해낼 수 있다. 머신러닝 모델(120)은 위와 같은 방법으로 모든 단위 공정이 진행될때까지 순서를 파악해서 전체가 어떤 공정 시행인지 공정 시행의 종류를 특정하고 해당 공정 시행의 순서정보를 포함하는 작업 데이터를 생성할 수 있다.
마찬가지로 머신러닝 모델(120)은, 공정이 진행됨에 따라 변형되는 대상물의 외형을 인식하여 공정의 작업 상태를 판독해낼 수 있으며, 이러한 작업 상태에 대한 상태정보를 포함하는 작업 데이터를 생성할 수 있다.
즉, 머신러닝 모델(120)은 대상물이 특정되면 해당 단위 공정의 진행 전후의 이미지 데이터를 통해 인식된 대상물의 외형이 변형된 정도를 통해 단위 공정의 작업 상태를 판독할 수 있다. 외형에는 형상뿐 아니라 색상, 표면, 내부 등을 포함할 수 있다.
예를 들어서, 공정이 부품을 대상물로 하는 조립 작업이라고 할 때 대상물인 제1 부품에 대한 제1 단위 공정이 수행된 결과를 부품의 외형이 조립 작업의 결과 변형된 정도를 통해 판독할 수 있을 것이다. 머신러닝 모델(120)이 이미지 데이터를 통해 객체인식 후 제1 부품이 조립된 방향이나 조립 강도인 작업 상태에 관해서 수치로 측정하여 이를 기록한 상태정보로 작업 데이터를 생성할 수 있을 것이다.
또는 머신러닝 모델(120)이 대상물에 대한 이미지 데이터와 기수집되어 있는 정상 조립 이미지 데이터를 비교하여 유사도를 측정한 수치를 기록한 것을 상태정보로 하여 작업 데이터를 생성할 수 있을 것이다.
또한, 머신러닝 모델(120)은, 대상물에 대하여 미리 수집된 정상 이미지 데이터가 존재하지 않는 경우, 대상물과 관련된 대상물을 검색하는 검색모듈 이용하여 검색모듈이 검색한 상기 대상물과 관련된 대상물에 대해 미리 수집된 정상 이미지 데이터를 이용하여 이미지 데이터와 유사도를 측정할 수 있다.
그리고 머신러닝 모델(120)은, 대상물의 공정이 진행되는 작업의 영역을 검출하여 위치정보를 포함하는 작업 데이터를 생성할 수 있다.
여기서 작업의 영역은 일종의 작업 라인 중 특정 단위 공정이 진행되는 장소를 의미할 수도 있고, 공정이 진행되는 설비 내 일부 영역을 의미할 수 있을 것이다.
물론 머신러닝 모델(120)에 포함될 수 있는 GPS 모듈로 위치를 획득하여 위치정보를 포함하는 작업 데이터를 생성할 수 있다.
이를 통해 앞서 생성되어 있을 수 있는 불량정보는 위치정보와 매칭되어 작업 데이터로 저장되어 있을 수 있고, 위치정보로부터 해당 작업의 영역에서 발생한 불량에 대한 불량정보를 검색할 수 있게 된다.
또한, 머신러닝 모델(120)은 공정이 진행되면서 대상물이 변경됨을 인식하여 공정의 소요시간을 판독해낼 수 있고 소요시간인 시간정보를 지시 데이터상의 시간정보와 비교하여 최적 공정 시행의 소요시간과 오차를 측정할 수 있다. 향후 탐지모듈(300)에 의해서 해당 오차는 해당 작업의 영역의 온도, 습도 등 환경 인자를 제외하고 작업자에 대한 숙련도로 평가될 수 있다.
한편, 판독모듈(100)은 센싱모듈(140)을 이용하여 품질인자 내지 외부인자에 해당하는 센싱 데이터를 수집하고 미리 설정된 기준에 따라 대상물의 공정에 대하여 판독할 수 있다.
센싱모듈(140)은 마이크, 근접센서, 초음파센서, 자이로센서, 진동센서, 온습도센서, 압력센서, 충격센서, 가스센서 등 다양한 일반적인 센서를 통해 외부로부터의 센싱 데이터를 수집할 수 있다.
그리고 품질인자는 대상물에 가해지는 압력, 대상물의 이동속도, 진동, 온도, 습도, 대상물의 비중, 수축, 강도, 날씨환경, 조명환경, 장비수명, 장비정보, 작업자 숙련도, 소재 특성, 사이클수 등일 수 있다.
판독모듈(100)은 일반적인 공정 최적화를 위한 센싱 데이터를 수집하고 설정된 품질변수 중에서 수집된 센싱 데이터에 영향을 받는 품질변수 사이 관계를 규명하기 위하여 회귀분석이나 머신러닝을 이용할 수 있다.
품질인자와 품질변수 사이의 함수관계가 형성되었다면 최적화 알고리즘을 이용하여 품질변수인 출력변수가 원하는 값이 되는 품질인자를 입력변수로 찾아낼 수 있고 최적의 시행에 대한 입력변수값이라면 이를 지시 데이터에 반영할 수 있다.
탐지모듈(200)은 이 작업 데이터를 판독모듈(100)로부터 전달받아 지시 데이터와 비교하여 공정에 대한 정상 또는 불량 여부를 판단하고 불량이면 불량정보를 생성할 수 있다.
여기서 불량정보는, 불량유형으로 진행 순서에 대한 불량, 작업 상태에 대한불량, 소요 시간에 대한 불량 등이 있을 수 있다.
탐지모듈(200)은 작업 데이터와 지시 데이터를 비교해서 불량유형 중 어느 하나 이상을 비교하여 순서 불량, 작업 상태가 불량이면 상태 불량, 소요시간이 불량이면 시간 불량으로 불량정보를 생성할 수 있다.
바람직하게는 작업 상태에 대해서는 정상인 경우와 불량인 경우를 구분하기작업 위한 미리 정하여진 오차 범위나 유사도 기준이 있을 수 있다.
탐지모듈(200)은 작업 데이터 상의 상태정보와 지시 데이터 상의 상태정보의수치를 비교하여 기설정된 수준의 오차 범위 이내라고 판단하면 정상으로 탐지하고, 오차 범위 밖이라고 판단하면 상태 불량으로 불량정보를 생성할 수 있다.
탐지모듈(200)은 불량이 발생한 단위 공정에 대한 센싱 데이터를 분석하여 지시 데이터상의 최적의 시행에 따른 품질인자와 비교하여 불량의 원인이 되는 품질인자 유형을 찾아 기록할 수 있고 불량정보와 함께 저장해둘 수 있다.
출력모듈(300)은 탐지모듈(200)이 생성한 불량정보를 출력할 수 있다.
출력모듈(300)은, 공정이 진행되는 동안 불량정보가 생성되면 실시간으로 작업 데이터로부터 검색된 위치정보를 입력받을 수 있다. 즉, 작업 데이터에는 불량이 발생한 해당 단위 공정의 위치정보상 작업의 영역에 불량정보에 대한 시그널이 출력될 수 있다..
여기서 시그널은 시각적, 청각적, 촉각적인 신호 등일 수 있으며 특별히 제한되지 아니한다.
예를 들어, 출력모듈(300)은 공정 중에서 불량정보가 생성된 단위 공정의 위치정보로부터 특정된 작업의 영역에 설치되어 작업자에게 시각적으로 불량이 발생하였음을 알리는 시그널을 출력하는 디스플레이와 소리로 경보하는 음향모듈 및 작업자에게 부착되어 진동을 출력하는 진동모듈을 포함할 수 있다.
출력모듈(300)은 필요에 따라 입력모듈을 구비할 수 있어 작업자로부터 비정형 불량 발생에 대한 정보를 입력받을 수 있다.
또한. 출력모듈(300)은, 공정 중에서 불량정보가 생성된 단위 공정의 위치정보로부터 특정된 작업의 영역의 주변에서 작업하고 있다고 기설정되어 있거나, 시스템에 의하여 감지될 수 있는 작업자 단말기를 포함할 수 있다.
출력모듈(300)은 불량정보와 함께 불량의 원인으로 추정되는 품질인자를 출력할 수 있다.
예를 들어서 조립 공정인 경우, 두번째 단위 공정에서 부품의 조립 체결 강도가 약하게 진행되었고, 판독모듈(100)에서 조립 체결 강도를 측정한 수치인 상태정보가 포함된 작업 데이터가 생성되면, 탐지모듈(200)이 작업 데이터와 지시 데이터를 비교하여 작업 상태 불량으로 탐지하여 이에 대한 불량정보가 생성될 수 있다. 출력모듈(300)은 해당 불량이 발생한 작업의 영역으로 불량정보를 출력할 수 있고 필요한 경우 불량의 원인으로 추정되는 품질인자를 함께 출력할 수 있다.
한편, 판독모듈(100)은, 상기 지시 데이터를 생성할 수 있다.
일례로 여러 제품에 대한 공정이 여러 단위 공정으로 나누어질 수 있고, 해당 단위 공정을 바람직하게 순서를 달리하여 여러 번 공정을 시행하는 동안 획득한 작업 데이터를 분석하여 소요 시간이 최소인 시행의 작업 데이터를 해당 제품의 최적화된 공정의 순서로 판정할 수 있다.
판독모듈(100)은 이러한 제품별 최적의 시행에 대한 지시 데이터를 데이터베이스에 저장하도록 전달할 수 있다.
이하에서는 판독모듈(100)이 지시 데이터를 생성하는 방법에 대하여 자세히 서술한다.
판독모듈(100)은 판정모듈(130)을 더 포함할 수 있다.
판정모듈(130)은 시행 데이터를 기초로 상기 판정모듈이 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 판정한 최적의 시행에 대한 시행 데이터로 지시 데이터를 생성할 수 있다.
단위 공정이 일련으로 진행되는 동안에 평가 기준에 따라 각 단위 공정마다 평가하면서 단위 공정의 순서대로 누적하며 평가하여 시행 데이터를 수집할 수 있다.
여기서, 상술한 작업 데이터와 시행 데이터는 동일한 범주에 의하여 생성된 정보일 수 있으나, 지시 데이터를 생성하는 방법에서는 판독모듈(100)이 생성하는 데이터와 구별하기 위해서 시행 데이터로 서술한다.
예를 들어서, 단위 공정은 하나의 제품을 만들기 위한 여러 단계의 부품 조립 과정 중 하나를 의미할 수 있다.
여기서 평가 기준은 소요시간 또는 불량률 등 공정의 수율, 품질 등에 영향을 미치는 인자들로 필요에 따라 설정될 수 있다.
판독모듈(100)은 단위 공정이 일련으로 진행되는 동안에 단위 공정으로부터 수집된 정보를 통해 단위 공정의 종류를 특정하고, 단위 공정 진행 순서를 파악하여 어떤 공정 시행인지 공정 시행의 종류를 특정할 수 있다.
여기서, 공정 시행은 단위 공정의 순서를 달리하여 시도한 일종의 시나리오를 의미한다. 동일한 단위 공정이라도 순서가 달라짐에 따라 공정 시나리오는 상이해지며 본 발명에서는 단위 공정의 진행 순서가 다른 공정 시행 중에서 최적의 공정 시행을 판정하고자 대상물로부터 정보를 수집하여 단위 공정을 특정하고 순서를 파악하여 각 공정 시행에 대한 시행 데이터와 매핑할 수 있다.
예를 들어, 단위 공정을 진행하면서 소요 시간은 대상물을 판정하여 단위 공정을 특정한 시각부터 해당 단위 공정이 완료되기까지를 평가할 수 있다. 이와 동시에 또는 이시에 단위 공정의 완료 상태를 파악하여 불량 여부를 평가할 수 있다.
이후에 다음 단위 공정이 진행되면 마찬가지로 소요 시간과 불량 여부를 평가할 수 있다. 이와 동시에 또는 이시에 전체 공정의 시작부터 현재까지의 소요 시간 및 불량 여부를 누적 평가하여 시행 데이터를 수집할 수 있다.
여기서 단위 공정의 완료 상태는 대상물이 변경되면 해당 단위 공정이 완료되었다고 평가할 수 있고, 조립된 부품의 체결 정도, 체결 방향, 이탈 등에 대한 데이터를 토대로도 파악될 수 있다.
보다 적절하게는 대상물을 이용하여 제조되는 제품에 대한 전체 공정 목록 내지 리스트가 있을 수 있고, 판독모듈(100)은 이를 입력받아 하나의 대상물의 단위 공정이 완료될 때마다 평가하여 전체 공정 목록의 단위 공정을 모두 평가했다면 전체 공정 내지 하나의 시행이 완료되었음으로 판단하고 수집된 시행 데이터를 판정모듈(200)에 입력시키면서 수집을 종료할 수 있다.
또한, 판독모듈이 포함하는 검색모듈은 여러 종류의 전체 공정 목록이 수집되어 있는 데이터베이스에서 상기 머신러닝 모델이 최초로 인식한 대상물을 포함하는 목록을 검색하여 머신러닝 모델(120)에 입력시킬 수 있다.
여기서, 머신러닝 모델(120)을 이용하여 단위 공정으로부터 수집한 정보를 기초로 대상물을 판정하고, 해당 단위 공정의 완료 여부, 불량 여부 내지 단위 공정 종류를 특정할 수 있다.
이때, 머신러닝 모델(120)은 탑재된 애플리케이션을 통해 비전 피팅(fitting), 에지(edge), 컬러(color) 및 위치(location) 중 어느 하나 이상의 개체 탐지(object detection)알고리즘을 이용하여 지속적으로 대상물에 대한 이미지를 학습하여 개선되며, 단위 공정 종류를 특정하거나 대상물의 조립, 누락 상태를 인지하여 해당 단위 공정의 불량 내지 완료 여부를 판정할 수 있다.
구체적으로 머신러닝 모델(120)은 해당 이미지 데이터의 특징을 스스로 분류 또는 학습하는 알고리즘 인공지능 기술인 딥 러닝(Deep learning) 또는 머신러닝(machine learning)을 이용하여 대상물의 형상, 색상 등이 표현된 이미지를 학습하고 개선되며, 대상물을 분류 및 탐지하여 단위 공정 종류를 특정할 수 있다.
머신러닝 모델(120)은 프로세서에 의하여 데이터를 처리할 수 있고, 대상물을 탐지함에 있어 대상물의 이미지 데이터를 전처리하여 학습 데이터를 생성할 수 있다.
여기서 학습 데이터에는 전처리된 이미지 데이터와 함께 대상물에 대한 조립 상태, 불량 상태, 단위 공정 종류 정보가 레이블링 되어 있을 수 있다.
레이블되는 대상물에 대한 정보는 작업자의 피드백에 의하여 수집될 수도 있을 것이다. 즉, 대상물의 불량 케이스가 초기에 다수 발견되지 않는 경우 입력 인터페이스를 이용하여 대상물의 부품 정보를 입력하여 해당 이미지 데이터와 레이블링 하거나, 조립 완료 여부, 불량 여부 등을 입력하여 레이블링 할 수 있다.
레이블된 데이터를 이용하여 분류기 모델을 학습시켜 머신러닝 모델(120)에 적용할 수 있다.
그리고 단위 공정이 진행되는 동안 카메라를 통하여 수집된 이미지 데이터를 전처리한 다음 분류기 모델을 이용하여 대상물 및 대상물의 불량 여부, 조립 완료 여부 등을 탐지해낼 수 있다.
한편, 본 발명의 일 실시예는 대상물에 대한 단위 공정이 불량이 없이 정상적으로 수행되었을 때 수집된 정상 이미지 데이터를 미리 수집하여 둘 수 있다.
머신러닝 모델(120)은, 상기 정상 이미지 데이터를 기반으로 새로 수집되는 이미지 데이터와 유사도를 측정하고, 미리 정하여진 유사도 기준을 이용하여 이미지 데이터를 정상 이미지 데이터로 판독하고 새로운 정상 이미지를 시행데이터로 수집할 수 있다.
필요에 따라 수집된 정상 이미지 데이터에 대해서 피처를 추출하여 머신러닝 모델(120)을 정상 이미지 데이터만을 학습시킬 수 있다.
이때 만약 제품이 개선되거나 신규로 출시된 경우 제품에 이용되는 대상물인부품이나 공정이 일부 또는 전부 기존 제품과 상이할 수 있고, 따라서 대상물에 대하여 미리 수집된 이미지 데이터가 존재하지 않을 수 있다.
판독모듈(100)은, 개선된 신규 제품의 공정을 이미지 데이터 수집 없이도 곧바로 판정하기 위해서 머신러닝 모델(120)이 이전 버전 제품에 대해서 수집된 정상 이미지 데이터를 이용하여 개선된 제품의 대상물을 촬영한 이미지 데이터와 유사도를 측정하여 개선된 신규 제품 공정에 대한 정상 이미지 데이터를 수집할 수 있다.
상술한 설명 외에도 머신러닝 모델(120)은 일반적인 딥러닝 비전 또는 머신 비전(MV, machine vision)을 이용하며 산업체의 공장 자동화 공정에서 wafer, 디스플레이 제품 표면 결함 검사, PCB 결함 검사, LED chip package, 기타 제품의 검사에 이용되는 하드웨어, 소프트웨어 내지 인터페이스를 갖추었을 수 있다.
상기한 판독모듈(100)에 의한 시행 데이터 수집 과정은 모든 단위 공정이 진행 완료될 때까지 반복될 수 있다.
판정 모듈(130)은 수집된 시행 데이터를 기초로 복수의 공정 시행 중에서 최적의 공정 시행을 판정한다.
구체적으로 판독모듈(100)에 의하여 특정된 공정 시행에 대한 시행 데이터와 복수의 공정시행 각각의 시행 데이터를 판독모듈(100)에서 수집하면 이를 이용하여 판정 모듈(130)은 특정된 공정 시행의 최적의 공정 시행 여부를 판정할 수 있다.
본 발명의 일 실시예에 따르면 최적의 공정 시행 중 어느 하나는 총 단위 공정 소요 시간의 합이 최소인 경우일 수 있다.
즉, 판독모듈(100)의 머신러닝 모델(120)을 이용하여 각 단위 공정의 소요 시간 및 불량률인 평가 기준에 대하여 측정된 시행 데이터를 각 단위 공정이 진행될 때마다 수집할 수 있고, 시행 데이터상 판정 모듈(130)이 어느 공정 시행상 단위 공정의 소요 시간의 합이 최소 시간인 경우, 해당 공정 시행을 최적의 공정 시행으로 판정할 수 있다.
또한, 상술한 머신러닝 모델(120)에 의하여 공정에 의한 작업 상태를 함께 확인하여 불량률을 계산하고 이를 평가에 반영할 수 있다.
한편, 판독모듈(100)로부터 수집된 시행 데이터를 각 공정 시행과 레이블링하여 저장하여 공정 시행에 대한 빅데이터 데이터베이스를 구축할 수 있다. 빅데이터 데이터베이스는 공정 시행의 소요시간, 불량률 등을 포함하는 시행 데이터를 이력관리하여 구축되는 것일 수 있다.
상기 빅데이터 데이터베이스에는 해당 공정 시행이 진행되는 동안 담당 작업자 정보가 시행 데이터와 함께 레이블링하여 저장될 수 있다.
이후 판정모듈(130)은 최적의 공정 시행에 대한 시행데이터로 지시 데이터를 생성할 수 있다. 구체적으로 기존 작업지시서 포맷을 MES(Manufacturing Execution System, 생산관리) 시스템으로부터 확보하고 최적의 공정 시행을 해당 포맷에 병합하여 새로운 작업지시서로 지시 데이터를 생성할 수 있다. 새로운 작업지시서는 해당 공정이 진행되는 작업테이블의 디스플레이 등 출력모듈(300)을 통해 출력될 수 있다.
만약에 작업자를 달리하여 진행한 공정 시행에 대하여 시행 데이터에 작업자 정보를 반영하여 수집한다면 작업자의 숙련도가 차이에 따른 공정 시행의 소요 시간이나 불량률에 대한 오차를 줄여서 최적의 공정 시행이 반영된 작업지시서의 재현율을 높일 수 있을 것이다.
다시 말해서 시행 데이터에 작업자의 숙련도 등에 대한 정보가 반영된다면 숙련 작업자의 공정 시행의 시행 데이터와 미숙련 작업자의 공정 시행의 시행 데이터를 구별하여 판정 모듈(130)이 숙련도별로 최적의 공정 시행을 판정할 수 있다.
바람직하게는 작업자 개인별로 상이하게 시행 데이터를 구별 관리하여 작업자마다 최적의 공정 시행이 제안될 수 있을 것이다.
도 3은 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 시스템이 구현되는 과정을 나타내었다.
이하, 도 3을 참조하여 인공지능 기반의 공정 최적화 시스템의 일 실시예를 설명한다.
도 3에는 부품 A에 부품 B가 조립되는 공정이 진행되는 동안 촬영모듈(110)로 수집된 영상 데이터가 판독모듈(100)의 머신러닝 모델(120)에 의하여 시행 데이터가 생성되고 수집되는 과정이 나타나있다.
도 3에서 보이는 바와 같이 상술한 인공지능 기반의 공정 최적화 관리 시스템은 머신러닝 모델(120)이 먼저 대상물인 부품A를 탐지하며 단위 공정 종류 A를 특정하고, 판독모듈(100)은 특정된 단위 공정A의 대상물이 포함된 제품의 부품 전체 목록(A, B, C, D)을 검색할 수 있을 것이다.
그리고 머신러닝 모델(120)을 통해 특정된 단위 공정A에 대한 완료 여부를 체크한다.
판독모듈(100)은 특정된 단위 공정A가 완료될때까지 소요 시간과 불량 여부를 실시간으로 평가하여 단위 공정A의 시행 데이터를 수집할 수 있다.
다음 단위 공정B가 진행되면 이를 머신러닝 모델(120)을 통해 대상물이 변경되었음을 탐지하여 인식할 수 있다. 즉, 머신러닝 모델(120)은 대상물의 변경 여부를 대상물에 새로운 부품B가 추가되어 형상이나 색상 등이 이미지를 통해 변경되었음을 파악하여 판정할 수 있다.
마찬가지로 판독모듈(100)은 변경된 대상물로 특정되는 단위 공정B에 대한 완료 여부, 소요시간, 불량 여부를 실시간으로 평가하여 시행 데이터를 수집할 수 있다.
또한, 판독모듈(100)은 단위 공정 A에서 단위 공정 B 순서로 진행되었음을 기록하여 저장할 수 있다.
판독모듈(100)은 단위 공정 B가 완료되면 처음부터 현재까지의 소요 시간, 불량 여부 등을 실시간으로 누적하여 평가하여 시행 데이터를 수집할 수 있다.
상술한 과정은 일련의 단위 공정의 진행이 제품의 부품 전체(A,B,C,D)가 조립되며 종료될 때까지 수행될 수 있다.
여기서 복수의 공정 시행은 단위 공정 순열일 수 있으며, 부품 전체 목록이 A,B,C,D 이라면 그 순서대로 A-B-C-D, A-B-D-C,A-C-B-D, A-C-D-B, A-D-B-C, A-D-C-B, B-A-C-D, B-A-D-C?D-C-B-A로 총 4!개수의 종류로 공정 시행이 있다.
각 공정 시행은 상술한 과정을 통해 평가되어 시행 데이터가 수집되어 있을 수 있으며, 한 종류 시행이 반복하여 진행되면 해당 공정 시행에 대한 소요 시간이나 불량 여부는 누적되어 수집되어 저장될 수 있다.
물론 모든 공정 시행이 평가될 필요는 없으며 진행이 불가능하거나 작업자의 선택에 따라 몇 종류의 공정 시행은 평가되지 않을 수 있다.
판정 모듈(130)은 머신러닝 모델(120)에 의하여 충분하게 시행 데이터가 쌓이면 수집한 시행 데이터를 기초로 하여 평가된 공정 시행에 중 최적의 공정 시행을 판정할 수 있다.
예를 들어서, 아래 표 1과 같이 판정 모듈(130)은 A-B-C-D 공정 시행이 30회 진행되면서 평균 소요 시간 1분 20초, 오차 평균이 10초, 불량률 5%이고, B-C-A-D 공정 시행이 25회 진행되면서 평균 소요 시간 1분 40초, 오차 평균이 30초, 불량률 7% 일 경우에, 미리 정해진 조건이 최소 소요 시간이 우선이라면 최소 소요 시간인 A-B-C-D를 최적의 공정 시행으로 판정할 수 있을 것이다.
공정 시행 소요 시간 오차 평균 불량률 최적 여부
A-B-C-D 1분 20초 10초 5% O
B-C-A-D 1분 40초 30초 7% x
본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 시스템은 자동으로 공정 진행을 모니터링하여 평가함으로써 서로 의존성이 없는 단위 공정 사이에서도 작업자의 현장 경험에 의해 최적의 공정 순서를 판정할 수 있으며, 별도의 시뮬레이션 없이 공정을 자연스럽게 진행하면서 최적의 공정 시행을 판정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 방법의 순서도를 개시한다.
본 발명의 일 실시예에 따른 인공지능 기반의 공정 최적화 관리 방법은 판독모듈이 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 판정한 최적의 시행에 대하여 기록된 지시 데이터를 입력받는 단계; 상기 판독모듈이 대상물에 대하여 진행되는 공정에 대한 이미지 데이터를 생성하고, 상기 이미지 데이터를 판독한 결과인 작업 데이터를 상기 지시 데이터에 대응하도록 생성하는 단계; 탐지모듈이 상기 작업 데이터를 전달받아 상기 지시 데이터와 비교하여 상기 공정에 대한 불량정보를 생성하는 단계; 및 출력모듈이 상기 불량정보를 전달받아 출력하는 단계를 포함할 수 있다.
본 명세서에 걸쳐, 머신러닝 모델, 딥러닝 기반 모델, 연산 모델, 신경망, 네트워크 함수, 심층신경망, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다.
딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사 진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네 트워크는 컨볼루션 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
본 개시의 일 실시예에서 네트워크 함수는 오토 인코더(autoencoder)를 포함할 수도 있다. 오토 인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 인공 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히 든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어 의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이 어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 오토 인코더는 비선형 차원 감 소를 수행할 수 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 차원과 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.
뉴럴 네트워크는 교사 학습(supervised learning), 비교사 학습(unsupervised learning), 반교사학습(semi supervised learning), 또는 강화학습(reinforcement learning) 중 적어도 하나의 방식으로 학습될 수 있다. 뉴럴 네트워크의 학습은 뉴럴 네트워크가 특정한 동작을 수행하기 위한 지식을 뉴럴 네트워크에 적용하는 과정 일 수 있다.
뉴럴 네트워크는 출력의 오류를 최소화하는 방향으로 학습될 수 있다. 뉴럴 네트워크의 학습에서 반복적으로 학 습 데이터를 뉴럴 네트워크에 입력시키고 학습 데이터에 대한 뉴럴 네트워크의 출력과 타겟의 에러를 계산하고, 에러를 줄이기 위한 방향으로 뉴럴 네트워크의 에러를 뉴럴 네트워크의 출력 레이어에서부터 입력 레이어 방향으로 역전파(backpropagation)하여 뉴럴 네트워크의 각 노드의 가중치를 업데이트 하는 과정이다. 교사 학습의 경우 각각의 학습 데이터에 정답이 라벨링되어있는 학습 데이터를 사용하며(즉, 라벨링된 학습 데이터), 비교사 학습의 경우는 각각의 학습 데이터에 정답이 라벨링되어 있지 않을 수 있다. 즉, 예를 들어 데이터 분류에 관한 교사 학습의 경우의 학습 데이터는 학습 데이터 각각에 카테고리가 라벨링 된 데이터 일 수 있다. 라벨링된 학 습 데이터가 뉴럴 네트워크에 입력되고, 뉴럴 네트워크의 출력(카테고리)과 학습 데이터의 라벨을 비교함으로써 오류(error)가 계산될 수 있다. 다른 예로, 데이터 분류에 관한 비교사 학습의 경우 입력인 학습 데이터가 뉴럴 네트워크 출력과 비교됨으로써 오류가 계산될 수 있다. 계산된 오류는 뉴럴 네트워크에서 역방향(즉, 출력 레이 어에서 입력 레이어 방향)으로 역전파 되며, 역전파에 따라 뉴럴 네트워크의 각 레이어의 각 노드들의 연결 가 중치가 업데이트 될 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터에 대한 뉴럴 네트워크의 계산과 에러의 역전파는 학습 사이클(epoch)을 구성할 수 있다. 학습률은 뉴럴 네트워크의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 뉴럴 네트워크의 학습 초기에는 높은 학습률을 사용하여 뉴럴 네트워크가 빠르게 일정 수준의 성능을 확보하도록 하 여 효율성을 높이고, 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다.
뉴럴 네트워크의 학습에서 일반적으로 학습 데이터는 실제 데이터(즉, 학습된 뉴럴 네트워크를 이용하여 처리하 고자 하는 데이터)의 부분집합일 수 있으며, 따라서, 학습 데이터에 대한 오류는 감소하나 실제 데이터에 대해 서는 오류가 증가하는 학습 사이클이 존재할 수 있다. 과적합(overfitting)은 이와 같이 학습 데이터에 과하게 학습하여 실제 데이터에 대한 오류가 증가하는 현상이다. 예를 들어, 노란색 고양이를 보여 고양이를 학습한 뉴 럴 네트워크가 노란색 이외의 고양이를 보고는 고양이임을 인식하지 못하는 현상이 과적합의 일종일 수 있다. 과적합은 머신러닝 알고리즘의 오류를 증가시키는 원인으로 작용할 수 있다. 이러한 과적합을 막기 위하여 다양 한 최적화 방법이 사용될 수 있다. 과적합을 막기 위해서는 학습 데이터를 증가시키거나, 레귤라이제이션 (regularization), 학습의 과정에서 네트워크의 노드 일부를 비활성화하는 드롭아웃(dropout), 배치 정규화 레 이어(batch normalization layer)의 활용 등의 방법이 적용될 수 있다.
본 개시가 일반적으로 컴퓨팅 장치에 의해 구현될 수 있는 것으로 전술되었지만, 당업자라면 본 개시가 하나 이 상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어 및/또는 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로써 구현될 수 있다는 것을 잘 알 것이다.
일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 개시의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드(handheld) 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.
본 개시의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘 다에 위치할 수 있다.
컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시 적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동 식 및 비이동식 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메 모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자 기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.
여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 제조 물품은 임의의 컴퓨터-판독가능 저장장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 저장매체는 자기 저장 장 치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되 는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다.
제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 개시의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.
제시된 실시예들에 대한 설명은 임의의 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 개시를 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 개시의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 개시는 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시 된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100 : 판독모듈
110 : 촬영모듈
120 : 머신러닝 모델
130 : 판정모듈
140 : 센싱모듈
200 : 탐지모듈
300 : 출력모듈

Claims (12)

  1. 제품을 제조하기 위한 전체 공정이 일련의 순서로 진행되는 하나 이상의 단위 공정으로 이루어지고, 상기 단위 공정이 순서를 달리하며 시행되되, 각 시행이 진행되는 동안에 평가 기준에 따라 각 단위 공정마다 평가하면서, 단위 공정의 순서대로 누적하며 평가하여 생성한 시행데이터를 수집하며, 기존 지시 데이터에 맞게 현재 진행 중인 공정에 대한 이미지 데이터를 판독하여 작업 데이터를 생성하는 판독모듈;
    상기 시행데이터를 기초로 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 최적의 시행을 판정하고 상기 최적의 시행에 대한 시행데이터로 지시 데이터를 생성하는 판정모듈; 및
    상기 판독모듈로부터 작업 데이터를 전달받아 상기 지시 데이터와 비교하여 공정에 대한 정상 또는 불량 여부를 판단하고, 상기 판단한 결과 불량이면 불량정보를 생성하는 탐지모듈; 을 포함하며,
    상기 판독모듈은,
    대상물의 단위 공정을 촬영하여 이미지 데이터를 생성하는 촬영모듈; 및
    상기 촬영모듈로부터 전달받은 이미지 데이터를 판독하여 상기 대상물을 인식하고, 상기 대상물에 대응하는 단위 공정을 특정하는 머신러닝 모델;을 포함하며,
    상기 머신러닝 모델은,
    상기 공정이 부품을 대상물로 하는 조립 작업인 경우, 상기 대상물인 부품에 대한 각 단위 공정이 완료되면서, 상기 공정이 진행됨에 따라 변형되는 부품의 색상, 표면 및 내부를 포함하는 대상물의 외형이 변경되면 해당 단위 공정을 완료로 판독하고, 조립된 부품의 체결 정도, 체결 방향 및 이탈에 대한 데이터를 토대로 상기 단위 공정의 완료 상태를 파악하며,
    상기 제품의 전체 공정 목록을 입력받고, 상기 목록 내 대상물의 단위 공정이 모두 완료되면 각 시행이 완료된 것으로 판독하며 각 시행에 대해 수집된 시행데이터를 상기 판정모듈에 입력시키는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  2. 제1항에 있어서,
    상기 판독모듈은,
    상기 평가 기준으로 소요시간 또는 불량률 중에서 어느 하나 이상을 정하여평가하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  3. 제1항에 있어서,
    상기 판독모듈은,
    단위 공정의 진행 순서를 통해 각 시행을 특정하고, 상기 단위 공정의 대상인 대상물로 각 단위 공정을 특정하여 단위 공정의 진행 순서를 기록하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 머신러닝 모델은,
    상기 대상물에 대하여 미리 수집된 정상 이미지 데이터를 기반으로 상기 이미지 데이터와 유사도를 측정하고,
    상기 판독모듈은 미리 정하여진 유사도 기준을 이용하여 이미지 데이터를 정상 이미지 데이터로 판독하면 새로운 정상 이미지를 상기 시행데이터로 수집하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  8. 제7항에 있어서,
    상기 판독모듈은,
    상기 목록 중에서 상기 머신러닝 모델이 최초로 인식한 대상물을 포함하는 목록을 검색하여 상기 머신러닝 모델에 입력시키는 검색모듈을 포함하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  9. 제7항에 있어서,
    상기 판독모듈은,
    상기 대상물에 대하여 미리 수집된 정상 이미지 데이터가 존재하지 않는 경우, 상기 대상물과 관련된 대상물을 검색하는 검색모듈을 포함하고,
    상기 검색모듈이 검색한 상기 대상물과 관련된 대상물에 대해 미리 수집된 정상 이미지 데이터를 이용하여 상기 이미지 데이터와 유사도를 측정하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  10. 제1항에 있어서,
    상기 판정모듈은,
    MES 시스템으로부터 포맷을 입력받고, 상기 최적의 시행에 대한 시행데이터를 상기 포맷에 병합하여 상기 지시 데이터를 생성하고, 상기 지시 데이터를 실시간으로 출력하도록 전달하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 시스템.
  11. 제품을 제조하기 위한 전체 공정이 일련의 순서로 진행되는 하나 이상의 단위 공정으로 이루어지고, 상기 단위 공정이 순서를 달리하며 시행되되, 각 시행이 진행되는 동안에 판독모듈에 의해서 평가 기준에 따라 각 단위 공정마다 평가하고, 단위 공정의 순서대로 누적하며 평가하여 생성한 시행 데이터를 수집하며, 기존 지시 데이터에 맞게 현재 진행 중인 공정에 대한 이미지 데이터를 판독하여 작업 데이터를 생성하고 판정모듈로 전달하는 단계;
    상기 시행데이터를 기초로 상기 판정모듈이 단위 공정의 순서를 달리 진행한 복수의 시행 중에서 판정한 최적의 시행에 대한 시행 데이터로 지시 데이터를 생성하는 단계; 및
    상기 판독모듈로부터 작업 데이터를 전달받은 탐지모듈이 상기 지시 데이터와 비교하여 공정에 대한 정상 또는 불량 여부를 판단하고, 상기 판단한 결과 불량이면 불량정보를 생성하는 단계; 를 포함하며,
    상기 판독모듈은,
    대상물의 단위 공정을 촬영하여 이미지 데이터를 생성하는 촬영모듈; 및 상기 평가 기준으로 소요시간 또는 불량률 중에서 어느 하나 이상을 정하여 평가하고, 상기 이미지 데이터를 판독하여 상기 단위 공정이 진행됨에 따라 상기 대상물이 변경됨을 인식하여 소요시간을 평가하고, 변형되는 대상물의 외형을 인식하여 단위 공정의 조립 정도 및 조립 방향이 상태를 판독하여 불량률을 평가하는 머신러닝 모델;을 포함하며,
    상기 머신러닝 모델은,
    상기 공정이 부품을 대상물로 하는 조립 작업인 경우, 상기 대상물인 부품에 대한 각 단위 공정이 완료되면서, 상기 공정이 진행됨에 따라 변형되는 부품의 색상, 표면 및 내부를 포함하는 대상물의 외형이 변경되면 해당 단위 공정을 완료로 판독하고, 조립된 부품의 체결 강도, 체결 방향 및 이탈에 대한 데이터를 토대로 상기 단위 공정의 완료 상태를 파악하며,
    상기 제품의 전체 공정 목록을 입력받고, 상기 목록 내 대상물의 단위 공정이 모두 완료되면 각 시행이 완료된 것으로 판독하며 각 시행에 대해 수집된 시행데이터를 상기 판정모듈에 입력시키는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 방법.
  12. 제11항에 있어서,
    상기 판정모듈은,
    상기 시행데이터에 기록된 단위 공정의 소요시간의 총합이 최소인 시행을 최적의 시행으로 판정하는 것을 특징으로 하는,
    인공지능 기반의 공정 최적화 방법.
KR1020220171755A 2022-12-09 2022-12-09 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법 KR102546356B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220171755A KR102546356B1 (ko) 2022-12-09 2022-12-09 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220171755A KR102546356B1 (ko) 2022-12-09 2022-12-09 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102546356B1 true KR102546356B1 (ko) 2023-06-22

Family

ID=86988871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220171755A KR102546356B1 (ko) 2022-12-09 2022-12-09 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102546356B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340495A (zh) * 2023-12-05 2024-01-05 山东力乐包装股份有限公司 一种基于人工智能的设备质量控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009253B1 (ko) * 2018-02-14 2019-08-09 호전실업 주식회사 다품종 소량 의복 생산을 위한 모듈화 의류 제조 방법 및 모듈화 의류 제조 시스템
KR102309333B1 (ko) * 2021-05-28 2021-10-05 신귀철 지능형 금속 가공 제어 장치 및 방법
KR20220050083A (ko) * 2019-08-19 2022-04-22 엘지전자 주식회사 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102009253B1 (ko) * 2018-02-14 2019-08-09 호전실업 주식회사 다품종 소량 의복 생산을 위한 모듈화 의류 제조 방법 및 모듈화 의류 제조 시스템
KR20220050083A (ko) * 2019-08-19 2022-04-22 엘지전자 주식회사 제품 생산 라인 상의 비전 검사를 위한 ai 기반의 신규 학습 모델 생성 시스템
KR102309333B1 (ko) * 2021-05-28 2021-10-05 신귀철 지능형 금속 가공 제어 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340495A (zh) * 2023-12-05 2024-01-05 山东力乐包装股份有限公司 一种基于人工智能的设备质量控制系统

Similar Documents

Publication Publication Date Title
US10997711B2 (en) Appearance inspection device
KR102101974B1 (ko) 어노말리 디텍션
KR102373787B1 (ko) 고장 예측 시스템의 고장 유형 빅데이터를 이용한 기계설비의 잠재적 고장 예측 방법
KR102546356B1 (ko) 머신러닝 모델을 이용한 최적화 공정 알고리즘 자동 판정 시스템 및 방법
KR102372487B1 (ko) 입력 데이터의 처리를 위한 최적의 어노말리 감지 모델 결정 방법
CN117152119A (zh) 一种基于图像处理的型材瑕疵视觉检测方法
KR102402194B1 (ko) 딥러닝 기반 엔드-투-엔드 o-ring 결함 검출 방법
CN115070780A (zh) 基于数字孪生的工业机器人抓取方法、装置及存储介质
KR20210122429A (ko) 영상 딥러닝을 이용한 ai 기반 화장품 용기 인쇄 제조 공정에서의 자동 결함 탐지 방법 및 시스템
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN115035328A (zh) 转炉图像增量自动机器学习系统及其建立训练方法
US20100194562A1 (en) Failure recognition system
KR102590040B1 (ko) 머신러닝 모델을 이용한 공정 불량 실시간 탐지 자동화 시스템 및 방법
CN117291898A (zh) 一种表面缺陷检测方法、系统及设备
KR102590038B1 (ko) 머신러닝 모델을 이용한 공정 통합 관리 방법 및 시스템
Madhwaraj et al. Forest fire detection using machine learning
Pang Intelligent belt conveyor monitoring and control
Ashfahani et al. Autonomous deep quality monitoring in streaming environments
US20220343158A1 (en) Method, device, and computer program for creating training data in a vehicle
US20240087105A1 (en) Systems and Methods for Paint Defect Detection Using Machine Learning
KR20230063742A (ko) 계층적 cnn을 이용한 스마트 팩토리에서의 제품 불량 탐지 방법 및 이를 기록한 기록매체
TWI801820B (zh) 用於製造流程之系統及方法
Reich et al. A data-driven approach for general visual quality control in a robotic workcell
CN114530163A (zh) 基于密度聚类的采用声音识别设备生命周期的方法及系统
Eddy et al. A defect prevention concept using artificial intelligence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant