KR102338304B1 - 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 - Google Patents

강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 Download PDF

Info

Publication number
KR102338304B1
KR102338304B1 KR1020200136206A KR20200136206A KR102338304B1 KR 102338304 B1 KR102338304 B1 KR 102338304B1 KR 1020200136206 A KR1020200136206 A KR 1020200136206A KR 20200136206 A KR20200136206 A KR 20200136206A KR 102338304 B1 KR102338304 B1 KR 102338304B1
Authority
KR
South Korea
Prior art keywords
factory
reinforcement learning
state
neural network
workflow
Prior art date
Application number
KR1020200136206A
Other languages
English (en)
Inventor
윤영민
이호열
Original Assignee
주식회사 뉴로코어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴로코어 filed Critical 주식회사 뉴로코어
Priority to KR1020200136206A priority Critical patent/KR102338304B1/ko
Priority to PCT/KR2021/012157 priority patent/WO2022085939A1/ko
Priority to US18/031,285 priority patent/US20240029177A1/en
Application granted granted Critical
Publication of KR102338304B1 publication Critical patent/KR102338304B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

다수의 공정이 서로 전후 관계를 가지는 워크플로우를 구성하고 워크플로우 상의 공정들이 진행되면 제품이 생산되는 공장 환경에서, 워크플로우의 현재 상태가 주어지면 다음 작업 행위를 결정하는 신경망 에이전트를 학습시켜 공정을 스케줄링하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것으로서, 공장 워크플로우의 상태(이하 워크플로우 상태)를 입력받으면 해당 상태에서 처리할 다음 작업을 출력하는 적어도 하나의 신경망을 구비하되, 상기 신경망은 강화 학습 방식에 의해 학습되는 신경망 에이전트; 공장 워크플로우를 시뮬레이션하는 공장 시뮬레이터; 및, 상기 공장 시뮬레이터로 상기 공장 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로부터 강화학습 데이터를 추출하고, 추출된 강화학습 데이터로 상기 신경망 에이전트의 신경망을 학습시키는 강화학습 모듈을 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 시뮬레이터를 통해 다양한 공정의 상태에서 특정 공정의 작업 행위를 수행했을 경우의 다음 상태와 성과를 추출하여 학습 데이터를 구성함으로써, 신경망 에이전트를 보다 빠른 시간 내에 안정되게 학습할 수 있고, 이로 인해, 현장에서 보다 최적화된 작업을 지시할 수 있다.

Description

강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 { A facility- simulator based job scheduling system using reinforcement deep learning }
본 발명은 다수의 공정이 서로 전후 관계를 가지는 워크플로우를 구성하고 워크플로우 상의 공정들이 진행되면 제품이 생산되는 공장 환경에서, 워크플로우의 현재 상태가 주어지면 다음 작업 행위를 결정하는 신경망 에이전트를 학습시켜 공정을 스케줄링하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것이다.
특히, 본 발명은 과거의 공장에서 발생한 이력(히스토리) 데이터를 전혀 사용하지 않고, 주어진 공정 상태가 입력되면 특정 공정에서의 작업물 투입이나 설비 운영 등 다음 작업 행위(action)를 최적화 하도록 신경망 에이전트를 강화 학습시키고, 학습된 신경망 에이전트를 이용하여 실제 현장에서 해당 공정의 다음 행위를 실시간으로 결정하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것이다.
또한, 본 발명은 공정들의 워크플로우를 공장 시뮬레이터로 구현하고, 시뮬레이터로 다양한 경우를 시뮬레이션하여, 각 공정의 상태(state), 행위(action), 성과(reward) 등을 수집하여 학습 데이터를 생성하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것이다.
일반적으로, 제조 공정 관리는 원료나 재료로부터 제품이 완성되기까지 제조 과정에서 행하여지는 일련의 공정을 관리하는 활동을 말한다. 특히, 각 제품의 제조에 필요한 공정과 작업 순서를 결정하고, 각 공정에 필요한 재료나 시간 등을 결정한다.
특히, 제품을 생산하는 공장에는 각 공정 작업을 처리하는 장비들이 해당 공정의 작업 공간에 배치되어 구비된다. 해당 장비들에는 특정 작업을 처리하기 위한 부품들이 공급되도록 구성될 수 있다. 또한, 장비들 사이 또는 작업 공간들 사이에는 컨베이어 등 이송 장치 등이 설치되어, 장비에 의해 특정 공정이 완료되면 처리된 제품이나 부품들이 다음 공정으로 이동되도록 구성된다.
또한, 특정 공정을 수행하기 위해 유사/동일 기능의 다수의 장비들이 설치되어, 동일하거나 유사한 공정 작업을 분담하여 처리될 수 있다.
이와 같은 제조 라인에서 공정 또는 각 작업을 스케줄링하는 것은 공장 효율화를 위해 매우 중요한 문제이다. 종래에는 대부분 스케줄링을 각 조건에 따른 규칙 기반(rule-based) 형식으로 스케줄링 하였으나, 평가 척도가 명확하지 않아 만들어진 스케줄링 결과에 대한 성능 평가가 모호하였다.
또한, 최근에는 제조 공정에 인공지능 기법을 도입하여 작업을 스케줄링하는 기술들이 제시되고 있다[특허문헌 1]. 상기 선행기술은 인공지능 기술 중 유전자 알고리즘이라는 기계학습 알고리즘을 사용했으나, 최근의 딥러닝(Deep Learning)이라 불리우는, 다중 계층의 신경망을 사용한 것이 아니며, 공작 기계의 작업을 스케줄링에 한정하고 있어, 다양한 작업으로 구성되는 복잡한 공장의 제조 공정에는 적용하기 어렵다.
또한, 다수 설비의 공정에 대한 신경망 학습 방법을 적용한 기술도 제시되고 있다[특허문헌 2]. 그러나 상기 선행기술은 과거의 데이터를 기반으로, 주어진 상황에서 최적 제어방법을 찾는 기술로서, 과거에 축적된 히스토리 데이터가 없다면 작동하지 않는다는 명확한 한계가 존재한다. 또한 공정에 관련된 공정 변수와 과거 변수 특성 등을 모두 학습시켜 신경망에 부하를 많이 준다는 문제점이 있다. 또한, 제어 결과에 의한 보상/벌칙 등의 기준이 관리자(사람)에 의해 주어진다는 문제점이 있다.
한국 등록특허공보 제10-1984460호(2019.05.30.공고) 한국 등록특허공보 제10-2035389호(2019.10.23.공고)
V. Mnih et al., "Human-level control through deep reinforcement learning," Nature, vol. 518, no. 7540, p. 529, 2015. The Goal: A Process of Ongoing Improvement, Eliyahu M. Goldratt 1984
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 주어진 공정 상태가 입력되면, 과거에 어떻게 공장이 운영되었느냐와 무관하게 특정 공정에서의 작업물 투입이나 설비 운영 등 다음 작업 행위(action)에 대한 의사결정을 최적화 하도록 신경망 에이전트를 강화 학습시켜서, 학습된 신경망 에이전트를 통해 실제 현장에서 해당 공정의 다음 행위를 실시간으로 결정하도록 하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 공장이 과거에 어떻게 운영되었는지에 관한 이력 혹은 히스토리 데이터, 예시 등을 전혀 사용하지 않고, 현재 상태에서 다음 의사결정을 어떻게 했을때 미리 지정한 보상 수치가 최적화 되는지를 자체 학습하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 공정들의 워크플로우를 공장 시뮬레이터로 구현하고, 시뮬레이터로 다양한 경우를 시뮬레이션하여, 각 공정의 상태(state), 행위(action), 성과(reward) 등을 수집하여 학습 데이터를 생성하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것으로서, 공장 워크플로우의 상태(이하 워크플로우 상태)를 입력받으면 해당 상태에서 처리할 다음 작업을 출력하는 적어도 하나의 신경망을 구비하되, 상기 신경망은 강화 학습 방식에 의해 학습되는 신경망 에이전트; 공장 워크플로우를 시뮬레이션하는 공장 시뮬레이터; 및, 상기 공장 시뮬레이터로 상기 공장 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로부터 강화학습 데이터를 추출하고, 추출된 강화학습 데이터로 상기 신경망 에이전트의 신경망을 학습시키는 강화학습 모듈을 포함하는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 상기 공장 워크플로우는 다수의 공정으로 구성되고, 각 공정은 다른 공정과 선후 관계로 연결되어, 공정을 노드로 하는 방향성 그래프를 형성하고, 상기 신경망 에이전트의 하나의 신경망은 다수의 공정 중 하나의 공정에 대한 다음 작업을 출력하도록 학습되는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 각 공정은 다수의 작업으로 구성되고, 상기 신경망은 해당 공정의 다수의 작업 중에서 최적의 하나를 선택하여 다음 작업으로 출력하도록 구성되는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 상기 신경망 에이전트는 워크플로우 상태와, 해당 상태에서의 수행되는 해당 공정의 다음 작업, 해당 작업에 의해 수행된 후의 워크플로우 상태, 그리고 해당 작업이 수행된 경우의 보상으로 상기 신경망을 최적화 시키는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 상기 공장 시뮬레이터는 상기 공장 워크플로우를 시뮬레이션 모델로 구성하고, 각 공정의 시뮬레이션 모델은 해당 공정의 설비 구성과 처리 능력으로 모델링하는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 상기 강화학습 모듈은 상기 공장 시뮬레이터로 다수의 생산 에피소드를 시뮬레이션 하여, 각 공정에서 시간 순에 따른 워크플로우 상태와 작업을 추출하고, 상기 생산 에피소드의 성과로부터 각 상태에서의 보상을 추출하고, 추출된 상태, 작업, 보상으로 강화학습 데이터를 수집하는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 상기 강화학습 모듈은 각 공정에서 시간 순에 따른 워크플로우 상태와 작업, 보상으로부터 현재 상태(St)와 공정 작업(ap,t)에서 다음 상태(St+1)와 보상(rt)으로 구성되는 트랜지션을 추출하고, 추출된 트랜지션을 강화학습 데이터로 생성하는 것을 특징으로 한다.
또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 기 강화학습 모듈은 상기 강화학습 데이터에서 랜덤하게 트랜지션을 샘플링하고, 샘플링된 트랜지션으로 상기 신경망 에이전트가 학습하게 하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 의하면, 시뮬레이터를 통해 다양한 공정의 상태에서 특정 공정의 작업 행위를 수행했을 경우의 다음 상태와 성과를 추출하여 학습 데이터를 구성함으로써, 신경망 에이전트를 보다 빠른 시간 내에 안정되게 학습할 수 있고, 이로 인해, 현장에서 보다 최적화된 작업을 지시할 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 의하면, 시뮬레이터에 의해 학습 데이터를 생성할 때 워크플로우 상태(state)를 해당 공정이나 관련된 공정의 상태만을 선정하여 구성함으로써, 신경망의 입력량을 줄일 수 있고, 보다 적은 양의 학습 데이터로 보다 정확하게 신경망을 학습시킬 수 있는 효과가 얻어진다.
도 1은 본 발명의 일실시예에 따른는 공장 워크플로우의 모델을 도시한 예시도.
도 2는 본 발명의 일실시예에 따른 공정의 구성에 대한 블록도.
도 3은 본 발명의 일실시예에 따른 공정의 실제 구성을 예시한 도면.
도 4는 본 발명의 일실시예에 따른 작업에 대응되는 처리 과정을 예시한 표.
도 5는 본 발명의 일실시예에 따른 각 공정의 상태를 나타내는 예시 표.
도 6은 본 발명에서 사용하는 강화학습의 기본 작동 구조도.
도 7은 본 발명의 일실시예에 따른 공장 시뮬레이터 기반 스케줄링 시스템의 구성에 대한 블록도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명에서 사용하는 공장 워크플로우 모델의 구성에 대하여 도 1 및 도 2를 참조하여 설명한다.
도 1에서 보는 바와 같이, 공장 워크플로우는 다수의 공정으로 구성되고, 하나의 공정은 다른 공정과 연결된다. 또한, 연결된 공정은 선후 관계를 가진다.
도 1의 예에서, 공장 워크플로우는 공정 P0, P1, P2, ..., P5로 구성되고, 공정 P0로 시작되어 공정 P5로 종료된다. 공정 P0가 완료되면 다음 공정 P1, P2가 시작된다. 즉, 공정 P0에서 처리가 완료된 로트(LOT)가 공정 P1, P2에 제공되어야 해당 공정들이 처리될 수 있다. 한편, 공정 P4는 공정 P1과 P3으로부터 완료된 로트(LOT)가 제공되어야만 해당 공정을 수행할 수 있다.
또한, 공장 워크플로우는 하나의 제품만을 생산하는 것이 아니라 동시에 여러 제품이 처리되어 생산된다. 따라서 각 공정은 동시에 구동될 수 있다. 예를 들어, 공정 P5에서 k번째 제품(또는 로트)을 생산하고 있을 때, 동시에 공정 P4에서 k+1번째 제품을 중간 처리하고 있을 수 있다.
한편, 공정을 하나의 노드로 볼 때, 전체 공장 워크플로우는 방향성 그래프를 형성한다. 이하에서 설명의 편의를 위하여, 공정을 공정 노드와 혼용한다.
또한, 하나의 공정은 다수의 작업을 선택적으로 수행할 수 있다. 이때, 로트(이하 투입 로트)가 해당 공정에 투입되고, 공정의 작업이 수행됨에 따라 처리된 로트(이하 산출 로트)가 출력(산출)된다.
도 2의 예에서, 공정 Pn 은 작업 1, 작업 2, ..., 작업 M으로 구성된다. 공정 Pn은 M개의 작업 중에서 하나의 작업을 선택하여 수행한다. 그때 환경이나 요청에 따라 다수의 작업 중 하나가 선택되어 수행된다. 이때의 작업은 현장에서의 실제 작업이 아니라 개념적으로 구성될 수 있다.
예를 들어, 실제 현장의 공정 P2는 도 3과 같이 구성될 수 있다. 즉, 공정 P2는 볼펜에 색상을 입히는 공정이다. 색상은 빨강이나 파랑 등 2개의 색상을 선택하여 하나를 입힐 수 있다. 또한, 해당 공정에는 장비가 3개가 설치되어 있고, 3대의 장비 중에서 어느 것으로도 해당 공정을 수행할 수 있다. 따라서 작업은 색상의 2개 종류와, 장비의 3개 종류의 조합에 의하여, 모두 6개의 작업으로 구성될 수 있다. 따라서 도 4에서 보는 바와 같이, 각 작업에 대응되는 처리과정을 매핑할 수 있다.
또한, 다른 예로서, 장비 1과 2는 공정 중에 색상 공급을 교체할 수 있는 장비이나, 장비 3은 하나의 색상만 고정되는 장비일 수 있다. 이 경우에는 공정은 모두 5개의 작업으로 구성될 것이다.
따라서 공정에서의 작업들은 현장에서 선택적으로 수행할 수 있는 작업들로 구성된다.
한편, 각 공정에서의 실제 현장은 해당 공정의 상태(state)로 설정된다.
도 5는 도 3의 공정 현장에 대한 공정의 상태를 나타내고 있다. 도 5와 같이, 공정의 상태는 투입 로트, 산출 로트, 각 공정 장비의 상태 등으로 구성된다. 바람직하게는, 상태는 전체 워크플로우의 과정에서 변화되는 요소를 대상으로 설정된다. 일례로서, 전체 워크플로우에서 장비 3은 하나의 색상으로 고정되어 설정되면, 상태로 설정하지 않을 수 있다. 또한, 장비의 색상 교체 시간이나 처리 소요 시간 등은 공정의 상태로 설정되지 않는다. 참고로, 해당 요소들은 시뮬레이터의 시뮬레이션 환경 데이터로 설정된다.
다음으로, 본 발명에서 사용하는 강화 학습에 대하여 도 6을 참조하여 설명한다. 도 6은 강화학습의 기본 개념을 도시하고 있다.
도 6에서 보는 바와 같이, 인공지능 에이전트(A.I. Agent)는 환경(Environment)과 통신하면서, 현재 상태(State) St가 주어지면, 인공지능 에이전트는 특정 행위(Action) at를 결정한다. 그리고 결정 사항이 환경(Environment)에서 실행하여 상태(State)를 St+1 로 변화시킨다. 상태 변화에 따라 환경(Environment)은 미리 정의한 보상(Reward) 수치 rt를 인공지능 에이전트에 제시한다. 그러면 인공지능 에이전트는 미래의 보상의 합이 최대화되도록 특정 상태(State)에 대한 최선의 행위(Action)를 제시하는 신경망(Neural Network)를 학습시킨다.
본 발명에서는, 환경(Environment)을 가상 환경에서 작동하는 공장 시뮬레이터(Factory Simulator)로 구현해준다.
또한, 강화 학습의 기본 구성요소인 상태(State), 행위(Action), 보상(Reward)은 다음과 같이 적용한다. 상태(State)는 공장 워크플로우에서 모든 공정 상태, 생산 목표 및 달성 현황 등으로 구성된다. 바람직하게는, 상태(state)는 앞서 워크플로우의 각 공정의 상태 및, 공장 상태로 구성된다.
또한, 행위(Action)는 특정 공정에서의 다음에 수행할 작업을 나타낸다. 즉, 해당 공정에서 작업물의 생산을 종료했을 때 장비의 유휴를 방지하기 위한 의사결정되어 선택되는 다음 작업(Next-Job)이다. 즉, 행위(action)는 앞서 공장 워크플로우 모델에서 작업(또는 작업 행위)에 해당한다.
또한, 보상(Reward)은 해당 공정 또는 전체 워크플로우의 생산 설비(장비)의 가동효율, 작업물의 작업시간 (TAT: Turn-Around Time), 생산목표 달성율 등 공장 관리에서 사용하는 주요 KPI(Key Performance Index, 주요 성능 지수)이다.
공장 전체의 동작(Behavior)을 모사하는 공장 시뮬레이터가 강화학습의 환경(Environment) 구성요소의 역할을 수행한다.
다음으로, 본 발명의 일실시예에 따른 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템의 구성을 도 7을 참조하여 설명한다.
도 7에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 신경망(11)으로 구성되는 신경망 에이전트(10), 공장의 워크플로우를 시뮬레이션하는 공장 시뮬레이터(20), 및, 신경망 에이전트(10)를 강화 학습시키는 강화학습 모듈(30)로 구성된다. 추가적으로, 강화학습을 위한 학습 데이터를 저장하는 학습DB(40)를 더 포함하여 구성될 수 있다.
먼저, 신경망 에이전트(10)는 워크플로우의 공장 상태를 입력받으면 특정 공정의 다음 작업(또는 작업 행위)을 출력하는 적어도 하나의 신경망(11)으로 구성된다.
특히, 하나의 신경망(11)은 하나의 공정에 대한 다음 작업을 결정하도록 구성된다. 즉, 바람직하게는, 해당 공정에서 다음으로 수행할 수 있는 다수의 작업 중에서 하나를 선택한다. 일례로서, 신경망(11)의 출력은 모든 작업에 해당하는 노드들로 구성되고, 각 노드의 출력은 확률값을 출력하며, 가장 큰 확률값의 노드에 해당하는 작업이 다음 작업으로 선택된다.
또한, 다수의 공정들의 다음 작업을 결정하기 위하여, 다수 공정들 각각에 대한 다수의 신경망(11)을 구성할 수 있다. 도 1의 예에서, 공정이 6개이면, 각각의 공정에 대응되는 신경망(11)을 구성하여 모두 6개를 구성할 수 있다. 그러나, 특정 공정이 공정 내에서 선택하는 작업이 하나만 있는 경우에는 선택 여지가 없기 때문에 신경망을 구성하지 않는다.
신경망 및 그 신경망의 최적화는 DQN(Deep-Q Network) 등 통상의 강화학습 기반의 신경망 방식을 이용한다[비특허문헌 1]
또한, 신경망 에이전트(10)는 워크플로우 상태(St)와, 해당 상태에서의 작업(at), 해당 작업에 의해 수행된 후의 워크플로우 상태(St+1), 그리고 해당 상태에서의 작업에 대한 보상(rt)을 입력받아, 해당 공정의 신경망(11)의 파라미터를 최적화 한다.
또한, 신경망(11)이 최적화 되면(학습되면), 신경망 에이전트(10)는 워크플로우 상태(St)를 최적화된 신경망(11)에 적용하여 다음 작업(at)을 출력하게 한다.
한편, 워크플로우 상태(St)는 t시점에서의 워크플로우 상태를 나타낸다. 바람직하게는, 워크플로우 상태는 워크플로우 내의 각 공정의 상태와, 공장 전체에 해당하는 공장 상태로 구성된다. 또한, 바람직하게는, 워크플로우 상태는 워크플로우 내의 일부 공정의 상태들만 포함할 수 있다. 이때, 워크플로우 내에서 병목 현상을 유발하는 공정 등 핵심적인 공정들만을 대상으로, 해당 공정들의 상태들만 포함할 수 있다.
또한, 워크플로우 상태는 워크플로우의 과정에서 변화되는 요소를 대상으로 설정된다. 즉, 워크플로우가 진행되어도 변하지 않는 구성요소는 상태로 설정되지 않는다.
각 공정의 상태(또는 공정 상태)는 앞서 본 도 5와 같이, 투입 로트, 산출 로트, 각 공정 장비의 상태 등으로 구성된다. 또한, 공장 상태는 제품의 생산 목표량, 달성된 현황 등 전체 공정에서의 상태를 나타낸다.
한편, 위와 같이, 상태는 전체 워크플로우 상태로 설정하고, 행위는 해당 공정에서의 작업으로 설정하고 있다. 즉, 상태는 전체 워크플로우 내에 있는 로트(Lot)들의 배치상태, 장비상태들을 모두 포함하나, 행위(또는 작업)는 특정 공정 노드(Node)에 국한된다. 그러나 공장에서는 가장 생산능력의 병목이 되거나, 의사결정이 필요한 특정 공정 노드(Node)를 최적 스케줄링 할 경우, 연계된 전후 공정 노드(Node)의 문제는 개의치 않겠다는 제약이론(TOC, Theory of Constraint)[비특허문헌 2]이 전제된다. 이는 마치 신호등이나 교차로, 인터체인지와 같은 주요 관리 포인트에서 주요 의사결정을 진행하되, 이를 위해서 연결된 모든 전후 도로들의 트래픽 상황을 상태 (State)로 반영해야 하는 것과 같다.
다음으로, 공장 시뮬레이터(20)는 공장 워크플로우를 시뮬레이션하는 통상의 시뮬레이터이다.
공장 워크플로우는 앞서 도 1과 같은 워크플로우 모델을 사용한다. 즉, 시뮬레이션의 공장 워크플로우 모델은 공정을 나타내는 다수의 노드로 구성된 방향성 그래프로 모델링된다. 그러나 시뮬레이션의 각 공정 모델은 실제 현장의 설비 현황으로 모델링된다.
즉, 도 3과 같이, 공정 모델은 해당 공정에 투입되는 로트(LOT), 해당 공정에서 산출되는 로트(LOT), 다수의 장비, 각 장비에 소요되는 소재나 부품, 각 장비에 투입되는 로트나 산출되는 로트(종류, 수량 등), 각 장비의 처리 속도, 각 장비에서 장치 교체 시간 등 설비 구성과 처리 능력을 모델링 변수로 모델링된다.
상기와 같은 공장 시뮬레이터는 통상의 시뮬레이션 기술을 채용한다. 따라서 더 구체적인 설명은 생략한다.
다음으로, 강화학습 모듈(30)은 공장 시뮬레이터(20)를 이용하여 시뮬레이션을 수행하고, 시뮬레이션 결과로부터 강화학습 데이터를 추출하고, 추출된 강화학습 데이터로 신경망 에이전트(10)를 학습시킨다.
즉, 강화학습 모듈(30)은 공장 시뮬레이터(20)로 다수의 생산 에피소드를 시뮬레이션한다. 생산 에피소드는 최종 제품(또는 로트)을 생산하는 전체 과정을 의미한다. 이때, 각 생산 에피소드는 각 처리과정이 상이하다.
예를 들어, 빨간색 볼펜 100자루와 파랑색 볼펜 50자루를 생산하는 시뮬레이션을 한번 수행하는 것이 하나의 생산 에피소드이다. 이때, 공장 워크플로우 내에서 처리하는 세부 공정이 서로 다를 수 있다. 세부 공정을 다르게 시뮬레이션 하면 또 다른 하나의 생산 에피소드가 생성된다. 예를 들어, 특정 상태일때 공정 2에서 장비 1이 사용된 것과, 장비 2가 사용된 것은 서로 다른 생산 에피소드이다.
하나의 생산 에피소드가 시뮬레이션되면, 각 공정에서 시간 순에 따른 워크플로우 상태(St)와 작업(ap,t)을 추출할 수 있다. 시간 t에서의 워크플로우 상태(St)는 전체 워크플로우 상태이므로 어느 공정에서나 동일하다. 그러나 각 공정에서의 작업(ap,t)은 공정 마다 다르다. 따라서 작업은 공정 p와 시간 t에 의해 다르게 추출된다.
또한, 강화학습 모듈(30)은 신경망 모델에서의 작업과, 시뮬레이션 모델에서의 모델링 변수 사이의 매핑 정보를 사전에 설정해둔다. 그리고 설정해둔 매핑정보를 이용하여 시뮬레이션 모델의 처리 과정이 어느 작업에 해당하는지를 판단한다. 매핑 정보의 일례가 도 4에 도시되고 있다.
한편, 각 상태(St)에서의 보상(rt)은 강화학습 방식에 의하여 산출할 수 있다. 바람직하게는, 각 상태(St)에서의 보상(rt)은 해당 생산 에피소드의 최종 결과(또는 최종 성과)로부터 산출한다. 즉, 최종 결과(또는 최종 성과)은 해당 공정 또는 전체 워크플로우의 생산 설비(장비)의 가동효율, 작업물의 작업시간(TAT: Turn-Around Time), 생산목표 달성율 등 공장 관리에서 사용하는 주요 KPI(Key Performance Index, 주요 성능 지수) 등에 의해 산출된다.
또한, 생산 에피소드로부터 시간 순에 따른 상태(St)와 작업(ap,t), 보상(rt)을 추출하면, 트랜지션(transition)들을 추출할 수 있다. 즉, 트랜지션은 현재 상태(St)와 작업(ap,t)에서 다음 상태(St+1)와 보상(rt)으로 구성된다. 이것은 현재 상태(St)에서 특정 공정의 작업(ap,t)이 수행되면 다음 상태(St+1)로 전환되고 보상(rt)의 가치를 얻는 것을 의미한다. 여기서의 보상(rt)은 작업(ap,t)이 수행된 경우의 현재 상태(St)에 대한 가치를 의미한다.
위와 같이, 강화학습 모듈(30)은 시뮬레이터(10)로 시뮬레이션 하여 생산 에피소드를 획득하고, 획득된 에피소드로부터 트랜지션들을 추출하여 학습 데이터를 구축한다. 이때, 하나의 에피소드에서도 다수의 트랜지션들이 추출된다. 바람직하게는, 시뮬레이션을 통해 다수의 에피소드를 생성하고, 이로부터 다량의 트랜지션을 추출한다.
그리고 강화학습 모듈(30)은 추출된 트랜지션을 신경망 에이전트(10)에 적용하여 학습시킨다.
이때, 일례로서, 트랜지션을 시간 순에 의해 순차적으로 학습시킬 수 있다. 바람직하게는, 전체 트랜지션에서 랜덤하게 트랜지션을 샘플링하고, 샘플링된 트랜지션들로 신경망 에이전트(10)를 학습시킨다.
또한, 신경망 에이전트(10)가 다수의 신경망을 구성한 경우, 각 신경망에 대응되는 공정의 트랜지션 데이터를 이용하여, 해당 신경망을 학습시킨다.
다음으로, 학습DB(40)는 신경망 에이전트(10)를 학습시키기 위한 학습 데이터를 저장한다. 바람직하게는, 학습 데이터는 다수의 트랜지션으로 구성된다.
특히, 트랜지션 데이터는 공정별로 구분될 수 있다.
앞서와 같이, 강화학습 모듈(30)이 다수의 에피소드를 시뮬레이터(20)로 시뮬레이션 하면, 다양한 대량의 트랜지션 데이터를 수집할 수 있다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 신경망 에이전트 11 : 신경망
20 : 공장 시뮬레이터 30 : 강화학습 모듈
40 : 학습DB

Claims (10)

  1. 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서,
    공장 워크플로우의 상태(이하 워크플로우 상태)를 입력받으면 해당 상태에서 처리할 다음 작업을 출력하는 적어도 하나의 신경망을 구비하되, 상기 신경망은 강화 학습 방식에 의해 학습되는 신경망 에이전트;
    공장 워크플로우를 시뮬레이션하는 공장 시뮬레이터; 및,
    상기 공장 시뮬레이터로 상기 공장 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로부터 강화학습 데이터를 추출하고, 추출된 강화학습 데이터로 상기 신경망 에이전트의 신경망을 학습시키는 강화학습 모듈을 포함하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  2. 제1항에 있어서,
    상기 공장 워크플로우는 다수의 공정으로 구성되고, 각 공정은 다른 공정과 선후 관계로 연결되어, 공정을 노드로 하는 방향성 그래프를 형성하고,
    상기 신경망 에이전트의 하나의 신경망은 다수의 공정 중 하나의 공정에 대한 다음 작업을 출력하도록 학습되는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  3. 제2항에 있어서,
    각 공정은 다수의 작업으로 구성되고, 상기 신경망은 해당 공정의 다수의 작업 중에서 최적의 하나를 선택하여 다음 작업으로 출력하도록 구성되는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  4. 제2항에 있어서,
    상기 신경망 에이전트는 워크플로우 상태와, 해당 상태에서의 수행되는 해당 공정의 다음 작업, 해당 작업에 의해 수행된 후의 워크플로우 상태, 그리고 해당 작업이 수행된 경우의 보상으로 상기 신경망을 최적화 시키는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  5. 제4항에 있어서,
    상기 워크플로우 상태는 전체 공정들 또는 일부 공정들에 대한 각 공정의 상태와, 전체 공장에 대한 상태를 포함하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  6. 제3항에 있어서,
    상기 공장 시뮬레이터는 상기 공장 워크플로우를 시뮬레이션 모델로 구성하고, 각 공정의 시뮬레이션 모델은 해당 공정의 설비 구성과 처리 능력으로 모델링하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  7. 제6항에 있어서,
    상기 강화학습 모듈은 각 공정의 작업과, 상기 각 공정의 시뮬레이션 모델에서의 모델링 변수 사이의 매핑 정보를 사전에 설정해두고, 설정해둔 매핑정보를 이용하여 시뮬레이션 모델의 처리 과정이 어느 작업에 해당하는지를 판단하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  8. 제2항에 있어서,
    상기 강화학습 모듈은 상기 공장 시뮬레이터로 다수의 생산 에피소드를 시뮬레이션 하여, 각 공정에서 시간 순에 따른 워크플로우 상태와 작업을 추출하고, 상기 생산 에피소드의 성과로부터 각 상태에서의 보상을 추출하고, 추출된 상태, 작업, 보상으로 강화학습 데이터를 수집하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  9. 제8항에 있어서,
    상기 강화학습 모듈은 각 공정에서 시간 순에 따른 워크플로우 상태와 작업, 보상으로부터 현재 상태(St)와 공정 작업(ap,t)에서 다음 상태(St+1)와 보상(rt)으로 구성되는 트랜지션을 추출하고, 추출된 트랜지션을 강화학습 데이터로 생성하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
  10. 제9항에 있어서,
    상기 강화학습 모듈은 상기 강화학습 데이터에서 랜덤하게 트랜지션을 샘플링하고, 샘플링된 트랜지션으로 상기 신경망 에이전트가 학습하게 하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
KR1020200136206A 2020-10-20 2020-10-20 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 KR102338304B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200136206A KR102338304B1 (ko) 2020-10-20 2020-10-20 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
PCT/KR2021/012157 WO2022085939A1 (ko) 2020-10-20 2021-09-07 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
US18/031,285 US20240029177A1 (en) 2020-10-20 2021-09-07 Factory simulator-based scheduling system using reinforcement learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200136206A KR102338304B1 (ko) 2020-10-20 2020-10-20 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템

Publications (1)

Publication Number Publication Date
KR102338304B1 true KR102338304B1 (ko) 2021-12-13

Family

ID=78831770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136206A KR102338304B1 (ko) 2020-10-20 2020-10-20 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템

Country Status (3)

Country Link
US (1) US20240029177A1 (ko)
KR (1) KR102338304B1 (ko)
WO (1) WO2022085939A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230165026A (ko) 2022-05-26 2023-12-05 주식회사 뉴로코어 로트 이력 재현 기능을 구비한 공장 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR20240000926A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 제품 유형 및 유형 개수에 독립적인 신경망 기반 공정 스케줄링 시스템
KR20240000923A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 공장 상태 스킵 기능의 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR102673556B1 (ko) * 2023-11-15 2024-06-11 주식회사 티엔에스 6자유도 모션플랫폼에 기반한 가상 시뮬레이션 수행 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118071030B (zh) * 2024-04-17 2024-06-28 中国电子系统工程第二建设有限公司 厂房的厂务设备监控系统及监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180110940A (ko) * 2017-03-30 2018-10-11 (주)우리젠 기 건축물의 에너지 성능 분석을 위한 프로파일링 시스템
KR101984460B1 (ko) 2019-04-08 2019-05-30 부산대학교 산학협력단 머신러닝 기반 자동 공작기계 작업 스케줄링 방법 및 장치
KR102035389B1 (ko) 2017-09-29 2019-10-23 전자부품연구원 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템
KR20200094577A (ko) * 2019-01-30 2020-08-07 주식회사 모비스 인공신경망 시뮬레이터와 강화학습 제어기를 사용한 실시간 가속기 제어 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101345068B1 (ko) * 2013-06-12 2013-12-26 성결대학교 산학협력단 워크플로우 모델링 및 시뮬레이션 시스템 및 방법
US11562223B2 (en) * 2018-04-24 2023-01-24 EMC IP Holding Company LLC Deep reinforcement learning for workflow optimization
KR102142205B1 (ko) * 2019-01-04 2020-08-06 에스케이 주식회사 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180110940A (ko) * 2017-03-30 2018-10-11 (주)우리젠 기 건축물의 에너지 성능 분석을 위한 프로파일링 시스템
KR102035389B1 (ko) 2017-09-29 2019-10-23 전자부품연구원 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템
KR20200094577A (ko) * 2019-01-30 2020-08-07 주식회사 모비스 인공신경망 시뮬레이터와 강화학습 제어기를 사용한 실시간 가속기 제어 시스템
KR101984460B1 (ko) 2019-04-08 2019-05-30 부산대학교 산학협력단 머신러닝 기반 자동 공작기계 작업 스케줄링 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Goal: A Process of Ongoing Improvement, Eliyahu M. Goldratt 1984
V. Mnih et al., "Human-level control through deep reinforcement learning," Nature, vol. 518, no. 7540, p. 529, 2015.

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230165026A (ko) 2022-05-26 2023-12-05 주식회사 뉴로코어 로트 이력 재현 기능을 구비한 공장 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR20240000926A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 제품 유형 및 유형 개수에 독립적인 신경망 기반 공정 스케줄링 시스템
KR20240000923A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 공장 상태 스킵 기능의 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR102673556B1 (ko) * 2023-11-15 2024-06-11 주식회사 티엔에스 6자유도 모션플랫폼에 기반한 가상 시뮬레이션 수행 시스템

Also Published As

Publication number Publication date
US20240029177A1 (en) 2024-01-25
WO2022085939A1 (ko) 2022-04-28

Similar Documents

Publication Publication Date Title
KR102338304B1 (ko) 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
Guo et al. Stochastic hybrid discrete grey wolf optimizer for multi-objective disassembly sequencing and line balancing planning in disassembling multiple products
Christiano et al. Supervising strong learners by amplifying weak experts
Karthikeyan et al. A hybrid discrete firefly algorithm for solving multi-objective flexible job shop scheduling problems
Schuh et al. Collaboration Mechanisms to increase Productivity in the Context of Industrie 4.0
Zheng et al. SME-oriented flexible design approach for robotic manufacturing systems
Song et al. Toward hybrid teams: A platform to understand human-computer collaboration during the design of complex engineered systems
Campos Ciro et al. Open shop scheduling problem with a multi-skills resource constraint: a genetic algorithm and an ant colony optimisation approach
US20230004149A1 (en) Digital twin modeling and optimization of production processes
Cheng et al. A hybrid mechanism for optimizing construction simulation models
Maretto et al. A multi-criteria decision-making model based on fuzzy logic and AHP for the selection of digital technologies
Benzerga et al. When energy revolution meets digital transformation
Santos et al. Industrial IoT integrated with simulation-A digital twin approach to support real-time decision making
Caldeira et al. An improved backtracking search algorithm for the flexible job shop rescheduling problem with new job insertions
KR20210099934A (ko) 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템
Kumar et al. A labelling system and automation comparison index for industry 4.0 system
Belsare et al. Reinforcement Learning with Discrete Event Simulation: The Premise, Reality, and Promise
CN108873737A (zh) 一种基于m-hstpn模型的自动分拣控制与决策系统
Petrotta et al. Implementing augmented intelligence in systems engineering
KR20230165026A (ko) 로트 이력 재현 기능을 구비한 공장 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR20240000926A (ko) 제품 유형 및 유형 개수에 독립적인 신경망 기반 공정 스케줄링 시스템
Bello et al. Personnel selection in a competitive environment
KR20240000923A (ko) 공장 상태 스킵 기능의 시뮬레이터 기반 스케줄링 신경망 학습 시스템
Bonfatti et al. A fuzzy model for load-oriented manufacturing control
Bouaziz et al. Incorporating uncertain human behavior in production scheduling for enhanced productivity in Industry 5.0 context

Legal Events

Date Code Title Description
GRNT Written decision to grant