KR20210099932A - 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 - Google Patents

Abstract

작업들의 워크플로우를 공장 시뮬레이터로 구현하고, 시뮬레이터로 다양한 경우를 시뮬레이션하여, 각 작업의 특정 상태(state), 특정 작업의 행위(action), 전체 작업이 완료되었을 때의 성과(reward) 등을 수집하여 학습 데이터를 생성하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것으로서, 각 작업을 노드로 구성하고, 작업들간의 선후 공정 관계를 에지로 구성하여, 워크플로우를 방향성 그래프로 구성하는 다수의 속성을 가지는 워크플로우 구성부; 워크플로우의 각 요소에 대한 속성을 설정하고, 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로서, 각 작업의 상태, 해당 작업의 행위, 작업 완료의 성과를 포함하는 시뮬레이션 데이터를 생성하는 시뮬레이터; 상기 시뮬레이션 데이터로부터 학습 데이터를 구성하고, 구성된 학습 데이터로 특정 작업의 신경망을 학습시키는 신경망 학습부; 및, 특정 작업의 현재 상태를 입력받으면, 입력 데이터를 신경망에 적용하여, 특정 작업의 다음 행위를 출력하는 스케줄부를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 시뮬레이터로 다양한 작업의 상태에서 특정 작업의 행위를 수행했을 경우의 성과를 추출하여 학습 데이터를 구성함으로써, 신경망을 보다 빠른 시간 내에 정확하게 학습할 수 있고, 이로 인해, 현장에서 보다 정확한 작업을 지시할 수 있다.

Description

강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템 { A facility- simulator based job scheduling system using reinforcement deep learning }

본 발명은 다수의 작업이 서로 전후 관계를 가지는 워크플로우를 구성하고 워크플로우 상의 작업들이 완료되면 제품이 생산되는 공장 환경에서, 주어진 상태가 입력되면 특정 작업의 작업물 투입이나 설비 운영 등 다음 행위(action)를 최적화 하도록 강화 학습시키고, 학습된 신경망을 이용하여 실제 현장에서 해당 작업의 다음 행위를 결정하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것이다.

특히, 본 발명은 작업들의 워크플로우를 공장 시뮬레이터로 구현하고, 시뮬레이터로 다양한 경우를 시뮬레이션하여, 각 작업의 특정 상태(state), 특정 작업의 행위(action), 전체 작업이 완료되었을 때의 성과(reward) 등을 수집하여 학습 데이터를 생성하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것이다.

일반적으로, 제조 공정 관리는 원료나 재료로부터 제품이 완성되기까지 제조 과정에서 행하여지는 일련의 과정을 관리하는 활동을 말한다. 특히, 각 제품의 제조에 필요한 공정과 작업 순서를 결정하고, 각 공정에 필요한 재료나 시간 등을 결정한다.

특히, 제품을 생산하는 공장에는 각 작업을 처리하는 장비들이 해당 작업 공간에 배치되어 구비된다. 해당 장비들에는 특정 작업을 처리하기 위한 부품들이 공급되도록 구성될 수 있다. 또한, 장비들 사이 또는 작업 공간들 사이에는 컨베이어 등 이송 장치 등이 설치되어, 장비에 의해 특정 작업이 완료되면 처리된 제품이나 부품들이 다음 작업으로 이동되도록 구성된다.

또한, 특정 작업을 수행하기 위해 유사/동일 기능의 다수의 장비들이 설치되어, 동일하거나 유사한 작업을 분담하여 처리될 수 있다.

이와 같은 제조 라인에서 공정 또는 각 작업을 스케줄링하는 것은 공장 효율화를 위해 매우 중요한 문제이다. 종래에는 대부분 스케줄링을 각 조건에 따른 규칙 기반(rule-based) 형식으로 스케줄링 하였고, 평가 척도가 명확하지 않아 만들어진 스케줄링 결과에 대한 성능 평가가 모호하였다.

또한, 최근에는 제조 공정에 인공지능 기법을 도입하여 작업을 스케줄링하는 기술들이 제시되고 있다[특허문헌 1]. 상기 선행기술은 공작 기계의 작업을 스케줄링하는 기술로서, 다양한 작업으로 구성되는 복잡한 공장의 제조 공정에는 적용하기 어렵다.

또한, 다수 설비의 공정에 대한 신경망 학습 방법을 적용한 기술도 제시되고 있다[특허문헌 2]. 그러나 상기 선행기술은 공정에 관련된 공정 변수와 과거 변수 특성 등을 모두 학습시켜 신경망에 부하를 많이 준다는 문제점이 있다. 또한, 제어 결과에 의한 보상/벌칙 등의 기준이 관리자(사람)에 의해 주어진다는 문제점이 있다.

한국 등록특허공보 제10-1984460호(2019.05.30.공고) 한국 등록특허공보 제10-2035389호(2019.10.23.공고)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 작업들의 워크플로우를 공장 시뮬레이터로 구현하고, 시뮬레이터로 다양한 경우를 시뮬레이션하여, 각 작업의 특정 상태(state), 특정 작업의 행위(action), 전체 작업이 완료되었을 때의 성과(reward) 등을 수집하여 학습 데이터를 생성하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템을 제공하는 것이다.

또한, 본 발명의 목적은 시뮬레이터에 의해 학습 데이터를 생성할 때, 워크플로우 상태(state)를 워크플로우의 모든 작업의 상태를 구성하는 대신, 해당 작업이나 관련된 작업의 상태만을 선정하여 구성하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것으로서, 각 작업을 노드로 구성하고, 작업들간의 선후 공정 관계를 에지로 구성하여, 워크플로우를 방향성 그래프로 구성하는 다수의 속성을 가지는 워크플로우 구성부; 워크플로우의 각 요소에 대한 속성을 설정하고, 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로서, 각 작업의 상태, 해당 작업의 행위, 작업 완료의 성과를 포함하는 시뮬레이션 데이터를 생성하는 시뮬레이터; 상기 시뮬레이션 데이터로부터 학습 데이터를 구성하고, 구성된 학습 데이터로 특정 작업의 신경망을 학습시키는 신경망 학습부; 및, 특정 작업의 현재 상태를 입력받으면, 입력 데이터를 신경망에 적용하여, 특정 작업의 다음 행위를 출력하는 스케줄부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서, 각 작업은 적어도 1개의 설비를 가지고, 설비는 다수의 속성을 가지는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 의하면, 시뮬레이터로 다양한 작업의 상태에서 특정 작업의 행위를 수행했을 경우의 성과를 추출하여 학습 데이터를 구성함으로써, 신경망을 보다 빠른 시간 내에 정확하게 학습할 수 있고, 이로 인해, 현장에서 보다 정확한 작업을 지시할 수 있는 효과가 얻어진다.

또한, 본 발명에 따른 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 의하면, 시뮬레이터에 의해 학습 데이터를 생성할 때 워크플로우 상태(state)를 해당 작업이나 관련된 작업의 상태만을 선정하여 구성함으로써, 신경망의 입력량을 줄일 수 있고, 보다 적은 양의 학습 데이터로 보다 정확하게 신경망을 학습시킬 수 있는 효과가 얻어진다.

도 1은 강화학습의 기본 작동 구조.
도 2는 본 발별의 일실시예에 따른 이벤트 시뮬레이터와 딥러닝의 구조를 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 A.I 기반 스케줄링 모델로서, 워크플로우 모델에 대한 도면.
도 4는 본 발명의 일실시예에 따른 Action의 세부 구조.
도 5는 본 발명의 일실시예에 따른 State의 세부 구조.
도 6은 본 발명의 일실시예에 따른 Reward의 세부 구조.
도 7은 솔루션 구축 단계의 차이.
도 8 및 9는 본 발명의 일실시예에 Learn-Time 지원을 위한 스케줄링 시스템 워크플로 모델.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 강화학습의 기본 개념에 대해 설명한다.

① 도 1과 같이, A.I. Agent가 Environment와 통신하면서, 현재 상태(State) St에서, A.I Agent가 특정 Action at를 결정한다.

② 결정사항을 Environment에서 실행하여 상태를 St+1 로 변화시킨다

③ 상태 변화에 따라 Environment는 미리 정의한 보상(Reward)수치 rt를 A.I. Agent에 제시하고, 미래의 보상의 합이 최대화되도록 특정 State에 대한 최선의 Action을 제시하는 Neural Network를 자동으로 생성하는 방법이다.

또한, 도 2에서 보는 바와 같이, 본 발명은 Event Simulation을 통해 대상의 행위규칙에 따른 결과를 예측하고 진행 과정의 주요한 의사결정 로직을 강화학습 (Deep Reinforcement Learning)을 통해 취득한다.

또한, 도 3에서 보는 바와 같이, 본 발명은 Environment를 가상환경에서 작동하는 공장 시뮬레이터 (Factory Simulator) 소프트웨어로 보고, 강화학습의 기본 구성요소인 State, Action, Reward를 아래와 같이 정의한다.

④ State: 공장 내 작업물의 위치 및 수량, 공장 설비의 가용 상태, 생산목표 및 달성현황, 작업물 별 공장 설비의 가공 가능여부 제약

⑤ Action: 설비에서 작업물의 생산을 종료했을 때 장비의 유휴를 방지하기 위한 Next-Job 선택 의사결정 행위

⑥ Reward: 생산 설비의 가동효율, 작업물의 작업시간 (TAT: Turn-Around Time), 생산목표 달성율 등 공장 관리에서 사용하는 주요 KPI (Key Performance Index)

공장 전체의 Behavior를 모사하는 공장 시뮬레이터를 강화학습의 Environment 구성요소로 활용하여, 생산설비 단계에서 발생하는 각종 의사결정을 수행한 사례는 아직까지 찾아보기 힘든 고유한 특장점이다.

강화학습을 활용한 대표적 예시로 알려진 Google DeepMind사의 AlphaGo-Zero의 경우, 바둑게임 시뮬레이터가 Environment, State는 바둑돌의 배치 상황, Action은 바둑판의 19x19 격자 중 다음 수에 해당하는 바둑돌의 위치 의사결정, Reward는 게임의 승리 여부 및 승리확률로 판단하여 성과를 거둔 바가 있다. (필요 시 Reference 추가)

구체적인 Action 구조, state 구조, reward 구조는 각각 도 4, 도 5, 도 6과 같다.

다음으로, 본 발명의 일실시예에 따른 Workflow 기능을 활용한 AI기반 스케줄링 시스템의 구성에 대하여 설명한다.

강화학습과 같은 Deep Learning 기법을 사용한 스케줄링 솔루션 구축은 시스템 설계 및 구축 프로세스에 있어서의 전통적 방법과 차이점을 가진다.

전통적인 솔루션의 경우, 아래 도 7의 ① 항목과 같이, 설계/구축-검증/디버그/구동 및 적용의 단계로 이루어지나, ②와 같은 강화학습 기반의 솔루션의 경우, 구동 및 적용 이전에 항시 당면한 공장 상황 (생산 제품 종류, 장비 상태, 생산계획 등)에 Fitting되도록 다양한 A.I. Configuration 구성 및 학습 단계가 필요하다는데 기존 방법과 큰 차이가 있다

Learn-Time이라는 기존에 없던 솔루션 구축 단계를 위해, A.I.기반 스케줄링 솔루션은 도 8과 같은 워크플로 기능을 내장해야 한다..

세부 모델 별 구성요소 및 필요항목은 추가 정의 가능

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 시뮬레이터 20 : 스케줄링 시스템

Claims (2)

1. 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 있어서,
   각 작업을 노드로 구성하고, 작업들간의 선후 공정 관계를 에지로 구성하여, 워크플로우를 방향성 그래프로 구성하는 다수의 속성을 가지는 워크플로우 구성부;
   워크플로우의 각 요소에 대한 속성을 설정하고, 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로서, 각 작업의 상태, 해당 작업의 행위, 작업 완료의 성과를 포함하는 시뮬레이션 데이터를 생성하는 시뮬레이터;
   상기 시뮬레이션 데이터로부터 학습 데이터를 구성하고, 구성된 학습 데이터로 특정 작업의 신경망을 학습시키는 신경망 학습부; 및,
   특정 작업의 현재 상태를 입력받으면, 입력 데이터를 신경망에 적용하여, 특정 작업의 다음 행위를 출력하는 스케줄부를 포함하는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
   
2. 제1항에 있어서,
   각 작업은 적어도 1개의 설비를 가지고, 설비는 다수의 속성을 가지는 것을 특징으로 하는 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템.
   

Images