KR20210099934A - 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템 - Google Patents

Abstract

신경망이 주어진 상태에서 특정 작업의 다음 행위에 대한 의사결정을 출력하도록 설계하되, 공정 및 제품 등 워크플로우의 도메인이 변경되더라도, 다음 행위에 대한 의사결정의 개수를 동일하도록 설계하는, 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 관한 것으로서, 신경망을 구성하되, 신경망의 입력, 출력, 최적화 기준을 각각 작업 상태, 행위, 전체 작업의 성과로 설계하여 구성하되, 행위에 대한 의사결정 노드의 개수를 일정한 개수로 고정하는 신경망 관리부; 각 작업을 노드로 구성하고, 작업들간의 선후 공정 관계를 에지로 구성하여, 워크플로우를 방향성 그래프로 구성하는 다수의 속성을 가지는 워크플로우 구성부; 워크플로우를 시뮬레이션하여, 각 작업의 상태, 해당 작업의 행위, 워크플로우의 성과를 포함하는 시뮬레이션 데이터를 생성하는 시뮬레이터; 및, 상기 시뮬레이션 데이터로부터 학습 데이터를 구성하고, 구성된 학습 데이터로 특정 작업의 신경망을 학습시키는 신경망 학습부를 포함하는 구성을 마련한다.
상기와 같은 시스템에 의하여, 다음 행위에 대한 의사결정의 개수가 동일하도록 신경망의 출력을 설계함으로써, 공정 및 제품 등 워크플로우의 도메인이 변경되더라도 설계된 신경망의 구조를 재사용할 수 있고, 이를 통해, 신경망의 구조를 독립적으로 유지할 수 있다.

Description

공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템 { A job scheduling system based on reinforcement deep learning, not depending on process and product type }

본 발명은 다수의 작업이 전후 관계의 워크플로우에 따라 처리되어 제품이 생산되는 공장 환경에서, 주어진 상태가 입력되면 특정 작업의 다음 행위(action)를 최적화 하도록 강화 학습시키고, 학습된 신경망을 이용하여 실제 현장에서 해당 작업의 다음 행위를 결정하는, 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 관한 것이다.

특히, 본 발명은 신경망이 주어진 상태에서 특정 작업의 다음 행위에 대한 의사결정을 출력하도록 설계하되, 공정 및 제품 등 워크플로우의 도메인이 변경되더라도, 다음 행위에 대한 의사결정의 개수를 동일하도록 설계하는, 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 관한 것이다.

일반적으로, 제조 공정 관리는 원료나 재료로부터 제품이 완성되기까지 제조 과정에서 행하여지는 일련의 과정을 관리하는 활동을 말한다. 특히, 각 제품의 제조에 필요한 공정과 작업 순서를 결정하고, 각 공정에 필요한 재료나 시간 등을 결정한다.

특히, 제품을 생산하는 공장에는 각 작업을 처리하는 장비들이 해당 작업 공간에 배치되어 구비된다. 해당 장비들에는 특정 작업을 처리하기 위한 부품들이 공급되도록 구성될 수 있다. 또한, 장비들 사이 또는 작업 공간들 사이에는 컨베이어 등 이송 장치 등이 설치되어, 장비에 의해 특정 작업이 완료되면 처리된 제품이나 부품들이 다음 작업으로 이동되도록 구성된다.

또한, 특정 작업을 수행하기 위해 유사/동일 기능의 다수의 장비들이 설치되어, 동일하거나 유사한 작업을 분담하여 처리될 수 있다.

이와 같은 제조 라인에서 공정 또는 각 작업을 스케줄링하는 것은 공장 효율화를 위해 매우 중요한 문제이다. 종래에는 대부분 스케줄링을 각 조건에 따른 규칙 기반(rule-based) 형식으로 스케줄링 하였고, 평가 척도가 명확하지 않아 만들어진 스케줄링 결과에 대한 성능 평가가 모호하였다.

또한, 최근에는 제조 공정에 인공지능 기법을 도입하여 작업을 스케줄링하는 기술들이 제시되고 있다[특허문헌 1]. 상기 선행기술은 공작 기계의 작업을 스케줄링하는 기술로서, 다양한 작업으로 구성되는 복잡한 공장의 제조 공정에는 적용하기 어렵다.

또한, 다수 설비의 공정에 대한 신경망 학습 방법을 적용한 기술도 제시되고 있다[특허문헌 2]. 즉, 상기 선행기술은 하나의 공정에 대해 학습시키고 공정 제어 변수를 획득한다. 따라서 공정이 변경되거나 공정 상에서 제조되는 제품이 변경되면, 해당 신경망을 다시 설계하고 학습시켜야 한다는 문제점이 있다.

한국 등록특허공보 제10-1984460호(2019.05.30.공고) 한국 등록특허공보 제10-2035389호(2019.10.23.공고)

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 신경망의 입력, 출력, 최적화 기준을, 각각, 워크플로우 상의 각 작업의 특정 상태(state), 특정 작업의 다음 행위(action), 전체 작업의 성과(reward)로 설계하여, 설계된 신경망을 통해 현재 작업 상태에서 다음 행위에 대한 의사결정을 수행하는, 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템을 제공하는 것이다.

특히, 본 발명의 목적은 신경망이 주어진 상태에서 특정 작업의 다음 행위에 대한 의사결정을 출력하도록 설계하되, 공정 및 제품 등 워크플로우의 도메인이 변경되더라도, 다음 행위에 대한 의사결정의 개수를 동일하도록 설계하는, 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 관한 것으로서, 신경망을 구성하되, 신경망의 입력, 출력, 최적화 기준을 각각 작업 상태, 행위, 전체 작업의 성과로 설계하여 구성하되, 행위에 대한 의사결정 노드의 개수를 일정한 개수로 고정하는 신경망 관리부; 각 작업을 노드로 구성하고, 작업들간의 선후 공정 관계를 에지로 구성하여, 워크플로우를 방향성 그래프로 구성하는 다수의 속성을 가지는 워크플로우 구성부; 워크플로우를 시뮬레이션하여, 각 작업의 상태, 해당 작업의 행위, 워크플로우의 성과를 포함하는 시뮬레이션 데이터를 생성하는 시뮬레이터; 및, 상기 시뮬레이션 데이터로부터 학습 데이터를 구성하고, 구성된 학습 데이터로 특정 작업의 신경망을 학습시키는 신경망 학습부를 포함하는 것을 특징으로 한다.

또한, 본 발명은 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 있어서, 상기 시스템은, 상태 데이터를 입력받아 신경망에 적용하여, 특정 작업의 다음 행위를 결정하는 스케줄부를 더 포함하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 의하면, 다음 행위에 대한 의사결정의 개수가 동일하도록 신경망의 출력을 설계함으로써, 공정 및 제품 등 워크플로우의 도메인이 변경되더라도 설계된 신경망의 구조를 재사용할 수 있고, 이를 통해, 신경망의 구조를 독립적으로 유지할 수 있는 효과가 얻어진다.

도 1은 강화학습의 기본 작동 구조.
도 2는 본 발별의 일실시예에 따른 이벤트 시뮬레이터와 딥러닝의 구조를 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 A.I 기반 스케줄링 모델로서, 워크플로우 모델에 대한 도면.
도 4는 본 발명의 일실시예에 따른 Action의 세부 구조.
도 5는 본 발명의 일실시예에 따른 State의 세부 구조.
도 6은 본 발명의 일실시예에 따른 Reward의 세부 구조.
도 7은 솔루션 구축 단계의 차이.
도 8 및 9는 본 발명의 일실시예에 Learn-Time 지원을 위한 스케줄링 시스템 워크플로 모델.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 강화학습의 기본 개념에 대해 설명한다.

① 도 1과 같이, A.I. Agent가 Environment와 통신하면서, 현재 상태(State) St에서, A.I Agent가 특정 Action at를 결정한다.

② 결정사항을 Environment에서 실행하여 상태를 St+1 로 변화시킨다

③ 상태 변화에 따라 Environment는 미리 정의한 보상(Reward)수치 rt를 A.I. Agent에 제시하고, 미래의 보상의 합이 최대화되도록 특정 State에 대한 최선의 Action을 제시하는 Neural Network를 자동으로 생성하는 방법이다.

또한, 도 2에서 보는 바와 같이, 본 발명은 Event Simulation을 통해 대상의 행위규칙에 따른 결과를 예측하고 진행 과정의 주요한 의사결정 로직을 강화학습 (Deep Reinforcement Learning)을 통해 취득한다.

또한, 도 3에서 보는 바와 같이, 본 발명은 Environment를 가상환경에서 작동하는 공장 시뮬레이터 (Factory Simulator) 소프트웨어로 보고, 강화학습의 기본 구성요소인 State, Action, Reward를 아래와 같이 정의한다.

④ State: 공장 내 작업물의 위치 및 수량, 공장 설비의 가용 상태, 생산목표 및 달성현황, 작업물 별 공장 설비의 가공 가능여부 제약

⑤ Action: 설비에서 작업물의 생산을 종료했을 때 장비의 유휴를 방지하기 위한 Next-Job 선택 의사결정 행위

⑥ Reward: 생산 설비의 가동효율, 작업물의 작업시간 (TAT: Turn-Around Time), 생산목표 달성율 등 공장 관리에서 사용하는 주요 KPI (Key Performance Index)

공장 전체의 Behavior를 모사하는 공장 시뮬레이터를 강화학습의 Environment 구성요소로 활용하여, 생산설비 단계에서 발생하는 각종 의사결정을 수행한 사례는 아직까지 찾아보기 힘든 고유한 특장점이다.

강화학습을 활용한 대표적 예시로 알려진 Google DeepMind사의 AlphaGo-Zero의 경우, 바둑게임 시뮬레이터가 Environment, State는 바둑돌의 배치 상황, Action은 바둑판의 19x19 격자 중 다음 수에 해당하는 바둑돌의 위치 의사결정, Reward는 게임의 승리 여부 및 승리확률로 판단하여 성과를 거둔 바가 있다. (필요 시 Reference 추가)

구체적인 Action 구조, state 구조, reward 구조는 각각 도 4, 도 5, 도 6과 같다.

다음으로, 본 발명의 일실시예에 따른 Workflow 기능을 활용한 AI기반 스케줄링 시스템의 구성에 대하여 설명한다.

강화학습과 같은 Deep Learning 기법을 사용한 스케줄링 솔루션 구축은 시스템 설계 및 구축 프로세스에 있어서의 전통적 방법과 차이점을 가진다.

전통적인 솔루션의 경우, 아래 도 7의 ① 항목과 같이, 설계/구축-검증/디버그/구동 및 적용의 단계로 이루어지나, ②와 같은 강화학습 기반의 솔루션의 경우, 구동 및 적용 이전에 항시 당면한 공장 상황 (생산 제품 종류, 장비 상태, 생산계획 등)에 Fitting되도록 다양한 A.I. Configuration 구성 및 학습 단계가 필요하다는데 기존 방법과 큰 차이가 있다

Learn-Time이라는 기존에 없던 솔루션 구축 단계를 위해, A.I.기반 스케줄링 솔루션은 도 8과 같은 워크플로 기능을 내장해야 한다..

세부 모델 별 구성요소 및 필요항목은 추가 정의 가능

다음으로, A.I. 의사결정 방안 (Action)의 표현 구조에 대하여 설명한다.

먼저, 공장 스케줄링 시 A.I.가 판단해야 할 의사결정은 총 N개의 의사결정 후보 중에서 가장 적절한 의사결정을 수행하는 방식으로 이루어질 수 있다.

또한, 이는 마치, 바둑의 19x19가지의 포지션 후보 중 특정 위치를 택1하는것과 동일한 방식 (알파고) 을 응용한 것이다.

하지만, 공장 스케줄링 문제의 경우, N개의 후보라는 것이 적용할 기업마다, 공장마다, 심지어 구동 시점에 따라서 지속적으로 유동적이라는 문제를 가진다. 이 때문에, 기존 알파고 방식을 사용할 경우, 적용 기업 혹은 공장, 그리고 적용 시점에 따라 Neural Network를 계속 재 설계해야 한다는 문제점이 있다.

이 문제를 극복하기 위하여 "일반화된 Neural Network 구조"를 개발하였으며, 이 방식은 문제 해결 방법을 2-Layered Structure로 구성하여, A.I.의 의사결정을 YES/NO, 혹은 1/2/3안 중 택1 과 같이 단순화한 대신, 어느 공장에나 Neural Network의 변경 없이 적용 가능한 일반성을 확보한 것이다.

- 일반화 된 Neural Network 설계방법에 대해 설명한다.

1단계: Expert Rule 기반 Next Job 선정한다.

2단계: A.I.는 제안에 대한 유효성 검증 (YES/NO 의사결정) 혹은 택1 (1/2/3안 중 하나) 만 수행한다.

- 제품 가짓수 등 의사결정 Domain이 바뀌더라도, Neural Network의 구조가 독립적 유지 가능하다.

참조적으로, 기존 연구들은 제품유형 변경 등 Action의 가짓수가 바뀔 경우, Network의 Output Node 구조가 바뀌어야만 했다(예: AlphaGo의 바둑판이 19x19에서 20x20이 될경우, 작동 불가).

이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 시뮬레이터 20 : 스케줄링 시스템

Claims (2)

1. 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템에 있어서,
   신경망을 구성하되, 신경망의 입력, 출력, 최적화 기준을 각각 작업 상태, 행위, 전체 작업의 성과로 설계하여 구성하되, 행위에 대한 의사결정 노드의 개수를 일정한 개수로 고정하는 신경망 관리부;
   각 작업을 노드로 구성하고, 작업들간의 선후 공정 관계를 에지로 구성하여, 워크플로우를 방향성 그래프로 구성하는 다수의 속성을 가지는 워크플로우 구성부;
   워크플로우를 시뮬레이션하여, 각 작업의 상태, 해당 작업의 행위, 워크플로우의 성과를 포함하는 시뮬레이션 데이터를 생성하는 시뮬레이터; 및,
   상기 시뮬레이션 데이터로부터 학습 데이터를 구성하고, 구성된 학습 데이터로 특정 작업의 신경망을 학습시키는 신경망 학습부를 포함하는 것을 특징으로 하는 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템.
   
2. 제1항에 있어서,
   상기 시스템은, 상태 데이터를 입력받아 신경망에 적용하여, 특정 작업의 다음 행위를 결정하는 스케줄부를 더 포함하는 것을 특징으로 하는 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템.
   

Images