KR20190048274A

KR20190048274A - 다중 아날로그 제어 변수 생성을 위한 다중 뉴럴 네트워크 구성 방법

Info

Publication number: KR20190048274A
Application number: KR1020170143078A
Authority: KR
Inventors: 지영민
Original assignee: 전자부품연구원
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2019-05-09
Also published as: KR102527605B1

Abstract

다중 아날로그 제어 변수 생성을 위한 다중 뉴럴 네트워크 구성 방법이 제공된다. 본 발명의 실시예에 따른 다중 제어 변수 생성 방법은, 제1 뉴럴 네트워크를 이용하여 제1 제어 변수를 생성하고, 제1 함수를 이용하여 제1 뉴럴 네트워크에서 출력되는 제1 출력 파라미터 세트를 가공하여 출력하며, 제2 뉴럴 네트워크를 이용하여 제2 제어 변수를 생성하고, 제2 함수를 이용하여 제2 뉴럴 네트워크에서 출력되는 제2 출력 파라미터 세트를 가공하여 출력한다. 이에 의해, 오차 역전파 기법을 적용하더라도 Vanishing gradient problem이 발생하지 않는다.

Description

다중 아날로그 제어 변수 생성을 위한 다중 뉴럴 네트워크 구성 방법{Multiple Neural Network Configuration Method for Generating Multiple Analog Control Variables}

본 발명은 인공 지능 관련 기술에 관한 것으로, 더욱 상세하게는 뉴럴 네트워크를 이용하여 제어 변수를 생성하고 이를 통해 제조 공정을 제어하는 방법 및 시스템에 관한 것이다.

Sigmoid 함수는 Sigmoid curve를 이용하여 입력 값을 0~1 사이의 값으로 변환하는 함수이다. 뉴럴 네트워크의 출력을 아날로그 출력으로 변환하기 위해 Sigmoid 함수가 활용된다.

하지만, 뉴럴 네트워크는 오차 역전파를 계산하여 학습이 수행될 수 있는데, Sigmoid 출력은 역전파에 대해 Vanishing Gradient Problem을 발생시키기 때문에, Sigmoid 출력을 사용하면 뉴럴 네트워크 학습이 불가능할 수 있다.

이에, 역전파 기법이 적용된 뉴럴 네트워크에 대해서도 아날로그 변수 출력이 가능하도록 하기 위한 방안의 모색이 요청된다. 특히, 단일 변수가 아닌 다중 변수에 대해서도 가능한 방안이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다중 뉴럴 네트워크들로 아날로그 변수들을 각각 생성/출력하고, 정규화 함수들로 변수들을 각각 정규화하는 변수 생성 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 다중 제어 변수 생성 방법은, 제1 뉴럴 네트워크를 이용하여, 제1 제어 변수를 생성하는 제1 생성단계; 제1 함수를 이용하여, 제1 뉴럴 네트워크에서 출력되는 제1 출력 파라미터 세트를 가공하여 출력하는 제1 출력단계; 제2 뉴럴 네트워크를 이용하여, 제2 제어 변수를 생성하는 제2 생성단계; 제2 함수를 이용하여, 제2 뉴럴 네트워크에서 출력되는 제2 출력 파라미터 세트를 가공하여 출력하는 제2 출력단계;를 포함한다.

그리고, 제1 생성단계와 제2 생성단계는, 동일 입력 파라미터를 입력받아, 제어 변수를 생성할 수 있다.

또한, 제1 제어 변수와 제2 제어 변수는, 아날로그 변수일 수 있다.

그리고, 제1 함수는, 제1 출력 파라미터 세트를 정규화하여 출력하는 함수이고, 제2 함수는, 제2 출력 파라미터 세트를 정규화하여 출력하는 함수일 수 있다.

또한, 제1 제어 변수는, 제1 출력 파라미터 세트 중 크기가 가장 큰 파라미터의 노드 순번에 따라 결정되고, 제2 제어 변수는, 제2 출력 파라미터 세트 중 크기가 가장 큰 파라미터의 노드 순번에 따라 결정될 수 있다.

그리고, 본 발명의 일 실시예에 따른 다중 제어 변수 생성 방법은, 제3 뉴럴 네트워크를 이용하여, 제3 제어 변수를 생성하는 제3 생성단계; 및 제3 함수를 이용하여, 제3 뉴럴 네트워크에서 출력되는 제3 출력 파라미터 세트를 가공하여 출력하는 단계;를 더 포함할 수 있다.

또한, 제1 제어 변수와 제2 제어 변수는, 공정을 제어하기 위한 변수일 수 있다.

한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에는, 제1 뉴럴 네트워크를 이용하여, 제1 제어 변수를 생성하는 제1 생성단계; 제1 함수를 이용하여, 제1 뉴럴 네트워크에서 출력되는 제1 출력 파라미터 세트를 가공하여 출력하는 제1 출력단계; 제2 뉴럴 네트워크를 이용하여, 제2 변수를 생성하는 제2 생성단계; 제2 함수를 이용하여, 제2 뉴럴 네트워크에서 출력되는 제2 출력 파라미터 세트를 가공하여 출력하는 제2 출력단계;를 포함하는 것을 특징으로 하는 다중 변수 생성 방법을 수행할 수 있는 프로그램이 기록된다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다중 뉴럴 네트워크들로 아날로그 변수들을 각각 생성/출력하고, 정규화 함수들로 변수들을 각각 정규화하여, 오차 역전파 기법을 적용하더라도 Vanishing gradient problem이 발생하지 않는다.

나아가, 본 발명의 실시예들에 따르면, 단일 변수가 아닌 다중 변수에 대해서도 Softmax 함수에 의한 디지털화가 가능해진다.

도 1은 본 발명에 적용가능한 뉴럴 네트워크 학습 모델을 제시한 도면,
도 2는 공정 제어 변수의 해상도를 10으로 설정할 경우, 뉴럴 네트워크의 출력 파라미터 세트와 Softmax 함수의 입력 파라미터 세트의 연결 관계를 나타낸 도면,
도 3은 본 발명에 적용가능한 또 다른 뉴럴 네트워크 학습 모델을 제시한 도면,
도 4는 본 발명의 일 실시예에 따른 공정 제어 시스템의 블럭도, 그리고,
도 5는 본 발명의 다른 실시예에 따른 공정 제어 방법의 설명에 제공되는 흐름도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습 모델을 제시한 도면이다. 본 발명의 실시예에 따른 뉴럴 네트워크 학습 모델은, 다중 아날로그 공정 제어 변수 생성을 위한 모델이다.

본 발명의 실시예에 따른 뉴럴 네트워크 학습 모델은, 도 1에 도시된 바와 같이, 다수의 뉴럴 네트워크들(111, 112, 113)의 출력들을 다수의 Softmax 함수들(121, 122, 123)의 입력들로 연결하여 구성한다.

뉴럴 네트워크들(111, 112, 113)은 입력 파라미터 세트를 학습하여, 아날로그 공정 제어 변수를 생성한다.

입력 파라미터 세트는 입력 파라미터들의 집합이다. 도 1에 도시된 모델이 시멘트 소성 공정을 제어하기 위한 모델인 경우를 예로 들면, 입력 파라미터들에는, 시간당 원료 투입량, 분당 송풍기 회전수, 시간당 예열기 석탄 투입량, 시간당 소성로 석탄 투입량, 연소 공기 투입 모터 회전수, 분당 소성로 회전수 등이 포함될 수 있다

도 1에 도시된 바와 같이, 뉴럴 네트워크들(111, 112, 113)의 입력 파라미터 세트는 동일하지만, 생성하는 공정 제어 변수는 각기 다르다. 예를 들어, 뉴럴 네트워크 #1(111)은 소성로 온도 제어 변수를 생성하고, 뉴럴 네트워크 #2(112)는 소성로 주변 습도 제어 변수를 생성하며, 뉴럴 네트워크 #3(113)은 그 밖의 다른 제어 변수를 생성할 수 있다.

뉴럴 네트워크들(111, 112, 113)에서 생성된 공정 제어 변수는 출력 파라미터 세트 형태로 출력된다.

Softmax 함수들(121, 122, 123)은 뉴럴 네트워크들(111, 112, 113)의 출력 파라미터 세트들을 각각 입력 받아 정규화하여, 총합이 1이 되는 출력 파라미터 세트들로 가공/출력한다.

Softmax 함수들(121, 122, 123)은 입력 값들을 0~1 사이의 값으로 정규화하여 출력하되, 출력 값들의 총합은 항상 1이 되도록 하는 함수들이므로, 위와 같은 가공이 가능하다.

Softmax 함수 #1(121)의 출력 파라미터 세트 중 크기가 가장 큰 파라미터의 노드 순번이 공정 제어 변수 #1의 값이다. 예를 들어, 도 1에서 Softmax 함수 #1(121)의 출력 파라미터들 중, 1) 첫 번째 출력 파라미터의 값이 가장 크면, 공정 제어 변수 #1의 값은 "1"이고, 2) 두 번째 출력 파라미터의 값이 가장 크면, 공정 제어 변수 #1의 값은 "0.75"이며, 3) 세 번째 출력 파라미터의 값이 가장 크면, 공정 제어 변수 #1의 값은 "0.5"이고, 4) 네 번째 출력 파라미터의 값이 가장 크면, 공정 제어 변수 #1의 값은 "0.25"이고, 5) 다섯 번째 출력 파라미터의 값이 가장 크면, 공정 제어 변수 #1의 값은 "0"이 되도록 구현할 수 있다.

이는, Softmax 함수 #2(122)와 Softmax 함수 #3(123)의 경우도 마찬가지이다.

이에 따라, Softmax 함수들(121, 122, 123)의 출력 파라미터 세트들에 의해 뉴럴 네트워크들(111, 112, 113)에서 생성된 공정 제어 변수들 각각에 대한 디지털화가 가능하다.

또한, 공정 제어 변수들 마다 별개로 뉴럴 네트워크들(111, 112, 113)을 구성하였으므로, 역전파 학습이 가능하여 Vanishing Gradient Problem이 발생하지 않는다.

도 1의 뉴럴 네트워크 학습 모델에서는 각 공정 제어 변수의 해상도를 "5"로 구현하였고, 공정 제어 변수 값이 등간격인 것을 상정하였는데, 예시적인 것에 불과하다.

뉴럴 네트워크의 출력 파라미터 세트에 따라, 해상도는 변경가능하고, 공정 제어 변수 값의 간격도 비등간격으로 구현할 수 있다. 도 2에는, 공정 제어 변수의 해상도를 "10"으로 설정할 경우, 뉴럴 네트워크의 출력 파라미터 세트와 Softmax 함수의 입력 파라미터 세트의 연결 관계를 나타내었다.

나아가, 도 1에서는 3개의 공정 제어 변수들을 학습/생성하는 뉴럴 네트워크 학습 모델을 상정하였는데, 공정 제어 변수의 개수는 3개가 아닌 다른 개수, 즉 2개 또는 4개 이상으로 구현할 수 있다.

더 나아가, 도 1에서 뉴럴 네트워크들(111, 112, 113)의 입력 파라미터 세트는 모두 동일한 것으로 구현하였다. 하지만, 이 역시 예시적인 것으로 변형이 가능하다.

이를 테면, 도 3에 도시된 바와 같이, 뉴럴 네트워크들(111, 112, 113) 마다 입력 파라미터 세트를 다르게 구현할 수도 있음은 물론이다.

도 4는 본 발명의 일 실시예에 따른 공정 제어 시스템의 블럭도이다. 본 발명의 실시예에 따른 공정 제어 시스템은, 도 4에 도시된 바와 같이, 통신부(110), 사용자 인터페이스(120), 프로세서(130), 저장부(140) 및 제어부(150)를 포함한다.

통신부(110)는 측정 장비들로부터 입력 파라미터 세트를 입력받기 위한 수단이다. 사용자 인터페이스(120)는 키보드와 마우스 등의 입력 수단과 모니터, 스피커 등의 출력 수단을 포함한다.

프로세서(130)는 도 1과 도 3에 도시된 뉴럴 네트워크 모델을 학습시키고, 학습된 뉴럴 네트워크 모델로 공정 제어 변수를 생성한다. 저장부(140)는 프로세서(130)가 동작함에 있어 필요한 저장 공간을 제공한다.

제어부(150)는 프로세서(130)에 의해 생성된 공정 제어 변수에 따라 공정 장비들을 제어한다.

도 5는 본 발명의 다른 실시예에 따른 공정 제어 방법의 설명에 제공되는 흐름도이다.

공정 제어를 위해, 도 5에 도시된 바와 같이, 먼저 통신부(110)가 측정 장비들로부터 데이터를 확보하여 입력 파라미터 세트를 수집한다(S210).

프로세서(130)는 S210단계에서 수집된 입력 파라미터 세트를 뉴럴 네트워크들(111, 112, 113)에 입력하여, 공정 제어 변수들을 생성한다(S220).

다음, 프로세서(130)는 S220단계에서 생성된 공정 제어 변수들을 Softmax 함수들(121, 122, 123)에 입력하여, 공정 제어 변수들을 디지털화한다(S230).

이후, 제어부(150)는 S230단계에서 디지털화된 공정 제어 변수들을 이용하여 공정 장비들을 제어한다(S240).

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

111, 112, 113 : 뉴럴 네트워크
121, 122, 123 : Softmax 함수

Claims

제1 뉴럴 네트워크를 이용하여, 제1 제어 변수를 생성하는 제1 생성단계;
제1 함수를 이용하여, 제1 뉴럴 네트워크에서 출력되는 제1 출력 파라미터 세트를 가공하여 출력하는 제1 출력단계;
제2 뉴럴 네트워크를 이용하여, 제2 제어 변수를 생성하는 제2 생성단계;
제2 함수를 이용하여, 제2 뉴럴 네트워크에서 출력되는 제2 출력 파라미터 세트를 가공하여 출력하는 제2 출력단계;를 포함하는 것을 특징으로 하는 다중 제어 변수 생성 방법.
청구항 1에 있어서,
제1 생성단계와 제2 생성단계는,
동일 입력 파라미터를 입력받아, 제어 변수를 생성하는 것을 특징으로 하는 다중 제어 변수 생성 방법.
청구항 1에 있어서,
제1 제어 변수와 제2 제어 변수는,
아날로그 제어 변수인 것을 특징으로 하는 다중 제어 변수 생성 방법.
청구항 3에 있어서,
제1 함수는,
제1 출력 파라미터 세트를 정규화하여 출력하는 함수이고,
제2 함수는,
제2 출력 파라미터 세트를 정규화하여 출력하는 함수인 것을 특징으로 하는 다중 제어 변수 생성 방법.
청구항 4에 있어서,
제1 제어 변수는,
제1 출력 파라미터 세트 중 크기가 가장 큰 파라미터의 노드 순번에 따라 결정되고,
제2 제어 변수는,
제2 출력 파라미터 세트 중 크기가 가장 큰 파라미터의 노드 순번에 따라 결정되는 것을 특징으로 하는 다중 제어 변수 생성 방법.
청구항 1에 있어서,
제3 뉴럴 네트워크를 이용하여, 제3 제어 변수를 생성하는 제3 생성단계; 및
제3 함수를 이용하여, 제3 뉴럴 네트워크에서 출력되는 제3 출력 파라미터 세트를 가공하여 출력하는 단계;를 더 포함하는 것을 특징으로 하는 다중 제어 변수 생성 방법.
청구항 1에 있어서,
제1 제어 변수와 제2 제어 변수는,
공정을 제어하기 위한 변수인 것을 특징으로 하는 다중 제어 변수 생성 방법.
제1 뉴럴 네트워크를 이용하여, 제1 제어 변수를 생성하는 제1 생성단계;
제1 함수를 이용하여, 제1 뉴럴 네트워크에서 출력되는 제1 출력 파라미터 세트를 가공하여 출력하는 제1 출력단계;
제2 뉴럴 네트워크를 이용하여, 제2 제어 변수를 생성하는 제2 생성단계;
제2 함수를 이용하여, 제2 뉴럴 네트워크에서 출력되는 제2 출력 파라미터 세트를 가공하여 출력하는 제2 출력단계;를 포함하는 것을 특징으로 하는 다중 제어 변수 생성 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.