KR102035389B1 - 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템 - Google Patents

히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템 Download PDF

Info

Publication number
KR102035389B1
KR102035389B1 KR1020170126842A KR20170126842A KR102035389B1 KR 102035389 B1 KR102035389 B1 KR 102035389B1 KR 1020170126842 A KR1020170126842 A KR 1020170126842A KR 20170126842 A KR20170126842 A KR 20170126842A KR 102035389 B1 KR102035389 B1 KR 102035389B1
Authority
KR
South Korea
Prior art keywords
variable
control
neural network
current
variables
Prior art date
Application number
KR1020170126842A
Other languages
English (en)
Other versions
KR20190037472A (ko
Inventor
지영민
유준재
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to PCT/KR2017/010922 priority Critical patent/WO2019066104A1/ko
Priority to KR1020170126842A priority patent/KR102035389B1/ko
Publication of KR20190037472A publication Critical patent/KR20190037472A/ko
Application granted granted Critical
Publication of KR102035389B1 publication Critical patent/KR102035389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • C—CHEMISTRY; METALLURGY
    • C04—CEMENTS; CONCRETE; ARTIFICIAL STONE; CERAMICS; REFRACTORIES
    • C04B—LIME, MAGNESIA; SLAG; CEMENTS; COMPOSITIONS THEREOF, e.g. MORTARS, CONCRETE OR LIKE BUILDING MATERIALS; ARTIFICIAL STONE; CERAMICS; REFRACTORIES; TREATMENT OF NATURAL STONE
    • C04B7/00—Hydraulic cements
    • C04B7/36—Manufacture of hydraulic cements in general
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/041—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ceramic Engineering (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Organic Chemistry (AREA)
  • Structural Engineering (AREA)
  • Materials Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Feedback Control In General (AREA)

Abstract

히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 공정 제어 방법은, 과거의 공정 변수와 과거의 변수 특성을 입력으로 과거의 공정 제어 변수를 출력으로 제어 알고리즘을 학습시키고, 학습된 제어 알고리즘을 이용하여 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하며, 변수 특성은 공정 변수로부터 추출한 특성 데이터이다. 이에 의해, 공정이나 설비 운영을 멈추지 않고도 인공지능 기술을 활용하여 자동제어를 수행할 수 있다.

Description

히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템{Process Control Method and System with History Data based Neural Network Learning}
본 발명은 공정 제어 기술에 관한 것으로, 더욱 상세하게는 인공지능 기술을 활용한 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템에 관한 것이다.
공장이나 현장에서 운영되고 있는 설비, 프로세스는 일단 동작을 하게 되면 멈추기 힘들다. 게다가, 임의적으로 프로세스를 변경하면 생산에 문제가 발생할 수 있다.
따라서, 강화 학습과 같이 탐험적인 학습을 적용하기가 힘들다. 이는 인공지능 기술에 의한 공정 제어 기법을 보다 더 혁신적으로 개선함에 있어 방해로 작용한다.
이에, 제시된 문제점을 해결하여 보다 개선된 공정 제어를 가능하도록 하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 히스토리 데이터 기반 뉴럴 네트워크 학습 및 피드백 데이터 기반 뉴럴 네트워크 강화 학습을 통한 공정 제어 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 공정 제어 방법은, 과거의 공정 변수와 과거의 변수 특성을 입력으로 과거의 공정 제어 변수를 출력으로, 제어 알고리즘을 학습시키는 단계; 학습된 제어 알고리즘을 이용하여, 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하는 단계;를 포함하고, 변수 특성은, 공정 변수로부터 추출한 특성 데이터이다.
그리고, 공정 변수는, 시계열적인 데이터일 수 있다.
또한, 공정 변수는, 공정 상태 변수와 공정 환경 변수를 포함할 수 있다.
그리고, 변수 특성은, 공정 변수의 1차 미분 데이터를 포함할 수 있다.
또한, 변수 특성은, 공정 변수의 2차 미분 데이터를 더 포함할 수 있다.
그리고, 변수 특성은, 공정 변수의 주파수 특성을 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 공정 제어 방법은, 공정 제어 변수에 의한 제어 결과를 피드백 받는 단계; 피드백된 제어 결과를 이용하여, 제어 알고리즘을 학습시키는 단계;를 더 포함할 수 있다.
그리고, 피드백 단계는, 제어 결과가 정해진 조건이면 제어 결과로 보상을 피드백하고, 제어 결과가 정해진 조건을 벗어나면 제어 결과로 벌칙을 피드백할 수 있다.
또한, 공정은, 시멘트 제조 공정일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 공정 제어 시스템은, 과거와 현재의 공정 변수, 과거의 공정 제어 변수를 수신하는 통신부; 및 과거의 공정 변수와 과거의 변수 특성을 입력으로 과거의 공정 제어 변수를 출력으로 제어 알고리즘을 학습시키고, 학습된 제어 알고리즘을 이용하여 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하는 프로세서;를 포함하고, 변수 특성은, 공정 변수로부터 추출한 특성 데이터이다.
한편, 본 발명의 다른 실시예에 따른, 공정 제어 방법은, 학습된 제어 알고리즘을 이용하여, 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하는 단계; 공정 제어 변수에 의한 제어 결과를 피드백 받는 단계; 및 피드백된 제어 결과를 이용하여, 제어 알고리즘을 학습시키는 단계;를 포함하고, 변수 특성은, 공정 변수로부터 추출한 특성 데이터이다.
한편, 본 발명의 다른 실시예에 따른, 공정 제어 시스템은, 현재의 공정 변수와 현재의 공정 제어 변수를 수신하는 통신부; 학습된 제어 알고리즘을 이용하여 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하고, 공정 제어 변수에 의한 제어 결과를 피드백 받으며, 피드백된 제어 결과를 이용하여 제어 알고리즘을 학습시키는 프로세서;를 포함하고, 변수 특성은, 공정 변수로부터 추출한 특성 데이터이다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 히스토리 데이터 기반 뉴럴 네트워크 학습 및 피드백 데이터 기반 뉴럴 네트워크 강화 학습을 통한 공정 제어로, 공정이나 설비 운영을 멈추지 않고도 인공지능 기술을 활용하여 자동제어를 수행할 수 있다.
또한, 본 발명의 실시예들에 따르면, 초기 학습을 통하여 기존의 운영 규칙을 학습한 뒤 기존 방식대로 설비를 운영하고 그 이후에는 강화 학습을 통한 성능 향상을 가지고 올 수 있다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습을 통한 공정 제어 방법의 설명에 제공되는 흐름도,
도 2는, 도 1에 도시된 히스토리 데이터 기반으로 뉴럴 네트워크 학습단계의 상세 설명에 제공되는 도면,
도 3은, 도 1에 도시된 뉴럴 네트워크 기반 공정 제어단계의 상세 설명에 제공되는 도면,
도 4는 도 1에 도시된 공정 제어 결과 기반 뉴럴 네트워크를 강화 학습단계의 상세 설명에 제공되는 도면,
도 5는 뉴럴 네트워크를 예시한 도면, 그리고,
도 6은 본 발명의 다른 실시예에 따른 공정 제어 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 뉴럴 네트워크에 기존 사람이 운영하던 시멘트 공장, 설비, 공정 등을 학습하여, 사람을 대체하기 위한 인공지능 기법으로 활용한다.
현재 운영되고 있는 시멘트 공장, 설비, 공정 등을 인공지능으로 제어하기 위해서는, 뉴럴 네트워크가 기본적인 운영 규칙을 학습해야 하는데, 이는 과거 히스토리 데이터 기반으로 학습한다.
학습된 뉴럴 네트워크는 시멘트 공장, 설비, 공정 등을 제어/운전하는 한편, 제어/운전 결과를 피드백하여 뉴럴 네트워크를 강화 학습 또는 추가 학습이 이루어지도록 한다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크 학습을 통한 공정 제어 방법의 설명에 제공되는 흐름도이다.
도 1에 도시된 바와 같이, 먼저, 히스토리 데이터 기반으로 뉴럴 네트워크를 학습시킨다(S110). 히스토리 데이터는 과거 데이터이고, 뉴럴 네트워크는 시멘트 공장, 설비, 공정 등을 제어를 위한 알고리즘이다.
다음, S110단계에서 학습된 뉴럴 네트워크를 이용하여, 현재 데이터를 기초로 시멘트 공정을 제어한다(S120).
그리고, 공정 제어에 의한 제어 결과를 피드백 받아, 피드백된 제어 결과를 결과를 이용하여 뉴럴 네트워크를 강화 학습 또는 추가 학습시킨다(S130). S130단계에 의해 뉴럴 네트워크는 더욱 강화된다.
이하에서, 각 단계들에 대해, 도 2 내지 도 4를 참조하여 보다 상세히 설명한다.
도 2는, 도 1에 도시된 히스토리 데이터 기반으로 뉴럴 네트워크 학습단계(S110)의 상세 설명에 제공되는 도면이다.
도 2에 도시된 바와 같이, 뉴럴 네트워크 학습을 위해, 먼저 과거 시멘트 공장을 운전하면서 누적된 히스토리 데이터(210)에서 공정 변수(221,222)와 변수 특성(223)을 획득하고 공정 제어 변수(240)를 획득한다.
공정 변수에는, 공정 데이터(예를 들면, 시멘트 소성 온도 데이터), 장비 데이터 등을 의미하는 공정 상태 변수(221)와 공장 내부 온도 데이터, 습도 데이터 등을 의미하는 공정 환경 변수(222)가 포함된다.
공정 상태 변수(221)와 공정 환경 변수(222)는 시계열적인 데이터라는 점에서, 영상 데이터나 음성 데이터와는 다른 특성을 갖는다.
변수 특성(223)은 공정 상태 변수(221)와 공정 환경 변수(222)로부터 추출한 특성 데이터이다.
예를 들어, 변수 특성(223)은 공정 상태 변수(221)와 공정 환경 변수(222)를 1차 미분한 데이터들, 공정 상태 변수(221)와 공정 환경 변수(222)를 2차 미분한 데이터들, 공정 상태 변수(221)와 공정 환경 변수(222)를 FFT 변환하여 획득할 수 있는 주파수 특성들을 포함할 수 있다.
다음, 공정 상태 변수(221), 공정 환경 변수(222) 및 변수 특성(223)을 입력으로 하고, 공정 제어 변수(240)를 출력으로 하여, 공정 제어를 위한 뉴럴 네트워크를 학습시킨다(230).
230에서의 학습에 의해, 뉴럴 네트워크는 히스토리 데이터 베이스에 저장된 공정 제어 변수의 값을 정답으로 역전파 기법에 따라 설비 운영 규칙 등을 학습하게 된다.
도 3은, 도 1에 도시된 뉴럴 네트워크 기반 공정 제어단계(S120)의 상세 설명에 제공되는 도면이다.
도 3에 도시된 바와 같이, 시멘트 공장을 운전하는 중에서 생성되는 현재 데이터들(250)에서 공정 상태 변수(221)와 공정 환경 변수(222)를 추출하고, 공정 상태 변수(221)와 공정 환경 변수(222)로부터 변수 특성(223)를 추출한다.
다음, 공정 상태 변수(221), 공정 환경 변수(222) 및 변수 특성(223)을 S110단계에서 학습된 뉴럴 네트워크(230)에 입력하여, 공정 제어 변수(240)를 출력시킨다.
이에, 출력된 공정 제어 변수(240)에 의해 시멘트 공장, 설비, 공정 등이 제어/운전된다.
도 4는 도 1에 도시된 공정 제어 결과 기반 뉴럴 네트워크를 강화 학습단계(S130)의 상세 설명에 제공되는 도면이다.
도 4에 도시된 바와 같이, 시멘트 공장을 운전하는 중에서 생성되는 현재 데이터들(250)에서 공정 상태 변수(221)와 공정 환경 변수(222), 공정 제어 변수(240)를 추출하고, 공정 상태 변수(221)와 공정 환경 변수(222)로부터 변수 특성(223)를 추출한다.
다음, 공정 상태 변수(221), 공정 환경 변수(222) 및 변수 특성(223)을 입력으로 하고, 공정 제어 변수(240)를 출력으로 하여, 공정 제어를 위한 뉴럴 네트워크를 강화 학습시킨다(230).
나아가, 뉴럴 네트워크의 강화 학습(230)에는 '공정 제어 변수에 의한 제어 결과'가 뉴럴 네트워크 출력측에 더 인가된다.
공정 제어 변수에 의한 제어 결과는 S120단계에 따른 제어 결과가 정해진 조건(이를 테면, 소성 온도가 일정 범위 내에서 변동됨)이면 제어 결과로 보상이 피드백되고, 제어 결과가 정해진 조건을 벗어나면 제어 결과로 벌칙이 피드백된다.
S120단계에서 도출된 공정 제어 변수가 시멘트 공정에 미치는 영향을 판단하여 최적으로 운영되고 있는지 공장, 공정, 설비, 환경으로부터 보상과 벌칙의 피드백을 받아 재학습을 통하여 뉴럴 네트워크를 보다 진화시키기 위함이다.
추가 학습에 필요한 보상과 벌칙을 규정하여 강화 학습함으로써, 더 좋은 성능의 공정을 찾아가는 과정으로 성장한다.
도 5는 뉴럴 네트워크를 예시한 도면이다. 도 5에는 뉴럴 네트워크의 입력 레이어, 다중 레이어 구조로 된 히든 레이어, 출력 레이어의 연결 관계가 제시되어 있다.
공장, 공정, 설비 특성에 따른 다양한 입력 레이어, 출력 레이어, 히든 레이어 설계/변형이 가능하다.
도 6은 본 발명의 다른 실시예에 따른 공정 제어 시스템의 블럭도이다. 본 발명의 실시예에 따른 공정 제어 시스템은, 도 6에 도시된 바와 같이, 통신부(310), 프로세서(320) 및 저장부(330)를 포함한다.
통신부(310)는 공정 시스템, 공정 DB와 통신 가능하도록 연결되어, 이들로부터 공정 상태 변수(221), 공정 환경 변수(222), 공정 제어 변수(240)를 획득하고, 제어 결과를 피드백 받아, 프로세서(320)로 인가한다.
프로세서(320)는 통신부(310)를 통해 수집한 데이터를 이용하여, 도 1에 도시된 절차를 수행한다. 이 과정에서, 프로세서(320)는 공정 상태 변수(221)와 공정 환경 변수(222)로부터 변수 특성(223)을 추출하고, 공정 제어 변수(240)를 도출하며, 뉴럴 네트워크를 학습시킨다.
저장부(330)는 프로세서(320)가 도 1에 도시된 절차를 수행함에 있어 필요한 저장 공간을 제공한다.
지금까지, 히스토리 데이터 기반 뉴럴 네트워크 학습 및 피드백 데이터 기반 뉴럴 네트워크 강화 학습을 통한 공정 제어 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서 제시한 시멘트 제조 공정은 예시적인 것에 불과하다. 시멘트 제조 공정 이외의 다른 공정에 대해서도 본 발명의 기술적 사상이 적용될 수 있음음은 물론이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 통신부
320 : 프로세서
330 : 저장부

Claims (12)

  1. 과거의 공정 변수와 과거의 변수 특성을 입력으로 과거의 공정 제어 변수를 출력으로, 뉴럴 네트워크를 학습시키는 단계; 및
    학습된 뉴럴 네트워크를 이용하여, 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하는 단계;를 포함하고,
    변수 특성은,
    공정 변수로부터 추출한 특성 데이터로, 공정 변수의 미분 데이터 및 공정 변수의 주파수 특성을 포함하는 것을 특징으로 하는 공정 제어 방법.
  2. 청구항 1에 있어서,
    공정 변수는,
    시계열적인 데이터인 것을 특징으로 하는 공정 제어 방법.
  3. 청구항 2에 있어서,
    공정 변수는,
    공정 상태 변수와 공정 환경 변수를 포함하는 것을 특징으로 하는 공정 제어 방법.
  4. 청구항 1에 있어서,
    변수 특성은,
    공정 변수의 1차 미분 데이터를 포함하는 것을 특징으로 하는 공정 제어 방법.
  5. 청구항 4에 있어서,
    변수 특성은,
    공정 변수의 2차 미분 데이터를 더 포함하는 것을 특징으로 하는 공정 제어 방법.
  6. 삭제
  7. 청구항 1에 있어서,
    공정 제어 변수에 의한 제어 결과를 피드백 받는 단계;
    피드백된 제어 결과를 이용하여, 뉴럴 네트워크를 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 공정 제어 방법.
  8. 청구항 7에 있어서,
    피드백 단계는,
    제어 결과가 정해진 조건이면 제어 결과로 보상을 피드백하고,
    제어 결과가 정해진 조건을 벗어나면 제어 결과로 벌칙을 피드백하는 것을 특징으로 하는 공정 제어 방법.
  9. 청구항 1에 있어서,
    공정은,
    시멘트 제조 공정인 것을 특징으로 하는 공정 제어 방법.
  10. 과거와 현재의 공정 변수, 과거의 공정 제어 변수를 수신하는 통신부; 및
    과거의 공정 변수와 과거의 변수 특성을 입력으로 과거의 공정 제어 변수를 출력으로 뉴럴 네트워크를 학습시키고, 학습된 뉴럴 네트워크를 이용하여 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하는 프로세서;를 포함하고,
    변수 특성은,
    공정 변수로부터 추출한 특성 데이터로, 공정 변수의 미분 데이터 및 공정 변수의 주파수 특성을 포함하는 것을 특징으로 하는 공정 제어 시스템.
  11. 학습된 뉴럴 네트워크를 이용하여, 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하는 단계;
    공정 제어 변수에 의한 제어 결과를 피드백 받는 단계; 및
    피드백된 제어 결과를 이용하여, 뉴럴 네트워크를 학습시키는 단계;를 포함하고,
    변수 특성은,
    공정 변수로부터 추출한 특성 데이터로, 공정 변수의 미분 데이터 및 공정 변수의 주파수 특성을 포함하는 것을 특징으로 하는 공정 제어 방법.
  12. 현재의 공정 변수와 현재의 공정 제어 변수를 수신하는 통신부;
    학습된 뉴럴 네트워크를 이용하여 현재의 공정 변수와 현재의 변수 특성을 입력받아 현재의 공정 제어 변수를 출력하고, 공정 제어 변수에 의한 제어 결과를 피드백 받으며, 피드백된 제어 결과를 이용하여 뉴럴 네트워크를 학습시키는 프로세서;를 포함하고,
    변수 특성은,
    공정 변수로부터 추출한 특성 데이터로, 공정 변수의 미분 데이터 및 공정 변수의 주파수 특성을 포함하는 것을 특징으로 하는 공정 제어 시스템.
KR1020170126842A 2017-09-29 2017-09-29 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템 KR102035389B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2017/010922 WO2019066104A1 (ko) 2017-09-29 2017-09-29 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템
KR1020170126842A KR102035389B1 (ko) 2017-09-29 2017-09-29 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170126842A KR102035389B1 (ko) 2017-09-29 2017-09-29 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190037472A KR20190037472A (ko) 2019-04-08
KR102035389B1 true KR102035389B1 (ko) 2019-10-23

Family

ID=65903675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170126842A KR102035389B1 (ko) 2017-09-29 2017-09-29 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR102035389B1 (ko)
WO (1) WO2019066104A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210099932A (ko) 2020-02-05 2021-08-13 주식회사뉴로코어 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
KR20210099934A (ko) 2020-02-05 2021-08-13 주식회사뉴로코어 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템
KR102338304B1 (ko) 2020-10-20 2021-12-13 주식회사 뉴로코어 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
KR20230165026A (ko) 2022-05-26 2023-12-05 주식회사 뉴로코어 로트 이력 재현 기능을 구비한 공장 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR20240000926A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 제품 유형 및 유형 개수에 독립적인 신경망 기반 공정 스케줄링 시스템
KR20240000923A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 공장 상태 스킵 기능의 시뮬레이터 기반 스케줄링 신경망 학습 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005826B1 (ko) * 2019-05-27 2019-07-31 구영재 전자 장비의 점검 및 제조 공정을 제어하기 위한 방법 및 장치
WO2023067154A1 (en) * 2021-10-23 2023-04-27 Siemens Aktiengesellschaft Method and system for observing a cement kiln process

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373002A (ja) * 2001-06-14 2002-12-26 Toshiba Corp プロセスシミュレータ応用制御装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100313967B1 (ko) * 1998-09-01 2001-12-28 이광순 품질제어기능이통합된회분공정의모델기반예측제어방법
ATE453881T1 (de) * 2006-08-17 2010-01-15 Powitec Intelligent Tech Gmbh Verfahren zum erstellen eines prozessmodells
US7962887B2 (en) * 2008-06-16 2011-06-14 International Business Machines Corporation Self-learning of the optimal power or performance operating point of a computer chip based on instantaneous feedback of present operating environment
WO2013179702A1 (ja) * 2012-05-30 2013-12-05 太平洋セメント株式会社 セメントの品質または製造条件の予測方法
JP6674356B2 (ja) * 2015-09-30 2020-04-01 太平洋セメント株式会社 コンクリートの品質またはコンクリートの配合条件の予測方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002373002A (ja) * 2001-06-14 2002-12-26 Toshiba Corp プロセスシミュレータ応用制御装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210099932A (ko) 2020-02-05 2021-08-13 주식회사뉴로코어 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
KR20210099934A (ko) 2020-02-05 2021-08-13 주식회사뉴로코어 공정 및 제품 유형에 독립적인 강화 학습 기반 스케줄링 시스템
KR102338304B1 (ko) 2020-10-20 2021-12-13 주식회사 뉴로코어 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템
KR20230165026A (ko) 2022-05-26 2023-12-05 주식회사 뉴로코어 로트 이력 재현 기능을 구비한 공장 시뮬레이터 기반 스케줄링 신경망 학습 시스템
KR20240000926A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 제품 유형 및 유형 개수에 독립적인 신경망 기반 공정 스케줄링 시스템
KR20240000923A (ko) 2022-06-24 2024-01-03 주식회사 뉴로코어 공장 상태 스킵 기능의 시뮬레이터 기반 스케줄링 신경망 학습 시스템

Also Published As

Publication number Publication date
WO2019066104A1 (ko) 2019-04-04
KR20190037472A (ko) 2019-04-08

Similar Documents

Publication Publication Date Title
KR102035389B1 (ko) 히스토리 데이터 기반 뉴럴 네트워크 학습을 통한 공정 제어 방법 및 시스템
Al-Tamimi et al. Adaptive Critic Designs for Discrete-Time Zero-Sum Games With Application to $ H_ {\infty} $ Control
US10365640B2 (en) Controlling multi-stage manufacturing process based on internet of things (IoT) sensors and cognitive rule induction
KR101961421B1 (ko) 소스 시스템들의 운영 데이터를 사용하여 초기에 트레이닝되는 제 1 재귀 신경망 모델 및 제 2 재귀 신경망 모델을 별도로 트레이닝함으로써 타겟 시스템을 제어하기 위한 방법, 제어기, 및 컴퓨터 프로그램 제품
JP5345551B2 (ja) 計算機支援による技術システムの開ループ制御および／または閉ループ制御のための方法
Tavoosi et al. A class of type-2 fuzzy neural networks for nonlinear dynamical system identification
Li et al. A new approach for chaotic time series prediction using recurrent neural network
Domek Switched state model predictive control of fractional‐order nonlinear discrete‐time systems
Tabak Maiden application of fractional order PID plus second order derivative controller in automatic voltage regulator
Yang et al. Adaptive asymptotic fault-tolerant tracking of uncertain nonlinear systems with unknown control directions
Koprinkova‐Hristova et al. Heuristic dynamic programming using echo state network as online trainable adaptive critic
KR102166146B1 (ko) 온실의 다중창 제어장치 및 그 제어방법
Riansyah et al. Applying fuzzy proportional integral derivative on internet of things for figs greenhouse
Sutrisno et al. Self-organizing quasi-linear ARX RBFN modeling for identification and control of nonlinear systems
Lakhani et al. Stability-preserving automatic tuning of PID control with reinforcement learning
Ferrarini Local and global control of ecological and biological networks
CN113919217B (zh) 自抗扰控制器自适应参数整定方法及装置
KR20200105365A (ko) 딥러닝에 의해 생성된 가상환경을 이용한 강화학습 방법
Fourati et al. A greenhouse neural control using generalized and specialized learning
Khansadurai et al. Improved Transient Performance of a Fuzzy Modified Model Reference Adaptive Controller for an Interacting Coupled Tank System Using Real‐Coded Genetic Algorithm
Zhang et al. Dynamic learning from neural network‐based control for sampled‐data strict‐feedback nonlinear systems
Kuderna-Iulian et al. Towards an affective aware home
Lightbody et al. Neural networks for nonlinear adaptive control
Duell et al. The Markov Decision Process Extraction Network.
Andersen et al. Safer reinforcement learning for agents in industrial grid-warehousing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant