KR20230127251A - 관리 장치, 예측 방법 및 예측 프로그램 - Google Patents
관리 장치, 예측 방법 및 예측 프로그램 Download PDFInfo
- Publication number
- KR20230127251A KR20230127251A KR1020237024557A KR20237024557A KR20230127251A KR 20230127251 A KR20230127251 A KR 20230127251A KR 1020237024557 A KR1020237024557 A KR 1020237024557A KR 20237024557 A KR20237024557 A KR 20237024557A KR 20230127251 A KR20230127251 A KR 20230127251A
- Authority
- KR
- South Korea
- Prior art keywords
- multivariate
- value
- control
- time
- unit
- Prior art date
Links
- 238000007726 management method Methods 0.000 title description 60
- 238000013277 forecasting method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 128
- 238000005457 optimization Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 67
- 239000003795 chemical substances by application Substances 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 229910052698 phosphorus Inorganic materials 0.000 claims 1
- 239000011574 phosphorus Substances 0.000 claims 1
- 239000000758 substrate Substances 0.000 description 47
- 238000004088 simulation Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 239000002245 particle Substances 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
Abstract
제어 대상에서의 프로세스 값 변화를 예측하며 예측 결과를 이용하는 시스템을 제공한다. 관리 장치는, 제어 대상의 시각 T에서의 다변량 제어값과, 당해 제어 대상의 시각 T+ΔT에서의 다변량 프로세스 값 간 입출력 관계를 학습한 예측 모델부와, 상기 예측 모델부로부터 출력되는 시각 T+ΔT에서의 다변량 프로세스 값과 대응하는 목표값 간의 각 차분을 최소화하는 시각 T에서의 다변량 제어값을 탐색하며, 탐색된 당해 다변량 제어값을 이용하여 상기 제어 대상을 제어하는 최적화 모델부를 포함하며, 상기 예측 모델부는, 상기 예측 모델부를 관리하는 에이전트로부터 요구가 있으면, 지정된 제어값에 의해 상기 제어 대상을 제어한 경우에 있어 상기 제어 대상의 시각 ΔT 후의 다변량 프로세스 값을 예측하여 상기 에이전트로 출력한다.
Description
본 개시 내용은 관리 장치, 예측 방법 및 예측 프로그램에 관한 것이다.
근래에 기판 제조 프로세스 분야에서는, 스마트 팩토리(smart factory)의 실현을 향한 다양한 시도가 이루어지고 있다. 구체적으로는, 기판 제조 프로세스에서 측정되는 다양한 데이터(물리적 공간에서의 데이터)를 관리 장치가 수집하여 사이버 공간에서 물리적(피지컬) 공간을 재현하는 디지털 트윈(digital twin) 기술의 개발이 진행되고 있다.
이 때, 물리적 공간을 재현함에 있어, 예를 들어, 기판 제조 프로세스를 실행하는 각 기판 처리 장치 내의 제어 대상(물리적 공간)을 재현한 모델(사이버 공간)이 제어 대상에서의 프로세스 값 변화를 높은 정확도로 예측할 것이 요구된다. 또한, 모델에 의해 예측된 프로세스 값을 효과적으로 이용하는 시스템을 구축할 것이 요구된다.
본 개시 내용은 제어 대상에서의 프로세스 값 변화를 예측하며 예측 결과를 이용하는 시스템을 제공한다.
본 개시 내용의 일 양태에 따른 관리 장치는, 예를 들어, 이하와 같은 구성을 가진다.
즉, 제어 대상의 시각 T에서의 다변량 제어값과, 당해 제어 대상의 시각 T+ΔT에서의 다변량 프로세스 값 간 입출력 관계를 학습한 예측 모델부와,
상기 예측 모델부로부터 출력되는 시각 T+ΔT에서의 다변량 프로세스 값과 대응하는 목표값 간의 각 차분을 최소화하는 시각 T에서의 다변량 제어값을 탐색하며, 탐색된 당해 다변량 제어값을 이용하여 상기 제어 대상을 제어하는 최적화 모델부를 포함하며,
상기 예측 모델부는, 상기 예측 모델부를 관리하는 에이전트로부터 요구가 있으면, 지정된 제어값에 의해 상기 제어 대상을 제어한 경우에 있어 상기 제어 대상의 시각 ΔT 후의 다변량 프로세스 값을 예측하여 상기 에이전트로 출력한다.
본 개시 내용에 의하면, 제어 대상에서의 프로세스 값 변화를 예측하며 예측 결과를 이용하는 시스템을 제공할 수 있다.
도 1은 기판 제조 프로세스를 실행하는 복수 개의 기판 처리 장치를 구비하는 사이버 피지컬 시스템의 시스템 구성의 일 예를 나타내는 도면이다.
도 2는 관리 장치의 하드웨어 구성의 일 예를 나타내는 도면이다.
도 3은 제어 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면이다.
도 4는 제어 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 5는 시뮬레이션 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면이다.
도 6은 시뮬레이션 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 7은 학습 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면(1)이다.
도 8은 제1 학습 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 9는 학습 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면(2)이다.
도 10은 제2 학습 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 2는 관리 장치의 하드웨어 구성의 일 예를 나타내는 도면이다.
도 3은 제어 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면이다.
도 4는 제어 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 5는 시뮬레이션 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면이다.
도 6은 시뮬레이션 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 7은 학습 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면(1)이다.
도 8은 제1 학습 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
도 9는 학습 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면(2)이다.
도 10은 제2 학습 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
이하에서는, 첨부 도면을 참조하여 각 실시형태에 대해 설명한다. 한편, 본 명세서 및 도면에 있어, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 붙임으로써 중복되는 설명을 생략한다.
[제1 실시형태]
<사이버 피지컬 시스템의 시스템 구성>
먼저, 기판 제조 프로세스를 실행하는 복수 개의 기판 처리 장치를 구비하는 사이버 피지컬 시스템(cyber physical system)의 시스템 구성에 대해 설명한다. 도 1은 기판 제조 프로세스를 실행하는 복수 개의 기판 처리 장치를 구비하는 사이버 피지컬 시스템의 시스템 구성의 일 예를 나타내는 도면이다.
도 1에 나타내는 바와 같이 사이버 피지컬 시스템(100)은 서버 장치(110_1~110_3), 관리 장치(120_1~120_n), 기판 처리 장치(130_1~130_n), 관리자 단말(140)을 구비한다.
사이버 피지컬 시스템(100)에서 서버 장치(110_1~110_3), 관리 장치(120_1~120_n), 관리자 단말(140)은 네트워크(150)를 통해 통신 가능하게 접속된다.
서버 장치(110_1~110_3)는 사이버 피지컬 시스템(100) 전체를 총괄하는 장치이다. 서버 장치(110_1~110_3)는, 예를 들어, 각 기판 처리 장치(130_1~130_n)가 실행하는 기판 제조 프로세스의 제조 관리, 데이터 관리, 장치 관리, 그리고 각 관리 장치(120_1~120_n)가 사이버 공간에서 사용하는 모델의 관리 등을 행한다.
관리 장치(120_1~120_n)는 각각 기판 처리 장치(130_1~130_n)에 접속되어 관리 시스템을 구성한다.
또한, 관리 장치(120_1~120_n)는 대응하는 기판 처리 장치(130_1~130_n) 내의 각 제어 대상을 재현하는 각종 모델을 구비하여 사이버 공간을 형성한다. 관리 장치(120_1~120_n)는 당해 각종 모델을 이용해서 산출한 제어값을 이용하여 각 제어 대상의 제어 처리를 실행한다.
구체적으로, 관리 장치(120_1~120_n)에서는, 당해 각종 모델에 의해 예측된 프로세스 값과 목표값의 차분값을 최소화하는 제어값을 산출하여 제어 대상을 제어한다. 즉, 관리 장치(120_1~120_n)는 프로세스 값의 변화를 예측하고서 제어 대상을 제어할 수 있다.
또한, 관리 장치(120_1~120_n)는 기판 처리 장치(130_1~130_n)에서 취득된 물리적 공간에서의 데이터를 수집함으로써,
·
기판 처리 장치(130_1~130_n)의 상태 파악과,
·
기판 처리 장치(130_1~130_n)에서 발생한 현상 검출 등을 실행하여,
물리적 공간에서 발생하는 다양한 현상에 대해 적절하게 대처한다.
한편, 관리 장치(120_1~120_n)는, 물리적 공간에서 발생하는 다양한 현상에 대처함에 있어, 사이버 공간에서 상기의 각종 모델을 이용하여 시뮬레이션 처리를 실행한다. 이로써 관리 장치(120_1~120_n)에서는, 예를 들어 시각 T에서 제어값을 변화시키면, 시각 ΔT 후에 제어 대상(물리적 공간)에서의 프로세스 값은 어떻게 변화할지를 예측할 수 있다.
즉, 관리 장치(120_1~120_n)는 시각 ΔT 후의 제어 대상(물리적 공간)에서의 프로세스 값 변화를 파악하고서 현상에 대처할 수가 있다.
기판 처리 장치(130_1~130_n)는 기판 제조 프로세스를 실행하는 장치이며 물리적 공간을 구성한다. 기판 처리 장치(130_1~130_n)에는, 예를 들어, 성막 처리를 실행하는 장치, 리소그래피 처리를 실행하는 장치, 에칭 처리를 실행하는 장치, 세정 처리를 실행하는 장치 등이 포함된다.
기판 처리 장치(130_1~130_n)는 복수 개의 제어 대상을 가지며, 각 제어 대상은 관리 장치(120_1~120_n)에 의해 산출된 제어값에 따라 제어된다. 또한, 기판 처리 장치(130_1~130_n)는 기판 제조 프로세스 실행 중에 취득된 물리적 공간에서의 데이터를 관리 장치(120_1~120_n)로 송신한다.
관리자 단말(140)은 사이버 피지컬 시스템(100)을 관리하는 관리자가 조작하는 단말이다. 관리자 단말(140)은, 예를 들어, 관리 장치(120_1~120_n)에서 사용되는 각종 모델을 생성한다. 구체적으로, 관리자 단말(140)은 먼저 관리 장치(120_1~120_n)에 의해 수집된 물리적 공간에서의 데이터 중에서 제어 대상의 실측 프로세스 값, 실측 제어값을 취득하여 학습용 데이터를 생성한다. 그리고, 관리자 단말(140)은 생성된 학습용 데이터를 이용하여 학습 처리를 행함으로써 각종 모델을 생성한다.
한편, 도 1에 나타내는 사이버 피지컬 시스템(100)에서는, 관리 장치(120_1~120_n)와 기판 처리 장치(130_1~130_n)가 별체로 구성되는 경우에 대해 나타냈다. 그러나, 관리 장치(120_1~120_n)와 기판 처리 장치(120_1~120_n)는 일체로 구성될 수도 있다.
<관리 장치 및 관리자 단말의 하드웨어 구성>
이어서, 관리 장치(120_1~120_n) 및 관리자 단말(140)의 하드웨어 구성에 대해 설명한다. 한편, 관리 장치(120_1~120_n) 및 관리자 단말(140)은 모두 마찬가지의 하드웨어 구성을 가지므로, 여기에서는 관리 장치(120_1~120_n)에 대해 도 2를 이용하여 한번에 설명하기로 한다. 도 2는 관리 장치의 하드웨어 구성의 일 예를 나타내는 도면이다.
도 2에 나타내는 바와 같이, 관리 장치(120_1~120_n)는 프로세서(201), 메모리(202), 보조 기억 장치(203), I/F(interface) 장치(204), 통신 장치(205), 드라이브 장치(206)를 구비한다. 한편, 관리 장치(120_1~120_n)의 각 하드웨어는 버스(207)를 통해 상호 접속되어 있다.
프로세서(201)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit) 등과 같은 각종 연산 디바이스를 갖는다. 프로세서(201)는 각종 프로그램(예를 들어, 후술하는 예측 프로그램 등)을 메모리(202) 상으로 읽어들여 실행한다.
메모리(202)는 ROM(Read Only Memory), RAM(Random Access Memory) 등과 같은 주기억 디바이스를 갖는다. 프로세서(201)와 메모리(202)가 이른바 컴퓨터를 형성하며, 프로세서(201)가 메모리(202) 상으로 읽어들인 각종 프로그램을 실행함으로써 당해 컴퓨터는 각종 기능을 실현한다.
보조 기억 장치(203)는 각종 프로그램과, 각종 프로그램이 프로세서(201)에 의해 실행될 때에 사용되는 각종의 데이터 등을 저장한다.
I/F 장치(204)는 외부 장치의 일 예인 기판 처리 장치(130_1~130_n)와 관리 장치(120_1~120_n)를 접속시키는 접속 디바이스이다.
통신 장치(205)는 네트워크(150)를 통해 다른 장치(본 실시형태에서는 서버 장치(110_1~110_3), 다른 관리 장치, 관리자 단말(140) 등)와 통신하기 위한 통신 디바이스이다.
드라이브 장치(206)는 기록 매체(210)를 세팅하기 위한 디바이스이다. 여기에서 말하는 기록 매체(210)에는 CD-ROM, 플렉시블 디스크, 광자기 디스크 등과 같이 정보를 광학적, 전기적, 또는 자기적으로 기록하는 매체가 포함된다. 또한, 기록 매체(210)에는 ROM, 플래쉬 메모리 등과 같이 정보를 전기적으로 기록하는 반도체 메모리 등이 포함될 수 있다.
한편, 보조 기억 장치(203)에 인스톨되는 각종 프로그램은, 예를 들어, 배포된 기록 매체(210)가 드라이브 장치(206)에 세팅되어 당해 기록 매체(210)에 기록된 각종 프로그램이 드라이브 장치(206)에 의해 읽어들여짐으로써 인스톨된다. 또는, 보조 기억 장치(203)에 인스톨되는 각종 프로그램은 통신 장치(205)를 통해 네트워크로부터 다운로드됨으로써 인스톨될 수도 있다.
<사이버 피지컬 시스템의 기능 구성 및 각종 처리>
이어서, 사이버 피지컬 시스템(100)의 기능 구성 및 사이버 피지컬 시스템(100)에서 실행되는 각종 처리에 대해 상세하게 설명한다. 전술한 바와 같이, 사이버 피지컬 시스템(100)은,
· 관리 장치(120_1~120_n)가 제어 대상을 재현하는 각종 모델을 이용해서 제어 대상에 대해 제어 처리를 하는 제어 단계와,
· 관리 장치(120_1~120_n)가 기판 처리 장치의 상태를 파악하여 현상을 검출했을 때에, 당해 현상에 대처하기 위해, 제어 대상을 재현하는 각종 모델을 이용해서 시뮬레이션 처리를 행하는 시뮬레이션 단계와,
· 관리자 단말(140)이 제어 대상의 실측 프로세스 값, 실측 제어값 등을 이용해서 학습용 데이터를 생성하고, 생성된 학습용 데이터를 이용하여 학습 처리를 함으로써 각종 모델을 생성하는 학습 단계의
각 단계에서 각각 서로 다른 기능으로 동작한다. 이에, 이하에서는, 사이버 피지컬 시스템(100)의 기능 구성 및 각종 처리에 대해 상세하게는 단계별로 나누어서 설명한다.
(1)
제어 단계
(1-1)
기능 구성
우선, 제어 단계에서의 사이버 피지컬 시스템(100)의 기능 구성에 대해 설명한다. 도 3은 제어 단계에서의 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면이다.
전술한 바와 같이 관리 장치(120_1~120_n)에는 예측 프로그램이 각각 인스톨되어 있다. 그리고, 관리 장치(120_1~120_n)가 당해 각 예측 프로그램을 실행함으로써, 제어 단계의 사이버 공간(310)에서는 관리 장치별로 에이전트부(320)와 모델 예측 제어부(330)가 실현된다.
제어 단계에서, 에이전트부(320)는 모델 예측 제어부(330)에 대해 다변량(多變量) 목표값을 설정한다. 여기에서 말하는 목표값이란, 기판 처리 장치(130_1~130_n) 내의 제어 대상(물리적 공간(340))의 제어 처리를 모델 예측 제어부(330)가 실행할 때에 사용하는 목표값을 말한다. 한편, 도 3의 예는 제어 대상(물리적 공간(340))이 센서(341_1~341_n) 및 액츄에이터(342_1~342_m)를 구비함을 나타내고 있다.
도 3에 나타내는 바와 같이, 센서(341_1~341_n) 및 액츄에이터(342_1~342_m)를 구비하는 제어 대상에서는, 다변량(n개)의 실측 프로세스 값이 대응하는 다변량(n개)의 목표값에 일치하도록 복수 개(m개)의 액츄에이터의 동작이 제어된다. 그리하여, 에이전트부(320)에서는 모델 예측 제어부(330)에 대해 다변량(n개)의 목표값을 설정한다.
모델 예측 제어부(330)는 예측 모델부(331), 목적 함수부(332), 최적화 모델부(333), 검증부(334)를 구비한다.
예측 모델부(331)는 제어 대상(물리적 공간(340))의 거동을 모델화한 것이며, 제어 대상의 시각 T에서의 다변량 실측 제어값과 제어 대상의 시각 T+ΔT에서의 다변량 실측 프로세스 값 간 입출력 관계를 학습한 모델이다.
목적 함수부(332)는 예측 모델부(331)로부터 출력되는 시각 T+ΔT에서의 다변량 예측 프로세스 값과, 에이전트부(320)에 의해 설정된 다변량 목표값 간 각 차분값을 산출하여 최적화 모델부(333)에 통지한다.
최적화 모델부(333)는 목적 함수부(332)로부터 통지된 각 차분값을 최소화하는 시각 T에서의 다변량 제어값을 탐색한다. 또한, 최적화 모델부(333)는 탐색된 다변량 제어값을 예측 모델부(331)에 입력하여, 예측 모델부(331)에 의해 출력되는 시각 T+ΔT에서의 다변량 예측 프로세스 값과, 다변량 목표값 간 각 차분값을 재차 취득한다. 최적화 모델부(333)에서는, 이들 처리를 반복함으로써 각 차분값을 최소화하여 시각 T에서의 최적의 다변량 제어값을 산출한다.
또한, 최적화 모델부(333)는 시각 T에서의 최적의 다변량 제어값을 제어 대상(물리적 공간(340))의 액츄에이터(342_1~342_m)로 송신한다(실제로는 대응하는 기판 처리 장치로 송신되며, 거기에서 각 액츄에이터로 통지된다).
이로써 최적화 모델부(333)는 다변량 예측 프로세스 값을 예측하여 제어 대상(물리적 공간(340))을 제어할 수 있다.
검증부(334)는 최적화 모델부(333)로부터 최적의 다변량 제어값을 취득한다. 또한, 검증부(334)는 최적의 다변량 제어값이 제어 대상(물리적 공간(340))의 액츄에이터(342_1~342_2)로 송신됨에 따라, 물리적 공간(340)으로부터 다변량 실측 프로세스 값을 취득한다.
또한, 검증부(334)는, 최적의 다변량 제어값과 취득한 다변량 실측 프로세스 값에 기초해서 제어값이 적합한지 여부를 판정하고, 예측 모델부(331)의 예측 정확도를 검증하며, 필요에 따라 예측 모델부(331)의 모델 파라미터를 조정한다. 이로써, 검증부(334)는 예측 모델부(331)의 거동을 물리적 공간(340)에 있어 제어 대상의 거동과 일치시킬 수 있다(즉, 예측 프로세스 값을 실측 프로세스 값과 일치시킬 수 있다).
한편, 기판 처리 장치(130_1~130_n)에 의해 구성되는 물리적 공간(340)에는 복수 개의 제어 대상이 포함된다. 이 중에서 도 3의 예는 센서(341_1~341_n) 및 액츄에이터(342_1~342_m)를 갖는 하나의 제어 대상을 나타내고 있다.
센서(341_1~341_n)는 유량 정보, 압력 정보 등과 같은 프로세스 값을 측정한다. 센서(341_1~341_n)에 의해 측정된 유량 정보, 압력 정보 등은 실측 프로세스 값으로서 사이버 공간(310)에 제공된다.
액츄에이터(342_1~341_m)는 사이버 공간(310)으로부터의 지시에 따라 동작한다. 도 3의 예는 액츄에이터(342_1~342_m) 각각이 모델 예측 제어부(330)에 의해 산출된 최적의 다변량 제어값에 따라 동작함을 나타내고 있다.
(1-2)
제어 처리
이어서, 제어 단계에서 사이버 피지컬 시스템(100)에 의해 실행되는 제어 처리의 흐름에 대해 설명한다. 도 4는 제어 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
단계 S401에서, 모델 예측 제어부(330)는 에이전트부(320)에 의해 새로운 다변량의 목표값이 설정되었는지 여부를 판정한다.
단계 S401에서 새로운 다변량의 목표값이 설정되지 않았다고 판정한 경우(단계 S401에서 NO인 경우)에는, 단계 S404로 진행한다.
한편, 단계 S401에서 새로운 다변량의 목표값이 설정되었다고 판정한 경우(단계 S401에서 YES인 경우)에는, 단계 S402로 진행한다.
단계 S402에서, 모델 예측 제어부(330)는 새로운 다변량의 목표값과의 각 차분값을 최소화하는 시각 T+ΔT에서의 다변량 예측 프로세스 값이 예측 모델부(331)로부터 출력되도록 시각 T에서의 최적의 다변량 제어값을 탐색한다.
단계 S403에서, 모델 예측 제어부(330)는 탐색에 의해 얻어진 시각 T에서의 최적의 다변량 제어값을 제어 대상(물리적 공간(340))의 액츄에이터(342_1~342_2)로 송신한다.
단계 S404에서, 모델 예측 제어부(330)는 시각 T에서의 최적의 다변량 제어값이 송신됨에 따라 물리적 공간(340)으로부터 제공된 시각 T+ΔT에서의 다변량 실측 프로세스 값을 취득한다.
단계 S405에서, 모델 예측 제어부(330)는 시각 T에서의 최적의 다변량 제어값과, 취득한 시각 T+ΔT에서의 다변량 실측 프로세스 값에 기초하여, 시각 T에서의 제어값이 적합한지 여부를 판정하며, 예측 모델부(331)의 예측 정확도를 검증한다.
단계 S406에서, 모델 예측 제어부(330)는 예측 모델부(331)의 모델 파라미터 조정이 필요한지 여부를 판정한다.
단계 S406에서 모델 파라미터 조정이 필요하지 않다고 판정한 경우(단계 S406에서 NO인 경우)에는, 단계 S408로 진행한다.
한편, 단계 S406에서 모델 파라미터 조정이 필요하다고 판정한 경우(단계 S406에서 YES인 경우)에는, 단계 S407로 진행한다.
단계 S407에서, 모델 예측 제어부(330)는 예측 모델부(331)의 모델 파라미터를 조정한다.
단계 S408에서, 모델 예측 제어부(330)는 제어 처리를 종료할지 여부를 판정한다.
단계 S408에서 제어 처리를 종료하지 않겠다고 판정한 경우(단계 S408에서 NO인 경우)에는, 단계 S401로 돌아간다.
한편, 단계 S409에서 제어 처리를 종료하겠다고 판정한 경우(단계 S408에서 YES인 경우)에는, 제어 처리를 종료한다.
(2)
시뮬레이션 단계
(2-1) 기능 구성
이어서, 시뮬레이션 단계에 있어 사이버 피지컬 시스템(100)의 기능 구성에 대해 설명한다. 도 5는 시뮬레이션 단계에 있어 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면이다.
도 3을 이용하여 설명한 제어 단계에서의 사이버 피지컬 시스템(100)의 기능 구성과의 차이점은, 에이전트부(320)의 기능 및 물리적 공간(340)의 구성이다.
시뮬레이션 단계에서, 에이전트부(320)는 물리적 공간에서의 데이터(실측 프로세스 값, 파티클 정보, 유지보수 정보, 장치 구성 정보, 오퍼레이션 정보 등의 임의 데이터)를 수집함으로써,
·
기판 처리 장치(130_1~130_n)의 상태 파악
·
기판 처리 장치(130_1~130_n)에서 발생한 현상 검출
등을 행하여 물리적 공간(340)에서 발생한 여러 현상에 대해 적절하게 대처한다.
한편, 도 5에 나타낸 물리적 공간에서의 데이터는 일 예이며, 예를 들어, 파티클 정보 대신에(또는 파티클 정보에 더하여) 기판의 처리 상태를 계측한 정보를 포함할 수도 있다. 또한, 도 5의 예에서는 파티클 정보를 측정하기 위한 기기를 장치 외부 계측기로 하였으나, 파티클 정보를 측정하기 위한 기기는 장치 외부 계측기에 한정되지 않으며, 기판 처리 장치(130_1~130_n) 내에 설치된 장치 내 계측기일 수도 있다. 예를 들어, 기판 처리 장치(130_1~130_n)의 벽에 구비된 창을 통해 기판 처리 장치(130_1~130_n) 내부의 상태를 계측하는 기기일 수도 있다. 또한, 파티클 정보를 측정하기 위한 기기는 처리 대상인 기판 상의 상태를 관찰하는 기기일 수도 있고, 처리 대상인 기판을 처리하는 처리 공간의 상태를 취득하는 기기일 수도 있다.
이 때, 에이전트부(320)가 현상에 대처하기 위해 제어 대상(물리적 공간(340))으로 송신할 제어값을 변경할 필요가 있다고 판단했다고 하자. 이 경우, 에이전트부(320)에서는 모델 예측 제어부(330)에 대해 요구하여 "제어 대상으로 송신할 제어값을 변경한 경우에 시각 ΔT 후의 제어 대상(물리적 공간(340))에서의 실측 프로세스 값은 어떻게 변화할지" 시뮬레이션 처리를 실행시킴으로써 예측하도록 한다.
도 5의 예에서는, 다변량 제어값을 시각 T에서 변경한 경우에 시각 T+ΔT에서의 예측 프로세스 값을 예측하도록, 에이전트부(320)가 모델 예측 제어부(330)에 대해 요구한 상태를 나타내고 있다. 구체적으로, 에이전트부(320)는 변경 후 시각 T에서의 다변량 제어값을 예측 모델부(331)에 입력한다.
이로써, 에이전트부(320)는 시각 T+ΔT에서의 예측 프로세스 값을 모델 예측 제어부(330)로부터 취득할 수 있다. 그 결과, 에이전트부(320)는 시각 T에서 제어값을 변경한 경우에 시각 ΔT 후의 제어 대상(물리적 공간(340))에서의 프로세스 값 변화를 파악하고서 현상에 대처할 수 있다.
(2-2) 시뮬레이션 처리
이어서, 시뮬레이션 단계에서 사이버 피지컬 시스템(100)에 의해 실행되는 시뮬레이션 처리의 흐름에 대해 설명한다. 도 6은 시뮬레이션 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
단계 S601에서, 모델 예측 제어부(330)는 에이전트부(320)에 의해 지정된 변경 후의 다변량 제어값이 입력되었는지 여부를 판정한다.
단계 S601에서 지정된 변경 후의 다변량 제어값이 입력되지 않았다고 판정된 경우(단계 S601에서 NO인 경우)에는, 단계 S604로 진행한다.
한편, 단계 S601에서 지정된 변경 후의 다변량 제어값이 입력되었다고 판정된 경우(단계 S601에서 YES인 경우)에는, 단계 S602로 진행한다.
단계 S602에서, 모델 예측 제어부(330)는 시각 ΔT 후의 예측 프로세스 값을 예측한다.
단계 S603에서, 모델 예측 제어부(330)는 시각 ΔT 후의 예측 프로세스 값을 에이전트부(320)로 출력한다.
단계 S604에서, 모델 예측 제어부(330)는 시뮬레이션 처리를 종료할지 여부를 판정한다. 단계 S604에서 시뮬레이션 처리를 종료하지 않겠다고 판정된 경우(단계 S604에서 NO인 경우)에는, 단계 S601로 돌아간다.
한편, 단계 S604에서 시뮬레이션 처리를 종료하겠다고 판정된 경우(단계 S604에서 YES인 경우)에는, 시뮬레이션 처리를 종료한다.
(3)
학습 단계(예측 모델부)
(3-1) 기능 구성
이어서, 예측 모델부에 대해 학습 처리를 실시하는 학습 단계에서의 사이버 피지컬 시스템(100)의 기능 구성에 대해 설명한다. 도 7은 학습 단계에서의 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면(1)이다.
관리자 단말(140)에는 제1 학습 프로그램이 인스톨되어 있으며, 당해 제1 학습 프로그램이 실행됨으로써 관리자 단말(140)은 제1 학습부(720)로서 기능한다.
제1 학습부(720)는 제1 학습용 데이터 축적부(723)에 제1 학습용 데이터를 축적한다. 구체적으로, 제1 학습부(720)는 물리적 공간(340)으로부터 제공된 시각 T에서의 다변량 실측 제어값과 시각 T+ΔT에서의 다변량 실측 프로세스 값을 관리 장치(120_1~120_n, 도 7에서는 미도시)를 통해 취득한다.
도 7의 예에는, 물리적 공간(340)에서 기판 처리 장치(130_1~130_n)가 제어 대상(센서(341_1~341_n), 액츄에이터(342_1~342_m))과, 당해 제어 대상을 제어하는 컨트롤러(730)를 구비함이 나타나 있다.
컨트롤러(730), 센서(341_1~341_n)에 의해 측정되는 다변량 실측 프로세스 값이 컨트롤러(730)에 설정된 다변량 목표값에 근접하도록, 액츄에이터(342_1~342_m)를 제어한다.
제1 학습부(720)에서는, 이 때의 시각 T에서의 다변량 실측 제어값과 시각 T+ΔT에서의 다변량 실측 프로세스 값을 대응지어 취득함으로써 제1 학습용 데이터를 생성하여 제1 학습용 데이터 축적부(723)에 축적한다.
또한, 제1 학습부(720)는 예측 모델부(721) 비교/변경부(722)를 구비하며, 예측 모델부(721)에 대해 학습 처리를 실행한다.
구체적으로, 제1 학습부(720)는 제1 학습용 데이터 축적부(723)로부터 제1 학습용 데이터를 읽어들여 시각 T에서의 다변량 실측 제어값을 예측 모델부(721)에 입력한다. 이로써, 예측 모델부(721)에서는 시각 T+ΔT에서의 다변량 예측 프로세스 값을 출력한다.
또한, 제1 학습부(720)는 시각 T+ΔT에서의 다변량 실측 프로세스 값을 정답 데이터로 하여 비교/변경부(722)에 입력한다. 이로써, 비교/변경부(722)에서는, 시각 T+ΔT에서의 다변량 예측 프로세스값과 시각 T+ΔT에서의 다변량 실측 프로세스 값 간의 각 오차를 산출하며, 산출된 각 오차를 역 전파시킴으로써 예측 모델부(721)의 모델 파라미터를 갱신한다. 이로써, 제1 학습부(720)는 제어 대상의 시각 T에서의 다변량 실측 제어값과, 제어 대상의 시각 T+ΔT에서의 다변량 실측 프로세스 값 간 입출력 관계를 학습할 수 있는 바, 학습 완료 예측 모델부(331)를 생성할 수 있다.
(3-2) 제1 학습 처리
이어서, 학습 단계에서 사이버 피지컬 시스템(100)에 의해 실행되는 제1 학습 처리의 흐름에 대해 설명한다. 도 8은 제1 학습 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
단계 S801에서는, 물리적 공간(340)에서 기판 처리 장치(130_1~130_n) 내 컨트롤러(730)가 제어 대상의 제어 처리를 시작한다.
단계 S802에서, 관리자 단말(140)의 제1 학습부(720)는 물리적 공간(340)으로부터 제공된 시각 T에서의 다변량 실측 제어값을 취득한다.
단계 S803에서, 관리자 단말(140)의 제1 학습부(720)는 물리적 공간(340)으로부터 제공된 시각 T+ΔT에서의 다변량 실측 프로세스 값을 취득한다.
단계 S804에서, 관리자 단말(140)의 제1 학습부(720)는 취득한 시각 T에서의 다변량 실측 제어값과 시각 T+ΔT에서의 다변량 실측 프로세스 값을 대응지어 제1 학습용 데이터를 생성한다.
단계 S805에서, 관리자 단말(140)의 제1 학습부(720)는 생성한 제1 학습용 데이터를 이용하여 예측 모델부(721)에 대해 학습 처리를 실행한다.
단계 S806에서, 관리자 단말(140)의 제1 학습부(720)는 예측 모델부(721)에 대한 학습 처리가 완료했는지 여부를 판정한다. 단계 S806에서 학습 처리가 완료하지 않았다고 판정된 경우(단계 S806에서 NO인 경우)에는, 단계 S802로 돌아간다.
한편, 단계 S806에서 학습 처리가 완료했다고 판정된 경우(단계 S806에서 YES인 경우)에는, 단계 S807로 진행한다.
단계 S807에서, 관리자 단말(140)의 제1 학습부(720)는 학습 완료된 예측 모델부를 출력한다.
(4)
학습 단계(최적화 모델부)
(4-1) 기능 구성
이어서, 최적화 모델부에 대해 학습 처리를 실시하는 학습 단계에서의 사이버 피지컬 시스템(100)의 기능 구성에 대해 설명한다. 도 9는 학습 단계에서의 사이버 피지컬 시스템의 기능 구성의 일 예를 나타내는 도면(2)이다.
관리자 단말(140)에는 제2 학습 프로그램이 인스톨되어 있으며, 당해 제2 학습 프로그램이 실행됨으로써 관리자 단말(140)은 제2 학습부(920)로서 기능한다.
제2 학습부(920)는 제2 학습용 데이터 축적부(924)에 제2 학습용 데이터를 축적한다. 구체적으로, 제2 학습부(920)는 차분 산출부(923)에 의해 산출된 시각 T+ΔT에서의 각 차분값과, 물리적 공간(340)으로부터 제공된 시각 T에서의 다변량 실측 제어값을 취득한다. 한편, 차분 산출부(923)는 물리적 공간(340)으로부터 제공된 시각 T+ΔT에서의 실측 프로세스 값과 목표값을 관리 장치(120_1~120_n, 도 9에서는 미도시)를 통해 취득함으로써, 각 차분값을 산출한다.
도 9의 예에는, 물리적 공간(340)에서 기판 처리 장치(130_1~130_n)가 제어 대상(센서(341_1~341_n), 액츄에이터(342_1~342_m))과, 당해 제어 대상을 제어하는 컨트롤러(730)를 구비함이 나타나 있다.
컨트롤러(730), 센서(341_1~341_n)에 의해 측정되는 다변량 실측 프로세스 값이 컨트롤러(730)에 설정된 다변량 목표값에 근접하도록, 액츄에이터(342_1~342_m)를 제어한다.
차분 산출부(923)에서는 이 때의 다변량 목표값과 시각 T+ΔT에서의 다변량 실측 프로세스 값을 취득하여 시각 T+ΔT에서의 각 차분값을 산출한다. 또한, 제2 학습부(920)에서는, 이 때의 시각 T에서의 다변량 실측 제어값을 취득하고서 차분 산출부(923)에 의해 산출된 시각 T+ΔT에서의 각 차분값에 대응지음으로써 제2 학습용 데이터를 생성하여, 제2 학습용 데이터 축적부(924)에 축적한다.
또한, 제2 학습부(920)는 최적화 모델부(921)와 비교/변경부(922)를 구비하며, 최적화 모델부(921)에 대해 학습 처리를 실행한다.
구체적으로, 제2 학습부(920)는 제2 학습용 데이터 축적부(924)로부터 제2 학습용 데이터를 읽어들여 시각 T+ΔT에서의 각 차분값을 최적화 모델부(921)에 입력한다. 이로써, 최적화 모델부(921)에서는 시각 T에서의 다변량 제어값을 출력한다.
또한, 제2 학습부(920)는 시각 T에서의 다변량 실측 제어값을 정답 데이터로 하여 비교/변경부(922)에 입력한다. 이로써, 비교/변경부(922)에서는, 시각 T에서의 다변량 제어값과 시각 T에서의 다변량 실측 제어값 간의 각 오차를 산출하며, 산출된 각 오차를 역 전파시킴으로써 최적화 모델부(921)의 모델 파라미터를 갱신한다. 이로써, 제2 학습부(920)는 시각 T+ΔT에서의 차분값과, 시각 T에서의 제어값 간 입출력 관계를 학습할 수 있으며, 학습 완료된 최적화 모델부(333)를 생성할 수 있다.
(4-2) 제2 학습 처리
이어서, 학습 단계에서 사이버 피지컬 시스템(100)에 의해 실행되는 제2 학습 처리의 흐름에 대해 설명한다. 도 10은 제2 학습 처리의 흐름을 나타내는 플로우 챠트의 일 예이다.
단계 S1001에서는, 물리적 공간(340)에서 기판 처리 장치(130_1~130_n) 내 컨트롤러(730)가 제어 대상의 제어 처리를 시작한다.
단계 S1002에서, 관리자 단말(140)의 제2 학습부(920)는 물리적 공간(340)으로부터 제공된 다변량 목표값을 취득한다. 또한, 관리자 단말(140)의 제2 학습부(920)는 물리적 공간(340)으로부터 제공된 시각 T+ΔT에서의 다변량 실측 프로세스 값을 취득한다.
단계 S1003에서, 관리자 단말(140)의 제2 학습부(920)는 다변량 목표값과 시각 T+ΔT에서의 다변량 실측 프로세스 값 간의 각 차분값을 산출한다.
단계 S1004에서, 관리자 단말(140)의 제2 학습부(920)는 물리적 공간(340)으로부터 제공된 시각 T에서의 다변량 실측 제어값을 취득한다.
단계 S1005에서, 관리자 단말(140)의 제2 학습부(920)는 산출된 시각 T+ΔT에서의 각 차분값과 취득된 시각 T에서의 다변량 실측 제어값을 대응지어 제2 학습용 데이터를 생성한다.
단계 S1006에서, 관리자 단말(140)의 제2 학습부(920)는 생성한 제2 학습용 데이터를 이용하여 최적화 모델부(921)에 대해 학습 처리를 실행한다.
단계 S1007에서, 관리자 단말(140)의 제2 학습부(920)는 최적화 모델부(921)에 대한 학습 처리가 완료했는지 여부를 판정한다. 단계 S1007에서 학습 처리가 완료하지 않았다고 판정된 경우(단계 S1007에서 NO인 경우)에는, 단계 S1002로 돌아간다.
한편, 단계 S1007에서 학습 처리가 완료했다고 판정된 경우(단계 S1007에서 YES인 경우)에는, 단계 S1008로 진행한다.
단계 S1008에서, 관리자 단말(140)의 제2 학습부(920)는 학습 완료된 최적화 모델부를 출력한다.
(정리)
이상의 설명으로부터 알 수 있듯이, 제1 실시형태에 따른 관리 장치는,
·
제어 대상의 시각 T에서의 다변량 실측 제어값과, 제어 대상의 시각 T+ΔT에서의 다변량 실측 프로세스 값 간 입출력 관계를 학습한 예측 모델부와,
·
예측 모델부로부터 출력되는 시각 T+ΔT에서의 다변량 프로세스 값과, 대응하는 목표값 간의 각 차분값을 최소화하는 시각 T에서의 다변량 제어값을 탐색하며, 탐색된 시각 T에서의 최적의 다변량 제어값을 이용하여 제어 대상을 제어하는 최적화 모델부를 구비한다.
그리고, 에이전트부로부터 요구가 있으면, 시각 T에서의 지정된 제어값에 의해 제어 대상을 제어한 경우에 있어 제어 대상의 시각 ΔT 후의 다변량 프로세스 값을 예측 모델부가 예측하여 에이전트부로 출력한다.
이와 같이, 제1 실시형태에 따른 관리 장치에 의하면, 예측 모델부를 구비함으로써, 제어 대상에서의 프로세스 값 변화를 높은 정확도로 예측할 수 있다. 또한, 제1 실시형태에 따른 관리 장치에 의하면, 예측된 예측 프로세스 값에 기초하여 최적의 제어값을 산출하는 구성으로 함으로써, 예측된 예측 프로세스 값을 제어 대상의 제어 처리에 이용할 수 있다. 또한, 제1 실시형태에 따른 관리 장치에 의하면, 에이전트부로부터의 요구에 따라 예측 프로세스 값을 예측하여 에이전트부에 출력하는 구성으로 함으로써, 예측된 예측 프로세스 값을 물리적 공간에서 발생하는 현상에 대처하는 데에 사용할 수 있다.
즉, 제1 실시형태에 의하면, 제어 대상에서의 프로세스 값 변화를 예측하여 예측 결과를 이용하는 시스템을 제공할 수 있다.
[제2 실시형태]
상기 제1 실시형태에서는, 관리 장치(120_1~120_n)를 각각 별체(別體)의 관리 장치로서 구성하였으나, 관리 장치(120_1~120_n)는 일체(一體)의 장치로서 구성될 수도 있다. 이 경우, 일체의 장치 상에서 n개의 관리 장치를 가상으로(즉, 가상 머신으로서) 동작시키도록 구성할 수도 있다.
또한, 상기 제1 실시형태에서는, 기판 처리 장치(130_1~130_n)에 대응하는 관리 장치(120_1~120_n)가 각각 단체(單體)로 예측 프로그램을 실행하는 것으로서 설명하였다. 그러나, 1개의 기판 처리 장치(예를 들어, 기판 처리 장치(130_1))에 대응하는 관리 장치(예를 들어, 관리 장치(120_1))가, 예를 들어 복수 개의 컴퓨터에 의해 구성될 수도 있다. 그리고, 복수 개의 컴퓨터 각각에 예측 프로그램을 인스톨함으로써 예측 프로그램이 분산 컴퓨팅의 형태로 실행될 수도 있다.
또한, 상기 제1 실시형태에서는, 관리 장치(120_1~120_n)가 예측 프로그램을 보조 기억 장치(203)에 인스톨하는 방법의 일 예로서, 네트워크를 통해 다운로드하여 인스톨하는 방법에 대해 언급하였다. 이 때, 다운로드 소스에 대해서는 특별히 언급하지 않았으나, 이러한 방법으로 인스톨하는 경우에 다운로드 소스는, 예를 들어, 예측 프로그램을 액세스 가능하게 저장한 서버 장치일 수 있다. 또한, 당해 서버 장치는 네트워크를 통해 관리 장치(120_1~120_n) 각각으로부터 액세스를 받아 과금을 조건으로 예측 프로그램을 다운로드하는 클라우드 상의 장치일 수도 있다. 즉, 당해 서버 장치는 예측 프로그램의 제공 서비스를 행하는 클라우드 상의 장치일 수도 있다.
또한, 상기 제1 실시형태에서는, 복수 개의 관리 장치(120_1~120_n)를 포함하는 관리 시스템에서 사이버 공간이 형성되는 것으로서 설명하였으나, 관리 시스템 이외에서 사이버 공간이 형성될 수도 있다. 예를 들어, 서버 장치(110_1~110_3)에서 사이버 공간이 형성될 수도 있다.
또한, 상기 제1 실시형태에서는, 관리자 단말(140)에서 제1 학습 처리 및 제2 학습 처리를 실행하는 것으로서 설명하였다. 그러나, 제1 학습 처리 및 제2 학습 처리는 관리 장치(120_1~120_n) 또는 서버 장치(110_1~110_3)에서 실행될 수도 있다.
즉, 제어 단계, 시뮬레이션 단계, 학습 단계의 각 단계에서 동작하는 기능은 별체의 장치에서 실현될 수도 있고, 일체의 장치에서 실현될 수도 있다.
또한, 상기 제1 실시형태에서는, 제어 처리와 시뮬레이션 처리가 별도의 단계에서 실행되는 것으로서 설명하였으나, 같은 단계에서 병행하여 실행될 수도 있다.
또한, 상기 제1 실시형태에서는, 학습 처리가 완료된 예측 모델부, 최적화 모델부의 출력 대상에 대해서는 언급하지 않았으나, 학습 처리가 완료된 예측 모델부, 최적화 모델부는 관리 장치(120_1~120_n)로 출력될 수도 있다. 또는 서버 장치(110_1~110_n)에 다운로드 가능하도록 등록될 수도 있다.
또한, 상기 제1 실시형태에서는 모델에 대해 상세하게는 언급하지 않았으나, 상기 제1~제4 실시형태에서 사용되는 모델은, 예를 들어, 심층 학습을 포함하는 기계 학습 모델일 수 있는 바, 예를 들어,
·
RNN(Recurrent Neural Network),
·
LSTM(Long Short-Term Memory),
·
CNN(Convolutional Neural Network),
·
R-CNN(Region based Convolutional Neural Network),
·
YOLO(You Only Look Once),
·
SSD(Single Shot Multibox Detector),
·
GAN(Generative Adversarial Network),
·
SVM(Support Vector Machine),
·
결정 트리
·
Random Forest
등 중의 어느 것일 수 있다.
또는, 대안적으로, GA(Genetic Algorism), GP(Genetic Programming) 등과 같이 유전적 알고리즘을 이용한 모델 또는 강화 학습에 의해 학습된 모델일 수도 있다.
또는, 상기 제1 실시형태에서 사용되는 모델은, PCR(Principal Component Regression), PLS(Partial Least Square), LASSO, 릿지 회귀, 선형 다항식, 자기 회귀 모델, 이동 평균 모델, 자기 회귀 거동 평균 모델, ARX 모델 등과 같이 심층 학습 이외의 일반적인 통계 해석에 의해 얻어지는 모델일 수도 있고, 또는 상기 모델을 조합하여 사용할 수도 있다.
한편, 상기 실시형태에서 설명한 구성 등에 그 밖의 요소를 조합하는 등의 경우가 있는 것과 같이, 여기에서 나타낸 구성으로 본 발명이 한정되는 것은 아니다. 이들 구성에 관해서는 본 발명의 취지를 일탈하지 않는 범위에서 변경하는 것이 가능하며 그 응용 형태에 따라 적절하게 정할 수가 있다.
본 출원은 2020년 12월 28일에 출원된 일본국 특허출원 제2020-218532호에 기초하는 우선권을 주장하는 것으로서, 동 일본국 특허출원의 전체 내용을 참조함으로써 본원에 원용한다.
100
사이버 피지컬 시스템
120_1~120_n 관리 장치
130_1~130_n 기판 처리 장치
140 관리자 단말
310 사이버 공간
320 에이전트부
330 모델 예측 제어부
340 물리적 공간
720 제1 학습부
920 제2 학습부
120_1~120_n 관리 장치
130_1~130_n 기판 처리 장치
140 관리자 단말
310 사이버 공간
320 에이전트부
330 모델 예측 제어부
340 물리적 공간
720 제1 학습부
920 제2 학습부
Claims (5)
- 제어 대상의 시각 T에서의 다변량 제어값과, 당해 제어 대상의 시각 T+ΔT에서의 다변량 프로세스 값 간 입출력 관계를 학습한 예측 모델부와,
상기 예측 모델부로부터 출력되는 시각 T+ΔT에서의 다변량 프로세스 값과, 대응하는 목표값 간의 각 차분을 최소화하는 시각 T에서의 다변량 제어값을 탐색하며, 탐색된 당해 다변량 제어값을 이용하여 상기 제어 대상을 제어하는 최적화 모델부를 포함하며,
상기 예측 모델부는, 상기 예측 모델부를 관리하는 에이전트로부터 요구가 있으면, 지정된 제어값에 의해 상기 제어 대상을 제어한 경우에 있어 상기 제어 대상의 시각 ΔT 후의 다변량 프로세스 값을 예측하여 상기 에이전트로 출력하는 것인 관리 장치. - 제1항에 있어서,
시각 T에서의 다변량 실측 제어값을 입력한 경우의 다변량 출력이 시각 T+ΔT에서의 상기 제어 대상의 다변량 실측 프로세스 값에 근접하도록 예측 모델부에 대해 학습 처리를 실행하는 제1 학습부를 더 포함하는 관리 장치. - 제1항에 있어서,
상기 제어 대상의 시각 T+ΔT에서의 다변량 실측 프로세스 값과, 대응하는 목표값 간의 각 차분을 입력함으로써 출력되는 시각 T에서의 다변량 제어값이, 상기 제어 대상을 제어했을 때의 시각 T에서의 다변량 실측 제어값에 근접하도록, 최적화 모델부에 대해 학습 처리를 실행하는 제2 학습부를 더 포함하는 관리 장치. - 제어 대상의 시각 T에서의 다변량 제어값과, 당해 제어 대상의 시각 T+ΔT에서의 다변량 프로세스 값 간 입출력 관계를 학습한 예측 모델부를 실행하는 공정과,
상기 예측 모델부로부터 출력되는 시각 T+ΔT에서의 다변량 프로세스 값과, 대응하는 목표값 간의 각 차분을 최소화하는 시각 T에서의 다변량 제어값을 탐색하며, 탐색된 당해 다변량 제어값을 이용하여 상기 제어 대상을 제어하는 최적화 모델부를 실행하는 공정을 포함하며,
상기 예측 모델부를 실행하는 공정은, 상기 예측 모델부를 관리하는 에이전트로부터 요구가 있으면, 지정된 제어값에 의해 상기 제어 대상을 제어한 경우에 있어 상기 제어 대상의 시각 ΔT 후의 다변량 프로세스 값을 예측하여 상기 에이전트로 출력하는 것인 예측 방법. - 제어 대상의 시각 T에서의 다변량 제어값과, 당해 제어 대상의 시각 T+ΔT에서의 다변량 프로세스 값 간 입출력 관계를 학습한 예측 모델부를 실행하는 공정과,
상기 예측 모델부로부터 출력되는 시각 T+ΔT에서의 다변량 프로세스 값과, 대응하는 목표값 간의 각 차분을 최소화하는 시각 T에서의 다변량 제어값을 탐색하며, 탐색된 당해 다변량 제어값을 이용하여 상기 제어 대상을 제어하는 최적화 모델부를 실행하는 공정을 컴퓨터로 하여금 실행시키기 위한 예측 프로그램으로서,
상기 예측 모델부를 실행하는 공정은, 상기 예측 모델부를 관리하는 에이전트로부터 요구가 있으면, 지정된 제어값에 의해 상기 제어 대상을 제어한 경우에 있어 상기 제어 대상의 시각 ΔT 후의 다변량 프로세스 값을 예측하여 상기 에이전트로 출력하는 것인 예측 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2020-218532 | 2020-12-28 | ||
| JP2020218532 | 2020-12-28 | ||
| PCT/JP2021/046130 WO2022145222A1 (ja) | 2020-12-28 | 2021-12-14 | 管理装置、予測方法及び予測プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230127251A true KR20230127251A (ko) | 2023-08-31 |
Family
ID=82260672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237024557A KR20230127251A (ko) | 2020-12-28 | 2021-12-14 | 관리 장치, 예측 방법 및 예측 프로그램 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240045388A1 (ko) |
| JP (1) | JPWO2022145222A1 (ko) |
| KR (1) | KR20230127251A (ko) |
| CN (1) | CN116670597A (ko) |
| TW (1) | TW202244647A (ko) |
| WO (1) | WO2022145222A1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018092511A (ja) | 2016-12-07 | 2018-06-14 | 三菱重工業株式会社 | 運用支援装置、機器運用システム、運用方法、制御方法及びプログラム |
| WO2020050072A1 (ja) | 2018-09-03 | 2020-03-12 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、推論装置及び学習済みモデル |
| JP2020518079A (ja) | 2017-10-17 | 2020-06-18 | 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ | スマート工場並列制御方法及びシステム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005242524A (ja) * | 2004-02-25 | 2005-09-08 | Ebara Corp | 処理プラント設備の運転制御方法及び運転制御装置 |
| US10216154B2 (en) * | 2015-03-24 | 2019-02-26 | Mitsubishi Electric Corporation | Plant monitoring control device |
| US20210263490A1 (en) * | 2018-07-26 | 2021-08-26 | Mitsubishi Electric Corporation | Water treatment plant and method of operating water treatment plant |
| JP7206874B2 (ja) * | 2018-12-10 | 2023-01-18 | 富士電機株式会社 | 制御装置、制御方法及びプログラム |
-
2021
- 2021-12-14 JP JP2022572981A patent/JPWO2022145222A1/ja active Pending
- 2021-12-14 US US18/258,644 patent/US20240045388A1/en active Pending
- 2021-12-14 CN CN202180086072.0A patent/CN116670597A/zh active Pending
- 2021-12-14 KR KR1020237024557A patent/KR20230127251A/ko unknown
- 2021-12-14 WO PCT/JP2021/046130 patent/WO2022145222A1/ja active Application Filing
- 2021-12-16 TW TW110147086A patent/TW202244647A/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018092511A (ja) | 2016-12-07 | 2018-06-14 | 三菱重工業株式会社 | 運用支援装置、機器運用システム、運用方法、制御方法及びプログラム |
| JP2020518079A (ja) | 2017-10-17 | 2020-06-18 | 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ | スマート工場並列制御方法及びシステム |
| WO2020050072A1 (ja) | 2018-09-03 | 2020-03-12 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、推論装置及び学習済みモデル |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116670597A (zh) | 2023-08-29 |
| WO2022145222A1 (ja) | 2022-07-07 |
| TW202244647A (zh) | 2022-11-16 |
| JPWO2022145222A1 (ko) | 2022-07-07 |
| US20240045388A1 (en) | 2024-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2016259298B2 (en) | Machine for development and deployment of analytical models | |
| US11625011B2 (en) | Control system database systems and methods | |
| AU2016259300B1 (en) | Machine for development of analytical models | |
| US11119851B2 (en) | Determining when to perform error checking of a storage unit by training a machine learning module | |
| KR20110043518A (ko) | 자율적인 적응적 반도체 제조 | |
| KR20110052534A (ko) | 자율적인 생물학 기반 학습 툴 | |
| US9841773B2 (en) | Cooling system management | |
| US20090018671A1 (en) | Method and system for process control | |
| US20210232472A1 (en) | Low-latency systems to trigger remedial actions in data centers based on telemetry data | |
| KR20230127251A (ko) | 관리 장치, 예측 방법 및 예측 프로그램 | |
| KR102338159B1 (ko) | 구조진동 가상센서 장치 및 그 동작 방법 | |
| US20240045401A1 (en) | Management system, management method, and management program | |
| CN116366560A (zh) | 流量转发控制方法、装置、设备和介质 | |
| JP7336425B2 (ja) | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム | |
| US20210397469A1 (en) | Systems and methods for computing a success probability of a session launch using stochastic automata | |
| KR20180115448A (ko) | 커널 회귀 모델을 통하여 시변 신호를 검증하는 온라인 검증 장치 및 방법 | |
| US20230393540A1 (en) | Model management system, model management method, and model management program | |
| Mitra | Model structure takes guesswork out of state estimation: technical perspective | |
| JP6183359B2 (ja) | 設計支援装置、設計支援方法及びプログラム | |
| EP3945375A1 (en) | Machine controller and methods for configuring and using the machine controller | |
| US20220261518A1 (en) | Method of and system for operating storage area network simulator | |
| KR20220110535A (ko) | 서로 다른 시간 상수를 이용한 모멘트 추정을 통한 학습 | |
| KR20210101914A (ko) | 고장 예지 모델 생성 장치 및 방법 | |
| KR20230028887A (ko) | 시계열 예측을 위한 신경 아키텍처 및 하이퍼 파라미터 검색 | |
| KR20240033435A (ko) | 발전소 필드값 기반의 발전소 상태를 실시간 추적하는 시뮬레이션 시스템 및 방법 |