KR20230079093A - 용광로의 열 제어를 위한 운전 지침을 제공하는 컴퓨터 시스템 및 방법 - Google Patents

Abstract

컴퓨터 시스템(100), 컴퓨터-구현 방법, 및 컴퓨터 프로그램 프로덕트가 용광로의 열 제어를 위한 운전 지침들을 제공하기 위하여 강화학습 모델(130)을 교육하기 위하여 제공된다. 도메인 적응 머신 러닝 모델(110)은 다변량 시계열로서 얻어지고, 복수의 도메인들의 각각의 용광로들(BF1 내지 BFn)의 열 상태들을 반영하는 히스토리컬 운전 데이터(21)로부터 제1 도메인 불변 데이터세트(22)를 생성한다. 일반적인 용광로 프로세스의 변동 모델(121)은 특정 열 제어 작업(26a)을 위한 일반적인 용광로(BFg)의 열 상태를 반영하는 다변량 시계열로서 인공적 운전 데이터(24a)를 생성하기 위하여 사용된다. 생성 딥 러닝 네트워크(122)는 히스토리컬 운전 데이터(21)로부터 학습된 특징들을 인공적 운전 데이터(24a)로 전달함에 의하여 제2 도메인 불변 데이터 세트(23a)를 생성한다. 강화학습 모델(130)은 병합된 제1 및 제2 도메인 불변 데이터 세트들(22, 23a)을 처리함에 의하여 주어진 목적함수의 관점에서 특정 열 제어 작업(26a)을 위한 보상(131)을 결정(1400)한다. 보상(131)에 따라, 제2 도메인 불변 데이터 세트는 수정된 파라미터들(123-2)에 기초하여 재생성되고, 및 보상의 결정을 반복하여 하나 이상의 용광로의 각각의 운전 상태들에 적용되는 최적화된 열 제어 작업을 위한 최적화된 운전 지침을 학습한다.

Description

용광로의 열 제어를 위한 운전 지침을 제공하는 컴퓨터 시스템 및 방법

본 발명은 일반적으로 용광로를 제어하기 위한 시스템에 관한 것이고, 및 보다 구체적으로는 머신 러닝 방법을 이용하여 용광로를 위한 운전 지침을 생성하기 위한 방법, 컴퓨터 프로그램 프로덕트 및 시스템에 관한 것이다.

용광로는 스틸을 위한 원료 물질로 용융 철을 생산하기 위하여 사용된다. 용광로는 다변수의 공정 입력값 및 교란값에 의존하기 때문에, 모델링하기 매우 복잡한 공정을 갖는다. 전체 로 효율 및 안정성, 용융 철 품질을 최적화하기 위하여, 및 또한 로의 수명을 개선하기 위하여 물질 및 연료의 사용을 감소시키는 것이 목적이다. 따라서, 복잡한 생산 타겟 정의를 위하여 최적화된 운전 지침을 제공하는 것이 바람직하다.

이와 같은 기술적 문제는 용광로의 열 제어를 위한 운전 지침을 제공하기 위하여 순환 신경망에 의하여 구현되는 강화학습(RL) 모델을 교육함에 의한 독립항들의 특징들에 의하여 해결된다. 운전 지침은 대응되는 열 제어 작업에 관련된다. 여기서 사용되는 바와 같이, 열 제어 작업은 용광로 프로세스에 열 제어를 수행하는 목적을 위하여 엑츄에이터에 영향을 주는 임의 의 작업을 의미한다. 제어의 자동화 수준에 따라, 운전 지침은 인간 운전자를 대상으로 용광로의 적절한 제어를 위한 지침을 제공하는 것을 목적으로 할 수 있고, 또는 이는 용광로의 열 제어기에 직접 지시하여 인간의 개입 없이 이와 같은 지침을 실행할 수 있다.

이에 의하여, 복수의 용광로들로부터의 실제(측정된) 운전 데이터가 강화학습에 의하여 순환 신경망 모델을 훈련시키기 위하여 용광로 프로세스의 시뮬레이션 모델(변동 모델)과 함께 사용될 수 있다. 이는 데이터 수준 및 시뮬레이션 모델 수준에서 오프라인 RL 모델 교육으로 이해될 수 있다. 과거의 기록된 데이터로부터, 복수의 추가적인 특징들이 생성될 수 있고, 이를 통하여 용광로 프로세스의 특징을 위한 더 낳은 정보를 제공할 수 있다. 이와 같은 특징들은 기록된 원시 데이터로부터 구현되는 현상, 또는 머신 러닝 모델들에 의하여 제공되는 예측의 형태로 제공되는 공정 현상의 예상이다.

훈련될 때, RL 모델은 용광로의 메인 액츄에이터에 대한 운전 지침을 위한 추천을 제공하고, 이는 예를 들어 다음과 같다: 미분탄 주입(PCI) 속도(kg/s), 블라스트 유속(Nm3/s), 산소 부하(%) 등과 같은 송풍구 및 블라스트 세트 포인트, 및/또는 코크 속도(kg/charge), 염기도, 부하 분포 등과 같은 부하의 구성 및 충전 세트 포인트. 제공되는 추천은 가상의 운전자(자율성의 최고 수준인 레벨 5), 또는 인간 운전자에 의하여 수동으로 상기한 추천이 구현된 이후에 공정이 열적 평형에 도달할 때 목적 함수가 최적화되는 것을 보장한다. 목표는 용광로 전문가에 의하여 정의되고, 예를 들어, 다음과 같은 복수의 목표로 구성될 수 있다, (1) 연료 소비량 최소화, (2) 용광로 수명 최대화, (3) CO2 배출 최소화, (4) 로 작동을 안정화시키는 철 품질 및 양. 각각의 목표는 RL 모델을 교육하기 위하여 사용되는 글로벌 목표를 정의하기 위하여 (예를 들어, 전문가에 의하여) 가중치가 부여된다. 모델이 훈련되고, 생산에 배치될 때, 글로벌 목표와 추천된 운전 지침이 각각의 용광로의 열 제어를 수행한 이후에 도달하게 되는 실제의 목표와의 차이로부터 연속적으로 학습(온라인 RL 모델 교육)을 지속할 수 있다.

일 구체예에서, 컴퓨터-구현 방법은 용광로의 열 제어를 위한 운전 지침을 제공하기 위하여 강화학습 모델을 교육하는 것을 제공한다. 예를 들어, 강화학습 모델은 순환 신경망에 의하여 구현될 수 있다.

전이학습에 의하여 훈련되는 도메인 적응 머신 러닝 모델은 복수의 도메인들의 복수의 용광로들로부터의 다변량 시계열로서 얻어지는 히스토리컬 운전 데이터를 처리한다. 히스토리컬 운전 데이터는 복수의 도메인들의 각각의 용광로드의 열 상태를 반영한다. 주로, 용광로당 수천개의 센서들이 예를 들어, 온도, 압력, 화학적 함량 등의 작동 파라미터를 측정하고 있다. 시간 상 특정 지점에서 이와 같이 측정된 파라미터들은 시간상 해당 지점에서의 용광로의 각각의 열 상태를 정의한다. 각각의 용광로의 복수의 특성들(예를 들어, 작동 모드, 크기, 입력 물질(물질 조성), 등) 때문에, 다변량 시계열 데이터에 해당되는 변환을 적용하지 않고, 직접적으로 두개의 용광로(소스 및 타겟 용광로)를 비교하는 것은 불가능하다.

도메인 적응 머신 러닝 모델은 도메인에 관계없이, 임의의 용광로들의 열 상태를 나타내는 제1 도메인 불변 데이터 세트를 출력으로 생성한다. 주로, 히스토리컬 운전 데이터는 각각의 열 제어 작업들에 대응하여 복수의 서로 다른 용광로들(예를 들어, 서로 다른 크기, 서로 다른 조건에서 작동 등)로부터 과거에 수집되었다. 주로, 각각의 용광로는 특정 도메인에 대응되지만, 도메인은 또한 용광로의 특정 작업일 수 있다. 도메인 적응 머신 러닝 모델은 훈련되어, 서로 다른 도메인들로부터 얻어진 데이터에 대한 일종의 정규화 작업을 수행하여 최종적으로는 이와 같은 데이터가 비교 가능하게 된다.

전이학습에 대한 상이한 접근이 사용될 수 있다. 예를 들어, 도메인 적응 머신 러닝 모델은 히스토리컬 운전 데이터로부터 제1 도메인 불변 데이터 세트로서 도메인 불변 특징들을 추출하도록 훈련시키는 컨벌루션 및/또는 순환 레이어를 갖는 딥 러닝 신경망에 의하여 구현될 수 있다. 이와 같은 구체예에서, 전이학습은 히스토리컬 운전 데이터로부터 도메인 불변 특징들을 추출하도록 구현된다. 딥 러닝에서의 특징은 이러한 특정 용광로의 작동에 의하여 생성되는 다변량 시계열 데이터로부터 추출되는 특정 용광로의 특징들의 추상적 표현이다. 전이학습을 적용함에 의하여, 특정 로에 독립적인(예를 들어, 다양한 도메인들에 독립적인) 복수의 현실 용광로들로부터 도메인 불변 특징들을 추출하는 것이 가능하다.

대안적인 접근 방법으로, 도메인 적응 머신 러닝 모델은 복수의 용광로로부터의 대응되는 원시 데이터를 참조 용광로로 복수로 맵핑하는 것을 학습하도록 훈련된다. 참조 용광로는 일종의 평균의 용광로를 대표하는 가상의 용광로 또는 실제의 용광로일 수 있다. 각각의 맵핑은 참조 용광로로의 각각의 특정 용광로의 변환의 표현이다. 이와 같은 접근에서, 복수의 맵핑은 제1 도메인 불변 데이터 세트에 대응된다. 예를 들어, 이와 같은 도메인 적응 머신 러닝 모델은 가짜 이미지 생성과 관련하여 유명한 CycleGAN 아키텍쳐에 기초한 생성 딥 러닝 아키텍쳐에 의하여 구현될 수 있다. CycleGAN은 두개의 생성자 모델과 두개의 판별자 모델의 동시 교육을 포함하는 GAN 아키텍쳐의 확장이다. 하나의 생성자는 제1 도메인으로부터 입력값으로 데이터를 취하여, 제2 도메인을 위한 데이터를 출력하고, 및 다른 생성자는 제2 도메인으로부터 입력값으로 데이터를 취하여, 제1 도메인을 위한 데이터를 생성한다. 그 후, 판별자 모델이 사용되어, 생성된 데이터가 얼마나 타당한지 판단하고, 및 이에 따라 생성자 모델을 업데이트한다. CycleGAN은 사이클 일관성이라고 하는 아키텍쳐에 추가적인 확장을 사용한다. 기저에 있는 아이디어는 제1 생성자에 의한 데이터 출력이 제2 생성자에 대한 입력으로 사용될 수 있고, 및 제2 생성자의 출력은 오리지널 데이터와 일치하여야 한다는 것이다. 그 반대도 또한 사실이다: 제2 생성자로부터의 출력이 제1 생성자에 입력으로 도입될 수 있고, 및 결과는 제2 생성자의 입력과 일치해야 한다.

사이클 일관성은 기계 번역에서, 영어로부터 불어로 번역된 문구가 다시 불어로부터 영어로 번역되어, 원래의 문구와 동일해야 함을 나타내는 개념이다. 역과정도 마찬가지로 동일해야 한다. CycleGAN은 제2 생성자의 생성된 출력과 오리지널 이미지 사이의 차이, 및 그 역의 차이를 측정하는 추가적인 손실을 추가함에 의하여 사이클 일관성을 개선시킨다. 이는 생성자 모델을 규제하여, 이미지 생성 공정을 새로운 도메인에서 이미지 번역으로 유도한다. 제1 도메인 불변 데이터 세트를 얻기 위하여 이미지 처리로부터 다변량 시계열 데이터를 처리로의 오리지널 CycleGAN 아키텍쳐를 채택하기 위하여, 다음의 수정이 컨벌루션 레이어와 조합된 순환 레이어(예를 들어 LSTM)에 의하여 구현되어, C. Schockaert, H. Hoyez, (2020) "MTS-CycleGAN: An Adversarial-based Deep Mapping Learning Network for Multivariate Time Series Domain Adaptation Applied to the Ironmaking Industry", In arXiv: 2007.07518에 세부적으로 기술되어 있는 다변량 시계열 데이터의 시간 의존성을 학습한다.

얻어진 제1 도메인 불변 데이터 세트는 각각의 열 제어 작업들이 각각의 로에 적용된 이후 나타나는 용광로의 열 상태들을 나타낸다. 도메인 적용 이후, 이와 같은 현상은 더 이상 특정 용광로에만 한정되지 않는다(참조 용광로로의 학습된 맵핑의 형태, 또는 추출된 일반적인 특징들의 형태에서).

동시에, 일반적인 용광로 프로세스의 변동 모델은 특정 제어 활동이 적용된 이후 일반적인 용광로에서 변동되는 열 상태를 반영하는 특정 열 제어 작업을 위한 다변량 시계열로서 인공적 운전 데이터를 생성하기 위하여 사용된다. 일반적인 용광로는 가상의 장치(참조 용광로와 유사)이다. 변동 모델은 일반적인 용광로의 열 상태들을 나타내는 합리적인 인공적 데이터를 생성하기 위하여 적절한 물리적, 화학적, 열적, 및 유동 조건들을 갖는 변동성 기반 수치 모델이다. 변동 모델은 일반적인 용광로의 각각의 물리적, 화학적, 열적, 및 유동 조건들을 반영하고, 및 열, 질량, 및 운동량 전달을 교환하는 동안, 일반적인 용광로 내에서 구조화되는 상승하는 가스 유동 및 고상 층의 하방 이동에 대한 솔루션을 제공한다.

모델은 입력 파라미터로서 온도, 압력, PCI 비율 및 산소 부하와 같은 고온 블라스트 조건과 함께 부하물 물질의 양 및 화학적 분석치를 수신한다. 변동 모델은 에너지 방정식을 가져서, 고온 금속의 온도를 예측하고, 종류 방정식을 가져서 고온 금속의 화학적 조성을 계산하고, 및 기체상태 방정식을 가져서 상부 가스 온도, 효율(Eta CO), 및 압력을 예측한다. 모델의 변동성 때문에, 시간에 따라 입력 파라미터를 변화시킴에 의하여 인공적인 동적 시계열 데이터를 생성할 수 있고, 실제 용광로의 작동을 모사할 수 있다. 변동 모델이 실제 용광로의 과거의 운전 데이터에 의하여 커버되는 데이터 범위를 초과하는 입력 파라미터를 위한 데이터 범위를 사용할 수 있다는 것은 유리하다. 다시 말해, 일반적인 용광로를 위한 파라미터 범위는 실제의 용광로 운전 데이터에 의하여 커버될 수 없는 작동 파라미터 공간으로 확장될 수 있다.

일반적인 용광로는 로의 높이에 따라 유한한 수의 레이어들로 구분된다. 각각의 레이어는 원료 물질의 하나의 충전(예를 들어, 철광석 또는 코크)으로 구성된다. 이와 같은 레이어들은 방정식이 수치적으로 계산되는 계산 셀을 나타낸다. 조성, 속도, 및 온도와 같은 기상 특성들을 위한 경계 조건은 레이스웨이 서브 모델(raceway sub-model)을 사용하여 정의되고, 반면, 고상을 위한 경계 조건은 상온에서 충전 물질의 조성으로서 정의된다. 이와 같은 레이스웨이 모델은 예를 들어, "Deepak Sau et. Al. A reduced order mathematical model of the blast furnace raceway with and without pulverized coal injection for real time plant application. International Journal of Modelling and Simulation, DOI: 10.1080/02286203.2018.1435759. February 2018"에서 기술된다. 미분탄은 용광로 송풍구로 주입되어, 코크 소비량을 감소시키고, 및 고온 금속 생산 비용을 감소시킨다. 용광로 레이스웨이 영역에서의 미분탄의 연소 거동 및 미연소 차(char)의 축적에 대한 지식은 중요하다.

이 문헌은 실시간 공장 적용을 위한 용광로의 간소화된 레이스웨이 모델을 기술한다. 모델은 미분탄 주입(PCI)이 있는 경우 및 없는 경우에, 레이스웨이 영역에서 방사상 온도 및 가스 조성의 프로파일을 예측할 수 있다. 레이스웨이 깊이뿐만 아니라, PCI 비율, 블라스트 온도, 블라스트 체적, 산소 부하, 및 레이스웨이 연소 거동에의 스팀 추가, 온도 및 가스 조성 프로파일과 같은 모든 주요 작동 공정 파라미터들의 영향이 가능한 모든 문헌, 공장 데이터 베이스에서 조사되고 검증되었다.

가스상과 고상을 완전히 해결하는 것은 계산적으로 매우 비싸다. 따라서, 일 구체예에 따르면, 계산 자원(및 이에 따라 에너지)을 절약하기 위하여, 가스의 저항 시간(약 3초)은 시간 스텝(약 2분)보다 매우 짧기 때문에, 기체는 정상 상태로 간주될 수 있다. 하지만, 고상은 변동 상으로 고려된다. 솔루션 알고리즘은 우선 반복적인 순차적 방식으로 기체상태 방정식을 풀어 각 시간 스텝에서의 파라미터들의 상대적인 오차를 충족시킨다. 기상 파라미터들이 정의된 오차로 수렴하면, 그 후, 고체 상태 방정식이 동일한 시간 스텝에서 순차적으로 풀린다. 시간 루프는 시뮬레이션의 끝까지 반복된다. 열 및 질량 전달과 같은 전달 파라미터뿐만 아니라 기체 및 고체 파라미터들은 각 시간 스텝들의 시작점에서 업데이트된다. 순차적인 방법에서, 하나의 파라미터가 계산되면, 다른 파라미터들은 알려지는 것으로 고려되고, 이는 과거의 값들이 사용되었음을 의미한다. 이와 같은 방법으로, 비선형 항들 및 결합 파라미터들이 복잡하고 고가의 블록 해결자들을 사용하지 않으면서도 계산될 수 있다.

일 구체예에서, 변동 모델은 원료 물질들의 하나의 충전으로 구성되는 일반적인 용광로의 각각의 레이어를 나타내는 각 셀을 갖는 복수의 계산 셀들을 갖는다. 각 계산 셀은 반복적인 순차적 방식으로 기체상태 방정식을 풀고, 각 시간 스텝에서 상대적인 기상 파라미터 오차들을 충족시킨다. 기상 파라미터가 기설정된 오차값에 수렴할 때, 고체상태 방정식은 동일 시간 스텝에서 순차적으로 계산된다.

기체상태 방정식의 반복적인 계산은 압력-속도 수정 루프의 각각의 반복을 포함하고: 기체, 고체 및 액체의 물성 계산; 반응속도 및 열 전달 계수의 계산; 및 기체 온도, 종류, 속도 및 압력 강하의 계산을 포함한다.

일단 기상 파라미터들이 상기 기설정된 오차값에 수렴하면, 계산은 계속해서 동일 시간 스텝에서 고체상태 방정식에 대한 순차적인 계산을 수행하고 이는 다음을 포함한다: 고체의 온도의 종류 계산; 액체의 온도 및 종류 계산; 및 고체의 속도 계산.

변동 모델로부터 얻어지는 인공적 운전 데이터는 그 후, 히스토리컬 운전 데이터의 다변량 시계열에서 훈련된 생성 딥 러닝 네트워크에 의하여 처리된다. 이는 실제 운전 데이터의 특징들로 인공적 운전 데이터를 보강하는 것을 가능하게 하여, 이들을 보다 현실적이 되도록 한다. 적절하게 훈련된 생성 딥 러닝 네트워크는 전문가에게도 보강된 합성 운전 데이터가 실제 운전 데이터와 구분되지 않도록 하는 방법으로 인공적 데이터를 보강할 수 있다. 예측 상태에서 강화학습 모델을 작동시킬 때 기대되는 실제 시험 입력값과 유사한 특징을 갖는 데이터로 강화학습 모델을 교육하는 것은 유리하다. 즉, 인공적 운전 데이터의 처리는 히스토리컬 운전 데이터로부터 학습된 특징들로 보강되는 제2 도메인 불변 데이터 세트를 생성한다. 제2 도메인 불변 데이터 세트가 변동 모델의 계산에 기초한 단순한 합성 데이터 세트이지만, 그럼에도 불구하고 이는 실제 히스토리컬 운전 데이터 시계열에 존재하는 특별한 특징들을 보여주는 도메인 불변 데이터 세트이다.

강화학습 모델은 이제 병합된 제1 및 제2 도메인 불변 데이터 세트로 훈련된다. 만약 교육이 단지 제1 데이터 세트에 의존한다면, 강화학습 모델은 복수의 용광로들에 적용되지 않았던 최적화된 제어 지시를 학습하지 못할 것이다. 이와 같은 실제의 교육 데이터 세트들을 인공적으로 생성된 데이터 세트들과 조합함에 의하여, 변동 모델은 최적화 목표들을 변경하는 조건 하에서, 일반적인 용광로의 주어진 열 상태에 적용되는 대안적 제어 작업에 대한 일반적인 용광로의 반응을 모사하기 위하여 사용될 수 있다. 병합된 제1 및 제2 도메인 불변 데이터 세트들을 처리할 때, 강화학습 모델은 주어진 목적 함수 및 용광로의 현재의 상태의 관점에서 제2 불변 데이터 세트를 계산하기 위하여 변동 모델에 의하여 사용된 특정 열 제어 작업을 위한 보상을 결정한다. 보상 함수들은 어떻게 강화학습 모델(즉, 에이전트)이 행동해야 하는지를 기술한다. 다시말해, 이들은 규범적인 내용을 가지고 있고, 에이전트가 달성해야 하는 것을 규정한다. 절대적인 제한은 없으나, 만약 보상 함수가 “더 잘 작동”이라면, 그후, 에이전트는 더 잘 학습한다. 실제로, 이는 수렴의 속도가 증가하고, 및 에이전트가 국부 최소값에 머무르지 않는 것을 의미한다. 예를 들어, 보상 함수는 멀티-목적 함수의 파레토 프론트로부터 “얼마나 먼지”를 측정할 수 있고, 특정 열 제어 작업은 해당 처리를 수행한다. 정의에 의하면, 파레토 프론트는 적어도 하나의 다른 목표를 희생시키지 않고 어떠한 목표도 개선되지 않는 경우, 최적으로 선택되는 비지배적인 솔루션의 집합이다. 주어진 목표를 위하여, 예를 들어 다른 목표의 개선 델타의 측정이 구배 분석의 수단에 의하여 측정될 수 있다. 보상 함수는 파레토 프론트의 특성을 특정화하는 이와 같은 측정들의 함수일 수 있다. 당업자는 다른 적절한 보상 함수들을 사용할 수 있다.

결정된 보상이 기설정된 최저 보상 미만인 경우, 그 후, 추천되는 열 제어 작업(제어 지시)은 용광로의 열 상태에 대한 의도된 영향과 관련하여 최적이 아니다. 이와 같은 경우, 대안적 제어 작업이 변동 모델에 의하여 모사될 수 있다. 이와 같은 목적을 위하여, 유전 검색 및/또는 베이지안 최적화 알고리즘이 강화학습 모델의 현재의 환경 및 현재의 학습 단계의 열 제어 작업 출력(즉, 너무 낮은 보상을 초래한 제어 작업)에 기초하여 추가적인 (대안적) 열 제어 작업을 위한 수정된 파라미터(즉, 변동 모델을 위한 입력 파라미터)를 위한 검색을 유도한다. 이제 변동 모델은 수정된 파라미터를 기초로 하는 제2 도메인 불변 데이터 세트(업데이트된 제2 데이터 세트)를 재-생성한다. 업데이트된 제2 데이터 세트는 그 후, 강화학습 모델의 입력 레이어에 도입되고, 및 새로운 보상이 업데이트된 제2 데이터 세트를 위하여 결정된다. 이와 같은 처리는 임의의 예측가능한 상황을 위하여 최적화된 열 제어 작업들을 위한 최적화된 운전 지침들을 출력하기 위하여 학습될 때까지 반복적으로 수행된다.

강화학습 모델이 상기한 바와 같이 훈련되면, 해당 특정 용광로의 현재의 운전 상태 데이터에 기초한 운전중인 특정 용광로의 적어도 하나의 액츄에이터를 위한 최적화된 운전 지침을 예측하기 위하여 작동될 수 있다. 다시말해, 훈련된 강화학습 모델은 강화학습 모델의 입력 레이어와 일치하는 운전 데이터를 포함하고, 용광로의 현재의 (열적) 상태를 특정하는 시험 입력 데이터를 수신한다. 모델은 시험 입력 데이터를 처리하고, 주어진 목적 함수의 관점에서 최적화된 결과를 달성하기 위한 용광로에 적용되는 열 제어 작업에 해당하는 최적화된 운전 지침을 위한 예측을 출력으로서 제공한다.

바람직하게는, 각각의 예측 데이터 세트는 강화학습 모델의 교육을 더 개선하기 위하여 사용될 수 있다. 이와 같은 목적을 위하여, 모델은 열 제어 작업의 수행 이후에, 특정 용광로의 새로운 상태에 기초하여 적어도 하나의 액츄에이터에 최적화된 운전 지침(예측된 출력)에 따른 열 제어 작업을 적용한 이후 보상을 결정한다. 만약 보상이 기설정된 임계값 미만인 경우, 변동 모델은 강화학습 모델의 재교육을 위하여 하나 이상의 대안적 운전 지침들을 위한 제2 도메인 불변 데이터를 재생성한다. 이와 같은 재교육은 각각의 예측된 최적화된 운전 지침에 따른 임의의 열 제어 작업의 적용 이후에 적용될 수 있다.

바람직하게는, 강화학습 모델은 최적화된 운전 지침들을 학습하도록 훈련되고, 연관된 목적 측정치는 대응되는 다차원 목적 함수를 위한 파레토 프론트로부터 기설정된 범위 내에 놓이게 된다.

일 구체예에서, 변동 모델은 원료 물질들의 하나의 충전으로 구성되는 일반적인 용광로의 각각의 레이어를 나타내는 각 셀을 갖는 복수의 계산 셀들을 갖는다. 각 계산 셀은 반복적인 순차적 방식으로 기체상태 방정식을 풀어 각 시간 스텝에서 상대적인 기상 파라미터 오차들을 충족한다. 기상 파라미터가 기설정된 오차값에 수렴할 때, 계산 셀은 순차적으로 동일 시간 스텝에서 고체상태 방정식을 푼다.

레벨 1: 용광로 작업자만	레벨 2: 조력받는 작업자	레벨 3: 부분적 자동화	레벨 4: 고도의 자동화	레벨 5: 완전한 자동화
단지 원시 데이터가 스크린에 시각화됨	규칙과 같은 화이트박스 데이터 주도 모델은 용광로 제어를 위하여 중요한 정보를 작업자에게 제공한다. 예: - 공정 엔지니어에 의하여 정의되는 공정 현상의 감지 - 머신 러닝 모델이 고온 금속의 실리콘 함량 또는 온도 추이를 예측함	작업자는 로를 제어하기 위하여 모든 측정/현상을 모니터할 필요는 없다. 액츄에이터의 일부는 자동화된다. 예: - 머신 러닝 모델이 충전 매트릭스를 추천함 -고온 금속의 Si 함량(기본 생산 목표 정의)의 예측에 기초하여 코크 충전 또는 석탄 주입을 추천함	작업자는 로의 구체적으로 정의된 작업을 수행할 필요가 없으나, 여전히 자동화 시스템에 의하여 처리되지 않는 작업을 수행할 필요가 있다. 예: 복잡한 생산 목적(연료 최소화, 로의 수명 연장, CO2 배출 최소화 등)을 고려한 일반적인 작업에서 최적의 열적 규제를 위한 모델을 추천함	작업자 불필요함, 수동 작업 없음. 모든 작업은 모든 알려진 환경에서 머신 러닝 방법에 의하여 학습된다. 예: 복잡한 생산 목표 정의를 고려한 모든 작업에서 최적의 열적 규제를 위한 모델을 추천함

<용광로 제어를 위한 열 제어 자동화 레벨>

표 1은 용광로 제어를 위한 5단계 자동화 레벨들을 기술한다. 추천 강화학습 모델과, 공정 특성을 위한 고급 상화 정보를 생성하는 추가적인 연관된 머신 러닝 모델들(예를 들어, 처리 현상 예측, 고온 금속의 온도 예측 등)의 조합은 레벨 4 또는 5의 자동화를 달성하기 위하여 사용될 수 있고, 반면, 연관된 머신 러닝 모델 단독으로는 자동화에 레벨 2 또는 3 정도를 달성할 수 잇다. 연관된 머신 러닝 모델 없이 추천 모델을 교육하는 것은 레벨 3의 자동화에 도달할 수 있다. 추천되는 (예측되는) 최적의 열 제어 작업을 위하여 강화학습 모델을 교육하는 개시된 접근은 공정이 정확하게 머신 러닝 모델들에 의하여 생성되는 고급 상황 데이터 및 발명의 상세한 설명에서 보다 세부적으로 설명된 바와 같은 공정 특정을 위한 추가적인 센서들에 의하여 대표된다면 레벨 4 또는 5의 자동화를 달성하는데 사용될 수 있다. 이와 같은 연관된 머신 러닝 모델들은 추가적인 데이터 보강 능력을 추가하여 강화학습을 위한 교육 데이터 세트를 개선하는데 사용될 수 있고, 이들은 도메인 불변 공정 데이터 이면에서 수행되는 강화학습 모델을 훈련시키기 위한 추가적인 입력값으로 사용되는 수신된 운전 데이터(로 센서 데이터)에 기초한 예측을 제공한다. 이와 같은 추가적인 “상황적” 정보와 함께, 강화학습 모델은 열 제어를 위한 최고의 작업을 보다 정확하게 학습하기 위하여 사용될 수 있는 새로운 차원에 관한 지식을 습득한다.

히스토리컬 운전 데이터 및/또는 용광로의 환경에 관한 추가적으로 측정된 환경 데이터에 기초한 특정 용광로 상태의 미래의 열적 진화에 대한 정보를 예측하기 위하여 이와 같은 연관된 머신 러닝 모델들을 사용할 때, 연관된 머신 러닝 모델들은 이에 따라 훈련되어, 히스토리컬 운전 데이터(센서로부터 얻어진)를 미래 시점들과 관련된 미래의 다변량 시계열 데이터로 보충할 필요가 있다. 생성된 미래의 다변량 시계열은 그 후, 미래 시점과 연관된 데이터를 갖는 제1 도메인 불변 데이터 세트를 보강하는 히스토리컬 운전 데이터와 동일한 방식으로 도메인 적응 머신 러닝 모델에 의하여 처리될 수 있다.

연관된 머신 러닝 모델은 다음의 방식으로 훈련될 수 있다. 제1 교육 단계에서, 복수의 기본 모델들이 하나 이상의 머신 러닝 알고리즘을 사용하여 운전 데이터 및/또는 환경 데이터의 다른 선택으로 훈련되어, 머신 러닝 모델의 특정 모델에 대한 훈련 입력으로서 기본 모델 특정 미래의 다변량 시계열 데이터를 제공하게 된다. 이에 의하여, 각 기본 모델들은 용광로 프로세스의 단일 특정 면(얘를 들어, 주어진 미래 시간 간격 동안의 고온 금속의 온도 경향성의 예측)에 집중하게 된다. 제2 교육 단계에서, 연관된 머신 러닝 모델은 상기 기본 모델 특정 미래의 다변량 시계열 데이터로 훈련되어, 기본 모델들의 어떠한 조합이 용광로의 특정 상태를 위하여 가장 적절한지 학습한다.

본 발명의 추가적인 면은 첨부된 청구항들에서 구체적으로 개시되는 구성 및 조합들에 의하여 실현될 수 있다. 상기 일반적인 설명과 이어지는 상세한 설명은 단지 예시이며 설명적인 것으로 제한되지 않으며, 본 발명이 묘사된 것을 제한하지 않는다는 것을 이해할 필요가 있다.

도 1은 용광로의 열 제어를 위한 운전 지침을 제공하기 위한 강화학습 모델을 교육하기 위한 컴퓨터 시스템의 구체예의 단순화된 다이어그램을 보여주고;
도 2는 컴퓨터 시스템의 구체예에 의하여 수행될 수 있는 컴퓨터-구현 방법의 단순화된 흐름도를 보여주고;
도 3a는 각 셀이 일반적인 용광로의 각각의 레이어를 나타내는 복수의 계산 셀을 갖는 구체예에 따른 변동 모델의 처리를 반영하는 단순화된 흐름도를 보여주고;
도 3b는 용광로의 시각적 표현에서의 계산 셀들을 보여주고;
도 4는 강화학습 모델을 위한 보상 계산의 예시적 구체예를 보여주고;
도 5는 보상 함수를 위한 목적 공간에서 포인트 클라우드의 경계로서 파레토 프론트를 보여주고;
도 6a 및 6b는 시각화의 목적을 위하여 각각의 용광로를 위한 2차원 목적 함수의 목적 공간에서 파레토 프론트의 예시를 보여주고;
도 7은 일 구체예에 따라 데이터 보강을 교육하기 위하여 추가적인 머신 러닝 모델을 사용하는 것을 보여주고;
도 8은 일 구체예에 따라 추가적인 딥 러닝 모델을 사용함에 의하여 데이터 보강을 교육하기 위하여 송풍구 이미지를 사용하는 것을 보여주고;
도 9는 강화학습 모델을 교육하기 위하여 용광로의 상태를 특정하는 추가적인 센서들을 사용하는 것으로 보여주고; 및
도 10은 여기서 언급되는 기술들과 함께 사용될 수 있는 일반적인 컴퓨터 장비, 및 일반적인 모바일 컴퓨터 장비의 예를 보여주는 다이어그램이다.

도 1은 용광로의 열 제어를 위하여 운전 지침을 제공하기 위하여 강화학습 모델 130을 교육하기 위한 컴퓨터 시스템 100의 기본적인 구체예의 단순화된 다이어그램을 보여준다. 도 1은 컴퓨터-구현 방법 1000의 단순화된 흐름도의 도 2의 맥락에서 설명되고, 이는 컴퓨터 시스템 100의 구체예에 의하여 수행될 수 있다. 따라서, 이하의 도 2의 문맥에서의 도 1의 설명은 양 도면의 참조번호들을 참조한다.

일 구체예에서, 컴퓨터 시스템 100은 복수의 용광로 BF1 내지 BFn와 통신적으로 연결된다. 용광로 BF1 내지 BFn는 서로 다른 도메인에 속할 수 있고, 및 다변량 시계열로서 얻어지고, 및 각각의 용광로들의 열 상태를 반영하는 히스토리컬 운전 데이터 21를 제공할 수 있다. 이와 같은 히스토리컬 운전 데이터의 예는 이에 제한되는 것은 아니나, 부하물 물질의 양 및 화학적 분석, 온도, 압력, PCI 비율, 및 산소 부하, 고온 금속의 온도를 예측하는 에너지 방정식, 고온 금속의 화학적 조성을 계산하는 하나 이상의 종류 방정식, 및 상부 가스 온도, 효율(Eta CO), 및 압력을 예측하는 하나 이상의 기체상태 방정식을 포함한다.

실제의 용광로에서, 서로 다른 도메인은 그와 같은 열 상태들에 유사성이 존재하기는 하지만, 서로 다른 도메인들에서 용광로의 열 상태들을 기술하는 히스토리컬 운전 데이터 21에서 파라미터 값들의 서로 다른 조합과 연관될 수 있다. 따라서, 시스템 100은 도메인 적응 머신 러닝 모델 DAM 100을 가져, 도메인에 관계없이, 임의의 용광로 BF1 내지 BFn의 열 상태를 나타내는 제1 도메인 불변 데이터 세트 22를 생성한다1100. DAM 110은 전이학습 방법 TL111을 사용함에 의하여 훈련된다. 일 구체예에서, DAM 110은 제1 도메인 불변 데이터 세트 22로서 히스토리컬 운전 데이터 21로부터 도메인 불변 특징들을 추출하도록 훈련되는 컨벌루션 및/또는 순환 레이어를 갖는 생성 딥 러닝 신경망 GDL1 113에 의하여 구현될 수 있다.

대안적인 구현으로, DAM 110은 복수의 용광로 BF1 내지 BFn으로부터의 대응되는 원시 데이터의 참조 용광로 BFr로의 복수의 맵핑 112을 학습하도록 훈련되는 생성 딥 러닝 아키텍쳐(예를 들어, 상기한 CycleGAN 아키텍쳐에 기초하는)에 의하여 구현될 수 있다. 이에 의하여, 각각의 맵핑은 참조 용광로 BFr로의 각각의 용광로(예를 들어 BF1)의 변환의 표현이다. 이와 같은 구현에서, 복수의 맵핑은 제1 도메인 불변 데이터 세트 22에 대응된다.

시스템 100은 특정 열 제어 작업 26a를 위한 일반적인 용광로 BFg의 열 상태를 반영하는 다변량 시계열로서 인공적 운전 데이터 24a를 생성 1200하도록 구비되는 인공적 데이터 생성자 모듈 ADG 120를 갖는다. 이와 같은 목적으로, ADG 120은 일반적인 용광로 프로세스의 변동 모델 121을 사용한다. 변동 모델 121은 일반적인 용광로의 각각의 물리적, 화학적, 열적, 및 유동 조건들을 반영하는 시뮬레이션 모델이고, 및 열, 질량, 및 운동량 전달을 교환하는 동안 일반적인 용광로에서 구조화되는 것과 같은 상승하는 가스 유동 및 고상 층의 하방 이동을 위한 솔루션을 제공한다. 일반적으로, 시뮬레이션 모델은 히스토리컬 운전 데이터에서 모니터되는 현실의 상태 파라미터에 대응되는 시뮬레이션 파라미터에 기초한다.

간단히, 도 3a로 가서, 변동 모델 121은 복수의 계산 셀을 포함하고, 각 셀은 원료 물질들의 하나의 충전을 포함하는 일반적인 용광로 BFg의 각각의 레이어를 나타낸다. 각 계산 셀은 반복적인 순차적 방식으로 기체상태 방정식을 풀어, 각 시간 스텝(반복 시간 간격)에서 상대적인 기상 파라미터 오차들을 충족한다. 일단 기상 파라미터가 기설정된 오차값에 수렴하면, 고체상태 방정식이 동일 시간 스텝에서 순차적으로 계산된다. 반복적으로 기체상태 방정식을 푸는 단계는 압력-속도 수정 루프의 각 반복을 포함할 수 있다:

- 기체, 고체 및 액체의 물성 계산 3300;

- 반응속도 및 열 전달 계수 계산 3400; 및

- 기체 온도, 종류, 속도 및 압력강하 계산.

순차적으로 고체상태 방정식을 푸하는 것은 다음을 포함할 수 있다:

- 고체 온도 및 종류 계산 3600;

- 액체 온도 및 종류 계산 3700; 및

- 고체 속도 계산 3800.

이제 도 3b로 가서, 도 3b는 용광로의 시각적 표현 300에서 계산 셀들 CC을 나타내고, 변동 모델 121은 다음의 입력 파라미터들 302 중 하나 이상을 수신할 수 있다: 부하물 물질 302-1 양 및 화학적 분석, 온도, 압력, PCI 비율 302-2, 및 산소 부하. 나아가, 로 프로파일 302-3은 용광로의 형상을 기술하고, 및 따라서, 충전된 물질의 전달 시간에 대한 영향을 갖는다(예를 들어, 높은 용광로는 8 h의 전달 시간을 가질 수 있고, 반면, 낮은 경우에는 단지 6 h이 소요될 수 있다.). 로 프로파일 302-3은 용광로별로 고정된 파라미터이고, 인공적 데이터 생성을 위하여 사용된다. 변동 모델이 용광로의 형상을 고려한다는 것은 당업자에게 자명하다. 변동 모델은 출력 303을 생성하고, 이는 예를 들어, 고온 금속의 온도를 예측하는 에너지 방정식, 고온 금속의 화학적 조성 303-2을 계산하는 하나 이상의 종류 방정식, 및 상부 기체 온도, 효율(Eta CO), 및 압력(참조: 상부 가스 조건 303-1)을 예측하기 위한 하나 이상의 기체상태 방정식을 갖는다.

다시 말해, 변동(시뮬레이션) 모델은 합리적인 인공적 데이터를 생성하기 위하여 사용되는 적절한 물리적, 화학적, 열적 및 유동 조건들을 갖는 수치적 모델이다. 모델의 변동성 때문에, 인공적 동적 시계열 데이터는 시간에 따라 입력 파라미터를 변화시킴에 의하여 생성될 수 있고, 이는 실제의 로 작동과 유사하다. 결과적으로, (파라미터) 데이터 범위는 실제의 용광로로부터 얻어지는 실제 용광로 데이터에 의하여 커버될 수 없는 폭 넓은 작동의 공간으로 확장될 수 있다.

변동 모델에서, 로는 로의 높이에 걸쳐 유한한 수의 레이어들로 구분된다. 도 3b에서, 다양한 레이어들이 실선의 수평 선들 301에 의하여 구분된다. 각각의 레이어는 원료 물질의 하나의 충전으로 구성되고, 이 경우, 철광석 및 코크이다. 이와 같은 레이어들은 상기한 바와 같이 계산 셀 CC 310을 나타내고, 이에 대하여 방정식들이 수치적으로 풀린다. 일 구체예에서, 조성, 속도, 및 온도와 같은 기상의 특성을 위한 경계 조건은 레이스웨이 서브-모델 320을 사용하여 정의되는 반면, 고상을 위한 경계 조건은 상온에서의 충전 물질 조성으로 정의된다. 용광로 300의 내부 상태 304는 기체, 고체 및 액체 상을 위한 서브-상태를 포함한다. 기상을 위한 서브-상태는 다음에 의하여 특징지워질 수 있다: 온도(Tg, K), 압력 (p, Pa), 속도 (Vg, m/s), 종류 (CO, CO2, H2, H2O, N2). 고상을 위한 서브-상태는 다음에 의하여 특징지워질 수 있다: 온도 (Ts, K), 속도 (Vs, m/s), 종류 (Fe2O3, Fe3O4, FeO, Fe, Slag, CokeC, Cokeash). 그리고, 액상을 위한 서브-상태는 다음에 의하여 특징지워질 수 있다: 온도 (Tl, K) 및 종류 (Fe, slag, FeO)

기상과 고상을 완전히 해결하는 것은 계산상 매우 고가(및 시간 소요가 많음)이다. 따라서, 시간 및 에너지를 절약하기 위하여, 기상은 정상 상태인 것으로 고려될 수 있고, 이는 기체의 저항 시간(약 3 s)은 반복 간격으로 정의되는 시간 스텝(약 2 min)보다 훨씬 짧기 때문이다. 하지만, 고상은 변동 상으로 고려된다. 우선 솔루션 알고리즘(참조: 도 3a)은 반복적이고 순차적인 방법으로 기체상태 방정식을 풀어, 각 시간 스텝에서 파라미터의 상대적인 오차를 충족시킨다. 기상 파라미터가 기설정된 오차값에 수렴하면, 그 후, 고체상태 방정식을 동일한 시간 스텝에서 순차적으로 푼다. 시간 루프는 시뮬레이션의 종결때까지 계속된다. 열 및 질량 전달과 같은 전달 파라미터뿐만 아니라, 기체 및 고체 파라미터는 각 시간 스텝의 시작점에서 업데이트된다. 순차적인 방식에서, 하나의 파라미터를 풀면, 다른 파라미터는 알려진 것으로 고려되고, 이는 이전의 값이 사용되는 것을 의미한다. 이와 같은 방법으로, 비선형 항과 결합 파라미터는 복잡하고 비싼 블록 솔버 없이도 계산될 수 있다.

상기한 바와 같이, 변동 모델 121에 의하여 생성되는 인공적 운전 데이터 24a는 각각의 측정/센서 장비에 의하여 초래되는 예를 들어 잡음 또는 변이값과 같은 임의의 실제 환경의 특징들을 인공적 운전 데이터 24a는 보여주지 않고, 클린 데이터를 도출하는 수학적 방정식에 따라 생성된다. 현저히 정확한 예측을 만들기 위하여 강화학습 모델 RILM 130을 훈련시키기 위하여, RILM 130을 위한 시험 입력값으로 사용되는 실제 운전 데이터의 특징들을 반영하는 교육 데이터를 모델 130에 제공하는 것이 바람직하다. 따라서, ADG 120는 순환 레이어를 갖는 생성 딥 러닝 네트워크 GDL2 122를 사용하여 히스토리컬 운전 데이터 21로부터 학습된 특징들을 인공적 운전 데이터 24a에 전달함에 의하여 제2 도메인 불변 데이터 세트 23a를 생성한다1300. GDL2 122는 히스토리컬 운전 데이터 21의 다변량 시계열에서 훈련되어, 히스토릭 운전 데이터로부터 상기 실제 환경의 특징들을 학습하고, 및 학습된 패턴을 모사된 인공적 운전 데이터 24a에 적용한다. 이는 열 제어 작업 26a에 반응하는 일반적인 용광로 BFg의 열 상태를 반영하는 순수하게 합성인 데이터 세트 23a를 도출한다. 순환 레이어를 사용하는 생성 딥 러닝 네트워크를 사용함에 의하여 다른 신호에 의하여 주어지는 맥락에서 각 신호의 원래의 특징을 학습하는 것은 특정 그림들의 집합의 스타일을 학습하고, 그 스타일을 다른 이미지에 적용하기 위하여 이미지에 적용되는 잘 알려진 테크닉과 유사하다. 유사한 테크닉이 다변량 시계열에 적용될 수 있고, 접근법은 다변량 시계열 데이터에 채택될 때, 예를 들어, 상기한 바와 같은 CycleGAN 기반 알고리즘에 의하여 해결될 수 있다.

데이터 세트, 제1 도메인 불변 데이터 세트 22, 및 합성 제2 불변 데이터 세트 23 모두는 RILM 130에 교육 데이터로 제공된다. RILM 130은 병합된 제1 및 제2 도메인 불변 데이터 세트 22, 23a를 처리함에 의하여 주어진 목적 함수의 관점에서, 특정 열 제어 작업 26a을 위한 보상 131을 결정한다 1400. 이와 같은 교육 데이터에 기초하여, RILM130은 (일반적인) 용광로 (환경)의 상태에 의존하는 열 제어 작업들을 학습한다. 예를 들어, 이와 같은 환경은 예시적으로 용광로의 작동, 물질 조성 등에 의하여 정의될 수 있다.

보상 131에 따라, ADG 120는 수정된 파라미터 123-2에 기초하여 제2 도메인 불변 데이터 세트를 생성한다 1300. 파라미터 생성자 PG 123는 유전 검색 및/또는 베이지안 최적화 알고리즘 123-1을 사용하여 RILM 130의 현재의 환경 25a 및 현재의 학습 단계의 열 제어 작업 26a 출력에 기초한 미래의 열 제어 작업을 위한 수정된 파라미터를 위한 검색을 유도한다. 수정된 파라미터로, 변동 모델은 미래의 제어 작업을 위한 열 상태를 모사한다. 그후 재 생성된 제2 도메인 불변 데이터 세트는 새로운 훈련 입력값으로 RILM 130 에 제공되고, 및 보상은 다시 새로운 훈련 입력값을 위하여 결정된다. 최적화된 열 제어 작업을 위한 최적화된 운전 지침을 학습하기 위하여 이와 같은 공정은 현재의 보상이 기설정된 보상 임계값을 초과 1500할 때까지 반복된다.

다음에서, 보상 계산을 위한 실제의 시나리오의 예시가 도 4에 도시된 바와 같이 설명된다. 당업자는 강화학습 모델을 구현하기 위하여 다른 적절한 보상 함수를 사용할 수 있다는 것은 주목된다. 다음의 예시적 시나리오는 유전 검색 알고리즘을 사용하여 단순한 이중 목적 함수를 최대화하기 위한 최적의 액츄에이터 값을 식별하는 최적화를 기술한다.

목적: 품질(일정한 Si 함량) 최적화, 및 생산량 최적화

액츄에이터: PCI 비율 (kg/s), 블라스트 유속 (Nm3/s), 코크 속도 (kg/충전)

보상:

=1/(Euclidian_dist_to_pareto_front)

Approximated, as an example, by improvement delta analysis of each objective:

1/eucl_dist((quality_prev, prod_prev), (quality_new,prod_new))

이 예에서, 보상의 정의는 파레토 프론트로의 수렴을 보장하는 유전 검색 알고리즘에서만 유효하다. 즉, 최대화를 위한 이중 목적 함수의 상기 예에서, 품질과 생산량의 개선은 두번의 이어지는 반복들 사이에서 모두 양의 값을 갖는다.

초기 용광로 열 상태 (현재의 환경): S_init

- 반복 1:

Actuators value = [PCI_1, blast_flow_rate_1, coke_rate_1]

Objective measurement = quality_1; prod_1

- 반복 2:

Actuators value = [PCI_2, blast_flow_rate_2, coke_rate_2]

Objective measurement = quality_2; prod_2

Reward=R_2=1/eucl_dist((quality_1, prod_1), (quality_2,prod_2))

- 반복 3:

Actuators value = [PCI_3, blast_flow_rate_3, coke_rate_3]

Objective measurement = quality_3; prod_3

Reward=R_3=1/eucl_dist((quality_2, prod_2), (quality_3,prod_3))

..................

- 반복 i:

Actuators value = [PCI_i, blast_flow_rate_i, coke_rate_i]

Objective measurement = quality_i; prod_i

Reward=R_i=1/eucl_dist((quality_i-1, prod_i-1), (quality_i,prod_i))

..................

- Iteration opt: (pareto front reached)

Actuators value = [PCI_opt, blast_flow_rate_opt, coke_rate_opt]

Objective measurement = quality_opt; prod_opt

Reward=R_opt=1/eucl_dist((quality_opt-1, prod_opt-1), (quality_opt,prod_opt))

유전 검색 알고리즘을 사용하지 않는 경우, 과도하게 시간이 소비되는 무작위 검색이 수행될 수 있다. 도 5에서, 이와 같은 경우를 위한 파레토 프론트가 점이 찍힌 패턴(목적 공간에서 포인트 클라우드의 경계에서)을 갖는 포인트들(quality_i, prod_i)에 의하여 특징지워진다. 이과 같은 경우에, 각 포인트(quality_i, prod_i)를 위한 보상은 유클리드 거리의 역수로서 계산될 수 있고, 및 파레토 프론트가 식별된 이후(무작위 검색 과정 동안은 아님)에 계산된다.

요약하면, 강화학습 모델 130은 훈련되어, 최적화된 운전 지침을 학습함으로써, 연관된 목적 측정치는 대응되는 다차원 목적 함수를 위하여 파레토 프론트로부터 기설정된 범위 내에 위치한다.

학습이 종결되면, RILM 130은 훈련되어, 상기 용광로(참조: 도 2)의 현재의 상태를 기술하는 현재의 운전 데이터를 갖는 시험 입력값에 반응하는 실제 상황의 용광로의 열 제어를 위한 최적화된 운전 지침을 제공한다 1600. 선택적으로, RILM 130의 교육은 용광로가 작동하는 동안에 온라인 모드로 계속될 수 있다.

온라인 모드에서, 강화학습 모델 130은 상기 용광로의 현재의 운전 상태 데이터에 기초한 운전 중인 특정 용광로의 적어도 하나의 액츄에이터를 위한 최적화된 운전 지침을 예측한다 1700 (참조: 도 2). 최적화된 운전 지침을 위한 열 제어 작업은 용광로에 (작업자에 의하여 또는 대응되는 제어 시스템을 통하여 자동으로) 적용되는 것으로 가정된다. 열 제어 작업이 최적화된 운전 지침에 따라 적어도 하나의 액츄에이터에 적용된 후, 보상은 이제 열 제어 작업의 수행 이후에 도달하는 상기 용광로의 새로운 상태에 기초하여 결정된다. 다시, 결정된 보상은 기설정된 보상 임계값과 비교된다 1500. 만약 보상이 이 임계값 미만인 경우, ADG 120는 강화학습 모델 130의 재교육을 위하여 하나 이상의 대안적 운전 지침을 위한 제2 도메인 불변 데이터를 재 생성한다(변동 모델 121을 사용하여).

도 6a 및 6b는 각각의 용광로 상태 BFS1, BFS2(시각화의 목적으로)를 위한 2차원 목적함수(두개의 목적 O1, O2를 가짐)의 목적 공간 내에서 파레토 프론트(점선)를 나타낸다. RILM 모델은 용광로를 위한 최적의 제어 지침을 학습할 필요가 있고, 이에 따라 연관된 목적 측정치는 파레토 프론트에 위치한다. 이들 도면에서, 목적은 각각의 히스토리컬 및 인공적 데이터 샘플을 위하여 계산된다. 도면들은 종종 목적 공간에서 클러스터로 이어지는 용광로의 몇 가지 작동 모드에만 한정되는 히스토리컬 데이터의 제한을 보여준다. 이에 의하여, 타입 22-2의 점들은 히스토리컬 데이터로부터 얻어지는 도메인 불변 데이터 세트와 연관된다. 타입 23a의 사각형은 인공적 (모사) 데이터에 기초한 도메인 불변 데이터 세트와 연관된다. 타입 22-1의 점들은 히스토리컬 데이터 21(원시 데이터) 또는 22(도메인 불변 원시 데이터)로부터 훈련되는 딥 생성 모델에 의하여 생성되는 데이터와 연관된다. 이와 같은 딥 생성 모델은 히스토리컬 데이터로부터 생성되는 새로운 원시 데이터를 제공하는 고급의 내삽 알고리즘으로 작동한다. 따라서, 생성된 데이터는 단지 존재하는 히스토리컬 데이터에 상대적으로 가까울 수 있다. 타입 23a와 연관된 이와 같은 데이터의 생성은 도 1 및 2에서 보다 세부적으로 기술된다. 도 6b에서, 타입 22-3의 삼각형은 용광로의 작동 중 얻어지는 온라인 데이터와 연관되고, 및 RILM 130의 온라인 교육 모드에서 사용된다. 타입 22-3의 삼각형은 이들이 최적화된 운전 지침(참조: 도 2에서 예측 1700)의 추천을 제공하는 훈련된 모델로부터 얻어지기 때문에 원천적으로 파레토 프론트에 가깝다. 하지만, 이와 같은 데이터 상의 운전 지침의 추천을 더 최적화하기 위하여, RILM 130의 온라인 재교육이 트리거된다.

일 구체예에서, 시스템 100은 용광로 상태의 미래의 열적 진화와 관련된 정보 또는 현재의 열상태에 관련된 임의의 다른 정보(예를 들어, 공정 현상 예측, 예를 들어 실제 센서보다 더 높은 주파수로 측정을 제공하는 가상의 센서)를 예측하기 위한 하나 이상의 구체적으로 훈련된 머신 러닝 모델 ML1 내지 MLn을 사용함에 의하여 용광로에서 센서에 의하여 측정되는 작업상 원시 데이터 21를 보강하기 위하여 데이터 보강 모듈 DA140을 포함할 수 있다. 이와 같은 예측은 RILM 130 모델을 교육하기 위한 원시 데이터와 동일한 목적으로 작용하고, 및 원시 데이터 21(히스토릭 운전 데이터)와 동일한 방식으로 사용된다. 그와 같이 구체적으로 훈련된 머신 러닝 모델의 예는 3h에서 고온 금속의 온도를 예측하는 모델이다. 고온 금속의 온도에 대한 이와 같은 예측은 그 후, RILM 130을 훈련시키기 위하여 사용될 수 있다. 이와 같은 데이터 보강은 나아가 RILM 130의 강화 교육을 위하여 사용되는 교육 데이터 세트를 개선하고, 강화 학습 모델의 개선된 예측 정확도를 초래하게 된다. 대안적으로, 도 9에서 알 수 있는 바와 같이, 새로운 센서들이 추가될 수 있다. 이를 통하여, RILM 130의 교육을 위하여 용광로의 상태를 보다 정확하게 특정할 수 있게 된다. 예를 들어, 만약 로 내에 충전된 원료 물질의 일부 특성들이 누락된 경우(예를 들어, 다공도, 습도), 이들은 측정될 수 있고, 또는 이들은 장점적으로는 머신 러닝 모델 ML1 내지 MLn을 사용하여 추정될 수 있다.

용광로의 상태를 보다 정확하게 특정하도록 하고, 결과적으로 RILM 130의 보다 정확한 교육을 가능하도록 하기 위한 데이터 보강을 위하여 바람직한 머신 러닝 모델(ML)의 리스트는 다음과 같다:

a) 고급 데이터 검증을 위한 ML: 용광로 센서들에 의하여 제공되는 원시 데이터에서의 임의의 이상 값은 머신 러닝 모델을 교육 이전에 감지되거나, 또는 배포된 머신 러닝 모델의 생산에서 입력값으로 사용될 수 있다.

b) 용광로의 열 상태 및 고온 금속 생산 KPIs(핵심 성과 지표) 예측을 위한 ML

c) 충전 매트릭스 최적화를 위한 ML

d) 송풍구 카메라 기반 공정 검사를 위한 ML

e) 최적 운전을 위한 탭 홀 오프너 추천을 위한 ML

f) TMT SOMA-기반 현상 감지 및 KPI 계산/예측을 위한 ML

g) 공정 엔지니어, 또는 지도된 또는 비지도된 머신 러닝 또는 패턴 감지 모델에 의하여 정의되는 공정 규칙(잠재적으로 머신 러닝 모델에 의하여 생성되는 출력값을 사용함)에 의한 현상 라벨링을 위한 ML

h) g)에서 생성된 라벨로부터의 현상 예측을 위한 ML

i) 공정 예측을 위한 ML

j) 예측 및 권고 유지보수를 위한 ML

k) 고급 상환 표현 학습을 위한 ML: 환경 센서는 상기한 요구되는 사용 케이스를 위하여 데이터 세트를 보강하기 위하여 사용되는 표현을 학습하기 위하여 비지도된 딥 러닝 모델을 훈련시키기 위하여 사용될 수 있다.

도 7은 3 h 내의 고온 금속의 온도를 예측하는 머신 러닝 모델을 교육하기 위하여 DA140을 구현하는 접근방법을 보다 구체적으로 보여준다. 도 7은 기본 모델로 언급되는 복수의 머신 러닝 모델의 예측 BMP 704으로부터 머신 러닝 모델 MLT을 훈련시켜 706, 시간상 미래 지점(예를 들어 3 시간 내)에서의 고온 금속의 온도를 예측한다. 기본 모델들은 훈련되어 703, 측정된 원시 데이터를 보강하는 예측을 생성한다.

이와 같은 목적을 위하여, 복수의 기본 모델들이 변수들(공정 변수들 701 및/또는 상황적 변수들 702), 및/또는 머신 러닝 알고리즘들의 다른 선택들을 갖고 훈련된다 703. 공정 변수들 701은 용광로에서 직접 각각의 센서들에 의하여 측정되는 원시 데이터(운전 데이터)들이다. 상황적 변수들 702은 노이즈, 이미지 등과 같은 환경 변수들을 측정하는 임의의 다른 센서들에 의하여 측정된다. 공정 변수들 및 상황적 변수들은 머신 러닝 모델들을 훈련시키기 위하여 가능한 변수들이다.

각 기본 모델은 MLT를 교육 706(일반적으로, 3 h 동안 고온 금속의 온도보다 또 다른 파라미터를 예측하기 위하여 임의의 머신 러닝 모델을 교육하기 위한)하기 위하여 사용될 수 있는 출력 704, 705를 제공하여 무엇이 기본 모델들의 임의의 예측보다 더 나은지에 대한 질문에 대한 파라미터의 예측을 제공한다. 기본 모델들의 목적은 보다 정확한 예측 모델(즉, MLT와 같은 메타 모델)을 교육하기 위한 추가적인 정보를 제공하는 것이다. 예측 모델 MLT은 또한 공정 및 상황적 변수들 701, 702을 입력값을 사용하여 어떠한 용광로의 상태를 위하여 어떠한 기본 모델들의 조합이 가장 적절한지를 학습한다. 즉, 메타 모델은 모든 기본 모델들의 출력들을 어떻게 조합하여 특정 용광로 상태 파라미터의 예측을 어떻게 보다 정확하게 할 수 있는지를 학습한다. 일부 기본 모델들은 3 h 내의 고온 금속의 온도를 예측하지 않을 수 있으나, 고온 금속의 온도의 경향성을 예측할 수 있고, 예를 들어, 온도가 증가할 것인지, 감소할 것인지, 안정화될 것인지를 예측할 수 있고, 또는 이들은 가까운 미래 시점에 특정 공정 이벤트가 발생하는 것을 예측하는 등을 수행할 수 있다. 다시 말해, 기본 모델들은 출력으로서, 추가적인 정보를 생성하고, 이는 공정(공정 정보 PI 705)과 관련되거나, 또는 이미 고온 금속의 온도를 위한 기본 모델 예측 BMP 704 또는 고온 금속의 온도의 특징(예: 경향성 예측)이다. 일단 MLT가 다양한 기본 모델들의 출력값에 기초하여 훈련되면 706, 이는 임의의 기본 모델들(BMP 704)보다 정확한 예측 MLTP 705을 제공한다.

예를 들어, 공정 정보 PI 705는 클러스터, 공정 현상, 공정/상황적 변수, 또는 특징들을 포함하나, 이에 한정되지는 않는 범위 [0, 6h]에서의 특징 예측과 같은 MLT를 위한 입력 정보를 제공할 수 있다. 이와 같은 출력들은 공정과 관련되고, 및 MLT에 의하여 예측된 고온 금속의 온도와 잠재적으로 더 연관성을 갖는 새로운 입력값을 제공한다. 고온 금속의 온도를 위한 기본 모델 예측 BMP 704은 3 시간 및 6 시간 내의 고온 금속의 온도의 경향성(예를 들어, 높은 증가, 중간 정도의 증가, 낮은 증가, 안정, 낮은 감소, 중간 정도의 감소, 높은 감소), 또는 상기 시간 범위 동안의 예측되는 고온 금속 생산 품질과 같은 정보를 제공할 수 있다. BMP 704는 기본 모델들의 출력값이고, MLT의 출력, 이의 동일 출력 또는 이의 특징들과 직접 연관된다. 동일 출력의 예는 “3 h 내의 고온 금속의 온도”이고, 및 그 출력의 특징의 예는 기본 모델에 의하여 예측되는 “온도의 경향성”이 될 수 있다.

다음에서, 머신 러닝 모델들의 상기 리스트의 일부 예들이 보다 구체적으로 기술된다.

고급 데이터 검증:

데이터 검증 피라미드는 다음에서 기술되는 바와 같이 여러 수준의 데이터 검증 레벨들에 의하여 정의될 수 있고, 피라미드의 가장 낮은 수준의 레벨에서 시작하여, 가장 높은 수준의 레벨로 끝난다.

- 센서 유지 및 보정: 센서 유지 및 보정을 위한 공정이 구현될 수 있다. 인공 지능(AI)이 도입되어 유지 작업을 최적화하여 계획할 수 있고, 및 가능한 오래 작동 모드에서 센서를 유지하도록 수행되는 최적의 조치를 권장할 수 있다.

- 개별 센서 신호에 대한 공정 최소/최대값: 이상 감지의 첫번째 레벨은 원시 데이터의 각 센서 신호를 위하여 허용되는 최소 및 최대 값의 정의이다. 최소 및 최대 값은 일정하고, 따라서, 공정 작동과 독립적이다. 조건 기반 공정 최소/최대 값은 일부 컨택스트를 가져오기 위하여 공정 전문가에 의하여 정의된 규칙으로 구성될 수 있다.

- 개별 센서 신호에서 특이값 및 이상값의 감지: 이하의 특정 방법들은 증가되는 복잡성을 갖고 열거된다:

i) 통계적 진폭 특이값:

공정 전문가에 의하여 구체화되고, 및 정의상, 센서에 의하여 기록되는 시계열의 전형적인 자기-상관 깊이에 기초하는 길이 L의 이동하는 잠정 윈도우 내의 평균 값으로부터 진폭상 이동된 값인 포인트 이상값을 감지하는 데이터 분석 방법.

ii) 지도된 이상값 감지:

지도된 알고리즘은 이상값을 감지하기 위하여 센서 신호에서 알려진 패턴을 학습한다.

iii) 비지도된 특이값 감지:

이 카테고리의 방법은 특징들이 센서 신호로부터 계산된 이후, 클러스터링 알고리즘을 적용함에 의하여 특이값들을 감지한다. 따라서, 이와 같은 접근은 주어진 컨택스트를 위한 비정상적 진폭값들에 한정되지 않고, 또한 스펙트럴 정보, 또는 특징들에 의하여 정의되는 임의의 다른 특성들도 고려할 수 있다.

- 다중 센서 신호상 이상 감지: 많은 수의 센서들 때문에, 중복된 센서 신호들 사이의 수동적 교차 확인은 데이터 내에서 복잡한 상황적 이상을 감지하기 위하여 충분하지 않다. 규칙-기반 접근은 일반적으로 제한되는데, 왜냐하면 단지 알려진 관계만이 검증되기 때문이다. 동일한 제한 상이 알려진 이상점을 감지하도록 훈련된 지도된 데이터-기반 모델을 위하여 적용된다. 비지도된 데이터-기반 접근이 임의의 검증 단계를 보충하여 알려진 및 알려지지 않은 이상의 감지를 보장한다. 상황적 이상은 센서 신호들 사이의 관련성을 학습한 데이터-기반 모델에 의하여 감지될 수 있고, 따라서, 센서의 측정이 공정에 의하여 정의되는 바와 같이 주어진 콘텍스트에서 이의 일반적인 작동으로부터 벗어나는지를 감지할 수 있다. 비지도된 데이-기반 이상 감지와 조합된 머신 러닝에 의하여 인과관계 탐색은 루트 원인 분석을 가능하게 한다.

- 센서와 시뮬레이션 모델 결과들의 교차 확인: 공정을 기술하는 시뮬레이션 모델이 가능한 경우, 센서의 원시 데이터와 모델 결과의 교차 확인은 전문가 수준의 자율 데이터 검증을 제공한다. 이와 같은 검증은 그러나, 시뮬레이션 모델 가정에 내제된 작동 조건에 제한된다.

데이터 검증 피라미드는 수신된 운전 데이터(원시 데이터)의 이상을 감지하는 것을 목표로 한다. 이상값은 불량 센서에 관련될 수 있고, 또는 공정에 관련될 수 있다. 공정 이상의 경우에, 이들의 적절한 감지 또는 예측을 위한 “퓨-샷 러닝(Few-Shot Learning)”과 같은 특정 머신 러닝 모델들의 개발을 위하여 드문 공정 이벤트가 적절하게 라벨될 수 있다. FSL은 알려진 머신 러닝 페러다임으로, 지도된 정보를 갖는 제한된 수의 예들로부터 학습한다. 불량 센서들과 관련된 이상으로부터 공정 이상을 차별화하는 것을 목적으로 하는 방법은 루트 원인 분석이다. 이상의 감지를 초래하게 되는 원인 관계 분석은 이상을 공정 또는 센서 관련 이상으로 분류할 수 있다. 이를 위하여, 공정 엔지니어는 규칙 또는 머신 러닝 모델을 정의하고, 및 준-지도된 분류기는 원인 관계 및 상기한 규칙에 의하여 생성된 라벨로부터 훈련된다.

용광로 열 상태 예측:

이는 도 7의 예에서의 방법에 의하여 사용된 머신 러닝 모델 MLT와 관련된다. MLT는 용광로의 열 상태의 미래값에 관한 정보 및 고온 금속 생산의 특성에 대한 정보를 제공한다. 용광로의 열 상태 또는 고온 금속 생산의 특성들을 예측하는데 유용한 관련 공정 변수 및 다른 상황적 변수들로부터, MLT는 훈련되어, 주어진 시간 대에 대하여 다음의 지표들을 예측한다:

- 3 h 및 6 h 동안의 고온 금속의 온도 경향: 큰 증가, 중간 증가, 낮은 증가, 안정적, 낮은 감소, 중간 감소, 높은 감소

- 미래의 1 h로부터 6 h까지의 복수의 시간 대에서 고온 금속 실리콘 함량 예측

- 미래의 1 h로부터 6 h까지의 복수의 시간 대에서 고온 금속 품질

모델은 각 캐스트를 위하여 수동으로 측정되거나, 또는 전용 센서에 의하여 자동적 방식으로 연속적으로 측정되는 고온 금속의 온도로 훈련될 수 있다. 앙상블 모델링 접근법은 복수의 기본 모델들의 예측을 새로운 입력값으로 조합하여 구현될 수 있고, 이를 통하여 메타 모델 MLT를 훈련시켜 감소된 예측 편향 또는 예측 분산을 갖는 예측을 도출할 수 잇다.

충전 매트릭스 최적화:

부하 분배는 코크 비율을 최소화하고, 및 CO2 배출을 줄이기 위하여 작동자가 가스 이용률(etaCO)을 최적화하기 위하여 가용한 가장 중요한 액츄에이터 중 하나이다. 부하 분배는 항상 용광로 작동에 맞게 조정되어야 하고, 및 최적의 가스 이용률, 부드러운 부하 하강 및 벽/스테이브(스킨플로우) 온도 사이의 타협점이다.

오늘날, 일부 플랜트는 부하 분배 모델을 사용하여 부하 프로파일에 대한 주어진 충전 매트릭스의 효과를 평가하고, 및 용광로 입구 직경을 가로지르는 C/(O+C) 비율을 결정한다. 이와 같은 정보는 가치가 있고, 응집 영역에서의 온도 프로파일에 대한 합리적인 유용한 힌트를 제공한다. 그럼에도 불구하고, 모델에서 충전 매트릭스를 정의하는 것은 간단하지 않고, 및 모델은 단지 주어진 작동에서 최적의 충전 매트릭스를 찾는데 제한적인 도움만을 제공한다.

충전 매트릭스는 작동자에 의하여 정의되어, 용광로에 물질들을 최적으로 분배한다. 이를 위하여, 충전 매트릭스는 슈트 기울기 및 각 물질 타입을 위한 회전 수와 같은 파라미터들을 포함한다. 머신 러닝 모델은 훈련되어 로의 현재의 열 상태, 이의 예측되는 지화 방향 및 이의 생산 KPIs에 따라 최적의 충전 매트릭스를 예측한다. 충전 매트릭스 예측 모델은 머신 러닝 모델을 훈련시킬 단일 용광로를 위한 충전 매트릭스 요소의 충분한 변화가 없는 경우, 복수의 용광로들의 원시 데이터로부터 훈련될 수 있다.

송풍구 카메라-기반 공정 검사:

이 예는 도 8과 관련된다. 송풍구 카메라에 의하여 제공되는 이미지 801은 컨벌루션 신경망(CNN)과 컴퓨터 비젼 803의 조합에 의하여 분석되고, 컴퓨터 비젼을 CNN-기반 영역 분류기 802에 의하여 감지된 영역(예를 들어, 분류된 이미지 801c에서 원, 랜스, 주입 영역)에 적용함에 의하여 현상 804을 감지하는 것을 목적으로 한다. 송풍구 이미지 801와 함께, 감지된 현상 라벨은 그 후 공정 현상을 예상하기 위하여 훈련되는 추가적인 딥 러닝 모델 805에 대한 입력값으로 제공될 수 있다.

머신 러닝을 이용하는 또 다른 송풍구 이미지 시퀀스 분석의 적용은 시공간 특징을 인코딩하여 강화학습 모델을 위한 환경을 정의하는 용광로 상태의 표현을 풍부하게 하는 것이다. 그 목적을 위하여, 멀티모달 학습 808은 이미지 801, 다변량 시계열 806, 및 소리 807와 같은 이종의 데이터로부터 환경의 표현 809을 학습하기 위한 방법으로 사용될 수 있다. 이는 모드의 독립성을 가정하는 유니모달 머신 러닝과 비교하여 고급의 접근 방식을 가능하게 한다.

최적 운전을 위한 탭 홀 오프너 추천:

탭핑의 파라미터화(예: 클레이 타입 등) 뿐만 아니라 탭핑의 스케줄링도 머신 러닝 모델에 의하여 추천될 수 있다.

TMT SOMA-기반 현상 감지 및 KPI의 계산:

SOMA는 용광로의 상부에서 온도 분포에 대한 2D 정보를 제공하기 위한 장비이다. 온도 맵은 예측의 목적을 위하여 잠재적으로 머신 러닝 모델과 조합된 기계 비젼 알고리즘에 의하여 처리될 수 있다. 카메라-기반 송풍구 검사를 위하여 도 8에서 설명되는 바와 같은 처리 파이프라인은 SOMA에도 적용될 수 있다.

현상 라벨링 및 예측:

공정 현상을 위한 라벨을 생성하는 것은 풍부한 정보를 생성하는 것을 보장하여, RILM 130의 작동과 환경 사이의 관계에 대한 학습을 개선한다. 라벨은 공정 엔지니어의 의하여, 또는 공정 엔지니어에 의하여 히스토리컬 데이터로부터 선택되는 패턴으로 훈련되는 패턴 감지 모델에 의하여 정의되는 규칙에 의하여 생성될 수 있다. 패턴의 발생은 단일 변수 또는 다변량 시계열 데이터를 위하여 동적 시간 묶음(Dynamic Time Wrapping)과 같은 알고리즘에 의하여 감지될 수 있고, 또는 각각의 머신 러닝 모델을 훈련시키는 특징들의 정의에 의하여 감지될 수 있다. RILM 모델에 하이 레벨 상황적 정보를 제공하는 것에 더하여, 이와 같은 라벨은 현상의 조합의 발생을 감지하기 위하여 머신 러닝 모델을 훈련시키는데 사용될 수 있고, 또는 단일 현상 또는 현상의 조합의 발생을 예측하기 위하여 사용될 수 있다. 생성된 라벨로부터 지도된 머신 러닝 모델을 교육하는 것은 충분한 변동성을 갖는 충분한 라벨들이 있는 것을 요구한다.

예측 및 처방 유지보수:

머신 러닝 모델은 훈련되어 유지 보수를 예측하고, 유지 보수를 연기하기 위하여 취하여 지는 작동을 추천하여, 용광로 또는 용광로와 관련된 임의의 자산의 수명을 연장시킬 수 있다. 이를 위하여, 복수의 접근법이 알려져 있고, 예를 들어, 자산에 대하여 "잔여 유용 수명" 또는 "고장 전까지의 시간"을 예측하기 위하여 지도된 학습을 적용하는 것이 있다. 비지도된 학습 모델은 드문 이벤트를 감지하고, 지도된 모델이 해당 드문 이벤트를 예측하도록 교육하기 위하여 사용되는 교육 데이터 세트를 잠정적으로 클러스터하기 위하여 훈련될 수 있다. 예측의 루트 원인 분석은 과거의 유지 보수들로부터 기록된 유지 작동으로 훈련된 자동화 시스템이 유지 보수를 지연시키기 위하여 가장 잘 알려진 작동을 처방하도록 한다.

고급 상황 표현 학습:

강화학습 모델은 환경을 더 잘 모델링하고, 그 환경을 위하여 취하여 지는 최적의 조치를 학습하기 위하여 컨텍스트의 표현이 필요하다. 이를 위하여, 복수의 센서들이 개발될 수 있고, 로 90 주변에 배치되어 이미지 (카메라 센서 91), 음향파(소리 센서 92), 진동(진동 센서 93)를 기록하고, 및 도 9에 도시된 바와 같이 다른 위치에서 공기(가스 센서 94)를 분석할 수 있다. 각각의 멀티모달 시계열은 딥 러닝 네트워크에 의하여 분석되어 콘텍스트의 유의미한 표현을 추출할 수 있고, 이는 잠재적으로는 용광로의 공정 데이터 또는 물질 설명 데이터와 조합될 수 있다. 물질 설명 데이터는 물질의 화학적 분석, 및 용광로의 열적 규정에 영향을 줄 수 있는 다른 특징들에 대응된다.

FIG. 10은 본 기술과 함께 사용될 수 있는 일반적인 컴퓨터 장치 900 및 일반적인 모바일 컴퓨터 장치 950의 예를 보여주는 다이어그램이다. 컴퓨팅 장치 900은 노트북, 데스크톱, 워크스테이션, 개인용 디지털 어시스턴트, 서버, 블레이드 서버, 메인프레임 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내는 것으로 의도된다. 이 일반적인 컴퓨터 장치는 FIG. 1의 컴퓨터 시스템 100과 대응될 수 있다 900. 컴퓨팅 장치 950은 개인용 디지털 어시스턴트, 휴대 전화, 스마트폰, 운전 지원 시스템 또는 차량의 보드 컴퓨터(예: 차량 401, 402, 403, cf. FIG. 1) 및 기타 유사한 컴퓨팅 장치의 다양한 형태를 나타내는 것으로 의도된다. 예를 들어, 컴퓨팅 장치 950는 사용자(예: 용광로 작업자)가 컴퓨팅 장치 900와 상호 작용하기 위한 프론트엔드로 사용될 수 있다. 여기에 표시된 구성 요소, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 문서에서 기술 및/또는 청구하는 발명의 구현을 제한하는 것은 아니다.

컴퓨팅 장비 900는 프로세서 902, 메모리 904, 저장장치 906, 메모리 904 및 고속 확장 포트 910에 연결되는 고속 인터페이스 908, 및 저속 버스 914 및 저장 장치 906에 연결되는 저속 인터페이스 912를 포함한다. 구성 요소들 902, 904, 906, 908, 910, 및912 각각은 다양한 버스들을 이용하여 상호 연결되고, 일반적인 마더보드에 장착되거나 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서 902는 컴퓨팅 장비 900 내에서 수행을 위한 지시를 처리할 수 있고, 이는 메모리 904 또는 저장 장치 906에 저장된 지시를 포함할 수 있고, 이를 통해 고속 인터페이스 908에 커플링된 디스플레이 916와 같은 외부 입력/출력 장치 상에 GUI를 위한 그래픽 정보를 표시할 수 있다. 다른 구현에서, 복수의 프로세서들 및/또는 복수의 버스들이 적절하게 복수의 메모리들 및 메모리 종류들과 함께 사용될 수 있다. 또한, 복수의 컴퓨팅 장비들 900이 연결될 수 있고, 이때 각각의 장비들은 필요한 작동의 부분을 제공할 수 있다(예를 들어 서버 뱅크, 일군의 블레이드 서버, 또는 멀티-프로세서 시스템으로).

메모리 904는 컴퓨팅 장비 900 내에서 정보를 저장한다. 다른 구현에서는, 메모리 904는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서는 메모리 904는 비휘발성 메모리 유닛 또는 유닛들이다. 메모리 904는 또한 자기 또는 광학 디스크와 같이 다른 형태의 컴퓨터-가독성 매체일 수 있다.

저장 장치 906는 컴퓨팅 장비 900를 위한 대량 저장소를 제공할 수 있다. 일 구현예에서, 저장 장치 906는 플로피 디스크, 하드 디스크 장치, 광학 디스크 장치, 또는 테이 장치, 플래쉬 메모리, 또는 다른 유사한 고상 메모리 장치, 또는 저장 에어리어 네트워크 또는 다른 구조의 장치를 포함하는 장치 배열과 같은 컴퓨터-가독성 매체이거나 또는 이를 포함할 수 있다. 컴퓨터 프로그램 프로덕트는 정보 캐리어에서 구체적으로 구현될 수 있다. 컴퓨터 프로그램 프로덕트는 또한 수행될 때, 상기한 것들과 같은 하나 이상의 방법들을 수행하는 지시를 포함할 수 있다. 정보 캐리어는 메모리 904, 저장 장치 906, 또는 프로세서 902 상의 메모리와 같은 컴퓨터- 또는 기계-가독성 매체이다.

고속 제어기 908는 컴퓨팅 장비 900를 위한 대역폭-집약적 작업을 관리하고, 반면, 저속 제어기 912는 더 낮은 대역폭-집약적 작업을 관리한다. 이와 같은 기능들의 할당은 예시적일 뿐이다. 하나의 구현예에서, 고속 제어기 908는 메모리 904, 디스플레이 916(예를 들어, 그래픽 프로세서 또는 가속기를 통하여), 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트910에 연결된다. 해당 구현예에서, 저속 제어기 912는 저장 장치 906 및 저속 확장 포트 914에 연결된다. 저속 확장 포트는 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 와이어리스 이더넷)을 포함할 수 있고, 키보드, 포인팅 장치, 스캐너와 같은 하나 이상의 입력/출력 장비 또는 예를 들어 네트워크 어뎁터를 통하여 스위치 또는 라우터와 같은 네트워킹 장비에 연결될 수 있다.

컴퓨팅 장비 900는 도면에 도시된 바와 같이 다양한 서로 다른 형태로 구현될 수 있다. 예를 들어, 표준 서버920로 구현될 수 있고, 또는 이와 같은 서부의 군으로 복수로 구현될 수 있다. 또한 이는 랙 서버 시스템 924의 일부로 구현될 수 있다. 추가로, 랩탑 컴퓨터 922와 같은 퍼스널 컴퓨터에서 구현될 수 있다. 대안으로, 컴퓨팅 장비 900로부터의 구성 요소들은 장치 950과 같은 모바일 장치(미도시)로 다른 요소들과 조합될 수 있다. 이와 같은 장치들 각각은 하나 이상의 컴퓨팅 장비 900, 950를 포함할 수 있고, 및 전체 시스템은 서로 통신하는 복수의 컴퓨팅 장비 900,950로 구성될 수 있다.

컴퓨팅 장비 950는 다른 구성요소들과 함께, 프로세서 952, 메모리 964, 디스플레이 954와 같은 입력/출력 장치, 통신 인터페이스 966, 및 송수신장치 968을 포함한다. 장비 950는 또한 마이크로드라이브 또는 다른 장치와 같은 저장 장치와 함께 제공되어, 추가적인 저장을 제공할 수 있다. 구성요소들 950, 952, 964, 954, 966, 및 968 각각은 다양한 버스들을 사용하여 상호 연결되고, 및 구성요소들 중 일부는 일반적인 마더보드에 장착되거나, 또는 적절한 다른 방법으로 장착된다.

프로세서 952는 컴퓨팅 장비 950 내에서 지시를 수행할 수 있고, 이는 메모리 964에 저장된 지시를 포함한다. 프로세서는 분리된 복수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 침셋으로서 구현될 수 있다. 프로세서는 예를 들어 장비 950의 다른 구성요소들의 조율을 위하여 제공될 수 있고, 예를 들어, 유저 인터페이스의 제어, 장비 950에 의하여 실행되는 응용프로그램의 제어, 및 장비 950에 의한 무선 통신의 제어를 위하여 제공될 수 있다.

프로세서 952는 제어 인터페이스 968 및 디스플레이 954에 연결된 디스플레이 인터페이스 956을 통하여 사용자와 통신할 수 있다. 디스플레이 954는 예를 들어, TFT LCD (박막 트랜지스터 액정 디스플레이) 또는 OLED (유기발광다이오드) 디스플레이, 또는 다른 적절한 디스플레이 기술이다. 디스플레이 인터페이스 956는 디스플레이 954가 사용자에게 그래픽 및 다른 정보를 제시할 수 있게 구동되도록 적절한 회로를 포함할 수 있다. 제어 인터페이스 958는 사용자로부터 명령을 수신할 수 있고, 이를 프로세서 952에 제공하기 위하여 변환할 수 있다. 추가로, 외부 인터페이스 962는 프로세서 952와 통신하도록 제공되어, 다른 장치들과의 장비 950의 근거리 영역 통신을 가능하게 할 수 있다. 외부 인터페이스 962는 예를 들어, 일부 구현예에서는 유선 통신을 위하여 제공될 수 있고, 또는 다른 구현예에서는 무선 통신을 위하여 구현될 수 있고, 및 복수의 인터페이스가 또한 사용될 수 있다.

메모리 964는 컴퓨팅 장비 950 내에서 정보를 저장한다. 메모리 964는 하나 이상의 컴퓨터-가독성 매체, 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 또는 비 휘발성 메모리 유닛 또는 유닛들로 구현될 수 있다. 확장 메모리 984는 또한 제공될 수 있고, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스 982를 통하여 장비 950에 연결될 수 있다. 이와 같은 확장 메모리 984는 장비 950을 위하여 추가적인 저장 공간을 제공할 수 있고, 또는 또한 장비 950을 위한 응용프로그램 또는 다른 정보를 저장할 수 있다. 구체적으로, 확장 메모리 984는 상기한 처리를 수행하거나 보충하는 지시를 포함할 수 있고, 및 또한 보안 정보도 포함할 수 있다. 따라서, 예를 들어, 확장 메모리 984가 장비 950을 위한 보안 모듈로 작동할 수 있고, 장비 950의 보안 사용을 허용하는 지시로 프로그램될 수 있다. 추가로, 해킹 불가 방식으로 SIMM 카드 상에 식별 정보를 제공하는 것과 같이, 보안 응용프로그램이 다른 정보와 함께 SIMM 카드를 통하여 제공될 수 있다.

메모리는 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있으며, 아래에서 설명한다. 구현예 중 하나에서, 컴퓨터 프로그램 프로덕트는 정보 캐리어에서 유형적으로 구현된다. 컴퓨터 프로그램 프로덕트는 하나 이상의 방법(위에서 설명한 방법 등)을 수행하는 지시를 포함한다. 정보 캐리어는 예를 들어 메모리 964, 확장 메모리 984 또는 프로세서 952의 메모리와 같은 컴퓨터 또는 기계 판독 가능한 매체이고, 예를 들어 송수신장치 968 또는 외부 인터페이스 962를 통해 수신될 수 있다.

장비 950는 통신 인터페이스 966을 통해 무선으로 통신할 수 있으며, 필요한 경우 디지털 신호 처리 회로를 포함할 수 있다. 통신 인터페이스 966은 GSM 음성 통화, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜로 통신을 위하여 제공될 수 있다. 이러한 통신은 예를 들어 무선 주파수 송수신기 968을 통해 발생할 수 있다. 또한 Bluetooth, WiFi 또는 기타 이러한 송수신기(미도시)를 사용하여 짧은 거리 통신이 발생할 수도 있다. 또한 GPS(Global Positioning System) 수신 모듈 980은 장비 950에 위치 및 위치 관련 무선 데이터를 추가로 제공할 수 있으며, 장비 950에서 실행되는 애플리케이션에서 적절하게 사용될 수 있다.

장비 950은 오디오 코덱 960을 사용하여 소리를 통하여 통신할 수도 있다. 이 코덱은 사용자로부터 말로 된 정보를 수신하여 사용 가능한 디지털 정보로 변환할 수 있다. 또한 오디오 코덱 960은 장비 950의 핸드셋과 같은 스피커를 통해 사용자를 위한 소리를 생성할 수 있다. 이러한 소리는 음성 전화 통화에서의 소리뿐만 아니라, 녹음된 소리(예: 음성 메시지, 음악 파일 등) 및 장비 950에서 작동하는 응용 프로그램에서 생성되는 소리를 포함할 수도 있다.

도면에서 보여지는 것처럼, 컴퓨팅 장비 950는 여러 가지 형태로 구현될 수 있다. 예를 들어, 휴대전화 980으로 구현될 수 있다. 또는 스마트폰 982, 개인용 디지털 어시스턴트 또는 기타 유사한 모바일 장치의 일부로 구현될 수 있다.

여기에서 설명된 시스템 및 기술의 다양한 구현은 디지털 전자 회로, 통합 회로, 특별히 설계된 ASIC(응용 프로그램 특수 통합 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 특별하거나 또는 일반적인 목적으로, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 지시를 수신하거나 또는 이들로 데이터 및 지시를 전송하기 위하여 연결되는 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 가능하고/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.

이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)은 프로그램 가능한 프로세서에 대한 기계 지침을 포함하며, 고급 절차적 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현될 수 있다. 여기에서 사용되는 용어 "기계 가독성 매체" 및 "컴퓨터 가독성 매체"는 프로그램 가능한 프로세서에 기계 지침 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 프로덕트, 장비 및/또는 장치(예: 자기 디스크, 광학 디스크, 메모리, 프로그래밍 가능한 논리 장치(PLD))를 가리키고, 기계-가독성 신호로서 기계 지시를 수신하는 기계-가독성 매체를 포함한다. “기계 가독성 신호”라는 용어는 프로그램 가능한 프로세서에 기계 지침 및/또는 데이터를 제공하는 데 사용되는 임의의 신호를 가리킨다.

사용자와의 상호작용을 제공하기 위하여, 상기한 시스템 및 기술들은 정보를 사용자에게 보여주기 위한 디스플레이 장치(예를 들어, CRT(cathode ray tube) 또는 LCT(liquid crystal display) 모니터) 및 사용자가 입력값을 컴퓨터에 제공할 수 있는 키보드 및 포인팅 장치(예를 들어, 마우스, 트랙볼)를 갖는 컴퓨터에서 구현될 수 있다. 다른 형태의 장치는 또한 사용자와의 상호작용을 제공하기 위하여 사용될 수 있고; 예를 들어, 사용자에게 제공되는 피드백은 임의 형태의 감각적 피드백일 수 있고(예를 들어, 시각적 피드백, 소리 피드백, 또는 촉각적 피드백), 및 사용자로부터의 입력은 소리, 말, 또는 촉각적 입력으로부터의 임의의 방식으로 수신될 수 있다.

여기서 기술된 시스템 및 기술들은 백앤드 구성(예를 들어 데이터 서버)를 포함하는, 또는 미들웨어 구성(예를 들어, 어플리케이션 서버)을 포함하는, 또는 프론트앤드 구성(예를 들어, 사용자가 여기서 언급되는 시스템 및 기술들의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우져를 갖는 클라이언트 컴퓨터)을 포함하는 컴퓨팅 장비에서 구현될 수 있고, 또는 상기 백앤드, 미들웨어, 또는 프론트 앤드 구성들의 임의의 조합에 의하여 구현될 수 있다. 시스템의 구성들은 디지털 데이터 통신(예를 들어, 통신 네트워크)의 임의의 형태에 의하여 상호연결될 수 있다. 통신 네트워크의 예는 로컬 영역 네트워크(“LAN”), 광역 네트워크(“WAN”), 및 인터넷을 포함한다.

컴퓨팅 장비는 클라이언트 및 서버를 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로로부터 원격으로 위치하고, 및 특히 통신 네트워크를 통하여 상호작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 작동하고, 서로에 대한 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의하여 발생한다.

수많은 구체예들이 기술되었다. 그럼에도, 다양한 변화가 본 발명의 정신 및 범위를 벗어나지 않으면서도 이루어질 수 있다는 것이 이해될 것이다.

추가로, 도면에 도시된 논리의 흐름은 원하는 결과를 얻기 위한 특정한 보여지는 순서, 또는 시간적인 순서를 요구하는 것은 아니다. 또한, 다른 단계들이 제공될 수 있고, 또는 단계들은 설명된 흐름에서 제거될 수 있고, 및 다른 구성들이 설명된 시스템에 추가되거나 또는 이로부터 제거될 수 있다. 따라서, 다른 구체예들이 다음의 청구항들의 범위 내에 포함된다.

Claims (15)

1. 용광로의 열 제어를 위한 운전 지침을 제공하기 위하여 강화학습 모델(130)을 교육하기 위한 컴퓨터-구현 방법이되, 상기 방법은 다음을 포함하는 방법:
   도메인에 관계없이 임의의 용광로들(BF1 내지 BFn)의 열 상태를 대표하는 제1 도메인 불변 데이터 세트(22)를 생성하기 위하여, 전이학습에 의하여 훈련된 도메인 적응 머신 러닝 모델(110)에 의하여 다변량 시계열로서 얻어지고, 복수의 도메인들의 각각의 용광로들(BF1 내지 BFn)의 열 상태를 반영하는 히스토리컬 운전 데이터(21)를 처리하는 단계;
   일반적인 용광로 프로세스의 변동 모델(121)을 사용함에 의하여 특정 열 제어 작업(26a)을 위한 일반적인 용광로(Bfg)의 열 상태를 반영하는 다변량 시계열로서 인공적 운전 데이터(24a)를 생성하되, 변동 모델(121)은 일반적인 용광로의 각각의 물리적, 화학적, 열적, 및 유동 조건을 반영하고, 및 열, 질량 및 운동량 전달을 교환하는 동안에 일반적인 용광로에서 구조화되는 상승하는 가스 유동 및 고상 층들의 하방 이동을 위한 솔루션을 제공하는 단계;
   히스토리컬 운전 데이터(21)의 다변량 시계열로 훈련된 생성 딥 러닝 네트워크(122)에 의하여 인공적 운전 데이터(24a)를 처리하여, 히스토리컬 운전 데이터(21)로부터 학습된 특징들을 인공적 운전 데이터(24a)로 전달함에 의하여 제2 도메인 불변 데이터 세트(23a)를 생성하는 단계;
   강화학습 모델(130)이 병합된 제1 및 제2 도메인 불변 데이터 세트들(22,23a)을 처리함에 의하여 주어진 목적 함수의 관점에서 특정 열 제어 작업(26a)을 위한 보상(131)을 결정(1400)하는 단계; 및
   보상(131)에 따라, 수정된 파라미터들(123-2)에 기초한 제2 도메인 불변 데이터 세트를 재-생성(1300)하되, 유전 검색 및/또는 베이지안 최적화 알고리즘(123-1)이 강화학습 모델(130)의 현재의 환경(25a)에 기초한 추가적인 열 제어 작업, 및 현재의 학습 단계의 열 제어 작업(26a) 출력을 위한 수정된 파라미터들을 위한 검색을 유도하고, 및 하나 이상의 용광로들의 각각의 운전 상태를 위하여 적용되는 최적화된 열 제어 작업들을 위한 최적화된 운전 지침들을 학습하기 위하여 결정(1400) 단계를 반복하는 단계.
   
2. 제1항에 있어서,
   강화학습 모델(130)이 특정 용광로의 현재의 운전 상태 데이터에 기초하여 운전 중인 특정 용광로의 적어도 하나의 액츄에이터를 위한 최적화된 운전지침을 예측(1700)하는 단계;
   최적화된 운전 지침에 따른 열 제어 작업을 적어도 하나의 액츄에이터에 적용한 후, 열 제어 작업 수행 이후의 특정 용광로의 새로운 상태에 기초하여 보상을 결정(1400)하는 단계; 및
   만약, 보상이 기설정된 임계값 미만인 경우, 변동 모델을 이용하여, 강화학습 모델의 재교육을 위하여 하나 이상의 대안적 운전 지침들을 위한 제2 도메인 불변 데이터를 재-생성하는 단계를 더 포함하는 방법.
   
3. 제1항 또는 제2항에 있어서, 도메인 적응 머신 러닝 모델(110)은 제1 도메인 불변 데이터 세트로서 히스토리컬 운전 데이터(21)로부터 도메인 불변 특징들을 추출하기 위하여 훈련되는 컨벌루션 및/또는 순환 레이어를 갖는 생성 딥 러닝 신경망에 의하여 구현되는 방법.
   
4. 제1항 또는 제2항에 있어서, 도메인 적응 머신 러닝 모델(110)은 복수의 용광로들(BF1 내지 BFn)으로부터의 대응되는 원시 데이터의 참조 용광로로의 복수의 맵핑들을 학습함에 의하여 훈련되되, 각각의 맵핑은 각각의 용광로의 참조 용광로로의 변환의 표현이고, 및 복수의 맵핑들은 제1 도메인 불변 데이터 세트에 대응되는 방법.
   
5. 제4항에 있어서, 도메인 적응 머신 러닝 모델(110)은 사이클GAN 아키텍쳐에 기초하는 생성 딥 러닝 아키텍쳐에 의하여 구현되는 방법.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 강화학습 모델은 최적화된 운전 지침을 학습하기 위하여 훈련되어, 연관된 목적 측정치는 대응되는 다차원 목적 함수를 위한 파레토 프론트로부터 기설정된 범위 내에 있는 방법.
   
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 변동 모델(121)은 복수의 계산 셀들을 포함하고, 각 셀은 원료 물질들의 하나의 충전을 포함하는 일반적인 용광로의 각각의 레이어를 나타내고, 각각의 계산 셀은 각각의 반복 시간 간격에서 상대적인 기상 파라미터 오차를 만족하기 위하여 반복적인 순차적 방식으로 기체상태 방적식을 풀고, 및 기상 파라미터가 기설정된 오차값에 수렴할 때, 동일한 반복 시간 간격에서 순차적으로 고체상태 방정식을 푸는 방법.
   
8. 제7항에 있어서, 반복적으로 기체상태 방정식을 푸는 것은 압력-속도 수정 루프의 각 반복에서 다음을 포함하고:
   기체, 고체 및 액체의 물성을 계산(3300)하는 단계;
   반응속도 및 열 전달 계수를 계산(3400)하는 단계;
   기체 온도, 종류, 속도, 및 압력 강하를 계산(3500)하는 단계; 및
   순차적으로 고체상태 방정식을 푸는 것은 다음을 포함하는 방법:
   고체 온도 및 종류를 계산(3600)하는 단계;
   액체의 온도 및 종류를 계산(3700)하는 단계; 및
   고체 속도를 계산(3800)하는 단계.
   
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 변동 모델(121)은 다음 입력 파라미터들 중 하나 이상을 수신하는 방법: 고온 금속의 화학적 조성을 계산하기 위하여 고온 금속의 온도, 하나 이상의 종류 방정식을 예측하는 에너지 방정식, 및 상부 기체 온도, 효율(Eta CO), 및 압력을 예측하기 위한 하나 이상의 기체상태 방정식과 함께, 부하물 물질의 양 및 화학적 분석, 온도, 압력, PCI 비율, 및 산소 부하.
   
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 강화학습 모델은 순환 신경망에 의하여 구현되는 방법.
    
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 다음을 더 포함하는 방법:
    히스토리컬 운전 데이터(21)를 미래 시점과 연관되는 미래의 다변량 시계열 데이터로 보충하기 위하여 하나 이상의 각각 훈련된 연관된 머신 러닝 모델들(ML1 내지 MLn)을 사용함에 의하여 히스토리컬 운전 데이터(21)에 기초한 특정 용광로 상태의 미래의 열적 진화 및/또는 용광로의 환경에 관련된 추가적인 측정된 환경 데이터에 관한 정보를 예측하는 단계; 및
    도메인 적응 머신 러닝 모델(110)에 의하여 제1 도메인 불변 데이터 세트(22)를 미래 시점과 연관된 데이터로 보강하기 위하여 미래의 다변량 시계열을 처리하는 단계.
    
12. 제11항에 있어서, 연관된 머신 러닝 모델(ML1 내지 MLn)의 특정 모델(MLT)을 교육하는 것은 다음을 포함하는 방법:
    머신 러닝 모델의 특정 모델에 훈련 입력으로서 기본 모델 특정 미래의 다변량 시계열 데이터를 제공하기 위하여 하나 이상의 머신 러닝 알고리즘을 이용하여 운전 데이터(701) 및/또는 환경 데이터(702)의 다른 선택들을 가지고 복수의 기본 모델들을 교육(703)하는 단계;
    어떠한 기본 모델들의 조합이 용광로의 어떠한 상태를 위하여 가장 적절한지를 학습하기 위하여 상기 기본 모델 특정 미래의 다변량 시계열 데이터를 사용하여 연관된 머신 러닝 모델들의 특정 모델을 교육(706)하는 단계.
    
13. 제12항에 있어서, 머신 러닝 모델(ML1 내지 MLn)의 특정 모델은 시간상 미래 시점에서 이하의 파라미터들 중 하나를 예측하도록 훈련되는 방법: 용광로 프로세스상의 이상; 용광로 열 상태 및 고온 금속 생산 KPIs; 충전 매트릭스 최적화; 송풍구 카메라 기반 공정 검사에 기초한 용광로 현상; 최적 운전을 위한 탭 홀 오프너 추천; TMT SOMA-기반 현상 및 KPIs; 공정 규칙들에 의한 현상 라벨링에 기초한 현상.
    
14. 컴퓨터 시스템의 메모리로 로딩되고, 컴퓨터 시스템의 적어도 하나의 프로세서에 의하여 실행될 때, 제1항 내지 제13항 중 어느 한 항에 따른 컴퓨터-구현 방법의 단계들을 수행하는 컴퓨터 프로그램 프로덕트.
    
15. 복수의 기능 모듈들을 포함하고, 컴퓨터 시스템에 의하여 실행될 때, 제1항 내지 제13항 중 어느 한 항에 따른 컴퓨터-구현 방법의 단계들을 수행하는 컴퓨터 시스템(100)

Images