KR102092060B1

KR102092060B1 - 기술 시스템의 컴퓨터화된 제어 및/또는 조절을 위한 방법

Info

Publication number: KR102092060B1
Application number: KR1020157030811A
Authority: KR
Inventors: 지크문트 뒬; 슈테펜 우트루프트; 한스-게르트 브룸멜; 자틴더 페. 징; 폴크마 슈테르칭
Original assignee: 지멘스 악티엔게젤샤프트
Priority date: 2013-03-26
Filing date: 2014-01-22
Publication date: 2020-03-23
Also published as: EP2941675A1; CN105051625A; EP2941675B1; JP2016517104A; US10036328B2; KR20150133843A; DE102013205356A1; KR20180049239A; CN105051625B; US20160040602A1; WO2014154374A1; DE102013205356B4

Abstract

본 발명은 기술 시스템(T; technical system)의 컴퓨터화된 제어 및/또는 조절(computerized control and/or regulation)을 위한 방법에 관한 것이다. 본 발명에 따른 방법의 맥락 내에서, 사전 설정된 조절 프로세스(preset regulating process)(CO1, CO2)에서 탐구 규칙(EP; exploration rule)이 구현되고, 탐구 규칙(EP)에 의해, 기술 시스템(T)의 아직 알려지지 않은 새로운 상태들(x)이 시작되며, 기술 시스템(T)의 시뮬레이션 모델(SM; simulation model)은, 탐구 규칙(EP)의 액션(action)들(a2)이, 미리 결정된 임계치들 내에 놓이는 순차적 상태들(x')을 초래하는지를 검사한다. 그 유일한 경우는, 대응하는 액션(a2)이 기술 시스템 상에서 탐구 규칙(EP)에 따라 수행되는 것이다. 본 발명에 따른 방법은, 새로운 상태들이 기술 시스템의 동작의 프레임워크(framework) 내에서 탐구되는 것을 가능하게 하며, 이는, 탐구가 인지불가하게(imperceptibly) 수행되고 그리고 기술 시스템의 부정확한 동작을 초래하지 않는 적절한 임계치들의 검사를 통해 보장된다. 본 발명에 따른 방법은 특히, 가스 터빈(gas turbine)들 또는 풍력 터빈(wind turbine)들을 제어 또는 조절하는데 적절하다.

Description

기술 시스템의 컴퓨터화된 제어 및/또는 조절을 위한 방법{METHOD FOR THE COMPUTERIZED CONTROL AND/OR REGULATION OF A TECHNICAL SYSTEM}

본 발명은, 기술 시스템(technical system)의 컴퓨터-보조 개루프 및/또는 폐루프 제어(computer-assisted open-loop and/or closed-loop control)를 위한 방법 및 대응하는 컴퓨터 프로그램 물건(computer program product)에 관한 것이다.

기술 시스템들의 개루프 및/또는 폐루프 제어를 수행하기 위한 다양한 컴퓨터-보조 방법(computer-assisted method)들이 종래 기술로부터 알려져 있다. 이러한 방법들은, 기술 시스템의 현재 상태에 대해, 어느 액션(action)이 기술 시스템 상에서 수행될지를 명시한다. 상태는 여기서, 다수의 상태 변수들에 의해 설명되고, 액션은 다수의 액션 변수(action variable)들에 의해 설명된다. 테이블(table)에 의해 기술 시스템의 상태들에 대응하는 액션들을 할당하는, 단순한 테이블-기반 조절기(table-based regulator)들 외에도, 자신의 액션 선택 규칙(action selection rule)이, 예를 들어, 리커런트 뉴럴 네트워크(recurrent neural network)에 기초하는 기계 학습 방법(machine learning method)을 이용하여 학습되는 조절기들이 또한 존재한다. 이러한 조절기들의 적용 경우는, 가스 터빈(gas turbine)들이며, 효율성, 연소 챔버 동역학(combustion chamber dynamics), 오염물질들의 배출들과 같은, 터빈의 파라미터(parameter)들을 최적화하기 위한 것이다. 이러한 조절기들의 추가의 적용 경우는, 풍력 터빈(wind turbine)의 제어이며, 이 경우에서, 예를 들어, 마모 및 효율성이 최적화된다.

기계-학습 액션 선택 규칙(machine-learnt action selection rule)들을 구현하기 위해, 트레이닝 데이터(training data)가 필요하며, 그 데이터는, 다수의 상태들 및 이러한 상태들에서 수행되는 액션들에 대한 대응하는 후속 상태들을 명시한다. 새로운 트레이닝 데이터를 발생시키기 위해, 기술 시스템은 아직 알려지지 않은 상태들에서 동작될 필요가 있다. 그러나, 여기서는, 이러한 새로운 상태들이 기술 시스템의 동작을 방해하거나 또는 심각하게 손상시키지 않음이, 특히 기술 시스템의 오작동(malfunction)들을 초래하지 않음이 보장되어야 한다.

그러므로, 본 발명의 목적은, 기술 시스템의 개루프 및/또는 폐루프 제어를 수행하기 위한 방법을 제공하는 것이며, 그 방법을 이용하여, 기술 시스템의 동작이 악영향을 받음이 없이, 기술 시스템의 새로운 상태들이 탐구(explore)될 수 있다.

이 목적은 독립 특허 청구항들에 의해 달성된다. 본 발명의 추가의 발전들은 종속 청구항들에서 정의된다.

본 발명에 따른 방법은, 기술 시스템의 개루프 및/또는 폐루프 제어를 수행하도록 기능하며, 개루프 제어 또는 폐루프 제어는, 각각의 시간들에서, 각각의 경우에서의 하나 이상의 상태 변수들을 포함한, 기술 시스템의 하나 이상의 상태들의 함수로서, 기술 시스템에 대한 하나 이상의 액션 변수들을 포함한 액션들을 수행한다.

본 발명에 따른 방법의 범위 내에서, 단계 a)에서, 미리 정의된 조절 방법은, 각각의 시간들에서, 적어도 각각의 시간에서의 기술 시스템의 상태의 함수로서(즉, 적절하다면, 또한, 더 이른 시간들에서의 상태들의 함수로서) 기술 시스템 상에서 수행될 제 1 액션들을 결정한다.

단계 b)에 따르면, 적어도 하나의 탐구 규칙(exploration rule)은, 적어도 각각의 시간에서의 기술 시스템의 상태의 함수로서, 기술 시스템 상에서 수행될 하나 이상의 제 2 액션들을 결정한다. 복수의 탐구 규칙들의 경우에서, 각각의 탐구 규칙은, 제 2 액션을 개별적으로 결정한다. 탐구 규칙들은 원하는 대로 정의될 수 있고, 이러한 규칙들의 예들이 아래에서 주어진다. 탐구 규칙에 따르면, 제 2 액션들 ― 제 2 액션들을 이용하여, 기술 시스템의 상태들에 진입됨 ― 은 특정 기준들에 따라 정의된다.

단계 c)에서, 기술 시스템의 결과적인 후속 상태들의 세트(set)가, 각각의 제 2 액션에 대한 기술 시스템의 시뮬레이션 모델(simulation model)에 기초하여 예측된다. 이러한 시뮬레이션 모델들은 종래 기술로부터 그 자체로 알려져 있다. 후속 상태들의 세트라는 용어는, 광범위하게 이해될 것이며, 적절하다면, 각각의 (현재) 시간을 바로 뒤따르는 시간에서의 단지 하나의 후속 상태만을 또한 포함할 수 있다. 그러나, 후속 상태들의 세트는 바람직하게, 복수의 미래의 후속 상태들을 포함한다. 예를 들어, 미리 정의된 미래 시간 간격에 대한 후속 상태들은 시뮬레이션 모델을 이용하여 예측될 수 있다.

단계 d)에서, 단계 c)에서 예측된 후속 상태들의 각각의 세트에 대해, 후속 상태들의 각각의 세트가 미리 정의된 임계값 기준을 충족하는지가 검사되며, 미리 정의된 임계값 기준은, 후속 상태들의 각각의 세트의 상태 변수들의 적어도 일 부분에 대해 준수될 임계치들을 정의한다.

단계 e)에서, 후속 상태들의 하나 이상의 세트들이 임계값 기준을 충족하는 경우, 제 2 액션은 미리 정의된 조절 방법에 공급되며, 이 액션에 대해, 후속 상태들의 예측된 세트가 임계값 기준을 충족한다. 복수의 이러한 제 2 액션들이 존재하는 경우, 결국, 대응하는 기준들을 정의하는 것이 가능하며, 대응하는 기준들을 이용하여, 이러한 제 2 액션들 중 어느 제 2 액션이 조절 방법에 공급되는지가 명시된다. 상태 공간의 탐구가 강조된다면, 자신의 후속 상태들이 대응하는 임계치들에 근접한 이러한 제 2 액션들이 바람직하게 조절 방법에 공급된다. 기술 시스템의 동작의 안전이 강조된다면, 자신의 후속 상태들이 임계값 기준의 대응하는 임계치들로부터 멀리 떨어진 이러한 제 2 액션들이 조절 방법에 대신 피딩(feed)된다. 마지막으로, 미리 정의된 조절 방법은, 단계 a)에서 결정된 제 1 액션 대신에 그 공급된 제 2 액션을, 또는 단계 a)에서 결정된 제 1 액션을 제 2 액션과 함께, 기술 시스템 상에서 액션으로서 수행한다.

본 발명에 따른 방법은, 기술 시스템의 폐루프-제어된 또는 개루프-제어된 동작(closed-loop-controlled or open-loop-controlled operation)에서의 탐구 규칙의 구현을 허용하며, 동시에, 시뮬레이션 모델에 의해 예측되는 후속 상태들의 상태 변수들에 대한 대응하는 임계값들의 정의를 통해, 기술 시스템의 동작이 악영향을 받지 않고, 그러므로 기술 시스템의 동작의 범위 내에 새로운 상태들이 인지불가하게(imperceptibly) 진입됨이 보장된다. 새로운 트레이닝 데이터는, 이러한 상태들 및 후속 상태들에서 수행되는 액션들을 이용하여, 새로운 상태들에 기초하여 발생되며, 이는 시뮬레이션 방법들 또는 조절 방법들의 기계 학습을 위해 나중 시간에 이용될 수 있다. 기술 시스템의 동작 동안, 단계 e)에서 수행되는 액션들이 그에 따라 저장되고 그리고/또는 대응하는 상태 및 실제로 발생되는 후속 상태와 조합되어 출력된다.

개선에 따르면, 단계 e)의 후속 상태들의 세트들 중 어느 것도 임계값 기준을 충족하지 않는 경우에, 특정 측정들을 개시하는 것이 가능하다. 일 경우에서, 미리 정의된 조절 방법은 단계 a)에서 결정된 제 1 액션을 수행한다. 마찬가지로, 앞서 설명된 단계 c) 내지 단계 e)가 실행되는 하나 이상의 수정된 액션들이 결정될 수 있다. 얼마나 수정된 제 2 액션들이 결정되는지에 관한 기준은 원하는 대로 정의될 수 있다. 예를 들어, 단계 b)에서 원래 결정된 제 2 액션이 수정되는 퍼센티지(percentage)가 명시될 수 있다. 추가의 변형에서, 방법의 단계 b) 내지 단계 e)가 한번 더 실행된다. 이는 예를 들어, 탐구 규칙이 랜덤(random)하고 그리고 동일한 상태에 대해 동일한 제 2 액션이 항상 결정되지는 않을 때 또는 상이한 탐구 규칙들이 단계 b) 내지 단계 e)의 반복되는 실행 동안 이용되는 경우에, 적절하다.

하나의 특히 바람직한 실시예에서, 단계 b)에서 결정된 제 2 액션들은, 단계 a)에서 결정된 제 1 액션들의 변동을 구성한다. 이러한 맥락에서, 단계 e)에서는, 공급된 제 2 액션의 변동에 의해 변동된 제 1 액션이 기술 시스템 상에서 액션으로서 수행된다. 따라서, 상태 공간의 탐구는, 오프셋 조절 프로세스(offset regulating process)의 방식으로 실현되며, 오프셋 조절 프로세스는 적절하다면, 대응하는 제 1 액션들을 변경한다. 그럼에도 불구하고, 제 2 액션이 이용될 때 제 1 액션을 대체하는 그러한 방식으로 상기 제 2 액션이 정의될 가능성이 또한 존재한다.

본 발명에 따른 방법의 추가의 개선에서, 임계값 기준은, 후속 상태들의 상태 변수들 중 적어도 일부에 대해, 각각의 값 범위들을 명시하며, 이러한 상태 변수들의 값들은 그 값 범위들 내에 놓여야 한다. 값 범위들은 여기서 절대치들(absolute terms)로 정의될 수 있지만, 적절하다면, 후속 상태들의 상태 변수들의 값들에 또한 따를 수 있고, 특히 이러한 값들로부터의 퍼센티지 편차(percentage deviation)를 정의할 수 있다.

앞서 이미 언급된 바와 같이, 적어도 하나의 탐구 규칙은, 방법의 개선에 따라 상이하게 정의될 수 있다. 특히, 적어도 하나의 탐구 규칙은, 다음의 규칙들 중 하나 이상을 포함할 수 있다:

- 제 2 액션을 랜덤하게(randomly) 선택하는 규칙;

- 전문 지식에 기초하는 규칙; 및

- ε 그리디 규칙(ε greedy rule).

마찬가지로, 참조문헌 [1] 내지 참조문헌 [3]에서 설명되는 탐구 규칙들이 이용될 수 있다.

본 발명에 따른 방법의 추가의 개선에서, 시뮬레이션 모델은, 기계 학습 방법을 이용하여 학습되고, 그리고 특히, 학습 뉴럴 네트워크(learnt neural network), 바람직하게는 리커런트 뉴럴 네트워크에 기초한다. 이러한 시뮬레이션 모델들은 종래 기술로부터 충분히 알려져 있다(예를 들어, 참조문헌 [4] 참조).

본 발명의 범위 내에서 이용되는 미리 정의된 조절 방법은, 원하는 대로 구성될 수 있다. 특히, 그 자체로 알려진 조절 방법들이 여기서 이용된다. 미리 정의된 조절 방법은 바람직하게, 다음의 방법들 중 하나이다:

- 기술 시스템의 각각의 상태들이 테이블(table)에 의해 제 1 액션들에 할당되는 테이블-기반 조절 방법(table-based regulating method);

- 예를 들어, 참조문헌 [4]의 방법들에 기초하는 기계 학습 방법을 이용하여 학습되는 액션 선택 규칙(action selection rule);

- 기계 학습 방법을 이용하여 학습된 액션 선택 규칙과 테이블-기반 조절 방법의 조합, 액션 선택 규칙은 바람직하게, 테이블-기반 조절 방법을 이용하여 결정된 액션의 변동을 명시하고, 그리고 제 1 액션은 바람직하게, 그 변동에 의해 변동되는 테이블-기반 조절 방법의 액션임.

본 발명에 따른 방법은 특히, 가스 터빈 및/또는 풍력 터빈의 개루프 또는 폐루프 제어를 수행하는데 적절하다. 이러한 맥락에서, 가스 터빈의 상태는 바람직하게, 다음의 상태 변수들 중 하나 이상을 포함한다:

- 가스 터빈 상의 하나 이상의 위치들에서의 온도 및/또는 압력, 특히 주변 온도 및/또는 주변 압력 및/또는 압축기 온도 및/또는 압축기 압력 및/또는 연소 챔버(combustion chamber)의 온도 및/또는 연소 챔버의 압력;

- 가스 터빈 상의 하나 이상의 위치들에서의 공기 습도;

- 가스 터빈의 연소 챔버 가속도(combustion chamber acceleration)들;

- 가스 터빈에 의한 오염물질들의 배출, 특히 질소 산화물의 배출; 및

- 가스 터빈에 의해 발생된 전력.

가스 터빈의 경우에서, 가스 터빈에서 수행될 제 1 및/또는 제 2 액션들의 액션 변수 또는 액션 변수들은 바람직하게, 하나 이상의 연료 분사 밸브(fuel injection valve)들의 설정의 변경 및/또는 하나 이상의 베인(vane)들, 특히 입구 안내 베인(inlet guide vane)들의 포지션(position)의 변경 및/또는 가스 터빈들의 하나 이상의 냉각 공기 스트림(cooling air stream)들의 변경을 포함한다.

본 발명의, 상태 공간의 탐구의 범위 내에서, 가스 터빈의 방해받지 않는 동작을 보장하기 위해, 준수될 임계치들이 정의되는 단계 d)의 상태 변수 또는 상태 변수들은 바람직하게, 가스 터빈의 연소 챔버 가속도들 및/또는 가스 터빈에 의한 오염물질들의 배출이다.

풍력 터빈의 형태의 기술 시스템의 경우에서, 풍력 터빈의 상태는 바람직하게, 다음의 상태 변수들 중 하나 이상을 포함한다:

- 풍력 터빈 상의 하나 이상의 위치들에서의 온도 및/또는 압력 및/또는 공기 습도, 특히, 주변 온도 및/또는 주변 압력 및/또는 주변 공기 습도;

- 풍력 터빈에서의 바람의 세기;

- 풍력 터빈의 타워(tower)의 진동들의 진폭;

- 풍력 터빈의 회전자 블레이드(rotor blade)들의 기계적 부하; 및

- 풍력 터빈에 의해 발생된 전력.

풍력 터빈의 경우에서, 풍력 터빈에서 수행될 제 1 및/또는 제 2 액션들의 액션 변수 또는 액션 변수들은, 풍력 터빈의 회전자(rotor)의 회전자 블레이드들의 받음각(angle of attack)들의 변경 및/또는 바람에 대한 풍력 터빈의 회전자의 배향의 변경을 포함한다.

본 발명에 따른 방법의 범위 내에서의 풍력 터빈의 방해받지 않는 동작은, 특히, 준수될 임계치들이 정의되는 단계 d)의 상태 변수 또는 상태 변수들이 풍력 터빈의 타워의 진동들의 진폭 및/또는 풍력 터빈의 회전자 블레이드들의 기계적 부하를 포함하는 경우에 보장된다.

앞서 설명된 방법에 부가하여, 본 발명은 또한, 프로그램(program)이 컴퓨터(computer) 상에서 실행될 때, 본 발명에 따른 방법 또는 본 발명에 따른 방법의 하나 이상의 바람직한 변형들을 실행하기 위한, 기계-판독가능 캐리어(machine-readable carrier) 상에 저장되는 프로그램을 갖는 컴퓨터 프로그램 물건과 관련된다.

본 발명의 예시적인 실시예는 첨부된 도 1과 관련하여 아래에서 상세하게 설명된다. 도 1은, 본 발명에 따른 방법의 실시예의 시퀀스(sequence)의 개략도를 도시한다.

본 발명은, 가스 터빈의 형태의 기술 시스템(T)의 제어와 관련하여 도 1에 따라 설명된다. 도 1의 좌측 부분(P1)에서, 가스 터빈의 동작 동안 온라인(online)으로 실행되는, 본 발명에 따른 조절 방법의 실시예가 표시된다. 그에 반해, 도 1의 우측 부분(P2)에서는 방법 단계들이 표시되며, 방법 단계들을 이용하여, 부분(P1)에서 방법의 부분들이 발생된다. 부분(P2)에서의 방법 단계들은 여기서 오프라인(offline)으로(즉, 기술 시스템이 동작하지 않는 동안) 실행되고, 이런 의미에서, 가스 터빈 상에서의 본 발명에 따른 방법의 구현을 위한 준비 단계(preparatory step)들을 구성한다.

부분(P1)에서의 터빈의 제어 방법은, 제 1 조절기(CO1) 및 제 2 조절기(CO2)에 기초하는 통상의 조절 방법을 포함한다. 제 1 조절기(CO1)는, 테이블-기반 조절기로서 그 자체로 알려진 방식으로 실현되고, 현재 시간에서의 가스 터빈의 상태(x)에 대해, 터빈에서 수행될 액션(a0)을 출력한다. 이러한 맥락에서, 대응하는 상태들에 대해 수행될 액션들은 상기 상태들에 대한 테이블에 저장된다. 제 2 조절기(CO2)는 학습 액션 선택 규칙(learnt action selection rule)의 형태로 실현된다. 가스 터빈의 상태들은 여기서, 터빈의, 앞서 설명된 상태 변수들 중 하나 이상을 포함하며, 액션들은 가스 터빈의 하나 이상의 작동 변수들에서의 변경들과 관련된다. 이러한 작동 변수들은 바람직하게, 앞서 또한 설명된 바와 같이, 하나 이상의 연료 분사 밸브에 의한 연료 비율들의 설정의 변경, 및 가스 터빈의 베인들, 특히 입구 안내 베인들의 포지션의 변경이다.

도 1에 따르면, 조절기(CO1)는 그러므로, 테이블에 액세스(access)함으로써, 가스 터빈의 현재 상태(x)에 기초하여 액션(a0)을 결정한다. 현재 상태(x) 및 액션(a0)은, 학습 액션 선택 규칙의 형태로 조절기(CO2)에 공급된다. 이러한 규칙은, 터빈의 동적 거동을 모델링(model)하는, 가스 터빈의 시뮬레이션 모델(SM; simulation model)을 포함한다. 이러한 시뮬레이션 모델은, 액션(a0)을 고려함으로써 가스 터빈의 현재 상태(x)의 함수로서 최적의 제 1 액션(a1)을 결정하는 제어 규칙(CP; control rule)과 상호작용하며, 액션이 최적인 정도는 적절한 보상 함수(reward function)에 기초한다. 시뮬레이션 모델(SM)은, 기술 시스템에 의해 이전에 추정된 상태들(x)의 형태의 트레이닝 데이터, 이러한 상태들에서 수행되는 액션들(a) 및 결과적인 후속 상태들(x')이 저장되는 데이터베이스(DB; database)에 액세스하는 뉴럴 네트워크(NN; neural network)에 의해 이전에 학습되었다. 마찬가지로, 제어 규칙(CP)은 데이터베이스(DB)로부터의 트레이닝 데이터에 액세스하는 제어 발생기(CG; control generator)에 의해 발생되었다.

조절기(CO2)는 그러므로, 현재 액션(x)의 함수로서, 기술 시스템 상에서 실행될 액션(a1)을 출력한다. 이러한 유형들의 조절기들은 종래 기술로부터 그 자체로 알려져 있으며, 그러므로 상세하게 설명되지 않는다. 특히, 조절기(CO2)는, 예를 들어, 참조문헌 [4]에서 설명되는 바와 같이, 리커런트 뉴럴 네트워크에 기초할 수 있다. 여기서 설명된 조절기의 실시예에서, 상기 조절기는, 오프셋 조절기(offset regulator)로 지칭되는 조절기로서 실현되는데, 오프셋 조절기는 액션(a0)에 부가되는 오프셋(offset) 또는 변동을 명시하고, 그 결과로서 제 1 액션(a1)이 획득된다. 통상적으로, 이러한 액션(a1)은 조절기(CO1)에 공급되고, 그 다음으로, 조절기(CO1)는 이 액션을 액션(a)으로서 기술 시스템 상에서 수행한다. 가스 터빈에 의해 추정되는 상태들(x) 및 이러한 상태들에서 수행되는 액션들(a)은, 결과적인 후속 상태들(x')과 함께, 앞서 이미 언급된 데이터베이스(DB)에 저장되며, 이들은 결국 뉴럴 네트워크(NN) 또는 제어 발생기(CG)를 학습하기 위해 이용될 수 있다.

본 발명에 따른 방법의 범위 내에서, 탐구 모듈(EM; exploration module)로 지칭되는 것이 추가의 모듈로서 제공되며, 이 탐구 모듈(EM)은 요구되는 바에 따라 연결될 수 있고, 그러므로 가스 터빈의 조절의 범위 내에서 이용될 수 있다. 탐구 모듈이 연결될 때, 제 1 액션(a1)은 더 이상 조절기(CO1)에 직접적으로 공급되지 않지만, 대신에, 제 1 액션(a1)은 탐구 모듈(EM)에, 그리고 탐구 모듈(EM)에 있는 액션 선택 모듈(AS; action selection module)에 전달된다. 부가하여, 탐구 모듈은 가스 터빈의 현재 상태(x)를 수신한다. 탐구 모듈(EM)은 가스 터빈의 상태들의 공간을 탐구하는 역할, 즉, 가스 터빈에 의해 추정되지 않은 상태들을 탐색하는 역할을 한다. 이러한 모듈이, 기술 시스템의 진행중인 동작 동안 이용되기 때문에, 새로운 상태들의 탐구가 인지불가한 방식으로 발생됨이 보장되어야 한다.

다시 말해, 가스 터빈의 동작이 인지가능하게 손상되지 않는 그러한 방식으로, 새로운 상태들이 선택되어야 한다. 특히, 오염물질들의 배출들 및/또는 연소 챔버 가속도들 및 그러므로, 연소 챔버의 허밍(humming)이 너무 많이 증가되지 않아야 한다.

탐구 모듈(EM)에서, 개선에 따라 상이하게 정의될 수 있는 탐구 규칙(EP;exploration rule)이 저장된다. 탐구 규칙은 여기서, 가스 터빈의 현재 상태(x)에 기초하여, 제 2 액션(a2)을 명시하며, 제 2 액션(a2)은 결국, 탐구 규칙이 적용되는 경우에서 제 1 액션(a1)에 부가되는 오프셋 또는 변동이다. 탐구 규칙은 적용 경우에 따라 상이한 방식들로 실현될 수 있다. 특히, 탐구 규칙은 현재 상태(x)에 기초하여 제 2 액션(a2)을 랜덤하게 결정할 수 있다. 마찬가지로, 탐구 규칙은 참조문헌 [1] 내지 참조문헌 [3]의 방법들에 기초하여 정의될 수 있거나, 또는 그 자체로 알려져 있는ε 그리디 탐구(ε greedy exploration)일 수 있다. 마찬가지로, 탐구 규칙은, 적절하다면, 전문 지식에 의해 정의될 수 있다.

탐구 규칙을 이용하여 결정되는 제 2 액션(a2)은, 가스 터빈의 시뮬레이션 모델(SM)과 상호작용하는 액션 선택 모듈(AS)에 공급된다. 이러한 시뮬레이션 모델은 조절기(CO2)의 시뮬레이션 모델에 대응하며, 뉴럴 네트워크(NN)의 학습에 의해 결정되었다. 액션 선택 모듈(AS)에서, 액션(a2)에 따라 변동된 액션(a1)의 적용이, 기술 시스템의 어느 후속 상태들(x')을 초래할지가, 시뮬레이션 모델(SM)에 의해 이제 결정된다. 이러한 맥락에서, 후속 상태들은 미리 결정된 미래 시간 간격에 대해 고려된다.

액션 선택 모듈(AS)에서, 가스 터빈의 후속 상태들의 특정 상태 변수들에 대한 미리 결정된 값 범위들이 저장된다. 특히, 이러한 맥락에서, 연소 챔버의 허밍 및/또는 질소 산화물의 배출들에 대한 상위 임계값이 저장된다. 후속 상태들 중 적어도 하나에 의해 상태 변수들의 이러한 임계값이 초과되는 경우, 제 2 액션(a2)은 허용가능하지 않다. 이러한 경우, 원래 결정된 액션(a1)이 액션 선택 모듈에 의해 조절기(CO1)로 전송되고, 조절기(CO1)는 그 다음으로, 이 액션을 수행한다. 이에 반해, 후속 상태들의 상태 변수들의 대응하는 임계값들이 초과되지 않는 경우, 탐구 규칙(EP)에 의해 결정된 제 2 액션(a2)이, 액션(a1)에 부가하여 조절기(CO1)에 피딩된다. 그 다음으로, 조절기는 2개의 액션들의 합(sum)을 수행한다. 이러한 방식에서, 오염물질들의 배출 및 연소 챔버의 허밍의 특정 제한 값들이 초과되지 않을 때에만, 새로운 상태들의 범위까지의, 가스 터빈의 상태 공간(state space)의 탐구가 수행되며, 그 결과, 가스 터빈의 동작이 탐구에 의해 악영향을 받지 않음이 보장된다. 그러므로, 탐구는 인지불가한 방식으로 발생되며, 가스 터빈의 오퍼레이터(operator)에 의해 인지되지 않는다.

앞서 설명된 방법의 수정들에서, 적절하다면, 복수의 탐구 규칙들(EP)이 또한, 탐구 모듈(EM)에 저장될 수 있다. 이러한 맥락에서, 복수의 제 2 액션들(a2)이 탐구 모듈들에 의해 결정되며, 이후에, 자신의 후속 상태들이 상태 변수들의 대응하는 제한 값들 내에 놓이는 모든 제 2 액션들이 결정된다. 그 다음으로, 액션은 미리 결정된 기준에 따라 이러한 제 2 액션들로부터 선택된다. 이는 예를 들어, 우선순위가 기술 시스템의 안전한 동작에 있다면, 자신의 상태 변수들이 임계값들로부터 가장 멀리 떨어진 후속 상태들을 발생시키는 액션일 수 있다. 이에 반해, 우선순위가 상태 공간의 양호한 탐구에 있다면, 자신의 상태 변수들이 대응하는 임계값들에 가장 가까운 후속 상태들을 발생시키는 제 2 액션(a2)이 또한 이용될 수 있다.

적절하다면, 탐구 모듈(EM)은 또한, 테이블-기반 조절기(CO1)만을 이용하는 조절 방법에서 이용될 수 있다. 이러한 경우, 제 1 액션은 액션(a0)에 대응하며, 액션(a0)은 탐구 모듈(EM)에 전송되고, 그 탐구 모듈(EM)에서 앞서 설명된 것과 비슷한 방식으로 프로세싱(process)된다.

앞서 설명된 본 발명에 따른 방법의 실시예는 일련의 이점들을 갖는다. 특히, 새로운 상태들의 범위까지의, 기술 시스템의 상태 공간의 탐구가 또한, 기술 시스템의 조절된 동작의 범위 내에서 인지불가하게 달성된다. 거기서 수행되는 액션들과 함께 이러한 새로운 상태들 및 후속 상태들은 그러므로, 기술 시스템과 관련된 데이터의 세트를 확장시키며, 기술 시스템의 시뮬레이션 모델들 또는 액션 선택 규칙들을 학습하기 위한 대응하는 방법들에서 상기 데이터를 트레이닝 데이터로서 이용하는 것이 가능하다. 탐구의 범위 내에서, 상기 탐구가, 특정 환경들 하에서, 경고들 또는 경보들을 트리거(trigger)하는, 기술 시스템의 원하지 않는 동작 상태들을 발생시키지 않음이 여기서 보장된다. 대신에, 탐구는, 상기 탐구가 인지불가하게 발생되고 기술 시스템의 동작에 악영향을 미치지 않는 그러한 방식으로, 대응하는 임계값들을 정의함으로써 구성된다.

참조문헌들의 목록:

[1] Michael Kearns 및 Satinder Singh의, "Near-optimal reinforcement learning in polynomial time", in Proceedings of the 15th International Conference on Machine Learning, pp. 260--268 (1998).

[2] Ronen I. Brafman 및 Moshe TeNNenholtz의, "R-max - a general polynomial time algorithm for near-optimal reinforcement learning", Journal of Machine Learning Research, 3, 213--231, (2003).

[3] Alexander L, Strehl 및 Michael L. Littman의, "An analysis of model-based interval estimation for markov decision processes.", Journal of Computer and System Sciences, 74(8), 1309--1331, (2008).

[4] DE 10 2007 001 025 A1

Claims

기술 시스템(T; technical system)의 컴퓨터-보조(computer-assisted) 제어를 위한 방법으로서,
상기 제어는 각각의 시간들에서 액션(action)들(a)을 수행하며, 상기 액션들(a)은, 각각 하나 이상의 상태 변수들을 포함하는, 상기 기술 시스템(T)의 하나 이상의 상태들(x)의 함수로서 상기 기술 시스템(T)에서의 하나 이상의 액션 변수(action variable)들을 포함하며,
a) 미리 정의된 조절 방법(CO1, CO2)은 각각의 시간들에서, 적어도 각각의 시간에서의 상기 기술 시스템(T)의 상태(x)의 함수로서 상기 기술 시스템(T) 상에서 수행될 제 1 액션들(a1)을 결정하고;
b) 적어도 하나의 탐구 규칙(EP; exploration rule)은, 각각의 시간에서, 상기 기술 시스템(T)에 의해 취해진 적이 없는 상태를 탐구하기 위해, 적어도 상기 기술 시스템(T)의 상태(x)에 대해 상기 기술 시스템(T) 상에서 수행될 하나 이상의 제 2 액션들(a2)을 결정하고 ― 상기 제 2 액션들(a2)의 결정은, 상기 기술 시스템(T)의 동일한 상태에 대해 상이한 제 2 액션(a2)이 결정될 수도 있는 불규칙적인 방식으로 수행됨 ―;
c) 상기 기술 시스템(T)의 결과적인 후속 상태들(x')의 세트(set)가, 각각의 제 2 액션(a2)에 대한 상기 기술 시스템(T)의 시뮬레이션 모델(SM; simulation model)에 기초하여 예측되고;
d) 후속 상태들(x')의 각각의 세트에 대해, 상기 후속 상태들(x')의 각각의 세트가, 미리 정의된 임계값 기준을 충족하는지 여부가 검사되고 ― 상기 미리 정의된 임계값 기준은, 상기 후속 상태들(x')의 각각의 세트의 상태 변수들의 적어도 일 부분에 대해 준수될 임계치들을 정의하고, 상기 임계값 기준은, 상기 후속 상태들(x')의 상태 변수들 중 적어도 일부에 대해, 상기 상태 변수들의 값들이 놓여야 하는 각각의 값 범위들을 명시함 ―;
e) 후속 상태들(x')의 하나 이상의 세트들이 상기 임계값 기준을 충족하는 경우, 제 2 액션(a2)이 상기 미리 정의된 조절 방법(CO1, CO2)에 공급되고 ― 상기 제 2 액션(a2)에 대해, 후속 상태들(x')의 예측된 세트가 상기 임계값 기준을 충족함 ―, 그 후에, 상기 미리 정의된 조절 방법(CO1, CO2)은, 단계 a)에서 결정된 제 1 액션(a1) 대신에 공급된 제 2 액션(a2)을, 또는 단계 a)에서 결정된 상기 제 1 액션(a1)을 상기 제 2 액션(a2)과 함께, 상기 기술 시스템(T)에서 액션으로서 수행하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 1 항에 있어서,
단계 e)의 후속 상태들(x')의 세트들 중 어떠한 세트도 상기 임계값 기준을 충족하지 않는 경우:
상기 미리 정의된 조절 방법(CO1, CO2)이, 단계 a)에서 결정된 제 1 액션(a1)을 수행하거나; 또는
하나 이상의 수정된 제 2 액션들(a2)이 결정되고, 상기 액션들(a2)에 대해 단계 c) 내지 단계 e)가 한번 더 실행되는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 1 항에 있어서,
단계 b)에서 결정된 상기 제 2 액션들(a2)은 각각, 단계 a)에서 결정된 상기 제 1 액션(a1)의 변동을 구성하고, 그리고 단계 e)에서, 상기 공급된 제 2 액션(a2)에 관한 변동에 의해 변동된 상기 제 1 액션(a1)이 상기 기술 시스템(T)에서 수행되는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
삭제
제 1 항에 있어서,
상기 값 범위들은, 상기 후속 상태들(x')의 상태 변수들의 값들에 의존하며 상기 값들로부터의 퍼센티지 편차(percentage deviation)를 정의하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 1 항에 있어서,
상기 적어도 하나의 탐구 규칙(EP)은,
- 상기 제 2 액션(a2)을 랜덤하게(randomly) 선택하는 규칙,
- 전문 지식에 기초하는 규칙, 및
- ε 그리디 규칙(ε greedy rule)
중 하나 이상을 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 1 항에 있어서,
상기 시뮬레이션 모델(SM)은 기계 학습 방법을 이용하여 학습되고, 그리고 학습 뉴럴 네트워크(learnt neural network)에 기초하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 1 항에 있어서,
상기 미리 정의된 조절 방법은,
- 상기 기술 시스템(T)의 각각의 상태들(x)이 테이블(table)에 의해 제 1 액션들(a1)에 할당되는 테이블-기반 조절 방법(table-based regulating method)(CO1),
- 기계 학습 방법을 이용하여 학습되는 액션 선택 규칙(action selection rule)(CO2),
- 테이블-기반 조절 방법(CO1)과 기계 학습 방법을 이용하여 학습된 액션 선택 규칙(CO2)의 조합
중 하나이고,
상기 액션 선택 규칙은 상기 테이블-기반 조절 방법(CO1)을 이용하여 결정된 액션(a0)의 변동을 명시하고, 상기 제 1 액션(a1)은 상기 변동에 의해 변동되는 상기 테이블-기반 조절 방법(CO1)의 액션인,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 1 항에 있어서,
상기 기술 시스템(T)은 가스 터빈(gas turbine) 또는 풍력 터빈(wind turbine)인,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 9 항에 있어서,
상기 기술 시스템(T)은 가스 터빈이고, 상기 가스 터빈의 상태(x)는 하기의 상태 변수들:
- 상기 가스 터빈 상의 하나 이상의 위치들에서의 온도,
- 상기 가스 터빈 상의 하나 이상의 위치들에서의 압력,
- 상기 가스 터빈 상의 하나 이상의 위치들에서의 공기 습도,
- 상기 가스 터빈의 연소 챔버 가속도(combustion chamber acceleration)들,
- 상기 가스 터빈에 의한 오염물질들의 배출, 또는
- 상기 가스 터빈에 의해 발생된 전력
중 하나 이상을 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 9 항에 있어서,
상기 기술 시스템(T)은 가스 터빈이고, 상기 가스 터빈에서 수행될 상기 제 1 또는 제 2 액션들(a) 중 적어도 하나의 액션 변수 또는 액션 변수들은:
하나 이상의 연료 분사 밸브(fuel injection valve)들의 설정의 변경;
하나 이상의 베인(vane)들의 포지션(position)의 변경; 또는
상기 가스 터빈의 하나 이상의 냉각 공기 스트림(cooling air stream)들의 변경
중 적어도 하나를 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 10 항에 있어서,
준수될 임계치들이 정의되는 단계 d)의 상태 변수 또는 상태 변수들은:
상기 가스 터빈의 연소 챔버 가속도들; 또는
상기 가스 터빈에 의한 오염물질들의 배출
중 적어도 하나를 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 9 항에 있어서,
상기 기술 시스템(T)은 풍력 터빈이고, 상기 풍력 터빈의 상태(x)는 하기의 상태 변수들:
- 상기 풍력 터빈의 하나 이상의 위치들에서의 온도,
- 상기 풍력 터빈의 하나 이상의 위치들에서의 압력,
- 상기 풍력 터빈의 하나 이상의 위치들에서의 공기 습도,
- 상기 풍력 터빈에서의 바람의 세기,
- 상기 풍력 터빈의 타워(tower)의 진동들의 진폭,
- 상기 풍력 터빈의 회전자 블레이드(rotor blade)들의 기계적 부하, 또는
- 상기 풍력 터빈에 의해 발생된 전력
중 하나 이상을 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 9 항에 있어서,
상기 기술 시스템(T)은 풍력 터빈이고, 상기 풍력 터빈에서 수행될 상기 제 1 또는 제 2 액션들(a) 중 적어도 하나의 액션 변수 또는 액션 변수들은:
상기 풍력 터빈의 회전자(rotor)의 회전자 블레이드들의 받음각(angle of attack)들의 변경; 또는
바람에 대한 상기 풍력 터빈의 회전자의 배향의 변경
중 적어도 하나를 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
제 13 항에 있어서,
준수될 임계치들이 정의되는 단계 d)의 상태 변수 또는 상태 변수들은:
상기 풍력 터빈의 타워의 진동들의 진폭; 또는
상기 풍력 터빈의 회전자 블레이드들의 기계적 부하
중 적어도 하나를 포함하는,
기술 시스템(T)의 컴퓨터-보조 제어를 위한 방법.
컴퓨터-판독가능 저장 매체로서,
컴퓨터(computer) 상에서 실행될 때, 제 1 항 내지 제 3 항, 제 5 항 내지 제 15 항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램(program)이 저장된,
컴퓨터-판독가능 저장 매체.