KR102655555B1

KR102655555B1 - 심층 강화학습을 활용한 해상풍력단지 정비 플래닝 시스템 및 방법

Info

Publication number: KR102655555B1
Application number: KR1020230160202A
Authority: KR
Inventors: 이남경; 우주현
Original assignee: 한국전력기술 주식회사; 국립한국해양대학교산학협력단
Priority date: 2023-11-20
Filing date: 2023-11-20
Publication date: 2024-04-11

Abstract

본 개시에 따르면, 해상풍력단지의 정비 플래닝 방법은, 정비기간, 정비대상 풍력터빈의 개수와 상기 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 상기 정비기간 동안의 기상 정보를 수신하는 단계; 상기 정비기간 및 상기 정비대상 풍력터빈의 개수에 기초하여, 제1 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정하는 단계; 상기 정비대상 풍력터빈의 목록에 기초하여, 제2 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력이 최대화되도록 상기 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정하는 단계; 및 상기 최적의 일자 별 정비 물량 및 상기 최적의 풍력터빈 배열에 기초하여 정비 스케줄링 결과를 출력하는 단계를를 포함할 수 있다.

Description

심층 강화학습을 활용한 해상풍력단지 정비 플래닝 시스템 및 방법{SYSTEM AND METHOD FOR MAINTENANCE PLANNING IN OFFSHORE WIND FARM USING DEEP REINFORCEMENT LEARNING}

본 발명은 해상풍력단지의 풍력 터빈들의 정비 플래닝 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는 심층 강화학습(Deep Reinforcement Learning)을 이용하여 해상풍력단지의 최대 출력을 유지하는 최적의 정비 계획을 도출하는 시스템 및 방법에 관한 것이다.

세계적으로 산업 전분야에 걸쳐 RE100의 참여가 요구되고 있어 해상풍력발전의 확대는 불가피하며 규모의 경제 측면에서 해상풍력단지는 대형화 추세에 있다. 이러한 해상풍력단지의 운영 및 유지정비(Operation and Maintenance, O&M)는 전 주기 비용의 20-30%를 차지하고, 최근 공급 환경은 세계 정세 급변, 불가항력 급증, 원자재 급등, 기후 위기 등 수급 불안정 요인이 만연하므로, 해상풍력 O&M의 비용 절감을 위하여 정비 계획의 효율화가 요구된다.

또한 해상풍력단지에서는 일부 풍력터빈의 정비 또는 가동이 계통적으로, 후류 효과와 같은 역학적 작용에 의해 다른 터빈의 성능에 영향을 미칠 수 있고, 단지의 대규모화 및 터빈 구성의 다사양 채택 추세에 따라 정비 스케줄링의 복잡성이 기하급수적으로 상승하고 있다. 이러한 상황에서, 심층 학습을 활용한 문제해결 방법론이 다양한 분야에 접목되고 있는 것을 고려하여, NP-hard(Non-deterministic Polynomial-time hard) 문제로 알려진 플랜트의 정비 스케줄링에 있어서 심층 강화학습의 효용이 부각되고 있다.

선행문헌 1 : 한국 공개특허공보 제10-2021-0116498호 (2022. 6. 28. 공개) 선행문헌 2 : 한국 등록특허 제 10-1299391호 (2013. 8. 22. 공고) 선행문헌 3 : 한국 등록특허 제 10-1704937호 (2017. 2. 22. 공고)

본 개시의 실시예들이 해결하고자 하는 과제는 심층 강화학습을 이용하여 해상풍력단지의 최대 출력을 유지하는 최적의 정비 계획을 생성하는 해상풍력단지의 정비 스케줄링 시스템 및 방법을 제공하는 것이다.

본 개시의 실시예들은 플랜트의 성능을 증대시키고, 정비 비용 또는 기간을 절감시킬 수 있는 해상풍력단지의 정비 스케줄링 시스템 및 방법을 제공하고자 한다.

또한, 본 개시의 실시예들은 해상풍력단지의 레이아웃과 규모에 관계없이 유연한 정비 스케줄링과 급변하는 운용 조건(기상상황 등)에 대응할 수 있는 신속한 정비 스케줄링이 가능한 해상풍력단지의 정비 스케줄링 시스템 및 방법을 제공하고자 한다.

또한, 본 개시의 실시예들은 신경망을 접목한 시행착오 솔루션인 심층 강화학습을 통해, 문제 공간(단지 규모, 정비물량, 정비기간 등)이 커질수록 휴리스틱 등 타 방법론과 대비하여 함수 근사 속성에 의한 신속한 처리 속도를 제공하며, 국소 최적(Local Optimum)에 수렴하는 확률을 낮출 수 있는 해상풍력단지의 정비 스케줄링 시스템 및 방법을 제공하고자 한다.

본 개시에 따르면, 해상풍력단지의 정비 플래닝 방법은, 정비기간, 정비대상 풍력터빈의 개수와 상기 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 상기 정비기간 동안의 기상 정보를 수신하는 단계; 상기 정비기간 및 상기 정비대상 풍력터빈의 개수에 기초하여, 제1 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정하는 단계; 상기 정비대상 풍력터빈의 목록에 기초하여, 제2 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력이 최대화되도록 상기 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정하는 단계; 및 상기 최적의 일자 별 정비 물량 및 상기 최적의 풍력터빈 배열에 기초하여 정비 스케줄링 결과를 출력하는 단계를 포함할 수 있다.

본 개시에 따르면, 해상풍력단지의 정비 플래닝 방법은, 상기 해상풍력단지의 상기 풍력터빈 각각의 위치, 로터의 직경과 높이, 및 출력 곡선을 저장하는 단계; 상기 수신된 기상 정보의 풍속 및 풍향을 확인하고, Jensen 후류 모형 기반으로 상기 해상풍력단지 내의 상기 풍력터빈 각각의 유효 풍속을 계산하는 단계; 및 상기 풍력터빈 각각의 유효 풍속을 기초로 상기 풍력터빈 각각의 출력을 산출하는 단계를 더 포함할 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망은 제1 입력층, 제1 출력층, 상기 제1 입력층과 상기 제1 출력층 사이에 하나 이상의 제1 은닉층을 포함하고, 상기 최적의 일자 별 정비 물량을 결정하는 단계는, 제1 일자 별 정비물량을 상기 제1 입력층에 입력하고, 상기 정비기간 중 2개 일자에서의 정비 물량이 가감된 제1 액션을 상기 제1 출력층에서 출력하며, 상기 제1 액션에 따라 변경된 제2 일자 별 정비물량을 상기 제1 입력층에 다시 입력하고, 상기 제1 일자 별 정비물량에 대한 전체 출력과 상기 제2 일자 별 정비물량에 대한 전체 출력의 변화량으로 정의되는 제1 보상을 평가하는 단계; 및 복수의 제1 액션 중 감쇠 보상의 누적합인 리턴(Return)이 최대화되는 일련의 액션 묶음을 출력하는 단계를 포함하고, 상기 제1 액션은 상기 정비기간 중 임의의 2개 일자에서의 정비 물량을 가감하는 제1 유형 또는 상기 정비기간 중 인접한 2개 일자에서의 정비 물량을 가감하는 제2 유형을 포함할 수 있다.

본 개시에 따르면, 상기 제2 심층 신경망은 제2 입력층, 제2 출력층, 상기 제2 입력층과 상기 제2 출력층 사이에 하나 이상의 제2 은닉층을 포함하고, 상기 최적의 풍력터빈 배열을 결정하는 단계는, 제1 풍력터빈 배열을 상기 제2 입력층에 입력하고, 상기 제1 풍력터빈 배열 중 어느 2개의 풍력터빈의 위치가 서로 변경된 제2 액션을 상기 제2 출력층에서 출력하며, 상기 제2 액션에 따라 변경된 제2 풍력터빈 배열을 상기 제2 입력층에 다시 입력하고, 상기 제1 풍력터빈 배열에 대한 전체 출력과 상기 제2 풍력터빈 배열에 대한 전체 출력의 변화량으로 정의되는 제2 보상을 평가하는 단계; 및 복수의 제2 액션 중 감쇠 보상의 누적합인 리턴이 최대화되는 일련의 액션 묶음을 출력하는 단계를 포함할 수 있다.

본 개시에 따르면, 상기 풍력터빈 배열은 단위 기간별 배정 물량에 속하는 터빈 연번일 수 있고, 또는 상기 연번에 해당하는 배열을 2차원 매트릭스로 변환 후 합성곱신경망을 적용한 것일 수 있다.

본 개시에 따르면, 상기 최적의 일자 별 정비 물량을 결정하는 단계는, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 일자 별 정비 물량을 상기 최적의 일자 별 정비 물량으로 결정하는 단계를 더 포함할 수 있다.

본 개시에 따르면, 상기 최적의 풍력터빈 배열을 결정하는 단계는, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 풍력터빈 배열을 상기 최적의 풍력터빈 배열로 결정하는 단계를 더 포함할 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망을 이용하는 강화학습을 통해 상기 최적의 일자 별 정비 물량이 결정된 후, 상기 제2 심층 신경망을 이용하는 강화학습을 통해 상기 최적의 풍력터빈 배열이 결정될 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행되고, 상기 제1 및 제2 심층 신경망은 일자 별 정비 물량의 배열 및 풍력터빈 배열을 연결한 입력층 및 정비 물량을 가감하는 제1 액션 공간 배열과 풍력터빈의 위치를 서로 변경하는 제2 액션 공간 배열을 연결한 출력층을 포함할 수 있다.

본 개시에 따르면, 상기 최적의 일자 별 정비 물량을 결정하는 단계는, 단위 기간 별 정비 물량 및 단위 기간 별로 에피소드마다 임의로 설정되는 풍향 및 풍속 정보에 기초하여 정비 물량의 배정을 학습하는 훈련 모델을 저장하는 단계; 및 상기 저장된 훈련 모델에 기초하여 특정 정비기간의 기상 정보에 대한 상기 최적의 일자 별 정비 물량을 결정하는 단계를 포함할 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망은 액터(Actor) 네트워크 및 크리틱(Critic) 네트워크로 구성되고, 상기 액터 네트워크의 입력층에는 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 액터 네트워크의 출력층에서는 일자 별 정비 물량을 가감하는 물량 변경 액션이 출력되고, 상기 크리틱 네트워크의 입력층에는 상기 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 크리틱 네트워크의 출력층에서는 상기 크리틱 네트워크의 입력층에 대한 가치 함수가 출력되고, 상기 최적의 일자 별 정비 물량은, 상기 물량 변경 액션에 대한 정책 간 확률비 및 상기 가치 함수로부터 얻어지는 이득 함수에 기초하여 계산되는 대체 목적 함수를 최대화는 학습을 통해 결정될 수 있다.

본 개시에 따르면, 상기 액터 네트워크 및 크리틱 네트워크를 이용하는 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행될 수 있다.

본 개시에 따르면, 해상풍력단지의 정비 플래닝을 위한 시스템은, 스케줄링 모듈; 및 단지 출력 계산 모듈을 포함하고, 상기 스케줄링 모듈은, 정비기간, 정비대상 풍력터빈의 개수와 상기 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 상기 정비기간 동안의 기상 정보를 수신하고, 상기 정비기간 및 상기 정비대상 풍력터빈의 개수에 기초하여, 제1 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정하고, 상기 정비대상 풍력터빈의 목록에 기초하여, 제2 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력이 최대화되도록 상기 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정하고, 상기 최적의 일자 별 정비 물량 및 상기 최적의 풍력터빈 배열에 기초하여 정비 스케줄링 결과를 출력하도록 구성될 수 있다.

본 개시에 따르면, 상기 단지 출력 계산 모듈은, 상기 해상풍력단지의 상기 풍력터빈 각각의 위치, 로터의 직경과 높이, 및 출력 곡선을 저장하고, 상기 수신된 기상 정보의 풍속 및 풍향을 확인하고, Jensen 후류 모형 기반으로 상기 해상풍력단지 내의 상기 풍력터빈 각각의 유효 풍속을 계산하고, 상기 풍력터빈 각각의 유효 풍속을 기초로 상기 풍력터빈 각각의 출력을 산출하도록 구성될 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망은 제1 입력층, 제1 출력층, 상기 제1 입력층과 상기 제1 출력층 사이에 하나 이상의 제1 은닉층을 포함하고, 상기 스케줄링 모듈은, 상기 최적의 일자 별 정비 물량을 결정하기 위해, 제1 일자 별 정비물량을 상기 제1 입력층에 입력하고, 상기 정비기간 중 어느 2개 일자에서의 정비 물량이 가감된 제1 액션을 상기 제1 출력층에서 출력하며, 상기 제1 액션에 따라 변경된 제2 일자 별 정비물량을 상기 제1 입력층에 다시 입력하고, 상기 제1 일자 별 정비물량에 대한 전체 출력과 상기 제2 일자 별 정비물량에 대한 전체 출력의 변화량으로 정의되는 제1 보상을 평가하고, 복수의 제1 액션 중 감쇠 보상의 누적합인 리턴(Return)이 최대화되는 일련의 액션 묶음을 출력하도록 더 구성되고, 상기 제1 액션은 상기 정비기간 중 임의의 2개 일자에서의 정비 물량을 가감하는 제1 유형 또는 상기 정비기간 중 인접한 2개 일자에서의 정비 물량을 가감하는 제2 유형을 포함할 수 있다.

본 개시에 따르면, 상기 제2 심층 신경망은 제2 입력층, 제2 출력층, 상기 제2 입력층과 상기 제2 출력층 사이에 하나 이상의 제2 은닉층을 포함하고, 상기 스케줄링 모듈은, 상기 최적의 풍력터빈 배열을 결정하기 위해, 제1 풍력터빈 배열을 상기 제2 입력층에 입력하고, 상기 제1 풍력터빈 배열 중 어느 2개의 풍력터빈의 위치가 서로 변경된 제2 액션을 상기 제2 출력층에서 출력하며, 상기 제2 액션에 따라 변경된 제2 풍력터빈 배열을 상기 제2 입력층에 다시 입력하고, 상기 제1 풍력터빈 배열에 대한 전체 출력과 상기 제2 풍력터빈 배열에 대한 전체 출력의 변화량으로 정의되는 제2 보상을 평가하고, 복수의 제2 액션 중 감쇠 보상의 누적합인 리턴이 최대화되는 일련의 액션 묶음을 출력하도록 더 구성될 수 있다.

본 개시에 따르면, 상기 스케줄링 모듈은, 상기 최적의 일자 별 정비 물량을 결정하기 위해, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 일자 별 정비 물량을 상기 최적의 일자 별 정비 물량으로 결정하도록 더 구성될 수 있다.

본 개시에 따르면, 상기 스케줄링 모듈은, 상기 최적의 풍력터빈 배열을 결정하기 위해, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 풍력터빈 배열을 상기 최적의 풍력터빈 배열로 결정하도록 더 구성될 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망을 이용한 강화학습을 통해 상기 최적의 일자 별 정비 물량이 결정된 후, 상기 제2 심층 신경망을 이용한 강화학습을 통해 상기 최적의 풍력터빈 배열이 결정될 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망을 이용한 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용한 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행되고, 상기 제1 및 제2 심층 신경망은 일자 별 정비 물량의 배열 및 풍력터빈 배열을 연결한 입력층 및 정비 물량을 가감하는 제1 액션 공간 배열과 풍력터빈의 위치를 서로 변경하는 제2 액션 공간 배열을 연결한 출력층을 포함할 수 있다.

본 개시에 따르면, 상기 스케줄링 모듈은 상기 최적의 일자 별 정비 물량을 결정하기 위해, 단위 기간 별 정비 물량 및 단위 기간 별로 에피소드마다 임의로 설정되는 풍향 및 풍속 정보에 기초하여 정비 물량의 배정을 학습하는 훈련 모델을 저장하고, 상기 저장된 훈련 모델에 기초하여 특정 정비기간의 기상 정보에 대한 상기 최적의 일자 별 정비 물량을 결정하도록 더 구성될 수 있다.

본 개시에 따르면, 상기 제1 심층 신경망은 액터 네트워크 및 크리틱 네트워크를 포함하고, 상기 액터 네트워크의 입력층에는 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 액터 네트워크의 출력층에서는 일자 별 정비 물량을 가감하는 물량 변경 액션이 출력되고, 상기 크리틱 네트워크의 입력층에는 상기 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 크리틱 네트워크의 출력층에서는 상기 크리틱 네트워크의 입력층에 대한 가치 함수가 출력되고, 상기 최적의 일자 별 정비 물량은, 상기 물량 변경 액션에 대한 정책 간 확률비 및 상기 가치 함수로부터 얻어지는 이득 함수에 기초하여 계산되는 대체 목적 함수를 최대화는 학습을 통해 결정될 수 있다.

본 개시에 따르면, 해상풍력단지의 정비 플래닝을 위한 전자 장치는 명령어를 저장하는 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 메모리에 저장된 명령어를 실행함으로써, 해상풍력단지의 정비 플래닝 방법을 수행하게 할 수 있다.

본 개시에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체는, 전자 장치의 프로세서에 의해 실행되는 경우, 상기 전자 장치로 하여금 제1항 내지 제11항 중 어느 한 항에 따른 해상풍력단지의 정비 플래닝 방법을 수행하게 하는 명령어를 저장할 수 있다.

본 개시에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램은, 전자 장치의 프로세서에 의해 실행되는 경우, 상기 전자 장치로 하여금 해상풍력단지의 정비 플래닝 방법을 수행하게 할 수 있다.

본 개시의 해상풍력단지의 정비 스케줄링 시스템 및 방법에 따르면, 정비계획 효율화에 의해 플랜트의 성능을 증대시킬 수 있으며, 정비 비용 또는 기간을 절감할 수 있다.

본 개시의 해상풍력단지의 정비 스케줄링 시스템 및 방법에 따르면, 해상풍력단지의 레이아웃과 규모에 관계없이 유연한 정비 스케줄링이 가능하며, 급변하는 운용 조건(기상상황 등)에 대응할 수 있는 신속한 정비 스케줄링이 가능하다.

본 개시의 해상풍력단지의 정비 스케줄링 시스템 및 방법에 따르면, 신경망을 접목한 시행착오 솔루션인 심층 강화학습을 통해, 문제 공간(단지 규모, 정비물량, 정비기간 등)이 커질수록 휴리스틱 등 타 방법론과 대비하여 함수 근사 속성에 의한 신속한 처리 속도를 제공하며, 국소 최적(Local Optimum)에 수렴하는 확률을 낮출 수 있다.

도 1은 일 실시예에 따른 해상풍력단지를 설명하기 위한 예시도이다.
도 2는 실시예들에 따른 전자 장치의 구성 예시도이다.
도 3은 실시예들에 따른 시스템의 구성 예시도이다.
도 4는 실시예들에 따른 해상풍력단지의 정비 스케줄링 방법을 설명하기 위한 흐름도이다.
도 5는 실시예들에 따른 정비할 풍력터빈을 선정하는 심층 신경망의 추이 및 정비 스케줄링의 최적화 결과를 설명하기 위한 도면이다.
도 6은 실시예들에 따른 해상풍력단지의 정비 스케줄링을 위한 심층 신경망의 구성을 설명하기 위한 도면이다.
도 7은 실시예들에 따른 물량 배정 및 기상대응 액터-크리틱 네트워크의 구성을 설명하기 위한 도면이다.
도 8은 실시예들에 따른 풍력터빈 배열을 매트릭스(2차원 배열)로 변환 후 합성곱신경망을 적용한 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

본 발명은 미리 설정된 정비기간 동안 해상풍력단지 내의 풍력 터빈들에 대한 정비 작업을 배정함에 있어서, 심층 강화학습을 통해, 정비 작업을 수행하는 동안 해상풍력단지가 최대 출력을 유지할 수 있도록 하는 최적의 정비 스케줄을 도출하는 시스템 및 방법에 관한 것이다.

종래 발전 플랜트의 이상 상황을 진단하고, 발전 플랜트의 대체 일정 네트워크를 구성하여 대체 플랜트 일정 계획을 관리하기 위하여 인공 신경망에 기반한 시스템이 제안되었으나(선행문헌 1), 이는 발전 플랜트의 일련의 공정 관리를 자동화하기 위한 것으로 플랜트의 운영 일정 계획을 도출하는 것에 불과하다는 한계가 있었다.

한편, 위와 같은 플랜트의 운영 일정 계획 뿐만 아니라, 풍력 터빈의 정비 계획과 관련하여 유전 알고리즘을 이용하거나 실시간 기상정보를 고려한 다양한 기술이 제안되었다. 그러나, 해상풍력단지에서는 다수의 풍력 터빈이 밀집해 있으므로, 전방에 배치된 풍력 터빈에서 발생한 난류가 그 후방의 풍력 터빈의 출력을 감소시키는 후류 효과가 고려되어야 한다. 즉, 해상풍력단지에서는 풍향 방향으로 중첩되어 위치한 풍력 터빈들의 경우, 후류 효과로 인하여 어느 하나의 풍력 터빈의 후방에 위치한 다른 풍력 터빈의 유효 풍속이 감소하게 된다. 반면, 어느 하나의 풍력 터빈이 정비로 인해 가동이 중지될 경우에는 그 후방에 위치한 다른 풍력 터빈의 유효 풍속이 감소하지 않고, 이러한 현상은 '후류 소실'이라고 지칭될 수 있다. 이때, 풍향, 풍속 등은 정비 기간 동안의 일자 별로 달라지기 때문에, 정비 기간 동안 어느 위치에 있는 풍력 터빈을 언제 정비하는지 여부가 해상풍력단지의 전체 출력에 영향을 미치게 된다.

그러나 종래의 유전 알고리즘을 이용한 스케줄링 방법의 경우(선행문헌 2), 풍력터빈의 설비 별 유지 보수 스케줄을 염색체로 인코딩하고 염색체의 선택, 교배 혹은 돌연변이를 수행하는 유전 알고리즘으로 예비 전력 비율을 극대화하는 유지 보수 시기를 선택할 수 있지만 후류 영향 등에 의한 풍력 터빈 간 또는 설비 간 성능의 이러한 상관 관계를 반영하지 않으므로 실제 현장에 적용하기에 실효성이 부족하다는 문제가 있었다. 또한, 종래 풍력 설비 지역의 기상정보를 수신하고 분석하여 정비 소요시간과 비교해 풍력 설비의 정비 시기를 도출하고 실시간 기상정보에 따라 필요시 사용자에게 대피 여부를 알려주는 정비 시스템의 경우에는(선행문헌 3), 개별 풍력 발전기에 국한된 정비 방법론을 적용하므로 해상풍력단지의 관점에서 후류 영향 등을 고려하여 정비 계획을 최적화하기에는 한계가 존재하였다. 이러한 상황에서, 본 발명은 심층 신경망, 특히 심층 Q-네트워크(Deep Q-Network, DQN)에 의한 심층 강화학습을 이용하여, 후류 효과와 같은 풍력터빈 간의 영향을 모두 고려하여 정비기간 동안 전체 출력을 최대화하는 최적의 일자 별 정비 물량 조합을 찾아내고, 해당 일자마다 배정된 정비 물량에 맞추어 어떠한 풍력터빈을 정비할지 결정함으로써 최적의 정비 플래닝을 제공할 수 있다.

도 1은 일 실시예에 따른 해상풍력단지를 설명하기 위한 예시도이다.

도 1을 참조하면, 해상풍력단지에는 풍력터빈(0) 내지 풍력터빈(48)의 총 49개의 풍력터빈이 7X7의 배열로 배치되어 구동될 수 있으며, 이들 풍력터빈은 유지보수를 위한 정비를 하기 위해 정비기간 동안 가동이 중지될 수 있다. 그런데 해상풍력단지 내에서는 물체가 유체 속을 운동할 때에 물체의 배후에 생기는 유체의 흐름인 후류의 영향으로 인해 후단 풍력터빈의 유효풍속이 감소하는 후류 효과와 정비 비가동에 따라 유효풍속이 감소하지 않는 후류 소실이 발생할 수 있다. 그러나 날마다 변화하는 기상으로 인해 해상풍력단지에서의 풍속(단위: m/s)과 풍향이 매일 달라질 수 있고, 이에 따라 해상풍력단지 내에서 풍력터빈들 간의 후류 효과와 후류 소실의 영향도 매일 달라질 수 있다.

따라서, 정비기간 동안 일자 별 정비물량이 해상풍력단지의 전체 출력에 영향을 미칠 수 있고, 풍력터빈들 간 후류 효과 등의 상호 작용을 고려하여 정비기간 동안의 정비 물량을 적절하게 배정하는 것도 정비 효율성을 높이기 위해 중요한 문제가 될 수 있다. 예를 들어, 도 1을 참조하면, 49건의 정비물량을 7일의 정비 기간에 배정하는 경우, 정비 일자에 따라 기상이 변화하므로, (7, 7, 7, 7, 7, 7, 7) 로 배정하는 경우와 (6, 7, 8, 7, 7, 7, 7) 으로 배정하여 정비를 수행하는 경우 해상풍력단지의 전체 출력은 다를 수 있다. 또한, 정비 기간 동안 각 일자의 풍속에 따라 어느 위치에 있는 풍력터빈을 정비하는지에 따라 해상풍력단지의 전체 출력에 차이가 발생할 수 있다. 예를 들어, 정비기간 동안 (7, 7, 7, 7, 7, 7, 7) 로 정비물량을 배정한 경우, 제1 정비 일자에 풍력터빈(0) 내지 (6)을 정비하는 경우와 풍력터빈(0) 내지 (5)와 풍력터빈(10)을 정비하는 경우의 전체 출력은 서로 다를 수 있다. 따라서 정비기간 동안 일자 별로 어느 풍력터빈의 정비를 수행할 것인지 결정하는 것은 정비기간 동안의 해상풍력단지의 전체 출력을 최대화하는 문제로 이어질 수 있다.

이러한 상황에서, 본 발명은 심층 신경망에 의한 심층 강화학습을 통해, 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정하고, 해상풍력단지의 전체 출력이 최대화되도록 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정할 수 있다. 이때, 본 발명은 일자 별 정비 물량 조합에서 임의의 일자에 배정된 정비 물량을 변경하는 액션을 통해 확인되는 해상풍력단지의 전체 출력을 강화학습의 보상으로 간주하여 정비기간 동안 해상풍력단지의 전체 출력을 최대로 하는 최적의 일자 별 정비 물량 조합을 학습시킬 수 있고, 최적의 일자 별 정비 물량 조합에 대하여 풍력터빈의 배정 순서를 임의로 변경하는 액션을 통해 확인되는 해상풍력단지의 전체 출력을 강화학습의 보상으로 간주하여 정비기간 동안 해상풍력단지의 전체 출력을 최대로 하는 최적의 풍력터빈 배열을 학습시킬 수 있다.

도 2는 실시예들에 따른 전자 장치(200)의 구성 예시도이다. 전자 장치(200)는 본 발명에 따른 해상풍력단지의 정비 플래닝을 위한 시스템(도 3의 300)에 포함되거나, 해상풍력단지의 정비 플래닝을 위한 시스템이 전자 장치(200)를 통해 구현될 수 있다.

도 2를 참조하면, 전자 장치(200)는 프로세서(210), 메모리(220) 및 트랜시버(transceiver)(230)를 포함할 수 있다. 도 2에는 본 개시의 실시예와 관련된 전자 장치(200)의 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 전자 장치에 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

프로세서(210)는 전자 장치(200)의 전반적인 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 프로세서(210)는 적어도 하나의 하드웨어 유닛으로 구성될 수 있다. 또한, 프로세서(210)는 메모리(220)에 저장된 프로그램 코드를 실행하여 생성되는 하나 이상의 소프트웨어 모듈에 의해 동작할 수 있다. 프로세서(210)는 메모리(220)에 저장된 컴퓨터 프로그램이나 명령어를 실행하여 전자 장치(800)의 전반적인 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 프로세서(210)는 본 개시 전반에서 설명되는 해상풍력단지의 정비 플래닝 방법에 관한 내용을 수행하도록 구성될 수 있다.

메모리(220)는 본 개시 전반에서 설명되는 해상풍력단지의 정비 플래닝 방법을 수행하기 위한 컴퓨터 프로그램을 실행하는 데 필요한 프로그램 코드 및 정보를 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

트랜시버(230)는 유/무선 통신을 수행하여 관련 정보를 송수신할 수 있다. 트랜시버(230)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있을 수 있다.

도 3은 실시예들에 따른 시스템(300)의 구성 예시도이다.

도 3을 참조하면, 해상풍력단지의 정비 플래닝을 위한 시스템(300)은 스케줄링 모듈(310) 및 단지 출력 계산 모듈(320)을 포함할 수 있다. 도 3에는 본 개시의 실시예와 관련된 시스템(300)의 구성요소들만이 도시되어 있다. 따라서, 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 시스템에 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

시스템(300)은 스케줄링 모듈(310) 및 단지 출력 계산 모듈(320)을 통해 본 개시 전체에서 설명되는 해상풍력단지의 정비 스케줄링 방법을 수행할 수 있다. 스케줄링 모듈(310)은, 정비기간, 정비대상 풍력터빈의 개수와 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 상기 정비기간 동안의 기상 정보를 수신하도록 구성될 수 있으며, 정비 스케줄링 결과가 출력되면 이를 다른 전자 장치에 전송할 수도 있다.

스케줄링 모듈(310)은 단지 출력 계산 모듈(320) 및 심층 강화학습 알고리즘을 이용하여 정비기간 동안 해상풍력단지의 전체 출력을 최대화할 수 있는 일자 별 정비 물량 및 일자 별 정비 물량에 따른 작업목록인 풍력터빈 배열을 결정할 수 있다. 본 발명에서는 심층 강화학습 알고리즘으로서 DQN 또는 액터-크리틱(Actor-Critic)이 이용될 수 있으며, 두 알고리즘 중 어느 것을 사용할지 여부는 정비 플래닝의 규모와 복잡도에 따라 결정될 수 있다. 스케줄링 모듈(310)은 정비기간, 정비대상 풍력터빈 목록, 및 정비기간 동안 예보된 바람 데이터를 수신할 수 있다. 스케줄링 모듈(310)은 강화학습을 통해 일자 별 정비 물량을 최적화하는 물량 배정 스테이트를 수행할 수 있다. 즉, 스케줄링 모듈(310)은 일자 별 정비물량을 단지 출력 계산 모듈(320)에 제공하고, 단지 출력 계산 모듈(320)의 계산 결과, 즉 해상풍력단지의 전체 출력을 기초로 최대의 전체 출력을 나타내는 일자 별 정비물량을 생성할 수 있다. 일자 별 정비물량은 정비기간 동안에 정비해야 할 풍력터빈들의 개수를 정비기간 동안의 각 일자 별로 분배한 것을 나타낸다.

또한 스케줄링 모듈(310)은 강화 학습을 통해 정비기간 동안 일자 별 정비물량에 따른 풍력터빈의 작업목록에 해당하는 풍력터빈 배열을 최적화하는 터빈 선정 스테이트를 수행할 수 있다. 즉, 스케줄링 모듈(310)은 정비대상 풍력터빈 목록의 정비대상 풍력터빈들과 일자 별 정비물량을 기초로 작업목록을 생성하고, 생성한 작업목록을 단지 출력 계산 모듈(320)에 제공할 수 있다. 단지 출력 계산 모듈(320)은 스케줄링 모듈(310)로부터 수신한 작업목록에 따라 정비대상 풍력터빈들을 정비할 경우에 해상출력단지가 정비기간 동안에 생산할 수 있는 전체 출력을 산출할 수 있다. 단지 출력 계산 모듈(320)은 작업목록에 대응하는 전체 출력을 스케줄링 모듈(310)에 제공할 수 있다. 스케줄링 모듈(310)은 생성한 작업목록들 중에서 최대의 전체 출력을 갖는 작업목록을 최적의 풍력터빈 배열로 결정하여 출력할 수 있다.

여기서 각각의 일자 별 정비물량 또는 각각의 풍력터빈의 배열은 상태로 지칭될 수 있고, 액션은 일자 별 정비물량의 상태를 변경하는 것 또는 풍력터빈의 배열의 상태를 변경하는 것으로 정의되며, 초기 상태의 일자 별 정비물량 또는 초기의 풍력터빈의 배열에서 시작하는 첫번째 상태부터 정해진 횟수 동안 취해지는 일련의 액션들의 묶음은 에피소드로 정의될 수 있다.

실시예들에 따르면, 스케줄링 모듈(310)은 심층 Q-네트워크를 통해 일자 별 정비물량의 배정을 최적화할 수 있다.

실시예들에 따르면, 스케줄링 모듈(310)은 정비물량의 배정 및 기상대응을 위한 심층 Q-네트워크를 포함할 수 있고, 이 경우 스케줄링 모듈(310)은 에피소드마다 일자 별 풍향 및 풍속 정보를 임의로 설정하고 정비물량을 가감하는 액션을 통해 심층 신경망을 학습시킬 수 있으며, 학습 과정에서 기상 정보를 고려한 훈련 모델을 저장할 수 있다. 이에 따라, 스케줄링 모듈(310)은 훈련 모델에 기초하여 특정 정비기간의 풍향 및 풍속에 대한 정비 스케줄링 결과를 추론할 수 있다.

실시예들에 따르면, 스케줄링 모듈(310)은 정비물량의 배정 및 기상대응을 위한 액터-크리틱(Actor-Critic) 네트워크를 포함할 수 있고, 이에 대해서는 이하의 도 7에서 보다 상세히 설명된다.

실시예들에 따르면, 스케줄링 모듈(310)은 심층 Q-네트워크를 통해 일자 별 정비물량에 따른 풍력터빈의 작업목록을 최적화할 수 있다.

실시예들에 따르면, 스케줄링 모듈(310)은 심층 Q-네트워크를 통해 최적의 일자 별 정비물량과 최적의 풍력터빈 배열의 결정을 순차적으로 수행하거나, 동시에 수행할 수 있다.

실시예들에 따르면, 스케줄링 모듈(310)은 액터-크리틱 네트워크를 통해 최적의 일자 별 정비물량과 최적의 풍력터빈 배열의 결정을 순차적으로 수행하거나, 동시에 수행할 수 있다.

단지 출력 계산 모듈(320)은 해상풍력단지 정보를 저장하고 있으며, 해상풍력단지의 풍속 및 풍량에 따른 해상풍력단지의 전체 출력을 계산할 수 있다. 해상풍력단지 정보는 해상풍력단지 내의 풍력터빈들의 위치 정보 및 모델 별 성능정보를 포함할 수 있다. 단지 출력 계산 모듈(320)은 스케줄링 모듈(310)로부터 정비기간 동안 풍력터빈의 일자 별 정비물량 및/또는 정비기간 동안 정비해야 할 일자 별 풍력터빈들을 나타내는 작업목록을 수신할 수 있으며, 정비기간 동안 일자 별 바람 데이터에 기초하여 일자 별 단지 출력을 계산할 수 있으며, 일자 별 단지 출력을 정비기간 동안에 누적함으로써 정비기간 동안의 해당풍력단지의 전체 출력을 계산할 수 있다. 본 개시에서 전체 출력은 정비기간 동안의 해상풍력단지의 일자 별 출력을 누적한 것을 의미할 수 있다.

풍력터빈이 가동하는 경우 가동 중인 풍력터빈의 후단에 위치하는 풍력터빈의 유효풍속은 후류로 인하여 감소하게 되고, 해상풍력단지 내의 풍력터빈들 중 일부가 정비로 인해 가동을 멈출 경우 비가동 풍력터빈의 후단에 위치하는 풍력터빈의 유효풍속은 감소하지 않는다. 단지 출력 계산 모듈(320)은 이러한 후류를 반영하는 Jensen 후류 모형을 기반으로 설계된 해상풍력단지 시뮬레이션을 수행할 수 있다. 단지 출력 계산 모듈(320)은 정비로 인한 비가동 풍력터빈 데이터 및 풍량 및 풍속을 포함하는 바람 데이터를 수신하고, 이 데이터들을 기초로 해상풍력단지 시뮬레이션을 수행함으로써 정비 기간 동안의 해상풍력단지의 전체 출력을 추정할 수 있다. 단지 출력 계산 모듈(320)은 풍력터빈 각각에 탑재된 풍속 센서로 감지한 풍속 데이터에만 의존하지 않고, 풍력터빈 모델 별 성능정보를 반영한 Jensen 후류 모형을 기반으로 해상풍력단지 시뮬레이션을 수행할 수 있다.

도 4는 일 실시예에 따른 해상풍력단지의 정비 스케줄링 방법을 설명하기 위한 흐름도이다. 도 4의 해상풍력단지의 정비 스케줄링 방법은 도 2에 도시된 전자 장치(200)에 의해 수행될 수 있다.

도 4를 참조하면, 단계 401에서, 전자 장치는 정비기간, 정비대상 풍력터빈의 개수와 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 정비기간 동안의 기상 정보를 수신할 수 있다. 예를 들어, 도 1에 예시된 해상풍력단지의 경우, 전자 장치는 정비기간(예: 4월 1일부터 4월 7일까지의 7일)과 해당 정비기간의 기상 예보를 수신할 수 있고, 이러한 기상 정보에는 해상풍력단지가 위치한 지역의 풍속, 풍향, 풍량 등의 정보가 포함될 수 있다. 또한, 전자 장치는 풍력터빈 정보로서 정비대상 풍력터빈의 개수와 정비대상 풍력터빈의 목록을 수신할 수 있다. 도 1을 예로 들면, 해상풍력단지 내의 총 49개의 풍력터빈 중 정비대상 풍력터빈의 개수가 25개인 경우, 전자 장치는 정비대상 풍력터빈의 개수가 25개임을 나타내는 정보와 제1 정비대상 풍력터빈 내지 제25정비대상 풍력터빈을 나타내는 정비대상 풍력터빈의 목록을 수신할 수 있다.

단계 403에서, 전자 장치는 정비기간 및 정비대상 풍력터빈의 개수에 기초하여, 제1 심층 신경망을 이용한 강화학습을 통해, 기상 정보를 고려한 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정할 수 있다. 일 실시예에서, 전자 장치는 일자 별로 정비할 풍력터빈을 특정하기에 앞서, 정비기간 동안의 일자 별 정비 물량을 결정할 수 있고, 이는 물량 배정 스테이트(state)로 지칭될 수 있다. 전자 장치는, 심층 신경망이 초기 일자 별 정비 물량에서 임의의 일자에 배정된 정비 물량을 변경하는 액션을 통해 해상풍력단지의 전체 출력을 확인하고, 감쇠 보상의 누적합인 리턴이 최대화되도록 학습시킴으로써, 정비기간 동안 해상풍력단지의 전체 출력을 최대로 하는 최적의 일자 별 정비 물량을 결정할 수 있다.

일 실시예에 따르면, 제1 심층 신경망은 제1 입력층, 제1 출력층, 제1 입력층과 제1 출력층 사이에 하나 이상의 제1 은닉층을 포함할 수 있고, 이들은 물량 배정 스테이트에서의 학습을 위해 구동될 수 있다. 일 실시예에서, 정비대상 풍력터빈의 개수를 정비기간의 일자 별로 배분한 초기 배열이 제1 입력층에 입력될 수 있고, 이에 대하여 해상풍력단지의 전체 출력이 계산될 수 있다. 또한, 제1 출력층에서는 초기 배열부터 시작하여 정비기간 중 어느 2개 일자에서의 정비 물량이 가감된 제1 액션이 출력되며, 제1 액션에 따라 변경된 배열이 입력층에 입력되고 해당 배열에 대하여 해상풍력단지의 전체 출력이 계산될 수 있다. 전자 장치는 일자 별 정비물량의 상태에 관한 제1 보상을 평가하고, 복수의 제1 액션 중 감쇠 보상, 즉 제1 보상의 누적합인 리턴이 최대화되는 액션에 따른 일자 별 정비물량을 출력할 수 있다. 이때, 제1 보상은 입력층에 입력된 배열에 대해 계산되는 해상풍력단지의 전체 출력에 대해, 제1 출력층에서의 액션으로 변경되어 입력층에 입력되는 다음 배열에 대해 계산되는 단지의 해상풍력단지의 전체 출력의 변화량으로 정의될 수 있다. 구체적으로, 전자 장치는 정비대상 풍력터빈의 개수를 정비기간의 일자 별로 배분한 초기 배열을 제1 입력층에 입력할 수 있다. 즉, 일자 별 정비 물량의 초기 값이 제1 입력층에 입력될 수 있고, 예를 들어, 정비기간인 4월 1일부터 4월 7일까지의 7일 동안 25개의 정비대상 풍력터빈을 배분한 배열 [4, 4, 4, 4, 3, 3, 3]이 제1 입력층에 입력될 수 있다. 심층 신경망에서는 입력된 배열 중 임의의 2개 일자에서의 정비 물량을 가감하는 액션을 적용하고, 후류 영향 등을 고려한 해상풍력단지의 전체 출력의 최대화를 유도하는 보상을 포함하여 각 액션의 보상을 평가하는 것을 반복하면서 최적의 일자 별 정비 물량을 학습 결과로 도출해 낼 수 있다. 이 경우, 정비 비용, 정비 시간 또는 설비 건전도 등이 미리 설정된 정비 수행 능력 범위 밖일 경우에는 패널티 보상이 적용될 수 있다.

이 경우, 입력층에 입력된 배열에서 2개 일자에서의 정비 물량을 가감하는 액션은 2가지 유형이 있을 수 있다.

먼저, 제1 유형으로, 정비 기간 중 임의의 2개 일자의 정비 물량을 가감하는 액션이 있을 수 있고, 이때 2개 일자는 서로 인접한 일자로 제한되지 않는다. 즉, 정비 기간을 단위 기간으로 나눈 것이 n일 때, 임의로 2개의 단위 기간이 선정되면 각각 정비 물량이 1개가 증가되고 1개가 감소되거나, 1개가 감소되고 1개가 증가하는 경우가 있으므로, 이러한 유형의 액션은 nC₂X2개가 있을 수 있다. 예를 들어, 정비기간이 4월 1일부터 4월 7일이고 단위 기간이 '일'인 경우, n은 7의 값을 가질 수 있으며, 제1 정비 일자(4월 1일)의 정비 물량을 1개 증가시키고 제2 정비 일자(4월 2일)의 정비 물량을 1개 감소시키는 액션 [1, -1, 0, 0, 0, 0, 0]에 대한 보상이 평가될 수 있다.

제2 유형으로, 정비 기간 중 인접한 2개 일자의 정비 물량을 가감하는 액션이 고려될 수 있다. 즉, 정비 기간을 단위 기간으로 나눈 것이 n일 때, 서로 인접한 2개의 단위 기간에 대해 각각 정비 물량이 1개가 증가되고 1개가 감소되거나, 1개가 감소되고 1개가 증가하는 경우가 있으므로, 이러한 유형의 액션은 (n-1)x2개가 있을 수 있다. 예를 들어, 정비기간이 4월 1일부터 4월 7일로 총 7일 경우, 제2 유형의 액션은 [1,-1,0,0,0,0,0], [-1,1,0,0,0,0,0], [0,1,-1,0,0,0,0], [0,-1,1,0,0,0,0]과 같이 서로 인접한 일자의 정비 물량을 가감하는 액션일 수 있다.

일 실시예에 의하면 풍력터빈 배열은 단위 기간별 배정 물량에 속하는 터빈 연번(목록)일 수 있고, 또는 도 8에서 나타내는 바와 같이 상기 연번(목록)에 해당하는 배열을 매트릭스(2차원 배열)로 변환 후 합성곱신경망을 적용한 것일 수 있다. 합성곱신경망은 심층 신경망(DNN: Deep Neural Network)의 한 종류로서, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망일 수 있다. CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 훈련될 수 있다.

일 실시예에서, 전자 장치는 전체 출력이 더 이상 증가하지 않는 종착 상태에 도달하면, 종착 상태에 해당하는 일자 별 정비 물량을 최적의 일자 별 정비 물량으로 결정할 수 있다. 예를 들어, 전자 장치는 심층 강화학습의 결과로서, 도 5와 같이 4월 1일부터 4월 7일까지 7일의 정비기간 동안 [6, 4, 6, 1, 6, 1, 1]의 배열로 정비물량을 배정하는 것이 해상풍력단지의 전체 출력을 최대화하는 결과라고 출력할 수 있다.

일 실시예에서, 전자 장치는 물량배정 및 기상대응을 위한 심층 신경망으로서 심층 Q-네트워크를 포함할 수 있다. 구체적으로, 전자 장치는 입력층에 일자 별 정비물량 및 에피소드마다 임의로 설정되는 일자 별 풍향 및 풍속 정보를 입력하고, 출력층에서 정비물량을 가감하는 액션을 출력하여 심층 신경망을 학습시킴으로써, 학습 과정에서 풍향 및 풍속까지 학습된 훈련 모델을 저장할 수 있다. 이에 따라, 전자 장치는 저장된 훈련 모델을 이용하여, 특정 정비기간의 풍향 및 풍속에 대한 일자 별 정비물량을 포함하는 정비 스케줄링 결과를 추론할 수도 있다.

일 실시예에서, 전자 장치는 물량배정 및 기상대응을 위한 심층 신경망으로서 액터-크리틱 네트워크를 포함할 수 있으며, 이에 대해서는 이하의 도 7에서 보다 자세히 설명된다.

위 기재한 물량배정 및 기상대응을 위한 심층 Q-네트워크와 액터-크리틱 네트워크의 경우, 임의의 다양한 기상 정보에 대한 정비 물량의 배정을 훈련한 모델이 이용되므로, 특정 기간의 기상 정보가 입력되면, 훈련된 모델에 의해 정비 물량이 즉시 배정되는 결과가 도출될 수 있다. 예를 들어, 전자 장치는 [(정비 물량 배정 3, 3, 3, 3 - 풍속 9m/s), (정비 물량 배정 3, 3, 3, 3 - 풍속 7m/s), (정비 물량 배정 3, 3, 3, 3 - 풍속 6m/s)]와 같이 일자 별로 3건씩 4일간 물량을 배정하는 경우를 임의의 다양한 기상 정보에 대해 학습시킬 수 있다. 이를 학습한 모델은 특정 기간의 기상 정보가 주어질 경우, 학습된 물량 배정 결과를 즉시 출력할 수 있다.

단계 405에서, 전자 장치는 정비대상 풍력터빈의 목록에 기초하여, 제2 심층 신경망을 이용한 강화학습을 통해, 기상 정보를 고려한 상기 해상풍력단지의 전체 출력이 최대화되도록 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정할 수 있다. 일 실시예에서 전자 장치는 최적의 일자 별 정비 물량을 결정하는 물량 배정 스테이트를 수행한 다음, 최적의 일자 별 정비 물량에 대응하는 정비대상 풍력터빈의 구체적인 배열을 결정하는 터빈 선정 스테이트를 수행할 수 있다. 전자 장치는 일자 별 정비 물량에 속하는 정비대상 풍력터빈의 배열 내에서 임의의 2개의 정비대상 풍력터빈의 위치를 변경하는 액션을 통해 해상풍력단지의 전체 출력을 확인하고, 감쇠 보상의 누적합인 리턴이 최대화되도록 학습시킴으로써, 정비기간 동안 해상풍력단지의 전체 출력을 최대로 하는 최적의 풍력터빈 배열을 결정할 수 있다.

일 실시예에 따르면, 제2 심층 신경망은 제2 입력층, 제2 출력층, 제2 입력층과 제2 출력층 사이에 하나 이상의 제2 은닉층을 포함할 수 있고, 이들은 터빈 선정 스테이트에서의 학습을 위해 구동될 수 있다. 일 실시예에서, 정비대상 풍력터빈의 목록이 제2 입력층에 입력될 수 있고, 이에 대하여 해상풍력단지의 전체 출력이 계산될 수 있다. 또한, 제2 출력층에서는 초기의 정비대상 풍력터빈의 목록부터 시작하여 어느 2개의 풍력터빈의 위치가 서로 변경된 제2 액션이 출력되며, 제2 액션에 따라 변경된 배열이 입력층에 다시 입력되고 해당 배열에 대하여 해상풍력단지의 전체 출력이 계산될 수 있다. 전자 장치는 풍력터빈의 배열에 관한 제2 보상을 평가하고, 복수의 제2 액션 중 감쇠 보상, 즉 제2 보상의 누적합인 리턴이 최대화되는 액션에 따른 풍력터빈 배열을 결정할 수 있다. 이때, 제2 보상은 입력층에 입력된 배열에 대해 계산되는 해상풍력단지의 전체 출력에 대해, 제2 출력층에서의 액션으로 변경되어 입력층에 입력되는 다음 배열에 대해 계산되는 단지의 해상풍력단지의 전체 출력의 변화량으로 정의될 수 있다. 예를 들어, 도 1 및 5를 참조하면, 정비대상 풍력터빈의 목록은 제1 정비대상 풍력터빈 내지 제25 풍력터빈으로서 짝수 식별번호를 가진 풍력터빈들이 순차적으로 나열된 배열 [0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32, 34, 36, 38, 40, 42, 44, 46, 48] 일 수 있다. 심층 신경망에서는 입력된 배열 중 임의의 2개의 풍력터빈의 위치를 서로 변경하는 액션을 적용하고, 후류 영향 등을 고려한 해상풍력단지의 전체 출력의 최대화를 유도하는 보상을 포함하여 각 액션의 보상을 평가하는 것을 반복하면서 최적의 풍력터빈 배열을 학습 결과로 도출해 낼 수 있다. 이 경우, 정비 비용, 정비 시간 또는 설비 건전도 등이 미리 설정된 정비 수행 능력 범위 밖일 경우에는 패널티 보상이 적용될 수 있다.

예를 들어, 도 1 및 5를 참조하면, 제1 정비대상 풍력터빈(풍력터빈(0))과 제2 정비대상 풍력터빈(풍력터빈(2))의 위치를 변경하는 액션 [0, 2]에 대한 보상이 평가될 수 있고, 이러한 액션은 nC₂개가 있을 수 있다. 여기서 n은 정비대상 풍력터빈 목록에 포함된 풍력터빈의 개수를 나타낼 수 있다. 일 실시예에서, 전자 장치는 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 종착 상태에 해당하는 풍력터빈 배열을 상기 최적의 풍력터빈 배열로 결정할 수 있다. 일 실시예에서 전자 장치는 정비기간 동안의 최적의 일자 별 정비 물량에 대응하도록, 해상풍력단지의 정비대상 풍력터빈을 최적의 풍력터빈 배열에 따라 배정할 수 있다. 예를 들어, 전자 장치는 심층 강화학습의 결과로서, [0, 2, 6, 8, 44, 14, 32, 4, 16, 18, 20, 12, 42, 34, 28, 46, 10, 26, 24, 38, 40, 22, 36, 30, 48] 의 순서가 해상풍력단지의 전체 출력을 최대화한다고 추론할 수 있다. 또한 이들 정비대상 풍력터빈은 앞서 결정된 최적의 일자 별 정비 물량에 대응하여 배정됨으로써, 결과적으로, 7일의 정비기간 동안 일자 별로 [0, 2, 6, 8, 44, 14], [32, 4, 16, 18], [20, 12, 42, 34, 28, 46], [10], [26, 24, 38, 40, 22, 36], [30], [48] 정비대상 풍력터빈이 선정될 수 있다.

단계 407에서, 전자 장치는 최적의 일자 별 정비 물량 및 최적의 풍력터빈 배열에 기초하여 정비 스케줄링 결과를 출력할 수 있다. 예를 들면, 전자 장치는 최종적으로 심층 신경망을 이용한 강화학습에 의한 결과로서, 4월 1일에는 [0, 2, 6, 8, 44, 14]의 6개의 풍력터빈, 4월 2일에는 [32, 4, 16, 18]의 4개의 풍력터빈, 4월 3일에는 [20, 12, 42, 34, 28, 46]의 6개의 풍력터빈, 4월 4일에는 [10]의 1개의 풍력터빈, 4월 5일에는 [26, 24, 38, 40, 22, 36]의 6개의 풍력터빈, 4월 6일에는 [30]의 1개의 풍력터빈, 4월 7일에는 [48]개의 풍력터빈을 정비하도록 하는 정비 스케줄링 결과를 출력할 수 있다.

도 5는 실시예들에 따른 정비할 풍력터빈을 선정하는 심층 신경망의 추이 및 정비 스케줄링의 최적화 결과를 설명하기 위한 도면이다. 전자 장치는 일자 별 정비 물량에서 정해진 횟수 동안 취해지는 일련의 액션들의 묶음인 에피소드를 반복하여 그에 대한 리턴을 얻을 수 있다. 에피소드를 미리 설정된 횟수만큼 반복하며 리턴이 특정 값에 수렴하면, 전자 장치는 종착 상태에 해당하는 일자 별 정비 물량을 최적의 일자 별 정비 물량으로 결정할 수 있다. 또한, 최적의 일자 별 정비 물량이 결정되면 전자 장치는 각 일자 별 정비물량에 맞추어 정비대상 풍력터빈의 배열을 변경하는 스케줄링을 반복하면서 해상풍력단지의 전체 출력을 계산할 수 있다. 스케줄링을 반복하며 전체 출력이 특정 값에 수렴하면, 전자 장치는 종착 상태에 해당하는 풍력터빈 배열을 상기 최적의 풍력터빈 배열로 결정할 수 있다.

본 발명에서 심층 신경망은 심층 Q-네트워크(Deep Q-Network, DQN)일 수 있다. DQN은 강화학습에서 관찰되는 상태를 입력층, 상태에 임의의 변화를 일으키는 액션을 출력층으로 구성할 수 있다. 위에서 설명된 바와 같이, 일 실시예에서 DQN은 물량 배정 스테이트를 수행하는 제1 입력층, 제1 은닉층, 제1 출력층과, 터빈 선정 스테이트를 수행하는 제2 입력층, 제2 은닉층, 제2 출력층으로 구성될 수 있으며, 이 경우 물량 배정 스테이트와 터빈 선정 스테이트는 순차적으로 수행될 수 있다. 이와 같이 정비 물량의 배정과 정비대상 풍력터빈 선정을 순차적인 2개의 스테이트로 나누어 수행하는 경우, 구현이 보다 간단해질 수 있다.

다른 실시예에서, 물량 배정 스테이트와 터빈 선정 스테이트는 동시에 수행될 수 있다. 도 6은 실시예들에 따른 해상풍력단지의 정비 스케줄링을 위한 심층 신경망의 구성을 설명하기 위한 도면이다. 도 6을 참조하면, 물량배정과 터빈선정을 동시에 수행하는 DQN(600)은 물량배정 배열(610)과 풍력터빈 목록 배열(620)을 연결한 입력층(650), 정비물량을 가감하는 액션 공간 배열인 물량 변경 액션(630)과 풍력 터빈의 번호 순서를 바꾸는 액션 공간 배열인 목록 변경 액션(640)을 연결한 출력층(670)과 입력층(650)과 출력층(670) 사이에 배치된 은닉층(660)으로 구성될 수 있다. 이 경우, 도 4에서의 단계(403)과 단계(405)는 동시에 수행될 수 있다.

도 7은 실시예들에 따른 물량 배정 및 기상대응 액터-크리틱(Actor-Critic) 네트워크(700)의 구성을 설명하기 위한 도면이다. 즉, 도 7에 예시된 구성은 본 발명의 정비 물량을 배정하기 위한 심층 강화학습 알고리즘으로서 액터-크리틱 방식을 채택하는 경우에 관한 것이며, 위에서 설명한 바와 같이 에피소드마다 임의로 설정된 기상 정보까지 학습시켜 즉각적인 기상대응이 가능하다.

액터-크리틱은 강화학습에서 사용되는 알고리즘 중 하나로, 주어진 환경에서 에이전트가 학습을 통해 최적의 행동을 선택하는 방법을 학습하는 방법론이다. 액터-크리틱 알고리즘은 정책(policy)과 가치함수(value function)를 동시에 학습하는 형태로 구성될 수 있다. 액터는 에이전트의 행동을 결정하는 정책 함수를 학습하는데, 정책 함수는 주어진 상태(state)에서 에이전트가 어떤 행동(action)을 선택해야 할지를 결정하는 역할을 한다. 액터는 주어진 상태에서 가능한 행동들에 대한 확률 분포를 출력하고, 이를 기반으로 행동을 선택한다. 크리틱은 주어진 상태에서의 기대값 또는 평균적인 보상을 추정하는 함수인 가치함수를 학습한다. 크리틱은 에이전트가 선택한 행동의 가치를 평가하고, 이를 통해 행동의 가치를 업데이트한다.

도 7을 참조하면, 액터 네트워크(740)는 입력층(710), 은닉층(741), 출력층(742)으로 구성되고, 크리틱 네트워크(750)는 입력층(710), 은닉층(751), 출력층(752)으로 구성될 수 있다. 물량 배정 배열(701)과 풍속, 풍향 정보(702)가 입력층(710)에 입력되면, 액터 네트워크(740)는 정비물량을 가감하는 액션 공간 배열인 물량 변경 액션(703)을 출력할 수 있다. 또한 크리틱 네트워크(750)는 입력층(710)과 해당 입력층에 대한 출력층(752)에서 가치함수(704)를 출력할 수 있다. 액터-크리틱 네트워크(700)는 액터 네트워크(740)의 정책 간 확률비와 크리틱 네트워크의 이득함수로 계산되는 대체 목적함수(L^CLIP, L^VF)가 최대화되는 방향으로 학습할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 저장 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

해상풍력단지의 정비 플래닝 방법에 있어서,
정비기간, 정비대상 풍력터빈의 개수와 상기 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 상기 정비기간 동안의 기상 정보를 수신하는 단계;
상기 정비기간 및 상기 정비대상 풍력터빈의 개수에 기초하여, 제1 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정하는 단계;
상기 정비대상 풍력터빈의 목록에 기초하여, 제2 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력이 최대화되도록 상기 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정하는 단계; 및
상기 최적의 일자 별 정비 물량 및 상기 최적의 풍력터빈 배열에 기초하여 정비 스케줄링 결과를 출력하는 단계를 포함하는, 해상풍력단지의 정비 플래닝 방법.
제1항에 있어서,
상기 해상풍력단지의 상기 풍력터빈 각각의 위치, 로터의 직경과 높이, 및 출력 곡선을 저장하는 단계;
상기 수신된 기상 정보의 풍속 및 풍향을 확인하고, Jensen 후류 모형 기반으로 상기 해상풍력단지 내의 상기 풍력터빈 각각의 유효 풍속을 계산하는 단계; 및
상기 풍력터빈 각각의 유효 풍속을 기초로 상기 풍력터빈 각각의 출력을 산출하는 단계를 더 포함하는, 해상풍력단지의 정비 플래닝 방법.
제1항에 있어서,
상기 제1 심층 신경망은 제1 입력층, 제1 출력층, 상기 제1 입력층과 상기 제1 출력층 사이에 하나 이상의 제1 은닉층을 포함하고,
상기 최적의 일자 별 정비 물량을 결정하는 단계는,
제1 일자 별 정비물량을 상기 제1 입력층에 입력하고, 상기 정비기간 중 2개 일자에서의 정비 물량이 가감된 제1 액션을 상기 제1 출력층에서 출력하며, 상기 제1 액션에 따라 변경된 제2 일자 별 정비물량을 상기 제1 입력층에 다시 입력하고, 상기 제1 일자 별 정비물량에 대한 전체 출력과 상기 제2 일자 별 정비물량에 대한 전체 출력의 변화량으로 정의되는 제1 보상을 평가하는 단계; 및
복수의 제1 액션 중 감쇠 보상의 누적합인 리턴(Return)이 최대화되는 일련의 액션 묶음을 출력하는 단계를 포함하고,
상기 제1 액션은 상기 정비기간 중 임의의 2개 일자에서의 정비 물량을 가감하는 제1 유형 또는 상기 정비기간 중 인접한 2개 일자에서의 정비 물량을 가감하는 제2 유형을 포함하는, 해상풍력단지의 정비 플래닝 방법.
제1항에 있어서,
상기 제2 심층 신경망은 제2 입력층, 제2 출력층, 상기 제2 입력층과 상기 제2 출력층 사이에 하나 이상의 제2 은닉층을 포함하고,
상기 최적의 풍력터빈 배열을 결정하는 단계는,
제1 풍력터빈 배열을 상기 제2 입력층에 입력하고, 상기 제1 풍력터빈 배열 중 어느 2개의 풍력터빈의 위치가 서로 변경된 제2 액션을 상기 제2 출력층에서 출력하며, 상기 제2 액션에 따라 변경된 제2 풍력터빈 배열을 상기 제2 입력층에 다시 입력하고, 상기 제1 풍력터빈 배열에 대한 전체 출력과 상기 제2 풍력터빈 배열에 대한 전체 출력의 변화량으로 정의되는 제2 보상을 평가하는 단계; 및
복수의 제2 액션 중 감쇠 보상의 누적합인 리턴이 최대화되는 일련의 액션 묶음을 출력하는 단계를 포함하는, 해상풍력단지의 정비 플래닝 방법.
제4항에 있어서,
상기 풍력터빈 배열은 단위 기간별 배정 물량에 속하는 터빈 연번일 수 있고, 또는 상기 연번에 해당하는 배열을 2차원 매트릭스로 변환 후 합성곱신경망을 적용한 것일 수 있는, 해상풍력단지의 정비 플래닝 방법.
제3항에 있어서,
상기 최적의 일자 별 정비 물량을 결정하는 단계는, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 일자 별 정비 물량을 상기 최적의 일자 별 정비 물량으로 결정하는 단계를 더 포함하는, 해상풍력단지의 정비 플래닝 방법.
제4항에 있어서,
상기 최적의 풍력터빈 배열을 결정하는 단계는, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 풍력터빈 배열을 상기 최적의 풍력터빈 배열로 결정하는 단계를 더 포함하는, 해상풍력단지의 정비 플래닝 방법.
제4항에 있어서,
상기 제1 심층 신경망을 이용하는 강화학습을 통해 상기 최적의 일자 별 정비 물량이 결정된 후, 상기 제2 심층 신경망을 이용하는 강화학습을 통해 상기 최적의 풍력터빈 배열이 결정되는, 해상풍력단지의 정비 플래닝 방법.
제4항에 있어서,
상기 제1 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행되고,
상기 제1 및 제2 심층 신경망은 일자 별 정비 물량의 배열 및 풍력터빈 배열을 연결한 입력층 및 정비 물량을 가감하는 제1 액션 공간 배열과 풍력터빈의 위치를 서로 변경하는 제2 액션 공간 배열을 연결한 출력층을 포함하는, 해상풍력단지의 정비 플래닝 방법.
제3항에 있어서,
상기 최적의 일자 별 정비 물량을 결정하는 단계는,
단위 기간 별 정비 물량 및 단위 기간 별로 에피소드마다 임의로 설정되는 풍향 및 풍속 정보에 기초하여 정비 물량의 배정을 학습하는 훈련 모델을 저장하는 단계; 및
상기 저장된 훈련 모델에 기초하여 특정 정비기간의 기상 정보에 대한 상기 최적의 일자 별 정비 물량을 결정하는 단계를 포함하는, 해상풍력단지의 정비 플래닝 방법.
제1항에 있어서,
상기 제1 심층 신경망은 액터(Actor) 네트워크 및 크리틱(Critic) 네트워크로 구성되고,
상기 액터 네트워크의 입력층에는 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 액터 네트워크의 출력층에서는 일자 별 정비 물량을 가감하는 물량 변경 액션이 출력되고,
상기 크리틱 네트워크의 입력층에는 상기 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 크리틱 네트워크의 출력층에서는 상기 크리틱 네트워크의 입력층에 대한 가치 함수가 출력되고,
상기 최적의 일자 별 정비 물량은, 상기 물량 변경 액션에 대한 정책 간 확률비 및 상기 가치 함수로부터 얻어지는 이득 함수에 기초하여 계산되는 대체 목적 함수를 최대화는 학습을 통해 결정되는, 해상풍력단지의 정비 플래닝 방법.
제11항에 있어서,
상기 액터 네트워크 및 크리틱 네트워크를 이용하는 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행되는, 해상풍력단지의 정비 플래닝 방법.
해상풍력단지의 정비 플래닝을 위한 시스템에 있어서,
스케줄링 모듈; 및
단지 출력 계산 모듈을 포함하고,
상기 스케줄링 모듈은,
정비기간, 정비대상 풍력터빈의 개수와 상기 정비대상 풍력터빈의 목록을 포함하는 풍력터빈 정보 및 상기 정비기간 동안의 기상 정보를 수신하고,
상기 정비기간 및 상기 정비대상 풍력터빈의 개수에 기초하여, 제1 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력을 최대화하는 최적의 일자 별 정비 물량을 결정하고,
상기 정비대상 풍력터빈의 목록에 기초하여, 제2 심층 신경망을 이용한 강화학습을 통해, 상기 기상 정보를 고려한 상기 해상풍력단지의 전체 출력이 최대화되도록 상기 최적의 일자 별 정비 물량에 대응하는 최적의 풍력터빈 배열을 결정하고,
상기 최적의 일자 별 정비 물량 및 상기 최적의 풍력터빈 배열에 기초하여 정비 스케줄링 결과를 출력하도록 구성되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제13항에 있어서,
상기 단지 출력 계산 모듈은,
상기 해상풍력단지의 상기 풍력터빈 각각의 위치, 로터의 직경과 높이, 및 출력 곡선을 저장하고,
상기 수신된 기상 정보의 풍속 및 풍향을 확인하고, Jensen 후류 모형 기반으로 상기 해상풍력단지 내의 상기 풍력터빈 각각의 유효 풍속을 계산하고,
상기 풍력터빈 각각의 유효 풍속을 기초로 상기 풍력터빈 각각의 출력을 산출하도록 구성되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제13항에 있어서,
상기 제1 심층 신경망은 제1 입력층, 제1 출력층, 상기 제1 입력층과 상기 제1 출력층 사이에 하나 이상의 제1 은닉층을 포함하고,
상기 스케줄링 모듈은, 상기 최적의 일자 별 정비 물량을 결정하기 위해,
제1 일자 별 정비물량을 상기 제1 입력층에 입력하고, 상기 정비기간 중 2개 일자에서의 정비 물량이 가감된 제1 액션을 상기 제1 출력층에서 출력하며, 상기 제1 액션에 따라 변경된 제2 일자 별 정비물량을 상기 제1 입력층에 다시 입력하고, 상기 제1 일자 별 정비물량에 대한 전체 출력과 상기 제2 일자 별 정비물량에 대한 전체 출력의 변화량으로 정의되는 제1 보상을 평가하고,
복수의 제1 액션 중 감쇠 보상의 누적합인 리턴(Return)이 최대화되는 일련의 액션 묶음을 출력하도록 더 구성되고,
상기 제1 액션은 상기 정비기간 중 임의의 2개 일자에서의 정비 물량을 가감하는 제1 유형 또는 상기 정비기간 중 인접한 2개 일자에서의 정비 물량을 가감하는 제2 유형을 포함하는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제13항에 있어서,
상기 제2 심층 신경망은 제2 입력층, 제2 출력층, 상기 제2 입력층과 상기 제2 출력층 사이에 하나 이상의 제2 은닉층을 포함하고,
상기 스케줄링 모듈은, 상기 최적의 풍력터빈 배열을 결정하기 위해,
제1 풍력터빈 배열을 상기 제2 입력층에 입력하고, 상기 제1 풍력터빈 배열 중 어느 2개의 풍력터빈의 위치가 서로 변경된 제2 액션을 상기 제2 출력층에서 출력하며, 상기 제2 액션에 따라 변경된 제2 풍력터빈 배열을 상기 제2 입력층에 다시 입력하고, 상기 제1 풍력터빈 배열에 대한 전체 출력과 상기 제2 풍력터빈 배열에 대한 전체 출력의 변화량으로 정의되는 제2 보상을 평가하고,
복수의 제2 액션 중 감쇠 보상의 누적합인 리턴이 최대화되는 일련의 액션 묶음을 출력하도록 더 구성되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제16항에 있어서,
상기 풍력터빈 배열은 단위 기간별 배정 물량에 속하는 터빈 연번일 수 있고, 또는 상기 연번에 해당하는 배열을 2차원 매트릭스로 변환 후 합성곱신경망을 적용한 것일 수 있는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제15항에 있어서,
상기 스케줄링 모듈은, 상기 최적의 일자 별 정비 물량을 결정하기 위해, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 일자 별 정비 물량을 상기 최적의 일자 별 정비 물량으로 결정하도록 더 구성되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제16항에 있어서,
상기 스케줄링 모듈은, 상기 최적의 풍력터빈 배열을 결정하기 위해, 상기 전체 출력이 더 이상 증가하지 않고 최대값이 반복적으로 도출되는 종착 상태에 도달하면, 상기 종착 상태에 해당하는 풍력터빈 배열을 상기 최적의 풍력터빈 배열로 결정하도록 더 구성되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제16항에 있어서,
상기 제1 심층 신경망을 이용한 강화학습을 통해 상기 최적의 일자 별 정비 물량이 결정된 후, 상기 제2 심층 신경망을 이용한 강화학습을 통해 상기 최적의 풍력터빈 배열이 결정되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제16항에 있어서,
상기 제1 심층 신경망을 이용한 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용한 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행되고,
상기 제1 및 제2 심층 신경망은 일자 별 정비 물량의 배열 및 풍력터빈 배열을 연결한 입력층 및 정비 물량을 가감하는 제1 액션 공간 배열과 풍력터빈의 위치를 서로 변경하는 제2 액션 공간 배열을 연결한 출력층을 포함하는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제16항에 있어서,
상기 스케줄링 모듈은 상기 최적의 일자 별 정비 물량을 결정하기 위해,
단위 기간 별 정비 물량 및 단위 기간 별로 에피소드마다 임의로 설정되는 풍향 및 풍속 정보에 기초하여 정비 물량의 배정을 학습하는 훈련 모델을 저장하고,
상기 저장된 훈련 모델에 기초하여 특정 정비기간의 기상 정보에 대한 상기 최적의 일자 별 정비 물량을 결정하도록 더 구성되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제13항에 있어서,
상기 제1 심층 신경망은 액터 네트워크 및 크리틱 네트워크로 구성되고,
상기 액터 네트워크의 입력층에는 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 액터 네트워크의 출력층에서는 일자 별 정비 물량을 가감하는 물량 변경 액션이 출력되고,
상기 크리틱 네트워크의 입력층에는 상기 일자 별 정비 물량 및 상기 기상 정보의 풍속 및 풍향 정보가 입력되고, 상기 크리틱 네트워크의 출력층에서는 상기 크리틱 네트워크의 입력층에 대한 가치 함수가 출력되고,
상기 최적의 일자 별 정비 물량은, 상기 물량 변경 액션에 대한 정책 간 확률비 및 상기 가치 함수로부터 얻어지는 이득 함수에 기초하여 계산되는 대체 목적 함수를 최대화는 학습을 통해 결정되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
제23항에 있어서,
상기 액터 네트워크 및 크리틱 네트워크를 이용하는 강화학습을 통한 상기 최적의 일자 별 정비 물량의 결정 및 상기 제2 심층 신경망을 이용하는 강화학습을 통한 상기 최적의 풍력터빈 배열의 결정이 동시에 수행되는, 해상풍력단지의 정비 플래닝을 위한 시스템.
해상풍력단지의 정비 플래닝을 위한 전자 장치에 있어서,
명령어를 저장하는 메모리; 및
적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 메모리에 저장된 명령어를 실행함으로써, 상기 전자 장치로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 해상풍력단지의 정비 플래닝 방법을 수행하게 하는, 해상풍력단지의 정비 플래닝을 위한 전자 장치.
비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 비일시적 컴퓨터 판독 가능 저장 매체는, 전자 장치의 프로세서에 의해 실행되는 경우, 상기 전자 장치로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 해상풍력단지의 정비 플래닝 방법을 수행하게 하는 명령어를 저장하는, 비일시적 컴퓨터 판독 가능 저장 매체.
비일시적 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 전자 장치의 프로세서에 의해 실행되는 경우, 상기 전자 장치로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 해상풍력단지의 정비 플래닝 방법을 수행하게 하는, 컴퓨터 프로그램.