KR102648937B1 - 전력망 상태예측 모델 성능 관리 장치 및 방법 - Google Patents

전력망 상태예측 모델 성능 관리 장치 및 방법 Download PDF

Info

Publication number
KR102648937B1
KR102648937B1 KR1020200117731A KR20200117731A KR102648937B1 KR 102648937 B1 KR102648937 B1 KR 102648937B1 KR 1020200117731 A KR1020200117731 A KR 1020200117731A KR 20200117731 A KR20200117731 A KR 20200117731A KR 102648937 B1 KR102648937 B1 KR 102648937B1
Authority
KR
South Korea
Prior art keywords
prediction model
power grid
state prediction
error
grid state
Prior art date
Application number
KR1020200117731A
Other languages
English (en)
Other versions
KR20220035689A (ko
Inventor
이해성
이병성
김준혁
문상근
이혜선
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020200117731A priority Critical patent/KR102648937B1/ko
Publication of KR20220035689A publication Critical patent/KR20220035689A/ko
Application granted granted Critical
Publication of KR102648937B1 publication Critical patent/KR102648937B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출하는 산출부, 산출부를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 성능 저하의 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화(Generalization) 실패의 발생 여부를 판단하는 판단부, 및 판단부를 통해 판단된 결과에 기반하여 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정하는 결정부를 포함하는 것을 특징으로 한다.

Description

전력망 상태예측 모델 성능 관리 장치 및 방법{APPARATUS AND METHOD FOR MANAGING PERFORMANCE OF STATE PREDICTION MODEL OF POWER LINE}
본 발명은 전력망 상태예측 모델 성능 관리 장치 및 방법에 관한 것으로, 기계학습 기반의 전력망 상태예측 모델의 성능을 유지 및 관리하기 위한 전력망 상태예측 모델 성능 관리 장치 및 방법에 관한 것이다.
최근, 기계학습(Machine learning)을 기반으로 전력망의 상태를 예측하는 기술에 대한 개발이 활발하게 진행되고 있다.
일반적으로, 전력망의 상태를 예측하기 위한 전력망 상태예측 모델의 경우, 예측하고자 하는 목표 값을 얻기 위해서 예측 값에 대한 비교 평가를 할 수 있는 특성 데이터(패턴 또는 정답)를 포함하는 과거 이력 데이터가 필요하므로, 전력망 상태예측 모델은 지도 학습(Supervised learning)을 기반으로 만들어진다.
한편, 지도 학습을 기반으로 전력망 상태예측 모델을 학습시키는 경우, 학습 데이터를 과하게 학습함에 따라 실제 데이터에 대해서 예측 오차가 증가하는 현상인 과적합(Overfitting)이 발생하는 문제가 발생할 수 있다.
과적합이 발생하는 경우, 시간에 따라 특성 분포가 계속적으로 변화하고 단시간에 대량으로 발생하는 전력 데이터의 특성으로 인해 전력망 상태예측 모델의 성능은 시간이 지남에 따라 지속적으로 감소하게 된다.
전력망 상태예측 모델의 성능 저하 문제의 해결은 다음과 같은 세 가지 이유로 인해 매우 어려운 실정이다. 첫째, 전력망 상태예측 모델이 학습하는 데이터는 실제 데이터의 부분 집합이며, 실제 데이터를 모두 수집하는 것은 현실적으로 불가능하다. 둘째, 실제 데이터를 모두 수집하더라도 모든 데이터를 학습시키기 위해서는 측정 불가한 수준의 시간과 경제적 비용이 요구된다. 셋째, 학습 데이터만을 가지고 실제 데이터의 예측 오차가 발생하는 지점을 파악하는 것은 매우 어렵다.
이러한 이유로, 초기의 학습 데이터로 우수한 예측 정확도를 보인 전력망 상태예측 모델이더라도 시간이 지남에 따라 실제 데이터의 특성 변화로 인해 일반화 정도가 감소하므로 예측 결과에 대한 정확성과 신뢰성을 보장하기가 어렵다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2018-0082680호(2018.07.19.)의 '분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치'에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로, 본 발명의 일 측면에 따른 목적은 기계학습 기반의 전력망 상태예측 모델의 성능을 유지 및 관리할 수 있는 전력망 상태예측 모델 성능 관리 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 전력망 상태예측 모델 성능 관리 장치는 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출하는 산출부; 상기 산출부를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 성능 저하의 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화(Generalization) 실패의 발생 여부를 판단하는 판단부; 및 상기 판단부를 통해 판단된 결과에 기반하여 상기 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정하는 결정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 산출부는, 상기 전력망 상태예측 모델의 유형에 따라 상기 산출부를 통해 산출되는 테스트 오차 및 훈련 오차의 유형을 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 산출부는, 상기 전력망 상태예측 모델의 유형이 분류 모델인 경우, 로그 손실, 오차행렬 또는 AUC(Area Under Curve) 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 산출부는, 상기 전력망 상태예측 모델의 유형이 회귀 모델인 경우, 평균 절대 오차, 평균 제곱근 오차 또는 결정계수 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 판단부는, 상기 산출부를 통해 산출된 테스트 오차가 과거보다 증가한 경우, 상기 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어 상기 판단부는, 하기 수학식 1을 통해 산출된 평균오차 변동률(CME)에 기반하여 상기 의미 분포 변화의 발생 여부를 판단하는 것을 특징으로 한다.
[수학식 1]
(Es i는 특정 시점 t에서 산출된 테스트 오차이고, w는 윈도우의 크기이고, Es CW는 현재 윈도우의 테스트 오차 평균값이고, Es PW는 이전 윈도우의 테스트 오차 평균값이다.)
본 발명에 있어 상기 판단부는, 하기 수학식 2를 통해 산출된 오차비율 변동률(CTTE; Change rate of Train-Test Error)에 기반하여 상기 일반화의 실패 여부를 판단하는 것을 특징으로 한다.
[수학식 2]
(ES t는 현재 시점에서 산출된 테스트 오차이고, ES t-1은 이전 시점에서 산출된 테스트 오차이고, ET t는 현재 시점에서 산출된 훈련 오차이고, ET t-1은 이전 시점에서 산출된 훈련 오차이다.)
본 발명에 있어 상기 결정부는, 상기 성능 저하가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 현상 유지를 선택하는 것을 특징으로 한다.
본 발명에 있어 상기 결정부는, 상기 의미 분포 변화 또는 상기 일반화 실패가 발생된 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 리엔지니어링을 선택하는 것을 특징으로 한다.
본 발명에 있어 상기 결정부는, 상기 성능 저하가 발생된 것으로 판단되고, 상기 의미 분포 변화 및 일반화 실패가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 재학습을 선택하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 전력망 상태예측 성능 관리 방법은 산출부가, 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출하는 단계; 판단부가, 상기 산출부를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 성능 저하의 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화(Generalization) 실패의 발생 여부를 판단하는 단계; 및 결정부가, 상기 판단부를 통해 판단된 결과에 기반하여 상기 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 산출하는 단계에서, 상기 산출부는, 상기 전력망 상태예측 모델의 유형에 따라 상기 산출부를 통해 산출되는 테스트 오차 및 훈련 오차의 유형을 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 산출하는 단계에서, 상기 산출부는, 상기 전력망 상태예측 모델의 유형이 분류 모델인 경우, 로그 손실, 오차행렬 또는 AUC(Area Under Curve) 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 산출하는 단계에서, 상기 산출부는, 상기 전력망 상태예측 모델의 유형이 회귀 모델인 경우, 평균 절대 오차, 평균 제곱근 오차 또는 결정계수 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 한다.
본 발명에 있어 상기 판단하는 단계에서, 상기 판단부는, 상기 산출부를 통해 산출된 테스트 오차가 과거보다 증가한 경우, 상기 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어 상기 판단하는 단계에서, 상기 판단부는, 하기 수학식 1을 통해 산출된 평균오차 변동률(CME)에 기반하여 상기 의미 분포 변화의 발생 여부를 판단하는 것을 특징으로 한다.
[수학식 1]
(Es i는 특정 시점 t에서 산출된 테스트 오차이고, w는 윈도우의 크기이고, Es CW는 현재 윈도우의 테스트 오차 평균값이고, Es PW는 이전 윈도우의 테스트 오차 평균값이다.)
본 발명에 있어 상기 판단하는 단계에서, 상기 판단부는, 하기 수학식 2를 통해 산출된 오차비율 변동률(CTTE; Change rate of Train-Test Error)에 기반하여 상기 일반화의 실패 여부를 판단하는 것을 특징으로 한다.
[수학식 2]
(ES t는 현재 시점에서 산출된 테스트 오차이고, ES t-1은 이전 시점에서 산출된 테스트 오차이고, ET t는 현재 시점에서 산출된 훈련 오차이고, ET t-1은 이전 시점에서 산출된 훈련 오차이다.)
본 발명에 있어 상기 결정하는 단계에서, 상기 결정부는, 상기 성능 저하가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 현상 유지를 선택하는 것을 특징으로 한다.
본 발명에 있어 상기 결정하는 단계에서, 상기 결정부는, 상기 의미 분포 변화 또는 상기 일반화 실패가 발생된 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 리엔지니어링을 선택하는 것을 특징으로 한다.
본 발명에 있어 상기 결정하는 단계에서, 상기 결정부는, 상기 성능 저하가 발생된 것으로 판단되고, 상기 의미 분포 변화 및 일반화 실패가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 재학습을 선택하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면 전력망 상태예측 모델의 성능 저하의 발생 여부, 의미 분포 변화의 발생 여부 및 일반화 실패의 발생 여부를 자동으로 판단하고, 판단 결과에 기반하여 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정함으로써 전력망 상태예측 모델을 효율적으로 관리하고, 전력망 상태예측 모델의 정확성과 신뢰성을 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 장치를 설명하기 위한 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 장치의 판단부가 의미 분포 변화의 발생 여부를 판단하는 방법을 설명하기 위한 제1 예시도이다.
도 3은 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 장치의 판단부가 일반화 실패의 발생 여부를 판단하는 방법을 설명하기 위한 제2 예시도이다.
도 4는 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 방법을 설명하기 위한 순서도이다.
이하에서는 본 발명의 실시예에 따른 전력망 상태예측 모델 성능 관리 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 장치를 설명하기 위한 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 장치는 산출부(100), 판단부(200), 결정부(300) 및 출력부(400)를 포함할 수 있다.
산출부(100)는 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출할 수 있다.
구체적으로, 산출부(100)는 새로운 학습 데이터에 대한 전력망 상태예측 모델의 품질(유효성)을 평가하도록, 훈련 데이터에 기반하여 전력망 상태예측 모델의 테스트 오차를 산출하고, 테스트 데이터에 기반하여 전력망 상태예측 모델의 훈련 오차를 산출할 수 있다.
여기서, 훈련 데이터는 전력망 상태예측 모델을 훈련시키기 위해 이용되는 데이터이고, 테스트 데이터는 전력망 상태예측 모델의 일반화 수준을 판단하기 위해 이용되는 데이터이며, 전력망으로부터 수집된 학습 데이터는 일정한 비율로 훈련 데이터와 테스트 데이터로 분류될 수 있다.
산출부(100)는 훈련 데이터와 테스트 데이터를 입력받고, 입력받은 훈련 데이터 및 테스트 데이터에 기반하여 테스트 오차 및 훈련 오차를 산출할 수 있다.
테스트 오차는 테스트 데이터를 기반으로 산출된 전력망 상태예측 모델의 평가 지표를 의미할 수 있다. 훈련 오차는 훈련 데이터를 기반으로 산출된 전력망 상태예측 모델의 평가 지표를 의미할 수 있다. 즉, 테스트 오차는 전력망 상태예측 모델의 성능을 평가하기 위한 지표이고, 훈련 오차는 전력망 상태예측 모델을 검증하기 위한 지표일 수 있다.
전력망 상태예측 모델은 전력망으로부터 수집된 시계열 데이터를 학습 데이터로 하여 기계학습을 수행함으로써 전력 설비의 상태를 예측할 수 있는 기계학습 기반의 알고리즘을 의미할 수 있다.
한편, 기계학습 기반의 상태예측 모델은 지도 학습 방법에 따라 분류 모델과 회귀 모델로 구분될 수 있으며, 상태예측 모델의 유형에 따라 해당 모델의 유효성을 검증하기 위한 테스트 오차 및 훈련 오차의 유형이 달라지게 된다.
본 발명의 일 실시예에 따르면, 산출부(100)는 전력망 상태예측 모델의 유형에 따라 산출되는 테스트 오차 및 훈련 오차의 유형을 결정할 수 있다.
예를 들어, 전력망 상태예측 모델의 유형이 분류 모델인 경우, 산출부(100)는 로그 손실(Logarithm Loss), 오차행렬(Confusion Matrix) 및 AUC(Area Under Curve) 중 하나의 유형을 선택하고, 선택된 하나의 유형을 테스트 오차 및 훈련 오차의 유형으로 결정할 수 있다.
반면, 전력망 상태예측 모델의 유형이 회귀 모델인 경우, 산출부(100)는 평균 절대 오차(MAE; Mean Absolute Error), 평균 제곱근 오차(RMSE; Root Mean Square Error) 및 결정계수(R-Squared) 중 하나의 유형을 선택하고, 선택된 하나의 유형을 테스트 오차 및 훈련 오차의 유형으로 결정할 수 있다.
한편, 산출부(100)는 기 설정된 주기(예: 일주일)로 또는 특정 이벤트(예: 신규 학습데이터 생성)가 발생할 때마다 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출할 수 있다.
산출부(100)가 로그 손실, 오차행렬, AUC, 평균 절대 오차, 평균 제곱근 오차 및 결정계수를 산출하는 구체적인 방법은 주지된 기술이므로 생략하도록 한다.
판단부(200)는 산출부(100)를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 성능 저하의 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화의 실패 여부를 판단할 수 있다.
성능 저하는 현재 시점에서의 테스트 오차가 이전 시점에서의 테스트 오차보다 증가하는 경우, 즉 테스트 오차가 과거에 비하여 증가한 경우를 의미할 수 있다.
판단부(200)는 현재 시점에서의 테스트 오차와 이전 시점에서의 테스트 오차를 비교하고, 현재 시점에서의 테스트 오차가 이전 시점에서의 테스트 오차 보다 증가한 경우, 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단할 수 있다.
의미 분포 변화(Concept drift)는 특정 시점 이후부터 수집되는 학습 데이터의 통계적 특성이 변화되어 기존 예측모델의 성능이 저하되는 현상을 의미하며, 의미 분포 변화가 발생되면 상태예측 모델의 일시적인 성능저하가 아닌 지속적인 성능 저하로 이어질 수 있다.
본 발명의 일 실시예에 따르면, 판단부(200)는 하기 수학식 1을 통해 현재 시점(현재 윈도우)에서의 테스트 오차의 평균값과 이전 시점(이전 윈도우)에서의 테스트 오차의 평균값에 기반하여 테스트 오차 평균값의 변동률로 정의되는 평균오차 변동률(CME; Change rate of Mean Error)을 산출할 수 있다. 이어서, 판단부(200)는 산출된 평균오차 변동률이 기 설정된 제1 임계값 이하인 경우, 해당 전력망 상태예측 모델에 의미 분포 변화가 발생된 것으로 판단할 수 있다.
여기서, Es i는 특정 시점에서 산출된 테스트 오차이고, w는 윈도우의 크기이다. Es CW는 현재 시점에서의 테스트 오차의 평균값이고, Es PW는 이전 시점에서의 테스트 오차의 평균값이다. 여기서, 윈도우의 크기는 산출부(100)가 테스트 오차를 산출하는 주기를 의미할 수 있다.
판단부(200)는 수학식 1-(1)을 통해 현재 시점에서의 테스트 오차의 평균값을 산출할 수 있고, 수학식 1-(2)를 통해 이전 시점에서의 테스트 오차의 평균값을 산출할 수 있고, 수학식 1-(3)을 통해 평균오차 변동률을 산출할 수 있다.
도 2는 전력망 상태예측 모델의 테스트 오차의 변화 추세를 나타내는 그래프이며, 여기서 윈도우의 크기는 w이고, 현재 시점(즉, (t-1)-2w부터 (t-1)-w까지)의 테스트 오차 평균값은 Es CW이고, 이전 시점(즉, (t-w)부터 t까지)의 테스트 오차 평균값은 Es PW이다. 도 2를 참고하면, 현재 시점에서 테스트 오차가 크게 증가함을 확인할 수 있으며, 이는 의미 분포 변화가 발생됨에 따라 전력망 상태예측 모델에 품질 변화가 발생하였음을 의미할 수 있다.
한편, 일반화(Generalization)는 상태예측 모델이 훈련 이후에 새롭게 입력된 데이터를 정확히 처리할 수 있는 능력을 의미하며, 상태예측 모델의 일반화 수준은 테스트 오차가 훈련 오차에 근사하는 정도로 정의할 수 있다.
즉, 테스트 오차와 훈련 오차 간의 차이가 적을수록 일반화 수준이 높은 상태예측 모델로 간주될 수 있다. 반면, 과적합(Overfitting) 정도가 높을수록 훈련 오차에 비해 테스트 오차가 상대적으로 높게 측정되므로, 과적합 정도가 높을수록 테스트 오차와 훈련 오차 간의 차이가 크게 발생하여 일반화 수준이 낮아질 수 있다.
본 발명의 일 실시예에 따르면, 판단부(200)는 하기 수학식 2를 통해 현재 시점에서의 테스트 오차 및 훈련 오차 간의 비율과, 이전 시점에서의 테스트 오차 및 훈련 오차 간의 비율에 기반하여 테스트 오차 및 훈련 오차 간의 비율의 변동률로 정의되는 훈련-테스트 오차비율 변동률(CTTE; Change rate of Train-Test Error)을 산출할 수 있다. 이어서, 판단부(200)는 산출된 훈련-테스트 오차비율 변동률이 기 설정된 제2 임계값 이하인 경우, 해당 전력망 상태예측 모델이 일반화에 실패한 것으로 판단할 수 있다.
여기서, ES t는 현재 시점에서 산출된 테스트 오차이고, ES t-1은 이전 시점에서 산출된 테스트 오차이고, ET t는 현재 시점에서 산출된 훈련 오차이고, ET t-1은 이전 시점에서 산출된 훈련 오차이다.
도 3은 전력망 상태예측 모델의 훈련-테스트 오차 비율의 변화 추세를 나타내는 그래프이며, 현재 시점(t)에서 이전 시점(t-1)보다 테스트 오차 및 훈련 오차 간의 비율이 크게 증가함을 확인할 수 있으며, 이는 일반화에 실패함에 따라 전력망 상태예측 모델에 품질 변화가 발생하였음을 의미할 수 있다.
결정부(300)는 판단부(200)를 통해 판단된 성능 저하 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화의 실패 여부에 기반하여 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정할 수 있다.
본 발명의 일 실시예에 따르면, 전력망 상태예측 모델에 성능 저하가 발생되지 않은 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 현상 유지를 선택할 수 있다.
반면, 본 발명의 일 실시예에 따르면, 전력망 상태예측 모델에 의미 분포 변화가 발생된 것으로 판단되거나 또는 일반화 실패가 발생된 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 리엔지니어링을 선택할 수 있다.
즉, 전력망 상태예측 모델에 의미 분포 변화 또는 일반화 실패가 발생된 경우, 결정부(300)는 전력망 상태예측 모델에 과적합이 과도하게 발생된 것으로 판단하고, 전력망 상태예측 모델이 리엔지니어링될 필요가 있는 것으로 판단할 수 있다.
여기서, 리엔지니어링은 전력망 상태예측 모델을 수정 및 재설계하는 것으로, 전력망 상태예측 모델의 설계 시 설정된 매개변수인 초매개변수(Hyperparameter)(예를 들어, 학습율(Learning rate), 정규화(regularization) 매개변수, 심층신경망의 은닉계층(hidden layer), 및 노드의 수 등)를 변경시켜 최적화시키거나, 전력망 상태예측 모델이 새로운 특징 집합을 구성하도록 특징 설계를 하거나, 전력망 상태예측 모델을 새로운 전력망 상태예측 모델로 교체하는 것을 의미할 수 있다.
반면, 본 발명의 일 실시예에 따르면, 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단되고, 의미 분포 변화 및 일반화 실패가 발생되지 않은 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 재학습을 선택할 수 있다.
즉, 전력망 상태예측 모델에 성능 저하가 발생되었지만, 의미 분포 변화 및 일반화 실패가 발생되지 않은 경우, 결정부(300)는 경미한 과적합이 발생하여 전력망 상태예측 모델을 재학습시킬 필요가 있는 것으로 판단할 수 있다.
여기서, 재학습은 새로운 학습 데이터을 이용하여 전력망 상태예측 모델을 다시 학습시키는 것을 의미할 수 있다.
출력부(400)는 판단부(200)를 통해 판단된 결과를 외부로 출력할 수 있다.
즉, 출력부(400)는 성능 저하의 발생 여부, 의미 분포 변화의 발생 여부 및 일반화 실패의 발생 여부에 기반하여 결정된 전력망 상태예측 모델의 성능 관리를 위한 의사를 외부로 출력할 수 있다.
전술한 바와 같이, 본 발명은 전력망 상태예측 모델의 성능 저하의 발생 여부, 의미 분포 변화의 발생 여부 및 일반화 실패의 발생 여부를 자동으로 판단하고, 판단 결과에 기반하여 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정함으로써 전력망 상태예측 모델을 효율적으로 관리하고, 전력망 상태예측 모델의 정확성과 신뢰성을 보장할 수 있다.
도 4는 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 방법을 설명하기 위한 순서도이다.
이하에서는 도 4를 참조하여 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 방법을 설명하도록 한다.
먼저, 산출부(100)는 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출할 수 있다.(S100 단계)
구체적으로, 산출부(100)는 훈련 데이터 및 테스트 데이터를 입력받고, 입력받은 훈련 데이터에 기반하여 전력망 상태예측 모델의 테스트 오차를 산출하고, 입력받은 테스트 데이터에 기반하여 전력망 상태예측 모델의 훈련 오차를 산출할 수 있다.
판단부(200)는 산출부(100)를 통해 산출된 전력망 상태예측 모델의 테스트 오차에 기반하여 전력망 상태예측 모델의 성능 저하의 발생 여부를 판단할 수 있다.(S200 단계)
구체적으로, 판단부(200)는 현재 시점에서의 테스트 오차와 이전 시점에서의 테스트 오차를 비교하고, 현재 시점에서의 테스트 오차가 이전 시점에서의 테스트 오차 보다 증가한 경우, 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단할 수 있다.
성능 저하가 발생된 것으로 판단되지 않은 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 현장 유지를 선택할 수 있다.(S300 단계)
반면, 성능 저하가 발생된 것으로 판단되면, 판단부(200)는 산출부(100)를 통해 산출된 전력망 상태예측 모델의 테스트 오차에 기반하여 전력망 상태예측 모델의 의미 분포 변화(Concept drift)의 발생 여부를 판단할 수 있다.(S400 단계)
구체적으로, 판단부(200)는 전술한 수학식 1을 통해 현재 시점(현재 윈도우)에서의 테스트 오차의 평균값과 이전 시점(이전 윈도우)에서의 테스트 오차의 평균값에 기반하여 테스트 오차 평균값의 변동률로 정의되는 평균오차 변동률(CME; Change rate of Mean Error)을 산출할 수 있다. 이어서, 판단부(200)는 산출된 평균오차 변동률이 기 설정된 제1 임계값 이하인 경우, 해당 전력망 상태예측 모델에 의미 분포 변화가 발생된 것으로 판단할 수 있다.
의미 분포 변화가 발생된 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 리엔지니어링을 선택할 수 있다.(S500 단계)
반면, 의미 분포 변화가 발생되지 않은 것으로 판단되면, 판단부(200)는 일반화를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 전력망 상태예측 모델의 일반화 실패의 발생 여부를 판단할 수 있다.(S600 단계)
구체적으로, 판단부(200)는 전술한 수학식 2를 통해 현재 시점에서의 테스트 오차 및 훈련 오차 간의 비율과, 이전 시점에서의 테스트 오차 및 훈련 오차 간의 비율에 기반하여 테스트 오차 및 훈련 오차 간의 비율의 변동률로 정의되는 훈련-테스트 오차비율 변동률(CTTE; Change rate of Train-Test Error)을 산출할 수 있다. 이어서, 판단부(200)는 산출된 훈련-테스트 오차비율 변동률이 기 설정된 제2 임계값 이하인 경우, 해당 전력망 상태예측 모델이 일반화에 실패한 것으로 판단할 수 있다.
일반화 실패가 발생된 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 리엔지니어링을 선택할 수 있다.(S700 단계)
반면, 일반화 실패가 발생되지 않은 것으로 판단되면, 결정부(300)는 전력망 상태예측 모델의 성능 관리를 위한 의사로 전력망 상태예측 모델의 재학습을 선택할 수 있다.(S800 단계)
한편, 전력망 상태예측 모델의 리엔지니어링 또는 재학습 후 S100 단계로 회귀하여 상술한 과정을 다시 수행할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 전력망 상태예측 모델 성능 관리 장치 및 방법은 전력망 상태예측 모델의 성능 저하의 발생 여부, 의미 분포 변화의 발생 여부 및 일반화 실패의 발생 여부를 자동으로 판단하고, 판단 결과에 기반하여 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정함으로써 전력망 상태예측 모델을 효율적으로 관리하고, 전력망 상태예측 모델의 정확성과 신뢰성을 보장할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 산출부
200: 판단부
300: 결정부
400: 출력부

Claims (20)

  1. 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출하는 산출부;
    상기 산출부를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 성능 저하의 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화(Generalization) 실패의 발생 여부를 판단하는 판단부; 및
    상기 판단부를 통해 판단된 결과에 기반하여 상기 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정하는 결정부;를 포함하는 것을 특징으로 하는 전력망 상태예측 모델의 성능 관리 장치.
  2. 제 1항에 있어서,
    상기 산출부는, 상기 전력망 상태예측 모델의 유형에 따라 상기 산출부를 통해 산출되는 테스트 오차 및 훈련 오차의 유형을 결정하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  3. 제 2항에 있어서,
    상기 산출부는, 상기 전력망 상태예측 모델의 유형이 분류 모델인 경우, 로그 손실, 오차행렬 또는 AUC(Area Under Curve) 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  4. 제 2항에 있어서,
    상기 산출부는, 상기 전력망 상태예측 모델의 유형이 회귀 모델인 경우, 평균 절대 오차, 평균 제곱근 오차 또는 결정계수 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  5. 제 1항에 있어서,
    상기 판단부는, 상기 산출부를 통해 산출된 테스트 오차가 과거보다 증가한 경우, 상기 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  6. 제 1항에 있어서,
    상기 판단부는, 하기 수학식 1을 통해 산출된 평균오차 변동률(CME)에 기반하여 상기 의미 분포 변화의 발생 여부를 판단하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치
    [수학식 1]



    (Es i는 특정 시점 t에서 산출된 테스트 오차이고, w는 윈도우의 크기이고, Es CW는 현재 윈도우의 테스트 오차 평균값이고, Es PW는 이전 윈도우의 테스트 오차 평균값이다).
  7. 제 1항에 있어서,
    상기 판단부는, 하기 수학식 2를 통해 산출된 오차비율 변동률(CTTE; Change rate of Train-Test Error)에 기반하여 상기 일반화의 실패 여부를 판단하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치
    [수학식 2]

    (ES t는 현재 시점에서 산출된 테스트 오차이고, ES t-1은 이전 시점에서 산출된 테스트 오차이고, ET t는 현재 시점에서 산출된 훈련 오차이고, ET t-1은 이전 시점에서 산출된 훈련 오차이다).
  8. 제 1항에 있어서,
    상기 결정부는, 상기 성능 저하가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 현상 유지를 선택하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  9. 제 1항에 있어서,
    상기 결정부는, 상기 의미 분포 변화 또는 상기 일반화 실패가 발생된 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 리엔지니어링을 선택하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  10. 제 1항에 있어서,
    상기 결정부는, 상기 성능 저하가 발생된 것으로 판단되고, 상기 의미 분포 변화 및 일반화 실패가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 재학습을 선택하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 장치.
  11. 산출부가, 전력망 상태예측 모델의 테스트 오차 및 훈련 오차를 산출하는 단계;
    판단부가, 상기 산출부를 통해 산출된 전력망 상태예측 모델의 테스트 오차 및 훈련 오차에 기반하여 성능 저하의 발생 여부, 의미 분포 변화(Concept drift)의 발생 여부 및 일반화(Generalization) 실패의 발생 여부를 판단하는 단계; 및
    결정부가, 상기 판단부를 통해 판단된 결과에 기반하여 상기 전력망 상태예측 모델의 성능 관리를 위한 의사를 결정하는 단계;를 포함하는 것을 특징으로 하는 전력망 상태예측 모델의 성능 관리 방법.
  12. 제 11항에 있어서,
    상기 산출하는 단계에서, 상기 산출부는,
    상기 전력망 상태예측 모델의 유형에 따라 상기 산출부를 통해 산출되는 테스트 오차 및 훈련 오차의 유형을 결정하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
  13. 제 12항에 있어서,
    상기 산출하는 단계에서, 상기 산출부는,
    상기 전력망 상태예측 모델의 유형이 분류 모델인 경우, 로그 손실, 오차행렬 또는 AUC(Area Under Curve) 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
  14. 제 12항에 있어서,
    상기 산출하는 단계에서, 상기 산출부는,
    상기 전력망 상태예측 모델의 유형이 회귀 모델인 경우, 평균 절대 오차, 평균 제곱근 오차 또는 결정계수 중 하나의 유형을 선택하고, 상기 선택된 하나의 유형을 상기 테스트 오차 및 상기 훈련 오차의 유형으로 결정하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
  15. 제 11항에 있어서,
    상기 판단하는 단계에서, 상기 판단부는,
    상기 산출부를 통해 산출된 테스트 오차가 과거보다 증가한 경우, 상기 전력망 상태예측 모델에 성능 저하가 발생된 것으로 판단하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
  16. 제 11항에 있어서,
    상기 판단하는 단계에서, 상기 판단부는,
    하기 수학식 1을 통해 산출된 평균오차 변동률(CME)에 기반하여 상기 의미 분포 변화의 발생 여부를 판단하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법
    [수학식 1]



    (Es i는 특정 시점 t에서 산출된 테스트 오차이고, w는 윈도우의 크기이고, Es CW는 현재 윈도우의 테스트 오차 평균값이고, Es PW는 이전 윈도우의 테스트 오차 평균값이다).
  17. 제 11항에 있어서,
    상기 판단하는 단계에서, 상기 판단부는,
    하기 수학식 2를 통해 산출된 오차비율 변동률(CTTE; Change rate of Train-Test Error)에 기반하여 상기 일반화의 실패 여부를 판단하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법
    [수학식 2]

    (ES t는 현재 시점에서 산출된 테스트 오차이고, ES t-1은 이전 시점에서 산출된 테스트 오차이고, ET t는 현재 시점에서 산출된 훈련 오차이고, ET t-1은 이전 시점에서 산출된 훈련 오차이다).
  18. 제 11항에 있어서,
    상기 결정하는 단계에서, 상기 결정부는,
    상기 성능 저하가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 현상 유지를 선택하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
  19. 제 11항에 있어서,
    상기 결정하는 단계에서, 상기 결정부는,
    상기 의미 분포 변화 또는 상기 일반화 실패가 발생된 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 리엔지니어링을 선택하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
  20. 제 11항에 있어서,
    상기 결정하는 단계에서, 상기 결정부는,
    상기 성능 저하가 발생된 것으로 판단되고, 상기 의미 분포 변화 및 일반화 실패가 발생되지 않은 것으로 판단되면, 상기 전력망 상태예측 모델의 성능 관리를 위한 의사로 상기 전력망 상태예측 모델의 재학습을 선택하는 것을 특징으로 하는 전력망 상태예측 모델 성능 관리 방법.
KR1020200117731A 2020-09-14 2020-09-14 전력망 상태예측 모델 성능 관리 장치 및 방법 KR102648937B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200117731A KR102648937B1 (ko) 2020-09-14 2020-09-14 전력망 상태예측 모델 성능 관리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200117731A KR102648937B1 (ko) 2020-09-14 2020-09-14 전력망 상태예측 모델 성능 관리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220035689A KR20220035689A (ko) 2022-03-22
KR102648937B1 true KR102648937B1 (ko) 2024-03-20

Family

ID=80988261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200117731A KR102648937B1 (ko) 2020-09-14 2020-09-14 전력망 상태예측 모델 성능 관리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102648937B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024039302A2 (en) * 2022-08-18 2024-02-22 Nanyang Technological University Method and system for estimating a failure probability associated with objects

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1382012B1 (en) * 2002-03-26 2007-01-17 Council of Scientific and Industrial Research Improved performance of artificial neural network models in the presence of instrumental noise and measurement errors
KR101360790B1 (ko) * 2009-04-22 2014-02-11 한국전력공사 발전소 계측기 성능 감시 예측 방법
KR102646430B1 (ko) * 2017-01-09 2024-03-14 한국전자통신연구원 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
KR102130272B1 (ko) * 2018-07-17 2020-07-08 한국전력공사 경험모델 기반 예측 알고리즘의 최적화 방법

Also Published As

Publication number Publication date
KR20220035689A (ko) 2022-03-22

Similar Documents

Publication Publication Date Title
CN104598984B (zh) 一种基于模糊神经网络的故障预测方法
Park et al. Learning quantile functions without quantile crossing for distribution-free time series forecasting
EP3327206A1 (en) Ranking pipes for maintenance in pipe networks using approximate hydraulic metrics
CN114444608B (zh) 数据集质量评估方法及装置、电子设备及存储介质
Ma et al. RBER-aware lifetime prediction scheme for 3D-TLC NAND flash memory
KR102648937B1 (ko) 전력망 상태예측 모델 성능 관리 장치 및 방법
Kargah-Ostadi Comparison of machine learning techniques for developing performance prediction models
Peña-Ramírez et al. The logistic Nadarajah–Haghighi distribution and its associated regression model for reliability applications
JP2021184139A (ja) 管理計算機、管理プログラム、及び管理方法
Reddy et al. A concise neural network model for estimating software effort
US20220121800A1 (en) Methods of generating circuit models and manufacturing integrated circuits using the same
CN115481694B (zh) 一种训练样本集的数据增强方法、装置、设备及存储介质
CN109829115B (zh) 搜索引擎关键词优化方法
CN112308278A (zh) 预测模型的优化方法、装置、设备和介质
Silva-Lopez et al. Optimal Bridge Retrofitting Selection for Seismic Risk Management Using Genetic Algorithms and Neural Network–Based Surrogate Models
WO2022266890A1 (zh) 一种确定失效原因的方法及装置
Miikkulainen et al. How to select a winner in evolutionary optimization?
JP7384999B2 (ja) 機械学習モデル決定システム及び機械学習モデル決定方法
Alrashoud Multi attribute decision making using optimistic/pessimistic Z-numbers
CN113393023A (zh) 模具质量评估方法、装置、设备及存储介质
CN109436980A (zh) 电梯部件的状态检测方法和系统
CN118093447B (zh) 软件故障定位方法、模型训练方法、电子设备及存储介质
US20240345550A1 (en) Operating state characterization based on feature relevance
CN116780524B (zh) 一种基于lstm深度学习的工业企业短期负荷预测方法
EP4310720A1 (en) Modeling method of neural network for simulation in semiconductor design process, and simulation method in semiconductor design process using the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right