WO2021120788A1 - 一种基于机器学习的水文预报精度评价方法及系统 - Google Patents

一种基于机器学习的水文预报精度评价方法及系统 Download PDF

Info

Publication number
WO2021120788A1
WO2021120788A1 PCT/CN2020/119823 CN2020119823W WO2021120788A1 WO 2021120788 A1 WO2021120788 A1 WO 2021120788A1 CN 2020119823 W CN2020119823 W CN 2020119823W WO 2021120788 A1 WO2021120788 A1 WO 2021120788A1
Authority
WO
WIPO (PCT)
Prior art keywords
accuracy
evaluation index
evaluation
hydrological
machine learning
Prior art date
Application number
PCT/CN2020/119823
Other languages
English (en)
French (fr)
Inventor
周建中
杨鑫
王彧蓉
方威
曾昱
卢程伟
冯快乐
覃晖
田梦琦
娄思静
Original Assignee
华中科技大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华中科技大学 filed Critical 华中科技大学
Publication of WO2021120788A1 publication Critical patent/WO2021120788A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Definitions

  • the invention belongs to the field of hydrological forecast accuracy evaluation, and more specifically, relates to a hydrological forecast accuracy evaluation method and system based on machine learning.
  • Hydrologic forecasting refers to the qualitative or quantitative forecast of a certain water body, a certain region or a certain hydrological station within a certain period of time in the future based on previous or current hydrological and meteorological data.
  • watershed hydrological forecasting can provide important decision support for river basin flood and drought disaster prevention, safe economic operation of reservoirs, scientific distribution of water resources, and sustainable social development.
  • hydrological models are often used to realize hydrological forecasts.
  • the so-called hydrological models refer to approximate scientific models that are generalized by using simulation methods to generalize complex hydrological phenomena and processes.
  • forecast accuracy is affected by many uncertain factors, such as model input uncertainty, model structure uncertainty, and the accuracy of a forecast model can be run for a period of time. After time, it can be obtained through relevant analysis of actual forecast data and measured data.
  • general hydrological evaluation methods are still relatively simple.
  • the commonly used hydrological forecast accuracy evaluation methods include graphical methods and statistical methods. The graphical method is to perform qualitative evaluation by comparing the observed hydrology and the simulated hydrology using the hydrological model; in the statistical method, multiple accuracy levels are pre-divided based on expert experience, each accuracy level corresponds to a forecast accuracy range, and each accuracy level corresponds to The forecast accuracy range of is preset and fixed.
  • the statistical method specifically judges the accuracy level of the current hydrological forecast accuracy through statistics of various error indexes, so as to realize quantitative evaluation.
  • Graphical methods and statistical methods are simple and easy to apply, but both have certain shortcomings.
  • Graphical method for qualitative analysis of hydrological forecast accuracy is difficult to quantify, and the evaluation results are highly subjective; statistical methods can be used for quantitative evaluation, but the evaluation framework based on a single error index cannot reflect the complementarity between different error indexes, error index How the range reasonably represents the performance of the hydrological model is also controversial.
  • the present invention provides a hydrological forecast accuracy evaluation method and system based on machine learning, which aims to solve the difficulty of the existing hydrological forecast accuracy evaluation methods to accurately quantify the hydrological model forecast accuracy Evaluation of technical issues.
  • a method for evaluating the accuracy of hydrological forecasting based on machine learning which includes:
  • the hydrological forecast accuracy evaluation model is a machine learning classification model, which is used to determine the accuracy level to which the hydrological evaluation index data belongs.
  • the present invention uses flood peak evaluation index, flood volume evaluation index and runoff process evaluation index together as the evaluation index data of hydrological prediction accuracy, and establishes a comprehensive and complete evaluation index system, which can fully consider the impact of various indicators on hydrological forecast accuracy. It can also fully consider the correlation between various evaluation indicators, and at the same time, introduce a machine learning classification model to achieve accurate ratings of hydrological forecasting accuracy.
  • the division of accuracy levels includes:
  • C is a positive integer.
  • the present invention Compared with the classification based on experience, the present invention completes the classification of hydrological forecast accuracy by clustering historical data, which not only avoids subjective influence, and the accuracy level obtained by the final classification also matches the characteristics of hydrological data. Therefore, the present invention can ensure the accuracy of hydrological forecast accuracy rating.
  • the parameters used to measure the evaluation index level within the category include: the average value of each index item in all historical evaluation index data in the category.
  • the training method of the hydrological forecast accuracy evaluation model includes:
  • each piece of historical evaluation index data and its accuracy level are taken as a piece of sample data, all the sample data constitute the input data set, and the input data set is divided into a training data set and a test data set;
  • the hydrological forecast accuracy evaluation model is verified with the test data set to obtain a trained hydrological forecast accuracy evaluation model.
  • the method for grading hydrological forecast accuracy based on machine learning further includes: if the verification result of the hydrological forecast accuracy evaluation model using the verification data set does not meet the preset accuracy requirements, The established model is re-calibrated or the machine learning classification model is replaced, so that the model verification result meets the accuracy requirements.
  • the flood peak evaluation indicators include the relative error of the flood peak and the error of the peak present time.
  • the flood quantity evaluation index includes the relative error of flood quantity.
  • evaluation indexes of runoff process include certainty coefficient, relative average error and root mean square error.
  • the present invention specifically uses the relative error of flood peak, the error of peak present time, the relative error of flood volume, the coefficient of certainty, the relative average error and the root mean square error as the evaluation index data, which overcomes the evaluation of traditional evaluation methods.
  • the shortcomings of single index and strong subjectivity ensure the accuracy of quantitative evaluation (rating) of hydrological forecast accuracy.
  • a hydrological forecast accuracy evaluation system based on machine learning which includes: an evaluation index acquisition module and an evaluation module;
  • the evaluation index acquisition module is used to obtain the hydrological forecast results and the actual measurement results of the same section, and calculate the flood peak evaluation index, flood evaluation index and runoff process evaluation index based on the acquired data, thereby forming an evaluation index data;
  • the evaluation module is used to use the trained hydrological forecast accuracy evaluation model to identify the accuracy grade to which the evaluation index data belongs, as the evaluation result of the hydrological forecast accuracy;
  • the hydrological forecast accuracy evaluation model is a machine learning classification model, which is used to determine the accuracy level to which the hydrological evaluation index data belongs.
  • the present invention uses flood peak evaluation index, flood volume evaluation index and runoff process evaluation index together as the evaluation index data of hydrological prediction accuracy, and establishes a comprehensive and sound evaluation index system, which can fully consider the accuracy of hydrological forecasting by various indicators. It can also fully consider the correlation between various evaluation indicators. At the same time, the machine learning classification model is introduced to achieve accurate ratings of hydrological forecasting accuracy.
  • the present invention completes the classification of hydrological forecast accuracy by clustering historical data, which not only avoids the influence of subjectivity, but also the accuracy grade obtained by the final classification matches the characteristics of the hydrological data. Therefore, the present invention can Ensure the accuracy of hydrological forecast accuracy ratings.
  • FIG. 1 is a flowchart of a method for evaluating accuracy of hydrological forecasting based on machine learning according to an embodiment of the present invention
  • Fig. 2 is a flowchart of a training method for a hydrological forecast accuracy evaluation model provided by an embodiment of the present invention.
  • the hydrological forecast accuracy evaluation method based on machine learning includes:
  • the hydrological forecast accuracy evaluation model is a machine learning classification model, which is used to determine the accuracy level to which the hydrological evaluation index data belongs.
  • the hydrological runoff sequence has obvious temporal and spatial changes, and the hydrological forecast results are affected by a variety of complex factors.
  • it is necessary to conduct a comprehensive analysis of multiple dimensions such as flood peak discharge, peak present time, flow process, and total water volume at the same time.
  • a single evaluation index can only evaluate hydrological forecast results from a single dimension, and cannot meet the above requirements.
  • the above-mentioned hydrological forecast accuracy evaluation method based on machine learning uses flood peak evaluation index, flood evaluation index and runoff process evaluation index together as the evaluation index data of hydrological forecast accuracy, and establishes a comprehensive and sound evaluation index system, which can comprehensively consider all aspects.
  • the impact of the three indicators on the accuracy of hydrological forecasting can also fully consider the correlation between various evaluation indicators.
  • the machine learning classification model is introduced to achieve accurate ratings of hydrological forecasting accuracy;
  • the flood peak evaluation index specifically includes the peak relative error PF and the peak present time error TP; the flood evaluation index includes the flood volume relative error WF; the runoff process evaluation index includes the certainty coefficient DC, the relative average error MRE, and the average Root square error RMSE;
  • Q actual measurement is the actual flow rate of the forecast section
  • Q prediction is the predicted flow rate of the forecast section
  • T actual measurement is the occurrence time of the actual measured flood peak flow
  • T prediction is the occurrence time of the predicted peak flow
  • the accuracy of the flood peak evaluation index is of great significance to flood forecasting and directly affects flood control Dispatching decision and flood control safety of water conservancy projects
  • W actual measurement is the actual measured flood volume
  • W forecast is the predicted flood volume
  • the flood volume evaluation index is used to supplement the flood peak evaluation index, which has an important impact on flood control and dispatch;
  • n is the length of the forecast period, Is the measured flow at time t, Is the predicted flow at time t, It is the average value of the measured flow;
  • the runoff process evaluation index is mainly used to measure the similarity between the forecasted runoff process and the actual runoff process, and has an important influence on water supply dispatching and hydropower dispatching;
  • the six indicators namely, the relative error of flood peak, the error of peak present time, the relative error of flood volume, the coefficient of certainty, the relative average error and the root mean square error, are used as the evaluation index data, which overcomes the traditional evaluation.
  • the shortcomings of single evaluation index and strong subjectivity of the method ensure the accuracy of quantitative evaluation (rating) of hydrological forecast accuracy.
  • the classification of accuracy levels includes:
  • the historical evaluation index data is clustered to obtain C categories, corresponding to C accuracy levels; specifically, any clustering algorithm (such as fuzzy C-mean clustering, etc.) can be used to achieve Clustering historical evaluation index data;
  • the corresponding accuracy levels are sorted according to the pros and cons to complete the accuracy level division; optionally, the parameters used to measure the evaluation index levels within the category include: all historical evaluation index data in the category , The average value of each index item, on this basis, can also include one or more of the maximum, minimum, variance and other indexes of each index item;
  • C is a positive integer
  • this embodiment completes the grading of hydrological forecast accuracy by clustering historical data, which not only avoids subjective influence, but also the accuracy grade obtained by final classification matches the characteristics of hydrological data. , Thereby ensuring the accuracy of hydrological forecasting accuracy rating; after clustering operation, while determining the specific level division, the accuracy level of each historical evaluation index data is determined;
  • the training method of the hydrological forecast accuracy evaluation model includes:
  • each piece of historical evaluation index data and its accuracy level are taken as a piece of sample data, all the sample data constitute the input data set, and the input data set is divided into a training data set and a test data set;
  • the specific machine learning classification model used can be any machine learning such as neural network, support vector machine, tree classification, etc. Classification models. In practical applications, specific model types can be determined according to the hydrological characteristics of the basin itself;
  • the above-mentioned machine learning-based hydrological forecast accuracy evaluation method also includes: if the verification result of the hydrological forecast accuracy evaluation model using the test data set does not meet the preset accuracy requirements, then the established model Re-calibrate the parameters or replace the machine learning classification model so that the model verification results meet the accuracy requirements.
  • the present invention also provides a hydrological forecast accuracy evaluation system based on machine learning, including: an evaluation index acquisition module and an evaluation module;
  • the evaluation index acquisition module is used to obtain the hydrological forecast results and the actual measurement results of the same section, and calculate the flood peak evaluation index, flood evaluation index and runoff process evaluation index based on the acquired data, thereby forming an evaluation index data;
  • the evaluation module is used to use the trained hydrological forecast accuracy evaluation model to identify the accuracy grade to which the evaluation index data belongs, as the evaluation result of the hydrological forecast accuracy;
  • the hydrological forecast accuracy evaluation model is a machine learning classification model, which is used to determine the accuracy level to which the hydrological evaluation index data belongs;
  • each module can be referred to the description in the above method embodiment, which will not be repeated here.
  • each piece of historical evaluation index data and the accuracy level to which it belongs is taken as a piece of sample data, and all the sample data constitute the input data set, and the input data set is divided into training data set and test data set; based on support
  • the vector machine establishes the hydrological forecast accuracy evaluation model and uses the training data set to calibrate its parameters.
  • the verification data set is used to verify the hydrological forecast accuracy evaluation model, and the classification accuracy of the evaluation model is calculated.
  • Table 2 The confusion matrix of classification results is shown in Table 2:
  • A, B, and C represent the output labels of the above evaluation model.
  • A, B, and C represent the actual labels. From the data in the table, we can see that the above evaluation model classifies the forecast results of the two levels of A and B. The correct rate can reach 94%, and the correct rate of class C forecast results can reach 98%, indicating that the model can accurately classify and rank the forecast results.
  • the present invention formulates a comprehensive hydrological forecast evaluation index system based on the actual conditions of the river basin runoff forecast, and builds a new hydrological forecast comprehensive evaluation model based on a hybrid machine learning framework on this basis, which overcomes the evaluation of traditional evaluation methods.
  • the shortcomings of single index and strong subjectivity expand the application of machine learning methods in the field of hydrological forecasting.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于机器学习的水文预报精度评价方法及系统，属于水文预报精度评价领域，包括：获得同一断面的水文预报结果和同期实测结果，以计算洪峰评价指标、洪量评价指标及径流过程评价指标，形成一条评价指标数据；利用已训练好的水文预报精度评价模型识别评价指标数据所属的精度等级，作为水文预报精度评价结果；水文预报精度评价模型为机器学习分类模型；精度等级的划分包括：根据历史数据分别计算每一场历史洪水事件对应的评价指标数据，作为历史评价指标数据；对历史评价指标数据进行聚类，得到C个类别，分别对应C个精度等级；根据类别内部的评价指标水平，对相应的精度等级进行优劣排序。该方法和系统能够实现对水文预报精度的准确评级。

Description

一种基于机器学习的水文预报精度评价方法及系统 【技术领域】
本发明属于水文预报精度评价领域，更具体地，涉及一种基于机器学习的水文预报精度评价方法及系统。
【背景技术】
水文预报(hydrologic forecasting)，是指根据前期或现时的水文气象资料，对某一水体、某一地区或某一水文站在未来一定时间内的水文情况作出定性或定量的预测。在实际的生产生活中，流域水文预报可为流域水旱灾害防治、库群安全经济运行、水资源科学分配及社会可持续发展等提供重要决策支撑。目前，常利用水文模型实现水文预报，所谓水文模型，是指用模拟方法将复杂的水文现象和过程经概化所给出的近似的科学模型。
对于水文预报，其中最受人们关注的指标就是预报精度，预报精度受诸多不确定性因素的影响，例如模型输入不确定性，模型结构不确定性，一个预报模型的精度高低可以在模型运行一段时间后通过实际预报数据和实测数据进行相关分析得到。与水文模型的发展和完善相比，一般的水文评价方法仍然比较简单。目前，常用的水文预报精度评价方法包括图示法和统计方法。图示法是通过比较观测水文和利用水文模型的到模拟水文来进行定性评价；统计方法中，会根据专家经验预先划分多个精度等级，每个精度等级对应一个预报精度范围，各精度等级对应的预报精度范围是预先设定好的，并且固定不变，统计方法具体是通过统计各种误差指数来判断当前水文预报精度所属的精度等级，从而实现定量评价。图示法和统计方法简单、易于应用，但都存在一定的缺陷。图示法进行对水文预报精度 进行定性分析，难以量化，评价结果主观性强；统计方法能够进行定量评价，但是，基于单一误差指标的评价框架不能反映不同误差指标之间的互补作用，误差指数范围如何合理地代表水文模型的性能也存在争议。
总的来说，现有的水文预报精度评价方法，难以准确地对水文模型的预报精度进行定量综合评价。
【发明内容】
针对现有技术的缺陷和改进需求，本发明提供了一种基于机器学习的水文预报精度评价方法及系统，旨在解决现有的水文预报精度评价方法难以准确地对水文模型的预报精度进行定量评价的技术问题。
为实现上述目的，按照本发明的第一方面，提供了一种基于机器学习的水文预报精度评价方法，包括：
获得同一断面的水文预报结果和同期实测结果，并根据获取到的数据计算洪峰评价指标、洪量评价指标及径流过程评价指标，从而形成一条评价指标数据；
利用已训练好的水文预报精度评价模型识别评价指标数据所属的精度等级，作为水文预报精度的评价结果；
其中，水文预报精度评价模型为机器学习分类模型，用于确定水文评价指标数据所属的精度等级。
本发明以洪峰评价指标、洪量评价指标以及径流过程评价指标共同作为水文预测精度的评价指标数据，建立了综合、健全的评价指标体系，既能够全面地考虑各项指标对水文预报精度的影响，也能够充分考虑各项评价指标之间的相关性，同时，引入机器学习分类模型，实现了对水文预报精度的准确评级。
进一步地，精度等级的划分方式包括：
从历史数据中提取洪水事件的水文预报结果及同期的实测结果，以分 别计算每一场历史洪水事件对应的评价指标数据，作为历史评价指标数据；
根据预设的精度等级数C，对历史评价指标数据进行聚类，以得到C个类别，分别对应C个精度等级；
根据各个类别内部的评价指标水平，对相应的精度等级进行优劣排序，从而完成精度等级划分；
其中，C为正整数。
相比于根据经验划分等级，本发明通过对历史数据进行聚类的方式完成水文预报精度的等级划分，既避免了主观性的影响，最终划分得到的精度等级也与水文数据的特征相匹配，因此，本发明能够保证水文预报精度评级的准确度。
进一步地，用于衡量类别内部的评价指标水平的参数包括：类别内所有历史评价指标数据中，每一个指标项的平均值。
进一步地，水文预报精度评价模型的训练方法包括：
在聚类之后，将每一条历史评价指标数据及其所属的精度等级作为一条样本数据，由所有的样本数据构成输入数据集，并将输入数据集划分为训练数据集和检验数据集；
基于机器学习分类模型建立水文预报精度评价模型后，利用训练数据集对其进行参数率定；
在参数率定结束后，利用检验数据集对水文预报精度评价模型进行验证，以得到已训练好的水文预报精度评价模型。
进一步地，本发明第一方面提供的基于机器学习的水文预报精度评级方法，还包括：若利用检验数据集对水文预报精度评价模型进行验证的验证结果不满足预设的精度要求，则对所建立的模型重新进行参数率定或更换机器学习分类模型，以使得模型验证结果满足精度要求。
进一步地，洪峰评价指标包括洪峰相对误差和峰现时间误差。
进一步地，洪量评价指标包括洪量相对误差。
进一步地，径流过程评价指标包括确定性系数、相对平均误差和均方根误差。
本发明在对水文预报精度进行评价时，具体利用洪峰相对误差、峰现时间误差、洪量相对误差、确定性系数、相对平均误差和均方根误差共同作为评价指标数据，克服了传统评价方法评价指标单一，主观性强的缺点，保证了对水文预报精度定量评价(评级)的准确度。
按照本发明的第二方面，提供了一种基于机器学习的水文预报精度评价系统，包括：评价指标获取模块和评价模块；
评价指标获取模块，用于获得同一断面的水文预报结果和同期实测结果，并根据获取到的数据计算洪峰评价指标、洪量评价指标及径流过程评价指标，从而形成一条评价指标数据；
评价模块，用于利用已训练好的水文预报精度评价模型识别评价指标数据所属的精度等级，作为水文预报精度的评价结果；
其中，水文预报精度评价模型为机器学习分类模型，用于确定水文评价指标数据所属的精度等级。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明以洪峰评价指标、洪量评价指标以及径流过程评价指标共同作为水文预测精度的评价指标数据，建立了综合、健全的评价指标体系，既能够全面地考虑各项指标对水文预报精度的影响，也能够充分考虑各项评价指标之间的相关性，同时，引入机器学习分类模型，实现了对水文预报精度的准确评级。
(2)本发明通过对历史数据进行聚类的方式完成水文预报精度的等级划分，既避免了主观性的影响，最终划分得到的精度等级也与水文数据的特征相匹配，因此，本发明能够保证水文预报精度评级的准确度。
【附图说明】
图1为本发明实施例提供的基于机器学习的水文预报精度评价方法流程图；
图2为本发明实施例提供的水文预报精度评价模型的训练方法流程图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决现有的水文预报精度评价方法难以准确地对水文模型的预报精度进行定量评价的问题，本发明提供的基于机器学习的水文预报精度评价方法，如图1所示，包括：
获得同一断面的水文预报结果和同期实测结果，并根据获取到的数据计算洪峰评价指标、洪量评价指标及径流过程评价指标，从而形成一条评价指标数据；
利用已训练好的水文预报精度评价模型识别评价指标数据所属的精度等级，作为水文预报精度的评价结果；
其中，水文预报精度评价模型为机器学习分类模型，用于确定水文评价指标数据所属的精度等级。
水文径流序列时空变化明显，水文预报结果受多种复杂因素影响，在对水文预报精度进行评价时，需同时对洪峰流量、峰现时间、流量过程，总水量等多个维度进行全面分析，采用单一评价指标只能从单一维度评价 水文预报结果，无法满足以上需求。上述基于机器学习的水文预报精度评价方法，以洪峰评价指标、洪量评价指标以及径流过程评价指标共同作为水文预测精度的评价指标数据，建立了综合、健全的评价指标体系，既能够全面地考虑各项指标对水文预报精度的影响，也能够充分考虑各项评价指标之间的相关性，同时，引入机器学习分类模型，实现了对水文预报精度的准确评级；
在一个可选的实施方式中，洪峰评价指标具体包括洪峰相对误差PF和峰现时间误差TP；洪量评价指标包括洪量相对误差WF；径流过程评价指标包括确定性系数DC、相对平均误差MRE以及均方根误差RMSE；
各项指标的计算公式分别如下：
(1)洪峰评价指标：
Figure PCTCN2020119823-appb-000001
其中，Q 实测为预报断面实测流量，Q 预测为预报断面预测流量；T 实测为实测洪峰流量发生时间，T 预测为预测洪峰流量发生时间；洪峰评价指标精度对于洪水预报具有重要意义，直接影响防洪调度决策及水利工程的防洪安全；
(2)洪量评价指标：
Figure PCTCN2020119823-appb-000002
其中，W 实测为实测洪水总量，W 预测为预测洪水总量；洪量评价指标用于对洪峰评价指标进行补充，对于防洪调度具有重要影响；
(3)径流过程评价指标：
Figure PCTCN2020119823-appb-000003
Figure PCTCN2020119823-appb-000004
Figure PCTCN2020119823-appb-000005
起中，n为预见期长度，
Figure PCTCN2020119823-appb-000006
为t时刻实测流量，
Figure PCTCN2020119823-appb-000007
为t时刻预测流量，
Figure PCTCN2020119823-appb-000008
为实测流量的平均值；径流过程评价指标主要用于衡量预报径流过程与实际径流过程的相似程度，对于供水调度、水利发电调度等具有重要影响；
在对水文预报精度进行评价时，具体利用洪峰相对误差、峰现时间误差、洪量相对误差、确定性系数、相对平均误差和均方根误差这6项指标共同作为评价指标数据，克服了传统评价方法评价指标单一，主观性强的缺点，保证了对水文预报精度定量评价(评级)的准确度。
为了进一步提高水文预报精度评价的准确度，在本实施例中，精度等级的划分方式包括：
从历史数据中提取洪水事件的水文预报结果及同期的实测结果，以分别计算每一场历史洪水事件对应的评价指标数据，作为历史评价指标数据；
根据预设的精度等级数C，对历史评价指标数据进行聚类，以得到C个类别，分别对应C个精度等级；具体可采用任意一种聚类算法(如模糊C均值聚类等)实现对历史评价指标数据进行聚类；
根据各个类别内部的评价指标水平，对相应的精度等级进行优劣排序，从而完成精度等级划分；可选地，用于衡量类别内部的评价指标水平的参数包括：类别内所有历史评价指标数据中，每一个指标项的平均值，在此基础上，还可包括每一个指标项的最大值、最小值、方差等指标中的一项或多项；
其中，C为正整数；
相比于根据经验划分等级，本实施例通过对历史数据进行聚类的方式 完成水文预报精度的等级划分，既避免了主观性的影响，最终划分得到的精度等级也与水文数据的特征相匹配，由此保证了水文预报精度评级的准确度；经过聚类操作，在确定具体的等级划分的同时，确定了每一条历史评价指标数据所属的精度等级；
基于上述等级划分方法，在本实施例中，如图2所示，水文预报精度评价模型的训练方法包括：
在聚类之后，将每一条历史评价指标数据及其所属的精度等级作为一条样本数据，由所有的样本数据构成输入数据集，并将输入数据集划分为训练数据集和检验数据集；
基于机器学习分类模型建立水文预报精度评价模型后，利用训练数据集对其进行参数率定；具体所采用的机器学习分类模型，可以是神经网络、支持向量机、树分类等任意一种机器学习分类模型，在实际应用中，可根据流域本身的水文特性，确定具体的模型种类；
在参数率定结束后，利用检验数据集对水文预报精度评价模型进行验证，以得到已训练好的水文预报精度评价模型；
为了保证评级准确度，上述基于机器学习的水文预报精度评价方法，还包括：若利用检验数据集对水文预报精度评价模型进行验证的验证结果不满足预设的精度要求，则对所建立的模型重新进行参数率定或更换机器学习分类模型，以使得模型验证结果满足精度要求。
本发明还提供了一种基于机器学习的水文预报精度评价系统，包括：评价指标获取模块和评价模块；
评价指标获取模块，用于获得同一断面的水文预报结果和同期实测结果，并根据获取到的数据计算洪峰评价指标、洪量评价指标及径流过程评价指标，从而形成一条评价指标数据；
评价模块，用于利用已训练好的水文预报精度评价模型识别评价指标数据所属的精度等级，作为水文预报精度的评价结果；
其中，水文预报精度评价模型为机器学习分类模型，用于确定水文评价指标数据所属的精度等级；
在本实施例中，各模块的具体实施方式可参考上述方法实施例中的描述，在此将不作复述。
应用实例：
以金沙江中游三堆子至三峡区间水文预报精度评价为例，选取1996-2017年龙街，溪洛渡，向家坝，朱沱，寸滩，三峡等六个预报断面共107场洪水预报结果作为样本，结合历史同期实测流量数据，分别计算每场洪水预报的评价指标数据，作为历史评价指标数据；
拟定3种不同水文预报精度等级(甲、乙、丙)，相应地，设定聚类算法的聚类中心数为3，具体采用模糊C均值聚类算法对历史评价指标数据进行聚类，得到每条历史评价指标数据的聚类结果，即所属的等级；统计不同等级下，各项评价指标的最大值、最小值和均值，用于等级内部的评价指标水平，依据不同等级评价指标的统计特征值，确定甲、乙、丙三个等级的优劣顺序。其中，确定性系数均值越接近1越优，峰现时间误差均值的绝对值越小越优，其余指标的均值越小越优，各等级内部的评价指标水平统计结果如表1所示，相应地，三个等级的优劣顺序为甲、乙、丙。
表1聚类评价等级
Figure PCTCN2020119823-appb-000009
在聚类之后，将每一条历史评价指标数据及其所属的精度等级作为一条样本数据，由所有的样本数据构成输入数据集，并将输入数据集划分为训练数据集和检验数据集；基于支持向量机建立水文预报精度评价模型利用训练数据集对其进行参数率定，在参数率定结束后，利用检验数据集对水文预报精度评价模型进行验证，统计评价模型的分类正确率。分类结果混淆矩阵如表2所示：
表2分类结果混淆矩阵
Figure PCTCN2020119823-appb-000010
表2表头中甲、乙、丙表示上述评价模型输出标签，第一列中甲、乙、丙表示实际标签，由表中数据可知，上述评价模型对甲、乙两个等级的预报结果分类正确率可达94％，对丙级预报结果分类的正确率可达98％，说明该模型能够准确地对预报结果进行分类评级。
综上，本发明根据流域径流预报的实际情况，制定了水文预报综合评价指标体系，并在此基础上构建了一种基于混合机器学习框架新的水文预报综合评价模型，克服了传统评价方法评价指标单一，主观性强的缺点，拓展了机器学习方法在水文预报领域的应用。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

  1. 一种基于机器学习的水文预报精度评价方法，其特征在于，包括：
    获得同一断面的水文预报结果和同期实测结果，并根据获取到的数据计算洪峰评价指标、洪量评价指标及径流过程评价指标，从而形成一条评价指标数据；
    利用已训练好的水文预报精度评价模型识别所述评价指标数据所属的精度等级，作为水文预报精度的评价结果；
    其中，所述水文预报精度评价模型为机器学习分类模型，用于确定水文评价指标数据所属的精度等级。
  2. 如权利要求1所述的基于机器学习的水文预报精度评价方法，其特征在于，精度等级的划分方式包括：
    从历史数据中提取洪水事件的水文预报结果及同期的实测结果，以分别计算每一场历史洪水事件对应的评价指标数据，作为历史评价指标数据；
    根据预设的精度等级数C，对历史评价指标数据进行聚类，以得到C个类别，分别对应C个精度等级；
    根据各个类别内部的评价指标水平，对相应的精度等级进行优劣排序，从而完成精度等级划分；
    其中，C为正整数。
  3. 如权利要求2所述的基于机器学习的水文预报精度评价方法，其特征在于，用于衡量类别内部的评价指标水平的参数包括：类别内所有历史评价指标数据中，每一个指标项的平均值。
  4. 如权利要求2所述的基于机器学习的水文预报精度评价方法，其特征在于，所述水文预报精度评价模型的训练方法包括：
    在聚类之后，将每一条历史评价指标数据及其所属的精度等级作为一条样本数据，由所有的样本数据构成输入数据集，并将所述输入数据集划 分为训练数据集和检验数据集；
    基于机器学习分类模型建立水文预报精度评价模型后，利用所述训练数据集对其进行参数率定；
    在参数率定结束后，利用所述检验数据集对所述水文预报精度评价模型进行验证，以得到已训练好的水文预报精度评价模型。
  5. 如权利要求4所述的基于机器学习的水文预报精度评价方法，其特征在于，还包括：若利用所述检验数据集对所述水文预报精度评价模型进行验证的验证结果不满足预设的精度要求，则对所建立的模型重新进行参数率定或更换机器学习分类模型，以使得模型验证结果满足精度要求。
  6. 如权利要求1-5任一项所述的基于机器学习的水文预报精度评价方法，其特征在于，所述洪峰评价指标包括洪峰相对误差和峰现时间误差。
  7. 如权利要求1-5任一项所述的基于机器学习的水文预报精度评价方法，其特征在于，所述洪量评价指标包括洪量相对误差。
  8. 如权利要求1-5任一项所述的基于机器学习的水文预报精度评价方法，其特征在于，所述径流过程评价指标包括确定性系数、相对平均误差和均方根误差。
  9. 一种基于机器学习的水文预报精度评价系统，其特征在于，包括：评价指标获取模块和评价模块；
    所述评价指标获取模块，用于获得同一断面的水文预报结果和同期实测结果，并根据获取到的数据计算洪峰评价指标、洪量评价指标及径流过程评价指标，从而形成一条评价指标数据；
    所述评价模块，用于利用已训练好的水文预报精度评价模型识别所述评价指标数据所属的精度等级，作为水文预报精度的评价结果；
    其中，所述水文预报精度评价模型为机器学习分类模型，用于确定水文评价指标数据所属的精度等级。
PCT/CN2020/119823 2019-12-19 2020-10-06 一种基于机器学习的水文预报精度评价方法及系统 WO2021120788A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911317633.4 2019-12-19
CN201911317633.4A CN111104981B (zh) 2019-12-19 2019-12-19 一种基于机器学习的水文预报精度评价方法及系统

Publications (1)

Publication Number Publication Date
WO2021120788A1 true WO2021120788A1 (zh) 2021-06-24

Family

ID=70422316

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/119823 WO2021120788A1 (zh) 2019-12-19 2020-10-06 一种基于机器学习的水文预报精度评价方法及系统

Country Status (2)

Country Link
CN (1) CN111104981B (zh)
WO (1) WO2021120788A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705855A (zh) * 2021-07-14 2021-11-26 河海大学 一种基于不完全贝塔函数的水文预测方法
CN113807709A (zh) * 2021-09-22 2021-12-17 河海大学 一种基于水情要素的多目标湖区水安全评价方法
CN113869354A (zh) * 2021-08-16 2021-12-31 天津大学 一种凌汛期堤防危险性综合评价方法
CN114169590A (zh) * 2021-11-22 2022-03-11 华中科技大学 一种基于多情景划分的水库入库径流预报校正方法和系统
CN114282431A (zh) * 2021-12-09 2022-04-05 淮阴工学院 一种基于改进sca和qrgru的径流区间预测方法及系统
CN114372631A (zh) * 2022-01-11 2022-04-19 电子科技大学 一种基于小样本学习和lstm的缺资料地区径流预测方法
CN114741987A (zh) * 2022-04-18 2022-07-12 浙江省水利河口研究院(浙江省海洋规划设计研究院) 考虑洪水预报模型绝对误差拟合残差分布的洪水概率预报模型
CN114970171A (zh) * 2022-05-31 2022-08-30 水利部交通运输部国家能源局南京水利科学研究院 考虑产流结构不确定性的水文模型及对地表地下水文过程影响的量化方法
CN115063111A (zh) * 2022-06-24 2022-09-16 中国长江三峡集团有限公司 场次洪水识别方法、装置、电子设备及可读存储介质
CN115240060A (zh) * 2022-09-22 2022-10-25 海南浙江大学研究院 一种海星灾害预警方法及系统
CN115471115A (zh) * 2022-10-01 2022-12-13 浙江嘉园智能科技有限公司 一种全域水体统一联治的电子河长控制系统
CN115829120A (zh) * 2022-11-29 2023-03-21 中国环境科学研究院 基于机器学习方法的水质预测预警系统
CN116150973A (zh) * 2022-12-29 2023-05-23 中国长江电力股份有限公司 一种基于模型树和集成学习组合算法的河道流量演算方法
CN116609860A (zh) * 2023-07-18 2023-08-18 水利部交通运输部国家能源局南京水利科学研究院 基于集成学习算法的水文模型实时校正方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104981B (zh) * 2019-12-19 2022-09-16 华中科技大学 一种基于机器学习的水文预报精度评价方法及系统
CN113420808A (zh) * 2021-06-22 2021-09-21 中国电建集团华东勘测设计研究院有限公司 一种基于反演数据和实测数据融合的水文预报方法及系统
CN113361798B (zh) * 2021-06-23 2023-08-22 长沙理工大学 基于预泄指数的水库防洪调度方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654728B1 (en) * 2000-07-25 2003-11-25 Deus Technologies, Llc Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images
CN101794495A (zh) * 2010-02-05 2010-08-04 国网电力科学研究院 洪水预报系统中实时校正模型的优选方法
CN102651053A (zh) * 2012-04-01 2012-08-29 中国科学院地理科学与资源研究所 基于贝叶斯网络模型的泥石流灾害危险性评价方法
CN106875047A (zh) * 2017-01-23 2017-06-20 国网湖南省电力公司 水库流域径流预报方法及系统
CN108470221A (zh) * 2018-02-07 2018-08-31 中国水利水电科学研究院 流域径流的预测方法及装置
CN111104981A (zh) * 2019-12-19 2020-05-05 华中科技大学 一种基于机器学习的水文预报精度评价方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631228A (zh) * 2016-01-18 2016-06-01 中科宇图科技股份有限公司 一种超级多模集成应用的水文预警预报系统和方法
CN107766694A (zh) * 2017-11-03 2018-03-06 中山大学 基于fcm‑nsga‑ii的水文模型参数估计方法
KR101911516B1 (ko) * 2017-12-26 2018-10-24 (주)에프앤아이 사용자의 심리 상태 데이터를 획득하고 사용자의 심리 상태를 판단하고 피드백을 제공하는 방법 및 이를 이용한 서버

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654728B1 (en) * 2000-07-25 2003-11-25 Deus Technologies, Llc Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images
CN101794495A (zh) * 2010-02-05 2010-08-04 国网电力科学研究院 洪水预报系统中实时校正模型的优选方法
CN102651053A (zh) * 2012-04-01 2012-08-29 中国科学院地理科学与资源研究所 基于贝叶斯网络模型的泥石流灾害危险性评价方法
CN106875047A (zh) * 2017-01-23 2017-06-20 国网湖南省电力公司 水库流域径流预报方法及系统
CN108470221A (zh) * 2018-02-07 2018-08-31 中国水利水电科学研究院 流域径流的预测方法及装置
CN111104981A (zh) * 2019-12-19 2020-05-05 华中科技大学 一种基于机器学习的水文预报精度评价方法及系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705855A (zh) * 2021-07-14 2021-11-26 河海大学 一种基于不完全贝塔函数的水文预测方法
CN113705855B (zh) * 2021-07-14 2024-02-27 河海大学 一种基于不完全贝塔函数的水文预测方法
CN113869354A (zh) * 2021-08-16 2021-12-31 天津大学 一种凌汛期堤防危险性综合评价方法
CN113869354B (zh) * 2021-08-16 2024-05-07 天津大学 一种凌汛期堤防危险性综合评价方法
CN113807709A (zh) * 2021-09-22 2021-12-17 河海大学 一种基于水情要素的多目标湖区水安全评价方法
CN113807709B (zh) * 2021-09-22 2024-02-27 河海大学 一种基于水情要素的多目标湖区水安全评价方法
CN114169590A (zh) * 2021-11-22 2022-03-11 华中科技大学 一种基于多情景划分的水库入库径流预报校正方法和系统
CN114169590B (zh) * 2021-11-22 2024-05-28 华中科技大学 一种基于多情景划分的水库入库径流预报校正方法和系统
CN114282431A (zh) * 2021-12-09 2022-04-05 淮阴工学院 一种基于改进sca和qrgru的径流区间预测方法及系统
CN114282431B (zh) * 2021-12-09 2023-08-18 淮阴工学院 一种基于改进sca和qrgru的径流区间预测方法及系统
CN114372631A (zh) * 2022-01-11 2022-04-19 电子科技大学 一种基于小样本学习和lstm的缺资料地区径流预测方法
CN114741987A (zh) * 2022-04-18 2022-07-12 浙江省水利河口研究院(浙江省海洋规划设计研究院) 考虑洪水预报模型绝对误差拟合残差分布的洪水概率预报模型
CN114741987B (zh) * 2022-04-18 2024-04-26 浙江省水利河口研究院(浙江省海洋规划设计研究院) 考虑洪水预报模型绝对误差拟合残差分布的洪水概率预报模型
CN114970171B (zh) * 2022-05-31 2023-03-14 水利部交通运输部国家能源局南京水利科学研究院 考虑产流结构不确定性的水文模型及对地表地下水文过程影响的量化方法
CN114970171A (zh) * 2022-05-31 2022-08-30 水利部交通运输部国家能源局南京水利科学研究院 考虑产流结构不确定性的水文模型及对地表地下水文过程影响的量化方法
CN115063111B (zh) * 2022-06-24 2023-08-18 中国长江三峡集团有限公司 场次洪水识别方法、装置、电子设备及可读存储介质
CN115063111A (zh) * 2022-06-24 2022-09-16 中国长江三峡集团有限公司 场次洪水识别方法、装置、电子设备及可读存储介质
CN115240060B (zh) * 2022-09-22 2023-04-07 海南浙江大学研究院 一种海星灾害预警方法及系统
CN115240060A (zh) * 2022-09-22 2022-10-25 海南浙江大学研究院 一种海星灾害预警方法及系统
CN115471115A (zh) * 2022-10-01 2022-12-13 浙江嘉园智能科技有限公司 一种全域水体统一联治的电子河长控制系统
CN115471115B (zh) * 2022-10-01 2023-10-31 浙江嘉园智能科技有限公司 一种全域水体统一联治的电子河长控制系统
CN115829120A (zh) * 2022-11-29 2023-03-21 中国环境科学研究院 基于机器学习方法的水质预测预警系统
CN116150973B (zh) * 2022-12-29 2024-02-13 中国长江电力股份有限公司 一种基于模型树和集成学习组合算法的河道流量演算方法
CN116150973A (zh) * 2022-12-29 2023-05-23 中国长江电力股份有限公司 一种基于模型树和集成学习组合算法的河道流量演算方法
CN116609860B (zh) * 2023-07-18 2023-09-19 水利部交通运输部国家能源局南京水利科学研究院 基于集成学习算法的水文模型实时校正方法和系统
CN116609860A (zh) * 2023-07-18 2023-08-18 水利部交通运输部国家能源局南京水利科学研究院 基于集成学习算法的水文模型实时校正方法和系统

Also Published As

Publication number Publication date
CN111104981A (zh) 2020-05-05
CN111104981B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
WO2021120788A1 (zh) 一种基于机器学习的水文预报精度评价方法及系统
CN107991873B (zh) 一种基于卷积神经网络及bp神经网络的地铁杂散电流泄漏等级预测方法
CN108375808A (zh) Nriet基于机器学习的大雾预报方法
CN104835103A (zh) 基于神经网络和模糊综合评价的移动网络健康评价方法
CN107730395B (zh) 一种针对低压用户的基于用电量偏差率的用电异常检测方法
CN110634080A (zh) 异常用电检测方法、装置、设备及计算机可读存储介质
CN110197020B (zh) 一种环境变化对水文干旱影响的分析方法
CN105678481A (zh) 一种基于随机森林模型的管线健康状态评估方法
WO2018214364A1 (zh) 一种降水预报精度评定方法
CN110400231B (zh) 一种加权非线性贝叶斯的电能计量设备失效率预估方法
CN111080356A (zh) 一种利用机器学习回归模型计算住宅价格影响因素的方法
CN101853290A (zh) 基于地理信息系统的气象服务效益评估方法
CN105205329A (zh) 一种大坝安全综合评价方法
CN113887908A (zh) 考虑主客观交叉融合权重的桥梁风险评估方法
CN110097266A (zh) 一种基于云模型的流程工业装备服役安全风险评估方法
CN111178585A (zh) 基于多算法模型融合的故障接报量预测方法
CN111445085A (zh) 一种考虑中大型水库工程蓄水影响的中长期径流预报方法
CN115471000A (zh) 一种确定性分级降雨预报不确定性的评估方法
CN108461150A (zh) 一种职业卫生预测研究方法
CN117469603B (zh) 一种基于大数据学习的多水厂供水系统压力优化控制方法
CN103117823B (zh) 一种短波信道模型建模方法
CN104111887A (zh) 基于Logistic模型的软件故障预测系统及方法
CN106446391B (zh) 金属材料稳态蠕变速率本构方程的可靠性评价方法
CN116467551B (zh) 一种基于相关系数的供水管网漏损定位方法及系统
CN105160448A (zh) 一种基于未确知有理数的电力交易监管风险指标评价方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20903440

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20903440

Country of ref document: EP

Kind code of ref document: A1