WO2024111747A1 - 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법 - Google Patents

순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법 Download PDF

Info

Publication number
WO2024111747A1
WO2024111747A1 PCT/KR2023/001038 KR2023001038W WO2024111747A1 WO 2024111747 A1 WO2024111747 A1 WO 2024111747A1 KR 2023001038 W KR2023001038 W KR 2023001038W WO 2024111747 A1 WO2024111747 A1 WO 2024111747A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
hsr
cycle
synthetic
time
Prior art date
Application number
PCT/KR2023/001038
Other languages
English (en)
French (fr)
Inventor
최재호
김유라
김광호
정성화
조익현
Original Assignee
대한민국(기상청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(기상청장) filed Critical 대한민국(기상청장)
Publication of WO2024111747A1 publication Critical patent/WO2024111747A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a real-time precipitation forecasting system and method, and more specifically, to a real-time precipitation forecasting system and method for each region based on recurrent generative adversarial network expansion.
  • NWP numerical weather prediction
  • a live forecast In meteorology, a live forecast generally refers to a model or forecast that accurately predicts the weather within about two hours from now.
  • real-time precipitation forecasts are generally based on weather radar observations.
  • QPF quantitative precipitation forecast
  • Patent Document 1 Registered Patent Publication 10-2457470 (2022.10.18)
  • the present invention provides a reliable regional precipitation real-time forecast system and method by extending cycle-consistent adversarial network (Cycle-GAN) to the time-series domain.
  • Cycle-GAN cycle-consistent adversarial network
  • a regional rainfall real-time forecast system based on a recurrent generative adversarial network expansion according to an embodiment of the present invention
  • An input unit that receives an input synthetic hybrid surface rainfall (HSR) image containing rainfall information at a first time in the region of interest;
  • HSR hybrid surface rainfall
  • a cyclical generative adversarial network that generates a resultant synthetic HSR image including precipitation information at a second time, which is a future time than the first time, in the region of interest based on the input synthetic HSR image;
  • Cycle-GAN Cycle-Generative Adversarial Network
  • Second Cycle-Generative Adversarial Network complementary to the first Cycle-Generative Adversarial Network
  • the first recurrent generative adversarial network and the second recurrent generative adversarial network perform forward image mapping that progresses in time and retrograde image mapping that moves backward in time, respectively.
  • the first cyclic generative adversarial network (Cycle-GAN)
  • a forward generator that learns a prediction mapping of the first predicted synthesized HSR image at the second time based on the input synthesized HSR image at the first time;
  • a backward generator that learns a prediction mapping of the first circular prediction synthesis HSR image at the first time based on the first prediction synthesis HSR image at the second time;
  • a forward discriminator that evaluates accuracy of prediction mapping of the forward generator and discriminates between the input synthesized HSR image and the first predicted synthesized HSR image
  • a backward discriminator that evaluates the accuracy of prediction mapping of the backward generator and discriminates between the first prediction synthetic HSR image and the first circular prediction synthetic HSR image.
  • the second cyclic generative adversarial network (Cycle-GAN)
  • the input synthesized HSR at the first time is based on a complementary first predicted synthesized HSR image in which a first pixel loss function (pixel loss) is applied to the first predicted synthesized HSR image at the second time using the retrograde generator.
  • Learning a predictive mapping of a complementary input synthetic HSR image corresponding to an image, the input synthetic HSR image and the complementary input synthetic HSR image have a complementary relationship to which a second pixel loss function is applied,
  • It is configured to evaluate the accuracy of prediction mapping of the retrograde generator using the retrograde discriminator, and to discriminate between the complementary first prediction synthesized HSR image and the complementary input synthesized HSR image.
  • the first cycle-generative adversarial network (Cycle-GAN) is learned to match the first cycle prediction synthesized HSR image to the input synthesized HSR image by applying a first cycle consistency loss function (Cycle-Consistency Loss),
  • the forward discriminator is trained to increase the probability of misidentifying the first prediction synthetic HSR image as the input synthetic HSR image by applying a forward adversarial loss function
  • the backward discriminator is learned to increase the probability of misidentifying the first circular prediction synthetic HSR image as the first prediction synthetic HSR image by applying a backward adversarial loss function.
  • the second cycle-generative adversarial network applies a second cycle consistency loss function (Cycle-Consistency Loss) so that the second cycle prediction synthetic HSR image matches the complementary first prediction synthesis HSR image. learned,
  • the forward discriminator is trained to increase the probability of misidentifying the second circular prediction synthetic HSR image as the complementary input synthetic HSR image by applying the forward adversarial loss function
  • the backward discriminator is learned to increase the probability of misidentifying the complementary input synthetic HSR image as the complementary first prediction synthetic HSR image by applying a backward adversarial loss function.
  • the cyclic generative adversarial network (Cycle-GAN) converges the first pixel loss function and the second pixel loss function to a predetermined reference pixel loss function value, and the first cyclic consistency loss function (Cycle-Consistency Loss) and the first predictive synthetic HSR image or the complementary first predictive synthetic HSR image or the second when the second cycle-consistency loss function (Cycle-Consistency Loss) is learned to converge to a predetermined cycle-consistency loss function value.
  • the circular prediction synthesized HSR image is output as the resulting synthesized HSR image.
  • the forward constructor and the retrograde constructor are identical to the forward constructor and the retrograde constructor.
  • an encoder that reduces the size of the input synthesized HSR image and extracts a plurality of feature maps from the input synthesized HSR image
  • the forward discriminator and the backward discriminator use the architecture of a patch generative adversarial network (Patch-GAN) that performs discrimination on a patch basis.
  • Patch-GAN patch generative adversarial network
  • a regional rainfall real-time forecasting method based on a recurrent generative adversarial network expansion according to another embodiment of the present invention
  • HSR hybrid surface rainfall
  • the recurrent adversarial network is,
  • the first recurrent generative adversarial network and the second recurrent generative adversarial network perform forward image mapping that progresses in time and retrograde image mapping that moves backward in time, respectively.
  • the first cyclic generative adversarial network (Cycle-GAN)
  • a retrograde discriminator is performed to evaluate the accuracy of the prediction mapping of the retrograde generator using a retrograde discriminator, and to discriminate between the first predicted synthesized HSR image and the first circular predicted synthesized HSR image.
  • the second cyclic generative adversarial network (Cycle-GAN)
  • the input synthesized HSR at the first time is based on a complementary first predicted synthesized HSR image in which a first pixel loss function (pixel loss) is applied to the first predicted synthesized HSR image at the second time using the retrograde generator.
  • It is configured to evaluate the accuracy of prediction mapping of the retrograde generator using the retrograde discriminator, and to discriminate between the complementary first prediction synthesized HSR image and the complementary input synthesized HSR image.
  • the first cycle-generative adversarial network (Cycle-GAN) is learned to match the first cycle prediction synthesized HSR image to the input synthesized HSR image by applying a first cycle consistency loss function (Cycle-Consistency Loss),
  • the forward discriminator is trained to increase the probability of misidentifying the first prediction synthetic HSR image as the input synthetic HSR image by applying a forward adversarial loss function
  • the backward discriminator is learned to increase the probability of misidentifying the first circular prediction synthetic HSR image as the first prediction synthetic HSR image by applying a backward adversarial loss function.
  • the second cycle-generative adversarial network applies a second cycle consistency loss function (Cycle-Consistency Loss) so that the second cycle prediction synthetic HSR image matches the complementary first prediction synthesis HSR image. learned,
  • the forward discriminator is trained to increase the probability of misidentifying the second circular prediction synthetic HSR image as the complementary input synthetic HSR image by applying the forward adversarial loss function
  • the backward discriminator is learned to increase the probability of misidentifying the complementary input synthetic HSR image as the complementary first prediction synthetic HSR image by applying a backward adversarial loss function.
  • the cyclic generative adversarial network (Cycle-GAN) converges the first pixel loss function and the second pixel loss function to a predetermined reference pixel loss function value, and the first cyclic consistency loss function (Cycle-Consistency Loss) and the first predictive synthetic HSR image or the complementary first predictive synthetic HSR image or the second when the second cycle-consistency loss function (Cycle-Consistency Loss) is learned to converge to a predetermined cycle-consistency loss function value.
  • the circular prediction synthesized HSR image is output as the resulting synthesized HSR image.
  • the forward constructor and the retrograde constructor are identical to the forward constructor and the retrograde constructor.
  • the forward discriminator and the backward discriminator are characterized in that they perform discrimination on a patch basis using the architecture of a patch generative adversarial network (Patch-GAN).
  • Patch-GAN patch generative adversarial network
  • the regional precipitation real-time forecast system and method based on the recurrent generative adversarial network expansion according to the present invention enables improved precipitation real-time forecasts in both qualitative and quantitative evaluations.
  • the regional rainfall real-time forecast system and method based on the recurrent generative adversarial network expansion according to the present invention can secure robustness to temporal causal relationships by applying pixel loss to the recurrent generative adversarial network.
  • Figure 1 is a diagram illustrating a schematic diagram of a regional precipitation real-time forecast system based on a recurrent generative adversarial network expansion according to an embodiment of the present invention.
  • Figure 2 is a diagram showing a schematic diagram for learning the recurrent adversarial network of the present invention.
  • FIG. 3 is a schematic diagram illustrating the generation of synthetic hybrid surface rainfall (HSR) data of the present invention.
  • Figure 4 is a diagram showing the network architecture of a forward generator and a backward generator of the present invention.
  • Figure 5 is a diagram showing the network architecture of the forward discriminator and backward generator of the present invention.
  • Figure 6 is a diagram illustrating a schematic diagram of a regional rainfall real-time forecasting method based on recurrent generative adversarial network expansion according to an embodiment of the present invention.
  • Figure 7 is a diagram showing the qualitative evaluation results of the regional precipitation real-time forecast system and method based on the cyclic generative adversarial network expansion of the present invention.
  • Figure 8 is a table showing the qualitative evaluation results of the regional precipitation real-time forecast system and method based on the cyclic generative adversarial network expansion of the present invention.
  • FIG. 9 is a diagram illustrating an example computing device that may implement devices and/or systems according to various embodiments of the present invention.
  • the regional precipitation real-time forecast system and method based on the cyclic generative adversarial network expansion uses a cyclic generative adversarial network (CycleGAN) that assumes the relationship between two domains as a bijection.
  • CycleGAN cyclic generative adversarial network
  • an image containing precipitation information at a future time can be predicted based on an image containing current precipitation information.
  • Recurrent generative adversarial networks enable unpaired image-to-image translation using recurrent consistency loss.
  • Figure 1 is a schematic diagram of a regional rainfall real-time forecast system based on a recurrent adversarial network expansion according to an embodiment of the present invention.
  • the regional rainfall real-time forecast system 100 based on the cyclic generative adversarial network expansion includes an input unit 110, a cyclic generative adversarial network (Cycle-GAN) 120, and an output unit 130. Includes.
  • the input unit 110 receives an input synthetic hybrid surface rainfall (HSR) image containing rainfall information at the first time in the region of interest.
  • HSR hybrid surface rainfall
  • Cycle-Generative Adversarial Network (Cycle-GAN) 120 is a first cycle-generative adversarial network (Cycle-GAN) and a second cycle-generative adversarial network complementary to the first cycle-generative adversarial network. Includes.
  • a resulting synthetic HSR image containing precipitation information at a second time in the region of interest is generated based on the input synthetic HSR image using the first cycle-GAN and the second cycle-generative adversarial network.
  • the second time is a time in the future than the first time, and, as an example, can be up to 2 hours at intervals of 10 minutes.
  • the output unit 130 outputs the resulting composite HSR image as a nowcasting image for the area of interest.
  • the first recurrent generative adversarial network and the second recurrent generative adversarial neural network can perform a forward image mapping that goes forward in time and a retrograde image mapping that goes backwards in time, respectively, to make the temporal causal relationship more robust.
  • Figure 2 is a diagram showing a schematic diagram for learning the recurrent adversarial network of the present invention.
  • Generator forward (223-1, 223-2), Generator backward (224-1, 224-2), Discriminator(t i+step ) (225), and the backward discriminator (t i ) (226) are denoted as G f , G b , D(t i+step ), and D(t i ), respectively.
  • Two generators (G f and G b ) and two discriminators (D(t i+step ) and D(t i )) are learned through two cycles 221 and 222.
  • G f and G b generate synthetic hybrid high-level precipitation (HSR) of the next and previous time steps from the input HSR, respectively.
  • HSR high-level precipitation
  • D(t i+step ) distinguishes between the fake HSR generated by G f and the real HSR. Likewise, D(t i ) distinguishes between fake HSR and real HSR generated in G b .
  • Cycle 1 (221) generates a one-step fake future HSR(t i+step ) fake from the real HSR(t i ), and the generated fake future HSR(t i+step ) fake. From this, cycled again creates HSR(t i ) cycled .
  • Cycle 2 (Cycle 2) 222 generates a one-step fake past HSR(t i ) fake from the real HSR(t i+step ), and cycles back from the generated fake past HSR(t i ) fake to HSR(t i+ step ) Create Cycled .
  • the final goal of the learning model shown in Figure 2 is to make the real, fake and recurrent HSRs identical.
  • the first cycle-GAN (Cycle-GAN) 221 has a forward generator (223-1), a backward generator (224-1), and a forward discriminator (225). and a backward discriminator (226).
  • the forward generator 223-1 learns the prediction mapping of the first predicted synthetic HSR image 252 at the second time based on the input synthetic HSR image 250 at the first time.
  • the second time is a future time than the first time.
  • the backward generator 224-1 learns the prediction mapping of the first circularly predicted synthetic HSR image 254 at the first time based on the first predicted synthetic HSR image 252 at the second time.
  • the forward discriminator 225 evaluates the accuracy of the prediction mapping of the forward generator 223-1 and discriminates the input synthetic HSR image 250 and the first predicted synthetic HSR image 252.
  • the backward discriminator 226 evaluates the accuracy of the prediction mapping of the backward generator 224-1 and discriminates the first prediction synthetic HSR image 252 and the first circular prediction synthetic HSR image 254. .
  • the second cycle-GAN (Cycle-GAN) 222 includes a retrograde generator 224-2, a forward generator 223-2, a forward discriminator 225, and a backward discriminator 226.
  • the backward generator 224-2 is a complementary first prediction synthesis HSR in which a first pixel loss function (pixel loss forward) is applied to the first prediction synthesis HSR image 252 at the second time. Based on the image 256, a predictive mapping of the complementary input synthetic HSR image 258 corresponding to the input synthetic HSR image 250 at the first time is learned. The input synthetic HSR image 250 and the complementary input synthetic HSR image 258 have a complementary relationship to which a second pixel loss function (pixel loss backward) is applied.
  • the forward generator 223-2 learns the prediction mapping of the second circular prediction synthetic HSR image 260 at the second time based on the complementary input synthetic HSR image 258 at the first time.
  • the forward discriminator 225 evaluates the accuracy of the predictive mapping of the forward generator 223-2 and determines the complementary input synthetic HSR image 258 and the second circular predicted synthetic HSR image 260.
  • the retrograde discriminator 226 evaluates the accuracy of the prediction mapping of the retrograde generator 224-2 and determines the complementary first predicted synthetic HSR image 256 and the complementary input synthetic HSR image 258.
  • the traveling generator (223-1) of the first Cycle-GAN (221) and the traveling generator (223-2) of the second Cyclic Generative Adversarial Network (Cycle-GAN) (222) of the present invention. has the same network architecture.
  • the retrograde generator (224-1) of the first cycle-GAN (221) and the retrograde generator (224-2) of the second cycle-GAN (222) of the present invention has the same network architecture.
  • the forward generator and the backward generator of the present invention according to one embodiment have the same network architecture.
  • the forward discriminator 225 and the backward discriminator 226 of the first cycle-GAN (221) and the forward discriminator (226) of the second cycle-GAN (222) of the present invention have the same network architecture.
  • the forward discriminator and the backward discriminator of the present invention according to one embodiment have the same network architecture.
  • the first cycle-generative adversarial network (Cycle-GAN) 221 of the present invention applies the first cycle-consistency loss function (Cycle-Consistency Loss) so that the first cycle prediction synthetic HSR image 254 is an input synthetic HSR image ( 250) is learned to match.
  • the forward discriminator 225 is trained to increase the probability of misidentifying the first predicted synthetic HSR image 252 as the input synthetic HSR image 250 by applying a forward adversarial loss function.
  • the backward discriminator 226 applies a backward adversarial loss function to increase the probability of misidentifying the first circular prediction synthetic HSR image 254 as the first prediction synthetic HSR image 252. It is learned.
  • the second cycle generative adversarial network (Cycle-GAN) 222 applies a second cycle consistency loss function (Cycle-Consistency Loss) so that the second cycle predicted synthetic HSR image 260 is the complementary first predicted synthetic HSR image. It is learned to match (256).
  • the forward discriminator 225 applies a forward adversarial loss function to increase the probability of misidentifying the second circular prediction synthetic HSR image 260 as the complementary input synthetic HSR image 258. It is learned.
  • the backward discriminator 226 applies a backward adversarial loss function to increase the probability of misidentifying the complementary input synthetic HSR image 258 as the complementary first prediction synthetic HSR image 256. It is learned as follows.
  • the cyclic generative adversarial network (Cycle-GAN) 120 allows the first pixel loss function and the second pixel loss function to converge to a predetermined reference pixel loss function value, and the first cyclic consistency loss function (Cycle-Consistency Loss) and A first predictive synthetic HSR image or a complementary first predictive synthetic HSR image or a second cycle-predictive synthetic HSR image when a second cycle-consistency loss function (Cycle-Consistency Loss) is learned to converge to a predetermined cycle-consistency loss function value. Output the resulting composite HSR image.
  • Cycle-GAN cyclic generative adversarial network
  • the output unit 130 outputs the resulting composite HSR image as a nowcasting image for the area of interest.
  • the learning model for real-time precipitation forecast consists of two cycles (Cycle 1 and Cycle 2) and uses synthetic hybrid high-level precipitation (HSR) as input data.
  • HSR high-level precipitation
  • the regional precipitation real-time forecast system based on the cyclic generative adversarial network expansion of the present invention is trained with a total of four different networks in two cycles.
  • Generator forward and generator backward learn image mapping from the present to the future and from the future to the present, respectively. By performing image mapping, images containing future precipitation information are predicted.
  • the forward discriminator (t i+step ) and the backward discriminator (t i ) evaluate the mapping accuracy of the forward generator (Generator forward ) and the backward generator (Generator backward ).
  • the input data HSR i used as input to the model is expressed as equation (1).
  • t i is a random element of , and is an arithmetic sequence of discrete times: and represents the real HSR data at time t i .
  • Cycle 1 predicts future precipitation information based on known current precipitation information, then predicts current precipitation information again based on predicted future precipitation information, and is expressed as equation (2):
  • G f and G b represent the forward generator (Generator forward ) and the backward generator (Generator backward ) in FIG. 2.
  • the circular discriminator (t i+step) and the retrograde discriminant (t i ) are denoted as D(t i+step ) and D(t i ), respectively.
  • the recurrent adversarial network of the present invention receives HSR i as input and distributes HSR(t i ) real and HSR(t i+step ) real to cycle 1 and cycle 2, respectively.
  • the learning model can obtain strong temporal causality.
  • the cyclic generative adversarial network of the present invention can be optimized by applying three types of loss functions: adversarial loss, cycle-consistency loss, and pixel loss.
  • the recurrent adversarial network of the present invention applies an adversarial loss (progressive adversarial loss) to match the distributions of HSR(t i+step ) real and HSR(t i+step ) fake .
  • an adversarial loss progressive adversarial loss
  • an adversarial loss is also applied to match the distributions of HSR(t i ) real and HSR(t i ) fake (retrograde adversarial loss).
  • the present invention adopts the adversarial loss of LSGAN and extends it to two complementary cycles.
  • p(t i+step ) and p(t i ) represent the distributions of HSR(t i+step ) real and HSR(t i ) real , respectively.
  • the cyclical generative adversarial network of the present invention strengthens temporal causality by applying cyclical consistency loss to the time series domain. Cyclic consistency loss is used to satisfy equation (16) and equation (17).
  • the recurrent adversarial network of the present invention applies pixel loss along with adversarial loss to satisfy the following conditions.
  • p(t i ) and p(t i+step ) represent the distribution of HSR(t i ) real and HSR(t i+step ) real , respectively.
  • identity loss cannot be applied in the present invention because it breaks temporal causality.
  • the preceding constructor (G f ) of the present invention must always be a present-to-future mapping, but may also represent a present-to-present mapping if identity loss is added.
  • the present invention adds pixel loss instead of identity loss to help the forward generator (G f ) and retrograde generator (G b ) capture temporal changes.
  • FIG. 3 is a schematic diagram illustrating the generation of synthetic hybrid surface rainfall (HSR) data of the present invention.
  • synthetic hybrid high-level precipitation (HSR) data represents the reflectance of the beam closest to the ground at each horizontal distance from the weather radar 310 and less affected by non-meteorological echoes and beam blocking.
  • Non-meteorological echoes include tidal echoes, ground echoes, and chaff echoes, which are major obstacles to precipitation estimation.
  • HSR data is converted into HSR data through a reflectance-rainfall equation that considers regional characteristics.
  • HSR data is currently being used for weather forecasting in Korea.
  • Figure 4 is a diagram showing the network architecture of a forward generator and a backward generator of the present invention.
  • the forward generator and the backward generator of the present invention according to one embodiment have the same network architecture.
  • the forward discriminator and the backward discriminator of the present invention according to one embodiment have the same network architecture.
  • the generator network 410 including the forward generator 223 and the backward generator 224, may be configured as shown in FIG. 4.
  • the generator network 410 includes an encoder 421, a plurality of SE-residual blocks 423, and a decoder 424.
  • the encoder 421 reduces the size of the input composite HSR image and extracts a plurality of feature maps from the input composite HSR image.
  • the SE-residual block 423 may be composed of a plurality of SE-residual blocks, and may include, for example, 16 residual blocks.
  • SE-residual block 423 recalibrates the feature map.
  • SE-residual block is a core part of the generator network and is a combination of residual block and SE-block. For robustness, a dropout layer is added to the residual block. Since the present invention uses a small number of residual blocks, it does not use bottleneck blocks according to the design policy of the original ResNet.
  • the decoder 424 restores the size of the input composite HSR image reduced by the encoder 421.
  • the convolution layer just before output is for fine resizing, and tanh is used as the final activation function.
  • Figure 5 is a diagram showing the network architecture of the forward discriminator and backward generator of the present invention.
  • the forward discriminator and retrograde discriminator use the architecture of a patch generative adversarial network (Patch-GAN) that performs discrimination on a patch basis.
  • Patch-GAN patch generative adversarial network
  • the discriminator network classifies whether the output data patch is real or fake.
  • the patch-level discriminator is lighter than the entire data discriminator.
  • the discriminator network of the present invention uses a 31 ⁇ 31 patch size. It is obvious to those skilled in the art that the patch size can be flexibly changed depending on the size of the input data.
  • Figure 6 is a diagram illustrating a schematic diagram of a regional rainfall real-time forecasting method based on recurrent generative adversarial network expansion according to an embodiment of the present invention.
  • the regional rainfall real-time forecasting method 600 based on a recurrent adversarial network expansion is an input synthesis hybrid surface rainfall (HSR: hybrid surface rainfall) method including rainfall information at the first time in the region of interest. It includes an input data reception step (S610) of receiving an image.
  • HSR hybrid surface rainfall
  • It includes a recursive generative adversarial network execution step (S620) of generating a resultant synthetic HSR image including precipitation information at a second time, which is a time in the future than the first time, in the region of interest based on the input synthetic HSR image.
  • S620 recursive generative adversarial network execution step
  • the cyclic generative adversarial network of the present invention includes a first cyclic generative adversarial network (Cycle-GAN) and a second cyclic generative adversarial network complementary to the first cyclic adversarial network.
  • Cycle-GAN first cyclic generative adversarial network
  • second cyclic generative adversarial network complementary to the first cyclic adversarial network.
  • the first recurrent adversarial network and the second recurrent adversarial network of the recurrent generative adversarial network perform forward image mapping that progresses in time and retrograde image mapping that moves backwards in time, respectively.
  • Cyclic Generative Adversarial Network (Cycle-GAN) is,
  • a retrograde discriminator is used to evaluate the accuracy of the prediction mapping of the retrograde generator, and a retrograde discriminator step of discriminating between the first predicted synthetic HSR image and the first circular predicted synthetic HSR image is performed.
  • the second cyclic generative adversarial network (Cycle-GAN) is,
  • a first pixel loss function pixel loss
  • It is configured to evaluate the accuracy of the prediction mapping of the retrograde generator using a retrograde discriminator, and to discriminate between the complementary first predicted synthetic HSR image and the complementary input synthetic HSR image.
  • the first cycle generative adversarial network (Cycle-GAN) is learned to match the first cycle prediction synthetic HSR image to the input synthetic HSR image by applying the first cycle consistency loss function (Cycle-Consistency Loss).
  • the forward discriminator is learned to increase the probability of misidentifying the first predicted synthetic HSR image as the input synthetic HSR image by applying a forward adversarial loss function.
  • the backward discriminator is learned to increase the probability of misidentifying the first circular prediction synthetic HSR image as the first prediction synthetic HSR image by applying a backward adversarial loss function.
  • the second cycle generative adversarial network (Cycle-GAN) is learned to match the second cycle prediction synthetic HSR image to the complementary first prediction synthetic HSR image by applying the second cycle consistency loss function (Cycle-Consistency Loss).
  • the forward discriminator is learned to increase the probability of misidentifying the second circular prediction synthetic HSR image as the complementary input synthetic HSR image by applying a forward adversarial loss function.
  • the backward discriminator is learned to increase the probability of misidentifying the complementary input synthetic HSR image as the complementary first prediction synthetic HSR image by applying a backward adversarial loss function.
  • the first pixel loss function and the second pixel loss function converge to a predetermined reference pixel loss function value
  • the first cycle consistency loss function (Cycle-Consistency Loss) and the second cycle
  • the first predictive synthetic HSR image or the complementary first predictive synthetic HSR image or the second cycle-consistency loss function is learned to converge to a predetermined cycle-consistency loss function value.
  • the forward generator and the backward generator of the cycle-generative adversarial network (Cycle-GAN) of the present invention are,
  • the forward discriminator and the backward discriminator of the cycle-GAN of the present invention are characterized in that they perform discrimination on a patch basis using the architecture of the patch-generative adversarial network (Patch-GAN). .
  • Figure 7 is a diagram showing the qualitative evaluation results of the regional precipitation real-time forecast system and method based on the cyclic generative adversarial network expansion of the present invention.
  • Figure 7 compares it with two existing models for qualitative evaluation.
  • the first is MAPLE, a QPF model.
  • the second is ConvLSTM based on RNN.
  • CSI is used as a metric for qualitative evaluation.
  • the CSI of the method of the present invention was maintained relatively uniformly compared to the CSI of the two existing models during a lead time of 2 hours.
  • the regional precipitation real-time forecast method based on the recurrent adversarial network expansion of the present invention predicted the extinction of radar echoes better than MAPLE and the details of radar echoes better than ConvLSTM.
  • Figure 8 is a table showing the qualitative evaluation results of the regional precipitation real-time forecast system and method based on the cyclic generative adversarial network expansion of the present invention.
  • PSNR and SSIM are used as metrics for quantitative evaluation.
  • the proposed method received the best scores in both PSNR and SSIM except for the first 10 minutes of prediction.
  • FIG. 9 is a diagram illustrating an example computing device that may implement devices and/or systems according to various embodiments of the present invention.
  • An exemplary computing device 900 capable of implementing devices according to some embodiments of the present disclosure will be described in more detail with reference to FIG. 9 .
  • the computing device 900 includes one or more processors 910, a bus 950, a communication interface 970, a memory 930 that loads a computer program 991 executed by the processor 910, and a computer. It may include a storage 990 that stores the program 991. However, only components related to the embodiment of the present disclosure are shown in FIG. 9 .
  • the processor 910 controls the overall operation of each component of the computing device 900.
  • the processor 910 includes a Central Processing Unit (CPU), Micro Processor Unit (MPU), Micro Controller Unit (MCU), Graphic Processing Unit (GPU), or any type of processor well known in the art of the present disclosure. It can be. Additionally, the processor 910 may perform an operation on at least one application or program to execute a method according to embodiments of the present disclosure.
  • Computing device 900 may include one or more processors. Computing device 900 may refer to artificial intelligence (AI).
  • AI artificial intelligence
  • the memory 930 stores various data, commands and/or information.
  • the memory 930 may load one or more programs 991 from the storage 990 to execute a method according to embodiments of the present disclosure.
  • the memory 930 may be implemented as a volatile memory such as RAM, but the technical scope of the present disclosure is not limited thereto.
  • Bus 950 provides communication functionality between components of computing device 900.
  • the bus 950 may be implemented as various types of buses, such as an address bus, a data bus, and a control bus.
  • the communication interface 970 supports wired and wireless Internet communication of the computing device 900. Additionally, the communication interface 970 may support various communication methods other than Internet communication. To this end, the communication interface 970 may be configured to include a communication module well known in the technical field of the present disclosure.
  • communication interface 970 may be omitted.
  • the storage 990 can non-temporarily store one or more programs 991 and various data.
  • the storage 990 may be a non-volatile memory such as Read Only Memory (ROM), Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), flash memory, a hard disk, a removable disk, or a device well known in the art to which this disclosure pertains. It may be configured to include any known type of computer-readable recording medium.
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrically Erasable Programmable ROM
  • flash memory a hard disk, a removable disk, or a device well known in the art to which this disclosure pertains. It may be configured to include any known type of computer-readable recording medium.
  • the computer program 991 when loaded into the memory 930, may include one or more instructions that cause the processor 910 to perform methods/operations according to various embodiments of the present disclosure. That is, the processor 910 may perform methods/operations according to various embodiments of the present disclosure by executing the one or more instructions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템은 관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신하는 입력부; 제1 순환 생성적 적대 신경망(Cycle-GAN : Cycle-Generative Adversarial Network) 및 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 이용하여 상기 입력 합성 HSR 이미지를 기초로 상기 관심 지역의 상기 제1 시간보다 미래의 시간인 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성하는 순환 생성적 적대 신경망(Cycle-GAN); 및 결과 합성 HSR 이미지를 상기 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력하는 출력부;를 포함한다. 본 발명에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법은 픽셀 손실을 순환 생성적 적대 신경망에 적용함으로써 시간적 인과 관계에 대한 강건성을 확보할 수 있다.

Description

순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법
본 발명은 강수량 실황 예보 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법에 관한 것이다.
옛날부터 비는 인간의 삶에 밀접한 영향을 주었다. 그래서 강수량 예측은 늘 세인의 관심사였다. 기상학적 관점에서 강수량을 예측하려는 시도가 많았다. 일 예로서, 수치적 기상 예측(NWP : numerical weather prediction ) 모델이 있었다. NWP 모델은 광범위한 시간에 걸쳐 양호한 정량적 강수량 예측을 지원한다. 그러나 NWP 모델은 예측 초기 단계에서 대류 규모 구조를 개발하기 때문에 초기 몇 시간 동안 정확성을 보장할 수 없었다. 이러한 제한을 스핀업 문제(spin-up problem)라고 한다. 이를 해결하기 위해 단기적인 예측에 초점을 맞추는 실황 예보 (Nowcasting)의 중요성이 커졌다.
기상학에서 실황 예보는 일반적으로 지금부터 약 2시간 이내에 날씨를 정확하게 예측하는 모형 또는 예측을 말한다. 특히, 강수량 실황 예보는 일반적으로 기상 레이더 관측에 기반한다. 다양한 정량적 강수량 예측 (QPF : quantitative precipitation forecast) 모델이 존재하지만, 완벽한 강수량 예측은 항상 어려운 문제이다.
또한, 종래의 강수량 실황 예보는 광범위한 지역을 대상으로 하여, 사용자가 관심이 있는 국소 지역의 실황 날씨를 예보하는 데에는 한계가 있었다.
따라서, 종래의 강수량 실황 예보를 기초로 국지성 호우 등에 효과적으로 대비할 수 없는 문제가 있었다.
인공 지능을 강수량 실황 예보에 사용하려는 시도가 증가하고 있다. 그러나, 국소 지역의 국지성 호우 등에 대한 신뢰성 있는 강수량 실황 예보 장치가 필요하다.
사용자가 원하는 국소 지역의 원하는 시간 대의 실시간성 날씨 정보의 획득을 위한 시스템에 대한 요구가 있다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 등록특허 공보 10-2457470 (2022.10.18)
본 발명은, 순환 생성적 적대 신경망(Cycle-GAN : cycle-consistent adversarial network)을 시계열 도메인(time-series domain)으로 확장하여 신뢰성 있는 지역별 강수량 실황 예보 시스템 및 방법을 제공한다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템은,
관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신하는 입력부;
상기 입력 합성 HSR 이미지를 기초로 상기 관심 지역의 상기 제1 시간보다 미래의 시간인 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성하는 순환 생성적 적대 신경망(Cycle-GAN); 및
상기 결과 합성 HSR 이미지를 상기 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력하는 출력부;를 포함한다.
바람직하게는,
상기 순환 생성적 적대 신경망(Cycle-GAN)은,
제1 순환 생성적 적대 신경망(Cycle-GAN : : Cycle-Generative Adversarial Network) 및 상기 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 포함하고,
상기 제1 순환 생성적 적대 신경망과 상기 제2 순환 생성적 적대 신경망은 각각 시간적으로 순행하는 순행 이미지 매핑(mapping)과 시간적으로 역행하는 역행 이미지 매핑을 수행한다.
바람직하게는,
상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은,
상기 제1 시간의 상기 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제1 예측 합성 HSR 이미지의 예측 매핑을 학습하는 순행 생성자(forward generator);
상기 제2 시간의 상기 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 제1 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하는 역행 생성자(backward generator);
상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 입력 합성 HSR 이미지와 상기 제1 예측 합성 HSR 이미지를 판별하는 순행 판별자(forward discriminator); 및
상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 제1 예측 합성 HSR 이미지와 상기 제1 순환 예측 합성 HSR 이미지를 판별하는 역행 판별자(backward discriminator);를 포함한다.
바람직하게는,
상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은,
상기 역행 생성자를 이용하여 상기 제2 시간의 상기 제1 예측 합성 HSR 이미지에 제1 픽셀 손실 함수(pixel loss)가 적용된 상보적 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 상기 입력 합성 HSR 이미지에 대응하는 상보적 입력 합성 HSR 이미지의 예측 매핑을 학습하고, 상기 입력 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지는 제2 픽셀 손실 함수가 적용된 상보적 관계를 갖고,
상기 순행 생성자를 이용하여 상기 제1 시간의 상기 상보적 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제2 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하고,
상기 순행 판별자를 이용하여 상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 입력 합성 HSR 이미지와 상기 제2 순환 예측 합성 HSR 이미지를 판별하고,
상기 역행 판별자를 이용하여 상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 제1 예측 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지를 판별하도록 구성된다.
바람직하게는,
상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은 제1 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지가 상기 입력 합성 HSR 이미지에 매칭되도록 학습되고,
상기 순행 판별자는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제1 예측 합성 HSR 이미지를 상기 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지를 상기 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
바람직하게는,
상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지가 상기 상보적 제1 예측 합성 HSR 이미지에 매칭되도록 학습되고,
상기 순행 판별자는 상기 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지를 상기 상보적 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 상보적 입력 합성 HSR 이미지를 상기 상보적 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
바람직하게는,
상기 순환 생성적 적대 신경망(Cycle-GAN)은 상기 제1 픽셀 손실 함수 및 상기 제2 픽셀 손실 함수가 미리 결정된 기준 픽셀 손실 함수 값에 수렴하고, 상기 제1 순환 일관성 손실 함수(Cycle-Consistency Loss) 및 상기 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)가 미리 결정된 순환 일관성 손실 함수 값에 수렴하도록 학습될 때의 상기 제1 예측 합성 HSR 이미지 또는 상기 상보적 제1 예측 합성 HSR 이미지 또는 상기 제2 순환 예측 합성 HSR 이미지를 상기 결과 합성 HSR 이미지로 출력한다.
바람직하게는,
상기 순행 생성자 및 상기 역행 생성자는
상기 입력 합성 HSR 이미지의 크기를 감소시키고, 상기 입력 합성 HSR 이미지로부터 복수의 특징 맵(feature map)을 추출하는 인코더;
상기 특징 맵을 재조정(recalibration)하는 복수의 SE-잔차 블록(SE-residual block);
상기 인코더에서 감소된 상기 입력 합성 HSR 이미지의 크기를 복원하는 디코더;를 포함한다.
바람직하게는,
상기 순행 판별자 및 상기 역행 판별자는 패치(patch) 단위로 판별을 수행하는 패치 생성적 적대 신경망(Patch-GAN)의 아키텍처를 사용한다.
본 발명의 다른 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법은,
관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신하는 입력 데이터 수신 단계;
상기 입력 합성 HSR 이미지를 기초로 상기 관심 지역의 상기 제1 시간보다 미래의 시간인 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성하는 순환 생성적 적대 신경망 실행 단계; 및
상기 결과 합성 HSR 이미지를 상기 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력하는 출력 단계;를 포함한다.
바람직하게는,
상기 순환 생성적 적대 신경망은,
제1 순환 생성적 적대 신경망(Cycle-GAN) 및 상기 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 포함하고,
상기 제1 순환 생성적 적대 신경망과 상기 제2 순환 생성적 적대 신경망은 각각 시간적으로 순행하는 순행 이미지 매핑(mapping)과 시간적으로 역행하는 역행 이미지 매핑을 수행한다.
바람직하게는,
상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은,
순행 생성자(forward generator)를 이용하여 상기 제1 시간의 상기 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제1 예측 합성 HSR 이미지의 예측 매핑을 학습하는 순행 이미지 매핑 단계;
역행 생성자(backward generator)를 이용하여 상기 제2 시간의 상기 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 제1 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하는 역행 이미지 매핑 단계;
순행 판별자를 이용하여 상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 입력 합성 HSR 이미지와 상기 제1 예측 합성 HSR 이미지를 판별하는 순행 판별 단계; 및
역행 판별자를 이용하여 상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 제1 예측 합성 HSR 이미지와 상기 제1 순환 예측 합성 HSR 이미지를 판별하는 역행 판별 단계;를 실행한다.
바람직하게는,
상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은,
상기 역행 생성자를 이용하여 상기 제2 시간의 상기 제1 예측 합성 HSR 이미지에 제1 픽셀 손실 함수(pixel loss)가 적용된 상보적 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 상기 입력 합성 HSR 이미지에 대응하는 상보적 입력 합성 HSR 이미지의 예측 매핑을 학습하고, 상기 입력 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지는 제2 픽셀 손실 함수가 적용된 상보적 관계를 유지하고,
상기 순행 생성자를 이용하여 상기 제1 시간의 상기 상보적 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제2 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하고,
상기 순행 판별자를 이용하여 상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 입력 합성 HSR 이미지와 상기 제2 순환 예측 합성 HSR 이미지를 판별하고,
상기 역행 판별자를 이용하여 상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 제1 예측 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지를 판별하도록 구성된다.
바람직하게는,
상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은 제1 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지가 상기 입력 합성 HSR 이미지에 매칭되도록 학습되고,
상기 순행 판별자는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제1 예측 합성 HSR 이미지를 상기 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지를 상기 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
바람직하게는,
상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지가 상기 상보적 제1 예측 합성 HSR 이미지에 매칭되도록 학습되고,
상기 순행 판별자는 상기 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지를 상기 상보적 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 상보적 입력 합성 HSR 이미지를 상기 상보적 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
바람직하게는,
상기 순환 생성적 적대 신경망(Cycle-GAN)은 상기 제1 픽셀 손실 함수 및 상기 제2 픽셀 손실 함수가 미리 결정된 기준 픽셀 손실 함수 값에 수렴하고, 상기 제1 순환 일관성 손실 함수(Cycle-Consistency Loss) 및 상기 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)가 미리 결정된 순환 일관성 손실 함수 값에 수렴하도록 학습될 때의 상기 제1 예측 합성 HSR 이미지 또는 상기 상보적 제1 예측 합성 HSR 이미지 또는 상기 제2 순환 예측 합성 HSR 이미지를 상기 결과 합성 HSR 이미지로 출력한다.
바람직하게는,
상기 순행 생성자 및 상기 역행 생성자는
인코더를 이용하여 상기 입력 합성 HSR 이미지의 크기를 감소시키고, 상기 입력 합성 HSR 이미지로부터 복수의 특징 맵(feature map)을 추출하는 인코딩 단계;
복수의 SE-잔차 블록(SE-residual block)을 이용하여 상기 특징 맵을 재조정(recalibration)하는 재조정 단계;
디코더를 이용하여 상기 인코더에서 감소된 상기 입력 합성 HSR 이미지의 크기를 복원하는 디코딩 단계;를 실행하도록 구성된다.
바람직하게는,
상기 순행 판별자 및 상기 역행 판별자는 패치 생성적 적대 신경망(Patch-GAN)의 아키텍처를 사용하여 패치(patch) 단위로 판별을 수행하는 것을 특징으로 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법은 정성적 및 정량적 평가 모두에서 향상된 강수량 실황 예보를 가능하게 한다.
본 발명에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법은 픽셀 손실을 순환 생성적 적대 신경망에 적용함으로써 시간적 인과 관계에 대한 강건성을 확보할 수 있다.
다만, 본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템의 개략도를 도시한 도면이다.
도 2는 본 발명의 순환 생성적 적대 신경망의 학습을 위한 개략도를 도시한 도면이다.
도 3은 본 발명의 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 데이터의 생성을 설명하는 개략도이다.
도 4는 본 발명의 순행 생성자(forward generator)와 역행 생성자(backward generator)의 네트워크 아키텍처를 도시한 도면이다.
도 5는 본 발명의 순행 판별자(forward discriminator)와 역행 판별자(backward generator)의 네트워크 아키텍처를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법의 개략도를 도시한 도면이다.
도 7은 본 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법의 정성적 평가 결과를 보여주는 도면이다.
도 8은 본 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법의 정성적 평가 결과를 보여주는 표이다.
도 9는 본 발명의 다양한 실시예에 따른 장치 및/또는 시스템을 구현할 수 있는 예시적인 컴퓨팅 장치를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 구성들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서, 도면에서 예시된 구성들은 개략적인 속성을 가지며, 도면에서 예시된 구성들의 모양은 구성의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도면을 참조하여, 본 발명의 개념 및 이에 따른 실시예들에 대해 상세히 설명하기로 한다.
본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법은 두 도메인 간의 관계를 전단사(bijection)로 가정하는 순환 생성적 적대 신경망(CycleGAN)을 이용한다,
특별히, 순환 생성적 적대 신경망을 시계열적 도메인(time-series domain)으로 확장하여 적용함으로써 현재의 강수량 정보를 포함하는 이미지를 기초로 미래 시간의 강수량 정보를 포함하는 이미지를 예측할 수 있다.
순환 생성적 적대 신경망은 순환 일관성 손실을 사용하여 페어링되지 않은 이미지 대 이미지 변환을 가능하게 한다.
도 1은 본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템의 개략도를 도시한 도면이다.
본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템(100)은 입력부(110), 순환 생성적 적대 신경망(Cycle-GAN)(120) 및 출력부(130)를 포함한다.
입력부(110)는 관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신한다.
순환 생성적 적대 신경망(Cycle-GAN : Cycle-Generative Adversarial Network)(120)은 제1 순환 생성적 적대 신경망(Cycle-GAN ) 및 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 포함한다.
제1 순환 생성적 적대 신경망(Cycle-GAN) 및 제2 순환 생성적 적대 신경망을 이용하여 입력 합성 HSR 이미지를 기초로 관심 지역의 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성한다.
제2 시간은 제1 시간보다 미래의 시간이며, 일 예로서, 10분의 간격으로 최대 2시간까지 가능하다.
출력부(130)는 결과 합성 HSR 이미지를 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력한다.
제1 순환 생성적 적대 신경망과 제2 순환 생성적 적대 신경망은 각각 시간적으로 순행하는 순행 이미지 매핑(mapping)과 시간적으로 역행하는 역행 이미지 매핑을 수행하여 시간적 인관 관계를 보다 강건하게 할 수 있다.
도 2는 본 발명의 순환 생성적 적대 신경망의 학습을 위한 개략도를 도시한 도면이다.
명확하고 간결한 설명을 위해 순행 생성자(Generatorforward)(223-1, 223-2), 역행 생성자(Generatorbackward)(224-1, 224-2), 순행 판별자(Discriminator(ti+step))(225), 역행 판별자(Discriminator(ti))(226)를 각각 Gf, Gb, D(ti+step), D(ti)로 표기한다. 2개의 생성기(Gf 및 Gb)와 2 개의 판별기(D(ti+step) 및 D(ti))는 두개의 사이클(221, 222)을 통해 학습된다. Gf와 Gb는 입력 HSR로부터 다음 시간 단계와 이전 시간 단계의 합성 하이브리드 고도면 강수량 (HSR)을 각각 생성한다.
D(ti+step)는 Gf에 의해 생성된 가짜 HSR과 진짜 HSR를 판별한다. 마찬가지고, D(ti)는 Gb에서 생성된 가짜 HSR과 진짜 HSR를 판별한다.
사이클1 (Cycle 1)(221)은 진짜 HSR(ti)에서 한 단계(one-step) 가짜 미래 HSR(ti+step)fake를 생성하고, 생성된 가짜 미래 HSR(ti+step)fake로부터 다시 순환(cycled) HSR(ti)cycled를 생성한다.
정리하면,
Figure PCTKR2023001038-appb-img-000001
이다.
사이클(Cycle 2)(222)는 진짜 HSR(ti+step)으로부터 한 단계 가짜 과거 HSR(ti)fake를 생성하고, 생성된 가짜 과거 HSR(ti)fake로부터 다시 순환 HSR(ti+step)Cycled을 생성한다.
정리하면,
Figure PCTKR2023001038-appb-img-000002
이다.
도 2에 도시된 학습 모델의 최종 목표는 진짜, 가짜 및 순환 HSR을 동일하게 만드는 것이다.
정리하면, 학습 후에
Figure PCTKR2023001038-appb-img-000003
및
Figure PCTKR2023001038-appb-img-000004
가 되도록 하는 것이다.
제1 순환 생성적 적대 신경망(Cycle-GAN)(221)은 순행 생성자(forward generator)(223-1), 역행 생성자(backward generator)(224-1), 순행 판별자(forward discriminator)(225) 및 역행 판별자(backward discriminator)(226)를 포함한다.
순행 생성자(forward generator)(223-1)는 제1 시간의 입력 합성 HSR 이미지(250)를 기초로 제2 시간의 제1 예측 합성 HSR 이미지(252)의 예측 매핑을 학습한다.
제2 시간은 제1 시간보다 미래의 시간이다.
역행 생성자(backward generator)(224-1)는 제2 시간의 제1 예측 합성 HSR 이미지(252)를 기초로 제1 시간의 제1 순환 예측 합성 HSR 이미지(254)의 예측 매핑을 학습한다.
순행 판별자(forward discriminator)(225)는 순행 생성자(223-1)의 예측 매핑의 정확도를 평가하고, 입력 합성 HSR 이미지(250)와 제1 예측 합성 HSR 이미지(252)를 판별한다.
역행 판별자(backward discriminator)(226)는 역행 생성자(224-1)의 예측 매핑의 정확도를 평가하고, 제1 예측 합성 HSR 이미지(252)와 제1 순환 예측 합성 HSR 이미지(254)를 판별한다.
제2 순환 생성적 적대 신경망(Cycle-GAN)(222)은 역행 생성자(224-2), 순행 생성자(223-2), 순행 판별자(225) 및 역행 판별자(226)를 포함한다.
역행 생성자(224-2)는 제2 시간의 제1 예측 합성 HSR 이미지(252)에 제1 픽셀 손실 함수(pixel loss)(순행 픽셀 손실(pixel loss forward))가 적용된 상보적 제1 예측 합성 HSR 이미지(256)를 기초로 제1 시간의 입력 합성 HSR 이미지(250)에 대응하는 상보적 입력 합성 HSR 이미지(258)의 예측 매핑을 학습한다. 입력 합성 HSR 이미지(250)와 상보적 입력 합성 HSR 이미지(258)는 제2 픽셀 손실 함수(역행 픽셀 손실(pixel loss backward)가 적용된 상보적 관계를 갖는다.
순행 생성자(223-2)는 제1 시간의 상보적 입력 합성 HSR 이미지(258)를 기초로 제2 시간의 제2 순환 예측 합성 HSR 이미지(260)의 예측 매핑을 학습한다.
순행 판별자(225)는 순행 생성자(223-2)의 예측 매핑의 정확도를 평가하고, 상보적 입력 합성 HSR 이미지(258)와 제2 순환 예측 합성 HSR 이미지(260)를 판별한다.
역행 판별자(226)는 역행 생성자(224-2)의 예측 매핑의 정확도를 평가하고, 상보적 제1 예측 합성 HSR 이미지(256)와 상보적 입력 합성 HSR 이미지(258)를 판별한다.
본원 발명의 제1 순환 생성적 적대 신경망(Cycle-GAN)(221)의 순행 생성자(223-1)와 제2 순환 생성적 적대 신경망(Cycle-GAN)(222)의 순행 생성자(223-2)는 동일한 네트워크 아키텍처를 갖는다.
본원 발명의 제1 순환 생성적 적대 신경망(Cycle-GAN)(221)의 역행 생성자(224-1)와 제2 순환 생성적 적대 신경망(Cycle-GAN)(222)의 역행 생성자(224-2)는 동일한 네트워크 아키텍처를 갖는다.
일 실시예에 따른 본원 발명의 순행 생성자와 역행 생성자는 동일한 네트워크 아키텍처를 갖는다.
본원 발명의 제1 순환 생성적 적대 신경망(Cycle-GAN)(221)의 순행 판별자(225), 역행 판별자(226)와 제2 순환 생성적 적대 신경망(Cycle-GAN)(222)의 순행 판별자(225), 역행 판별자(226)는 동일한 네트워크 아키텍처를 갖는다.
일 실시예에 따른 본원 발명의 순행 판별자와 역행 판별자는 동일한 네트워크 아키텍처를 갖는다.
본원 발명의 제1 순환 생성적 적대 신경망(Cycle-GAN)(221)은 제1 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 제1 순환 예측 합성 HSR 이미지(254)가 입력 합성 HSR 이미지(250)에 매칭되도록 학습된다.
순행 판별자(225)는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 제1 예측 합성 HSR 이미지(252)를 입력 합성 HSR 이미지(250)로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
역행 판별자(226)는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 제1 순환 예측 합성 HSR 이미지(254)를 제1 예측 합성 HSR 이미지(252)로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
제2 순환 생성적 적대 신경망(Cycle-GAN)(222)은 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 제2 순환 예측 합성 HSR 이미지(260)가 상보적 제1 예측 합성 HSR 이미지(256)에 매칭되도록 학습된다.
순행 판별자(225)는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 제2 순환 예측 합성 HSR 이미지(260)를 상보적 입력 합성 HSR 이미지(258)로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
역행 판별자(226)는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상보적 입력 합성 HSR 이미지(258)를 상보적 제1 예측 합성 HSR 이미지(256)로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
순환 생성적 적대 신경망(Cycle-GAN)(120)은 제1 픽셀 손실 함수 및 제2 픽셀 손실 함수가 미리 결정된 기준 픽셀 손실 함수 값에 수렴하고, 제1 순환 일관성 손실 함수(Cycle-Consistency Loss) 및 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)가 미리 결정된 순환 일관성 손실 함수 값에 수렴하도록 학습될 때의 제1 예측 합성 HSR 이미지 또는 상보적 제1 예측 합성 HSR 이미지 또는 제2 순환 예측 합성 HSR 이미지를 결과 합성 HSR 이미지로 출력한다.
출력부(130)는 결과 합성 HSR 이미지를 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력한다.
도 2에 도시된 바와 같이 강수량 실황 예보를 위한 학습 모델은 2개의 사이클(Cycle 1, Cycle 2)로 구성되며 합성 하이브리드 고도면 강수량(HSR)을 입력 데이터로 사용한다. 도 2에 도시된 바와 같이 본 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템은 총 4개의 서로 다른 네트워크가 두 사이클로 학습된다.
순행 생성자(Generatorforward)와 역행 생성자 (Generatorbackward)는 각각 현재에서 미래로, 미래에서 현재로 이미지 매핑을 학습시킨다. 이미지 매핑을 수행함으로써 미래의 강수량 정보를 포함하는 이미지를 예측한다.
순행 판별기(ti+step)와 역행 판별기(ti)는 순행 생성자(Generatorforward)와 역행 생성자 (Generatorbackward)의 매핑 정확도를 평가한다.
모델에 대한 입력으로 사용되는 입력 데이터 HSRi는 수식 (1)과 같이 표시된다.
Figure PCTKR2023001038-appb-img-000005
여기서, ti는
Figure PCTKR2023001038-appb-img-000006
의 임의의 원소이고, 이산 시간의 산술 시퀀스이다 :
Figure PCTKR2023001038-appb-img-000007
및
Figure PCTKR2023001038-appb-img-000008
는 시간 ti에서 진짜 HSR 데이터를 나타낸다. 사이클 1은 알려진 현재의 강수량 정보를 기초로 미래의 강수량 정보를 예측하고, 예측된 미래 강수량 정보를 기초로 다시 현재의 강수량 정보를 예측하고, 수식 (2)와 같이 표시된다 :
Figure PCTKR2023001038-appb-img-000009
여기서, 아래 첨자 가짜(fake) 및 순환(cycled)은 각각 진짜(real)와 가짜(fake)로부터 생성된 데이터를 나타낸다. Gf 및 Gb는 도 2의 순행 생성자(Generatorforward)와 역행 생성자 (Generatorbackward)를 나타낸다.
알려진 미래에서 현재를 예측하고, 예측된 현재에서 다시 미래를 예측하는 사이클 2는 수식(3)과 같이 표시된다:
Figure PCTKR2023001038-appb-img-000010
수식(3)에서의 변수는 수식(2)에서의 변수와 같다. 추가하여,
순환 판별자(ti+step) 및 역행 판별자(ti)는 각각 D(ti+step)및 D(ti)로 표시된다.
따라서,
Figure PCTKR2023001038-appb-img-000011
및
Figure PCTKR2023001038-appb-img-000012
D(ti+step)및 D(ti)는 수식 (4) 내지 수식(7)과 같이 표현된다 :
Figure PCTKR2023001038-appb-img-000013
그리고
Figure PCTKR2023001038-appb-img-000014
,
Figure PCTKR2023001038-appb-img-000015
,
Figure PCTKR2023001038-appb-img-000016
및
Figure PCTKR2023001038-appb-img-000017
수식(8) 내지 수식(11)와 같이 표현된다 :
Figure PCTKR2023001038-appb-img-000018
본원 발명의 순환 생성적 적대 신경망은 HSRi를 입력으로 수신하고, 이를 HSR(ti)real 및 HSR(ti+step)real을 각각 사이클 1 및 사이클 2에 분배한다. 사이클 1과 사이클 2의 상보적인 최적화를 통해 학습 모델은 강력한 시간적 인과 관계(temporal causality)를 획득할 수 있다.
본원 발명의 순환 생성적 적대 신경망은 3 종류의 손실 함수 즉, 적대적 손실 함수(adversarial loss), 순환 일관성 손실 함수(cycle-consistency loss), 픽셀 손실 함수(pixel loss)를 적용함으로써 최적화될 수 잇다.
본원 발명의 순환 생성적 적대 신경망은 HSR(ti+step)real와 HSR(ti+step)fake의 분포를 일치시키기 위해 적대적 손실을 적용한다 (순행 적대적 손실).
마찬가지로 HSR(ti)real과 HSR(ti)fake의 분포를 일치시키기 위한 적대적 손실도 적용한다 (역행 적대적 손실).
본 발명은 LSGAN의 적대적 손실을 채택하고, 2개의 상보적인 사이클로 확장한다.
즉, 본원 발명의 순환 생성적 적대 신경의 적대적 손실은 수식(12) 내지 수식(15)와 같이 표현된다:
Figure PCTKR2023001038-appb-img-000019
여기서 p(ti+step) 및 p(ti)는 각각 HSR(ti+step)real 및 HSR(ti)real의 분포를 나타낸다.
본원 발명의 순환 생성적 적대 신경망은 순환 일관성 손실을 시계열 영역에 적용하여 시간적 인과 관계를 강건하게 하였다. 순환 일관성 손실은 수식 (16) 및 수식 (17)을 충족하는 데 사용된다.
Figure PCTKR2023001038-appb-img-000020
따라서, 순환 일관성 손실 함수는 수식 (18)과 같이 표현될 수 있다 :
Figure PCTKR2023001038-appb-img-000021
본원 발명의 순환 생성적 적대 신경망은 다음 조건을 만족시키기 위해 적대적 손실과 함께 픽셀 손실을 적용한다.
Figure PCTKR2023001038-appb-img-000022
수식 (19) 및 수식(20)을 만족시키기 위해, 픽셀 손실(순행(forward))
Figure PCTKR2023001038-appb-img-000023
및 픽셀 손실(역행)
Figure PCTKR2023001038-appb-img-000024
은 다음과 같다 :
Figure PCTKR2023001038-appb-img-000025
여기서, p(ti) 및 p(ti+step)는 각각 HSR(ti)real과 HSR(ti+step)real의 분포를 나타낸다.
성능 향상을 위해 종래의 순환 생성적 적대 신경망(CycleGAN)에서 추가로 채택한 아이덴티티 손실(identity loss)을 적용하였다. 그러나, 본원 발명에서는 아이덴티티 손실을 적용할 수 없는데, 왜냐하면, 시간적 인과 관계(temporal causality)를 깨기 때문이다. 예를 들어, 본원 발명의 선행 생성자(Gf)는 항상 현재에서 미래로의 매핑이어야 하지만, 아이덴티티 손실(identity loss)가 추가되면 현재에서 현재로의 매핑을 나타낼 수도 있다. 본원 발명은 아이덴티티 손실 대신 픽셀 손실을 추가하여 순행 생성자(Gf) 및 역행 생성자(Gb)가 시간적 변화를 캡처하는 것을 돕는다.
수식 (12)-(15), (18), (21), 및 (22)에 따라, 전체 목적 함수(objective function)는 다음과 같다 :
Figure PCTKR2023001038-appb-img-000026
여기서,
Figure PCTKR2023001038-appb-img-000027
및
Figure PCTKR2023001038-appb-img-000028
은 상대적 중요성을 제어한다. 목적 함수는 수식 (16), (17), (19) 및 (20)를 만족한다: 따라서, 다음 수식(27) 및 (28)의 최종 목표를 달성할 수 있다:
Figure PCTKR2023001038-appb-img-000029
수식 (27) 및 (28)의 목표는 사이클 1 및 사이클의 시간적 인과 관계를 보장한다.
도 3은 본 발명의 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 데이터의 생성을 설명하는 개략도이다.
도 3에 도시된 바와 같이 합성 하이브리드 고도면 강수량(HSR) 데이터는 기상 레이더(310)로부터 각 수평 거리에서 지면에 가장 근접하고 비기상 반향(echo) 및 빔 차단의 영향을 덜 받는 빔의 반사율을 선택한다. 비기상 반향에는 조류 반향, 지상 반향, 챠프(chaff) 반향 등이 포함되며, 이는 강수량 추정의 주요 장애물이다.
수집된 반사율 데이터는 지역적 특성을 고려한 반사율-강우량 방정식을 통해 HSR 데이터로 변환된다. HSR 데이터는 현재 한국의 기상예보에 활용되고 있다.
도 4는 본 발명의 순행 생성자(forward generator)와 역행 생성자(backward generator)의 네트워크 아키텍처를 도시한 도면이다.
일 실시예에 따른 본원 발명의 순행 생성자와 역행 생성자는 동일한 네트워크 아키텍처를 갖는다.
일 실시예에 따른 본원 발명의 순행 판별자와 역행 판별자는 동일한 네트워크 아키텍처를 갖는다.
순행 생성자(223) 및 역행 생성자(224)를 포함하는 생성자 네트워크(410)는 도 4에 도시된 바와 같이 구성될 수 있다.
생성자 네트워크(410)는 인코더(421), 복수의 SE-잔차 블록(SE-residual block)(423) 및 디코더(424)를 포함한다.
인코더(421)는 입력 합성 HSR 이미지의 크기를 감소시키고, 입력 합성 HSR 이미지로부터 복수의 특징 맵(feature map)을 추출한다.
SE-잔차 블록(SE-residual block)(423)는 복수개로 구성될 수 있고, 예를 들어, 16개의 잔차 블록을 포함할 수 있다. SE-잔차 블록(SE-residual block)(423)는 특징 맵을 재조정(recalibration)한다. SE-잔차 블록은 생성기 네트워크의 핵심 부분으로 잔차 블록과 SE-블록의 조합이다. 강건성을 위해 잔차 블록에 드롭아웃 계층(dropout layer)을 추가한다. 본원 발명은 소수의 잔여 블록을 사용하므로 원래 ResNet의 설계 정책에 따른 병목 블록을 사용하지 않는다.
디코더(424)는 인코더(421)에서 감소된 입력 합성 HSR 이미지의 크기를 복원한다. 출력 직전의 컨볼루션 계층(convolution layer)은 미세한 크기 조정(fine resizing)을 위한 것이고, tanh는 최종 활성화 함수로 사용된다.
도 5는 본 발명의 순행 판별자(forward discriminator)와 역행 판별자(backward generator)의 네트워크 아키텍처를 도시한 도면이다.
순행 판별자 및 역행 판별자는 패치(patch) 단위로 판별을 수행하는 패치 생성적 적대 신경망(Patch-GAN)의 아키텍처를 사용한다.
판별자 네트워크는 출력 데이터 패치가 진짜인지 가짜인지 분류한다. 패치 단위 판별자는 전체 데이터 판별자보다 가볍다. 일 실시예로서, 본 발명의 판별자 네트워크는 31 × 31 패치 크기를 사용한다. 입력 데이터의 크기에 따라 패치 크기를 유연하게 변경할 수 있음은 당업자에게 자명하다.
도 6은 본 발명의 일 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법의 개략도를 도시한 도면이다.
본 발명의 다른 실시예에 따른 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법(600)은 관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신하는 입력 데이터 수신 단계(S610)를 포함한다.
입력 합성 HSR 이미지를 기초로 관심 지역의 제1 시간보다 미래의 시간인 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성하는 순환 생성적 적대 신경망 실행 단계(S620)를 포함한다.
결과 합성 HSR 이미지를 상기 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력하는 출력 단계(S630)를 포함한다.
본원 발명의 순환 생성적 적대 신경망은 제1 순환 생성적 적대 신경망(Cycle-GAN) 및 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 포함한다.
순환 생성적 적대 신경망의 제1 순환 생성적 적대 신경망과 제2 순환 생성적 적대 신경망은 각각 시간적으로 순행하는 순행 이미지 매핑(mapping)과 시간적으로 역행하는 역행 이미지 매핑을 수행한다.
제1 순환 생성적 적대 신경망(Cycle-GAN)은,
순행 생성자(forward generator)를 이용하여 제1 시간의 입력 합성 HSR 이미지를 기초로 제2 시간의 제1 예측 합성 HSR 이미지의 예측 매핑을 학습하는 순행 이미지 매핑 단계;
역행 생성자(backward generator)를 이용하여 제2 시간의 제1 예측 합성 HSR 이미지를 기초로 제1 시간의 제1 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하는 역행 이미지 매핑 단계;
순행 판별자를 이용하여 순행 생성자의 예측 매핑의 정확도를 평가하고, 입력 합성 HSR 이미지와 제1 예측 합성 HSR 이미지를 판별하는 순행 판별 단계; 및
역행 판별자를 이용하여 역행 생성자의 예측 매핑의 정확도를 평가하고, 제1 예측 합성 HSR 이미지와 제1 순환 예측 합성 HSR 이미지를 판별하는 역행 판별 단계;를 실행한다.
제2 순환 생성적 적대 신경망(Cycle-GAN)은,
역행 생성자를 이용하여 제2 시간의 제1 예측 합성 HSR 이미지에 제1 픽셀 손실 함수(pixel loss)가 적용된 상보적 제1 예측 합성 HSR 이미지를 기초로 제1 시간의 입력 합성 HSR 이미지에 대응하는 상보적 입력 합성 HSR 이미지의 예측 매핑을 학습하고, 입력 합성 HSR 이미지와 상보적 입력 합성 HSR 이미지는 제2 픽셀 손실 함수가 적용된 상보적 관계를 유지하고,
순행 생성자를 이용하여 제1 시간의 상기 상보적 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제2 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하고,
순행 판별자를 이용하여 순행 생성자의 예측 매핑의 정확도를 평가하고, 상보적 입력 합성 HSR 이미지와 상기 제2 순환 예측 합성 HSR 이미지를 판별하고,
역행 판별자를 이용하여 역행 생성자의 예측 매핑의 정확도를 평가하고, 상보적 제1 예측 합성 HSR 이미지와 상보적 입력 합성 HSR 이미지를 판별하도록 구성된다.
제1 순환 생성적 적대 신경망(Cycle-GAN)은 제1 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 제1 순환 예측 합성 HSR 이미지가 입력 합성 HSR 이미지에 매칭되도록 학습된다.
순행 판별자는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 제1 예측 합성 HSR 이미지를 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 제1 순환 예측 합성 HSR 이미지를 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
제2 순환 생성적 적대 신경망(Cycle-GAN)은 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 제2 순환 예측 합성 HSR 이미지가 상보적 제1 예측 합성 HSR 이미지에 매칭되도록 학습된다.
순행 판별자는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 제2 순환 예측 합성 HSR 이미지를 상보적 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
*역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상보적 입력 합성 HSR 이미지를 상보적 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습된다.
순환 생성적 적대 신경망(Cycle-GAN)은 제1 픽셀 손실 함수 및 제2 픽셀 손실 함수가 미리 결정된 기준 픽셀 손실 함수 값에 수렴하고, 제1 순환 일관성 손실 함수(Cycle-Consistency Loss) 및 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)가 미리 결정된 순환 일관성 손실 함수 값에 수렴하도록 학습될 때의 제1 예측 합성 HSR 이미지 또는 상보적 제1 예측 합성 HSR 이미지 또는 제2 순환 예측 합성 HSR 이미지를 상기 결과 합성 HSR 이미지로 출력한다.
본원 발명의 순환 생성적 적대 신경망(Cycle-GAN)의 순행 생성자 및 상기 역행 생성자는,
*인코더를 이용하여 입력 합성 HSR 이미지의 크기를 감소시키고, 입력 합성 HSR 이미지로부터 복수의 특징 맵(feature map)을 추출하는 인코딩 단계;
복수의 SE-잔차 블록(SE-residual block)을 이용하여 특징 맵을 재조정(recalibration)하는 재조정 단계;
디코더를 이용하여 인코더에서 감소된 입력 합성 HSR 이미지의 크기를 복원하는 디코딩 단계;를 실행하도록 구성된다.
본원 발명의 순환 생성적 적대 신경망(Cycle-GAN)의 순행 판별자 및 역행 판별자는 패치 생성적 적대 신경망(Patch-GAN)의 아키텍처를 사용하여 패치(patch) 단위로 판별을 수행하는 것을 특징으로 한다.
도 7은 본 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법의 정성적 평가 결과를 보여주는 도면이다.
도 7은 정성적 평가를 위해 기존의 2개의 모델과 비교하였다. 첫번째는 QPF 모델인 MAPLE이다. 두번째는 RNN에 기반한 ConvLSTM이다.
두 모델은 모두 현재 기상 레이더 운영 체계에 사용되고 있으며 실생활에서 충분히 검증된 방법들이다.
정성적 평가를 위해 CSI를 메트릭(metric)로 사용한다.
도 7에 도시된 바와 같이 CSI 기반의 정성적 평가의 실험 결과에서 본원 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법이 모든 시점에서 가장 높은 점수를 보장하였다.
본원 발명의 방법의 CSI는 2시간의 리드 타임(lead time) 동안 기존의 두개의 모델의 CSI에 비해 상대적으로 균일하게 유지된 것을 확인할 수 있다.
특별히, 본원 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법은 MAPLE보다 레이더 에코의 소멸을 더 잘 예측했으며 ConvLSTM보다 레이더 에코의 세부 사항을 더 잘 예측하였다.
도 8은 본 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법의 정성적 평가 결과를 보여주는 표이다.
도 8에 도시된 표를 보면, 정량적 평가를 위해 PSNR과 SSIM을 메트릭으로 사용한다.
표 1에서 보는 바와 같이 제안하는 방법은 예측 첫 10분을 제외하고는 PSNR과 SSIM 모두에서 가장 좋은 점수를 받았다.
도 7과 도 8을 보면, 본 발명의 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법은 종래의 방법에 비해 CSI, PSNR 및 SSIM은 모두 더 높은 것을 확인할 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 장치 및/또는 시스템을 구현할 수 있는 예시적인 컴퓨팅 장치를 도시한 도면이다.
도 9를 참조하여 본 개시의 몇몇 실시예에 따른 장치들을 구현할 수 있는 예시적인 컴퓨팅 장치(900)를 보다 구체적으로 설명하기로 한다.
컴퓨팅 장치(900)는 하나 이상의 프로세서(910), 버스(950), 통신 인터페이스(970), 프로세서(910)에 의하여 수행되는 컴퓨터 프로그램(991)을 로드(load)하는 메모리(930)와, 컴퓨터 프로그램(991)을 저장하는 스토리지(990)를 포함할 수 있다. 다만, 도 9에는 본 개시의 실시예와 관련 있는 구성 요소들 만이 도시되어 있다.
따라서, 본 개시가 속한 기술분야의 통상의 기술자라면 도 9에 도시된 구성 요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(910)는 컴퓨팅 장치(900)의 각 구성의 전반적인 동작을 제어한다. 프로세서(910)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 개시의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(910)는 본 개시의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(900)는 하나 이상의 프로세서를 구비할 수 있다. 컴퓨팅 장치(900)는 인공지능(AI)을 지칭할 수 있다.
메모리(930)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(930)는 본 개시의 실시예들에 따른 방법을 실행하기 위하여 스토리지(990)로부터 하나 이상의 프로그램(991)을 로드 할 수 있다. 메모리(930)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(950)는 컴퓨팅 장치(900)의 구성 요소 간 통신 기능을 제공한다. 버스(950)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(970)는 컴퓨팅 장치(900)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(970)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(970)는 본 개시의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
몇몇 실시예들에 따르면, 통신 인터페이스(970)는 생략될 수도 있다.
스토리지(990)는 하나 이상의 프로그램(991)과 각종 데이터를 비임시적으로 저장할 수 있다.
스토리지(990)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(991)은 메모리(930)에 로드 될 때 프로세서(910)로 하여금 본 개시의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 명령들을 포함할 수 있다. 즉, 프로세서(910)는 상기 하나 이상의 명령들을 실행함으로써, 본 개시의 다양한 실시예에 따른 방법/동작들을 수행할 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (18)

  1. 관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신하는 입력부;
    상기 입력 합성 HSR 이미지를 기초로 상기 관심 지역의 상기 제1 시간보다 미래의 시간인 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성하는 순환 생성적 적대 신경망(Cycle-GAN); 및
    상기 결과 합성 HSR 이미지를 상기 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력하는 출력부;를 포함하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  2. 청구항 1에 있어서,
    상기 순환 생성적 적대 신경망(Cycle-GAN)은,
    제1 순환 생성적 적대 신경망(Cycle-GAN : Cycle-Generative Adversarial Network) 및 상기 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 포함하고,
    상기 제1 순환 생성적 적대 신경망과 상기 제2 순환 생성적 적대 신경망은 각각 시간적으로 순행하는 순행 이미지 매핑(mapping)과 시간적으로 역행하는 역행 이미지 매핑을 수행하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  3. 청구항 2에 있어서,
    상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은,
    상기 제1 시간의 상기 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제1 예측 합성 HSR 이미지의 예측 매핑을 학습하는 순행 생성자(forward generator);
    상기 제2 시간의 상기 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 제1 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하는 역행 생성자(backward generator);
    상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 입력 합성 HSR 이미지와 상기 제1 예측 합성 HSR 이미지를 판별하는 순행 판별자; 및
    상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 제1 예측 합성 HSR 이미지와 상기 제1 순환 예측 합성 HSR 이미지를 판별하는 역행 판별자(backward discriminator);를 포함하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  4. 청구항 3에 있어서,
    상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은,
    상기 역행 생성자를 이용하여 상기 제2 시간의 상기 제1 예측 합성 HSR 이미지에 제1 픽셀 손실 함수(pixel loss)가 적용된 상보적 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 상기 입력 합성 HSR 이미지에 대응하는 상보적 입력 합성 HSR 이미지의 예측 매핑을 학습하고, 상기 입력 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지는 제2 픽셀 손실 함수가 적용된 상보적 관계를 갖고,
    상기 순행 생성자를 이용하여 상기 제1 시간의 상기 상보적 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제2 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하고,
    상기 순행 판별자를 이용하여 상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 입력 합성 HSR 이미지와 상기 제2 순환 예측 합성 HSR 이미지를 판별하고,
    상기 역행 판별자를 이용하여 상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 제1 예측 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지를 판별하도록 구성된, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  5. 청구항 4에 있어서,
    상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은 제1 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지가 상기 입력 합성 HSR 이미지에 매칭되도록 학습되고,
    상기 순행 판별자는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제1 예측 합성 HSR 이미지를 상기 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
    상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지를 상기 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  6. 청구항 5에 있어서,
    상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지가 상기 상보적 제1 예측 합성 HSR 이미지에 매칭되도록 학습되고,
    상기 순행 판별자는 상기 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지를 상기 상보적 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
    상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 상보적 입력 합성 HSR 이미지를 상기 상보적 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  7. 청구항 6에 있어서,
    상기 순환 생성적 적대 신경망(Cycle-GAN)은 상기 제1 픽셀 손실 함수 및 상기 제2 픽셀 손실 함수가 미리 결정된 기준 픽셀 손실 함수 값에 수렴하고, 상기 제1 순환 일관성 손실 함수(Cycle-Consistency Loss) 및 상기 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)가 미리 결정된 순환 일관성 손실 함수 값에 수렴하도록 학습될 때의 상기 제1 예측 합성 HSR 이미지 또는 상기 상보적 제1 예측 합성 HSR 이미지 또는 상기 제2 순환 예측 합성 HSR 이미지를 상기 결과 합성 HSR 이미지로 출력하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  8. 청구항 3에 있어서,
    상기 순행 생성자 및 상기 역행 생성자는
    상기 입력 합성 HSR 이미지의 크기를 감소시키고, 상기 입력 합성 HSR 이미지로부터 복수의 특징 맵(feature map)을 추출하는 인코더;
    상기 특징 맵을 재조정(recalibration)하는 복수의 SE-잔차 블록(SE-residual block);
    상기 인코더에서 감소된 상기 입력 합성 HSR 이미지의 크기를 복원하는 디코더;를 포함하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  9. 청구항 8에 있어서,
    상기 순행 판별자 및 상기 역행 판별자는 패치(patch) 단위로 판별을 수행하는 패치 생성적 적대 신경망(Patch-GAN)의 아키텍처를 사용하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템.
  10. 관심 지역의 제1 시간의 강수량 정보를 포함하는 입력 합성 하이브리드 고도면 강수량(HSR : hybrid surface rainfall) 이미지를 수신하는 입력 데이터 수신 단계;
    상기 입력 합성 HSR 이미지를 기초로 상기 관심 지역의 상기 제1 시간보다 미래의 시간인 제2 시간의 강수량 정보를 포함하는 결과 합성 HSR 이미지를 생성하는 순환 생성적 적대 신경망 실행 단계; 및
    상기 결과 합성 HSR 이미지를 상기 관심 지역의 실황 예보(Nowcasting) 이미지로서 출력하는 출력 단계;를 포함하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  11. 청구항 10에 있어서,
    상기 순환 생성적 적대 신경망은,
    제1 순환 생성적 적대 신경망(Cycle-GAN) 및 상기 제1 순환 생성적 적대 신경망에 상보적인 제2 순환 생성적 적대 신경망을 포함하고,
    상기 제1 순환 생성적 적대 신경망과 상기 제2 순환 생성적 적대 신경망은 각각 시간적으로 순행하는 순행 이미지 매핑(mapping)과 시간적으로 역행하는 역행 이미지 매핑을 수행하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  12. 청구항 11에 있어서,
    상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은,
    순행 생성자(forward generator)를 이용하여 상기 제1 시간의 상기 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제1 예측 합성 HSR 이미지의 예측 매핑을 학습하는 순행 이미지 매핑 단계;
    역행 생성자(backward generator)를 이용하여 상기 제2 시간의 상기 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 제1 순환 예측 합성 HSR 이미지의 예측 매핑을 학습하는 역행 이미지 매핑 단계;
    순행 판별자를 이용하여 상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 입력 합성 HSR 이미지와 상기 제1 예측 합성 HSR 이미지를 판별하는 순행 판별 단계; 및
    역행 판별자를 이용하여 상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 제1 예측 합성 HSR 이미지와 상기 제1 순환 예측 합성 HSR 이미지를 판별하는 역행 판별 단계;를 실행하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  13. 청구항 12에 있어서,
    상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은,
    상기 역행 생성자를 이용하여 상기 제2 시간의 상기 제1 예측 합성 HSR 이미지에 제1 픽셀 손실 함수(pixel loss)가 적용된 상보적 제1 예측 합성 HSR 이미지를 기초로 상기 제1 시간의 상기 입력 합성 HSR 이미지에 대응하는 상보적 입력 합성 HSR 이미지의 예측 매핑을 학습하고, 상기 입력 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지는 제2 픽셀 손실 함수가 적용된 상보적 관계를 유지하고,
    상기 순행 생성자를 이용하여 상기 제1 시간의 상기 상보적 입력 합성 HSR 이미지를 기초로 상기 제2 시간의 제2 순환 예측 합성 HSR 이미지를 예측 매핑을 학습하고,
    상기 순행 판별자를 이용하여 상기 순행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 입력 합성 HSR 이미지와 상기 제2 순환 예측 합성 HSR 이미지를 판별하고,
    상기 역행 판별자를 이용하여 상기 역행 생성자의 예측 매핑의 정확도를 평가하고, 상기 상보적 제1 예측 합성 HSR 이미지와 상기 상보적 입력 합성 HSR 이미지를 판별하도록 구성된, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  14. 청구항 13에 있어서,
    상기 제1 순환 생성적 적대 신경망(Cycle-GAN)은 제1 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지가 상기 입력 합성 HSR 이미지에 매칭되도록 학습되고,
    상기 순행 판별자는 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제1 예측 합성 HSR 이미지를 상기 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
    상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 제1 순환 예측 합성 HSR 이미지를 상기 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  15. 청구항 14에 있어서,
    상기 제2 순환 생성적 적대 신경망(Cycle-GAN)은 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지가 상기 상보적 제1 예측 합성 HSR 이미지에 매칭되도록 학습되고,
    상기 순행 판별자는 상기 순행 적대적 손실 함수(forward Adversarial Loss)를 적용하여 상기 제2 순환 예측 합성 HSR 이미지를 상기 상보적 입력 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되고,
    상기 역행 판별자는 역행 적대적 손실 함수(backward Adversarial Loss)를 적용하여 상기 상보적 입력 합성 HSR 이미지를 상기 상보적 제1 예측 합성 HSR 이미지로 오인하여 판단할 수 있는 확률을 높이도록 학습되는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  16. 청구항 15에 있어서,
    상기 순환 생성적 적대 신경망(Cycle-GAN)은 상기 제1 픽셀 손실 함수 및 상기 제2 픽셀 손실 함수가 미리 결정된 기준 픽셀 손실 함수 값에 수렴하고, 상기 제1 순환 일관성 손실 함수(Cycle-Consistency Loss) 및 상기 제2 순환 일관성 손실 함수(Cycle-Consistency Loss)가 미리 결정된 순환 일관성 손실 함수 값에 수렴하도록 학습될 때의 상기 제1 예측 합성 HSR 이미지 또는 상기 상보적 제1 예측 합성 HSR 이미지 또는 상기 제2 순환 예측 합성 HSR 이미지를 상기 결과 합성 HSR 이미지로 출력하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  17. 청구항 12에 있어서,
    상기 순행 생성자 및 상기 역행 생성자는,
    인코더를 이용하여 상기 입력 합성 HSR 이미지의 크기를 감소시키고, 상기 입력 합성 HSR 이미지로부터 복수의 특징 맵(feature map)을 추출하는 인코딩 단계;
    복수의 SE-잔차 블록(SE-residual block)을 이용하여 상기 특징 맵을 재조정(recalibration)하는 재조정 단계;
    디코더를 이용하여 상기 인코더에서 감소된 상기 입력 합성 HSR 이미지의 크기를 복원하는 디코딩 단계;를 실행하도록 구성된, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
  18. 청구항 17에 있어서,
    상기 순행 판별자 및 상기 역행 판별자는 패치 생성적 적대 신경망(Patch-GAN)의 아키텍처를 사용하여 패치(patch) 단위로 판별을 수행하는 것을 특징으로 하는, 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 방법.
PCT/KR2023/001038 2022-11-25 2023-01-20 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법 WO2024111747A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220160458 2022-11-25
KR10-2022-0160458 2022-11-25
KR1020230003325A KR102565747B1 (ko) 2022-11-25 2023-01-10 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법
KR10-2023-0003325 2023-01-10

Publications (1)

Publication Number Publication Date
WO2024111747A1 true WO2024111747A1 (ko) 2024-05-30

Family

ID=87565793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001038 WO2024111747A1 (ko) 2022-11-25 2023-01-20 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102565747B1 (ko)
WO (1) WO2024111747A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830340A (zh) * 2024-01-04 2024-04-05 中南大学 一种探地雷达目标特征分割方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860975A (zh) * 2020-06-30 2020-10-30 中国地质大学（武汉） 一种基于生成对抗网络的临近降雨预测方法
KR102175179B1 (ko) * 2020-08-13 2020-11-10 대한민국(기상청 국립기상과학원장) 인공지능 기법을 활용한 공백 지역 레이더 합성장 정보 생성 시스템 및 방법
KR20210028992A (ko) * 2019-09-05 2021-03-15 포항공과대학교 산학협력단 생성적 적대 신경망을 이용한 태풍의 경로 예측 방법
KR20210115832A (ko) * 2020-03-16 2021-09-27 한국전자통신연구원 시계열 데이터 예측 모델 학습 방법 및 장치, 그리고 이를 이용한 시계열 데이터 예측 장치
KR102457470B1 (ko) 2021-11-08 2022-10-21 주식회사 윈드위시 영상 분석을 이용한 인공지능 기반 강수 판단장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102196719B1 (ko) * 2019-04-09 2020-12-30 (주)에이아이엠컴 인공지능을 이용하여 해외유입미세먼지가 국내 미세먼지 농도에 미치는 영향을 분석하는 미세먼지측정 및 예보시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210028992A (ko) * 2019-09-05 2021-03-15 포항공과대학교 산학협력단 생성적 적대 신경망을 이용한 태풍의 경로 예측 방법
KR20210115832A (ko) * 2020-03-16 2021-09-27 한국전자통신연구원 시계열 데이터 예측 모델 학습 방법 및 장치, 그리고 이를 이용한 시계열 데이터 예측 장치
CN111860975A (zh) * 2020-06-30 2020-10-30 中国地质大学（武汉） 一种基于生成对抗网络的临近降雨预测方法
KR102175179B1 (ko) * 2020-08-13 2020-11-10 대한민국(기상청 국립기상과학원장) 인공지능 기법을 활용한 공백 지역 레이더 합성장 정보 생성 시스템 및 방법
KR102457470B1 (ko) 2021-11-08 2022-10-21 주식회사 윈드위시 영상 분석을 이용한 인공지능 기반 강수 판단장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG MYUNGSEOK, KIM WONSU; JANG DONGMIN; PARK SUNG WON: "Construction of a Spatio-Temporal Dataset for Deep Learning-Based Precipitation Nowcasting", JOURNAL OF INFORMATION SCIENCE THEORY AND PRACTICE, vol. 10, no. special, 20 June 2022 (2022-06-20), pages 135 - 142, XP093173790, DOI: 10.1633/JISTaP.2022.10.S.13 *

Also Published As

Publication number Publication date
KR102565747B1 (ko) 2023-08-11

Similar Documents

Publication Publication Date Title
WO2020190112A1 (en) Method, apparatus, device and medium for generating captioning information of multimedia data
WO2020197241A1 (en) Device and method for compressing machine learning model
WO2020138624A1 (en) Apparatus for noise canceling and method for the same
WO2020080698A1 (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
WO2024111747A1 (ko) 순환 생성적 적대 신경망 확장에 기반한 지역별 강수량 실황 예보 시스템 및 방법
WO2017222140A1 (ko) Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
WO2019009491A1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
WO2017014585A1 (ko) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2022065811A1 (en) Multimodal translation method, apparatus, electronic device and computer-readable storage medium
WO2020101108A1 (ko) 인공지능 모델 플랫폼 및 인공지능 모델 플랫폼 운영 방법
WO2019135621A1 (ko) 영상 재생 장치 및 그의 제어 방법
WO2014025188A1 (ko) 풍력 밀도 예측 방법
WO2020111676A1 (ko) 음성 인식 장치 및 방법
WO2019074339A1 (ko) 신호 변환 시스템 및 신호 변환 방법
WO2022154457A1 (en) Action localization method, device, electronic equipment, and computer-readable storage medium
WO2020242260A1 (ko) 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
WO2019009452A1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
WO2020091253A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2021230449A1 (ko) 연합 학습을 위한 전자 장치를 제어하는 방법 및 디바이스
WO2021107695A1 (en) Method, device and electronic apparatus for transmitting and receiving speech signal
WO2023068821A1 (ko) 자기-지도 학습 기반의 다중 객체 추적 장치 및 방법
WO2022225375A1 (ko) 병렬처리 파이프라인을 이용한 다중 dnn 기반 얼굴 인식 방법 및 장치
WO2022065981A1 (ko) 동영상 처리 장치 및 방법
WO2022145590A1 (ko) 피분석물의 크로마토그래피 분석 시 머무름 시간 예측 장치 및 방법
WO2022131655A1 (ko) 영상 처리 장치 및 이에 의한 멀티 프레임의 처리 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023712138

Country of ref document: EP

Effective date: 20230330