KR102489473B1

KR102489473B1 - 인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법 및 시스템

Info

Publication number: KR102489473B1
Application number: KR1020200182701A
Authority: KR
Inventors: 김진아; 권민호; 김성대; 김재일; 김민기
Original assignee: 한국해양과학기술원
Priority date: 2020-12-24
Filing date: 2020-12-24
Publication date: 2023-01-17
Anticipated expiration: 2040-12-24
Also published as: KR20220091714A

Abstract

인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 통해 예측의 근거 또는 이유를 함께 제공하는 기후 지수 예측 방법 및 시스템이 개시된다. 기후 지수 예측 방법은, 합성곱에 기반한 잔차 학습 신경망에 전 지구의 해수면 온도(SST)와 해수 열용량(HC) 데이터를 입력하는 단계; 상기 신경망에서 상기 SST 및 HC 데이터로부터 관심 대상인 타겟 지역의 관심 기간에 해당하는 소정 기후 지수(climate indices)를 예측하고, 상기 기후 지수의 예측값을 시간적 또는 공간적으로 평균화하여 특징을 추출하며, 관측된 기후 지수와 추론을 통해 예측된 기후 지수 사이의 오차가 최소화되도록 반복 추론을 수행하는 단계; 상기 신경망의 학습 가중치를 포함하는 완전 연결 레이어 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃 기법을 활용하여, 반복 추론을 통해 예측된 기후 지수 결과의 편차를 연산하여 불확실성을 계산하는 단계; 계층별 관련도 전파 (LRP) 기법을 활용하여 상기 기후 지수를 상기 잔차 학습 신경망의 각 계층별로 재분배함으로써, 입력된 SST 및 HC 데이터의 상기 기후 지수에 대한 기여도 맵을 반복 추론마다 획득하고, 획득된 기여도 맵의 평균으로서 최종 기여도 맵을 계산하는 단계를 포함한다. 본 발명에 의하여, 기후 지수의 예측된 결과의 불확실성과 함께 기여도 맵을 제공함으로써, 예측에 대한 근거 또는 이유를 직관적으로 분석하여 활용할 수 있다.

Description

인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법 및 시스템{Method and system for predicting climate indices using artificial intelligence model capable of providing uncertainty and relevance for climate index prediction result}

본 발명은 전 지구의 해수면 온도 등의 입력 데이터에 기반하여 특정 지역의 기후 지수를 예측하기 위한 기술에 관한 것으로서, 특히 인공 지능 모델을 이용하여 기후 지수를 예측하고, 예측된 기후 지수 예측 결과에 대한 불확실성과 기여도 제공을 통한 예측의 근거를 기후 지수 예측 결과와 함께 제공하는 기후 지수 예측 방법 및 시스템에 관한 것이다.

지구 환경이란 대기권, 수권, 암석권, 생물권, 빙권 등 지구 환경을 구성하는 하나 이상의 자연환경 요소를 지칭한다. 급변하는 지구 환경에 대한 피해가 급증하고 있어서 이를 과학적으로 예측하여 그 결과를 얻기 위한 지구 변화 예측 시스템이 개발되어 왔다. 이러한 지구 환경 요소는 이를 대상으로 한 실험이 매우 제한적이거나 불가능하여 주로 컴퓨터를 기반으로 지구 환경 요소를 지배하는 자연 법칙을 나타내는 물리역학 방정식에 관측 또는 실험값들을 대입하여 지구 환경 변화에 대한 수치 예측 모델 결과를 얻고 있다. 즉, 이러한 기후 변화 예측 연구에 활용되는 수치 모델은, 3차원적 공간의 대기의 기상 변화를 시간의 흐름에 따라 모델링하여, 미래의 기후 변화를 예측하고 대응하기 위해 활용되고 있다.

전지구 기후 모형들은 세계 각지에서 이상 기상을 발생시켜 국제 사회에 큰 영향을 주는 태평양의 엘니뇨/라니냐와 같은 태평양 열대 수역의 해수 온도의 평균 상태를 모의함에 있어서도 다양한 형태로 나타나고 있으며 모형에 따라서 서로 반대되는 패턴을 예측하기도 한다.

특히, 적도 부근 동태평양 해수면 온도가 평년대비 높아지거나 낮아지는 기후변동 현상을 엘니뇨 또는 라니냐라고 하며, 엘니뇨/라니냐가 강하게 발달하는 경우 홍수, 가뭄, 폭염, 한파, 수퍼태풍 등 고영향 극한 현상 또는 이상기후 현상이 나타날 가능성이 높아 엘니뇨의 사전예측은 매우 중요하다. 엘니뇨/라니냐는 열대 동태평양 전반에 걸친 대규모 해양-대기 상호작용 현상의 결과로 전 지구적 기후에 큰 영향을 미치며, 엘니뇨/라니냐 발생에 다양한 역학적 원인이 연구되고 있으나 근본적인 발생 원인이 뚜렷하지 않아 여전히 연구 중이다.

그런데, 이러한 지구 환경 변화는 주로 대규모로 발생하므로 이를 수치 예측 모델을 이용하여 사용자가 원하는 수준의 고해상도 결과로 얻기 위해서는 많은 연산을 필요로 한다. 또한, 지역 기후 모델을 포함한 수치 모델들의 기상 및 기후에 대한 예측 수준은 일반적으로 사용 모델, 시·공간 해상도, 물리 과정 조합, 계절, 지리적 위치, 사용 경계 조건 등 모델의 모의환경에 따라 매우 상이하다. 특히, 전지구 기후 시스템은 수많은 물리적, 역학적 과정의 상호 작용으로 이루어져 있으며 다양한 인자들의 변화에 대한 예측 범위가 크기 때문에 미래 기후 예측의 불확실성이 클 수밖에 없다.

더욱이, 상기한 바와 같은 한계를 갖는 기후 및 기상 수치 모델을 통해 북서태평양 해수면 온도의 변동성을 진단하고자 할 경우, 태평양의 수십년 진동(PDO), 북태평양 진동(NPO), 알류샨 저기압(AL), 시베리아 고기압(SH), 북태평양 환류진동(NPGO), ENSO(동태평양 ENSO(NINO3), 중앙태평양 ENSO(NINO4)) 등의 기후 지수들을 함께 고려해야 하므로 기후 예측의 불확실성은 더욱 커진다.

대한민국 특허 공개 번호 제 10-2013-089924 (공개일 2013년 8월 13일, 발명의 명칭 "기후 변화 예측 수치 모델을 이용한 기후 변화 콘텐츠 생성방법 및 시스템")은, 기후 변화 예측 수치 모델을 활용하여 수치 모델로부터 시각화 표출을 위한 변수를 추출하고 시각화 표출을 위한 수식의 적용을 통해 콘텐츠로서 변환하여 일반인들도 쉽게 이용할 수 있도록 배포할 수 있는 콘텐츠 제공 방법 및 시스템을 개시한다.

그러나, 이와 같은 전지구 기후 모형을 통한 기후 시스템의 모의는 복합적으로 이루어지기 때문에 여전히 많은 불확실성을 내포하여 전지구 기후 모형은 현재의 기후를 완벽하게 모의하지 못하고 있다.

그러므로, 기존의 다양한 물리 역학 기반 엘니뇨 예측 모델들은 평균 6개월에서 12개월 정도의 예측 한계가 있으나, 최근에는 인공 지능 기술을 활용하여 최장 18개월의 기후 지수 예측이 가능한 인공 지능 모델이 개발되어 왔다.

그러나, 이와 같은 기후 예측은 기후 환경, 나아가 사회경제학적으로 큰 영향을 미치는 분야이지만, 딥러닝 모델의 신경망과 사용되는 파라미터가 많아 내부 계산 과정을 직관적으로 이해하기 힘들다. 따라서, 인공 지능 기술이 올바른 판단을 내렸는지 신뢰할 수 있도록 인공 지능이 내린 결정에 대한 판단 근거를 제공하고 사람이 이해하고 납득할 수 있는 설명을 생성하는 기술을 설명가능 인공 지능 기술이라고 하며 인공 지능의 적용분야가 산업 및 사회 전반으로 확대되고, 모델의 복잡도와 규모가 증가함에 따라 해당 기술의 필요성이 더욱 강조되고 있다.

그러므로, 엘니뇨와 같은 기후 지수를 인공 지능 모델을 활용하여 예측하는 것은 물론, 예측된 결과의 불확실성과 함께 기여도 맵을 함께 제공함으로써, 예측 결과의 근거 또는 이유를 직관적으로 분석하여 활용할 수 있도록 하는 기술이 절실히 요구된다.

대한민국 특허 공개 번호 제 10-2013-089924 (공개일 2013년 8월 13일, 발명의 명칭 "기후 변화 예측 수치 모델을 이용한 기후 변화 콘텐츠 생성방법 및 시스템")

본 발명의 목적은 딥러닝 기반 인공 지능 모델의 예측 결과의 불확실성을 예측 결과와 함께 제공함으로써 엘니뇨/라니냐와 같은 기후 지수의 예측을 위해 사용되는 딥러닝 기반 인공 지능 모델의 예측 결과의 신뢰도를 설명할 수 있는 설명가능 인공 지능 기술을 제공하는 것이다.

본 발명의 다른 목적은, 예측에 사용된 입력의 기여도를 부여하여 중요한 특성을 추출함으로써 기후 지수의 예측 결과가 나오게 된 과정을 설명하고, 복수의 입력 특성에 대해 그 특성이 출력에 대해 가지는 영향 또는 기여도를 정량적으로 분석하는 예측 결과에 대한 근거 또는 이유를 불확실성과 기여도 제공을 통해 제공하는 기후 지수 예측 방법을 제공하는 것이다.

상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법에 관한 것이다. 본 발명에 의한 기후 지수 예측 방법은, 합성곱에 기반한 잔차 학습 신경망에 전 지구의 해수면 온도(sea surface temperature; SST)와 해수 열용량(heat contents; HC) 데이터를 입력하는 단계; 상기 신경망에서 상기 SST 및 HC 데이터로부터 관심 대상인 타겟 지역의 관심 기간에 해당하는 소정 기후 지수(climate index)를 예측하고, 상기 기후 지수의 예측값을 시간적 또는 공간적으로 평균화하여 특징을 추출하며, 관측된 기후 지수와 추론을 통해 예측된 기후 지수 사이의 오차가 최소화되도록 반복 추론을 수행하는 단계; 상기 신경망의 학습 가중치를 포함하는 완전 연결 레이어(fully-connected layer) 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃(Monte-carlo dropout) 기법을 활용하여, 반복 추론을 통해 예측된 기후 지수 결과의 편차를 연산하여 불확실성(uncertainty)을 계산하는 단계; 계층별 관련도 전파 (layer-wise relevance propagation; LRP) 기법을 활용하여 상기 기후 지수를 상기 잔차 학습 신경망의 각 계층별로 재분배함으로써, 입력된 SST 및 HC 데이터의 상기 기후 지수에 대한 기여도 맵(relevance map)을 반복 추론마다 획득하고, 획득된 기여도 맵의 평균으로서 최종 기여도 맵을 계산하는 단계; 및 상기 기후 지수와 함께 상기 불확실성 및 최종 기여도 맵을 제공하는 단계를 포함한다. 특히, 상기 해수면 온도와 해수 열용량 데이터를 입력하는 단계는, 전지구의 해수면 상태를 관찰 기간 및 관찰 영역별로 분리하여 관찰하는 관찰 윈도우를 설정하는 것; 상기 관찰 윈도우에 해당하는 SST 맵 및 HC 맵을 구성하는 것; 및 구성된 SST 맵 및 HC 맵을 시공간 행렬로 조합하는 것을 포함한다. 또한, 상기 SST 맵 및 HC 맵은, 상기 관찰 윈도우에 해당하는 데이터의 최대값, 최소값, 평균, 및 표준 편차 중 적어도 하나를 사용하여 정규화된다. 더 나아가, 상기 반복 추론을 수행하는 단계는, (1, 1, 1) 커널 사이즈를 사용하는 합성곱 레이어를 적용하여 학습되는 특징의 수를 증가시키는 것; Leaky relu를 포함하는 비선형 변환을 위한 활성화 함수 및 소정 커널 사이즈를 사용하는 합성곱 레이어를 두 번 적용하는 잔차 학습 경로에서 잔차를 학습하는 것; 및 잔차 학습 경로의 출력을 다운샘플링하여 상기 기후 지수를 포함하는 특징 맵을 추출하는 것을 포함하고, 특징 맵은 (시간, 위도, 경도) 차원으로서 정의되는 것을 특징으로 한다. 바람직하게는, 상기 특징 맵은, 상기 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (1, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵의 공간 해상도를 감소시킴으로써 추출될 수 있다. 또는, 상기 특징 맵은, 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (2, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵을 시공간적으로 압축함으로써 추출될 수 있다. 더 나아가, 상기 커널 사이즈, 상기 잔차 학습 경로에 포함되는 잔차 학습 모듈의 개수, 및 상기 완전 연결 레이어의 개수는 상기 SST 및 HC 데이터의 크기 및 상기 관찰 윈도우의 길이에 따라 변경될 수 있다. 더 나아가, 상기 드롭아웃 레이어에 적용되는 드롭아웃 레이트는 고정되고, 상기 드롭아웃 레이트는 베이지안 최적화(Bayesian optimization) 및 격자 검색(grid search) 중 적어도 하나를 사용하거나 실험적으로 학습되는 것을 특징으로 한다. 특히, 상기 최종 기여도 맵을 계산하는 단계는, 순방향 전파를 통해 기후 지수의 예측값을 계산하는 것, 상기 신경망의 마지막 레이어로부터 순방향으로 전파할 기여도를 계산하는 것, 상기 순방향 전파에 해당하는 그레디언트를 계산하는 것, 및 역방향 전파를 통해 전파된 그레디언트 및 특징 값으로부터 기여도를 계산하는 것을 포함한다. 상기 기후 지수는 해수면 온도, 엘니뇨, 라니냐, Nino3.4 기후 지수 중 적어도 하나를 포함할 수 있다.

상기와 같은 목적들을 달성하기 위한 본 발명의 다른 면은, 인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템에 관한 것이다. 본 발명에 의한 기후 지수 예측 시스템은, 합성곱에 기반한 잔차 학습 신경망을 활용하여, 전 지구의 해수면 온도(SST)와 해수 열용량(HC) 데이터를 입력받는 인터페이스부; 상기 인터페이스부로부터 수신된 상기 SST 및 HC 데이터로부터 관심 대상인 타겟 지역의 관심 기간에 해당하는 소정 기후 지수를 반복하여 예측하며, 예측된 기후 지수의 예측값을 평균하여 기후 지수를 특징으로서 추출하고, 실제 SST 및 HC 데이터의 평균값과 추출된 특징 사이의 오차를 최소화하도록 반복 추론을 수행하는, 기후 지수 학습부; 및 상기 기후 지수를 디스플레이하는 디스플레이부를 포함하고, 상기 기후 지수 학습부는, 상기 신경망의 완전 연결 레이어 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃 기법을 활용하여, 반복 추론을 통해 추출된 결과와 상기 기후 지수 사이의 편차인 불확실성을 계산하는 불확실성 계산부; 및 계층별 관련도 전파 (LRP) 기법을 활용하여 상기 기후 지수를 상기 잔차 학습 신경망의 각 계층별로 재분배함으로써, 입력된 SST 및 HC 데이터의 상기 기후 지수에 대한 기여도 맵을 반복 추론마다 획득하고, 획득된 기여도 맵의 평균으로서 최종 기여도 맵을 계산하는 기여도 계산부를 포함하며, 상기 디스플레이부는, 상기 기후 지수와 함께 상기 불확실성 및 최종 기여도 맵을 제공하는 것을 특징으로 한다. 특히, 상기 기후 지수 학습부는, 전지구의 해수면 상태를 관찰 기간 및 관찰 영역별로 분리하여 관찰하는 관찰 윈도우를 설정하고, 상기 관찰 윈도우에 해당하는 SST 맵 및 HC 맵을 구성하며, 구성된 SST 맵 및 HC 맵을 시공간 행렬로 조합하도록 구성된다. 더 나아가, 상기 기후 지수 학습부는, 상기 관찰 윈도우에 해당하는 데이터의 최대값, 최소값, 평균, 및 표준 편차 중 적어도 하나를 사용하여 상기 SST 맵 및 HC 맵을 정규화하도록 더 구성되는 것을 특징으로 한다. 또한, 상기 기후 지수 학습부는, (1, 1, 1) 커널 사이즈를 사용하는 합성곱 레이어를 적용하여 학습되는 특징의 수를 증가시키고, Leaky relu를 포함하는 비선형 변환을 위한 활성화 함수 및 소정 커널 사이즈를 사용하는 합성곱 레이어를 두 번 적용하는 잔차 학습 경로에서 잔차를 학습하며, 잔차 학습 경로의 출력을 다운샘플링하여 상기 기후 지수를 포함하는 특징 맵을 추출하도록 구성될 수 있다. 특히, 상기 기후 지수 학습부는, 상기 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (1, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵의 공간 해상도를 감소시킴으로써 상기 특징 맵을 추출하도록 더 구성될 수 있다. 또는, 상기 기후 지수 학습부는, 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (2, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵을 시공간적으로 압축함으로써 상기 특징 맵을 추출하도록 더 구성될 수 있다. 상기 커널 사이즈, 상기 잔차 학습 경로에 포함되는 잔차 학습 모듈의 개수, 및 상기 완전 연결 레이어의 개수는 상기 SST 및 HC 데이터의 크기 및 상기 관찰 윈도우의 길이에 따라 변경될 수 있다. 특히, 상기 불확실성 계산부는, 상기 드롭아웃 레이어에 적용되는 드롭아웃 레이트를 고정하고, 상기 드롭아웃 레이트를 베이지안 최적화 및 격자 검색 중 적어도 하나를 사용하거나 실험적으로 학습하도록 구성되는 것을 특징으로 한다. 바람직하게는, 상기 기여도 계산부는, 순방향 전파를 통해 기후 지수의 예측값을 계산하고, 상기 신경망의 마지막 레이어로부터 순방향으로 전파할 기여도를 계산하며, 상기 순방향 전파에 해당하는 그레디언트를 계산하고, 역방향 전파를 통해 전파된 그레디언트 및 특징 값으로부터 기여도를 계산하도록 구성될 수 있다.

본 발명에 의하여, 전지구의 해수면 온도와 해수 열용량을 학습한 딥러닝 모델이 계절규모에서 열대 동태평양 해수면 온도 편차를 기존 방법과 비교해 보다 장기간, 보다 높은 정확도로 예측이 가능하다.

또한, 예측된 엘니뇨/라니냐에 대하여 불확실성을 함께 계산함으로 예측값에 대한 신뢰도의 정량적 제시가 가능하다.

나아가, 본 발명에 의하여 예측에 영향을 미친 입력 특성에 대하여 그 특성이 예측값 결정에 미친 영향 또는 기여도를 정량적으로 계산함으로써 심층 신경망 모델에 사용된 전지구 해수면 온도 및 열용량의 다양한 입력 특성들 중 엘니뇨/라니냐 예측에 영향을 준 특성들을 공간적으로 선별해 냄으로써 인공 지능이 판단을 내린 근거 또는 이유를 설명할 수 있다.

도 1은 본 발명의 일면에 의한, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법을 개략적으로 나타내는 흐름도이다.
도 2는 관찰 윈도우를 설명하는 도면이다.
도 3은 본 발명에 의한 기후 지수 예측 방법에서 활용되는 합성곱 신경망 모델을 개략적으로 나타내는 블록도이다.
도 4는 본 발명에 의한 기후 지수 예측 방법에 적용되는 드롭아웃 과정을 설명하기 위한 도면이다.
도 5는 심층 신경망의 레이어에 기여도를 재분배하는 과정을 예시하는 도면이다.
도 6은 본 발명의 다른 면에 의한, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템을 개략적으로 나타내는 블록도이다.
도 7은 본 발명에 의한 기후 지수 예측 방법에서 출력되는 기후 지수를 예시하고, 도 8은 본 발명에서 도출된 기여도 맵을 예시하는 그래프이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

도 1은 본 발명의 일면에 의한 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법을 개략적으로 나타내는 흐름도이다.

도 1을 참조하면, 본 발명에 의한 기후 지수 예측 방법에서는 기후 지수를 예측하기 위한 전 지구의 해수면 온도(sea surface temperature; SST)와 해수 열용량(heat contents; HC) 데이터를 입력으로서 사용한다(S110). 하지만, 본 발명은 이에 한정되는 것이 아니고, 다양한 기후 지수를 예측하기 위하여 SST 및 HC 데이터 이외의 추가적인 데이터가 활용될 수도 있다. 또한, 일차적인 입력 데이터를 바탕으로 수치 해석 모델을 활용하여 계산된 새로운 변수의 입력 데이터나 인공 지능 모델을 활용하여 추론된 이차적인 입력 데이터가 추가적으로 입력될 수도 있다. 또한, 관심 대상인 타겟 지역의 변경을 통해 태평양의 수십년 진동(PDO), 북태평양 진동(NPO), 알류샨 저기압(AL), 시베리아 고기압(SH), 북태평양 환류진동(NPGO) 등의 다양한 기후 지수를 예측하는 것도 가능하다. 이하, 본원 발명의 이해의 편의를 위하여 기후 지수는 열대 동태평양 지역의 기후 지수인 엘니뇨 및 라니냐 현상을 예측하는 것이고, 입력 데이터로서는 SST 및 HC 데이터가 활용되는 것으로 설명한다. 본원에서 엘니뇨 현상을 예측하기 위하여 SST 데이터 이외의 열용량(HC) 데이터를 추가적으로 활용하는 것은, 예측 모델을 예측 결과가 더 정확해지도록 하기 위한 것이다.

SST 및 HC 데이터의 입력은 관찰 윈도우를 설정함으로써 이루어질 수 있다. 즉, SST 및 HC 데이터의 입력은 관찰 윈도우(관찰 시간, 예를 들어 3개월(t, t-1, t-2)에 걸친 관찰 윈도우, t는 현재 시간)에 해당하는 전지구 SST와 HC 맵을 (시간, 위도, 경도, 2)의 시공간 행렬로 쌓아서 구성할 수 있다. 이때 위도, 경도는 샘플링된 SST, HC 맵의 상하, 좌우 길이(예를 들어, 180 x 360)를 의미하고, 마지막의 2는 SST와 HC 맵을 쌓은 것을 의미한다.

도 2는 관찰 윈도우를 설명하는 도면이다.

입력 SST 맵과 HC 맵은 정규화 과정을 거쳐, 학습이나 테스트를 위한 합성곱 신경망에 들어가며, 정규화 과정은 학습 데이터 전체에서 최대 크기 값(SST에 절대값을 취한 후 최대 값 계산)으로 나누는 방식과 학습 데이터 전체에서 평균과 표준 편차를 계산하여, Z-점수((화소별 세기 - 평균 세기)/표준편차)로 정규화 하는 방법 등을 사용할 수 있다. 본원 발명에서 SST 및 HC 데이터를 정규화하기 위해서는 공지된 모든 통계적인 방법이 활용될 수 있으며, 이들은 본원 발명을 한정하는 것을 이해되어서는 안 된다. 정규화 과정은 SST와 HC 맵에 각각 별도로 적용된다.

SST 및 HC 데이터가 입력되면, 반복 추론을 통해 기후 지수를 예측한다(S130).

도 3은 본 발명에 의한 기후 지수 예측 방법에서 활용되는 합성곱 신경망 모델을 개략적으로 나타내는 블록도이다.

본원에서는 엘니뇨와 같은 기후 지수를 얻기 위해서 동태평양 해수면 온도를 예측하기 위해 3차원 합성곱 (convolution)에 기반한 잔차 학습 네트워크(residual network)를 이용하는 것으로 설명하고 있으나, 이는 본 발명을 한정하는 것이 아니고, 다양한 인공 지능 학습망이 기후 지수를 얻기 위해서 활용될 수 있다. 이해의 편의를 위하여 본원에 원용되어 통합되는 Ham YG, Kim JH, Luo JJ. Deep learning for multi-year ENSO forecasts. Nature. 2019 Sep; 573(7775): 568-72[참조 기술1]를 참조하면, SST 및 HC 맵을 (위도, 경도, 시간 x 2)로 구성하는 기법이 소개되어 있다. [참조 기술1]을 사용하면, 기존의 다양한 물리 역학 기반 엘니뇨 예측 모형들이 가졌던 평균 6개월에서 12개월 정도의 예측 한계를 극복할 수 있다. [참조 기술1]에 따르면 2차원 합성곱 신경망(2D CNN)을 이용하여 최장 18개월 예측이 가능한 인공 지능 모델이 제공될 수 있다.

하지만, [참조 기술1]에서는 시간을 별도의 축으로 반영하지 않고 입력 특징으로써 사용하며, 3차원 합성곱 네트워크를 이용하는 본원과 달리 2차원 합성곱 네트워크를 이용하고 있다. 또한, [참조 기술1]에서는 클래스 활성화 지도를 이용하여 모델이 집중한 부분을 지역화하고 있으나, 해상도가 낮아 세밀한 정보의 파악이 어렵고 표현되는 색의 의존성이 판단의 근거를 표현한다고 보기 어려워 예측 결과를 충분히 설명할 수 있다거나 의사 결정 과정을 나타냈다고 보장하기 어렵다.

또한, 이해의 편의를 위하여 본원에 원용되어 통합되는 Mu B, Ma S, Yuan S, Xu H. Applying Convolutional LSTM Network to Predict El Nino Events: Transfer Learning from The Data of Dynamical Model and Observation. In2020 IEEE 10th International Conference on Electronics Information and Emergency Communication (ICEIEC) 2020 Jul 17 (pp. 215-219). IEEE[참조 기술2] 및 He D, Lin P, Liu H, Ding L, Jiang J. DLENSO: A Deep Learning ENSO Forecasting Model. InPacific Rim International Conference on Artificial Intelligence 2019 Aug 26 (pp. 12-23). Springer, Cham[참조 기술 3]을 참조한다. [참조 기술 2]는 2차원 합성곱 신경망에서 고려하지 못한 시간 정보를 고려하기 위하여 장단기 기억(LSTM) 순환 신경망을 활용하고, [참조 기술 3]은 ConvLSTM을 이용하여 엘니뇨를 예측한다. 이러한 참조 기술들은 본 발명의 이해를 돕기 위해 소개된 것일 뿐이고, 본 발명의 기술적 범위를 한정하려는 것이 아님에 주의해야 한다.

반복 추론 과정에서, 신경망의 완전 연결 레이어 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃(Monte-carlo dropout) 기법을 활용하여, 반복 추론을 통해 추출된 결과와 상기 기후 지수 사이의 편차인 불확실성(uncertainty)이 계산된다(S150). 이 과정에서, 몬테카를로 드롭아웃에 기반한 베이지안 네트워크 기술을 이용하여, 여러 개의 신경망을 학습하여 앙상블하는 효과와 함께, 데이터의 학습을 통해 고정되는 가중치를 확률 분포로 추정하여, 각 예측에 대한 사후 확률을 근사함으로써 모델의 불확실성 또는 신뢰성을 계산할 수 있다. 계산된 불확실성 또는 신뢰성은 예측 결과와 함께 제공되기 때문에 예측 결과의 수용 여부를 판단할 수 있는 근거를 제공할 수 있다.

좀 더 자세히 설명하면, 입력된 SST와 HC는 3차원 잔차 학습 모듈(residual module)을 여러 단계 거쳐, 잠재 특징(latent feature)로 맵핑이 되며, 잠재 특징은 평탄화 과정을 거쳐 모델의 가장 끝에 해당하는 완전 연결 레이어를 통해 결과값인 열대 동태평양의 해수온 온도 평균값을 출력한다. 열대 동태평양이 관심 지역인 이유는 기후 지수로서 엘니뇨를 예측하는 경우에 해당되는 것이고, 엘니뇨 이외의 다른 기후 지수를 예측할 경우에는 해당하는 지역을 타겟 지역으로 설정할 수도 있다.

각 잔차 학습 모듈 전에는 학습되는 특징 수를 늘리기 위해, (1, 1, 1) 커널 사이즈를 사용하는 합성곱 레이어가 적용되며, 잔차 학습 모듈은 Leaky relu를 포함하는 비선형 변환을 위한 활성화 함수와 (3, 3, 3) 커널 사이즈의 합성곱 레이어가 두 번 적용되어, 잔차를 학습하는 경로를 가진다. 이러한 잔차 학습 경로의 마지막 합성곱 레이어는 스트라이드를 (1, 2, 2)로 하여, 특징 맵의 공간적 해상도를 절반으로 줄이는 다운샘플링의 역할을 맡는다. 이때 시간축은 줄이지 않기 때문에 스트라이드가 1로 구성될 수 있다. 다만 신경망의 마지막 잔차 학습 모듈은 시간축으로도 압축을 하여 주요 특징을 학습하게 하기 위해 스트라이드를 (2, 2, 2)로 할 수 있다. 즉, 스트라이드를 (2, 2, 2)로 함으로써 시간과 공간 양자 모두에 대해서 다운샘플링을 수행할 수 있게 된다.

잔차 학습 모듈에서 다른 경로에는 영상의 크기를 다운샘플링하여 잔차 학습 경로의 결과에 더하기 위한 (3, 3, 3) 커널 사이즈의 합성곱 레이어가 적용된다. 커널 사이즈와 잔차 학습 모듈의 개수, 완전 연결 레이어의 수는 입력된 SST 및 HC의 크기와 관찰 윈도우길이에 따라 달라질 수 있다.

본 발명에 의해서 특정 지역의 평균 해수면 온도를 예측하는 잔차 학습 네트워크는 학습 데이터에 수집된 실제 해수면 온도의 평균값과 모델 예측 값 사이에 평균 제곱 오차를 줄이도록 학습되며, 모델의 불확실성을 계산하기 위하여 몬테카를로(Monte-carlo) 드롭아웃(MC드롭아웃)을 적용하여 학습된다. MC 드롭아웃은 학습 네트워크의 학습 파라미터가 있는 합성곱 혹은 완전 연결 레이어의 앞과 뒤에 드롭아웃 레이어를 적용하며(도 3 참조), 학습을 수행할 때와 테스트를 수행할 때 모두 드롭아웃 레이트(probability)를 0을 초과하여 적용한다. 드롭아웃 레이트는 학습과 테스트 때 모두 고정된 값으로 적용하며, 드롭아웃 레이트는 실험을 통서 설정될 수 있다. 또는, 드롭아웃 레이트는 베이시안 최적화(Bayesian optimization), 격자 검색(grid search) 등의 하이퍼 파라미터 추정 방법을 이용하여 학습될 수도 있다. 또는, 드롭아웃 레이트는 인증 데이터에서 가장 성능이 높을 때의 값으로 결정될 수도 있다.

도 4는 본 발명에 의한 기후 지수 예측 방법에 적용되는 드롭아웃 과정을 설명하기 위한 도면이다.

도면에서 'standard'는 테스트 시 드롭아웃이 일어나지 않는다는 것을 나타내고, 'all'은 모든 레이어에서 드롭아웃이 일어난다는 것을 나타낸다. 반면, 'MC dropout'은 드롭아웃이 테스트 시에만 수행되고, 그 결과가 평균화된다는 것을 의미한다.

도 4에 대한 추가적인 설명은 본원에 원용되어 통합되는 Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. Dropout: a simple way to prevent neural networks from overfitting. The journal of machine learning research. 2014 Jan 1;15(1):1929-58 및 Gal Y, Ghahramani Z. Bayesian convolutional neural networks with Bernoulli approximate variational inference. arXiv preprint arXiv:1506.02158. 2015 Jun 6에 기재되어 있다. 따라서, 명세서의 간략화를 위하여 중복된 설명이 생략된다.

특정 지역의 평균 해수면 온도를 예측하는 과정은 잔차 학습 네트워크에 입력을 준 뒤, 0보다 큰 드롭아웃 레이트를 적용한 상태에서 T회 추론을 진행하여 얻은 T개의 예측값을 평균하여 사용한다. 예측에 대한 모델의 불확실성은 T회 추론을 하여 얻은 T개의 예측값에 대한 편차(Variance)로 정의한다.

즉, 다음의 수학식이 성립한다.

본원에서는 예측 모델의 불확실성을 편차로서 정의하고 있으나, 다양한 통계적 개념이 불확실성을 나타내도록 활용될 수도 있다.

또한, 반복 추론 과정에서, 층별 관련도 전파 (layer-wise relevance propagation; LRP) 기법을 활용하여 기후 지수를 잔차 학습 신경망의 각 계층별로 재분배함으로써, 기여도 맵을 계산한다(S170). 즉, LRP는 신경망에 존재하는 모든 뉴런에 대해 출력에 대한 관련도를 부여하는데, 이때 각 계층에 존재하는 뉴런들의 관련도의 합이 모델 출력값과 일치하도록 분배한다. 본 명세서에서 기여도(relevance)란, 예측된 기후 지수에 입력 SST 및 HC 데이터가 얼마나 많은 영향을 미쳤는지를 의미한다.

다시 말하면, 본 발명에 의한 잔차 학습 네트워크에서 예측 결과에 대한 입력의 영역별 특성 기여도를 계산하여, 예측 결과와 입력의 상관 관계를 분석할 수 있는 정보를 함께 사용자에게 제공한다. 예측에 대한 기여도 맵(relevance map)은 입력된 SST 맵 및 HC 맵의 공간 및 시간 해상도 크기(시간, 위도, 경도, 2) 만큼 생성 되며, 예측 결과에 많이 기여한 영역에서 높은 값을 갖고, 기여도가 낮은 영역에서는 낮은 값을 가진다. 모든 영역에 대한 전체 기여도의 합은 1이 된다. 즉, 본원에서 기여도는 절대적인 수치가 아니라, 상대적인 개념이다.

기여도 맵은 계층별 관련도 전파(LRP) 기법을 이용하여 계산될 수 있는데, MC 드롭아웃에서 T회 예측 과정 중 T개의 기여도 맵이 생성되며, 이를 평균하여 최종 기여도 맵이 결정될 수 있다.

LRP 기법은 크게 4개 스텝으로 나눌 수 있다. 첫번째는 순전파 (forward propagation)을 통해 예측값을 구하는 단계이다. 두번째는 마지막 레이어로부터 앞으로 전파할 기여도를 계산하는 것이며, 세번째는 첫번째 스텝의 순전파 과정에 해당하는 그레디언트를 구하는 과정이다. 네번째는 역전달를 통해 전파된 그레디언트와 특징 값을 가지고 기여도를 계산하는 것이다. 즉, 기여도를 계산하는 데에는 다음과 같은 의사코드가 사용될 수 있다.

이러한 의사코드에서 h()는 네트워크를 모델링하고, x는 입력 데이터를 나타낸다. 그리고, p는 드롭아웃 레이트(확률)이며, T는 반복 추론의 횟수이다. 또한,

은 예측 결과인 출력을 나타내고,

는 불확실성을, L은 평균 기여도 맵을 나타낸다.

심층 신경망 에서 l번째 레이어의 j번째 뉴런에 R _j (l)의 관련도가 부여된다면, 도 5에 예시된 바와 같은 관계가 성립한다.

도 5는 심층 신경망의 레이어에 기여도를 재분배하는 과정을 예시하는 도면이다.

도 5에 예시된 바와 같이, 예측 결과를 다시 역전달(reverse propagation)하면서, 각 레이어별 기여도가 계산된다. 즉, 관련도의 분배는 출력 레이어에서부터 시작하여 입력방향으로 한 레이어씩 역방향으로 전달되며, 위 등식을 지키는 한 다양한 역전달 규칙을 적용할 수 있다.

최종적으로 계산된 픽셀의 기여도는 그 기여도의 크기에 따라 기여도 맵으로 표현될 수 있다.

도 5에 대한 추가적인 설명은 본원에 원용되어 통합되는 Samek W, Montavon G, Vedaldi A, Hansen LK, Muller KR, editors. Explainable AI: interpreting, explaining and visualizing deep learning. Springer Nature; 2019 Oct 23에 기재되어 있다. 따라서, 명세서의 간략화를 위하여 중복된 설명이 생략된다.

마지막으로, 기후 지수의 예측 결과와 함께 불확실성과 기여도가 결정되면, 예측 결과를 불확실성과 기여도와 함께 제공한다(S190). 따라서, 불확실성이 제공되기 때문에 엘니뇨/라니냐 예측을 위해 사용되는 딥러닝 기반 인공 지능 모델에 대해 예측 결과에 대한 신뢰도가 확보될 수 있다. 또한, 심층 신경망 훈련에 사용된 입력이 예측 결과에 미친 영향을 설명하기 위한 계층별 관련도가 전파되기 때문에, 특성 기여도 분석을 통한 설명가능 인공 지능 기술이 제공될 수 있다.

이하, 본 발명에 의한 기후 지수 예측 시스템에 대해서 도 6을 참조하여 설명한다.

도 6은 본 발명의 다른 면에 의한, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템을 개략적으로 나타내는 블록도이다.

도 6의 기후 지수 예측 시스템(600)은, 인터페이스부(610), 기후 지수 학습부(630), 불확실성 계산부(650), 기여도 계산부(670), 및 디스플레이부(690)를 포함한다.

인터페이스부(610)는 전 지구의 해수면 온도(SST)와 해수 열용량(HC) 데이터를 입력받아 기후 지수 학습부(630)로 제공한다.

그러면, 기후 지수 학습부(630)는 SST 및 HC 데이터로부터 관심 대상인 타겟 지역의 관심 기간에 해당하는 소정 기후 지수를 반복하여 예측한다. 기후 지수 학습부(630)가 기후 지수를 학습하기 위하여 여러 인공지능 알고리즘을 활용할 수 있음은 전술된 바와 같다. 예를 들어, 기후 지수 학습부(630)는 합성곱에 기반한 잔차 학습 신경망을 활용하여 기후 지수를 학습할 수 있다.

기후 지수 학습부(630)는 예측된 기후 지수의 예측값을 평균하여 기후 지수를 특징으로서 추출하고, 실제 SST 및 HC 데이터의 평균값과 추출된 특징 사이의 오차를 최소화하도록 반복 추론을 수행한다. 기후 지수 학습부(630)가 전지구의 해수면 상태를 관찰 기간 및 관찰 영역별로 분리하여 관찰하는 관찰 윈도우를 설정하고, 관찰 윈도우에 해당하는 SST 맵 및 HC 맵을 구성할 수 있다는 것은 전술된 바와 같다. 즉, 기후 지수 학습부(630)는 구성된 SST 맵 및 HC 맵을 시공간 행렬로 조합하여 사용할 수 있다.

또한, 기후 지수 학습부(630)는 인터페이스부(610)로부터 입력된 SST 및 HC 데이터를 그대로 사용하는 것이 아니라 입력된 데이터를 정규화할 수 있다. 즉, 기후 지수 학습부(630)는 관찰 윈도우에 해당하는 데이터의 최대값, 평균, 및 표준 편차 등을 사용하여 SST 맵 및 HC 맵을 정규화할 수 있다.

반복 추론 과정에서, 기후 지수 학습부(630)는 (1, 1, 1) 커널 사이즈를 사용하는 합성곱 레이어를 적용하여 학습되는 특징의 수를 증가시키고, Leaky relu를 포함하는 비선형 변환을 위한 활성화 함수 및 소정 커널 사이즈를 사용하는 합성곱 레이어를 두 번 적용하는 잔차 학습 경로에서 잔차를 학습할 수 있다. 기후 지수를 포함하는 특징 최종적인 특징 맵은 잔차 학습 경로의 출력을 다운샘플링하여 추출될 수 있다. 이를 위하여, 기후 지수 학습부(630)는 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (1, 2, 2)로 설정하고, 마지막 합성곱 레이어를 사용하여 특징 맵의 공간 해상도를 감소시킬 수 있다. 또는, 기후 지수 학습부(630)는 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (2, 2, 2)로 설정하고, 마지막 합성곱 레이어를 사용하여 특징 맵을 시공간적으로 압축할 수도 있다.

불확실성 계산부(650)는, 신경망의 완전 연결 레이어 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃 기법을 활용하여, 반복 추론을 통해 추출된 결과와 기후 지수 사이의 편차인 불확실성을 계산한다. 이 경우, 커널 사이즈, 잔차 학습 경로에 포함되는 잔차 학습 모듈의 개수, 및 완전 연결 레이어의 개수는 SST 및 HC 데이터의 크기 및 관찰 윈도우의 길이에 따라 변경될 수 있다.

또한, 불확실성 계산부(650)는 상기 드롭아웃 레이어에 적용되는 드롭아웃 레이트를 고정하고, 베이지안 최적화 및 격자 검색 중 적어도 하나를 사용하거나 실험적으로 드롭아웃 레이트를 학습할 수도 있다.

기여도 계산부(670)는 계층별 관련도 전파 (LRP) 기법을 활용하여 기후 지수를 잔차 학습 신경망의 각 계층별로 재분배함으로써, 입력된 SST 및 HC 데이터의 상기 기후 지수에 대한 기여도 맵을 반복 추론마다 획득한다. 그리고, 획득된 기여도 맵의 평균으로서 최종 기여도 맵을 계산할 수 있다. 이를 위하여, 기여도 계산부(670)는 순방향 전파를 통해 기후 지수의 예측값을 계산하고, 상기 신경망의 마지막 레이어로부터 순방향으로 전파할 기여도를 계산하며, 상기 순방향 전파에 해당하는 그레디언트를 계산하고, 역방향 전파를 통해 전파된 그레디언트 및 특징 값으로부터 기여도를 계산할 수도 있다.

이와 같이 불확실성과 기여도가 계산되면, 디스플레이부(690)는 예측된 기후 지수와 함께 불확실성 및 최종 기여도 맵을 사용자에게 제공한다.

도 7은 본 발명에 의한 기후 지수 예측 방법에서 출력되는 기후 지수를 예시하고, 도 8은 본 발명에서 도출된 기여도 맵을 예시하는 그래프이다.

도 7의 점선 박스는 관심 대상인 타겟 지역을 가리키고, 도 7의 가로축과 세로축은 타겟 지역을 얼마나 세분화하여 표시할 수 있는지에 관련된다.

도 8은 리드 타입(lead time)을 12로 하고, 2012년부터 2015년까지 1월의 Nino 3.4 영역 평균 SST Anomaly를 예측하였을 때 입력 SST 맵에 대해 생성된 기여도 맵을 예시한다. 즉, 도 8을 활용하면 전지구 SST 장기 변동 학습을 통한 열대 동태평양 지역 SST 예측 결과 (Nino3.4 index)에 대한 모델별 LRP 적용과 계산된 관련도 맵(기여도 맵)을 통한 예측성 진단 및 평가가 가능하다. 도 8의 기여도 맵을 활용하여, 예를 들어 양과 음의 온도 편차 분포가 지역적으로 고루 분산되어 있으나, 리드 타임 짧은 경우 입력 데이터의 직후의 예측 결과로 주로 예측 결과의 주변 영역에 주로 예측에 영향을 미친 지역들이 분포하는 것으로 보여지나, 리드 타임 이 길어질수록 예측 영역에 대해서는 열대 동태평양 지역뿐만 아니라 서태평양, 인도양 지역에서 유의미한 양의 강한 영향을 미쳤다고 해석하는 것이 가능하다.

이와 같이, 본 발명에 의해서 불확실성 계산과 특성 기여도 분석이 가능한 합성곱 신경망 기반 엘니뇨/라니냐 예측을 위한 기술이 제공된다. 특히, 3차원 합성곱기반 잔차 학습 신경망에 기반한 엘니뇨 예측과 예측 결과에 대한 불확실성 계산 및 예측에 영향을 미친 입력 계층별 관련도 전파 계산을 통해 딥러닝 기반 인공 지능 모델이 내린 결정 과정을 분석할 수 있으므로, 예측 결과의 신뢰도가 향상될 수 있다.

또한, 인공 지능 모델을 이용한 엘니뇨/라니냐 예측시 예측 결과에 대한 신뢰도 제공을 위해 불확실성을 계산하고, 특성 기여도 분석을 통한 설명가능 인공 지능 기술 적용을 위해 심층 신경망 훈련에 사용된 입력이 예측 결과에 미친 영향을 설명할 수 있게 된다. 그러므로, 인공 지능 기술이 기후 지수를 예측하는 과정에서 올바른 판단을 내렸는지 신뢰할 수 있도록 인공 지능이 내린 결정에 대한 판단 근거를 제공할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 본원에서 기후 지수는 엘니뇨를 나타내는 것으로 설명되었으나, 이는 본 발명을 한정하는 것이 아니며, 해수면 온도, 라니냐, Nino3.4 기후 지수 등 다양한 기후 지수를 예측하는 것이 본 발명의 권리 범위에 포함된다는 것이 명확하다.

또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.

본 발명의 엘니뇨 등의 기후 지수를 예측하여 기후 지수가 사회적, 경제적으로 미칠 수 있는 영향을 예측하여 대비할 수 있도록 하는 기후 지수 예측 분야에 적용될 수 있다.

610 : 인터페이스부 630 : 기후 지수 학습부
650 : 불확실성 계산부 670 : 기여도 계산부
690 : 디스플레이부

Claims

인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법으로서,
합성곱에 기반한 잔차 학습 신경망에 전 지구의 해수면 온도(sea surface temperature; SST)와 해수 열용량(heat contents; HC) 데이터를 입력하는 단계;
상기 신경망에서 상기 SST 및 HC 데이터로부터 관심 대상인 타겟 지역의 관심 기간에 해당하는 소정 기후 지수(climate index)를 예측하고, 상기 기후 지수의 예측값을 시간적 또는 공간적으로 평균화하여 특징을 추출하며, 관측된 기후 지수와 추론을 통해 예측된 기후 지수 사이의 오차가 최소화되도록 반복 추론을 수행하는 단계;
상기 신경망의 학습 가중치를 포함하는 완전 연결 레이어(fully-connected layer) 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃(Monte-carlo dropout) 기법을 활용하여, 반복 추론을 통해 예측된 기후 지수 결과의 편차를 연산하여 불확실성(uncertainty)을 계산하는 단계;
계층별 관련도 전파 (layer-wise relevance propagation; LRP) 기법을 활용하여 상기 기후 지수를 상기 잔차 학습 신경망의 각 계층별로 재분배함으로써, 입력된 SST 및 HC 데이터의 상기 기후 지수에 대한 기여도 맵(relevance map)을 반복 추론마다 획득하고, 획득된 기여도 맵의 평균으로서 최종 기여도 맵을 계산하는 단계; 및
상기 기후 지수와 함께 상기 불확실성 및 최종 기여도 맵을 제공하는 단계를 포함하며,
상기 반복 추론을 수행하는 단계는,
(1, 1, 1) 커널 사이즈를 사용하는 합성곱 레이어를 적용하여 학습되는 특징의 수를 증가시키는 것;
Leaky relu를 포함하는 비선형 변환을 위한 활성화 함수 및 소정 커널 사이즈를 사용하는 합성곱 레이어를 두 번 적용하는 잔차 학습 경로에서 잔차를 학습하는 것; 및
잔차 학습 경로의 출력을 다운샘플링하여 상기 기후 지수를 포함하는 특징 맵을 추출하는 것을 포함하고,
상기 특징 맵은 (시간, 위도, 경도) 차원으로서 정의되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제1항에 있어서,
상기 해수면 온도와 해수 열용량 데이터를 입력하는 단계는,
전지구의 해수면 상태를 관찰 기간 및 관찰 영역별로 분리하여 관찰하는 관찰 윈도우를 설정하는 것;
상기 관찰 윈도우에 해당하는 SST 맵 및 HC 맵을 구성하는 것; 및
구성된 SST 맵 및 HC 맵을 시공간 행렬로 조합하는 것을 포함하는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제2항에 있어서,
상기 SST 맵 및 HC 맵은, 상기 관찰 윈도우에 해당하는 데이터의 최대값, 최소값, 평균, 및 표준 편차 중 적어도 하나를 사용하여 정규화되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
삭제
제1항에 있어서,
상기 특징 맵은,
상기 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (1, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵의 공간 해상도를 감소시킴으로써 추출되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제5항에 있어서,
상기 특징 맵은,
잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (2, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵을 시공간적으로 압축함으로써 추출되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제5항에 있어서,
상기 커널 사이즈, 상기 잔차 학습 경로에 포함되는 잔차 학습 모듈의 개수, 및 상기 완전 연결 레이어의 개수는 상기 SST 및 HC 데이터의 크기 및 관찰 윈도우의 길이에 따라 변경되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제1항에 있어서,
상기 드롭아웃 레이어에 적용되는 드롭아웃 레이트는 고정되고,
상기 드롭아웃 레이트는 베이지안 최적화(Bayesian optimization) 및 격자 검색(grid search) 중 적어도 하나를 사용하거나 실험적으로 학습되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제1항에 있어서,
상기 최종 기여도 맵을 계산하는 단계는,
순방향 전파를 통해 기후 지수의 예측값을 계산하는 것,
상기 신경망의 마지막 레이어로부터 순방향으로 전파할 기여도를 계산하는 것,
상기 순방향 전파에 해당하는 그레디언트를 계산하는 것, 및
역방향 전파를 통해 전파된 그레디언트 및 특징 값으로부터 기여도를 계산하는 것을 포함하는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
제1항에 있어서,
상기 기후 지수는 해수면 온도, 엘니뇨, 라니냐, Nino3.4 기후 지수 중 적어도 하나를 포함하는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 방법.
인공 지능 모델을 이용한 기후 지수 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템으로서,
합성곱에 기반한 잔차 학습 신경망을 활용하여, 전 지구의 해수면 온도(SST)와 해수 열용량(HC) 데이터를 입력받는 인터페이스부;
상기 인터페이스부로부터 수신된 상기 SST 및 HC 데이터로부터 관심 대상인 타겟 지역의 관심 기간에 해당하는 소정 기후 지수를 반복하여 예측하며, 예측된 기후 지수의 예측값을 평균하여 기후 지수를 특징으로서 추출하고, 실제 SST 및 HC 데이터의 평균값과 추출된 특징 사이의 오차를 최소화하도록 반복 추론을 수행하는, 기후 지수 학습부; 및
상기 기후 지수를 디스플레이하는 디스플레이부를 포함하고,
상기 기후 지수 학습부는,
상기 신경망의 완전 연결 레이어 전후에 드롭아웃 레이어를 적용하는 몬테카를로 드롭아웃 기법을 활용하여, 반복 추론을 통해 예측된 결과의 편차를 연산하여 불확실성을 계산하는 불확실성 계산부; 및
계층별 관련도 전파 (LRP) 기법을 활용하여 상기 기후 지수를 상기 잔차 학습 신경망의 각 계층별로 재분배함으로써, 입력된 SST 및 HC 데이터의 상기 기후 지수에 대한 기여도 맵을 반복 추론마다 획득하고, 획득된 기여도 맵의 평균으로서 최종 기여도 맵을 계산하는 기여도 계산부를 포함하며,
상기 디스플레이부는,
상기 기후 지수와 함께 상기 불확실성 및 최종 기여도 맵을 제공하며,
상기 기후 지수 학습부는,
(1, 1, 1) 커널 사이즈를 사용하는 합성곱 레이어를 적용하여 학습되는 특징의 수를 증가시키고,
Leaky relu를 포함하는 비선형 변환을 위한 활성화 함수 및 소정 커널 사이즈를 사용하는 합성곱 레이어를 두 번 적용하는 잔차 학습 경로에서 잔차를 학습하며,
잔차 학습 경로의 출력을 다운샘플링하여 상기 기후 지수를 포함하는 특징 맵을 추출하도록 구성되고,
상기 특징 맵은 (시간, 위도, 경도) 차원으로서 정의되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제11항에 있어서,
상기 기후 지수 학습부는,
전지구의 해수면 상태를 관찰 기간 및 관찰 영역별로 분리하여 관찰하는 관찰 윈도우를 설정하고,
상기 관찰 윈도우에 해당하는 SST 맵 및 HC 맵을 구성하며,
구성된 SST 맵 및 HC 맵을 시공간 행렬로 조합하도록 구성되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제12항에 있어서,
상기 기후 지수 학습부는,
상기 관찰 윈도우에 해당하는 데이터의 최대값, 최소값, 평균, 및 표준 편차 중 적어도 하나를 사용하여 상기 SST 맵 및 HC 맵을 정규화하도록 더 구성되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
삭제
제11항에 있어서,
상기 기후 지수 학습부는,
상기 잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (1, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵의 공간 해상도를 감소시킴으로써 상기 특징 맵을 추출하도록 더 구성되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제15항에 있어서,
상기 기후 지수 학습부는,
잔차 학습 경로의 마지막 합성곱 레이어의 스트라이드를 (2, 2, 2)로 설정하고, 상기 마지막 합성곱 레이어를 사용하여 상기 특징 맵을 시공간적으로 압축함으로써 상기 특징 맵을 추출하도록 더 구성되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제15항에 있어서,
상기 커널 사이즈, 상기 잔차 학습 경로에 포함되는 잔차 학습 모듈의 개수, 및 상기 완전 연결 레이어의 개수는 상기 SST 및 HC 데이터의 크기 및 관찰 윈도우의 길이에 따라 변경되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제11항에 있어서,
상기 불확실성 계산부는,
상기 드롭아웃 레이어에 적용되는 드롭아웃 레이트를 고정하고,
상기 드롭아웃 레이트를 베이지안 최적화 및 격자 검색 중 적어도 하나를 사용하거나 실험적으로 학습하도록 구성되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제11항에 있어서,
상기 기여도 계산부는,
순방향 전파를 통해 기후 지수의 예측값을 계산하고,
상기 신경망의 마지막 레이어로부터 순방향으로 전파할 기여도를 계산하며,
상기 순방향 전파에 해당하는 그레디언트를 계산하고,
역방향 전파를 통해 전파된 그레디언트 및 특징 값으로부터 기여도를 계산하도록 구성되는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.
제11항에 있어서,
상기 기후 지수는 해수면 온도, 엘니뇨, 라니냐, Nino3.4 기후 지수 중 적어도 하나를 포함하는 것을 특징으로 하는, 예측 결과에 대한 불확실성과 기여도를 제공하는 기후 지수 예측 시스템.