KR20220001290A - 누락 데이터 예측 방법 및 장치 - Google Patents

Abstract

본원의 일 측면에 따른 누락 데이터 예측 장치에 의해 수행되는 누락 데이터 예측 방법은, 네트워크를 통해 불규칙한 시공간 데이터를 수집하는 단계; 수집된 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하는 단계; 및 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시키는 단계; 를 포함한다. 누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것이다.

Description

누락 데이터 예측 방법 및 장치{METHOD AND SERVER FOR PREDICTING MISSING DATA}

본 발명은 누락된 데이터 예측 방법 및 장치에 관한 것으로, 보다 상세하게는 부분 합성곱 LSTM(PconvLSTM: Partial Convolutional long-short term memory)을 사용하여 불규칙하게 누락된 데이터를 예측하는 방법에 관한 것이다.

시공간 데이터는 기상, 교통, 토양, 위성 시스템, 비디오 기술 등의 다양한 분야에서 수집된다. 각 분야에서 데이터가 누적되면서 정확한 시공간 예측 기술에 대한 연구가 진행되고 있다. 그러나 복잡한 시공간 상관성으로 인해 시공간 예측은 쉽지 않다. 최근에는 데이터 기반의 시공간 예측을 위한 딥러닝 모델이 연구되고 있다. 시공간 예측을 위한 딥러닝은 비선형적인 시공간 상관성을 학습할 수 있다. 대표적인 학습 모델인 합성곱 LSTM(ConvLSTM: convolutional Long-Short-Term-Memory)는 LSTM(Long-Short-Term-Memory)구조와 합성곱 연산을 통합하여 공간 종속성과 시간 종속성을 포착한다.

실제 데이터는 불규칙하고, 누락 데이터의 발생은 거의 불가피하다. 손상, 불규칙함 등의 원인으로 인해 우리는 누락이 없는 데이터를 습득하기 어렵다. 예를 들어, 시공간 데이터 중 하나인 공기질 데이터는 불규칙하게 위치한 관측소에서 측정되어 데이터를 얻을 수 없는 지역이 존재한다. 또한 각각의 관측소에서 장비 고장, 통신 문제 등의 원인으로 데이터가 불규칙한 시간 간격으로 측정된다. 공기질 데이터와 같은 불규칙한 시공간 데이터는 예측 모델 성능을 악화시키고, 편향된 예측 결과를 초래한다. 따라서 불규칙한 데이터로부터 정확한 시공간 예측을 하기 위한 시공간 데이터 처리 방법 및 학습 방법이 필요하다.

대한민국 공개특허공보 제10-2019-0124846호 (발명의 명칭: 재귀적 신경망에서 시계열 데이터의 데이터 누락 및 노이즈에 강건한 gru 기반의 셀 구조 설계)

본 발명은 전술한 문제점을 해결하기 위한 것으로, 시공간 데이터에서 누락이 있는 데이터를 기초로 학습하여 시공간 데이터의 누락 부분에 대한 예측이 가능한 누락 데이터 예측 방법을 제공하는 것을 기술적 과제로 한다.

또한 실제 측정값(Ground truth)을 학습 데이터로 사용하지 않고, 누락된 데이터를 예측하도록 딥러닝 네트워크를 학습시키는 것을 목적으로 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 제 1측면에 따른 장치에 의해 수행되는 누락 데이터 예측 방법은, 네트워크를 통해 불규칙한 시공간 데이터를 수집하는 단계; 수집된 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하는 단계; 및 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시키는 단계; 를 포함한다. 누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것이다.

또한, 본 개시의 제 2 측면에 따른 누락 데이터 예측 장치는, 누락 데이터 예측 프로그램이 저장된 메모리; 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 프로그램의 실행에 의해, 네트워크를 통해 불규칙한 시공간 데이터를 수집하고, 수집된 상기 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하고, 상기 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시킨다. 상기 누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것이다.

전술한 본원의 과제 해결 수단 중 어느 하나에 의하면, 누락된 값을 처리하기 위한 별도의 전처리 작업 없이 네트워크 학습에 불규칙한 데이터를 사용 가능하다.

본 발명을 통해 과거의 누락된 데이터로부터 모든 위치에 대한 예측값을 출력하는 것이 가능하다.

본 발명에 의하면, 학습 데이터와는 다른 패턴으로 누락된 데이터에 대해서도 안정적인 예측이 가능하다.

도 1은 본 발명의 일 실시예에 따른 누락 데이터 예측 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 누락 데이터 예측 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 네트워크 구조를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 PConvLSTM의 구조를 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 누락 데이터 생성 테크닉을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 손실함수를 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 누락 데이터 예측 방법을 설명하는 순서도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 누락 데이터 예측 시스템의 구성을 도시한 블록도이다.

누락 데이터 예측 방법은 장치(100) 또는 단말(200)에서 실시될 수 있다. 누락 데이터 예측 방법에서 불규칙한 시공간 데이터 수집은 단말(200)에서 이루어질 수 있다. 단말은 PC, 휴대폰과 같은 사용자 단말이거나, 공기질 센서, 레이더, CCTV, 카메라 등 시공간 데이터를 직접 수집하는 단말일 수 있다. 또한 기상청 홈페이지 등을 통해 인터넷 상에서 저장된 시공간 데이터를 이용하는 것도 가능하다. 누락 데이터 예측 모델을 학습시키고 예측하는 과정은 장치(100)에서 이루어질 수 있다. 누락 데이터 예측 모델은 수집된 시공간 데이터를 기초로 학습되어 누락된 데이터를 예측하는 모델로, 부분 합성곱 LSTM과 같은 인공신경망을 이용하여 학습될 수 있다.

도 2는 본 발명의 일 실시예에 따른 누락 데이터 예측 장치의 구성을 도시한 블록도이다.

도시된 바와 같이 누락 데이터 예측 장치(100)는 통신 모듈(110), 메모리(120), 프로세서(130), 데이터베이스(140) 및 입력모듈(150)을 포함할 수 있다.

통신모듈(110)은 접속된 단말(200)과 데이터를 송수신할 수 있다. 통신모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(120)에는 누락 데이터 예측 프로그램이 저장된다. 누락 데이터 예측 프로그램은 네트워크를 통해 불규칙한 시공간 데이터를 수집하고, 수집된 상기 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하고, 상기 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시킨다.

이러한 메모리(120)에는 누락 데이터 예측 장치(100)의 구동을 위한 운영 체제나 누락 데이터 예측 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.

이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.

또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(120)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(130)는 메모리(120)에 저장된 프로그램을 실행하되, 누락 데이터 예측 프로그램의 실행에 따르는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.

이러한 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(140)는 프로세서(130)의 제어에 따라, 누락 데이터 예측 시스템에 필요한 데이터를 저장 또는 제공한다. 이러한 데이터베이스(140)는 메모리(120)와는 별도의 구성 요소로서 포함되거나, 또는 메모리(120)의 일부 영역에 구축될 수도 있다.

누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것이다.

부분 합성곱은 오래되거나 손상된 이미지를 복원(image inpainting)하는 딥 러닝 기법을 위해 제안된 것이다. 부분 합성곱의 입력은 불규칙하게 손상된 이미지와 이미지의 홀(누락된 픽셀)의 위치를 나타내는 바이너리 마스크(1 은 유효한 픽셀, 0 은 유효하지 않은 픽셀)로 구성된다. 부분 합성곱은 이미지와 마스크로 하기 수학식 1과 같이 계산된다.

[수학식1]

상기 수학식 1에서 입력과 마스크의 곱은 유효하지 않은 픽셀값을 0으로 설정하여 유효하지 않은 픽셀의 영향을 제외시킨다. 또한 부분 합성곱은 유효한 픽셀과 유효하지 않은 픽셀이 불균형한 입력에 대해 적절한 스케일링 팩터를 적용한다. 그러므로 부분 합성곱은 유효한 픽셀의 값에만 의존하는 합성곱 결과를 얻는다.

부분 합성곱 연산은 마스크 업데이트 단계를 포함한다. 예측 모델이 입력 이미지와 입력 마스크로 부분 합성곱 연산을 하면, 아웃풋의 유효한 픽셀의 위치가 입력 이미지와 달라진다. 부분 합성곱은 입력 마스크를 아웃풋의 유효한 픽셀 위치 정보로 업데이트한다. 마스크 업데이트 단계는 부분 합성곱 레이어에서 업데이트된 유효한 픽셀 위치 정보를 다음 레이어로 보낼 수 있다. 상기 수학식 1의 합성곱 윈도우에서 하나 이상의 유효한 픽셀이 있을 경우, 윈도우에 해당하는 픽셀은 유효한 픽셀 값의 연산 결과를 포함하므로 유효한 픽셀로 설정된다. 이후 하기 수학식 2에서와 같이 마스크를 업데이트 할 수 있다.

[수학식2]

공간적 상관성을 고려하지 않는 FC-LSTM(Fully connected LSTM)을 개선하기 위해, ConvLSTM은 시공간적 정보를 모두 포함할 수 있도록 설계된 시공간 예측 네트워크(모델)이다. ConvLSTM은 상태-상태와 입력-상태 전환에서 합성곱 연산으로 공간적 상관성을 학습하고, 순환 구조로 시간 상관성을 학습한다. ConvLSTM은 하기 수학식 3과 같이 표현될 수 있다.

[수학식 3]

상기 수학식 3에서 는 합성곱 연산자,

는 아다마르 곱, σ는 요소별 시그모이드 함수를 나타낸다. X_t는 입력, C_t는 셀 상태, 숨겨진 상태는 H_t 이고 3D 텐서이다. C_t-1은 이전의 장기 상태를 나타내고, H_t-1은 이전의 단기 상태를 나타낸다. 입력 게이트는 i_t, 망각 게이트는 f _t, 출력 게이트는 o _t이고, 셀에 대한 3D 텐서이며 셀 상태와 함께 정보 흐름을 제어한다. W는 합성곱 커널이고, b는 바이어스이다.

상기 수학식 3에서와 같이 입력의 합성곱과 이전의 숨겨진 상태의 합성곱 결합으로 숨겨진 상태가 업데이트된다.

입력 데이터에서 누락값(missing value)이 0으로 설정될 경우, 합성곱은 관측값(유효한 픽셀)과 누락값(유효하지 않은 픽셀)을 구분하지 않는다. 그러므로 ConvLSTM은 누락값을 관측값(observation value)이 0인 정보로 받아들인다. 그러므로 본 발명은 누락값을 구별할 수 있는 ConvLSTM 네트워크를 제안한다. 본 발명은 숨겨진 상태 업데이트가 관측값(유효한 픽셀)에만 의존하도록 네트워크를 설계할 수 있다.

본 발명에서는 ConvLSTM과 부분 합성곱을 결합한 PConvLSTM(Partial Convolutional Long-Short-Term-Memory Network)를 사용할 수 있다. PConvLSTM에서 부분 합성곱을 적용하기 위해 입력뿐만 아니라 숨겨진 상태에서도 유효한 픽셀의 위치를 나타내는 마스크를 생성한다.

도 3은 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 네트워크 구조를 설명하는 도면이다.

도 3은 2 개의 PConvLSTM 레이어가 있는 네트워크 아키텍처를 도시한다. 누락 데이터 예측 모델에서 PConvLSTM 레이어는 2개에 한정되는 것은 아니며, 예측성능, 학습시간 또는 과적합문제 등을 고려하여 레이어의 개수는 조절될 수 있다. 도3에서 볼 수 있듯이 레이어는 입력 및 마스크를 수신하고 업데이트한다. 이때 입력은 시공간 데이터이고, 마스크는 PConvLSTM에서 부분 컨벌루션을 적용하기 위해 데이터에서 유효한 데이터(픽셀)를 표시한다. 네트워크 출력이 관측값에만 의존하도록 마지막에 부분 합성곱 레이어를 추가한다. PConvLSTM 레이어의 개별 내부 구조는 도 4에서 상세히 설명한다.

도4는 본 발명의 PConvLSTM의 구조를 도시한다. PConvLSTM의 셀은 입력, 입력 마스크, 숨겨진 상태, 숨겨진 상태의 마스크 및 셀 상태로 구성된다.

PConvLSTM의 입력 X_t, 셀 상태 C_t, 숨겨진 상태 H_t, 입력 게이트 i_t, a망각 게이트 f_t 및 출력 게이트 o_t는 셀을 구성하는 3D 텐서이다. M_{x, t}는 X_t에 대응하는 마스크를 나타내고, M'_{x, t}는 업데이트 된 마스크를 나타낸다.

유사하게, M_{h, t-1}은 H_t-1의 마스크이고 M'_{h, t-1}은 업데이트 된 M_{h, t-1}을 나타낸다. M_{h, t}는 M'_{h, t}에서 업데이트 된 H_t 의 마스크이다.

부분 컨벌루션과 유사하게, 불규칙 데이터를 적절히 스케일링하기 위해 마스크 스케일링 계수 S_x 및 S_h를 계산한다. PConvLSTM하기 수학식과 같이 표시된다.

[수학식4]

[수학식 5]

[수학식 6]

[수학식 7]

[수학식 8]

[수학식 9]

[수학식 10]

[수학식 11]

[수학식 12]

[수학식 13]

[수학식 14]

[수학식 15]

여기서 ks_x 및 ks_h는 각각 입력-상태 커널 크기와 상태-상태 커널 크기를 나타낸다. 클립(Clip)은 마스크의 범위를 조정하는 기능으로 하기 수학식 16과 같이 표시된다.

[수학식 16]

상기 수학식4와 수학식 5에서 셀 결과가 유효한 입력과 유효한 숨겨진 상태에만 의존하도록 입력과 숨겨진 상태에 해당 마스크를 곱한다. 상기 수학식 6과 수학식 7에서 볼 수 있듯이 가중치가 1 인 합성곱으로 마스크를 업데이트한다. 첫 번째 입력이 셀에 오기 전에 숨겨진 상태 H와 숨겨진 상태 마스크 M _h를 모두 0으로 초기화한다. 0으로 초기화하면 입력 데이터가 들어올 때까지 숨겨진 상태에 의미 있는 상태 정보가 없음을 의미한다.

또한 숨겨진 상태의 마스크를 0으로 초기화하여 숨겨진 상태에 정보가 없음을 나타낸다. 상기 수학식 8 및 수학식 9에 도시 된 마스크 스케일링 계수 S_x 및 S_h는 합성곱 윈도우에서 업데이트 된 마스크 및 커널 크기의 비율이다.

클립 M' _{x, t}를 곱하면 마스크 된 위치의 비율이 0이다. 부분 합성곱과 유사하게 마스크 스케일링 계수를 사용하여 마스크 되지 않은 입력 및 마스크 되지 않은 숨겨진 상태에서만 스케일링을 조정한다. 상기 수학식 10 내지 수학식 14의 게이트 (i_t, f_t, o_t), 셀 상태 및 숨겨진 상태는 부분 합성곱 입력 X_t 및 숨겨진 상태 H' _t-1로 업데이트된다.

마지막으로, 상기 수학식 15에 제시된 바와 같이 숨겨진 상태 H_t의 마스크 M_h,t를 계산한다. H t는 부분 합성곱 및 숨겨진 상태 H'_t-1로 업데이트 된 입력 X'_t로 계산된다. 따라서 입력 X'_t의 유효한 위치와 H'_t-1의 유효한 위치의 합집합으로 H_t의 유효한 위치를 계산한다.

그런 다음 합집합 연산에 대해 업데이트 된 입력 마스크 M'_{x, t} 및 업데이트 된 숨겨진 상태 마스크 M ' _{h, t-1}을 추가 한 다음 클립 기능을 적용한다. 마스크 요소의 범위가 0에서 1이되도록 업데이트 된 마스크에 클립 기능을 적용한다.

숨겨진 상태는 입력 및 이전 상태로부터 정보를 축적하기 때문에, 숨겨진 상태의 마스크는 시퀀스에 걸쳐 숨겨진 상태의 유효 위치를 축적한다.

도 5는 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 누락 데이터 생성 테크닉을 설명하는 도면이다.

세 단계의 입력 시퀀스는 다음과 같다. 새로운 마스크 시퀀스B:

에 오리지날 입력 시퀀스 C:

및 오리지날 마스크 시퀀스 D:

를 곱한다. 추가된 누락값이 E:

인 입력 시퀀스와 추가적인 0값이 포함된 F:

인 입력 마스크 시퀀스를 얻을 수 있다. 상기 두 시퀀스는 누락 데이터 예측 모델의 학습에 사용될 수 있다.

본 발명에서 사용하는 누락 데이터 예측 모델은 이전의 k개 프레임으로 미래의 프레임에 대한 예측을 출력한다. 본 발명은 완전한 데이터(complete data, ground truth) 없이 네트워크를 훈련할 수 있는 알고리즘을 제공한다. 누락 데이터 예측 모델은 누락 데이터로 누락 영역을 효과적으로 예측하도록 하기 위한 누락 데이터 생성 테크닉(generating missing technique)을 포함할 수 있다. 누락 데이터 생성 테크닉은 이미 누락값이 있는 입력 시퀀스에 추가적인 누락을 발생시켜서 예측 모델을 학습시킨다. 수식은 아래와 같다.

[수학식 17]

[수학식 18]

상기 수학식 17과 수학식 18 에 표시된 바와 같이, 예측 모델은 누락이 추가적으로 발생된 데이터를 예측 모델의 입력에 사용할 수 있다. 누락 데이터 예측 모델은 학습 중 각 학습 주기(epoch)마다 수학식 17의 마스크를 새로 생성한다. 누락 데이터 예측 모델은 학습 주기마다 랜덤하게 누락되는 데이터로 학습된다. 누락 데이터 예측 모델은 누락 데이터 생성 테크닉을 통해 누락을 추가적으로 발생시켜 더 적은 데이터로 시공간 예측을 하도록 학습 될 수 있다. 또한 누락 데이터 예측 모델은 누락 데이터로부터 누락 영역의 예측을 하도록 학습될 수 있다.

도5는 본 발명의 누락 데이터 생성 테크닉의 흐름을 나타낸다. 학습 과정 중 새로운 마스크를 만들고, 입력 마스크 시퀀스에 곱하여 마스크에 누락을 랜덤하게 추가할 수 있다. 누락이 추가된 마스크를 입력 시퀀스에 곱하여 추가적인 누락이 생성된 입력 시퀀스를 얻는다. 또한 도5에서와 같이 생성된 누락 위치에 따라 손실 가중치를 다르게 줄 수 있다. 손실함수에 대한 자세한 내용은 도 6에서 설명한다.

누락 데이터 생성 테크닉에서 누락 데이터를 추가로 생성하여 적은 데이터로 시공간을 예측하도록 누락 데이터 예측 모델을 훈련시킨다. 그러므로 누락 데이터 예측 모델은 학습 데이터보다 누락이 더 자주 발생하는 위치의 미래 값을 성공적으로 예측할 수 있다. 또한 본 발명의 학습 방법은 누락 데이터 예측 모델을 학습시켜 누락된 데이터에서 샘플링되지 않은 위치를 예측할 수 있다. 불규칙 데이터의 경우 특정 위치의 데이터가 항상 누락될 수 있다. 예를 들어, 센서 데이터에서 센서가 없는 위치에서는 항상 관측값이 없다. 그러므로 누락 데이터 예측 모델은 샘플되지 않은 위치에서의 미래값을 예측하도록 학습되어야 한다. 도5의 오리지날 입력 시퀀스에서 (A)는 관측값이 항상 존재하는 위치이다. 그러나 추가 누락이 발생하면, (A) 위치의 데이터가 모두 누락된다. 그러므로 누락 데이터 예측 모델은 (A) 위치에서 항상 누락이 발생하는 데이터를 예측하도록 학습될 수 있다.

도 6은 본 발명의 일 실시예에 따른 누락 데이터 예측 방법에서 손실함수를 설명하는 도면이다.

누락 위치를 나타내는 마스크가 주어지면, 손실함수 L_obs, L_iobs, L_mss가 정의될 수 있다.

도6은 M _{x, t + 1} 및

를 사용하여 손실을 계산하는 방법을 보여준다. 도6 (a)에 도시된 바와 같이 L _obs를 하기 수학식 19와 같이 정의한다.

[수학식 19]

상기 수학식 19에서 M _{x, t + 1}은 X _{t + 1}의 마스크이고 N은 X _{t + 1}의 크기이며, N = x_{t + 1}의 높이 x 너비 이다. 상기 수학식 19에서 누락 된 위치를 제외한 관측치에 대해서만 손실을 계산한다.

학습동안 추가적인 누락값을 생성한 다음 입력 시퀀스에서 모두 누락된 값의 위치를 M의 합으로 나타내며, 추가 누락값이 있는 마스크의 합집합은 하기 수학식 20과 같다.

[수학식 20]

의 요소가 1 인 경우 최소한 하나의 관측값이 있음을 나타내고, 요소가 0 인 경우 입력 시퀀스의 해당 위치에서 모든 요소가 누락되었음을 나타낸다. 도6의 (b)와 (c)에서 도시된 바와 같이

를 사용하여 L_iob 및 L_mss를 하기 수학식 21,22와 같이 정의한다.

[수학식 21]

[수학식 22]

X ^_{t + 1}은 X _g 및 M을 입력으로 사용하는 예측 모델의 출력이다. 상기 수학식 21에서, M _{x, t + 1}의 요소와

의 요소가 모두 1 인 경우에만 M _{x, t + 1}

의 요소는 1이고, 그렇지 않으면 0이다. L _iobs는 X _{t + 1}에 관측값이 존재하는 위치 중 입력 시퀀스에 적어도 하나의 관측값이 존재하는 위치에 대한 손실 함수이다.

상기 수학식 22에서, 1-

는 반전된

이다. 따라서, L_mss는 관측값이 X_{t + 1}에 존재하는 위치 중에서 입력 시퀀스에서 관찰값이 없는 위치에 대한 손실 함수이다. 총 손실 함수는 L_iob 및 L_mss의 가중치 조합이다. 총 손실 함수는 하기 수학식 23과 같이 정의한다.

[수학식 23]

여기서 λ는 손실 함수 L_mss의 가중치를 나타낸다. λ의 값이 클수록 샘플링되지 않은 영역을 예측하기 위한 가중치가 더 커진다.

도 7은 본 발명의 일 실시예에 따른 누락 데이터 예측 방법을 설명하는 순서도이다.

프로세서(130)는 네트워크를 통해 불규칙한 시공간 데이터를 수집한다(S110). 예를 들어, 공기질 데이터, 레이더 에코 데이터, 수정된 국립 표준 기술 연구소 데이터베이스(Moving MNIST: Modified National Institute of Standards and Technology database) 데이터 등을 수집할 수 있다.

프로세서(130)는 수집된 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성한다(S120).

프로세서(130)는 누락 데이터 생성 테크닉(Generating missing technique)을 통해 추가적인 누락 데이터를 포함하는 학습 데이터를 생성하는 것일 수 있다. 누락 데이터 생성 테크닉은 추가적인 누락 데이터를 생성하기 위해 누락 데이터의 위치 정보를 포함하는 마스크 시퀀스를 이용하는 것일 수 있다.

프로세서(130)는 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시킨다(S130).

누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것일 수 있다.

누락 데이터 예측 모델은 관측값이 있는 위치에 해당하는 손실을 계산하여 정의된 관측손실함수를 포함하는 것일 수 있다. 이 때 관측 손실함수는 누락 데이터 생성 테크닉을 사용하지 않은 학습 데이터에 최적화된 것일 수 있다.

누락 데이터 예측 모델은 상기 누락 데이터 생성 테크닉을 사용하는 경우 적용된 마스크에 기초하여 최적화된 손실함수를 포함할 수 있다. 마스크는 생성된 추가적인 누락 데이터의 위치 정보를 포함하는 것일 수 있다.

프로세서(130)는 단말로부터 수신된 데이터 세트를 입력으로 누락 데이터 예측 모델을 통해 누락 데이터 예측 결과값을 생성한다(S140).

본 발명에서 제공하는 PConvLSTM과 누락 데이터 생성 테크닝을 이용하여 학습된 누락 데이터 예측 모델을 사용하는 경우, ConvLSTM과 같은 다른 모델을 사용한 경우 보다 누락 데이터를 더 잘 예측 가능하며, 시간적 누락과 공간적 누락에 대해 모두 예측 가능한 특징이 있다. 또한 무결함 데이터(ground truth) 없이도 예측 모델을 학습시킬 수 있고, 학습 데이터와 다른 패턴으로 누락된 데이터에 대해서도 안정적인 예측이 가능하다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 장치
110: 통신 모듈
120: 메모리
130: 프로세서
140: 데이터베이스
150: 입력모듈
200: 단말

Claims (15)

1. 누락 데이터 예측 장치에 의해 수행되는 누락 데이터 예측 방법에 있어서,
   (a) 네트워크를 통해 불규칙한 시공간 데이터를 수집하는 단계;
   (b) 수집된 상기 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하는 단계; 및
   (c) 상기 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시키는 단계; 를 포함하고,
   상기 누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것인,
   누락 데이터 예측 방법.
2. 제 1 항에 있어서,
   상기 (b) 단계는 누락 데이터 생성 테크닉(Generating missing technique)을 통해 추가적인 누락 데이터를 포함하는 학습 데이터를 생성하는 것인,
   누락 데이터 예측 방법.
3. 제 2 항에 있어서,
   상기 (b) 단계는 상기 추가적인 누락 데이터를 생성하기 위해 누락 데이터의 위치 정보를 포함하는 마스크 시퀀스를 이용하고,
   새로운 마스크 시퀀스에 오리지날 입력 시퀀스 및 오리지날 마스크 시퀀스를 곱해 입력 시퀀스와 마스크 시퀀스에서 누락 데이터를 더 생성하여 누락 데이터 예측 모델을 학습시키는 것인,
   누락 데이터 예측 방법.
4. 제 2 항에 있어서,
   상기 누락 데이터 예측 모델은 각 학습 주기마다 상기 누락 데이터 생성 테크닉을 이용하여 생성한 무작위로 누락되는 데이터로 학습된 것인,
   누락 데이터 예측 방법.
5. 제 1 항에 있어서,
   상기 누락 데이터 예측 모델은 관측값이 있는 위치에 해당하는 손실을 계산하여 정의된 관측손실함수를 포함하는,
   누락 데이터 예측 방법.
6. 제 2 항에 있어서,
   상기 누락 데이터 예측 모델은 상기 누락 데이터 생성 테크닉을 사용하는 경우 적용된 마스크에 기초하여 최적화된 손실함수를 포함하고,
   상기 마스크는 생성된 추가적인 누락 데이터 및 유효한 데이터의 위치 정보를 포함하는 것인,
   누락 데이터 예측 방법.
7. 제 1 항에 있어서,
   상기 (c) 단계 이후, 단말로부터 수신된 데이터 세트를 입력으로 누락 데이터 예측 모델을 통해 누락 데이터 예측 결과값을 생성하는 단계; 를 더 포함하는,
   누락 데이터 예측 방법.
8. 누락 데이터 예측 장치에 있어서,
   누락 데이터 예측 프로그램이 저장된 메모리;
   상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
   상기 프로세서는 상기 프로그램의 실행에 의해, 네트워크를 통해 불규칙한 시공간 데이터를 수집하고, 수집된 상기 불규칙한 시공간 데이터에 기초하여 학습 데이터를 생성하고, 상기 학습 데이터를 입력으로 누락된 데이터를 예측하도록 누락 데이터 예측 모델을 학습시키고,
   상기 누락 데이터 예측 모델은 부분 합성곱(Partial convolution)과 합성곱 LSTM(ConvLSTM)이 결합된 PConvLSTM(Partial Convolutional Long-Short-Term-Memory-Network)을 통해 학습된 것인,
   누락 데이터 예측 장치.
9. 제 8 항에 있어서,
   상기 프로세서는 누락 데이터 생성 테크닉(Generating missing technique)을 통해 추가적인 누락 데이터를 포함하는 학습 데이터를 생성하는 것인,
   누락 데이터 예측 장치.
10. 제 9 항에 있어서,
    상기 누락 데이터 생성 테크닉은 추가적인 누락 데이터를 생성하기 위해 누락 데이터의 위치 정보를 포함하는 마스크 시퀀스를 이용하는 것이고,
    상기 프로세서는 새로운 마스크 시퀀스에 오리지날 입력 시퀀스 및 오리지날 마스크 시퀀스를 곱해 입력 시퀀스와 마스크 시퀀스에 누락 데이터를 더 생성하여 누락 데이터 예측 모델을 학습시키는 것인,
    누락 데이터 예측 장치.
11. 제 9 항에 있어서,
    상기 누락 데이터 예측 모델은 각 학습 주기마다 상기 누락 데이터 생성 테크닉을 이용하여 생성한 무작위로 누락되는 데이터로 학습된 것인,
    누락 데이터 예측 방법.
12. 제 8 항에 있어서,
    상기 누락 데이터 예측 모델은 관측값이 있는 위치에 해당하는 손실을 계산하여 정의된 관측손실함수를 포함하는,
    누락 데이터 예측 장치.
13. 제 9 항에 있어서,
    상기 누락 데이터 예측 모델은 상기 누락 데이터 생성 테크닉을 사용하는 경우 적용된 마스크에 기초하여 최적화된 손실함수를 포함하고,
    상기 마스크는 생성된 추가적인 누락 데이터 및 유효한 데이터의 위치 정보를 포함하는 것인,
    누락 데이터 예측 장치.
14. 제 8 항에 있어서,
    상기 프로세서는 단말로부터 수신된 데이터 세트를 입력으로 누락 데이터 예측 모델을 통해 누락 데이터 예측 결과값을 생성하는,
    누락 데이터 예측 장치.
15. 제 1 항에 따르는 누락 데이터 예측 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.

Images