KR20200087347A - Tsn을 이용한 도로 감시 카메라 영상의 강우량 인식방법 및 장치 - Google Patents

Abstract

TSN을 이용한 도로 감시 카메라 영상의 강우량 인식방법 및 장치가 제시된다. TSN을 이용한 도로 감시 카메라 영상의 강우량 인식방법은 영상의 RGB 프레임을 보완하기 위해 RGB 프레임 사이 차이와 광학 흐름 이미지를 활용하여 미리 학습된 CNN 모델을 사용해 영상 내 프레임의 특징을 추출하는 단계, 시계열 분석이 가능한 LSTM 모델을 통해 프레임과 프레임 사이 관계를 학습하는 단계, 딥 러닝 모델을 학습하기 위해 검증된 데이터를 수집하는 단계 및 원시 기상 데이터 및 딥 러닝 모델을 활용하여 영상 내 강우량을 인식하는 단계를 포함한다.

Description

TSN을 이용한 도로 감시 카메라 영상의 강우량 인식방법 및 장치{Method and Apparatus for Rainfall Recognition from Road Surveillance Videos Using TSN}

본 발명은 TSN을 이용한 도로 감시 카메라 영상의 강우량 인식방법 및 장치에 관한 것이다.

생물 지구 화학적 순환 (Biogeochemical Cycle)은 생물권과 비생물권 사이 상호작용을 통해 지구 상의 물질이 이동하는 현상으로, 물의 순환 (Oki and Kanae, 2006; Ramanathan et al., 2001; Chahine, 1992), 탄소의 순환 (Prentice et al., 2001; Falkowski et al.,2000), 질소의 순환 (Galloway et al., 2004), 산소의 순환 (Walker, 1980) 등이 대표적이다. 그 중, 강우는 물의 순환 과정에서 매우 핵심적인 요소 중 하나이며, 이를 통해 바다의 물이 강, 지하, 호수 등으로 유입될 수 있다. 또한, 강우는 대기 중 미세 먼지 농도 (Guo et al., 2016; Kim et al., 2014), 대기의 온도 감소 등 대기 의 상태에도 영향을 미친다고 알려져 있다. 이러한 강우와 관련된 대기 및 기후 연구를 수행하기 위해선 일정 시간 동안 일정한 곳에 내린 비의 분량을 나타내는 강우량을 지속적으로 관측 및 분석하는 과정이 매우 중요하다. 특히, 높은 공간 해상도의 강우량 정보 (Berg et al., 2016; Lobligeois et al., 2014)는 이러한 효과들에 대한 정량적인 분석에 도움을 줄 수 있으며, 이를 통해 보다 통찰력 있는 설명을 제공할 수 있다.

일 측면에 있어서, 본 발명에서 제안하는 TSN을 이용한 도로 감시 카메라 영상의 강우량 인식방법은 영상의 RGB 프레임을 보완하기 위해 RGB 프레임 사이 차이와 광학 흐름 이미지를 활용하여 미리 학습된 CNN 모델을 사용해 영상 내 프레임의 특징을 추출하는 단계, 시계열 분석이 가능한 LSTM 모델을 통해 프레임과 프레임 사이 관계를 학습하는 단계, 딥 러닝 모델을 학습하기 위해 검증된 데이터를 수집하는 단계 및 원시 기상 데이터 및 딥 러닝 모델을 활용하여 영상 내 강우량을 인식하는 단계를 포함한다.

도 1 내지 도 5는 본 발명의 일 실시예에 따른 TSN을 이용한 도로 감시 카메라 영상의 강우량 인식방법 및 장치를 설명하기 위한 도면이다.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

전통적으로, 기상청은 다수의 종관 기상 관측 장비 (Automated Surface Observing System, ASOS)와 방재 기상 관측 장비 (Automatic Weather System, AWS)를 설치해 기상 정보를 수집한다. 하지만, 도로 수준의 기상 정보를 수집하기 위해 충분한 수의 기상 관측 장비를 설치하는 것은 큰 비용을 필요로 한다. 한편, 교통 상황을 감시하기 위해 도로에는 다수의 감시 카메라가 설치되어 있다. 만약 추가 비용 없이 도로의 감시 카메라 영상을 획득할 수 있고, 해당 영상으로부터 도로에 내리는 강우량을 예측할 수 있다면, 고가의 기상 관측 장비를 도로에 설치하지 않아도 도로 수준의 강우량 정보를 획득할 수 있을 것이다. 최근 Convolutional Neural Network (CNN) (LeCun et al., 1998)와 같은 딥 러닝 (Deep Learning) 모델이 다양한 작업에서 높은 성능을 보여주고 있다. 특히, 이미지와 영상을 분류하는 문제에서 매우 만족할 만한 성능을 보여주고 있기 때문에, 본 발명에서는 딥 러닝 모델을 활용해 도로의 감시 카메라 영상으로부터 강우량 인식을 수행하려 한다.

이러한 목표를 달성하기 위해선, 영상으로부터 비의 특징 (Feature)을 학습하고, 이러한 특징을 강우량으로 변환하는 방법의 제시가 필요하였다. 강우량 인식은 컴퓨터 비전 (Computer Vision) 분야의 영상 분류/회귀 작업으로 생각할 수 있다. 현재 대부분 의 영상 분류 연구는 영상의 이해에 집중되어 있으며(Abu-El-Haija et al., 2016; Soomro et al., 2012), 해당 연구를 진행하기 위해 Single-Stream Network (Diba et al., 2017; Qiu et al., 2017; Donahue et al., 2015; Tran et al., 2015; Karpathy et al., 2014)와 Two-Stream Network (Carreira and Zisserman, 2017; Wang et al., 2016; Simonyan and Zisserman, 2014), 두 구조의 신경망이 사용되고 있다. 또한, 비와 관련된 기존의 컴퓨터 비전 연구는 강우 여부를 인식하고, 빗방울을 제거하는 것에 국한되어 있었다 (Kang et al., 2012; Xue et al., 2012; Shen and Xue, 2011; Garg and Nayar, 2004). Shi et al. (2015)은 레이더의 반향 데이터를 사용해 현재 강우량을 예보하는 Convolutional Long Short Term Memory (LSTM) Network를 제안하였다.

본 발명은 도로의 감시 카메라의 영상을 사용하기 때문에 해당 연구와의 차별성이 존재한다. Shin et al. (2015)은 모서리 (Edge) 픽셀의 개수를 활용해 비와 맑음 두 기상 상황을 구분하는 방법을 제안하였다.

해당 연구는 본 발명과 마찬가지로 감시 카메라의 영상을 활용하지만, 강우 여부 인식과 강우량 수치 인식이라는 목표에 차이가 존재한다. Bae et al. (2016)은 수동으로 강우의 특징을 정의해 감시 카메라 이미지의 픽셀 정보로부터 강우량을 판별하는 방법을 제안하였다. 해당 연구는 적은 수의 데이터를 사용하며, 강우량 판별 절차를 사람이 쉽게 이해할 수 있었다. 하지만 해당 연구에는 여전히 두 가지 문제점이 존재한다. 첫째, 해당 연구는 강우량 단계를 영상의 레이블로 정의했지만, 강우량 단계와 강우량 사이의 관계를 명확하게 언급하지 않았다. 둘째, 해당 연구는 영상 내 빗방울의 가시성 (Visibility)에 의존하기 때문에, 빗방울이 뚜렷하지 않을 경우 판별 성능이 저하되었다. Dong et al. (2017) 또한 감시 카메라 영상 내 빗방울을 탐지해 강우량을 측정하는 방법을 제시하였다. 해당 연구는 강우량을 연속적인 수치로 측정할 수 있었지만, 추정 오차가 여전히 크다는 문제가 있었으며, 마찬가지로 빗방울의 가시성이 성능에 많은 영향을 주었다. Lee et al. (2018)은 Region Of Interes(ROI) 데이터 패턴이라는 새로운 특징을 정의하고, 해당 패턴의 군집화를 통한 강우량 추정 방법을 제안하였다. 또한, 해당 연구는 감시 카메라 영상 내 최적의 ROI를 탐색하기 위한 알고리즘을 제안하였다. 하지만, 다양한 환경에 대한 해당 알고리즘의 강건성(Robustness)은 여전히 불확실하다. 이러한 연구들과 비교했을 때, 본 발명의 방법은 영상 내 비의 특징을 자동으로 추출할 수 있으며, 단대단 (End-to-End) 방식으로 영상의 강우량 인식을 수행할 수 있다는 장점이 있다. 하지만 본 발명의 방법은 학습을 위해 많은 수의 데이터를 필요하며, 자동으로 추출한 특징을 이해하기 어렵다는 단점이 있다. Ko et al. (2017)은 CNN-LSTM Network를 사용해 강우량을 판별하는 방법을 제안하였다. 해당 연구는 미리 학습된 CNN 모델을 사용해 영상 내 프레임의 특징을 추출하였고, 시계열 (Time Series) 분석이 가능한 LSTM (Hochreiter and Schmidhuber, 1997) 모델을 통해 프레임과 프레임 사이 관계를 학습하였다. 본 발명의 방법은 미리 학습된 CNN 모델을 사용하면서도, 해당 모델의 특징 추출 성능을 향상시키기 위해 미세 조정 (Finetune) (Bengio, 2012; Caruana, 1995)을 수행하였다.

게다가, 본 발명의 방법은 영상의 RGB 프레임을 보완하기 위해 RGB 프레임 사이 차이와 광학 흐름(Optical Flow) (Gibson, 1950) 이미지를 활용하였다.

그 다음으로, 딥 러닝 모델을 학습하기 위해선 충분한 양의 검증된 데이터를 수집하는 방법의 제시가 필요하였다. 본 발명은 궁극적으로 고속도로에 설치된 감시 카메라의 영상을 수집하고, 감시 카메라 근처의 ASOS/AWS에서 측정한 강우량을 수집한 영상의 레이블로 취급해 강우량 인식 모델을 학습하려 한다. 하지만, 실제 고속도로 감시 카메라 영상의 해상도가 매우 낮기 때문에, 사람조차도 영상으로부터 날씨를 판별하기가 매우 어려웠으며, 감시 카메라가 설치된 장소에 강우량 측정 장치가 위치한 것이 아니기 때문에, 영상의 강우량 레이블을 정밀하게 생성하는 과정에도 많은 어려움이 있었다. 예를 들어, 도 1(a)를 참고하면, 비 구름이 감시 카메라와 ASOS/AWS의 사이 직선 방향과 평행하게 움직일 경우, 이러한 거리가 시간 지연을 발생시킬 수 있었다. 도 1(b)와 (c)의 경우, 비 구름이 감시 카메라와 ASOS/AWS 사이 직선 방향과 수직으로 움직이기 때문에, 두 지역의 강우량 혹은 날씨가 상이할 수 있었다. 또한, ASOS/AWS는 강우량을 0.1 또는 0.5 mm 단위로 측정한다. 따라서 임의의 고정된 시간 간격 사이 강우량을 정확하게 산출할 수 없었다.

이러한 문제를 해결하기 위해, 본 발명에서는 교내에 직접 감시 카메라를 설치하고, 감시 영상을 수집하였다. 그리고, 원시 기상 데이터로부터 더욱 정밀한 강우량을 추정하는 방법과, Temporal Segment Network (TSN) (Wang et al., 2016) 딥 러닝 모델을 활용한 영상 내 강우량 인식 방법을 제안하였다. 본 발명은 세 종류의 입력 데이터를 준비하고, 다양한 데이터 확장 (Data Augmentation) 기법을 적용해 영상 내강우량 인식 실험을 수행하였다. 그 결과, 최종적으로 제안한 모델이 단일 지역 대상 낮은 정밀도 분류 실험에서 가장 높은 성능을 보였으며, 단일 및 다중 지역 대상 높은 정밀도 분류 실험에서도 상당한 정확도를 보였다.

영상에서 비의 특징을 학습하는 것은 매우 어려운 문제이다. 엄청난 폭우가 내리지 않는 한, 단일 프레임에서 비를 명확하게 관찰하기 어렵기 때문이다. 또한, 강우의 강도에 따라 다양한 밀도의 빗줄기가 한 프레임 내 다양한 구역에 존재할 수 있다. 따라서 본 발명에서는 복잡한 이미지에서도 특징을 효과적으로 학습할 수 있는 CNN 모델을 활용해 비의 특징을 학습하였다. 모델이 비를 더 효율적으로 학습할 수 있도록, 본 발명에서는 영상의 RGB 프레임과 함께 RGB 프레임 사이의 차이를 입력으로 사용하였다. RGB 프레임 사이의 차이는 영상 내 연속하는 두 프레임 사이의 차이를 계산하는 방식으로 생성하였다. 이러한 RGB 프레임 사이 차이를 사용해, 카메라의 움직임이 없는

환경에서 비와 배경의 분리를 수행하였다. 또한, 본 발명에서는 영상의 광학 흐름 이미지를 모델의 입력으로 사용하였다. 광학 흐름 이미지는 시간에 따라 변화하는 행동을 인식하기 위해 주로 사용되는 방법이다.

본 발명은 TSN 딥 러닝 모델을 사용해 강우량 인식을 수행하였다. 본 발명에서 TSN을 선택한 이유는 다음과 같다. 첫째, TSN은 3D CNN (Tran et al., 2015) 및 다수의 다른 모델보다 데이터 효율적이다 (de Souza, 2018). TSN은 2016년 이후로 영상의 행동 인식 분야에서 가장 높은 성능을 보이고 있는 딥 러닝 모델이다. 둘째, TSN은 Two-Stream 구조를 확장하고 있기 때문에 근본적으로 다양한 종류의 입력을 지원한다. 이를 활용해, 본 발명에서는 비를 효율적으로 탐지할 수 있다고 생각되는 RGB 프레임 사이 차이나 광학 흐름 이미지를 입력으로 사용하였다. 셋째, TSN은 배치 정규화 (Batch Normalization) (Ioffe and Szegedy, 2015), Dropout (Srivastava et al., 2014), 사전 훈련 (Pre-training) (Erhan et al., 2010; Bengio et al., 2007) 기술을 적극적으로 사용한다. 본 발명에서는 사용 가능한 데이터의 수가 소량이었기 때문에, 과적합 (Overfitting)을 방지하기 위해 이와 같은 기술이 매우 중요하였다.

강우량 인식 모델을 학습하기 위해, 본 발명은 도 2와 같이 입력 영상을 동일한 길이의 세 조각으로 나누었다. 그 다음, 각 조각에서 무작위로 프레임 표본들을 추출하였다. 그 후, 기존의 Two-Stream 구조를 따라 공간 네트워크와 시간 네트워크를 각각 독립적으로 학습하였다. 본 발명에서는 표본들 사이의 평균을 통해 공간 및 시간 점수를 각각 결합하였다. 그후, 최종적인 공간 및 시간 점수를 가중치 평균을 통해 융합하였고, Softmax를 적용해 강우량 레이블의 분포를 산출하였다.

검증된 데이터를 수집하기 위해, 본 발명에서는 감시 카메라를 교내에 설치하고, 감시 영상을 수집하였다. 1장에서 언급한 이유로 인해, 감시 영상이 나타내는 정확한 강우량을 측정하는 것은 불가능하였다. 따라서 본 발명에서는 원시 기상 데이터에 통계적인 보정을 적용해 더 정밀한 강우량을 추정하는 방법을 다음과 같이 제시하였다. 본 발명의 실험은 이렇게 추정한 강우량을 영상의 정답 (Ground Truth) 레이블로 사용하였다.

단계 1: 교내에 설치한 감시 카메라와 가장 가까운 ASOS/AWS에서 측정한 강우량 데이터를 수집하였다. 본 발명의 경우, 감시 카메라와 650 m 거리에 위치한 대전 지방 기상청의 원시 기상 데이터를 사용하였다. 해당 원시 기상 데이터는 기상청의 기상자료 개방 포털에서 내려 받을 수 있었다.

단계 2: ASOS/AWS에서 측정한 1분 강우량과 강우유무를 사용해, 통계적으로 1분 강우량을 추정하였고, 그 후 더욱 정확한 5분 강우량을 계산하였다. 도 3을 참고하면, ASOS/AWS에서 측정한 1분 강우량은 대부분 0을 보고하고 있었다. 하지만, 강우는 연속적으로 발생하기 때문에 보고된 수치가 실제 상황과 일치하지 않았다. 이는 용기가 가득 찰 경우에만 강우량을 보고하는 우량계의 작동 방식과도 관련이 있었다. 이러한 문제를 해결하기 위해, 본 발명에서는 0이 아닌 1분 강우량이 보고된 시점에서, 이전에 처음으로 강우량이 0으로 보고된 시점 사이의 1분 강우량을 평균해, 실제 1분 강우량을 추정하였다. 또한, AWS의 경우 강우 유무를 보고하기 때문에, 강우가 멈춘 시점을 결정할 때 해당 정보를 활용하였다. 그 후, 추정한 1분 강우량을 5분 단위로 누적해, 최종 5분 강우량을 계산하였다.

단계 3: 추정한 5분 강우량을 수동으로 검증하였다. 감시 카메라와 가장 가까운 ASOS/AWS에서 측정한 강우량을 사용하였지만, 두 지점 사이의 거리로 인해 영상과 강우량 사이의 불일치가 발생할 수 있었다. 게다가, 원시 기상 데이터가 오류를 포함하는 경우도 존재하였다. 따라서 본 발명에서는 모든 영상을 확인하며, 영상과 강우량이 명백히 불일치한 경우를 제외하였다.

본 발명은 강우량 판별 문제를 분류 방식으로 해결하고자 하였으며, 따라서 입력 영상을 5분 강우량으로 분류하였다. 이를 위해, 본 발명은 200개 이상의 5분 길이 감시 카메라 영상을 무작위 추출하였다. 도 4는 추출한 5분 길이 감시 카메라 영상의 강우량 레이블 분포를 보여준다. 참고로, 0 mm는 비가 방금 멈추었음을 의미한다. 도 4를 보면, 높은 강우량 레이블에 속한 영상보다 낮은 강우량 레이블에 속한 영상의 개수가 더 많음을 확인할 수 있었다. 딥 러닝 모델을 학습하기 위해선 많은 수의 데이터가 필요하기 때문에, 본 발명에서는 0, 0.1, 0.2, 0.3, 0.4, 0.5 mm 5분 강우량 레이블에 속한 영상만을 사용하였다.

본 발명의 방법은 영상을 대상으로 하기 때문에, 영상 내 물체, 카메라의 각도, 확대 여부, 주변 밝기 등 영상의 프레임에 영향을 미치는 많은 요인들이 강우량 인식에 영향을 줄 수 있었다. 이러한 요인들의 영향을 줄이며 궁극적으로는 데이터의 규모를 확장하기 위해, 본 발명에서는 오려내는 위치, 확대 비율, 밝기 변화를 통해 새로운 영상의 프레임을 합성하는 데이터 확장을 수행하였다. 참고로, 안개와 같이 본 발명에서 다루지 않은 많은 변수가 여전히 존재함을 유의해야 한다.

본 발명은 TSN의 원 발명에서 언급된 다양한 기술을 사용해 TSN 모델의 학습을 진행하였다 (Wang et al., 2016). 준비한 감시 카메라 영상 및 강우량 레이블을 사용해 TSN 모델의 학습을 완료하면, 해당 모델은 도 5의 절차에 따라 새로운 영상의 강우량을 인식할 수 있었다

본 발명에서는 딥 러닝을 이용하여 도로의 감시 영상으로부터 강우량을 인식하는 방법을 제안하였다. 목표를 달성하기 위해, 본 발명은 새로운 데이터를 수집하고, 원시 기상 데이터로부터 정제된 강우량 계산 방법을 제안하였다. 또한, 영상의 프레임 사이 차이와 광학 흐름 이미지를 활용한 더 높은 성능의 강우량 인식 방법을 제안하였다. 본 발명은 TSN 모델을 사용해 다수의 비교 실험을 진행하였다. 실험의 결과는 RGB 이미지와 RGB 프레임 사이 차이 조합을 입력으로 사용할 때 가장 효과적으로 강우량 인식 문제를 해결할 수 있음을 보였다. 해당 조합은 낮은 민감도 실험에서 94.4%의 정확도를, 높은 민감도 실험에서 70.8%의 정확도를, 다중 지역 대상 실험에서 78.9%의 정확도를 기록하였다. 이는 본 발명에서 제시한 방법이 도로의 감시 카메라 영상으로부터 70% 이상의 정확도로 강우량을 인식할 수 있음을 의미한다. 또한, 영상 사이의 강우량 레이블 간격이 증가할 수록 강우량 인식 정확도가 증가함을 확인할 수 있었다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (1)

1. 영상의 RGB 프레임을 보완하기 위해 RGB 프레임 사이 차이와 광학 흐름 이미지를 활용하여 미리 학습된 CNN 모델을 사용해 영상 내 프레임의 특징을 추출하는 단계;
   시계열 분석이 가능한 LSTM 모델을 통해 프레임과 프레임 사이 관계를 학습하는 단계;
   딥 러닝 모델을 학습하기 위해 검증된 데이터를 수집하는 단계; 및
   원시 기상 데이터 및 딥 러닝 모델을 활용하여 영상 내 강우량을 인식하는 단계
   를 포함하는 강우량 인식방법.

Images