KR102588415B1 - 인공지능 기반 cctv 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치 - Google Patents

Abstract

본 발명은 해안의 CCTV 원본 영상 및 이안류 관측용의 해양 관측자료를 토대로 이안류 라벨링 영상정보들을 확보 후 이에 대한 인공지능의 학습을 통해 이안류 예측 모델을 구축함으로써, 이렇게 구축된 이안류 예측 모델에 실시간의 CCTV 원본 영상 및 해양 관측자료를 적용하여 이안류 발생에 대한 예측을 그 발생 시간 및 확률에 이르는 비교적 정확한 예측 정보로써 획득할 수 있도록 하는 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치에 관한 것으로서, 본 발명에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치는 이안류 라벨링 데이터베이스부, 이안류 예측 학습용 인공지능모듈, 이안류 예측부 및 이안류 예측결과 출력부를 포함하여 구성된다.

Description

인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치{Method for predicting rip current using observation data based on artificial intelligence and apparatus thereof}

본 발명은 측지측량 기술 분야 중 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 해안의 CCTV 원본 영상 및 이안류 관측용의 해양 관측자료를 토대로 이안류 라벨링 영상정보들을 확보 후 이에 대한 인공지능의 학습을 통해 이안류 예측 모델을 구축함으로써, 이렇게 구축된 이안류 예측 모델에 실시간의 CCTV 원본 영상 및 해양 관측자료를 적용하여 이안류 발생에 대한 예측을 그 발생 시간 및 확률에 이르는 비교적 정확한 예측 정보로써 획득할 수 있도록 하는 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치에 관한 것이다.

이안류(rip current)는 해안에서 먼 바다 쪽으로 빠르게 이동하는 폭 좁은 바닷물의 흐름을 말하며, 이러한 이안류는 기상 상태가 양호한 경우에도 나타나고, 수심이 얕은 곳에 있던 해수욕객을 순식간에 수심이 깊은 먼 바다로 이동시키는 현상을 발생시키므로, 여름철 해안에서 인명사고를 유발하는 대표적인 요인 중 하나이다.

이안류를 예측하는 기존 방식은 수치모델링을 기반으로 이루어져왔고, 컴퓨터 연산 속도 및 용량에서 큰 한계점이 있어 돌발적으로 빠르게 발생하는 현상인 이안류에 적용하기 어려움이 있다.

또한, 한국 등록특허 제10-1814644호인 “이안류 계측 및 예측 시스템”이 개시되어 있지만, 해당 기술은 연안에 설치되어 해상의 X-밴드 영상 데이터를 제공하는 레이더와, 해상의 해석영역을 복수개로 지정하며 각각의 해석영역에서의 X-밴드 영상 데이터를 가공하여 이안류 발생여부를 계측하고 각각의 해석영역에서의 X-밴드 영상 데이터를 가공하여 너울성 파도를 계측 후 이안류 계측 데이터와 너울성 파도 계측 데이터로부터 이안류 발생 가능성을 예측하는 이안류 계측 및 예측 서버를 포함하는 기술이다.

그러나 상술한 “이안류 계측 및 예측 시스템”의 경우 추가 보정 작업이 많이 필요하며, 따라서 실시간 예측에 불리한 동시에 설치 비용이 막대한 것이었다.

한국 등록특허 제10-1814644호(2018.01.04.공고), “이안류 계측 및 예측 시스템” 한국 등록특허 제10-2130763호(2020.07.08.공고), ““드론과 염료를 이용한 이안류 발생 특성 분석 시스템”

본 발명의 실시 예는 해안의 CCTV 원본 영상 및 이안류 관측용의 해양 관측자료를 토대로 이안류 라벨링 영상정보들을 확보 후 이에 대한 인공지능의 학습을 통해 이안류 예측 모델을 구축함으로써, 이렇게 구축된 이안류 예측 모델에 실시간의 CCTV 원본 영상 및 해양 관측자료를 적용하여 이안류 발생에 대한 예측을 그 발생 시간 및 확률에 이르는 비교적 정확한 예측 정보로써 획득할 수 있도록 하는 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치를 제공한다.

본 발명의 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법은, CCTV(Closed-circuit Television)에서 해안을 촬영한 영상(이하 “CCTV 원본 영상”이라 함)별로 이안류를 표시한 이안류 라벨링 영상정보들 및 상기 CCTV 원본 영상별 그 촬영 시간의 해양 관측자료가 함께 매핑되어 이안류 라벨링 데이터베이스부에 저장되는 단계와, 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보들 및 각 이안류 라벨링 영상정보와 개별 매핑된 상기 해양 관측자료를 토대로 이안류 예측 학습용 인공지능모듈에서 딥러닝 또는 머신러닝을 수행하여 사전 설정되는 이안류 예측 시간별 이안류 발생 확률을 실시간으로 산출하기 위한 이안류 예측 모델을 생성하는 단계와, (c) 이안류 예측부에서 해안 촬영용 CCTV로부터 수신되는 CCTV 원본 영상 및 해당 CCTV 원본 영상이 수신된 시간의 해양 관측자료를 상기 이안류 예측 모델에 적용하여 이안류 발생 확률을 계산하는 단계와, 이안류 예측결과 출력부에서 상기 이안류 예측부를 통해 계산된 이안류 발생 확률을 그래프 또는 표로 나타내는 단계를 포함할 수 있다.

또한, 상기 이안류 라벨링 영상정보에서의 이안류 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 표시되는 것일 수 있다.

또한, 상기 이안류 라벨링 데이터베이스부에는 상기 이안류 라벨링 영상정보별 이안류를 표시한 사각형의 각 꼭지점 좌표가 저장되는 것일 수 있다.

그리고 본 발명의 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치는, CCTV(Closed-circuit Television)에서 해안을 촬영한 영상(이하 “CCTV 원본 영상”이라 함)별로 이안류를 표시한 이안류 라벨링 영상정보들 및 상기 CCTV 원본 영상별 그 촬영 시간의 해양 관측자료가 함께 매핑되어 저장되는 이안류 라벨링 데이터베이스부와, 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보들 및 각 이안류 라벨링 영상정보와 개별 매핑된 상기 해양 관측자료를 토대로 딥러닝 또는 머신러닝을 수행하여 사전 설정되는 이안류 예측 시간별 이안류 발생 확률을 실시간으로 산출하기 위한 이안류 예측 모델을 생성하는 이안류 예측 학습용 인공지능모듈과, 해안 촬영용 CCTV로부터 수신되는 CCTV 원본 영상 및 해당 CCTV 원본 영상이 수신된 시간의 해양 관측자료를 상기 이안류 예측 학습용 인공지능모듈의 이안류 예측 모델에 적용하여 이안류 발생 확률을 계산하는 이안류 예측부와, 상기 이안류 예측부에서 계산된 이안류 발생 확률을 그래프 또는 표로 나타내는 이안류 예측결과 출력부를 포함할 수 있다.

또한, 상기 이안류 라벨링 영상정보에서의 이안류 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 표시되되, 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당하는 것일 수 있다.

또한, 상기 해양 관측자료에는 이안류 지수, 파고, 파주기, 조위, 풍향, 풍속, 해수욕장 입사각도, 첨두주기, 첨두파향, 주파수 스펙트럼 확산계수, 파향 스펙트럼 확산계수가 포함되는 것일 수 있다.

본 발명의 실시 예에 따르면, 해안의 CCTV 원본 영상 및 이안류 관측용의 해양 관측자료를 토대로 이안류 라벨링 영상정보들을 확보 후 이에 대한 인공지능의 학습을 통해 이안류 예측 모델을 구축함으로써, 이렇게 구축된 이안류 예측 모델에 실시간의 CCTV 원본 영상 및 해양 관측자료를 적용하여 이안류 발생에 대한 예측을 그 발생 시간 및 확률에 이르는 비교적 정확한 예측 정보로써 획득할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법을 개략적으로 예시한 도면
도 2는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법을 예시한 플로우챠트
도 3은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치를 예시한 블록 구성도
도 4는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치에서 CCTV 원본 영상에 이안류가 사각형 형태로 표시되는 예를 나타낸 도면
도 5는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치에서 이안류 예측 학습용 인공지능모듈의 성능 계산에 활용되는 혼동행렬을 설명하는 도면
도 6은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치에서 이안류 예측 학습용 인공지능모듈의 학습 수행을 예시한 도면
도 7은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치에서 이안류 예측결과 출력부를 통한 이안류 예측 결과의 출력을 예시한 도면

이하의 본 발명에 관한 상세한 설명들은 본 발명이 실시될 수 있는 실시 예이고 해당 실시 예의 예시로써 도시된 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명의 실시에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 기재된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.

따라서 후술되는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

발명에서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”,　＂…모듈“ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

도 1 내지 도 7을 참조하여 본 발명의 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법 및 그 장치에 대해 설명한다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법에 대해 설명한다.

도 1은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법을 개략적으로 예시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법을 예시한 플로우챠트이다.

도시된 바와 같이 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법은 단계(S110)에서, (a) CCTV(Closed-circuit Television)에서 해안을 촬영한 영상(이하 “CCTV 원본 영상”이라 함)별로 이안류를 표시한 이안류 라벨링 영상정보들 및 상기 CCTV 원본 영상별 그 촬영 시간의 해양 관측자료가 함께 매핑되어 이안류 라벨링 데이터베이스부에 저장된다.

단계(S120)에서, 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보들 및 각 이안류 라벨링 영상정보와 개별 매핑된 상기 해양 관측자료를 토대로 이안류 예측 학습용 인공지능모듈에서 딥러닝 또는 머신러닝을 수행하여 사전 설정되는 이안류 예측 시간별 이안류 발생 확률을 실시간으로 산출하기 위한 이안류 예측 모델을 생성한다.

단계(S130)에서, 이안류 예측부에서 해안 촬영용 CCTV로부터 수신되는 CCTV 원본 영상 및 해당 CCTV 원본 영상이 수신된 시간의 해양 관측자료를 상기 이안류 예측 모델에 적용하여 이안류 발생 확률을 계산한다.

단계(S140)에서, 이안류 예측결과 출력부에서 상기 이안류 예측부를 통해 계산된 이안류 발생 확률을 그래프 또는 표로 나타낸다.

그리고 상기 이안류 라벨링 영상정보에서의 이안류 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 표시된다.

또한 상기 이안류 라벨링 데이터베이스부에는 상기 이안류 라벨링 영상정보별 이안류를 표시한 사각형의 각 꼭지점 좌표가 저장된다.

다음은 도 3 내지 도 7을 참조하여 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치에 대해 설명한다.

도 3은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치를 예시한 블록 구성도이다.

도시된 바와 같이, 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치는 이안류 라벨링 데이터베이스부(100), 이안류 예측 학습용 인공지능모듈(200), 이안류 예측부(300) 및 이안류 예측결과 출력부(400)를 포함하여 구성된다.

이안류 라벨링 데이터베이스부(100)는 CCTV(Closed-circuit Television)에서 해안을 촬영한 영상(이하 “CCTV 원본 영상”이라 함)별로 이안류를 표시한 이안류 라벨링 영상정보들 및 상기 CCTV 원본 영상별 그 촬영 시간의 해양 관측자료가 함께 매핑되어 저장된다.

그리고 상기 이안류 라벨링 영상정보에서의 이안류 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 표시된다. 이때 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당한다.

또한 상기 해양 관측자료에는 이안류 지수, 파고, 파주기, 조위, 풍향, 풍속, 해수욕장 입사각도, 첨두주기, 첨두파향, 주파수 스펙트럼 확산계수, 파향 스펙트럼 확산계수가 포함된다.

이안류 예측 학습용 인공지능모듈(200)은 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보들 및 각 이안류 라벨링 영상정보와 개별 매핑된 상기 해양 관측자료를 토대로 딥러닝 또는 머신러닝을 수행하여 사전 설정되는 이안류 예측 시간별 이안류 발생 확률을 실시간으로 산출하기 위한 이안류 예측 모델을 생성한다.

이안류 예측부(300)는 해안 촬영용 CCTV로부터 수신되는 CCTV 원본 영상 및 해당 CCTV 원본 영상이 수신된 시간의 해양 관측자료를 이안류 예측 학습용 인공지능모듈(200)의 이안류 예측 모델에 적용하여 이안류 발생 확률을 계산한다.

이안류 예측결과 출력부(400)는 이안류 예측부(300)에서 계산된 이안류 발생 확률을 그래프 또는 표로 나타낸다.

그리고 상술한 이안류 라벨링 데이터베이스부(100), 이안류 예측 학습용 인공지능모듈(200), 이안류 예측부(300) 및 이안류 예측결과 출력부(400) 각각의 보다 구체적인 구성 및 상호 간 연게 구성에 대해 더 상세히 설명하면 다음과 같다.

이안류 라벨링 데이터베이스부(100)의 상기 이안류 라벨링 영상정보는 도 4와 같이 CCTV 원본 영상에서 나타나는 쇄파 형태의 위치를 확인하고, 해양 관측자료를 전문가가 함께 분석하여 이안류 발생 여부를 라벨링하는 방법을 통해 만들어진다.

여기서 상기 해양 관측자료는 ‘이안류’로 라벨링 된 제1 그룹의 관측자료와, ‘비이안류’로 라벨링 된 제2 그룹의 관측자료를 포함한다. 이안류로 라벨링 된 관측자료들은 여러 시간대 또는 여러 날짜에 걸칠 수 있다. 이안류 예측을 위한 파일 생성에는 시계열 자료 저장에 일반적인 csv파일로 모든 관측 시간을 행 별로 정렬하고 모든 관측 자료를 열에 저장하는 방식을 취할 수 있으며, 모든 저장 방식들은 사용자 편의에 따라 달라질 수 있다.

이안류 예측 학습용 인공지능모듈(200)은 해양 관측자료를 입력 데이터로 하고 이안류 발생 유무 확률을 예측시간까지 정해진 시간 간격으로 출력하도록 모델을 학습한다. 그리고 이안류 예측 학습용 인공지능모듈(200)은 이안류 라벨링 데이터베이스부(100)의 자료를 활용해 학습자료 전처리를 진행하며, 결측값 보간, 정해진 입력 시계열 자료 기간만큼 슬라이딩 윈도우 방식으로 추출하여 학습데이터를 구성하는 과정을 포함한다. 결측값 보간은 사용자가 원하는 알고리즘으로 수행 가능하며 학습자료로 사용할 입력자료 시계열 길이나 몇시간 후를 예측할 것인지 등의 과정은 사용자 선택에 따라 달라질 수 있다. 활용 모델도 머신러닝이나 딥러닝 모델 모두 활용 가능하므로 회기모델이나 판별모델을 활용할 수 있으며 단일 시간을 예측하는 모델과 여러 시계열을 예측하는 모델도 활용할 수 있다.

본 실시 예에서는 seq2seq 회귀 모델을 선택했다. 선택한 모델 세부 구조와 하이퍼파라미터 역시 사용자 선택에 따라 달라질 수 있다. 학습은 지도학습으로 수행되며, 이안류 예측 모델이 샘플 관측자료에서 스스로 특징 값을 추출하여 학습된다.

이안류 예측부(300)는 분석 대상이 되는 관측자료를 획득하고 전문가의 라벨링 과정 없이 이를 학습 완료된 이안류 예측 학습용 인공지능모듈의 이안류 예측 모델에 전달한다. 데이터 획득은 관측 장비, 센터, 관제 서버 등과 연동하여 관측자료를 실시간 혹은 설정 주기로 입력 받을 수 있으며 관리자에 의해 선택된 자료를 입력 받을 수 있다. 획득된 관측자료를 학습이 완료된 예측 모델에 적용하여, 정해진 예측기간 만큼 정해진 시간 간격에 따라 이안류 발생 예측 확률을 반환한다. 단일 시간 예측 모델은 예측 시간의 이안류 발생 확률을 반환하므로 다양한 시간의 예측 정보를 얻고자 하면 다양한 기간의 입력 자료를 모델에 주입하면 된다. 예측 시간은 이안류 예측 학습용 인공지능모듈에서 정한 사용자 정의에 따른다.

이안류 예측결과 출력부(400)는 이안류 예측부(300)에서 예측한 최종 결과를 시계열 그래프나 표 형태로 디스플레이 또는 네트워크 연결된 사용자 단말 등을 통하여 출력하여 제공한다. 여기서 사용자 단말은 데스크탑, 스마트폰, 태블릿 PC, 노트북, 패드 등을 포함할 수 있다.

이러한 본 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치는 입력된 해양 관측자료로부터 이안류를 예측하여 제공하는 웹 서버 또는 앱 서버 등의 온·오프라인 플랫폼으로 구현될 수 있으며, 관리자 단말 등에 응용 프로그램, 어플리케이션 등의 형태로 구현될 수 있다.

이와 같이, 본 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치는 해양 관측자료로부터 이안류를 예측하는 프로세스를 실행시키고 해당 결과를 제공할 수 있으며, 필요로 하는 수요처 혹은 기상 서버 등으로 관련 정보를 제공할 수 있다.

그리고 본 실시 예에 따른 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치에 대해 부연 설명하면 다음과 같다.

이안류 라벨링 데이터베이스부(100)에는 CCTV에서 촬영한 영상에서 관측 가능한 이안류 특징과 해양 관측자료를 활용하여 이안류가 존재하면 라벨이 '1'로 표기하고, 이안류가 존재하지 않으면 라벨이 ‘0’로 표기된다.

여기서, 이안류 관측에 활용되는 기준 이미지는 CCTV 영상에서 해안선이 보이는 해변 영상을 대상으로 하고, 정확한 판별이 가능하도록 CCTV 원본 영상에 오염물질이나 거미줄 등으로 시야를 방해하지 않는 환경에서 촬영된 영상을 사용하는 것이 바람직하다. 다만 해안선에서 사람이 이안류를 판단할 수 있을 만큼 안개가 발생하거나 눈/비가 오는 상황은 분석 대상에 해당한다.

본 실시 예에서 이안류는 하나의 CCTV 원본 영상에서 다양한 모양과 다양한 개수로 생길 수 있음을 가정한다. 하지만 CCTV에서 거리가 먼 구역에 이안류가 발생하거나, 이안류 형태적 특징이 흐리게 나타나 사람의 판별에 혼동을 줄 수 있는 경우는 라벨링에서 제외한다.

본 실시 예에서 이안류의 시각적 특징은 해안가 파도 부분의 포말 중 해안에서 멀어지는 포말 구역, 포말이 단절되고 바다색이 짙은 구역, 파도가 끊기거나 낮아지는 부분을 포함한다. 도 4의 예시 1과 2에 표시와 같이, 이안류 형태에서 해안선과 닿는 부분을 이안류 ‘꼬리’라 하고, 바다로 뻗은 부분의 끝을 이안류 ‘머리’라 하고 꼬리와 머리 사이를 ‘몸통’이라 정한다. 이안류 형태 이미지에서 파도가 치는 중이거나 파도가 지나감에 따라서 머리가 열려 있거나, 뾰족하거나, 볼록하거나, 납작하게 다양한 형태를 보일 수 있다.

이안류 라벨링 데이터베이스부(100)에는 앞서 서술한 방식대로 이안류를 전문가가 CCTV로 이안류 존재 여부를 파악하고 해양 관측자료를 참고하여 최종 이안류를 판정하는 과정을 거친 자료들이 저장된다. 이안류 라벨링은 이안류로 판정되면 ‘1’값으로, 그렇지 않으면 ‘0’값으로 각 시간대별로 저장하고, 해당 시간의 관측자료 값들을 함께 저장한다. 라벨링 데이터는 시계열 예측 모델의 활용성을 위하여 별도의 자료로 취합할 수 있다. 모든 관측시간 순서대로 열에 나열하고, 각 열 별로 관측자료 종류별로 저장한 csv파일 형식이 대표적이다. 이 자료의 장점은 자료품질을 높이기 위해 결측 값을 채우거나, 시간 별로 튀는 값을 보정하는 등 다양한 시계열 자료 전처리 방법을 도입하기 수월하다는 것이다. 이렇게 저장한 자료에 CCTV 원본 영상과 해양 관측자료로 확인한 이안류 유무를 의미하는 이안류 라벨 열을 추가해 예측모델 학습에 활용한다.

이안류 예측 학습용 인공지능모듈(200)은 라벨링 결과로 획득한 시간에 따른 관측자료와 이안류 발생 예측 라벨을 인공지능 기반 모델로 학습한다. 예측 시간은 원하는 만큼 설정할 수 있고, 학습데이터 입력 길이도 원하는 만큼 설정할 수 있지만, 학습 데이터 별로 달라질 수는 없다. 입력자료 가공은 시간별로 sliding window방식으로 현재 시간에서 과거 시간 까지를 입력자료 시간으로 하고, 현재시간에서 예측 시간 까지의 이안류 발생 여부 라벨을 예측 라벨로 한다. 단일 시간 예측 모델이면 정답 라벨은 상수지만, seq2seq 예측모델이면 정답 라벨은 벡터이다. 시계열 자료특성 상 결측이 존재하므로 사용자가 원하는 대로 결측 보간 방법을 적용하여 빈 자료를 채워 넣을 수 있다. 결측 보간을 진행해도 장기간 자료 수집이 되지 않아 결측인 부분은 학습 자료 구축에서 제외할 수 있다. 예측 모델은 다양한 딥러닝 모델 외에 머신러닝 모델도 활용할 수 있는데, 시계열 데이터를 입력 받아 시계열 데이터를 출력하는 seq2seq방식 모델들을 활용할 수도 있고, 단일 예측 모델이라도 입력자료를 여러 시간에 걸쳐 반복적으로 구동하여 원하는 만큼의 예측 시계열을 출력할 수 있다. Seq2seq방식 모델을 구성하는 방식은 주로 1D-CNN혹은 recurrent neural network(RNN) 계열 모델 그리고 transformer계열 모델들이 널리 쓰이고 있다. 단일 예측 모델은 머신러닝 모델 중 tree기반 catboost모델, lightgbm모델, randomforest, xgboost 모델이 많이 쓰이며 단순한 딥러닝 모델인 deep neural network도 많이 활용된다. 본 실시 예에서는 1D-CNN을 계층적으로 쌓은 SCINet을 활용하여 이안류 1시간 예측 성능을 확인했다.

예측 모델 구조는 사용자 목적에 따라 구조가 다양해질 수 있다. 본 실시 예에서 사용한 SCINet은 입력 자료를 짝수/홀수 번째 순서를 따로 떼 내어 1D-CNN 연산을 적용하고, 이 구조를 이진 트리 구조로 구축하고 잔차 연결을 활용하여 중요한 특징이 모델이 깊어지면서 사라지지 않도록 블록을 설계했다. 이 블록을 여러 번 쌓아 하나의 네트워크를 만들었으며, 네트워크를 여러 번 쌓고 잔차 연결을 추가하여 최종 SCINet 구조를 완성했다. 잔차 연결은 딥러닝 모델에서 입력 자료의 특성을 높은 추상화 수준에서도 보존해주는 역할을 하는 연결이며, 많은 시계열 처리 모델에서 사용하는 방법이다. 도 6은 이안류 예측 학습용 인공지능모듈(200)의 학습 수행을 예시한 도면이다.

이안류 예측 모델 학습은 통상적인 인공지능 학습방법 대로 학습자료, 검증자료, 테스트자료로 수집한 자료를 8:1:1 비율로 나누어 활용했다. 학습데이터를 반복적으로 학습 모델에 주입하여 학습을 진행하는 동안 학습데이터 전체를 한번씩 학습할 때마다 검증 데이터로 성능을 측정하여 학습 성능과 검증 성능이 개선이 되는지, 검증데이터 성능이 떨어지지 않는지 확인하여 모델의 학습 상태와 과적합 여부를 확인한다. 학습자료로 모델 파라미터 업데이트를 진행하고 검증자료를 통해 모델의 최적화 상태를 확인하고 모델 튜닝을 진행하며, 튜닝이 완료됐다고 판단한 모델을 테스트자료로 성능평가를 수행했다. 본 특허 예시에서는 학습에 54.212건, 검증에 6,784건, 테스트에 6,784건을 활용했다.

예측 과제에서 모델 성능 평가는 다양한 성능 지표를 활용할 수 있다. 한 예측지점만을 대상으로 하면 f1-score를 주로 활용하여 평가하고, 여러 예측시점이 존재하는 경우 mean absolute error (MAE)나 root mean square error (RMSE)를 주로 사용한다. 본 실시 예에서는 mean square error(MSE), RMSE, MAE, correlation, accuracy, f1-score를 확인했다. Accuracy와 f1-score는 모든 예측 시간별로 비교하여 도 5와 같이 혼동행렬의 true positive (TP), false positive(FP), false negative(FN), true negative(TN) 성분을 바탕으로 한다.

이다. 이때 y는 정답 라벨, |.| 는 절댓값, Cov(.)는 두 인자간 covariance(공분산), Var(.)는 인자의 variance(분산)을 의미한다. 본 실시 예에서는 테스트결과 MSE는 0.0172, RMSE는 0.1313, MAE는 0.0189, correlation는 0.9404, accuracy는 0.9828, f1-score는 0.9896정도의 성능을 달성했다.

이안류 예측부(300)는 학습한 인공지능 기반 이안류 예측 모델을 통해 관측자료로부터 이안류 발생 확률을 자동으로 예측할 수 있으며, 모든 예측 시점에 따른 이안류 발생 확률을 제공한다. 아울러 본 실시 예에 따르면 원하는 예측시간 만큼 학습시 정답 라벨을 변경하면 다양한 예측시간의 이안류 발생 예측 모델을 만들 수 있어 모델 활용성을 높일 수 있다.

이안류 예측부(300)에서 성능이 우수한 모델을 별도로 저장한다. 모델의 구조와 학습된 모델 내부 가중치값들을 저장하였으므로 추후 다시 모델을 불러오면 바로 테스트를 진행여 모델의 재학습 없이 새로운 관측자료를 주입하여 바로 이안류 예측을 진행할 수 있다.

또한, 이안류 예측 학습용 인공지능모듈(200)에서 다양한 날씨에 대한 이안류 발생 예측을 진행하였다면 이안류 예측부(300)에서도 다양한 날씨에 대한 이안류 예측이 가능하다.

또한, 다양한 지점에서 수집한 이안류 관측자료를 하나의 모델로 학습하였으므로 이안류 예측 수행도 하나의 모델로 다양한 관측지점에서 활용 가능하므로 활용성이 높은 이안류 예측 모델을 구축할 수 있게 된다.

이안류 예측결과 출력부(400)는 해양 관측자료 기반 이안류 최종 예측 결과를 출력하여 제공한다. 사용자 편의에 맞게 예측 결과를 그래프로 그려서 표출하는 것이 대표적이다. 이안류 예측 확률을 시간에 따른 값으로 표시하며, 해당 값을 별도의 파일에 표 형태로 저장하여 출력할 수도 있다. 이때, 결과물을 디스플레이와 같은 표시 수단 혹은 네트워크 연결된 사용자 단말 등을 통하여 출력하여 제공할 수 있으며, 기상청, 날씨 서버 등에 관련 정보를 제공할 수도 있다. 도 7은 이안류 예측결과 출력부(400)를 통한 이안류 예측 결과의 출력을 예시한 도면이다.

상술한 구성에 의해서, 해안의 CCTV 원본 영상 및 이안류 관측용의 해양 관측자료를 토대로 이안류 라벨링 영상정보들을 확보 후 이에 대한 인공지능의 학습을 통해 이안류 예측 모델을 구축함으로써, 이렇게 구축된 이안류 예측 모델에 실시간의 CCTV 원본 영상 및 해양 관측자료를 적용하여 이안류 발생에 대한 예측을 그 발생 시간 및 확률에 이르는 비교적 정확한 예측 정보로써 획득할 수 있게 된다.

즉, 이안류는 비주기적으로 발생하는 현상이므로 조기에 이안류 발생 확률을 확인하여 해수욕객 안전을 위해 조기에 대응할 필요가 있지만, 기존의 이안류 발생 예측을 위한 수치모델은 상당한 연산 시간이 필요하여 그 효율성이 낮은 편이었는바, 본 발명에서 이안류 라벨링 영상정보들의 사전 확보 및 이를 토대로 하는 인공지능 학습 모델을 통해 조기에 이안류 발생 확률을 확인 후 필요 조치를 취할 수 있게 한 것이다.

또한, 이안류 발생과 밀접한 연관이 있는 다양한 해양 관측자료를 종합적으로 분석하여 이안류발생 확률을 자동으로 판단하여 제공함으로써 이안류 예측 정확도, 성능 및 신뢰성을 높일 수 있다.

또한, 학습한 모델을 활용한 실제 구동에도 CPU자원만으로도 충분한 연산 속도가 나오므로 개인 컴퓨터에서도 구동 가능할 정도로 연산량이 적고 빠르다.

또한, 해양 관측자료의 경우 다양한 위치의 해양관측 부이 등의 자료획득이 가능하므로 이안류가 자주 발생하는 여러 해수욕장에 이안류 예측 모델을 적용하기 유리하다.

또한, 이안류 예측 모델은 다양한 해수욕장에서 수집한 자료로 학습할 수 있고 학습한 특징이 모델 내부에 파라미터 값으로 저장 되어있기 때문에 하나의 이안류 예측 모델을 다른 해수욕장 자료에 적용해도 이안류 예측이 잘 되고, 범용성이 우수하다.

이상과 같이 본 설명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서 본 발명의 사상은 설명된 실시 예에 국한되어 정하여 저서는 안되며, 후술되는 청구범위뿐만 아니라 이 청구범위와 균등하거나 등가적인 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100 : 이안류 라벨링 데이터베이스부
200 : 이안류 예측 학습용 인공지능모듈
300 : 이안류 예측부
400 : 이안류 예측결과 출력부

Claims (2)

1. (a) CCTV(Closed-circuit Television)에서 해안을 촬영한 영상(이하 “CCTV 원본 영상”이라 함)별로 이안류를 표시한 이안류 라벨링 영상정보들 및 상기 CCTV 원본 영상별 그 촬영 시간의 해양 관측자료가 함께 매핑되어 이안류 라벨링 데이터베이스부에 저장되는 단계;
   (b) 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보들 및 각 이안류 라벨링 영상정보와 개별 매핑된 상기 해양 관측자료를 토대로 이안류 예측 학습용 인공지능모듈에서 딥러닝 또는 머신러닝을 수행하여 사전 설정되는 이안류 예측 시간별 이안류 발생 확률을 실시간으로 산출하기 위한 이안류 예측 모델을 생성하는 단계;
   (c) 이안류 예측부에서 해안 촬영용 CCTV로부터 수신되는 CCTV 원본 영상 및 해당 CCTV 원본 영상이 수신된 시간의 해양 관측자료를 상기 이안류 예측 모델에 적용하여 이안류 발생 확률을 계산하는 단계; 및
   (d) 이안류 예측결과 출력부에서 상기 이안류 예측부를 통해 계산된 이안류 발생 확률을 그래프 또는 표로 나타내는 단계를 포함하며,
   상기 이안류 라벨링 영상정보에서의 이안류 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 표시되고, 상기 이안류 라벨링 데이터베이스부에는 상기 이안류 라벨링 영상정보별 이안류를 표시한 사각형의 각 꼭지점 좌표가 저장되는 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 방법.
2. CCTV(Closed-circuit Television)에서 해안을 촬영한 영상(이하 “CCTV 원본 영상”이라 함)별로 이안류를 표시한 이안류 라벨링 영상정보들 및 상기 CCTV 원본 영상별 그 촬영 시간의 해양 관측자료가 함께 매핑되어 저장되는 이안류 라벨링 데이터베이스부(100);
   상기 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보들 및 각 이안류 라벨링 영상정보와 개별 매핑된 상기 해양 관측자료를 토대로 딥러닝 또는 머신러닝을 수행하여 사전 설정되는 이안류 예측 시간별 이안류 발생 확률을 실시간으로 산출하기 위한 이안류 예측 모델을 생성하는 이안류 예측 학습용 인공지능모듈(200);
   해안 촬영용 CCTV로부터 수신되는 CCTV 원본 영상 및 해당 CCTV 원본 영상이 수신된 시간의 해양 관측자료를 상기 이안류 예측 학습용 인공지능모듈(200)의 이안류 예측 모델에 적용하여 이안류 발생 확률을 계산하는 이안류 예측부(300); 및
   상기 이안류 예측부(300)에서 계산된 이안류 발생 확률을 그래프 또는 표로 나타내는 이안류 예측결과 출력부(400)를 포함하며,
   상기 이안류 라벨링 영상정보에서의 이안류 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 표시되되, 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당하며,
   상기 해양 관측자료에는 이안류 지수, 파고, 파주기, 조위, 풍향, 풍속, 해수욕장 입사각도, 첨두주기, 첨두파향, 주파수 스펙트럼 확산계수, 파향 스펙트럼 확산계수가 포함되는 인공지능 기반 CCTV 영상정보와 관측자료를 이용한 이안류 예측 장치.