KR102602439B1 - 인공지능 기반 cctv 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치 - Google Patents

Abstract

본 발명은 CCTV 원본 영상으로부터 이안류를 식별 및 표시하는 방식을 제공하는 동시에 이를 기반으로 하는 인공지능의 딥러닝을 통해 이안류 탐지모델을 구축함으로써, CCTV 원본 영상으로부터 이안류를 자동 탐지하거나 CCTV 원본 영상에 해양 관측자료를 추가로 적용하여 이안류를 자동 탐지 후 그 결과를 사용자가 이해하기 쉽게 출력하는 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치에 관한 것으로서, 본 발명에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치는 이안류 라벨링 데이터베이스부, 인공지능모듈, 이안류 탐지부 및 이안류 탐지결과 출력부를 포함하며, 상기 이안류 라벨링 데이터베이스부는 CCTV에서 해안을 촬영한 이미지별 이안류 위치를 바운딩박스로 표시한 영상정보들이 저장되고, 상기 인공지능모듈은 이안류 라벨링 데이터베이스부의 영상정보들을 토대로 딥러닝을 수행하여 CCTV에서 해안을 촬영한 이미지에 대한 이안류 존재 여부 및 발생 위치 판단용의 이안류 탐지모델을 생성한다.

Description

인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치{Method for detecting rip current using CCTV image based on artificial intelligence and apparatus thereof}

본 발명은 측지측량 기술 분야 중 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 CCTV 원본 영상으로부터 이안류를 식별 및 표시하는 방식을 제공하는 동시에 이를 기반으로 하는 인공지능의 딥러닝을 통해 이안류 탐지모델을 구축함으로써, CCTV 원본 영상으로부터 이안류를 자동 탐지하거나 CCTV 원본 영상에 해양 관측자료를 추가로 적용하여 이안류를 자동 탐지 후 그 결과를 사용자가 이해하기 쉽게 출력하는 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치에 관한 것이다.

이안류(rip current)는 해안에서 먼 바다 쪽으로 빠르게 이동하는 폭 좁은 바닷물의 흐름을 말하며, 이러한 이안류는 기상 상태가 양호한 경우에도 나타나고, 수심이 얕은 곳에 있던 해수욕객을 순식간에 수심이 깊은 먼 바다로 이동시키는 현상을 발생시키므로, 여름철 해안에서 인명사고를 유발하는 대표적인 요인 중 하나이다.

기존의 이안류 관측은 CCTV를 활용해 사람의 육안으로만 판별하는 방식이었고, 이는 해당 작업자가 항시 모니터링을 해야 하는데 따른 소모되는 시간 및 인적 자원이 막대해 매우 비효율적이므로, 이러한 육안 판단 방법은 이안류 관측에 적합한 방식이 되지 못하였다.

그리고 이안류 판단은 수치모델링을 기반으로 이루어져왔고, 컴퓨터 연산 속도 및 용량에서 큰 한계점이 있어 돌발적으로 빠르게 발생하는 현상인 이안류에 적용하기 어려움이 있다.

또한, 한국 등록특허 제10-2130763호인 “드론과 염료를 이용한 이안류 발생 특성 분석 시스템”이 개시되어 있지만, 해당 기술은 기상 및 파랑 정보를 수집하여 이안류 발생 예상지역에 드론을 띄우고 드론에서 분사한 염료의 흐름을 분석하는 시스템으로서, 직접 이안류 탐지를 수행하는 시스템이 아니다.

한국 등록특허 제10-2130763호(2020.07.08.공고), ““드론과 염료를 이용한 이안류 발생 특성 분석 시스템” 한국 등록특허 제10-1814644호(2018.01.04.공고), “이안류 계측 및 예측 시스템”

본 발명의 실시 예는 CCTV 원본 영상으로부터 이안류를 식별 및 표시하는 방식을 제공하는 동시에 이를 기반으로 하는 인공지능의 딥러닝을 통해 이안류 탐지모델을 구축함으로써, CCTV 원본 영상으로부터 이안류를 자동 탐지하거나 CCTV 원본 영상에 해양 관측자료를 추가로 적용하여 이안류를 자동 탐지 후 그 결과를 사용자가 이해하기 쉽게 출력하는 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치를 제공한다.

본 발명의 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법은, CCTV(Closed-circuit Television)에서 해안을 촬영한 이미지별 이안류 위치가 바운딩박스로 표시된 영상정보(이하 “이안류 라벨링 영상정보”라 함)들이 이안류 라벨링 데이터베이스부에 저장되는 단계와, 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보를 토대로 인공지능모듈에서 딥러닝을 수행하는 단계와, 상기 인공지능모듈이 딥러닝을 통해 CCTV에서 해안을 촬영한 이미지(이하 “CCTV 원본 영상”이라 함)에 대한 이안류 존재 여부 및 발생 위치 판단용의 이안류 탐지모델을 생성하는 단계와, 이안류 탐지부에서 수신되는 CCTV 원본 영상 및 상기 이안류 탐지모델의 비교를 통해 수신되는 CCTV 원본 영상 내 이안류를 탐지하는 단계와, 이안류 탐지결과 출력부에서 상기 이안류 탐지부(300)를 통한 이안류 탐지 결과를 CCTV 원본 영상에 표시하는 단계를 포함할 수 있다.

그리고 본 발명의 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치는, CCTV(Closed-circuit Television)에서 해안을 촬영한 이미지별 이안류 위치를 바운딩박스로 표시한 영상정보(이하 “이안류 라벨링 영상정보”라 함)들이 저장되는 이안류 라벨링 데이터베이스부와, 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보를 토대로 딥러닝을 수행하여 CCTV에서 해안을 촬영한 이미지(이하 “CCTV 원본 영상”이라 함)에 대한 이안류 존재 여부 및 발생 위치 판단용의 이안류 탐지모델을 생성하는 인공지능모듈과, 수신되는 CCTV 원본 영상 및 상기 이안류 탐지모델의 비교를 통해 이안류를 탐지하는 이안류 탐지부와, 상기 이안류 탐지부를 통한 이안류 탐지 결과를 CCTV 원본 영상에 표시하는 이안류 탐지결과 출력부를 포함할 수 있다.

또한, 상기 이안류 라벨링 영상정보에서의 상기 바운딩박스 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 이루어지는 동시에 상기 바운딩박스의 가로 및 세로 변이 각각 해당 CCTV 원본 영상의 가로 및 세로 테두리와 평행하도록 이루어지되, 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당하는 것일 수 있다.

또한, 상기 이안류 라벨링 데이터베이스부는 상기 이안류 라벨링 영상정보별 해당 바운딩박스의 각 꼭짓점의 좌표값이 저장되는 것일 수 있다.

또한, 상기 이안류 탐지부는 이안류 탐지의 정확도를 나타내는 이안류 확률을 사전 설정된 기준에 따라 산출하는 기능을 포함할 수 있다.

또한, 상기 이안류 탐지결과 출력부는 CCTV 원본 영상에 표시되는 이안류 탐지 결과에 상기 이안류 확률이 함께 표시되도록 하는 것일 수 있다.

본 발명의 실시 예에 따르면, CCTV 원본 영상으로부터 이안류를 식별 및 표시하는 방식이 제공되는 동시에 이를 기반으로 하는 인공지능의 딥러닝을 통해 이안류 탐지모델이 구축됨으로써, CCTV 원본 영상으로부터 이안류를 자동 탐지하거나 CCTV 원본 영상에 해양 관측자료를 추가로 적용하여 이안류를 자동 탐지 후 그 결과가 사용자가 이해하기 쉬운 형태로 출력될 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법을 개략적으로 예시한 도면
도 2는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법을 예시한 플로우챠트
도 3은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치를 예시한 블록 구성도
도 4는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치에서 CCTV 원본 영상에 바운딩박스가 표시되는 예를 나타낸 도면
도 5는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치에서 인공지능모듈 및 이를 통한 딥러닝 및 이안류 탐지모델 생성을 예시한 도면
도 6은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치에서 인공지능모듈의 딥러닝 성능 계산에 활용되는 혼동행렬을 설명하는 도면
도 7은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치에서 이안류 탐지결과 출력부의 출력 화면을 예시한 도면

이하의 본 발명에 관한 상세한 설명들은 본 발명이 실시될 수 있는 실시 예이고 해당 실시 예의 예시로써 도시된 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명의 실시에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 기재된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.

따라서 후술되는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

발명에서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”,　＂…모듈“ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

도 1 내지 도 7을 참조하여 본 발명의 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치에 대해 설명한다.

먼저 도 1 및 도 2를 참조하여 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법에 대해 설명한다.

도 1은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법을 개략적으로 예시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법을 예시한 플로우챠트이다.

도시된 바와 같이 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법은 단계(S110)에서, CCTV(Closed-circuit Television)에서 해안을 촬영한 이미지별 이안류 위치가 바운딩박스로 표시된 영상정보(이하 “이안류 라벨링 영상정보”라 함)들이 이안류 라벨링 데이터베이스부에 저장된다.

단계(S120)에서, 상기 이안류 라벨링 데이터베이스부의 이안류 라벨링 영상정보를 토대로 인공지능모듈에서 딥러닝을 수행한다.

단계(S130)에서, 상기 인공지능모듈이 딥러닝을 통해 CCTV에서 해안을 촬영한 이미지(이하 “CCTV 원본 영상”이라 함)에 대한 이안류 존재 여부 및 발생 위치 판단용의 이안류 탐지모델을 생성한다.

단계(S140)에서, 이안류 탐지부에서 수신되는 CCTV 원본 영상 및 상기 이안류 탐지모델의 비교를 통해 수신되는 CCTV 원본 영상 내 이안류를 탐지한다.

단계(S150)에서, 이안류 탐지결과 출력부에서 상기 이안류 탐지부를 통한 이안류 탐지 결과를 CCTV 원본 영상에 표시한다.

그리고 상기 단계(S110)에서 이안류 위치에 대한 상기 바운딩박스의 표시는 해당 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 형태로 이루어지는 것일 수 있다. 여기서 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당된다.

또한 상기 단계(S110)에는 상기 이안류 라벨링 영상정보별 해당 바운딩박스의 각 꼭짓점의 좌표값이 상기 이안류 라벨링 데이터베이스부에 저장되는 과정이 포함될 수 있다.

또한, 상기 단계(S140)에는 상기 이안류 탐지부가 이안류 탐지의 정확도를 나타내는 이안류 확률을 사전 설정된 기준에 따라 산출하는 과정이 포함될 수 있다.

또한, 상기 단계(S150)에는 상기 이안류 탐지결과 출력부가 CCTV 원본 영상에 표시되는 이안류 탐지 결과에 상기 이안류 확률을 함께 표시하는 과정이 포함될 수 있다.

다음은 도 3 내지 도 7을 참조하여 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치에 대해 설명한다.

도 3은 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치를 예시한 블록 구성도이다.

도시된 바와 같이, 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치는 이안류 라벨링 데이터베이스부(100), 인공지능모듈(200), 이안류 탐지부(300) 및 이안류 탐지결과 출력부(400)를 포함하여 구성된다.

이안류 라벨링 데이터베이스부(100)는 CCTV(Closed-circuit Television)에서 해안을 촬영한 이미지별 이안류 위치를 바운딩박스로 표시한 영상정보(이하 “이안류 라벨링 영상정보”라 함)들이 저장된다.

인공지능모듈(200)은 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보를 토대로 딥러닝을 수행하여 CCTV에서 해안을 촬영한 이미지(이하 “CCTV 원본 영상”이라 함)에 대한 이안류 존재 여부 및 발생 위치 판단용의 이안류 탐지모델을 생성한다. 여기서 인공지능모듈(200)은 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보 및 외부로부터 제공되는 해양 관측자료를 토대로 딥러닝을 수행하여 이안류 탐지모델을 생성하는 것일 수도 있으며, 상기 해당 관측자료에는 이안류 지수, 파고, 파주기, 조위, 풍향, 풍속, 해수욕장 입사각도, 첨두주기, 첨두파향, 주파수 스펙트럼 확산계수, 파향 스펙트럼 확산계수가 포함될 수 있다.

또한, 인공지능모듈(200)은 상기 이안류 탐지모델의 생성을 위한 딥러닝 방식으로서 2stage 모델을 사용하며, 이러한 2stage 모델은 이안류 라벨링 데이터베이스부(100)로부터 이안류 라벨링 영상정보를 수신 후 수신된 이안류 라벨링 영상정보에 포함된 바운딩박스 내 이미지들을 추출하는 백본(backbone) 유닛(210)과, 백본 유닛(210)으로부터 전송되는 추출 이미지들을 합하는 넥(neck) 유닛(220)과, 넥 유닛(220)으로부터 전송되는 이미지에 대해 이안류인지 여부의 판별 및 바운딩박스의 좌표를 최종 계산하는 헤드(Head) 유닛(230)을 포함할 수 있다.

이안류 탐지부(300)는 수신되는 CCTV 원본 영상 및 상기 이안류 탐지모델의 비교를 통해 이안류를 탐지하는 기능을 수행한다.

이안류 탐지결과 출력부(400)는 이안류 탐지부(300)를 통한 이안류 탐지 결과를 CCTV 원본 영상에 표시하는 기능을 수행한다.

그리고 상기 이안류 라벨링 영상정보에서의 상기 바운딩박스 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 이루어지는 동시에 상기 바운딩박스의 가로 및 세로 변이 각각 해당 CCTV 원본 영상의 가로 및 세로 테두리와 평행하도록 이루어진다. 여기서 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당한다.

또한, 이안류 라벨링 데이터베이스부(100)는 상기 이안류 라벨링 영상정보별 해당 바운딩박스의 각 꼭짓점의 좌표값이 저장되는 것일 수 있다.

또한, 이안류 탐지부(300)는 이안류 탐지의 정확도를 나타내는 이안류 확률을 사전 설정된 기준에 따라 산출하는 기능을 포함할 수 있다.

또한, 이안류 탐지결과 출력부(400)는 CCTV 원본 영상에 표시되는 이안류 탐지 결과에 상기 이안류 확률이 함께 표시되도록 하는 것일 수 있다.

그리고 상술한 이안류 라벨링 데이터베이스부(100), 인공지능모듈(200), 이안류 탐지부(300) 및 이안류 탐지결과 출력부(400) 각각의 보다 구체적인 구성 및 상호 간 연게 구성에 대해 더 상세히 설명하면 다음과 같다.

이안류 라벨링 데이터베이스부(100)는 CCTV에서 해안을 촬영한 CCTV 원본 영상에서 바다의 포말 분포 상황을 분석하여 이안류 발생 여부와 위치를 판단하는 기준을 제공하고, 이안류 위치를 바운딩박스로 표기하는 기준을 제시한다. 그리고 이러한 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보에 해양 관측자료가 추가되면서 CCTV 원본 영상에 바운딩박스가 표시되는 방법이 제공된다.

그리고 바운딩박스가 표시된 CCTV 이미지들, 다시 말해 이안류 라벨링 영상정보들은 해당 CCTV에서 여러 시간대 또는 여러 날짜에 걸쳐 수집된 데이터에 해당할 수 있다. 여기서, 복수의 이안류 라벨링 영상정보들은 이안류의 표시가 이루어진 제1 그룹의 이미지 및 이안류가 존재하지 않아 그 표시가 이루어지지 않은 제2 그룹의 이미지를 포함하며, 이안류 탐지를 위한 파일 생성에는 json같은 확장자를 활용하여 이안류 파일이름, 관측시간, 해당 시간 관측자료 정보 등을 저장할 수 있다. 관측자료 파일 생성에는 시계열 자료 저장에 일반적인 csv파일로 모든 관측 시간을 행 별로 정렬하고 모든 관측 자료를 열에 저장하는 방식을 취할 수 있으며, 모든 저장 방식들은 사용자 편의에 따라 달라질 수 있다.

인공지능모듈(200)은 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보들을 바탕으로 이안류 이미지와 이안류 위치를 표기하는 바운딩박스 좌표와 해당 시간의 해양 관측자료를 통해 이안류 탐지모델 생성을 위한 학습을 수행한다. 이안류 탐지모델은 상술한 CCTV 원본 영상에서 스스로 추출한 특징 값과 해양 관측 자료에서 스스로 추출한 특징 값을 모두 이용하여 지도 학습한다.

그리고 해양 관측자료는 본 발명의 일 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치의 성능 고도화를 위해 추가되는 것이며, 이를 선택적으로 제외하여 상술한 CCTV 원본 영상만 사용하는 것일 수 있다.

그리고 이안류 이미지와 바운딩박스 좌표는 필수 항목이다. 활용 모델은 딥러닝 기반 탐지 모델 중 2stage-model 또는 1stage-model 모두 가능하며 선택한 모델의 세부 구조와 모델 또는 후처리 하이퍼파라미터는 모두 사용자 선택에 따라 달라질 수 있다.

이안류 탐지부(300)는 분석 대상이 되는 CCTV 원본 영상 및 해양 관측자료의 수신을 CCTV 장비, 센터, 관제 서버 등과 연동하여 해당 CCTV에서 촬영된 이미지와 해양 관측자료를 실시간 혹은 설정 주기로 수신할 수 있으며, 관리자에 의해 선택된 자료를 입력 받을 수도 있다.

또한, 이안류 탐지부(300)는 수신된 CCTV 원본 영상 및 해양 관측자료와 인공지능모듈(200)의 이안류 탐지모델의 비교를 통해서 해당 CCTV 원본 영상 내 이안류를 탐지하며, 탐지 결과 비이안류로 탐지되는 경우 바운딩박스 결과는 출력하지 않고, 이안류로 탐지되는 경우 해당 CCTV 원본 영상에 바운딩박스 결과를 함께 출력한다. 이때 바운딩박스 좌표계와 표기 모양은 사용자 정의에 따른다.

이안류 탐지출력부(400)는 이안류 탐지부(300)에서 탐지한 결과를 CCTV 원본 영상에 바운딩박스를 그리거나 바운딩박스 좌표 벡터를 텍스트로 출력하는 등 다양한 방식으로 디스플레이 또는 네트워크 연결된 사용자 단말 등을 통하여 출력하여 제공한다. 여기서 사용자 단말은 데스크탑, 스마트폰, 태블릿 PC, 노트북, 패드 등을 포함할 수 있다.

이러한 본 실시 예의 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치는 입력된 CCTV 원본 영상 및 해양 관측자료를 활용해 이안류를 탐지 후 제공하는 웹 서버 또는 앱 서버 등의 온오프라인 플랫폼으로 구현될 수 있으며, 관리자 단말 등에 응용 프로그램, 어플리케이션 등의 형태로 구현될 수 있다.

이와 같이 본 실시 예의 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치는 CCTV 원본 영상 및 해양 관측자료로부터 이안류 탐지하는 프로세스를 실행시키고 해당 결과를 제공할 수 있으며, 필요로 하는 수요처 혹은 기상 서버 등으로 관련 정보를 제공할 수 있다.

그리고 상술한 실시 예에 따른 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 방법 및 그 장치에 대해 부연 설명하면 다음과 같다.

이안류 라벨링 데이터베이스부(100)는 CCTV에서 촬영된 CCTV 원본 영상에서 관측 가능한 이안류 특징을 활용하며, 이를 통해 이안류가 존재하는 것으로 파악되면 해당 CCTV 원본 영상에 이안류 지점에 해당하는 바운딩 박스를 표시하고 라벨을 '1'로 표기한다. 이안류가 존재하지 않으면 해당 CCTV 원본 영상에 바운딩박스 표시를 하지 않고 라벨을 '0'로 표기한다.

여기서, 이안류 관측에 활용되는 기준 이미지는 CCTV 원본 영상에서 해안선이 보이는 해변 이미지를 대상으로 하고, 정확한 판별이 가능하도록 CCTV 원본 영상에 오염물질이나 거미줄 등으로 시야를 방해하지 않는 환경에서 촬영된 이미지를 사용하는 것이 바람직하다. 다만 해안선에서 안개가 발생하거나 눈/비가 오는 상황이더라도 육안으로 이안류를 판단할 수 있는 수준이면 분석 대상에 해당시킨다.

본 발명의 실시예에서 이안류는 하나의 CCTV 원본 영상에 다양한 모양과 다양한 개수로 생길 수 있음을 가정한다. 하지만 CCTV에서 거리가 먼 구역에 이안류가 발생하거나, 이안류 형태적 특징이 흐리게 나타나 그 판별에 혼동을 줄 수 있는 경우는 라벨링에서 제외한다.

본 발명의 실시예에서 이안류의 시각적 특징은 해안가 파도 부분의 포말 중 해안에서 멀어지는 포말 구역, 포말이 단절되고 바다색이 짙은 구역, 파도가 끊기거나 낮아지는 부분을 포함한다.

도 4를 참조하면, 도 4의 예시1 및 예시2의 표시와 같이 이안류 형태에서 해안선과 닿는 부분을 이안류 '꼬리'라 하고, 바다로 뻗은 부분의 끝을 이안류 '머리'라 하고 꼬리와 머리 사이를 '몸통'이라 정한다. 이안류 형태 이미지에서 파도가 치는 중이거나 파도가 지나감 따라서 머리가 열려 있거나, 뾰족하거나 볼록하거나, 납작하게 다양한 형태를 보일 수 있다.

우선 이안류 라벨링 데이터베이스부(100)는 앞서 서술한 것처럼 육안으로 이안류의 존재 여부를 파악하여 이안류 존재시 그 위치를 표시하는 바운딩박스를 그려 바운딩박스 좌표를 저장하는 과정을 토대로 형성된다. 여기서 바운딩박스란 도 4에 표시된 빨간 사각형과 같이 원하는 대상의 위치를 표시하는 사각형이다. 바운딩박스는 해당 CCTV 원본 영상의 가로 및 세로 테두리와 평행하게 그리며, 각 꼭짓점 좌표를 기록하여 활용한다. 본 실시에서는 이안류의 머리와 몸통, 꼬리를 모두 감싸는 형태로 바운딩박스를 그린다. 그리고 그려진 바운딩박스에서 좌표를 추출하는 방법은 다양한 방법이 있는데, 바운딩박스의 좌측 상단 모서리부터 시계방향으로 네 개의 점의 이미지 좌표계의 가로좌표(width), 세로좌표(height)를 추출하는 방법이 있고, 바운딩박스의 좌측 상단 모서리 이미지 좌표계와 우측 하단의 이미지 좌표계 두개만 추출하는 방식도 있다. 사용자가 원하는 방식을 적용하여 라벨링 데이터를 구축할 수 있다. 각 좌표는 하나의 리스트 자료 구조에 저장한다. 하나의 CCTV 원본 영상에서 관측 가능한 이안류가 여러 개인 경우 바운딩박스가 여러 개 나올 수 있으므로 이들 전부를 하나의 리스트 자료 구조에 연결하여 저장한다. 저장된 바운딩박스 좌표에 수집한 해당 관측자료에서 해당 시간의 값들을 골라서 함께 저장한다. 라벨링 데이터는 다양한 확장자를 활용할 수 있으며, 대표적인 것이 json파일 형식을 따르는 것이다. 이 라벨링 파일에 최종적으로 기록하는 정보는 사용자마다 다를 수 있으나, 일반적으로는 관측 시간, 이미지 파일 이름, 촬영 위치, 관측 이안류 개수, 이미지 내 이안류 유무, 바운딩박스 리스트, 사용자 정의 관측자료들이 포함될 수 있다.

인공지능모듈(200)은 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보 및 CCTV 원본 영상을 수신 후 인공지능 기반 모델로 이안류 탐지를 학습한다. 이미지는 다양한 이미지 크기를 활용할 수 있고, 학습 데이터 사이에 이미지 크기가 달라도 딥러닝 모델 구축 시 진행하는 전처리에서 이미지 크기를 모두 동일하게 맞추면 된다. 이때 다양한 딥러닝 모델을 활용할 수 있는데, 탐지에 가장 널리 쓰는 종류가 2stage모델과 1stage모델이다. 2stage모델은 원하는 물체의 위치를 개략적으로 찾은 다음(첫 단계), 찾은 위치에서 추출되는 이미지 특징으로 물체 분류와 좌표 탐지 등의 과제를 수행하여 최종 물체 위치를 탐지하는(두번째 단계) 모델이다. 1stage 모델은 위 과정을 따로 분리하지 않고 한번에 모델이 찾은 특징으로 물체 분류와 좌표 탐지를 수행하는 모델이다. 딥러닝 모델 특성 상 사람이 명시해준 특징을 모델이 학습하는 것이 아니라 입력 받은 CCTV 원본 영상 및 해양 관측자료 속에서 모델 스스로 특징을 추출하여 탐지를 수행하므로 사용자는 입력 특징을 명시하지 않아도 되며, 딥러닝 모델 종류와 모델 구조를 선택하면 된다. 다만 목적에 따라 연산량이 비교적 많아도 성능 좋은 모델을 원하면 2stage 모델을 주로 선택하고, 성능은 조금 떨어져도 연산량이 비교적 적어 빠르게 실시간 탐지를 운용하길 원하면 1stage 모델을 선택한다.

본 실시 예는 도 5와 같이 2stage모델 중 하나인 mask RCNN모델을 시험하였고, 1stage모델로도 이안류 탐지 모델 학습부를 만들 수 있다. 2stage 탐지모델 학습부를 구성하는 모델 구조를 세부적으로 나누면 backbone, neck, head로 나눌 수 있다. 입력 이미지는 backbone으로 우선 들어가게 되며, backbone은 CCTV 원본 영상에서 여러 크기로 특징 이미지들을 추출하여 neck으로 넘기고, neck은 전달받은 특징 이미지들을 합하여 head로 넘기는 역할을 하고, head는 물체 판별이나 바운딩박스 좌표 최종 계산을 수행한다. Head의 출력 결과가 모델의 최종 결과다.

이 세 부분을 좀 더 상세히 설명하고자 한다. Backbone은 이미지를 입력 받아서 모델이 새로 계산한 이미지 특징을 출력하는 딥러닝 모델이다. 주로 convolutional neural network (CNN)이나 Vision Transformer (ViT)같은 모델을 활용한다. 중요한 점은 backbone 모델이 출력한 이미지 특징이 탐지에 도움되는 좋은 특징이어야 하는 것이다. 이는 탐지 과제가 아닌 판별 과제에서 우수한 성능을 확보한 모델이 개별 물체의 이미지 특징을 잘 추출할 것이라는 가정하에, 주로 우수한 성능의 판별 모델을 가져와 사용한다. 대표적으로 ResNet, VGG16같은 전통적인 CNN 기반모델을 사용하기도 하며 우수한 성능의 ViT계열 모델을 활용하기도 한다. 본 실시 예에서는 예시로, ViT 중 하나인 Swin-Transformer를 backbone 네트워크로 활용하였다. 다른 딥러닝 모델도 이안류 탐지부의 backbone으로 얼마든지 활용할 수 있다.

Neck 부분은 backbone에서 추출된 이미지 특징들을 합치는 부분으로 head와backbone의 연결부다. Backbone에 사용하는 딥러닝 모델들 중 다양한 크기의 이미지 특징을 가져와 합치는 것이 성능 향상에 유리한 것이 여러 연구에서 밝혀졌는데, 다양한 층의 특징들을 활용하면 서로 다른 크기의 물체 탐지에도 도움이 된다. 예시로 활용한 mask RCNN모델은 backbone에서 추출한 특징을 neck부분의 region proposal network를 거쳐서 1차 바운딩박스 후보 영역을 사각형 모양으로 추출하고 해당 영역의 특징만 잘라서 head에 넘겨준다.

Head 부분은 사용자 목적에 따라 구조가 다양해질 수 있다. 주로 물체 위치를 바운딩박스로 나타내기 위해 바운딩박스 좌표 계산 부분, 탐지한 물체가 어떤 클래스의 물체인지 판별하기 위한 판별부 두가지로 주로 구성되지만, 추가로 탐지한 물체의 영역이 명확하게 어떻게 되어있는지 분할하는 분할부를 추가할 수 있다. Head 모델 구조는 좌표 계산 부분과 판별부는 주로 fully connected layer혹은 dense layer라고 불리는 구조를 활용하지만 다른 딥러닝 모델 구조를 활용해도 무방하다. 본 실시 예에서는 바운딩박스 좌표 계산부분과 판별부에 fully connected layer를 여러 층 쌓았고 분할부에는 convolution layer를 여러 층 쌓았다. 관측자료를 함께 활용한다면 판별부에 연결을 추가할 수 있다. 입력 관측자료에서 특징을 추출하는 통상적인 딥러닝 모델 모든 종류를 사용할 수 있다 (multilayer perceptron, recurrent neural network, transformer 등). 추출된 특징은 neck에서 추출된 특징과 연결되어 (concatenation) 판별부의 입력이 된다. 이 입력 관측자료 구조가 추가되면 탐지 성능 향상에 유리하지만 이 구조가 없이 이미지 만으로도 탐지는 수행이 가능하다.

모델 학습은 통상적인 인공지능 학습방법 대로 학습자료, 검증자료, 테스트자료로 수집한 자료를 8:1:1 비율로 나누어 활용했다. 학습자료로 학습과정인 모델 파라미터 업데이트를 진행하고 검증자료를 통해 모델의 최적화 상태를 확인하고 모델 튜닝을 진행하며, 튜닝이 완료됐다고 판단한 모델을 테스트자료로 성능평가를 수행했다. 본 실시 예에서는 이안류 탐지모델 학습에 100,528건, 검증에 12,566건, 테스트에 12,683건을 활용했다. 학습데이터를 반복적으로 학습 모델에 주입하여 학습을 진행하는 동안 학습데이터 전체를 한번씩 학습할 때마다 검증 데이터로 성능을 측정하여 학습 성능과 검증 성능이 개선이 되는지, 검증데이터 성능이 떨어지지 않는지 확인하여 모델의 학습 상태와 과적합 여부를 확인한다.

이안류 탐지모델 성능 평가는 mean average precision (mAP)로 평가한다. mAP는 탐지대상 클래스 별로 average precision (AP)를 계산하여 단순 평균한 값이고, AP는 precision-recall 곡선의 아래 면적을 의미한다. 우선 탐지 결과 바운딩박스와 실제 정답 바운딩박스가 많이 겹칠수록 물체 탐지 위치가 정확하다고 할 수 있다. 이를 정량화 한 것이 Intersection over Union (IoU)이고, 탐지 바운딩박스와 정답 바운딩박스의 겹치는 면적을 전체 면적으로 나눈 값이다. 탐지 결과로 나오는 바운딩박스와 정답 바운딩박스의 IoU를 여러 임계 값을 기준으로 적용하고 임계 값을 넘은 바운딩박스의 판별 확률 값(score)이 50% 이상이면 해당 클래스를 모델이 탐지한 것으로 해서 실제 라벨과 비교한다. 50% 수치를 바꾸면서 계산할 수도 있다. 비교 결과로 도면 6과 같이 혼동행렬의 true positive (TP), false positive(FP), false negative(FN)성분이 나오고, 이를 통해 precision과 recall을 계산한다. 이다. 각 IoU임계값 별로 나오는 precision과 recall값으로 곡선을 그리고 아래 면적을 구하여 한 클래스의 AP값을 구하며 이를 모든 클래스 별로 계산하여 평균 낸 것이 최종 모델 탐지성능인 mAP이다. 본 실시 예에서는 mAP 83.7% 정도의 성능을 달성했다. 모델의 학습 및 검증이 완료되었으면 성능이 우수한 모델 구조와 내부 가중치 값들을 별도로 저장하여 추후 이안류 탐지부(300)에서 활용한다.

이안류 탐지부(300)는 이안류 관측 이미지와 선택적으로 해양 관측자료를 인공 지능을 기반으로 학습한 자동 탐지 모델을 기반으로 새로운 CCTV 이미지와 관측자료로부터 이안류를 자동 탐지할 수 있으며, 이안류 발생 위치와 이안류 확률을 제공한다. 하나의 이미지에서 탐지된 여러 위치의 이안류를 모두 탐지한다. 이안류 학습부에서 모델의 구조와 학습된 모델 내부 가중치 값들을 저장하였으므로 이를 불러오면 바로 모델을 활용하여 테스트를 진행할 수 있다. 이를 통해 모델의 재학습 없이 확보한 샘플 외에 새로운 다양한 CCTV이미지와 관측자료로 이안류를 탐지할 수 있다.

아울러, 본 실시 예에 따르면, 모델 학습에 사용되는 이미지의 크기에 제한을 두지 않으며, 학습에 사용한 이미지에 다양한 날씨의 이안류 이미지가 포함되면 실제 테스트에도 다양한 날씨의 이안류 탐지가 가능해져 맑은 날의 이미지만 사용하지 않아도 되어 이미지 정제에 소요되는 시간과 인적 자원을 절약할 수 있고 다양한 기상상황에서도 쓸 수 있는 활용성 높은 모델을 구축할 수 있다.

아울러, 인공지능모듈에서 다양한 관측 지점의 자료들을 학습했다면, 이안류 탐지부(300)에서도 다양한 지점에 대해 하나의 모델로 일괄적으로 이안류 탐지를 수행할 수 있어 활용성이 높아진다.

더욱이, 본 실시 예는 인공지능 기반으로 학습된 탐지 모델을 통하여 CCTV 원본 영상으로부터 추출되는 이미지 특징에 추가로 주입한 해양 관측자료에서 추출된 특징을 종합적으로 분석하여 CCTV 원본 영상에서 이안류를 자동 탐지함으로써 분류 정확도, 탐지 성능 및 신뢰성을 높일 수 있다.

이안류 탐지결과 출력부(400)는 이안류 최종 탐지 결과를 출력하여 제공한다.

CCTV 원본 영상에 이안류 탐지 결과를 그려서 표출하는 것이 대표적이다. 이안류 판별 확률을 함께 표시하며, 도 7은 이를 예시한 것이다. 그리고 이안류 바운딩 박스 위치를 그리거나 좌표를 별도의 파일로 저장하여 출력할 수도 있다. 다양한 위치에 이안류 탐지가 되면 모든 위치에 이안류 확률과 이안류 바운딩박스를 표기한다. 이때, 결과물을 디스플레이와 같은 표시 수단 혹은 네트워크 연결된 사용자 단말 등을 통하여 출력하여 제공할 수 있으며, 기상청, 날씨 서버 등에 관련 정보를 제공할 수도 있다.

상술한 구성에 의해서, 해안에 대한 CCTV 원본 영상 및 해양 관측자료를 인공지능을 기반으로 학습하여 이안류 탐지모델을 구축하고 이를 기반으로 CCTV 원본 영상 및 해양 관측자료로부터 여러 위치에서 발생하는 이안류를 실시간으로 탐지할 수 있게 된다. 즉, 이안류는 다양한 위치에서 다양한 발생 시간으로 발생하는 현상이므로 사람이 일일이 CCTV에서 모든 위치의 이안류를 확인하며 이안류 발생을 확인하는 일은 상당히 많은 시간과 인적자원을 소모한다. 또한 안개가 끼거나 비가오는 등 다양한 기상상황에서 이안류가 발생할 수 있어 이안류 탐지 어려움이 더욱 크다. 이 난점들을 이안류 라벨링 방법 및 인공지능 기반 이안류 탐지 모델을 통해 해결할 수 있게 된다.

또한, 추가 전처리를 거치지 않은 CCTV 원본 영상을 이안류 탐지 모델에 적용함으로써 이미지 처리에 소요되는 시간과 인적 자원을 절약할 수 있고 모델 학습 시간을 줄일 수 있다.

또한, 이안류 판별 모델은 여러 해수욕장에서 수집한 이안류 이미지로 학습할 수 있기 때문에 하나의 모델을 여러 해수욕장 이미지에 적용해도 이안류 탐지가 잘 되고 범용성이 우수하다.

또한, 학습한 모델을 활용한 실제 구동에도 CPU자원만으로도 충분한 속도로 연산이 가능하므로 개인 컴퓨터에서도 구동 가능하다.

또한, 이안류 탐지모델을 위해 CCTV에서 자료를 수집하므로 다른 영상 촬영 장비 보다 값이 싼 이점이 있어 다양한 위치에 설치 및 운용이 가능하므로 이안류가 자주 발생하는 여러 해수욕장에 설치하는데 유리하다.

또한, 인공지능 기반으로 학습된 모델을 통하여 CCTV 원본 영상으로부터 추출되는 이미지 특징과 GOEID 관측자료에서 추출되는 특징을 종합적으로 분석하여 CCTV 원본 영상에서 이안류 위치를 표시하여 제공함으로써 탐지 정확도, 성능 및 신뢰성을 높일 수 있다.

이상과 같이 본 설명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서 본 발명의 사상은 설명된 실시 예에 국한되어 정하여 저서는 안되며, 후술되는 청구범위뿐만 아니라 이 청구범위와 균등하거나 등가적인 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100 : 이안류 라벨링 데이터베이스부 200 : 인공지능모듈
210 : 백본 유닛 220 : 넥 유닛
230 : 헤드 유닛 300 : 이안류 탐지부
400 : 이안류 탐지결과 출력부

Claims (2)

1. 삭제
2. CCTV(Closed-circuit Television)에서 해안을 촬영한 이미지별 이안류 위치를 바운딩박스로 표시한 영상정보(이하 “이안류 라벨링 영상정보”라 함)들이 저장되는 이안류 라벨링 데이터베이스부(100):
   상기 이안류 라벨링 데이터베이스부(100)의 이안류 라벨링 영상정보를 토대로 딥러닝을 수행하여 CCTV에서 해안을 촬영한 이미지(이하 “CCTV 원본 영상”이라 함)에 대한 이안류 존재 여부 및 발생 위치 판단용의 이안류 탐지모델을 생성하는 인공지능모듈(200):
   수신되는 CCTV 원본 영상 및 상기 이안류 탐지모델의 비교를 통해 이안류를 탐지하는 이안류 탐지부(300): 및
   상기 이안류 탐지부(300)를 통한 이안류 탐지 결과를 CCTV 원본 영상에 표시하는 이안류 탐지결과 출력부(400)를 포함하며,
   상기 이안류 라벨링 영상정보에서의 바운딩박스 표시는 이안류의 머리, 몸통 및 꼬리를 모두 감싸는 사각형의 형태로 이루어지는 동시에 상기 바운딩박스의 가로 및 세로 변이 각각 해당 CCTV 원본 영상의 가로 및 세로 테두리와 평행하도록 이루어지되, 상기 꼬리, 머리 및 몸통은 각각 해안선과 닿는 부분, 바다로 뻗은 부분의 끝, 꼬리와 머리 사이 부분에 해당하고, 상기 이안류 라벨링 데이터베이스부(100)는 상기 이안류 라벨링 영상정보별 해당 바운딩박스의 각 꼭짓점의 좌표값이 저장되며, 상기 이안류 탐지부(300)는 이안류 탐지의 정확도를 나타내는 이안류 확률을 사전 설정된 기준에 따라 산출하는 기능을 포함하고, 상기 이안류 탐지결과 출력부(400)는 CCTV 원본 영상에 표시되는 이안류 탐지 결과에 상기 이안류 확률이 함께 표시되고,
   상기 인공지능모듈(200)은 상기 이안류 탐지모델의 생성을 위한 딥러닝 방식으로서 2stage 모델을 사용하며,
   상기 2stage 모델은
   상기 이안류 라벨링 데이터베이스부(100)로부터 이안류 라벨링 영상정보를 수신 후 수신된 이안류 라벨링 영상정보에 포함된 바운딩박스 내 이미지들을 추출하는 백본(backbone) 유닛(210);
   상기 백본 유닛(210)으로부터 전송되는 추출 이미지들을 합하는 넥(neck) 유닛(220);
   상기 넥 유닛(220)으로부터 전송되는 이미지에 대해 이안류인지 여부의 판별 및 바운딩박스의 좌표를 최종 계산하는 헤드(Head) 유닛(230); 을 포함하는 인공지능 기반 CCTV 촬영 이미지 정보를 이용한 이안류 탐지 장치.