KR20230120410A - 영상전환점이 적용된 비정형객체 인식 방법 및 장치 - Google Patents

Abstract

본 발명의 비정형객체 인식 방법은, 감시 지역을 촬영한 동영상을 입력받는 단계; 상기 동영상에서 영상전환점을 추출하는 단계; 이동 객체 검출 알고리즘을 통해 상기 영상전환점에서 이동 객체 좌표를 검출하는 단계; 및 상기 이동 객체를 제외시킨 동영상에서 감시 대상인 비정형 객체를 인식하는 단계를 포함할 수 있다.

Description

영상전환점이 적용된 비정형객체 인식 방법 및 장치{ATYPICAL OBJECT RECOGNITION METHOD AND APPARATUS APPLIED WITH IMAGE TURNING POINT}

본 발명은 영상전환점 추출 및 지능형 분석을 통한 비정형객체 인식 기법에 관한 것이다.

최근 다양한 영역에서 영상데이터를 인공지능(AI)으로 해석하는 수요가 급격히 증가하고 있다. 영상데이터의 양은 비약적으로 증가해가고 있으며 이를 활용하는 AI, ICT, 압축기술 등은 지속적으로 성장해가고 있다.

하지만, 이러한 인프라에 비해 영상데이터를 효율적으로 분석하여 활용하고 관리하는 기술은 부족하여 오버헤드에 걸리기도 한다. 또한 범죄/재난/재해 등 개인 및 사회의 안전위협 해소를 위해 CCTV의 확대설치 등의 국가적 관심도가 높은 반면 영상정보를 처리하는 방식이 여전히 노동집약적 수작업에 의해서 이루어지고 있으며, 특히 서로 다른 시스템에 의해 개별적으로 획득된 영상을 통합 분석하는 방법이 부재한 편이다.

통합 분석 방법 이전에 영상데이터의 방대함을 살펴볼 필요가 있다. 하기 표 1은 시간 단위 물리적 영상데이터양을 나타낸 것이다.

상기 표 1의 경우, 시간당 발생 데이터 1920(가로)x1080(세로)x30(프레임수)x3,600(1시간) = 약 2GB이다. 이처럼 카메라 10대를 가지고 있고 1대당 FHD(1920x1080), 30 FPS로 가정하면 영상데이터의 양은 시간당 약 2GB이고 10대이면 24시간일 경우 480GB이고 한달이면 약 14.4TB이다. 10대임에도 불구하고 하루에 물리적 디스크 한 개씩 사용하는 셈이다.

게다가, 적어도 고정된 어느 현장에서 시각지능 서비스를 위한 로우 영상데이터를 확보하기 위해서는 최소 1년은 필요하다. 계절과 밤과 낮, 자연현상, 기상이변, 특수상황 등을 고려하기 때문이다. 많은 영상데이터를 수집했어도 통합 분석을 위한 시각지능 모델생성에 있어서 이 방대한 영상데이터를 엄청난 인력과 시간을 투자하여 직접 모니터링 하고 레이블링해서 모델을 만든다고 하여 그 모델이 우수한 모델이며 성능이 좋은 모델이라고 할 수 없다. 즉, 정량적인 영상데이터의 수집보다 연속적으로 수집되는 방대한 영상데이터를 어떻게 효율적으로 관리하고 가공했는지가 통합 분석에 출발점인 것이다.

빅데이터 측면에서 보면, 현재 인류가 생산하는 데이터의 80%가 비정형 데이터이며, 비정형 데이터의 70%가 시각 빅데이터(이미지·동영상)인 반면, 내용 분석과 이해 기술은 텍스트(언어) 정보 대비 낙후된 분야로 중장기 관점에서 기술 확보가 필요하다. 스마트폰, CCTV, 블랙박스, 드론, 인공위성, 디지털 카메라 등에서 수집되는 영상 데이터의 양은 기하급수적으로 증가하고 있으며, 이에 따른 비정형 영상 데이터를 인식하고 내용을 분석하여 활용 할 수 있는 기술 요구가 점차 증가되고 있다.

사람의 인지체계는 80%가 시각에 의존하고 있어 이미지·동영상 내용이해를 기반으로 하는 시각지식과 시각지능은 미래 성장을 견인할 동력원이며 시각 빅데이터 시대의 주도권 확보를 위해 “보여주는 영상”에서 “상황을 인지하는 영상”으로의 전환을 위한 기술이 필요하다. 그러기 위해서는 '영상수집 → 영상개선 → 영상분석, 상황인식 → 이벤트 확인 및 서비스 자동연계'의 과정으로 영상분석 솔루션 및 관제시스템과의 결합으로 보다 지능화된 플랫폼을 구축하여야 하며 IoT 기반의 네트워킹 환경, 클라우드 서비스를 통한 저장 환경, 웹/앱 서비스 솔루션 등의 추가적인 인프라 계층의 통합적인 플랫폼 구축이 필요하다.

영상관리 측면에서는 영상 저장, 요약, 연계, 검색, 변환, 클라우드/스토리지 관리 기능이 구현되어야 한다. 에이전트를 통한 객체 인식 영상분석 프로세스를 기반으로 경고 수준, 사건 발생 수준 등 수준별 이벤트 대응, 장비제어, 이동 객체 동선 분석, 장면별 영상 의미 인덱싱 등의 알고리즘이 각 적용 분야에 맞게 커스터마이징 되어 적용이 가능해야 한다.

또한, 비정형화된 시공간객체(ex. 불, 연기, 안개 등)를 탐지/인식하고 통합 분석의 효용성을 높이기 위해서는 반드시 최적화된 일련의 자동화 도구와 시스템이 필요하다. 특히, 넓은 지역의 화재 감시 등의 용도에서는 차량이나 사람의 이동이 비정형화된 객체의 구분 알고리즘에 오인/혼동을 유발할 수 있다.

대한민국 등록공보 10-2159954호

본 발명은 영상전환점 및 객체 인식을 통한 지능형 영상데이터 자동 추출 방법과 커스텀 학습을 통해 시공간객체를 탐지하고 인식하는 방법을 제공하고자 한다.

보다 구체적으로 본 발명은 넓은 지역의 화재 감시 등의 용도에서는 차량이나 사람의 이동이 비정형화된 객체의 구분 알고리즘에 오인/혼동을 유발하는 것을 방지하는 비정형객체 인식 방법을 제공하고자 한다.

본 발명의 일 측면에 따른 비정형객체 인식 방법은, 감시 지역을 촬영한 동영상을 입력받는 단계; 상기 동영상에서 영상전환점을 추출하는 단계; 이동 객체 검출 알고리즘을 통해 상기 영상전환점에서 이동 객체 좌표를 검출하는 단계; 및 상기 이동 객체를 제외시킨 동영상에서 감시 대상인 비정형 객체를 인식하는 단계를 포함할 수 있다.

여기서, 상기 비정형 객체를 인식하는 단계는, 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고, 영상전환점을 다시 추출하는 단계; 및 다시 추출된 영상전환점 이후의 동영상에 대하여 커스텀 학습 모델을 적용하여 이상 영역을 인식하는 단계를 포함할 수 있다.

여기서, 상기 이상 영역을 인식하는 단계 이후, 탐지된 이상 영역을 추출하여 상기 커스텀 학습 모델의 기준 시공간객체와 비교하는 단계; 및 비교 결과 감시 대상 시공간객체로 인식되면 알람을 수행하는 단계를 포함할 수 있다.

여기서, 상기 영상전환점을 추출하는 단계는, 상기 동영상에서 콘텐츠 인식 감지로 두 개의 후속 프레임간의 차이가 임계값을 초과하는 영역을 찾는 방식으로 수행될 수 있다.

여기서, 상기 이동 객체 검출 알고리즘은, 상기 동영상을 구성하는 프레임들 중 상기 영상전환점에 해당되는 프레임에서 이동 객체를 검출할 수 있다.

여기서, 상기 이동 객체 검출 알고리즘은, scipy, numpy, keras 중 하나 이상의 라이브러리를 활용하는 CAM(class activation map)이 적용될 수 있다.

여기서, 상기 비정형 객체는, 0.1초 내지 1초의 시공간에 대하여 규정된 비정형 시공간 객체로서 화염 또는 연기 객체일 수 있다.

여기서, 상기 비정형 객체를 인식하는 단계에서는, CAM을 이용하여 추출된 영역을 바탕으로 커스텀 학습 객체로서 기준 시공간객체 비교하여 감시 대상 시공간객체를 인식할 수 있다.

여기서, 가상으로 증강된 형상 데이터를 이용하여 상기 커스텀 학습 모델을 학습시키는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따른 비정형객체 인식 장치는, 감시 지역을 촬영한 동영상을 입력받는 동영상 수집부; 상기 동영상에서 영상전환점을 추출하는 영상전환점 추출부; 상기 동영상에서 상기 영상전환점에 대한 이동 객체 좌표를 검출하는 이동 객체 검출부; 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제거하고 보간하는 이동 객체 제거부; 및 상기 객체 바운딩박스가 제거된 동영상에서 다시 추출된 영상전환점 이후의 동영상에서 감시 대상인 비정형 객체를 인식하는 커스텀 학습 모델을 포함할 수 있다.

여기서, 가상으로 증강된 형상 데이터를 이용하여 상기 커스텀 학습 모델을 학습시키는 학습부를 더 포함할 수 있다.

여기서, 상기 영상전환점 추출부는, 영상 매 프레임의 content_val, delta_hue(색조), delta_sat(포화도), delta_lum(휘도/밝기)를 설정된 임계값과 비교하는 임계값 감지기를 구비할 수 있다.

여기서, 상기 커스텀 학습 모델은, 이상 영역을 추출한 후 커스텀 학습된 모델의 기준 시공간객체와 비교하여 감시 대상 비정형 시공간객체를 탐지하고 인식할 수 있다.

여기서, 상기 커스텀 학습 모델은, 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고, 영상전환점을 다시 추출하고, 다시 추출된 영상전환점 이후의 동영상에 대하여 커스텀 학습 모델을 적용하여 이상 영역을 인식하고, 탐지된 이상 영역을 추출하여 상기 커스텀 학습 모델의 기준 시공간객체와 비교할 수 있다.

여기서, 상기 이상 영역의 객체가 상기 기준 시공간객체와 유사성이 높아 감시 대상 시공간객체로 인식되면 알람을 수행하는 알람부를 더 포함할 수 있다.

상술한 구성의 본 발명의 사상에 따른 비정형객체 인식 기법을 실시하면, 지능형 영상데이터 자동 추출 방법과 커스텀 학습을 통해 정확하게 시공간객체를 탐지하고 인식하는 이점이 있다.

본 발명의 비정형객체 인식 기법은, 커스텀 객체 인식을 위한 이미지 데이터셋 확보 단계에서 방대한 CCTV 현장 녹화데이터를 무분별하게 정량적으로만 구축을 한다던지 웹크롤링 등을 통해 연관성이 낮은 데이터를 증강하는 등의 비효율성을 최소화하고 모델을 최적화하는 이점이 있다.

본 발명의 비정형객체 인식 기법은, 객체 인식만으로는 한계점이 존재했던 시공간객체를 탐지/인식하고 기존 시스템들과 유연한 호환성으로 기존의 영상을 활용하는 서비스에 콤퍼넌트식으로 손쉽게 적용할 수 있으며, 또한 영상데이터를 확보-구축-관리-활용-보완까지 포괄하는 시스템으로 생산성을 향상시킬 수 있는 이점이 있다.

기존의 비정형객체 탐지/인식을 위해서는 이상 탐지 알고리즘, 객체 인식 알고리즘, 이미지 증강 알고리즘이 각 각의 서버에서 구동되어야 했다면, 본 발명의 비정형객체 인식 기법은, 매프레임을 각 각의 알고리즘에서 중복 처리하는 것이 아닌 단계별 자동화 알고리즘 적용 시스템으로 매 프레임 중복되거나 불필요한 연산이 없고 가벼워 엣지에서도 여러개의 알고리즘 구동이 가능하여 확장성 및 이식성이 용이한 이점이 있다.

본 발명의 비정형객체 인식 기법은, 전력산업 현장에서 전력계통 안정화를 위한 영상기반 전력선로, 산불 등 환경감시 뿐만 아니라 다양한 안전감시시스템 운영시 활용 가능하며, 지능형CCTV 영상서비스기반 건설현장 송전선로 감시, 건설현장에서의 스마트 안전 블랙박스 시스템 구현 등에 적용이 가능한 이점이 있다.

도 1은 CAM(Class activation map)을 설명하기 위한 개념도.
도 2는 본 발명의 사상에 따른 비정형객체 인식 방법의 일 실시예를 도시한 흐름도.
도 3은 이동 객체 인식 후 바운딩박스 제거하는 과정을 도시한 사진들.
도 4a는 산불 이상 탐지시 화면의 일 예이며, 도 4b는 산불 이상 탐지시 화면의 다른 예.
도 5a는 산불 등 이상이 존재하지 않는 화면의 일 예이며, 도 5b는 산불 등 이상이 존재하지 않는 화면의 다른 예.
도 6은 본 발명의 사상에 따른 비정형객체 인식 방법의 다른 실시예를 도시한 흐름도.
도 7은 본 발명의 사상에 따른 비정형객체 인식 방법을 수행할 수 있는 비정형객체 인식 장치의 일 실시예를 도시한 블록도.

본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

본 발명의 사상은 상술한 문제점들을 해결하는 기술적 요소들로서 다음 방법과 알고리즘을 현장 시스템에 적용하고자 한다.

먼저, 영상전환점 및 객체 인식을 통한 자동 영상데이터 추출 방법을 적용한다. 즉, 본 제안기술은 학습된 객체 인식 바운딩박스를 제외/교체하여 영상전환점을 인식하는 방식으로 데이터셋 구성을 위한 이미지 최적화 추출 방법을 제시할 수 있다.

다음, 커스텀 학습을 기반으로 Class Activation Map(CAM)을 통한 시공간객체 탐지 및 인식 방법으로, 화재나 재난 상황 같은 비정형적 객체를 효율적으로 탐지하는 방안을 제시한다.

추가적으로, 상기 비정형적 객체를 탐지하기 위한 Class Activation Map(CAM) 커스텀 학습 모듈에 대한 학습 방안으로서, 가상으로 증강된 2D 이미지를 → 3D 형상 이미지로 교체하는 방법을 적용하여, 충분한 학습 데이터를 확보하는 방안을 제시할 수 있다.

도 1은 CAM(Class activation map)을 설명하기 위한 개념도이다.

CAM(Class activation map)???은 특정 클래스 이미지를 그 클래스라고 예측하게 한 그 이미지 내의 위치 정보를 의미한다. 기본적인 구조는 Network in Network 과 GoogLeNet 과 흡사하며, 도 1에서 볼 수 있듯이 마지막 conv layer를 fc-layer로 flatten 하지 않고, GAP(Global Average Pooling)을 통해 새로운 weight들을 만들어 낸다. 마지막 conv layer가 총 n개의 channel로 이루어져 있다면, 각각의 채널들은 GAP을 통해 하나의 weight값으로 나타내고 총 n개의 weight들이 생긴다.

마지막에 softmax 함수로 연결하여 이 weight들도 백프롭을 통해 학습을 시킨다. N개의 weight가 생겼다면 weight들은 마지막 n개의 conv layer들과 weighted sum을 해주면 하나의 특정 클래스 이미지의 heat map이 나오게 된다. 이 클래스가 ‘Australian terrier’ 즉 개의 한 종류인데 원래 이미지를 보면 개의 몸과 얼굴을 보고 ‘Australian terrier’로 판단했다는 것을 확인할 수 있다.

상술한 본 발명의 사상에 따른 기술적 개선 요소들을 반영한 지역 감시 용도의 비정형객체 인식 방법은, 감시 지역을 촬영한 동영상을 입력받는 단계; 상기 동영상에서 영상전환점을 추출하는 단계; 이동 객체 검출 알고리즘을 통해 상기 영상전환점에서 이동 객체 좌표를 검출하는 단계; 및 상기 이동 객체를 제외시킨 동영상에서 감시 대상인 비정형 객체를 인식하는 단계를 포함할 수 있다.

상술한 본 발명의 사상에 따른 비정형객체 인식 방법은, 영상전환점 및 객체 인식을 기반으로 입력 영상의 프레임 변화량을 분석하여 자동으로 이상을 탐지하고, 실제 운영환경(CCTV 등)에서 수집한 영상데이터로 커스텀 학습을 수행하고 해당 모델로 시공간객체를 탐지 및 인식할 수 있다.

영상전환점은 영상 프레임 사이의 컷을 감지하는 것으로 콘텐츠 인식 감지와 임계값 기반 감지로 나눌 수 있다. 콘텐츠 인식은 두 개의 후속 프레임 간의 차이가 설정된 임계값을 초과하는 영역을 찾는 것으로 임계값을 적절히 설정하면 필름의 점프컷과 같은 사소한 갑작스러운 변화도 감지할 수 있다. 임계값 기반 감지는 현재 프레임의 강도/밝기를 설정된 임계값과 비교하고 이 값이 임계값을 초과할 때 장면 컷/브레이크를 트리거하여 작동하는 방식이다. 예컨대, 프레임의 모든 픽셀에 대한 R,G,B 값을 평균화하여 계산되어 평균 픽셀값(0.0 ∼ 255.0)을 나타내는 단일 부동 소수점 숫자를 산출할 수 있다.

객체 인식이란 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로 객체 인식은 딥러닝과 머신러닝 알고리즘을 통해 산출되는 핵심 기술이다. 사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아볼 수 있다. 이처럼 사람이라면 당연히 할 수 있는 일을 컴퓨터가 할 수 있도록 학습시키는 것을 말한다.

객체 인식(Object recognition)과 객체 탐지(Object detection)는 서로 유사한 객체 식별 기술이지만 실행 방식은 서로 다르다. 객체 탐지는 이미지에서 객체의 인스턴스를 찾아내는 프로세스로 딥러닝의 경우 객체 감지는 이미지에서 객체를 식별할 뿐만 아니라 위치까지 파악되는 객체 인식의 서브셋이다. 이를 통해 하나의 이미지에서 여러 객체를 식별하고 각 위치를 파악할 수 있다.

도 2는 본 발명의 사상에 따른 비정형객체 인식 방법의 일 실시예를 도시한 흐름도이다.

도시한 비정형객체 인식 방법은, 감시 지역을 촬영한 동영상을 입력받는 단계(S110); 상기 동영상에서 영상전환점을 추출하는 단계(S120); 이동 객체 검출 알고리즘을 통해 상기 영상전환점에서 이동 객체 좌표를 검출하는 단계(S130, S140); 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고(S145), 영상전환점을 다시 추출하는 단계; 및 다시 추출된 영상전환점 이후의 동영상에 대하여 커스텀 학습 모델을 적용하여(S150) 감시 대상인 비정형 객체를 인식하는 단계(S160)를 포함할 수 있다.

여기서, 상기 영상전환점을 추출하는 단계(S120)는, 상기 동영상에서 콘텐츠 인식 감지로 두 개의 후속 프레임간의 차이가 임계값을 초과하는 영역을 찾는 방식으로, 변화량 분석을 통해 수행될 수 있다.

영상전환점은 동영상에서 점프컷 등을 검출하기 위한 것이나, 감시 카메라 시스템 영상에 적용하면, 분석이 필요한 요주의 상황이 발생된 경우 영상전환점이 되는 프레임에 감시 대상 객체가 포함될 가능성이 높게 된다.

이러한 사정을 반영하여, 상기 이동 객체 검출 알고리즘은, 상기 동영상을 구성하는 프레임들 중 상기 영상전환점에 해당되는 프레임에서 이동 객체를 검출할 수 있다.

다음, 도 2의 각 단계들의 동작 원리를 구체적으로 예시하여 설명하겠다.

예컨대, 상기 S110 단계에서는 CCTV 시스템에서 저장된 영상을 독출하거나, IP 카메라(rtsp, http, rtmp) 영상을 입력받을 수 있다.

예컨대, 상기 S120 단계에서는, 콘텐츠 인식 감지로 두 개의 후속 프레임간의 차이가 임계값을 초과하는 영역을 찾을 수 있다.(시작하기에 좋은 값은 -threshold 30). 이를 통해서 대부분의 장면 사이의 컷을 감지할 수 있고 임계값을 적절히 설정하면 필름의 점프컷과 같은 사소한 갑작스러운 변화도 감지할 수 있다.

보다 구체적으로 임계값 감지기를 적용하여 영상 매프레임의 content_val, delta_hue(색조), delta_sat(포화도), delta_lum(휘도/밝기)를 설정된 임계값과 비교하고 이 값이 임계값을 초과할 때 장면 컷, 브레이크를 트리거하고 프레임의 모든 픽셀에 대한 R,G,B 값을 평균화하여 계산하고 평균 픽셀 값(0.0 ~ 255.0)을 나타내는 단일 부동 소수점 숫자를 산출하되, 이를 통해 영상전환점을 추출하고 threshold 값을 통해 민감도를 설정할 수 있다.(낮게 설정할수록 민감도는 증가)

예컨대, 상기 S120 단계에서는, 영상전환점 추출을 위해 Pyscenedetect[Pyscenedetect, https:// pyscenedetect.readthedocs.io /en/latest/other/literature/ (accessed July 24, 2021).] 라이브러리를 활용할 수 있다. 이 경우, 콘텐츠 인식 감지와 임계값 기반 감지를 통해 매프레임의 hue, saturation, luminance를 설정된 threshold값과 비교하고 이 값을 초과할 때 영상전환점을 추출한다. 일반적으로 한 이미지에서 객체의 존재를 감지하려면 이 객체의 높이가 뷰의 10%를 차지할 수 있어야하며 알고 있는 객체를 인식하려면 50% 추가적으로 식별하기 위해서는 120% 이상이 필요할 수 있다.

또한, 객체의 출현 및 이동을 감지할 때 객체가 뷰가 50 ∼ 100%이면 threshold의 적절한 값은 10이며 작을수록 민감도가 증가하는 것(미세한 변화에도 영상전환점 추출)을 확인하였다. 예를 들어, 사람의 얼굴은 독특한 식별 특성을 가지고 있으며 얼굴 너비는 신체의 높이나 너비보다 변화가 적다. 사람 얼굴은 평균 폭은 16cm(6.3인치) 이며 사람의 얼굴을 객체로 가정했을 때 이러한 특성을 토대로 적절한 임계값을 도출할 수 있다.

예컨대, 상기 이동 객체 좌표를 검출하는 단계(S130, S140)에서는, 영상전환점이 추출되면 객체 검출 알고리즘을 통해 해당 영상전환점(해당프레임)에서 객체 좌표를 추출할 수 있다.

도 3은 이동 객체 인식 후 바운딩박스 제거하는 과정을 도시한 사진들이다.

상세 과정들을 규정하면, 이동 객체의 출현, 이동 등으로 영상 전환점이 인식되었고, 도시한 S130 단계의 객체 검출 알고리즘을 통해 이동 객체가 검출되면(S140), 해당 이동 객체에 바운딩 박스가 그려진다. 도시한 S145 단계에서 해당 바운딩박스를 프레임에서 제거한다. 이때, 검출 전 프레임의 해당좌표값으로 교체하여 불필요한 연산을 최소화할 수 있다.

보다 구체적으로 예시하면, 실시간으로 영상전환점이 추출되었다면 해당 프레임에 대한 객체 탐지를 수행하고 도 3처럼 객체가 감지되었다면 해당 bounding box를 Roi(Region Of Interest)로 설정한다[Himani S. Parekh, D. Thakore, U. K. Jaliya, A Survey on Object Detection and Tracking Methods, 2014.참조]. 영상전환점 추출시 frame number와 timecode 값을 기반으로 관심 영역을 실시간으로 추적하여 해당 좌표를 프레임에서 제거하고 영상전환점 추출을 지속한다. 이러한 기법으로 이상 탐지를 원하지 않는 객체의 출현 및 이동으로 인한 영상전환점 추출을 제어할 수 있다

상기 S145 단계에서 전체 동영상에서 객체 바운딩박스를 제외하고, 상기 S120 단계로 복귀하여 전환점을 다시 추출할 수 있다. 그러면, 상기 S145 단계의 수행에 따라 이동 객체로 검출된 객체가 제거되었으므로, 이동 객체가 제외된 동영상에서 다시 영상전환점이 인식된다면, 이상 징후 포착/새로운 객체의 출현(시공간객체 포함)으로 판단하고 해당 부분(지역)에 대해, 감시 대상 객체의 인식/확인을 위해 Class Activation Map을 수행할 수 있다(S150). 구현에 따라 이러한 학습 가치가 있는 프레임들은 2D 이미지들을 3D 형상 가상이미지로 증강시켜서, 후술하는 커스텀 학습 모델을 학습시키는 단계에서 이용될 수 있다. 즉, 자동으로 레이블링 작업이 요구되는 학습 가치가 있는 이미지들이 수집되는 것이다.

구현에 따라, 지역별 특이점에 따라 좌표 정보 변화량을 통한 예외처리를 추가할 수 있다.

상기 S150 단계에서 객체 수가 적거나 고정 객체가 있다면 ROI(Region Of Interest)를 설정하여 탐지에서 제외시킬 수 있다.

상기 S160 단계에서는, 해당 영역(감시 대상으로 추정되는 이상 영역)을 추출한 후 커스텀 학습된 모델의 기준 시공간객체와 비교하여 비정형 시공간객체를 탐지하고 인식할 수 있다. 예컨대, 1차적으로 커스텀 학습 모델의 추론 결과를 바탕으로 이상 징후를 탐지하여 퍼센트로 분석하여 표시하고 2차적으로 어떤 객체인지 인식할 수 있다.

즉, 상기 S160 단계는, 상기 학습 모델을 적용한 결과 이상 영역이 탐지되면, 탐지된 이상 영역(즉, 감시 대상 추정 영역)을 추출하여 상기 학습 모델의 기준 시공간객체와 비교하는 1차적 단계; 및 비교 결과 대상 시공간 객체로 인식되면 알람을 수행하는 2차적 단계를 포함할 수 있다.

본 발명의 비정형객체 인식 방법은, 감시 대상 객체 출현을 자연재해나 사회재난 발생을 이상 탐지 조건으로 정의하여 영상전환점 이상 탐지 판단을 위한 CAM을 scipy, numpy, keras 라이브러리를 활용하여 구현될 수 있다. 또한, 모델 데이터셋은 현장의 정상이미지 클래스와 이상 탐지 객체가 포함된 이미지 클래스로 두 클래스로 구성하고, MobileNetV2[Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, Liang-Chieh Chen, MobileNetV2: Inverted Residuals and Linear Bottlenecks, 201]로 이미 학습되어 있는 모델을 개조하고 전이학습하여 커스터마이징할 수 있다. 현장에 맞춤형으로 적용하기 위해 정상이미지 클래스는 계절과 밤과 낮, 자연현상, 기상이변, 특수상황 등이 고려된 데이터셋을 활용하고, 다른 클래스는 이상 탐지 객체가 포함된 이미지와 인위적으로 이상 탐지 객체를 가공한 이미지가 포함되어 구성될 수 있다.

예컨대, 전력 설비 등 야외를 포함하는 넓은 지역에 설치된 설비들을 위한 화재 감시 시스템에 본 발명의 사상을 적용하는 경우, 상기 비정형 시공간객체는, 화염 또는 연기를 식별하는 객체일 수 있다. 또한, 0.1초 내지 1초의 시공간에 대하여 시공간 객체가 규정될 수 있다.

도 4a는 산불 이상 탐지시 화면의 일 예이며, 도 4b는 산불 이상 탐지시 화면의 다른 예이다.

도 5a는 산불 등 이상이 존재하지 않는 화면의 일 예이며, 도 5b는 산불 등 이상이 존재하지 않는 화면의 다른 예이다.

추가적으로, 상기 S160 단계에서는, 판단한 결과를 알람으로 표출할 수 있다. 즉, 현장 특성에 맞는 학습된 모델부터 class activation map을 수행하며 이상이 있다고 판단했다면 이상 영역(heat 영역)을 추출하여 object detection을 재수행하고 프레임 변화량을 조합 및 분석하여 최종 판단하고 알람을 출력할 수 있다.

구현에 따라, 가상으로 증강된 2D→3D 형상 데이터를 이용하여 상기 커스텀 학습 모델을 학습시키는 단계를 더 포함할 수 있다. 상기 모델을 학습시키는 단계는 상기 커스텀 학습 모델을 적용하여(S150) 감시 대상인 비정형 객체를 인식하는 단계(S160) 이전에 수행될 수도 있고, 이후에 수행될 수도 있다. 예컨대, 바운딩 박스를 제거한 후 2D → 3D로 가상 증강된 이미지로 교체한 후 디텍션하여 가상 이미지의 성능을 FID(Frechlet Inception Distance)를 적용할 수 있다. 또는, 상기 S160 단계 이후, 가상 증강된 이미지로 교체한 후 디텍션하여 가상 이미지의 성능을 FID(Frechlet Inception Distance)를 적용하여 수행된 모델을 평가하는 방식으로 적용될 수도 있다. 여기서, FID는 실제 이미지와 생성된 이미지 간의 특징 거리 측정에 가장 널리 사용되는 매트릭 중 하나로 프레쳇 거리(Frechet Distance)는 곡선을 따라는 점들(points)의 위치와 순서를 고려한 곡선 간의 유사성을 측정하는 방법이다.

예컨대, 도 3에서 bounding box를 제거했을 때 증강된 가상 이미지들로 교체하고 감지 여부 및 정확도를 수치화하여 Gan(Generative Adversarial Network)의 성능평가 기법인 Frechlet Inception Distance와 다른 실제 검증 방식으로 증강된 이미지들의 성능 평가를 할 수 있다. Gan의 사전조건은 유사한 데이터셋을 구성하는 것인데 이러한 방법으로 현장에 특화된 학습 데이터를 자동 수집 및 증강시키고 평가할 수 있다. 영상서비스 운영 관점에서는 정기적 학습 스케쥴러를 등록해 놓는다면 자동으로 자가학습 및 모델 업데이트를 통해 현장 맞춤형 모델을 최적하여 실시간으로 최신의 영상서비스를 제공할 수 있다.

도 6은 본 발명의 사상에 따른 비정형객체 인식 방법의 다른 실시예를 도시한 흐름도이다.

도시한 비정형객체 인식 방법은, 영상전환점을 추출하고, 객체 바운딩박스를 제외시킨 후, 전체 동영상에서 영상전환점을 다시 추출하지 않고, 해당 프레임에 대하여 객체 감지만을 다시 반복하는 방식으로 수행됨에, 상술한 도 2의 실시예와 차이가 있다.

도시한 비정형객체 인식 방법은, 감시 지역을 촬영한 동영상을 입력받는 단계(S110); 상기 동영상에서 영상전환점을 추출하는 단계(S220); 이동 객체 검출 알고리즘을 통해 상기 영상전환점에서 이동 객체 좌표를 검출하는 단계(S230, S240); 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고(S245), 이동 객체 검출을 다시 수행하는 단계; 및 다시 추출된 영상전환점 이후의 동영상에 대하여 CAM 커스텀 학습 모델을 적용하는 단계(S150); 상기 학습 모델을 적용한 결과 이상 영역이 탐지되면(S260), 탐지된 이상 영역을 추출하여 상기 학습 모델의 기준 시공간객체와 비교하는 단계(S270); 및 비교 결과 대상 시공간객체로 인식되면 알람을 수행하는 단계(S290)를 포함할 수 있다.

예컨대, 상기 이상 영역의 객체가 화염에 대한 상기 기준 시공간객체와 유사성이 높으면, 감시 대상 시공간객체(예 : 화염)로 인식하여, 화재 알람을 출력할 수 있다.

도시한 실시예의 비정형객체 인식 방법은, 상술한 도 2의 경우에 비하여 전체 동영상에 대한 연산량은 늘어날 수 있으나, 영상 흐름을 기준으로 뒤로 복귀하여 반복하는 과정이 제거되어 실시간성 특성이 높은 이점이 있다.

도 7은 본 발명의 사상에 따른 비정형객체 인식 방법을 수행할 수 있는 비정형객체 인식 장치의 일 실시예를 도시한 블록도이다.

도시한 비정형객체 인식 장치는, 감시 지역을 촬영한 동영상을 입력받는 동영상 수집부(110); 상기 동영상에서 영상전환점을 추출하는 영상전환점 추출부(120); 상기 동영상에서 상기 영상전환점에 대한 이동 객체 좌표를 검출하는 이동 객체 검출부(130); 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제거하고 보간하는 이동 객체 제거부(140); 상기 객체 바운딩박스가 제거된 동영상에서 다시 추출된 영상전환점 이후의 동영상에서 감시 대상인 비정형 객체를 인식하는 커스텀 학습 모델(160); 및 가상으로 증강된 2D→3D 형상 데이터를 이용하여 상기 커스텀 학습 모델을 학습시키는 학습부(190)를 포함할 수 있다.

상기 동영상 수집부(110)는 도 2의 S110 단계를 수행하고, 상기 영상전환점 추출부(120)는 도 2의 S120 단계를 수행하고, 상기 이동 객체 검출부(130)는 도 2의 S130 단계를 수행하고, 상기 이동 객체 제거부(140)는 도 2의 S140 단계 및 S145 단계를 수행하고, 상기 커스텀 학습 모델(160)은 도 2의 S150 단계 및 S160 단계를 수행할 수 있다.

구현에 따라, 상기 영상전환점 추출부(120)는, 영상 매 프레임의 content_val, delta_hue(색조), delta_sat(포화도), delta_lum(휘도/밝기)를 설정된 임계값과 비교하는 임계값 감지기를 구비할 수 있다.

구현에 따라, 상기 커스텀 학습 모델(160)은, 상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고, 영상전환점을 다시 추출하고, 다시 추출된 영상전환점 이후의 동영상에 대하여 커스텀 학습 모델을 적용하여 이상 영역을 인식하고, 탐지된 이상 영역을 추출하여 상기 커스텀 학습 모델의 기준 시공간객체와 비교할 수 있다.

또한, 이 경우 상기 비정형객체 인식 장치는, 상기 이상 영역의 객체가 상기 기준 시공간객체와 유사성이 높아 감시 대상 시공간객체로 인식되면 알람을 수행하는 알람부를 더 포함할 수 있다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110 : 동영상 수집부
120 : 영상전환점 추출부
130 : 이동 객체 검출부
140 : 이동 객체 제거부
160 : 커스텀 학습 모델
190 : 학습부

Claims (15)

1. 감시 지역을 촬영한 동영상을 입력받는 단계;
   상기 동영상에서 영상전환점을 추출하는 단계;
   이동 객체 검출 알고리즘을 통해 상기 영상전환점에서 이동 객체 좌표를 검출하는 단계; 및
   상기 이동 객체를 제외시킨 동영상에서 감시 대상인 비정형 객체를 인식하는 단계
   를 포함하는 비정형객체 인식 방법.
   
2. 제1항에 있어서,
   상기 비정형 객체를 인식하는 단계는,
   상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고, 영상전환점을 다시 추출하는 단계; 및
   다시 추출된 영상전환점 이후의 동영상에 대하여 커스텀 학습 모델을 적용하여 이상 영역을 인식하는 단계
   를 포함하는 비정형객체 인식 방법.
   
3. 제2항에 있어서,
   상기 이상 영역을 인식하는 단계 이후,
   탐지된 이상 영역을 추출하여 상기 커스텀 학습 모델의 기준 시공간객체와 비교하는 단계; 및
   비교 결과 감시 대상 시공간객체로 인식되면 알람을 수행하는 단계
   를 포함하는 비정형객체 인식 방법.
   
4. 제1항에 있어서,
   상기 영상전환점을 추출하는 단계는,
   상기 동영상에서 콘텐츠 인식 감지로 두 개의 후속 프레임간의 차이가 임계값을 초과하는 영역을 찾는 방식으로 수행되는 비정형객체 인식 방법.
   
5. 제1항에 있어서,
   상기 이동 객체 검출 알고리즘은,
   상기 동영상을 구성하는 프레임들 중 상기 영상전환점에 해당되는 프레임에서 이동 객체를 검출하는 비정형객체 인식 방법.
   
6. 제5항에 있어서,
   상기 이동 객체 검출 알고리즘은,
   scipy, numpy, keras 중 하나 이상의 라이브러리를 활용하는 CAM(class activation map)이 적용된 비정형객체 인식 방법.
   
7. 제1항에 있어서,
   상기 비정형 객체는,
   0.1초 내지 1초의 시공간에 대하여 규정된 비정형 시공간 객체로서 화염 또는 연기 객체인 비정형객체 인식 방법.
   
8. 제1항에 있어서,
   상기 비정형 객체를 인식하는 단계에서는,
   CAM을 이용하여 추출된 영역을 바탕으로 커스텀 학습 객체로서 기준 시공간객체 비교하여 감시 대상 시공간객체를 인식하는 비정형객체 인식 방법.
   
9. 제2항에 있어서,
   가상으로 증강된 형상 데이터를 이용하여 상기 커스텀 학습 모델을 학습시키는 단계
   를 더 포함하는 비정형객체 인식 방법.
   
10. 감시 지역을 촬영한 동영상을 입력받는 동영상 수집부;
    상기 동영상에서 영상전환점을 추출하는 영상전환점 추출부;
    상기 동영상에서 상기 영상전환점에 대한 이동 객체 좌표를 검출하는 이동 객체 검출부;
    상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제거하고 보간하는 이동 객체 제거부; 및
    상기 객체 바운딩박스가 제거된 동영상에서 다시 추출된 영상전환점 이후의 동영상에서 감시 대상인 비정형 객체를 인식하는 커스텀 학습 모델
    을 포함하는 비정형객체 인식 장치.
    
11. 제10항에 있어서,
    가상으로 증강된 형상 데이터를 이용하여 상기 커스텀 학습 모델을 학습시키는 학습부
    를 더 포함하는 비정형객체 인식 장치.
    
12. 제10항에 있어서,
    상기 영상전환점 추출부는,
    영상 매 프레임의 content_val, delta_hue(색조), delta_sat(포화도), delta_lum(휘도/밝기)를 설정된 임계값과 비교하는 임계값 감지기
    를 구비하는 비정형객체 인식 장치.
    
13. 제10항에 있어서,
    상기 커스텀 학습 모델은,
    이상 영역을 추출한 후 커스텀 학습된 모델의 기준 시공간객체와 비교하여 감시 대상 비정형 시공간객체를 탐지하고 인식하는 비정형객체 인식 장치.
    
14. 제10항에 있어서,
    상기 커스텀 학습 모델은,
    상기 동영상에서 상기 이동 객체 좌표에 따른 객체 바운딩박스를 제외시키고, 영상전환점을 다시 추출하고,
    다시 추출된 영상전환점 이후의 동영상에 대하여 커스텀 학습 모델을 적용하여 이상 영역을 인식하고,
    탐지된 이상 영역을 추출하여 상기 커스텀 학습 모델의 기준 시공간객체와 비교하는 비정형객체 인식 장치.
    
15. 제14항에 있어서,
    상기 이상 영역의 객체가 상기 기준 시공간객체와 유사성이 높아 감시 대상 시공간객체로 인식되면 알람을 수행하는 알람부
    를 더 포함하는 비정형객체 인식 장치.
    
    

Images