KR102261187B1 - 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법 - Google Patents

머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법 Download PDF

Info

Publication number
KR102261187B1
KR102261187B1 KR1020200013378A KR20200013378A KR102261187B1 KR 102261187 B1 KR102261187 B1 KR 102261187B1 KR 1020200013378 A KR1020200013378 A KR 1020200013378A KR 20200013378 A KR20200013378 A KR 20200013378A KR 102261187 B1 KR102261187 B1 KR 102261187B1
Authority
KR
South Korea
Prior art keywords
dataset
surveillance
image analysis
machine learning
analysis model
Prior art date
Application number
KR1020200013378A
Other languages
English (en)
Inventor
최형욱
전문구
안호연
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020200013378A priority Critical patent/KR102261187B1/ko
Application granted granted Critical
Publication of KR102261187B1 publication Critical patent/KR102261187B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법에 관한 것으로서, a) 오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset), 상기 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋 및 상기 감시 카메라를 통해 촬영된 상기 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋을 구성하는 단계; b) 상기 제1 데이터셋을 이용하여 객체 또는 영역을 분석하는 머신 러닝 기반의 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제2 데이터셋에 대해 가사 레이블(pseudo label)을 생성하는 단계; c) 상기 제1 데이터셋과 가사 레이블이 생성된 제2 데이터셋을 이용하여 상기 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제3 데이터셋의 감시 영상을 세그멘테이션(segmentation)하여 하나 이상의 인식 대상 객체에 대한 학습을 수행하는 단계; 및 d) 상기 학습된 영상 분석 모델을 이용하여 상기 감시 지역에 대한 감시 영상을 실시간 분석하여 상기 인식 대상 객체의 탐지에 대한 이벤트 데이터를 제공하는 단계를 포함하는 방법일 수 있다.

Description

머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법{SYSTEM AND METHOD FOR MACHINE LEARNING BASED SURVEILLANCE VIDEO ANALYSIS}
본 발명은 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법에 관한 것으로서, 이를 자세하게 설명하면 인공 지능과 감시 영상을 바탕으로 이상 행동을 분석하도록 하는 머신 러닝에 기반한 영상 분석 모델을 제공하는 기술에 관한 것이다.
스마트폰, CCTV, 블랙박스, 드론, 인공위성, 디지털 카메라 등에서 수집되는 영상 데이터의 양은 기하급수적으로 증가하고 있으며, 이에 따른 비정형 영상 데이터를 인식하고 내용을 분석하여 활용할 수 있는 기술 요구가 점차 증가되고 있다.
현재 고해상도 CCTV의 영상 정보 인식은 여전히 사람의 시각을 통한 작업에 의해서 이루어지고 있으며, 개별적으로 획득된 영상을 통합 분석하는 기술이 부족한 실정이다. 현재 기술관제요원이 수십대 CCTV 채널 영상을 순차적으로 장시간 모니터링함에 따라 위험상황이 발생하더라도 이를 인지하지 못하는 경우가 발생하고 있다.
객체의 위험 행동 및 특징을 감지하는 지능형 CCTV는 영상 분석의 정확도를 향상시키기 위해서는 우선 객체유형이 정확히 분류되어야 한다. 이를 위해 인공지능(AI) 기술을 활용한 지능형 영상 분석 기술은 대량의 영상을 확보하고, 확보된 대량의 영상을 학습 데이터로 활용한다.
기존의 인공 지능 기술을 활용한 지능형 영상 분석 기술은 모델의 학습을 위해서 객체 위치 정답지를 만드는(Labeling) 작업이 매우 어렵다. 즉, 객체 인식 및 분류를 위해 레이블링이 된 대량의 사람 객체 정보, 자동차 객체, 도로 객체 등의 고품질 이미지로 이루어진 학습 데이터셋(Training Dataset)이 필요하다.
학습 데이터셋을 위해 수집된 서로 다른 지역의 CCTV 채널 영상들은 CCTV 의 설치 위치에 따라 촬영 시점이 모두 상이하므로 작업자가 수작업으로 하나씩 기준 시점을 기준으로 CCTV 채널 영상을 변환하여 레이블링해야하는 문제점이 있다.
모델의 학습을 위해 오픈 데이터를 이용하는 경우에, 객체의 크기와 특징 등 적용 도메인의 종류가 명확히 다른 상황이기 때문에, 기존의 오픈 데이터나 모델로는 CCTV가 설치된 현장 정확도를 만족시키기 어렵다는 문제점이 있다. 따라서 실제와 굉장히 흡사한 각도와 장소에서 직접 영상 데이터를 수집하는 수작업이 필요하고, 수집된 영상 데이터를 개발인원들이 오랜 기간 동안 나눠서 손수 레이블링을 해야 하므로 레이블링 작업에 많은 노력이 필요하며, 그만큼 시간과 비용이 많이 소요될 수 밖에 없다는 문제점이 있다.
따라서, 인공 지능 기술을 활용한 지능형 영상 분석 기술은 영상수집, 영상개선, 영상분석, 상황인식, 이벤트 확인 및 제공 등의 과정으로 지능화된 플랫폼을 구축하여 시간과 비용의 효율성을 증대시킬 필요가 있다.
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 감시 카메라에 포착된 사람이나 자동차 등의 객체에 대한 이상 행동을 검출하기 위해 도메인에 대한 정답지(Label) 없이도 인공 지능과 영상 데이터를 바탕으로 분석하도록 하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 감시 지역 내에 하나 이상의 감시 카메라를 포함하는 감시 영상 분석 시스템에 의해 수행되는 머신 러닝에 기반한 감시 영상 분석 방법은, a) 오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset), 상기 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋 및 상기 감시 카메라를 통해 촬영된 상기 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋을 구성하는 단계; b) 상기 제1 데이터셋을 이용하여 객체 또는 영역을 분석하는 머신 러닝 기반의 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제2 데이터셋에 대해 가사 레이블(pseudo label)을 생성하는 단계; c) 상기 제1 데이터셋과 가사 레이블이 생성된 제2 데이터셋을 이용하여 상기 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제3 데이터셋의 감시 영상을 세그멘테이션(segmentation)하여 하나 이상의 인식 대상 객체에 대한 학습을 수행하는 단계; 및 d) 상기 학습된 영상 분석 모델을 이용하여 상기 감시 지역에 대한 감시 영상을 실시간 분석하여 상기 인식 대상 객체의 탐지에 대한 이벤트 데이터를 제공하는 단계를 포함하는 방법일 수 있다.
상기 b) 단계는, 상기 제1 데이터셋을 소스 도메인(source domain)으로 설정하고, 상기 제2 데이터셋을 타겟 도메인(target domain)으로 설정하여 도메인 어댑테이션(domain adaptation)을 수행하는 것이다.
상기 c) 단계는, 상기 제1 데이터셋을 제1 소스 도메인(source domain)으로 설정하고, 상기 가사 레이블이 생성된 제2 데이터셋을 제2 소스 도메인으로 설정하며, 상기 제3 데이터셋을 타겟 도메인(target domain)으로 설정하여 도메인 어댑테이션(domain adaptation)을 수행하는 것이다 이때, 상기 c) 단계는, 상기 제1 소스 도메인의 바이어스(Bias)를 b1(b1>0)으로 설정하고, 제2 소스 도메인의 바이어스를 b2(b2<b1)로 각각 설정할 수 있다.
상기 영상 분석 모델은, 상기 인식 대상 객체를 정답(positive)으로 판별하고, 상기 인식 대상 객체가 아닌 객체를 오답(negative)으로 판별하는 판별기(discriminator)를 더 포함할 수 있다.
상기 b) 단계는, 상기 제2 데이터셋을 입력값으로 설정하고, 상기 제1 데이터셋을 정답으로 설정하여 상기 영상 분석 모델과 상기 판별기를 학습하는 것이다, 이때, 상기 영상 분석 모델은, 정탐지(true positive)를 최대화하고, 오탐지(false positive)와 미탐지(false negative)를 감소시키는 손실 함수를 설정한다.
또한, 본 발명의 다른 일 실시예에 따른 감시 지역 내에 하나 이상의 감시 카메라를 포함하는 감시 영상 분석 시스템은, 머신러닝에 기반한 감시 영상 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset), 상기 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋 및 상기 감시 카메라를 통해 촬영된 상기 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋을 구성하고, 상기 제1 데이터셋을 이용하여 객체 또는 영역을 분석하는 머신 러닝 기반의 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제2 데이터셋에 대해 가사 레이블(pseudo label)을 생성하고, 상기 제1 데이터셋과 가사 레이블이 생성된 제2 데이터셋을 이용하여 상기 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제3 데이터셋의 감시 영상을 세그멘테이션(segmentation)하여 하나 이상의 인식 대상 객체에 대한 학습을 수행하고, 상기 학습된 영상 분석 모델을 이용하여 상기 감시 지역에 대한 감시 영상을 실시간 분석하여 상기 인식 대상 객체의 탐지에 대한 이벤트 데이터를 제공하는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 레이블링된 데이터셋과 감시 지역과 유사한 환경 조건을 가지는 데이터셋에 기반하여 영상 분석 모델을 통해 CCTV 등의 레이블링되지 않은 데이터셋에 비정형 도메인 어댑테이션을 적용하여 의미론적 세그멘테이션을 수행할 수 있고, 그로 인해 대량의 감시 영상에 대한 실시간 객체 검출 및 영역 검출을 수행할 수 있다. 이러한 본 발명은 기설정된 출입 불가지역이나 이상 행동 등에 대한 이벤트 데이터를 실시간 검출하여 관리자 단말이나 관제센터에 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 머신 러닝에 기반한 감시 영상 분석 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 머신 러닝에 기반한 감시 영상 분석 방법을 나타낸 순서도이다.
도 3은 본 발명의 일실시예에 따른 제1 데이터셋, 제2 데이터셋 및 제3 데이터셋을 설명하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 도메인 어댑테이션을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상 분석 모델의 학습 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 머신 러닝에 기반한 감시 영상 분석 방법에 의한 도메인 어댑데이션의 적용 과정을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 머신 러닝에 기반한 감시 영상 분석 방법의 객체 및 영역 검출에 활용되는 일례를 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 머신 러닝에 기반한 감시 영상 분석 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 머신 러닝에 기반한 감시 영상 분석 시스템(100)은 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.
통신 모듈(110)은 통신망(300)과 감시 영상 분석 시스템(100)과 감시 카메라(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 머신 러닝에 기반한 감시 영상 분석 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 머신 러닝에 기반한 감시 영상 분석 방법을 제공하는 전체 과정을 제어하는 것으로서, 객체 또는 영역을 분석하는 머신 러닝 기반의 영상 분석 모델을 통해 비정형 데이터인 감시 카메라(200)를 통해 촬영된 감시 영상에 도메인 어댑테이션을 적용하여 의미론적 분할을 수행하여 인식 대상 객체에 대한 검출을 수행할 수 있다. 프로세서(130)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.
머신 러닝 기반의 영상 분석 모델은 입력된 특징(Feature)들을 임의의 가중치(Weight)와 바이어스(Bias)로 예측 값을 산출하여 실제 값(Label)과 비교하여 그 차이(Loss)를 '0' 또는 최소화가 되게 하는 가중치와 바이어스의 값을 찾도록 반복하는 방식으로 학습을 진행한다. 즉, 임의의 가중치와 바이어스가 설정된 영상 분석 모델(Model)에 특징(Feature)을 넣고, 영상 분석 모델의 예측 함수(y' = b + wx)를 통해 산출된 예측 값(Prediction)을 실제 결과(Label)와 차이를 계산하여 손실을 알아낸다. 이렇게 알아낸 손실을 통해 가중치(Weight)와 바이어스를 재설정하여 영상 분석 모델을 새롭게 학습하는데, 손실이 '0' 또는 최소가 될 때까지 위의 과정을 반복한다.
한편, 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 머신 러닝에 기반한 감시 영상 분석 방법을 수행하면서 누적되는 데이터가 저장된다. 예컨대, 데이터베이스(140)에는 오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset), 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋 및 감시 카메라를 통해 촬영된 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋 또는 영상 분석 모델을 통한 예측 값 등이 저장될 수 있다.
도 2는 본 발명의 일실시예에 따른 머신 러닝에 기반한 감시 영상 분석 방법을 나타낸 순서도이고, 도 3은 본 발명의 일실시예에 따른 제1 데이터셋, 제2 데이터셋 및 제3 데이터셋을 설명하는 예시도이고, 도 4는 본 발명의 일 실시예에 따른 도메인 어댑테이션을 설명하는 예시도이며, 도 5는 본 발명의 일 실시예에 따른 영상 분석 모델의 학습 과정을 설명하는 도면이다.
도 2를 참조하면, 머신 러닝에 기반한 감시 영상 분석 시스템(100)은 네트워크를 통해 오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset)을 구성하고, 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋과 감시 카메라(200)를 통해 촬영된 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋을 구성한다(S1).
도 3에 도시된 바와 같이, 제1 데이터셋은 비상업적 용도로 자율주행 관련 데이터에 활용되도록 무료로 제공되는 자율주행 데이터로서, 다양한 도로와 주행 환경에서 다양한 센서 데이터로 수집한 개방형 데이터셋으로 구성된다. 이러한 제1 데이터셋은 실제 미국, 중국 등에서 촬영된 자율 주행 데이터나 가상의 게임 데이터 등의 레이블링된 데이터들이 될 수 있다.
제2 데이터셋은 감시 지역 또는 감시 지역과 유사한 환경 조건을 가지는 레이블링되지 않은 자율주행 데이터들이고, 제3 데이터셋은 감시 지역에 설치된 하나 이상의 감시 카메라를 통해 촬영된 감시 영상, 즉 CCTV 채널 영상으로 구성된다.
제1 데이터셋과 제2 데이터셋은 색상, 조명 텍스쳐 등이 다르지만 시점, 글로벌 위치정보(예, 하늘, 도보, 도로 등) 등이 유사하고, 제2 데이터셋과 제3 데이터셋은 시점 글로벌 위치 정보 등이 다르지만, 색상 조명 및 텍스쳐 등이 유사하다. 그러나, 제1 데이터셋과 제3 데이터셋은 시점, 글로벌 위치정보, 색상, 조명, 질감 등이 모두 상이하므로, 제3 데이터셋의 의미론적 세그멘테이션을 위해 레이블링된 제1 데이터셋과 레이블링 되지 않은 제2 데이터셋을 활용한다.
감시 영상 분석 시스템(100)은 제1 데이터셋을 이용하여 영상 분석 모델을 학습하고, 학습된 영상 분석 모델을 이용하여 제2 데이터셋에 대해 가사 레이블(pseudo label)을 생성한다(S2).
이때, 제1 데이터셋을 소스 도메인(source domain)으로 설정하고, 제2 데이터셋을 타겟 도메인(target domain)으로 설정하여 도메인 어댑테이션(domain adaptation)을 수행한다. 이때, 도메인 어댑테이션은 학습 분포(training distribution)와 테스트 분포(test distribution) 간에 차이가 있을 때 분류기(classifier) 또는 예측기(predictor)의 학습 문제를 다루는 연구 분야이다. 즉, 도 4에 도시된 바와 같이, 소스 도메인과 타겟 도메인 사이의 매핑(mapping)을 통해 소스 도메인에서 학습한 분류기가 타겟 도메인에서도 효과적으로 동작하도록 하는 것을 목표로 한다.
감시 영상 분석 시스템(100)은 도 5에 도시된 바와 같이, 크게 가사 레이블링을 위한 제1 학습과정, 감시 영상의 레이블링을 위한 제2 학습 과정 및 감시 영상에 적용 과정을 수행한다.
먼저, 가사 레이블링을 위한 제1 학습 과정은 분류기의 분별력 향상을 위해 제1 손실(
Figure 112020011831202-pat00001
)을 통해 영상 분석 모델(Model1)에 제1 데이터셋(Source1)을 학습시키고, 제2 손실(
Figure 112020011831202-pat00002
)을 통해 학습된 영상 분석 모델과 판별기(discriminatorp1, discriminatorp2)를 학습시킨다. 이때, 제2 데이터셋(Source2)을 입력값으로 설정하고, 제1 데이터셋을 정답으로 설정하여 영상 분석 모델과 판별기가 제2 데이터셋의 객체들에 대한 가사 레이블을 생성하도록 한다.
영상 분석 모델은 정탐지(true positive)를 최대화하고, 오탐지(false positive)와 미탐지(false negative)를 감소시키는 손실 함수를 재설정하는 과정을 반복하면서 학습을 수행한다.
감시 영상의 레이블링을 위한 제2 학습 과정은 제1 데이터셋과 가사 레이블이 생성된 제2 데이터셋을 이용하여 영상 분석 모델을 학습하고, 학습된 영상 분석 모델을 이용하여 제3 데이터셋의 감시 영상을 세그멘테이션(segmentation)하여 하나 이상의 인식 대상 객체에 대한 학습을 수행한다(S3). 여기서, 인식 대상 객체는 감시 카메라(200)에 포착된 사람, 자동차 등의 특정 객체의 수상한 행동(이상 행동)으로 설정할 수 있다. 예를 들어, 보안 지역의 출입문에 보안카드를 소지하지 않은 사람이 설정된 시간이상 머무르거나, 설정된 횟수 이상 출입 시도를 하는 이상 행동을 인식 대상 객체로 설정할 수 있다. 또는 차량의 비정상 속도, 도로 외의 보행 지역의 침범 등을 인식 대상 객체로 설정할 수도 있다.
감시 영상 분석 시스템(100)은 제1 데이터셋을 제1 소스 도메인(source domain)으로 설정하고, 가사 레이블이 생성된 제2 데이터셋을 제2 소스 도메인으로 설정하며, 제3 데이터셋을 타겟 도메인(target domain)으로 설정하여 도메인 어댑테이션(domain adaptation)을 수행한다. 이때, 제1 소스 도메인의 바이어스(Bias)를 b1(b1>0)으로 설정하고, 제2 소스 도메인의 바이어스를 b2(b2<b1)로 각각 설정하는데, 예를 들어, b1은 1.0, b2는 0.3으로 설정하여 분류기의 분류 정확도를 더욱 높일 수 있다.
감시 영상 분석 시스템(100)은 제3 손실(
Figure 112020011831202-pat00003
)을 통해 영상 분석 모델(Model2)에 제1 데이터셋(Source1)과 제2 데이터셋(Source 2)을 학습시키고, 제4 손실(
Figure 112020011831202-pat00004
)을 통해 학습된 영상 분석 모델과 판별기(discriminatorm1, discriminatorm2)를 학습시킨다. 이때, 판별기는 인식 대상 객체를 정답(positive)으로 판별하고, 인식 대상 객체가 아닌 객체를 오답(negative)으로 판별한다.
감시 영상 분석 시스템(100)은 모든 학습 과정이 완료되면 감시 영상에 적용 과정을 통해 타겟 이미지가 학습된 영상 분석 모델을 통해 인식 대상 객체를 타겟 예측값으로 정확히 검출하는지를 테스트하고, 테스트가 완료된 영상 분석 모델을 이용하여 감시 지역에 대한 감시 영상을 실시간 분석하여 인식 대상 객체를 검출하며(S4), 인식 대상 객체가 검출되면 이벤트 데이터를 CCTV 관제센터나 관리자 단말에 제공한다(S5).
한편, 도 2의 단계 S1 내지 S5는 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 머신 러닝에 기반한 감시 영상 분석 방법에 의한 도메인 어댑데이션의 적용 과정을 설명하는 예시도이고, 도 7은 본 발명의 일 실시예에 따른 머신 러닝에 기반한 감시 영상 분석 방법의 객체 및 영역 검출에 활용되는 일례를 설명하는 도면이다.
도 6에 도시된 바와 같이, 제1 데이터셋을 소스 도메인으로 설정하고, 원본 감시 영상이 타겟 도메인인 경우에, 영상 분석 모델은 의미론적 세그멘테이션을 통해 실시간 감시 영상의 모든 픽셀을 해당하는 클래스(class)로 분류하여 이미지에 있는 모든 픽셀에 대한 예측을 수행한다. 이때, 도메인 어댑테이션을 수행한 결과와 도메인 어댑테이션을 수행한 결과를 비교해보면, 도메인 어댑테이션을 수행한 결과의 예측값이 타겟 도메인에 대한 객체 분류 및 검출이 더 정확함을 알 수 있다.
즉, 제1 데이터셋과 같은 도메인에 대한 지도 학습을 수행하면 세그맨테이션 결과가 잘 나오지만, 제1 데이터셋을 학습 데이터로 하여 학습한 모델은 사람 눈에는 유사해 보이지만 다른 환경의 도메인인 원본 감시 영상에서 테스트해 보면, 아래와 같이 도메인 어댑테이션의 수행 여부에 따라 확연한 차이가 있음을 알 수 있다.
도 7에 도시된 바와 같이, 영상 분석 모델은 스마트 감시 시스템에 적용되어 객체 검출과 더불어 영역 검출에 활용될 수 있다. 이때, 도로 및 보행자 검출은 시맨틱 세분화 기법을 사용하여 도로 영역과 보행자 영역을 동시에 검출한다. 시맨틱 세분화 기법은 영상 내의 객체들을 픽셀 레벨로 인식하는 것이다. 시맨틱 세분화 기법 중에서 실시간 검출이 가능한 ICNet(Image Cascade Network)을 구성하여 도로 영역과 보행자 영역을 빠른 속도로 검출할 수 있다.
따라서, 스마트 감시 시스템은 인공 지능과 영상 데이터를 바탕으로 영상 분석 모델에서 출입 불가 지역이나 이상 상황 등에 대해 실시간 이벤트 데이터를 분석하여 유용한 정보를 제공할 수 있다.
이상에서 설명한 본 발명의 실시예에 따른 머신 러닝 기반의 감시 영상 분석 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 감시 영상 분석 시스템
110: 통신 모듈 120: 메모리
130: 프로세서 140: 데이터베이스
200: 감시 카메라

Claims (9)

  1. 감시 지역 내에 하나 이상의 감시 카메라를 포함하는 감시 영상 분석 시스템에 의해 수행되는 머신 러닝에 기반한 감시 영상 분석 방법에 있어서,
    a) 오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset), 상기 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋 및 상기 감시 카메라를 통해 촬영된 상기 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋을 구성하는 단계;
    b) 상기 제1 데이터셋을 이용하여 객체 또는 영역을 분석하는 머신 러닝 기반의 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제2 데이터셋에 대해 가사 레이블(pseudo label)을 생성하는 단계;
    c) 상기 제1 데이터셋과 가사 레이블이 생성된 제2 데이터셋을 이용하여 상기 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제3 데이터셋의 감시 영상을 세그멘테이션(segmentation)하여 하나 이상의 인식 대상 객체에 대한 학습을 수행하는 단계; 및
    d) 상기 학습된 영상 분석 모델을 이용하여 상기 감시 지역에 대한 감시 영상을 실시간 분석하여 상기 인식 대상 객체의 탐지에 대한 이벤트 데이터를 제공하는 단계를 포함하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법.
  2. 제 1 항에 있어서,
    상기 b) 단계는,
    상기 제1 데이터셋을 소스 도메인(source domain)으로 설정하고, 상기 제2 데이터셋을 타겟 도메인(target domain)으로 설정하여 도메인 어댑테이션(domain adaptation)을 수행하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법.
  3. 제 1 항에 있어서,
    상기 c) 단계는,
    상기 제1 데이터셋을 제1 소스 도메인(source domain)으로 설정하고, 상기 가사 레이블이 생성된 제2 데이터셋을 제2 소스 도메인으로 설정하며, 상기 제3 데이터셋을 타겟 도메인(target domain)으로 설정하여 도메인 어댑테이션(domain adaptation)을 수행하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법.
  4. 제 3 항에 있어서,
    상기 c) 단계는,
    상기 제1 소스 도메인의 바이어스(Bias)를 b1(b1>0)으로 설정하고, 제2 소스 도메인의 바이어스를 b2(b2<b1)로 각각 설정하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법,
  5. 제 1 항에 있어서,
    상기 영상 분석 모델은,
    상기 인식 대상 객체를 정답(positive)으로 판별하고, 상기 인식 대상 객체가 아닌 객체를 오답(negative)으로 판별하는 판별기(discriminator)를 더 포함하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법.
  6. 제 5 항에 있어서,
    상기 b) 단계는,
    상기 제2 데이터셋을 입력값으로 설정하고, 상기 제1 데이터셋을 정답으로 설정하여 상기 영상 분석 모델과 상기 판별기를 학습하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법.
  7. 제 6 항에 있어서,
    상기 영상 분석 모델은, 정탐지(true positive)를 최대화하고, 오탐지(false positive)와 미탐지(false negative)를 감소시키는 손실 함수를 설정하는 것인, 머신 러닝에 기반한 감시 영상 분석 방법.
  8. 감시 지역 내에 하나 이상의 감시 카메라를 포함하는 감시 영상 분석 시스템에 있어서,
    머신러닝에 기반한 감시 영상 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서;를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 의해,
    오픈 데이터에 기반하여 레이블링된 자율주행 데이터를 포함하는 제1 데이터셋(dataset), 상기 감시 지역의 환경 조건에 대응되는 레이블링되지 않은 영상 데이터를 포함하는 제2 데이터셋 및 상기 감시 카메라를 통해 촬영된 상기 감시 지역에 대한 감시 영상을 포함하는 제3 데이터셋을 구성하고,
    상기 제1 데이터셋을 이용하여 객체 또는 영역을 분석하는 머신 러닝 기반의 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제2 데이터셋에 대해 가사 레이블(pseudo label)을 생성하고,
    상기 제1 데이터셋과 가사 레이블이 생성된 제2 데이터셋을 이용하여 상기 영상 분석 모델을 학습하고, 상기 학습된 영상 분석 모델을 이용하여 상기 제3 데이터셋의 감시 영상을 세그멘테이션(segmentation)하여 하나 이상의 인식 대상 객체에 대한 학습을 수행하고,
    상기 학습된 영상 분석 모델을 이용하여 상기 감시 지역에 대한 감시 영상을 실시간 분석하여 상기 인식 대상 객체의 탐지에 대한 이벤트 데이터를 제공하는 것인, 머신 러닝에 기반한 감시 영상 분석 시스템.
  9. 제 1 항에 따른 머신 러닝에 기반한 감시 영상 분석 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020200013378A 2020-02-04 2020-02-04 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법 KR102261187B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200013378A KR102261187B1 (ko) 2020-02-04 2020-02-04 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200013378A KR102261187B1 (ko) 2020-02-04 2020-02-04 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102261187B1 true KR102261187B1 (ko) 2021-06-07

Family

ID=76373987

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200013378A KR102261187B1 (ko) 2020-02-04 2020-02-04 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102261187B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230033326A (ko) * 2021-09-01 2023-03-08 가톨릭대학교 산학협력단 치과 진단 장치 및 방법
WO2024043390A1 (ko) * 2022-08-26 2024-02-29 한국전자기술연구원 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094434A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 言語処理方法、プログラム及び装置
KR20190041790A (ko) * 2017-10-13 2019-04-23 한국전자통신연구원 신경망 번역 모델 구축 장치 및 방법
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094434A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 言語処理方法、プログラム及び装置
KR20190041790A (ko) * 2017-10-13 2019-04-23 한국전자통신연구원 신경망 번역 모델 구축 장치 및 방법
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230033326A (ko) * 2021-09-01 2023-03-08 가톨릭대학교 산학협력단 치과 진단 장치 및 방법
KR102652759B1 (ko) * 2021-09-01 2024-04-01 가톨릭대학교 산학협력단 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법
WO2024043390A1 (ko) * 2022-08-26 2024-02-29 한국전자기술연구원 환경정보 인식을 위한 계층적 전이학습 기반의 딥러닝 모델 생성 시스템 및 방법

Similar Documents

Publication Publication Date Title
EP3766044B1 (en) Three-dimensional environment modeling based on a multicamera convolver system
US9002060B2 (en) Object retrieval in video data using complementary detectors
CN112380952A (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
JP2016027490A (ja) マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析）
CN111241343A (zh) 一种道路信息监控与分析检测方法、智慧交通控制系统
KR102261187B1 (ko) 머신 러닝에 기반한 감시 영상 분석 시스템 및 그 방법
US11487295B2 (en) Method and device for abstracting a data record
KR101773127B1 (ko) 효율적인 영상 분석 및 검색이 가능한 영상 분석 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법
KR102333143B1 (ko) 무인 계수 서비스 제공 시스템
US20240135710A1 (en) Systems and methods for video analysis
US10599946B2 (en) System and method for detecting change using ontology based saliency
US10586130B2 (en) Method, system and apparatus for providing access to videos
Salma et al. Smart parking guidance system using 360o camera and haar-cascade classifier on iot system
KR102218255B1 (ko) 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
CN111783613B (zh) 异常检测方法、模型的训练方法、装置、设备及存储介质
CN115019218B (zh) 图像处理方法和处理器
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN110956057A (zh) 一种人群态势分析方法、装置及电子设备
Ata et al. A fine tuned tracking of vehicles under different video degradations
Choudhury et al. Segmenting foreground objects in a multi-modal background using modified Z-score
EP4198817B1 (en) System, method, and computer program for retraining a pre-trained object classifier
JP2014092964A (ja) 比較的低品質な観測画像から、画像内のオブジェクトの数を推定する方法、コンピュータ・プログラム、コンピュータ。
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置
Sankaranarayanan et al. Improved Vehicle Detection Accuracy and Processing Time for Video Based ITS Applications
US20230360402A1 (en) Video-based public safety incident prediction system and method therefor

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant