KR102263717B1 - 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법 - Google Patents

객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법 Download PDF

Info

Publication number
KR102263717B1
KR102263717B1 KR1020190108621A KR20190108621A KR102263717B1 KR 102263717 B1 KR102263717 B1 KR 102263717B1 KR 1020190108621 A KR1020190108621 A KR 1020190108621A KR 20190108621 A KR20190108621 A KR 20190108621A KR 102263717 B1 KR102263717 B1 KR 102263717B1
Authority
KR
South Korea
Prior art keywords
tracking
abnormal behavior
interest
detected
image
Prior art date
Application number
KR1020190108621A
Other languages
English (en)
Other versions
KR20210027778A (ko
Inventor
백준기
김희광
신중섭
김도훈
정상운
이용우
최벽일
김성주
Original Assignee
중앙대학교 산학협력단
(주) 알티솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, (주) 알티솔루션 filed Critical 중앙대학교 산학협력단
Priority to KR1020190108621A priority Critical patent/KR102263717B1/ko
Publication of KR20210027778A publication Critical patent/KR20210027778A/ko
Application granted granted Critical
Publication of KR102263717B1 publication Critical patent/KR102263717B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법을 개시한다. 본 발명에 따르면, 객체 검출 및 추적을 통한 이상행동 분석 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 신경망 기반으로 입력 영상에서 존재하는 객체를 미리 설정된 프레임 단위로 검출하고, 매 프레임 단위로 가중 그레이 변환을 이용한 KCF(Kernerlize Correlation Filter) 및 서로 다른 프레임에 존재하는 객체의 색상 히스토그램(Hue-Histogram) 비교를 이용하여 상기 검출된 객체를 추적하고, 미리 설정된 관심 영역으로의 진입 여부 또는 미리 학습된 신경망을 기반으로 상기 추적된 객체의 이상행동 여부를 판단하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 이상행동 분석 장치가 제공된다.

Description

객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법{Apparatus and method for analyzing abnormal behavior through object detection and tracking}
본 발명은 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법에 관한 것이다.
최근, 범죄예방이나 사후증거 확보 등을 위해 CCTV를 곳곳에 설치하고, 영상을 분석하는 시스템이 일반적으로 제공되고 있다.
특히 범죄의 사전예방 및 모니터링을 위해 영상 내에서 객체를 검출하고 추적의 정확도를 유지하는 것이 중요하고, 또한, 이를 통해 객체가 금지된 구역에 침입하거나 배회하는지 여부, 폭행 또는 낙상 상황을 즉각적으로 분석하는 것이 중요하다.
종래에 객체 검출 및 추적을 통한 이상행동 분석 기법이 다수 제안되고는 있으나, 일반적인 객체 추적기를 사용하는 경우 주변 가림 등에 의해 객체를 놓치는 경우가 다수 발생한다.
또한, 객체의 움직임에 따라 이상행동이 아님에도 이상행동으로 판단하는 오류가 자주 발생하는 문제점이 있다.
한국공개특허 10-2019-0074898
상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 객체 추적이 정확히 이루어질 수 있는 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법을 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 객체 검출 및 추적을 통한 이상행동 분석 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 신경망 기반으로 입력 영상에서 존재하는 객체를 미리 설정된 프레임 단위로 검출하고, 매 프레임 단위로 가중 그레이 변환을 이용한 KCF(Kernerlize Correlation Filter) 및 서로 다른 프레임에 존재하는 객체의 색상 히스토그램(Hue-Histogram) 비교를 이용하여 상기 검출된 객체를 추적하고, 미리 설정된 관심 영역으로의 진입 여부 또는 미리 학습된 신경망을 기반으로 상기 추적된 객체의 이상행동 여부를 판단하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 이상행동 분석 장치가 제공된다.
상기 프로그램 명령어들은, 상기 객체의 추적을 위해, 상기 입력된 영상의 RGB 채널 각각의 분포를 고려하여 상기 RGB 채널 각각에 서로 다른 가중치를 부여할 수 있다.
상기 프로그램 명령어들은, 상기 검출된 객체의 x,y 좌표, 최초 검출 시각 및 추적을 통한 마지막 검출 시각을 관심 객체 리스트로 관리하고, 현재 프레임에서 검출된 객체가 상기 관심 객체 리스트에서 관리하는 객체와 동일한 객체인지 여부를 판단하여 상기 관심 객체 리스트를 업데이트할 수 있다.
상기 프로그램 명령어들은, 매 프레임 단위로 상기 추적되는 객체의 이미지를 크롭하고, 상기 크롭된 이미지의 묶음이 연속되고, 상기 크롭된 이미지가 미리 설정된 수량에 도달하는 경우, 상기 크롭된 이미지에 상응하는 객체의 이상행동 여부를 판단할 수 있다.
상기 프로그램 명령어들은, 상기 미리 설정된 관심 영역과 상기 추적되는 객체의 이동 궤적의 기하학적 분석을 통해 상기 객체의 침입 또는 배회 상황 여부를 판단할 수 있다.
상기 프로그램 명령어들은, 상기 미리 설정된 관심 영역에 대한 기준 라인과 상기 객체의 이동 방향이 상기 기준 라인에 대해 정“‡항 또는 역방향인지 여부를 이용하여 상기 객체의 침입 또는 배회 상황 여부를 판단할 수 있다.
상기 프로그램 명령어들은, 상기 미리 학습된 신경망을 기반으로, 상기 객체의 낙상 또는 폭행 상황 여부를 판단할 수 있다.
본 발명의 다른 측면에 따르면, 프로세서 및 메모리를 포함하는 장치에서 객체 검출 및 추적을 통한 이상행동 분석 방법으로서, 신경망 기반으로 입력 영상에서 존재하는 객체를 미리 설정된 프레임 단위로 검출하는 단계; 매 프레임 단위로 가중 그레이 변환을 이용한 KCF(Kernerlize Correlation Filter) 및 서로 다른 프레임에 존재하는 객체의 색상 히스토그램(Hue-Histogram) 비교를 이용하여 상기 검출된 객체를 추적하는 단계; 및 미리 설정된 관심 영역으로의 진입 여부 또는 미리 학습된 신경망을 기반으로 상기 추적된 객체의 이상행동 여부를 판단하는 단계를 포함하는 이상행동 분석 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 방법을 수행하는 기록매체에 저장되는 프로그램이 제공된다.
본 발명에 따르면, 객체 검출 및 추적이 정확히 이루어질 수 있고, 이를 통해 추적된 객체의 이상행동 여부를 정확히 판별할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 및 추적을 통한 이상행동 분석 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 이상행동 분석을 위한 프로그램 모듈 구성을 도시한 도면이다.
도 3은 객체의 이동을 추적하는 과정을 도시한 도면이다.
도 4는 객체 간의 겹침(Occlusion)으로 객체 추적이 실패하는 상황을 나타낸 것이다.
도 5는 KCF 기반의 객체 추적 과정을 설명하기 위한 도면이다.
도 6은 관심 객체와의 일치 정도를 분석하기 위한 cyclic shifts 방식을 나타낸 것이다.
도 7은 모든 cyclic shifts에 대하여 상관 값을 구하여 획득한 응답 맵(response map)을 나타낸 것이다.
도 8은 본 발명의 일 실시예에 따른 객체 추적 과정을 설명하기 위한 도면이다.
도 9는 기존 방식과 본 실시예에 따른 불필요한 배경 정보를 제거하는 과정을 설명하기 위한 도면이다.
도 10은 본 실시예에 따른 객체 정보를 관리하는 과정을 설명하기 위한 도면이다.
도 11은 객체 크롭 모듈의 동작 결과 생성된 이미지를 나타낸 것이다.
도 12는 본 실시예에 따른 객체 크롭 모듈의 동작 과정을 설명하기 위한 도면이다.
도 13은 본 실시예에 따른 벡터의 교차 판별 과정을 설명하기 위한 도면이다.
도 14는 기하학적 분석 기반의 객체 침입 판단 과정을 나타낸 것이다.
도 15는 ResNet의 residual learning block을 도시한 도면이다.
도 16은 본 실시예에 따른 residual block을 도시한 도면이다.
도 17은 이상행동 분석 네트워크를 학습하기 위해 생성한 training sample 영상들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 및 추적을 통한 이상행동 분석 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 이상행동 분석 장치는 프로세서(100) 및 메모리(102)를 포함할 수 있다.
프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
본 발명의 일 실시예에 따르면, 프로세서(100)는 메모리(102)에 저장된 프로그램 명령어들을 이용하여 미리 설정된 프레임 단위마다 객체를 검출하고, 검출된 객체를 추적하며, 추적 결과를 객체의 이상행동 여부를 판단한다.
도 2는 본 발명의 일 실시예에 따른 이상행동 분석을 위한 프로그램 모듈 구성을 도시한 도면이다.
도 2에 도시된 바와 같이, 본 실시예에 따른 프로그램 모듈은, 객체 검출 모듈(200), 객체 추적 모듈(202), 객체 관리 모듈(204), 객체 크롭 모듈(206) 및 이상행동 분석 모듈(208)을 포함할 수 있다.
본 실시예에서는, 실외 환경, 다양한 조명 조건에서의 객체 검출을 위해 CNN(Convolution Neural Network) 기반의 객체 검출 방법을 사용한다. 기존의 배경차분 방법으로는 배경의 변화의 발생, 카메라 흔들림, 조명 변화의 발생 등의 실제 실외 영상에서 객체를 검출하는데 어려움이 있다. 이에 CNN 기반의 객체 검출 알고리즘을 이용하여 객체 검출의 정확도를 개선한다.
본 실시예의 객체 검출 모듈(200)에서 사용한 객체 검출 네트워크는 YOLOv3 네트워크를 기반으로 한다. Unified Detection을 통하여 객체를 검출하기 때문에 R-CNN과 같은 two-stage 방법들에 비해 빠른 처리 속도를 보인다. 입력 영상을 각각의 grid cell로 나누고 각 객체에 대한 점수를 계산한다. 점수는 아래 식에 의해 산출되며, 영상에 객체가 존재하지 않는다면 점수는 0으로 측정된다.
Figure 112019090503056-pat00001
각각의 grid cell은 C개의 각 학습시킨 클래스에 해당하는 확률을 갖는다. 각 클래스에 해당할 확률은 다음 식과 같이 표현된다.
Figure 112019090503056-pat00002
최종적으로 각 객체의 중심 좌표 (x, y)와 가로, 세로의 길이에 대한 정보(width, height), 학습된 클래스에 부합할 확률을 포함하는 5개의 정보가 출력된다. 이후에 검출된 객체의 좌표를 객체 추적 모듈(202, Object Tracker)의 입력으로 설정하여 객체 추적을 수행한다.
본 실시예에 따르면, 객체 검출 및 추적은 n 프레임 단위(예를 들어, 6 프레임)마다 이루어질 수 있다.
객체 추적 모듈(202)은 다음 시점까지 입력된 좌표를 기반으로 객체 추적을 수행하며, 객체 추적에 실패하는 경우, 객체 검출 모듈(200)가 다음 검출 시점에서 검출한 객체에 대해 다시 추적을 수행한다.
입력 영상의 특정 시점에서 객체가 새로 검출되었는지 혹은 사라졌는지에 대한 업데이트가 필요하다.
도 3a는 객체가 영상 밖으로 나가는 상황이고, 도 3b는 객체가 창문 안으로 진입하는 상황이다. 기존의 트래커만을 가지고 추적을 진행하면, 트래커는 가장 유사한 패치를 계속 추적하기 때문에 도 3a의 경우에는 영상 외곽 부분, 도 3b의 경우에는 창문 영역을 계속 추적하게 된다.
본 실시예에서는 예를 들어, 매 6프레임마다 객체 검출 모듈(200)이 객체를 검출하기 때문에, 해당 영역에서 객체가 검출되었는지의 유무에 따라 객체 추적 모듈(202)을 업데이트하여 객체의 추적 여부를 결정한다.
도 4와 같이 객체 간의 겹침(Occlusion)으로 객체 추적이 실패하는 상황이 발생할 수 있다. 본 실시예에서는 예를 들어 매 6프레임마다 객체 검출 모듈(200)의 객체 검출이 수행되기 때문에 객체 좌표를 새로 업데이트하여 올바른 추적이 가능하게 한다.
도 4a는 객체가 철조망 안으로 침입할 때 철조망에 객체가 가려져 추적이 실패하는 영상이다. 이후, 객체가 철조망을 넘어서 다시 나타났을 때, 객체 검출 모듈(200)이 객체 정보를 업데이트하여 추적을 올바르게 진행할 수가 있다. 도 4b와 c는 객체 간의 겹침으로 추적이 실패하는 상황이다. 이후 객체 간의 겹침 상황에서 벗어났을 때, 객체 검출 모듈(200)이 새로 객체 정보를 업데이트하여 각 객체의 추적을 올바르게 진행할 수 있다.
영상 내에는 복수의 객체가 존재할 수 있으며, 본 발명은 이러한 경우에도 객체 검출 및 추적의 정확도를 유지할 수 있는 기법을 제시한다.
객체 추적이란 영상 내에서 관심 객체의 영역을 최초 정보로서 취득한 후, 이어지는 일련의 프레임에서 해당 객체의 위치를 추적하는 것이다.
본 실시예에 따르면, 객체 검출 네트워크와 객체 추적 알고리즘을 융합한다. 객체 검출 네트워크는 영상 내에서 관측 가능한 관심 객체를 검출하여 객체의 위치 및 크기를 획득하고, 객체 추적 알고리즘은 획득한 객체 정보를 입력 받아 연속된 프레임에서 객체를 지속적으로 추적한다.
객체 추적은, 이전 프레임에서의 객체의 위치를 중심으로 일정한 범위의 영역 내에서 이루어진다. 이는 인접한 프레임 간에 객체의 위치 변화가 일정량보다 적을 것이라는 가정 하에 수행하는 것이다. 따라서 실시간 스트리밍 환경에서 객체 추적의 연산 속도가 적절한 수준 이하일 경우 인접 프레임 간 객체의 위치 변화는 커지게 되므로(프레임 드랍 현상) 추적 성능이 현저히 저하될 수 있다.
본 실시예에 따르면, KCF(Kernelized Correlation Filter) 기반의 객체 추적 기술을 이용하여 다중 객체를 추적한다.
도 5는 KCF 기반의 객체 추적 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 본 실시예에서는 입력 영상을 주파수 도메인으로 변환하여 처리한다. 이늘 다른 객체 추적 알고리즘에 비하여 월등히 적은 양의 연산만을 요구하므로 하드웨어 성능이 제한적인 환경에서도 원활한 추적이 가능하다.
이전 프레임에서의 관심 객체의 위치를 중심으로 하여, 객체의 위치를 탐색하기 위한 일정 영역을 search window라 정의한다.
KCF 기반 추적 알고리즘은 search window 내의 모든 좌표에 대해서 관심 객체와의 일치 정도를 분석하기 위하여, 도 6과 같은 cyclic shifts 방식을 이용한다.
이는 행렬의 형태로써 획득한 데이터 x가 있을 때, 행렬과 연산하여 모든 가능한 shifts를 얻어내는 방식이다. 즉, search window의 image patch를 source로 이용하여, 수평 및 수직 방향으로 모든 가능한 shifts에 대한 영상을 생성하여, 관심 객체와의 일치 정도를 계산하게 된다.
관심 객체와의 일치 정도는 상관(correlation) 값으로 정의되며, 모든 cyclic shifts에 대하여 상관 값을 구하여 응답 맵(response map)을 획득한다.
응답 맵은 도 7과 같이 3D 그래프로 표현되며, 그래프의 임의의 지점에서의 높이가 관심 객체와의 일치 정도를 의미하는데, 특정 지점에서 가장 높은 값(peak)을 가지며, peak 지점에서 가로 또는 세로 방향으로 이동할수록 일치도는 감소하는 것을 알 수 있다. KCF 기반의 추적 알고리즘은 peak 값의 좌표를 추적하는 원리로 작동하며, 매 프레임마다 예상되는 추적 좌표를 산출한다.
본 발명은 객체 추적의 정확도를 높이기 위해, 이전 프레임의 좌표와 색상 히스토그램(hue histogram)을 비교하여 관심 객체를 식별하고 추적한다.
도 8은 본 발명의 일 실시예에 따른 객체 추적 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 이상행동 분석 장치는 입력 영상에서 딥러닝 기반으로 객체를 검출한다. 여기서 딥러닝은 YOLO v3일 수 있다.
다음으로 검출된 객체 정보를 추적한다.
객체 추적은 가중 그레이 변환(weighted gray transformation)을 이용한 KCF(Kernerlize Correlation Filter) 추적기를 통해 이루어질 수 있다.
여기서, KCF 추적기가 도 2의 객체 추적 모듈(202)로 정의될 수 있다.
KCF 추적기는 영상에서 분포가 가장 큰 RGB 기반 인덱스 값을 탐색한다. 해당 인덱스 값의 RGB 비율을 사용하여 객체에 적합한 채널 공간을 얻는다.
획득된 채널 공간을 기반으로 그레이스케일 이미지는 다음과 같이 생성된다.
Figure 112019090503056-pat00003
여기서,
Figure 112019090503056-pat00004
는 RGB 색상 값의 비율을 나타내고,
Figure 112019090503056-pat00005
는 출력 그레이스케일 이미지,
Figure 112019090503056-pat00006
는 타겟 객체 패치이다.
결과적으로, RGB 채널의 각각의 분포를 고려하여 각 요소에 가중치가 적용되어 서로 다른 색상을 갖는 다중 객체의 추적 성능을 개선한다.
본 실시예에 따르면, 객체의 지속적인 관리를 위해, ROI 색상 히스토그램(Hue-Histogram) 비교를 수행한다.
ROI를 얻기 위해 객체의 색상 히스토그램 간의 유사성을 비교한다.
본 실시예에 따르면, 먼저 상관 계수 연산자를 사용하여 색상 채널의 히스토그램을 비교한다. 유사도는 다음과 같이 계산된다.
Figure 112019090503056-pat00007
여기서 H1과 H2는 각각 서로 다른 프레임에서의 객체 간 히스토그램 값을 나타낸다. 불필요한 배경 정보를 제거하기 위해 도 9와 같이 d(H1,H2)를 최대화한다.
도 9a는 DeepLab V3 시맨틱 세그먼테이션을 이용한 배경 제거 결과를 나타낸다. 정확한 세분화 성능에도 불구하고 DeepLab V3는 높은 계산 비용과 가끔 오작동으로 인해 실시간 추적에 적합하지 않다.
도 9b는 본 실시예에 따른 경계 상자에 타원 ROI를 지정하여 간단하게 배경을 제거한 결과를 나타낸 것이다.
도 9b는 도 9a와 비교하여 배경이 완전히 제거되지 않는다.
본 실시예에 따른 방법은 평균 히스토그램 상관 관계는 성능은 다소 낮지만 처리 속도는 다음과 같이 DeepLab V3보다 훨씬 높다.
Figure 112019090503056-pat00008
여기서
Figure 112019090503056-pat00009
는 히스토그램 상관 관계의 가중치를 결정하는 매개변수이며 실험적으로 선택된 0.8이 선택될 수 있다.
Figure 112019090503056-pat00010
은 히스토그램 상관값이고
Figure 112019090503056-pat00011
는 거리 정보이다. 비교 점수 Sc는 관심 객체를 식별하기 위한 척도로 사용된다.
보다 구체적으로, 최대 Sc가 미리 설정된 임계값보다 높으면, 동일한 객체 인 것으로 결정된다. 한편, 모든 Sc가 임계 값보다 낮 으면, 객체는 새로운 객체로 식별되고, 새로운 리스트에 저장된다. 상기한 과정을 통해 본 실시예에 따른 장치는 다양한 까다로운 상황에서 동일한 객체를 식별하고 추적할 수 있다.
상기한 바와 같이, 관심 객체는 객체 검출 모듈(200)에 의해 최초 검출되고, 객체 추적 모듈(202)에 의해 그 위치가 추적된다.
관심 객체의 이상행동을 분석하기 위해서는, 객체 검출 모듈(200)과 객체 추적 모듈(202)로부터 얻어진 정보를 체계적으로 관리할 필요가 있다.
이를 위해, 본 실시예에 따른 객체 관리 모듈(204)은 도 10과 같이 각 객체 정보를 구조화하여 관리한다.
여기서, x,y는 관심 객체의 최신 좌표를 의미한다.
first-seen time은 관심 객체가 객체 검출 모듈(200)에 의해 최초로 검출된 시각(최초 시각)을 의미하며, last-seen time은 객체 검출 모듈(200) 또는 객체 추적 모듈(202)에 의해 검출 또는 추적된 가장 마지막 시각(마지막 시각)을 의미한다.
하나의 객체에 대한 정보는 x, y 좌표, 최초 시각 및 마지막 시각의 4개의 항목으로 구성되며, 객체 관리 모듈(204)은 이들을 리스트화하여 다수의 관심 객체를 관리한다.
도 10을 참조하면, 객체 관리 모듈(204)은 객체 검출 모듈(200) 및 객체 추적 모듈(202)로부터 관심 객체의 좌표 정보를 입력 받는 경우, 입력된 객체가 현재 관심 객체 리스트에서 관리하고 있는 객체와 비교하여 동일 객체인지 여부를 판단한다. 동일 객체인지 여부는 좌표의 거리를 기준으로 판단할 수 있다.
입력된 객체 정보가 관심 객체 리스트에 포함된 객체와 동일한 객체로 판단되면, 입력된 객체 정보로 대상 객체 정보를 갱신하고, 동일한 객체가 아닌 것으로 판단되면 새로운 객체 정보로 추가한다.
객체가 마지막으로 검출 또는 추적된 시각이 일정한 기간 동안 갱신되지 않으면, 해당 객체는 입력 영상에서 더 이상 관측되지 않는 것으로 간주하여 관심 객체 리스트에서 제거함으로써 유효한 객체만을 관리한다.
이상행동 분석은 연속된 프레임 상에서 특정한 관심 객체의 클로즈업 이미지 여러 장을 획득하여 입력 데이터로 사용한다. 이를 위해서 객체 크롭 모듈(206)은 매 프레임마다 추적하고 있는 관심 객체의 이미지를 크롭(crop)하고, 동일 객체에 대한 크롭 이미지를 묶음으로 관리하여, 이상행동 분석 모듈(208)에 제공한다.
도 11은 객체 크롭 모듈의 동작 결과 생성된 이미지를 나타낸 것이다.
특정 시점에 영상 내에 다수의 관심 객체가 존재할 수 있기 때문에, 객체 크롭 모듈(206)은 동일 객체에 해당하는 크롭 이미지들을 묶음으로 관리할 수 있어야 한다.
도 11에서 (a) 내지 (h)가 제1 객체, (i) 내지 (p)가 제2 객체이며, 본 실시예에 따른 객체 크롭 모듈(206)은 관심 객체를 구분하여 관리한다.
도 12는 본 실시예에 따른 객체 크롭 모듈의 동작 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 객체 크롭 모듈(206)은 관심 객체의 좌표 및 크기 정보(x,y,width,height)를 입력 받는다.
입력된 정보를 바탕으로 적절한 크롭 영역을 계산하여 관심 객체를 크롭한다.
매 프레임마다 크롭된 관심 객체의 이미지는 객체 별로 구분되어 관리된다.
크롭 이미지가 미리 설정된 수량에 도달하는 경우, 즉, 크롭 이미지가 미리 설정된 개수의 프레임에 대해 연속적으로 존재하는 경우, 이미지 덤프(dump)를 위한 서브-스레드(sub-thread)는 미리 설정된 폴더에 해당 이미지들을 저장한다.
저장된 이미지는 이상행동 분석 모듈(208)로 입력된다.
크롭 이미지를 저장하는 보조기억장치에 기록하는 것은 심각한 병목현상을 유발하여 전체적인 성능을 열화시킬 수 있기 때문에, 크롭 이미지 저장을 위한 서브-스레드를 운용하여, 메인-스레드가 적은 연산만으로 상기한 과정을 완료할 수 있도록 한다.
크롭 이미지를 수집 및 관리하기 위하여 연속성이 충족되어야 한다.
관심 객체의 크롭 이미지를 수집하는 과정에서, 크롭 이미지의 묶음이 연속되지 않으면, 이상행동 분석 모듈(208)은 연속적이지 않은 프레임 정보를 입력 받게 되어 이상행동 분석의 성능 저하를 야기할 수 있다.
따라서, 객체 크롭 모듈(208)은 주기적으로 연속성이 상실된 크롭 이미지 묶음을 이상행동 분석 모듈(208)로 전달하지 않고 폐기한다.
이상행위 분석 모듈(208)은 영상 내의 미리 정의된 영역과 추적되는 객체 궤적의 기하학적 분석을 통한 객체의 이상행동 여부를 판별한다.
이상행동은 침입, 배회, 폭행 등이 있을 수 있으며, 이하에서는 객체의 침입 상황을 판별하는 과정을 먼저 설명한다.
침입 상황을 판별하기 위해서 사전에 관심 영역(region of interest, ROI)를 정의하고, 객체의 이동 경로를 분석한 후 판단한다.
ROI 영역 설정은 영상 내에 기준 라인을 설정하고, 설정된 기준 라인에 대해 정방향과 역방향을 설정한다. 객체의 침입 여부는 기준 라인과 객체의 궤적을 벡터화하여 벡터의 교차 판별 방법을 사용하여 기준 라인을 넘었는지, 즉 관심 영역 내로 진입하였는지 여부를 판단하게 된다.
도 13은 본 실시예에 따른 벡터의 교차 판별 과정을 설명하기 위한 도면이다.
도 13에서 라인 1(Line 1)은 사전에 정의된 ROI(기준 라인)를 나타내고, 라인 2(Line 2)는 객체의 이동 궤적을 나타낸다. 두 라인의 매개변수를 이용하여 직선의 방정식으로 다음 식 6과 같이 표현된다.
Figure 112019090503056-pat00012
라인 1은 K1과 K2로 이루어져 있고, 라인 2는 K3와 K4로 이루어져있으며, t와 s의 범위는 [0,1]이다. 두 개의 라인이 만나는 교점을 정리하면 수학식 6은 아래와 같이 나타낼 수 있다.
Figure 112019090503056-pat00013
수학식 7을 다시 x,y로 분리하여 아래의 식으로 나타낼 수 있다.
Figure 112019090503056-pat00014
이를 t와 s로 아래와 같이 정리할 수 있다.
Figure 112019090503056-pat00015
즉, 위의 t와 s는 두 개의 라인에서 교점이 생길 때의 값을 나타내며, 교점은 다음과 같이 나타낼 수 있다.
Figure 112019090503056-pat00016
s와 t의 값이 [0,1]의 범위라면 두 라인은 교차한 것으로 판단한다.
두 라인이 교차했다고 판단되는 경우, 각 라인 벡터의 방향과 교점 Ki에서의 각도 θ를 이용하여 이동 객체의 방향이 정방향인지 역방향인지를 판단한다.
라인 1의 K2을 0°기준으로 라인 2의 벡터와의 각도를 측정하며, 그 각도에 따른 이동 객체의 방향 판별은 다음과 같은 수식으로 정의한다.
Figure 112019090503056-pat00017
도 14는 기하학적 분석 기반의 객체 침입 판단 과정을 나타낸 것이다.
도 14b를 참조하면, 이상행동 분석 모듈(208)은 추적 객체가 미리 정의된 침입 영역 내부로 들어가면서 객체의 궤적과 침입 영역 라인이 교차하는지를 통해 객체가 침입한 것으로 판단한다.
이후 추적 객체가 건물 안으로 진입하여 객체 궤적 정보가 사라지므로 도 14c에서 객체 침입이 완료된 것으로 판단한다.
본 실시예에 따르면, 1명 또는 다수의 사람(객체)이 관심 영역 내부로 진입하는 것을 침입 상황인 것으로 판단하며, 1명 또는 다수의 사람이 관심 영역 근처에 미리 설정된 시간 이상 머물러 있는 경우 배회 상황인 것으로 판단한다.
또한, 본 실시예에 따르면 신경망 기반으로 폭행 및 낙상 상황을 판단할 수도 있다.
본 실시예에 따른 이상행동 분석 모듈(208)은 ResNet(Residual Network) 기반의 3D CNN(Convolutional Neural Network)을 이용하여 객체의 폭행 및 낙상 상황을 분석한다.
도 15는 ResNet의 residual learning block을 도시한 도면이다.
도 15를 참조하면, 입력 x를 layer의 출력에 바로 연결시키는 skip connection을 사용하며, 네트워크의 출력
Figure 112019090503056-pat00018
는
Figure 112019090503056-pat00019
이 된다. ResNet은 loss function
Figure 112019090503056-pat00020
가 0이 되는 방향으로 학습이 진행되고,
Figure 112019090503056-pat00021
이기 때문에
Figure 112019090503056-pat00022
를 학습한다는 것은 나머지(residual)를 학습한다고 볼 수 있다. 추가적인 연산 없이 입력 x를 skip connection하기 때문에 연산량은 기존과 동일하고, 네트워크의 깊이가 깊어져도 gradient vanishing 문제를 줄일 수 있기 때문에, 학습 성능이 높아진다.
본 실시예에서 구성한 residual block은 도 16과 같다.
conv는 kernel size,
Figure 112019090503056-pat00023
는 convolutional filter
Figure 112019090503056-pat00024
의 feature map의 개수, F는 group convolution에서의 group의 수를 나타낸다.
3D CNN을 학습하기 위해, stochastic gradient descent with momentum을 사용하여 네트워크를 학습하였고, data augmentation을 수행하기 위해 training data 영상에서 training sample을 생성하였다. training sample을 생성하기 위해 training data 영상을 48 프레임의 크기의 클립 영상으로 크롭하였다.
도 17은 이상행동 분석 네트워크를 학습하기 위해 생성한 training sample 영상들이다.
네트워크의 최종 결과는 3개의 클래스로 분류되며, 각각 일반 상황, 낙상 상황, 폭행 상황이다. 일반 상황에는 객체가 걸어다니는 상황, 멈춰있는 상황, 객체가 검출되지 않은 일반 배경 영상으로 구성하여 학습을 진행하였다. 낙상 상황에 대해서는 한 객체 또는 여러 객체가 넘어지는 순간을 크롭하여 학습을 진행하였다. 폭행 상황은 두 객체 또는 그 이상의 객체들이 서로 주먹질하는 상황, 발길질하는 상황, 밀치는 상황으로 구성하여 학습을 진행하였다.
3D CNN 학습을 위해 Kinetics data로 pre-train된 ResNet-34를 이용하였으며, [표 1]과 같이 생성한 training sample의 Train/Test 데이터셋으로 네트워크 학습을 진행하였다.
일반 상황 낙상 상황 폭행 상황
Train 709 382 687
Test 35 26 200
Batch size는 128로 설정하고 Epoch=200까지 학습을 진행하였으며, 학습 네트워크의 Training Accuracy와 Loss는 각각 0.9748, 0.0689로 측정되었고, Validation Accuracy와 Loss는 각각 0.9433, 0.1745로 측정되었다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (9)

  1. 객체 검출 및 추적을 통한 이상행동 분석 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    신경망 기반으로 입력 영상에서 존재하는 객체를 미리 설정된 프레임 단위로 검출하고,
    매 프레임 단위로 가중 그레이 변환을 이용한 KCF(Kernerlize Correlation Filter) 및 서로 다른 프레임에 존재하는 객체의 색상 히스토그램(Hue-Histogram) 비교를 이용하여 상기 검출된 객체를 추적하고,
    미리 설정된 관심 영역으로의 진입 여부 또는 미리 학습된 신경망을 기반으로 상기 추적된 객체의 이상행동 여부를 판단하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    이전 프레임에서 검출된 객체의 위치를 중심으로 하여, 상기 검출된 객체의 위치를 탐색하기 위한 일정 영역을 search window라 정의하고,
    상기 프로그램 명령어들은,
    cyclic shift 방식을 이용하여 상기 search window 내의 모든 좌표에 대해서 관심 객체와의 일치 정도를 분석하고,
    상기 분석된 일치 정보에 따른 상관 값을 구하여 응답 맵을 생성하고,
    상기 응답 맵의 피크 값의 좌표를 추적하여 상기 검출된 객체를 추적하고,
    상기 검출된 객체의 x,y 좌표, 최초 검출 시각 및 추적을 통한 마지막 검출 시각을 관심 객체 리스트로 관리하고,
    현재 프레임에서 검출된 객체가 상기 관심 객체 리스트에서 관리하는 객체와 동일한 객체인지 여부를 판단하여 상기 관심 객체 리스트를 업데이트하고,
    매 프레임 단위로 상기 추적되는 객체의 이미지를 크롭하고,
    상기 크롭된 이미지의 묶음이 연속되고, 상기 크롭된 이미지가 미리 설정된 수량에 도달하는 경우, 상기 크롭된 이미지에 상응하는 객체의 이상행동 여부를 판단하고,
    상기 미리 설정된 관심 영역에 대한 기준 라인과 상기 객체의 이동 궤적을 벡터화하여 벡터의 교차 판별 방법을 통해 상기 객체의 이동 방향이 상기 기준 라인에 대해 정방향 또는 역방향인지 여부를 판단하고, 상기 판단된 객체의 이동 방향에 의해 상기 객체의 침입 또는 배회 상황 여부를 판단하는 이상행동 분석 장치.
  2. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 객체의 추적을 위해, 상기 입력된 영상의 RGB 채널 각각의 분포를 고려하여 상기 RGB 채널 각각에 서로 다른 가중치를 부여하는 이상행동 분석 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 미리 설정된 관심 영역과 상기 추적되는 객체의 이동 궤적의 기하학적 분석을 통해 상기 객체의 침입 또는 배회 상황 여부를 판단하는 이상행동 분석 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 미리 학습된 신경망을 기반으로, 상기 객체의 낙상 또는 폭행 상황 여부를 판단하는 이상행동 분석 장치.
  8. 프로세서 및 메모리를 포함하는 장치에서 객체 검출 및 추적을 통한 이상행동 분석 방법으로서,
    신경망 기반으로 입력 영상에서 존재하는 객체를 미리 설정된 프레임 단위로 검출하는 단계;
    매 프레임 단위로 가중 그레이 변환을 이용한 KCF(Kernerlize Correlation Filter) 및 서로 다른 프레임에 존재하는 객체의 색상 히스토그램(Hue-Histogram) 비교를 이용하여 상기 검출된 객체를 추적하는 단계; 및
    미리 설정된 관심 영역으로의 진입 여부 또는 미리 학습된 신경망을 기반으로 상기 추적된 객체의 이상행동 여부를 판단하는 단계를 포함하되,
    이전 프레임에서 검출된 객체의 위치를 중심으로 하여, 상기 검출된 객체의 위치를 탐색하기 위한 일정 영역을 search window라 정의하고,
    상기 검출된 객체를 추적하는 단계는, cyclic shift 방식을 이용하여 상기 search window 내의 모든 좌표에 대해서 관심 객체와의 일치 정도를 분석하고, 상기 분석된 일치 정보에 따른 상관 값을 구하여 응답 맵을 생성하고, 상기 응답 맵의 피크 값의 좌표를 추적하여 상기 검출된 객체를 추적하고, 상기 검출된 객체의 x,y 좌표, 최초 검출 시각 및 추적을 통한 마지막 검출 시각을 관심 객체 리스트로 관리하고,현재 프레임에서 검출된 객체가 상기 관심 객체 리스트에서 관리하는 객체와 동일한 객체인지 여부를 판단하여 상기 관심 객체 리스트를 업데이트하고,
    상기 이상행동 여부를 판단하는 단계는, 매 프레임 단위로 상기 추적되는 객체의 이미지를 크롭하고, 상기 크롭된 이미지의 묶음이 연속되고, 상기 크롭된 이미지가 미리 설정된 수량에 도달하는 경우, 상기 크롭된 이미지에 상응하는 객체의 이상행동 여부를 판단하고, 상기 미리 설정된 관심 영역에 대한 기준 라인과 상기 객체의 이동 궤적을 벡터화하여 벡터의 교차 판별 방법을 통해 상기 객체의 이동 방향이 상기 기준 라인에 대해 정방향 또는 역방향인지 여부를 판단하고, 상기 판단된 객체의 이동 방향에 의해 상기 객체의 침입 또는 배회 상황 여부를 판단하는 이상행동 분석 방법.
  9. 제8항에 따른 방법을 수행하는 기록매체에 저장되는 프로그램.
KR1020190108621A 2019-09-03 2019-09-03 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법 KR102263717B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190108621A KR102263717B1 (ko) 2019-09-03 2019-09-03 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190108621A KR102263717B1 (ko) 2019-09-03 2019-09-03 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210027778A KR20210027778A (ko) 2021-03-11
KR102263717B1 true KR102263717B1 (ko) 2021-06-10

Family

ID=75143208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190108621A KR102263717B1 (ko) 2019-09-03 2019-09-03 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102263717B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240185435A1 (en) * 2021-04-09 2024-06-06 Iris Technology Inc. Tracking Objects Across Images
CN113191294B (zh) * 2021-05-11 2022-06-17 山东浪潮科学研究院有限公司 一种基于机器视觉的大型漂浮物体冲撞大坝预防检测方法
KR102549703B1 (ko) 2021-08-19 2023-06-30 뱀부스 주식회사 돌발상황 오탐지 분류 방법 및 시스템
CN114187666B (zh) * 2021-12-23 2022-09-02 中海油信息科技有限公司 边走路边看手机的识别方法及其系统
KR102622941B1 (ko) * 2022-03-23 2024-01-10 국방과학연구소 작은 객체의 검출 및 인식 성능 향상을 위한 영상 처리 장치 및 방법
KR102642985B1 (ko) * 2022-11-02 2024-03-04 황용희 양식어업 안전 및 보안 관리 시스템
KR102643021B1 (ko) * 2023-08-18 2024-03-04 이성락 뉴럴 네트워크를 기반으로 사용자 단말에게 무단 침입을 자동으로 알리는 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198201A (zh) * 2017-12-19 2018-06-22 深圳市深网视界科技有限公司 一种多目标跟踪方法、终端设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101570339B1 (ko) * 2014-06-05 2015-11-20 주식회사 성우음향정보통신 영상분석 서버를 통한 미래 발생범죄 예측 시스템
KR102015078B1 (ko) 2017-12-20 2019-08-27 이노뎁 주식회사 압축영상에 대한 신택스 기반의 객체 배회 감지 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108198201A (zh) * 2017-12-19 2018-06-22 深圳市深网视界科技有限公司 一种多目标跟踪方法、终端设备及存储介质

Also Published As

Publication number Publication date
KR20210027778A (ko) 2021-03-11

Similar Documents

Publication Publication Date Title
KR102263717B1 (ko) 객체 검출 및 추적을 통한 이상행동 분석 장치 및 방법
Sharma et al. Beyond pixels: Leveraging geometry and shape cues for online multi-object tracking
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
JP6759411B2 (ja) 物体追跡方法および装置
Tsintotas et al. Assigning visual words to places for loop closure detection
US9361702B2 (en) Image detection method and device
US9582711B2 (en) Robot cleaner, apparatus and method for recognizing gesture
US10970823B2 (en) System and method for detecting motion anomalies in video
US9904868B2 (en) Visual attention detector and visual attention detection method
JP6679858B2 (ja) 対象の遮蔽を検出する方法と装置
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
CN111798487A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN113537077A (zh) 基于特征池优化的标签多伯努利视频多目标跟踪方法
US20170053172A1 (en) Image processing apparatus, and image processing method
CN112037257A (zh) 一种目标跟踪方法、终端及其计算机可读存储介质
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN112580565A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN113284167A (zh) 人脸跟踪检测方法、装置、设备和介质
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
Wojke et al. Joint operator detection and tracking for person following from mobile platforms
JP2019075051A (ja) 画像処理装置
CN113888628A (zh) 一种目标跟踪丢失后的精确定位方法及精确定位系统
KR102283053B1 (ko) 영상 기반 객체 검출 정보를 이용한 실시간 다중 클래스 다중 객체 추적 방법
JP6539720B1 (ja) 画像処理装置
CN113284165A (zh) 目标跟踪方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right