KR102347811B1 - 이상 행동 객체 탐지 장치 및 방법 - Google Patents

이상 행동 객체 탐지 장치 및 방법 Download PDF

Info

Publication number
KR102347811B1
KR102347811B1 KR1020210069658A KR20210069658A KR102347811B1 KR 102347811 B1 KR102347811 B1 KR 102347811B1 KR 1020210069658 A KR1020210069658 A KR 1020210069658A KR 20210069658 A KR20210069658 A KR 20210069658A KR 102347811 B1 KR102347811 B1 KR 102347811B1
Authority
KR
South Korea
Prior art keywords
optical flow
frame
image frames
abnormal behavior
difference
Prior art date
Application number
KR1020210069658A
Other languages
English (en)
Inventor
임현석
곽정환
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020210069658A priority Critical patent/KR102347811B1/ko
Application granted granted Critical
Publication of KR102347811B1 publication Critical patent/KR102347811B1/ko

Links

Images

Classifications

    • G06K9/00771—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 이상 행동 객체 탐지 장치 및 방법이 개시된다. 이상 행동 객체 탐지 방법은 설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름(Optical Flow)을 생성하는 단계와, 상기 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성하는 단계와, 상기 복수의 제1 영상 프레임 및 상기 복수의 제2 영상 프레임 간의 제1 차이를 검출하고, 상기 제1 차이에 기초하여 상기 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하는 단계를 포함할 수 있다.

Description

이상 행동 객체 탐지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT OF ABNORMAL BEHAVIOR}
본 발명은 영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 이상 행동 객체 탐지 장치 및 방법에 관한 것이다.
사람들의 안전을 위해 특정 장소에서는 정해진 규정이 적용되고 있다. 예를 들어, 휴식 공간인 공원에서는 타인에게 피해를 줄 수 있는 전동 킥보드, 오토바이 등을 탈 수 없다. 따라서, 해당 공간을 모니터링하고, 해당 공간에서 정해진 규정을 벗어난 이상 행동(비정상적인 행동)을 하는 객체가 탐지되는 경우, 이를 제재시킬 필요가 있다.
일반적으로, 이상 행동 객체 탐지 장치는 해당 공간에서 카메라에 의해 획득된 복수의 영상 프레임에 예를 들어, 미리 학습된 GAN(Generative Adversarial Network, 생성적 적대 신경망)을 적용하여 가짜 광학 흐름을 생성하고, 상기 복수의 영상 프레임 간의 필셀 차이에 기초하여 생성된 실제 광학 흐름 및 가짜 광학 흐름 간의 차이에 기초하여 상기 복수의 영상 프레임 내에서 이상 행동을 보이는 객체를 탐지할 수 있다.
그러나, GAN은 정상적인 행동을 보이는 객체에 대한 복수의 영상 프레임을 이용하여 학습된 알고리즘으로, 이상 행동을 보이는 객체에 대한 복수의 영상 프레임으로부터의 가짜 광학 흐름 생성시, 그 정확도가 저하되어, 실제 광학 흐름 및 가짜 광학 흐름 간의 차이에 기초한 복수의 영상 프레임 내 이상 행동 객체의 탐지 결과 또한 신뢰성이 감소할 수 있다.
또한, 실제 광학 흐름 및 가짜 광학 흐름 간의 차이 비교시, 이상 행동 객체 탐지 장치는 각 광학 흐름의 풀 영상(full image)을 비교하여 차이를 도출함에 따라, 각 광학 흐름 내 일부 영역에 차이가 있더라도, 해당 차이가 각 광학 흐름의 풀 영상 비교 결과에 제대로 반영되기가 어렵다. 이 또한, 실제 광학 흐름 및 가짜 광학 흐름 간의 차이에 기초한 복수의 영상 프레임 내 이상 행동 객체의 탐지 결과에 대한 신뢰성 감소의 원인이 될 수 있다.
선행기술(공개특허 제10-2020-0010971호)은 복수의 프레임을 포함하는 영상 클립에 대한 광학 흐름을 추정하도록 훈련된 제1 심층신경망을 이용해, 입력된 영상 클립에 대한 광학 흐름을 추정하고, 광학 흐름 추정 결과를 반영하는 광학 흐름 영상을 도출하고, 제1 심층신경망을 이용해 훈련된 제2 심층신경망을 이용해, 광학 흐름 영상에 기반하여 영상 클립 내 이동체를 검출하는 구성을 개시하고 있다.
그러나, 이러한 선행기술은 이동체만을 검출하는 것으로, 이동체가 이상 행동 패턴을 보이고 있는지를 파악할 수 없으며, 그 정확도에 대하여 고려하고 있지 않다.
따라서, 이상 행동 객체를 정확히 탐지할 수 있는 기술이 필요하다.
선행기술: 특허공보 제10-2020-0010971호(2020.01.31 공개)
본 발명의 일실시예는, 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름을 생성하고, 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성한 후, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단함으로써, 영상으로부터 이상 행동을 보이는 객체를 용이하게 탐지하는 것을 목적으로 한다.
본 발명의 일실시예는, 복수의 제1 영상 프레임에 제1 알고리즘을 적용하여 생성된 제1 광학 흐름 및 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름 간의 제2 차이를 검출하고, 제1 차이와 함께 제2 차이에 더 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단함으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시키는 것을 목적으로 한다.
본 발명의 일실시예는, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이와 제1 광학 흐름 및 제2 광학 흐름 간의 제2 차이 검출시, 풀 영상이 아닌 풀 영상이 분할된 패치별로 비교 함으로써, 제1 차이 및 제2 차이의 정확도를 높일 수 있게 하는 것을 목적으로 한다.
본 발명의 일실시예는, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이와 제1 광학 흐름 및 제2 광학 흐름 간의 제2 차이 검출시, 머신 러닝 기반의 훈련된 객체 식별 학습 모델과 함께, SSIM(structural similarity index measure) differentiation을 이용함으로써, 제1 차이 및 제2 차이의 정확도를 높일 수 있게 하는 것을 목적으로 한다.
또한, 본 발명의 일실시예는, GAN Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 복수의 영상 프레임으로부터 광학 흐름을 출력하도록 훈련된 제1 알고리즘 및 GAN Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 광학 흐름으로부터 복수의 영상 프레임을 출력하도록 훈련된 제2 알고리즘을 이용함으로써, 제1 알고리즘을 이용하여 생성되는 제1 광학 흐름 및 제2 알고리즘을 이용하여 생성되는 제2 영상 프레임의 정확도를 높임으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시키는 것을 목적으로 한다.
본 발명의 일실시예는, 영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 장치로서, 프로세서 및 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서로 하여금, 설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름(Optical Flow)을 생성하고, 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성하고, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이를 검출하고, 제1 차이에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하도록 야기하는 코드를 저장하는, 이상 행동 객체 탐지 장치일 수 있다.
또한, 본 발명의 일실시예는, 영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 방법으로서, 설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름(Optical Flow)을 생성하는 단계와, 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성하는 단계와, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이를 검출하고, 제1 차이에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하는 단계를 포함하는, 이상 행동 객체 탐지 방법일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예들에 의하면, 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름을 생성하고, 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성한 후, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단함으로써, 영상으로부터 이상 행동을 보이는 객체를 용이하게 탐지할 수 있다.
본 발명의 실시예들에 의하면, 복수의 제1 영상 프레임에 제1 알고리즘을 적용하여 생성된 제1 광학 흐름 및 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름 간의 제2 차이를 검출하고, 제1 차이와 함께 제2 차이에 더 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단함으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시킬 수 있다.
본 발명의 실시예들에 의하면, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이와 제1 광학 흐름 및 제2 광학 흐름 간의 제2 차이 검출시, 풀 영상이 아닌 풀 영상이 분할된 패치별로 비교 함으로써, 제1 차이 및 제2 차이의 정확도를 높일 수 있게 한다.
본 발명의 실시예들에 의하면, 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이와 제1 광학 흐름 및 제2 광학 흐름 간의 제2 차이 검출시, 머신 러닝 기반의 훈련된 객체 식별 학습 모델과 함께, SSIM differentiation을 이용함으로써, 제1 차이 및 제2 차이의 정확도를 높일 수 있게 한다.
또한, 본 발명의 실시예들에 의하면, GAN Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 복수의 영상 프레임으로부터 광학 흐름을 출력하도록 훈련된 제1 알고리즘 및 GAN Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 광학 흐름으로부터 복수의 영상 프레임을 출력하도록 훈련된 제2 알고리즘을 이용함으로써, 제1 알고리즘을 이용하여 생성되는 제1 광학 흐름 및 제2 알고리즘을 이용하여 생성되는 제2 영상 프레임의 정확도를 높임으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치의 구성 일례를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치에서의 객체의 이상 행동 여부를 판단하는 일례를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치에서 영상 프레임 간의 차이 및 광학 흐름 간의 차이를 검출하는 일례를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치에서의 객체의 이상 행동 여부를 가판단하는 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 객체 탐지 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치의 구성 일례를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치(100)는 영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 장치로서, 프로세서(110) 및 메모리(120)를 포함할 수 있다.
프로세서(110)는 예를 들어, 카메라에 의해 설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임(또는, 제1 영상 프레임 셋)(130)을 수신하고, 복수의 제1 영상 프레임(130)에 미리 학습된 제1 알고리즘(111)을 적용하여 제1 광학 흐름(Optical Flow)(또는, 제1 광학 흐름 셋)(131)을 생성할 수 있다. 여기서, 제1 알고리즘(111)은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 영상 프레임 및 정상 상태 영상 프레임의 광학 흐름을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함할 수 있다. 제1 알고리즘(111)의 훈련된 생성자는 이상 행동 객체가 포함된 영상 프레임에 기초하여 이상 행동 객체가 제외된 정상 상태 광학 흐름을 출력할 수 있다.
훈련 데이터로서, 정상 상태 영상 프레임이 설정된 크기 또는 개수로 분할된 프레임 패치 및 정상 상태 영상 프레임의 광학 흐름이 설정된 크기 또는 개수로 분할된 광학 흐름 패치가 활용될 경우, 제1 알고리즘(111)의 훈련된 생성자는 이상 행동 객체가 포함된 영상 프레임 내 프레임 패치에 기초하여 이상 행동 객체가 제외된 정상 상태 광학 흐름 내 광학 흐름 패치를 출력할 수 있다.
프로세서(110)는 복수의 제1 영상 프레임(130) 간의 픽셀 차이에 기초하여 제2 광학 흐름(140)을 생성할 수 있다. 여기서, 제2 광학 흐름은 복수의 제1 영상 프레임(130)(예컨대, 제1 영상 프레임_#1 및 제1 영상 프레임_#2) 간의 픽셀값 차이에 기초하여, 복수의 제1 영상 프레임(130) 사이에서 발생하는 픽셀의 이동성과 방향성을 정량적으로 표현한 것으로, 객체의 행동 패턴을 특징화하기에 적합할 수 있다. 픽셀의 색상은 영상 프레임 내 픽셀의 이동 방향을 의미하고, 픽셀의 밝기는 픽셀의 이동 속도를 의미할 수 있다.
프로세서(110)는 제2 광학 흐름(140)에 미리 학습된 제2 알고리즘(112)을 적용하여 복수의 제2 영상 프레임(141)을 생성할 수 있다. 이때, 프로세서(110)는 복수의 제1 영상 프레임(130)에서 백그라운드(background)를 제거하고, 백그라운드가 제거된 복수의 제1 영상 프레임과 제2 광학 흐름(140)을 퓨즈(fuse)하여 제2 광학 흐름(140)을 조정하고, 조정된 제2 광학 흐름(140)에 제2 알고리즘(112)을 적용함으로써, 백그라운드(예를 들어, 낙엽)가 제거된 제2 광학 흐름으로부터 객체(예를 들어, 사람, 차량, 자전거)만 존재하는 복수의 제2 영상 프레임(141)을 생성할 수 있다. 여기서, 제2 알고리즘(112)은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 광학 흐름 및 정상 상태 광학 흐름의 기초가 되는 정상 상태 영상 프레임을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함할 수 있다. 제2 알고리즘(112)의 훈련된 생성자는 이상 행동 객체가 포함된 광학 흐름에 기초하여 이상 행동 객체가 제외된 정상 상태 영상 프레임을 출력할 수 있다.
훈련 데이터로서, 정상 상태 광학 흐름이 설정된 크기 또는 개수로 분할된 광학 흐름 패치 및 정상 상태 광학 흐름의 기초가 되는 정상 상태 영상 프레임이 설정된 크기 또는 개수로 분할된 프레임 패치가 활용될 경우, 제2 알고리즘(112)의 훈련된 생성자는 이상 행동 객체가 포함된 광학 흐름 내 광학 흐름 패치에 기초하여 이상 행동 객체가 제외된 정상 상태 영상 프레임 내 프레임 패치를 출력할 수 있다.
제1 알고리즘 및 제2 알고리즘은 패치 단위로 훈련된 경우, 추후 검출하게 되는 복수의 제1 영상 프레임(130) 및 복수의 제2 영상 프레임(141) 간의 제1 차이(150)와 제1 광학 흐름(131) 및 제2 광학 흐름(140) 간의 제2 차이(151) 검출시, 그 정확도를 높일 수 있다.
제1 알고리즘 및 제2 알고리즘 중 적어도 하나의 알고리즘은 GAN(Generative Adversarial Network) Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 학습될 수 있다.
실시예에서, 프로세서(110)는 복수의 제1 영상 프레임(130)에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 복수의 제1 영상 프레임(130) 내 움직임이 없는 객체가 이동 가능한 카테고리 식별자(예를 들어, 사람)로 결정될 경우, 움직임이 없는 객체가 백그라운드에서 제외되도록 함으로써, 움직임이 없는 객체(예를 들어, 사람)인 경우에도 백그라운드로 취급되지 않게 한다. 이로써, 프로세서(110)는 복수의 제1 영상 프레임(130) 간의 픽셀 차이에 기초하여 생성되는 제2 광학 흐름(140)에서의 백그라운드 제거시, 움직임이 없는 객체가 제거되지 않게 하여, 제2 광학 흐름(140)으로부터 복원되는 복수의 제2 영상 프레임(141)의 정확도를 높일 수 있다. 여기서, 객체 식별 학습 모델은 영상 프레임(또는, 프레임 패치)으로부터 카테고리 식별자(예를 들어, 사람, 자동차 등)을 식별하도록 학습된 심층 신경망(DNN, Deep Neural Network)일 수 있다.
프로세서(110)는 복수의 제1 영상 프레임(130) 및 복수의 제2 영상 프레임(141) 간의 제1 차이(150)를 검출하고, 제1 차이(150)에 기초하여 복수의 제1 영상 프레임(130) 내 이상 행동 객체를 판단할 수 있다. 프로세서(110)는 복수의 제1 영상 프레임(130) 내 이상 행동 객체를 판단하여, 이상 행동을 보이는 객체 존재 여부뿐 아니라, 객체의 지역화(Localization)를 구현하여, 이상 행동을 보이는 객체의 위치를 특정함으로써, 이를 통해 복수의 제1 영상 프레임(130)이 촬영된 해당 공간에서의 이상 행동 객체를 제재시킬 수 있게 하는 환경을 마련할 수 있다. 여기서, 이상 행동은 정상적인 상황에서 일어나는 일이 아닌 정상을 벗어나는 일(행동)을 의미하는 것으로, 특정 객체의 이상 행동을 탐지하는 것뿐만 아니라, 정상적인 상황이라면 해당 위치에서는 보이지 않아야할 객체가 나타나는 이상 행동의 경우도 포함할 수 있다. 예를 들어, 이상 행동은 인도에 차량이 진입하거나, 또는 공원에서 차량, 전동 킥보드, 오토바이 등이 주행되는 것일 수 있다.
이때, 프로세서(110)는 제1 영상 프레임 및 제2 영상 프레임 각각을 설정된 크기 또는 개수의 프레임 패치로 분할하고, 제1 영상 프레임 내 제1 프레임 패치 및 제1 프레임 패치의 위치에 대응하는 제2 영상 프레임 내 제2 프레임 패치에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 제1 프레임 패치 및 제2 프레임 패치 각각에 대한 카테고리 식별자를 결정할 수 있다. 프로세서(110)는 제1 영상 프레임 내 제1 프레임 패치에 대한 카테고리 식별자와 제2 영상 프레임 내 제2 프레임 패치에 대한 카테고리 식별자의 일치 여부에 기초하여 제1 차이를 검출할 수 있다. 여기서, 제1 영상 프레임에서의 제1 패치의 위치와 제2 영상 프레임에서의 제2 패치의 위치는 동일할 수 있다.
또한, 프로세서(110)는 복수의 제1 영상 프레임(130) 내 제1 프레임 패치 및 복수의 제2 영상 프레임(141) 내 제2 프레임 패치 각각에 SSIM(structural similarity index measure) differentiation을 적용한 결과값 간의 차이에 더 기초하여 제1 차이를 검출함으로써, 제1 차이의 정확도를 높일 수 있다.
여기서, SSIM은 밝기, 대비, 구조로 이루어진 3가지 측정 요소를 곱하여 산출되는 것으로, 픽셀의 평균과 표준편차, 공분산을 계산하여 각각 밝기, 대비, 구조적 유사도에 반영하여 0과 1 사이의 유사도를 도출할 수 있으며, [수학식 1]에 의해 나타낼 수 있다.
Figure 112021062263275-pat00001
여기서, x는 제1 영상 프레임(또는, 제1 영상 프레임 내 프레임 패치)이고, y는 제2 영상 프레임(또는, 제2 영상 프레임 내 프레임 패치)일 수 있다.
Figure 112021062263275-pat00002
는 x의 평균값이고,
Figure 112021062263275-pat00003
는 y의 평균값이고,
Figure 112021062263275-pat00004
는 x의 분산이고,
Figure 112021062263275-pat00005
는 y의 분산이고,
Figure 112021062263275-pat00006
은 (k1L)2,
Figure 112021062263275-pat00007
는 (k2L)2로 정의된 상수로서 L은 픽셀 값들의 동적 범위이며,
Figure 112021062263275-pat00008
는 제1 영상 프레임 내 픽셀 x 및 제2 영상 프레임의 픽셀 y의 공분산이다.
이상 행동 객체를 판단하는 다른 일례로서, 프로세서(110)는 제1 광학 흐름(131) 및 제2 광학 흐름(140) 간의 제2 차이(151)를 검출하고, 제1 차이(150)에 더하여 제2 차이(151)에 더 기초하여 복수의 제1 영상 프레임(130) 내 이상 행동 객체를 판단함으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시킬 수 있다.
또한, 프로세서(110)는 제1 차이(150)에 기초한 복수의 제1 영상 프레임(130) 내 이상 행동 객체의 판단 이전에, 제1 광학 흐름(131) 및 제2 광학 흐름(140) 간의 차이에 기초하여 복수의 제1 영상 프레임(130) 내 이상 행동 객체를 가판단할 수 있다. 이후, 프로세서(110)는 가판단한 결과와 제1 차이(150)(또는, 제1,2 차이)에 기초한 이상 행동 객체의 판단 결과가 상이할 경우, 미리 설정된 수의 신규 영상 프레임을 복수의 제1 영상 프레임에 추가하고, 신규 영상 프레임이 추가된 복수의 제1 영상 프레임(130)에 기초하여 이상 행동 객체를 판단할 수 있다. 여기서, 신규 영상 프레임은 복수의 제1 영상 프레임(130)과 함께 연이어 촬영된 영상 프레임일 수 있다. 즉, 프로세서(110)는 복수의 제1 영상 프레임(130) 내 이상 행동 객체에 대한 판단이 부정확한 것으로 확인될 경우, 보다 많은 영상 프레임을 통해 이상 행동 객체에 대한 판단을 재수행할 수 있다.
메모리(120)는 프로세서(110)와 동작 가능하게 연결되고 프로세서(110)에서 수행되는 적어도 하나의 코드를 저장할 수 있다. 또한, 메모리(120)는 미리 학습된 제1,2 알고리즘, 머신 러닝 기반의 훈련된 객체 식별 학습 모델 등을 더 저장할 수 있다.
도 2는 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치에서의 객체의 이상 행동 여부를 판단하는 일례를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치는 설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임(210)에 제1 알고리즘(211)을 적용하여 제1 광학 흐름(212)을 생성할 수 있다.
이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(210) 간의 픽셀 차이에 기초하여 제2 광학 흐름(220)을 생성하고, 제2 광학 흐름(220)에 미리 학습된 제2 알고리즘(221)을 적용하여 복수의 제2 영상 프레임(222)을 생성할 수 있다.
이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(210) 및 복수의 제2 영상 프레임(222) 간의 제1 차이(230)를 검출하고, 제1 차이(230)에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단할 수 있다. 이때, 이상 행동 객체 탐지 장치는 머신 러닝 기반의 훈련된 객체 식별 학습 모델(240) 및 SSIM differentiation(250)을 이용하여 제1 차이(230)를 검출할 수 있다.
또한, 이상 행동 객체 탐지 장치는 제1 광학 흐름(212) 및 제2 광학 흐름(220) 간의 제2 차이(231)를 검출하고, 제1 차이(230)에 더하여 제2 차이(231)에 더 기초하여 복수의 제1 영상 프레임(210) 내 이상 행동 객체를 판단함으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시킬 수 있다.
도 3은 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치에서 영상 프레임 간의 차이 및 광학 흐름 간의 차이를 검출하는 일례를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(210) 및 복수의 제2 영상 프레임(222) 간의 제1 차이에 기초하여 복수의 제1 영상 프레임(210) 내 객체의 이상 행동 여부를 판단할 수 있다. 여기서, 복수의 제1 영상 프레임(210)은 카메라에 의해 촬영되어 객체 탐지 대상이 되는 영상 프레임이고, 복수의 제2 영상 프레임(222)은 복수의 제1 영상 프레임(210)과 연관된 제2 광학 흐름(220)으로부터 복원된 영상 프레임일 수 있다. 이때, 이상 행동 객체 탐지 장치는 머신 러닝 기반의 훈련된 객체 식별 학습 모델(240) 및 SSIM differentiation(250)을 이용하여 제1 차이를 검출할 수 있다.
구체적으로, 이상 행동 객체 탐지 장치는 예를 들어, 복수의 제1 영상 프레임(210)을 6개의 제1 프레임 패치(제1 프레임 패치_#1 내지 제1 프레임 패치_#6)로 분할하고, 복수의 제2 영상 프레임(222)을 6개의 제2 프레임 패치(제2 프레임 패치_#1 내지 제2 프레임 패치_#6)로 분할할 수 있다. 이상 행동 객체 탐지 장치는 제1 영상 프레임(210) 내 제1 프레임 패치 및 제1 프레임 패치의 위치에 대응하는 제2 영상 프레임 내 제2 프레임 패치에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 제1 프레임 패치 및 제2 프레임 패치 각각에 대한 카테고리 식별자를 결정할 수 있다. 이때, 이상 행동 객체 탐지 장치는 제1 영상 프레임 내 제1 프레임 패치에 대한 카테고리 식별자와 제2 영상 프레임 내 제2 프레임 패치에 대한 카테고리 식별자의 일치 여부에 기초하여 제1 차이를 검출할 수 있다. 즉, 이상 행동 객체 탐지 장치는 예를 들어, 제1 영상 프레임(210) 내 제1 프레임 패치_#1(210-1) 및 제2 영상 프레임(222) 내 제2 프레임 패치_#1(222-1)에 객체 식별 학습 모델을 적용한 결과, 각각 카테고리 식별자로서 '사람', '사람'이 결정된 경우, 즉 카테고리 식별자가 일치함에 따라, 제1,2 프레임 패치_#1에 대해 설정된 포인트, 즉 '1' 포인트를 부여할 수 있다. 또한, 이상 행동 객체 탐지 장치는 제1 영상 프레임(210) 및 제2 영상 프레임(222) 내 다른 패치에 대해서도 카테고리 식별자의 일치 여부에 기초하여 포인트를 부여할 수 있으며, 부여된 포인트의 평균을 제1 차이의 일례로서 검출할 수 있다.
이때, 이상 행동 객체 탐지 장치는 제1 영상 프레임(210) 내 각 프레임 패치 및 제2 영상 프레임(222) 내 각 프레임 패치에 SSIM differentiation을 적용할 수 있으며, 프레임 패치별 SSIM differentiation의 결과값 간의 차이에 더 기초하여 제1 차이를 검출함으로써, 복수의 제1 영상 프레임(210) 및 복수의 제2 영상 프레임(222) 간의 제1 차이를 더 정확하게 검출할 수 있다.
또한, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(210) 및 복수의 제2 영상 프레임(222) 간의 제1 차이 검출과 마찬가지로, 제1 광학 흐름(212) 및 제2 광학 흐름(220)을 각각 6개의 광학 흐름 패치로 분할하고, 대응하는 6개의 광학 흐름 패치에 대해 객체 식별 학습 모델을 적용한 결과 및 SSIM differentiation을 적용한 결과에 기초하여 제1 광학 흐름(212) 및 제2 광학 흐름(220) 간의 제2 차이를 검출할 수 있다.
도 4는 본 발명의 일실시예에 따른 이상 행동 객체 탐지 장치에서의 객체의 이상 행동 여부를 가판단하는 일례를 설명하기 위한 도면이다.
도 4를 참조하면, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(410)이 수신되면, 복수의 제1 영상 프레임(410) 각각을 설정된 크기 또는 개수의 제1 프레임 패치(411)로 분할할 수 있다.
이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(410) 각각에서 백그라운드(background)를 제거하고, 백그라운드가 제거된 복수의 제1 영상 프레임(420)을 복수의 제1 영상 프레임(410)과 마찬가지로, 설정된 크기 또는 개수의 제2 프레임 패치(421)로 분할할 수 있다. 이상 행동 객체 탐지 장치는 영상 프레임 내 위치에 기초하여 제1 프레임 패치(411) 및 제2 프레임 패치(421)를 합하고(concatenate)고(즉, 영상 프레임에서 동일한 위치에 존재하는 패치끼리 합함), 합해진 패치에 미리 학습된 제1 알고리즘(430)을 적용하여 제1 광학 흐름 패치(440)를 생성할 수 있다. 제1 알고리즘(430)은 정상적인 행동 패턴을 보이는 객체에 대한 복수의 영상 프레임에서 분할된 프레임 패치로부터 광학 흐름 패치가 도출되도록 훈련된 GAN일 수 있다.
여기서, 복수의 제1 영상 프레임(410)으로부터 제1 알고리즘(430)을 이용하여 제1 광학 흐름 패치(440)를 생성하는 과정은 도 2의 복수의 제1 영상 프레임(210)으로부터 제1 알고리즘(211)을 이용하여 제1 광학 흐름(212)을 생성하는 과정에 포함될 수 있다.
또한, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임(410) 간의 픽셀 차이에 기초하여 제2 광학 흐름(450)을 생성하고, 백그라운드가 제거된 복수의 제1 영상 프레임(420)과 제2 광학 흐름(450)을 합하여(fuse), 제2 광학 흐름(450)을 조정함으로써, 조정된 제2 광학 흐름(451)에서 백그라운드에 대한 부분이 제거되고, 객체에 대한 부분만이 유지될 수 있게 한다.
이상 행동 객체 탐지 장치는 조정된 제2 광학 흐름(451)을 복수의 제1 영상 프레임(410)과 마찬가지로, 설정된 크기 또는 개수의 제2 광학 흐름 패치(452)로 분할하고, 제2 광학 흐름 패치(452) 및 제1 광학 흐름 패치(440) 간의 차이(460)를 도출하고, 해당 차이(460)에 기초하여 복수의 제1 영상 프레임(410) 내 이상 행동 객체를 가판단할 수 있다. 이때, 이상 행동 객체 탐지 장치는 제2 광학 흐름 패치(452) 및 제1 광학 흐름 패치(440) 간의 차이(460)에 후처리(예를 들어, 에지 랩핑(edge wrapping), 470)를 수행하고, 후처리 결과로부터 복수의 제1 영상 프레임(420) 내 객체의 이상 행동 여부를 가판단할 수 있다.
이후, 이상 행동 객체 탐지 장치는 가판단한 결과와 제1 차이(복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 차이)에 기초한 이상 행동 객체의 판단 결과가 상이할 경우, 미리 설정된 수의 신규 영상 프레임을 복수의 제1 영상 프레임(420)에 추가하고, 신규 영상 프레임이 추가된 복수의 제1 영상 프레임(420)에 기초하여 이상 행동 객체를 판단함으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시킬 수 있다.
도 5는 본 발명의 일실시예에 따른 객체 탐지 방법을 도시한 흐름도이다.
도 5를 참조하면, 단계 S510에서, 이상 행동 객체 탐지 장치는 설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름(Optical Flow)을 생성할 수 있다. 여기서, 제1 알고리즘은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 영상 프레임 및 정상 상태 영상 프레임의 광학 흐름을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함할 수 있다. 이때, 제1 알고리즘의 훈련된 생성자는 이상 행동 객체가 포함된 영상 프레임에 기초하여 이상 행동 객체가 제외된 정상 상태 광학 흐름을 출력할 수 있다.
단계 S520에서, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 제2 광학 흐름을 생성할 수 있다. 여기서, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 제2 광학 흐름을 생성할 수 있다.
단계 S530에서, 이상 행동 객체 탐지 장치는 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성할 수 있다.
이때, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임에서 백그라운드를 제거하고, 백그라운드가 제거된 복수의 제1 영상 프레임과 제2 광학 흐름을 합하여 제2 광학 흐름을 조정하고, 조정된 제2 광학 흐름에 제2 알고리즘을 적용함으로써, 백그라운드가 제거된 제2 광학 흐름으로부터 객체만 존재하는 복수의 제2 영상 프레임을 생성할 수 있다. 여기서, 제2 알고리즘은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 광학 흐름 및 정상 상태 광학 흐름의 기초가 되는 정상 상태 영상 프레임을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함할 수 있다. 이때, 제2 알고리즘의 훈련된 생성자는 이상 행동 객체가 포함된 광학 흐름에 기초하여 이상 행동 객체가 제외된 정상 상태 영상 프레임을 출력할 수 있다.
제1 알고리즘 및 제2 알고리즘 중 적어도 하나의 알고리즘은 GAN(Generative Adversarial Network) Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 학습될 수 있다.
실시예에서, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 복수의 제1 영상 프레임 내 움직임이 없는 객체가 이동 가능한 카테고리 식별자(예를 들어, 사람)로 결정될 경우, 움직임이 없는 객체가 백그라운드에서 제외되도록 함으로써, 움직임이 없는 객체(사람)인 경우에도 백그라운드로 취급되지 않게 한다. 이로써, 이상 행동 객체 탐지 장치는 제2 광학 흐름에서의 백그라운드 제거시 움직임이 없는 객체가 제거되지 않게 한다.
단계 S540에서, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임 및 복수의 제2 영상 프레임 간의 제1 차이를 검출하고, 제1 차이에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단할 수 있다.
이때, 이상 행동 객체 탐지 장치는 제1 영상 프레임 및 제2 영상 프레임 각각을 설정된 크기 또는 개수의 프레임 패치로 분할하고, 제1 영상 프레임 내 제1 프레임 패치 및 제1 프레임 패치의 위치에 대응하는 제2 영상 프레임 내 제2 프레임 패치에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 제1 프레임 패치 및 제2 프레임 패치 각각에 대한 카테고리 식별자를 결정할 수 있다. 이상 행동 객체 탐지 장치는 제1 영상 프레임 내 제1 프레임 패치에 대한 카테고리 식별자와 제2 영상 프레임 내 제2 프레임 패치에 대한 카테고리 식별자의 일치 여부에 기초하여 제1 차이를 검출할 수 있다.
또한, 이상 행동 객체 탐지 장치는 복수의 제1 영상 프레임 내 제1 프레임 패치 및 복수의 제2 영상 프레임 내 제2 프레임 패치 각각에 SSIM differentiation을 적용한 결과값 간의 차이에 더 기초하여 제1 차이를 검출할 수 있다.
이상 행동 객체를 판단하는 다른 일례로서, 이상 행동 객체 탐지 장치는 제1 광학 흐름 및 제2 광학 흐름 간의 제2 차이를 검출하고, 제1 차이에 더하여 제2 차이에 더 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 판단할 수 있다.
또한, 이상 행동 객체 탐지 장치는 제1 차이에 기초한 복수의 제1 영상 프레임 내 이상 행동 객체의 판단 이전에, 제1 광학 흐름 및 제2 광학 흐름 간의 차이에 기초하여 복수의 제1 영상 프레임 내 이상 행동 객체를 가판단하고, 가판단한 결과와 제1 차이(또는, 제1,2 차이)에 기초한 이상 행동 객체의 판단 결과가 상이할 경우, 미리 설정된 수의 신규 영상 프레임을 복수의 제1 영상 프레임에 추가하고, 신규 영상 프레임이 추가된 복수의 제1 영상 프레임에 기초하여 이상 행동 객체를 판단함으로써, 영상 내 이상 행동 객체 탐지에 대한 신뢰성을 증가시킬 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 이상 행동 객체 탐지 장치
110: 프로세서 120: 메모리
130: 복수의 제1 영상 프레임 131: 제1 광학 흐름
140: 제2 광학 흐름 141: 복수의 제2 영상 프레임

Claims (15)

  1. 영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 장치로서,
    프로세서; 및
    상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서로 하여금,
    설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름(Optical Flow)을 생성하고, 상기 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성하고, 상기 복수의 제1 영상 프레임 및 상기 복수의 제2 영상 프레임 간의 제1 차이를 검출하고, 상기 제1 차이에 기초하여 상기 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하도록 야기하는 코드를 저장하는,
    이상 행동 객체 탐지 장치.
  2. 제1항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제1 광학 흐름 및 상기 제2 광학 흐름 간의 제2 차이를 검출하고, 상기 제1 차이에 더하여 상기 제2 차이에 더 기초하여 상기 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하도록 야기하는 코드를 저장하는,
    이상 행동 객체 탐지 장치.
  3. 제1항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제1 차이에 기초한 상기 복수의 제1 영상 프레임 내 이상 행동 객체의 판단 이전에,
    상기 제1 광학 흐름 및 상기 제2 광학 흐름 간의 차이에 기초하여 상기 복수의 제1 영상 프레임 내 이상 행동 객체를 가판단하고, 상기 가판단한 결과와 상기 판단 결과가 상이할 경우, 미리 설정된 수의 신규 영상 프레임을 상기 복수의 제1 영상 프레임에 추가하고, 상기 신규 영상 프레임이 추가된 상기 복수의 제1 영상 프레임에 기초하여 이상 행동 객체를 판단하도록 야기하는 코드를 저장하는,
    이상 행동 객체 탐지 장치.
  4. 제1항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제1 영상 프레임 및 상기 제2 영상 프레임 각각을 설정된 크기 또는 개수의 프레임 패치로 분할하고, 상기 제1 영상 프레임 내 제1 프레임 패치 및 상기 제1 프레임 패치의 위치에 대응하는 상기 제2 영상 프레임 내 제2 프레임 패치에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 상기 제1 프레임 패치 및 상기 제2 프레임 패치 각각에 대한 카테고리 식별자를 결정하고, 상기 제1 영상 프레임 내 제1 프레임 패치에 대한 카테고리 식별자와 상기 제2 영상 프레임 내 제2 프레임 패치에 대한 카테고리 식별자의 일치 여부에 기초하여 상기 제1 차이를 검출하도록 야기하는 코드를 저장하고,
    이상 행동 객체 탐지 장치.
  5. 제4항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제1 영상 프레임 내 제1 프레임 패치 및 상기 제2 영상 프레임 내 제2 프레임 패치 각각에 SSIM(structural similarity index measure) differentiation을 적용한 결과값 간의 차이에 더 기초하여 상기 제1 차이를 검출하도록 야기하는 코드를 저장하는,
    이상 행동 객체 탐지 장치.
  6. 제1항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 복수의 제1 영상 프레임에서 백그라운드(background)를 제거하고, 상기 백그라운드가 제거된 복수의 제1 영상 프레임과 상기 제2 광학 흐름을 퓨즈(fuse)하여 상기 제2 광학 흐름을 조정하고, 상기 조정된 제2 광학 흐름에 상기 제2 알고리즘을 적용하도록 야기하는 코드를 저장하는,
    이상 행동 객체 탐지 장치.
  7. 제6항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 복수의 제1 영상 프레임에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 상기 복수의 제1 영상 프레임 내 움직임이 없는 객체가 이동 가능한 카테고리 식별자로 결정될 경우, 상기 움직임이 없는 객체가 상기 백그라운드에서 제외되도록 야기하는 코드를 저장하는,
    이상 행동 객체 탐지 장치.
  8. 제1항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 제1 알고리즘 및 상기 제2 알고리즘 중 적어도 하나의 알고리즘은 GAN(Generative Adversarial Network) Loss 및 L1 Loss와 함께, SSIM loss에 기초하여 학습되는,
    이상 행동 객체 탐지 장치.
  9. 제1항에 있어서,
    상기 제1 알고리즘은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 영상 프레임 및 정상 상태 영상 프레임의 광학 흐름을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함하며,
    상기 제1 알고리즘의 훈련된 생성자는 이상 행동 객체가 포함된 영상 프레임에 기초하여 이상 행동 객체가 제외된 정상 상태 광학 흐름을 출력하도록 구성되는,
    이상 행동 객체 탐지 장치.
  10. 제1항에 있어서,
    상기 제2 알고리즘은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 광학 흐름 및 정상 상태 광학 흐름의 기초가 되는 정상 상태 영상 프레임을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함하며,
    상기 제2 알고리즘의 훈련된 생성자는 이상 행동 객체가 포함된 광학 흐름에 기초하여 이상 행동 객체가 제외된 정상 상태 영상 프레임을 출력하도록 구성되는,
    이상 행동 객체 탐지 장치.
  11. 영상에 기반하여 이상 행동을 보이는 객체를 탐지하는 방법으로서,
    설정된 시간 간격으로 촬영된 복수의 제1 영상 프레임에 미리 학습된 제1 알고리즘을 적용하여 제1 광학 흐름(Optical Flow)을 생성하는 단계;
    상기 복수의 제1 영상 프레임 간의 픽셀 차이에 기초하여 생성된 제2 광학 흐름에 미리 학습된 제2 알고리즘을 적용하여 복수의 제2 영상 프레임을 생성하는 단계; 및
    상기 복수의 제1 영상 프레임 및 상기 복수의 제2 영상 프레임 간의 제1 차이를 검출하고, 상기 제1 차이에 기초하여 상기 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하는 단계를 포함하는,
    이상 행동 객체 탐지 방법.
  12. 제11항에 있어서,
    상기 이상 행동 객체를 판단하는 단계는,
    상기 제1 광학 흐름 및 상기 제2 광학 흐름 간의 제2 차이를 검출하고, 상기 제1 차이에 더하여 상기 제2 차이에 더 기초하여 상기 복수의 제1 영상 프레임 내 이상 행동 객체를 판단하는 단계를 포함하는,
    이상 행동 객체 탐지 방법.
  13. 제11항에 있어서,
    상기 이상 행동 객체를 판단하는 단계는,
    상기 제1 영상 프레임 및 상기 제2 영상 프레임 각각을 설정된 크기 또는 개수의 프레임 패치로 분할하는 단계;
    상기 제1 영상 프레임 내 제1 프레임 패치 및 상기 제1 프레임 패치의 위치에 대응하는 상기 제2 영상 프레임 내 제2 프레임 패치에 머신 러닝 기반의 훈련된 객체 식별 학습 모델을 적용하여 상기 제1 프레임 패치 및 상기 제2 프레임 패치 각각에 대한 카테고리 식별자를 결정하는 단계; 및
    상기 제1 영상 프레임 내 제1 프레임 패치에 대한 카테고리 식별자와 상기 제2 영상 프레임 내 제2 프레임 패치에 대한 카테고리 식별자의 일치 여부에 기초하여 상기 제1 차이를 검출하는 단계를 포함하는,
    이상 행동 객체 탐지 방법.
  14. 제11항에 있어서,
    상기 제1 알고리즘은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 영상 프레임 및 정상 상태 영상 프레임의 광학 흐름을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함하며,
    상기 제1 알고리즘의 훈련된 생성자는 이상 행동 객체가 포함된 영상 프레임에 기초하여 이상 행동 객체가 제외된 정상 상태 광학 흐름을 출력하도록 구성되는,
    이상 행동 객체 탐지 방법.
  15. 제11항에 있어서,
    상기 제2 알고리즘은 생성적 적대 신경망(GAN)으로서, 이상 행동 객체가 없는 정상 상태 광학 흐름 및 정상 상태 광학 흐름의 기초가 되는 정상 상태 영상 프레임을 포함하는 훈련 데이터에 기초하여 훈련된 생성자를 포함하며,
    상기 제2 알고리즘의 훈련된 생성자는 이상 행동 객체가 포함된 광학 흐름에 기초하여 이상 행동 객체가 제외된 정상 상태 영상 프레임을 출력하도록 구성되는,
    이상 행동 객체 탐지 방법.
KR1020210069658A 2021-05-31 2021-05-31 이상 행동 객체 탐지 장치 및 방법 KR102347811B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210069658A KR102347811B1 (ko) 2021-05-31 2021-05-31 이상 행동 객체 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210069658A KR102347811B1 (ko) 2021-05-31 2021-05-31 이상 행동 객체 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102347811B1 true KR102347811B1 (ko) 2022-01-06

Family

ID=79347702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210069658A KR102347811B1 (ko) 2021-05-31 2021-05-31 이상 행동 객체 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102347811B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731461B1 (ko) * 2015-12-09 2017-05-11 고려대학교 산학협력단 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법
KR20200010971A (ko) 2018-06-25 2020-01-31 한국전자통신연구원 광학 흐름 추정을 이용한 이동체 검출 장치 및 방법
KR20200139616A (ko) * 2018-05-03 2020-12-14 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731461B1 (ko) * 2015-12-09 2017-05-11 고려대학교 산학협력단 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법
KR20200139616A (ko) * 2018-05-03 2020-12-14 엘지이노텍 주식회사 이상 개체 검출 장치 및 방법
KR20200010971A (ko) 2018-06-25 2020-01-31 한국전자통신연구원 광학 흐름 추정을 이용한 이동체 검출 장치 및 방법

Similar Documents

Publication Publication Date Title
US11195037B2 (en) Living body detection method and system, computer-readable storage medium
KR101159164B1 (ko) 위조 영상 판별 장치 및 그 방법
CN107563265B (zh) 一种远光灯检测方法及装置
CN105404884B (zh) 图像分析方法
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
US20220004818A1 (en) Systems and Methods for Evaluating Perception System Quality
CN109478324A (zh) 图像处理装置、外界识别装置
Huang et al. Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems
CN109558901B (zh) 一种语义分割训练方法及装置、电子设备、存储介质
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通系统
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
CN107832721B (zh) 用于输出信息的方法和装置
US20230015771A1 (en) Methods for detecting phantom projection attacks against computer vision algorithms
CN111160220A (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
US11482012B2 (en) Method for driving assistance and mobile device using the method
CN111383248B (zh) 一种行人闯红灯判断方法、装置和电子设备
CN110826544A (zh) 交通标志检测识别系统及方法
KR102347811B1 (ko) 이상 행동 객체 탐지 장치 및 방법
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
EP4167198B1 (en) Method and system for detecting a spoofing attempt
KR102349938B1 (ko) Cctv 영상 기반 데이터 처리 방법 및 그 시스템
CN102339377B (zh) 一种快速人眼定位方法及装置
KR102194511B1 (ko) 대표 영상프레임 결정시스템 및 이를 이용한 방법
JP2019211921A (ja) 物体認識システムおよび物体認識方法
KR102133045B1 (ko) Cctv 영상 기반 데이터 처리 방법 및 그 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant