KR20160035631A - 히스토그램 기반의 움직임 검출 방법 및 그 장치 - Google Patents

히스토그램 기반의 움직임 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR20160035631A
KR20160035631A KR1020140126581A KR20140126581A KR20160035631A KR 20160035631 A KR20160035631 A KR 20160035631A KR 1020140126581 A KR1020140126581 A KR 1020140126581A KR 20140126581 A KR20140126581 A KR 20140126581A KR 20160035631 A KR20160035631 A KR 20160035631A
Authority
KR
South Korea
Prior art keywords
motion
descriptor
frame
histogram
dimensional
Prior art date
Application number
KR1020140126581A
Other languages
English (en)
Inventor
허준희
조동찬
배경훈
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140126581A priority Critical patent/KR20160035631A/ko
Publication of KR20160035631A publication Critical patent/KR20160035631A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 히스토그램 기반의 움직임 검출 방법은, 영상 프레임으로부터 움직임 벡터를 예측하는 단계와, 상기 영상 프레임을 매크로 블록 단위로 분할하는 단계와, 예측된 각 움직임 벡터의 방향과 크기에 따라 각 매크로 블록별로 다차원의 움직임 서술자를 생성하는 단계와, 생성된 상기 다차원의 움직임 서술자들에 의거하여 상기 영상 프레임에 대한 프레임 서술자를 생성하는 단계와, 생성된 상기 프레임 서술자와 학습 DB 내 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임을 판단하는 단계를 포함할 수 있다.

Description

히스토그램 기반의 움직임 검출 방법 및 그 장치{METHOD FOR DETECTING MOTION VECTOR BASED ON HISTOGRAM}
본 발명은 동영상 내 이상 움직임을 검출하는 기법에 관한 것으로, 더욱 상세하게는 영상 프레임을 분할한 각 블록별의 움직임을 정의하는 다차원의 움직임 서술자(descriptor)에 기반하여 동영상 내의 이상 움직임(또는 이상 움직임 패턴)을 판별하는데 적합한 히스토그램 기반의 움직임 검출 방법 및 그 장치에 관한 것이다.
잘 알려진 바와 같이, 영상 보안 분야 등에서의 움직임 분석은 관심 객체를 정의하는 가장 기본이 되는 기술로 구분될 수 있는데, 이와 관련하여 침입 감지, 배회 등 다양한 지능형 영상 기능이 활발히 제공 중에 있다.
종래의 비정상 행동(비정상 상황)을 탐지하는 기술 중 하나로서, 옵티컬 플로우(optical flow)를 사용하여 영상 전체에서 움직임 정보를 측정하고, 군중들 사이에서 발생할 수 있는 상호작용에 대한 힘을 사회력(social force)이라는 에너지로 정의하였으며, 정의된 사회력을 이용하여 n*n*t의 비주얼 워드로 구성한 후 LDA(Latent Dirichlet Allocation) 알고리즘으로 모델링하여 비정상 집단행동을 탐지하는 시스템이 제안되었다.
종래의 비정상 행동(비정상 상황)을 탐지하는 기술 중 다른 하나로서, 움직임 벡터와 위상 상관도(phase correlation)를 결합하여 움직임 정보를 측정하고, 확률모델인 GMM(Gaussian Mixture Model)을 이용한 모델링을 통해 실시간으로 비정상 상황을 탐지하는 시스템이 제안되었다.
종래의 비정상 행동(비정상 상황)을 탐지하는 기술 중 또 다른 하나로서, 움직임이 발생한 영역에서 특징정보들을 추출하여 이를 통해 확률 모델인 베이지안 모델의 파라메타 추정을 통해 비정상 행동을 검출하는 기법이 제안되었다.
종래의 비정상 행동(비정상 상황)을 탐지하는 기술 중 또 다른 하나로서 개발된 MoSIFT 알고리즘은 움직임이 강한 부분에서 SIFT 알고리즘으로 주요 특징점을 추출하고, 추출된 특징점에 대해 HOG(Histogram of Oriented Gradient)와 HOF (Histogram of Optical Flow)를 결합한 디스크립터(Descriptor)를 생성하여 SVM(support vector machine)으로 폭력/비폭력 행위를 검출한다.
그러나, 종래의 MoSIFT와 같이 HOG와 HOF가 결합된 형태의 특징 서술자의 경우에는 공간상의 물체 특징에 대한 정의가 가능하다는 장점을 갖기는 하지만, 물체 인식을 하기에는 서술자가 한계가 있다는 문제가 있으며, 또한 HOF는 움직임의 방향에 대한 정의만 내포하고 있기 때문에 갑작스러운 속도 및 방향의 변화에 취약하다는 단점이 존재한다.
대한민국 공개특허 제10-2014-0076815호, 공개일자 2014년 06월 23일. 대한민국 공개특허 제10-2013-0103213호, 공개일자 2013년 09월 23일.
본 발명은, 영상 프레임을 분할한 각 블록별의 움직임을 정의하는 다차원의 움직임 서술자(descriptor)를 이용하여 동영상 내의 이상 움직임(또는 이상 움직임 패턴)을 판단할 수 있는 새로운 히스토그램 기반의 움직임 검출 기법을 제안하고자 한다.
본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재들로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.
본 발명은, 일 관점에 따라, 영상 프레임으로부터 움직임 벡터를 예측하는 단계와, 상기 영상 프레임을 매크로 블록 단위로 분할하는 단계와, 예측된 각 움직임 벡터의 방향과 크기에 따라 각 매크로 블록별로 다차원의 움직임 서술자를 생성하는 단계와, 생성된 상기 다차원의 움직임 서술자들에 의거하여 상기 영상 프레임에 대한 프레임 서술자를 생성하는 단계와, 생성된 상기 프레임 서술자와 학습 DB 내 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임을 판단하는 단계를 포함하는 히스토그램 기반의 움직임 검출 방법을 제공한다.
본 발명은, 다른 관점에 따라, 현재 영상 프레임과 이전 영상 프레임에 의거하여 움직임 벡터를 예측하는 움직임 예측부와, 상기 현재 영상 프레임을 매크로 블록 단위로 분할하는 블록 생성부와, 각 움직임 벡터의 방향과 크기에 의거하여 분할된 각 매크로 블록별로 다차원의 움직임 서술자를 생성하는 움직임 서술자 생성부와, 생성된 상기 다차원의 움직임 서술자들을 이용하여 상기 영상 프레임에 대한 프레임 서술자를 생성하는 프레임 서술자 생성부와, 학습을 통해 생성된 기준 프레임 서술자들을 저장하는 학습 DB와, 생성된 상기 프레임 서술자와 상기 학습 DB 내 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임을 판단하는 이상 판별부를 포함하는 히스토그램 기반의 움직임 검출 장치를 제공한다.
본 발명은, 영상 프레임을 분할한 각 블록별의 움직임을 정의하는 다차원의 움직임 서술자를 이용하여 동영상 내의 이상 움직임(또는 이상 움직임 패턴)을 판단함으로써, 동영상 내 물체(객체)의 갑작스러운 속도 및 방향의 변화에 강인한 움직임 검출을 구현할 수 있으며, 이를 통해 영상 보안, 국가 재난 징후, 화재 발생 등의 다양한 분야에서 이상 움직임의 감지 및 알람을 고 정확하게 실현할 수 있다.
도 1은 본 발명의 실시 예에 따른 히스토그램 기반의 움직임 검출 장치에 대한 블록구성도이다.
도 2는 본 발명의 실시 예에 따라 히스토그램을 기반으로 한 움직임 검출을 통해 이상 움직임을 판단하는 주요 과정을 도시한 순서도이다.
도 3은 시간적으로 인접하는 각 프레임들에 대해 옵티컬 플로우를 계산하여 예측한 움직임 벡터들에 대한 히스토그램(histogram)의 예시도이다.
도 4는 본 발명에 따라 3차원의 방향 변화 서술자가 생성되는 원리를 설명하기 위한 일 예시도이다.
도 5는 본 발명에 따라 3차원의 방향 변화 서술자가 생성되는 원리를 설명하기 위한 다른 예시도이다.
도 6은 본 발명에 따라 각 유닛별로 16차원의 서술자가 생성되하는 원리를 설명하기 위한 예시도이다.
도 7은 본 발명에 따라 각 유닛별로 19차원의 서술자가 생성되는 원리를 설명하기 위한 예시도이다.
도 8은 본 발명에 따라 228차원의 프레임 서술자가 생성되는 원리를 설명하기 위한 예시도이다.
도 9는 PETS 2009 데이터 세트(Dataset)의 화면 예시도이다.
도 10은 UMN 데이터 세트(Dataset)의 화면 예시도이다.
도 11은 PETS 2009-S3-VIEW1-1 데이터 실험 결과에 대한 화면 예시도이다.
도 12는 PETS 2009-S3-VIEW4-1 데이터 실험 결과에 대한 화면 예시도이다.
도 13은 PETS 2009-S3-VIEW2-3 데이터 실험 결과에 대한 화면 예시도이다.
도 14는 PETS 2009-S3-VIEW3-3 데이터 실험 결과에 대한 화면 예시도이다.
도 15는 UMN-S1-1 데이터 실험 결과에 대한 화면 예시도이다.
먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.
아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 히스토그램 기반의 움직임 검출 장치에 대한 블록구성도이다.
도 1을 참조하면, 본 발명의 움직임 검출 장치는 프레임 DB(110), 움직임 검출 모듈(120) 및 학습 DB(130) 등을 포함할 수 있으며, 움직임 검출 모듈(120)은 움직임 예측부(121), 블록 생성부(122), 방향 변화 판단부(123), 움직임 서술자 생성부(124), 프레임 서술자 생성부(125) 및 이상 판별부(126) 등을 포함할 수 있다.
먼저, 프레임 DB(110)에는 도시 생략된 영상 입력부로부터 전달되는 영상 프레임 데이터들이 저장되는데, 여기에 저장되는 시간 축으로 일련하는 영상 프레임들은 이상 움직임(또는 이상 움직임 패턴)의 판단(판별)을 위해 움직임 검출 모듈(120)에 제공될 수 있다.
다음에, 움직임 예측부(121)는 프레임 DB(110)로부터 제공되는 현재 영상 프레임과 이전 영상 프레임(예컨대, 하나 이상의 이전 영상 프레임)에 의거하여 움직임 벡터를 예측하는 등의 기능을 제공할 수 있다.
예컨대, 각 영상 프레임에서 옵티컬 플로우(Optical Flow)를 계산함으로써, 움직임 벡터들을 예측할 수 있는데, 이를 위해 본 발명은 밀집 옵티컬 플로우(Dense Optical Flow) 알고리즘을 이용하거나 혹은 희소 옵티컬 플로우(Spare Optical Flow) 알고리즘을 이용할 수 있다.
여기에서, 옵티컬 플로우는 연속하는 두 영상 프레임 간 차이를 통해 움직임을 추정하는 방법 중 하나로서 명도를 서서히 변화시켜 영상에서 발생하는 움직임의 방향과 속도(크기)를 벡터로 나타내는 방식이다.
즉, 옵티컬 플로우 알고리즘은 플로우를 추출하는 밀집도에 따라 밀집 옵티컬 플로우와 희소 옵티컬 플로우로 구분될 수 있는데, 희소 옵티컬 플로우는 영상에서 주요 특징점을 추출한 후 추출된 특징점에 대해서 움직임 정보를 추출하는 방법으로서, 대표적인 알고리즘으로는, 예컨대 Lucas Kanade 알고리즘을 들 수 있다.
또한, 밀집 옵티컬 플로우는 영상의 각 픽셀에 대해 움직임 정보를 추출하는 방법으로서, 대표적인 알고리즘으로는, 예컨대 Gunner Farneback 알고리즘을 들 수 있다.
일반적으로, 영상에서 움직임 정보가 큰 경우 희소 옵티컬 플로우가 적합하고, 움직임 정보가 작은 비디오를 분석할 경우 밀집 옵티컬 플로우가 적합한 것으로 알려져 있으며, 희소 옵티컬 플로우는 밀집 옵티컬 플로우보다 속도가 상대적으로 빠른 특징을 갖는 반면에 밀집 옵티컬 플로우는 희소 옵티컬 플로우보다 정확도가 상대적으로 높다는 특징을 갖는다.
도 3은 시간적으로 인접하는 각 프레임들에 대해 옵티컬 플로우를 계산하여 예측한 움직임 벡터들에 대한 히스토그램(histogram)의 예시를 보여준다.
그리고, 블록 생성부(122)는 현재 영상 프레임을 매크로 블록 단위로 분할하는 등의 기능을 제공할 수 있는데, 일례로서 영상 프레임이 320 ㅧ 240 사이즈라고 가정할 때 영상 프레임은 3 ㅧ4 블록, 예컨대 도 3에 도시된 바와 같이, 12개의 블록으로 분할될 수 있다.
또한, 방향 변화 판단부(123)는 현재 영상 프레임과 이전 영상 프레임(예컨대, 시간적으로 인접하는 2개의 이전 영상 프레임)에서의 방향 변화를 판별하여 다차원(예컨대, 3차원 또는 3빈(bin))의 방향 변화 정보를 생성하고, 이 생성된 다차원의 방향 변화 정보(방향 변화 서술자)를 움직임 서술자 생성부(124)로 전달하는 등의 기능을 제공할 수 있다.
즉, 본 발명은 군중의 이상 행동이 산발적으로 퍼지는 현상인지, 동일한 방향으로 진행하는지에 대한 추후 확장성을 고려하기 위하여, HDC(Histogram of Directional Change) 서술자를 생성하는데, 이러한 HDC 서술자는, 일례로서 도 4에 도시된 바와 같이, 방향 변화를 고려하기 위하여 움직임 벡터의 각도를 4개의 방향으로 양자화한 뒤, 이전 프레임과 현재 프레임의 방향 변화를, 예컨대 아래의 3가지로 고려하여 이를 히스토그램으로 나타낼 수 있다.
1) 이전 프레임과 현재 프레임에서의 방향 변화가 없는 경우(no change)
2) 이전 프레임과 현재 프레임에서의 방향 변화가 수직인 경우(orthogonal change)
3) 이전 프레임과 현재 프레임에서의 방향 변화가 반대인 경우(reverse change)
군중의 산발적 퍼짐에 해당하는 경우 방향의 변화가 자주 발생하기 때문에, 일례로서 도 5에 도시된 바와 같이, 방향 변화의 서술자를 고려하였으며 위의 과정을 거쳐 생성된 3차원의 서술자(방향 변화 서술자)를 HDC 서술자로 정의한다.
다음에, 움직임 서술자 생성부(124)는 각 움직임 벡터의 방향과 크기에 의거하여 분할된 각 매크로 블록별로 다차원의 움직임 서술자(Descriptor)를 생성하는 등의 기능을 제공할 수 있다. 여기에서, 움직임 서술자는 n 차원의 움직임 방향 분포와 각 방향 분포에 대응하는 n 차원의 움직임 크기 분포 및 m 차원의 방향 변화 정보를 포함할 수 있다.
즉, 본 발명에서 제안하는 서술자는 기존의 HOF를 다음과 같이 확장하여 MHOF(Multi-scale Histogram of Optical Flow)와 HDC(Histogram of Directional Change)로 구성될 수 있다.
그리고, MHOF는 각 유닛(unit)별 움직임의 방향과 크기(속도) 정보를 고려한 히스토그램 기반의 서술자(descriptor)를 생성하기 위하여, 일례로서 도 6에 도시된 바와 같이, 추출된 각 움직임 벡터의 각도를, 예컨대 8개의 방향으로 양자화하고, 움직임 벡터의 크기를 고려하기 위하여, 예컨대 두 개의 크기(Small scale, Big scale)로 구분한다. 따라서, 히스토그램의 차원(Dimension), 즉 빈(bin)은 총 16개로 구성되며, 각 유닛별로 16차원(8 방향 ㅧ 2 크기)의 히스토그램으로 구성될 수 있다.
일례로서, 매크로 블록 단위로 분할한 10개 프레임(시간적으로 일련하는 10개의 영상 프레임)을 누적한 것을 하나의 유닛으로 고려할 수 있는데, 예컨대 입력 영상이 320 ㅧ240인 경우라고 가정할 때, 하나의 유닛은 80ㅧ80ㅧ10로 구성되는 3차원 큐브(cube)라고 규정할 수 있으며, 각 유닛(예컨대, 12개의 유닛)마다 히스토그램에 기반한 서술자(descriptor)로 표현할 수 있다.
즉, 움직임 서술자 생성부(124)는, 일례로서 도 7에 도시된 바와 같이, 각 유닛별로 생성한 히스토그램 기반의 16차원의 서술자와 방향 변화 판단부(123)로부터 제공받은 3차원의 방향 변화 서술자를 합산하여 19차원(19빈)의 움직임 서술자를 생성한다.
다음에, 프레임 서술자 생성부(125)는 움직임 서술자 생성부(124)를 통해 생성된 다차원(예컨대, 19차원)의 움직임 서술자들을 이용하여 영상 프레임에 대한 프레임 서술자를 생성하는 등의 기능을 제공할 수 있다.
일례로서, 10개 프레임을 누적하여 12개의 유닛들로 구성한 경우라고 가정할 때, 12개의 유닛을 1차원 벡터로 나열함으로써, 일례로서 도 8에 도시된 바와 같이, 228차원의 프레임 서술자를 생성할 수 있다.
그리고, 이상 판별부(126)는 프레임 서술자 생성부(125)를 통해 생성된 프레임 서술자와 학습 DB(130)에 저장되어 있는 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임(또는 이상 움직임 패턴)을 판단(인식)하고, 판단 결과 영상 내 이상 움직임이 검출될 때 이를 표출(또는 이상 알람)시키는 등의 기능을 제공할 수 있다. 여기에서, 영상 내 이상 움직임은, 예컨대 SVM(support vector machine) 분류기를 이용하여 판별될 수 있다.
이를 위해, 학습 DB(130)에는 수많은 학습을 통해 생성된 기준 프레임 서술자(또는 정상 행동 서술자)들이 저장되어 있으며, 이러한 기준 프레임 서술자들은 필요에 따라 언제든지 추가되거나 갱신될 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명에 따른 움직임 검출 장치를 이용하여 히스토그램을 기반으로 한 움직임 검출을 통해 이상 움직임을 판별하는 일련의 과정들에 대하여 상세하게 설명한다.
도 2는 본 발명의 실시 예에 따라 히스토그램을 기반으로 한 움직임 검출을 통해 이상 움직임을 판단하는 주요 과정을 도시한 순서도이다.
도 2를 참조하면, 움직임 예측부(121)에서는 프레임 DB(110)로부터 제공되는 현재 영상 프레임과 이전 영상 프레임(예컨대, 2개의 이전 영상 프레임)에 의거하여 움직임 벡터를 예측한다(단계 202). 즉, 밀집 옵티컬 플로우(Dense Optical Flow) 알고리즘을 이용하거나 혹은 희소 옵티컬 플로우(Spare Optical Flow) 알고리즘을 이용하여 각 영상 프레임에서 움직임 벡터들을 예측할 수 있다.
다음에, 블록 생성부(122)에서는 현재 영상 프레임을 매크로 블록 단위로 분할, 일례로서 영상 프레임이 320 ㅧ 240 사이즈라고 가정할 때 영상 프레임을 3 ㅧ4 블록의 12개 블록으로 분할한다(단계 204).
그리고, 방향 변화 판단부(123)에서는 현재 영상 프레임과 이전 영상 프레임에서의 방향 변화를 판별하여 다차원(예컨대, 3차원 또는 3빈(bin))의 방향 변화 정보(방향 변화 서술자)를 생성한다. 즉, 군중의 이상 행동이 산발적으로 퍼지는 현상인지, 동일한 방향으로 진행하는지에 대한 추후 확장성을 고려하기 위하여, 다차원의 HDC(Histogram of Directional Change) 서술자를 생성한다.
다음에, 움직임 서술자 생성부(124)에서는 각 움직임 벡터의 방향과 크기에 의거하여 분할된 각 매크로 블록별로 다차원의 움직임 서술자(Descriptor)를 생성, 즉 n 차원의 움직임 방향 분포와 각 움직임 방향 분포에 대응하는 n 차원의 움직임 크기 분포 및 m 차원의 방향 변화 정보를 포함하는 다차원의 움직임 서술자를 생성한다(단계 206).
예컨대, 각 움직임 벡터의 각도를, 예컨대 8개의 방향으로 양자화하고, 움직임 벡터의 크기를 고려하기 위하여, 예컨대 두 개의 크기(Small scale, Big scale)로 구분하며, 여기에 3차원의 방향 변화 서술자를 합산함으로써, 각 매크로 블록별로 19차원의 움직임 서술자를 생성할 수 있다.
그리고, 프레임 서술자 생성부(125)에서는 움직임 서술자 생성부(124)를 통해 생성된 다차원(예컨대, 19차원)의 움직임 서술자들을 이용하여 영상 프레임에 대한 프레임 서술자를 생성, 예컨대 10개 프레임을 누적하여 12개의 유닛들로 구성한 경우일 때 12개의 유닛을 1차원 벡터로 나열함으로써 228차원의 프레임 서술자를 생성할 수 있다(단계 208).
다음에, 이상 판별부(126)에서는 생성된 프레임 서술자와 학습 DB(130)에 저장되어 있는 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임(또는 이상 움직임 패턴)을 판단(인식)하는데(단계 210), 판단 결과 영상 내 이상 움직임이 검출될 때 이를 표출(또는 이상 알람)시킨다(단계 212). 여기에서, 영상 내 이상 움직임의 검출은, 예컨대 SVM(support vector machine) 분류기를 이용할 수 있다.
본 발명의 발명자들은 공식적인 평가를 위해, 일례로서 도 9에 도시된 바와 같은 PETS 2009 데이터 세트(Dataset)과 일례로서 도 10에 도시된 바와 같이 UMN 데이터 세트(Dataset)를 이용하여 실험을 실시하였으며, 비교 실험을 위해 FF(Force Field Model), CI(Chaotic Invariant), SF(Social Force model), BM(Bayesian Model)의 성능을 비교 평가하였다.
일례로서, 도 11에 도시된 바와 같이, PETS 2009-S3-VIEW1-1 데이터 실험을 실시한 결과, 비교 알고리즘인 BM, FF, CI, SF 보다 뛰어난 성능을 보임을 알 수 있었다. 지상 검증 자료(Ground Truth)에서의 비정상 행동 시작 프레임과 본 발명에 따른 방법의 비정상 행동 시작 프레임의 차이는 본 발명의 방법에서 최근 10 프레임을 누적하여 계산하기 때문에 발생된다.
일례로서, 도 12에 도시된 바와 같이, PETS 2009-S3-VIEW4-1 데이터 실험을 실시한 결과, 비교 알고리즘인 FF, CI, SF 보다 뛰어난 성능을 보였으나, BM 알고리즘과는 유사한 성능을 보임을 알 수 있었다. 이러한 원인은 데이터에서 처음에 추출되는 움직임의 크기가 매우 작고 이를 누적하여 계산하기 때문에 이러한 결과가 발생된다.
일례로서, 도 13에 도시된 바와 같이, PETS 2009-S3-VIEW2-3 데이터 실험을 실시한 결과, 비교 알고리즘인 FF, CI, SF, BM 보다 뛰어난 성능을 보임을 알 수 있었다. 지상 검증 자료(Ground Truth)에서의 비정상 행동 시작 프레임과 본 발명에 따른 방법의 비정상 행동 시작 프레임의 차이는 PETS-2009-S3-VIEW1-1과 동일하게 프레임 누적에서 발생된다.
일례로서, 도 14에 도시된 바와 같이, PETS 2009-S3-VIEW3-3 데이터 실험을 실시한 결과, 비교 알고리즘인 FF, CI, SF 보다 뛰어난 성능을 보임을 알 수 있었고, BM 알고리즘과는 유사한 성능을 보임을 알 수 있었다.
일례로서, 도 15에 도시된 바와 같이, UMN-S1-1 데이터 실험을 실시한 결과, 비교 알고리즘인 FF, CI, SF 보다 뛰어난 성능을 보임을 알 수 있었다. 지상 검증 자료(Ground Truth)에서의 비정상 행동 시작 프레임과 본 발명에 따른 방법의 비정상 행동 시작 프레임의 차이는 UMN 데이터의 지상 검증 자료는 군중의 비정상 행위가 시작되는 시점의 차이가 있기 때문이다.
이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시 예에 의하면, 영상 프레임을 분할한 각 블록별의 움직임을 정의하는 다차원의 움직임 서술자(descriptor)를 이용하여 동영상 내의 이상 움직임(또는 이상 움직임 패턴)을 판단할 수 있는 히스토그램 기반의 움직임 검출 기법을 제공할 수 있다.
이러한 기술적 구성을 포함하는 본 발명은 동영상 내 객체의 갑작스러운 속도 및 방향의 변화에 강인한 움직임 검출을 구현할 수 있으며, 이를 통해 영상 보안, 국가 재난 징후, 화재 발생 등의 다양한 분야에서 감지 및 알람을 고 정확하게 실현할 수 있다.
110 : 프레임 DB 120 : 움직임 검출 모듈
121 : 움직임 예측부 122 : 블록 생성부
123 : 방향 변화 판단부 124 : 움직임 서술자 생성부
125 : 프레임 서술자 생성부 126 : 이상 판별부
130 : 학습 DB

Claims (9)

  1. 영상 프레임으로부터 움직임 벡터를 예측하는 단계와,
    상기 영상 프레임을 매크로 블록 단위로 분할하는 단계와,
    예측된 각 움직임 벡터의 방향과 크기에 따라 각 매크로 블록별로 다차원의 움직임 서술자를 생성하는 단계와,
    생성된 상기 다차원의 움직임 서술자들에 의거하여 상기 영상 프레임에 대한 프레임 서술자를 생성하는 단계와,
    생성된 상기 프레임 서술자와 학습 DB 내 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임을 판단하는 단계
    를 포함하는 히스토그램 기반의 움직임 검출 방법.
  2. 제 1 항에 있어서,
    상기 움직임 벡터는,
    밀집 옵티컬 플로우(Dense Optical Flow) 또는 희소 옵티컬 플로우(Spare Optical Flow)를 이용하여 예측되는
    히스토그램 기반의 움직임 검출 방법.
  3. 제 1 항에 있어서,
    상기 움직임 서술자는,
    n 차원의 움직임 방향 분포와 각 움직임 방향 분포에 대응하는 n 차원의 움직임 크기 분포를 포함하는
    히스토그램 기반의 움직임 검출 방법.
  4. 제 3 항에 있어서,
    상기 움직임 서술자는,
    m 차원의 방향 변화 정보를 더 포함하는
    히스토그램 기반의 움직임 검출 방법.
  5. 제 4 항에 있어서,
    상기 방향 변화 정보는,
    시간적으로 인접하는 적어도 3개 이상의 프레임을 이용하여 생성되는
    히스토그램 기반의 움직임 검출 방법.
  6. 제 1 항에 있어서,
    상기 프레임 서술자는,
    상기 다차원의 움직임 서술자들을 1차원 벡터로 나열하여 생성되는
    히스토그램 기반의 움직임 검출 방법.
  7. 제 1 항에 있어서,
    상기 판단하는 단계는,
    SVM(support vector machine) 분류기를 이용하여 상기 이상 움직임을 판단하는
    히스토그램 기반의 움직임 검출 방법.
  8. 현재 영상 프레임과 이전 영상 프레임에 의거하여 움직임 벡터를 예측하는 움직임 예측부와,
    상기 현재 영상 프레임을 매크로 블록 단위로 분할하는 블록 생성부와,
    각 움직임 벡터의 방향과 크기에 의거하여 분할된 각 매크로 블록별로 다차원의 움직임 서술자를 생성하는 움직임 서술자 생성부와,
    생성된 상기 다차원의 움직임 서술자들을 이용하여 상기 영상 프레임에 대한 프레임 서술자를 생성하는 프레임 서술자 생성부와,
    학습을 통해 생성된 기준 프레임 서술자들을 저장하는 학습 DB와,
    생성된 상기 프레임 서술자와 상기 학습 DB 내 기준 프레임 서술자간의 비교 판별을 통해 영상 내 이상 움직임을 판단하는 이상 판별부
    를 포함하는 히스토그램 기반의 움직임 검출 장치.
  9. 제 8 항에 있어서,
    현재 영상 프레임과 이전 영상 프레임에서의 방향 변화를 판별하여 방향 변화 정보를 생성하는 방향 변화 판단부
    를 더 포함하고,
    상기 움직임 서술자 생성부는,
    생성된 상기 방향 변화 정보를 상기 다차원의 움직임 서술자에 포함시키는
    히스토그램 기반의 움직임 검출 장치.
KR1020140126581A 2014-09-23 2014-09-23 히스토그램 기반의 움직임 검출 방법 및 그 장치 KR20160035631A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140126581A KR20160035631A (ko) 2014-09-23 2014-09-23 히스토그램 기반의 움직임 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140126581A KR20160035631A (ko) 2014-09-23 2014-09-23 히스토그램 기반의 움직임 검출 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20160035631A true KR20160035631A (ko) 2016-04-01

Family

ID=55799028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140126581A KR20160035631A (ko) 2014-09-23 2014-09-23 히스토그램 기반의 움직임 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20160035631A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075776A (ko) * 2018-12-18 2020-06-26 경희대학교 산학협력단 모바일 증강현실 환경에서 객체의 특징을 추출하는 방법, 장치, 시스템 및 컴퓨터 프로그램
WO2020175729A1 (ko) * 2019-02-26 2020-09-03 연세대학교 산학협력단 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
KR20210051571A (ko) * 2019-10-30 2021-05-10 아주대학교산학협력단 전자 장치 및 이의 이상 상황 탐지 방법
KR20220040063A (ko) * 2020-09-23 2022-03-30 연세대학교 산학협력단 불확실성 기반의 배경 모델링을 통한 약한 지도 학습 기반의 행동 프레임 검출 장치 및 방법
KR20230097528A (ko) * 2021-12-24 2023-07-03 동아대학교 산학협력단 비전 기반 로봇의 좌표계 통합 시스템 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075776A (ko) * 2018-12-18 2020-06-26 경희대학교 산학협력단 모바일 증강현실 환경에서 객체의 특징을 추출하는 방법, 장치, 시스템 및 컴퓨터 프로그램
WO2020175729A1 (ko) * 2019-02-26 2020-09-03 연세대학교 산학협력단 가우시안 특징점맵과 회귀 기법을 이용한 얼굴 특징점 검출 장치 및 방법
KR20210051571A (ko) * 2019-10-30 2021-05-10 아주대학교산학협력단 전자 장치 및 이의 이상 상황 탐지 방법
KR20220040063A (ko) * 2020-09-23 2022-03-30 연세대학교 산학협력단 불확실성 기반의 배경 모델링을 통한 약한 지도 학습 기반의 행동 프레임 검출 장치 및 방법
KR20230097528A (ko) * 2021-12-24 2023-07-03 동아대학교 산학협력단 비전 기반 로봇의 좌표계 통합 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
Mabrouk et al. Abnormal behavior recognition for intelligent video surveillance systems: A review
CN108133172B (zh) 视频中运动对象分类的方法、车流量的分析方法及装置
Bansod et al. Crowd anomaly detection and localization using histogram of magnitude and momentum
Epaillard et al. Proportional data modeling with hidden Markov models based on generalized Dirichlet and Beta-Liouville mixtures applied to anomaly detection in public areas
KR101716646B1 (ko) 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
US20150310297A1 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
US9811755B2 (en) Object monitoring system, object monitoring method, and monitoring target extraction program
KR20160035631A (ko) 히스토그램 기반의 움직임 검출 방법 및 그 장치
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
EP3391334A1 (en) Video analysis methods and apparatus
KR101484263B1 (ko) 폭력 감지 시스템 및 폭력 감지 방법
CN102378992A (zh) 关节状区域检测装置及其方法
JP6679858B2 (ja) 対象の遮蔽を検出する方法と装置
Ranjith et al. Anomaly detection using DBSCAN clustering technique for traffic video surveillance
KR101646000B1 (ko) 지정된 사물 및 영역에 대한 감시시스템 및 감시방법
Xia et al. Vision-based traffic accident detection using matrix approximation
CN104219488A (zh) 目标图像的生成方法和装置、以及视频监控系统
KR101552344B1 (ko) 폭력 상황을 검출하는 장치 및 방법
KR101394270B1 (ko) 영상 감지 시스템 및 방법
CN110969645A (zh) 面向拥挤场景的无监督异常轨迹检测方法和装置
Yang et al. Cluster-based crowd movement behavior detection
Hamdi et al. Hybrid deep learning and HOF for Anomaly Detection
Alvar et al. Mixture of merged gaussian algorithm using RTDENN
Brun et al. Detection of anomalous driving behaviors by unsupervised learning of graphs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application