KR102217253B1 - 행동패턴 분석 장치 및 방법 - Google Patents

행동패턴 분석 장치 및 방법 Download PDF

Info

Publication number
KR102217253B1
KR102217253B1 KR1020140021555A KR20140021555A KR102217253B1 KR 102217253 B1 KR102217253 B1 KR 102217253B1 KR 1020140021555 A KR1020140021555 A KR 1020140021555A KR 20140021555 A KR20140021555 A KR 20140021555A KR 102217253 B1 KR102217253 B1 KR 102217253B1
Authority
KR
South Korea
Prior art keywords
interest
background
unit
behavior pattern
modeling
Prior art date
Application number
KR1020140021555A
Other languages
English (en)
Other versions
KR102217253B9 (ko
KR20150100141A (ko
Inventor
김광중
김병민
유창동
권재철
박상혁
이동훈
정준영
Original Assignee
주식회사 케이티
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티, 한국과학기술원 filed Critical 주식회사 케이티
Priority to KR1020140021555A priority Critical patent/KR102217253B1/ko
Publication of KR20150100141A publication Critical patent/KR20150100141A/ko
Application granted granted Critical
Publication of KR102217253B1 publication Critical patent/KR102217253B1/ko
Publication of KR102217253B9 publication Critical patent/KR102217253B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

행동패턴 분석 장치 및 방법이 개시된다. 행동패턴 분석 장치는 영상 촬영 장치를 통해 수집되는 영상 데이터를 입력받는 영상 입력부, 영상 데이터로부터 관심 객체를 검출하기 위하여 일정 단위 시간 동안 입력된 영상 데이터를 이용하여 배경 모델링을 수행하는 배경 모델링부, 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출하는 객체 검출부, 영상 데이터로부터 관심 객체의 행동 패턴에 대한 특징을 추출하는 특징 추출부, 추출된 특징을 이용하여 관심 객체의 행동 패턴을 학습하여 모델링하는 행동패턴 모델링부 및 모델링된 행동 패턴을 분석하여 관심 객체의 특이 행동 이벤트 발생 여부를 판단하는 분석부를 포함한다.

Description

행동패턴 분석 장치 및 방법{Apparatus and method for analyzing behavior pattern}
본 발명은 영상 감시 시스템에 관한 것으로서, 보다 상세하게는 영상 감시 시스템을 위한 행동패턴 분석 장치 및 방법에 관한 것이다.
영상 감시 시스템은 개인의 안전, 회사의 보안 관리 그리고 군사용, 교통 상황 분석 등의 다양한 목적에 의해 지속적으로 그 중요성이 증가되고 있다. 이와 같은 영상 감시 시스템은 영상 내 객체들의 행동을 관찰하고 그 행동 패턴을 통해서 위협이 되는 특이 행동 상태의 발생 여부를 예측 및 검출해 낼 수 있다.
기존의 일반적인 영상 감시 시스템은 지속적으로 운영되기 위하여 감시를 위한 하드웨어 장치와 모니터링 위한 인력 자원에 많은 예산이 소요될 뿐 만 아니라, 사건이 발생된 후 기록된 영상을 검토하여 위험 상황 및 특이 행동의 사례를 찾는 수동적인 방식으로 운영된다.
즉, 종래의 영상 감시 기술은, 사람이 CCTV 등의 비디오 촬영 장치를 이용하여 수집되는 다수의 영상 데이터를 직접 모니터를 통해 지속적으로 관찰하고, 특이 행동을 보이는 객체(출입 금지 구역에 접근하는 사람, 교통 신호 위반 자동차 등)를 수동적으로 찾는 방법이 주로 사용되고 있다. 그러나, 이와 같은 방대한 규모를 가지는 다수의 영상 데이터로부터 실시간으로 특이 행동 이벤트를 수동으로 검출해 내는 일은 매우 어렵고 비효율적이다. 그래서, 일부 영상 감시 시스템에서는 제한 금지 구역을 미리 설정하고, 설정된 제한 금지 구역에서 사람 및 물체의 움직임 정보가 발견되는 경우에 실시간 경보를 발생하는 방법이 이용되고 있다. 그러나, 이와 같은 방법은 미리 설정된 특정 지역만 감시 할 수 있는 제약을 가지고 있으며, 날씨 변화 등에 민감하여 실외 환경에서 운용하기 어려운 문제점이 있다. 또한, 감시 지역이 넓어지는 경우, 다수의 카메라 네트워크 등이 필요한 제약 조건을 가지고 있다.
따라서, 영상 감시 시스템을 자동화하기 위해서는, 실내/외의 다양한 환경 변화와 더불어 장시간에 걸친 객체들의 반복적인 움직임들이 포함되어 지속적으로 입력되는 방대한 양의 영상 데이터로부터 특이 행동 이벤트 발생을 정확하고 효율적으로 검출하기 위한 지능적인 영상 처리 기술이 요구된다.
본 발명은 다양한 환경 변화와 장시간에 걸친 객체들의 반복적인 움직임들이 포함되어 지속적으로 입력되는 방대한 양의 영상 데이터로부터 행동패턴을 분석하여 특이 행동 이벤트 발생을 정확하고 효율적으로 검출하는 지능적인 행동패턴 분석 장치를 제안하는 것이다.
본 발명의 일 측면에 따르면, 행동패턴 분석 장치가 개시된다.
본 발명의 실시예에 따른 행동패턴 분석 장치는 영상 촬영 장치를 통해 수집되는 영상 데이터를 입력받는 영상 입력부, 상기 영상 데이터로부터 관심 객체를 검출하기 위하여 일정 단위 시간 동안 입력된 영상 데이터를 이용하여 배경 모델링을 수행하는 배경 모델링부, 상기 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출하는 객체 검출부, 상기 영상 데이터로부터 상기 관심 객체의 행동 패턴에 대한 특징을 추출하는 특징 추출부, 상기 추출된 특징을 이용하여 상기 관심 객체의 행동 패턴을 학습하여 모델링하는 행동패턴 모델링부 및 상기 모델링된 행동 패턴을 분석하여 상기 관심 객체의 특이 행동 이벤트 발생 여부를 판단하는 분석부를 포함한다.
상기 배경 모델링부는 초기의 일정 단위 시간 동안 초기 배경 모델링을 수행하고, 상기 객체 검출부가 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 상기 관심 객체를 검출하면, 배경 모델링을 재수행하고 초기 또는 기존의 배경 모델을 업데이트하여 배경 모델을 학습함으로써, 적응적으로 배경 모델링을 수행한다.
상기 배경 모델링부는 환경 변화와 노이즈에 강인한 배경 모델링과 이를 이용한 관심 객체 검출을 위하여, RPCA(Robust principal component analysis)를 이용한 배경 모델링을 수행한다.
상기 객체 검출부는 상기 학습된 배경 모델과 현재 입력된 영상 데이터 간의 차이를 이용하여 배경과 움직이는 전경 물체를 분리하고, 상기 분리된 전경 물체의 노이즈를 제거하여 분리된 전경 물체를 상기 관심 객체로 검출한다.
상기 특징 추출부는 상기 행동 패턴을 학습하여 모델링하기 위하여, 입력 영상 데이터에서 검출된 상기 관심 객체에 속하는 화소 단위의 움직임 패턴을 추출하여 특징을 추출한다.
상기 특징 추출부는 상기 입력 영상 데이터를 셀(cell) 단위의 그리드 영역으로 분할하고, 상기 분할한 각 영역에서 전경 객체들의 움직임 정보를 추출하고, 상기 추출한 움직임 정보를 특정 시간 단위로 누적하여 히스토그램 벡터의 형태로 특징 벡터를 생성하고, 복수의 영상 데이터로 이루어진 비디오 단위로 상기 특징 벡터를 누적하여 특징 벡터 히스토그램을 생성하고, 입력된 비디오의 프레임수로 이루어진 특징 벡터의 매트릭스를 생성한다.
상기 행동패턴 모델링부는 입력 영상 데이터에서 추출된 화소 단위의 움직임 패턴을 이용하여 관심 객체의 행동 패턴을 학습하여 모델링한다.
상기 행동패턴 모델링부는 입력된 비디오 데이터와 상기 입력된 비디오 데이터로부터 추출된 특징벡터에 대한 제1 확률, 특이 행동 이벤트에 대한 상기 특징벡터의 제2 확률, 상기 입력된 비디오 데이터에 대한 상기 특이 행동 이벤트의 제3 확률을 산출하고, 상기 제2 확률 및 상기 제3 확률을 학습한다.
상기 분석부는 복수의 정의된 특이 행동 이벤트 중에서, 상기 제3 확률의 값이 가장 큰 특이 행동 이벤트를 상기 입력된 비디오 데이터에 대한 특이 행동 이벤트 발생 또는 대표 행동 패턴으로 판단한다.
상기 분석부는 복수의 특이 행동 이벤트 대한 상기 제3 확률의 최대값이 미리 설정된 임계치보다 모두 작은 경우, 추출된 행동 패턴은 정의된 정상 행동 이벤트에 대한 확률값보다 작은 것이므로, 상기 추출된 행동 패턴을 비정상 행동 이벤트로 판단한다.
상기 행동패턴 모델링부 및 상기 분석부는 롱텀(long-term)과 숏텀(short-term)의 행동 패턴을 동시에 고려하여 상기 행동 패턴의 학습과 상기 특이 행동 이벤트의 검출을 정확하게 수행한다.
본 발명의 다른 측면에 따르면, 행동패턴 분석 장치가 수행하는 행동패턴 분석 방법이 개시된다.
본 발명의 실시예에 따른 행동패턴 분석 방법은 영상 촬영 장치를 통해 수집되는 영상 데이터를 입력받는 단계, 상기 영상 데이터로부터 관심 객체를 검출하기 위하여 일정 단위 시간 동안 입력된 영상 데이터를 이용하여 배경 모델링을 수행하는 단계, 상기 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출하는 단계, 상기 영상 데이터로부터 상기 관심 객체의 행동 패턴에 대한 특징을 추출하는 단계, 상기 추출된 특징을 이용하여 상기 관심 객체의 행동 패턴을 학습하여 모델링하는 단계 및 상기 모델링된 행동 패턴을 분석하여 상기 관심 객체의 특이 행동 이벤트 발생 여부를 판단하는 단계를 포함한다.
상기 배경 모델링을 수행하는 단계는, 초기의 일정 단위 시간 동안 초기 배경 모델링을 수행하는 단계, 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 상기 관심 객체를 검출하면, 배경 모델링을 재수행하는 단계 및 상기 초기 또는 기존의 배경 모델을 업데이트하여 배경 모델을 학습함으로써, 적응적으로 배경 모델링을 수행하는 단계를 포함한다.
상기 관심 객체를 검출하는 단계는, 상기 학습된 배경 모델과 현재 입력된 영상 데이터 간의 차이를 이용하여 배경과 움직이는 전경 물체를 분리하는 단계 및 상기 분리된 전경 물체의 노이즈를 제거하여 분리된 전경 물체를 상기 관심 객체로 검출하는 단계를 포함한다.
상기 특징을 추출하는 단계는, 상기 행동 패턴을 학습하여 모델링하기 위하여, 입력 영상 데이터에서 검출된 상기 관심 객체에 속하는 화소 단위의 움직임 패턴을 추출하여 특징을 추출하는 단계를 포함한다.
상기 화소 단위의 움직임 패턴을 추출하여 특징을 추출하는 단계는, 상기 입력 영상 데이터를 셀(cell) 단위의 그리드 영역으로 분할하는 단계, 상기 분할한 각 영역에서 전경 객체들의 움직임 정보를 추출하는 단계, 상기 추출한 움직임 정보를 특정 시간 단위로 누적하여 히스토그램 벡터의 형태로 특징 벡터를 생성하는 단계, 복수의 영상 데이터로 이루어진 비디오 단위로 상기 특징 벡터를 누적하여 특징 벡터 히스토그램을 생성하는 단계 및 입력된 비디오의 프레임수로 이루어진 특징 벡터의 매트릭스를 생성하는 단계를 포함한다.
상기 관심 객체의 행동 패턴을 학습하여 모델링하는 단계는, 입력 영상 데이터에서 추출된 화소 단위의 움직임 패턴을 이용하여 관심 객체의 행동 패턴을 학습하여 모델링하는 단계를 포함한다.
상기 화소 단위의 움직임 패턴을 이용하여 관심 객체의 행동 패턴을 학습하여 모델링하는 단계는, 입력된 비디오 데이터와 상기 입력된 비디오 데이터로부터 추출된 특징벡터에 대한 제1 확률, 특이 행동 이벤트에 대한 상기 특징벡터의 제2 확률, 상기 입력된 비디오 데이터에 대한 상기 특이 행동 이벤트의 제3 확률을 산출하는 단계 및 상기 제2 확률 및 상기 제3 확률을 학습하는 단계를 포함한다.
상기 상기 관심 객체의 특이 행동 이벤트 발생 여부를 판단하는 단계는, 복수의 정의된 특이 행동 이벤트 중에서, 상기 제3 확률의 값이 가장 큰 특이 행동 이벤트를 상기 입력된 비디오 데이터에 대한 특이 행동 이벤트 발생 또는 대표 행동 패턴으로 판단하는 단계를 포함한다.
상기 상기 관심 객체의 특이 행동 이벤트 발생 여부를 판단하는 단계는,
복수의 특이 행동 이벤트 대한 상기 제3 확률의 최대값이 미리 설정된 임계치보다 모두 작은 경우, 추출된 행동 패턴은 정의된 정상 행동 이벤트에 대한 확률값보다 작은 것이므로, 상기 추출된 행동 패턴을 비정상 행동 이벤트로 판단하는 단계를 포함한다.
본 발명은 다양한 환경 변화와 장시간에 걸친 객체들의 반복적인 움직임들이 포함되어 지속적으로 입력되는 방대한 양의 영상 데이터로부터 행동패턴을 분석하여 특이 행동 이벤트 발생을 정확하고 효율적으로 검출할 수 있다.
도 1은 지능적인 행동패턴 분석 장치의 구성을 개략적으로 예시한 도면.
도 2 내지 도 10은 행동패턴 분석 장치를 설명하기 위한 예시도.
도 11은 행동패턴 분석 방법을 나타낸 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1은 지능적인 행동패턴 분석 장치의 구성을 개략적으로 예시한 도면이고, 도 2 내지 도 10은 행동패턴 분석 장치를 설명하기 위한 예시도이다. 이하, 도 1을 중심으로 행동패턴 분석 장치에 대하여 설명하되, 도 2 내지 도 10을 참조한다.
도 1을 참조하면, 행동패턴 분석 장치는 영상 입력부(10), 배경 모델링부(20), 배경 데이터베이스(21), 객체 검출부(30), 특징 추출부(40), 행동패턴 모델링부(50), 행동패턴 데이터베이스(51) 및 분석부(60)를 포함한다.
영상 입력부(10)는 영상 촬영 장치를 통해 수집되는 영상 데이터를 입력받는다. 예를 들어, 영상 입력부(10)는 특정 지역에 설치되어 감시를 수행하는 CCTV로부터 영상 데이터를 입력받거나, 동영상으로 촬영된 영상 데이터를 입력받을 수 있다.
배경 모델링부(20)는 관심 객체를 검출하기 위하여 일정 단위 시간 동안 입력된 영상 데이터를 이용하여 배경 모델링을 수행한다. 즉, 배경 모델링부(20)는 초기의 일정 단위 시간 동안 초기 배경 모델링을 수행하고, 객체 검출부(30)가 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출하면, 배경 모델링을 재수행하고 초기 또는 기존의 배경 모델을 업데이트하여 배경 모델을 학습함으로써, 적응적으로 배경 모델링을 수행할 수 있다. 이때, 배경 모델링을 통해 산출되는 배경 모델은 배경 데이터베이스(21)에 저장될 수 있다.
예를 들어, 배경 모델링부(20)는 도 2에 도시된 바와 같이, RPCA(Robust principal component analysis)를 이용한 배경 모델링을 수행할 수 있다.
입력된 영상 데이터로부터 배경을 정확하게 검출하는 작업은 영상 감시 및 관심 객체 검출을 위하여 선행되어야 하는 영상 처리 기술로서, 기본적으로는 입력된 영상 데이터와 미리 학습된 배경 영상 데이터와의 차이를 통하여 전경 물체를 검출하는 방법이 주로 이용된다. 그러나, 이와 같은 방법은 노이즈에 취약하며, 날씨 변화와 같은 환경 변화에 민감한 문제점이 있다.
그래서, 배경 모델링부(20)는 날씨 변화와 같은 환경 변화와 노이즈에 강인한 배경 모델링과 이를 이용한 관심 객체 검출을 위하여, RPCA를 이용한 배경 모델링을 수행할 수 있다. RPCA를 이용한 배경 모델링은 입력 영상 데이터 집합 M을 low-rank matrix L 성분과 sparse matrix S 성분으로 구분하는 matrix factorization 기법의 일종으로, 다음의 수학식 1을 최적화함으로써, 수행될 수 있다. 여기서, 산출되는 L 성분이 배경이 되고, S 성분이 전경 물체 또는 배경 이외의 물체로 간주될 수 있다.
[수학식 1]
minimize ∥L∥ + λ∥S∥
subject to L + S = M
이와 같은 배경 모델링은, 기존 다수의 배경 모델링 방법들에서 배경 모델링을 위하여 움직임 변화가 없는 특정 시간의 동일한 상태의 영상 데이터가 필요한 문제점을 극복하고, 물체가 지속적으로 움직이고 있는 환경에서도 배경을 효과적으로 모델링이 가능한 장점이 있다.
객체 검출부(30)는 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출한다. 예를 들어, 객체 검출부(30)는 도 3에 도시된 바와 같이, 학습된 배경 모델과 현재 입력된 영상 데이터 간의 차이를 이용하여 배경과 움직이는 전경 물체를 분리하고, 분리된 전경 물체의 노이즈를 제거하여 분리된 전경 물체를 관심 객체로 검출할 수 있다.
특징 추출부(40)는 행동 패턴을 학습하여 모델링하기 위하여, 입력 영상 데이터로부터 관심 객체의 행동 패턴에 대한 특징을 추출한다. 즉, 특징 추출부(40)는 입력 영상 데이터에서 검출된 관심 객체에 속하는 화소 단위의 움직임 패턴을 추출하여 특징을 추출할 수 있다.
예를 들어, 특징 추출부(40)는 도 5에 도시된 예시와 같이, 입력 영상 데이터로부터 화소 단위의 움직임 패턴을 추출하여 특징을 추출할 수 있다.
행동 패턴을 모델링하여 특이 행동을 검출하기 위해서는, 기본적으로 관심 객체들의 움직임 검출과 추적을 통한 궤적 정보가 필요하다. 움직임 궤적을 바탕으로 행동 패턴을 모델링하고, 이를 토대로 새로운 입력 영상 데이터에 대해서 관심 객체들의 행동 패턴을 분석하여, 특이 행동 이벤트의 발생 여부가 판단될 수 있다. 일반적으로, 행동 패턴을 학습하여 모델링하기 위하여 특징을 추출하는 방법은 크게 두가지로 분류될 수 있다. 첫 번째는, 관심 객체를 검출하고 추적하면서 발생한 움직임 궤적 정보를 모델링하는 방법이고, 두 번째 방법은, 옵티컬 플로우(Optical flow)같은 화소 단위의 움직임 패턴을 추출하여 모델링하는 방법이다. 객체 단위의 특징을 이용하는 경우, 도 4에 도시된 바와 같이, 객체 단위의 움직임 궤적 정보를 추출하기 위하여, 배경에서 전경을 분리하고, 전경 내의 각각의 관심 객체들을 추적하는 방법이 주로 사용된다. 이 방법은 각 객체 단위의 세밀한 움직임 정의와 검출이 가능하지만, 다수의 객체가 동시에 나타나는 혼잡 환경에서는 객체 간 가려짐(Occlusion)이 발생하며, 이동 중인 자동차 환경에서는 배경이 수시로 변하기 때문에, 배경 모델링 후 배경에서 전경을 분리하기 쉽지 않은 문제점이 있다. 따라서, 특징 추출부(40)는 입력 영상 데이터에서 검출된 관심 객체에 속하는 화소 단위의 움직임 패턴을 추출하는 방법을 이용하여 특징을 추출할 수 있다.
화소 단위의 움직임 패턴을 추출하는 방법은 토픽 모델링과 같은 비교사 학습방법(Unsupervised learning)에 주로 사용된다. 토픽 모델링은 자연어 처리에 주로 사용되는 알고리즘으로, 장면 내에서 발생하는 작은 움직임을 단어(word)로 대입하고, 영상에서 이러한 단위 움직임들의 클러스터(Cluster)를 문서(document)로 대입하여 주제(topic)를 찾는 방식이다. 이와 같은 방법으로 검출된 주제는 영상 화면에서 의미 있는 영역으로 분류될 수 있고, 방대한 입력 데이터에 대한 사전 정보 없이 비교사 학습방법으로 학습이 가능한 장점이 있다.
다시, 도 5를 참조하면, 특징 추출부(40)는 입력 영상 데이터를 특정한 셀(cell) 단위의 그리드 영역으로 분할하고, 분할한 각 영역에서 전경 객체들의 움직임 정보를 추출하고, 추출한 움직임 정보를 특정 시간 단위로 누적한 히스토그램 형태로 해당 영역의 특징 벡터를 추출할 수 있다. 그리고, 특징 추출부(40)는 복수의 영상 데이터로 이루어진 비디오에서 추출된 특징 벡터들을 히스토그램 형태로 누적하여 비디오 단위의 특징 벡터를 생성한다.
행동패턴 모델링부(50)는 입력 영상 데이터로부터 추출된 특징을 이용하여, 관심 객체의 행동 패턴을 학습하여 모델링한다. 즉, 행동패턴 모델링부(50)는 추출된 화소 단위의 움직임 패턴을 이용하여 관심 객체의 행동 패턴을 학습하여 모델링한다. 이때, 학습된 행동패턴은 행동패턴 데이터베이스(51)에 저장된다.
예를 들어, 도 6을 참조하면, p(W|D)는 입력된 비디오 데이터D에서 특징벡터W가 추출될 확률이고, p(W|Z)는 특이 행동 이벤트Z에서 특징 벡터W가 추출될 확률이며, p(Z|D)는 입력된 비디오 데이터D에서 특이 행동 이벤트Z가 발생할 확률이다. 행동패턴 모델링부(50)는 EM학습 알고리즘을 이용하여 p(W|Z) 및 p(Z|D)를 학습할 수 있다.
분석부(60)는 학습하여 모델링된 행동 패턴을 분석하여 관심 객체의 특이 행동 이벤트 발생 여부를 판단한다.
예를 들어, 분석부(60)는 앞서 도 6에서 전술한 확률 학습 방법을 이용하여, p(W|Z) 및 p(Z|D)를 산출하고, 이를 이용하여 입력된 비디오 데이터D에 해당하는 특이 행동 이벤트Z를 도 7과 같이 판단할 수 있다. 즉, 분석부(60)는 k개의 정의된 특이 행동 이벤트 Zk 중에서, p(Zk|D)의 값이 가장 큰 특이 행동 이벤트를 비디오 데이터 Di에 대한 특이 행동 이벤트 발생 또는 대표 행동 패턴으로 판단할 수 있다.
예를 들어, 분석부(60)는 정상 행동 이벤트의 사전 정의를 이용하여 정상 행동 이벤트와 비정상 행동 이벤트로 구분하여 특이 행동 이벤트 발생 여부를 판단할 수 있다. 특이 행동은 발생 빈도가 드물게 나타나거나, 관심 객체(차량, 사람 등)의 행동 패턴이 정상 행동 이벤트로 정의된 행동 패턴에 어긋나는 특성이 있다. 도 8에 도시된 정상 행동과 비정상 행동에 대한 특징 분포를 참조하면, 유사한 장면에서 특정 단위 시간에 추출된 특징 벡터는 유사한 형태를 가지고 있으나, 왼쪽의 예시를 참조하면, 짧은 시간(short-time) 동안에 발생한 단위 이벤트 관측 시, 소방차가 수직성 교통흐름을 막고 도로를 수평으로 가로질러가는 비정상 행동 이벤트가 발생한 것을 알 수 있다. 따라서, 롱텀(long-term)과 숏텀(short-term)의 행동 패턴이 동시에 고려되어, 행동 패턴 의 학습과 특이 행동 이벤트의 검출이 정확하게 이루어질 수 있다. 이때, 선 정의된 행동의 개수 k는 시스템의 운용에 따라 능동적으로 증가될 수 있다.
예를 들어, 분석부(60)는 k개의 특이 행동 이벤트(Zk)에 대한 max p(Zk|D)의 값이 미리 설정된 임계치값보다 모두 작은 경우, 추출된 행동 패턴은 정의된 정상 행동 이벤트에 대한 확률값보다 작은 것이므로, 추출된 행동 패턴을 비정상 행동 이벤트로 판단할 수 있다. 이를 통하여, 도 9의 예시와 같이, 분석부(60)는 비디오 입력에 대하여 정상 행동 이벤트(수평적 교통 흐름, 수직적 교통 흐름 등)를 판단하고, 랜덤하게 발생한 비정상 행동 이벤트(소방차 통행과 같은 위급상황, 충돌위험, 불법유턴, 위급상황 등)를 검출할 수 있다. 또한, 분석부(60)는 도 10에 도시된 예시와 같이, 감시 지역 등에서 발생한 비정상 행동 이벤트를 검출할 수 있다.
도 11은 행동패턴 분석 방법을 나타낸 흐름도이다.
S1110 단계에서, 행동패턴 분석 장치는 영상 촬영 장치를 통해 수집되는 영상 데이터를 입력받는다. 예를 들어, 행동패턴 분석 장치는 특정 지역에 설치되어 감시를 수행하는 CCTV로부터 영상 데이터를 입력받거나, 동영상으로 촬영된 영상 데이터를 입력받을 수 있다.
S1120 단계에서, 행동패턴 분석 장치는 관심 객체를 검출하기 위하여 일정 단위 시간 동안 입력된 영상 데이터를 이용하여 배경 모델링을 수행한다. 즉, 행동패턴 분석 장치는 초기의 일정 단위 시간 동안 초기 배경 모델링을 수행하고, 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출하면, 배경 모델링을 재수행하고 초기 또는 기존의 배경 모델을 업데이트하여 배경 모델을 학습함으로써, 적응적으로 배경 모델링을 수행할 수 있다.
S1130 단계에서, 행동패턴 분석 장치는 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 관심 객체를 검출한다. 예를 들어, 객체 행동패턴 분석 장치는 학습된 배경 모델과 현재 입력된 영상 데이터 간의 차이를 이용하여 배경과 움직이는 전경 물체를 분리하고, 분리된 전경 물체의 노이즈를 제거하여 분리된 전경 물체를 관심 객체로 검출할 수 있다.
S1140 단계에서, 행동패턴 분석 장치는 관심 객체의 행동 패턴을 학습하여 모델링하기 위하여, 입력 영상 데이터로부터 관심 객체의 행동패턴 특징을 추출한다. 즉, 행동패턴 분석 장치는 입력 영상 데이터에서 검출된 관심 객체에 속하는 화소 단위의 움직임 패턴을 추출하여 특징을 추출할 수 있다.
S1150 단계에서, 행동패턴 분석 장치는 입력 영상 데이터로부터 추출된 특징을 이용하여, 관심 객체의 행동 패턴을 학습하여 모델링한다. 즉, 행동패턴 분석 장치는 추출된 화소 단위의 움직임 패턴을 이용하여 관심 객체의 행동 패턴을 학습하여 모델링한다.
S1160 단계에서, 행동패턴 분석 장치는 학습하여 모델링된 행동 패턴을 분석하여 관심 객체의 특이 행동 이벤트 발생 여부를 판단한다.
한편, 본 발명의 실시예에 따른 행동패턴 분석 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 영상 입력부
20: 배경 모델링부
21: 배경 데이터베이스
30: 객체 검출부
40: 특징 추출부
50: 행동패턴 모델링부
51: 행동패턴 데이터베이스
60: 분석부

Claims (20)

  1. 영상 촬영 장치를 통해 수집되는 비디오들을 입력받는 영상 입력부;
    상기 영상 촬영 장치에서 촬영된 비디오의 배경과 전경을 분리하기 위한 배경 모델링을 수행하는 배경 모델링부;
    상기 배경 모델링을 통해 생성된 배경 모델을 이용하여 상기 비디오들에서 전경을 분리하고, 상기 전경에서 움직이는 관심 객체들을 검출하는 객체 검출부;
    상기 비디오들을 화면 분할한 영역들에서 상기 관심 객체들의 움직임 정보를 추출하고, 상기 추출한 움직임 정보를 특정 시간 단위로 누적한 히스토그램 형태로 해당 영역의 객체 움직임 패턴에 해당하는 특징 벡터를 생성하고, 상기 영역들의 특징 벡터들을 히스토그램 형태로 누적하여 해당 비디오의 특징 벡터를 생성하는 특징 추출부; 및
    상기 비디오들의 특징 벡터들을 이용하여 상기 관심 객체들의 정상 행동 패턴을 학습한 후, 상기 영상 촬영 장치에서 촬영된 분석 대상 비디오에서 검출된 관심 객체의 행동 패턴과 상기 정상 행동 패턴을 이용하여, 상기 분석 대상 비디오에서 검출된 관심 객체들의 정상 행동 여부를 판단하는 분석부를 포함하고,
    상기 분석 대상 비디오에 포함된 관심 객체는 상기 객체 검출부에서 검출되고,
    상기 분석 대상 비디오에 포함된 관심 객체의 행동 패턴은 상기 분석 대상 비디오의 특징 벡터를 기초로 생성되며,
    상기 분석 대상 비디오의 특징 벡터는 상기 특징 추출부에서 상기 분석 대상 비디오에 포함된 관심 객체의 움직임 정보를 기초로 생성되는, 행동패턴 분석 장치.
  2. 제1항에 있어서,
    상기 배경 모델링부는 초기의 일정 단위 시간 동안 초기 배경 모델링을 수행하고, 상기 객체 검출부가 초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 상기 관심 객체를 검출하면, 배경 모델링을 재수행하고 초기 또는 기존의 배경 모델을 업데이트하여 배경 모델을 학습함으로써, 적응적으로 배경 모델링을 수행하는 것을 특징으로 하는 행동패턴 분석 장치.
  3. 제2항에 있어서,
    상기 배경 모델링부는 환경 변화와 노이즈에 강인한 배경 모델링과 이를 이용한 관심 객체 검출을 위하여, RPCA(Robust principal component analysis)를 이용한 배경 모델링을 수행하는 것을 특징으로 하는 행동패턴 분석 장치.
  4. 제1항에 있어서,
    상기 객체 검출부는 상기 학습된 배경 모델과 현재 입력된 영상 데이터 간의 차이를 이용하여 배경과 움직이는 전경 물체를 분리하고, 상기 분리된 전경 물체의 노이즈를 제거하여 분리된 전경 물체를 상기 관심 객체로 검출하는 것을 특징으로 하는 행동패턴 분석 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 행동패턴 분석 장치가 수행하는 행동패턴 분석 방법에 있어서,
    영상 촬영 장치를 통해 수집되는 비디오들을 입력받는 단계;
    상기 영상 촬영 장치에서 촬영된 비디오의 배경과 전경을 분리하기 위한 배경 모델링을 수행하는 단계;
    상기 배경 모델링을 통해 생성된 배경 모델을 이용하여 상기 비디오들에서 전경을 분리하고, 상기 전경에서 움직이는 관심 객체들을 검출하는 단계;
    상기 비디오들을 화면 분할한 영역들에서 상기 관심 객체들의 움직임 정보를 추출하고, 상기 추출한 움직임 정보를 특정 시간 단위로 누적한 히스토그램 형태로 해당 영역의 객체 움직임 패턴에 해당하는 특징 벡터를 생성하고, 상기 영역들의 특징 벡터들을 히스토그램 형태로 누적하여 해당 비디오의 특징 벡터를 생성하는 단계;
    상기 비디오들의 특징 벡터들을 이용하여 상기 관심 객체들의 정상행동 패턴을 학습하는 단계;
    상기 영상 촬영 장치에서 촬영된 분석 대상 비디오를 입력받는 단계;
    상기 배경 모델링을 통해 상기 분석 대상 비디오에서 전경을 분리하여 상기 분석 대상 비디오의 관심 객체들을 검출하는 단계,
    상기 분석 대상 비디오를 분할한 영역들에서 검출한 분석대상-관심 객체들의 움직임 정보를 추출하고, 상기 분석대상-관심 객체들의 움직임 정보를 특정 시간 단위로 누적한 히스토그램 형태로 해당 영역의 객체 움직임 패턴에 해당하는 특징 벡터를 생성하고, 상기 분석 대상 비디오의 영역들의 특징 벡터들을 히스토그램 형태로 누적하여 상기 분석 대상 비디오의 특징 벡터를 생성하는 단계; 및
    상기 분석 대상 비디오의 특징 벡터를 이용하여 상기 분석대상-관심 객체들의 행동 패턴을 검출하고, 상기 분석대상-관심 객체들의 행동 패턴과 상기 정상 행동 패턴을 이용하여 상기 분석 대상 비디오에서 검출된 관심 객체들의 정상 행동 여부를 판단하는 단계
    를 포함하는 행동패턴 분석 방법.
  13. 제12항에 있어서,
    상기 배경 모델링을 수행하는 단계는,
    초기의 일정 단위 시간 동안 초기 배경 모델링을 수행하는 단계;
    초기 또는 기존의 배경 모델링을 통해 학습된 배경 모델을 이용하여 상기 관심 객체를 검출하면, 배경 모델링을 재수행하는 단계; 및
    상기 초기 또는 기존의 배경 모델을 업데이트하여 배경 모델을 학습함으로써, 적응적으로 배경 모델링을 수행하는 단계를 포함하는 것을 특징으로 하는 행동패턴 분석 방법.
  14. 제12항에 있어서,
    상기 관심 객체들을 검출하는 단계는,
    상기 학습된 배경 모델과 현재 입력된 영상 데이터 간의 차이를 이용하여 배경과 움직이는 전경 물체를 분리하는 단계; 및
    상기 분리된 전경 물체의 노이즈를 제거하여 분리된 전경 물체를 상기 관심 객체로 검출하는 단계를 포함하는 것을 특징으로 하는 행동패턴 분석 방법.

  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140021555A 2014-02-24 2014-02-24 행동패턴 분석 장치 및 방법 KR102217253B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140021555A KR102217253B1 (ko) 2014-02-24 2014-02-24 행동패턴 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140021555A KR102217253B1 (ko) 2014-02-24 2014-02-24 행동패턴 분석 장치 및 방법

Publications (3)

Publication Number Publication Date
KR20150100141A KR20150100141A (ko) 2015-09-02
KR102217253B1 true KR102217253B1 (ko) 2021-02-17
KR102217253B9 KR102217253B9 (ko) 2021-10-27

Family

ID=54241899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140021555A KR102217253B1 (ko) 2014-02-24 2014-02-24 행동패턴 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102217253B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101817583B1 (ko) 2015-11-30 2018-01-12 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
KR101758693B1 (ko) * 2015-12-11 2017-07-19 연세대학교 산학협력단 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
KR101925907B1 (ko) * 2016-06-03 2019-02-26 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
KR101872811B1 (ko) * 2016-08-18 2018-06-29 고려대학교 산학협력단 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR102106468B1 (ko) * 2018-08-02 2020-05-12 경북대학교 산학협력단 영상 처리 장치 및 방법
KR20200055812A (ko) * 2018-11-08 2020-05-22 전자부품연구원 딥러닝 기반 이상 행위 인지 장치 및 방법
KR102043366B1 (ko) * 2018-11-21 2019-12-05 (주)터보소프트 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법
KR20210007672A (ko) * 2019-07-12 2021-01-20 숙명여자대학교산학협력단 위험 감지 시스템 및 방법
KR102260123B1 (ko) 2019-10-01 2021-06-03 주식회사 넥스트케이 지역내 이벤트감지장치 및 그 장치의 구동방법
KR102187831B1 (ko) * 2019-10-29 2020-12-07 곽찬우 Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램
KR20210062256A (ko) * 2019-11-21 2021-05-31 주식회사 두다지 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
KR102111894B1 (ko) * 2019-12-04 2020-05-15 주식회사 블루비즈 행동패턴 이상 징후 판별 시스템 및 이의 제공방법
KR102152237B1 (ko) * 2020-05-27 2020-09-04 주식회사 와치캠 상황 분석 기반의 cctv 관제 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100847143B1 (ko) * 2006-12-07 2008-07-18 한국전자통신연구원 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Li외 2인,"Global Behaviour Inference Using Probabilistic Latent Semantic Analysis" In BMVC(2008.12.31.) 1부.*
Khorrami P외 2인,"Mutiple animal species detection using robust principal component analysis and large displacement optical flow", ICPR, workshop,(2012.11.15.) 1부.*

Also Published As

Publication number Publication date
KR102217253B9 (ko) 2021-10-27
KR20150100141A (ko) 2015-09-02

Similar Documents

Publication Publication Date Title
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
US9189867B2 (en) Adaptive image processing apparatus and method based in image pyramid
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
KR20150029006A (ko) 비디오 감시 시스템을 위한 피처 이례들의 무감독 학습
KR101884611B1 (ko) 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
KR101484263B1 (ko) 폭력 감지 시스템 및 폭력 감지 방법
CN109255360B (zh) 一种目标分类方法、装置及系统
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
Ullah et al. Gaussian mixtures for anomaly detection in crowded scenes
KR20200052418A (ko) 딥러닝 기반의 자동 폭력 감지 시스템
Malhi et al. Vision based intelligent traffic management system
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
KR102332229B1 (ko) 딥러닝 기반 보행자 영상 데이터 증강방법
KR101552344B1 (ko) 폭력 상황을 검출하는 장치 및 방법
KR20090044957A (ko) 도난 및 방치 감시 시스템 및 도난 및 방치 검출 방법
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
Tahboub et al. Accuracy prediction for pedestrian detection
KR101270718B1 (ko) 영상에서 화재를 검출하기 위한 영상처리 장치 및 방법
CN114764895A (zh) 异常行为检测装置和方法
KR20160035631A (ko) 히스토그램 기반의 움직임 검출 방법 및 그 장치
KR101581162B1 (ko) 실시간 영상 기반의 화염, 연기 및 물체 움직임 자동 감지 방법, 장치 및 시스템
KR101848367B1 (ko) 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법
CN110969645A (zh) 面向拥挤场景的无监督异常轨迹检测方法和装置
CN111062294B (zh) 一种客流排队时间的检测方法、装置及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction