KR101346773B1 - Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법 - Google Patents

Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법 Download PDF

Info

Publication number
KR101346773B1
KR101346773B1 KR1020120024666A KR20120024666A KR101346773B1 KR 101346773 B1 KR101346773 B1 KR 101346773B1 KR 1020120024666 A KR1020120024666 A KR 1020120024666A KR 20120024666 A KR20120024666 A KR 20120024666A KR 101346773 B1 KR101346773 B1 KR 101346773B1
Authority
KR
South Korea
Prior art keywords
crowd behavior
frame
abnormal crowd
abnormal
data
Prior art date
Application number
KR1020120024666A
Other languages
English (en)
Other versions
KR20130103213A (ko
Inventor
박대희
오승근
이종욱
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020120024666A priority Critical patent/KR101346773B1/ko
Publication of KR20130103213A publication Critical patent/KR20130103213A/ko
Application granted granted Critical
Publication of KR101346773B1 publication Critical patent/KR101346773B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본원은 감시 대상 지역에 설치된 카메라에 의해 획득된 비디오스트리밍을, H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성하는 부호화부; 상기 움직임벡터의 크기에 기초하여, 움직임량을 산출하는 움직임량 산출부; 상기 움직임량에 기초하여, 비정상 군중 행동의 발생 여부를 탐지하는 비정상 군중 행동 탐지부; 및 상기 비정상 군중 행동 탐지부가 상기 비정상 군중 행동을 탐지하면, 상기 움직임벡터에 기초하여, 상기 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성하는 비정상 군중 행동 분석부를 포함하는 비정상 군중 행동 탐지 및 분석 장치를 제공한다.

Description

Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법{Detection and Analysis of Abnormal Crowd Behavior in H.264 Compression Domain}
본원은 감시 대상 지역에 대한 영상에 기초하여, 다중 객체의 움직임 중 비정상 군중 행동을 탐지 및 분석하는 비정상 군중 행동 탐지 및 분석 장치 및 그 방법에 관한 것이다.
최근, 공공장소 또는 주요시설물에서, 도난, 위험물 투기, 위험물 방치 및 테러 등과 같은 다양한 특수 범죄들이 빈번하게 발생된다. 그리고, 유동인구가 많은 공항, 버스정류장 및 지하철역 등과 같은 공공장소에서는 과도한 유동인구로 인한 보행자 안전 사고 및 화재 등과 같은 다양한 응급 상황도 빈번하게 발생된다. 특히, 2001년의 9.11 테러와 같은 국제적인 테러의 발생율도 점차 높아지고 있다. 이로 인해, 보안 감시 시스템에 대한 지속적인 연구와 투자가 진행되고 있다.
기존의 보안 감시 시스템은 CCTV(Closed-circuit television, 폐쇄 회로 텔레비전)와 같은 카메라로부터 획득한 멀티미디어 데이터의 실시간 표시 또는 저장에 이용되어, 관리자에게 필요한 장면 및 정보를 검색하는 인터페이스를 제공하는 것에 불과하였다.
이러한 기존의 보안 감시 시스템은 관리자의 모니터링 작업에 대한 의존도가 높아서, 안전성을 확보하기 어려운 문제점이 있다.
이를 보완하기 위해, 동영상에서 객체의 움직임을 적극적으로 검출하여, 위험 상황을 인지하면, 알람을 통해 관리자에게 알릴 수 있거나, 또는, 객체를 인식 및 추적하여, 실제 발생한 이벤트(event, 사건)를 분석할 수 있는 보안 감시 시스템에 대한 연구가 진행되고 있다.
이러한 보안 감시 시스템의 일환인 비정상 군중 행동 탐지 장치는, 재난·재해와 같은 위험 상황에 의해, 군중이 비정상적으로 행동하게 되는 점에 착안한 것이다. 즉, 다중 객체의 움직임을 인지하여, 정상적이지 않은 군중 행동이 탐지되면, 사건이 발생한 것으로 간주하고, 관리자에게 알린다.
비정상 군중 행동 탐지에 관한 연구는 GMM(gaussian mixture model), LDA(latent dirichlet allocation)과 같은 확률론적 패턴인식 알고리즘을 비롯하여, 최근에는 패턴 분류 및 함수 근사 등의 문제에서 우수한 성능을 보이는 SVM(support vector machine)을 군중 행동 기반의 감시 시스템에 적용하고자 하는 시도가 있다.
일반적으로, 비정상 군중 행동 탐지 장치는 감시 대상 지역에 설치된 적어도 하나의 카메라로부터 소정의 규격으로 부호화된 영상 신호를 수신한다. 이는, 영상 신호를 저장하기 위해 큰 용량의 저장매체를 필수적으로 구비해야 하는 것을 방지하기 위함이다.
여기서, 부호화된 영상 신호로부터 다중 객체의 움직임을 검출할 수 없기 때문에, 종래의 비정상 군중 행동 탐지 장치는 수신한 영상 신호를 복호화해야만 한다. 그러므로, 비정상 군중 행동 탐지 장치의 신속성이 향상되기 어려운 문제점이 있다.
한편, 보안 감시 시스템에 관한 선행특허로는 한국특허출원번호 제10-2008-0135995호와, 한국특허출원번호 제10-2009-0057207호를 들 수 있다.
한국특허출원번호 제10-2008-0135995호(발명의 명칭: H.264를 이용한 지능형 보안 시스템, 공고일: 2009.07.02)는 디코딩된 영상 신호에 대한 동작 감지 알고리즘, 객체 추적 알고리즘, 기간 감시 알고리즘 및 구역 감시 알고리즘 중 적어도 하나의 알고리즘에 따라서, 디코딩된 영상 신호를 분석하여 이벤트 신호를 생성하는 영상 분석 모듈을 포함함으로써, 효율적인 보안 서비스를 제공할 수 있는 H.264를 이용한 지능형 보안 시스템을 개시한다. 이러한 한국특허출원번호 제10-2008-0135995호는 H.264 부호화 방식을 채택하여, 카메라가 취득한 영상을 부호화함으로써, 압축효율이 현저히 증가하며, 그에 따라 낮은 네트워크 대역폭과 저장공간을 효율적으로 사용하는 것에 대해 언급하고 있다.
그리고, 한국특허출원번호 제10-2009-0057207호(발명의 명칭: 영상 보안 시스템에서 부호화 장치, 공개일: 2010.12.31)는 하나의 부호화 칩에서 저장매체 저장용 스트림과 네트워크 전송용 스트림을 동시 또는 각각 출력하도록 하는 영상 보안 시스템의 부호화 장치에 관한 것으로써, 감시카메라가 수신한 영상을 AVC(Advanced Video Coding) 스트림 처리하여 저장매체로 저장 또는/및 SVC(Scalable Video Coding) 스트림 처리하여 네트워크로 전송하는 영상 부호화 수단을 포함하는 것에 대해 언급하고 있다.
한국특허출원번호 제10-2008-0135995호 (공고일: 2009.07.02) 한국특허출원번호 제10-2009-0057207호 (공개일: 2010.12.31)
본원의 일 실시예는 카메라에 의해 획득한 영상 신호를 부호화함과 동시에 다중객체의 움직임을 도출함으로써, 신속성 및 편리성을 향상시킬 수 있는 비정상 군중 행동 탐지 및 분석 장치 및 그 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본원은 비정상 군중 행동 탐지 및 분석 장치에 있어서, 감시 대상 지역에 설치된 카메라에 의해 획득된 비디오스트리밍을, H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성하는 부호화부; 상기 움직임벡터의 크기에 기초하여, 움직임량을 산출하는 움직임량 산출부; 상기 움직임량에 기초하여, 비정상 군중 행동의 발생 여부를 탐지하는 비정상 군중 행동 탐지부; 및 상기 비정상 군중 행동 탐지부가 상기 비정상 군중 행동을 탐지하면, 상기 움직임벡터에 기초하여, 상기 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성하는 비정상 군중 행동 분석부를 포함하는 비정상 군중 행동 탐지 및 분석 장치를 제공한다.
그리고, 본원은, 비정상 군중 행동 탐지 및 분석 장치를 이용한 비정상 군중 행동 탐지 및 분석 방법에 있어서, 감시 대상 지역에 설치된 카메라에 의해 획득된 비디오스트리밍을 수신하는 단계; 상기 비디오스트리밍을 H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성하는 단계; 상기 움직임벡터의 크기에 기초하여, 움직임량을 산출하는 단계; 상기 움직임량에 기초하여, 비정상 군중 행동의 발생 여부를 탐지하는 단계; 및 상기 비정상 군중 행동의 발생을 탐지하면, 상기 움직임벡터에 기초하여, 상기 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성하는 단계를 포함하는 비정상 군중 행동 탐지 및 분석 방법을 제공한다.
여기서, 상기 움직임벡터는, 이전의 다른 프레임을 참조하여 복호화되는 P-프레임(P-frame: Predictive frame) 또는 이전 및 이후의 다른 프레임을 참조하여 복호화되는 B-프레임(B-frame: Bi-predictive frame)을 분할한 복수의 블록에 각각 대응한다.
그리고, 상기 분석 데이터는 비정상 군중의 주요 이동 방향을 나타내는 주요 이동 방향 데이터, 및 상기 비정상 군중의 분산 정도를 나타내는 혼잡도 데이터를 포함한다.
본원의 일 실시예에 따르면, 비디오스트리밍을 부호화하면서, P-프레임 또는 B-프레임의 각 블록에 대응한 움직임벡터를 생성한다. 이에 따라, 움직임벡터를 산출하기 위해 영상데이터의 복호화를 실시할 필요가 없으므로, 비정상 군중 행동 탐지의 신속성이 향상될 수 있다.
더불어, 움직임벡터에 기초하여, 비정상 군중 행동에 대한 분석 데이터를 생성하고, 이를 제공함에 따라, 편리성이 향상될 수 있다.
도 1은 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 장치를 나타낸 블록도이다.
도 2는 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 방법을 나타낸 순서도이다.
도 3은 본원의 일 실시예에 따른 움직임벡터를 나타내는 도면이다.
도 4는 본원의 일 실시예에 따른 움직임벡터의 방향을 설명하기 위한 도면이다.
도 5는 본원의 일 실시예에 따른 구역을 설명하기 위한 도면이다.
도 6은 본원의 일 실시예에 따른 인터페이스의 일 예를 도시한 것이다
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도 1 내지 도 6을 참조하여, 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 장치, 및 그 방법에 대해 상세히 설명하기로 한다.
도 1은 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 장치를 나타낸 블록도이다. 도 2는 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 방법을 나타낸 순서도이다. 도 3은 본원의 일 실시예에 따른 움직임벡터를 나타내는 도면이다. 도 4는 본원의 일 실시예에 따른 움직임벡터의 방향을 설명하기 위한 도면이다. 도 5는 본원의 일 실시예에 따른 구역을 설명하기 위한 도면이다. 도 6은 본원의 일 실시예에 따른 인터페이스의 일 예를 도시한 것이다.
도 1에 도시한 바와 같이, 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 장치(10)는 부호화부(11), 움직임량 산출부(12), 비정상 군중 행동 탐지부(13), 비정상 군중 행동 분석부(14) 및 데이터베이스(15)를 포함한다.
그리고, 도 2에 도시한 바와 같이, 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 방법은 감시 대상 지역에 설치된 카메라에 의해 획득된 비디오스트리밍을 수신하는 단계(S11), 수신한 비디오스트리밍을, H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성하는 단계(S12), 움직임벡터의 크기에 기초하여, 움직임량을 산출하는 단계(S20), 움직임량에 기초하여 비정상 군중 행동의 발생 여부를 탐지하는 단계(S30), 비정상 군중 행동의 발생을 탐지하면, 움직임벡터에 기초하여, 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성하는 단계(S40), 및 탐지된 비정상 군중 행동에 대한 메타데이터를 저장하는 단계(S50)를 포함한다.
부호화부(11)는 감시 대상 지역에 설치된 카메라(20)에 의해 획득된 비디오스트리밍을 수신한다 (S11). 그리고, 부호화부(11)는 수신한 비디오스트리밍을, H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성한다.
참고로, H.264/AVC 영상 압축 방식은 각 프레임을 복수의 블록으로 분할하고, 블록 별로 최적의 압축 방식을 적용하는 소위 블록 기반 압축 방식이다. 블록의 압축 원리 중 가장 효과적인 것으로 알려진 것으로는 인터 예측 방식을 들 수 있다. 인터 예측 방식은 압축 대상 블록에 대하여 이전 프레임에서 가장 유사도가 높은 블록(이하, "참조 블록"이라 함)을 탐색하여, 압축 대상 블록과 참조 블록 간의 차이를 이용하는 방식이다.
H.264/AVC 영상 압축 방식을 이용하여 부호화된 영상 데이터는 I-프레임(I-frame: Intra frame), P-프레임(P-frame: Predictive frame) 및 B-프레임(B-frame: Bi-predictive frame)을 포함한다.
I-프레임은 이전의 다른 프레임과 무관하여, 이전의 다른 프레임으로부터 예측 불가능한 프레임이다. 즉, I-프레임은 참조 블록을 포함하지 않는 독립적인 프레임으로서, 이전의 다른 프레임을 참조하지 않고 독립적으로 복호화 된다.
P-프레임과 B-프레임은 다른 프레임과 연관되어, 다른 프레임으로부터 예측 가능한 블록을 포함하는 프레임이다. 즉, P-프레임은 이전의 프레임을 이용한 참조 블록을 포함하는 프레임으로서, 이전의 프레임을 참조하여 복호화된다. 그리고, B-프레임은 이전 및 이후의 프레임을 이용한 참조 블록을 포함하는 프레임으로서, 이전 및 이후의 프레임을 참조하여 복호화된다.
이와 같이, 다른 프레임을 참조하여 복호화되는 P-프레임과 B-프레임은, 다른 프레임을 참조하지 않는 I-프레임들 사이에 끼워져서 배치된다. 즉, 두 개의 I-프레임 사이에, 적어도 하나의 P-프레임 또는 B-프레임이 배치된다.
이러한 H.264/AVC 영상 압축 방식을 이용함에 따라, 부호화부(11)는 다른 프레임을 참조하여 복호화되는 B-프레임 또는 P-프레임의 생성과 동시에, 각 블록에 대응한 움직임벡터를 생성할 수 있다.
즉, B-프레임 또는 P-프레임의 블록은 인터 예측 방식을 적용하므로, B-프레임 또는 P-프레임을 생성하기 위해서는, 당연히, B-프레임 또는 P-프레임의 각 블록과 다른 프레임을 이용한 참조블록 간의 차이가 산출된다. 이에 따라, B-프레임 또는 P-프레임을 생성하면서, B-프레임 또는 P-프레임의 각 블록과 참조블록 간의 차이에 기초하여, B-프레임 또는 P-프레임을 분할한 복수의 블록에 각각 대응하는 복수의 움직임벡터를 생성한다.
수학식 1 및 도 3에 나타낸 바와 같이, 움직임벡터는 크기성분과 방향성분을 포함한다. 여기서, 움직임벡터의 크기는 m으로 표기되고, 움직임벡터의 방향은
Figure 112012019476217-pat00001
으로 표기된다.
Figure 112012019476217-pat00002
즉, 움직임벡터의 크기(m)는 가로축(horizontal)의 이동크기인 mvx과 세로축(vertical)의 이동크기인 mvy에 기초한다. 그리고, 움직임벡터의 방향(
Figure 112012019476217-pat00003
)은 가로축(horizontal)과 벡터 사이의 각도이다.
더불어, 도 4에 도시한 바와 같이, 움직임벡터의 방향(
Figure 112012019476217-pat00004
)은 8-성분 방향 중 어느 하나로 단순화될 수 있다. 즉, 움직임벡터의 방향(
Figure 112012019476217-pat00005
)은 8-성분 방향 중 가장 가까이에 인접한 성분 방향으로 선택될 수 있다. 여기서, 8-성분 방향은 시계 방향으로, 상측(Up (Direction 1)), 상측 오른쪽(Up-Right (Direction 2)), 오른쪽(Right (Direction 3)), 하측 오른쪽(Down-Right (Direction 4)), 하측(Down (Direction 5)), 하측 왼쪽(Down-Left (Direction 6)), 왼쪽(Left (Direction 7)), 상측 왼쪽(Up-Left (Direction 8))을 포함한다.
움직임량 산출부(12)는 움직임벡터의 크기에 기초하여, 움직임량을 산출한다 (S20).
여기서, 움직임량은 독립적으로 복호화되는 두 개의 I-프레임 사이에 배치된 적어도 하나의 B-프레임 또는 P-프레임에 있어서, 그에 포함된 각 블록에 대응한 움직임벡터들의 크기의 평균값으로 산출될 수 있다.
즉, 움직임량(Momentum)은 수학식 2와 같이, 도출될 수 있다. 수학식 2에서, Nb는 두 개의 I-프레임 사이에 배치된 적어도 하나의 B-프레임 또는 P-프레임에 존재하는 해당 블록의 전체 개수(0 < Nb ≤N-1)이다. 그리고, mb는 b번째 블록에 대응한 움직임벡터의 크기이다. 이와 같이, 움직임량은 두 개의 I-프레임 사이에서, 각 블록이 이동한 크기라 볼 수 있다.
Figure 112012019476217-pat00006
비정상 군중 행동 탐지부(13)는 움직임량에 기초하여, 비정상 군중 행동의 발생 여부를 탐지한다 (S30).
비정상 군중 행동 탐지부(13)는 정상적인 군중 행동에 대한 움직임량으로 학습된 데이터들인 정상범위에 기초하여, 비정상 군중 행동의 발생 여부를 탐지하는SVDD(Support Vector Data Description) 분류기일 수 있다. 여기서, SVDD는 단일 클래스 분류기의 일종으로서, 소정의 기준에 해당하는 데이터들로 학습한 범위를 설정한 후, 입력된 값이 범위 내에 속하는지 여부만으로, 입력된 값을 분류한다.
즉, 정상적인 군중 행동만으로 구성된 비디오스트리밍을 이용하여, 감시 대상 지역의 다양한 정상 군중 행동에 대응한 움직임량들로, SVDD의 원형체를 학습한다. 그리고, 산출된 움직임량이 SVDD의 원형체에 포함되는 값이면, 정상 군중 행동(Normal)으로 분류한다. 반면, 산출된 움직임량이 SVDD의 원형체에 포함되지 않는 값이면, 비정상 군중 행동(Abnormal)으로 분류한다.
이와 같이, 비정상 군중 행동 탐지부(13)는 단일 클래스 분류기를 이용함에 따라, 비정상 군중 행동에 대해 주기적인 업데이트를 실시하지 않더라도, 학습되지 않은 비정상 군중 행동을 탐지할 수 있다. 그러므로, 관리자의 편리성이 향상될 수 있다.
비정상 군중 행동 탐지부(13)는 비정상 군중 행동의 발생을 탐지하면, 이를 관리자에게 알리기 위하여 관리자 단말(30)에 알림신호를 송신할 수 있다. 이때, 알림신호는 비정상 군중 행동 분석부(14)에도 전달될 수 있다.
비정상 군중 행동 분석부(14)는, 비정상 군중 행동의 발생이 탐지된 경우, 움직임벡터에 기초하여, 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성한다 (S40).
여기서, 분석 데이터는 비정상 군중의 주요 이동 방향을 나타내는 주요 이동 방향 데이터, 및 비정상 군중의 분산 정도를 나타내는 혼잡도 데이터 중 적어도 하나를 포함할 수 있다.
주요 이동 방향 데이터는, 비정상 군중의 대부분이 이동하는 방향을 분석하기 위한 것이다. 즉, 주요 이동 방향 데이터는 독립적으로 복호화되는 두 개의 I-프레임 사이에 배치된 적어도 하나의 P-프레임 또는 B-프레임에 있어서, 복수의 블록에 대응한 복수의 움직임벡터의 방향 중 최다 빈도의 방향을 나타낼 수 있다.
예시적으로, 수학식 3에 도시한 바와 같이, 주요 이동 방향 데이터는, 각 방향에 대응하여, 적어도 하나의 P-프레임 또는 B-프레임 동안, 크기 성분 또는 방향 성분이 변동한 움직임벡터 중 해당 방향 성분인 비율(이하, "방향성 비율"이라 함)을 산출한 후, 전체 방향 중 최대의 방향성 비율인 방향을 선택함으로써, 생성될 수 있다. 이때, 움직임벡터의 방향은 도 4에 도시한 8-방향 성분 중 어느 하나로 단순화된 것일 수 있다.
Figure 112012019476217-pat00007
그리고, 혼잡도 데이터는 영상 데이터로 표시되는 지역, 즉, 감시 대상 지역에서 비정상 군중이 분산된 정도를 분석하기 위한 데이터이다. 달리 말하면, 비정상 군중의 밀집도를 분석하기 위한 데이터이다.
이에, 비정상 군중 행동 분석부(14)는, 영상 데이터로 표시되는 지역, 즉, 감시 대상 지역을 둘 이상의 구역으로 구획한다. 이때, 도 5에 도시한 바와 같이, 감시 대상 지역을 표시한 영상 데이터는 3x3의 9개 구역(Area1 ~ Area9)으로 구획될 수 있다. 다만, 이는 예시일 뿐이며, 영상 데이터의 해상도 또는 감시 대상 지역의 너비 등을 고려한 사용자의 선택에 따라 다르게 결정될 수 있음은 당연하다.
그리고, 아래의 수학식 4에 나타낸 바와 같이, 둘 이상의 구역에 각각 대응하여, 독립적으로 복호화되는 두 개의 I-프레임 사이에 배치된 적어도 하나의 P-프레임 또는 B-프레임 동안, 변동한 움직임벡터가 해당 구역에 속하는 비율(이하, "구역 별 혼잡도"라 함)을 도출함으로써, 혼잡도 데이터를 생성한다.
Figure 112012019476217-pat00008
이러한 과정으로, 도 6에 도시한 바와 같이, 해당 영상데이터에 대해 비정상 군중 행동으로 분류된 경우, 관리자의 인터페이스는, 영상데이터(D1), 메타데이터(D2), 각 방향에 대응한 방향성 비율(D2) 및 구역 별 혼잡도(D4)를 제공할 수 있다. 더불어, 비정상 군중 행동의 발생 히스토리(D5)를 더 제공할 수 있다.
영상데이터(D1)는 9개의 구역으로 구획된 상태로 표시될 수 있다.
메타데이터(D2)는 비정상 군중 행동에 대해, "발생 일자; 해당 영상데이터의 식별정보; 주요 이동 방향; 구역 별 혼잡도"의 포맷으로 표시될 수 있다.
구역 별 혼잡도(D4)는 영상데이터(D1)에 표시된 각 구획에 표시되되, "Mobility=OO"의 포맷으로 표시될 수 있다.
비정상 군중 행동의 발생 히스토리(D5)는 이전에 탐지된 비정상 군중 행동의 발생 일시로서, 시간 순으로 나열하여 표시될 수 있다.
비정상 군중 행동 분석부(14)는 주요 이동 방향 데이터 및 혼잡도 데이터 중 적어도 하나를 포함하는 분석 데이터를, 관리자 단말(30)에 제공한다. 이 뿐만 아니라, 통계 및 검색을 위하여, 데이터베이스(15)에도 분석 데이터를 전달한다.
데이터베이스(15)는 탐지된 비정상 군중 행동에 대한 메타데이터를 저장한다 (S50). 여기서, 메타데이터는 비정상 군중 행동의 발생 일시, 비정상 군중 행동으로 탐지된 영상 데이터의 식별정보, 및 비정상 군중 행동의 분석데이터 중 적어도 하나를 포함할 수 있다.
이상과 같이, 본원의 일 실시예에 따른 비정상 군중 행동 탐지 및 분석 장치(10) 및 그 방법은, H.264/AVC 영상 압축 방식을 이용하여, 비디오스트리밍을 부호화하면서, 도출되는 움직임벡터를 이용하여, 비정상 군중 행동 탐지를 위한 움직임량을 산출하고, 비정상 군중 행동 분석을 위한 방향성 비율, 및 구역 별 혼잡도를 생성한다.
그러므로, 움직임벡터를 도출하기 위해, 부호화된 데이터를 복호화하는 과정을 거칠 필요가 없으므로, 그만큼 비정상 군중 행동의 탐지 및 분석에 소요되는 시간이 단축될 수 있으므로, 신속성이 향상될 수 있다. 그리고, 비정상 군중 행동의 발생을 탐지하는 것뿐만 아니라, 비정상 군중의 주요 이동 방향 및 분산된 정도를 포함하는 분석 데이터를 제공함으로써, 편리성이 더욱 향상될 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 비정상 군중 행동 탐지 및 분석 장치
11: 부호화부 12: 움직임량 산출부
13: 비정상 군중 행동 탐지부
14: 비정상 군중 행동 분석부
15: 데이터베이스
20: 카메라
30: 관리자 단말

Claims (11)

  1. 비정상 군중 행동 탐지 및 분석 장치에 있어서,
    감시 대상 지역에 설치된 카메라에 의해 획득된 비디오스트리밍을, H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성하는 부호화부;
    상기 움직임벡터의 크기에 기초하여, 움직임량을 산출하는 움직임량 산출부;
    상기 움직임량이 기설정된 움직임량의 기준 범위에 포함되지 않으면 비정상 군중 행동의 발생으로 탐지하는 비정상 군중 행동 탐지부; 및
    상기 비정상 군중 행동 탐지부가 상기 비정상 군중 행동을 탐지하면, 상기 움직임벡터에 기초하여, 상기 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성하는 비정상 군중 행동 분석부를 포함하되,
    상기 부호화부는, 이전의 다른 프레임을 참조하여 복호화되는 P-프레임(P-frame: Predictive frame) 또는 이전 및 이후의 다른 프레임을 참조하여 복호화되는 B-프레임(B-frame: Bi-predictive frame)을 생성하면서, 상기 P-프레임 또는 상기 B-프레임을 분할한 복수의 블록에 각각 대응하는 복수의 움직임벡터를 생성하고,
    상기 비정상 군중 행동 탐지부는,
    기설정된 정상적인 군중 행동을 포함하는 비디오스트리밍을 학습한 데이터인 상기 움직임량의 기준 범위에 기초하여, 상기 정상적인 군중 행동 이외의 행동인 상기 비정상 군중 행동에 따른 움직임량을 분류하는 SVDD(Support Vector Data Description) 분류기를 통해 상기 비정상 군중 행동의 발생을 탐지하는 비정상 군중 행동 탐지 및 분석 장치.
  2. 제 1 항에 있어서,
    상기 움직임량은, 독립적으로 복호화되는 두 개의 I-프레임(Intra frame) 사이에 배치된 적어도 하나의 P-프레임 또는 상기 B-프레임에 있어서, 각 블록에 대응한 움직임벡터들의 크기의 평균값인 비정상 군중 행동 탐지 및 분석 장치.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 분석 데이터는, 상기 비정상 군중 행동이 탐지된 상기 비디오스트리밍 내 비정상 군중의 이동 방향 중 최다 빈도로 이동하는 방향을 나타내는 주요 이동 방향 데이터를 포함하되,
    상기 주요 이동 방향 데이터는 독립적으로 복호화되는 두 개의 I-프레임(I-frame: Intra frame) 사이에 배치된 적어도 하나의 P-프레임 또는 상기 B-프레임에 있어서, 복수의 블록에 대응한 복수의 움직임벡터의 방향 중 최다 빈도의 방향을 나타내는 비정상 군중 행동 탐지 및 분석 장치.
  5. 제 1 항에 있어서,
    상기 분석 데이터는 비정상 군중의 분산 정도를 나타내는 혼잡도 데이터를 포함하고,
    상기 비정상 군중 행동 분석부는,
    상기 영상 데이터로 표시되는 지역을 둘 이상의 구역으로 구획하고,
    독립적으로 복호화되는 두 개의 I-프레임(I-frame: Intra frame) 사이에 배치된 적어도 하나의 P-프레임 또는 상기 B-프레임에 있어서, 변동한 움직임벡터가 각 구역에 속하는 비율을 도출하여, 상기 혼잡도 데이터를 생성하는 비정상 군중 행동 탐지 및 분석 장치.
  6. 제 1 항에 있어서,
    상기 탐지된 비정상 군중 행동에 대응한 메타데이터를 저장하는 데이터베이스를 더 포함하되,
    상기 메타데이터는 상기 비정상 군중 행동의 발생 일시, 상기 비정상 군중 행동으로 탐지된 영상 데이터의 식별정보, 상기 비정상 군중 행동이 탐지된 영상 데이터 내 비정상 군중의 이동 방향 중 최다 빈도로 이동하는 방향을 나타내는 주요 이동 방향, 및 상기 비정상 군중의 분산 정도에 관한 데이터를 포함하는 비정상 군중 행동 탐지 및 분석 장치.
  7. 비정상 군중 행동 탐지 및 분석 장치를 이용한 비정상 군중 행동 탐지 및 분석 방법에 있어서,
    감시 대상 지역에 설치된 카메라에 의해 획득된 비디오스트리밍을 수신하는 단계;
    상기 비디오스트리밍을 H.264/AVC 영상 압축 방식으로 부호화하여, 영상 데이터 및 움직임벡터를 생성하는 단계;
    상기 움직임벡터의 크기에 기초하여, 움직임량을 산출하는 단계;
    상기 움직임량이 기설정된 움직임량의 기준 범위에 포함되는지 여부를 판단하여 비정상 군중 행동의 발생을 탐지하는 단계; 및
    상기 비정상 군중 행동의 발생을 탐지하면, 상기 움직임벡터에 기초하여, 상기 탐지된 비정상 군중 행동에 대한 분석 데이터를 생성하는 단계를 포함하되,
    상기 움직임벡터는, 이전의 다른 프레임을 참조하여 복호화되는 P-프레임(P-frame: Predictive frame) 또는 이전 및 이후의 다른 프레임을 참조하여 복호화되는 B-프레임(B-frame: Bi-predictive frame)을 분할한 복수의 블록에 각각 대응하고,
    상기 분석 데이터는 상기 비정상 군중 행동이 탐지된 상기 비디오스트리밍 내 비정상 군중의 이동 방향 중 최다 빈도로 이동하는 방향을 나타내는 주요 이동 방향 데이터, 및 상기 비정상 군중의 분산 정도를 나타내는 혼잡도 데이터를 포함하며,
    상기 비정상 군중 행동의 발생을 탐지하는 단계는,
    기설정된 정상적인 군중 행동을 포함하는 비디오스트리밍을 학습한 데이터인 상기 움직임량의 기준 범위에 기초하여, 상기 정상적인 군중 행동 이외의 행동인 상기 비정상 군중 행동에 따른 움직임량을 분류하는 SVDD(Support Vector Data Description) 분류기를 통해 상기 비정상 군중 행동의 발생을 탐지하는 비정상 군중 행동 탐지 및 분석 방법.
  8. 제 7 항에 있어서,
    상기 움직임량을 산출하는 단계에서,
    상기 움직임량은, 독립적으로 복호화되는 두 개의 I-프레임(I-frame: Intra frame) 사이에 배치된 적어도 하나의 P-프레임 또는 B-프레임에 있어서, 각 블록에 대응한 움직임벡터들의 크기의 평균값인 비정상 군중 행동 탐지 및 분석 방법.
  9. 삭제
  10. 제 7 항에 있어서,
    상기 분석 데이터를 생성하는 단계는,
    독립적으로 복호화되는 두 개의 I-프레임(Intra frame) 사이에 배치된 적어도 하나의 P-프레임 또는 B-프레임에 있어서, 복수의 블록에 대응한 복수의 움직임벡터의 방향 중 최다 빈도의 방향을 도출하여, 상기 주요 이동 방향 데이터를 생성하는 단계; 및
    상기 영상 데이터로 표시되는 지역을 둘 이상의 구역으로 구획하고, 독립적으로 복호화되는 두 개의 I-프레임(I-frame: Intra frame) 사이에 배치된 적어도 하나의 P-프레임 또는 상기 B-프레임에 있어서, 변동한 움직임벡터가 각 구역에 속하는 비율을 도출하여, 상기 혼잡도 데이터를 생성하는 단계를 포함하는 비정상 군중 행동 탐지 및 분석 방법.
  11. 제 7 항에 있어서,
    상기 분석 데이터를 생성하는 단계 이후에,
    상기 비정상 군중 행동의 발생 일시, 상기 비정상 군중 행동으로 탐지된 영상 데이터의 식별정보, 및 상기 분석 데이터를 포함하는 메타데이터를 저장하는 단계를 더 포함하는 비정상 군중 행동 탐지 및 분석 방법.
KR1020120024666A 2012-03-09 2012-03-09 Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법 KR101346773B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120024666A KR101346773B1 (ko) 2012-03-09 2012-03-09 Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024666A KR101346773B1 (ko) 2012-03-09 2012-03-09 Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법

Publications (2)

Publication Number Publication Date
KR20130103213A KR20130103213A (ko) 2013-09-23
KR101346773B1 true KR101346773B1 (ko) 2013-12-31

Family

ID=49452670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024666A KR101346773B1 (ko) 2012-03-09 2012-03-09 Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법

Country Status (1)

Country Link
KR (1) KR101346773B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600896B1 (en) 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
US10210398B2 (en) 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6696422B2 (ja) 2014-06-27 2020-05-20 日本電気株式会社 異常検知装置及び異常検知方法
CN104732236B (zh) * 2015-03-23 2018-08-24 中国民航大学 一种基于分层处理的人群异常行为智能检测方法
CN111382278B (zh) * 2020-03-04 2023-08-08 华中师范大学 一种基于时空轨迹的社交网络构建方法及构建系统
CN111753651A (zh) * 2020-05-14 2020-10-09 南京熊猫电子股份有限公司 一种基于车站二维人群密度分析的地铁群体异常行为检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101179276B1 (ko) 2011-06-13 2012-09-03 고려대학교 산학협력단 비정상 집단 행동 탐지 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101179276B1 (ko) 2011-06-13 2012-09-03 고려대학교 산학협력단 비정상 집단 행동 탐지 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600896B1 (en) 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
US10210398B2 (en) 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations

Also Published As

Publication number Publication date
KR20130103213A (ko) 2013-09-23

Similar Documents

Publication Publication Date Title
KR101346773B1 (ko) Ｈ.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법
Sitara et al. Digital video tampering detection: An overview of passive techniques
Liu et al. Deep learning in latent space for video prediction and compression
Zhao et al. Real-time moving object segmentation and classification from HEVC compressed surveillance video
US9424747B2 (en) Vehicle counting methods and systems utilizing compressed video streams
US7933333B2 (en) Method and apparatus for detecting motion in MPEG video streams
US10321132B2 (en) System and method for detecting motion in compressed video
Liang et al. Detection of double compression for HEVC videos with fake bitrate
Gorur et al. Skip decision and reference frame selection for low-complexity H. 264/AVC surveillance video coding
JP5713797B2 (ja) 映像監視装置
Ghamsarian et al. Blind MV-based video steganalysis based on joint inter-frame and intra-frame statistics
Deng et al. Digital video steganalysis based on motion vector statistical characteristics
Li et al. A rapid abnormal event detection method for surveillance video based on a novel feature in compressed domain of HEVC
Hwang et al. {CoVA}: Exploiting {Compressed-Domain} analysis to accelerate video analytics
KR102090775B1 (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
Liu et al. Privacy-preserving motion detection for HEVC-compressed surveillance video
Hiller et al. Recognition and pseudonymization of data privacy relevant areas in videos for compliance with GDPR
US20190197849A1 (en) Counter-flow detection in compressed video
KR102015084B1 (ko) 압축영상에 대한 신택스 기반의 도로 역주행 감지 방법
KR20200067682A (ko) 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법
KR102421043B1 (ko) 영상처리장치 및 그 장치의 구동방법
KR102015078B1 (ko) 압축영상에 대한 신택스 기반의 객체 배회 감지 방법
KR102585167B1 (ko) 압축영상에 대한 신택스 기반의 동일인 분석 방법
Bulan et al. Efficient processing of transportation surveillance videos in the compressed domain
JP5173946B2 (ja) 符号化前処理装置、符号化装置、復号装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191007

Year of fee payment: 7