KR101552344B1 - 폭력 상황을 검출하는 장치 및 방법 - Google Patents

폭력 상황을 검출하는 장치 및 방법 Download PDF

Info

Publication number
KR101552344B1
KR101552344B1 KR1020140009133A KR20140009133A KR101552344B1 KR 101552344 B1 KR101552344 B1 KR 101552344B1 KR 1020140009133 A KR1020140009133 A KR 1020140009133A KR 20140009133 A KR20140009133 A KR 20140009133A KR 101552344 B1 KR101552344 B1 KR 101552344B1
Authority
KR
South Korea
Prior art keywords
target object
information
motion
violent situation
optical flow
Prior art date
Application number
KR1020140009133A
Other languages
English (en)
Other versions
KR20150088613A (ko
Inventor
이행렬
반우안
배영훈
Original Assignee
아이브스테크놀러지(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이브스테크놀러지(주) filed Critical 아이브스테크놀러지(주)
Priority to KR1020140009133A priority Critical patent/KR101552344B1/ko
Publication of KR20150088613A publication Critical patent/KR20150088613A/ko
Application granted granted Critical
Publication of KR101552344B1 publication Critical patent/KR101552344B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

입력되는 영상의 프레임에서 사람 또는 사람 그룹을 대상 객체로 추출하여 추출된 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 기반으로 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황을 검출하는 장치 및 방법이 개시된다. 본 발명에 따른 폭력 상황을 검출하는 장치는 입력되는 영상을 분석하여 폭력 상황을 검출하는 장치에 있어서, 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 대상 객체를 추출하는 대상 객체 추출부, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 모션 산출부 및 산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황 검출부를 포함한다.

Description

폭력 상황을 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING VIOLENCE SITUATION}
본 발명은, 폭력 상황을 검출하는 장치 및 방법에 관한 것이다. 더욱 상세하게는 본 발명은, 입력되는 영상의 프레임에서 사람 또는 사람 그룹을 대상 객체로 추출하여 추출된 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 기반으로 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황을 검출하는 장치 및 방법에 관한 것이다.
CCTV(CCTV: closed-circuit television, 폐쇄 회로 텔레비전, 이하 'CCTV'라 함) 감시 시스템은 최근 범죄수사 분야나 보안 분야, 교통사고 처리 분야 등에서 영상정보를 통해 감시구역의 이상 유무를 판단하는 영상정보 기술의 하나로써, 초기에는 공공장소나 위험장소에 설치되어 범죄를 예방하는 목적으로 주로 사용되어 왔으나, 최근에는 보안관리가 필요한 회사나 도로 등 다양한 장소에 설치되어 사용되고 있다.
종래의 CCTV 감시 시스템은 대부분 감시자의 모니터링을 통해 관리가 이루어지므로, 감시 소홀이 빈번하게 발생하게 되고, 감시할 CCTV 화면 수의 증가로 인한 실시간 대처 능력이 현저하게 떨어지는 문제점이 있다.
따라서, 입력되는 영상의 프레임에서 사람 또는 사람 그룹을 대상 객체로 추출하여 추출된 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 기반으로 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황을 검출하는 장치 및 방법이 필요한 실정이다. 관련 기술로는 한국공개특허 제1996-0037797호가 존재한다.
본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 감시자의 모니터링에 의존하지 않고 입력되는 영상의 프레임에서 사람 또는 사람 그룹을 대상 객체로 추출하여 추출된 대상 객체를 대상으로 옵티컬 플로우 정보 및 궤도 정보를 기반으로 입력되는 영상에 폭력 상황이 발생하였는지 여부를 정밀하게 검출하는 것을 가능케 하는 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 폭력 상황을 검출하는 장치는, 입력되는 영상을 분석하여 폭력 상황을 검출하는 장치에 있어서, 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 대상 객체를 추출하는 대상 객체 추출부, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 모션 산출부 및 산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황 검출부를 포함한다.
이 때, 상기 대상 객체 추출부에서 상기 대상 객체가 추출되었는지 여부를 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 초기 판단하는 초기 폭력 상황 검출부를 더 포함할 수 있다.
이 때, 상기 초기 폭력 상황 검출부는, 상기 대상 객체가 사람인 경우, 복수개의 대상 객체가 추출되는 경우에 상기 입력되는 영상에 폭력 상황이 발생한 것으로 초기 판단할 수 있다.
이 때, 상기 모션 산출부는, 상기 옵티컬 플로우 정보를 산출하는 옵티컬 플로우 정보 산출부를 포함하며, 상기 옵티컬 플로우 정보는, 상기 대상 객체의 모션 에너지 정보 및 상기 대상 객체의 모션 방향 정보를 포함하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
이 때, 상기 옵티컬 플로우 정보 산출부는, 상기 대상 객체의 주된 모션 방향을 추정하여 20도 단위를 갖는 18bin으로 그룹화된 광학 플로우 벡터의 각도를 기반으로 상기 대상 객체의 모션 방향 정보를 산출할 수 있다.
이 때, 상기 모션 산출부는, 상기 궤도 정보를 산출하는 궤도 정보 산출부를 포함하며, 상기 궤도 정보는, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도에 관한 정보일 수 있다.
이 때, 상기 궤도 정보 산출부는, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 평행인 경우에는 폭력 상황일 가능성이 적고, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 지그재그(zigzag) 형태인 경우에는 폭력 상황일 가능성이 높다는 사실을 기초로 상기 대상 객체의 프레임의 변화에 따른 2차원 위치 변화를 기반으로 상기 대상 객체의 모션 방향 궤도의 표준 편차를 통하여 상기 모션 방향 궤도에 관한 정보를 산출할 수 있다.
이 때, 상기 폭력 상황 검출부는, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 기정해진 제 1 설정 값에 대응되는 경우 상기 특정 프레임의 지정 값을 1로 산정하고, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 상기 제 1 설정 값에 대응되지 않는 경우 상기 특정 프레임의 지정 값을 0으로 산정할 수 있다.
이 때, 상기 폭력 상황 검출부는, 상기 폭력 상황 검출부는, 상기 대상 객체가 사람 그룹인 경우에는, 상기 대상 객체의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하며, 상기 대상 객체가 사람인 경우에는, 복수개의 대상 객체 각각의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단할 수 있다.
이 때, 상기 기정해진 제 2 설정 값은, 0 초과 및 1 미만의 확률 임계 범위 값일 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 폭력 상황을 검출하는 방법은, 입력되는 영상을 분석하여 폭력 상황을 검출하는 방법에 있어서, 대상 객체 추출부에 의하여, 상기 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 대상 객체를 추출하는 대상 객체 추출 단계, 모션 산출부에 의하여, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 모션 산출 단계 및 폭력 상황 검출부에 의하여, 산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황 검출 단계를 포함한다.
이 때, 상기 대상 객체 추출 단계 이후에, 초기 폭력 상황 검출부에 의하여, 상기 대상 객체 추출 단계에서 상기 대상 객체가 추출되었는지 여부를 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 초기 판단하는 초기 폭력 상황 검출 단계를 더 포함할 수 있다.
이 때, 상기 초기 폭력 상황 검출 단계는, 상기 대상 객체가 사람인 경우, 복수개의 대상 객체가 추출되는 경우에 상기 입력되는 영상에 폭력 상황이 발생한 것으로 초기 판단할 수 있다.
이 때, 상기 모션 산출 단계는, 옵티컬 플로우 정보 산출부에 의하여 상기 옵티컬 플로우 정보를 산출하는 옵티컬 플로우 정보 산출 단계를 포함하며, 상기 옵티컬 플로우 정보는, 상기 대상 객체의 모션 에너지 정보 및 상기 대상 객체의 모션 방향 정보를 포함할 수 있다.
이 때, 상기 옵티컬 플로우 정보 산출 단계는, 상기 대상 객체의 주된 모션 방향을 추정하여 20도 단위를 갖는 18bin으로 그룹화된 광학 플로우 벡터의 각도를 기반으로 상기 대상 객체의 모션 방향 정보를 산출할 수 있다.
이 때, 상기 모션 산출 단계는, 상기 궤도 정보를 산출하는 궤도 정보 산출 단계를 포함하며, 상기 궤도 정보는, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도에 관한 정보일 수 있다.
이 때, 상기 궤도 정보 산출 단계는, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 평행인 경우에는 폭력 상황일 가능성이 적고, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 지그재그(zigzag) 형태인 경우에는 폭력 상황일 가능성이 높다는 사실을 기초로 상기 대상 객체의 프레임의 변화에 따른 2차원 위치 변화를 기반으로 상기 대상 객체의 모션 방향 궤도의 표준 편차를 통하여 상기 모션 방향 궤도에 관한 정보를 산출할 수 있다.
이 때, 상기 폭력 상황 검출 단계는, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 기정해진 제 1 설정 값에 대응되는 경우 상기 특정 프레임의 지정 값을 1로 산정하고, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 상기 제 1 설정 값에 대응되지 않는 경우 상기 특정 프레임의 지정 값을 0으로 산정할 수 있다.
이 때, 상기 폭력 상황 검출 단계는, 상기 대상 객체가 사람 그룹인 경우에는, 상기 대상 객체의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하며, 상기 대상 객체가 사람인 경우에는, 복수개의 대상 객체 각각의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단할 수 있다.
이 때, 상기 기정해진 제 2 설정 값은, 0 초과 및 1 미만의 확률 임계 범위 값일 수 있다.
본 발명에 의하면, 감시자의 모니터링에 의존하지 않고 입력되는 영상의 프레임에서 사람 또는 사람 그룹을 대상 객체로 추출하여 추출된 대상 객체를 대상으로 옵티컬 플로우 정보 및 궤도 정보를 기반으로 입력되는 영상에 폭력 상황이 발생하였는지 여부를 정밀하게 검출할 수 있는 효과가 있다.
도 1은 본 발명에 따른 폭력 상황을 검출하는 장치 및 방법의 개념을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 폭력 상황을 검출하는 장치의 블록도이다.
도 3은 본 발명에 따른 폭력 상황을 검출하는 장치의 모션 산출부를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 폭력 상황을 검출하는 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 폭력 상황을 검출하는 장치 및 방법의 개념을 설명하기 위한 도면이다.
도 1을 참조하여 설명하면, 본 발명에 따른 폭력 상황을 검출하는 장치에 입력되는 영상의 한 프레임(10)에서 나타나는 사람 또는 사람 그룹으로 예상되는 대상 객체(20)를 본 발명의 대상 객체 추출부에서 추출하게 된다. 도 1에 도시된 대상 객체(20)는 사람이 아닌 사람 그룹이 된다.
구체적으로, 본 발명에서는 대상 객체를 정의함에 있어서, 사람 또는 사람 그룹으로 분류하게 되는데, 여기서 상기 사람이라 함은 한 명의 사람을 의미하는 것이며, 상기 사람 그룹이라 함은 적어도 2 이상의 사람이 포함되는 그룹을 의미한다.
이처럼, 도 1에 도시된 바와 같이, 입력되는 영상의 한 프레임(10)에서 추출된 대상 객체(20)를 대상으로 하여 폭력 영상인지 여부를 판단하게 되는데, 구체적인 기술 내용은 후술하도록 한다.
이하, 본 발명에 따른 폭력 상황을 검출하는 장치에 대하여 도면을 참조하여 보다 구체적으로 설명하도록 한다.
도 2는 본 발명에 따른 폭력 상황을 검출하는 장치의 블록도이다.
도 2를 참조하여 설명하면, 본 발명에 따른 폭력 상황을 검출하는 장치(100)는 대상 객체 추출부(110), 초기 폭력 상황 검출부(120), 모션 산출부(130) 및 폭력 상황 검출부(140)를 포함하여 구성된다.
이 때, 상기 초기 폭력 상황 검출부(120)는 필수적 구성요소는 아니며, 본 발명에 따른 폭력 상황을 검출하는 장치(100)의 실시예에 따라 선택되지 않을 수 있다.
도 2에 나타난 각 구성부(110, 120, 130, 140)들은 폭력 상황을 검출하는 장치(100)에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부(110, 120, 130, 140)들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다.
즉, 각 구성부(110, 120, 130, 140)는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고, 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 상기 초기 폭력 상황 검출부(120)와 같이, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
구체적으로, 상기 대상 객체 추출부(110)는, 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 객체를 추출하는 기능을 수행한다.
이 때, 상기와 같은 대상 객체를 추출하는 방법으로는 종래의 기술들을 채용할 수 있다. 예를 들어, 입력되는 영상의 프레임을 대상으로 하여 가우시안 믹스쳐 모델(Gaussian Mixture Model)을 이용하여 움직임이 없는 배경은 삭제하고 움직이는 객체를 먼저 검출한 이후에, 미디언 필터링(Mediun filtering) 및 마스크 연산(Masking)을 통하여 객체들의 영상잡음을 제공함으로써 상기 대상 객체를 추출할 수 있을 것이다.
또한, 상기 초기 폭력 상황 검출부(120)는, 상기 대상 객체 추출부(110)에서 상기 대상 객체가 추출되었는지 여부를 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 초기 판단하는 기능을 수행한다.
즉, 상기 대상 객체 추출부(110)에서 사람 또는 사람 그룹 중 어느 하나라도 추출하지 못한 경우에는 폭력 상황이 일어날 수 없으므로, 1차적으로 사람 또는 사람 그룹이 대상 객체로 추출되었는지 여부로 폭력 상황이 일어났는지 여부를 필터링하는 기능을 수행하는 것이다.
이 때, 상기 대상 객체가 사람인 경우, 복수개의 대상 객체가 추출되는 경우에 상기 입력되는 영상에 폭력 상황이 발생한 것으로 초기 판단한다. 상기 대상 객체가 사람 그룹인 경우에는 하나의 대상 객체만 추출되더라도 폭력 상황이 발생할 수 있지만, 상기 대상 객체가 사람(즉, 1명)인 경우에는 하나의 대상 객체만 추출되는 경우에는 폭력 상황이 발생하기 어렵다는 사실을 기초로 한 것이다.
따라서, 상기 대상 객체가 사람이라면, 적어도 2명 이상의 사람이 존재해야 하므로, 복수개의 대상 객체가 추출되는 경우에 한하여 상기 입력되는 영상에 폭력 상황이 발생한 것으로 초기 판단하는 것이다.
결과적으로, 상기 초기 폭력 상황 검출부(120)에서는 상기 대상 객체 추출부(110)에서 사람 또는 사람 그룹이 대상 객체로 추출된 경우에 후술할 모션 산출부(130)로 이를 알리게 되어, 상기 모션 산출부(130)에서 계속하여 폭력 영상의 존재 여부를 검출하도록 유도하게 된다.
또한, 상기 모션 산출부(120)는, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 기능을 수행한다.
도 3은 본 발명에 따른 폭력 상황을 검출하는 장치의 모션 산출부를 설명하기 위한 도면이다.
도 3을 참조하여 설명하면, 본 발명에 따른 폭력 상황을 검출하는 장치의 모션 산출부(130)는, 옵티컬 플로우 정보 산출부(131) 및 궤도 정보 산출부(132)를 포함하여 구성된다.
구체적으로, 상기 옵티컬 플로우 정보 산출부(131)는, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보를 산출하는 기능을 수행하며, 여기서 상기 옵티컬 플로우 정보에는 상기 대상 객체의 모션 에너지 정보(131a) 및 상기 대상 객체의 모션 방향 정보(131b)를 포함한다.
이 때, 상기 옵티컬 플로우 정보 산출부(131)는, 상기 대상 객체의 주된 모션 방향을 추정하여 20도 단위를 갖는 18bin으로 그룹화된 광학 플로우 벡터의 각도를 기반으로 상기 대상 객체의 모션 방향 정보를 산출할 수 있으며, 구체적인 기술 내용에 대한 설명은 후술하도록 한다.
또한, 상기 궤도 정보 산출부(132)는, 상기 대상 객체를 대상으로 궤도(Trajectory) 정보(132a)를 산출하는 기능을 수행하며, 이 때, 상기 궤도 정보는, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도에 관한 정보를 의미한다.
이 때, 상기 궤도 정보 산출부(132)는, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 평행인 경우에는 폭력 상황일 가능성이 적고, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 지그재그 형태인 경우에는 폭력 상황일 가능성이 높다는 사실을 기초로 상기 대상 객체의 프레임의 변화에 따른 2차원 위치 변화를 기반으로 상기 대상 객체의 모션 방향 궤도의 표준 편차를 통하여 상기 모션 방향 궤도에 관한 정보를 산출할 수 있으며, 구체적인 기술 내용에 대한 설명은 후술하도록 한다.
또한, 상기 폭력 상황 검출부(140)는, 산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 기능을 수행한다.
이 때, 상기 폭력 상황 검출부(140)는, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 기정해진 제 1 설정 값에 대응되는 경우 상기 특정 프레임의 지정 값을 1로 산정하고, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 상기 제 1 설정 값에 대응되지 않는 경우 상기 특정 프레임의 지정 값을 0으로 산정할 수 있다.
또한, 상기 폭력 상황 검출부(140)는, 상기 대상 객체가 사람 그룹인 경우에는, 상기 대상 객체의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단한다.
하지만, 상기 대상 객체가 사람인 경우에는, 일반적으로 사람 한명이 존재하는 경우에 폭력 상황이 연출되는 것은 어렵다는 사실을 기초로 하여 복수개의 대상 객체 각각의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하게 된다. 즉, 상기 대상 객체가 사람인 경우(한명)에는 적어도 2 이상의 대상 객체가 존재하여야 하는 것이다.
여기서, 상기 기정해진 제 2 설정 값은, 0 초과 및 1 미만의 확률 임계 범위 값이며, 구체적인 기술 내용에 대한 설명은 후술 하도록 한다.
이하, 본 발명에서 채용하고 있는 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보에 대하여 상세하게 설명하도록 한다.
일반적으로, 옵티컬 플로우는 영상에서 Motion Estimation에 활용되는 대표적인 기술이다.
예를 들어, 2D 이미지를 가정할 경우, 원래 시간 t에서 (x,y)의 위치에 있던 voxel(또는 pixel)의 intensity를 I(x,y,t)라고 한다. 매우 짧은 시간
Figure 112014007877446-pat00001
동안, voxel의 intensity는 변하지 않았고, 위치의 변화만 일어났다고 가정한다.
역시, 작은 움직임
Figure 112014007877446-pat00002
와
Figure 112014007877446-pat00003
가 각각 x, y의 축에서 일어났다고 하면, 그때의 intensity는
Figure 112014007877446-pat00004
라고 할 수 있다. 그러면, 아래와 같은 수학식 1 또는 수학식2가 성립하게 된다.
Figure 112014007877446-pat00005
Figure 112014007877446-pat00006
여기서, 상기
Figure 112014007877446-pat00007
는
Figure 112014007877446-pat00008
의 옵티컬 플로우 또는 속도 성분의 x, y를 의미하며,
Figure 112014007877446-pat00009
,
Figure 112014007877446-pat00010
및
Figure 112014007877446-pat00011
는, 각각 이미지 I에 대한 x 방향, 그리고 y방향의 편미분 Ix, Iy, It이다. 최종적으로 위의 식은 아래의 수학식3과 같이 나타낼 수 있다.
Figure 112014007877446-pat00012
즉, 구체적으로 설명하면. Motion Vector
Figure 112014007877446-pat00013
를 구하기 위해서는, 영상을 x축으로 미분(Ix)하고, y축으로 미분(Iy)하고, 시간축으로 미분(It)해서 상기 수학식 3에 대한 매트릭스 식에 대입하면 바로 구할 수 있다.
상기 수학식 3에서의 모션 벡터(움직임 벡터)
Figure 112014007877446-pat00014
는 아래의 Lucas-Kanade 방법을 통하여 산출할 수 있다.
상기 Lucas-Kanade 방법은 밀도가 희박한 옵티컬 플로우이므로, regularization term 등을 추가하지 않는 대신 해당 픽셀 주변의 위도를 고려하게 된다. 윈도 내부에 있는 점들을 q1, q2, ... qn 이라고 하고 이들에 대해 상기 옵티컬 플로우 식을 적용하면 아래의 수학식들과 같다.
Figure 112014007877446-pat00015
상기 수학식 4를 Av = b 행렬 형태로 나타내면, 아래의 수학식 5와 같이 나타낼 수 있다.
Figure 112014007877446-pat00016
상기 한 점의 옵티컬 플로우 벡터(Vx,Vy)를 알고자 하는데　윈도에 포함된 점 개수 만큼의 수식이 생겼으니 over-determined이다. 미지수인 v에 대해 풀기 위해서 일단
Figure 112014007877446-pat00017
를 앞에 곱해서 v 앞에 붙은 것들을 정방행렬로 만들어야 한다(정방행렬은 almost surely 역행렬을 가진다고 한다). 그러면 아래의 수학식 6과 같은 2 x 2 시스템이 된다.
Figure 112014007877446-pat00018
상기 수학식 6에서
Figure 112014007877446-pat00019
는, 매트릭스 A의 트랜스 포즈(transpose)이며, 아래의 수학식 7을 통하여 Vx 및 Vy 산출할 수 있다.
Figure 112014007877446-pat00020
상기 수학식 7에서 i는 1부터 n까지 실행된다.
이하, 상기 모션 산출부(130)의 옵티컬 플로우 정보 산출부(131)에서 산출하는 모션 에너지 정보(131a) 및 모션 방향 정보(131b)에 대하여 설명하도록 한다.
상기 대상 객체 추출부(110)를 통하여 추출된 대상 객체의 특정 프레임(t)에서의 모션 에너지 정보(131a)는 아래의 수학식들을 통하여 산출할 수 있다.
Figure 112014007877446-pat00021
Figure 112014007877446-pat00022
Figure 112014007877446-pat00023
Figure 112014007877446-pat00024
상기 수학식 8 내지 11에서 P(t)는, 상기 대상 객체에 속하는 픽셀들의 집합을 의미하며, 상기
Figure 112014007877446-pat00025
는, 상기 P(t)의 옵티컬 플로우 필드를 의미한다. 그리고 최종적으로, 상기 수학식 11에서의
Figure 112014007877446-pat00026
은 상기 모션 에너지 정보(131a)가 되는 것이다. 또한, 상기 N(t)는, P(t)에서의 옵티컬 플로우 개수를 의미한다.
또한, 상기 대상 객체 추출부(110)를 통하여 추출된 대상 객체의 특정 프레임(t)에서의 모션 방향 정보(131b)는 아래의 수학식들을 통하여 산출할 수 있다.
Figure 112014007877446-pat00027
Figure 112014007877446-pat00028
Figure 112014007877446-pat00029
Figure 112014007877446-pat00030
상기 수학식 12 내지 15에서
Figure 112014007877446-pat00031
는 360도 범위로 변환된 옵티컬 플로우의 각도를 의미한다.
또한, 상기
Figure 112014007877446-pat00032
은, 20도의 각도를 갖는 각각의 bin을 의미하며, 상기 각도는 18개의 bin으로 그룹화된다. 또한, 주된 모션 방향(dominant motion direction)의 인덱스는 상기 수학식 14와 같이 정의된다.
결과적으로, 상기 수학식 15를 통하여 상기 모션 방향 정보(131b)인
Figure 112014007877446-pat00033
을 산출할 수 있게 된다.
이하, 상기 대상 객체 추출부(110)를 통하여 추출된 대상 객체의 궤도 정보(132a)는 아래의 수학식들을 통하여 산출할 수 있다.
궤도라 함은, 상기 대상 객체의 프레임 들 간의 히스토리를 의미한다. 따라서, 궤도를 통해서 상기 대상 객체의 움직임들을 확인할 수 있으며 상기 대상 객체의 액션 특징을 산출하는데 중요한 요소가 될 수 있다. 즉, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 평행인 경우에는 폭력 상황일 가능성이 적고, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 지그재그(zigzag) 형태인 경우에는 폭력 상황일 가능성이 높게 된다.
상기와 같은 사실에 기초하여 상기 궤도 정보(132a)는 아래와 같은 수학식들을 통하여 산출할 수 있게 된다.
Figure 112014007877446-pat00034
Figure 112014007877446-pat00035
Figure 112014007877446-pat00036
Figure 112014007877446-pat00037
상기 수학식 16 내지 19에서 상기 T(t)는 프레임 t에서의 길이 n을 갖는 궤도를 의미한다. 또한, 상기
Figure 112014007877446-pat00038
는, 프레임 t에서의 대상 객체(x, y)의 위치를 의미한다. 그리고, 이전 프레임(t-i)에서의 방향 벡터는
Figure 112014007877446-pat00039
으로 설정된다.
따라서, 결과적으로 상기 수학식 18 및 19를 통하여 상기 궤도 정보(132a)인
Figure 112014007877446-pat00040
를 산출할 수 있게 되는 것이다.
이하, 본 발명에 따른 폭력 상황을 검출하는 장치(100)의 폭력 상황 검출부(140)에서의 동작을 구체적으로 설명하도록 한다.
상기 수학식들을 통하여 설명한 바와 같이, 모션 에너지 정보(131a)인
Figure 112014007877446-pat00041
, 모션 방향 정보(131b)인
Figure 112014007877446-pat00042
와 궤도 정보(132a)인
Figure 112014007877446-pat00043
은 폭력 상황을 검출함에 있어서 필수적인 정보가 된다. 이와 같은 정보들을 상기 모션 산출부(130)에서 산출하면, 상기의 정보들을 기반으로 상기 폭력 상황 검출부(140)에서는 입력되는 영상에 폭력 상황이 존재하는지를 판단하게 되는 것이다.
일반적으로, 상기 대상 객체의 움직임이 크면, 폭력 상황이 발생할 가능성이 높다. 따라서, 상기 모션 에너지 정보(131a)의 값은 높게 산출되어야 하며, 또한, 상기 대상 객체의 전방향성(omnidirectional motion)이 작을수록 폭력 상황이 발생할 가능성이 높기 때문에 상기 모션 방향 정보(131b)의 값은 작게 산출되어야 한다.
또한, 상기 대상 객체가 평행하게 직선으로 움직이는 것보다, 지그재그 형태로 움직이는 것으로 판단되는 경우가 폭력 상황이 발생할 가능성이 높기 때문에, 상기 궤도 정보(132a)는 높게 산출되어야 폭력 상황으로 볼 수 있다.
상기와 같은 사실을 기초로 상기 폭력 상황 검출부(140)에서는 아래의 수학식들을 통하여 폭력 상황을 검출하게 된다.
Figure 112014007877446-pat00044
Figure 112014007877446-pat00045
Figure 112014007877446-pat00046
구체적으로, 상기 폭력 상황 검출부(140)는, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 기정해진 제 1 설정 값에 대응되는 경우 상기 특정 프레임의 지정 값을 1로 산정하고, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 상기 제 1 설정 값에 대응되지 않는 경우 상기 특정 프레임의 지정 값을 0으로 산정할 수 있다.
또한, 상기 대상 객체가 사람 그룹인 경우에는, 상기 대상 객체가 복수개일필요 없이 하나의 대상 객체의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단한다.
하지만 상기 대상 객체가 사람인 경우에는, 사람 한명이 폭력 상황을 연출하는 것은 어렵다는 사실을 기초로 복수개의 대상 객체 각각의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단할 수 있다.
즉, 상기 수학식 20 내지 22에서 F(x)는 변수 x에 대한 바이너리 함수로서, 조건을 만족하면 1의 값(지정 값)을 갖고, 조건을 만족하지 못하면 0의 값(지정 값)을 갖게 되는 것이다.
상기 수학식 20 내지 22에서,
Figure 112014007877446-pat00047
의 관계를 가지며 상기 제 1 설정 값이 된다. 즉, 상기 제 1 설정 값은 각 정보 별로 기정해진 값을 의미하므로, 모션 에너지 정보에 대한 설정 값, 모션 방향 정보에 대한 설정 값 및 궤도 정보에 대한 설정 값으로 나뉠 수 있으며, 각각 서로 다른 설정 값을 갖는다.
또한, 상기 수학식 20에서, 상기
Figure 112014007877446-pat00048
는, 상기 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 되는데, 구체적으로 상기 모션 에너지 정보(131a)를 기준으로 각 프레임 별로 산출된 지정 값의 평균 값이 된다.
또한, 상기 수학식 21에서, 상기
Figure 112014007877446-pat00049
는, 상기 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 되는데, 구체적으로 상기 모션 방향 정보(131b)를 기준으로 각 프레임 별로 산출된 지정 값의 평균 값이 된다.
또한, 상기 수학식 22에서, 상기
Figure 112014007877446-pat00050
는, 상기 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 되는데, 구체적으로 상기 궤도 정보(132a)를 기준으로 각 프레임 별로 산출된 지정 값의 평균 값이 된다.
상기와 같이 산출된 상기 지정 값의 평균들은(
Figure 112014007877446-pat00051
,
Figure 112014007877446-pat00052
,
Figure 112014007877446-pat00053
) 기정해진 값인 상기 제 2 설정 값의 범위에 속해야 폭력 상황으로 판단된다.
여기서, 상기 제 2 설정 값은 0 초과 및 1 미만의 확률 임계 범위 값이 된다. 이를 표현하면 아래의 수학식 23 및 24과 같이 나타낼 수 있다.
Figure 112014007877446-pat00054
Figure 112014007877446-pat00055
이하, 본 발명에 따른 폭력 영상을 검출하는 방법에 대하여 설명하도록 한다. 상기 설명한 바와 같이 본 발명에 따른 폭력 영상을 검출하는 장치(100)와 중복되는 기술 내용에 대한 설명은 생략하도록 한다.
도 4는 본 발명에 따른 폭력 상황을 검출하는 방법의 흐름도이다.
도 4를 참조하여 설명하면, 본 발명에 따른 폭력 상황을 검출하는 방법은, 입력되는 영상을 분석하여 폭력 상황을 검출하는 방법에 있어서, 대상 객체 추출부에 의하여, 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 대상 객체를 추출하는 대상 객체 추출 단계(S100)가 진행된다.
상기 대상 객체 추출 단계(S100) 이후에는, 초기 폭력 상황 검출부에 의하여, 상기 대상 객체 추출 단계(S100) 에서 상기 대상 객체가 추출되었는지 여부를 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 초기 판단하는 초기 폭력 상황 검출 단계(S110)가 진행된다.
또한, 상기 초기 폭력 상황 검출 단계(S110) 이후에는, 모션 산출부에 의하여, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 모션 산출 단계(S120)가 진행된다.
상기 모션 산출 단계(S120) 이후에는, 폭력 상황 검출부에 의하여, 산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황 검출 단계(S130)가 진행되어 본 발명에 따른 폭력 상황을 검출하는 방법이 종료된다.
상기 살펴본 바와 같이, 본 발명에 따른 폭력 상황을 검출하는 장치(100) 및 방법에 의하면, 감시자의 모니터링에 의존하지 않고 입력되는 영상의 프레임에서 사람 또는 사람 그룹을 대상 객체로 추출하여 추출된 대상 객체를 대상으로 옵티컬 플로우 정보 및 궤도 정보를 기반으로 입력되는 영상에 폭력 상황이 발생하였는지 여부를 정밀하게 검출할 수 있는 장점이 있다.
이상에서와 같이 본 발명에 따른 폭력 상황을 검출하는 장치(100) 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 프레임 20: 대상 객체
100: 폭력 상황을 검출하는 장치 110: 대상 객체 추출부
120: 초기 폭력 상황 검출부 130: 모션 산출부
140: 폭력 상황 검출부 131: 옵티컬 플로우 정보 산출부
132: 궤도 정보 산출부 131a: 모션 에너지 정보
131b: 모션 방향 정보 132a: 궤도 정보

Claims (20)

  1. 입력되는 영상을 분석하여 폭력 상황을 검출하는 장치에 있어서,
    상기 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 대상 객체를 추출하는 대상 객체 추출부;
    상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 모션 산출부; 및
    산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황 검출부를 포함하고,
    상기 폭력 상황 검출부는,
    상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 기정해진 제 1 설정 값에 대응되는 경우 상기 특정 프레임의 지정 값을 1로 산정하고, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 상기 제 1 설정 값에 대응되지 않는 경우 상기 특정 프레임의 지정 값을 0으로 산정하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  2. 청구항 1에 있어서,
    상기 대상 객체 추출부에서 상기 대상 객체가 추출되었는지 여부를 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 초기 판단하는 초기 폭력 상황 검출부를 더 포함하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  3. 청구항 2에 있어서,
    상기 초기 폭력 상황 검출부는,
    상기 대상 객체가 사람인 경우,
    복수개의 대상 객체가 추출되는 경우에 상기 입력되는 영상에 폭력 상황이 발생한 것으로 초기 판단하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  4. 청구항 1에 있어서,
    상기 모션 산출부는,
    상기 옵티컬 플로우 정보를 산출하는 옵티컬 플로우 정보 산출부를 포함하며,
    상기 옵티컬 플로우 정보는,
    상기 대상 객체의 모션 에너지 정보 및 상기 대상 객체의 모션 방향 정보를 포함하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  5. 청구항 4에 있어서,
    상기 옵티컬 플로우 정보 산출부는,
    상기 대상 객체의 주된 모션 방향을 추정하여 20도 단위를 갖는 18bin으로 그룹화된 광학 플로우 벡터의 각도를 기반으로 상기 대상 객체의 모션 방향 정보를 산출하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  6. 청구항 4에 있어서,
    상기 모션 산출부는,
    상기 궤도 정보를 산출하는 궤도 정보 산출부를 포함하며,
    상기 궤도 정보는,
    상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도에 관한 정보인 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  7. 청구항 6에 있어서,
    상기 궤도 정보 산출부는,
    상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 평행인 경우에는 폭력 상황일 가능성이 적고, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 지그재그(zigzag) 형태인 경우에는 폭력 상황일 가능성이 높다는 사실을 기초로 상기 대상 객체의 프레임의 변화에 따른 2차원 위치 변화를 기반으로 상기 대상 객체의 모션 방향 궤도의 표준 편차를 통하여 상기 모션 방향 궤도에 관한 정보를 산출하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  8. 삭제
  9. 청구항 1에 있어서,
    상기 폭력 상황 검출부는,
    상기 대상 객체가 사람 그룹인 경우에는,
    상기 대상 객체의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하며,
    상기 대상 객체가 사람인 경우에는,
    복수개의 대상 객체 각각의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하는 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  10. 청구항 9에 있어서,
    상기 기정해진 제 2 설정 값은,
    0 초과 및 1 미만의 확률 임계 범위 값인 것을 특징으로 하는 폭력 상황을 검출하는 장치.
  11. 입력되는 영상을 분석하여 폭력 상황을 검출하는 방법에 있어서,
    대상 객체 추출부에 의하여, 입력되는 영상의 프레임에서 사람 또는 사람 그룹으로 예상되는 대상 객체를 추출하는 대상 객체 추출 단계;
    모션 산출부에 의하여, 상기 대상 객체를 대상으로 옵티컬 플로우(Optical Flow) 정보 및 궤도(Trajectory) 정보를 이용하여 상기 대상 객체의 모션을 산출하는 모션 산출 단계; 및
    폭력 상황 검출부에 의하여, 산출된 모션을 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 여부를 검출하는 폭력 상황 검출 단계를 포함하고,
    상기 폭력 상황 검출 단계는,
    상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 기정해진 제 1 설정 값에 대응되는 경우 상기 특정 프레임의 지정 값을 1로 산정하고, 상기 대상 객체의 특정 프레임에 대한 옵티컬 플로우 정보 및 상기 궤도 정보가 상기 제 1 설정 값에 대응되지 않는 경우 상기 특정 프레임의 지정 값을 0으로 산정하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  12. 청구항 11에 있어서,
    상기 대상 객체 추출 단계 이후에,
    초기 폭력 상황 검출부에 의하여, 상기 대상 객체 추출 단계에서 상기 대상 객체가 추출되었는지 여부를 기반으로 상기 입력되는 영상에 폭력 상황이 발생하였는지 초기 판단하는 초기 폭력 상황 검출 단계를 더 포함하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  13. 청구항 12에 있어서,
    상기 초기 폭력 상황 검출 단계는,
    상기 대상 객체가 사람인 경우,
    복수개의 대상 객체가 추출되는 경우에 상기 입력되는 영상에 폭력 상황이 발생한 것으로 초기 판단하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  14. 청구항 11에 있어서,
    상기 모션 산출 단계는,
    옵티컬 플로우 정보 산출부에 의하여 상기 옵티컬 플로우 정보를 산출하는 옵티컬 플로우 정보 산출 단계를 포함하며,
    상기 옵티컬 플로우 정보는,
    상기 대상 객체의 모션 에너지 정보 및 상기 대상 객체의 모션 방향 정보를 포함하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  15. 청구항 14에 있어서,
    상기 옵티컬 플로우 정보 산출 단계는,
    상기 대상 객체의 주된 모션 방향을 추정하여 20도 단위를 갖는 18bin으로 그룹화된 광학 플로우 벡터의 각도를 기반으로 상기 대상 객체의 모션 방향 정보를 산출하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  16. 청구항 14에 있어서,
    상기 모션 산출 단계는,
    상기 궤도 정보를 산출하는 궤도 정보 산출 단계를 포함하며,
    상기 궤도 정보는,
    상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도에 관한 정보인 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  17. 청구항 16에 있어서,
    상기 궤도 정보 산출 단계는,
    상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 평행인 경우에는 폭력 상황일 가능성이 적고, 상기 대상 객체의 프레임의 변화에 따른 모션 방향 궤도가 지그재그(zigzag) 형태인 경우에는 폭력 상황일 가능성이 높다는 사실을 기초로 상기 대상 객체의 프레임의 변화에 따른 2차원 위치 변화를 기반으로 상기 대상 객체의 모션 방향 궤도의 표준 편차를 통하여 상기 모션 방향 궤도에 관한 정보를 산출하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  18. 삭제
  19. 청구항 11에 있어서,
    상기 폭력 상황 검출 단계는,
    상기 대상 객체가 사람 그룹인 경우에는,
    상기 대상 객체의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하며,
    상기 대상 객체가 사람인 경우에는,
    복수개의 대상 객체 각각의 소정의 프레임 구간에 대응되는 상기 지정 값의 평균이 기정해진 제 2 설정 값에 대응되는 경우 상기 입력되는 영상에 폭력 상황이 발생한 것으로 판단하는 것을 특징으로 하는 폭력 상황을 검출하는 방법.
  20. 청구항 19에 있어서,
    상기 기정해진 제 2 설정 값은,
    0 초과 및 1 미만의 확률 임계 범위 값인 것을 특징으로 하는 폭력 상황을 검출하는 방법.
KR1020140009133A 2014-01-24 2014-01-24 폭력 상황을 검출하는 장치 및 방법 KR101552344B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140009133A KR101552344B1 (ko) 2014-01-24 2014-01-24 폭력 상황을 검출하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140009133A KR101552344B1 (ko) 2014-01-24 2014-01-24 폭력 상황을 검출하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150088613A KR20150088613A (ko) 2015-08-03
KR101552344B1 true KR101552344B1 (ko) 2015-09-10

Family

ID=53872990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009133A KR101552344B1 (ko) 2014-01-24 2014-01-24 폭력 상황을 검출하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101552344B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485763A (zh) * 2016-10-21 2017-03-08 云南北方昆物光电科技发展有限公司 道路交通事故现场图片成像方法
KR20200057834A (ko) 2018-11-15 2020-05-27 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY198232A (en) * 2018-12-26 2023-08-15 Mimos Berhad System and method for detecting aggressive behaviour activity
KR102182660B1 (ko) * 2019-11-28 2020-11-25 세종대학교산학협력단 시공간 특징을 이용한 폭력 감지 시스템, 방법 및 상기 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체
KR102286229B1 (ko) * 2020-02-19 2021-08-06 한국기술교육대학교 산학협력단 특징벡터 기반 싸움 이벤트 인식 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195130A (ja) 2006-01-17 2007-08-02 Ara Software:Kk 映像監視システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007195130A (ja) 2006-01-17 2007-08-02 Ara Software:Kk 映像監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:IEEE

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485763A (zh) * 2016-10-21 2017-03-08 云南北方昆物光电科技发展有限公司 道路交通事故现场图片成像方法
KR20200057834A (ko) 2018-11-15 2020-05-27 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법

Also Published As

Publication number Publication date
KR20150088613A (ko) 2015-08-03

Similar Documents

Publication Publication Date Title
US6081606A (en) Apparatus and a method for detecting motion within an image sequence
US9158985B2 (en) Method and apparatus for processing image of scene of interest
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
KR101552344B1 (ko) 폭력 상황을 검출하는 장치 및 방법
US8208733B2 (en) Method, medium, and apparatus with estimation of background change
CN107818573B (zh) 一种目标跟踪方法及装置
US9159137B2 (en) Probabilistic neural network based moving object detection method and an apparatus using the same
KR101484263B1 (ko) 폭력 감지 시스템 및 폭력 감지 방법
CN112930535A (zh) 基于视频分析的人群行为异常检测
Malhi et al. Vision based intelligent traffic management system
KR102159954B1 (ko) 지능형 영상 분석을 위한 관심 영역 설정 방법 및 이에 따른 영상 분석 장치
KR101125936B1 (ko) 엘리베이터 보안을 위한 지능형 영상 감시시스템 및 그 방법
KR101441107B1 (ko) 승강기내 이상 행동 판별 방법 및 그 장치
KR20140132140A (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
Huang et al. Rapid detection of camera tampering and abnormal disturbance for video surveillance system
Tsushita et al. A study on detection of abnormal behavior by a surveillance camera image
KR20160035631A (ko) 히스토그램 기반의 움직임 검출 방법 및 그 장치
KR101398684B1 (ko) 승강기 도어 개폐 감지 방법 및 장치
KR20210008574A (ko) 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치
SanMiguel et al. Object-size invariant anomaly detection in video-surveillance
Joshi Vehicle speed determination using image processing
RU2676028C1 (ru) Способ обнаружения оставленного предмета в видеопотоке
Sehairi et al. A Real-Time Implementation of Moving Object Action Recognition System Based on Motion Analysis
Mejía-Iñigo et al. Color-based texture image segmentation for vehicle detection

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180905

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 5