KR102101623B1

KR102101623B1 - 영상 정보를 이용하여 이상 상황을 감지하는 방법 및 장치

Info

Publication number: KR102101623B1
Application number: KR1020180142097A
Authority: KR
Inventors: 단병규
Original assignee: 주식회사 에스원
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2020-04-17

Abstract

영상 정보를 이용하여 이상 상황을 감지하는 방법 및 장치가 제공된다. 감지 장치가, 획득되는 영상으로부터 특징점을 추출하고, 상기 영상의 프레임별로 추출된 특징점들의 특성을 분류한다. 그리고 상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단한다. 상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하고, 상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하며, 상기 이상 상황이 발생한 경우, 이상 상황 발생을 표시한다.

Description

영상 정보를 이용하여 이상 상황을 감지하는 방법 및 장치{Method and apparatus for detecting informal situation using image}

본 발명은 영상 정보를 이용하여 난동 등의 이상 상황을 감지하는 방법 및 장치에 관한 것이다.

영상 감시 장치로서 CCTV(closed circuit television) 시스템이 다양한 분야에 적용되고 있다. 기존의 감시 장치로서의 CCTV에서는 사람이 촬영 내용의 대부분을 AVR(analog video recorder), DVR(digital video recorder), NVR(network video recorder) 등을 통해 직접 확인하고, 이상 행동을 식별한다. 이로 인해, 많은 운영 인원이 필요하고, 운영 인원이 식별해야 할 객체나 행위를 놓치기 쉬웠다.

따라서 사람이 영상을 감시할 필요 없이, 영상 분석을 통해 특정 물체나 사람의 행위를 자동으로 감지한 후 이를 사용자에게 알려주고 이상 행동에 맞는 빠른 대처를 수행할 수 있는 지능형 CCTV의 개발이 활발히 진행되고 있다. 이상 행동은 정상적이라고 규정된 행동을 제외한 다양한 행동을 포함하며, 예를 들어, 폭력 행동, 난동 행동 등을 포함할 수 있다.

관련 기술로는 대한민국 특허 등록 번호 제10-1541272호에 개시된 "사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법", 동 특허 등록 번호 제10-1651410호에 개시된 "다중시차 행위인식 기반의 폭력 검출시스템 및 검출방법"이 있다. 이 기술들은 카메라 촬영 영상을 기반으로 사람 사이에서 쌍방, 혹은 일방의 폭력을 감지하기 위하여 각 상황의 구성원 및 시나리오를 정의하고 이를 분류하는 방법을 제안하였다.

또한, 10-1441107호에 개시된 "승강기내 이상 행동 판별 방법 및 그 장치", 동특허 등록 번호 제10-1484263호에 개시된 "폭력 감지 시스템 및 폭력 감지 방법", 동특허출원 출원 번호 제10-2016-0088884호에 개시된 "네트워크 카메라 및 이를 이용한 폭력 감지 방법"이 있다. 이 기술들은 기존에 정의한 요소, 혹은 학습된 특성과 부합하는 상황을 감지하는 방법을 개시하고 있다.

그러나 폭력을 비롯한 난동 상황에서는 사람의 자세, 움직임의 방향이 불규칙하게 이루어지기 때문에, 이러한 종래의 기술들은 밀착하고 있는 사람을 검출하거나 구분하는 데에 실패하거나, 기물에 대한 난동 상황과 같이 사전에 정의, 혹은 학습된 조건에 부합하지 않는 경우에서 검출 성능이 저하할 수 있다.

본 발명이 해결하고자 하는 과제는, 영상의 특징점 특성을 분류하고 이를 결합·분석하는 방법으로, 난동 등의 이상 상황을 효과적으로 감지하기 위한 방법 및 장치를 제공하는 것이다.

본 발명의 특징에 따른 방법은, 감지 장치를 이용하여 영상으로부터 이상 상황을 감지하는 방법으로서, 상기 감지 장치가, 획득되는 영상으로부터 특징점을 추출하는 단계; 상기 영상의 프레임별로 추출된 특징점들의 특성을 분류하는 단계; 상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단하는 단계; 상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하는 단계; 상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하는 단계; 및 상기 이상 상황이 발생한 경우, 이상 상황 발생을 표시하는 단계를 포함한다.

상기 이상 블록을 판단하는 단계는, 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 중 적어도 하나를 기반으로 이상 블록들을 합하여 이상 상황 영역을 생성할 수 있다.

상기 이상 블록을 판단하는 단계는, 서로 일정 거리 이내에 인접한 이상 블록들을 합하여 상기 이상 상황 영역을 생성하는 단계를 포함할 수 있다.

상기 방법은, 상기 영상으로부터 객체 영역 정보를 생성하는 단계를 더 포함할 수 있으며, 상기 객체 영역 정보는 상기 영상에서 전경 객체인 영역, 사람이 검출된 영역에 대한 정보를 포함할 수 있다.

상기 이상 블록을 판단하는 단계는, 상기 전경 객체 영역, 사람 검출 영역을 기반으로, 임의 이상 블록들을 합하여 이상 상황 영역을 생성하는 단계를 포함할 수 있다.

또한, 상기 이상 블록을 판단하는 단계는, 일정 거리 이내에 인접한 이상 블록들이고 상기 전경 객체 영역, 및 사람 검출 영역에 해당하는 이상 블록들을 합하여 상기 이상 상황 영역을 생성하는 단계를 포함할 수 있다.

한편, 상기 특징점들의 특성을 분류하는 단계는, 현재 프레임의 특징점과 이전 프레임의 특징점을 비교하고, 특징점의 움직임에 따른 이동 거리의 크기, 프레임 사이에서 특징점의 가려짐 여부를 기반으로 상기 현재 프레임의 특징점을 하나의 특성으로 분류하는 단계를 포함할 수 있다.

또한, 상기 특징점을 추출하는 단계는, 하나의 프레임에서 다른 지점과 구분되는 고유한 특징 벡터를 추출할 수 있는 복수 개의 지점을 검출하여 특징점 좌표와 특징 벡터를 추출하는 단계를 포함할 수 있다.

또한, 상기 이상 블록을 판단하는 단계는, 상기 영상 또는 영상의 ROI(region of interest)를 일정한 크기의 블록들로 나누고, 각 블록 내의 특성별 특징점의 분포를 분석하여 이상 블록을 판단할 수 있다.

또한, 상기 이상 상황 발생 여부를 판단하는 단계는, 상기 이상 상황 영역들이 일정 시간 동안 계속적으로 생성되거나 임의 영역이 일정 시간 동안 이상 상황 영역으로 계속 생성되어 이상 상황 상태가 지속되는 것으로 판단되는 경우, 최종적으로 이상 상황이 발생한 것으로 판단할 수 있다.

상기 이상 상황 발생을 표시하는 단계는, 영상, 소리, 문자, 데이터 중 적어도 하나를 이용하여 이상 상황을 표시하여 사용자가 인지하도록 하거나, 영상, 소리, 문자, 데이터 중 적어도 하나를 이용하여 사용자의 단말로 사용자의 이상 상황을 통보할 수 있다.

본 발명의 다른 특징에 따른 장치는, 영상을 입력받도록 구성된 제1 인터페이스 장치; 상기 영상을 토대로 이상 상황을 감지하도록 구성된 프로세서; 및 이상 상황이 발생한 경우 이상 상황을 표시하도록 구성된 제2 인터페이스 장치를 포함하며, 상기 프로세서는, 상기 입출력 인터페이스 장치를 통하여 획득되는 영상으로부터 특징점을 추출하도록 구성된 특징점 추출부; 상기 영상의 프레임별로 추출된 특징점들의 특성을 분류하도록 구성된 특징점 분류부; 상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단하도록 구성된 이상 블록 판단부; 상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하도록 구성된 이상 상황 영역 생성부; 상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하도록 구성된 이상 상황 판단부; 그리고 상기 이상 상황이 발생한 경우, 상기 제2 인터페이스 장치를 통하여 이상 상황 발생을 표시하도록 구성된 이상 상황 표시부를 포함하도록 구성된다.

상기 이상 상황 영역 생성부는, 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 중 적어도 하나를 기반으로 이상 블록들을 합하여 이상 상황 영역을 생성하도록 구성될 수 있다.

상기 이상 상황 영역 생성부는, 서로 일정 거리 이내에 인접한 이상 블록들을 합하여 상기 이상 상황 영역을 생성하도록 구성될 수 있다.

상기 프로세서는 상기 영상으로부터 객체 영역 정보를 생성하도록 구성된 객체 영역 검출부를 더 포함하도록 구성되고, 상기 객체 영역 정보는 상기 영상에서 전경 객체인 영역, 사람이 검출된 영역에 대한 정보를 포함하며, 상기 이상 상황 영역 생성부는, 상기 전경 객체 영역, 사람 검출 영역을 기반으로, 임의 이상 블록들을 합하여 이상 상황 영역을 생성하는 방법, 그리고 일정 거리 이내에 인접한 이상 블록들이고 상기 전경 객체 영역, 및 사람 검출 영역에 해당하는 이상 블록들을 합하여 상기 이상 상황 영역을 생성하는 방법 중 하나를 이용하여, 이상 상황 영역을 생성하도록 구성될 수 있다.

상기 특징점 분류부는, 현재 프레임의 특징점과 이전 프레임의 특징점을 비교하고, 특징점의 움직임에 따른 이동 거리의 크기, 프레임 사이에서 특징점의 가려짐 여부를 기반으로 상기 현재 프레임의 특징점을 하나의 특성으로 분류하도록 구성될 수 있다.

상기 이상 블록 판단부는, 상기 영상 또는 영상의 ROI(region of interest)를 일정한 크기의 블록들로 나누고, 각 블록 내의 특성별 특징점의 분포를 분석하여 이상 블록을 판단하도록 구성될 수 있다.

또한, 상기 이상 블록 판단부는 임의의 블록에 대하여, 제1 비율과 제2 비율 중 적어도 하나가 미리 설정된 제1 임계치를 초과하는 경우에 상기 블록을 이상 블록으로 판단하는 제1 방법, 및 설정 비율이 상기 제1 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하는 제2 방법 중 적어도 하나를 이용하여 이상 블록을 판단할 수 있으며, 상기 제1 비율은 (N11+N12)/N13이며, 상기 N11은 이전 프레임의 해당 블록에서 검출되었던 특징점이지만, 현재 프레임의 해당 블록에서 검출되지 않은 특징점의 수를 나타내고, 상기 N12는 이전 프레임의 해당 블록에서 검출되었던 특징점들 중에서 현재 프레임의 해당 블록에서 매칭되는 특징점과의 이동거리가 미리 설정된 제2 임계치 이상으로 큰 특징점의 수를 나타내며, 상기 N13은 이전 프레임의 해당 블록에서 검출되었던 모든 특징점의 수를 나타내고, 상기 제2 비율은 (N21+N22)/N23이며, 상기 N21은 현재 프레임의 해당 블록에서 검출된 특징점이지만 이전 프레임의 해당 블록에서는 검출되지 않았던 특징점의 수를 나타내고, 상기 N22는 현재 프레임의 해당 블록에서 검출된 특징점 중에서 이전 프레임에서 매칭되는 특징점과의 이동 거리가 상기 제2 임계치 이상으로 큰 특징점의 수를 나타내며, 상기 N23은 현재 프레임의 해당 블록에서 검출되는 모든 특징점의 수를 나타내며, 상기 설정 비율은 (N11+N12+N21+N22)/(N13+N23)일 수 있다.

상기 이상 상황 판단부는, 상기 이상 상황 영역들이 일정 시간 동안 계속적으로 생성되거나 임의 영역이 일정 시간 동안 이상 상황 영역으로 계속 생성되어 이상 상황 상태가 지속되는 것으로 판단되는 경우, 최종적으로 이상 상황이 발생한 것으로 판단할 수 있다.

본 발명의 실시 예에 따르면, 영상 정보를 이용하여 불규칙한 움직임으로 발생하는 난동 등의 이상 상황을 효과적으로 감지할 수 있다. 또한 객체 검출 결과의 적용 여부와 적용 방법을 다양하게 변경하는 것이 가능하여 사람 사이에서 이루어지는 폭력 행위뿐 아니라 기물 파손이나 위협 행동과 같이 한 명의 사람이 일으키는 난동 상황을 감지할 수 있다.

도 1은 본 발명의 실시 예에 따른 이상 상황을 감지하는 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 특징점 분류를 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 이상 블록의 예를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 이상 상황 영역의 예를 나타낸 도이다.
도 5는 본 발명의 실시 예에 따른 이상 상황 판단의 예를 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 이상 상황을 감지하는 방법의 흐름도이다.
도 7은 본 발명의 실시 예에 따른 이상 상황을 감지하는 방법에서의 특징점, 이상 블록, 이상 상황 영역의 관계를 나타낸 도이다.
도 8은 본 발명의 다른 실시 예에 따른 이상 상황을 감지하는 장치의 구조를 나타낸 도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '전기적으로 연결'되어 있는 경우도 포함한다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

한편, 본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.

본 명세서에서 객체는 사람, 동물, 또는 물체를 지칭할 수 있다. 이하에서는 설명의 편의를 위해 객체가 사람인 경우를 가정하여 설명하지만, 본 발명의 권리 범위는 이에 한정되지는 않는다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 이상 상황을 감지하는 방법 및 장치에 대하여 설명한다.

본 발명의 실시 예에서는 영상으로부터 복수의 특징점을 추출하고 시간에 따른 특징점의 이동과 변화를 추적하여 특징점을 특성별로 분류하고, 각 특성별 특징점 분포를 기반으로 영상의 임의 블록의 이상 상황 가능성을 분석하며, 이상 상황 가능성이 있는 블록을 합한 이상 상황 영역을 기반으로 이상 상황 발생 여부를 판단한다.

본 발명의 실시 예에서, 이상 상황을 이상 행동이 발생하는 상황을 나타내며, 이상 행동은 정상적이라고 규정된 행동을 제외한 다양한 행동을 포함하며, 예를 들어, 폭력 행동, 난동 행동 등을 포함할 수 있다. 따라서, 이상 상황은 난동이 발생한 상황 등을 포함할 수 있다.

도 1은 본 발명의 실시 예에 따른 이상 상황을 감지하는 장치의 구조를 나타낸 도이다.

첨부한 도 1에서와 같이, 본 발명의 실시 예에 따른 이상 상황을 감지하는 장치(이하, 설명의 편의를 위해, 감지 장치라고 명명함)(1)는, 영상 획득부(10), 특징점 추출부(20), 특징점 분류부(30), 이상 블록 분석부(40), 이상 상황 영역 생성부(50), 이상 상황 판단부(60), 그리고 이상 상황 표시부(70)를 포함하며, 또한 객체 영역 검출부(80)를 더 포함할 수 있다.

영상 획득부(10)는 다양한 형태의 카메라, 또는 영상 정보를 제공하는 매체(예를 들어, 저장 매체 등)로부터 영상을 획득하도록 구성된다. 카메라 등에 의해 촬영된 영상을 분석 가능하도록 처리하는 기술은 이미 공지되어 있으므로, 여기서는 상세한 설명을 생략한다.

특징점 추출부(20)는 영상 획득부(10)로부터 제공되는 영상에 대하여 특징점을 추출하도록 구성된다. 특징점은 이미지 처리를 통하여 획득되는 영상의 특징을 나타내는 정보이다. 특징점 추출부(20)는 영상의 프레임별로 특징점을 특징점 좌표와 특징 벡터를 추출하고, 이때, 한 프레임에서 다른 지점과 구분되는 고유한 특징 벡터를 추출할 수 있는 복수 개의 지점을 검출하여 특징점 좌표와 특징 벡터를 추출할 수 있다.

특징점 분류부(30)는 각 프레임별로 추출되는 특징점을 기반으로 특징점의 특성을 분류하도록 구성된다. 특징점 분류부(30)는 현재 프레임의 특징점과 이전 프레임의 특징점을 비교하고, 비교 결과에 따라 현재 프레임의 특징점을 하나의 특성으로 분류한다. 특징점은 다양한 특성 중 하나의 특성으로 분류될 수 있다.

구체적인 한 예로서, 특징점 분류부(30)는 프레임 사이의 특징점을 매칭하여 특징점의 움직임을 획득한다. 특징점의 움직임에 따른 이동 거리의 크기, 프레임 사이에서 특징점의 가려짐 여부 등을 토대로 하여, 특징점을 하나의 특성으로 분류할 수 있다.

도 2는 본 발명의 실시 예에 따른 특징점 분류를 나타낸 예시도이다.

이전 프레임의 특징점들과 현재 프레임의 특징점들을 비교하여, 도 2와 같이, 특징점의 움직임을 획득한다. 그리고 획득되는 특징점의 움직임에 따른 이동 거리를 측정하고, 프레임 사이에서 특징점의 가려짐 여부를 판단한다. 특징점의 움직임에 따른 이동 거리와 프레임 사이에서 특징점의 가려짐 여부를 기반으로, 특징점을 하나의 특성으로 분류할 수 있는데, 예를 들어, 도 2에 예시된 바와 같이, 특징점이, 가려진 특징점(A1), 이동 거리가 큰 특징점(A2), 드러난 특징점(A3), 이동 거리가 작은 특징점(A4) 등으로 분류될 수 있다. 가려진 특징점(A1)은 이전 프레임에서 나타나지만, 현재 프레임에서 나타나지 않은 특징점을 나타내며, 드러난 특징점(A3)은 이전 프레임에서 나타나지 않지만, 현재 프레임에서 나타나는 특징점을 나타낸다. 이동 거리가 큰 특징점(A2)은 이전 프레임에 비해 현재 프레임에서 움직임이 발생하고 그 움직임에 따른 이동 거리가 설정 거리보다 큰 특징점을 나타내고, 이동 거리가 작은 특징점(A4)은 이전 프레임에 비해 현재 프레임에서 움직임이 발생하고 그 움직임에 따른 이동 거리가 설정 거리보다 작은 특징점을 나타낸다. 여기서 이동 거리가 큰 특징점으로 분류하기 위한 설정 거리와 이동 거리가 작은 특징점으로 분류하기 위한 설정 거리가 동일할 수 있고, 또는 서로 상이할 수도 있다.

이상 블록 분석부(40)는 영상을 복수의 블록들로 나누고, 각 블록에서의 이상 상황 가능성을 분석하도록 구성된다. 이상 블록 분석부(40)는 구체적으로, 영상 또는 영상의 ROI(region of interest)를 일정한 크기의 블록들로 나누고, 각 블록 내의 특성별 특징점의 분포를 분석한다.

도 3은 본 발명의 실시 예에 따른 이상 블록의 예를 나타낸 도이다.

이상 블록 분석부(40)는 영상 또는 영상 안의 ROI를 일정한 크기로 블록들을 나누고, 각 블록에서 특성별 특징점의 분포를 분석하여 임의 블록이 이상 상황의 일부분일 가능성을 판단한다.

예를 들어, 도 3과 같이, 영상 또는 영상 안의 ROI들의 블록들에서, 흰색으로 표시된 블록들이 이상 상황 가능성이 높은 블록인 이상 블록으로 판단될 수 있다. 구체적인 예로서, 임의 블록에 가려진 특징점(A1), 이동 거리가 큰 특징점(A2), 드러난 특징점(A3), 이동 거리가 작은 특징점(A4) 중 적어도 하나가 포함되는 경우에 해당 블록이 이상 블록으로 판단될 수 있다.

구체적인 판단 방법을 예로 들면, 첫번째 방법은 제1 비율과 제2 비율 중 적어도 하나가 미리 설정된 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단할 수 있다.

제1 비율은 (N11+N12)/N13로 나타낼 수 있다. 여기서, N11은 이전 프레임의 해당 블록에서 검출되었던 특징점이지만, 현재 프레임의 해당 블록에서 검출되지 않은 특징점의 수를 나타낸다. N12는 이전 프레임의 해당 블록에서 검출되었던 특징점들 중에서 현재 프레임의 해당 블록에서 매칭되는 특징점과의 이동거리가 임계치 이상으로 큰 특징점의 수를 나타낸다. N13은 이전 프레임의 해당 블록에서 검출되었던 모든 특징점의 수를 나타낸다.

제2 비율은 (N21+N22)/N23으로 나타낼 수 있다. 여기서, N21은 현재 프레임의 해당 블록에서 검출된 특징점이지만 이전 프레임의 해당 블록에서는 검출되지 않았던 특징점의 수를 나타낸다. N22는 현재 프레임의 해당 블록에서 검출된 특징점 중에서 이전 프레임에서 매칭되는 특징점과의 이동 거리가 임계치 이상으로 큰 특징점의 수를 나타낸다. N23은 현재 프레임의 해당 블록에서 검출되는 모든 특징점의 수를 나타낸다.

두 번째 방법은 설정 비율이 미리 설정된 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단할 수 있다.

설정 비율은 (N11+N12+N21+N22)/(N13+N23)으로 나타낼 수 있다.

이러한 판단 방법에서, 상기 임계치는 1) 사용자가 지정한 값(영상 내의 이동 거리), 2) 기하학적인 카메라 캘리브레이션(Geometric camera calibration)으로 영상 내의 이동거리를 실제의 이동 거리로 환산하여 사용자가 지정한 값(실제 세계의 이동 거리), 그리고 1)과 2)의 값이 이동 거리 대신에 속도로 지정되어 프레임 간격에 따라 환산된 값 중 적어도 하나를 토대로 설정될 수 있다.

판단 방법에서 제1 비율, 제2 비율 그리고 설정 비율과 비교되는 임계치와, N12와 N22에서 이동거리가 큰 특징점을 구별하는 데 사용되는 임계치가 동일할 수도 있다.

본 발명은 이러한 판단 방법에 한정되지 않는다.

객체 영역 검출부(80)는 영상으로부터 객체 영역 정보를 생성하도록 구성된다. 객체 영역은 영상에서 전경 객체인 영역, 사람이 검출된 영역 등을 나타내며, 특히, 전경 객체 영역에서 사람이 검출된 영역을 나타낼 수 있다. 예를 들어, 객체 영역 검출부(80)는 배경 모델을 이용해 영상으로부터 배경과 전경을 구분하고, 전경에서 사람을 검출할 수 있다. 여기서, 배경은 움직이지 않는 영역(예, 바닥, 벽면 등)을 의미하며, 전경은 객체(예, 사람, 동물, 물체 등)가 움직이는 영역을 의미한다.

이상 상황 영역 생성부(50)는 이상 블록들을 토대로 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하도록 구성된다. 이상 상황 영역 생성부(50)는 이상 블록을 합하여 이상 상황 발생 상태를 판단하기 위한 이상 상황 영역을 생성한다.

도 4는 본 발명의 실시 예에 따른 이상 상황 영역의 예를 나타낸 도이다.

첨부한 도 4에 예시되어 있듯이, 이상 블록(흰색으로 표시됨)들에서, 서로 일정 거리 이내에 인접한 블록들을 합하여 이상 상황 영역(직사각형 형태의 큰 블록)을 생성한다. 이때, 설정 방향 내에서 일정 거리 이내에 인접한 블록들을 합할 수 있다.

이러한 예에 한정되지 않고, 이상 상황 영역 생성부(50)는 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 등 중 적어도 하나를 기반으로 이상 블록들을 합할 수 있으며, 이상 블록들을 합하는데 사용되는 기준은 위에 기술된 것에 한정되지 않는다.

구체적인 예로, 이상 상황 영역 생성부(50)는 이상 블록 분석부(40)에 의해 전달되는 이상 블록들에 대해, 이상 블록의 인접 관계를 기반으로 임의 이상 블록들을 합하여 이상 상황 영역을 생성한다. 또는, 이상 상황 영역 생성부(50)는 이상 블록 분석부(40)에 의해 전달되는 이상 블록들에 대해, 객체 영역 검출부(80)로부터 제공되는 전경 객체 영역, 사람 검출 영역을 기반으로, 임의 이상 블록들을 합하여 이상 상황 영역을 생성한다. 예들 들어, 이상 블록들 중에서 전경 객체 영역이고 사람 검출 영역에 해당하는 블록들을 합하여, 이상 상황 영역을 생성할 수 있다. 또는, 이상 상황 영역 생성부(50)는 이상 블록 분석부(40)에 의해 전달되는 이상 블록들에 대해, 이상 블록의 인접 관계, 객체 영역 검출부(80)로부터 제공되는 전경 객체 영역, 사람 검출 영역을 기반으로, 임의 이상 블록들을 합하여 이상 상황 영역을 생성한다. 예들 들어, 이상 블록들 중에서 일정 거리 이내에 인접하고, 전경 객체 영역이고 사람 검출 영역에 해당하는 블록들을 합하여, 이상 상황 영역을 생성할 수 있다.

이상 상황 판단부(60)는 이상 상황 영역을 토대로 이상 상황 발생 여부를 판단하도록 구성된다. 이상 상황 판단부(60)는 시간에 따른 이상 상황 영역 변화로 최종적으로 이상 상황 발생 여부를 판단할 수 있다.

도 5는 본 발명의 실시 예에 따른 이상 상황 판단의 예를 나타낸 도이다.

이상 상황 판단부(60)는 이상 상황 영역 생성부(50)에 의해 생성된 이상 상황 영역들이 시간에 따라 변화되는 것을 분석하여, 난동 등의 이상 상황이 발생하였는지의 여부를 판단한다. 예를 들어, 도 5에 예시된 바와 같이, 이상 상황 영역들이 일정 시간 동안 계속적으로 생성되거나 임의 영역이 일정 시간 동안 이상 상황 영역으로 계속 생성되어 이상 상황 상태가 지속되는 것으로 판단되는 경우, 최종적으로 이상 상황이 발생한 것으로 판단한다.

또 다른 예로, 이상 상황 판단부(60)는 이상 상황 영역에 포함된 이상 블록들의 상대적인 움직임을 이용하여 상황을 분석 및 판단할 수 있다.

예를 들어, 객체 영역 검출부(80)에 의해 사람이 검출된 영역 즉, 사람 검출 영역의 내부에 존재하는 이상 블록 집합과 사람 검출 영역의 외부에 밀집하는 이상 블록 집합을 포함하는 이상 상황 영역이 생성될 수 있다. 이 경우, 사람 검출 영역의 외부에 밀집하는 이상 블록 집합으로 기물의 이상 움직임이나 파손을 분석할 수 있으며, 내부에 이상 블록이 분포하는 사람 검출 영역과의 관계로 해당하는 사람이 기물에 대해 난동 행위를 하는 것을 감지할 수 있다.

또는, 두 명의 사람 영역 즉, 두 명이 사람이 각각 검출된 2개의 사람 검출 영역에서, 하나의 사람 검출 영역의 이상 블록 분포가 다른 하나의 사람 검출 영역의 이상 블록 분포와 상이한 경우, 이상 블록이 상대적으로 많이 분포하는 영역의 사람이 그렇지 않은 영역의 사람에게 일방적인 폭력을 가하는 상황인 것으로 판단할 수 있다. 또한, 하나의 사람 검출 영역의 이상 블록 분포가 다른 하나의 사람 검출 영역의 이상 블록 분포와 상이한 경우, 각각의 영역에 있는 두 사람이 인접하지 않으면, 이상 블록이 상대적으로 많이 분포하는 영역의 사람이 그렇지 않은 영역의 사람에게 위협하는 행위를 하는 상황인 것으로 판단할 수 있다.

이상 상황 표시부(70)는 이상 상황 발생을 표시하도록 구성된다. 여기서 이상 상황을 표시한다는 것은, 이상 상황이 발생하면 이를 사용자가 인지할 수 있도록 하는 동작 및 또는 이상 상황을 사용자의 단말로 통보하는 동작을 포함한다. 이상 상황 표시부(70)는 예를 들어, 이상 상황 발생 시, 영상, 소리, 문자, 데이터 등의 방법을 이용하여 이상 상황을 표시하여 사용자에게 알릴 수 있으며, 또는 이상 상황 발생을 위와 같은 방법을 이용하여 사용자의 단말로 전달하여, 사용자가 해당 상황을 인지하고 위의 정보를 이용하도록 할 수 있다.

다음에는 이러한 구조로 이루어지는 감지 장치를 이용하여, 본 발명의 실시 예에 따른 이상 상황을 감지하는 방법에 대하여 설명한다.

도 6은 본 발명의 실시 예에 따른 이상 상황을 감지하는 방법의 흐름도이다.

먼저, 첨부한 도 6에 도시되어 있듯이, 본 발명의 실시 예에 따른 감지 장치(1)는 다양한 형태의 카메라, 또는 영상 정보를 제공하는 매체 등의 다양한 장치로부터 이상 상황을 감지하기 위하여, 영상을 획득한다(S100).

감지 장치(1)는 획득된 영상에 대하여 특징점을 추출한다(S110). 구체적으로, 영상의 프레임별로 특징점을 특징점 좌표와 특징 벡터를 추출하고, 이때, 한 프레임에서 다른 지점과 구분되는 고유한 특징 벡터를 추출할 수 있는 복수 개의 지점을 검출하여 특징점 좌표와 특징 벡터를 추출할 수 있다.

다음, 감지 장치(1)는 특징점을 특성별로 분류한다(S120). 구체적으로, 현재 프레임의 특징점과 이전 프레임의 특징점을 비교하고, 비교 결과에 따라 현재 프레임의 특징점을 하나의 특성으로 분류하는데, 특징점의 움직임에 따른 이동 거리의 크기, 프레임 사이에서 특징점의 가려짐 여부 등을 토대로 하여, 특징점을 하나의 특성으로 분류할 수 있다.

감지 장치(1)는 특징점 특성 분류가 이루어진 영상 또는 해상 영상의 ROI를 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단한다(S130).

이후, 감지 장치(1)는 이상 블록들을 토대로 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성한다(S140). 구체적으로, 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 등 중 적어도 하나를 기반으로 이상 블록들을 합하여 이상 상황 영역을 생성한다.

위에 기술된 바와 같이, 이상 상황 감지를 위해 획득된 특징점, 이상 블록 그리고 이상 상황 영역은 도 7과 같은 관계를 가질 수 있다.

도 7은 본 발명의 실시 예에 따른 이상 상황을 감지하는 방법에서의 특징점, 이상 블록, 이상 상황 영역의 관계를 나타낸 도이다.

첨부한 도 7에 예시된 바와 같이, 영상으로부터 추출된 특징점들을 포함하는 특징정 맵으로부터, 특징점들의 특성을 토대로 판단된 이상 블록들을 포함하는 이상 블록 맵을 생성할 수 있다. 그리고 이상 블록 맵으로부터 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 등과 같은 기준 데이터들 중 적어도 하나를 기반으로 이상 블록들을 합하여 이상 상황 영역을 생성할 수 있다. 이와 같이 생성되는 이상 상황 영역들이 하나의 맵을 구성할 수 있다.

감지 장치(1)는 시간에 따른 이상 상황 영역 변화로 최종적으로 이상 상황 발생 여부를 판단한다(S150). 이상 상황 영역들이 일정 시간 동안 계속적으로 생성되거나 임의 영역이 일정 시간 동안 이상 상황 영역으로 계속 생성되어 이상 상황 상태가 지속되는 것으로 판단되는 경우, 최종적으로 이상 상황이 발생한 것으로 판단할 수 있다.

다음에, 감지 장치(1)는 이상 상황 발생을 표시한다(S160). 예를 들어, 영상, 소리, 문자, 데이터 등의 방법을 이용하여 이상 상황을 표시하여 사용자에게 알릴 수 있으며, 이들 방법을 이용하여 사용자의 단말로 이상 상황을 통보할 수 있다.

위에 기술된 바와 같은 본 발명의 실시 예에 따르면, 불규칙한 움직임으로 발생하는 폭력, 난동 등의 이상 상황을 효과적으로 감지할 수 있다. 또한, 기존 기술보다 객체 검출 결과의 적용 여부와 적용 방법을 다양하게 변경하는 것이 가능하여 사람 사이에서 이루어지는 폭력 행위뿐 아니라, 기물 파손이나 위협 행동과 같이 한 명의 사람이 일으키는 난동 상황을 감지하도록 적용하는 것이 가능하다.

본 발명의 실시 예에 따른 방법과 장치를 기반으로, 예를 들어, 엘리베이터 영상에서 이상 상황을 감지하여 5초 이상에서 발보하도록 설정하여 테스트한 결과 아래의 표 1과 같은 결과를 얻었다.

DB	DB 수	발보 수	오보 수	발보율	오보율
실보 DB	121	100	10	82.6%	8.3%
오보 DB	192	-	15	-	7.8%

또한, 무인매장을 운영하는 2개 매장에서, 12개 카메라를 이용하여 설정 기간(예를 들어, 7월 5일부터 7월 30일(만 25일)) 내에서, 본 발명의 실시 예에 따른 방법과 장치를 기반으로 이상 상황을 감지한 결과, 아래의 표 2와 같은 결과를 얻었다. 표 2에서, 괄호 밖의 숫자는 24시간, 괄호 안의 숫자는 무인매장 운영 시간대인 01시-07시의 발보 수이다.

매장	테스트 기간	실보 수	오보 수	미발보 수
매장1(7대)	25일	0(0)	18(0)	0(0)
매장2(5대)	25일	0(0)	28(1)	0(0)
합계	25일	0(0)	46(1)	0()

도 8은 본 발명의 다른 실시 예에 따른 이상 상황을 감지하는 감지 장치의 구조도이다.

첨부한 도 8에 도시되어 있듯이, 본 발명의 실시 예에 따른 감지 장치(100)는, 프로세서(110), 메모리(120), 입력 인터페이스 장치(130), 출력 인터페이스 장치(140), 네트워크 인터페이스(150) 및 저장 장치(160)를 포함하며, 이들은 버스(170)를 통해 통신할 수 있다.

프로세서(110)는 위의 도 1 내지 도 7을 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 영상 획득부), 특징점 추출부, 특징점 분류부, 이상 블록 분석부, 이상 상황 영역 생성부, 이상 상황 판단부, 그리고 이상 상황 표시부, 객체 영역 검출부의 기능을 수행하도록 구성될 수 있다. 프로세서(110)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(120) 또는 저장 장치(160)에 저장된 명령을 실행하는 반도체 장치일 수 있다.

메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 명령어(instructions)를 저장하고 있거나 저장 장치(160)로부터 명령어를 로드하여 일시 저장할 수 있다. 프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다.

본 발명의 실시 예에서 메모리(120)는 프로세서(110)의 내부 또는 외부에 위치할 수 있고, 메모리(120)는 이미 알려진 다양한 수단을 통해 프로세서(110)와 연결될 수 있다.

입력 인터페이스 장치(130)는 영상 정보를 획득하도록 구성될 수 있으며, 출력 인터페이스 장치(140)는 이상 상황 발생을 표시하도록 구성될 수 있다.

네트워크 인터페이스 장치(150)는 네트워크에 연결되어 신호를 송수신하도록 구성된다. 예를 들어, 네트워크 인터페이스 장치(150)는 이상 상황 발생을 사용자의 단말로 통보할 수 있다.

여기서 입력 인터페이스 장치(130)는 제1 인터페이스 장치로 명명되고, 출력 인터페이스 장치(140) 및 네트워크 인터페이스 장치(150)는 이상 상황 표시를 위한 제2 인터페이스 장치로 명명될 수 있다.

이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예에 따른 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

감지 장치를 이용하여 영상으로부터 이상 상황을 감지하는 방법으로서,
상기 감지 장치가, 획득되는 영상으로부터 특징점을 추출하는 단계;
상기 영상의 프레임별로 추출된 특징점들의 특성을 분류하는 단계;
상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단하는 단계;
상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하는 단계;
상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하는 단계; 및
상기 이상 상황이 발생한 경우, 이상 상황 발생을 표시하는 단계
를 포함하고
상기 이상 블록을 판단하는 단계는
이전 프레임의 해당 블록에서 검출되었으나 현재 프레임의 해당 블록에서 검출되지 않은 제1 특징점, 이전 프레임의 해당 블록에서 검출되지 않았으나 현재 프레임의 해당 블록에서 검출된 제2 특징점, 이전 프레임에 비해 현재 프레임에서 움직임이 발생하고 그 움직임에 따른 이동 거리가 설정 거리보다 큰 제3 특징점, 이전 프레임에 비해 현재 프레임에서 움직임이 발생하고 그 움직임에 따른 이동 거리가 설정 거리보다 작은 제4 특징점이 블록에 분포되는 개수를 토대로 이상 블록을 판단하는, 감지 방법.
제1항에 있어서,
상기 이상 상황 영역을 생성하는 단계는, 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 중 적어도 하나를 기반으로 이상 블록들을 합하여 이상 상황 영역을 생성하는, 감지 방법.
제2항에 있어서,
상기 이상 상황 영역을 생성하는 단계는, 서로 일정 거리 이내에 인접한 이상 블록들을 합하여 상기 이상 상황 영역을 생성하는 단계를 포함하는, 감지 방법.
제2항에 있어서,
상기 이상 상황 영역을 생성하는 단계 이전에,
상기 영상으로부터 객체 영역 정보를 생성하는 단계
를 더 포함하고,
상기 객체 영역 정보는 상기 영상에서 전경 객체인 영역, 사람이 검출된 영역에 대한 정보를 포함하는, 감지 방법.
제4항에 있어서,
상기 이상 상황 영역을 생성하는 단계는, 상기 전경 객체 영역, 사람 검출 영역을 기반으로, 임의 이상 블록들을 합하여 이상 상황 영역을 생성하는 단계를 포함하는, 감지 방법.
제4항에 있어서,
상기 이상 상황 영역을 생성하는 단계는, 일정 거리 이내에 인접한 이상 블록들이고 상기 전경 객체 영역, 및 사람 검출 영역에 해당하는 이상 블록들을 합하여 상기 이상 상황 영역을 생성하는 단계를 포함하는, 감지 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 특징점들의 특성을 분류하는 단계는, 현재 프레임의 특징점과 이전 프레임의 특징점을 비교하고, 특징점의 움직임에 따른 이동 거리의 크기, 프레임 사이에서 특징점의 가려짐 여부를 기반으로 상기 현재 프레임의 특징점을 하나의 특성으로 분류하는 단계를 포함하는, 감지 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 이상 블록을 판단하는 단계는, 임의의 블록에 대하여, 상기 제1 특징점의 수와 상기 제3 특징점의 수를 기반으로 한 제1 비율과 상기 제2 특징점의 수와 상기 제4 특징점의 수를 기반으로 한 제2 비율 중 적어도 하나가 설정된 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하는, 감지 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 이상 블록을 판단하는 단계는, 임의의 블록에 대하여, 상기 제1 특징점의 수, 상기 제2 특징점의 수, 상기 제3 특징점의 수, 상기 제4 특징점의 수, 현재 프레임의 해당 블록에서 검출된 모든 특징점의 수, 이전 프레임의 해당 블록에서 검출된 모든 특징점의 수를 토대로 한 설정 비율이, 설정된 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하는, 감지 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 이상 상황 발생 여부를 판단하는 단계는, 상기 이상 상황 영역들이 일정 시간 동안 계속적으로 생성되거나 임의 영역이 일정 시간 동안 이상 상황 영역으로 계속 생성되어 이상 상황 상태가 지속되는 것으로 판단되는 경우, 최종적으로 이상 상황이 발생한 것으로 판단하는, 감지 방법.
감지 장치를 이용하여 영상으로부터 이상 상황을 감지하는 방법으로서,
상기 감지 장치가, 획득되는 영상으로부터 특징점을 추출하는 단계;
상기 영상의 프레임별로 추출된 특징점들의 특성을 분류하는 단계;
상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단하는 단계;
상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하는 단계;
상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하는 단계; 및
상기 이상 상황이 발생한 경우, 이상 상황 발생을 표시하는 단계
를 포함하고,
상기 이상 블록을 판단하는 단계는
임의의 블록에 대하여, 제1 비율과 제2 비율 중 적어도 하나가 미리 설정된 제1 임계치를 초과하는 경우에 상기 블록을 이상 블록으로 판단하는 제1 방법, 및
설정 비율이 상기 제1 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하는 제2 방법 중 적어도 하나를 이용하여 이상 블록을 판단하며,
상기 제1 비율은 (N11+N12)/N13이며, 상기 N11은 이전 프레임의 해당 블록에서 검출되었던 특징점이지만, 현재 프레임의 해당 블록에서 검출되지 않은 특징점의 수를 나타내고, 상기 N12는 이전 프레임의 해당 블록에서 검출되었던 특징점들 중에서 현재 프레임의 해당 블록에서 매칭되는 특징점과의 이동거리가 미리 설정된 제2 임계치 이상으로 큰 특징점의 수를 나타내며, 상기 N13은 이전 프레임의 해당 블록에서 검출되었던 모든 특징점의 수를 나타내고,
상기 제2 비율은 (N21+N22)/N23이며, 상기 N21은 현재 프레임의 해당 블록에서 검출된 특징점이지만 이전 프레임의 해당 블록에서는 검출되지 않았던 특징점의 수를 나타내고, 상기 N22는 현재 프레임의 해당 블록에서 검출된 특징점 중에서 이전 프레임에서 매칭되는 특징점과의 이동 거리가 상기 제2 임계치 이상으로 큰 특징점의 수를 나타내며, 상기 N23은 현재 프레임의 해당 블록에서 검출되는 모든 특징점의 수를 나타내며,
상기 설정 비율은 (N11+N12+N21+N22)/(N13+N23)인, 감지 방법.
영상을 입력받도록 구성된 제1 인터페이스 장치;
상기 영상을 토대로 이상 상황을 감지하도록 구성된 프로세서; 및
이상 상황이 발생한 경우 이상 상황을 표시하도록 구성된 제2 인터페이스 장치
를 포함하며,
상기 프로세서는, 상기 제1 인터페이스 장치를 통하여 획득되는 영상으로부터 특징점을 추출하도록 구성된 특징점 추출부; 상기 영상의 프레임별로 추출된 특징점들의 특성을 분류하도록 구성된 특징점 분류부; 상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단하도록 구성된 이상 블록 판단부; 상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하도록 구성된 이상 상황 영역 생성부; 상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하도록 구성된 이상 상황 판단부; 그리고 상기 이상 상황이 발생한 경우, 상기 제2 인터페이스 장치를 통하여 이상 상황 발생을 표시하도록 구성된 이상 상황 표시부를 포함하도록 구성되고
상기 이상 블록 판단부는
이전 프레임의 해당 블록에서 검출되었으나 현재 프레임의 해당 블록에서 검출되지 않은 제1 특징점, 이전 프레임의 해당 블록에서 검출되지 않았으나 현재 프레임의 해당 블록에서 검출된 제2 특징점, 이전 프레임에 비해 현재 프레임에서 움직임이 발생하고 그 움직임에 따른 이동 거리가 설정 거리보다 큰 제3 특징점, 이전 프레임에 비해 현재 프레임에서 움직임이 발생하고 그 움직임에 따른 이동 거리가 설정 거리보다 작은 제4 특징점이 블록에 분포되는 개수를 토대로 이상 블록을 판단하도록 구성되는, 감지 장치.
제12항에 있어서,
상기 이상 상황 영역 생성부는, 이상 블록의 인접 관계, 전경 객체 영역, 사람 검출 영역 중 적어도 하나를 기반으로 이상 블록들을 합하여 이상 상황 영역을 생성하도록 구성되는, 감지 장치.
제12항에 있어서,
상기 이상 블록 판단부는, 임의의 블록에 대하여, 상기 제1 특징점의 수와 상기 제3 특징점의 수를 기반으로 한 제1 비율과 상기 제2 특징점의 수와 상기 제4 특징점의 수를 기반으로 한 제2 비율 중 적어도 하나가 설정된 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하도록 구성되는, 감지 장치.
제13항에 있어서,
상기 프로세서는 상기 영상으로부터 객체 영역 정보를 생성하도록 구성된 객체 영역 검출부를 더 포함하도록 구성되고, 상기 객체 영역 정보는 상기 영상에서 전경 객체인 영역, 사람이 검출된 영역에 대한 정보를 포함하며,
상기 이상 상황 영역 생성부는, 상기 전경 객체 영역, 사람 검출 영역을 기반으로, 임의 이상 블록들을 합하여 이상 상황 영역을 생성하는 방법, 그리고 일정 거리 이내에 인접한 이상 블록들이고 상기 전경 객체 영역, 및 사람 검출 영역에 해당하는 이상 블록들을 합하여 상기 이상 상황 영역을 생성하는 방법 중 하나를 이용하여, 이상 상황 영역을 생성하도록 구성되는, 감지 장치.
제12항에 있어서,
상기 특징점 분류부는, 현재 프레임의 특징점과 이전 프레임의 특징점을 비교하고, 특징점의 움직임에 따른 이동 거리의 크기, 프레임 사이에서 특징점의 가려짐 여부를 기반으로 상기 현재 프레임의 특징점을 하나의 특성으로 분류하도록 구성되는, 감지 장치.
제12항에 있어서,
상기 이상 블록 판단부는, 임의의 블록에 대하여, 상기 제1 특징점의 수, 상기 제2 특징점의 수, 상기 제3 특징점의 수, 상기 제4 특징점의 수, 현재 프레임의 해당 블록에서 검출된 모든 특징점의 수, 이전 프레임의 해당 블록에서 검출된 모든 특징점의 수를 토대로 한 설정 비율이, 설정된 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하도록 구성되는, 감지 장치.
영상을 입력받도록 구성된 제1 인터페이스 장치;
상기 영상을 토대로 이상 상황을 감지하도록 구성된 프로세서; 및
이상 상황이 발생한 경우 이상 상황을 표시하도록 구성된 제2 인터페이스 장치
를 포함하며,
상기 프로세서는, 상기 제1 인터페이스 장치를 통하여 획득되는 영상으로부터 특징점을 추출하도록 구성된 특징점 추출부; 상기 영상의 프레임별로 추출된 특징점들의 특성을 분류하도록 구성된 특징점 분류부; 상기 영상을 복수의 블록들로 나누고, 각 블록들의 특성별 특징점의 분포를 분석하여, 이상 상황의 일부분일 가능성을 가지는 이상 블록을 판단하도록 구성된 이상 블록 판단부; 상기 이상 블록을 합하여 이상 상황이 발생할 가능성이 있는 이상 상황 영역을 생성하도록 구성된 이상 상황 영역 생성부; 상기 이상 상황 영역의 시간에 따른 변화를 토대로 이상 상황 발생 여부를 판단하도록 구성된 이상 상황 판단부; 그리고 상기 이상 상황이 발생한 경우, 상기 제2 인터페이스 장치를 통하여 이상 상황 발생을 표시하도록 구성된 이상 상황 표시부를 포함하도록 구성되고,
상기 이상 블록 판단부는
임의의 블록에 대하여, 제1 비율과 제2 비율 중 적어도 하나가 미리 설정된 제1 임계치를 초과하는 경우에 상기 블록을 이상 블록으로 판단하는 제1 방법, 및
설정 비율이 상기 제1 임계치를 초과하는 경우에 해당 블록을 이상 블록으로 판단하는 제2 방법 중 적어도 하나를 이용하여 이상 블록을 판단하며,
상기 제1 비율은 (N11+N12)/N13이며, 상기 N11은 이전 프레임의 해당 블록에서 검출되었던 특징점이지만, 현재 프레임의 해당 블록에서 검출되지 않은 특징점의 수를 나타내고, 상기 N12는 이전 프레임의 해당 블록에서 검출되었던 특징점들 중에서 현재 프레임의 해당 블록에서 매칭되는 특징점과의 이동거리가 미리 설정된 제2 임계치 이상으로 큰 특징점의 수를 나타내며, 상기 N13은 이전 프레임의 해당 블록에서 검출되었던 모든 특징점의 수를 나타내고,
상기 제2 비율은 (N21+N22)/N23이며, 상기 N21은 현재 프레임의 해당 블록에서 검출된 특징점이지만 이전 프레임의 해당 블록에서는 검출되지 않았던 특징점의 수를 나타내고, 상기 N22는 현재 프레임의 해당 블록에서 검출된 특징점 중에서 이전 프레임에서 매칭되는 특징점과의 이동 거리가 상기 제2 임계치 이상으로 큰 특징점의 수를 나타내며, 상기 N23은 현재 프레임의 해당 블록에서 검출되는 모든 특징점의 수를 나타내며,
상기 설정 비율은 (N11+N12+N21+N22)/(N13+N23)인, 감지 장치.
제12항에 있어서,
상기 이상 상황 판단부는, 상기 이상 상황 영역들이 일정 시간 동안 계속적으로 생성되거나 임의 영역이 일정 시간 동안 이상 상황 영역으로 계속 생성되어 이상 상황 상태가 지속되는 것으로 판단되는 경우, 최종적으로 이상 상황이 발생한 것으로 판단하는, 감지 장치.