KR20180024747A

KR20180024747A - 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 8가지 기본 행동 패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템 및 그 방법

Info

Publication number: KR20180024747A
Application number: KR1020160111534A
Authority: KR
Inventors: 전영민; 양선옥; 정성기; 민정기
Original assignee: 한국비전기술(주)
Priority date: 2016-08-31
Filing date: 2016-08-31
Publication date: 2018-03-08

Abstract

본 발명의 지능형 방범 CCTV 시스템은 객체의 MER 특성을 분석하고 분석된 데이터와 카메라의 위치 및 방향 정보를 이용하여 객체MER 데이터를 생성하는 객체MER데이터 생성부; 카메라로부터 생성된 영상 중 모니터링 대상이 되는 영역정보를 추출하고 추출된 영역정보를 이용하여 관심영역 데이터를 생성하는 관심영역데이터생성부; 상기 객체MER데이터의 이동 여부 판단의 기준이 되는 기준점의 위치 좌표와 상기 관심영역 데이터의 아웃 라인를 구성하는 위치 정보들의 상관 관계 또는 객체 MER 데이터의 특성 정보 변화를 이용하여 상기 객체에 대한 복수 개의 이벤트를 정의하는 이벤트 정의부; 상기 정의된 이벤트 중 하나 이상을 이용하여 상기 객체의 행동 패턴을 정의하는 행동패턴정의부; 카메라로부터 관심 객체가 포함된 영상 데이터가 수신되면 상기 관심 객체의 영상 정보를 분석하여 상기 정의된 행동패턴 중 특정 행동 패턴을 선별하는 행동패턴결정부; 및 상기 행동패턴결정부가 선별한 행동 패턴 정보에 해당하는 후속 조치 제어를 수행하는 제어부를 포함하는 것을 특징으로 한다.

Description

객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 8가지 기본 행동 패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ＣＣＴＶ 시스템 및 그 방법{SMART MONITORING CCTV SYSTEM AND METHOD FOR COMPLEX SITUATION ESTABLISHMENT AND AUTOMATIC SITUATION RECOGNITION WITH 8 BASIC ACTIVITY PATTERN BASED ON ORGANIC RELATIONS OF OBJECT, AREA AND EVENT CAUSED BY OBJECT}

본 발명은 지능형 방범 CCTV 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는 객체와 영역의 영상 좌표 간의 상호 유기적 관계를 이용하여 객체의 기본적인 행동 패턴을 정의하고, 정의된 기본 행동 패턴의 조합적 결합과 응용을 통하여 객체 또는 이벤트의 다양하고 복잡한 상황을 정확하게 인지하고, 이에 따른 신속한 후속 조치를 유도할 수 있도록 구현되는 지능형 방범 CCTV 시스템 및 방법에 관한 것이다.

사유 재산 내지 공공 재산에 대한 보호의 필요성이 증대됨에 따라 범죄에 대한 예방, 증거 확보 또는 사고 예방 활동 등을 위한 다양한 형태의 감시 카메라, 폐쇄회로 카메라 등이 설치되고 이를 시스템적으로 활용하는 방법들이 널리 이용되고 있다.

통상적으로 이러한 감시 카메라 내지 감시 시스템에서는 특정 지역 내지 공간을 촬영하고 촬영된 영상을 특정 기간 동안 보관하는 방법이 가장 일반적이라고 할 수 있는데 이러한 방법은 특정 사건이나 사고 등이 발생한 후 사건이나 사고의 경위 내지 피의자 등을 확인하거나 식별하기 위한 목적으로 활용되고 있다.

종래의 방법은 사고나 사건 등이 선행하고 난 후, 증거 확인 등을 위하여 활용되도록 비디오 영상 등을 단순히 보관하는 방법이므로 사후적 후행 방법이라고 할 수 있다. 공개특허 10-2007-0098480에도 영상 감시 시스템에 대한 기술 내용을 개시하고 있으나, 이 또한, 영상을 단일화된 영상 모듈에 의하여 취득하고 이를 분석하는 기술 내용만이 개시되어 있을 뿐이다.

한편, 설치되는 환경, 감시 내지 감지의 중요도 등에 따라 다르지만 선명하고 정확한 영상을 확보하기 위해서는 높은 사양의 영상 모듈이 설치되는 것이 바람직할 수 있다. 그러나, 설치에 따른 경제적 측면은 물론, 사건 내지 사고 발생 빈도 등을 고려할 때, 무조건적으로 고 사양의 영상 모듈을 설치하는 것이 가장 효율적이라고 단정하기는 어렵다고 할 수 있다.

또한, 사건 내지 사고의 주요 대상인 객체를 선명하고 정확하게 촬영하기 위해서는 부득이 근접 촬영이 가능한 카메라를 사용하여야 하는데, 이 경우 영상 범위가 협소해지므로 촬영 가능 범위와 감시 영역의 크기에 대응되는 숫자만큼의 근접 촬영용 고 사양 카메라가 구비되어야 한다.

그러나 높은 사양의 근접 촬영용 영상 모듈이 복수 개 구비된다고 하더라도, 이 영상 모듈들은 각각 지속적으로 고해상도의 영상을 관제 시스템 등으로 전송하므로 데이터 트래픽이 증가하고, 엄청난 크기의 저장 용량과 데이터 처리를 위한 하드웨어 리소스가 뒷받침되어야 하므로 처리 속도가 저하됨은 물론, 데이터 보관 내지 관리 등에서 상당히 비효율적이라고 할 수 있다.

또한, 종래 대부분의 CCTV 시스템은 사람이 전체 영상 화면을 육안으로 관찰하거나 저장된 영상 데이터를 사후적으로 확인하는 방법 등으로 이용되고 있는데 이러한 방법은 기본적으로 인적(人的)인 인프라에 의존적인 방법에 기초하는 것이므로 자원의 효율적 활용이 상당히 낮으며 상황 인식을 객관적이고 정확하게 구현하기 어려움은 물론, 복합적인 행동 패턴을 인식하는데에는 본질적인 한계가 있다고 할 수 있다.

한국공개특허공보 제10-2007-0098480호(2007.10.05) 한국등록특허공보 제10-0967718호(2010.06.25)

본 발명은 이러한 배경에서 상기와 같은 문제점을 해소하기 위하여 창안된 것으로서, 관심의 대상이 되는 객체 및 영역에 대한 영상 데이터를 정확하게 정의하고, 나아가 이들 객체와 영역 사이의 유기적 관계 또는 객체 자체의 독립된 특성에 기초한 이벤트를 설정하여 이 설정된 기초 이벤트의 조합적 적용을 통하여 최적화된 객체의 행동 패턴 유형을 정의하고 활용함으로써, 객체의 모든 행동 패턴을 정확하게 자동으로 인식할 수 있는 지능형 방법 ＣＣＴＶ시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 아래에 설명될 것이며, 본 발명의 실시예에 의하여 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 그 구성의 조합에 의하여 실현될 수 있다.

상기 목적을 달성하기 위한 본 발명의 시스템은 객체의 MER 특성을 분석하고 분석된 데이터와 카메라의 위치 및 방향 정보를 이용하여 객체MER 데이터를 생성하는 객체MER데이터 생성부; 카메라로부터 생성된 영상 중 모니터링 대상이 되는 영역정보를 추출하고 추출된 영역정보를 이용하여 관심영역 데이터를 생성하는 관심영역데이터생성부; 상기 객체MER데이터의 이동 여부 판단의 기준이 되는 기준점의 위치 좌표와 상기 관심영역 데이터의 아웃 라인를 구성하는 위치 정보들의 상관 관계 또는 객체 MER 데이터의 특성 정보 변화를 이용하여 상기 객체에 대한 복수 개의 이벤트를 정의하는 이벤트 정의부; 상기 정의된 이벤트 중 하나 이상을 이용하여 상기 객체의 행동 패턴을 정의하는 행동패턴정의부; 카메라로부터 관심 객체가 포함된 영상 데이터가 수신되면 상기 관심 객체의 영상 정보를 분석하여 상기 정의된 행동패턴 중 특정 행동 패턴을 선별하는 행동패턴결정부; 및 상기 행동패턴결정부가 선별한 행동 패턴 정보에 해당하는 후속 조치 제어를 수행하는 제어부를 포함하여 구성될 수 있다.

여기에서 본 발명의 상기 객체MER데이터 생성부는 상기 객체 MER의 종횡 비율, 밀도, 속도, 변위, 이동방향 중 하나 이상을 이용하여 객체MER 데이터를 생성하도록 구성될 수 있다.

또한, 본 발명의 상기 객체MER데이터 생성부는 원거리 객체 MER의 너비와 높이, 면적 정보를 객체MER 데이터의 하한 범위로 설정하며, 근거리 객체 MER의 너비와 높이, 면적 정보를 객체MER 데이터의 상한 범위로 설정하도록 구성하는 것이 바람직하다.

바람직하게 본 발명의 상기 이벤트 정의부는 상기 객체의 이벤트를 상기 객체의 진입, 이동, 정지, 분리, 결합, 진출 중 하나 이상으로 정의할 수 있으며, 본 발명의 상기 행동패턴정의부는 상기 객체의 행동패턴을 객체의 침입, 탈출, 경로 통과, 유기, 제거, 금지 방향 이동, 배회, 멈춤 중 하나 이상으로 정의할 수 있다.

본 발명의 다른 측면에 의한 목적을 달성하기 위한 본 발명의 CCTV 모니터링 방법은 객체의 MER 특성을 분석하고 분석된 데이터와 카메라의 위치 및 방향 정보를 이용하여 객체MER 데이터를 생성하는 객체MER데이터 생성단계; 카메라로부터 생성된 영상 중 모니터링 대상이 되는 영역정보를 추출하고 추출된 영역정보를 이용하여 관심영역 데이터를 생성하는 관심영역데이터생성단계; 상기 객체MER데이터의 이동 여부 판단의 기준이 되는 기준점의 위치 좌표와 상기 관심영역 데이터의 아웃 라인를 구성하는 위치 정보들의 상관 관계 또는 객체 MER 데이터의 특성 정보 변화를 이용하여 상기 객체에 대한 복수 개의 이벤트를 정의하는 이벤트 정의단계; 상기 정의된 이벤트 중 하나 이상을 이용하여 상기 객체의 행동 패턴을 정의하는 행동패턴정의단계; 카메라로부터 관심 객체가 포함된 영상 데이터가 수신되면 상기 관심 객체의 영상 정보를 분석하여 상기 정의된 행동패턴 중 특정 행동 패턴을 선별하는 행동패턴결정단계; 및 상기 행동패턴결정단계에서 선별한 행동 패턴 정보에 해당하는 후속 조치 제어를 수행하는 제어단계를 포함하여 구성될 수 있다.

본 발명의 바람직한 일 실시예에 의할 때, 관심의 대상이 되는 객체 및 영역에 대한 영상 데이터를 정확하게 정의하고, 나아가 이들 객체와 영역 사이의 유기적 관계 또는 객체 자체의 독립된 특성에 기초한 이벤트를 설정하여 이 설정된 기초 이벤트의 조합적 적용을 통하여 최적화된 객체의 행동 패턴 유형을 정의하고 활용함으로써, 객체의 모든 행동 패턴을 정확하게 자동으로 인식할 수 있는 효과를 창출할 수 있다.

본 발명의 바람직한 다른 실시예에 의하면, 객체의 위치 정보를 정의하고, 이 정의된 위치 정보와 관심 영역의 위치 정보를 상호 대비함으로써 객체의 이동 동선 내지 거동 특성을 용이하게 객관화시키고 이를 활용할 수 있어 감시 내지 모니터링 등의 다양한 활용에 최적화된 시스템을 구현할 수 있는 인프라를 제공할 수 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술되는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 효과적으로 이해시키는 역할을 하는 것이므로, 본 발명은 이러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 바람직한 일 실시예에 의한 지능형 방범 CCTV 시스템의 상세 구성을 도시한 블록도,
도 2는 본 발명의 지능형 방범 CCTV를 구현하는 프로세싱 과정을 도시한 흐름도,
도 3은 본 발명의 일 실시예에 의한 MER을 이용하여 감시 객체를 정의하는 MER을 도시한 도면,
도 4는 본 발명의 일 실시예에 의한 영역 정보의 일 예를 도시한 도면,
도 5는 본 발명의 일 실시예에 의한 관심 영역 정보의 일 예를 도시한 도면,
도 6은 객체가 발생시키는 다양한 이벤트 및 그 상태전이를 도시한 도면,
도 7은 객체의 금지된 방향을 인식하는 일 예를 도시한 도면,
도 8은 본 발명의 일 실시예에 의한 패턴 설정 등을 도시한 도면,
도 9는 데이터 생성의 일 예를 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 8가지 기본 행동 패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 CCTV 시스템(이하 CCTV 시스템이라 지칭한다)(100)에 상세 구성을 도시한 블록도이다.

도 1에 도시된 바와 같이 본 발명의 CCTV 시스템(100)은 객체MER데이터생성부(110), 관심영역데이터생성부(120), 이벤트정의부(130), 행동패턴정의부(140), 행동패턴결정부(150) 및 제어부(160)를 포함하여 구성될 수 있다.

본 발명의 상세한 설명에 앞서, 도 1에 도시된 본 발명에 의한 CCTV 시스템(100)의 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적으로 구분되는 구성요소로 이해되어야 한다.

즉, 각각의 구성은 본 발명의 기술 사상을 실현하기 위한 논리적인 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 구성되더라도 본 발명의 논리 구성이 수행하는 기능이 실현될 수 있다면 본 발명의 범위 내에 있다고 해석되어야 하며, 동일 또는 유사한 기능을 수행하는 구성요소라면 그 명칭 상의 일치성 여부와는 무관히 본 발명의 범위 내에 있다고 해석되어야 함은 물론이다.

본 발명의 객체MER데이터생성부(110)는 객체의 MER 특성을 분석하고 분석된 데이터와 카메라의 위치 및 방향 정보를 이용하여 객체MER 데이터를 생성한다(S210).

객체는 사람이나 차량이 주요 대상이 되나 이에 한정되지는 않는다. 객체의 MER에는 다음과 같은 특성이 있다. 우선, 사람은 두발로 직립보행을 하므로, 사람의 MER은 가로 대 세로 비에서 세로가 크다. 이에 비해 기타(예: 동물)에 대한 예를 들면, 동물은 사족 보행하기 때문에 가로가 크다. 마지막으로 차량의 MER은 카메라 설치 높이와 방향에 영향이 있지만 가로 대 세로비가 대략 1:1.2비율이다. 단, 카메라 설치 위치와 방향에 따라 객체MER의 가로 대 세로비가 정의된다. 객체MER은 영상분석을 통해 산출된다.

일반적으로, MER의 너비와 높이 두 특징(Feature) 만으로도 객체 정의와 노이즈 제거가 가능하나, 본 발명에서는 객체의 검지-추적, 행동패턴 인지를 위하여 객체정의 특징(Feature)은 MER의 너비와 높이, MER의 면적, MER의 너비(가로길이) : 높이(세로길이) 비율, MER의 밀도, MER의 속도 혹은 이동 좌표 변위, MER의 정규화 된 속도, MER의 이동방향, MER의 ID(이름) 등의 특징들로 정의한다.

객체가 감시영역 전역에서 감지(Detection) 되도록 객체를 정의하는 방법제시가 필요하다. 본 발명에서 객체를 정의하는 방법은 감시영역에서 원거리 객체MER과 근거리 객체MER을 사용하여 원거리 객체와 근거리 객체 뿐 만아니라 원근거리 사이 범위에 포함하는 객체를 정의하는 방법을 제안한다. 도 3과 같이 원거리 객체MER의 너비(width)와 높이(height), 면적 값을 너비와 높이, 면적 값의 하한으로 근거리 객체MER의 너비와 높이, 면적 값을 상한으로 한 범위구간 값으로 설정하는 것이다. 객체정의 특징들 가운데 객체MER의 너비와 높이, 면적 특징은 감시영역의 원근에 영향이 있으나 다른 특징들은 영향이 없다.

본 발명의 관심영역데이터생성부(120)는 카메라로부터 생성된 영상 중 모니터링 대상이 되는 영역정보를 추출하고 추출된 영역정보를 이용하여 관심영역 데이터를 생성한다(S220).

본 발명에서 기본 상황 인지와 복합 상황 인지를 위한 감시영역은 영상처리 영역과 상황인지 영역으로 구분하여 정의한다. 먼저 영상처리 영역 정의는 다음과 같다.

영상처리 영역은 객체를 검지/추적하기 위하여 설정한 영역으로 도 4서 검은 영역 이외의 영역이다. 영상처리 영역을 설정함으로써 아래와 같은 장점이 있다.

우선, 객체를 검지하는데 불필요한 영역의 연산을 제거: 관심 객체를 감시 할 필요가 없는 영역 혹은 물리적으로 관심 객체(예: 사람, 차량 등)가 접근할 수 없는 영역은 관심 객체를 검지하기 위한 연산이 필요치 않기 때문이다.

또한, 시스템 전체적인 검지 성능 향상 : 영상 내 영상처리 영역외부에 나무 가지, 깃발, 플랜카드 등 끊임없이 움직이는 객체가 존재한다면, 지속적인 오검지의 요인이 된다. 영상처리 영역을 도 4와 같이 제한함으로써 이러한 요인들을 제거 하여 시스템 전체적인 검지 성능을 향상 시킬 수가 있다.

아울러, 객체의 검지/추적 성능 향상 : 객체를 검지/추적하기 위해서는 검지/추적 연산을 수행할 기준 영역과 객체가 있어야 하며, 영역이 상대적으로 작을수록 다음 검지/추적까지 연산주기가 짧아지고 기준 시간 내에 보다 많은 검지/추적이 수행되면 결과적으로 객체의 검지/추적 성능은 향상된다. 영상프레임 상의 객체 검지/추적 성공률은 영상프레임 간의 검지/추적까지 연산주기가 짧을수록 향상된다.

다음으로 관심 영역인 상황인지 영역 정의는 다음과 같다.

상황인지 영역은 도 5와 같이 영상처리 영역 내에 포함 되고 사람의 개입이 없이 시스템이 자동으로 객체의 8가지 기본 행동 패턴 인지를 통하여 상황을 인지하고 시스템이 주어진 각 상황 시나리오에 맞추어 자동 동작하는 것을 목적으로 한 상황을 설정하기 위한 것이다.

본 발명에서 영역(영상처리, 상황인지)은 중요한 의미를 가진다. 그 이유는 상황 설정과 인지에 중요한 역할을 하기 때문이다. 본 발명에서 각 상황은 각 기본 행동 패턴과 관련되고, 각 기본 행동 패턴은 영역(영상처리, 상황인지)과 객체, 그리고 객체가 유발하는 6가지 이벤트로 설정한다. 객체 정의에 대해서는 상기에서 설명을 하였고 또한 객체가 유발하는 6가지 이벤트정의에 대해서는 다음 절에서 설명한다.

영상처리와 상황인지 영역에서 객체의 검지-추적을 위한 영상분석 특징(Feature)은 객체의 MER, MER의 ID(이름), MER의 너비와 높이, MER의 면적, MER의 너비(가로길이) : 높이(세로길이) 비율, MER의 밀도, MER의 속도 혹은 이동 좌표 변위, 지정시간 대비 이동거리-MER의 정규화 된 속도, MER의 이동방향 등이다.

본 발명의 이벤트 정의부(130)는 상기 객체MER데이터의 이동 여부 판단의 기준이 되는 기준점의 위치 좌표와 상기 관심영역 데이터의 아웃 라인를 구성하는 위치 정보들의 상관 관계 또는 객체 MER 데이터의 특성 정보 변화를 이용하여 상기 객체에 대한 복수 개의 이벤트를 정의한다(S230).

자동으로 상황인지를 구현하기 위해 사전 상황설정이 필요하다. 각 상황은 각 기본 행동 패턴과 관련되고, 각 기본 행동 패턴은 영역(영상처리, 상황인지)과 객체, 그리고 객체가 유발하는 6가지 이벤트로 설정한다. 객체의 이벤트를 정의하기 위하여 객체와 상황인지 영역이 필요하다. 본 발명에서는 도 6과 같이 총 6가지 객체의 이벤트를 정의한다.

1. 진입 : 객체가 영상처리 영역에 존재하고, 상황인지 영역 외부에서 내부로 들어오면 진입 이벤트, 이벤트 발생의 판단방법은 상황인지 영역의 경계좌표 (x,y)를 기준으로 객체(MER)의 중심좌표 (x,y)변위를 비교하는 것이다.

2. 이동 : 객체가 영상처리 영역 혹은 상황인지 영역 내부에서 움직이면 이동 이벤트, 이벤트 발생의 판단방법은 기준시간 동안 객체(MER)의 중심좌표 이동거리(변위)가 기준값 이상이거나 속력(이동거리(픽셀)/기준시간(s))을 계산하여 속력이 기준값(예: 0px/s) 이상인지 비교하는 것이다.

3. 정지 : 객체가 상황인지 영역 내부에서 움직이지 않으면 정지 이벤트, 이벤트 발생의 판단방법은 기준시간 동안 객체(MER)의 중심좌표 이동거리(변위)가 기준값 이하이거나 속력을 계산하여 속력이 기준값(예: 0px/s) 이하인지 비교하는 것이다.

4. 분리 : 객체가 상황인지 영역 내부에서 기존객체 이외의 검지되지 않던 새로운 객체가 검지되면 분리 이벤트, 이벤트 발생의 판단방법은 기존 객체(MER)근처에서 새로운 객체(사람, 사물 등)가 최초 검지되고, 검지 된 객체가 기준시간 이상 정지 혹은 이동하든 계속 검지되는지 관찰하는 것이다.

5. 결합 : 서로 다른 객체 A(사람), B(사람, 사물 등) 가 상황인지 영역 내부에서 객체 수가 감소하면 결합 이벤트, 이벤트 발생의 판단방법은 A객체가 B 객체를 취할 때 A와 B의 MER 중심좌표 간 거리 차이가 A와 B의 MER의 width/2 이하이고 동일한 변위로 이동하는지 관찰하는 것이다.

6. 진출 : 객체가 상황인지 영역 내부에서 외부로 이탈하면 진출 이벤트, 이벤트 발생의 판단방법은 상황인지 영역의 경계좌표 (x,y)와 객체(MER)의 중심좌표 (x,y)변위를 비교하는 것이다. 또한 진출의 종류는 객체가 상황인지 영역내부에서 영상처리 영역으로 이동하는 진출(종류 1), 객체가 상황인지 영역내부에서 다른 상황인지 영역으로 이동하는 진출(종류 2), 영상의 끝과 상황인지 영역 그리고 영상처리 영역의 경계가 맞닿아 있는 경우 객체가 상황인지 영역내부에서 영상 밖으로 이동하는 진출(종류 3)로 구분할 수 있다.

종류 1과 2 진출일 때 이벤트 발생의 판단방법은 상황인지 영역의 경계좌표 (x,y)를 기준으로 객체(MER)의 중심좌표 (x,y)변위를 비교하는 것이다.

종류 3 진출일 때 이벤트 발생의 판단방법은 객체(MER)의 중심좌표 (x,y)를 기준으로 객체의 폭(width)과 높이(height) 그리고 영상의 폭(width)과 높이(height)를 비교하는 것이다.

본 발명의 행동패턴정의부(140)는 상기 정의된 이벤트 중 하나 이상을 이용하여 상기 객체의 행동 패턴을 정의하는 기능을 수행한다(S240).

행동패턴을 자동 인식하기 위해서는 다양한 행동패턴을 정의하고, 설정하고, 자동으로 인지하는 방법이 제시되어야 한다.

본 발명에서는 행동 패턴과 상황을 동일한 용어로 정의한다. 다양한 상황(행동 패턴)을 자동인지하가 위해서 레고블럭의 기본 피스에 비유되는 8가지 기본 행동 패턴을 영역(영상처리, 상황인지)과 객체 그리고 객체가 유발하는 6가지 이벤트의 조합으로 정의하는 방법을 발명의 결과로 제시한다.

8가지 기본 행동 패턴은 침입, 탈출, 경로통과, 유기됨, 제거됨, 금지된 방향으로 이동, 배회, 멈춤이다. 조립식 블럭 완구가 몇 개 되지 않는 레고블럭의 기본조각 중복 셋으로 다양한 모양을 만들 수 있듯이 본 발명에서 제안하는 8가지 기본 행동 패턴은 다양한 상황을 설정할 수 있음을 제시한다.

다양한 상황을 모델링(설정)할 수 있는 지능형 감시시스템은 설정된 상황을 자동 인지가 가능하고 사전 설정된 시나리오에 의한 자동 제어가 가능하여 사람의 간섭없이 감시시스템의 효율성을 향상시킬 수 있다.

상기 목적을 달성하기 위한 본 발명의 8가지 기본 행동 패턴을 UML의 상태전이도를 통하여 정의한다. 각 행동 패턴은 상기 본 발명에서 정의한 객체, 영역, 객체가 유발하는 6가지 이벤트로 정의된다. 또한 각 객체의 이벤트는 상기 본 발명에서 정의한 영역(영상처리 영역, 상황인지 영역)과 상기 본 연구(발명)에서 정의한 기준시간 객체이동 변위 간의 관계로 정의된다. 단, 영상처리 영역 위에 상황인지 영역이 설정된다. 즉, (상황인지 영역) ⊂ (영상처리 영역)과 같은 포함관계가 형성된다. 구체적인 행동 패턴은 아래와 같다.

○ 기본 행동 패턴 1 : 객체의 침입

영상처리 영역에서 객체가 유발하는 이벤트가 이동으로 시작하여 상황인지 영역에 진입으로 변경 되는 경우를 ‘침입(나타남)’ 행동 패턴으로 정의한다.

○ 기본 행동 패턴 2 : 객체의 탈출

상황인지 영역에서 객체가 유발하는 이벤트가 이동으로 시작하여 영상처리 영역에 진출로 변경되는 경우를 ‘탈출(사라짐)’ 행동 패턴으로 정의한다.

○ 기본 행동 패턴 3 : 객체의 경로 통과

상황인지 영역에서 객체가 유발하는 이벤트가 이동 중에 설정된 정방향과 설정된 결정 경계 선을 넘어서 이동 하는 상황을 ‘경로 통과’ 행동 패턴으로 정의한다.

○ 기본 행동 패턴 4 : 객체의 유기됨

상황인지 영역 내부에 유기영역을 설정하고 객체가 유기영역 내부에서 이동 이벤트에서 분리 이벤트를 유발하는 경우 혹은 정지 이벤트에서 분리 이벤트를 유발하는 경우, 객체 수가 증가하고 이러한 상황을 유기됨’행동 패턴으로 정의한다.

○ 기본 행동 패턴 5 : 객체의 제거됨

상황인지 영역 내부에 제거영역을 설정하고 객체가 제거영역 내부에서 이동 이벤트를 지속적으로 유발하다가 다른 객체(가방, 상자 등)를 취하여 결합 이벤트가 발생될 때, 혹은 정지 이벤트에서 결합 이벤트로 변경될 때, 이러한 상황을 제거됨’행동 패턴으로 정의한다.

○ 기본 행동 패턴 6 : 객체의 금지된 방향 이동

이전 영상프레임의 객체의 위치에서 현재 영상프레임의 객체의 위치 간 좌표변위를 비교하였을 때, 객체의 위치(x,y) 변화량으로 ‘금지된 방향 이동’ 행동 패턴으로 정의한다. 단 설정 시 금지된 방향에 대하여 방향 정보는 주어진다. 도 7과 같이 예를 들어, 현재 객체 위치가 이전 객체 위치에 비해 x 방향으로 증가하고, y 방향으로 감소한 경우에는 객체는 1번 방향으로 진행하고 있다.

상기 도 7의 예에서, 0 방향은 (-,감소), 1 방향은(증가,감소), 2 방향은(증가,-), 3 방향은(증가,증가), 4 방향은(-,증가), 5 방향은(감소,증가), 6 방향은(감소,-), 7 방향은 (감소,감소)가 된다. 단, (x,y)좌표, x, y값 가운데 ‘-’는 증감 없음을 표시한다.

○ 기본 행동 패턴 7 : 객체의 배회

객체가 유발하는 이벤트가 ‘배회지정 시간 동안(예: 5분)’ 이동 혹은 정지 이벤트를 지속하는 상황을 ‘배회’ 행동 패턴으로 정의한다.

○ 기본 행동 패턴 8 : 객체의 멈춤

객체가 유발하는 이벤트가 이동에서 정지로 변경 된 상황을 ‘멈춤’ 행동 패턴으로 정의한다.

멈춤 상황인 경우에 객체 좌표(x,y)를 추적카메라 좌표(pan,tilt,zoom)로 변환하여 추적 카메라를 통해 얼굴인식이 가능한 얼굴영상을 획득하고 얼굴인식, 성별, 연령대, 얼굴도구(안경, 선글라스, 마스크 등)인식을 수행한다.

본 발명의 행동패턴결정부(150)는 카메라로부터 관심 객체가 포함된 영상 데이터가 수신되면(S250) 상기 관심 객체의 영상 정보를 분석하여 상기 정의된 행동패턴 중 특정 행동 패턴을 선별하고(S260), 본 발명의 제어부(160)는 상기 행동패턴결정부가 선별한 행동 패턴 정보에 해당하는 후속 조치 제어를 수행한다(S270).

상황을 자동 인식하기 위해서는 다양한 행동 패턴을 정의하고, 설정하고, 인지하는 방법이 제시되어야 한다.

구체적으로 방법은 도 8 및 도 9에 예시된 바와 같이 객체 정의/설정 방법에 의하여 주어(누가)를 설정하고, 영역 정의/설정 방법에 의하여 장소부사어(어디서)를 설정하고, 객체의 6가지 이벤트에 기초한 기본 행동 패턴을 선택하는 접근방법으로 조건절을 설정한다.

조건(절)이 자동 감지되면 검지 카메라녹화여부(명령1), 추적 카메라 동작여부(명령2), 추적 카메라 녹화여부(명령3), 음성계도 방송여부(명령4), 문자계도 방송여부(명령5), 경광등 동작여부(명령6), 사이렌 동작여부(명령7)등의 결과절을 설정한다.

실제 본 발명의 제어부(160)가 후속적 조치를 취하는 실시예로 1번 상황인지 영역에서 사람이 침입(나타남)을 한 상황이 발생하면 시스템은 추적 카메라를 동작(추적, 녹화)시키고 추적시간은 10초로 설정하거나 1번 상황인지 영역에서 사람이 탈출(사라짐)을 한 상황은 추적 카메라를 동작시켜 객체를 근접촬영하고 그 추적시간은 10초로 설정하는 방법 등이다.

또한, 각 상황별 후속 조치에 대한 실시예는 다음과 같이 설정할 수 있다.

<침입 상황> 사람이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 군 무기고에 침입했다. 이 경우, 침입 상황이 자동 인지되면 침입자의 수, 침입자의 몽타주 사진, 침입 시의 동영상, 침입 시간 정보을 자동 수집하여 데이터베이스에 저장한다.

<탈출 상황> 사람이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 통제구역에서 탈출했다. 이 경우, 탈출 상황이 자동 인지되면 탈출자의 수, 탈출자의 몽타주 사진, 탈출 시의 동영상, 탈출 시간 정보을 자동 수집하여 데이터베이스에 저장한다.

<경로통과 상황> 사람이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 횡단보도로 경로통과했다. 이 경우, 경로통과 상황이 자동 인지되면 경로통과한 사람의 수, 경로통과자의 몽타주 사진, 경로통과 시의 동영상, 경로통과 시간 정보을 자동 수집하여 데이터베이스에 저장한다.

<유기 상황> 사람이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 쓰레기 무단투기 금지지역에 유기되었다. 이 경우, 유기 상황이 자동 인지되면 유기자의 몽타주와 유기물 사진, 유기 시의 동영상, 유기 시간 정보을 자동 수집하여 데이터베이스에 저장한다.

<제거(도난) 상황> 그림이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 미술관에서 사라졌다. 이 경우, 제거 상황이 자동 인지되면 제거자의 몽타주와 제거물 사진, 제거 시의 동영상, 제거 시간 정보을 자동 수집하여 데이터베이스에 저장한다.>

<금지된 방향 이동 상황> 차가 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 한강대교에서 일방통행했다. 이 경우, 금지된 방향 이동 상황이 자동 인지되면 차량의 번호판 사진, 금지된 방향 이동 시의 증거 동영상, 상황발생 시간 정보을 자동 수집하여 데이터베이스에 저장한다.

<배회 상황> 사람이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 한강대교에서 배회했다. 이 경우, 배회 상황이 자동 인지되면 배회자의 수, 배회자의 몽타주 사진, 배회 시의 동영상, 배회시간, 배회자가 주로 머무는 장소좌표, 배회자의 이동경로 정보을 자동 수집하여 데이터베이스에 저장한다.

<멈춤 상황- 불법주정차 정차> 차량이 2○○○년 ○월 ○일 ○○:○○~○○:○○시 사이에 주정차단속지역에 정차했다. 이 경우, 멈춤 상황이 자동 인지되면 차량의 번호판 사진, 멈춤 시 거리를 달리하는 2~3장의 증거 사진, 멈춘 시간 정보을 자동 수집하여 데이터베이스에 저장한다.

데이터 생성의 일 형태는 첨부된 도 9와 같으며, 정지영상은 추적카메라로 촬영된 근접영상으로 객체가 사람일 경우 얼굴인식이 가능한 얼굴 영상이고 차량일 경우 번호판 영상이다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

본 발명의 설명과 그에 대한 실시예의 도시를 위하여 첨부된 도면 등은 본 발명에 의한 기술 내용을 강조 내지 부각하기 위하여 다소 과장된 형태로 도시될 수 있으나, 앞서 기술된 내용과 도면에 도시된 사항 등을 고려하여 본 기술분야의 통상의 기술자 수준에서 다양한 형태의 변형 적용 예가 가능할 수 있음은 자명하다고 해석되어야 한다.

100 : 본 발명의 지능형 방범 CCTV 시스템
110 : 객체MER데이터 생성부 120 : 관심영역데이터생성부
130 : 이벤트정의부 140 : 행동패턴정의부
150 : 행동패턴결정부 160 : 제어부

Claims

객체의 MER 특성을 분석하고 분석된 데이터와 카메라의 위치 및 방향 정보를 이용하여 객체MER 데이터를 생성하는 객체MER데이터 생성부;
카메라로부터 생성된 영상 중 모니터링 대상이 되는 영역정보를 추출하고 추출된 영역정보를 이용하여 관심영역 데이터를 생성하는 관심영역데이터생성부;
상기 객체MER데이터의 이동 여부 판단의 기준이 되는 기준점의 위치 좌표와 상기 관심영역 데이터의 아웃 라인를 구성하는 위치 정보들의 상관 관계 또는 객체 MER 데이터의 특성 정보 변화를 이용하여 상기 객체에 대한 복수 개의 이벤트를 정의하는 이벤트 정의부;
상기 정의된 이벤트 중 하나 이상을 이용하여 상기 객체의 행동 패턴을 정의하는 행동패턴정의부;
카메라로부터 관심 객체가 포함된 영상 데이터가 수신되면 상기 관심 객체의 영상 정보를 분석하여 상기 정의된 행동패턴 중 특정 행동 패턴을 선별하는 행동패턴결정부; 및
상기 행동패턴결정부가 선별한 행동 패턴 정보에 해당하는 후속 조치 제어를 수행하는 제어부를 포함하는 것을 특징으로 하는 지능형 방범 CCTV 시스템.
제 1항에 있어서, 상기 객체MER데이터 생성부는,
상기 객체 MER의 종횡 비율, 밀도, 속도, 변위, 이동방향 중 하나 이상을 이용하여 객체MER 데이터를 생성하는 것을 특징으로 하는 지능형 방범 CCTV 시스템.
제 2항에 있어서, 상기 객체MER데이터 생성부는,
원거리 객체 MER의 너비와 높이, 면적 정보를 객체MER 데이터의 하한 범위로 설정하며, 근거리 객체 MER의 너비와 높이, 면적 정보를 객체MER 데이터의 상한 범위로 설정하는 것을 특징으로 하는 지능형 방범 CCTV 시스템.
제 1항에 있어서, 상기 이벤트 정의부는,
상기 객체의 이벤트를 상기 객체의 진입, 이동, 정지, 분리, 결합, 진출 중 하나 이상으로 정의하는 것을 특징으로 하는 지능형 방범 CCTV 시스템.
제 1항에 있어서, 행동패턴정의부는,
상기 객체의 행동패턴을 객체의 침입, 탈출, 경로 통과, 유기, 제거, 금지 방향 이동, 배회, 멈춤 중 하나 이상으로 정의하는 것을 특징으로 하는 지능형 방범 CCTV 시스템.
객체의 MER 특성을 분석하고 분석된 데이터와 카메라의 위치 및 방향 정보를 이용하여 객체MER 데이터를 생성하는 객체MER데이터 생성단계;
카메라로부터 생성된 영상 중 모니터링 대상이 되는 영역정보를 추출하고 추출된 영역정보를 이용하여 관심영역 데이터를 생성하는 관심영역데이터생성단계;
상기 객체MER데이터의 이동 여부 판단의 기준이 되는 기준점의 위치 좌표와 상기 관심영역 데이터의 아웃 라인를 구성하는 위치 정보들의 상관 관계 또는 객체 MER 데이터의 특성 정보 변화를 이용하여 상기 객체에 대한 복수 개의 이벤트를 정의하는 이벤트 정의단계;
상기 정의된 이벤트 중 하나 이상을 이용하여 상기 객체의 행동 패턴을 정의하는 행동패턴정의단계;
카메라로부터 관심 객체가 포함된 영상 데이터가 수신되면 상기 관심 객체의 영상 정보를 분석하여 상기 정의된 행동패턴 중 특정 행동 패턴을 선별하는 행동패턴결정단계; 및
상기 행동패턴결정단계에서 선별한 행동 패턴 정보에 해당하는 후속 조치 제어를 수행하는 제어단계를 포함하는 것을 특징으로 하는 지능형 방범 CCTV 모니터링 방법.