KR20210039050A - 지역내 이벤트감지장치 및 그 장치의 구동방법 - Google Patents

Abstract

본 발명은 지역내 이벤트감지장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 지역내 이벤트감지장치는, 복수의 촬영장치에 의해 감시되는 매장이나 공공장소의 관심 영역에 존재하는 고객의 상태 관련 메타 데이터를 저장하는 저장부, 및 복수의 촬영장치에서 제공하는 촬영영상을 분석하여 얻은, 관심 영역에 등장하는 고객의 행위 및 저장한 고객의 상태 관련 메타 데이터를 근거로 고객의 비정상 상태를 판단하고, 판단한 비정상 상태시 관심 영역의 혼잡 지수가 지정 조건을 만족하면 관리자에게 통지하는 제어부를 포함할 수 있다.

Description

지역내 이벤트감지장치 및 그 장치의 구동방법{Apparatus for Sensing Event on Region of Interest and Driving Method Thereof}

본 발명은 지역내 이벤트감지장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 무인편의점 등의 매장이나 지하철 등의 공공장소에서 고객의 비정상 상태 및 그에 따른 혼잡지수를 근거로 관리자에서 알림을 주는 등 특정 목적을 갖는 지역에 특화되는 지역내 이벤트감지장치 및 그 장치의 구동방법에 관한 것이다.

사회 범죄가 나날이 증가하고, 과학 기술도 함께 발전하면서 범죄 예방이나 교통 체증과 같은 모니터링을 위해 CCTV와 같은 카메라를 활용한 감시 시스템이 빠르게 개선되고 있다. 최근에는 감시요원이 단순히 감시하는 것을 넘어 지능적으로 알림을 주는 기술로까지 발전하고 있다. 또한, 교통 체증과 같은 경우 효율적인 모니터링을 위하여 빅데이터의 수집이 절실하게 요청되면서 카메라 영상 기술은 홍수 속에 있다고 해도 과언이 아니다.

이와 관련해 종래에는 영상을 이용한 감시장치의 경우 넓은 지역 내에서 발생하는 이벤트 감지에 대한 것이 대부분이다. 소규모 지역 내에서의 감시장치는 넓은 지역 내 감시장치(예: 객체를 추적하기 위해 PTZ 카메라 사용 및 다양한 이벤트 감지 프로그램 등)를 차용해 왔기 때문에 그 설비 시스템도 복잡하고, 실제 특수 목적 내에서의 이벤트 감시 기준(예: 각 설치 지역별 특수 상황 등)과는 상이하여 실질적인 이벤트를 감지 못하는 경우가 많아 효용성이 떨어지는 문제가 있다.

한국공개특허공보 제10-2015-0100141호(2015.09.02) 한국등록특허공보 제10-1699479호(2017.01.18) 한국공개특허공보 제10-2016-0077932호(2016.07.04)

본 발명의 실시예는, 가령 무인편의점 등의 매장이나 지하철 등의 공공장소에서 고객의 비정상 상태 및 그에 따른 혼잡지수를 근거로 관리자에서 알림을 주는 등 특정 목적을 갖는 지역에 특화되는 지역내 이벤트감지장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 지역내 이벤트감지장치는, 복수의 촬영장치에 의해 감시되는 매장이나 공공장소의 관심 영역에 존재하는 고객의 상태 관련 메타 데이터를 저장하는 저장부, 및 상기 복수의 촬영장치에서 제공하는 촬영영상을 분석하여 얻은 상기 관심 영역에 등장하는 고객의 행위 및 상기 저장한 고객의 상태 관련 메타 데이터를 근거로 상기 고객의 비정상 상태를 판단하고, 상기 판단한 비정상 상태시 상기 관심 영역의 혼잡 지수가 지정 조건을 만족하면 관리자에게 통지하는 제어부를 포함한다.

상기 제어부는, 상기 촬영영상에서 추출한 상기 고객의 행위에 대한 객체의 종횡비 측정 결과를 근거로 상기 비정상 상태를 판단할 수 있다.

상기 제어부는, 상기 고객이 상기 관심 영역에 머문 시간을 측정하여 지정 시간 간격을 초과할 때 상기 비정상 상태로 판단할 수 있다.

상기 제어부는, 상기 촬영영상에서 추출하는 객체의 인식을 위하여 룰 기반의 제1 방식 및 딥러닝 기반의 제2 방식을 병행 적용하여 상기 촬영영상에서 상기 고객 관련 객체를 분류하고, 상기 분류한 객체를 추적한 추적 결과를 근거로 오객체를 분류할 수 있다.

상기 저장부는, 상기 관심 영역에 존재하는 고객의 육하원칙에 따른 기설정된 행위와 관련한 행위 데이터를 더 포함하여 상기 메타데이터로서 저장하며, 상기 제어부는 상기 촬영영상의 분석 결과 및 상기 저장한 행위 데이터를 비교하여 상기 고객의 비정상 상태를 판단할 수 있다.

상기 제어부는, 상기 관심 영역의 제1 영역을 촬영하는 제1 카메라의 촬영영상을 분석하여 상기 육하원칙 중 일부 행위를 판단하고, 상기 관심 영역의 제2 카메라의 촬영영상을 분석하여 상기 일부 행위 이외의 나머지 행위를 판단할 수 있다.

상기 제어부는, 동일 특성을 갖는 타 관심 영역의 사건 또는 사고 관련 이벤트 데이터를 수집하여 상기 저장부에 저장시키며, 상기 타 관심 영역의 이벤트 데이터를 근거로 상기 비정상 상태를 더 판단할 수 있다.

상기 저장부는, 무인편의점에서의 상기 고객의 상태와 관련되는 메타 데이터를 저장하며, 상기 제어부는, 상기 무인편의점에서 물건을 구입하는 상기 고객의 행위 및 상기 저장한 메타 데이터를 근거로 비정상 구매를 판단하여 상기 고객에게 통지할 수 있다.

또한, 본 발명의 실시예에 따른 지역내 이벤트감지장치의 구동방법의 구동방법은, 복수의 촬영장치에 의해 감시되는 매장이나 공공장소의 관심 영역에 존재하는 고객의 상태 관련 메타 데이터를 저장부에 저장하는 단계, 및 제어부가, 상기 복수의 촬영장치에서 제공하는 촬영영상을 분석하여 얻은 상기 관심 영역에 등장하는 고객의 행위 및 상기 저장한 고객의 상태 관련 메타 데이터를 근거로 상기 고객의 비정상 상태를 판단하고, 상기 판단한 비정상 상태시 상기 관심 영역의 혼잡 지수가 지정 조건을 만족하면 관리자에게 통지하는 단계를 포함한다.

상기 판단하는 단계는, 상기 촬영영상에서 추출한 상기 고객의 행위에 대한 객체의 종횡비 측정 결과를 근거로 상기 비정상 상태를 판단할 수 있다.

상기 판단하는 단계는, 상기 고객이 상기 관심 영역에 머문 시간을 측정하여 지정 시간 간격을 초과할 때 상기 비정상 상태로 판단할 수 있다.

상기 구동방법은, 상기 촬영영상에서 추출하는 객체의 인식을 위하여 룰 기반의 제1 방식 및 딥러닝 기반의 제2 방식을 병행 적용하여 상기 촬영영상에서 상기 고객 관련 객체를 분류하는 단계, 및 상기 분류한 객체를 추적한 추적 결과를 근거로 오객체를 분류하는 단계를 더 포함할 수 있다.

상기 저장하는 단계는, 상기 관심 영역에 존재하는 고객의 육하원칙에 따른 기설정된 행위와 관련한 행위 데이터를 더 포함하여 상기 메타데이터로서 저장하며, 상기 판단하는 단계는, 상기 촬영영상의 분석 결과 및 상기 저장한 행위 데이터를 비교하여 상기 고객의 비정상 상태를 판단할 수 있다.

상기 판단하는 단계는, 상기 관심 영역의 제1 영역을 촬영하는 제1 카메라의 촬영영상을 분석하여 상기 육하원칙 중 일부 행위를 판단하고, 상기 관심 영역의 제2 카메라의 촬영영상을 분석하여 상기 일부 행위 이외의 나머지 행위를 판단할 수 있다.

상기 구동방법은, 동일 특성을 갖는 타 관심 영역의 사건 또는 사고 관련 이벤트 데이터를 수집하여 상기 저장부에 저장시키는 단계를 더 포함하며, 상기 판단하는 단계는, 상기 타 관심 영역의 이벤트 데이터를 근거로 상기 비정상 상태를 더 판단할 수 있다.

상기 저장하는 단계는, 무인편의점에서의 상기 고객의 상태와 관련되는 메타 데이터를 저장하며, 상기 통지하는 단계는, 상기 무인편의점에서 물건을 구입하는 상기 고객의 행위 및 상기 저장한 메타 데이터를 근거로 비정상 구매를 판단하여 상기 고객에게 통지할 수 있다.

본 발명의 실시예에 따르면, 무인편의점과 같은 특정 목적을 갖는 관심 영역이나 지역에 특화된 영상 분석 알고리즘을 제공함으로써 소규모 매장에서도 소규모 장비로 영상을 통한 객체를 추적하여 이벤트를 추출하는 것이 얼마든지 가능하다.

예를 들어, 무인편의점과 같은 매장의 경우 고객의 쓰러짐, 취객의 비정상 동작과 같이 고객의 비정상 상태를 판단하여 이를 근거로 매장의 점주에게 통지함으로써 매장 관리가 수월해질 수 있을 것이다.

또한, 복수의 매장에서 발생하는 고객의 비정상 상태와 관련한 데이터를 취득하여 이용함으로써 고객의 새로운 상태 즉 사건, 사고의 이벤트 발생을 탐지하여 관리자에게 알림으로써 그에 관련된 신속한 대처를 수행할 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 지역내 이벤트감지시스템을 나타내는 도면,
도 2는 도 1의 관심지역을 도식화하여 나타낸 도면,
도 3은 제1 촬영장치의 영상 화면을 예시한 도면,
도 4는 제2 촬영장치의 영상 화면을 예시한 도면,
도 5는 본 발명의 실시예에 따른 제1 시나리오를 설명하기 위한 도면,
도 6은 본 발명의 실시예에 따른 제2 시나리오를 설명하기 위한 도면,
도 7은 본 발명의 실시예에 따른 제3 시나리오를 설명하기 위한 도면,
도 8 내지 도 11은 본 발명의 실시예에 따른 이상행위분석 솔루션 기능을 설명하기 위한 도면,
도 12는 본 발명의 실시예에 따른 객체 검출 분류 유형을 보여주는 도면,
도 13은 도 1 또는 도 2의 지역내 이벤트감지장치의 세부구조를 예시한 블록다이어그램,
도 14는 도 13의 지역내 이벤트감지부의 세부구조를 예시한 블록다이어그램,
도 15는 본 발명의 다른 실시예에 따른 지역내 이벤트감지장치의 세부구조를 예시한 블록다이어그램,
도 16은 본 발명의 또 다른 실시예에 따른 지역내 이벤트감지장치의 세부구조를 예시한 블록다이어그램 및 15의 구성요소들의 기능을 정리하여 나타내는 도면, 그리고
도 17은 본 발명의 실시예에 따른 지역내 이벤트감지장치의 구동과정을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 지역내 이벤트감지시스템을 나타내는 도면, 도 2는 도 1의 관심지역을 도식화하여 나타낸 도면, 도 3은 제1 촬영장치의 영상 화면을 예시한 도면, 도 4는 제2 촬영장치의 영상 화면을 예시한 도면, 도 5는 본 발명의 실시예에 따른 제1 시나리오를 설명하기 위한 도면, 도 6은 본 발명의 실시예에 따른 제2 시나리오를 설명하기 위한 도면, 도 7은 본 발명의 실시예에 따른 제3 시나리오를 설명하기 위한 도면, 도 8 내지 도 11은 본 발명의 실시예에 따른 이상행위분석 솔루션 기능을 설명하기 위한 도면, 그리고 도 12는 본 발명의 실시예에 따른 객체 검출 분류 유형을 보여주는 도면이다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 지역내 이벤트감지시스템(90)은 촬영장치(100), 통신망(110), 지역내 이벤트감지장치(혹은 이상행동탐지장치, 이상행위분석장치)(120) 및 관리자 단말장치(130)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 통신망(110)과 같은 일부 구성요소가 생략되어 촬영장치(100)와 지역내 이벤트감지장치(이하, 이벤트감지장치)(120)가 다이렉트 통신(예: P2P 통신)을 수행하거나, 이벤트감지장치(120)와 같은 일부 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

관심지역(95)은 본 발명의 실시예에 따라 무인편의점과 같은 매장이나 지하철과 같은 공공장소를 의미하며, 촬영장치(100)는 관심지역(95)에 설치되어 다양한 유형의 객체, 무엇보다 고객 즉 사람들의 행위(또는 행동)을 감시한다. 좀더 정확하게는 관리자나 감독자가 인근에 위치하고 있지 않은 경우에 적합할 수 있다. 촬영장치(100)는 CCTV나 IP 카메라와 같은 고정식 카메라를 포함한다. 촬영장치(100)는 가령 도 2에서 같은 무인편의점의 경우 제1 출입문(예: 정문)의 영역에 설치되는 제1 촬영장치(101)와 제2 출입문(예: 측문)의 영역에 설치되는 제2 촬영장치(103)를 포함할 수 있다. 관심지역(95) 내에 설치되는 촬영장치(100)의 개수는 감시하고자 하는 매대 가령 자판기(혹은 자동판매기)(97) 등의 개수나 배치에 따라 다양하게 변경될 수 있을 것이다.

도 2에서 볼 때, 무인편의점과 같은 관심지역(95) 내에는 가령 상품을 판매하는 자판기(97)가 설치되고, 물론 해당 자판기(97)는 지불결제수단을 통해 결제를 진행하여 상품을 인출할 수 있을 것이다. 무인편의점인 관심지역(95)에는 도 2에서와 같이 다양한 종류의 자판기(97)가 설치되고, 그 이외에도 커피머신이 설치될 수 있으며, 전자렌지 등의 서비스장치도 설치될 수 있다. 이와 같이 상품 판매를 위한 매대 즉 자판기(97)들이 설치되면, 관심지역(95) 내에는 각각의 촬영장치(100)를 설치하여 무인편의점 내의 고객들에 대한 감시가 이루어지도록 한다. 촬영장치(100)를 설치하는 경우, 가급적 관심지역(95)의 모든 영역을 감시할 수 있도록 하는 것이 바람직하다.

도 3 및 도 4는 무인편의점인 관심지역(95) 내에 설치된 제1 촬영장치(101)와 제2 촬영장치(103)에 의해 각각 촬영된 영상을 보여준다. 제1 촬영장치(101) 및 제2 촬영장치(103)는 관심지역(95)의 감시를 용이하게 하고, 또 침입자에 의한 제품의 파손 우려를 줄이기 위하여 천장에 설치되는 것이 바람직하다. 물론 제1 촬영장치(101) 및 제2 촬영장치(103)에 의해 촬영되는 각각의 촬영영상은 관리자 단말장치(130)에서 감시가 이루어진다고 볼 수 있으며, 해당 영상의 촬영시 판단되는 관심지역(95) 내 상황에 대한 상태 정보를 화면에 가령 증강현실과 같은 형태로 합성하여 저장한 후, 관리자에게 제공할 수 있다. 예를 들어, 상태정보는 현재 매장 내의 인원수, 체류시간 및 혼잡지수(혹은 혼잡도)와 관련한 정보가 표시된다.

본 발명의 실시예에 따른 제1 촬영장치(101) 및 제2 촬영장치(103)는 지정된 관할 영역의 촬영을 수행하여 촬영영상을 도 1의 이벤트감지장치(120)로 전송하지만, 제1 촬영장치(101)는 관심지역(95) 내의 인원수와 고객의 이상행위탐지를 위해 적정 위치에 설치될 수 있으며, 제2 촬영장치(103)는 감시 영역의 이상행위탐지를 위해 적정 위치에 설치될 수 있다. 물론 제1 촬영장치(101)는 촬영영상을 이벤트감지장치(120)로 전송할 때 장치식별정보를 함께 전송하게 됨으로써 이를 통해 이벤트감지장치(120)는 수신된 제1 촬영장치(101)에 대하여 인원수와 이상행위탐지를 분석한다고 볼 수 있다. 반면, 제2 촬영장치(103)로부터 제공되는 촬영영상을 통해서는 이상행위탐지만을 분석하게 된다고 볼 수 있다. 감시영역은 도 2에서 볼 수 있는 바와 같이 일부 중복되는 영역이 존재하지만, 서로 다르다.

통신망(110)은 시스템 설계자가 어떠한 방식으로 시스템을 운영하느냐에 따라 다를 수 있지만, 도 1에서 볼 때 각각의 관심지역(95) 내에 도 2에서와 같이 이벤트감지장치(120)를 구성하는 경우에는 즉 로컬로 이벤트감지장치(120)를 운영하는 경우 다이렉트 통신을 위해 단순히 랜(LAN) 선로에 의해 이벤트감지장치(120)와 연결될 수 있지만, 도 1에서와 같이 범용(Global)으로 시스템(90)을 운영하는 경우에는 통신사에서 운영하는 사설 통신망을 이용할 수 있다. 물론, 도 2의 경우 유선 형태의 랜 선로를 도시하였지만, 무선 랜을 이용하는 경우도 얼마든지 가능할 수 있으므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 관심지역(95) 내의 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 이벤트감지장치(120) 등으로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

이벤트감지장치(120)는 관심지역(95) 내에 발생하는 이벤트를 감지한다. 더 정확하게는 이상행위를 탐지한다. 다만, 그러한 용어의 개념에 특별히 한정하지는 않을 것이다. 이벤트감지장치(120)는 관심지역(95) 내의 촬영장치(100)로부터 제공되는 촬영영상을 분석하며, 가령 복수의 촬영장치(100)가 관심지역(95)에서 설치되는 경우, 제1 촬영장치(101)의 촬영영상을 통해서는 인원수와 이상행위탐지 분석을 수행하고, 제2 촬영장치(103)의 촬영영상을 통해서는 이상행위탐지 분석만을 수행할 수 있다. 물론 이는 하나의 예를 나타내는 것이며, 가령 복수의 촬영장치(100)로부터 제공되는 촬영영상은 서로 다른 이벤트를 분석하도록 설정될 수 있다. 다시 말해, 제1 촬영영상은 사건, 사고의 발생을 탐지하기 위해 활용될 수 있고, 제2 촬영영상은 인원수만을 파악하기 위해 활용될 수 있다. 또는 관심지역(95) 내에서 고객의 행위가 시나리오로 설정되어 있는 경우, 해당 시나리오의 각 행위를 분담하여 분석하는 동작을 수행할 수도 있다. 고객의 행위 시나리오가 A, B, C, D의 순으로 이어질 때 제1 촬영영상은 A 및 B의 행위를 분석하기 위해 사용되고, 제2 촬영영상은 C 및 D의 행위를 분석하기 위해 사용하는 것이다.

무엇보다 본 발명의 실시예에 따른 이벤트감지장치(120)는 단순히 이벤트라기보다는 더 정확하게는 이상행위탐지를 수행하는 것이며, 이를 위하여 사람을 중심으로 상태를 감시할 수 있다. 이의 과정에서 이벤트감지장치(120)는 도 5에서와 같이 구매고객 1인이 매장 진입 후 자판기(97)에서 제품을 구매하면서 또는 구매한 후 바닥에 쓰러지는 상황을 감지하거나, 도 6에서 볼 때 구매 고객 2인이 매장 진입 후 자판기(97)의 제품을 구매한 후 그 중 1인이 쓰러지거나, 도 7에서와 같이 구매 고객 1인 매장 진입 후 20초 이내 매장을 이탈하는 등의 행위를 탐지할 수 있다. 도 5 및 도 6의 경우 이벤트 탐지로서 장시간 체류 감지(예: Long stay: 30초 체류 조건)와 쓰러짐이 발생했다고 볼 수 있다. 매장 내 현재 체류 고객수, 총 방문 고객수 및 평균체류시간 등은 메타 데이터로서 DB(120a)에 저장될 수 있다. 또한, 도 6의 경우에는 도 5와 크게 다르지 않지만, 영역 내 혼잡 알람을 위한 이벤트 탐지가 추가적으로 이루어질 수 있다. 반면 도 7의 경우에는 이벤트가 발생하지 않은 것으로 판단하지만, 관련 데이터 즉 매장 내 현재 체류 고객수, 총 방문 고객수, 평균체류시간 등과 관련한 메타 데이터는 저장된다.

이벤트감지장치(120)는 관심지역(95) 내의 촬영장치(100)로부터 제공되는 촬영영상을 분석하여 분석결과를 해당 촬영영상과 믹싱(mixing) 즉 혼합하여 DB(120a)에 저장시킬 수 있다. 여기서, 메타데이터로서 저장하기 위해서는 시간정보 등의 부가정보를 함께 저장하는 것이 바람직하다. 따라서, DB(120a)에 저장되어 있는 과거 영상을 재차 확인하게 될 때, 부가정보는 유용하게 사용될 수 있다. 가령, 쓰러짐이라는 키워드로 과거 영상을 검색하거나 날짜를 입력하는 경우 영상의 검색이 수월하게 이루어질 수 있다. 또는 평균체류시간도 검색조건이 될 수 있으면, 혼잡지수도 검색조건이 될 수 있을 것이다.

무엇보다 본 발명의 실시예에 따른 이벤트감지장치(120)는 감시대상이 사람에 초점을 두는 만큼 사람의 행위를 감시하여 이벤트를 감지하는 것이 바람직하다. 가령, 무인편의점의 경우 사람이 쓰러지거나 취객의 경우 넘어지거나 하는 등의 행위가 빈번하게 발생할 수 있다. 다시 말해, 이벤트감지장치(120)는 무인편의점에 국한하여 이벤트를 설정하고, 또는 동일한 성격을 갖는 주변의 관심지역(95)의 데이터를 근거로 이벤트를 탐지할 수 있다는 점에서, CCTV 등을 통해 넓은 지역을 촬영하고 이벤트를 분석하는 종래 기술과는 차별화된다고 볼 수 있다. 예를 들어, 무인 의류 매장을 한번 가정해 보자. 의류 매장의 고객은 편의점의 고객과 다른 행위를 보일 것이 분명하다. 이와 같이 성격이 다른 관심지역(95)에 대한 고객의 행위를 설정하고 또 예측하고, 나아가 동일 성격을 갖는 주변 관심지역(95)의 데이터를 활용함으로써 특정 성격을 갖는 관심지역(95)의 이벤트를 확장해 갈 수 있게 된다.

이러한 면에서 볼 때, 본 발명의 실시예에 따른 이벤트감지장치(120)는 설치 또는 운영 목적에 따라 다양하게 구성될 수 있다. 가령, 도 2에서와 같이 특정 관심지역(95)에 국한하여 동작하는 로컬 방식으로 운영하는 것이다. 이의 경우, 이벤트감지장치(120) 내에 본 발명의 실시예에 따른 동작을 수행하기 위한 프로그램을 설치하고 이를 실행시킬 수 있다. 또한, 도 2의 로컬 방식을 확장하여 주변의 이벤트감지장치(120)와 연동하도록 하는 것이다. 예를 들어, 지정된 통신 반경 내에 있는 이벤트감지장치(120)와 연동하도록 하는 것이다. 이를 통해 이벤트를 확장해 가는 것이다. 또는 도 1에서와 같이 범용 서비스를 제공하기 위하여 사설 통신사가 운영하는 통신망(110)에 연결되어 이벤트감지장치(120)를 운영하거나, 이에 도 2의 구성을 조합하는 것이다. 다시 말해, 관심지역(95) 내에 제1 이벤트감지장치를 운영하면서 동시에 도 1에서와 같이 범용의 제2 이벤트감지장치를 병행하는 것이다. 역할 분담을 수행하거나 선택적으로 제1 또는 제2 이벤트감지장치를 동작시킬 수 있다. 예를 들어, 통신망(110)이 정상 상태에서는 도 1의 범용 서비스를 제공하는 제2 이벤트감지장치가 동작하지만, 통신망(110)의 통신 장애 등이 발생할 때 로컬 기반의 제1 이벤트감지장치가 동작하는 것이다. 이와 같이 시스템 설계자의 의도에 따라 다양하게 동작할 수 있는 것이므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

도 1 및 도 2의 이벤트감지장치(120)는 도 8에서와 같이 관심영역(ROI)에 등장하는 고객 즉 사람들의 이상행위를 탐지하기 위하여 관심 영역 내 현재 체류 중인 고객수, 물론 관심 영역 밖의 고객수는 카운트하지 않으며, 관심 영역 내 총 방문객수, 고객 평균 체류시간 및 정체지수값 즉 혼잡도를 측정한다. 고객이 관심 영역을 통과하는 데 걸리는 통상 시간보다 오래 체류하는 경우 정체지수가 상승하며 혼잡도가 기준 이상이 되는 경우 이벤트 알람을 발생할 수 있다. 물론 이러한 알람은 관리자가 모니터링을 하고 있는지의 여부에 관계없이, 알람을 정지시키지 않는 이상, 항시 발생시키는 것이 바람직하다.

또한, 이벤트감지장치(120)는 도 9에서와 같이, 관심 영역 내 고객을 대상으로 종횡비를 측정한다. 즉 사람의 폭과 높이를 측정하여 영상 프레임에서 이상 점수를 계산하고 누적된 임계치 초과시 쓰러짐으로 판단하여 쓰러짐 이벤트, 즉 "비정상(abnormal)" 문구를 팝업할 수 있다. 이와 같이 이벤트감지장치(120)는 가로방향 쓰러짐, 세로방향 쓰러짐, 방향에 구분없이 쓰러짐 감지가 가능하다. 쓰러짐, 실신, 취객감지 등 다양한 용도로 활용이 가능하다.

나아가, 이벤트감지장치(120)는 도 10에서와 같이 매장 내 방문고객 장시간 체류 이벤트 검출 동작을 수행한다. 관심 영역 내 고객 진입시 시간 타이머를 동작시켜 설정시간 초과시 장시간 체류 대상으로 판단하여 특정 색(예: 핑크색)의 객체 박스를 표시하고 "장시간 체류(Long Stay)" 문구를 팝업하여 알람을 준다. 장시간 체류 이벤트 시간은 POC, 가령 데모 테스트 등을 통해 경험한 바 대로 30초로 설정할 수 있으며, 물론 이러한 시간은 변경이 얼마든지 가능할 수 있다. 이벤트감지장치(120)는 이외에도 거동 수상자 배회검지, 제품 구매 관심 고객 감지 등 다양한 기능을 수행할 수 있다. 제품 구매 관심 고객 감지를 통해서는 제품에 대한 고객 동향을 판단해 볼 수도 있을 것이다.

이외에 이벤트감지장치(120)는 도 11의 (a) 및 (b)에서와 같이 관심 영역 내 정체/사고감지 이벤트를 검출할 수 있다. 고객이 관심영역을 통과하는 데 걸리는 통상적인 시간을 계산하여 통상시간 초과시 정체지수가 상승 후 임계치 도달시 정체 알람(Abnormal congestion)을 발생시킨다. 도 11의 (a)에서는 정체지수가 1.28로 나타나고 있고, 체류 시간은 27.6초로 나타나고 있다. 이러한 동작은 도 11의 (b)에서와 같이 지하철역 에스컬레이터 사고감지 등에도 유용할 수 있다. 또한, 계산대 고객 대기열 및 매장 내 혼잡도 감지나 사고 감지에 활용할 수 있을 것이다.

지금까지 이벤트감지장치(120)는 무인편의점과 같은 매장이나 공공장소를 예로 들어 설명하면서 사람을 중심으로 이상행위를 탐지하는 것을 살펴보았지만, 본 발명의 실시예에 따른 이벤트감지장치(120)는 관심지역(95)으로 다양한 곳의 이벤트를 감지하기 위해 사용될 수 있다. 예를 들어, 공공장소에서 반려견을 동반하는 사례들이 많아지면서 사람과 그 반려견에 의한 이상행위 탐지가 이루어질 수 있다. 이외에도 지하철과 같은 실내에서는 분실물을 두고 하차하는 경우도 발생할 수 있다. 이와 같이, 이벤트감지장치(120)는 관심지역(95)에 특화된 이상행위를 탐지함으로써 이벤트 탐지가 수월할 수 있다. 예를 들어, 도 1에서 볼 때, 관심지역 A는 무인편의점이고, 관심지역 B는 공공장소라고 가정해 보자. 두 개의 관심지역은 이상행위 탐지 동작이 서로 상이할 수 있다. 따라서, 이벤트감지장치(120)는 탐지 유형 또는 형태를 관심지역(95)의 식별정보와 매칭시켜 저장한 후 이를 근거로 서로 다른 탐지 동작을 수행할 수 있다. 다시 말해, 탐지 유형이 다르다는 것은 취득한 촬영영상에서 객체를 분류하는 동작부터 상이할 수 있고, 분류된 객체를 추적하는 과정이 단순해질 수 있으며, 이를 통해 탐지하는 이벤트는 서로 다를 수 있다.

이와 같이, 이벤트감지장치(120)는 도 12 및 <표 1>에서 볼 수 있는 바와 같이, 80개 이상의 객체 검출이 가능하다고 가정해 볼 때, 관심지역(95)에 관련되는 객체만을 검출할 수 있다. 예컨대 동물원에서 동물의 이상행위(혹은 행동)을 탐지하는 데 이륜차, 트럭과 같은 객체를 분류하는 것은 불필요하기 때문이다. 다만, 영상처리 과정에서 가령 배경을 제외하고 객체를 추출한 후, 동물과 관련없는 객체들은 모두 분류해 내거나 삭제할 수 있다. 물론 분류된 객체들은 학습을 위해 사용될 수도 있을 것이다.

한편, 본 발명의 실시예에 따른 이벤트감지장치(120)는 소수개의 영상장치(예: 카메라)만을 이용하여 영상감지장치(예: 서버)가 설치되는 장소(예: 무인편의점 등)의 특수성에 따른 육하원칙(누가/언제/어디서/무엇을/어떻게/왜)에 기반한 시나리오를 1차로 설정한 후 각각의 육하원칙에 따른 기본 이벤트를 설정하고, 또한 동일한 특수성을 갖는 다른 장소에서 발생하는 기록되지 않은 새로운 이벤트를 학습해서 현재 설치된 장소에서 실시간으로 적용하도록 하여 좁은 지역 내에서의 완벽한 영상감시가 이루어지도록 한다. 예를 들어, 이벤트감지장치(120)는 육하원칙에 따른 1차 이벤트 감지 기준을 위한 시나리오를 설정한다(예: 무인편의점). 가령, 누가(성별/나이 등), 몇시에 방문 및 퇴실, 어떤 매대에서, 어떤 물건을, 카드로, 구매하였는가 등이 될 수 있다. 이는 통상 고객이 편의점에 방문하여 물건 구입후 해당 물건을 지급한다는 기준이다. 가령, 적은 수의 고정 카메라를 이용하여 객체 추적 및 영상 이벤트를 감지하고, 1차(혹은 제1) 카메라는 즉 카메라 촬영영상은 육하원칙 중 누가/몇시/카드/구매 내역에 대한 이벤트만 감지하고 추적 객체 코드를 생성하여 이용한다. 반면, 2차(혹은 제2) 카메라의 촬영영상은 추적 객체 코드를 이용한 객체가 어떤 매대/어떤 물건에 대한 이벤트만 감지하는 것이다. 이와 같이 이벤트감지장치(120)는 소규모 매장에서 소규모 장치로 영상을 통한 객체를 추적하여 이벤트를 용이하게 추출할 수 있을 것이다.

도 1의 관리자 단말장치(130)는 가급적 원격에서 관심지역(95)을 감시할 수 있는 것이 바람직하다. 감시센터의 장치라기보다는 소규모 매장의 관리자가, 더 정확하게는 무인매장의 경우에는 원격에서 수시로 매장의 상황을 살펴보고 이벤트를 통지받을 수 있는 것이 바람직하다. 따라서, 관리자 단말장치(130)는 영상표시가 가능한 데스크탑 컴퓨터, 랩탑컴퓨터, 태블릿 PC, 스마트폰, 스마트TV 및 그에 연결되는 주변장치로서 인공지능(AI) 스피커, 또 국내 S사의 갤**시기어와 같은 웨어러블장치 등 다양한 장치를 포함할 수 있다.

관리자 단말장치(130)는 언제든지 도 1 및 도 2의 이벤트감지장치(120)에 접속하여 특정 상황을 점검할 수 있을 뿐 아니라, 이벤트 통지가 있을 때, 해당 상황을 살핀 후 빠르게 대처할 수 있다. 또는 특정 시간대에 과거 영상을 키워드, 가령 혼잡도나 체류시간 등의 카테고리를 통해 매장의 상황을 주기적으로 점검할 수 있으며, 혼잡도 등을 통해서는 사고 예방을 위하여 또는 상품 배치를 위하여 적절한 동작을 수행할 수 있다. 예를 들어, 해당 시간대에는 관리자가 직접 매장에 방문하여 관리, 감독을 수행할 수도 있을 것이다.

도 13은 도 1의 지역내 이벤트감지장치의 세부구조를 예시한 블록다이어그램이며, 도 14는 도 13의 지역내 이벤트감지부의 세부구조를 예시한 블록다이어그램이다.

도 13에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 지역내 이벤트감지장치(이하, 이벤트감지장치)(120)는 통신 인터페이스부(1300), 제어부(1310), 지역내 이벤트감지부(1320) 및 저장부(1330)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(1330)와 같은 일부 구성요소가 생략되어 구성되거나 지역내 이벤트감지부(1320)와 같은 일부 구성요소가 제어부(1310)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(1300)는 가령 도 1의 관심지역(95) 내에 설치되는 CCTV 카메라, IP 카메라 등의 촬영장치(100)와 통신을 수행하며, 촬영영상을 수신한다. 촬영영상을 수신하는 과정에서 촬영장치(100)의 식별정보를 수신할 수 있다.

또한, 통신 인터페이스부(1300)는 촬영장치(100)와 유무선 통신이 가능할 수 있으며, 이를 위해 유무선 통신모듈을 포함할 수 있다. 통신을 수행하는 과정에서 인코딩/디코딩, 먹싱/디먹싱, 스케일링 등의 동작을 수행할 수 있으며, 도 2의 경우에는 별도의 인코딩이나 디코딩 동작이 생략될 수 있다. 인코딩/디코딩, 먹싱/디먹싱은 당업자에게 자명하므로 더 이상의 설명은 생략한다.

제어부(1310)는 이벤트감지장치(120)를 구성하는 통신 인터페이스부(1300), 지역내 이벤트감지부(1320) 및 저장부(1330)의 전반적인 제어 동작을 담당한다. 제어부(1310)는 통신 인터페이스부(1300)에서 제공되는 촬영영상을 저장부(1330)에 임시 저장한 후 지역내 이벤트감지부(1320)에 제공할 수 있으며, 지역내 이벤트감지부(1320)에서 생성되는 메타 데이터는 도 1의 DB(120a)에 분류하여 저장한다.

또한, 제어부(1310)는 가령 지역내 이벤트감지부(1320)의 요청에 따라 동일 특성을 갖는 관심지역(예: 무인편의점 A와 무인편의점 B)의 이벤트 관련 데이터를 제공받아 저장부(1330)에 저장한 후 이벤트 탐지시 이를 활용할 수 있다. 로컬 방식으로 이벤트감지장치(120)가 운영되는 경우, 특정 이벤트감지장치(120)를 지정할 수 있지만, 지역 특성을 좀더 정확히 반영하기 위하여 통신 반경을 근거로 동일 특성을 갖는 관심 지역의 이벤트 관련 데이터를 수집하여 활용할 수 있다. 예컨대, 공장 지대의 편의점들은 고객층이 유사할 수 있기 때문이다. 물론, 동이나 구 단위와 같이 행정구역을 단위로 데이터를 수집하여 이용할 수도 있을 것이다.

지역내 이벤트감지부(1320)는 이벤트 즉 사건이나 사고일 수 있지만, 더 정확하게는 이상행위를 탐지한다고 볼 수 있다. 특히 사람 중심의 분석이 이루어질 수 있으며, 이를 위하여 사람의 종횡비를 측정할 수 있다. 통상적으로 종의 방향의 길이가 커야 하지만, 그의 반대 방향이 되면, 지역내 이벤트감지부(1320)는 해당 고객에게 비정상 상황이 발생하였음을 감지하고, 수 프레임의 영상에 걸쳐 지속적인 측정이 이루어질 수 있다. 가령, 일반 고객이나 취객이 일시적으로 넘어진 후 다시 일어설 수도 있을 것이고, 이때 주변 사람들의 종횡비를 함께 측정하거나 사람들의 인원수를 측정하여 해당 이상행위에 대한 혼잡지수를 계산한다. 물론 이러한 영상 분석을 통해 얻어지는 부가정보는, 더 정확하게는 카메라의 관심영역 내의 고객 인원수, 체류시간, 혼잡지수 등의 정보는 해당 화면에 지속적으로 표시되며 해당 화면의 영상에 합성하여 저장시킬 수 있다. 종횡비의 기준은 입력된 단위 프레임 영상에서 마지막 스캔라인이나 해당 스캔라인의 영상이 기준이 될 수 있다. 또는 입력된 단위 프레임 영상의 최초의 스캔라인에 해당하는 영상이 될 수 있다.

또한, 지역내 이벤트감지부(1320)는 관심지역 내, 더 정확하게는 관심영역 내의 이상행위를 감지함에 있어서, 장치의 초기 설치시 설정한 프로그램상의 데이터를 근거로 이상행위를 감지하고, 이후 주변의 관심지역(95)에서 수집하는 데이터를 근거로 이상행위를 감지 또는 탐지할 수 있다. 물론 수집 데이터는 동일 특성을 갖는 관심지역(95)의 데이터이며, 더 나아가서는 동일 지역의 데이터를 반영하는 것이 더욱 정확할 수 있다. 동일 지역은 공장지대나 행정구역을 예로 든 바 있다. 그러나, 지역과 관심영역은 동일 의미로 사용될 수도 있으므로, 그러한 용어의 개념에 특별히 한정하지는 않는다. 즉 지역내는 관심영역내로 대용될 수 있다.

지역내 이벤트감지부(1320)는 정확도를 높이기 위하여 룰 기반의 객체 검출 및 분류와 인공지능의 딥러닝 기반의 객체 검출 및 분류를 병행할 수 있다. 예를 들어, 영상에서 객체의 혼잡도가 증가하는 백화점 등의 경우에는 객체가 서로 중첩되는 경우 객체의 분류가 정확하지 않을 수 있고, 이의 경우 오추적이 발생할 수 있으므로, 딥러닝을 통해 객체의 학습을 통해 오검출을 방지하는 것이다. 이와 같이 딥러닝을 병행함으로써 객체의 오검출을 줄일 수 있다. 본 발명의 실시에서는 사람 중심의 검출이므로 가급적 사람을 객체로 검출하고, 다양한 유형의 사람 객체를 분류할 수 있다. 본 발명의 실시예에서는 종래와 같이 사람을 구분하기 위하여탬플릿 형태로 저장하여 이용하는 얼굴 검출은 아니므로, 전체적인 신체의 모습을 인식 또는 검출한다고 볼 수 있다.

무엇보다 지역내 이벤트감지부(1320)는 사람의 객체를 통해 물론 별도의 객체 검출을 수행하지 않고, 영상의 객체에 대한 특징점을 기반으로 객체를 분류할 수도 있다. 물론 이의 경우 특징점을 기반으로 해당 부위의 영상을 복사 혹은 캡쳐하여 이를 분석하는 것도 얼마든지 가능할 수 있다. 그리고, 추출된 객체나, 복사 즉 캡쳐된 객체 영상의 종횡비를 측정하여 종횡비의 측정 결과 정상 상태와 다르면 비정상 상태로 판단하고, 지속적인 추적을 수행할 수 있다. 이후의 행동을 감시하는 것이다. 이후의 행동 감시 결과, 사람들이 모여 해당 이상행동에 의해 해당 부위에 영상 혼잡도가 증가하거나 또는 이의 혼잡도가 오랜시간 지속되면, 지역내 이벤트감지부(1320)는 기설정된 데이터를 지속적으로 비교하면서 기설정된 조건을 만족할 때 이벤트를 발생시킨다. 여기서, "이벤트를 발생"시킨다는 것은 해당 영상에 비정상 상태를 알릴 수 있는 문구가 팝업되도록 하여, 현재 감시하고 있는 관리자가 볼 수 있도록 하거나, 또는 관리자의 관리자 단말장치(130)로 해당 이벤트를 통지하는 것을 의미할 수 있다. 알림은 다양한 형태로 이루어질 수 있으므로, 어느 하나의 형태로 특별히 한정하지는 않을 것이다.

이와 같이, 지역내 이벤트감지부(1320)는 특정 관심지역(95)에 특화하여 프로그램을 설치하고 이를 이용함으로써 하드웨어나 소프트웨어적으로 간단하고, 전체적으로 시스템이 간소화됨으로써 영상 데이터 처리도 빠르게 이루어질 수 있다. 물론 해당 소프트웨어 프로그램 등은 온라인상에서 펌웨어(firmware) 형태로 주기적으로 갱신하는 것이 가능하고, 또는 오프라인상에서 이이피롬(EEPROM)의 형태로 프로그램을 쓰기(writing)하여 갱싱하는 것도 얼마든지 가능할 수 있을 것이다.

이외에도 지역내 이벤트감지부(1320)는 관심지역(95)의 서로 다른 촬영장치(100)로부터 수신되는 촬영영상을 분석하여 시나리오 기반으로 이벤트 감지를 수행할 수도 있다. 다시 말해, 무인편의점에 고객이 진입하면 물건을 구매하기 위해 결제수단을 자동판매기(97)에 투입하고 결제를 진행한 후 해당 지역을 퇴소하지만, 영상의 분석결과 이러한 정상 시나리오대로 이루어지지 않으면, 이상행위로 판단하여 관리자에게 또는 해당 고객에게 알림을 주는 것이다. 고객에게 알림은 해당 지역의 스피커를 통해 제공될 수도 있을 것이다. 관리자의 경우는 관리자 단말장치(130) 등을 통해 해당 영상에 비정상 상태의 문구를 합성하여 팝업이 이루어지도록 하는 것이다.

물론 이의 과정에서, 지역내 이벤트감지부(1320)는 서로 다른 촬영장치(100)에서 수신되는 각각의 촬영영상을 분석하여 서로 다른 이벤트를 도출할 수도 있다. 다시 말해, 시나리오를 기반으로 제1 촬영장치(101)의 촬영영상으로 시나리오의 일부 행위를 분석하고, 제2 촬영장치(103)의 촬영영상으로 시나리오 중 일부 행위를 제외한 나머지 행위를 분석하는 것이다. 이와 같이 지역내 이벤트감지부(1320)는 영상 분석에 있어 분업 체계로 동작할 수 있는 것이다.

도 14는 동일 특성을 갖는 주변 관심지역(95)의 데이터를 수집하여 신규 이벤트를 탐지하고, 또 시나리오 기반으로 영상처리를 수행하기 위한 본 발명의 다른 실시예에 따른 지역내 이벤트감지부(1320')를 보여준다. 도 14의 이벤트감지부(1320')는 제1 카메라 영상수신부(1300), 제1 카메라 이벤트판단부(1401), 객체추적부(1402), 제2 카메라 영상수신부(1403), 제2 카메라 이벤트판단부(1404), 물건DB(1405), 정산부(1406), 이벤트녹화부(1407), 이벤트알람부(1408), 시나리오이벤트DB(1409), 신규이벤트DB(1410), 신규이벤트수집부(1411), 신규이벤트분석부(1412) 및 신규이벤트생성부(1413)의 일부 또는 전부를 포함할 수 있다.

여기서, "일부 또는 전부를 포함"한다는 것은 하드웨어, 소프트웨어, 또는 그 조합에 의해 구성되는 구성요소들이 일부가 생략되거나 서로 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 본 발명의 실시예에서는 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

앞서 언급한 대로, 제1 촬영장치(101) 즉 제1 카메라의 촬영영상과 제2 촬영장치(103)인 제2 카메라의 촬영영상은 각 영상수신부(1400, 1403)와 이벤트판단부(1401, 1404)에서 영상 분석과 이벤트 판단 동작이 이루어진다. 객체추적부(1402)는 촬영영상에서 분류된 객체에 대한 추적 동작을 수행할 수 있다. 예를 들어, 객체 추적을 통해 고객이 매장에 진입하여 잠시 체류한 후 퇴거한 것으로 판단할 수 있다. 물건 DB(1405)는 다양한 유형의 물건과 관련한 데이터를 저장하고, 영상의 분석 결과에서 물건의 유형을 판단하기 위해 이용될 수 있다. 고객이 선택한 물건을 판단하기 위해 이용될 수 있다. 정산부(1406)는 구매한 물건과 결제수단 등에 대한 내용을 처리할 수 있다. 예를 들어, 신용카드의 경우 결제모듈을 포함하여 이를 실행시킬 수 있다. 이벤트 녹화부(1407)는 가령 비정상 상태로 판단되는 이벤트와 관련한 부위의 영상을 저장할 수 있으며, 이벤트 알람부(1408)는 어떠한 이벤트 알람을 줄지와 관련한 동작을 수행할 수 있다. 가령 룩업테이블(LUT)과 같이 입력되는 데이터와 매칭되는 출력단의 이벤트 알람을 제공하면 되는 것이다. 시나리오 이벤트DB(1408)는 가령 무인편의점과 지하철 에스컬레이터에서 발생될 수 있는 행위 시나리오는 서로 다르므로, 이러한 행위와 해당 행위에 의한 이벤트정보가 저장될 수 있을 것이다.

또한, 신규이벤트수집부(1411)는 동일 특성을 갖는, 또는 동일 특성을 가지면서 인접하는 관심지역(95)의 이벤트 관련 데이터를 수집하여 신규이벤트DB(1410)에 저장시킬 수 있다. 여기서, DB는 저장부를 의미하지만, 별도 연동하는 DB일 수 있다. 신규이벤트분석부(1412)는 신규이벤트DB(1410)에 저장되어 있는 데이터를 기반으로 신규 이벤트를 판단한다. 예를 들어, 관심지역 A에서 감지되지 않던 이벤트가 수집된 데이터에 의해 새로운 이벤트가 감지될 수 있다. 가령, 초기 프로그램 설정시 취객에 대한 이벤트 분석이 불가하였다면, 새롭게 수집된 데이터를 통해서는 취객에 대한 이벤트 분석이 가능할 수 있게 되는 것이 그 좋은 예이다. 신규이벤트생성부(1413)는 신규이벤트분석부(1412)의 분석 결과를 토대로 신규이벤트를 확정하는 동작을 수행할 수 있다. 가령, 관심지역 A로부터 수집한 데이터에 의한 신규이벤트에는 취객의 이상행위가 탐지되었지만, 관심지역 B에서는 이를 이용한 결과 이상행위가 탐지되지 않으면, 신규이벤트로 생성하지는 않을 것이다. 이와 같이 데이터를 누적하고 이를 이용함으로써 특정 관심지역(95)에 특화된 이상행위 탐지가 가능할 수 있게 되는 것이다.

구체적인 시나리오 작동 방법을 예시한다. A라는 사람이 매장에 들어온다. 카메라 1을 통해 A 영상이 들어오면 메인서버 즉 이벤트감지장치(120)는 사람의 성별/나이/키/얼굴형태에 대한 특성 정보를 이용하여 객체 코드를 지정한다. 그리고 메인서버는 A 입실시간을 확인한다. 카메라 1에서 사라진다. 메인서버는 객체 코드에 대한 특성 정보를 통해 카메라 2에 A가 등장하는지 확인(확인되지 않는 경우 특정이벤트 발생한 것으로 판단)한다. 메인서버는 카메라 2에 A가 등장하는 경우 A가 어떤 매대에서 얼마나 머물렀고 어떤 물건을 픽업(pick up)했는지 확인한다. 메인서버는 카메라 2에서 A가 사라진 경우 객체 코드에 대한 특성 정보를 통해 카메라 1에 등장하는지 확인(확인되지 않는 경우 특정이벤트 발생한 것으로 판단)한다. 메인서버는 카메라 1에 A가 등장하는 경우 계산대에서 정지하는지 감지한다(픽업을 했음에도 계산대에 정지하는 않는 경우 이벤트 발생/ 픽업이 없는 경우 이벤트 발생하지 않음). 메인서버는 카메라 1에 A가 계산대에서 물건에 대한 값을 지불하는 경우 픽업된 물건과 계산된 가격이 일치하는지 확인할 수 있다.

계속해서 신규 이벤트 작동 방법을 살펴본다. 신규 이벤트는 동일한 목적을 갖는 장소에서 예상하지 못한 이벤트를 감지한 경우 해당 영상을 수집하여 분석한 새로운 이벤트로 생성하여 다른 지역 감지기준으로 사용하는 것을 의미한다. 예를 들어 다른 지역에서 매장 내에서 쓰러진 경우 해당 영상을 분석하여 갑자기 쓰러지는 이벤트가 발생한 경우 메인서버는 해당 영상에서 객체가 키가 줄어 들고 줄어든 상태에서 다시 키가 커지지 않거나 움직임이 없는 경우 새로운 이벤트라고 판단해 이벤트DB에 적용해서 즉각적으로 다른 지역의 이벤트 기준으로 적용하는 것이다.

도 13의 저장부(1330)는 제어부(1310)의 제어하에 처리되는 다양한 정보나 데이터를 저장한다. 여기서, 정보는 부가정보를 의미하며, 데이터는 영상데이터와 같은 실질 데이터를 의미한다. 예를 들어, 본 발명의 실시예에 따른 촬영영상의 시간정보는 부가정보이다. 반면, 촬영영상은 실질 데이터가 되는 것이다. 메타 데이터는 이와 같이 실질 데이터와 관련한 다양한 부가정보들의 총합에 해당된다. 저장부(1330)는 지역내 이벤트감지부(1320)의 동작에 필요한 데이터를 제공할 수 있다.

한편, 도 13의 제어부(1310)는 본 발명의 다른 실시예로서 CPU와 메모리를 포함할 수 있으며, CPU와 메모리는 원칩화하여 구성될 수 있다. 이의 구성에 따라 CPU는 도 3의 지역내 이벤트감지부(1320)에 저장되어 있는 프로그램을 장치의 초기 구동시, 또는 필요한 경우에 선택적으로 지역내 이벤트감지부(1320)의 프로그램을 복사하여 메모리에 로딩한 후 이를 실행시킴으로써 데이터 연산처리 속도를 빠르게 증가시킬 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 제어회로는 실질적인 제어동작을, 연산부는 2진비트정보의 연산동작을, 명령어해석부는 인터프리터나 컴파일러 등과 같이 고급언어를 기계어로 또 기계어를 고급언어로 변환하는 등의 동작을 수행하며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다.

도 15는 본 발명의 다른 실시예에 따른 지역내 이벤트감지장치의 세부구조를 예시한 블록다이어그램이며, 도 16은 본 발명의 또다른 실시예에 따른 지역내 이벤트감지장치의 세부구조를 예시한 블록다이어그램 및 15의 구성요소들의 기능을 정리하여 나타내는 도면이다.

도 15에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 지역내 이벤트감지장치(120')는 전처리부(1500), 객체인식부(1510), 객체추적부(1520), 객체분류부(1530), 필터부(1540), 최적화부(1550), 메타데이터처리부(1560) 및 이벤트부(1570)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다. 상기의 구성요소들은 하드웨어, 소프트웨어 또는 그 조합에 의해 구성될 수 있다.

전처리부(1500)는 도 1의 관심지역(95)의 촬영장치(100)로부터 촬영영상이 수신되면, 영상의 전처리 동작을 수행한다. 전처리는 컬러 영상을 그레이 스케일(Gray Scale) 영상으로 변환하거나 노이즈(Noise)를 제거하는 등의 동작을 수행할 수 있다.

객체인식부(1510)는 전처리된 영상에서 추출되는 객체를 가령 탬플릿에 적용하는 등의 방식으로 어떠한 객체에 해당하는지를 인식한다. 인식기는 검출결과를 제공할 수 있다. 예를 들어, 직립보행 상태이고 손과 발이 있으면 사람으로 인식할 수 있다. 특히, 사람의 경우 나무가 있는 주변 배경 등과 촬영되는 경우 오인식이 발생할 수 있기 때문에 이러한 인식 과정에서 룰 기반의 객체 인식과 딥러닝 기반의 객체 인식이 함께 이루어질 수 있다. 예를 들어, 해당 객체가 영상의 여러 프레임에서 지속적으로 검출되는 것으로 판단되면 학습을 통해 객체로 최종 인식하는 것이 딥러닝의 장점이라 볼 수 있다. 이와 같이 룰 기반과 딥러닝 기반의 객체 인식을 병행함으로써 객체 인식의 정확도를 높일 수 있을 것이다.

또한, 객체추적부(1520)는 객체인식부(1510)를 통해 인식된 객체를 시간 변화에 따라 영상 프레임을 따라 추적하면서 객체의 움직임을 판단한다고 볼 수 있다. 이의 과정에서 객체추적부(1520)는 객체의 움직임을 좌표값의 형태로 저장할 수 있을 것이다.

객체 분류부(1530) 및 (오탐지(false positive)) 필터부(1540)는 객체추적부(1520)의 추적 결과를 근거로 객체를 분류하고, 분류되는 객체를 필터부(1540)를 통해 오검출되는 객체는 버릴 수 있다.

최적화부(1550)는 예를 들어, 도 1의 관심지역(95)에 설치 프로그램을 적응시키는 동작을 수행할 수 있다. 즉 관심지역(95)에 특화된 동작을 수행하도록 하는 것이다.

메타데이터처리부(1560)는 설정된 객체, 행위 및 이벤트를 근거로 메타데이터를 생성하여, 수신된 촬영영상과 함께 가령 도 1의 DB(120a)에 저장시킬 수 있다. 물론 최종적으로 저장되는 영상은 최초 수신한 컬러 영상이며, 컬러 영상에는 앞서 도 8 내지 도 11에서 살펴본 바와 같이, 다양한 부가정보 또는 메타데이터가 합성되어 저장될 수 있다. 다시 말해, 메타데이터를 매칭시켜 저장한 후 해당 영상이 도 1의 관리자 단말장치(130) 등에 제공될 때 함께 화면에 표시해 주는 것이다.

이벤트부(1570)는 객체, 객체의 행위 및 행위의 이벤트와 관련한 데이터를 저장하거나, 해당 데이터를 근거로 이벤트를 판단하는 동작을 수행할 수 있다.

도 15의 경우는 영상처리의 관점에서 살펴본 것이므로, 도 13의 지역내 이벤트감지부(1320)를 구성하는 구성요소로 이해될 수 있다. 따라서, 본 발명의 실시예에서는 구성 형태에 있어서 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

도 16에서 볼 수 있는 바와 같이, 본 발명의 또 다른 실시예에 따른 지역내 이벤트감지장치(120")는 (통신) 인터페이스부(1600), 영상처리부(1610), 관리부(1630) 및 지능형 엔진부(1640)의 일부 또는 전부를 포함할 수 있다.

여기서, 지능형 엔진부(1640)는 앞서 도 15의 객체인식부(1510), 객체추적부(1520), 객체분류부(1530), (오탐지) 필터부(1540) 및 최적화부(1550) 및 메타데이터처리부(1560) 및 이벤트부(1570)의 일부 또는 전부를 포함하거나 해당 구성요소들의 동자을 수행할 수 있다.

도 16의 (통신) 인터페이스부(1600), 영상처리부(1610), 관리부(1630) 및 지능형 엔진부(1640)와 관련한 자세한 내용은 앞서 도 1의 이벤트감지장치(120) 및 도 15의 이벤트감지장치(120')를 통해 충분히 설명한 바 있으므로, 그 내용들로 대신하고자 한다.

본 발명의 실시예에 따른 이벤트감지장치(120, 120', 120")는 <표 2>에서 볼 수 있는 바와 같이, 시스템 설정 기능, 객체탐지기능, 군중추적, 실시간 관심영역(ROI) 분석, 이벤트감지, 이벤트 알람, 카메라 칼리브레이션(calibration) 및 녹화 기능을 수행할 수 있다. 여기서, 본 발명의 실시예에서는 군중 추적을 위하여 다개체추적, 다개체 검출 및 분류, 개체 높이 측정 등을 수행할 수 있다. 개체 높이 측정을 통해 사람의 쓰러짐 등의 행위를 감지할 수 있다. 뿐만 아니라, 실시간 관심영역 분석을 통해 개체 카운팅, 영역 내 총방문 개체수, 평균체류시간 및 정체지수를 추출하고 이를 촬영영상에 팝업형태로 표시되도록 할 수 있다.

또한, 이벤트감지장치(120, 120', 120")는 이벤트 감지를 위하여, 가령 취객의 비틀거림을 판단하기 위하여 직선거리나 운동거리 등을 측정할 수 있으며, 이벤트 알람은 장시간 체류, 비정상, 또 비정상 혼잡에 대한 알람을 제공할 수 있다. 가령 거리 측정은 타이머를 통해 측정된 시간정보를 이용하여 시간당 이동거리를 측정할 수 있다. 또는 영상의 두 지점에 위치하는 취객의 좌표값을 이용하여 거리공식으로 측정할 수도 있을 것이다.

상기한 내용 이외에도 이벤트감지장치(120, 120', 120")는 다양한 동작이 가능하지만, 자세한 내용은 앞서 충분히 설명하였으므로, 그 내용들로 대신한다.

도 17은 본 발명의 실시예에 따른 지역내 이벤트감지장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 17을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 이벤트감지장치(120)는 복수의 촬영장치(100)에 의해 감시되는 매장이나 공공장소의 관심 영역에 존재하는 고객의 상태 관련 메타 데이터를 저장한다(S1700).

그리고 이벤트감지장치(120)는 복수의 촬영장치(100)에서 제공하는 촬영영상을 분석하여 얻은, 관심 영역에 등장하는 고객의 행위 및 저장한 고객의 상태 관련 메타 데이터를 근거로 고객의 비정상 상태를 판단하고, 판단한 비정상 상태시 관심 영역의 혼잡지수가 지정 조건을 만족하면 관리자에 통지한다(S1710).

상기한 내용 이외에도 이벤트감지장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신한다.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

95: 관심지역 97: 자판기
100: 촬영장치 110: 통신망
120, 120', 120": (지역내) 이벤트감지장치 130: 관리자 단말장치
1300: 통신 인터페이스부 1310: 제어부
1320, 1320': 지역내 이벤트감지부 1330: 저장부
1500: 전처리부 1510: 객체인식부
1520: 객체추적부 1530: 객체분류부
1540: (오탐지) 필터부 1550: 최적화부
1560: 메타데이터처리부 1570: 이벤트부
1600: 인터페이스부 1610: 영상처리부
1620: 관리부 1630: 지능형 엔진부

Claims (16)

1. 복수의 촬영장치에 의해 감시되는 매장이나 공공장소의 관심 영역에 존재하는 고객의 상태 관련 메타 데이터를 저장하는 저장부; 및
   상기 복수의 촬영장치에서 제공하는 촬영영상을 분석하여 얻은 상기 관심 영역에 등장하는 고객의 행위 및 상기 저장한 고객의 상태 관련 메타 데이터를 근거로 상기 고객의 비정상 상태를 판단하고, 상기 판단한 비정상 상태시 상기 관심 영역의 혼잡 지수가 지정 조건을 만족하면 관리자에게 통지하는 제어부;를
   포함하는 지역내 이벤트감지장치.
2. 제1항에 있어서,
   상기 제어부는, 상기 촬영영상에서 추출한 상기 고객의 행위에 대한 객체의 종횡비 측정 결과를 근거로 상기 비정상 상태를 판단하는 지역내 이벤트감지장치.
3. 제1항에 있어서,
   상기 제어부는, 상기 고객이 상기 관심 영역에 머문 시간을 측정하여 지정 시간 간격을 초과할 때 상기 비정상 상태로 판단하는 지역내 이벤트감지장치.
4. 제1항에 있어서,
   상기 제어부는, 상기 촬영영상에서 추출하는 객체의 인식을 위하여 룰(rule) 기반의 제1 방식 및 딥러닝(deep learning) 기반의 제2 방식을 병행 적용하여 상기 촬영영상에서 상기 고객 관련 객체를 분류하고, 상기 분류한 객체를 추적한 추적 결과를 근거로 오객체를 분류하는 지역내 이벤트감지장치.
5. 제1항에 있어서,
   상기 저장부는, 상기 관심 영역에 존재하는 고객의 육하원칙에 따른 기설정된 행위와 관련한 행위 데이터를 더 포함하여 상기 메타데이터로서 저장하며,
   상기 제어부는 상기 촬영영상의 분석 결과 및 상기 저장한 행위 데이터를 비교하여 상기 고객의 비정상 상태를 판단하는 지역내 이벤트감지장치.
6. 제5항에 있어서,
   상기 제어부는, 상기 관심 영역의 제1 영역을 촬영하는 제1 카메라의 촬영영상을 분석하여 상기 육하원칙 중 일부 행위를 판단하고, 상기 관심 영역의 제2 카메라의 촬영영상을 분석하여 상기 일부 행위 이외의 나머지 행위를 판단하는 지역내 이벤트감지장치.
7. 제1항에 있어서,
   상기 제어부는, 동일 특성을 갖는 타 관심 영역의 사건 또는 사고 관련 이벤트 데이터를 수집하여 상기 저장부에 저장시키며, 상기 타 관심 영역의 이벤트 데이터를 근거로 상기 비정상 상태를 더 판단하는 지역내 이벤트감지장치.
8. 제1항에 있어서,
   상기 저장부는, 무인편의점에서의 상기 고객의 상태와 관련되는 메타 데이터를 저장하며,
   상기 제어부는, 상기 무인편의점에서 물건을 구입하는 상기 고객의 행위 및 상기 저장한 메타 데이터를 근거로 비정상 구매를 판단하여 상기 고객에게 통지하는 지역내 이벤트감지장치.
9. 복수의 촬영장치에 의해 감시되는 매장이나 공공장소의 관심 영역에 존재하는 고객의 상태 관련 메타 데이터를 저장부에 저장하는 단계; 및
   제어부가, 상기 복수의 촬영장치에서 제공하는 촬영영상을 분석하여 얻은 상기 관심 영역에 등장하는 고객의 행위 및 상기 저장한 고객의 상태 관련 메타 데이터를 근거로 상기 고객의 비정상 상태를 판단하고, 상기 판단한 비정상 상태시 상기 관심 영역의 혼잡 지수가 지정 조건을 만족하면 관리자에게 통지하는 단계;를
   포함하는 지역내 이벤트감지장치의 구동방법의 구동방법.
10. 제9항에 있어서,
    상기 판단하는 단계는,
    상기 촬영영상에서 추출한 상기 고객의 행위에 대한 객체의 종횡비 측정 결과를 근거로 상기 비정상 상태를 판단하는 지역내 이벤트감지장치의 구동방법.
11. 제9항에 있어서,
    상기 판단하는 단계는,
    상기 고객이 상기 관심 영역에 머문 시간을 측정하여 지정 시간 간격을 초과할 때 상기 비정상 상태로 판단하는 지역내 이벤트감지장치의 구동방법.
12. 제9항에 있어서,
    상기 촬영영상에서 추출하는 객체의 인식을 위하여 룰 기반의 제1 방식 및 딥러닝 기반의 제2 방식을 병행 적용하여 상기 촬영영상에서 상기 고객 관련 객체를 분류하는 단계; 및
    상기 분류한 객체를 추적한 추적 결과를 근거로 오객체를 분류하는 단계;를
    더 포함하는 지역내 이벤트감지장치의 구동방법.
13. 제9항에 있어서,
    상기 저장하는 단계는,
    상기 관심 영역에 존재하는 고객의 육하원칙에 따른 기설정된 행위와 관련한 행위 데이터를 더 포함하여 상기 메타데이터로서 저장하며,
    상기 판단하는 단계는,
    상기 촬영영상의 분석 결과 및 상기 저장한 행위 데이터를 비교하여 상기 고객의 비정상 상태를 판단하는 지역내 이벤트감지장치의 구동방법.
14. 제13항에 있어서,
    상기 판단하는 단계는,
    상기 관심 영역의 제1 영역을 촬영하는 제1 카메라의 촬영영상을 분석하여 상기 육하원칙 중 일부 행위를 판단하고, 상기 관심 영역의 제2 카메라의 촬영영상을 분석하여 상기 일부 행위 이외의 나머지 행위를 판단하는 지역내 이벤트감지장치의 구동방법.
15. 제9항에 있어서,
    동일 특성을 갖는 타 관심 영역의 사건 또는 사고 관련 이벤트 데이터를 수집하여 상기 저장부에 저장시키는 단계;를 더 포함하며,
    상기 판단하는 단계는,
    상기 타 관심 영역의 이벤트 데이터를 근거로 상기 비정상 상태를 더 판단하는 지역내 이벤트감지장치의 구동방법.
16. 제9항에 있어서,
    상기 저장하는 단계는,
    무인편의점에서의 상기 고객의 상태와 관련되는 메타 데이터를 저장하며,
    상기 통지하는 단계는,
    상기 무인편의점에서 물건을 구입하는 상기 고객의 행위 및 상기 저장한 메타 데이터를 근거로 비정상 구매를 판단하여 상기 고객에게 통지하는 지역내 이벤트감지장치의 구동방법.

Images