KR102092074B1 - 효율적 관제를 위한 스마트관제서비스장치 및 그 장치의 구동방법 - Google Patents

Abstract

본 발명은 효율적 관제를 위한 스마트관제서비스장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 효율적 영상 관제를 위한 스마트관제서비스장치는, 다수의 촬영장치로부터 현재 수신하는 제1 촬영영상을 저장하며, 기수신한 제2 촬영영상에서 추출한 과거 이벤트 발생 장면을 저장하는 저장부, 및 저장한 과거 이벤트 발생 장면이 사용자에 의해 미확인된 것으로 판단될 때, 저장한 과거 이벤트 발생 장면을 화면에 표출하도록 저장부를 제어하는 제어부를 포함할 수 있다.

Description

효율적 관제를 위한 스마트관제서비스장치 및 그 장치의 구동방법{Apparatus of Providing Smart Monitoring Service for Effective Monitoring and Driving Method Thereof}

본 발명은 효율적 관제를 위한 스마트관제서비스장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 CCTV 영상으로부터 특정 이벤트가 발생한 시점의 영상을 관제 요원이 놓치지 않고 확인할 수 있고, 해당 이벤트에 대한 조치를 효율적으로 관리할 수 있는 효율적 관제를 위한 스마트관제서비스장치 및 그 장치의 구동방법에 관한 것이다.

CCTV 카메라의 보급이 확산되면서 관제요원들은 많은 채널들을 모니터링하게 되었다. 많은 채널들을 관제하기 위해 분할 화면이 도입되고 화면 순회 기능 등을 이용하여 관제를 하였다. 하지만 채널 수가 수십 ~ 수백 채널까지 늘어나게 되면서 관제의 효율성을 고민하지 않을 수 없게 되었다. 그러던 중 지능형 영상 분석 기술이 보편화되고 가격이 저렴해져 대부분의 관제 채널에 적용할 수 있게 되면서 관심 물체가 검출되거나 특정한 사건이 발생한 채널만 선별하여 분할 화면에 출력하는 방법으로 관제의 효율성을 증대시키는 데까지 이르고 있다. 하지만 물체가 검출되는 경우에만 선별하여 분할 화면에 표출하도록 하는 시스템은 물체가 많이 검출되거나 이벤트가 다수 발생이 되는 시간대에는 선별 관제의 의미가 줄어든다.

최근에 딥러닝 기술이 보편화되면서 보다 복잡한 종류의 객체들과 이벤트들을 설정할 수 있게 되어 보다 상세한 선별 관제를 할 수 있게 되었다. 하지만 이벤트가 발생된 시점의 화면을 표출하는 경우 중요 사건의 내용을 확인하지 못할 수 있으며 이미 모든 상황이 종료된 이후의 실시간 화면을 확인하게 되어 중요 사건을 인지하지 못하거나 확인 과정에서 다소 시간이 소요되면서 중요 사건에 대해 늦게 대응하게 되는 문제를 안고 있다.

한국공개특허공보 제10-2011-0023634호(2011.03.08) 한국등록특허공보 제10-2024149호(2019.09.17)

본 발명의 실시예는 가령 CCTV 영상으로부터 특정 이벤트가 발생한 시점의 영상을 관제 요원이 놓치지 않고 확인할 수 있고, 해당 이벤트에 대한 조치를 효율적으로 관리할 수 있는 효율적 관제를 위한 스마트관제서비스장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 효율적 영상 관제를 위한 스마트관제서비스장치는, 다수의 촬영장치로부터 현재 수신하는 제1 촬영영상을 저장하며, 기수신한 제2 촬영영상에서 추출한 과거 이벤트 발생 장면을 저장하는 저장부, 및 상기 저장한 과거 이벤트 발생 장면이 사용자에 의해 미확인된 것으로 판단될 때, 상기 저장한 과거 이벤트 발생 장면을 화면에 표출하도록 상기 저장부를 제어하는 제어부를 포함한다.

상기 제어부는, 상기 과거 이벤트 발생 장면이 상기 제1 촬영영상에 포함되어 이어지는 경우, 상기 제1 촬영영상이 화면에 표출될 때 상기 과거 이벤트 발생 장면을 함께 화면에 표출할 수 있다.

상기 제어부는, 상기 사용자가 확인할 때까지 상기 과거 이벤트 발생 장면을 상기 화면상에 표출시킬 수 있다.

상기 제어부는, 상기 과거 이벤트 발생 장면을 썸네일 동영상의 형태로 상기 화면상에 표출할 수 있다.

상기 제어부는, 이벤트가 발생한 객체를 포함하는 관심 영역을 캡쳐한 캡쳐한 이미지를 이용해 생성되는 상기 썸네일 동영상을 표출할 수 있다.

상기 제어부는, 이벤트가 발생한 전체 구간이 상기 사용자에 의해 미확인될 때 상기 전체 구간의 촬영 영상과 상기 촬영 영상에서 추출한 이벤트 발생 장면을 함께 상기 화면상에 표출할 수 있다.

상기 제어부는, 상기 사용자가 상기 화면에 표출한 과거 이벤트 발생 장면의 선택시 이벤트 발생에 대한 조치사항을 기록하기 위한 사용자 인터페이스 화면을 더 표출하도록 제어할 수 있다.

상기 제어부는, 상기 화면에 표출한 과거 이벤트 발생 장면의 미확인이 지정 시간을 초과할 때, 화면을 종료하고 상기 사용자의 미확인 및 로그를 기록할 수 있다.

또한, 본 발명의 실시예에 따른 효율적 영상 관제를 위한 스마트관제서비스장치의 구동방법은, 다수의 촬영장치로부터 현재 수신하는 제1 촬영영상을 저장하며, 기수신한 제2 촬영영상에서 추출한 과거 이벤트 발생 장면을 저장부에 저장하는 단계, 및 제어부가, 상기 저장한 과거 이벤트 발생 장면이 사용자에 의해 미확인된 것으로 판단될 때, 상기 저장한 과거 이벤트 발생 장면을 화면에 표출하도록 상기 저장부를 제어하는 단계를 포함한다.

상기 제어하는 단계는, 상기 과거 이벤트 발생 장면이 상기 제1 촬영영상에 포함되어 이어지는 경우, 상기 제1 촬영영상이 화면에 표출될 때 상기 과거 이벤트 발생 장면을 함께 화면에 표출할 수 있다.

상기 제어하는 단계는, 상기 사용자가 확인할 때까지 상기 과거 이벤트 발생 장면을 상기 화면상에 표출시킬 수 있다.

상기 제어하는 단계는, 상기 과거 이벤트 발생 장면을 썸네일 동영상의 형태로 상기 화면상에 표출할 수 있다.

상기 제어하는 단계는, 이벤트가 발생한 객체를 포함하는 관심 영역을 캡쳐한 캡쳐한 이미지를 이용해 생성되는 상기 썸네일 동영상을 표출할 수 있다.

상기 제어하는 단계는, 이벤트가 발생한 전체 구간이 상기 사용자에 의해 미확인될 때 상기 전체 구간의 촬영 영상과 상기 촬영 영상에서 추출한 이벤트 발생 장면을 함께 상기 화면상에 표출할 수 있다.

상기 제어하는 단계는, 상기 사용자가 상기 화면에 표출한 과거 이벤트 발생 장면의 선택시 이벤트 발생에 대한 조치사항을 기록하기 위한 사용자 인터페이스 화면을 더 표출하도록 제어할 수 있다.

상기 제어하는 단계는, 상기 화면에 표출한 과거 이벤트 발생 장면의 미확인이 지정 시간을 초과할 때, 화면을 종료하고 상기 사용자의 미확인 및 로그(Log)를 기록할 수 있다.

본 발명의 실시예에 따르면, 실시간 화면과 과거의 이벤트 발생 장면을 적절히 합성하여 표출함으로써 관제요원이 직관적으로 쉽고 빠르게 확인하여 이벤트를 처리할 수 있을 것이다.

또한, 본 발명의 실시예에 따르면 실시간 화면에 이벤트가 발생하였던 과거 영상을 합성해 표출하여 사용자 인터페이스의 동선을 최소화하고 이로 인해 관제 효율을 높일 수 있으며, 과거의 영상을 동영상 방식으로 재생해 과거 사건의 내용을 쉽게 이해하도록 하여 그 결과 실제 중요 이벤트를 놓치지 않게 되어 신속하게 대응이 가능할 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 선별관제서비스시스템을 나타내는 도면,
도 2는 영상에서 이벤트가 발생되어 추적한 물체에 대해 썸네일 동영상을 생성하는 방법을 설명하기 위한 도면,
도 3a 및 도 3b는 선별 관제시 분할화면에 출력되는 채널과 과거의 이벤트 영상을 함께 출력하는 모습을 보여주는 도면,
도 4는 본 발명의 실시예에 따른 선별관제서비스장치의 세부구조를 나타내는 블록다이어그램,
도 5는 도 1의 영상분석장치의 세부구조를 예시한 블록다이어그램,
도 6은 본 발명의 실시예에 따른 선별관제서비스장치의 구동과정을 나타내는 흐름도, 그리고
도 7은 본 발명의 다른 실시예로서 분할 화면에 과거 영상 썸네일을 출력하는 과정을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 선별관제서비스시스템을 나타내는 도면이고, 도 2는 영상에서 이벤트가 발생되어 추적한 물체에 대해 썸네일 동영상을 생성하는 방법을 설명하기 위한 도면이며, 도 3은 선별 관제시 분할화면에 출력되는 채널과 과거의 이벤트 영상을 함께 출력하는 모습을 보여주는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 선별관제서비스시스템(90)은 촬영장치(100), 통신망(110) 및 선별관제서비스장치(120), 영상분석장치(130) 및 관리자장치(140)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 관리자장치(140)와 같은 일부 구성요소가 생략되어 선별관제서비스시스템(90)이 구성되거나 선별관제서비스장치(120)와 같은 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

촬영장치(100)는 감시카메라로서 일반 CCTV(Closed Circuit Television) 카메라나 IP(Internet Protocol) 카메라 등을 포함한다. 또한, 촬영장치(100)는 고정식 카메라뿐 아니라 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작이 가능한 PTZ(Pan-Tilt-Zoom) 카메라를 포함할 수 있다. 촬영장치(100)는 사회 안전(Social Safety), 범죄 예방(Crime Prevention), 사회 문제(suicide issue) 및 공공 감시(Public Surveilance)를 위하여 다양한 장소에 설치되어 촬영영상을 제공할 수 있다. 예를 들어, 촬영장치(100)는 지하철이나 버스정류장 등 공공장소에 설치되어 사건, 사고 등 다양한 상황을 감시할 수 있으며, 다리의 난간이나 외진 곳에서 발생하는 폭력 행위 등도 감시하도록 할 수 있다. 나아가, 어린이집 등에 설치되어 있는 CCTV를 통해서도 감시가 이루어지도록 할 수 있을 것이다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상분배장치(121) 등으로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

본 발명의 실시예에 따라, 통신망(110)은 인트라넷과 같은 내부 전산망을 포함할 수 있으며, 이를 통해 영상분배장치(121), 비디오스토리지(예: DB, DVR 등)(120a), 이벤트분배장치(123) 및 선별관제관리장치(125), 영상분석장치(130), 관리자장치(140)가 서로 연동할 수 있다. 다만, 본 발명의 실시예에서는 통신망(110)을 중심으로 각 구성요소들이 다양한 형태로 구성될 수 있는 것이므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

본 발명의 실시예에 따른 선별관제서비스장치(120)는 실시간 지능형 이벤트 영상을 효율적으로 모니터링하기 위한 구성을 갖는다. 예를 들어, 선별관제서비스장치(120)는 도 1에서와 같이 영상분배장치(121), 이벤트분배장치(123) 및 선별관제관리장치(125)의 일부 또는 전부를 포함할 수 있다. 여기서, 영상분배장치(121), 이벤트분배장치(123) 및 선별관제관리장치(125)는 선별관제서비스장치(120)를 구성하지만, 이러한 그룹의 설정은 모든 장치들이 관리자장치(140)와 서로 연동하고 있다는 것에 근거한 것이며, 따라서 위의 복수의 장치 중 적어도 하나의 장치는 서로 통합되어 구성될 수도 있다. 다만, 본 발명의 실시예에서는 도 1의 구성에 특별히 한정하지는 않을 것이다.

영상분배장치(121)는 복수의 촬영장치(100)로부터 수신되는 촬영영상 즉 비디오 데이터를 통신망(110)을 경유하여 수신한다. 여기서, 비디오 데이터는 오디오 데이터를 제외한 것을 의미하는 것은 아니며, 촬영영상 또는 영상 신호를 의미할 수 있다. 통상 영상 데이터 또는 영상 신호는 비디오 데이터와 오디오 데이터를 포함하는 의미이지만, 본 발명의 실시예에서는 그러한 용어의 개념을 특별히 구분하지 않는 이상 비디오 데이터, 영상 데이터, 영상 신호, 또는 촬영영상은 동일한 의미로 사용될 수 있다. 다만, 통신망(110)을 통해 송수신되는 촬영영상은 압축 즉 인코딩되어 전송되므로 디코딩되는 과정에서 비디오 데이터와 오디오 데이터는 서로 다른 경로에서 각각 디코딩이 이루어질 수 있다.

영상분배장치(121)는 촬영장치(100)로부터 수신된 비디오 스트림을 추후 재생 용도로 사용하기 위하여 비디오 스토리지(120a)에 저장시킨다. 또한, 영상분배장치(121)는 비디오 스트림을 영상분석장치(130)로 전송하며 분석 결과로 생성된 메타 데이터와 썸네일 이벤트 비디오 데이터를 받아서 비디오와 함께 비디오 스토리지(120a)에 저장하게 된다.

이벤트분배장치(123)는 선별 관제의 중심으로서 영상분배장치(121)로부터 수신받은 이벤트를 모아서 선별관제뷰어, 가령 관리자장치(140)로 전달하는 장치에 해당된다. 여기서, 선별 관제는 다양한 의미를 내포할 수 있지만, 대표적으로 이벤트 종류별로 관제가 이루어지는 것을 포함하지만, 시간대별, 또는 이벤트 빈도가 기준값이 이상이 이벤트만 관제가 이루어지도록 하는 등 별도의 관제가 불필요한 관제는 수행하지 않는다는 것을 의미할 수도 있다.

선별관제관리장치(125)는 일종의 서버를 의미할 수 있으며, 촬영장치(100)와 관제요원을 관리하며 관제 요원별로 관제할 카메라 즉 촬영장치(100)들을 할당하고 설정하는 기능을 담당할 수 있다.

영상분석장치(130)는 수신받은 비디오 스트림을 디코딩하고 디코딩된 실시간 영상을 분석하여 이벤트를 발생시키며 해당하는 썸네일 영상과 썸네일 동영상도 함께 생성하여 다시 영상분배장치(121)로 제공할 수 있다.

영상분석장치(130)는 도 2에서와 같이, 영상에서 이벤트가 발생된 추적한 물체에 대해 썸네일 동영상을 생성할 수 있다. 도 2에서 볼 때, 이벤트 물체 박스 크기에 해당하는 썸네일 영상을 별도로 생성하고 해당 썸네일 영상을 정지 영상들의 리스트나 비디오 스트림으로 생성하여 저장시키게 된다. 영상분석장치(130)와 관련한 자세한 내용은 이후에 좀더 다루기로 한다.

선별 관제 부어는 관리자장치(140)에 이루어질 수 있다. 다시 말해 관리자장치(140)는 관제 전광판(또는 관제 모니터)(200) 및 관리자 컴퓨터 등을 포함할 수 있으며, 관제 전광판(200)에서 선별 관제가 이루어질 수 있다. 모니터 화면의 각 분할 화면은 각각의 촬영장치(100)에 매칭되어 영상을 표출한다고 볼 수 있다.

선별 관제 부어는 실시간 화면을 출력하는 기능을 가지며, 다양한 채널을 표출하기 위하여 분할 화면 방식으로 화면을 표출한다. 가령 관리자장치(140)는 이벤트분배장치(123)로부터 받은 이벤트들을 우선순위에 따라 이벤트가 발생한 채널의 화면을 분할 화면(300)에 표출하며 이때 과거 영상의 이벤트를 표출하기 위하여 서로 다른 시점의 영상을 비디오 스토리지(120a)에 요청하고 수신받아 화면에 표출한다.

도 3a는 선별 관제시 분할 화면(300)에 출력되는 채널과 과거의 이벤트 영상을 함께 출력하는 모습을 보여준다. 우선 이벤트가 발생한 채널을 분할 화면(300)의 특정 위치에 라이브(live) 화면으로 표출한다. 이때 사건(혹은 이벤트)이 진행 중이면 라이브 화면을 그대로 보여주고 관제요원이 확인하게 한다. 이벤트가 종료되는 시점이거나 더욱 앞선 상황을 보여주어야 할 경우에는 라이브 화면(310)에 이벤트가 발생하였던 위치에 썸네일 영상(320) 또는 비디오를 합성(330)하여 출력한다(도 3a의 (a) 및 (b) 참조).

합성된 영상은 관제요원이 그때의 상황을 확인할 수 있도록 합성된 상황에서 재생되어 표출이 된다. 이때의 관제요원이 과거 상황을 인지할 수 있을 때까지 사건의 발생한 구간을 반복적으로 재생될 수 있다. 라이브 화면(310)상에서 과거의 영상을 합성하여 보여주기 때문에 현 시점의 상황도 종합적으로 확인할 수 있다.

또한, 관제요원은 후속 조치를 위해 별도의 리스트로 이동하지 않고 도 3b에서와 같이 객체 부분을 선택하여 상황 조치를 할 수 있도록 한다. 여기서의 상황 조치란 사건의 구체적인 내용을 관제요원이 기록하는 작업으로서 해당 이벤트의 정탐/오탐 여부와 정탐일 경우 구체적인 상황과 조치사항을 기록하기 위한 사용자 인터페이스를 부가적으로 출력할 수 있을 것이다. 이는 도 3b에 잘 보여주고 있다.

도 4는 본 발명의 실시예에 따른 선별관제서비스장치의 세부구조를 나타내는 블록다이어그램이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 선별관제서비스장치(120)는 적어도 하나의 장치로 구성될 수 있으며, 통신 인터페이스부(400), 제어부(410) 및 관제영상합성처리부(420) 및 저장부(430)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(430)와 같은 일부 구성요소가 생략되어 선별관제서비스장치(120)가 구성되거나 관제영상합성처리부(420)와 같은 구성요소가 제어부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 선별관제서비스장치(120)와 관련해서는 이하 영상분배장치(121)를 예로 들어 설명한다.

통신 인터페이스부(400)는 통신망(110)을 경유하여 촬영장치(100)와 통신을 수행하며, 통신망(110)을 경유하여 수신되는 촬영장치(100)의 촬영영상을 수신하여 비디오 스토리지(120a)에 저장시킬 수 있고, 영상분석장치(130)를 통해 영상 분석이 이루어지도록 할 수 있다.

또한, 통신 인터페이스부(400)는 다수의 촬영장치(100)로부터 수신되는 촬영영상을 관리자장치(140)로 제공하여 관리자장치(140)에서 이벤트분배장치(123)에서 제공되는 이벤트에 따라 특정 채널의 영상이 화면에 표출되도록 할 수 있다.

통신 인터페이스부(400)는 상기의 동작을 수행하는 과정에서 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도 변환 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략하도록 한다.

제어부(410)는 도 4의 통신 인터페이스부(400), 관제영상합성처리부(420) 및 저장부(430)의 전반적인 제어 동작을 담당한다. 대표적으로 제어부(410)는 통신 인터페이스부(400)를 통해 수신되는 정보나 데이터를 저장부(430)에 저장시킬 수 있으며, 관제영상합성처리부(420)를 제어하여 가령 관제요원이 기수신된 촬영영상에서 발생되는 이벤트를 놓친 것으로 판단될 때 해당 과거의 이벤트 영상을 합성하여 보여지도록 하기 위한 동작을 수행할 수 있다.

예를 들어, 제어부(410)는 관제영상합성처리부(420)를 제어하여 썸네일 비디오 및/또는 썸네일 동영상을 생성하도록 제어하여 현재 촬영장치(100)로부터 수신되는 촬영영상에 관제요원이 미확인한 과거 이벤트 영상을 함께 표출한다. 영상을 표출할 때, 동일 레이어(layer)에 합성하는 방법이 가능할 수 있지만, 오버레이(overlay) 즉 중첩되는 형태로 서로 다른 레이어에서 영상이 구현되도록 할 수 있다. 동일 레이어에 형성하여 과거 이벤트 영상이 출력되도록 하느냐 아니면 서로 다른 레이어에 과거 이벤트 영상이 출력되도록 하느냐는 시스템 설계자의 의도에 따라 결정되는 것이므로, 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

이와 같이, 과거 이벤트 영상을 표출하는 과정에서 제어부(410)는 관제영상합성처리부(420)와 연동하여 다양한 형태로 과거 이벤트 영상을 생성하여 출력되도록 할 수 있다. 다시 말해, 현재 수신되는 촬영영상에서 이벤트가 발생하여 해당 영상을 화면에 표출하고 있다면, 관제요원이 놓친 부분의 과거 이벤트 영상을 화면에 표출해 주어 해당 이벤트에 대한 상황 파악이 빨리 이루어지도록 하는 것이다. 다시 말해, 이벤트가 발생된 시점은 제1 시점(t1)이지만, 시간 변화에 따라 관제요원이 제2 시점(t2)에서 이벤트 발생을 감지하였다면, 제1 시점부터 제2 시점 사이의 과거 이벤트 영상을 화면에 표출해 주어 상황 판단이 이루어지게 하는 것이다.

물론 이러한 동작을 수행하기 위하여 제어부(410)는 관제요원을 별도의 관제센터에 구비되는 카메라를 통해 촬영하여 관제시점을 판단할 수 있지만, 다양한 경로로 수신되는 정보를 활용하여 관제요원이 해당 이벤트에 대한 확인이 있었는지 등을 판단할 수 있다. 음성 인식을 이용하는 등 확인 방법은 다양하므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

관제영상합성처리부(420)는 제어부(410)의 제어하에 내부 프로그램을 실행하여 위의 동작을 수행할 수 있다. 관제영상합성처리부(420)는 가령 관제요원의 관제화면에 이벤트가 발생한 촬영장치(100)의 촬영영상을 표출할 때, 관제요원이 미처 확인하지 못한 부분을 감지하여 이에 대한 과거 이벤트 영상을 생성해 해당 화면에 실시간 촬영영상과 함께 표출하기 위한 동작을 수행한다. 이를 위하여 영상을 생성하는 방식은 다양하므로 더 이상의 설명은 생략하도록 한다.

관제영상합성처리부(420)는 관제 화면의 일측에 별도의 영역을 구성하여 과거 이벤트 영상을 표출해 주거나, 동영상 형태로 화면의 일측에 표출해 주거나 하는 등 다양한 형태로 영상을 생성해 제공할 수 있으며, 물론 서로 혼용되어 이루어질 수도 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 만약 이벤트 발생 시간이 이미 경과된 상태라면 이벤트 발생과 관련한 전체 과거 이벤트 영상을 썸네일 영상의 형태로 생성하여 별도로 특정 채널의 화면에 표출해 줄 수도 있을 것이다. 이와 같이, 과거 이벤트 영상은 다양한 형태로 화면에 표출될 수 있을 것이다.

저장부(430)는 제어부(410)의 제어하에 처리되는 다양한 정보 및/또는 데이터를 저장할 수 있다. 정보나 데이터는 용어가 서로 혼용되어 사용될 수 있지만, 본 발명의 실시예에서 정보는 제어 명령과 같은 요청 및 응답과 관련한 간단한 신호를 의미하고, 데이터는 비디오 데이터를 구성하는 적(R), 녹(G), 청(B)의 화소 데이터와 같은 실질적인 데이터를 의미하지만, 본 발명의 실시예에서는 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.

한편, 본 발명의 다른 실시예로서, 도 4의 제어부(410)는 CPU와 메모리를 포함할 수 있으며, CPU와 메모리는 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부, 레지스트리 등을 포함하며, 메모리는 램(RAM)을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터 등과 같이 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 등의 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 도 1의 선별관제서비스장치(120)는 동작 초기에 또는 필요시에 도 4의 관제영상합성처리부(420)에 저장되는 프로그램을 복사하여 메모리에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수도 있을 것이다.

도 5는 도 1의 영상분석장치의 세부구조를 예시한 블록다이어그램이다.

도 5에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 영상분석장치(130')는 이벤트 메타데이터와 물체 썸네일 영상과 비디오를 생성하기 위한 동작을 수행하며, 이를 위하여 영상수신 및 디코딩부(500), 물체검출 및 추적부(510), 이벤트 검출부(520), 이벤트 메타데이터 생성부(530), 썸네일 비디오생성부(540), 그리고 이벤트 메타데이터 및 영상 송신부(550)의 일부 또는 전부를 포함한다.

여기서 "일부 또는 전부를 포함한다"는 것은 앞서서의 의미와 동일하며, 본 발명의 실시예에 따른 도 5의 구성요소들은 하드웨어(H/W), 소프트웨어(S/W) 또는 그 조합에 의해 구성될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 구성에 특별히 한정하지는 않을 것이다.

영상수신 및 디코딩부(500)는 분석을 하기 위한 압축된 비디오 스트림을 수신하고 디코딩을 하여 영상 버퍼에 실시간 영상을 갱신한다.

물체검출 및 추적부(510)는 디코딩된 실시간 영상 버퍼를 참조하여 물체를 검출하고 검물체 즉 검출한 물체를 추적하는 기능을 담당한다. 물체의 추적은 움직임 벡터에 의해 추적하는 등 다양한 방식이 사용될 수 있다.

이벤트 검출부(520)는 검출 및 추적 중인 물체들이 미리 정해진 이벤트 규칙에 일치하는지를 판단하는 기능을 담당한다. 이벤트 종류에는 배회, 폭력, 경로 통과와 같은 지능형 영상 분석에 적용되는 이벤트이다. 이들 이벤트들을 복합 구성으로 사용이 가능하다.

이벤트 메타데이터 생성부(530)는 이벤트가 발생한 정보를 다양한 장치에서 해석될 수 있는 규약으로 기술된 메타 데이터 형식으로 생성하는 기능을 담당한다.

물체 썸네일 영상 및 썸네일 비디오 생성부 즉 썸네일 비디오 생성부(540)는 이벤트가 발생된 객체에 해당하는 관심 영역을 별도로 캡쳐하여 정지 영상과 동영상으로 생성한다. 이때의 동영상은 이벤트가 발생된 관심 영역 부분만 캡쳐하여 저장하기 때문에 원본 영상을 저장하는 것보다는 데이터 크기가 줄어들게 된다. 예를 들어, 관련 부분을 캡쳐하여 동영상을 생성할 수 있지만, 수신된 단위 프레임의 영상 중 랜덤하게 단위 프레임 영상을 추출하여 사용할 수도 있을 것이다. 가령, 1초에 60장의 단위 프레임 영상이 화면에 구현되는 경우, 10장마다 한 장의 단위 프레임 영상을 추출하여 동영상을 구현하는 것도 얼마든지 가능할 수 있을 것이다.

이벤트 메타데이터 및 영상 송신부(550)는 이벤트 메타 데이터와 이벤트 썸네일 비디오를 영상분배장치(121)로 전송하거나 필요한 경우에는 비디오 스토리지(120a)에 직접 썸네일 영상과 비디오를 전송한다.

도 6은 본 발명의 실시예에 따른 선별관제서비스장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 6을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 선별관제서비스장치(120)는 다수의 촬영장치(100)로부터 현재 수신되는 제1 촬영영상을 저장하며, 기수신한 제2 촬영영상에서 추출한 과거 이벤트 발생 장면을 저장한다(S600).

또한, 선별관제서비스장치(120)는 저장한 과거 이벤트 발생 장면이 사용자, 가령 관제요원에 의해 미확인된 것으로 판단될 때, 저장한 과거 이벤트 발생 장면을 화면에 표출한다(S610).

예를 들어, 과거 이벤트 발생 장면을 화면에 표출하는 방법은 다양할 수 있다. 대표적으로 현재 수신되고 있는 제1 촬영영상에서 이벤트가 발생하였으며 관제요원에 의해 미확인된 구간의 과거 이벤트 발생 장면을 현재 화면에 표시되는 제1 촬영영상과 함께 표출할 수 있지만, 만약 이벤트 발생 시간이 이미 경과된 상태라면, 제1 촬영영상의 표출없이 과거 이벤트 발생 장면과 관련해 썸네일 이미지를 동영상 형태로 생성하여 화면에 표출해 줄 수 있다.

무엇보다 본 발명의 실시예는 관제요원이 미확인한 것으로 판단되는 이벤트 발생 장면을 감지하여 이를 다시 화면에 표출해 주어 효율적인 관제가 이루어지도록 하고, 아울러 화면에 표시된 이미지나 동영상을 간편하게 선택하는 것으로 이벤트 상황에 빠르게 대처할 수 있다는 점에서 인터페이스 관점에서와 매우 효율적이라고 볼 수 있다.

도 7은 본 발명의 다른 실시예로서 분할 화면에 과거 영상 썸네일을 출력하는 과정을 나타내는 흐름도이다.

이벤트가 발생되면 이벤트가 발생된 채널을 선별 관제 분할 화면 중 하나에 출력하게 된다(S700, S710).

이때 이벤트 발생 시간이 경과되지 않으면 현재 이벤트 발생 상황을 관제요원이 확인 가능하므로 이벤트 발생 채널을 라이브 화면에 출력한다(S720, S770). 라이브 화면 출력시에 관제요원에 의하여 확인이 되지 않고 이벤트 발생 시간이 경과되어 버리면 과거 영상을 출력하게 하여 관제요원이 확인할 수 있도록 한다(S730, S780, S790).

분할 화면 출력시부터 이벤트 발생 시간이 경과된 경우에는 관제요원이 과거 영상을 확인할 수 있도록 라이브 화면과 과거 이벤트 썸네일 영상 또는 비디오를 합성하여 출력한다(S720, S730, S740).

관제요원이 해당 이벤트를 확인하지 않을 경우에는 과거 이벤트를 최대 출력시간 동안 반복하여 재생을 하게 된다(S740).

이때 관제요원이 이벤트를 확인하거나 최대 출력 시간이 경과되면 분할 화면 출력을 종료하게 되고 관제요원의 확인 여부를 DB나 로그로 기록한다(S750, S760).

상기한 내용 이외에도 본 발명의 실시예에 따른 도 1의 선별관제서비스장치(120)의 동작은 다양하게 이루어질 수 있는 것이므로, 자세한 내용은 앞서의 내용들로 대신하고자 한다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 촬영장치 110: 통신망
120: 선별관제서비스장치 120a: 비디오 스토리지
121: 영상분배장치 123: 이벤트분배장치
125: 선별관제관리장치 130, 130': 영상분석장치
140: 관리자장치 400: 통신 인터페이스부
410: 제어부 420: 관제영상합성처리부
430: 저장부 500: 영상수신 및 디코딩부
510: 물체검출 및 추적부 520: 이벤트 검출부
530: 이벤트 메타데이터 생성부 540: 썸네일 비디오 생성부
550: 이벤트 메타데이터 및 영상 송신부

Claims (16)

1. 다수의 촬영장치로부터 현재 수신하는 제1 촬영영상을 저장하며, 기수신한 제2 촬영영상에서 추출한 과거 이벤트 발생 장면을 저장하는 저장부; 및
   상기 저장한 과거 이벤트 발생 장면이 사용자에 의해 미확인된 것으로 판단될 때, 상기 저장한 과거 이벤트 발생 장면을 화면에 표출하도록 상기 저장부를 제어하는 제어부;를 포함하며,
   상기 제어부는,
   상기 과거 이벤트 발생 장면을 썸네일 동영상의 형태로 상기 화면상에 표출하고, 이벤트가 발생한 객체를 포함하는 관심 영역을 캡쳐한 캡쳐한 이미지를 이용해 생성되는 상기 썸네일 동영상을 표출하며,
   상기 제어부는,
   이벤트가 발생한 전체 구간이 상기 사용자에 의해 미확인될 때 상기 전체 구간의 촬영 영상과 상기 촬영 영상에서 추출한 이벤트 발생 장면을 함께 상기 화면상에 표출하고,
   상기 제어부는,
   상기 사용자가 상기 화면에 표출한 과거 이벤트 발생 장면의 선택시 이벤트 발생에 대한 조치사항을 기록하기 위한 사용자 인터페이스 화면을 더 표출하도록 제어하며,
   상기 제어부는,
   상기 화면에 표출한 과거 이벤트 발생 장면의 미확인이 지정 시간을 초과할 때, 화면을 종료하고 상기 사용자의 미확인 및 로그(Log)를 기록하는 효율적 영상 관제를 위한 스마트관제서비스장치.
2. 제1항에 있어서,
   상기 제어부는, 상기 과거 이벤트 발생 장면이 상기 제1 촬영영상에 포함되어 이어지는 경우, 상기 제1 촬영영상이 화면에 표출될 때 상기 과거 이벤트 발생 장면을 함께 화면에 표출하는 효율적 영상 관제를 위한 스마트관제서비스장치.
3. 제1항에 있어서,
   상기 제어부는, 상기 사용자가 확인할 때까지 상기 과거 이벤트 발생 장면을 상기 화면상에 표출시키는 효율적 영상 관제를 위한 스마트관제서비스장치.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 다수의 촬영장치로부터 현재 수신하는 제1 촬영영상을 저장하며, 기수신한 제2 촬영영상에서 추출한 과거 이벤트 발생 장면을 저장부에 저장하는 단계; 및
   제어부가, 상기 저장한 과거 이벤트 발생 장면이 사용자에 의해 미확인된 것으로 판단될 때, 상기 저장한 과거 이벤트 발생 장면을 화면에 표출하도록 상기 저장부를 제어하는 단계;를 포함하되,
   상기 제어하는 단계는,
   상기 과거 이벤트 발생 장면을 썸네일 동영상의 형태로 상기 화면상에 표출하고, 이벤트가 발생한 객체를 포함하는 관심 영역을 캡쳐한 캡쳐한 이미지를 이용해 생성되는 상기 썸네일 동영상을 표출하며,
   상기 제어하는 단계는,
   이벤트가 발생한 전체 구간이 상기 사용자에 의해 미확인될 때 상기 전체 구간의 촬영 영상과 상기 촬영 영상에서 추출한 이벤트 발생 장면을 함께 상기 화면상에 표출하고,
   상기 제어하는 단계는,
   상기 사용자가 상기 화면에 표출한 과거 이벤트 발생 장면의 선택시 이벤트 발생에 대한 조치사항을 기록하기 위한 사용자 인터페이스 화면을 더 표출하도록 제어하며,
   상기 제어하는 단계는,
   상기 화면에 표출한 과거 이벤트 발생 장면의 미확인이 지정 시간을 초과할 때, 화면을 종료하고 상기 사용자의 미확인 및 로그(Log)를 기록하는 효율적 영상 관제를 위한 스마트관제서비스장치의 구동방법.
10. 제9항에 있어서,
    상기 제어하는 단계는,
    상기 과거 이벤트 발생 장면이 상기 제1 촬영영상에 포함되어 이어지는 경우, 상기 제1 촬영영상이 화면에 표출될 때 상기 과거 이벤트 발생 장면을 함께 화면에 표출하는 효율적 영상 관제를 위한 스마트관제서비스장치의 구동방법.
11. 제9항에 있어서,
    상기 제어하는 단계는,
    상기 사용자가 확인할 때까지 상기 과거 이벤트 발생 장면을 상기 화면상에 표출시키는 효율적 영상 관제를 위한 스마트관제서비스장치의 구동방법.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제

Images