KR101950151B1 - 영상 감시 시스템 - Google Patents

Abstract

영상 감시 시스템에 있어서, 구조물의 벽체 또는 천정에 설치되어 특정 공간에 대한 영상을 촬영하는 카메라 장치, 상기 카메라 장치로부터 촬영된 영상을 수신하고 수신된 영상을 분석, 압축 및 저장하는 영상 처리 장치, 상기 영상 처리 장치와 전기적으로 연결되어 상기 영상 처리 장치를 통해 처리된 영상을 출력하는 디스플레이 장치, 및 상기 영상 처리 장치와 전기적으로 연결되고 사용자의 입력을 수신하는 사용자 입력 장치를 포함하고, 상기 영상 처리 장치는, 상기 카메라 장치, 상기 디스플레이 장치, 및 상기 사용자 입력 장치와 상기 영상 처리 장치 간의 통신을 설정하는 통신 모듈, 프로세서, 제1 메모리, 및 제2 메모리를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해 상기 카메라 장치로부터 영상을 수신하고, 상기 영상을 구성하는 복수의 프레임들을 분석하여 상기 프레임들 중 제1 프레임들에서 위치가 고정된 기준 객체를 검출하고, 상기 프레임들 중 제2 프레임들에서 위치가 고정되지 않고 이동하는 감시 대상 객체를 검출하고, 상기 기준 객체에 대한 정보를 상기 제1 메모리에 저장하고, 상기 기준 객체에 대한 정보를 기반으로 상기 감시 대상 객체를 포함하는 상기 제2 프레임들을 압축하여 상기 제1 메모리에 저장하는 것을 특징으로 하는 영상 감시 시스템이 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

영상 감시 시스템{Image monitoring system}

본 발명은 영상 감시 시스템에 관한 것으로서, 보다 상세하게는 CCTV 등과 같은 카메라 장치로 촬영된 영상을 분석하여 위치가 고정된 객체와 고정되지 않은 객체를 구분하고, 위치가 고정된 객체에 대한 정보를 기준으로 하여 위치가 고정되지 않은 객체를 포함하는 영상을 압축 및 저장하는 영상 감시 시스템에 대한 관한 것이다.

일반적으로, 특정 공간이나 특정 지역에 대한 지속적인 감시를 위해 CCTV(closed-circuit television) 등으로 불리는 영상 감시 시스템이 이용되고 있다. 예를 들어, 도로교통 상황을 관찰하거나 교통위반 상황을 감시하기 위한 용도, 인적이 드문 건물의 주차장 또는 안전 요원의 배치가 어려운 현금인출기 등의 주변을 감시하기 위한 용도, 또는 일반 주택이나 은행 등의 범죄 발생 우려가 높은 장소의 방범 용도로 영상 감시 시스템이 이용되고 있다.

영상 감시 시스템은 감시하고자 하는 특정 공간이나 특정 지역을 촬영할 수 있는 장소에 설치되는 카메라 장치, 카메라 장치로부터 촬영된 영상을 수신하여 저장하는 영상 저장 장치(예: DVR(digital video recorder)), 및 영상 저장 장치에 연결되어 촬영된 영상을 출력하는 디스플레이 장치를 포함하는 것이 일반적이다. 이러한 영상 감시 시스템은 크게 아날로그 녹화 방식과 디지털 녹화 방식으로 구분할 수 있는데, 디지털 녹화 방식의 영상 감시 시스템은 영상 압축 기술을 이용하여 다수의 촬영 영상을 디지털 영상으로 변환하여 디지털 저장매체인 영상 저장 장치에 고화질의 영상으로 장기간 저장할 수 있다. 이에 따라, 디지털 녹화 방식의 영상 감시 시스템은 아날로그 녹화 방식의 단점인 저화질 녹화, 비디오테이프의 열화 현상으로 인한 재생 화질 저하, 테이프의 관리 또는 기능상의 문제, 주변 기기와의 연동 문제, 원거리 전송 시 장치 추가 등의 문제 등이 해결될 수 있다.

그러나, 종래의 디지털 녹화 방식의 영상 감시 시스템은 카메라 장치를 통해 촬영된 영상을 MPEG(moving picture experts group)이나 JPEG(joint photographic experts group) 등의 방식으로 압축하는데, 이 때 모든 영상 데이터를 압축 변환하여 저장하기 때문에 저장 공간의 소비가 높고, 과거의 영상을 검색하는데 있어서도 불편하고 많은 시간이 소요되며, 압축 변환에 필요한 전력 사용량도 많은 문제가 있었다.

본 발명의 다양한 실시 예들은, 촬영된 영상에서 위치가 고정된 객체와 고정되지 않은 객체를 구분하고, 위치가 고정된 객체에 대한 정보를 기준으로 하여 위치가 고정되지 않은 객체를 포함하는 영상을 압축 및 저장함으로써, 저장 공간을 효율적으로 사용할 수 있는 영상 감시 시스템을 제공할 수 있다.

본 발명의 다양한 실시 예에 따른 영상 감시 시스템(100)은, 구조물의 벽체 또는 천정에 설치되어 특정 공간에 대한 영상을 촬영하는 카메라 장치(110), 상기 카메라 장치(110)로부터 촬영된 영상을 수신하고 수신된 영상을 분석, 압축 및 저장하는 영상 처리 장치(130), 상기 영상 처리 장치(130)와 전기적으로 연결되어 상기 영상 처리 장치(130)를 통해 처리된 영상을 출력하는 디스플레이 장치(150), 및 상기 영상 처리 장치(130)와 전기적으로 연결되고 사용자의 입력을 수신하는 사용자 입력 장치(170)를 포함하고, 상기 영상 처리 장치(130)는, 상기 카메라 장치(110), 상기 디스플레이 장치(150), 및 상기 사용자 입력 장치(170)와 상기 영상 처리 장치(130) 간의 통신을 설정하는 통신 모듈(131), 프로세서(133), 제1 메모리(135), 및 제2 메모리(137)를 포함할 수 있다.

여기서, 상기 프로세서(133)는, 상기 통신 모듈(131)을 통해 상기 카메라 장치(110)로부터 영상을 수신하고, 상기 영상을 구성하는 복수의 프레임들을 분석하여 상기 프레임들 중 제1 프레임들에서 위치가 고정된 기준 객체를 검출하고, 상기 프레임들 중 제2 프레임들에서 위치가 고정되지 않고 이동하는 감시 대상 객체를 검출하고, 상기 기준 객체에 대한 정보를 상기 제1 메모리(135)에 저장하고, 상기 기준 객체에 대한 정보를 기반으로 상기 감시 대상 객체를 포함하는 상기 제2 프레임들을 압축하여 상기 제1 메모리(135)에 저장할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 제1 프레임들 각각에서 특징점들을 추출하고, 상기 제1 프레임들 중 제3 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제1 특징점들을 제1 그룹으로 묶고 상기 제1 그룹을 구성하는 상기 제1 특징점들이 차지하는 영역을 제1 객체가 차지하는 제1 영역으로 설정하고, 상기 제1 프레임들 중 상기 제3 프레임의 이후에 촬영된 제4 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제2 특징점들을 제2 그룹으로 묶고 상기 제2 그룹을 구성하는 상기 제2 특징점들이 차지하는 영역을 제2 객체가 차지하는 제2 영역으로 설정하고, 상기 제1 객체의 속성 및 상기 제2 객체의 속성을 기반으로 상기 제1 객체 및 상기 제2 객체가 동일한 종류의 객체인지를 판단하고, 상기 제1 객체와 상기 제2 객체가 동일한 종류의 객체인 경우, 상기 제1 객체 및 상기 제2 객체를 매칭시키고, 상기 제1 영역의 위치와 상기 제2 영역의 위치가 동일한 경우, 상기 제1 객체 또는 상기 제2 객체를 상기 기준 객체로 설정할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 제1 객체 및 상기 제2 객체가 동일한 종류의 객체이면서, 상기 제1 영역 및 상기 제2 영역이 일부분에서 서로 중첩되고, 상기 제1 영역의 형상과 상기 제2 영역의 형상이 서로 다른 경우, 상기 제1 객체 또는 상기 제2 객체를 상기 기준 객체로 더 설정할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 제1 프레임들 중 상기 제4 프레임의 이후에 촬영된 복수의 제5 프레임들 각각에서 추출된 특징점들의 분포 상태를 기반으로 상기 제5 프레임들 각각에서 지정된 이격 거리 내에 존재하는 제3 특징점들을 제3 그룹들로 묶고 상기 제3 그룹들을 구성하는 상기 제3 특징점들이 차지하는 영역들을 제3 객체들이 차지하는 제3 영역들로 설정하고, 상기 제1 객체, 상기 제2 객체 및 상기 제3 객체들이 동일한 종류의 객체이면서, 상기 제1 영역의 위치와 상기 제2 영역의 위치가 상이하고, 상기 제2 영역의 위치 및 상기 제3 영역들의 위치가 동일한 경우, 상기 제3 객체들 중 어느 하나의 객체를 상기 기준 객체로 더 설정할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 제2 프레임들 각각에서 특징점들을 추출하고, 상기 제2 프레임들 중 제6 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제4 특징점들을 제4 그룹으로 묶고 상기 제4 그룹을 구성하는 상기 제4 특징점들이 차지하는 영역을 제4 객체가 차지하는 제4 영역으로 설정하고, 상기 제2 프레임들 중 상기 제6 프레임의 이후에 촬영된 제7 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제5 특징점들을 제5 그룹으로 묶고 상기 제5 그룹을 구성하는 상기 제5 특징점들이 차지하는 영역을 제5 객체가 차지하는 제5 영역으로 설정하고, 상기 제4 객체의 속성 및 상기 제5 객체의 속성을 기반으로 상기 제4 객체 및 상기 제5 객체가 동일한 종류의 객체인지를 판단하고, 상기 제4 객체와 상기 제5 객체가 동일한 종류의 객체인 경우, 상기 제4 객체 및 상기 제5 객체를 매칭시키고, 상기 제4 영역의 위치와 상기 제5 영역의 위치가 동일하지 않은 경우, 상기 제4 객체를 상기 감시 대상 객체로 설정할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 제2 프레임들을 압축하는 과정에서, 상기 제2 프레임들에서 상기 감시 대상 객체가 차지하는 영역만을 압축할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 감시 대상 객체가 차지하는 영역의 경계점에 해당하는 픽셀들의 위치 정보, 및 상기 감시 대상 객체가 차지하는 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보를 이용하여 상기 제2 프레임들에서 상기 감시 대상 객체가 차지하는 영역만을 압축할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 감시 대상 객체가 차지하는 영역에 상기 감시 대상 객체와 상기 기준 객체가 중첩된 영역이 포함되는 경우, 상기 중첩된 영역에 포함된 상기 기준 객체에 대한 정보를 포함하여 상기 감시 대상 객체가 차지하는 영역을 압축할 수 있다.

여기서, 상기 기준 객체에 대한 정보는, 상기 제2 프레임들에서 상기 기준 객체가 차지하는 영역 중 상기 중첩된 영역의 경계점에 해당하는 픽셀들의 위치 정보, 및 상기 기준 객체의 상기 중첩된 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 감시 대상 객체가 차지하는 영역을 상기 감시 대상 객체가 차지하는 영역을 포함하는 사각형의 영역으로 설정할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는, 상기 제1 프레임들을 압축하여 상기 제2 메모리(137)에 저장하고, 상기 제2 메모리(137)에 상기 제1 프레임들에 대한 압축 영상이 저장된 시점으로부터 지정된 시간이 경과되면, 상기 제1 프레임들에 대한 압축 영상을 상기 제2 메모리(137)에서 삭제하거나, 상기 사용자 입력 장치(170)를 통해 사용자로부터 상기 제1 프레임들에 대한 압축 영상의 삭제 요청이 수신되면, 상기 제1 프레임들에 대한 압축 영상을 상기 제2 메모리(137)에서 삭제할 수 있다.

본 발명의 다양한 실시 예에 따르면, 촬영된 영상 중 감시 대상이 되는 객체가 포함된 영상을 위치가 고정된 객체에 대한 정보를 기준으로 하여 압축 및 저장함으로써, 저장 공간의 사용에 대한 효율성이 증대되고, 이에 따른 전략 사용량도 감소될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 감시 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 감시 시스템의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 감시 시스템의 기준 객체에 대한 설정 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 영상 감시 시스템의 감시 대상 객체를 포함하는 영상의 압축 및 저장 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 감시 시스템의 기준 객체 및 감시 대상 객체를 구분하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 감시 시스템의 영상 압축 및 저장 방법을 설명하기 위한 화면 예시도이다.

설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성 요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부(unit)", "모듈(module)", 및 "컴포넌트(component)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, 본 명세서에서 "실시 예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구 범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성 요소를 배제하지 않는 개방적인 전환어(transition word)로서 "포함하는(comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용될 수 있다.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부(unit)", "모듈(module)", "시스템(system)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 예를 들어, 프로그램 모듈은 하나의 컴포넌트와 등가 혹은 둘 이상의 컴포넌트의 조합으로 구성될 수 있다. 또한, 본 발명에서는 서버 또는 단말기에서 실행되는 애플리케이션 및 하드웨어 모두가 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록 매체 사이에 분산되어 기록될 수 있다.

이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 영상 감시 시스템이 설명된다. 특별한 정의나 언급이 없는 경우에 본 설명에 사용하는 방향을 표시하는 용어는 도면에 표시된 상태를 기준으로 한다. 또한 각 실시 예를 통하여 동일한 도면 부호는 동일한 부재를 가리킨다. 한편, 도면상에서 표시되는 각 구성은 설명의 편의를 위하여 그 두께나 치수가 과장될 수 있으며, 실제로 해당 치수나 구성 간의 비율로 구성되어야 함을 의미하지는 않는다.

도 1은 본 발명의 일 실시 예에 따른 영상 감시 시스템을 나타낸 도면이고, 도 2는 본 발명의 일 실시 예에 따른 영상 감시 시스템의 블록도이다.

도 1 및 도 2를 참조하면, 영상 감시 시스템(100)은 카메라 장치(110), 영상 처리 장치(130), 디스플레이 장치(150), 및 사용자 입력 장치(170)를 포함할 수 있다. 그러나, 영상 감시 시스템(100)의 구성이 이에 한정되는 것은 아니다. 다양한 실시 예에 따르면, 영상 감시 시스템(100)은 상술한 구성요소 외에 적어도 하나의 다른 구성요소를 더 포함할 수 있다. 예를 들어, 영상 감시 시스템(100)은 보조 저장 장치 등을 더 포함할 수 있다.

카메라 장치(110)는 감시가 필요한 특정 공간을 촬영하기 위해 구조물의 벽체 또는 천정에 설치되어 상기 특정 공간에 대한 정지 영상 및 동영상을 촬영할 수 있다. 이를 위해, 상기 카메라 장치(110)는 촬상 소자를 포함할 수 있다. 상기 촬상 소자는 예를 들어, 피사체의 영상 광을 받아들여 화상으로 결상시키는 렌즈, 상기 렌즈를 통과하는 광의 양을 조절하는 조리개, 상기 렌즈를 통과하는 광에 의해 이미지 센서가 일정 시간 동안 노출되도록 조래개를 여닫는 기능을 하는 셔터, 상기 렌즈에 결상된 화상을 광신호로서 수광하는 이미지 센서, 및 내부 메모리 중 적어도 하나를 포함할 수 있다.

상기 렌즈는 예컨대, 복수 개의 광학 렌즈를 포함할 수 있으며, 피사체에서 반사되어 입력되는 광을 받아들여 상기 이미지 센서의 감광면에 상이 맺히도록 할 수 있다. 일 실시 예에 따르면, 상기 렌즈는 상기 영상 처리 장치(130)에 포함된 프로세서(133)의 신호에 따라 줌(zoom) 기능을 수행할 수 있으며, 초점을 자동으로 조절할 수 있다.

상기 조리개는 상기 렌즈를 통과하는 광의 양을 조절할 수 있다. 예컨대, 상기 조리개는 일정 영역이 개폐되도록 제공될 수 있으며, 개폐되는 정도에 따라 광이 들어오는 통로의 크기가 달라져 상기 렌즈를 통과하는 광이 상기 이미지 센서에 노출되는 정도를 다르게 조절할 수 있다.

상기 셔터는 상기 조리개를 여닫는 기능을 할 수 있다. 예컨대, 상기 셔터를 열었다 닫음으로써 상기 이미지 센서에 광을 노출시킬 수 있다. 일 실시 예에 따르면, 상기 셔터는 상기 렌즈와 상기 이미지 센서 사이에서 여닫는 시간을 길게 또는 짧게 조절함으로써 상기 렌즈를 통해 상기 이미지 센서에 입사되는 광의 양을 조절할 수 있다.

상기 이미지 센서는 상기 렌즈를 통과한 영상 광이 화상으로 결상되는 위치에 배치되어, 상기 렌즈에 의해 결상된 화상을 전기적 신호(또는, 영상 데이터)로 변환할 수 있다. 상기 이미지 센서는 예컨대, CCD(charge-coupled device) 이미지 센서 또는 CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 포함할 수 있다.

상기 내부 메모리는 촬영된 영상을 임시로 저장할 수 있다. 일 실시 예에 따르면, 상기 내부 메모리는 상기 셔터를 조작하기 전, 상기 이미지 센서를 통해 촬상된 영상을 저장할 수 있다.

영상 처리 장치(130)는 상기 카메라 장치(110)로부터 촬영된 영상을 수신하고, 수신된 영상을 분석, 압축, 및 저장할 수 있다. 이를 위해, 영상 처리 장치(130)는 통신 모듈(131), 프로세서(133), 제1 메모리(135), 및 제2 메모리(137)를 포함할 수 있다.

통신 모듈(131)은 상기 영상 처리 장치(130)와 외부 전자 장치 간의 통신을 설정할 수 있다. 예를 들어, 상기 통신 모듈(131)은 상기 영상 처리 장치(130)와 상기 카메라 장치(110), 상기 영상 처리 장치(130)와 상기 디스플레이 장치(150), 및 상기 영상 처리 장치(130)와 상기 사용자 입력 장치(170) 간의 통신을 설정할 수 있다.

상기 통신 모듈(131)은 무선 통신 또는 유선 통신을 지원할 수 있다. 상기 무선 통신은, 예를 들면 셀룰러 통신 프로토콜로서, LTE(Long-Term Evolution), LTE-A(LTE-Advanced), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 중 적어도 하나를 사용할 수 있다. 또한 상기 무선 통신은, 예를 들면, 근거리 통신을 포함할 수 있다. 상기 근거리 통신은, 예를 들면, Wi-Fi(Wireless Fidelity), Bluetooth, NFC(Near Field Communication), 또는 GPS(Global Positioning System) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.

프로세서(133)는 상기 영상 처리 장치(130)의 전반적인 동작을 처리할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 영상 처리 장치(130)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 상기 프로세서(133)는 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 상기 프로세서(133)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 프로세서(133)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.

일 실시 예에 따르면, 상기 프로세서(133)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 예컨대, 상기 프로세서(133)는 상기 카메라 장치(110)와 관련된 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 일 실시 예에 따르면, 상기 프로세서(133)는 상기 카메라 장치(110)로부터 들어오는 영상 데이터를 분석할 수 있으며, 자동 초점(auto focus) 기능, 자동 노출(auto exposure, AE) 기능, 자동 화이트 밸런스(auto white balance, AWB) 기능, 줌 인/아웃 기능, 촬영, 연속 촬영, 타이머 촬영, 플래시 온-오프, 필터 등의 기능을 제어할 수 있다.

상기 프로세서(133)는 상기 카메라 장치(110)로부터 수신된 촬영 영상을 분석하여 위치가 고정된 객체와 고정되지 않은 객체를 구분할 수 있다. 이를 위해, 상기 프로세서(133)는 상기 영상을 구성하는 복수의 프레임들 각각에 대하여 객체의 검출, 인식, 및 추적 등의 기능을 수행할 수 있다.

객체의 검출 기능과 관련하여, 상기 프로세서(133)는 각 프레임에서 특징점들을 추출할 수 있다. 상기 특징점은 상기 프레임에서 각 물체의 형태나 크기, 또는 위치가 변해도 쉽게 식별 가능한 지점을 포함할 수 있다. 또한, 상기 특징점은 상기 카메라 장치(110)의 촬영 각도 또는 조명 등이 변해도 상기 프레임에서 쉽게 식별 가능한 지점을 포함할 수 있다. 예를 들어, 상기 특징점은 상기 프레임에서 각 물체의 코너점(corner point) 또는 경계점을 포함할 수 있다. 상기 특징점의 추출을 위해, 상기 프로세서(133)는 다양한 특징점 추출 방법 예컨대, SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern) 또는 MCT(Modified Census Transform) 등을 사용할 수 있다. 또한, 상기 프로세서(133)는 상기 프레임의 각 픽셀(pixel)에 대한 휘도 정보를 기반으로 상기 특징점을 추출할 수도 있다. 예를 들어, 상기 프로세서(133)는 휘도 값의 변화 정도가 지정된 크기를 초과하면 해당 픽셀의 지점을 상기 특징점으로 추출할 수 있다.

상기 프레임에서 상기 특징점들이 추출되면, 상기 프로세서(133)는 상기 특징점들이 존재하는 영역을 객체의 영역으로 설정할 수 있다. 이 때, 상기 프로세서(133)는 상기 프레임에서의 상기 특징점들의 분포 상태를 기반으로 상기 객체의 영역을 구분할 수 있다. 예컨대, 상기 프로세서(133)는 지정된 이격 거리 내에 존재하는 특징점들을 그룹으로 묶고 하나의 그룹을 구성하는 특징점들이 차지하는 영역을 하나의 객체 영역으로 포함시킬 수 있으며, 상기 이격 거리를 벗어나는 특징점들이 차지하는 영역은 다른 객체의 영역으로 구분할 수 있다. 또한, 상기 프로세서(133)는 하나의 객체 영역 안에 포함되는 특징점들이 지정된 개수 미만인 경우에는 해당 객체 영역의 설정을 취소할 수도 있다.

상기 프레임에서 적어도 하나의 객체 영역이 설정되면, 상기 프로세서(133)는 상기 객체의 인식 기능을 수행할 수 있다. 상기 객체의 인식 기능은 예를 들어, 상기 객체의 속성을 판단하여 상기 객체가 사람인지, 동물인지, 또는 물체인지를 판단하고, 더 나아가 사람, 동물, 또는 물체의 종류를 판단하여 객체를 구분하고, 복수의 프레임들에서 검출된 객체들 중 서로 동일한 객체라고 판단되는 객체들을 서로 매칭시키는 기능일 수 있다. 상기 프로세서(133)는 촬영된 영상을 구성하는 복수의 프레임들에서 검출된 객체의 속성을 기반으로 상기 객체를 구분하고, 상기 프레임들 중 제1 시간에 촬영된 제1 프레임에서 검출된 객체들과 제2 시간에 촬영된 제2 프레임에서 검출된 객체들을 서로 비교하고, 동일한 객체들을 서로 매칭시킬 수 있다. 상술한 설명에서는 상기 제1 프레임과 상기 제2 프레임에 대해서만 언급하였으나, 이에 한정되는 것은 아니다. 상기 프로세서(133)는 일정 시간 동안 촬영된 영상을 구성하는 모든 프레임들에 대해 동일한 객체들을 서로 매칭시킬 수 있다.

상기 프레임들에 대해 동일한 객체들이 매칭되면, 상기 프로세서(133)는 상기 매칭된 객체들에 대한 추적 기능을 수행할 수 있다. 상기 객체의 추적 기능은 예를 들어, 상기 객체의 움직임 패턴을 분석하여 상기 객체가 고정된 위치에 있는 객체인지 고정된 위치에 있지 않고 이동하는 객체인지를 판단하는 기능이며, 더 나아가 상기 객체가 이동하는 객체인 경우 상기 객체의 이동에 따른 위치 변화를 확인하는 기능일 수 있다.

이를 보다 상세히 하면, 상기 프로세서(133)는 촬영된 영상을 구성하는 복수의 프레임들에서 동일한 객체로 매칭된 객체들의 움직임 패턴을 분석할 수 있다. 예를 들어, 상기 프레임들에 모두 포함된 제1 객체, 및 상기 제1 객체와 다른 제2 객체가 존재한다고 가정하면, 상기 프로세서(133)는 상기 프레임들 각각에 포함된 상기 제1 객체 및 상기 제2 객체가 각각 차지하는 영역(객체 영역)들의 위치 변화를 판단할 수 있다. 일 예로, 상기 제1 객체가 제1 시간에 촬영된 제1 프레임에서 차지하는 영역의 위치와 제2 시간에 촬영된 제2 프레임에서 차지하는 영역의 위치가 동일한 경우, 상기 프로세서(133)는 상기 제1 객체를 고정된 위치에 있는 객체로 판단할 수 있다. 다른 예로, 상기 제2 객체가 상기 제1 프레임에서 차지하는 영역의 위치와 상기 제2 프레임에서 차지하는 영역의 위치가 다른 경우, 상기 프로세서(133)는 상기 제2 객체를 고정된 위치에 있지 않고 이동하는 객체로 판단할 수 있다.

상술한 설명에서는 상기 제1 프레임과 상기 제2 프레임에 대해서만 언급하였으나, 이에 한정되는 것은 아니다. 상기 프로세서(133)는 상기 프레임들 모두에 대해 각각의 객체들이 차지하는 영역들의 위치 변화를 판단하고, 어느 하나의 프레임에서라도 위치 변화가 감지되면 그 객체는 고정된 위치에 있지 않고 이동하는 객체로 판단할 수 있다. 다만, 상기 프로세서(133)는 스스로 이동할 수 있는 객체 예를 들어, 사람이나 동물 등을 나타내는 객체, 및 사람에 의해 이동 가능한 객체 예를 들어, 차량이나 드론 등을 나타내는 객체를 제외한 객체들이 어느 시점 이후에 위치가 고정될 수 있는 것을 감안하여, 상기 프레임들 중 특정 프레임 이후에 고정된 위치에 지속적으로 있게 되는 객체도 고정된 위치에 있는 객체로 판단할 수 있다. 예를 들어, 어떤 사람이 화분을 특정 지점에 옮겨 놓게 되면, 상기 화분을 나타내는 객체는 영상에 포함된 프레임들 중 상기 화분이 옮겨지는 과정을 담고 있는 프레임에서는 이동하는 객체로 인식될 수 있기 때문에, 상기 프로세서(133)는 상기 프레임들 중 특정 프레임 즉, 상기 화분이 완전히 옮겨지고 난 후의 첫 촬영된 프레임 이후에 상기 화분을 나타내는 객체가 고정된 위치에 지속적으로 있게 되면, 상기 화분을 나타내는 객체도 고정된 위치에 있는 객체로 설정할 수 있게 된다.

또한, 상기 프로세서(133)는 이동하지는 않지만 움직임이 있는 객체 예를 들어, 출입문과 같이 고정된 위치에서 움직이는 객체를 고정된 위치에 있는 객체로 선정하기 위해, 상기 제1 프레임에서 검출된 제1 객체와 상기 제2 프레임에서 검출된 제2 객체가 동일한 종류의 객체이면서, 상기 제1 프레임에서 상기 제1 객체가 차지하는 영역과 상기 제2 프레임에서 상기 제2 객체가 차지하는 영역이 일부분에서 서로 중첩되고, 그 영역들의 형상만이 서로 다를 경우에 상기 제1 객체 및 상기 제2 객체가 서로 동일한 객체이면서 고정된 위치에서 움직이는 객체라고 판단할 수 있다. 이 경우, 상기 프로세서(133)는 상기 객체를 기준 객체로 설정할 수 있다.

다양한 실시 예에 따르면, 프로세서(133)는 사물 인식을 위하여 사전에 영상을 인식하기 좋게 변화시키는 전처리 기능, 사물을 인식하는 인식 기능, 및 인식 기능에서 처리한 영상 데이터의 인식 정확도를 높이기 위한 후처리 기능 등을 수행할 수 있다. 전처리 기능에는 예컨대, 노이즈(noise) 제거, 세그먼테이션(segmentation), 크기 정규화, 엣지 디텍션(edge detection), 색 항상성 알고리즘(color constancy algorithm), 리전 그로잉(region growing), 또는 경계선 추적 등의 방법이 포함될 수 있다. 인식 기능에는 예컨대, 패턴 매칭(pattern matching), 템플릿 매칭(template matching), 인공 지능, 뉴럴 네트워크(neural network), 퍼지 알고리즘(fuzzy algorithm), 디시전 트리(decision tree), 유전적 알고르즘(genetic algorithm), PCA, SIFT, SURF, 또는 딥 러닝(deep learning) 등의 방법이 포함될 수 있다. 후처리 기능은 예컨대, 인식 기능에서 처리한 영상 데이터를 기반으로 인식 결과 정확도가 소정 레벨 이하인 경우 사용자에게 후보를 제시하고 선택 입력 받는 방법, 또는 다른 알고리즘이나 컨텍스트(context) 기반으로 후보군을 줄이는 방법 등을 포함할 수 있다.

상기 프로세서(133)는 상기 영상에서 위치가 고정된 객체를 기준 객체로 설정하고, 위치가 고정되지 않은 객체를 감시 대상 객체로 설정할 수 있다. 또한, 상기 프로세서(133)는 상기 기준 객체에 대한 정보를 상기 제1 메모리(135)에 저장할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 기준 객체가 상기 영상에서 차지하는 영역에 대한 정보를 상기 제1 메모리(135)에 저장할 수 있다. 상기 영역에 대한 정보는 예를 들어, 상기 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보(예: RGB 값, 휘도 값 등)를 포함할 수 있다.

상기 프로세서(133)는 상기 기준 객체에 대한 정보를 기반으로 상기 감시 대상 객체를 포함하는 영상을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 영상을 구성하는 복수의 프레임들 중 상기 감시 대상 객체가 존재하는 프레임들을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 이 때, 상기 프로세서(133)는 상기 감시 대상 객체가 존재하지 않는 프레임들을 상기 기준 객체에 대한 정보를 이용하여 구성할 수 있기 때문에, 상기 감시 대상 객체가 존재하지 않는 프레임들을 따로 압축하지 않을 수 있다. 이에 따라, 상기 제1 메모리(135)의 저장 공간이 효율적으로 관리될 수 있다.

일 실시 예에 따르면, 상기 감시 대상 객체가 존재하는 프레임들을 압축하는 과정에서, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역만을 압축하여 저장할 수 있다. 예컨대, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보 등을 이용하여 상기 감시 대상 객체가 존재하는 프레임들을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 즉, 상기 감시 대상 객체가 존재하는 프레임들은 상기 감시 대상 객체에 대한 정보 및 상기 기준 객체들 중 상기 감시 대상 객체와 중첩된 위치에 있는 기준 객체들에 대한 정보만을 포함하여 압축될 수 있다.

어떤 실시 예에서, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역을 사각형의 영역으로 설정할 수 있다. 예컨대, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역을 포함하는 사각형의 영역을 기준으로 상기 감시 대상 객체가 존재하는 프레임들을 압축할 수 있다. 이에 따라, 상기 감시 대상 객체가 차지하는 영역을 나타내는 경계에 곡선부가 있거나 돌출부가 있는 경우에, 해당 부분에 대한 영상 데이터 처리량이 감소되어 결과적으로 영상 압축 속도가 향상되고 전력 소비량이 감소되는 효과를 가져올 수 있다.

일 실시 예에서, 상기 프로세서(133)는 상기 감시 대상 객체가 존재하지 않는 프레임들 즉, 상기 기준 객체들만이 존재하는 프레임들은 어느 하나의 프레임만을 상기 제2 메모리(137)에 저장할 수 있다. 이 때, 상기 프로세서(133)는 상기 어느 하나의 프레임을 상기 제2 메모리(137)에 저장하면서, 상기 기준 객체들만이 존재하는 프레임들 중 첫 프레임의 수신 시간 및 마지막 프레임의 수신 시간에 대한 정보를 함께 상기 제2 메모리(137)에 저장할 수 있다.

또한, 상기 프로세서(133)는 상기 어느 하나의 프레임이 상기 제2 메모리(137)에 저장된 시점으로부터 지정된 시간이 경과되면 상기 제2 메모리(137)에 저장된 상기 어느 하나의 프레임을 삭제할 수 있다. 어떤 실시 예에서, 상기 프로세서(133)는 상기 사용자 입력 장치(170)를 통해 사용자로부터 상기 어느 하나의 프레임에 대한 삭제 요청이 있기 전까지 상기 어느 하나의 프레임에 대한 저장을 유지할 수도 있다.

제1 메모리(135) 및 제2 메모리(137)는 영상 처리 장치(130)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 일 실시 예에 따르면, 상기 제1 메모리(135)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 예컨대, 상기 제1 메모리(135)는 영상의 수신, 분석, 압축, 및 저장과 관련된 명령어 또는 데이터를 저장할 수 있다. 또한, 상기 제1 메모리(135)는 촬영 영상에 포함된 기준 객체에 대한 정보, 및 상기 기준 객체에 대한 정보를 기준으로 하여 감시 대상 객체가 포함된 압축 영상을 저장할 수 있다. 일 실시 예에 따르면, 상기 제2 메모리(137)는 상기 기준 객체만이 포함된 압축 영상을 임시로 저장할 수 있다. 예를 들어, 상기 제2 메모리(137)는 상기 프로세서(133)의 제어 하에, 상기 기준 객체만이 포함된 압축 영상을 저장할 수 있으며, 지정된 시간이 경과되면 저장된 상기 압축 영상을 삭제할 수 있다.

상기 제1 메모리(135) 및 상기 제2 메모리(137)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 상기 내장 메모리는 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD))) 중 적어도 하나를 포함할 수 있다. 상기 외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리는 다양한 인터페이스를 통하여 상기 영상 처리 장치(130)와 기능적으로 및/또는 물리적으로 연결될 수 있다.

디스플레이 장치(150)는 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 상기 디스플레이 장치(150)는 예를 들어, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 일 실시 예에 따르면, 상기 디스플레이 장치(150)는 터치 스크린을 포함할 수 있으며, 전자 펜 또는 사용자의 신체 일부를 이용한 터치, 제스처, 근접, 또는 호버링 입력을 수신할 수 있다.

사용자 입력 장치(170)는 사용자로부터 입력된 명령을 영상 처리 장치(130)의 다른 구성요소에 전달할 수 있는 인터페이스 역할을 할 수 있다. 상기 사용자 입력 장치(170)는 입력 수단으로서 예컨대, 터치 패널(touch panel), 펜 센서(pen sensor), 또는 키(key) 등을 포함할 수 있다.

상기 터치 패널은 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 상기 터치 패널은 제어 회로를 더 포함할 수도 있다. 일 실시 예에 따르면, 상기 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. 상기 터치 패널은 상기 디스플레이 장치(150)에 포함된 디스플레이 패널과 하나의 모듈로 구성되어 상기 터치 스크린을 구성할 수도 있다. 상기 펜 센서는 예를 들면, 상기 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 상기 키는 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 영상 감시 시스템의 기준 객체에 대한 설정 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 영상 감시 시스템(100)에 포함된 영상 처리 장치(130)의 프로세서(133)는 동작 310에서, 통신 모듈(131)을 통해 카메라 장치(110)로부터 촬영된 영상을 수신할 수 있다.

동작 330에서, 상기 프로세서(133)는 수신된 촬영 영상을 분석할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 영상을 구성하는 복수의 프레임들 각각에 대하여 객체의 검출, 인식, 및 추적 등의 기능을 수행할 수 있다. 객체의 검출, 인식, 및 추적 등의 기능 수행 방법은 도 1 및 도 2에 전술한 바와 동일하기 때문에 이하의 설명에서는 생략하도록 한다.

상기 프레임들에서의 객체의 검출, 인식, 및 추적 등의 기능 수행 후, 동작 350에서, 상기 프로세서(133)는 위치가 고정된 객체를 기준 객체로 설정할 수 있다. 이 때, 상기 위치가 고정된 객체는, 상기 프레임들 중 특정 프레임 이후에 고정된 위치에 지속적으로 있게 되는 객체를 포함할 수 있다. 또한, 상기 위치가 고정된 객체는, 움직임이 없는 객체가 아니라 이동하지 않는 객체를 말하는 것으로, 식물 등이 바람에 의해 움직이는 것이나 출입문이 개폐되는 동작에서 움직이는 것 등은 위치가 고정된 객체로 설정될 수 있다.

동작 370에서, 상기 프로세서(133)는 상기 기준 객체에 대한 정보를 제1 메모리(135)에 저장할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 기준 객체가 상기 영상에서 차지하는 영역에 대한 정보를 상기 제1 메모리(135)에 저장할 수 있다. 상기 영역에 대한 정보는 예를 들어, 상기 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보(예: RGB 값, 휘도 값 등)를 포함할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 영상 감시 시스템의 감시 대상 객체를 포함하는 영상의 압축 및 저장 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 영상 감시 시스템(100)에 포함된 영상 처리 장치(130)의 프로세서(133)는 동작 410에서, 통신 모듈(131)을 통해 카메라 장치(110)로부터 촬영된 영상을 수신할 수 있다.

동작 420에서, 상기 프로세서(133)는 수신된 촬영 영상을 분석할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 영상을 구성하는 복수의 프레임들 각각에 대하여 객체의 검출, 인식, 및 추적 등의 기능을 수행할 수 있다. 객체의 검출, 인식, 및 추적 등의 기능 수행 방법은 도 1 및 도 2에 전술한 바와 동일하기 때문에 이하의 설명에서는 생략하도록 한다.

상기 프레임들에서의 객체의 검출, 인식, 및 추적 등의 기능 수행 후, 동작 430에서, 상기 프로세서(133)는 도 3의 동작들 수행 결과로 설정된 기준 객체 외에 신규 객체가 존재하는지를 판단할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 카메라 장치(110)가 촬영하는 공간 또는 지역 내에 상기 기준 객체들 외에 신규 객체가 들어왔는지를 판단할 수 있다. 일 예로, 상기 프로세서(133)는 상기 프레임들에서 검출된 객체들 중 상기 기준 객체에 매칭되는 객체들 외에 나머지 객체가 있는 경우, 상기 나머지 객체를 신규 객체로 판단할 수 있다.

상기 신규 객체가 존재하는 경우, 동작 440에서, 상기 프로세서(133)는 상기 신규 객체에 대한 움직임 패턴을 확인할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 프레임들에서 상기 신규 객체가 차지하는 영역의 위치 변화를 판단할 수 있다.

동작 450에서, 상기 프로세서(133)는 상기 신규 객체의 위치가 고정되었는지를 판단할 수 있다. 일 예로, 상기 프로세서(133)는 어느 하나의 프레임에서 상기 신규 객체가 차지하는 영역의 위치와 다른 하나의 프레임에서 상기 신규 객체가 차지하는 영역의 위치와 동일한지를 판단함으로써, 상기 신규 객체의 위치가 고정되었는지를 판단할 수 있다. 예를 들어, 상기 프로세서(133)는 어느 하나의 프레임에서 상기 신규 객체가 차지하는 영역의 위치와 다른 하나의 프레임에서 상기 신규 객체가 차지하는 영역의 위치가 동일한 경우, 상기 신규 객체가 고정된 위치에 있다고 판단할 수 있고, 상기 위치들이 다른 경우, 상기 신규 객체가 고정된 위치에 있지 않다고 판단할 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는 스스로 이동할 수 있는 객체 예를 들어, 사람이나 동물 등을 나타내는 객체, 및 사람에 의해 이동 가능한 객체 예를 들어, 차량이나 드론 등을 나타내는 객체를 제외한 객체들이 어느 시점 이후에 위치가 고정될 수 있는 것을 감안하여, 상기 프레임들 중 특정 프레임 이후에 고정된 위치에 지속적으로 있게 되는 객체도 고정된 위치에 있는 객체로 판단할 수 있다.

상기 신규 객체가 고정된 위치에 있는 객체라고 판단되면, 동작 460에서, 상기 프로세서(133)는 상기 신규 객체를 기준 객체로 설정할 수 있다. 다만, 상기 신규 객체가 기존에 설정된 기준 객체와는 다른 객체이기 때문에, 이에 대한 설정을 제1 메모리(135)에 저장할 필요가 있다. 이에 따라, 동작 470에서, 상기 프로세서(133)는 새롭게 설정된 상기 기준 객체(신규 객체)에 대한 정보를 상기 제1 메모리(135)에 저장할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 기준 객체(신규 객체)가 상기 영상에서 차지하는 영역에 대한 정보를 상기 제1 메모리(135)에 저장할 수 있다. 상기 영역에 대한 정보는 예를 들어, 상기 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보(예: RGB 값, 휘도 값 등)를 포함할 수 있다.

또한, 상기 프로세서(133)는 상기 신규 객체가 새롭게 상기 기준 객체로 설정되었음을 사용자에게 알리기 위해, 상기 신규 객체가 포함된 프레임들을 압축하여 제2 메모리(137)에 임시로 저장할 수 있다. 이 경우, 상기 제2 메모리(137)에 상기 신규 객체가 포함된 압축 영상이 저장된 시점으로부터 지정된 시간이 경과되면, 상기 프로세서(133)는 상기 압축 영상을 상기 제2 메모리(137)에서 삭제할 수 있다. 또는, 상기 프로세서(133)는 상기 사용자 입력 장치(170)를 통해 사용자로부터 상기 압축 영상에 대한 삭제 요청이 있기 전까지 상기 압축 영상에 대한 저장을 유지할 수도 있다.

상기 신규 객체가 고정된 위치에 있지 않고 이동하는 객체라고 판단되면, 동작 480에서, 상기 프로세서(133)는 상기 신규 객체를 감시 대상 객체로 설정할 수 있다.

동작 490에서, 상기 프로세서(133)는 상기 감시 대상 객체를 포함하는 영상(프레임들)을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 일 예로, 상기 프로세서(133)는 상기 제1 메모리(135)에 저장된 기준 객체에 대한 정보들을 기반으로 상기 감시 대상 객체를 포함하는 영상을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 상기 프로세서(133)는 상기 영상을 구성하는 복수의 프레임들 중 상기 감시 대상 객체가 존재하는 프레임들을 상기 기준 객체에 대한 정보들을 기반으로 압축하여 상기 제1 메모리(135)에 저장할 수 있다.

이를 보다 상세히 하면, 상기 감시 대상 객체가 존재하는 프레임들을 압축하는 과정에서, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역만을 압축하여 저장할 수 있다. 예컨대, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보 등을 이용하여 상기 감시 대상 객체가 존재하는 프레임들을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 즉, 상기 감시 대상 객체가 존재하는 프레임들은 상기 감시 대상 객체에 대한 정보 및 상기 기준 객체들 중 상기 감시 대상 객체와 중첩된 위치에 있는 기준 객체들에 대한 정보만을 포함하여 압축될 수 있다. 이에 따라, 상기 제1 메모리(135)의 저장 공간이 효율적으로 관리될 수 있다.

도 5는 본 발명의 일 실시 예에 따른 영상 감시 시스템의 기준 객체 및 감시 대상 객체를 구분하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 카메라 장치(110)는 감시가 필요한 특정 공간이나 지역을 촬영하기 위해 구조물의 벽체 또는 천정에 설치되어 상기 특정 공간이나 지역에 대한 정지 영상 및 동영상을 촬영할 수 있다. 또한, 영상 처리 장치(130)의 프로세서(133)는 상기 카메라 장치(110)를 통해 촬영된 영상을 분석하여 위치가 고정된 기준 객체 및 위치가 고정되지 않고 이동하는 감시 대상 객체를 구분할 수 있다.

위치가 고정된 기준 객체는 예를 들어, 특정 위치에서 움직임이 전혀 없이 고정된 객체, 특정 위치에서 이동하지 않고 움직임만 있는 객체, 및 사람에 의해 이동 가능하지만 어느 시점 이후부터 현재까지 위치가 고정되어 이동하지 않는 객체 등을 포함할 수 있다. 특정 위치에서 움직임이 전혀 없이 고정된 객체는 예를 들어, 기둥, 벽면(511, 512), 도로, 또는 바닥 등이 될 수 있고, 특정 위치에서 이동하지 않고 움직임만 있는 객체는 예를 들어, 출입문(515) 등이 될 수 있고, 사람에 의해 이동 가능하지만 어느 시점 이후부터 현재까지 위치가 고정되어 이동하지 않는 객체는 예를 들어, 탁자(513) 또는 화분(514) 등이 될 수 있다. 이 외에 위치가 고정되지 않고 이동하는 감시 대상 객체는 예를 들어, 사람(516)이나 동물 등이 될 수 있다.

도 6은 본 발명의 일 실시 예에 따른 영상 감시 시스템의 영상 압축 및 저장 방법을 설명하기 위한 화면 예시도이다.

도 6을 참조하면, 영상 처리 장치(130)의 프로세서(133)는 카메라 장치(110)를 통해 촬영된 영상을 분석하여, 위치가 고정된 기준 객체와 위치가 고정되지 않고 이동하는 감시 대상 객체를 구분하고, 상기 기준 객체에 대한 정보를 기반으로 상기 감시 대상 객체를 포함하는 영상을 압축하여 저장할 수 있다.

이를 보다 상세히 하면, 상기 프로세서(133)는 제1 시점에 촬영된 제1 프레임(601)에서 위치가 고정된 기준 객체들을 설정할 수 있다. 예를 들어, 상기 프로세서(133)는 특정 위치에서 움직임이 전혀 없이 고정된 벽면을 나타내는 객체(611), 바닥을 나타내는 객체(613), 및 도로를 나타내는 객체(614), 특정 위치에서 이동하지 않고 움직임만 있는 출입문을 나타내는 객체(612), 사람에 의해 이동 가능하지만 어느 시점 이후부터 현재까지 위치가 고정되어 이동하지 않는 화분을 나타내는 객체(615, 616), 및 맨홀을 나타내는 객체(617)를 상기 기준 객체로 설정할 수 있다. 또한, 상기 프로세서(133)는 설정된 상기 기준 객체에 대한 정보를 제1 메모리(135)에 저장할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 기준 객체가 상기 영상에서 차지하는 영역에 대한 정보를 상기 제1 메모리(135)에 저장할 수 있다. 상기 영역에 대한 정보는 예를 들어, 상기 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보(예: RGB 값, 휘도 값 등)를 포함할 수 있다.

이 후, 상기 프로세서(133)는 상기 제1 시점보다 늦은 시점인 제2 시점에 촬영된 제2 프레임(603)에서 상기 기준 객체들 외의 신규 객체의 존재를 확인할 수 있다. 예를 들어, 도로를 건너 출입문을 향해 걸어오는 사람을 나타내는 객체(631, 633)가 상기 제2 프레임(603)에 등장할 수 있다. 이 경우, 상기 프로세서(133)는 상기 신규 객체에 대한 움직임 패턴을 확인할 수 있다. 예컨대, 상기 프로세서(133)는 상기 제2 프레임(603)에서 상기 사람을 나타내는 객체(631)가 차지하는 영역의 위치와 상기 제2 시점보다 늦은 시점인 제3 시점에 촬영된 제3 프레임(605)에서 상기 사람을 나타내는 객체(633)가 차지하는 영역의 위치가 다른 지를 판단할 수 있다.

상기 신규 객체(631, 633)가 고정된 위치에 있지 않고 이동하는 객체라고 판단되면, 상기 프로세서(133)는 상기 신규 객체(631, 633)를 감시 대상 객체로 설정할 수 있다. 또한, 상기 프로세서(133)는 상기 감시 대상 객체를 포함하는 영상(프레임들(603, 605))을 압축하여 상기 제1 메모리(135)에 저장할 수 있다.

이를 보다 상세히 하면, 상기 감시 대상 객체가 존재하는 프레임들(603, 605)을 압축하는 과정에서, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역만을 압축하여 저장할 수 있다. 예컨대, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역의 경계점에 해당하는 픽셀들의 위치 정보, 상기 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보 등을 이용하여 상기 감시 대상 객체가 존재하는 프레임들을 압축하여 상기 제1 메모리(135)에 저장할 수 있다. 즉, 상기 감시 대상 객체가 존재하는 프레임들(603, 605)은 상기 감시 대상 객체에 대한 정보 및 상기 기준 객체들 중 상기 감시 대상 객체와 중첩된 위치에 있는 기준 객체들에 대한 정보만을 포함하여 압축될 수 있다. 예를 들어, 상기 프로세서(133)는 상기 사람을 나타내는 객체(631)에 대한 정보 및 상기 사람을 나타내는 객체(631)와 중첩된 위치에 있는 도로를 나타내는 객체(614)와 바닥을 나타내는 객체(613)에 대한 정보만을 포함하여 상기 제2 프레임(603)을 압축할 수 있다. 또한, 상기 프로세서(133)는 상기 사람을 나타내는 객체(633)에 대한 정보 및 상기 사람을 나타내는 객체(633)와 중첩된 위치에 있는 바닥을 나타내는 객체(613)와 맨홀을 나타내는 객체(617)에 대한 정보만을 포함하여 상기 제3 프레임(605)을 압축할 수 있다.

어떤 실시 예에서, 상기 프로세서(133)는 상기 감시 대상 객체가 차지하는 영역을 사각형의 영역으로 설정할 수 있다. 예컨대, 상기 프로세서(133)는 상기 제2 프레임(603)에서 상기 사람을 나타내는 객체(631)가 차지하는 영역을 포함하는 사각형의 영역(651)을 기준으로 상기 제2 프레임(603)을 압축할 수 있다. 또한, 상기 프로세서(133)는 상기 제3 프레임(605)에서 상기 사람을 나타내는 객체(633)가 차지하는 영역을 포함하는 사각형의 영역(653)을 기준으로 상기 제3 프레임(605)을 압축할 수 있다. 이에 따라, 상기 감시 대상 객체가 차지하는 영역을 나타내는 경계에 곡선부가 있거나 돌출부가 있는 경우에, 해당 부분에 대한 영상 데이터 처리량이 감소되어 결과적으로 영상 압축 속도가 향상되고 전력 소비량이 감소되는 효과를 가져올 수 있다.

다양한 실시 예에 따르면, 상기 프로세서(133)는 상기 기준 객체들만이 포함된 압축 영상을 제2 메모리(137)에 임시로 저장할 수 있다. 예를 들어, 상기 프로세서(133)는 상기 제1 프레임(601)에 대한 압축 영상을 상기 제2 메모리(137)에 임시로 저장할 수 있다. 또한, 상기 프로세서(133)는 상기 제2 메모리(137)에 상기 제1 프레임(601)에 대한 압축 영상이 저장된 시점으로부터 지정된 시간이 경과되면, 상기 제1 프레임(601)에 대한 압축 영상을 상기 제2 메모리(137)에서 삭제할 수 있다. 또는, 상기 프로세서(133)는 상기 사용자 입력 장치(170)를 통해 사용자로부터 상기 제1 프레임(601)에 대한 압축 영상의 삭제 요청이 있기 전까지 상기 압축 영상에 대한 저장을 유지할 수도 있다.

본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

100: 영상 감시 시스템 110: 카메라 장치
130: 영상 처리 장치 131: 통신 모듈
133: 프로세서 135: 제1 메모리
137: 제2 메모리 150: 디스플레이 장치
170: 사용자 입력 장치

Claims (10)

1. 영상 감시 시스템에 있어서,
   구조물의 벽체 또는 천정에 설치되어 특정 공간에 대한 영상을 촬영하는 카메라 장치(110);
   상기 카메라 장치(110)로부터 촬영된 영상을 수신하고 수신된 영상을 분석, 압축 및 저장하는 영상 처리 장치(130);
   상기 영상 처리 장치(130)와 전기적으로 연결되어 상기 영상 처리 장치(130)를 통해 처리된 영상을 출력하는 디스플레이 장치(150); 및
   상기 영상 처리 장치(130)와 전기적으로 연결되고 사용자의 입력을 수신하는 사용자 입력 장치(170)를 포함하고,
   상기 영상 처리 장치(130)는,
   상기 카메라 장치(110), 상기 디스플레이 장치(150), 및 상기 사용자 입력 장치(170)와 상기 영상 처리 장치(130) 간의 통신을 설정하는 통신 모듈(131);
   프로세서(133);
   제1 메모리(135); 및
   제2 메모리(137)를 포함하고,
   상기 프로세서(133)는,
   상기 통신 모듈(131)을 통해 상기 카메라 장치(110)로부터 영상을 수신하고,
   상기 영상을 구성하는 복수의 프레임들을 분석하여 상기 프레임들 중 제1 프레임들에서 위치가 고정된 기준 객체를 검출하고, 상기 프레임들 중 제2 프레임들에서 위치가 고정되지 않고 이동하는 감시 대상 객체를 검출하고,
   상기 기준 객체에 대한 정보를 상기 제1 메모리(135)에 저장하고,
   상기 기준 객체에 대한 정보를 기반으로 상기 감시 대상 객체를 포함하는 상기 제2 프레임들을 압축하여 상기 제1 메모리(135)에 저장하고,
   상기 프로세서(133)는,
   상기 제1 프레임들 각각에서 특징점들을 추출하고,
   상기 제1 프레임들 중 제3 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제1 특징점들을 제1 그룹으로 묶고 상기 제1 그룹을 구성하는 상기 제1 특징점들이 차지하는 영역을 제1 객체가 차지하는 제1 영역으로 설정하고,
   상기 제1 프레임들 중 상기 제3 프레임의 이후에 촬영된 제4 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제2 특징점들을 제2 그룹으로 묶고 상기 제2 그룹을 구성하는 상기 제2 특징점들이 차지하는 영역을 제2 객체가 차지하는 제2 영역으로 설정하고,
   상기 제1 객체의 속성 및 상기 제2 객체의 속성을 기반으로 상기 제1 객체 및 상기 제2 객체가 동일한 종류의 객체인지를 판단하고,
   상기 제1 객체와 상기 제2 객체가 동일한 종류의 객체인 경우, 상기 제1 객체 및 상기 제2 객체를 매칭시키고,
   상기 제1 영역의 위치와 상기 제2 영역의 위치가 동일한 경우, 상기 제1 객체 또는 상기 제2 객체를 상기 기준 객체로 설정하며,
   상기 프로세서(133)는,
   상기 제1 객체 및 상기 제2 객체가 동일한 종류의 객체이면서, 상기 제1 영역 및 상기 제2 영역이 일부분에서 서로 중첩되고, 상기 제1 영역의 형상과 상기 제2 영역의 형상이 서로 다른 경우, 상기 제1 객체 또는 상기 제2 객체를 상기 기준 객체로 더 설정하고,
   상기 프로세서(133)는,
   상기 제1 프레임들 중 상기 제4 프레임의 이후에 촬영된 복수의 제5 프레임들 각각에서 추출된 특징점들의 분포 상태를 기반으로 상기 제5 프레임들 각각에서 지정된 이격 거리 내에 존재하는 제3 특징점들을 제3 그룹들로 묶고 상기 제3 그룹들을 구성하는 상기 제3 특징점들이 차지하는 영역들을 제3 객체들이 차지하는 제3 영역들로 설정하고,
   상기 제1 객체, 상기 제2 객체 및 상기 제3 객체들이 동일한 종류의 객체이면서, 상기 제1 영역의 위치와 상기 제2 영역의 위치가 상이하고, 상기 제2 영역의 위치 및 상기 제3 영역들의 위치가 동일한 경우, 상기 제3 객체들 중 어느 하나의 객체를 상기 기준 객체로 더 설정하는 것을 특징으로 하는 영상 감시 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 프로세서(133)는,
   상기 제2 프레임들 각각에서 특징점들을 추출하고,
   상기 제2 프레임들 중 제6 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제4 특징점들을 제4 그룹으로 묶고 상기 제4 그룹을 구성하는 상기 제4 특징점들이 차지하는 영역을 제4 객체가 차지하는 제4 영역으로 설정하고,
   상기 제2 프레임들 중 상기 제6 프레임의 이후에 촬영된 제7 프레임에서 추출된 특징점들의 분포 상태를 기반으로 지정된 이격 거리 내에 존재하는 제5 특징점들을 제5 그룹으로 묶고 상기 제5 그룹을 구성하는 상기 제5 특징점들이 차지하는 영역을 제5 객체가 차지하는 제5 영역으로 설정하고,
   상기 제4 객체의 속성 및 상기 제5 객체의 속성을 기반으로 상기 제4 객체 및 상기 제5 객체가 동일한 종류의 객체인지를 판단하고,
   상기 제4 객체와 상기 제5 객체가 동일한 종류의 객체인 경우, 상기 제4 객체 및 상기 제5 객체를 매칭시키고,
   상기 제4 영역의 위치와 상기 제5 영역의 위치가 동일하지 않은 경우, 상기 제4 객체를 상기 감시 대상 객체로 설정하는 것을 특징으로 하는 영상 감시 시스템.
6. 청구항 1에 있어서,
   상기 프로세서(133)는,
   상기 제2 프레임들을 압축하는 과정에서, 상기 제2 프레임들에서 상기 감시 대상 객체가 차지하는 영역만을 압축하는 것을 특징으로 하는 영상 감시 시스템.
7. 청구항 6에 있어서,
   상기 프로세서(133)는,
   상기 감시 대상 객체가 차지하는 영역의 경계점에 해당하는 픽셀들의 위치 정보, 및 상기 감시 대상 객체가 차지하는 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보를 이용하여 상기 제2 프레임들에서 상기 감시 대상 객체가 차지하는 영역만을 압축하는 것을 특징으로 하는 영상 감시 시스템.
8. 청구항 7에 있어서,
   상기 프로세서(133)는,
   상기 감시 대상 객체가 차지하는 영역에 상기 감시 대상 객체와 상기 기준 객체가 중첩된 영역이 포함되는 경우, 상기 중첩된 영역에 포함된 상기 기준 객체에 대한 정보를 포함하여 상기 감시 대상 객체가 차지하는 영역을 압축하고,
   상기 기준 객체에 대한 정보는,
   상기 제2 프레임들에서 상기 기준 객체가 차지하는 영역 중 상기 중첩된 영역의 경계점에 해당하는 픽셀들의 위치 정보, 및 상기 기준 객체의 상기 중첩된 영역 내에 포함되는 픽셀들에서의 영상 데이터 정보를 포함하는 것을 특징으로 하는 영상 감시 시스템.
9. 청구항 6에 있어서,
   상기 프로세서(133)는,
   상기 감시 대상 객체가 차지하는 영역을 상기 감시 대상 객체가 차지하는 영역을 포함하는 사각형의 영역으로 설정하는 것을 특징으로 하는 영상 감시 시스템.
10. 청구항 1에 있어서,
    상기 프로세서(133)는,
    상기 제1 프레임들을 압축하여 상기 제2 메모리(137)에 저장하고,
    상기 제2 메모리(137)에 상기 제1 프레임들에 대한 압축 영상이 저장된 시점으로부터 지정된 시간이 경과되면, 상기 제1 프레임들에 대한 압축 영상을 상기 제2 메모리(137)에서 삭제하거나,
    상기 사용자 입력 장치(170)를 통해 사용자로부터 상기 제1 프레임들에 대한 압축 영상의 삭제 요청이 수신되면, 상기 제1 프레임들에 대한 압축 영상을 상기 제2 메모리(137)에서 삭제하는 것을 특징으로 하는 영상 감시 시스템.
    

Images