KR20230026061A - 지능형 정보처리를 고려한 영상 감시 시스템 - Google Patents

Abstract

본 발명은 지능형 정보처리를 고려한 영상 감시 시스템에 관한 것으로, 영상에 대한 지능형 정보처리를 수행하여 해당 영상과 지능형 정보처리 결과를 메타데이터로 저장매체에 저장할 경우, 상기 메타데이터를 영상이 저장되는 전체 저장영역의 전단 혹은 각 영상의 프레임이 저장되는 개별 저장영역의 각 전단에 고정된 크기의 저장영역을 형성하여 저장할 수 있도록 하고, 상기 메타데이터의 목록을 통해서 원하는 영상(혹은 프레임)을 액세스하고자 하는 경우, 상기 메타데이터가 저장된 저장영역만을 먼저 스캐닝하여 상기 원하는 영상을 액세스할 수 있도록 구현함으로서, 상기 영상이 저장된 저장매체에 대한 불필요한 스캐닝을 배재하여 상기 저장매체의 수명단축을 방지하고 영상의 액세스 시간을 현저하게 단축시킬 수 있도록 하는 시스템에 관한 것이다.

Description

지능형 정보처리를 고려한 영상 감시 시스템{SYSTEM FOR IMAGE SURVEILLANCE CONSIDERING INTELLIGENT INFORMATION PROCESSING}

본 발명은 지능형 정보처리를 고려한 영상 감시 시스템에 관한 것으로, 더욱 상세하게는 영상에 대한 지능형 정보처리를 수행하여 해당 영상과 지능형 정보처리 결과를 메타데이터로 저장매체에 저장할 경우, 상기 메타데이터를 영상이 저장되는 전체 저장영역의 전단 혹은 각 영상의 프레임이 저장되는 개별 저장영역의 각 전단에 고정된 크기의 저장영역을 형성하여 저장할 수 있도록 하고, 상기 메타데이터의 목록을 통해서 원하는 영상(혹은 프레임)을 액세스하고자 하는 경우, 상기 메타데이터가 저장된 저장영역만을 먼저 스캐닝하여 상기 원하는 영상을 액세스할 수 있도록 구현함으로서, 상기 영상이 저장된 저장매체에 대한 불필요한 스캐닝을 배재하여 상기 저장매체의 수명단축을 방지하고 영상의 액세스 시간을 현저하게 단축시킬 수 있도록 하는 시스템에 관한 것이다.

최근 범죄예방, 시설관리, 교통안전 등을 위한 다양한 목적으로 CCTV를 포함한 영상 감시 장치가 보급화되고 있으며, 영상 감시를 통해 생성되는 데이터의 양도 폭발적으로 증가하고 있다.

한편, 과거의 영상 감시 장치는 CCTV를 통해 촬영한 영상을 보안요원 등이 실시간으로 모니터링하는 것이 일반적이었으나, 최근에는 영상 감시 장치에 영상분석 수단을 탑재하고, 영상분석 수단을 통해 영상 감시 장치에서 촬영한 영상을 분석하여 모니터링하는 지능형 영상 감시 장치가 개발되어 상용화되고 있다. 따라서 영상과 영상의 분석결과를 효율적으로 저장하고 관리해야할 필요성이 대두되고 있다.

그러나 종래의 지능형 영상 감시 장치는 분석결과와 영상을 저장매체에 대한 별도의 저장영역에 따로 저장하기 때문에 물리적으로나 논리적으로 상기 저장매체에서 수많은 조각화(fragmentation)가 발생하여 저장매체의 수명에 영향을 미치는 문제점이 있고, 동일한 영상에 대해 새로운 분석결과가 생성되는 경우에도 상기 저장매체의 또 다른 저장영역에 별도로 저장하기 때문에 각 분석결과와 영상을 동기화하여 관리하는데 매우 어려운 문제점이 있다.

또한 종래의 지능형 영상 감시 장치는 특정 영상에 대한 액세스가 필요한 경우, 저장매체에 저장된 모든 영상을 스캐닝해야 되므로, 상기 저장매체에 저장된 영상이 매우 많으면 특정 영상에 대핸 액세스 시간이 현저하게 느려지는 문제점이 있다.

이에 따라 본 발명에서는 종래의 지능형 영상 감시 장치의 문제점을 해결하기 위해 지능형 엔진을 탑재하여 영상에 대한 지능형 정보처리를 수행하도록 하고, 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터와 해당 영상을 저장매체에 저장할 때, 해당 영상이 저장되는 저장영역의 전단에 메타데이터를 저장하기 위한 고정된 크기의 저장영역을 구성하거나, 해당 영상의 각 프레임이 저장되는 저장영역의 각 전단에 메타데이터를 저장하기 위한 고정된 크기의 저장영역을 구성하여 상기 메타데이터를 저장하도록 구현함으로써 언제든지 메타데이터를 저장 혹은 업데이트할 수 있도록 하고, 특정 영상에 대한 액세스시 적은 용량의 메타데이터가 저장된 저장영역만 스캐닝함으로써 해당 영상에 엑세스하기 위한 시간을 현저하게 단축시킬 수 있도록 함과 동시에 저장매체의 수명을 단축시키지 않도록 하는 방안을 제안하고자 한다.

아울러 본 발명은 메타데이터가 저장되는 저장영역은 저장매체에 고정된 크기로 구성되기 때문에 메타데이터의 업데이트, 오버라이트 등으로 인한 저장매체의 조각화를 방지하여 저장매체의 수명을 단축시키지 않으면서 영상과 메타데이터를 효율적으로 저장 및 관리할 수 있도록 하며, 메타데이터와 영상을 별도로 동기화하지 않고서도 해당 영상과 메타데이터를 저장, 관리, 전송할 수 있도록 하는 방안을 제안하고자 한다.

또한 본 발명은 지능형 엔진을 탑재하지 않은 영상 감시 장치에 가상 엔진을 구성하고, 가상 엔진을 통해 지능형 엔진을 탑재한 영상 감시 장치의 지능형 엔진을 공유하도록 하여, 지능형 엔진을 탑재하지 않은 영상 감시 장치도 지능형 엔진을 탑재한 영상 감시 장치처럼 동작할 수 있도록 하는 방안을 제안하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1967343호(2019.04.03.)는 대용량 영상 데이터 분석을 위한 객체 정보 저장 및 관리 장치에 관한 것으로, 영상 데이터로부터 추출된 객체에 대한 궤적정보를 포함하는 메타데이터와 영상 데이터를 별도의 저장소에 저장하는 대용량 영상 데이터 분석을 위한 객체 정보 저장 및 관리 장치에 관한 것이다.

상기 선행기술은 객체가 나타난 영상의 시작 프레임과 종료 프레임 번호 및 객체에 대한 궤적정보를 포함하는 메타데이터와 영상 데이터를 별도의 저장소에 저장하기 때문에 영상 데이터에 액세스 하고자 하는 경우, 메타데이터가 저장된 저장소에 해당 영상 데이터에 대한 메타데이터를 검색하여 프레임 번호를 획득하고, 이후 다시 영상 데이터가 저장된 저장소에 상기 획득한 프레임 번호로 해당 영상 데이터를 검색해야하는 2단계 검색과정이 필요한 불편함이 있으며 이에 따라 영상 데이터의 액세스 소요시간이 오래 걸리는 문제점이 있다.

또한 한국등록특허 제1585326호(2016.01.07.)는 선별된 프레임을 고해상도로 저장하는 비디오 레코딩 시스템 및 동작 방법에 관한 것으로, 카메라를 통해 촬영한 영상의 각 프레임에서 사전에 설정된 이벤트(예: 차량 감지)가 발생한 것이 감지되면 해당 프레임을 고해상도의 이미지 파일로 저장하며, 이벤트가 발생하지 않은 경우 해당 영상을 저해상도의 동영상 파일로 저장하는 선별된 프레임을 고해상도로 저장하는 비디오 레코딩 시스템 및 동작 방법에 관한 것이다.

상기 선행기술은 이벤트가 발생한 프레임에 액세스하는 경우 선별된 프레임만 스캐닝하면 되는 것이나, 결국 저장소에 저장한 선별된 모든 프레임을 스캐닝해야 되는 것으로, 상기 액세스에 많은 시간이 소요되는 문제점이 있다.

상기에서 설명한 것과 같이, 상기 선행기술들은 영상데이터를 저장하는 기술적 특성을 기재하고 있으나, 본 발명에서 제안하고 있는 영상을 분석한 분석결과인 메타데이터를 저장하기 위한 저장영역은 영상이 저장되는 저장영역의 전단 혹은 영상의 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기로 형성하여 저장함으로써 상기 메타데이터를 언제든지 저장할 수 있도록 하며, 특정 영상을 액세스하고자 하는 경우 적은 용량의 상기 메타데이터만가 저장된 저장영역만을 먼저 스캐닝함으로써 해당 영상에 효과적으로 액세스하도록 하여 저장매체에 대한 불필요한 스캐닝을 배제하여 저장매체의 수명을 단축시키지 않도록 하는 기술적 특징에 대해서 기재하거나 시사 혹은 그 어떠한 암시도 없다는 점에서 본 발명과 현저한 차이점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 지능형 엔진을 통해 영상을 분석하고 분석한 결과인 메타데이터와 해당 영상을 저장매체에 저장할 때, 해당 영상의 전체가 저장되는 저장영역의 전단, 해당 영상의 각 프레임이 저장되는 저장영역의 전단 또는 이들의 조합에 메타데이터를 저장하기 위한 고정된 크기의 메타데이터 저장영역을 형성하여 상기 메타데이터와 상기 영상을 저장함으로써, 상기 영상과 메타데이터를 효율적으로 저장하고 관리할 수 있도록 하는 지능형 정보처리를 고려한 영상 감시 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.

또한 본 발명은 메타데이터 저장영역을 형성함으로서 언제든지 메타데이터를 저장, 업데이트하거나 오버라이트(overwrite)할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 특정 영상에 액세스하고자 하는 경우, 메타데이터 저장영역만을 스캐닝하는 것만으로도 상기 특정 영상에 액세스하는 것이 가능하도록 구현하여 저장매체에 대한 불필요한 스캐닝을 배제함으로써 저장매체의 수명단축을 방지하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 메타데이터와 영상을 별도의 저장영역에 각각 저장함에 따라 발생될 수 있는 조각화(fragmentation)를 방지하여 저장매체의 수명단축을 방지하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 저장매체에 메타데이터와 영상이 저장되는 구조만 알고 있으면 상기 영상을 활용하는 또 다른 시스템에서도 별도로 상기 메타데이터와 영상을 동기화할 필요 없이 수신, 전송, 저장을 포함하여 상기 메타데이터와 영상을 효율적으로 관리할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 지능형 엔진을 탑재하지 않은 영상 감시 장치의 가상 엔진을 통해 상기 지능형 엔진의 동작을 시간적으로 시분할하여 공유할 수 있도록 함으로써 상기 영상 감시 장치가 지능형 엔진을 탑재한 영상 감시 장치처럼 동작할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템은 적어도 하나 이상의 감시영역을 촬영한 영상에 대한 지능형 정보처리를 고려하여 상기 영상을 저장매체에 저장하도록 제어하는 저장 제어 모듈 및 상기 영상과 상기 영상에 대한 지능형 정보처리 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 전송하는 전송 모듈을 포함하며, 상기 저장매체에 상기 메타데이터를 저장하기 위한 고정된 크기의 메타데이터 저장영역을 상기 영상별로 적어도 하나 이상으로 형성하여 상기 메타데이터의 생성 시점과 상관없이 언제든지 저장할 수 있도록 하는 것을 특징으로 한다.

또한 상기 저장 제어 모듈은, 상기 촬영한 영상별로 영상의 각 프레임을 촬영한 순서대로 상기 저장매체에 순차적으로 저장하도록 제어하며, 상기 촬영한 영상별로 영상의 각 프레임을 저장할 때, 상기 각 영상별로 프레임 전체가 저장되는 저장영역의 전단 혹은 상기 영상별로 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기로 상기 메타데이터 저장영역을 각각 형성하도록 제어하는 것을 특징으로 한다.

또한 상기 영상 감시 시스템은, 사전에 설정한 학습모델을 통해 상기 촬영한 각 영상에 대한 지능형 정보처리를 실시간으로 수행하여 사람, 차량, 동물, 차량번호, 안면 또는 이들의 조합에 대한 객체를 인식한 결과인 메타데이터를 생성하는 지능형 엔진을 더 포함하며, 상기 저장 제어 모듈은, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 생성한 메타데이터를 각각 저장하며, 상기 메타데이터는, 상기 객체를 인식한 결과인 객체의 클래스정보, 상기 인식한 객체가 존재하는 프레임 번호, 상기 인식한 객체가 프레임 내에서 위치하는 좌표정보, 상기 객체를 인식한 결과에 대한 신뢰성 정보 또는 이들의 조합을 포함하는 지능형 정보로 구성되는 것을 특징으로 한다.

또한 상기 지능형 엔진은, 상기 촬영한 각 영상에 대한 추가적인 지능형 정보처리가 필요한 경우, 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템의 지능형 엔진으로 해당 지능형 정보처리를 요청하여, 해당 지능형 정보처리 결과인 새로운 메타데이터를 수신하는 것을 더 포함하며, 상기 저장 제어 모듈은, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 수신한 새로운 메타데이터를 추가하거나 업데이트하여 저장하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 영상 감시 시스템은, 상기 저장매체에 저장된 특정 영상 혹은 프레임에 대한 액세스를 수행하는 액세스 모듈을 더 포함하며, 상기 액세스 모듈은, 상기 형성한 메타데이터 저장영역만을 스캐닝하여 상기 특정 영상 혹은 프레임에 대한 메타데이터가 검색되면 상기 검색된 메타데이터, 상기 특정 영상 혹은 프레임 또는 이들의 조합을 로딩하여 관제서버, 관리자 단말 또는 이들의 조합으로 제공하거나 플레이백(play back)하는 것을 특징으로 한다.

또한 상기 영상 감시 시스템은, 상기 촬영한 영상이 지능형 엔진을 통해 사전에 등록한 적어도 하나 이상의 영상 감시 장치의 가상 엔진으로부터 수신된 영상이면, 상기 지능형 엔진의 동작을 시분할하여 상기 지능형 엔진을 상기 각 가상 엔진과 공유하도록 함으로써 상기 각 가상 엔진이 상기 지능형 엔진처럼 동작하도록 하고, 상기 각 가상 엔진으로부터 수신한 영상과 상기 공유한 지능형 엔진을 통해 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 프록시 릴레이하여 제공하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 영상 감시 시스템은, 제한적인 자원(리소스)로 인해 상기 지능형 엔진에서 상기 촬영한 영상에 대한 지능형 정보처리를 실시간으로 수행하지 못하는 경우, 상기 지능형 엔진의 유휴시간(idle time)에 상기 지능형 정보처리를 수행하도록 제어하여 상기 메타데이터를 생성하도록 하고, 상기 생성한 메타데이터를 상기 메타데이터 저장영역에 추가하거나 오버라이트하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 영상 감시 시스템은, 상기 저장매체를 구비하지 않은 IP 카메라로 구현되거나 혹은 상기 IP 카메라와 상기 저장매체를 구비한 NVR(network video recorder)로 구현되며, 상기 저장 제어 모듈은, 상기 영상 감시 시스템이 IP 카메라로 구현되는 경우, 상기 적어도 하나 이상의 감시 영역을 촬영한 영상과 상기 각 영상에 대한 메타데이터를 IP 패킷으로 상기 관제서버, 관리자 단말 또는 이들의 조합으로 바로 전송하는 것을 특징으로 한다.

아울러 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 방법은 적어도 하나 이상의 감시영역을 촬영한 영상에 대한 지능형 정보처리를 고려하여 상기 영상을 저장매체에 저장하도록 제어하는 저장 제어 단계 및 상기 영상과 상기 영상에 대한 지능형 정보처리 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 전송하는 전송 단계를 포함하는 것을 특징으로 한다.

또한 상기 저장 제어 단계는, 상기 촬영한 영상별로 영상의 각 프레임을 촬영한 순서대로 상기 저장매체에 순차적으로 저장하도록 제어하며, 상기 촬영한 영상별로 영상의 각 프레임을 저장할 때, 상기 각 영상별로 프레임 전체가 저장되는 저장영역의 전단 혹은 상기 영상별로 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기로 상기 메타데이터 저장영역을 각각 형성하도록 제어하는 것을 특징으로 한다.

또한 상기 영상 감시 방법은, 지능형 엔진을 통해 사전에 설정한 학습모델을 통해 상기 촬영한 각 영상에 대한 지능형 정보처리를 실시간으로 수행하여 사람, 차량, 동물, 차량번호, 안면 또는 이들의 조합에 대한 객체를 인식한 결과인 메타데이터를 생성하는 단계를 더 포함하며, 상기 저장 제어 단계는, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 생성한 메타데이터를 각각 저장하는 것을 특징으로 한다.

또한 상기 영상 감시 방법은, 상기 촬영한 각 영상에 대한 추가적인 지능형 정보처리가 필요한 경우, 상기 지능형 엔진을 통해 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템의 지능형 엔진으로 해당 지능형 정보처리를 요청하여, 해당 지능형 정보처리 결과인 새로운 메타데이터를 수신하는 것을 더 포함하며, 상기 저장 제어 단계는, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 수신한 새로운 메타데이터를 추가하거나 업데이트하여 저장하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 영상 감시 방법은, 상기 저장매체에 저장된 특정 영상 혹은 프레임에 대한 액세스를 수행하는 액세스 단계를 더 포함하며, 상기 액세스 단계는, 상기 형성한 메타데이터 저장영역만을 스캐닝하여 상기 특정 영상 혹은 프레임에 대한 메타데이터가 검색되면 상기 검색된 메타데이터, 상기 특정 영상 혹은 프레임 또는 이들의 조합을 로딩하여 관제서버, 관리자 단말 또는 이들의 조합으로 제공하거나 플레이백(play back)하는 것을 특징으로 한다.

또한 상기 영상 감시 방법은, 상기 촬영한 영상이 지능형 엔진을 통해 사전에 등록한 적어도 하나 이상의 영상 감시 장치의 가상 엔진으로부터 수신된 영상이면, 상기 지능형 엔진의 동작을 시분할하여 상기 지능형 엔진을 상기 각 가상 엔진과 공유하도록 함으로써 상기 각 가상 엔진이 상기 지능형 엔진처럼 동작하도록 하고, 상기 각 가상 엔진으로부터 수신한 영상과 상기 공유한 지능형 엔진을 통해 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 프록시 릴레이하여 제공하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 영상 감시 방법은, 제한적인 자원(리소스)로 인해 상기 지능형 엔진에서 상기 촬영한 영상에 대한 지능형 정보처리를 실시간으로 수행하지 못하는 경우, 상기 지능형 엔진의 유휴시간(idle time)에 상기 지능형 정보처리를 수행하도록 제어하여 상기 메타데이터를 생성하도록 하고, 상기 생성한 메타데이터를 상기 메타데이터 저장영역에 추가하거나 오버라이트하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 영상 감시 방법은, 상기 저장매체를 구비하지 않은 IP 카메라에 구현되거나 혹은 상기 IP 카메라와 상기 저장매체를 구비한 NVR(network video recorder)에 구현되며, 상기 저장 제어 단계는, 상기 영상 감시 시스템이 IP 카메라로 구현되는 경우, 상기 적어도 하나 이상의 감시 영역을 촬영한 영상과 상기 각 영상에 대한 메타데이터를 IP 패킷으로 상기 관제서버, 관리자 단말 또는 이들의 조합으로 바로 전송하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 지능형 정보처리를 고려한 영상 감시 시스템 및 그 방법은 영상을 분석한 메타데이터를 영상과 함께 저장매체 저장할 때, 상기 메타데이터를 해당 영상의 전단 혹은 영상의 각 프레임의 전단에 저장함으로써 저장매체의 수명단축을 방지할 수 있도록 함과 동시에 특정 영상이나 프레임에 대한 액세스를 신속하게 수행할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상 감시 시스템에서 영상과 메타데이터를 저장하는 방법을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 또 다른 일 실시예에 따른 영상 감시 시스템에서 영상과 메타데이터를 저장하는 방법을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 감시 시스템의 프록시 기능을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 특정 영상 혹은 프레임에 액세스하는 방법을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템에서 메타데이터와 영상을 저장하는 절차를 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템의 프록시 기능을 설명하기 위해 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 특정 영상을 액세스하는 절차를 나타낸 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 지능형 정보처리를 고려한 영상 감시 시스템에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템 및 그 방법을 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템(100A, 100B)(이하, 영상 감시 시스템이라 칭함)은 지능형 엔진을 포함하여 구성되며, 상기 지능형 엔진을 통해 수행되는 적어도 하나 이상의 감시영역을 촬영한 영상에 대한 지능형 정보처리를 고려하여 상기 각 영상과 상기 지능형 정보처리 결과인 메타데이터를 저장매체에 저장하고, 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 제공하는 기능을 수행한다.

한편, 도 1에 도시한 영상 감시 시스템(100A)과 또 다른 영상 감시 시스템(100B)은 그 구성이 동일하나 지능형 엔진의 기능이 서로 다른 것(즉, 지능형 정보처리 종류가 서로 다름)으로, 이하에서는 상기 영상 감시 시스템(100A)을 중심으로 설명하도록 하며, 필요에 따라 상기 또 다른 영상 감시 시스템(100B)을 설명하도록 한다. 또한 도 1에는 영상 감시 시스템(100A, 100B)이 도시하였으나 지능형 엔진의 기능이 일부 상호 중첩되거나 서로 다른 복수의 영상 감시 시스템이 존재함은 자명하다.

이때, 영상 감시 시스템(100A)은 상기 영상 감시 시스템(100A)의 외부에 설치되는 적어도 하나 이상의 카메라와 연결되어 상기 각 카메라로부터 감시영역을 촬영한 영상을 수신하여 저장매체에 저장하는 NVR(network vided recorder)로 구현되거나 거나 혹은 IP 카메라와 저장매체를 포함하는 NVR(network video recorder)로 구현되거나, 저장매체 없이 IP 카메라로 구현될 수 있다. 이하에서는 NVR로 구현된 영상 감시 시스템(100A)에 대해서 설명하며, 저장매체 없이 IP카메라로 구현되는 영상 감시 시스템(100A)에 대해서는 필요에 따라 개별적으로 설명하도록 한다.

또한 적어도 하나 이상의 감시영역을 촬영한 영상은 영상 감시 시스템(100A)에서 자체적으로 촬영한 영상 혹은 영상 감시 시스템(100A)과 연결된 적어도 하나 이상의 카메라에서 수신되는 영상 또는 해당 영상 감시 시스템(100A)에 사전에 등록된 적어도 하나 이상의 영상 감시 장치(200)에서 각 감시영역을 촬영하여 전송한 영상 또는 이들의 조합을 포함한다.

또한 영상 감시 시스템(100A)은 감시영역을 촬영한 각 영상에 대하여 지능형 엔진을 통해 지능형 정보처리를 수행하고, 상기 수행한 지능형 정보처리 결과인 메타데이터와 해당 영상을 저장매체에 저장하며, 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 상기 메타데이터와 해당 영상을 IP패킷으로 전송하는 기능을 수행한다.

또한 영상 감시 시스템(100A) 및 영상 감시 장치(200)는 해당 영상을 저장매체 저장할 때, 해당 영상의 각 프레임을 촬영한 순서대로 순차적으로 저장한다. 이때, 영상 감시 시스템(100A) 및 영상 감시 장치(200)는 상기 영상을 저장매체 저장할 때 해당 영상에 대한 지능형 정보처리 결과인 메타데이터를 저장하기 위한 적어도 하나 이상의 메타데이터 저장영역을 고정된 크기로 형성한다.

즉, 영상 감시 시스템(100A)과 영상 감시 장치(200)는 메타데이터와 영상을 별도의 저장영역에 따로 따로 저장하도록 하는 것이 아니라, 해당 영상의 전체가 저장되는 저장영역의 전단 혹은 영상의 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기의 메타데이터 저장영역을 형성하여 상기 메타데이터를 저장할 수 있도록 하는 것이다. 또한 상기 메타데이터 저장영역은 영상을 저장할 때 형성되는 것으로, 상기 메타데이터의 생성 시점과 상관없이 형성된다.

영상 감시 시스템(100A)과 영상 감시 장치(200)는 상기 메타데이터를 해당 영상과 혹은 해당 영상의 각 프레임과 쌍으로 하여 순차적으로 저장할 수 있도록 하는 것으로, 상기 영상과 메타데이터를 저장하는 과정에 대해서는 도 2 내지 도 4를 참조하여 상세히 설명하도록 한다.

또한 영상 감시 시스템(100A)은 영상을 분석하기 위한 지능형 엔진을 탑재한 영상 감시 장치를 의미 저장매체를 구비하거나 구비하지 않을 수 있다. 도 1에 도시한 영상 감시 장치(200)는 지능형 엔진을 탑재하지 않은 영상 감시 장치를 의미한다.

또한 영상 감시 장치(200)는 저장매체를 구비하지 않을 수 있다. 이때, 영상 감시 시스템(100A)은 상기 영상 감시 장치(200)로부터 감시영역을 촬영한 영상을 수신 받아 해당 영상에 대한 지능형 정보처리를 수행하여 해당 영상과 지능형 정보처리를 수행한 결과인 메타데이터를 해당 영상 감시 시스템(100A)에 구비한 저장매체에 저장할 수 있다. 이하에서는 저장매체를 구비한 영상 감시 장치(200)에 대해서 설명하며 저장매체를 구비하지 않은 영상 감시 장치(200)에 대해서는 필요에 따라 개별적으로 설명하도록 한다.

또한 지능형 엔진은 영상 감시 장치에 탑재되어 해당 영상 감시 장치를 지능형 정보처리를 고려한 영상 감시 시스템(100A)으로 구현되도록 하거나, 지능형 정보처리를 수행하기 위한 별도의 독립적인 시스템이나 플랫폼으로 구현되거나, 관제서버(300)에 구현될 수 있다.

또한 영상 감시 시스템(100A)은 지능형 엔진을 통해 영상에 대한 객체인식(혹은 객체분석)을 포함하는 지능형 정보처리를 수행하여 지능형 정보처리 결과인 메타데이터를 생성한다.

여기서 상기 지능형 정보처리는 해당 영상에 포함된 사람, 동물, 차량, 번호판, 차량번호, 불꽃, 연기, 안면 또는 이들의 조합을 포함하는 객체에 대한 객체인식을 수행하는 것을 의미하는 것으로, 사전에 설정한 인공지능 학습모델을 이용하여 수행될 수 있다. 이때, 상기 인공지능 학습모델은 사람, 차량, 동물, 번호판, 불꽃, 연기 또는 이들의 조합을 포함하는 객체에 대한 복수의 영상을 미리 학습하여 생성된 것이다. 다만 본 발명에서는 지능형 정보처리를 수행하는 방법에 대해서는 그 제한을 두지 않으며, 지능형 정보처를 수행하기 위한 다양한 방법을 이용할 수 있다.

또한 영상 감시 시스템(100A)은 지능형 엔진을 다른 영상 감시 장치(200)와 공유하여 해당 영상 감시 장치(200)에서 촬영한 영상에 대한 지능형 정보처리를 대신 수행하거나, 다른 영상 감시 장치(200)의 영상과 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 대신 전송(프록시 릴레이)하는 프록시(proxy) 기능을 탑재한다.

이를 위해 영상 감시 시스템(100A)은 내부 네트워크에 위치하는 영상 감시 장치(200), 외부 네트워크에 위치하는 영상 감시 장치(200) 또는 이들의 조합을 포함하는 적어도 하나 이상의 영상 감시 장치(200)를 사전에 등록하여 상기 각 영상 감시 장치(200)와 채널을 각각 형성한다.

또한 지능형 엔진을 공유하는 것은, 등록한 영상 감시 장치(200)에 구비된 가상 엔진을 통해 수행된다. 이때, 영상 감시 시스템(100A)은 채널을 통해 적어도 하나 이상의 영상 감시 장치(200)의 가상 엔진에서 영상과 함께 해당 영상에 대한 지능형 정보처리 요청이 수신되면 상기 각 영상에 대한 지능형 엔진의 동작을 시분할하여 각 영상에 대한 지능형 정보처리를 실시간으로 수행하여, 지능형 정보처리를 수행한 결과인 메타데이터를 IP패킷으로 상기 각 영상 감시 장치(200)로 제공한다. 이때, IP패킷은 메타데이터를 삽입하기 위한 메타데이터 필드를 포함하여 구성된다.

즉, 영상 감시 시스템(100A)은 지능형 엔진의 동작을 시분할 하는 것을 통해 상기 지능형 엔진을 각 영상 감시 장치(200)의 가상 엔진과 공유하여, 상기 가상 엔진에서 지능형 엔진과 같이 해당 영상에 대한 지능형 정보처리를 수행하는 것처럼 동작하도록 하는 것이 가능하도록 하는 것이다. 이를 통해 지능형 엔진을 탑재하지 않은 일반적인 영상 감시 장치(200)도 지능형 엔진을 탑재한 것처럼 동작하여 해당 영상 감시 장치(200)에서 촬영한 영상에 대한 지능형 정보처리를 수행할 수 있다. 이때, 상기 가상 엔진은 실제 지능형 엔진을 공유하기 위한 프로그램으로 구현될 수 있다.

다만 영상 감시 시스템(100A)에서 제한적인 자원(리소스)으로 인해 지능형 엔진을 시분할하여 감시영역을 촬영한 영상에 대한 지능형 정보처리를 실시간으로 수행하지 못하는 경우, 상기 영상 감시 시스템(100A)은 저장매체에 적어도 하나 이상의 메타데이터 저장영역을 각각 형성하여 상기 각 영상을 저장하고, 상기 지능형 엔진의 유휴시간(idle time)에 상기 저장매체에 저장한 각 영상을 추출하여 각 영상에 대한 지능형 정보처리를 수행할 수 있다. 이때, 저장매체에 형성한 메타데이터 저장영역에는 지능형 정보처리가 수행되기 전이므로 NULL데이터가 저장되며, 이후 지능형 정보처리가 수행되어 메타데이터가 생성되면 상기 형성한 각 메타데이터 저장영역에 상기 생성한 메타데이터가 저장된다. 한편, 상기 영상 감시 시스템(100A)으로 지능형 정보처리를 요청한 영상 감시 장치(200)에 대해서, 상기 영상 감시 시스템(100A)은 상기 실시간으로 지능형 정보처리를 수행하지 못할 때 우선 IP 패킷에 구성한 메타데이터 필드에 NULL데이터를 삽입하여 해당 영상 감시 장치(200)로 전송하고, 추후 메타데이터가 생성되면 상기 IP 패킷의 메타데이터 필드에 상기 생성한 메타데이터를 삽입하여 해당 영상 감시 장치(200)로 전송함으로써 해당 영상 감시 장치(200)에서 해당 영상을 저장매체에 저장할 때 형성한 메타데이터 저장영역에 상기 메타데이터를 저장할 수 있도록 한다.

또한 지능형 엔진을 공유하는 것을 통해 영상 감시 시스템(100A)으로부터 해당 영상에 대한 지능형 정보처리 결과인 메타데이터를 수신한 영상 감시 장치(200)는 사전에 메타데이터를 저장하기 위해 형성한 저장매체의 저장영역에 저장한다. 이때, 상기 메타데이터를 저장하기 위해 형성한 저장매체의 저장영역은 해당 영상을 전체적으로 저장한 저장영역의 전단 혹은 영상의 각 프레임이 순차적으로 저장된 각 저장영역의 전단에 고정된 크기로 형성됨은 상술한 바와 같다. 물론 영상 감시 장치(200)가 저장매체를 구비하지 않는 경우에는 해당 영상을 저장하지 않고 상기 영상 감시 시스템(100A)으로 해당 영상을 실시간으로 전송한다.

즉, 영상 감시 장치(200)가 저장매체를 구비한 경우에는 영상 감시 시스템(100A)으로 영상과 함께 지능형 정보처리를 요청하며, 저장매체를 구비하지 않은 경우에는 영상만 영상 감시 시스템(100A)으로 전송하여 영상 감시 시스템(100A)에 저장할 수 있도록 하는 것이다.

이처럼 메타데이터를 저장하기 위한 저장영역을 고정된 크기로 전체 영상(즉, 해당 영상)이 저장된 저장영역의 전단 혹은 각 프레임이 저장된 저장영역의 전단에 형성함으로써 메타데이터의 생성 시점과 상관없이 언제든지 저장, 추가, 업데이트하거나 오버라이트할 수 있으며, 별도의 저장영역에 메타데이터를 영상과 따로 따로 저장할 때, 해당 메타데이터의 변경에 따라 발생될 수 있는 저장매체의 조각화를 방지하여 저장매체의 수명단축을 방지할 수 있다.

또한 영상 감시 시스템(100A)은 해당 영상에 대한 추가적인 지능형 정보처리가 더 필요한 경우, 해당 지능형 정보처리를 수행하는 지능형 엔진을 탑재한 또 다른 영상 감시 시스템(100B)으로 해당 영상을 전송하여 추가적인 지능형 정보처리를 요청하도록 구현될 수 있다.

이때, 또 다른 영상 감시 시스템(100B)은 자체 구비한 지능형 엔진을 통해 지능형 정보처리를 수행한 결과인 메타데이터를 지능형 정보처리를 요청한 영상 감시 시스템(100A)으로 제공하여, 해당 메타데이터를 저장매체에 형성한 메타데이터 저장영역에 저장할 수 있도록 한다. 즉, 지능형 엔진을 탑재한 영상 감시 시스템 간에도 해당 지능형 엔진의 동작을 시분할하여 상기 지능형 엔진을 상호 공유하는 것도 가능한 것이다.

즉, 본 발명은 영상 감시 시스템마다 서로 다른 지능형 저보처리를 수행할 수 있도록 구현하여 상기 지능형 정보처리를 각 영상 감시 시스템에서 분산하여 수행할 수 있도록 하는 것이다.

또한 영상 감시 시스템(100A)은 내부 네트워크에 위치하고 사전에 등록한 적어도 하나 이상의 영상 감시 장치(200)의 영상과 메타데이터를 해당 영상 감시 장치(200)를 대신하여 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 전송하는 프록시 릴레이를 수행할 수 있다. 이때, 외부 네트워크에 위치하고 사전에 등록한 영상 감시 장치(200)는 상기 프록시 릴레이를 통해 상기 영상 감시 시스템(100A)을 통해서 해당 영상 감시 장치(200)의 영상과 메타데이터를 상기 관제서버(300), 관리자 단말(400) 또는 이들이 조합으로 전송하거나, 자체적으로 전송할 수 있다. 이때, 관제서버(300), 관리자 단말(300) 또는 이들의 조합으로 전송되는 메타데이터와 영상은 IP 패킷으로 전송되며, 해당 IP 패킷은 메타데이터가 삽입되는 메타데이터 필드와 영상(압축된 영상)이 삽입되는 영상데이터 필드를 포함하여 구성된다.

또한 영상 감시 시스템(100A)과 영상 감시 장치(200)는 저장매체에 저장한 메타데이터 목록을 제공하며, 상기 메타데이터 목록을 통해서 관제서버(300)나 관리자 단말(400)의 요청에 따라 특정 영상 혹은 프레임을 액세스하고자 하는 경우, 저장매체에 저장된 메타데이터 저장영역만을 먼저 스캐닝하여 상기 특정 영상 혹은 프레임을 액세스하도록 구현된다. 즉, 영상 감시 시스템(100A)이나 영상 감시 장치(200)는 적은 용량의 메타데이터 저장영역만을 먼저 스캐닝하여 상기 특정 영상이나 프레임을 액세스하므로, 저장매체에 저장된 모든 영상에 대한 불필요한 스캐닝을 방지하여 해당 저장매체의 수명단축을 방지할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 감시 시스템에서 영상과 메타데이터를 저장하는 방법을 설명하기 위해 나타낸 도면이며, 도 3은 본 발명의 또 다른 일 실시예에 따른 영상 감시 시스템에서 영상과 메타데이터를 저장하는 방법을 설명하기 위해 나타낸 도면이다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 감시 시스템(100A)은 영상 수신 모듈을 통해 상기 영상 감시 시스템(100A)연결된 적어도 하나 이상의 카메라로부터 수신한 각 영상을 저장하기 위한 저장 제어를 수행하여 저장매체에 해당 영상의 프레임을 촬영한 시간에 따라 순차적으로 저장한다. 다만 영상 수신 모듈은 이미지 센서를 포함하는 카메라 모듈로 대체될 수 있으며 이때 영상 감시 시스템(100A)은 IP 카메라로 구현되어 자체적으로 감시영역을 촬영한 영상을 획득하여 상기 영상과 해당 영상에 대한 메타데이터를 저장매체에 저장할 수 있다.

또한 영상 감시 시스템(100A)은 상기 수신한 영상별로 영상의 각 프레임을 저장할 때, 각 영상의 전체가 각각 저장되는 저장영역의 전단에 사전에 설정한 고정된 크기의 메타데이터 저장영역을 각각 형성한다. 이때, 메타데이터 저장영역의 크기가 가변되도록 형성되면 메타데이터의 업데이트, 오버라이트, 수정 등에 의해 상기 저장매체에 조각화가 발생될 수 있다. 이를 방지하기 위해 사전에 설정한 고정된 크기의 메타데이터 저장영역을 형성하는 것이다.

이후 영상 감시 시스템(100A)은 지능형 엔진을 통해 해당 영상에 대한 지능형 정보처리를 수행하여 메타데이터를 메타데이터 저장영역에 저장한다. 한편 복수의 영상을 저장매체에 저장하는 경우, 상기 메타데이터 저장영역은 다음의 메타데이터 저장영역에 대한 저장주소가 더 포함하여 저장된다.

한편 영상 감시 시스템(100A)은 영상에 대한 추가적인 지능형 정보처리가 필요한 경우, 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템(100B)을 상기 영상을 IP패킷으로 전송하여 지능형 정보처리를 요청한다. 이때, 지능형 정보처리를 요청받은 또 다른 영상 감시 시스템(100B)은 자신의 지능형 엔진을 통해 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 IP패킷으로 해당 영상 감시 시스템(100A)으로 제공한다.

예를 들어, 영상 감시 시스템(100A)에서 차량이나 사람을 인식하는 지능형 엔진을 탑재하고 있으나, 차량번호나 사람의 안면을 인식하기 위한 지능형 엔진을 탑재하고 있지 않은 경우, 상기 영상 감시 시스템(100A)에서 해당 영상에서 차량이나 사람이 검출되면 해당 차량의 차량번호나 사람의 안면을 추가적으로 인식하기 위해 차량번호나 사람의 안면을 인식하는 지능형 엔진을 탑재하고 있는 또 다른 영상 감시 시스템(100B)으로 상기 차량번호나 사람의 안면을 인식하는 것을 요청하는 것이다. 이를 위해서는 각 영상 감시 시스템의 지능형 엔진에서 수행하는 지능형 정보처리 기능을 서로 알 수 있도록 사전에 등록하여 관리해야 함은 자명하다.

이후, 영상 감시 시스템(100A)은 또 다른 영상 감시 시스템(100B)으로부터 지능형 정보처리를 수행한 메타데이터를 수신하면, 사전에 형성한 메타데이터 저장영역에 상기 수신한 메타데이터를 추가하여 업데이트하거나 오버라이트한다.

즉, 메타데이터 저장영역에 저장되는 메타데이터는 영상 감시 시스템(100A)의 지능형 엔진을 통해 객체를 인식한 결과인 클래스정보(예: 사람, 동물, 차량, 번호판, 차량번호, 연기, 불꽃 등), 상기 인식한 객체가 존재하는 프레임 번호가 존재하는 영상의 프레임 번호 및 해당 프레임에 상기 인식한 객체가 위치하는 좌표정보, 상기 객체를 인식한 결과에 대한 신뢰성 정보 또는 이들의 조합을 포함하는 지능형 정보, 다른 영상 감시 시스템(100B)의 지능형 엔진을 통해 지능형 정보처리를 수행한 결과인 메타데이터(즉, 지능형 정보) 또는 이들의 조합을 포함한다.

또한 지능형 엔진은 저장매체를 구비한 영상 감시 장치(200)(더욱 자세하게는 영상 감시 장치의 가상 엔진)로부터 영상을 수신하는 경우, 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 해당 영상 감시 장치(200)의 가상 엔진으로 제공하여 해당 영상 감시 장치(200)에서 상기 메타데이터를 해당 영상 감시 장치(200)의 저장매체에 형성한 메타데이터 저장영역에 저장할 수 있도록 한다.

또한 도 3에 도시한 것과 같이, 본 발명의 또 다른 일 실시예에 따른 영상 감시 시스템(100A)은 영상 수신 모듈을 통해 수신한 각 영상을 저장하기 위한 저장 제어를 수행하여 저장매체에 각 영상별로 영상의 프레임을 촬영한 시간에 따라 순차적으로 저장한다.

이때, 영상 감시 시스템(100A)은 영상의 각 프레임을 저장할 때, 영상의 각 프레임을 저장한 각 저장영역의 전단에 사전에 설정한 고정된 크기의 메타데이터 저장영역을 각각 형성하여 지능형 엔진을 통해 수행한 지능형 정보처리 결과인 메타데이터를 상기 각각 형성한 메타데이터 저장영역에 저장한다.

한편 영상 감시 시스템(100A)은 또 다른 영상 감시 시스템(100B)에 추가적인 지능형 정보처리를 요청하여 해당 지능형 정보처리를 수행한 결과인 메타데이터를 수신하면, 사전에 형성한 각 메타데이터 저장영역에 상기 수신한 메타데이터를 추가하여 업데이트하거나 오버라이트한다.

한편, 도 2 및 도 3을 참조하여 설명한 것과 같이, 영상 감시 시스템(100A)의 지능형 엔진에서 영상 감시 장치(200)로부터 영상을 수신하여 지능형 정보 처리를 수행한 후 메타데이터를 제공하는 것으로 기재되어 있으나, 영상 수신 모듈에서 영상 감시 장치(200)로부터 영상을 수신하여 지능형 엔진으로 제공할 수도 있다.

또한 영상 감시 시스템(100A)은 영상 감시 장치(200)가 저장매체를 구비하지 않은 경우에는 상기 영상 감시 장치(200)로부터 수신한 영상과 해당 영상에 대한 메타데이터를 자체적으로 구비한 저장매체에 저장할 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 감시 시스템의 프록시 기능을 설명하기 위해 나타낸 도면이다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 감시 시스템(100A)은 지능형 엔진을 탑재하지 않은 영상 감시 장치(200)에 대한 프록시 기능을 수행하기 위해 내부 네트워크, 외부 네트워크 또는 이들의 조합에 위치하는 적어도 하나 이상의 영상 감시 장치(200)를 사전에 등록하여 채널을 형성한다.

또한 영상 감시 시스템(100A)은 형성한 채널을 통해 적어도 하나 이상의 영상 감시 장치(200)의 가상 엔진으로부터 IP패킷으로 영상이 수신되고 지능형 정보처리에 대한 요청이 있는 경우, 지능형 엔진의 동작을 시분할하는 것을 통해 해당 지능형 엔진을 상기 가상 엔진과 공유하도록 한다.

즉, 영상 감시 시스템(100A)은 해당 지능형 엔진의 리소스를 영상 감시 장치(200)의 가상 엔진과 공유하여, 해당 지능형 엔진에서 해당 영상에 대한 지능형 정보처리를 대신(프록시) 수행하고, 상기 수행한 지능형 정보처리 결과인 메타데이터를 해당 영상 감시 장치(200)로 제공한다.

이때, 영상 감시 장치(200)는 영상 감시 시스템(100A)으로부터 메타데이터를 수신하면 해당 영상을 저장매체에 저장할 때 형성한 메타데이터 저장영역에 상기 메타데이터를 저장한다.

한편, 영상 감시 시스템(100A)은 지능형 정보처리를 수행한 후, 추가적인 지능형 정보처리가 필요한 경우, 해당 지능형 정보처리를 수행하는 지능형 엔진을 탑재한 영상 감시 시스템(100B)으로 상기 추가적인 지능형 정보처리를 요청하여 메타데이터를 수신하고, 상기 수신한 메타데이터를 상기 영상 감시 장치(200)로 전송하여 상기 메타데이터를 추가적으로 업데이트할 수 있도록 한다.

한편 영상 감시 장치(200)에 저장매체를 구비하지 않은 경우에는 영상 감시 시스템(100A)에서 해당 영상과 해당 영상에 대한 메타데이터를 자체적으로 저장함은 상술한 바와 같다.

또한 영상 감시 시스템(100A)은 영상 감시 장치(200)로부터 수신한 영상과 해당 영상에 대해 수행한 지능형 정보처리 결과인 메타데이터를 해당 영상 감시 장치(200)를 대신(프록시)하여 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 전송(프록시 릴레이)할 수 있다. 이때 영상 감시 시스템(100A)은 상기 프록시 릴레이하는 영상 감시 장치(200)의 식별정보를 더 포함한다.

도 5는 본 발명의 일 실시예에 따른 특정 영상 혹은 프레임에 액세스하는 방법을 설명하기 위해 나타낸 도면이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 감시 시스템(100A) 또는 영상 감시 장치(200)는 저장 매체에 저장한 메타데이터에 대한 메타데이터 목록을 통해서 관제서버(300), 관리자 단말(400) 또는 이들의 조합이 원하는 특정 영상 혹은 프레임에 대한 액세스를 수행하여 IP 패킷으로 제공하거나 플레이백(play back)한다. 이때, 관제서버(300) 혹은 관리자 단말(400)에서 상기 메타데이터 목록을 확인하여 특정 메타데이터를 선택하면 영상 감시 시스템(100A)은 저장매체에 형성한 메타데이터 저장영역만을 먼저 스캐닝하고, 상기 스캐닝을 수행하는 도 중 상기 특정 메타데이터가 검색되면 상기 스캐닝을 중단하고 상기 검색된 특정 메타데이터에 대한 영상 혹은 프레임을 제공하거나 플래이백한다.

메타데이터 저장영역에는 다음의 메타데이터 저장영역에 대한 저장주소가 저장되어 있으며, 영상 감시 시스템(100A)은 상기 저장주소에 따라 메타데이터 저장영역을 점프하여 각 메타데이터 저장영역을 스캐닝한다. 한편 상기 스캐닝을 위해 상기 영상 감시 시스템(100A)은 최초의 메타데이터 저장영역(즉, 저장주소가 제일 빠른 메타데이터 저장영역)에 대한 저장주소를 알고 있어야 함은 자명하다. 이를 위해 영상 감시 시스템(100A)은 해당 저장주소를 관리한다.

즉, 영상 감시 시스템(100A)은 해당 영상의 용량보다 현저하게 작은 용량을 가지는 메타데이터 저장영역만을 먼저 스캐닝하도록 구현되어, 저장매체 저장된 모든 영상을 스캐닝하는 불필요한 스캐닝을 배제함으로써 저장매체의 수명단축을 방지할 수 있는 것이다. 이렇게 특정 영상 혹은 프레임에 대한 액세스를 수행하면 메타데이터 저장영역만 스캐닝하면 되므로 특정 영상에 대한 액세스 시간이 빨라지는 장점이 있다.

도 6은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템의 구성을 나타낸 블록도이다.

도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 감시 시스템(100A)은 영상 수신 모듈(110), 저장 제어 모듈(120), 저장매체(130), 지능형 엔진(140), 전송 모듈(150), 액세스 모듈(160) 및 네트워크 설정 모듈(170)을 포함하여 구성된다.

또한 영상 수신 모듈(110), 저장제어 모듈(120), 지능형 엔진(140), 전송 모듈(150) 및 액세스 모듈(160)은 상기 각 모듈 상호간, 내부 혹은 외부 네트워크로 연결되고 사전에 등록된 적어도 하나 이상의 영상 감시 장치(200) 혹은 또 다른 영상 감시 시스템(100B)과 IP 통신을 독립적으로 수행할 수 있도록 구현되며, 네트워크 설정모듈(170)과 영상 수신 모듈(110), 저장제어 모듈(120), 지능형 엔진(140), 전송 모듈(150) 및 액세스 모듈(160)은 프로세스 간 통신(IPC, interprocess communication)을 수행한다. 이때, 상기 각 모듈은 IP주소를 가지고 있으며 상기 네트워크 설정 모듈(170)에서 제공하는 각 모듈의 IP주소에 따라 영상, 메타데이터 또는 이들이 조합의 흐름이 제어된다. 이에 따라 각 모듈별 IP주소를 기반으로 각 모듈 간에 이루어지는 영상, 메타데이터 또는 이들의 조합을 저장, 스트리밍 등을 수행할 수 있게 되며 관제서버(300)나 관리자 단말(400)에서 상기 액세스 모듈(160)로 접속하여 저장매체(130)에 저장된 영상에 대한 액세스 및 전송을 요청할 수 있다.

또한 지능형 엔진(140), 전송 모듈(150), 액세스 모듈(160) 및 네트워크 설정모듈(170)은 웹을 통해 관리자나 관제서버(300)에 의해 설정, 전송, 특정 영상에 대한 액세스에 대한 기능을 지원하도록 웹서버로 구현될 수 있다.

또한 영상 수신 모듈(110)은 광학카메라, CCTV 등을 포함하여 적어도 하나 이상의 카메라에서 감시영역을 촬영한 영상을 수신하고, 상기 수신한 영상을 압축하여 압축한 영상을 IP 패킷으로 특정 목적지(저장 제어 모듈, 전송 모듈, 지능형 엔진)로 전송하는 기능을 수행한다.

한편, 영상 수신 모듈(110)은 영상입력 센서가 포함된 실제 이미지 센서로 대체될 수 있다. 이 경우, 영상 감시 시스템(100A)은 지능형 정보처리를 고려한 IP 카메라로 구현됨은 상술한 바와 같다.

또한 영상 수신 모듈(110)은 실제로 영상만을 수신하는 기능을 수행하거나 상기 이미지 센서를 포함하여 구성될 수 도 있다. 즉, 영상 수신 모듈(110)은 적어도 하나 이상의 카메라로부터 감시영역을 촬영한 영상을 수신하거나, 자체적으로 감시영역을 촬영하거나 또는 이들의 조합을 수행할 수 있으며, 필요에 따라 카메라 주변에 설치된 적어도 하나 이상의 감지 센서로부터 센서 데이터를 수신할 수 있도록 구현될 수 있다.

또한 저장 제어 모듈(120)은 상기 영상 수신 모듈(110)로부터 수신한 영상에 대한 지능형 정보처리를 고려하여 상기 영상을 저장매체(130)에 저장하는 것을 제어하는 기능을 수행한다.

여기서 저장 제어 모듈(120)은 영상 수신 모듈(110)로부터 IP패킷으로 수신한 영상을 상기 저장매체(130)에 저장하는 영상 저장 모듈(121) 및 상기 저장한 영상에 대한 지능형 정보처리를 수행한 메타데이터를 저장하는 메타데이터 저장 모듈(122)을 포함하여 구성된다.

또한 영상 저장 모듈(121)은 저장 제어 모듈(120)을 제어에 따라 영상 수신 모듈(110)로부터 수신한 영상의 각 프레임을 촬영한 순서대로 순차적으로 저장한다. 이때, 영상 저장 모듈(121)은 상기 영상을 저장할 때, 메타데이터를 저장하기 위한 적어도 하나 이상의 메타데이터 저장영역을 상기 저장매체(130)에 형성하여 언제든지 상기 영상에 대한 메타데이터를 기록할 수 있도록 한다. 여기서 영상 저장 모듈(121)은 상기 제어에 따라 상기 해당 영상에 대한 메타데이터가 발생하는 시점과 상관없이 상기 메타데이터 저장영역을 우선 형성한다.

또한 영상 저장 모듈(121)은 저장매체(130)에서, 영상의 각 프레임을 포함하여 해당 영상 전체가 저장되는 저장영역의 전단 혹은 영상의 각 프레임이 저장되는 저장영역의 각 전단에 상기 메타데이터 저장영역을 형성한다.

또한 메타데이터 저장 모듈(122)은 지능형 엔진(140)을 통해 해당 영상에 대한 지능형 정보처리 결과인 메타데이터가 IP패킷으로 수신되면 해당 IP패킷으로부터 상기 메타데이터를 추출하여 저장매체(130)에 해당 영상에 대해 형성한 메타데이터 저장영역에 상기 추출한 메타데이터를 저장하는 기능을 수행한다.

한편, 저장 제어 모듈(120)은 영상과 메타데이터가 저장매체(130)에 가득차면 연속적으로 가장 오래된 영상과 해당 영상에 대한 메타데이터를 삭제하고 삭제한 저장영역에 새로운 영상과 메타데이터를 오버라이트(overwrite)하는 방식으로 순환적으로 영상 및 메타데이터를 끊임없이(endless) 저장할 수 있도록 한다.

또한 저장매체(130)는 영상 감시 시스템(100A)의 로컬에 구비되는 스토리지(storage)를 의미하며, HDD(hard disk drive), SSD(solid state drive) 등으로 구성될 수 있다. 다만 이에 한정하지 않으며 SD(secure digital)카드, USB(universal serial bus) 등과 같은 다양한 스토리지로 구성될 수 있으며 클라우드 상의 스토리지로 구성될 수 있다.

또한 지능형 엔진(140)은 영상 수신 모듈(110)로부터 수신한 영상에 대한 객체인식(혹은 객체분석)을 포함하여 지능형 정보처리를 수행함으로서 지능형 정보처리 결과인 메타데이터를 생성한다. 또한 지능형 엔진(140)은 상기 생성한 메타데이터를 IP패킷으로 저장 제어 모듈(120), 전송 모듈(150)로 전송한다.

한편, 지능형 엔진(140)은 추가적인 지능형 정보처리가 필요한 경우, 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템(100B)의 지능형 엔진에 해당 영상을 IP패킷으로 전송하여 지능형 정보처리를 요청하고, 상기 또 다른 영상 감시 시스템(100B)의 지능형 엔진으로부터 해당 영상에 대한 지능형 정보처리 결과인 메타데이터를 IP패킷으로 수신하는 기능을 더 포함한다. 이때 지능형 엔진(140)은 상기 수신한 메타데이터를 저장 제어 모듈(120)로 제공하여 메타데이터 저장영역에 업데이트 혹은 오버라이트하도록 하거나 전송 모듈(140)로 제공하여 해당 영상과 메타데이터를 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 전송할 수 있도록 한다.

또한 지능형 엔진(140)은 사전에 등록한 적어도 하나 이상의 영상 감시 장치(200)의 가상 엔진에 공유될 수 있다. 이때, 영상 감시 시스템(100A)은 상기 지능형 엔진(130)의 동작을 시간적으로 멀티플렉싱(시분할)함으로써 상기 지능형 엔진(130)이 상기 각 가상 엔진에 공유될 수 있도록 한다. 또한 상기 지능형 엔진(140)은 상기 가상 엔진으로부터 지능형 정보처리 요청과 함께 해당 영상 감시 장치(200)에서 촬영한 영상이 IP패킷으로 수신되면 상기 시간적 멀티플렉싱을 통해 상기 각 가상 엔진으로부터 수신한 영상에 대한 지능형 정보처리를 수행하여 상기 각 가상 엔진으로 지능형 정보처리를 수행한 결과인 메타데이터를 IP패킷으로 전송한다. 이러한 지능형 엔진(130)의 공유를 통해 실제 지능형 엔진(130)을 탑재하지 않은 영상 감시 장치(200)에서 지능형 엔진(130)을 탑재한 것처럼 동작할 수 있도록 하는 것이 가능하다.

이때, 영상 감시 장치(200)는 영상 감시 시스템(100A)의 지능형 엔진(140)으로부터 메타데이터를 수신하면, 상기 영상 감시 시스템(100A)과 동일한 방식으로 저장매체에 형성한 메타데이터 저장영역에 상기 수신한 메타데이터를 저장한다.

또한 지능형 엔진(140)은 저장매체를 구비하지 않은 영상 감시 장치(200)의 가상 엔진으로부터 영상(즉, 지능형 정보처리 요청 없이 영상만 수신)을 수신하면 해당 영상에 대한 지능형 정보처리를 수행하여, 해당 영상과 지능형 정보처리를 수행한 결과인 메타데이터를 저장 제어 모듈(120)로 IP패킷으로 전송하여 상기 메타데이터와 영상을 저장할 수 있도록 한다.

한편, 영상 감시 시스템(100A)은 각 영상에 대해 지능형 엔진(140)을 통해 실시간으로 지능형 정보처리를 수행하지 못하는 경우, 상기 저장 제어 모듈(120)을 통해 상기 각 영상을 저장매체(130)에 우선 저장하고, 추후 지능형 엔진(140)을 통해 지능형 정보처를 수행하여 메타데이터가 생성되면 상기 각 영상을 저장할 때 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 생성한 메타데이터를 저장함은 상술한 바와 같다.

또한 영상 감시 시스템(100A)이 저장매체(130)를 구비하지 않은 경우(즉, 영상 감시 시스템이 IP 카메라로 구현되는 경우), 상기 저장 제어 모듈(120)은 상기 영상 수신 모듈(110)로부터 수신한 영상과 지능형 엔진(140)으로부터 수신받은 메타데이터를 전송 모듈(150)로 IP패킷으로 전송하여 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 바로 전송하거나, 상기 지능형 엔진(140)을 통해 적어도 하나 이상의 영상 감시 장치(200)로부터 수신한 영상과 메타데이터를 전송 모듈(150)로 IP패킷으로 전송하여 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 바로 전송할 수 있도록 한다. 상기 IP 패킷은 메타데이터가 삽입되는 메타데이터 필드와 영상이 삽입되는 영상데이터 필드를 포함한다.

또한 지능형 엔진(140)에서 필요한 지능형 정보처리를 수행하지 못 하는 경우 IP패킷의 메타데이터 필드는 NULL데이터가 삽입되어 전송된다. 또한 관제서버(300)는 상기 IP 패킷으로 수신되는 메타데이터와 영상을 자체 구비되는 저장매체에 도 2 및 도 3에서 설명한 것과 같이 동일한 방식으로 저장하며, 추가적인 지능형 정보처리가 필요한 경우, 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템에 지능형 정보처리를 요청함으로서 메타데이터를 수신하여 상기 저장매체에 형성한 메타데이터 저장영역에 추가, 업데이트 혹은 오버라이트한다.

또한 전송 모듈(150)은 영상 수신 모듈(110)에서 수신한 영상과 해당 영상 감시 시스템(100A), 또 다른 영상 감시 시스템(100B) 또는 이들의 조합에 탑재된 지능형 엔진을 통해 해당 영상에 대해 지능형 정보처리를 수행한 결과인 메타데이터를 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 제공하는 기능을 수행한다.

또한 전송 모듈(150)은 지능형 엔진(140)을 통해 사전에 등록한 적어도 하나 이상의 영상 감시 장치(200)의 가상 엔진으로부터 수신한 영상과 상기 지능형 엔진(140), 또 다른 영상 감시 시스템(100B)에 탑재된 지능형 엔진 또는 이들의 조합을 통해 해당 영상에 대해 지능형 정보처리를 수행한 결과인 메타데이터를 프록시 릴레이하여 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 제공하는 기능을 수행한다.

또한 액세스 모듈(160)은 웹서버를 통해 접속된 관제서버(300), 관리자 단말(400) 또는 이들의 조합의 요청에 의해 저장매체(130)에 저장된 특정 영상 혹은 프레임을 액세스하여 상기 액세스한 특정 영상, 메타데이터 또는 이들의 조합 혹은 상기 액세스한 특정 프레임, 메타데이터 또는 이들의 조합을 로딩하여 IP패킷으로 제공하거나 플레이백하는 기능을 수행한다.

이때, 액세스 모듈(160)은 저장매체(130)에 저장된 메타데이터 목록을 제공하여 특정 메타데이터가 선택되면 저장매체(130)의 메타데이터 저장영역만을 먼저 스캐닝하고, 해당 메타데이터가 검색되면 상기 검색된 메타데이터, 상기 메타데이터에 해당하는 영상(혹은 프레임) 또는 이들의 조합을 액세스하여 로딩하고 상기 로딩한 메타데이터, 영상(혹은 프레임) 또는 이들의 조합을 IP패킷으로 제공하거나 플레이백한다. 즉, 액세스 모듈(160)은 고정된 크기의 메타데이터 저장영역만을 먼저 스캐닝함으로써 저장매체(130)에 저장된 모든 영상을 스캐닝하는 것을 방지하여 저장매체(130)에 대한 불필요한 스캐닝을 배재하여 저장매체(130)에 대한 수명단축을 방지하도록 구현되는 것이다.

또한 네트워크 설정 모듈(170)은 영상 감시 시스템(100A)의 지능형 엔진(140)을 포함하여 각 모듈의 데이터 흐름을 제어하며, 관제서버(300)나 관리자 단말(400)로부터 입력받거나 기 설정된 설정정보에 따라 상기 각 모듈에 대한 제어명령을 생성하여 각 모듈을 설정을 제어한다.

또한 네트워크 설정 모듈(170)은 내부 네트워크, 외부 네트워크 또는 이들의 조합을 포함하는 적어도 하나 이상의 영상 감시 장치(200)를 사전에 등록하여 각 영상 감시 장치(200)와의 채널을 형성하도록 하며, 상기 등록한 영상 감시 장치(200)에 대한 제어명령, 영상품질을 포함한 처리조건에 대한 제어명령을 생성하여 상기 등록한 적어도 하나 이상의 영상 감시 장치(200)의 동작을 관리한다.

또한 네트워크 설정 모듈(170)은 지능형 엔진(140)을 탑재한 또 다른 영상 감시 시스템(100B)을 등록할 수 있으며, 해당 영상 감기 시스템(100A)의 지능형 엔진(140)에서 추가적인 지능형 정보처리가 필요한 경우 해당 지능형 정보처리를 수행하는 지능형 엔진을 탑재한 또 다른 영상 감시 시스템(100B)으로 상기 추가적인 지능형 정보처리를 요청할 수 있도록 한다.

도 7은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템에서 메타데이터와 영상을 저장하는 절차를 나타낸 흐름도이다.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 지능형 정보처리와 영상을 저장하는 절차는 우선, 영상 감시 시스템(100A)은 자체적으로 탑재된 영상 수신 모듈(110)을 통해 적어도 하나 이상의 카메라로부터 감시영역을 촬영한 영상을 수신하는 영상 수신 단계를 수행한다(S110).

이때, 영상 감시 시스템(100A)이 IP 카메라로 구현되어 저장매체(130)를 구비하지 않은 경우(S120), 지능형 엔진(140)을 통해 상기 영상에 대한 지능형 정보처리를 수행하여 메타데이터를 생성하는 메타데이터 생성 단계를 수행하고(S121), 상기 영상과 상기 메타데이터를 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들이 조합으로 전송하는 전송 단계를 수행한다(S122). 상기 관제서버(300)는 자체 저장매체에 적어도 하나 이상의 메타데이터를 저장하기 위한 고정된 크기의 메타데이터 영역을 형성하여 상기 메타데이터와 영상을 순차적으로 저장하며, 필요에 따라 또 다른 지능형 정보처리를 수행하는 다른 영상 감시 시스템(100B)으로부터 지능형 정보처리를 요청하여 수신한 메타데이터를 해당 영상에 대해 형성한 상기 메타데이터 영역에 추가, 업데이트 혹은 오버라이트함은 상술한 바와 같다.

한편, 영상 감시 시스템(100A)이 저장매체(130)를 구비한 NVR로 구현되는 경우, 상기 영상 감시 시스템(100A)은 영상 수신 모듈(110)을 통해 수신한 영상에 대한 지능형 정보처리를 고려하여 저장매체에 적어도 하나 이상의 메타데이터 저장영역을 형성하여 상기 영상을 저장하는 저장 제어 단계를 수행한다(S130).

이때, 영상 감시 시스템(100A)은 상기 영상을 저장하는 것을 제어하여 상기 영상의 각 프레임을 촬영한 시간 순서대로 저장하되, 영상의 각 프레임을 포함하여 해당 영상의 전체가 저장되는 저장영역의 전단 혹은 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기의 메타데이터 저장영역을 형성한다. 즉, 영상 감시 시스템(100A)은 메타데이터의 생성 시점과 상관없이 상기 메타데이터 저장영역을 형성하는 것이다.

다음으로 영상 감시 시스템(100A)은 자체 탑재한 지능형 엔진(140)을 통해 해당 영상에 대한 지능형 정보처리를 수행하여 메타데이터를 생성하는 메타데이터 생성 단계를 수행한다(S140). 여기서 지능형 정보처리는 해당 영상에 대한 객체인식(혹은 객체분석)을 포함하는 것으로, 도 2 내지 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.

다음으로 영상 감시 시스템(100A)은 해당 영상에 대한 추가적인 지능형 정보처리가 필요한 경우(S150), 상기 영상 감시 시스템(100A)은 지능형 엔진(140)을 통해 생성한 메타데이터를 해당 영상에 대해 저장매체(130)에 형성한 메타데이터 저장영역에 저장하는 저장 제어 단계를 수행한 후, 상기 지능형 엔진(140)을 통해 상기 추가적인 지능형 정보처리의 기능을 수행하는 또 다른 영상 감시 시스템(100B)의 지능형 엔진(140)으로 지능형 정보처리를 요청하여 메타데이터를 수신하는 단계를 수행한다(S160). 이때, 상기 또 다른 영상 감시 시스템(100B)은 사전에 등록된다.

다음으로 영상 감시 시스템(100A)은 지능형 엔진(140)을 통해 또 다른 영상 감시 시스템(100B)으로부터 수신한 메타데이터를 해당 영상에 대해 저장매체(130)에 형성한 메타데이터 저장영역에 업데이트하거나 추가하여 저장하는 저장 제어 단계를 수행한다(S170).

한편, 영상 감시 시스템(100A)은 추가적인 지능형 정보처리가 필요 없는 경우(S150), 지능형 엔진(140)에서 생성한 메타데이터를 저장매체(130)에 형성한 메타데이터 저장영역에 저장하는 저장 제어 단계를 수행한다(S151).

이렇게 메타데이터 저장영역을 해당 영상 전체가 저장되는 저장영역의 전단 혹은 해당 영상의 각 프레임이 저장되는 저장영역의 전단에 고정된 크기로 형성함으로써 메타데이터의 발생 시점과 상관없이 언제든지 추가하거나 업데이트 혹은 오버라이트할 수 있으며, 메타데이터와 영상에 대한 별도의 동기화 과정이 필요가 없어 효율적으로 저장할 수 있다. 또한 저장매체(130)에 저장된 메타데이터와 영상(혹은 프레임)을 순차적으로 액세스하여 로딩만 하면 되므로 해당 메타데이터와 영상(혹은 프레임)에 대한 별도의 동기화 과정 없이 전송, 플레이백 또는 이들이 조합을 간편하게 수행할 수 있다.

한편 도 7에는 나타나 있지 않으나, 영상 감시 시스템(100A)은 영상 수신 모듈(110)을 통해 수신한 영상과 메타데이터를 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 전송하는 전송 단계를 더 포함함은 자명하며, 관제서버(300)는 IP패킷으로 수신한 영상과 메타데이터를 저장매체에 저장하고, 필요에 따라 추가적인 지능형 정보처리를 또 다른 영상 감시 시스템(100B)으로 요청하여 메타데이터를 수신받아 해당 영상에 대해 상기 저장매체에 형성한 메타데이터 저장영역에 상기 수신받은 메타데이터를 추가, 업데이트 혹은 오버라이트할 수 있다.

도 8은 본 발명의 일 실시예에 따른 지능형 정보처리를 고려한 영상 감시 시스템의 프록시 기능을 설명하기 위해 나타낸 흐름도이다.

도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 감시 시스템(100A)은 자체 탑재한 지능형 엔진(140)을 통해 적어도 하나 이상의 영상 감시 장치(200)의 가상 엔진으로부터 지능형 정보처리의 요청을 수신하는 단계를 수행한다(S210). 이때, 적어도 하나 이상의 영상 감시 장치(200)는 사전에 등록하여 채널을 형성한 내부 혹은 외부 네트워크에 위치하는 영상 감시 장치(200)를 의미한다.

또한 적어도 하나 이상의 영상 감시 장치(200)는 자체적으로 촬영한 영상을 가상 엔진을 통해 지능형 엔진(140)에 IP패킷으로 전송함으로써 해당 영상에 대한 지능형 정보처리를 요청한다. 이때, 상기 적어도 하나 이상의 영상 감시 장치(200)는 저장매체를 구비하지 않은 경우에는 영상만을 IP패킷으로 전송하여 해당 영상 감시 시스템(100A)의 저장매체에 저장할 수 있도록 한다.

다음으로 영상 감시 시스템(100A)은 지능형 엔진(140)의 동작을 시분할하여 자체적으로 탑재한 지능형 엔진(140)을 각 가상 엔진과 공유하는 단계를 수행한다(S220). 즉, 영상 감시 시스템(100A)은 상기 지능형 엔진(140)의 동작을 시간적으로 멀티플렉싱하여 상기 각 가상 엔진과 공유할 수 있도록 함으로써, 상기 각 감시 영상 장치(200)가 지능형 엔진(140)을 탑재한 것처럼 동작할 수 있도록 한다.

다음으로 영상 감시 시스템(100A)은 각 가상 엔진과 공유한 지능형 엔진(140)을 통해 각 가상 엔진으로부터 수신한 영상에 대한 지능형 정보처리를 수행하여 메타데이터를 생성하는 메타데이터 생성 단계를 수행한다(S230).

다음으로 영상 감시 시스템(100A)은 공유한 지능형 엔진(140)을 통해 생성한 메타데이터를 각 가상 엔진으로 전송하는 단계를 수행한다(S240). 한편 영상 감시 시스템(100A)은 해당 영상 감시 장치(200)가 저장매체를 구비하지 않고 영상만을 전송한 경우, 상기 영상 감시 시스템(100A)은 해당 영상을 저장매체(130)에 저장하며, 상기 생성한 메타데이터를 상기 영상을 저장매체(130)에 저장할 때 형성한 메타데이터 저장영역에 저장함은 상술한 바와 같다.

이때, 가상 엔진을 통해 메타데이터를 수신한 영상 감시 장치(200)는 해당 영상을 저장할 때, 저장매체(130)에 형성한 메타데이터 저장영역에 저장하게 된다.

한편, 지능형 엔진(140)은 추가적인 지능형 정보처리가 필요한 경우 해당 지능형 정보처리를 수행하는 지능형 엔진을 탑재한 또 다른 영상 감시 시스템(100B)의 지능형 엔진으로 해당 지능형 정보처리를 요청하여 메타데이터를 수신하고, 상기 수신한 메타데이터를 가상 엔진으로 전송할 수 있다.

다음으로 영상 감시 시스템(100A)은 각 가상 엔진으로부터 수신한 영상과 해당 영상에 대해 지능형 정보처리를 수행한 메타데이터를 IP패킷으로 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로 프록시 릴레이하여 전송함으로써 제공하는 단계를 수행한다(S250).

한편, 도 7 및 도 8을 참조하여 설명한 것과 같이, 영상 감시 시스템(100A)에서 영상 수신 단계를 통해 수신한 영상과 적어도 하나 이상의 영상 감시 장치(200)로부터 수신한 영상에 대해 지능형 정보처리를 수행하는 것을 개별적으로 나누어 설명하고 있으나 해당 지능형 정보처리는 상기 각 영상에 대해 시분할로 실시간으로 수행됨은 상술한 바와 같다.

도 9는 본 발명의 일 실시예에 따른 특정 영상을 액세스하는 절차를 나타낸 흐름도이다.

도 9에 도시한 바와 같이, 본 발명의 일 실시예에 따른 특정 영상을 액세스하는 절차는 우선, 영상 감시 시스템(100A)은 웹서버를 통해 접속한 관제서버(300), 관리자 단말(400) 또는 이들의 조합으로부터 원하는 특정 영상(혹은 프레임)에 대한 액세스 요청이 있는 경우(S210), 상기 특정 영상에 대한 액세스 단계를 수행한다(S310).

이때, 영상 감시 시스템(100A)은 저장매체(130)에 저장한 메타데이터에 대한 메타데이터 목록을 제공하여, 특정 메타데이터가 선택되면 해당 메타데이터에 대한 특정 영상(혹은 프레임)에 대한 액세스 요청이 있는 것으로 판단하여, 상기 특정 영상(혹은 프레임)에 대한 액세스 단계를 수행하게 된다.

다음으로 액세스 단계는 저장매체(130)에 형성한 메타데이터 저장영역을 스캐닝하는 단계를 수행한다(S320). 이때, 상기 스캐닝은 상기 각 메타데이터 저장영역에 저장된 다음의 메타데이터 저장영역에 대한 저장주소를 참조하여, 각 메타데이터 저장영역을 점프(jump)함으로써 수행되는 것으로 도 5를 참조하여 설명하였으므로 더 이상의 상세한 설명은 생략한다.

다음으로 액세스 단계는 스캐닝을 수행하는 도 중, 특정 영상이나 프레임에 대한 메타데이터가 검색되면(S330), 상기 스캐닝을 중단하고 상기 저장매체(130)로부터 상기 검색된 메타데이터, 상기 검색된 메타데이터에 대한 영상(혹은 프레임) 또는 이들의 조합을 로딩하여 IP패킷으로 전송하거나, 플레이백하는 단계를 수행한다(S340).

이때, 영상(혹은 프레임)과 메타데이터를 저장매체(130)에 저장한 순서대로 로딩만하면 되므로 상기 전송시 별도의 메타데이터와 영상을 별도로 동기화할 필요가 없다. 한편 액세스 단계는 상기 로딩한 메타데이터를 상기 로딩한 영상이나 프레임의 일측에 표시하여 플레이백하도록 구현될 수 있다.

이처럼, 본 발명은 감시영역에 대해 촬영한 영상을 저장매체에 저장할 때 해당 영상에 대한 지능형 정보처리를 고려하여 저장함으로써 상기 지능형 정보처리 결과인 메타데이터와 해당 영상을 효과적으로 저장 및 관리할 수 있도록 하고, 저장매체의 조각화를 방지하고 불필요한 스캐닝을 배제하여 저장매체의 수명단축을 방지할 수 있는 효과가 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100A, 100B: 지능형 정보처리를 고려한 영상 감시 시스템
110: 영상 수신 모듈 120: 저장 제어 모듈
121: 영상 저장 모듈 122: 메타데이터 저장 모듈
130: 저장매체 140: 지능형 엔진
150: 전송 모듈 160: 액세스 모듈
170: 네트워크 설정 모듈 200: 영상 감시 장치
300: 관제서버 400: 관리자 단말

Claims (16)

1. 적어도 하나 이상의 감시영역을 촬영한 영상에 대한 지능형 정보처리를 고려하여 상기 영상을 저장매체에 저장하도록 제어하는 저장 제어 모듈; 및
   상기 영상과 상기 영상에 대한 지능형 정보처리 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 전송하는 전송 모듈;을 포함하며,
   상기 저장매체에 상기 메타데이터를 저장하기 위한 고정된 크기의 메타데이터 저장영역을 상기 영상별로 적어도 하나 이상으로 형성하여 상기 메타데이터의 생성 시점과 상관없이 언제든지 저장할 수 있도록 하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
2. 청구항 1에 있어서,
   상기 저장 제어 모듈은,
   상기 촬영한 영상별로 영상의 각 프레임을 촬영한 순서대로 상기 저장매체에 순차적으로 저장하도록 제어하며,
   상기 촬영한 영상별로 영상의 각 프레임을 저장할 때, 상기 각 영상별로 프레임 전체가 저장되는 저장영역의 전단 혹은 상기 영상별로 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기로 상기 메타데이터 저장영역을 각각 형성하도록 제어하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
3. 청구항 1에 있어서,
   상기 영상 감시 시스템은,
   사전에 설정한 학습모델을 통해 상기 촬영한 각 영상에 대한 지능형 정보처리를 실시간으로 수행하여 사람, 차량, 동물, 차량번호, 안면 또는 이들의 조합에 대한 객체를 인식한 결과인 메타데이터를 생성하는 지능형 엔진;을 더 포함하며,
   상기 저장 제어 모듈은, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 생성한 메타데이터를 각각 저장하며,
   상기 메타데이터는, 상기 객체를 인식한 결과인 객체의 클래스정보, 상기 인식한 객체가 존재하는 프레임 번호, 상기 인식한 객체가 프레임 내에서 위치하는 좌표정보, 상기 객체를 인식한 결과에 대한 신뢰성 정보 또는 이들의 조합을 포함하는 지능형 정보로 구성되는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
4. 청구항 3에 있어서,
   상기 지능형 엔진은,
   상기 촬영한 각 영상에 대한 추가적인 지능형 정보처리가 필요한 경우, 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템의 지능형 엔진으로 해당 지능형 정보처리를 요청하여, 해당 지능형 정보처리 결과인 새로운 메타데이터를 수신하는 것을 더 포함하며,
   상기 저장 제어 모듈은, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 수신한 새로운 메타데이터를 추가하거나 업데이트하여 저장하는 것을 더 포함하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
5. 청구항 2에 있어서,
   상기 영상 감시 시스템은,
   상기 저장매체에 저장된 특정 영상 혹은 프레임에 대한 액세스를 수행하는 액세스 모듈;을 더 포함하며,
   상기 액세스 모듈은, 상기 형성한 메타데이터 저장영역만을 스캐닝하여 상기 특정 영상 혹은 프레임에 대한 메타데이터가 검색되면 상기 검색된 메타데이터, 상기 특정 영상 혹은 프레임 또는 이들의 조합을 로딩하여 관제서버, 관리자 단말 또는 이들의 조합으로 제공하거나 플레이백(play back)하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
6. 청구항 3에 있어서,
   상기 영상 감시 시스템은,
   상기 촬영한 영상이 지능형 엔진을 통해 사전에 등록한 적어도 하나 이상의 영상 감시 장치의 가상 엔진으로부터 수신된 영상이면, 상기 지능형 엔진의 동작을 시분할하여 상기 지능형 엔진을 상기 각 가상 엔진과 공유하도록 함으로써 상기 각 가상 엔진이 상기 지능형 엔진처럼 동작하도록 하고,
   상기 각 가상 엔진으로부터 수신한 영상과 상기 공유한 지능형 엔진을 통해 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 프록시 릴레이하여 제공하는 것을 더 포함하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
7. 청구항 3에 있어서,
   상기 영상 감시 시스템은,
   제한적인 자원(리소스)로 인해 상기 지능형 엔진에서 상기 촬영한 영상에 대한 지능형 정보처리를 실시간으로 수행하지 못하는 경우, 상기 지능형 엔진의 유휴시간(idle time)에 상기 지능형 정보처리를 수행하도록 제어하여 상기 메타데이터를 생성하도록 하고, 상기 생성한 메타데이터를 상기 메타데이터 저장영역에 추가하거나 오버라이트하는 것을 더 포함하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
8. 청구항 1에 있어서,
   상기 영상 감시 시스템은,
   상기 저장매체를 구비하지 않은 IP 카메라로 구현되거나 혹은 상기 IP 카메라와 상기 저장매체를 구비한 NVR(network video recorder)로 구현되며,
   상기 저장 제어 모듈은, 상기 영상 감시 시스템이 IP 카메라로 구현되는 경우, 상기 적어도 하나 이상의 감시 영역을 촬영한 영상과 상기 각 영상에 대한 메타데이터를 IP 패킷으로 상기 관제서버, 관리자 단말 또는 이들의 조합으로 바로 전송하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 시스템.
9. 적어도 하나 이상의 감시영역을 촬영한 영상에 대한 지능형 정보처리를 고려하여 상기 영상을 저장매체에 저장하도록 제어하는 저장 제어 단계; 및
   상기 영상과 상기 영상에 대한 지능형 정보처리 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 전송하는 전송 단계;를 포함하며,
   상기 저장매체에 상기 메타데이터를 저장하기 위한 고정된 크기의 메타데이터 저장영역을 상기 영상별로 적어도 하나 이상으로 형성하여 상기 메타데이터의 생성 시점과 상관없이 언제든지 저장할 수 있도록 하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
10. 청구항 9에 있어서,
    상기 저장 제어 단계는,
    상기 촬영한 영상별로 영상의 각 프레임을 촬영한 순서대로 상기 저장매체에 순차적으로 저장하도록 제어하며,
    상기 촬영한 영상별로 영상의 각 프레임을 저장할 때, 상기 각 영상별로 프레임 전체가 저장되는 저장영역의 전단 혹은 상기 영상별로 각 프레임이 저장되는 각 저장영역의 전단에 고정된 크기로 상기 메타데이터 저장영역을 각각 형성하도록 제어하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
11. 청구항 9에 있어서,
    상기 영상 감시 방법은,
    지능형 엔진을 통해 사전에 설정한 학습모델을 통해 상기 촬영한 각 영상에 대한 지능형 정보처리를 실시간으로 수행하여 사람, 차량, 동물, 차량번호, 안면 또는 이들의 조합에 대한 객체를 인식한 결과인 메타데이터를 생성하는 단계;를 더 포함하며,
    상기 저장 제어 단계는, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 생성한 메타데이터를 각각 저장하며,
    상기 메타데이터는, 상기 객체를 인식한 결과인 객체의 클래스정보, 상기 인식한 객체가 존재하는 프레임 번호, 상기 인식한 객체가 프레임 내에서 위치하는 좌표정보, 상기 객체를 인식한 결과에 대한 신뢰성 정보 또는 이들의 조합을 포함하는 지능형 정보로 구성되는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
12. 청구항 11에 있어서,
    상기 영상 감시 방법은,
    상기 촬영한 각 영상에 대한 추가적인 지능형 정보처리가 필요한 경우, 상기 지능형 엔진을 통해 해당 지능형 정보처리를 수행하는 또 다른 영상 감시 시스템의 지능형 엔진으로 해당 지능형 정보처리를 요청하여, 해당 지능형 정보처리 결과인 새로운 메타데이터를 수신하는 것을 더 포함하며,
    상기 저장 제어 단계는, 상기 각 영상에 대해 상기 저장매체에 형성한 적어도 하나 이상의 메타데이터 저장영역에 상기 수신한 새로운 메타데이터를 추가하거나 업데이트하여 저장하는 것을 더 포함하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
13. 청구항 10에 있어서,
    상기 영상 감시 방법은,
    상기 저장매체에 저장된 특정 영상 혹은 프레임에 대한 액세스를 수행하는 액세스 단계;를 더 포함하며,
    상기 액세스 단계는, 상기 형성한 메타데이터 저장영역만을 스캐닝하여 상기 특정 영상 혹은 프레임에 대한 메타데이터가 검색되면 상기 검색된 메타데이터, 상기 특정 영상 혹은 프레임 또는 이들의 조합을 로딩하여 관제서버, 관리자 단말 또는 이들의 조합으로 제공하거나 플레이백(play back)하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
14. 청구항 11에 있어서,
    상기 영상 감시 방법은,
    상기 촬영한 영상이 지능형 엔진을 통해 사전에 등록한 적어도 하나 이상의 영상 감시 장치의 가상 엔진으로부터 수신된 영상이면, 상기 지능형 엔진의 동작을 시분할하여 상기 지능형 엔진을 상기 각 가상 엔진과 공유하도록 함으로써 상기 각 가상 엔진이 상기 지능형 엔진처럼 동작하도록 하고,
    상기 각 가상 엔진으로부터 수신한 영상과 상기 공유한 지능형 엔진을 통해 해당 영상에 대한 지능형 정보처리를 수행한 결과인 메타데이터를 관제서버, 관리자 단말 또는 이들의 조합으로 프록시 릴레이하여 제공하는 것을 더 포함하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
15. 청구항 11에 있어서,
    상기 영상 감시 방법은,
    제한적인 자원(리소스)로 인해 상기 지능형 엔진에서 상기 촬영한 영상에 대한 지능형 정보처리를 실시간으로 수행하지 못하는 경우, 상기 지능형 엔진의 유휴시간(idle time)에 상기 지능형 정보처리를 수행하도록 제어하여 상기 메타데이터를 생성하도록 하고, 상기 생성한 메타데이터를 상기 메타데이터 저장영역에 추가하거나 오버라이트하는 것을 더 포함하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.
16. 청구항 9에 있어서,
    상기 영상 감시 방법은,
    상기 저장매체를 구비하지 않은 IP 카메라에 구현되거나 혹은 상기 IP 카메라와 상기 저장매체를 구비한 NVR(network video recorder)에 구현되며,
    상기 저장 제어 단계는, 상기 영상 감시 시스템이 IP 카메라로 구현되는 경우, 상기 적어도 하나 이상의 감시 영역을 촬영한 영상과 상기 각 영상에 대한 메타데이터를 IP 패킷으로 상기 관제서버, 관리자 단말 또는 이들의 조합으로 바로 전송하는 것을 특징으로 하는 지능형 정보처리를 고려한 영상 감시 방법.

Images