KR101848367B1 - 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법 - Google Patents

모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법 Download PDF

Info

Publication number
KR101848367B1
KR101848367B1 KR1020170102876A KR20170102876A KR101848367B1 KR 101848367 B1 KR101848367 B1 KR 101848367B1 KR 1020170102876 A KR1020170102876 A KR 1020170102876A KR 20170102876 A KR20170102876 A KR 20170102876A KR 101848367 B1 KR101848367 B1 KR 101848367B1
Authority
KR
South Korea
Prior art keywords
metadata
image
cctv
control
suspicious
Prior art date
Application number
KR1020170102876A
Other languages
English (en)
Inventor
류경
손혁수
배현성
Original Assignee
주식회사 네트로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네트로 filed Critical 주식회사 네트로
Priority to KR1020170102876A priority Critical patent/KR101848367B1/ko
Application granted granted Critical
Publication of KR101848367B1 publication Critical patent/KR101848367B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G06F17/30781—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 모션 벡터와 DCT 계수를 이용하여 관제 영상으로부터 이동객체를 추출하고 이들의 메타데이터에 기반하여 의심영상을 구분 식별하는 방식으로 운용하는 영상 관제 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 다수의 CCTV 카메라로부터 수집된 관제 영상에 대하여 모션 벡터와 DCT 계수를 이용하여 다수의 이동객체를 추출하고 이들의 메타데이터를 기준으로 관제 영상 중에서 범죄상황이 의심되는 CCTV 영상을 우선적으로 표시하며 메타데이터를 일정 기간동안 누적하고 통계적으로 분석하여 범죄 의심 상황을 정확하게 식별할 수 있도록 데이터 처리하며 메타데이터 기반의 영상 검색 기능을 제공하는 영상 관제 기술에 관한 것이다. 본 발명에 따르면 다수의 CCTV 영상을 비교적 간단하게 처리하여 이동객체를 검출한 후에 이중에서 범죄상황이 의심되는 CCTV 영상을 우선적으로 표시함으로써 영상 관제 효율을 높일 수 있는 장점이 있다.

Description

모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법 {metadata-based video surveillance method using suspective video classification based on motion vector and DCT coefficients}
본 발명은 모션 벡터와 DCT 계수를 이용하여 관제 영상으로부터 이동객체를 추출하고 이들의 메타데이터에 기반하여 의심영상을 구분 식별하는 방식으로 운용하는 영상 관제 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 다수의 CCTV 카메라로부터 수집된 관제 영상에 대하여 모션 벡터와 DCT 계수를 이용하여 다수의 이동객체를 추출하고 이들의 메타데이터를 기준으로 관제 영상 중에서 범죄상황이 의심되는 CCTV 영상을 우선적으로 표시하며 메타데이터를 일정 기간동안 누적하고 통계적으로 분석하여 범죄 의심 상황을 정확하게 식별할 수 있도록 데이터 처리하며 메타데이터 기반의 영상 검색 기능을 제공하는 영상 관제 기술에 관한 것이다.
최근들어 범죄 예방 및 범죄수사 증거 확보를 위해 CCTV 카메라가 다수 설치되고 있는데 현재 국내에는 대략 500만대의 CCTV가 설치되어 14.2미터 간격으로 5.5초에 한 번씩 주변 상황을 촬영하고 있다. 이처럼 다수 설치된 CCTV들이 촬영한 영상은 경찰서나 통합관제 센터와 같은 관제 시스템으로 전달되고 관제 요원들이 모니터링을 통해 범죄 예방 활동을 수행한다.
[도 1]은 일반적인 통합 관제 시스템의 전체 구성을 나타내는 도면이다. [도 1]을 참조하면, 통합 관제 시스템은 일반적으로 다수의 CCTV 카메라(100)를 통해 여러 지역의 영상 정보를 수집하고 영상 관리 시스템(200)과 영상 스토리지 장치(300)를 연동시켜 구성된다.
CCTV 카메라(100)는 여러 지역에 걸쳐 다수 설치되어 있으며 각자 근방의 영상을 촬영하여 영상 관리 시스템(200)으로 전달한다.
영상 관리 시스템(200)은 일반적으로 클라이언트 단말(210), 마스터 서버(220), 레코딩 서버(230)로 이루어진다. 이때, 클라이언트 단말(210)는 보안요원이 모니터링하는 컴퓨터 장치이다.
영상 스토리지 장치(300)는 영상 관리 시스템(200)으로 전달되는 CCTV 촬영 영상을 누적 저장하는 장치이다. 범죄가 발생하였을 때에는 해당 시점 해당 지역에 관련된 CCTV 영상들을 영상 스토리지 장치(300)로부터 입수하여 관제 요원들이 살펴보는 작업을 수행하며, 이를 통해 증거를 확보한다.
폭발적으로 증가하는 CCTV 대수에 비해 관제 인력은 많이 부족하여 2011년 경찰청 자료에 의하면 서울지역에서 관제 인력 1인당 평균 45대의 CCTV를 모니터링하고 있어 범죄예방 효과에 어려움이 많다. 또한, 범죄 수사나 미아 탐색을 위해 CCTV에서 촬영해둔 영상을 살펴보는 일도 소수의 관제 인력이 엄청나게 많은 영상을 일일히 살펴보는 실정이어서 효율이 많이 떨어진다.
이러한 문제점을 해결하기 위한 방안으로서 관제 인력을 확충하는 것은 일시적인 방편에 불과하다. 관제 인력을 증원하더라도 CCTV 카메라가 증가하면 동일한 문제점에 봉착될 것이기 때문이다. 그에 따라 관제 센터에서 방대한 양의 관제 영상을 효과적으로 다룰 수 있도록 함으로써 이상과 같은 종래기술의 문제점을 기술적으로 해결할 수 있는 방법이 요망된다.
본 발명의 목적은 모션 벡터와 DCT 계수를 이용하여 관제 영상으로부터 이동객체를 추출하고 이들의 메타데이터에 기반하여 의심영상을 구분 식별하는 방식으로 운용하는 영상 관제 기술을 제공하는 것이다.
특히, 본 발명의 목적은 다수의 CCTV 카메라로부터 수집된 관제 영상에 대하여 모션 벡터와 DCT 계수를 이용하여 다수의 이동객체를 추출하고 이들의 메타데이터를 기준으로 관제 영상 중에서 범죄상황이 의심되는 CCTV 영상을 우선적으로 표시하며 메타데이터를 일정 기간동안 누적하고 통계적으로 분석하여 범죄 의심 상황을 정확하게 식별할 수 있도록 데이터 처리하며 메타데이터 기반의 영상 검색 기능을 제공하는 영상 관제 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명에 따른 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법은, 다수의 CCTV 카메라로부터 수집된 관제 영상에 대해 모션 벡터와 DCT 계수를 획득하는 제 1 단계; 모션 벡터와 DCT 계수에 기초하여 관제 영상으로부터 복수의 이동객체를 식별하는 제 2 단계; 이동객체와 관련하여 CCTV별 이동객체수, 이동객체의 이동속도, 이동객체의 배회시간 중 하나이상의 항목에 대한 메타데이터를 추출하는 제 3 단계; 메타데이터의 특이성에 기초하여 관제 영상으로부터 의심영상을 구분 식별하는 제 4 단계; 의심영상을 관제 영상에서 구별되도록 클라이언트 단말에 디스플레이 제공하는 제 5 단계; 클라이언트 단말로부터 메타데이터의 항목단위 검색 조건을 수신하면 그 추출된 메타데이터와 대비하여 항목단위 검색 조건에 대응되는 합치 메타데이터를 식별하고 관제 영상으로부터 합치 메타데이터에 관련된 CCTV 영상을 획득하여 클라이언트 단말로 제공하는 제 6 단계;를 포함하여 구성된다.
본 발명에서 제 4 단계는, 메타데이터에 대하여 노말 상태로 구분하기 위한 개별 항목의 임계치를 식별하는 단계; 임계치를 초과하는 항목을 갖는 메타데이터를 식별하여 특이 메타데이터로 분류 설정하는 단계; 관제 영상으로부터 특이 메타데이터에 관련된 CCTV 영상을 식별하여 의심영상으로 분류 설정하는 단계;를 포함하여 구성될 수 있다.
이때, 제 5 단계는, 의심영상에 관련된 CCTV 목록을 디스플레이 제공하는 단계; 의심영상을 CCTV 목록과 링크시켜 분할 화면으로 디스플레이 제공하는 단계; 의심영상에 관련된 지도 이미지를 디스플레이 제공하는 단계; 의심영상에 관련된 CCTV 위치를 지도 이미지 상에서 구별 가능하게 디스플레이 제공하는 단계; 의심영상에 관련된 특이 메타데이터를 지도 이미지 상에서 각각의 CCTV 위치에 병기하여 디스플레이 제공하는 단계;를 포함하여 구성될 수 있다.
또한 본 발명에서 제 4 단계는, CCTV 카메라 별로 메타데이터를 특정 기간에 걸쳐 누적하여 메타데이터 기간누적 데이터를 획득하는 제 41 단계; 메타데이터 기간누적 데이터에 대해 개별 항목 단위로 평균과 표준편차를 연산하는 제 42 단계; 메타데이터 기간누적 데이터의 분포가 개별 항목 단위로 평균과 표준편차를 갖는 가우시안 분포라고 가정한 상태에서 특정의 메타데이터에 대해 가우시안 분포에서의 발생 확률을 연산하는 제 43 단계; 발생 확률이 미리 설정된 임계확률 이하인 메타데이터를 특이 메타데이터로 분류 설정하는 제 44 단계; 관제 영상으로부터 특이 메타데이터에 관련된 CCTV 영상을 식별하여 의심영상으로 분류 설정하는 제 45 단계;를 포함하여 구성될 수 있다.
이때, 바람직하게는 제 41 단계에서 미리 설정한 시간 인터벌에 따른 시간대 별로 구분하여 메타데이터 기간누적 데이터를 획득하고, 제 42 단계에서 개별 항목 및 개별 시간대 단위로 평균과 표준편차를 연산하고, 제 43 단계에서 메타데이터 기간누적 데이터의 분포가 개별 항목 및 개별 시간대 단위로 평균과 표준편차를 갖는 가우시안 분포라고 가정한 상태에서 특정의 메타데이터에 대해 발생 시간대를 고려하여 가우시안 분포에서의 발생 확률을 연산하도록 구성된다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 비휘발성 기록매체는 컴퓨터에 이상과 같은 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법을 실행시키기 위한 프로그램을 기록한 것이다.
본 발명에 따르면 다수의 CCTV 영상을 비교적 간단하게 처리하여 이동객체를 검출한 후에 이중에서 범죄상황이 의심되는 CCTV 영상을 우선적으로 표시함으로써 영상 관제 효율을 높일 수 있는 장점이 있다.
또한. 본 발명에 따르면 일정 기간 동안 메타데이터를 누적한 후에 이를 통계적으로 분석함으로써 범죄상황을 의심할만한지 여부에 대한 판단 정확도를 점차적으로 향상시킬 수 있는 장점이 있다.
또한, 방대한 양의 관제 영상을 분석하여 메타데이터를 구축함으로써 메타데이터 기반의 영상 검색 기능이 가능하게 되어 범죄 상황이 발생하였을 때에 사후 증거 확보에도 효과적으로 대응할 수 있는 장점이 있다.
[도 1]은 일반적인 통합 관제 시스템의 전체 구성을 나타내는 도면.
[도 2]는 본 발명의 영상 관제 기술이 적용된 스마트 관제 시스템의 전체 구성을 나타내는 도면.
[도 3]은 본 발명의 제 1 실시예에 따른 의심영상 구분식별 방식의 영상 관제 방법의 전체 프로세스를 나타내는 순서도.
[도 4]는 본 발명에서 클라이언트 단말에 의심영상을 표시하는 예를 나타내는 도면.
[도 5]는 본 발명의 제 2 실시예에 따른 의심영상 구분식별 방식의 영상 관제 방법의 전체 프로세스를 나타내는 순서도.
[도 6]은 본 발명에서 통계적 방식에 따른 의심영상 구분식별 과정을 개념적으로 나타내는 도면.
[도 7]은 본 발명에서 통계적 방식에 따른 의심영상 구분식별 과정을 나타내는 순서도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 2]는 본 발명의 영상 관제 기술이 적용된 스마트 관제 시스템의 전체 구성을 나타내는 도면이다. [도 1]에 도시되었던 일반적인 영상 관제 시스템과 비교하면 본 발명은 의심영상 식별서버(400), 의심영상 검색서버(500), 의심식별 학습서버(600)를 더 구비하는 점에 특징이 있다. 이때, 의심영상 식별서버(400)와 의심영상 검색서버(500)는 하나의 서버 장치로 구현될 수 있으나, 개념적으로 구분하기 위해 2대의 장치로 도시하였다.
바람직하게는 이들 서버(400, 500, 600)는 기존의 영상 관리 시스템(200), 즉 마스터 서버(220) 및 레코딩 서버(230)와는 구분되는 별도의 시스템으로 구성되면서 이들과 동일한 네트워크(스위치)에 연결되어 관제 영상 및 분석 결과를 고속으로 송수신하도록 구성된다. 이를 통해, 기존의 영상 관제 시스템의 내부는 변경하지 않으면서 기능을 업그레이드하는 것이 가능하다.
먼저, 의심영상 식별서버(400)가 제공하는 기능에 대해 살펴본다.
의심영상 식별서버(400)는 영상 데이터의 프레임 내 모션벡터와 DCT 정보를 바탕으로 관제 영상에서 이동객체를 식별하고, 이들 이동객체와 관련하여 메타데이터를 추출하여 영상 스토리지(300)에 저장한다. 메타데이터로는 CCTV별 이동객체수, 이동객체의 이동속도, 이동객체의 배회시간을 들 수 있는데, 이들 중에서 하나이상의 항목을 포함하여 구성된다.
이와 같은 메타데이터에 기초하여 다수의 CCTV 영상 중에서 관제 요원이 우선적으로 대상, 예컨대 범죄상황이 의심되는 CCTV 영상을 선별하여 다른 영상과는 구별되도록 클라이언트 단말(210)에 디스플레이 제공한다. 이때, 이처럼 선별된 CCTV 영상에 대해서는 관련 메타데이터 및 분포, 통계를 CCTV 영상에 병기하여 관제 요원이 참고하도록 제공하는 것이 바람직하다.
또한, 의심영상 식별서버(400)는 개별 CCTV 영상의 메타데이터를 일정 기간, 예컨대 1 개월 동안 누적하고 통계적으로 분석함으로써 각 지점별 메타데이터 특성을 추출하고 이를 의심대상 여부 판단에 반영할 수 있다. CCTV 카메라는 여러 지점에 설치되어 있는데, 각자 설치 위치에 따라서 CCTV 영상에 반영되는 이동객체의 메타 특성은 상이하다. 통계적 분석을 통해 해당 특성을 식별하고 이를 의심대상 여부 판단에 반영하려는 것이다. 동일한 CCTV 영상에서도 이동객체의 메타 특성은 시간대별로 상이하기 때문에 CCTV 영상 별로 구분할 뿐만 아니라 시간대 별로도 구분하여 통계적 분석을 적용하는 것이 바람직하다.
한편, 영상 데이터의 모션벡터와 DCT 정보를 바탕으로 관제 영상으로부터 이동객체를 식별하는 기술에 대해서는 본 발명의 공동발명자 중 1인이 역시 공동발명자 중 1인으로 기여한 대한민국 특허출원 10-2014-0133310호(출원일 2014.10.02) "영상 감시 시스템에 있어서 움직임 감지를 위한 스트리밍 정보 분석 시스템 및 움직임 감지를 위한 스트리밍 정보 분석 방법"을 참조한다.
일반적인 머신 비젼(machine vision) 기술이 아니라 모션벡터와 DCT 정보에 기초하는 방식을 통해 본 발명에 따르면 관제 영상으로부터 이동객체를 고속으로 식별할 수 있게 된다. 또한, 이들 모션벡터와 DCT 정보는 관제 영상의 프레임간 변화 특성(differentials)과 직접적으로 연관된 정보이므로 이로부터 이동객체의 메타데이터를 직접적으로 추출하는 것도 가능하다.
또한, 의심영상 검색서버(500)가 제공하는 기능에 대해 살펴본다.
영상관제 시스템에서 다수의 CCTV 카메라로부터 수집된 관제 영상은 영상 스토리지(300)에 저장되는데, 이는 범죄 상황이나 미아 발생 등의 상황이 발생하였을 때에 사후 증거 확보를 위한 것이다. 본 발명에서는 의심영상 식별서버(400)가 관제 영상에 대해 이동객체와 관련된 메타데이터를 분석하는데, 해당 정보도 관제 영상과 함께 영상 스토리지(300)에 저장된다.
의심영상 검색서버(500)는 이처럼 영상 스토리지(300)에 저장된 관제 영상 및 메타데이터 분석 결과에 기초하여 메타데이터 기반 검색 서비스를 제공한다. 관제 요원이 클라이언트 단말(210)에서 CCTV별 이동객체수, 이동객체의 이동속도, 이동객체의 배회시간 등에 대한 검색 조건을 설정하면 영상 스토리지(300)를 조회하여 그에 대응하는 관제 영상을 제공한다. 이때, 그 조회 결과로 도출된 CCTV 영상에 대한 메타데이터를 관제 요원이 참고하도록 함께 제공한다.
또한, 의심식별 학습서버(600)가 제공하는 기능에 대해 살펴본다.
본 발명에서 의심영상 식별서버(400)는 메타데이터를 기준으로 관제 영상 중에서 범죄상황이 의심되는 영상, 즉 '의심영상'을 도출하여 관제 요원에게 제시하는데, 그 제시 결과는 맞기도 하고 틀리기도 한다. 의심식별 학습서버(600)는 그 제시 결과가 맞는지 틀린지에 대한 관제 요원의 명시적 혹은 암시적 피드백에 따라서 의심영상 식별서버(400)의 판별 기준을 수정한다. 단순히 임계치를 해당 CCTV 카메라와 해당 시간대에 대하여 수정하는 방식으로 구현될 수도 있고 인공지능에서의 반복학습 기법을 적용할 수도 있다.
[도 3]은 본 발명의 제 1 실시예에 따른 의심영상 구분식별 방식의 영상 관제 방법의 전체 프로세스를 나타내는 순서도이다.
단계 (S110, S120) : 먼저, 다수의 CCTV 카메라로부터 수집된 관제 영상에 대해 모션 벡터와 DCT 계수를 획득하고, 이들 모션 벡터와 DCT 계수에 기초하여 관제 영상으로부터 복수의 이동객체를 식별한다. 본 발명에서는 관제 영상의 프레임 내 벡터 변화량 및 DCT 정보를 검출하는 방식을 채택함으로써 관제 영상에서 이상징후를 인식하는 데에 소요되는 시간을 단축한다. 일반적인 머신 비젼 기술에서는 관제 영상에 대해 다수의 프레임에 대하여 영상 분석 및 검색을 수행해야 하므로 시간 및 컴퓨팅 자원 요구가 상당하였다.
이때, 영상 데이터의 모션벡터와 DCT 정보를 바탕으로 관제 영상으로부터 이동객체를 식별하는 기술에 대해서는 본 발명의 공동발명자 중 1인이 역시 공동발명자 중 1인으로 기여한 대한민국 특허출원 10-2014-0133310호(출원일 2014.10.02) "영상 감시 시스템에 있어서 움직임 감지를 위한 스트리밍 정보 분석 시스템 및 움직임 감지를 위한 스트리밍 정보 분석 방법"을 참조한다.
단계 (S130) : 다음으로, 이동객체와 관련하여 관제 영상에 대해 CCTV별 이동객체수, 이동객체의 이동속도, 이동객체의 배회시간 중 하나이상의 항목에 대한 메타데이터를 추출한다. 바람직하게는 이들 항목을 모두 포함한다. 이때, 관제 영상을 분석하여 메타데이터를 획득할 수도 있고, 모션벡터와 DCT 정보로부터 이들 메타데이터를 직접적으로 추출하는 것도 가능하다.
단계 (S140, S150) : 다음으로, 메타데이터에 대하여 별다른 일이 발생하지 않은 평범한 상태, 즉 노말 상태로 CCTV 영상을 구분하기 위한 개별 항목의 임계치를 식별하고, 해당 임계치를 초과하는 항목을 갖는 특이 메타데이터에 관련된 CCTV 영상을 의심영상으로 분류 설정한다.
본 발명에서는 메타데이터의 특이성에 기초하여 관제 영상으로부터 의심영상을 구분 식별하는 방식을 채택한다. 임계치를 초과하는 항목을 갖는 메타데이터를 식별하여 특이 메타데이터로 분류하고, 관제 영상으로부터 특이 메타데이터에 관련된 CCTV 영상을 식별하여 의심영상으로 분류 설정한다.
한편, 의심영상을 구별하기 위한 임계치는 디폴트로는 미리 설정되어 있는 것이 일반적인데, 후술하는 제 2 실시예에서는 통계적 분석에 따라 CCTV 영상 별로 또한 시간대 별로 변경 설정된다. 또한, 의심식별 학습서버(600)가 반복학습 결과를 반영하여 임계치를 변경하도록 구성될 수도 있다.
단계 (S160) : 다음으로, 그 식별된 의심영상을 관제 영상에서 다른 일반 영상과 구별되도록 클라이언트 단말(210)에 디스플레이 제공한다. 의심영상은 범죄나 미아와 같은 긴급한 상황이 발생하였을 가능성이 상대적으로 높다고 평가된 것이므로 관제 요원이 특별한 주의를 기울여야 하기 때문이다.
[도 4]는 본 발명에서 클라이언트 단말(210)에 의심영상을 표시하는 예를 나타내는 도면이다. [도 4]의 (a)를 참조하면, 의심영상에 관련된 CCTV 목록을 디스플레이하고 개별 의심영상을 CCTV 목록과 링크시켜 분할 화면으로 클라이언트 단말(210)에 디스플레이한다. 4대의 CCTV 카메라(Cam01, Cam02, Cam04, Cam08)의 영상이 의심영상으로 식별되었으며, 이들 4대의 CCTV 카메라에서 촬영된 영상이 우측의 분할 화면에 별도로 표시된다. 의심영상으로 식별되지 않은 나머지, 예컨대 94개의 CCTV 영상은 일반 디스플레이 화면에 표시된다.
[도 4]의 (b)를 참조하면, 의심영상에 관련된 지도 이미지를 클라이언트 단말(210)에 디스플레이한 후에 의심영상에 관련된 CCTV 위치를 지도 이미지 상에서 구별 가능하게 디스플레이한다. [도 4]의 (b)는 2대의 CCTV 위치가 의심영상에 관련된 것으로 식별된 상황을 나타낸다. 관제 요원은 클라이언트 단말(210)에서 해당 CCTV 카메라를 클릭함으로써 해당 CCTV 영상을 관찰할 수 있다. 추가로, 의심영상에 관련된 특이 메타데이터를 지도 이미지 상에서 각각의 CCTV 위치에 병기하여 디스플레이하는 것이 바람직하다. 병기 가능한 메타데이터는 객체 메타데이터(개수, 속력, 배회시간)와 시간별 통계정보(최대, 평균)를 들 수 있다.
단계 (S170) : 또한, 클라이언트 단말(210)에 대하여 메타데이터 기반의 영상 검색 서비스를 제공한다. 본 발명에서는 CCTV 영상에 대해 이동객체에 관련된 메타데이터가 실시간으로 도출되므로 관제 요원이 메타데이터에 기초하여 CCTV 영상을 필터링할 수 있다. 예를 들어, 이동객체의 수가 3개 이상인 CCTV 영상만 선별하여 관찰하거나 이동객체의 이동속도가 일정 이상으로서 차량 속도에 도달하는 CCTV 영상만 선별하여 관찰하는 것이 가능하다.
구체적으로는 관제 요원의 클라이언트 단말(210)로부터 메타데이터의 항목단위 검색 조건을 수신하면, 의심영상 식별서버(400)가 추출하는 메타데이터와 대비하여 항목단위 검색 조건에 대응되는 합치 메타데이터를 식별한다. 그리고 나서, 관제 영상으로부터 해당 합치 메타데이터에 관련된 CCTV 영상을 획득하여 관제 요원의 클라이언트 단말(210)로 제공한다.
[도 5]는 본 발명의 제 2 실시예에 따른 의심영상 구분식별 방식의 영상 관제 방법의 전체 프로세스를 나타내는 순서도이다.
단계 (S210 ~ S230) : 먼저, 다수의 CCTV 카메라로부터 수집된 관제 영상에 대해 모션 벡터와 DCT 계수를 획득하고, 이들 모션 벡터와 DCT 계수에 기초하여 관제 영상으로부터 복수의 이동객체를 식별한다. 그리고 나서, 이동객체와 관련하여 CCTV별 이동객체수, 이동객체의 이동속도, 이동객체의 배회시간 중 하나이상의 항목에 대한 메타데이터를 추출한다.
이들 과정은 [도 3]을 참조하여 단계 (S110 ~ S130)에 대해 전술한 바와 동일하므로 이에 관한 반복 설명은 생략한다.
단계 (S240) : 다음으로, CCTV 카메라 별로 나아가 보다 바람직하게는 시간대 별로 메타데이터를 특정 기간(예: 1 개월)에 걸쳐 누적하여 가우시안 분포로 모델링한 후에 통계적 처리에 따른 발생 확률에 기초하여 특이 메타데이터에 관련된 CCTV 영상을 의심영상으로 분류 설정한다. 이때, 누적 기간이 항상 특정 기간으로 고정된 것으로 한정되지는 아니며 예컨대 점점 늘어나거나 혹은 변동하는 것과 같이 가변일 수도 있다. 이 단계에서 한정하는 사항은 어느 정도의 기간동안 메타데이터를 모아서 통계적 처리를 수행한다는 것이다.
메타데이터를 일정 기간동안 누적시키면 중심극한 정리(Central Limit Theorem)에 의하여 메타데이터의 확률 분포는 해당 평균과 표준편차에 따른 가우시안 분포로 근사된다. 이러한 가우시안 분포에서 특정 시점의 특정 CCTV 영상의 메타데이터가 그 발생 확률이 임계확률보다 낮은 경우에는 매우 특이한 상황이라고 판단하여 해당 영상을 의심영상으로 분류 설정한다.
통계적 처리를 통하여 의심영상을 식별하는 과정에 대해서는 [도 6]과 [도 7]을 참조하여 상세하게 후술한다.
단계 (S250) : 다음으로, 그 식별된 의심영상을 관제 영상에서 다른 일반 영상과 구별되도록 클라이언트 단말(210)에 디스플레이 제공한다. [도 4]는 본 발명에서 클라이언트 단말(210)에 의심영상을 표시하는 예를 나타내는 도면이며, 이 과정은 [도 3]을 참조하여 단계 (S160)에 대해 전술한 바와 동일하므로 이에 관한 반복 설명은 편이상 생략한다.
단계 (S260) : 또한, 클라이언트 단말(210)에 대하여 메타데이터 기반의 영상 검색 서비스를 제공한다. 다수의 CCTV 카메라로부터 제공되는 영상에 대해 실시간으로 메타데이터 기반의 영상 검색을 수행할 수 있다. 또한, 영상 스토리지(300)에 저장되어 있는 관제 영상에 대하여 메타데이터 기반의 영상 검색을 수행할 수도 있는데, 이 때에는 전술하였던 가우시안 모델을 활용할 수도 있다. 예를 들어, 메타데이터의 각 항목에 대해 발생확률에 대해 임계확률을 변경해가면서 영상 검색을 수행하는 것도 가능하다.
[도 6]은 본 발명에서 통계적 방식에 따른 의심영상 구분식별 과정을 개념적으로 나타내는 도면이고, [도 7]은 본 발명에서 통계적 방식에 따른 의심영상 구분식별 과정을 나타내는 순서도이다.
단계 (S310) : 먼저, CCTV 카메라별 및 시간대별로 구분하여 메타데이터를 특정 기간에 걸쳐 누적하여 메타데이터 기간누적 데이터를 획득한다. 이동객체의 움직임 특성, 예컨대 평균적으로 몇 명의 사람이나 차량이 지나가며 이들 차량의 주행속도는 대략 어느정도인가 하는 것은 지리적 위치마다 상이하다. 따라서, 특정 기간, 예컨대 1 개월동안 메타데이터를 누적(축적)하여 통계적으로 분석해봄으로써 CCTV 카메라별로 그 설치 지역의 메타데이터 특성을 파악하고 특이성 여부의 판단 기준을 그에 맞게 최적화하는 것이다.
이때, 동일한 지점이라도 이동객체의 움직임 특성은 시간대별로 상당한 차이를 보이는 것이 경험칙상 타당하다. 따라서, 메타데이터 기간누적 데이터는 CCTV 카메라 별로 구분할 뿐만 아니라 추가로 시간대 별로 구분하는 것이 바람직하다. 예를 들어, 1시간 단위로 구분할 수 있다.
단계 (S320) : 다음으로, 메타데이터 기간누적 데이터에 대해 메타데이터의 개별 항목 및 개별 시간대 단위로 평균과 표준편차를 연산한다.
단계 (S330) : 다음으로, 메타데이터 기간누적 데이터의 분포가 메타데이터의 개별 항목 및 개별 시간대 단위로 위 연산된 평균과 표준편차를 갖는 가우시안 분포라고 가정한 상태에서 관제 영상으로부터 도출된 특정의 메타데이터에 대해 가우시안 분포에서의 발생 확률을 연산한다.
전술한 바와 같이, 메타데이터를 일정 기간동안 누적시키면 중심극한 정리에 의하여 메타데이터의 확률 분포는 [도 6]에 도시된 바와 같은 해당 평균과 표준편차에 따른 가우시안 분포로 근사된다.
가우시안 분포의 경우에는 일반적인 통계학 지식에 의해 평균으로부터 표준편차만큼 이격될 때마다 해당 샘플이 발생할 확률이 이미 제시되어 있다. 따라서, 관제 영상에서 도출된 각각의 메타데이터에 대해 평균으로부터 표준편차 대비 얼마나 벗어나 있는지 체크하면 그 발생 확률을 산출할 수 있다. 메타데이터의 개별 항목별 및 개별 시간대별로 가우시안 분포를 모델링하고 메타데이터의 개별 항목별 및 개별 시간대별로 발생 확률을 산출한다.
단계 (S340, S350) : 다음으로, 각각의 메타데이터에 대해 그 발생 확률이 미리 설정된 임계확률 이하인 메타데이터를 식별해내고, 만일 그러한 메타데이터가 발견되면 이를 특이 메타데이터로 분류 설정한다. 예를 들어, 특정의 메타데이터가 평균으로부터 표준편차의 2배 이상 벗어나 있다면 그 발생확률은 매우 낮은 것으로 판단하여 특이 메타데이터로 분류할 수 있다.
그리고 나서, 관제 영상으로부터 특이 메타데이터에 관련된 CCTV 영상을 식별하여 의심영상으로 분류 설정한다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체는 컴퓨터가 읽을 수 있는 데이터를 저장하는 모든 종류의 스토리지 장치를 포함하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로 구현될 수도 있다.
100 : CCTV 카메라
200 : 영상 관리 시스템
210 : 클라이언트 단말
220 : 마스터 서버
230 : 레코딩 서버
300 : 영상 스토리지
400 : 의심영상 식별서버
500 : 의심영상 검색서버
600 : 의심식별 학습서버

Claims (7)

  1. 다수의 CCTV 카메라로부터 수집된 관제 영상에 대해 모션 벡터와 DCT 계수를 획득하는 제 1 단계;
    상기 모션 벡터와 DCT 계수에 기초하여 상기 관제 영상으로부터 복수의 이동객체를 식별하는 제 2 단계;
    상기 이동객체와 관련하여 CCTV별 이동객체수, 이동객체의 이동속도, 이동객체의 배회시간 중 하나이상의 항목에 대한 메타데이터를 추출하는 제 3 단계;
    상기 메타데이터의 특이성에 기초하여 상기 관제 영상으로부터 의심영상을 구분 식별하는 제 4 단계;
    상기 의심영상을 상기 관제 영상에서 구별되도록 클라이언트 단말에 디스플레이 제공하는 제 5 단계;
    를 포함하여 구성되는 특징으로 하는 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법으로서,
    상기 제 4 단계는,
    CCTV 카메라 별로 상기 메타데이터를 특정 기간에 걸쳐 누적하여 메타데이터 기간누적 데이터를 획득하는 제 41 단계;
    상기 메타데이터 기간누적 데이터에 대해 개별 항목 단위로 평균과 표준편차를 연산하는 제 42 단계;
    상기 메타데이터 기간누적 데이터의 분포가 개별 항목 단위로 상기 평균과 표준편차를 갖는 가우시안 분포라고 가정한 상태에서 특정 시점의 특정 CCTV 영상에서 도출된 특정의 메타데이터에 대해 상기 가우시안 분포에서의 발생 확률을 통계적으로 산출하는 제 43 단계;
    상기 발생 확률이 미리 설정된 임계확률 이하인 메타데이터를 특이 메타데이터로 분류 설정하는 제 44 단계;
    상기 관제 영상으로부터 상기 특이 메타데이터에 관련된 CCTV 영상을 식별하여 의심영상으로 분류 설정하는 제 45 단계;
    를 포함하여 구성되는 것을 특징으로 하는 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법.
  2. 청구항 1에 있어서,
    상기 제 5 단계는,
    상기 의심영상에 관련된 CCTV 목록을 디스플레이 제공하는 단계;
    상기 의심영상을 상기 CCTV 목록과 링크시켜 분할 화면으로 디스플레이 제공하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법.
  3. 청구항 2에 있어서,
    상기 제 5 단계는,
    상기 의심영상에 관련된 지도 이미지를 디스플레이 제공하는 단계;
    상기 의심영상에 관련된 CCTV 위치를 상기 지도 이미지 상에서 구별 가능하게 디스플레이 제공하는 단계;
    상기 의심영상에 관련된 특이 메타데이터를 상기 지도 이미지 상에서 각각의 CCTV 위치에 병기하여 디스플레이 제공하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 제 41 단계에서 미리 설정한 시간 인터벌에 따른 시간대 별로 구분하여 상기 메타데이터 기간누적 데이터를 획득하고,
    상기 제 42 단계에서 개별 항목 및 개별 시간대 단위로 평균과 표준편차를 연산하고,
    상기 제 43 단계에서 상기 메타데이터 기간누적 데이터의 분포가 개별 항목 및 개별 시간대 단위로 상기 평균과 표준편차를 갖는 가우시안 분포라고 가정한 상태에서 특정의 메타데이터에 대해 발생 시간대를 고려하여 상기 가우시안 분포에서의 발생 확률을 연산하는 것을 특징으로 하는 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법.
  6. 청구항 1에 있어서,
    상기 클라이언트 단말로부터 상기 메타데이터의 항목단위 검색 조건을 수신하면 상기 추출된 메타데이터와 대비하여 상기 항목단위 검색 조건에 대응되는 합치 메타데이터를 식별하고 상기 관제 영상으로부터 상기 합치 메타데이터에 관련된 CCTV 영상을 획득하여 상기 클라이언트 단말로 제공하는 제 6 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법.
  7. 컴퓨터에 청구항 1, 2, 3, 5, 6 중 어느 하나의 항에 따른 모션벡터와 DCT 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 비휘발성 기록매체.
KR1020170102876A 2017-08-14 2017-08-14 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법 KR101848367B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170102876A KR101848367B1 (ko) 2017-08-14 2017-08-14 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170102876A KR101848367B1 (ko) 2017-08-14 2017-08-14 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Publications (1)

Publication Number Publication Date
KR101848367B1 true KR101848367B1 (ko) 2018-04-12

Family

ID=61969163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170102876A KR101848367B1 (ko) 2017-08-14 2017-08-14 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Country Status (1)

Country Link
KR (1) KR101848367B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071886A (ko) * 2018-12-06 2020-06-22 이노뎁 주식회사 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR102139524B1 (ko) * 2019-04-04 2020-07-29 주식회사 언빈 상황 인식 기반 지능형 선별 관제 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344949A (ja) * 2001-05-18 2002-11-29 Toshiba Corp 動画像監視装置
JP2008092279A (ja) * 2006-10-02 2008-04-17 Fuji Electric Systems Co Ltd 監視システム及び監視方法
KR101567026B1 (ko) * 2015-04-23 2015-11-06 (주)리얼허브 비정상 상황 판별 장치 및 그 판별 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344949A (ja) * 2001-05-18 2002-11-29 Toshiba Corp 動画像監視装置
JP2008092279A (ja) * 2006-10-02 2008-04-17 Fuji Electric Systems Co Ltd 監視システム及び監視方法
KR101567026B1 (ko) * 2015-04-23 2015-11-06 (주)리얼허브 비정상 상황 판별 장치 및 그 판별 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071886A (ko) * 2018-12-06 2020-06-22 이노뎁 주식회사 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR102187376B1 (ko) 2018-12-06 2020-12-04 이노뎁 주식회사 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR102139524B1 (ko) * 2019-04-04 2020-07-29 주식회사 언빈 상황 인식 기반 지능형 선별 관제 시스템

Similar Documents

Publication Publication Date Title
CN109887281B (zh) 一种监控交通事件的方法及系统
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
CN105144705B (zh) 对象监视系统、对象监视方法和用于提取待监视对象的程序
AU2014214545B2 (en) A surveillance system
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
Ryan et al. Scene invariant multi camera crowd counting
WO2015166612A1 (ja) 映像解析システム、映像解析方法および映像解析プログラム
Zabłocki et al. Intelligent video surveillance systems for public spaces–a survey
US20060239506A1 (en) Line textured target detection and tracking with applications to "Basket-run" detection
JP2008544705A (ja) 頭上ビデオストリームからの監視対象の検出及び追跡
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
Singh et al. Human crowd detection for city wide surveillance
KR102028930B1 (ko) 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
US20210319226A1 (en) Face clustering in video streams
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测系统及方法
KR101848367B1 (ko) 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법
CN102244769B (zh) 物件及其关键人监控系统与方法
US20230316763A1 (en) Few-shot anomaly detection
KR101513180B1 (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법
Shuoyan et al. Abnormal behavior detection based on the motion-changed rules
WO2012074366A2 (en) A system and a method for detecting a loitering event
Behera et al. Characterization of dense crowd using gibbs entropy
Seidenari et al. Non-parametric anomaly detection exploiting space-time features
CN112990153A (zh) 一种多目标行为识别方法、装置、存储介质以及电子设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant