KR101821989B1 - 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 - Google Patents

재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 Download PDF

Info

Publication number
KR101821989B1
KR101821989B1 KR1020160102090A KR20160102090A KR101821989B1 KR 101821989 B1 KR101821989 B1 KR 101821989B1 KR 1020160102090 A KR1020160102090 A KR 1020160102090A KR 20160102090 A KR20160102090 A KR 20160102090A KR 101821989 B1 KR101821989 B1 KR 101821989B1
Authority
KR
South Korea
Prior art keywords
image
moving object
moving
cctv
reduced
Prior art date
Application number
KR1020160102090A
Other languages
English (en)
Inventor
이성진
김태우
Original Assignee
이노뎁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이노뎁 주식회사 filed Critical 이노뎁 주식회사
Priority to KR1020160102090A priority Critical patent/KR101821989B1/ko
Priority to US15/473,397 priority patent/US10303952B2/en
Priority to PCT/KR2017/007620 priority patent/WO2018030658A1/ko
Application granted granted Critical
Publication of KR101821989B1 publication Critical patent/KR101821989B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Abstract

본 발명은 일반적으로 다수의 CCTV로부터 제공된 저장 영상으로부터 영상 처리를 통해 이동객체를 검출하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 CCTV 저장영상에 대해 전처리 단계로 영상 재구조화를 적용하여 영상처리 대상인 영상 데이터의 양을 대폭 감소시키고 나서 후처리 단계로서 위 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 메타 데이터를 추출하여 제공함으로써 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있도록 보조하는 기술에 관한 것이다.

Description

재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법 {Method of providing detection of moving objects in the CCTV video data by reconstructive video processing}
본 발명은 일반적으로 다수의 CCTV로부터 제공된 저장 영상으로부터 영상 처리를 통해 이동객체를 검출하는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 CCTV 저장영상에 대해 전처리 단계로 영상 재구조화를 적용하여 영상처리 대상인 영상 데이터의 양을 대폭 감소시키고 나서 후처리 단계로서 위 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 메타 데이터를 추출하여 제공함으로써 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있도록 보조하는 기술에 관한 것이다.
최근들어 범죄 예방 및 범죄수사 증거 확보를 위해 카메라(예: CCTV)가 다수 설치되고 있는데 현재 국내에는 대략 500만대의 CCTV가 설치되어 14.2미터 간격으로 5.5초에 한 번씩 주변 상황을 촬영하고 있다. 이처럼 다수 설치된 CCTV들이 촬영한 영상은 경찰서나 통합관제 센터와 같은 관제 시스템으로 전달되고 관제 요원들이 모니터링을 통해 범죄 예방 활동을 수행한다.
폭발적으로 증가하는 CCTV 대수에 비해 관제 인력은 많이 부족하여 2011년 경찰청 자료에 의하면 서울지역에서 관제 인력 1인당 평균 45대의 CCTV를 모니터링하고 있어 범죄예방 효과에 어려움이 많다.
또한, 범죄수사, 범인 탐지, 미아 탐색을 위해 CCTV에서 촬영해둔 영상을 살펴보는 경우에는 소수의 관제 인력이 엄청나게 많은 영상들을 일일히 살펴보고 있는 실정이어서 효율이 많이 떨어진다.
이러한 문제점을 해결하기 위한 방안으로 관제 인력을 확충하는 것은 한계가 있기 때문에, 영상처리 기술을 통해 CCTV 촬영 영상을 분석하고 관제 인력이 관심을 가질만한 객체(관심 객체)만을 검출해내어 별도로 제공해주는 기능이 탑재되어 있는 지능형 관제 시스템에 대한 관심이 높다.
종래의 지능형 관제 시스템은 얼굴 방향, 표정, 얼굴 이미지의 크기에 대하여 특정인을 정확하게 식별하는 방식으로 구성되는데 이를 위해서는 객체 식별 및 객체 컨텍스트 인식 알고리즘을 수행해야 한다.
일반적으로 관제 센터에는 수천 대의 CCTV로부터 촬영된 영상이 제공되어 저장되기 마련이다. 이렇게 다수의 CCTV로부터 전달되어 누적되는 대규모 저장 영상에 대하여 종래 기술에서와 같이 고화질 영상에 헤비 알고리즘(heavy algorithm), 즉 객체 식별 및 객체 컨텐스트 인식 알고리즘을 적용하여 처리하려면 영상 분석 서버가 매우 고성능이거나 혹은 상당히 다수 마련되어야만 하는 어려움이 있었고, 그로 인해 본격적인 활용도 지지부진하였다.
그에 따라, 다수의 CCTV로부터 촬영 영상이 수집되어 저장되는 관제 센터에서 특정의 관심 객체를 효율적으로 검출할 수 있도록 함으로써 이상과 같은 종래기술의 문제점을 해결할 수 있는 기술이 요망된다.
본 발명의 목적은 다수의 CCTV로부터 제공된 저장 영상으로부터 영상 처리를 통해 이동객체를 검출하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 CCTV 저장영상에 대해 전처리 단계로 영상 재구조화를 적용하여 영상처리 대상인 영상 데이터의 양을 대폭 감소시키고 나서 후처리 단계로서 위 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 메타 데이터를 추출하여 제공함으로써 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있도록 보조하는 기술을 제공하는 것이다.
상기의 목적을 달성하기 위하여 본 발명은 CCTV 저장영상에 대해 재구조화 영상 처리를 수행하여 CCTV 저장영상에 포함되어 있는 이동객체를 검출하는 방법으로서, CCTV 저장영상의 N개의 분할영상을 획득하는 제 1 단계; 분할영상의 각각을 축소 리사이징하여 N개의 축소분할 영상을 획득하는 제 2 단계; N개의 축소분할 영상을 단일 프레임으로 병합하여 축소병합 영상을 획득하는 제 3 단계; 축소병합 영상에 대해 영상 분석을 수행하여 축소병합 영상에 포함된 이동객체를 식별하는 제 4 단계;를 포함하여 구성된다.
이때, 제 1 단계는, CCTV 저장영상의 미리 설정된 시간 분량의 원본 영상을 획득하는 단계; 원본 영상을 분할하여 상기 N개의 분할영상을 획득하는 단계;를 포함하여 구성되는 것이 바람직하다.
또한, 본 발명은 제 4 단계 이후에 수행되는, 축소병합 영상에서 이동객체의 노출 속성에 관련된 메타 정보를 수집하는 제 5 단계; 메타 정보에 기초하여 이동객체가 식별되는 원본 영상의 프레임('이동식별 원본 프레임')을 식별하는 제 6 단계; 축소병합 영상에서 이동객체의 식별 위치를 리사이징 비율로 역 매핑하여 이동식별 원본 프레임에서 이동객체의 노출 영역('이동객체 영역')을 식별하는 제 7 단계; 이동식별 원본 프레임에서 이동객체 영역을 잘라내어 이동객체의 스냅샷을 획득하는 제 8 단계;를 더 포함하여 구성될 수 있다.
이때, 메타 정보는 이동객체에 대한 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 중 하나 이상을 포함하여 구성될 수 있다.
또한, 본 발명은 제 5 단계와 제7 단계 사이에 수행되는, 그 수집된 메타 정보를 미리 설정한 임계조건과 비교하여 앞서 식별된 이동객체를 유의미한 이동객체와 무의미한 이동객체로 구분함으로써 그 식별된 이동객체를 필터링하는 단계;를 더 포함하여 구성될 수 있다.
또한, 본 발명은 제 7 단계 이후에 수행되는, 이동객체의 스냅샷을 관제 요원에게 원본 영상과는 시각적으로 구분되도록 제공하는 제 9 단계;를 더 포함하여 구성될 수 있다. 예를 들어, 관제 시스템의 화면에서 객체 스냅샷을 원본 영상과는 별도의 영역에 표시할 수 있다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 컴퓨터에 이상과 같은 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법을 실행시키기 위한 프로그램을 기록한 것이다.
본 발명에 따르면 CCTV 저장영상을 종래기술에 비해 매우 고속으로 분석하여 영상 내에 포함되어 있던 이동객체를 검출해내고 해당 이동객체에 대한 메타 데이터를 추출하여 함께 제공함으로써 다수의 CCTV로부터 촬영 영상이 수집되어 대규모의 CCTV 저장영상을 관리해야 하는 관제 센터에서 관제 요원이 관심 객체를 효율적으로 탐색할 수 있게 되는 장점이 있다.
[도 1]은 본 발명에 따른 CCTV 저장영상 분석처리 시스템을 개념적으로 나타내는 도면.
[도 2]는 본 발명에서 축소 리사이징된 이미지의 일 예를 나타내는 도면.
[도 3]은 본 발명에서 단일 프레임으로 병합된 이미지의 일 예를 나타내는 도면.
[도 4]는 본 발명에서 축소병합 영상의 생성을 개념적으로 나타내는 도면.
[도 5]는 본 발명에 따른 CCTV 저장영상 분석처리 시스템의 내부 기능적 구성을 나타내는 블록도.
[도 6]은 본 발명에 따른 CCTV 저장영상의 이동객체 검출 방법의 전체 프로세스를 나타내는 순서도.
[도 7]은 본 발명에 따라 CCTV 저장영상에서 이동객체를 검출하는 일 예를 개념적으로 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 CCTV 저장영상 분석처리 시스템을 개념적으로 나타내는 도면이다.
[도 1]을 참조하면, 다수의 CCTV 카메라(110, 120)가 촬영한 영상 데이터가 영상관리 서버(200)로 수집되어 저장된다. 영상 전처리부(300)는 이러한 저장영상에 대해 영상 분할 및 병합에 의한 영상 재구조화를 적용하여 영상 데이터의 양을 대폭 감소시킨다. 그리고 나서, 영상분석 엔진(400)은 그 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 노출 속성에 관련된 메타 데이터를 추출하며 이동객체의 스냅샷도 생성한다.
이처럼 영상분석 엔진(400)이 제공하는 이동객체, 메타정보, 스냅샷을 이용함으로써 관제 센터에서 관제 요원이 방대한 CCTV 저장영상으로부터 관심 객체를 효율적으로 탐색하는 데에 도움을 받게 된다.
본 발명은 CCTV 저장영상에서 관심 객체(예: 범죄 피의자, 실종 아동)의 탐색을 보조하는 기술로 양호하게 사용될 수 있다. 본 발명을 기술적으로 구성함에 있어서 발명자가 착안한 사항을 정리하면 다음과 같다.
첫째로, 관심 객체는 CCTV 영상에서 고정객체(stationary objects) 보다는 이동객체(moving objects)의 형태로 나타나는 것이 일반적이다. 따라서 CCTV 저장영상으로부터 이동객체를 식별한다.
둘째로, 영상에서 이동객체를 식별하는 데에는 굳이 고화질 이미지가 필요하지 않다. 따라서 원본 영상의 해상도(resolution)을 낮추어 각 프레임의 이미지 사이즈를 작게 리사이징한 상태에서 영상 분석을 수행해도 이동객체를 식별하는 데에는 충분하다. 이를 통해, 영상 분석의 처리 속도를 대폭 향상시킬 수 있는 장점이 있다. 또한, 이동객체에 대해서는 원본 영상으로부터 고화질 스냅샷을 획득하여 저장하고 이를 관제 요원에게 제공한다.
세째로, 이렇게 식별되어 나온 이동객체에는 노이즈, 즉 무의미한 정보가 다수 섞여있을 것이기 때문에 이를 제거하는 것이 바람직하다. 그에 따라, 이동객체에 관해 노출 속성에 관련된 메타 정보를 수집하고 이들 메타 정보를 이용하여 이동객체 식별 결과 중에서 무의미한 정보를 필터링해낸다.
네째로, 저장 영상이므로 그 분석대상 프레임을 모두 가지고 있는 상태에서 분석을 수행한다는 점을 활용한다. 그 분석해야 하는 전체 시간(X)을 N개로 분할한 후에 각각의 분할 영상을 저화질로 축소 리사이징하고 다시 이들 N개의 프레임을 하나의 프레임으로 병합하는 방식의 전처리 과정을 수행한다. 이러한 전처리 과정을 통해 영상분석 대상의 영상 데이터를 대폭 감소시킬 수 있으며, 이를 통해 영상 분석에 소요되는 시간도 크게 단축할 수 있다.
다섯째, 이동객체를 식별하는 영상 분석은 원본 영상이 아니라 축소 리사이징 및 단일 프레임 병합 과정 이후의 축소병합 영상에 대해 시행하는 것이므로 그 영상 분석의 결과로 발생되는 메타 정보, 예컨대 객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간(dwell time) 등을 저장 관리할 때 그 분할 이전의 원본 좌표로 역 매핑하는 과정이 필요하다.
전술한 바와 같이, CCTV 저장영상에서 관심 객체를 식별하기 위해 종래의 영상분석 시스템에서 채택하였던 기술은 객체 식별 및 객체 컨텍스트 인식 등과 같이 굉장히 복잡한 알고리즘을 채택한 것이었고 특히 고화질 이미지가 제공되어야만 신뢰성 있는 결과가 도출되었다.
반면, 본 발명은 일차적으로 이동객체만 찾는 가벼운 알고리즘을 채택한 결과로 저화질 영상을 분석해도 고화질의 경우와 동일한 결과를 산출할 수 있으면서 매우 고속으로 수행할 수 있다. 이동객체만 찾는다는 접근 방식의 단점은 메타 정보와 스냅샷을 활용하여 보완할 수 있다.
[도 1]을 참조하며 본 발명의 전체 처리 프로세스를 개념적으로 살펴보면 다음과 같다.
먼저, CCTV 카메라(110, 120)가 촬영 영상을 영상관리 서버(200)로 제공하고 영상관리 서버(200)는 이들 CCTV 영상을 저장한다.
영상 전처리부(300)는 이들 CCTV 영상으로부터 이동객체 검출을 위해 영상분석을 수행할 대상인 CCTV 저장영상을 획득한다. 설명의 편이를 위해서 CCTV 저장영상이 X 시간 분량이라고 표시하는데, 이 X 시간은 하루 정도의 길이일 수도 있고 몇초 정도의 길이일 수도 있다. 이때, 관제 요원이 그 분석 대상의 저장영상을 선택할 수도 있고 영상분석 소프트웨어의 동작 설정에 의해 관제 요원의 개입 없이 저장영상이 자동적으로 선택될 수도 있다.
영상 전처리부(300)는 CCTV 저장영상을 N 분할하여 대략 (X/N) 시간 분량에 해당하는 분할영상을 N개 생성한다. 바람직하게는 CCTV 저장영상을 동일한 시간 간격으로 N 등분 분할한다.
이때, 영상 전처리부(300)로 서로 상이한 CCTV 저장영상이 N개 제공되도록 구성되는 것도 가능하다. 즉, 1시간 분량의 CCTV 저장영상 하나를 영상 전처리부(300)가 6 등분하여 10분 분량의 분할영상 6개를 생성하도록 구성하는 것도 가능하고, CCTV 카메라 6대로부터 10분 분량의 CCTV 저장영상 6개가 영상 전처리부(300)로 제공되도록 본 발명을 구성하는 것도 가능하다. 후자의 경우에도 축소병합 영상과 대비하여 본다면 각각의 영상은 분리되어 있는 상태이므로 본 명세서에서는 이들을 분할영상이라고 부른다.
하나의 CCTV 저장영상을 N 등분하는 전자의 구성이 분할영상들의 파일 속성 및 영상 특성이 균일하기 때문에 이후의 영상 분석 결과가 양호할 것이므로 상대적으로 더 바람직하다.
다음으로, 영상 전처리부(300)는 N개의 분할영상 각각에 대하여 해상도를 떨어뜨려 작은 크기의 저화질 영상으로 리사이징하는 과정을 수행한다. 즉, 높은 해상도를 갖는 분할영상의 각 프레임 이미지에 대해서 해상도를 낮추어 이미지 사이즈를 작게 리사이징하고, 이들 리사이징된 이미지들을 연결하여 작은 크기의 저화질 영상인 축소분할 영상을 생성한다.
[도 2]에는 원본 영상의 각 프레임을 구성하는 고화질 원본 이미지(1920*1088)를 64분의 1로 축소함으로써 저화질 축소 이미지(240*136)로 리사이징하는 개념을 나타낸다. N개의 분할영상 각각에 대하여 이러한 축소 리사이징을 적용함으로써 N개의 축소분할 영상을 얻는다. 분할영상과 마찬가지로 축소분할 영상도 (X/N) 시간 분량에 해당한다.
이어서, 영상 전처리부(300)는 N개의 축소분할 영상을 단일 프레임 병합하여 축소병합 영상을 얻는다. 즉, N개의 분할영상을 구성하는 작은 크기의 저화질 이미지 N개를 단일 프레임으로 병합하여 [도 3]에 도시된 것과 같은 축소병합 영상을 구성하는 것이다. [도 3]은 작은 사이즈(240*136)의 이미지 4개를 병합하여 좀더 큰 사이즈(480*272)의 단일 프레임 이미지를 형성하는 예를 나타낸 것이다.
[도 4]는 본 발명에서 축소병합 영상을 생성하는 과정을 개념적으로 나타내는 도면이다.
[도 4]를 참조하면. 각각 (X/N) 시간 분량을 담고 있는 N개의 축소분할 영상을 단일 프레임으로 병합하여 역시 (X/N) 시간 분량을 담고 있는 1개의 축소병합 영상을 구성하는 개념이 도시되어 있다. 각각의 축소분할 영상은 시간 흐름에 따른 일련의 프레임 이미지로 이루어져 있는데, 이들 N개의 축소분할 영상으로부터 제공되는 동일 순번의 N개 이미지를 [도 3]과 같은 단일 프레임으로 병합하는 것이다. 축소분할 영상의 일련의 이미지에 대해 이러한 과정을 수행함으로써 일련의 병합된 이미지로 이루어진 하나의 축소병합 영상이 생성된다.
다음으로, 영상분석 엔진(400)은 영상 전처리부(300)가 생성한 축소병합 영상에 대해 영상 분석을 수행하여 이동객체(즉, 움직이는 객체)를 하나이상 식별한다. 한편. 영상 분석을 통해 블랍(blob) 형태의 이동객체를 식별해내는 기술은 종래기술에 다수 제시되어 있으며 본 발명은 이동객체 식별 알고리즘 자체에 관한 것은 아니므로 이에 관한 자세한 설명은 생략한다. 다만, CCTV 카메라(110, 120)가 생성한 X 시간 분량의 원본 영상에 비해 축소병합 영상은 프레임의 갯수가 (1/N)로 감소하였고 개별 이미지의 크기도 감소하였으므로(앞의 예에서 이미지 크기가 1920*1088에서 480*272로 감소하였음) 이동객체 식별을 위한 영상 분석 프로세스를 종래기술에 비해 매우 신속하게 수행할 수 있다.
이어서. 영상분석 엔진(400)은 그 식별된 이동객체의 각각에 대하여 노출 속성에 관련된 메타 정보를 추출한다. 이러한 메타 정보로는 그 이동객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 등이 있으며, 이들의 전부 혹은 일부를 선택하여 구현한다.
이러한 메타 정보는 그 식별된 이동객체의 노출 속성과 관련되어 있는 정보로서 이동객체의 필터링에 양호하게 활용될 수 있다. 블랍 형태로 이동하는 것처럼 보이기만 하면 이동객체로 식별될 것이므로 여기에는 예컨대 바람에 흔들리는 이파리 등과 같이 무의미한 정보가 다수 섞여있을 것이다.
관제 시스템이 특정의 관심 객체를 효과적으로 탐색하기 위해서는 관심 객체의 후보에 해당하는 이동객체의 갯수를 적절하게 낮출 필요가 있다. 이를 위해 본 발명에서는 앞서 식별된 이동객체들 중에서 무의미한 정보를 필터링해내는 것이 바람직하며, 이러한 이동객체의 필터링 과정에서 이동객체의 노출 속성에 관련된 메타 정보가 유용하게 활용될 수 있다.
이어서. 영상분석 엔진(400)은 이동객체의 스냅샷(이하, '객체 스냅샷'이라 함)을 획득한다. 객체 스냅샷은 예컨대 이동객체가 관심 객체에 해당하는지 여부를 관제 요원이 시각적으로 판단하는 데에 양호하게 활용될 수 있으며, 이를 위해 객체 스냅샷은 고화질 원본 영상으로부터 획득되는 것이 바람직하다.
이동객체는 축소병합 영상으로부터 식별되었기 때문에 이로부터 원본 영상의 객체 스냅샷을 획득하려면 위치 변환 과정이 필요하다. 즉, 앞서 메타정보 추출 과정을 통해 축소병합 영상에서 이동객체의 노출 속성을 메타 정보라는 이름으로 획득하였다. 이를 이용하여 이동객체가 식별되는 원본 영상의 프레임(이하, '이동식별 원본 프레임'이라 함)을 식별한다. 그리고 나서, 축소병합 영상에서의 이동객체 식별 위치에 대해 리사이징 비율로 역 매핑함으로써 이동식별 원본 프레임에서 이동객체의 노출 영역(이하, '이동객체 영역'이라 함)을 식별한다.
원본 영상에서 이동객체 영역을 잘라냄으로써 고화질의 객체 스냅샷을 획득할 수 있고, 이러한 고화질의 객체 스냅샷을 살펴봄으로써 관제 요원은 해당 이동객체가 관심 객체에 해당하는지 여부를 정확하게 판단할 수 있다.
이때, 영상 분석의 결과로 얻어지는 메타 정보는 축소병합 영상 내에서 이동객체의 위치별로 시간대가 다르므로 해당 위치에 따른 시간 및 경로 정보를 고려하여 매핑하여 기록하는 것이 바람직하다.
한편, 본 명세서에서 '저장영상'은 스토리지(예: 하드디스크)에 일정 기간(예: 하루)에 걸쳐 저장해둔 영상 데이터에 한정되지 않고 영상분석 장치의 로컬 메모리에 일시적으로(예: 4초) 버퍼링된 영상 데이터도 저장영상에 해당하는 것으로 해석되어야 한다. 본 발명에 따른 이동객체 검출 기술은 어느 정도의 시간동안 저장해둔 영상 데이터를 후처리하는 분야에 양호하게 적용될 수 있지만, 실시간 탐지 분야에 적용되는 것을 제외하는 것은 아니다.
[도 5]는 본 발명에 따른 CCTV 저장영상 분석처리 시스템의 내부 기능적 구성을 나타내는 블록도이다. [도 5]를 참조하면, 본 발명에 따른 CCTV 저장영상 분석처리 시스템은 전체적으로는 영상 전처리부(300)와 영상분석 엔진(400)을 포함하여 구성된다.
영상 전처리부(300)는 CCTV 저장영상에 대해 영상 분할 및 병합에 의한 영상 재구조화를 적용하여 영상 데이터의 양을 대폭 감소시키는 구성이다. 영상분석 엔진(400)은 그 영상 재구조화된 저장 영상에 대해 영상 분석을 통하여 이동객체를 검출하고 그 이동객체의 노출 속성에 관련된 메타 데이터를 추출하며 이동객체의 스냅샷도 생성하는 구성이다.
본 발명의 CCTV 저장영상 분석처리 시스템에서 영상 전처리부(300)는, 이동객체 검출을 위해 영상분석을 수행할 대상인 X 시간 분량의 CCTV 저장영상을 획득하는 저장영상 획득부(310), X 시간 분량의 CCTV 저장영상을 N 분할하여 대략 (X/N) 시간 분량에 해당하는 분할영상을 N개 생성하는 저장영상 분할부(320), 이들 N개의 분할영상은 일반적으로 압축되어 있으므로 영상 디코딩 처리를 수행하여 이후의 리사이징 과정 및 이동객체 식별 과정을 위하여 N개의 분할영상에 대해 프레임별 이미지를 생성하는 분할영상 디코더(330), 이들 N개의 분할영상 각각에 대해 해상도를 떨어뜨려 작은 크기의 저화질 영상으로 리사이징함으로써 작은 크기의 저화질 영상인 N개의 축소분할 영상을 생성하는 분할영상 리사이저(340), 이들 N개의 축소분할 영상을 단일 프레임 병합하여 대략 (X/N) 시간 분량에 해당하는 저화질의 축소병합 영상을 생성하는 축소영상 병합부(350)를 구비한다.
이때, 영상 전처리부(300)로 서로 상이한 CCTV 저장영상이 N개 제공되도록 본 발명을 구성되는 것도 가능하다. 이 경우에는 원본 영상을 분할하여 분할영상을 생성하는 저장영상 분할부(320)는 제외될 수 있다.
또한, 본 발명의 CCTV 저장영상 분석처리 시스템에서 영상분석 엔진(400)은, 앞서 영상 전처리부(300)가 생성한 대략 (X/N) 시간 분량에 해당하는 저화질의 축소병합 영상에 대해 영상 분석을 수행하여 블랍 형태의 이동객체(즉, 움직이는 객체)를 하나이상 식별하는 이동객체 인식부(410), 그 식별된 이동객체의 각각에 대하여 노출 속성에 관련된 메타 정보로서 그 이동객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 등의 정보를 추출하는 이동객체 메타추출부(420), 축소병합 영상과 원본 영상 간에 이동객체의 노출 위치를 리사이징 비율로 역 매핑함으로써 그 식별된 이동객체의 스냅샷 이미지를 고화질 원본 영상으로부터 획득하는 객체스냅샷 생성부(430)를 구비한다.
[도 6]은 본 발명에 따른 CCTV 저장영상의 이동객체 검출 방법의 전체 프로세스를 나타내는 순서도이다.
단계 (S110) : 먼저, 영상 전처리부(300)의 저장영상 획득부(310)가 X 시간 분량에 해당하는 CCTV 저장영상의 원본 영상을 획득한다. 이때, 관제 요원이 해당 CCTV 저장영상을 지정할 수도 있고 영상분석 소프트웨어의 동작 설정에 의해 관제 요원의 개입 없이 CCTV 저장영상이 자동적으로 선택될 수도 있다.
단계 (S120) : 저장영상 분할부(320)가 X 시간 분량의 CCTV 저장영상의 원본 영상을 N 분할하여 대략 (X/N) 시간 분량에 각각 해당하는 N개의 분할영상을 획득한다. 이때, CCTV 저장영상을 동일한 시간 간격으로 N 등분 분할하는 것이 바람직한데 반드시 그에 한정되는 것은 아니다.
한편, 저장영상 분할부(320)가 원본 영상을 분할하여 N개의 분할영상을 생성하는 방식이 아니라, 예컨대 CCTV 카메라 N 대로부터 서로 상이한 CCTV 저장영상이 분할 영상으로서 영상 전처리부(300)로 제공되도록 본 발명을 구성되는 것도 가능하다. 다만, [도 6]은 하나의 원본 영상을 N 개로 분할하는 구현예를 기준으로 순서도를 작성하였다.
단계 (S130) : 분할영상 디코더(330)와 분할영상 리사이저(340)가 협조 동작하여 이들 N개의 분할영상 각각에 대해 해상도를 떨어뜨려 작은 크기의 저화질 영상으로 리사이징하는 축소 리사이징 과정을 통해 작은 크기의 저화질 영상인 N개의 축소분할 영상을 생성한다.
단계 (S140) : 축소영상 병합부(350)가 이들 N개의 축소분할 영상을 단일 프레임 병합하여 저화질의 축소병합 영상을 획득한다. N개의 축소분할 영상을 단일 프레임 병합하여 하나의 저화질 축소병합 영상을 생성하는 과정에 대해서는 [도 4]를 참조하여 전술하였다.
단계 (S150) : 다음으로, 영상분석 엔진(400)의 이동객체 인식부(410)는 저화질의 축소병합 영상에 대해 영상 분석을 수행하여 블랍 형태의 이동객체를 하나이상 식별해낸다.
단계 (S160) : 이동객체 메타추출부(420)는 영상분석 엔진(400)이 식별해낸 이동객체의 각각에 대하여 노출 속성에 관련된 메타 정보를 추출하여 수집한다. 이러한 메타 정보로는 이동객체의 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 등을 생각할 수 있다.
단계 (S170) : 이동객체 메타추출부(420)은 그 추출된 메타 정보에 기초하여 이동객체를 필터링할 수 있다. 즉, 이동객체 인식부(410)는 저화질의 축소병합 영상에서 블랍 형태로 이동하는 것처럼 보이기만 하면 이동객체로 식별할 것이므로 여기에는 관심 객체가 되기 어려운 무의미한 정보가 다수 섞여있을 것이다. 그에 따라, 이동객체의 노출 속성을 나타내는 메타 정보를 미리 설정한 임계조건과 비교함으로써 유의미한 이동객체와 무의미한 이동객체를 구분해내고, 이중에서 무의미한 이동객체는 필터링 아웃시키는 것이 바람직하다.
단계 (S180) : 객체스냅샷 생성부(430)는 이동객체의 스냅샷을 고화질의 원본 영상으로부터 획득하기 위해, 먼저 원본 영상에서 이동객체가 식별되는 프레임(이동식별 원본 프레임)을 식별한다. 앞서 메타정보 추출 과정을 통해 축소병합 영상에서 이동객체의 노출 속성을 획득하였다. 축소병합 영상에서 이동객체가 큰 사이즈로 노출되어 있는 프레임 이미지 및 그 노출 위치를 안다면 그에 대응하는 원본 영상의 프레임이 어느 것인지 식별할 수 있다.
단계 (S190) : 객체스냅샷 생성부(430)는 축소병합 영상에서의 이동객체 식별 위치에 대해 리사이징 비율로 역 매핑함으로써 이동식별 원본 프레임에서 이동객체의 노출 영역(이동객체 영역)을 식별한다. 이동객체는 축소병합 영상으로부터 식별되었기 때문에 이로부터 원본 영상의 객체 스냅샷을 획득하려면 위치 변환 과정이 필요하며, 이를 위해 리사이징 비율로 역 매핑 처리한다.
단계 (S200) : 객체스냅샷 생성부(430)는 이동식별 원본 프레임에서 이동객체 영역을 잘라내어 고화질의 객체 스냅샷을 획득한다.
단계 (S200) : 그리고 나서, 객체스냅샷 생성부(430)는 그 획득한 객체 스냅샷을 관제 요원에게 예컨대 디스플레이 화면 상에 오버레이 제공하여 관심 객체의 탐색에 도움이 되도록 보조한다.
이때, 객체 스냅샷은 원본 영상과는 시각적으로 구분되도록 제공되는 것이 바람직하다. 예를 들어, 관제 시스템의 화면에서 객체 스냅샷을 원본 영상과는 별도의 영역에 표시할 수 있다. 또한, 관제 요원이 원본 영상에서 관심 객체를 마우스 클릭 등으로 선택하였을 때 해당 원본 영상 위에 객체 스냅샷을 오버레이 표시하도록 구현할 수도 있다.
[도 7]은 본 발명에 따라 CCTV 저장영상에서 이동객체를 검출하는 일 예를 개념적으로 나타내는 도면이다.
본 발명의 CCTV 저장영상 분석처리 시스템에서 분할영상 디코더(330)가 CCTV 저장영상을 디코딩하여 고화질로 화면에 출력한다.
동시에, 이동객체 인식부(410)는 CCTV 저장영상으로부터 생성한 저화질의 축소병합 영상에서 이동객체를 신속하게 식별하고, 이동객체 메타추출부(420)는 이들 이동객체의 노출 속성인 메타 정보를 추출한다.
그 식별된 이동객체 및 관련 메타 정보는 CCTV 관제 화면에 CCTV 촬영 영상과 함께 표시되는데, 원본 영상의 고화질 모니터링 화면에 표시될 수도 있고 매트릭스 형태로 표시되는 저화질 화면에 표시될 수도 있다. 원본 영상에 대응하는 고화질 모니터링 화면에 표시할 때에는 리사이징 비율로 역 매핑하여 상대 좌표를 변환 생성하는 과정이 필요함은 전술한 바와 같다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 기록매체는 컴퓨터가 읽을 수 있는 데이터를 저장하는 모든 종류의 장치를 포함하는데 예컨대 ROM, RAM, CD-ROM, NAS, 자기테이프, 하드디스크, 웹디스크 등이 있고 네트워크로 연결된 스토리지에 코드가 분산 저장되고 실행될 수도 있다.
110, 120 : CCTV
200 : 영상관리 서버
300 : 영상 전처리부
310 : 저장영상 획득부
320 : 저장영상 분할부
330 : 분할영상 디코더
340 : 분할영상 리사이저
350 : 축소영상 병합부
400 : 영상분석 엔진
410 : 이동객체 인식부
420 : 이동객체 메타추출부
430 : 객체 스냅샷 생성부

Claims (7)

  1. CCTV 저장영상에 대해 재구조화 영상 처리를 수행하여 상기 CCTV 저장영상에 포함되어 있는 이동객체를 검출하는 방법으로서,
    CCTV 저장영상의 미리 설정된 시간 분량의 원본 영상을 분할하여 N개의 분할영상을 획득하는 제 1 단계;
    상기 분할영상의 각각을 축소 리사이징하여 N개의 축소분할 영상을 획득하는 제 2 단계;
    상기 N개의 축소분할 영상을 단일 프레임으로 병합하여 축소병합 영상을 획득하는 제 3 단계;
    상기 축소병합 영상에 대해 영상 분석을 수행하여 상기 축소병합 영상에 포함된 이동객체를 식별하는 제 4 단계;
    상기 축소병합 영상에서 상기 이동객체의 노출 속성에 관련된 메타 정보를 수집하는 제 5 단계;
    상기 메타 정보에 기초하여 상기 원본 영상에서 상기 이동객체가 식별된 프레임(이하, '이동식별 원본 프레임'이라 함)을 식별하는 제 6 단계;
    상기 축소병합 영상에서 상기 이동객체의 식별 위치를 리사이징 비율로 역 매핑하여 상기 이동식별 원본 프레임에서 상기 이동객체의 노출 영역(이하, '이동객체 영역'이라 함)을 식별하는 제 7 단계;
    상기 이동식별 원본 프레임에서 상기 이동객체 영역을 잘라내어 상기 이동객체의 스냅샷을 획득하는 제 8 단계;
    를 포함하여 구성되는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 메타 정보는 상기 이동객체에 대한 크기와 위치, 생성지점과 소멸지점, 이동 속력, 이동 거리, 이동 경로, 체류시간 중 하나 이상을 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  5. 청구항 1에 있어서,
    상기 제 5 단계와 상기 제7 단계 사이에 수행되는,
    상기 수집된 메타 정보를 미리 설정한 임계조건과 비교하여 상기 식별된 이동객체를 유의미한 이동객체와 무의미한 이동객체로 구분함으로써 상기 식별된 이동객체를 필터링하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  6. 청구항 5에 있어서,
    상기 제 7 단계 이후에 수행되는,
    상기 이동객체의 스냅샷을 관제 요원에게 상기 원본 영상과는 시각적으로 구분되도록 제공하는 제 9 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법.
  7. 컴퓨터에 청구항 1, 4 내지 6 중 어느 하나의 항에 따른 재구조화 영상 처리를 통한 CCTV 저장영상의 이동객체 검출 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020160102090A 2016-08-11 2016-08-11 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법 KR101821989B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160102090A KR101821989B1 (ko) 2016-08-11 2016-08-11 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
US15/473,397 US10303952B2 (en) 2016-08-11 2017-03-29 Method of detecting a moving object by reconstructive image processing
PCT/KR2017/007620 WO2018030658A1 (ko) 2016-08-11 2017-07-15 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160102090A KR101821989B1 (ko) 2016-08-11 2016-08-11 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Publications (1)

Publication Number Publication Date
KR101821989B1 true KR101821989B1 (ko) 2018-01-25

Family

ID=61093997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160102090A KR101821989B1 (ko) 2016-08-11 2016-08-11 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Country Status (3)

Country Link
US (1) US10303952B2 (ko)
KR (1) KR101821989B1 (ko)
WO (1) WO2018030658A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230130294A (ko) 2022-03-03 2023-09-12 서울특별시 서초구 마커 인식 기반 객체 모니터링 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028687B2 (ja) 2018-03-23 2022-03-02 株式会社日立国際電気 放送システム
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10999534B2 (en) * 2019-03-29 2021-05-04 Cisco Technology, Inc. Optimized video review using motion recap images
CN111738053B (zh) * 2020-04-15 2022-04-01 上海摩象网络科技有限公司 一种跟踪对象确定方法、设备和手持相机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883632B1 (ko) * 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
KR100602900B1 (ko) 2004-02-09 2006-07-24 주식회사 네빌코리아 동영상 압축 처리방법
US7890556B2 (en) * 2007-04-04 2011-02-15 Sony Corporation Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program
KR101082665B1 (ko) * 2009-10-21 2011-11-14 한양대학교 산학협력단 관심 객체 추출 장치 및 방법
KR20110068784A (ko) 2010-05-06 2011-06-22 (주) 정훈데이타 영상 송신 장치, 영상 수신 장치, 이를 포함하는 영상 전송 시스템과 그 방법
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
KR101612483B1 (ko) 2015-02-17 2016-04-15 이노뎁 주식회사 실시간으로 카메라 영상을 분석하는 저장/분배 서버, 이를 포함하는 통합 관제 시스템 및 그 동작방법
CN105681751A (zh) * 2016-01-15 2016-06-15 上海小蚁科技有限公司 用于呈现视频的预览的方法、装置和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883632B1 (ko) * 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230130294A (ko) 2022-03-03 2023-09-12 서울특별시 서초구 마커 인식 기반 객체 모니터링 시스템

Also Published As

Publication number Publication date
US20180046866A1 (en) 2018-02-15
US10303952B2 (en) 2019-05-28
WO2018030658A1 (ko) 2018-02-15

Similar Documents

Publication Publication Date Title
KR101821989B1 (ko) 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법
US9208226B2 (en) Apparatus and method for generating evidence video
CN110235138B (zh) 用于外观搜索的系统和方法
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
Xiao et al. Video-based evidence analysis and extraction in digital forensic investigation
US8953044B2 (en) Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
KR101223424B1 (ko) 비디오 모션 검출
CN108665476B (zh) 一种行人跟踪方法以及电子设备
JP5722381B2 (ja) ビデオ解析
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
KR101884611B1 (ko) 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
JP2012088787A (ja) 画像処理装置、画像処理方法
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
Mohiuddin et al. A comprehensive survey on state-of-the-art video forgery detection techniques
Li et al. A dataset and evaluation methodology for visual saliency in video
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
e Souza et al. Survey on visual rhythms: A spatio-temporal representation for video sequences
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
KR101496287B1 (ko) 비디오 시놉시스 시스템 및 이를 이용한 비디오 시놉시스 방법
CN108334811B (zh) 一种人脸图像处理方法及装置
Shetty et al. Design and implementation of video synopsis using online video inpainting
Cózar et al. Detection of logos in low quality videos
Chan-Hon-Tong et al. Tracking based sparse box proposal for time constraint detection in video stream
KR102594803B1 (ko) 압축영상에 대한 신택스 기반의 동일인 검색 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant