KR101858663B1 - 지능형 영상분석 시스템 - Google Patents

Abstract

본 발명은 지능형 영상분석 시스템에 관한 것으로서, 지역 감시카메라들로 감시 지역을 기록한 동영상을 생산하여 전송시키는 관제센터; 상기 관제센터에서 전송된 동영상을 입력받아, 객체영상과 배경화면을 분리 추출하고 동영상 메타데이터를 생산하고 저장하여 동영상 내 출현 객체가 요약 인지되게 표시하는 관제서버로; 구성되어 사용자가 상기 관제서버에 접속하면 관제센터에서 생산된 동영상 내용을 상기 동영상 메타데이터를 보고 요약 인지할 수 있는 것을 특징으로 하는 지능형 영상분석 시스템을 기술적 요지로 한다.
본 발명에 의하여 관제센터로 모여지는 상기 각 지역 감시카메라들에서 생산된 동영상을 내용을 한 눈에 인지할 수 있게 요약하고 정보 부분만 추출 압축시켜 저장 용량과 영상 재생시간을 대폭 감소시켜 동영상 내 객체들을 쉽게 검색할 수 있는 지능형 영상분석 시스템이 제공되는 이점이 있다.

Description

지능형 영상분석 시스템{Intelligent image analysis system}

본 발명은 지능형 영상분석 시스템에 관한 것으로서, 지역 감시카메라들에서 생산된 동영상을 전부 수집하여 자동으로 동영상에 포함된 정보를 표시하는 레이블을 생성하여 동영상 내용을 요약 인지시키는 기술 분야와 동영상에서 필요한 부분만 추출 저장하여 저장 용량과 영상재생시간을 대폭 감소시키는 동영상 압축 요약 기술 분야에 속하는 것이다.

일반적으로 관제센터는 지역 감시카메라들로 감시 지역을 기록한 동영상을 생산하여 전송시키는 블록으로서, 도 12에서 보여지는 바와 같은 CCTV 통합관제센터와 같이 운영되고 있다.

지역 감시카메라로 CCTV가 이용되는 CCTV 통합관제센터는 행정안전부(현 행정자치부)가 2011년 5월, 방범용·재난감시용·교통단속용·시설물관리용 등으로 나뉘어 운용되던 CCTV를 전국 230개 시·군·구 단위로 통합·운영하는 CCTV 통합관제센터 구축지원 사업으로 구축되었다.

CCTV 통합관제센터에 의해 단순히 각 분야별로 사용하던 CCTV 영상을 도 12과 같이 한 곳에 모아서 정확하고 체계적으로 영상을 관제할 수 있게 되었다.

그러나, 갈수록 CCTV에 대한 요구는 증가되어 관제인력의 부족 현상이 심화되고 있다.

비교적 도시에서 외딴 지역에 해당되는 태안군을 예로 들어도, 현재 태안군 CCTV 통합관제센터에는 24명의 관제요원과 경찰, 그리고 행정공무원이 투입돼 24시간 근무하고 있으며, 순찰 중인 경찰관 등과도 긴밀한 연락체계로 긴급 상황 발생 시 신속하게 대응하고 있다. 또한, 방범 172대, 시설물관리 8대, 어린이보호 110대, 재난·방재 19대, 불법 주정차 단속 26대, 교통정보 16대, 학교 170대 등 고화질 CCTV 총 521대가 연계돼 있어 태안 전역의 우범지역을 24시간 모니터하고 있다.

이와 같은 CCTV에 대한 수요는 이제 각 지역적 규모에서 벗어나, 개개의 건물에도 증가되고 있으며, 지역별 건물별 센터(CCTV 통합관제센터)에서 각 지역에 분포된 감시카메라(CCTV)로 감시 지역을 기록한 동영상을 모니터하므로 관제 인력의 부족과 전문화 문제가 대두되고 있으며, 이를 해결하기 위하여 지능형 영상분석 장치에 대한 필요성이 대두되고 있다.

한편, 동영상에서 객체를 검출하는 기술은 이미 공지 기술 수준에 도달했는데, 대한민국 특허공개 10-2014-0119326 '동영상으로부터 객체를 검출하는 장치 및 방법', 대한민국 특허등록 10-1111046 '객체 검출 정보를 이용한 유사 동영상 검색 시스템 및 방법' 대한민국 특허등록 10-1526499 '객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법' 등이 이에 관한 기술들이다.

그러나, 이와 같은 공지 기술에 의존한다고 하더라도 종래기술에 의하면 모든 동영상의 재생을 위한 시간을 소비하여 객체 정보를 인지해야 하는 문제점이 있다.

대한민국 특허공개 10-2014-0119326 '동영상으로부터 객체를 검출하는 장치 및 방법', 대한민국 특허등록 10-1111046 '객체 검출 정보를 이용한 유사 동영상 검색 시스템 및 방법' 대한민국 특허등록 10-1526499 '객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법'

본 발명은 상기한 문제점과 필요성을 해소하기 위한 것으로서, 관제센터로 집약되는 각 지역 감시카메라들에서 생산된 동영상을 내용을 한 눈에 인지할 수 있게 요약하고 정보 부분만 압축, 저장, 재생시킴으로써 객체 정보들을 쉽게 검색할 수 있는 지능형 영상분석 시스템을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명은 지역 감시카메라들로 감시 지역을 기록한 동영상을 생산하여 전송시키는 관제센터; 상기 관제센터에서 전송된 동영상을 입력받아, 객체영상과 배경화면을 분리 추출하는 객체영상 추출장치, 상기 객체영상 추출장치에서 추출된 객체 영상 중에서 동일 객체를 판단하는 객체영상 비교장치, 상기 객체영상 비교장치의 판단을 받은 객체 영상에 동영상 내 출현 시간정보를 부가하고, 영상시간 대비 출현 객체 수 데이터를 생산하며, 전체 출현 객체와 출현시간 리스트를 작성하는 동영상 메타데이터를 생산하고 저장하며, 동영상 플레이어를 상기 동영상 메타데이터와 함께 출력시키되, 상기 동영상 메타데이터를 이용하여 상기 동영상 플레이어에 플레이 타임 라인바를 시간 축으로 하는 출현 객체 수 그래프를 연동 출력시켜 동영상 내 출현 객체가 요약 인지되게 표시하면서 관심 시간대 화면을 빠르게 확인할 수 있게 하며, 상기 동영상 메타데이터의 리스트를 클릭하면 상기 동영상 플레이어에 배경화면과 객체 영상을 합성시켜 객체 출현시간 정보와 함께 출력시키는 영상분석 서비스 장치로 이루어진 관제서버로; 구성되어 사용자가 상기 관제서버에 접속하면 관제센터에서 생산된 동영상 내용을 상기 동영상 메타데이터를 보고 요약 인지할 수 있는 것을 특징으로 하는 지능형 영상분석 시스템을 기술적 요지로 한다.

여기서, 상기 관제서버는 상기 관제 센터로 전송되는 전체 동영상에서 객체 동일성을 판단하여 상기 동영상 메타데이터를 생산함으로써, 동영상 메타데이터의 리스트 내 객체 영상을 클릭하면, 상기 동영상 플레이어에서 관제서버에 전송된 전체 동영상 중 동일 객체의 출현 동영상을 시간 순으로 정렬시키고, 각 동영상을 당해 동영상의 배경화면과 합성하여 출력시키는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 관제서버의 영상분석 서비스 장치는 상기 동영상 재생 디스플레이 화면을 분할시키고, 상기 동일 객체의 출현 동영상을 시간 순으로 분할된 화면에 정렬하여 출력시키는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 동영상 메타데이터는 각 동영상에 대하여 배경화면에 전체 출현 객체를 출현시간과 함께 표시한 요약 사진을 생산하는 것을 포함하여 구성되는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 요약 사진에는 출현 객체의 다수가 이동한 방향으로 HSV 색상표로 방향을 표시한 이동 벡터를 합성하여 메인스트림을 표시하는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 관제서버는 재생시 배경화면에 추출된 객체영상을 합성 출력되도록 전송된 각 동영상의 추출된 객체영상만을 압축하고 배경화면을 메모시킨 요약동영상을 저장 및 배포시키는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 요약동영상에는 상기 동영상 메타데이터로 생산되는 영상시간 대비 객체출현 수 그래프를 당해 동영상의 레이블로 표시하여, 사용자가 관제서버에 전송된 각 동영상의 레이블만으로 동영상의 객체 출현 상태를 인식할 수 있게 하는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 영상시간 대비 객체출현 수를 표시하는 그래프는 스펙트럼으로 표시되는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

또한, 상기 요약동영상에는 제4항 또는 제5항의 요약 사진을 레이블로 표시하여 사용자가 관제서버에 전송된 각 동영상의 레이블만으로 동영상의 객체 출현 상태를 인식할 수 있게 하는 것을 특징으로 하는 지능형 영상분석 시스템으로 되는 것이 바람직하다.

상기한 본 발명에 의하여 관제센터로 모여지는 상기 각 지역 감시카메라들에서 생산된 동영상을 내용을 한 눈에 인지할 수 있게 요약하고 정보 부분만 추출 압축시키고 저장 용량과 영상 재생시간을 대폭 감소시켜 동영상 내 객체들을 쉽게 검색할 수 있는 지능형 영상분석 시스템이 제공되는 이점이 있다.

도 1은 본 발명을 예시적으로 나타낸 시퀀스 다이어그램(sequence diagram)
도 2는 본 발명의 실시 구조도
도 3은 본 발명의 영상분석 서비스 장치에서 생산하는 레이블 예시도
도 4는 본 발명의 실시예를 설명하기 위한 동영상 예시도
도 5는 도 4의 동영상 배경화면
도 6은 도 4의 객체영상 정보 예시도
도 7은 전체 관제화면 예시도
도 8은 하나의 동영상에 대한 영상분석 서비스 장치의 디스플레이 예시도
도 9는 동영상에 대한 레이블 부착 예시도
도 10은 동영상에 대한 또 다른 레이블 예시도
도 11은 본 발명의 요약 사진에 대한 또 다른 일 실시예
도 12은 종래기술방식의 관제센터의 관제상태 사진

이하 도면을 참조하여 본 발명에 관하여 살펴보기로 하며, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있으므로 그 정의는 본 발명을 설명하는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하의 도 1은 본 발명을 예시적으로 나타낸 시퀀스 다이어그램(sequence diagram)이며, 도 2는 본 발명의 실시 구조도이며, 도 3은 본 발명의 영상분석 서비스 장치에서 생산하는 레이블 예시도이며, 도 4는 본 발명의 실시예를 설명하기 위한 동영상 예시도이며, 도 5는 도 4의 동영상 배경화면이며, 도 6은 도 4의 객체영상 정보 예시도이며, 도 7은 전체 관제화면 예시도이며, 도 8은 하나의 동영상에 대한 영상분석 서비스 장치의 디스플레이 예시도이며, 도 9는 동영상에 대한 레이블 부착 예시도이며, 도 10은 동영상에 대한 또 다른 레이블 예시도이며, 도 11은 본 발명의 요약 사진에 대한 또 다른 일 실시예이며, 도 12은 종래기술방식의 관제센터의 관제상태 사진이다.

도면에 도시된 바와 같이 본 발명은 지능형 영상분석 시스템에 관한 것으로서, 크게 관제센터(10)와 관제서버(20)로 구성되며, 상기 관제서버(20)에는 객체영상 추출장치(200), 객체영상 비교장치(210), 영상분석 서비스 장치(220)를 포함하여 이루어진다.

본 발명의 상기 관제센터(10)는 지역 감시카메라들로 감시 지역을 기록한 동영상을 생산하여 전송시키는 블록을 의미한다.

공지의 상기 관제센터의 실시예로는 도 12에서 보여지는 바와 같이 일반적으로 잘 알려진 CCTV 통합관제센터를 들 수 있으며, 이와 같은 실시예에서 본 발명의 상기 지역 감시카메라는 CCTV가 된다.

CCTV 통합관제센터는 행정안전부(현 행정자치부)가 2011년 5월, 방범용·재난감시용·교통단속용·시설물관리용 등으로 나뉘어 운용되던 CCTV를 전국 230개 시·군·구 단위로 통합·운영하는 CCTV 통합관제센터 구축지원 사업으로 구축되었다.

CCTV 통합관제센터에 의해 단순히 각 분야별로 사용하던 CCTV 영상을 도 12과 같이 한 곳에 모아서 정확하고 체계적으로 영상을 관제할 수 있게 되었다.

이와 같이 본 발명의 상기 관제센터와 같은 지역별 센터(CCTV 통합관제센터)에서는 각 지역의 감시카메라(CCTV)로 감시 지역을 기록한 동영상이 수집되며, 수많은 관제 요원들이 이를 모니터하고 있다.

본 발명은 상기 관제센터(10)로 모여지는 상기 각 지역의 감시카메라 생산 동영상을 내용확인을 위한 재생 필요없이 내용을 압축 요약한 레이블로 보여줌으로서, 관제 요원이 1개의 그림 또는 기호화면으로 동영상 전체 정보를 압축 이해되도록 한다.

이를 위하여 본 발명의 관제센터(10)는 도 2에 도시된 바와 같이 각 지역에 분포된 감시카메라(100)에서 생산한 동영상을 수집하여 관제서버(20)로 전송시킨다.

상기 관제서버(20)에는 도 1에 도시된 바와 같이 상기 관제센터(10)에서 전송된 동영상을 입력받아 객체영상과 배경화면을 분리 추출하는 객체영상 추출장치(200), 상기 객체영상 추출장치(200)에서 추출된 객체 영상 중에서 동일 객체를 판단하는 객체영상 비교장치(210), 상기 객체영상 비교장치(210)의 판단을 받은 객체 영상을 해석하는 영상분석 서비스 장치(220)가 포함되어 구성된다.

상기 객체영상 추출장치(200)는 동영상을 재생시키면서 배경화면과 객체를 분리 추출하는 장치이다.

일반적으로 카메라로 기록되는 동영상은 크게 2가지 종류로 분류시킬 수 있는데, 고정 카메라에 의해서 생산되어 배경이 고정되고 객체만 움직이는 동영상과 이동 카메라에 의해서 생산되어 배경과 객체가 함께 변화되는 동영상으로 구분된다.

현재 공지 기술수준은 고정 카메라에서 생산된 동영상에서 객체를 추출해 낼 뿐만 아니라, 이동 카메라에서 생산된 동영상에서도 객체를 성공적으로 추출해 내고 있다.

잘 알려진 객체추출 알고리즘으로는 카메라로 획득한 영상의 해상도를 향상시키는 B-Spline 보간법이 있다.

상기 B-Spline 보간법으로 영상의 해상도를 향상시키면 물체 인식률을 향상시킬 수 있는데, 상기 B-Spline 보간법은 전체 구간을 소구간 별로 나누어 저차수의 다항식으로 나타내어 보간하는 방법으로, 인접한 16개의 화소값과 거리에 따른 가중치의 곱을 사용하여 결정하는 알고리즘이다.

또 다른 알고리즘으로는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 영상 내 동일 객체들을 분류하고 관심 물체의 영상 영역을 인식할 수 있다.

물체를 인식하기 위해서는 특징점을 획득한 후 물체의 특징점과 비교하여 같은 물체인지 확인하기 위해 매칭이 필요한데, SIFT(Scale Invariant Feature Transform) 알고리즘은 이를 해결하기 위하여 도입된다.

기타 동영상에서 객체를 추출하기 위하여 동영상내 물체를 인식하는 알고리즘은 지금도 계속 진화하며 발전하고 있으며, 본 발명의 실현에 충분한 정도의 객체 추출은 이미 공지 수준에서 이루어지고 있다.

본 발명의 상기 객체영상 추출장치(200)는 이와 같은 알고리즘들을 도입하여 전송되어 온 동영상을 재생시키면서 배경화면과 객체를 분리 추출하는 장치로서, 상기 감시카메라(100)로 생산되고 전송된 모든 동영상을 자동 재생시키면서 객체를 분리 추출하고 추출된 객체영상을 저장한다.

본 발명은 상기 동영상의 종류 중에서 도 4에 예시된 바와 같이 고정된 감시카메라에 의해서 생산되는 동영상에 관한 것을 기본으로 한다.

따라서, 본 발명의 대상이 되는 동영상의 배경 화면은 항상 고정된 화면으로 전체 시간에서 마치 한장의 사진과 같다.

본 발명은 이에 착안하여 상기 동영상에서 도 5에 도시된 바와 같이 1개의 배경화면을 추출하고, 도 6에 도시된 바와 같이 상기 동영상에 출현하는 객체영상 정보를 독립 추출하여 저장한다.

이때, 추출된 객체영상은 투명 배경에 객체에 대한 화상 정보가 담기게 된다.(도 6의 회색 배경은 투명 배경을 도시한 것임)

본 발명의 객체영상 비교장치(210)는 상기 객체영상 추출장치(200)에서 추출된 객체 영상 중에서 동일 객체를 판단하는 비교장치이다.

상기 객체영상 비교장치(210) 역시 객체영상 추출 알고리즘을 도입하면 동일성 판단이 자동화된다.

상기 객체영상 비교장치(210)는 동일 객체가 1개의 동영상 또는 다른 동영상에서 복수 회 촬영된 경우에 이를 하나의 객체로 인지하여 추적하기 위한 것이다.

예를 들어, 도 7에 도시된 바와 같이 건물의 감시카메라(100)들에서 1시간 동안 생산한 동영상들 중에 객체가 3개의 동영상에 촬영된 경우, 상기 객체영상 비교장치에 의해 상기 3개의 동영상들에 찍힌 객체를 비교 판단하여 동일 객체 여부를 판단한다.

본 발명의 영상분석 서비스 장치(220)는 상기 객체영상 추출장치(200)와 객체영상 비교장치(210)에 의해 추출된 객체 영상의 정보를 활용하고 해석하여 동영상의 내용을 요약하고, 이를 제공하는 장치이다.

상기 영상분석 서비스 장치(220)는 일반적인 인터넷 접속페이지 화면으로 구성할 수 있다.

상기 영상분석 서비스 장치(220)는 상기 동영상에 대한 동영상 메타데이터를 생산한다.

본 발명에서 동영상 메타데이터는 다음과 같이 정의한다.

동영상 메타데이터(metadata)는 데이터(data)에 대한 데이터로 정의된다. Karen Coyle에 의하면 "어떤 목적을 가지고 만들어진 데이터 (Constructed data with a purpose)"라고도 정의한다. 가령 도서관에서 사용하는 서지기술용으로 만든 것이 그 대표적인 예이다. (이상 구글 위키백과 참조)

본 발명에서 동영상 메타데이터는 동영상 내 객체 출현을 표시하기 위한 목적으로 만들어진 데이터로서, 동영상의 내용을 표시하기 위한 서지기술용 데이터이다.

본 발명의 동영상 메타데이터는 텍스트 뿐만 아니라 시간 대비 객체출현수로 나타나는 그래픽 기반 또는 화면 기반을 포함하고 있다.

이와 같이 구성되는 본 발명의 동영상 메타데이터는 한 눈에 동영상의 전체 내용을 알 수 있게 하는 스펙트럼형 레이블로 제공되어 동영상의 내용을 확인하기 위한 재생 필요성을 감소시키고, 텍스트보다 빠르게 정보를 전달시키는 이점이 있다.

상기 본 발명의 동영상 메타데이터와 영상분석 서비스 장치의 설명을 위해서 우선 본 발명의 동영상에 대하여 고찰할 필요가 있다.

상기한 바와 같이 본 발명은 고정된 감시 카메라에 의해 생산되는 동영상으로서 객체의 이동을 감시하는 관제를 목적으로 한다.

이와 같은 실시예로서는 야간에 학교나 절과 같은 건물 내 감시 카메라에 촬영한 동영상을 관제 인력없이 판독하는 것을 예로 들 수 있다.

이동하는 객체가 거의 없는 절의 내부, 야간의 학교, 야간의 주차장 등과 같은 환경에서는 장시간 동안 배경화면만 촬영되며, 객체가 나타나는 경우는 매우 특별한 이벤트에 해당된다.

다시 도 4의 실시예와 함께 살펴보면, 도 4는 이동 객체가 매우 드문 절 내부의 감시카메라에 찍힌 동영상을 예시적으로 도시한 것이다.

도 4의 동영상에서 1 시간 내에 1개의 객체가 특정시간(09:08)에 1분간 출현하였다면, 이후 관제사가 상기 동영상을 빠르게 돌리면서 확인한다고 하더라도 동일 배경화면이 지속되므로 쉽게 지치고 피로해져 객체 출현을 놓칠 염려가 있다.

그런데, 동일 시간에 도 7과 같은 복수 개의 동영상이 생산된다면 이런 염려는 더 커지게 된다.

본 발명은 이를 해소하기 위한 것으로서, 도 4의 실시예에서 상기한 1 시간의 야간 촬영 동영상을 본 발명의 객체영상 추출장치(200)와 객체영상 비교장치(210)에 의해 도 5의 배경화면과 도 6의 객체 영상을 추출하고 배경화면과 추출된 객체영상 만을 저장하면 1시간 분량의 동영상 파일의 크기가 1개의 배경화면과 출현시간이 나타나는 1분의 객체 영상크기로 요약 및 압축된다.

즉, 본 발명에 의하면, 1 시간 크기의 동영상 파일을 1분의 객체영상과 객체 출현 시간에 대한 정보가 저장된 파일로 요약 및 압축할 수 있게 된다.

본 발명의 동영상 메타데이터는 이와 같이 관제센터(10)에서 전송되어 온 전체 동영상을 재생하면서 분리 추출시킨 당해 동영상의 배경화면과 객체 영상, 객체 영상의 출현시간 등의 기타 정보들로 정의된다.

또한, 상기 동영상 메타 데이터에는 당해 동영상에 나타나는 객체 전부의 리스트를 포함한다.

즉, 본 발명의 동영상 메타데이터는 동영상에 관한 정보를 구조화시킨 데이터로서, 상기 동영상 메타데이터에 의하면, 하나의 동영상에서 재생해야 확인 가능한 정보를 도 8에 도시된 바와 같이 간단한 리스트로 설명할 수 있으므로 동영상 메타데이터의 정의 '대량의 정보 가운데에서 찾고 있는 정보를 효율적으로 찾아내서 이용하기 위해 일정한 규칙에 따라 콘텐츠에 대하여 부여되는 데이터'로서의 요건을 만족한다.

이와 같은 본 발명의 동영상 메타데이터에 의하면, 동영상 정보 해석을 위하여 시간 자원이 필요했던 종래기술방식과 달리 시간 자원의 불필요한 소비없이 동영상 내에서 찾고 있는 객체 정보를 효율적으로 찾아내어 이용할 수 있게 된다.

예를 들어, 도 4의 동영상에 대하여 동영상 메타데이터에 의해 표현된 객체 리스트에서 09:08분의 객체를 클릭하면 상기 도 5의 배경화면과 도 6의 객체정보를 로딩하고 합성하여 출현 시간 정보와 함께 출력시켜, 마치 원래의 도 4 동영상에서 09:08분 대의 동영상만 재생된 것과 동일, 유사한 화면을 확인할 수 있게 된다.

이에 더하여, 도 8에서 보여지는 바와 같이 하나의 동영상에 대하여 리스트를 표시하는 경우, 도 8의 동영상 재생 디스플레이 화면을 출현한 객체 수만큼 분할시키고, 상기 동일 객체의 출현 동영상을 시간 순으로 분할된 화면에 정렬하여 디스플레이되도록 하면 하나의 화면에서 전체 동영상 정보를 일목요연하게 확인할 수도 있다.

또한, 전체 동영상에 대하여 객체 중심으로 리스트를 작성하는 경우에는 서로 다른 동영상에서 동일 객체를 시간순, 또는 분할화면으로 출력시킬 수도 있다.

즉, 상기 관제 센터로 전송되는 전체 동영상에서 객체 동일성을 판단하여 상기 동영상 메타데이터를 생산하면, 동영상 메타데이터의 리스트 내 객체 영상을 클릭하면, 상기 동영상 플레이어에서 관제서버에 전송된 전체 동영상 중 동일 객체의 출현 동영상을 시간 순으로 정렬시키고, 각 동영상을 당해 동영상의 배경화면과 합성하여 출력시킬 수 있게 된다.

한편, 본 발명의 영상분석 서비스 장치(220)는 도 8에 도시된 바와 같이 동영상 내 출현 시간정보를 부가하고, 영상시간 대비 출현 객체 수 데이터를 생산하며, 전체 출현 객체와 출현시간 리스트를 작성하는 동영상 메타데이터를 생산하고 저장한다.

상기 영상시간 대비 출현 객체 수 데이터는 도 3에 도시된 바와 같이 동영상 전체 내용을 한 눈에 인지시키는 그래프로 표시할 수 있으므로, 관제사는 당해 동영상에 대하여 영상시간 대비 출현 객체 수 그래프만 보고도 동영상 촬영시간 내 객체의 변화에 대해서 확인할 수 있게 된다.

또한, 도 8에 도시된 바와 같이 동영상 플레이어를 상기 동영상 메타데이터와 함께 출력시키되, 상기 동영상 메타데이터를 이용하여 상기 동영상 플레이어에 플레이 타임 라인바를 시간 축으로 하는 영상시간 대비 출현 객체 수 그래프를 연동 출력시켜 동영상 내 출현 객체가 요약 인지되게 표시하면서 관심 시간대 화면을 빠르게 확인할 수 있게 한다.

이 경우에는 도 3 또는 도 8의 영상시간 대비 출현 객체 수 그래프를 당해 동영상의 시간에 대한 정보를 가진 레이블로 표시하여 관제사가 출현 객체를 쉽게 확인할 수 있게 한다.

본 발명은 또한 도 3 또는 도 8의 영상시간 대비 출현 객체 수 그래프를 스펙트럼형 레이블로 형성시킬 수 있다.

상기 스펙트럼형 레이블의 의미는 도 3에 도시된 바와 같은 영상시간 대비 출현 객체 수 그래프를 도 9에 도시된 바와 같이 색채로 표시하는 경우 마치 스펙트럼처럼 보이기 때문에 정의한 것인데, 본 발명은 이와 같이 영상시간 대비 출현 객체 수 그래프를 스펙트럼형 레이블로 표현함으로써 더욱 일목 요연하게 객체 정보를 표시할 수 있다.

이와 같이 구성되는 본 발명에 따르면, 관제사가 상기 관제서버(20)에 접속하면 관제센터(10)에서 생산된 동영상을 재생할 필요없이 도 9에 도시된 바와 같이 동영상 레이블을 보고 동영상이 담고 있는 객체 정보를 인지할 수 있으므로 동영상 재생을 위한 시간 소비 필요성이 제거 된다.

일 실시예로서, 1개의 감시카메라가 매 1시간의 동영상을 1일 8개 생산한다고 하면, 관제사는 8개 동영상의 도 3 또는 도 8, 도 9의 레이블를 확인하는 것만으로도 1일 동영상에서 감지된 객체 영상 상태를 인지할 수 있게 된다.

이는 종래방식의 경우 8시간의 동영상 재생을 4배속으로 확인한다고 하더라도 전체 영상 내용 확인을 위해서는 2시간이 소비되는 것에 비하여, 본 발명에 의하면 1개의 화면에 표시되는 8개의 레이블만 확인하면 되므로 정보확인을 위한 동영상 재생 시간이 불필요해진다.

통상 관제센터의 감시카메라는 도 12에 도시된 바와 같이 50 ~100대에 이르는 경우도 많으며, 실시예와 같이 학교 건물이라고 하더라도 최소 10개가 넘는 경우는 다반사이다.

관제센터(10)에 감시카메라(100)가 10대이고, 각 감시카메라(100)가 매 1시간식 1일 8개의 동영상을 생산한다면 80개의 동영상을 1명의 관제사가 매일 확인하는 것은 시간상 물리적으로 불가능하다.

따라서, 종래의 기술방식에서는 물리적으로 동영상의 생산 및 보관만 할 수 있었으며, 확인 필요가 있는 경우에만 동영상을 재생하며 집중 확인할 수밖에 없었는데, 본 발명에 의하면 전체 1 화면으로 동영상에 기록된 1일 객체 상태를 파악할 수 있으므로 동영상의 생산 및 그에 담긴 내용의 확인이 가능해 진다.

한편, 상기 관제서버(20)는 상기 관제센터(10)로 전송되는 전체 동영상에서 객체 동일성을 판단하여 상기 동영상 메타데이터를 생산하도록 한다.

이는 도 7의 실시예와 같이 건물 내에 9개의 감시카메라가 있는 경우, 객체가 이동하는 동선에 따라 각 감시 카메라에 찍히게 되는데, 본 발명은 객체 추출 및 객체 비교가 가능하므로 다른 동영상에서 촬영된 객체 비교 역시 가능하다.

이에 따라 도 7과 같이 다른 동영상에 동일 객체가 찍히면 이를 연속 재생시켜 객체의 이동 동선이 자동으로 파악될 수 있게 한다.

예를 들어 상기 영상분석 서비스 장치(220)의 메인 화면에 객체리스트를 표시하고 상기 객체를 클릭하면 당해 객체가 촬영된 동영상을 시간순으로 재생시키거나 도 7에 도시된 바와 같이 화면을 분활시키고 순차 재생시키는 등의 방법으로 객체의 이동 동선이 자동으로 표시되게 할 수 있다.

이는, 상기 영상분석 서비스 장치(220)의 메인 화면 객체리스트 내 객체 영상항목을 클릭하면, 도 7에 도시된 바와 같이 상기 동영상 플레이어에서 관제서버에 전송된 전체 동영상 중 동일 객체의 출현 동영상을 시간 순으로 정렬시키고, 각 동영상을 당해 동영상의 배경화면과 합성하여 출력시키면 된다.

본 발명의 상기 관제서버(20)의 영상분석 서비스 장치(220)는 상기한 바와 같이 재생시 배경화면에 추출된 객체영상을 합성 출력되도록 전송된 각 동영상의 추출된 객체영상만을 압축하고 배경화면을 메모시킨 요약동영상을 저장 및 배포시킨다.

모든 동영상의 원본 저장은 관제서버(20)에 과부하가 걸리게 함과 동시에 보관 기간을 물리적으로 강요하게 된다.

본 발명은 관제서버(20)로 전송된 동영상을 상기 요약 동영상으로 가공하고 요약 압축하여 저장하고 관제사의 요청에 따라 배포되게 함으로서, 저장 용량 부담을 크게 덜게 되어 보관 기간에 대한 물리적 압박에서 자유롭게 되는 이점이 있다.

한편, 본 발명은 상기 영상분석 서비스 장치(220)에 배포하는 요약 동영상 리스트를 표시하면서 요약 동영상 리스트를 보는 것만으로 동영상의 내용을 한눈에 알 수 있도록 상기 동영상 메타데이터를 이용하여 동영상의 레이블을 생산한다.

이를 위하여 본 발명의 상기 동영상 메타데이터에는 각 동영상에 대하여 각 동영상의 배경화면에 당해 동영상의 전체 출현 객체를 출현시간과 함께 합성하여 생산한 1장의 요약 화면(요약사진)이 포함된다.

예를 들어 1시간 분량의 동영상에 서로 다른 시간에 출현하는 4개의 객체가 있다면, 도 8에 도시된 바와 같이 배경화면과 각 객체의 추출이미지를 출현시간과 함께 합성하여 1개 사진으로 구성하면 1개 사진을 보는 것으로 동영상의 전체 내용을 파악할 수 있다.

본 발명은 또한 동영상 내 출현하는 객체가 다수인 경우에 전체 객체 정보를 압축 요약하기 위하여 상기 요약화면에 HSV 색상표를 이용한다.

상기 요약사진에 의하면 도 11에 도시된 바와 같이 1장의 사진에 많은 객체가 출현하는 경우에, 다수 객체가 이동하는 방향을 메인스트림이라고 정의하면 1장의 사진에서 메인스트림을 읽어내기 위해서는 각 객체의 방향을 하나씩 살펴봐야 하므로 시간이 걸리는 문제점이 있다.

본 발명은 이를 해결하기 위하여, 메인스트림(다수 객체의 이동방향)에 대한 정보를 상기 요약화면에 표시하는데, 동영상 메타데이터에서 객체의 이동방향에 대한 메인스트림 정보를 획득한 후, 이를 HSV 색상표로 방향을 표시한 이동 벡터를 합성하여 출력시키면 객체의 이동에 관한 정보도 도 11에서 보여지는 바와 같이 1장의 사진에 요약해서 담을 수 있게 된다.

즉, 다수의 객체를 요약사진에 표현하면 메인스트림을 알기 위해서는 객체 하나하나의 방향을 살펴야하지만, 도 11과 같이 색상벡터를 이용하면 색상에서 메인스트림의 방향이 나타나므로 한눈에 용약사진에서 메인스트림에 관한 정보를 읽을 수 있게 된다.

이러한 1장의 요약 화면은 동영상 메타데이터에 포함시켜 언제든 활용가능하게 하는 것이 바람직하다.

본 발명에서는 상기한 바와 같이 상기 영상분석 서비스 장치에 동영상 리스트를 표시하면서 동영상 리스트를 보는 것만으로 동영상의 내용을 한눈에 알 수 있도록 상기 동영상 메타데이터를 이용하여 동영상의 레이블을 생산하는데, 상기 1장의 요약 사진을 동영상 레이블로 활용할 수 있다.

뿐만 아니라, 상기 요약동영상에는 도 9에 도시된 바와 같이 상기 동영상 메타데이터로 생산되는 영상시간 대비 객체출현 수 그래프를 당해 동영상의 레이블로 표시하여, 사용자가 관제서버에 전송된 각 동영상의 레이블만으로 동영상의 객체 출현 상태를 인식할 수 있게 한다.

한편, 상기 동영상 레이블은 서로 다른 객체가 출현하는 경우 도 10과 같이 색상을 달리하는 정보로 출현시키는 등 시간대비 객체수 그래프의 표현 형식은 다양하게 구성할 수 있다.

이상 본 발명의 설명을 위하여 도시된 도면은 본 발명이 구체화되는 하나의 실시예로서 도면에 도시된 바와 같이 본 발명의 요지가 실현되기 위하여 다양한 형태의 조합이 가능함을 알 수 있다.

따라서 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

10 : 관제센터
20 : 관제서버
200 : 객체영상 추출장치
210 : 객체영상 비교장치
220 : 영상분석 서비스 장치

Claims (9)

1. 지역 감시카메라들로 감시 지역을 기록한 동영상을 생산하여 전송시키는 관제센터;
   상기 관제센터에서 전송된 동영상을 입력받아, 객체영상과 배경화면을 분리 추출하는 객체영상 추출장치,
   상기 객체영상 추출장치에서 추출된 객체 영상 중에서 동일 객체를 판단하는 객체영상 비교장치,
   상기 배경화면과 상기 객체영상 비교장치의 판단을 받은 객체영상을 저장하며, 상기 객체영상에 동영상 내 출현 시간정보를 부가하고, 영상시간 대비 출현 객체 수 데이터와 전체 출현 객체와 출현시간 리스트를 작성하는 동영상 메타데이터를 생산하고 저장하며, 동영상 플레이어를 상기 동영상 메타데이터와 함께 출력시키되, 상기 동영상 메타데이터를 이용하여 상기 동영상 플레이어에 플레이 타임 라인바를 시간 축으로 하는 출현 객체 수 그래프를 연동 출력시켜 동영상 내 출현 객체가 요약 인지되게 표시하면서 관심 시간대 화면을 빠르게 확인할 수 있게 하며, 상기 동영상 메타데이터의 리스트를 클릭하면 상기 동영상 플레이어에 배경화면과 객체 영상을 합성시켜 객체 출현시간 정보와 함께 출력시키는 영상분석 서비스 장치를 포함하여 이루어진 관제서버로;
   구성되어 사용자가 상기 관제서버에 접속하면 관제센터에서 생산된 동영상 내용을 상기 동영상 메타데이터를 보고 요약 인지할 수 있는 것을 특징으로 하는 지능형 영상분석 시스템.
2. 제1항에 있어서 상기 관제서버는
   상기 관제 센터로 전송되는 전체 동영상에서 객체 동일성을 판단하여 상기 동영상 메타데이터를 생산함으로써,
   동영상 메타데이터의 리스트 내 객체 영상을 클릭하면, 상기 동영상 플레이어에서 관제서버에 전송된 전체 동영상 중 동일 객체의 출현 동영상을 시간 순으로 정렬시키고, 각 동영상을 당해 동영상의 배경화면과 합성하여 출력시키는 것을 특징으로 하는 지능형 영상분석 시스템.
3. 제2항에 있어서 상기 관제서버의 영상분석 서비스 장치는
   동영상 재생 디스플레이 화면을 분할시키고,
   상기 동일 객체의 출현 동영상을 시간 순으로 분할된 화면에 정렬하여 출력시키는 것을 특징으로 하는 지능형 영상분석 시스템.
4. 제1항에 있어서 상기 동영상 메타데이터는
   각 동영상에 대하여 각 동영상의 배경화면에 당해 동영상의 전체 출현 객체를 출현시간과 함께 합성시켜 생산한 요약 사진을
   포함하여 구성되는 것을 특징으로 하는 지능형 영상분석 시스템
5. 제4항에 있어서 상기 요약 사진에는
   출현 객체의 다수가 이동한 방향으로 HSV 색상표로 방향을 표시한 이동 벡터를 합성하여 메인스트림을 표시하는 것을 특징으로 하는 지능형 영상분석 시스템.
6. 제1항에 있어서 상기 관제서버는
   전송된 각 동영상의 추출된 객체영상과 배경화면, 객체정보가 포함된 메모시킨 요약동영상을 저장 및 배포시켜 재생시 배경화면에 추출된 객체영상을 합성 출력시키는 것을 특징으로 하는 지능형 영상분석 시스템.
7. 제6항에 있어서 상기 요약동영상에는
   상기 동영상 메타데이터로 생산되는 영상시간 대비 객체출현 수를 표시하는 그래프를 당해 동영상의 레이블로 표시하여, 사용자가 관제서버에 전송된 각 동영상의 레이블만으로 동영상의 객체 출현 상태를 인식할 수 있게 하는 것을 특징으로 하는 지능형 영상분석 시스템.
8. 제7항에 있어서 상기 영상시간 대비 객체출현 수를 표시하는 그래프는
   스펙트럼으로 표시되는 것을 특징으로 하는 지능형 영상분석 시스템.
9. 제6항에 있어서 상기 요약동영상에는
   제4항 또는 제5항의 요약 사진을 레이블로 표시하여 사용자가 관제서버에 전송된 각 동영상의 레이블만으로 동영상의 객체 출현 상태를 인식할 수 있게 하는 것을 특징으로 하는 지능형 영상분석 시스템.

Images