KR101113515B1 - 감시카메라를 이용한 비디오 색인 시스템 및 방법 - Google Patents

Abstract

본 발명은 감시카메라를 이용한 비디오 색인 시스템에 관한 것으로서, 특히 다수의 감시카메라에서 촬영된 영상을 시간순으로 저장하는 영상 저장 모듈과, 상기 다수의 감시카메라에서 촬영된 영상 및 상기 영상 저장 모듈에서 전송되는 이벤트 영상을 수집하는 영상 수집 모듈과, 상기 영상 수집 모듈에서 수집된 영상에서 에지(edge) 정보를 검출하고, 상기 에지 정보를 분석하여 이용하여 얼굴 또는 차량을 포함한 얼굴 영상과 물체 영상을 추출하는 물체 추출 모듈과, 상기 물체 추출 모듈에서 검출된 얼굴 영상과 물체 영상에 색인 정보를 삽입하는 물체 색인 모듈과, 상기 물체 색인 모듈에서 색인 정보가 추가된 물체 영상 또는 얼굴 영상에 대한 색인 자료를 기록 및 관리하는 데이터베이스와, 상기 영상 저장 모듈에서 녹화 영상 검색 조건 범위에 해당하는 영상을 전달받아 얼굴 또는 차량에 대한 검색 조건에 따라 데이터베이스에서 색인 자료를 추출하는 영상 검색 모듈, 및 상기 영상 검색 모듈에서 얼굴 인식용 이미지 정보가 전달되면 상기 물체 추출 모듈에서 얼굴 영상을 전달받아 상기 얼굴 인식용 이미지 정보와 비교하여 얼굴 인식 결과를 상기 영상 검색 모듈에 전달하는 얼굴 인식 모듈을 포함하는 것을 특징으로 한다.
따라서, 본 발명은 우수한 얼굴 또는 차량 색인 및 검색 성능을 확보할 수 있을 뿐만 아니라 얼굴 인식의 신뢰성을 높일 수 있고, 실종 미아, 범인이나 범죄 이용 차량 등의 이미지 데이터를 토대로 손쉽게 관리자가 원하는 날자나 시간대에 색인된 이미지 자료를 검색할 수 있으며, 사전에 범죄를 예방할 수 있을 뿐만 아니라, 실종 미아를 찾거나 범인 및 범죄 이용 차량 검거하는데 소요되는 비용이나 시간을 절감할 수 있다.

Description

감시카메라를 이용한 비디오 색인 시스템 및 방법{Video index system using surveillance camera and the method thereof}

본 발명은 감시카메라를 이용한 비디오 색인 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다수의 감시카메라에서 수집된 영상을 분석하여 얼굴 영상과 물체 영상을 구분하고, 각 얼굴 영상과 물체 영상에 색인 정보를 추가하여 기록 및 관리함으로써 색인된 차량이나 얼굴 검색 및 얼굴 인식을 단시간에 용이하게 수행할 수 있는 감시카메라를 이용한 비디오 색인 시스템 및 방법에 관한 것이다.

최근 각종 범죄 및 사고가 급증하고 있어 사고 예방을 위해 DVR(Digital Video Recoder)이 내장된 CCTV(Closed Circuit Television) 카메라를 시설물의 출입구 및 경계구역 등에 설치하여 사물의 출입을 촬영하며 그 영상을 관리(근무)자가 육안으로 모니터를 통해 감시하고 동시에 그 영상을 영상기록 저장 장치에 자동으로 저장하는 일반적인 CCTV 시스템이 많이 설치되고 있다.

이러한 CCTV 시스템은 일반 주택가, 놀이터 등 주변 곳곳에 설치되는 비율이 증가하고 있고, 매년 증가하고 있는 대인 범죄, 대물 범죄, 차량 이용 범죄 등이 CCTV 시스템을 통해 어느정도 감소하고 있으며 이러한 사실은 여러 방송 매체를 통해서 직접 또는 간접적으로 확인할 수 있다.

상기 CCTV 시스템은 사고가 발생 되면 CCTV 카메라에서 촬영된 영상이 저장된 영상 저장장치에서 영상을 모니터에 재생시켜 범죄자를 인식하는 방법이 주로 사용되고 있으나, 실제 저장된 영상을 보면 얼굴 등을 모자, 색안경, 마스크, 우산, 양산 등으로 가리거나 범인이나 차량에 대한 정보가 있더라도 모든 영상을 일일이 비교해가며 검색해야 하므로 검색 시간이 많이 소요되고, 모니터링 요원의 실수로 인해 범인이나 차량을 정확하게 검거하는데 도움이 되지 못하는 경우가 대부분이다.

또한, 상기 영상 저장장치에 저장된 CCTV 카메라에서 촬영된 영상에서 범죄와 관련된 사람이나 차량을 검색해 내는 것은 쉬운 일이 아니다. 매년 증가되는 CCTV 시스템, 한정된 모니터링 요원, 일어나는 범죄의 증가 등 제한된 인원이 더 많은 CCTV 모니터를 실시간으로 정확하고 빠르게 찾아내기는 사실상 불가능하고, 제약사항이 많으며, 범인이나 차량에 대한 검색 결과를 신뢰할 수 없어 여전히 모니터링 전문 인력이 요구된다.

한편 군사시설, 정부시설, 대형공장, 항만, 공항, 콘테이너 야적장, 유류저장시설, 문화재시설, 빌딩, 아파트 등 외부인이 침입할 수 없는 방대한 장소를 관리(근무)자가 모니터를 통해 감시하거나, 간헐적으로 도로상에서 발생하는 교통사고를 관리(근무)자가 모니터를 통해 지속적으로 감시한다는 것은 관리자 휴식, 근무교대, 인수 인계 등으로 인해 현실적으로 불가능한 실정이다.

또한 CCTV에서 촬영된 영상을 관리자가 모니터를 통해 지속적으로 보며 침입금지 경계구역에 외부인이 침입하는 것을 감시하는 것은 현실적으로 어려운 일이다.

따라서, 실제 CCTV 시스템은 매년 증가하지만 실제 그 성능을 다 발휘하지 못하고 있으므로, 영상 저장장치에 저장된 영상을 분석 및 색인화 하고, 이렇게 색인화 된 데이터를 검색하는 작업, 실시간으로 입력되는 데이터 영상과 비교 대상 영상을 비교하여 그 결과를 알려주는 알고리즘이 절실히 필요하다.

따라서, 본 발명의 목적은 다수의 감시카메라에서 수집된 영상을 분석하여 얼굴 영상과 물체 영상을 구분하고, 각 얼굴 영상과 물체 영상에 컬러 정보, 크기 정보를 포함하는 색인 정보를 추가하여 기록 및 관리함으로써 색인된 차량이나 얼굴 검색 및 얼굴 인식을 단시간에 용이하게 수행할 수 있고, 그로 인해 범죄를 예방할 수 있으며, 범인이나 범죄 이용 차량을 쉽고 빠르게 검거할 수 있도록 하는 감시카메라를 이용한 비디오 색인 시스템을 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 감시카메라를 이용한 비디오 색인 시스템은, 다수의 감시카메라에서 촬영된 영상을 시간순으로 저장하는 영상 저장 모듈과, 상기 다수의 감시카메라에서 촬영된 영상 및 상기 영상 저장 모듈에서 전송되는 이벤트 영상을 수집하는 영상 수집 모듈과, 상기 영상 수집 모듈에서 수집된 영상에서 에지(edge) 정보를 검출하고, 상기 에지 정보를 분석하여 얼굴 또는 차량을 포함한 얼굴 영상과 물체 영상을 추출하는 물체 추출 모듈과, 상기 물체 추출 모듈에서 검출된 얼굴 영상과 물체 영상에 색인 정보를 삽입하는 물체 색인 모듈과, 상기 물체 색인 모듈에서 색인 정보가 추가된 물체 영상 또는 얼굴 영상에 대한 색인 자료를 기록 및 관리하는 데이터베이스와, 상기 영상 저장 모듈에서 녹화 영상 검색 조건 범위에 해당하는 영상을 전달받아 얼굴 또는 차량에 대한 검색 조건에 따라 데이터베이스에서 색인 자료를 추출하는 영상 검색 모듈, 및 상기 영상 검색 모듈에서 얼굴 인식용 이미지 정보가 전달되면 상기 물체 추출 모듈에서 얼굴 영상을 전달받아 상기 얼굴 인식용 이미지 정보와 비교하여 얼굴 인식 결과를 상기 영상 검색 모듈에 전달하는 얼굴 인식 모듈을 포함하는 것을 특징으로 한다.

또한, 상기 영상 저장 모듈은 상기 감시카메라에서 촬영된 영상을 사진 파일로 저장하고, 상기 사진 파일명을 영상 획득 시간으로 지정하는 것을 특징으로 한다.

그리고, 상기 물체 추출 모듈은 캐니 에지 검출(Canny Edge Detection)을 사용하여 에지 정보를 검출하고, 상기 에지 정보를 분석하여 에지 내부의 컬러 영상의 RGB 데이터와 에지 크기를 분석하는 것을 특징으로 한다.

한편, 상기 물체 추출 모듈은 제1 검색 조건을 최소 임계값 ＜ 에지의 크기 ＜ 최대 임계값으로 하고, 제2 검색 조건을 최소 얼굴 인식 RGB 데이터 ＜ 에지 내부의 컬러 영상의 RGB 데이터 ＜ 최대 얼굴 인식 RGB 데이터로 하여, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족할 경우에 사람의 얼굴로 인식하여 얼굴 영상으로 하고, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족하지 않는 경우에 사람의 얼굴이 아닌 물체로 인식하여 물체 영상으로 하는 것을 특징으로 한다.

여기서, 상기 물체 추출 모듈은 얼굴 영상에서 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 상기 물체 색인 모듈은 데이터베이스에 상기 얼굴 영상에 컬러 정보를 색인 정보로 추가하여 저장하는 것을 특징으로 한다.

한편, 상기 물체 추출 모듈은 상기 물체 영상의 에지 정보를 기반으로 호프 변환(Hough Transform)을 실행하여 일정 크기 이상의 직선 성분을 검출한 후에 제3 검색 조건을 최소 개수 ＜ 검출 직선 성분의 개수 ＜최대 개수로 하고, 제4 검색 조건을 최소 각도 ＜ 에지 각도 ＜ 최대 각도로 하고, 상기 제3 검색 조건과 제4 검색 조건을 모두 만족하면 상기 물체 영상이 차량(car) 영상이라고 판단하는 것을 특징으로 한다.

그리고, 상기 물체 추출 모듈은 차량 영상에서 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 상기 물체 색인 모듈은 데이터베이스에 상기 차량 영상에 컬러 정보를 색인 정보로 추가하여 저장하는 것을 특징으로 한다.

한편, 상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 감시카메라를 이용한 비디오 색인 방법은, 다수의 감시 카메라에서 촬영된 영상을 시간순으로 영상 저장 모듈에 저장하는 제1 단계와, 상기 영상 저장 모듈에 저장된 영상을 분석하여 에지(edge) 정보와 컬러 정보를 검출하고, 상기 에지 정보를 분석하여 얼굴 또는 차량을 포함한 얼굴 영상과 물체 영상을 추출하는 제2 단계와, 상기 제2 단계에서 추출된 얼굴 영상과 물체 영상에 컬러 정보를 포함한 색인 정보를 추가하여 색인화하여 데이터베이스에 저장하여 관리하는 제3 단계와, 상기 영상 저장 모듈에서 녹화 영상 검색 조건 범위에 해당하는 영상을 전달받아 얼굴 또는 차량에 대한 검색 조건을 토대로 상기 데이터베이스에서 색인 정보를 추출하여 상기 검색 조건에 해당하는 영상을 검출하는 제4 단계로 이루어진 것을 특징으로 한다.

이때, 상기 제1 단계에서는 영상을 확대하여 확대 영상으로 저장하고, 상기 확대 영상별 영상 획득 시간 정보를 포함하는 것을 특징으로 한다.

또한, 상기 제2 단계에서는, 제1 검색 조건을 최소 임계값 ＜ 에지의 크기 ＜ 최대 임계값으로 하고, 제2 검색 조건을 최소 얼굴 인식 RGB 데이터 ＜ 에지 내부의 컬러 영상의 RGB 데이터 ＜ 최대 얼굴 인식 RGB 데이터로 하여, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족할 경우에 사람의 얼굴로 인식하여 얼굴 영상으로 하고, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족하지 않는 경우에 사람의 얼굴이 아닌 물체로 인식하여 물체 영상으로 하는 것을 특징으로 한다.

그리고, 상기 제2 단계에서는, 상기 얼굴 영상에서 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 상기 제3 단계에서는 상기 데이터베이스에 상기 얼굴 영상에 컬러 정보를 색인 정보로 추가하여 저장하는 것을 특징으로 한다.

또한, 상기 제2 단계에서는 상기 물체 영상의 에지 정보를 기반으로 호프 변환(Hough Transform)을 실행하여 일정 크기 이상의 직선 성분을 검출한 후에 제3 검색 조건을 최소 개수 ＜ 검출 직선 성분의 개수 ＜최대 개수로 하고, 제4 검색 조건을 최소 각도 ＜ 에지 각도 ＜ 최대 각도로 하고, 상기 제3 검색 조건과 제4 검색 조건을 모두 만족하면 상기 물체 영상이 차량(car) 영상이라고 판단하는 것을 특징으로 한다.

그리고, 상기 제2 단계에서는 상기 차량 영상에서 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 상기 제3 단계에서는 상기 데이터베이스에 상기 차량 영상에 컬러 정보를 색인 정보로 추가하여 저장하는 것을 특징으로 한다.

상기와 같은 감시카메라를 이용한 비디오 색인 시스템에 따르면, 감시카메라로부터 수집된 영상을 분석하여 얼굴 영상과 물체 영상을 추출하고, 컬러 정보와 크기 정보를 포함한 색인 정보를 얼굴 영상과 물체 영상에 색인화하여 데이터베이스에 통합 저장함으로써 우수한 얼굴 또는 차량 색인 및 검색 성능을 확보할 수 있을 뿐만 아니라 얼굴 인식의 신뢰성을 높일 수 있는 효과가 있다.

또한, 본 발명은 실종 미아, 범인이나 범죄 이용 차량 등의 이미지 데이터를 토대로 손쉽게 관리자가 원하는 날자나 시간대에 색인된 이미지 자료를 검색할 수 있고, 사전에 범죄를 예방할 수 있을 뿐만 아니라, 실종 미아를 찾거나 범인 및 범죄 이용 차량 검거하는데 소요되는 비용이나 시간을 절감할 수 있는 효과도 있다.

도 1은 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 시스템의 전체 구성이 도시된 블록도,
도 2는 본 발명의 실시예에 적용되는 RGB 상자가 도시된 도면,
도 3은 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 방법이 도시된 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.

도 1은 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 시스템의 전체 구성이 도시된 블록도이고, 도 2는 본 발명의 실시예에 적용되는 RGB 상자가 도시된 도면이다.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 시스템은, 크게 주변 곳곳에 설치된 다수의 감시 카메라(11)로 구성된 로컬 장치(10)와, 상기 감시 카메라(11)에서 촬영된 영상을 저장 및 분석하여 얼굴 영상과 물체 영상을 추출하고, 외부에서 입력되는 얼굴 및 차량 검색 조건에 부합하는 영상을 찾아내는 센터 장치(20)로 구분된다.

특히 센터 장치(20)는, 다수의 감시카메라(11)에서 촬영된 영상을 시간정보와 함께 저장하는 영상 저장 모듈(21)과, 상기 다수의 감시카메라(11)에서 촬영된 영상 및 상기 영상 저장 모듈(21)에서 전송되는 이벤트 영상을 수집하는 영상 수집 모듈(22)과, 상기 영상 수집 모듈(22)에서 수집된 영상을 분석하여 에지(edge) 정보를 검출하고, 상기 에지 정보를 이용하여 얼굴 또는 차량을 포함한 얼굴 영상과 물체 영상을 추출하는 물체 추출 모듈(23)과, 상기 물체 추출 모듈(23)에서 검출된 얼굴 영상과 물체 영상에 컬러 정보와 크기 정보와 같은 색인 정보를 삽입하는 물체 색인 모듈(24)과, 상기 물체 색인 모듈(24)에서 색인 정보가 추가된 물체 영상 또는 얼굴 영상에 대한 색인 자료를 기록 및 관리하는 데이터베이스(25)와, 상기 영상 저장 모듈(21)에서 녹화 영상 검색 조건 범위에 해당하는 영상을 전달받아 얼굴 또는 차량에 대한 검색 조건에 따라 데이터베이스에서 색인 자료를 추출하는 영상 검색 모듈(26), 및 상기 영상 검색 모듈(26)에서 얼굴 인식용 이미지 정보가 전달되면 상기 물체 추출 모듈(23)에서 얼굴 영상을 전달받아 상기 얼굴 인식용 이미지 정보와 비교하여 얼굴 인식 결과를 상기 영상 검색 모듈(26)에 전달하는 얼굴 인식 모듈(25)을 포함하지만 이에 한정되지는 않는다.

또한, 상기 센터 장치(20)의 상기 영상 저장 모듈(21), 영상 수집 모듈(22), 물체 추출 모듈(23), 물체 색인 모듈, 데이터베이스(25), 영상 검색 모듈(26), 및 얼굴 인식 모듈(25)은 모듈화될 수 있지만, 각각 서버로 구성될 수도 있다.

한편, 상기 영상 저장 모듈(21)은 상기 감시카메라(11)에서 촬영된 영상을 확대하여 사진 파일로 저장하고, 상기 사진 파일명을 영상 획득 시간으로 지정함으로써 영상 검색 모듈(26)에서 검색하고자 하는 물체가 출현한 시간을 파일명을 이용하여 손쉽게 검색할 수 있다.

상기 물체 추출 모듈(23)은 캐니 에지 검출(Canny Edge Detection)을 사용하여 에지 정보를 검출하고, 상기 에지 정보를 분석하여 에지 내부의 컬러 영상의 RGB 데이터를 분석하여 에지의 크기를 분석한다.

상기 캐니 에지 검출 방법은 최적의 에지 검출기법으로서 입력된 영상의 노이즈(noise)를 줄이기 위해 아래 수학식 1과 같이 표현될 수 있는 가우시안 평활 필터(Gaussian Smoothing Filter)를 이용하여 균등화를 실시하고, 기울기의 크기를 계산한다.

이때, 기울기의 크기를 계산하기 위해서는 x, y축 소벨(Sobel) 연산자를 사용하고, 기울기의 방향도 소벨 연산자에 의해 구해진 x, y축 벡터(vector)로 구해질 수 있다.

상기 기울기의 방향은 0, 45, 90, 135를 기준점으로 180의 크기에서 5가지 구역으로 나누어 진행하고, 정해진 기울기 방향에 따라 비최대치 억제(non-maximum suppression)를 적용한다.

이는 정해진 기울기 방향에 존재하는 균등화된 픽셀(equlized pixel) 값 중 최대치(maximum)를 제외하고, 0으로 지정하는 것으로 최소한의 에지를 구할 수 있게 된다. 그리고, 에지 결정은 히스테리시스(hysteresis) 기법을 사용하여 에지를 이루는 픽셀 값의 편차가 클 경우 단일한 임계값이 적용된다면 에지의 일정 부분이 제거되는 것을 방지하기 위해 사용되어진다.

최소 임계값(T_low)과 최대 임계값(T_high)보다 큰 값은 에지로 간주되고, 최소 임계값(T_low)보다 작은 값은 에지가 아닌 것(non-edge)으로 간주되며, 최소 임계값과 최대 임계값 사이의 값은 주변에 최대 임계값 이상인 값이 있을 경우에 에지로 간주된다.

이렇게 하여 검출된 에지 정보를 물체 추출 모듈(23)에서 분석하는데, 에지 내부의 컬러 영상의 영상 데이터 정보, 즉 RGB 데이터를 분석하고, 에지 크기를 분석한다.

먼저, 상기 물체 추출 모듈(23)은 제1 검색 조건을 최소 임계값 ＜ 에지의 크기 ＜ 최대 임계값으로 하고, 제2 검색 조건을 최소 얼굴 인식 RGB 데이터 ＜ 에지 내부의 컬러 영상의 RGB 데이터 ＜ 최대 얼굴 인식 RGB 데이터로 하여, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족할 경우에 사람의 얼굴로 인식하여 얼굴 영상으로 하고, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족하지 않는 경우에 사람의 얼굴이 아닌 물체로 인식하여 물체 영상으로 한다.

여기서, 상기 물체 추출 모듈(23)은 얼굴 영상에서 RGB 0~ 255까지의 값을 이용하여 사람의 얼굴 픽셀 좌표 하단의 컬러 정보를 확인한다.

즉, 도 2에 도시된 바와 같이 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 사각형의 8개 꼭지점(Red, Green, Blue, White, Black, Cyan, Magenta, Yellow)의 데이터값과 현재 픽셀의 거리가 가장 가까운 꼭지점 값이 픽셀의 색 정보가 된다.

예를 들어, 검정색은 수학식 2와 같고, 빨강색은 수학식 3과 같으며, 파랑색은 수학식 4와 같으므로, 나머지 흰색, 검정색, 파랑과 초록의 결합색인 시안(Cyan), 빨강과 파랑의 결합색인 마젠타(Magenta), 빨강과 초록의 결합색인 노랑색 순으로 각 8개 꼭지점과 거리를 다 구한 후에 최단 거리를 가지고 있는 것이 그 픽셀의 색정보로 판단한다.

그 후, 상기 물체 색인 모듈(24)은 데이터베이스(25)에 상기 얼굴 영상에 컬러 정보를 색인 정보로 추가하여 저장한다.

한편, 상기 물체 추출 모듈(23)은 상기 물체 영상의 에지 정보를 기반으로 호프 변환(Hough Transform)을 실행하여 일정 크기 이상의 굵은 직선 성분을 검출한다.

그리고, 제3 검색 조건을 최소 개수 ＜ 검출한 굵은 직선 성분의 개수 ＜최대 개수로 하고, 제4 검색 조건을 최소 각도 ＜ 에지 각도 ＜ 최대 각도로 하여, 상기 제3 검색 조건과 제4 검색 조건을 모두 만족하면 상기 물체 영상이 차량(car) 영상이라고 판단한다.

이때, 호프 변환은 영상에서 선 성분을 검출해주는 알고리즘으로서, 일반적인 직선의 방정식이

라고 한다면, 이 직선의 방정식을 파라미터 도메인의 방정식(

)로 변환하고, p와

에 관한 방정식으로 바꾼 후에 파라미터 x와 y 값을 역으로 추출하여 물체 영상에서 직선 성분을 획득할 nt 있다.

또한, 상기 에지 각도는 수학식 5를 통해 구할 수 있다.

그러면, 상기 물체 색인 모듈(24)은 데이터베이스(25)에 상기 차량 영상에 컬러 정보를 색인 정보로 추가하여 저장한다.

이하, 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 시스템의 동작에 대해 도면을 참조하여 보다 구체적으로 설명한다.

도 3은 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 방법이 도시된 순서도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 감시카메라를 이용한 비디오 색인 방법은, 로컬 장치(10)의 감시카메라(11)에서 촬영된 영상을 영상 저장 모듈(21)에 저장하는데, 각 영상을 확대하여 사진 파일로 저장하고, 영상 획득 시간을 파일명으로 한다.

물체 추출 모듈(23)은 상기 영상 저장 모듈(21)에서 전송되는 이벤트 영상과 영상 수집 모듈(22)에서 다수의 감시 카메라(11)로부터 실시간 수집된 영상을 캐니 에지 검출을 사용하여 에지 정보를 검출하고, 상기 에지 정보를 분석하여 에지 내부의 컬러 영상의 RGB 데이터와 에지 크기를 분석한다.

이때, 상기 물체 추출 모듈(23)은 제1 검색 조건을 에지의 크기가 최소 임계값과 최대 임계값 사이의 값, 제2 검색 조건을 에지 내부의 컬러 영상의 RGB 데이터가 최소 얼굴 인식 RGB 데이터(피부색 정보 등)와 최대 얼굴 인식 RGB 데이터의 사이의 값으로 하여, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족할 경우에 사람의 얼굴로 인식하여 얼굴 영상으로 하고, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족하지 않는 경우에 사람의 얼굴이 아닌 물체로 인식하여 물체 영상으로 한다.

한편, 상기 물체 추출 모듈(23)은 상기 물체 영상의 에지 정보를 기반으로 호프 변환(Hough Transform)을 실행하여 일정 크기 이상의 굵은 직선 성분을 검출한 후에 제3 검색 조건을 최소 개수 ＜ 검출한 굵은 직선 성분의 개수 ＜최대 개수로 하고, 제4 검색 조건을 최소 각도 ＜ 에지 각도 ＜ 최대 각도로 하여, 상기 제3 검색 조건과 제4 검색 조건을 모두 만족하면 상기 물체 영상이 차량(car) 영상이라고 판단한다.

그 후, 물체 색인 모듈(24)은 상기 물체 추출 모듈(23)에서 추출한 얼굴 영상에 피부색, 인상 착의(옷 색상) 정보, 키 등의 크기 정보를 색인화하여 데이터베이스(25)에 저장하고, 상기 차량 영상에 차량의 색상이나 크기 정보를 색인화하여 데이터베이스(25)에 저장한다.

영상 검색 모듈(26)은 실종 미아나 기타 범죄와 관련된 사람의 사진 등 얼굴 인식용 이미지 정보를 얼굴 인식 모듈(25)에 전달하면, 상기 얼굴 인식 모듈(25)은 물체 추출 모듈(23)에서 실시간 얼굴 영상을 전달받아 상기 얼굴 인식용 이미지 정보와비교하여, 상기 얼굴 인식용 이미지 정보에 부합되는 얼굴 영상을 상기 영상 검색 모듈(26)에 전달한다.

또한, 상기 영상 검색 모듈(26)은 특정 날자 또는 시간대에 차량 검색을 실시할 경우에, 영상 저장 모듈(21)로부터 검색 조건 범위의 녹화 영상을 전달받은 후에 차량의 색상이나 크기 정보 등의 검색 조건에 따라 데이터베이스(25)를 검색하여 색인 자료를 추출한다. 현재 시간 정보를 이용하여 저장된 동영상과의 시간 정보 연계를 한다.

이때, 상기 영상 검색 모듈(26)은 각 영상마다 영상 획득 시간 정보를 포함하고 있으므로 검색 조건에 해당하는 날자 및 시간대에 색인된 이미지(얼굴 또는 차량)을 검색하거나 얼굴 인식을 실행할 수 있다.

이와 같이, 상기 물체 색인 모듈(24)에서 추가되는 색인 정보는 물체 추출 모듈(23)에서 사람의 얼굴과 차량을 구분하여 얼굴 영상과 차량 영상을 전달하면, 상기 얼굴 영상에 사람의 인상 착의 피부색이나 옷의 색 정보, 키 등의 크기 정보를 포함하고, 상기 차량 영상에 차량의 색상 정보를 포함한다.

따라서, 외부에서 입력되는 사람의 얼굴이나 차량 이미지 정보를 토대로 상기 영상 검색 모듈(26)은 데이터베이스(25)에서 색인 정보 중 어느 하나의 정보에 상응하는 영상을 화면에 출력하도록 한다.

이때, 상기 영상 검색 모듈(26)은 DVR과 연계하여 DVR 내에 저장된 동영상을 동시에 출력할 수도 있다.

한편, 상기 영상 검색 모듈(26)은 관리자가 실종 미아, 범인, 범죄 이용 차량 등의 이미지 정보들을 검색 조건으로 미리 세팅해 둘 경우에, 자동으로 실시간 색인된 이미지 검색 및 얼굴 인식을 실행하고, 상기 검색 조건 중 특정한 이미지 정보에 부합하는 영상이 포착된 경우에 관리자나 경찰서 등에 SMS나 MMS를 이용하여 통보할 수 있도록 통신부(도시되지 않음)가 설치될 수 있다.

또한, 관리자가 검색 조건 세팅시, 경찰 내의 범죄 정보 및 실종 정보와 연계하여 위험 등급을 설정하고, 상기 검색 조건에 부합되는 영상이 포착된 경우에 해당 영상의 위험 등급에 따라 SMS나 MMS에 위험 등급을 표기하여 통보할 수 있고, 또 위험 등급이 낮은 경우에는 불필요한 경찰이나 소방 출동이 방지되도록 관리자에게만 통보하지만 위험 등급이 높아질수록 112나 119 등과 바로 연동하여 경찰이나 소방 출동이 이루어지도록 할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 로컬 장치 11 : 감시 카메라
20 : 센터 장치 21 : 영상 저장 모듈
22 : 영상 수집 모듈 23 : 물체 추출 모듈
24 : 물체 색인 모듈 25 : 데이터베이스
26 : 영상 검색 모듈 27 : 얼굴 인식 모듈

Claims (13)

1. 다수의 감시카메라에서 촬영된 영상을 시간순으로 저장하는 영상 저장 모듈과,
   상기 다수의 감시카메라에서 촬영된 영상 및 상기 영상 저장 모듈에서 전송되는 이벤트 영상을 수집하는 영상 수집 모듈과,
   상기 영상 수집 모듈에서 수집된 영상에서 에지(edge) 정보를 검출하고, 상기 에지 정보를 분석하여 얼굴 또는 차량을 포함한 얼굴 영상과 물체 영상을 추출하는 물체 추출 모듈과,
   상기 물체 추출 모듈에서 검출된 얼굴 영상과 물체 영상에 색인 정보를 삽입하는 물체 색인 모듈과,
   상기 물체 색인 모듈에서 색인 정보가 추가된 물체 영상 또는 얼굴 영상에 대한 색인 자료를 기록 및 관리하는 데이터베이스와,
   상기 영상 저장 모듈에서 녹화 영상 검색 조건 범위에 해당하는 영상을 전달받아 얼굴 또는 차량에 대한 검색 조건에 따라 데이터베이스에서 색인 자료를 추출하는 영상 검색 모듈, 및
   상기 영상 검색 모듈에서 얼굴 인식용 이미지 정보가 전달되면 상기 물체 추출 모듈에서 얼굴 영상을 전달받아 상기 얼굴 인식용 이미지 정보와 비교하여 얼굴 인식 결과를 상기 영상 검색 모듈에 전달하는 얼굴 인식 모듈을 포함하고,
   상기 영상 저장 모듈은 상기 감시카메라에서 촬영된 영상을 사진 파일로 저장하고, 상기 사진 파일명을 영상 획득 시간으로 지정하며,
   상기 물체 추출 모듈은 캐니 에지 검출(Canny Edge Detection)을 사용하여 에지 정보를 검출하고, 상기 에지 정보를 분석하여 에지 내부의 컬러 영상의 RGB 데이터와 에지 크기를 분석하고,
   상기 물체 추출 모듈은 제1 검색 조건을 최소 임계값 ＜ 에지의 크기 ＜ 최대 임계값으로 하고, 제2 검색 조건을 최소 얼굴 인식 RGB 데이터 ＜ 에지 내부의 컬러 영상의 RGB 데이터 ＜ 최대 얼굴 인식 RGB 데이터로 하여, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족할 경우에 사람의 얼굴로 인식하여 얼굴 영상으로 하고, 상기 제1 검색 조건과 제2 검색 조건을 모두 만족하지 않는 경우에 사람의 얼굴이 아닌 물체로 인식하여 물체 영상으로 하며,
   상기 물체 추출 모듈은 얼굴 영상에서 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 상기 물체 색인 모듈은 데이터베이스에 상기 얼굴 영상에 컬러 정보를 색인 정보로 추가하여 저장하고,
   상기 물체 추출 모듈은 상기 물체 영상의 에지 정보를 기반으로 호프 변환(Hough Transform)을 실행하여 일정 크기 이상의 직선 성분을 검출한 후에 제3 검색 조건을 최소 개수 ＜ 검출 직선 성분의 개수 ＜최대 개수로 하고, 제4 검색 조건을 최소 각도 ＜ 에지 각도 ＜ 최대 각도로 하고, 상기 제3 검색 조건과 제4 검색 조건을 모두 만족하면 상기 물체 영상이 차량(car) 영상이라고 판단하며,
   상기 물체 추출 모듈은 차량 영상에서 RGB 상자의 데이터를 이용하여 원하는 픽셀의 RGB 값과 각 RGB 방향의 벡터 거리를 구해서 최단거리의 컬러 정보를 획득하고, 상기 물체 색인 모듈은 데이터베이스에 상기 차량 영상에 컬러 정보를 색인 정보로 추가하여 저장하는 것을 특징으로 하는 감시카메라를 이용한 비디오 색인 시스템.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제

Images