KR20130047131A - 이동형 단말기를 이용한 영상감시 방법 및 시스템 - Google Patents

Abstract

본 발명은 CCTV(Closed Circuit Television) 영상에서 모션 감지만으로 추적되는 비효율적 시스템의 문제점을 개선한 감시보안용 스마트 영상보안 기술에 관한 것으로, 특히 사람과 차량을 정확히 인지하는 스마트 영상감시방법을 이용하여 특정장소에서만 활용되는 감시보안기술이 아닌 이동형 단말기를 통해 데이터의 체계적인 관리 및 활용도를 극대화한 이동형 단말기를 이용한 영상감시 방법 및 시스템을 제공한다.

Description

이동형 단말기를 이용한 영상감시 방법 및 시스템{Method and system for surveilling contents of surveillance using mobile terminal}

본 발명은 CCTV(Closed Circuit Television) 영상에서 모션 감지만으로 추적되는 비효율적 시스템의 문제점을 개선한 감시보안용 스마트 영상보안 기술에 관한 것으로, 특히 사람과 차량을 정확히 인지하는 스마트 영상감시방법을 이용하여 특정장소에서만 활용되는 감시보안기술이 아닌 이동형 단말기를 통해 데이터의 체계적인 관리 및 활용도를 극대화한 이동형 단말기를 이용한 영상감시 방법 및 시스템에 관한 것이다.

정보산업사회로 발전할수록 안전에 대한 욕구가 커짐에 따라 국가적인 차원에서 보안에 대한 관심이 높아지고 있으며, 그에 따른 CCTV설치 또한 기하급수적으로 늘어가고 있는 실정이다.

그러나 대부분 보안기술이 오픈소스 및 해외 개발소스를 활용하는 사례가 많아 현지화 적용이 사실상 불가능하다. 따라서 영상처리기술의 기반기술을 모듈화하여 시장동향에 맞는 시스템개발과 영상처리 적용분야에 폭넓게 활용할 수 있는 기술의 필요성이 증대되고 있다.

한국의 경우, 행정안전부가 2011년 1월부터 국비와 지방비 408억원을 투자하여 서울 중구, 노원구 등 34개 시·군·구에 CCTV 통합관제센터를 구축하고 있으며, 2015년까지 2,800억원을 추가 투자하여 전국 시·군·구에 CCTV통합관제센터를 구축할 계획에 있다. 또한, 각 광역시는 여러 곳의 구 CCTV를 통합하여 시·군·구의 초등학교 CCTV와 연계한 광역단위 통합관제센터로 구축하고 있다.

그러나 현재 시·군·구에서 운영중인 CCTV는 업무별, 용도별 특성에 따라 각기 개별적으로 설치되어 있어 기 설정된 용도 이외에는 사용할 수 없고, 각종 범죄 발생 시에 CCTV 영상정보를 공유할 수 없어 비효율적이다.

보안산업은 매년 10%이상 성장하고 있으며 보안산업 중 CCTV와 같은 영상보안은 미래 보안사업에서 가장 유망한 분야 중 하나로서, 과거 비디오테이프 저장방식(VCR; Video Cassette Recorder)의 아날로그 방식에서 2000년 이후 디지털 영상저장장치(DVR; Digital Video Recorder)로 대체되면서 향후 디지털 영상을 이동형 단말기를 통해 실시간으로 분석하여 판단하고 대응할 수 있는 스마트 영상감시 시스템으로 발전할 것으로 예상된다.

국내·외 시장에서 보안에 대한 중요성이 높아지면서 영상감시 시장의 방향이 네트워크와 이동형 단말기의 장점을 결합한 스마트 보안 솔루션으로 진화하고 있어 국내 업체들이 시장 선점에 주력해야 하는 상황이다.

스마트패드 시장의 경우 2015년이 되면 전 세계 시장 규모가 2억대를 웃돌 것이란 전망이 나오고 있으며, 디스플레이뱅크에 따르면 세계 스마트패드 시장은 2011년 6천4백만 대로 증가한 뒤, 2012년 1억3천4백만 대, 2013년 1억3천4백만 대, 2014년 1억7천2백만 대, 2015년에는 2억1천1백만대에 이를 것으로 전망된다.

한편, 시장조사업체 IMS에 따르면 지난해 전세계 영상감시 시장은 82억6천6백만 달러 시장에서 2014년 144억7천4백만 달러 시장으로 연평균 약 10% 성장할 것으로 예상되며, 특히 전체 영상감시 시장에서 22.9%(18억8천9백만 달러)를 차지하고 있는 네트워크 기반 제품은 2014년 43.5%(62억9천3백만 달러)까지 성장이 예상돼 향후 영상감시 시장은 네트워크 기반 제품이 주도할 것으로 예상되고 있다.

또한, 영상감시뿐만 아니라 출입통제, 침입탐지 부분까지 포함하면 관련 시장은 세 배까지 확대되며, 네트워크와 디지털 기반 영상감시 장비는 아날로그 제품에 비해 가격이 2배 가량 높은 고부가가치 제품이다.

전세계적으로 영상감시 시장은 아직까지 아날로그 제품이 주류를 이루고 있지만, 관련 시장 제품 수명주기가 짧아지고 있고, 관공서와 회사뿐만 아니라 일반 소비자들도 지능형 스마트 제품을 선호하고 있어 지속적 시장성장이 예상된다.

국내 영상감시 시장은 본격적으로 시장이 열리지 않아 국내보다 해외 수출 비중이 높을 것으로 판단하며, 2011년 국내 영상감시 시장은 약 3000억 원으로 추산된다. 세계 영상감시 장비 부문은 파나소닉, 보쉬, JVC, 하니웰 등 해외 업체들이 주도하고 있지만, 네트워크와 디지털 분야에서 강점을 가지고 있는 국내 업체들에게 스마트(지능형) 제품으로의 전환은 해외진출 성공 가능성을 높일 수 있는 중요한 계기가 될 것이 틀림없다.

현재 우리나라는 DVR 종주국임에도 불구하고 세계적인 위상은 낮고, DVR 종주국을 자처함에도 불구하고 전문적인 국제전시회도 이루어지지 못하기 때문에, 막대한 비용을 감수하고 해외 전시회에 참여해야만 바이어 발굴 및 신상품소개의 기회를 얻을 수 있는 열악한 상황이다.

따라서 국내 보안기술이 세계적으로 인정받기 위해 지능화된 영상보안기술을 자체기술로 개발하고 관련 서비스 개발을 통해 발전시켜야 하는 숙제를 안고 있다.

또한, 현재의 CCTV 모니터링 시스템은 운영자가 2대 이상의 모니터를 동시에 감시하는 경우에 12분 경과 시 위반상황의 45%를 눈치채지 못하며, 22분 경과 시 위반상황의 95%를 놓치게 되는 문제점이 발생한다. 이러한 상황에서 보안 시스템을 구축하고 운영요원을 늘린다 해도 감지기능의 효율을 기대할 수 없으며, 비용만 지출되는 상황이 지속되므로 해당 보안 시스템을 운영하는 측의 손실은 피할 수 없게 된다.

관련 선행기술로는 한국특허공개공보 제10-2003-0033877호(2003.05.01. 공개, 이하 “선행기술1”이라 함)의 '움직임 감지에 의한 영상 자동 전송이 가능한 이동 전화단말 장치와 그 방법'을 살펴볼 수 있다. 상기 선행기술1은 차세대 이동통신 단말기에 적용되는 움직임 감지에 의한 영상 자동 전송 방법 및 그를 이용한 이동 전화 단말 장치에 관한 것으로, 카메라에 포착된 영상을 통해 움직임을 감지하면 단말기가 미리 지정된 번호로 전화를 걸어 동영상 또는 정지 영상 및 음성 신호를 전달할 수 있도록 하는 영상 자동 전송 방법 및 그를 이용한 이동 전화 단말 장치를 제공한다.

그러나 상기 선행기술1은 객체 추적 시, CCTV(Closed Circuit Television) 영상에서 모션 감지만으로 추적하다 보니, 사물의 그림자 및 바람, 눈, 비에 대한 환경변화에 매우 취약하여 실질적으로 추적하고자 하는 대상을 추적하는데 있어서 매우 비효율적인 문제점이 있다.

또 하나의 관련 선행기술로 한국특허공개공보 제10-2011-0029927호(2011.03.23. 공개, 이하 “선행기술2”라 함)의 '모바일 차량번호 자동인식방법'이 있다. 상기 선행기술2는 차량번호 자동인식을 위한 모든 하드웨어를 하나의 단일 시스템에 통합하여 휴대 이동 가능하도록 함으로써 차량진입이 불가능한 장소에서는 적용하지 못했던 문제점을 해결하기 위한 것으로, 모바일 차량번호 자동인식시스템이 외부센서의 인식에 따라 카메라부를 작동시켜 카메라부로부터 수신된 영상신호를 보정하여 번호판영상신호 영역에서 번호판문자를 인식한다.

상기 선행기술2는 휴대형의 경우 소형 및 경량이어야 하기 때문에 고품질의 영상을 취득하기가 어려운 취약점을 영상보정이라는 기술을 적용하여 입력된 영상의 품질을 향상시켜 처리하기 때문에 열악한 환경에서도 번호판 검지 및 문자 인식을 높일 수 있다는 장점이 있지만, 차량번호 인식만을 위해 새로운 장치와 시스템을 구매하고 휴대하여야 하는 문제점이 추가로 발생한다.

따라서 전술한 바와 같이, 국내·외의 시장 상황을 비롯한 보안 시스템 시장의 기술적 요구와 소비자들의 편익을 고려하여, 이동형 단말기를 통하여 보안 관리자가 설정한 규칙에 위반되는 움직임이나 행동을 카메라 영상으로부터 자동으로 즉시 감지하여 경고할 수 있는 스마트한 영상감시 방법과 시스템이 절실히 요망된다.

상술한 문제를 해결하기 위하여, 본 발명의 목적은 사고현장의 CCTV를 통해 사고차량에 대한 번호판 인식 및 차량의 정보를 센터로 전송함으로써, CCTV 종합센터 및 경찰청 모니터에 사고차량에 대한 구간별 이동경로 정보를 확인하여 실시간으로 경찰차량에 전송하는 이동형 단말기를 이용한 영상감시 방법 및 시스템을 제공하는데 있다.

또한, 본 발명의 다른 목적은 카메라를 통해 실시간으로 얼굴인식이 가능함으로써 자동으로 용의자 탐색 및 검거 정보를 제공할 수 있는 이동형 단말기를 이용한 영상감시 방법 및 시스템을 제공하는데 있다.

상술한 목적을 달성하기 위하여, 본 발명에 따른 이동형 단말기를 이용한 영상감시 시스템은, CCTV, LOOP COIL, Laser 검지기 중 적어도 어느 하나를 포함하는 촬영수단; 상기 촬영시스템에서 촬영된 영상에서 사람과 차량을 인지 및 추적하는 제어수단; 상기 제어시스템에서 인지 및 추적된 영상을 유무선 통신망을 통해 수신하여 저장 및 관리하는 치안관제서버; 및 상기 치안관제센터시스템에서 전송되는 영상을 수신하여 화면에 표시하는 이동형 단말기;를 포함하는 것을 특징으로 한다.

이때, 본 발명에 따른 이동형 단말기를 이용한 영상감시 시스템에 있어서 상기 제어수단은, 상기 촬영시스템에서 촬영된 영상에서 차량번호판을 이미지 전처리하여 차량번호판 위치를 검지해서 차량을 판별하는 차량인지모듈과, 상기 촬영시스템에서 촬영된 영상에서 사람을 이미지 전처리하여 얼굴을 검출하여 사람을 판별하는 사람인지모듈 및 원본 영상인 RAW파일을 압축률이 좋은 H.264 방식으로 저장 및 검색하는 이벤트정의 및 이벤트별 영상저장모듈을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법은, CCTV에서 촬영된 영상에서 차량번호판 위치를 검지하여 3차원 계산 접근법에 의하여 차량번호를 검출하는 차량인지 과정; 겹쳐진 물체인지와 위치추적 및 다중카메라 객체추적을 통해 사람을 추적하고, 얼굴영역 검출, 얼굴영역 정규화 및 얼굴영역 내 특징 추출을 추출하는 얼굴인지 과정; 및 상기 CCTV영상을 RAW 파일로 이벤트별로 H.264 방식으로 저장 및 검색하는 과정;을 포함하는 것을 특징으로 한다.

이때, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법에 있어서 상기 얼굴인지 과정은, 상기 추출된 얼굴로부터 얼굴 구성요소(표정)를 분석하고, 상기 추출된 사람의 손동작(제스처)을 인지하여 인지된 객체의 동작과 행동을 인지하는 단계와, 배경차분 및 장면차분과 적응형 배경 모델링을 통해 객체추출의 배경 모델링을 수행하고, 화소, 블랍, 객체 등 레벨을 검출하여 객체를 추출하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 보안 정책에 따른 관리자의 접근 레벨 지원을 지원하며, 카메라 영상 데이터의 품질 보장 및 영상 스트림의 실시간 기록 및 지능적인 빠른 탐색 지원이 가능한 장점이 있다.

또한, 본 발명은 각종 센서, DVR, CCTV, IP-Camera, Network Camera 등과 같은 다양한 보안기기와 자연스러운 연동이 가능하다.

또한, 본 발명은 관심지역 설정 및 기후변화에 강건하게 움직임을 감지할 수 있으며, 감지된 객체의 분류 인식 기술, 객체의 움직임 히스토리를 이용한 행동 인식 기술을 적용하여 더욱 정확한 감지 및 감시가 가능한 장점이 있다.

또한, 본 발명은 즉각적인 대응을 위한 경보 발생 및 다양한 알람 기술을 적용하며, 직관적인 인터페이스를 구비한 지능형 관제 시스템의 통합기술을 제공한다는 장점이 있다.

또한, 본 발명은 보안감시 시장에서 세계적으로 요구되고 있는 네트워크와 이동형 단말기의 장점을 결합한 스마트 보안 솔루션을 제공할 수 있으며, 관공서와 기업뿐만 아니라 일반 소비자들이 선호하는 지능형 스마트 제품을 제공함으로써 네트워크와 디지털 강점을 가지고 있는 국내 업체가 고부가가치 시장에 접근할 수 있는 기회를 제공할 수 있는 효과가 있다.

도 1은 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법을 수행하는 시스템의 개념도,
도 2는 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법의 개념도,
도 3a 및 도 3b는 본 발명에 따른 이동형 단말기를 이용한 영상감시 시스템의 CCTV 차량번호 인식 프로그램 화면 구성도,
도 4는 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법을 이용한 CCTV 얼굴인식 영상관제시스템의 서비스 구성도,
도 5a 및 도 5b는 객체가 등장할 때와 퇴장할 때 객체추적을 위한 카메라 위상인지 처리순서를 각각 나타낸 도면,
도 6a 및 도 6b은 객체추출의 배경모델링을 위한 입력영상과 파노라마 배경영상을 나타낸 사진,
도 7a 내지 7c는 도 6a 및 도 6b의 사진에서 배경과의 차분영상, 이웃 프레임과의 차분영상 및 병합된 영상을 각각 나타낸 도면,
도 8은 아다부스트 알고리즘을 적용한 객체추출의 얼굴검출 과정을 나타낸 사진,
도 9a 및 도 9b는 하나의 카메라에서의 위치인식 및 여러 개의 카메라에서의 위치인식 원리를 도시한 도면,
도 10은 일반적인 영상처리에 의한 영상과, 본 발명에 적용되는 다중스펙트럼 영상처리에 의한 영상을 나타낸 도면.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명은 감시보안용 스마트 영상보안 기술에 관한 것으로서, 기술적 특징에 대한 개략적인 개념은 도 1 및 도 2와 같다. 도 1은 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법을 수행하는 시스템의 개념도이고, 도 2는 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법의 개념도이다.

도 1 및 도 2를 참조하면, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템은 CCTV, LOOP COIL, Laser 검지기 등을 포함할 수 있는 촬영시스템에서 촬영된 CCTV영상에서 사람과 차량을 정확히 인지하는 스마트 영상보안 기술로서, 제어시스템으로부터 분석된 영상을 치안관제센터로부터 특정장소에서만 활용되는 감시보안기술이 아닌 이동형 단말기를 통해 데이터의 체계적인 관리 및 활용도를 극대화한 감시보안용 스마트 영상보안 솔루션이다.

따라서 본 발명은 감시하고자 하는 사물 또는 사람을 객체추적(모션감지 + 차번검출 + 얼굴인지)하여 환경변화에 강하고 감시하고자 하는 대상을 좀 더 실질적이고 명확하게 추적 및 감시할 수 있는 기술을 개발하고, 이동형 단말기에 연계할 수 있도록 한 것에 기술적 특징이 있다.

본 발명에 따른 이동형 단말기를 이용한 영상감시 방법에 있어서, 사람 추적기술(People Tracking)은 겹쳐진 물체인지(Occluded Object Recognition), 위치추적 및 다중카메라 객체추적 기법이 핵심이 되고, 얼굴인지(Face Recognition)는 얼굴영역 검출기술, 얼굴영역 정규화기술 및 얼굴영역 내 특징 추출기술을 포함하며, 다수물체 어소시에이션(Associatoin)과 추적에 있어서는 다수의 평면을 이용하여 3차원 계산 접근방식을 바탕으로 다중물체를 추적하는 기술이 특징적이다. 한편, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법은 더 많은 압축률과 개선된 인식 품질을 적용하기 위하여 원본영상인 RAW파일을 압축률이 좋은 H.264 압축 표준을 적용하여 저장 및 검색한다.

본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템에 적용되는 영상처리기술은 실시간으로 입력되는 영상 스트림으로부터 프레임간 차영상, 배경과의 차영상 등을 이용한 객체추출 및 추적기술을 향상시킨 기술로서, 검출된 사람, 자동차의 구별이 가능한 객체인식 기술, 검출된 객체의 궤적 정보나 움직임 히스토리를 분석한 행동 인식 기술 및 화재 도난 등과 같은 사건 분석 기술을 포함하며, 영상 이외의 센싱 데이터 처리 기술은 입력된 오디오를 이용한 상황 인식 및 위치 추적기술을 향상시킨 것이고, 센서 제어기술은 능동형 PTZ카메라의 제어 및 움직임에 따른 PTZ카메라 제어 기술과 야간 적외선 영상 처리기술을 포함하며, 데이터 융합 및 분석기술은 저장된 영상데이터에서 특정 인물, 사건을 검색하는 기술 및 카메라 이상 유무와 유/무선 네트워크의 상태 파악과 카메라의 전력 지원 기술을 포함한다.

본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템은 하드웨어적으로는 일반적인 영상감시시스템을 구성하는 영상/음향장비, 서버/운영PC, 스토리지, 네트워크 및 보안시스템에 이동형 단말기를 추가한 것이고, 방법적으로는 최근의 통합관제 메인솔루션, 저장분배솔루션, 통합모니터링 솔루션 및 GIS모니터링 솔루션 전부 또는 각각에 스마트 영상감시 솔루션을 융합한 것이다. 한편, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템은 기반시설로서 출입통제시스템, 공조시설, 전기설비 및 소방설비를 이용할 수 있으며, 관제실, 장비실 및 임의의 이동지역에서 활용이 가능하다.

도 3a 및 도 3b는 본 발명에 따른 이동형 단말기를 이용한 영상감시 시스템의 CCTV 차량번호 인식 프로그램 화면 구성도로서, 도 3a는 사고현장 CCTV를 통해 촬영된 현장 화면으로부터 센터로 전송되는 사고차량에 대한 번호판 인식 및 차량의 정보를 나타낸 것이고, 도 3b는 사고차량에 대한 구간별 이동경로 정보를 확인하고 실시간 검거 경찰 차량에 전송하여 활용할 수 있는 CCTV종합센터 및 경찰청 모니터 화면을 나타낸 것이다.

도 4는 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법을 이용한 CCTV 얼굴인식 영상관제시스템의 서비스 구성도로서, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법은 실시간 얼굴인식 카메라를 통한 자동 용의자 탐색 및 검거 정보를 제공할 목적으로 CCTV 얼굴인식 영상관제 시스템을 구축할 수 있다.

도 4에 도시된 바와 같이, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법을 적용한 CCTV 얼굴인식 영상관제서비스는 은행/현금인출기, 학교/우범지역, PC방/찜질방 등의 다양한 장소에 설치된 얼굴인식 CCTV로부터 촬영된 얼굴영상이 본 발명에 따른 정보시스템서버에서 용의자 사진과 비교, 분석되어 센터 및 일선 경찰에게 해당 용의자의 위치가 즉각 전송됨으로써, 검거 경찰이 즉시 전송된 위치로 출동함으로써 검거율을 높일 수 있다.

이에 따라, 24시간 상시 용의자를 실시간 얼굴인식 및 통보로 용의자 선별이 용이하고, DB 및 검색시스템을 이용함으로써 수사력 및 행정력의 낭비를 절감할 수 있으며, DB의 축적과 지속적 인식 개선을 통해 사회안정망을 더욱 견고히 구축할 수 있다.

전술한 바와 같이, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법은 모션감지+차량인지+사람인지 기술이 융합된 스마트 영상 감지 솔루션을 구축하기 위하여, CCTV영상의 차량인지 모듈과, CCTV영상의 사람인지 모듈 및 CCTV영상의 이벤트정의 및 이벤트별 영상저장 모듈로 구성된다.

상기 CCTV영상의 차량인지 모듈은 다수물체의 어소시에이션과 추적을 수행하는 것으로서, 다수의 평면을 이용한 3차원 계산 접근법이 사용된다.

상기 CCTV영상의 사람인지 모듈은 겹쳐진 물체인지와 위치추적 및 다중카메라 객체추적 등이 포함되는 객체추적의 사람추적기술과, 얼굴영역 검출기술, 얼굴영역 정규화기술 및 얼굴영역 내 특징 추출기술을 포함하는 객체인지의 얼굴인지 기술이 포함된다.

상기 기술 이외에도, 상기 사람인지 모듈은 객체추적의 카메라 위상 인지를 위하여 시간모델 및 다중카메라 네트워크 시공간 자동구성 기법을 이용하며, 객체인지의 감정인지를 위하여 얼굴 구성요소(표정분석) 관계기술을 사용하고, 제스처 인식(OpenCV 및 Directshow기술 이용)기술을 이용하여 객체인지의 손동작을 인지하며, 모션히스토리 및 SVM(Support Vector Machines) 기술을 이용한 객체인지의 동작과 행동을 인지할 수 있을 뿐만 아니라, 배경차분 및 장면차분과 적응형 배경 모델링을 통해 객체추출의 배경 모델링을 수행하고, 화소, 블랍, 객체 등 레벨을 검출하여 객체를 추출한다.

객체추출의 얼굴검출은 지식기반방법, 특징기반방법, 형판정하방법 및 외형기반방법이 사용될 수 있으며, 객체추적의 물체추적에는 파티클 필터링이 사용될 수 있다. 또한, 객체추적의 비주얼신호를 이용한 물체 추적에는 카메라 트래킹, 다중 카메라 위치인식 및 영상 내 객체위치 인식 기법이 사용되며, 센서정보활용 어소시에이션을 통해 객체추적의 음성센서와 영상센서를 융합한 물체추적이 이루어지고, 다중스펙트럼 영상처리를 통해 객체추적의 다중스펙트럼이 처리된다.

상기 CCTV영상의 이벤트정의 및 이벤트별 영상저장 모듈은 원본영상인 RAW 파일을 압축률이 좋은 H.264방식으로 저장 및 검색하는 기술이다.

이하, 도 5a 내지 도 10b를 참조하여 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법을 구성하는 CCTV영상의 차량인지 모듈과, CCTV영상의 사람인지 모듈 및 CCTV영상의 이벤트정의 및 이벤트별 영상저장 모듈을 더욱 상세히 설명한다.

먼저, CCTV영상의 차량인지 모듈은 저장된 영상에서 차량번호판을 이미지 전처리(Harr-like) 과정을 거쳐 차량번호판 위치를 검지해서 차량인지를 판별하는데, 이를 위하여 다수의 평면을 이용한 3차원 계산 접근법을 통해 다수물체 어소시에이션과 추적을 수행한다. 상기 다수평면을 이용한 3차원 계산 접근법은 다수평면을 이용하여 다양한 기회의 어소시에이션을 시도할 수 있으며, 모든 평면에 대해 어소시에이션을 고려하는 것은 계산을 복잡하게 하므로, 우선순위로 선택된 평면에 대해서만 고려하기 위하여, 3차원 물체추적 문제를 투영된 다중 평면으로 접근하여 물체의 위치를 계산하고 그에 따른 평면선택 및 3차원 상태 벡터의 결합방식을 채택한다. 다중 평면으로의 접근은 평면에서 받은 분산값의 차를 이용한 것으로 작은 분산값을 갖는 평면을 선택하여 최대한 노이즈에 덜 영향을 받는 방법 활용한다.

다음으로, CCTV영상의 사람인지 모듈은 저장된 영상에서 사람을 이미지 전처리 과정을 거쳐 사람얼굴을 검출하여 사람인지를 판별하는데, 객체추적의 사람추적기술, 객체추적의 카메라 위상인지, 객체인지의 손동작인지, 객체인지의 동작과 행동인지, 객체추출의 배경모델링, 객체추출, 객체추출의 얼굴검출, 객체추적의 물체추적, 객체추적의 비주얼신호를 이용한 물체추적, 객체추적의 음성센서와 영상센서를 융합한 물체추적 및 객체추적의 다중스펙트럼 처리 등의 기술이 이용된다.

먼저, 객체추적의 사람추적기술은 겹쳐진 물체를 인지하는데, 사람의 경우 움직임이 자유롭고 식별할 수 있는 뚜렷한 특성이 없고, 공공장소에서의 사람 추적 시 사람과 사람이 서로 겹치는 문제를 고려하여 객체간 겹침을 병합분리(merge-split)와 straight-through 방법 및 등장, 퇴장, 연속, 병합, 분리 등의 이벤트를 활용한다.

이어, 위의 겹침문제를 해결한 후 사람들의 위치를 좌표로 표현하여야 하므로, 객체의 크기는 카메라의 초점거리(focal length)와 같은 조정 정보를 이용하여 계산하고 실세계의 좌표로 위치를 표시하는 위치추적을 수행한다.

그리고 다중카메라 객체 추적을 수행하는데, 중첩된 카메라의 경우 추적 알고리즘은 카메라 보정과 카메라들간의 추적된 객체들의 핸드오프의 계산이 필요하며, 이를 위해 많은 공통적인 FOV 를 공유하는 것이 필요하다. 이를 위하여, 객체탐지를 위한 가우시안모델을 이용하여 Foreground pixel 과 background pixel을 분리하고 분리된 Foreground pixel을 토대로 동일 객체를 판단하여 카메라들 간의 링크를 찾는다. 그리고 겹치지 않는 다중 카메라 구성에서 객체의 일치성을 점진적인 칼라의 유사성 학습과정을 토대로 검증한다. CCCM을 이용해서 칼라의 유사성을 판단한 후 카메라 사이의 링크를 결정하며, 링크는 하기의 수학식 1에 따라 주어진 시간 동안 객체의 등장과 재등장을 아래의 조건부 전이 확률로 계산해서 결정한다.

객체추적의 카메라 위상인지는 먼저, 전이시간(travel-transition)모델을 사용하여 카메라의 위치를 노드로 표시하는 가시적 그래프 표현이 가능하다. 그리고 다중카메라 네트워크 시공간 자동구성 기법을 활용하여, 일정 시간의 분석된 데이터를 이용하여 자율적으로 학습하는 방식을 사용, 중첩 또는 비중첩 카메라에서 입력받은 영상으로부터 이미지간의 객체를 매칭하여 카메라간의 관계를 결정히고, 효과적 객체 추출 및 인식은 카메라와 움직이는 사람간의 거리에 따라 피부 영역을 그리드 기반의 추출 방법을 사용한다. 이를 도 5a 및 도 5b에 도시하였다. 도 5a 및 도 5b는 객체가 등장할 때와 퇴장할 때 객체추적을 위한 카메라 위상인지 처리순서를 각각 나타낸 도면이다.

다음으로, 객체인지의 손동작인지는 제스처 인식으로서, 인식된 포즈 영상들로부터 제스처를 인식하며, 제스처 인식을 위해 HMM사용한다. HMM은 시간적으로 제약을 받는 정보의 구조를 모델링 하는데 뛰어나며, 상태 전이 매개 변수는 순차적인 일련의 사건 발생을 모델링하고, 관측 심볼 확률 분포는 각 사건의 특징을 유한개의 심볼로 대응한다. 이러한 두가지 확률 과정의 결합으로 이루어진 HMM은 학습데이터를 이용해 적절한 제스처 모델을 구성한다.

인식과정에서는 인식하고자 하는 제스처와 학습이 끝난 후 생성된 HMM의 제스처모델을 비교하고 가장 유사한 제스처 모델을 선택하여 결과값을 확률로 나타낸다. 학습은 각 제스처별로 이루어지고, 해당 제스처의 HMM모델의 학습결과를 적용하며, HMM 학습 과정은 각 숫자별로 손동작을 이용하여 은닉 마르코프 모델을 구성하는 과정으로, EM알고리즘의 하나인 Baum-Welch 알고리즘을 이용한다. 이러한 각각의 숫자 모델에 전향 알고리즘을 적용하여 가장 높은 확률을 보이는 숫자 모델을 최종 인식 결과로 출력한다.

객체인지의 동작과 행동인지는 모션히스토리 및 SVM 기술을 이용하는데, 동작은 지역적으로 이동하거나 위치가 연속적으로 변화하는 과정이며, 행동은 여러 가지 요인에 의해 발생하거나 이미 이루어진 상황으로서, 동작은 위치변화를 뜻하며 행동은 발생적인 상황측면을 뜻하므로, 동작은 단시간의 모션 히스토리를 인코딩하여 움직임의 형태를 알 수 있고, 필터링된 이미지 분류기는 SVM을 이용하여 구축한다.

객체추출의 배경모델링은 배경차분 및 장면차분으로 이루어지는데, 차분영상은 두 개의 비교영상에서 대응되는 화소의 화소값 차를 구하고 그 차의 절대값이 주어지는 임계값 보다 큰 값을 가질 때 그 화소를 전경 객체의 화소로 판단하여 영상을 전경영역과 배경영역으로 구분함으로써 만들어진다.

배경차분은 배경환경이 점진적으로 변화하고 있어도 짧은 시간내의 두 영상간 비교이므로, 배경부분에 대응되는 화소의 화소값들은 거의 일치하며, 장면차분은 짧은 시간 동안의 연속된 영상간에서 큰 차이를 보이는 화소를 검출하므로 주로 움직이는 객체의 외곽의 화소들만을 추출한다. 이를 도 6a 및 도 6b와, 도 7a 내지 7c에 각각 나타내었다. 도 6a 및 도 6b은 객체추출의 배경모델링을 위한 입력영상과 파노라마 배경영상을 나타낸 사진이고, 도 7a 내지 7c는 도 6a 및 도 6b의 사진에서 배경과의 차분영상, 이웃 프레임과의 차분영상 및 병합된 영상을 각각 나타낸 도면이다.

이어, 적응적 배경 모델링을 사용하는데, 배경 모델링은 카메라 입력 영상으로부터 관찰 대상 물체 및 사람을 배경으로부터 분리해 내기 위하여 물체를 분리해 내기 전에 각 배경화소에 대해 어떠한 값들을 갖게 되는지 분석하여 이를 확률분포로 표현하는 것으로서, 하기의 수학식 2에 의하여 stauffer와 grimson이 제시하고 있는 방법을 사용한다.

객체추출은 화소, 블랍, 객체의 레벨을 검출하는 것으로, 배경의 정보를 학습한 배경 모델이 구성되면 배경으로부터 전경객체를 추출하기 위하여 우선 화소 레벨에서 전경화소와 배경화소를 검출하는 단계를 수행한다. 또한 인접 전경화소들을 연결하여 의미있는 블랍을 검출하는 과정을 거치고, 추출된 블랍 중 관심 객체를 구분할 수 있는 블랍을 관심객체로 정의하는 객체레벨 검출 단계를 수행한다. 화소레벨검출은 균일분포 배경 모델에 의한 배경차감은 전처리 과정에서 HSI컬러공간에서의 배경모델영상을 획득하기 위해 일정시간의 훈련과정을 거쳐 배경영역의 컬러값에 대한 균일 배경모델을 만들고, 블랍레벨검출은 격자이미지기법을 사용하여 낮은 해상도로 레이블링 하더라도 노이즈 픽셀 등의 예기치 않은 인위적 결함이 있을 경우에도 좋은 성능을 발휘하며, 객체레벨검출은 블랍레벨검출에서 추출한 블랍의 집합에서 관심객체인 얼굴과 손 영역을 검출하기 위하여 하기의 수학식 3으로 표현된 아다부스트 알고리즘을 적용한다. 아다부스트 알고리즘을 적용한 객체추출의 얼굴검출 과정을 도 8에 도시하였다.

객체추출의 얼굴검출은 지식기반방법, 특징기반방법 및 외형기반방법으로 구분해 볼 수 있는데, 지식기반방법은 사람의 얼굴이 두 개의 눈, 한 개의 코, 입으로 구성되어 있고 각 요소들은 기하학적 위치 관계로 구성됨을 전제로 하여 얼굴을 검출하는 방법으로서, 이미지 내의 히스토그램을 이용하는 방법을 활용한다. (가로축의 히스토그램을 이용하여 눈, 코, 입의 위치 정보를 찾음)

특징기반방법은 얼굴 요소, 색깔, 모양, 크기가 같은 얼굴 고유의 특징을 이용해서 얼굴 크기 및 위치를 추론하여 얼굴 영역을 검출하고, 얼굴 요소의 거리나 위치 등을 통해 얼굴 인지 아닌지를 판단한다. 이목구비, 텍스쳐, 피부색, 임계값, 복합특징을 이용하는 방법 등을 활용할 수 있다.

외형기반방법은 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴을 검출하는 것으로, 얼굴과 비얼굴의 훈련 이미지 집합을 만들어 학습시킨 후 검출한다.

객체추적의 물체추적은 파티클필터링 기법으로서, 파티클필터는 기본적으로 모델에 의존하는 알고리즘으로 시간차 이용방법과 빔포밍 이용방법의 문제점을 개선하기 위해 활용된다. 순차적 신호처리를 쓰는데 강력한 효과가 있으며, 특히 비선형, 비가우시안 문제를 해결하는데 많은 도움을 주는 알고리즘 방식이다.

객체추적의 비주얼신호를 이용한 물체추적은 카메라 트래킹에 의한 것으로, 물체추적의 목적은 일련의 이미지 상에서 위치와 속력, 모양, 질감, 색상 등의 정보를 통해 관계된 물체를 정립하는 것이며, 일반적으로 추적과정은 모양 및 움직임, 그리고 다른 영상 정보를 가지는 물체를 포함한다.

다중 카메라 트래킹은 카메라가 전체적인 감시 영역을 관찰하면 다른 카메라는 특정 사람을 트래킹하고 또 다른 카메라들은 그 사람을 확대한 후 미리 시스템에 등록된 라이브러리를 이용하여 식별할 수 있다. 위치, 강도, 기하학 특성을 이용하여 다른 카메라들로부터 얻어진 이미지들을 서로 대응시킨다.

영상 내 객체위치인식은 추정치는 주어진 물체의 위치인데 이것은 대략적인 물체의 위치로서 실제 물체의 정확한 위치를 의미하지 않으며, 추정을 이용한 물체의 위치방법을 위해서 먼저 하나의 카메라에서 위치 인식방법을 생각해야 한다. 이를 비교하기 위해 도 9a 및 도 9b에 나타내었다. 도 9a 및 도 9b는 하나의 카메라에서의 위치인식 및 여러 개의 카메라에서의 위치인식 원리를 도시한 도면이다.

다음으로, 객체추적의 음성센서와 영상센서를 융합한 물체추적은 도착 방향을 얻기 위해 3차원 소리 위치 측정기를 사용하는데, 방위와 고도를 결정하기 위한 수직으로 위치한 내재된 마이크로 폰들 사이의 도착한 소리(ITD)알고리즘 이용한다. 파티클 필터를 통한 음성 센서의 물체추적이 가능하며, 영상센서는 초기화 및 조용한 움직임, 빗나간 추정 요소들을 보정하는데 사용된다.

CCTV영상의 사람인지 모듈에 사용되는 마지막 기술로, 객체추적의 다중스펙트럼 처리는 다중스펙트럼 영상처리로서, 일반 보안시스템 및 군사적인 용도로 이용되고 있으며, 다중스펙트럼 센서는 여러 주파수대의 다양한 영상을 제공하므로 다양한 형태의 감시 보안 시스템에서 검출 효용성을 가지고 있다.

다중스펙트럼을 활용한 영상처리는 스펙트럼 분석을 위해 엄청난 양의 데이터를 처리하여야 하며, 이러한 영상처리방법은 하드웨어 클러스터(데이터 처리 및 관리)를 이용하는 방법을 사용한다. 도 10에 일반적인 영상처리에 의한 영상과, 본 발명에 적용되는 다중스펙트럼 영상처리에 의한 영상을 도시하였다.

본 발명에 따른 이동형 단말기를 이용한 영상감시 방법의 마지막 모듈로, CCTV영상의 이벤트정의 및 이벤트별 영상저장 모듈은 원본 영상인 RAW파일을 압축률이 좋은 H.264 방식으로 저장 및 검색할 수 있도록 이벤트별 영상저장방식 적용한다.

H.264코덱은 국제 표준화 기구인 ITU-T와 ISO에서 공동으로 제안한 비디오 압축 기술로서 ITU-T에서 붙인 H.264라는 명칭 이외에 ISO에서 붙인 MPEG art10/ AVC 라는 명칭을 사용한다. H.264코덱은 프레임간 차이점을 저장하는 방식에 변화를 준 것으로, MPEG-4가 8*8블록 단위로 계산하는데 반해 H.264는 4*4블록 단위로 계산하므로, 블록탐색 단위가 4*4로 바뀌면서 보다 정밀한 비교 가능하고, Floating point 연산방식이 아닌 정수 연산만으로 가능해져 연산오차 감소한다. 한편, 필요에 따라 16*16, 16*8, 8*16, 8*4, 4*8 등 다양한 블록크기 적용가능하고, 기존과 달리 DCT변환과정 이전에 중복성을 제거함으로써 프로세서 효율개선하였다.

또한, 루프필터 방식을 적용하여 낮은 비트율에서 발생하던 격자 무늬해소 및 디코더와 엔코더가 모두 이 기능을 수행함으로써 영상을 제작했을 때의 화질과 복원 후 화질에 차이가 없다.

특히, 기존에는 바로 앞 프레임의 차이점만 이용했지만 H.264는 더 이전에 나왔던 프레임과도 비교함으로써 반복된 영상에서 우수한 성능을 보이며, 다른 코덱에 비해 에러에 대한 내성이 강하고, 우수한 압축 성능으로 인해 H.264는 모바일서비스와 같은 높은 DATA압축율을 요구하는 환경에서도 최적의 서비스를 지원할 수 있어, 현재 블루레이, DVD를 사용하는 다양한 디바이스에서 H.264를 채택하고 있다.

전술한 바와 같이, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템은 고정 카메라를 통한 비젼시스템(Vision System)의 차량인지 및 사람인지를 통해서 환경변화에 적응이 강한 모듈을 제공하며, 추적 카메라를 통한 침입자 감시 및 추적모듈을 배경제거를 통해 추적이 강한 모듈을 제공한다.

특히, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템은 차량과 사람을 같이 추적함으로써, 하나의 이동형 단말기로 차량과 사람을 통합적으로 감시할 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 따라서 본 발명은 다양한 통합관제시설 및 이동형 단말기를 통한 보안지역의 영상감시 솔루션을 제공한다.

일례로서, 경찰서나 소방서에서 방범, 쓰레기 투기 방지, 주정차 단속, 재난 화재 감시 및 현재 미국 덴버, 솔트레이크 등 96개 지역 경찰관서에서 환경미화원들을 지역 방범활동에 참여시켜 큰 성과를 거두고 있는 웨이스트워치 프로그램 형태로 활용될 수 있다.

또한, 민생치안 통합관제를 위한 각종 사건, 사고 예방과 주차단속 및 방범업무에 활용될 수 있으며, 차량번호 및 얼굴인식을 통한 문화재 감시에 활용될 수도 있고, 지자체 등의 하천감시, 어린이집, 유치원, 초·중·고등학교에서 어린이 지킴이로써 범죄우범지역 및 특정장소에서의 얼굴인식을 통한 감시보안에 적용될 수 있다.

또한, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템이 통합관제센터의 구축 시 적용될 경우, 평시에 방법, 교통, 주차단속, 어린이보호 등 당초 CCTV설치 목적에 맞게 어디든 활용될 수 있으며 야간 또는 범죄 등 각종 사건, 사고 발생 시에는 주변 단말기 사용자에게 얼굴 및 차량번호판 인식내용이 전송되어 각종 사건, 사고에 신속하게 대응할 수 있게 된다.

따라서 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템은 경찰서, 민생치안 관제센터, 학교 등 공공기관에 효율적인 스마트영상감시 솔루션을 제공할 수 있으며, 어린이집, 가정용 CCTV 등 일반인을 대상으로는 이동형 스마트영상감시 어플리케이션으로 제공될 수 있을 뿐만 아니라, 향후엔 공장의 자동화, 군사, 로봇, 의료, 원격탐사, 영상통신, 감시 및 안전 등의 수많은 응용분야에 활용 가능하다.

본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템의 활용분야를 대략적으로 분류해 보면, 보안분야(범죄 우범지역의 지능형 감시보안)에 있어서, 저장된 영상에서 차량번호판을 이미지 전처리 과정을 거쳐 차량번호판 위치를 검지해서 차량인지를 판별하고, 저장된 영상에서 사람을 이미지 전처리(harr-like) 과정을 거쳐 사람얼굴을 검출하여 사람인지를 판별하며, 생체인식 기술을 통한 지문, 홍채, 얼굴 등을 검사하여 보안 인증을 수행하는 시스템 및 범죄 우범지역의 지능형 감시보안시스템을 활용한 차량번호판 위치 검지 및 범죄인 얼굴 검출 판별 시스템으로 개발 가능하다.

공장의 자동화 분야에서는 반도체분야에 활용되며, Lead Frame 검사, BGA검사, Compact Disc검사, LCD/PDP검사 등 거의 모든 분야에 활용이 가능하며, 기타 위험한 인식기술작업 및 극한 환경에서 사용하여 근로자의 안전과 검사관의 역할을 대신하도록 시스템화하여 활용될 수 있다.

또한, 군사분야에 있어서는 군사적 경계선 또는 해안선에서의 철책선 접근 물체 확인에 활용할 수 있다.

또한, 출판 및 문서제작 분야에서는 문서를 디지털 영상처럼 만들어 영상처리를 적용하면 효율적으로 사용이 가능하다. 따라서 문서영상처리(DIP_Document Image Processing)는 기존에 작성한 많은 문서를 디지털로 변환하여 저장한 뒤 내용을 검색하고 인식 할 수 있도록 할 수 있고, 문서에 암호를 생성할 수 있어 공문서나 중요한 문서를 온라인으로 전달해도 안전하게 처리할 수 있다.

다음으로 차량용 블랙박스에서는 블랙박스에 내장하여 IP카메라를 통해 차량을 실시간 감시하거나, 주차 견인지역의 경우 단속에 대한 대비책으로 활용될 수 있고, 농작물 및 가축 농가 관리에 있어서, 인삼, 송이버섯과 같은 고가의 작물에 대한 방범 대비책으로 설치, 농장 주변 시설물 관리 시 관리업체와 제휴를 통하여 문제점의 신속한 해결이 가능하고, 스마트폰을 이용하여 농작물 시설을 제어하여 상황에 맞게 농작물에게 상시 피드백이 가능하며, 최근 거의 모든 농가에 치명적인 피해를 입히고 있는 구제역 등에 활용되도록 가축의 상시 감찰 및 건강 상태 체크가 가능하며, 도시의 소비자들에게 농작물과 가축이 사육되고 있는 모습을 실시간으로 홈페이지를 통해 제공하여 소비자의 충성도 확보 및 신뢰성에 도움을 줄 수 있다.

뿐만 아니라, 본 발명에 따른 이동형 단말기를 이용한 영상감시 방법 및 시스템을 운동, 레포츠 교육분야에 활용하면, 골프, 피겨스케이팅, 야구 등 자세를 교정하는 상황에서 해외 혹은 타 지역의 유명강사의 어드바이스를 얻을 수 있으며, 실시간으로 자세 지도를 통해 선수가 신속하게 자세를 교정하여 성적을 낼 수 있도록 도와주는 교육 서비스가 가능하다.

더 나아가, 대학교 수업관리에 있어서, 수업을 실시간 청강이 가능하며, 학교와 학교간 교수들이 연계하여 학술회의 및 토론을 통해 폭넓은 정보를 교류할 수 있고 기존 출석시스템에서 벗어난 CCTV의 실시간 감지를 통해 학생들의 대리출석 방지 및 수업중간에 빠지는 학생을 실시간 체크하여 선의의 피해자가 발생하지 않게 돕는 역할을 수행할 수 있다.

최근 아파트 단지 내 범죄발생건수가 증가하고 있는 점을 고려하여, 아파트 단지 보안분야에서는 아이들이 다닐 수 있는 곳과 주차장 위주로 낯선 사람의 얼굴을 식별하여 아파트 내 경비실의 모니터와 사이렌을 통해 주의 관찰할 수 있는 시스템 구축이 가능하다.

한편, 노인요양시설 및 실버타운에서는 노인의 안전을 위한 장치로 노인 복지사의 모바일 폰과 CCTV의 연동을 통해 노인건강 및 안전을 실시간 체크할 수 있는 시스템 구축이 가능하다.

특히, 초등학교에서 학교보안관 제도 도입에 따라 CCTV의 도입을 예상해 볼 수 있으므로, 스마트폰을 통해 실시간 학교주변을 감시하고 이상이 감지될 경우(등록된 얼굴이 아니거나, 아이들의 이상징후를 모션으로 포착 시)해당 카메라에 싸이렌이 울리고, 학교보안관 스마트폰으로 실시간 영상을 전송하는 감시시스템을 구축하는데 활용될 수 있다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.

Claims (4)

1. CCTV, LOOP COIL, Laser 검지기 중 적어도 어느 하나를 포함하는 촬영수단;
   상기 촬영시스템에서 촬영된 영상에서 사람과 차량을 인지 및 추적하는 제어수단;
   상기 제어시스템에서 인지 및 추적된 영상을 유무선 통신망을 통해 수신하여 저장 및 관리하는 치안관제서버; 및
   상기 치안관제센터시스템에서 전송되는 영상을 수신하여 화면에 표시하는 이동형 단말기;를 포함하는 이동형 단말기를 이용한 영상감시 시스템.
   
2. 상기 제어수단은,
   상기 촬영시스템에서 촬영된 영상에서 차량번호판을 이미지 전처리하여 차량번호판 위치를 검지해서 차량을 판별하는 차량인지모듈과,
   상기 촬영시스템에서 촬영된 영상에서 사람을 이미지 전처리하여 얼굴을 검출하여 사람을 판별하는 사람인지모듈 및
   원본 영상인 RAW파일을 압축률이 좋은 H.264 방식으로 저장 및 검색하는 이벤트정의 및 이벤트별 영상저장모듈을 포함하는 것을 특징으로 하는 이동형 단말기를 이용한 영상감시 시스템.
   
3. 이동형 단말기를 이용한 영상감지 방법에 있어서,
   CCTV에서 촬영된 영상에서 차량번호판 위치를 검지하여 3차원 계산 접근법에 의하여 차량번호를 검출하는 차량인지 과정;
   겹쳐진 물체인지와 위치추적 및 다중카메라 객체추적을 통해 사람을 추적하고, 얼굴영역 검출, 얼굴영역 정규화 및 얼굴영역 내 특징 추출을 추출하는 얼굴인지 과정; 및
   상기 CCTV영상을 RAW 파일로 이벤트별로 H.264 방식으로 저장 및 검색하는 과정;을 포함하는 이동형 단말기를 이용한 영상감시 방법.
   
4. 제 3항에 있어서, 상기 얼굴인지 과정은,
   상기 추출된 얼굴로부터 얼굴 구성요소(표정)를 분석하고, 상기 추출된 사람의 손동작(제스처)을 인지하여 인지된 객체의 동작과 행동을 인지하는 단계와,
   배경차분 및 장면차분과 적응형 배경 모델링을 통해 객체추출의 배경 모델링을 수행하고, 화소, 블랍, 객체 등 레벨을 검출하여 객체를 추출하는 단계를 포함하는 것을 특징으로 하는 이동형 단말기를 이용한 영상감시 방법.

Images