KR100669511B1 - 스마트 네트워크 카메라 - Google Patents

Abstract

본 발명은 획득한 영상으로부터 움직임 검출, 얼굴 검출, 얼굴 인식, 특정 물체 검출 및 인식, 장면분석, 교통량 분석 등의 지능적인 기능을 갖춘 네트워크 카메라에 관한 것이다. 네트워크 카메라는 획득한 영상을 압축하여 이를 인터넷을 통해 접속한 클라이언트에게 전송하는 카메라를 말한다.

기존의 네트워크 카메라가 획득한 영상을 단순히 압축만 하여 전송하는 기능만을 가지고 있는 데 반해, 본 발명에서는 획득한 영상으로부터 영상 획득, 압축,전송 뿐만 아니라, 획득한 영상을 분석하여 고급 비젼 정보 (움직임 검출, 얼굴 검출, 특정 물체 검출, 얼굴 인식, 물체 추적, 장면 분석, 교통량 분석 등) 처리를 추가적으로 수행하고 이에 따라 얼굴 검출 등의 경우에는 경보하거나, 검출된 얼굴 영상만을 압축 저장하는 기능을 지원하며, 장면 분석 이나 교통량 분석의 경우 처리된 정보를 기록하고 이를 전송하며, 얼굴 인식의 경우 인식된 얼굴이 출입 가능자인 경우 출입 통제 장치에 이 정보를 전송하는 기능을 지원하는 스마트 네트워크 카메라를 제공하고자 한다.

스마트 네트워크 카메라, 지능형 카메라, 네트워크 카메라, 비젼 카메라

Description

스마트 네트워크 카메라 { Smart Network Camera }

도 1은 본 스마트 네트워크 카메라의 구성을 보인 블록도.

도 2는 스마트 네크워크 카메라의 지능적 영상처리 흐름도.

본 발명은 종래의 네트워크 카메라 기능에 더하여, 내장 카메라 또는 외부 CCTV 카메라에서 획득한 영상을 실시간으로 분석하여 고급 비젼 정보 (얼굴 검출 및 인식, 특정 물체 검출 및 인식, 장면 분석, 교통량 분석 등) 추출을 하고 이에 따라 원하는 응용 처리(얼굴 검출 등의 경우에는 경보하거나, 얼굴 검출된 영상만을 압축 저장하는 기능 처리 등)를 추가적으로 수행하는 스마트 네트워크 카메라에 관한 것이다. 이러한 지능적 영상처리 흐름도는 도면 2에 표시되어 있다.

종래의 네트워크 카메라는 단순히 획득한 영상을 압축하여 전송하는 기능만을 가지고 있어서 효율적인 영상 감시나 도로 교통량 분석 등을 수행하기 어렵다. 본 발명에서는 침입자가 있는 경우 얼굴을 검출하여 현장에서 즉시 경보하게 할 수가 있고, 도로 감시에 사용 시에는 차량을 검출하여 시간당 이동 차량의 대수와 이동 차량의 속도 등의 정보를 현장에서 즉시 추출을 지원함으로써, 이에 따른 필요한 응용 처리가 현장에서 즉시 가능하다(예; 침입자 얼굴 검출후, 즉시 경보 발생)

종래의 네트워크 카메라를 사용한 영상 감시에서는 네트워크 카메라에서 전송되어 온 영상을 중앙에서 모니터 요원이 24시간 감시하고 있어야 만, 침입자를 탐지할 수 있다. 물론 중앙에서 전송되어 온 영상을 분석하여 침입자 유무를 판별하는 시스템이 있을 수 있으나, 이 경우 중앙처리장치에서 많은 감시 영상을 처리하여야 하므로 동시에 분석하는 것은 어렵다.

또한 이 경우 만일 전송회선의 대역폭이 충분하지 않는 경우에 관심있는 영상을 포함한 모든 영상 데이터를 낮은 회선 대역폭에 맞도록 저해상도로 압축하거나, 양자화 등을 크게 하여 비트율을 낮추어야 한다. 이렇게 되는 경우, 관심있는 영상 화면 조차 화질은 떨어지게 마련이고 따라서 분석하기가 어렵다. 또한 원거리에서 전송되어 수신되어야 함으로 침입 탐지 및 이에 따른 현장에서의 대처는 늦어지게 된다.

종래의 네트워크 카메라에서는 배경만 있는 영상 등 감시하고자하는 물체 정보를 갖지 않는 영상도 불필요하게 압축을 수행하여 이를 전송함으로써, 인터넷 대역폭의 낭비를 가져온다. 본 발명의 스마트 네트워크 카메라는 관심 있는 물체 (예; 얼굴 등)이 검출된 영상만을 압축할 수 있도록 지원함으로써, 요구되는 회선의 네트워크 대역폭을 절약할 수가 있다.

본 발명은 획득한 영상을 압축하여 이를 전송하는 종래의 네트워크 카메라의 기능에 추가하여, 획득한 영상을 실시간으로 분석하여 현장에서 취득한 영상에 대한 고급 비젼 정보(얼굴 검출 및 인지, 특정 물체 검출 및 인식, 장면 분석, 교통량 분석 등)를 실시간으로 추출하고 이를 이용한 효율적인 영상 감시 및 도로 감시가 가능하도록 한 것이다.

전원공급을 위한 전원공급부와,

상기 전원공급부의 전원을 받아 영상 데이터를 취득하기 위한 카메라부와,
상기 카메라부으로부터 입력되는 촬영된 아날로그 영상을 디지털 신호로 변환하는 영상 디코더부와,

상기 영상 디코더부로부터 획득한 영상으로부터 움직임 검출 및 움직임 영역을 추출하고, 상기 영역에서 Adaboost 방법으로 얼굴ㆍ사람ㆍ차량ㆍ동물 등의 관심 대상객체를 검출하고, 상기 검출된 객체를 Kalman filter를 이용하여 객체 정지ㆍ객체 이동ㆍ위험 구역 침입 등의 객체의 행동을 분석하여 움직임 검출, 얼굴ㆍ사람ㆍ차량ㆍ동물 검출, 얼굴인식 정보ㆍ객체 행동 정보 등의 비젼 정보를 추출하며, 획득한 영상의 전송 및 저장을 위해 H.263/MPEG4 등의 동영상 코덱을 이용하여 압축처리하기 위한 영상정보 처리부(DSP; Digital Signal Processor)와,

상기 영상정보 처리부에서 취득된 영상에 대한 비젼 정보와 동영상 코덱을 이용한 압축 영상 데이터를 중앙센터로 전송 제어하기 위한 시스템 관리 제어를 수행하는 메인 제어부와,

상기 영상정보 처리부 및 메인 제어부에서 수행되는 프로그램의 저장 및 프로그램 수행에 필요한 메모리부와,

삭제

상기 영상정보 처리부에서의 영상정보 전송을 위한 무선 또는 유선을 통해 네트워크에 통신 연결을 위한 네트워크인터페이스부와,

영상의 표시 및 데이터 처리상태를 표시하기 위한 디스플레이부를,

포함하여 이루어지는 것을 특징으로 한다.

이와 같은 특징을 갖는 본 발명을 첨부된 도면에 도시된 실시 예를 참조하여 설명하면 다음과 같다.

도 1은 본 발명 스마트 네트워크 카메라의 구성을 나타낸 블록도이다.

도 1에 도시된 바와 같이, 장치내에 전원공급을 위한 전원공급부(10)와, 영상 데이터를 촬영을 위한 카메라부(20)와, 카메라부(20)로부터 입력되는 촬영된 아날로그 영상을 디지털 신호로 변환하는 영상 디코더부(30)와, 카메라부(20)로부터 촬영된 영상을 분석하여 비젼 정보를 추출하고, 비젼정보 처리에 따른 영상 데이터 압축 처리하기 위한 영상정보 처리부(DSP)(40)와, 압축 영상 및 획득한 영상 데이터에 대해 추출된 비젼 정보를 중앙센터로 전송하고, 시스템 관리 제어를 수행하는 메인 제어부(50)와, 상기 메인 제어부(50)와 영상정보 처리부(40)의 데이터 교환을 위한 듀얼 포트 메모리(Dual Port RAM)(60)와, 메인 제어부(50)의 제어에 따라 영상정보 처리부(40)의 제어신호 생성 및 관리와 FIFO메모리를 위한 FPGA부(70)(FPGA; Field Programmable Gate Array)와 상기 영상정보 처리부(40) 및 메인 제어부(50)에서 수행되는 프로그램의 저장 및 프로그램 수행에 필요한 메모리부(70)와, 영상 정보 전송을 위한 유무선 네트워크 통신연결을 위한 네트워크인터페이스부(90)와, 영상의 표시 및 데이터 처리상태를 표시하기 위한 디스플레이부(100)와, 외장 USB 저장매체(HDD)(111)와의 데이터 통신을 위한 USB 인터페이스부(110)와, 외부 장치와의 시리얼(serial) 통신을 위한 시리얼 인터페이스부(120)를 포함하여 구성된다.

그리고 상기 카메라부(20)는 내장카메라(21)와, 외장 카메라(22)로부터 촬영된 영상을 입력받기 위한 인터페이스를 포함하여 구성된다.

상기 FPGA부(70)는 FIFO 메모리가 포함되는 것으로 구성된다.

상기 네트워크인터페이스부(90)는 랜(LAN)에 연결되는 유선 이더넷 콘트롤러(Ethernet controller)(91)와, 무선 네트워크 지원을 위한 PCMCIA 무선 인터페이스부(92)를 포함하여 구성된다.

이와 같은 구성을 갖는 본 발명은,

배터리 또는 일반 상용전원으로부터 전원을 공급하기 위한 어댑터 연결부로서 전원공급부(10)를 구성한다.

장치내에 내장된 내장카메라(21) 또는 외장 카메라(22)로부터 촬영된 영상 데이터를 입력받기위한 카메라부(20)가 구성된다.

상기 영상정보 처리부(40) 및 메인 제어부(50) 각각에는 영상정보 처리부(40) 및 메인 제어부(50)에서 수행에 필요한 프로그램의 저장 및 처리를 위하여 DRAM과 플래시 메모리(flash memory)가 구성된다.

네트워크 통신을 위하여 유무선 지원이 가능하도록 네트워크인터페이스(90)가 구성된다.

상기 디스플레이부(100)는 LCD로 구성된다.

메인 제어부와의 외부에서의 통신(제어)을 위해 시리얼 인터페이스부(120)를 구성하며, 촬영된 영상에 대하여 로컬 저장을 위한 외장 USB HDD(111)와의 연결을 위하여 USB 인터페이스부(110)가 구성된다.

이와 같은 구성을 갖는 본 발명의 동작을 상세히 설명하면 다음과 같다.

내장 카메라(21) 또는 외장카메라(22)로부터 현장의 영상을 취득한다.

이와 같이 취득된 영상은 영상 디코더부(30)를 통해 영상정보 처리부(40)에서 처리 가능한 디지털 데이터로 디코딩 된다.

이와 같이 디코딩된 영상 데이터는 영상정보 처리부(40)에 입력되고, 영상정보 처리부(40)에서는 입력된 영상을 분석하여 얼굴 검출, 지정된 특정 물체 검출, 얼굴 인식, 물체 인식, 교통량 분석 등 고급 비젼 정보를 추출하게 되는 것이다.

이후, 영상정보 처리부(40)에서는 영상을 저장 또는 전송하기 위하여 추출된 비젼 정보에 기반한 영상 데이터를 동영상 코덱(H.263/MPEG4 등)을 이용하여 압축한다.

메인 제어부(50)에서는 이와 같이 압축된 영상을 외장 USB HDD(111)에 추출된 비젼 정보와 함께 저장하며, 필요한 경우 네트워크 인터페이스부(90)를 통해 중앙 정보센터로 전송하여 저장시킨다.

따라서 중앙 정보센터에서는 별도로 촬영 영상으로부터 비젼 정보를 추출할 필요없이, 함께 전송된 비젼 정보를 이용하여, 필요한 응용에 사용하면 된다.

본 실시 예에 있어서는 외장의 저장매체인 외장 HDD를 이용하였지만, 메모리를 내장시켜 구성할 수 있으며, 이와 같은 경우 촬영된 영상 및 비젼정보(얼굴 검출 등)들을 바로 중앙센터로 전송시키게 됨에 따라 그 저장용량이 그리 크지 않아도 가능하다.

도 2의 지능적 영상처리 흐름도는 영상 획득(210), 움직임 검출 및 움직임 영역 추출(220), 대상 검출(230), 움직임 추정 및 추적(240), 상황인지(250), 확대(260), 압축(270), 전송 및 저장(280)으로 구성되어 있다.

움직임 검출(220)은 배경화면 등록, 움직임 검출, 움직임 영역 분리 과정으로 구성된다. 배경화면 등록은 배경화면을 학습시켜 배경화면의 평균값과 변화정도의 표준편차를 등록한다. 등록된 배경 화면은 하루의 일기 변화에 따라 변화는 조명의 변화에 적응할 수 있게 moving average model을 사용하였다. 움직임 검출은 각 화소에서 수행되는데 현재의 화면의 화소 값과 등록된 배경화면의 화소 값의 차이가 등록된 표준편차 값의 일정 배수 이상이 되면 해당화소에 움직임이 있는 것으로 판정한다. 각 화소에서 움직임을 검출한 후에는 노이즈 영향을 줄이기 위하여 모폴로지 필터(morpolgy filter)를 적용한다. 움직임 검출이 되면 영상의 수평 및 수직 방향으로 움직임 화소의 개수를 나타내는 히스토그램(histogram)을 그리고, 히스토그램을 Gaussian mixture model 를 적용하여 독립된 움직임 객체를 분리한다.

대상 검출(230)은 기존의 대상 검출 방법 중에서 가장 좋은 방법 중의 하나로 알려진 "Haar-based object detection method"를 적용하였다. 이 방법은 Adaboost 방법으로 검출대상을 학습하여 대상을 검출하는 방법으로 매우 효과적인 방법이나 동영상에서 대상을 실시간 검출하기에는 계산량이 많다. 본 발명에서는 전단계(210)에서 추출된 움직임 영역에서만 대상을 검출하게 하여 연산량을 대폭 축소하였다. 특히 넓은 지역을 감시하는 감시카메라의 경우 움직임 영역은 전체 영상의 일부분만 차지하기 때문에 본 발명은 매우 효과적이다.

움직임 추정 및 추적(240)은 기존에 알려진 "3D Kalman filter for image motion estimation" 방법을 적용하였다. 본 발명에서 움직임 추정은 그 자체가 목적이 아니라 다음단계(250)의 상황인지를 위하여 각 화소에서 움직임을 정확하게 추정하는 것이 주요 목적이다.

상황인지(250)는 본 발명의 스마트 카메라의 적용 영역에 따라 인지하여야 할 상황이 달라지기 때문에 본 출원에서는 공항에서 테러범이 가방을 가지고 걷다가 임의의 장소에 가방을 놓고 계속 걸어가는 상황을 설정한다. 가방을 들고 운반할 경우에는 추출된 움직임 영역에서 사람과 가방에 해당하는 영역의 각 화소는 일정한 방향으로 움직임을 보여주고 있다. 가방과 사람이 분리하는 경우에는 배경화면과 현재의 화면의 차이에서 일체가 되어 움직이던 사람과 가방이 분리되고 사람은 계속 걸어가고, 가방은 정지됨을 알 수 있다. 이 경우 움직이는 하나의 물체가 둘로 분리되면서 하나는 계속 움직이고 다른 하나는 정지된 상황으로 인지된다.

확대(260)는 특정 대상이 검출되면 검출 대상 영역에 카메라 초점을 맞추고 그 영역을 확대한다.

압축(270)은 MPEG4 호환 방법을 사용하였다.

전송 및 저장(280) 전송은 .asf 파일로 만들어 전송할 뿐 아니라 카메라 내부의 하드디스크(local hard disk)에 저장이 가능하다.

이상에서 설명한 바와 같이, 본 발명은 직접 촬영된 영상 데이터로부터 현장에서 실시간으로 비젼 정보를 추출할 수 있다.

또한 추출된 비젼 정보를 이용하여 얼굴 등 관심있는 물체를 보유한 영상 만을 압축 전송할 수있으며, 또한 얼굴 검출 정보만을 보낼 수있으므로 용량이 큰 영상 데이터를 보내지 않아도 된다.

또한 무선 통신 인터페이스의 지원으로 유선 인터페이스가 없는 경우에도 클라이언트에 비젼 정보 및 영상 데이터를 전송할 수있다.

Claims (7)

1. 전원공급을 위한 전원공급부과,

   상기 전원공급부의 전원을 받아 영상 데이터를 취득하기 위한 카메라부와,

   상기 카메라부으로부터 입력되는 촬영된 아날로그 영상을 디지털 신호로 변환하는 영상 디코더부와,

   상기 영상 디코더부로부터 획득한 영상으로부터 움직임 검출 및 움직임 영역을 추출하고, 상기 영역에서 Adaboost 방법으로 얼굴ㆍ사람ㆍ차량ㆍ동물 등의 관심 대상객체를 검출하고, 상기 검출된 객체를 Kalman filter를 이용하여 객체 정지ㆍ객체 이동ㆍ위험 구역 침입 등의 객체의 행동을 분석하여 움직임 걸출, 얼굴ㆍ사람ㆍ차량ㆍ동물 검출, 얼굴인식 정보ㆍ객체 행동 정보 등의 비젼 정보를 추출하며, 획득한 영상의 전송 및 저장을 위해 H.263/MPEG4 등의 동영상 코덱을 이용하여 압축처리하기 위한 영상정보 처리부(DSP; Digital Signal Processor)와,

   상기 영상정보 처리부에서 취득된 영상에 대한 비젼 정보와 동영상 코덱을 이용한 압축 영상 데이터를 중앙센터로 전송 제어하기 위한 시스템 관리 제어를 수행하는 메인 제어부와,

   상기 영상정보 처리부 및 메인 제어부에서 수행되는 프로그램의 저장 및 프로그램 수행에 필요한 메모리부와,

   상기 영상정보 처리부에서의 영상정보 전송을 위한 무선 또는 유선을 통해 네트워크에 통신 연결을 위한 네트워크인터페이스부와,

   영상의 표시 및 데이터 처리상태를 표시하기 위한 디스플레이부를,,

   포함하여 이루어지는 것을 특징으로 하는 스마트 네트워크 카메라.
2. 삭제
3. 제 1항에 있어서, 상기 메모리부는 외장 USB 저장매체(HDD)와의 데이터 통신을 위한 USB 인터페이스부를 포함하는 것을 특징으로 하는 스마트 네트워크 카메라.
4. 제 1항에 있어서, 상기 네트워크인터페이스부는 랜(LAN)에 연결되는 유선 이더넷 콘트롤러(Ethernet controller)와, 무선 네트워크 지원을 위한 PCMCIA 무선 인터페이스부를 포함하여 구성되는 것을 특징으로 하는 스마트 네트워크 카메라.
5. 삭제
6. 삭제
7. 삭제

Images