KR20030006539A - 디지탈 감시 장치 및 방법 - Google Patents

디지탈 감시 장치 및 방법 Download PDF

Info

Publication number
KR20030006539A
KR20030006539A KR1020010042351A KR20010042351A KR20030006539A KR 20030006539 A KR20030006539 A KR 20030006539A KR 1020010042351 A KR1020010042351 A KR 1020010042351A KR 20010042351 A KR20010042351 A KR 20010042351A KR 20030006539 A KR20030006539 A KR 20030006539A
Authority
KR
South Korea
Prior art keywords
face
image
unit
digital
area
Prior art date
Application number
KR1020010042351A
Other languages
English (en)
Other versions
KR100571801B1 (ko
Inventor
최정필
김상룡
홍영진
최정일
정기정
박준호
김현진
김태균
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020010042351A priority Critical patent/KR100571801B1/ko
Publication of KR20030006539A publication Critical patent/KR20030006539A/ko
Application granted granted Critical
Publication of KR100571801B1 publication Critical patent/KR100571801B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/917—Television signal processing therefor for bandwidth reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 디지탈 감시 장치 및 방법에 관한 것으로, 소정의 사전 설정된 감시 대상 영역의 영상을 촬영하는 영역촬영부와, 상기 영역촬영부로부터 제공되는 촬영된 영상을 디지탈 데이터로 변환하는 디지탈 영상 캡처부와, 상기 디지탈 영상 캡처부로부터 제공되는 디지탈 영상 데이터로부터 얼굴 영상 데이터를 검출하는 얼굴 검출부와, 상기 얼굴 검출부로부터 제공되는 얼굴영상 데이타 및 전체 영상 데이터를 선택 압축하는 영상압축제어부와, 상기 영상선택압축부로부터 제공되는 영상 데이타를 DB로 생성하고, 압축 및 저장하는 DB부와, 상기 얼굴검출부에서 검출된 얼굴 영상 데이터로부터 각각의 얼굴에 대한 중요도를 산출하고 이에 따른 제어신호를 발생하는 제어부와, 상기 제어부의 제어신호에 따라 구동되어 상기 영역촬영부에 의해 촬영된 영역중 소정의 얼굴 영역을 추적 및 확대 촬영하여 상기 디지탈 영상 캡처부로 제공하는 능동카메라를 포함하고 구성되어, 최대한의 영상 압축효과를 낼 수 있으며, 압축으로 인한 정보의 손실 가능성이 없고, 또한 능동 카메라를 연동하여 침입자의 얼굴만을 정확하게 포커싱하여 촬영함으로써, 침입자의 얼굴을 정확하게 촬영 저장할 수 있는 효과가 있으며, 다수의 사람이 동시에 나타나도 효과적으로 포커싱하여 촬영할 수 있는 장점이 있다.

Description

디지탈 감시 장치 및 방법{Digital surveillance system and method}
본 발명은 디지탈 감시 시스템에 관한 것으로, 특히, 감시 대상의 얼굴을 검출 및 압축 저장하고, 저장된 얼굴 데이터를 검색할 수 있는 디지탈 감시 장치 및 방법에 관한 것이다.
최근에 은행, 관공서 및 많은 기업에서, 출입자를 감시하고 출입자들에 대한 기록을 확보하기 위해 CCTV등의 영상 기록장치를 이용하는 감시시스템을 활용하고 있다. 이러한 감시 시스템은 그 시스템이 성능이 매우 중요한 데, 성능이 좋지 못한 기존의 CCTV를 이용한 시스템의 경우, 출입자의 얼굴영상이 기록되어 있다 할 지라도 화질이 떨어지는등 기록된 정보의 활용도가 매우 낮은 문제점이 있었다. 즉, 이러한 감시시스템은 자동성은 물론이며, 시스템이 결과로 제공하는 영상들이증거물 확보나 추후 검색에 얼마나 효과적인가에 따라 그 성능이 판단되는데, 최근에는 이러한 성능을 높이기 위해 디지털 영상 저장 장치가 급속히 보급되고 있으며, 기존의 아날로그 CCTV 시스템을 대체하고 있다. 대한민국특허 제1998-20978호, 제1998-50987호, 제 2000-87602호등에는 이러한 디지탈 영상저장장치를 이용한 감시 또는 방법시스템이 개시되어 있다. 대한민국특허 제1998-20978호는 "영상 압축을 이용한 방법 시스템"에 관한 것으로, CCD카메라의 영상을 압축하여 저장매체에 저장하는 시스템이다. 또한, 대한민국특허 제1998-50987호는 "감시 시스템의 영상 저장장치"에 관한 것으로, 감시영역의 움직임을 검출한 경우 움직임 영상을 압축하여 저장하는 시스템이다. 마지막으로,
대한민국특허 제2000-87602호는 "전방향 카메라와 다수의 능동카메라가 연동된 감시시스템 및 그 제어방법"에 관한 것으로, 감시영역에서 움직임이 검출되면 그 움직임 대상을 감지하고 추적하는 시스템이다. 그러나, 이러한 종래의 디지털 영상 저장 장치들은 다수의 카메라로부터 입력되는 모든 순간의 영상을 저장하기가 매우 어렵고, 그 시스템의 복잡성과 고비용 및 설치 운영이 매우 어려운 문제점이 있다. 즉, 부연하면, 현재의 시스템은 단순히 일정 시간 간격 또는 연속적으로 영상을 저장하거나(대한민국특허 제1998-20978호), 영상의 움직임을 측정하여 그 양이 큰 순간에 영상을 저장하는데(대한민국특허 제1998-50987)이는 천둥이 치거나 조명의 점등 또는 소등, 사람외의 물체가 움직이는 무의미한 순간에도 영상을 저장하여 비효과적이다. 또한, 일반적으로 카메라가 넓은 영역을 감시하기 때문에, 침입자가 촬영되더라도 얼굴이 작아 식별이 어려우며 증거물 확보가 불가능한 경우가많다. 팬틸트줌이 가능한 능동 카메라를 사용하여 움직임을 감지 추적하는 방법(대한민국특허 제 2000-87602)도 많은 사람이 동시에 나타날 경우, 영상 전체에 움직임이 발생하여 포커싱할 영역을 제대로 감지 추적할 수 없는 문제점이 있다. 또한, 상술한 바와같은 디지털 영상 저장 장치는 오랜 시간 감시 및 영상을 저장하면 방대한 영상 DB가 형성되기 때문에, 이후에 필요로 하는 영상을 검색하는 작업도 매우 어려운 문제점이 있다.
본 발명의 목적은, 실시간 얼굴 검출 알고리즘에 기반하여 침입자가 나타나는 순간만을 정확하게 감지하고 그 순간에 영상의 영역별 다른 해상도를 적용하여 영상을 저장함으로써 최대한의 영상 압축효과를 낼 수 있도록 한 디지탈 감시 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 능동 카메라를 사용하여 침입자의 얼굴만을 정확하게 포커싱하여 효과적으로 기록할 수 있도록 한 디지탈 감시 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 오랜 시간 감시 및 움직임 검출된 영상을 저장한 후, 저장된 많은 영상 데이타를 효과적으로 검색할 수 있도록 한 디지탈 감시 장치 및 방법을 제공하는 데 있다.
도 1은 본 발명의 바람직한 실시예에 따른 디지탈 감시 장치를 나타낸 블럭도이다.
도 2는 본 발명의 바람직한 실시예에 따른 디지탈 감시 방법의 흐름도이다.
도 3은 검출된 얼굴들의 중요도를 판별하는 방법의 흐름도이다.
이러한 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 디지탈 감시 장치에 있어서, 감시 대상 영역의 영상을 촬영하는 영역촬영부와, 상기영역촬영부로부터 제공되는 촬영된 영상을 디지탈 데이터로 변환하는 디지탈 영상 캡처부와, 상기 디지탈 영상 캡처부로부터 제공되는 디지탈 영상 데이터로부터 얼굴 영상 데이터를 검출하는 얼굴 검출부와, 상기 얼굴 검출부로부터 제공되는 얼굴영상 데이타 및 전체 영상 데이터를 압축하는 영상선택압축부와, 상기 영상선택압축부로부터 제공되는 영상 데이타를 DB로 생성하고, 압축 및 저장하는 DB부와, 상기 얼굴검출부에서 검출된 얼굴 영상 데이터로부터 각각의 얼굴에 대한 중요도를 산출하고 이에 따른 제어신호를 발생하는 제어부와, 상기 제어부의 제어신호에 따라 구동되어 상기 영역촬영부에 의해 촬영된 영역중 소정의 얼굴 영역을 추적 및 확대 촬영하여 상기 디지탈 영상 캡처부로 제공하는 능동카메라를 포함한다.
이러한 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 디지탈 감시 방법에 있어서, (가) 소정의 감시 대상 영역에 대한 영상을 촬영하고 디지탈 데이터로 변환하는 단계와, (나) 상기 단계에서 변환된 디지탈 데이터로부터 얼굴 영역에 대한 데이터를 검출하는 단계와, (다) 상기(나) 단계에서 검출된 얼굴 영역 데이터 및 상기 감시 대상 영역에 대한 전체 영상 데이타에 대하여 선택압축을 실행하는 단계와, (라) 상기 (다) 단계에서 선택 압축된 데이터로부터 DB를 생성하고 저장하는 단계와, (마) 상기 (나) 단계에서 검출된 얼굴 영역이 2이상일 경우 얼굴의 중요도를 산출하고, 그 중요도에 따라 얼굴을 추적 및 확대하여 촬영하는 단계를 포함한다.
이하, 본 발명의 구체적인 일 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 디지탈 감시 장치를 나타낸 블럭도이다.
도 1에 도시된 바와같이, 본 발명은, 영역촬영부(10), 디지탈영상 캡처(Capture)부(20), 얼굴검출부(30), 전체영상 압축부(42) 및 얼굴영역분할부(44)로 이루어진 영상선택압축부(40)와 DB생성부(52) 및 저장부(54)로 이루어진 DB부(50), 중요도 산출부(52) 및 구동 제어부(64)로 이루어진 제어부(60), 능동카메라(70), 검색인터페이스 생성부(80) 및 켈리브레이션부(90)를 포함하고 구성된다.
영역촬영부(10)는 감시 대상영역의 영상을 촬영하는데, 본 발명에서는 통상의 CCD 카메라로 구성되며, 감시 대상영역에 따라 다소 차이가 있을 수 있으나, 적어도 1이상의 카메라로 구성된다. 또한, 영역촬영부(10)를 구성하는 각각의 CCD 카메라는 일반적으로 초점거리 3~6mm의 렌즈를 장착한 것이사용될 수 있으며, 감시 대상 영역, 즉, 주요 감시영역에서 사람의 얼굴 영상을 언어 최소 크기가 20*20 픽셀이상이 되게 설치되는데, 이는 실시간 얼굴 검출, 즉, 얼굴 검출부(30)에서 실시간으로 검출할 수 있는 최소 얼굴의 크기는 영상픽셀단위로 20*20 이기 때문이다. 또한, 디지탈 영상 갭처부(20)는 영역촬영부(10)로부터 제공되는 영상데이타를 디지탈 데이터로 변환하는데, 이는 일반적인 영상 저장장치에 사용되는 이미지 그래버(Image Grabber)등으로 구현된다.
얼굴 검출부(30)는 디지탈 영상 갭처부(20)로부터 제공되는 디지탈 영상 데이터로부터 다양한 크기 및 복수의 얼굴들을 검출하고, 이에따라 본 발명은 감시대상영역에서 포착된 모든 사람의 얼굴을 검색할 수 있는데, 얼굴 검출을 위하여, 본 발명에 따른 얼굴 검출부(30)는 실시간으로 구현된 원거리 복수 얼굴 검출 알고리즘을 적용한다. 또한, 얼굴 검출부(30)는 검출된 얼굴 데이터를 중요도 산출부(62)로 제공하고, 전체 데이터, 즉 감시 대상 영역에 대한 디지탈 영상 데이타는 전체영상압축부(42)로 제공한다.
영상선택압축부(40)는 전체 영상 압축부(42) 및 얼굴 영역분할부(44)로 구성되는데, 얼굴 검출부(30)로부터 제공되는 전체 영상에 대한 디지탈 영상 데이터를 소정의 비율로 압축한다. 즉, 전체 영상 압축부(42)는 얼굴 검출부(30)로부터 제공되는 디지탈 영상 데이터, 즉, 전체 영상에 대한 데이타를 소정의 압축률, 예를들면, 디지탈 영상 캡처부(20)로부터 제공되는 원 영상의 해상도를 1/4 ~ 1/16로 압축하여 DB 생성부(52)로 제공하는데, 이는 전체 영상을 통해 침입자의 행동만을 관찰하기 위함이기 때문으므로 높은 해상도를 유지할 필요가 없기 때문이다. 얼굴 영역 분할부(44)는 얼굴검출부(30)에서 검출된 얼굴영역에 대하여 전체 영상, 즉, 전체 영상 압축부(42)에서 압축되는 전체 영상에 비해 높은 해상도로 처리하여 DB 생성부(52)로 제공한다. 또한, 이때, 얼굴 영역 분할부(44)는 검출된 얼굴 수 만큼의 부분영상이 얻어지도록 처리하며, 각 부분영상의 크기는 얼굴크기에 비례하며, 각각의 얼굴에 대한 전체영상에서의 좌표 정보 등을 전체 영상과 링크하여 처리하고, 이 링크된 좌표정보데이터를 DB 생성부(52) 및 켈리브레이션부(90)로 제공한다.
한편, 중요도 산출부(62)는 얼굴 검출부(30)에서 다수의 얼굴이 동시에 검출될 경우, 얼굴의 중요도를 산출하는데, 이러한 얼굴의 중요도는 얼굴이 검출된 위치, 영역촬영부(10)에 대한 얼굴의 근접거리 및 얼굴의 움직임 등을 이용하여 산출한다. 부연하면, 먼저,전체 감시 영상을 중요도에 따라 영상을 분할하고, 각 영역의 중요도에 따라 사전에 값을 설정한다. 즉, 예를 들면, 은행의 경우라며 금고 및 주업무가 이루어지는 창구 영역 등에 큰 값이 할당되어 사전 설정될 것이며, 이러한 장소에서 검출된 얼굴은 그 값이 크게 나타나므로 중요도가 높게 설정될 것이다. 또한, 영역촬영부(10)에 대한 얼굴의 근접거리는 검출된 얼굴의 크기를 이용하여 산출할 수 있다. 얼굴의 크기는 얼굴 검출부(30)에서 검출되는데, 검출된 얼굴의 피부색 픽셀수를 측정하여 크기를 계산할 수 있다. 이때, 카메라에 근접한 사람의 얼굴이 더 중요하다고 판단한다. 마지막으로, 움직임은 현재 프레임과 이전 프레임의 차이를 이용해 분할해둔 각 영역의 움직임 양을 측정하고, 움직임이 큰 영역에서 검출된 얼굴에 높은 중요도를 할당하며, 연속하는 몇 프레임 동안 안정적으로 얼굴이 검출될 때 능동 카메라(70)를 통하여 포커싱하여야 할 얼굴, 즉, 포커싱할 의미가 있는 얼굴로 판단한다. 이와 같은 방법으로 얼굴의 중요도가 산출되면 중요도 산출부(62)는 위의 세가지 요소에 대한 데이터를 구동 제어부(64)로 제공하여 능동 카메라(70)의 구동이 이루어지도록 하는데, 위의 세가지 요소중에서도 우선 순위는 첫째, 얼굴이 검출된 위치, 둘째, 얼굴의 움직임 양, 셋째, 얼굴의 크기순이다.
그리고, 구동 제어부(64)는 중요도 산출부(62)로 부터 얼굴의 중요도에 대한 데이터가 제공되면 이에 따른 구동 제어신호를 능동 카메라(70)로 제공한다. 즉,구동 제어부(64)는 동시에 얼굴이 검출된 경우 중요도가 높은 순으로 능동 카메라(70)의 구동을 제어하는데, 중요도가 낮은 얼굴은 능동카메라(70)가 중요도가 높은 얼굴을 포커싱하는 동안 사라질 수 있다. 또한, 구동 제어부(64)는 능동 카메라(70)를 제어함에 있어, 제어 테이블을 형성하고, 능동 카메라(70) 구동을 위해 필요한 정보 데이터를 형성된 제어 테이블에 저장하는데, 이때, 중요도 데이터를 근거로, 중요도에 따른 얼굴에 대한 좌표를 정보 데이터로써 저장하여 제어 테이블을 형성하며, 과거에 저장했던 좌표에 현재 얼굴이 없으면 제어 테이블에서 정보를 제거함으로써 능동카메라(70)의 불필요한 구동을 없애도록 한다.
능동 카메라(70)는, 상술한 바와 같은 구동 제어부(64)의 구동제어 신호에 따라 팬, 틸트, 줌을 구동하여 얼굴의 중요도 우선순위에 따라 소정의 얼굴을 추적 및 확대하여 촬영하고, 이 촬영된 영상 신호를 디지탈 영상 캡처부(20)로 제공하는데, 이때, 팬, 틸트, 줌을 구동하는데 소정의 시간이 소요되므로, 감시 대상자가 빠르게 움직이거나 많은 사람이 동시에 나타나면 제대로 대상 얼굴을 포커싱할 수 없기 때문에 이를 방지하기 위해 사전에 줌의 상태를 초기 세팅하여 구동 시간이 거의 소요되지 않도록 한다. 또한, 디지탈 영상 갭처부(20)는 능동 카메라(70)로부터 제공된 얼굴 영상을 디지탈 데이터로 변환하여 DB 생성부(52)로 제공한다.
한편, DB 생성부(52)는 전체 영상 압축부(42)로부터 제공되는 압축된 전체 영상 데이터, 이를 촬영한 카메라 번호 및 촬영 시간, 얼굴영역분할부(44)로부터 제공되는 얼굴 부분 영상과 이 부분영상들에 대한 전체 영상 번호 및 전체 영상에서의 좌표를 데이터 베이스화 하고, 또한 능동 카메라(70)에서 촬영되어 디지탈 영상 캡처부(20)를 통하여 제공되는 확대된 얼굴 영상 및 확대된 얼굴과 동일한 얼굴의 부분 영상들의 번호를 데이터 베이스화 하여 저장부(54)로 제공하고, 저장부(54)는 DB 생성부(52)로부터 제공되는 데이터들을 소정의 압축률로 압축하여 저장하는데, 이때, 영상 데이터의 압축은 일반적인 JPEG 압축 방법을 사용한다.
또한, 검색 인터페이스 생성부(80)는 DB 생성부(52)에서 생성된 DB를 근거로, 다음의 두가지 사용자 검색 인터 페이스를 생성한다. 즉, 첫째, 카메라 번호와 촬영된 시간에 따라 압축된 전체 영상을 검색할 수 있도록 하되, 전체 영상에 나타난 감시 대상의 신원을 확인하고자 할 경우에는 해당되는 높은 해상도의 얼굴 부분 영상을 제공할 수 있도록 형성하며, 둘째, 사용자의 검색조건에 해당되는 모든 사람의 얼굴 영상을 보여 줄 수 있고, 확대한 얼굴 영상 및 이에 해당하는 부분영상들을 함께 제공할 수 있도록 인터 페이스를 형성한다. 이때, 검색 조건은 시간, 공간, 침입자, 즉, 감시 대상자의 옷 색깔등이 될 수 있다.
그리고, 켈리브레이션부(90)는 영역촬영부(10)에서 촬영된 영상 및 얼굴 영역 분할부(44)에서 검출되어 제공되는 얼굴 좌표 정보 및 크기 정보를 근거로 얼굴 크기에 따른 거리정보를 산출하고, 산출된 거리정보에 따라 능동 카메라(70)의 대응점을 구한 후, 이 대응점에 따른 켈리브레이션 신호를 능동 카메라(70)로 출력함으로써, 이 대응점의 좌표가 능동 카메라(70)가 촬영하는 영상의 중심에 위치하도록 능동 카메라(70)를 팬, 틸트, 구동시켜 능동 카메라(70)를 켈리브레이션 시킨다. 즉, 능동 카메라(70)는 켈리브레이션부(90)로부터 제공되는 켈리브레이션 신호에따라 팬, 틸트 구동되어 포커싱하고자 하는 얼굴에 대하여 적절히 추적 및 확대촬영할 수 있도록 된다. 한편, 본 발명에 따르면, 켈리브레이션부(90)에서의 거리정보 산출은 다음과 같이 이루어진다. 먼저 일반적인 스테레오 카메라 켈리브레이션 방법을 통해 시스템의 기본 메트릭스(Fundamental Matrix)를 구한 후, 이를 이용하여 두 카메라, 즉, 영역촬영부(10)를 구성하는 하나의 카메라와 능동 카메라(70)간의 대응점이 에피폴라 라인(Epipolar Line)으로 나타나게 하면, 하나의 카메라의 영상 포인트가 다른 카메라의 영상에서는 하나의 직선으로 대응되고, 대응되는 직선위에서 실제 대응되는 포인트 좌표를 구하기 위해 실제 얼굴이 나타난 거리를 가정하고, 실제 감시 영역에서 카메라, 즉, 영역촬영부(10)를 통하여 거리를 바꾸어가며 영상을 촬영하고, 영상에서의 얼굴크기와 실제 거리를 측정하여 테이블을 구성한 후, 얼굴 좌표 정보 및크기 정보 및 구성된 테이블을 통하여 거리 정보를 산출한다.
도 2는 본 발명의 바람직한 다른 실시예에 따른 디지탈 감시 방법의 흐름도이다.
도 2는 도 1의 디지탈 감시 장치를 통하여 수행되는 방법이므로 아래에서는 중복 설명을 피하고 간략히 설명한다.
먼저, 단계(S10)에서는 감시 대상 영역의 영상을 촬영하고, 촬영된 영상에 대한 영상을 캡처하여 촬영된 영상을 디지탈 데이터로 변환하고, 단계(S20)로 진행한다. 즉, 단계(S10)에서, 영상 촬영부(10)는 감시 대상 영역의 영상을 촬영하고, 디지탈 영상 캡처부(20)는 이 촬영된 영상을 디지탈 영상 데이터로 변환한다. 그후에, 단계(S20)에서 얼굴 검출부(30)는 감시 영역의 디지탈 영상 데이터부터 얼굴을 검출하는데, 얼굴 검출이 완료되면 단계(S20)는 단계(S30) 및 단계(S60)로 진행하고, 그러면, 단계(S30)에서는 촬영된 감시 영역 전체 영상 데이터에 대해 압축을 실행하고, 또한 검출된 얼굴 영역에 대하여 영상 분할을 실행하는데, 이는, 상술한 바와 같이, 전체 영상 압축부(42) 및 얼굴영역분할부(44)에서 수행된다.
한편, 단계(S60)는 단계(S30)와 동시에 수행되는데, 감시 대상 영역의 전체 영상에서 2이상의 얼굴이 검출되는지를 판단하는데, 얼굴 검출부(30)에서 검출되는 결과에 따라 이를 판단한다. 한편, 단계(S60)에서 검출되는 얼굴이 2이상인 경우에는 단계(S70) 및 단계(S80)를 수행한다. 단계(S30)에서, 2 이상의 얼굴이 검출되어 단계(S70)로 진행하면, 단계(S70)에서는 검출된 얼굴들의 중요도를 판별하는데, 이때 얼굴의 중요도는 얼굴이 검출된 위치, 얼굴의 움직임 양, 얼굴의 크기등에 우선순위를 두고 중요도를 산출하는데, 도 3에 상세 블럭도로서 도시되었다. 도 3을 참조하여, 단계(S70)에 대해 상세히 설명하면, 먼저, 단계(S71)에서,얼굴이 검출된 영역중 그 중요도에 따라 사전 설정된 값이 가장 큰영역을 선택하고, 단계(S73)에서는 선택된 영역이 이전에 포커싱 했던 영역인지를 판단한다. 단계(73)에서, 선택된 영역이 이전에 포커싱했던 영역으로 판별되면, 단계(74)에서, 검출된 얼굴 영역중 다음 큰값을 할당한 영역을 선택하고, 단계(S73)로 복귀한다. 또한, 단계(S73)에서 이전에 포커싱 했던 영역이 아닌 것으로 판단되어 단계(S75)로 진행하면, 단계(S75)에서는 선택된 영역의 움직임이 사전 설정된 기준값 이상인지를 판별하는데, 이때, 기준값 미만이면 단계(S74)로 진행하여 흐름을 다시 수행하고, 이상이면 단계(S77)로 진행한다. 그후에, 단계(S77)에서는 선택된 영역에서 얼굴이안정적으로 검출되는 지를 판별하는데, 이때, 안정적으로 검출되지 않으면, 단계(S74)로 진행하여 흐름을 재수행하고, 안정적으로 검출이 되면 단계(S79)로 진행한다.
마지막으로, 단계(S79)에서는 단계(S77)에서 안정적으로 얼굴이 검출되는 영역내에서 검출된 얼굴중 가장 큰 얼굴을 선택하고, 흐름은 종료된다.
다시 도 2에서, 단계(S70)가 완료되면, 단계(S80)에서는 얼굴 중요도에 따라 얼굴을 추적 및 포커싱하고 얼굴을 확대하여 촬영하는데, 이는 도 1에 도시된 중요도산출부(62), 구동제어부(64) 및 능동 카메라(70)를 통하여 이루어지는데, 도 1에서 이미 설명하였으므로 상세 설명은 생략한다.
단계(S30) 및 단계(S80)가 완료되어 단계(S40)로 진행하면, 단계(S40)에서는 얼굴 DB를 생성 및 저장하는데, 이때, 얼굴DB는 압축된 전체 영상 데이터, 이를 촬영한 카메라 번호 및 촬영 시간,얼굴 부분 영상과 이 부분영상들에 대한 전체 영상 번호 및 전체 영상에서의 좌표를 데이터 베이스화 하고, 또한 능동 카메라(70)에서 촬영되어 디지탈 영상 캡처부(20)를 통하여 제공되는 확대된 얼굴 영상 및 확대된 얼굴과 동일한 얼굴의 부분 영상들의 번호를 데이터 베이스화 하여 저장한다.
그후에, 단계(S50)에서는 단계(S40)에서 생성 및 저장된 DB를 근거로, 다음의 두가지 사용자 검색 인터 페이스를 생성하는데, 첫째, 카메라 번호와 촬영된 시간에 따라 압축된 전체 영상을 검색할 수 있도록 하되, 전체 영상에 나타난 감시 대상의 신원을 확인하고자 할 경우에는 해당되는 높은 해상도의 얼굴 부분 영상을 제공할 수 있도록 형성하며, 둘째, 사용자의 검색조건에 해당되는 모든 사람의 얼굴 영상을 보여 줄 수 있도록 형성되며, 확대한 얼굴 영상 및 이에 해당하는 부분영상들을 함께 제공할 수 있도록 인터 페이스를 형성한다. 이때, 검색 조건은 시간, 공간, 침입자, 즉, 감시 대상자의 옷 색깔등이 될 수 있다.
상술한 바와 같이, 본 발명의 디지털 감시 장치 및 방법에 따르면 실시간으로 감시 영역에 침입자가 나타나는 순간만을 정확하게 감지하고 그 순간에 영상의 영역별 다른 해상도를 적용하여 영상을 저장함으로써 최대한의 영상 압축효과를 낼 수 있으며, 영상에서 침입자의 얼굴 영역은 높은 해상도로 저장하기 때문에 압축으로 인한 정보의 손실 가능성은 없는 장점이 있다. 또한 능동 카메라를 연동하여 침입자의 얼굴만을 정확하게 포커싱하여 촬영함으로써, 침입자의 얼굴을 정확하게 촬영 저장할 수 있는 효과가 있으며, 일반 CCD 카메라와 능동 카메라를 스테레오 캘리브레이션 한 후 연동하여, 다수의 사람이 동시에 나타나도 효과적으로 포커싱하여 촬영할 수 있는 장점이 있다.

Claims (25)

  1. 디지탈 감시 장치에 있어서,
    소정의 사전 설정된 감시 대상 영역의 영상을 촬영하는 영역촬영부;
    상기 영역촬영부로부터 제공되는 촬영된 영상을 디지탈 데이터로 변환하는 디지탈 영상 캡처부;
    상기 디지탈 영상 캡처부로부터 제공되는 디지탈 영상 데이터로부터 얼굴 영상 데이터를 검출하는 얼굴 검출부;
    상기 얼굴 검출부로부터 제공되는 얼굴영상 데이타 및 전체 영상 데이터를 선택 압축하는 영상압축제어부;
    상기 영상선택압축부로부터 제공되는 영상 데이타를 DB로 생성하고, 압축 및 저장하는 DB부와, 상기 얼굴검출부에서 검출된 얼굴 영상 데이터로부터 각각의 얼굴에 대한 중요도를 산출하고 이에 따른 제어신호를 발생하는 제어부; 및
    상기 제어부의 제어신호에 따라 구동되어 상기 영역촬영부에 의해 촬영된 영역중 소정의 얼굴 영역을 추적 및 확대 촬영하여 상기 디지탈 영상 캡처부로 제공하는 능동카메라를 포함하는 디지탈 감시 장치.
  2. 제 1 항에 있어서, 상기 영역촬영부는 적어도 하나 이상의 CCD 카메라로 구성되는 디지탈 감시 장치.
  3. 제 1 항에 있어서, 상기 디지탈 영상 캡처부는 이미지 그래버(Image Grabber)를 사용하여 상기 영역촬영부로부터 제공되는 영상을 디지탈 데이터로 변환하는 디지탈 감시 장치.
  4. 제 1 항에 있어서, 상기 얼굴 검출부는 실시간으로 촬영된 감시 대상 영역에 있는 다양한 크기의 다수의 얼굴들을 검출하는 디지탈 감시 시스템
  5. 제 1 항에 있어서, 상기 영상선택압축부는,
    촬영된 감시 영역 전체에 대한 전체 영상을 소정의 비율로 압축을 실행하는 전체 영상 압축부; 및
    상기 얼굴 검출부에서 검출된 얼굴영역에 대하여 영역 분할하는 얼굴영역분할부로 이루어지는 디지탈 감시 장치.
  6. 제 5 항에 있어서, 상기 전체 영상 압축부는 상기 얼굴 검출부에서 적어도 하나 이상의 검굴이 검출될 경우에 상기 전체 영상에 대하여 압축을 실행하는 디지탈 감시 장치.
  7. 제 6 항에 있어서, 상기 전체 영상 압축부의 압축 비율은 상기 전체 영상의 해상도에 대비하여 1/4~1/16 인 디지탈 감시 장치.
  8. 제 5 항 있어서, 상기 얼굴영역 분할부는 상기 얼굴 검출부에서 검출된 얼굴수 만큼의 부분 영상으로 분할하여 구하며, 분할된 각 부분 영상의 크기는 얼굴 크기에 비례하도록 하는 디지탈 감시 장치.
  9. 제 8 항에 있어서, 상기 얼굴영역 분할부에서 분할되는 얼굴 영상의 해상도는 상기 전체 영상의 해상도보다 소정 비율 높은 디지탈 감시 장치.
  10. 제 8 항에 있어서, 상기 얼굴영역 분할부는 각각의 얼굴에 대한 전체영상에서의 좌표 정보 등을 전체 영상과 링크하여 처리함으로써, 전체 영상에 대하여 링크 처리된 각각의 얼굴에 대한 좌표 정보를 검출하는 디지탈 감시 장치
  11. 제 10 항에 있어서, 상기 제어부는,
    상기 얼굴검출부에서 검출된 각각의 얼굴들에 대한 중요도를 산출하는 중요도 산출부; 및
    상기 중요도 산출부로부터 산출되어 제공되는 중요도에 따라 상기 능동 카메라의 구동을 제어하기 위한 구동 제어신호를 발생하는 구동 제어부로 이루어지는 디지탈 감시 장치.
  12. 제 11 항에 있어서, 상기 중요도 산출부는 적어도 2 이상의 얼굴이 동시에 검출될 경우 얼굴의 중요도를 산출하되, 얼굴이 검출된 위치, 얼굴 움직임의 양, 얼굴의 크기순으로 우선 순위를 두고 중요도를 산출하는 디지탈 감시 장치.
  13. 제 11 항에 있어서, 상기 구동 제어부는 상기 능동 카메라를 제어함에 있어, 상기 중요도 데이터를 근거로, 중요도에 따른 얼굴에 대한 좌표를 저장하여 제어 테이블을 형성하고, 이 형성된 제어 테이블에 따라 제어하는 디지탈 감시 장치.
  14. 제 13 항에 있어서, 상기 능동 카메라는 팬, 틸트, 줌 구동 가능한 카메라로이루어지는 디지탈 감시 장치.
  15. 제 14 항에 있어서, 상기 능동 카메라는 줌의 상태가 사전에 초기 세팅되는 디지탈 감시 장치.
  16. 제 14 항에 있어서, 상기 능동 카메라는 상기 구동 제어부의 구동 제어신호에 따라 팬, 틸트, 줌 구동되어, 얼굴의 중요도에 따라 선택된 얼굴을 추적 및 확대 촬영하여 상기 디지탈 영상 캡처부로 제공하는 디지탈 감시 장치.
  17. 제 8 항 내지 16 항중의 어느 한항에 있어서,
    상기 얼굴 영역 분할부로부터 제공되는 전체 영상에 대하여 링크 처리된 각각의 얼굴에 대한 좌표 정보 및 상기 영역촬영부에서 촬영된 영상 근거로 얼굴 크기에 따른 거리정보를 산출하고, 이 산출된 거리정보에 따라 상기 능동 카메라의 대응점을 구한 후, 이 대응점에 따른 켈리브레이션 신호를 상기 능동 카메라로 제공하는 켈리브레이션부를 더 포함하는 디지탈 감시 장치.
  18. 제 17 항에 있어서,
    상기 켈리브레이션부의 켈리브레이션 신호는 상기 대응점의 좌표가 상기 능동카메라가 촬영하는 영상의 중심에 위치하도록 상기 능동 카메라를 구동하는 디지탈 감시 장치.
  19. 제 5 항에 있어서,
    상기 DB부는
    상기 영상선택압축부로부터 제공되는 영상 데이타를 데이터 베이스화 하여 생성하는 DB 생성부; 및
    상기 DB 생성부에서 생성된 데이터 베이스를 압축 및 저장하는 압축부로 이루어지는 디지탈 감시 장치.
  20. 제 19 항에 있어서,
    상기 DB 생성부는 상기 전체 영상 압축부로부터 제공되는 압축된 전체 영상 데이터 및 이를 촬영한 상기 영상촬영부를 구성하는 카메라의 번호와, 상기 영역분할부로부터 제공되는 영역분할된 얼굴부분 영상 및 이 부분영상들에 대한 전체 영상 및 전체 영상에서의 좌표를 데이터 베이스화하는 디지탈 감시 장치.
  21. 제 20 항에 있어서,
    상기 DB 생성부에서 생성된 DB를 근거로 하여 사용자 검색 인터페이스를 생성하는 사용자 검색 인터페이스를 더 포함하는 디지탈 감시 장치.
  22. 제 21 항에 있어서,
    상기 사용자 검색 인터페이스부는, 카메라 번호와 촬영된 시간에 따라 압축된 전체 영상을 검색할 수 있도록 하되, 전체 영상에 나타난 감시 대상의 신원을 확인하고자 할 경우에는 해당되는 높은 해상도의 얼굴 부분 영상을 제공할 수 있도록 형성하며, 사용자의 검색조건에 해당되는 모든 사람의 얼굴 영상을 보여 줄 수 있고, 확대한 얼굴 영상 및 이에 해당하는 부분영상들을 함께 제공할 수 있도록 인터페이스를 형성하는 디지탈 감시 장치.
  23. 디지탈 감시 방법에 있어서,
    (가) 소정의 감시 대상 영역에 대한 영상을 촬영하고 디지탈 데이터로 변환하는 단계;
    (나) 상기 단계에서 변환된 디지탈 데이터로부터 얼굴 영역에 대한 데이터를 검출하는 단계;
    (다) 상기 단계(나)에서 검출된 얼굴 영역 데이터 및 상기 감시 대상 영역에 대한 전체 영상 데이터에 대하여 선택압축을 실행하는 단계;
    (라) 상기 단계 (다)에서 선택 압축된 데이터로부터 DB를 생성하고 저장하는 단계; 및
    (마) 상기 단계(나)에서 검출된 얼굴 영역이 2이상일 경우 얼굴의 중요도를 산출고, 그 중요도에 따라 얼굴을 추적 및 확대하여 촬영하고 상기 단계(라)로 복귀하는 단계를 포함하는 디지탈 감시 방법.
  24. 제 23 항에 있어서,
    (바) 상기 단계(라) 후, 상기 단계(라)에서 생성된 DB를 근거로 하여 사용자 검색 인터페이스를 생성하는 단계를 더 포함하는 디지탈 감시 방법.
  25. 제 23 또는 24 항에 있어서,
    상기 단계(마)는,
    (마-1) 얼굴이 검출된 영역중 가장 큰값을 할당한 영역을 선택하는 단계;
    (마-2) 상기 가장 큰값을 할당한 영역이 이전에 포커싱 했던 영역이 아니고, 움직임의 양이 사전 설정된 기준값 이상이며, 안정적으로 얼굴이 검출될 경우, 선택된 영역에서 검출된 얼굴중 가장 큰 얼굴을 선택하는 단계; 및
    (마-3) 상기 단계(마-2)의 조건을 만족하지 않으면, 얼굴이 검출된 영역중 다음 큰값을 할당한 영역을 선택한 후 상기 단계(마-2)로 복귀하는 단계를 포함하는 디지탈 감시 방법.
KR1020010042351A 2001-07-13 2001-07-13 디지탈 감시 장치 및 방법 KR100571801B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010042351A KR100571801B1 (ko) 2001-07-13 2001-07-13 디지탈 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010042351A KR100571801B1 (ko) 2001-07-13 2001-07-13 디지탈 감시 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20030006539A true KR20030006539A (ko) 2003-01-23
KR100571801B1 KR100571801B1 (ko) 2006-04-17

Family

ID=27715006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010042351A KR100571801B1 (ko) 2001-07-13 2001-07-13 디지탈 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100571801B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030031305A (ko) * 2001-10-13 2003-04-21 주식회사 커벡스 전기영동에 의한 겔영상의 고압축 방법
KR100434907B1 (ko) * 2001-08-01 2004-06-09 주식회사 이스턴정보통신 얼굴 인식 기능을 포함한 영상 감시 시스템 및 이를이용하는 방법
KR100478222B1 (ko) * 2002-06-17 2005-03-21 전진규 영상 데이터의 처리장치
KR100481495B1 (ko) * 2001-09-25 2005-04-07 주식회사 코디소프트 중요도에 기초한 영상 신호 수집 장치 및 방법 및중요도에 기초하여 수집된 영상 신호의 압축 및 해제 장치및 방법
US7376347B2 (en) 2004-03-31 2008-05-20 Fujifilm Corporation Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same
US7773781B2 (en) 2003-10-31 2010-08-10 Samsung Electronics Co., Ltd. Face detection method and apparatus and security system employing the same
KR100976470B1 (ko) * 2003-06-12 2010-08-18 엘지전자 주식회사 단말기에서의 영상 데이터 편집 방법
KR101223606B1 (ko) * 2011-03-31 2013-01-21 경북대학교 산학협력단 엘리베이터를 위한 지능형 영상 감시 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101322074B1 (ko) 2013-07-09 2013-11-04 한국비전기술(주) 지능형 감시 시스템
KR102288039B1 (ko) * 2019-03-20 2021-08-12 광운대학교 산학협력단 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10336632A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd 監視装置
KR19990060503A (ko) * 1997-12-31 1999-07-26 구자홍 비디오 카메라의 피사체 특정부위 녹화장치 및 방법
KR100326203B1 (ko) * 1999-06-11 2002-02-27 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
KR20020079083A (ko) * 2001-04-13 2002-10-19 주식회사 아이티에스월드 얼굴 촬영 데이터를 이용한 경비시스템 및 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100434907B1 (ko) * 2001-08-01 2004-06-09 주식회사 이스턴정보통신 얼굴 인식 기능을 포함한 영상 감시 시스템 및 이를이용하는 방법
KR100481495B1 (ko) * 2001-09-25 2005-04-07 주식회사 코디소프트 중요도에 기초한 영상 신호 수집 장치 및 방법 및중요도에 기초하여 수집된 영상 신호의 압축 및 해제 장치및 방법
KR20030031305A (ko) * 2001-10-13 2003-04-21 주식회사 커벡스 전기영동에 의한 겔영상의 고압축 방법
KR100478222B1 (ko) * 2002-06-17 2005-03-21 전진규 영상 데이터의 처리장치
KR100976470B1 (ko) * 2003-06-12 2010-08-18 엘지전자 주식회사 단말기에서의 영상 데이터 편집 방법
US7773781B2 (en) 2003-10-31 2010-08-10 Samsung Electronics Co., Ltd. Face detection method and apparatus and security system employing the same
US7376347B2 (en) 2004-03-31 2008-05-20 Fujifilm Corporation Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same
KR100840561B1 (ko) * 2004-03-31 2008-06-23 후지필름 가부시키가이샤 디지털 스틸 카메라 및 그의 제어 방법
US7853140B2 (en) 2004-03-31 2010-12-14 Fujifilm Corporation Digital still camera, image reproducing apparatus, face image display apparatus and methods of controlling same including determination device and decision device
KR101223606B1 (ko) * 2011-03-31 2013-01-21 경북대학교 산학협력단 엘리베이터를 위한 지능형 영상 감시 시스템

Also Published As

Publication number Publication date
KR100571801B1 (ko) 2006-04-17

Similar Documents

Publication Publication Date Title
US8587655B2 (en) Directed attention digital video recordation
JP4140591B2 (ja) 撮像システム及び撮像方法
US10846529B2 (en) Image monitoring system and image monitoring program
Tonomura et al. Structured video computing
US6750903B1 (en) Super high resolution camera
US7355627B2 (en) Moving object monitoring surveillance apparatus for detecting, tracking and identifying a moving object by zooming in on a detected flesh color
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
KR20060095515A (ko) 정보 처리 시스템, 정보 처리 장치 및 정보 처리 방법,프로그램, 및 기록 매체
KR100571801B1 (ko) 디지탈 감시 장치 및 방법
CN114040169A (zh) 信息处理装置、信息处理方法和存储介质
JPH07236115A (ja) ショット検出方法および代表画像記録・表示装置
KR20110051308A (ko) 얼굴 이미지 촬영 장치 및 방법
KR100536747B1 (ko) 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
JP4855662B2 (ja) カメラシステム、カメラ制御方法、及びプログラム
CN116017136A (zh) 拍摄设备的控制方法和装置、存储介质及电子装置
KR100761817B1 (ko) 움직이는 물체를 효율적으로 추적하는 감시용 카메라시스템 및 그 제어 방법
JP2008211534A (ja) 顔検知装置
KR100412634B1 (ko) 카메라를 사용한 얼굴 영상 자동 촬영 방법 및 그 장치
KR100278989B1 (ko) 폐쇄회로모니터링장치및방법
JP3113365B2 (ja) 映像合成システム
KR102587499B1 (ko) 저장기간을 연장하며 상황을 용이하게 파악할 수 있도록 할 수 있는 촬영영상 저장장치 및 그 저장방법
KR100391266B1 (ko) 객체기반 영상 압축을 위한 배경설정방법
WO2024062971A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP3838151B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee