KR20180001356A - 지능형 영상 보안 시스템 - Google Patents

지능형 영상 보안 시스템 Download PDF

Info

Publication number
KR20180001356A
KR20180001356A KR1020160080387A KR20160080387A KR20180001356A KR 20180001356 A KR20180001356 A KR 20180001356A KR 1020160080387 A KR1020160080387 A KR 1020160080387A KR 20160080387 A KR20160080387 A KR 20160080387A KR 20180001356 A KR20180001356 A KR 20180001356A
Authority
KR
South Korea
Prior art keywords
image information
unit
person
image
identified
Prior art date
Application number
KR1020160080387A
Other languages
English (en)
Inventor
김유신
반성범
Original Assignee
(주)티디엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티디엘 filed Critical (주)티디엘
Priority to KR1020160080387A priority Critical patent/KR20180001356A/ko
Publication of KR20180001356A publication Critical patent/KR20180001356A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K9/00288—
    • G06K9/00335—
    • G06K9/00362—
    • G06K9/4642—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 지능형 영상 보안 시스템에 관한 것으로, 보다 상세하게는 보안대상지역을 촬영하는 카메라로부터 영상정보를 획득하고, 획득된 영상정보로부터 사람을 식별하며, 식별된 사람을 배경과 분리하여 이미지 처리하고, 상기 영상정보가 사용자에 의해 재생되는 경우 보안 레벨 등 차별화된 사용자의 권한에 따라 원본 영상정보가 재생되거나 이미지 처리된 영상정보가 재생되도록 함으로써 개인의 사생활을 보호할 수 있고, 나아가 행동패턴분석 및 위험상황인지 등을 통해 비정상 상황에 대한 능동적 대응이 가능한 지능형 영상 보안 시스템에 관한 것이다.
본 발명에 따른 지능형 영상 보안 시스템은 보안대상지역을 촬영하는 카메라로부터 영상정보를 획득하는 영상정보획득부와; 상기 영상정보획득부에서 획득된 영상정보로부터 사람을 식별하는 사람식별부와; 상기 영상정보획득부에서 획득된 영상정보로부터 배경과 분리하여 상기 사람식별부에서 식별된 사람을 이미지 처리하는 이미지처리부와; 상기 영상정보획득부에서 획득된 영상정보가 시각적으로 재생되는 경우 상기 영상정보를 재생하는 사용자의 권한에 따라 상기 영상정보획득부에서 획득된 원본 영상정보가 재생되거나 상기 이미지처리부에서 이미지 처리된 영상정보가 재생되도록 제어하는 프라이버시보호부를; 포함하는 것을 특징으로 한다.

Description

지능형 영상 보안 시스템{INTELLIGENT VIDEO SURVEILLANCE SYSTEM}
본 발명은 지능형 영상 보안 시스템에 관한 것으로, 보다 상세하게는 보안대상지역을 촬영하는 카메라로부터 영상정보를 획득하고, 획득된 영상정보로부터 사람을 식별하며, 식별된 사람을 배경과 분리하여 이미지 처리하고, 상기 영상정보가 사용자에 의해 재생되는 경우 보안 레벨 등 차별화된 사용자의 권한에 따라 원본 영상정보가 재생되거나 이미지 처리된 영상정보가 재생되도록 함으로써 개인의 사생활을 보호할 수 있고, 나아가 행동패턴분석 및 위험상황인지 등을 통해 비정상 상황에 대한 능동적 대응이 가능한 지능형 영상 보안 시스템에 관한 것이다.
최근 은행, 관공서 및 많은 기업에서 출입자를 감시하고 출입자들에 대한 기록을 확보하기 위해 CCTV 등의 카메라를 이용하여 보안대상지역을 촬영하는 영상 보안 시스템을 운용하고 있다.
하지만, 종래의 영상 보안 시스템은 단순 모니터링 위주의 노동 집약적 감시 환경으로서, 사람의 단순 노동을 통해 개인적 판단으로 사람을 인식 및 분석하고, 위험 상황 및 비정상 행동을 개인적 소견에 따라 판단함으로써 잘못된 판단을 할 수 있는 문제점이 있었다.
영상 보안 시스템 관련 종래기술로 등록특허공보 제10-0248955호(2000.03.15. 공고)에는 사람이 움직이는 방향과 속도를 연산하여 움직임에 따라 사람을 추적하는 "자동감시장치"가 제안된 바 있고, 등록특허공보 제10-0580626호(2006.05.16. 공고)에는 이전 프레밍영상에서의 얼굴검출여부에 따라서 현재 프레임영상에 대하여 얼굴검출모드와 얼굴추적모드 중 하나를 적용하여 얼굴을 검출하기 위한 "얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템"이 제안된 바 있다.
하지만, 상기의 종래기술들은 획득된 영상정보에 대해 개인의 사생활을 보호할 수 없는 문제점이 있었다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 촬영된 영상정보의 재생에 있어서 개인의 사생활을 보호할 수 있고, 나아가 행동패턴분석 및 위험상황인지 등을 통해 비정상 상황에 대한 능동적 대응이 가능한 지능형 영상 보안 시스템을 제공하는 데에 있다.
본 발명의 다른 목적은 원거리에서도 사람의 식별이 가능하고, 다수의 얼굴 영상을 추출 및 추적할 수 있는 지능형 영상 보안 시스템.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 지능형 영상 보안 시스템은 보안대상지역을 촬영하는 카메라로부터 영상정보를 획득하는 영상정보획득부와; 상기 영상정보획득부에서 획득된 영상정보로부터 사람을 식별하는 사람식별부와; 상기 영상정보획득부에서 획득된 영상정보로부터 배경과 분리하여 상기 사람식별부에서 식별된 사람을 이미지 처리하는 이미지처리부와; 상기 영상정보획득부에서 획득된 영상정보가 시각적으로 재생되는 경우 상기 영상정보를 재생하는 사용자의 권한에 따라 상기 영상정보획득부에서 획득된 원본 영상정보가 재생되거나 상기 이미지처리부에서 이미지 처리된 영상정보가 재생되도록 제어하는 프라이버시보호부를; 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은, 상기 사람식별부에서 식별된 사람의 행동패턴을 분석하는 행동패턴분석부와; 상기 행동패턴분석부에서 분석된 행동패턴의 정상유무를 판단하는 모니터링부를; 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은, 상기 영상정보획득부에서 획득된 영상정보로부터 색상 채널, 채도 채널 및 명도 채널의 분석을 통해 상기 보안대상지역의 화재 또는 연기를 감지하여 위험상황인지 여부를 판단하는 위험상황인지부를; 더 포함하고, 상기 모니터링부는, 상기 위험상황인지부에서 위험상황으로 판단되는 경우 알람을 발생하거나 관리자에게 통보하는 것을 특징으로 한다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은, 상기 행동패턴분석부는, 상기 사람식별부에서 식별된 사람의 이동 궤적을 추적하는 것을 포함하고, 상기 모니터링부는, 상기 사람식별부에서 식별된 사람이 인가DB에 저장된 사람인지를 판단하고, 상기 인가DB에 저장되지 않은 사람으로 판단되는 경우 식별된 사람의 상기 행동패턴분석부에서 추적된 이동 궤적이 정해진 제한 구역을 침범하는 경우 비정상 행동패턴으로 판단하여 알람을 발생하거나 관리자에게 통보하는 것을 특징으로 한다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은, 상기 사람식별부는, 상기 영상정보로부터 식별된 사람의 얼굴영역을 추출하고, 원거리 얼굴의 검색이 가능하도록 추출된 얼굴을 보간법을 이용하여 상기 식별된 사람의 고유데이터로 저장하는 것을 특징으로 한다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은, 상기 사람식별부에서 이용되는 보간법은, 상기 영상정보로부터 식별된 사람의 거리별 복수개의 얼굴영상이 입력되고, 정규화 과정을 통해 정규화된 얼굴영상의 평균 얼굴 벡터가 계산되며, 상기 입력된 거리별 복수개의 얼굴영상 각각과 상기 평균 얼굴 벡터의 차를 계산해 공분산 행열이 구해지고, 구해진 공분산 행렬로부터 고유벡터와 고유값을 구한 후 주성분분석(PCA)을 통해 PCA의 변환행렬인 Wpca값을 구하며, 상기 Wpca에 대한 선형 판별 분석(LDA)을 통해 클래스간 분산과 클래스간 분산의 비율이 최대가 되는 데이터인 Wlda를 찾아 상기 식별된 사람의 고유데이터로 저장하는 것을 특징으로 한다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은, 상기 사람식별부는, 상기 영상정보로부터 영상의 국소 영역에 대한 밝기 분포를 기울기에 대해 정규화된 방향성 히스토그램을 특징벡터로 사용하는 HoG(Histogram of Oriented Gradient) 기술에 MCT(Modified Census Transform) 또는 LBP(Local Binary Pattern) 기술을 접목하여 다수의 사람을 동시에 식별하는 것을 특징으로 한다.
상기와 같은 구성에 의하여 본 발명에 따른 지능형 영상 보안 시스템은 영상정보획득부, 사람식별부, 이미지처리부 및 프라이버시보호부의 유기적인 결합관계에 의하여 영상정보가 사용자에 의해 재생되는 경우 보안 레벨 등 차별화된 사용자의 권한에 따라 원본 영상정보가 재생되거나 이미지 처리된 영상정보가 재생됨으로써 개인의 사생활을 보호할 수 있는 장점이 있다.
또한, 본 발명에 따른 지능형 영상 보안 시스템은 행동패턴분석부, 위험상황인지부 및 모니터링부의 유기적인 결합관계에 의하여 사람의 비정상 행동 또는 보안대상지역의 위험상황을 스스로 판단함으로써 비정상 상황에 대한 능동적으로 대응이 가능한 장점이 있다.
도 1은 본 발명의 일실시예에 따른 지능형 영상 보안 시스템의 구성도
도 2는 본 발명의 일실시예에 따른 사람식별부에서 원거리 얼굴 검색을 위해 이용되는 보간법에 대한 흐름도
도 3은 본 발명의 일실시예에 따른 사람식별부에서 다수의 사람을 동시에 식별하고 얼굴을 추출하는 방법에 대한 흐름도
도 4는 본 발명의 일실시예에 따른 사람식별부에서 MCT 특징값을 추출하는 과정을 도시한 흐름도
도 5는 본 발명의 일실시예에 따른 위험상황인지부의 개념도
도 6은 본 발명의 일실시예에 따른 프라이버시보호부의 개념도
이하에서는 도면에 도시된 실시예를 참조하여 본 발명에 따른 지능형 영상 보안 시스템을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 지능형 영상 보안 시스템의 구성도이고, 도 2는 본 발명의 일실시예에 따른 사람식별부에서 원거리 얼굴 검색을 위해 이용되는 보간법에 대한 흐름도이며, 도 3은 본 발명의 일실시예에 따른 사람식별부에서 다수의 사람을 동시에 식별하고 얼굴을 추출하는 방법에 대한 흐름도이고, 도 4는 본 발명의 일실시예에 따른 사람식별부에서 MCT 특징값을 추출하는 과정을 도시한 흐름도이며, 도 5는 본 발명의 일실시예에 따른 위험상황인지부의 개념도이고, 도 6은 본 발명의 일실시예에 따른 프라이버시보호부의 개념도이다.
도 1 내지 도 6을 참조하면, 본 발명의 일실시예에 따른 지능형 영상 보안 시스템은 영상정보획득부(10)와, 사람식별부(20)와, 위험상황인지부(30)와, 이미지처리부(40)와, 행동패턴분석부(50)와, 모니터링부(60)와, 프라이버시보호부(70)를 포함하여 구성된다.
상기 영상정보획득부(10)는 보안대상지역을 촬영하는 CCTV 등과 같은 카메라로부터 영상정보를 획득하는 구성이다.
상기 사람식별부(20)는 상기 영상정보획득부(10)에서 획득된 영상정보로부터 사람을 식별하는 구성으로 본 발명의 일실시예에서는 원거리 얼굴의 검색이 가능하고, 다수의 사람을 동시에 식별할 수 있도록 구성된다.
먼저, 본 발명의 일실시예서는 상기 사람식별부(20)가 상기 영상정보로부터 식별된 사람의 얼굴영역을 추출하고, 원거리 얼굴의 검색이 가능하도록 추출된 얼굴을 보간법을 이용하여 상기 식별된 사람의 고유데이터로 저장하는 것을 특징으로 한다.
도 2에는 상기 사람식별부(20)에서 원거리 얼굴 검색을 위해 이용되는 보간법에 대한 흐름도를 도시하였다.
즉, 상기 사람식별부(20)에서 상기 영상정보로부터 사람을 식별하는 과정은 움직이는 객체를 탐색하는 과정, 객체의 종류를 분석하는 과정, 분류된 대상이 사람인 경우 그 대상이 누구인지 인식 하는 과정으로 구분된다.
기존 객체 탐지 방법으로 인접한 두 영상의 픽셀간 차이를 이용하는 차영상 분석 기법이 있다.
상기 차영상 분석 기법은 아래의 [수학식 1]에서와 같이 이전 영상 Ik-1(x, y)에서 현재 영상 Ik(x, y)의 차를 경계값인 T(x, y)를 사용하여 픽셀 값을 구한다.
[수학식 1]
Figure pat00001
이 방법은 속도가 가장 빠른 방법임에도 임계값의 선택, 영상내의 잡음, 조명의 밝기에 크게 영향을 받기 때문에, 외란에 강인할 수 있는 배경 모델링 방법을 적용 한다.
단순히 새롭게 생성된 배경 영상과 현재 영상의 차 뿐만 아니라, 유령 현상 및 잔상 현상을 해결할 수 있게 탐색된 객체의 누적 정보를 통해 안정적인 객체 탐색을 수행한다.
또한, 객체탐색에 있어 영상에서 하나의 화소가 배경에 속하는지 또는 움직이는 객체에 속하는지를 알아낼 때 조건부 확률을 이용함으로써, 객체 탐색률을 향상시킨다.
즉, 카메라로부터 관측되는 화소값을 y라 하고 X를 배경이나 전경의 값을 가질 수 있는 확률변수라 할 때, P(X = x|y)는 관측된 화소값이 알려져 있을 때의 전경 또는 배경이 될 조건부 확률을 이용해 객체 여부를 결정하는 방법으로 객체를 탐색한다.
기존 대표적인 얼굴 검색 방법으로는 주성분 분석(PCA; Principle Component Analysis)나 선형 판별 분석(LDA; Linear Descriminant Analysis)를 이용한 방법이 있다.
특히, LDA는 PCA에 비해 조명변화에 강인한 장점이 있다.
LDA는 2차원의 얼굴영상을 표현하기 위해선 얼굴모양 정보 및 텍스쳐정보를 벡터화하고, 모양정보는 눈, 코, 입 등과 같은 얼굴 요소간의 지형적 특징으로 거리, 비율 등이 사용된다.
기존 PCA나 LDA와 같이 템플릿 매칭 기반의 얼굴인식 방법은 카메라와 사람의 거리가 멀어질수록 인식률이 크게 저하되는 단점이 있다.
이와 같은 문제를 해결하기 위해 본 발명의 일실시예에서는 원거리 및 저해상도 카메라에서 획득된 저화질 얼굴영상을 보간법을 통해 개선하고, 사용자용 등록영상 변환 방법을 통해 얼굴 검색률을 향상시키는 것이다.
상기 사람식별부(20)에서 보간법을 통해 개선된 얼굴영상을 이용한 얼굴 검색 방법은 다음과 같다.
1m ~ 5m의 거리별 얼굴영상이 입력되면 정규화 과정을 통해 정규화된 얼굴영상의 평균 얼굴 벡터를 계산하며, 각각의 얼굴영상에서 평균 얼굴 벡터의 차를 계산한 뒤, 공분산 행열을 구한다.
구해진 공분산 행렬로부터 고유벡터(eigenvector)와 고유값(eigenvalue)을 구한 후 최종적으로 PCA의 변환행렬인 Wpca을 생성한다.
PCA를 통해 생성된 Wpca는 다시 LDA에 의해 최적화 된다.
LDA에서는 클래스간 분산(between-class scatter)과 클래스내 분산(within-class scatter)의 비율이 최대가 되는 데이터인 Wlda를 찾아 원거리 얼굴인식에 강인한 사용자 고유 데이터를 획득하게 되는 것이다.
한편, 도 3에서는 상기 사람식별부(20)에서 다수의 사람을 동시에 식별하고 얼굴을 추출하는 방법에 대한 흐름도를 도시하였다.
본 발명의 일실시예에 따른 사람식별부(20)는 상기 영상정보로부터 영상의 국소 영역에 대한 밝기 분포를 기울기에 대해 정규화된 방향성 히스토그램을 특징벡터로 사용하는 HoG(Histogram of Oriented Gradient) 기술에 MCT(Modified Census Transform) 또는 LBP(Local Binary Pattern) 기술을 접목하여 다수의 사람을 동시에 식별하는 것을 특징으로 한다.
상기 HoG 기술은 지역적인 기울기의 히스토그램을 모아서 전역적인 하나의 특징벡터를 얻는다.
상기 특징벡터를 구하는 방법은 아래의 [수학식 2]를 이용해 흑백 영상에 대해서 x, y 방향의 기울기를 구한다.
[수학식 2]
Figure pat00002
각 픽셀 위치에서의 기울기의 크기와 방향을 구한다.
기울기 방향 값은 9개(0도 ~ 180도)의 빈으로 구분하고, 각 기울기에 대해 해당하는 히스토그램 빈(bin)에 크기 정보를 누적하여 아래의 [수학식 3]과 같이 특징벡터를 계산할 수 있다.
[수학식 3]
Figure pat00003
HoG 기술을 사용할 경우 기울어짐에 대하여 강인한 성능을 나타내지만, 원거리의 경우 주위 조명 변화에 따라 영상의 밝기가 심하게 차이나는 경우가 발생한다.
따라서, 본 발명의 일실시예에서는 검출률 향상을 위해 단일 기술 기반이 아닌 HoG 기술에 MCT(Modified Census Transform) 또는 LBP(Local Binary Pattern) 기술을 접목하여 이용한다.
상기 MCT 기술은 영상의 국소 지역 패턴을 정수화하여 표현하는 방법으로 조명변화에 강인하고 메모리 효율이 높은 장점이 있다.
아래의 [수학식 4]는 3*3 커널을 사용하여 MCT 특징을 구하는 방법을 타내낸다.
[수학식 4]
Figure pat00004
한편, 도 4에서는 MCT 특징값을 추출하는 과정을 보여준다.
도 4를 살펴보면, 영상 내의 어떤 픽셀 위치 x에서 자기 자신을 포함한 주변 9개 픽셀의 평균 명도를 구하고, 각각의 위치에서 평균 명도와의 크기를 비교. 평균 명도보다 큰 픽셀은 1, 그렇지 않으면 0으로 변환하고, 2진수 배열을 10 진수 변환하여 픽셀 위치 x 에서의 특징값을 추출하는 방법인 것이다.
상기 위험상황인지부(30)는 상기 영상정보획득부(10)에서 획득된 영상정보로부터 색상 채널, 채도 채널, 명도 채널의 분석을 통해 상기 보안대상지역의 화재 또는 연기를 감지하여 위험상황인지 여부를 판단하는 구성이다.
도 5의 좌측의 그림은 화재 검출을 예를 도시한 것이고, 도 5의 우측의 그림은 연기 검출의 예이다.
상기 위험상황인지부(30)에서의 화재 검출은 색상 채널의 경우 0˚에서 360˚범위를 기준으로 붉은색 계열의 색상을 포함하는 ㅁ5˚를 화재영역으로 인식하고, 채도 채널의 경우 0에서 1까지의 범위를 갖는 반지름에 해당하는 원뿔의 중심에서 화재가 발생하는 곳에서의 채도는 0.7이상을 나타낸다.
명도 채널의 경우 0에서 1까지의 범위를 갖으며 0은 검정, 1은 흰색을 의미하며 본 발명의 일실시예에 사용한 명도의 값은 0.8이상으로 설정하고, 화재검출영역을 확인하기 위해 검출된 영역을 파란색으로 변환하여 확인한다.
한편, 연기 검출은 명도 채널을 단일 영상으로 출력할 경우 픽셀값의 범위는 0 ~ 255까지 가능한 8비트 영상이고, 종이가 연소될 때 나타나는 연기의 픽셀값 범위는 150 ~ 220사이의 밝은 회색이며, 나무 및 유독물질이 연소될 때 나타나는 연기의 픽셀값 범위는 80 ~ 150사이의 어두운 회색이고, 화재가 발생하였을 때 나타나는 80 ~ 150사이의 픽셀값을 연기로 판단하여 검출한다.
연기검출영역을 확인하기 위해 검출된 영역을 초록색으로 변환하여 확인할 수 있다.
상기 이미지처리부(40)는 상기 영상정보획득부(10)에서 획득된 영상정보로부터 배경과 분리하여 상기 사람식별부(20)에서 식별된 사람을 이미지 처리하는 구성이다.
상기 이미지처리부(40)는 후술할 프라이버시보호부(70)와 유기적인 결합관계에 있는 구성으로 도 6에 도시된 바와 같이 식별된 사람을 점으로 표시할 수도 있고, 실루엣 처리할 수도 있다할 것이다.
상기 행동패턴분석부(50)는 상기 사람식별부(20)에서 식별된 사람의 행동패턴을 분석하는 구성이다.
본 발명의 일실시예에서 상기 행동패턴분석부(50)는 상기 사람식별부(20)에서 식별된 사람의 이동 궤적을 추적하는 것을 포함한다.
상기 모니터링부(60)는 상기 위험상황인지부(30)에서 위험상황으로 판단되는 경우 알람을 발생하거나 관리자에게 통보하는 구성이다.
또한, 상기 모니터링부(60)는 상기 행동패턴분석부(50)에서 분석된 행동패턴의 정상유무를 판단하는 구성이다.
즉, 상기 모니터링부(60)는 상기 사람식별부(20)에서 식별된 사람이 인가DB에 저장된 사람인지를 판단하고, 상기 인가DB에 저장되지 않은 사람으로 판단되는 경우 식별된 사람의 상기 행동패턴분석부(50)에서 추적된 이동 궤적이 정해진 제한 구역을 침범하는 경우 비정상 행동패턴으로 판단하여 알람을 발생하거나 관리자에게 통보하도록 구성된다.
한편, 상기 사람식별부(20)에서 식별된 사람이 인가DB에 저장된 사람인 경우에는 상기 모니터링부(60)는 탐지 결과를 단순히 모니터링DB에 저장하도록 구성된다.
상기와 같은 행동패턴분석부(50), 위험상황인지부(30) 및 모니터링부(60)의 유기적인 결합관계에 의하여 사람의 비정상 행동 또는 보안대상지역의 위험상황을 스스로 판단함으로써 비정상 상황에 대한 능동적으로 대응이 가능하게 되는 것이다.
상기 프라이버시보호부(70)는 상기 영상정보획득부(10)에서 획득된 영상정보가 시각적으로 재생되는 경우 상기 영상정보를 재생하는 사용자의 권한에 따라 상기 영상정보획득부(10)에서 획득된 원본 영상정보가 재생되거나 상기 이미지처리부(40)에서 이미지 처리된 영상정보가 재생되도록 제어하는 구성이다.
일반적으로 감시카메라에 촬영된 영상은 범죄예방, 감시 등을 이유로 설치되고, 때로는 법적 증거자료로 사용되기도 하지만, 감시시스템을 관리하는 관리자에게나, 네트워크 카메라를 통한 일반인에게도 공개될 수 있다.
도 6을 참조하면, 영상 보안 시스템에서 프라이버시 보호를 위한 정책은 접근할 수 있는 사람의 권한에 따라 일반사용자, 감시자, 법 집행관으로 나뉠 수 있다.
첫째, 영상 보안 시스템에 접근한 사람이 해당 시스템에 관해 아무런 권한도 가지고 있지 않은 일반 사용자의 경우 이는 감시카메라에 촬영된 사람과 프라이버시에 대해 민감하게 작용할 수 있으므로, 상기 이미지처리부(40)에서 식별된 사람을 점으로 표시한 것이 재생되도록 함으로써 프라이버시를 강하게 보호한다.
둘째, 감시시스템에 접근한 사람이 관리자인 경우 대상과 관리자 간에는 프라이버시가 민감할 수 있지만 감시에 대해서도 민감하기 때문에 상기 이미지처리부(40)에서 식별된 사람을 실루엣 처리한 것이 재생되도록 함으로써 프라이버시 침해는 최소화하고 감시에 대해서도 함께 고려한다.
셋째, 감시시스템에 접근한 사람이 법 집행관의 경우 대상과 상대적으로 프라이버시에 대해 덜 민감할 수 있으므로 상기 영상정보획득부(10)에서 획득된 원본 영상정보가 그대로 재생되도록 한다.
상기와 같은 영상정보획득부(10), 사람식별부(20), 이미지처리부(40) 및 프라이버시보호부(70)의 유기적인 결합관계에 의하여 영상정보가 사용자에 의해 재생되는 경우 보안 레벨 등 차별화된 사용자의 권한에 따라 원본 영상정보가 재생되거나 이미지 처리된 영상정보가 재생됨으로써 개인의 사생활을 보호할 수 있게 되는 것이다.
앞에서 설명되고 도면에서 도시된 지능형 영상 보안 시스템은 본 발명을 실시하기 위한 하나의 실시예에 불과하며, 본 발명의 기술적 사상을 한정하는 것으로 해석되어서는 안된다. 본 발명의 보호범위는 이하의 특허청구범위에 기재된 사항에 의해서만 정하여지며, 본 발명의 요지를 벗어남이 없이 개량 및 변경된 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것인 한 본 발명의 보호범위에 속한다고 할 것이다.
10 영상정보획득부
20 사람식별부
30 위험상황인지부
40 이미지처리부
50 행동패턴분석부
60 모니터링부
70 프라이버시보호부

Claims (7)

  1. 보안대상지역을 촬영하는 카메라로부터 영상정보를 획득하는 영상정보획득부와;
    상기 영상정보획득부에서 획득된 영상정보로부터 사람을 식별하는 사람식별부와;
    상기 영상정보획득부에서 획득된 영상정보로부터 배경과 분리하여 상기 사람식별부에서 식별된 사람을 이미지 처리하는 이미지처리부와;
    상기 영상정보획득부에서 획득된 영상정보가 시각적으로 재생되는 경우 상기 영상정보를 재생하는 사용자의 권한에 따라 상기 영상정보획득부에서 획득된 원본 영상정보가 재생되거나 상기 이미지처리부에서 이미지 처리된 영상정보가 재생되도록 제어하는 프라이버시보호부를; 포함하는 것을 특징으로 하는 지능형 영상 보안 시스템.
  2. 제1항에 있어서,
    상기 사람식별부에서 식별된 사람의 행동패턴을 분석하는 행동패턴분석부와;
    상기 행동패턴분석부에서 분석된 행동패턴의 정상유무를 판단하는 모니터링부를; 더 포함하는 것을 특징으로 하는 지능형 영상 보안 시스템.
  3. 제2항에 있어서,
    상기 영상정보획득부에서 획득된 영상정보로부터 색상 채널, 채도 채널 및 명도 채널의 분석을 통해 상기 보안대상지역의 화재 또는 연기를 감지하여 위험상황인지 여부를 판단하는 위험상황인지부를; 더 포함하고,
    상기 모니터링부는, 상기 위험상황인지부에서 위험상황으로 판단되는 경우 알람을 발생하거나 관리자에게 통보하는 것을 특징으로 하는 지능형 영상 보안 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 행동패턴분석부는, 상기 사람식별부에서 식별된 사람의 이동 궤적을 추적하는 것을 포함하고,
    상기 모니터링부는, 상기 사람식별부에서 식별된 사람이 인가DB에 저장된 사람인지를 판단하고, 상기 인가DB에 저장되지 않은 사람으로 판단되는 경우 식별된 사람의 상기 행동패턴분석부에서 추적된 이동 궤적이 정해진 제한 구역을 침범하는 경우 비정상 행동패턴으로 판단하여 알람을 발생하거나 관리자에게 통보하는 것을 특징으로 하는 지능형 영상 보안 시스템.
  5. 제1항 내지 제3항 중 어느 하나의 항에 있어서,
    상기 사람식별부는, 상기 영상정보로부터 식별된 사람의 얼굴영역을 추출하고, 원거리 얼굴의 검색이 가능하도록 추출된 얼굴을 보간법을 이용하여 상기 식별된 사람의 고유데이터로 저장하는 것을 특징으로 하는 지능형 영상 보안 시스템.
  6. 제5항에 있어서,
    상기 사람식별부에서 이용되는 보간법은, 상기 영상정보로부터 식별된 사람의 거리별 복수개의 얼굴영상이 입력되고, 정규화 과정을 통해 정규화된 얼굴영상의 평균 얼굴 벡터가 계산되며, 상기 입력된 거리별 복수개의 얼굴영상 각각과 상기 평균 얼굴 벡터의 차를 계산해 공분산 행열이 구해지고, 구해진 공분산 행렬로부터 고유벡터와 고유값을 구한 후 주성분분석(PCA)을 통해 PCA의 변환행렬인 Wpca값을 구하며, 상기 Wpca에 대한 선형 판별 분석(LDA)을 통해 클래스간 분산과 클래스간 분산의 비율이 최대가 되는 데이터인 Wlda를 찾아 상기 식별된 사람의 고유데이터로 저장하는 것을 특징으로 하는 지능형 영상 보안 시스템.
  7. 제1항 내지 제3항 중 어느 하나의 항에 있어서,
    상기 사람식별부는, 상기 영상정보로부터 영상의 국소 영역에 대한 밝기 분포를 기울기에 대해 정규화된 방향성 히스토그램을 특징벡터로 사용하는 HoG(Histogram of Oriented Gradient) 기술에 MCT(Modified Census Transform) 또는 LBP(Local Binary Pattern) 기술을 접목하여 다수의 사람을 동시에 식별하는 것을 특징으로 하는 지능형 영상 보안 시스템.
KR1020160080387A 2016-06-27 2016-06-27 지능형 영상 보안 시스템 KR20180001356A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160080387A KR20180001356A (ko) 2016-06-27 2016-06-27 지능형 영상 보안 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160080387A KR20180001356A (ko) 2016-06-27 2016-06-27 지능형 영상 보안 시스템

Publications (1)

Publication Number Publication Date
KR20180001356A true KR20180001356A (ko) 2018-01-04

Family

ID=60998280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080387A KR20180001356A (ko) 2016-06-27 2016-06-27 지능형 영상 보안 시스템

Country Status (1)

Country Link
KR (1) KR20180001356A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135528A1 (ko) 2018-01-04 2019-07-11 주식회사 엘지생활건강 화장료용 분체 복합체 및 이를 포함하는 화장료 조성물
KR102326193B1 (ko) * 2021-02-24 2021-11-15 주식회사 케이엔엑스정보통신 영상 융합형 비상문 통합 안전 관리 시스템
KR20230062108A (ko) 2021-10-29 2023-05-09 삼성에스디에스 주식회사 보안을 강화한 이미지 저장 관리 방법, 장치, 시스템 및 컴퓨터 프로그램
CN117523773A (zh) * 2023-11-23 2024-02-06 江苏南北木屋文化科技有限公司 一种智能木屋异常检测方法和系统
KR102641828B1 (ko) * 2023-01-12 2024-02-28 퀀텀테크엔시큐 주식회사 영상 내 군 위험 행위 인식 및 관리 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135528A1 (ko) 2018-01-04 2019-07-11 주식회사 엘지생활건강 화장료용 분체 복합체 및 이를 포함하는 화장료 조성물
KR102326193B1 (ko) * 2021-02-24 2021-11-15 주식회사 케이엔엑스정보통신 영상 융합형 비상문 통합 안전 관리 시스템
KR20230062108A (ko) 2021-10-29 2023-05-09 삼성에스디에스 주식회사 보안을 강화한 이미지 저장 관리 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102641828B1 (ko) * 2023-01-12 2024-02-28 퀀텀테크엔시큐 주식회사 영상 내 군 위험 행위 인식 및 관리 방법, 장치 및 컴퓨터-판독 가능 기록 매체
CN117523773A (zh) * 2023-11-23 2024-02-06 江苏南北木屋文化科技有限公司 一种智能木屋异常检测方法和系统
CN117523773B (zh) * 2023-11-23 2024-05-10 江苏南北木屋文化科技有限公司 一种智能木屋异常检测方法和系统

Similar Documents

Publication Publication Date Title
CN109461168B (zh) 目标对象的识别方法和装置、存储介质、电子装置
KR101724658B1 (ko) 사람 검출 장치 및 방법
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR20180001356A (ko) 지능형 영상 보안 시스템
US20130163822A1 (en) Airborne Image Capture and Recognition System
US20140369567A1 (en) Authorized Access Using Image Capture and Recognition System
US20130170711A1 (en) Edge detection image capture and recognition system
CN105894702A (zh) 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
Pundir et al. Deep belief network for smoke detection
KR101446143B1 (ko) Cctv 환경에서의 얼굴 인식 기반 보안 관리 시스템 및 방법
KR102481995B1 (ko) 딥러닝 기반으로 이상 행동을 자동으로 감지하는 온디바이스 ai 장치 및 이의 동작 방법
KR100824757B1 (ko) 걸음걸이를 이용한 생체 인식 방법
US8923552B2 (en) Object detection apparatus and object detection method
Mishra et al. An intelligent motion detection using OpenCV
CN113989858B (zh) 一种工作服识别方法及系统
US10939120B1 (en) Video upload in limited bandwidth
KR102244878B1 (ko) 인공지능 기반의 cctv 보안 시스템 및 보안 방법
CN111832434A (zh) 一种保护隐私下的校园抽烟行为识别方法及处理终端
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
JP5752976B2 (ja) 画像監視装置
Frejlichowski et al. SmartMonitor: An approach to simple, intelligent and affordable visual surveillance system
Avalhais et al. Fire detection on unconstrained videos using color-aware spatial modeling and motion flow
CN110688967A (zh) 用于静态人脸活体检测的系统以及方法
KR101288248B1 (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application