KR101846006B1 - 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법 - Google Patents

멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법 Download PDF

Info

Publication number
KR101846006B1
KR101846006B1 KR1020170169664A KR20170169664A KR101846006B1 KR 101846006 B1 KR101846006 B1 KR 101846006B1 KR 1020170169664 A KR1020170169664 A KR 1020170169664A KR 20170169664 A KR20170169664 A KR 20170169664A KR 101846006 B1 KR101846006 B1 KR 101846006B1
Authority
KR
South Korea
Prior art keywords
image
motion
candidate region
detecting
region
Prior art date
Application number
KR1020170169664A
Other languages
English (en)
Inventor
김원겸
박경수
송인규
서민호
송상헌
Original Assignee
주식회사 에스씨테크원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스씨테크원 filed Critical 주식회사 에스씨테크원
Application granted granted Critical
Publication of KR101846006B1 publication Critical patent/KR101846006B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G06K9/00711—
    • G06N99/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

본 발명은 카메라, 상기 카메라 촬영 영상을 수집하는 영상수집부, 상기 영상에서 움직임을 검출하는 움직임검출부, 상기 움직임검출부에서 검출된 움직임 검색영역의 실루엣이 설정된 실루엣과 일치할 경우 움직임 검색영역에서 얼굴을 검출하는 얼굴 검출부를 포함하는 멀티센서 CCTV 영상의 얼굴 검출 시스템을 제공한다.

Description

멀티 센서 ＣＣＴＶ 파노라마 영상에서 얼굴 감지 시스템 및 방법{MOVEMENT SENSING SYSTEM AND METHOD FOR MULTI SENSOR CCTV PANORAMA VIDEO}
본 발명은 멀티센서 CCTV 파노라마 영상에서 얼굴을 검출하는 시스템 및 방법에 관한 것이다.
지능형 영상보안은 영상감시 장치인 CCTV 시스템이 지속적으로 확산되면서 교통관제 시스템, 범죄예방 시스템, 재난방지 시스템 등 매우 다양한 분야로 파급되고 있다.
CCTV의 기능 또한 주변 상황을 감시하고 CCTV 관리자가 직접 영상을 모니터링하고 분석하는 단순형 CCTV에서 최근에는 사람과 사물, 행위 등을 자동으로 식별하는 네트워크 기반의 지능형(intelligent) CCTV로 발전하고 있다.
한편, 멀티센서 CCTV 카메라를 이용함으로써, 관측에 필요한 카메라의 수를 줄이고 사용자에게 파노라마 영상을 제공하는 이점이 있다.
이에 고화질의 파노라마 영상을 제공하기 위한 영상 왜곡 보정이나 컬러 정합 등의 영상처리 기술과 입력 영상의 훼손 및 움직임 감지 통보 기술의 개발이 필요하다.
또한 CCTV 영상에 의해 개인의 행동이 무분별하게 촬영, 저장, 유통되면서, 사생활 침해에 대한 논란이 있으나 범죄 예방 및 해결 효율성 측면이 강조되고 있으므로, 개인 식별 정보의 유출을 방지하기 위한 영상의 암호화 및 복호화 기술 개발이 중요하다.
우리나라는 범죄 예방과 객체 식별, 시설물 보호 등을 위해 세계에서 가장 많은 수의 CCTV가 설치되어 있지만, 지능형 CCTV의 개발 및 보급은 제자리걸음을 걷고 있는 상황으로 지능형 CCTV의 활성화, 사회 안전을 위해서 더욱 필요로 하다.
대한민국 공개 특허 제10-2014-0056856호 대한민국 공개 특허 제10-2010-0035616호
본 발명은 멀티센서 CCTV 파노라마 영상의 감시영역 내에서 얼굴을 검출하는 시스템 및 방법을 제공하는 것을 목적으로 한다. 특히, 멀티센서 CCTV 파노라마 영상과 같이 고화질, 고용량의 이미지에서 실시간 얼굴 검출을 가능하게 하는 것을 목적으로 한다.
본 발명의 실시예에 따르면,
카메라;
상기 카메라 촬영 영상을 수집하는 영상수집부;
상기 영상에서 움직임을 검출하는 움직임검출부;
상기 움직임검출부에서 검출된 움직임 검색영역의 실루엣이 설정된 실루엣과 일치할 경우 움직임 검색영역에서 얼굴을 검출하는 얼굴 검출부를 포함하는 멀티센서 CCTV 영상의 얼굴 검출 시스템을 제공한다.
상기 카메라는 복수개의 센서를 포함하고,
상기 영상수집부는 복수개의 센서로부터 영상을 수집하고,
상기 수집된 영상이 결합하여 파노라마 영상을 생성하여, 파노라마 영상으로부터 얼굴을 검출하는 것을 특징으로 한다.
상기 수집된 영상을 비디오 선명화, 영상 왜곡 보정, 및 색 보정 처리하는 영상보정부를 추가로 포함하는 것을 특징으로 한다.
상기 영상수집부에서 수집된 영상을 설정 배율로 축소하고 축소된 영상을 설정 배율로 확대하는 영상 스케일업/다운부를 추가로 포함하고,
상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 움직임검출부는 설정 배율로 스케일 다운된 영상에서 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상을 N차에 걸쳐 스케일 업하고, 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 것을 특징으로 한다.
다른 실시예에 따르면, 상기 영상 스케일업/다운부는 영상을 설정 배율(1/xn)로 n차에 걸쳐 스케일 다운하고, 상기 움직임검출부는 상기 설정 배율로 스케일 다운된 영상에서 움직임을 검출하여 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부에 의해 n차에 걸쳐 스케일 다운된 이미지 각각의 움직임 후보 영역에서 움직임 검출을 수행하여 각 차수별 움직임 후보 영역을 추가로 검출하여 최종 후보 영역을 선정하고, 상기 움직임 검출부는 원본 영상의 상기 최종 후보 영역에서 움직임을 검출하는 것을 특징으로 한다.
다른 실시예에 따르면, 상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 상기 움직임검출부는 설정 배율로 스케일 다운된 영상에서 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상에서 상기 움직임 후보 영역을 N차에 걸쳐 스케일 업하고, 상기 움직임검출부는 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 것을 특징으로 한다.
다른 실시예에 따르면,
a) 카메라로부터 이미지를 수집하는 단계;
b) 상기 이미지에서 움직임 영역을 검출하는 단계;
c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법을 제공한다.
상기 a) 단계에서 상기 카메라는 복수개의 이미지 센서를 포함하고,
a-1) 수집된 복수개의 이미지 각각을 영상왜곡 보정 및 컬러 정합을 실하는 단계를 추가로 포함할 수 있다.
상기 a-1) 단계에서 보정 및 컬러 정합된 상기 이미지를 결합하여 고화질 파노라마 영상을 완성하는 단계를 추가로 포함할 수 있다.
일 실시예에 따르면, 상기 b) 단계는,
b-1) 상기 a) 단계의 이미지를 설정 배율까지 스케일 다운하는 단계;
b-2) 상기 설정 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;
b-3) 상기 b-2) 단계의 상기 이미지를 1차 스케일 업하는 단계;
b-4) 상기 b-3) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계;
b-5) 상기 b-3) 단계 및 상기 b-4) 단계를 스케일 업 된 영상이 상기 b-1) 단계의 스케일 다운 전 영상의 스케일에 도달할 때까지 실시하는 단계; 및
b-6) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.
다른 실시예에 따르면, 상기 b) 단계는,
b-1') 상기 a) 단계의 이미지를 설정 배율까지 n차에 걸쳐 스케일 다운하는 단계;
b-2') 상기 b-1') 단계에서 n차 스케일 다운된 상기 이미지에서 움직임을 검출하여 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계
b-3') 상기 b-1') 단계에서 n-1차 스케일 다운된 이미지의 상기 제1 움직임 후보영역에서 움직임 검출을 실시하여, 제2 움직임 후보 영역을 선정하는 단계;
b-4') 상기 b-1') 단계에서 n-2차 스케일 다운된 이미지에서 1차 스케일 다운된 영상까지 움직임 후보 영역에서 움직임 검출 실시를 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
b-5') 원본 이미지의 최종 움직임 후보 영역에서 움직임을 검출하는 단계를 포함하는 것을 특징으로 한다.
다른 실시예에 따르면, 상기 b) 단계는,
b-1") 상기 a) 단계의 이미지를 설정 배율까지 n차에 걸쳐 스케일 다운하는 단계;
b-2") 상기 b-1") 단계에서 n차 스케일 다운된 상기 이미지에서 움직임을 검출하여 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계
b-3") 상기 제1 움직임 후보 영역을 1/xn -1배율로 스케일 업한 후 움직임 검출을 실시하여, 제2 움직임 후보 영역을 선정하는 단계;
b-4") 움직임 후보 영역을 1/x 배율까지 스케일 업하며 움직임 검출을 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
b-5") 원본 이미지의 최종 움직임 후보 영역에서 움직임을 검출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,
a) 카메라로부터 이미지를 수집하는 단계;
b) 상기 이미지에서 움직임 영역을 검출하는 단계;
c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록매체를 제공한다.
본 발명의 또 다른 실시예에 따르면, 상기 컴퓨터 판독 가능한 기록 매체를 실행하는 처리 능력을 갖는 디바이스를 제공한다.
본 발명에 따르면, 5M 급 이상의 고해상도 멀티센서 CCTV의 파노라마 영상의 감시영역 내에서 얼굴을 보다 효과적이고 보다 효율적으로 검출할 수 있는 멀티센서 CCTV 영상의 얼굴 검출 시스템, 방법, 컴퓨터 프로그램을 제공할 수 있다.
본 발명에 따르면, 고용량의 고해상도 멀티센서 CCTV의 파노라마 영상 전체에서 얼굴 검출을 실시하지 않고, 파노라마 영상을 설정 배율로 축소하여 움직임을 검출하고, 움직임 검출 영역을 후보 영역으로 하여 후보 영역을 스케일 업하여 얼굴 검출에 이용하므로 처리 용량을 획기적으로 감소시킬 수 있고, 실시간 얼굴 검출을 가능하게 한다.
도 1 은 본 발명의 일 실시예에 따른 얼굴 검출 시스템을 개략적으로 나타낸 블럭도이다.
도 2 는 본 발명의 일 실시예에 따른 얼굴 검출 시스템에 사용되는 멀티센서 CCTV와 촬영된 이미지를 나타낸 도면이다.
도 3 은 영상의 크기를 비교하여 나타낸 도면이다.
도 4 은 본 발명의 일 실시예에 따른 얼굴 검출 방법을 나타낸 흐름도이다.
도 5 은 도 4에 도시된 얼굴 검출 방법에서 파노라마 영상 완성 과정을 나타낸 도면이다.
도 6 은 도 4에 도시된 얼굴 검출 방법에 이용되는 영상의 스케일 업다운 과정을 설명하는 도면이다.
도 7 은 도 4에 도시된 얼굴 검출 방법에서 움직임 감지 영역이 설정된 실루엣인지 판단하는 과정을 설명하는 도면이다.
도 8 은 얼굴영역 검출, 얼굴영역 암호화, 얼굴영역 복호화 과정을 설명하는 도면이다.
지능형 영상보안은 영상감시 장치인 CCTV 시스템이 지속적으로 확산되면서 교통관제 시스템, 범죄예방 시스템, 재난방지 시스템 등 매우 다양한 분야로 파급되고 있다. CCTV의 기능 또한 주변 상황을 감시하고 CCTV 관리자가 직접 영상을 모니터링하고 분석하는 단순형 CCTV에서 최근에는 사람과 사물, 행위 등을 자동으로 식별하는 네트워크 기반의 지능형(intelligent) CCTV로 발전하고 있다. 한편, 멀티센서 CCTV 카메라를 이용함으로써, 관측에 필요한 카메라의 수를 줄이고 사용자에게 파노라마 영상을 제공하는 이점이 있다.
지능형 영상보안 기술에는 배경 영역 분리 기술, 객체 식별 기술, 객체 추적 기술 및 사전 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 기술을 포함한다. 배경 영역 분리 기술은 입력되는 영상에서 관심이 있는 전경 영역과 그 외의 배경 영역을 구분하여 활성 객체를 탐지하는 과정으로 초기에서 주로 이전 영상과 현재 영상의 밝기 차이를 계산하여 분리하는 방법이 사용된다. 하지만, 최근에는 배경 영역에 대한 특성 정보를 가우시안 또는 가우시안 믹스처 모델(GMM: Gaussian Mixture Model) 등을 사용하여 정교하게 모델링한 후, 전경 영역과 배경 영역을 구분하는 방법들이 많이 사용된다. 객체 식별 기술은 배경 영역에서 전경 영역으로 판단한 객체 중에서 탐지된 물체가 사람인지 사물인지 여부를 구분하는 과정으로 현재 지능형 영상분석 기술은 사람, 동물, 자동차 등을 주로 구분하고 있다. 객체 추적 기술은 연속되는 영상에서 식별된 객체의 이동경로를 찾는 과정으로, 칼만 필터, 파티클 필터, CAMSHIFT(Continuously Adaptive Mean Shift) 등의 다양한 알고리즘을 바탕으로 추적하는 물체의 특징을 정의하는 방법, 추적하는 알고리즘의 조합 방법 등에 따라서 많은 방법들이 사용되고 있다. 이벤트 탐지 단계에서는 객체의 식별 정보 및 객체의 이동 정보를 바탕으로 보안 관리자가 정의한 규칙을 위반하는지 여부를 판단하여 이벤트를 탐지하고, 탐지된 정보를 메타 데이터 형태로 VMS(Video Management System)나 기타의 다른 보안 관리 서버로 전송하게 된다.
CCTV에 의해 촬영된 고화질 파노라마 영상에서 개인정보인 얼굴을 검출하여 영상 배포시 개인정보를 암호화할 필요가 있다. 본 발명의 실시예에 따르면 멀티센서 CCTV 영상에서 개인정보인 얼굴을 실시간으로 검출하여 이를 암호화하여 배포할 수 있게 된다.
도 1 은 본 발명의 일 실시예에 따른 얼굴 검출 시스템을 개략적으로 나타낸 블럭도이다. 도시되는 바와 같이 본 발명의 실시예에 따른 얼굴 검출 시스템(100)은 IP 카메라(110), 영상수집부(120), 영상보정부(130), 영상 스케일업/다운부(140), 움직임 검출부(150), 얼굴검출부(160), 및 영상프로세싱부(170)를 포함한다. 얼굴 검출 시스템은 FPGA, ASIC, 마이크로컨트롤러, PLD 또는 이와 같은 프로세서와 같은 하드웨어 디바이스 상에 구현될 수 있다.
IP 카메라(110)(또는 네트워크 카메라)는 멀티센서 CCTV에 포함되는 복수의 카메라가 될 수 있다. 카메라(110)는 이미지 시퀀스들을 발생시키고 이미지 시퀀스들로부터의 이미지 데이터를 네트워크를 통해 영상수집부(120)에 전달할 수 있는 임의의 디지털 카메라일 수 있다. 본 명세서에서 "비디오"는 모션 픽쳐에 제한되는 것 뿐만 아니라 시간 시퀀스에서 캡쳐된 정지 프레임들 또한 포함한다. 카메라(110)는 도시되지 않았지만, 렌즈 시스템, 이미지 센서, 이미지 프로세싱 모듈, 이미지/비디오 인코더. 메모리, 네트워크 인터페이스, CPU 등을 포함할 수 있다. 이미지 정보는 MPEG1, MPEG2, MPEG4, H.264, JPEG, M-JPEG, 비트맵 등으로 인코딩될 수 있다. 도 2는 멀티센서 CCTV 및 복수의 센서에서 촬영된 이미지를 처리 없이 결합한 상태를 나타낸 도면이다. CCTV 내에 3개 이상의 이미지 센서를 포함하여 180°파노라마 뷰를 제공할 수 있게 된다. 멀티센서 CCTV는 5M 급 복수개의 멀티 센서를 포함하는 IP 카메라와 영상 저장을 위한 네트워크 비디오 리코더(Network Video Recorder), 영상 모니터링을 위한 카메라 스테이션, 네트워크 연결을 위한 PoE(Power of Ethernet) 스위치로 구현될 수 있다.
영상수집부(120)는 복수 개의 카메라(110) 이미지 센서로부터 입력되는 이미지 데이터를 수집한다. 도 3 은 영상의 크기를 비교하여 설명하기 위한 도면으로, SD, HD, FHD, CCTV, UHD 각각의 해상도를 나타낸다. 해상도는 SD 급 부터 HD, FHD, UHD 등이 있고, 가로와 세로의 픽셀 수로 표기한다. 따라서, SD의 해상도는 345,600(720 x 480)개의 픽셀로 이루어져 있다. 본 발명의 실시예에 사용되는 CCTV는 2,560 x 1,920 급 이미지 센서를 허용한다. 따라서, 3개의 센서로부터 이미지를 수집하면 7,680 x 1,920 해상도의 이미지를 획득하게 된다.
영상보정부(130)는 비디오 선명화, 영상 왜곡 보정, 색 보정 등을 수행한다. 즉, 영상보정부(130)는 캘리브레이션 패턴을 이용하여 카메라 내부 파라미터를 추출하여 방사 왜곡의 기하학적 왜곡을 보정하고, SIFT, SURF 등의 특징점, 유사도 비교 후 자동 밝기 조절(AE) 및 자동 색보정(AWB)을 실시한다. 즉, 영상보정부(130)는 영상수집부(120)에서 수집된 복수개의 이미지 센서로부터 입력되는 이미지를 영상 왜곡 보정 및 컬러 정합을 실시하여 하나의 파노라마 영상으로 완성한다. 파노라마 영상 컬러 정합은 3개의 광각 카메라로부터 입력된 3개의 영상 각각을 평면각으로 보정 후 한 개의 파노라마 컬러 영상으로 정합하는 정확도를 말한다. 고화질 파노라마 영상을 위한 영상 왜곡 보정을 위하여, 캘리브레이션(calibration) 패턴을 이용한 카메라 캘리브레이션을 통해 영상 왜곡을 발생시키는 카메라 내부 요인의 파라미터 자동추출하고, 광각 CCTV 카메라 사용으로 인한 방사왜곡(radial distortion)의 기하학적 왜곡을 보정하고, 고화질 파노라마 영상을 위한 컬러 정합을 달성한다. 4개 이상의 영상 특징점을 이용하여 호모그래피 변환 행렬을 구한 후 이를 이용한 영상 정합 기술 개발하는 것이 바람직하다. 자동 밝기 조절(AE) 및 자동 색보정(AWB) 등을 고려한 정합 부분의 명암 및 색상 차이를 부드럽게 만들어주는 영상블렌딩이 가능해 진다.
영상 스케일업/다운부(140)는 영상보정부(130)에서 완성된 파노라마 영상을 N회 스케일 다운시키고, 스케일 다운된 영상에서 움직임 검출 프로세스를 진행한 후 영상을 N회 스케일 업시킨다. 5M급(2,560x1,920) 이미지 센서 3개일 경우, 영상 수집 후, 파노라마 영상의 경우, 7,680x1,920 사이즈가 된다. 영상 스케일업/다운부(140)는 7,680x1,920 사이즈의 이미지를 예를 들어 1/4로 스케일 다운하여 움직임을 검출할 경우, 1/2 스케일 다운을 2회 수행하여, 1/4 스케일 다운된 1,920x480 = 921,600 사이즈의 이미지에서 움직임 검출 프로세스가 완료하면, 3,840x960 = 3,686,400 사이즈로 스케일 업하고, 3,840x960 = 3,686,400 사이즈의 이미지의 움직임 영역에서 움직임 검출 프로세스를 완료하면, 7,680*1,920 = 14,745,600 사이즈로 스케일 업을 실시한다.
다른 실시예에 따르면, 영상 스케일업/다운부(140)는 완성된 파노라마 영상을 N차에 걸쳐 스케일 다운시키고, 설정된 최소 스케일의 영상을 움직임 검출 프로세싱하여 움직임 후보 영역을 N회 스케일업 하며 움직임 후보 영역만 움직임 검출 프로세싱하여 필요한 자원 및 시간을 절약할 수 있다.
다른 실시예에 따르면, 영상 스케일/업다운부(140)는 완성된 파노라마 영상을 N차에 걸쳐 스케일 다운시키고, 움직임 검출부(150)가 영상 스케일/업다운부(140)가 N차에 걸쳐 스케일 다운한 영상들에서 움직임 후보 영역을 검출 선정할 수 있도록 한다.
움직임 검출부(150)는 1/xn 배율로 N회 스케일 다운된 영상에서 움직임 검출 프로세스를 진행하여, 움직임 후보 영역을 추출하고, 영상 스케일업/다운부(140)에 의해 한 단계 스케일 업된 영상 중 움직임 후보 영역에서 움직임 후보 영역을 추출하고, 영상 스케일업/다운부(140)에 의해 원 영상 사이즈로 스케일 업된 영상의 움직임 후보 영역에서 움직임 검출을 실시한다.
다른 실시예에 따르면, 움직임 검출부(150)는 설정된 최소 스케일의 영상(N차 스케일 다운 영상, 1/xn 배율로 스케일 다운된 영상)을 움직임 검출 프로세싱하여 움직임 후보 영역을 선정한 후, N-1차 스케일 다운 영상 중 움직임 후보 영역에서 움직임 검출 프로세싱하여 다음 움직임 후보 영역 선정하는 단계를 반복하여, 각차의 스케일 다운된 영상들에서 움직임 후보 영역을 선정, 1차 스케일 다운 영상에서 최종 움직임 후보 영역을 선정하고, 스케일 다운되지 않은 원본 영상의 최종 움직임 후보 영역에서 움직임 검출 프로세싱하여 움직임을 검출할 수 있도록 한다.
다른 실시예에 따르면, 움직임 검출부(150)는 설정된 최소 스케일의 영상(N차 스케일 다운 영상, 1/xn 배율로 스케일 다운된 영상)을 움직임 검출 프로세싱하여 움직임 후보 영역을 선정한 후, 영상 스케일업/다운부(140)가 스케일 업 시킨 움직임 후보 영역에서 움직임 검출을 수행하여, 최종 움직임 후보 영역에서 움직임 검출을 수행하여 원본 영역에서 움직임을 검출할 수 있다.
움직임 검출부(150)는 Optical Flow Lucas & Kanade Method를 사용하여 움직임을 검출하는 것이 바람직하다. 그러나 이에 제한되지 않고, 기존 히스토그램 방식(meanshift, camshift), 차영상 방법, 블록정합 방법 등 다양한 움직임 검출 프로세스를 실시할 수 있다.
얼굴검출부(160)는 상기 움직임 검출부(150)에 의해 검출된 움직임 영역의 실루엣이 설정된 실루엣인지 여부를 판단하여 설정된 실루엣일 경우 해당 움직임 영역에서 얼굴 영역을 검출한다. 설정된 실루엣은 가로 세로 비율이 설정값 이상인 직사각형인 것이 바람직하다. 즉, 움직임 영역이 사람인지를 판단할 수 있도록 실루엣을 설정한다. 설정된 실루엣의 움직임 영역에서 얼굴 영역을 검출한다. 얼굴 영역 검출은 기계 학습 기반 아다부스트(adaboost) 학습을 이용한 검출 알고리즘을 사용할 수 있다. 아다부스트 적용을 위한 Haar-like, HOG(Histogram of Gradient), MCT(Modified Census Transform), LBP(Local Binary Patterns)특징과의 비교 테스트를 통해 속도를 개선하는 것이 바람직하다.
영상프로세싱부(170)는 얼굴 검출 영역을 암호화하여 배포하거나, 암호화된 영역을 복호화하는 장치이다. 암호화키 보안을 위해 비대칭 암호화 방법을 사용하는 것이 바람직하다. DCT 등의 주파수 기반 저주파 필터 블록마스킹 알고리즘을 이용할 수 있다. 고주파 계수 대칭키(AES 128bit) 기반 암호화 기술을 이용할 수 있다. 얼굴영역 복호화는 암호화된 고주파 계수 복호화 후 얼굴영역 복구를 통해 실현될 수 있다. 배포 시에는 비대칭키(RSA) 기반 암호화 프로토콜을 이용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 얼굴 검출 방법을 나타낸 흐름도이다. 도시되는 바와 같이, 먼저, 멀티센서 CCTV의 카메라로부터 이미지를 수집한다(S11). S11단계에서 수집된 이미지의 영상왜곡 보정 및 컬러 정합을 실시한다(S12). 보정 및 컬러 정합된 이미지를 결합하여 고화질 파노라마 영상을 완성한다(S13). 파노라마 영상을 스케일 다운한다(S14). 설정된 배율까지 스케일 다운을 실시한다(S15). 최종 배율로 스케일 다운된 영상에서 움직임 영역을 검출하여(S16), 검출된 움직임 영역을 제1 후보 영역(d1)으로 설정한다(S17). 스케일 다운된 영상을 1차 스케일 업한다(S18). 1차 스케일업된 영상 중 제1 후보영역(d1)에서 움직임 검출을 실시하여, 제2 후보 영역(d2)을 선정한다(S19, 20). S20 단계의 영상을 2차 스케일 업한 후(S21), 제2 후보 영역(d2)에서 움직임을 검출한다(S22). 그 다음, 움직임 검출 블록의 실루엣이 설정된 실루엣인지 판단한다(S23). 설정된 실루엣일 경우, 움직임 검출 블록에서 얼굴을 검출한다(S24). 검출된 영역을 암호화한 후 배포한다(S25).
또한, 본 발명의 다른 실시예에 따르면, S14 단계에서 파노라마 영상을 N차에 걸쳐 스케일 다운하는 단계를 수행하고, 최종 스케일다운된 영상에서 움직임 영역을 검출하여 제1 후보 영역(d1)을 설정하는 단계를 수행하고, S14 단계에서 스케일다운된 N개의 스케일 다운된 영상의 움직임 후보 영역에서 움직임 검출 프로세싱을 실시하여 그 다음 움직임 후보 영역을 선정한다. 즉, N-1차 스케일 다운 영상의 제1 후보 영역에서 움직임 검출 프로세스를 수행하여 제2 후보 영역을 검출하고, N-2차 스케일 다운 영상의 제2 후보 영역에서 움직임 검출 프로세스를 수행하여 제3 후보 영역을 검출한다. 이 과정을 반복하여 1차 스케일 다운 영상에서 최종 후보 영역을 검출하고, 스케일 다운되지 않은 원본 영상의 최종 후보 영역을 움직임 검출 프로세싱하여 파노라마 영상에서 움직임을 검출하게 되는 것이다. 그 다음 움직임 검출 블록의 실루엣이 설정된 실루엣인지 판단한다(S23). 설정된 실루엣일 경우, 움직임 검출 블록에서 얼굴을 검출한다(S24). 검출된 영역을 암호화한 후 배포한다(S25).
상기 방법은 예를 들어, 컴퓨터 판독 가능한 매체 상에 저장되는 컴퓨터 판독 가능한 명령들의 형태로 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 실시예에 따르면, 멀티센서 파노라마 영상을 설정된 배율로 사이즈 다운하고, 최종 사이즈 다운된 영상 전체에서 움직임 검출을 실시하여 움직임 후보 영역을 선정한 후, 사이즈 다운된 영상을 N차에 걸쳐 사이즈 업하며 사이즈업된 영상 중 움직임 후보 영역에서만 움직임 검출을 N차에 걸쳐 실시하여 움직임 검출을 수행해야 하는 전체 픽셀수를 획기적으로 감소시킬 수 있게 된다. 또한, 움직임이 검출된 블록의 실루엣을 통해 사람인지 여부를 판단하고, 사람의 실루엣으로 판단되면 움직임 검출 블록에서 얼굴을 검출하므로 전체 멀티센서 파노라마 영상에서 얼굴을 검출하는 것에 비해 검출을 수행해야 하는 픽셀수를 획기적으로 감소시킬 수 있게 된다.
다른 실시예에 따르면, N차에 걸쳐 파노라마 영상을 스케일 다운하고, 설정 배율로 스케일 다운된 영상에서 움직임 검출하여 움직임 후보 영역을 설정하고, N-1차, N-2차...1차 스케일 다운된 영상의 움직임 후보 영역에서 움직임 검출을 수행하여 최종 움직임 후보 영역을 선정한 후 최종 원본 영상의 최종 후보 영역에서 움직임을 검출하여 움직임을 검출한 후 움직임이 검출된 블록의 실루엣을 통해 사람인지 여부를 판단하고, 가로 세로 비율이 설정 비율 안에 들어가는 직사각형 등과 같이 사람의 실루엣으로 판단하면 움직임 검출 블록에서 얼굴을 검출하므로 전체 멀티센서 파노라마 영상에서 얼굴을 검출하는 것에 비해 검출을 수행해야 하는 픽셀수를 획기적으로 감소시킬 수 있게 된다.
또 다른 실시예에 따르면, 파노라마 영상을 스케일 다운하고, 설정 배율로 스케일 다운된 영상에서 움직임 검출하여 움직임 후보 영역을 설정하고, 움직임 후보 영역을 N차에 걸쳐 스케일 업하며 스케일 업된 움직임 후보 영역에서 움직임을 검출하고, 최종 움직임 후보 영역을 선정한 후 최종 원본 영상의 최종 후보 영역에서 움직임을 검출하여 움직임을 검출한 후 움직임이 검출된 블록의 실루엣을 통해 사람인지 여부를 판단하고, 가로 세로 비율이 설정 비율 안에 들어가는 직사각형 등과 같이 사람의 실루엣으로 판단하면 움직임 검출 블록에서 얼굴을 검출하므로 전체 멀티센서 파노라마 영상에서 얼굴을 검출하는 것에 비해 검출을 수행해야 하는 픽셀수를 획기적으로 감소시킬 수 있게 된다.
도 5는 도 4에 도시된 얼굴 검출 방법에서 파노라마 영상 완성 과정을 나타낸 도면이다. 110은 CCTV 카메라를 나타낸다. CCTV 카메라 내에 복수개의 IP 카메라(110)가 포함되어 180°파노라마 뷰를 제공할 수 있게 된다. 복수개의 센서로부터 검출된 이미지를 수집하고(S11), 수집된 이미지 들 사이에서 영상왜곡 보정 및 컬러 정합을 실시한 후(S13), 결합하여 파노라마 영상을 완성한다(S13). 멀티센서 영상으로부터 완성된 파노라마 영상은 각 카메라의 해상도 X 카메라 개수만큼 픽셀 수가 증가하여 처리해야 할 데이터 용량이 증가하게 된다. 따라서 고화질 영상을 처리할 경우 처리 자원의 소모 및 시간이 막대하게 소요되어 실시간 처리가 어렵게 된다.
본 발명의 실시예에 따르면, 영상에서 얼굴 검출 시 파노라마 영상 전체 픽셀에 대하여 얼굴 검출 프로세싱을 수행하지 않고, 영상 스케일을 설정 배율로 축소한 후 축소된 영역에서 움직임 후보영역을 검출하고, 축소된 영상을 n차에 걸쳐 스케일 업하면서 선행 단계의 움직임 후보영역에서 움직임을 검출하여 움직임 후보 영역을 검출하고, 최종 영상으로 스케일업 되면, 움직임 후보 영역에서 움직임을 검출하여 움직임 영역 블록의 실루엣이 설정 실루엣인지 판단하여 사람인지 여부를 판단하고, 사람으로 판단되면 최종 움직임 영역에서 얼굴을 검출하므로, 얼굴 검출 프로세스를 실행할 픽셀 수를 획기적으로 감소시킬 수 있게 된다. 도 6을 예로 들어 설명하면, 5M급(2,560x1,920) 이미지 센서 3개일 경우, 영상 수집 후, 파노라마 영상의 경우, 7,680x1,920 사이즈가 된다. 따라서, 종래 기술에 따른 얼굴 검출 방법을 적용할 경우 3,686,400 픽셀 전체에서 얼굴 검출 프로세스를 수행해야 하므로 연산 처리 자원 및 시간이 막대하게 소요되어 실시간 얼굴 검출이 어려운 문제점이 있었다. 본 발명에 따르면, 예를 들어, 1/4로 스케일 다운한 영상에서 움직임을 검출할 경우, 1/2 스케일 다운을 2회 수행하여, 1/4 스케일 다운된 1,920x480 = 921,600 사이즈의 이미지에서 움직임 검출하여, 움직임이 검출된 영역이 도 6의 (b)의 사각형 영역(d1)일 경우, 1/2로 1단계 스케이업된 영상에서 d1 영역에서만 움직임 검출 프로세스를 실시한다. 따라서, 전체 3,686,400 사이즈 대신 55,648 사이즈에 대해서만 움직임 검출을 하므로 연산용량 및 속도가 막대하게 감소된다. d1 영역에 대하여 움직임 검출 프로세스를 실시하여 검출된 움직임 후보 영역은 도 6의 (c)의 사각형 영역(d2)가 되면, d2 영역에 대하여 최종 움직임 검출 프로세스를 실시한다. 최종 움직임 검출 프로세스에 따른 움직임 검출 블록 d2의 실루엣이 사람인지 여부를 판단하고, d2 블록이 설정 실루엣으로 판단되면, d2 영역에서 얼굴 검출 프로세스를 수행한다. d2 영역은 206,080으로 전체 14,745,600 사이즈 대신 206,080 사이즈의 영상에 대해서만 얼굴 검출 프로세스를 수행하게 되므로 연산에 필요한 자원을 막대하게 절약할 수 있을 뿐만 아니라, 연산 속도를 향상시키고, 초고화질 파노라마 영상에서도 실시간 움직임 검출을 가능하게 한다. 도 6의 실시예에서, 파노라마 영상인 7,680*1,920 = 14,745,600 사이즈에 대한 얼굴 검출 대신, 본 발명의 실시예에 따라 얼굴 검출을 할 경우, (a) 단계에서 921,600, (b) 단계에서 d1 영역 55,648에서 움직임 검출을 수행하고, (c) 단계에서 d2 영역 206,080 픽셀에서 얼굴 검출을 수행하므로 검출 대상 픽셀이 막대하게 감소하게 된다.
도 7 은 도 4에 도시된 얼굴 검출 방법에서 움직임 검출 영역이 설정된 실루엣인지 판단하는 과정을 설명하는 도면이다. 움직임 검출 블럭의 실루엣이 도시되는 바와 같이 설정비의 직사각형으로 판단되면 움직임 검출 영역을 사람으로 판단하고, 해당 영역에서만 얼굴을 검출한다.
도 8 은 얼굴영역 검출, 얼굴영역 암호화, 얼굴영역 복호화 과정을 설명하는 도면이다. (a)는 얼굴 영역을 검출한 영상을 나타내고, (b)는 영상 배포를 위해 얼굴 영역을 암호화한 영상을 나타내고, (c)는 (b)에서 암호화된 영상을 복호화한 영상을 나타낸다.
본 발명의 실시예에 따른 얼굴 검출 시스템은, 보안구역에 대한 실시간 출입통제 시스템에 활용 가능, 교통위반 및 교통사고 식별을 위한 교통관제 시스템에 활용 가능, 범죄자 용모 및 범죄행위 식별을 위한 범죄예방 시스템에 활용 가능, 방화 및 테러행위 식별을 통한 재난방지 시스템에 활용 가능, 어린이집/유치원 등 가혹행위 감시 시스템에 활용 가능하다.

Claims (26)

  1. 영상을 수집하는 영상수집부;
    상기 영상에서 움직임을 검출하는 움직임검출부;
    상기 움직임검출부에서 검출된 움직임 검색영역의 실루엣이 설정된 실루엣과 일치할 경우 움직임 검색영역에서 얼굴을 검출하는 얼굴 검출부; 및
    상기 영상수집부에서 수집된 영상을 설정 배율로 축소하고 축소된 영상을 설정 배율로 확대하는 영상 스케일업/다운부를 포함하고,
    상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 움직임검출부는 설정 배율로 스케일 다운된 영상에서 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상을 N차에 걸쳐 스케일 업하고, 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 것을 특징으로 하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  2. 제 1 항에 있어서,
    상기 영상을 촬영하는 카메라를 추가로 포함하고,
    상기 카메라는 복수개의 센서를 포함하고,
    상기 영상수집부는 복수개의 센서로부터 영상을 수집하고,
    상기 수집된 영상이 결합하여 파노라마 영상을 생성하여, 파노라마 영상으로부터 얼굴을 검출하는 것을 특징으로 하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  3. 제 2 항에 있어서,
    상기 수집된 영상을 비디오 선명화, 영상 왜곡 보정, 및 색 보정 처리하는 영상보정부를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  4. 삭제
  5. 영상을 수집하는 영상수집부;
    상기 영상에서 움직임을 검출하는 움직임검출부;
    상기 움직임검출부에서 검출된 움직임 검색영역의 실루엣이 설정된 실루엣과 일치할 경우 움직임 검색영역에서 얼굴을 검출하는 얼굴 검출부; 및
    상기 영상수집부에서 수집된 영상을 설정 배율로 축소하고 축소된 영상을 설정 배율로 확대하는 영상 스케일업/다운부를 포함하고,
    상기 영상 스케일업/다운부는 영상을 설정 배율(1/xn)로 n차에 걸쳐 스케일 다운하고, 상기 움직임검출부는 상기 설정 배율로 스케일 다운된 영상에서 움직임을 검출하여 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부에 의해 n차에 걸쳐 스케일 다운된 이미지 각각의 움직임 후보 영역에서 움직임 검출을 수행하여 각 차수별 움직임 후보 영역을 추가로 검출하여 최종 후보 영역을 선정하고, 상기 움직임 검출부는 원본 영상의 상기 최종 후보 영역에서 움직임을 검출하는 것을 특징으로 하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  6. 영상을 수집하는 영상수집부;
    상기 영상에서 움직임을 검출하는 움직임검출부;
    상기 움직임검출부에서 검출된 움직임 검색영역의 실루엣이 설정된 실루엣과 일치할 경우 움직임 검색영역에서 얼굴을 검출하는 얼굴 검출부; 및
    상기 영상수집부에서 수집된 영상을 설정 배율로 축소하고 축소된 영상을 설정 배율로 확대하는 영상 스케일업/다운부를 포함하고,
    상기 영상 스케일업/다운부는 영상을 설정 배율로 스케일 다운하고, 상기 움직임검출부는 설정 배율로 스케일 다운된 영상에서 움직임 후보 영역을 검출하고, 상기 영상 스케일업/다운부는 스케일 다운된 영상에서 상기 움직임 후보 영역을 N차에 걸쳐 스케일 업하고, 상기 움직임검출부는 각 차수 별로 후보 영역에서 움직임 검출을 수행하여 후보 영역을 추가로 검출하고, 상기 영상 스케일업/다운부가 스케일 다운 전 사이즈로 영상을 스케일 업하면, 상기 움직임검출부는 최종 후보영역에서 움직임을 검출하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  7. a) 카메라로부터 이미지를 수집하는 단계;
    b) 상기 이미지에서 움직임 영역을 검출하는 단계;
    c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
    d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하고,
    상기 b) 단계는
    b-1) 상기 a) 단계의 이미지를 설정 배율까지 스케일 다운하는 단계;
    b-2) 상기 설정 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;
    b-3) 상기 b-2) 단계의 상기 이미지를 1차 스케일 업하는 단계;
    b-4) 상기 b-3) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계;
    b-5) 상기 b-3) 단계 및 상기 b-4) 단계를 스케일 업 된 영상이 상기 b-1) 단계의 스케일 다운 전 영상의 스케일에 도달할 때까지 실시하는 단계; 및
    b-6) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임 영역을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  8. 제 7 항에 있어서,
    상기 a) 단계에서 상기 카메라는 복수개의 이미지 센서를 포함하고,
    a-1) 수집된 복수개의 이미지 각각을 영상왜곡 보정 및 컬러 정합을 실하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  9. 제 8 항에 있어서,
    상기 a-1) 단계에서 보정 및 컬러 정합된 상기 이미지를 결합하여 고화질 파노라마 영상을 완성하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  10. 삭제
  11. a) 카메라로부터 이미지를 수집하는 단계;
    b) 상기 이미지에서 움직임 영역을 검출하는 단계;
    c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
    d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하고,
    상기 b) 단계는,
    b-1') 상기 a) 단계의 이미지를 설정 배율까지 n차에 걸쳐 스케일 다운하는 단계;
    b-2') 상기 b-1') 단계에서 n차 스케일 다운된 상기 이미지에서 움직임을 검출하여 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계
    b-3') 상기 b-1') 단계에서 n-1차 스케일 다운된 이미지의 상기 제1 움직임 후보영역에서 움직임 검출을 실시하여, 제2 움직임 후보 영역을 선정하는 단계;
    b-4') 상기 b-1') 단계에서 n-2차 스케일 다운된 이미지에서 1차 스케일 다운된 영상까지 움직임 후보 영역에서 움직임 검출 실시를 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
    b-5') 원본 이미지의 최종 움직임 후보 영역에서 움직임을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  12. a) 카메라로부터 이미지를 수집하는 단계;
    b) 상기 이미지에서 움직임 영역을 검출하는 단계;
    c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
    d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하고,
    상기 b) 단계는,
    b-1") 상기 a) 단계의 이미지를 설정 배율까지 n차에 걸쳐 스케일 다운하는 단계;
    b-2") 상기 b-1") 단계에서 n차 스케일 다운된 상기 이미지에서 움직임을 검출하여 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계
    b-3") 상기 제1 움직임 후보 영역을 1/xn-1배율로 스케일 업한 후 움직임 검출을 실시하여, 제2 움직임 후보 영역을 선정하는 단계;
    b-4") 움직임 후보 영역을 1/x 배율까지 스케일 업하며 움직임 검출을 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
    b-5") 원본 이미지의 최종 움직임 후보 영역에서 움직임을 검출하는 단계를 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  13. 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,
    a) 카메라로부터 이미지를 수집하는 단계;
    b) 상기 이미지에서 움직임 영역을 검출하는 단계;
    c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
    d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하고,
    상기 b) 단계는
    b-1) 상기 a) 단계의 이미지를 설정 배율까지 스케일 다운하는 단계;
    b-2) 상기 설정 배율로 스케일 다운된 상기 이미지에서 움직임 영역을 검출하여, 검출된 움직임 영역을 제1 후보 영역으로 선정하는 단계;
    b-3) 상기 b-2) 단계의 상기 이미지를 1차 스케일 업하는 단계;
    b-4) 상기 b-3) 단계에서, 1차 스케일 업된 영상 중 상기 제1 후보영역에서 움직임 검출을 실시하여, 제2 후보 영역을 선정하는 단계;
    b-5) 상기 b-3) 단계 및 상기 b-4) 단계를 스케일 업 된 영상이 상기 b-1) 단계의 스케일 다운 전 영상의 스케일에 도달할 때까지 실시하는 단계; 및
    b-6) 최종 스케일 업된 영상의 최종 후보 영역에서 움직임 영역을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록매체.
  14. 제 13 항에 따른 컴퓨터 판독 가능한 기록 매체를 실행하는 처리 능력을 갖는 디바이스.
  15. 제 5 항에 있어서,
    상기 영상을 촬영하는 카메라를 추가로 포함하고,
    상기 카메라는 복수개의 센서를 포함하고,
    상기 영상수집부는 복수개의 센서로부터 상기 영상을 수집하고,
    수집된 상기 영상이 결합하여 파노라마 영상을 생성하여, 파노라마 영상으로부터 얼굴을 검출하는 것을 특징으로 하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  16. 제 15 항에 있어서,
    상기 수집된 영상을 비디오 선명화, 영상 왜곡 보정, 및 색 보정 처리하는 영상보정부를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  17. 제 6 항에 있어서,
    상기 영상을 촬영하는 카메라를 추가로 포함하고,
    상기 카메라는 복수개의 센서를 포함하고,
    상기 영상수집부는 복수개의 센서로부터 상기 영상을 수집하고,
    수집된 상기 영상이 결합하여 파노라마 영상을 생성하여, 파노라마 영상으로부터 얼굴을 검출하는 것을 특징으로 하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  18. 제 17 항에 있어서,
    상기 수집된 영상을 비디오 선명화, 영상 왜곡 보정, 및 색 보정 처리하는 영상보정부를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 시스템.
  19. 제 11 항에 있어서,
    상기 a) 단계에서 상기 카메라는 복수개의 이미지 센서를 포함하고,
    a-1) 수집된 복수개의 이미지 각각을 영상왜곡 보정 및 컬러 정합을 실하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  20. 제 19 항에 있어서,
    상기 a-1) 단계에서 보정 및 컬러 정합된 상기 이미지를 결합하여 고화질 파노라마 영상을 완성하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  21. 제 12 항에 있어서,
    상기 a) 단계에서 상기 카메라는 복수개의 이미지 센서를 포함하고,
    a-1) 수집된 복수개의 이미지 각각을 영상왜곡 보정 및 컬러 정합을 실하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  22. 제 21 항에 있어서,
    상기 a-1) 단계에서 보정 및 컬러 정합된 상기 이미지를 결합하여 고화질 파노라마 영상을 완성하는 단계를 추가로 포함하는 멀티센서 CCTV 영상의 얼굴 검출 방법.
  23. 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,
    a) 카메라로부터 이미지를 수집하는 단계;
    b) 상기 이미지에서 움직임 영역을 검출하는 단계;
    c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
    d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하고,
    상기 b) 단계는,
    b-1') 상기 a) 단계의 이미지를 설정 배율까지 n차에 걸쳐 스케일 다운하는 단계;
    b-2') 상기 b-1') 단계에서 n차 스케일 다운된 상기 이미지에서 움직임을 검출하여 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계
    b-3') 상기 b-1') 단계에서 n-1차 스케일 다운된 이미지의 상기 제1 움직임 후보영역에서 움직임 검출을 실시하여, 제2 움직임 후보 영역을 선정하는 단계;
    b-4') 상기 b-1') 단계에서 n-2차 스케일 다운된 이미지에서 1차 스케일 다운된 영상까지 움직임 후보 영역에서 움직임 검출 실시를 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
    b-5') 원본 이미지의 최종 움직임 후보 영역에서 움직임을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록매체.
  24. 제 23 항에 따른 컴퓨터 판독 가능한 기록 매체를 실행하는 처리 능력을 갖는 디바이스.
  25. 비일시적 컴퓨터 판독가능 기록 매체로서, 상기 비일시적 컴퓨터 판독가능 기록 매체에는 프로그램이 기록되며, 상기 프로그램은, 처리 능력을 갖는 디바이스 상에서 실행될 때, 멀티센서 CCTV 영상프레임에서 움직임을 검출하는 방법을 구현하기 위한 프로그램이며, 상기 방법은,
    a) 카메라로부터 이미지를 수집하는 단계;
    b) 상기 이미지에서 움직임 영역을 검출하는 단계;
    c) 상기 움직임 영역의 실루엣이 설정 실루엣인지 판단하는 단계; 및
    d) 설정 실루엣일 경우, 상기 움직임 영역에서 얼굴을 검출하는 단계를 포함하고,
    상기 b) 단계는,
    b-1") 상기 a) 단계의 이미지를 설정 배율까지 n차에 걸쳐 스케일 다운하는 단계;
    b-2") 상기 b-1") 단계에서 n차 스케일 다운된 상기 이미지에서 움직임을 검출하여 움직임 영역을 제1 움직임 후보 영역으로 선정하는 단계
    b-3") 상기 제1 움직임 후보 영역을 1/xn-1배율로 스케일 업한 후 움직임 검출을 실시하여, 제2 움직임 후보 영역을 선정하는 단계;
    b-4") 움직임 후보 영역을 1/x 배율까지 스케일 업하며 움직임 검출을 반복하여 최종 움직임 후보 영역을 선정하는 단계; 및
    b-5") 원본 이미지의 최종 움직임 후보 영역에서 움직임을 검출하는 단계를 포함하는 비일시적 컴퓨터 판독가능 기록매체.
  26. 제 25 항에 따른 컴퓨터 판독 가능한 기록 매체를 실행하는 처리 능력을 갖는 디바이스.
KR1020170169664A 2017-11-15 2017-12-11 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법 KR101846006B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170152167 2017-11-15
KR20170152167 2017-11-15

Publications (1)

Publication Number Publication Date
KR101846006B1 true KR101846006B1 (ko) 2018-04-05

Family

ID=61977210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169664A KR101846006B1 (ko) 2017-11-15 2017-12-11 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101846006B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291478A (zh) * 2020-11-05 2021-01-29 北京软通智慧城市科技有限公司 一种高空抛坠物的监测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193421A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム
KR20110090098A (ko) * 2010-02-02 2011-08-10 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP2012034024A (ja) * 2010-07-28 2012-02-16 Canon Inc 画像処理装置、画像処理方法及びプログラム
KR20130064556A (ko) * 2011-12-08 2013-06-18 에스케이텔레콤 주식회사 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
JP2013161241A (ja) * 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
KR20170001869A (ko) * 2015-06-26 2017-01-05 서울과학기술대학교 산학협력단 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법
KR20170100319A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 실시간 화재감지 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193421A (ja) * 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、画像処理方法、およびプログラム
KR20110090098A (ko) * 2010-02-02 2011-08-10 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP2012034024A (ja) * 2010-07-28 2012-02-16 Canon Inc 画像処理装置、画像処理方法及びプログラム
KR20130064556A (ko) * 2011-12-08 2013-06-18 에스케이텔레콤 주식회사 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
JP2013161241A (ja) * 2012-02-03 2013-08-19 Toyota Motor Corp 物体認識装置、物体認識方法
KR20170001869A (ko) * 2015-06-26 2017-01-05 서울과학기술대학교 산학협력단 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법
KR20170100319A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 실시간 화재감지 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291478A (zh) * 2020-11-05 2021-01-29 北京软通智慧城市科技有限公司 一种高空抛坠物的监测方法、装置、设备及存储介质
CN112291478B (zh) * 2020-11-05 2022-08-30 北京软通智慧科技有限公司 一种高空抛坠物的监测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Yan Introduction to intelligent surveillance: surveillance data capture, transmission, and analytics
Sitara et al. Digital video tampering detection: An overview of passive techniques
Kang et al. Real-time video tracking using PTZ cameras
KR101861245B1 (ko) 멀티 센서 ｃｃｔｖ 파노라마 영상에서 움직임 검출 시스템 및 방법
Pandey et al. Passive forensics in image and video using noise features: A review
TW200818915A (en) Automatic extraction of secondary video streams
WO2008138063A1 (en) Method and system for background estimation in localization and tracking of objects in a smart video camera
KR20120020008A (ko) 초해상도 영상 복원 방법, 및 이를 이용한 불법 주정차 단속 시스템
Guo et al. An efficient motion detection and tracking scheme for encrypted surveillance videos
EP2975552A2 (en) Entropy-reducing low pass filter for face detection
Rashwan et al. Understanding trust in privacy-aware video surveillance systems
Korshunov et al. Towards optimal distortion-based visual privacy filters
Tian et al. Robust privacy-preserving motion detection and object tracking in encrypted streaming video
KR101846006B1 (ko) 멀티 센서 ｃｃｔｖ 파노라마 영상에서 얼굴 감지 시스템 및 방법
Deng et al. Digital video steganalysis based on motion vector statistical characteristics
US9392146B2 (en) Apparatus and method for extracting object
Favorskaya et al. Fuzzy-based digital video stabilization in static scenes
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
Singh et al. Fpga-based smart camera system for real-time automated video surveillance
Dammalapati et al. An efficient criminal segregation technique using computer vision
Fradi et al. Crowd context-dependent privacy protection filters
KR101636481B1 (ko) 컴파운드뷰 이미지 생성 방법 및 장치
Meenakshi Sundaram et al. ASRD: algorithm for spliced region detection in digital image forensics
US11696012B2 (en) Privacy protected image and obscuration system
Ngoan et al. Deep and Wide Features for Face Anti-Spoofing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant